JP2018046430A - 情報処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】画像の欠損を把握することができる。
【解決手段】欠損判別部は、複数のカメラにより撮像された画像に基づいて、欠損部分があるか否かを判別し、判別結果（欠損の有無）を、表示制御部に供給する。表示制御部は、判別結果（欠損の有無）に応じた通知を制御する。本開示は、例えば、ウェアラブル端末で撮像された画像からの周囲画像を、他のウェアラブル端末に表示させるシステムに適用することができる。
【選択図】図８

Description

本開示は、情報処理装置および方法、並びにプログラムに関し、特に、画像の欠損を把握することができるようにした情報処理装置および方法、並びにプログラムに関する。

近年、人間の体験をそのまま他者に伝送するために、頭部搭載型の複数カメラなどのウェアラブル機器による一人称視点の画像が、各種コンテンツの作成などで利用されている（特許文献１参照）。また、複数カメラで全天周映像を生成するシステムが提案されている（特許文献２参照）。

国際公開２０１５／１２２１０８号 特開２００６−３０９８０２号公報

以上のように、複数カメラを利用して画像が生成される場合、カメラの相対位置関係の変化などで各カメラ映像の撮影カバー範囲が変化し、撮影できていない場所が発生する可能性がある。

本開示は、このような状況に鑑みてなされたものであり、複数の撮像装置の撮像により生成される画像についての処理に関する。

本開示の一側面の情報処理装置は、複数の撮像装置の撮像により生成される画像に基づいて欠損の有無を判別する欠損判別部と、前記欠損判別部による欠損の判別結果に応じた通知を制御する通知制御部とを備える。

前記通知制御部は、前記欠損判別部による欠損の判別結果の通知表示を制御してもよい。

前記通知制御部は、前記欠損判別部により欠損があると判別された場合、前記欠損をハイライト表示させてもよい。

前記欠損判別部は、前記撮像装置の姿勢変化に応じた画像の変化を抑制した安定化画像を取得し、前記通知制御部は、前記欠損のハイライト表示の位置を安定化画像内で動的に変化させてもよい。

前記通知制御部は、前記欠損判別部により欠損があると判別された場合、欠損の大きさ、形状、および数の少なくとも１つの通知を制御してもよい。

前記通知制御部は、前記欠損判別部により欠損があると判別された場合、欠損を補完するか否かを選択するための通知を制御してもよい。

前記複数の撮像装置は、第１のウェアラブルカメラおよび第２のウェアラブルカメラであってもよい。

前記第１のウェアラブルカメラにより取得される第１の画像の長手方向と前記第２のウェアラブルカメラにより取得される第２の画像の長手方向は交差させてよい。

前記第１の画像の中央領域は、前記情報処理装置を装着するユーザの視線方向に対応して配置されてもよい。

前記第１の画像の長手方向の両端部は、前記第２の画像の長手方向に沿って延在する前記第２の画像の両端部とそれぞれ接続されてもよい。

ユーザの操作に応じて、前記欠損判別部によりあると判別された欠損の補完処理を行う欠損補完処理部をさらに備えてもよい。

前記ユーザは、ネットワークを介して接続される他の情報処理装置のユーザであってもよい。

前記欠損判別部による欠損の判別結果を、ネットワークを介して送信する送信部をさらに備えてもよい。

前記送信部は、前記欠損判別部により欠損があると判別された場合、欠損の大きさ、形状、および数の少なくとも１つの欠損情報を、メタデータとして、前記ネットワークを介して送信してもよい。

本開示の一側面の情報処理方法は、情報処理装置が、複数の撮像装置の撮像により生成される画像に基づいて欠損の有無を判別し、前記欠損の判別結果に応じた通知を制御する。

本開示の一側面のプログラムは、複数の撮像装置の撮像により生成される画像に基づいて欠損の有無を判別する欠損判別部と、前記欠損判別部による欠損の判別結果に応じた通知を制御する通知制御部として、コンピュータを機能させる。

本開示の一側面においては、複数の撮像装置の撮像により生成される画像に基づいて欠損の有無が判別される。そして、前記欠損の判別結果に応じた通知が制御される。

本開示によれば、画像の欠損を把握することができる。

なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。

本開示の実施形態に係るシステムの概略的な構成を示す図である。 本実施形態に係る装置の概略的な構成を示すブロック図である。 本実施形態に係るウェアラブル端末の一例を模式的に示す図である。 本実施形態に係る情報処理装置の構成例を示すブロック図である。 本実施形態に係る情報処理装置の他の構成例を示すブロック図である。 本実施形態に係る周囲撮像画像の一例を説明する図である。 本実施形態に係る周囲撮像画像の他の例を説明する図である。 本実施形態に係るウェアラブル端末の構成例を示すブロック図である。 図８のウェアラブル端末のカメラ付ヘッドギアを説明する図である。 図９のカメラにより撮像される画像の一例を示す図である。 図１０の画像を用いた画像の生成方法を説明する図である。 図１０の画像から生成される画像の一例を示す図である。 画像における欠損の一例を示す図である。 欠損の性質について説明する図である。 欠損の性質について説明する図である。 図８のウェアラブル端末の画像処理について説明するフローチャートである。 図１６のステップＳ１７の欠損補完処理について説明するフローチャートである。 欠損補完処理前の画像の一例を示す図である。 欠損補完処理後の画像の一例を示す図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。

＜システム構成例＞
図１は、本開示の実施形態に係るシステムの概略的な構成を示す図である。図１に示めされるように、本実施形態におけるシステム１０は、サーバ１１と、クライアント機器１２乃至１７とを有する。

サーバ１１は、単一のサーバ装置、又は、有線もしくは無線の各種ネットワークで接続されて協働する複数のサーバ装置、によって実現される機能の集合体であり、クライアント機器１２乃至１７に各種サービスを提供する。

クライアント機器１２乃至１７は、サーバ１１と有線又は無線の各種ネットワークで接続された端末装置である。

サーバ１１及びクライアント機器１２乃至１７は、単独で、又は、互いに協働することで、システム１０の中で以下の（１）乃至（７）の少なくとも何れかの機能を実現する。

（１）カメラなどの撮像機構を有し、撮像された実空間の画像を、サーバ１１又は他のクライアント機器１２乃至１７に提供する装置。
（２）カメラなどの撮像機構を有し、撮像された実空間の画像に対して各種の画像処理を実施し、画像処理により得られた実空間に関する各種画像を、サーバ１１又は他のクライアント機器１２乃至１７に提供する装置。
（３）カメラなどの撮像機構を有し、撮像された実空間の画像に対して各種の画像処理を実施し、ユーザによって実施された各種画像に関する各種操作に応じてユーザの所望する画像を生成し、生成した各種画像を、サーバ１１又は他のクライアント機器１２乃至１７に提供する装置。
（４）ディスプレイなどの表示機構を少なくとも有し、好ましくはタッチパネルなどの操作機構を更に有し、（１）の装置により提供された画像を取得するとともに、ユーザによって実施された画像に関する各種操作に応じてユーザの所望する画像を生成し、生成した各種画像をユーザの閲覧に供する装置。
（５）ディスプレイなどの表示機構を少なくとも有し、好ましくはタッチパネルなどの操作機構を更に有し、（２）の装置により提供された画像を取得するとともに、ユーザによって実施された画像に関する各種操作に応じてユーザの所望する画像を生成し、生成した各種画像をユーザの閲覧に供する装置。
（６）ディスプレイなどの表示機構を少なくとも有し、好ましくはタッチパネルなどの操作機構を更に有し、（３）の装置により提供された画像を取得してユーザの閲覧に供するとともに、ユーザによる画像への各種操作を受け付ける装置。
（７）ディスプレイなどの表示機構を有し、（４）乃至（６）の装置によって受け付けられた各種のユーザ操作に基づき生成された各種画像を表示させる装置。

クライアント機器１２は、ウェアラブル端末である（以下、単にウェアラブル端末１２ともいう）。ウェアラブル端末１２は、例えば撮像機構もしくは表示機構の少なくとも何れかを有し、上記（１）乃至（７）の少なくとも何れかの装置として機能する。図示された例においてウェアラブル端末１２は眼鏡型であるが、ユーザの身体に装着可能な形状であれば、この例には限られない。上記（１）乃至（３）の装置として機能する場合、ウェアラブル端末１２は、撮像機構として、例えば眼鏡のフレーム部分などに設置されたカメラを有する。このカメラによって、ウェアラブル端末１２は、ユーザの視点に近い位置から実空間の画像を取得することができる。取得した画像は、サーバ１１又は他のクライアント機器１３乃至１７に送信される。また、上記（４）乃至（７）の装置として機能する場合、ウェアラブル端末１２は、表示機構として、例えば眼鏡のレンズ部分の一部又は全部に設置されたディスプレイなどを有する。ウェアラブル端末１２は、上記のカメラによって撮像された画像をこのディスプレイに表示させる。

クライアント機器１３は、タブレット端末である（以下、単にタブレット端末１３ともいう）。タブレット端末１３は、少なくとも表示機構を有し、好ましくは操作機構を更に有し、例えば上記（４）乃至（７）の装置として機能しうる。タブレット端末１３は、上記の表示機構及び操作機構に加えて撮像機構を更に有し、上記の（１）乃至（３）の少なくとも何れかの装置として機能してもよい。つまり、タブレット端末１３は、上記の（１）乃至（７）の装置のうちの任意の装置として機能しうる。

クライアント機器１４は、携帯電話機（スマートフォン）である（以下、単に携帯電話機１４ともいう）。なお、システム１０における携帯電話機１４の機能は、タブレット端末１３と同様であるため、詳細な説明は省略する。なお、図示していないが、例えば携帯型ゲーム機や携帯型音楽再生機やデジタルカメラのような装置も、通信機構と表示機構、操作機構又は撮像機構とを有していれば、システム１０においてタブレット端末１３や携帯電話機１４と同様に機能しうる。

クライアント機器１５は、ラップトップＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である（以下、単にラップトップＰＣ１５ともいう）。ラップトップＰＣ１５は、表示機構及び操作機構を有し、上記（４）乃至（７）の装置として機能する。図示された例において、ラップトップＰＣ１５は、基本的に固定して使用されるために上記（１）乃至（３）の装置としては機能しない装置の例として扱われている。図示していないが、例えばデスクトップＰＣやテレビなども、ラップトップＰＣ１５と同様に機能しうる。ラップトップＰＣ１５は、表示機構としてディスプレイを、操作機構としてマウスやキーボードを有し、上記（１）乃至（３）の装置から直接的に又は各種装置を経由して提供される画像を表示するとともに、当該画像に対するユーザの各種操作を受け付ける。また、ラップトップＰＣ１５がカメラなどの撮像機構を更に有している場合、ラップトップＰＣ１５は、上記（１）乃至（３）の装置として機能することも可能である。

クライアント機器１６は、固定カメラである（以下、単に固定カメラ１６ともいう）。固定カメラ１６は、撮像機構を有し、上記（１）乃至（３）の装置として機能する。図示された例において、固定カメラ１６は、固定して使用され、かつ表示機構を有さないために上記（４）乃至（７）の装置としては機能しない装置の例として扱われている。図示していないが、例えばテスクトップＰＣやテレビに画面の前を映すカメラが設けられている場合や、デジタルカメラのような移動可能な装置が三脚などに一時的に固定されている場合も、これらの装置は固定カメラ１６と同様に機能しうる。固定カメラ１６は、撮像機構としてカメラを有し、固定された視点（カメラが自動的に、又は、撮像画像を閲覧するユーザの操作に応じてスイングするような場合も含む。）から実空間の画像を取得することができる。

クライアント機器１７は、プロジェクタである（以下、単にプロジェクタ１７ともいう）。プロジェクタ１７は、表示機構として投影装置を有し、上記（７）の装置として機能する。図示された例において、プロジェクタ１７は、撮像機構を有さず、また表示（投影）した画像に対する入力を受け付ける操作機構も有さないため、上記（１）乃至（６）の装置としては機能しない装置の例として扱われている。プロジェクタ１７は、投影装置を用いてスクリーンやオブジェクトの表面に画像を投影することによって、実空間に各種の画像を表示させる。なお、プロジェクタ１７は、固定型のものが図示されているが、ハンドヘルド型のものであってもよい。

サーバ１１は、単独で、又は、上記クライアント機器１２乃至１７と協働することによって、上記（１）乃至（７）の少なくとも何れかの装置として機能する。すなわち、サーバ１１は、実空間の画像を取得したり、得られた画像に対して各種の画像処理を行ったり、取得した実空間の画像、又は、画像処理によって得られた画像の少なくとも何れかを表示させたりする機能を有する。

サーバ１１、及び、クライアント機器１２乃至１７によって実現される上記のような機能によって、例えば、人間などの各種生物、地表、地中もしくは水中などを自走する自走体、又は、空中を飛行する飛行体などといった移動体が存在する実空間の画像をユーザが閲覧し、各種移動体とユーザとで、空間を共有することが可能となる。更に、本実施形態に係るシステムでは、以下で詳述するような処理が行われることで、ユーザは、移動体とは独立して、移動体の存在する実空間の画像を自由に閲覧することも可能となる。

以上、本実施形態に係るシステムについて説明した。図１に示したように、本実施形態に係るシステム１０は、実空間の画像を取得可能な装置と、実空間の画像をユーザの閲覧に供するとともにユーザによる各種操作を受け付けることが可能な装置と、ユーザによる各種操作により生成された画像を表示させる装置と、を含みうる。

なお、上記のようなシステム１０で実施される画像処理を含む各種の情報処理は、サーバ１１やクライアント機器１２乃至１７が、単独で、又は、互いに協働することで実施される。サーバ１１やクライアント機器１２乃至１７が、単独で、又は、互いに協働する結果、システム１０全体としてみると、以下で詳述するような情報処理装置が実現されることとなる。

＜装置構成＞
図２は、本実施形態に係る装置の概略的な構成を示す図である。図２に示したように、装置２０は、プロセッサ２１及びメモリ２２を含む。装置２０は、更に、表示部２３、操作部２４、通信部２５、撮像部２６、又は、センサ２７の少なくとも何れかを含みうる。これらの構成要素は、バス２８によって相互に接続される。装置２０は、例えば、上記のサーバ１１を構成するサーバ装置、及び、クライアント機器１２乃至１７を実現しうる。

プロセッサ２１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）といったような各種のプロセッサであり、例えばメモリ２２に格納されたプログラムに従って演算や制御などの動作を実行することによって、各種の機能を実現する。プロセッサ２１は、例えば上記のサーバ１１及びクライアント機器１２乃至１７の装置全体の制御機能を実現する。プロセッサ２１は、例えばサーバ１１やクライアント機器１２乃至１７において、後述するような各種の画像処理や、画像を表示画面に表示させるための表示制御を実行する。

メモリ２２は、半導体メモリ又はハードディスクなどの記憶媒体によって構成され、装置２０による処理のためのプログラム及びデータを格納する。メモリ２２は、例えば、撮像部２６によって取得された撮像画像データや、センサ２７によって取得されたセンサデータを格納してもよい。なお、本明細書で説明するプログラム及びデータの一部は、メモリ２２に格納されることなく、外部のデータソース（例えばデータサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。

表示部２３は、例えば上述した表示機構を有するクライアントに設けられる。表示部２３は、例えば装置２０の形状に応じたディスプレイでありうる。例えば、上記の例でいえば、ウェアラブル端末１２は、表示部２３として、例えば眼鏡のレンズ部分に対応した形状、又は、ヘッドマウントディスプレイの表示領域に対応した形状のディスプレイを有しうる。また、タブレット端末１３や携帯電話機１４、ラップトップＰＣ１５は、表示部２３として、それぞれの筐体に設けられる平板型のディスプレイを有しうる。あるいは、表示部２３は、オブジェクトに画像を投影する投影装置であってもよい。上記の例では、プロジェクタ１７が表示部として投影装置を有しうる。

操作部２４は、例えば、上述した操作機構を有するクライアントに設けられる。操作部２４は、例えばディスプレイ上に設けられたタッチセンサ（ディスプレイとあわせてタッチパネルを構成する）やタッチパッド、マウスなどのポインティングデバイスに、必要に応じてキーボード、ボタン、スイッチなどを組み合わせて構成される。操作部２４は、例えばポインティングデバイスによって表示部２３に表示された画像中の位置を特定し、その位置に対してキーボードやボタン、スイッチなどによって何らかの情報を入力するユーザの操作を受け付ける。あるいは、操作部２４は、ポインティングデバイスによって表示部２３に表示された画像中の位置を特定し、更にポインティングデバイスによってその位置に対して何らかの情報を入力するユーザの操作を受け付けてもよい。

通信部２５は、装置２０による他の装置との間の通信を仲介する通信インタフェースである。通信部２５は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。

撮像部２６は、画像を撮像するカメラモジュールである。撮像部２６は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像し、撮像画像を生成する。撮像部２６によって生成される一連の撮像画像は、映像を構成する。なお、撮像部２６は、必ずしも装置２０の一部でなくてもよい。例えば、装置２０と有線又は無線で接続される撮像装置が撮像部２６として扱われてもよい。また、撮像部２６は、撮像部２６と被写体との間の距離を画素ごとに測定する深度（ｄｅｐｔｈ）センサを含んでいてもよい。深度センサから出力される深度データは、後述するように実空間を撮像した画像における環境の認識のために利用されうる。

センサ２７は、測位センサ、加速度センサ及びジャイロセンサなどの様々なセンサを含みうる。センサ２７において得られる測定結果は、実空間を撮像した画像における環境の認識の支援、地理的な位置に特化したデータの取得、又は、ユーザ入力の検出などの様々な用途で利用されてもよい。なお、センサ２７は、撮像部２６を有する装置（上記の例ではウェアラブル端末１２やタブレット端末１３、携帯電話機１４、又は、固定カメラ１６など）に設けられうる。

＜情報処理装置の構成について＞
次に、上記のようなサーバ１１やクライアント機器１２乃至１７が単独で又は互いに協働することでシステム１０全体として実現される、本実施形態に係る情報処理装置の構成について、主としてその機能の面を詳細に説明する。

ここで、本実施形態に係る情報処理装置５０で扱われる撮像画像の種別は特に限定されるものではなく、静止画像であってもよいし、動画像であってもよい。

また、本実施形態に係る情報処理装置５０で扱われる撮像画像は、実空間のなるべく広範囲を撮像したものであることが好ましい。従って、実空間の撮像に用いられる撮像装置は、なるべく広角のレンズが装着されたカメラであることが好ましく、例えば図３に模式的に示される全周囲カメラであってもよい。

図３は、実空間を撮像するための全周囲カメラが、ウェアラブル端末１２として実現される場合の構成を、模式的に図示したものである。図３に示したウェアラブル端末１２では、なるべく広角のレンズが装着されたカメラである撮像部２６が、移動体３０の一例である人間の頭部の周囲を覆うように、環状に設けられている。また、撮像部２６を人間の頭部の周囲に設置するだけでは、天頂方向の画像を得ることが困難となるため、図３では、頭頂部にも撮像部２６が設けられている。また、ウェアラブル端末１２には、測位センサ、加速度センサ及びジャイロセンサなどといった各種のセンサ２７が設けられる。かかるセンサ２７から出力される、撮像装置の視線（換言すれば、撮像装置の姿勢）に関する情報は、後述する情報処理装置に対して出力され、かかる情報処理装置において、撮像装置の姿勢に関する情報である撮像装置姿勢情報として用いられる。

なお、図３に示した例では、全周囲撮像画像を得るために撮像部２６を環状に配設する場合を示しているが、情報処理装置５０で扱う画像が全周囲撮像画像でなくともよい場合には、撮像部２６を環状に配設しなくてもよく、人間の頭部の少なくとも一部に撮像部２６が設けられていればよい。図３に示したようなウェアラブル端末１２を実現するにあたって用いられる撮像部２６の台数については限定されるものではなく、どの程度広範囲の画像を取得したいかに応じて、台数を適宜設定すればよい。

また、図３では、移動体３０が人間である場合について図示しているが、移動体３０は人間に限定されるものではなく、ウェアラブル端末１２の装着された人間以外の動物であってもよいし、カメラの装着されたロボットなどの自走体や飛行体であってもよい。

図３に例示したような撮像装置により撮像された撮像画像に対して各種の情報処理を行う情報処理装置５０は、空間内を移動する移動体に装着された撮像装置の撮像により生成される画像情報と、当該撮像装置の姿勢に関する情報である撮像装置姿勢情報と、ユーザの操作するユーザ操作機器から得られる、ユーザが視認したい領域を特定するユーザ視認情報と、に基づいて生成される表示画像を、前記ユーザが視認する表示領域に表示させる制御を行う装置である。なお、撮像装置姿勢情報とは、例えば、撮像装置の回転に関する情報であり、ユーザ視認情報とは、例えば、撮像装置が撮像した全周囲撮像画像において、ユーザが視認したい表示画角を特定する情報であってもよい。

この情報処理装置５０は、例えば図４に示したように、制御部の一例である表示制御部５１を少なくとも備える。また、本実施形態に係る情報処理装置５０は、図５に示したように、表示制御部５１に加えて、画像生成部６１と、画像選択部６２と、画像補正部６３と、移動体視線情報生成部６４と、データ取得部６５と、データ提供部６６と、記憶部６７と、の少なくとも何れかを更に備えてもよい。ここで、図４及び図５に示した各処理部は、サーバ１１又はクライアント機器１２乃至１７の何れか１つの機器に実現されていてもよいし、複数の機器に分散されて実現されていてもよい。

なお、以下の説明では、情報処理装置５０が、上記撮像装置によって撮像された撮像画像と、上記撮像装置姿勢情報と、上記ユーザ視認情報と、に基づいて生成される表示画像の表示制御を行う場合について説明する。しかしながら、情報処理装置５０は、例えば撮像装置や撮像装置及び情報処理装置とは異なる他の機器により、上記撮像画像と上記撮像装置姿勢情報とに基づいて生成された生成画像（例えば、撮像画像に対し撮像装置の姿勢に関する補正が予め施された補正画像）と、上記ユーザ視認情報と、に基づいて、以下と同様にして表示制御を行ってもよいことは、言うまでもない。

画像生成部６１は、空間内を移動する移動体に装着された撮像装置によって撮像される撮像画像を利用して、移動体３０が存在する位置の周囲が撮像された周囲撮像画像を生成する。画像生成部６１による周囲撮像画像の生成処理は、例えば図３に示したような撮像装置から撮像画像が出力されると、リアルタイムに随時実施される。

ここで、周囲撮像画像の生成に用いられる撮像画像が図３に例示したような全周囲カメラによって撮像されたものである場合、画像生成部６１が撮像画像を統合することによって生成する周囲撮像画像は、図６に示したような全周囲撮像画像（全天球画像）８１となる。なお、複数のカメラによって撮像された複数の撮像画像から周囲撮像画像を生成する手法については特に限定されるものではなく、公知の手法を適用すればよい。また、全周囲撮像画像には、画像の天地（上下）がなく、３６０度の周囲撮像画像である円柱型の画像である全天周画像も含まれてもよい。

画像生成部６１は、周囲撮像画像として、図６に示したような全周囲撮像画像（全天球画像）８１ではなく、図７に示したような、全天球画像と等価な矩形画像９１を生成してもよい。全天球画像８１と等価な矩形画像９１は、例えば正距円筒図法などの公知の方法により、全天球画像８１を変換することで生成することができる。周囲撮像画像として、図６に示したような全天球画像８１ではなく、図７に示したような矩形画像９１を用いることで、より簡便に各種の画像処理を実施することが可能となる。

画像選択部６２は、画像生成部６１により生成された周囲撮像画像と、ユーザの操作するユーザ操作機器から得られた、ユーザが視認したい空間を示すユーザ視認情報と、に基づいて、周囲撮像画像のうちユーザ視認情報に対応する撮像画像を、ユーザ視認用画像として選択する。画像選択部６２によって選択されたユーザ視認用画像は、ユーザの操作するユーザ操作機器（例えば、図６及び図７に示した例では、移動体３０とは異なるユーザ８２の装着した、ヘッドマウントディスプレイなどのウェアラブル端末１２）へと提供され、ユーザの閲覧に供される。これにより、ユーザ操作機器を操作しているユーザは、ある空間内を移動する移動体３０と空間を共有することができるとともに、空間内でユーザが視認を希望する位置を、移動体３０とは独立して選択することが可能となる。その結果、移動体３０が存在している空間において、ユーザは、移動体が視認している位置とは異なる位置の画像を、自由に選択することが可能となる。

このような周囲撮像画像の生成処理及び周囲撮像画像からの画像選択処理は、画像間の特徴点を照合させるなどといった演算コストの高い処理を多用する空間再合成技術に比べて、より少ない演算コストで処理を実行することができる。従って、かかる処理を実施可能な情報処理装置５０は、装置の小型軽量化を実現することが可能となる。

ここで、ユーザ操作機器によって設定されるユーザ視認情報は、ユーザがユーザ操作機器に設けられているタッチパッド、キーボード、マウス等の各種入力機構を操作することによって生成され、画像選択部６２に伝送される。ユーザ操作機器が図６及び図７に示したようなウェアラブル端末１２である場合、ウェアラブル端末１２に設けられた測位センサ、加速度センサ及びジャイロセンサなどの様々なセンサによって、ユーザの挙動（例えば、ユーザの視線方向）を自動的に検出することで、生成されてもよい。また、かかるユーザ視認情報は、ユーザ操作機器へのユーザによる音声入力やジェスチャ入力等によって生成されてもよい。

このように、本実施形態に係る情報処理装置５０は、上記画像生成部６１及び画像選択部６２を備えることによって、移動体３０（より詳細には、撮像装置）の視認している空間の画像（いわゆる一人称視点画像）がリアルタイムでユーザ（例えば、図６及び図７のユーザ８２）に対して提供される。ここで、一人称視点画像では、移動体３０（より詳細には、撮像装置）が自身の存在する位置の周辺を見回すことに起因する、激しい画面の揺れが発生することがある。かかる画面の激しい揺れをユーザが視認してしまうと、ユーザは、揺れの激しい画像を見ることによる「酔い」（モーションシックネス）を感じてしまうことがある。従って、本実施形態に係る情報処理装置５０は、撮像装置における上記のような回転運動を補正する補正機能を更に有している。

画像補正部６３は、撮像装置姿勢情報に基づいて、上記のような撮像装置の回転運動に伴う画像の変化を補正する処理部である。この画像補正部６３は、撮像装置の位置が変化することなく当該撮像装置の視線方向が変化した（すなわち、撮像装置に回転運動が生じた）場合に、周囲撮像画像に対して、撮像装置の視線方向の変化に伴う周囲撮像画像の変化を抑制する補正を実施する。

また、画像補正部６３は、上記補正を行った後の安定化画像（周囲撮像画像）に対して、欠損の有無を判別し、判別結果である欠損有無、欠損の位置、範囲、形状、数などの欠損情報を、そのまま、またはメタデータとして、表示制御部５１およびデータ提供部６６に供給し、移動体のユーザに示唆するために、欠損情報を表示させたり、ネットワークを介して、サーバ１１や他のウェアラブル装置１２に提供して、それらのユーザに示唆するために、欠損情報を表示させる。また、画像補正部６３は、各ユーザのいずれかからの要求に応じて、欠損補完処理を行い、周囲撮像画像の補正を行う。なお、欠損補完処理については、サーバ１１や他のウェアラブル装置１２で行われてもよい。

移動体視線情報生成部６４は、撮像装置姿勢情報に基づいて、撮像装置の視線の方向（位置）又は視野を示す視線情報を生成する。この視線情報は、例えば、移動体に装着されている各種センサからの出力情報（すなわち、撮像装置姿勢情報）を用いて、公知の方向により生成することができる。かかる視線情報を、画像生成部６１により生成された周囲撮像画像とあわせてユーザに提供することで、ユーザ操作機器に提供されるユーザ視認用画像には、撮像装置の視線の方向（位置）や視野を示すオブジェクトを表示させることが可能となる。その結果、ユーザは、撮像装置の視線の方向（位置）又は視野とは異なる任意の方向の周囲撮像画像を視認しつつ、撮像装置の視線方向を随時把握することが可能となる。

表示制御部５１は、情報処理装置５０や情報処理装置５０の外部に設けられたディスプレイ等の表示装置の表示内容を制御する。具体的には、表示制御部５１は、空間内を移動する移動体に装着された撮像装置の撮像により生成される画像情報と、当該撮像装置の姿勢に関する情報である撮像装置姿勢情報と、ユーザの操作するユーザ操作機器から得られる、ユーザが視認したい領域を特定するユーザ視認情報と、に基づいて生成される表示画像を、前記ユーザが視認する表示領域に表示させる制御を行う。また、表示制御部５１は、ユーザ操作機器の表示画面の表示制御を行うことで、例えば、ユーザ視認用画像の中に、撮像装置の視線方向や視界を表わしたオブジェクトを表示させることができる。これにより、ユーザは、移動体３０とは独立に視線方向を選択しつつも、移動体３０の視線方向を随時把握することが可能となる。

また、表示制御部５１は、画像補正部６３による判別結果に応じて、欠損情報の表示や欠損補完を行うか否かを選択するための画面表示などを制御する。その際、メタデータにより、各領域が所定の領域より大きい場合には色を変えて表示したり、欠損領域すべての割合が、所定の割合より多い場合に色を変えて表示するようにしてもよい。

データ取得部６５は、移動体３０に装着された撮像機器から出力される撮像画像データや、撮像装置の視線方向に関するセンサ出力（すなわち、撮像装置姿勢情報）等を含む視線関連データを取得したり、ユーザ操作機器から出力されるユーザ操作に関するデータを取得したりする。データ取得部６５により各種機器から取得された各種データは、情報処理装置５０の有する各処理部が適宜利用することが可能である。

データ提供部６６は、情報処理装置５０で生成された各種データ（例えば、周辺撮像画像やユーザ視認用画像などの撮像画像データや、撮像装置の視線方向などの視線関連データ）を、情報処理装置５０の外部に設けられた装置に提供する。これにより、情報処理装置５０の外部に設けられた装置においても、情報処理装置５０で生成された各種情報を利用することが可能となる。

記憶部６７には、画像生成部６１、画像選択部６２、画像補正部６３、移動体視線情報生成部６４、表示制御部５１、データ取得部６５、データ提供部６６における処理に利用される各種のデータベースや、これら処理部が実行する各種の演算処理に用いられるアプリケーションを含む各種のプログラムや、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過などが、適宜記録されてもよい。

この記憶部６７は、画像生成部６１、画像選択部６２、画像補正部６３、移動体視線情報生成部６４、表示制御部５１、データ取得部６５、データ提供部６６などの各処理部が、自由にアクセスし、データを書き込んだり読み出したりすることができる。

以上、本実施形態に係る情報処理装置５０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。

なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。

また、図５に示した画像生成部６１、画像選択部６２、画像補正部６３、移動体視線情報生成部６４、データ取得部６５、データ提供部６６、記憶部６７は、情報処理装置５０と相互に通信が可能なコンピュータ等の他の装置に実装されており、情報処理装置５０と他の装置とが協働することで、上記のような機能が実現されてもよい。

次に、本技術について具体的に説明していく。

複数カメラを用いて、全天球画像を撮影する場合、カメラの相対位置関係の変化などで、各カメラ画像の撮影カバー範囲が変化し、未撮影の場所が発生する場合がある。特に、後述するカメラ付ヘッドギア１０１のような、身体に装着可能なカメラ（ウェアラブルカメラ）や、少ないカメラ台数で全天球を撮影する場合に、起こりうる。この画像欠損状態は、全天球の撮影された映像として不完全な画像となるため、避ける必要がある。

そこで、本技術においては、
１．撮影、配信を行う前に欠損があることが通知される。
なお、その通知は、撮影しているユーザ、サーバ１１（の管理者）、閲覧しているユーザなどになされる。
２．なんらかの理由で、１．の通知が行えなかった場合、かつ、撮影途中で位置関係が変化し、欠損が発生した場合、または、上記いずれかのユーザの要求に応じて、画像安定化や過去の映像フレームの合成から画像欠損の補完が行われる。

＜２．第２の実施の形態＞
図８は、実空間を撮像するための全周囲画像カメラが２つの魚眼レンズからなるウェアラブル端末１２で実現される場合の具体的な構成例を示すブロック図である。

図８の例において、ウェアラブル端末１２は、カメラ付ヘッドギア１０１、および情報処理装置１０２より構成されている。

カメラ付ヘッドギア１０１は、移動体３０の一例である人間の頭部に装着され、左右の耳に対応する位置の外側に、撮像部２６としてのカメラ１２１Ｌおよび１２１Ｒを有している。カメラ１２１Ｌおよび１２１Ｒには、それぞれ、広角（例えば、250度）の魚眼レンズが設けられている。カメラ１２１Ｌおよび１２１Ｒは、情報処理装置１０２の対応する画像取得部６５ａ−１乃至６５ａ−５のそれぞれに、HDMIケーブルを介して接続されており、撮像した画像をそれぞれ供給する。

情報処理装置１０２は、図５の情報処理装置５０と基本的に同様に構成されるが、図８の例においては、直接的に関わりのないものについてはその図示は省略されている。すなわち、情報処理装置１０２は、画像生成部６１、データ取得部６５の一部である画像取得部６５ａ−１乃至６５ａ−６および操作情報取得部６５ｂ、画像補正部６３、データ提供部６６、並びに表示制御部５１を含むように構成されている。なお、図８の例においては、点線に示されるように、カメラ付ヘッドギア１０１において設けられているカメラ１２１Ｌおよび１２１Ｒの分だけの画像取得部６５ａ−１および６５ａ−２が使用されており、残りは用いられていない。すなわち、画像取得部６５ａ−１乃至６５ａ−６は、カメラの数に応じて用いられる。なお、カメラの数は２個にも６個にも限定されず、全周囲が撮像可能である複数個であればよい。

そして、例えば、図９に示されるように、カメラ１２１Ｒにおいては、魚眼レンズが縦横の比が９対１６である横長に配置されており、カメラ１２１Ｒからは、撮像により、縦横の比が９対１６である横長の画像１３１Ｒが入力される。一方、カメラ１２１Ｌにおいては、魚眼レンズが縦横の比が１６対９の縦長に配置されており、カメラ１２１Ｌからは、撮像により、縦横の比が１６対９の縦長の画像１３１Ｌが入力される。すなわち、画像１３１Ｒの長手方向と画像１３１Ｌの長手方向は交差している。なお、魚眼レンズの設置の縦横比は、図９の例の左右逆でもよく、例えば、カメラ１２１Ｒから縦長の画像１３１Ｌが入力され、カメラ１２１Ｌから横長の画像１３１Ｒが入力されてもよい。

画像取得部６５ａ−１は、カメラ１２１Ｒからの横長の画像１３１Ｒを取得し、取得された画像１３１Ｒのデータを画像生成部６１に供給する。画像取得部６５ａ−２は、カメラ１２１Ｌからの縦長の画像１３１Ｌを取得し、取得された画像１３１Ｌのデータを画像生成部６１に供給する。操作情報取得部６５ｂは、表示制御部５１などにより制御された表示に対応して、タッチパネルや操作部２４などのユーザ、サーバ１１の管理者（ユーザ）、または移動体３０とは異なるウェアラブル端末１２のユーザ８２の操作などに応じて入力される操作情報を取得し、取得した操作情報を、画像補正部６３の後述する欠損補完処理部１１４に供給する。

画像生成部６１は、横長の画像１３１Ｒ（図１０）と縦長の画像１３１Ｌ（図１０）を用いて、例えば、図１１に示されるように、野球やテニスのボールの縫い合わせ方法（図１１の矩形画像１４１）のように合成して、図１２に示されるような全天球画像と等価な矩形画像（周囲撮像画像）１５１を生成する。すなわち、横長の画像１３１Ｒと縦長の画像１３１Ｌが、画像１３１Ｒの長手方向の両端部と、画像１３１Ｌの長手方向に沿って延在する画像１３１Ｌの両端部とそれぞれ接続されている。なお、図１１および図１２の例においては、点線の交差部分は矩形画像１４１および１５１を表示する表示部の中心であって、実際には、矩形画像１４１および１５１の縫い合わせ部分はその表示部の中心からずれている。これは、表示部の中心に視線があることが多く、表示部の中心に画像の縫い合わせ部分が来てしまうと違和感があり、それを避けるためである。画像生成部６１は、生成された矩形画像を画像補正部６３およびデータ提供部６６に供給する。

画像補正部６３は、回転演算部１１１、安定化画像生成部１１２、欠損判別部１１３、欠損補完処理部１１４を含むように構成される。画像生成部６１により生成された矩形画像は、回転演算部１１１と安定化画像生成部１１２とに供給される。

回転演算部１１１は、カメラ付ヘッドギア１０１の回転運動に伴う画像の変化を補正する演算を行い、その演算値を安定化画像生成部１１２に供給する。安定化画像生成部１１２は、回転演算部１１１からの演算値を用いて、回転を抑制するための安定化処理を行い、安定化画像を生成する。すなわち、回転演算部１１１および安定化画像生成部１１２は、カメラ付ヘッドギア１０１の位置が変化することなく、カメラ付ヘッドギア１０１の視線方向が変化した（すなわち、カメラ付ヘッドギア１０１に回転運動が生じた）場合に、周囲撮像画像に対して、カメラ付ヘッドギア１０１の視線方向の変化に伴う周囲撮像画像の変化を抑制する補正を実施する。安定化画像生成部１１２は、生成された安定化画像を、欠損判別部１１３およびデータ提供部６６に供給する。

欠損判別部１１３は、安定化画像生成部１１２からの安定化画像（図１３の画像１７１）に対して、安定化処理が行われた後に発生する欠損部分（図１３の欠損部分１８１）があるか否かを判別し、判別結果（欠損の有無）と欠損部分がある場合には、その欠損部分の位置を示すなどの欠損に関する情報を、欠損補完処理部１１４および表示制御部５１に供給する。なお、図１３の画像１７１においては、図１１および図１２の例と異なり、例えば、円領域で示される一方の画像（縦長の画像１３１Ｒ）の中央領域が、装着するユーザの視線方向に対応している。画像の合成の方法は、図１１および図１２の方法に限らず、図１３のように画像を合成してもよい。

欠損補完処理部１１４は、操作情報取得部６５ｂからの、表示制御部５１などにより制御された表示に対応して、タッチパネルや操作部などのユーザ、サーバ１１の管理者（ユーザ）、または移動体３０とは異なるウェアラブル端末１２のユーザ８２の操作などに応じて入力される操作情報を取得し、取得した操作情報に応じ、安定化画像生成部１１２から欠損があると判別された安定化画像に対して、欠損補完処理を行う。欠損補完処理部１１４は、欠損補完された画像を、データ提供部６６に供給する。

表示制御部５１は、判別結果（欠損の有無）と欠損部分がある場合には、その欠損部分の大きさ、形状、数、位置を示すなどの欠損に関する欠損情報の表示を制御する。また、表示制御部５１においては、欠損補完を行うか否かを選択するための画面表示なども制御される。

データ提供部６６は、安定化画像と、必要に応じて回転演算部１１１からの演算値とを、サーバ１１に送信し、本情報処理システム１０のユーザに提供する。なお、安定化画像とともに、欠損部分の大きさ、形状、数、位置を示すなどの欠損に関する欠損情報をメタデータとして送ったり、あるいは、欠損部分をハイライト表示させたり、さらに、ハイライト表示させた欠損部分を、重畳データとして送るようにしてもよい。

次に、図１４のフローチャートを参照して、ウェアラブル端末１２の画像処理について説明する。

ステップＳ１１において、画像取得部６５ａ−１は、カメラ１２１Ｒからの横長の画像１３１Ｒを取得し、取得された画像１３１Ｒのデータを画像生成部６１に供給する。画像取得部６５ａ−２は、カメラ１２１Ｌからの縦長の画像１３１Ｌを取得し、取得された画像１３１Ｌのデータを画像生成部６１に供給する。

ステップＳ１２において、画像生成部６１は、画像取得部６５ａ−１および６５ａ−２より取得された、それぞれの画像から、全天球画像（と等価な矩形画像）を生成する。画像生成部６１は、生成された全天球画像を画像補正部６３およびデータ提供部６６に供給する。

ステップＳ１３において、回転演算部１１１および安定化画像生成部１１２は、画像生成部６１により生成された全天球画像に対して、安定化処理を行う。すなわち、回転演算部１１１は、カメラ付ヘッドギア１０１の回転運動に伴う画像の変化を補正する演算を行い、その演算値を安定化画像生成部１１２に供給する。安定化画像生成部１１２は、回転演算部１１１からの演算値を用いて、回転を抑制するための安定化処理を行い、安定化画像を生成する。安定化画像生成部１１２は、生成された安定化画像を、欠損判別部１１３およびデータ提供部６６に供給する。

欠損判別部１１３は、安定化画像生成部１１２からの安定化画像（図１３の画像１７１）に欠損があるか否かを判定する。ここで、欠損の検出について具体的に説明する。なお、カメラ付ヘッドギア１０１においては、２個であるが、例として、Ｎ個のカメラ画像をスティッチング（縫い合わせ合成）する場合を考える。

画像生成部６１は、各カメラ画像から、Ｎ個のパラメータ（それぞれのカメラの空間的な位置と方向）を推定し、それぞれのカメラ画像から、全天球上の画像へ変換、合成を行う。この際に、カメラパラメータの推定は、撮影前に１度行ったカメラパラメータを以降参照して合成を行う方法と、リアルタイムにカメラパラメータを推定する方法があげられる。

欠損判別部１１３は、それらのカメラパラメータC(n)のそれぞれの位置関係が決定すると、そのカメラからカバー可能な範囲が規定できるので、そのカメラパラメータ系列C(1…N)から欠損の有無を判別する。

あるいは、欠損判別部１１３は、全天球画像に合成、変換した後に、その全天球画像におけるピクセルの変化を時間方向に検査していく。欠損が発生している場合、カメラ画像からのピクセルデータが提供されていないので、全天球画像中のピクセルは初期カラー状態から変化しない。欠損判別部１１３は、その部分を欠損領域（欠損部分）として検出する。

上記のいずれかの方法が用いられて、欠損領域が検出される。

ステップＳ１４において欠損があると判定された場合、処理は、ステップＳ１５に進む。このとき、欠損判別部１１３は、判別結果（欠損の有）と、その欠損部分の位置を示すなどの欠損に関する情報を、欠損補完処理部１１４および表示制御部５１に供給する。

表示制御部５１は、欠損に関する欠損情報の表示を制御し、欠損情報をユーザに通知する。例えば、図示されていないが、ウェアラブル端末１２は、腕時計型の表示部２３と操作部２４とを有しており、移動体３０であるユーザの腕に装着されている。このとき、表示部２３には、欠損情報とともに、欠損補完処理の示唆の表示も制御され、ユーザが操作する操作部２４からの操作情報を、操作情報取得部６５ｂを介して入力される。

ステップＳ１５において、欠損補完処理部１１４は、欠損を補完するか否かを判定する。ステップＳ１５において、欠損を補完すると判定された場合、処理は、ステップＳ１７に進む。

ステップＳ１６において、欠損補完処理部１１４は、欠損補完処理を行う。ここで、安定化処理された画像は、次のような特徴をもつ。

図１４の例においては、欠損部分１８１を有する安定化画像１９１が示されており、図１５の例においては、欠損部分１８１を有する安定化画像２０１が示されている。図１４および図１５を比べてみると、空間物体は移動していないが、欠損部分１８１が移動している。

すなわち、安定化処理された画像は、静止状態から構成される環境に対して固定された画像になる。つまりカメラの物理的な姿勢に変化しても画像自体は変化しない。一方、画像欠損が発生した場合、安定化される前の画像においては、欠損部分は移動しない。しかしながら、安定化処理が行われた後では、その欠損部分はカメラの物理的な姿勢に応じて移動する。

欠損補完処理部１１４は、このような性質を利用して欠損補完処理を行う。具体的には、内蔵するメモリ（図５の記憶部６７）に、全天球画像のフォーマット（例としては正距円筒図法）画像の過去フレーム画像の平均化画像が保持されている。欠損補完処理部１１４は、欠損補完処理において、対応するピクセルは欠損領域である場合に、過去フレームで保持しておいたピクセル情報を参照し利用する。

なお、その過去フレーム利用による補完用のフレームは、単純な平均画像や、テクスチャの補完、物体画像の補完、画像中のオプティカルフローによって生成されてもよい。

また、欠損領域の推定を行った場合、その領域そのものを領域界面として合成してしまうと、つなぎ目が明らかになってしまうため、欠損領域に対して、例として、画像にdilation（遅延）処理を施した上で、その領域境界においては、補完用のピクセルと元ピクセルをαブレンドすることでつなぎ目をスムーズにすることができる。

以上の欠損補完処理については、図１７を参照して後述されるが、ステップＳ１６の処理により、欠損補完後の画像が生成される。欠損補完処理部１１４は、欠損補完された画像を、データ提供部６６に供給する。以上により、画像処理は終了される。

一方、ステップＳ１４において、欠損がないと判定された場合、判別結果（欠損なし）を、欠損補完処理部１１４および表示制御部５１に供給し、画像処理を終了する。この場合、安定化画像生成部１１２からの安定化画像がデータ提供部６６から送信される。

ステップＳ１６において、欠損を補完しないと判定された場合、画像処理を終了する。この場合、例えば、安定化画像生成部１１２からの安定化画像と欠損情報とがデータ提供部６６から送信される。

次に、図１７のフローチャートを参照して、欠損補完処理について説明する。欠損補完処理部１１４は、ステップＳ３１において、欠損領域推定を行う。欠損領域推定においては、例えば、上述した欠損検出と同じ方法が用いられる。

欠損補完処理部１１４は、ステップＳ３２において、推定した欠損領域の過去画像平均処理を行う。ステップＳ３３において、欠損補完処理部１１４は、推定した欠損領域に対して、ステップＳ３２で平均化された平均化画像を用いて合成処理を行う。

ここで、図１８の例においては、欠損部分２２１および２２２を有する安定化画像２１１が示されており、図１９の例においては、欠損部分が補完された安定化画像２３１が示されている。

以上のように、図１８に示されるような欠損部分２２１および２２２を有する安定化画像２１１から、欠損領域が推定され、推定された欠損領域に対して、欠損補完が行われ、図１９に示されるように欠損のない安定化画像２３１が得られる。

なお、欠損補完データを、重畳（レイヤ）データとして、安定化画像とともに配信し、閲覧側で、補完後の画像を見るか、補完されていない画像をみるか選択できるようにしてもよい。

上述した欠損補完処理は、欠損部分の大きさ、形状、数によって行うか否かを制御するようにしてもよい。例えば、欠損部分の大きさが所定の大きさより大きい場合、形状が所定の形状以外の場合、または数が所定の数より多い場合、欠損補完処理を行う、あるいは、行う際の処理のパラメータを変更するなどの例が考えられる。

また、欠損補完処理の有無を、ネットワーク越しに行うようにしてもよい。すなわち、欠損情報や欠損補完処理を行うか否かの選択画面を、サーバ１１や他のウェアラブル装置１２の表示部２３に表示させて通知を行い、そこからの指示に応じて、欠損補完処理を行うようにしてもよい。さらに、上述した欠損補完処理は、撮影側、サーバ、他のユーザ側で行うようにしてもよい。

以上のように、本技術によれば、配信前に、画像の欠損を把握することができる。その上で、欠損補完を行うか行わないかを決めることができるので、画像の欠損について、ユーザの嗜好に合わせた処置を行うことができる。

なお、上記説明において、ユーザへの通知として、画像の欠損情報や欠損補完処理の示唆を表示制御する例を説明したが、通知の方法は、表示だけに限らず、欠損情報や欠損補完処理の示唆を音声制御するようにしてもよい。あるいは、ユーザの操作に応じて、欠損部分だけでなく、さらに、補完処理を行った領域がハイライトされるよう、当該領域の表示を動的に変化させてもよい。

なお、上述した欠損補完処理は、画像中の物体が動物体の場合には望ましい結果が得られないため、動物体または静止物体かを検出してから行うか否かを決めてから、静止物体のときのみ欠損補完処理を行い、動物体のときには欠損補完処理を禁止するようにしてもよい。

また、カメラが激しく動いている場合にも、欠損補完処理に対して望ましい結果が得られないため、例えば、カメラが所定の移動速度よりも速く平行移動しているか否かを判定し、所定の移動速度よりも速く平行移動しているときには、欠損補完処理を禁止し、所定の移動速度より遅い移動のときには、欠損補完処理を行うようにしてもよい。なお、カメラの動きは、回転のみであれば、欠損補完処理を行ってもよい。本技術の欠損補完処理は、外部の環境変化と並進運動に弱いという傾向がある。

なお、本技術は、上述したように複数の画像を張り合わせて安定化させた全周囲撮像画像の欠損部分に適用されるが、例えば、カメラの撮影範囲でカバーできないことによる欠損部分にも適用することができる。

また、本技術は、複数のカメラのうち、いずれかのカメラが故障などにより画像が取得できなくなった場合にもそれを欠損とすることで、適用することができる。

なお、本技術は、上述したカメラ付ヘッドギア１０１のように、一部の固定機構(Rigit Body)を有するカメラや、それぞれのカメラの位置関係がフレキシブルであるが、リアルタイムにスティッチングパラメータを変化させて、カメラ画像合成を行うカメラに適用される。

また、本技術は、それら以外にも、例えば、アラウンドビューが得られる車両に配置された複数カメラやボール状のケースに複数カメラが配置されて、回転させながら上に投げることで撮影可能なボールカメラなどにも適用することが可能である。また、車両に設けられたサイドカメラ、フロントカメラ、リアカメラのうち少なくとも２つが組み合わされてもよい。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１） 複数の撮像装置の撮像により生成される画像に基づいて欠損の有無を判別する欠損判別部と、
前記欠損判別部による欠損の判別結果に応じた通知を制御する通知制御部と
を備える情報処理装置。
（２） 前記通知制御部は、前記欠損判別部による欠損の判別結果の通知表示を制御する
前記（１）に記載の情報処理装置。
（３） 前記通知制御部は、前記欠損判別部により欠損があると判別された場合、前記欠損をハイライト表示させる
前記（２）に記載の情報処理装置。
（４） 前記欠損判別部は、前記撮像装置の姿勢変化に応じた画像の変化を抑制した安定化画像を取得し、
前記通知制御部は、前記欠損のハイライト表示の位置を安定化画像内で動的に変化させる
前記（３）に記載の情報処理装置。
（５）前記通知制御部は、前記欠損判別部により欠損があると判別された場合、欠損の大きさ、形状、および数の少なくとも１つの通知を制御する
前記（１）に記載の情報処理装置。
（６） 前記通知制御部は、前記欠損判別部により欠損があると判別された場合、欠損を補完するか否かを選択するための通知を制御する
前記（１）または（５）に記載の情報処理装置。
（７） 前記複数の撮像装置は、第１のウェアラブルカメラおよび第２のウェアラブルカメラである
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８） 前記第１のウェアラブルカメラにより取得される第１の画像の長手方向と前記第２のウェアラブルカメラにより取得される第２の画像の長手方向は交差している
前記（７）に記載の情報処理装置。
（９） 前記第１の画像の中央領域は、前記情報処理装置を装着するユーザの視線方向に対応して配置される
前記（８）に記載の情報処理装置。
（１０） 前記第１の画像の長手方向の両端部は、前記第２の画像の長手方向に沿って延在する前記第２の画像の両端部とそれぞれ接続される
前記（８）に記載の情報処理装置。
（１１） ユーザの操作に応じて、前記欠損判別部によりあると判別された欠損の補完処理を行う欠損補完処理部を
さらに備える前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２） 前記通知制御部は、前記欠損の補完処理が行われた画像の領域をユーザの操作に応じて、ハイライト表示させる
前記（８）に記載の情報処理装置。
（１３）前記ユーザは、ネットワークを介して接続される他の情報処理装置のユーザである
前記（１１）に記載の情報処理装置。
（１４） 前記欠損判別部による欠損の判別結果を、ネットワークを介して送信する送信部を
さらに備える前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５） 前記送信部は、前記欠損判別部により欠損があると判別された場合、欠損の大きさ、形状、および数の少なくとも１つの欠損情報を、メタデータとして、前記ネットワークを介して送信する
前記（１４）に記載の情報処理装置。
（１６） 情報処理装置が、
複数の撮像装置の撮像により生成される画像に基づいて欠損の有無を判別し、
前記欠損の判別結果に応じた通知を制御する
情報処理方法。
（１７） 複数の撮像装置の撮像により生成される画像に基づいて欠損の有無を判別する欠損判別部と、
前記欠損判別部による欠損の判別結果に応じた通知を制御する通知制御部と
して、コンピュータを機能させるプログラム。

１０ システム， １１ サーバ， １２ ウェアラブル端末（クライアント機器）， ２０ 装置， ２６ 撮像部， ２７ センサ， ３０ 移動体， ５０ 情報処理装置， ５１ 表示制御部， ６１ 画像生成部， ６３ 画像補正部， ６５ データ取得部， ６５ａ−１乃至６５ａ−５ 画像取得部， ６５ｂ 操作情報取得部， ６６ データ提供部， ８２ ユーザ， １０１ カメラヘッド付ギア， １０２ 情報処理装置， １１１ 回転演算部， １１２ 安定化画像生成部， １１３ 欠損判別部， １１４ 欠損補完処理部， １２１Ｌ，１２１Ｒ カメラ

Claims (17)

1. 複数の撮像装置の撮像により生成される画像に基づいて欠損の有無を判別する欠損判別部と、
   前記欠損判別部による欠損の判別結果に応じた通知を制御する通知制御部と
   を備える情報処理装置。
2. 前記通知制御部は、前記欠損判別部による欠損の判別結果の通知表示を制御する
   請求項１に記載の情報処理装置。
3. 前記通知制御部は、前記欠損判別部により欠損があると判別された場合、前記欠損をハイライト表示させる
   請求項２に記載の情報処理装置。
4. 前記欠損判別部は、前記撮像装置の姿勢変化に応じた画像の変化を抑制した安定化画像を取得し、
   前記通知制御部は、前記欠損のハイライト表示の位置を安定化画像内で動的に変化させる
   請求項３に記載の情報処理装置。
5. 前記通知制御部は、前記欠損判別部により欠損があると判別された場合、欠損の大きさ、形状、および数の少なくとも１つの通知を制御する
   請求項１に記載の情報処理装置。
6. 前記通知制御部は、前記欠損判別部により欠損があると判別された場合、欠損を補完するか否かを選択するための通知を制御する
   請求項１に記載の情報処理装置。
7. 前記複数の撮像装置は、第１のウェアラブルカメラおよび第２のウェアラブルカメラである
   請求項１に記載の情報処理装置。
8. 前記第１のウェアラブルカメラにより取得される第１の画像の長手方向と前記第２のウェアラブルカメラにより取得される第２の画像の長手方向は交差している
   請求項７に記載の情報処理装置。
9. 前記第１の画像の中央領域は、前記情報処理装置を装着するユーザの視線方向に対応して配置される
   請求項８に記載の情報処理装置。
10. 前記第１の画像の長手方向の両端部は、前記第２の画像の長手方向に沿って延在する前記第２の画像の両端部とそれぞれ接続される
    請求項８に記載の情報処理装置。
11. ユーザの操作に応じて、前記欠損判別部によりあると判別された欠損の補完処理を行う欠損補完処理部を
    さらに備える請求項１に記載の情報処理装置。
12. 前記通知制御部は、前記欠損の補完処理が行われた画像の領域をユーザの操作に応じて、ハイライト表示させる
    請求項１１に記載の情報処理装置。
13. 前記ユーザは、ネットワークを介して接続される他の情報処理装置のユーザである
    請求項１１に記載の情報処理装置。
14. 前記欠損判別部による欠損の判別結果を、ネットワークを介して送信する送信部を
    さらに備える請求項１に記載の情報処理装置。
15. 前記送信部は、前記欠損判別部により欠損があると判別された場合、欠損の大きさ、形状、および数の少なくとも１つの欠損情報を、メタデータとして、前記ネットワークを介して送信する
    請求項１４に記載の情報処理装置。
16. 情報処理装置が、
    複数の撮像装置の撮像により生成される画像に基づいて欠損の有無を判別し、
    前記欠損の判別結果に応じた通知を制御する
    情報処理方法。
17. 複数の撮像装置の撮像により生成される画像に基づいて欠損の有無を判別する欠損判別部と、
    前記欠損判別部による欠損の判別結果に応じた通知を制御する通知制御部と
    して、コンピュータを機能させるプログラム。

Images