JP2014225108A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】カメラの全周を含む画像を展開せずに利用する場合により有用な画像を得る。
【解決手段】全周画像を取得する画像取得部と、上記全周画像に含まれる基準点が上記全周画像の中心に対して所定の向きに位置するような上記全周画像の回転角度を算出する回転角度算出部とを含む画像処理装置が提供される。
【選択図】図１

Description

本開示は、画像処理装置、画像処理方法およびプログラムに関する。

特殊な構造のレンズやカメラを用いることによって、カメラの全周を含む画像を得ることができる。このような画像を加工して利用するための技術は、種々提案されている。例えば、特許文献１には、全周囲カメラを用いて撮像された動画像から抽出された特徴点のデータを利用してオブジェクトの三次元座標を算出する技術が記載されている。また、特許文献２には、魚眼レンズを用いて撮像された画像を円筒面上に展開した展開画像に変換し、展開画像に基づいてオブジェクトまでの距離などを検出する技術が記載されている。

特許第４５４５０９３号公報 特開２０１２−２２６６４５号公報

例えば上記のように全周囲カメラや魚眼レンズを用いて撮像された画像にはひずみが生じる。それゆえ、こうした画像を利用するための技術は、ひずみの影響を除去するために画像を展開したり、ひずみを前提としてオブジェクトの座標や距離を算出したりするものが主であった。つまり、カメラの全周を含む画像をそのまま利用するための技術は、これまで十分には提案されてこなかった。

そこで、本開示では、カメラの全周を含む画像を展開せずに利用する場合により有用な画像を得ることを可能にする、新規かつ改良された画像処理装置、画像処理方法およびプログラムを提案する。

本開示によれば、全周画像を取得する画像取得部と、上記全周画像に含まれる基準点が上記全周画像の中心に対して所定の向きに位置するような上記全周画像の回転角度を算出する回転角度算出部とを含む画像処理装置が提供される。

また、本開示によれば、全周画像を取得することと、プロセッサが、上記全周画像に含まれる基準点が上記全周画像の中心に対して所定の向きに位置するような上記全周画像の回転角度を算出することとを含む画像処理方法が提供される。

また、本開示によれば、全周画像を取得する機能と、プロセッサが、上記全周画像に含まれる基準点が上記全周画像の中心に対して所定の向きに位置するような上記全周画像の回転角度を算出する機能とをコンピュータに実現させるためのプログラムが提供される。

カメラの全周を含む全周画像では、通常の撮像画像のように上下などの方向を一意に定義することが困難である。そこで、何らかの基準で設定される基準点が所定の向きに位置するように全周画像を回転させることによって、画像の内容に応じて適切な方向が知覚されやすい有用な画像を得ることができる。

以上説明したように本開示によれば、カメラの全周を含む画像を展開せずに利用する場合により有用な画像を得ることができる。

本開示の第１の実施形態に係る画像処理装置の概略的な機能構成を示すブロック図である。 本開示の第１の実施形態においてカメラを鉛直方向に向けて撮像された撮像画像の例について説明するための図である。 本開示の第１の実施形態においてカメラを水平方向に向けて撮像された撮像画像の第１の例について説明するための図である。 本開示の第１の実施形態においてカメラを水平方向に向けて撮像された撮像画像の第２の例について説明するための図である。 本開示の第１の実施形態における移動方向の推定を概念的に示すフローチャートである。 本開示の第１の実施形態における撮像画像の回転の第１の例について説明するための図である。 本開示の第１の実施形態における撮像画像の回転の第２の例について説明するための図である。 本開示の第２の実施形態に係る第１の画像処理装置の概略的な機能構成を示すブロック図である。 本開示の第２の実施形態に係る第２の画像処理装置の概略的な機能構成を示すブロック図である。 本開示の第３の実施形態に係る撮像装置の概略的な機能構成を示すブロック図である。 本開示の第４の実施形態に係る撮像装置の概略的な機能構成を示すブロック図である。 本開示の第４の実施形態に係る画像処理装置の概略的な機能構成を示すブロック図である。 本開示の第５の実施形態に係る画像処理装置の概略的な機能構成を示すブロック図である。 本開示の第５の実施形態における撮像画像の回転角度算出の第１の例について説明するための図である。 本開示の第５の実施形態における撮像画像の回転角度算出の第２の例について説明するための図である。 本開示の第６の実施形態に係る第１の画像処理装置の概略的な機能構成を示すブロック図である。 本開示の第６の実施形態に係る第２の画像処理装置の概略的な機能構成を示すブロック図である。 本開示の第７の実施形態に係る撮像装置の概略的な機能構成を示すブロック図である。 本開示の第７の実施形態における撮像画像の回転角度算出の第１の例について説明するための図である。 本開示の第７の実施形態における撮像画像の回転角度算出の第２の例について説明するための図である。 本開示の第８の実施形態に係る画像処理装置の概略的な機能構成を示すブロック図である。 本開示の第８の実施形態に係る画像処理装置の概略的な機能構成を示すブロック図である。 情報処理装置のハードウェア構成を説明するためのブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．機能構成
１−２．発生点および検出点の具体的な例
１−３．移動方向の推定
１−４．撮像画像の回転の例
２．第２の実施形態
３．第３の実施形態
４．第４の実施形態
５．第５の実施形態
５−１．機能構成
５−２．回転角度算出の例
６．第６の実施形態
７．第７の実施形態
７−１．機能構成
７−２．回転角度算出の例
８．第８の実施形態
９．ハードウェア構成
１０．補足

（１．第１の実施形態）
（１−１．機能構成）
図１は、本開示の第１の実施形態に係る画像処理装置の概略的な機能構成を示すブロック図である。図１を参照すると、画像処理装置１００は、通信部１０２と、記憶部１０４と、画像取得部１０６と、ベクトル算出部１０８と、点検出部１１０と、回転角度算出部１１２と、画像編集部１１４とを含む。さらに、画像処理装置１００は、表示制御部１１６と、表示部１１８とを含んでもよい。

本実施形態において、画像処理装置１００は、ネットワークを介して他の装置から撮像画像を取得し、取得された画像を編集する装置である。画像処理装置１００は、編集された画像を他の装置にネットワークを介して送信してもよいし、記憶部に蓄積してもよいし、あるいは自ら表示してもよい。

画像処理装置１００は、例えば各種のＰＣ（Personal Computer）、タブレット端末、携帯電話（スマートフォンを含む）、ゲーム機、またはメディアプレーヤなどの端末装置であってもよく、ネットワークを介して端末装置にサービスを提供するサーバであってもよい。画像処理装置１００は、例えば後述する情報処理装置のハードウェア構成によって実現される。画像処理装置１００がサーバである場合、画像処理装置１００の機能はネットワークで接続された複数の情報処理装置が協働することによって実現されてもよい。以下、それぞれの構成要素についてさらに説明する。

通信部１０２は、例えば通信装置によって実現され、有線または無線の各種のネットワークを介して他の装置と通信する。例えば、通信部１０２は、他の装置から撮像画像のデータを受信して記憶部１０４に格納する。また、例えば、通信部１０２は、画像処理装置１００において編集されて記憶部１０４に格納された画像のデータを他の装置に送信する。さらに、図示していないが、画像処理装置１００がサーバである場合、通信部１０２は、サービスの提供を受ける端末装置から送信された処理の依頼などのコマンドを受信して画像処理装置１００の各部に提供する。

記憶部１０４は、例えばストレージ装置および各種のメモリの組み合わせによって実現され、画像処理装置１００で用いられる各種のデータを一時的または永続的に格納する。例えば、記憶部１０４は、通信部１０２が他の装置から受信した撮像画像のデータを少なくとも一時的に格納し、必要に応じて画像取得部１０６に提供する。また、例えば、記憶部１０４は、画像編集部１１４によって編集された画像のデータを少なくとも一時的に格納し、必要に応じて他の装置に送信するために通信部１０２に提供する。あるいは、記憶部１０４は、編集された画像のデータを表示のために表示制御部１１６に提供してもよい。

画像取得部１０６は、例えばＣＰＵ（Central Processing Unit）がメモリに格納されたプログラムに従って動作することによって実現され、記憶部１０４に格納された撮像画像のデータを取得する。ここで、画像取得部１０６によってデータが取得される撮像画像は、魚眼レンズを介して時間的に連続して撮像されたものである。ここで、魚眼レンズを介して撮像された撮像画像は、魚眼レンズを有するカメラの全周を含むため、全周画像ともいえる。これらの画像は、例えば動画像として一連のフレームを構成するものであってもよいし、独立して撮像された２枚以上の静止画であってもよい。

ベクトル算出部１０８は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、画像取得部１０６によって取得された撮像画像における動きベクトルを算出する。例えば、ベクトル算出部１０８は、撮像画像を所定のサイズのブロックに分割し、時間的に前後に位置する撮像画像の間でブロックマッチングを実行することによって動きベクトルを算出する。なお、動きベクトルの算出にはこれ以外にも公知のさまざまな手法を利用することが可能である。

ここで、ベクトル算出部１０８は、後述する点検出部１１０での処理結果に応じて２段階で動きベクトルを算出してもよい。この場合、例えば、ベクトル算出部１０８は、まず撮像画像の全体について第１のブロックサイズで動きベクトルを算出する。算出された動きベクトルは一旦点検出部１１０に提供され、点検出部１１０で動きベクトルに基づいて探索領域が設定される。次に、ベクトル算出部１０８は、撮像画像のうちの探索領域（その近傍を含んでもよい）について第１のブロックサイズよりも小さい第２のブロックサイズで動きベクトルを算出し、算出された動きベクトルを点検出部１１０に提供する。点検出部１１０は、探索領域において、より小さい第２のブロックサイズで算出された動きベクトルを用いて発生点または収束点を探索する。このように、ベクトル算出部１０８におけるブロックマッチングの実行回数を削減することによって、画像処理装置１００全体としての処理負荷が軽減されうる。

なお、他の実施形態では、ベクトル算出部１０８が画像処理装置１００に含まれなくてもよい。つまり、画像処理装置１００は、必ずしも動きベクトルを自ら算出しなくてもよい。例えば、動きベクトルは、他の装置で算出されてデータとして通信部１０２によって受信され、記憶部１０４に格納されてもよい。この場合、ベクトル算出部１０８は、撮像画像に対応する動きベクトルのデータを記憶部１０４から読み出すベクトル取得部によって代替されうる。

点検出部１１０は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、ベクトル算出部１０８によって算出された動きベクトルの発生点または収束点を検出する。後述するように、魚眼レンズを介して時間的に連続して撮像された撮像画像では、カメラの移動方向に応じて動きベクトルの発生点または収束点が現れる。より具体的には、点検出部１１０は、撮像画像の周縁部で発生点および収束点の両方を検出するか、撮像画像の中央部で発生点または収束点のいずれかを検出しうる。

ここで、点検出部１１０は、上述したベクトル算出部１０８での２段階の動きベクトルの算出に対応して、２段階で発生点または収束点を検出してもよい。この場合、例えば、点検出部１１０は、まず撮像画像の全体について第１のブロックサイズで算出された動きベクトルに基づいて撮像画像中に探索領域を設定する。探索領域には、例えば、動きベクトルの大きさが相対的に小さい領域、または相対的に多くの動きベクトルの方向が交差する領域が設定されうる。これは、発生点および収束点の近傍では動きベクトルの大きさが小さくなり、また発生点および収束点には多くの動きベクトルの方向が集中するという、魚眼レンズを介して時間的に連続して撮像された撮像画像の特徴を反映したものである。点検出部１１０は探索領域の情報をベクトル算出部１０８に提供し、ベクトル算出部１０８は探索領域（その近傍を含んでもよい）についてより小さい第２のブロックサイズで動きベクトルを算出する。さらに、点検出部１１０は第２のブロックサイズで算出された動きベクトルに基づいて、探索領域の中で発生点または収束点を探索する。

あるいは、ベクトル算出部１０８での動きベクトルの算出が２段階ではない場合でも、点検出部１１０は、上記の例と同様にして探索領域を設定し、探索領域の中で発生点または収束点を探索してもよい。この場合、点検出部１１０は、ベクトル算出部１０８によって算出された動きベクトルを第１の粒度で抽出して探索領域を設定し、探索領域の中で第１の粒度よりも細かい第２の粒度で動きベクトルを抽出して発生点または収束点を探索しうる。この場合も、探索領域には、例えば動きベクトルの大きさが相対的に小さい領域、または相対的に多くの動きベクトルの方向が交差する領域が設定されうる。

なお、点検出部１１０によって検出される動きベクトルの発生点および収束点のより具体的な例については後述する。

回転角度算出部１１２は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、点検出部１１０によって撮像画像の周縁部で発生点が検出された場合に、発生点が撮像画像の中心に対して所定の向きに位置するような撮像画像の回転角度を算出する。より具体的には、回転角度算出部１１２は、発生点が撮像画像の中心に対して下に位置するように回転角度を算出しうる。このような回転角度は、後述するように、例えば撮像画像が魚眼レンズを鉛直方向に向けて撮像された画像である場合に、カメラの移動に伴って流れていく撮像画像がより自然に観察されるように撮像画像を回転させる角度でありうる。ここで、回転角度算出部１１２は、発生点を基準点として、基準点が撮像画像の中心に対して所定の向きに位置するように回転角度を算出するともいえる。後述するように、本実施形態において、撮像画像の解析の結果得られた発生点は撮像画像における注視点であるものと推定され、回転角度算出部１１２は推定された注視点を基準点として回転角度を算出している。

画像編集部１１４は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、回転角度算出部１１２によって算出された回転角度に従って撮像画像を回転させる。上述のように、回転角度算出部１１２は、撮像画像の周縁部で発生点が検出された場合に、発生点が撮像画像の中心に対して所定の向きに位置するような回転角度を算出しうる。従って、画像編集部１１４は、撮像画像の周縁部で発生点が検出された場合に、発生点が撮像画像の中心に対して所定の向きに位置するように撮像画像を回転させているともいえる。より具体的には、画像編集部１１４は、発生点が撮像画像の中心に対して下に位置するように撮像画像を回転させてもよい。後述する動きベクトルの発生点および収束点のより具体的な例を参照すれば明らかなように、このような回転の処理は、撮像画像が収束点から発生点に向かって移動しながら撮像された画像であるという推定に基づく処理ともいえる。

表示制御部１１６は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、例えば各種のディスプレイなどの出力装置によって実現される表示部１１８を制御して記憶部１０４から読み出したデータに基づく画像を表示させる。ここで、記憶部１０４には、画像編集部１１４によって編集された画像、より具体的には回転角度算出部１１２によって算出された回転角度に従って画像編集部１１４で回転された撮像画像が格納されうる。従って、表示制御部１１６は、画像取得部１０６から画像編集部１１４までの処理の結果として生成された画像を表示部１１８に表示させるともいえる。

（１−２．発生点および検出点の具体的な例）
図２〜図４を参照して、上述した画像処理装置１００の点検出部１１０によって検出される動きベクトルの発生点および検出点のより具体的な例について、さらに説明する。

図２は、本開示の第１の実施形態においてカメラを鉛直方向に向けて撮像された撮像画像の例について説明するための図である。図２には、カメラ１０を鉛直方向に向けて撮像された撮像画像１５の例が示されている。カメラ１０は、魚眼レンズ１１を有し、魚眼レンズ１１の光軸方向は略鉛直方向である。また、カメラ１０は、略水平方向、すなわち魚眼レンズ１１の光軸方向に対して垂直な方向に移動している。

この場合、撮像画像１５では、周縁部に動きベクトルＶの発生点Ｒおよび収束点Ｃの両方が現れる。魚眼レンズ１１の光軸方向が略鉛直方向である場合、撮像画像１５の中央部がカメラ１０の上方にあたり、撮像画像１５の周縁部がカメラ１０の周囲にあたる。ここで、撮像画像１５は、カメラ１０の全周を含む全周画像である。この状態でカメラ１０が略水平方向に移動すると、時間的に連続して撮像される撮像画像１５では、周縁部のある点、すなわちカメラ１０が向かっている方向に対応する点から発生した画像が、主に両側に分かれて周縁部を流れ、撮像画像１５の中心に対して反対側にある周縁部の点、すなわちカメラ１０が遠ざかっている方向に対応する点に収束する。このようにして、動きベクトルＶには発生点Ｒと収束点Ｃとが現れる。この場合、撮像画像１５における観察者の注視点は、カメラ１０が向かっていく先、すなわち発生点Ｒであるものと推定されうる。

上述のように、画像処理装置１００の点検出部１１０は、このような発生点Ｒと収束点Ｃとを検出しうる。ここで、点検出部１１０は、発生点Ｒと収束点Ｃとの位置関係の規則性を利用して、検出の処理を効率化してもよい。例えば、発生点Ｒが撮像画像１５の周縁部の第１の部分で発見された場合、収束点Ｃは撮像画像１５の中心に対して第１の部分の反対側に位置する第２の部分に存在するはずである。そこで、点検出部１１０は、この第２の部分を優先的に、または第２の部分に限定して収束点Ｃを探索してもよい。逆に、収束点Ｃが撮像画像１５の周縁部の第１の部分で発見された場合、発生点Ｒは撮像画像１５の中心に対して第１の部分の反対側に位置する第２の部分に存在するはずである。そこで、点検出部１１０は、この第２の部分を優先的に、または第２の部分に限定して発生点Ｒを探索してもよい。

より具体的には、例えば、点検出部１１０は、撮像画像１５の端から順に動きベクトルを解析して発生点Ｒまたは収束点Ｃを探索し、撮像画像１５の周縁部で発生点Ｒまたは収束点Ｃが発見された場合には、その部分を第１の部分として、探索の対象を当該第１の部分に対応する第２の部分（撮像画像１５の中心に対して反対側の部分）にジャンプさせてもよい。このように、点検出部１１０による動きベクトルの解析の実行回数を削減することによって、画像処理装置１００全体としての処理負荷が軽減されうる。

なお、例えば魚眼レンズ１１の光軸方向が鉛直方向に対してある程度以上傾いているような場合、撮像画像１５の周縁部には発生点Ｒまたは収束点Ｃのいずれか一方だけが現れ、他方の点は撮像画像１５の範囲から外れうる。この場合、上記の第１の部分で発生点Ｒまたは収束点Ｃが発見されたとしても、第２の部分でこれらと対になる収束点Ｃまたは発生点Ｒは発見されない。しかし、この場合、第２の部分以外に収束点Ｃまたは発生点Ｒが存在することもないと考えられるため、点検出部１１０は第２の部分で収束点Ｃまたは発生点Ｒが発見されなかったことをもって探索を終了してもよい。

図３は、本開示の第１の実施形態においてカメラを水平方向に向けて撮像された撮像画像の第１の例について説明するための図である。図３には、カメラ１０を水平方向に向けて撮像された撮像画像１５の例が示されている。カメラ１０は、魚眼レンズ１１を有し、魚眼レンズ１１の光軸方向は略水平方向である。また、カメラ１０は、略水平方向に、魚眼レンズ１１のある方を前にして移動している。

この場合、撮像画像１５では、中央部に動きベクトルＶの発生点Ｒだけが現れる。カメラ１０が魚眼レンズ１１のある方を前にして移動している場合、撮像画像１５の中央部がカメラ１０の前方にあたり、撮像画像１５の周縁部がカメラ１０の上下および左右にあたる。この状態でカメラ１０が前方に移動すると、時間的に連続して撮像される撮像画像１５では、中央部のある点、すなわちカメラ１０が向かっている方向に対応する点から発生した画像が周縁部に向かって流れ、そのまま撮像画像１５の端へと発散する。このようにして、動きベクトルＶには発生点Ｒだけが現れる。この場合、撮像画像１５における観察者の注視点が、カメラ１０が向かっていく先、すなわち発生点Ｒであるものと推定されうる。

図４は、本開示の第１の実施形態においてカメラを水平方向に向けて撮像された撮像画像の第２の例について説明するための図である。図４にも、カメラ１０を水平方向に向けて撮像された撮像画像１５の例が示されている。カメラ１０は、魚眼レンズ１１を有し、魚眼レンズ１１の光軸方向は略水平方向である。また、カメラ１０は、略水平方向に、魚眼レンズ１１のある方を後ろにして移動している。

この場合、撮像画像１５では、中央部に動きベクトルＶの収束点Ｃだけが現れる。カメラ１０が魚眼レンズ１１のある方を後ろにして移動している場合、撮像画像１５の中央部がカメラ１０の後方にあたり、撮像画像１５の周縁部がカメラ１０の上下および左右にあたる。この状態でカメラ１０が前方に移動すると、時間的に連続して撮像される撮像画像１５では、撮像画像１５の端から現れた画像が周縁部から中央部に向かって流れ、中央部のある点、すなわちカメラ１０が遠ざかっている方向に対応する点に収束する。このようにして、動きベクトルＶには収束点Ｃだけが現れる。この場合、撮像画像１５における観察者の注視点が、カメラ１０が遠ざかっていく元、すなわち収束点Ｃであるものと推定されうる。

（１−３．移動方向の推定）
図５は、本開示の第１の実施形態における移動方向の推定を概念的に示すフローチャートである。本実施形態では、画像処理装置１００の画像編集部１１４が、撮像画像の周縁部で動きベクトルの発生点が検出された場合に、発生点が撮像画像の中心に対して所定の向きに位置するように撮像画像を回転させうる。このような処理が、撮像画像が収束点から発生点に向かって移動しながら撮像された画像であるという推定に基づく処理ともいえることは、上述した通りである。このように、本開示のいくつかの実施形態では、撮像画像の移動方向の推定に基づく処理が実行されうる。図５では、そのような推定の一例が概念的に示されている。

なお、以下で説明する撮像画像の移動方向の推定は、必ずしも画像処理装置１００において明示的に実行されるとは限らない。つまり、画像処理装置１００において実現される機能、または画像処理装置１００において実行されるステップの中に、撮像画像の移動方向に推定は必ずしも含まれない。ただし、例えば上記の画像編集部１１４の処理のように、点検出部１１０による発生点または収束点の検出結果に基づいて実行される処理は、検出結果から推定される撮像画像の移動方向をふまえて設定された処理でありうる。

図を参照すると、まず、画像取得部１０６が、撮像画像を取得する（ステップＳ１０１）。上記のように、ここで取得される撮像画像は、魚眼レンズを介して時間的に連続して撮像されたものである。次に、ベクトル算出部１０８が撮像画像における動きベクトルを算出する（ステップＳ１０３）。なお、図ではベクトル算出部１０８および点検出部１１０のシンプルな処理が示されているが、上記の説明で提示されたようなオプションを採用することも可能である。

ここで、点検出部１１０が動きベクトルの発生点または収束点を検出した結果、撮像画像に発生点および収束点の両方が存在した場合（ステップＳ１０５のＹＥＳ）、撮像画像は、図２に示した例のように、収束点から発生点に向かって移動しながら撮像された画像であると推定される（ステップＳ１０７）。なお、上述のように、魚眼レンズの光軸方向が鉛直方向に対して傾いていたなどの理由で撮像画像の周縁部に発生点または収束点のいずれか一方だけが現れ、他方の点が撮像画像の範囲から外れた場合を考慮して、ステップＳ１０５の条件は「撮像画像の周縁部に発生点または収束点が存在する？」と読み替えられてもよい。この場合、ステップＳ１０７でいう収束点および発生点は、撮像画像の範囲から外れた点を含みうる。

一方、ステップＳ１０５でＮＯの場合、撮像画像に発生点が存在すれば（ステップＳ１０９のＹＥＳ）、撮像画像は、図３に示した例のように、発生点に向かって、すなわち発生点に近づくように移動しながら撮像された画像であると推定される（ステップＳ１１１）。また、ステップＳ１０９でもＮＯの場合、撮像画像に収束点が存在すれば（ステップＳ１１３のＹＥＳ）、撮像画像は、図４に示した例のように、収束点から遠ざかるように移動しながら撮像された画像であると推定される（ステップＳ１１５）。なお、図示していないが、ステップＳ１１５でもＮＯの場合、すなわち点検出部１１０が発生点も収束点も検出しなかった場合、撮像画像が移動せずに撮像された画像であると推定されてもよい。

以上で説明したような移動方向の推定を、上記で説明した第１の実施形態に当てはめると、以下のようになる。

まず、撮像画像が、図２に示した例のように、収束点から発生点に向かって移動しながら撮像された画像であると推定される場合（ステップＳ１０７）、画像編集部１１４が、発生点が撮像画像の中心に対して所定の向きに位置するように撮像画像を回転させうる。これは、後述するように、魚眼レンズを鉛直方向に向けて移動させながら撮像された撮像画像は、進行方向が画像の中心に対して所定の向きに位置する方が観察しやすいためである。

一方、撮像画像が、図３および図４に示した例のように、発生点に向かって、または収束点から遠ざかって移動しながら撮像された画像であると推定される場合（ステップＳ１１１，Ｓ１１５）、画像編集部１１４は撮像画像を回転させない。これは、これらの例のような画像では、既に上下および左右が固定されており、回転させる必要がないためである。

（１−４．撮像画像の回転の例）
図６および図７を参照して、上述した画像処理装置１００の画像編集部１１４における撮像画像の回転のより具体的な例について、さらに説明する。なお、以下で例示する撮像画像は、いずれも、図２に示した例のように、収束点から発生点に向かって移動しながら撮像された画像であるものとする。

図６は、本開示の第１の実施形態における撮像画像の回転の第１の例について説明するための図である。図６では、動きベクトルＶの発生点Ｒと収束点Ｃとが存在する撮像画像１５が示されている。撮像画像１５をそのまま観察した場合、画像は、左上にある発生点Ｒから右下にある収束点Ｃへと、主に撮像画像１５の両側に分かれて流れていく。このような状態での画像の観察は、観察者に違和感を覚えさせることが多いことが、経験的に知られている。

そこで、図示された例では、回転角度算出部１１２が発生点Ｒが撮像画像１５の中心に対して下に位置するように回転角度を算出し、画像編集部１１４が算出された回転角度に従って撮像画像１５を回転させる。回転後の撮像画像１５は、撮像画像１５ｒとして図示されている。撮像画像１５ｒでは、画像が下にある発生点Ｒから上にある収束点Ｃへと流れていくため、観察者は違和感を覚えにくい。

魚眼レンズを介して撮像された撮像画像の向きによる観察者の違和感に対処するためには、車両などの移動手段にカメラを設置する際に向きを固定したり、カメラとは別のセンサなどによってカメラの向きを検出したりすることも考えられるが、上記のように撮像後に撮像画像を回転させることによって、撮像時のカメラの向きに関わらず、より自然に観察することが可能な撮像画像を提供することができる。

図７は、本開示の第１の実施形態における撮像画像の回転の第２の例について説明するための図である。図７でも、図６と同様に動きベクトルＶの発生点Ｒと収束点Ｃとが存在する撮像画像１５が示されている。図示された例では、回転角度算出部１１２が発生点Ｒと収束点Ｃとを結ぶ方向が左右方向に一致するように回転角度を算出し、画像編集部１１４が算出された回転角度に従って撮像画像１５を回転させる。回転後の撮像画像１５ｒでは、画像が右にある発生点Ｒから左にある収束点Ｃへと流れていく。このような撮像画像１５ｒの向きは、例えば、観察者の注目がカメラの向かっていく先、すなわち発生点Ｒよりも、流れていく画像そのものにある場合に好適でありうる。

（２．第２の実施形態）
次に、図８および図９を参照して、本開示の第２の実施形態について説明する。本実施形態では、上記の第１の実施形態に係る画像処理装置１００と同様の機能が、第１および第２の画像処理装置に分散して実現される。

図８は、本開示の第２の実施形態に係る第１の画像処理装置の概略的な機能構成を示すブロック図であり、図９は、本開示の第２の実施形態に係る第２の画像処理装置の概略的な機能構成を示すブロック図である。

図８を参照すると、第１の画像処理装置２００は、通信部１０２と、記憶部１０４と、画像取得部１０６と、ベクトル算出部１０８と、点検出部１１０と、記録制御部２０２とを含む。さらに、第１の画像処理装置２００は、回転角度算出部１１２を含んでもよい。

本実施形態において、第１の画像処理装置２００は、ネットワークを介して他の装置から撮像画像を取得し、取得された画像をメタ情報とともに記録する装置である。第１の画像処理装置２００は、メタ情報が関連付けられた画像を第２の画像処理装置２５０にネットワークを介して送信する。

図９を参照すると、第２の画像処理装置２５０は、通信部２５２と、記憶部２５４と、画像取得部２５６と、回転角度算出部２５８と、画像編集部１１４とを含む。さらに、第２の画像処理装置２５０は、表示制御部１１６と、表示部１１８とを含んでもよい。

本実施形態において、第２の画像処理装置２５０は、ネットワークを介して第１の画像処理装置２００からメタ情報が関連付けられた画像を取得し、メタ情報に従って取得された画像を編集する装置である。第２の画像処理装置２５０は、編集された画像を他の装置にネットワークを介して送信してもよいし、記憶部に蓄積してもよいし、あるいは自ら表示してもよい。

第１の画像処理装置２００および第２の画像処理装置２５０は、例えば各種のＰＣ、タブレット端末、携帯電話（スマートフォンを含む）、ゲーム機、またはメディアプレーヤなどの端末装置であってもよく、ネットワークを介して端末装置にサービスを提供するサーバであってもよい。第１の画像処理装置２００および第２の画像処理装置２５０は、例えば後述する情報処理装置のハードウェア構成によって実現される。第１の画像処理装置２００または第２の画像処理装置２５０がサーバである場合、装置の機能はネットワークで接続された複数の情報処理装置が協働することによって実現されてもよい。以下、それぞれの構成要素についてさらに説明する。なお、上記の第１の実施形態で説明されたものと同様の機能構成については、共通の符号を付することによって重複した説明を省略する。

記録制御部２０２は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、点検出部１１０による発生点または収束点の検出結果に基づくメタ情報を撮像画像に関連付けて記録する。例えば、記録制御部２０２は、検出された発生点または収束点の撮像画像内での位置を記録してもよい。また、第１の画像処理装置２００が回転角度算出部１１２を含む場合、記録制御部２０２は、回転角度算出部１１２によって算出された撮像画像の回転角度を記録してもよい。

通信部２５２は、例えば通信装置によって実現され、有線または無線の各種のネットワークを介して第１の画像処理装置２００を含む他の装置と通信する。例えば、通信部２５２は、第１の画像処理装置２００から撮像画像のデータをメタ情報とともに受信して記憶部２５４に格納する。また、例えば、通信部２５２は、第２の画像処理装置２５０において編集されて記憶部２５４に格納された画像のデータを他の装置に送信する。さらに、図示していないが、第２の画像処理装置２５０がサーバである場合、通信部２５２は、サービスの提供を受ける端末装置から送信された処理の依頼などのコマンドを受信して第２の画像処理装置２５０の各部に提供する。

記憶部２５４は、例えばストレージ装置および各種のメモリの組み合わせによって実現され、第２の画像処理装置２５０で用いられる各種のデータを一時的または永続的に格納する。例えば、記憶部２５４は、通信部２５２が第１の画像処理装置から受信した撮像画像のデータとメタ情報とを少なくとも一時的に格納し、必要に応じて画像取得部２５６または回転角度算出部２５８に提供する。また、例えば、記憶部２５４は、画像編集部１１４によって編集された画像のデータを少なくとも一時的に格納し、必要に応じて他の装置に送信するために通信部２５２に提供する。あるいは、記憶部２５４は、編集された画像のデータを表示のために表示制御部１１６に提供してもよい。

画像取得部２５６は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、記憶部２５４に格納された撮像画像のデータを取得する。ここで、画像取得部２５６によってデータが取得される撮像画像は、魚眼レンズを介して時間的に連続して撮像されたものである。これらの画像は、例えば動画像として一連のフレームを構成するものであってもよいし、独立して撮像された２枚以上の静止画であってもよい。

回転角度算出部２５８は、第１の画像処理装置２００が回転角度算出部１１２を含まない場合に設けられうる。回転角度算出部２５８は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、撮像画像の周縁部で発生点が検出された場合に、発生点が撮像画像の中心に対して所定の向きに位置するような撮像画像の回転角度を算出する。本実施形態では点検出部１１０が第１の画像処理装置２００に含まれるため、回転角度算出部２５８は、第１の画像処理装置２００から撮像画像とともに提供されたメタ情報を記憶部２５４から読み出し、このメタ情報に基づいて発生点の撮像画像内での位置を特定する。

（３．第３の実施形態）
次に、図１０を参照して、本開示の第３の実施形態について説明する。本実施形態では、上記の第１の実施形態と同様の機能が、撮像を実行する撮像装置において実現される。つまり、本実施形態では、撮像装置が画像処理装置としても機能する。

図１０は、本開示の第３の実施形態に係る撮像装置の概略的な機能構成を示すブロック図である。図１０を参照すると、撮像装置３００は、撮像部３０２と、画像取得部３０４と、記憶部１０４と、ベクトル算出部１０８と、点検出部１１０と、回転角度算出部１１２と、画像編集部１１４とを含む。撮像装置３００は、さらに、通信部１０２を含んでもよい。また、撮像装置３００は、さらに、表示制御部１１６と、表示部１１８とを含んでもよい。

本実施形態において、撮像装置３００は、自ら撮像を実行して撮像画像を取得し、取得された画像を編集する装置である。撮像装置３００は、編集された画像を他の装置にネットワークを介して送信してもよいし、記憶部に蓄積してもよいし、あるいは自ら表示してもよい。

撮像装置３００は、例えばデジタルカメラのように撮像機能を主な機能とする端末装置であってもよく、タブレット端末、携帯電話（スマートフォンを含む）、またはゲーム機などのように付加的な機能として撮像機能を有する端末装置であってもよい。撮像装置３００は、例えば後述する情報処理装置のハードウェア構成によって実現される。以下、それぞれの構成要素についてさらに説明する。なお、上記の第１の実施形態で説明されたものと同様の機能構成については、共通の符号を付することによって重複した説明を省略する。

撮像部３０２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有する撮像装置と、撮像素子によって生成されたＲＡＷデータに対して階調や色調の調節、ノイズ低減処理、サイズ変換などの処理を実行した上で例えばＪＰＥＧ（Joint Photographic Experts Group）など各種の形式の画像データを生成する画像処理回路とによって実現される。撮像部３０２は、撮像素子へのオブジェクト像の結像を制御するためのレンズとして魚眼レンズを含み、魚眼レンズを介して時間的に連続して撮像した撮像画像を画像取得部３０４に提供する。魚眼レンズは、例えばデジタルカメラの場合の交換式レンズや、その他の端末装置の場合のレンズアタッチメントなどのように、撮像部３０２に着脱可能に取り付けられてもよい。

画像取得部３０４は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、撮像部３０２が撮像した撮像画像のデータを取得する。ここで、画像取得部３０４によってデータが取得される撮像画像は、撮像部３０２の魚眼レンズを介して時間的に連続して撮像されたものである。これらの画像は、例えば動画像として一連のフレームを構成するものであってもよいし、独立して撮像された２枚以上の静止画であってもよい。

（４．第４の実施形態）
次に、図１１および図１２を参照して、本開示の第４の実施形態について説明する。本実施形態では、上記の第３の実施形態に係る撮像装置３００と同様の機能が、撮像装置と画像処理装置とに分散して実現される。

図１１は、本開示の第４の実施形態に係る撮像装置の概略的な機能構成を示すブロック図であり、図１２は、本開示の第４の実施形態に係る画像処理装置の概略的な機能構成を示すブロック図である。

図１１を参照すると、撮像装置４００は、撮像部４０２と、画像取得部３０４と、記憶部１０４と、ベクトル算出部１０８と、点検出部１１０と、記録制御部２０２とを含む。撮像装置４００は、さらに、通信部１０２、または回転角度算出部１１２を含んでもよい。また、撮像装置４００は、さらに、表示制御部１１６と、表示部１１８とを含んでもよい。

本実施形態において、撮像装置４００は、自ら撮像を実行して撮像画像を取得し、取得された画像をメタ情報とともに記録する装置である。撮像装置４００は、メタ情報が関連付けられた画像を記憶部１０４に含まれるリムーバブル記録媒体を介して画像処理装置４５０に受け渡すか、通信部１０２からネットワークを介して画像処理装置４５０に送信する。

図１２を参照すると、画像処理装置４５０は、通信部２５２と、記憶部２５４と、画像取得部２５６と、回転角度算出部２５８と、画像編集部１１４とを含む。さらに、画像処理装置４５０は、表示制御部１１６と、表示部１１８とを含んでもよい。なお、画像処理装置４５０の機能構成は、上記の第２の実施形態に係る第２の画像処理装置２５０の機能構成と同様である。

本実施形態において、画像処理装置４５０は、ネットワークを介して撮像装置４００からメタ情報が関連付けられた画像を取得し、メタ情報に従って取得された画像を編集する装置である。画像処理装置４５０は、編集された画像を他の装置にネットワークを介して送信してもよいし、記憶部に蓄積してもよいし、あるいは自ら表示してもよい。

撮像装置４００は、例えばデジタルカメラのように撮像機能を主な機能とする端末装置であってもよく、タブレット端末、携帯電話（スマートフォンを含む）、またはゲーム機などのように付加的な機能として撮像機能を有する端末装置であってもよい。また、画像処理装置４５０は、例えば各種のＰＣ、タブレット端末、携帯電話（スマートフォンを含む）、ゲーム機、またはメディアプレーヤなどの端末装置であってもよく、ネットワークを介して端末装置にサービスを提供するサーバであってもよい。撮像装置４００および画像処理装置４５０は、例えば後述する情報処理装置のハードウェア構成によって実現される。画像処理装置４５０がサーバである場合、画像処理装置４５０の機能はネットワークで接続された複数の情報処理装置が協働することによって実現されてもよい。以下、それぞれの構成要素についてさらに説明する。なお、上記の第１〜第３の実施形態で説明されたものと同様の機能構成については、共通の符号を付することによって重複した説明を省略する。

撮像部４０２は、上記の第３の実施形態で説明した撮像部３０２と同様の機能構成であるが、撮像画像を画像取得部３０４に提供するだけではなく記憶部１０４に格納する。撮像装置４００、記録制御部２０２によってメタ情報が撮像画像に関連付けて記録されるが、撮像画像の編集は撮像装置４００ではなく画像処理装置４５０で実行されるため、記憶部１０４に格納される撮像画像は撮像部４０２から提供されたものでありうる。

（５．第５の実施形態）
次に、図１３〜図１５を参照して、本開示の第５の実施形態について説明する。本実施形態では、上記の各実施形態で説明した発生点または収束点の検出とは異なる撮像画像の解析結果に基づいて撮像画像における注視点が推定され、注視点が撮像画像の中心に対して所定の向きに位置するように撮像画像が回転される。

（５−１．機能構成）
図１３は、本開示の第５の実施形態に係る画像処理装置の概略的な機能構成を示すブロック図である。図１３を参照すると、画像処理装置５００は、通信部１０２と、記憶部１０４と、画像取得部１０６と、画像解析部５０２と、回転角度算出部５０４と、画像編集部１１４とを含む。画像処理装置５００は、さらに、表示制御部１１６と、表示部１１８とを含んでもよい。

画像処理装置５００は、例えば各種のＰＣ、タブレット端末、携帯電話（スマートフォンを含む）、ゲーム機、またはメディアプレーヤなどの端末装置であってもよく、ネットワークを介して端末装置にサービスを提供するサーバであってもよい。画像処理装置５００は、例えば後述する情報処理装置のハードウェア構成によって実現される。画像処理装置５００がサーバである場合、画像処理装置５００の機能はネットワークで接続された複数の情報処理装置が協働することによって実現されてもよい。以下、それぞれの構成要素についてさらに説明する。なお、上記の第１の実施形態で説明されたものと同様の機能構成については、共通の符号を付することによって重複した説明を省略する。

画像解析部５０２は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、画像取得部１０６によって取得された撮像画像を解析する。画像解析部５０２は、公知の各種の手法を用いて撮像画像を解析しうる。従って、本実施形態では、撮像画像が必ずしも魚眼レンズを介して撮像された全周画像でなくてよい。撮像画像は、例えば、全周囲カメラを用いて撮像された全周画像であってもよい。画像解析部５０２は、このような撮像画像に対して、例えばパターン解析などの処理を実行して撮像画像の中で所定のアクションが発生した点を検出する。あるいは、画像解析部５０２は、撮像画像に含まれるオブジェクトを認識してもよい。このような画像解析の結果は、後述する回転角度算出部５０４における撮像画像の回転角度の算出に利用される。

回転角度算出部５０４は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、画像解析部５０２における撮像画像の解析の結果に基づいて撮像画像の回転角度を算出する。より具体的には、回転角度算出部５０４は、撮像画像の解析によって特定される撮像画像の中の基準点が撮像画像の中心に対して所定の向きに位置するような撮像画像の回転角度を算出する。例えば、画像解析部５０２によって撮像画像の中で所定のアクションが発生した点が検出された場合、回転角度算出部５０４は、この点を基準点として回転角度を算出しうる。この場合、回転角度算出部５０４は、所定のアクションが発生した点を撮像画像における注視点であるものと推定して、注視点が見やすい位置に来るように回転角度を算出しているともいえる。

あるいは、画像解析部５０２によって撮像画像に含まれるオブジェクトが認識された場合、回転角度算出部５０４は、認識されたオブジェクト上の任意の点を基準点として回転角度を算出しうる。この場合、撮像画像は時間的に連続して撮像される一連のフレーム画像でありえ、回転角度算出部５０４は、撮像画像の各フレームにおいて基準点が撮像画像の中心に対して同じ向きに位置するように回転角度を算出してもよい。なお、このような回転角度の算出のより具体的な例については後述する。

（５−２．回転角度算出の例）
図１４および図１５を参照して、上述した画像処理装置５００の回転角度算出部５０４による撮像画像の回転角度算出のより具体的な例について、さらに説明する。

図１４は、本開示の第５の実施形態における撮像画像の回転角度算出の第１の例について説明するための図である。図１４では、複数のユーザＰ１〜Ｐ３を含む撮像画像１７が示されている。なお、図示された例において、撮像画像１７は全周囲カメラを用いて撮像された全周画像であるため、撮像画像１７の中央部には画像がない。

ここで、撮像画像１７に含まれるユーザＰ１〜Ｐ３は、例えば会議に参加しており、ユーザＰ１〜Ｐ３のうちのいずれかが発言する。撮像画像１７には、ユーザＰ１〜Ｐ３とともに、発言しているユーザを示すためのランプＬ１〜Ｌ３も含まれている。ランプＬ１〜Ｌ３は、ユーザＰ１〜Ｐ３の近傍で、例えば各ユーザの服などに装着されたり、各ユーザの前の机上に配置されたりしており、対応するユーザが発言する場合には点灯する。

図示された例では、ユーザＰ１が発言しており、ユーザＰ１に対応するランプＬ１が点灯している。画像処理装置５００の画像解析部５０２は、この点灯を所定のアクションとして検出し、撮像画像でランプＬ１が映っている点をアクションが発生した点、つまり推定される注視点として特定する。回転角度算出部５０４は、この点が撮像画像１７の中心に対して下に位置するように撮像画像１７の回転角度を算出しうる。算出された回転角度に従って画像編集部１１４によって回転された撮像画像１７を、撮像画像１７ｒとして示す。撮像画像１７ｒでは、発言しているユーザＰ１を現実の上下と同じ向きで観察できる。

なお、回転角度算出部５０４は、推定された注視点が撮像画像１７の中心に対してどの向きに位置するように回転角度を算出してもよいが、例えば上記のように注視点が下に位置するように回転角度を算出すると、注視点の近傍で撮像画像１７に映った世界の上下が撮像画像１７の観察時の上下と一致するため、より自然に観察することが可能な撮像画像を提供することができる。

上記の例では、ユーザＰ１〜Ｐ３に対応して設置された装置であるランプＬ１〜Ｌ３が、ユーザの発言を示す所定のアクションを実行した。他の例では、ユーザＰ１〜Ｐ３自身が所定のアクションを実行してもよい。例えば、画像解析部５０２は、ユーザの口の動きを所定のアクションとして検出し、動きが検出されたユーザの口が映っている点をアクションが発生した点、すなわち推定される注視点として特定する。

図１５は、本開示の第５の実施形態における撮像画像の回転角度算出の第２の例について説明するための図である。図１５では、オブジェクトであるユーザを含む撮像画像１９が示されている。なお、図示された例において、撮像画像１９は魚眼レンズを用いて撮像された全周画像であるため、撮像画像１９では中央部にも画像がある。

ここで、撮像画像１９は、時間的に連続して撮像される一連のフレーム画像であり、また魚眼レンズを有するカメラを回転させながら撮像されている。従って、撮像画像１９のフレームＮ（Ｎ＝１，２，・・・）と、所定のフレーム数だけ後のフレームＮ＋Ｍ（Ｍ＝１，２，・・・）とでは、オブジェクトであるユーザの写っている角度が異なる。回転角度算出部５０４は、ユーザの左手の先に基準点Ｑを設定し、各フレームにおいて基準点Ｑが撮像画像１９の中心に対して同じ向きに位置するように回転角度を算出する。

この回転角度に従って撮像画像１９を回転させた結果、フレームＮ＋Ｍの撮像画像１９は、フレームＮとの間の回転ベクトルＶＲがキャンセルされるように回転されるため、回転後のフレームＮ＋Ｍの撮像画像１９ｒでは基準点ＱがフレームＮの撮像画像１９と同じく、画像の中心に対して右上に位置している。従って、観察者は、カメラの回転にかかわらず、フレームが進行しても安定してオブジェクトであるユーザを視認することができる。

（６．第６の実施形態）
次に、図１６および図１７を参照して、本開示の第６の実施形態について説明する。本実施形態では、上記の第５の実施形態に係る画像処理装置５００と同様の機能が、第１および第２の画像処理装置に分散して実現される。

図１６は、本開示の第６の実施形態に係る第１の画像処理装置の概略的な機能構成を示すブロック図であり、図１７は、本開示の第６の実施形態に係る第２の画像処理装置の概略的な機能構成を示すブロック図である。

図１６を参照すると、第１の画像処理装置６００は、通信部１０２と、記憶部１０４と、画像取得部１０６と、画像解析部５０２と、記録制御部６０２とを含む。さらに、第１の画像処理装置６００は、回転角度算出部５０４を含んでもよい。

図１７を参照すると、第２の画像処理装置６５０は、通信部２５２と、記憶部２５４と、画像取得部２５６と、回転角度算出部６５２と、画像編集部１１４とを含む。さらに、第２の画像処理装置６５０は、表示制御部１１６と、表示部１１８とを含んでもよい。

第１の画像処理装置６００および第２の画像処理装置６５０は、例えば各種のＰＣ、タブレット端末、携帯電話（スマートフォンを含む）、ゲーム機、またはメディアプレーヤなどの端末装置であってもよく、ネットワークを介して端末装置にサービスを提供するサーバであってもよい。第１の画像処理装置６００および第２の画像処理装置６５０は、例えば後述する情報処理装置のハードウェア構成によって実現される。第１の画像処理装置６００または第２の画像処理装置６５０がサーバである場合、装置の機能はネットワークで接続された複数の情報処理装置が協働することによって実現されてもよい。以下、それぞれの構成要素についてさらに説明する。なお、上記の第１、第２、および第５の実施形態で説明されたものと同様の機能構成については、共通の符号を付することによって重複した説明を省略する。

記録制御部６０２は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、画像解析部５０２による撮像画像の解析結果に基づくメタ情報を撮像画像に関連付けて記録する。例えば、記録制御部６０２は、撮像画像の中で所定のアクションが発生した点の位置を記録してもよい。また、記録制御部６０２は、撮像画像に含まれるオブジェクトの情報を記録してもよい。あるいは、第１の画像処理装置６００が回転角度算出部５０４を含む場合、記録制御部６０２は、回転角度算出部５０４によって算出された撮像画像の回転角度を記録してもよい。

回転角度算出部６５２は、第１の画像処理装置６００が回転角度算出部５０４を含まない場合に設けられうる。回転角度算出部６５２は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、上述した回転角度算出部５０４と同様に撮像画像の回転角度を算出する。本実施形態では画像解析部５０２が第１の画像処理装置６００に含まれるため、回転角度算出部６５２は、第１の画像処理装置６００から撮像画像とともに提供されたメタ情報を記憶部２５４から読み出し、このメタ情報に基づいて撮像画像の回転角度を算出する。

（７．第７の実施形態）
次に、図１８〜図２０を参照して、本開示の第７の実施形態について説明する。本実施形態では、撮像画像とともに取得されたセンサデータに基づいて撮像画像における注視点が推定され、注視点が撮像画像の中心に対して所定の向きに位置するように撮像画像が回転される。

（７−１．機能構成）
図１８は、本開示の第７の実施形態に係る撮像装置の概略的な機能構成を示すブロック図である。図１８を参照すると、撮像装置７００は、撮像部３０２と、画像取得部３０４と、センサ７０２と、センサデータ解析部７０４と、回転角度算出部７０６と、画像編集部１１４と、記憶部１０４とを含む。撮像装置７００は、さらに、通信部１０２を含んでもよい。また、撮像装置７００は、さらに、表示制御部１１６と、表示部１１８とを含んでもよい。

本実施形態において、撮像装置７００は、自ら撮像を実行して撮像画像を取得し、取得された画像をセンサデータに基づいて編集する装置である。撮像装置３００は、編集された画像を他の装置にネットワークを介して送信してもよいし、記憶部に蓄積してもよいし、あるいは自ら表示してもよい。

撮像装置７００は、例えばデジタルカメラのように撮像機能を主な機能とする端末装置であってもよく、タブレット端末、携帯電話（スマートフォンを含む）、またはゲーム機などのように付加的な機能として撮像機能を有する端末装置であってもよい。撮像装置７００は、例えば後述する情報処理装置のハードウェア構成によって実現される。以下、それぞれの構成要素についてさらに説明する。なお、上記の第１および第３の実施形態で説明されたものと同様の機能構成については、共通の符号を付することによって重複した説明を省略する。

センサ７０２は、例えば加速度センサ、ジャイロセンサ、地磁気センサ（方位を検出する）、光センサ、音センサ（音声データを取得するマイクロフォンを含む）などの各種のセンサによって実現される。センサデータ解析部７０４は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、センサ７０２から提供されるセンサデータを解析する。センサデータ解析部７０４は、センサデータの解析によって、例えば、撮像装置７００に到達した音声の音源方向を検出する。また、センサデータ解析部７０４は、センサデータの解析によって撮像画像における方位（例えば東西南北）を検出してもよい。

回転角度算出部７０６は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、センサデータ解析部７０４におけるセンサデータの解析の結果に基づいて撮像画像の回転角度を算出する。より具体的には、回転角度算出部７０６は、センサデータの解析によって特定される撮像画像の中の基準点が撮像画像の中心に対して所定の向きに位置するような撮像画像の回転角度を算出する。例えば、センサデータ解析部７０４によって撮像装置７００に到達した音声の音源方向が検出された場合、回転角度算出部７０６は、音源方向に対応する撮像画像内の点を基準点として回転角度を算出しうる。この場合、回転角度算出部７０６は、音源方向に対応する点を撮像画像における注視点であるものと推定して、注視点が見やすい位置に来るように回転角度を算出しているともいえる。

あるいは、センサデータ解析部７０４によって撮像画像における方位が検出された場合、回転角度算出部７０６は、所定の方位（例えば北）に対応する撮像画像内の点を基準点として回転角度を算出しうる。この場合、撮像画像は時間的に連続して撮像される一連のフレーム画像であり得、回転角度算出部７０６は、撮像画像の各フレームにおいて方位が共通するように回転角度を算出してもよい。

（７−２．回転角度算出の例）
図１９および図２０を参照して、上述した撮像装置７００の回転角度算出部７０６による撮像画像の回転角度算出のより具体的な例について、さらに説明する。

図１９は、本開示の第７の実施形態における撮像画像の回転角度算出の第１の例について説明するための図である。図１９では、複数のユーザＰ１〜Ｐ３を含む撮像画像１７が示されている。なお、図示された例において、撮像画像１７は全周囲カメラを用いて撮像された全周画像であるため、撮像画像１７の中央部には画像がない。

ここで、撮像画像１７に含まれるユーザＰ１〜Ｐ３は、例えば会議に参加しており、ユーザＰ１〜Ｐ３のうちのいずれかが発言する。ユーザの発言の音声は撮像装置７００まで到達し、センサ７０２に含まれるマイクロフォンによって検出される。センサデータ解析部７０４は、マイクロフォンから提供された音声データの解析によって、検出された音声の音源方向を検出する。

図示された例では、ユーザＰ１が発言しており、ユーザＰ１がいる方向が音源方向（ＳＯＵＮＤ ＤＩＲＥＣＴＩＯＮ）になる。センサデータ解析部７０４は、この音源方向を検出する。回転角度算出部７０６は、検出された音源方向に対応する撮像画像内の点を撮像画像の注視点であるものと推定し、この点が撮像画像１７の中心に対して下に位置するように撮像画像１７の回転角度を算出しうる。算出された回転角度に従って画像編集部１１４によって回転された撮像画像１７を、撮像画像１７ｒとして示す。撮像画像１７ｒでは、発言しているユーザＰ１を現実の上下と同じ向きで観察できる。

なお、回転角度算出部７０６は、推定された注視点が撮像画像１７の中心に対してどの向きに位置するように回転角度を算出してもよいが、例えば上記のように注視点が下に位置するように回転角度を算出すると、注視点の近傍で撮像画像１７に映った世界の上下が撮像画像１７の観察時の上下と一致するため、より自然に観察することが可能な撮像画像を提供することができる。

図２０は、本開示の第７の実施形態における撮像画像の回転角度算出の第２の例について説明するための図である。図２０では、撮像装置７００を鉛直方向に向けて撮像された撮像画像１５の例が示されている。撮像装置７００は、撮像部３０２に含まれる魚眼レンズ１１を有し、魚眼レンズ１１の光軸方向は略鉛直方向である。また、撮像装置７００は、略水平方向、すなわち魚眼レンズ１１の光軸方向に対して垂直な方向に移動している。

ここで、撮像装置７００は、センサ７０２に含まれる地磁気センサによって方位を検出している。センサデータ解析部７０４は、地磁気センサから提供されたセンサデータの解析によって、撮像画像１５における方位（東（Ｅ）、西（Ｗ）、南（Ｓ）、北（Ｎ））を検出する。この検出結果によると、撮像画像１５は、撮像装置７００を北東方向に移動させながら撮像されている。回転角度算出部７０６は、撮像画像１５における所定の方位、ここでは北（Ｎ）に対応する撮像画像内の点を基準点として、この点が撮像画像１５の中心に対して上に位置するように撮像画像１５の回転角度を算出しうる。

このようにして算出された回転角度に従って画像編集部１１４が撮像画像を回転させることによって、撮像画像１５は、例えば撮像装置７００の移動方向にかかわらず、北を上にして表示される。これによって、観察者は、例えば、撮像装置７００からみてどの方向に何があるかを撮像画像１５から認識することができる。また、撮像装置７００が移動しながら撮像画像１５を撮像した場合には、撮像画像１５から撮像装置７００の移動方向を認識することもできる。

（８．第８の実施形態）
次に、図２１および図２２を参照して、本開示の第８の実施形態について説明する。本実施形態では、上記の第７の実施形態に係る撮像装置７００と同様の機能が、撮像装置と画像処理装置とに分散して実現される。

図２１は、本開示の第８の実施形態に係る画像処理装置の概略的な機能構成を示すブロック図であり、図２２は、本開示の第８の実施形態に係る画像処理装置の概略的な機能構成を示すブロック図である。

図２１を参照すると、撮像装置８００は、撮像部４０２と、記憶部１０４と、センサ７０２と、センサデータ解析部７０４と、記録制御部８０２とを含む。撮像装置８００は、さらに、通信部１０２、または回転角度算出部７０６を含んでもよい。また、撮像装置８００は、さらに、表示制御部１１６と、表示部１１８とを含んでもよい。

本実施形態において、撮像装置８００は、自ら撮像を実行して撮像画像を取得し、取得された画像をセンサデータに基づくメタ情報とともに記録する装置である。撮像装置８００は、メタ情報が関連付けられた画像を記憶部１０４に含まれるリムーバブル記録媒体を介して画像処理装置８５０に受け渡すか、通信部１０２からネットワークを介して画像処理装置８５０に送信する。

図２２を参照すると、画像処理装置８５０は、通信部２５２と、記憶部２５４と、画像取得部２５６と、回転角度算出部８５２と、画像編集部１１４とを含む。さらに、画像処理装置８５０は、表示制御部１１６と、表示部１１８とを含んでもよい。

本実施形態において、画像処理装置８５０は、ネットワークを介して撮像装置８００からメタ情報が関連付けられた画像を取得し、メタ情報に従って取得された画像を編集する装置である。画像処理装置８５０は、編集された画像を他の装置にネットワークを介して送信してもよいし、記憶部に蓄積してもよいし、あるいは自ら表示してもよい。

撮像装置８００は、例えばデジタルカメラのように撮像機能を主な機能とする端末装置であってもよく、タブレット端末、携帯電話（スマートフォンを含む）、またはゲーム機などのように付加的な機能として撮像機能を有する端末装置であってもよい。また、画像処理装置８５０は、例えば各種のＰＣ、タブレット端末、携帯電話（スマートフォンを含む）、ゲーム機、またはメディアプレーヤなどの端末装置であってもよく、ネットワークを介して端末装置にサービスを提供するサーバであってもよい。撮像装置８００および画像処理装置８５０は、例えば後述する情報処理装置のハードウェア構成によって実現される。画像処理装置８５０がサーバである場合、画像処理装置８５０の機能はネットワークで接続された複数の情報処理装置が協働することによって実現されてもよい。以下、それぞれの構成要素についてさらに説明する。なお、上記の第１、第２、第４、および第７の実施形態で説明されたものと同様の機能構成については、共通の符号を付することによって重複した説明を省略する。

記録制御部８０２は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、センサデータ解析部７０４によるセンサデータの解析結果に基づくメタ情報を撮像画像に関連付けて記録する。例えば、記録制御部８０２は、撮像装置８００に到達した音声の音源方向または音源方向に対応する撮像画像内の点の位置を記録してもよい。また、記録制御部８０２は、撮像画像における方位を記録してもよい。あるいは、撮像装置８００が回転角度算出部７０６を含む場合、記録制御部８０２は、回転角度算出部７０６によって算出された撮像画像の回転角度を記録してもよい。

回転角度算出部８５２は、撮像装置８００が回転角度算出部７０６を含まない場合に設けられうる。回転角度算出部８５２は、例えばＣＰＵがメモリに格納されたプログラムに従って動作することによって実現され、上述した回転角度算出部７０６と同様に撮像画像の回転角度を算出する。本実施形態ではセンサデータ解析部７０４が撮像装置８００に含まれるため、回転角度算出部８５２は、撮像装置８００から撮像装置とともに提供されたメタ情報を記憶部２５４から読み出し、このメタ情報に基づいて撮像画像の回転角度を算出する。

（９．ハードウェア構成）
次に、図２３を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図２３は、情報処理装置のハードウェア構成を説明するためのブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態における画像処理装置（第１の画像処理装置および第２の画像処理装置を含む）および撮像装置を実現しうる。

情報処理装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）またはＡＳＩＣ（Application Specific Integrated Circuit）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子へのオブジェクト像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画像を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

（１０．補足）
本開示の実施形態は、例えば、上記で説明したような情報処理装置（画像処理装置（第１の画像処理装置および第２の画像処理装置を含む）または撮像装置）、複数の情報処理装置を含むシステム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）全周画像を取得する画像取得部と、
前記全周画像に含まれる基準点が前記全周画像の中心に対して所定の向きに位置するような前記全周画像の回転角度を算出する回転角度算出部と
を備える画像処理装置。
（２）前記回転角度算出部は、前記全周画像において推定された注視点を前記基準点として前記回転角度を算出する、前記（１）に記載の画像処理装置。
（３）前記回転角度算出部は、前記全周画像の解析結果に基づいて前記注視点を推定する、前記（２）に記載の画像処理装置。
（４）前記画像取得部は、魚眼レンズを介して時間的に連続して撮像される前記全周画像を取得し、
前記回転角度算出部は、前記全周画像における動きベクトルの発生点を前記注視点であるものと推定する、前記（３）に記載の画像処理装置。
（５）前記回転角度算出部は、前記全周画像の周縁部で前記発生点が検出された場合に、前記発生点を前記注視点であるものと推定する、前記（４）に記載の画像処理装置。
（６）前記回転角度算出部は、前記全周画像において所定のアクションが発生した点を前記注視点であるものと推定する、前記（３）に記載の画像処理装置。
（７）前記画像取得部は、複数のユーザを含む前記全周画像を取得し、
前記回転角度算出部は、前記複数のユーザのうち発言しているユーザを示す前記所定のアクションが発生した点を前記注視点であるものと推定する、前記（６）に記載の画像処理装置。
（８）前記所定のアクションは、前記各ユーザ自身または前記各ユーザに対応して設置された装置によって実行される、前記（７）に記載の画像処理装置。
（９）前記回転角度算出部は、前記全周画像とともに取得されたセンサデータに基づいて前記注視点を推定する、前記（２）に記載の画像処理装置。
（１０）前記回転角度算出部は、前記全周画像とともに取得された音声データによって示される音源方向に対応する前記全周画像内の点を前記注視点であるものと推定する、前記（９）に記載の画像処理装置。
（１１）前記回転角度算出部は、前記基準点が前記全周画像の中心に対して下に位置するように前記回転角度を算出する、前記（１）〜（１０）のいずれか１項に記載の画像処理装置。
（１２）前記画像取得部は、魚眼レンズを介して撮像される前記全周画像を取得する、前記（１）〜（１１）のいずれか１項に記載の画像処理装置。
（１３）前記回転角度算出部は、前記全周画像とともに取得された方位データによって示される所定の方位に対応する前記全周画像内の点を前記基準点として前記回転角度を算出する、前記（１）に記載の画像処理装置。
（１４）前記回転角度算出部は、前記全周画像内のオブジェクト上の点を前記基準点として前記回転角度を算出する、前記（１）に記載の画像処理装置。
（１５）前記画像取得部は、時間的に連続して撮像される前記全周画像を取得し、
前記回転角度算出部は、前記全周画像の各フレームにおいて前記基準点が前記全周画像の中心に対して同じ向きに位置するように前記回転角度を算出する、前記（１４）に記載の画像処理装置。
（１６）前記画像取得部は、魚眼レンズを介して時間的に連続して撮像される前記全周画像を取得し、
前記回転角度算出部は、前記全周画像において動きベクトルの発生点および収束点の両方が検出された場合に、前記発生点と前記収束点とを結ぶ方向が所定の方向に一致するように前記回転角度を算出する、前記（１）に記載の画像処理装置。
（１７）前記算出された回転角度に従って前記全周画像を回転させる画像編集部をさらに備える、前記（１）〜（１６）のいずれか１項に記載の画像処理装置。
（１８）前記算出された回転角度を前記全周画像に関連付けて記録する記録制御部をさらに備える、前記（１）〜（１６）のいずれか１項に記載の画像処理装置。
（１９）全周画像を取得することと、
プロセッサが、前記全周画像に含まれる基準点が前記全周画像の中心に対して所定の向きに位置するような前記全周画像の回転角度を算出することと
を含む画像処理方法。
（２０）全周画像を取得する機能と、
プロセッサが、前記全周画像に含まれる基準点が前記全周画像の中心に対して所定の向きに位置するような前記全周画像の回転角度を算出する機能と
をコンピュータに実現させるためのプログラム。

１００，４５０，５００，８５０ 画像処理装置
１０２，２５２ 通信部
１０４，２５４ 記憶部
１０６，２５６，３０４ 画像取得部
１０８ ベクトル算出部
１１０ 点検出部
１１２，２５８，５０４，６５２，７０６，８５２ 回転角度算出部
１１４ 画像編集部
２００，６００ 第１の画像処理装置
２０２，６０２，８０２ 記録制御部
２５０，６５０ 第２の画像処理装置
３００，４００，７００，８００ 撮像装置
３０２，４０２ 撮像部
５０２ 画像解析部
７０２ センサ
７０４ センサデータ解析部

Claims (20)

1. 全周画像を取得する画像取得部と、
   前記全周画像に含まれる基準点が前記全周画像の中心に対して所定の向きに位置するような前記全周画像の回転角度を算出する回転角度算出部と
   を備える画像処理装置。
2. 前記回転角度算出部は、前記全周画像において推定された注視点を前記基準点として前記回転角度を算出する、請求項１に記載の画像処理装置。
3. 前記回転角度算出部は、前記全周画像の解析結果に基づいて前記注視点を推定する、請求項２に記載の画像処理装置。
4. 前記画像取得部は、魚眼レンズを介して時間的に連続して撮像される前記全周画像を取得し、
   前記回転角度算出部は、前記全周画像における動きベクトルの発生点を前記注視点であるものと推定する、請求項３に記載の画像処理装置。
5. 前記回転角度算出部は、前記全周画像の周縁部で前記発生点が検出された場合に、前記発生点を前記注視点であるものと推定する、請求項４に記載の画像処理装置。
6. 前記回転角度算出部は、前記全周画像において所定のアクションが発生した点を前記注視点であるものと推定する、請求項３に記載の画像処理装置。
7. 前記画像取得部は、複数のユーザを含む前記全周画像を取得し、
   前記回転角度算出部は、前記複数のユーザのうち発言しているユーザを示す前記所定のアクションが発生した点を前記注視点であるものと推定する、請求項６に記載の画像処理装置。
8. 前記所定のアクションは、前記各ユーザ自身または前記各ユーザに対応して設置された装置によって実行される、請求項７に記載の画像処理装置。
9. 前記回転角度算出部は、前記全周画像とともに取得されたセンサデータに基づいて前記注視点を推定する、請求項２に記載の画像処理装置。
10. 前記回転角度算出部は、前記全周画像とともに取得された音声データによって示される音源方向に対応する前記全周画像内の点を前記注視点であるものと推定する、請求項９に記載の画像処理装置。
11. 前記回転角度算出部は、前記基準点が前記全周画像の中心に対して下に位置するように前記回転角度を算出する、請求項１に記載の画像処理装置。
12. 前記画像取得部は、魚眼レンズを介して撮像される前記全周画像を取得する、請求項１に記載の画像処理装置。
13. 前記回転角度算出部は、前記全周画像とともに取得された方位データによって示される所定の方位に対応する前記全周画像内の点を前記基準点として前記回転角度を算出する、請求項１に記載の画像処理装置。
14. 前記回転角度算出部は、前記全周画像内のオブジェクト上の点を前記基準点として前記回転角度を算出する、請求項１に記載の画像処理装置。
15. 前記画像取得部は、時間的に連続して撮像される前記全周画像を取得し、
    前記回転角度算出部は、前記全周画像の各フレームにおいて前記基準点が前記全周画像の中心に対して同じ向きに位置するように前記回転角度を算出する、請求項１４に記載の画像処理装置。
16. 前記画像取得部は、魚眼レンズを介して時間的に連続して撮像される前記全周画像を取得し、
    前記回転角度算出部は、前記全周画像において動きベクトルの発生点および収束点の両方が検出された場合に、前記発生点と前記収束点とを結ぶ方向が所定の方向に一致するように前記回転角度を算出する、請求項１に記載の画像処理装置。
17. 前記算出された回転角度に従って前記全周画像を回転させる画像編集部をさらに備える、請求項１に記載の画像処理装置。
18. 前記算出された回転角度を前記全周画像に関連付けて記録する記録制御部をさらに備える、請求項１に記載の画像処理装置。
19. 全周画像を取得することと、
    プロセッサが、前記全周画像に含まれる基準点が前記全周画像の中心に対して所定の向きに位置するような前記全周画像の回転角度を算出することと
    を含む画像処理方法。
20. 全周画像を取得する機能と、
    プロセッサが、前記全周画像に含まれる基準点が前記全周画像の中心に対して所定の向きに位置するような前記全周画像の回転角度を算出する機能と
    をコンピュータに実現させるためのプログラム。

Images