JP2016167739A - 画像処理システム、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 画像処理システム、画像処理方法、プログラムおよび撮像システムを提供すること。
【解決手段】 本画像処理システム２００は、表示手段に表示する動画データを出力する画像処理システムであって、入力される画像データの一部の画像データを出力する第一の手段２２０と、入力される画像データの座標を変換した画像データを出力する第二の手段２１６と、上記第一の手段と第二の手段とで処理された画像データを上記表示手段に表示する動画データとして出力する第三の手段２２４とを含む。
【選択図】 図３

Description

本発明は、画像処理システム、画像処理方法、プログラムおよび撮像システムに関する。

魚眼レンズや超広角レンズなどの広角なレンズを複数使用して全方位（以下、全天球という。）を一度に撮像する全天球撮像システムが知られている（例えば、特開２０１３−１８７８６０号公報（特許文献１））。この全天球撮像システムでは、各々のレンズからの像をセンサ面に投影し、得られる各画像を画像処理によってつなぎ合わせることで、全天球画像を生成する。例えば、１８０度を超える画角を有する２つの広角なレンズを用いて、全天球画像を生成することができる。

しかしながら、上記特許文献１のような全天球撮像システムで生成される全天球画像は、典型的には球面座標系にて表現されているため、そのまま表示した場合に歪みが生じ、閲覧者に違和感を与えてしまう。このため、全天球画像を表示する際には、通常、全天球画像を平面デバイスに適合した画像へ変換する専用ビューアが用いられる。

一方、専用ビューアを用いずに、汎用ビューアやディスプレイから、撮影された全天球画像を表示させたいという要望がある。また、カメラ本体が備えるディスプレイ、カメラ本体に接続されるディスプレイ、またはカメラ本体と通信する端末装置のディスプレイで被写体を確認しながら撮影する、いわゆるライブビューを行いたいという要望もある。上述した専用ビューアと同等の処理を全天球撮像システムのカメラ本体に設けることで対応することができるが、しかしながら、計装コスト、消費電力、発熱量の増大につながってしまう。

本発明は、上記従来技術における不充分な点に鑑みてなされたものであり、本発明は、閲覧者にとって違和感のない画像を、負荷の小さな処理で生成することができる、画像処理システムを提供することを目的とする。

本発明では、上記課題を解決するために、下記特徴を有した、表示手段に表示する動画データを出力する画像処理システムを提供する。本画像処理システムは、入力される画像データの一部の画像データを出力する第一の手段と、入力される画像データの座標を変換した画像データを出力する第二の手段と、上記第一の手段と第二の手段とで処理された画像データを上記表示手段に表示する動画データとして出力する第三の手段とを含む。

上記構成により、閲覧者にとって違和感のない画像を、負荷の小さな処理で生成することができる。

本実施形態による全天球カメラの断面図。 本実施形態による全天球カメラのハードウェア構成図。 本実施形態による全天球カメラ上に実現される表示画像出力機能に関連する主要な機能ブロック図。 本実施形態による全天球カメラにおいて（Ａ）生成される変換後全天球画像および（Ｂ）生成される表示画像を例示する図。 本実施形態による全天球カメラが実行する、第１の処理の流れにおける記録処理を示すフローチャート。 本実施形態による全天球カメラが実行する、第１の処理の流れにおける表示画像出力処理を示すフローチャート。 本実施形態による全天球カメラが実行する、第２の処理の流れによる表示画像出力処理を示すフローチャート。 本実施形態による全天球カメラにおける射影関係を説明する図。 本実施形態で用いられる全天球画像の画像データのデータ構造を説明する図。 本実施形態による全天球カメラが用いる変換パラメータを説明する図。 本実施形態による全天球カメラが２つの部分画像から生成する全天球画像を示す図。 本実施形態による全天球カメラが実行する座標変換処理を説明する図。 本実施形態による全天球カメラが各注目点での画像回転により生成する変換後全天球画像を例示する図。

以下、本実施形態について説明するが、実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、画像処理システムおよび撮像システムの一例として、２つの魚眼レンズによる撮像機能および画像処理機能の両方を備える全天球カメラ１００を用いて説明する。

以下、図１および図２を参照しながら、本実施形態による全天球カメラ１００の全体構成について説明する。図１は、本実施形態による全天球カメラ１００の断面図である。図１に示す全天球カメラ１００は、撮像体１２と、上記撮像体１２その他コントローラボードやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられた撮影ボタン１８とを備える。

図１に示す撮像体１２は、２つの結像光学系２０Ａ，２０Ｂと、２つの撮像素子２２Ａ，２２Ｂとを含み構成される。撮像素子２２Ａ，２２Ｂは、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどである。結像光学系２０は、例えば６群７枚の魚眼レンズとして構成される。上記魚眼レンズは、図１に示す実施形態では、１８０度（＝３６０度／ｎ；光学系の数ｎ＝２）より大きい全画角を有し、好適には、１９０度以上の画角を有する。このような広角な結像光学系２０と撮像素子２２とを１個ずつ組み合わせたものを広角撮像光学系と参照する。

２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタおよび開口絞り）は、撮像素子２２Ａ，２２Ｂに対して位置関係が定められる。結像光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。

図１に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換し、コントローラボード上の画像処理ブロックに、順次、画像フレームを出力する。詳細は後述するが、撮像素子２２Ａ，２２Ｂでそれぞれ撮像された画像は、合成処理されて、これにより、立体角４πステアラジアンの画像（以下「全天球画像」と参照する。）が生成される。全天球画像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。説明する実施形態では、全天球画像を生成するものとして説明するが、水平面のみ３６０度を撮影した、いわゆるパノラマ画像であってもよく、全天球または水平面３６０度の全景のうちの一部を撮影した画像であってもよい。また、全天球画像は、静止画として保存することもできるし、動画として保存することもできる。

図２は、本実施形態による全天球カメラ１００のハードウェア構成を示す。全天球カメラ１００は、ＣＰＵ（Central Processing Unit）１１２と、ＲＯＭ（Read Only Memory）１１４と、画像処理ブロック１１６と、動画圧縮ブロック１１８と、ＤＲＡＭ（Dynamic Random Access Memory）インタフェース１２０を介して接続されるＤＲＡＭ１３２と、外部センサインタフェース１２４を介して接続される姿勢センサ１３６とを含み構成される。

ＣＰＵ１１２は、全天球カメラ１００の各部の動作および全体動作を制御する。ＲＯＭ１１４は、ＣＰＵ１１２が解読可能なコードで記述された制御プログラムや各種パラメータを格納する。画像処理ブロック１１６は、２つの撮像素子１３０Ａ，１３０Ｂ（図１における撮像素子２２Ａ，２２Ｂである。）と接続され、それぞれで撮像された画像の画像信号が入力される。画像処理ブロック１１６は、ＩＳＰ（Image Signal Processor）などを含み構成され、撮像素子１３０から入力された画像信号に対し、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などを行う。画像処理ブロック１１６は、さらに、複数の撮像素子１３０Ａ，１３０Ｂから上記処理を経て取得された複数の画像を合成処理し、これにより、上述した全天球画像を生成する処理を行う。

動画圧縮ブロック１１８は、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４などの動画圧縮および伸張を行うコーデック・ブロックである。動画圧縮ブロック１１８は、生成された全天球画像の動画データを保存するため、または、保存された動画データを再生出力するために用いられる。ＤＲＡＭ１３２は、各種信号処理および画像処理を施す際にデータを一時的に保存する記憶領域を提供する。

姿勢センサ１３６は、加速度センサ、ジャイロセンサ、地磁気センサまたはこれらの組み合わせで構成され、全天球カメラ１００の姿勢を特定するために用いられる。例えば、３軸の加速度センサは、３軸の加速度成分を検出することができる。３軸のジャイロセンサは、３軸の角速度を検出することができる。地磁気センサは、磁界の向きを計測することができる。これらのセンサの出力を単独でまたは組み合わせることにより、全天球カメラ１００の３つの姿勢角が与えられる。姿勢センサ１３６から得られる情報は、全天球画像の天頂補正を施すために用いられ、また、後述する注目点に応じた画像回転処理を施すために用いることができる。

全天球カメラ１００は、さらに、外部ストレージインタフェース１２２と、ＵＳＢ（Universal Serial Bus）インタフェース１２６と、シリアルブロック１２８と、映像出力インタフェース１２９とを含み構成される。外部ストレージインタフェース１２２には、メモリカードスロットに挿入されたメモリカードなどの外部ストレージ１３４が接続される。外部ストレージインタフェース１２２は、外部ストレージ１３４に対する読み書きを制御する。

ＵＳＢインタフェース１２６には、ＵＳＢコネクタ１３８が接続される。ＵＳＢインタフェース１２６は、ＵＳＢコネクタ１３８を介して接続されるパーソナル・コンピュータなどの外部機器とのＵＳＢ通信を制御する。シリアルブロック１２８は、パーソナル・コンピュータなどの外部機器とのシリアル通信を制御し、無線ＮＩＣ（Network Interface Card）１４０が接続される。映像出力インタフェース１２９は、ＨＤＭＩ（High-Definition Multimedia Interface，ＨＤＭＩは登録商標である。）などの外部ディスプレイと接続するためのインタフェースであり、記録前や記録中の画像または、記録した画像を外部ディスプレイなどに映像出力することができる。

なお、一例として、ＵＳＢコネクタ１３８、無線ＮＩＣ１４０、ＨＤＭＩ（登録商標）による映像出力インタフェース１２９を示しているが、特定の規格に限定されるものではない。他の実施形態では、有線ＬＡＮ（Local Area Network）などの有線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）やワイヤレスＵＳＢなどの他の無線通信、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）やＶＧＡ（Video Graphics Array）などの他の映像出力インタフェースを介して、外部機器と接続されてもよい。

電源スイッチの操作によって通電状態になると、上記制御プログラムがメインメモリにロードされる。ＣＰＵ１１２は、メインメモリに読み込まれたプログラムに従って、装置各部の動作を制御するとともに、制御に必要なデータをメモリ上に一時的に保存する。これにより、全天球カメラ１００の後述する各機能部および処理が実現される。

上述したように、本実施形態による全天球カメラ１００は、全天球画像の静止画または動画を撮影する機能を有する。記録された全天球画像を閲覧するため、全天球画像を平面デバイスに適合した画像へ変換する専用ビューアが提供される場合がある。一方で、上記専用ビューアを用いずに、入力される画像をそのまま表示するような汎用ビューアやディスプレイから、全天球カメラ１００で撮影される画像を表示させたいという要望がある。また、カメラ本体と通信可能に構成されたディスプレイ上で被写体を確認しながら撮影する、いわゆるライブビューを行いたいという要望もある。

しかしながら、上述した専用ビューアと同等の処理を全天球カメラ１００本体に設けようとすると、全天球カメラ１００の計装コストを増大させ、ひいては、画像処理の消費電力、発熱量を増大させてしまうことになる。

そこで、本実施形態では、センサ情報により決定された注目点に基づき、全天球画像に対する座標変換処理を実行し、座標変換処理の実行により生成された変換後の全天球画像の一部を切り出すことにより、出力する表示画像を生成する構成を採用する。好ましい実施形態では、変換後の全天球画像の中央部分を切り出す処理を行うことにより、全天球画像における注目点を中心とした部分に対応した画像を表示画像として生成することができる。

上記構成により、全天球画像の一部を映し出した、閲覧者にとって違和感のない表示画像を、負荷の小さな処理で生成することができる。好ましい実施形態では、全天球画像における歪みが少ない中央部分に注目点を中心とした画像が配置されるよう座標変換処理が施され、中央部分に対応する画像が切り出されて表示画像として出力される。このため、閲覧者は、専用ビューアを用いなくとも、自然な画像を閲覧することができる。また、座標変換処理は、天頂補正のために全天球カメラ１００に組み込まれた処理であるため、全天球カメラ１００に対する余分な計装コストを生じさせない。ひいては、画像処理による電力消費量、発熱を削減することも可能となる。

なお、以下に説明する実施形態においては、上述した映像出力インタフェース１２９を介して接続した外部ディスプレイに対し表示画像を映像出力するように構成するものとする。しかしながら、このような実施形態に限定されるものではない。他の実施形態では、全天球画像の表示画像を表示するために、ＵＳＢコネクタ１３８、無線ＮＩＣ１４０のような有線または無線の通信を介して接続されるスマートフォンやタブレットコンピュータなどのユーザ端末装置を用いてもよい。この場合、ユーザは、ユーザ端末装置上で稼働する汎用ビューアのアプリケーションを起動し、全天球カメラ１００から出力される画像を汎用ビューアで表示することができる。その他の実施形態では、全天球カメラ１００自体がディスプレイを備える場合、全天球カメラ１００が備えるディスプレイに表示画像を表示するように構成してもよい。

以下、図３および図４を参照しながら、本実施形態による全天球カメラ１００が備える表示画像出力機能について概略を説明する。図３は、本実施形態による全天球カメラ１００上に実現される表示画像出力機能に関連する主要な機能ブロック２００を示す。

全天球カメラ１００の機能ブロック２００は、図３に示すように、撮像画像取得部２０２と、つなぎ合わせ処理部２０４と、天頂補正部２０６と、全天球画像生成部２０８と、画像圧縮部２１０と、画像展開部２１２と、注目点決定部２１４と、画像回転部２１６と、変換後全天球画像生成部２１８と、切出処理部２２０と、拡大／レターボックス処理部２２２と、出力部２２４とを含み構成される。

なお、図３には、２つの画像処理の流れが示されている。第１の流れは、全天球カメラ１００で撮像された全天球画像を一旦保存し、ユーザ操作に応答して、保存された全天球画像の表示画像を出力する処理の流れである。保存される全天球画像の画像データは、静止画であってもよいし、動画であってもよい。第１の流れは、記録後に閲覧する場合に対応する。第２の流れは、全天球カメラ１００で全天球画像を撮影しながら、生成される全天球画像の表示画像を出力する処理の流れである。記録前や記録中に撮影状態をリアルタイムに閲覧する場合に対応する。

以下、まず、記録後の閲覧に対応した第１の処理の流れについて説明する。撮像画像取得部２０２は、上述した２つの撮像素子１３０Ａ，１３０Ｂを制御し、それぞれからの撮像画像を取得する。静止画の場合は、シャッターが押されたタイミングで取得された１フレーム分の２つの撮像画像が取得される。動画の場合は、連続したフレームが順次撮像され、各フレーム毎に２つの撮像画像が取得される。撮像素子１３０各々で撮像される画像は、概ね全天球のうちの半球を視野に収めた魚眼画像であり、全天球画像の部分的な画像を構成する。以下、撮像素子１３０それぞれが撮像した画像を部分画像と参照する場合がある。

つなぎ合わせ処理部２０４は、取得された２つの部分画像間のつなぎ位置を検出し、２つの部分画像をつなぎ合わせるための処理を実行する。つなぎ位置検出処理では、フレーム毎に、複数の部分画像間に存在する重複領域において、複数の対応点各々の位置ずらし量を検出する処理が行われる。

天頂補正部２０６は、図２に示した姿勢センサ１３６を制御し、全天球カメラ１００の姿勢角を検出し、生成される全天球画像の天頂方向が所定の基準方向に一致するようにするための補正処理を実行する。ここで、所定の基準方向とは、典型的には、鉛直方向であり、重力加速度が作用する方向である。全天球画像の天頂方向が鉛直方向（天方向）に一致するよう補正することにより、特に動画像において、閲覧時に視野の変更を行う場合でもユーザに３次元酔いなどの違和感を与えないようにすることが可能となる。

全天球画像生成部２０８は、つなぎ合わせ処理部２０４および天頂補正部２０６の処理結果が反映された状態で、撮像された２つの部分画像から全天球画像を生成する処理を実行する。なお、説明する実施形態においては、２つの部分画像から全天球画像を生成するための変換パラメータが存在し、つなぎ合わせ処理部２０４は、この変換パラメータに対し、つなぎ位置検出の結果を反映する。天頂補正部２０６も、変換パラメータに対し天頂補正の結果を反映する。そして、全天球画像生成部２０８は、これらの処理結果が反映された変換パラメータを用いて、２つの部分画像から全天球画像を生成する。このように処理することにより、最終的な全天球画像を得るための処理負荷を軽減することができる。

しかしながら、上述した実施形態に限定されるものではなく、２つの部分画像をつなぎ合わせて全天球画像を生成し、生成された全天球画像に対して天頂補正処理を施して、天頂補正が施された全天球画像を生成するよう構成することもできる。なお、変換パラメータについては後述する。

画像圧縮部２１０は、静止画圧縮ブロックを含み構成され、静止画を撮影する場合、撮像された画像を、ＪＰＥＧ（Joint Photographic Experts Group）などの所定の静止画形式の画像データに圧縮する。画像圧縮部２１０は、また、図２に示した動画圧縮ブロック１１８を含み構成され、動画を撮影する場合、撮像された連続する画像フレームを所定の動画形式の画像データに圧縮する。動画圧縮形式としては、特に限定されるものではないが、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）、Ｍｏｔｉｏｎ ＪＰＥＧ、Ｍｏｔｉｏｎ ＪＰＥＧ２０００などの種々の動画圧縮形式を挙げることができる。生成された画像データは、全天球カメラ１００に装着された外部ストレージ１３４や、その他全天球カメラ１００が備えるフラッシュメモリなどのストレージに保存される。

第１の処理の流れにおいては、例えば全天球カメラ１００のユーザからの再生対象を指定した映像出力指示に応答して、機能部２１２〜２２４が動作する。画像展開部２１２は、上述したストレージに保存された画像データを読み出し、全天球画像を取得する。取得された全天球画像は、メモリ上に展開される。

注目点決定部２１４は、姿勢センサ１３６から出力されるセンサ情報に基づいて、注目点を決定する。この第１の流れでは、以降の映像出力処理中、全天球カメラ１００は、もはや撮像動作を行っていないので、注目点を操作するための操作コントローラとして用いることができる。姿勢センサ１３６からのセンサ情報に基づいて、全天球カメラ１００が向く方向に対応した注目点（カメラの姿勢角α，β，γ）が決定される。注目点決定部２１４は、本実施形態における決定手段を構成する。

なお、第１の処理の流れにおいて、表示の対象となる全天球画像には既に天頂補正が施されている。このため、特に限定されるものではないが、操作コントローラとしての全天球カメラ１００を真上に向けた状態（つまり、図１に示す全天球カメラ１００を、撮像体１２側を上にして垂直に設置した状態）を基準とし、全天球カメラ１００の姿勢角を定義することができる。なお、説明する実施形態では、全天球カメラ１００を操作コントローラとして用いるものとして説明する。しかしながら、操作専用コントローラ、スマートフォン、タブレットコンピュータ、ヘッドマウントディスプレイなど、姿勢センサを備え全天球カメラ１００と通信可能な外部装置を操作コントローラとして別途用意してもよい。

画像回転部２１６は、注目点決定部２１４により決定された注目点に応じて、全天球画像に対する座標変換処理を実行する。座標変換処理は、より具体的には、全天球画像の各座標を、注目点に応じた角度で３次元回転変換する処理である。座標変換処理については後述する。画像回転部２１６は、本実施形態による座標変換処理手段を構成する。

変換後全天球画像生成部２１８は、座標変換処理の実行の結果に基づき、元の全天球画像から、注目点に応じた変換後の全天球画像を生成する処理を実行する。変換後全天球画像生成部２１８は、本実施形態における画像生成手段を構成する。図４（Ａ）は、本実施形態による全天球カメラ１００において、生成される変換後全天球画像を例示する。変換後全天球画像は、注目点が画像の中心に配置されるように座標変換されているので、図４（Ａ）に示す全天球画像の中心が、決定された注目点に対応する。

切出処理部２２０は、座標変換処理の実行により生成された変換後全天球画像の一部を切り出して、切出画像を生成する。好ましい実施形態では、切出処理部２２０は、変換後全天球画像の中央部分を切り出す処理であり、これにより、全天球画像における注目点を中心とした一定サイズの部分に対応した画像が切り出される。図４（Ａ）には、全天球画像から切り出される中央部分の領域が破線の矩形で示されている。切出処理部２２０は、本実施形態における切出手段を構成する。

なお、説明する実施形態では、切出手段は、画像の一部を切り出して切出画像を生成する機能を有するものとして説明する。しかしながら、他の実施形態では、切出手段が備える機能としては、画像の一部を切り出して切出画像を生成するという機能のみならず、解像度を低下させる機能であってもよい。また、説明する実施形態では、画像回転部２１６による処理を行った後に、切出処理部２２０による処理を行うものとして説明したが、順序は、これに限定されるものではない。

拡大／レターボックス処理部２２２は、切出処理部２２０で切り出された画像に対し、出力先のディスプレイやプロジェクタなどの映像出力装置の解像度およびアスペクト比に応じて拡大処理を実行し、切り出された画像部分の上下に黒帯を追加する処理を行い、表示画像を生成する。出力部２２４は、拡大／レターボックス処理部２２２により処理されて生成された表示画像を、映像出力インタフェース１２９を介して出力する。なお、拡大／レターボックス処理部２２２による処理は、切出画像が映像出力装置の解像度およびアスペクト比に対応している場合には省略することができる。

図４（Ｂ）は、本実施形態による全天球カメラ１００において、図４（Ａ）に示される全天球画像に基づいて出力部２２４により出力される表示画像を例示する。図４（Ａ）に示されるように、全天球画像の周辺部分は歪みが大きいが、中央部分は比較的に歪みが少ない。このため、中央部分を切り出して生成された表示画像は、図４（Ｂ）に示すように、閲覧者にとって自然に見える画像となっている。

静止画の場合は、少なくとも注目点が変化する毎、典型的には所定インターバル毎に、同一の全天球画像に対し、上記機能部２１４〜２２４による映像出力処理が繰り返し実行され、その時点の注目点に応じて表示画像が更新される。動画の場合は、典型的にはフレーム毎に、上記機能部２１２〜２２４による映像出力処理が繰り返し実行され、表示画像が更新される。

ユーザは、操作コントローラとしての全天球カメラ１００を、真上方向に向けた状態を基準とし、前後左右に傾けたり、回転させることにより、注目点を変更し、変更された注目点に応じた全天球画像の表示画像を閲覧することが可能となる。

以下、引き続き、図３を参照しながら、記録前または記録中のリアルタイムな閲覧に対応した第２の処理の流れについて説明する。第２の処理の流れにおいては、ユーザからのライブビュー開始の指示に応答して、機能部２０２，２０４，２１４〜２２４が動作する。

撮像画像取得部２０２は、第１の流れと同様に、上述した２つの撮像素子１３０Ａ，１３０Ｂを制御し、フレーム毎に２つの部分画像を取得し、メモリ上に展開する。つなぎ合わせ処理部２０４は、取得された２つの部分画像間のつなぎ位置を検出し、つなぎ位置検出の結果を変換パラメータに反映させる。

注目点決定部２１４は、操作コントローラの姿勢センサのセンサ情報に基づいて、注目点を決定する。この第２の流れでは、映像出力処理中も全天球カメラ１００は、撮像動作を行っているので、注目点を操作するための操作コントローラを別途用意するものとする。ここでは、操作専用コントローラ、スマートフォン、タブレットコンピュータ、ヘッドマウントディスプレイなどの姿勢センサを備え、全天球カメラ１００と通信可能な外部装置を操作コントローラとして用いることができる。操作コントローラから送信される姿勢センサのセンサ情報に基づいて、操作コントローラの向いている方向に対応した注目点（操作コントローラの姿勢角α，β，γ）が取得される。

画像回転部２１６は、注目点決定部２１４により決定された注目点に応じて、全天球画像の各座標を、注目点に応じた角度で３次元回転変換する座標変換処理を実行する。画像回転部２１６による結果は、２つの部分画像から全天球画像を生成するための変換パラメータに反映される。

変換後全天球画像生成部２１８は、つなぎ合わせ処理部２０４および画像回転部２１６の処理の実行の結果が反映された変換パラメータを用いて、撮像された２つの部分画像を合成し、変換後の全天球画像を直接生成する処理を実行する。

なお、第２の処理の流れにおいては、注目点を制御する操作コントローラに加えて、全天球画像を撮像する全天球カメラ１００の姿勢も変化し得る。このため、画像回転部２１６による３次元回転変換は、好ましくは、全天球カメラ１００の姿勢に応じた天頂補正を加味して行われる。例えば、全天球カメラ１００が真上を向いた状態で、かつ、操作コントローラが真上を向いた状態で、全天球画像の天頂が重力方向（天方向）に一致するように基準を定義し、３次元回転変換が施される。

以降、第１の処理の流れと同様に、切出処理部２２０は、変換後全天球画像の一部を切り出して、切出画像を生成する。拡大／レターボックス処理部２２２は、切出処理部２２０で切り出された画像に対し、拡大処理および黒帯追加処理を行う。出力部２２４は、拡大／レターボックス処理部２２２により処理されて生成された表示画像を、映像出力インタフェース１２９を介して出力する。上記機能部２０２，２０４，２１４〜２２４による処理は、フレーム毎に繰り返し実行される。

第２の処理の流れでは、ユーザは、例えば、全天球カメラ１００を固定配置して撮影を行い、外部の操作コントローラを、真上方向を基準として、前後左右に傾けたり、回転させることにより、注目点を変化させて、注目点に応じた全天球画像のライブビューを閲覧することが可能となる。なお、上述した説明では、全天球カメラ１００の天頂補正を回転変換に反映するものとして説明した。これにより、全天球カメラ１００の鉛直方向に対する傾きに関わらず、操作コントローラの姿勢を変化させることによって、ユーザが体感する重力の方向を基準として直観的に注目点を設定し易くなる。しかしながら、他の実施形態では、全天球カメラ１００の姿勢に応じた天頂補正を行わず、操作コントローラの姿勢のみによって注目点を制御するように構成することを妨げるものではない。

以下、図５〜図１３を参照しながら、本実施形態による全天球カメラ１００が備える表示画像出力機能について、より詳細に説明する。図５および図６は、本実施形態による全天球カメラ１００が実行する、第１の処理の流れにおける記録処理および表示画像出力処理を示すフローチャートである。図７は、本実施形態による全天球カメラ１００が実行する第２の処理の流れによる表示画像出力処理を示すフローチャートである。

以下、図５および図６を参照しながら、第１の処理の流れにおいて実行される処理について説明する。図５に示す記録処理は、ユーザによる撮影ボタンの押下などの記録指示に応答して、ステップＳ１００から開始される。なお、図５および図６に示す処理では、静止画を撮影し、閲覧する場合に対応する。ステップＳ１０１では、全天球カメラ１００は、撮像画像取得部２０２により、撮像素子１３０Ａ，１３０Ｂからの撮像画像を取得する。

図８は、本実施形態による全天球カメラ１００における射影関係を説明する図である。本実施形態において、１つ魚眼レンズで撮影された画像は、撮影地点から概ね半球分の方位を撮影したものとなる。また、魚眼レンズは、図８（Ａ）に示すように、光軸に対する入射角度φに対応した像高ｈで画像を生成する。像高ｈと、入射角度φとの関係は、所定の投影モデルに応じた射影関数で決定される。

射影関数は、魚眼レンズの性質によって異なる。上記投影モデルとしては、等距離射影方式（ｈ＝ｆ・φ）、中心投影方式（ｈ＝ｆ・ｔａｎφ）、立体射影方式（ｈ＝２ｆ・ｔａｎ（φ／２））、等立体角射影方式（ｈ＝２ｆ・ｓｉｎ（φ／２））および正射影方式（ｈ＝ｆ・ｓｉｎφ）を挙げることができる。いずれの方式においても、光軸からの入射角度φと焦点距離ｆとに対応して結像の像高ｈが決定される。また、本実施形態では、画像対角線よりもイメージサークル径が小さな、いわゆる円周魚眼レンズの構成を採用するものとし、得られる部分画像は、図８（Ｂ）に示すように、撮影範囲の概ね半球分が投影されたイメージサークル全体を含む平面画像となる。

図９は、本実施形態で用いられる全天球画像の画像データのデータ構造を説明する図である。図９に示すように、全天球画像のフォーマットは、所定の軸に対するなす角度に対応する垂直角度φと、上記軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。各座標値（θ，φ）は、撮影地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上にマッピングされる。

図１０は、本実施形態による全天球カメラが用いる変換パラメータを説明する図である。変換パラメータは、平面座標系で表現される部分画像から、球面座標系で表現される画像への射影を規定する。変換パラメータは、図１０（Ａ）および（Ｂ）に示すように、各魚眼レンズ毎に、補正後画像の座標値（θ,φ）と、該座標値（θ,φ）にマッピングされる補正前の部分画像の座標値（ｘ、ｙ）とを対応付ける情報を、全座標値（θ，φ）に対して保持したものである。図１０の例示では、１画素が担当する角度は、φ方向およびθ方向いずれも１／１０度であり、変換パラメータは、各魚眼レンズについて、３６００×１８００の対応関係を示す情報を有している。オリジナルの変換パラメータは、事前に製造元等で理想的なレンズモデルからの歪みを補正した上で計算され、テーブル化されたものを用いることができる。

再び図５を参照すると、ステップＳ１０２では、全天球カメラ１００は、つなぎ合わせ処理部２０４により、取得された２つの部分画像間の重複領域にてつなぎ位置を検出し、変換パラメータに対し、つなぎ位置検出の結果を反映する。つなぎ位置検出の結果の反映により、図１０（Ａ）に示す変換パラメータは、補正後画像の座標値（θ,φ）に対し、つなぎ位置補正を反映した部分画像の座標値（ｘ、ｙ）が対応付けられるように修正される。

ステップＳ１０３では、全天球カメラ１００は、天頂補正部２０６により、全天球カメラ１００の重力方向に対する姿勢角を検出し、生成される全天球画像の天頂方向が鉛直方向に一致するように変換パラメータを修正する。天頂補正は、詳細を後述する３次元回転変換と同様の処理により実施することができるが、ここでは詳細には立ち入らない。ステップＳ１０４では、全天球カメラ１００は、全天球画像生成部２０８により、変換パラメータを用いて、撮像された２つの部分画像から全天球画像を生成する処理を実行する。ステップＳ１０４においては、まず、変換パラメータを用いて、部分画像が、平面座標系から球面座標系へ変換される。そして、２つの球面座標系の部分画像が画像合成されて、全天球画像が生成される。

図１１は、本実施形態による全天球カメラ１００が２つの部分画像から生成する全天球画像を示す。なお、図１１には、全天球カメラ１００の真上方向と鉛直線が一致していない状態で撮影された２つの部分画像と、この２つの部分画像から天頂補正が施されて生成された全天球画像とが例示されている。図１１に示す例では、一方の魚眼レンズが地面を向き、他方の魚眼レンズが空を向くように全天球カメラ１００が傾けられた状態で、第１部分画像および第２部分画像が撮像されている。図１１を参照する理解されるように、上述した天頂補正により、風景における水平線が中央に位置するように全天球画像が補正される。

再び図５を参照すると、ステップＳ１０５では、全天球カメラ１００は、画像圧縮部２１０により、生成された全天球画像の画像データを画像圧縮し、ステップＳ１０６で、生成された画像データをストレージに保存する。そして、ステップＳ１０７で一旦処理を終了する。

図６に示す表示画像出力処理は、ユーザからの画像データを指定した映像出力指示に応答して、ステップＳ２００から開始される。ステップＳ２０１では、全天球カメラ１００は、画像展開部２１２により、指定の全天球画像の画像データをストレージから読み出し、ステップＳ２０２で、メモリ上に全天球画像を展開する。

ステップＳ２０３では、全天球カメラ１００は、注目点決定部２１４により、全天球カメラ１００の姿勢センサ１３６から出力されるセンサ情報に基づいて、注目点（カメラ本体の姿勢角α，β，γ）を決定する。ここでは、加速度センサ、ジャイロセンサ、地磁気センサの組み合わせにより、カメラ本体を真上に向けた状態を基準としたカメラ本体の姿勢角α，β，γが得られるものとして説明する。ステップＳ２０４では、全天球カメラ１００は、画像回転部２１６により、ステップＳ２０３で決定された注目点に応じて、全天球画像に対する座標変換処理を実行する。ステップＳ２０４に示す座標変換処理では、全天球画像の各座標値（θ１，φ１）を入力値として座標変換が行われ、変換後の各座標値（θ２、φ２）が計算される。

ここで、座標変換処理について説明する。図１２は、本実施形態による全天球カメラ１００が実行する座標変換処理を説明する図である。ここで、座標変換前の３次元直交座標を（ｘ１，ｙ１，ｚ１）、球面座標を（θ１，φ１）と表記し、座標変換後の３次元直交座標を（ｘ２，ｙ２，ｚ２）、球面座標を（θ２，φ２）と表記する。

座標変換処理では、下記式（１）〜（６）を用いて、球面座標（θ１、φ１）から球面座標（θ２、φ２）への変換を行う。座標変換処理は、下記式（１）〜（３）による座標変換と、下記式（４）による座標変換と、下記式（５）および（６）による座標変換とを含む。

まず、３次元直交座標を用いて回転変換する必要があるため、上記式（１）〜（３）を用いて、球面座標（θ１，φ１）から３次元直交座標（ｘ１、ｙ１、ｚ１）へ変換する処理が行われる。

次に、注目点として与えられるカメラ本体の姿勢角α、β、γを用いて、上記式（４）により、３次元直交座標系（ｘ１，ｙ１，ｚ１）を、３次元直交座標系（ｘ２，ｙ２，ｚ２）に変換する。換言すれば、上記式（４）は、姿勢角（α、β、γ）の定義を与える。つまり、上記式（４）は、元の座標系を、ｘ軸を軸にα回転させ、ｙ軸を軸にβ回転させ、ｚ軸を軸にγ回転させることにより、変換後の座標系になることを意味している。

最後に、上記式（５）および式（６）式を用いて、変換後の３次元直交座標（ｘ２，ｙ２，ｚ２）を球面座標（θ２，φ２）に戻す変換を行う。

再び図６を参照すると、ステップＳ２０５では、全天球カメラ１００は、変換後全天球画像生成部２１８により、座標変換処理の実行の結果に基づき、元の全天球画像から、注目点に応じた変換後全天球画像を生成する処理を実行する。上述したステップＳ２０４の処理により、全天球画像の座標値（θ１，φ１）各々に対し、変換後の座標値（θ２、φ２）各々が計算されている。このため、変換後全天球画像生成処理は、変換後の全天球画像の入力座標値（θ１，φ１）の画素値として、この座標値（θ１，φ１）に対応して計算された変換後の座標値（θ２、φ２）の画素値を設定する処理となる。これにより、変換後の全天球画像が生成される。

ステップＳ２０６では、全天球カメラ１００は、切出処理部２２０により、変換後の全天球画像の中央部分を切り出して、切出画像を生成する。例えば、全天球画像のサイズの縦横１／２のサイズで中心から切り出すことができる。ステップＳ２０７では、全天球カメラ１００は、拡大／レターボックス処理部２２２により、出力先映像出力装置の解像度およびアスペクト比に応じて、切り出された画像を拡大および黒帯の追加を行い、表示画像を生成する。ステップＳ２０８では、全天球カメラ１００は、出力部２２４により、生成された表示画像を、映像出力インタフェース１２９を介して出力し、ステップＳ２０９で本処理を終了する。

なお、静止画の場合、図６に示すステップＳ２０３〜ステップＳ２０８の処理は、全天球カメラ１００の姿勢が変化し注目点が変更される毎に、または、所定インターバル毎に繰り返される。動画の場合は、図６に示すステップＳ２０１〜ステップＳ２０８の処理が、各フレームの画像毎に繰り返される。

以下、図７を参照しながら、第２の処理の流れにおいて実行される処理について説明する。図７に示す表示画像出力処理は、ユーザによるライブビュー開始指示に応答して、ステップＳ３００から開始される。ステップＳ３０１では、全天球カメラ１００は、撮像画像取得部２０２により、撮像素子１３０Ａ，１３０Ｂからの撮像画像を取得する。

ステップＳ３０２では、全天球カメラ１００は、つなぎ合わせ処理部２０４により、取得された２つの部分画像間の重複領域におけるつなぎ位置を検出し、変換パラメータに対し、つなぎ位置検出の結果を反映する。つなぎ位置検出の結果の反映により、図１０（Ａ）に示す変換パラメータは、補正後画像の座標値（θ,φ）に対し、つなぎ位置の補正を反映した部分画像の座標値（ｘ、ｙ）が対応付けられるように修正される。

ステップＳ３０３では、全天球カメラ１００は、注目点決定部２１４により、外部操作コントローラの姿勢センサから出力されるセンサ情報に基づいて、注目点（操作コントローラの姿勢角α，β，γ）を決定する。ここでは、加速度センサ、ジャイロセンサ、地磁気センサの組み合わせにより、操作コントローラを真上に向けた状態を基準とした操作コントローラの姿勢角α，β，γが得られるものとして説明する。なお、ステップＳ３０３では、全天球カメラ１００の姿勢角も検出され、操作コントローラが真上に向けられた状態（姿勢角（α，β，γ）＝（０，０，０））で全天球画像の天頂方向が鉛直方向に一致するように、決定された姿勢角α，β，γに対し補正がかけられる。以下の説明では、説明の便宜上、全天球カメラ１００が真上を向けて配置固定された状態で撮影が行われているものとして説明する。

ステップＳ３０４では、全天球カメラ１００は、画像回転部２１６により、ステップＳ３０３で決定された注目点に応じて変換パラメータを修正する。ステップＳ３０４に示す座標変換処理では、全天球画像の座標値に対応する図１０に示した変換パラメータの各変換後座標値（θ，φ）を入力値（θ１，φ１）として座標変換が行われ、上記式（１）〜（６）に従い変換後の座標値（θ２、φ２）が計算される。座標変換処理については、図１２を参照して説明しているため、ここでは割愛する。

ステップＳ３０５では、全天球カメラ１００は、変換後全天球画像生成部２１８により、座標変換処理の実行の結果が反映された変換パラメータを用いて、撮像された２つの部分画像から変換後全天球画像を直接生成する処理を実行する。変換パラメータの各座標値（θ，φ）に対し、これらを入力値（θ１，φ１）として変換後の各座標値（θ２、φ２）が計算されている。このため、変換後全天球画像生成処理は、変換後全天球画像の入力座標値（θ１，φ１）の画素値として、座標値（θ１，φ１）に対応して計算された変換後の座標値（θ２、φ２）に対応付けられる部分画像の座標値（ｘ，ｙ）の画素値を設定する処理となる。これにより、球面座標系に展開された２つの部分画像が得られ、２つの球面座標系の部分画像が画像合成されて、変換後の全天球画像が生成される。

ステップＳ３０６では、全天球カメラ１００は、切出処理部２２０により、変換後全天球画像の中央部分を切り出して、切出画像を生成する。ステップＳ３０７では、全天球カメラ１００は、拡大／レターボックス処理部２２２により、出力先の解像度およびアスペクト比に応じて、切り出された画像を拡大および黒帯追加を行い、表示画像を生成する。ステップＳ３０８では、全天球カメラ１００は、出力部２２４により、生成された表示画像を、映像出力インタフェース１２９を介して出力し、ステップＳ３０９で本処理を終了する。

なお、図７に示すステップＳ３０１〜ステップＳ３０８の処理は、フレーム間隔毎に繰り返される。

図１３は、本実施形態による全天球カメラ１００が各注目点に応じた画像回転により生成する変換後全天球画像を、切り出される中央部分とともに示す図である。図１３（Ｂ）は、基準となる注目点における変換後全天球画像および切り出される中央部分を示す。図１３（Ｂ）は、ユーザが操作コントローラ（全天球カメラ１００／外部操作コントローラ）を垂直に保持している状態に対応する。

これに対し、図１３（Ａ）は、操作コントローラを図１３（Ｂ）に対応する姿勢から傾け、図１３（Ｂ）において注目点を下に移動させた場合の変換後全天球画像および切り出される中央部分を示す。また、図１３（Ｃ）は、操作コントローラを図１３（Ｂ）に対応する姿勢から本体軸周りに回転させて、図１３（Ｂ）において注目点を右に移動させた場合の変換後全天球画像および切り出される中央部分を示す。

図１３に示すように、上記実施形態では、姿勢センサなどのセンサ情報により決定された注目点に基づき、全天球画像に対する座標変換処理を実行し、座標変換処理の実行により生成された変換後の全天球画像の一部を切り出すことにより、出力する表示画像が生成される。好ましい実施形態では、変換後の全天球画像の中央部分を切り出す処理を行うことにより、全天球画像における注目点を中心とした部分に対応した画像が表示画像として生成される。

上記実施形態によれば、全天球画像の一部を映し出した、閲覧者にとって違和感のない表示画像を、負荷の小さな処理で生成することが可能となる。好ましい実施形態によれば、全天球画像における歪みが少ない中央部分に注目点を中心とした画像が配置されるよう座標変換処理が施されるため、閲覧者は、専用ビューアを用いなくとも、自然な画像を閲覧することが可能となる。また、座標変換処理は、天頂補正のために全天球カメラ１００に組み込まれた処理であるため、計装コストの削減、ひいては、画像処理による電力消費量、発熱を削減することも可能となる。

以上説明したように、上述した実施形態によれば、閲覧者にとって違和感のない対象画像の表示画像を、負荷の小さな処理で生成することができる画像処理システム、画像処理方法、プログラムおよび撮像システムを提供することができる。

なお、上述までの実施形態では、全天球カメラ１００を一例として、画像処理システムおよび撮像システムについて説明した。しかしながら、画像処理システムおよび撮像システムの構成は、上述した構成に限定されるものではない。

他の実施形態では、上述した機能部２０２〜２２４の一部の処理を、外部のパーソナル・コンピュータやサーバ、操作コントローラとして動作させることができるコンピュータなどの１以上の画像処理装置上で分散実装してもよい。特定の実施形態において、上述した注目点決定部２１４、画像回転部２１６、変換後全天球画像生成部２１８、切出処理部２２０、拡大／レターボックス処理部２２２および出力部２２４は、撮像素子１３０を備える撮像装置である全天球カメラ、または、全天球カメラから分離された画像処理装置上に備えることができる。また、操作コントローラは、全天球カメラ、上述した画像処理装置、または全天球カメラおよび画像処理装置とは分離した装置とすることができる。

さらに、つなぎ合わせ処理部２０４によるつなぎ合わせ処理、画像回転部２１６による画像回転、および、切出処理部２２０による切り出し処理の順序は、図３に示した具体的な実施形態に限定されるものではない。（１）つなぎ合わせ処理をして、画像回転をして、切り出し処理をして出力する他、他の実施形態では、（２）画像回転をして、つなぎ合わせ処理をして、切り出し処理をして出力したり、（３）画像回転をして、切り出し処理をして、つなぎ合わせ処理をして出力したり、（４）つなぎ合わせ処理をして、切り出し処理をして、画像回転をして、出力したり、（５）切り出し処理をして、つなぎ合わせ処理をして、画像回転をして出力したり、（６）切り出し処理をして、画像回転をして、つなぎ合わせ処理をして出力したりすることを妨げるものではない。さらに、動画の状態で画像回転および切出処理を実行してもよい。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（Very High Speed Integrated Circuits Hardware Description Language）、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１２…撮像体、１４…筐体、１８…撮影ボタン、２０…結像光学系、２２…撮像素子、１００…全天球カメラ、１１２…ＣＰＵ、１１４…ＲＯＭ、１１６…画像処理ブロック、１１８…動画圧縮ブロック、１２０…ＤＲＡＭインタフェース、１２２…外部ストレージインタフェース、１２４…外部センサインタフェース、１２６…ＵＳＢインタフェース、１２８…シリアルブロック、１２９…映像出力インタフェース、１３０…撮像素子、１３２…ＤＲＡＭ、１３４…外部ストレージ、１３６…姿勢センサ、１３８…ＵＳＢコネクタ、１４０…無線ＮＩＣ、２００…機能ブロック、２０２…撮像画像取得部、２０４…つなぎ合わせ処理部、２０６…天頂補正部、２０８…全天球画像生成部、２１０…画像圧縮部、２１２…画像展開部、２１４…注目点決定部、２１６…画像回転部、２１８…変換後全天球画像生成部、２２０…切出処理部、２２２…拡大／レターボックス処理部、２２４…出力部

特開２０１３−１８７８６０号公報

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。本願は、以下も開示する。
（付記）
（付記１）
表示手段に表示する動画データを出力する画像処理システムであって、
入力される画像データの一部の画像データを出力する第一の手段と、
入力される画像データの座標を変換した画像データを出力する第二の手段と、
前記第一の手段と前記第二の手段とで処理された画像データを前記表示手段に表示する動画データとして出力する第三の手段と
を含む、画像処理システム。
（付記２）
複数の画像を合成して１つの画像を生成する画像処理システムであって、
入力される画像データの一部の画像データを出力する第一の手段と、
入力される画像データの座標を変換した画像データを出力する第二の手段と、
入力される複数の画像の画像データを合成して１つの画像データとして出力する第四の手段と、
前記第一の手段と前記第二の手段と前記第四の手段とで処理された画像データを出力する第三の手段と
を含む、画像処理システム。
（付記３）
前記第一の手段は、前記入力される画像データの一部を切り出す切出手段であり、前記第二の手段は、センサ情報に基づいて決定される注目点に基づき、前記入力される画像データに対する座標変換処理を実行する座標変換処理手段である、付記１または２に記載の画像処理システム。
（付記４）
前記第二の手段に入力される画像データは、球面座標系の画像であり、前記座標変換処理は、
前記第二の手段に入力される画像データの座標を３次元座標に座標変換する第１の座標変換と、
前記第１の座標変換処理により得られた３次元座標を３次元回転変換する第２の座標変換と、
前記３次元回転変換により得られた３次元座標を球面座標系に座標変換する第３の座標変換と
を含む、付記３に記載の画像処理システム。
（付記５）
前記切出手段は、前記入力される画像データの中央部分を切り出す処理であり、これにより、前記入力される画像データにおける注目点を中心とした部分に対応した画像が前記一部の画像データとして出力される、付記３または４に記載の画像処理システム。
（付記６）
前記センサ情報は、加速度センサ、ジャイロセンサおよび地磁気センサの少なくとも１つのセンサから得られる情報を含む、付記３〜５のいずれか１つに記載の画像処理システム。
（付記７）
それぞれレンズ光学系および撮像素子を含む複数の撮像手段であって、互いに異なる方向を撮像する前記複数の撮像手段からの複数の画像の画像データを取得する画像取得手段をさらに含む、付記１〜６のいずれか１つに記載の画像処理システム。
（付記８）
前記複数の撮像手段は、それぞれ、所定画角を有し、前記複数の撮像手段の画角を合わせることにより４πステアラジアンの立体角が満たされ、前記第三の手段により出力される画像データは、全天球画像である、付記７に記載の画像処理システム。
（付記９）
表示手段に表示する動画データを出力する画像処理方法であって、画像処理装置が、
入力される画像データの一部の画像データを出力する第一のステップと、
入力される画像データの座標を変換した画像データを出力する第二のステップと、
前記第一のステップと前記第二のステップとで処理された画像データを前記表示手段に表示する動画データとして出力する第三のステップと
を含む、画像処理方法。
（付記１０）
複数の画像を合成して１つの画像を生成する画像処理方法であって、画像処理装置が、
入力される画像データの一部の画像データを出力する第一のステップと、
入力される画像データの座標を変換した画像データを出力する第二のステップと、
入力される複数の画像の画像データを合成して１つの画像データとして出力する第四のステップと、
前記第一のステップと前記第二のステップと前記第四のステップとで処理された画像データを出力する第三のステップと
を含む、画像処理方法。
（付記１１）
前記第一のステップは、前記入力される画像データの一部を切り出すステップであり、前記第二のステップは、センサ情報に基づいて決定される注目点に基づき、前記入力される画像データに対する座標変換処理を実行するステップである、付記９または１０に記載の画像処理方法。
（付記１２）
前記第二のステップで入力される画像データは、球面座標系の画像であり、前記座標変換処理は、
前記第二のステップで入力される画像データの座標を３次元座標に座標変換する第１の座標変換と、
前記第１の座標変換処理により得られた３次元座標を３次元回転変換する第２の座標変換と、
前記３次元回転変換により得られた３次元座標を球面座標系に座標変換する第３の座標変換と
を含む、付記１１に記載の画像処理方法。
（付記１３）
表示手段に表示する動画データを出力する画像処理装置を実現するためのプログラムであって、コンピュータを、
入力される画像データの一部の画像データを出力する第一の手段、
入力される画像データの座標を変換した画像データを出力する第二の手段、および
前記第一の手段と前記第二の手段とで処理された画像データを前記表示手段に表示する動画データとして出力する第三の手段
として機能させるためのプログラム。
（付記１４）
複数の画像を合成して１つの画像を生成する画像処理装置を実現するためのプログラムであって、コンピュータを、
入力される画像データの一部の画像データを出力する第一の手段、
入力される画像データの座標を変換した画像データを出力する第二の手段、
入力される複数の画像の画像データを合成して１つの画像データとして出力する第四の手段、および
前記第一の手段と前記第二の手段と前記第四の手段とで処理された画像データを出力する第三の手段
として機能させるためのプログラム。
（付記１５）
表示手段に表示する動画データを出力する撮像システムであって、
複数のレンズ光学系および撮像素子を含み、画像データを撮影するための撮像手段と、
注目点を変更するためのコントローラ手段と、
入力される画像データの一部の画像データを出力する第一の手段と、
入力される画像データの座標を変換した画像データを出力する第二の手段と、
前記第一の手段と前記第二の手段とで処理された画像データを前記表示手段に表示する動画データとして出力する第三の手段と
を含む、撮像システム。
（付記１６）
複数の画像を合成して１つの画像を生成する撮像システムであって、
複数のレンズ光学系および撮像素子を含み、画像データを撮影するための撮像手段と、
注目点を変更するためのコントローラ手段と、
入力される画像データの一部の画像データを出力する第一の手段と、
入力される画像データの座標を変換した画像データを出力する第二の手段と、
入力される複数の画像の画像データを合成して１つの画像データとして出力する第四の手段と、
前記第一の手段と前記第二の手段と前記第四の手段とで処理された画像データを出力する第三の手段と
を含む、撮像システム。

Claims (16)

1. 表示手段に表示する動画データを出力する画像処理システムであって、
   入力される画像データの一部の画像データを出力する第一の手段と、
   入力される画像データの座標を変換した画像データを出力する第二の手段と、
   前記第一の手段と前記第二の手段とで処理された画像データを前記表示手段に表示する動画データとして出力する第三の手段と
   を含む、画像処理システム。
2. 複数の画像を合成して１つの画像を生成する画像処理システムであって、
   入力される画像データの一部の画像データを出力する第一の手段と、
   入力される画像データの座標を変換した画像データを出力する第二の手段と、
   入力される複数の画像の画像データを合成して１つの画像データとして出力する第四の手段と、
   前記第一の手段と前記第二の手段と前記第四の手段とで処理された画像データを出力する第三の手段と
   を含む、画像処理システム。
3. 前記第一の手段は、前記入力される画像データの一部を切り出す切出手段であり、前記第二の手段は、センサ情報に基づいて決定される注目点に基づき、前記入力される画像データに対する座標変換処理を実行する座標変換処理手段である、請求項１または２に記載の画像処理システム。
4. 前記第二の手段に入力される画像データは、球面座標系の画像であり、前記座標変換処理は、
   前記第二の手段に入力される画像データの座標を３次元座標に座標変換する第１の座標変換と、
   前記第１の座標変換処理により得られた３次元座標を３次元回転変換する第２の座標変換と、
   前記３次元回転変換により得られた３次元座標を球面座標系に座標変換する第３の座標変換と
   を含む、請求項３に記載の画像処理システム。
5. 前記切出手段は、前記入力される画像データの中央部分を切り出す処理であり、これにより、前記入力される画像データにおける注目点を中心とした部分に対応した画像が前記一部の画像データとして出力される、請求項３または４に記載の画像処理システム。
6. 前記センサ情報は、加速度センサ、ジャイロセンサおよび地磁気センサの少なくとも１つのセンサから得られる情報を含む、請求項３〜５のいずれか１項に記載の画像処理システム。
7. それぞれレンズ光学系および撮像素子を含む複数の撮像手段であって、互いに異なる方向を撮像する前記複数の撮像手段からの複数の画像の画像データを取得する画像取得手段をさらに含む、請求項１〜６のいずれか１項に記載の画像処理システム。
8. 前記複数の撮像手段は、それぞれ、所定画角を有し、前記複数の撮像手段の画角を合わせることにより４πステアラジアンの立体角が満たされ、前記第三の手段により出力される画像データは、全天球画像である、請求項７に記載の画像処理システム。
9. 表示手段に表示する動画データを出力する画像処理方法であって、画像処理装置が、
   入力される画像データの一部の画像データを出力する第一のステップと、
   入力される画像データの座標を変換した画像データを出力する第二のステップと、
   前記第一のステップと前記第二のステップとで処理された画像データを前記表示手段に表示する動画データとして出力する第三のステップと
   を含む、画像処理方法。
10. 複数の画像を合成して１つの画像を生成する画像処理方法であって、画像処理装置が、
    入力される画像データの一部の画像データを出力する第一のステップと、
    入力される画像データの座標を変換した画像データを出力する第二のステップと、
    入力される複数の画像の画像データを合成して１つの画像データとして出力する第四のステップと、
    前記第一のステップと前記第二のステップと前記第四のステップとで処理された画像データを出力する第三のステップと
    を含む、画像処理方法。
11. 前記第一のステップは、前記入力される画像データの一部を切り出すステップであり、前記第二のステップは、センサ情報に基づいて決定される注目点に基づき、前記入力される画像データに対する座標変換処理を実行するステップである、請求項９または１０に記載の画像処理方法。
12. 前記第二のステップで入力される画像データは、球面座標系の画像であり、前記座標変換処理は、
    前記第二のステップで入力される画像データの座標を３次元座標に座標変換する第１の座標変換と、
    前記第１の座標変換処理により得られた３次元座標を３次元回転変換する第２の座標変換と、
    前記３次元回転変換により得られた３次元座標を球面座標系に座標変換する第３の座標変換と
    を含む、請求項１１に記載の画像処理方法。
13. 表示手段に表示する動画データを出力する画像処理装置を実現するためのプログラムであって、コンピュータを、
    入力される画像データの一部の画像データを出力する第一の手段、
    入力される画像データの座標を変換した画像データを出力する第二の手段、および
    前記第一の手段と前記第二の手段とで処理された画像データを前記表示手段に表示する動画データとして出力する第三の手段
    として機能させるためのプログラム。
14. 複数の画像を合成して１つの画像を生成する画像処理装置を実現するためのプログラムであって、コンピュータを、
    入力される画像データの一部の画像データを出力する第一の手段、
    入力される画像データの座標を変換した画像データを出力する第二の手段、
    入力される複数の画像の画像データを合成して１つの画像データとして出力する第四の手段、および
    前記第一の手段と前記第二の手段と前記第四の手段とで処理された画像データを出力する第三の手段
    として機能させるためのプログラム。
15. 表示手段に表示する動画データを出力する撮像システムであって、
    複数のレンズ光学系および撮像素子を含み、画像データを撮影するための撮像手段と、
    注目点を変更するためのコントローラ手段と、
    入力される画像データの一部の画像データを出力する第一の手段と、
    入力される画像データの座標を変換した画像データを出力する第二の手段と、
    前記第一の手段と前記第二の手段とで処理された画像データを前記表示手段に表示する動画データとして出力する第三の手段と
    を含む、撮像システム。
16. 複数の画像を合成して１つの画像を生成する撮像システムであって、
    複数のレンズ光学系および撮像素子を含み、画像データを撮影するための撮像手段と、
    注目点を変更するためのコントローラ手段と、
    入力される画像データの一部の画像データを出力する第一の手段と、
    入力される画像データの座標を変換した画像データを出力する第二の手段と、
    入力される複数の画像の画像データを合成して１つの画像データとして出力する第四の手段と、
    前記第一の手段と前記第二の手段と前記第四の手段とで処理された画像データを出力する第三の手段と
    を含む、撮像システム。