JP2020068514A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】撮像時における撮像装置の画角とは異なる視野角をもつ表示面上に画像を表示する場合において、臨場感を高める。【解決手段】撮像画像データを、表示面への表示のための表示画像データに変換する。表示面における撮像画像データの表示倍率を設定する。表示倍率に従って撮像画像データに従う表示を行う際に表示面の鑑賞視点から被写体が表示される表示面上の位置へと向かう第１の方向と、撮像画像データの撮像視点から被写体へと向かう第２の方向と、の関係に基づいて、撮像画像データの撮像視点から前記第２の方向にある被写体の画像が、鑑賞視点から第１の方向にある表示面上の位置に表示されるように、撮像画像データから表示画像データを生成する。【選択図】図２

Description

本発明は画像処理装置、画像処理方法、及びプログラムに関し、特に表示面への表示のための表示画像データを生成する技術に関する。

映像表示システムの一種として、広視野映像表示システムが知られている。このシステムでは、鑑賞者に高い臨場感を与えるために、鑑賞者の視野を覆うようにスクリーン等の表示面が設けられる。このようなシステムの例としては、球面又は円筒面の一部である凹面形状のスクリーン、又は凹面を近似するように組み合わせられた複数の平面スクリーンに、映像を投影する構成が知られている。

このような複雑な表示面を用いるシステムにおいて、鑑賞者が鑑賞する画像の歪みが減るように、画像を補正して表示面へ出力する画像データを生成する技術も知られている。例えば特許文献１には、鑑賞者に凹面を向けて配置された球面状のスクリーンに、平面映像を歪みなく表示するための技術が開示されている。具体的には、特許文献１は、平面映像を球面形状に貼り付けるマッピング処理と、貼り付けられた映像を平面状に投影する処理を行うことで、スクリーン上に表示された時に歪みがなくなるように予め映像を歪ませる方法を開示している。

特開２００７−３１８７５４号公報

特許文献１の方法では、平面映像を球面状のスクリーンに貼り付けたような表示が行えるにすぎず、言い換えれば特許文献１の方法はマニュアル操作で平面映像の球面スクリーンへの投影方法を決めているにすぎない。このような方法は、特定の方法で撮像された映像にしか対応できないという課題を有していた。すなわち、例えば想定とは異なる撮像パラメータに従って撮像装置により撮像された画像を表示する場合を含む様々な状況において、あたかも撮像場所にいるかのような感覚を生む臨場感の高い映像表示を実現することは困難であった。とりわけ、ズーム倍率等の撮像パラメータを変化させながら撮像された映像を表示する場合に、臨場感を維持することは容易ではなかった。

本発明は、撮像時における撮像装置の画角とは異なる視野角をもつ表示面上に画像を表示する場合において、臨場感を高めることを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
撮像画像データを、表示面への表示のための表示画像データに変換する画像処理装置であって、
前記表示面における前記撮像画像データの表示倍率を設定する設定手段と、
前記表示倍率に従って前記撮像画像データに従う表示を行う際に前記表示面の鑑賞視点から被写体が表示される前記表示面上の位置へと向かう第１の方向と、前記撮像画像データの撮像視点から前記被写体へと向かう第２の方向と、の関係に基づいて、前記撮像画像データの撮像視点から前記第２の方向にある被写体の画像が、前記鑑賞視点から前記第１の方向にある前記表示面上の位置に表示されるように、前記撮像画像データから前記表示画像データを生成する生成手段と、
を備えることを特徴とする。

撮像時における撮像装置の画角とは異なる視野角をもつ表示面上に画像を表示する場合において、臨場感を高めることができる。

一実施形態に係る画像処理装置のシステム構成例を示す図。 一実施形態に係る画像処理装置の機能構成例を示すブロック図。 一実施形態に係る画像処理方法の流れを示すフローチャート。 表示装置の構成例を示す図。 一実施形態に係る表示画像データ生成処理の流れを示すフローチャート。 仰俯角と方位角の関係を説明する図。 入射角と偏角の関係を説明する図。 一実施形態に係る変換テーブル取得処理の流れを示すフローチャート。 変換テーブルの例を示す図。 一実施形態に係る画像処理方法の流れを示すフローチャート。 所定の画像サイズに補正した表示画像データの例を示す図。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明に必須とは限らない。なお、同一の構成については、同じ符号を付して説明する。

［実施形態１］
図４（Ａ）は、本実施形態で用いられる表示システムの一例を示す。表示装置４００は、センタースクリーン４０１、左サイドスクリーン４０２、右サイドスクリーン４０３の３つの平面スクリーン（表示面）で構成されている。これらのスクリーンは、鑑賞者の視野を覆うように配置されている。３つのスクリーンの大きさは共通であり、各スクリーンは幅Ｗ_ｓｃ及び高さＨ_ｓｃを有している。また、センタースクリーン４０１と、サイドスクリーン４０２，４０３とがなす開き角をθ_ｓｃとする。鑑賞者は、センタースクリーンの中心から、法線方向に沿って距離Ｄ_ｖｉｅｗ離れた鑑賞位置からこれらのスクリーンを鑑賞する。図４（Ａ）に示すように、鑑賞位置でのスクリーン全体の見込み角（視野角又は表示角と呼ぶことができる）をＦｏｖ_ｄＨとする。以下では、図４（Ａ）に示される、鑑賞者の視点位置を原点としたＸＹＺ３次元座標を用いて説明する。ここで、センタースクリーンの中心座標は（０，０，Ｄ_ｖｉｅｗ）と表すことができる。

本実施形態においては、各スクリーンに対応する、映像を表示するためのプロジェクタ（不図示）が設置されており、このプロジェクタを通して表示画像が投影される。もっとも、表示装置の構成は、プロジェクタとスクリーンの組み合わせに限られない。例えば、表示装置として、液晶ディスプレイなどの自発光デバイスを用いることも可能である。また、各表示面の構成及び配置方法も、図４（Ａ）に示すものには限られない。様々な大きさ及び形状を有する表示面を採用することができる。例えば、曲面又は球面を有するスクリーンを用いてもよい。曲面を有するスクリーンを用いた場合の一例を図４（Ｂ）に示す。半径Ｒ_ｓｃの曲面スクリーン４０４は幅Ｗ_ｓｃ及び高さＨ_ｓｃを有している。鑑賞者は、曲面スクリーンから法線方向に沿って距離Ｄ_ｖｉｅｗ離れた鑑賞位置からこれらのスクリーンを鑑賞する。いずれの場合であっても、後述する表示面の配置情報を参照することにより、表示画像データの各画素が表示される表示面上の各位置は、３次元座標を用いて、又は後述する仰俯角θ_ｄ及び方位角φ_ｄを用いて、表すことができる。

本実施形態に係る画像処理装置のハードウェア構成例について、図１を参照して説明する。本実施形態に係る画像処理装置としては、図１に示すようなコンピュータを用いることができる。例えばＣＰＵのようなプロセッサ１０１は、メモリ１０２をワークメモリとして用いながらプログラムを実行し、システムバス１００を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。プロセッサ１０１は、メモリ１０３又は記憶媒体１０５などからプログラムをメモリ１０２に読み出すことができる。

メモリ１０２はＲＡＭのような書き換え可能メモリである。また、メモリ１０３はＲＯＭのようなリードオンリーメモリである。記憶媒体Ｉ／Ｆ１０４は、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスであり、ＨＤＤ又は光ディスクドライブなどの二次記憶装置である記憶媒体１０５が接続される。プロセッサ１０１は、記憶媒体Ｉ／Ｆ１０４を介して、記憶媒体１０５からのデータ読み出し、及び記憶媒体１０５へのデータ書き込みが可能である。さらにプロセッサ１０１は、記憶媒体１０５に格納されたデータをメモリ１０２に展開し、及びメモリ１０２に展開されたデータを記憶媒体１０５に保存することができる。そしてプロセッサ１０１は、メモリ１０２に展開されたデータをプログラムとして実行することができる。

入力Ｉ／Ｆ１０６は、キーボード、マウス、又はカメラなどの入力デバイス１０７を接続するためのインタフェイスであり、例えばＵＳＢ又はＩＥＥＥ１３９４等のシリアルバスインタフェイスであってもよい。プロセッサ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことができる。出力Ｉ／Ｆ１０８は、液晶ディスプレイ又はプロジェクタなどの出力デバイス１０９を接続するためのインタフェイスであり、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスであってもよい。プロセッサ１０１は、出力Ｉ／Ｆ１０８を介して出力デバイス１０９に表示データを送り、表示を行わせることができる。

次に、本実施形態に係る画像処理装置の機能構成を示すブロック図である図２を参照して、本実施形態に係る画像処理装置の機能について説明する。これらの機能は、上述のようにプロセッサ１０１がプログラムを実行することにより実現できる。一方、プロセッサ１０１が全ての機能を実現する必要はない。例えば画像処理装置は、１以上の機能を実現する専用の処理回路を備えていてもよい。

本実施形態に係る画像処理装置は、撮像装置によって撮像された撮像画像を表示面に表示するために、撮像画像データを表示面への表示のための表示画像データに変換する。ここで、本実施形態に係る画像処理装置は、表示面の鑑賞視点から表示位置へと向かう方向と、撮像画像の撮像視点から被写体へと向かう方向と、に基づいて、表示画像データを生成する。このように、表示面の鑑賞視点から表示位置へと向かう方向と、撮像画像の撮像視点から被写体へと向かう方向と、が対応するように表示を行うことにより、まるでその場にいるような感覚を生む臨場感の高い映像表示を実現することができる。このために、一実施形態においては、撮像装置から見た空間を再現できるように、撮像時の撮像装置の画角やレンズ情報などの撮像パラメータに基づいて表示画像データが生成される。

一方で、撮像装置の画角と、表示面の視野角と、が常に一致するとは限らない。例えば、撮像装置が使用するレンズの種類又は焦点距離によっては、鑑賞者が表示スクリーンを見込む視野角よりも撮像画角が小さくなる可能性がある。この場合に、鑑賞視点から表示位置へと向かう方向と、撮像視点から被写体へと向かう方向と、が一致するように表示を行うと、表示スクリーンの周辺には映像が表示されない領域が発生してしまう。また、ズーム倍率等の撮像パラメータを変化させながら撮像された映像を表示する場合には、映像の途中で表示スクリーンの周辺に映像が表示されない時間が生じる可能性がある。ここで、鑑賞者の視野を映像で覆って臨場感を高めるために表示画像を拡大すると、表示された映像に不自然な歪みが発生し、鑑賞者に違和感を与える可能性がある。

本実施形態においては、表示画像を拡大又は縮小する際に、表示面の鑑賞視点から被写体が表示される表示面上の位置へと向かう第１の方向と、撮像画像データの撮像視点から被写体へと向かう第２の方向とを考慮する。例えば、表示面の鑑賞視点から表示位置へと向かう方向と、撮像画像の撮像視点から被写体へと向かう方向と、が対応するように拡大又は縮小を行うことにより、拡大又は縮小に起因する鑑賞者に見える画像の歪みを抑制することができる。本実施形態においては、一例として、撮像環境と表示環境との間で、仰俯角と方位角の比が一定になるように、撮像画像から表示画像が生成される。このような画像処理を行うために、一実施形態においては、表示面の鑑賞視点から表示面上の各位置への方向を特定する表示環境情報と、撮像装置の撮像視点から撮像画像データの画素に写る被写体へと向かう方向を特定する撮像環境情報と、が用いられる。

表示情報取得部２０１は、表示面の配置情報を取得する。この配置情報とは、表示面の各画素の空間配置を示す情報であってもよい。表示面に画像を投影する構成においては、表示面の画素とは、投影画像中の１画素が投影される表示面上の部分のことを指す。例えば、配置情報は、表示面の形状、大きさ、数、物理配置、及び表示される画像の画素数を示す情報を含むことができる。表示情報取得部２０１は、ユーザが入力したこれらの情報を入力デバイス１０７から取得することができる。また、表示面ごとのこれらの情報のパッケージが記憶媒体１０５に記憶されていてもよく、表示情報取得部２０１はこれらの情報を記憶媒体１０５から取得してもよい。

視点位置取得部２０２は、鑑賞視点の位置情報を取得する。鑑賞視点の位置情報とは、表示面を見る鑑賞者の視点の３次元位置を示す情報である。視点位置取得部２０２は、ユーザが入力したこれらの情報を入力デバイス１０７から取得してもよいし、視点位置を自動的に測定する追跡装置（不図示）から取得してもよい。また、視点位置は、表示面に対応付けられた理想的な視点位置として、予め定められていてもよい。この場合、視点位置取得部２０２は、上述したように記憶媒体１０５に格納された表示面ごとの情報のパッケージから、鑑賞視点の位置情報を取得してもよい。このように、鑑賞者の視点位置は鑑賞時に入力され又は追跡されてもよいが、一方で視点位置として固定された既定値が用いられてもよい。以下では、図４に示すようにＸＹＺ直交座標の原点に視点位置がある場合について説明する。

これらの鑑賞視点の位置情報及び表示面の配置情報を用いることにより、表示面へと出力される表示画像の各画素について、鑑賞視点から表示面上の画素の表示位置へと向かう鑑賞方向を得ることができる。このように、一実施形態においては、表示面の鑑賞視点から表示面上の各位置への方向を特定する表示環境情報として、鑑賞視点の位置情報及び表示面の配置情報が取得されるが、他の情報が表示環境情報として用いられてもよい。

撮像情報取得部２０３は、撮像装置の撮像時設定情報を取得する。例えば、撮像情報取得部２０３は、撮像画像データを取得した撮像装置の撮像範囲情報を取得することができる。この撮像範囲情報は、撮像装置の撮像画角、焦点距離、及び撮像に用いたレンズの射影方法を含んでいてもよい。このような撮像範囲情報を用いることにより、撮像画像の各画素について、撮像視点から画素に対応する被写体へと向かう撮像方向を得ることができる。撮像時設定情報はさらに、撮像に用いたレンズの収差を示す収差情報を含んでいてもよい。撮像情報取得部２０３は、これらの情報を、後述する画像取得部２０５が取得した撮像画像データに付加されている、撮像時の情報を示すメタデータから取得することができる。また、撮像情報取得部２０３は、ユーザが入力したこれらの情報を入力デバイス１０７から取得してもよい。

このような撮像時設定情報を用いることにより、撮像画像データを取得した撮像装置の撮像視点から、撮像画像データの画素に写る被写体へと向かう方向を特定することができる。このように、一実施形態においては、撮像画像データを取得した撮像装置の撮像視点から、撮像画像データの画素に写る被写体へと向かう方向を特定する撮像環境情報として、撮像装置の撮像画角情報が取得される。また、撮像環境情報として、撮像装置の焦点距離、及び撮像に用いたレンズの射影方法などが取得されてもよい。一方で、他の情報が撮像環境情報として用いられてもよい。

倍率設定部２０４は、表示面における撮像画像データの表示倍率を設定する。この表示倍率は、画像生成部２０６が表示画像を生成する際に使用される。本実施形態においては、ユーザが表示倍率αを設定する。すなわち、倍率設定部２０４は、ユーザが入力した表示倍率αを入力デバイス１０７から取得することができる。

ここで、表示倍率αは、撮像環境における仰俯角及び方位角に対する、表示環境における仰俯角及び方位角の比を表す。例えば、撮像倍率αが１である場合、撮像環境における仰俯角及び方位角と、表示環境における仰俯角及び方位角は等しくなる。この場合、鑑賞視点から見た場合に撮像環境の仰俯角及び方位角が再現されるように、画像が表示面に表示される。一方、αが１より大きい場合、撮像環境よりも拡大された被写体が見えるように表示が行われる。また、αが１より小さい場合、撮像環境よりも縮小された被写体が見えるように表示が行われる。この場合、表示環境における仰俯角及び方位角は、それぞれ同じ倍率αだけ撮像環境の仰俯角及び方位角よりも大きく又は小さくなるため、撮像環境と表示環境との間で、仰俯角と方位角の比が一定になる。この結果として、鑑賞視点から見た場合における画像の歪みが抑制される。

画像取得部２０５は、撮像画像データを取得する。撮像装置による撮像画像データが記憶媒体１０５に格納されている場合、画像取得部２０５は記憶媒体１０５に記憶された撮像画像データを取得することができる。一方で画像取得部２０５は、入力デバイス１０７に含まれる撮像装置から、入力Ｉ／Ｆ１０６を介して撮像画像データを取得してもよい。

画像生成部２０６は、撮像画像データから表示画像データを生成する。本実施形態において画像生成部２０６は、撮像画像データの撮像視点から第２の方向にある被写体の画像が、鑑賞視点から第１の方向にある表示面上の位置に表示されるように、撮像画像データから表示画像データを生成する。ここで、第１の方向とは、表示倍率に従って撮像画像データに従う表示を行う際に表示面の鑑賞視点から被写体が表示される表示面上の位置へと向かう方向である。また、第２の方向とは、撮像画像データの撮像視点から被写体へと向かう方向である。画像生成部２０６は、第１の方向と第２の方向との関係に基づいて、表示画像データを生成することができる。具体的な画像生成部２０６の処理については後述する。

画像出力部２０７は、画像生成部２０６により生成された表示画像データを、出力Ｉ／Ｆ１０８を介して出力デバイス１０９に含まれるプロジェクタに出力する。こうして、プロジェクタの働きにより、表示面の各スクリーンに、表示画像データに従う表示画像が表示される。画像出力部２０７は、生成された表示画像データを、後に表示面に出力するために、記憶媒体１０５に記憶してもよい。

画像生成部２０６の機能により、撮像画像データの撮像視点から第２の方向にある被写体の画像は、表示面の鑑賞視点から第１の方向にある表示面上の位置に表示される。一実施形態において、第１の方向は前記第２の方向とは異なり、第１の方向と第２の方向との間で仰俯角と方位角との比は等しい。また、一実施形態において、第２の方向の仰俯角は第１の方向の仰俯角に表示倍率を乗じたものであり、第２の方向の方位角は第１の方向の方位角に表示倍率を乗じたものである。

次に、本実施形態に係る処理について、図３のフローチャートを参照して説明する。ステップＳ３０１において表示情報取得部２０１は、上述のように表示面の配置情報を取得する。ステップＳ３０２において視点位置取得部２０２は、上述のように鑑賞視点の位置情報を取得する。

ステップＳ３０３において撮像情報取得部２０３は、上述のように撮像装置の撮像時設定情報を取得する。ステップＳ３０４において倍率設定部２０４は、上述のように表示面における撮像画像データの表示倍率を設定する。

ステップＳ３０５において画像取得部２０５は、上述のように撮像画像データを取得する。撮像装置が複数のフレーム画像で構成される撮像映像データを取得した場合、画像取得部２０５は、撮像映像データを構成する１つのフレーム画像を撮像画像データとして取得することができる。ステップＳ３０６において画像生成部２０６は、これまでのステップで取得及び設定された情報に基づいて、後に詳述するように表示画像データを生成する。ステップＳ３０７において画像出力部２０７は、画像生成部２０６により生成された表示画像データを出力する。

ステップＳ３０８において画像取得部２０５は、処理の終了判定を行う。例えば、終了命令を示すユーザ指示を入力デバイス１０７から取得した場合、画像取得部２０５は処理を終了すると判断することができる。別の例として、画像取得部２０５は、ステップＳ３０５において撮像映像データを構成する最後のフレーム画像を取得した場合に、処理を終了すると判断してもよい。処理を終了しない場合、処理はステップＳ３０９に進む。処理を終了する場合、図３の処理は終了する。

ステップＳ３０９において画像取得部２０５は、設定が変更されたか否かを判定する。本実施形態において画像取得部２０５は、撮像時設定情報又は表示倍率が変更されたか否かを判定する。撮像時設定情報及び表示倍率は、ユーザ指示に基づき変更されてもよいし、撮像画像データ又は撮像映像データのフレーム画像に付されたメタデータに基づき変更されてもよい。設定が変更された場合、処理はステップＳ３０３へ戻り、ステップＳ３０３，３０４で変更後の設定が取得され、新しい設定に基づいて表示画像データの生成が行われる。設定が変更されていない場合、処理はＳ３０５へ戻り、同様の設定に基づいて表示画像データの生成が続けられる。

＜表示画像データ生成処理＞
以下では、ステップＳ３０６で画像生成部２０６が行う表示画像データ生成処理の詳細を、図５のフローチャートを参照して説明する。以下の説明においては、表示面に含まれるスクリーン４０１〜４０３のそれぞれについて、投影のために用いられる表示画像データが順に生成される。以下では、表示画像データが生成されているスクリーンのことを処理対象スクリーンと呼ぶ。

図６（Ａ）は表示環境の例を、図６（Ｂ）は撮像環境の例を示す。本実施形態においては、撮像画像データの撮像視点から第２の方向にある被写体の画像が、表示面の鑑賞視点から第１の方向にある表示面上の位置に表示されるように、表示画像データが生成される。ここで、表示環境の正面方向に対する第１の方向の仰俯角θ_ｄと方位角φ_ｄとの比（φ_ｄ／θ_ｄ）と、撮像環境の光軸方向に対する第２の方向の仰俯角θ_ｃと方位角φ_ｃとの比（φ_ｃ／θ_ｃ）が一定になるように、表示画像データは生成される。既に説明したように表示環境の水平視野角（正面方向から左右端までの角度）はＦｏｖ_ｄＨであり、また撮像画像の水平画角（光軸方向から左右端までの角度）をＦｏｖ_ｃＨとする。

ステップＳ５０１において画像生成部２０６は、表示面の鑑賞視点から被写体が表示される表示面上の着目位置へと向かう第１の方向を特定する。この処理は、表示面の鑑賞視点から表示面上の各位置への方向を特定する表示環境情報に基づいて行うことができる。本実施形態において画像生成部２０６は、鑑賞視点の位置情報及び表示面の配置情報に基づいて、処理対象スクリーンの処理対象画素に対応する、表示環境における仰俯角θ_ｄ及び方位角φ_ｄを算出することができる。上記の第１の方向は、これらの仰俯角θ_ｄ及び方位角φ_ｄを用いて表すことができる。具体的な処理例として、画像生成部２０６は、視点位置から、処理対象画素が表示されるスクリーン上の３次元座標へと向かうベクトル（ｘ，ｙ，ｚ）を算出することができる。このベクトル（ｘ，ｙ，ｚ）は、鑑賞視点の位置、表示面の配置（例えば位置及び大きさＷ_ｓｃ，Ｈ_ｓｃ）、及び表示画像データの画素数等に従って算出できる。そして画像生成部２０６は、式（１）に従い、ベクトル（ｘ，ｙ，ｚ）から仰俯角θ_ｄ及び方位角φ_ｄを算出することができる。

ステップＳ５０２において画像生成部２０６は、表示倍率α及び表示面の鑑賞視点から被写体が表示される表示面上の位置へと向かう第１の方向に基づいて、撮像画像データの撮像視点から被写体へと向かう第２の方向を特定する。本実施形態において画像生成部２０６は、表示倍率α、表示面の仰俯角θ_ｄ、及び方位角φ_ｄに基いて、撮像環境における仰俯角θ_ｃ及び方位角φ_ｃを算出する。上記の第２の方向は、これらの仰俯角θ_ｃ及び方位角φ_ｃを用いて表すことができる。具体的な処理例として画像生成部２０６は、式（２）に従って仰俯角θ_ｃ及び方位角φ_ｃを算出することができる。
θ_ｃ＝（１／α）θ_ｄ
φ_ｃ＝（１／α）φ_ｄ …（２）

式（２）に従うと、撮像環境において仰俯角θ_ｃ及び方位角φ_ｃの方向に存在した被写体は、表示環境においては仰俯角α×θ_ｃ及び方位角α×φ_ｃの位置に表示される。このように、第１の方向の仰俯角θ_ｄを、第２の方向の仰俯角θ_ｃに表示倍率αを乗じたものとし、第１の方向の方位角φ_ｄを、第２の方向の方位角φ_ｃに表示倍率αを乗じたものとすることができる。このような構成によれば、第１の方向の仰俯角θ_ｄと方位角φ_ｄとの比（φ_ｄ／θ_ｄ）と、第２の方向の仰俯角θ_ｃと方位角φ_ｃとの比（φ_ｃ／θ_ｃ）が等しくなる。このように、仰俯角と方位角の比が保たれるように撮像環境の仰俯角及び方位角を算出することにより、表示画像が特定の方向に歪むのを抑えながら画像を拡大することができる。

ステップＳ５０３において画像生成部２０６は、撮像画像データの撮像視点から被写体へと向かう第２の方向に対応する、撮像画像データにおける画素位置を特定する。本実施形態において画像生成部２０６は、撮像装置の撮像時設定情報に基づいて、仰俯角θ_ｃ及び方位角φ_ｃに対応する撮像画像データにおける画素位置である、画素の二次元座標（ｉｃ，ｊｃ）を算出する。本実施形態において、撮像時設定情報には、レンズの射影方式、焦点距離ｆ、並びに撮像画像データの水平画像サイズＷ及び垂直画像サイズＨが含まれている。撮像装置が等立体角射影方式の魚眼レンズで撮像を行った場合には、式（３）〜（５）に従って二次元座標（ｉｃ，ｊｃ）を算出することができる。

等立体角射影における像高ｒと入射角θおよび焦点距離ｆの関係を式（３）に示す。
ｒ＝２ｆ・ｓｉｎ（θ／２） …（３）

入射角θ及び偏角φは、式（４）に従って撮像環境における仰俯角θ_ｃ及び方位角φ_ｃから算出できる。図７に入射角θと偏角φを示す。入射角θとは、仰俯角θ_ｃ及び方位角φ_ｃに対応する単位ベクトルと撮像時の光軸（本実施形態ではｚ軸）とのなす角度である。また、偏角φとは、仰俯角θ_ｃ及び方位角φ_ｃに対応する単位ベクトルをｘｙ平面に射影して得られたベクトルとｘ軸とのなす角度である。

また、入射角θ及び偏角φに対応する撮像画像データ上の二次元座標（ｉｃ，ｊｃ）は、撮像画像データの水平画像サイズＷ及び垂直画像サイズＨを用いて、式（５）により表すことができる。

ステップＳ５０４において画像生成部２０６は、ステップＳ５０３で特定された画素位置についての撮像画像データの画像情報に基づいて、表示面の着目位置における表示画像データの画像情報を決定する。本実施形態において画像生成部２０６は、撮像画像データの画素の二次元座標（ｉｃ，ｊｃ）に対応する撮像画像データの画素値を、画像情報として取得する。座標値が整数値ではない場合、最近傍補間、バイリニア補間、又はバイキュービック補間等の補間処理を行うことにより、画像生成部２０６は画素値を算出することができる。こうして取得された画素情報が、表示面の着目位置における表示画像データの画像情報として用いられる。本実施形態において画像生成部２０６は、こうして得られた画素値を、処理対象スクリーンに表示される表示画像データの、処理対象画素の画素値としてセットする。

ステップＳ５０５において画像生成部２０６は、処理対象スクリーンに対する表示画像データの全画素についての処理が終了したか否かを判定する。未処理の画素が存在する場合、処理はステップＳ５０６へ進み、全画素についての処理が終了した場合、処理はステップＳ５０７へ進む。ステップＳ５０６において画像生成部２０６は、未処理の画素を処理対象画素として選択し、その後処理はステップＳ５０１に戻る。

ステップＳ５０７において画像生成部２０６は、全てのスクリーンに対して処理が終了したか否かを判定する。未処理のスクリーンが存在する場合、処理はステップＳ５０８へ進み、全スクリーンに対して処理が終了した場合は、図５の処理は終了する。ステップＳ５０８において画像生成部２０６は、未処理のスクリーンを処理対象スクリーンとして選択し、処理対象スクリーンに対応する表示画像データから１つの画素を処理対象画素として選択する。その後、処理はステップＳ５０１に戻る。

以上の処理により、全てのスクリーンに対応する表示画像データを生成することができる。本実施形態では、表示面の視野角に合わせて画像を拡大又は縮小しながら、撮像環境の仰俯角と方位角の比と表示環境の仰俯角と方位角の比が一定になるように、撮像画像の変換が行われる。このため、表示面の視野角が撮像画角とは異なる場合であっても、違和感が少なく臨場感の高い画像表示を行うことができる。特に、画角等の撮像パラメータを変化させながら撮像された映像を表示する場合であっても、違和感を抑えながら臨場感を保つことができる。

ここでは、等立体角射影方式の魚眼レンズを用いて得られた撮像画像データを処理する場合について説明したが、中心射影又は等距離射影のような他の射影方式で得られた撮像画像データを用いることもできる。すなわち、射影方式に合わせて、入射角θ、偏角φ、及び撮像画像データの画像サイズから、撮像画像データ上の二次元座標（ｉｃ，ｊｃ）を算出することができる。例えば中心射影の場合、像高ｒ、入射角θ、及び焦点距離ｆの関係は式（６）により表すことができるから、撮像画像データ上の二次元座標（ｉｃ，ｊｃ）は式（７）に従って算出することができる。
ｒ＝ｆ・ｔａｎθ …（６）

また、ユーザ指示に基づいて表示倍率αを設定する代わりに、情報処理装置が自動的に表示倍率αを設定することもできる。例えば、倍率設定部２０４は、表示面の配置情報や、撮像装置の撮像時設定情報等に基づいて、表示倍率αを設定することができる。一例として、倍率設定部２０４は、表示面に表示する撮像画像データの少なくとも一部の領域に対応する撮像視点からの画角と、鑑賞視点からの表示面の視野角とに基づいて、表示倍率を設定することができる。

例えば倍率設定部２０４は、撮像画像データの全体の撮像視点からの画角と、鑑賞視点からの表示面の視野角とに基づいて、表示倍率αを設定することができる。ここで、画角及び視野角は、垂直方向の画角及び視野角であってもよいし、水平方向の画角及び視野角であってもよい。具体例として倍率設定部２０４は、表示面に表示される表示画像データに対する鑑賞視点からの視野角が表示面の視野角と一致するように、表示倍率αを設定することができる。すなわち、倍率設定部２０４は撮像画像データの水平画角を表示環境の水平視野角に合わせて表示するように表示倍率αを設定することができ、言い換えれば、表示環境の水平視野角にあわせて撮像画像を拡大することができる。

この場合、倍率設定部２０４は、撮像画像の水平画角Ｆｏｖ_ｃＨと表示環境の水平視野角Ｆｏｖ_ｄＨに基づいて、式（８）に従って表示倍率αを設定することができる。このような表示倍率αを設定することにより、撮像画像の水平画角が表示環境の水平視野角に対応付けられるように、表示画像データを生成することができる。
α＝Ｆｏｖ_ｄＨ／Ｆｏｖ_ｃＨ …（８）

倍率設定部２０４は、撮像画像データに対応する撮像視点からの画角が鑑賞視点からの表示面の視野角よりも小さい場合に、上記のように表示倍率αを設定してもよい。すなわち、撮像視点からの画角に合わせて表示を行うと表示面に余白が生じる場合に、倍率設定部２０４は表示倍率αを設定することにより、撮像画像を拡大して表示してもよい。一方で、撮像画像データに対応する撮像視点からの画角が鑑賞視点からの表示面の視野角以上である場合、倍率設定部２０４は表示倍率αを１に設定することにより、撮像画像を拡大せずに表示してもよい。

別の例として、倍率設定部２０４は、表示面に表示する撮像画像データのうち一部の領域に対応する撮像視点からの画角と、鑑賞視点からの表示面の視野角とに基づいて、表示倍率を設定してもよい。一例として、画像処理により撮像画像データに対するズーム処理を行うことで、撮像画像データのうち一部の領域を拡大して表示することができる。この際に倍率設定部２０４は、ズーム処理を行った後の水平視野角を表示環境の水平視野角に合わせるように、表示倍率αを設定することができる。例えば、等立体角射影方式の場合、β倍のズームを行った後の水平視野角Ｆｏｖ’_ｃＨは式（９）に従って算出することができる。式（９）において、ｓｅｎｓｏｒＨは撮像装置のセンサの水平サイズであり、βはズーム倍率である。

また、中心射影方式の場合、β倍のズームを行った後の水平視野角Ｆｏｖ’_ｃＨは式（１０）に従って算出することができる。

これらの場合、倍率設定部２０４は、ズーム後の水平画角Ｆｏｖ’_ｃＨ及び表示環境の水平視野角Ｆｏｖ_ｄＨに基づいて、式（１１）に従って表示倍率αを設定することができる。このように表示倍率αを設定することにより、β倍のズームを行った場合の水平視野角が表示環境の水平視野角に対応付けられるように、表示画像データを生成することができる。
α＝Ｆｏｖ_ｄＨ／Ｆｏｖ’_ｃＨ …（１１）

［実施形態２］
実施形態２では、画像生成部２０６は撮像画像データを取得した撮像装置に起因する収差を補償するように表示画像データを生成する。例えば画像生成部２０６は、ステップＳ３０６において、レンズの収差情報に基づき収差補正処理を行いながら、表示画像データを生成することができる。本実施形態は実施形態１と類似しており、以下では実施形態１とは異なる構成及び処理について説明する。

本実施形態においては、ステップＳ５０３において画像生成部２０６は、撮像時設定情報に含まれる撮像に用いたレンズの収差情報に基づいて、収差を補正するように、撮像画像データ上の画素位置を算出する。例えば、画像生成部２０６は、撮像画像データにおける画素の二次元座標（ｉｃ，ｊｃ）を実施形態１と同様に算出した後で、この二次元座標を補正することができる。以下では、レンズによって生じた歪曲収差を補正する場合について説明する。

収差情報としては、例えばレンズの歪曲収差を示す多項式係数を用いることができる。この場合、画像生成部２０６は、式（１２）に従って撮像画像データにおける画素の二次元次元座標（ｉｃ，ｊｃ）を補正することができる。式（１２）において、二次元座標（ｉ’ｃ，ｊ’ｃ）は補正後の画素位置であり、ａ_０〜ａ_ｎは歪曲収差を示す係数であり、Ｒは画素位置（ｉｃ，ｊｃ）における像高比である。像高比とは、特定の像高（例えば撮像画像データの最大像高）に対する、画素位置の像高の割合である。

このようにして、歪曲がない場合の画素位置（ｉｃ，ｊｃ）に対応する、歪曲を含む撮像画像データ上の画素位置（ｉ’ｃ，ｊ’ｃ）を算出することができる。続くステップＳ５０４において画像生成部２０６は、補正後の二次元座標（ｉ’ｃ，ｊ’ｃ）に対応する撮像画像データの画素値を取得することができる。

補正することができる収差は歪曲収差には限られず、その他のレンズの収差を補正することもできる。例えば、以下のようにレンズの倍率色収差を補正することもできる。以下では、撮像画像データがＲＧＢカラー画像データであり、収差情報としてレンズの倍率色収差を示す多項式係数を用いる場合について説明する。

この場合、Ｇプレーンに合わせてＲプレーンとＢプレーンに対応する画素位置を補正するように、画像生成部２０６は、収差情報を用いて、式（１３）及び式（１４）に従って撮像画像データ上の二次元座標（ｉｃ，ｊｃ）を補正することができる。式（１３）において、二次元座標（ｉ’ｃＲ，ｊ’ｃＲ）は補正後のＲプレーンの画素位置であり、ａＲ_０〜ａＲ_ｎはＧプレーンに対するＲプレーンの倍率色収差を示す係数である。また、式（１４）において、二次元座標（ｉ’ｃＢ，ｊ’ｃＢ）は補正後のＢプレーンの画素位置であり、ａＢ_０〜ａＢ_ｎはＧプレーンに対するＢプレーンの倍率色収差を示す係数である。

このようにして、色収差がない場合の画素位置（ｉｃ，ｊｃ）に対応する、色収差を含む撮像画像データ上の、Ｒ及びＢプレーンについての画素位置（ｉ’ｃＲ，ｊ’ｃＲ）及び（ｉ’ｃＢ，ｊ’ｃＢ）を算出することができる。続くステップＳ５０４において画像生成部２０６は、補正後の各プレーンの二次元座標（ｉｃ，ｊｃ）、（ｉ’ｃＲ，ｊ’ｃＲ）及び（ｉ’ｃＢ，ｊ’ｃＢ）に対応する撮像画像データの画素値を取得することができる。

以上の処理により、表示画像データを作成する際に、撮像時に用いたレンズ収差（例えば歪曲収差又は倍率色収差）の影響を抑えることができる。本実施形態では、レンズの収差を示す多項式係数が収差情報として用いられたが、収差情報の種類はこれに限定されない。例えば、歪曲収差を示す収差情報として、収差がない場合の像高と、収差の影響を受けた場合の像高とを対応付けたテーブルを、収差情報として用いることができる。この場合、画像生成部２０６は、画素の二次元位置の像高と、テーブルとに基づいて、補正後の二次元位置を算出することができる。

［実施形態３］
実施形態１，２のステップＳ５０１〜Ｓ５０３で画像生成部２０６は、撮像時設定情報及び表示倍率に基づいて、表示画像データの処理対象画素に対応する撮像画像データの画素位置を算出した。本実施形態において画像生成部２０６は、画素位置の対応を示すテーブルを取得する。このテーブルは、表示面の鑑賞視点から被写体が表示される表示面上の位置へと向かう第１の方向に対応する表示画像データの画素位置と、撮像画像データの撮像視点から被写体へと向かう第２の方向に対応する撮像画像データの画素位置と、の対応を示す。そして、画像生成部２０６は、このテーブルを用いて、表示画像データの画素位置に対応する撮像画像データの画素位置を特定する。

本実施形態において画像生成部２０６は、撮像時設定情報及び表示倍率に基づいて、表示画像データの処理対象画素に対応する撮像画像データの画素位置を与える変換テーブルを取得する。この処理は、ステップＳ３０３〜Ｓ３０４で撮像時設定情報及び表示倍率を取得した後、ステップＳ３０５で撮像画像データを取得する前に行うことができる。そして、ステップＳ５０１〜Ｓ５０３の代わりに、画像生成部２０６は、表示画像データの処理対象画素に対応する撮像画像データの画素位置を、変換テーブルを参照して特定する。本実施形態は実施形態２と類似しており、以下では実施形態２とは異なる構成及び処理について説明する。もっとも、実施形態１と同様に、収差情報を用いずに処理を行ってもよい。

まず、画像生成部２０６が変換テーブルを取得する処理について、図８のフローチャートを参照して説明する。ステップＳ１００１〜Ｓ１００３，Ｓ１００５〜Ｓ１００８は、図５のステップＳ５０１〜Ｓ５０３，Ｓ５０５〜Ｓ５０８と同様であり、説明を省略する。

ステップＳ１００４において画像生成部２０６は、処理対象画素の画素位置（ｉｄ，ｊｄ）と、ステップＳ１００３で算出された撮像画像データ上の画素位置（ｉ’ｃ，ｊ’ｃ）と、の組み合わせを、メモリ１０２に記録する。この処理を、各スクリーンに対応する表示画像データの全画素について行うことにより、画像生成部２０６は、表示画像データの画素と撮像画像データの画素を対応付けた変換テーブルを取得することができる。得られた変換テーブルの例を図９に示す。図９には、それぞれのスクリーン（中央、左、右）についての表示画像データ上の画素位置（ｉｄ，ｊｄ）に対応する、撮像画像データ上の画素位置（ｉ’ｃ，ｊ’ｃ）が、（ｉｃ，ｊｃ）として示されている。

図５に従う処理を行う際に、画像生成部２０６は、ステップＳ５０１〜Ｓ５０３の処理を行う代わりに、表示画像データの処理対象画素に対応する撮像画像データの画素位置を、このように得られた変換テーブルを参照することにより特定することができる。そして、画像生成部２０６は、表示画像データの処理対象画素に対応する画素値を撮像画像データから算出することにより、表示画像データを生成することができる。

本実施形態によれば、ステップＳ３０６における表示画像データ生成処理の処理負荷を低減することができる。変換テーブルの取得は、ステップＳ３０９において設定が変更されたと判断された時に行うことができる。一方で、ステップＳ３０９において設定が変更されていないと判断された時には、処理はステップＳ３０５に戻るため、変換テーブルの取得処理を省略することができる。別の実施形態においては、表示環境情報と、撮像環境情報と、表示倍率と、の少なくとも１つが変化したことに応じて、画像生成部２０６はテーブルを更新することにより変換テーブルを取得してもよい。このような構成によれば、全体として表示画像データの生成に必要な処理時間を短縮することが可能となる。

画像生成部２０６は、図８の処理に従って変換テーブルを生成する代わりに、予め作成されていた変換テーブルを取得してもよい。この場合、画像生成部２０６は、予め作成されていた複数の変換テーブルのうち、条件に合う変換テーブルを選択してもよい。条件には、例えば、撮像時設定情報及び表示倍率の組み合わせを含むことができる。また、条件が、さらに表示面の配置情報又は鑑賞視点の位置情報を含んでいてもよい。この場合、それぞれの条件に対応する変換テーブルを予め作成することができる。そして、画像生成部２０６は、取得した撮像時設定情報及び表示倍率等の条件と、最も近い条件に対応付けられた変換テーブルを選択することができる。また、所定の判定条件に基づいて、取得した条件に近い条件に対応付けられた変換テーブルがないと判断された場合には、画像生成部２０６は、警告を提示し、又は処理を終了してもよい。

［実施形態４］
実施形態１から３において画像生成部２０６は、表示情報取得部２０１が取得した表示面の配置情報に基づく画像サイズを有する表示画像データを生成した。一方で、図４に示す表示装置においては、表示面の縦横比などの画像サイズが従来方式とは異なっている場合がある。一方、画像データの転送においては、規格化された画像サイズに従って転送を行うことがある。そこで、本実施形態においては画像生成部２０６はさらに、所定の画像サイズに応じた表示画像データを生成する。

本実施形態において画像生成部２０６は、表示画像データを、中央を保ちつつ所定の画像サイズの画像データになるよう補正する。例えば画像生成部２０６は、表示面の配置情報に基づく画像サイズを有する画像の中央位置にある被写体の画像と、所定の画像サイズを有する画像の中央位置にある被写体の画像と、が一致するように表示画像データを生成することができる。所定の画像サイズは、一般的な表示装置に入力可能な画像サイズであってもよく、例えばＦｕｌｌＨＤ（１９２０×１０８０）、ＤＣＩ ４Ｋ（４０９６×２１６０）、４Ｋ ＵＨＤＴＶ（３８４０×２１６０）などの規格で定められたものであってもよい。

本実施形態において表示情報取得部２０１は、ユーザが入力した所定の画像サイズを入力デバイス１０７から取得することができる。あるいは、表示情報取得部２０１は所定の画像サイズを記憶媒体１０５から取得してもよい。本実施形態は実施形態２と類似しており、以下では実施形態２とは異なる構成及び処理について説明する。もっとも、実施形態１と同様に、収差情報を用いずに処理を行ってもよい。

本実施形態においては、ステップＳ３０６で画像生成部２０６が所定の画像サイズに合わせて表示画像データを生成する。この処理について、図１０のフローチャートを参照して説明する。ステップＳ１２０１〜Ｓ１２０８は、図５のステップＳ５０１〜Ｓ５０８と同様であり、説明を省略する。

上述のとおり、ステップＳ１２０１〜Ｓ１２０８の処理により、表示面の配置情報に基づく画像サイズに従って表示画像データが生成される。ステップＳ１２０９において画像生成部２０６は、表示面の配置情報に基づく画像サイズに従って生成した表示画像データを、所定の画像サイズを有する画像データに変換する。本実施形態においては、表示面の配置情報に基づく画像サイズの幅をＷ_０画素、高さをＨ_０画素とし、所定の画像サイズの幅をＷ_１画素、高さをＨ_１画素とする。

本実施形態においては、所定の画像サイズの幅と高さの少なくとも何れか一方が、表示面の配置情報に基づく画像サイズの幅又は高さより大きい場合について説明する。この場合、ステップＳ１２０９で画像生成部２０６は、表示面の配置情報に基づく画像サイズに従って生成された表示画像データに対して、上下左右に余白を加える処理を行うことにより、画像データを所定の画像サイズを有するように補正することができる。このような処理により、中央を保ちつつ、所定の画像サイズの画像データになるように表示画像データを補正することができる。

一実施形態において、画像生成部２０６は、上及び下に加えられる余白の量、又は左及び右に加えられる余白の量を均等にする。例えば、画像生成部２０６は、所定の画像サイズの高さが、表示面の配置情報に基づく画像サイズの高さより大きい場合、画像の上端及び下端に同じライン数の余白を加えることができる。また画像生成部２０６は、所定の画像サイズの幅が、表示面の配置情報に基づく画像サイズの幅より大きい場合、左端及び右端に同じライン数の余白を加えることができる。画像生成部２０６は、例えば、式（１５）に従って左右のそれぞれに加えられる余白の幅ΔＷ、及び上下のそれぞれに加えられる余白の幅ΔＨを算出することができる。
ΔＷ＝（Ｗ_１−Ｗ_０）／２
ΔＨ＝（Ｈ_１−Ｈ_０）／２ …（１５）

図１１（Ａ）に、所定の画像サイズの高さが、表示面の配置情報に基づく画像サイズの高さよりも大きい場合の例を示す。この場合、画像生成部２０６は、上下に幅ΔＨ画素の余白を加えることにより、表示面の配置情報に基づく画像サイズを有するように生成した全スクリーンに対する表示画像データを、所定の画像サイズを有するようにに補正することができる。なお、余白領域の各画素には、黒に対応する画素値などの所定の画素値を設定することができる。

本実施形態によれば、表示画像データの中央位置が維持されるように画像サイズを補正することができる。このため、表示画像データをディスプレイ等で確認する際に、表示画像の中央位置を把握しやすくなる。

なお、本実施形態では３面のスクリーンに画像を表示する場合の例について説明したが、曲面スクリーンに画像を表示する場合にも本実施形態は適用可能である。曲面スクリーンに対応する表示画像データは、曲面スクリーンの幅Ｗ_ｓｃ及び高さＨ_ｓｃに対応する画像サイズを有する。このため、表示画像データの画像サイズは上下方向に比べて左右方向に大きくなることが多い。

以下では、本実施形態においては、表示面の配置情報に基づく画像サイズの幅と高さの少なくとも何れか一方が、規格で定められた画像サイズの幅又は高さより大きい場合について説明する。この場合表示生成部２０６は、表示面の配置情報に基づく画像サイズの表示画像データを、規格で定められた画像サイズの所定数倍のサイズを有するように変換することができる。

図１１（Ｂ）には、曲面スクリーンに対応する画像サイズを有する表示画像データを、所定の画像サイズを有する画像データに変換する場合の例を示す。ここでは、所定の画像サイズの幅が、規格で定められた画像サイズの幅の３倍となるように決定されている。また、所定の画像サイズの幅が、表示面の配置情報に基づく画像サイズの幅よりも大きくなるように決定されている。この場合表示生成部２０６は、左右のそれぞれに幅ΔＷ画素の余白を加えることにより、表示面の配置情報に基づく画像サイズに従って生成した表示画像データを、所定の画像サイズを有する画像データに補正することができる。

なお、実施形態３のように変換テーブルに基づいて表示画像データを作成する場合、変換テーブルを補正することにより表示画像データを所定の画像サイズを有するように補正してもよい。

２０１：表示情報取得部、２０２：視点位置取得部、２０３：撮影情報取得部、２０４：倍率設定部、２０５：画像取得部、２０６：画像生成部、２０７：画像出力部

Claims (18)

1. 撮像画像データを、表示面への表示のための表示画像データに変換する画像処理装置であって、
   前記表示面における前記撮像画像データの表示倍率を設定する設定手段と、
   前記表示倍率に従って前記撮像画像データに従う表示を行う際に前記表示面の鑑賞視点から被写体が表示される前記表示面上の位置へと向かう第１の方向と、前記撮像画像データの撮像視点から前記被写体へと向かう第２の方向と、の関係に基づいて、前記撮像画像データの撮像視点から前記第２の方向にある被写体の画像が、前記鑑賞視点から前記第１の方向にある前記表示面上の位置に表示されるように、前記撮像画像データから前記表示画像データを生成する生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記生成手段は、
   前記表示面の着目位置についての前記第１の方向を特定する手段と、
   前記表示倍率及び前記第１の方向に基づいて、前記第２の方向を特定する手段と、
   前記第２の方向に対応する、前記撮像画像データにおける画素位置を特定する手段と、
   前記特定された画素位置についての前記撮像画像データの画像情報に基づいて、前記表示面の着目位置における前記表示画像データの画像情報を決定する手段と、
   を備えることを特徴とする、請求項１に記載の画像処理装置。
3. 前記第１の方向の仰俯角は、前記第２の方向の仰俯角に前記表示倍率を乗じたものであり、前記第１の方向の方位角は、前記第２の方向の方位角に前記表示倍率を乗じたものであることを特徴とする、請求項１又は２に記載の画像処理装置。
4. 前記第１の方向と前記第２の方向との間で仰俯角と方位角との比が等しいことを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
5. 撮像画像データを、表示面への表示のための表示画像データに変換する画像処理装置であって、
   前記表示面における前記撮像画像データの表示倍率を設定する設定手段と、
   前記表示面の鑑賞視点から第１の方向にある前記表示面上の位置に、前記撮像画像データの撮像視点から第２の方向にある被写体の画像が表示され、前記第１の方向の仰俯角が前記第２の方向の仰俯角に前記表示倍率を乗じたものとなり、前記第１の方向の方位角が前記第２の方向の方位角に前記表示倍率を乗じたものとなるように、前記撮像画像データから前記表示画像データを生成する生成手段を備えることを特徴とする画像処理装置。
6. 前記設定手段は、前記表示面に表示する前記撮像画像データの少なくとも一部の領域に対応する前記撮像視点からの画角と、前記鑑賞視点からの前記表示面の視野角とに基づいて、前記表示倍率を設定することを特徴とする、請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記設定手段は、前記撮像画像データに対応する前記撮像視点からの画角が前記鑑賞視点からの前記表示面の視野角よりも小さい場合に、前記表示面に表示される前記表示画像データに対する前記鑑賞視点からの視野角が前記表示面の視野角と一致するように、前記表示倍率を設定することを特徴とする、請求項１から６のいずれか１項に記載の画像処理装置。
8. 撮像画像データを、表示面への表示のための表示画像データに変換する画像処理装置であって、
   前記表示面の鑑賞視点から第１の方向にある前記表示面上の位置に、前記撮像画像データの撮像視点から前記第１の方向とは異なる第２の方向にある被写体の画像が表示され、前記第１の方向と前記第２の方向との間で仰俯角と方位角との比が等しくなるように、前記撮像画像データから前記表示画像データを生成する生成手段を備えることを特徴とする画像処理装置。
9. 前記表示面の鑑賞視点から前記表示面上の各位置への方向を特定する表示環境情報を取得する手段をさらに備えることを特徴とする、請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記表示環境情報は、前記鑑賞視点の位置情報と、前記表示面の配置情報と、を備えることを特徴とする、請求項９に記載の画像処理装置。
11. 前記撮像画像データの各画素について、前記撮像画像データを取得した撮像装置の撮像視点から前記画素に写る被写体へと向かう方向を特定する撮像環境情報を取得する手段をさらに備えることを特徴とする、請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記撮像環境情報は、前記撮像装置の画角情報を含むことを特徴とする、請求項１１に記載の画像処理装置。
13. 前記第１の方向に対応する前記表示画像データの画素位置と、前記第２の方向に対応する前記撮像画像データの画素位置と、の対応を示すテーブルを取得する手段をさらに備えることを特徴とする、請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記テーブルを取得する手段は、前記表示面の鑑賞視点から前記表示面上の各位置への方向を特定する表示環境情報と、前記撮像画像データの各画素について、前記撮像画像データを取得した撮像装置の撮像視点から前記画素に写る被写体へと向かう方向を特定する撮像環境情報と、前記表示面における前記撮像画像データの表示倍率と、の少なくとも１つが変化したことに応じて、前記テーブルを更新することを特徴とする、請求項１３に記載の画像処理装置。
15. 前記生成手段は、前記撮像画像データを取得した撮像装置に起因する収差を補償するように前記表示画像データを生成することを特徴とする、請求項１から１４のいずれか１項に記載の画像処理装置。
16. 前記生成手段は、前記表示画像データを、中央を保ちつつ所定の画像サイズの画像データになるよう補正することを特徴とする、請求項１から１５のいずれか１項に記載の画像処理装置。
17. 撮像画像データを、表示面への表示のための表示画像データに変換する画像処理装置が行う画像処理方法であって、
    前記表示面における前記撮像画像データの表示倍率を設定する設定工程と、
    前記表示倍率に従って前記撮像画像データに従う表示を行う際に前記表示面の鑑賞視点から被写体が表示される前記表示面上の位置へと向かう第１の方向と、前記撮像画像データの撮像視点から前記被写体へと向かう第２の方向と、の関係に基づいて、前記撮像画像データの撮像視点から前記第２の方向にある被写体の画像が、前記鑑賞視点から前記第１の方向にある前記表示面上の位置に表示されるように、前記撮像画像データから前記表示画像データを生成する生成工程と、
    を備えることを特徴とする画像処理方法。
18. コンピュータを、請求項１乃至１６の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images