JP2019146155A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 画像を広視野角で表示可能な表示システムに対して、良好な表示画像を生成する。【解決手段】 表示部を有する表示システムに表示するための表示画像を生成する画像処理装置であって、１つの撮像装置が撮像することにより得られる１つの入力画像を入力する入力手段と、前記入力画像に対応する第１の投影面と前記表示部に対応する第２の投影面とを対応づける対応関係に基づいて、前記入力画像から前記表示画像を生成する生成手段を有することを特徴とする。【選択図】 図２

Description

本発明は、広視野な画像を表示する表示システムのための画像を生成する技術に関する。

従来、画像を表示する表示システムの一つとして、鑑賞者の視野を覆うように配置された表示画面に画像を表示することで、鑑賞者に高い臨場感を与えるシステムが知られている。

特許文献１は、鑑賞者に凹面を向けた球面状の広視野角のスクリーンに画像を表示する方法について記載している。特許文献１に記載された方法によれば、平面状の画像を球面形状に貼り付けるマッピング処理を行うことで、スクリーンに表示する画像を生成している。

特開２００７−３１８７５４号公報

球面状のスクリーンではなく、複数の平面状の表示画面を鑑賞者の視野を覆うように配置することでも、広視野な画像を表示することができる。例えば平面状の複数の表示画面を各表示画面それぞれの法線が交点を持つように、各表示画面を配置する。しかしながら、このような表示システムにおける各表示画面に、平面の画像をマッピングすると不自然な表示画像になってしまう。

そこで本発明では、画像を広視野角で表示可能な表示システムに対して、より自然な表示画像を生成することを目的とする。

上記課題を解決するため本発明は、示部を有する表示システムに表示するための表示画像を生成する画像処理装置であって、１つの撮像装置が撮像することにより得られる１つの入力画像を入力する入力手段と、前記入力画像に対応する第１の投影面と前記表示部に対応する第２の投影面とを対応づける対応関係に基づいて、前記入力画像から前記表示画像を生成する生成手段を有することを特徴とする。

画像を広視野各で表示可能な表示システムに対して、良好な表示画像を生成することができる。

画像処理装置のハードウェア構成を示す図 画像処理装置の機能構成を示すブロック図 画像処理装置において実行される処理の流れを示すフローチャート 表示システムの例を示す図 投影面設定処理の流れを示すフローチャート 表示画像生成処理の流れを示すフローチャート 視点位置と表示部と平面投影面と円筒投影面との位置関係を示す図 平面投影面と入力画像との対応関係を示す図 表示部と平面投影面と円筒投影面との関係を示す図 仮想カメラの配置を示す図 投影面設定処理の流れを示すフローチャート 表示部と平面投影面と円筒投影面との関係を示す図 曲面ディスプレイの例を示す図 投影面設定処理の流れを示すフローチャート 表示部と平面投影面と円筒投影面との関係を示す図 仮想カメラの配置を示す図 仮想カメラの配置を示す図

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を必ずしも限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜第１実施形態＞
本実施形態では、画像を表示可能な平面状のディスプレイを３つ、鑑賞者の視野を覆うように配置することで、広視野な画像を表示する表示システムのための画像処理装置を例に説明する。図４は、本実施形態が想定する表示システムの例を示す。本実施形態における表示システムにおいては、センターディスプレイ４０１、左ディスプレイ４０２、右ディスプレイ４０３の３つのディスプレイにより、画像を表示する表示部が構成される。センターディスプレイ４０１、左ディスプレイ４０２、右ディスプレイ４０３は、上方から見たときに等脚台形を描くように配置されている。各ディスプレイは例えば、液晶ディスプレイなどの自発光デバイスを用いる。センターディスプレイ４０１は、鑑賞者の正面に配置されている。左ディスプレイ４０２は、センターディスプレイ４０１の鑑賞者から見て左側の端と接し、かつセンターディスプレイ４０１とのなす角が角度θｓｃを有するように配置されている。同様に右ディスプレイ４０３は、センターディスプレイ４０１の鑑賞者から見て右側の端と接し、かつセンターディスプレイ４０１とのなす角が角度θｓｃを有するように配置されている。従って３つのディスプレイは、各ディスプレイ面からの法線が交点をもつように、配置される。そして各ディスプレイ面の交点側に、それぞれに対応する表示画像を表示する。このように３つの平面状の表示画面（ディスプレイ）を配置することで、表示部が鑑賞者の視野を覆う。この表示システムに画像を表示すると、鑑賞者に対して、表示されている画像を撮像した場にいるかのような臨場感を与えることができる。本実施形態では、図４に示す表示システムに表示する表示画像を生成する画像処理装置について、説明する。

なお、本実施形態において、鑑賞者が表示システムにおける表示部（３つのディスプレイ）に表示された画像を見込む角度を、表示角と呼ぶ。また、各ディスプレイに表示する表示画像は、いずれも共通の入力画像から生成される。つまり本実施形態では、１台の撮像装置（例えば、デジタルカメラ）を用いて撮影した入力画像に基づいて、３つの表示画像が生成されることになる。

図１は、本実施形態における画像処理装置のハードウェア構成を示す。ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及びハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１００を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。ＨＤＤＩ／Ｆ１０４は、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスであり、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置を接続する。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からのデータ読み出し、およびＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開し、同様に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することが可能である。そしてＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとみなし、実行することができる。入力Ｉ／Ｆ１０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスであり、キーボードやマウスなどの入力デバイス１０７を接続する。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことが可能である。出力Ｉ／Ｆ１０８は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスであり、液晶ディスプレイやプロジェクタなどの出力デバイス１０９を接続する。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して出力デバイス１０９にデータを送り、表示を実行させることができる。本実施形態において出力デバイス１０９は、図４に示す表示部を有する表示システムである。

図２は、本実施形態における画像処理装置の機能構成を示すブロック図である。図２（ａ）において画像処理装置は、投影面設定部２０１、画像取得部２０２、表示装置情報取得部２０３、視点位置情報取得部２０４、撮像パラメータ取得部２０５、表示画像生成部２０６、画像出力部２０７を有する。投影面設定部２０１は、入力画像から表示システムにおける各ディスプレイに表示する表示画像を生成するための２つの投影面を設定する。本実施形態では、入力画像に対応した平面状の仮想的な投影面（以降、平面投影面と呼ぶ）と、円筒形の仮想的な投影面（以降、円筒投影面と呼ぶ）を用いて、入力画像から３つの表示画像を生成する。そこで投影面設定部２０１は、平面投影面と円筒投影面を設定する。平面投影面は、入力画像のアスペクト比と撮像によって得られた入力画像を撮像した際の撮像画角に応じて設定される。円筒投影面は自由曲面により構成された形状の投影面であり、ここでは円筒の側面の一部を切り出した形状である。円筒投影面は、平面が水平方向に湾曲した面ともいえる。円筒投影面は、上方から見た形状が、表示システムにおける３つのディスプレイが描くような角のある形状（等脚台形の一部）とは異なり、滑らかな線分によって描かれた弧である。投影面設定部２０１は、視点位置、表示システムにおける各ディスプレイのサイズや位置関係に応じて円筒投影面を設定する。

画像取得部２０２は、撮像することで得られた画像を取得し、入力画像として表示画像生成部２０６に出力する。

表示システム情報取得部２０３は、表示システムにおける表示部（ここではディスプレイ）に関する情報を取得する。本実施形態では、ディスプレイの数、各ディスプレイ面の形状、大きさ、複数のディスプレイの位置関係を示す情報を取得するものとする。

視点情報取得部２０４は、鑑賞者の視点位置を示す視点情報を取得する。視点情報とは、表示システムにおける画像表示部を鑑賞する際の、鑑賞者の視点の３次元的な位置を示す情報である。本実施形態においては、鑑賞者が鑑賞する前に、事前に表示システムに表示する表示画像を生成するものとする。ただし図４に示す表示システムにおいては、表示角が変わると、各ディスプレイに表示する表示画像も変わる。表示角は、鑑賞者がどの程度ディスプレイから離れた位置からディスプレイを鑑賞するかに応じて異なる。そこで本実施形態では、事前に表示画像を生成するために、どの位置から鑑賞者が鑑賞するかを想定しておく必要がある。本実施形態では、鑑賞者がディスプレイを鑑賞するのに望ましい視点位置を視点情報として取得することで、視点位置を特定しておくものとする。

撮像パラメータ取得部２０５は、撮像により入力画像を取得した際に設定されていた、撮像装置の撮像パラメータを取得する。撮像パラメータ取得部２０５は、入力画像に付帯されたメタデータに基づいて、撮像パラメータを取得することができる。あるいは、入力デバイス１０７からユーザが入力した情報に基づいて、撮像パラメータを取得する形態としてもよい。

表示画像生成部２０６は、視点位置と各ディスプレイとの位置関係に基づいて、１つの入力画像から、各ディスプレイに表示する表示画像を生成する。表示画像生成部２０６の詳細については、後述する。画像出力部２０７は、生成された３つの表示画像を、各ディスプレイに出力する。

以下、本実施形態の画像処理装置が実行する処理の流れについて説明する。図３は、本実施形態における画像処理の流れを示すフローチャートである。ＣＰＵ１０１は、ＲＯＭ１０３又はＨＤＤ１０４に格納された図３に示すフローチャートを実現するプログラムを読み出して、ＲＡＭ１０２をワークエリアとして実行する。これによりＣＵ１０１は、図２に示す各機能構成としての役割を果たす。なお、以降のフローチャートにおいては各工程（ステップ）を「Ｓ」と表記することとする。

Ｓ３０１において画像取得部２０２は、ＨＤＤ１０５に記憶された撮像画像を表す撮像画像データを入力画像として取得し、ＲＡＭ１０２に格納する。

Ｓ３０２において撮像パラメータ取得部２０５は、撮像画像データに付帯されたメタデータから、撮像パラメータを取得する。本実施形態において撮像パラメータ取得部２０５は、撮像時の撮像画角やレンズの射影方法を特定する情報を撮像パラメータとして取得する。本実施形態では、一般的なレンズで使用される中心射影方式のレンズを介して入力画像が撮像されたものとする。

Ｓ３０３において表示システム情報取得部２０３は、表示システムにおける画像表示部に関する表示システム情報を取得する。本実施形態において、表示システム情報取得部２０３は、画像を表示するディスプレイの数、各ディスプレイ面の形状、大きさ、各ディスプレイの配置を示す情報を取得する。本実施形態においては、図４に示すように、ディスプレイの数は３台である。各ディスプレイの形状は、平面で、幅Ｗｓｃ、高さＨｓｃの矩形である。３つのディスプレイの配置は、センターディスプレイと右ディスプレイとの間の開き角、およびセンターディスプレイと左ディスプレイとの間の開き角がいずれも角度θｓｃである。また、視点位置から３つのディスプレイにより構成される表示部を鑑賞した時の見込み角（表示角）は２φとする。これらの表示システム情報は、ユーザの指示に基づいて入力デバイス１０７からＲＡＭ１０２へ取得する。あるいは、これらの情報をあらかじめ表示システム情報のパッケージとしてＨＤＤ１０５に保持しておき、ＨＤＤ１０５から必要に応じて選択するようにしても良い。

Ｓ３０４において視点情報取得部２０４は、ユーザの指示に基づいて入力デバイス１０７から視点情報を取得する。本実施形態では視点情報取得部２０４は、センターディスプレイ４０１の画面における中心位置からの距離Ｄｖｉｅｗを視点情報として取得する。

Ｓ３０５において投影面設定部２０１は、表示画像を生成する際に使用する平面投影面と円筒投影面を設定する。投影面の設定処理の詳細は後述する。

Ｓ３０６において表示画像生成部２０６は、各ディスプレイに表示する表示画像を示す表示画像データを生成する。表示画像生成処理の詳細は後述する。

Ｓ３０７において画像出力部２０７が生成された各ディスプレイに対応する表示画像をＲＡＭ１０２から出力Ｉ／Ｆ１０８を介して出力デバイス１０９に出力する。あるいは、生成された表示画像をＨＤＤ１０５に記憶するようにしてもよい。

＜投影面設定処理＞
次に、投影面設定処理について詳細に説明する。投影面設定処理では、表示画像生成処理において使用する２つの投影面を設定する。第１の投影面は、平面状の投影面であり、入力画像を仮想空間上に配置するための投影面である。第２の投影面は、円筒状の投影面であり、入力画像を、表示部の構成に投影するための投影面である。第２の投影面は、入力画像を表示部の構成（形状）に近似する役割を有する。本実施形態における表示部は、３つのディスプレイが上から見たときに角度を有するように配置されている。各ディスプレイに対して平面投影面から直接対応づけて各ディスプレイの表示画像を生成すると、視点位置から画像を鑑賞した時に、２つのディスプレイが隣接する境界付近において被写体が折れ曲がったように見えてしまう。これは視点に対する被写体との距離が、表示部との距離に変換されてしまうためである。そこで本実施形態では、平面投影面（第１の投影面）を円筒投影面（第２の投影面）に投影した画像に基づいて、各ディスプレイの表示画像が生成される。すなわち第２の投影面は、平面よりは３つのディスプレイによって描かれる形状に類似しており、かつ、上方から見たときに角のない形状の投影面であることが望ましい。円筒投影面上の点と視点位置との距離は、水平方向において滑らかに変化する。このような第２の投影面上に平面投影面を対応付けると、視点位置から円筒投影面に投影された画像を鑑賞しているように、表示画像が表示部に表示される。その結果、２つのディスプレイが隣接する境界付近においても被写体が折れ曲がってみえる現象を抑制することができる。

図５は、投影面設定部２０１が実行する投影面設定処理の詳細を示すフローチャートである。以下フローチャートの各ステップについて説明する。

Ｓ５０１において投影面設定部２０１は、第１の投影面として平面投影面を生成する。平面投影面は、撮像画像と同じアスペクト比である矩形の平面により構成される。また投影面設定部２０１は、視点位置から平面投影面を見た際の見込み角が、撮影画角と一致するように、平面投影面のサイズと位置を算出し、仮想空間上に配置する。このように、視点位置と撮影時の撮像装置の位置を仮想空間上で一致させることによって、空間的に歪みの少ない表示画像を生成することができる。

図７は、視点位置と表示部と仮想的な投影面との関係を示す図である。仮想空間において、視点位置を原点とするＸＹＺ３次元座標を定義する。このような仮想空間において、平面投影面はＸＹ平面に平行で、かつＺ軸が平面投影面の中心を通るような位置に配置される。なお表示部を表す平面を仮想空間上に配置すると、原点（視点位置）とセンターディスプレイの中心位置との距離がＤｖｉｅｗとなるように、表示部の各ディスプレイは配置されることになる。つまりセンターディスプレイの中心座標は（０，０，Ｄｖｉｅｗ）である。３つのディスプレイは、Ｚ軸を中心に左右対称になるように配置されている。ここで、入力画像における水平方向の撮影画角の半画角をθとすると、図７に示す通り視点位置からの平面投影面に対する見込み角の半画角はθとなる。

Ｓ５０２において投影面設定部２０１は、視点位置から表示部を見た際の見込み角である表示角を取得する。図４に示すように、本実施形態では視点位置と左ディスプレイの左端の上下中央の点を結ぶ直線と、視点位置と右ディスプレイの右端の上下中央の点を結ぶ直線の間の角度を、水平方向の表示角とする。なお、表示角を２φとすると、角度φは表示角の１／２の角度である。

Ｓ５０３において投影面設定部２０１は、円筒投影面の弧の中心角を、Ｓ５０２において取得した表示角２φにより設定する。

Ｓ５０４において投影面設定部２０１は、仮想空間上に円筒投影面を生成する。円筒投影面は、円筒の側面をＳ５０３において設定された中心角により切り出した形状となる。円筒投影面の高さは、円弧の長さと高さの比が平面投影面の幅と高さとの比と一致するように設定しておく。投影面設定部２０１は、表示システム情報に応じて設定した円筒投影面を、円筒の中心と視点位置が一致するように、仮想空間上に配置する。従って、仮想空間におけるＺ軸が円筒投影面の中心を通る位置に円筒投影面が配置される。以上の通り円筒投影面において、円筒の断面は表示角と同じ中心角のおうぎ形であり、円の中心が視点位置に一致している。

＜表示画像生成処理＞
ここで表示画像生成処理について詳細に説明する。表示画像生成部２０６は、仮想空間において視点位置に配置された仮想カメラにより円筒投影面をレンダリングすることで、各ディスプレイに対応する表示画像を生成する。

図２（ｂ）は、表示画像生成部２０６の詳細な構成を示すブロック図である。第１算出部２０６１は、入力画像と平面投影面との対応関係を算出する。第２算出部２０６３は、平面投影面と円筒投影面との対応関係を算出する。仮想カメラ設定部２０６２は、複数のディスプレイそれぞれに対応する仮想カメラを仮想空間上に設定する。本実施形態が想定する表示システムにおいては、ディスプレイは３台あるので、仮想カメラも３つ設定する。レンダリング処理部２０６４は、各仮想カメラについて、入力画像と平面投影面との対応関係、平面投影面と円筒投影面との対応関係を用いて、仮想カメラに結像する画像の各画素の画素値を算出することで、表示画像を生成する。

図６は、本実施形態における表示画像生成処理の詳細を示すフローチャートである。

Ｓ６０１において第１算出部２０６１は、仮想空間における平面投影面の各頂点の３次元座標と入力画像の画素位置を示す２次元座標の間の対応付けを行う。これは、一般的なＣＧレンダリングにおけるＵＶマッピングと同様の処理である。中心射影のレンズを介して撮像された入力画像を用いる場合、図８に示すように、平面投影面の四隅の座標それぞれを、入力画像の四隅の画素位置を示す座標と対応付ける。ここでは、入力画像において、左上の画素を原点（０，０）とするＵＶ座標系により各画素の画素位置を示すものとする。第１算出部２０６１は、入力画像における各頂点のＵＶ座標を取得し、平面投影面の各頂点の３次元座標と対応づける。四隅以外の各画素のＵＶ座標については、線形補間により算出する。なお、魚眼レンズのようにレンズの射影方式が等距離射影や等立体角射影の場合は、中心射影で再投影を行ってから同様の処理を行えばよい。

Ｓ６０２において第２算出部２０６３は、仮想空間において円筒投影面と平面投影面との対応関係を算出する。図９は、図７を上方から見たＸＺ平面（Ｙ＝０）を示す図である。平面投影面の幅をＷ_ｆｌａｔ、高さをＨ_ｆｌａｔとする。円筒投影面上の点ＳにおけるＸ座標をｘｓ、Ｚ座標をｚ_ｓとすると、点Ｓにおける角度φ_ｓは式（１）〜（３）により表すことができる。なお角度φ_ｓは、点Ｓが円筒投影面の左端上の点Ｓ_Ｌである時の角度が０度であるものとする。

φ_ｓ＝φ ｅｌｓｅ ｉｆ ｘ_ｓ＝０ 式（３）

点ＳがＸＺ平面における第３象限にある（ｘ_ｓ＜０）場合、点Ｓと原点を結ぶ線分とＸ軸と原点を結ぶ線分とのなす角から、円筒投影面の左端上の点Ｓ_Ｌと原点を結ぶ線分とＸ軸と原点を結ぶ線分とのなす角を減算することで、角度φ_ｓを算出できる。また、点ＳがＸＺ平面における第１象限にある（ｘ_ｓ＞０）場合は、表示角２φから式（１）により算出される角度を減算することで、角度φ_ｓを算出できる。点ＳがＺ軸上（ｘｓ＝０）にある場合は、角度φ_ｓは表示角の半分φとなる。

次に、平面投影面上の点Ｓ’のＸ座標ｘ_ｓ’について考える。平面投影面上の点は、円筒投影面に対応づけられる。本実施形態において平面投影面上の各点は、円筒投影面において対応する点が均等になるように対応づける。この時、平面投影面上における点Ｓ_Ｌ’と点Ｓ’の長さに対する平面投影面の幅の比と、円筒投影面において点Ｓ’に対応する点Ｓから点Ｓ_Ｌまでの弧の長さに対する円筒投影面の弧の長さとの比は、式（４）の通りに一致する。

従って点Ｓ’のＸ座標ｘ_ｓ’は、角度φ_ｓによって式（５）の通りに表される。

第２算出部２０６３は、式（５）における角度φ_ｓにｘ_ｓの位置に応じて式（１）、式（２）、式（３）を代入することにより、平面投影面上の点ｘ_ｓ’を円筒投影面上の点ｘ_ｓにより算出できる。このようにして第２算出部２０６３は、円筒投影面と平面投影面のＸ座標を対応付ける対応関係を算出する。

次に高さ方向であるＹ座標の対応付けについて説明する。円筒投影面の高さをＨ_{ｃｕｒｖｅ}とする。円筒投影面上の点ＳにおけるＹ座標をｙ_ｓとし、平面投影面上の点Ｓ’のＹ座標をｙ_ｓ’とする。Ｘ座標の場合と同様、平面投影面における下辺から点Ｓ’までの高さに対する平面投影面の高さとの比と、円筒投影面における下辺から点Ｓまでの高さに対する円筒投影面の高さとの比は、式（６）の通り一致する。

従って点Ｓ’のＹ座標ｙ_ｓは、式（７）により表される。

第２算出部２０６３は、式（７）により円筒投影面と平面投影面のＹ座標を対応づける対応関係を算出する。

最後にＺ座標は、平面投影面が平面であるため、平面投影面上のどの点においてもＺ座標は変わらない。よって、円筒投影面のＺ座標は、投影面設定処理において設定された平面投影面のＺ座標と一致する。

Ｓ６０３において仮想カメラ設定部２０６２は、表示画像のレンダリング処理に使用する仮想カメラの位置と向きを設定する。図１０は、本実施形態における仮想カメラの位置と向きを説明するための図である。仮想カメラ設定部２０６２は、各ディスプレイに対応した計３台の仮想カメラを用意する。具体的にはセンターディスプレイに対しては仮想カメラＡ、左ディスプレイに対しては仮想カメラＢ、右ディスプレイに対しては仮想カメラＣを仮想空間上に設定する。それぞれの仮想カメラの位置は、視点位置、つまり円筒投影面の中心とする。仮想カメラの向きは、それぞれの仮想カメラに対応するディスプレイの中心に対して仮想カメラの光軸が向くように設定される。

Ｓ６０４において仮想カメラ設定部２０６２は、仮想カメラの画角を設定する。仮想カメラ設定部２０６２は、各仮想カメラに対応するディスプレイを視点位置から見た際の見込み角を各仮想カメラの画角として設定する。

Ｓ６０５においてレンダリング処理部２０６４は、３台の仮想カメラそれぞれについてレンダリング処理を実行し、表示画像を表す表示画像データを生成する。具体的にはまず、仮想カメラが仮想空間上で撮像した時に得られる画像の各画素に投影される円筒投影面上の３次元座標を算出する。次にＳ６０２において算出した平面投影面と円筒投影面との対応関係に基づいて、円筒投影面上の３次元座標を平面投影面上の３次元座標に変換する。さらにＳ６０１において算出した平面投影面と入力画像との対応関係に基づいて、平面投影上の３次元座標を入力画像上の位置に変換する。これにより、仮想カメラにより得られる画像の画素が、入力画像上の位置に対応づく。

レンダリング処理部２０６４は、算出した入力画像上の位置に基づいてサンプリングすることで、仮想カメラにより得られる画像における画素の画素値を算出する。具体的には、レンダリング処理部２０６４は、算出した入力画像における位置の周囲４画素の画素値を取得する。レンダリング処理部２０６４は、入力画像から取得した４画素の画素値に対して、算出した位置に応じた補間演算を実行することにより、仮想カメラにより得られる画像における画素の画素値を決定する。各仮想カメラの全ての画素に対して行うことで、各ディスプレイに表示する表示画像が生成される。

以上の通り本実施形態では、３つの表示画面（ディスプレイ）に表示する表示画像を、１つの入力画像に基づいて生成した。従来においては、複数の表示画面を用いて画像を表示する場合、表示画面毎に対応する画像を撮像する。例えば図４に示す表示部の場合、シーンにおいて、同じ視点位置で、各表示画面の中心におおよそ光軸が通るように、３つの撮像装置を配置し、各撮像装置によりシーンを撮影する。そして、各撮像装置から得られる３つの入力画像から表示画面それぞれに対応する表示画像を生成する。しかしながらこの方法では、撮影時に、複数の撮像装置を必要とする。さらに、表示部に表示した際に、各表示画面間で自然に画像がつながるように、各撮像装置の撮像パラメータを同様に設定する必要がある。しかしながら、シーンの明るさや動体に応じて適切な撮像パラメータは異なり、何れかの撮像装置の撮像パラメータを変更する毎に他の撮像装置の撮像パラメータのも調整しなければならない。そこで本実施形態では、１つの撮像装置が撮影することにより得られる１つの入力画像に基づいて各表示画像を生成することで、表示部に表示するための撮影の負荷を軽減することができる。また、各表示画像に表示される画像は、共通の撮像パラメータ下で撮像された画像であるため、各表示画像において同一の被写体の明るさや距離が概ね一致する。そのため、複数の表示画面間にそれぞれの表示画像を生成した時に、各表示画面が自然とつながり、鑑賞者はまるでそのシーンにいるかのように感じられるような表示システムを実現できる。

さらに１つの入力画像に基づいて複数の表示画像を生成する場合、図９に示したように、表示角が撮影画角よりも大きいことが想定される。視点位置から鑑賞した時の画像を、表示部に表示するために、平面投影面の両端と視点位置とを結んだ線分の範囲に収まるように、平面投影面と表示部における各画素とを対応づけるとする。この場合は、表示部における左右のディスプレイには、一部しか画像が表示されないことになってしまう。すなわち、表示角が撮影画角よりも大きい場合、１つの入力画像の横幅（水平方向の長さ）よりも、表示部における表示画像をつなげた横幅（水平行の長さ）の方が長いため、表示部に画像が表示されない領域が生じる。そこで本実施形態では、入力画像を撮像した時の撮像画角と表示部における表示角とに基づいて、入力画像の撮像画角が表示角を満たすように入力画像を拡張する。具体的には、入力画像に対応する平面投影面と表示画像に対応する円筒投影面との横幅が一致するように対応づける。これにより、表示部における左右ディスプレイに画像が表示されない領域が生じることを抑制する。

また、平面投影面を直接、仮想空間における各ディスプレイにマッピングするとする。このときセンターディスプレイは平面投影面に平行であるのに対し、左右のディスプレイは平面投影面に対し平行ではない。そのため平面投影面を直接各ディスプレイに平行投影すると、シーンにおいては同じ位置にある被写体が異なる距離感のディスプレイに表示されてしまうため、視点位置から見たときの被写体までの距離間がディスプレイごとに不自然に異なってしまう。また平行投影すると、平面投影面における所定の間隔の位置が、センターディスプレイにおいて対応する位置の間隔と、左右ディスプレイにおいて対応する位置の間隔とが異なる。そのため、左右ディスプレイにおける被写体が不自然に水平方向に拡張されたり、解像感が異なったりしてしまう。そこで本実施形態では、表示システムにおける表示部とは異なる円筒投影面を用いて、各ディスプレイに表示する表示画像を生成する。また、平面投影面における所定の間隔の位置が円筒投影面上においても均等な間隔の位置になるように、平面投影面が円筒投影面に対応づけられる。これにより、まず、仮想空間上の平面投影面を、表示角に合わせて拡張するように円筒投影面に対応づけることができ、鑑賞者に広視野な画像を表示するための表示画像を生成することが可能となる。特に、複数の平面ディスプレイにより鑑賞者の視野を覆うように配置した表示部に広視野な画像を表示した場合に、ディスプレイが隣接する境界近傍において、被写体が折れ曲がるように感じさせることのない、自然な表示画像を表示部に提供することができる。

なお本実施形態では、ＣＰＵ１０１がプログラムを実行することで図２に示す各構成を実現するソフトウェアを例に説明した。しかしながら図２に示す各構成の一部またはすべてを、専用の処理回路によって実現することもできる。

＜第２実施形態＞
第２実施形態では、入力画像に応じて円筒投影面の曲率を変更する方法について説明する。例えば入力画像がサッカー場をタッチライン側から撮像した画像であるとする。サッカー場のタッチラインのように誰もが直線であるという知識を持っているような被写体が、入力画像における水平方向に直線状に映り込んだ画像を入力画像として、表示画像を生成する場合について説明する。本実施形態では、このような被写体に対して直線の歪みを知覚することで生じる違和感を軽減するために、円筒投影面の曲率を変更する。本実施形態における表示システムは、第１実施形態と同様である。また、画像処理装置で行われる全体的な処理の流れは第１実施形態において説明した図３のフローチャートと同様であるため説明は省略する。ここでは、第１実施形態とは異なる投影面設定処理の詳細について説明する。なお、同一の構成については、同じ符号を付して説明する。

＜投影面設定処理＞
図１１は、本実施形態において投影面設定部２０１が実行する投影面設定処理の詳細を示すフローチャートである。投影面設定処理では、入力画像に対応する平面投影面と、円筒の側面の一部を切り出した形状を持つ円筒投影面の２つの投影面を設定する。

Ｓ１１０１において投影面設定部２０１は、第１の投影面として平面投影面を生成する。処理の詳細は実施形態１のＳ５０１で説明した処理を同様であるため説明は省略する。

Ｓ１１０２において投影面設定部２０１は、円筒投影面が描くおうぎ形の中心角を設定する。本実施形態では、入力画像を撮像した時の水平方向の撮像画角を、円筒投影面の中心角として設定する。

Ｓ１１０３において投影面設定部２０１は、円筒投影面を視点位置から見た際の水平方向の見込み角が、表示部（ディスプレイ）の水平方向の表示角と一致するように、円筒投影面を仮想空間内に配置する設置位置を決定する。

Ｓ１１０４において投影面設定部２０１は、円筒投影面を生成し、仮想空間上に配置する。円筒投影面は、Ｓ１１０２において設定された中心角で切り出した形状を持ち、Ｓ１１０３において設定された仮想空間における設置位置に配置する。図１２は、仮想空間をＸＺ平面で見た場合の、円筒投影面、平面投影面、表示部（ディスプレイ）の位置関係を示す図である。Ｚ軸が円筒投影面の中心を通り、投影面はＸＺ平面に垂直となる。ここで、実施形態１とは異なり円筒投影面の円の中心と視点位置は必ずしも一致しない。また、円筒投影面の高さは、円弧の長さと高さの比が平面投影面の幅と高さとの比と一致するように設定しておく。

以上のように設定された円筒投影面は、第１実施形態において説明した円筒投影面に比べて曲率が小さくなる。これにより、水平方向に直線状の被写体が映り込んだ入力画像をレンダリング処理した場合に、直線の歪みをより小さくすることができる。その結果、表示システムに表示画像を表示した際に、鑑賞者が表示画像における水平方向の直線の歪みを知覚することで生じる違和感を軽減することが可能となる。

なお、本実施形態では、円筒投影面の円の中心角と入力画像を撮像した際の撮像画角とを一致させた。しかしながら例えば、被写体の種類や歪みの程度に応じて、円筒投影面の中心角を設定してもよい。これは、結果として円筒投影面の曲率を制御することと等価な処理となる。

＜第３実施形態＞
本実施形態では、表示システムにおける表示部が円筒の側面の一部を切り出した形状の曲面ディスプレイの場合の表示画像の生成処理について説明する。図１３に本実施形態における表示部の例を示す。ここでは、曲面ディスプレイ１３０１を示す円筒の中心に鑑賞者の視点が位置しているものとし、鑑賞者から見た曲面ディスプレイの見込み角が２φとなるように曲面ディスプレイ１３０１が配置されているものとする。曲面ディスプレイ１３０１は、鑑賞者から距離Ｄ_ｖｉｅｗ離れた位置に曲面ディスプレイ１３０１上の中心が対応するように配置されている。距離Ｄ_ｖｉｅｗは、曲面ディスプレイ１３０１を示す円筒の半径と一致しているものとする。また、曲面ディスプレイ１３０１の高さをＨ_ｓｃとする。

本実施形態においても第１実施形態と同様に、平面投影面（第１の投影面）を円筒投影面（第２の投影面）に投影した画像に基づいて、曲面ディスプレイへの表示画像が生成される。ただし、第１実施形態と異なり、本実施形態における表示部は角のない滑らかな曲面で構成されているため、円筒投影面は表示部を構成する曲面ディスプレイの形状と一致するように設定する。

図１４は、本実施形態における投影面設定部２０１が実行する投影面設定処理の詳細を示すフローチャートである。以下フローチャートの各ステップについて説明する。

Ｓ１４０１において投影面設定部２０１は、第１の投影面として平面投影面を生成する。平面投影面は、撮像画像と同じアスペクト比である矩形の平面により構成される。また投影面設定部２０１は、視点位置から平面投影面を見た際の見込み角が、撮影画角と一致するように、平面投影面のサイズと位置を算出し、仮想空間上に配置する。

Ｓ１４０２において投影面設定部２０１は、視点位置から表示部を見た際の見込み角である表示角を取得する。図１３に示すように、本実施形態では視点位置と曲面ディスプレイの左右端の上下中央の点を結ぶ直線の間の角度を、水平方向の表示角とする。なお、表示角を２φとすると、角度φは表示角の１／２の角度を示す。

Ｓ１４０３において投影面設定部２０１は、仮想空間上に円筒投影面を生成する。円筒投影面は、表示部を構成する曲面ディスプレイと同じ形状となるように設定する。つまり、円筒の中心角が表示角２φと一致し、円筒投影面の高さは、曲面ディスプレイの高さＨ_ｓｃと一致するように設定しておく。投影面設定部２０１は、表示システム情報に応じて設定した円筒投影面を、円筒の中心と視点位置が一致するように、仮想空間上に配置する。従って、仮想空間におけるＺ軸が円筒投影面の中心を通る位置に円筒投影面が配置される。以上の通り円筒投影面において、円筒の断面は表示角と同じ中心角の扇形であり、円筒の中心が視点位置に一致している。

図１５は、本実施形態における平面投影面、円筒投影面、および表示部を構成する曲面ディスプレイの関係を上方から見たＸＺ平面（Ｙ＝０）を示す図である。この図でもわかる通り、本実施形態では円筒投影面は曲面ディスプレイと形状が一致している。

なお、本実施形態における全体の画像処理の流れについては第１実施形態の図３で説明した流れと同様であるため説明を省略する。

また、表示画像データ生成処理の流れについても、基本的には第１実施形態の図６で説明した処理と同様である。第１実施形態では、Ｓ６０３において仮想カメラ設定部２０６２は、各ディスプレイに対応した計３台の仮想カメラを用意したが、本実施形態では、ディスプレイが曲面ディスプレイ１台であるため、仮想カメラもこれに対応した１台でよい。仮想カメラの位置は、視点位置、つまり円筒投影面の中心とする。仮想カメラの向きは、光軸がＺ軸を向くように設定される。仮想カメラの画角は曲面ディスプレイを視点位置から見た際の見込み角と一致するように設定する。図１６に本実施形態における円筒投影面と仮想カメラの関係を示す。

なお、仮想カメラの設定方法はこれに限らず、例えば複数の仮想カメラを設定して表示画像を生成するようにしてもよい。図１７は仮想カメラ３台を用いて表示画像を生成する場合の例を示している。複数の仮想カメラの画角を合わせたときに円筒投影面の中心角、即ち曲面ディスプレイの表示角を満たすようにそれぞれの仮想カメラを設定し、レンダリングされた画像を合成することで表示画像を生成することが可能である。各仮想カメラのレンダリング範囲は重なるように設定することも可能である。例えば、表示部が曲面スクリーンで構成され、これに対して複数のプロジェクタで一部映像が重なるように投影するような場合にも適用可能である。この場合は、各プロジェクタの投影範囲に対応するように仮想カメラの向きと画角を設定してレンダリング処理を行う。そして、それぞれのプロジェクタから対応する表示画像を投影し、映像の重なり部分をアルファブレンディング処理することでひとつながりの映像として見せることが可能となる。

以上説明したように、表示部が円筒の側面の一部を切り取ったような滑らかな曲面で構成される場合には、表示部の形状に合わせて第２の投影面を設定して処理を行うことによって、自然な表示画像を生成することが可能となる。

＜変形例＞
上述の実施形態において、投影面設定処理の後に、表示画像を生成した。このような投影面設定処理は、上述の実施形態が想定する表示システムに表示する表示画像を初めて生成する際には必要となる。ただし、例えば、表示システムおよび撮像装置が固定して設置される場合、投影面設定処理は必ずしも必要としない。例えば、表示システム情報に基づいて予め仮想空間における平面投影面や円筒投影面を示す情報を予め設定し、ＲＯＭ１０３やＨＤＤ１０５に保存しておく。また、表示画像を生成する際にＳ６０１において算出した入力画像と平面投影面との対応関係を示す情報やＳ６０２において算出した平面投影面と円筒投影面との対応関係を示す情報も、同様に保存しておく。この場合は、図５に示す処理は必要なく、Ｓ３０４の次にＳ３０６に進めばよい。また、Ｓ６０１やＳ６０２それぞれについては、算出処理の代わりに、保存された入力画像と平面投影面との対応関係を示す情報や平面投影面と円筒投影面との対応関係を示す情報を読み出す処理を実行すればよい。当然、平面投影面と円筒投影面との対応関係は、所望の表示システムに応じた対応関係であるため、違和感の少ない表示画像が生成されることになる。これにより、表示システムの表示形態に大きな変動がない場合は、より簡易に表示画像を生成することができる。

また、表示システムが変更になった場合には、保存された仮想空間における投影面を示す情報を読み出して調整すればよい。読み出した仮想空間には、撮像画角や視点情報に応じた平面投影面や、表示システムに応じた円筒投影面が配置される。例えば表示角の変更に伴って円筒投影面の形状を変更したり、視点情報の変更に伴って仮想空間における円筒投影面の位置を変更したりすることで、投影面を設定し再度保存する。

＜その他の実施形態＞
なお本実施形態における鑑賞者が視点位置から表示部を見込む角度を示す表示角とは、入力画像において表示に使用する範囲と捉えることもできる。

また上述の実施形態において、第２の投影面として、円筒投影面と呼ぶ投影面を設定した。円筒投影面は、図７に示すように、平面を、視点に対する水平方向に湾曲した可展面である。第２の投影面は、視点に対して平面である入力画像と、表示部との中間的な形状の面であることが望ましい。

また上述の実施形態において、表示画像を表示する表示システムにおいて、３つのディスプレイにより表示部を構成する場合を例に説明した。表示部は、自発光型ディスプレイ以外にも、プロジェクタにより画像を投影するスクリーンを用いてもよい。この場合表示システムとしては、複数のスクリーンそれぞれに対応する複数のプロジェクタを、各スクリーンに表示画像を投影できるように設置する。あるいは、複数のプロジェクタが白い壁に投影する表示システムにも上記の実施形態を適用することができる。画像を投影する壁を上方から見たときに、図４に示すディスプレイと同様の形状になっている場合、円筒投影面を用いて表示画像を生成することで同様の効果を得ることができる。なおこの場合白い壁に対して画像が投影される領域を、表示部とみなして表示システム情報を取得する。

またセンターディスプレイ４０１、左ディスプレイ４０２、右ディスプレイ４０３に対して１つの共通する円筒投影面を使用する例について説明した。これにより異なるディスプレイ間でも違和感のない表示を可能とする表示画像を生成できる。しかしながら、例えば、３面のディスプレイそれぞれに対して異なる曲面を持つ投影面を設定するようにしてもよい。この場合、３つの円筒投影面が滑らかに接続するように、構成されていることが望ましい。

また上述の実施形態では、図４に示すように鑑賞者に対して大型のディスプレイを用いた表示部を例に説明した。しかしながら、例えば複数の平面上の表示画面を用いて、頭部のみを覆う程度の大きさの表示部であっても、同様の表示システムを構成できる。例えば、ヘッドマウントディスプレイなどである。この場合も、表示部を構成する表示画面が平面であり、画像を表示する側に各表示画面の法線が交点を持つように配置することで、臨場感のある広視野な画像を表示することができる。このような表示システムに対しても、上述の実施形態と同様、共通の入力画像１つから各表示画面の表示画像を生成する。さらに、仮想空間において、入力画像を投影する平面投影面の他、円筒投影面を用いてレンダリングすることで、違和感のない広視野な画像を生成できる。

また前述の実施形態において視点情報は、望ましい鑑賞者の位置を指定することにより、特定された。しかしながら例えば、実際に鑑賞者の位置を検出し、実際に表示システムを鑑賞している鑑賞者に応じて視点情報を設定してもよい。

また上述の実施形態では、平面投影面は、撮像画像と同じアスペクト比を持つ矩形の平面として設定した。しかしながら、入力画像全体ではなく入力画像の一部領域のみを表示したい場合には、平面投影面はこの一部領域のアスペクト比を持つ矩形の平面として設定してもよい。この場合、第１算出部２０６１は、平面投影面の四隅の座標それぞれを、入力画像における一部領域の四隅の画素位置を示す座標と対応付けることで、入力画像の一部領域から生成された表示画像を表示部に表示することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１ 投影面設定部
２０２ 画像取得部
２０３ 表示システム情報取得部
２０４ 視点情報取得部
２０５ 撮像パラメータ取得部
２０６ 表示画像生成部
２０７ 画像出力部

Claims (20)

1. 表示部を有する表示システムに表示するための表示画像を生成する画像処理装置であって、
   １つの撮像装置が撮像することにより得られる１つの入力画像を入力する入力手段と、
   前記入力画像に対応する第１の投影面と前記表示部に対応する第２の投影面とを対応づける対応関係に基づいて、前記入力画像から前記表示画像を生成する生成手段を有することを特徴とする画像処理装置。
2. 前記対応関係を示す情報を保持する保持手段を有し、
   前記対応関係は、前記入力画像を撮像した際の撮像画角と、前記表示部において視点位置に対する前記表示画像が表示される表示角とに応じて算出された対応関係であることを特徴とする請求項１に記載の画像処理装置。
3. 前記表示角を示す情報を含む表示システム情報を取得する表示システム情報取得手段と、
   前記撮像画角を示す情報を取得する撮像パラメータ取得手段と、
   前記表示角を示す情報と前記撮像画角を示す情報とに基づいて、前記対応関係を設定する設定手段と、を有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の投影面は前記撮像画角に応じたサイズであり、前記第２の投影面は前記表示角に応じたサイズであることを特徴とする請求項２に記載の画像処理装置。
5. 前記対応関係は、前記第１の投影面の水平方向の長さと、前記第２の投影面の水平方向の長さとの比に応じた関係であることを特徴とする請求項４に記載の画像処理装置。
6. 前記対応関係は、前記第１の投影面における所定の間隔の位置が、前記第２の投影面において対応する位置が均等になるように対応づけされている関係であることを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
7. 前記設定手段は、前記第１の投影面を前記撮像画角に応じて仮想空間に配置し、前記第２の投影面を前記表示角に応じて前記仮想空間に配置し、前記第１投影面と前記第２の投影面とを対応付けることにより、前記対応関係を算出することを特徴とする請求項３に記載の画像処理装置。
8. 前記設定手段は、前記第１の投影面に対応する視点位置と、前記第２の投影面の視点位置とが同じ位置になるように、前記第１の投影面と前記第２の投影面とを仮想空間に配置することを特徴とする請求項７に記載の画像処理装置。
9. 前記第１の投影面は平面であり、前記第２の投影面は水平方向に平面が湾曲した面であることを特徴とする請求項１乃至８の何れか一項に記載の画像処理装置。
10. 前記表示部は、画像を表示可能な平面状の表示画面が複数、配置された構成であり、
    前記生成手段は、前記複数の表示画面それぞれに表示するための複数の表示画像を生成することを特徴とする請求項１乃至９の何れか一項に記載の画像処理装置。
11. 前記第２の投影面の形状と前記表示部の形状は異なることを特徴とする請求項１０に記載の画像処理装置。
12. 前記複数の表示画面のうち少なくとも２つの表示画面は、各表示画面における法線が交点を持つように配置されることを特徴とする請求項１０に記載の画像処理装置。
13. 前記第１の投影面は、前記入力画像と同じアスペクト比である矩形面であることを特徴とする請求項４に記載の画像処理装置。
14. 前記設定手段は、前記仮想空間における視点位置から前記第１の投影面を見た際の見込み角が前記撮像画角と一致するように、前記第１の投影面のサイズと位置を算出することを特徴とする請求項７に記載の画像処理装置。
15. 前記設定手段は、前記視点位置を中心としたおうぎ形の柱を構成する投影面を前記第２の投影面とし、前記第２の投影面の弧の長さと高さとの比が、前記第１の投影面の幅と高さの比と一致するように設定することを特徴とする請求項３または７に記載の画像処理装置。
16. 前記生成手段は、
    前記表示部に対応する仮想カメラを用いて、前記仮想カメラに対応する画像をレンダリングするレンダリング処理を実行することにより、前記表示画像を生成することを特徴とする請求項１乃至１５のいずれか一項に記載の画像処理装置。
17. 前記生成手段は、前記仮想カメラが前記仮想空間上において撮像した時に得られる画像の各画素が、前記入力画像において対応する位置を算出し、前記算出した位置に基づいて前記入力画像をサンプリングすることで、前記仮想カメラに対応する表示画像を生成することを特徴とする請求項１６に記載の画像処理装置。
18. 画像を表示する表示部を有する表示システムであって、
    前記表示部は、画像を表示可能な平面状の表示画面が複数、配置された構成であり、
    前記複数の表示画面それぞれに表示する表示画像は、１つの撮像装置が撮像することにより得られる１つの入力画像に基づいて生成され、
    前記表示部は、前記入力画像を、円筒の一部を切り出した形状の投影面に投影された画像を表示することを特徴とする表示システム。
19. コンピュータを請求項１乃至１７の何れか一項に記載の画像処理装置として機能させるためのプログラム。
20. 表示部を有する表示システムに表示するための表示画像を生成する画像処理方法であって、
    １つの撮像装置が撮像することにより得られる１つの入力画像を入力し、
    前記入力画像に対応する第１の投影面と前記表示部に対応する第２の投影面とを対応づける対応関係に基づいて、前記入力画像から前記表示画像を生成することを特徴とする画像処理方法。

Images