JP2019146004A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 広視野な表示部に画像を表示する表示システムに対して、違和感の少ない表示画像を生成する。【解決手段】 入力画像を撮影したときの撮影画角を取得する第１の取得手段と、表示部を含む表示システムにおいて、視点位置から前記表示部を鑑賞した時の見込み角である表示角を示す表示システム情報を取得する第２の取得手段と、仮想空間に投影面を設定する設定手段と、前記撮影画角と前記表示角とに基づいてパラメータを算出する算出手段と、前記仮想空間における前記投影面と前記表示部との対応関係を用いて、前記表示部に表示するための表示画像を生成する生成手段とを有し、前記生成手段は、前記パラメータを用いて前記表示部における位置が前記投影面において対応する位置を算出し、前記算出した位置の画素値を前記入力画像に基づいてレンダリングすることで、前記表示画像を生成する。【選択図】 図２

Description

本発明は、広視野な画像を表示する表示システムのための画像を生成する技術に関する。

従来、画像を表示する表示システムの一つとして、鑑賞者の視野を覆うように配置された表示画面に画像を表示することで、鑑賞者に高い臨場感を与えるシステムが知られている。

特許文献１は、鑑賞者に凹面を向けた球面状の広視野角のスクリーンに画像を表示する方法について記載している。特許文献１に記載された方法によれば、平面状の画像を球面形状に貼り付けるマッピング処理を行うことで、スクリーンに表示する画像を生成している。

特開２００７−３１８７５４号公報

広視野な画像を生成するためには、広い撮影画角で撮像された画像であることが望ましい。しかしながら、鑑賞者が表示部を見込む角度（以降、表示角と記述する）に対して撮影画角が足らないという場合もある。このような場合に、表示角を満たすように画像の画角を広げる画像処理を画像に対して実行すると、従来技術においては、鑑賞者の視点位置などを考慮していないため、表示された画像に不自然な歪みが発生し、鑑賞者に違和感を与えてしまう。

そこで本発明は、広視野な表示部に画像を表示する表示システムに対して、違和感の少ない表示画像を生成することを目的とする。

上記課題を解決するため本発明は、入力画像を撮影したときの撮影画角を取得する第１の取得手段と、表示部を含む表示システムにおいて、視点位置から前記表示部を鑑賞した時の見込み角である表示角を示す表示システム情報を取得する第２の取得手段と、仮想空間に投影面を設定する設定手段と、前記撮影画角と前記表示角とに基づいてパラメータを算出する算出手段と、前記仮想空間における前記投影面と前記表示部との対応関係を用いて、前記表示部に表示するための表示画像を生成する生成手段とを有し、前記生成手段は、前記パラメータを用いて前記表示部における位置が前記投影面において対応する位置を算出し、前記算出した位置の画素値を前記入力画像に基づいてレンダリングすることで、前記表示画像を生成することを特徴とする。

広視野な表示部に画像を表示する表示システムに対して、違和感の少ない表示画像を生成することが可能となる。

画像処理装置のハードウェア構成を示す図 画像処理装置の機能構成を示すブロック図 画像処理装置で行われる処理の流れを示すフローチャート 表示システムの構成例を示す図 投影面設定処理の流れを示すフローチャート 表示画像生成処理の流れを示すフローチャート 表示部と平面投影面との関係を示す図 平面投影面と入力画像との対応関係を示す図 表示部と平面投影面との関係を上方から見た図 入力画像において表示画像生成処理に使用される領域を示す図 視点位置と表示角との関係を説明するための図 表示システムの構成例を示す図 表示部、平面投影面、円筒投影面の関係を示す図 表示画像生成部の詳細な構成を示す図 投影面設定処理の流れを示すフローチャート 表示部と投影面とを上方から見た図 表示画像生成処理の流れを示すフローチャート

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を必ずしも限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜第１実施形態＞
本実施形態では、視聴者の視野を覆うように画像を表示可能な湾曲スクリーンを用いて、広視野な画像を表示する表示システムのための画像処理装置を例に説明する。図４は、本実施形態が想定する表示システムの例を示す。本実施形態における表示システムにおいては、湾曲スクリーン４０１により画像を表示する表示部が構成されている。湾曲スクリーン４０１は、平面スクリーンを、視点位置に対して水平方向に湾曲させた形状になっている。湾曲スクリーン４０１は、円筒の一部を切り出したような形状ともいえる。この表示システムにおいては、不図示のプロジェクタが、鑑賞者の上方に配置されている。プロジェクタが湾曲スクリーン４０１に対して画像を投影することで、湾曲スクリーン４０１に画像を表示できる。このように表示システムにおいては、湾曲スクリーン４０１が湾曲している凹面側に画像を表示することで、表示部が鑑賞者の視野を覆う。この表示システムに画像を表示すると、鑑賞者に対して、表示されている画像を撮像した場にいるかのような臨場感を与えることができる。本実施形態では、図４に示す表示システムに表示する表示画像を生成する画像処理装置について、説明する。なお、本実施形態において、鑑賞者が表示システムにおける表示部に表示された画像を見込む角度を、表示角と呼ぶ。本実施形態における画像処理装置は、１台の撮像装置（例えば、デジタルカメラ）を用いて撮影した入力画像に基づいて、湾曲スクリーン４０１に表示するための表示画像を生成する。

図１は、本実施形態における画像処理装置のハードウェア構成を示す。ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及びハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１００を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。ＨＤＤＩ／Ｆ１０４は、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスであり、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置を接続する。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からのデータ読み出し、およびＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開し、同様に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することが可能である。そしてＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとみなし、実行することができる。入力Ｉ／Ｆ１０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスであり、キーボードやマウスなどの入力デバイス１０７を接続する。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことが可能である。出力Ｉ／Ｆ１０８は、例えばＤＶＩやＨＤＭＩ(登録商標）等の映像出力インタフェイスであり、液晶ディスプレイやプロジェクタなどの出力デバイス１０９を接続する。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して出力デバイス１０９にデータを送り、表示を実行させることができる。本実施形態において出力デバイス１０９は、図４に示す表示部を有する表示システムである。

図２は、本実施形態における画像処理装置の機能構成を示すブロック図である。図２（ａ）において画像処理装置は、投影面設定部２０１、画像取得部２０２、表示装置情報取得部２０３、視点位置情報取得部２０４、撮像パラメータ取得部２０５、表示画像生成部２０６、画像出力部２０７を有する。投影面設定部２０１は、入力画像から表示システムにおける表示部に表示する表示画像を生成するための投影面を設定する。本実施形態では、入力画像に対応した平面状の仮想的な投影面（以降、平面投影面と呼ぶ）を用いて、入力画像から表示画像を生成する。平面投影面は、入力画像のアスペクト比と撮像によって得られた入力画像を撮像した際の撮像画角に応じて設定される。また投影面設定部２０１は仮想空間上に、表示部も配置する。

画像取得部２０２は、撮像することで得られた画像を取得し、入力画像として表示画像生成部２０６に出力する。表示システム情報取得部２０３は、表示システムにおける表示部（ここでは湾曲スクリーン）に関する情報を取得する。本実施形態では、スクリーン面の形状、大きさを示す情報などを取得するものとする。

視点情報取得部２０４は、鑑賞者の視点位置を示す視点情報を取得する。視点情報とは、表示システムにおける画像表示部を鑑賞する際の、鑑賞者の視点の３次元的な位置を示す情報である。本実施形態においては、鑑賞者が鑑賞する前に、事前に表示システムに表示する表示画像を生成するものとする。ただし図４に示す表示システムにおいては、表示角が変わると、表示部に表示する表示画像も変わる。表示角は、鑑賞者がどの程度表示部から離れた位置から表示部を鑑賞するかに応じて異なる。そこで本実施形態では、事前に表示画像を生成するために、どの位置から鑑賞者が鑑賞するかを想定しておく必要がある。本実施形態では、鑑賞者が表示部を鑑賞するのに望ましい視点位置を視点情報として取得することで、視点位置を特定しておくものとする。

撮像パラメータ取得部２０５は、撮像により入力画像を取得した際に設定されていた、撮像装置の撮像パラメータを取得する。撮像パラメータ取得部２０５は、入力画像に付帯されたメタデータに基づいて、撮像パラメータを取得することができる。あるいは、入力デバイス１０７からユーザが入力した情報に基づいて、撮像パラメータを取得する形態としてもよい。

表示画像生成部２０６は、視点位置と表示部との位置関係に基づいて、１つの入力画像から表示画像を生成する。ここでは表示画像生成部２０６は、表示画像をレンダリングする際のパラメータとして、表示角を調整するための表示角パラメータを算出する。表示画像生成部２０６は、表示角パラメータを用いて、平面投影面と表示部との対応関係を算出し、レンダリングする。表示画像生成部２０６の詳細については、後述する。画像出力部２０７は、生成された表示画像を表示システムに出力する。

以下、本実施形態の画像処理装置が実行する処理の流れについて説明する。図３は、本実施形態における画像処理の流れを示すフローチャートである。ＣＰＵ１０１は、ＲＯＭ１０３又はＨＤＤ１０４に格納された図３に示すフローチャートを実現するプログラムを読み出して、ＲＡＭ１０２をワークエリアとして実行する。これによりＣＵ１０１は、図２に示す各機能構成としての役割を果たす。なお、以降のフローチャートにおいては各工程（ステップ）を「Ｓ」と表記することとする。

Ｓ３０１において画像取得部２０２は、ＨＤＤ１０５に記憶された撮像画像を表す撮像画像データを入力画像として取得し、ＲＡＭ１０２に格納する。

Ｓ３０２において撮像パラメータ取得部２０５は、撮像画像データに付帯されたメタデータから、撮像パラメータを取得する。本実施形態において撮像パラメータ取得部２０５は、撮像時の撮像画角やレンズの射影方法を特定する情報を撮像パラメータとして取得する。本実施形態では、一般的なレンズで使用される中心射影方式のレンズを介して入力画像が撮像されたものとする。

Ｓ３０３において表示システム情報取得部２０３は、表示システムにおける画像表示部に関する表示システム情報を取得する。本実施形態において、表示システム情報取得部２０３は、画像を表示する表示部面の形状、大きさを示す情報を取得する。本実施形態においては、図４に示すように、表示部の数は１台である。表示部の形状は、湾曲した平面で、水平方向の弧の長さ２Ｒ_ｍａｘ、高さＨ_{ｃｕｒｖｅ}とする。また、視点位置から表示部を鑑賞した時の見込み角（表示角）は２φとする。これらの表示システム情報は、ユーザの指示に基づいて入力デバイス１０７からＲＡＭ１０２へ取得する。あるいは、これらの情報をあらかじめ表示システム情報のパッケージとしてＨＤＤ１０５に保持しておき、ＨＤＤ１０５から必要に応じて選択するようにしても良い。

Ｓ３０４において視点情報取得部２０４は、ユーザの指示に基づいて入力デバイス１０７から視点情報を取得する。本実施形態では視点情報取得部２０４は、湾曲スクリーン４０１の画面における中心位置からの距離Ｄｖｉｅｗを視点情報として取得する。

Ｓ３０５において投影面設定部２０１は、表示画像を生成する際に使用する平面投影面を設定する。投影面の設定処理の詳細は後述する。

Ｓ３０６において表示画像生成部２０６は、表示部（湾曲スクリーン４０１）に表示する表示画像を示す表示画像データを生成する。表示画像生成処理の詳細は後述する。

Ｓ３０７において画像出力部２０７が生成された表示部に対応する表示画像をＲＡＭ１０２から出力Ｉ／Ｆ１０８を介して出力デバイス１０９に出力する。あるいは、生成された表示画像をＨＤＤ１０５に記憶するようにしてもよい。

＜投影面設定処理＞
次に、投影面設定処理について詳細に説明する。投影面設定処理では、表示画像生成処理において使用する投影面を設定する。図５は、投影面設定部２０１が実行する投影面設定処理の詳細を示すフローチャートである。以下フローチャートの各ステップについて説明する。

Ｓ５０１において投影面設定部２０１は、平面投影面を生成する。平面投影面は、入力画像と同じアスペクト比である矩形の平面により構成される。また投影面設定部２０１は、視点位置から平面投影面を見た際の見込み角が、撮影画角と一致するように、平面投影面のサイズと位置を算出し、仮想空間上に配置する。

図７は、視点位置と表示部と仮想的な投影面との関係を示す図である。仮想空間において、視点位置を原点とするＸＹＺ３次元座標を定義する。このような仮想空間において、平面投影面はＸＹ平面に平行で、かつＺ軸が平面投影面の中心を通るような位置に配置される。入力画像における水平方向の撮影画角の半画角をθとすると、図７に示す通り視点位置からの平面投影面に対する見込み角の半画角はθとなる。

Ｓ５０２において投影面設定部２０１は、表示システム情報と視点情報を取得する。Ｓ５０３において投影面設定部２０１は、表示システム情報と視点情報に基づいて、表示部を仮想空間上に配置する。具体的には、原点（視点位置）と湾曲スクリーン４０１の中心位置との距離がＤｖｉｅｗとなるように、表示部の形状を有するスクリーンを配置する。つまり湾曲スクリーン４０１の中心座標は（０，０，Ｄｖｉｅｗ）である。また湾曲スクリーン４０１は、Ｚ軸を中心に左右対称になるように仮想空間に配置されている。本実施形態における湾曲スクリーン４０１は、上から見たときの断面が表示角と同じ中心角を有するおうぎ形であり、円の中心が視点位置に一致している。

以上の通り投影面設定部２０１は、仮想空間に入力画像に対応する平面投影面と表示部を配置する。

＜表示画像生成処理＞
ここで表示画像生成処理について詳細に説明する。表示画像生成部２０６は、仮想空間において視点位置に配置された仮想カメラによりレンダリングすることで、表示部に表示するための表示画像を生成する。

図２（ｂ）は、表示画像生成部２０６の詳細な構成を示すブロック図である。第１算出部２０６１は、入力画像と平面投影面との対応関係を算出する。仮想カメラ設定部２０６２は、複数のディスプレイそれぞれに対応する仮想カメラを仮想空間上に設定する。本実施形態が想定する表示システムにおいては、スクリーンは１台なので、仮想カメラも１つ設定する。レンダリング処理部２０６４は、仮想カメラについて、入力画像と平面投影面との対応関係を用いて、仮想カメラに結像する画像の各画素の画素値を算出することで、表示画像を生成する。レンダリング処理部２０６４は、表示角と撮影画角に応じた表示角調整用のパラメータ（以下、表示角パラメータとする）を用いて、仮想カメラに結像する画像における各画素のＸ座標と平面投影面におけるＸ座標とを対応関係を算出する。仮想カメラに結像する画像とはつまり、湾曲スクリーン４０１に投影される画像である。

ここで表示角パラメータについて説明する。図９は、表示部と平面投影面とを上部から見た図である。平面投影面の水平方向の長さの半分をＬ_ｍａｘ、表示部における弧の長さの半分をＲ_ｍａｘとする。表示部に対応する各位置は、平面投影面の何れかの値に対応し、平面投影面の右端を表示部における右端に対応させるとする。また、表示部上の点Ｐと原点Ｏとを結ぶ線分とＺ軸とのなす角をφ_ｐとする。表示部上の点Ｐが対応する平面投影面上の点を点Ｐ’とする。平面投影面上の水平方向の長さと表示部上の弧の長さが線形に対応するものとすると、長さＬ_ｍａｘに対する平面投影面におけるＺ軸からＰ’までの長さの比は、弧Ｒ_ｍａｘに対する円筒投影面上におけるＺ軸から点Ｐまでの弧の長さは、式（１）のように一致する。

なおｘ_ｐ’は、点Ｐ’のＸ座標であり、平面投影面におけるＺ軸から点Ｐ’までの長さに相当する。また、表示部を上から見たときの形状における半径をｒとする。式（１）をｘ_ｐ’について解くと、式（２）が得られる。

ここで、平面投影面の水平方向の長さの半分Ｌ_ｍａｘは、式（３）の通りに表される。

ただしＬ_ｚは、平面投影面のＺ座標を示し、一定の値である。また、円筒投影面の弧の半分をＲ_ｍａｘとすると、弧Ｒ_ｍａｘは式（４）の通りに表すことができる。

ここで、Ｒ_ｍａｘ／Ｌ_ｍａｘをｋとおくと、式（５）となる。

本実施形態では、このように表示角と撮影画角とによって決められるｋを表示角パラメータとして算出する。式（２）と式（５）とを用いると、レンダリング算出部２０６４は、平面座標系における点Ｐ’のＸ座標を、式（６）によって算出することができる。

図６は、本実施形態における表示画像生成処理の詳細を示すフローチャートである。

Ｓ６０１において第１算出部２０６１は、仮想空間における平面投影面の各頂点の３次元座標と入力画像の画素位置を示す２次元座標の間の対応付けを行う。これは、一般的なＣＧレンダリングにおけるＵＶマッピングと同様の処理である。中心射影のレンズを介して撮像された入力画像を用いる場合、図８に示すように、平面投影面の四隅の座標それぞれを、入力画像の四隅の画素位置を示す座標と対応付ける。ここでは、入力画像において、左上の画素を原点（０，０）とするＵＶ座標系により各画素の画素位置を示すものとする。第１算出部２０６１は、入力画像における各頂点のＵＶ座標を取得し、平面投影面の各頂点の３次元座標と対応づける。四隅以外の各画素のＵＶ座標については、線形補間により算出する。なお、魚眼レンズのようにレンズの射影方式が等距離射影や等立体角射影の場合は、中心射影で再投影を行ってから同様の処理を行えばよい。

Ｓ６０２においてレンダリング処理部２０６４は、表示角パラメータを算出しておく。レンダリング処理部２０６４は、投影面設定部２０１が仮想空間に平面投影面と表示部を配置した位置と表示システム情報が示す表示角、撮影パラメータが示す撮影画角に基づいて、式（５）により表示角パラメータを算出する。

Ｓ６０３において仮想カメラ設定部２０６２は、表示画像のレンダリング処理に使用する仮想カメラを仮想空間上に配置する。仮想カメラの位置と画角を設定する。本実施形態では、表示部に対して１台の仮想カメラを設定する。仮想カメラ設定部２０６２はまず、仮想空間における原点、つまり視点位置に仮想カメラを設置する。また、仮想カメラの向きは、表示部の中心に対して仮想カメラの光軸が向くように設定される。仮想カメラの画角は、表示角２φとする。

Ｓ６０４においてレンダリング処理部２０６４は、仮想カメラから撮像した時に得られる画像における各画素の画素値をレンダリングするために、表示部における点Ｐに対応する平面投影面上の点Ｐ’のＸ座標を、式（６）を用いて算出する。

Ｓ６０５においてレンダリング処理部２０６４は、表示部における点Ｐに対応する平面投影面上の点Ｐ’のＹ座標を算出する。本実施形態では、平面投影面のアスペクト比と表示部のアスペクト比（弧の長さと高さの比）は必ずしも一致していない。そのため、平面投影面上の点Ｐ’のＹ座標を算出する際に、この差を考慮する必要がある。ここで、平面投影面の幅２Ｌ_ｍａｘに対して、表示部のアスペクト比（Ｈ_{ｃｕｒｖｅ／}２Ｒ_ｍａｘ）を乗じて求めた高さをｈとする。平面投影面において、−ｈ／２から点Ｐ’までの高さに対する前述の高さｈとの比と、表示部における下辺から点Ｐまでの高さに対する表示部の高さとの比は、式（７）の通り一致する。

従って点Ｐ’のＹ座標ｙ_ｐ’は、式（８）により表される。

なお、Ｚ座標については、平面投影面が平面であるため、平面投影面上のどの点においてもＺ座標は変わらない。よって、常に投影面設定処理で設定された平面投影面のＺ座標Ｌ_ｚと一致させればよい。

Ｓ６０６においてレンダリング処理部２０６４は、Ｓ６０１において算出された平面投影面上の点Ｐ’の３次元座標と入力画像を示す２次元座標との対応関係を用いて、表示部における点Ｐの３次元座標を入力画像における位置に変換する。算出した入力画像上の位置に基づいてサンプリングすることで、仮想カメラにより得られる画像における画素の画素値を算出する。具体的には、レンダリング処理部２０６４は、算出した入力画像における位置の周囲４画素の画素値を取得する。レンダリング処理部２０６４は、入力画像から取得した４画素の画素値に対して、算出した位置に応じた補間演算を実行することにより、仮想カメラにより得られる画像における画素の画素値を決定する。なお、平面投影面の高さをＨ_ｆｌａｔとしたときに、ｙ_ｐ’の値が−Ｈ_ｆｌａｔ／２より小さい、あるいはＨ_ｆｌａｔ／２より大きい場合は、入力画像上に対応する点がないため、画素値は黒色を示す値を画素値として設定する。

Ｓ６０７においてレンダリング処理部２０６４は、仮想カメラの全ての画素に対して処理を完了したか否かを判定する。すべての画素に対して処理が完了していな場合は、Ｓ６０４に戻り、未処理の画素に対してサンプリングする。すべての画素に対して処理が完了していれば、表示画像の生成処理を完了する。

＜効果＞
図１０は、本実施形態において生成される表示画像を示す図である。このような表示画像をプロジェクタにより湾曲スクリーン４０１に投影することで、違和感の少ない広視野な画像を表示することができる。撮影画角が表示角より小さい入力画像と表示画像とは、入力画像を水平方向に拡大したような関係にある。本実施形態では、撮影画角が表示角より小さい入力画像を、視点位置から表示部を見たとき角度に対して均等になるように、表示部に対応づけている。そのため視点位置から見た時に被写体の拡大率が一定となるため、鑑賞者にとって自然な表示画像が表示される。

本実施形態ではこの通り、表示角パラメータｋを用いて表示画像を生成した。表示角パラメータｋを用いない場合の、平面と上面と表示部上との対応関係の算出方法について考える。図９において表示部上の点ＳにおけるＸ座標をｘ_ｓ、Ｚ座標をｚ_ｓとすると、点Ｓにおける角度φ_ｓは式（９）〜（１１）により表すことができる。なお角度φ_ｓは、点Ｓが表示部の左端上の点Ｓ_Ｌである時の角度が０度であるものとする。

点ＳがＸＺ平面における第３象限にある（ｘ_ｓ＜０）場合、点Ｓと原点を結ぶ線分とＸ軸と原点を結ぶ線分とのなす角から、円筒投影面の左端上の点Ｓ_Ｌと原点を結ぶ線分とＸ軸と原点を結ぶ線分とのなす角を減算することで、角度φ_ｓを算出できる。また、点ＳがＸＺ平面における第１象限にある（ｘ_ｓ＞０）場合は、表示角２φから式（１）により算出される角度を減算することで、角度φ_ｓを算出できる。点ＳがＺ軸上（ｘｓ＝０）にある場合は、角度φ_ｓは表示角の半分φとなる。上述の通り平面投影面上の各点は、表示部において対応する点が角度に対して均等になるように対応づけている。この時、平面投影面上における点Ｓ_Ｌ’と点Ｓ’の長さに対する平面投影面の幅の比と、表示部において点Ｓから点Ｓ_Ｌまでの弧の長さに対する円筒投影面の弧の長さとの比は、式（１２）の通りに一致する。

従って点Ｓ’のＸ座標ｘ_ｓ’は、角度φ_ｓによって式（１３）の通りに表される。

式（１３）における角度φ_ｓにｘ_ｓの位置に応じて式（９）、式（１０）、式（１１）を代入することにより、表示部上の点ｘ_ｓを平面投影面上の点ｘ_ｓ’に対応付けることができる。ただしこのような場合分けは煩雑な演算になる。本実施形態のように式（６）を用いて平面投影面上のＸ座標を算出する方法は、式（９）、式（１０）、式（１１）、式（１３）を用いた演算に比べてより演算負荷が少ない。

さらに、図４に示すような表示システムにおいて臨場感のある表示画像を生成するためには、表示部に対する視点位置を適切に設定する必要がある。図１１は、仮想空間における表示部と平面投影面とを上から見た図である。図１１（ａ）は、撮影画角と表示角とがほぼ一致している場合である。この場合は、平面投影面を視点位置から鑑賞した時に見える範囲が、表示部に表示されることになるので、鑑賞者はあまり違和感なく表示部を鑑賞することができる。ただし、視点位置を表示部から遠い位置に設定すると、鑑賞者の視野を広く表示部が覆うことができないため、臨場感が損なわれてしまう。

一方図１１（ｂ）は、撮影画角よりも表示角の方が大きい場合を示している。視点位置を表示部に近づけると、表示角は大きくなる。この場合、表示部は鑑賞者の視野を広く覆うことができる。また鑑賞者から見える画像は本来、平面投影面に投影される画像よりも広い範囲に相当する。平面投影面を拡張した点線を含む範囲が、鑑賞者の視点位置から見えるはずの範囲である。ただし、平面投影面の両端を、表示部それぞれの両端に対応づけることで、表示画像の表示角を満たす表示画像を生成する。つまり上述の通り、撮影画角が表示角よりも小さい場合、表示画像生成部２０６は、表示部に表示する表示画像を生成するために、平面投影面を水平方向に拡大して表示することに相当する。しかしながらこのような場合鑑賞者は、本来の被写体の形状やサイズとは異なって見えたり、表示部における各被写体との距離感が異なって見えたりしてしまう場合がある。このように、表示部に対する視点位置や入力画像の撮影画角に応じて、表示部に表示される表示画像は異なる。臨場感のある表示画像を生成するためには、視点位置は表示部に適度に近い方が望ましいが、視点位置からの表示角が入力画像の撮影画角よりも大きすぎると、不自然な表示画像になってしまう。

本実施形態では、表示角パラメータを用いることで、少ない演算負荷により表示部と入力画像との仮想空間における対応関係を算出することができる。これにより、視点位置または表示角を調整しながら繰り返し表示画像を生成する必要がある場合には特に、演算の負荷を低減することができる。

＜第２実施形態＞
第１実施形態では、湾曲スクリーン４０１に表示する表示画像を生成する方法いついて説明した。第２実施形態では、複数の平面状の表示画面を用いて、広視野な画像を表示システムに表示するための画像処理について説明する。なお、第１実施形態と同様の構成については同一の符号を付し、詳細な説明を省略する。

図１２は、本実施形態が想定する表示システムの例を示す。本実施形態における表示システムにおいては、センターディスプレイ１２０１、左ディスプレイ１２０２、右ディスプレイ１２０３の３つのディスプレイにより、画像を表示する表示部が構成される。センターディスプレイ１２０１、左ディスプレイ１２０２、右ディスプレイ１２０３は、上方から見たときに等脚台形を描くように配置されている。各ディスプレイは例えば、液晶ディスプレイなどの自発光デバイスを用いる。センターディスプレイ１２０１は、鑑賞者の正面に配置されている。左ディスプレイ１２０２は、センターディスプレイ１２０１の鑑賞者から見て左側の端と接し、かつセンターディスプレイ１２０１とのなす角が角度θｓｃを有するように配置されている。同様に右ディスプレイ１２０３は、センターディスプレイ１２０１の鑑賞者から見て右側の端と接し、かつセンターディスプレイ１２０１とのなす角が角度θｓｃを有するように配置されている。従って３つのディスプレイは、各ディスプレイ面からの法線が交点をもつように、配置される。そして各ディスプレイ面の交点側に、それぞれに対応する表示画像を表示する。

このように３つの平面状の表示画面（ディスプレイ）を配置することで、表示部が鑑賞者の視野を覆う。この表示システムに画像を表示すると、鑑賞者に対して、表示されている画像を撮像した場にいるかのような臨場感を与えることができる。なお、本実施形態においては、左ディスプレイ１２０２の左端の上下中央の点と視点位置を結んだ線分と、右ディスプレイ１２０３の右端の上下中央の点と視点位置とを結んだ線分とのなす角を、表示角とする。また、各ディスプレイに表示する表示画像は、いずれも共通の１入力画像から生成される。つまり本実施形態では、１台の撮像装置（例えば、デジタルカメラ）を用いて撮影した入力画像に基づいて、３つの表示画像が生成されることになる。

本実施形態においては、投影面設定部２０１における投影面設定処理が異なる。本実施形態において投影面設定部２０１は、仮想空間上に２つの異なる投影面を設定する。図１３は、表示部と２つの投影面を示す図である。第１の投影面は、平面状の投影面であり、入力画像を仮想空間上に配置するための投影面（以降、平面投影面と呼ぶ）である。第２の投影面は、円筒状の投影面であり、入力画像を、表示部の構成に投影するための投影面（以降、円筒投影面と呼ぶ）である。第２の投影面は、入力画像を表示部の構成（形状）に近似する役割を有する。本実施形態における表示部は、３つのディスプレイが上から見たときに角度を有するように配置されている。各ディスプレイに対して平面投影面から直接対応づけて各ディスプレイの表示画像を生成すると、視点位置から画像を鑑賞した時に、２つのディスプレイが隣接する境界付近において被写体が折れ曲がったように見えてしまう。これは視点に対する被写体との距離が、表示部との距離に変換されてしまうためである。そこで本実施形態では、平面投影面（第１の投影面）を円筒投影面（第２の投影面）に投影して画像に基づいて、各ディスプレイの表示画像が生成される。すなわち第２の投影面は、平面よりは３つのディスプレイによって描かれる形状に類似しており、かつ、上方から見たときに角のない形状の投影面であることが望ましい。円筒投影面上の点と視点位置との距離は、水平方向において滑らかに変化する。このような第２の投影面上に平面投影面を対応付けると、視点位置から円筒投影面に投影された画像を鑑賞しているように、表示画像が表示部に表示される。その結果、２つのディスプレイが隣接する境界付近においても被写体が折れ曲がってみえる現象を抑制することができる。

図１５は、本実施形態における投影面設定処理の詳細なフローチャートである。

Ｓ１５０１において投影面設定部２０１は、平面投影面を生成し仮想空間に配置する。平面投影面は、撮像画像と同じアスペクト比である矩形の平面により構成される。また投影面設定部２０１は、視点位置から平面投影面を見た際の見込み角が、撮影画角と一致するように、平面投影面のサイズと位置を算出し、仮想空間上に配置する。

Ｓ１５０２において投影面設定部２０１は、視点位置から表示部を見た際の見込み角である表示角を取得する。Ｓ１５０３において投影面設定部２０１は、円筒投影面の弧の中心角を、Ｓ５０２において取得した表示角２φにより設定する。

Ｓ１５０４において投影面設定部２０１は、仮想空間上に円筒投影面を生成する。円筒投影面は、円筒の側面をＳ１５０３において設定された中心角により切り出した形状となる。円筒投影面の高さは、円周の長さと高さの比が平面投影面の幅と高さとの比と一致するように設定しておく。投影面設定部２０１は、表示システム情報に応じて設定した円筒投影面を、円筒の中心と視点位置が一致するように、仮想空間上に配置する。従って、仮想空間におけるＺ軸が円筒投影面の中心を通る位置に円筒投影面が配置される。以上の通りに、図１３に示すように、投影面設定部２０１が仮想空間に２つの投影面を配置する。

本実施形態における表示画像生成処理の詳細について説明する。図１４は、本実施形態における表示画像生成部２０６の詳細な構成を示すブロック図である。表示画像生成部２０６は、仮想空間において視点位置に配置された仮想カメラにより円筒投影面をレンダリングすることで、各ディスプレイに対応する表示画像を生成する。第１算出部２０６１は、入力画像と平面投影面との対応関係を算出する。第２算出部１４０１は、平面投影面と円筒投影面との対応関係を算出する。仮想カメラ設定部２０６２は、複数のディスプレイそれぞれに対応する仮想カメラを仮想空間上に設定する。本実施形態が想定する表示システムにおいては、ディスプレイは３台あるので、仮想カメラも３つ設定する。レンダリング処理部２０６４は、各仮想カメラについて、入力画像と平面投影面との対応関係、平面投影面と円筒投影面との対応関係を用いて、仮想カメラに結像する画像の各画素の画素値を算出することで、表示画像を生成する。

図１７は、本実施形態における表示画像生成処理の詳細を示すフローチャートである。本実施形態では、Ｓ１７０３以降の処理が第１実施形態と異なる。なお以降の処理において、第１実施形態における表示部は、円筒投影面に置き換える。本実施形態において表示部は、図１３に示すように円筒投影面とは異なる形状の表示部である。

Ｓ１７０３において第２算出部２０６３は、仮想空間において円筒投影面と平面投影面との対応関係を算出する。図１６（ａ）は、仮想空間における表示部と円筒投影面と平面投影面を上方から見た図である。表示部における点Ｐは、視点位置と点Ｐを結んだ線分と円筒投影面との交点を点Ｑとする。このとき、第１実施形態における表示部（湾曲スクリーン）上の点Ｐと平面投影面上の点Ｐ’との対応関係を、本実施形態では円筒投影面上における点Ｑと平面投影面上の点Ｐ’との対応関係に置き換えて考えることができる。なお、Ｚ軸と表示部上における点Ｐとのなす角φ_ｐと、Ｚ軸と円筒投影面上における点Ｑとのなす角φ_ｑは一致する。従って、第１実施形態と同様に、平面座標系における点Ｐ’のＸ座標は、式（６）によって算出できる。

同様に第２算出部２０６３は、表示部における点Ｐに対応する平面投影面上の点Ｐ’のＹ座標も、式（８）によって算出できる。ただし本実施形態では、Ｈ_{ｃｕｒｖｅ}は円筒投影面の高さである。また、平面投影面のアスペクト比（Ｈ_ｆｌａｔ／２Ｌｍａｘ）と円筒投影面のアスペクト比（Ｈ_{ｃｕｒｖｅ／}２Ｒ_ｍａｘ）は一致するため、式（８）におけるｈを平面投影面の高さＨ_ｆｌａｔに置き換えて計算すればよい。Ｚ座標については、平面投影面が平面であるため、平面投影面のＺ座標Ｌ_ｚと一致させればよい。

Ｓ１７０４において仮想カメラ設定部２０６２は、表示画像のレンダリング処理に使用する仮想カメラの位置と向きを設定する。図１６（ｂ）は、本実施形態における仮想カメラの位置と向きを説明するための図である。仮想カメラ設定部２０６２は、各ディスプレイに対応した計３台の仮想カメラを用意する。具体的にはセンターディスプレイに対しては仮想カメラＡ、左ディスプレイに対しては仮想カメラＢ、右ディスプレイに対しては仮想カメラＣを仮想空間上に設定する。それぞれの仮想カメラの位置は、視点位置、つまり円筒投影面の中心とする。仮想カメラの向きは、それぞれの仮想カメラに対応するディスプレイの中心に対して仮想カメラの光軸が向くように設定される。

Ｓ１７０５において仮想カメラ設定部２０６２は、仮想カメラの画角を設定する。仮想カメラ設定部２０６２は、各仮想カメラに対応するディスプレイを視点位置から見た際の見込み角を各仮想カメラの画角として設定する。

Ｓ１７０６においてレンダリング処理部２０６４は、３台の仮想カメラそれぞれについてレンダリング処理を実行し、表示画像を表す表示画像データを生成する。具体的にはまず、仮想カメラが仮想空間上で撮像した時に得られる画像の各画素に投影される円筒投影面上の３次元座標を算出する。次にＳ１７０３において算出した平面投影面と円筒投影面との対応関係に基づいて、円筒投影面上の３次元座標を平面投影面上の３次元座標に変換する。さらにＳ６０１において算出した平面投影面と入力画像との対応関係に基づいて、平面投影上の３次元座標を入力画像上の位置に変換する。これにより、仮想カメラにより得られる画像の画素が、入力画像上の位置に対応づく。

レンダリング処理部２０６４は、算出した入力画像上の位置に基づいてサンプリングすることで、仮想カメラにより得られる画像における画素の画素値を算出する。具体的には、レンダリング処理部２０６４は、算出した入力画像における位置の周囲４画素の画素値を取得する。レンダリング処理部２０６４は、入力画像から取得した４画素の画素値に対して、算出した位置に応じた補間演算を実行することにより、仮想カメラにより得られる画像における画素の画素値を決定する。各仮想カメラの全ての画素に対して行うことで、各ディスプレイに表示する表示画像が生成される。

以上の通り本実施形態では、３つの表示画面（ディスプレイ）に表示する表示画像を、１つの入力画像に基づいて生成した。表示角と撮影画角を用いて算出される表示角パラメータｋを用いることで、平面投影面のＸ座標と円筒投影面のＸ座標との対応関係を簡単に算出することができる。

なお本実施形態では、表示画像を表示する表示システムにおいて、３つのディスプレイにより表示部を構成する場合を例に説明した。表示部は、自発光型ディスプレイ以外にも、第１実施形態と同様にプロジェクタにより画像を投影するスクリーンを用いてもよい。この場合表示システムとしては、複数のスクリーンそれぞれに対応する複数のプロジェクタを、各スクリーンに表示画像を投影できるように設置する。あるいは、複数のプロジェクタが白い壁に投影する表示システムにも上記の実施形態を適用することができる。画像を投影する壁を上方から見たときに、図１２に示すディスプレイと同様の形状になっている場合、円筒投影面を用いて表示画像を生成することで同様の効果を得ることができる。なおこの場合白い壁に対して画像が投影される領域を、表示部とみなして表示システム情報を取得する。

またセンターディスプレイ４０１、左ディスプレイ４０２、右ディスプレイ４０３に対して１つの共通する円筒投影面を使用する例について説明した。これにより異なるディスプレイ間でも違和感のない表示を可能とする表示画像を生成できる。しかしながら、例えば、３面のディスプレイそれぞれに対して異なる曲面を持つ投影面を設定するようにしてもよい。この場合、３つの円筒投影面が滑らかに接続するように、構成されていることが望ましい。

＜その他の実施形態＞
上述の実施形態では、表示角パラメータｋは、円筒投影面の弧の長さＲ_ｍａｘと平面投影面の水平方向の最大像高Ｌ_ｍａｘの単純な比から算出した。そのため、式（６）に示すように平面投影面の水平方向の位置と円筒投影面の弧上の位置との関係は線形となっている。しかしながら、例えば、平面投影面の水平方向の位置に対応する円筒投影面の弧上の位置との対応関係が単調増加となるように決定するようにしても同様の効果を得ることができる。例えば、平面投影面の水平方向の位置が外側に行くほど角度の変化量が大きくなる（画像として引き延ばされる）ように、平面投影面の水平方向の位置と円筒投影面の弧上の位置との対応関係を算出する。その結果、視点位置から見た際の正面方向の映像の歪みを抑えることができる。これにより、中央に被写体が集中して配置されているようなシーンにおいては、正面を注視する鑑賞者に対して、映像の歪の小さい自然な表示を実現することが可能となる。

また上述の実施形態では、図４に示すように鑑賞者に対して大型のスクリーンを用いた表示部を例に説明した。しかしながら、例えば頭部のみを覆う程度の大きさの表示部であっても、同様の表示システムを構成できる。例えば、ヘッドマウントディスプレイなどである。このような表示システムに対しても、上述の実施形態と同様、共通の入力画像１つから各表示画面の表示画像を生成する。さらに、仮想空間において、入力画像から表示角パラメータを用いてレンダリングすることで、違和感のない広視野な画像を簡易的に生成できる。

前述の実施形態において視点情報は、望ましい鑑賞者の位置を指定することにより、特定された。しかしながら例えば、実際に鑑賞者の位置を検出し、実際に表示システムを鑑賞している鑑賞者に応じて視点情報を設定してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１ 投影面設定部
２０２ 画像取得部
２０３ 表示システム情報取得部
２０４ 視点情報取得部
２０５ 撮像パラメータ取得部
２０６ 表示画像生成部
２０７ 画像出力部

Claims (10)

1. 入力画像を撮影したときの撮影画角を取得する第１の取得手段と、
   表示部を含む表示システムにおいて、視点位置から前記表示部を鑑賞した時の見込み角である表示角を示す表示システム情報を取得する第２の取得手段と、
   仮想空間に投影面を設定する設定手段と、
   前記撮影画角と前記表示角とに基づいてパラメータを算出する算出手段と、
   前記仮想空間における前記投影面と前記表示部との対応関係を用いて、前記表示部に表示するための表示画像を生成する生成手段とを有し、
   前記生成手段は、前記パラメータを用いて前記表示部における位置が前記投影面において対応する位置を算出し、前記算出した位置の画素値を前記入力画像に基づいてレンダリングすることで、前記表示画像を生成することを特徴とする画像処理装置。
2. 前記撮影画角は、前記表示角よりも小さいことを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記入力画像のアスペクト比と前記撮影画角とに応じて前記投影面を設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記算出手段は、前記撮影画角と前記表示角との比に基づいて前記パラメータを算出することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
5. 前記生成手段は、前記表示部における位置を示すＸ座標を、前記パラメータを用いて前記投影面におけるＸ座標に変換することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. 前記表示部は、画像を表示可能な平面状の表示画面が複数、前記視点位置を覆うように配置された構成であり、
   前記設定手段は、前記投影面として、前記入力画像に応じた第１の投影面と、前記第１の投影面とは異なる第２の投影面とを設定し、
   前記生成手段は、前記パラメータを用いて前記第１の投影面と前記第２の投影面との対応関係を算出することを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
7. 前記設定手段は、前記表示システム情報に基づいて、前記第２の投影面を設定することを特徴とする請求項６に記載の画像処理装置。
8. 前記表示部は、３つの表示画面を、各表示画面における法線が交点を持つように配置された構成であり、
   前記設定手段は、平面を水平方向に湾曲した形状の投影面を第２の投影面として設定することを特徴とする請求項６または７に記載の画像処理装置。
9. コンピュータを請求項１乃至８の何れか一項に記載の画像処理装置として機能させるためのプログラム。
10. 入力画像を撮影したときの撮影画角を取得し、
    表示部を含む表示システムにおいて、視点位置から前記表示部を鑑賞した時の見込み角である表示角を示す表示システム情報を取得し、
    仮想空間に投影面を設定する設定手段と、
    前記撮影画角と前記表示角とに基づいてパラメータを算出し、
    前記パラメータを用いて前記表示部における位置が前記投影面において対応する位置を算出し、前記算出した位置の画素値を前記入力画像に基づいてレンダリングすることで、前記表示部に表示するための表示画像を生成することを特徴とする画像処理方法。

Images