JP2020120236A - 映像表示装置および方法 - Google Patents

Abstract

【課題】スクリーンの曲面の形状等に起因して発生する幾何歪みを、好適に補正することができ、ユーザにとって見易い好適な映像を得ることができる技術を提供する。【解決手段】プロジェクタ１は、スクリーン２に映像を投影する映像表示装置であって、第１位置に配置された投影レンズ２２と、第２位置に配置されたカメラ１０とを備え、スクリーン２に曲面を持つ場合に、スクリーン２に投影した第１映像をカメラ１０によって撮影したカメラ映像を取得し、表示対象映像に対し、カメラ映像、第１位置および第２位置の情報に基づいて、第１仮想視点位置（仮想視点５）から見て曲面に起因する幾何歪みを補正するための幾何変換を行って、変換後映像をスクリーン２に投影する。【選択図】図１

Description

本発明は、プロジェクタ等の映像表示装置の技術に関し、特に、スクリーン等の映像投影面が凹凸や自由曲面の形状を持つ場合に適用して有効な技術に関する。

投影型映像表示装置は、スクリーン等の映像投影面が平坦ではない場合、例えば凹凸や自由曲面の形状を持つ場合、視聴者であるユーザが見る投影映像において、幾何歪みが発生する。従来、例えば学校や会社等の環境では、凹型の曲面等を持つ黒板やホワイトボードをスクリーンとして、プロジェクタによって映像を投影する場合がある。投影映像に幾何歪みがある場合、ユーザが見難いと感じる場合がある。

曲面に対し映像を投影する映像表示装置に係わる先行技術例としては、特開２００１−８３９４９号公報（特許文献１）が挙げられる。特許文献１には、映像投影装置として、設置調整作業の省力化を実現する旨が記載されている。特許文献１には、自由曲面のスクリーンに対して斜めに配置したプロジェクタで投影した映像を、ある視点位置で観察する状況で、テスト画像を投影し、あらかじめ逆の歪みを与えるための補正データを生成し、この補正データで投影したい映像を補正処理しプロジェクタで投影することにより、視点位置から見て歪みなく正しい映像を得る旨が記載されている。

特開２００１−８３９４９号公報

従来の投影型映像表示装置は、スクリーンの映像投影面の凹凸や自由曲面の形状等に起因して投影映像に発生する幾何歪みを、好適に補正することができる仕組みについては検討が不十分であり、改善の余地がある。

なお、特許文献１のような先行技術例の映像投影装置は、スクリーンに対し投影したテスト画像を、視点位置に設置されたカメラで撮影することで、投影映像中の点座標とカメラ映像中の点座標との対応関係に基づいて、映像を補正する。しかし、このような映像投影装置は、環境に合わせて、プロジェクタ本体とは別体のカメラをユーザの視点位置に設置して撮影するといった調整作業が必要である。そのため、ユーザの作業の手間が多い等、使い勝手等の点で課題がある。

本発明の目的は、投影型映像表示装置に関して、映像投影面の曲面の形状等に起因して発生する幾何歪みを、好適に補正することができ、ユーザにとって見易い好適な映像を得ることができる技術を提供することである。本発明の他の課題および効果等については、発明を実施するための形態において説明される。

本発明のうち代表的な実施の形態は、以下に示す構成を有する。一実施の形態の映像表示装置は、スクリーンに映像を投影する映像表示装置であって、第１位置に配置された投影レンズと、第２位置に配置されたカメラと、を備え、前記スクリーンに曲面を持つ場合に、前記スクリーンに投影した第１映像を前記カメラによって撮影したカメラ映像を取得し、表示対象映像に対し、前記カメラ映像、前記第１位置および前記第２位置の情報に基づいて、第１仮想視点位置から見て前記曲面に起因する幾何歪みを補正するための幾何変換を行って、変換後映像を前記スクリーンに投影する。

本発明のうち代表的な実施の形態によれば、投影型映像表示装置に関して、映像投影面における凹凸や自由曲面の形状等に起因して発生する幾何歪みを、好適に補正することができ、ユーザにとって見易い好適な映像を得ることができる。

本発明の実施の形態１の映像表示装置を含む、表示システムの概要構成を示す斜視図である。 実施の形態１の映像表示装置を含む表示システムの、トップビューおよびサイドビューの構成を示す図である。 実施の形態１の映像表示装置の機能ブロック構成を示す図である。 実施の形態１で、パターン映像の例を示す図である。 実施の形態１で、スクリーン距離について示す図である。 実施の形態１の映像表示装置の主な処理のフローを示す図である。 実施の形態１で、変換前後の投影映像および格子等の構成を示す図である。 実施の形態１で、投影映像、カメラ映像、スクリーン距離、および仮想カメラ映像等を示す図である。 実施の形態１で、変換前後の仮想カメラ映像を示す図である。 実施の形態１で、第１変換行列および第２変換行列等を示す図である。 実施の形態１で、キャリブレーション時のスクリーン距離を示す図である。 実施の形態１で、キャリブレーション時の実カメラ映像および仮想カメラ映を示す図である。 実施の形態１で、ステップＳ５の処理例のフローを示す図である。 実施の形態１で、ＧＵＩのメニューの表示例を示す図である。 本発明の実施の形態２の映像表示装置で、Ｘ軸の周りの傾きがある場合について示す図である。 実施の形態２で、変換後仮想カメラ映像を示す図である。 実施の形態２で、ＧＵＩの設定メニューの表示例を示す図である。 実施の形態２で、Ｙ軸の周りの傾きがある場合について図である。 実施の形態２で、Ｚ軸の周りの傾きがある場合について図である。 本発明の実施の形態３の映像表示装置で、スクリーンに障害物がある場合について示す図である。 本発明の実施の形態４の映像表示装置で、仮想カメラ映像の格子の分割数の間引きについて示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、全図面において同一部には原則として同一符号を付し、繰り返しの説明は省略する。

（実施の形態１）
図１〜図１４を用いて、本発明の実施の形態１の映像表示装置について説明する。

実施の形態１の映像表示装置であるプロジェクタは、スクリーンに曲面を持つ場合に、例えばプロジェクタ本体に内蔵されたカメラを用いて、投影映像に生じる幾何歪みを自動的に補正することができる変換機能を有する。この変換は、映像データの幾何変換であり、仮想視点位置から見て、曲面に起因する幾何歪みを補正するための変換である。これにより、仮想視点位置から見て幾何歪みが解消または低減された好適な投影映像が得られる。ユーザは、別体のカメラを設置して撮影するといった調整作業が不要である。

実施の形態１の映像表示装置は、第１位置に配置された投影レンズと、第１位置とは異なる第２位置に配置されたカメラとを備える。投影レンズの第１位置とカメラの第２位置との距離を含む位置関係は、例えば固定的であり、映像表示装置は、その位置関係の情報を既知である。映像表示装置は、第１映像を投影し、カメラを用いて第１映像を撮影したカメラ映像を得る。第１映像は、例えば格子の分割の構成に対応させたパターン映像である。映像表示装置は、カメラ映像および位置関係の情報に基づいて、スクリーンの投影映像の格子の各点を計算し、第１位置から格子の各点までの距離を計算する。格子および距離は、スクリーンの曲面の形状を表している。映像表示装置は、格子および距離の情報に基づいて、幾何歪みの補正のための変換行列を計算し、表示対象映像に対し、その変換行列を用いて幾何変換を行って、変換後映像をスクリーンに投影する。

仮想視点位置は、第１位置および第２位置とは異なる、仮想的に想定された標準的なユーザ視点位置である。実施の形態１の映像表示装置は、仮想視点位置から見た場合の投影映像である仮想カメラ映像を計算し、その仮想カメラ映像を用いて変換行列を計算する。

［（１）表示システム］
図１は、実施の形態１の映像表示装置であるプロジェクタ１を含む、映像システム全体の構成を、斜視で模式的に示す。図１は、プロジェクタ１およびスクリーン２の設置や利用の例を示す。本例では、スクリーン２は、凹型自由曲面を持つ。図１中、説明上の座標系として、絶対座標系ＣＳ０およびプロジェクタ座標系ＣＳ１を示す。図１の例では絶対座標系ＣＳ０とプロジェクタ座標系ＣＳ１とが同じである。この絶対座標系ＣＳ０は、水平面を構成する直交する２つの方向をＸ方向およびＺ方向とし、鉛直方向をＹ方向とし、Ｚ方向はプロジェクタ１とスクリーン２とが対向する方向とする。プロジェクタ座標系ＣＳ１は、プロジェクタ１を基準とした座標系、言い換えると投影レンズ２２から見た座標系であり、投影レンズ２２の位置Ｐ１を原点とし、（Ｘ，Ｙ，Ｚ）の各軸および対応する方向を有する。Ｘ軸は、プロジェクタ１本体の横、左右の方向に対応し、投影映像３内の水平方向に対応する。Ｙ軸は、プロジェクタ１本体の縦、上下の方向に対応し、投影映像３内の垂直方向に対応する。Ｚ軸は、プロジェクタ１本体の前後の方向に対応し、投影映像３の面に対する垂直方向に対応する。図１の状態では、プロジェクタ１が水平面に平行に設置されているので、プロジェクタ座標系ＣＳ１のＸ軸およびＺ軸は絶対座標系ＣＳ０の水平面の方向と一致しており、Ｙ軸は鉛直方向と一致している。

図１で、表示システムは、プロジェクタ１、映像ソース機器４、スクリーン２を有する。図示しないユーザは、空間内の図示しないいずれかの視点位置から、スクリーン２の投影映像３を見る。図１では、スクリーン２に対し、Ｚ方向で正対する位置で、水平面に平行に、プロジェクタ１が設置されている。プロジェクタ１は、スクリーン２の中央に対し、やや斜め下の位置に設置されている。対応して、プロジェクタ１の投影レンズ２２からの映像投影の方向、およびカメラ１０の方向は、やや斜め上の方向となっている。

スクリーン２は、プロジェクタ１側に対し凹型の自由曲面の形状を持つ。スクリーン２は、例えば学校等で使用される凹面型のホワイトボードであるが、これに限らず、各種の形状の物体が適用できる。スクリーン２は、凹型曲面や凸型曲面を含む自由曲面の形状を持つ物体が適用可能であり、平面の壁、面内に凹凸を持つ壁、カーテンのような波形状の物体も適用可能である。図１では、わかりやすいように、スクリーン２を包含する直方体を破線で示している。スクリーン２の中央の点を、位置Ｐ３で示す。スクリーン２の前側の曲面の領域内に、投影映像３の領域（破線で示す）が含まれている。投影映像３の中央の画素の点を、投影中央６とし、位置Ｐ６で示す。プロジェクタ１は、スクリーン２の領域内での投影映像３の領域（対応する位置Ｐ６）を変更できる。

映像ソース機器４は、例えばＤＶＤプレーヤーやＰＣ等、投影対象の映像データを持つ機器である。映像ソース機器４の出力は、有線または無線を通じて、プロジェクタ１の映像入力端子に接続されている。映像ソース機器４からの映像は、プロジェクタ１の映像入力端子に入力される。なお、プロジェクタ１に映像ソース機器４が内蔵されている形態も可能である。

プロジェクタ１の筐体にはカメラ１０が内蔵されている。カメラ１０は、プロジェクタ１の筐体の面のうち、投影レンズ２２からの投影映像３を撮影できる位置に設置されている。図１では、プロジェクタ１は、概略的に直方体の筐体を有し、筐体の所定の位置に、投影レンズ２２、およびカメラ１０を備える。投影レンズ２２の位置を位置Ｐ１で示す。カメラ１０の位置を位置Ｐ２で示す。図１の例では、筐体の上面の中央付近に位置Ｐ１があり、位置Ｐ１からＸ方向で左側に所定の距離で離れた位置に位置Ｐ２がある。

投影レンズ２２の位置Ｐ１から投影映像３の投影中央６の位置Ｐ６までを結んだ直線を、プロジェクタ１の投影の光軸であるプロジェクタ光軸７（一点鎖線で示す）として示す。カメラ１０の光軸の方向は、プロジェクタ光軸７の方向と概略的に同じである。

なお、実施の形態１の図１の例は、短投射型のプロジェクタ１を用いている。短投射型は、投影距離が短い、言い換えると、プロジェクタ１とスクリーン２とのＺ方向の距離が短い。短投射型の場合、カメラ１０を用いたスクリーン距離９の計算がしやすい利点がある。プロジェクタ１は、短投射型に限らずに適用可能であり、図１のような設置状態に限らず可能である。

一般に、ユーザがプロジェクタを用いる場合、プロジェクタ設置位置（対応する投影レンズの位置）とユーザの視点位置とが異なることが普通である。このため、図１のようにスクリーン２が平面ではない場合、あるいは他の場合としてスクリーンに対しプロジェクタが正対していない場合等には、プロジェクタ１からの投影映像３をユーザが例えば仮想視点５から見た場合でも、その投影映像３には幾何歪みが生じて見える。そこで、プロジェクタ１は、仮想視点５から見てその幾何歪みを補正するための変換機能を備える。

［（２）プロジェクタ］
図２は、プロジェクタ１の設置状態例を示す。図２の（Ａ）は、図１の状態に関するトップビュー、すなわちＹ方向でＸ−Ｚ面を平面視した場合の構成概要を示す。図２の（Ｂ）は、図１の状態に関するサイドビュー、すなわちＸ方向でＹ−Ｚ面を平面視した場合の構成概要を示す。プロジェクタ１は、水平面８０に設置されている。水平面８０は、例えばプロジェクタ１が設置される台等である。

カメラ１０の向きは、例えば投影レンズ２２の向きと概略的に同じ向きであり、図２の（Ａ）ではＺ方向である。投影レンズ２２の向きとカメラ１０の向きは、一致しなくてもよい。カメラ１０の向きは、カメラ１０の撮影範囲がスクリーン２の領域を含む状態となる向きであればよい。

投影レンズ２２の位置Ｐ１とカメラ１０の位置Ｐ２は、Ｘ方向で所定の距離Ｋ１を有し、これらの位置関係は固定的である。プロジェクタ１は、これらの位置Ｐ１，Ｐ２および距離Ｋ１を含む位置関係を知っている。プロジェクタ１は、この位置関係に基づいて、Ｚ方向でのスクリーン距離９を計算できる。なお、この距離計算の方式は、公知のステレオカメラによる方式等を同様に適用可能である。

仮想視点５について説明する。図１および図２では、説明を簡単にするために、絶対座標系ＣＳ０とプロジェクタ座標系ＣＳ１とが同じである。投影映像３の投影中央６の位置Ｐ６を通過し、Ｚ軸と平行な水平線である直線８を考える。この直線８は、言い換えると映像中央通過水平線である。プロジェクタ１は、Ｚ方向で、この直線８の延長上に、仮想視点５および対応する位置Ｐ５を設定する。仮想視点５（位置Ｐ５）は、直線８上でプロジェクタ１の後方に十分に離れた点として定義される。仮想視点５の位置Ｐ５は、Ｘ軸およびＹ軸の座標（Ｘ，Ｙ）を持つ。仮想視点５は、プロジェクタ１の設置の状態に応じた、仮想的に想定された標準的なユーザ視点位置である。仮想視点５がスクリーン２から無限遠にある場合を考えると、仮想視点５からみた投影映像３は、スクリーン距離９に依らず、投影映像３のＸ−Ｙ面への正射影による映像となる。この仮想視点５から見た映像は、仮想視点５に仮想的にカメラを置いた場合に撮影される映像となるので、仮想カメラ映像と記載する。

プロジェクタ１の変換機能は、この仮想視点５から投影映像３を見た場合に好適な映像が得られるように幾何変換を行う機能である。ユーザの実際の視点位置は、仮想視点５の位置Ｐ５と同じとは限らず、ずれがあるが、ユーザの実際の視点位置が、仮想視点５の位置Ｐ５を中心とした所定の範囲内に入っていれば、幾何歪みが十分に低減された好適な投影映像３が得られる。

スクリーン距離９は、プロジェクタ１の投影レンズ２２の位置Ｐ１からスクリーン２の投影映像３の各点の位置までのＺ方向での距離である。スクリーン距離９は、スクリーン２の曲面の形状が反映されている。スクリーン距離９はプロジェクタ光軸７と異なる。

［（３）カメラ］
実施の形態１の映像表示装置であるプロジェクタ１は、本体にカメラ１０を内蔵した構成とした。実施の形態１の例では、図２のように、プロジェクタ１の本体の投影レンズ２２の位置Ｐ１に対するカメラ１０の位置Ｐ２は、Ｘ方向で、投影レンズ２２の位置Ｐ１に対し、Ｘ方向で所定の距離Ｋ１を置いた位置Ｐ２とした。この位置関係は、予め製品出荷時に規定され、プロジェクタ１には、この位置関係の情報が予め設定されている。

カメラ１０に関する構成は、これに限定されず、各種の構成が可能である。カメラ１０の位置Ｐ２は、スクリーン２の投影映像３を撮影でき、Ｚ方向でのスクリーン距離９が計算可能である範囲内の位置とすればよい。

カメラ１０に関する変形例として以下が可能である。変形例では、プロジェクタ１の本体の外面の所定の範囲内の位置に対し、オプション機能の付属物として、ユーザによって適宜にカメラ１０を取り付けて設置できる構成とする。本体の所定の範囲内の位置に対し、所定のハードウェア機構を通じて、カメラ１０が取り付けられ、保持される。例えば、ユーザは、スクリーン２が曲面ではない場合、プロジェクタ１にカメラ１０を取り付けず、変換機能を利用しない。ユーザは、スクリーン２が曲面である場合、プロジェクタ１にカメラ１０を取り付けて、変換機能を利用する。また、カメラ１０の位置は、プロジェクタ１の本体の面内の位置に限らず、本体の面から、所定のハードウェア機構（例えばカメラ取り付け器具等）を介することで、所定の距離で離れた空間位置としてもよい。また、プロジェクタ１の本体（投影レンズ２２の位置Ｐ１）に対するカメラ１０の位置Ｐ２をユーザが可変に調整できる形態としてもよい。その場合、ユーザ設定または本体の自動判定によって、そのカメラ１０の位置や距離等を設定できる。

［（４）プロジェクタ−機能ブロック］
図３は、プロジェクタ１の内部の機能ブロック構成を示す。プロジェクタ１は、コントローラ５０、メモリ５２、ユーザインタフェース部５１、カメラ１０、光源２０、表示素子２１、投影レンズ２２、入出力・通信インタフェース部５３、演算回路４０、姿勢センサ６０等を備える。それらの要素は図示しないシステムバス等を介して接続されている。

コントローラ５０は、ＣＰＵ等によって構成されるプロセッサに相当し、プロジェクタ１全体を制御する。メモリ５２は、コントローラ５０によって読み書きされる各種のデータや情報が記憶され、不揮発性記憶装置等で構成される。コントローラ５０内にメモリ５２があってもよい。コントローラ５０は、プロジェクタ１内の各回路等と接続されており、制御クロックに基づいてタイミング信号等を生成し、各回路への信号の送信や、各回路からの信号の受信を行う。

ユーザインタフェース部５１は、操作ボタン５１ａ、リモコンインタフェース部５１ｂを含み、ユーザによる操作のためのインタフェースを実装した部分である。操作ボタン５１ａはハードウェアボタンである。リモコンインタフェース部５１ｂは、図示しないリモコンからの電磁波を受ける部分である。

入出力・通信インタフェース部５３は、入力、出力、通信等のインタフェースを実装した部分であり、映像入力端子３３等を含む。映像入力端子３３には、図１の映像ソース機器４からの映像１００（対応する映像データ）が入力される。映像入力端子３３に入力された映像１００のデータは、セレクタ３１に入力される。

セレクタ３１は、プロジェクタ１によって投影する映像を選択する機能を備える。また、セレクタ３１は、選択された映像に対し、ＧＵＩ（グラフィカル・ユーザ・インタフェース）の映像を重畳する機能を備える。セレクタ３１から出力される映像を、変換前映像１１０（対応する映像データや映像信号）とする。変換前映像１１０は、幾何変換回路３０によって幾何変換が行われることで、変換後映像１１１（対応する映像データや映像信号）となる。

光源２０は、映像投影のための光を生成する。表示素子２１は、例えば液晶パネルであり、光源２０からの光と、ビデオＲＡＭ３５からの映像データとに基づいて、映像を生成する。表示素子２１は、例えば透過型液晶パネルであるが、これに限らず、反射型液晶パネルや、可動式のミラーによって構成される素子等でもよい。表示素子２１は、例えばＲ，Ｇ，Ｂの３色に対応した３枚の液晶パネルでもよい。変換後映像１１１の各画素値に応じて、表示素子２１では、各画素の透過率が制御される。光源２０からの光に基づいて、表示素子２１で制御された透過光が、投影レンズ２２に供給される。

投影レンズ２２は、表示素子２１からの映像を、スクリーン２へ向けて投影する。表示素子２１および投影レンズ２２は、投射光学系等の光学系の一部である。光学系には、その他の図示しない光学フィルタやミラー等の素子が含まれていてもよい。投影レンズ２２からの出射光である投影光１０２は、スクリーン２に投影される。光源２０、表示素子２１、および投影レンズ２２等は、例えば一般的なプロジェクタで使用されている公知の物を適用可能である。

カメラ１０は、スクリーン２の方からの撮影光１０３を入射し、ＣＣＤ等の撮像素子によって撮像し、映像１２０（カメラ映像、実カメラ映像とも記載する）として出力する。カメラ映像１２０は、演算回路４０に入力され、図示しないメモリに記憶される。

演算回路４０は、投影映像の幾何歪みの補正のための変換機能を実装した回路の例を示す。演算回路４０は、セレクタ３１、パターン生成回路３２、幾何変換回路３０、ビデオＲＡＭ３５、格子点計算回路１１、変換行列計算回路１２、映像解析回路１５等を含む。変換行列計算回路１２は、距離推定部１３を含む。演算回路４０がＩＣチップ等で実装されてもよいし、それに限らず、各回路部分がそれぞれ異なるＩＣチップ等で実装されてもよい。例えば、格子点計算回路１１と変換行列計算回路１２が１つのＩＣチップで実装されてもよい。

セレクタ３１は、映像入力端子３３からの映像データと、パターン生成回路３２からのパターン映像１０１とを入力し、それらの２つの入力から選択された方の映像を変換前映像１１０として幾何変換回路３０へ出力する。また、セレクタ３１は、ＧＵＩまたはＯＳＤ（オン・スクリーン・ディスプレイ）の重畳部としての機能も備え、入力映像に対し、そのＧＵＩ等の映像を重畳する。コントローラ５０は、セレクタ３１の選択等を制御する。セレクタ３０は、ハードウェア回路で実装されてもよいし、ソフトウェアによる処理で実装されてもよい。後者の実装の場合、プロジェクタ１は、ＧＵＩで入力の選択に係わる表示を行い、ユーザの操作に従って選択を実行してもよい。

パターン生成回路３２は、設定情報に基づいて、パターン映像１０１を生成する。パターン映像１０１は、投影映像３の格子点およびスクリーン距離９等を計算するために使用する所定の映像である。生成されたパターン映像１０１は、セレクタ３１等を経由して、スクリーン２に投影される。プロジェクタ１は、ユーザが指定する表示対象映像の投影の前に、ある時間で連続的にパターン映像１０１をスクリーン２に投影し、カメラ１０で撮影する。パターン生成回路３２には、予め、パターン映像１０１に関する設定情報が設定されている。この設定情報は、分割数を含み、ユーザ設定によっても変更できる。分割数は、格子をどの程度の細かさや数の領域に分割して構成するかに関する設定値である。

格子点計算回路１１は、カメラ１０からの映像１２０に基づいて、投影映像３における格子の各点（格子点座標）を計算し、格子データ１２５として出力する。

変換行列計算回路１２は、格子点計算回路１１からの格子データ１２５の各格子点座標を用いて、距離推定部１３によって各点のスクリーン距離９を計算する。距離推定部１３は、格子点毎のスクリーン距離９を推定する計算を行う。変換行列計算回路１２は、それらの格子およびスクリーン距離９の情報を用いて、幾何変換行列１５０を計算する。幾何変換行列１５０は、変換前映像１１０を変換後映像１１１に幾何変換するための行列である。変換行列計算回路１２は、その幾何変換行列１５０を、幾何変換回路３０に出力する。幾何変換回路３０にはその幾何変換行列１５０が設定される。

幾何変換回路３０は、幾何変換行列１５０を用いて、入力された変換前映像１１０に対する幾何変換を実行し、その結果である変換後映像１１１を出力する。変換後映像１１１は、ビデオＲＡＭ３５に一旦格納された後、表示素子２１へ供給される。なお、ビデオＲＡＭ３５が無い形態も可能である。幾何変換回路３０は、言い換えると、映像補正部、映像変換部、または映像処理部等と表現できる。上記格子点計算や変換行列計算を、コントローラ５０または幾何変換回路３０等で行う形態としてもよい。

幾何変換回路３０での変換は、実行（オン状態）と非実行（オフ状態）とが切り替え可能である。コントローラ５０は、幾何変換回路３０での変換のオン／オフを制御する。変換のオン状態は、映像を補正することに対応し、変換のオフ状態は、映像を補正しないこと、言い換えると映像のスルーに対応する。使い方としては、曲面のスクリーン２の場合には変換をオン状態とし、平坦なスクリーンの場合には変換をオフ状態にするといったことが可能である。変換のオン／オフの機構は、例えば以下の実装が可能である。幾何変換回路３０に、変換のオン／オフのためのスイッチ回路等を設けてもよい。コントローラ５０は、変換のオフの際には、そのスイッチ回路を用いて、変換前映像１１０が幾何変換回路３０を経由しないようにする。他には、ソフトウェアプログラム処理による実装としてもよい。この場合、コントローラ５０または幾何変換回路３０は、変換のオフの際には、幾何変換行列を、単位行列の状態になるように設定する。この単位行列は、幾何変換を行わない行列、言い換えると変換前後が同じとなる行列に相当する。

なお、図３の構成例は、主な各構成要素がハードウェアで実装された場合を示すが、一部の要素がソフトウェアプログラム処理で実装されてもよい。コントローラ５０または演算回路４０は、プログラムに従った処理を実行する。これにより、各要素の機能が実現される。また、構成要素の一部がプロジェクタ１の外部の機器に実装されてもよい。

［（５）変換機能］
変換機能の概要については以下の通りである。プロジェクタ１は、表示対象映像を投影する前に、スクリーン２の曲面の形状を把握するために、まず、パターン映像１０１をスクリーン２に投影する。プロジェクタ１は、スクリーン２に投影したパターン映像１０１の状態をカメラ２によって撮影する。プロジェクタ１は、撮影したカメラ映像から、格子の各点を計算する。プロジェクタ１は、格子の各点とのスクリーン距離９を計算する。プロジェクタ１は、それらの格子および距離の情報を用いて、幾何変換行列１５０を計算し、幾何変換回路３０に設定する。プロジェクタ１は、その幾何変換行列１５０を用いて、表示対象映像を幾何変換し、変換後映像１１１をスクリーン２に投影する。これにより、投影映像３は、仮想視点５から見た場合に幾何歪みが無い好適な映像となる。

幾何変換回路３０での幾何変換は、例えば以下のようなる。一般に、２次元の映像を他の平面に投影した場合の形状変化は、射影変換によって計算できる。この場合の変換は、２次元座標から２次元座標への射影変換となる。この変換は、下記の式１に示すように、３×３の変換行列を用いた行列計算で規定できる。

なお、式１で、３×３の変換行列を行列Ｍ、変換前のベクトルをベクトルＶ１、変換後のベクトルをベクトルＶ２とすると、Ｖ２＝Ｍ×Ｖ１で表される。式１で、ベクトルＶ１の（ｘｂ，ｙｂ）は、変換前の点の座標を示す。ベクトルＶ２の（ｘａ，ｙａ）は、変換後の点の座標を示す。行列Ｍの要素における、係数ａ００，ａ０１，ａ０２，ａ１０，ａ１１，ａ１２，ａ２０，ａ２１は、変換行列の係数（総称として係数ａ＊＊と記載する）である。

式１は、同次座標系における幾何変換を示す。ここで、変換行列の要素の１つ（３行目、３列目の係数）は、“１”に固定されている。そのため、残りの８個の係数ａ＊＊が計算できれば、射影変換の変換行列が一意に定まる。変換前後の座標の組が４個与えられた場合、８個の式から成る８変数の連立方程式が立てられる。なお、４点が同一直線上にあるような特殊な場合を除く。よって、これらの連立方程式を解くことで、射影変換の変換行列を計算できる。すなわち、変換前の平面上にある四角形が、変換後の平面でどのような形状の四角形になるかがわかれば、変換前後の四角形の頂点座標を用いて、変換行列を計算できる。この変換行列を用いて、変換前の平面上の全ての点に対し、変換後の平面上の点の座標を計算することができる。

実施の形態１では、上記原理を用いて、変換前映像１１０から幾何変換によって変換後映像１１１を生成する。スクリーン２が曲面を持つため、変換前映像１１０から変換後映像１１１への変換を、単一の変換行列で表現することはできない。そこで、プロジェクタ１は、それぞれの映像を、格子のように、元映像フレームよりも小さな複数の領域（ブロックと記載する場合がある）に分割する。そして、プロジェクタ１は、分割された領域毎に、上記原理に基づいて、射影変換（対応する幾何変換）を行う。これにより、各領域が十分に小さい場合には、各領域は、変換前後で共にほぼ平面とみなすことができる。よって、各領域の単位では、単一の変換行列によって、映像変換が可能である。

［（６）パターン映像］
図４は、パターン映像１０１の例を示す。パターン映像１０１は、図示する（１）グレイコードパターン、（２）チェッカーパターン、（３）ドットパターン等の様々なパターンが使用可能である。パターン映像１０１は、格子点座標の計算を可能とするものであれば任意でよく、詳細については限定しない。グレイコードパターンは、複数のパターン画像ｇ１〜ｇ６から構成されている。例えば、パターン画像ｇ１は、白色領域のパターンであり、パターン画像ｇ２は、黒色領域（またはグレー色領域）のパターンであり、パターン画像ｇ３は、左半分が白色領域、右半分が黒色領域のパターンである。これらの複数のパターン画像が、時系列上で切り替えながら連続的に投影される。プロジェクタ１は、パターン画像の白色領域と黒色領域との境界線を検出することで、格子を構成できる。チェッカーパターンは、複数の白色領域と複数の黒色領域とが交互に配置されているパターンである。ドットパターンは、複数の色付きのドットが行列状に配置されているパターンである。例えば、ドットパターンは、変換前映像１１０における格子の各格子点の位置に対応してドットが置かれているパターンである。なお、各パターンで、破線は説明用の線であり表示されない。

［（７）スクリーン距離］
図５は、スクリーン距離９に関する概念を示す。図５は、トップビューのＸ−Ｚ面での構成を示す。スクリーン２は、図示のように、面内で複数の凹凸を持つとする。投影レンズ２２の位置Ｐ１から投影映像３の各点（例えば点ｐ１，ｐ２，ｐ３）までの線と、カメラ１０の位置Ｐ２から同じ各点までの線とを示す。各点ではスクリーン距離９が異なっている。スクリーン距離９は、例えば、点ｐ１までの距離Ｚａ、点ｐ２までの距離Ｚｂ、点ｐ３までの距離Ｚｃを有する。これらのスクリーン距離９の違いは、スクリーン２の面の凹凸の形状を反映している。プロジェクタ１は、このように各点（対応する格子点）でのスクリーン距離９を計算し、距離情報１３０（後述の格子点座標ＣＤ１）とする。

［（８）処理］
実施の形態１の映像表示装置の主な処理について、図６のフロー、図７〜図１０等を用いて以下に説明する。図６は、プロジェクタ１の変換機能に係わる主な処理のフローを示し、ステップＳ１〜Ｓ９を有する。図７〜図１０は、各ステップに対応する構成や、各種の映像の関係を示す。図７は、変換前後の投影映像および格子等の構成を示す。図８は、投影映像、カメラ映像、スクリーン距離、および仮想カメラ映像等を示す。図９は、変換前後の仮想カメラ映像を示す。図１０は、２つの変換行列等を示す。なお、これらの図面では、前述の絶対座標系ＣＳ０の他に、３種類の座標系として、（１）プロジェクタ座標系ＣＳ１、（２）実カメラ座標系ＣＳ２、および（３）仮想カメラ座標系ＣＳ３が適宜に使用されている。各座標系は、映像に対応する横方向がＸ軸、縦方向がＹ軸となっている。Ｘ軸の座標値は左から右に行くに従い大きくなり、Ｙ軸の座標値は上から下に行くに従い大きくなる。各座標系の原点は、適当な位置に固定されている。なお、各座標系の各軸を同様に（Ｘ，Ｙ，Ｚ）で示す。以下、フローのステップの順に説明する。

［ステップＳ１］
ステップＳ１で、コントローラ５０または変換行列計算回路１２は、プロジェクタ座標系ＣＳ１における変換前映像１１０の変換前格子点座標ＰＧ１を計算する。図７は、その変換前映像１１０の変換前格子点座標ＰＧ１（Ｘ，Ｙ）等を示す。コントローラ５０は、プロジェクタ座標系ＣＳ１で、変換前映像１１０の映像フレーム（変換前フレーム）４００を、設定された分割数で均等に分割することで格子４０１を構成する。格子４０１は、分割数が例えば４×４である複数の矩形の領域４０２によって構成されている。格子４０１は、複数の格子点４０３を持つ。１つの領域４０２を構成する４つの点は、それぞれ格子点４０３である。格子点４０３は、領域４０２の境界線の交点である。境界線は、縦横の分割数に応じた縦横の分割線である。

［ステップＳ２］
ステップＳ２で、プロジェクタ１は、パターン生成回路３２でパターン映像１０１（例えばドットパターン）を生成し、幾何変換回路３０をスルーの状態として、パターン映像１０１をスクリーン２に投影する。プロジェクタ１は、スクリーン２に投影されたパターン映像をカメラ１０によって撮影し、実カメラ映像１２０を得る。図８は、その実カメラ映像１２０等を示す。実カメラ映像１２０は、前述の位置関係に対応して、歪みを持つ図形が含まれている。実カメラ映像１２０および距離情報１３０の座標系は、実カメラ座標系ＣＳ２であり、仮想カメラ映像１４０の座標系は仮想カメラ座標系ＣＳ３である。

そして、ステップＳ２で、格子点計算回路１１は、図８のように、実カメラ座標系ＣＳ２における実カメラ映像１２０から、所定の処理によって、変換前格子点座標ＣＧ１を計算する。この処理は、例えばドットパターンの各ドットに対応する格子点座標の計算である。変換前格子点座標ＣＧ１は、格子の各格子点の座標（Ｘ，Ｙ）である。変換前格子点座標ＣＧ１は、格子データ１２５に含まれる。ステップＳ２の処理で、プロジェクタ１は、変換前映像１１０の各格子点の座標が、実カメラ映像１２０のどの格子点の座標に対応するかの対応関係の情報を得ることができる。変換前格子点座標ＣＧ１は、この対応関係を表している。

［ステップＳ３］
変換行列計算回路１２は、変換前格子点座標ＣＧ１を用いて、ステップＳ３〜Ｓ８の処理を行うことで、図１０の変換前映像１１０から変換後映像１１１への変換行列ＣＮＶ２を計算する。この変換行列ＣＮＶ２が幾何変換行列１５０に対応する。

まず、ステップＳ３で、変換行列計算部１２の特に距離推定部１３は、図８の変換前格子点座標ＣＧ１の各格子点の位置でのスクリーン距離９（距離ＣＤ１）を計算する。距離情報１３０は、これらの距離ＣＤ１を含む。この距離ＣＤ１は、図５と同様に、Ｚ方向における投影レンズ２２の中心の位置Ｐ１とスクリーン２の各点との距離である。距離ＣＤ１は、格子点のＺ軸座標値と、投影レンズ２２の位置Ｐ１のＺ軸座標値との差の絶対値として定義される。この距離ＣＤ１は、Ｘ軸座標値の差およびＹ軸座標値の差については含まない。スクリーン２が平坦ではない場合、この距離ＣＤ１は、格子点毎に異なる値を持ち得る。

図８で、距離情報１３０は、実カメラ映像１２０の変換前格子点座標ＣＧ１の各格子点上に、距離ＣＤ１の情報（説明上のイメージとしてバーで示す）を重ね合わせて示している。これらの距離ＣＤ１は、空間分布の一例を示している。例えば、スクリーン２の中央付近は、プロジェクタ１からより遠いので、距離ＣＤ１の値が大きく、スクリーン２のＸ方向両端付近は、プロジェクタ１により近いので、距離ＣＤ１の値が小さい。

ステップＳ３で変換前格子点座標ＣＧ１の各格子点から距離ＣＤ１を計算する方式について説明する。実施の形態１では、説明を簡単にするために、カメラ１０の位置Ｐ１と投影レンズ２２の位置Ｐ２は、図２のように、Ｙ軸座標値およびＺ軸座標値が同じで、Ｘ軸座標値のみが異なる位置関係を有する。２つの位置Ｐ１，Ｐ２のＸ軸座標値が異なるので、実カメラ映像１２０における各格子点のＸ軸座標値は、スクリーン距離９に応じて変化する。これを用いて、プロジェクタ１の距離推定部１３は、スクリーン距離９（距離ＣＤ１）を計算する。

［キャリブレーション］
この方式では、まず、キャリブレーションを用いる。図１１および図１２を用いて、キャリブレーションについて説明する。ある環境のスクリーン２に対し、プロジェクタ１を使用するのに先立って、このキャリブレーションが行われる。

図１１は、プロジェクタ１の変換機能に関するキャリブレーションについて、キャリブレーション時のプロジェクタ１とスクリーン２Ａとの位置関係を示す。スクリーン２Ａは平坦である。図１１は、Ｙ−Ｚ面の平面視を模式的に示す。図１１は、Ｚ方向でプロジェクタ１の位置（対応する投影レンズ２２の位置Ｐ１）からスクリーン２Ａの中央の位置Ｐ３および投影映像３の中央の位置Ｐ６までの距離（対応するスクリーン距離９）として、遠近の２種類の距離９Ｆ，９Ｎを示す。プロジェクタ１は、これらの２種類の距離を用いて実際に映像の投影および撮影を行う。距離９Ｆ（対応する値をＣＤ１Ｆとする）は、相対的に遠い方の第１位置Ｌ１までの距離であり、距離９Ｎ（対応する値をＣＤ１Ｎとする）は、相対的に近い方の第２位置Ｌ２までの距離である。

図１１のように、プロジェクタ１は、平坦なスクリーン２Ａに正対した状態で、距離９Ｆ（ＣＤ１Ｆ）で離した位置に設置される。この状態で、プロジェクタ１は、幾何変換回路３０をスルーの状態として、パターン映像１０１をスクリーン２Ａに投影する。プロジェクタ１は、そのパターン映像１０１をカメラ１０で撮影した実カメラ映像１２０に基づいて、距離９Ｆの場合における格子点座標ＣＧ１Ｆを計算する。次に、プロジェクタ１は、平坦なスクリーン２Ａに正対した状態で、距離９Ｎ（ＣＤ１Ｎ）で離した位置に設置される。この状態で、プロジェクタ１は、同様に、同じパターン映像１０１をスクリーン２Ａに投影する。プロジェクタ１は、距離９Ｎの場合における実カメラ映像１２０の格子点座標ＣＧ１Ｎを計算する。上記２種類の距離は、ＣＤ１Ｆ＞ＣＤ１Ｎの関係を持つ。

ここで、格子点座標の表記について、変換前格子点座標ＣＧ１を例に説明しておく。図８のように、変換前格子点座標ＣＧ１は、実カメラ映像１２０中の格子の全ての格子点座標の集合を示す。この集合のうち、ある格子点の座標を、ＣＧ１（ｉ，ｊ）のように表記する。添え字“ｉ”はＸ方向の位置または識別子を表し、添え字“ｊ”はＹ方向の位置または識別子を表す。また、この格子点座標ＣＧ１（ｉ，ｊ）は、“ｉ”に対応するＸ軸座標値と、“ｊ”に対応するＹ軸座標値とを持つ。そのＸ軸座標値をＣＧ１ｘ、Ｙ軸座標値をＣＧ１ｙのように表記する。

平坦ではないスクリーン２を任意の位置に置いた場合のスクリーン距離９を、距離ＣＤ１（ｉ，ｊ）で表記する。この距離ＣＤ１（ｉ，ｊ）は、格子点に応じて異なり得るので、区別のために添え字（ｉ，ｊ）を付けている。この距離ＣＤ１（ｉ，ｊ）は、下記の式２のように、実カメラ映像１２０中の格子点座標ＣＧ１を用いて計算できる。

式２で、距離ＣＤ１Ｆは、図１１の遠い方の距離９Ｆに対応する距離値であり、距離ＣＤ１Ｎは、近い方の距離９Ｎに対応する距離値である。この距離ＣＤ１Ｆおよび距離ＣＤ１Ｎは、図１１のようにプロジェクタ１に正対する平坦なスクリーン２Ａを用いて測定されているので、格子点の位置に依らずに一定値であり、添え字（ｉ，ｊ）を省略している。

ステップＳ３で、プロジェクタ１は、このように予めキャリブレーションで測定した距離ＣＤ１Ｆ，ＣＤ１Ｎと、対応する格子点座標ＣＧ１Ｆ，ＣＧ１Ｎと、ユーザの実際の環境で計算された変換前格子点座標ＣＧ１とを用いて、式２に従って、各格子点での距離ＣＤ１を計算する。

なお、上記キャリブレーションは、実際にユーザの環境で撮影して設定してもよいが、例えば製品出荷前に行っておくことができる。すなわち、上記距離ＣＤ１Ｆ，ＣＤ１Ｎおよび格子点座標ＣＧ１Ｆ，ＣＦ１Ｎについては、予めプロジェクタ１の製品製造時のキャリブレーションによって測定されてプロジェクタ１内に設定されていてもよい。また、上記キャリブレーションの値は、製品製造時に各部品の特性や取り付け位置等から計算することもできる。これらの値は、例えば図３のメモリ５２、または演算回路４０内（特に変換行列計算回路１２）に設定値として格納される。

［ステップＳ４］
ステップＳ４で、プロジェクタ１の変換行列計算回路１２は、実カメラ映像１２０中の各格子点での距離ＣＤ１を用いて、図８の仮想カメラ座標系ＣＳ３における変換前仮想カメラ映像１４０の変換前格子点座標ＶＧ１を生成する。変換前仮想カメラ映像１４０は、公知の３次元の行列計算を用いて計算することも可能であるが、実施の形態１では、演算速度を優先し、以下のようにより簡易的な方式を使用する。

プロジェクタ１は、前述のキャリブレーションの設置条件で、図１２のように、距離ＣＤ１Ｆ，ＣＤ１Ｎの両方の距離において、仮想視点５の位置Ｐ５から見た変換前仮想カメラ映像１４０における変換前格子点座標ＶＧ１Ｆ，ＶＧ１Ｎを計算する。図１２は、図１１のキャリブレーションの２種類の距離９Ｆ，９Ｎでの撮影に対応した、実カメラ映像１２０および変換前仮想カメラ映像１４０における格子点を示す。映像１２０Ｆは、遠い距離９Ｆでの実カメラ映像１２０の例を示す。映像１２０Ｆは、格子点座標ＣＧ１Ｆを持ち、座標値は（ＣＧ１Ｆｘ，ＣＧ１Ｆｙ）である。映像１２０Ｎは、近い距離９Ｎでの実カメラ映像１２０の例を示す。映像１２０Ｎは、格子点座標ＣＧ１Ｎを持ち、座標値は（ＣＧ１Ｎｘ，ＣＧ１Ｎｙ）である。映像１４０Ｆは、遠い距離９Ｆでの仮想カメラ映像１４０の例を示す。映像１４０Ｆは、格子点座標ＶＧ１Ｆを持ち、座標値は（ＶＧ１Ｆｘ，ＶＧ１Ｆｙ）である。映像１４０Ｎは、近い距離９Ｎでの仮想カメラ映像１４０の例を示す。映像１４０Ｎは、格子点座標ＶＧ１Ｎを持ち、座標値は（ＶＧ１Ｎｘ，ＶＧ１Ｎｙ）である。プロジェクタ１は、このように取得した格子点座標ＶＧ１Ｆ，ＶＧ１Ｎについても、格子点座標ＣＧ１Ｆ，ＣＧ１Ｎと関連付けてメモリ５２等に格納しておく。

ここで、平坦ではないスクリーン２を任意の位置に置いた場合のスクリーン距離９が距離ＣＤ１（ｉ，ｊ）である場合における、変換前仮想カメラ映像１４０の格子点座標は、下記の式３によって計算できる。なお、この式３は、スクリーン２が平坦である場合でも有効である。

図８の例で、上記各格子点での距離ＣＤ１（ＣＤ１Ｆ，ＣＤ１Ｎ）と、上記格子点座標ＶＧ１Ｆ，ＶＧ１Ｎとが、式３に適用される。これにより、プロジェクタ１は、変換前仮想カメラ映像１４０での変換前格子点座標ＶＧ１（ＶＧ１ｘ，ＶＧ１ｙ）を計算できる。

図８の変換前仮想カメラ映像１４０は、歪みを持つ領域である投影可能領域１４５を含んでいる。このように、変換前格子点座標ＶＧ１には、スクリーン２の曲面の形状等に起因する幾何歪みが発生する。

［ステップＳ５］
そこで、実施の形態１では、ステップＳ５で、プロジェクタ１の変換行列計算回路１２は、図９のように、変換前仮想カメラ映像１４０の投影可能領域１４５に内包される矩形領域１４６を計算する。実施の形態１では、変換前映像１１０を幾何変換することでこの矩形領域１４６に適合させることを考える。ステップＳ５は、そのための処理である。ステップＳ５で、変換行列計算回路１２は、仮想カメラ座標系ＣＳ３における変換前仮想カメラ映像１４０の投影可能領域１４５から、変換後仮想カメラ映像１４１の矩形領域１４６を計算する。この矩形領域１４６の計算についての処理例を以下に示す。

図９は、変換前仮想カメラ映像１４０と変換後仮想カメラ映像１４１を示す。図９中の座標系は仮想カメラ座標系ＣＳ３である。実施の形態１で、矩形領域１４６は、歪みを持たない長方形である。変換行列計算回路１２は、図１３のような処理例に従って、投影可能領域１４５に内包される矩形領域１４６を計算する。ここで、図９の下側には変換後仮想カメラ映像１４１を拡大して、投影可能領域１４５内に包含される矩形領域１４６を探索する方式を示す。矩形領域１４６は、２つの点Ｍ，Ｎで表すことができる。点Ｍは矩形領域１４６の左上の点であり、点Ｎは矩形領域１４６の左下の点である。変換行列計算回路１２は、変換後仮想カメラ映像１４１の全体をカバーするように、各座標点を順次に走査して、点Ｍ，Ｎを探索する。これにより、変換行列計算回路１２は、投影可能領域１４５に内包される条件を満たす２つの点Ｍ，Ｎによる矩形領域１４６を計算する。

［処理例］
図１３は、ステップＳ５内の処理例のフローを示し、ステップＳ５１〜Ｓ５９を有する。変換行列計算回路１２は、図９の変換後仮想カメラ映像１４１の範囲内の座標点（対応する画素）を全て走査することで、条件を満たす点Ｍ，Ｎを探す。走査の方式は、例えば線順次走査方式（面内水平方向のラインを走査し、面内垂直方向で順次に同様にラインを走査する方式）を用いるが、これに限定されない。ステップＳ５１で、変換行列計算回路１２は、図９の点Ｍ，Ｎの座標を初期化する。例えば、最初、点Ｍ，Ｎのどちらの点も、変換後仮想カメラ映像１４１の左上の位置の点に初期化されるが、これに限定されない。ステップＳ５２で、変換行列計算回路１２は、点Ｍと点Ｎとの位置関係を確認する。ステップＳ５２の条件は、点Ｍ，Ｎが矩形の左上の点と右下の点であるかどうかである。この確認で、点Ｎが点Ｍに対し右下方向の位置にある場合（Ｙ）にはステップＳ５３へ進み、それ以外の場合（Ｎ）にはステップＳ５６へ進む。

ステップＳ５３で、変換行列計算回路１２は、点Ｍと点Ｎで規定される矩形の全体が、投影可能領域１４５に内包されているかどうかを確認する。内包されている場合（Ｙ）にはステップＳ５４へ進み、内包されていない場合（Ｎ）にはステップＳ５６へ進む。なお、点Ｍと点Ｎで規定される矩形としては複数通りの矩形が考えられるが、この処理例では、すべての辺がＸ軸またはＹ軸と平行な矩形のみを使用する。ステップＳ５４で、変換行列計算回路１２は、点Ｍと点Ｎで規定される矩形の面積を計算する。ステップＳ５４の条件は、この面積が最大であるかどうかである。この面積が、過去にステップＳ５４で計算された面積よりも大きい場合（Ｙ）にはステップＳ５５へ進み、大きくない場合（Ｎ）にはステップＳ５６へ進む。

ステップＳ５５の時点で、ステップＳ５２，Ｓ５３，Ｓ５４の３つの条件のすべてを満たしている。よって、変換行列計算回路１２は、その時点の点Ｍ，Ｎの情報を、求める矩形領域１４６の候補を表す情報として保存する。ステップＳ５６で、変換行列計算回路１２は、範囲内のすべての点Ｎを走査したか確認し、走査した場合にはステップＳ５７へ、走査していない場合にはステップＳ５８へ進む。ステップＳ５７で、変換行列計算回路１２は、範囲内のすべての点Ｍを走査したか確認し、走査した場合にはフローを終了し、走査していない場合にはステップＳ５９へ進む。ステップＳ５８で、変換行列計算回路１２は、点Ｎの座標を更新し、ステップＳ５２に戻る。ステップＳ５９で、変換行列計算回路１２は、点Ｍの座標を更新し、ステップＳ５２に戻る。なお、点座標の更新の順序については限定せず、走査の方式に従って選択すればよい。

このような処理によって、条件を満たす適切な矩形領域１４６が得られる。この矩形領域１４６が、変換後仮想カメラ映像１４１において、補正後の映像が投影されているべき領域である。プロジェクタ１は、この矩形領域１４６を、分割数（例えば４×４）に応じた複数の領域に均等に分割して格子を構成することで、変換後仮想カメラ映像１４１における変換後格子点座標ＶＧ２を得る。

［ステップＳ６］
仮想カメラ映像（対応する図９の変換後仮想カメラ映像１４１の変換後格子点座標ＶＧ２）は、直接的に幾何変換によって補正することはできない。そのため、実施の形態１では、プロジェクタ１は、変換前映像１１０を幾何変換によって補正することで、間接的に仮想カメラ映像の補正を実現する。ステップＳ６は、この補正のための処理である。ステップＳ６で、プロジェクタ１の変換行列計算回路１２は、図８のように、プロジェクタ座標系ＣＳ１での変換前仮想カメラ映像１４０と、仮想カメラ座標系ＣＳ３での変換前映像１１０との間の変換行列ＣＮＶ１（第１変換行列）を計算する。この変換行列ＣＮＶ１は、変換前仮想カメラ映像１４１から変換前映像１１０への射影変換行列である。図８の変換８０４は、この変換行列ＣＮＶ１を用いた変換を示し、ステップＳ６は、この変換行列ＣＮＶ１の計算である。

前述のように、平面から平面への射影変換行列は、４点の座標の対応関係から計算できる。よって、変換行列計算回路１２は、既知である変換前仮想カメラ映像１４０の変換前格子点座標ＶＧ１と、変換前映像１１０の変換前格子点座標ＰＧ１とを用いて、分割された各領域に対する変換行列ＣＮＶ１を計算できる。この射影変換行列は、分割の領域毎に異なる行列で構成される。領域を（ｉ，ｊ）で表すとして、領域毎の射影変換行列を、ＣＮＶ１（ｉ，ｊ）のように表記する。

［ステップＳ７］
上記変換前仮想カメラ映像１４０から変換前映像１１０への変換行列ＣＮＶ１は、実際には、変換後仮想カメラ映像１４１から変換後映像１１１への射影変換行列としても使用できる。よって、実施の形態１では、図１０のように、変換後仮想カメラ映像１４１の変換後格子点座標ＶＧ２に対し、この変換行列ＣＮＶ１を適用することで、変換後映像１１１の変換後格子点座標ＰＧ２を計算できる。ステップＳ７で、変換行列計算回路１２は、この変換後格子点座標ＰＧ２の計算を行う。

実際には、変換行列ＣＮＶ１は、分割の領域によって異なる行列で構成される。そのため、変換後格子点座標ＰＧ２を計算するには、例えば以下のような処理が必要である。この処理例は以下のステップで構成される。第１ステップで、変換行列計算回路１２は、変換後格子点座標ＶＧ２中の１つの領域の１つの格子点の座標を選択する。第２ステップで、変換行列計算回路１２は、第１ステップで選択した領域の格子点の座標が、変換前仮想カメラ映像１４０の格子のどの領域に属するか、言い換えるとどの領域に対応しているかを調べる。第３ステップで、変換行列計算回路１２は、第２ステップで調べた領域に対応した変換行列ＣＮＶ１を、第１ステップで選択した格子点に対し適用する。これにより、その選択した格子点に対応する変換後格子点座標ＰＧ１が得られる。変換行列計算回路１２は、第１ステップから第３ステップの処理を、変換後格子点座標ＶＧ２に含まれるすべての点に対し行う。これにより、すべての変換後格子点座標ＰＧ２が得られる。

［ステップＳ８］
ここまでで、ステップＳ１で得た変換前映像１１０の変換前格子点座標ＰＧ１と、ステップＳ７で得た変換後映像１１１の変換前格子点座標ＰＧ２とが既知となる。ステップＳ８で、プロジェクタ１の変換行列計算回路１２は、これらの既知の情報を用いて、図１０のように、変換行列ＣＮＶ２（第２変換行列）を計算する。この変換行列ＣＮＶ２は、変換前映像１１０から変換後映像１１１への射影変換行列である。この変換行列ＣＮＶ２は、分割された領域毎の行列で構成される。各領域について、変換前後の４つの頂点の座標が既知であるため、前述の方式に従って、この射影変換行列を計算できる。変換行列計算回路１２は、得た変換行列ＣＮＶ２を、幾何変換行列１５０として、幾何変換回路３０に設定する。

［ステップＳ９］
ステップＳ９で、プロジェクタ１の幾何変換回路３０は、変換前映像１１０の各領域に、対応する変換行列ＣＮＶ２を適用して幾何変換を行うことで、変換後映像１１１を生成する。幾何変換回路３０は、分割の全領域について同様に処理を行い、領域毎に得た映像を合成することで、変換後映像１１１とする。

［（９）変換および分割］
図７を参照して、変換前映像１１０から変換後映像１１１への変換行列ＣＮＶ２を用いた変換７０１について補足する。変換前映像１１０は、矩形である変換前フレーム４００を持つ。変換後映像１１１は、歪みを持つ図形である変換後フレーム４００ｂを持つ。プロジェクタ１は、これらの各映像を、設定された分割数に従って複数の領域４０２，４０２ｂに分割することで、格子４０１，４０１ｂを構成する。本例は、分割数が４×４である場合を示す。例えば、１つの映像フレーム４００では、Ｘ方向の辺が４分割され、Ｙ方向の辺が４分割されている。これにより、４×４の合計１６個の領域４０２が構成されている。各領域は、所定のＩＤで識別される。例えば、左上の領域は、ＩＤ＝area(0,0)を持つ。

例えば、ＩＤ＝area(2,2)の領域４０２に着目する。この領域４０２は、概略的に四角形の形状を持ち、４点の格子点４０３を有する。この領域４０２に関して、変換前映像１１０における４つの点ａ，ｂ，ｃ，ｄの座標と変換後映像１１１における対応する４つの点Ａ，Ｂ，Ｃ，Ｄの座標が与えられたとする。その場合、この領域４０１内の映像の射影変換のための行列を一意に計算できる。映像フレーム全体の各領域で同様に考えることができる。変換前映像１１０と変換後映像１１０との組において、格子４０１，４０１ｂの全ての格子点４０３，４０３ｂの座標が得られた場合、分割された領域４０２，４０２ｂ毎に変換行列が計算できる。プロジェクタ１は、それらの各変換行列を用いて射影変換を行うことで、映像全体を幾何歪みが無いように変換できる。

図７等の例では、格子の分割数としては、わかりやすさ等を考慮して、４×４と少ない数として示しているが、これに限らず可能である。実際には、例えば、１６×１６、３２×３２、６４×６４、１２８×１２８といったように、より多くの分割数としてよい。実装例では、この分割数は、例えば６４×６４等に設定される。また、この分割数は、ＧＵＩを通じたユーザ設定によって変更できるようにしてもよい。この分割数が多い、すなわち格子が細かい場合、変換に関するスクリーン２の凹凸の形状への適合性が向上し、結果として映像品質を高くできる。よって、映像品質を優先する観点では、この分割数はできる限り大きな数に設定した方がよい。映像表示装置の処理負荷、処理速度、回路規模等を考慮する観点では、この分割数は、より小さい数に設定してもよい。実装に応じて、この分割数には、最大の分割数が設定されている。プロジェクタ１は、その最大の分割数を上限とした範囲内で、複数の種類の分割数から選択した分割数を適用可能である。

［（１０）ＧＵＩ例］
図１４は、実施の形態１における変換機能に関するＧＵＩのメニューの表示例を示す。ユーザは、変換機能を利用する場合、予め、ユーザ設定によって、この変換機能をオン状態に設定しておく。ユーザは、例えばリモコンを操作することで、プロジェクタ１にこのようなメニューを表示させる。このメニューは、「変換機能（曲面スクリーンに発生するひずみの補正）」に関するオン／オフの設定項目を含む。オンは有効、オフは無効を示す。また、ユーザは、所望の映像を表示させる際には、メニューの表示に従って、対象映像（例えばファイル）を指定し、スタートボタンを押す。プロジェクタ１は、スタートボタンの押下に応じて、前述の処理を実行する。すなわち、プロジェクタ１は、まず、ある時間で、パターン映像１０１を投影し、その状態をカメラ１０で撮影し、幾何変換行列１５０を計算し、その幾何変換行列１５０を幾何変換回路３０に設定する。そして、プロジェクタ１は、ユーザの指定の映像を幾何変換回路３０で幾何変換して変換後映像１１１をスクリーン２に投影する。なお、図１４のメニューの例において、対象映像の指定の例では、ファイルを指定する設定項目の例を説明した。入出力・通信インタフェース部５３に複数の映像入力ソースから映像が入力される場合には、当該設定項目に替えて、対象映像となる映像入力ソースを当該複数の映像入力から選択するための表示を行ってもよい。映像入力ソースの選択を図１４のメニューとは別のメニュー画面で行う場合、図１４のメニュー自体には、対象映像のファイルの指定や対象映像となる映像入力ソースの選択メニューの設定項目を設けなくてもよい。また、図１４のメニューの例では、ユーザが「変換を開始する」か否かを選択するためにスタートボタンを表示する例を説明したが、「変換機能（曲面スクリーンに発生するひずみの補正）」に関するオン／オフの設定項目においてオンを選択した時点で変換機能の処理を開始しても構わない。この場合、図１４のメニューに、変換の開始を選択するためのスタートボタンの設定項目を、「変換機能」に関するオン／オフの設定項目とは別に設ける必要はない。

なお、このようなＧＵＩは、スクリーン２の表示に限らず、プロジェクタ１本体のユーザインタフェース部５１、例えば専用の操作ボタン５１ａまたは操作パネル等で実現してもよいし、映像ソース機器４で実現してもよい。

［（１１）効果等］
上記のように、実施の形態１の映像表示装置によれば、プロジェクタ１に内蔵されたカメラ２を用いて、スクリーン２の凹凸や曲面に起因する幾何歪みを自動的に補正できる。プロジェクタ１は、カメラ１０の映像からスクリーン距離９を計算し、この距離を用いて、仮想カメラ映像の投影可能領域１４５から補正を行って矩形領域１４６を計算する（図９）。プロジェクタ１は、変換行列ＣＮＶ１を計算し、矩形領域１４６と変換行列ＣＮＶ１から変換後格子点座標ＰＧ２を計算する（図１０）。そして、プロジェクタ１は、変換行列ＣＮＶ２を計算する。これにより、ユーザは、仮想視点５を含む範囲内の位置から曲面のスクリーン２の投影映像３を見た場合に、幾何歪みが無い好適な映像を見ることができる。ユーザは、適用対象のスクリーン２に関して、プロジェクタとは別体のカメラを視点位置に設置して撮影や設定をするといった調整作業が不要となるか、または作業の手間が大幅に削減できる。ユーザは別体のカメラ等の管理も不要である。よって、ユーザの使い勝手が向上できる。

実施の形態１の図２の場合、プロジェクタ１は水平面８０に設置されているので、仮想視点５と映像中心６とを結ぶ直線８は、水平面８０と平行な水平線である。スクリーン２がどのような方向を向いていても、投影映像３は、仮想視点５から見た場合に矩形に見えるように補正される。スクリーン２が平面を持つ場合には、投影映像３には台形歪みが発生せず、スクリーン２が曲面を持つ場合には、曲面の形状に応じた変換が行われた上で、仮想視点５から見た場合に矩形に見えるように補正される。この補正の際、投影映像３は、スクリーン２上で、上辺と下辺が水平面８０と平行になるように補正され、右辺と左辺がこれらの辺と直角になるように補正される。そのため、投影映像３は、あたかもスクリーン２に矩形の映像を張り付けたかのような状態となり、ユーザがどの方向から見ても違和感少なくその投影映像３を見ることができる。

実施の形態１の変形例として以下も可能である。変形例として、プロジェクタ１がパターン映像１０１の内容を動的に変更してもよい。例えば、コントローラ５０は、その時点のスクリーン２の凹凸の形状等の状態に応じて、好適な分割数を判断する。コントローラ５０は、装置の最大の分割数以下の範囲内で、好適な分割数を選択し、その分割数に応じた内容を持つパターン映像１０１を生成し、動的な切り替えを行う。

（実施の形態２）
図１５〜図１９を用いて、本発明の実施の形態２の映像表示装置について説明する。実施の形態２等の基本的な構成は実施の形態１の構成と同様であり、以下では、実施の形態２等における実施の形態１とは異なる構成部分について説明する。実施の形態２の映像表示装置は、実施の形態１での変換機能に加え、さらに、プロジェクタ１の姿勢の状態やユーザの実際の視点位置に応じて変換内容を調整する機能を有する。

［（２−１）傾きに対応した調整機能］
実施の形態２でのプロジェクタ１は、プロジェクタ１本体の設置状態が、標準の状態（例えば図１）に対し傾きがある状態の場合に、その傾きを考慮して幾何歪みを補正する機能（調整機能と記載する場合がある）を有する。この調整機能は、実施の形態１での基本的な変換機能に対し、ＧＵＩを介したユーザの操作に基づいて調整を可能とする機能である。プロジェクタ１本体の傾きの状態に関しては、大別して以下の３種類の状態がある。

（１）Ｘ軸の周りの回転による上下の方向の傾き。例は図１５に示される。この傾きによって、投影映像には、Ｙ方向の上下の辺の長さが異なる台形の歪みが現れる。（２）Ｙ軸の周りの回転による左右の方向の傾き。例は図１８に示される。この傾きによって、投影映像には、Ｘ方向の左右の辺の長さが異なる台形の歪みが現れる。（３）Ｚ軸の周りの回転による傾き。例は図１９に示される。この傾きによって、投影映像には、左右に傾いた矩形が現れる。

実施の形態２での調整機能は、（Ｘ，Ｙ，Ｚ）の各軸の傾きおよび対応する幾何歪み毎に、傾きが無い標準の状態に対応する見え方になるように、映像補正を行う機能である。なお、各軸の補正機能について、いずれか１つまたは２つまたは３つすべての機能を実装した形態としてもよい。また、ユーザ設定によって、適用する機能を選択できる形態としてもよい。

［（２−２）調整機能−Ｘ軸］
図１５は、プロジェクタ１の姿勢として、Ｘ軸の周りでの傾き、言い換えるとＹ方向の上下の傾きがある場合を示す。Ｘ軸の周りの上下の傾きに対応する調整機能については以下の通りである。図１５の状態では、プロジェクタ１は、水平面８０に対し、Ｘ軸の周りで上側に角度αでの傾きを持って置かれている。この傾きは、プロジェクタ１の底面８１で前側が後側よりも上がっていてプロジェクタ１が斜め上を向いた傾きの状態である。水平面８０とプロジェクタ１本体の底面８１とが成す角度が角度αである。言い換えると、この状態は、プロジェクタ１の本体が、図２の状態からＸ軸の周りで上側に角度αで回転した状態である。プロジェクタ座標系ＣＳ１は、角度αの傾きに対応して、Ｘ軸の周りで回転した後の座標系となっている。対応して、仮想視点５を通る直線８ｂと水平線とが成す角度が角度αである。

この状態の場合、プロジェクタ１の回転に伴い、仮想視点５の位置Ｐ５と投影中央６の位置Ｐ６とを結ぶ直線８ｂについても、角度αで回転した状態であり、水平線ではない。この状態では、プロジェクタ１による補正は、直線８ｂ上の仮想視点５（第１視点とする）の位置Ｐ５から見て投影映像３が矩形に見えるようにする補正である。よって、この状態では、第１視点の位置Ｐ５から外れた位置からユーザが投影映像３を見る場合には、幾何歪み、例えば台形歪みが生じてしまう。比較のため、図２の場合に対応する投影レンズ２２の位置Ｐ１ｂ、カメラ１０の位置Ｐ２ｂも示している。

実施の形態２では、このようにプロジェクタ１に傾きがある場合に、元の仮想視点５（第１仮想視点）の代わりに、想定されるユーザの標準的な視点位置である第２視点２５（第２仮想視点）が設定される。この第２視点２５は、投影映像３の投影中央６の位置Ｐ６を通り、Ｚ方向で水平線である直線８ｃ上に設定される。言い換えると、第２視点２５の位置Ｐ２５は、第１視点の位置Ｐ５を角度αで回転させることで得られる。

実施の形態２でのプロジェクタ１は、この傾きの状態に合わせて、第２視点２５の位置Ｐ２５から見て幾何歪みが解消されるように、前述の変換の内容（具体的には図９の矩形領域１４６の形状等）を調整する。別の観点では、プロジェクタ２のこの変換機能は、ユーザの視点位置およびＧＵＩを介したユーザの操作に基づいて、仮想視点５の位置を調整する機能である。

［（２−３）処理］
図１６は、図１５のようにプロジェクタ１にＸ軸の周りの傾きがある場合における処理内容や仮想カメラ映像の例を示す。図１６の上側には、比較のため、前述のステップＳ５の処理に関する、変換後仮想カメラ映像１４１の矩形領域１４６等を示す。図１６の下側には、実施の形態２における、ステップＳ５に代わるステップＳ５Ｂの処理に関する、変換後仮想カメラ映像１４１Ｂ内の四角形の領域１４７等を示す。実施の形態２では、調整機能のために、実施の形態１に対する主な変更点として、ステップＳ５の処理内容が異なり、ステップＳ５Ｂとなる。前述のステップＳ５では、プロジェクタ１は、投影可能領域１４５に内包される矩形領域１４６（長方形）を計算した。一方、ステップＳ５Ｂでは、プロジェクタ１は、図１６のように、投影可能領域１４５に内包される四角形の領域１４７を計算する。この四角形の領域１４７は、例えば台形の領域である。この領域１４７の四角形は、仮想視点（第２視点）２５から見た場合に矩形となる領域を、仮想視点（第１視点）５から見た場合の形状に相当する。この領域１４７の四角形の形状は、プロジェクタ１の設置状態やユーザの実際の視点位置に応じて決まる。なお、この四角形は、格子点群によって構成されているので、この四角形の概念は、概略的な四角形を含む。

図１５の例では、角度αがわかれば、四角形の領域１４７の４つの角の大きさおよび各辺の方向が一意に定まる。よって、例えば前述の図９と同様の処理で、面積が最大の四角形の領域１４７を定めることができる。四角形の領域１４７の４つの頂点の座標が得られた場合、その四角形の領域１４７をある矩形領域１４６に変換するための射影変換行列およびその逆変換のための射影変換行列が計算可能である。よって、プロジェクタ１は、これらの変換行列を用いて、四角形の領域１４７内の格子点座標を計算できる。ステップＳ５Ｂでは、変換行列計算回路１２は、変換後仮想カメラ映像１４１Ｂでの四角形の領域１４７を計算し、その領域１４７における変換後格子点座標ＶＧ２を計算する。

この処理の例としては、変換行列計算回路１２は、四角形の領域１４７を、各辺の長さが１の正方形領域に射影変換し、この領域を格子点の数に従って均等に分割し、この正方形領域における格子点座標を計算する。次に、変換行列計算回路１２は、各格子点座標に対し、前述の正方形領域から四角形の領域１４７への射影変換を適用することで、四角形の領域１４７内の格子点座標ＶＧ２を計算する。

［（２−４）ＧＵＩ例］
上記四角形の領域１４７の形状や向きは、プロジェクタ１の設置状態や実際の視点位置から計算によって得られるが、以下のように、ＧＵＩやセレクタ３１を通じて、この調整機能に係わる設定メニューを提供してもよい。プロジェクタ１は、この設定メニューやユーザインタフェース部５１を通じて、調整機能に係わるユーザの操作を受け付け、その操作の状態に応じて、領域１４７の形状や向きを計算し、リアルタイムで調整を行う。

図１７は、実施の形態２での調整機能に関する、スクリーン２でのＧＵＩの設定メニューの表示例を示す。図１７の「設定メニュー」は、調整機能（［ひずみ調整］）に関する、（Ｘ，Ｙ，Ｚ）の各軸の調整に関する設定項目として、スライドバーＢ０１，Ｂ０２，Ｂ０３を含む。なお、各軸の調整についてのオン／オフの設定も可能である。

ユーザは、実際の視点位置から、スクリーン２の投影映像３を見る。その状態で、ユーザは、投影映像３に、プロジェクタ１の傾きに起因する歪みがあると感じる場合には、この調整機能を用いて調整を行うことができる。ユーザは、調整したい場合、プロジェクタ１に設定メニューを表示させ、設定メニューを見て所望の軸の傾きに関する調整を行う。ユーザは、例えば、投影映像３にＹ方向の上下での台形状の歪みを感じる場合には、Ｘ軸での調整を行うために、スライドバーＢ０１を操作する。スライドバーＢ０１において、ガイドとして、左側には上辺の長さが短い台形が、右側には下辺の長さが短い台形が表示されている。ユーザがスライドバーＢ０１を例えば中央の標準位置から右へ動かす。これにより、プロジェクタ１は、そのスライドバーＢ０１の位置に応じて、投影映像３に対し、Ｘ軸の周りの上下の方向の補正（公知の台形補正）をかける。この補正により、ユーザの実際の視点位置から見て、投影映像３の形状を歪みが無い好適な形状に調整できる。

この調整の際の補正処理は、詳しくは以下のような処理例で実現できる。図３で、プロジェクタ１のコントローラ５０は、ユーザインタフェース部５１の操作ボタン５１ａまたはリモコンインタフェース部５１ｂを通じて、ユーザによるスライドバーＢ０１の操作および位置を検知する。コントローラ５０は、そのスライドバーＢ０１の操作および位置から、映像の形状に関する調整の度合いを把握する。コントローラ５０は、その度合いの値に応じて、図９の変換後仮想カメラ映像１４１の矩形領域１４６の格子点座標ＶＧ２における外周の形状、すなわち対応する図１６の四角形の領域１４７の格子点座標ＶＧ２の外周の形状（例えば台形等）を決定する。図１７の操作の例では、外周の形状は、下辺が短い台形の形状として決定される。

この後、プロジェクタ１は、ステップＳ５Ｂからの処理（対応する図１３の処理例）を同様に実行する。この処理例の中で、ステップＳ５３は、「点Ｍと点Ｎで規定される矩形」の代わりに、「点Ｍと点Ｎと領域１４７（格子点座標ＶＧ２）の外周の形状とで規定される四角形」となる。図６の処理が一通り実行されると、スクリーン２の投影映像３は、ユーザのスライドバーＢ０１の操作および位置を反映した、傾きに起因する歪みが低減された映像となっている。

なお、図１７の設定メニューは、従来一般的なプロジェクタに備える、平らなスクリーンの場合に対応した台形補正の機能および設定メニューと兼用した構成としてもよい。この場合、ユーザは、従来一般的な台形補正機能を操作する感覚で、曲面を持つスクリーン２の投影映像３に関する幾何歪みの調整が可能である。ユーザは、実施の形態１の変換機能によって自動的に幾何歪みが補正された後の投影映像３に対し、さらに、実施の形態２での調整機能を用いて、実際の視点位置等に応じてより好適な見え方となるように調整を行うことができる。

［（２−５）調整機能−Ｙ軸］
Ｙ軸の周りの左右の傾きに対応する調整機能については以下の通りである。このＹ軸に関する調整機能についても、基本的には上述のＸ軸に関する調整機能と同様の仕組みで実現できる。図１８は、プロジェクタ１の姿勢として、Ｙ軸の周りでの傾き、言い換えるとＸ方向の左右の傾きがある場合を示す。図１８は、Ｘ−Ｚ面を見た構成を模式的に示す。プロジェクタ座標系ＣＳ１は、角度βの傾きに対応して、Ｙ軸の周りに回転した後の座標系となっている。この傾きの状態では、プロジェクタ１の投影レンズ２２の位置Ｐ１とスクリーン２の投影中央６の位置Ｐ６とを結ぶ光軸７に対しＺ方向の上側に直線８ｂがあり、その直線８ｂ上に仮想視点５（第１視点）の位置Ｐ５がある。調整のために、投影中央６の位置Ｐ６からＺ方向に正対する方向に伸びる直線８ｃが設定される。この直線８ｃ上に第２視点２５の位置Ｐ２５が設定される。調整の際、図１６の変換後仮想カメラ映像１４１Ｂの四角形の領域１４７の形状や向きは、このような傾きの状態や仮想視点２５から計算によって同様に得られる。また、ユーザは図１７のスライドバーＢ０２を用いて同様に調整が可能である。

［（２−６）調整機能−Ｚ軸］
Ｚ軸の周りの回転の傾きに対応する調整機能については以下の通りである。このＺ軸に関する調整機能についても、基本的には上述のＸ軸に関する調整機能と同様の仕組みで実現できる。図１９は、プロジェクタ１の姿勢として、Ｚ軸の周りでの傾き、言い換えると左右の回転の傾きがある場合を示す。図１９の上側には、Ｘ−Ｙ面を見た構成を模式的に示す。プロジェクタ座標系ＣＳ１は、角度γの傾きに対応して、Ｚ軸の周りに回転した後の座標系となっている。この状態では、プロジェクタ１（または投影レンズ２２）の水平面８０に対する回転の角度γと同じ角度だけ、投影映像３もＸ−Ｙ面内で回転した状態となっている。この投影映像３のままでは、ユーザにとって見難い。この傾きの状態に関して調整を行う場合、プロジェクタ１は、スクリーン２の投影中央６の位置Ｐ６に対しＺ方向に図示しない直線８ｃを設定し、その直線８ｃ上に図示しない第２視点２５の位置Ｐ２５を設定する。

図１９の下側には、このＺ軸に関する調整を行う場合のステップＳ５Ｃの処理内容、および変換後仮想カメラ映像１４１Ｃを示す。調整の際、変換後仮想カメラ映像１４１Ｃの四角形の領域１４８の形状や向きは、このような傾きの状態や仮想視点２５から計算によって同様に得られる。この状態では、四角形の領域１４８の形状は、Ｘ−Ｙ面内において角度γで逆方向に傾きを持つ図形である。

この場合では、Ｚ軸での回転の角度γが得られるので、変換前の投影可能領域１４５に内包される四角形の領域を計算する際に、図１９に示すように候補となる四角形の領域１４８を角度γだけ逆方向に回転させる。これにより、傾きによって投影映像３に発生する回転を相殺することができる。また、ユーザは図１７のスライドバーＢ０３を用いて同様に調整が可能である。

［（２−７）効果等］
上記のように、実施の形態２によれば、実施の形態１の効果に加え、プロジェクタ１の設置状態に傾きがある場合でも、幾何歪みを解消または低減した好適な投影映像が得られる。

［（２−８）変形例−姿勢センサ］
実施の形態２の変形例として以下も可能である。実施の形態２では、プロジェクタ１の傾きに起因する幾何歪みを、ＧＵＩを通じたユーザの操作を契機として調整できる機能を示した。変形例では、プロジェクタ１は、上記傾きに起因する幾何歪みの調整を、図３のセンサ部の姿勢センサ６０を用いて、自動的に実現する。プロジェクタ１は、姿勢センサ６０を使用して、プロジェクタ１の傾きを含む姿勢の状態を検出する。姿勢センサ６０は、絶対座標系ＣＳ０でのプロジェクタ１の各軸（Ｘ，Ｙ，Ｚ）の周りでの回転による傾きの状態を検出できるセンサである。姿勢センサ６０を構成するデバイスの例としては、公知の重力センサ、加速度センサ、ジャイロセンサ、電子コンパス、その他のデバイスや方式を適用できる。姿勢センサ６０は、例えば、図１５の角度α、図１８の角度β、図１９の角度γを検出可能である。

プロジェクタ１の設置状態として例えば図１５の角度αの傾きがあるとする。この場合、プロジェクタ１の特に変換行列計算回路１２は、姿勢センサ６０の検出情報１６０を用いて、その角度αを得る。変換行列計算回路１２は、この傾きの角度αに応じて、図９の四角形の領域１４７の形状を決定する。これにより、前述のＧＵＩを通じたユーザ操作が無くても、プロジェクタ１は、自動的に幾何歪みの補正ができる。

（実施の形態３）
図２０を用いて、本発明の実施の形態３の映像表示装置について説明する。前述の各実施の形態では、図９の変換前仮想カメラ映像１４０の投影可能領域１４５内であれば、そのうちのどの領域にも映像を投影してもよいとしていた。そして、プロジェクタ１は、投影可能領域１４５に内包される四角形の領域１４６を計算し、この領域１４６を変換後の映像投影領域としていた。しかしながら、実際にプロジェクタ１を使用する環境では、スクリーン２の投影可能領域１４５内に障害物が存在する場合がある。その障害物を避けて映像を投影することができれば好ましい。例えば、スクリーン２が小さい場合等には、投影可能領域１４５がスクリーン２の投影可能領域をはみ出す場合がある。また、例えば、部屋の壁面等をスクリーン２として映像を投影する際に、壁面に対し壁掛け時計等の凹凸となる障害物がある場合がある。実施の形態３でのプロジェクタ１は、このような場合の障害物を、映像解析によって検出し、障害物を避けるようにして好適な領域を設定する機能を有する。

［（３−１）映像解析］
実施の形態３では、プロジェクタ１は、図３の映像解析回路１５を用いる。映像解析回路１５は、カメラ１０からの映像１２０を解析して、障害物領域等を検出し、解析結果情報１７０を出力する。変換行列計算回路１２は、その解析結果情報１７０を用いて、変換行列を計算する。

［（３−２）処理］
実施の形態３では、実施の形態１に対する変更点として、ステップＳ５の代わりに、以下のステップＳ５Ｅを有する。ステップＳ５Ｅの処理は、映像解析を用いて、障害物の領域を避けるようにして四角形の領域１４６（図９）を設定する処理を含む。

図２０は、実施の形態３でのステップＳ５Ｅの処理に関して、スクリーン２に障害物１２８がある例における、実カメラ映像１２０、変換前仮想カメラ映像１４０、および変換後仮想カメラ映像１４１等を示す。本例では、スクリーン２の前面のうち、右上付近に、障害物１２８の領域がある。この障害物１２８は、何かの物体である場合や、壁面の一部の凹凸等である場合がある。この障害物１２８の領域は、スクリーン２の他の面の領域に比べて、凹凸の度合いが大きく、映像投影に適していないとする。実カメラ映像１２０内に、その障害物１２８の領域が含まれている。

プロジェクタ１の映像解析回路１５は、実カメラ映像１２０や距離情報１３０に基づいて、障害物１２８の領域を検出し、解析結果情報１７０として出力する。映像解析回路１５は、例えば、実カメラ映像１２０の各画素の色情報や輪郭情報等に基づいて、障害物１２８の領域を検出する。なお、この障害物１２８の領域を検出する処理の際、映像解析回路１５は、実カメラ映像１２０の色情報ではなく、距離推定部１３で計算した距離情報１３０を用いてもよい。この場合、プロジェクタ１は、スクリーン２からはみ出している領域や、壁面で穴が開いている領域等、スクリーン距離９の大小の差が大きい領域を、障害物１２８の領域として検出可能である。

変換行列計算回路１２は、その障害物１２８の領域に応じて、変換前仮想カメラ映像１４０の投影可能領域１４５内における除外領域Ｅ１を生成し設定する。また、変換行列計算回路１２は、対応する変換後仮想カメラ映像１４０内に除外領域Ｅ１を設定する。ステップＳ５Ｅで、変換行列計算回路１２は、変換後格子点座標ＶＧ２を計算する際、投影可能領域１４５に内包され、かつ除外領域Ｅ１を含まないという条件を満たすように、四角形の領域１４９を計算する。

実カメラ映像１２０の格子点座標ＣＧ１と変換前仮想カメラ映像１４０の格子点座標ＶＧ１は、前述の手順で計算できるので、実カメラ映像１２０の各領域の映像を、変換前仮想カメラ映像１４０の対応する各領域に射影変換することが可能である。この結果、図２０のように、変換前仮想カメラ映像１４０での除外領域Ｅ１を計算できる。実施の形態３で、前述の図１３の処理例では、ステップＳ５３の判定は、矩形が投影可能領域１４５に内包され、かつ、除外領域Ｅ１を含まないという条件となる。これにより、プロジェクタ１は、変換後仮想カメラ映像１４１で、除外領域Ｅ１を含まない四角形の領域１４９を計算できる。その後は実施の形態１と同様の処理とすればよい。

［（３−３）効果等］
上記のように、実施の形態３によれば、実施の形態１の効果に加え、スクリーン２に障害物がある場合でも、その障害物を避けた領域で、幾何歪みが無い好適な投影映像３が得られる。実施の形態３の変形例として以下も可能である。

プロジェクタ１は、障害物を避けたことで、投影映像３が小さくなり過ぎる場合には、ＧＵＩを通じてユーザに対し警告等を出力してもよい。例えば、プロジェクタ１は、変換後における領域１４９の面積を計算し、その面積を変換前における投影可能領域１４５の面積で割った値（面積比率）を得る。プロジェクタ１は、その値が閾値以下である場合、警告を出力する。プロジェクタ１は、ＧＵＩを通じて、障害物を避けて投影可能領域（領域１４９）を設定するか否かを確認し、ユーザの操作に応じて決定する。

また、プロジェクタ１は、実カメラ映像１２０のうちのどの部分に障害物があるかが分かるので、プロジェクタ１をどの方向にどの程度動かせば好適な状態になるかも判断できる。よって、プロジェクタ１は、その判断を行い、ＧＵＩを通じて、ユーザに対し、プロジェクタ１をどの方向にどの程度動かせば好適な状態になるか、ガイド情報を出力してもよい。ユーザは、そのガイド情報に従って、プロジェクタ１を好適な状態にすることができ、障害物が無い状態での投影映像３を得ることができる。

また、スクリーン２に障害物が無くても、例えばスクリーン２が傾きすぎているために投影映像が小さくなり過ぎる場合も考えられる。このような場合にも、上記と同様に、警告やガイドの出力が可能である。この場合、判断は、例えば、変換前仮想カメラ映像１４０に占める投影可能領域１４５の面積の割合を所定の閾値と比較することで可能である。

（実施の形態４）
図２１を用いて、本発明の実施の形態４の映像表示装置について説明する。実施の形態４は、さらに、映像の格子の分割数の構成を好適に設定および制御する機能を有する。実施の形態４では、プロジェクタ１は、２種類以上の分割数を用いて選択や切り替えを行う。プロジェクタ１は、幾何変換を含む処理に関して、例えば、処理負荷上、制約がある場合等に、分割数を抑制する。これにより、より高速に幾何変換を含む処理が可能である。

［（４−１）映像の分割数］
図３の構成で、各要素のうち、特に幾何変換回路３０は、行列を用いた変換処理を行うので、処理量が多い。そのため、図７のような、映像における格子の複数の領域への分割の構成に関して、分割数を大きくし過ぎる場合、処理量が多すぎて望ましくない可能性がある。そこで、映像表示装置の実装におけるハードウェアやソフトウェアのリソースや性能に応じて、映像の格子の分割数（ＤＮとする）を、好適な数に設定することが好ましい。例えば、装置のリソースや性能を優先する場合には、分割数ＤＮを、ある程度小さい値に制限すればよい。映像品質を優先する場合、分割数ＤＮを、なるべく大きい値にすればよい。分割数ＤＮは、言い換えれば、領域数である。

一例として、幾何変換回路３０の性能を考慮して、幾何変換回路３０で変換可能である映像の最大の分割数ＤＮ（ＤＮａとする）が６×６である場合を考える。ここで、このように分割数ＤＮ（６×６）が少ない場合、スクリーン２のうち曲率が高い部分では、その部分を平面と近似した場合の誤差が大きくなり、投影映像３に歪みが残ってしまう可能性がある。この歪みは、分割数ＤＮを大きくすれば、誤差が小さくなるので、解消可能である。しかし、最大の分割数ＤＮａで制限される場合には、その歪みが低減できない。

実施の形態４では、上記のような場合にも対処できるように、以下のような構成を有する。プロジェクタ１は、幾何変換回路３０での最大の分割数ＤＮａ（例えば６×６）に対し、それよりも大きい数の分割数ＤＮ（ＤＮｂとする）を、内部処理（特に演算回路４０の処理）で用いる。例えば、内部処理での最大の分割数ＤＮを、分割数ＤＮｂ＝８×８とする。仮想カメラ映像は、この分割数ＤＮｂに従って、複数（８×８）の領域を持つ格子として処理される。

なお、実装では、例えば、分割数ＤＮａ＝６４×６４、分割数ＤＮｂ＝１２８×１２８、分割数の比率が１／２、といったように、より大きな数を用いることができる。パターン生成回路３２は、映像の分割数ＤＮに対応させたパターン映像１０１を生成する。また、例えばパターン生成回路３２や演算回路４０には、分割数ＤＮ（ＤＮａ，ＤＮｂ）の値が設定されている。ユーザ設定を通じて、複数の種類の分割数ＤＮの設定値を変更できる。分割数ＤＮは、基本的には、スクリーン２の曲面の曲率に応じて設定されると好適である。分割数ＤＮは、Ｘ方向、Ｙ方向での分割数が異なってもよい。

［（４−２）制御例］
図２１を用いて分割数ＤＮの設定および制御に関する具体例を説明する。図２１は、変換前仮想カメラ映像１４０と変換後仮想カメラ映像１４１とを示し、特に、変換後仮想カメラ映像１４１に関して、分割数の間引きの前後の格子の構成を示す。図２１は、矩形領域１４６について、間引き前の格子点１４２と、間引き後の格子点１４３とを示す。間引きは、分割数ＤＮの変更を指す。本例では、スクリーン２の左上付近では凹凸が細かく、それ以外の部分では、例えば右下付近ほど、凹凸が粗いとする。この場合、スクリーン２の左上部分の幾何歪みを少なくするためには、なるべく細かい分割の領域とする必要があるが、他の部分については、それほど細かい分割の領域とする必要は無い。

しかしながら、プロジェクタ１は、スクリーン２の面内の凹凸の分布の状況については、距離情報１３０を得るまでは判断できない。そのため、プロジェクタ１は、距離情報１３０を得るまでの前半部分の処理については、分割数ＤＮを、内部処理で最大の分割数ＤＮｂ（＝８×８）として行う。具体的には、図６のフローのうちステップＳ５までは、分割数ＤＮｂで処理が行われる。間引き前の格子点１４２は、分割数ＤＮｂに対応した８×８の領域を持つ格子における各格子点であり、前述の変換後格子点座標ＶＧ２に対応する。矩形領域１４６（対応する格子）において、Ｘ方向での縦分割線の位置をｘ１等で示し、Ｙ方向での横分割線の位置をｙ１等で示す。

ステップＳ５まで終了した時点で、各格子点についてのスクリーン距離９が得られている。よって、プロジェクタ１は、距離情報１３０から、スクリーン２の面のうちどの領域で凹凸が細かいか粗いか等が分かる。そこで、プロジェクタ１は、スクリーン２の凹凸が細かい領域や粗い領域を抽出して、それらの領域を対象に、分割数ＤＮを制御することで、変換後格子点座標ＶＧ２に関する間引きを行う。本例では、変換行列計算回路１２は、間引き前の格子点１４２において、実線で示す縦横の分割線のうち、破線で示すように、いくつかの分割線を間引く。本例では、位置ｘ６，ｘ８にある分割線と、位置ｙ６，ｙ８にある分割線とが間引かれている。これにより、間引き後の格子点１４３のようになり、分割線の数の削減と共に、全体の格子点の数が削減されている。

プロジェクタ１は、どの分割線を間引くかについては、上記スクリーン２の面の凹凸の細かさ（例えばスクリーン距離９の大小の差）に応じて決定する。本例では、スクリーン２の面の左上付近の凹凸が細かく、右下付近が粗いので、右下付近の領域が、間引きの対象として選択されている。間引き後の格子点１４３では、右下付近の領域で、格子点の数が低減され密度が小さくなっており、領域の数が低減され１つの領域のサイズは大きくなっている。間引き後の格子点１４３で、変換後格子点座標ＶＧ２ｂを有する。

プロジェクタ１は、上記間引き後の格子点１４３の変換後格子点座標ＶＧ２ｂを用いて、ステップＳ６以降の処理を同様に行う。各処理では、対応する格子点についても、間引きが反映された状態となる。最終的に、ステップＳ９では、幾何変換回路３０は、最大の分割数ＤＮａ（＝６×６）に対応した変換前映像１１０を幾何変換処理する。上記間引きの際には、分割数ＤＮａ以下の数から選択可能である。

［（４−３）効果等］
上記のように、実施の形態４によれば、実施の形態１の効果に加え、映像品質または処理負荷等の優先方針に応じて、好適な投影映像が得られる。分割数の他の制御例としては、スクリーン２の曲面の度合いに応じて映像フレーム内で均一の分割となるように分割数を選択して設定することも可能である。

以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。

１…プロジェクタ、２…スクリーン、３…投影映像、４…映像ソース機器、５…仮想視点、６…投影中央、７…プロジェクタ光軸、８…水平線、９…スクリーン距離、１０…カメラ、２２…投影レンズ、Ｐ１，Ｐ２，Ｐ３，Ｐ５，Ｐ６…位置。

Claims (15)

1. スクリーンに映像を投影する映像表示装置であって、
   第１位置に配置された投影レンズと、
   第２位置に配置されたカメラと、
   を備え、
   前記スクリーンに曲面を持つ場合に、
   前記スクリーンに投影した第１映像を前記カメラによって撮影したカメラ映像を取得し、
   表示対象映像に対し、前記カメラ映像、前記第１位置および前記第２位置の情報に基づいて、第１仮想視点位置から見て前記曲面に起因する幾何歪みを補正するための幾何変換を行って、変換後映像を前記スクリーンに投影する、
   映像表示装置。
2. 請求項１記載の映像表示装置において、
   前記第１映像および前記カメラ映像を用いて、前記スクリーンの投影映像の格子の各点を計算し、
   前記第１位置から前記格子の各点までの距離を計算し、
   前記格子および前記距離を用いて、前記第１仮想視点位置から見て前記曲面に起因する幾何歪みを補正するための変換行列を計算し、
   前記変換行列を用いて前記幾何変換を行う、
   映像表示装置。
3. 請求項２記載の映像表示装置において、
   前記カメラ映像および前記距離を用いて、前記第１仮想視点位置から見た場合の仮想カメラ映像を計算し、
   前記仮想カメラ映像の投影可能領域に対応する第１格子から、前記投影可能領域に包含される四角形の領域に対応する第２格子を計算し、
   前記第２格子を用いて前記変換行列を計算する、
   映像表示装置。
4. 請求項３記載の映像表示装置において、
   前記仮想カメラ映像から前記表示対象映像への変換を表す第１変換行列を計算し、
   前記第１変換行列および前記第２格子を用いて、前記変換後映像の領域に対応する第３格子を計算し、
   前記表示対象映像から前記第３格子への変換を表す第２変換行列を前記変換行列として計算する、
   映像表示装置。
5. 請求項２記載の映像表示装置において、
   前記第１映像は、設定された分割数での前記格子の構成に対応させたパターン映像である、
   映像表示装置。
6. 請求項１記載の映像表示装置において、
   前記第１仮想視点位置は、前記スクリーンの投影映像の中央位置から水平方向の直線上の位置に設定されている、
   映像表示装置。
7. 請求項３記載の映像表示装置において、
   前記四角形は、長方形である、
   映像表示装置。
8. 請求項１記載の映像表示装置において、
   前記カメラは、前記映像表示装置の筐体の面に設けられている、
   映像表示装置。
9. 請求項１記載の映像表示装置において、
   前記第１仮想視点位置とは異なる第２仮想視点位置を設定し、
   前記第１仮想視点位置と前記第２仮想視点位置との差に基づいて、前記第２仮想視点位置から見て前記幾何歪みを補正するための前記幾何変換を行う、
   映像表示装置。
10. 請求項９記載の映像表示装置において、
    絶対座標系に対する、前記映像表示装置を基準とした第１座標系の前記映像表示装置の設置の傾きに応じて、前記第２仮想視点位置を設定する、
    映像表示装置。
11. 請求項９記載の映像表示装置において、
    ユーザインタフェースを介したユーザの操作に基づいて、前記第２仮想視点位置から見た場合の前記幾何変換の度合いを決定する、
    映像表示装置。
12. 請求項１０記載の映像表示装置において、
    前記傾きを検出するセンサを備える、
    映像表示装置。
13. 請求項１記載の映像表示装置において、
    前記カメラ映像に基づいて、前記スクリーンのうちの障害物領域を検出し、
    前記第１映像および前記カメラ映像を用いて、前記スクリーンの投影映像の格子の各点を計算し、
    前記第１位置から前記格子の各点までの距離を計算し、
    前記カメラ映像および前記距離を用いて、前記第１仮想視点から見た場合の仮想カメラ映像を計算し、
    前記仮想カメラ映像の投影可能領域に対応する第１格子から、前記障害物領域を含まず、前記投影可能領域に包含される四角形の領域に対応する第２格子を計算し、
    前記第２格子を用いて前記変換行列を計算する、
    映像表示装置。
14. 請求項２記載の映像表示装置において、
    前記格子の分割数は、設定された第１分割数と、前記第１分割数よりも小さい第２分割数とを含む、複数の種類の分割数から選択された分割数である、
    映像表示装置。
15. スクリーンに映像を投影する映像表示装置における映像表示方法であって、
    前記映像表示装置は、
    第１位置に配置された投影レンズと、
    第２位置に配置されたカメラと、
    を備え、
    前記映像表示方法は、
    前記スクリーンに曲面を持つ場合に、
    前記スクリーンに投影した第１映像を前記カメラによって撮影したカメラ映像を取得するステップと、
    表示対象映像に対し、前記カメラ映像、前記第１位置および前記第２位置の情報に基づいて、第１仮想視点位置から見て前記曲面に起因する幾何歪みを補正するための幾何変換を行って、変換後映像を前記スクリーンに投影するステップと、
    を有する、映像表示方法。

Images