JP2016019194A - 画像処理装置、画像処理方法、および画像投影装置 - Google Patents

Abstract

【課題】投影面に投影された画像の形状の歪みを抑えることができる、あるいは適正な大きさの画像を投影することができる画像処理装置、画像処理方法、および画像投影装置を提供する。【解決手段】実施形態によれば、設定部と、補正部と、を備えた画像処理装置が提供される。前記設定部は、対象画像が投影される投影面の形状に関する情報と、前記対象画像を投影する投影位置に関する情報と、視点の位置に関する情報と、に基づいて、前記投影面に投影される画像を前記視点から観察したときに前記対象画像の全体を視認可能とする補正情報を設定する。前記補正部は、前記補正情報に基づいて前記対象画像を補正する。【選択図】図１

Description

本発明の実施形態は、画像処理装置、画像処理方法、および画像投影装置に関する。

例えばプロジェクタなどの画像投影装置が画像を投影する場合において、画像が投影される投影面が非平面を含むと、画像投影装置とは異なる位置から投影面を見たときに投影面に投影された画像が歪むことがある。これに対して、投影面の凹凸に関する情報に基づいて入力画像を補正すると、画像投射装置とは異なる位置から投影面を見ても投影面に投影された画像の歪みが抑えられる。
しかし、そのような補正を加えると、補正された画像の大きさが、投影面上において適正ではないことがある。画像投影装置とは異なる位置から非平面の投影面を見た場合でも、例えば視点位置から投影面を撮影するなどの煩雑な動作を行うことなく、投影面に投影された画像の形状の歪みを抑え、適正な大きさの画像を投影することができる画像処理装置、画像処理方法、および画像投影装置が望まれている。

高橋、沼、青木、近藤、「三次元計測に基づく投影画像の幾何補正手法の検討」、電子情報通信学会技術研究報告、２００７年１０月、ｖｏｌ．１０７、ｎｏ．２８７、ｐ．７１−７６

本発明の実施形態は、投影面に投影された画像の形状の歪みを抑えることができる、あるいは適正な大きさの画像を投影することができる画像処理装置、画像処理方法、および画像投影装置を提供する。

実施形態によれば、設定部と、補正部と、を備えた画像処理装置が提供される。前記設定部は、対象画像が投影される投影面の形状に関する情報と、前記対象画像を投影する投影位置に関する情報と、視点の位置に関する情報と、に基づいて、前記投影面に投影される画像を前記視点から観察したときに前記対象画像の全体を視認可能とする補正情報を設定する。前記補正部は、前記補正情報に基づいて前記対象画像を補正する。

本発明の実施の形態にかかる画像投影装置を表すブロック図である。 本実施形態にかかる画像処理方法を説明するフローチャート図である。 本実施形態の取得部を例示するブロック図である。 本実施形態の距離センサを例示する斜視図である。 投影面の３次元座標の算出方法を説明する模式的平面図である。 本実施形態の他の取得部を例示するブロック図である。 視点情報を取得する別の形態を例示する平面図である。 投影面と、投影位置と、視点と、の位置関係を例示する斜視図である。 入力画像および観察画像を表す平面図である。 本実施形態の設定部の処理を表すフローチャート図である。 入力画像および観察画像を座標軸とともに表す模式的平面図である。 内部パラメータＡ_Ｐを説明する模式的平面図である。 外部パラメータＲ_Ｐ、ｔ_Ｐを説明する模式的斜視図である。 本実施形態の補正情報の更新方法を説明する模式的平面図である。 実施形態の変形例にかかる画像処理方法を説明するフローチャート図である。 実施形態の変形例にかかる画像投影装置を説明する模式的平面図である。 実施形態の変形例にかかる画像投影装置を説明する模式的平面図である。 実施形態の変形例にかかる画像投影装置を説明する模式的平面図である。

以下、本発明の実施の形態について図面を参照しつつ説明する。なお、各図面中、同様の構成要素には同一の符号を付して詳細な説明は適宜省略する。
図１は、本発明の実施の形態にかかる画像投影装置を表すブロック図である。
なお、図１に表したブロック図は、本実施形態にかかる画像処理装置の要部構成の一例であり、必ずしも実際のプログラムモジュールの構成とは一致しない場合がある。

図１に表した画像投影装置１００は、画像処理装置２００と、取得部１１０と、投影部１２０と、を備える。
画像処理装置２００は、設定部２１０と、補正部２２０と、を有する。

なお、画像処理装置２００は、画像投影装置１００とは異なる外部の装置であってもよいし、画像投影装置１００が備える装置であってもよい。図１に表したハードウェア構成は、一例であり、各実施形態および各具体例に係る画像処理装置２００の一部、又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットとして実現してもよい。各機能ブロックについては、個別にプロセッサ化してもよいし、各機能ブロックの一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法については、ＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。

取得部１１０は、画像が投影される面（投影面）３５１（図５（ｃ）参照）の３次元形状に関する情報（形状情報）１１２と、画像を投影する画像投影装置１００の位置に関する情報（投影位置情報）１１３と、投影面３５１を観察する視点の位置に関する情報（視点情報）１１４を取得する。取得部１１０は、形状情報１１２と、投影位置情報１１３と、視点情報１１４と、を設定部２１０に送る。

設定部２１０は、形状情報１１２と、投影位置情報１１３と、視点情報１１４と、に基づいて、補正画像の大きさに関する情報および補正画像の位置に関する情報（補正情報）２１２を設定する。補正画像２２２は、入力画像（対象画像）３０１が補正部２２０により補正された画像である。設定部２１０は、補正情報２１２を補正部２２０に送る。

補正部２２０は、補正情報２１２に基づいて入力画像３０１を補正し、補正画像２２２を投影部１２０に送る。投影部１２０は、補正画像２２２を投影する。

図２は、本実施形態にかかる画像処理方法を説明するフローチャート図である。
取得部１１０は、投影面３５１の形状情報１１２と、投影位置情報１１３と、視点情報１１４と、を取得し設定部２１０に送る（ステップＳ２０１）。

ここで、本実施形態の取得部１１０について、図面を参照しつつ説明する。
図３は、本実施形態の取得部を例示するブロック図である。
図４は、本実施形態の距離センサを例示する斜視図である。
図５（ａ）〜図５（ｃ）は、投影面の３次元座標の算出方法を説明する模式的平面図である。
図５（ａ）は、投光画像の画素の座標を例示する模式的平面図である。図５（ｂ）は、受光画像の画素の座標を例示する模式的平面図である。図５（ｃ）は、投光部と受光部と対象物体との幾何学的関係を例示する模式的平面図である。対象物体３５０は、投影面３５１を形成する。
図３に表したように、取得部１１０は、距離センサ１１６と、算出部１１７と、視点取得部１１８と、を有する。距離センサ１１６は、距離センサ１１６自身と、投影面３５１と、の間の距離を計測し、その距離に関する情報（距離情報）１１９を算出部１１７に送る。算出部１１７は、距離情報１１９に基づいて、投影面３５１の形状情報１１２と、投影位置情報１１３と、を取得し設定部２１０に送る。

図４に表したように、本実施形態の距離センサ１１６は、投光部１１６ａと、受光部１１６ｂと、を有する。投光部１１６ａおよび受光部１１６ｂは、互いに略同じ高さに設けられている。投光部１１６ａの中心１１６ｃと受光部１１６ｂの中心１１６ｄとを結ぶ中心線Ｃ１は、距離センサ１１６の底面１１６ｅと略平行である。そのため、距離センサ１１６を水平面に設置すると、中心線Ｃ１は、水平となる。

投光部１１６ａは、ランダムパターンを持つ赤外光を投影面３５１に対して投射する。受光部１１６ｂは、投光部１１６ａが投射した赤外光のうちで投影面３５１から反射される赤外光を受光する。ここで、距離センサ１１６が投光する赤外光および距離センサ１１６が受光する赤外光のパターンを２次元の画像として考え、投光画像の画素の座標（ｘ_ｐ，ｙ_ｐ）に対応する受光画像の画素の座標を（ｘ_ｃ，ｙ_ｃ）と表す。算出部１１７は、投光画像の画素の座標（ｘ_ｐ，ｙ_ｐ）に対応する受光画像の画素の座標（ｘ_ｃ，ｙ_ｃ）を求めることで、受光部１１６ｂを原点としたときの投影面３５１の３次元形状の座標（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）を求めることができる。

図５（ａ）〜図５（ｃ）を参照しつつ、投影面３５１の３次元形状の座標（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）の算出方法についてさらに説明する。
図５（ａ）に表したように、投光画像の画素の座標（ｘ１，０）に対応する受光画像の画素の座標が座標（ｘ２，０）である場合について考える。投光部１１６ａと、受光部１１６ｂと、投光画像の座標（ｘ１，０）の画素の光があたる対象物体３５０と、の関係は、図５（ｃ）に表した通りである。

図５（ｃ）に表した「Ｌ」は、投光部１１６ａと受光部１１６ｂとの間の物理的な距離である。図５（ｃ）に表した「Ｄ」は、距離センサ１１６と対象物体３５０との間の距離である。図５（ｃ）に表した「ｆ」は、受光部１１６ｂの焦点距離である。このとき、幾何的な関係から式（１）の関係が成り立つ。


距離センサ１１６と対象物体３５０との間の距離Ｄは、式（１）により式（２）で表される。


これにより、投光画像の座標（ｘ１，０）の画素の光があたる対象物体３５０の点の３次元座標（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）は、式（３）〜式（５）で表される。

本実施形態では、特定のパターンを持った赤外光を投射する投光部１１６ａと、赤外光を受光する受光部１１６ｂと、が一体となった距離センサ１１６について説明している。なお、投光部１１６ａが投影し受光部１１６ｂが受光する光は、可視光であってもよい。 また、距離を計測する手段の別の例としては、画像投影装置１００は、距離センサ１１６の代わりに図示しない撮影部を備えていてもよい。この場合には、投影部１２０は、特定のパターンの光を対象物体３５０に投影する。撮影部は、対象物体３５０を撮影する。画像投影装置１００は、撮影部が撮影した画像と、投影部１２０が対象物体３５０に投影した元のパターンと、の対応関係から撮影部と対象物体３５０との間の距離を求める。

また、画像投影装置１００は、距離センサ１１６の代わりに、図示しない複数の撮影部を備えていてもよい。この場合には、画像投影装置１００は、複数の撮影部が撮影した複数の画像の画素の対応関係から撮影部と対象物体３５０との間の距離を求める。例えば、画像投影装置１００は、２つの撮影部同士を結ぶ直線と、対象物体３５０と、の間の距離を求める。

また、距離センサ１１６が距離を計測する方法は、特定のパターンを持った光を投影する方法には限定されない。例えば、距離センサ１１６は、パルス形状に変調した光を投影面３５１に投影し、投影面３５１において反射した光を受光し、投影した光の位相と受光した光の位相との間の差に基づいて距離センサ１１６自身と投影面３５１との間の距離を計測してもよい。
このように、距離センサ１１６は、投影部１２０から画像を投影する対象物体３５０の３次元形状を取得する手段の一例である。対象物体３５０の３次元形状を取得する手段は、これらに限られるわけではない。

なお、対象物体３５０の３次元形状の座標は、距離センサ１１６の受光部１１６ｂを原点として算出される。そのため、距離センサ１１６の受光部１１６ｂと、投影部１２０と、の間の距離に基づいて、投影位置（投影部１２０）の座標を設定することができる。例えば、投影部１２０と受光部１１６ｂとが、ｘ方向にｐｘ、ｙ方向にｐｙ、ｚ方向にｐｚだけ互いに離れている場合には、投影位置の座標は、（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）＝（ｐｘ，ｐｙ，ｐｚ）と設定することができる。算出部１１７は、投影面３５１の３次元形状を算出し、投影面３５１の形状情報１１２と、投影位置情報１１３と、を設定部２１０に送る。

視点取得部１１８は、視点情報１１４を取得し設定部２１０へ送る。本実施形態では、視点取得部１１８は、予め定めた視点の位置を記録したルックアップテーブル（ＬＵＴ：Look up Table）を有し、ＬＵＴを読み込むことによって視点情報１１４を取得する。ＬＵＴには、距離センサ１１６の受光部１１６ｂを原点としたときの視点の座標が予め記録されている。視点取得部１１８は、ＬＵＴに記録された座標（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）を視点情報１１４として取得する。

図６（ａ）〜図６（ｃ）は、本実施形態の他の取得部を例示するブロック図である。
図６（ａ）に表したように、視点情報１１４を取得する別の形態として、取得部１１０ａは、ユーザが視点位置を入力可能な視点位置入力部１１１ａを有していてもよい。この場合には、ユーザが視点位置入力部１１１ａにより視点の位置に関する情報を入力する。これにより、視点取得部１１８は、視点情報１１４を取得することができる。

また、視点情報１１４を取得する別の形態として、図６（ｂ）に表したように、取得部１１０ｂは、第２の距離センサ１１１ｂを有していてもよい。第２の距離センサ１１１ｂは、視聴者の位置に関する情報を取得することができる。これにより、視点取得部１１８は、視点情報１１４を取得することができる。

また、視点情報１１４を取得する別の形態として、図６（ｃ）に表したように、取得部１１０ｃは、可視カメラ１１１ｃを有していてもよい。可視カメラ１１１ｃは、視聴者の位置に関する情報を取得することができる。これにより、視点取得部１１８は、視点情報１１４を取得することができる。

図７は、視点情報を取得する別の形態を例示する平面図である。
視点情報１１４を取得する別の形態として、視点取得部１１８は、算出部１１７が算出した投影部１２０と投影面３５１との間の距離に基づいて視点情報１１４を取得してもよい。具体的には、図７に表したように、視野角θが予め設定されている。視野角θと、投影部１２０と投影面３５１との間の距離ｄの値と、に応じて、視点の位置の座標（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）を設定することができる。視点の位置の座標（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）は、式（６）〜式（８）で表される。なお、（Ｘ_Ｐ，Ｙ_Ｐ，Ｚ_Ｐ）は、投影部１２０の３次元座標を表す。θ_Ｘは、水平方向の視野角を表す。θ_Ｙは、垂直方向の視野角を表す。


取得部１１０は、投影面３５１の形状情報１１２と、投影位置情報１１３と、視点情報１１４と、を設定部２１０に送る。

図２に戻って説明すると、設定部２１０は、投影面３５１の３次元形状の座標（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）と、投影位置位置の座標（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）と、視点位置の座標（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）と、に基づいて、補正情報２１２を設定し補正部２２０に送る（ステップＳ２０２）。補正情報２１２は、視点位置の座標（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）から投影面３５１に投影された画像を見たときに入力画像３０１の全体の画像情報を視認可能な投影画像（補正画像２２２）の位置に関する情報および投影画像（補正画像２２２）の大きさに関する情報を有する。

図８および図９を参照しつつ、設定部２１０の動作をさらに説明する。
図８は、投影面と、投影位置と、視点と、の位置関係を例示する斜視図である。
図９（ａ）〜図９（ｃ）は、入力画像および観察画像を表す平面図である。
図９（ａ）は、入力画像３０１を表す模式的平面図である。図９（ｂ）は、図９（ａ）に表した入力画像３０１が投影面に投影された投影画像を視点から観察した観察画像の例を表す模式的平面図である。図９（ｃ）は、図９（ａ）に表した入力画像３０１が投影面に投影された投影画像を視点から観察した観察画像の他の例を表す模式的平面図である。

設定部２１０の動作の説明においては、説明の便宜上、カメラなどの撮影装置により視点の位置から投影面を撮影した画像を観察画像とする。但し、カメラなどの撮影装置により視点の位置から投影面を撮影することは、設定部２１０の動作の説明の便宜上のもの、あるいは想定上のものである。本実施形態において、カメラなどの撮影装置が視点の位置に必要となるわけではない。例えば、人の目を表すパラメータを設定して観察画像の見え方を推定してもよい。

図９（ｂ）は、投影部１２０が比較的小さいサイズの画像を投影した場合に、視点の位置で観察される観察画像の例を表す。図９（ｃ）は、投影部１２０が比較的大きいサイズの画像を投影した場合に、視点の位置で観察される観察画像の例を表す。図９（ｂ）に表した観察画像は、入力画像３０１の全体の情報を含む。一方で、図９（ｃ）に表した観察画像は、入力画像３０１の一部の情報を含まない。つまり、投影部１２０が投影する画像のサイズが比較的大きいため、投影面に投影された画像は、視点における観察画像の画面３５５の範囲から外れた部分を有する。言い換えれば、入力画像３０１のうち観察できない領域が存在する。入力画像３０１に関する情報は、表示が望まれる情報を含む。そのため、入力画像３０１に関する情報の全ては、視点位置で観察される観察画像の画面３５５の範囲内に含まれることが望ましい。

画面３５５の範囲は、前述したカメラなどの撮影装置が撮影可能な範囲と等価である。言い換えれば、画面３５５の範囲は、視点の位置における視野の限界の範囲と等価である。

ここで、投影部１２０から投影面３５１に投影された投影画像を視点から観察し、その観察画像の見え方に応じて投影画像の大きさなどを調整することで、観察画像の画面３５５の範囲内に入力画像３０１に関する情報を収めることは可能である。しかし、投影と観察とを繰り返しながら投影条件を調整することは、ユーザの負担となる。

これに対して、本実施形態にかかる画像処理装置２００は、入力画像３０１の各画素が観察画像においてどこの位置に対応するかを演算により算出することで視点における観察画像を推定し、入力画像３０１に関する情報が観察画像の画面３５５の範囲に収まるように入力画像３０１を補正する（ステップＳ２０３）。本実施形態にかかる画像投影装置１００は、入力画像３０１が補正された補正画像２２２を投影部１２０から投影面に投影する（ステップＳ２０４）。

図１０は、本実施形態の設定部の処理を表すフローチャート図である。
図１１（ａ）〜図１１（ｃ）は、入力画像および観察画像を座標軸とともに表す模式的平面図である。
図１１（ａ）は、入力画像３０１を表す模式的平面図である。図１１（ｂ）は、図１１（ａ）に表した入力画像３０１が投影面に投影された投影画像を視点から観察した観察画像の例を表す模式的平面図である。図１１（ｃ）は、図１１（ａ）に表した入力画像３０１が投影面に投影された投影画像を視点から観察した観察画像の他の例を表す模式的平面図である。

設定部２１０は、投影部１２０が投影面に画像を仮想的に投影したときに、投影面３５１上の点の３次元座標に対応する入力画像３０１の画素の座標を算出する(ステップＳ２２１)。図１１（ａ）〜図１１（ｃ）では、入力画像および観察画像のそれぞれの画像の中心を原点が通るように、ｘ軸およびｙ軸が設定されている。画面３５５のｘ座標の最小値は、「−１」である。画面３５５のｘ座標の最大値は、「１」である。画面３５５のｙ座標の最小値は、「−１」である。画面３５５のｙ座標の最大値は、「１」である。ここで、入力画像の画素の座標をｍ_ｐ＝（ｘ_ｐ，ｙ_ｐ）と表し、座標ｍ_ｐ＝（ｘ_ｐ，ｙ_ｐ）の入力画像３０１の画素が投影面３５１に投影される位置の３次元座標をＭ＝（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）と表す。入力画像３０１の画素の座標ｍ_ｐ＝（ｘ_ｐ，ｙ_ｐ）と、投影面３５１上の３次元座標Ｍ＝（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）と、の間の関係式は、次の式の通りである。


式（９）中のＰ_Ｐは、投影部１２０が投影面３５１に画像を投影する際の透視投影行列を表す。つまり、設定部２１０は、投影面３５１上の点の３次元座標に対応する入力画像３０１の画素の座標を算出する処理において透視投影変換を実行する。

次の式に表したように、透視投影行列Ｐ_Ｐは、内部パラメータＡ_Ｐと、外部パラメータＲ_Ｐ、ｔ_Ｐと、で表される。


内部パラメータＡ_Ｐは、投影部１２０の特性などを表す。例えば、内部パラメータＡ_Ｐは、投影部１２０が有するレンズの焦点距離や、投影部１２０が有するレンズの光軸に対する表示素子の（画像）中心の位置（座標）などを含む。
外部パラメータＲ_Ｐ、ｔ_Ｐは、画像投影装置１００の位置や、画像投影装置１００の姿勢などを表す。例えば、外部パラメータＲ_Ｐ、ｔ_Ｐは、３次元空間において任意に設定された原点に対して、画像投影装置１００が存在する位置や、画像投影装置１００が画像を投影する方向などを表す。

ここで、図１２（ａ）、図１２（ｂ）、および図１３を参照しつつ、内部パラメータＡ_Ｐおよび外部パラメータＲ_Ｐ、ｔ_Ｐをさらに説明する。
図１２（ａ）および図１２（ｂ）は、内部パラメータＡ_Ｐを説明する模式的平面図である。
図１３は、外部パラメータＲ_Ｐ、ｔ_Ｐを説明する模式的斜視図である。
図１２（ａ）は、レンズの光軸が表示素子の中心と一致している場合を例示する模式的平面図である。図１２（ｂ）は、レンズの光軸が表示素子の中心からｙ方向にずれている場合を例示する模式的平面図である。なお、図１２（ａ）および図１２（ｂ）は、ｙｚ平面における模式的平面図である。

まず、内部パラメータＡ_Ｐについて説明する。
図１２（ａ）および図１２（ｂ）に表した例において、レンズ１２１の光軸１２１ａと投影像３５３の端部３５３ａとの間の距離Ｙ、レンズ１２１の光軸１２１ａと対象物１３３の端部１３３ａとの間の距離ｙ、レンズ１２１と投影像３５３との間の距離Ｚ、および焦点距離ｆについては、次の式が成り立つ。

図１２（ａ）に表した例では、レンズ１２１の光軸１２１ａが表示素子１３１の中心１３１ａと一致しているため、表示素子１３１上の対象物１３３のｙ座標ｙ’については、次の式が成り立つ。

ｙ’＝ｙ ・・・式（１２）

そのため、レンズ１２１の光軸１２１ａに対する表示素子１３１の中心１３１ａの位置の座標（ｃ_ｘ，ｃ_ｙ）は、（０，０）となる。つまり、ｃ_ｘ＝０およびｃ_ｙ＝０が成り立つ。

一方で、図１２（ｂ）に表した例では、レンズ１２１の光軸１２１ａが表示素子１３１の中心１３１ａからｙ方向にずれている。そのため、表示素子１３１上の対象物１３３のｙ座標ｙ’については、次の式が成り立つ。

ｙ’＝ｙ＋ｃ_ｙ ・・・式（１３）

そのため、レンズ１２１の光軸１２１ａに対する表示素子１３１の中心１３１ａの位置のｙ座標ｃ_ｙについては、ｃ_ｙ＝０が成り立たない。つまり、レンズ１２１の光軸１２１ａと、表示素子１３１の（画素）中心の位置と、に応じて座標ｃ_ｙは、０以外の値となる。レンズ１２１の光軸１２１ａが表示素子１３１の中心１３１ａからｘ方向にずれている場合には、レンズ１２１の光軸１２１ａに対する表示素子１３１の中心１３１ａの位置のｘ座標ｃ_ｘについては、ｃ_ｘ＝０が成り立たない。

内部パラメータＡ_Ｐは、次の式で表される。


前述したように、式（１４）の中のｃ_ｘ、ｃ_ｙは、レンズ１２１の光軸１２１ａに対する表示素子１３１の中心１３１ａの位置の座標（ｃ_ｘ，ｃ_ｙ）を表す。式（１４）の中のｆ_ｘ、ｆ_ｙは、画素単位で表されるレンズ１２１の焦点距離ｆ_ｘ、ｆ_ｙを表す。式（１４）に表したように、内部パラメータＡ_Ｐは、レンズ１２１の光軸１２１ａに対する表示素子１３１の中心１３１ａの位置の座標（ｃ_ｘ，ｃ_ｙ）と、画素単位で表されるレンズ１２１の焦点距離ｆ_ｘ、ｆ_ｙと、を含むパラメータである。

次に、外部パラメータＲ_Ｐ、ｔ_Ｐについて説明する。
外部パラメータｔ_Ｐは、投影位置の平行移動を表すパラメータである。外部パラメータｔ_Ｐに関する行列は、投影位置を原点とするための並進行列ｔである。図１３に表した例では、並進行列ｔは、次の式で表される。

外部パラメータＲ_Ｐは、投影部１２０の投影方向を表すパラメータである。外部パラメータＲ_Ｐに関する行列は、投影方向を表すベクトルＶがＺ軸となるように座標を変換するための回転行列Ｒである。回転行列Ｒは、次の式で表される。

これにより、外部パラメータ行列［Ｒ_Ｐ・ｔ_Ｐ］は、ワールド座標で表現されている投影面３５１の座標を、投影位置を原点とし投影方向をｚ軸とした画像投影装置１００の座標に変換するための変換行列を表す。

なお、回転行列の例として、座標（ｘ，ｙ，ｚ）をｘ軸まわりに角度αだけ回転させる回転行列Ｒ_ｘは、次の式で表される。


また、回転行列の例として、座標（ｘ，ｙ，ｚ）をｙ軸まわりに角度βだけ回転させる回転行列Ｒ_ｙは、次の式で表される。


また、回転行列の例として、座標（ｘ，ｙ，ｚ）をｚ軸まわりに角度γだけ回転させる回転行列Ｒ_ｚは、次の式で表される。

図３〜図５（ｃ）に関して前述したように、取得部１１０は、投影面３５１の形状情報１１２を算出している。そのため、投影面３５１を形成する各点の３次元座標は既知である。そのため、投影面３５１を形成する複数の点について、投影される入力画像３０１の画素の座標を式（９）により算出する。ただし、式（９）で算出した入力画像３０１の画素の座標（ｘ，ｙ）が次の式（式（２０））に示す条件を満たさない場合には、投影面３５１上の座標（ｘ，ｙ）に対応する点は、入力画像３０１から外れた範囲に存在することを意味する。そのため、入力画像３０１の画素の座標（ｘ，ｙ）が式（２０）に示す条件を満たす投影面３５１上の点を対象として以降の処理を行う。この処理について、図１０に戻って説明する。

｜ｘ｜≦１ かつ ｜ｙ｜≦１ ・・・式（２０）

なお、本実施の形態では、図１１（ａ）〜図１１（ｃ）に示すように入力画像３０１の座標ならびに観察画像の座標の範囲を−１≦ｘ≦１、−１≦ｙ≦１に正規化しているため、座標の条件は、式（２０）に示す条件となっている。入力画像３０１の座標と観察画像の座標との正規化によっては、座標の条件は式（２０）に示す限りではない。

ステップＳ２２１に関して前述した処理に続いて、設定部２１０は、視点から投影面３５１を観察したときに、投影面３５１上の点の３次元座標に対応する観察画像の画素の座標を算出する（ステップＳ２２３）。ここで、観察画像の画素の座標をｍ_ｃ＝（ｘ_ｃ，ｙ_ｃ）と表し、投影面３５１において座標ｍ_ｃ＝（ｘ_ｃ，ｙ_ｃ）に対応する位置の３次元座標をＭ＝（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）と表す。観察画像の画素ｍ_ｃ＝（ｘ_ｃ，ｙ_ｃ）と、投影面３５１上の３次元座標Ｍ＝（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）と、の間の関係式は、次の式の通りである。

式（２１）中のＰ_Ｃは、座標（Ｘ_Ｃ，Ｙ_Ｃ，Ｚ_Ｃ）の視点の位置から投影面３５１を観察する際の透視投影行列である。つまり、設定部２１０は、投影面３５１上の点の３次元座標に対応する観察画像の画素の座標を算出する処理において透視投影変換を実行する。図８〜図９（ｃ）に関して前述したように、本実施形態においては、視点からカメラなどの撮影装置を用いて投影面３５１を観察することを想定する。そのため、透視投影行列Ｐ_Ｃは、撮影装置の内部パラメータおよび外部パラメータで決定される。内部パラメータおよび外部パラメータの詳細は、投影部１２０の透視投影行列Ｐ_Ｐの場合と同様であり、事前にキャリブレーションによって求めることが可能である。

次に、設定部２１０は、式（９）および式（２１）により、座標（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）の投影面３５１上の点に対応する入力画像３０１上の画素の座標（ｘ_ｐ，ｙ_ｐ）と、座標（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）の投影面３５１上の点に対応する観察画像上の画素の座標（ｘ_ｃ，ｙ_ｃ）と、を算出し、入力画像３０１上の画素の座標（ｘ_ｐ，ｙ_ｐ）と、観察画像上の画素の座標（ｘ_ｃ，ｙ_ｃ）と、の間の対応関係を求める（ステップＳ２２５）。

ここで、図１１（ａ）に表したように、入力画像３０１における２つの画素（第１の画素３１１および第２の画素３１２）を例に挙げ説明する。第１の画素３１１については、入力画像３０１の座標を図１１（ｃ）に表した観察画像における座標に変換すると、式（２０）の条件が満たされない。そのため、図１１（ｃ）に示すように、第１の画素３１１は、観察画像の画面３５５の範囲には含まれない。

一方で、入力画像３０１の座標を図１１（ｃ）に表した観察画像における座標に変換すると、第２の画素３１２は、観察画像の画面３５５の範囲内に含まれる。そのため、図１１（ｃ）に示すように、第２の画素３１２を観察画像内に確認することができる。
このように、入力画像３０１の全体が観察画像の画面３５５の範囲に含まれるためには、式（９）および式（２１）によって求めた入力画像３０１の各画素の座標（ｘ_ｐ，ｙ_ｐ）に対応する観察画像の画素（ｘ_ｃ，ｙ_ｃ）が式（２０）に示す条件を満たす必要がある。

そこで、設定部２１０は、設定した補正情報（投影パラメータ）２１２において、入力画像３０１の画素の座標に対応する観察画像の画素の座標を式（９）および式（２１）により算出し、算出された観察画像の画素の座標が式（２０）の条件を満たすか否かを判定する（ステップＳ２２７）。判定の結果、入力画像３０１の画素の座標に対応する観察画像の画素の座標のうち、式（２０）の条件を満たさない画素の座標が存在する場合には（ステップＳ２２７：Ｎｏ）、設定部２１０は補正情報２１２を更新し（ステップＳ２２９）、ステップＳ２２１〜ステップＳ２２７の処理を繰り返す。判定の結果、投影面３５１上の点から算出した入力画像３０１の画素の座標に対応する観察画像の各画素の座標が式（２０）の条件を満たす場合には（ステップＳ２２７：Ｙｅｓ）、設定部２１０は、設定した補正情報（投影パラメータ：大きさおよび位置に関する情報）２１２を補正部２２０に送る（ステップＳ２３１）。

ここで、補正情報２１２の更新方法について、図面を参照しつつ説明する。
図１４（ａ）〜図１４（ｃ）は、本実施形態の補正情報の更新方法を説明する模式的平面図である。
図１４（ａ）は、投影範囲の最大限の画像を投影したときの投影画像を表す模式的平面図である。図１４（ｂ）は、投影範囲内で画像の大きさを縮小した投影画像を表す模式的平面図である。図１４（ｃ）は、投影範囲内で画像の大きさを縮小し、縮小した画像の位置を移動させた投影画像を表す模式的平面図である。

具体的には、式（１４）に示した内部パラメータにおいて、焦点距離ｆ_ｘ、ｆ_ｙを変化させることで投影画像３０３の投影角を変化させることができる。そのため、式（２０）の条件を満たさない画素が存在する場合には、式（１４）の焦点距離ｆ_ｘ、ｆ_ｙの値を大きくすることで、投影角を小さくし、図１４（ｂ）に表した補正画像２２２のように投影範囲３５７内における画像の大きさを小さくすることができる。また、式（１０）に示した外部パラメータＲ_Ｐ（回転パラメータ）を変化させることで投影方向を変化させることができる。そのため、回転パラメータを変化させることで、図１４（ｃ）に表した補正画像２２２のように投影範囲３５７内における画像の位置を変更することができる。

以上説明したように、設定部２１０は、補正情報２１２を再設定し、再設定された補正情報２１２に基づいて仮想的に投影部１２０から投影したときの投影画像（補正画像２２２）に対応する観察画像の画素を算出し評価する処理を繰り返す（ステップＳ２２１〜Ｓ２２９）。設定部２１０は、投影画像の各画素に対応する観察画像の画素の位置が式（２０）の条件を満たすまで、ステップＳ２２１〜Ｓ２２９の処理を繰り返す。設定部２１０は、最終的に算出した補正情報２１２（大きさに関する情報および位置に関する情報）を補正部２２０に送る（ステップＳ２３１）。なお、本実施形態では、ステップＳ２２７においては、観察画像の各画素の座標が式（２０）を満たすように判定を行う。但し、判定に使用する画素は、各画素でなくともよい。例えば、投影画像の端部の画素に対応する観察画像の画素について、式（２０）の判定を行ってもよい。「投影画像の端部の画素」とは、投影画像の端に位置する画素、若しくは投影画像内で相対的に外側の領域内に含まれる画素をいう。

補正部２２０は、設定部２１０から送られた画像の大きさに関する情報および画像の位置に関する情報を有する補正情報（投影パラメータ）２１２に基づいて、入力画像３０１を補正した補正画像２２２を生成し、補正画像２２２を投影部１２０に送る。投影部１２０は、補正画像２２２を投影面３５１に向けて投影する。

以上、本実施形態によれば、設定部２１０は、投影面３５１を表す３次元座標に対応する入力画像３０１の画素の２次元座標、および投影面３５１を表す３次元座標に対応する観察画像の画素の２次元座標を求める。これにより、非平面の投影面３５１を有する対象物体３５０に画像が投影される場合であっても、投影面３５１を視点位置から撮影することや、補正情報２１２を更新して画像の生成、投影、撮影、および検証を繰り返す必要はない。また、入力画像３０１が観察画像の画面３５５の範囲に含まれるような画像の大きさおよび画像の位置を決定し、入力画像３０１の情報を観察画像の画面３５５の範囲内に表示させることが可能である。

次に、本発明の他の実施の形態について説明する。
図１５は、実施形態の変形例にかかる画像処理方法を説明するフローチャート図である。本実施形態の全体的な構成は、前述した実施形態の構成と同様である。

本実施形態の設定部２１０は、入力画像３０１の全体の情報が観察画像の画面３５５の範囲に含まれ、かつ入力画像３０１の大きさが最大となるように補正情報２１２を設定する。この点が、図１〜図１４に関して前述した実施形態と異なる。

以下、本実施形態の設定部２１０について説明する。
設定部２１０は、図１０に関して前述したように、入力画像３０１の補正情報２１２を更新して、入力画像３０１の全体の情報が観察画像の画面３５５の範囲に含まれるような補正情報２１２を算出する（ステップＳ２５１〜Ｓ２５９）。このとき、補正情報２１２の初期値や補正情報２１２の更新方法によっては、視点における観察画像が投影範囲３５７（図１４参照）に対して小さくなりすぎて、投影範囲３５７を最大限まで生かせない可能性がある。

これに対して、本実施形態の設定部２１０は、ステップＳ２５７で式（２０）の条件（第１の条件）を満たした観察画像の画素の座標に対して第２の条件を用いて判定を行う（ステップＳ２６１）。観察画像の各画素の座標が第２の条件を満たす場合には、設定部２１０は、補正情報２１２を更新し（ステップＳ２５９）、ステップＳ２５１〜Ｓ２５７の処理を繰り返す。第２の条件の式は、次の式の通りである。

｜ｘ｜≦Ｔｈ かつ ｜ｙ｜≦Ｔｈ ・・・式（２２）

式（２２）の中の「Ｔｈ」は、観察画像のｘ座標およびｙ座標の閾値であり、１に近く１よりも小さい値である。例えば、閾値Ｔｈを０．９に設定すると、式（２０）および式（２２）の条件に基づいて、各画素が観察画像の画面３５５の範囲に含まれ、観察画像の画素のうちの少なくとも１つの画素のｘ座標またはｙ座標が０．９よりも大きい値となるように補正情報２１２が更新される。式（２２）を満たす場合において、閾値Ｔｈが小さければ小さいほど、入力画像３０１の各画素が観察画像の中央に集中して分布し、観察画像に対して入力画像３０１が小さく表示される。そのため、観察画像の各画素が式（２２）を満たす場合には、設定部２１０は、入力画像３０１がより大きく投影されるように補正情報２１２を更新して、ステップＳ２５１〜Ｓ２５７およびステップＳ２６１の処理を繰り返す。

設定部２１０は、ステップＳ２６３において最終的に算出した補正情報２１２（大きさに関する情報および位置に関する情報）を補正部２２０に送る（ステップＳ２６３）。補正部２２０は、設定部２１０から送られた画像の大きさに関する情報および画像の位置に関する情報を有する補正情報（投影パラメータ）２１２に基づいて、入力画像３０１を補正した補正画像２２２を生成し、補正画像２２２を投影部１２０に送る。投影部１２０は、補正画像２２２を投影面３５１に向けて投影する。

設定部２１０は、入力画像３０１が観察画像の画面３５５の範囲に含まれるような画像の大きさおよび画像の位置を決定し、可能な限り多くの入力画像３０１の情報を観察画像の画面３５５の範囲内に可能な限り大きく表示させることが可能である。

次に、本発明のさらに他の実施の形態について説明する。
図１６は、実施形態の変形例にかかる画像投影装置を説明する模式的平面図である。

本実施形態の設定部２１０は、入力画像３０１の各画素が観察画像の画面３５５の範囲内に収まり、かつ投影位置から投影面３５１までの奥行の幅が比較的小さい範囲の投影面３５１上に投影されるように、補正情報２１２を設定する。言い換えれば、入力画像３０１の各画素が観察画像の画面３５５の範囲内に収まり、かつ投影位置と投影面３５１上の各点と投影位置との間の複数の距離を算出する。その複数の距離が互いに近い範囲の投影面３５１上に投影されるように、設定部２１０は、補正情報２１２を設定する。この点が、図１〜図１４に関して前述した実施形態と異なる。

設定部２１０は、投影面３５１上の点の３次元座標に基づいて、奥行値（ｚ座標）が互いに近い点の範囲を検出する。具体的には、設定部２１０は、投影面３５１上の全点に対して奥行値（ｚ座標）によってクラスタリングを行う。クラスタリングの手法としては、例えばｋ−ｍｅａｎｓ法や領域統合法などが挙げられる。例に挙げたクラスタリングの手法などを適用することによって、投影面３５１上を形成する点に対して、奥行値（ｚ座標）が互いに近い点でクラスタリングが行われる。設定部２１０は、クラスタリングの結果、もっとも点の数が多かったクラスタを奥行値が互いに近い領域と判断し、そのクラスタの重心となる投影面３５１上の点が投影の中心となるように投影位置を表す補正情報２１２を設定する。クラスタの重心が投影面３５１上ではない場合には、設定部２１０は、重心を投影面３５１上に射影した点と、中心と、が一致するように補正情報２１２を設定する。射影の方向は、投影面３５１に対して垂直方向であってもよいし、投影方向であってもよい。以下、設定部２１０は、図１０に関して前述したステップＳ２２１〜Ｓ２２９の処理を繰り返し、入力画像３０１の情報が観察画像の画面３５５の範囲内に収まるように投影画面の大きさを表す補正情報２１２を更新する。

本実施形態における補正情報２１２の更新では、設定部２１０は、画像の大きさを表すパラメータを更新する。画像の投影位置を表す補正情報２１２は、補正情報２１２の初期値を設定する際に設定される。設定部２１０は、設定した補正情報２１２を補正部２２０に送る。補正部２２０は、補正情報２１２に基づいて補正画像２２２を生成し、補正画像２２２を投影部１２０に送る。投影部１２０は、補正画像２２２を投影する。

設定部２１０は、入力画像３０１が観察画像の画面３５５の範囲に含まれるような画像の大きさおよび画像の位置を決定し、観察画像の画面３５５の範囲であって奥行が近く見やすい範囲に入力画像３０１の情報を表示することができる。

次に、本発明のさらに他の実施の形態について説明する。
図１７は、実施形態の変形例にかかる画像投影装置を説明する模式的平面図である。本実施形態の全体的な構成は、前述した実施形態の構成と同様である。

本実施形態の設定部２１０は、入力画像３０１の各画素が観察画像の画面３５５範囲内に収まり、かつ奥行が滑らかに変化する平面のような範囲の投影面３５１上に投影されるように、補正情報２１２を設定する。この点が、図１〜図１４に関して前述した実施形態と異なる。

設定部２１０は、投影面３５１上の点の３次元座標に基づいて、各点の法線ベクトル３５９に関する情報を算出する。具体的には、投影面３５１上の各点に対して、投影面３５１上の第１の点と、第１の点の近隣の２点（第２の点および第３の点）と、の３点の３次元座標を次の式（式（２３））に示す平面の方程式に代入し、連立方程式から平面方程式の係数すなわち法線ベクトル３５９を算出する。なお、法線ベクトル３５９の算出方法は、この方法には限定されず、別の算出方法であってもよい。

ａｘ＋ｂｙ＋ｃｚ＝１ ・・・式（２３）

設定部２１０は、投影面３５１の各点の法線ベクトル３５９を算出した後、図１６に関して前述した実施形態と同様に、投影面３５１上の全点に対して法線ベクトル３５９と奥行値（ｚ座標）とによってクラスタリングを行う。

具体的には、設定部２１０は、法線ベクトル３５９が互いに近い点および奥行値が互いに近い点のクラスタリングを行う。

設定部２１０は、クラスタリングの結果、もっとも点の数が多かったクラスタを法線ベクトル３５９ならびに奥行値（ｚ座標）のそれぞれが互いに近い領域、すなわち奥行が滑らかに変化する平面に近い領域と判断し、そのクラスタの重心となる投影面３５１上の点が投影の中心となるように投影位置を表す補正情報２１２を設定する。クラスタの重心が投影面３５１上ではない場合には、設定部２１０は、重心を投影面３５１上に射影した点と、中心と、が一致するように補正情報２１２を設定する。射影の方向は、投影面３５１に対して垂直方向であってもよいし、投影方向であってもよい。以下、設定部２１０は、図１０に関して前述したステップＳ２２１〜Ｓ２２９の処理を繰り返し、入力画像３０１の情報が観察画像の画面３５５の範囲内に収まるように投影画面の大きさを表す補正情報２１２を更新する。

本実施形態における補正情報２１２の更新では、設定部２１０は、画像の大きさを表すパラメータを更新し、画像の位置を表すパラメータを更新しない。これは、図１６に関して前述した通りである。設定部２１０は、設定した補正情報２１２を補正部２２０に送る。補正部２２０は、補正情報２１２に基づいて補正画像２２２を生成し、補正画像２２２を投影部１２０に送る。投影部１２０は、補正画像２２２を投影する。

以上、本実施形態によれば、図１〜図１４に関して前述した実施形態において得られる効果と同様の効果が得られる。また、設定部２１０は、入力画像３０１が観察画像の画面３５５の範囲に含まれるような画像の大きさおよび画像の位置を決定し、観察画像の画面３５５の範囲であって奥行が滑らかに変化する範囲に入力画像３０１の情報を表示することができる。

次に、本発明のさらに他の実施の形態について説明する。
図１８（ａ）および図１８（ｂ）は、実施形態の変形例にかかる画像投影装置を説明する模式的平面図である。
本実施形態の全体的な構成は、図１〜図１４に関して前述した実施形態の構成と同様である。ここでは、図１〜図１４に関して前述した実施形態との差分について説明する。

本実施形態の設定部２１０は、視点位置から仮想的に入力画像を投影面３５１に投影し、投影位置から仮想的に投影面３５１を観察したときに、仮想的観察画像の画面３５５の範囲内に仮想的入力画像が全て含まれるような補正情報２１２（画像の大きさに関する情報および位置に関する情報）を設定する。この点が、図１〜図１４に関して前述した実施形態と異なる。

また、補正部２２０は、設定部２１０が設定した補正情報２１２に基づいて、視点位置から投影面３５１に仮想的に入力画像を投影したときに、投影位置から仮想的に観察される観察画像を補正画像２２２として生成し投影部１２０に送る。この点が、図１〜図１４に関して前述した実施形態と異なる。

以下、設定部２１０および補正部２２０について説明する。
画像が投影面３５１に投影されたときの歪みについて、図１８（ａ）および図１８（ｂ）を参照しつつ説明する。投影面３５１と、画像投影装置１００と、撮影装置３７０と、の互いの位置関係は、例えば図１８（ａ）および図１８（ｂ）に表した通りである。

図１８（ａ）に表したように、画像投影装置１００が投影面３５１に入力画像を投影し、撮影装置３７０が投影面３５１に投影された投影画像を撮影することを考える。このとき、撮影装置３７０が撮影する画像を観察画像とする。また、入力画像の位置ｘ_Ｐの画素に対応する観察画像の画素の位置をｘ_Ｃ１とする。画像投影装置１００の透視投影行列Ｐ_Ｐと、撮影装置３７０の透視投影行列Ｐ_Ｃと、を用いると、画素の位置ｘ_Ｐと、画素の位置 ｘ_Ｃ１と、の間の関係は、次の式のように表される。

一方で、図１８（ｂ）に表したように、撮影装置３７０が仮想的に投影面３５１に入力画像を投影し、画像投影装置１００が仮想的に投影面３５１に投影された投影画像を撮影することを考える。仮想的入力画像の位置ｘ_Ｐの画素に対応する仮想的観察画像の画素の位置をｘ_Ｃ２とする。画素の位置ｘ_Ｐと、画素の位置ｘ_Ｃ２と、の間の関係は、次の式のように表される。

式（２４）および式（２５）から、画像投影装置１００の位置から投影され撮影装置３７０の位置で撮影される画像の歪みは、撮影装置３７０の位置から仮想的に投影され画像投影装置１００の位置で仮想的に撮影される画像の歪みの逆歪みであることがわかる。従って、次の式（式（２６））に示すように、撮影装置３７０の位置から仮想的に投影され画像投影装置１００の位置で仮想的に撮影される画像を、画像投影装置１００の位置から投影し撮影装置３７０の位置で観察すれば、歪みはキャンセルされる。そのため、元の画像（入力画像）の幾何的な歪みを抑えて表示することが可能である。

以上を踏まえて、本実施形態にかかる画像処理装置２００は、視点位置から投影面３５１に入力画像を仮想的に投影したときに、投影位置で仮想的に観察される観察画像を補正画像２２２として算出する。本実施形態にかかる画像投影装置１００は、補正画像２２２を投影部１２０から投影面３５１に投影することで、視点から投影面３５１を観察したときの歪みを抑えた画像表示を行う。

ここで、図８を参照しつつ、本実施形態における設定部２１０の動作を説明する。
本実施形態の設定部２１０は、入力画像が視点位置から投影面３５１に仮想的に投影されたときに、投影位置から仮想的に投影面３５１を観察して得られる仮想的観察画像の画素であって仮想的入力画像の画素に対応する画素を算出する。設定部２１０は、仮想的入力画像の全範囲が仮想的観察画像に収まるように、図１０に関して前述したステップＳ２２１〜Ｓ２３１の処理を行う。

なお、入力画像が視点位置から仮想的に投影される場合には、設定部２１０は、撮影装置３７０の透視投影行列Ｐ_Ｃに基づいて投影面３５１上の点を表す３次元座標から仮想的入力画像の２次元座標を算出する。投影面３５１に仮想的に投影された投影画像が投影位置から仮想的に観察される場合には、設定部２１０は、画像投影装置１００の透視投影行列Ｐ_Ｐに基づいて投影面３５１上の点を表す３次元座標から仮想的観察画像の２次元座標を算出する。

ここで、仮想的入力画像の画素の座標をｍ_ｐ’＝（ｘ_ｐ’，ｙ_ｐ’）と表し、座標ｍ_ｐ’＝（ｘ_ｐ’，ｙ_ｐ’）の画素が投影面３５１に仮想的に投影される位置の３次元座標をＭ＝（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）と表す。仮想的入力画像の画素の座標ｍ_ｐ’＝（ｘ_ｐ’，ｙ_ｐ’）と、投影面３５１上の３次元座標Ｍ＝（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）と、の間の関係は、次の式のように表される。

式（２７）中のＰ_Ｃは、座標（Ｘ_Ｃ，Ｙ_Ｃ，Ｚ_Ｃ）の視点の位置から投影面３５１を観察する際の透視投影行列である。つまり、設定部２１０は、投影面３５１上の点の３次元座標に対応する仮想的入力画像の画素の座標を算出する処理において、視点の位置から投影面３５１を観察する際の透視投影行列に基づいて透視投影変換を実行する。

一方で、投影位置から投影面３５１を仮想的に観察したときの仮想的観察画像の画素の座標をｍ_ｃ’＝（ｘ_ｃ’，ｙ_ｃ’）と表すと、仮想的観察画像の画素の座標ｍ_ｃ’＝（ｘ_ｃ’，ｙ_ｃ’）と、投影面３５１上の３次元座標Ｍ＝（Ｘ_ｓ，Ｙ_ｓ，Ｚ_ｓ）と、の間の関係は、次の式のように表される。

式（２８）中のＰ_Ｐは、投影部１２０が投影面３５１に画像を投影する際の透視投影行列を表す。つまり、設定部２１０は、投影面３５１上の点の３次元座標に対応する仮想的観察画像の画素の座標を算出する処理において、投影部１２０が投影面３５１に画像を投影する際の透視投影行列に基づいて透視投影変換を実行する。

式（２７）および式（２８）により、仮想的入力画像の画素の座標ｍ_ｐ’＝（ｘ_ｐ’，ｙ_ｐ’）と、仮想的観察画像の画素の座標ｍ_ｃ’＝（ｘ_ｃ’，ｙ_ｃ’）と、の間の対応関係が求まる。設定部２１０は、図１０に関して前述したステップＳ２２１〜Ｓ２２９の処理を繰り返すことで、仮想的入力画像の情報が仮想的観察画像の画面３５５の範囲内に含まれるような仮想的補正情報（仮想投影パラメータ）Ｐ_Ｃ’を算出することができる。設定部２１０は、仮想的補正情報Ｐ_Ｃ’として求めた画像の大きさに関する情報および画像の位置に関する情報を補正部２２０に送る。

補正部２２０は、設定部２１０が設定した仮想的補正情報Ｐ_Ｃ’に基づいて、視点位置から投影面３５１に入力画像を仮想的に投影したときに投影位置において仮想的に観察される仮想的観察画像を生成する。設定部２１０は、仮想的入力画像の座標と仮想的観察画像の座標との間の比較により仮想的補正情報Ｐ_Ｃ’の更新を行う。一方で、補正部２２０は、設定部２１０が設定した仮想的補正情報Ｐ_Ｃ’に基づいて、算出される仮想的観察画像の座標から、仮想的観察画像を補正画像２２２として生成する。具体的には、補正部２２０は、射影テクスチャマッピング処理を行うことで、補正画像２２２を生成することが可能である。補正部２２０は、生成した補正画像２２２を投影部１２０に送る。投影部１２０は、補正画像２２２を投影する。

以上、本実施形態によれば、補正部２２０は、視点位置を仮想的投影位置として、投影面３５１に入力画像を仮想的に投影したときに投影位置を仮想視点として観察される仮想的観察画像を補正画像２２２として生成する。投影部１２０が補正画像２２２を投影位置から投影面３５１に投影することで、投影面３５１が非平面な形状を含む場合でも、視点位置から画像を観察したときの幾何的な歪みを抑え、入力画像の情報が含まれた画像を観察することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…画像投影装置、 １１０、１１０ａ、１１０ｂ、１１０ｃ…取得部、 １１１ａ…視点位置入力部、 １１１ｂ…距離センサ、 １１１ｃ…可視カメラ、 １１２…形状情報、 １１３…投影位置情報、 １１４…視点情報、 １１６…距離センサ、 １１６ａ…投光部、 １１６ｂ…受光部、 １１６ｃ、１１６ｄ…中心、 １１６ｅ…底面、 １１７…算出部、 １１８…視点取得部、 １１９…距離情報、 １２０…投影部、 １２１…レンズ、 １２１ａ…光軸、 １３１…表示素子、 １３１ａ…中心、 １３３…対象物、 １３３ａ…端部、 ２００…画像処理装置、 ２１０…設定部、 ２１２…補正情報、 ２２０…補正部、 ２２２…補正画像、 ３０１…入力画像、 ３０３…投影画像、 ３１１…第１の画素、 ３１２…第２の画素、 ３５０…対象物体、 ３５１…投影面、 ３５３…投影像、 ３５３ａ…端部、 ３５５…画面、 ３５７…投影範囲、 ３７０…撮影装置、 ３５９…法線ベクトル

Claims (17)

1. 対象画像が投影される投影面の形状に関する情報と、前記対象画像を投影する投影位置に関する情報と、視点の位置に関する情報と、に基づいて、前記投影面に投影される画像を前記視点から観察したときに前記対象画像の全体を視認可能とする補正情報を設定する設定部と、
   前記補正情報に基づいて前記対象画像を補正する補正部と、
   を備えた画像処理装置。
2. 前記補正情報は、前記投影面に投影される画像の大きさに関する情報と、前記投影面に投影される画像の位置に関する情報と、を含む請求項１記載の画像処理装置。
3. 前記設定部は、前記投影面に投影される画像を前記視点から観察したときに前記対象画像の大きさが最大となるような前記補正情報を設定する請求項１または２に記載の画像処理装置。
4. 前記設定部は、前記形状に関する情報に基づいて前記投影面上の複数の点と前記投影位置との間の距離に基づいてクラスタリングを行い、前記点の数が最も多いクラスタの領域に前記対象画像を投影させる前記補正情報を設定する請求項１または２に記載の画像処理装置。
5. 前記設定部は、前記距離が互いに近い点に基づいて前記クラスタリングを行う請求項４記載の画像処理装置。
6. 前記設定部は、前記点の数が最も多いクラスタを選択し、選択された前記クラスタの重心が前記対象画像の投影の中心と対応するように前記補正情報を設定する請求項５記載の画像処理装置。
7. 前記設定部は、前記形状に関する情報に基づいて前記投影面上の複数の点の前記投影面に対する法線ベクトルおよび前記複数の点と前記投影位置との間の距離に基づいてクラスタリングを行い、前記点の数が最も多いクラスタの領域に前記対象画像を投影させる前記補正情報を設定する請求項１または２に記載の画像処理装置。
8. 前記設定部は、前記法線ベクトルが互いに近い点および前記距離が互いに近い点に基づいて前記クラスタリングを行う請求項７記載の画像処理装置。
9. 前記設定部は、前記点が最も多いクラスタを選択し、選択された前記クラスタの重心が前記対象画像の投影の中心と対応するように前記補正情報を設定する請求項８記載の画像処理装置。
10. 前記設定部は、前記視点を仮想的投影位置と設定し、前記投影位置を仮想的視点と設定し、前記投影面に投影される仮想的投影画像を前記仮想的視点から観察したときに前記仮想的投影位置から投影される仮想的対象画像の全体を視認可能とする前記補正情報を設定する請求項１または２に記載の画像処理装置。
11. 前記補正部は、前記補正情報に基づいて補正された前記仮想的対象画像が前記仮想的投影位置から前記投影面に投影されたときに前記仮想的視点から観察される仮想的観察画像を補正画像とする請求項１０記載の画像処理装置。
12. 前記設定部は、前記投影面上の点の３次元座標に対応する前記対象画像の画素の２次元座標と、前記３次元座標に対応する前記投影面に投影される画像を前記視点から観察した場合の画素の２次元座標と、に基づいて前記補正情報を設定する請求項１または２に記載の画像処理装置。
13. 前記設定部は、前記投影面に投影される画像の端部の画素に対応する前記観察画像の画素の２次元座標を算出する請求項１２記載の画像処理装置。
14. 対象画像が投影される投影面の形状に関する情報と、前記対象画像を投影する投影位置に関する情報と、視点の位置に関する情報と、に基づいて、前記投影面に投影される画像を前記視点から観察したときに前記対象画像の全体を視認可能とする補正情報を設定し、
    前記補正情報に基づいて前記対象画像を補正する画像処理方法。
15. 前記補正情報は、前記投影面に投影される画像の大きさに関する情報と、前記投影面に投影される画像の位置に関する情報と、を有する請求項１４記載の画像処理方法。
16. 請求項１〜１３のいずれか１つに記載の画像処理装置と、
    前記補正情報に基づいて前記対象画像を補正する補正部と、
    前記補正された前記対象画像を前記投影面へ投影する投影部と、
    を備えた画像投影装置。
17. 前記投影面までの距離を計測する距離センサを有し、前記距離に関する情報に基づいて前記形状に関する情報を取得する取得部をさらに備えた請求項１６記載の画像投影装置。