JP2016096516A - 画像処理装置、画像投影システム、画像処理方法およびプログラム - Google Patents

Abstract

【課題】投影装置と投影面との相対的な位置関係が変化した場合であっても正しい補正パラメータを算出し、適切な補正を行えるようにする。【解決手段】補正パラメータ算出部は、入力画像と、投影面の撮影像と、入力画像と投影面の撮影像との間の画素位置の対応関係を示す対応点情報とに基づいて、投影面の反射特性に応じた補正パラメータを算出する。補正部は、補正パラメータを用いて、入力画像の画素ごとの各色成分の輝度値を補正する。検出部は、投影面の変化を検出する。対応点情報生成部は、検出部が投影面の変化を検出した場合に、投影面が変化した後の撮影像と、入力画像とに基づいて、対応点情報を生成する。そして、補正パラメータ算出部は、検出部が投影面の変化を検出した場合に、入力画像と、投影面が変化した後の撮影像と、対応点情報生成部が生成した対応点情報とに基づいて、補正パラメータを算出する。【選択図】図１

Description

本発明の実施形態は、画像処理装置、画像投影システム、画像処理方法およびプログラムに関する。

画像投影システムにおいて、投影像が投影された投影面を撮影した撮影像と、投影像の元になる入力画像とを比較して、投影面の反射特性に応じた補正パラメータを算出し、この補正パラメータを用いて入力画像の画素ごとの各色成分の輝度を補正することで、投影面の色や柄が投影像の見え方に及ぼす影響を低減する技術がある。また、このような補正を動的に行うために、投影面の反射特性に応じた補正パラメータを入力画像のフレームごとに算出・更新することが提案されている。

このような処理において、投影面の撮影像と入力画像との比較により補正パラメータを算出するためには、入力画像と投影面の撮影像との間の画素位置の対応関係が分かっている必要がある。投影像を投影する投影装置と投影面との相対的な位置関係が固定であれば、入力画像と投影面の撮影像との間の画素位置の対応関係は事前に求めておくことができる。しかし、投影装置と投影面との相対的な位置関係が変化するとその対応関係が崩れるため、誤った補正パラメータを算出してしまって補正に失敗する場合がある。このため、投影装置と投影面との相対的な位置関係が変化した場合であっても正しい補正パラメータを算出して、適切な補正を行えるようにすることが求められる。

特開２０１２−２８８７７号公報

本発明が解決しようとする課題は、投影装置と投影面との相対的な位置関係が変化した場合であっても正しい補正パラメータを算出し、適切な補正を行うことができる画像処理装置、画像投影システム、画像処理方法およびプログラムを提供することである。

実施形態の画像処理装置は、入力画像に応じた投影像が投影された投影面の撮影像を用いて前記入力画像を補正する画像処理装置であって、補正パラメータ算出部と、補正部と、検出部と、対応点情報生成部と、を備える。補正パラメータ算出部は、前記入力画像と、前記撮影像と、前記入力画像と前記撮影像との間の画素位置の対応関係を示す対応点情報とに基づいて、前記投影面の反射特性に応じた補正パラメータを算出する。補正部は、前記補正パラメータを用いて、前記入力画像の画素ごとの各色成分の輝度値を補正する。検出部は、前記投影面の変化を検出する。対応点情報生成部は、前記検出部が前記投影面の変化を検出した場合に、前記投影面が変化した後の前記撮影像と、前記入力画像とに基づいて、前記対応点情報を生成する。そして、前記補正パラメータ算出部は、前記検出部が前記投影面の変化を検出した場合に、前記入力画像と、前記投影面が変化した後の前記撮影像と、前記対応点情報生成部が生成した前記対応点情報とに基づいて、前記補正パラメータを算出する。

第１実施形態の画像投影システムの構成例を示すブロック図。 第１実施形態の画像処理装置による処理手順の一例を示すフローチャート。 第２実施形態の画像投影システムの構成例を示すブロック図。 第２実施形態の画像処理装置による処理手順の一例を示すフローチャート。 第３実施形態の画像投影システムの構成例を示すブロック図。 第３実施形態の画像処理装置による処理手順の一例を示すフローチャート。 第４実施形態の画像投影システムの構成例を示すブロック図。 画像処理装置のハードウェア構成例を示すブロック図。

（第１実施形態）
図１は、第１実施形態の画像投影システムの構成例を示すブロック図である。図１に示すように、本実施形態の画像投影システムは、投影装置１と、撮影装置２と、画像処理装置１０Ａとを備える。

投影装置１は、入力画像に応じた投影像を投影面に投影する。投影装置１としては、投影面に投影像を投影する構成であればよく、例えば、液晶プロジェクタやレーザープロジェクタなどの広く知られた投影装置をいずれも利用できる。なお、本実施形態では、画像処理装置１０Ａに接続された外部装置として投影装置１を構成する例を例示するが、画像処理装置１０Ａと投影装置１とを一体の構成としてもよい。例えば、投影装置１の筐体内部に画像処理装置１０Ａを設けた構成とすることができる。

本実施形態において、投影装置１により投影像が投影される投影面は一般的な投影用スクリーンに限らない。例えば、屋内外の壁や床、天井などの構造物のほか、机、商品棚、カーテン、パーティションなどの各種の備品や、航空機、船舶、列車、バス、乗用車、モノレールなどのような移動体など、様々な物体の表面を投影面として想定する。これらの投影面には、物体の素材や形状、地模様などによって、色や柄が現れている場合が多い。本実施形態の画像投影システムでは、これら投影面の色や柄が投影像の見え方に及ぼす影響を低減するために、画像処理装置１０Ａにより、投影面の反射特性（投影面の面内における色成分ごとの反射率の分布）に応じた補正パラメータを用いて、入力画像を補正する。そして、投影装置１は、この画像処理装置１０Ａにより補正された入力画像に応じた投影像を投影面に投影する。

撮影装置２は、少なくとも投影像が投影された領域を含む投影面を撮影し、その撮影像を画像処理装置１０Ａに出力する。例えば、投影装置１が可視光の投影像を投影面に投影した場合、撮影装置２は、この可視光の投影像が投影された領域を含む投影面を撮影し、その撮影像を画像処理装置１０Ａに出力する。また、例えば、後述するキャリブレーション用のパターンなど、観賞用の可視光の投影像とは異なる非可視光の投影像が投影面に投影された場合、撮影装置２は、この非可視光の投影像が投影された領域を含む投影面を撮影し、その撮影像を画像処理装置１０Ａに出力する。

投影装置１によって投影面に投影された投影像は、上述したように、投影面の色や柄の影響（投影面の反射特性の影響）により明るさや色が変化する。この投影像の明るさや色の変化は、投影像の元になる入力画像と、撮影装置２が撮影した投影面の撮影像とを比較することによって検知できる。そこで、本実施形態の画像投影システムでは、撮影装置２が撮影した投影面の撮影像を画像処理装置１０Ａに入力し、画像処理装置１０Ａにおいて、投影面の反射特性に応じた補正パラメータを算出し、その補正パラメータを用いて入力画像を補正する。そして、投影装置１は、この画像処理装置１０Ａにより補正された入力画像に応じた投影像を投影面に投影する。これにより、投影面の色や柄の影響による明るさや色の変化が相殺された所望の投影像を投影面に投影することができる。

なお、本実施形態では、画像処理装置１０Ａに接続された外部装置として撮影装置２を構成する例を例示するが、画像処理装置１０Ａと撮影装置２とを一体の構成としてもよい。例えば、撮影装置２の筐体内部に画像処理装置１０Ａを設けた構成とすることができる。また、撮影装置２を投影装置１と一体の構成としてもよいし、投影装置１と撮影装置２と画像処理装置１０Ａとを一体の構成としてもよい。

画像処理装置１０Ａは、投影像の元になる入力画像と、撮影装置２が撮影した投影面の撮影像とを比較することで、投影面の反射特性に応じた補正パラメータを算出する。そして、画像処理装置１０Ａは、算出した補正パラメータを用いて入力画像を補正し、補正後の入力画像を投影装置１に出力する。

ここで、入力画像の信号形式は、様々に想定され得る。本実施形態においては、各画素は画素値として赤成分、緑成分、青成分の３チャンネルの輝度を有するものとする。このとき、各チャンネルの輝度は、非線形な階調値から線形変換により算出されてもよい。例えば、ＩＴＵ（International Telecommunication Union）のＹＣｂＣｒ伝送規格などによる入力信号から各チャンネルの輝度が算出される構成であってもよい。また、入力画像は、あらゆる機器または媒体から入力される画像であって構わない。すなわち入力画像は、例えば、ＨＤＤなどの記憶装置から入力される画像であってもよいし、ネットワークを介して接続された外部装置から、またはＴＶなどの放送波から入力された画像であってよい。

入力画像と投影面の撮影像との比較により投影面の反射特性に応じた補正パラメータを算出するには、入力画像と投影面の撮影像との間の画素位置の対応関係が分かっている必要がある。ここで、投影面を撮影する撮影装置２が固定されていることを前提とした場合、投影装置１と投影面との相対的な位置関係に変化がなければ、入力画像と投影面の撮影像との間の画素位置の対応関係は、固定の値として事前に求めたものを利用できる。しかし、投影装置１と投影面との相対的な位置関係に変化があると、画素位置の対応関係が崩れるため、事前に求めた対応関係を用いて補正パラメータを算出すると、誤った補正パラメータを算出してしまって補正に失敗する場合がある。特に本実施形態では、移動体を含む様々な物体の表面を投影面として想定するため、投影装置１と投影面との相対的な位置関係の変化が頻繁に起こり得る。

そこで、本実施形態の画像処理装置１０Ａは、投影装置１と投影面との相対的な位置関係の変化を検出する機能と、当該変化が検出された場合に、入力画像と投影面の撮影像との間の画素位置の対応関係を示す対応点情報を生成する機能を持つ。そして、投影装置１と投影面との相対的な位置関係の変化が検出された場合は、生成した対応点情報を用いて補正パラメータを算出する。以下では、このような画像処理装置１０Ａの詳細について説明する。

なお、以下で示す各実施形態においては、投影装置１は建屋の天井などの構造体などに固定して設置されて投影装置１自体に動きがない場合を想定し、投影装置１と投影面との相対的な位置関係の変化として、投影面の変化を検出するものとして説明する。投影装置１の動きも含めて投影装置１と投影面との相対的な位置関係の変化を検出する場合は、以下の説明における「投影面の変化」を「投影装置１と投影面との相対的な位置関係の変化」に置き換えればよい。

本実施形態の画像処理装置１０Ａは、図１に示すように、検出部１１と、対応点情報生成部１２と、補正パラメータ算出部１３と、補正部１４とを備える。

検出部１１は、投影面の変化を検出する。ここで、投影面の変化とは、投影面の回転や回転を伴わない並進などの投影面の動き、投影面自体の変更（投影面が他の投影面に切り替わること）など、投影装置１に対する投影面の位置関係が変化する要因となる現象をいう。

検出部１１は、例えば、撮影装置２から入力した投影面の撮影像を用いて投影面の変化を検出することができる。具体的には、検出部１１は、例えば、入力画像に変化がない状態での投影面の撮影像について、その一部または全体の時間変動量を求める。そして、求めた時間変動量が予め定めた閾値を超えた場合に、投影面が変化したと判定する。撮影像の時間変動量は、例えば、所定フレーム数分の撮影像の変動を累積することにより求めることができる。検出部１１は、所定フレーム数ごとに撮影像を解析することにより投影面が変化したか否かを判定し、投影面が変化したと判定した場合は、変化ありを示す変化情報を対応点情報生成部１２に出力する。一方、投影面が変化していないと判定した場合は、変化なしを示す変化情報を対応点情報生成部１２に出力する。

対応点情報生成部１２は、検出部１１が投影面の変化を検出した場合に、変化後の投影面の撮影像と、そのときの入力画像とを用いて、入力画像と投影面の撮影像との間の画素位置の対応関係を示す対応点情報を生成する。すなわち、対応点情報生成部１２は、検出部１１から入力した変化情報が、投影面が変化したことを示す場合に、撮影装置２から入力した投影面の撮影像と入力画像とを用いて、投影面が変化した後の撮影像に対応する新たな対応点情報を生成する。そして、対応点情報生成部１２は、新たな対応点情報を生成した場合は、その対応点情報を補正パラメータ算出部１３に出力する。一方、検出部１１から入力した変化情報が、投影面が変化していないことを示しており、新たな対応点情報を生成しなかった場合は、対応点情報生成部１２は、画像処理装置１０Ａ内部または外部の所定の記憶領域に保存されている過去の対応点情報を補正パラメータ算出部１３に出力する。

本実施形態における対応点情報とは、投影装置１から射出された入力画像中のある画素（対象画素）の光線が投影面に当たって反射されたときに、その投影面を撮影した撮影像内における対象画素の位置と、入力画像内における対象画像の位置との対応関係を示す情報である。このような対応点情報は、例えば一般的な対応点探索法によって生成することができる。具体的には、対応点情報生成部１２は、まず、入力画像内の対象画素周辺の画素の情報を用いて対象画素周辺の輝度勾配を算出する。次に、対応点情報生成部１２は、予め定められた撮影装置２と投影装置１との位置関係の情報を用いて、撮影像が撮影装置２に対して正対するよう射影変換を行う。最後に、対応点情報生成部１２は、射影変換を行った撮影像内から、入力画像の対象画素周辺の輝度勾配と類似した輝度勾配を有する画素を、両者の対応点として検出する。対応点情報生成部１２は、これらの対応点検出を入力画像の全ての画素について行うことで、各画素の対応関係を示す対応点情報を生成することができる。

また、対応点情報生成部１２は、非可視光の投影像が投影された投影面の撮影像と、非可視光の投影像に対応する入力画像とに基づいて、対応点情報を生成するようにしてもよい。ここで非可視光とは、赤外線や紫外線のような可視領域以外の波長を有する光である。非可視光の投影像は、通常の可視光による観賞用の投影像とは異なるキャリブレーション用の画像として、例えば上述した投影装置１とは異なる他の投影装置により投影面に投影される。あるいは、上述した投影装置１に、非可視光の投影像を投影面に投影する機能を持たせるようにしてもよい。また、非可視光の投影像が投影された投影面の撮影像は、上述した撮影装置２とは異なる他の撮影装置が撮影してもよいし、上述した撮影装置２に非可視光を撮影する機能を持たせるようにしてもよい。一般に、非可視光は人の眼には視覚されないため、投影装置１によって投影された可視光による観賞用の投影像を阻害することなく、パターンを投影・撮影することが可能となる。そのため、格子状のパターンや、ドットパターンなどのようなキャリブレーション用のパターンを非可視光の投影像として用いることで、対応点情報を高精度に生成できるという効果がある。

以上のように、本実施形態の画像処理装置１０Ａでは、検出部１１および対応点情報生成部１２の処理により、投影面が変化した際には、投影面が変化した後の撮影像に対応できるように対応点情報が更新され、投影面が変化しなければ、対応点情報の更新が行われない。これにより、入力画像と投影面の撮影像との間の画素位置の対応関係を示す対応点情報が常に適切に保持されることとなり、投影面が変化したとしても、後段の補正パラメータ算出部１３において、正しく補正パラメータを算出することが可能となる。

補正パラメータ算出部１３は、入力画像と、撮影装置２から入力した投影面の撮影像と、対応点情報生成部１２から入力した対応点情報とに基づいて、入力画像の各画素に対応する投影面の反射特性に応じた補正パラメータを算出し、算出した補正パラメータを補正部１４に出力する。この際、補正パラメータ算出部１３は、上述した検出部１１により投影面の変化が検出され、対応点情報生成部１２により投影面が変化した後の撮影像に対応する対応点情報が新たに生成されて出力された場合には、この新たに生成された対応点情報を用いて補正パラメータを算出して補正部１４に出力する。また、補正パラメータ算出部１３は、検出部１１により投影面の変化が検出されず、対応点情報生成部１２から過去の対応点情報が出力された場合には、過去の対応点情報を用いて補正パラメータを算出して補正部１４に出力する。

なお、本実施形態では、撮影像の所定フレーム数ごと、つまり検出部１１が投影面の変化の有無を判定する周期ごとに、補正パラメータ算出部１３が補正パラメータを算出する例を想定するが、これに限らない。例えば、補正パラメータ算出部１３は、検出部１１により投影面の変化が検出され、対応点情報生成部１２により投影面が変化した後の撮影像に対応する対応点情報が新たに生成されて出力された場合に、補正パラメータを算出する構成であってもよい。この場合、検出部１１により投影面の変化が検出されない間は、後段の補正部１４が、画像処理装置１０Ａ内部または外部の所定の記憶領域に保存されている過去の補正パラメータを用いて入力画像の補正を行うようにすればよい。

本実施形態における補正パラメータは、入力画像と、その入力画像に対応する投影像が投影された投影面の撮影像とを比較することで算出されるパラメータである。上述したように、撮影像は、少なくとも投影像が投影された領域を含む投影面を撮像装置２により撮影した像であり、投影装置１が入力画像に応じて投影面に投影した投影像の明るさや色が、投影面の素材や形などの影響によって変化した状態を表している。本実施形態では、この投影面の影響により投影像が変化した状態を、投影面の影響を受けていない投影像の状態に近づけるような補正パラメータを算出する。投影面の影響を受けていない投影像の状態は、投影装置１の光学的特性や機械的特性によって定まる固有パラメータを入力画像に掛け合わせることによって求めることができる。補正パラメータ算出部１３は、投影装置１の固有パラメータが掛け合わされた入力画像と、撮影装置２から入力した投影面の撮影像とを、対応する画素ごとに比較して、その差分に応じた補正パラメータを算出する。

補正部１４は、補正パラメータ算出部１３から入力した補正パラメータを用いて入力画像を補正し、補正した入力画像を投影装置１に出力する。この補正は、入力画像の画素ごとに、赤成分、緑成分、青成分の３チャンネルの輝度値を、対応する画素の補正パラメータに基づいて補正する処理となる。投影装置１は、このように画素ごとの各色成分の輝度値が補正された入力画像に基づいて、投影面に投影像を投影する。これにより、投影面の色や柄の影響による明るさや色の変化が相殺された所望の投影像を投影面に投影することができる。

次に、本実施形態の画像処理装置１０Ａの動作の概要を、図２を参照して説明する。図２は、画像処理装置１０Ａによる処理手順の一例を示すフローチャートである。この図２のフローチャートで示す一連の処理は、所定の制御周期（例えば撮影像の所定フレーム数ごと）に、画像処理装置１０Ａによって繰り返し実行される。なお、入力画像は画像処理装置１０Ａに対して随時入力されるものとする。

図２のフローチャートで示す処理が開始されると、画像処理装置１０Ａは、撮影装置２が出力する撮影像、つまり、投影装置１により投影像が投影された領域を含む投影面の撮影像を入力する（ステップＳ１０１）。

次に、検出部１１が、ステップＳ１０１で入力した投影面の撮影像を用いて、投影面の変化を検出する処理を実行し（ステップＳ１０２）、投影面の変化を検出した場合は変化ありを示す変化情報、投影面の変化を検出しない場合は変化なしを示す変化情報を、対応点情報生成部１２に出力する。

次に、対応点情報生成部１２が、検出部１１から入力した変化情報が変化ありを示すものであるか否かを判定する（ステップＳ１０３）。そして、判定の結果がＹｅｓであれば、対応点情報生成部１２は、ステップＳ１０１で入力した投影面の撮影像（つまり、投影面が変化した後の撮影像）と、入力画像とに基づいて、投影面が変化した後の撮影像と入力画像との間の画素位置の対応関係を示す対応点情報を生成し、補正パラメータ算出部１３に出力する（ステップＳ１０４）。一方、判定の結果がＮｏであれば、対応点情報生成部１２は、所定の記憶領域に保存されている過去の対応点情報を補正パラメータ算出部１３に出力する（ステップＳ１０５）。

次に、補正パラメータ算出部１３が、入力画像と、ステップＳ１０１で入力した投影面の撮影像と、対応点情報生成部１２から入力した対応点情報とに基づいて、補正パラメータを算出し（ステップＳ１０６）、算出した補正パラメータを補正部１４に出力する。

次に、補正部１４が、補正パラメータ算出部１３から入力した補正パラメータを用いて入力画像を補正し（ステップＳ１０７）、補正した入力画像を投影装置１に出力する（ステップ１０８）。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態によれば、投影装置１と投影面との相対的な位置関係が変化（上述の説明では投影面が変化）した場合であっても、入力画像と投影面の撮影像との間の画素位置の対応関係を示す対応点情報を常に適切に保持することで、正しく補正パラメータを算出し、様々な投影面に対して、その投影面の色や柄の影響による明るさや色の変化が相殺された所望の投影像を投影することができる。

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態では、投影装置１と投影面との間の距離を計測して、その距離情報を用いて投影面の変化を検出するとともに投影面が変化したことによる投影像の輝度変化を推定し、推定した輝度変化を補正パラメータに反映させる。なお、それ以外は第１実施形態と同様であるため、以下では、第１実施形態と共通の構成要素は同一の符号を付して重複した説明を適宜省略し、本実施形態に特徴的な部分を中心に説明する。

図３は、第２実施形態の画像投影システムの構成例を示すブロック図である。図３に示すように、本実施形態の画像投影システムは、投影装置１と、撮影装置２と、測距装置３と、画像処理装置１０Ｂとを備える。

測距装置３は、投影装置１と投影面との間の距離を計測して、その距離を示す距離情報を画像処理装置１０Ｂに出力する。この測距装置３としては、対象までの距離を計測する様々な距離センサを用いることができる。例えば、ＴＯＦ（Time of flight）方式の距離画像センサのように、投影・検出光の位相差を検出することで距離を計測する距離センサや、赤外線センサのように非可視光を投影・検出することで距離を計測する距離センサ、ステレオカメラのように複数のセンサ出力を用いることで距離を計測する距離センサなどを投影装置１の近傍に設けることで、投影装置１と投影面との間の距離を計測することができる。

さらに測距装置３は、少なくとも投影像が投影された領域を含む投影面の一定範囲内における各位置の距離を所定の分解能でそれぞれ計測できる構成であることが望ましい。このような構成の測距装置３を用いることで、画像処理装置１０Ｂ内部の後述する輝度変化推定部１５において、投影面が変化したことによる投影像の輝度変化を、距離情報を用いて推定することが可能となる。特に、ＴＯＦ方式の距離画像センサや赤外線センサなどの非可視光を用いる構成の距離センサを測距装置３として用いることによって、投影装置１から投影面に投影される投影像の干渉を受けることなく、距離情報を取得することが可能となり、より高精度に距離情報を取得できるというメリットがある。

本実施形態の画像処理装置１０Ｂは、図３に示すように、検出部１１Ｂと、対応点情報生成部１２と、補正パラメータ算出部１３Ｂと、補正部１４と、輝度変化推定部１５とを備える。なお、対応点情報生成部１２および補正部１４は、第１実施形態と共通の構成であるため説明は省略する。

検出部１１Ｂは、測距装置３から入力した距離情報を用いて、投影面の変化を検出する。具体的には、検出部１１Ｂは、例えば、測距装置３から入力した距離情報の時間変動量を求めて、その距離情報の時間変動量が予め定めた閾値を超えた場合に、投影面が変化したと判定する。距離情報の時間変動量は、例えば、所定時間における距離情報の変化を累積することにより求めることができる。検出部１１Ｂは、所定時間ごとに距離情報を用いて投影面が変化したか否かを判定し、投影面が変化したと判定した場合は、変化ありを示す変化情報を対応点情報生成部１２および輝度変化推定部１５に出力する。一方、投影面が変化していないと判定した場合は、変化なしを示す変化情報を対応点情報生成部１２および輝度変化推定部１５に出力する。

なお、本実施形態では、測距装置３から入力した距離情報を用いて投影面の変化を検出するようにしているが、第１実施形態と同様に、撮影装置２から入力した投影面の撮影像を用いて投影面の変化を検出する構成であってもよい。

輝度変化推定部１５は、検出部１１Ｂが投影面の変化を検出した場合に、入力画像と、測距装置３から入力した距離情報とに基づいて、投影面が変化した際の投影距離・角度の変化による投影像の輝度変化を推定する。すなわち、輝度変化推定部１５は、検出部１１Ｂから入力した変化情報が、投影面が変化したことを示す場合に、投影面が変化する前の投影像に対する変化後の投影像の輝度変化を、入力画像と距離情報とに基づいて推定する。そして、輝度変化推定部１５は、投影像の輝度変化を新たに推定した場合は、その推定した輝度変化を表す輝度変化推定値を補正パラメータ算出部１３Ｂに出力する。一方、検出部１１Ｂから入力した変化情報が、投影面が変化していないことを示しており、投影像の輝度変化を新たに推定しなかった場合は、輝度変化推定部１５は、画像処理装置１０Ｂ内部または外部の所定の記憶領域に保存されている過去の輝度変化推定値を補正パラメータ算出部１３Ｂに出力する。

投影装置１の光源から射出された投影光によって再現される投影像の輝度は、投影装置１の光源からの投影面までの距離の２乗に反比例することが知られている。すなわち、投影距離が２倍になると投影輝度が１／４倍になることが推定できる。また、投影面の法線と入射光との角度の差に対して、投影像の輝度はｃｏｓ則で減少することが知られている。すなわち、投影光に対する投影面の法線の角度が例えば０ｄｅｇから４５ｄｅｇに変化した場合は、投影像の輝度は約０．７０７倍となることが推定できる。これらの関係から、輝度変化推定部１５は、投影面が変化した際の投影距離・角度の変化を用いて、投影像の輝度の変化を推定する。このとき輝度変化推定部１５は、上述したように、投影装置１から投影面までの距離が遠くなった場合には、その距離の変化分に応じて投影像の輝度が低くなることを推定し、投影光に対する投影面の法線の角度が大きくなった場合には、その角度の増加分に応じて投影像の輝度が低くなることを推定する。

補正パラメータ算出部１３Ｂは、入力画像と、撮影装置２から入力した投影面の撮影像と、対応点情報生成部１２から入力した対応点情報と、輝度変化推定部１５から入力した輝度変化推定値とに基づいて補正パラメータを算出し、算出した補正パラメータを補正部１４に出力する。すなわち、補正パラメータ算出部１３Ｂは、輝度変化推定部１５により推定された投影面の輝度変化を加味して、入力画像の各画素に対応する投影面の反射特性に応じた補正パラメータを算出し、補正部１４に出力する。

この際、補正パラメータ算出部１３Ｂは、上述した検出部１１により投影面の変化が検出され、対応点情報生成部１２により投影面が変化した後の撮影像に対応する対応点情報が新たに生成されて出力されるとともに、輝度変化推定部１５により輝度変化推定値が新たに算出されて出力された場合には、この新たに生成された対応点情報と、新たに算出された輝度変化推定値とを用いて補正パラメータを算出して補正部１４に出力する。また、補正パラメータ算出部１３Ｂは、検出部１１により投影面の変化が検出されず、対応点情報生成部１２から過去の対応点情報が出力され、輝度変化推定部１５から過去の輝度変化推定値が出力された場合には、これら過去の対応点情報と過去の輝度変化推定値とを用いて補正パラメータを算出して補正部１４に出力する。

なお、本実施形態では、所定時間ごと、つまり検出部１１Ｂが測距装置３から入力した距離情報に基づいて投影面の変化の有無を判定する周期ごとに、補正パラメータ算出部１３Ｂが補正パラメータを算出する例を想定するが、これに限らない。例えば、補正パラメータ算出部１３Ｂは、検出部１１Ｂにより投影面の変化が検出され、対応点情報生成部１２により投影面が変化した後の撮影像に対応する対応点情報が新たに生成されて出力されるとともに、輝度変化推定部１５により新たな輝度変化推定値が算出されて出力された場合に、補正パラメータを算出する構成であってもよい。この場合、検出部１１Ｂにより投影面の変化が検出されない間は、後段の補正部１４が、画像処理装置１０Ｂ内部または外部の所定の記憶領域に保存されている過去の補正パラメータを用いて入力画像の補正を行うようにすればよい。

次に、本実施形態の画像処理装置１０Ｂの動作の概要を、図４を参照して説明する。図４は、画像処理装置１０Ｂによる処理手順の一例を示すフローチャートである。この図４のフローチャートで示す一連の処理は、所定の制御周期（例えば検出部１１Ｂが投影面の変化を検出する周期となる所定時間ごと）に、画像処理装置１０Ｂによって繰り返し実行される。なお、入力画像は画像処理装置１０Ｂに対して随時入力されるものとする。

図４のフローチャートで示す処理が開始されると、画像処理装置１０Ｂは、撮影装置２が出力する撮影像、つまり、投影装置１により投影像が投影された領域を含む投影面の撮影像を入力する（ステップＳ２０１）。

次に、画像処理装置１０Ｂは、測距装置３が出力する距離情報、つまり、投影装置１と投影面との間の距離を示す距離情報を入力する（ステップＳ２０２）。

次に、検出部１１Ｂが、ステップＳ２０２で入力した距離情報を用いて、投影面の変化を検出する処理を実行し（ステップＳ２０３）、投影面の変化を検出した場合は変化ありを示す変化情報、投影面の変化を検出しない場合は変化なしを示す変化情報を、対応点情報生成部１２および輝度変化推定部１５に出力する。

次に、対応点情報生成部１２および輝度変化推定部１５が、検出部１１Ｂから入力した変化情報が変化ありを示すものであるか否かを判定する（ステップＳ２０４）。そして、判定の結果がＹｅｓであれば、対応点情報生成部１２は、ステップＳ２０１で入力した投影面の撮影像（つまり、投影面が変化した後の撮影像）と、入力画像とに基づいて、投影面が変化した後の撮影像と入力画像との間の画素位置の対応関係を示す対応点情報を生成し、補正パラメータ算出部１３Ｂに出力する（ステップＳ２０５）。また、輝度変化推定部１５は、入力画像と、ステップＳ２０２で入力した距離情報とに基づいて、投影面の変化による投影像の輝度変化を推定し、輝度変化推定値を補正パラメータ算出部１３Ｂに出力する（ステップＳ２０６）。

一方、ステップＳ２０４の判定の結果がＮｏであれば、対応点情報生成部１２は、所定の記憶領域に保存されている過去の対応点情報を補正パラメータ算出部１３Ｂに出力する（ステップＳ２０７）。また、輝度変化推定部１５は、所定の記憶領域に保存されている過去の輝度変化推定値を補正パラメータ算出部１３Ｂに出力する（ステップＳ２０８）。

次に、補正パラメータ算出部１３Ｂが、入力画像と、ステップＳ２０１で入力した投影面の撮影像と、対応点情報生成部１２から入力した対応点情報と、輝度変化推定部１５から入力した輝度変化推定値とに基づいて、補正パラメータを算出し（ステップＳ２０９）、算出した補正パラメータを補正部１４に出力する。

次に、補正部１４が、補正パラメータ算出部１３Ｂから入力した補正パラメータを用いて入力画像を補正し（ステップＳ２１０）、補正した入力画像を投影装置１に出力する（ステップ２１１）。

以上説明したように、本実施形態によれば、投影装置１と投影面との相対的な位置関係が変化（上述の説明では投影面が変化）した際に、投影距離・角度の変化による投影像の輝度変化を適切に推定し、推定した輝度変化推定値を用いて補正パラメータを算出することで、投影距離・角度の変化による投影像の輝度変化に影響されずに、正しく補正パラメータを算出し、様々な投影面に対して、その投影面の色や柄の影響による明るさや色の変化が相殺された所望の投影像を投影することができる。

（第３実施形態）
次に、第３実施形態について説明する。第３実施形態では、投影像の歪みを除去するように入力画像を幾何変換し、幾何変換した入力画像と距離情報とを用いて、投影面が変化したことによる投影像の輝度変化を推定するとともに、幾何変換した入力画像を、補正パラメータを用いて補正する。なお、それ以外は第２実施形態と同様であるため、以下では、第２実施形態と共通の構成要素は同一の符号を付して重複した説明を適宜省略し、本実施形態に特徴的な部分を中心に説明する。

図５は、第３実施形態の画像投影システムの構成例を示すブロック図である。図５に示すように、本実施形態の画像投影システムは、投影装置１と、撮影装置２と、測距装置３と、画像処理装置１０Ｃとを備える。

本実施形態の画像処理装置１０Ｃは、図５に示すように、検出部１１Ｂと、対応点情報生成部１２と、補正パラメータ算出部１３Ｂと、補正部１４Ｃと、輝度変化推定部１５Ｃと、幾何変換部１６とを備える。なお、検出部１１Ｂ、対応点情報生成部１２および補正パラメータ算出部１３Ｂは、第２実施形態と共通の構成であるため説明は省略する。

幾何変換部１６は、対応点情報生成部１２が出力する対応点情報を用いて、投影像の歪を除去するように入力画像を幾何変換する。以下、幾何変換した入力画像を「幾何変換画像」という。本実施形態における幾何変換とは、撮影装置２の方向から見た投影像に台形歪みなどの歪みが生じないように、入力画像を幾何的に変換することを意味する。このとき、幾何変換部１６は、対応点情報生成部１２が出力した対応点情報を用いることで、撮影像上で投影像が所望の形状となるように、その投影像の元になる入力画像を幾何変換することが可能となる。幾何変換部１６は、入力画像を幾何変換することで得られる幾何変換画像を、輝度変化推定部１５Ｃおよび補正部１４Ｃに出力する。

輝度変化推定部１５Ｃは、検出部１１Ｂが投影面の変化を検出した場合に、幾何変換画像と、測距装置３から入力した距離情報とに基づいて、投影面が変化した際の投影距離・角度の変化による投影像の輝度変化を推定する。すなわち、輝度変化推定部１５Ｃは、検出部１１Ｂから入力した変化情報が、投影面が変化したことを示す場合に、投影面が変化する前の投影像に対する変化後の投影像の輝度変化を幾何変換画像と距離情報とに基づいて推定する。そして、輝度変化推定部１５Ｃは、投影像の輝度変化を新たに推定した場合は、その推定した輝度変化を表す輝度変化推定値を補正パラメータ算出部１３Ｂに出力する。一方、検出部１１Ｂから入力した変化情報が、投影面が変化していないことを示しており、投影像の輝度変化を新たに推定しなかった場合は、輝度変化推定部１５Ｃは、画像処理装置１０Ｃ内部または外部の所定の記憶領域に保存されている過去の輝度変化推定値を補正パラメータ算出部１３Ｂに出力する。

補正部１４Ｃは、補正パラメータ算出部１３Ｂから入力した補正パラメータを用いて、幾何変換部１６から入力した幾何変換画像を補正し、補正した幾何変換画像を投影装置１に出力する。

次に、本実施形態の画像処理装置１０Ｃの動作の概要を、図６を参照して説明する。図６は、画像処理装置１０Ｃによる処理手順の一例を示すフローチャートである。この図６のフローチャートで示す一連の処理は、所定の制御周期（例えば検出部１１Ｂが投影面の変化を検出する周期となる所定時間ごと）に、画像処理装置１０Ｃによって繰り返し実行される。なお、入力画像は画像処理装置１０Ｃに対して随時入力されるものとする。

図６のフローチャートで示す処理が開始されると、画像処理装置１０Ｃは、撮影装置２が出力する撮影像、つまり、投影装置１により投影像が投影された領域を含む投影面の撮影像を入力する（ステップＳ３０１）。

次に、画像処理装置１０Ｃは、測距装置３が出力する距離情報、つまり、投影装置１と投影面との間の距離を示す距離情報を入力する（ステップＳ３０２）。

次に、検出部１１Ｂが、ステップＳ３０２で入力した距離情報を用いて、投影面の変化を検出する処理を実行し（ステップＳ３０３）、投影面の変化を検出した場合は変化ありを示す変化情報、投影面の変化を検出しない場合は変化なしを示す変化情報を、対応点情報生成部１２および輝度変化推定部１５に出力する。

次に、対応点情報生成部１２および輝度変化推定部１５Ｃが、検出部１１Ｂから入力した変化情報が変化ありを示すものであるか否かを判定する（ステップＳ３０４）。そして、判定の結果がＹｅｓであれば、対応点情報生成部１２は、ステップＳ３０１で入力した投影面の撮影像（つまり、投影面が変化した後の撮影像）と、入力画像とに基づいて、投影面が変化した後の撮影像と入力画像との間の画素位置の対応関係を示す対応点情報を生成し、補正パラメータ算出部１３Ｂおよび幾何変換部１６に出力する（ステップＳ３０５）。また、幾何変換部１６は、対応点情報生成部１２から入力した対応点情報を用いて入力画像を幾何変換し（ステップＳ３０６）、幾何変換画像を輝度変化推定部１５Ｃおよび補正部１４Ｃに出力する。そして、輝度変化推定部１５Ｃは、幾何変換部１６から入力した幾何変換画像と、ステップＳ２０２で入力した距離情報とに基づいて、投影面の変化による投影像の輝度変化を推定し、輝度変化推定値を補正パラメータ算出部１３Ｂに出力する（ステップＳ３０７）。

一方、ステップＳ３０４の判定の結果がＮｏであれば、対応点情報生成部１２は、所定の記憶領域に保存されている過去の対応点情報を補正パラメータ算出部１３Ｂおよび幾何変換部１６に出力する（ステップＳ３０８）。また、幾何変換部１６は、対応点情報生成部１２から入力した対応点情報を用いて入力画像を幾何変換し（ステップＳ３０９）、幾何変換画像を補正部１４Ｃに出力する。そして、輝度変化推定部１５Ｃは、所定の記憶領域に保存されている過去の輝度変化推定値を補正パラメータ算出部１３Ｂに出力する（ステップＳ３１０）。

次に、補正パラメータ算出部１３Ｂが、入力画像と、ステップＳ３０１で入力した投影面の撮影像と、対応点情報生成部１２から入力した対応点情報と、輝度変化推定部１５から入力した輝度変化推定値とに基づいて、補正パラメータを算出し（ステップＳ３１１）、算出した補正パラメータを補正部１４Ｃに出力する。

次に、補正部１４Ｃが、補正パラメータ算出部１３Ｂから入力した補正パラメータを用いて、幾何変換部１６から入力した幾何変換画像を補正し（ステップＳ３１２）、補正した幾何変換画像を投影装置１に出力する（ステップ３１３）。

以上説明したように、本実施形態によれば、対応点情報を用いて入力画像を幾何変換することにより、撮影装置２の位置からみた投影像の幾何的な歪みを除去しつつ、正しく補正パラメータを算出し、様々な投影面に対して、その投影面の色や柄の影響による明るさや色の変化が相殺された所望の投影像を投影することができる。

（第４実施形態）
次に、第４実施形態について説明する。第４実施形態は、投影面の変化を検出する方法のバリエーションを示す。投影面の変化を検出する方法として、第１実施形態では撮影装置２から入力した撮影像を用いる例を説明し、第２実施形態では測距装置３から入力した距離情報を用いる例を説明したが、第４実施形態では、これら撮影像や距離情報以外の情報を用いて投影面の変化を検出する例を説明する。なお、投影面の変化を検出する方法が異なる以外は第３実施形態と同様であるため、以下では、第３実施形態と共通の構成要素は同一の符号を付して重複した説明を適宜省略し、本実施形態に特徴的な部分を中心に説明する。

図７は、第４実施形態の画像投影システムの構成例を示すブロック図である。図７に示すように、本実施形態の画像投影システムは、投影装置１と、撮影装置２と、測距装置３と、情報取得装置４と、画像処理装置１０Ｄとを備える。

情報取得装置４は、投影面の変化を検出するために利用される情報（以下、「変化検出用情報」という。）を取得して、画像処理装置１０Ｄに出力する。情報取得装置４の構成は、変化検出用情報の種類に応じて様々な形態をとり得る。なお、変化検出用情報の具体例は後述する。

本実施形態の画像処理装置１０Ｄは、図７に示すように、検出部１１Ｄと、対応点情報生成部１２と、補正パラメータ算出部１３Ｂと、補正部１４Ｃと、輝度変化推定部１５Ｃと、幾何変換部１６とを備える。なお、対応点情報生成部１２、補正パラメータ算出部１３Ｂ、補正部１４Ｃ、輝度変化推定部１５Ｃおよび幾何変換部１６は、第３実施形態と共通の構成であるため説明は省略する。

検出部１１Ｄは、情報取得装置４から入力した変化検出用情報を用いて、投影面の変化を検出する。すなわち、検出部１１Ｄは、情報取得装置４から入力した変化検出用情報を用いて投影面が変化したか否かを判定し、投影面が変化したと判定した場合は、変化ありを示す変化情報を対応点情報生成部１２および輝度変化推定部１５Ｃに出力する。一方、投影面が変化していないと判定した場合は、変化なしを示す変化情報を対応点情報生成部１２および輝度変化推定部１５Ｃに出力する。

ここで、情報取得装置４によって取得されて検出部１１Ｄにおいて投影面の変化を検出するために用いられる変化検出用情報の具体例について説明する。

例えば、所定の時間に所定位置に停車する移動体を投影面とする例を想定すると、移動体の運行情報や移動体の属性を表す属性情報が、変化検出用情報として利用可能である。具体的には、例えば駅のホームに停車している電車の車体を投影面とし、この電車の車体に対して駅舎の天井などに設置された投影装置１から投影像を投影する構成の場合、電車の到着時刻や出発時刻を示すダイヤグラム（運行情報）と、電車の車体の色や形状などを特定可能な車体番号などの属性情報とを用いて、駅のホームに停車している電車の車体、つまり投影面の変化を検出できる。また、電車以外の移動体（例えば、航空機、船舶、列車、バス、乗用車、モノレールなど）を投影面とする場合であっても、その移動体の運行情報と属性情報とから、同様に投影面の変化を検出できる。

この例の場合、情報取得装置４は、外部のサーバなどから移動体の運行情報や属性情報を変化検出用情報として取得し、画像処理装置１０Ｄに出力する。そして、画像処理装置１０Ｄの検出部１１Ｄは、例えば画像処理装置１０Ｄ内部で取得される現在時刻を示す時刻情報と、情報取得装置４から入力した移動体の運行情報と、移動体の属性情報とを用いて、投影面となる移動体が変化したか否かを判定し、判定結果に応じた変化情報を対応点情報生成部１２および輝度変化推定部１５Ｃに出力する。

また、投影面の変化は、例えば投影面からの反射光量の変化から検出することができる。すなわち、投影面の反射光を検出する単一または複数の光センサを設け、この光センサにより検出された投影面の反射光量を示す情報を、変化検出用情報として利用することもできる。この場合の光センサは、投影像が投影された投影面を撮影する撮影装置２とは異なる簡素な構成の光センサである。また、この光センサは、投影面に光を照射してその反射光を検出する構成であってもよいし、自然光が照射された投影面の反射光を検出する構成であってもよい。また、光センサは、可視光の反射光を検出する構成であってもよいし、例えば赤外線などの非可視光の反射光を検出する構成であってもよい。

この例の場合、情報取得装置４は、上述した光センサから投影面の反射光量を示す情報を変化検出用情報として取得し、画像処理装置１０Ｄに出力する。そして、画像処理装置１０Ｄの検出部１１Ｄは、情報取得装置４から入力した変化検出用情報を用いて、例えば、投影面の反射光量の時間変化量（所定時間の間の変化量）を求める。そして、この反射光量の時間変化量が予め定めた閾値を超えたか否かにより、投影面が変化したか否かを判定し、判定結果に応じた変化情報を対応点情報生成部１２および輝度変化推定部１５Ｃに出力する。

また、投影面の変化は、例えば投影面で反射される音量の変化から検出することができる。つまり、投影面で反射される音波を検出する単一または複数の音センサを設け、この音センサにより検出された投影面からの反射音量を示す情報を、変化検出用情報と利用することもできる。この場合の音センサは、投影面に音波を照射して投影面で反射された音波を検出する構成であってもよいし、投影面で反射された環境音の音波を検出する構成であってもよい。

この例の場合、情報取得装置４は、上述した音センサから投影面の反射音量を示す情報を変化検出用情報として取得し、画像処理装置１０Ｄに出力する。そして、画像処理装置１０Ｄの検出部１１Ｄは、情報取得装置４から入力した変化検出用情報を用いて、例えば、投影面の反射音量の時間変化量（所定時間の間の変化量）を求める。そして、この反射音量の時間変化量が予め定めた閾値を超えたか否かにより、投影面が変化したか否かを判定し、判定結果に応じた変化情報を対応点情報生成部１２および輝度変化推定部１５Ｃに出力する。

なお、以上の説明では、投影装置１自体に動きがない場合を想定し、投影装置１と投影面との相対的な位置関係の変化として、投影面の変化を検出するものとしたが、投影装置１の動きも含めて投影装置１と投影面との相対的な位置関係の変化を検出する場合は、投影装置１の動き量を示す情報を、変化検出用情報として利用することもできる。投影装置１の動き量を示す情報としては、例えば、投影装置１に設けられた加速度センサやジャイロセンサなどから出力される情報が挙げられる。

この場合、情報取得装置４は、投影装置１に設けられた加速度センサやジャイロセンサなどから投影装置１の動き量を表す情報を変化検出用情報として取得し、画像処理装置１０Ｄに出力する。そして、画像処理装置１０Ｄの検出部１１Ｄは、情報取得装置４から入力した変化検出用情報を用いて、例えば、投影装置１の動き量の時間変化量（所定時間の間の変化量）を求める。そして、投影装置１の動き量の時間変化量が予め定めた閾値を超えたか否かにより、投影装置１と投影面との相対的な位置関係が変化したか否かを判定し、判定結果に応じた変化情報を対応点情報生成部１２および輝度変化推定部１５Ｃに出力する。

以上、投影面の変化（投影装置１と投影面との相対的な位置関係の変化）を検出する方法のバリエーションを説明したが、検出部１１Ｄは、これらの方法と上述した第１実施形態や第２実施形態で説明した方法とを適宜組み合わせて、投影面の変化（投影装置１と投影面との相対的な位置関係の変化）を検出するようにしてもよい。例えば、所定の時間に所定位置に停車する移動体を投影面とする例において、現在時刻を示す時刻情報と、情報取得装置４から入力した移動体の運行情報と、移動体の属性情報とを用いて、投影面となる移動体が変化したことが推定され、かつ、撮影装置２から入力した撮影像あるいは測距装置３から入力した距離情報の時間変動量が予め定めた閾値を超えた場合に、投影面が変化（投影装置１と投影面との相対的な位置関係が変化）したと判定するようにしてもよい。

なお、本実施形態では、第３実施形態の画像処理装置１０Ｃの構成をベースとし、第３実施形態の画像処理装置１０Ｃの検出部１１Ｂを検出部１１Ｄに置き換えた例を説明したが、第１実施形態の画像処理装置１０Ａや第２実施形態の画像処理装置１０Ｂの構成をベースとして、検出部１１，１１Ｂを検出部１１Ｄに置き換えた構成であってもよい。

また、本実施形態では、情報取得部４が変化検出用情報を取得するものとして説明したが、情報取得部４は、変化検出用情報以外の他の情報も取得する構成としてもよい。例えば、撮影装置２が撮影した投影面の撮影像を用いて投影面と重なる位置に人物が存在することを検出する人物検出装置を設け、この人物検出装置が人物を検出した場合に、その情報を情報取得部４が取得する構成としてもよい。この場合、例えば、人物検出装置が人物を検出し、その情報を情報取得部４が取得した場合に、画像処理装置１０Ｄが投影装置１に対する画像の出力を停止し、投影装置１による投影像の投影を中断させるといった処理を行うことができる。

以上説明したように、本実施形態によれば、投影装置１と投影面との相対的な位置関係が変化（上述の説明では投影面が変化）した場合であっても、その変化を精度よく検出して対応点情報を常に適切に保持することで、正しく補正パラメータを算出し、様々な投影面に対して、その投影面の色や柄の影響による明るさや色の変化が相殺された所望の投影像を投影することができる。

（補足説明）
上述した各実施形態の画像処理装置１０Ａ（１０Ｂ，１０Ｃ，１０Ｄ）における各処理部（検出部１１（１１Ｂ，１１Ｄ）、対応点情報生成部１２、補正パラメータ算出部１３（１３Ｂ）、補正部１４、輝度変化推定部１５、幾何変換部１６）は、ハードウェア、またはハードウェアと協働して動作するソフトウェア（プログラム）での実装が可能である。上記の各処理部をソフトウェアで実装する場合、画像処理装置１０Ａ（１０Ｂ，１０Ｃ，１０Ｄ）は、例えば図８に示すように、ＣＰＵ（Central Processing Unit）１０１などのプロセッサ回路、ＲＡＭ（Random Access Memory）１０２やＲＯＭ（Read Only Memory）１０３、画像メモリ１０４などの記憶装置、外部機器が接続される入出力Ｉ／Ｆ１０５、各部を接続するバス１０６などを備えた、通常のコンピュータを利用したハードウェア構成とすることができる。

上述した各実施形態の画像処理装置１０Ａ（１０Ｂ，１０Ｃ，１０Ｄ）で実行されるプログラムは、例えば、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。

また、上述した各実施形態の画像処理装置１０Ａ（１０Ｂ，１０Ｃ，１０Ｄ）で実行されるプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述した実施形態の画像処理装置１０Ａ（１０Ｂ，１０Ｃ，１０Ｄ）で実行されるプログラムをインターネットなどのネットワーク経由で提供または配布するように構成してもよい。また、上述した各実施形態の画像処理装置１０Ａ（１０Ｂ，１０Ｃ，１０Ｄ）で実行されるプログラムを、ＲＯＭ１０３等に予め組み込んで提供するように構成してもよい。

上述した各実施形態の画像処理装置１０Ａ（１０Ｂ，１０Ｃ，１０Ｄ）で実行されるプログラムは、画像処理装置１０Ａ（１０Ｂ，１０Ｃ，１０Ｄ）の各処理部（検出部１１（１１Ｂ，１１Ｄ）、対応点情報生成部１２、補正パラメータ算出部１３（１３Ｂ）、補正部１４、輝度変化推定部１５、幾何変換部１６）を含むモジュール構成となっており、実際のハードウェアとしては、例えば、ＣＰＵ１０１（プロセッサ回路）が上記記録媒体からプログラムを読み出して実行することにより、上述した各処理部がＲＡＭ１０２（主記憶）上にロードされ、上述した各処理部がＲＡＭ１０２（主記憶）上に生成されるようになっている。なお、上述した各実施形態の画像処理装置１０Ａ（１０Ｂ，１０Ｃ，１０Ｄ）は、上述した各処理部の一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェアを用いて実現することも可能である。

以上、本発明の実施形態を説明したが、ここで説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。ここで説明した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。ここで説明した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 投影装置
２ 撮影装置
３ 測距装置
４ 情報取得装置
１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ 画像処理装置
１１，１１Ｂ，１１Ｄ 検出部
１２ 対応点情報生成部
１３，１３Ｂ 補正パラメータ算出部
１４ 補正部
１５ 輝度変化推定部
１６ 幾何変換部

Claims (13)

1. 入力画像に応じた投影像が投影された投影面の撮影像を用いて前記入力画像を補正する画像処理装置であって、
   前記入力画像と、前記撮影像と、前記入力画像と前記撮影像との間の画素位置の対応関係を示す対応点情報とに基づいて、前記投影面の反射特性に応じた補正パラメータを算出する補正パラメータ算出部と、
   前記補正パラメータを用いて、前記入力画像の画素ごとの各色成分の輝度値を補正する補正部と、
   前記投影面の変化を検出する検出部と、
   前記検出部が前記投影面の変化を検出した場合に、前記投影面が変化した後の前記撮影像と、前記入力画像とに基づいて、前記対応点情報を生成する対応点情報生成部と、を備え、
   前記補正パラメータ算出部は、前記検出部が前記投影面の変化を検出した場合に、前記入力画像と、前記投影面が変化した後の前記撮影像と、前記対応点情報生成部が生成した前記対応点情報とに基づいて、前記補正パラメータを算出することを特徴とする画像処理装置。
2. 前記検出部が前記変化を検出した場合に、前記入力画像と、前記投影像を前記投影面に投影する投影装置と前記投影面との間の距離を示す距離情報とに基づいて、前記投影面が変化したことによる前記投影像の輝度変化を推定して輝度変化推定値を出力する輝度変化推定部をさらに備え、
   前記補正パラメータ算出部は、前記検出部が前記投影面の変化を検出した場合に、前記入力画像と、前記投影面が変化した後の前記撮影像と、前記対応点情報生成部が生成した前記対応点情報と、前記輝度変化推定値とに基づいて、前記補正パラメータを算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記対応点情報を用いて、前記入力画像を幾何変換する幾何変換部をさらに備え、
   前記輝度変化推定部は、幾何変換された前記入力画像と、前記距離情報とに基づいて、前記投影像の輝度変化を推定し、
   前記補正部は、前記補正パラメータを用いて、幾何変換された前記入力画像の画素ごとの各色成分の輝度値を補正することを特徴とする請求項２に記載の画像処理装置。
4. 前記対応点情報生成部は、可視光の前記投影像が投影された前記投影面の撮影像と、可視光の前記投影像に対応する前記入力画像とに基づいて、前記対応点情報を生成することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記対応点情報生成部は、非可視光の前記投影像が投影された前記投影面の撮影像と、非可視光の前記投影像に対応する前記入力画像とに基づいて、前記対応点情報を生成することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記検出部は、前記投影面の撮影像を用いて、前記投影面の変化を検出することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記検出部は、前記投影像を前記投影面に投影する投影装置と前記投影面との間の距離を示す距離情報を用いて、前記投影面の変化を検出することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
8. 前記投影面は、所定の時間に所定位置に停止する移動体であり、
   前記検出部は、現在時刻を示す時刻情報と、前記移動体の運行情報と、前記移動体の属性を示す属性情報とを用いて、前記投影面の変化を検出することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 請求項１乃至８のいずれか一項に記載の画像処理装置と、
   前記投影像を前記投影面に投影する投影装置と、
   前記撮影像を撮影する撮影装置と、を含む画像投影システム。
10. 前記投影装置と前記投影面との間の距離を計測する測距装置をさらに含むことを特徴とする請求項９に記載の画像投影システム。
11. 入力画像に応じた投影像が投影された投影面の撮影像を用いて前記入力画像を補正する画像処理方法であって、
    補正パラメータ算出部が、前記入力画像と、前記撮影像と、前記入力画像と前記撮影像との間の画素位置の対応関係を示す対応点情報とに基づいて、前記投影面の反射特性に応じた補正パラメータを算出するステップと、
    補正部が、前記補正パラメータを用いて、前記入力画像の画素ごとの各色成分の輝度値を補正するステップと、
    検出部が、前記投影面の変化を検出するステップと、
    対応点情報生成部が、前記検出部が前記投影面の変化を検出した場合に、前記投影面が変化した後の前記撮影像と、前記入力画像とに基づいて、前記対応点情報を生成するステップと、を含み、
    前記補正パラメータ算出部は、前記検出部が前記投影面の変化を検出した場合に、前記入力画像と、前記投影面が変化した後の前記撮影像と、前記対応点情報生成部が生成した前記対応点情報とに基づいて、前記補正パラメータを算出することを特徴とする画像処理方法。
12. 入力画像に応じた投影像が投影された投影面の撮影像を用いて前記入力画像を補正するためのプログラムであって、
    コンピュータに、
    前記入力画像と、前記撮影像と、前記入力画像と前記撮影像との間の画素位置の対応関係を示す対応点情報とに基づいて、前記投影面の反射特性に応じた補正パラメータを算出する補正パラメータ算出部の機能と、
    前記補正パラメータを用いて、前記入力画像の画素ごとの各色成分の輝度値を補正する補正部の機能と、
    前記投影面の変化を検出する検出部の機能と、
    前記検出部が前記投影面の変化を検出した場合に、前記投影面が変化した後の前記撮影像と、前記入力画像とに基づいて、前記対応点情報を生成する対応点情報生成部の機能と、を実現させ、
    前記補正パラメータ算出部は、前記検出部が前記投影面の変化を検出した場合に、前記入力画像と、前記投影面が変化した後の前記撮影像と、前記対応点情報生成部が生成した前記対応点情報とに基づいて、前記補正パラメータを算出することを特徴とするプログラム。
13. 入力画像に応じた投影像が投影された投影面の撮影像を用いて前記入力画像を補正する画像処理装置であって、
    前記入力画像と、前記撮影像と、前記入力画像と前記撮影像との間の画素位置の対応関係を示す対応点情報とに基づいて、前記投影面の反射特性に応じた補正パラメータを算出する補正パラメータ算出部と、
    前記補正パラメータを用いて、前記入力画像の画素ごとの各色成分の輝度値を補正する補正部と、
    前記投影像を前記投影面に投影する投影装置と前記投影面との相対的な位置関係の変化を検出する検出部と、
    前記検出部が前記位置関係の変化を検出した場合に、前記位置関係が変化した後の前記撮影像と、前記入力画像とに基づいて、前記対応点情報を生成する対応点情報生成部と、
    前記検出部が前記位置関係の変化を検出した場合に、前記入力画像と、前記投影装置と前記投影面との間の距離を示す距離情報とに基づいて、前記位置関係が変化したことによる前記投影像の輝度変化を推定して輝度変化推定値を出力する輝度変化推定部と、を備え、
    前記補正パラメータ算出部は、前記検出部が前記位置関係の変化を検出した場合に、前記入力画像と、前記位置関係が変化した後の前記撮影像と、前記対応点情報生成部が生成した前記対応点情報と、前記輝度変化推定値とに基づいて、前記補正パラメータを算出することを特徴とする画像処理装置。

Images