JP2020008645A - 投影装置、投影装置の制御方法およびプログラム - Google Patents

Abstract

【課題】経時的に変化する投影面に対して投影画像を投影する際に、投影画像の画質の低下を抑制する投影装置、投影装置の制御方法およびプログラムを提供する。【解決手段】投影面の動きに追従して投影画像を投影することが可能な投影装置は、投影面に投影画像を投影する投影光学手段と、投影面の状態を取得する取得手段と、取得手段が取得した投影面の状態に基づいて、投影面の経時的な変化量を算出する算出手段と、取得手段が取得した投影面の状態に基づいて、投影面の変化種別を判定する判定手段と、算出手段が算出した投影面の経時的な変化量と判定手段が判定した投影面の変化種別とに基づいて、画像処理補正と投影光学手段に対する光学補正とのうち何れを使用して投影画像を補正するか、または投影画像を補正しないかの補正制御を行う補正制御手段と、を備える。【選択図】図１

Description

本発明は、投影面の動きに追従した画像を投影することが可能な投影装置、投影装置の制御方法およびプログラムに関する。

建物等に映像を投影するプロジェクションマッピングが用いられている。プロジェクションマッピングは、実際に存在する物体と映像とを組み合わせて空間拡張現実を実現することを可能にしている。プロジェクションマッピングにおいては、映像を投影する対象である投影対象物は、常に静止しているとは限らず、動く場合があり、投影対象物が動くと、投影面にも動きを生じる。近年のプロジェクションマッピングは、投影面の動きに追従させた映像を、変化する投影面に投影することが可能になっている。

関連する技術として、例えば、高速度カメラと小さなミラーとを高速駆動させて実物体の動きを追従しながら投影する機構に関する技術が提案されている（非特許文献１を参照）。また、投影面の形状変化を補正するための技術が提案されている（特許文献１を参照）。特許文献１の技術では、補正前の画像の各画素に対応する補正前座標を記憶部に記憶し、補正前座標の近傍に位置する複数画素のデータを記憶部から抽出し、抽出したデータに基づいて加重平均を算出し、補正後画像の画素のデータを出力している。

特許第４６５７３６７号公報

奥村光平、奥寛雅、石川正俊、"高速光軸制御を用いた動的物体への投影型拡張現実感"、映像情報メディア学会誌、Ｖｏｌ．６７、Ｎｏ．７、ｐ．Ｊ２０４−Ｊ２１１、（２０１３）

例えば、投影面の動きが大きい場合、投影装置は、投影面の経時的変化に投影画像を追従させるため、投影画像の形状を高速に変換する処理を行う必要がある。投影画像の形状を高速に変換する処理として、ワーピング補正処理が用いられている。ワーピング補正処理は、座標変換等の演算処理を行うために、メモリに記憶されている画像データの各画素を読み出して補間演算等を行う。この場合、投影装置は、高速なワーピング補正処理を継続して実行するために、メモリに対してアクセスするデータ量が多くなり、メモリ帯域が不足することがある。メモリ帯域が不足すると、ワーピング補正処理を適正に行うことができなくなり、画像の解像度や画像の階調の低下を生じることに起因して、また画像データの画素間の補間に起因して、投影画像の画質が低下する。

本発明の目的は、経時的に変化する投影面に対して投影画像を投影する際に、投影画像の画質の低下を抑制する投影装置、投影装置の制御方法およびプログラムを提供することにある。

上記目的を達成するために、本発明の投影装置は、投影面の動きに追従して投影画像を投影することが可能な投影装置であって、前記投影面に前記投影画像を投影する投影光学手段と、前記投影面の状態を取得する取得手段と、前記取得手段が取得した前記投影面の状態に基づいて、前記投影面の経時的な変化量を算出する算出手段と、前記取得手段が取得した前記投影面の状態に基づいて、前記投影面の変化種別を判定する判定手段と、前記算出手段が算出した前記投影面の経時的な変化量と前記判定手段が判定した前記投影面の変化種別とに基づいて、画像処理補正と前記投影光学手段に対する光学補正とのうち何れを使用して前記投影画像を補正するか、または前記投影画像を補正しないかの補正制御を行う補正制御手段と、を備えることを特徴とする。

本発明によれば、経時的に変化する投影面に対して投影画像を投影する際に、投影画像の画質の低下を抑制するができる。

第１実施形態に係る投影装置の機能構成の一例を示す模式図である。 投影装置と投影面との関係を示す図である。 投影画像データと格子点との関係を説明する図である。 正規化した投影面情報について説明するための図である。 第１実施形態に係る補正処理ＬＵＴの一例を示す図である。 第１実施形態の処理の流れを示すフローチャートである。 第２実施形態に係る投影装置の機能構成の一例を示す模式図である。 第１実施形態に係る補正処理ＬＵＴの一例を示す図である。

以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。

＜第１実施形態＞
図１は、第１実施形態に係る投影装置１００の機能構成の一例を示す模式図である。投影装置１００は、その形状が経時的に変化する投影面に画像（投影画像）を投影する際、投影面の動きに応じて、光学補正と画像処理補正とを自動で切り換える。投影装置１００は、画像入力部１０１、変形部１０２、フレームメモリ１０３、格子点メモリ１０４、液晶パネル制御部１０５、液晶パネル１０６、光源制御部１０７および光源１０８を有する。また、投影装置１００は、投影光学系１０９、フォーカス調整部１１０、ズーム調整部１１１、レンズシフト調整部１１２および制御部１１３を有する。さらに、投影装置１００は、補正処理ＬＵＴ１１４、投影光学系制御部１１５、取得部１１６、算出部１１７、判定部１１８、およびＲＡＭ１１９を有する。図１の各機能ブロックは、制御バスを介して、制御部１１３と接続されているものとする。

図２は、投影装置１００と投影面２００との関係を示す図である。各実施形態では、投影面２００が動くことにより、投影面２００の形状は、経時的に任意の形状に変化することがあるものとする。例えば、投影面２００は、布状のスクリーンであり、投影装置１００は、投影面２００としての布状のスクリーンに投影画像を投影する。布状のスクリーンである投影面２００は、無風状態では静止しているが、風の影響等を受けると、その形状が変化する。投影面２００に対する風量または風向が変化すると、投影面２００は、風の影響を受けて、その形状がランダムに変化していく。また、例えば、投影面２００が固定のスクリーンであったとしても、操作者により、投影面２００自体が前後左右または奥行き方向に移動されることもある。投影面２００の形状が経時的に変化し、または投影面２００自体が移動すると、投影装置１００と投影面２００との相対位置関係が変化する。図２（ａ）は、投影面２００が静止している状態を示す。図２（ｂ）は、風の影響を受けて、投影面２００の形状が変化した状態を示す。

図１に示されるように、画像入力部１０１は、投影面２００に投影する画像データ（入力画像）の入力を受け付ける。入力画像は、ケーブルまたは無線を介して、パソコンやファイルサーバ、クラウドサーバ上のストレージ等から入力されてもよいし、画像入力部１０１が、外部装置から選択して取得してもよい。各実施形態では、入力画像は、静止画であるとして説明するが、入力画像は、動画であってもよい。画像入力部１０１は、入力画像を、投影画像データとして変形部１０２に出力する。

変形部１０２は、画像入力部１０１が出力した投影画像データに対して、取得部１１６が取得した投影面情報に応じて、投影面２００の形状変化等に追従するように台形補正（台形歪み補正）またはワーピング補正処理を行う。ただし、変形部１０２は、投影画像データに対して、補正処理を行わない場合もある。台形補正（第１画像処理補正）は、投影画像の台形歪みを補正する補正手法であり、例えば、投影画像データの四隅の点を使用して、投影画像の歪みを補正する。ワーピング補正処理（第２画像処理補正）は、任意の幾何学的な形状を補正する処理であり、投影画像の各種の形状の歪みを補正する処理である。ワーピング補正処理は、例えば、投影画像の一部の絞り込みや拡張等を行い、均等でない歪みを付与することで、投影画像の歪みを補正する手法である。変形部１０２は、台形補正またはワーピング補正処理を動的に実施することで、投影面２００の動きに追従して、投影画像を補正することができる。ワーピング補正処理は、台形補正よりも、処理量が多いため、処理速度も低速になる。

制御部１１３は、投影画像を格子状に区切ることにより形成される交差点（以下、格子点）を予め与え、移動先の座標を算出して格子点メモリ１０４に格納する。変形部１０２は、座標を変換する処理（座標変換処理）を行う際、格子点メモリ１０４に格納された各格子点の座標情報を参照して、内部の座標を補間計算によって算出する。補間計算については、後述する。また、変形部１０２は、投影画像データを格納するフレームメモリ１０３に接続されており、補間計算によって求められた座標のデータを用いて、フレームメモリ１０３から読み込まれた投影画像データに補間処理を行うことがある。制御部１１３は、補正制御手段に対応する。

フレームメモリ１０３は、例えば、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、投影画像データ等を格納している。フレームメモリ１０３には、ＳＤＲＡＭ以外のメモリが適用されてもよい。格子点メモリ１０４は、変形部１０２が投影画像データを変形処理する際に用いられる移動先の座標情報を格納している。移動先の座標情報は、制御部１１３により算出される。液晶パネル制御部１０５は、変形部１０２が変形した投影画像データに基づいて、液晶パネル１０６の透過率を変調するための電圧信号を生成する。液晶パネル１０６は、光源１０８が照射する光を、液晶パネル制御部１０５から入力される電圧信号に基づく透過率で透過させることで、投影画像データを投影面２００に投影する。これにより、投影面２００に投影画像が投影される。光源制御部１０７は、投影画像の画素値や、不図示の操作部を介したユーザ指定などに基づいて、光源１０８のオン／オフや、光量の制御等を行う。光源１０８は、ハロゲンランプやキセノンランプ、高圧水銀ランプ等であり、制御値に基づいて液晶パネル１０６に光を照射する。

投影光学系１０９は、投影レンズを含んでおり、投影レンズは、筒状の鏡筒内に、ズームレンズやフォーカスレンズなど複数のレンズが収容された組レンズとして構成される投影光学手段である。フォーカス調整部１１０は、投影レンズに含まれるフォーカスレンズを、これを支持するフォーカスリングの回転によって、光源光軸に直交する方向に移動させる（複数のレンズの相対位置を変更させる）ことにより、投影光学系１０９の焦点位置を調整する。ズーム調整部１１１は、投影レンズに含まれるズームレンズを、これを支持するズームリングの回転によって、光源光軸に平行な方向に移動させることにより、投影光学系１０９のズーム位置の調整を行う。レンズシフト調整部１１２は、投影レンズを光源光軸に直交する方向に移動させることによって、投影光学系１０９のシフト位置を調整する。光源光軸は、光源１０８から射出される光の中心軸を指し、液晶パネル１０６の有効表示領域（画像形成面）の中心を通る。上述した制御は、投影光学系制御部１１５からの指示に基づいて、行われる。

制御部１１３は、投影装置１００全体を制御する機能ブロックである。制御部１１３、変形部１０２、投影光学系制御部１１５、取得部１１６、算出部１１７および判定部１１８の機能は、１または複数のＣＰＵが、ＲＡＭ１１９に展開された制御プログラムを実行することにより実現されてもよい。制御部１１３は、取得部１１６が撮影した投影面２００の画像（以下、投影面画像とする）から格子点の移動先の座標を算出し、格子点メモリ１０４に書き込む。制御部１１３は、補正処理ＬＵＴ１１４に格納されている補正処理制御パラメータを読み出して、後述する変化種別と経時変化量とに基づいて、補正処理制御を決定する。制御部１１３は、投影画像データに対して、画像処理補正または投影光学系１０９を制御する投影光学系制御部１１５に対する補正（光学補正）のうち何れの補正を行うかを決定する。制御部１１３は、画像処理補正と光学補正との何れの補正も行わないと決定する場合もある。制御部１１３は、決定した内容に基づいて、補正制御を行う。

また、制御部１１３は、投影光学系制御部１１５が制御する投影光学系制御パラメータを決定する。投影光学系制御パラメータは、投影面２００の変化の種別を示す変化種別および投影面２００の経時的な変化量を示す経時変化量に基づいて、決定される。制御部１１３は、さらに、投影面情報が取得した投影面画像から算出される動きベクトルも考慮して、投影光学系制御パラメータを決定してもよい。制御部１１３は、決定した投影光学系制御パラメータを投影光学系制御部１１５に出力し、投影光学系制御部１１５は、投影光学系制御パラメータに基づいて、投影光学系１０９を制御する。

補正処理ＬＵＴ（Ｌｏｏｋｕｐ Ｔａｂｌｅ）１１４は、変化種別と経時変化量とに応じて、使用する補正処理制御を定義するテーブルである。補正処理ＬＵＴ１１４は、画像処理補正を行うか、光学補正を行うか、または何れの補正も行わないかを、補正処理制御として定義する。投影光学系制御部１１５は、制御部１１３からの指示に応じて、フォーカス調整部１１０、ズーム調整部１１１およびレンズシフト調整部１１２の制御を行う。取得部１１６は、投影面２００を検出するセンサであり、例えば、カメラで構成される。取得部１１６は、風等の影響により投影面２００の形状が変化した場合、投影面２００の形状の経時的な変化を検出することが可能である。各実施形態の取得部１１６は高速撮影可能なカメラであり、例えば、１０００ｆｐｓで撮影が可能なカメラとする。取得部１１６が取得した投影面２００の画像（投影面画像）は、制御部１１３、算出部１１７および判定部１１８へ出力される。

算出部１１７は、投影面２００の単位時間あたりの動きの変化量（経時変化量）を算出する算出手段である。詳細は後述する。算出部１１７は、算出した経時変化量を制御部１１３へ出力する。判定部１１８は、取得部１１６が撮影した投影面画像に基づいて、投影面２００の動きが、上下左右移動、奥行き移動、あおり角変化または投影光学系１０９では補正できない変化のうち何れの種別であるかを判定する判定手段である。判定された種別（変化種別）は、投影面２００の変化が、どのような変化であるかを示す。投影光学系１０９では補正できない変化は、光学系の補正または射影変換で補正できない変化、つまり投影面２００のランダムな変化（不定な変化）である。判定部１１８は、判定した変化種別を、制御部１１３へ出力する。変化種別は、上述した例には限定されない。

図３を参照して、投影画像データと格子点との関係について説明する。図３（ａ）は、投影画像データと格子点との関係を示す図である。例えば、投影画像３００は、横６×縦４の格子状に分割されることで、投影画像３００は、３５個の格子点を持つことになる。格子点の数は、３５個には限定されず、任意の数であってよい。図３（ｂ）および（ｃ）は、図２で示した投影面２００に不可視マーカを付加した図である。例えば、取得部１１６が赤外線カメラとしての機能を有している場合、当該赤外線カメラが不可視マーカを検出する。また、投影装置１００は、取得部１１６とは別に赤外線カメラを有していてもよい。不可視マーカは、図３（ｂ）および（ｃ）において、白丸で表される。不可視マーカはそれぞれ座標情報を持っており、不可視マーカ毎に形状や色が異なる。投影面２００が、図３（ｂ）の状態から図３（ｃ）の状態に変化した際、変形部１０２は、不可視マーカが移動した座標情報を取得する。変形部１０２は、取得した座標情報を格子点データとし、格子点間の座標や画素を補間することでワーピング補正処理を実現する。

算出部１１７は、単位時間あたり、例えば１秒間（期間Ｔとする）において、図３（ｂ）および（ｃ）のような、全ての不可視マーカのフレーム間の差分量を検出する。算出部１１７は、検出した１フレーム内の全ての差分量を加算し、例えば、ＲＡＭ１１９に、加算した差分量を、所定期間Ｔ（例えば、１秒）の間、蓄積していく。そして、算出部１１７は、蓄積された差分量（加算された差分量）に基づいて、差分統計量を算出する。また、算出部１１７は、１秒間（所定期間Ｔ）に１回、差分統計量から投影面情報を算出する。取得部１１６が１０００ｆｐｓのカメラである場合、１秒間に１０００回、加算された差分量が蓄積されていき、算出部１１７は、蓄積された差分量（加算された差分量）に基づいて、差分統計量を算出する。差分統計量が多ければ多いほど投影面２００の形状変化が大きかったこととなる。各実施形態では、算出部１１７は、差分統計量は「０」から「１００」の範囲で正規化し、投影面情報として制御部１１３へ出力するものとするが、正規化は行われなくてもよい。

図４は、算出部１１７が、正規化した投影面情報について説明するための図である。図４では、投影面２００の形状が変化したものを例として説明をする。図４（ａ）、図４（ｂ）および図４（ｃ）は、それぞれ、投影面２００の経時的な変化量（経時変化量）を表している。当該経時変化量は、算出部１１７の算出結果により得られる。図４（ａ）の投影面２００は、経時変化量が「０〜５」となっており、経時変化量は少ない。図４（ｂ）の投影面２００は、経時変化量が「６〜２５」となっており、経時変化量は中程度である。図４（ｃ）の投影面２００は、経時変化量が「２６〜１００」となっており、経時変化量は多い。図４の例では、３つのパターンの投影面２００を示したが、投影面２００のパターンは、３つのパターンには限定されない。また、経時変化量の値も、図４の値には限定されない。

判定部１１８は、単位時間当たりの不可視マーカの移動分布を検出し、その移動分布から投影面２００の変化種別が、「上下左右移動」、「奥行き移動」、「あおり角変化」または「その他」の何れであるかを判定する。「その他」は、投影面２００の経時的な変化が、光学系または射影変換で補正できない変形であることを示す。

図５のテーブルは、制御部１１３によって読み出される補正処理ＬＵＴ１１４であり、補正処理ＬＵＴ１１４は、経時変化量、変化種別および補正処理制御を示す補正処理制御パラメータの項目を有している。補正処理ＬＵＴ１１４における補正処理制御パラメータは、経時変化量および変化種別に対応して、使用（または適用）される補正手法を定義している。補正処理制御パラメータは、光学補正処理（図５では、投影光学系と表記）と画像処理補正（図５では、画像処理と表記）との２種類の項目を有する。光学補正処理は、フォーカスを制御する光学補正、またはレンズをシフトさせる光学補正である。画像処理補正は、台形補正処理またはワーピング補正処理である。光学補正処理および画像補正処理は、上述した補正処理以外の補正処理が適用されてもよい。

図５の補正処理ＬＵＴ１１４に示されるように、経時変化量の値が「２５」を閾値（第１閾値）として、制御が大きく分かれている。経時変化量の値が「２５」以下の場合は、主に投影光学系（フォーカス、ズームまたはレンズシフト）の補正が適用され、経時変化量の値が「２６」以上である場合、画像処理補正としてワーピング補正処理による補正を使用することが定義されている。また、補正処理ＬＵＴ１１４には、経時変化量の値が第１閾値より小さい第２閾値が定義されている。図５の例では、第２閾値は「６」である。経時変化量が「６〜２５」であり、且つ変化種別があおり角変化である場合には、補正処理制御パラメータとして台形補正処理を使用することが補正処理ＬＵＴ１１４に定義されている。以上のように、補正処理ＬＵＴ１１４は、経時変化量と変化種別とに応じて、使用される補正制御を定義している。

例えば、算出部１１７が算出した投影面２００の経時変化量が「５」であり、判定部１１８が判定した変化種別が「奥行き移動」であったとする。制御部１１３は、図５の補正処理ＬＵＴ１１４を読み出して、対応する補正処理制御パラメータが「フォーカス」であることを取得する。従って、制御部１１３は、使用する補正処理制御は、フォーカス調整部１１０に対するフォーカス制御であると決定し、投影光学系制御部１１５を介して、フォーカス調整部１１０に対して、フォーカスを調整する補正制御を行う。フォーカス調整が動的に行われることにより、投影面２００が経時的に奥行き方向に移動したとしても、投影光学系１０９は、投影面２００の動きに追従して、投影画像を投影面２００に投影することができる。経時変化量が「０〜５」であり、且つ変化種別が「上下左右移動」の場合には、制御部１１３は、レンズシフト調整部１１２に対して補正制御を行う。レンズシフトの補正が動的に行われることにより、投影面２００が経時的に上下左右の何れかの方向に移動した場合でも、投影面２００の動きに追従して、投影画像を投影面２００に投影することができる。なお、図５において、「フォーカス」がカッコ付きで「＋ズーム」と定義されているのは、例えば、投影面２００が奥行き移動しても、見た目の投影画像のサイズを変化させないように一定サイズで投影するためである。この場合、ズーム調整部１１１を制御した補正が行われる。

経時変化量が「０〜５」のように少ない場合、補正処理ＬＵＴ１１４は、補正処理制御パラメータとして、光学補正を定義し、画像処理補正を定義していない。従って、経時変化量が少ない場合（第２閾値以下の場合）、制御部１１３は、変形部１０２に、投影画像データに対して画像処理補正による変形処理をさせないように制御している。投影画像データに対して画像処理補正が施されると、投影面２００に投影された投影画像の画質は低下する。このため、補正処理ＬＵＴ１１４は、経時変化量が少ない場合には、画像処理補正は定義せず、光学補正を定義している。経時変化量が「５」以下であり、変化種別が「あおり角変化」または「その他」である場合、補正処理ＬＵＴ１１４は、補正処理制御を定義していない。従って、経時変化量が「０〜５」のように少なく、且つ変化種別が「あおり角変化」または「その他」である場合、制御部１１３は、投影面２００の動きに追従する補正制御は行わないと決定する。この場合、投影面２００の動きに追従する投影画像の補正は行われないが、投影画像データに対して画像処理補正が施されることに起因する、投影面２００に投影された投影画像の画質の低下を回避できる。つまり、投影面２００の動きに対する追従よりも、投影画質の低下の回避が優先される。

経時変化量が「６〜２５」のように中程度の場合、補正処理ＬＵＴ１１４は、基本的には、光学補正を使用するように定義するが、変化種別が「あおり角変化」である場合には、画像処理補正を使用するように定義する。台形補正処理は、ワーピング補正処理より、処理量が少なく、補正後の投影画像の画質も高い補正である。経時変化量が「６〜２５」のように中程度の場合、制御部１１３は、ワーピング補正処理による補正制御は使用しないが、台形補正による補正制御の使用は許容する。これにより、経時変化量が「６〜２５」のように中程度であり、且つ変化種別が「あおり角変化」である場合、制御部１１３は、台形補正処理を投影画像データに施させる制御を、変形部１０２に対して行う。投影画像データに対して台形補正処理が施されるため、投影面２００の動きに追従した補正を行うことが可能になる。上述したように、台形補正は、ワーピング補正処理より、処理量が少ないため、フレームメモリ１０３のメモリ帯域が不足することに起因する投影画像の画質の低下を抑制することができる。一方、ワーピング補正処理は、処理量が多く、フレームメモリ１０３のメモリ帯域が不足することに起因する投影画像の画質の低下が生じる。このため、経時変化量が「６〜２５」のように中程度の場合には、補正処理ＬＵＴ１１４は、変化種別が「その他」であったとしても、ワーピング補正処理を定義していない。これにより、ワーピング補正処理による画質の低下を回避できる。

経時変化量が「２６」以上のように大きい場合、投影面２００は大きく動いていることになる。この場合、投影面２００の動きに追従した投影画像の補正がされないと、投影面２００に投影されている投影画像の視認性に影響が与えられる。そこで、補正処理ＬＵＴ１１４は、経時変化量が「２６」以上のように大きい場合には、ワーピング補正処理のみを定義する。これにより、制御部１１３は、ワーピング補正処理により投影画像を補正すると決定する。そして、制御部１１３は、変形部１０２に、投影画像データに対してワーピング補正処理を施させる。投影画像データに対してワーピング補正処理が施されると、投影面２００の任意の動きに追従した投影画像を投影面２００に投影することができる。

ここで、投影光学系１０９の制御可能速度（動作可能速度）は、投影光学系１０９を駆動するアクチュエータの駆動速度に依存する。よって、アクチュエータを高速に駆動することができれば、投影光学系１０９で補正できる範囲が広がり、上述した第１閾値の値を大きくすることができる。つまり、アクチュエータの駆動速度（投影光学系１０９の動作速度）に応じて、第１閾値の値が決定される。アクチュエータの駆動速度が高速な場合、第１閾値を、例えば、上述した「２５」より大きい値とすることができる。第１閾値の値を大きくできると、光学補正を適用できる範囲が広がるため、画像処理補正が適用されなくとも、投影面２００の動きに追従した投影画像の補正を行う可能性が高くなる。

図５の補正処理ＬＵＴ１１４では、経時変化量が「０〜５」と「６〜２５」と「２６〜１００」との３つに分割されているが、経時変化量が「６〜２５」がなくてもよい。この場合、図５の補正処理ＬＵＴ１１４は、経時変化量が「０〜２５」と「２６〜１００」との２つに分割され、図５の補正処理ＬＵＴ１１４の経時変化量は、「０〜５」が「０〜２５」になる。従って、第１閾値を境にして、経時変化量が「２５」以下の場合、画像処理補正は行われず、光学補正が行われる。そして、経時変化量が「２５」を超えている場合、光学補正は行われず、画像処理補正（ワーピング補正処理）が行われる。つまり、経時変化量が第１閾値を境にして、画像処理補正と光学補正とが切り替えられる。補正処理ＬＵＴ１１４に、図５における経時変化量が「６〜２５」が定義されていない場合、台形補正は行われない。

次に、図６のフローチャートを参照して、第１実施形態の処理の流れについて説明する。図６のフローチャートの各処理は、主に制御部１１３によって行われる。制御部１１３が、取得部１１６に投影面画像を取得するよう制御し、取得部１１６は、投影面２００を撮影することで、投影面画像を取得する（ステップＳ７０１）。制御部１１３が算出部１１７に、投影面画像から期間Ｔにおける経時変化量を算出するよう制御することで、投影面２００の経時変化量が算出される（ステップＳ７０２）。制御部１１３が判定部１１８に、投影面画像から期間Ｔにおける変化種別を判定するよう制御することで、投影面２００の変化種別が判定される（ステップＳ７０３）。そして、制御部１１３は、補正処理ＬＵＴ１１４を読み出す（ステップＳ７０４）。

制御部１１３は、ステップＳ７０２で算出された経時変化量が、第２閾値（上述した例では「５」）以下であるかを判定する（ステップＳ７０５）。ステップＳ７０５でＹＥＳと判定された場合、制御部１１３は、ステップＳ７０３で判定された変化種別が「あおり角変化」または「その他」であるかを判定する（ステップＳ７０６）。ステップＳ７０６でＹＥＳと判定された場合、経時変化量が少なく、且つ変化種別が画像処理補正であるため、制御部１１３は、投影面２００に追従した投影画像データの補正制御を行わないと決定する。ステップＳ７０６でＮＯと判定された場合、制御部１１３は、補正処理ＬＵＴ１１４から、ステップＳ７０３で判定された変化種別に対応した補正処理制御パラメータを読み出す。この場合、読み出された補正処理制御パラメータは、「フォーカス」または「レンズシフト」といった光学補正である。制御部１１３は、投影光学系制御部１１５に、変化種別に応じた投影光学系１０９の補正制御を行わせる（ステップＳ７０７）。

ステップＳ７０５でＮＯと判定された場合、制御部１１３は、ステップＳ７０２で算出された経時変化量が、第２閾値（上述した例では「２５」）を超えているかを判定する（ステップＳ７０８）。ステップＳ７０８でＮＯと判定された場合、投影面２００の経時変化量は、中間程度（上述した例では、「６から２５」）である。この場合、制御部１１３は、変化種別が「あおり角変化」であるかを判定する（ステップＳ７０９）。ステップＳ７０９でＮＯと判定された場合、ステップＳ７０６の判定が行われる。ステップＳ７０９でＮＯと判定された場合、変化種別は「その他」になる。この場合、ステップＳ７０６でＮＯと判定される。つまり、経時変化量が中間程度であり、且つ変化種別が「その他」である場合、制御部１１３は、投影面２００に追従した投影画像データの補正制御を行わないと決定する。ステップＳ７０９でＹＥＳと判定された場合、制御部１１３は、変形部１０２に、投影画像データに対して台形補正処理を施させる制御を行う（ステップＳ７１０）。ステップＳ７０８でＹＥＳと判定された場合、投影面２００の経時変化量は大きい（上述した例では「２６」以上）。この場合、制御部１１３は、変形部１０２に、投影画像データに対してワーピング補正処理を施させる制御を行う（ステップＳ７１１）。

以上のように、投影画像を投影する投影面２００の動きの状態に応じて補正手法を切り換えるようにしたので、投影面２００自体の動きや形状変化が少ない場合には、投影装置１００は、画質を維持したまま投影することが可能になる。上述した例では、補正処理制御パラメータが補正処理ＬＵＴ１１４に格納されている例を説明したが、経時変化量と変化種別とに基づいて、決定タイミングごとに、制御部１１３が補正制御方法を決定してもよい。また、投影装置１００は、投影面２００の動きに応じた補正方法をメタデータとして受信する補正方法メタデータ受信部を備え、メタデータに応じて光学補正と画像処理による補正との何れを使用するか、または補正を行わないかを決定してもよい。

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態では、投影画像の特徴量に応じて、第１実施形態の第１閾値（光学補正を使用するか、または画像処理補正を使用するかを決定する際に用いられる閾値）が変更される。図７は、第２実施形態における投影装置１００の機能構成の一例を示す模式図である。図７に示されるように、投影装置１００は、統計量検出部８０１を有する。その他の各部は、第１実施形態と同様であるため、説明を省略する。なお、制御部８０２は、第１実施形態で説明した制御部１１３と処理内容が異なるため違う番号を付している。

統計量検出部８０１は画像入力部１０１が受け付けた投影画像データの特徴量を検出する。第２実施形態の統計量検出部８０１は、輝度統計量およびエッジ統計量をフレーム毎に検出する。輝度統計量は、画像入力部１０１が受け付けた投影画像データについての、階調毎の統計量である。例えば、階調が１０ビットで表現される場合、統計量検出部８０１は、輝度データ値の出現頻度を「０」から「１０２３」の階調毎にカウントし、１フレーム内の輝度分布を取得する。また、統計量検出部８０１は、投影画像のエッジを検出し、検出したエッジの画素をカウントして、エッジ統計量を検出する。輝度統計量からは投影画像の輝度分布が検出でき、エッジ統計量からは画像の周波数成分が検出できる。統計量検出部８０１は、輝度統計量およびエッジ統計量を制御部８０２に出力する。

制御部８０２は、統計量検出部７０１が出力した輝度統計量およびエッジ統計量に基づいて、投影画像データの特徴量を検出する。制御部８０２は、輝度統計量とエッジ統計量とのそれぞれについて、予め決定されている閾値と比較することによって、投影画像データが多階調の画像であるか、および高精細の画像であるかを判定する。投影画像データが、多階調の画像データであると判定される場合は、輝度統計量から得られる輝度分布が「０から１０２３」階調において、ある程度の度数が広い階調範囲で存在する場合である。投影画像データが、高精細の画像と判定される場合は、エッジ統計量が閾値以上である場合である。

図８を参照して、統計量検出部７０１に基づいて、制御部８０２が補正処理ＬＵＴ１１４について、上述した第１閾値を変更する例について説明する。制御部８０２は、投影画像データの輝度統計量およびエッジ統計量に基づいて、投影画像データが、多階調であるか、または高精細な画像データであると判定した場合、第１閾値を大きくする。図８の例の場合、第１閾値の値は、「２５」から「５０」に対してオフセットする変更が行われている。特徴量としての輝度統計量が大きい場合、投影面２００への追従性が低くなったとしても、光学補正が優先されるため、画質の低下が抑制される。同様に、特徴量としてのエッジ統計量が大きい場合、投影面２００への追従性が低くなったとしても、光学補正が優先されるため、画質の低下が抑制される。上述した例では、制御部８０２は、経時変化量の第１閾値をオフセットする変更を行っていたが、例えば、図５および図８の２種類の補正処理ＬＵＴ１１４が投影装置１００に格納されていてもよい。この場合、制御部８０２は、２種類の補正処理ＬＵＴ１１４のうち何れかを読み出すことで、使用する補正処理ＬＵＴ１１４を切り替える。補正処理ＬＵＴ１１４の切り替えは、上述した例には限定されない。

制御部８０２は、投影画像データが、多階調、または高精細として判定した場合、図８の補正処理ＬＵＴ１１４を読み出す。図８のテーブルでは、第１閾値が「５０」である。このため、第１実施形態と比較して、経時変化量がある程度大きくなったとしても、ワーピング補正処理が適用される状況を少なくすることができ、光学補正処理が適用される状況を多くすることができる。以上のように、投影画像データの特徴量に応じて、補正制御を切り換えることで、ある程度、投影面２００への追従性を犠牲にしても、高画質な画像を投影することが可能になる。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 投影装置
１０２ 変形部
１１３ 制御部
１１４ 補正処理ＬＵＴ
１１５ 投影光学系制御部
１１６ 取得部
１１７ 算出部
１１８ 判定部
８０１ 統計量検出部

Claims (11)

1. 投影面の動きに追従して投影画像を投影することが可能な投影装置であって、
   前記投影面に前記投影画像を投影する投影光学手段と、
   前記投影面の状態を取得する取得手段と、
   前記取得手段が取得した前記投影面の状態に基づいて、前記投影面の経時的な変化量を算出する算出手段と、
   前記取得手段が取得した前記投影面の状態に基づいて、前記投影面の変化種別を判定する判定手段と、
   前記算出手段が算出した前記投影面の経時的な変化量と前記判定手段が判定した前記投影面の変化種別とに基づいて、画像処理補正と前記投影光学手段に対する光学補正とのうち何れを使用して前記投影画像を補正するか、または前記投影画像を補正しないかの補正制御を行う補正制御手段と、
   を備えることを特徴とする投影装置。
2. 前記補正制御手段は、前記投影面の経時的な変化量が第１閾値以下の場合、前記投影光学手段に対する前記投影面の変化種別に応じた光学補正を使用した補正制御を行うか、または前記投影画像を補正しないと決定する、
   を特徴とする請求項１記載の投影装置。
3. 前記補正制御手段は、前記投影面の経時的な変化量が前記第１閾値以下であり、且つ前記変化種別が前記投影光学手段に対する光学補正で前記投影面の動きに追従した補正ができない変化であることを示す場合、前記投影画像を補正しないと決定する、
   ことを特徴とする請求項２記載の投影装置。
4. 前記補正制御手段は、前記投影面の経時的な変化量が前記第１閾値を超えており、且つ前記第１閾値より大きい第２閾値以下の場合、前記投影面の変化種別に応じて、前記投影画像に対して、第１画像処理補正を使用した補正制御を行うか、または前記投影光学手段に対する光学補正を使用した補正制御を行う、
   ことを特徴とする請求項２または３記載の投影装置。
5. 前記補正制御手段は、前記投影面の経時的な変化量が前記第２閾値を超えている場合、前記投影画像に対して、前記第１画像処理補正より処理量が多い第２画像処理補正を使用した補正制御を行う、
   ことを特徴とする請求項４記載の投影装置。
6. 前記第１画像処理補正は、台形歪みの画像補正であり、前記第２画像処理補正は、前記投影光学手段に対する光学補正で前記投影面の動きに追従した補正ができない画像補正であること、
   を特徴とする請求項５記載の投影装置。
7. 前記第１閾値は、前記投影光学手段の動作可能速度に応じた値であること、
   を特徴とする請求項２乃至５のうち何れか１項に記載の投影装置。
8. 前記投影画像の特徴量を抽出する抽出手段、
   を備え、
   前記補正制御手段は、抽出された前記特徴量に基づいて、前記第１閾値を決定する、
   ことを特徴とする請求項２乃至６のうち何れか１項に記載の投影装置。
9. 前記第１閾値は、抽出された前記特徴量が大きくなるに応じて、大きくなる、
   ことを特徴とする請求項８記載の投影装置。
10. 投影面の動きに追従して投影画像を投影することが可能な投影装置の制御方法であって、
    投影光学手段に、前記投影面に前記投影画像を投影させる工程と、
    前記投影面の状態を取得する工程と、
    取得された前記投影面の状態に基づいて、前記投影面の経時的な変化量を算出する工程と、
    取得された前記投影面の状態に基づいて、前記投影面の変化種別を判定する工程と、
    算出された前記投影面の経時的な変化量と判定された前記投影面の変化種別とに基づいて、前記投影画像に対する画像処理補正と前記投影光学手段に対する光学補正とのうち何れを使用するか、または前記投影画像を補正しないかを決定する工程と、
    を有することを特徴とする投影装置の制御方法。
11. 請求項１０記載の投影装置の制御方法をコンピュータに実行させるためのプログラム。

Images