JP2018164195A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】色柄付きや平面状でない被投影対象であっても、投影条件の変化に応じて良好な画像を投影装置で投影可能にする。【解決手段】画像処理装置は、入力画像を取得する入力部と、被投影対象に投影する投影部に投影画像を出力する画像出力部と、被投影対象の特徴を取得する特徴取得部と、特徴に応じて補正パラメータを決定し、入力画像を補正パラメータに基づいて補正し、投影画像を生成する補正制御部と、特徴に基づいて注目すべき注目特徴の領域を特定する特徴特定部と、被投影対象に投影された投影画像を撮像した撮像画像を取得する撮像画像取得部と、入力画像と撮像画像とを比較して、注目特徴の領域が所定量以上変化したかを判定し、所定量以上変化していると判定したとき、特徴取得部に被投影対象の特徴を取得させ、補正制御部に投影画像を生成させることを再決定する変化判定部と、を備える。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

プロジェクタ等の投影装置により鮮明な投影画像を得るためには、被投影対象と投影装置とを精度よく位置決めして設置する必要がある。例えば、特許文献１には、投影装置を一旦設置した後に再設置する際に従前の投影位置を再現するために投影画像を補正する技術が開示されている。

特開２０１６−１５６３９号公報

特許文献１に記載される技術では、被投影対象が壁面である場合を想定している。この技術は、凸凹やうねりがあったり色柄があったりするカーテンなどの被投影対象に画像が投影される場合を想定していない。

そこで、本発明は、色柄付きや平坦でない被投影対象であっても、投影条件の変化に応じて良好な画像を投影装置で投影可能な画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

本発明の一実施形態による画像処理装置は、入力画像を取得する入力部と、被投影対象に投影する投影部に投影画像を出力する画像出力部と、前記被投影対象の特徴を取得する特徴取得部と、前記特徴に応じて補正パラメータを決定し、前記入力画像を前記補正パラメータに基づいて補正し、前記投影画像を生成する補正制御部と、前記特徴に基づいて注目すべき注目特徴の領域を特定する特徴特定部と、前記被投影対象に投影された前記投影画像を撮像した撮像画像を取得する撮像画像取得部と、前記入力画像と前記撮像画像とを比較して、前記注目特徴の領域が所定量以上変化したかを判定し、所定量以上変化していると判定したとき、前記特徴取得部に前記被投影対象の特徴を取得させ、前記補正制御部に前記投影画像を生成させることを再決定する変化判定部と、を備える。

また、本発明の他の実施形態による画像処理方法は、入力画像を取得することと、被投影対象に投影する投影画像を出力することと、前記被投影対象の特徴を取得することと、前記特徴に応じて補正パラメータを決定し、前記入力画像を前記補正パラメータに基づいて補正し、前記投影画像を生成することと、前記特徴に基づいて注目すべき注目特徴の領域を特定することと、前記被投影対象に投影された前記投影画像を撮像した撮像画像を取得することと、前記入力画像と前記撮像画像とを比較して、前記注目特徴の領域が所定量以上変化したかを判定し、所定量以上変化していると判定したとき、前記被投影対象の特徴を取得して前記投影画像を生成することを再決定することと、を含む。

本発明のさらなる他の実施形態による画像処理プログラムは、入力画像を取得することと、被投影対象に投影する投影画像を出力することと、前記被投影対象の特徴を取得することと、前記特徴に応じて補正パラメータを決定し、前記入力画像を前記補正パラメータに基づいて補正し、前記投影画像を生成することと、前記特徴に基づいて注目すべき注目特徴の領域を特定することと、前記被投影対象に投影された前記投影画像を撮像した撮像画像を取得することと、前記入力画像と前記撮像画像とを比較して、前記注目特徴の領域が所定量以上変化したかを判定し、所定量以上変化していると判定したとき、前記被投影対象の特徴を取得して前記投影画像を生成することを再決定することと、をコンピュータに実行させる。

本発明によれば、色柄付きや平坦でない被投影対象であっても、投影条件の変化に応じて良好な画像を投影装置で投影可能な画像処理装置、画像処理方法、及び画像処理プログラムを提供することができる。

図１は、本発明の一実施形態による投影装置を含む投影システムの設置状態の一例を示す図である。 図２は、一実施形態による投影装置の構成の一例を示すブロック図である。 図３は、補正初期処理のフローの一例を示す図である。 図４は、再測定判定のフローの一例を示す図である。 図５Ａは、注目特徴を含む被投影対象のずれの一例を示す図である。 図５Ｂは、注目特徴を含む被投影対象のずれの一例を示す図である。 図６は、再測定のフローの一例を示す図である。

以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態における投影装置であるプロジェクタ１０を含む投影システム１の設置状態の一例を示す図である。プロジェクタ１０は、台２上に載置されている。プロジェクタ１０は、専用のスクリーンに代わるカーテン３に所望の画像を投影する。図１では、プロジェクタ１０は、カーテン３の正面に対してそれた位置、例えばカーテン３に向かって右側にずれた位置に配置されており、この位置からカーテン３に向かって画像を投影している。

カーテン３は、波状に折り畳むことが可能な一般的なものである。カーテン３は、被投影対象として使用するために引いて広げた状態であっても、主として横方向に沿ってその表面に大きなうねりを有している。したがって、プロジェクタ１０から画像が投影されるその投影域４も、カーテン３の表面形状に沿った不定形の形状を含んでいる。

また、カーテン３には色柄が付いている。図１には、カーテン３の色柄の一例として、丸い形状の模様４０が示されている。例えば、模様４０は、白色ではない単一色であり、カーテン３の模様４０以外の部分の色（地色）も、白色ではない単一色であり、模様４０の色とも異なる色である。本実施形態では、模様４０がカーテン３の投影域４に含まれている。

すなわち、本実施形態においてプロジェクタ１０から画像が投影される被投影対象としてのカーテン３は、色柄付きであり、平面状（平坦）でない。また、カーテン３は開閉可能であり、容易に移動されうる。

カーテン３の正面には鑑賞者１００用の椅子５が設置されている。また、この椅子５の位置には、鑑賞者１００の両眼の位置となるべく近接するように、三脚６に取り付けられた撮影装置としてのデジタルカメラ７が配置されている。すなわち、デジタルカメラ７は、鑑賞者１００から見えるカーテン３上の投影域４を認識可能な画角で配置されている。

デジタルカメラ７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル８によりプロジェクタ１０に有線接続されている。デジタルカメラ７は、ＵＳＢケーブル８を介してプロジェクタ１０から入力される制御信号に応じて、カーテン３上の投影域４を含む画像を撮影し、撮影により得られた画像データをＵＳＢケーブル８を介してプロジェクタ１０に送出する。あるいは、デジタルカメラ７とプロジェクタ１０とは、パーソナルコンピュータ等を介して接続されてもよく、また一体となっていてもよい。

図２は、本実施形態によるプロジェクタ１０の構成の一例を示すブロック図である。プロジェクタ１０は、入出力部１１を有している。入出力部１１は、例えばピンジャック（ＲＣＡ）タイプのビデオ入力端子、Ｄ−ｓｕｂ１５タイプのＲＧＢ入力端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子、ＵＳＢ端子などにより構成されている。

プロジェクタ１０は、投影画像処理部１２と、マイクロミラー素子１３と、光源１４と、ミラー１５と、投影レンズ１６とを有しており、これらは投影部１７を構成している。

入出力部１１に入力され、あるいはＵＳＢメモリに記憶されて選択的に読み出される、各種規格の画像信号は、入出力部１１で必要に応じてデジタル化された後に、バス３０を介して投影画像処理部１２に送出される。

光源１４は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の原色光を時分割で循環的に出射する。光源１４は、半導体発光素子であるＬＥＤを含み、Ｒ、Ｇ、Ｂの原色光を時分割で繰返し出射する。ＬＥＤは、広義のＬＥＤとして、ＬＤ（半導体レーザ）や有機ＥＬ素子を含むものとしてもよい。光源１４からの原色光が、ミラー１５で全反射してマイクロミラー素子１３に照射される。

投影画像処理部１２は、送出されてきた画像データに応じて、所定のフォーマットに従ったフレームレート、例えば入力される画像データのフレームレートが６０ｆｐｓであれば２倍の１２０ｆｐｓと色成分の分割数、及び表示階調数を乗算したより高速な時分割駆動で、マイクロミラー素子１３を駆動させる。マイクロミラー素子１３は、アレイ状に配列された数十万〜数百万の、例えば横１２８０画素×縦９６０画素分のマイクロミラーの各傾斜角度を個々に高速でオン／オフ動作することで、その反射光により光像を形成する。そして、形成された光像が投影レンズ１６を介し、外部に投影される。

プロジェクタ１０は、音声処理部１８と、スピーカ部１９とを有している。入出力部１１から入力される画像信号に音声信号が含まれていた場合、その音声信号は入出力部１１で画像信号から分離され、バス３０を介して音声処理部１８に送出される。音声処理部１８は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声信号をアナログ化し、スピーカ部１９を駆動して放音させ、あるいは必要に応じてビープ音等を発生させる。

プロジェクタ１０に含まれる上述の構成の各回路の動作をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０が制御する。ＣＰＵ２０は、メインメモリ２１及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）２２と接続される。メインメモリ２１は、例えばＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成され、ＣＰＵ２０のワークメモリとして機能する。ＳＳＤ２２は、電気的に書換可能な不揮発性メモリ、例えばフラッシュメモリで構成され、ＣＰＵ２０が実行する、後述する補正設定プログラム、再測定判定プログラムを含む各種動作プログラムや、ベースとなる画像上に重畳するＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）用画像等の各種定型データ等を記憶する。

ＣＰＵ２０は、ＳＳＤ２２に記憶されている動作プログラムや定型データ等を読み出し、メインメモリ２１に展開して記憶させた上で当該プログラムを実行することにより、プロジェクタ１０を統括して制御する。

ＣＰＵ２０は、バス３０を介して操作部２３からの操作信号に応じて各種投影動作を実行する。操作部２３は、プロジェクタ１０の本体に設けられた操作キー、あるいは図示しないこのプロジェクタ１０専用のリモートコントローラからの赤外線変調信号を受信する受信部を含む。操作部２３は、例えば、その受信部で操作信号を受信して、受信した操作信号に応じた信号をバス３０を介してＣＰＵ２０へ送出する。

ＣＰＵ２０は、バス３０を介して無線ＬＡＮインタフェイス（Ｉ／Ｆ）２４と接続されている。無線ＬＡＮインタフェイス２４は、無線ＬＡＮアンテナ２５を介して、例えばＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ｎ規格に則った無線通信接続により外部の機器とデータの送受を行う。

次に、本実施形態におけるプロジェクタ１０の動作の一例について説明する。本実施形態において、プロジェクタ１０は、画像処理装置を含み、投影条件の変化に応じて良好な画像を投影可能にする。

図３は、補正初期処理のフローの一例を示す図である。このフローは、ＣＰＵ２０がＳＳＤ２２の補正設定プログラムから読み出し、メインメモリ２１に展開して記憶させた上で実行する処理内容を示している。

ステップＳ１０１において、ＣＰＵ２０が、入出力部１１を介して、デジタルカメラ７に撮影指示をする。デジタルカメラ７は、撮影指示により、非投影時の投影域４を含むカーテン３の画像を撮影する。すなわち、デジタルカメラ７は、プロジェクタ１０による投影がされていない状態における投影域４を撮像する。

ステップＳ１０２において、ＣＰＵ２０は、撮像画像取得部として、デジタルカメラ７から、ステップＳ１０１で撮影した画像を取得する。ＣＰＵ２０は、入出力部１１を介して、デジタルカメラ７から送出される撮像画像データを取得する。

ステップＳ１０３において、ＣＰＵ２０は、プロジェクタ１０からの投影画像の色補正・形状補正を行うための初期測定を実行する。初期測定は、例えばユーザが操作部２３の操作キーを押すことにより開始する。

ここで、色補正とは、色付きの模様等の上に投影を行う場合にその模様の色を打ち消して、その模様の上であっても本来投影したい色、すなわち白色のスクリーンに投影したときの色を再現するためにする補正である。形状補正とは、うねりや凸凹のある被投影対象の上に投影を行う場合であっても投影画像が鑑賞者１００から歪みなく見えるようにするためにする幾何学的な補正である。

初期測定では、例えば、ＣＰＵ２０が、プロジェクタ１０にカーテン３の投影域４にグレイコードパターンを投影させる。そして、デジタルカメラ７が、ＣＰＵ２０からの撮影指示を受けてグレイコードパターンが投影された投影域４を撮影する。ＣＰＵ２０は、デジタルカメラ７が撮像した撮像画像データとプロジェクタ１０に入力された入力画像データとを取得して、撮像画像データの画素（カメラ画素）と入力画像データの画素（プロジェクタ画素）との対応関係を算出し、画素対応データを作成する。カメラ画素に対し、対応するプロジェクタ画素を求めるには、通常、対応するプロジェクタ画素の位置を大まかに測定した後、高精細な位置対応関係を求める。例えば、グレイコードによる２分検索で対応するプロジェクタ画素を絞っていき、ある程度絞ったら位相シフト法による高精度位置検出を行う。作成した画素対応データから、プロジェクタ１０がどの値の画素を出力するとデジタルカメラ７のどの値の画素で撮像されるかが特定される。

そして、色補正に関して、ＣＰＵ２０が、対応関係にあるカメラ画素とプロジェクタ画素とについて色補正を行うために必要なパラメータを算出する。例えば、プロジェクタ１０が、全面黒色画像及び全面白色画像をそれぞれ投影域４に投影する。そして、デジタルカメラ７が、黒色投影状態及び白色投影状態の投影域４を含む画像をそれぞれ撮影する。ＣＰＵ２０は、デジタルカメラ７が撮影した黒色画像データ及び白色画像データを取得する。ＣＰＵ２０は、上述の画素対応データ、取得した黒色画像データ及び白色画像データに基づいて色補正に必要なパラメータを投影域４の画素ごとに算出し、色補正パラメータデータを作成する。例えば、全面黒色画像及び全面白色画像に対応する各プロジェクタ画素の出力値を、カメラ画像が均一で正しい色になるようにフィードバックさせて、色補正パラメータデータを作成する。

また、形状補正に関して、ＣＰＵ２０が、画素対応データを用いて各画像データにメッシュを生成することによりこれらを対応付けし、画像出力部として投影部１７へ出力する出力画像データと入力画像データとの間で形状補正を行うために必要な変換パラメータを算出し、形状補正パラメータデータを作成する。

なお、上述の色補正・形状補正を行うための初期設定は一例であり、当業者に周知の種々の手法を用いることが可能である。

ステップＳ１０４において、ＣＰＵ２０は、ステップＳ１０３で取得した画素対応データ、色補正パラメータデータ、形状補正パラメータデータ等の初期測定値をＳＳＤ２２に記憶させる。

ステップＳ１０５において、ＣＰＵ２０は、ステップＳ１０３での初期測定結果を用いて、色補正・形状補正を実行する。

色補正を行う場合には、例えば、ＣＰＵ２０は、上述の画素対応データ及び色補正パラメータデータに基づいて、デジタルカメラ７で撮影された画像が均一な明るさで所望の色となるように、プロジェクタ１０からの各画素の出力値を変更させる。プロジェクタ１０の投影部１７は、色補正後の画像を投影域４に投影する。形状補正を行う場合にも、同様に、ＣＰＵ２０は、上述の画素対応データ及び形状補正パラメータデータに基づいて形状補正を行い、形状補正後の画像が投影域４に投影される。

ステップＳ１０６において、ＣＰＵ２０は、ステップＳ１０２で取得した撮像画像データから、あるいは、ステップＳ１０３で取得した形状補正パラメータデータなどの初期測定値から、投影域４に含まれる特徴を取得する。そして、特徴特定部として、取得した特徴のうち再測定のために注目すべき特徴（注目特徴）を特定する。ここで、投影域４に含まれる特徴とは、色柄に関する特徴（色柄特徴）と、うねり、凸凹、段差などの幾何学形状に関する特徴（形状特徴）とを含む。色柄特徴は、例えば、撮像画像データに含まれる投影域４の各画素の輝度情報、あるいは色補正パラメータデータから取得可能である。形状特徴は、例えば、形状補正パラメータデータから取得可能である。

すなわち、ＣＰＵ２０は、特徴取得部として、ステップＳ１０２において被投影対象であるカーテン３における投影域４内の特徴を取得する。また、補正制御部として、ステップＳ１０３において特徴に応じて補正パラメータを決定し、補正パラメータに基づいて、投影部１７へ出力する出力画像に補正を行う。さらに、特徴特定部として、特徴のうち再補正に関して注目すべき注目特徴を特定する。

ここで、注目特徴とは、プロジェクタ１０、カーテン３、あるいはデジタルカメラ７が移動してその相対位置が変化した場合に、初期測定に基づいて色補正・形状補正を行っていることに起因して投影画像の見た目への影響が大きく現れる特徴である。

例えば、色補正に関して、投影域４に単一色からなる模様４０が存在する場合において、カーテン３の地色が淡い色であり、模様４０が濃い色であるとする。この場合には、相対位置がわずかに変化しただけであっても、模様４０の色と地色との境目がずれれば、初期測定に基づく色補正の影響が強く現れうる。すなわち、模様４０の色を打ち消すための色補正に起因するエッジが見た目にきつく出てしまう。したがって、このような模様４０と地色との境目及びその周辺は、注目特徴とすべきである。

逆に、カーテン３の地色も模様４０の色も淡い色である場合には、相対位置がわずかにずれただけでは色補正の影響が見た目にさほど出ない。したがって、このような模様４０は、注目特徴としなくてよい。

また、例えば、模様４０が比視感度が高い色（例えば緑色）であれば、模様４０の色と地色との境目がわずかにずれただけでも色補正の影響が見た目に現れやすい。したがって、このような模様４０と地色との境目及びその周辺は、注目特徴とすべきである。

また、例えば、投影域４の左半分領域が白色、右半分領域が単一の濃い色であり、両領域間にくっきりと視認できる境目があるとすると、少しのずれであってもこの境目に発生するエッジはきつく、見た目の違和感が大きいものになる。すなわち、初期補正処理における色補正において濃い色を打ち消すような補正をしているため、少しのずれであってもエッジが強く現れてしまう。したがって、このような場合の境目及びその周辺は、注目特徴とすべきである。

逆に、例えば、投影域４の色が境目で２つに分かれていたとしても、一方がオレンジ色、他方が赤色、といったような互いに近しい色であれば、多少ずれても見た目の違和感は小さい。同様に、投影域４が色の境目がはっきりしないグラデーションを含む場合、例えば左側の青色系統から右側の赤色系統へと徐々に色が変化している場合など、境目がはっきりしていないものであれば、多少ずれても見た目の違和感は小さい。したがって、このような場合には、注目特徴は特定されない。

このように、色柄特徴に関する注目特徴は、色相、彩度、明度等を総合的に勘案して、例えば、色味の差を考えて設定される。例えば、明度に関して、画像の明るい部分は誤差が大きくなり、画像の暗い部分は誤差が小さくなる。よって、画像の暗い部分が注目特徴として特定される。

例えば、形状補正に関して、投影画像が部分的にかなり縮小しているところは極端な形状であると予想できるから、デジタルカメラ７で撮影した画像から間接的に形状のきつさを判別する。すなわち、入力画像データに対する撮像画像データの縮小度合いに基づいて形状特徴における注目特徴を特定する。特に、形状特徴が段差であれば、そこがほんの少しずれただけでもエッジが見た目にきつく出てしまうので、その段差部分及びその周辺を注目特徴とすべきである。

このように、形状特徴に関する注目特徴もまた、形状変化の激しさなどを総合的に勘案して設定される。

したがって、ステップＳ１０６では、ＣＰＵ２０は、色柄特徴に関しては、例えば、投影域４内の地色と模様の色との色味の差が大きい場合におけるその模様を注目特徴と判別して、その領域の位置座標を取得する。また、形状特徴に関しては、例えば、形状のうねりによる角度変化が大きい箇所を注目特徴として判別して、その領域の位置座標を取得する。

すなわち、本実施形態では、ステップＳ１０６において、ＣＰＵ２０は、特徴特定部として、プロジェクタ１０、カーテン３、あるいはデジタルカメラ７が移動してその相対位置が変化した場合に、初期測定に基づいて色補正・形状補正を行っていることに起因して投影画像の見た目への影響が大きく現れると予想される箇所を注目特徴として予め特定しておく。ステップＳ１０６の後、補正初期処理が終了する。

次に、上述の補正初期処理後にプロジェクタ１０が色補正・形状補正された入力画像を投影画像としてカーテン３の投影域４に投影しているあいだに随時行われる再測定判定について説明する。

図４は、再測定判定のフローの一例を示す図である。このフローもまた、ＣＰＵ２０がＳＳＤ２２の再測定判定プログラムから読み出し、メインメモリ２１に展開して記憶させた上で実行する処理内容を示している。

なお、以下の説明では、プロジェクタ１０の入出力部１１に入力される画像データを「入力画像データ」、プロジェクタ１０のＣＰＵ２０で補正設定プログラムにより補正され、投影部１７から被投影対象に投影される画像データを「補正画像データ」、被投影対象に投影された補正画像データに基づいて投影域４に投影された画像を「投影画像」、投影画像をデジタルカメラ７で撮影した画像を「撮像画像」、その画像データを「撮像画像データ」という。

ステップＳ２０１において、ＣＰＵ２０が自動的に、入出力部１１を介して、初期測定で用いたデジタルカメラ７に撮影指示をする。デジタルカメラ７は、撮影指示により、投影画像を撮影する。撮影指示の頻度は、再測定判定プログラムにおいて適宜設定可能である。本実施形態では、常にＣＰＵ２０が撮影指示を出しているものとする。

ステップＳ２０２において、ＣＰＵ２０は、撮像画像取得部として、デジタルカメラ７から、ステップＳ２０１の投影画像を撮像画像として取得する。ＣＰＵ２０は、入出力部１１を介して、デジタルカメラ７から送出される撮像画像データを取得する。

ステップＳ２０３において、ＣＰＵ２０は、ステップＳ２０２で取得した撮像画像データに歪曲補正、周辺光量の補正、色空間変換等を行った後、補正初期処理のステップＳ１０６で特定した注目特徴に基づいて、撮像画像データと入力画像データとを比較して、注目特徴の領域の変化量（ずれ量）を算出する。

ここで、補正初期処理に基づいてＣＰＵ２０が入力画像データを適切に補正し、補正画像データを生成し、投影部１７がこれに基づいた投影を行っていれば、撮像画像データと入力画像データとが一致するはずである。そうであれば、注目特徴の領域の変化量は０である。しかしながら、投影条件が変化していると、例えば、プロジェクタ１０、デジタルカメラ７、あるいはカーテン３が動いてこれらの相対位置が初期測定時から変化していたり、設定環境に変化があったりすると、注目特徴の領域の変化量が存在する。

ステップＳ２０４において、ＣＰＵ２０は、ステップＳ２０３で算出した注目特徴の領域の変化量が設定値を超えているか否かを判定する。すなわち、ＣＰＵ２０は、変化判定部として、投影部１７が入力画像データを補正した補正画像データを投影画像として投影しているとき、入力画像と投影画像とを比較して、注目特徴の領域が所定量以上変化したかを判定する。

本実施形態では、撮像画像データと入力画像データとを比較して差異が存在する場合に必ず再測定を行うのではなく、注目特徴の領域の変化量に閾値を設けて、変化量がその閾値を超えている場合（ステップＳ２０４−Ｙｅｓ）のみ、処理がステップＳ２０５に進み、再測定が行われる。すなわち、ＣＰＵ２０は、変化判定部として、注目特徴の領域が所定量以上変化していると判定したときのみ、補正パラメータを再決定する。ここで、変化量の閾値は、各注目特徴の色柄特徴や形状特徴に応じて、再測定判定プログラムにおいて注目特徴ごとに適宜設定される値である。

例えば、注目特徴（色柄特徴）である模様４０を含む投影域４がずれて、その模様４０の位置が図５Ａに破線で示される模様４０ａ及び投影域４ａのようになったとする。この場合、投影域４がずれていても模様４０ａのずれがほとんどないため、注目特徴の領域の変化量が小さい。したがって、このような場合には、ＣＰＵ２０は、注目特徴の領域の変化量が設定値を超えていないと判定して再測定を行わない。

一方、模様４０を含む投影域４がずれて、その模様４０の位置が図５Ｂに破線で示される模様４０ｂ及び投影域４ｂのようになったとする。この場合、投影域４のずれと共に模様４０ｂも比較的大きくずれており、注目特徴の領域の変化量が大きい。したがって、このような場合には、ＣＰＵ２０は、注目特徴の領域の変化量が設定値を超えていると判定し、再測定が行われる。

例えば、ＣＰＵ２０が入力画像と投影画像とを比較して色補正・形状補正のための再測定を実行するか否かを判定する場合において、比較する領域が狭いほどＣＰＵ２０での処理が軽くなる。つまり、ＣＰＵ２０が先に注目特徴の領域を特定してしまえば、画像全体を毎回調べるよりも負担が少ない。例えば注目特徴が色付きの丸い模様４０であるとき、模様の色と地色との境目の部分の数点における画素のみを注目特徴とすれば、再測定判定時の処理が軽くて済む。

このように、本実施形態では、上述の初期補正処理のステップＳ１０６において、ＣＰＵ２０は、投影域４に含まれる、再測定のために注目すべき特徴を、すなわち、鑑賞者に対して見た目の違和感が現れやすいと予想される部分を予め特定している。そして、ステップＳ２０４ではその注目特徴に着目し、その領域にずれが発生した場合にのみ、ＣＰＵ２０が補正のための再測定をやり直す。つまり、本実施形態では、エッジがきつくなる部分、うねりや凸凹がある幾何学形状部分にずれが発生したときのみ補正データを作り直す。

一方、ステップＳ２０４において、変化量が設定値を超えていない場合には（Ｎｏ）、処理はステップＳ２０１に戻り、ステップＳ２０１以降の処理が繰り返される。すなわち、プロジェクタ１０あるいはカーテン３上の投影域４の相対位置が初期設定時からずれていないとき、あるいは、ずれていたとしても変化量が閾値よりも小さい場合には、再測定は行われず、プロジェクタ１０が現在の色補正・形状補正処理のままで投影を続ける。

図６は、ステップＳ２０５でＣＰＵ２０が実行する再測定のフローの一例を示す図である。

ステップＳ３０１において、ＣＰＵ２０は、ステップＳ２０４で算出した変化量の大きさを判定する。補正初期処理のステップＳ１０３で述べたように、ＣＰＵ２０は、撮影画素に対し、対応する投影画素を求めるには、グレイコードによる２分検索で対応する投影画素を絞っていき、ある程度絞ったら位相シフト法による高精度位置対応検出を行う。再測定において、前回と投影条件の差が少ない場合には、２分検索のはじめのほうの大まかな位置測定は省略可能であり、後半のみ行えば足りる。さらに差が少なければ、２分検索が不要になり、位相シフト法だけで高精度に位置が特定できる。

したがって、ステップＳ３０１において、ＣＰＵ２０が注目特徴の領域の変化量が大きいと判定した場合には（ステップＳ３０１−大）、ステップＳ３０２に進む。そして、ＣＰＵ２０は、通常のグレイコードによる２分検索を実行する。すなわち、ステップＳ３０２において２分検索による大まかな位置測定（グレイコードによる２分検索の前半）が行われて、ステップＳ３０３において２分検索によるより検索範囲を絞り込んだ位置測定（グレイコードによる２分検索の後半）が行われる。その後、処理はステップＳ３０４に進む。

また、ＣＰＵ２０が注目特徴の領域の変化量が中程度であると判定した場合には（ステップＳ３０１−中）、処理はステップＳ３０３に進む。そして、グレイコードによる２分検索の後半のみを実行する。すなわち、ステップＳ３０２が省略されて、ステップＳ３０３において２分検索による検索範囲を絞り込んだ位置測定が行われる。その後、処理はステップＳ３０４に進む。

また、ＣＰＵ２０が注目特徴の領域の変化量が小さいと判定した場合には（ステップＳ３０１−小）、ＣＰＵ２０は２分検索を行うことなく、処理はステップＳ３０４に進む。すなわち、ステップＳ３０２、Ｓ３０３が省略される。

このように、ＣＰＵ２０は、注目特徴の領域の変化量に応じて、用いる計算アルゴリズムを選択する。これにより、大まかな位置測定を省略することが可能である。

ステップＳ３０４において、ＣＰＵ２０は、位相シフト法による高精度位置測定を実行する。これにより、カメラ画素とプロジェクタ画素との新たな位置対応関係が得られる。

ステップＳ３０５において、ＣＰＵ２０は、ステップＳ３０１で判定した変化量に基づいて、変化量が中程度もしくは大きいと判定した場合にはステップＳ３０６へ、変化量が小さいと判定した場合にはステップＳ３０７へと進む。

ステップＳ３０６において、ＣＰＵ２０は、色補正パラメータを作成するためのフィードバックの初期値を予め定められた所定の値に設定する。その後、ステップＳ３０８へ進み、設定されたフィードバックの初期値に基づいて、例えば、全面黒色画像及び全面白色画像に対応する各投影画素の出力値を、カメラ画像が均一で正しい色になるようにフィードバックさせて、色補正パラメータデータを作成する。

ステップＳ３０７では、ＣＰＵ２０は、色補正パラメータを作成するためのフィードバックの初期値として、前回の測定値（例えばステップＳ１０５で記憶した初期測定値）を設定する。その後、ステップＳ３０８へ進み、上記で述べたように色補正パラメータデータを作成する。この時、フィードバックの初期値を前回測定値とすることにより、前回測定結果から差が少ない場合にフィードバック回数が少なくて済む。

ステップＳ３０９において、ＣＰＵ２０は、ステップＳ３０１からＳ３０８で取得した測定値を記憶する。そして、ステップＳ３１０で、ＣＰＵ２０は、ステップＳ３０１からＳ３０８での測定結果に基づいて、色補正・形状補正を実行する。

以上説明したように、本実施形態では、プロジェクタ１０が専用のスクリーン以外の、色柄付きや平坦でない形状の被投影対象に画像を投影する場合に、まず、ＣＰＵ２０が、被投影対象の投影域４に存在する色柄や形状の情報を取得する。そして、ＣＰＵ２０が、既知の色補正・形状補正技術を用いて入力画像データを色補正・形状補正し、投影画像が所望の色補正・形状補正が施された画像となるようにして、プロジェクタ１０の投影部１７が補正画像データに基づく投影を行う。また、ＣＰＵ２０は、取得した投影域の色柄や形状の情報から、プロジェクタ１０、デジタルカメラ７、カーテン３の相対位置がわずかでもずれたときなどに画像品質に影響を及ぼしそうな注目特徴を特定しておく。

そして、ＣＰＵ２０が、補正画像データに基づく投影中に投影画像を撮像画像として取得し、入力画像データと撮像画像データとを比較する。ＣＰＵ２０は、注目特徴の領域の変化量が設定値を超えているときにのみ、投影条件の変化により投影画像に影響が現れると判定し、再測定を実行する。

例えば、注目特徴が色柄特徴である場合には、ＣＰＵ２０は、色補正パラメータに基づいて入力画像データと撮像画像データとを比較して、その領域の変化量が設定値を超えているときには色補正パラメータを再決定する。また、注目特徴が形状特徴である場合には、ＣＰＵ２０は、形状補正パラメータに基づいて入力画像データと撮像画像データとを比較して、その領域の変化量が設定値を超えているときには形状補正パラメータを再決定する。注目特徴が色柄特徴と形状特徴との両方を含む場合には、色補正パラメータ及び形状補正パラメータに基づいて入力画像データと撮像画像データとを比較して、その領域の変化量が設定値を超えているときには色補正パラメータ、又は形状補正パラメータ、あるいは両方を再決定する。

また、投影条件が変化して注目特徴の領域の変化量が設定値を超えている場合において、その変化量が小さい場合には、前回測定結果を利用して大まかな位置測定を省略する。また、色測定あるいは形状測定におけるフィードバックの初期値を前回測定結果とすることで、フィードバックの回数を減らす。

本実施形態によれば、投影条件が変化したときにＣＰＵ２０が注目特徴の領域の変化量に応じて再測定を行うことで、再測定の手間を小さくすることができる。特に、本実施形態のような、投影域の特徴を取得してその特徴に応じて投影画像データを補正するプロジェクタにおける色補正・形状補正のための測定は、通常この装置に搭載されるＣＰＵによれば数秒から数十秒の測定時間をかけて行われる。投影中に生じたずれにより再測定を行う場合に再びこのような測定時間をかけて測定を行うことは、時間の観点から好ましくないし、再測定時に再びグレイコードパターンを投影すると投影画像が途切れてしまうという観点からも好ましくない。したがって、ずれが生じたとしてもそれが見た目の違和感を伴わないものであれば、できる限り再測定をしないほうが望ましい。

本実施形態では、ずれによる見た目への影響が小さい場合には補正データを作り直さずそのまま投影を続け、影響がある程度大きい場合にのみ補正データを作り直す。したがって、上述のような測定時間の問題や投影画像が途切れる問題が生じることなく、投影条件の変化に対応して良好な画像を投影装置で投影可能な画像処理装置、画像処理方法、及び画像処理プログラムを提供することが可能となる。

なお、画像取得部、特徴取得部、補正制御部、特徴特定部、撮像画像取得部及び変化判定部としての機能がＣＰＵ２０で実現されるとして説明してきたが、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェア回路で実現されてもよい。

本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

以下に、本出願の出願当初の特許請求の範囲に記載された発明を付記する。
［１］入力画像を取得する入力部と、被投影対象に投影する投影部に投影画像を出力する画像出力部と、前記被投影対象の特徴を取得する特徴取得部と、前記特徴に応じて補正パラメータを決定し、前記入力画像を前記補正パラメータに基づいて補正し、前記投影画像を生成する補正制御部と、前記特徴に基づいて注目すべき注目特徴の領域を特定する特徴特定部と、前記被投影対象に投影された前記投影画像を撮像した撮像画像を取得する撮像画像取得部と、前記入力画像と前記撮像画像とを比較して、前記注目特徴の領域が所定量以上変化したかを判定し、所定量以上変化していると判定したとき、前記特徴取得部に前記被投影対象の特徴を取得させ、前記補正制御部に前記投影画像を生成させることを再決定する変化判定部と、を備える、画像処理装置。
［２］前記特徴は、色であり、前記特徴特定部は、前記色に基づいて前記注目特徴の領域を特定する、［１］に記載の画像処理装置。
［３］前記補正制御部が決定する前記補正パラメータは、色補正パラメータである、［２］に記載の画像処理装置。
［４］前記特徴は、形状であり、前記特徴特定部は、前記形状に基づいて前記注目特徴の領域を特定する、［１］ないし［３］のいずれか１に記載の画像処理装置。
［５］前記補正制御部が決定する前記補正パラメータは、形状補正パラメータである、［４］に記載の画像処理装置。
［６］前記補正制御部は、補正に必要な値を算出し、算出値に基づいて補正を行い、前記補正制御部は、補正を行う際に、前回補正を行ったときに用いた前記算出値を利用する、［１］乃至［５］のいずれか１に記載の画像処理装置。
［７］前記補正制御部は、前記注目特徴の領域の変化量に応じて、用いる計算アルゴリズムを選択する、［１］乃至［６］のいずれか１に記載の画像処理装置。
［８］入力画像を取得することと、被投影対象に投影する投影画像を出力することと、前記被投影対象の特徴を取得することと、前記特徴に応じて補正パラメータを決定し、前記入力画像を前記補正パラメータに基づいて補正し、前記投影画像を生成することと、前記特徴に基づいて注目すべき注目特徴の領域を特定することと、前記被投影対象に投影された前記投影画像を撮像した撮像画像を取得することと、前記入力画像と前記撮像画像とを比較して、前記注目特徴の領域が所定量以上変化したかを判定し、所定量以上変化していると判定したとき、前記被投影対象の特徴を取得して前記投影画像を生成することを再決定することと、を含む、画像処理方法。
［９］入力画像を取得することと、被投影対象に投影する投影画像を出力することと、前記被投影対象の特徴を取得することと、前記特徴に応じて補正パラメータを決定し、前記入力画像を前記補正パラメータに基づいて補正し、前記投影画像を生成することと、前記特徴に基づいて注目すべき注目特徴の領域を特定することと、前記被投影対象に投影された前記投影画像を撮像した撮像画像を取得することと、前記入力画像と前記撮像画像とを比較して、前記注目特徴の領域が所定量以上変化したかを判定し、所定量以上変化していると判定したとき、前記被投影対象の特徴を取得して前記投影画像を生成することを再決定することと、をコンピュータに実行させる画像処理プログラム。

１…投影システム、２…台、３…カーテン、４…投影域、５…椅子、６…三脚、７…デジタルカメラ、１０…プロジェクタ（投影装置）、１１…入出力部、１２…投影画像処理部、１３…マイクロミラー素子、１４…光源、１５…ミラー、１６…投影レンズ、１７…投影部、１８…音声処理部、１９…スピーカ部、２０…ＣＰＵ（画像出力部、特徴取得部、補正制御部、特徴特定部、撮像画像取得部、変化判定部）、２１…メインメモリ、２２…ＳＳＤ、２３…操作部、２４…無線ＬＡＮインタフェイス、２５…無線ＬＡＮアンテナ、３０…バス、１００…鑑賞者。

Claims (9)

1. 入力画像を取得する入力部と、
   被投影対象に投影する投影部に投影画像を出力する画像出力部と、
   前記被投影対象の特徴を取得する特徴取得部と、
   前記特徴に応じて補正パラメータを決定し、前記入力画像を前記補正パラメータに基づいて補正し、前記投影画像を生成する補正制御部と、
   前記特徴に基づいて注目すべき注目特徴の領域を特定する特徴特定部と、
   前記被投影対象に投影された前記投影画像を撮像した撮像画像を取得する撮像画像取得部と、
   前記入力画像と前記撮像画像とを比較して、前記注目特徴の領域が所定量以上変化したかを判定し、所定量以上変化していると判定したとき、前記特徴取得部に前記被投影対象の特徴を取得させ、前記補正制御部に前記投影画像を生成させることを再決定する変化判定部と、
   を備える、画像処理装置。
2. 前記特徴は、色であり、
   前記特徴特定部は、前記色に基づいて前記注目特徴の領域を特定する、請求項１に記載の画像処理装置。
3. 前記補正制御部が決定する前記補正パラメータは、色補正パラメータである、請求項２に記載の画像処理装置。
4. 前記特徴は、形状であり、
   前記特徴特定部は、前記形状に基づいて前記注目特徴の領域を特定する、請求項１ないし３のいずれか１に記載の画像処理装置。
5. 前記補正制御部が決定する前記補正パラメータは、形状補正パラメータである、請求項４に記載の画像処理装置。
6. 前記補正制御部は、補正に必要な値を算出し、算出値に基づいて補正を行い、
   前記補正制御部は、補正を行う際に、前回補正を行ったときに用いた前記算出値を利用する、請求項１乃至５のいずれか１に記載の画像処理装置。
7. 前記補正制御部は、前記注目特徴の領域の変化量に応じて、用いる計算アルゴリズムを選択する、請求項１乃至６のいずれか１に記載の画像処理装置。
8. 入力画像を取得することと、
   被投影対象に投影する投影画像を出力することと、
   前記被投影対象の特徴を取得することと、
   前記特徴に応じて補正パラメータを決定し、前記入力画像を前記補正パラメータに基づいて補正し、前記投影画像を生成することと、
   前記特徴に基づいて注目すべき注目特徴の領域を特定することと、
   前記被投影対象に投影された前記投影画像を撮像した撮像画像を取得することと、
   前記入力画像と前記撮像画像とを比較して、前記注目特徴の領域が所定量以上変化したかを判定し、所定量以上変化していると判定したとき、前記被投影対象の特徴を取得して前記投影画像を生成することを再決定することと、
   を含む、画像処理方法。
9. 入力画像を取得することと、
   被投影対象に投影する投影画像を出力することと、
   前記被投影対象の特徴を取得することと、
   前記特徴に応じて補正パラメータを決定し、前記入力画像を前記補正パラメータに基づいて補正し、前記投影画像を生成することと、
   前記特徴に基づいて注目すべき注目特徴の領域を特定することと、
   前記被投影対象に投影された前記投影画像を撮像した撮像画像を取得することと、
   前記入力画像と前記撮像画像とを比較して、前記注目特徴の領域が所定量以上変化したかを判定し、所定量以上変化していると判定したとき、前記被投影対象の特徴を取得して前記投影画像を生成することを再決定することと、
   をコンピュータに実行させる画像処理プログラム。