JP2005341139A - 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 - Google Patents

Abstract

【課題】 撮像画像に含まれる外光の影響を抑制して撮像画像内の所定の領域を適切に検出することが可能な画像処理システム等を提供すること。
【解決手段】 全白画像および全黒画像をスクリーンへ向け投写する投写部１９０と、全白画像を撮像して第１の撮像情報を生成するとともに、全黒画像を撮像して第２の撮像情報を生成するセンサーと、第１および第２の撮像情報に基づき、差分画像を生成する差分画像生成部１６０と、外光影響除去部１７０と、外光影響が除去された差分画像に基づき、センサー６０の撮像領域におけるスクリーンに相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出部１８０とをプロジェクタに設ける。
【選択図】 図２

Description

本発明は、撮像情報に基づいて所定の領域を検出する画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法に関する。

近年、ＣＣＤカメラを有するプロジェクタを用いてスクリーン等の投写対象物に画像を投写し、投写された投写画像をＣＣＤカメラで撮像して撮像領域内の投写領域の４隅の座標を検出することにより、投写画像の位置を調整することが提案されている。

このような場合、例えば、ブラインドから差し込む日光のように、強烈なコントラストの生じる外光がスクリーンに映り込むことにより、エッジ検出や形状検出の際に当該外光をエッジや形状の一部として判定されてしまう問題がある。

このような問題に対し、例えば、特許文献１では、撮像画像に生じる外光成分による影響を除去する画像処理装置が提案されている。
特開２００１−２６８３２６号公報

しかし、特許文献１の画像処理装置のように、一般的な差分画像を用いる手法では、強烈なコントラストの生じる外光の影響を除去することはできない。これは、投写光に外光の影響が加わることにより、撮像画像に飽和が生じてしまうからである。

また、特許文献１の画像処理装置は、エッジ検出後に、そのエッジの近傍等の外光情報に基づいて外光の影響を除去しようとしている。しかし、強烈なコントラストの生じる外光の場合、当該外光によるエッジ部分は、当該エッジ部分の近傍の部分との差異が大きいため、当該手法では外光の影響を適切に除去することはできない。

さらに、特許文献１の画像処理装置は、露光量を取得して処理を行っているが、露光量は画像全体の平均的な明るさに基づいて決定されるため、外光によって画像の一部に強烈なコントラストが生じている場合の影響を適切に判定することはできない。

また、プロジェクタが、スクリーン等に画像を投写する場合、外光の影響を受ける場合であっても、投写画像とスクリーンとの包含関係に関わらず、投写画像の歪みの補正等を行えることが好ましい。

本発明は、上記の課題に鑑みなされたものであり、その目的は、撮像画像に含まれる外光の影響を抑制して撮像画像内の所定の領域を適切に検出することが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにある。

上記課題を解決するため、本発明に係る画像処理システムおよびプロジェクタは、第１のキャリブレーション画像または面状の光および第２のキャリブレーション画像または面状の光を投写対象物へ向け投写する投写手段と、
前記第１のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第１の撮像情報を生成するとともに、前記第２のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第２の撮像情報を生成する撮像手段と、
前記第１の撮像情報で表される第１の撮像画像と、前記第２の撮像情報で表される第２の撮像画像との第１の差分画像を生成する差分画像生成手段と、
前記第１または第２の撮像情報に所定値以上の明るさ指標値を有する画素領域がある場合、前記第１の差分画像における当該画素領域の明るさ指標値を、前記第１の差分画像における当該画素領域近傍の明るさ指標値に置換する処理またはエッジ検出処理が行われないように前記第１の差分画像における当該画素領域の明るさ指標値として特殊値を設定する処理を実行する外光影響除去手段と、
前記外光影響除去手段による処理後の第１の差分画像に基づき、エッジ検出処理を行うことにより、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段と、
を含むことを特徴とする。

また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
第１のキャリブレーション画像または面状の光および第２のキャリブレーション画像または面状の光を投写対象物へ向け投写する投写手段と、
前記第１のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第１の撮像情報を生成するとともに、前記第２のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第２の撮像情報を生成する撮像手段と、
前記第１の撮像情報で表される第１の撮像画像と、前記第２の撮像情報で表される第２の撮像画像との第１の差分画像を生成する差分画像生成手段と、
前記第１または第２の撮像情報に所定値以上の明るさ指標値を有する画素領域がある場合、前記第１の差分画像における当該画素領域の明るさ指標値を、前記第１の差分画像における当該画素領域近傍の明るさ指標値に置換する処理またはエッジ検出処理が行われないように前記第１の差分画像における当該画素領域の明るさ指標値として特殊値を設定する処理を実行する外光影響除去手段と、
前記外光影響除去手段による処理後の第１の差分画像に基づき、エッジ検出処理を行うことにより、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段として機能させることを特徴とする。

また、本発明に係る画像処理方法は、第１のキャリブレーション画像または面状の光を投写対象物へ向け投写し、
前記第１のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第１の撮像情報を生成し、
第２のキャリブレーション画像または面状の光を前記投写対象物へ向け投写し、
前記第２のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第２の撮像情報を生成し、
前記第１の撮像情報で表される第１の撮像画像と、前記第２の撮像情報で表される第２の撮像画像との第１の差分画像を生成し、
前記第１または第２の撮像情報に所定値以上の明るさ指標値を有する画素領域がある場合、前記第１の差分画像における当該画素領域の明るさ指標値を、前記第１の差分画像における当該画素領域近傍の明るさ指標値に置換する処理またはエッジ検出処理が行われないように前記第１の差分画像における当該画素領域の明るさ指標値として特殊値を設定する処理を実行し、
当該処理後の第１の差分画像に基づき、エッジ検出処理を行うことにより、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成することを特徴とする。

また、本発明に係る画像処理システムおよびプロジェクタは、第１のキャリブレーション画像または面状の光を投写対象物へ向け投写する投写手段と、
前記第１のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第１の撮像情報を生成するとともに、非投写時の前記投写対象物を撮像して第２の撮像情報を生成する撮像手段と、
前記第１の撮像情報で表される第１の撮像画像と、前記第２の撮像情報で表される第２の撮像画像との第１の差分画像を生成する差分画像生成手段と、
前記第１または第２の撮像情報に所定値以上の明るさ指標値を有する画素領域がある場合、前記第１の差分画像における当該画素領域の明るさ指標値を、前記第１の差分画像における当該画素領域近傍の明るさ指標値に置換する処理またはエッジ検出処理が行われないように前記第１の差分画像における当該画素領域の明るさ指標値として特殊値を設定する処理を実行する外光影響除去手段と、
前記外光影響除去手段による処理後の第１の差分画像に基づき、エッジ検出処理を行うことにより、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段と、
を含むことを特徴とする。

また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
第１のキャリブレーション画像または面状の光を投写対象物へ向け投写する投写手段と、
前記第１のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第１の撮像情報を生成するとともに、非投写時の前記投写対象物を撮像して第２の撮像情報を生成する撮像手段と、
前記第１の撮像情報で表される第１の撮像画像と、前記第２の撮像情報で表される第２の撮像画像との第１の差分画像を生成する差分画像生成手段と、
前記第１または第２の撮像情報に所定値以上の明るさ指標値を有する画素領域がある場合、前記第１の差分画像における当該画素領域の明るさ指標値を、前記第１の差分画像における当該画素領域近傍の明るさ指標値に置換する処理またはエッジ検出処理が行われないように前記第１の差分画像における当該画素領域の明るさ指標値として特殊値を設定する処理を実行する外光影響除去手段と、
前記外光影響除去手段による処理後の第１の差分画像に基づき、エッジ検出処理を行うことにより、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段として機能させることを特徴とする。

また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
上記のいずれかのプログラムを記憶したことを特徴とする。

また、本発明に係る画像処理方法は、第１のキャリブレーション画像または面状の光を投写対象物へ向け投写し、
前記第１のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第１の撮像情報を生成し、
非投写時の前記投写対象物を撮像して第２の撮像情報を生成し、
前記第１の撮像情報で表される第１の撮像画像と、前記第２の撮像情報で表される第２の撮像画像との第１の差分画像を生成し、
前記第１または第２の撮像情報に所定値以上の明るさ指標値を有する画素領域がある場合、前記第１の差分画像における当該画素領域の明るさ指標値を、前記第１の差分画像における当該画素領域近傍の明るさ指標値に置換する処理またはエッジ検出処理が行われないように前記第１の差分画像における当該画素領域の明るさ指標値として特殊値を設定する処理を実行し、
当該処理後の第１の差分画像に基づき、エッジ検出処理を行うことにより、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成することを特徴とする。

本発明によれば、画像処理システム等は、外光影響除去のための処理を実行することにより、強烈なコントラストの生じる外光の影響を除去した状態で撮像画像内の投写対象領域を適切に検出することができる。

また、本発明によれば、画像処理システム等は、外光影響を除去した差分画像に対してエッジ検出等を行って投写対象領域を検出することにより、投写対象領域をより高精度に検出することができる。

なお、前記第１のキャリブレーション画像は、全面白色の画像であって、前記第２のキャリブレーション画像は、全面黒色の画像であってもよい。

また、前記明るさ指標値としては、例えば、輝度値、ＲＧＢ信号値等の明るさの指標となる値が該当する。

また、前記第１のキャリブレーション画像または面状の光と、前記第２のキャリブレーション画像または面状の光との差分画像は、高周波成分を含まない画像であってもよい。

これによれば、画像処理システム等は、誤検出の少ない高精度な領域検出を行うことができる。

また、前記画像処理システムおよび前記プロジェクタは、前記撮像手段の撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域検出手段を含み、
前記投写手段は、第３のキャリブレーション画像を前記投写対象物へ向け投写し、
前記撮像手段は、前記第３のキャリブレーション画像が投写された前記投写対象物を撮像して第３の撮像情報を生成し、
前記差分画像生成手段は、前記第１の撮像画像と、前記第３の撮像情報で表される第３の撮像画像との第２の差分画像を生成し、
前記第２の差分画像は、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる明るさ指標値を有し、
前記投写領域検出手段は、
前記第２の差分画像に基づき、前記撮像手段の撮像領域における前記中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域情報を生成する投写領域情報生成手段と、
を含んでもよい。

また、前記プログラムおよび前記情報記憶媒体は、前記コンピュータを、前記撮像手段の撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域検出手段として機能させ、
前記投写手段は、第３のキャリブレーション画像を前記投写対象物へ向け投写し、
前記撮像手段は、前記第３のキャリブレーション画像が投写された前記投写対象物を撮像して第３の撮像情報を生成し、
前記差分画像生成手段は、前記第１の撮像画像と、前記第３の撮像情報で表される第３の撮像画像との第２の差分画像を生成し、
前記第２の差分画像は、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる明るさ指標値を有し、
前記投写領域検出手段は、
前記第２の差分画像に基づき、前記撮像手段の撮像領域における前記中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域情報を生成する投写領域情報生成手段と、
を含んでもよい。

また、前記画像処理方法は、第３のキャリブレーション画像を前記投写対象物へ向け投写し、
前記第３のキャリブレーション画像が投写された前記投写対象物を撮像して第３の撮像情報を生成し、
前記第１の撮像画像と、前記第３の撮像情報で表される第３の撮像画像との第２の差分画像を生成し、
前記第２の差分画像は、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる明るさ指標値を有し、
前記第２の差分画像に基づき、撮像領域における前記中央ブロック領域の複数の中央基準位置を検出し、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出し、
前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成してもよい。

これによれば、画像処理システム等は、第２の差分画像を用いることにより、投写画像の一部（例えば、周辺部分等）が投写対象物からはみ出している場合であっても、投写領域を適切に検出することができる。

また、前記画像処理システムおよび前記プロジェクタは、前記投写対象領域情報と、前記投写領域情報とに基づき、画像の歪みを補正する画像歪み補正手段を含み、
前記投写手段は、前記画像歪み補正手段によって補正された画像を前記投写対象物へ向け投写してもよい。

また、前記プログラムおよび前記情報記憶媒体は、前記コンピュータを、前記投写対象領域情報と、前記投写領域情報とに基づき、画像の歪みを補正する画像歪み補正手段として機能させ、
前記投写手段は、前記画像歪み補正手段によって補正された画像を前記投写対象物へ向け投写してもよい。

また、前記画像処理方法は、前記投写対象領域情報と、前記投写領域情報とに基づき、画像の歪みを補正し、
補正した画像を前記投写対象物へ向け投写してもよい。

これによれば、画像処理システム等は、外光の影響がある場合であっても、適切に画像の歪みを補正することができる。

また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記撮像手段の撮像領域において、前記撮像手段は、自動露出で撮像することにより前記第１の撮像情報を生成し、当該自動露出で決定された露出で撮像することにより前記第２の撮像情報を生成してもよい。

また、前記画像処理方法は、自動露出で撮像することにより前記第１の撮像情報を生成し、当該自動露出で決定された露出で撮像することにより前記第２の撮像情報を生成してもよい。

これによれば、画像処理システム等は、同じ露出で撮像された撮像情報の差分画像を用いることにより、より高速かつ低負荷で外光の影響を除去することができる。

以下、本発明を、画像処理システムを有するプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。

（システム全体の説明）
図１は、本実施形態の一例に係る画像投写状況を示す概略図である。

プロジェクタ２０は、投写対象物の一種であるスクリーン１０へ向け画像を投写する。これにより、スクリーン１０には、投写画像１２が表示される。なお、本実施例では、図１に示すように、スクリーン１０の一部に外光８０（例えば、ブラインドの隙間からの日光等）によるスポット光８２が表示され、投写画像１２の周辺部分がスクリーン１０からはみ出している状態を例に採り説明する。

また、プロジェクタ２０は、撮像手段であるセンサー６０を有する。センサー６０は、投写画像１２が表示されたスクリーン１０を、撮像面を介して撮像し、撮像情報を生成する。プロジェクタ２０は、撮像情報に基づき、スクリーン１０と投写画像１２との位置関係や投写画像１２の形状を把握し、投写画像１２の歪みや表示位置の調整を行う。

また、プロジェクタ２０は、従来とは異なる画像処理を実行することにより、より短時間で、かつ、正確にセンサー６０の撮像領域内における投写対象領域（スクリーン１０に相当する領域）と、投写領域（投写画像１２に相当する領域）の位置情報を生成する。

また、プロジェクタ２０は、撮像画像に含まれる外光８０の影響を除去することにより、投写対象領域等をより正確に検出する。

次に、このような機能を実装するためのプロジェクタ２０の機能ブロックについて説明する。

図２は、本実施形態の一例に係るプロジェクタ２０の機能ブロック図である。

プロジェクタ２０は、ＰＣ（Personal Computer）等からのアナログＲＧＢ信号（Ｒ１、Ｇ１、Ｂ１）をデジタルＲＧＢ信号（Ｒ２、Ｇ２、Ｂ２）に変換する入力信号処理部１１０と、画像の色と明るさを補正するため、当該デジタルＲＧＢ信号（Ｒ２、Ｇ２、Ｂ２）をデジタルＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）に変換する色変換部１２０と、当該デジタルＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）をアナログＲＧＢ信号（Ｒ４、Ｇ４、Ｂ４）に変換する出力信号処理部１３０と、当該アナログＲＧＢ信号に基づき、画像を投写する投写部１９０とを含んで構成されている。

また、投写部１９０は、空間光変調器１９２と、空間光変調器１９２を駆動する駆動部１９４と、光源１９６と、レンズ１９８とを含んで構成されている。駆動部１９４は、出力信号処理部１３０からの画像信号に基づき、空間光変調器１９２を駆動する。そして、投写部１９０は、光源１９６からの光を、空間光変調器１９２およびレンズ１９８を介して投写する。

また、プロジェクタ２０は、第１、第２および第３のキャリブレーション画像を表示するためのキャリブレーション情報を生成するキャリブレーション情報生成部１１４と、キャリブレーション画像の撮像情報を生成するセンサー６０と、センサー６０からの撮像情報等を一時的に記憶する記憶部１４０とを含んで構成されている。

また、プロジェクタ２０は、第１および第２の撮像画像の差分である第１の差分画像と、第１および第３の撮像画像の差分である第２の差分画像を生成する差分画像生成部１６０と、外光の影響を除去する処理を実行する外光影響除去部１７０とを含んで構成されている。

また、プロジェクタ２０は、撮像情報に基づき、センサー６０の撮像面（撮像領域）における投写領域の位置を検出する投写領域検出部１５０を含んで構成されている。また、投写領域検出部１５０は、差分画像に含まれる中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出部１５４と、差分画像に含まれる周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出部１５６と、各基準位置に基づき、投写領域の位置を示す投写領域情報を生成する投写領域情報生成部１５８とを含んで構成されている。

また、プロジェクタ２０は、センサー６０の撮像領域におけるスクリーン１０に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出部１８０を含む。また、投写対象領域検出部１８０は、検索範囲決定部１８２と、エッジ検出部１８４と、エッジ検出点を評価する検出点評価部１８８と、投写対象領域を仮検出して仮検出情報を生成するとともに、投写対象領域情報を生成する投写対象領域情報生成部１８６とを含んで構成されている。

さらに、プロジェクタ２０は、投写画像１２の歪みを補正する画像歪み補正手段を有する。より具体的には、プロジェクタ２０は、画像歪み補正手段として、投写領域情報と、投写対象領域情報とに基づき、画像歪み補正量を演算する画像歪み補正量演算部１６２と、当該画像歪み補正量に基づき、画像信号を補正する画像歪み補正部１１２とを有する。

また、上述したプロジェクタ２０の各部の機能を実装するためのハードウェアとしては、例えば、以下のものを適用できる。

図３は、本実施形態の一例に係るプロジェクタ２０のハードウェアブロック図である。

例えば、入力信号処理部１１０としては、例えば、Ａ／Ｄコンバーター９３０、画像処理回路９７０等、記憶部１４０としては、例えば、ＲＡＭ９５０等、投写領域検出部１５０、差分画像生成部１６０、外光影響除去部１７０、投写対象領域検出部１８０としては、例えば、画像処理回路９７０等、画像歪み補正量演算部１６２としては、例えばＣＰＵ９１０等、キャリブレーション情報生成部１１４としては、例えば、画像処理回路９７０、ＲＡＭ９５０等、出力信号処理部１３０としては、例えば、Ｄ／Ａコンバーター９４０等、空間光変調器１９２としては、例えば、液晶パネル９２０等、駆動部１９４としては、例えば、液晶パネル９２０を駆動する液晶ライトバルブ駆動ドライバを記憶するＲＯＭ９６０等を用いて実装できる。

なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。

また、これらの各部は回路のようにハードウェア的に実装してもよいし、ドライバのようにソフトウェア的に実装してもよい。

さらに、投写対象領域情報生成部１８６等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って投写対象領域情報生成部１８６等の機能をコンピュータに実装してもよい。

このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。

また、情報記憶媒体９００に代えて、上述した各機能を実装するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実装することも可能である。

以下、これらの各部を用いた画像処理について説明する。

図４は、本実施形態の一例に係る画像処理の流れを示すフローチャートである。また、図５は、本実施形態の一例に係るキャリブレーション画像の模式図であり、図５（Ａ）は、全白画像１３の模式図であり、図５（Ｂ）は、パターン画像１４の模式図である。

まず、ユーザーは、プロジェクタ２０を、スクリーン１０に向け設置し、プロジェクタ２０の電源を入れる。

まず、プロジェクタ２０は、第１のキャリブレーション画像として、図５（Ａ）に示す全白画像（画像全体が白色）１３を投写する（ステップＳ１）。より具体的には、キャリブレーション情報生成部１１４は、全白画像１３用のキャリブレーション情報（例えば、ＲＧＢ信号等）を生成し、投写部１９０は、当該キャリブレーション情報に基づき、全白画像１３を投写する。

センサー６０は、スクリーン１０上の全白画像１３を自動露出設定で撮像して第１の撮像情報を生成する（ステップＳ２）。記憶部１４０は、第１の撮像情報を記憶する。

また、プロジェクタ２０は、第３のキャリブレーション画像として、図５（Ｂ）に示すパターン画像１４を投写する（ステップＳ３）。パターン画像１４は、画像全体を９つのブロックに均等に区分した場合に、中央ブロック領域と、４隅の４つの周辺ブロック領域が黒色であり、その他のブロック領域が白色であるいわゆるチェッカーパターンのパターン画像である。

ユーザーは、中央ブロック領域がスクリーン１０の枠内に入っているかどうかを確認し、入っていない場合は入るようにプロジェクタ２０の位置等を調整し、プロジェクタ２０を再起動してステップＳ１〜Ｓ３の処理を再実行する。

中央ブロック領域がスクリーン１０の枠内に入っている状態で、センサー６０は、スクリーン１０上のパターン画像１４を、全白画像１３撮像時の露出で撮像して第３の撮像情報を生成する（ステップＳ４）。記憶部１４０は、第３の撮像情報を記憶する。

また、プロジェクタ２０は、第２のキャリブレーション画像として、全黒画像（画像全体が黒色）を投写する（ステップＳ５）。

センサー６０は、スクリーン１０上の全黒画像を、全白画像１３撮像時の露出で撮像して第２の撮像情報を生成する（ステップＳ６）。記憶部１４０は、第２の撮像情報を記憶する。

そして、差分画像生成部１６０は、第１の撮像情報で表される第１の撮像画像と、第２の撮像情報で表される第２の撮像画像との第１の差分画像である白黒差分画像を生成する（ステップＳ７）。記憶部１４０は、白黒差分画像を記憶する。

また、差分画像生成部１６０は、第１の撮像画像と、第３の撮像情報で表される第３の撮像画像との第２の差分画像であるパターン差分画像を生成する（ステップＳ８）。記憶部１４０は、パターン差分画像を記憶する。

また、外光影響除去部１７０は、第２の撮像情報に高輝度値（所定値（例えば、２００等）以上の明るさ指標値）を有する画素領域があるかどうかを判定し、当該画素領域がある場合、白黒差分画像における当該画素領域の輝度値（例えば、５０等）を、白黒差分画像における当該画素領域近傍の輝度値（例えば、３０等）に置換する処理を実行する（ステップＳ９）。

このような処理によって白黒差分画像における外光８０の影響が除去される。

また、投写領域検出部１５０は、パターン差分画像に基づき、撮像領域における投写領域を検出する（ステップＳ１０）。より具体的には、投写領域検出部１５０は、パターン差分画像に含まれる中央ブロック領域の複数（本実施例では４つ）の中央基準位置と、パターン差分画像に含まれる周辺ブロック領域の複数（本実施例では８つ）の周辺基準位置を検出する。

図６は、本実施形態の一例に係る中央基準位置を検出する際の第１段階の検索方法を示す模式図である。また、図７は、本実施形態の一例に係る中央基準位置を検出する際の第２段階の検索方法を示す模式図である。

中央基準位置検出部１５４は、撮像面に相当する撮像領域１５における投写領域（投写画像１２に相当する領域）の位置を検出するために、まず、パターン画像の４つの中央基準位置を検出する。なお、説明をわかりやすくするため、各図には投写対象領域１８を描いているが、実際の差分画像には投写対象領域１８や投写対象領域１８の外部の周辺ブロック領域１７−１〜１７−４の一部が含まれない場合もある。

より具体的には、中央基準位置検出部１５４は、差分画像に対し、図６に示すように、中央ブロック領域１６が位置すると予想される縦位置ｘ＝ｘｃ上をｙ＝ｙｐからｙ＝ｙｍまで画素ごとに差分値を検索することにより、差分値が変化する点Ｐ１、Ｐ２を判別する。例えば、Ｐ１(xc,y1)、Ｐ２(xc,y2)であるものと仮定する。

なお、ｘｃ、ｙｐ、ｙｍ等の検索基準位置の値は、例えば、レンズ１９８とセンサー６０のそれぞれの画角や位置によって決定されてもよいし、実験によって決定されてもよいし、あるいは、撮像結果に応じて決定されてもよい。後述するその他の検索基準位置についても同様である。

そして、中央基準位置検出部１５４は、図７に示すように、Ｐ１、Ｐ２を基準とした横位置ｙ＝ｙｃ上をｘ＝ｘｍからｘ＝ｘｐまで画素ごとに差分値を検索することにより、差分値が変化する点Ｐ４、Ｐ３を判別する。なお、ここで、例えば、yc=(y1+y2)/2である。

このようにして中央基準位置検出部１５４は、中央ブロック領域１６の４つの中央基準位置Ｐ１(xc,y1)、Ｐ２(xc,y2)、Ｐ３(x1,yc)、Ｐ４(x2,yc)を示す中央基準位置情報を周辺基準位置検出部１５６に出力する。

周辺基準位置検出部１５６は、中央基準位置情報に基づき、パターン画像の８つの周辺基準位置を検出する。

図８は、本実施形態の一例に係る周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。また、図９は、本実施形態の一例に係る周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。また、図１０は、本実施形態の一例に係る周辺基準位置を検出する際の第３段階の検索方法を示す模式図である。

投写対象領域検出部１８０のエッジ検出部１８４は、中央ブロック領域１６の中央基準位置Ｐ１〜Ｐ４に基づき、Ｐ３、Ｐ４のそれぞれから中央ブロック領域１６の横長の所定割合内側にある検索補助線上を、Ｐ１、Ｐ２のそれぞれのＹ座標の点ｙ１、ｙ２から外側に向かって白黒差分画像を検索対象として１画素ずつエッジ検出を行う。これにより、４つのエッジ検出点ＺＵＶＷが検出される。

なお、エッジ検出処理の手法としては、例えば、複数画素のフィルタを用いてエッジを検出する手法や、フィルタを用いずに１画素ずつエッジとなる輝度値を検出する手法等を採用可能である。

そして、周辺基準位置検出部１５６は、点ＺのＹ座標値ｙＺ、点ＵのＹ座標値ｙＵのうち小さい値とＰ１のＹ座標値ｙ１との間の距離（差分値）の所定割合の値を、ｙ１に加えた値であるｙＰを算出する。また、周辺基準位置検出部１５６は、点ＶのＹ座標値であるｙＶ、点ＷのＹ座標値であるｙＷのうち大きい値とＰ２のＹ座標値であるｙ２との間の距離の所定割合の値を、ｙ２から引いた値であるｙＱを算出する。

また、周辺基準位置決定部１５６は、点Ｚおよび点ＷのＸ座標値であるｘＺから中央ブロック領域１６の横長の所定割合内側にある位置のＸ座標値ｘＲを算出する。また、周辺基準位置決定部１５６は、点Ｕおよび点ＶのＸ座標値であるｘＵから中央ブロック領域１６の横長の所定割合内側にある位置のＸ座標値ｘＳを算出する。

周辺基準位置検出部１５６は、Ｘ＝ｘＲ、Ｘ＝ｘＳ、Ｙ＝ｙＰ、Ｙ＝ｙＱの４本の直線（図９に示す２点鎖線）が交わるそれぞれの交点からパターン差分画像におけるＹ＝ｙＰ、Ｙ＝ｙＱ上を外側に検索し、出力のある画素を検出することにより、中央ブロック領域１６側にある各周辺ブロック領域１７−１〜１７−４の縦方向の辺上にある４つの点Ｐ５〜Ｐ８を判別する。周辺基準位置決定部１５６は、同様の手法により、中央ブロック領域１６側にある各周辺ブロック領域１７−１〜１７−４の横方向の辺上にある４つの点Ｐ９〜Ｐ１２を判別する。

そして、周辺基準位置検出部１５６は、これらの８つの点の座標を示す周辺基準位置情報と、中央基準位置情報を投写領域情報生成部１５８に出力する。

投写領域情報生成部１５８は、周辺基準位置情報と、中央基準位置情報に基づき、近似直線（近似曲線でもよい。）を用いて投写領域の４隅の位置を検出する。

図１１は、本実施形態の一例に係る近似直線の設定方法を示す模式図である。

投写領域情報生成部１５８は、点Ｐ５、点Ｐ３、点Ｐ６の座標に基づき、図１０の破線で示される近似直線を設定する。同様の手法により、投写領域情報生成部１５８は、図１１に示すように、破線で示す４つの近似直線を設定し、各近似直線の４つの交点Ａ(xA,yA)〜Ｄ(xD,yD)を中央ブロック領域１６の４隅の点として判別する。

中央ブロック領域１６は、元の投写画像１２を１／９に縮小した画像に相当する領域であるため、投写画像１２が相当する投写領域の４隅の点ＥＦＧＨは以下のようになる。すなわち、Ｅ(xE,yE)＝(2*xA-xC,2*yA-yc)、Ｆ(xF,yF)＝(2*xB-xD,2*yB-yD)、Ｇ(xG,yG)＝(2*xC-xA,2*yC-yA)、Ｈ(xH,yH)＝(2*xD-xB,2*yD-yB)である。

以上の手法により、投写領域情報生成部１５８は、投写画像１２が相当する投写領域の４隅の点ＥＦＧＨを示す投写領域情報を画像歪み補正量演算部１６２に出力する。

また、投写対象領域検出部１８０は、白黒差分画像に基づき、撮像領域１５における投写対象領域１８を検出する（ステップＳ１１）。次に、投写対象領域１８の位置検出処理について説明する。

図１２は、本実施形態の一例に係る投写対象領域を検出する際の検索方法を示す模式図である。

まず、検索範囲決定部１８２は、エッジ検出対象を決定するため、白黒差分画像と、上述した中央ブロック領域１６の４隅ＡＢＣＤの座標情報に基づき、領域ＡＢＣＤより若干外側を通る４本の検索補助線を設定する。より具体的には、検索範囲決定部１８２は、白黒差分画像を対象として、中央基準位置決定部１５４によって検出された中央ブロック領域１６の４隅ＡＢＣＤの座標よりもｐ％外側に検索補助線を設定する。

例えば、第１の検索補助線y=round[max(yA,yB)+(yA-yD)*p/100]、第２の検索補助線x=round[max(xB,xC)+(xB-xA)*p/100]、第３の検索補助線y=round[min(yC,yD)-(yA-yD)*p/100]、第４の検索補助線x=round[min(xA,xD)-(xB-xA)*p/100]である。なお、ここで、max、min、roundは、それぞれ、引数のうち最大値を返す関数、引数のうち最小値を返す関数、引数の小数点第１位の値を四捨五入した整数を返す関数である。

このように４本の検索補助線が設定されることにより、図１２に示すように、４本の検索補助線の４つの交点ＩＪＫＬが決定される。なお、上記のように、４本の検索補助線を設定する代わりに、周辺基準位置検出部によって算出された、Ｙ＝ｙＰ、Ｙ＝ｙＱおよびＰ９〜Ｐ１２を判別する際に算出される（Ｙ＝ｙＰ、Ｙ＝ｙＱに対応する）Ｙ軸に平行な２本の直線を４本の検索補助線として設定し、その交点をＩＪＫＬとしてもよい。

エッジ検出部１８４は、交点ＩＪＫＬのそれぞれから領域ＩＪＫＬの外側に向かって検索補助線上の検索ライン上を白黒差分画像を検索対象として１画素ずつエッジ検出を行う。これにより、図１２に示すように、８つのエッジ検出点ＭＮＯＰＱＲＳＴが検出される。

さらに、エッジ検出部１８４は、線分ＴＯから投写対象領域１８の境界線方向、線分ＮＱから投写対象領域１８の境界線方向、線分ＰＳから投写対象領域１８の境界線方向、線分ＲＭから投写対象領域１８の境界線方向のそれぞれに１画素ずつエッジ検出を行う。

ここでは、線分ＴＯから投写対象領域１８の境界線方向にエッジ検出を行う場合を例に採り説明する。エッジ検出部１８４は、線分ＴＯでは、エッジ検出する範囲は、例えば、Ｙ軸の平行かつ正の方向であり、線分ＩＪで７本、線分ＴＩ、ＪＯのそれぞれで２本ずつの検索ラインを設定する。なお、この７本の検索ラインを設定する領域を中側検索領域と呼び、２本ずつの検索ラインを設定する２つの領域を外側検索領域と呼ぶ。

そして、エッジ検出部１８４は、これらの検索ライン上を１画素ずつエッジ検出を行うことにより、最大１１個、点ＭＮも含めると最大１３個のエッジ検出点を直線ＭＮ上に検出することができる。エッジ検出部１８４は、その他の線分ＮＱ、線分ＰＳ、線分ＲＭについても同様にエッジ検出を行う。

なお、エッジ検出部１８４は、エッジ検出点のペアＭＮ、ＯＰ、ＱＲ、ＳＴの各ペアのうち一方の点が撮像領域１５内で検出できなかった場合、検出できなかった点を検索するための外側検索領域については投写対象領域１８の境界線は存在しないものとみなし、該当領域内で検索ラインの設定やエッジ検出を行わない。また、エッジ検出部１８４は、エッジ検出点のペアＭＮ、ＯＰ、ＱＲ、ＳＴの各ペアのうち双方の点が撮像領域１５内で検出できなかった場合、検出できなかった線分と平行な方向で近接する投写対象領域１８の境界線は存在しないものとみなし、検出できなかった線分を検索するための中側検索領域および外側検索領域内で検索ラインの設定やエッジ検出を行わない。

これらの処理を実行することにより、エッジ検出部１８４は、投写対象領域１８の存在する可能性が低い領域についてのエッジ検出を省略することができ、より高速に処理を実行することができる。

投写対象領域情報生成部１８６は、エッジ検出部１８４によって検出された複数のエッジ検出点に基づき、線形近似直線または線形近似曲線を設定することにより、投写対象領域１８を仮決定する。

そして、検出点評価部１８８は、エッジ検出部１８４によって検出された複数のエッジ検出点のうち、投写対象領域情報生成部１８６によって設定された線形近似直線または線形近似曲線から所定値以上乖離しているかどうかを判定することにより、各エッジ検出点を評価する。

このようにして投写対象領域情報生成部１８６は、処理対象から除外しなかったエッジ検出点のみを用いてより高精度に投写対象領域１８を検出する。

より具体的には、エッジ検出部１８４は、白黒差分画像に基づき、処理対象から除外されなかったエッジ検出点の周辺画素に対してエッジ検出を行う。そして、エッジ検出部１８４は、エッジ検出情報を投写対象領域情報生成部１８６に出力する。

投写対象領域情報生成部１８６は、当該エッジ検出情報に基づき、再び線形近似直線または線形近似曲線を設定することにより、投写対象領域１８を決定する。そして、投写対象領域情報生成部１８６は、投写対象領域１８の４隅の位置を示す投写対象領域情報を生成し、画像歪み補正量演算部１６２に出力する。

そして、プロジェクタ２０は、投写領域情報および投写対象領域情報に基づき、投写画像１２の歪みが補正されるように画像を投写する（ステップＳ１２）。

より具体的には、画像歪み補正量演算部１６２は、投写領域情報生成部１５８からの投写領域情報と、投写対象領域情報生成部１８６からの投写対象領域情報に基づき、スクリーン１０と投写画像１２との位置関係や形状を把握し、投写画像１２の歪みが補正され、投写画像１２が所望のアスペクト比（縦横比）になるように画像歪み補正量を演算する。

そして、画像歪み補正部１１２は、当該画像歪み補正量に基づき、画像信号（Ｒ１、Ｇ１、Ｂ１）を補正する。これにより、プロジェクタ２０は、所望のアスペクト比を保った形で歪みのない画像を投写することができる。

もちろん、画像の歪みの補正方法はこの方法に限定されない。例えば、プロジェクタ２０は、撮像画像における輝度値の最も大きな画素を検出し、当該画素の位置に基づいて画像の歪みを補正してもよい。

以上のように、本実施形態によれば、プロジェクタ２０は、外光影響除去のための処理を実行することにより、強烈なコントラストの生じる外光８０の影響を除去した状態で撮像画像内の投写対象領域１８を適切に検出することができる。

また、本実施形態によれば、プロジェクタ２０は、外光影響を除去した差分画像に対してエッジ検出等を行って投写対象領域１８等を検出することにより、投写対象領域１８等をより高精度に検出することができる。

また、本実施形態によれば、プロジェクタ２０は、投写対象領域１８を仮検出してからその境界線付近を、投写対象領域１８を検出することにより、投写対象領域１８の位置情報をより短時間で、かつ、正確に生成することができる。これにより、プロジェクタ２０は、画像処理システム全体の演算処理量を低減し、低負荷で高速な画像処理を実行できる。

また、本実施形態によれば、プロジェクタ２０は、エッジ検出対象となる領域をより狭めた状態でエッジ検出を行うことにより、投写対象領域１８の位置情報をより短時間で生成することができる。

また、プロジェクタ２０は、線形近似直線等から乖離したエッジ検出点を除外して処理を実行することにより、ノイズ等の影響を低減し、投写対象領域１８の位置情報をより正確に生成することができる。

これにより、プロジェクタ２０は、投写画像１２の歪みの補正を適切に行うことができる。

また、プロジェクタ２０は、図５（Ｂ）に示すパターン画像１４のように、中央だけではなく、その周辺にも特徴のある画像を用いることにより、中央だけに特徴があるパターン画像を用いる場合と比べ、より高精度に投写領域の４隅を判別することができる。

例えば、プロジェクタ２０は、図６に示す点Ｐ１、点Ｐ２を判別する際に、その近傍の輝度値が変化する点も判別することが可能である。しかし、これらの間隔の狭い複数の点を用いて近似直線を設定する場合、間隔が離れた複数の点を用いて近似直線を設定する場合と比べ、近似直線の元になる点の１画素の誤差が近似直線により大きく影響してしまう。

本実施形態では、プロジェクタ２０は、中央ブロック領域１６の基準点と、周辺ブロック領域１７−１〜１７−４の基準点とを用いることにより、間隔が離れた複数の点を用いて近似直線を設定することができるため、より高精度に投写領域の４隅を判別することができる。

また、これにより、プロジェクタ２０は、プロジェクタ２０またはセンサー６０のシェーディングの影響を回避し、精度よく、投写領域全体の位置を把握することができる。

さらに、パターン画像１４を用いることにより、プロジェクタ２０は、投写画像１２の周辺部分がスクリーン１０からはみ出している場合であっても、投写領域を適切に検出することができる。

また、本実施形態によれば、プロジェクタ２０は、差分画像全体を検索するのではなく、差分画像のうち必要な領域のみを検索することにより、より簡易かつ高速に投写領域の位置を検出することができる。

また、キャリブレーション画像を投写する際に、一旦自動露出設定で全白画像を撮像して第１の撮像情報を生成することにより、適用環境に適合した露出で第１の撮像情報を生成することができる。また、プロジェクタ２０は、全白画像の撮像時の露出で第２および第３の撮像情報を生成することにより、差分画像の生成に適した露出で第２および第３の撮像情報を生成することができる。

特に、自動露出設定で全白画像を撮像することにより、センサー６０は、スクリーン１０が外光８０の影響を受ける場合、投写距離が遠すぎたりスクリーン１０の反射率が低すぎて投写光の反射光が弱すぎる場合、投写距離が近すぎたりスクリーン１０の反射率が高すぎて投写光の反射光が強すぎる場合のいずれにおいても、固定露出で撮像する場合と比べ、センサー６０のダイナミックレンジを有効に活用して撮像することができる。

（変形例）
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。

例えば、上述した実施例では、外光影響除去部１７０は、第１または第２の撮像情報に所定値以上の輝度値を有する画素領域がある場合、白黒差分画像における当該画素領域の輝度値を、白黒差分画像における当該画素領域近傍の輝度値に置換する処理を実行したが、この変形例として、エッジ検出処理が行われないように白黒差分画像やパターン差分画像における当該画素領域の輝度値として特殊値（例えば、３００等）を設定してもよい。

そして、エッジ検出部１８４は、当該特殊値を検出した場合、当該部分のエッジ検出結果については無効とする処理を実行し、中央基準位置決定部１５４や周辺基準位置決定部１５６は、当該特殊値を検出した場合、当該部分は、中央基準位置や周辺基準位置としては判別しない処理を実行する。

さらに、投写対象領域検出部１８０や投写領域検出部１５０は、検出対象領域に所定値（例えば、外光影響によると推測される最小値等）以上の輝度値を有する画素領域が含まれる場合、当該画素領域を無視し、無効とし、あるいは除去して検出処理を実行してもよい。

プロジェクタ２０は、このような処理によっても外光影響を除去することができる。

また、上述した実施例では、センサー６０は、全黒画像を用いて第２の撮像情報を生成したが、変形例として、非投写時のスクリーン１０を撮像して第２の撮像情報を生成してもよい。

また、外光影響除去部１７０は、パターン差分画像を対象として外光影響除去の処理を実行してもよい。

また、差分画像生成部１６０は、パターン差分画像として、全黒画像とパターン画像１４との差分画像を用いてもよい。

また、投写部１９０が、画像信号が入力されていない状態で光源１９６からスクリーン１０へ向け面状の光を投写した状態で、センサー６０が撮像することにより、第１または第２の撮像情報を生成してもよい。すなわち、プロジェクタ２０は、必ずしも全白画像１３や全黒画像を投写する必要はない。

また、投写画像１２とスクリーン１０の位置関係は図１に示す例に限定されない。例えば、投写画像１２の外枠全部がスクリーン１０の外枠より外側にあってもよいし、内側にあってもよい。

また、プロジェクタ２０は、画像の歪みを補正する以外にも、投写領域情報と投写対象領域情報を用いて投写画像１２の位置の調整、投写画像１２内におけるレーザーポインター等を用いた指示位置の検出等を行ったり、投写対象領域情報を用いて投写画像１２の色むらの補正等を行ってもよい。

また、例えば、検索の手順は任意であり、プロジェクタ２０は、差分画像に対して横方向に検索して中央基準位置や周辺基準位置を検出した後に当該中央基準位置や当該周辺基準位置に基づいて縦方向に検索してもよい。

さらに、プロジェクタ２０は、投写対象領域１８を検出してから投写領域を検出してもよい。

パターン画像１４は、上述した実施例に限定されない。例えば、パターン差分画像がパターン画像１４と同様のパターンとなる画像であってもよい。すなわち、例えば、第１のキャリブレーション画像が中央ブロック領域１６を有する画像であり、第３のキャリブレーション画像が周辺ブロック領域１７−１〜１７−４を有する画像であってもよい。

また、中央ブロック領域１６や周辺ブロック領域１７−１〜１７−４の形状は矩形に限定されず、例えば、円形等の矩形以外の形状を採用してもよい。もちろん、キャリブレーション画像全体の形状と、中央ブロック領域１６の形状は、相似形に限定されず、両者の形状の対応がわかる形状であればよい。さらに、周辺ブロック領域１７−１〜１７−４の個数も任意である。

また、全白画像１３、全黒画像、パターン画像１４の投写や撮像の順番は任意である。例えば、プロジェクタ２０は、最初にパターン画像１４を投写して中央ブロック領域がスクリーン１０内に入っているかどうかをユーザーに確認させてからステップＳ１〜Ｓ６の処理を実行してもよいし、全黒画像を投写して撮像してからパターン画像１４を投写して撮像してもよい。

また、スクリーン１０以外の黒板、白板等の投写対象物に画像を投写する場合であっても本発明は有効である。

また、例えば、上述した実施例では、画像処理システムをプロジェクタ２０に実装した例について説明したが、プロジェクタ２０以外にもＣＲＴ（Cathode Ray Tube）等のプロジェクタ２０以外の画像表示装置に実装してもよい。また、プロジェクタ２０としては、液晶プロジェクタ以外にも、例えば、ＤＭＤ（Digital Micromirror Device）を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。

また、上述したプロジェクタ２０の機能は、例えば、プロジェクタ単体で実装してもよいし、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実装してもよい。

さらに、上述した実施例では、センサー６０をプロジェクタ２０に内蔵した構成であったが、センサー６０を、プロジェクタ２０とは別の独立した装置として構成してもよい。

本実施形態の一例に係る画像投写状況を示す概略図である。 本実施形態の一例に係るプロジェクタの機能ブロック図である。 本実施形態の一例に係るプロジェクタのハードウェアブロック図である。 本実施形態の一例に係る画像処理の流れを示すフローチャートである。 本実施形態の一例に係るキャリブレーション画像の模式図であり、図５（Ａ）は、第１のキャリブレーション画像の模式図であり、図５（Ｂ）は、第３のキャリブレーション画像の模式図である。 本実施形態の一例に係る中央基準位置を検出する際の第１段階の検索方法を示す模式図である。 本実施形態の一例に係る中央基準位置を検出する際の第２段階の検索方法を示す模式図である。 本実施形態の一例に係る周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。 本実施形態の一例に係る周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。 本実施形態の一例に係る周辺基準位置を検出する際の第３段階の検索方法を示す模式図である。 本実施形態の一例に係る近似直線の設定方法を示す模式図である。 本実施形態の一例に係る投写対象領域を検出する際の検索方法を示す模式図である。

符号の説明

２０ プロジェクタ、６０ センサー（撮像手段）、８０ 外光、１１２ 画像歪み補正部（画像歪み補正手段）、１４０ 記憶部、１５０ 投写領域検出部、１５４ 中央基準位置検出部、１５６ 周辺基準位置検出部、１５８ 投写領域情報生成部、１６０ 差分画像生成部、１６２ 画像歪み補正量演算部（画像歪み補正手段）、１７０ 外光影響除去部、１８０ 投写対象領域検出部、１８２ 検索範囲決定部、１８４ エッジ検出部、１８６ 投写対象領域情報生成部、１８８ 検出点評価部、１９０ 投写部、９００ 情報記憶媒体

Claims (12)

1. 第１のキャリブレーション画像または面状の光および第２のキャリブレーション画像または面状の光を投写対象物へ向け投写する投写手段と、
   前記第１のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第１の撮像情報を生成するとともに、前記第２のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第２の撮像情報を生成する撮像手段と、
   前記第１の撮像情報で表される第１の撮像画像と、前記第２の撮像情報で表される第２の撮像画像との第１の差分画像を生成する差分画像生成手段と、
   前記第１または第２の撮像情報に所定値以上の明るさ指標値を有する画素領域がある場合、前記第１の差分画像における当該画素領域の明るさ指標値を、前記第１の差分画像における当該画素領域近傍の明るさ指標値に置換する処理またはエッジ検出処理が行われないように前記第１の差分画像における当該画素領域の明るさ指標値として特殊値を設定する処理を実行する外光影響除去手段と、
   前記外光影響除去手段による処理後の第１の差分画像に基づき、エッジ検出処理を行うことにより、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段と、
   を含むことを特徴とする画像処理システム。
2. 第１のキャリブレーション画像または面状の光を投写対象物へ向け投写する投写手段と、
   前記第１のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第１の撮像情報を生成するとともに、非投写時の前記投写対象物を撮像して第２の撮像情報を生成する撮像手段と、
   前記第１の撮像情報で表される第１の撮像画像と、前記第２の撮像情報で表される第２の撮像画像との第１の差分画像を生成する差分画像生成手段と、
   前記第１または第２の撮像情報に所定値以上の明るさ指標値を有する画素領域がある場合、前記第１の差分画像における当該画素領域の明るさ指標値を、前記第１の差分画像における当該画素領域近傍の明るさ指標値に置換する処理またはエッジ検出処理が行われないように前記第１の差分画像における当該画素領域の明るさ指標値として特殊値を設定する処理を実行する外光影響除去手段と、
   前記外光影響除去手段による処理後の第１の差分画像に基づき、エッジ検出処理を行うことにより、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段と、
   を含むことを特徴とする画像処理システム。
3. 請求項１、２のいずれかにおいて、
   前記撮像手段の撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域検出手段を含み、
   前記投写手段は、第３のキャリブレーション画像を前記投写対象物へ向け投写し、
   前記撮像手段は、前記第３のキャリブレーション画像が投写された前記投写対象物を撮像して第３の撮像情報を生成し、
   前記差分画像生成手段は、前記第１の撮像画像と、前記第３の撮像情報で表される第３の撮像画像との第２の差分画像を生成し、
   前記第２の差分画像は、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
   前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる明るさ指標値を有し、
   前記投写領域検出手段は、
   前記第２の差分画像に基づき、前記撮像手段の撮像領域における前記中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
   前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
   前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域情報を生成する投写領域情報生成手段と、
   を含むことを特徴とする画像処理システム。
4. 請求項３において、
   前記投写対象領域情報と、前記投写領域情報とに基づき、画像の歪みを補正する画像歪み補正手段を含み、
   前記投写手段は、前記画像歪み補正手段によって補正された画像を前記投写対象物へ向け投写することを特徴とする画像処理システム。
5. 請求項１〜４のいずれかにおいて、
   前記撮像手段は、自動露出で撮像することにより前記第１の撮像情報を生成し、当該自動露出で決定された露出で撮像することにより前記第２の撮像情報を生成することを特徴とする画像処理システム。
6. 第１のキャリブレーション画像または面状の光および第２のキャリブレーション画像または面状の光を投写対象物へ向け投写する投写手段と、
   前記第１のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第１の撮像情報を生成するとともに、前記第２のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第２の撮像情報を生成する撮像手段と、
   前記第１の撮像情報で表される第１の撮像画像と、前記第２の撮像情報で表される第２の撮像画像との第１の差分画像を生成する差分画像生成手段と、
   前記第１または第２の撮像情報に所定値以上の明るさ指標値を有する画素領域がある場合、前記第１の差分画像における当該画素領域の明るさ指標値を、前記第１の差分画像における当該画素領域近傍の明るさ指標値に置換する処理またはエッジ検出処理が行われないように前記第１の差分画像における当該画素領域の明るさ指標値として特殊値を設定する処理を実行する外光影響除去手段と、
   前記外光影響除去手段による処理後の第１の差分画像に基づき、エッジ検出処理を行うことにより、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段と、
   を含むことを特徴とするプロジェクタ。
7. コンピュータにより読み取り可能なプログラムであって、
   コンピュータを、
   第１のキャリブレーション画像または面状の光および第２のキャリブレーション画像または面状の光を投写対象物へ向け投写する投写手段と、
   前記第１のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第１の撮像情報を生成するとともに、前記第２のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第２の撮像情報を生成する撮像手段と、
   前記第１の撮像情報で表される第１の撮像画像と、前記第２の撮像情報で表される第２の撮像画像との第１の差分画像を生成する差分画像生成手段と、
   前記第１または第２の撮像情報に所定値以上の明るさ指標値を有する画素領域がある場合、前記第１の差分画像における当該画素領域の明るさ指標値を、前記第１の差分画像における当該画素領域近傍の明るさ指標値に置換する処理またはエッジ検出処理が行われないように前記第１の差分画像における当該画素領域の明るさ指標値として特殊値を設定する処理を実行する外光影響除去手段と、
   前記外光影響除去手段による処理後の第１の差分画像に基づき、エッジ検出処理を行うことにより、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域検出手段として機能させることを特徴とするプログラム。
8. コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
   請求項７に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
9. 第１のキャリブレーション画像または面状の光を投写対象物へ向け投写し、
   前記第１のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第１の撮像情報を生成し、
   第２のキャリブレーション画像または面状の光を前記投写対象物へ向け投写し、
   前記第２のキャリブレーション画像または面状の光が投写された前記投写対象物を撮像して第２の撮像情報を生成し、
   前記第１の撮像情報で表される第１の撮像画像と、前記第２の撮像情報で表される第２の撮像画像との第１の差分画像を生成し、
   前記第１または第２の撮像情報に所定値以上の明るさ指標値を有する画素領域がある場合、前記第１の差分画像における当該画素領域の明るさ指標値を、前記第１の差分画像における当該画素領域近傍の明るさ指標値に置換する処理またはエッジ検出処理が行われないように前記第１の差分画像における当該画素領域の明るさ指標値として特殊値を設定する処理を実行し、
   当該処理後の第１の差分画像に基づき、エッジ検出処理を行うことにより、前記撮像手段の撮像領域における前記投写対象物に相当する投写対象領域の位置に関する投写対象領域情報を生成することを特徴とする画像処理方法。
10. 請求項９において、
    第３のキャリブレーション画像を前記投写対象物へ向け投写し、
    前記第３のキャリブレーション画像が投写された前記投写対象物を撮像して第３の撮像情報を生成し、
    前記第１の撮像画像と、前記第３の撮像情報で表される第３の撮像画像との第２の差分画像を生成し、
    前記第２の差分画像は、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
    前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる明るさ指標値を有し、
    前記第２の差分画像に基づき、撮像領域における前記中央ブロック領域の複数の中央基準位置を検出し、
    前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出し、
    前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成することを特徴とする画像処理方法。
11. 請求項１０において、
    前記投写対象領域情報と、前記投写領域情報とに基づき、画像の歪みを補正し、
    補正した画像を前記投写対象物へ向け投写することを特徴とする画像処理方法。
12. 請求項９〜１１のいずれかにおいて、
    自動露出で撮像することにより前記第１の撮像情報を生成し、当該自動露出で決定された露出で撮像することにより前記第２の撮像情報を生成することを特徴とする画像処理方法。

Images