JP2005286573A - 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 - Google Patents

Abstract

【課題】 投写画像の一部が投写対象物の外部に表示されてしまう場合であっても、適切に投写画像の位置情報を生成することが可能な画像処理システム等を提供すること。
【解決手段】 全白の第１のキャリブレーション画像と、中央と周辺に特徴のある画像を含む第２のキャリブレーション画像との差分画像を生成する差分画像生成部１５２と、差分画像における中央ブロック領域の基準位置を検出する中央基準位置検出部１５４と、周辺ブロック領域の基準位置を検出する周辺基準位置検出部１５６と、各基準位置に基づき、投写領域の位置を示す投写領域情報を生成する投写領域情報生成部１５８とを含んでプロジェクタを構成する。
【選択図】 図３

Description

本発明は、撮像情報に基づいて投写領域を検出する画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法に関する。

近年、ＣＣＤカメラを有するプロジェクタを用いてスクリーン等の投写対象物に画像を投写し、投写された投写画像をＣＣＤカメラで撮像して撮像領域内の投写画像に相当する投写領域の４隅の座標を検出することにより、投写画像の位置を調整することが提案されている。

例えば、特許文献１では、映像表示可能領域内に画像を表示し、映像表示可能領域の全域を撮像することにより、画像の投写位置を調整する構成が採用されている。
特開平５−３０５２０号公報

しかし、特許文献１の構成のように、映像表示可能領域内に画像を表示することが前提となっている場合、画像の一部が映像表示可能領域外に投写される場合は画像の投写位置を調整することができない。

特に、近年ではプロジェクタも小型化し、ユーザーが、いわゆるモバイルプロジェクタとして持ち運び、持ち運んだ先で画像を投写することを行っている。このような場合、設置場所の制約等の理由により、投写画像の一部がスクリーンの外部に表示されてしまう場合もある。このような場合であっても、適切に投写画像の位置等を調整するプロジェクタ等が必要とされている。

本発明は、上記の課題に鑑みなされたものであり、その目的は、投写画像の一部が投写対象物の外部に表示されてしまう場合であっても、適切に投写領域の位置情報を生成することが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにある。

上記課題を解決するため、本発明に係る画像処理システムおよびプロジェクタは、第１のキャリブレーション画像および第２のキャリブレーション画像を、それぞれ異なる時点において投写する画像投写手段と、
投写された各キャリブレーション画像を撮像して第１および第２の撮像情報を生成する撮像手段と、
前記第１および第２の撮像情報に基づき、前記撮像手段の撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域検出手段とを含み、
前記第１のキャリブレーション画像と前記第２のキャリブレーション画像との差分画像は、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
前記投写領域検出手段は、
前記第１および第２の撮像情報に基づき、前記差分画像を生成する差分画像生成手段と、
前記差分画像に基づき、前記撮像手段の撮像領域における前記中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域情報を生成する投写領域情報生成手段と、
を含むことを特徴とする。

また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
第１のキャリブレーション画像および第２のキャリブレーション画像を、それぞれ異なる時点において投写する画像投写手段と、
投写された各キャリブレーション画像を撮像して第１および第２の撮像情報を生成する撮像手段と、
前記第１および第２の撮像情報に基づき、前記撮像手段の撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域検出手段として機能させ、
前記第１のキャリブレーション画像と前記第２のキャリブレーション画像との差分画像は、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
前記投写領域検出手段は、
前記第１および第２の撮像情報に基づき、前記差分画像を生成する差分画像生成手段と、
前記差分画像に基づき、撮像領域における前記中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域情報を生成する投写領域情報生成手段と、
を含むことを特徴とする。

また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
上記プログラムを記憶したことを特徴とする。

また、本発明に係る画像処理方法は、第１のキャリブレーション画像と第２のキャリブレーション画像との差分画像であって、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、かつ、前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有する差分画像に基づき、画像処理を行う画像処理方法であって、
前記第１のキャリブレーション画像を投写し、
投写された前記第１のキャリブレーション画像を撮像して第１の撮像情報を生成し、
前記第２のキャリブレーション画像を投写し、
投写された前記第２のキャリブレーション画像を撮像して第２の撮像情報を生成し、
前記第１および第２の撮像情報に基づき、前記差分画像を生成し、
当該差分画像に基づき、前記撮像手段の撮像領域における前記中央ブロック領域の複数の中央基準位置を検出し、
前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出し、
前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成することを特徴とする。

本発明によれば、画像処理システム等は、投写画像に相当する投写領域よりも小さい中央ブロック領域の中央基準位置を検出することにより、投写画像の一部が投写対象物の外部に表示されてしまうような場合であっても、中央基準位置に基づいて投写領域の位置情報を生成することができる。

特に、本発明によれば、画像処理システム等は、中央基準位置だけではなく、その周辺に位置する周辺ブロック領域の周辺基準位置に基づいて投写領域の位置を把握することができるため、より高精度に投写領域の位置情報を生成することができる。

なお、前記画像処理システム等は、例えば、前記第１のキャリブレーション画像として、単色の画像を採用し、前記第２のキャリブレーション画像として、画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有する画像を採用してもよい。

また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記投写領域情報生成手段は、前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成してもよい。

また、前記画像処理方法は、前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成してもよい。

また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記投写領域および前記中央ブロック領域は、矩形の領域であり、
前記投写領域情報生成手段は、前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成してもよい。

また、前記画像処理方法において、前記投写領域および前記中央ブロック領域は、矩形の領域であり、
前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成してもよい。

これによれば、画像処理システム等は、中央ブロック領域の４隅の位置に基づき、投写領域の４隅の位置を把握することができるため、より少ない処理で投写領域の４隅の位置を把握することができる。

また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記第１の撮像情報と、前記中央基準位置とに基づき、前記撮像領域における前記投写対象物が相当する投写対象領域の複数の境界点を検出する投写対象領域境界点検出手段を含み、
前記周辺基準位置検出手段は、前記境界点に基づき、前記周辺基準位置を検出してもよい。

また、前記画像処理方法において、前記第１の撮像情報と、前記中央基準位置とに基づき、前記撮像領域における前記投写対象物が相当する投写対象領域の複数の境界点を検出し、
前記境界点に基づき、前記周辺基準位置を検出してもよい。

なお、ここで、前記周辺基準位置検出手段および前記画像処理方法は、前記境界点に基づき、前記中央基準位置よりは前記境界点に近い位置にある前記周辺基準位置を検出してもよい。

これによれば、画像処理システム等は、間隔の離れた複数の基準位置に基づいて投写領域の位置情報を生成することができるため、誤差の影響を受けにくく、より高精度に投写領域の位置情報を生成することができる。

以下、本発明を、画像処理システムを有するプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。

（システム全体の説明）
図１は、本実施形態の一例に係る画像投写状況を示す概略図である。また、図２は、本実施形態の一例に係るスクリーン１０と投写画像１２との位置関係を示す模式図である。

プロジェクタ２０は、スクリーン１０へ向け画像を投写する。これにより、スクリーン１０には、投写画像１２が表示される。

また、本実施形態のプロジェクタ２０は、撮像手段であるセンサー６０を有する。センサー６０は、投写画像１２が表示されたスクリーン１０を、撮像面を介して撮像し、撮像情報を生成する。プロジェクタ２０は、撮像情報に基づき、投写画像１２の歪みや表示位置の調整を行う。

しかし、例えば、図２に示すように、スクリーン１０から投写画像１２の一部がスクリーン１０の外部に表示される場合、従来のプロジェクタは、撮像情報に基づき、投写画像１２の歪みや表示位置の調整を行うことができなかった。

なぜなら、スクリーン１０と、スクリーン１０の後ろにある壁との距離が離れており、投写画像１２がセンサー６０の撮像範囲に入っているとしても、従来のプロジェクタは、どこにあるかわからない壁や背景の物体に表示された、あるいは表示されることもない投写画像１２の頂点の位置をスクリーン１０の平面上の位置に変換することはできないからである。

本実施形態におけるプロジェクタ２０は、従来とは異なるキャリブレーション画像を用い、当該キャリブレーション画像の撮像情報に基づき、簡易な検索処理を実行することにより、従来より広範な条件の下で精度よく投写画像１２の位置を把握する。

次に、このような機能を実装するためのプロジェクタ２０の機能ブロックについて説明する。

図３は、本実施形態の一例に係るプロジェクタ２０の機能ブロック図である。

プロジェクタ２０は、ＰＣ（Personal Computer）等からのアナログＲＧＢ信号（Ｒ１、Ｇ１、Ｂ１）をデジタルＲＧＢ信号（Ｒ２、Ｇ２、Ｂ２）に変換する入力信号処理部１１０と、画像の色と明るさを補正するため、当該デジタルＲＧＢ信号（Ｒ２、Ｇ２、Ｂ２）をデジタルＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）に変換する色変換部１２０と、当該デジタルＲＧＢ信号（Ｒ３、Ｇ３、Ｂ３）をアナログＲＧＢ信号（Ｒ４、Ｇ４、Ｂ４）に変換する出力信号処理部１３０と、当該アナログＲＧＢ信号に基づき、画像を投写する画像投写部１９０とを含んで構成されている。

また、画像投写部１９０は、空間光変調器１９２と、空間光変調器１９２を駆動する駆動部１９４と、光源１９６と、レンズ１９８とを含んで構成されている。駆動部１９４は、出力信号処理部１３０からの画像信号に基づき、空間光変調器１９２を駆動する。そして、画像投写部１９０は、光源１９６からの光を、空間光変調器１９２およびレンズ１９８を介して投写する。

また、プロジェクタ２０は、第１および第２のキャリブレーション画像を表示するためのキャリブレーション画像情報を生成するキャリブレーション情報生成部１７２と、キャリブレーション画像の撮像情報を生成するセンサー６０と、センサー６０からの撮像情報を一時的に記憶する撮像情報記憶部１４０とを含んで構成されている。

また、プロジェクタ２０は、撮像情報に基づき、センサー６０の撮像面（撮像領域）における投写領域の位置を検出する投写領域検出部１５０を含んで構成されている。また、投写領域検出部１５０は、第１の撮像画像と第２の撮像画像との差分画像を生成する差分画像生成部１５２と、差分画像に含まれる中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出部１５４と、差分画像に含まれる周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出部１５６と、各基準位置に基づき、投写領域の位置を示す投写領域情報を生成する投写領域情報生成部１５８とを含んで構成されている。

さらに、プロジェクタ２０は、投写画像１２の歪みを補正する機能を有する。この機能を実装するため、プロジェクタ２０は、撮像情報と、投写領域情報に基づき、投写領域内の輝度ピーク位置（輝度値が最も大きい画素の位置）を検出する輝度ピーク位置検出部１６４と、輝度ピーク位置に基づき、画像歪み補正量を演算する画像歪み補正量演算部１６２と、画像歪み補正量に基づき、投写画像１２の歪みが補正されるように、入力画像信号を補正する画像歪み補正部１１２とを含んで構成されている。

また、上述したプロジェクタ２０の各部の機能を実装するためのハードウェアとしては、例えば、以下のものを適用できる。

図４は、本実施形態の一例に係るプロジェクタ２０のハードウェアブロック図である。

例えば、入力信号処理部１１０としては、例えば、Ａ／Ｄコンバーター９３０、画像処理回路９７０等、撮像情報記憶部１４０としては、例えば、ＲＡＭ９５０等、投写領域検出部１５０、輝度ピーク位置検出部１６４としては、例えば、画像処理回路９７０等、画像歪み補正量演算部１６２としては、例えばＣＰＵ９１０等、キャリブレーション情報生成部１７２としては、例えば、画像処理回路９７０、ＲＡＭ９５０等、出力信号処理部１３０としては、例えば、Ｄ／Ａコンバーター９４０等、空間光変調器１９２としては、例えば、液晶パネル９２０等、駆動部１９４としては、例えば、液晶パネル９２０を駆動する液晶ライトバルブ駆動ドライバを記憶するＲＯＭ９６０等を用いて実装できる。

なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。

また、これらの各部は回路のようにハードウェア的に実装してもよいし、ドライバのようにソフトウェア的に実装してもよい。

さらに、差分画像生成部１５２等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って差分画像生成部１５２等の機能をコンピュータに実装してもよい。

このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。

また、情報記憶媒体９００に代えて、上述した各機能を実装するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実装することも可能である。

（投写領域の位置検出処理の流れの説明）
次に、これらの各部を用いた投写領域の位置検出処理の流れについて説明する。

図５は、本実施形態の一例に係る投写領域の位置検出処理の流れを示すフローチャートである。また、図６は、本実施形態の一例に係るキャリブレーション画像の模式図であり、図６（Ａ）は、第１のキャリブレーション画像１３の模式図であり、図６（Ｂ）は、第２のキャリブレーション画像１４の模式図である。

まず、プロジェクタ２０は、第１のキャリブレーション画像１３として、図６（Ａ）に示す全白（画像全体が白色）のキャリブレーション画像を投写する（ステップＳ１）。より具体的には、キャリブレーション情報生成部１７２は、第１のキャリブレーション画像１３用のキャリブレーション情報（例えば、ＲＧＢ信号等）を生成し、画像投写部１９０は、当該キャリブレーション情報に基づき、全白のキャリブレーション画像を投写する。

センサー６０は、スクリーン１０上の第１のキャリブレーション画像１３を自動露出設定で撮像して第１の撮像情報を生成する（ステップＳ２）。撮像情報記憶部１４０は、第１の撮像情報を記憶する。

そして、プロジェクタ２０は、第２のキャリブレーション画像１４として、図６（Ｂ）に示す第２のキャリブレーション画像１４を投写する（ステップＳ３）。より具体的には、キャリブレーション情報生成部１７２は、第２のキャリブレーション画像１４用のキャリブレーション情報を生成し、画像投写部１９０は、当該キャリブレーション情報に基づき、第２のキャリブレーション画像１４を投写する。

本実施例では、第２のキャリブレーション画像１４は、画像全体を９つのブロックに均等に区分した場合に、中央ブロック領域と、４隅の４つの周辺ブロック領域が黒色であり、その他のブロック領域が白色であるいわゆるチェッカーパターンのパターン画像である。

センサー６０は、スクリーン１０上の第２のキャリブレーション画像１４を、第１のキャリブレーション画像１３撮像時の露出で撮像して第２の撮像情報を生成する（ステップＳ４）。撮像情報記憶部１４０は、第２の撮像情報を記憶する。

差分画像生成部１５２は、第１および第２の撮像情報に基づき、第１のキャリブレーション画像１３と第２のキャリブレーション画像１４との差分画像を生成する（ステップＳ５）。なお、差分画像は、例えば、画素ごとの輝度値等を差分演算した画像である。また、差分画像は、例えば、画素ごとの差分値が所定閾値以上の画素はその差分値を、そうでない画素は０を各画素位置の値として有する画像である。なお、差分画像生成部１５２は、必ずしも画像全体を差分演算する必要はなく、以下の処理に必要な範囲内（画像の一部分）のみ差分演算を行ってもよい。

そして、投写領域検出部１５０は、差分画像の生成後、差分画像に含まれる中央ブロック領域の複数（本実施例では４つ）の中央基準位置と差分画像に含まれる周辺ブロック領域の複数（本実施例では８つ）の周辺基準位置を検出する。

図７は、本実施形態の一例に係る中央基準位置を検出する際の第１段階の検索方法を示す模式図である。また、図８は、本実施形態の一例に係る中央基準位置を検出する際の第２段階の検索方法を示す模式図である。

中央基準位置検出部１５４は、撮像面に相当する撮像領域１５における投写領域（投写画像１２に相当する領域）の位置を検出するために、まず、パターン画像の４つの中央基準位置を検出する（ステップＳ６）。なお、説明をわかりやすくするため、各図にはスクリーン領域１８を描いているが、実際の差分画像にはスクリーン領域１８やスクリーン領域１８の外部の周辺ブロック領域１７−１〜１７−４の一部が存在しない場合もある。

より具体的には、中央基準位置検出部１５４は、差分画像に対し、図７に示すように、中央ブロック領域１６が位置すると予想される縦位置ｘ＝ｘｃ上をｙ＝ｙｐからｙ＝ｙｍまで画素ごとに差分値を検索することにより、差分値が変化する点Ｐ１、Ｐ２を判別する。例えば、Ｐ１(xc,y1)、Ｐ２(xc,y2)であるものと仮定する。

なお、ｘｃ、ｙｐ、ｙｍ等の検索基準位置の値は、例えば、レンズ１９８とセンサー６０のそれぞれの画角や位置によって決定されてもよいし、実験によって決定されてもよいし、あるいは、撮像結果に応じて決定されてもよい。後述するその他の検索基準位置についても同様である。

そして、中央基準位置検出部１５４は、図８に示すように、Ｐ１、Ｐ２を基準とした横位置ｙ＝ｙｃ上をｘ＝ｘｍからｘ＝ｘｐまで画素ごとに差分値を検索することにより、差分値が変化する点Ｐ４、Ｐ３を判別する。なお、ここで、例えば、yc=(y1+y2)/2である。

このようにして中央基準位置検出部１５４は、中央ブロック領域１６の４つの中央基準位置Ｐ１(xc,y1)、Ｐ２(xc,y2)、Ｐ３(x1,yc)、Ｐ４(x2,yc)を示す中央基準位置情報を周辺基準位置検出部１５６に出力する。

周辺基準位置検出部１５６は、中央基準位置情報に基づき、パターン画像の８つの周辺基準位置を検出する（ステップＳ７）。

図９は、本実施形態の一例に係る周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。また、図１０は、本実施形態の一例に係る周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。

より具体的には、周辺基準位置検出部１５６は、Ｐ１のｙ座標y1からｍ％上方のｙ＝ｙｈ上をＰ３のｘ座標x1から数％中央側のｘ座標ｘｈからｘ軸の正方向に向かって差分画像の各画素の差分値が変化する点を検索する。これにより、差分値が変化する点Ｐ５が判別される。

同様に、周辺基準位置検出部１５６は、Ｐ２のｙ座標y2からｍ％下方のｙ＝ｙｎ上をｘ座標ｘｈからｘ軸の正方向に向かって差分画像の各画素の差分値が変化する点を検索する。これにより、差分値が変化する点Ｐ６が判別される。

同様の手法で、図１０に示すように、点Ｐ７〜Ｐ１２が判別される。そして、周辺基準位置検出部１５６は、これらの８つの点の座標を示す周辺基準位置情報と、中央基準位置情報を投写領域情報生成部１５８に出力する。

投写領域情報生成部１５８は、周辺基準位置情報と、中央基準位置情報に基づき、近似直線（近似曲線でもよい。）を用いて投写領域の４隅の位置を検出する（ステップＳ８）。

図１１は、本実施形態の一例に係る近似直線を設定する際の第１段階を示す模式図である。図１２は、本実施形態の一例に係る近似直線を設定する際の第２段階を示す模式図である。

投写領域情報生成部１５８は、点Ｐ５、点Ｐ３、点Ｐ６の座標に基づき、図１１の破線で示される近似直線を設定する。同様の手法により、投写領域情報生成部１５８は、図１２に示すように、破線で示す４つの近似直線を設定し、各近似直線の４つの交点Ａ(xA,yA)〜Ｄ(xD,yD)を中央ブロック領域１６の４隅の点として判別する。

中央ブロック領域１６は、元の投写画像１２を１／９に縮小した画像に相当する領域であるため、投写画像１２が相当する投写領域の４隅の点ＥＦＧＨは以下のようになる。すなわち、Ｅ(xE,yE)＝(2*xA-xC,2*yA-yc)、Ｆ(xF,yF)＝(2*xB-xD,2*yB-yD)、Ｇ(xG,yG)＝(2*xC-xA,2*yC-yA)、Ｈ(xH,yH)＝(2*xD-xB,2*yD-yB)である。

以上のように、本実施形態によれば、プロジェクタ２０は、投写画像１２がスクリーン１０に含まれる場合はもちろん、投写画像１２の一部がスクリーン１０の外部に表示されている状態であっても、撮像領域１５における投写領域の４隅の位置を検出することができる。もちろん、プロジェクタ２０は、投写領域の位置情報をスクリーン１０平面における位置に変換して投写画像１２の４隅の位置情報を生成することも可能である。

これにより、プロジェクタ２０は、投写画像１２の歪みの補正や位置の調整、投写画像１２内におけるレーザーポインター等を用いた指示位置の検出等を適切に行うことができる。

例えば、プロジェクタ２０は、投写画像１２の歪みの補正（いわゆるキーストン補正）を行う場合、第１のキャリブレーション画像１３の撮像情報と、投写領域情報生成部１５８からの投写領域の４隅の位置を示す投写領域情報に基づき、輝度ピーク位置検出部１６４を用いて撮像領域内の投写領域内で最も輝度値が高い輝度ピーク位置を検出する。

例えば、スクリーン１０とプロジェクタ２０とが正対している場合、投写領域の中央が輝度ピーク位置となり、また、例えば、投写領域の左側の輝度値が高い場合、投写光軸が投写画像１２の中心から左にずれていることを把握でき、投写画像１２が左の辺が短く右の辺が長い台形状に歪んでいることを把握できる。このように、投写領域内の輝度ピーク位置を把握することにより、画像の歪みを把握することができる。

そして、画像歪み補正量演算部１６２は、投写領域内の輝度ピーク位置に基づき、画像の歪みに応じた補正量を演算する。

さらに、入力信号処理部１１０内の画像歪み補正部１１２が当該補正量に基づき、画像の歪みが補正されるように、入力画像信号を補正する。

以上の手順により、プロジェクタ２０は、投写画像１２の一部がスクリーン１０の外部に表示されている場合であっても、画像の歪みを補正することができる。もちろん、画像の歪みの補正方法はこの方法に限定されない。例えば、プロジェクタ２０は、撮像画像における輝度値の最も大きな画素を検出し、当該画素の位置に基づいて画像の歪みを補正してもよい。

また、プロジェクタ２０は、図６（Ｂ）に示すパターン画像のように、中央だけではなく、その周辺にも特徴のある画像を用いることにより、中央だけに特徴があるパターン画像を用いる場合と比べ、より高精度に投写領域の４隅を判別することができる。

例えば、プロジェクタ２０は、図７に示す点Ｐ１、点Ｐ２を判別する際に、その近傍の輝度値が変化する点も判別することが可能である。しかし、これらの間隔の狭い複数の点を用いて近似直線を設定する場合、間隔が離れた複数の点を用いて近似直線を設定する場合と比べ、近似直線の元になる点の１画素の誤差が近似直線により大きく影響してしまう。

本実施形態では、プロジェクタ２０は、中央ブロック領域１６の基準点と、周辺ブロック領域１７−１〜１７−４の基準点とを用いることにより、間隔が離れた複数の点を用いて近似直線を設定することができるため、より高精度に投写領域の４隅を判別することができる。

また、これにより、プロジェクタ２０は、プロジェクタ２０またはセンサー６０のシェーディングの影響を回避し、精度よく、投写領域全体の位置を把握することができる。

また、本実施形態によれば、プロジェクタ２０は、差分画像全体を検索するのではなく、差分画像のうち必要な領域のみを検索することにより、より簡易かつ高速に投写領域の位置を検出することができる。

また、キャリブレーション画像を投写する際に、一旦自動露出設定で全白画像を撮像して第１の撮像情報を生成することにより、適用環境に適合した露出で第１の撮像情報を生成することができる。また、プロジェクタ２０は、全白画像の撮像時の露出で第２の撮像情報を生成することにより、差分画像の生成に適した露出で第２の撮像情報を生成することができる。

特に、自動露出設定で全白画像を撮像することにより、センサー６０は、スクリーン１０が外光の影響を受ける場合、投写距離が遠すぎたりスクリーン１０の反射率が低すぎて投写光の反射光が弱すぎる場合、投写距離が近すぎたりスクリーン１０の反射率が高すぎて投写光の反射光が強すぎる場合のいずれにおいても、固定露出で撮像する場合と比べ、センサー６０のダイナミックレンジを有効に活用して撮像することができる。

（変形例）
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。

例えば、検索の手順は任意であり、プロジェクタ２０は、差分画像に対して横方向に検索して中央基準位置や周辺基準位置を検出した後に当該中央基準位置や当該周辺基準位置に基づいて縦方向に検索してもよい。

また、プロジェクタ２０は、投写領域情報に基づく画像の歪み補正以外にも、例えば、投写領域情報に基づき、投写領域内の色むら補正、投写領域内の指示位置検出等の投写領域の位置情報を使用する種々の処理を行ってもよい。

さらに、プロジェクタ２０は、スクリーン領域１８を検出してから投写領域を検出してもよい。

図１３は、本実施形態の他の一例に係るプロジェクタ２０の機能ブロック図である。また、図１４は、本実施形態の一例に係る周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。また、図１５は、本実施形態の一例に係る周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。

例えば、図１３に示すように、投写領域検出部１５０内に投写対象領域境界点検出部１５９を設ける。

中央基準位置検出部１５４は、投写対象領域境界点検出部１５９に中央基準位置情報を出力する。

投写対象領域境界点検出部１５９は、第１の撮像画像を検索対象として、図１４に示すように、点Ｐ３および点Ｐ４のそれぞれから数％内側にある線と、ｙ＝ｙ１の線と、ｙ＝ｙ２の線のそれぞれの交点から中央ブロック領域１６の外側へ向かって上記数％内側にある線上の各画素に対してエッジ検出を行う。なお、エッジ検出には一般的な手法を用いる。これにより、図１４に示す点Ｔ、Ｕ、Ｖ、Ｗが判別される。また、投写対象領域境界点検出部１５９は、点Ｔ、Ｕ、Ｖ、Ｗの位置を示すスクリーン領域境界点情報を周辺基準位置検出部１５６に出力する。

周辺基準位置検出部１５６は、点ＴのＹ座標であるｙＴ、点ＵのＹ座標であるｙＵのうち小さい値と、Ｐ１のＹ座標であるｙ１に基づき、上側の横方向の検索の基準となる位置Ｙ＝ｙＱを検出する。また、周辺基準位置検出部１５６は、点ＶのＹ座標であるｙＶ、点ＷのＹ座標であるｙＷのうち小さい値と、Ｐ２のＹ座標であるｙ２に基づき、下側の横方向の検索の基準となる位置Ｙ＝ｙＲを検出する。

周辺基準位置検出部１５６は、Ｘ＝ｘｔ、Ｘ＝ｘＵ、Ｙ＝ｙＱ、Ｙ＝ｙＲの４本の直線が交わるそれぞれの交点から差分画像におけるＹ＝ｙＱ、Ｙ＝ｙＲ上を外側に検索し、出力のある画素を検出することにより、４つの点Ｐ５〜Ｐ８を判別する。周辺基準位置検出部１５６は、同様の手法により、残りの４点Ｐ９〜Ｐ１２を判別する。

投写領域検出部１５０は、このような手法によっても中央ブロック領域１６の中央基準位置と、周辺ブロック領域１７−１〜１７−４の周辺基準位置を判別し、投写領域の４隅の位置を判別することができる。

特に、この手法によれば、投写領域情報生成部１５８は、前述した手法と比べ、投写対象領域外で周辺基準位置を検出するという望ましくない処理を防止することができ、さらに、近似直線を求めるための３点の間隔をより離した状態で近似直線を求めることができる。これにより、プロジェクタ２０は、より高精度に投写領域の位置を検出することができる。

なお、中央基準位置の個数や周辺基準位置の個数は任意であり、上述した実施例に限定されない。

また、第１のキャリブレーション画像１３と第２のキャリブレーション画像１４のパターンは、図６（Ａ）および図６（Ｂ）に示す例に限定されず、少なくとも差分画像になった状態で中央ブロック領域１６が形成されればよく、特に、差分画像になった状態で中央ブロック領域１６と周辺ブロック領域１７−１〜１７−４が形成されることが好ましい。例えば、中央ブロック領域１６を含む第１のキャリブレーション画像１３と、周辺ブロック領域１７−１〜１７−４を含む第２のキャリブレーション画像１４を採用してもよい。

また、キャリブレーション画像、中央ブロック領域１６および周辺ブロック領域１７−１〜１７−４の形状は矩形に限定されず、例えば、円形等の矩形以外の形状を採用してもよい。もちろん、キャリブレーション画像全体の形状と、中央ブロック領域１６の形状は、相似形に限定されず、両者の形状の対応がわかる形状であればよい。さらに、周辺ブロック領域１７−１〜１７−４の個数も任意である。

また、スクリーン１０以外の黒板、白板等の投写対象物に画像を投写する場合であっても本発明は有効である。

また、例えば、上述した実施例では、画像処理システムをプロジェクタ２０に実装した例について説明したが、プロジェクタ２０以外にもＣＲＴ（Cathode Ray Tube）等のプロジェクタ２０以外の画像表示装置に実装してもよい。また、プロジェクタ２０としては、液晶プロジェクタ以外にも、例えば、ＤＭＤ（Digital Micromirror Device）を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。

また、上述したプロジェクタ２０の機能は、例えば、プロジェクタ単体で実装してもよいし、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実装してもよい。

さらに、上述した実施例では、センサー６０をプロジェクタ２０に内蔵した構成であったが、センサー６０を、プロジェクタ２０とは別の独立した装置として構成してもよい。

本実施形態の一例に係る画像投写状況を示す概略図である。 本実施形態の一例に係るスクリーンと投写画像との位置関係を示す模式図である。 本実施形態の一例に係るプロジェクタの機能ブロック図である。 本実施形態の一例に係るプロジェクタのハードウェアブロック図である。 本実施形態の一例に係る投写領域の位置検出処理の流れを示すフローチャートである。 本実施形態の一例に係るキャリブレーション画像の模式図であり、図６（Ａ）は、第１のキャリブレーション画像の模式図であり、図６（Ｂ）は、第２のキャリブレーション画像の模式図である。 本実施形態の一例に係る中央基準位置を検出する際の第１段階の検索方法を示す模式図である。 本実施形態の一例に係る中央基準位置を検出する際の第２段階の検索方法を示す模式図である。 本実施形態の一例に係る周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。 本実施形態の一例に係る周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。 本実施形態の一例に係る近似直線を設定する際の第１段階を示す模式図である。 本実施形態の一例に係る近似直線を設定する際の第２段階を示す模式図である。 本実施形態の他の一例に係るプロジェクタの機能ブロック図である。 本実施形態の一例に係る周辺基準位置を検出する際の第１段階の検索方法を示す模式図である。 本実施形態の一例に係る周辺基準位置を検出する際の第２段階の検索方法を示す模式図である。

符号の説明

２０ プロジェクタ、６０ センサー（撮像手段）、１１２ 画像歪み補正部、１４０ 撮像情報記憶部、１５０ 投写領域検出部、１５２ 差分画像生成部、１５４ 中央基準位置検出部、１５６ 周辺基準位置検出部、１５８ 投写領域情報生成部、１５９ 投写対象領域境界点検出部、１６２ 画像歪み補正量演算部、１６４ 輝度ピーク位置検出部、９００ 情報記憶媒体

Claims (11)

1. 第１のキャリブレーション画像および第２のキャリブレーション画像を、それぞれ異なる時点において投写する画像投写手段と、
   投写された各キャリブレーション画像を撮像して第１および第２の撮像情報を生成する撮像手段と、
   前記第１および第２の撮像情報に基づき、前記撮像手段の撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域検出手段とを含み、
   前記第１のキャリブレーション画像と前記第２のキャリブレーション画像との差分画像は、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
   前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
   前記投写領域検出手段は、
   前記第１および第２の撮像情報に基づき、前記差分画像を生成する差分画像生成手段と、
   前記差分画像に基づき、前記撮像手段の撮像領域における前記中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
   前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
   前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域情報を生成する投写領域情報生成手段と、
   を含むことを特徴とする画像処理システム。
2. 請求項１において、
   前記投写領域情報生成手段は、前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成することを特徴とする画像処理システム。
3. 請求項２において、
   前記投写領域および前記中央ブロック領域は、矩形の領域であり、
   前記投写領域情報生成手段は、前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成することを特徴とする画像処理システム。
4. 請求項１〜３のいずれかにおいて、
   前記第１の撮像情報と、前記中央基準位置とに基づき、前記撮像領域における前記投写対象物が相当する投写対象領域の複数の境界点を検出する投写対象領域境界点検出手段を含み、
   前記周辺基準位置検出手段は、前記境界点に基づき、前記周辺基準位置を検出することを特徴とする画像処理システム。
5. 第１のキャリブレーション画像および第２のキャリブレーション画像を、それぞれ異なる時点において投写する画像投写手段と、
   投写された各キャリブレーション画像を撮像して第１および第２の撮像情報を生成する撮像手段と、
   前記第１および第２の撮像情報に基づき、前記撮像手段の撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域検出手段とを含み、
   前記第１のキャリブレーション画像と前記第２のキャリブレーション画像との差分画像は、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
   前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
   前記投写領域検出手段は、
   前記第１および第２の撮像情報に基づき、前記差分画像を生成する差分画像生成手段と、
   前記差分画像に基づき、前記撮像手段の撮像領域における前記中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
   前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
   前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域情報を生成する投写領域情報生成手段と、
   を含むことを特徴とするプロジェクタ。
6. コンピュータにより読み取り可能なプログラムであって、
   コンピュータを、
   第１のキャリブレーション画像および第２のキャリブレーション画像を、それぞれ異なる時点において投写する画像投写手段と、
   投写された各キャリブレーション画像を撮像して第１および第２の撮像情報を生成する撮像手段と、
   前記第１および第２の撮像情報に基づき、前記撮像手段の撮像領域における投写領域の位置に関する投写領域情報を生成する投写領域検出手段として機能させ、
   前記第１のキャリブレーション画像と前記第２のキャリブレーション画像との差分画像は、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、
   前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有し、
   前記投写領域検出手段は、
   前記第１および第２の撮像情報に基づき、前記差分画像を生成する差分画像生成手段と、
   前記差分画像に基づき、撮像領域における前記中央ブロック領域の複数の中央基準位置を検出する中央基準位置検出手段と、
   前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出する周辺基準位置検出手段と、
   前記中央基準位置と、前記周辺基準位置とに基づき、前記投写領域情報を生成する投写領域情報生成手段と、
   を含むことを特徴とするプログラム。
7. コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
   請求項６に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
8. 第１のキャリブレーション画像と第２のキャリブレーション画像との差分画像であって、当該差分画像の中央付近に位置する中央ブロック領域と、当該中央ブロック領域の周辺に位置する周辺ブロック領域と、前記中央ブロック領域および前記周辺ブロック領域以外の背景領域とから構成され、かつ、前記中央ブロック領域および前記周辺ブロック領域における各画素と、前記背景領域における各画素とは異なる指標値を有する差分画像に基づき、画像処理を行う画像処理方法であって、
   前記第１のキャリブレーション画像を投写し、
   投写された前記第１のキャリブレーション画像を撮像して第１の撮像情報を生成し、
   前記第２のキャリブレーション画像を投写し、
   投写された前記第２のキャリブレーション画像を撮像して第２の撮像情報を生成し、
   前記第１および第２の撮像情報に基づき、前記差分画像を生成し、
   当該差分画像に基づき、前記撮像手段の撮像領域における前記中央ブロック領域の複数の中央基準位置を検出し、
   前記中央基準位置に基づき、前記撮像領域における前記周辺ブロック領域の複数の周辺基準位置を検出し、
   前記中央基準位置と、前記周辺基準位置とに基づき、前記撮像領域における投写領域の位置に関する投写領域情報を生成することを特徴とする画像処理方法。
9. 請求項８において、
   前記中央基準位置と、前記周辺基準位置とに基づき、複数の近似直線または近似曲線を設定して前記中央ブロック領域および前記周辺ブロック領域の形状または配置を把握することにより、前記投写領域情報を生成することを特徴とする画像処理方法。
10. 請求項９において、
    前記投写領域および前記中央ブロック領域は、矩形の領域であり、
    前記複数の近似直線の交点または前記複数の近似曲線の交点を検出することにより、前記中央ブロック領域の４隅の位置を把握し、当該４隅の位置に基づき、前記投写領域の４隅の位置を示す前記投写領域情報を生成することを特徴とする画像処理方法。
11. 請求項８〜１０のいずれかにおいて、
    前記第１の撮像情報と、前記中央基準位置とに基づき、前記撮像領域における前記投写対象物が相当する投写対象領域の複数の境界点を検出し、
    前記境界点に基づき、前記周辺基準位置を検出することを特徴とする画像処理方法。

Images