JP2013172444A - 画像投射装置 - Google Patents

Abstract

【課題】撮影装置で撮影した撮影画像を用いて幾何歪み補正を行うことができる画像投射装置を提供する。
【解決手段】パターン画像生成部１７においてパターン画像を生成するにあたって、パターン画像の背景に中間レベルの平坦部を設けるようにした。またパターン画像中に中間レベルより高い階調レベルの高階調部、中間階調レベルより低い階調レベルの低階調部により格子点位置を指示するようにした。そして幾何歪み検出部１９において、環境光の影響含んだ状態で、撮影画像のピークまたはボトム位置を検出することにより、誤差を含んだ状態で格子点位置を検出し、検出した格子点２×２個の中間位置の平坦部の画素値からそれ以外の全画素位置の環境光の成分を線形補間で計算し、計算した環境光の成分を減算した画像で再度ピークまたはボトムを検出することにより高精度に格子点位置を検出して歪み補正パラメータを求めるようにした。
【選択図】図３

Description

本発明は、近接型の画像投射装置において発生する幾何歪みを補正するのに好適な画像投射装置に関する。

近年、開発された超短焦点プロジェクタ（近接型の画像投射装置）は、スクリーンのすぐ近くから画像を投影できるため、プレゼンターが前を横切っても、投影の邪魔にならないなどメリットがある。一方、スクリーンの近くからおあり投射するため、一般的な吊り下げ型のシート状スクリーンでは、スクリーン表面のわずかな形状歪みが原因で、投影画像を正面から見たときに、大きな歪みとなって見えてしまうという問題があった。
あおり投射とは、プロジェクタでは投影レンズの光軸とＤＭＤ(Digital Mirror Device)や液晶パネルの中心をずらすことによって投影レンズの光軸よりも上方にスクリーンの中心が来るように結像させることをいう。
従来のプロジェクタは、スクリーンの正面よりずれた方向から画像を投影した場合にスクリーン上に投影される投影画像の画面全体が台形状に歪む台形歪みに対する補正機能が搭載されていることが多かった。

しかし、上述した超短焦点プロジェクタにおけるスクリーン歪みに起因する幾何歪みは、画面全体の台形歪みを補正する補正では、補正できない非線形な歪みであった。またスクリーン面内の位置によって表面形状のうねり方も異なるので、スクリーン面内で不規則な歪みであった。
このようなスクリーン形状に起因する投影画像の幾何歪みを補正する方法として、非特許文献１には、投影すべき元画像を小さな正方ブロックに分割し、これらのブロックごとに、歪みパラメータ（ブロックの４頂点の元画像と投影画像での対応）を計測し、これに基づいてブロック単位に歪みと逆の変形が行われるよう予めフレームメモリ上の画像を補正する方法が提案されている。

非特許文献１では、ブロックごとの幾何歪みの計測には、パターンコード化法が用いられている。パターンコード化法は、複数枚からなるグレイコードパターン（グレイコードに対応する縦または横の黒白の縞パターン）を投影して、観察者の方向からカメラでこれらを各々撮像し、得られた複数枚の画像からプロジェクタ画像とカメラ画像のブロックごとの対応点、すなわちブロックごとの幾何歪みを補正するようにしている。

しかしながら、超短焦点プロジェクタの場合、超短焦点プロジェクタの配置位置とスクリーン上の投影画像を観察する観察者の位置が大きく異なっており、超短焦点プロジェクタの内蔵カメラからだと、プロジェクタの光軸とほとんど差がない方向から投影画像を観察することになるので、スクリーン正面の観察者に見えている投影画像の歪みを撮影することは原理上困難であった。

図１７は、超短焦点プロジェクタにおいてプロジェクタの配置位置からスクリーン正面から観察する観察者に見える投影画像の歪みを撮影することができない原理説明図である。
スクリーンが本来あるべき位置をスクリーン位置１００、たわみによってずれたスクリーン位置をスクリーン位置１０１とした場合、スクリーン位置１００とスクリーン位置１０１との差はわずかであるが、スクリーンの至近から投影した投影像の上下のずれ幅ｄは、これより大きく増幅される。この増幅率は、プロジェクタ光とスクリーンの角度が小さくなればなるほど大きくなる。
このようなスクリーンに起因する歪みは、スクリーン正面のカメラ１２０で撮影したり或いは観察者が観察すれば容易に観察することができるが、超短焦点プロジェクタ１１０の内蔵カメラ１２１から撮影したり、或いはこの位置から観察者が観察しても、プロジェクタ光軸と近い視点から撮影或いは観察することになるので、僅かな角度差から生ずる歪み画像を撮影或いは観察することはほとんど不可能であった。
このため、超短焦点プロジェクタ１１０の歪み補正を、内蔵カメラ１２１を用いて行う場合は、例えば内蔵カメラ１２１の他にスクリーンまでの距離を計測するステレオカメラを搭載し、ステレオカメラを利用してスクリーン面までの距離を計測してスクリーンの３次元形状を得た上で、内蔵カメラ１２１で撮影した撮像画像を観察者方向（スクリーン正面）から見た画像へ変換する必要があった。

しかしながら、このように構成した場合は、超短焦点プロジェクタ１１０の内蔵カメラ１２１として、超広角カメラと、高精度の距離センサーまたは超広角ステレオカメラが必要になるため、コストが高くなるという問題点があった。
そこで、コストアップを招くことなく、超短焦点プロジェクタの幾何歪み補正を行う方法として、外付けカメラを用いて観察者方向（スクリーン正面）からスクリーンに投影したパターン画像を複数枚撮影し、撮影した複数枚のパターン画像を利用して補正を行う方法が考えられる。しかし、外付けカメラで複数枚のパターン画像の撮影が必要な場合は、外付けカメラを固定する必要があり、観客席に三脚を設置するなどしなければならないので現実的でない。そこで、外付けカメラを利用して超短焦点プロジェクタの幾何歪み補正を行う場合には、パターン画像の撮影が１枚で済むように構成する必要がある。

一般に１枚のパターン画像で歪みを計測するには、チェッカーパターンや、細線による格子パターンなどを用いて、格子点の対応点を検出することが考えられる。
またパターンコード化法では、蛍光灯などの環境光の影響を考慮して２値化をロバストにするため、ネガ、ポジ反転したパターンを使用して、固定しきい値による２値化の代わりに、ネガ、ポジパターンの撮像画像の波形を重ねてその値が交差するところで２値化結果を切り替える２値化方法（相補パターン投影法）がよく行われる。しかしながら、パターン画像を１枚にすると上記手法は使えず、また環境光の影響を受け易くなり、対応点の取得が困難になるという問題点があった。
さらに、環境光のない暗室条件であっても至近距離からあおって投射する超短焦点プロジェクタでは、スクリーン面上の位置の違いにより超短焦点プロジェクタからの距離が大きく異なるため、プロジェクタに近い部分がより明るくなり、投影画像の輝度の面内均一性が確保し難いという問題点があった。

なお、特許文献１では、オートフォーカス、台形補正のためのパターン画像を１枚用意し、パターンを構成する直線をグラデーション状にすることでフォーカスが合っていない状態でも「＋」や「田」のパターン位置を正確に検出し易くする方法が提案されているが、環境光の影響は考慮されていなかった。
本発明は、上記したような問題点を鑑みてなされたものであり、コストアップなしでスクリーンの歪み起因する幾何歪みを簡単に補正することができる画像投射装置を提供することを目的とする。

本発明は、上記したような点を鑑みてなされたものであり、請求項１に係る本発明は、中間階調レベルの平坦部の背景画像と、前記中間階調レベルより高い階調レベルの高階調部および前記中間階調レベルより低い階調レベルの低階調部により格子点位置を指示するパターン画像の画像データを生成するパターン画像生成手段と、前記パターン画像をスクリーンに投影する投影手段と、補正用の撮影画像を入力する補正画像入力手段と、前記補正画像入力手段より入力された、前記スクリーンに投影された前記パターン画像を撮影した補正用の撮影画像に基づいて、前記補正用の撮影画像をブロック分割した格子点の幾何歪み情報を生成する幾何歪み検出手段と、前記幾何歪み情報に基づいて、前記投影手段により前記スクリーンに投影される投影画像の幾何歪みを補正する幾何歪み補正手段と、を備えることを特徴とする。

本発明によれば、コストアップなしでスクリーンの歪みに起因する幾何歪みを簡単に補正することが可能になる。

本発明の実施形態に係るプロジェクタの構成を示したブロック図である。 本実施形態に係るプロジェクタが実行する幾何歪み補正処理を示したフローチャートである。 本実施形態に係るプロジェクタの幾何歪み検出部が実行する第１の検出処理を示したフローチャートである。 （ａ）は第１の検出処理におけるパターン画像、（ｂ）は（ａ）に示すパターン画像のＡ−Ａ線の輝度値を示した断面図である。 図４に示すパターン画像を検出したときの格子点２×２個ごとの中間位置の平坦部の画素位置を白丸で示した図である。 検出された格子点２×２個ごとの中間位置の平坦部の画素値から、それ以外の全画素位置の環境光の成分（直流成分）を線形補間で計算した例を示した図である。 （ａ）は２５６階調を１６段階に等分した輝度のパッチ画像の一例、（ｂ）は(ａ)に示したパッチ画像を撮影して計測した入出力特性の一例を示した図である。 パターン画像の一例として、細線格子パターンを示した図である。 コンテンツ画像（アスペクト比４：３）を示した図である。 求まった格子点の外周で囲まれる領域内に内接する最大の大きさでアスペクト比４：３を保って変倍した投影コンテンツ画像をマップした例を示した図である。 （ａ）〜（ｃ）は各格子点位置座標のマップした投影コンテンツ画像上の位置に対応する等倍原画像上の座標への変換例を示した図である。 本実施形態に係るプロジェクタが実行する幾何歪み補正処理を示したフローチャートである。 本実施形態に係るプロジェクタの幾何歪み検出部の第２の検出処理を示したフローチャートである。 （ａ）は、第２の検出処理におけるパターン画像、（ｂ）は（ａ）に示すパターン画像のＢ−Ｂ線の輝度値を示した断面図である。 図１４に示すパターン画像を検出したときの格子点２×２個ごとの中間位置の平坦部の画素位置を白丸で示した図である。 検出された格子点２×２個ごとの中間位置の平坦部の画素値から、それ以外の全画素位置の環境光の成分（直流成分）を線形補間で計算した例を示した図である。 超短焦点プロジェクタにおいてプロジェクタの配置位置からスクリーン正面から観察する観察者に見える投影画像の歪みを撮影することができない原理説明図である。

以下、本発明の実施形態について説明する。
図１は、本発明の実施形態に係る画像投射装置の構成を示したブロック図である。
図１に示す画像投射装置（以下、単に「プロジェクタ」と称する）１は、近接投射型の画像投射装置であり、映像信号入力部１１、幾何歪み補正部１２、フレームメモリ１３、切り替えスイッチ１４、指示部１５、投影部１６、パターン画像生成部１７、幾何歪み補正用画像入力部１８、幾何歪み検出部１９等を備えている。
映像信号入力部１１は、スクリーン２０に投影すべき映像の映像信号を外部から入力するための入力部である。
幾何歪み補正部１２は、映像信号入力部１１から入力される映像信号に対して歪み補正を行う場合は、歪み補正パラメータに従ってフレームメモリ１３上で映像信号の各フレームを補正して出力する。また、幾何歪み補正部１２は、歪み補正を行わない場合は、映像信号に対して歪み補正を施すことなく出力する。

切り替えスイッチ１４は、指示部１５の指示により投影部１６への入力信号を切り替えるスイッチであり、切り替えスイッチ１４の一方には幾何歪み補正部１２が接続され、他方にはパターン画像生成部１７が接続されている。
指示部１５は、図示しない操作パネルやリモートコントローラ等の操作装置からの操作情報に基づいて切り替えスイッチ１４の切り替え制御を行う。
投影部１６は、切り替えスイッチ１４を介して入力される映像信号に対応する映像をスクリーン２０上に投影する。

パターン画像生成部１７は、幾何歪み検出用のパターン画像を生成する。なお、パターン画像の詳細については後述する。
歪み補正用画像入力部１８は、外部記録媒体２１が接続されたときに外部記録媒体２１から歪み補正用画像であるパターン画像データを取り込む。
外部記録媒体２１に記録されるパターン画像データは、スクリーン２０に歪み補正用のパターン画像を投影した状態で、ユーザが手持ちのデジタルカメラ（撮影装置）２２でスクリーン２０を正面から撮影することにより得られる。
幾何歪み検出部１９は、歪み補正用画像入力部１８から入力されるパターン画像データを解析して、幾何歪み補正部１２に歪み補正パラメータを出力する。

＜第１の実施形態＞
次に、本実施形態に係るプロジェクタ１が実行する幾何歪み補正について説明する。
図２は、本実施形態に係るプロジェクタが実行する幾何歪み補正処理を示したフローチャートである。
本実施形態のプロジェクタ１において幾何歪み補正を行う場合は、例えばユーザが図示しない操作パネルに対して所定操作を行う。この操作により指示部１５は切り替えスイッチ１４を切り替えて、映像信号入力部１１からの映像信号の代わりパターン画像生成部１７において生成される幾何歪み検出用のパターン画像データを投影部１６に入力する。これにより、投影部１６から幾何歪み補正用パターンをスクリーン２０に投影する（Ｓ１）。図１のスクリーン２０には、パターン画像として、図８に示すような細線格子パターンを投影した場合の投影画像が示されている。
次に、ユーザにスクリーン２０に投影された投影画像をデジタルカメラ２２で撮影して外部記録媒体２１に記録し、外部記録媒体２１に記録した撮像画像をプロジェクタ１の歪み補正用画像入力部１８へ入力するように指示する（Ｓ２）。このような指示は、例えばプロジェクタ１に図示しない表示パネルが設けられている場合は表示パネルを利用して行うことができる。また音声出力装置を備えている場合には音声により行うことも可能である。このときデジタルカメラ２２により撮影されたパターン画像は、スクリーン２０の形状に起因する幾何歪みを伴っている。

次に、プロジェクタ１では、幾何歪み検出部１９において、歪み補正用画像入力部１８に入力された撮像パターン画像を解析する幾何歪み検出処理を行い（Ｓ３）、解析により得られた歪み補正パラメータを幾何歪み補正部１２に設定する（Ｓ４）。
幾何歪み補正部１２は、歪み補正パラメータに従って、フレームメモリ１３上で映像信号を各フレームごとに補正する幾何歪み補正処理を行う（Ｓ５）。
幾何歪み補正部１２が幾何歪み補正処理を開始したら指示部１５は投影部１６への入力をパターン画像生成部１７のパターン画像から幾何歪み補正部１２から出力される幾何歪み補正後の映像信号に切り替える（Ｓ６）。
これにより、スクリーン２０に起因する幾何歪みを補正した画像、すなわち、幾何歪み検出部１９により検出した幾何歪みを逆に変形させた画像がスクリーン２０に投影され、歪みを補正した投影像として表示することができる。

次に、本実施形態に係るプロジェクタ１の幾何歪み検出部１９が実行する検出処理について説明する。
先ず、幾何歪み検出部１９が実行する第１の検出処理において使用するパターン画像について説明する。図４（ａ）は、第１の検出処理に用いるパターン画像、図４（ｂ）は図４（ａ）に示すパターン画像のＡ−Ａ線の輝度値を示した断面図である。なお、図４ではパターン画像を２５６×１９２画素サイズの画像により示している。
図４（ａ）に示すパターン画像３０では、背景画像の中間レベル（この例では輝度値１２８）３１の中に、１６画素単位で格子点位置となるピーク部３２とボトム部３３が交互に配置されている。ピーク部３２は中間レベル３１より輝度値が高い（例えば輝度値２５５）高階調部であり、ボトム部３３は中間レベル３１よりも輝度値が低い（例えば輝度値０）低階調部である。
スクリーンの歪みは非線形ではあるが、布などの滑らかな撓みなので、格子点の周期は１６画素程度の細かさで取れば、スクリーンの歪みをほぼ補正可能であることが非特許文献１に記載されている。

なお、本実施形態では、パターン画像３０の背景画像の階調を中間レベル３１は、ここでは２５６階調の中央の値１２８としたが、これはあくまでも一例であり、実際には、プロジェクタ１およびデジタルカメラ２２の入出力特性は線形でないのでこれを考慮した値とすることがより好ましい。
例えば、プロジェクタ１とデジタルカメラ２２とを組み合わせたときに、図７（ａ）に示すような２５６階調を１６段階に等分した輝度のパッチ画像３５を投影した場合、撮影して計測した入出力特性の例は、図７（ｂ）のようになる。このような特性を予め計測しておき、背景画像の中間レベルを図７（ｂ）に示すデジタルカメラ２２のカメラ出力の範囲の中央の値とすることもできる。このように設定した場合は、輝度のピークまたはボトムのどちらかがぶれることがなくなり、検出も容易となる。

以下、本実施形態の幾何歪み検出部１９が実行する第１の検出処理について説明する。
図３は、本実施形態の幾何歪み検出部が実行する第１の検出処理を示したフローチャートである。本実施形態のプロジェクタ１においては、図８に示す細線格子パターンの代わりに、図４に示したパターン画像をスクリーン２０に投影した投影画像をデジタルカメラ２２で撮影し、撮影した画像が歪み補正用画像入力部１８から入力されたものとする。
この場合、幾何歪み検出部１９は、まず撮像されたパターン画像についてそのままで、ピークまたはボトムの位置を検出して環境光の影響による誤差を含んだ状態で格子点位置を検出する（Ｓ１１）。なお、ピークまたはボトムの検出は、一般のラプラシアンフィルタなどでピーク、またはボトムの位置を整数画素精度で粗く検出すればよい。

ここで、環境光の影響とは、例えばスクリーン２０の右上近くに蛍光灯があり、スクリーン２０の右上端辺りが他より明るくなっているような状態を想定している。この場合は、パターン画像の投影画像も右上端辺りがやや輝度が高くなってしまう。この結果、輝度のピークやボトムがつぶれ気味になったり、その輝度値の波形に環境光成分が加わって傾いたりすることで、ピークまたはボトム位置が精度良く求まらなくなる。
次に、幾何歪み検出部１９は、検出された格子点２×２個ごとの中間位置の平坦部の画素値から、それ以外の全画素位置の環境光の成分（直流成分）を線形補間で計算する（Ｓ１２）。

図５は、図４に示すパターン画像３０を検出したときの格子点２×２個ごとの中間位置の平坦部の画素位置を白丸３４で示した図である。本来、投影画像では、スクリーン２０に起因する幾何歪みが生じているが、説明を簡単にするため、図５では幾何歪みが無い状態を示している。
図６は、検出された格子点２×２個ごとの中間位置の平坦部の画素値（図５の白丸位置の撮像画像上での輝度値）から、それ以外の全画素位置の環境光の成分（直流成分）を線形補間で計算した例（画面の右上が環境光で明るくなっている場合）を示した図である。なお、図７に示した例では、スクリーン全体をカバーしていないが、カバーされていない外側の部分も内側から線形に外挿して生成する。
図７に示すように、本来平坦部は理想的には一定の輝度レベルとなるはずだが、環境光成分が加わって右上に向かって輝度レベルが高くなっている。

次に、幾何歪み検出部１９は、撮像画像から上記図６に示した環境光の成分を減算し、再度一般のラプラシアンフィルタなどで、整数画素精度で格子点位置を検出する（Ｓ１３）。
さらに求まったピークまたはボトムの整数画素位置近辺において輝度値で重み付けした重心位置を求めることで、より高精度に小数点精度で格子点座標を求める。ここまでで格子点の歪み具合（撮像画像上での格子点座標）が検出される。
次に、幾何歪み検出部１９は、求まった格子点の外周で囲まれる領域に内接する最大の大きさでアスペクト比を保ってスクリーン２０に投影したコンテンツ画像をマップし（Ｓ１４）、各格子点位置座標をマップしたコンテンツ画像上の位置に対応する等倍原画像上の座標（歪み補正パラメータ）に変換する。（Ｓ１５）。つまり、歪みと逆の変形を投影する元画像に加えるための歪み補正パラメータを求めるようにしている。

以下、上記した幾何歪み検出部１９が実行する第１の検出処理の一例を具体的に説明するが、ここでは説明を簡単にするため、パターン画像として図８に示す細線格子パターンを利用した場合を説明する。
図９にコンテンツ画像（アスペクト比４：３）を示した図である。但し、ここでコンテンツ画像サイズは、プロジェクタの画面サイズと同じサイズ、すなわちコンテンツ画像は投影する映像信号の１フレームを意味している。
図１０は、求まった格子点の外周で囲まれる領域内に内接する最大の大きさでアスペクト比４：３を保って変倍した投影コンテンツ画像をマップした例を示した図である。

図１１は、各格子点位置座標のマップした投影コンテンツ画像上の位置に対応する等倍原画像上の座標（歪み補正パラメータ）への変換例を示した図である。
プロジェクタ１のフレームメモリ１３上の格子パターンは、図１１（ａ）に示す通り、左上を原点にして正方ブロックに分割される。なお、格子（ブロック）のサイズをｂｌｋ（画素）とする。
格子点はそれぞれ、図１１（ｂ）に示すようにスクリーン歪みによって歪んで投影され、デジタルカメラによって撮影される。撮影された投影された投影画像上での格子点の座標はすべて求まっている。

ここで、例えば図１１（ａ）に示す元のパターン画像の（１２×ｂｌｋ、８×ｂｌｋ）座標の格子点（白丸の点）に注目すると、撮像画像上での対応位置は（Ｘｃａｍ，Ｙｃａｍ）となる。
図１１（ｂ）により投影され得る領域内に最大サイズでアスペクト比を保って変倍したコンテンツ画像をマップする。
マップしたコンテンツ画像の左上の原点座標を（Ｘ０，Ｙ０）、コンテンツ画像の変倍率Ｒとすると、撮像画像上でこの格子点に映し出すべき、コンテンツ画像の画素位置（Ｘｃｏｎｔ，Ｙｃｏｎｔ）は、以下のように求まる。
Ｘｃｏｎｔ＝（Ｘｃａｍ−Ｘ０）／Ｒ
Ｙｃｏｎｔ＝（Ｙｃａｍ−Ｙ０）／Ｒ
となる。
従って、全ての格子点についてのコンテンツ画像上での画素位置（Ｘｃｏｎｔ，Ｙｃｏｎｔ）が歪み補正パラメータとなる。

このように本実施形態のプロジェクタ１においては、パターン画像生成部１７においてパターン画像を生成するにあたって、パターン画像の背景に中間レベルの平坦部３１を設ける。そしてパターン画像中に中間レベル３１より高い階調レベルのピーク部３２、中間レベル３１より低い階調レベルのボトム部３３により格子点位置を指示するようにした。
そして、幾何歪み検出部１９において、環境光の影響含んだ状態で、撮影画像のピークまたはボトムを検出することにより、誤差を含んだ状態で格子点位置を検出し、検出した格子点２×２個の中間位置の平坦部の画素値からそれ以外の全画素位置の環境光の成分(直流成分)を線形補間で計算する。そして、計算した環境光の成分（直流成分）を減算した画像で再度ピーク、またはボトム検出を行うことにより高精度に格子点位置を検出して歪み補正パラメータを求めるようにしている。

次に、本実施形態の幾何歪み補正部１２の幾何歪み補正処理について説明する。
図１２は、本実施形態のプロジェクタ１が実行する幾何歪み補正処理を示したフローチャートである。
幾何歪み補正部１２は、先ず、幾何歪み検出部１９の幾何歪み検出処理で生成した、フレームメモリ１３で投影する補正画像の格子点位置ごとの参照すべき等倍原画像上の座標（歪み補正パラメータ）を設定する（Ｓ２１）。
次に、格子点以外の参照すべき等倍原画像上の座標を、格子点の座標から線形補間で計算し、フレームメモリ１３上のすべての画素について、参照すべき等倍原画像上の座標を取得する（Ｓ２２）。この後、参照座標（小数点数）に従って、投影すべき原画像から、バイリニア、バイキュービックなどの画素補間手法でフレームメモリ１３上に補正画像を生成する（Ｓ２３）。
このようにすれば、幾何歪み補正部１２においてスクリーン２０の歪みに起因する幾何歪みを高精度に補正することが可能になる。

また、本実施形態では、プロジェクタ１に超広角カメラや高精度の距離センサーまたは超広角ステレオカメラを設ける必要がないのでコストアップを招くこともない。
さらに、外付けカメラであるデジタルカメラ２２によるパターン画像の撮影は、１枚で済むので、外付けカメラを固定して複数枚撮影する必要や観客席に三脚を設置する必要が無いという利点もある。

＜第２の実施形態＞
図１３は、本実施形態のプロジェクタの幾何歪み検出部の第２の検出処理を示したフローチャートである。また、図１４（ａ）は、第２の検出処理におけるパターン画像、図１４（ｂ）は図１４（ａ）に示すパターン画像のＢ−Ｂ線の輝度値の断面図である。
なお、図１４では説明を簡単にするため、２５６×１９２画素サイズの画像で示している。また第１の検出処理との違いは、幾何歪み補正用のパターン画像が異なる点と、それによって幾何歪み検出処理が一部異なる点である。
図１４（ａ）に示すパターン画像４０では、中間レベル（この例では輝度値１２８）４１の背景を有し、さらに格子点位置（３２画素単位）となるピーク部４２とピーク部４２に囲まれたボトム部４３が設けられている画像パターン４５が配置されている。ピーク部４２は、中間レベル４１より輝度値が高い高階調部であり、ボトム部４３は、中間レベル４１より輝度値が低い低階調部である。
図４に示したパターン画像との違いは、図１４に示した画像パターン４５の方が低階調部４２のコントラスト比が高くでき、検出のロバスト性が上がるという利点がある。
この場合、幾何歪み検出部１９は、まず撮像したパターン画像４０についてボトム検出により、環境光の影響による誤差を含んだ状態で格子点位置を検出する（Ｓ３１）。
次に、幾何歪み検出部１９は、検出された格子点２×２個ごとの中間位置の平坦部の画素値から、それ以外の全画素位置の環境光の成分（直流成分）を線形補間で計算する（Ｓ３２）。

図１５は、図１４に示すパターン画像を検出したときの格子点２×２個ごとの中間位置の平坦部の画素位置を白丸４４で示した。本来、投影画像では、スクリーン２０に起因する幾何歪みが生じているが、説明を簡単にするため、図１５では幾何歪みが無い状態で示した。

図１６は、検出された格子点２×２個ごとの中間位置の平坦部の画素値（図１５の白丸位置の撮像画像上での輝度値）から、それ以外の全画素位置の環境光の成分（直流成分）を線形補間で計算した例（画面の右上が環境光で明るくなっている場合）を示した図である。なお、図１６に示した例では、スクリーン全体をカバーしていないが、カバーされていない外側の部分も内側から線形に外挿して生成する。
図１６に示すように、本来平坦部は理想的には一定の輝度レベルとなるはずだが、環境光成分が加わって右上に向かって輝度レベルが高くなっている。
次に、幾何歪み検出部１９は、撮像画像から上記図１６に示した環境光の成分を減算し、再度一般のラプラシアンフィルタなどで、整数画素精度で格子点位置を検出する（Ｓ３３）。
次に、幾何歪み検出部１９は、求まった格子点の外周で囲まれる領域に内接する最大の大きさでアスペクト比を保ってスクリーン２０に投影したコンテンツ画像をマップし（Ｓ３４）、各格子点位置座標をマップしたコンテンツ画像上の位置に対応する等倍原画像上の座標（歪み補正パラメータ）に変換する（Ｓ３５）。

このように第２の実施形態においては、パターン画像生成部１７においてパターン画像４０を生成するにあたって、パターン画像の背景に中間階調レベルの平坦部４１を設ける。そして、パターン画像４０中に中間階調レベル４１より高いピーク部４２と、ピーク部４２に囲まれた中間階調レベル４１より低いボトム部４３により格子点位置を指示するようにした。そして、幾何歪み検出部１９において、環境光の影響含んだ状態で、撮影画像のピーク部またはボトム部を検出することにより、誤差を含んだ状態で格子点位置を検出する。そして検出した格子点２×２個の中間位置の平坦部４１の画素値からそれ以外の全画素位置の環境光の成分(直流成分)を線形補間で計算する。計算した環境光の成分（直流成分）を減算した画像で再度ボトムを検出することにより高精度に格子点位置を検出して歪み補正パラメータを求めるようにしている。このように構成した場合も第１の実施形態と同様の効果が得られる。

１…プロジェクタ、１１…映像信号入力部、１２…幾何歪み補正部、１３…フレームメモリ、１４…切り替えスイッチ、１５…指示部、１６…投影部、１７…パターン画像生成部、１８…歪み補正用画像入力部、１９…幾何歪み検出部、２０…スクリーン、２１…記録媒体、２２…デジタルカメラ

特開２０１０−２８８０６２号公報

高橋、沼徳、青木、近藤「投影画像の幾何補正に関する実験的検討」、計測自動制御学会東北支部 第２３５回研究集会 ２００７．５．１８、資料２３５−５

Claims (4)

1. 中間階調レベルの平坦部の背景画像と、前記中間階調レベルより高い階調レベルの高階調部および前記中間階調レベルより低い階調レベルの低階調部により格子点位置を指示するパターン画像の画像データを生成するパターン画像生成手段と、
   前記パターン画像をスクリーンに投影する投影手段と、
   補正用の撮影画像を入力する補正画像入力手段と、
   前記補正画像入力手段より入力された、前記スクリーンに投影された前記パターン画像を撮影した補正用の撮影画像に基づいて、前記補正用の撮影画像をブロック分割した格子点の幾何歪み情報を生成する幾何歪み検出手段と、
   前記幾何歪み情報に基づいて、前記投影手段により前記スクリーンに投影される投影画像の幾何歪みを補正する幾何歪み補正手段と、を備えることを特徴とする画像投射装置。
2. 中間階調レベルの平坦部を背景画像と、前記中間階調レベルより高い階調レベルの高階調部と、該高階調部に囲まれた前記中間階調レベルより低い階調レベルの低階調部により格子点位置を指示するパターン画像の画像データを生成するパターン画像生成手段と、
   前記パターン画像をスクリーンに投影する投影手段と、
   補正用の撮影画像を入力する補正画像入力手段と、
   前記補正画像入力手段より入力された、前記スクリーンに投影された前記パターン画像を撮影した補正用の撮影画像に基づいて、前記補正用の撮影画像をブロック分割した格子点の幾何歪み情報を生成する幾何歪み検出手段と、
   前記幾何歪み情報に基づいて、前記投影手段により前記スクリーンに投影される投影画像の幾何歪みを補正する幾何歪み補正手段と、を備えることを特徴とする画像投射装置。
3. 前記幾何歪み検出手段は、
   前記補正画像入力手段より入力された、前記補正用の撮影画像の前記平坦部の画素値を用いて、前記スクリーンに投影された前記パターン画像を撮像した撮影画像の環境光成分を補正し、該補正した撮影画像に基づいて、前記スクリーンに投影される投影画像をブロック分割した格子点の幾何歪み情報を生成することを特徴とする請求項１または２に記載の画像投射装置。
4. 前記パターン画像の中間階調レベルは、予め計測した当該画像投射装置と前記スクリーン上の前記パターン画像を撮影する撮影装置との入出力特性に基づいて決定することを特徴とする請求項１乃至３のいずれか一項に記載の画像投射装置。

Images