JP2007181146A - 画像投影装置、画像投影装置の投影画像補正方法及びプログラム - Google Patents

Abstract

【課題】スクリーンの辺を検出できなかった場合でも画像を正しく補正する。
【解決手段】撮像部１２は、スクリーンＳを撮影してスクリーンＳの辺を検出する。スクリーンＳの辺を１〜３つ検出した場合、投影部１３は、四角形画像を投影し、撮像部１２は、この四角形画像を撮影して、投影エリアを取得する。画像処理部１７は、角度センサ１４ｈ，１４ｖが取得した水平角度θh、垂直角度θvに基づいて、スクリーンＳをスクリーン座標に変換し、スクリーンＳの回転補正を行う。画像処理部１７は、検出できなかったスクリーンＳの辺を、検出されたスクリーンＳの辺に基づいて補正する。そして、画像処理部１７は、演算部１６が求めた変換式に基づいて、スクリーンＳの４つの頂点座標と投影エリアの４つの頂点座標とが対応させるように、投影画像の変形を行う。
【選択図】図１

Description

本発明は、画像投影装置、画像投影装置の投影画像補正方法及びプログラムに関するものである。

従来のプロジェクタとして、ＣＣＤ等の撮像素子を用いてスクリーンをカメラで撮影し、スクリーンに予め付されている黒枠に基づいて投光エリアの位置を設定するようにしたものがある（例えば、特許文献１参照）。

かかる従来のプロジェクタは、デジタルカメラでスクリーンを撮影する。図１４において、Area11は、デジタルカメラの撮影エリアであり、（a1,b1），（a2,b1），（a1,b2），（a2,b2）は、撮影エリアArea11の４つの頂点座標を示し、（ａ，ｂ）は、撮影エリアArea11の中心位置を示す。

Area12は、デジタルカメラで捉えたスクリーンエリアを示し、（x1,y1），（x2,y1），（x1,y2），（x2,y2）は、スクリーンエリアArea12の４つの頂点座標を示し、（x,y）は、スクリーンエリアArea12の中心位置を示す。

プロジェクタは、中心位置（x,y）を中心位置（ａ，ｂ）に移動する移動量を算出して、スクリーンエリアArea12を、算出した移動量だけ移動させる。
また、かかるプロジェクタは、スクリーン枠の４つの頂点と投光エリアの４つの頂点とが対応するように画像を変形することにより、スクリーンに対応する画像を投影することができる。
特開２００４−７２５７０号公報（第８−１０頁、図１）

しかし、このような従来のプロジェクタでは、スクリーンの４辺を撮像エリアArea11内に収める必要があり、スクリーン枠を取得できない場合、あるいは撮像エリアArea11よりもスクリーンエリアArea12が大きく、撮像エリアArea11の範囲にスクリーンエリアArea12が収まらなくて、スクリーンの３辺までしか検出できなかった場合、画像を正しく補正することができない。

本発明は、このような従来の問題点に鑑みてなされたもので、画像を正しく補正することが可能な画像投影装置、画像投影装置の投影画像補正方法及びプログラムを提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る画像投影装置は、
多角形のスクリーンに画像を投影する投影部と、
前記スクリーンを撮影して、撮像エリア内にスクリーン画像を形成する撮像部と、
前記投影部と前記撮像部とを制御する制御部と、
前記撮像部の撮影によって、前記撮像エリア内に形成された前記スクリーン画像からスクリーン辺を検出し、検出されたスクリーン辺と前記投影部が投影する投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する補正を行う画像処理部と、を備え、
前記制御部は、
前記画像処理部が前記撮像部の撮像エリア内で検出した前記スクリーン辺の数がいくつあるかを判定し、
前記スクリーン辺の少なくとも１辺が検出されなかったと判定した場合に、前記投影部を制御して、前記スクリーンと形状が対応する多角形画像を投影し、
前記撮像部を制御して、前記撮像エリア内に収まるように前記投影部が投影した前記多角形画像を撮影し、
前記画像処理部は、
前記撮像部の前記撮像エリア内において検出されなかったスクリーン辺を、検出されたスクリーン辺の情報に基づいて取得し、検出されたスクリーン辺及び取得したスクリーン辺に基づいて前記スクリーン画像を形成し、
前記投影部が投影した多角形画像の形状と前記撮像部の前記撮像エリア内に形成された多角形画像の形状との関係を取得し、取得した関係に従って、形成した前記スクリーン画像のスクリーン辺と前記投影部が投影する前記投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する補正を行うように構成されたことを特徴とする。

前記スクリーンの傾斜角度を計測するスクリーン傾斜角度計測部を備え、
前記制御部は、前記スクリーン辺の少なくとも１辺が検出されなかったと判定した場合に、前記スクリーンの傾斜角度を計測するように前記スクリーン傾斜角度計測部を制御し、
前記画像処理部は、前記撮像部の前記撮像エリア内において検出されたスクリーン辺を、前記スクリーン傾斜角度計測部が計測した前記スクリーンの傾斜角度に基づいて、前記スクリーンの平面を基準として座標が設定されたスクリーン座標系の辺に変換し、
前記撮像エリア内において検出されなかったスクリーン辺を、前記スクリーン座標系におけるスクリーン辺の情報に基づいて取得し、前記スクリーン座標系におけるスクリーン辺及び取得したスクリーン辺に基づいて補正した前記スクリーン画像を形成するようにしてもよい。

第１の多角形の各頂点座標と第２の多角形の各頂点座標とが供給され、前記第１の多角形の各頂点座標を前記第２の多角形の各頂点座標に変換する変換式を取得する変換式取得部を備え、
前記制御部は、前記撮像部の前記撮像エリア内に形成された多角形画像を前記第１の多角形、前記投影部が投影した多角形画像を前記第２の多角形として、前記第１の多角形の各頂点座標と前記第２の多角形の各頂点座標とを前記変換式取得部に供給して、前記変換式取得部から変換式を取得して前記画像処理部に供給し、
前記画像処理部は、制御部から供給された変換式に従って、前記投影部が投影した多角形画像の形状と前記撮像部の前記撮像エリア内に形成された多角形画像の形状との関係を取得するようにしてもよい。

本発明の第２の観点に係る画像投影装置の投影画像補正方法は、
多角形のスクリーンに画像を投影する投影部と、前記スクリーンを撮影して、撮像エリア内にスクリーン画像を形成する撮像部と、を備えた画像投影装置の投影画像補正方法であって、
前記投影部に、前記多角形のスクリーンに画像を投影させるステップと、
前記撮像部に、前記スクリーンを撮影させて、撮像エリア内にスクリーン画像を形成するステップと、
前記撮像部の撮影によって、前記撮像エリア内に形成された前記スクリーン画像からスクリーン辺を検出し、検出されたスクリーン辺と前記投影部が投影する投影対象画像の辺とが対応するように前記投影対象画像の形状を変形するステップと、
前記撮像部の撮像エリア内で検出した前記スクリーン辺の数がいくつあるかを判定するステップと、
前記スクリーン辺の少なくとも１辺が検出されなかったと判定した場合に、前記投影部を制御して、前記スクリーンと形状が対応する多角形画像を投影するステップと、
前記撮像部を制御して、前記撮像エリア内に収まるように前記投影部が投影した前記多角形画像を撮影するステップと、
前記撮像部の前記撮像エリア内において検出されなかったスクリーン辺を、検出されたスクリーン辺の情報に基づいて取得し、検出されたスクリーン辺及び取得したスクリーン辺に基づいて前記スクリーン画像を形成するステップと、
前記投影部が投影した多角形画像の形状と前記撮像部の前記撮像エリア内に形成された多角形画像の形状との関係を取得するステップと、
取得した関係に従って、形成した前記スクリーン画像のスクリーン辺と前記投影部が投影する前記投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する補正を行うステップと、を備えたことを特徴とする。

本発明の第３の観点に係るプログラムは、
コンピュータに、
画像投影装置の投影部に、多角形のスクリーンに画像を投影する手順、
画像投影装置の撮像部に、前記スクリーンを撮影させて、前記撮像部の撮像エリア内にスクリーン画像を形成する手順、
前記撮像部の撮影によって、前記撮像エリア内に形成された前記スクリーン画像からスクリーン辺を検出し、検出されたスクリーン辺と前記投影部が投影する投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する手順と、
前記撮像部の撮像エリア内で検出した前記スクリーン辺の数がいくつあるかを判定する手順と、
前記スクリーン辺の少なくとも１辺が検出されなかったと判定した場合に、前記投影部を制御して、前記スクリーンと形状が対応する多角形画像を投影する手順と、
前記撮像部を制御して、前記撮像エリア内に収まるように前記投影部が投影した前記多角形画像を撮影する手順、
前記撮像部の前記撮像エリア内において検出されなかったスクリーン辺を、検出されたスクリーン辺の情報に基づいて取得し、検出されたスクリーン辺及び取得したスクリーン辺に基づいて前記スクリーン画像を形成する手順、
前記投影部が投影した多角形画像の形状と前記撮像部の前記撮像エリア内に形成された多角形画像の形状との関係を取得する手順、
取得した関係に従って、形成した前記スクリーン画像のスクリーン辺と前記投影部が投影する前記投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する補正を行う手順、
を実行させるためのものである。

本発明によれば、画像を正しく補正することができる。

以下、本発明の実施形態に係る画像投影装置としてのプロジェクタを、図面を参照して説明する。
本実施形態に係るプロジェクタ１の構成を図１に示す。
本実施形態に係るプロジェクタ１は、画像メモリ１１と、撮像部１２と、投影部１３と、角度センサ１４ｈ，１４ｖと、画像入力部１５と、演算部１６と、画像処理部１７と、リモコン受光部１８と、キーパッド１９と、制御部２０と、を備える。

このプロジェクタ１は、スクリーンＳを撮影し、スクリーンＳの４辺に投影画像の４辺を対応させることにより、画像の形状を補正し、撮像エリアの範囲においてスクリーンの辺をすべて検出できなかった場合でも、画像を正しく補正するように構成されている。

画像メモリ１１は、画像データを記憶するためのものである。撮像部１２は、図２に示すように、スクリーンＳを撮影するものであり、ＣＣＤ（Charge Coupled Device;電荷結合素子）等の撮像素子を備える。スクリーンＳの形状は、四角形であり、スクリーンＳは４つの頂点を有している。撮像部１２は、スクリーンＳを撮影することにより、図２に示すような撮像エリアArea1を形成する。

撮像部１２は、スクリーンＳの辺を検出するときに撮影を行う。撮像エリアArea1とスクリーンＳのエリアとの関係は、プロジェクタ１の光軸に対するスクリーンＳの傾斜角度に基づいて決定される。図３（ａ）は、撮像エリアArea1内にスクリーンＳの辺が含まれない場合を示す。図３（ｂ）は、スクリーンＳの４つの辺が含まれる場合を示す。図３（ｃ）は、スクリーンＳの辺が１〜３つ含まれる場合を示す（この図では、２つの辺）。

投影部１３は、画像を投影するものであり、投影素子（図示せず）と投影レンズ１３ａとを有している。この投影レンズ１３ａは、図４に示すように、プロジェクタ１の前面パネルに配置される。尚、撮像部１２は、投影レンズ１３ａとの視差を少なくするため、投影レンズ１３ａの近傍に配置される。

投影部１３は、図３（ｂ）に示すように、撮像エリア内にスクリーンＳの４つの辺が含まれる場合、あるいは、図３（ｃ）に示すように、スクリーンＳの１〜３つの辺が含まれる場合、多角形画像として、図５に示すような四角形画像Ｑを投影する。

この四角形画像Ｑは、投影画像とスクリーンＳとを対応させるための画像であり、四角形画像Ｑの４つの角度は、９０°である。この四角形画像Ｑは、検出されたスクリーンＳの辺から推測してスクリーンＳに収まるであろうサイズに設定される。Area2は、この四角形画像Ｑを投影したときに形成された投影エリアを示す。尚、画像メモリ１１は、この四角形画像Ｑのデータを予め記憶する。

撮像部１２は、この投影エリアArea2を撮影し、撮像素子上の投影エリアArea2の座標を取得する。この撮像部１２の撮像素子上における座標系を撮像素子座標とし、投影部１３の投影素子上における座標系を投影素子座標系とする。尚、いずれの座標系も２次元の直交座標系とする。

角度センサ１４ｈは、プロジェクタ１の光軸に対するスクリーンＳの傾斜角度として、スクリーンＳの水平方向の水平角度θhを計測するセンサである。角度センサ１４ｖは、プロジェクタ１の光軸に対してスクリーンＳの垂直方向の垂直角度θvを計測するものである。

角度センサ１４ｈ，１４ｖには、例えば、パッシブ方式の位相差センサが用いられる。角度センサ１４ｈ，１４ｖは、図２に示すように、プロジェクタ１の前面に配置される。

画像入力部１５は、投影する投影画像の画像データを入力するものである。プロジェクタ１は、例えば、画像データを記憶するコンピュータ（図示せず）に接続され、画像入力部１５は、このコンピュータから画像データが供給される。画像入力部１５は、コンピュータから画像データが供給されると、供給された画像データを画像メモリ１１に記憶する。

演算部１６は、第１の四角形の４つの頂点座標を第２の四角形の４つの頂点座標とが供給されて、第１の四角形の４つの頂点座標を第２の四角形の４つの頂点座標に変換する変換式を取得するものである。この変換式を取得する方法について説明する。

まず、座標系をｘ，ｙ，ｚ軸からなる直交座標系として、式ｆ_Mを数１に示すように定義する。

そして、次の数２が成り立つような行列Ｍの決定を試みる。

まず、式ｆ_Mは行列Ｍをスカラー倍しても不変であり、数２の第１の条件より、行列Ｍを次の数３によって表すことができる。

さらに、ｍ₃₁＝α、ｍ₃₂＝βとして、数２の第２、第３の条件より、行列Ｍは、次の数４によって表される。

また、数２の第４の条件に従ってα、βを求めると、α、βは、それぞれ、次の数５によって表される。

数５によって表されたα、βを数３に代入して、式を整理すると、数６を導くことができる。

ここで、数７に示す関係式が成立する。

行列Ｍ₁，Ｍ₂を次の数８に示すように定義する。

この結果、数７の第２式は、座標Ｐ０，Ｐ１，Ｐ２，Ｐ３を、それぞれ、座標Ｑ０，Ｑ１，Ｑ２，Ｑ３に変換する変換式となる。

演算部１６は、投影素子座標と撮像素子座標とが供給されると、それぞれの行列Ｍを決定し、この２つの座標間を変換する変換式を取得する。また、演算部１６は、スクリーンＳの４頂点の座標と４つの投影素子座標とが供給されると、それぞれの行列Ｍを決定し、スクリーンＳの４つの頂点座標を４つの投影素子座標に変換する変換式を取得する。

画像処理部１７は、画像データに対する画像処理を行うものである。画像処理部１７は、画像処理として、撮像部１２の撮影によって得られたスクリーンＳの辺を検出する。

画像処理部１７は、例えば、撮影画像に対して２値化してフィルタ処理を施するエッジ画像を取得し、ハフ変換を行うことにより、このエッジ画像からスクリーンＳの辺を検出する。ハフ変換とは、２次元平面上の直線を構成する点を、回転座標系のρ-θ平面上に投票して、ρ-θ平面上の投票数に変換する変換手法である。

次に、画像処理部１７は、検出されたスクリーンＳの辺が０の場合、水平角度θhと垂直角度θvとのデータが供給されて、制御部２０から、台形補正を行うように指示される。この場合、画像処理部１７は、画像処理として、台形補正処理を実行する。

具体的には、画像処理部１７は、台形補正前の四角形を図６（ａ）に示すように四角形ａｂｃｄとして、図６（ｂ）に示す投影像ａ’ｂ’ｃ’ｄ’の中に、投影像ｐ’ｑ’ｒ’ｓ’を切り出す。

画像処理部１７は、図６（ｃ）に示すように、切り出した投影像ｐ’ｑ’ｒ’ｓ’を逆変換して投影像ｐｑｒｓを生成し、生成した投影像ｐｑｒｓに、四角形ａｂｃｄの画像を射影変換することにより、台形補正を行う。

画像処理部１７は、このように台形補正処理を行うと、この補正した画像のデータを画像メモリ１１に記憶する。

また、画像処理部１７は、撮像エリアArea1内において、検出したスクリーンＳの辺が少なくとも１つの場合、制御部２０から、演算部１６が取得した変換式が供給されて、投影画像の画像変形処理を実行するように指示される。

画像処理部１７は、供給された変換式に従って、投影素子座標における投影画像を変形する画像変形処理を実行する。画像処理部１７は、このようにして変形した画像のデータを、画像メモリ１１に記憶する。

また、画像処理部１７は、図３（ｃ）に示すように、撮像エリアArea1内におけるスクリーンＳの辺が１〜３つ検出された場合、検出されなかったスクリーンＳの辺の頂点座標を取得する座標取得処理を実行する。図７は、投影部１３が四角形画像Ｑを投影した状態を示す。この場合、画像処理部１７には、水平角度θhと垂直角度θvとのデータが供給される。

画像処理部１７は、プロジェクタ１とスクリーンＳとの角度と検出した水平角度θh、垂直角度θvとが一致しているとして、検出されたスクリーンＳを、スクリーンＳ面を基準に座標が設定されたスクリーン座標に変換する。画像処理部１７は、このように座標変換を行って、図８に示すような補正スクリーンＳ１を生成する。

スクリーンＳが地平面に対して垂直でプロジェクタ１がスクリーンＳに対して左右に傾いていなければ、検出されたスクリーンの辺によって形成された直線は、スクリーン座標において正確に水平、垂直となる。

しかし、スクリーンＳが水平でなく、プロジェクタ１がスクリーンＳに対して左右に傾いていれば、この図８に示すように、補正スクリーンＳ１は回転する。

このため、画像処理部１７に、この補正スクリーンＳ１の回転方向の補正を行う。画像処理部１７は、補正スクリーンＳ１から、撮像エリアArea1内において検出できたスクリーンＳの辺の傾きの平均値を取得することにより、この補正スクリーンＳ１の回転方向の補正を行う。画像処理部１７は、このような補正スクリーンＳ１に対する回転補正を行って、図９に示すような補正スクリーンＳ２を生成する。

このようにして、画像処理部１７は、スクリーンＳに対して、水平方向、垂直方向、光軸を軸とする回転方向の３つの角度による補正を行う。

検出されたスクリーンＳの辺が２辺以上の場合、図９に示すように、補正スクリーンＳ１と補正スクリーンＳ２との間に、測定誤差等による微妙なずれが生じる。

投影画像がスクリーンＳのエリアと一致することが望ましいため、画像処理部１７は、図１０に示すように、図７に示す撮像エリアArea1とスクリーンＳとの関係において、検出できなかった辺には、補正スクリーンＳ２の辺を用い、検出できた辺には、補正スクリーンＳ１の辺をそのまま用い、この４辺による四角形の補正スクリーンＳ３を生成する。画像処理部１７は、このようにしてスクリーンＳの形状を補正して、この補正スクリーンＳ３の４つの頂点座標を取得する。

画像処理部１７は、このように座標取得処理を実行して、補正スクリーンＳ３の４つの頂点座標を取得すると、取得した頂点座標を制御部２０に供給する。そして、画像処理部１７は、このように変形した補正スクリーンＳ３の画像データを画像メモリ１１に記憶する。

リモコン受光部１８は、リモコン（図示せず）からの赤外線等を受光するものである。リモコンは、プロジェクタ１の操作情報を取得するためのものであり、プロジェクタ１の電源をオン、オフする電源スイッチを備える。リモコンは、取得した操作情報を、赤外線を利用してプロジェクタ１に送信する。

キーパッド１９は、プロジェクタ１を操作するための操作情報を入力するためのものであり、プロジェクタ１の水平方向、垂直方向の角度調整用のキー等を備える。キーパッド１９は、キーが操作されたとき、この操作情報を制御部２０に送信する。

制御部２０は、プロジェクタ１全体を制御するものであり、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備える。制御部２０は、リモコン受光部１８から、電源をオンした旨の操作情報を取得した場合、あるいは、キーパッド１９からプロジェクタ１の水平方向、垂直方向の角度調整用のキーを操作した旨の操作情報を受信した場合、補正制御処理を実行する。

制御部２０は、スクリーンＳを撮影するように撮像部１２を制御し、画像処理部１７に、撮像エリアArea1内のスクリーンＳの辺を検出するように指示する。

画像処理部１７がスクリーンＳの辺を検出すると、制御部２０は、検出されたスクリーンＳの辺がいくつあるかを判定する。そして、制御部２０は、検出されたスクリーンＳの辺の数に従って、異なる処理を実行する。

撮像エリアArea1内に、検出されたスクリーンＳの辺がないと判定した場合、図３（ａ）に示すように、スクリーンＳのエリアが撮像エリアArea1と比較して十分に広いと考えられる。この場合、スクリーンＳの４頂点の座標が得られないため、投影エリアArea2とスクリーンＳのエリアとを対応させるような画像変形を行うことはできない。

このため、制御部２０は、角度センサ１４ｈ，１４ｖに、それぞれ、スクリーンＳの水平角度θh、垂直角度θvを取得させ、この角度センサ１４ｈ，１４ｖが取得した水平角度θh、垂直角度θvを画像処理部１７に供給する。そして、制御部２０は、画像処理部１７に、投影画像の台形補正を行うように指示する。

撮像エリアArea1内において、検出されたスクリーンＳの辺が４つと判定した場合、図３（ｂ）に示すように、撮像エリアArea1内にスクリーンＳが収まっている場合である。この場合、スクリーンＳの４つ頂点座標が得られるため、投影部１３の投影素子における４つの頂点が撮像素子のどの４点に対応するかを判別することができる。このため、スクリーンＳの４つの頂点座標を投影素子座標に変換することにより投影画像のの四角形が定まるため、投影画像をこの四角形に変形するような画像変形を行う。

制御部２０は、投影エリアArea2の４つの頂点座標と投影素子座標の四角形画像Ｑの４つの頂点座標とを演算部１６に供給し、この変換式を取得する変換式取得処理を実行する。

即ち、制御部２０は、検出したスクリーンＳの４辺から推測してスクリーンＳに十分に収まると考えられるサイズの四角形画像Ｑを投影するように投影部１３を制御する。

制御部２０は、撮像部１２を制御して、投影エリアArea2が撮像エリアArea1内に収まるように、投影エリアArea2を撮影し、投影エリアArea2の４つの頂点座標を取得する。

そして、制御部２０は、演算部１６に、投影素子における投影画像の４つの頂点座標とスクリーンＳの４つの頂点座標とを供給して、この２つの座標間の変換式を取得するように指示する。

制御部２０は、このような変換式取得処理を実行すると、演算部１６から変換式を取得し、画像処理部１７に対し、取得した変換式を供給し、この変換式に従って画像変形処理を実行するように指示する。

撮像エリアArea1内において、検出したスクリーンＳの辺が１〜３つと判定した場合、即ち、４辺のうち、少なくとも１辺が検出されなかったと判定した場合、図３（ｃ）に示すように、撮像エリアArea1内において検出されなかったスクリーンＳの辺があるため、このままでは、上記のような画像変形を行うことはできない。

この場合、制御部２０は、まず、変換式取得処理を実行する。そして、制御部２０は、角度センサ１４ｈ、１４ｖに、それぞれ、水平角度θh、垂直角度θvを取得させる。制御部２０は、角度センサ１４ｈ、１４ｖがそれぞれ取得した水平角度θh、垂直角度θvを画像処理部１７に供給して、座標取得処理を実行するように指示する。

制御部２０は、さらに演算部１６に、投影素子における投影画像の４つの頂点座標とスクリーンＳの４つの頂点座標とを供給して、この２つの座標間の変換式を取得させる。制御部２０は、画像処理部１７に対し、この変換式を供給して、この変換式に従って画像変形処理を行うように指示する。

制御部２０は、画像処理部１７に対し、演算部１６から取得した変換式を供給し、供給した変換式に従って画像変形処理を実行するように指示する。

このように、補正制御処理を実行すると、制御部２０は、画像メモリ１１に記憶された補正画像をスクリーンＳに投影するように投影部１３を制御する。

次に本実施形態に係るプロジェクタ１の動作を説明する。
制御部２０は、リモコン受光部１８から、電源をオンした旨の操作情報を取得した場合、あるいは、キーパッド１９からプロジェクタ１の水平方向、垂直方向の角度調整用のキーを操作した旨の操作情報を受信すると、補正制御処理を実行する。

制御部２０は、図１１に示すフローチャートに従って、この補正制御処理を実行する。
即ち、制御部２０は、スクリーンＳを撮影するように撮像部１２を制御する（ステップＳ１１）。

制御部２０は、画像処理部１７に対し、スクリーンＳの辺を検出するように指示する（ステップＳ１２）。

制御部２０は、検出されたスクリーンＳの辺がいくつあるかを判定する（ステップＳ１３）。

撮像エリアArea1内において、検出されたスクリーンＳの辺がないと判定した場合（ステップＳ１３において０本）、制御部２０は、角度センサ１４ｈ、１４ｖに、それぞれ、スクリーンＳの水平角度θh、垂直角度θvを取得するように制御する（ステップＳ１４）。

制御部２０は、画像処理部１７に、角度センサ１４ｈ，１４ｖが取得した水平角度θh、垂直角度θvを供給して、投影画像の台形補正を行うように指示する（ステップＳ１５）。

撮像エリアArea1内において、検出されたスクリーンＳの辺が４つと判定した場合（ステップＳ１３において、４つ）、制御部２０は、図１２に示すフローチャートに従って変換式取得処理を実行する（ステップＳ１６）。

制御部２０は、検出したスクリーンＳの４辺から推定してスクリーンＳに十分に収まると考えられるサイズの四角形画像Ｑを投影するように投影部１３を制御する（図１２のステップＳ３１）。

制御部２０は、撮像部１２を制御して、撮像エリアArea1内に投影エリアArea2が収まるように、投影エリアArea2を撮影する（ステップＳ３２）。

制御部２０は、撮像部１２に、投影エリアArea2の４つの頂点座標を取得させる（ステップＳ３３）。

制御部２０は、演算部１６に、撮像素子座標における投影エリアArea2の４つの頂点座標と投影素子座標における四角形画像Ｑの４つの頂点座標とを供給して、この２つの座標間の変換式を取得するように指示する（ステップＳ３４）。

制御部２０は、このように変換式取得処理を実行すると、画像処理部１７に対し、取得した変換式を供給し、供給した変換式に従って画像変形処理を実行するように指示する（図１１のステップＳ１７）。

画像処理部１７は、供給された変換式に従って、投影画像の各座標を投影素子座標の各座標に変換する。そして、画像処理部１７は、変形した画像のデータを画像メモリ１１に記憶する。

撮像エリアArea1内において、検出されたスクリーンＳの辺が１〜３つと判定した場合（ステップＳ１３において１〜３つ）、制御部２０は、図１２に示すフローチャートに従って変換式取得処理を実行する（ステップＳ１８）。

制御部２０は、角度センサ１４ｈ、１４ｖに、それぞれ、スクリーンＳの水平角度θh、垂直角度θvを取得するように制御する（ステップＳ１９）。

制御部２０は、画像処理部１７に対して座標取得処理を実行するように指示する（ステップＳ２０）。

画像処理部１７は、図１３に示すフローチャートに従って、座標取得処理を実行する。即ち、画像処理部１７は、検出されたスクリーンＳを、スクリーンＳ面を基準に原点が設定されたスクリーン座標系の座標に変換する（図１３のステップＳ４１）。

画像処理部１７は、スクリーンＳ１から、検出できたスクリーンＳの辺の傾きの平均値を取得する（ステップＳ４２）。
画像処理部１７は、スクリーンＳ１の回転方向の補正を行う（ステップＳ４３）。

画像処理部１７は、検出できなかった辺には、スクリーンＳ２の辺を用い、検出できた辺には、スクリーンＳ１の辺をそのまま用いて、この４辺による四角形をスクリーンＳ３として取得し、このスクリーンＳ３の４つの頂点座標を取得する（ステップＳ４４）。

画像処理部１７は、取得した４つの頂点座標を制御部２０に供給する（ステップＳ４５）。
制御部２０は、画像処理部１７から４つの頂点座標が供給されると、この４つの頂点座標を演算部１６に供給して、投影画像の４つの頂点座標をスクリーンＳ３の４つの頂点座標に変換する変換式を取得する（図１１のステップＳ２１）。

制御部２０は、画像処理部１７に対して、取得した変換式を供給し、供給した変換式に従って画像変形処理を実行するように指示する（ステップＳ１７）。画像処理部１７は、供給された変換式に従って、投影画像の各座標を投影素子座標の各座標に変換する。そして、画像処理部１７は、変形した画像のデータを画像メモリ１１に記憶する。

制御部２０は、このように補正制御処理を実行すると、補正した画像をスクリーンＳに投影するように投影部１３を制御する。投影部１３は、画像メモリ１１から、補正した画像のデータを読み出して、スクリーンＳに投影する。スクリーンＳには、検出されたスクリーンＳの辺に一致した長方形の投影画像が投影される。

以上説明したように、本実施形態によれば、スクリーンＳの４辺すべてを検出できなかった場合に、プロジェクタ１は、スクリーンＳの水平角度θh、垂直角度θvを用いて検出できなかった辺の傾きを求め、スクリーンＳ３の４つの頂点座標を取得するようにした。

従って、スクリーンＳの枠がない場合、あるいはスクリーンが大きく撮像エリアArea1の範囲にスクリーンＳが収まらない場合であっても、スクリーンＳと投影エリアArea2とが対応するように投影画像を正しく補正することができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施の形態に限られるものではない。
例えば、上記実施形態では、画像処理部１７は、撮像エリアArea1内におけるスクリーンＳの辺が１〜３つ検出された場合に、検出できたスクリーンＳの辺の平均値に基づいて、補正スクリーン１の回転補正を行うようにした。しかし、辺の平均値ではなく、例えば、中間値等を用いて補正スクリーン１の回転補正を行うようにしてもよい。

角度センサ１４ｈ，１４ｖはパッシブ方式の位相差センサとして説明した。しかし、角度センサ１４ｈ，１４ｖは、このものに限られるものではなく、アクティブ方式のものであってもよい。

本実施形態では、投影部１３が、投影画像のサイズを決定するため、投影画像とは異なる四角形画像Ｑを投影するようにした。しかし、投影画像のサイズが判別できれば、画像入力部１５が入力した投影画像を四角形画像Ｑとして投影するようにしてもよい。また、投影画像のサイズを決定するための画像形状は、四角形でなくてもよく、スクリーンＳの形状に対応していれば、三角形、あるいは五角形以上であってもよい。

上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、撮影装置を、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態に係るプロジェクタの構成を示す図である。 図１に示す撮像部がスクリーンの方向を撮影したときの様子を示す図である。 スクリーンと撮像エリアとの具体的な関係を示す図である。 図１に示すプロジェクタの前面パネルを示す図である。 図１に示すプロジェクタが四角形画像を投影したときの撮像エリアと投影エリアとスクリーンとの関係を示す図である。 図１に示す画像処理部が実行する台形補正を示す図である。 スクリーンの辺が撮像エリアからはみ出た場合を示す図である。 水平角度と垂直角度とを用いて図７に示すスクリーンをスクリーン座標に変換した様子を示す図である。 図８に示すスクリーンに対して回転方向の補正を行った様子を示す図である。 図９に示すスクリーンから、最終的な投影エリアを設定する様子を示す図である。 図１に示す制御部が実行する補正制御処理を示すフローチャートである。 図１に示す制御部が実行する変換式取得処理を示すフローチャートである。 図１に示す画像処理部が実行する座標取得処理を示すフローチャートである。 従来の投影画像の補正内容を示す図である。

符号の説明

１ プロジェクタ
１２ 撮像部
１３ 投影部
１４ｈ，１４ｖ 角度センサ
１６ 演算部
１７ 画像処理部
２０ 制御部

Claims (5)

1. 多角形のスクリーンに画像を投影する投影部と、
   前記スクリーンを撮影して、撮像エリア内にスクリーン画像を形成する撮像部と、
   前記投影部と前記撮像部とを制御する制御部と、
   前記撮像部の撮影によって、前記撮像エリア内に形成された前記スクリーン画像からスクリーン辺を検出し、検出されたスクリーン辺と前記投影部が投影する投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する補正を行う画像処理部と、を備え、
   前記制御部は、
   前記画像処理部が前記撮像部の撮像エリア内で検出した前記スクリーン辺の数がいくつあるかを判定し、
   前記スクリーン辺の少なくとも１辺が検出されなかったと判定した場合に、前記投影部を制御して、前記スクリーンと形状が対応する多角形画像を投影し、
   前記撮像部を制御して、前記撮像エリア内に収まるように前記投影部が投影した前記多角形画像を撮影し、
   前記画像処理部は、
   前記撮像部の前記撮像エリア内において検出されなかったスクリーン辺を、検出されたスクリーン辺の情報に基づいて取得し、検出されたスクリーン辺及び取得したスクリーン辺に基づいて前記スクリーン画像を形成し、
   前記投影部が投影した多角形画像の形状と前記撮像部の前記撮像エリア内に形成された多角形画像の形状との関係を取得し、取得した関係に従って、形成した前記スクリーン画像のスクリーン辺と前記投影部が投影する前記投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する補正を行うように構成された、
   ことを特徴とする画像投影装置。
2. 前記スクリーンの傾斜角度を計測するスクリーン傾斜角度計測部を備え、
   前記制御部は、前記スクリーン辺の少なくとも１辺が検出されなかったと判定した場合に、前記スクリーンの傾斜角度を計測するように前記スクリーン傾斜角度計測部を制御し、
   前記画像処理部は、前記撮像部の前記撮像エリア内において検出されたスクリーン辺を、前記スクリーン傾斜角度計測部が計測した前記スクリーンの傾斜角度に基づいて、前記スクリーンの平面を基準として座標が設定されたスクリーン座標系の辺に変換し、
   前記撮像エリア内において検出されなかったスクリーン辺を、前記スクリーン座標系におけるスクリーン辺の情報に基づいて取得し、前記スクリーン座標系におけるスクリーン辺及び取得したスクリーン辺に基づいて補正した前記スクリーン画像を形成する、
   ことを特徴とする請求項１に記載の画像投影装置。
3. 第１の多角形の各頂点座標と第２の多角形の各頂点座標とが供給され、前記第１の多角形の各頂点座標を前記第２の多角形の各頂点座標に変換する変換式を取得する変換式取得部を備え、
   前記制御部は、前記撮像部の前記撮像エリア内に形成された多角形画像を前記第１の多角形、前記投影部が投影した多角形画像を前記第２の多角形として、前記第１の多角形の各頂点座標と前記第２の多角形の各頂点座標とを前記変換式取得部に供給して、前記変換式取得部から変換式を取得して前記画像処理部に供給し、
   前記画像処理部は、制御部から供給された変換式に従って、前記投影部が投影した多角形画像の形状と前記撮像部の前記撮像エリア内に形成された多角形画像の形状との関係を取得する、
   ことを特徴とする請求項１又は２に記載の画像投影装置。
4. 多角形のスクリーンに画像を投影する投影部と、前記スクリーンを撮影して、撮像エリア内にスクリーン画像を形成する撮像部と、を備えた画像投影装置の投影画像補正方法であって、
   前記投影部に、前記多角形のスクリーンに画像を投影させるステップと、
   前記撮像部に、前記スクリーンを撮影させて、撮像エリア内にスクリーン画像を形成するステップと、
   前記撮像部の撮影によって、前記撮像エリア内に形成された前記スクリーン画像からスクリーン辺を検出し、検出されたスクリーン辺と前記投影部が投影する投影対象画像の辺とが対応するように前記投影対象画像の形状を変形するステップと、
   前記撮像部の撮像エリア内で検出した前記スクリーン辺の数がいくつあるかを判定するステップと、
   前記スクリーン辺の少なくとも１辺が検出されなかったと判定した場合に、前記投影部を制御して、前記スクリーンと形状が対応する多角形画像を投影するステップと、
   前記撮像部を制御して、前記撮像エリア内に収まるように前記投影部が投影した前記多角形画像を撮影するステップと、
   前記撮像部の前記撮像エリア内において検出されなかったスクリーン辺を、検出されたスクリーン辺の情報に基づいて取得し、検出されたスクリーン辺及び取得したスクリーン辺に基づいて前記スクリーン画像を形成するステップと、
   前記投影部が投影した多角形画像の形状と前記撮像部の前記撮像エリア内に形成された多角形画像の形状との関係を取得するステップと、
   取得した関係に従って、形成した前記スクリーン画像のスクリーン辺と前記投影部が投影する前記投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する補正を行うステップと、を備えた、
   ことを特徴とする画像投影装置の投影画像補正方法。
5. コンピュータに、
   画像投影装置の投影部に、多角形のスクリーンに画像を投影する手順、
   画像投影装置の撮像部に、前記スクリーンを撮影させて、前記撮像部の撮像エリア内にスクリーン画像を形成する手順、
   前記撮像部の撮影によって、前記撮像エリア内に形成された前記スクリーン画像からスクリーン辺を検出し、検出されたスクリーン辺と前記投影部が投影する投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する手順と、
   前記撮像部の撮像エリア内で検出した前記スクリーン辺の数がいくつあるかを判定する手順と、
   前記スクリーン辺の少なくとも１辺が検出されなかったと判定した場合に、前記投影部を制御して、前記スクリーンと形状が対応する多角形画像を投影する手順と、
   前記撮像部を制御して、前記撮像エリア内に収まるように前記投影部が投影した前記多角形画像を撮影する手順、
   前記撮像部の前記撮像エリア内において検出されなかったスクリーン辺を、検出されたスクリーン辺の情報に基づいて取得し、検出されたスクリーン辺及び取得したスクリーン辺に基づいて前記スクリーン画像を形成する手順、
   前記投影部が投影した多角形画像の形状と前記撮像部の前記撮像エリア内に形成された多角形画像の形状との関係を取得する手順、
   取得した関係に従って、形成した前記スクリーン画像のスクリーン辺と前記投影部が投影する前記投影対象画像の辺とが対応するように前記投影対象画像の形状を変形する補正を行う手順、
   を実行させるためのプログラム。

Images