JP2011257622A - 画像表示装置、画像供給装置、画像処理方法、及び、プログラム - Google Patents
画像表示装置、画像供給装置、画像処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP2011257622A JP2011257622A JP2010132704A JP2010132704A JP2011257622A JP 2011257622 A JP2011257622 A JP 2011257622A JP 2010132704 A JP2010132704 A JP 2010132704A JP 2010132704 A JP2010132704 A JP 2010132704A JP 2011257622 A JP2011257622 A JP 2011257622A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- correction
- feature point
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
Abstract
【解決手段】プロジェクターは、投射面に投射された複数の特徴点画像を有する補正用画像を撮像して生成された撮像画像データに基づいて補正情報を生成する補正情報生成部31と、画像データを区分した領域ごとに、エッジの量を検出するエッジ量検出部35と、領域ごとに、エッジ量検出部35により検出されたエッジの量に応じて、補正情報に含まれる特徴点の中から画像データの補正に利用する特徴点を選択する特徴点選択部36と、選択された特徴点に対応する補正情報に基づいて画像データを補正する歪み補正部37と、を備える。
【選択図】図3
Description
この種のプロジェクターを利用してスクリーンに画像を投射した場合、スクリーンのしわや弛み等に起因して、画像に歪みが生じる場合がある。
この歪みを抑制するため、格子状に特徴点画像が配列された補正用画像をスクリーンに投射し、この補正用画像をカメラにより撮像すると共に、撮像した補正用画像に基づいて、特徴点における歪み補正量を算出し、この歪み補正量に応じて画像データを補正し、補正後の画像データに基づいてスクリーンに画像を投射し、これにより、スクリーンに投射される画像の歪みを抑制する画像処理装置が提案されている(例えば、特許文献1参照)。
本発明は、上述した事情に鑑みてなされたものであり、画像データの歪み補正の処理に係る処理負荷を低減することを目的とする。
ここで、スクリーンに投射される画像では、エッジを含まない画像と比較して、エッジを含む画像ほど、スクリーンの歪みに起因した画像の歪みが目立つ傾向がある。これは、エッジを含む画像の場合、スクリーンの歪みに起因した画像の歪みがエッジに係る画像の歪みとなってスクリーン上に視認可能な状態で現出するからである。
これを踏まえ、上記構成によれば、画像データを区分して形成された領域ごとに、エッジの量に応じて、画像データの補正に利用する特徴点が選択されるため、エッジの量が多い領域に対応する画像データついては特徴点を多く利用して歪み補正の精度を維持しつつ歪み補正を行う一方、エッジの量が少ない領域に対応する画像データについては特徴点を少なく利用して処理負荷の低減を図るといった処理が可能となり、歪み補正の精度を維持した上で、画像データの歪み補正の処理に係る処理負荷を低減できる。
この構成によれば、エッジの量が多い領域に対応する画像データついては特徴点を多く利用して歪み補正の精度を維持しつつ歪み補正を行う一方、エッジの量が少ない領域に対応する画像データについては歪み補正に利用する特徴点を疎として処理負荷の低減を図ることができる。
この構成によれば、領域におけるエッジの量と、設定された閾値との比較結果に基づいて、確実に、画像データの補正に利用する特徴点を疎とすべき領域を判別できる。
この構成によれば、領域によって画像データが略均等に区分されるため、1の領域について、他の領域との相対的なエッジの量の多寡を容易に検出することができ、エッジ量検出部による領域ごとのエッジの検出の処理に係る処理負荷を低減できる。また、上記構成によれば、領域を、その四隅のそれぞれが所定の特徴点の位置によって規定された矩形状の領域としたため、領域のそれぞれの特徴点の態様(特徴点の数、及び、領域における特徴点の位置)を同一とすることができる。
この構成によれば、補正に利用する特徴点を最も疎とする領域については、当該領域に包含される特徴点が、補正に利用する特徴点から省かれるため、領域と、特徴点との関係を踏まえて効率よく特徴点を省くことができ、処理負荷の軽減を実現できる。
この構成によれば、画像データを区分して形成された領域ごとに、エッジの量に応じて、画像データの補正に利用する特徴点が選択されるため、エッジの量が多い領域に対応する画像データついては特徴点を多く利用して歪み補正の精度を維持しつつ歪み補正を行う一方、エッジの量が少ない領域に対応する画像データについては特徴点を少なく利用して処理負荷の低減を図るといった処理が可能となり、歪み補正の精度を維持した上で、画像データの歪み補正の処理に係る処理負荷を低減できる。
また、上記目的を達成するために、本発明は、プログラムであって、画像表示装置に前記画像データを供給する画像供給装置に、上記画像処理方法を実行させることを特徴とする。
この画像処理方法によれば、画像データを区分して形成された領域ごとに、エッジの量に応じて、画像データの補正に利用する特徴点が選択されるため、エッジの量が多い領域に対応する画像データついては特徴点を多く利用して歪み補正の精度を維持しつつ歪み補正を行う一方、エッジの量が少ない領域に対応する画像データについては特徴点を少なく利用して処理負荷の低減を図るといった処理が可能となり、歪み補正の精度を維持した上で、画像データの歪み補正の処理に係る処理負荷を低減できる。
図1は、スクリーン1(投射面)と、このスクリーン1に画像を投射するプロジェクター2(画像表示装置)との関係を模式的に示す図である。なお、図1の円Xでは、スクリーン1の縦方向(図1におけるX−X方向)の断面の一部を示している。
スクリーン1は、白い布地で形成されたつり下げ式のスクリーンであり、収納時には巻き取られて円筒状の収納容器に収納される。このようなスクリーン1は、不使用時には巻き取られた状態が維持され、また、使用時に引き延ばされて使用されるという性質上、スクリーン1にしわや弛みが生じることがあり、このしわや弛みに起因してスクリーン1の表面に突状または窪み状の表面歪みが生じる場合がある。
プロジェクター2は、図1に示すように、スクリーン1の下方であって、スクリーン1から非常に近接した位置から画像を表す投射光Wをスクリーン1に投射する短焦点プロジェクターである。本実施形態に係るプロジェクター2は、詳細は後述するが、パーソナルコンピューターや、DVDやCD−R等の光ディスクを読み取り可能な光ディスクドライブ等の外部機器から入力された映像信号が示す画像データに対して、上述したスクリーン1の表面歪みに起因して生じる投射画像の歪みを補正するための歪み補正処理を施した上で、補正後の画像データに基づいて、画像を表す投射光をスクリーン1に投射する。
図1の円Xにおいて、理想投射位置Aは、スクリーン1に突状の表面歪みDが無い状態において、スクリーン1上に投射光Wが投射される位置を示し、現実投射位置Bは、実際にスクリーン1上に投射光Wが投射される位置を示している。
上述したように、本実施形態に係るプロジェクター2は、スクリーン1の下方からスクリーン1に対して上向きに投射光Wを投射する。このため、図1の円Xに示すように、スクリーン1に突状の表面歪みDが生じている場合、投射光Wは、理想投射位置Aよりも距離dだけ下方の現実投射位置Bに投射される。このようにプロジェクター2がスクリーン1に対して上向きに投射光Wを投射する場合において、スクリーン1の表面に突状の表面歪みDが生じている場合、理想投射位置Aと現実投射位置Bとの間にずれが生じるが、このずれが投射画像の歪みを生じさせる。
一方、図示は省略したが、スクリーン1がプロジェクター2側に窪み状に歪んでいると、投射光Wは理想投射位置Aより上方の現実投射位置Bに表示されることとなり、理想投射位置Aと現実投射位置Bとの間にずれが生じ、このずれが投射画像の歪みを生じさせる。
特に、本実施形態に係るプロジェクター2は、スクリーン1のほぼ真下から画像を表す投射光Wをスクリーン1に対して投射する短焦点プロジェクターであるため、投射光Wとスクリーン1の表面とによって形成される照射角度α(図1の円X参照)が、一般的なプロジェクターと比較するとより鋭角となる傾向があり、このため、表面歪みDに起因して発生する理想投射位置Aと現実投射位置Bのずれがより大きくなり、投射画像の歪みが大きくなる傾向がある。従って、このような短焦点プロジェクターたるプロジェクター2では、表面歪みDに起因した投射画像の歪みを補正したいとするニーズが高い。
撮像装置3は、撮像レンズ4および図示しない撮像素子を備え、スクリーン1に投射された投射画像を撮像し、撮像した画像を示す画像データをプロジェクター2に出力する。
なお、撮像装置3によるスクリーン1の投射画像の撮像時には、視聴者の視点位置から撮像されることが好ましく、撮像装置3の光軸とスクリーン1の法線とがほぼ平行であることが好ましいが、撮像装置3をプロジェクター2と一体化し、プロジェクター2が設置された位置からスクリーン1に投射された投射画像を撮像するようにしてもよい。
プロジェクター2は、光源ランプ10と、液晶ライトバルブ11と、投射光学系12とを備える。光源ランプ10は、光を射出する光源である。液晶ライトバルブ11は、入射する光を映像信号に基づいて変調する光変調素子であり、光源ランプ10から射出された光を、映像信号に基づいて変調する。投射光学系12は、液晶ライトバルブ11によって変調された光を倍率調整してスクリーン1に投射し、投射画像を形成する。
図2では図示を省略したが、プロジェクター2には、液晶ライトバルブ11が3つ設けられると共に、液晶ライトバルブ11のそれぞれに画像を形成する回路系がRGBの色ごとに設けられている。光源ランプ10から射出された光は、ダイクロイックミラーでRGBの3色に分離され、各色の光が、対応する色の液晶ライトバルブ11で変調される。各液晶ライトバルブ11で変調された光はダイクロイックプリズムで合成され、投射光学系12を介してスクリーン1に投射される。
制御部15は、プロジェクター2の各部を中枢的に制御するものであり、演算実行部としてのCPUや、このCPUによって実行される基本制御プログラムをコンピューターに読み取り可能な形態で不揮発的に記憶するROM、CPUによって実行されるプログラムやこのプログラムに係るデータ等を一時的に記憶するRAM、その他の周辺回路等を備えている。制御部15が備える画像処理部30については後述する。
操作部16は、プロジェクター2に設けられた各種操作スイッチに接続され、ユーザーの操作スイッチに対する操作を検出し、操作信号として制御部15に出力する。ユーザーは、例えば、操作スイッチを操作することによって、画像の歪み補正処理に用いられるパラメーターを変更したり、スクリーン1に投射される画像のコントラストを調整したりできる。
記憶部17は、不揮発メモリーを備え、各種データを記憶する。この記憶部17には、補正用画像データ25と、補正情報データ26と、が記憶されるが、これらデータについては後述する。
液晶ライトバルブ駆動部19は、制御部15の制御の下、制御部15から入力された画像データに基づいて、液晶ライトバルブ11を駆動する。
投射光学系調整部20は、投射光学系12の位置を調整する。具体的には、投射光学系調整部20は、光源ランプ10から射出される光の中心軸を表す光源光軸LAに平行な方向又は光源光軸LAに直交する方向に沿って、投射光学系12に含まれるレンズを移動させる。なお、プロジェクター2は投射光学系調整部20を備えてなくてもよく、また、手動で投射光学系12の位置を調整できるようにしてもよい。
インターフェイス部21は、上述した撮像装置3、及び、パーソナルコンピューターや光ディスクドライブ等の外部機器に接続され、制御部15の制御の下、撮像装置3、及び、外部機器との間で通信規格に準拠した通信を行う。本実施形態では、外部機器からプロジェクター2に対し映像信号が入力され、プロジェクター2は、外部機器から入力された映像信号に係る画像をスクリーン1に投射する。
この画像処理部30の機能は、制御部15のCPUがROMに記憶されたプログラムを実行する等、ハードウェアとソフトウェアとの協働によって実現される。
画像処理部30は、外部機器から入力された映像信号が示す画像データに対して、後述する歪み補正処理、及び、画質調整やガンマ補正等の各種画像処理を施した上で、液晶ライトバルブ駆動部19に出力する。上述したように、液晶ライトバルブ駆動部19は、入力された画像データに基づいて、液晶ライトバルブ11のそれぞれを駆動する。
画像データとは、プロジェクター2によってスクリーン1に投射される1の画像の元となるデータのことである。例えば、スクリーン1に動画に係る画像が投射される場合は、動画に係る動画データを構成するフレームデータのそれぞれが画像データに該当する。特に、本実施形態では、画像データとは、ビットマップ形式のデータであり、データ上でドットマトリクス状に配置された各画素について、画素毎にRGB系の色成分を階調値(例えば、0−256段階の階調値)として保持したものである。
以下の説明では、説明の明確化のため、画像処理部30に入力された画像データを「入力画像データ」と称し、画像処理部30によって歪み補正処理が施された後の画像データを「処理後画像データ」と称するものとする。
以下、画像処理部30について詳述する。
図3に示すように、画像処理部30は、補正情報生成部31と、補正情報記憶部32と、エッジ量検出部35と、特徴点選択部36と、歪み補正部37(補正部)と、を備えている。
補正情報生成部31は、入力画像データに対し歪み補正処理を施す際に歪み補正部37によって参照される補正情報データ26を生成する。
以下、補正情報生成部31が補正情報データ26を生成する際の動作について、フローチャートを用いて詳述する。
図4を参照し、補正情報生成部31は、補正用画像データ25を記憶部17から取得し、取得した補正用画像データ25を液晶ライトバルブ駆動部19に出力することにより、スクリーン1に補正用画像を投射する(ステップSA1)。
なお、図5では、歪みのないスクリーン1に投射された理想的な補正用画像が表されている。
図5に示すように、補正用画像は、点を示す特徴点画像Mが横方向(図5の矢印Y1に示す方向)、及び、縦方向(図5の矢印Y2に示す方向)に所定の間隔をあけて格子状に配列された画像である。
次いで、補正情報生成部31は、取得した撮像画像データ27に基づいて、補正情報データ26を生成する(ステップSA3)。
ここで、ステップSA3における補正情報生成部31の動作について詳述する。
上述したように、画像データは、データ上で各画素がドットマトリクス状に配置されたデータであるため、補正用画像データ25、及び、撮像画像データ27を座標系に展開することにより、これら画像データの各画素の座標は、座標系において原点として定義された位置からの相対的な位置によって一意に定義される。
また、図6(A)において、特徴点P(P1、P2・・・Pn)は、補正用画像データ25における特徴点(上述した補正用画像の特徴点画像Mに対応する画像データ)を示し、図6(B)において、特徴点Q(Q1、Q2・・・Qn)は、撮像画像データ27における特徴点を示している。ここで、特徴点Pのそれぞれと、特徴点Qのそれぞれとが対応するように撮像画像データ27に対し適切に画像処理が施されており、撮像画像データ27が、歪みのないスクリーン1に投射された理想的な補正用画像(図5に示す補正用画像)が撮像されることによって生成された画像データである場合、特徴点Pのそれぞれの座標と、特徴点Qのそれぞれの座標とは一致する構成となっている。換言すれば、スクリーン1に表面歪みが生じている場合、その表面歪みに起因して生じた投射画像の歪みに応じて、実際に投射画像を撮像することによって生成された撮像画像データ27における特徴点Qのそれぞれと、特徴点Pのそれぞれとの間に座標の相違が生じる。
次いで、補正情報生成部31は、補正用画像データ25の特徴点Pのそれぞれについて、歪み量を算出する。歪み量とは、1の特徴点Pに対応する特徴点Qが当該特徴点Pに対して、どの方向にどれだけずれているかを表す値、すなわち、特徴点Pから特徴点Qに向かうベクトルのことである。ここで算出された歪み量は、スクリーン1において、特徴点画像Mの周辺に生じた表面歪みに対応した値となる。
次いで、補正情報生成部31は、各特徴点Pと、各特徴点Pの歪み量とが対応づけられた補正情報データ26を生成する。すなわち、補正情報データ26とは、特徴点Pの全てについて、各特徴点Pに対応する特徴点Qがどの方向にどれだけずれているかを示す値である。
ステップSA3で生成された補正情報データ26は、入力画像データの歪み補正に際し、以下のようにして利用される。
上述したように、スクリーン1に表面歪みが生じている場合、歪みのないスクリーン1に投射された理想的な補正用画像における特徴点画像Mと、スクリーン1上に実際に表示される特徴点画像Mとの間でずれが生じることとなるが、このずれが無くなるように入力画像データに対して歪み補正を行えば、スクリーン1の表面歪みに起因した投射画像の歪みを抑制できる。そしてこのためには、対応する特徴点P(補正用画像データ25)との間でずれが生じている特徴点Q(撮像画像データ27)について、当該特徴点Pに対して検出した歪み量と逆方向のベクトル分移動するように、入力画像データに対して補正をかければよい。例えば、図7(A)に示すように、撮像画像データ27の特徴点Q1について、この特徴点Q1に対応する特徴点P1との間でずれS1が生じている場合、図7(B)に示すように、当該ずれS1に対応するベクトルと逆のベクトルが示すずれS’1分、特徴点P1を移動させて特徴点R1に至るように、入力画像データを補正すればよい。
以下、エッジ量検出部35の動作について詳述する。
図8に示すように、入力画像データを区分して領域C(C1、C2・・・Cn)が形成されている。領域Cの規定方法については、後に詳述する。
エッジ量検出部35は、入力画像データについて、領域Cごとに、エッジの量を検出する。本実施形態では、エッジの量とは、領域Cにおいてエッジに係る画素(エッジを示す画像を構成する画素)の個数のことを意味する。領域Cにおいて、1の画素が、エッジに係る画素であるか否かは、例えば、ラプラシアンフィルター等を利用したフィルター処理の結果に基づいて判別される。具体的にエッジ量検出部35は、入力画像データにフィルター処理を施し、フィルター処理後の値が所定の範囲に含まれているか否かを、画像を構成する画素ごとに判別する。そして、フィルター処理後の値が所定の範囲を越えている画素をエッジに係る画素と判別し、フィルター処理後の値が所定の範囲に含まれる画素をエッジに係る画素ではないと判断する。なお、どのような画素をエッジに係る画素として検出するかどうかは、フィルター処理に用いられるフィルターのフィルター係数及びフィルターサイズ、並びにどのような値を所定の範囲とするかを調整することによって変更可能である。
以下、特徴点選択部36の動作について詳述する。
上述したように、入力画像データの歪み補正に際して、歪み補正部37(後述)により補正情報データ26が参照され、特徴点Pの歪み量に応じて、特徴点Pに対応する画素が補正される。従って、図9(A)に示すように、補正情報データ26に含まれる全ての特徴点Pの歪み量を利用して入力画像データの歪み補正を実行すれば、最も精度の高い歪み補正を実現することができる一方、全ての特徴点Pにおける歪み量を利用するという点において歪み補正の処理に係る処理負担が最も大きい。
例えば、投射画像のある領域について、当該領域に含まれる全ての画素が略同一の輝度を有している場合(例:一面の青空を表す画像)、当該領域にスクリーン1の表面歪みが生じている場合であっても、当該表面歪みに起因した画像の歪みは視認されにくい状態となり、一方、当該領域にエッジに係る画像が含まれている場合であって(例:建物を表す画像、文字を表す画像)、当該領域にスクリーン1の表面歪みが生じている場合、当該表面歪みに起因した画像の歪みが、エッジに係る画像の歪みとなってスクリーン1上に現出するため、画像の歪みが視認されやすい状態となる。
以上を踏まえ、特徴点選択部36は、領域Cのそれぞれについて、エッジの量に応じて、エッジの量が少ない領域Cほど、歪み補正に利用する特徴点Pが疎となるように、各領域Cに対応する入力画像データの歪み補正に利用する特徴点Pを選択する。これにより、入力画像データのうち、エッジをより多く含む領域については、より多くの特徴点Pを利用した精度の高い歪み補正を行い、エッジをより少なく含む領域については、処理負荷を軽減した歪み補正を行い、これにより、高い精度を維持しつつ、処理負荷が軽減された歪み補正処理を実現している。
まず、特徴点選択部36は、領域Cごとのエッジの量(=エッジに係る画素の個数)を取得し、エッジの量の最低値から最高値までの間を所定の範囲(例:エッジに係る画素の個数=0〜9個、10〜19個、20〜29個・・・)で区分し、所定の範囲ごとに、各範囲に属する領域Cの個数を特定する(ステップSB1)。例えば、このステップSB1において、特徴点選択部36は、1の入力画像データについて、エッジに係る画素の個数が0〜9個である領域Cの個数は8個であり、エッジに係る画素の個数が10〜19個である領域Cの個数は5個であり、エッジに係る画素の個数が20〜29個である領域Cの個数は3個である・・・といった特定を行う。
次いで、特徴点選択部36は、エッジの量の最低値から最高値に至るまでの範囲が略均等に3つに分かれるように、2つの閾値T1、T2を設定する(ステップSB2)。
例えば、特徴点選択部36による上述の特定の結果、エッジ量と、領域Cの個数との関係が図11のヒストグラムが示す状態であったものとする。この場合において、特徴点選択部36は、横軸に示すエッジ量の最低値から最高値に至る範囲(ポイントPminからポイントPmaxに至る範囲)が略均等に3つに区分されるように、2つの閾値T1、及び、閾値T2を設定する。これら閾値T1、T2は、エッジの量(=エッジに係る画素の数)によって表される値であり、閾値T1<閾値T2となるように設定される。
このように、エッジ量の最低値と最高値に応じて閾値T1、T2を設定することにより、これら閾値T1、T2がエッジ量の最低値から最高値に至る範囲内で偏った値に設定されることを防止できる。
なお、閾値T1、T2を固定値としてもよい。この場合、閾値T1、T2の値は、後述する閾値T1、T2の役割を踏まえて適切に定められる。閾値T1、T2を固定値とすることにより、閾値T1、T2を設定するための処理を実行する必要がなくなり、その分だけ処理負荷を低減できる。
ここで、ステップSB3の動作について詳述する前に、本実施形態における領域Cの規定のされ方について詳述する。
本実施形態では、領域Cは、入力画像データが略均等に区分されるように、四隅のそれぞれを特徴点Pの位置によって規定した内部に複数の特徴点Pを包含する矩形状の領域である。
具体的には、図9(A)を参照し、領域C1は、4つの特徴点P11、P12、P13、P14によって四隅が規定された矩形状の領域であり、内部に複数の特徴点Pが包含されている。そして、特徴点P11と特徴点P12との間に形成された間隔と同一の間隔をあけて形成された縦方向(矢印Y3に示す方向)に延びる仮想的な線分によって入力画像データが縦方向に区切られ、かつ、特徴点P11と特徴点P13との間に形成された間隔と同一の間隔をあけて形成された横方向(矢印Y4に示す方向)に伸びる仮想的な線分によって入力画像データが横方向に区切られ、これら縦方向に延びる線分と横方向に延びる線分によって、四隅のそれぞれが特徴点Pによって規定された矩形の領域Cが入力画像データの全域に形成されている。
領域Cのそれぞれがこのように規定されることによって奏する効果については後述する。
ステップSB3において、特徴点選択部36は、エッジ量が閾値T2を上回る領域Cについては、当該領域Cに対応する入力画像データの歪み補正に利用する特徴点Pとして、当該領域Cに対応する範囲に含まれる特徴点Pの全てを選択する。図9(B)の例では、領域C28のエッジ量が閾値T2を上回るとして、特徴点選択部36は、この領域C28については、領域C28に対応する入力画像データの歪み補正に利用する特徴点Pとして、領域C28に対応する範囲に含まれる特徴点Pの全てを選択する。図9(B)の例では、領域C28において、25個の特徴点Pが選択される。
ここで、本実施形態では、特徴点選択部36によって密度が疎となるように特徴点Pが選択される際、領域Cにおいて、選択された特徴点Pが偏ることなく均等に配置されるように選択される。例えば、図9を参照し、領域C17では、9つの特徴点Pが選択されるが、これら特徴点Pのそれぞれは、偏ることなく、領域C17の全域に、縦方向及び横方向に所定の間隔をあけて格子状に配置されている。これにより、選択された特徴点Pを利用して領域Cに対応する入力画像データの歪み補正を実行した場合であっても、偏りのない歪み補正を実現できる。
このように、本実施形態では、エッジの量が閾値T1以下の領域C、すなわち、エッジの量が最も少ないグループに属するため、選択する特徴点Pを最も疎とすべき領域Cについては、当該領域Cの四隅を規定する特徴点Pが、当該領域Cの歪み補正に利用する特徴点Pとして選択される。換言すれば、選択する特徴点Pを最も疎とすべき領域Cについて、当該領域Cの四隅を規定する特徴点Pと、当該領域Cの歪み補正に利用する特徴点Pと、が一致する構成となっている。ここで、1の領域Cについて、最も疎となるように特徴点Pを選択する場合において、当該領域Cの四隅を規定する特徴点Pを選択すれば、選択された特徴点Pのそれぞれについて、縦方向、及び、横方向に最も離間した状態を維持しつつ、偏ることなく領域Cの全域に配置させることができ、好適な特徴点Pの選択を実現できると言える。以上を踏まえ、選択する特徴点Pを最も疎とすべき領域Cについて、当該領域Cの四隅を規定する特徴点Pと、当該領域Cの歪み補正に利用する特徴点Pと、が一致する構成とすることにより、好適な特徴点Pの選択を実現できる。
これにより、入力画像データの各領域Cのうち、エッジの量が多い領域C、換言すれば、スクリーン1に画像を投射した場合において、スクリーン1の表面歪みに起因した画像の歪みが目立つ傾向にある領域Cについては、多くの特徴点Pを利用した精度の高い歪み補正を実現できる。同時に、エッジの量が少ない領域C、換言すれば、スクリーン1に画像を投射した場合において、スクリーン1の表面歪みに起因した画像の歪みが目立たない傾向にある領域Cについては、歪み補正の精度を維持した上で少ない特徴点Pを利用した処理負担の少ない歪み補正を実現できる。つまり、全ての特徴点Pを利用して入力画像データの歪み補正を実行する場合と比較して、歪み補正の精度を低下させることなく、処理負担の減少を実現できる。
このように、領域Cによって入力画像データが略均等に区分される構成とされるため、以下のような効果を奏する。すなわち、特徴点選択部36は、領域Cごとのエッジの量、より具体的には、他の領域Cとの比較における相対的なエッジの量の多寡に応じて、歪み補正に利用する特徴点Pを選択するが、領域Cのそれぞれの大きさが同じであるため、領域Cの大きさに応じてエッジの量の値を補正することなく、他の領域Cとの比較における相対的なエッジの量の多寡を検出でき、処理負荷の低減を実現できる。
また、領域Cを、その四隅のそれぞれが特徴点Pによって規定される矩形状の領域としたため、選択される特徴点Pを最も疎とする場合に、4隅を規定する特徴点Pを、補正に利用する特徴点Pとして選択することが可能となり、そしてこのように特徴点Pを選択することにより、上述したとおり、好適な特徴点Pの選択を実現できる。さらに、領域Cにおける特徴点Pの態様(領域Cにおける特徴点Pの数、及び、領域Cにおける特徴点Pの位置)を同一とすることができ、入力画像データに対する歪み補正の際に、領域Cごとに偏った補正が行われることを防止できる。
制御部15は、歪み補正部37により補正された画像データに対し、画質調整やガンマ補正等の必要な画像処理を施して処理後画像データを生成し、生成した処理後画像データを液晶ライトバルブ駆動部19に出力することにより、当該処理後画像データに係る画像をスクリーン1に投射する。ここで、スクリーン1に投射される画像は、歪み補正によりスクリーン1の表面歪みに起因した画像の歪みが抑制された画像である。
以下の動作の前提として、上述した方法により補正情報生成部31によって補正情報データ26が生成されると共に、生成された補正情報データ26が補正情報記憶部32により記憶部17に記憶されているものとする。
まず、エッジ量検出部35は、外部機器から入力された映像信号が示す入力画像データを取得し、当該入力画像データについて、領域Cごとにエッジの量を検出する(ステップSC1)。
次いで、特徴点選択部36は、ステップSC1におけるエッジ量検出部35の検出結果に基づいて、領域Cごとに、歪み補正に利用する特徴点Pを選択する(ステップSC2)。
次いで、歪み補正部37は、補正情報データ26に含まれる特徴点Pのうち、ステップSC2において選択された特徴点Pの歪み量に基づいて、入力画像データを補正する(ステップSC3)。
次いで、制御部15は、補正した入力画像データに対し、必要な画像処理を施して処理後画像データを生成し、生成した処理後画像データを液晶ライトバルブ駆動部19に出力することによってスクリーン1に画像を投射する(ステップSC4)。
ここで、スクリーン1に投射される画像では、エッジを含まない画像と比較して、エッジを含む画像ほど、スクリーン1の歪みに起因した画像の歪みが目立つ傾向がある。これは、エッジを含む画像の場合、スクリーン1の歪みに起因した画像の歪みがエッジに係る画像の歪みとなってスクリーン1上に視認可能な状態で現出するからである。
これを踏まえ、本実施形態によれば、入力画像データを区分して形成された領域Cごとに、エッジの量に応じて、入力画像データの補正に利用する特徴点Pが選択されるため、エッジの量が多い領域Cに対応する入力画像データついては特徴点Pを多く利用して歪み補正の精度を維持しつつ歪み補正を行う一方、エッジの量が少ない領域Cに対応する入力画像データについては特徴点Pを少なく利用して処理負荷の低減を図るといった処理が可能となり、歪み補正の精度を維持した上で、入力画像データの歪み補正の処理に係る処理負荷を低減できる。
これによれば、エッジの量が多い領域Cに対応する入力画像データついては特徴点Pを多く利用して歪み補正の精度を維持しつつ歪み補正を行う一方、エッジの量が少ない領域Cに対応する入力画像データについては歪み補正に利用する特徴点Pを疎として処理負荷の低減を図ることができる。
これによれば、領域Cにおけるエッジの量と、設定された閾値T1、T2との比較結果に基づいて、確実に、入力画像データの補正に利用する特徴点Pを疎とすべき領域Cを判別できる。
これによれば、領域Cによって入力画像データが略均等に区分されるため、1の領域Cについて、他の領域Cとの相対的なエッジの量の多寡を容易に検出することができ、エッジ量検出部35による領域Cごとのエッジの量の検出の処理に係る処理負荷を低減できる。また、上記構成によれば、領域Cを、その四隅のそれぞれが所定の特徴点Pの位置によって規定された矩形状の領域としたため、領域Cのそれぞれの特徴点Pの態様(特徴点Pの数、及び、領域Cにおける特徴点Pの位置)を同一とすることができる。
これによれば、補正に利用する特徴点Pを最も疎とする領域Cについては、当該領域Cに包含される特徴点Pが、補正に利用する特徴点Pから省かれるため、領域Cと、特徴点Pとの関係を踏まえて効率よく特徴点Pを省くことができ、処理負荷の軽減を実現できる。
上述したプロジェクター2は、透過型の液晶ライトバルブ11を用いて画像をスクリーン1に投射するタイプのプロジェクターであったが、反射型液晶パネルを用いたプロジェクターであってもよいし、デジタルミラーデバイスを用いたDLP(登録商標)方式のプロジェクターであってもよい。また、3つの液晶ライトバルブによりカラー画像を投射する3LCD方式のプロジェクターに限らず、1つの液晶ライトバルブを用いてRGBに対応する画像を時分割表示してカラー画像を投射するプロジェクター、カラーホイールを備えた単板DLP方式のプロジェクター、及び、3DLP方式のプロジェクターのいずれにも本発明を適用可能である。また、光源ランプ10としては、キセノンランプのほか、超高圧水銀ランプや、LEDランプ等、各種の光源を用いることができる。また、上述したプロジェクター2は、スクリーン1の正面側に配置されてスクリーン1の正面に投射光Wを投射するタイプのプロジェクターであったが、スクリーン1の背面側に配置されてスクリーン1の背面に投射光Wを投射するタイプのプロジェクターであってもよい。すなわち、本発明は、スクリーン1等の投射面に投射される画像の画像データを処理する画像表示装置(プロジェクター2)に対して広く適用可能である。
また、本実施形態では、プロジェクター2が画像処理部30を備え、この画像処理部30によって上記の歪み補正処理を実行する構成を例に挙げて説明したが、パーソナルコンピューター等のプロジェクター2とは別体として構成される画像供給装置において、画像処理部30が実行したのと同様の歪み補正処理を実行し、歪み補正処理を施した画像データを当該画像供給装置からプロジェクターに供給する構成としてもよい。この場合には、それぞれ別体として構成される画像供給装置と、プロジェクターとを接続することで画像処理システムが構成される。すなわち、画像処理部30の機能は、プロジェクター2自体に持たせてもよく、また、プロジェクター2に画像データを供給する画像供給装置に持たせてもよい。
また、本実施形態では、外部機器からプロジェクター2に映像信号が入力される構成であったが、例えば、プロジェクター2自体に、光ディスクや、フラッシュメモリー等の外部記録媒体を読み取る読取装置を設け、この読取装置によって記録媒体に記録されたデータを読み取ることにより映像信号を取得する構成としてもよい。
Claims (8)
- 投射面に投射された複数の特徴点画像を有する補正用画像を撮像することによって生成された撮像画像データを取得し、この撮像画像データに含まれた前記特徴点画像に対応する特徴点のそれぞれにおける補正量を示す情報を含む補正情報を生成する補正情報生成部と、
前記投射面に投射される画像の画像データについて、前記画像データを区分して形成された領域ごとに、エッジの量を検出するエッジ量検出部と、
前記領域ごとに、前記エッジ量検出部により検出されたエッジの量に応じて、前記補正情報に含まれる前記特徴点の中から前記画像データの補正に利用する前記特徴点を選択する特徴点選択部と、
前記特徴点選択部により選択された前記特徴点に対応する前記補正情報に基づいて前記画像データを補正する補正部と、を備えることを特徴とする画像表示装置。 - 前記特徴点選択部は、
エッジの量が少ない前記領域ほど、前記領域に対応する前記画像データの補正に利用する前記特徴点を疎とすることを特徴とする請求項1に記載の画像表示装置。 - 前記特徴点選択部は、
前記領域におけるエッジの量が、設定された閾値よりも低い場合に、前記領域に対応する前記画像データの補正に利用する前記特徴点を疎とすることを特徴とする請求項2に記載の画像表示装置。 - 前記特徴点は、前記画像データ上に格子状に配列され、
前記領域は、内部に複数の前記特徴点を包含しつつ、当該画像データが略均等に区分されるように、四隅のそれぞれを所定の前記特徴点の位置によって規定した矩形状の領域であることを特徴とする請求項1乃至3のいずれかに記載の画像表示装置。 - 前記特徴点選択部は、
1の前記領域に対応する前記画像データの補正に利用する前記特徴点を最も疎とする場合、当該領域の内部に包含された前記特徴点を、当該領域に対応する前記画像データの補正に利用する前記特徴点から省くことを特徴とする請求項4に記載の画像表示装置。 - 画像表示装置に画像データを供給する画像供給装置であって、
投射面に投射された複数の特徴点画像を有する補正用画像を撮像することによって生成された撮像画像データを取得し、この撮像画像データに含まれた前記特徴点画像に対応する特徴点のそれぞれにおける補正量を示す情報を含む補正情報を生成する補正情報生成部と、
前記投射面に投射される画像の前記画像データについて、前記画像データを区分して形成された領域ごとに、エッジの量を検出するエッジ量検出部と、
前記領域ごとに、前記エッジ量検出部により検出されたエッジの量に応じて、前記補正情報に含まれる前記特徴点の中から前記画像データの補正に利用する前記特徴点を選択する特徴点選択部と、
前記特徴点選択部により選択された前記特徴点に対応する前記補正情報に基づいて前記画像データを補正する補正部と、を備えることを特徴とする画像供給装置。 - 投射面に投射された複数の特徴点画像を有する補正用画像を撮像することによって生成された撮像画像データを取得し、
この撮像画像データに含まれた前記特徴点画像に対応する特徴点のそれぞれにおける補正量を示す情報を含む補正情報を生成し、
前記投射面に投射される画像の画像データについて、前記画像データを区分して形成された領域ごとに、エッジの量を検出し、
前記領域ごとに、前記エッジ量検出部により検出されたエッジの量に応じて、前記補正情報に含まれる前記特徴点の中から前記画像データの補正に利用する前記特徴点を選択し、
選択された前記特徴点に対応する前記補正情報に基づいて前記画像データを補正することを特徴とする画像処理方法。 - 画像表示装置に前記画像データを供給する画像供給装置に、請求項7に記載の画像処理方法を実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010132704A JP5459087B2 (ja) | 2010-06-10 | 2010-06-10 | 画像表示装置、画像供給装置、画像処理方法、及び、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010132704A JP5459087B2 (ja) | 2010-06-10 | 2010-06-10 | 画像表示装置、画像供給装置、画像処理方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011257622A true JP2011257622A (ja) | 2011-12-22 |
JP5459087B2 JP5459087B2 (ja) | 2014-04-02 |
Family
ID=45473846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010132704A Expired - Fee Related JP5459087B2 (ja) | 2010-06-10 | 2010-06-10 | 画像表示装置、画像供給装置、画像処理方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5459087B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015126238A (ja) * | 2013-12-25 | 2015-07-06 | キヤノン株式会社 | 映像投影装置、映像投影方法及びプログラム |
JP2020003722A (ja) * | 2018-06-29 | 2020-01-09 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム |
JP2021021845A (ja) * | 2019-07-29 | 2021-02-18 | セイコーエプソン株式会社 | プロジェクターの制御方法、及びプロジェクター |
US11512945B2 (en) | 2019-07-26 | 2022-11-29 | Seiko Epson Corporation | Control method for projector and projector |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001083949A (ja) * | 1999-09-16 | 2001-03-30 | Japan Science & Technology Corp | 映像投影装置 |
JP2004228619A (ja) * | 2003-01-17 | 2004-08-12 | Nec Viewtechnology Ltd | プロジェクタの映像の歪み調整方法 |
JP2005269528A (ja) * | 2004-03-22 | 2005-09-29 | Seiko Epson Corp | マルチプロジェクションシステムのための画像補正方法 |
JP2008165006A (ja) * | 2006-12-28 | 2008-07-17 | Brother Ind Ltd | 投影装置及び画像歪み補正方法 |
JP2009200683A (ja) * | 2008-02-20 | 2009-09-03 | Seiko Epson Corp | 画像処理装置、プロジェクタ、歪み補正方法 |
JP2010026202A (ja) * | 2008-07-18 | 2010-02-04 | Seiko Epson Corp | 画像補正装置、画像補正方法、プロジェクタおよびプロジェクションシステム |
JP2010197541A (ja) * | 2009-02-24 | 2010-09-09 | Seiko Epson Corp | プロジェクター、画像補正方法、画像補正装置及びプロジェクションシステム |
-
2010
- 2010-06-10 JP JP2010132704A patent/JP5459087B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001083949A (ja) * | 1999-09-16 | 2001-03-30 | Japan Science & Technology Corp | 映像投影装置 |
JP2004228619A (ja) * | 2003-01-17 | 2004-08-12 | Nec Viewtechnology Ltd | プロジェクタの映像の歪み調整方法 |
JP2005269528A (ja) * | 2004-03-22 | 2005-09-29 | Seiko Epson Corp | マルチプロジェクションシステムのための画像補正方法 |
JP2008165006A (ja) * | 2006-12-28 | 2008-07-17 | Brother Ind Ltd | 投影装置及び画像歪み補正方法 |
JP2009200683A (ja) * | 2008-02-20 | 2009-09-03 | Seiko Epson Corp | 画像処理装置、プロジェクタ、歪み補正方法 |
JP2010026202A (ja) * | 2008-07-18 | 2010-02-04 | Seiko Epson Corp | 画像補正装置、画像補正方法、プロジェクタおよびプロジェクションシステム |
JP2010197541A (ja) * | 2009-02-24 | 2010-09-09 | Seiko Epson Corp | プロジェクター、画像補正方法、画像補正装置及びプロジェクションシステム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015126238A (ja) * | 2013-12-25 | 2015-07-06 | キヤノン株式会社 | 映像投影装置、映像投影方法及びプログラム |
JP2020003722A (ja) * | 2018-06-29 | 2020-01-09 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム |
JP7228966B2 (ja) | 2018-06-29 | 2023-02-27 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム |
US11512945B2 (en) | 2019-07-26 | 2022-11-29 | Seiko Epson Corporation | Control method for projector and projector |
JP2021021845A (ja) * | 2019-07-29 | 2021-02-18 | セイコーエプソン株式会社 | プロジェクターの制御方法、及びプロジェクター |
US11514592B2 (en) | 2019-07-29 | 2022-11-29 | Seiko Epson Corporation | Control method for projector and projector |
JP7243510B2 (ja) | 2019-07-29 | 2023-03-22 | セイコーエプソン株式会社 | プロジェクターの制御方法、及びプロジェクター |
Also Published As
Publication number | Publication date |
---|---|
JP5459087B2 (ja) | 2014-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6089424B2 (ja) | 画像処理装置、プロジェクター、およびプロジェクターの制御方法 | |
JP4232042B2 (ja) | 投写制御システム、プロジェクタ、プログラム、情報記憶媒体および投写制御方法 | |
JP5842694B2 (ja) | 画像処理装置、プロジェクター、およびプロジェクターの制御方法 | |
JP3994290B2 (ja) | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 | |
JP5251202B2 (ja) | プロジェクタの投射画像の歪補正方法、及びプロジェクタ | |
JP2009200683A (ja) | 画像処理装置、プロジェクタ、歪み補正方法 | |
US9626748B2 (en) | Projector and method for controlling the same | |
JP2012151670A (ja) | 画像投影システム及び半導体集積回路 | |
JP2010026870A (ja) | 画像処理装置、画像表示装置および画像データ生成方法 | |
JP2015060012A (ja) | 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム、ならびに、表示システム | |
US11069038B2 (en) | Information processing apparatus, information processing method, and image display apparatus | |
JP2011082798A (ja) | 投写型映像表示装置 | |
JP5459087B2 (ja) | 画像表示装置、画像供給装置、画像処理方法、及び、プログラム | |
JP2017156581A (ja) | 投影装置及びその制御方法 | |
JP2023002656A (ja) | 画像処理装置、投影システム、画像処理方法、及び画像処理プログラム | |
US20180278905A1 (en) | Projection apparatus that reduces misalignment between printed image and projected image projected on the printed image, control method therefor, and storage medium | |
JP6031327B2 (ja) | 投影システム、プロジェクタ及び制御方法 | |
US10657622B2 (en) | Controlling projected image frame rate in response to determined projection surface curvature | |
JP7156803B2 (ja) | 映像プロジェクタ、映像表示方法及び映像表示プログラム | |
JP2011199717A (ja) | 投写型表示装置および画像表示方法 | |
WO2012108003A1 (ja) | プロジェクタシステムおよび映像補正方法 | |
JP2009223040A (ja) | 画像表示装置及び画像表示方法 | |
JP5915001B2 (ja) | プロジェクター、およびプロジェクターの制御方法 | |
JP5845565B2 (ja) | プロジェクター、及び、プロジェクターの制御方法 | |
JP5110260B2 (ja) | プロジェクタ、プログラム、情報記憶媒体および画像歪み補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130507 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131211 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131230 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5459087 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |