JP2005033271A - 画像処理装置およびその方法、ならびに、画像投射装置 - Google Patents
画像処理装置およびその方法、ならびに、画像投射装置 Download PDFInfo
- Publication number
- JP2005033271A JP2005033271A JP2003193061A JP2003193061A JP2005033271A JP 2005033271 A JP2005033271 A JP 2005033271A JP 2003193061 A JP2003193061 A JP 2003193061A JP 2003193061 A JP2003193061 A JP 2003193061A JP 2005033271 A JP2005033271 A JP 2005033271A
- Authority
- JP
- Japan
- Prior art keywords
- image
- address
- addresses
- interpolation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 238000006243 chemical reaction Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000004364 calculation method Methods 0.000 claims description 96
- 238000003672 processing method Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 abstract description 62
- 230000009467 reduction Effects 0.000 abstract description 4
- 238000004904 shortening Methods 0.000 abstract 1
- 240000004282 Grewia occidentalis Species 0.000 description 36
- 238000010586 diagram Methods 0.000 description 32
- 230000009466 transformation Effects 0.000 description 22
- 230000014509 gene expression Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 16
- 238000013507 mapping Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 9
- 238000011161 development Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000007630 basic procedure Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
- Image Processing (AREA)
- Liquid Crystal Display Device Control (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
【課題】キーストン歪み補正のアドレス生成の処理時間と補間誤差の低減とを同時に達成する。
【解決手段】演算部2aの変換演算部31が、キーストン歪み画像の少なくとも4隅のアドレスを演算により生成する。また、逆変換演算部32が逆変換を行ってパネル表示画像の映像領域の4隅のアドレスを求める。さらに演算部2aは、映像領域の4隅のアドレスを線形に展開し、再度、歪み画像の4隅のアドレスを算出し直す(4隅の補間アドレス)。アドレス補間部2bは、この4隅の補間アドレスから線形補間により、他のアドレスを生成する。この方法では、線形の展開後に4隅のアドレス位置が調整され、その結果、つぎに線形補間したときのアドレス点の誤差が映像領域の4隅でほぼゼロとなる。
【選択図】 図8
【解決手段】演算部2aの変換演算部31が、キーストン歪み画像の少なくとも4隅のアドレスを演算により生成する。また、逆変換演算部32が逆変換を行ってパネル表示画像の映像領域の4隅のアドレスを求める。さらに演算部2aは、映像領域の4隅のアドレスを線形に展開し、再度、歪み画像の4隅のアドレスを算出し直す(4隅の補間アドレス)。アドレス補間部2bは、この4隅の補間アドレスから線形補間により、他のアドレスを生成する。この方法では、線形の展開後に4隅のアドレス位置が調整され、その結果、つぎに線形補間したときのアドレス点の誤差が映像領域の4隅でほぼゼロとなる。
【選択図】 図8
Description
【0001】
【発明の属する技術分野】
本発明は、画像表示部に表示した表示画像を、光を利用して外部の投射面に対し斜めに投射したときに当該投射面上で生じる歪み画像のアドレスを生成する画像処理装置およびその方法、ならびに、投射面上での歪みが補正される表示画像を生成し、投射する画像投射装置に関する。
【0002】
【従来の技術】
いわゆるプロジェクターと称される画像投射装置は画像表示部、たとえばLCD(Liquid Crystal Display)パネルを有している。画像表示部に画像を表示させ、その表示画像を外部の投射面、たとえばスクリーンの面に投射する。
【0003】
このとき、スクリーンに対するプロジェクターからの画像の投射角度が斜めであると、本来、矩形状であるはずの画像がスクリーン上で台形状に歪む。このため、スクリーン上の画像の台形歪みを補正するいわゆるキーストン補正機能を備えた液晶プロジェクターが知られている。
【0004】
鉛直または水平のキーストン歪み補正では、スクリーン上の投影画像と逆方向に意図的に歪ませた画像をLCDパネル上で生成する。正矩形の入力画像を意図的に歪ませる画像変換は、通常、プロジェクターが有する画素数変換機能を利用して行う。たとえば、鉛直のキーストン歪み補正では、元画像の1フレーム内の単数または複数の水平ラインデータに対して、補間処理や間引き処理をディジタル的に施すことにより台形歪みの逆変換を実行する。
【0005】
この画像変換を、座標変換式を用いて行う方法が知られている(たとえば、特許文献1参照)。
この方法では、LCDパネル上の整数座標に対応する実数座標を座標変換式によって算出し、実数座標の周囲にある画素データをフレームメモリから読み出して、補間演算により整数座標に書き込む画素データの値を求めることによって、台形歪みが補正された画像をLCDパネル上に形成する。
【0006】
【特許文献1】
特開2003−29714号公報(第3〜第4頁)
【0007】
【発明が解決しようとする課題】
ところが、この特許文献1に開示された座標変換によるアドレス生成方法では、鉛直方向の歪み補正と、水平方向の歪み補正を同時に行うためのアドレスが生成できない。また、特許文献1には、鉛直方向の変換式は示されているが、水平方向の変換式が開示されていない。水平方向の変換は、一般的に、複数ラインの画素データの変換であるため、より複雑な式となると考えられる。このため、特許文献1に記載されたキーストン歪み補正方法が適用されたプロジェクターでは使い勝手が悪くなり、製品としての魅力に乏しい上、トータルの処理時間が長くなり処理効率が悪いという課題がある。
【0008】
本発明者は、水平と垂直のアドレスの同時生成が可能な変換式を用いて、キーストン歪み画像のアドレスを求める手法を既に提案した(たとえば、特願2002−187481号)。
ところが、変換式によるアドレス生成は処理時間がかかるため、この変換式を用いるアドレスの生成数を最小限にして、そのアドレス間の他のアドレスを補間演算により生成すると補間誤差が大きくなってしまう。つまり、上記特願2002−187481号に提案した歪み画像のアドレス生成手法ではアドレス生成に要する処理時間と、その間の他のアドレス生成時の補間誤差の低減との両立が難しく、改善の余地があった。
【0009】
本発明の第1の目的は、アドレス生成の処理時間と補間誤差の低減とを同時に達成可能な画像処理装置およびその方法を提供することにある。
本発明の第2の目的は、アドレス生成の処理時間と補間誤差の低減とを同時に達成可能な歪み画像のアドレス生成手法を用いて画像表示部に表示画像を生成し、この表示画面を投射したときに投射面上で歪みが補正可能な画像投射装置を提供することにある。
【0010】
【課題を解決するための手段】
本発明にかかる画像処理装置は、上述した第1の目的を達成するためのものであり、画像表示部に表示した表示画像を、光を利用して外部の投射面に対し斜めに投射したときに当該投射面上で生じる歪み画像のアドレスを生成する画像処理装置であって、前記歪み画像の少なくとも4隅のアドレスを演算により生成し、生成したアドレスの位置を、前記表示画像の映像領域に対応する歪み画像領域内でアドレスの補間誤差が小さくなる向きに調整する演算部と、前記位置が調整されたアドレスの間の他の歪み画像のアドレスを、前記アドレス位置の調整方法に対応した補間方法により生成するアドレス補間部と、を有する。
【0011】
好適に、前記演算部は、前記少なくとも4隅のアドレスを生成したときと逆の変換を行う演算により、もとの歪み画像と逆に歪む前記映像領域に対応した領域の少なくとも4隅のアドレスを求める逆変換演算部と、求めた前記映像領域に対応した領域の少なくとも4隅のアドレスから、前記アドレス補間部が前記他のアドレスを生成するときの補間方法に対応したアドレス展開手法により前記歪み画像の少なくとも4隅のアドレスを再度算出するアドレス演算部と、を有する。
【0012】
好適に、前記演算部は、垂直と水平の方向それぞれで、前記歪み画像の少なくとも4隅のアドレスのそれぞれに前記投射の角度に応じた係数をかける。この場合、さらに好適に、前記投射の角度ごとに前記垂直と水平の各方向の係数を記憶している記憶部を有する。
【0013】
本発明にかかる画像処理方法は、上述した第1の目的を達成するためのものであり、画像表示部に表示した表示画像を、光を利用して外部の投射面に対し斜めに投射したときに当該投射面上で生じる歪み画像のアドレスを生成する画像処理方法であって、前記歪み画像の少なくとも4隅のアドレスを演算により生成するステップと、生成したアドレスの位置を、前記表示画像の映像領域に対応する歪み画像領域内でアドレスの補間誤差が小さくなる向きに調整するアドレス調整のステップと、前記位置が調整されたアドレスの間の他の歪み画像のアドレスを、前記アドレス位置の調整方法に対応した補間方法により生成するアドレス補間のステップと、を含む。
【0014】
好適に、前記アドレス調整のステップが、さらに、前記少なくとも4隅のアドレスを生成したときと逆の変換を行う演算により、もとの歪み画像と逆に歪む前記映像領域に対応した領域の少なくとも4隅のアドレスを求める逆変換のステップと、求めた前記映像領域に対応した領域の少なくとも4隅のアドレスから、前記アドレス補間のステップで前記他のアドレスを生成するときの補間方法に対応したアドレス展開手法により前記歪み画像の少なくとも4隅のアドレスを再度算出するステップと、を含む。
【0015】
好適に、前記アドレス調整のステップでは、垂直と水平の方向それぞれで、前記歪み画像の少なくとも4隅のアドレスのそれぞれに前記投射の角度に応じた係数をかける。この場合、さらに好適に、前記投射の角度ごとに前記垂直と水平の各方向の係数をあらかじめ求め、記憶部に記憶させるステップを、さらに含む。
【0016】
上述した構成の画像処理装置およびその方法によれば、最初に、歪み画像の少なくとも4隅のアドレスを、演算部が演算により(あるいは、それに対応したステップにおいて)生成する。つづいて演算部により(あるいは、アドレス位置調整のステップにおいて)、この少なくとも4隅のアドレスの位置が調整される。
【0017】
アドレス位置調整の第1の手法では、まず、演算部内の逆変換演算部により(あるいは、逆変換のステップにおいて)、歪み画像の逆変換を行い、逆変換後の歪み画像内でもとの歪み画像と逆に歪む前記映像領域に対応した領域の少なくとも4隅のアドレスを求める。つぎに、演算部内のアドレス演算部により(あるいは、この補間演算のステップにおいて)、映像領域に対応した領域の少なくとも4隅のアドレスから所定のアドレス展開手法によって歪み画像の少なくとも4隅のアドレスを再度算出する。これにより算出された歪み画像の少なくとも4隅のアドレスの位置は、演算部が演算により算出した直後のアドレスの位置からずれたものとなる。
アドレス位置調整の第2の手法では、演算部により(あるいは、それに対応したステップにおいて)、垂直と水平のそれぞれの方向で、たとえば記憶部から読み出した投射角度ごとの係数を、演算部が演算により求めたアドレスにかける。これにより算出された歪み画像の少なくとも4隅のアドレスのそれぞれの位置は、もとの歪み画像の対応する各アドレスの位置からずれたものとなる。この係数は、その乗算の結果、映像領域に対応した歪み画像領域内で補間誤差が低減されるようにアドレス位置を調整するための係数である。
【0018】
つぎに、アドレス補間部により(あるいは、それに対応したステップにおいて)、上記アドレス演算部が行ったアドレス展開手法に対応した補間方法により、位置調整後の少なくとも4隅のアドレス間の他の歪み画像のアドレスが生成される。この他のアドレスの生成のもととなる位置調整後のアドレス(演算により求めた少なくとも4隅のアドレス)は、上記第1の手法では、もともと、映像領域に対応した領域の少なくとも4隅のアドレス(これらのアドレスは逆変換の演算により求めたものであることから、その位置精度は高い)から生成されたものである。そのため、その逆の経過をたどる、この補間処理によって生成された歪み画像の他のアドレスのうち、映像領域に対応した領域の少なくとも4隅のアドレスの位置精度は、演算による生成されたアドレスの位置精度と同等レベルである。また、上記第2の手法では、映像領域に対応した歪み画像領域内の補間誤差を大幅に低減されるように係数が決められ、通常、係数乗算後のアドレスの位置は、上記第1の手法の位置調整後のアドレスと同じ位置となる。したがって、この第2の手法を用いた場合でも、アドレス補間部による補間処理により生成された歪み画像のアドレスのうち、映像領域に対応した領域の少なくとも4隅のアドレスの位置精度は、演算により生成されたアドレスの位置精度と同等レベルである。
【0019】
本発明にかかる画像投射装置は、上記した画像処理装置が有する演算部とアドレス補間部に加え、データ補間部を有する。データ補間部は、投射面上で歪みが補正される表示画像の画素データを、入力画像の複数の画素データから補間により生成し、生成した画素データを、歪み画像のアドレスと所望の画像のアドレスとの対応関係から決められる画像表示部の位置に出力する。画像表示部の表示画像が光を利用して投射されることにより、歪みが補正された所望の画像が投射面上に現出する。
【0020】
【発明の実施の形態】
本発明の画像投射装置(プロジェクター)と、それに用いる画像変換方法の実施の形態を、図面を参照しながら説明する。
【0021】
図1に、フロントプロジェクターをスクリーンの正面に配置した場合に、これらを下方から見た図を示す。
図1に示す配置おいて、プロジェクター1の投射光の軸と映像が映るスクリーン101とが、下から見ると直交するように配置される。プロジェクター1で投射する映像はテレビ信号やコンピュータ画面の信号である。これらの信号に重畳された映像の表示領域の形状は、テレビやコンピュータディスプレイを見れば分かるように、信号によって画素数に違いはあるものの映像全体として4:3や16:9などの辺の比(アスペクト比)をもつ長方形である。プロジェクター1のLCDパネルに表示された長方形の映像は、まっすぐに投射しなければ投射された映像も長方形にならず、本来の映像の形をゆがめてしまう結果になる。
【0022】
図2は、正面に配置したプロジェクターの位置をP0としたときに、本発明の実施の形態におけるプロジェクター1の配置可能な範囲を示す図である。
プロジェクター1は、正面位置P0を含む水平面Ph内に配置でき、また、正面位置P0を含む垂直面Pv内に配置できる。さらに、プロジェクター1は、2つの平面Ph,Pvによって区切られる第1象限P1、第2象限P2、第3象限P3、第4象限P4のいずれにおいても任意に配置できる。
プロジェクター1は、その内部のLCDパネルの表示画像を、上述した範囲内であればどの位置から投射してもよい。プロジェクター1は、投射位置に応じた画像の歪みを補正する機能を有しているので、この機能を働かせれば恰も正面から投射したときと同じアスペクト比をもった正四角形の画像をスクリーン101上に映し出すことができる。この補正を、キーストン歪み補正という。
【0023】
図3(A)に、水平面内でスクリーンに向かって左横からの画像投影イメージを示す。図3(B)に入力画像イメージを、図3(C)にプロジェクターに内蔵されたLCDパネル面上での画像イメージを示す。
図3(A)に示すように、スクリーン101に向かって左横にプロジェクター1を配置して投射しているが、スクリーン101上の映像は正面から投射しているときと同じように見える。本来であれば、投射された画面は図中の斜線部を含め全体が台形に歪んだように変形するはずである。これを横キーストン変形といい、横キーストン変形を補正することを横キーストン補正という。
このように横に置いたプロジェクター1から画像を投射して、それが正面から投射したかのようにスクリーン101上で映るには、あらかじめプロジェクター1の投射位置によって画像がどのように歪むかを計算しておかなければならない。このとき、横から投射したときに歪む形に対して作為的に逆の方向に歪ませた画像を作り、それを投射することで横方向から投射しても画像を正面から投射した時と同じように見せることができる。上記具体例で図3(A)のような投射映像を得るためには、図3(B)の入力画像を図3(C)のようにLCDパネル面上で故意に変形して表示させ、この表示画像をスクリーン101に投影する。
【0024】
図4(A)に、図2における第3象限P3からの画像投影イメージを示す。また、図4(B)に入力画像イメージを、図4(C)にLCDのパネル面上での画像イメージを示す。
図3(A)の横キーストン歪みは台形歪みであったが、これに垂直方向の歪み成分が加わった図4(A)の場合、さらに歪み形状が複雑になる。図4(A)に示す正四角形の補正後の投影画像を得ようとすると、LCDパネル表示画像は、図4(C)に示すように画像をLCDパネル面内で回転させたようにする必要がある。
図4(C)および前記図3(C)のいずれの場合でも、補正前の投影画像形状と逆に故意に歪ませた画像をLCDパネル面の有効表示領域いっぱいに表示すれば、解像度、明るさの低下が極力抑えられた正四角形の投影画像がスクリーン上に得られる。
【0025】
以下、入力画像をLCDパネルの表示画像に変換することによって、このような補正が可能な画像投射装置と画像変換方法の実施の形態を、より詳細に説明する。この画像変換では、図4(A)のように第3象限P3からの投射の場合を例に水平および垂直の歪みを同時に補正可能なアドレス生成の一般式を求める。水平のみ、あるいは垂直のみの歪み画像は、この一般式において水平または垂直の投射角度がゼロの場合で表現できる。また、第3象限以外の他の象限からの投射は、式が異なるのみで考え方は同じである。
【0026】
[第1の実施の形態]
図5に、プロジェクターの基本構成を示す。
プロジェクター1は、映像信号(入力信号)に種々の信号処理を施す回路、各種駆動系の回路を含む回路部2を有する。回路部2は、信号処理回路内の一部に、たとえば中央演算処理部(CPU)からなる演算部2a、アドレス補間部2b、および、データ補間部2cを含む。プロジェクター1は、入力信号に各種信号処理を施した信号が示す入力画像を画像変換して得られた表示画像3aを表示する画像表示部3、たとえばLCDパネルを有する。また、プロジェクター1は、表示画像3aを外部に投射するための光源を含む投光部4と、各種レンズを含む光学部5とを有する。LCDパネル3は透過型と反射型のいずれでもよいが、いずれにしても表示画像3aが、光学部5を通って投射面としてのスクリーン101に投影画像101aとして映し出されるものであればよい。
演算部2aは、画像変換に必要な歪み画像のアドレスのうち、すくなくとも4隅のアドレスを演算により算出する。演算部2aがCPUからなる場合、演算部2aは、アドレス同士の相対関係を求める手段(以下、マッピング手段という)、および、他の構成を制御する制御手段として機能する。アドレスの演算およびアドレスの対応付け(マッピング)についての詳細は後述する。
【0027】
プロジェクター1は、LCDパネル3の表示画像とスクリーン101との相対的な関係を示す相対関係情報を取得する相対関係取得部6を有する。相対関係取得部6は、外部から相対関係情報を入力する入力部、外部操作手段(ボタンなど)、想定される相対関係情報をあらかじめ記憶した記憶部(たとえば、ROMまたはRAM)、あるいは相対関係を自ら検出する手段など、種々の形態がある。相対関係取得部6は、たとえば、少なくとも、表示画像のスクリーン101までの距離と、光学部5の光軸とスクリーン面とのなす角度とを取得する。
【0028】
液晶などの固定画素のパネルを用いるプロジェクターでは、入力された入力画像の画素数と出力画像の画素数とが異なる場合がある。そのため画素数を変換するための信号処理機能を備えている。これをスケーリング機能と呼ぶが、この処理では、本来画素データの無い位置でのデータが必要になり、画素の補間演算が行われる。補間演算では、周辺の画素のデータを用いて目的の位置の画素データを作り出す。この機能は、たとえば、イメージプロセッサと称される画像処理回路内に、スケーラと呼ばれる回路ブロックを内蔵させることにより実現される。
【0029】
図6は、図5の回路部2に含まれる画像処理回路、すなわちイメージプロセッサとその周辺の回路ブロックの一構成例を示す図である。
図解した画像処理回路は、コムフィルタ(Comb Filter)21、クロマデコーダ(Chroma Decoder)22、セレクトスイッチ(SW)23、アナログ−ディジタル・コンバータ(A/D)24、イメージプロセッサ(Image Processor)25、SDRAMなどからなる画像メモリ26、および、演算部2aを有する。このうち、イメージプロセッサ25と演算部2aが、画像変換の機能を実現するための一実施態様に該当する。なお、これらの画像メモリ26や演算部2aの機能をイメージプロセッサ25内に一体化させてもよい。
【0030】
図解した画像処理回路は、コンポジットビデオ信号(以下、Video信号)、Y/C信号、RGB信号のいずれの映像信号にも対応している。Video信号はコムフィルタ21に、Y/C信号はクロマデコーダ22に、RGB信号はセレクトスイッチ23に、それぞれ入力される。いま、Video信号が入力されている場合を考えると、コムフィルタ21でY/C信号に変換され、続くクロマデコーダ22でYUV信号に変換される。セレクトスイッチ23によって選択された信号がA/D24により変換されてディジタル信号になる。この信号がイメージプロセッサ25に入力され、所望の信号処理が行われる。このとき、イメージプロセッサ25の処理が演算部2aにより制御され、処理中に、適宜画像メモリ26が使用される。所望の信号処理が行われた後は、処理後の信号が画像表示部、たとえばLCDパネル3に送られ、この信号にもとづいてLCDパネル3に投射する画像が表示される。
【0031】
図7に、イメージプロセッサ内部の回路ブロックの一構成例を示す。
イメージプロセッサ25は、IP(Interlace−Progressive)変換部251、スケーラ252、CPUインターフェース253、メモリ制御部254、および記憶部255を有する。スケーラ252は、アドレス補間部2b、係数発生部257、およびフィルタ演算部258を有する。このうち、係数発生部257とフィルタ演算部258が図5におけるデータ補間部2cの一実施態様に該当する。
【0032】
イメージプロセッサ25に入力された映像信号はIP変換部251に送られ、ここでインターレース信号がプログレッシブ化される。この処理では画像メモリ26を用いるが、メモリインターフェースとしてのメモリ制御部254にIP変換部251が接続されることによって、IP変換部251は画像メモリ26との間で画像データのやり取りを行う。プログレッシブ化された信号は、スケーリング処理を行うためにスケーラ252に送られる。スケーラ252の内部では、歪み補正に必要なアドレスのうち、前述したすくなくとも4隅のアドレス間の他のアドレスを、アドレス補間部2bで補間処理により生成する。フィルタ係数を係数発生部257で発生させ、発生させたフィルタ係数をフィルタ演算部258に供給する。フィルタ演算部258が、与えられたフィルタ係数を用いた補間演算処理を行い、入力した映像信号が示す入力画像が、所定の大きさと形状を有したLCDパネルの表示画像に変換される。この変換後の表示画像の信号が出力され、LCDパネル3に送られる。この補間演算に用いるアドレスやフィルタ係数などを保持する記憶部255がスケーラ252に接続され、これら一連の処理を含むイメージプロセッシングを制御する演算部2aのインターフェース253がIP変換部251、スケーラ252および記憶部255に接続されている。
【0033】
図6に図解した例において、相対関係取得部6(図5)からの相対関係情報が演算部2aに入力される。演算部2a自身によって、あるいは、演算部2aに制御されながらイメージプロセッサ25内のアドレス補間部2bによって、入力画像を表示画像に効率よく変換するための歪み画像のアドレスが生成される。本実施の形態の画像変換では、アドレス生成手法に大きな特徴の1つがある。
【0034】
図8に、演算部2a、アドレス補間部2bおよび記憶部255のアドレス生成時の関係を示す。
演算部2aは、歪み画像の4隅のアドレスを演算により求める変換演算部31と、この演算の逆変換となる演算により、変換演算部31による変換後の歪み画像のうち、映像領域に対応した領域の4隅のアドレスを求める逆変換演算部32とを有する。また、逆変換演算部32は、映像領域に対応した領域の4隅のアドレスから、所定のアドレス展開手法により歪み画像の4隅のアドレスを再度算出する機能を有する。このアドレス展開手法は、アドレス補間部2bのアドレス補間方法と対応しており、たとえば線形補間の場合は、線形にアドレスを展開する手法である。この算出後のアドレスは、その後のデータ補間時に画素データを求める際に用いるアドレスという意味で、以下、「4隅の補間アドレス」という。4隅の補間アドレスは、変換演算部31が求めた4隅のアドレスの位置からずれた位置に生成された補間アドレスである。この位置調整後の4隅の補間アドレスは、必要に応じて記憶部255の所定の領域255aに格納される。
また、アドレス補間部2bは、4隅の補間アドレスを求めたときのアドレス展開手法に対応した補間方法を用いて、4隅の補間アドレスから、その間の各画素の補間アドレスを生成する。各画素の補間アドレスは、必要に応じて記憶部255の所定の領域255bに格納される。この各画素の補間アドレスは、記憶部の領域255bから適宜読み出されて、データ補間部2cによる画素データの生成に用いられる。
【0035】
以下、この補間アドレスの生成手法を、図9に示すフローチャートに沿って説明する。
また、以下の説明では、フロントプロジェクターの表示画像を、スクリーンに対して正面の位置を基準に、垂直方向にα度上向きで、水平方向ではスクリーン正面から左にβ度回転した位置から斜めに投射する場合を主に説明する。角度αおよびβが正の場合、投射位置は図2の第3象限P3に属する。他の象限からの投射時の補正は、ほぼ同じような考え方、方法で行える。このとき入力信号としてVGA(640画素×480ライン)の解像度をもつ映像信号が入力され、これをSVGA(800画素×600ライン)に解像度変換し、同時に、斜め方向から投射する場合のスクリーン上の投影画像の歪みをとる補正について説明する。
【0036】
ステップST1において、スクリーンに対しプロジェクター位置が確定すると、投射角度(α,β)が相対関係取得部6(図1参照)から与え、これをもとにキーストン歪み座標変換が図8に示す変換演算部31により実行される。
以下、投射角度に応じたキーストン歪み座標変換について説明する。
【0037】
《キーストン歪み座標変換》
【0038】
図10(A)に、正面投射の場合の右手座標系におけるプロジェクター1とスクリーン101の位置関係を示す。また、それに対応したyz平面図を図10(B)に、xy平面図を図10(C)に、それぞれ示す。このとき、プロジェクター1の位置座標を(Px,Py,Pz)、スクリーン101上の任意の点の位置座標を(Sx,Sy,Sz)で表す。位置座標(Px,Py,Pz)と(Sx,Sy,Sz)により決まるスクリーン101とプロジェクター1の距離、および、前記斜め投射角度αとβが、前述した相対関係情報である。
図10(B)および図10(C)に示すように、正面投射ではスクリーン面と光軸が直交する。ただし、光軸はスクリーン中央ではなく下寄り位置、ここではスクリーン下辺中央付近でスクリーン面と交差している。フロントプロジェクターを机の上に配置し、あるいは天井から吊るような配置を取る場合、レンズの中心とスクリーンの中心を結ぶ線が地面と平行にはならないように両者を配置させるためである。これは、たとえばプロジェクターを机に置いて投射した場合、投射する画像の下端部分が机に映ってしまわないようにするための仕様であり、光学オフセットと称される。
【0039】
図11(A)に、垂直方向にα度上向きで、水平方向については向かって左手からスクリーンに対しβ度の角度で斜めに投射する場合、右手座標系におけるプロジェクターとスクリーンの位置関係を示す。また、yz平面図を図11(B)に、xy平面図を図11(C)に、それぞれ示す。このとき、右手座標系で表現したスクリーン101に対するプロジェクター1の回転角度は垂直方向にα度、水平方向に(−β)度となる。
【0040】
ここで、キーストン歪み補正を考えやすくするために相対的な視点を変えることを考える。図11(A)〜図11(C)ではプロジェクター1の位置を動かして斜め方向から投射していたが、ここでは、相対的な位置関係を維持したままでプロジェクター1は動かさずに、スクリーン101を、その場で軸回転させることを想定する。
図12(A)〜図12(C)に、スクリーンを軸回転させた場合の図11(A)〜図11(C)と等価的な斜め投射の位置関係を示す。このとき、右手座標系で表現するとスクリーンを、その下辺(x軸)を中心に直立位置からy方向(背面側)に(−α)度傾かせ、向かって左側の辺(z軸)を中心に左回転方向にβ度回転させる。つまり、図12(B)と図12(C)に示す傾きおよび回転の角度は、図12(A)〜図12(C)に示すプロジェクターの設置位置からの投射角度に対して符号が逆になる。
【0041】
以下、図12(A)〜図12(C)のように、正面の位置にプロジェクター1があり、この位置から傾いたスクリーン(以下、101tと表記)に映像を投射した場合に、投射された映像(投影画像)がどのように変形しているかを考える。
プロジェクター1が投射する光は、図11(A)でスクリーン101のあったzx平面上を通過して傾いたスクリーンに映る。傾いたスクリーン101tがある平面は、原点を中心に垂直に(−α)度、水平にβ度回転しているので、原点を中心とした回転行列を用いて表現することができる。本実施の形態では水平と垂直の回転なので、先に水平方向に回転させた後に、次に垂直方向の回転を行う手順によって回転行列が定義される。具体的には、zx平面の法線ベクトル(nx,ny,nz)が、回転によって次の行列式(1)で表現される。
【0042】
【数1】
【0043】
プロジェクター1の位置とスクリーン101の位置していたzx平面上の点を結ぶ直線を考え、この直線と行列式(1)の法線ベクトルをもつ平面との交点を求める。この交点が、傾いたスクリーン101tの平面に映る映像の座標点である。この傾いたスクリーンの座標点に対して、図12(A)のように視点をスクリーンの正面において見る場合には、再び反対向きの回転として原点を中心に垂直にα度、水平に(−β)度回転させればよい。すると、斜め方向から投射した場合に歪む形が求められる。このような方法によって導出されたx方向、y方向、z方向の座標を、それぞれ次式(2−1)、(2−2)、(2−3)に示す。
【0044】
【数2】
【0045】
これらの式で表される(Kx,Ky,Kz)は、図11(B)に示すようにプロジェクター1を垂直にα度上向きで、図11(C)のように水平方向にスクリーン101に対して左から(−β)度の角度で投射するとき、キーストン歪みによって変形された座標である。
図13(A)および図13(B)に、座標関係についてまとめて示した。これらの図で(Sx,Sy,Sz)はスクリーンの座標であり、正面投射の場合にスクリーン上に正四角形に映し出される入力画像の座標に相当する。また、座標(Kx’,Ky’,Kz’)は図12(B)および図12(C)のように斜めに傾いたスクリーン101tの平面上に投射された座標である。上述のように(Kx,Ky,Kz)はキーストン歪み変形座標である。
このように、前述した3つの式(2−1)、(2−2)、(2−3)により、任意の方向からの投射によってもたらされるキーストン歪変形座標が与えられる。
【0046】
つぎに、出力信号(表示画像)の解像度に合わせた座標の、式(2−1)、(2−2)、(2−3)による変形座標を求める。つまり、800画素×600ラインのSVGA出力の場合、歪む前の画像のx座標Sxは0から799まで変化し、z座標Szは0から599まで変化するが、このときのキーストン歪み後のx座標Kxとz座標Kzを求める。なお、y座標SyとKyは、画像がzx平面にあるのでゼロである。
【0047】
図14(A)にSVGA出力画像を、α=10、−β=−30として座標変換したキーストン変形後のSVGA出力画像のイメージ(すなわち、歪み画像)PIKを示す。この歪み画像PIKは□印で示す4隅のアドレスで規定される四角形状を有する。この4隅のアドレスは、図8に示す変換演算部31が、式(2−1)および式(2−3)を用いた演算を実行することにより生成される。
【0048】
《逆変換→映像領域の4隅のアドレス算出》
【0049】
つぎに、図9に示すステップST2において、図14(A)に示す歪み画像PIKに対し逆変換が実行される。
図14(B)に、歪み画像PIKを逆変換し、SVGAのアスペクトを有する正矩形にしたときの画像イメージを示す。この画像イメージは、LCDパネルなどの画像表示部3上の表示画像3aに対応する。この逆変換の式を次式(3)に示す。なお、この式は、スクリーンが座標x軸上にあることからSy=0とし、前記した式(2−1)と(2−3)の連立方程式を(Sx,Sz)について解くことにより算出できる。逆変換は、図8に示す逆変換演算部32により、次式(3)を用いて実行される。
【0050】
【数3】
【0051】
つぎに、歪み画像PIK内で実際に映像が映し出される領域(映像領域)の座標を求める。図14(A)中の△印で囲まれた領域が映像領域PIであり、補正により得たい画像のイメージ範囲を表している。この映像領域PIの4隅の△印の点は、たとえば、SVGAのアスペクト比の画像が歪み画像イメージ内で最大面積となるように規定することにより一意に決められる。
この映像領域の4隅の点(△印)は、図14(B)に示す逆変換後の画像では○印の位置に変換される。つまり、歪み画像内で映像領域PIの4隅にあたる位置を(Kx,Kz)とすると、図8に示す逆変換演算部32によって、これに対応するパネル内位置としてキーストン歪みの逆変換座標(Sx,Sz)が算出される。
【0052】
《歪み画像全体へのアドレス展開》
【0053】
つぎに、図9に示すステップST3において、映像領域の4隅の点からパネル全体領域を示すキーストン歪み補正アドレスへの展開を行う。これは、図15に示したように、逆変換で得られた映像領域のアドレス(○印)からキーストン歪み補正で必要な補間を行う領域のアドレス(□印)を算出するためのものである。このアドレス展開は、つぎのステップST4で各補間アドレスの算出に用いる補間手法に対応する手法で求める。アドレスの展開手法や補間方法に限定はないが、演算の負担を減らす意味では、より簡潔な方法が望ましい。ここでは、各補間アドレスの算出が1次元の線形補間を用いて行うこととし、これに対応して、アドレスのパネル全体への展開を1次元の線形法を用いる。以下、2つのアドレスの線形展開法を説明する。
【0054】
<展開手法1>
【0055】
図16に示すように、パネルの4つの頂点の位置は、水平方向の解像度Hdivと垂直方向の解像度Vdivを用いて(Hdiv,Vdiv)、(0,Vdiv)、(0,0)、(Hdiv,0)で表される。このとき、パネル内の映像領域の4隅の点の位置を、上記パネルの4頂点に対応した順に(I1x,I1z)、(I2x,I2z)、(I3x,I3z)、(I4x,I4z)と定義する。また、このパネルの4頂点を線形展開することにより得られた歪み画像の4つの隅の点の位置を、順に(S1x,S1z)、(S2x,S2z)、(S3x,S3z)、(S4x,S4z)と定義する。
【0056】
線形展開では、パネル内で逆変換後の映像領域の4隅の点、すなわち(I1x,I1z)、(I2x,I2z)、(I3x,I3z)、(I4x,I4z)のアドレスを有する4つの点(○印)から、パネルの4頂点、すなわち(Hdiv,Vdiv)、(0,Vdiv)、(0,0)、(Hdiv,0)の4つの点(△印)に線形に展開する。この展開により、キーストン歪み画像のアドレス空間では、画像領域の4隅の点、すなわち(Hdiv,Vdiv)、(0,Vdiv)、(0,0)、(Hdiv,0)のアドレスを有する点(△印)が、それぞれ(S1x,S1z)、(S2x,S2z)、(S3x,S3z)、(S4x,S4z)の4つの点(□印)に展開される。これらの座標の関係を次式(4)に示す。
【0057】
【数4】
【0058】
この式(4)の連立方程式を解くことにより、上記の条件を満たしたキーストン歪み画像のアドレス空間に展開した4頂点(S1x,S1z)、(S2x,S2z)、(S3x,S3z)、(S4x,S4z)を得ることができる。
この4頂点は、通常、もとの歪み画像の4隅の点から若干ずれて位置する。これは、キーストン歪画像のアドレスが非線形に変化しているのに対し、求めた4頂点(S1x,S1z)、(S2x,S2z)、(S3x,S3z)、(S4x,S4z)は映像領域の4隅を線形に展開して求めたものであることから、両者の位置には誤差が本質的に存在するためである。
【0059】
<展開手法2>
【0060】
展開手法2では、逆変換(キーストン歪み補正)後の映像領域の4隅の位置とパネルの4隅との位置関係の比率から、キーストン歪みアドレス空間内の画像の4隅の点(S1x,S1z)、(S2x,S2z)、(S3x,S3z)、(S4x,S4z)を得る。この垂直方向のアドレス展開については図17に、水平方向のアドレス展開については図18にそれぞれ示す。
【0061】
垂直方向では、図17に示すように、キーストン歪み補正した逆変換後の画像の高さ(I2z−I3z)に対するパネルの高さ(垂直解像度Vdiv)の比が、画像頂点(I3z)からのパネルの上辺または底辺までの垂直方向の距離(Vdiv−I3zまたはI3z)とパネル頂点(0,0)と、線形展開後のキーストン歪み画像の頂点との垂直方向距離(S2zまたは−S3z)の比になっている。同様に、キーストン歪み補正した逆変換後の画像の高さ(I1z−I4z)に対するパネルの高さ(垂直解像度Vdiv)の比が、画像頂点(I4z)からのパネルの上辺または底辺までの垂直方向の距離(Vdiv−I4zまたはI4z)とパネル頂点(0,0)と、線形展開後のキーストン歪み画像の頂点との垂直方向距離(S1zまたは−S4z)の比になっている。この関係から、垂直方向の座標S1z〜S4zは次式(5)のように求められる。
【0062】
【数5】
【0063】
水平方向についてのアドレス算出方法を図18に示す。この場合も垂直方向の場合と同様に、画像の4隅の位置とパネルの4隅までの位置関係で規定される水平距離の比率によって、座標S1x〜S4xを求めることができる。
このとき、つぎのステップST4の各画素のアドレス補間において垂直補間を行ってから水平補間を行うことを想定しているので、中間変数として(tS1x,Vdiv)、(tS2x,Vdiv)、(tS3x,0)、(tS4x,0)の座標を用意した。これらを用いて各水平距離の比率を計算して、キーストン歪み画像の4隅のアドレスを求めると、式(6)のようになる。
【0064】
【数6】
【0065】
以上により、キーストン歪み画像の4隅の補間アドレスが演算により求められ、これが記憶部255に格納される。
【0066】
図9に示すステップST4では、このキーストン歪み画像の4隅の補間アドレスから、各画素における補間アドレスを求める。この処理では、図8に示すアドレス補間部2bが、記憶部255から4隅の補間アドレスを読み出して実行する。このアドレス補間では、4隅の補間アドレスから、その間の各画素のアドレスを単純な線形補間などで求めていく。
【0067】
図19に、線形補間で各画素の補間アドレスを求める際のパラメータを示す。パネル上の座標(x、z)の点におけるキーストン歪み画像のアドレスを(KX、KZ)で表すと、このアドレスは次式(7)により求められる。ここで、座標(XR,ZR)と(XL,ZL)は、図17に示すように、線形補間の算出途中で必要となるパネル上の座標(0,z)および(Hdiv,z)に対応したキーストン歪み画像上の座標である。
【0068】
【数7】
【0069】
以上の手順により、1つの補間アドレスが算出されると、図9に示すステップST5において、すべてのパネル画素に対応した補間アドレスが算出されたかが判断される。この判断が「Yes」となるまで、ステップST4とST5が繰り返され、歪み画像のすべての画素の補間アドレスが求められる。求めた補間アドレスは、必要に応じて投射角度に対応付けられ、記憶部255の所定の領域255b(図8)に格納される。
【0070】
つぎのステップST6で、「すべてが終了か」の判断、たとえば、補間アドレスの算出ごとに設定(プロジェクター位置あるいはスクリーン位置)が変わっていないか、あるいは、プロジェクターが起動状態にあり映像信号の入力があるかなどの状況変化の有無が判断される。ここですべてが終了していない(「No」)と判断された場合、処理フローがステップST1に戻り、投射パラメータの再設定などから始めて再度、アドレス生成処理のやり直しとなる。ステップST6で「終了(Yes)」と判断されると当該処理全体が終了する。
【0071】
図20に、SVGA対応の歪み画像IPKのアドレスマップを示す。なお、この図では便宜上、33画素ごとにアドレス点を示し、その間は省略されている。
【0072】
その後、処理フローはとくに示さないが、算出した補間アドレスを用いて、アドレスの対応付け(マッピング)と、そのアドレス関係にもとづくパネル位置に表示すべき画像の生成(データ補間)が実行される。
【0073】
詳細には、図21(A)のように、補正により得たい画像のイメージ(投影画像イメージという)PIを、図20に示す歪みによって変形した座標空間上に重ねる。これにより歪み画像イメージPIKに投影画像イメージPIがマッピングされ、両画像のアドレスの対応関係が決まる。このとき、入力した元画像はVGAだが、画像の大きさと位置を調整するために、投影画像イメージPIを任意の大きさ(ここではSVGAの大きさ)で、変形したアドレス空間(歪み画像イメージPIK)内の任意の位置に配置することができる。また、投影画像イメージPIが歪み画像イメージPIK内に完全に収まるようにしないと、次に行う補間後に画像の一部が欠けてしまう。したがって、望ましくは、所望のアスペクト比(本例では、4:3)の投影画像イメージサイズが歪み画像のアドレス空間内で最大限となることを規定しておく。すると、この投影画像イメージPIの位置と大きさは単なる図形問題に帰結し、図21(A)に示すような位置とサイズで、投影画像イメージPIと歪み画像イメージPIKとの関係が一意に決まる。
【0074】
このようなマッピング処理(アドレスの対応付け)は、歪み画像イメージPIKのアドレス分布が既に前記した式(2−1)、(2−2)、(2−3)から求められているので、実際の物理メモリ(記憶資源)を用いずとも、たとえば演算部2a内で仮想メモリ空間を想定して実行できる。
【0075】
マッピング処理により得られたアドレスの対応関係は、歪み画像と、歪みがなくスクリーン上で正四角形となる所望の投影画像とのアドレス対応関係であるが、歪み画像というのは元々歪みがない正四角形のLCDパネル上の画像の投影の結果である。したがって、上記アドレスの対応関係を利用して、歪みがないスクリーン上の投影画像を得るためのLCDパネル3の表示画像が生成できる。
具体的な方法としては、SVGA出力の場合、LCDパネル3の有効表示領域の座標は800×600個になるが、この全ての点について、マッピングされた画像のアドレスで補間を行う。このとき800×600個の各点での補間のうち、図21(A)に示す歪み画像イメージPIKと投影画像イメージPIとが重なる領域の全てのアドレスでの補間では、投影画像のように画像データを再現できるようにフィルタ係数が選択され、その画像再現に必要な原画像の複数の画素データを上記フィルタ係数で重み付けして新たな画素データを合成する。合成後の画素データは、マッピング処理により求めた上記アドレス対応関係に基づいて、4:3のアスペクト比の正四角形画面であるSVGA画面内のどの位置に配置するかを一意に決めるアドレスに割り当てられる。一方、投影画像イメージPI周囲の歪み画像イメージPIK内領域の補間では、画像データがない黒色画素同士の合成となり、したがって補間後も黒色の画像データがSVGA画面内の対応位置に割り当てられる。
【0076】
図21(B)には、このような画像変換手順により生成されたSVGA出力画像を示す。この画像がキーストン歪み補正を行った画像である。マッピング処理により得られたアドレスの対応関係は、上述したようにイメージサイズ同士の重なる面積が最大となるように決められていることから、スクリーン上の投影画像は解像度の低下が最小に抑えられている。また、前述したアドレス生成の過程でズーム位置を反映させたことから、非常に正確に歪みが補正された画像が得られている。
この画像を図4(C)のようにLCDパネルに表示させ、図4(A)のように投影すると、スクリーン上で正四角形の投影画像が得られる。マッピングにより得られたアドレスの対応関係は、上述したようにイメージサイズ同士の重なる面積が最大となるように決められていることから、スクリーン上の投影画像は明るさおよび解像度の低下が最小に抑えられている。
【0077】
図22に、上記アドレス生成方法で正確に求められるアドレスの位置を、従来の方法での当該位置と比較して示す。
図22(A)に示す従来の場合、4隅のアドレスからの補間により各アドレスを求めることから、最も正確なアドレスは計算により求めた最初の4隅のアドレスである。これに対し、図22(B)に示す本実施の形態の場合、映像領域の4隅のパネル上のアドレスを逆変換演算により求め、それをもとに歪み画像の輪郭を決定することから、最も正確なアドレスが映像領域の4隅となる。このため、従来に比べると、高くする必要がある映像領域で補間精度が高く、映像領域内の各補間アドレスの位置精度が相対的に向上している。その結果、投射映像の外形精度が矩形に、より近くなる。また、その分、投射映像リニアリティも向上する。
【0078】
以上は、スクリーンに向かって左下位置(第3象限P3)からの投射時の歪み補正を述べた。他の位置からの投射の場合、歪み座標を求める式が異なるのみで上述した補正方法の手順は同じであることから、ここでは、キーストン歪み座標変換に用いる式のみ示し詳細は省略する。
【0079】
図23(A−1)と図23(B−1)に、スクリーン101に向かって右下位置(第4象限P4)からの投射時における右手座標系のxy平面図とyz平面図を示す。また、プロジェクター1の投射位置は正面投射から動かさないとしたときに、同じ相対関係となるようにスクリーン101を軸回転させた場合のxy平面図とyz平面図を、図23(A−2)と図23(B−2)に示す。このとき、右手座標系で表現したスクリーン101に対するプロジェクター1の回転角度は垂直方向に(−α)度、水平方向に(−β)度となる。
傾いたクリーン101tに投射されたキーストン歪み座標を求める式を、スクリーンに対するプロジェクターの投射角度(垂直(α)、水平(β))で表し、次式(8−1)、(8−2)、(8−3)に示す。
【0080】
【数8】
【0081】
図24(A−1)と図24(B−1)に、スクリーン101に向かって左上位置(第2象限P2)からの投射時における右手座標系のxy平面図とyz平面図を示す。また、プロジェクター1の投射位置は正面投射から動かさないとしたときに、同じ相対関係となるようにスクリーン101を軸回転させた場合のxy平面図とyz平面図を、図24(A−2)と図24(B−2)に示す。このとき、右手座標系で表現したスクリーン101に対するプロジェクター1の回転角度は垂直方向にα度、水平方向にβ度となる。
傾いたクリーン101tに投射されたキーストン歪み座標を求める式を、スクリーンに対するプロジェクターの投射角度(垂直(−α)、水平(−β))で表し、次式(9−1)、(9−2)、(9−3)に示す。
【0082】
【数9】
【0083】
図25(A−1)と図25(B−1)に、スクリーン101に向かって右上位置(第1象限P1)からの投射時における右手座標系のxy平面図とyz平面図を示す。また、プロジェクター1の投射位置は正面投射から動かさないとしたときに、同じ相対関係となるようにスクリーン101を軸回転させた場合のxy平面図とyz平面図を、図25(A−2)と図25(B−2)に示す。このとき、右手座標系で表現したスクリーン101に対するプロジェクター1の回転角度は垂直方向にα度、水平方向に(−β)度となる。
傾いたクリーン101tに投射されたキーストン歪み座標を求める式を、スクリーンに対するプロジェクターの投射角度(垂直(−α)、水平(β))で表し、次式(10−1)、(10−2)、(10−3)に示す。
【0084】
【数10】
【0085】
なお、本実施の形態では、以下に示す変形を施すことが可能である。
上述した説明では各補間アドレスの算出の際、1次元の補間を垂直方向に行ってから水平方向に行ったが、その順序は逆でもよい。また4隅点のアドレスから各個別アドレスを算出する補間手法については、2次元的なフィルタを用いてもよいし、線形補間以外の補間手法を用いてもよい。パネル全体へのアドレス展開では、上記各補間アドレスを求める方法に対応したアドレス展開手法を用いることによって、アドレス補間後の映像領域の4隅のアドレスが、その前に、逆変換で求めたアドレスと一致するようにする。これは補間方法が変化してもそれに合わせて画像領域内の誤差をできるだけ少なくするためである。
【0086】
また、本実施の形態では4隅の点、すなわち画像の角に位置する画素点を変換する場合をあげたが、誤差が少なければ数値演算上取りやすいサンプル間隔をもつ点を変換するとよい。この場合でも、望ましくは、上記画像の4隅を含ませるとよい。また、必要に応じて、その4隅の間の点も変換の対象としてもよい。つまり、画像の4隅だけにとどまらないで広く本実施の形態のアドレス生成方法を適用できる。
【0087】
さらに、本実施の形態の信号処理(演算)は、ハードウェアを含めた形で実現することを前提としているが、アドレス生成およびデータ補間を含む全体の処理をCPUなどの演算部2aにあらかじめ格納されたソフトウェア上で実現することも可能である。
【0088】
本実施の形態におけるアドレス生成では、演算部2aの負荷が大きい、式を用いたアドレス計算の対象をすくなくとも4隅の点に絞っているが、必要となる画像領域のアドレス精度は高く維持できる利点がある。
【0089】
[第2の実施の形態]
第2の実施の形態は、アドレス生成の他の方法に関する実施の形態である。図5〜図7のブロック図、およびアドレス生成の基本的な手順(フロー図の大まかな流れ)は第1の実施の形態と共通する。
【0090】
図26に本実施の形態にかかる演算部2a、アドレス補間部2bおよび記憶部255などの構成を示す。
この図26が図8と比較して異なる点は、逆変換演算手段32が省略されている点と、変換テーブル40を有する点である。本実施の形態では、記憶部の領域255aに保持される、すくなくとも4隅の補間アドレスの生成時に逆変換演算を用いないで、変換テーブル40に投射角度ごとに記憶されているアドレスの位置調整量(補正係数)を読み出して、この補正係数を、変換対象のアドレスにかけることにより、その位置調整を行う。位置調整後のアドレスは、4隅の補間アドレスとして記憶部の領域255aに格納される。
なお、変換テーブルは記憶部255内にあらかじめ格納してもよいし、他の記憶部に格納させてもよい。また、第1の実施の形態にも共通することであるが、アドレスのマッピングに代えて逆変換演算を行うこともでき、その場合、本実施の形態で逆変換演算部32(図8)を設けてもかまわない。
【0091】
図27は、本実施の形態にかかるアドレス生成の手順を示すフロー図である。この図27では図9と共通するステップは符号を同じにしており、ここでは、共通するステップの詳細な説明は省略する。
本実施の形態では、事前準備としてステップST0で、投射角度ごとの垂直方向の補正係数kVと水平方向の補正係数kHをあらかじめ、たとえば演算部2aによって算出しておく。算出後の補正係数は、変換テーブル40内に格納される。この事前準備は、投射角度が決められてから求めてもよいし、当該プロジェクターの出荷時に書き込んでもよい。
【0092】
第1の実施の形態と同様、ステップST1で投射パラメータを設定し、キーストン歪み座標の変換を行う。
つぎに、決められた投射角度に応じた補正係数(kV,kH)を演算部2aが変換テーブル40から読み出し(ステップST21)、つぎのステップST31で、この補正係数に応じたアドレスの位置調整を行う。この処理は投射する方向により操作が異なることから、以下、場合分けして説明する。
【0093】
《垂直方向にのみ傾けて投射する場合》
【0094】
図28(A)に、垂直方向に投射した場合における計算された4点のアドレス(X1,Z1)〜(X4,Z4)と、その補正(位置調整)後のアドレス(X1,NZ1)、(X2,NZ2)について示している。投射角度が大きければ、垂直方向に補間誤差が大きく現れるので、垂直方向で補間誤差があらかじめ小さくなる向きにアドレス位置を補正する。なお、とくに問題ない浅い角度であれば、補正しなくともよい。
【0095】
スクリーンに対して上向きに投射する場合、図28(A)において右上頂点と左上頂点の2つのアドレス(X1,Z1)と(X2,Z2)のうち、z座標のみを調整する。ここでは、投射角度に応じて値が決められた垂直方向の補正係数をkVとし、それぞれ調整後のアドレスを(NX1,NZ1),(NX2,NZ2)とすれば、これらのz座標は次式(11)のようになる。
【0096】
【数11】
【0097】
垂直方向の補正係数kVは、設定できる全ての投射角度で正確に求めた画像形状をあらかじめ算出しておき、この形状に対して補正係数kVを調整して、本手法で求めた画像と比較することで得ることができる。このとき、映像領域のアドレス精度が最も良くなるように補正係数と角度の対応付けを行うとよい。この補正係数kVが角度ごと格納されたテーブルから読み出され、上記式(11)によって新たなアドレスが算出される。これにより、縦キーストン歪み画像において、すくなくとも4隅の補正アドレスが得られる。
【0098】
《水平方向にのみ傾けて投射する場合》
図29(A)に、水平方向に投射した場合における計算された4点のアドレス(X1,Z1)〜(X4,Z4)と、その補正後のアドレス(X1,NZ1)、(X4,NZ4)について示している。投射角度が大きければ、水平方向に補間誤差が大きく現れるので、水平方向で補間誤差があらかじめ小さくなる向きにアドレス位置を補正する。なお、とくに問題ない浅い角度であれば、補正しなくともよい。
【0099】
スクリーンに対して右向きに投射する場合、図29(A)において右上頂点と右下頂点の2つのアドレス(X1,Z1)と(X4,Z4)に対して補正を行う。このとき、基本的に両アドレスとも水平方向にも垂直方向にも調整するが、図29(A)に示した投射の例では、光軸が画面最下端と一致している光学系であるので、右下頂点(X4,Z4)は垂直方向には移動しなくてよい。一致しないときには、垂直と水平の量方向とも補正する。ここでは、投射角度に応じて値が決められた垂直方向の補正係数をkV、水平方向の補正係数をkHとし、それぞれ調整後のアドレスを(NX1,NZ1),(NX4,NZ4)とすれば、これらのz座標は次式(12)のようになる。
【0100】
【数12】
【0101】
水平方向の補正係数kHは、垂直方向の補正係数kVと同様に算出されるが、このとき、映像領域のアドレス精度が最も良くなるように補正係数と角度の対応付けを行うとよい。この補正係数(kV,kH)が角度ごと格納されたテーブルから読み出され、上記式(12)によって新たなアドレスが算出される。これにより、横キーストン歪み画像において、すくなくとも4隅の補正アドレスが得られる。
【0102】
なお、水平方向にも垂直方向にも傾けて投射する場合は、本実施の形態のアドレス位置調整が投射角度の浅いものしか対象にしないので、上述で示したような補正自体を行わない。
【0103】
つぎのステップST41では、各画素に対応したアドレスが補間により生成される。この処理は、演算部2aにより算出され、記憶部の領域255aに格納されている、キーストン歪み画像の4隅の補間アドレスをもとにアドレス補間回路2bで行われる。歪み画像の4隅のアドレスから各補間点のアドレスを単純な線形補間などで求めていく。
【0104】
図30(A)と図30(B)に、垂直方向に投射した場合に線形補間で各画素の補間アドレスの求める際の補間前後の歪み画像を示す。ここで、パネル上のアドレスが(x、z)の点におけるキーストン歪み画像のアドレスを(KX、KZ)で示し、4隅の垂直方向間隔をVdiv、水平方向間隔をHdivとすると、補間後のアドレスは式(13)のように求められる。ここで示している(XR,ZR),(XL,ZL)は、線形補間の算出途中で必要となる(0、z)および(Hdiv,z)位置におけるキーストン歪み画像上のアドレスに相当する。
【0105】
【数13】
【0106】
以上の手順により、1つの補間アドレスが算出されると、つぎのステップST5からST4に戻るループ処理がすべての画素について補間アドレスが求まるまで繰り返され、その後、ステップST6で「すべて終了」と判断されると当該処理が終了し、この判断が「No」の場合は、処理は最初からやり直しとなる。
【0107】
本実施の形態では、垂直または水平のアドレスの位置調整によって、キーストン歪補正後の画像の形状の精度が向上する。図31(A)〜図31(D)は、この効果を示すための歪み補正後のパネル上の表示画像である。同図(A)と(C)は、すべてのアドレスを演算により求めた正確な形状をもつリファレンス画像である。これに対し、同図(B)が4隅のみ演算により求め残りのアドレスは線形補間により得た場合、同図(D)が本実施の形態の場合、すなわち4隅の演算と位置調整とを行った後、残りのアドレスを線形補間により得た場合である。
本発明の適用によって、垂直方向の画像高さの誤差がほぼゼロにまで低減され、その結果として画像形状の精度が向上し、また、その分リニアリティも向上している。
【0108】
なお、本実施の形態では以下の変形が可能である。
補正係数だけでなく、4隅の補間アドレスの算出までを演算部2aによりあらかじめ計算しておき、その計算結果を角度ごとにテーブル化しておくことができる。
【0109】
補正対象は歪み画像の4隅の点(画像の頂点)に限らず、完全に一致しなくとも頂点の近辺であれば本手法の誤差を少なくする効果が得られる。このことから、頂点間隔が数値演算上取り扱いにくい場合には、多少取り扱いしやすい位置にずらして適用することもできる。
このアドレス位置調整による形状補正の際、斜め方向に投射する場合については形状補正をしないとしたが、補正できる範囲でアドレス調整処理をおこなってもよい。また、補正演算として本実施例では乗算で示したが、加算を用いてもよいし、アドレスごとに補正係数をこまかく調整してもよい。
【0110】
各補間アドレスの算出の際、1次元の補間を垂直方向に行ってから水平方向に行ったが、順序は逆でもよい。また、4隅の補間アドレスから、その間の補間アドレスを算出する補間手法については、2次元的なフィルタを用いてもよいし、線形補間以外の補間手法を用いてもよい。
【0111】
第1の実施の形態でも共通することであるが、プロジェクターの投射する角度や補間処理を行う補間フィルタの種類やタップ数、入力解像度や出力信号解像度などは任意であり、上記で説明したものに特定されない。
さらに、本実施の形態の信号処理(演算)は、ハードウェアを含めた形で実現することを前提としているが、アドレス生成およびデータ補間を含む全体の処理をCPUなどの演算部2aにあらかじめ格納されたソフトウェア上で実現することも可能である。
【0112】
第1および第2の実施の形態における演算部2aは、アドレスを生成する演算部としての役割のほか、アドレスのマッピング手段、さらには他の構成の制御部としての役割がある。このため、処理の負担が大きく、マッピングや他の構成の制御の空き時間にアドレスの生成を行ったのでは、処理のタイミングが適合しないために全体の効率向上が十分でない場合がある。
【0113】
第1および第2の実施の形態では、高い精度を維持しながらアドレス生成の負担を低減できる。以下、この効果を比較例と対比させることにより説明する。
【0114】
まず、第1および第2の実施の形態の比較例として、すべての補間アドレスを計算により求める場合の、アドレスの演算量および保持量について説明する。この本発明が適用されない場合、画素データの補間処理に用いるアドレス(補間アドレス)をあらかじめ演算により求め保持しておく方法と、すべての補間アドレスを演算により逐次求める方法とがある。
【0115】
いずれにしても、式(2−1)〜式(2−3)により1つの画素のキーストン歪み補正に必要な補間アドレスが求められ、これが繰り返されて1フレームの歪み画像の補間に必要なアドレスが生成される。すなわち、LCDパネルに出力する場合、LCDパネルの解像度の画素数に相当する水平アドレスと鉛直アドレスが必要になる。具体的にパネルがXGA仕様であれば、水平に1024画素、鉛直に768画素あるので、次式(14)で計算される情報量が補間アドレスとして必要となる。
【0116】
【数14】
【0117】
この式(14)は、ある1つの角度についてのキーストン歪み補正で必要な情報量を表しており、角度の設定を変更した場合には、あらたな設定角度でのキーストン補正を行うための補間アドレスがさらに必要となる。
必要な補間アドレスを保持する場合、従来の1つの方法としてすべての補間アドレスデータをテーブルとしてもつことが考えられる。しかし、この場合、式(8)で表される情報量を想定される角度設定の数だけ掛け算した情報量が格納できるテーブルが必要となる。また、このときのパターンは鉛直と水平の2方向の組み合わせになるのでデータとして膨大になり、あまり現実的でない。
すべてのアドレスを逐次CPUにより計算させる場合、設定された角度に対してCPUで式(2−1)〜式(2−3)で表されるアドレス計算を行い、所定の記憶素子に対して一時記憶させておくことで利用に供する。この場合、角度が設定されてから初めて補間アドレスを計算し始めるので、CPUの計算が終わらないとキーストン歪み画像の画素データ補間を行うことができない。
【0118】
これに対し、本発明の実施の形態では、最低で4点、多くても数点のアドレス計算で、実用上問題がない程度に高い精度のアドレス生成が可能である。したがって、本発明によって、アドレス生成のハードウェア的、および時間的負担の増大と、高いアドレス生成精度の維持との従来、相矛盾した課題を一挙に解決することが可能となった。
【0119】
上述した第1および第2の実施の形態においてはVGA画像をSVGA画像に変換する場合を例示したが、変換前の画像の解像度、変換後の画像の解像度、およびLCDパネルの解像度は任意である。図31の図表に、バイリニア補間で必要となる代表点アドレス数をパネル解像度ごとに例示している。
【0120】
【発明の効果】
本発明にかかる画像処理装置およびその方法、ならびに、画像投射装置によれば、高いアドレス精度を維持しながらも、アドレス計算点の増加または計算式の複雑化によって増大するアドレス計算の負担が軽減され、処理の高速化を図ることができる。また、アドレス生成を回路により実現する場合は、その回路規模を縮小することが可能となる。
【図面の簡単な説明】
【図1】発明の実施の形態におけるフロントプロジェクターをスクリーンの正面に配置した場合に、これらを上方から見た図である。
【図2】本発明の実施の形態におけるプロジェクターの配置可能な範囲を、正面配置の位置を中心として示す図である。
【図3】(A)は横からの画像投影時の図、(B)は入力画像イメージを示す図、(C)はLCDパネル面上での画像イメージ図である。
【図4】(A)は正面位置から水平と垂直の双方の方向にずれた位置からの斜め投射時の図、(B)は入力画像イメージ、(C)はLCDのパネル面上での画像イメージである。
【図5】本発明の実施の形態におけるプロジェクターの基本構成を示す図である。
【図6】実施の形態にかかるプロジェクターにおいて、図1の回路部に含まれる、イメージプロセッサとその周辺の回路の一構成例を示すブロック図である。
【図7】イメージプロセッサ内部の回路の一構成例を示すブロック図である。
【図8】第1の形態にかかる画像処理回路において演算部、アドレス補間部および記憶部を示すブロック図である。
【図9】第1の実施の形態にかかる画像処理方法で、補間アドレスの生成手順を示すフローチャートである。
【図10】(A)は正面投射の場合の右手座標系におけるプロジェクターとスクリーンの位置関係を示す図である。(B)はyz平面図、(C)はxy平面図である。
【図11】(A)は垂直投射角α度、水平投射角β度の場合に、右手座標系におけるプロジェクターとスクリーンの位置関係を示す図である。(B)はyz平面図、(C)はxy平面図である。
【図12】(A)〜(C)は、スクリーンを軸回転させた場合の図11(A)〜図11(C)と等価的な斜め投射の位置関係を示す図である。
【図13】(A)および(B)は座標関係についてまとめて示す図である。
【図14】(A)は斜め投射時のキーストン歪み画像のイメージ図、(B)はキーストン歪みの逆変換後のパネル上の表示画像のイメージ図である。
【図15】アドレス展開の向きを示す歪み画像の図である。
【図16】展開手法1に用いるパラメータの定義を示す歪み画像の図である。
【図17】展開手法2における垂直方向のアドレス展開に用いるパラメータの定義を示す歪み画像の図である。
【図18】展開手法2における水平方向のアドレス展開に用いるパラメータの定義を示す歪み画像の図である。
【図19】線形補間で各画素の補間アドレスを求める際のパラメータの定義を示す歪み画像の図である。
【図20】斜め投射時のSVGA画像のキーストン歪み画像のアドレスマップを示す図である。
【図21】(A)はマッピング時に2つの画像イメージを重ねた図、(B)は補間演算により生成したLCDパネルの表示画面である。
【図22】(A)および(B)は、第1の実施の形態で示すアドレス生成方法で正確に求められるアドレスの位置を、従来の方法での当該位置と比較して示す図である。
【図23】(A−1)〜(B−2)は、スクリーンに向かって右下からの投射時における右手座標系のxy平面図とyz平面図、およびそれらと等価な平面図である。
【図24】(A−1)〜(B−2)は、スクリーンに向かって左上からの投射時における右手座標系のxy平面図とyz平面図、およびそれらと等価な平面図である。
【図25】(A−1)〜(B−2)は、スクリーンに向かって右上からの投射時における右手座標系のxy平面図とyz平面図、およびそれらと等価な平面図である。
【図26】本発明の第2の実施の形態にかかる画像処理装置における演算部、アドレス補間部および記憶部255を示すブロック図である。
【図27】第2の実施の形態にかかる画像処理のうち、アドレス生成の手順を示すフロー図である。
【図28】(A)は垂直方向に投射した場合に歪み画像の位置調整を行う点の調整前後の座標を示す図である。(B)は補正後の歪み画像を映像領域とともに示す図である。
【図29】(A)は水平方向に投射した場合に歪み画像の位置調整を行う点の調整前後の座標を示す図である。(B)は補正後の歪み画像を映像領域とともに示す図である。
【図30】(A)と(B)は、垂直方向に投射した場合に線形補間で各画素の補間アドレスの求める際の補間前後の歪み画像を示す図である。
【図31】(A)〜(D)は、第2の実施の形態の効果を示すための歪み補正後のパネル上の表示画像である。
【図32】高品位な画像を得るために必要な計算点(補間アドレス)の数をパネル解像度ごとに示す図表である。
【符号の説明】
1…プロジェクター、2…回路部、2a…演算部、2b…アドレス補間部、2c…データ補間部、3…LCDパネル、3a…表示画像、4…投光部、5…光学部、6…相対関係取得部、21…コムフィルタ、22…クロマデコーダ、23…セレクトスイッチ、24…アナログ−ディジタル・コンバータ、25…イメージプロセッサ、26…画像メモリ、31…変換演算部、32…逆変換演算部、40…変換テーブル、101,101t…スクリーン、101a…投影画像、251…IP変換部、252…スケーラ、253…CPUインターフェース、254…メモリ制御部、255…記憶部、255a,255b…記憶部の領域、257…係数発生部、258…フィルタ演算部、PI…投影画像イメージ、PIK…歪み画像イメージ、α,β…投射角度
【発明の属する技術分野】
本発明は、画像表示部に表示した表示画像を、光を利用して外部の投射面に対し斜めに投射したときに当該投射面上で生じる歪み画像のアドレスを生成する画像処理装置およびその方法、ならびに、投射面上での歪みが補正される表示画像を生成し、投射する画像投射装置に関する。
【0002】
【従来の技術】
いわゆるプロジェクターと称される画像投射装置は画像表示部、たとえばLCD(Liquid Crystal Display)パネルを有している。画像表示部に画像を表示させ、その表示画像を外部の投射面、たとえばスクリーンの面に投射する。
【0003】
このとき、スクリーンに対するプロジェクターからの画像の投射角度が斜めであると、本来、矩形状であるはずの画像がスクリーン上で台形状に歪む。このため、スクリーン上の画像の台形歪みを補正するいわゆるキーストン補正機能を備えた液晶プロジェクターが知られている。
【0004】
鉛直または水平のキーストン歪み補正では、スクリーン上の投影画像と逆方向に意図的に歪ませた画像をLCDパネル上で生成する。正矩形の入力画像を意図的に歪ませる画像変換は、通常、プロジェクターが有する画素数変換機能を利用して行う。たとえば、鉛直のキーストン歪み補正では、元画像の1フレーム内の単数または複数の水平ラインデータに対して、補間処理や間引き処理をディジタル的に施すことにより台形歪みの逆変換を実行する。
【0005】
この画像変換を、座標変換式を用いて行う方法が知られている(たとえば、特許文献1参照)。
この方法では、LCDパネル上の整数座標に対応する実数座標を座標変換式によって算出し、実数座標の周囲にある画素データをフレームメモリから読み出して、補間演算により整数座標に書き込む画素データの値を求めることによって、台形歪みが補正された画像をLCDパネル上に形成する。
【0006】
【特許文献1】
特開2003−29714号公報(第3〜第4頁)
【0007】
【発明が解決しようとする課題】
ところが、この特許文献1に開示された座標変換によるアドレス生成方法では、鉛直方向の歪み補正と、水平方向の歪み補正を同時に行うためのアドレスが生成できない。また、特許文献1には、鉛直方向の変換式は示されているが、水平方向の変換式が開示されていない。水平方向の変換は、一般的に、複数ラインの画素データの変換であるため、より複雑な式となると考えられる。このため、特許文献1に記載されたキーストン歪み補正方法が適用されたプロジェクターでは使い勝手が悪くなり、製品としての魅力に乏しい上、トータルの処理時間が長くなり処理効率が悪いという課題がある。
【0008】
本発明者は、水平と垂直のアドレスの同時生成が可能な変換式を用いて、キーストン歪み画像のアドレスを求める手法を既に提案した(たとえば、特願2002−187481号)。
ところが、変換式によるアドレス生成は処理時間がかかるため、この変換式を用いるアドレスの生成数を最小限にして、そのアドレス間の他のアドレスを補間演算により生成すると補間誤差が大きくなってしまう。つまり、上記特願2002−187481号に提案した歪み画像のアドレス生成手法ではアドレス生成に要する処理時間と、その間の他のアドレス生成時の補間誤差の低減との両立が難しく、改善の余地があった。
【0009】
本発明の第1の目的は、アドレス生成の処理時間と補間誤差の低減とを同時に達成可能な画像処理装置およびその方法を提供することにある。
本発明の第2の目的は、アドレス生成の処理時間と補間誤差の低減とを同時に達成可能な歪み画像のアドレス生成手法を用いて画像表示部に表示画像を生成し、この表示画面を投射したときに投射面上で歪みが補正可能な画像投射装置を提供することにある。
【0010】
【課題を解決するための手段】
本発明にかかる画像処理装置は、上述した第1の目的を達成するためのものであり、画像表示部に表示した表示画像を、光を利用して外部の投射面に対し斜めに投射したときに当該投射面上で生じる歪み画像のアドレスを生成する画像処理装置であって、前記歪み画像の少なくとも4隅のアドレスを演算により生成し、生成したアドレスの位置を、前記表示画像の映像領域に対応する歪み画像領域内でアドレスの補間誤差が小さくなる向きに調整する演算部と、前記位置が調整されたアドレスの間の他の歪み画像のアドレスを、前記アドレス位置の調整方法に対応した補間方法により生成するアドレス補間部と、を有する。
【0011】
好適に、前記演算部は、前記少なくとも4隅のアドレスを生成したときと逆の変換を行う演算により、もとの歪み画像と逆に歪む前記映像領域に対応した領域の少なくとも4隅のアドレスを求める逆変換演算部と、求めた前記映像領域に対応した領域の少なくとも4隅のアドレスから、前記アドレス補間部が前記他のアドレスを生成するときの補間方法に対応したアドレス展開手法により前記歪み画像の少なくとも4隅のアドレスを再度算出するアドレス演算部と、を有する。
【0012】
好適に、前記演算部は、垂直と水平の方向それぞれで、前記歪み画像の少なくとも4隅のアドレスのそれぞれに前記投射の角度に応じた係数をかける。この場合、さらに好適に、前記投射の角度ごとに前記垂直と水平の各方向の係数を記憶している記憶部を有する。
【0013】
本発明にかかる画像処理方法は、上述した第1の目的を達成するためのものであり、画像表示部に表示した表示画像を、光を利用して外部の投射面に対し斜めに投射したときに当該投射面上で生じる歪み画像のアドレスを生成する画像処理方法であって、前記歪み画像の少なくとも4隅のアドレスを演算により生成するステップと、生成したアドレスの位置を、前記表示画像の映像領域に対応する歪み画像領域内でアドレスの補間誤差が小さくなる向きに調整するアドレス調整のステップと、前記位置が調整されたアドレスの間の他の歪み画像のアドレスを、前記アドレス位置の調整方法に対応した補間方法により生成するアドレス補間のステップと、を含む。
【0014】
好適に、前記アドレス調整のステップが、さらに、前記少なくとも4隅のアドレスを生成したときと逆の変換を行う演算により、もとの歪み画像と逆に歪む前記映像領域に対応した領域の少なくとも4隅のアドレスを求める逆変換のステップと、求めた前記映像領域に対応した領域の少なくとも4隅のアドレスから、前記アドレス補間のステップで前記他のアドレスを生成するときの補間方法に対応したアドレス展開手法により前記歪み画像の少なくとも4隅のアドレスを再度算出するステップと、を含む。
【0015】
好適に、前記アドレス調整のステップでは、垂直と水平の方向それぞれで、前記歪み画像の少なくとも4隅のアドレスのそれぞれに前記投射の角度に応じた係数をかける。この場合、さらに好適に、前記投射の角度ごとに前記垂直と水平の各方向の係数をあらかじめ求め、記憶部に記憶させるステップを、さらに含む。
【0016】
上述した構成の画像処理装置およびその方法によれば、最初に、歪み画像の少なくとも4隅のアドレスを、演算部が演算により(あるいは、それに対応したステップにおいて)生成する。つづいて演算部により(あるいは、アドレス位置調整のステップにおいて)、この少なくとも4隅のアドレスの位置が調整される。
【0017】
アドレス位置調整の第1の手法では、まず、演算部内の逆変換演算部により(あるいは、逆変換のステップにおいて)、歪み画像の逆変換を行い、逆変換後の歪み画像内でもとの歪み画像と逆に歪む前記映像領域に対応した領域の少なくとも4隅のアドレスを求める。つぎに、演算部内のアドレス演算部により(あるいは、この補間演算のステップにおいて)、映像領域に対応した領域の少なくとも4隅のアドレスから所定のアドレス展開手法によって歪み画像の少なくとも4隅のアドレスを再度算出する。これにより算出された歪み画像の少なくとも4隅のアドレスの位置は、演算部が演算により算出した直後のアドレスの位置からずれたものとなる。
アドレス位置調整の第2の手法では、演算部により(あるいは、それに対応したステップにおいて)、垂直と水平のそれぞれの方向で、たとえば記憶部から読み出した投射角度ごとの係数を、演算部が演算により求めたアドレスにかける。これにより算出された歪み画像の少なくとも4隅のアドレスのそれぞれの位置は、もとの歪み画像の対応する各アドレスの位置からずれたものとなる。この係数は、その乗算の結果、映像領域に対応した歪み画像領域内で補間誤差が低減されるようにアドレス位置を調整するための係数である。
【0018】
つぎに、アドレス補間部により(あるいは、それに対応したステップにおいて)、上記アドレス演算部が行ったアドレス展開手法に対応した補間方法により、位置調整後の少なくとも4隅のアドレス間の他の歪み画像のアドレスが生成される。この他のアドレスの生成のもととなる位置調整後のアドレス(演算により求めた少なくとも4隅のアドレス)は、上記第1の手法では、もともと、映像領域に対応した領域の少なくとも4隅のアドレス(これらのアドレスは逆変換の演算により求めたものであることから、その位置精度は高い)から生成されたものである。そのため、その逆の経過をたどる、この補間処理によって生成された歪み画像の他のアドレスのうち、映像領域に対応した領域の少なくとも4隅のアドレスの位置精度は、演算による生成されたアドレスの位置精度と同等レベルである。また、上記第2の手法では、映像領域に対応した歪み画像領域内の補間誤差を大幅に低減されるように係数が決められ、通常、係数乗算後のアドレスの位置は、上記第1の手法の位置調整後のアドレスと同じ位置となる。したがって、この第2の手法を用いた場合でも、アドレス補間部による補間処理により生成された歪み画像のアドレスのうち、映像領域に対応した領域の少なくとも4隅のアドレスの位置精度は、演算により生成されたアドレスの位置精度と同等レベルである。
【0019】
本発明にかかる画像投射装置は、上記した画像処理装置が有する演算部とアドレス補間部に加え、データ補間部を有する。データ補間部は、投射面上で歪みが補正される表示画像の画素データを、入力画像の複数の画素データから補間により生成し、生成した画素データを、歪み画像のアドレスと所望の画像のアドレスとの対応関係から決められる画像表示部の位置に出力する。画像表示部の表示画像が光を利用して投射されることにより、歪みが補正された所望の画像が投射面上に現出する。
【0020】
【発明の実施の形態】
本発明の画像投射装置(プロジェクター)と、それに用いる画像変換方法の実施の形態を、図面を参照しながら説明する。
【0021】
図1に、フロントプロジェクターをスクリーンの正面に配置した場合に、これらを下方から見た図を示す。
図1に示す配置おいて、プロジェクター1の投射光の軸と映像が映るスクリーン101とが、下から見ると直交するように配置される。プロジェクター1で投射する映像はテレビ信号やコンピュータ画面の信号である。これらの信号に重畳された映像の表示領域の形状は、テレビやコンピュータディスプレイを見れば分かるように、信号によって画素数に違いはあるものの映像全体として4:3や16:9などの辺の比(アスペクト比)をもつ長方形である。プロジェクター1のLCDパネルに表示された長方形の映像は、まっすぐに投射しなければ投射された映像も長方形にならず、本来の映像の形をゆがめてしまう結果になる。
【0022】
図2は、正面に配置したプロジェクターの位置をP0としたときに、本発明の実施の形態におけるプロジェクター1の配置可能な範囲を示す図である。
プロジェクター1は、正面位置P0を含む水平面Ph内に配置でき、また、正面位置P0を含む垂直面Pv内に配置できる。さらに、プロジェクター1は、2つの平面Ph,Pvによって区切られる第1象限P1、第2象限P2、第3象限P3、第4象限P4のいずれにおいても任意に配置できる。
プロジェクター1は、その内部のLCDパネルの表示画像を、上述した範囲内であればどの位置から投射してもよい。プロジェクター1は、投射位置に応じた画像の歪みを補正する機能を有しているので、この機能を働かせれば恰も正面から投射したときと同じアスペクト比をもった正四角形の画像をスクリーン101上に映し出すことができる。この補正を、キーストン歪み補正という。
【0023】
図3(A)に、水平面内でスクリーンに向かって左横からの画像投影イメージを示す。図3(B)に入力画像イメージを、図3(C)にプロジェクターに内蔵されたLCDパネル面上での画像イメージを示す。
図3(A)に示すように、スクリーン101に向かって左横にプロジェクター1を配置して投射しているが、スクリーン101上の映像は正面から投射しているときと同じように見える。本来であれば、投射された画面は図中の斜線部を含め全体が台形に歪んだように変形するはずである。これを横キーストン変形といい、横キーストン変形を補正することを横キーストン補正という。
このように横に置いたプロジェクター1から画像を投射して、それが正面から投射したかのようにスクリーン101上で映るには、あらかじめプロジェクター1の投射位置によって画像がどのように歪むかを計算しておかなければならない。このとき、横から投射したときに歪む形に対して作為的に逆の方向に歪ませた画像を作り、それを投射することで横方向から投射しても画像を正面から投射した時と同じように見せることができる。上記具体例で図3(A)のような投射映像を得るためには、図3(B)の入力画像を図3(C)のようにLCDパネル面上で故意に変形して表示させ、この表示画像をスクリーン101に投影する。
【0024】
図4(A)に、図2における第3象限P3からの画像投影イメージを示す。また、図4(B)に入力画像イメージを、図4(C)にLCDのパネル面上での画像イメージを示す。
図3(A)の横キーストン歪みは台形歪みであったが、これに垂直方向の歪み成分が加わった図4(A)の場合、さらに歪み形状が複雑になる。図4(A)に示す正四角形の補正後の投影画像を得ようとすると、LCDパネル表示画像は、図4(C)に示すように画像をLCDパネル面内で回転させたようにする必要がある。
図4(C)および前記図3(C)のいずれの場合でも、補正前の投影画像形状と逆に故意に歪ませた画像をLCDパネル面の有効表示領域いっぱいに表示すれば、解像度、明るさの低下が極力抑えられた正四角形の投影画像がスクリーン上に得られる。
【0025】
以下、入力画像をLCDパネルの表示画像に変換することによって、このような補正が可能な画像投射装置と画像変換方法の実施の形態を、より詳細に説明する。この画像変換では、図4(A)のように第3象限P3からの投射の場合を例に水平および垂直の歪みを同時に補正可能なアドレス生成の一般式を求める。水平のみ、あるいは垂直のみの歪み画像は、この一般式において水平または垂直の投射角度がゼロの場合で表現できる。また、第3象限以外の他の象限からの投射は、式が異なるのみで考え方は同じである。
【0026】
[第1の実施の形態]
図5に、プロジェクターの基本構成を示す。
プロジェクター1は、映像信号(入力信号)に種々の信号処理を施す回路、各種駆動系の回路を含む回路部2を有する。回路部2は、信号処理回路内の一部に、たとえば中央演算処理部(CPU)からなる演算部2a、アドレス補間部2b、および、データ補間部2cを含む。プロジェクター1は、入力信号に各種信号処理を施した信号が示す入力画像を画像変換して得られた表示画像3aを表示する画像表示部3、たとえばLCDパネルを有する。また、プロジェクター1は、表示画像3aを外部に投射するための光源を含む投光部4と、各種レンズを含む光学部5とを有する。LCDパネル3は透過型と反射型のいずれでもよいが、いずれにしても表示画像3aが、光学部5を通って投射面としてのスクリーン101に投影画像101aとして映し出されるものであればよい。
演算部2aは、画像変換に必要な歪み画像のアドレスのうち、すくなくとも4隅のアドレスを演算により算出する。演算部2aがCPUからなる場合、演算部2aは、アドレス同士の相対関係を求める手段(以下、マッピング手段という)、および、他の構成を制御する制御手段として機能する。アドレスの演算およびアドレスの対応付け(マッピング)についての詳細は後述する。
【0027】
プロジェクター1は、LCDパネル3の表示画像とスクリーン101との相対的な関係を示す相対関係情報を取得する相対関係取得部6を有する。相対関係取得部6は、外部から相対関係情報を入力する入力部、外部操作手段(ボタンなど)、想定される相対関係情報をあらかじめ記憶した記憶部(たとえば、ROMまたはRAM)、あるいは相対関係を自ら検出する手段など、種々の形態がある。相対関係取得部6は、たとえば、少なくとも、表示画像のスクリーン101までの距離と、光学部5の光軸とスクリーン面とのなす角度とを取得する。
【0028】
液晶などの固定画素のパネルを用いるプロジェクターでは、入力された入力画像の画素数と出力画像の画素数とが異なる場合がある。そのため画素数を変換するための信号処理機能を備えている。これをスケーリング機能と呼ぶが、この処理では、本来画素データの無い位置でのデータが必要になり、画素の補間演算が行われる。補間演算では、周辺の画素のデータを用いて目的の位置の画素データを作り出す。この機能は、たとえば、イメージプロセッサと称される画像処理回路内に、スケーラと呼ばれる回路ブロックを内蔵させることにより実現される。
【0029】
図6は、図5の回路部2に含まれる画像処理回路、すなわちイメージプロセッサとその周辺の回路ブロックの一構成例を示す図である。
図解した画像処理回路は、コムフィルタ(Comb Filter)21、クロマデコーダ(Chroma Decoder)22、セレクトスイッチ(SW)23、アナログ−ディジタル・コンバータ(A/D)24、イメージプロセッサ(Image Processor)25、SDRAMなどからなる画像メモリ26、および、演算部2aを有する。このうち、イメージプロセッサ25と演算部2aが、画像変換の機能を実現するための一実施態様に該当する。なお、これらの画像メモリ26や演算部2aの機能をイメージプロセッサ25内に一体化させてもよい。
【0030】
図解した画像処理回路は、コンポジットビデオ信号(以下、Video信号)、Y/C信号、RGB信号のいずれの映像信号にも対応している。Video信号はコムフィルタ21に、Y/C信号はクロマデコーダ22に、RGB信号はセレクトスイッチ23に、それぞれ入力される。いま、Video信号が入力されている場合を考えると、コムフィルタ21でY/C信号に変換され、続くクロマデコーダ22でYUV信号に変換される。セレクトスイッチ23によって選択された信号がA/D24により変換されてディジタル信号になる。この信号がイメージプロセッサ25に入力され、所望の信号処理が行われる。このとき、イメージプロセッサ25の処理が演算部2aにより制御され、処理中に、適宜画像メモリ26が使用される。所望の信号処理が行われた後は、処理後の信号が画像表示部、たとえばLCDパネル3に送られ、この信号にもとづいてLCDパネル3に投射する画像が表示される。
【0031】
図7に、イメージプロセッサ内部の回路ブロックの一構成例を示す。
イメージプロセッサ25は、IP(Interlace−Progressive)変換部251、スケーラ252、CPUインターフェース253、メモリ制御部254、および記憶部255を有する。スケーラ252は、アドレス補間部2b、係数発生部257、およびフィルタ演算部258を有する。このうち、係数発生部257とフィルタ演算部258が図5におけるデータ補間部2cの一実施態様に該当する。
【0032】
イメージプロセッサ25に入力された映像信号はIP変換部251に送られ、ここでインターレース信号がプログレッシブ化される。この処理では画像メモリ26を用いるが、メモリインターフェースとしてのメモリ制御部254にIP変換部251が接続されることによって、IP変換部251は画像メモリ26との間で画像データのやり取りを行う。プログレッシブ化された信号は、スケーリング処理を行うためにスケーラ252に送られる。スケーラ252の内部では、歪み補正に必要なアドレスのうち、前述したすくなくとも4隅のアドレス間の他のアドレスを、アドレス補間部2bで補間処理により生成する。フィルタ係数を係数発生部257で発生させ、発生させたフィルタ係数をフィルタ演算部258に供給する。フィルタ演算部258が、与えられたフィルタ係数を用いた補間演算処理を行い、入力した映像信号が示す入力画像が、所定の大きさと形状を有したLCDパネルの表示画像に変換される。この変換後の表示画像の信号が出力され、LCDパネル3に送られる。この補間演算に用いるアドレスやフィルタ係数などを保持する記憶部255がスケーラ252に接続され、これら一連の処理を含むイメージプロセッシングを制御する演算部2aのインターフェース253がIP変換部251、スケーラ252および記憶部255に接続されている。
【0033】
図6に図解した例において、相対関係取得部6(図5)からの相対関係情報が演算部2aに入力される。演算部2a自身によって、あるいは、演算部2aに制御されながらイメージプロセッサ25内のアドレス補間部2bによって、入力画像を表示画像に効率よく変換するための歪み画像のアドレスが生成される。本実施の形態の画像変換では、アドレス生成手法に大きな特徴の1つがある。
【0034】
図8に、演算部2a、アドレス補間部2bおよび記憶部255のアドレス生成時の関係を示す。
演算部2aは、歪み画像の4隅のアドレスを演算により求める変換演算部31と、この演算の逆変換となる演算により、変換演算部31による変換後の歪み画像のうち、映像領域に対応した領域の4隅のアドレスを求める逆変換演算部32とを有する。また、逆変換演算部32は、映像領域に対応した領域の4隅のアドレスから、所定のアドレス展開手法により歪み画像の4隅のアドレスを再度算出する機能を有する。このアドレス展開手法は、アドレス補間部2bのアドレス補間方法と対応しており、たとえば線形補間の場合は、線形にアドレスを展開する手法である。この算出後のアドレスは、その後のデータ補間時に画素データを求める際に用いるアドレスという意味で、以下、「4隅の補間アドレス」という。4隅の補間アドレスは、変換演算部31が求めた4隅のアドレスの位置からずれた位置に生成された補間アドレスである。この位置調整後の4隅の補間アドレスは、必要に応じて記憶部255の所定の領域255aに格納される。
また、アドレス補間部2bは、4隅の補間アドレスを求めたときのアドレス展開手法に対応した補間方法を用いて、4隅の補間アドレスから、その間の各画素の補間アドレスを生成する。各画素の補間アドレスは、必要に応じて記憶部255の所定の領域255bに格納される。この各画素の補間アドレスは、記憶部の領域255bから適宜読み出されて、データ補間部2cによる画素データの生成に用いられる。
【0035】
以下、この補間アドレスの生成手法を、図9に示すフローチャートに沿って説明する。
また、以下の説明では、フロントプロジェクターの表示画像を、スクリーンに対して正面の位置を基準に、垂直方向にα度上向きで、水平方向ではスクリーン正面から左にβ度回転した位置から斜めに投射する場合を主に説明する。角度αおよびβが正の場合、投射位置は図2の第3象限P3に属する。他の象限からの投射時の補正は、ほぼ同じような考え方、方法で行える。このとき入力信号としてVGA(640画素×480ライン)の解像度をもつ映像信号が入力され、これをSVGA(800画素×600ライン)に解像度変換し、同時に、斜め方向から投射する場合のスクリーン上の投影画像の歪みをとる補正について説明する。
【0036】
ステップST1において、スクリーンに対しプロジェクター位置が確定すると、投射角度(α,β)が相対関係取得部6(図1参照)から与え、これをもとにキーストン歪み座標変換が図8に示す変換演算部31により実行される。
以下、投射角度に応じたキーストン歪み座標変換について説明する。
【0037】
《キーストン歪み座標変換》
【0038】
図10(A)に、正面投射の場合の右手座標系におけるプロジェクター1とスクリーン101の位置関係を示す。また、それに対応したyz平面図を図10(B)に、xy平面図を図10(C)に、それぞれ示す。このとき、プロジェクター1の位置座標を(Px,Py,Pz)、スクリーン101上の任意の点の位置座標を(Sx,Sy,Sz)で表す。位置座標(Px,Py,Pz)と(Sx,Sy,Sz)により決まるスクリーン101とプロジェクター1の距離、および、前記斜め投射角度αとβが、前述した相対関係情報である。
図10(B)および図10(C)に示すように、正面投射ではスクリーン面と光軸が直交する。ただし、光軸はスクリーン中央ではなく下寄り位置、ここではスクリーン下辺中央付近でスクリーン面と交差している。フロントプロジェクターを机の上に配置し、あるいは天井から吊るような配置を取る場合、レンズの中心とスクリーンの中心を結ぶ線が地面と平行にはならないように両者を配置させるためである。これは、たとえばプロジェクターを机に置いて投射した場合、投射する画像の下端部分が机に映ってしまわないようにするための仕様であり、光学オフセットと称される。
【0039】
図11(A)に、垂直方向にα度上向きで、水平方向については向かって左手からスクリーンに対しβ度の角度で斜めに投射する場合、右手座標系におけるプロジェクターとスクリーンの位置関係を示す。また、yz平面図を図11(B)に、xy平面図を図11(C)に、それぞれ示す。このとき、右手座標系で表現したスクリーン101に対するプロジェクター1の回転角度は垂直方向にα度、水平方向に(−β)度となる。
【0040】
ここで、キーストン歪み補正を考えやすくするために相対的な視点を変えることを考える。図11(A)〜図11(C)ではプロジェクター1の位置を動かして斜め方向から投射していたが、ここでは、相対的な位置関係を維持したままでプロジェクター1は動かさずに、スクリーン101を、その場で軸回転させることを想定する。
図12(A)〜図12(C)に、スクリーンを軸回転させた場合の図11(A)〜図11(C)と等価的な斜め投射の位置関係を示す。このとき、右手座標系で表現するとスクリーンを、その下辺(x軸)を中心に直立位置からy方向(背面側)に(−α)度傾かせ、向かって左側の辺(z軸)を中心に左回転方向にβ度回転させる。つまり、図12(B)と図12(C)に示す傾きおよび回転の角度は、図12(A)〜図12(C)に示すプロジェクターの設置位置からの投射角度に対して符号が逆になる。
【0041】
以下、図12(A)〜図12(C)のように、正面の位置にプロジェクター1があり、この位置から傾いたスクリーン(以下、101tと表記)に映像を投射した場合に、投射された映像(投影画像)がどのように変形しているかを考える。
プロジェクター1が投射する光は、図11(A)でスクリーン101のあったzx平面上を通過して傾いたスクリーンに映る。傾いたスクリーン101tがある平面は、原点を中心に垂直に(−α)度、水平にβ度回転しているので、原点を中心とした回転行列を用いて表現することができる。本実施の形態では水平と垂直の回転なので、先に水平方向に回転させた後に、次に垂直方向の回転を行う手順によって回転行列が定義される。具体的には、zx平面の法線ベクトル(nx,ny,nz)が、回転によって次の行列式(1)で表現される。
【0042】
【数1】
【0043】
プロジェクター1の位置とスクリーン101の位置していたzx平面上の点を結ぶ直線を考え、この直線と行列式(1)の法線ベクトルをもつ平面との交点を求める。この交点が、傾いたスクリーン101tの平面に映る映像の座標点である。この傾いたスクリーンの座標点に対して、図12(A)のように視点をスクリーンの正面において見る場合には、再び反対向きの回転として原点を中心に垂直にα度、水平に(−β)度回転させればよい。すると、斜め方向から投射した場合に歪む形が求められる。このような方法によって導出されたx方向、y方向、z方向の座標を、それぞれ次式(2−1)、(2−2)、(2−3)に示す。
【0044】
【数2】
【0045】
これらの式で表される(Kx,Ky,Kz)は、図11(B)に示すようにプロジェクター1を垂直にα度上向きで、図11(C)のように水平方向にスクリーン101に対して左から(−β)度の角度で投射するとき、キーストン歪みによって変形された座標である。
図13(A)および図13(B)に、座標関係についてまとめて示した。これらの図で(Sx,Sy,Sz)はスクリーンの座標であり、正面投射の場合にスクリーン上に正四角形に映し出される入力画像の座標に相当する。また、座標(Kx’,Ky’,Kz’)は図12(B)および図12(C)のように斜めに傾いたスクリーン101tの平面上に投射された座標である。上述のように(Kx,Ky,Kz)はキーストン歪み変形座標である。
このように、前述した3つの式(2−1)、(2−2)、(2−3)により、任意の方向からの投射によってもたらされるキーストン歪変形座標が与えられる。
【0046】
つぎに、出力信号(表示画像)の解像度に合わせた座標の、式(2−1)、(2−2)、(2−3)による変形座標を求める。つまり、800画素×600ラインのSVGA出力の場合、歪む前の画像のx座標Sxは0から799まで変化し、z座標Szは0から599まで変化するが、このときのキーストン歪み後のx座標Kxとz座標Kzを求める。なお、y座標SyとKyは、画像がzx平面にあるのでゼロである。
【0047】
図14(A)にSVGA出力画像を、α=10、−β=−30として座標変換したキーストン変形後のSVGA出力画像のイメージ(すなわち、歪み画像)PIKを示す。この歪み画像PIKは□印で示す4隅のアドレスで規定される四角形状を有する。この4隅のアドレスは、図8に示す変換演算部31が、式(2−1)および式(2−3)を用いた演算を実行することにより生成される。
【0048】
《逆変換→映像領域の4隅のアドレス算出》
【0049】
つぎに、図9に示すステップST2において、図14(A)に示す歪み画像PIKに対し逆変換が実行される。
図14(B)に、歪み画像PIKを逆変換し、SVGAのアスペクトを有する正矩形にしたときの画像イメージを示す。この画像イメージは、LCDパネルなどの画像表示部3上の表示画像3aに対応する。この逆変換の式を次式(3)に示す。なお、この式は、スクリーンが座標x軸上にあることからSy=0とし、前記した式(2−1)と(2−3)の連立方程式を(Sx,Sz)について解くことにより算出できる。逆変換は、図8に示す逆変換演算部32により、次式(3)を用いて実行される。
【0050】
【数3】
【0051】
つぎに、歪み画像PIK内で実際に映像が映し出される領域(映像領域)の座標を求める。図14(A)中の△印で囲まれた領域が映像領域PIであり、補正により得たい画像のイメージ範囲を表している。この映像領域PIの4隅の△印の点は、たとえば、SVGAのアスペクト比の画像が歪み画像イメージ内で最大面積となるように規定することにより一意に決められる。
この映像領域の4隅の点(△印)は、図14(B)に示す逆変換後の画像では○印の位置に変換される。つまり、歪み画像内で映像領域PIの4隅にあたる位置を(Kx,Kz)とすると、図8に示す逆変換演算部32によって、これに対応するパネル内位置としてキーストン歪みの逆変換座標(Sx,Sz)が算出される。
【0052】
《歪み画像全体へのアドレス展開》
【0053】
つぎに、図9に示すステップST3において、映像領域の4隅の点からパネル全体領域を示すキーストン歪み補正アドレスへの展開を行う。これは、図15に示したように、逆変換で得られた映像領域のアドレス(○印)からキーストン歪み補正で必要な補間を行う領域のアドレス(□印)を算出するためのものである。このアドレス展開は、つぎのステップST4で各補間アドレスの算出に用いる補間手法に対応する手法で求める。アドレスの展開手法や補間方法に限定はないが、演算の負担を減らす意味では、より簡潔な方法が望ましい。ここでは、各補間アドレスの算出が1次元の線形補間を用いて行うこととし、これに対応して、アドレスのパネル全体への展開を1次元の線形法を用いる。以下、2つのアドレスの線形展開法を説明する。
【0054】
<展開手法1>
【0055】
図16に示すように、パネルの4つの頂点の位置は、水平方向の解像度Hdivと垂直方向の解像度Vdivを用いて(Hdiv,Vdiv)、(0,Vdiv)、(0,0)、(Hdiv,0)で表される。このとき、パネル内の映像領域の4隅の点の位置を、上記パネルの4頂点に対応した順に(I1x,I1z)、(I2x,I2z)、(I3x,I3z)、(I4x,I4z)と定義する。また、このパネルの4頂点を線形展開することにより得られた歪み画像の4つの隅の点の位置を、順に(S1x,S1z)、(S2x,S2z)、(S3x,S3z)、(S4x,S4z)と定義する。
【0056】
線形展開では、パネル内で逆変換後の映像領域の4隅の点、すなわち(I1x,I1z)、(I2x,I2z)、(I3x,I3z)、(I4x,I4z)のアドレスを有する4つの点(○印)から、パネルの4頂点、すなわち(Hdiv,Vdiv)、(0,Vdiv)、(0,0)、(Hdiv,0)の4つの点(△印)に線形に展開する。この展開により、キーストン歪み画像のアドレス空間では、画像領域の4隅の点、すなわち(Hdiv,Vdiv)、(0,Vdiv)、(0,0)、(Hdiv,0)のアドレスを有する点(△印)が、それぞれ(S1x,S1z)、(S2x,S2z)、(S3x,S3z)、(S4x,S4z)の4つの点(□印)に展開される。これらの座標の関係を次式(4)に示す。
【0057】
【数4】
【0058】
この式(4)の連立方程式を解くことにより、上記の条件を満たしたキーストン歪み画像のアドレス空間に展開した4頂点(S1x,S1z)、(S2x,S2z)、(S3x,S3z)、(S4x,S4z)を得ることができる。
この4頂点は、通常、もとの歪み画像の4隅の点から若干ずれて位置する。これは、キーストン歪画像のアドレスが非線形に変化しているのに対し、求めた4頂点(S1x,S1z)、(S2x,S2z)、(S3x,S3z)、(S4x,S4z)は映像領域の4隅を線形に展開して求めたものであることから、両者の位置には誤差が本質的に存在するためである。
【0059】
<展開手法2>
【0060】
展開手法2では、逆変換(キーストン歪み補正)後の映像領域の4隅の位置とパネルの4隅との位置関係の比率から、キーストン歪みアドレス空間内の画像の4隅の点(S1x,S1z)、(S2x,S2z)、(S3x,S3z)、(S4x,S4z)を得る。この垂直方向のアドレス展開については図17に、水平方向のアドレス展開については図18にそれぞれ示す。
【0061】
垂直方向では、図17に示すように、キーストン歪み補正した逆変換後の画像の高さ(I2z−I3z)に対するパネルの高さ(垂直解像度Vdiv)の比が、画像頂点(I3z)からのパネルの上辺または底辺までの垂直方向の距離(Vdiv−I3zまたはI3z)とパネル頂点(0,0)と、線形展開後のキーストン歪み画像の頂点との垂直方向距離(S2zまたは−S3z)の比になっている。同様に、キーストン歪み補正した逆変換後の画像の高さ(I1z−I4z)に対するパネルの高さ(垂直解像度Vdiv)の比が、画像頂点(I4z)からのパネルの上辺または底辺までの垂直方向の距離(Vdiv−I4zまたはI4z)とパネル頂点(0,0)と、線形展開後のキーストン歪み画像の頂点との垂直方向距離(S1zまたは−S4z)の比になっている。この関係から、垂直方向の座標S1z〜S4zは次式(5)のように求められる。
【0062】
【数5】
【0063】
水平方向についてのアドレス算出方法を図18に示す。この場合も垂直方向の場合と同様に、画像の4隅の位置とパネルの4隅までの位置関係で規定される水平距離の比率によって、座標S1x〜S4xを求めることができる。
このとき、つぎのステップST4の各画素のアドレス補間において垂直補間を行ってから水平補間を行うことを想定しているので、中間変数として(tS1x,Vdiv)、(tS2x,Vdiv)、(tS3x,0)、(tS4x,0)の座標を用意した。これらを用いて各水平距離の比率を計算して、キーストン歪み画像の4隅のアドレスを求めると、式(6)のようになる。
【0064】
【数6】
【0065】
以上により、キーストン歪み画像の4隅の補間アドレスが演算により求められ、これが記憶部255に格納される。
【0066】
図9に示すステップST4では、このキーストン歪み画像の4隅の補間アドレスから、各画素における補間アドレスを求める。この処理では、図8に示すアドレス補間部2bが、記憶部255から4隅の補間アドレスを読み出して実行する。このアドレス補間では、4隅の補間アドレスから、その間の各画素のアドレスを単純な線形補間などで求めていく。
【0067】
図19に、線形補間で各画素の補間アドレスを求める際のパラメータを示す。パネル上の座標(x、z)の点におけるキーストン歪み画像のアドレスを(KX、KZ)で表すと、このアドレスは次式(7)により求められる。ここで、座標(XR,ZR)と(XL,ZL)は、図17に示すように、線形補間の算出途中で必要となるパネル上の座標(0,z)および(Hdiv,z)に対応したキーストン歪み画像上の座標である。
【0068】
【数7】
【0069】
以上の手順により、1つの補間アドレスが算出されると、図9に示すステップST5において、すべてのパネル画素に対応した補間アドレスが算出されたかが判断される。この判断が「Yes」となるまで、ステップST4とST5が繰り返され、歪み画像のすべての画素の補間アドレスが求められる。求めた補間アドレスは、必要に応じて投射角度に対応付けられ、記憶部255の所定の領域255b(図8)に格納される。
【0070】
つぎのステップST6で、「すべてが終了か」の判断、たとえば、補間アドレスの算出ごとに設定(プロジェクター位置あるいはスクリーン位置)が変わっていないか、あるいは、プロジェクターが起動状態にあり映像信号の入力があるかなどの状況変化の有無が判断される。ここですべてが終了していない(「No」)と判断された場合、処理フローがステップST1に戻り、投射パラメータの再設定などから始めて再度、アドレス生成処理のやり直しとなる。ステップST6で「終了(Yes)」と判断されると当該処理全体が終了する。
【0071】
図20に、SVGA対応の歪み画像IPKのアドレスマップを示す。なお、この図では便宜上、33画素ごとにアドレス点を示し、その間は省略されている。
【0072】
その後、処理フローはとくに示さないが、算出した補間アドレスを用いて、アドレスの対応付け(マッピング)と、そのアドレス関係にもとづくパネル位置に表示すべき画像の生成(データ補間)が実行される。
【0073】
詳細には、図21(A)のように、補正により得たい画像のイメージ(投影画像イメージという)PIを、図20に示す歪みによって変形した座標空間上に重ねる。これにより歪み画像イメージPIKに投影画像イメージPIがマッピングされ、両画像のアドレスの対応関係が決まる。このとき、入力した元画像はVGAだが、画像の大きさと位置を調整するために、投影画像イメージPIを任意の大きさ(ここではSVGAの大きさ)で、変形したアドレス空間(歪み画像イメージPIK)内の任意の位置に配置することができる。また、投影画像イメージPIが歪み画像イメージPIK内に完全に収まるようにしないと、次に行う補間後に画像の一部が欠けてしまう。したがって、望ましくは、所望のアスペクト比(本例では、4:3)の投影画像イメージサイズが歪み画像のアドレス空間内で最大限となることを規定しておく。すると、この投影画像イメージPIの位置と大きさは単なる図形問題に帰結し、図21(A)に示すような位置とサイズで、投影画像イメージPIと歪み画像イメージPIKとの関係が一意に決まる。
【0074】
このようなマッピング処理(アドレスの対応付け)は、歪み画像イメージPIKのアドレス分布が既に前記した式(2−1)、(2−2)、(2−3)から求められているので、実際の物理メモリ(記憶資源)を用いずとも、たとえば演算部2a内で仮想メモリ空間を想定して実行できる。
【0075】
マッピング処理により得られたアドレスの対応関係は、歪み画像と、歪みがなくスクリーン上で正四角形となる所望の投影画像とのアドレス対応関係であるが、歪み画像というのは元々歪みがない正四角形のLCDパネル上の画像の投影の結果である。したがって、上記アドレスの対応関係を利用して、歪みがないスクリーン上の投影画像を得るためのLCDパネル3の表示画像が生成できる。
具体的な方法としては、SVGA出力の場合、LCDパネル3の有効表示領域の座標は800×600個になるが、この全ての点について、マッピングされた画像のアドレスで補間を行う。このとき800×600個の各点での補間のうち、図21(A)に示す歪み画像イメージPIKと投影画像イメージPIとが重なる領域の全てのアドレスでの補間では、投影画像のように画像データを再現できるようにフィルタ係数が選択され、その画像再現に必要な原画像の複数の画素データを上記フィルタ係数で重み付けして新たな画素データを合成する。合成後の画素データは、マッピング処理により求めた上記アドレス対応関係に基づいて、4:3のアスペクト比の正四角形画面であるSVGA画面内のどの位置に配置するかを一意に決めるアドレスに割り当てられる。一方、投影画像イメージPI周囲の歪み画像イメージPIK内領域の補間では、画像データがない黒色画素同士の合成となり、したがって補間後も黒色の画像データがSVGA画面内の対応位置に割り当てられる。
【0076】
図21(B)には、このような画像変換手順により生成されたSVGA出力画像を示す。この画像がキーストン歪み補正を行った画像である。マッピング処理により得られたアドレスの対応関係は、上述したようにイメージサイズ同士の重なる面積が最大となるように決められていることから、スクリーン上の投影画像は解像度の低下が最小に抑えられている。また、前述したアドレス生成の過程でズーム位置を反映させたことから、非常に正確に歪みが補正された画像が得られている。
この画像を図4(C)のようにLCDパネルに表示させ、図4(A)のように投影すると、スクリーン上で正四角形の投影画像が得られる。マッピングにより得られたアドレスの対応関係は、上述したようにイメージサイズ同士の重なる面積が最大となるように決められていることから、スクリーン上の投影画像は明るさおよび解像度の低下が最小に抑えられている。
【0077】
図22に、上記アドレス生成方法で正確に求められるアドレスの位置を、従来の方法での当該位置と比較して示す。
図22(A)に示す従来の場合、4隅のアドレスからの補間により各アドレスを求めることから、最も正確なアドレスは計算により求めた最初の4隅のアドレスである。これに対し、図22(B)に示す本実施の形態の場合、映像領域の4隅のパネル上のアドレスを逆変換演算により求め、それをもとに歪み画像の輪郭を決定することから、最も正確なアドレスが映像領域の4隅となる。このため、従来に比べると、高くする必要がある映像領域で補間精度が高く、映像領域内の各補間アドレスの位置精度が相対的に向上している。その結果、投射映像の外形精度が矩形に、より近くなる。また、その分、投射映像リニアリティも向上する。
【0078】
以上は、スクリーンに向かって左下位置(第3象限P3)からの投射時の歪み補正を述べた。他の位置からの投射の場合、歪み座標を求める式が異なるのみで上述した補正方法の手順は同じであることから、ここでは、キーストン歪み座標変換に用いる式のみ示し詳細は省略する。
【0079】
図23(A−1)と図23(B−1)に、スクリーン101に向かって右下位置(第4象限P4)からの投射時における右手座標系のxy平面図とyz平面図を示す。また、プロジェクター1の投射位置は正面投射から動かさないとしたときに、同じ相対関係となるようにスクリーン101を軸回転させた場合のxy平面図とyz平面図を、図23(A−2)と図23(B−2)に示す。このとき、右手座標系で表現したスクリーン101に対するプロジェクター1の回転角度は垂直方向に(−α)度、水平方向に(−β)度となる。
傾いたクリーン101tに投射されたキーストン歪み座標を求める式を、スクリーンに対するプロジェクターの投射角度(垂直(α)、水平(β))で表し、次式(8−1)、(8−2)、(8−3)に示す。
【0080】
【数8】
【0081】
図24(A−1)と図24(B−1)に、スクリーン101に向かって左上位置(第2象限P2)からの投射時における右手座標系のxy平面図とyz平面図を示す。また、プロジェクター1の投射位置は正面投射から動かさないとしたときに、同じ相対関係となるようにスクリーン101を軸回転させた場合のxy平面図とyz平面図を、図24(A−2)と図24(B−2)に示す。このとき、右手座標系で表現したスクリーン101に対するプロジェクター1の回転角度は垂直方向にα度、水平方向にβ度となる。
傾いたクリーン101tに投射されたキーストン歪み座標を求める式を、スクリーンに対するプロジェクターの投射角度(垂直(−α)、水平(−β))で表し、次式(9−1)、(9−2)、(9−3)に示す。
【0082】
【数9】
【0083】
図25(A−1)と図25(B−1)に、スクリーン101に向かって右上位置(第1象限P1)からの投射時における右手座標系のxy平面図とyz平面図を示す。また、プロジェクター1の投射位置は正面投射から動かさないとしたときに、同じ相対関係となるようにスクリーン101を軸回転させた場合のxy平面図とyz平面図を、図25(A−2)と図25(B−2)に示す。このとき、右手座標系で表現したスクリーン101に対するプロジェクター1の回転角度は垂直方向にα度、水平方向に(−β)度となる。
傾いたクリーン101tに投射されたキーストン歪み座標を求める式を、スクリーンに対するプロジェクターの投射角度(垂直(−α)、水平(β))で表し、次式(10−1)、(10−2)、(10−3)に示す。
【0084】
【数10】
【0085】
なお、本実施の形態では、以下に示す変形を施すことが可能である。
上述した説明では各補間アドレスの算出の際、1次元の補間を垂直方向に行ってから水平方向に行ったが、その順序は逆でもよい。また4隅点のアドレスから各個別アドレスを算出する補間手法については、2次元的なフィルタを用いてもよいし、線形補間以外の補間手法を用いてもよい。パネル全体へのアドレス展開では、上記各補間アドレスを求める方法に対応したアドレス展開手法を用いることによって、アドレス補間後の映像領域の4隅のアドレスが、その前に、逆変換で求めたアドレスと一致するようにする。これは補間方法が変化してもそれに合わせて画像領域内の誤差をできるだけ少なくするためである。
【0086】
また、本実施の形態では4隅の点、すなわち画像の角に位置する画素点を変換する場合をあげたが、誤差が少なければ数値演算上取りやすいサンプル間隔をもつ点を変換するとよい。この場合でも、望ましくは、上記画像の4隅を含ませるとよい。また、必要に応じて、その4隅の間の点も変換の対象としてもよい。つまり、画像の4隅だけにとどまらないで広く本実施の形態のアドレス生成方法を適用できる。
【0087】
さらに、本実施の形態の信号処理(演算)は、ハードウェアを含めた形で実現することを前提としているが、アドレス生成およびデータ補間を含む全体の処理をCPUなどの演算部2aにあらかじめ格納されたソフトウェア上で実現することも可能である。
【0088】
本実施の形態におけるアドレス生成では、演算部2aの負荷が大きい、式を用いたアドレス計算の対象をすくなくとも4隅の点に絞っているが、必要となる画像領域のアドレス精度は高く維持できる利点がある。
【0089】
[第2の実施の形態]
第2の実施の形態は、アドレス生成の他の方法に関する実施の形態である。図5〜図7のブロック図、およびアドレス生成の基本的な手順(フロー図の大まかな流れ)は第1の実施の形態と共通する。
【0090】
図26に本実施の形態にかかる演算部2a、アドレス補間部2bおよび記憶部255などの構成を示す。
この図26が図8と比較して異なる点は、逆変換演算手段32が省略されている点と、変換テーブル40を有する点である。本実施の形態では、記憶部の領域255aに保持される、すくなくとも4隅の補間アドレスの生成時に逆変換演算を用いないで、変換テーブル40に投射角度ごとに記憶されているアドレスの位置調整量(補正係数)を読み出して、この補正係数を、変換対象のアドレスにかけることにより、その位置調整を行う。位置調整後のアドレスは、4隅の補間アドレスとして記憶部の領域255aに格納される。
なお、変換テーブルは記憶部255内にあらかじめ格納してもよいし、他の記憶部に格納させてもよい。また、第1の実施の形態にも共通することであるが、アドレスのマッピングに代えて逆変換演算を行うこともでき、その場合、本実施の形態で逆変換演算部32(図8)を設けてもかまわない。
【0091】
図27は、本実施の形態にかかるアドレス生成の手順を示すフロー図である。この図27では図9と共通するステップは符号を同じにしており、ここでは、共通するステップの詳細な説明は省略する。
本実施の形態では、事前準備としてステップST0で、投射角度ごとの垂直方向の補正係数kVと水平方向の補正係数kHをあらかじめ、たとえば演算部2aによって算出しておく。算出後の補正係数は、変換テーブル40内に格納される。この事前準備は、投射角度が決められてから求めてもよいし、当該プロジェクターの出荷時に書き込んでもよい。
【0092】
第1の実施の形態と同様、ステップST1で投射パラメータを設定し、キーストン歪み座標の変換を行う。
つぎに、決められた投射角度に応じた補正係数(kV,kH)を演算部2aが変換テーブル40から読み出し(ステップST21)、つぎのステップST31で、この補正係数に応じたアドレスの位置調整を行う。この処理は投射する方向により操作が異なることから、以下、場合分けして説明する。
【0093】
《垂直方向にのみ傾けて投射する場合》
【0094】
図28(A)に、垂直方向に投射した場合における計算された4点のアドレス(X1,Z1)〜(X4,Z4)と、その補正(位置調整)後のアドレス(X1,NZ1)、(X2,NZ2)について示している。投射角度が大きければ、垂直方向に補間誤差が大きく現れるので、垂直方向で補間誤差があらかじめ小さくなる向きにアドレス位置を補正する。なお、とくに問題ない浅い角度であれば、補正しなくともよい。
【0095】
スクリーンに対して上向きに投射する場合、図28(A)において右上頂点と左上頂点の2つのアドレス(X1,Z1)と(X2,Z2)のうち、z座標のみを調整する。ここでは、投射角度に応じて値が決められた垂直方向の補正係数をkVとし、それぞれ調整後のアドレスを(NX1,NZ1),(NX2,NZ2)とすれば、これらのz座標は次式(11)のようになる。
【0096】
【数11】
【0097】
垂直方向の補正係数kVは、設定できる全ての投射角度で正確に求めた画像形状をあらかじめ算出しておき、この形状に対して補正係数kVを調整して、本手法で求めた画像と比較することで得ることができる。このとき、映像領域のアドレス精度が最も良くなるように補正係数と角度の対応付けを行うとよい。この補正係数kVが角度ごと格納されたテーブルから読み出され、上記式(11)によって新たなアドレスが算出される。これにより、縦キーストン歪み画像において、すくなくとも4隅の補正アドレスが得られる。
【0098】
《水平方向にのみ傾けて投射する場合》
図29(A)に、水平方向に投射した場合における計算された4点のアドレス(X1,Z1)〜(X4,Z4)と、その補正後のアドレス(X1,NZ1)、(X4,NZ4)について示している。投射角度が大きければ、水平方向に補間誤差が大きく現れるので、水平方向で補間誤差があらかじめ小さくなる向きにアドレス位置を補正する。なお、とくに問題ない浅い角度であれば、補正しなくともよい。
【0099】
スクリーンに対して右向きに投射する場合、図29(A)において右上頂点と右下頂点の2つのアドレス(X1,Z1)と(X4,Z4)に対して補正を行う。このとき、基本的に両アドレスとも水平方向にも垂直方向にも調整するが、図29(A)に示した投射の例では、光軸が画面最下端と一致している光学系であるので、右下頂点(X4,Z4)は垂直方向には移動しなくてよい。一致しないときには、垂直と水平の量方向とも補正する。ここでは、投射角度に応じて値が決められた垂直方向の補正係数をkV、水平方向の補正係数をkHとし、それぞれ調整後のアドレスを(NX1,NZ1),(NX4,NZ4)とすれば、これらのz座標は次式(12)のようになる。
【0100】
【数12】
【0101】
水平方向の補正係数kHは、垂直方向の補正係数kVと同様に算出されるが、このとき、映像領域のアドレス精度が最も良くなるように補正係数と角度の対応付けを行うとよい。この補正係数(kV,kH)が角度ごと格納されたテーブルから読み出され、上記式(12)によって新たなアドレスが算出される。これにより、横キーストン歪み画像において、すくなくとも4隅の補正アドレスが得られる。
【0102】
なお、水平方向にも垂直方向にも傾けて投射する場合は、本実施の形態のアドレス位置調整が投射角度の浅いものしか対象にしないので、上述で示したような補正自体を行わない。
【0103】
つぎのステップST41では、各画素に対応したアドレスが補間により生成される。この処理は、演算部2aにより算出され、記憶部の領域255aに格納されている、キーストン歪み画像の4隅の補間アドレスをもとにアドレス補間回路2bで行われる。歪み画像の4隅のアドレスから各補間点のアドレスを単純な線形補間などで求めていく。
【0104】
図30(A)と図30(B)に、垂直方向に投射した場合に線形補間で各画素の補間アドレスの求める際の補間前後の歪み画像を示す。ここで、パネル上のアドレスが(x、z)の点におけるキーストン歪み画像のアドレスを(KX、KZ)で示し、4隅の垂直方向間隔をVdiv、水平方向間隔をHdivとすると、補間後のアドレスは式(13)のように求められる。ここで示している(XR,ZR),(XL,ZL)は、線形補間の算出途中で必要となる(0、z)および(Hdiv,z)位置におけるキーストン歪み画像上のアドレスに相当する。
【0105】
【数13】
【0106】
以上の手順により、1つの補間アドレスが算出されると、つぎのステップST5からST4に戻るループ処理がすべての画素について補間アドレスが求まるまで繰り返され、その後、ステップST6で「すべて終了」と判断されると当該処理が終了し、この判断が「No」の場合は、処理は最初からやり直しとなる。
【0107】
本実施の形態では、垂直または水平のアドレスの位置調整によって、キーストン歪補正後の画像の形状の精度が向上する。図31(A)〜図31(D)は、この効果を示すための歪み補正後のパネル上の表示画像である。同図(A)と(C)は、すべてのアドレスを演算により求めた正確な形状をもつリファレンス画像である。これに対し、同図(B)が4隅のみ演算により求め残りのアドレスは線形補間により得た場合、同図(D)が本実施の形態の場合、すなわち4隅の演算と位置調整とを行った後、残りのアドレスを線形補間により得た場合である。
本発明の適用によって、垂直方向の画像高さの誤差がほぼゼロにまで低減され、その結果として画像形状の精度が向上し、また、その分リニアリティも向上している。
【0108】
なお、本実施の形態では以下の変形が可能である。
補正係数だけでなく、4隅の補間アドレスの算出までを演算部2aによりあらかじめ計算しておき、その計算結果を角度ごとにテーブル化しておくことができる。
【0109】
補正対象は歪み画像の4隅の点(画像の頂点)に限らず、完全に一致しなくとも頂点の近辺であれば本手法の誤差を少なくする効果が得られる。このことから、頂点間隔が数値演算上取り扱いにくい場合には、多少取り扱いしやすい位置にずらして適用することもできる。
このアドレス位置調整による形状補正の際、斜め方向に投射する場合については形状補正をしないとしたが、補正できる範囲でアドレス調整処理をおこなってもよい。また、補正演算として本実施例では乗算で示したが、加算を用いてもよいし、アドレスごとに補正係数をこまかく調整してもよい。
【0110】
各補間アドレスの算出の際、1次元の補間を垂直方向に行ってから水平方向に行ったが、順序は逆でもよい。また、4隅の補間アドレスから、その間の補間アドレスを算出する補間手法については、2次元的なフィルタを用いてもよいし、線形補間以外の補間手法を用いてもよい。
【0111】
第1の実施の形態でも共通することであるが、プロジェクターの投射する角度や補間処理を行う補間フィルタの種類やタップ数、入力解像度や出力信号解像度などは任意であり、上記で説明したものに特定されない。
さらに、本実施の形態の信号処理(演算)は、ハードウェアを含めた形で実現することを前提としているが、アドレス生成およびデータ補間を含む全体の処理をCPUなどの演算部2aにあらかじめ格納されたソフトウェア上で実現することも可能である。
【0112】
第1および第2の実施の形態における演算部2aは、アドレスを生成する演算部としての役割のほか、アドレスのマッピング手段、さらには他の構成の制御部としての役割がある。このため、処理の負担が大きく、マッピングや他の構成の制御の空き時間にアドレスの生成を行ったのでは、処理のタイミングが適合しないために全体の効率向上が十分でない場合がある。
【0113】
第1および第2の実施の形態では、高い精度を維持しながらアドレス生成の負担を低減できる。以下、この効果を比較例と対比させることにより説明する。
【0114】
まず、第1および第2の実施の形態の比較例として、すべての補間アドレスを計算により求める場合の、アドレスの演算量および保持量について説明する。この本発明が適用されない場合、画素データの補間処理に用いるアドレス(補間アドレス)をあらかじめ演算により求め保持しておく方法と、すべての補間アドレスを演算により逐次求める方法とがある。
【0115】
いずれにしても、式(2−1)〜式(2−3)により1つの画素のキーストン歪み補正に必要な補間アドレスが求められ、これが繰り返されて1フレームの歪み画像の補間に必要なアドレスが生成される。すなわち、LCDパネルに出力する場合、LCDパネルの解像度の画素数に相当する水平アドレスと鉛直アドレスが必要になる。具体的にパネルがXGA仕様であれば、水平に1024画素、鉛直に768画素あるので、次式(14)で計算される情報量が補間アドレスとして必要となる。
【0116】
【数14】
【0117】
この式(14)は、ある1つの角度についてのキーストン歪み補正で必要な情報量を表しており、角度の設定を変更した場合には、あらたな設定角度でのキーストン補正を行うための補間アドレスがさらに必要となる。
必要な補間アドレスを保持する場合、従来の1つの方法としてすべての補間アドレスデータをテーブルとしてもつことが考えられる。しかし、この場合、式(8)で表される情報量を想定される角度設定の数だけ掛け算した情報量が格納できるテーブルが必要となる。また、このときのパターンは鉛直と水平の2方向の組み合わせになるのでデータとして膨大になり、あまり現実的でない。
すべてのアドレスを逐次CPUにより計算させる場合、設定された角度に対してCPUで式(2−1)〜式(2−3)で表されるアドレス計算を行い、所定の記憶素子に対して一時記憶させておくことで利用に供する。この場合、角度が設定されてから初めて補間アドレスを計算し始めるので、CPUの計算が終わらないとキーストン歪み画像の画素データ補間を行うことができない。
【0118】
これに対し、本発明の実施の形態では、最低で4点、多くても数点のアドレス計算で、実用上問題がない程度に高い精度のアドレス生成が可能である。したがって、本発明によって、アドレス生成のハードウェア的、および時間的負担の増大と、高いアドレス生成精度の維持との従来、相矛盾した課題を一挙に解決することが可能となった。
【0119】
上述した第1および第2の実施の形態においてはVGA画像をSVGA画像に変換する場合を例示したが、変換前の画像の解像度、変換後の画像の解像度、およびLCDパネルの解像度は任意である。図31の図表に、バイリニア補間で必要となる代表点アドレス数をパネル解像度ごとに例示している。
【0120】
【発明の効果】
本発明にかかる画像処理装置およびその方法、ならびに、画像投射装置によれば、高いアドレス精度を維持しながらも、アドレス計算点の増加または計算式の複雑化によって増大するアドレス計算の負担が軽減され、処理の高速化を図ることができる。また、アドレス生成を回路により実現する場合は、その回路規模を縮小することが可能となる。
【図面の簡単な説明】
【図1】発明の実施の形態におけるフロントプロジェクターをスクリーンの正面に配置した場合に、これらを上方から見た図である。
【図2】本発明の実施の形態におけるプロジェクターの配置可能な範囲を、正面配置の位置を中心として示す図である。
【図3】(A)は横からの画像投影時の図、(B)は入力画像イメージを示す図、(C)はLCDパネル面上での画像イメージ図である。
【図4】(A)は正面位置から水平と垂直の双方の方向にずれた位置からの斜め投射時の図、(B)は入力画像イメージ、(C)はLCDのパネル面上での画像イメージである。
【図5】本発明の実施の形態におけるプロジェクターの基本構成を示す図である。
【図6】実施の形態にかかるプロジェクターにおいて、図1の回路部に含まれる、イメージプロセッサとその周辺の回路の一構成例を示すブロック図である。
【図7】イメージプロセッサ内部の回路の一構成例を示すブロック図である。
【図8】第1の形態にかかる画像処理回路において演算部、アドレス補間部および記憶部を示すブロック図である。
【図9】第1の実施の形態にかかる画像処理方法で、補間アドレスの生成手順を示すフローチャートである。
【図10】(A)は正面投射の場合の右手座標系におけるプロジェクターとスクリーンの位置関係を示す図である。(B)はyz平面図、(C)はxy平面図である。
【図11】(A)は垂直投射角α度、水平投射角β度の場合に、右手座標系におけるプロジェクターとスクリーンの位置関係を示す図である。(B)はyz平面図、(C)はxy平面図である。
【図12】(A)〜(C)は、スクリーンを軸回転させた場合の図11(A)〜図11(C)と等価的な斜め投射の位置関係を示す図である。
【図13】(A)および(B)は座標関係についてまとめて示す図である。
【図14】(A)は斜め投射時のキーストン歪み画像のイメージ図、(B)はキーストン歪みの逆変換後のパネル上の表示画像のイメージ図である。
【図15】アドレス展開の向きを示す歪み画像の図である。
【図16】展開手法1に用いるパラメータの定義を示す歪み画像の図である。
【図17】展開手法2における垂直方向のアドレス展開に用いるパラメータの定義を示す歪み画像の図である。
【図18】展開手法2における水平方向のアドレス展開に用いるパラメータの定義を示す歪み画像の図である。
【図19】線形補間で各画素の補間アドレスを求める際のパラメータの定義を示す歪み画像の図である。
【図20】斜め投射時のSVGA画像のキーストン歪み画像のアドレスマップを示す図である。
【図21】(A)はマッピング時に2つの画像イメージを重ねた図、(B)は補間演算により生成したLCDパネルの表示画面である。
【図22】(A)および(B)は、第1の実施の形態で示すアドレス生成方法で正確に求められるアドレスの位置を、従来の方法での当該位置と比較して示す図である。
【図23】(A−1)〜(B−2)は、スクリーンに向かって右下からの投射時における右手座標系のxy平面図とyz平面図、およびそれらと等価な平面図である。
【図24】(A−1)〜(B−2)は、スクリーンに向かって左上からの投射時における右手座標系のxy平面図とyz平面図、およびそれらと等価な平面図である。
【図25】(A−1)〜(B−2)は、スクリーンに向かって右上からの投射時における右手座標系のxy平面図とyz平面図、およびそれらと等価な平面図である。
【図26】本発明の第2の実施の形態にかかる画像処理装置における演算部、アドレス補間部および記憶部255を示すブロック図である。
【図27】第2の実施の形態にかかる画像処理のうち、アドレス生成の手順を示すフロー図である。
【図28】(A)は垂直方向に投射した場合に歪み画像の位置調整を行う点の調整前後の座標を示す図である。(B)は補正後の歪み画像を映像領域とともに示す図である。
【図29】(A)は水平方向に投射した場合に歪み画像の位置調整を行う点の調整前後の座標を示す図である。(B)は補正後の歪み画像を映像領域とともに示す図である。
【図30】(A)と(B)は、垂直方向に投射した場合に線形補間で各画素の補間アドレスの求める際の補間前後の歪み画像を示す図である。
【図31】(A)〜(D)は、第2の実施の形態の効果を示すための歪み補正後のパネル上の表示画像である。
【図32】高品位な画像を得るために必要な計算点(補間アドレス)の数をパネル解像度ごとに示す図表である。
【符号の説明】
1…プロジェクター、2…回路部、2a…演算部、2b…アドレス補間部、2c…データ補間部、3…LCDパネル、3a…表示画像、4…投光部、5…光学部、6…相対関係取得部、21…コムフィルタ、22…クロマデコーダ、23…セレクトスイッチ、24…アナログ−ディジタル・コンバータ、25…イメージプロセッサ、26…画像メモリ、31…変換演算部、32…逆変換演算部、40…変換テーブル、101,101t…スクリーン、101a…投影画像、251…IP変換部、252…スケーラ、253…CPUインターフェース、254…メモリ制御部、255…記憶部、255a,255b…記憶部の領域、257…係数発生部、258…フィルタ演算部、PI…投影画像イメージ、PIK…歪み画像イメージ、α,β…投射角度
Claims (14)
- 画像表示部に表示した表示画像を、光を利用して外部の投射面に対し斜めに投射したときに当該投射面上で生じる歪み画像のアドレスを生成する画像処理装置であって、
前記歪み画像の少なくとも4隅のアドレスを演算により生成し、生成したアドレスの位置を、前記表示画像の映像領域に対応する歪み画像領域内でアドレスの補間誤差が小さくなる向きに調整する演算部と、
前記位置が調整されたアドレスの間の他の歪み画像のアドレスを、前記アドレス位置の調整方法に対応した補間方法により生成するアドレス補間部と、
を有する画像処理装置。 - 前記演算部は、
前記少なくとも4隅のアドレスを生成したときと逆の変換を行う演算により、もとの歪み画像と逆に歪む前記映像領域に対応した領域の少なくとも4隅のアドレスを求める逆変換演算部と、
求めた前記映像領域に対応した領域の少なくとも4隅のアドレスから、前記アドレス補間部が前記他のアドレスを生成するときの補間方法に対応したアドレス展開手法により前記歪み画像の少なくとも4隅のアドレスを再度算出するアドレス演算部と、
を有する請求項1に記載の画像処理装置。 - 前記演算部は、垂直と水平の方向それぞれで、前記歪み画像の少なくとも4隅のアドレスのそれぞれに前記投射の角度に応じた係数をかける
請求項1に記載の画像処理装置。 - 前記投射の角度ごとに前記垂直と水平の各方向の係数を記憶している記憶部を、
さらに有する請求項3に記載の画像処理装置。 - 前記投射面上で歪みが補正される表示画像の画素データを、入力画像の複数の画素データから補間により生成し、生成した画素データを、前記歪み画像のアドレスと所望の画像のアドレスとの対応関係から決められる前記画像表示部の位置に出力するデータ補間部を、
さらに有する請求項1に記載の画像処理装置。 - 画像表示部に表示した表示画像を、光を利用して外部の投射面に対し斜めに投射したときに当該投射面上で生じる歪み画像のアドレスを生成する画像処理方法であって、
前記歪み画像の少なくとも4隅のアドレスを演算により生成するステップと、
生成したアドレスの位置を、前記表示画像の映像領域に対応する歪み画像領域内でアドレスの補間誤差が小さくなる向きに調整するアドレス調整のステップと、
前記位置が調整されたアドレスの間の他の歪み画像のアドレスを、前記アドレス位置の調整方法に対応した補間方法により生成するアドレス補間のステップと、
を含む画像処理方法。 - 前記アドレス調整のステップが、さらに、
前記少なくとも4隅のアドレスを生成したときと逆の変換を行う演算により、もとの歪み画像と逆に歪む前記映像領域に対応した領域の少なくとも4隅のアドレスを求める逆変換のステップと、
求めた前記映像領域に対応した領域の少なくとも4隅のアドレスから、前記アドレス補間のステップで前記他のアドレスを生成するときの補間方法に対応したアドレス展開手法により前記歪み画像の少なくとも4隅のアドレスを再度算出するステップと、
を含む請求項6に記載の画像処理方法。 - 前記アドレス調整のステップでは、垂直と水平の方向それぞれで、前記歪み画像の少なくとも4隅のアドレスのそれぞれに前記投射の角度に応じた係数をかける
請求項6に記載の画像処理方法。 - 前記投射の角度ごとに前記垂直と水平の各方向の係数をあらかじめ求め、記憶部に記憶させるステップを、
さらに含む請求項8に記載の画像処理方法。 - 前記投射面上で歪みが補正される表示画像の画素データを、入力画像の複数の画素データから補間により生成し、生成した画素データを、前記歪み画像のアドレスと所望の画像のアドレスとの対応関係から決められる前記画像表示部の位置に出力するステップを、
さらに含む請求項6に記載の画像処理方法。 - 画像表示部と、当該画像表示部に表示した表示画像を、光を利用して外部の投射面に対し斜めに投射したときに当該投射面上で生じる歪み画像が補正されるように投射前の前記表示画像を補正する画像処理部と、を有する画像投射装置であって、
前記歪み画像の少なくとも4隅のアドレスを演算により生成し、生成したアドレスの位置を、前記表示画像の映像領域に対応する歪み画像領域内でアドレスの補間誤差が小さくなる向きに調整する演算部と、
前記位置が調整されたアドレスの間の他の歪み画像のアドレスを、前記アドレス位置の調整方法に対応した補間方法により生成するアドレス補間部と、
前記投射面上で歪みが補正される表示画像の画素データを、入力画像の複数の画素データから補間により生成し、生成した画素データを、前記歪み画像のアドレスと所望の画像のアドレスとの対応関係から決められる前記画像表示部の位置に出力するデータ補間部と、
を有する画像投射装置。 - 前記演算部は、
前記少なくとも4隅のアドレスを生成したときと逆の変換を行う演算により、もとの歪み画像と逆に歪む前記映像領域に対応した領域の少なくとも4隅のアドレスを求める逆変換演算部と、
求めた前記映像領域に対応した領域の少なくとも4隅のアドレスから、前記アドレス補間部が前記他のアドレスを生成するときの補間方法に対応したアドレス展開手法により前記歪み画像の少なくとも4隅のアドレスを再度算出するアドレス演算部と、
を有する請求項11に記載の画像投射装置。 - 前記演算部は、垂直と水平の方向それぞれで、前記歪み画像の少なくとも4隅のアドレスのそれぞれに前記投射の角度に応じた係数をかける
請求項11に記載の画像投射装置。 - 前記投射の角度ごとに前記垂直と水平の各方向の係数を記憶している記憶部を、
さらに有する請求項13に記載の画像投射装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003193061A JP2005033271A (ja) | 2003-07-07 | 2003-07-07 | 画像処理装置およびその方法、ならびに、画像投射装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003193061A JP2005033271A (ja) | 2003-07-07 | 2003-07-07 | 画像処理装置およびその方法、ならびに、画像投射装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005033271A true JP2005033271A (ja) | 2005-02-03 |
Family
ID=34204670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003193061A Pending JP2005033271A (ja) | 2003-07-07 | 2003-07-07 | 画像処理装置およびその方法、ならびに、画像投射装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005033271A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1931142A1 (en) | 2006-12-06 | 2008-06-11 | Sony Corporation | Projector and adjustment method of the same |
JP2008236503A (ja) * | 2007-03-22 | 2008-10-02 | Seiko Epson Corp | プロジェクタ、プログラムおよび情報記憶媒体 |
US9008461B2 (en) | 2012-06-06 | 2015-04-14 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
-
2003
- 2003-07-07 JP JP2003193061A patent/JP2005033271A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1931142A1 (en) | 2006-12-06 | 2008-06-11 | Sony Corporation | Projector and adjustment method of the same |
US8040441B2 (en) | 2006-12-06 | 2011-10-18 | Sony Corporation | Projector and adjustment method of the same |
JP2008236503A (ja) * | 2007-03-22 | 2008-10-02 | Seiko Epson Corp | プロジェクタ、プログラムおよび情報記憶媒体 |
US9008461B2 (en) | 2012-06-06 | 2015-04-14 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007143173A (ja) | キーストーン歪みを防止する方法および装置 | |
US8363089B2 (en) | Image converter | |
US6756985B1 (en) | Image processor and image display | |
US20180053286A1 (en) | Image processing apparatus and image processing method | |
JPWO2004034326A1 (ja) | 画像変換装置、画像変換方法、および、画像投射装置 | |
JP2000221586A (ja) | プロジェクタ、投影画像補正装置、投影画像補正方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JPH0771936A (ja) | 画像処理装置及びその方法 | |
CN114449234B (zh) | 投影装置与其投影画面校正方法 | |
JP2004320661A (ja) | 補助線を利用した幾何学補正インターフェースにおける画面外エリアの補正方法 | |
JP2004349979A (ja) | 画像処理装置、画像処理方法および画像投射装置 | |
JP2004032484A (ja) | 投影型画像表示装置および画像変換方法 | |
WO2005041124A1 (ja) | 画像処理方法および画像処理装置、並びにプログラム | |
JP2004228619A (ja) | プロジェクタの映像の歪み調整方法 | |
JP4296842B2 (ja) | 画像投射装置、画像処理装置およびその方法 | |
JP2005033271A (ja) | 画像処理装置およびその方法、ならびに、画像投射装置 | |
JP2005012407A (ja) | 画像投射装置および画像処理方法 | |
JP2006005549A (ja) | 画像投射装置、画像処理装置および画像処理方法 | |
JP2003153133A (ja) | プロジェクタおよび画像補正方法 | |
JP4099830B2 (ja) | 特殊効果装置、画像処理方法及び対象画像生成方法 | |
JP2004129212A (ja) | 画像投射装置および画像変換方法 | |
JP2019047204A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2005033582A (ja) | 画像処理装置、画像処理方法および画像投射装置 | |
JP2003029714A (ja) | 投射型表示装置の画像補正方法 | |
JP2020061662A (ja) | 映像処理装置、映像処理方法、及びプログラム | |
JP2019191443A (ja) | 投影装置 |