JP2006005549A - 画像投射装置、画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】処理時間の低減、とくに初期設定時における歪み画像の補正時の応答性を良くし、かつ、最終的には高精度な歪み画像の補正を可能とする。
【解決手段】画像処理の回路部２に、たとえば初期設定時にセンサー６または操作キーから入力される情報の変更があるたびに、当該変更後の情報に基づいて歪み画像のアドレスを、水平および垂直のそれぞれで所定の画素数ごとに演算によりＣＰＵ２ａで計算する。このときＣＰＵ２ａは、歪み画像の水平および垂直の各画素数に対するアドレス生成の頻度を歪み画像の補正時の初期状態で相対的に小さくしてレスポンスを高め、情報の変更が一定時間以上ないときは、アドレス生成の頻度を相対的に大きくして高精度な歪み画像のアドレス生成を実行する。
【選択図】図５

Description

本発明は、画像表示部に表示した表示画像を、光を利用して外部の投射面に対し斜めに投射したときに当該投射面上で生じる歪み画像のアドレスを生成し、この歪み画像のアドレスを用いて表示画像を補正する画像投射装置と、この画像投射装置に好適な画像処理装置および画像処理方法とに関する。

いわゆるプロジェクターと称される画像投射装置は画像表示部、たとえばＬＣＤ（Liquid Crystal Display）パネルを有している。画像表示部に画像を表示させ、その表示画像を外部の投射面、たとえばスクリーンの面に投射する。

このとき、スクリーンに対するプロジェクターからの画像の投射角度が斜めであると、本来、矩形状であるはずの画像がスクリーン上で台形状に歪む。このため、スクリーン上の画像の台形歪みを補正するいわゆるキーストン歪み補正機能を備えた液晶プロジェクターが知られている。

水平または垂直のキーストン歪み補正では、スクリーン上の投影画像と逆方向に意図的に歪ませた画像をＬＣＤパネル上で生成する。正矩形の入力画像を意図的に歪ませる画像変換は、通常、プロジェクターが有する画素数変換機能を利用して行う。たとえば、垂直のキーストン歪み補正では、元画像の１フレーム内の単数または複数の水平ラインデータに対して、補間処理や間引き処理をディジタル的に施すことにより台形歪みの逆変換を実行する。

本発明者は、水平と垂直のアドレスの同時生成が可能な座標変換式を用いて、キーストン歪み画像のアドレスを求める手法を既に提案した（特許文献１参照）。
これにより、アドレス生成時の処理時間低減（あるいは計算負荷）を低減しながらキーストン歪み補正を容易に実行できる基本的な手法を確立できた。
特開２００４−０３２４８４号公報

しかしながら、近年の大画面化および高画質化の要求からプロジェクターのＬＣＤパネルの画素数も増えており、計算すべきアドレス点が増大の傾向にある。
このため、本発明者は座標変換式によるアドレス点を少なくする、いわゆる代表点アドレス方式を既に考案している（特願２００２−２２６５６０号公報）。
しかし、この方法では代表点アドレス間の他のアドレスを補間処理により生成することから、どうしても補間誤差が生じてしまう。
したがって、できるだけ補間誤差が少ない高精度なキーストン歪み補正を行うという要求からは、代表点アドレスの頻度を余り低くできない（すなわち、隣の２つの代表点アドレス間の他のアドレス数を水平と垂直のそれぞれで余り大きくできない）。

その一方で、近年の大画面化および高画質化にともなう処理時間の低減という要求が強い。

また、とくにキーストン歪み補正の指示を出してから実際に歪み補正が完了するまでのレスポンスを良くしたいという要求も強くなっている。
これは、最近のプロジェクターはスクリーンに対し設置場所の自由度が高いことをセールスポイントとしており、ユーザーが初期設定時に頻繁に設置場所を変えて最適な視聴ポイントを探すという使い方が一般的になっていることと関係する。つまり、この初期設定時に、設置場所変更にともないスクリーンとの相対位置関係（たとえば投射距離や角度等）が変わるたびにキーストン歪み補正を行うのであるが、そのときレスポンスが悪く時間がかかっていたのでは使用勝手が悪く、上記セールスポイントによる商品購買への訴求力が半減する。

この処理時間低減やレスポンス向上のためには、実際にＣＰＵ等による演算時間を減らし、その代わりにプロジェクターとスクリーンとの相対位置関係とアドレスとのテーブルを用意しておくことも可能である。しかし、この方法は、全ての相対位置関係を網羅したテーブルを用意することは現実的でなく実用性が低い。
したがって、アドレスをＣＰＵ等により算出する方法が現実的であり、上述した処理時間低減やレスポンス向上の要求を満足させる意味では、演算により求めるべき代表点アドレスの頻度は低くせざるを得ない。

このように実際のプロジェクターは、代表点のアドレスの頻度に関し矛盾する２つの要求を同時に満足させる必要があり、そのための方法が強く求められていた。

本発明が解決しようとする課題は、処理時間の低減、とくに初期設定時における歪み画像の補正時の応答性を良くし、かつ、最終的には高精度な歪み画像の補正を可能とすることである。

本発明に係る画像投射装置は、画像表示部と、当該画像表示部に表示した表示画像を、光を利用して外部の投射面に対し斜めに投射したときに当該投射面上で生じる歪み画像のアドレスを、当該歪み画像の補正時に変更可能に入力される情報に基づいて求め、補正後の画像を前記画像表示部に再表示させて投射したときに前記投射面上で画像の歪みが補正されるように、前記歪み画像のアドレスを用いて入力画像を補正し前記表示画像を生成する画像処理部と、を有する画像投射装置であって、前記画像処理部は、前記入力される情報の変更があるたびに、当該変更後の情報に基づいて歪み画像のアドレスを、水平および垂直のそれぞれで所定の画素数ごとに演算により生成するアドレス生成部と、前記アドレス生成部を制御して、前記歪み画像の水平および垂直の各画素数に対するアドレス生成の頻度を歪み画像の補正時の初期状態で相対的に小さくしておき、前記情報の変更が一定時間以上ないときは、前記アドレス生成の頻度を相対的に大きくして歪み画像のアドレス生成を前記アドレス生成部に実行させる制御部と、を有する。

好適に、前記画像補正の操作を受け付ける操作キーをさらに有し、前記歪み画像の補正時に変更可能に入力される情報が、前記操作キーからの画像歪み補正の水平または垂直の向きと補正レベルを示す情報である。
あるいは好適に、当該画像投射装置と前記外部の投射面との相対的位置関係を検出するセンサーをさらに有し、前記歪み画像の補正時に変更可能に入力される情報が前記センサーの出力であり、前記制御部は前記センサーの出力をモニタし、当該センサー出力が所定の閾値より大きく変化し、当該閾値より大きい状態が一定時間持続したときに前記相対的位置関係の変更があったと判断して、前記アドレス生成部に対し、当該変化後のセンサー出力に基づいて得られる相対位置関係の変更情報を出力し、当該変更情報に基づく前記歪み画像のアドレスの生成開始を指示する。

本発明に係る画像処理装置は、歪み画像の補正時に変更可能に入力される情報から歪み画像のアドレスを求め、求めた歪み画像のアドレスから得られる歪みと逆に入力画像を歪ませる処理を行う画像処理装置であって、前記入力される情報の変更があるたびに、当該変更後の情報から歪み画像のアドレスを、水平および垂直のそれぞれで所定の画素数ごとに演算により生成するアドレス生成部と、前記逆歪み画像の各画素アドレスと、所望の大きさで歪みがない画像のアドレスとの対応関係から得られる逆歪み画像のアドレスの各々に、前記入力画像の複数の画素データから補間演算により逆歪み画像のデータを生成するデータ補間部と、前記アドレス生成部を制御して、前記歪み画像の水平および垂直の各画素数に対するアドレス生成の頻度を、歪み画像の補正時の初期状態で相対的に小さくしておき、前記情報の変更が一定時間以上ないときは、前記アドレス生成の頻度を相対的に大きくして歪み画像のアドレス生成を前記アドレス生成部に実行させる制御部と、を有する。

本発明に係る画像処理方法は、歪み画像の補正時に変更可能に入力される情報から歪み画像のアドレスを求め、求めた歪み画像のアドレスから得られる歪みと逆に入力画像を歪ませる処理を行う画像処理方法であって、前記入力される情報の変更があるたびに、当該変更後の情報から歪み画像のアドレスを、水平および垂直のそれぞれで所定の画素数ごとに演算により生成するアドレス生成ステップと、前記アドレス生成ステップで求めた歪み画像のアドレスと、所望の大きさで歪みがない画像のアドレスとの対応関係から得られる逆歪み画像のアドレスの各々に、前記入力画像の複数の画素データから補間演算により逆歪み画像のデータを生成するデータ補間ステップと、を含み
前記アドレス生成ステップにおいて、前記歪み画像の水平および垂直の各画素数に対するアドレス生成の頻度を、歪み画像の補正時の初期状態で相対的に小さくしておき、前記情報の変更が一定時間以上ないときは、前記アドレス生成の頻度を相対的に大きくして前記アドレス生成ステップを再度実行させ、当該アドレス生成ステップの再度の実行により求めた歪み画像のアドレスを用いて前記データ補間ステップを再度実行させる。

本発明によれば、処理時間の低減、とくに初期設定時における歪み画像の補正時の応答性を良くし、かつ、最終的には高精度な歪み画像の補正を可能とすることができた。

本発明の投射型画像表示装置（プロジェクター）と、それに用いる画像処理装置および画像処理方法の実施の形態を、図面を参照しながら説明する。

本実施の形態の特徴は、画像変換式によるアドレス計算の頻度、すなわち画像の水平および垂直で画像変換式によるアドレス計算を何画素に一度行うかを、たとえば初期設定時と初期設定がほぼ終了したと判断される場合とで切り換え、最初はアドレス計算の頻度を低くし、初期設定がほぼ終了したと判断されるとアドレス計算の頻度を高くして最終的なキーストン歪み補正を行うことにある。

その初期設定が終了したか否かの判断は、ユーザーが手動でキーストン歪み補正を投射画像が補正されていく様子を確認しながら行う場合と、自動で行う場合とで異なる。ここでは前者を第１の実施の形態、後者を第２の実施の形態として説明する。ただし、その前に２つの実施の形態に共通なキーストン歪み補正の概要、プロジェクターの構成、具体的なアドレス生成手法（代表点アドレス生成法）をそれぞれ説明した上で、第１の実施の形態、第２の実施の形態の順に説明する。

［キーストン歪み補正の概要］
図１に、フロントプロジェクターをスクリーンの正面に配置した場合に、これらを下方から見た図を示す。
図１に示す配置おいて、プロジェクター１の投射光の軸と映像が映るスクリーン１０１とが、下から見ると直交するように配置される。プロジェクター１で投射する映像はテレビ信号やコンピュータ画面の信号である。これらの信号に重畳された映像の表示領域の形状は、テレビやコンピュータディスプレイを見れば分かるように、信号によって画素数に違いはあるものの映像全体として４：３や１６：９などの辺の比（アスペクト比）をもつ長方形である。プロジェクター１のＬＣＤパネルに表示された長方形の映像は、まっすぐに投射しなければ投射された映像も長方形にならず、本来の映像の形をゆがめてしまう結果になる。

図２は、正面に配置したプロジェクターの位置をＰ０としたときに、本発明の実施の形態におけるプロジェクター１の配置可能な範囲を示す図である。
プロジェクター１は、正面位置Ｐ０を含む水平面Ｐｈ内に配置でき、また、正面位置Ｐ０を含む垂直面Ｐｖ内に配置できる。さらに、プロジェクター１は、２つの平面Ｐｈ，Ｐｖによって区切られる第１象限Ｐ１、第２象限Ｐ２、第３象限Ｐ３、第４象限Ｐ４のいずれにおいても任意に配置できる。
プロジェクター１は、その内部のＬＣＤパネルの表示画像を、上述した範囲内であればどの位置から投射してもよい。プロジェクター１は、投射位置に応じた画像の歪みを補正する機能を有しているので、この機能を働かせれば恰も正面から投射したときと同じアスペクト比をもった正四角形の画像をスクリーン１０１上に映し出すことができる。この補正を、キーストン歪み補正という。

図３（Ａ）に、水平面内でスクリーンに向かって左横からの画像投影イメージを示す。図３（Ｂ）に入力画像イメージを、図３（Ｃ）にプロジェクターに内蔵されたＬＣＤパネル面上での画像イメージを示す。
図３（Ａ）に示すように、スクリーン１０１に向かって左横にプロジェクター１を配置して投射しているが、スクリーン１０１上の映像は正面から投射しているときと同じように見える。本来であれば、投射された画面は図中の斜線部を含め全体が台形に歪んだように変形するはずである。これを横キーストン変形といい、横キーストン変形を補正することを横キーストン歪み補正という。
このように横に置いたプロジェクター１から画像を投射して、それが正面から投射したかのようにスクリーン１０１上で映るには、あらかじめプロジェクター１の投射位置によって画像がどのように歪むかを計算しておかなければならない。このとき、横から投射したときに歪む形に対して作為的に逆の方向に歪ませた画像を作り、それを投射することで横方向から投射しても画像を正面から投射した時と同じように見せることができる。上記具体例で図３（Ａ）のような投射映像を得るためには、図３（Ｂ）の入力画像を図３（Ｃ）のようにＬＣＤパネル面上で故意に変形して表示させ、この表示画像をスクリーン１０１に投影する。

図４（Ａ）に、図２における第３象限Ｐ３からの画像投影イメージを示す。また、図４（Ｂ）に入力画像イメージを、図４（Ｃ）にＬＣＤのパネル面上での画像イメージを示す。
図３（Ａ）の横キーストン歪みは台形歪みであったが、これに垂直方向の歪み成分が加わった図４（Ａ）の場合、さらに歪み形状が複雑になる。図４（Ａ）に示す正四角形の補正後の投影画像を得ようとすると、ＬＣＤパネル表示画像は、図４（Ｃ）に示すように画像をＬＣＤパネル面内で回転させたようにする必要がある。
図４（Ｃ）および前記図３（Ｃ）のいずれの場合でも、補正前の投影画像形状と逆に故意に歪ませた画像をＬＣＤパネル面の有効表示領域いっぱいに表示すれば、解像度、明るさの低下が極力抑えられた正四角形の投影画像がスクリーン上に得られる。

以下、入力画像をＬＣＤパネルの表示画像に変換することによって、このような補正が可能な画像投射装置と、画像処理装置および画像処理方法を、より詳細に説明する。この画像処理（画像変換）では、図４（Ａ）のように第３象限Ｐ３からの投射の場合を例に説明する。水平のみ、あるいは垂直のみの歪み画像は、以下の説明における座標変換式において水平または垂直の投射角度がゼロの場合で表現できる。また、第３象限以外の他の象限からの投射は、式が異なるのみで考え方は同じである。

［プロジェクターの構成］
図５に、プロジェクターの基本構成を示す。
プロジェクター１は、映像信号（入力信号）に種々の信号処理を施す回路、各種駆動系の回路を含む回路部２を有する。回路部２は、信号処理回路内の一部に、たとえば中央演算処理部（ＣＰＵ）からなる演算部２ａ、アドレス補間部２ｂ、および、データ補間部２ｃを含む。プロジェクター１は、入力信号に各種信号処理を施した信号が示す入力画像を画像変換して得られた表示画像３ａを表示する画像表示部３、たとえばＬＣＤパネルを有する。また、プロジェクター１は、表示画像３ａを外部に投射するための光源を含む投光部４と、各種レンズを含む光学部５とを有する。ＬＣＤパネル３は透過型と反射型のいずれでもよいが、いずれにしても表示画像３ａが、光学部５を通って投射面としてのスクリーン１０１に投影画像１０１ａとして映し出されるものであればよい。
演算部２ａは、画像変換に必要な歪み画像のアドレスのうち、すくなくとも４隅のアドレスを演算により算出する。演算部２ａがＣＰＵからなる場合、演算部２ａは、アドレス同士の相対関係を求める手段（以下、マッピング手段という）、および、他の構成を制御する制御手段として機能する。アドレスの演算およびアドレスの対応付け（マッピング）についての詳細は後述する。

プロジェクター１は、ＬＣＤパネル３の表示画像とスクリーン１０１との相対的な関係を示す相対関係情報を取得するセンサー６を有する。センサー６は、たとえば、少なくとも、表示画像のスクリーン１０１までの距離と、光学部５の光軸とスクリーン面とのなす角度とを取得し、ＣＰＵ２ａに送るようになっている。
また、相対関係情報を設定する操作キーを有する。操作キーとして、プロジェクター本体のボタン、あるいは、図５に示すようにリモートコントローラ（以下、「リモコン」）１ａのボタンが設けられており、それらの出力（相対関係情報）をＣＰＵ２ａに送るようになっている。リモコンの場合、そのセンサー出力が本体の受光部７を経てＣＰＵ２ａに送られる。

図６に、操作キーの一例を示す。
ここでは相対関係情報の入力部として、プロジェクター１の操作パネル１ｂに、ダイレクトボタン５１ａおよびポインタ移動キー５１ｄが配置されている。ダイレクトボタン５１ａは、プラスボタン５１ｂとマイナスボタン５１ｃとからなり、鉛直方向または水平方向の台形歪みの補正量を設定するためのボタンである。ポインタ移動キー５１ｄは、設定画面でポインタを移動するための十字キーである。なお、本例では、これらダイレクトボタン５１ａおよびポインタ移動キー５１ｄが、図示のようにリモコン１ａ側にも設けてある。

液晶などの固定画素のパネルを用いるプロジェクターでは、入力された入力画像の画素数と出力画像の画素数とが異なる場合がある。そのため画素数を変換するための信号処理機能を備えている。これをスケーリング機能と呼ぶが、この処理では、本来画素データの無い位置でのデータが必要になり、画素の補間演算が行われる。補間演算では、周辺の画素のデータを用いて目的の位置の画素データを作り出す。この機能は、たとえば、イメージプロセッサと称される画像処理回路内に、スケーラと呼ばれる回路ブロックを内蔵させることにより実現される。

図７は、図５の回路部２に含まれる画像処理回路、すなわちイメージプロセッサとその周辺の回路ブロックの一構成例を示す図である。
図解した画像処理回路は、コムフィルタ（Comb Filter）２１、クロマデコーダ（Chroma Decoder）２２、セレクトスイッチ（ＳＷ）２３、アナログ−ディジタル・コンバータ（Ａ／Ｄ）２４、イメージプロセッサ（Image Processor）２５、ＳＤＲＡＭなどからなる画像メモリ２６、および、演算部２ａを有する。このうち、イメージプロセッサ２５と演算部２ａが、画像変換の機能を実現するための本発明の「画像処理装置」の一実施例を構成する。なお、これらの画像メモリ２６や演算部２ａの機能をイメージプロセッサ２５内に一体化させてもよい。

図解した画像処理回路は、コンポジットビデオ信号（以下、Ｖｉｄｅｏ信号）、Ｙ／Ｃ信号、ＲＧＢ信号のいずれの映像信号にも対応している。Ｖｉｄｅｏ信号はコムフィルタ２１に、Ｙ／Ｃ信号はクロマデコーダ２２に、ＲＧＢ信号はセレクトスイッチ２３に、それぞれ入力される。いま、Ｖｉｄｅｏ信号が入力されている場合を考えると、コムフィルタ２１でＹ／Ｃ信号に変換され、続くクロマデコーダ２２でＹＵＶ信号に変換される。セレクトスイッチ２３によって選択された信号がＡ／Ｄ２４により変換されてディジタル信号になる。この信号がイメージプロセッサ２５に入力され、所望の信号処理が行われる。このとき、イメージプロセッサ２５の処理が演算部２ａにより制御され、処理中に、適宜画像メモリ２６が使用される。所望の信号処理が行われた後は、処理後の信号が画像表示部、たとえばＬＣＤパネル３に送られ、この信号にもとづいてＬＣＤパネル３に投射する画像が表示される。

図８に、イメージプロセッサ内部の回路ブロックの一構成例を示す。
イメージプロセッサ２５は、ＩＰ（Interlace-Progressive）変換部２５１、スケーラ２５２、ＣＰＵインターフェース２５３、メモリ制御部２５４、および記憶部２５５を有する。スケーラ２５２は、アドレス補間部２ｂ、係数発生部２５７、およびフィルタ演算部２５８を有する。このうち、係数発生部２５７とフィルタ演算部２５８が図５におけるデータ補間部２ｃの一実施態様に該当する。

イメージプロセッサ２５に入力された映像信号はＩＰ変換部２５１に送られ、ここでインターレース信号がプログレッシブ化される。この処理では画像メモリ２６を用いるが、メモリインターフェースとしてのメモリ制御部２５４にＩＰ変換部２５１が接続されることによって、ＩＰ変換部２５１は画像メモリ２６との間で画像データのやり取りを行う。プログレッシブ化された信号は、スケーリング処理を行うためにスケーラ２５２に送られる。スケーラ２５２の内部では、歪み補正に必要なアドレスのうち、座標変換式により求める所定の画素ごとの代表点アドレス、あるいは、４隅のアドレス以外の他のアドレスを、アドレス補間部２ｂで補間処理により生成する。フィルタ係数を係数発生部２５７で発生させ、発生させたフィルタ係数をフィルタ演算部２５８に供給する。フィルタ演算部２５８が、与えられたフィルタ係数を用いた補間演算処理を行い、入力した映像信号が示す入力画像が、所定の大きさと形状を有したＬＣＤパネル３の表示画像に変換される。この変換後の表示画像の信号が出力され、ＬＣＤパネル３に送られる。この補間演算に用いるアドレスやフィルタ係数などを保持する記憶部２５５がスケーラ２５２に接続され、これら一連の処理を含むイメージプロセッシングを制御する演算部２ａのインターフェース２５３がＩＰ変換部２５１、スケーラ２５２および記憶部２５５に接続されている。

図５において、センサー６からの相対関係情報が演算部２ａに入力される。演算部２ａ自身によって、あるいは、演算部２ａに制御されながらイメージプロセッサ２５内のアドレス補間部２ｂによって、入力画像を表示画像に効率よく変換するための歪み画像のアドレスが生成される。

［代表点アドレス生成法］
この代表点アドレス生成法ついて、本発明者による既出願（特願２００２−２２６５６０号）が存在する。
以下の説明では、フロントプロジェクターの表示画像を、スクリーンに対して正面の位置を基準に、垂直方向にα度上向きで、水平方向ではスクリーン正面から左にβ度回転した位置から斜めに投射する場合を主に説明する。角度αおよびβが正の場合、投射位置は図２の第３象限Ｐ３に属する。他の象限からの投射時の補正は、ほぼ同じような考え方、方法で行える。このとき入力信号としてＶＧＡ（６４０画素×４８０ライン）の解像度をもつ映像信号が入力され、これをＳＶＧＡ（８００画素×６００ライン）に解像度変換し、また斜め方向から投射する場合のスクリーン上の投影画像の歪みをとる補正も画像変換処理で行う場合について説明する。

図９（Ａ）に、正面投射の場合の右手座標系におけるプロジェクター１とスクリーン１０１の位置関係を示す。また、それに対応したｙｚ平面図を図９（Ｂ）に、ｘｙ平面図を図９（Ｃ）に、それぞれ示す。このとき、プロジェクター１の位置座標を（Ｐｘ，Ｐｙ，Ｐｚ）、スクリーン１０１上の任意の点の位置座標を（Ｓｘ，Ｓｙ，Ｓｚ）で表す。位置座標（Ｐｘ，Ｐｙ，Ｐｚ）と（Ｓｘ，Ｓｙ，Ｓｚ）により決まるスクリーン１０１とプロジェクター１の距離、および、前記斜め投射角度αとβが、前述した相対関係情報である。
図９（Ｂ）および図９（Ｃ）に示すように、正面投射ではスクリーン面と光軸が直交する。ただし、光軸はスクリーン中央ではなく下寄り位置、ここではスクリーン下辺中央付近でスクリーン面と交差している。フロントプロジェクターは机の上に配置をし、あるいは天井から吊るような配置を取る場合、レンズの中心とスクリーンの中心を結ぶ線が地面と平行にはならないように両者を配置させるためである。これはプロジェクターを机に置いて投射したときなどに、投射する画像の下端部分が机に映ってしまわないようにするための仕様であり、光学オフセットと称される。

図１０（Ａ）に、垂直方向にα度上向きで、水平方向については向かって左手からスクリーンに対しβ度の角度で斜めに投射する場合、右手座標系におけるプロジェクターとスクリーンの位置関係を示す。また、ｙｚ平面図を図１０（Ｂ）に、ｘｙ平面図を図１０（Ｃ）に、それぞれ示す。このとき、右手座標系の回転角度は垂直方向にα度、水平方向に（−β）度となる。

ここで、キーストン歪み補正を考えやすくするために相対的な視点を変えることを考える。図１０（Ａ）〜図１０（Ｃ）ではプロジェクター１の位置を動かして斜め方向から投射していたが、ここでは、相対的な位置関係を維持したままでプロジェクター１は動かさずに、スクリーン１０１を、その場で軸回転させることを想定する。

図１１（Ａ）〜図１１（Ｃ）に、スクリーンを軸回転させた場合の図１０（Ａ）〜図１０（Ｃ）と等価的な斜め投射の位置関係を示す。このとき、右手座標系で表現するとスクリーンを、その下辺（ｘ軸）を中心に直立位置からｙ方向（背面側）に（−α）度傾かせ、向かって左側の辺（ｚ軸）を中心に左回転方向にβ度回転させる。つまり、図１１（Ｂ）と図１１（Ｃ）に示す傾きおよび回転の角度は、図１０（Ａ）〜図１０（Ｃ）に示すプロジェクターの設置位置からの投射角度に対して符号が逆になる。

以下、図１１（Ａ）〜図１１（Ｃ）のように、正面の位置にプロジェクター１があり、この位置から傾いたスクリーン（以下、１０１ｔと表記）に映像を投射した場合に、投射された映像（投影画像）がどのように変形しているかを考える。
プロジェクター１が投射する光は、図１０（Ａ）でスクリーン１０１のあったｚｘ平面上を通過して傾いたスクリーンに映る。傾いたスクリーン１０１ｔがある平面は、原点を中心に垂直に（−α）度、水平にβ度回転しているので、原点を中心とした回転行列を用いて表現することができる。ここでは水平と垂直の回転なので、先に水平方向に回転させた後に、次に垂直方向の回転を行う手順によって回転行列が定義される。具体的には、ｚｘ平面の法線ベクトル（ｎｘ，ｎｙ，ｎｚ）が、回転によって次の行列式（１）で表現される。

プロジェクター１の位置とスクリーン１０１の位置していたｚｘ平面上の点を結ぶ直線を考え、この直線と行列式（１）の法線ベクトルをもつ平面との交点を求めれば、傾いたスクリーン１０１ｔの平面に映る座標点が求まる。この傾いた座標点に対して、図１０（Ａ）のように視点をスクリーンの正面において見る場合には、再び反対向きの回転として原点を中心に垂直にα度、水平に（−β）度回転させればよい。すると、斜め方向から投射した場合に歪む形が求められる。このような方法によって導出されたｘ方向、ｙ方向、ｚ方向の座標を、それぞれ次式(2-1)、(2-2)、(2-3)に示す。

これらの式で表される（Ｋｘ，Ｋｙ，Ｋｚ）は、図１０（Ｂ）に示すようにプロジェクター１を垂直にα度上向きで、図１０（Ｃ）のように水平方向にスクリーン１０１に対して左から（−β）度の角度で投射するとき、キーストン歪みによって変形された座標である。

図１２（Ａ）および図１２（Ｂ）に、座標関係についてまとめて示した。これらの図で（Ｓｘ，Ｓｙ，Ｓｚ）はスクリーンの座標であり、正面投射の場合にスクリーン上に正四角形に映し出される元画像の座標に相当する。また、座標（Ｋｘ'，Ｋｙ'，Ｋｚ'）は図１１（Ｂ）および図１１（Ｃ）のように斜めに傾いたスクリーン１０１ｔの平面上に投射された座標である。上述のように（Ｋｘ，Ｋｙ，Ｋｚ）はキーストン歪み変形座標である。
このように、前述した３つの式(2-1)、(2-2)、(2-3)により、任意の方向からの投射によってもたらされるキーストン歪変形座標が与えられる。

つぎに、出力信号（表示画像）の解像度に合わせた座標の、式(2-1)、(2-2)、(2-3)による変形座標を求める。つまり、ＳＶＧＡ出力の場合、歪む前の画像のｘ座標Ｓｘは０から７９９まで変化し、ｚ座標Ｓｚは０から５９９まで変化するが、このときのキーストン歪み後のｘ座標Ｋｘとｚ座標Ｋｚを求める。なお、ｙ座標ＳｙとＫｙは、画像がｚｘ平面にあるのでゼロである。

図１３（Ａ）に正面投射のＳＶＧＡ出力画像のアドレスマップのイメージＰＩＯＵＴ、図１３（Ｂ）にα＝１０、−β＝−３０として座標変換したキーストン変形後のＳＶＧＡ出力画像のアドレスマップのイメージ（以下、歪み画像イメージ）ＰＩＫを示す。これらの図では、図示の都合上全ての画素位置のサンプルリング点を示さず、３３画素ごとに１つのドットでサンプリング点を代表させている。
ここで、式(2-1)および式(2-3)を用いて実際に座標変換によって生成された代表点アドレスは、３３画素ごとのアドレスのうち（３３×３）画素ごとに示す白丸印のアドレスである。代表点アドレスは、図５および図７における演算手段（ＣＰＵ２ａ）が生成する。
代表点アドレス間に存在する、黒丸のアドレスを含む残りのアドレスは、式を用いた演算により生成しないで、図５および図８に示すアドレス補間部２ｂ、例えば複数タップの補間回路から生成される。補間方法に限定はなく、たとえば、バイリニア補間を含む線形補間方法、スプライン補間などの非線形補間方法のいずれを採用してもよい。線形補間を採用すると、アドレス補間部２ｂの構成が簡単になる利点がある一方、アドレスの変換精度を高く維持しようとすると代表点アドレスのサンプリングレートを余り低くできないという不利益がある。線形補間法を採用するか、非線形補間法を採用するかは、この利益と不利益を考慮して決める。
いずれにしても、本実施形態においては、演算手段２ａによる代表点アドレスの生成とアドレス補間部２ｂによる残りのアドレスの生成とが並列に実行されるため、アドレス変換時間が短いという利益が得られる。

つぎに、図１４（Ａ）のように、補正により得たい画像のイメージ（スクリーン上に実現したい投影画像の仮想のイメージ、以下、投影画像イメージという）ＰＩを、図１３（Ｂ）に示す歪みによって変形した座標空間上に重ねる。これにより歪み画像イメージＰＩＫに投影画像イメージＰＩがマッピングされ、両画像のアドレスの対応関係が決まる。このとき、入力した元画像はＶＧＡだが、画像の大きさと位置を調整するために、投影画像イメージＰＩを任意の大きさ（例えば、ＳＶＧＡの大きさ）で、変形したアドレス空間（歪み画像イメージＰＩＫ）内の任意の位置に配置することができる。ただし、投影画像イメージＰＩが歪み画像イメージＰＩＫ内に完全に収まるようにしないと、次に行う補間後に画像の一部が欠けてしまう。したがって、望ましくは、所望のアスペクト比（本例では、４：３）の投影画像イメージサイズが歪み画像のアドレス空間内で最大限となることを規定しておく。すると、この投影画像イメージＰＩの位置と大きさは単なる図形問題に帰結し、例えば図１４（Ａ）のような位置とサイズで、投影画像イメージＰＩと歪み画像イメージＰＩＫとの関係が一意に決まる。

このようなマッピング処理（アドレスの対応付け）は、歪み画像イメージＰＩＫのアドレス分布が既に前記した式(2-1)、(2-2)、(2-3)から求められているので、実際の物理メモリ（記憶資源）を用いずとも、例えばＣＰＵ２ａ内で仮想メモリ空間を想定して実行できる。このため、マッピング処理自体が高速な上に物理メモリとのデータのやり取りがなくて効率がよく、数回やり直しても、その処理の合計時間が画像変換全体の時間に占める割合は極めて小さい。

マッピング処理により得られたアドレスの対応関係は、歪み画像と、歪みがなくスクリーン上で正四角形となる所望の投影画像とのアドレス対応関係であるが、歪み画像というのは元々歪みがない正四角形のＬＣＤパネル上の画像の投影の結果である。したがって、上記アドレスの対応関係を利用して、歪みがないスクリーン上の投影画像を得るためのＬＣＤパネル３の表示画像が生成できる。
具体的な方法としては、ＳＶＧＡ出力の場合、ＬＣＤパネル３の有効表示領域の座標は８００×６００個になるが、この全ての点について、マッピングされた画像のアドレスで補間を行う。このとき８００×６００個の各点での補間のうち、図１４（Ａ）に示す歪み画像イメージＰＩＫと投影画像イメージＰＩとが重なる領域の全てのアドレスでの補間では、投影画像のように画像データを再現できるようにフィルタ係数が選択され、その画像再現に必要な原画像の複数の画素データを上記フィルタ係数で重み付けして新たな画素データを合成する。合成後の画素データは、マッピング処理により求めた上記アドレス対応関係に基づいて、４：３のアスペクト比の正四角形画面であるＳＶＧＡ画面内のどの位置に配置するかを一意に決めるアドレスに割り当てられる。一方、図１４（Ａ）に示す投影画像イメージＰＩ周囲の歪み画像イメージＰＩＫ内領域の補間では、画像データがない黒色画素同士の合成となり、したがって補間後も黒色の画像データがＳＶＧＡ画面内の対応位置に割り当てられる。

図１４（Ｂ）に、このような画像変換手順により生成されたＳＶＧＡ出力画像を示す。この画像がキーストン歪み補正を行った画像である。この画像を図４（Ｃ）のようにＬＣＤパネルに表示させ、図４（Ａ）のように投影すると、スクリーン上で正四角形の投影画像が得られる。マッピング処理により得られたアドレスの対応関係は、上述したようにイメージサイズ同士の重なる面積が最大となるように決められていることから、スクリーン上の投影画像は明るさおよび解像度の低下が最小に抑えられている。

なお、代表点アドレス間の残りのアドレスを補間により生成する場合、周囲の代表点アドレスの座標を用いて新たにアドレスを生成する。したがって、この場合、図１５に示すように、周囲に余分に代表点アドレスを予め生成することが望ましい。この図１５では、（３３×５）画素ごとに代表点アドレスを生成している。

前述した図１３（Ａ）および図１３（Ｂ）の説明では、出力画像イメージＰＩＯＵＴを出力画像（ＳＶＧＡ画像）の大きさに合わせて８００×６００個のアドレスで与え、これを変形させて歪み画像イメージＰＩＫを生成した。そして、図１４（Ａ）に示すように、歪み画像イメージに対し、投影画像イメージＰＩの大きさと位置を変えながら重ね、重ねた後の両画像イメージから、歪み補正に必要なアドレス対応関係を求める手法を採った。

これと同じアドレス対応関係は、次の手法でも求めることができる。
図１３（Ａ）において出力画像イメージＰＩＯＵＴを元画像（ＶＧＡ画像）と同じ６４０×４８０個のアドレスで与え、これを変形させて歪み画像イメージＰＩＫを生成し、図１４（Ａ）では、歪み画像イメージＰＩＫの大きさを変える一方で、投影画像イメージＰＩの大きさは最初からＳＶＧＡ対応として変化させず、その位置のみを変えて両画像イメージの最適な重ね合わせを行う。このような手法でも、結果は図１４（Ａ）と同じとなる。

以上は、スクリーンに向かって左下位置（第３象限Ｐ３）からの投射時の歪み補正を述べたが、他の位置からの投射の場合、歪み座標を求める式が異なるのみで、上述した補正方法の手順は同じである。

図１６（Ａ−１）と図１６（Ｂ−１）に、スクリーン１０１に向かって右下位置（第４象限Ｐ４）からの投射時における右手座標系のｘｙ平面図とｙｚ平面図を示す。また、プロジェクター１の投射位置は正面投射から動かさないとしたときに、同じ相対関係となるようにスクリーン１０１を軸回転させた場合のｘｙ平面図とｙｚ平面図を、図１６（Ａ−２）と図１６（Ｂ−２）に示す。このとき、右手座標系の回転角度は垂直方向に（−α）度、水平方向に（−β）度となる。
傾いたクリーン１０１ｔに投射されたキーストン歪み座標を求める式を、次式(３)に示す。

図１７（Ａ−１）と図１７（Ｂ−１）に、スクリーン１０１に向かって左上位置（第２象限Ｐ２）からの投射時における右手座標系のｘｙ平面図とｙｚ平面図を示す。また、プロジェクター１の投射位置は正面投射から動かさないとしたときに、同じ相対関係となるようにスクリーン１０１を軸回転させた場合のｘｙ平面図とｙｚ平面図を、図１７（Ａ−２）と図１７（Ｂ−２）に示す。このとき、右手座標系の回転角度は垂直方向にα度、水平方向にβ度となる。
傾いたクリーン１０１ｔに投射されたキーストン歪み座標を求める式を、次式(４)に示す。

図１８（Ａ−１）と図１８（Ｂ−１）に、スクリーン１０１に向かって右上位置（第１象限Ｐ１）からの投射時における右手座標系のｘｙ平面図とｙｚ平面図を示す。また、プロジェクター１の投射位置は正面投射から動かさないとしたときに、同じ相対関係となるようにスクリーン１０１を軸回転させた場合のｘｙ平面図とｙｚ平面図を、図１８（Ａ−２）と図１７（Ｂ−２）に示す。このとき、右手座標系の回転角度は垂直方向にα度、水平方向に（−β）度となる。
傾いたクリーン１０１ｔに投射されたキーストン歪み座標を求める式を、次式(５)に示す。

本発明の実施の形態では、このようにキーストン歪み変形座標をスクリーンとの相対関係情報を用いた式で求め、歪みがない所望の画像とのマッピング処理によりアドレスの相対関係を求め、アドレス相対関係に基づいた補間処理によりＬＣＤ表示画面を生成する。マッピング処理は仮想メモリ空間で実行できるので、実際の画像メモリをこの処理のために占有することなく、効率がよい。また、上記式（または歪み計算のアルゴリズム）は、例えば相対関係情報に基づいて適した式（またはアルゴリズム）をＣＰＵ２ａがＲＯＭ２５５から読み出すことによって切り換えることができる。したがって、本発明の実施の形態にかかるプロジェクター１は、スクリーン面が見える位置なら任意の位置からの投射であっても効率良くキーストン歪み補正が可能で、設置自由度が高い。また、マッピング処理時に解像度変換を自由に行え、また出来る限り最大の解像度となるような設定が可能なため、その点でも効率が良く、出来るだけ高い解像度で明るい画像が容易に得られる。
さらに、演算手段２ａの負荷が大きい、式を用いたアドレス計算の対象を代表点に絞り、残りのアドレスは補間により生成しているため、この点でも効率がよい。

以上の説明を前提として、以下に、ユーザーによりキーストン歪み補正時にキー操作が行われる場合（第１の実施の形態）と、センサー６により取得した相対位置関係から自動でキーストン歪み補正が行われる場合（第２の実施の形態）とを説明する。
ただし、ここでは説明の便宜上、図１９に示すようにユーザーの鑑賞位置の左横にプロジェクターを設置し、水平方向の歪みのみで垂直方向の歪みがない場合で説明する。この場合、入力画像に対するＬＣＤパネルの表示画像は図３に示す如くなる。

［第１の実施の形態］
図２０に、キーストン歪み補正時の調整前、調整中および調整後において、それぞれＬＣＤパネル上のイメージとスクリーン上のイメージとを示す。また、図２１に、第１の実施の形態におけるキーストン歪み補正のフローチャートを示す。
図１９に示すように、ユーザーがプロジェクター１をスクリーン１０１に対して鑑賞位置の左横に配置して使用する場合、キーストン歪み補正の調整を行う前（図２１のステップＳＴ０）では、図２０（Ａ−１）に示すように、ＬＣＤパネル上での画像のキーストン歪み補正処理はまだ行われず、ＬＣＤパネルの有効画像領域の全面に画像が表示されている。したがって、この表示画像を投射したときのスクリーン１０１上の投影画像は、図２０（Ｂ−１）に示すように水平方向に映像が伸ばされ歪んで見える。

図２１のステップＳＴ１１において、ユーザーが初期設定メニューを表示させ、リモコン１ａまたは本体に設けられたダイレクトボタン５１ａおよびポインタ移動キー５１ｄ（図６参照）を操作することにより、キーストン歪み補正の操作を行う。
より詳細には、たとえば初期設定メニューの画面の水平歪みにポインタを移動して設定ボタン（不図示）を押し、つぎに表示された画面を見て、ダイレクトボタン５１ａの「−」ボタン５１ｃまたは「＋」ボタン５１ｂの何れかを必要なだけ押す。このキー操作の情報を受けたＣＰＵ２ａ（図５または図７）の制御により、上述した手法でキーストン歪み補正が実行される。

このキーストン歪み補正はユーザーがキー操作を行うたびに実行される。図２０では２回のキー操作を行う場合を示している。
図２１のステップＳＴ１１で最初のキー操作が行われると、その調整量に応じて、つぎのステップＳＴ２１で演算負荷が軽い方法によりキーストン補正処理が実行される。ここで「演算負荷が軽い」とは、前述した座標変換式による代表点アドレスの水平および垂直の画素数に対する頻度が相対的に小さいことにより、ＣＰＵ２ａの演算負荷が軽いことを意味する。
その結果、図２０（Ａ−２）に示すようにＬＣＤパネル上の表示画像が補正され、その投影画像は、図２０（Ｂ−２）のようになる。

図２１のステップＳＴ２２では、キー操作がされて一定時間内に次のキー操作があるかをＣＰＵ２ａが監視している。一定時間内にキー操作がある場合には、処理がステップＳＴ１１に戻ることになるが、一定時間内にキー操作がないときは、これでユーザーによるキーストン補正時の調整が終了したと判断し、処理が次のステップＳＴ２３に進む。なお、一定時間が経過していない場合でも、たとえば初期設定メニューがユーザーにより解除された場合は、処理がステップＳＴ２３に進む。

本例は２回の調整がなされることから、ユーザーが投影画像を見てさらにキー操作を行うと処理が再度ステップＳＴ１１に戻り、つぎのステップＳＴ２１で、再度、演算負荷が軽い方法によりキーストン補正処理が実行される。
その結果、図２０（Ａ−３）に示すようにＬＣＤパネル上の表示画像が補正され、その投影画像は図２０（Ｂ−３）のようになる。この２回目の投影画像を見て、ユーザーによりキーストン歪みがほぼなくなったと判断されると、つぎの一定時間内のキー操作がされないので処理がステップＳＴ２３に進み、より正確な形状のキーストン補正処理が実行される。ここで「より正確な形状のキーストン補正処理」とは、前述した座標変換式による代表点アドレスの水平および垂直の画素数に対する頻度が、ユーザー調整時のステップＳＴ２１のときより相対的に大きく、ＣＰＵ２ａの演算負荷としては重いが、キーストン補正精度がより高いことを意味する。

この最終的なキーストン補正処理後は、ステップＳＴ２４においてＣＰＵ２ａが再調整や位置変更を一定時間監視している。
たとえば一定時間内に再びキー操作がある場合は再調整時のステップＳＴ１１に処理が戻る。
また、当該プロジェクター１のスクリーン１０１との相対位置が変更されるほどセンサー６の出力が変化したことをＣＰＵ２ａが検出すると、処理がステップＳＴ１１の前（またはスタート時）に戻り、ユーザーの操作待ち状態となる。なお、この相対位置が変更は、調整時や補正処理時にも常に監視されており、位置変更があると強制的に処理がステップＳＴ１１の前（またはスタート時）に戻る。

以上のように本実施の形態では、ユーザーが手動で行う調整時のキーストン補正時と、最終の自動で行うキーストン補正時とでは、座標変換式によるアドレス（代表点アドレス）の生成の頻度が異なっている。これは、ユーザー調整時のレスポンスを良くしながら、最終的には正確なキーストン補正が必ず行われるようにするためである。
本実施の形態では、ユーザー調整時の座標変換式によるアドレス生成頻度が、最終の自動アドレス生成頻度より低ければよい。ただし、上記目的に照らすと、ユーザー調整時には最も演算負担が少ない方法、たとえば画像の４隅のみ座標変換式で求め、残りのアドレスは補間演算により求めることが望ましい。

また、上記目的に照らすと、最終の自動アドレス生成は、代表点アドレスの頻度ができるだけ高い方が、精度がよく望ましい。ただし、ある程度、代表点アドレスの頻度が高いと、それ以上は見た目でのキーストン歪み補正の程度は殆ど変わらない。むしろ、それ以上精度を高くしても演算負担が増えるだけで余り好ましくない。
したがって、最終の自動アドレス生成では、パネルの解像度にもより一概に言えないが、見た目でのキーストン歪み補正の程度が十分高い範囲で下限付近の代表点アドレス頻度とすることが望ましい。

４隅のアドレス（代表点アドレスの一種）の生成手法では、ＣＰＵ２ａが、歪み画像の４隅のアドレスを演算により生成し、生成したアドレスの位置を、ＬＣＤパネル３の表示画像の映像領域に対応する歪み画像領域内でアドレスの補間誤差が小さくなる向きに調整する。そして、アドレス補間部２ｂが、位置が調整されたアドレスの間の他の歪み画像のアドレスを、アドレス位置の調整方法に対応した補間方法により生成する。
なお、この４隅のアドレス手法の詳細について、本発明者による既出願（特開２００３−１９３０６１号公報）が存在することから、ここでの説明は省略する。

本実施の形態によれば、ユーザーがキーストン歪み補正を手動で設定する場合に、ユーザーが操作してからスクリーンに補正後の画像が投影されるまでの応答速度を速めることができる。そのため、スクリーンの投射映像を見ながら調整を行うユーザーにとっては、スムーズで的確なキーストン歪み補正が可能となる。

［第２の実施の形態］
プロジェクターとしてはユーザーの手を借りず、自動でキーストン補正を実行する機能もあり得る。ここでは自動でキーストン補正する場合について説明する。
そのための構成として、図５に示すセンサー６が必須となる。センサー６としては、角度センサー、距離センサー、重力センサー、あるいは撮像カメラなどを用いることができ、これによりスクリーン１０１とプロジェクター１との相対位置関係を取得する。

図２２に、第２の実施の形態におけるキーストン歪み補正のフローチャートを示す。
図１９に示すように、ユーザーがプロジェクター１をスクリーン１０１に対して鑑賞位置の左横に配置して使用する場合、キーストン歪み補正の自動補正を行う前（図２２のスタート時）では、図２０（Ａ−１）と同様に、ＬＣＤパネル上での画像のキーストン歪み補正処理はまだ行われず、ＬＣＤパネルの有効画像領域の全面に画像が表示されている。したがって、この表示画像を投射したときのスクリーン１０１上の投影画像は、図２０（Ｂ−１）に示すように水平方向に映像が伸ばされ歪んで見える。

図２２のステップＳＴ２１で、ユーザーが初期設定メニューを表示させ、リモコン１ａまたは本体に設けられたダイレクトボタン５１ａおよびポインタ移動キー５１ｄ（図６参照）を操作することにより、キーストン歪みの自動補正処理スイッチをオンする。なお、キーストン歪みの自動補正は、プロジェクター１の電源スイッチをオンすることにより自動的に開始されるシーケンスの採用も可能である。

これにより自動補正処理の機能が働き、つぎのステップＳＴ２２で、まず、ＣＰＵ２ａがセンサー６の出力から相対位置情報を取得する。受けたＣＰＵ２ａ（図５または図７）の制御により、上述した手法でキーストン歪み補正が実行される。
この相対位置情報に、プロジェクター１とスクリーン１０１との距離、プロジェクター１の光軸とスクリーン面１０１ａとのなす角度を含む。これらの情報は、角度センサー、距離センサー、重力センサーもしくは撮像カメラなどからの情報により求められるが、その手法（測距方法、角度測定方法）は問わない。

ＣＰＵ２ａは、相対位置情報を取得すると、補正画像が投射されるまでの応答速度（レスポンス）を速めるために、ステップＳＴ２３にて計算負荷の軽い演算手法でキーストン補正処理を実行する。ここで「演算負荷が軽い」とは、第１の実施の形態と同様に、前述した座標変換式による代表点アドレスの水平および垂直の画素数に対する頻度が相対的に小さいことにより、ＣＰＵ２ａの演算負荷が軽いことを意味する。

通常、計算負荷の軽い演算手法では多少の誤差が含まれるため、その結果、たとえば図２０（Ａ−３）と同様にＬＣＤパネル上の表示画像が補正され、その投影画像は、たとえば図２０（Ｂ−３）と同じようになる。

自動でキーストン補正を行っても、スクリーンに対する映像の位置が悪かったりして、ユーザーがプロジェクター１自体を設置し直すことが考えられる。
そこで、つぎのステップＳＴ２４において、ＣＰＵ２ａによって相対位置情報が変更されない状態で一定時間が経過したかが判断される。ユーザーがプロジェクター１を設定し直してセンサー出力（相対位置情報）が変更されると、処理がステップＳＴ２２に戻り、変更がないと処理がつぎのステップＳＴ２５に進む。

なお、センサー出力は厳密には一定でない場合が多いことから、センサー出力にある閾値を設け、それ以上の変化があり、かつ、その状態が一定時間持続した場合に相対位置情報が変更されたと判断する。
また、相対位置情報が変更されたか否かの監視は補正時にも行っており、変更があると、直ぐに新たな相対位置情報の取得を開始する。

ステップＳＴ２５では、より正確な形状のキーストン補正処理が実行される。ここで「より正確な形状のキーストン補正処理」とは、第１の実施の形態と同様、前述した座標変換式による代表点アドレスの水平および垂直の画素数に対する頻度が、演算負荷が軽い方法による補正時（ステップＳＴ２１）より相対的に大きく、ＣＰＵ２ａの演算負荷としては重いが、キーストン補正精度がより高いことを意味する。

このように、本実施の形態では、ユーザーが投射位置に満足し、スクリーン１０１とプロジェクター１との位置関係に変化がなくなったとき、相対的に計算負荷の重いが、より高精度なアドレス計算方法により補正画像を作成し投射する。
つまり、ある一定時間以上において角度センサーなどによる角度情報等に変化がなくなった場合に、それまで処理していた計算負荷の軽い方式でのキーストン歪み補正演算処理を止め、最も正確に、もしくは十分満足な画像品位が保てる方法でキーストン歪み補正画像を作成する。

この最終的なキーストン補正処理後は、ステップＳＴ２６においてステップＳＴ２４と同様にＣＰＵ２ａが位置変更を一定時間監視している。一定時間内に再び位置変更がある場合は、処理がステップＳＴ２２に戻る。

以上のように本実施の形態では、最初に自動で行うキーストン補正時と、最終の自動で行うキーストン補正時とでは、座標変換式によるアドレス（代表点アドレス）の生成の頻度が異なっている。これは、初期設定時のレスポンスを良くしながら、最終的には正確なキーストン補正が必ず行われるようにするためである。
本実施の形態では、最初に自動で行う補正時の座標変換式によるアドレス生成頻度が、最終の自動アドレス生成頻度より低ければよい。

ただし、上記目的に照らすと、最終の自動アドレス生成は、代表点アドレスの頻度ができるだけ高い方が、精度がよく望ましい。ただし、ある程度、代表点アドレスの頻度が高いと、それ以上は見た目でのキーストン歪み補正の程度は殆ど変わらない。むしろ、それ以上精度を高くしても演算負担が増えるだけで余り好ましくない。
したがって、最終の自動アドレス生成では、パネルの解像度にもより一概に言えないが、見た目でのキーストン歪み補正の程度が十分高い範囲で下限付近の代表点アドレス頻度とすることが望ましい。

なお、自動調整時、すなわちステップＳＴ２３とＳＴ２５のそれぞれで、段階的に座標変換式によるアドレス生成頻度を低いから高いに変化させることも可能である。
また、ＬＣＤパネル３解像度は任意である。また、代表点アドレスのサンプリングレートも任意である。図２３の図表に、代表点アドレス数をパネル解像度ごとに例示している。

本実施の形態によれば、キーストン歪み補正を自動で行う場合、投射位置の調整などでプロジェクター自体の位置を変えたときに、位置変更に追従してスムーズに補正後の画像を投射できる。このため、プロジェクターの位置を決めやすく、ひいては使い勝手がよくなる。

また、第１および第２の実施の形態に共通な利点として、演算負担を適正化することができる。
つまり、一般に、キーストン歪み補正を行うための座標変換式によるアドレス算出は、補間演算によるアドレス算出より計算負荷が大きい。このため、プロジェクター１内のＣＰＵ２ａで演算させる際に負担が大きい。その他の処理タスクも行っていることも加味すれば、プロジェクター１内で使用するＣＰＵ２ａとしては、より処理能力が高く、高価なＣＰＵを使用しなければならなくなる。
このような場合、本実施の形態では、プロジェクター１のＣＰＵ２ａとしての負荷が下がり、より処理能力の低いＣＰＵでも対応することができる。その結果、キーストン歪み補正をおこなうプロジェクター１自体のコストを下げるという利点もある。

発明の第１および第２の実施の形態におけるフロントプロジェクターをスクリーンの正面に配置した場合に、これらを上方から見た図である。 本発明の第１および第２の実施の形態におけるプロジェクターの配置可能な範囲を、正面配置の位置を中心として示す図である。 本発明の第１および第２の実施の形態において、（Ａ）は横からの画像投影時の図、（Ｂ）は入力画像イメージを示す図、（Ｃ）はＬＣＤパネル面上での画像イメージ図である。 本発明の第１および第２の実施の形態において、（Ａ）は正面位置から水平と垂直の双方の方向にずれた位置からの斜め投射時の図、（Ｂ）は入力画像イメージ、（Ｃ）はＬＣＤのパネル面上での画像イメージである。 本発明の第１および第２の実施形態におけるプロジェクターの基本構成を示す図である。 本発明の第１および第２の実施の形態におけるプロジェクターで、操作キーを示す斜視図である。 本発明の第１および第２の実施の形態のプロジェクターにおいて、回路部に含まれる、イメージプロセッサとその周辺の回路の一構成例を示すブロック図である。 イメージプロセッサ内部の回路の一構成例を示すブロック図である。 本発明の第１および第２の実施の形態において、（Ａ）は正面投射の場合の右手座標系におけるプロジェクターとスクリーンの位置関係を示す図である。（Ｂ）はｙｚ平面図、（Ｃ）はｘｙ平面図である。 本発明の第１および第２の実施の形態において、（Ａ）は垂直投射角α度、水平投射角β度の場合に、右手座標系におけるプロジェクターとスクリーンの位置関係を示す図である。（Ｂ）はｙｚ平面図、（Ｃ）はｘｙ平面図である。 本発明の第１および第２の実施の形態において、（Ａ）〜（Ｃ）は、スクリーンを軸回転させた場合の図１０（Ａ）〜図１０（Ｃ）と等価的な斜め投射の位置関係を示す図である。 本発明の第１および第２の実施の形態において、（Ａ）および（Ｂ）は座標関係についてまとめて示す図である。 本発明の第１および第２の実施の形態において、（Ａ）は正面投射のＳＶＧＡ出力画像のアドレスマップのイメージ図、（Ｂ）はキーストン変形による歪み画像イメージ図である。 本発明の第１および第２の実施の形態において、（Ａ）はマッピング処理時に２つの画像イメージを重ねた図、（Ｂ）は補間演算により生成したＬＣＤパネルの表示画面である。 本発明の第１および第２の実施の形態において、代表点アドレスの取り方の変形例を示す、マッピング処理時の画像イメージ図である。 本発明の第１および第２の実施の形態において、（Ａ−１）〜（Ｂ−２）は、スクリーンに向かって右下からの投射時における右手座標系のｘｙ平面図とｙｚ平面図、およびそれらと等価な平面図である。 本発明の第１および第２の実施の形態において、（Ａ−１）〜（Ｂ−２）は、スクリーンに向かって左上からの投射時における右手座標系のｘｙ平面図とｙｚ平面図、およびそれらと等価な平面図である。 本発明の第１および第２の実施の形態において、（Ａ−１）〜（Ｂ−２）は、スクリーンに向かって右上からの投射時における右手座標系のｘｙ平面図とｙｚ平面図、およびそれらと等価な平面図である。 本発明の第１および第２の実施の形態において、ユーザーの鑑賞位置と、プロジェクターおよびスクリーンの位置関係を示す図である。 本発明の第１の実施の形態において、キーストン歪み補正時の調整前、調整中および調整後において、それぞれＬＣＤパネル上のイメージとスクリーン上のイメージとを示す図である。 本発明の第１の実施の形態におけるキーストン歪み補正のフローチャートである。 本発明の第２の実施の形態におけるキーストン歪み補正のフローチャートである。 代表点アドレス数をパネル解像度ごとに示す図表である。

符号の説明

１…プロジェクター、１ａ…リモートコントローラ、１ｂ…操作部、２ａ…演算手段、２ｂ…アドレス補間部、２ｃ…データ補間部、２…回路部、３…ＬＣＤパネル、３ａ…表示画像、４…投光部、５…光学部、６…センサー、７…受光部、相対関係取得手段、２１…コムフィルタ、２２…クロマデコーダ、２３…セレクトスイッチ、２４…アナログ−ディジタル・コンバータ、２５…イメージプロセッサ、２６…画像メモリ、２７…記憶手段、５１ａ…ダイレクトボタン、５１ｂ…「−」ボタン、５１ｃ…「＋」ボタン、５１ｄ…十字操作キー、１０１，１０１ｔ…スクリーン、１０１ａ…投影画像、２５１…ＩＰ変換部、２５２…スケーラ、２５３…ＣＰＵインターフェース、２５４…メモリ制御部、２５７…係数発生部、２５８…フィルタ演算部、ＰＩ…投影画像イメージ、ＰＩＫ…画像イメージ、ＰＩＯＵＴ…出力画像イメージ、α，β…投射角度

Claims (6)

1. 画像表示部と、当該画像表示部に表示した表示画像を、光を利用して外部の投射面に対し斜めに投射したときに当該投射面上で生じる歪み画像のアドレスを、当該歪み画像の補正時に変更可能に入力される情報に基づいて求め、補正後の画像を前記画像表示部に再表示させて投射したときに前記投射面上で画像の歪みが補正されるように、前記歪み画像のアドレスを用いて入力画像を補正し前記表示画像を生成する画像処理部と、を有する画像投射装置であって、
   前記画像処理部は、
   前記入力される情報の変更があるたびに、当該変更後の情報に基づいて歪み画像のアドレスを、水平および垂直のそれぞれで所定の画素数ごとに演算により生成するアドレス生成部と、
   前記アドレス生成部を制御して、前記歪み画像の水平および垂直の各画素数に対するアドレス生成の頻度を歪み画像の補正時の初期状態で相対的に小さくしておき、前記情報の変更が一定時間以上ないときは、前記アドレス生成の頻度を相対的に大きくして歪み画像のアドレス生成を前記アドレス生成部に実行させる制御部と、
   を有する画像投射装置。
2. 前記画像補正の操作を受け付ける操作キーをさらに有し、
   前記歪み画像の補正時に変更可能に入力される情報が、前記操作キーからの画像歪み補正の水平または垂直の向きと補正レベルを示す情報である
   請求項１に記載の画像投射装置。
3. 当該画像投射装置と前記外部の投射面との相対的位置関係を検出するセンサーをさらに有し、
   前記歪み画像の補正時に変更可能に入力される情報が前記センサーの出力であり、
   前記制御部は前記センサーの出力をモニタし、当該センサー出力が所定の閾値より大きく変化し、当該閾値より大きい状態が一定時間持続したときに前記相対的位置関係の変更があったと判断して、前記アドレス生成部に対し、当該変化後のセンサー出力に基づいて得られる相対位置関係の変更情報を出力し、当該変更情報に基づく前記歪み画像のアドレスの生成開始を指示する
   請求項１に記載の画像投射装置。
4. 前記画像処理部は、前記画像表示部に出力すべき補正後の画像の画素データを、入力画像の複数の画素データから補間演算により生成し、生成した画素データを、前記歪み画像のアドレスと所望の大きさで歪みがない画像のアドレスとの対応関係から決められる前記画像表示部の画素にそれぞれ出力するデータ補間部を、
   さらに有する請求項１に記載の画像投射装置。
5. 歪み画像の補正時に変更可能に入力される情報から歪み画像のアドレスを求め、求めた歪み画像のアドレスから得られる歪みと逆に入力画像を歪ませる処理を行う画像処理装置であって、
   前記入力される情報の変更があるたびに、当該変更後の情報から歪み画像のアドレスを、水平および垂直のそれぞれで所定の画素数ごとに演算により生成するアドレス生成部と、
   前記逆歪み画像の各画素アドレスと、所望の大きさで歪みがない画像のアドレスとの対応関係から得られる逆歪み画像のアドレスの各々に、前記入力画像の複数の画素データから補間演算により逆歪み画像のデータを生成するデータ補間部と、
   前記アドレス生成部を制御して、前記歪み画像の水平および垂直の各画素数に対するアドレス生成の頻度を、歪み画像の補正時の初期状態で相対的に小さくしておき、前記情報の変更が一定時間以上ないときは、前記アドレス生成の頻度を相対的に大きくして歪み画像のアドレス生成を前記アドレス生成部に実行させる制御部と、
   を有する画像処理装置。
6. 歪み画像の補正時に変更可能に入力される情報から歪み画像のアドレスを求め、求めた歪み画像のアドレスから得られる歪みと逆に入力画像を歪ませる処理を行う画像処理方法であって、
   前記入力される情報の変更があるたびに、当該変更後の情報から歪み画像のアドレスを、水平および垂直のそれぞれで所定の画素数ごとに演算により生成するアドレス生成ステップと、
   前記アドレス生成ステップで求めた歪み画像のアドレスと、所望の大きさで歪みがない画像のアドレスとの対応関係から得られる逆歪み画像のアドレスの各々に、前記入力画像の複数の画素データから補間演算により逆歪み画像のデータを生成するデータ補間ステップと、を含み
   前記アドレス生成ステップにおいて、前記歪み画像の水平および垂直の各画素数に対するアドレス生成の頻度を、歪み画像の補正時の初期状態で相対的に小さくしておき、
   前記情報の変更が一定時間以上ないときは、前記アドレス生成の頻度を相対的に大きくして前記アドレス生成ステップを再度実行させ、
   当該アドレス生成ステップの再度の実行により求めた歪み画像のアドレスを用いて前記データ補間ステップを再度実行させる
   画像処理方法。
   

Images