JP2005012561A - Image processing apparatus, image processing method, and image projector - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To eliminate a disadvantage that image quality deterioration is caused due partially to a reflexed component of a signal such as moire depending on a compression rate although the shape of an image part spread on a screen is corrected in a compressing or expanding direction while maintaining the linearity of the video image in the keystone distortion correction. <P>SOLUTION: A filter processing section 2a applies filter processing to pixel data by changing the pass band of the pixel data which are sequentially inputted as a video signal by each in-image position corresponding to the pixel data on the basis of a projection angle relative to an external screen 101 and in-image positional information when an image displayed on an LCD panel 3 is projected to the screen. Thus, the reflexed component is suppressed or eliminated depending on the in-image position. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

実際には補間関数ｈ（ｘ）については様々なものが考えられ、補間フィルタの特性を変えることで画質も変えることができる。
【０００８】
ところで、このような補間処理によりキーストン歪み補正を行った画像に対し、プロジェクターの光学特性に起因した画質の部分的な品位低下を補償する技術として、キーストン歪み補正後の画像に、さらにフィルタ処理を施す技術が知られている（たとえば、特許文献１参照）。
【０００９】
【特許文献１】
特開２００３−３２５８０号公報（第６頁、第６図など）
【００１０】
【発明が解決しようとする課題】
一般に、画像データの補間処理を行う場合に、補間される画像データ信号が本来もっている信号帯域を考慮する必要がある。とくに画像表示部分の解像度が変わるような場合には、画像が本来もっている信号帯域を十分に表現できない場合がある。つまり、入出力の解像度の違いを考慮して補間フィルタの帯域制限を設定しなくては信号の折り返し成分が生じてしまう。これは画像上にジャギー（ｊａｇｇｙ）やモアレ（ｍｏｉｒｅ）を生じさせる原因となり、画質の劣化をもたらすことになる。
【００１１】
補間処理は通常、プロジェクターが本来もっている画素数変換機能を利用することは前にも述べたが、単に矩形画像の解像度を変換して新たな矩形画像を生成する解像度変換処理では、入出力の解像度が決まれば画像のどの部分でも縮小率や拡大率は一様なので、画像部位に関係なく画面全体に一定の帯域制限を行うだけでよかった。
【００１２】
しかし、キーストン歪み補正を行うときの補間処理では、スクリーン上で歪む画像と逆の歪み画像を生成するものであり、本来矩形であった画像を意図的に歪ませる処理である。そのため、画像の一部が圧縮され、あるいは拡大される処理となることから、ジャギーやモアレの生じ方が画面の場所によって異なる。以下、このキーストン歪み補正後の画像におけるモアレを例として、この現象を、図面を参照しながら説明する。
【００１３】
図１４は、スクリーンに向かって左斜め下から投射する場合のキーストン歪み画像を補正するために、ＬＣＤパネル上で意図的に歪ませた画像（以下、歪み補正画像という）を示す。
前述した図１２（Ａ）のように画像を投射した場合、キーストン歪み補正を行わない場合、スクリーン１０１に投射された投影画像は、プロジェクター１からの距離にしたがって光が拡がっていくために、「補正前の投影画像範囲」に示すようにスクリーン上の位置によって映像の拡がり具合が異なっている。このようなキーストン歪みを補正するためのＬＣＤパネル上の歪み補正画像は、図１４に示すように逆に歪ませた画像となり、投射時にスクリーンまでの距離の違いによって補正する量も異なっている。このように変形されたキーストン歪み補正画像は、スクリーンに対して右上の向きに投射するものであるため、画像右上部がもっとも縮小され、左下部があまり縮小されないことになる。つまり画像内位置によって縮小率が異なっている。
【００１４】
図１５（Ｃ）に、図１２（Ａ）と同じようにスクリーンに向かって斜め左下の位置から投射した場合のスクリーン上の投影画像を示す。なお、ここでは図１５（Ａ）に示すような、水平方向の間隔が順次異なる縦のラインパターンを有する入力画像を用いている。
キーストン歪み補正処理は、補間関数を用いたフィルタ処理によって画像を変形し所望の形状を作り出す処理であるが、そこで用いるフィルタの帯域制限は一定であるために、このように画像位置の違いによって縮小率が異なるものに対しては、投影画像内で信号成分の周波数特性のバランスが崩れてしまう。
【００１５】
一方、スクリーンに向かって斜め右下位置から同じ画像を投射した場合の投影画像を図１５（Ｂ）に示す。この場合のＬＣＤパネル上の表示画像はとくに図示しないが、左上の隅側がもっとも圧縮率が高い。
この図１５（Ｂ）と図１５（Ｃ）とを比較すると、映像信号の折り返し成分が異なって表れていることがわかる。つまり、左右対称で同じ角度の投射を行った場合では、それぞれでモアレの程度が異なっている。
【００１６】
また、信号の折り返しがないようにすべての領域で一様に十分強いローパスフィルタをかけて帯域を落とすことも考えられるが、この場合、必要以上に帯域制限を行ってしまうことになり、画質という面から考えると好ましくない。
【００１７】
なお、前記した特許文献１には、このようなモアレなどの信号の折り返し成分に起因した画質低下には言及されていない。特許文献１には、光学系の焦点ずれ量が異なることが原因でスクリーン上の位置によってピントボケが生じ、これを補正するためキーストン歪み補正後の画像信号をハイパスフィルタに通すことによってシャープネスの調整を行う技術が開示されている。
【００１８】
本発明の目的は、モアレなどの信号の折り返し成分に起因した画質低下を防止するために、ＬＣＤパネルなどの画像表示部に表示する画像を補正することができる画像処理装置およびその方法、ならびに、画像投射装置を提供することにある。
【００１９】
【課題を解決するための手段】
本発明に係る画像処理装置は、画像表示部に表示する画像を生成する画像処理装置であって、前記画像表示部に表示された画像を外部の投射面に投射するときの前記投射面に対する当該投射の角度と、画像内位置情報とにもとづいて、順次入力される画素データの通過帯域を当該画素データに対応する画像内位置ごとに変更し、フィルタ処理を行うフィルタ処理部を有する。
前記フィルタ処理部が、好適に、投射時に前記投射面上で画像が拡がる前記画像内位置ほど狭い通過帯域となるフィルタ係数を順次出力するフィルタ係数部と、順次入力されるフィルタ係数に応じた通過帯域で、入力される複数の画素データにフィルタ演算を施すフィルタ演算部と、を含む。
さらに好適に、前記フィルタ係数部は、通過帯域を変更するポイントとなる画素のフィルタ係数を画像の鉛直と水平の方向それぞれで所定の画素間隔で定め、当該画素間の他の画素に対応したフィルタ係数を鉛直と水平の方向それぞれで補間演算により求める。
【００２０】
本発明に係る画像処理方法は、入力した画像に処理を施し、画像表示部に表示する画像を生成する画像処理方法であって、前記画像表示部に表示された画像を外部の投射面に投射するときの前記投射面に対する当該投射の角度と、画像内位置情報とにもとづいて、順次入力される画素データの通過帯域を当該画素データに対応する画像内位置ごとに変更し、フィルタ処理を行うフィルタ処理ステップを含む。
前記フィルタ処理ステップが、好適に、投射時に前記投射面上で画像が拡がる前記画像内位置ほど狭い通過帯域となるフィルタ係数を順次出力するステップと、順次入力されるフィルタ係数に応じた通過帯域で、入力される複数の画素データにフィルタ演算を施すステップと、を含む。
さらに好適に、前記フィルタ係数を出力するステップでは、通過帯域を変更するポイントとなる画素のフィルタ係数を画像の鉛直と水平の方向それぞれで所定の画素間隔で定め、当該画素間の他の画素に対応したフィルタ係数を鉛直と水平の方向それぞれで補間演算により求める。
【００２１】
このように構成された画像処理装置および画像処理方法によれば、フィルタ処理部に（あるいは、フィルタ処理ステップで）、投射の角度と画像内位置情報とがあらかじめ入力され、あるいは、あらかじめ保持されている。画像表示部に出力すべき画像が当該フィルタ処理部に入力されると、この画像に対しフィルタ処理が実行される。このとき、上記投射の角度と画像内位置情報とにもとづいて、順次入力される画素データの通過帯域を当該画素データに対応する画像内位置ごとに変更する。通過帯域の変更は、投射時に前記投射面上で画像が拡がる前記画像内位置ほど狭い通過帯域となるフィルタ係数の選択により行う。この通過帯域を変更する画像内位置としては、すべての画素としてもよいが、より望ましい方法としては、画像の鉛直と水平の方向それぞれで所定の画素数の間隔でフィルタ係数を定め、その間の他の画素に対応したフィルタ係数を鉛直と水平のそれぞれで補間演算により求める。これにより、当該フィルタ処理部からは、投射時に前記投射面上で画像が拡がる前記画像内位置ほど狭い通過帯域となるようにフィルタリングされた画像が、画像表示部に表示されるべく出力される。この表示画像の投射時に余り拡がらず、圧縮などがほとんど施されない部分については、ほとんどフィルタリングされていない。また、投射時に大きく拡がり、たとえば圧縮が強くかけられる部分については帯域が狭くなるようなフィルタリングがかけられ、その結果、モアレまたはジャギーを起こすような高域の成分が除去されたものとなる。
【００２２】
本発明に係る画像投射装置は、画像表示部と、前記画像表示部に表示された表示画像を、光を利用して外部の投射面に投射する投射手段と、を有する画像投射装置であって、前記画像表示部に表示された画像を前記投射手段によって外部の投射面に投射するときの前記投射面に対する当該投射の角度と、画像内位置情報とにもとづいて、順次入力される画素データの通過帯域を当該画素データに対応する画像内位置ごとに変更し、フィルタ処理を行うフィルタ処理部を有する。
【００２３】
このように構成された画像投射装置では、上述した画像処理装置と同様にして部分的に帯域補正がされた画像が画像表示部に出力され、その表示面に表示される。その後、光を利用した投射によって、この表示画像が外部の投射面、たとえばスクリーンの面に投影される。上記帯域補正の結果、投射面上では輝度差がある細かなパターンが存在してもモアレやジャギーのない投影画像が表示される。
【００２４】
【発明の実施の形態】
以下、本発明に係る画像処理装置、画像処理方法および画像投射装置の実施の形態を、フロントプロジェクション型の液晶プロジェクターを例に、図面を参照して説明する。
【００２５】
図１に、プロジェクターの基本構成を示す。
プロジェクター１は、映像信号（入力画像信号）に種々の信号処理を施す回路および各種駆動系の回路を含む回路部２を有する。回路部２は、信号処理回路内の一部に、入力した映像信号の信号帯域を画像内位置に応じて補正するフィルタ処理部２ａと、画素数変換の機能を利用した画素データの補間により投影画像の歪み補正を行う歪み補正回路２ｂとを有する。
プロジェクター１は、歪み補正回路２ｂから出力された表示画像３ａを表示する画像表示部３、たとえばＬＣＤパネルを有する。また、プロジェクター１は、表示画像３ａを外部に投射するための光源を含む投光部４と、各種レンズを含む光学部５とを有する。ＬＣＤパネル３は透過型と反射型のいずれでもよいが、いずれにしても表示画像３ａが、光学部５を通ってほぼ鉛直の投射面、たとえばスクリーン１０１に投影画像１０１ａとして映し出される。ＬＣＤパネル３はＲＧＢの色ごとに３つ設け、色ごとの画像が光学部５で合成される。
【００２６】
プロジェクター１は、さらに、ＬＣＤパネル３とスクリーン１０１との相対的な関係を示す相対関係データを取得する手段（以下、相対関係取得部）６を有する。相対関係取得部６は、外部から相対関係データを入力する入力部、ボタンなどの外部操作手段、想定される相対関係データをあらかじめ記憶したＲＯＭなどの記憶手段、あるいは、相対関係を自ら検出する手段など、種々の形態がある。相対関係取得部６は、たとえば、少なくとも画像のスクリーン１０１までの距離、および、光学部５の光軸とスクリーン面とのなす角度を取得する。相対関係データは、フィルタ処理部２ａのフィルタ係数部２ｄと、歪み補正回路２ｂとに供給される。
【００２７】
歪み補正回路２ｂは、入力される相対関係データにもとづいて歪み画像のアドレス（補間アドレス）を生成し、この補間アドレスと所望の正矩形の画像のアドレスとの対応関係にもとづいて、補間処理により新たな画素データを生成する。このとき１つの画素データの生成に用いるべき元画像の複数Ｎ個の画素データが上記対応関係から求まり、また、フィルタ係数セットを生成して、これら元画像のＮ個の画素データとフィルタ係数セットを、Ｎタップのフィルタに入力する。これにより投射面上で歪みがキャンセルされるように逆方向に歪んだ画像が、当該歪み補正回路２ｂから出力される。
【００２８】
本実施の形態では、歪み補正回路２ｂを行うフィルタのほかに、その前置フィルタ（後置フィルタでも可）としてフィルタ処理部２ａが設けられている。フィルタ処理部２ａは、投射時にスクリーン１０１上で投影画像が拡がる画像内位置ほど狭い通過帯域となるフィルタ係数を順次出力するフィルタ係数部２ｄと、順次入力されるフィルタ係数に応じた通過帯域で、入力される複数の画素データにフィルタ演算を施すフィルタ演算部２ｃとを有する。このフィルタ処理の目的は、画像の圧縮率または拡大率が大きな部分ほど映像信号の通過帯域を狭くすることにより、モアレあるいはジャギーなどの高周波の折り返し成分の影響を低減または防止することである。この帯域補正の詳細は後述する。
【００２９】
上記フィルタ係数部２ｄとしては、ＣＰＵまたはマイクロコンピュータなどの手段によりその都度フィルタ係数を演算により求める手段であってもよい。また、フィルタ係数部２ｄとして、あらかじめ演算されたフィルタ係数を、相対関係データに対応させて保持した記憶手段であってもよい。フィルタ係数を求める際に画像の圧縮率または拡大率に比例または反比例したパラメータが必要になる。このパラメータとして、たとえば歪み補正まえの画像をＬＣＤパネルに表示させて投射したときのスクリーン上での輝度値を用いることができる。歪み補正をしない場合にスクリーン上で拡がる画像部分ほど、歪み補正をする場合に画像が補正される程度（この場合、圧縮率）が高いことを勘案すると、このような輝度値を、画像の圧縮率に対応するパラメータとして用いることができる。
【００３０】
輝度値は、実測により求めたものでもよいし、計算により求めたものでもよい。実測による場合、たとえば当該プロジェクターの出荷時に、スクリーンに対する投射方向の角度を種々変えながら、たとえば推奨の観賞位置（通常、スクリーンに向かって正面位置）から輝度を実測する。輝度測定は、輝度計を用いてもよいし、リファレンスとなる高精度カメラから画像を取り込んで、その撮像データの解析により行ってもよい。
計算による場合は、投射角度に対する輝度値（または輝度値をパラメータとして含む補正係数）を関数化してプログラム中の関数演算により、与えられた投射角度に対する輝度値（または補正係数）を逐次出力する形式でもよい。また、投影画像の所定の箇所ごとの画素における広がり面積を計算し、その逆数の相対値を輝度測定値の代わりに用いてもよい。
【００３１】
前述したキーストン歪み補正時の画素数変換はスケーリングとも呼ばれるが、この処理では画素の補間演算が行われる。補間演算は、たとえば、イメージプロセッサと称される画像処理回路内に、スケーラと呼ばれる回路ブロックを内蔵させることにより実現される。したがって、スケーラを有する場合、画像の圧縮率または拡大率に応じたフィルタ処理の機能もスケーラ内にあらかじめもたせておくことが望ましい。
【００３２】
図２は、回路部に含まれる画像処理回路、すなわちイメージプロセッサとその周辺の回路ブロックの一構成例を示す図である。
図解した画像処理回路は、コムフィルタ（Ｃｏｍｂ Ｆｉｌｔｅｒ）２１、クロマデコーダ（Ｃｈｒｏｍａ Ｄｅｃｏｄｅｒ）２２、セレクトスイッチ（ＳＷ）２３、アナログ−ディジタル・コンバータ（Ａ／Ｄ）２４、イメージプロセッサ（Ｉｍａｇｅ Ｐｒｏｃｅｓｓｏｒ）２５、ＳＤＲＡＭなどからなる画像メモリ２６、および、ＣＰＵ２７を有する。このうち、イメージプロセッサ２５とＣＰＵ２７が、画像変換の機能を実現するための具体的構成例に該当する。なお、これらの画像メモリ２６やＣＰＵ２７の機能をイメージプロセッサ２５内に内蔵させてもよい。
【００３３】
図解した画像処理回路は、コンポジットビデオ信号（以下、Ｖｉｄｅｏ信号）、Ｙ／Ｃ信号、ＲＧＢ信号のいずれの映像信号にも対応している。Ｖｉｄｅｏ信号はコムフィルタ２１に、Ｙ／Ｃ信号はクロマデコーダ２２に、ＲＧＢ信号はセレクトスイッチ２３に、それぞれ入力される。いま、Ｖｉｄｅｏ信号が入力されている場合を考えると、コムフィルタ２１でＹ／Ｃ信号に変換され、続くクロマデコーダ２２でＹＵＶ信号に変換される。セレクトスイッチ２３によって選択された信号がＡ／Ｄ２４により変換されてディジタル信号になる。この信号がイメージプロセッサ２５に入力され、所望の信号処理が行われる。このとき、イメージプロセッサ２５の処理がＣＰＵ２７により制御され、処理中に、適宜画像メモリ２６が使用される。所望の信号処理が行われたあとは、処理後の信号が画像表示部、たとえばＬＣＤパネル３に送られ、この信号にもとづいてＬＣＤパネル３に、投射する画像が表示される。
【００３４】
図３に、イメージプロセッサ内部の回路ブロックの一構成例を示す。
イメージプロセッサ２５は、前述したフィルタ処理部２ａ、ＩＰ（Ｉｎｔｅｒｌａｃｅ−Ｐｒｏｇｒｅｓｓｉｖｅ）変換部２５１、スケーラ２５２、ＣＰＵインターフェース２５３、メモリ制御部２５４、および読み出し専用メモリ（ＲＯＭ）２５５を有する。フィルタ処理部２ａは、図１に示すフィルタ演算部２ｃを構成する水平方向（Ｈ）フィルタ２ｃｈと垂直方向（Ｖ）フィルタ２ｃｖ、ならびに、輝度値などの帯域の程度を表すパラメータを式内に含む所定の補正係数の設定値（および補間値）Ｌをもとにフィルタ係数を生成または保持するフィルタ係数部２ｄを有する。また、スケーラ２５２は、図１に示す歪み補正回路２ｂを構成するフィルタ演算部２５６、係数発生部２５７、および、アドレス発生部２５８を有する。
【００３５】
なお、本構成例では、フィルタ処理部２ａを歪み補正回路２ｂの前置フィルタとして配置しているが、フィルタ処理部２ａとスケーラ２５２との位置を入れ替えて、後置フィルタとしてもよい。また、フィルタ演算部を水平と垂直の２つのフィルタ２ｃｈ，２ｃｖで構成しているが、１つのフィルタから構成してもよい。また、フィルタ係数部２ｄをハードウエアとして用いているように図示しているが、フィルタ係数部２ｄをＣＰＵ２７（図２）に格納されたプログラムによりソフトウエアとして実現することもできる。もちろん、水平と垂直の２つのフィルタ２ｃｈ，２ｃｖを含めてフィルタ処理部２ａ全体をソフトウエアで実現することも可能である。なお、ＣＰＵ２７は、フィルタ処理部２ａを含め当該イメージプロセッサ２５内のすべての構成を制御するものとする。
【００３６】
イメージプロセッサ２５に入力された映像信号はＩＰ変換部２５１に送られ、ここでインターレース信号がプログレッシブ化される。この処理では画像メモリ２６を用いるが、メモリインターフェースとしてのメモリ制御部２５４にＩＰ変換部２５１が接続されることによって、ＩＰ変換部２５１は画像メモリ２６との間で画像データのやり取りを行う。
プログレッシブ化された信号は、まず、フィルタ処理部２ａに送られ、ここで帯域補正が施されたのち、スケーリング処理を行うためにスケーラ２５２に送られる。スケーラ２５２の内部では、歪み補正に必要なアドレスをアドレス発生部２５８で生成する。フィルタ係数を係数発生部２５７で発生させ、発生させたフィルタ係数をフィルタ演算部２５６に供給する。フィルタ演算部２５６が、与えられたフィルタ係数を用いた補間演算を行い、入力した映像信号が示す元画像が、所定の大きさと形状を有したＬＣＤパネルの画像に変換される。この変換後の画像の信号がＬＣＤパネル３に送られ、スクリーンに投射される。
なお、ＲＯＭ２５５は、この補間演算に用いるフィルタ係数などのデータを保持するが、前記した帯域補正のフィルタ係数を保持する手段として活用してもよい。この場合、フィルタ係数部２ｄは、フィルタ係数のパラメータ（たとえば補正係数の設定値Ｌ）を算出または照合する手段として機能する。なお、補正係数の設定値Ｌごとのフィルタ係数をテーブルでもつ場合は、このＲＯＭ２５５でフィルタ係数部２ｄを置き換えることが可能である。
これら一連の処理を含むイメージプロセッシングを制御するＣＰＵ２７のインターフェース２５３がＩＰ変換部２５１、スケーラ２５２およびＲＯＭ２５５に接続されている。
【００３７】
つぎに、帯域補正の詳細を、図４に示すフローチャートに沿って説明する。
図３に示すフィルタ処理部２ａに画素データが映像信号として入力されると（ステップＳＴ１）、つぎのステップＳＴ２で通過帯域の補正係数Ｌを設定する。このステップは説明の便宜上、この処理フロー内に記載しているが、実際は、処理フローが始まる前にあらかじめ行われる。すなわち、補正係数が参照テーブルに記憶されている場合、補正係数の書き込みが、この補正係数の設定に該当する。この場合、補正係数の書き込みは製品出荷時になされる。また、補正係数がプログラムの手順にしたがって関数パラメータから求められる場合、その算出処理が補正係数の設定に該当する。
【００３８】
いずれの場合でも、補正係数の設定の仕方自体は共通する。この補正係数の設定方法を、つぎに説明する。
ここでは、画面内の部分によって異なる帯域制限を行うために、垂直方向、水平方向に対して任意の間隔で所望の帯域の程度を表す補正係数Ｌの設定を行う。この補正係数Ｌの設定では、帯域の程度とほぼ比例、あるいは、ほぼ反比例、または、多少なりとも相関があるパラメータを用いる。このパラメータは任意であるが、ここでは帯域の程度とほぼ反比例する輝度値を用いる。
ここで、もっとも簡単に、通過帯域の補正係数の設定値Ｌを画像の四隅に設定し、その設定ポイント間の補正係数を補間処理により求める。設定ポイントの間隔は後述しているように、より精密な帯域補正を行うためにもっと細かくしてもよい。
【００３９】
図５に、補正係数の設定ポイントを示す。図５において符号「Ｌ００」、「Ｌ１０」、「Ｌ０１」および「Ｌ１１」は、画像の四隅の画素での通過帯域の程度を表す補正係数である。これらの補正係数は、投射角度（鉛直方向α度、水平方向β度）に対応する固有の値を有し、投射角度の少なくとも一方の角度αまたはβが異なるたびに、新たな値が設定される。これらの補正係数は、測定により求める場合、たとえば、輝度の実測値「ＳＬ００」、「ＳＬ１０」、「ＳＬ０１」および「ＳＬ１１」と、調整係数ｋとを用いてつぎの４つの式（２）で定義される。この補正係数の定義は、画素の圧縮率を大きくすべきスクリーン上で投影画像が拡がる画素ほどスクリーン面での面積が拡大し、その分、輝度が下がるという反比例の関係を利用したものである。
【００４０】
【数２】

【００４１】
ここで、輝度の実測値「ＳＬ００」、「ＳＬ１０」、「ＳＬ０１」および「ＳＬ１１」を求める輝度測定では、パネル上で均一の輝度を表示したプロジェクターを所定の角度で投射させる。
このときスクリーン上の投射映像イメージを図６に示す。設定する位置（通常、スクリーン正面の推奨の観賞位置）でスクリーン上の投射映像の輝度値を輝度計またはカメラで測定する。これにより、スクリーン上の投射映像の場所により輝度の相対値が大まかにわかる。上記したように、その輝度相対値の逆数比を各部位の補正係数とする。
【００４２】
つぎに、４ポイントでの補正係数の設定値Ｌ００〜Ｌ１１から、設定ポイント間の画素の通過帯域の補正係数を補間処理により算出する。この補間演算は、図２に示すフィルタ係数部２ｄまたはＣＰＵ２７により実行され、必要に応じて、投射角度ごとにあらかじめＲＯＭ２５５内に格納されるか、そのつど演算される。
【００４３】
通過帯域の補正係数の補間演算方法を図７に示す。ここではもっとも単純に４点の設定値から目的の画素までの距離に応じて線形補間で通過帯域の補正係数を与えている。図７に記載したように、４点の通過帯域の補正係数の設定値を「Ｌ００」、「Ｌ１０」、「Ｌ０１」および「Ｌ１１」とすると、所望位置での補間演算値Ｌ（ｘ，ｚ）は式（３）により与えられる。
【００４４】
【数３】

【００４５】
ここで、符号Ｈｄｉｖは水平方向の設定値間隔、Ｖｄｉｖは垂直方向の設定値間隔、ｘはＬＣＤパネルの水平座標、ｚはその垂直座標を示す。
【００４６】
この補間値は、フィルタ処理部が水平と垂直の２方向に同時にフィルタ処理を行う前提であれば式（３）から求まる１種類でよいが、ここでは、フィルタ処理（ローパスフィルタリング）を水平方向と垂直方向について独立して行うことを前提としているため、通過帯域の補正係数の補間値を垂直方向用と水平方向用の２種類を用意する。水平方向の補間値を添え字に「ｈ」をつけてＬｈ００，Ｌｈ０１，Ｌｈ１０，Ｌｈ１１で表すと、座標（ｘ，ｚ）での設定値Ｌｈ（ｘ，ｚ）は式（４）のようになる。また、垂直方向の補間値を添え字に「ｖ」をつけてＬｖ００，Ｌｖ０１，Ｌｖ１０，Ｌｖ１１で表すと、座標（ｘ，ｚ）での設定値Ｌｖ（ｘ，ｚ）は式（５）のようになる。
【００４７】
【数４】

【００４８】
【数５】

【００４９】
つぎに、これら補間演算による補正係数と前記設定による補正係数をもとにフィルタ係数を算出し、必要に応じて保存し（ステップＳＴ３）、算出したフィルタ係数を用いたフィルタ演算を実行する（ステップＳＴ４）。
【００５０】
以下、フィルタ処理部の構成例とともに、その処理内容を説明する。
図８にＨフィルタ２ｃｈの構成例を、図９にＶフィルタ２ｃｖの構成例を示す。ここで、通過帯域の補正を行う対象の画素データをＤａｔａ（ｘ，ｚ）で表記し、その画素データに対応した補正係数をＬ（ｘ，ｚ）で表記している。
Ｈフィルタ２ｃｈとＶフィルタ２ｃｖのそれぞれが、２つの画素データの遅延器２０１ａおよび２０１ｂと、３つのフィルタ係数の乗算器２０２ａ〜２０２ｃと、乗算結果の加算器２０３とを有する。なお、図８に示す遅延器２０１ａと２０１ｂは画素単位で入力データを遅延させるのに対し、図９に示す遅延器２０１ａと２０１ｂはライン単位で入力データを遅延させることに注意を要する。
【００５１】
まず、入力される映像信号に対し水平方向の帯域補正が施される。
Ｈフィルタ２ｃｈにおいて、補正対象の画素データＤａｔａ（ｘ，ｚ）が遅延器２０２ａから出力されて乗算器２０２ｂに入力されるタイミングで、映像信号上での位相が水平方向（ｘ方向）に１画素分遅れた隣接画素データＤａｔａ（ｘ＋１，ｚ）が遅延器２０１ａの入力側から乗算器２０２ａに入力され、同じタイミングで、位相がｘ方向に１画素分進んだ隣接画素データＤａｔａ（ｘ−１，ｚ）が遅延器２０１ｂの出力側から乗算器２０２ｃに入力される。
ここで、符号ｘはスクリーンに向かって投影画像の左上側の隅を原点とした水平軸上の座標に対応したＬＣＤパネル上の座標であり、符号ｚはスクリーンに向かって投影画像の左上側の隅を原点とした鉛直軸上の座標に対応したＬＣＤパネル上の座標である。したがって、ＬＣＤパネルの表示面に左から右に画素データが順次表示される場合、１画素分位相が進んだＬＣＤパネル上のｘ座標はスクリーン上の座標系では「ｘ−１」と表記され、１画素分位相が遅れたＬＣＤパネル上のｘ座標はスクリーン上の座標系では「ｘ＋１」と表記されることに注意を要する。
【００５２】
乗算器２０２ｂにより、画素データＤａｔａ（ｘ，ｚ）にフィルタ係数「１−２＊Ｌ（ｘ，ｚ）」がかけられる。乗算器２０２ａにより画素データＤａｔａ（ｘ＋１，ｚ）にフィルタ係数として補正係数Ｌ（ｘ，ｚ）がかけられ、同様に、乗算器２０２ｃにより画素データＤａｔａ（ｘ−１，ｚ）に補正係数Ｌ（ｘ，ｚ）がかけられる。これらの乗算結果は加算器２０３において加算され出力「Ｏｕｔｐｕｔ」としてつぎのＶフィルタ２ｃｖに入力される。
このフィルタ処理は順次入力される画素データに対し順次実行され、これにより映像信号に水平方向の帯域補正が施される。
【００５３】
Ｖフィルタ２ｃｖにおいては、補正対象の画素データＤａｔａ（ｘ，ｚ）が遅延器２０２ａから出力されて乗算器２０２ｂに入力されるタイミングで、映像信号上での位相が垂直方向（ｚ方向）に１画素分遅れた隣接画素データＤａｔａ（ｘ，ｚ＋１）が遅延器２０１ａの入力側から乗算器２０２ａに入力され、同じタイミングで、位相がｚ方向に１画素分進んだ隣接画素データＤａｔａ（ｘ，ｚ−１）が遅延器２０１ｂの出力側から乗算器２０２ｃに入力される。
前記したＨフィルタの場合と同様、このＶフィルタにおいても、乗算器２０２ｂにより画素データＤａｔａ（ｘ，ｚ）にフィルタ係数「１−２＊Ｌ（ｘ，ｚ）」がかけられ、乗算器２０２ａにより画素データＤａｔａ（ｘ，ｚ＋１）にフィルタ係数「Ｌ（ｘ，ｚ）」がかけられ、乗算器２０２ｃにより画素データＤａｔａ（ｘ，ｚ−１）にフィルタ係数「Ｌ（ｘ，ｚ）」がかけられる。これらの乗算結果は加算器２０３により加算され、出力「Ｏｕｔｐｕｔ」が得られる。このフィルタ処理は順次入力される画素データに対し順次実行され、その結果、加算器２０３の出力信号は、当該フィルタ処理部に入力された映像信号に水平と垂直の双方向で帯域補正が施されたものとなる。
【００５４】
以上の帯域補正のためのフィルタ演算を式で表すと、水平方向のフィルタ演算が次式（６）、垂直方向のフィルタ演算が式（７）のようになる。ただし、水平と垂直のフィルタ演算は、その順序を入れ替えてもよい。そのため、式（６）と（７）では、それぞれのフィルタに入力される画素データは、画像入力データもしくは垂直フィルタ処理後の画素データ、水平フィルタ処理後の画素データのいずれでもよい。
【００５５】
【数６】

【００５６】
つぎのステップＳＴ５で帯域補正後の画素データを、図１および図３に示す歪み補正回路２ｂに順次出力させる。
これら一連の処理ステップＳＴ１〜ＳＴ５は、プロジェクターが起動状態にあり映像信号の入力がある場合にステップＳＴ６の判断が「Ｎｏ」となっている限り、繰り返される。プロジェクターの起動が停止され、あるいは、処理すべき映像信号が入力されなくなると、ステップＳＴ６の判断が「Ｙｅｓ」となり当該処理全体が終了する。
【００５７】
このような帯域補正を所定の間隔の画素ごとに実行させることによって、図６に示すように、歪み補正まえの投影画像で拡がりの程度が大きく画面が暗くなっている部分ほど、通過帯域を狭くしたローパスフィルタを通すことによって帯域を制限し、モアレやジャギーの原因となる高周波の折り返し成分を抑制または除去することができる。
言い換えると、これまで斜め投射時のキーストン歪み補正を行うと、画像のもつ信号帯域のバランスが不均一になってしまう問題が生じていたが、本実施の形態では、信号帯域バランスを取り戻すことができ、ひいては斜めから投射した投影画像の品位を従来よりも上げることができる。
また、従来では投射方向に依存して異なっていた信号の折り返し成分に起因した画質のアンバランスも適切に補正することができる。
さらに、補正値の設定を投射角度に依存させることによって、スクリーンとプロジェクターの距離という複雑な要素を含まず、簡単にキーストン歪み補正量に応じた信号帯域の補正が可能となる。
【００５８】
以下、幾つかの変形例を説明する。
図４に示すステップＳＴ２において、設定ポイントを４点より増やすことができる。図１０では、水平方向に６ポイントの補正係数を設定し、鉛直方向に３ポイントの補正係数を設定している。この場合、局所的に補正する量を変えることができる。また、設定ポイントを増やしただけ、より正確な帯域補正が可能になる。
【００５９】
このような細かな帯域補正を行うと、たとえば図１１（Ａ）に示すように、筒型スクリーン１０２などのようにさまざまに変形した面に投射する場合、その投射面に対応した形状補正を行っている処理に対しても帯域補正が可能である。この場合のＬＣＤパネル上の表示画像を図１１（Ｂ）に示す。このほか、球状スクリーンへの投射も可能となる。
これらの平面でないスクリーンへの投射であっても、その投射角度およびスクリーンの非平面度に応じて補正係数を設定すれば、帯域の補正係数の精度がスクリーンの平面度に依存して画面内位置によって低下することを有効に防止できる。その結果、画面内位置ごとに適切な帯域制限を行うことができ、スクリーン上での画像信号の折り返し成分が原因で画質が低下することを、さらに有効に防止できる。
【００６０】
なお、このようにスクリーンの特性や入射角度などのパラメータが増えると、用意する補正係数が多くなるが、そのような場合、画像投射装置に輝度測定手段を付属させ、所望のプロジェクター位置からの投射映像を所望の観賞位置で輝度測定して、その測定値に応じて補正係数を変える構成でもよい。
【００６１】
【発明の効果】
本発明によれば、モアレなどの信号の折り返し成分に起因した画質低下を防止するために、ＬＣＤパネルなどの画像表示部に表示する画像を補正することができる画像処理装置およびその方法、ならびに、画像投射装置を提供することが可能となった。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るプロジェクターの基本構成を示す図である。
【図２】回路部に含まれる、イメージプロセッサとその周辺の一構成例を示すブロック図である。
【図３】イメージプロセッサ内部の一構成例を示すブロック図である。
【図４】本発明の実施の形態に係る画像処理方法（帯域補正方法）の手順を示すフローチャートである。
【図５】補正係数の設定ポイントを示す図である。
【図６】スクリーン上の投射映像で輝度測定点を示す図である。
【図７】補正係数の補間演算方法を示す図である。
【図８】Ｈフィルタの構成例を示すブロック図である。
【図９】Ｖフィルタの構成例を示すブロック図である。
【図１０】設定ポイントを細かくした変形例を示す図である。
【図１１】（Ａ）は斜め投射時の円筒型スクリーン上の投影画像を示す図、（Ｂ）はＬＣＤのパネル面上での画像イメージを示す図である。
【図１２】（Ａ）は斜め投射時のスクリーン上の投影画像を示す図、（Ｂ）は入力画像イメージを示す図、（Ｃ）はＬＣＤのパネル面上での画像イメージを示す図である。
【図１３】４タップフィルタにより画素変換を示す図である。
【図１４】スクリーンに向かって左斜め下から投射する場合のＬＣＤパネル上の歪み補正画像を示す図である。
【図１５】（Ａ）は縦のラインパターンを有する入力画像を示す図、（Ｂ）は（Ａ）に示す入力画像をキーストン歪み補正後にスクリーンに対し向かって右下から投射したときの投影画像を示す図、（Ｃ）は同じようにしてスクリーンに対し左下から投射したときの投影画像を示す図である。
【符号の説明】
１…画像投射装置（プロジェクター）、２…回路部、２ａ…フィルタ処理部、２ｂ…歪み補正回路、２ｃ…フィルタ演算部、２ｃｈ…Ｈフィルタ、２ｃｖ…Ｖフィルタ、２ｄ…フィルタ係数部、３…画像表示部（ＬＣＤパネル）、３ａ…表示画像、４…投光部、５…光学部、６…相対関係取得部、２１…コムフィルタ、２２…クロマデコーダ、２３…セレクトスイッチ、２４…アナログ−ディジタル・コンバータ、２５…イメージプロセッサ、２６…画像メモリ、２７…ＣＰＵ、１０１…スクリーン、１０１ａ…投影画像、２５１…ＩＰ変換部、２５２…スケーラ、２５３…ＣＰＵインターフェース、２５４…メモリ制御部、２５５…ＲＯＭ、２５６…フィルタ演算部、２５７…係数発生部、２５８…アドレス発生部、Ｌ…帯域の補正係数、ＳＬ…輝度の実測値、α，β…投射角度[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and an image processing method for generating an image to be displayed on an image display unit such as a liquid crystal panel, and an image projection apparatus.
[0002]
[Prior art]
An image projection apparatus called a so-called projector has an image display unit, for example, an LCD (Liquid Crystal Display) panel. An image is displayed on the image display unit, and the image is projected onto a projection surface such as an external screen. At this time, if the projection angle of the image from the projector with respect to the screen is oblique, the image that should originally be rectangular is distorted into a trapezoid on the screen.
For this reason, a liquid crystal projector having a so-called keystone distortion correction function for correcting a trapezoidal distortion of an image on a screen is known.
[0003]
In the vertical or horizontal keystone distortion correction, an image that is intentionally distorted in the direction opposite to the projected image on the screen is generated on the liquid crystal panel. Image conversion that intentionally distorts a regular rectangular input image is usually performed using a pixel number conversion function of the projector. For example, in the vertical keystone distortion correction, inverse conversion of trapezoidal distortion is executed by digitally performing interpolation processing or thinning processing on one or more horizontal line data in one frame of the original image.
[0004]
For example, as shown in FIG. 12A, when the projector 1 is disposed obliquely lower left toward the screen 101 and an image is projected from the position onto the screen 101, the horizontal and vertical distortions are combined on the screen 101. The projected image is distorted in a complicated manner. In FIG. 12A, the shape of this distorted image is represented by an image shape including diagonal lines on the screen 101. In order to correct this distorted image into a regular rectangular shape, it is necessary to perform keystone distortion correction in both the vertical and horizontal directions. In this keystone distortion correction, an address group representing distortion is generated, and a process of generating new pixel data by interpolation calculation at a position based on the generated address group is used. As a result, a display image modified as shown in FIG. 12C is generated on the LCD panel based on the input image shown in FIG.
[0005]
In such a pixel interpolation operation, it is necessary to use a plurality of pixel data of the original image that exist around an address point where pixel data is to be generated (hereinafter referred to as an interpolation address point), both horizontally and vertically. Interpolation operation is required. For this calculation, a two-dimensional interpolation filter can be used, but generally two vertical ones are independent of the vertical and horizontal ones for reasons such as calculation scale, memory bit width restrictions, and freedom of setting. This interpolation filter is used. For example, first, original image data is passed through a vertical one-dimensional interpolation filter, and the generated interpolation data is further passed through a horizontal one-dimensional interpolation filter to generate new pixel data.
[0006]
FIG. 13 shows an example of a one-dimensional interpolation operation for generating one pixel data by a convolution operation using a 4-tap filter.
Since the number of complementary relations is determined by the distance between the interpolation position and the pixel data, the interpolation coefficient (filter coefficient) for each phase can be expressed by the function h (x) of the distance in the x-axis direction at this time. Therefore, the pixel data q of the interpolation point Q illustrated at this time can be expressed by a convolution operation shown in Expression (1) using the original pixel data A, B, C, and D.
[0007]
[Expression 1]

Actually, various interpolation functions h (x) can be considered, and the image quality can be changed by changing the characteristics of the interpolation filter.
[0008]
By the way, as a technique for compensating for the partial deterioration in image quality due to the optical characteristics of the projector for the image subjected to the keystone distortion correction by such an interpolation process, the image after the keystone distortion correction is further filtered. The technique to apply is known (for example, refer patent document 1).
[0009]
[Patent Document 1]
JP 2003-32580 A (6th page, FIG. 6 etc.)
[0010]
[Problems to be solved by the invention]
In general, when performing interpolation processing of image data, it is necessary to consider the signal band that the image data signal to be interpolated originally has. In particular, when the resolution of the image display portion changes, the signal band that the image originally has may not be sufficiently expressed. In other words, a signal aliasing component occurs unless the band limitation of the interpolation filter is set in consideration of the difference in input / output resolution. This causes jaggy and moiré on the image, which leads to degradation of image quality.
[0011]
As described above, the interpolation processing normally uses the pixel number conversion function inherent in the projector, but in the resolution conversion processing that simply converts the resolution of the rectangular image to generate a new rectangular image, the input / output If the resolution is determined, the reduction ratio and the enlargement ratio are uniform in any part of the image, so it is only necessary to limit the bandwidth to the entire screen regardless of the image part.
[0012]
However, in the interpolation processing when performing keystone distortion correction, a distortion image opposite to the image distorted on the screen is generated, which is a process of intentionally distorting an image that was originally a rectangle. For this reason, since a part of the image is compressed or enlarged, how jaggy or moire occurs varies depending on the location of the screen. Hereinafter, this phenomenon will be described with reference to the drawings, taking as an example moire in the image after the keystone distortion correction.
[0013]
FIG. 14 shows an image intentionally distorted on the LCD panel (hereinafter referred to as a distortion corrected image) in order to correct a keystone distortion image when projected from the lower left oblique toward the screen.
When the image is projected as shown in FIG. 12A described above, when the keystone distortion correction is not performed, the projected image projected on the screen 101 spreads in accordance with the distance from the projector 1. As shown in the “projection image range before correction”, the degree of image expansion differs depending on the position on the screen. The distortion-corrected image on the LCD panel for correcting such keystone distortion is a reversely distorted image as shown in FIG. 14, and the amount to be corrected differs depending on the difference in distance to the screen during projection. Since the keystone distortion corrected image thus deformed is projected in the upper right direction with respect to the screen, the upper right part of the image is most reduced and the lower left part is not reduced much. That is, the reduction rate differs depending on the position in the image.
[0014]
FIG. 15C shows a projected image on the screen in the case of projecting obliquely from the lower left position toward the screen as in FIG. 12A. Here, as shown in FIG. 15A, an input image having vertical line patterns with different horizontal intervals is used.
Keystone distortion correction processing is processing that creates a desired shape by deforming an image by filter processing using an interpolation function. However, since the band limitation of the filter used there is constant, it is reduced by this difference in image position. For those with different rates, the balance of the frequency characteristics of the signal components in the projected image is lost.
[0015]
On the other hand, FIG. 15B shows a projected image when the same image is projected obliquely from the lower right position toward the screen. The display image on the LCD panel in this case is not particularly shown, but the upper left corner side has the highest compression rate.
Comparing FIG. 15B and FIG. 15C, it can be seen that the aliasing component of the video signal appears differently. That is, when the projection is performed at the same angle with left-right symmetry, the degree of moire is different for each.
[0016]
In addition, it is conceivable to reduce the bandwidth by applying a sufficiently strong low-pass filter in all regions so that the signal does not return, but in this case, the bandwidth is limited more than necessary, and the image quality is called It is not preferable from the viewpoint.
[0017]
Note that the above-described Patent Document 1 does not mention deterioration in image quality caused by such a signal folding component such as moire. Japanese Patent Laid-Open No. 2004-228688 adjusts the sharpness by passing the image signal after the keystone distortion correction through a high-pass filter to correct the out-of-focus due to the position on the screen due to the difference in the defocus amount of the optical system. Techniques to do are disclosed.
[0018]
An object of the present invention is to provide an image processing apparatus and method capable of correcting an image to be displayed on an image display unit such as an LCD panel, and a method thereof, in order to prevent deterioration in image quality due to a folded component of a signal such as moire. An object is to provide an image projection apparatus.
[0019]
[Means for Solving the Problems]
An image processing apparatus according to the present invention is an image processing apparatus that generates an image to be displayed on an image display unit, and the image display unit is configured to project the image displayed on the image display unit on an external projection surface. Based on the projection angle and the in-image position information, the filter processing unit performs a filtering process by changing the pass band of sequentially input pixel data for each in-image position corresponding to the pixel data.
The filter processing unit preferably outputs a filter coefficient unit that sequentially outputs a filter coefficient having a narrower pass band at a position in the image where the image expands on the projection surface at the time of projection, and a pass corresponding to the sequentially input filter coefficient And a filter operation unit that performs a filter operation on a plurality of input pixel data in a band.
More preferably, the filter coefficient unit determines a filter coefficient of a pixel serving as a point for changing a pass band at a predetermined pixel interval in each of a vertical direction and a horizontal direction of the image, and a filter corresponding to another pixel between the pixels. The coefficient is obtained by interpolation calculation in each of the vertical and horizontal directions.
[0020]
An image processing method according to the present invention is an image processing method for processing an input image and generating an image to be displayed on an image display unit, and projecting the image displayed on the image display unit onto an external projection surface Based on the angle of the projection with respect to the projection surface and the position information in the image, the pass band of the sequentially input pixel data is changed for each position in the image corresponding to the pixel data, and filter processing is performed. Including a filtering step.
Preferably, the filtering step includes a step of sequentially outputting a filter coefficient having a narrower pass band at a position in the image where the image expands on the projection surface during projection, and a pass band corresponding to the sequentially input filter coefficient. Applying a filter operation to a plurality of input pixel data.
More preferably, in the step of outputting the filter coefficient, a filter coefficient of a pixel that is a point for changing a pass band is determined at a predetermined pixel interval in each of a vertical direction and a horizontal direction of the image, and is transmitted to other pixels between the pixels. Corresponding filter coefficients are obtained by interpolation in the vertical and horizontal directions.
[0021]
According to the image processing device and the image processing method configured as described above, the projection angle and the in-image position information are input in advance or held in advance in the filter processing unit (or in the filter processing step). Yes. When an image to be output to the image display unit is input to the filter processing unit, filter processing is performed on the image. At this time, based on the projection angle and the in-image position information, the pass band of sequentially input pixel data is changed for each in-image position corresponding to the pixel data. The passband is changed by selecting a filter coefficient that has a narrower passband as the position in the image where the image expands on the projection surface during projection. The position in the image where the pass band is changed may be all pixels, but a more desirable method is to define filter coefficients at intervals of a predetermined number of pixels in the vertical and horizontal directions of the image, The filter coefficient corresponding to each pixel is obtained by interpolation calculation in the vertical and horizontal directions. Thereby, the filter processing unit outputs an image filtered so as to have a narrower pass band as the position in the image where the image expands on the projection surface during projection is displayed on the image display unit. The portion that does not expand much when this display image is projected and is hardly subjected to compression or the like is hardly filtered. In addition, filtering is performed such that a portion that is greatly expanded at the time of projection, for example, a region where compression is strongly applied, is narrowed, and as a result, high-frequency components that cause moire or jaggy are removed.
[0022]
An image projection apparatus according to the present invention is an image projection apparatus comprising: an image display unit; and a projection unit that projects a display image displayed on the image display unit onto an external projection surface using light. Based on the projection angle with respect to the projection surface when the image displayed on the image display unit is projected onto an external projection surface by the projection unit, and the position information in the image, A filter processing unit that changes the passband for each position in the image corresponding to the pixel data and performs a filter process is provided.
[0023]
In the image projection apparatus configured as described above, an image whose band has been partially corrected in the same manner as the image processing apparatus described above is output to the image display unit and displayed on the display surface. Thereafter, the display image is projected onto an external projection surface, for example, a screen surface, by projection using light. As a result of the band correction, even if there is a fine pattern with a luminance difference on the projection surface, a projected image without moire or jaggy is displayed.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of an image processing apparatus, an image processing method, and an image projection apparatus according to the present invention will be described below with reference to the drawings by taking a front projection type liquid crystal projector as an example.
[0025]
FIG. 1 shows a basic configuration of the projector.
The projector 1 includes a circuit unit 2 including a circuit that performs various signal processing on a video signal (input image signal) and a circuit of various drive systems. The circuit unit 2 projects on a part of the signal processing circuit by a filter processing unit 2a that corrects the signal band of the input video signal according to the position in the image, and by interpolation of pixel data using a pixel number conversion function. A distortion correction circuit 2b for correcting distortion of the image.
The projector 1 includes an image display unit 3, for example, an LCD panel, which displays the display image 3a output from the distortion correction circuit 2b. The projector 1 also includes a light projecting unit 4 including a light source for projecting the display image 3a to the outside, and an optical unit 5 including various lenses. The LCD panel 3 may be either a transmissive type or a reflective type, but in any case, the display image 3a is projected as a projected image 101a on a substantially vertical projection surface, for example, the screen 101, through the optical unit 5. Three LCD panels 3 are provided for each RGB color, and an image for each color is synthesized by the optical unit 5.
[0026]
The projector 1 further includes means (hereinafter referred to as a relative relationship acquisition unit) 6 that acquires relative relationship data indicating a relative relationship between the LCD panel 3 and the screen 101. The relative relationship acquisition unit 6 is an input unit for inputting relative relationship data from the outside, an external operation unit such as a button, a storage unit such as a ROM that stores presumed relative relationship data in advance, or a unit that detects the relative relationship itself There are various forms. The relative relationship acquisition unit 6 acquires, for example, at least the distance of the image to the screen 101 and the angle formed by the optical axis of the optical unit 5 and the screen surface. The relative relationship data is supplied to the filter coefficient unit 2d of the filter processing unit 2a and the distortion correction circuit 2b.
[0027]
The distortion correction circuit 2b generates a distortion image address (interpolation address) based on the input relative relationship data, and performs interpolation processing based on the correspondence between the interpolation address and a desired regular rectangular image address. New pixel data is generated. At this time, a plurality of N pieces of pixel data of the original image to be used for generating one pixel data are obtained from the above correspondence, and a filter coefficient set is generated, and the N pieces of pixel data and filter coefficient set of these original images are generated. Is input to an N-tap filter. As a result, an image distorted in the reverse direction so as to cancel the distortion on the projection surface is output from the distortion correction circuit 2b.
[0028]
In the present embodiment, in addition to the filter that performs the distortion correction circuit 2b, a filter processing unit 2a is provided as a pre-filter (or a post-filter). The filter processing unit 2a includes a filter coefficient unit 2d that sequentially outputs filter coefficients having a narrower pass band as the position in the image where the projected image expands on the screen 101 at the time of projection, and a pass band corresponding to the filter coefficients that are sequentially input, And a filter operation unit 2c that performs a filter operation on a plurality of input pixel data. The purpose of this filtering process is to reduce or prevent the influence of high-frequency aliasing components such as moire or jaggy by narrowing the passband of the video signal as the image compression rate or enlargement rate increases. Details of the band correction will be described later.
[0029]
The filter coefficient unit 2d may be a means for obtaining a filter coefficient by calculation each time by means such as a CPU or a microcomputer. The filter coefficient unit 2d may be a storage unit that holds filter coefficients calculated in advance in association with relative relationship data. When obtaining the filter coefficient, a parameter proportional to or inversely proportional to the compression ratio or enlargement ratio of the image is required. As this parameter, for example, the luminance value on the screen when an image before distortion correction is displayed on the LCD panel and projected can be used. Considering the fact that the portion of the image that expands on the screen without distortion correction has a higher degree of image correction (in this case, the compression ratio) when distortion correction is performed, such a luminance value is used to compress the image. It can be used as a parameter corresponding to the rate.
[0030]
The luminance value may be obtained by actual measurement or may be obtained by calculation. In the case of actual measurement, for example, when the projector is shipped, the luminance is actually measured from, for example, a recommended viewing position (usually the front position toward the screen) while changing the angle of the projection direction with respect to the screen. The luminance measurement may be performed using a luminance meter, or may be performed by capturing an image from a high-precision camera serving as a reference and analyzing the captured data.
In the case of calculation, the luminance value (or correction coefficient including the luminance value as a parameter) with respect to the projection angle is converted into a function, and the luminance value (or correction coefficient) with respect to the given projection angle is sequentially output by function calculation in the program. But you can. Further, the spread area in the pixel for each predetermined portion of the projection image may be calculated, and the relative value of the inverse may be used instead of the luminance measurement value.
[0031]
The above-described conversion of the number of pixels at the time of keystone distortion correction is also referred to as scaling. In this process, pixel interpolation is performed. The interpolation calculation is realized, for example, by incorporating a circuit block called a scaler in an image processing circuit called an image processor. Therefore, when a scaler is provided, it is desirable that a filter function corresponding to the image compression rate or enlargement rate is also provided in the scaler in advance.
[0032]
FIG. 2 is a diagram illustrating a configuration example of an image processing circuit included in the circuit unit, that is, an image processor and peripheral circuit blocks.
The illustrated image processing circuit includes a comb filter (21), a chroma decoder (22), a select switch (SW) 23, an analog-digital converter (A / D) 24, an image processor (Image Processor) 25, It has an image memory 26 made up of SDRAM and the like, and a CPU 27. Among these, the image processor 25 and the CPU 27 correspond to a specific configuration example for realizing an image conversion function. Note that the functions of the image memory 26 and the CPU 27 may be incorporated in the image processor 25.
[0033]
The illustrated image processing circuit supports any video signal of composite video signals (hereinafter referred to as Video signals), Y / C signals, and RGB signals. The Video signal is input to the comb filter 21, the Y / C signal is input to the chroma decoder 22, and the RGB signal is input to the select switch 23. Considering the case where a video signal is input, the comb filter 21 converts it into a Y / C signal, and the chroma decoder 22 converts it into a YUV signal. The signal selected by the select switch 23 is converted by the A / D 24 into a digital signal. This signal is input to the image processor 25 and desired signal processing is performed. At this time, the processing of the image processor 25 is controlled by the CPU 27, and the image memory 26 is appropriately used during the processing. After the desired signal processing is performed, the processed signal is sent to an image display unit, for example, the LCD panel 3, and an image to be projected is displayed on the LCD panel 3 based on this signal.
[0034]
FIG. 3 shows a configuration example of a circuit block inside the image processor.
The image processor 25 includes the above-described filter processing unit 2a, IP (Interlace-Progressive) conversion unit 251, scaler 252, CPU interface 253, memory control unit 254, and read-only memory (ROM) 255. The filter processing unit 2a includes a horizontal direction (H) filter 2ch and a vertical direction (V) filter 2cv constituting the filter calculation unit 2c shown in FIG. 1 and parameters indicating the degree of the band such as a luminance value in the equation. A filter coefficient unit 2d that generates or holds a filter coefficient based on a set value (and an interpolation value) L of a predetermined correction coefficient is provided. The scaler 252 includes a filter calculation unit 256, a coefficient generation unit 257, and an address generation unit 258 that constitute the distortion correction circuit 2b shown in FIG.
[0035]
In this configuration example, the filter processing unit 2a is arranged as a pre-filter of the distortion correction circuit 2b. However, the filter processing unit 2a and the scaler 252 may be replaced to form a post-filter. In addition, the filter calculation unit is configured by two horizontal and vertical filters 2ch and 2cv, but may be configured by one filter. Further, although the filter coefficient unit 2d is illustrated as being used as hardware, the filter coefficient unit 2d may be realized as software by a program stored in the CPU 27 (FIG. 2). Of course, the entire filter processing unit 2a including the two horizontal and vertical filters 2ch and 2cv can be realized by software. The CPU 27 controls all components in the image processor 25 including the filter processing unit 2a.
[0036]
The video signal input to the image processor 25 is sent to the IP conversion unit 251 where the interlace signal is made progressive. In this process, the image memory 26 is used. When the IP conversion unit 251 is connected to the memory control unit 254 serving as a memory interface, the IP conversion unit 251 exchanges image data with the image memory 26.
The progressive signal is first sent to the filter processing unit 2a, where band correction is performed, and then sent to the scaler 252 for scaling processing. Within the scaler 252, an address generation unit 258 generates an address necessary for distortion correction. The filter coefficient is generated by the coefficient generation unit 257, and the generated filter coefficient is supplied to the filter calculation unit 256. The filter calculation unit 256 performs an interpolation calculation using the given filter coefficient, and the original image indicated by the input video signal is converted into an image of the LCD panel having a predetermined size and shape. The converted image signal is sent to the LCD panel 3 and projected onto the screen.
The ROM 255 holds data such as filter coefficients used for this interpolation calculation, but may be used as means for holding the above-described band correction filter coefficients. In this case, the filter coefficient unit 2d functions as a means for calculating or collating a filter coefficient parameter (for example, a correction coefficient setting value L). When the filter coefficient for each set value L of the correction coefficient is stored in a table, the filter coefficient unit 2d can be replaced with this ROM 255.
An interface 253 of the CPU 27 that controls image processing including a series of processes is connected to the IP conversion unit 251, the scaler 252, and the ROM 255.
[0037]
Next, details of the band correction will be described with reference to the flowchart shown in FIG.
When pixel data is input as a video signal to the filter processing unit 2a shown in FIG. 3 (step ST1), a passband correction coefficient L is set in the next step ST2. Although this step is described in this processing flow for convenience of explanation, it is actually performed in advance before the processing flow starts. That is, when the correction coefficient is stored in the reference table, writing the correction coefficient corresponds to the setting of the correction coefficient. In this case, the correction coefficient is written at the time of product shipment. When the correction coefficient is obtained from the function parameter according to the program procedure, the calculation process corresponds to the setting of the correction coefficient.
[0038]
In any case, the correction coefficient setting method itself is common. A method for setting the correction coefficient will be described next.
Here, in order to perform band limitation that varies depending on the portion in the screen, a correction coefficient L that represents the degree of a desired band is set at arbitrary intervals in the vertical and horizontal directions. In the setting of the correction coefficient L, a parameter that is substantially proportional to the degree of the band, almost inversely proportional, or somewhat correlated is used. This parameter is arbitrary, but here, a luminance value almost inversely proportional to the band level is used.
Here, most simply, set values L of passband correction coefficients are set at the four corners of the image, and correction coefficients between the set points are obtained by interpolation processing. As will be described later, the interval between the set points may be made finer in order to perform more precise band correction.
[0039]
FIG. 5 shows correction coefficient setting points. In FIG. 5, symbols “L00”, “L10”, “L01”, and “L11” are correction coefficients that indicate the degree of passbands at the pixels at the four corners of the image. These correction coefficients have specific values corresponding to the projection angles (vertical direction α degrees, horizontal direction β degrees), and new values are set each time at least one of the projection angles α or β is different. The When these correction coefficients are obtained by measurement, for example, the following four formulas (2) are used by using the measured luminance values “SL00”, “SL10”, “SL01”, “SL11” and the adjustment coefficient k. Defined. This definition of the correction coefficient utilizes an inversely proportional relationship in which the area on the screen surface increases as the projected image expands on the screen where the pixel compression rate should be increased, and the luminance decreases accordingly.
[0040]
[Expression 2]

[0041]
Here, in the luminance measurement for obtaining the actual luminance values “SL00”, “SL10”, “SL01”, and “SL11”, a projector that displays uniform luminance on the panel is projected at a predetermined angle.
FIG. 6 shows a projected video image on the screen at this time. The luminance value of the projected image on the screen is measured with a luminance meter or a camera at a set position (usually, a recommended viewing position in front of the screen). Thereby, the relative value of the brightness can be roughly determined by the location of the projected image on the screen. As described above, the reciprocal ratio of the relative luminance value is used as the correction coefficient for each part.
[0042]
Next, the correction coefficient of the pass band of the pixel between the set points is calculated by interpolation processing from the set values L00 to L11 of the correction coefficients at the four points. This interpolation calculation is executed by the filter coefficient unit 2d shown in FIG. 2 or the CPU 27, and is stored in the ROM 255 in advance for each projection angle or is calculated as needed.
[0043]
FIG. 7 shows an interpolation calculation method for the passband correction coefficient. Here, the passband correction coefficient is given by linear interpolation according to the distance from the four set values to the target pixel. As shown in FIG. 7, when the set values of the correction coefficients of the four pass bands are “L00”, “L10”, “L01”, and “L11”, the interpolation calculation value L (x, z at the desired position). ) Is given by equation (3).
[0044]
[Equation 3]

[0045]
Here, symbol Hdiv represents a set value interval in the horizontal direction, Vdiv represents a set value interval in the vertical direction, x represents a horizontal coordinate of the LCD panel, and z represents a vertical coordinate thereof.
[0046]
This interpolation value may be one type obtained from the equation (3) if the filter processing unit performs filter processing simultaneously in two directions, horizontal and vertical, but here the filter processing (low-pass filtering) is defined as the horizontal direction. Since it is assumed that the vertical direction is performed independently, two types of interpolation values for the passband correction coefficient are prepared for the vertical direction and for the horizontal direction. When the interpolated value in the horizontal direction is represented by Lh00, Lh01, Lh10, and Lh11 with “h” appended to the subscript, the set value Lh (x, z) at the coordinates (x, z) is as shown in Equation (4). Become. Further, when the interpolation value in the vertical direction is represented by Lv00, Lv01, Lv10, and Lv11 with a suffix “v”, the set value Lv (x, z) at the coordinates (x, z) is expressed by the equation (5). It becomes like this.
[0047]
[Expression 4]

[0048]
[Equation 5]

[0049]
Next, a filter coefficient is calculated based on the correction coefficient by the interpolation calculation and the correction coefficient by the setting, and is stored as necessary (step ST3), and the filter calculation using the calculated filter coefficient is executed (step ST3). ST4).
[0050]
Hereinafter, the processing content will be described together with a configuration example of the filter processing unit.
FIG. 8 shows a configuration example of the H filter 2ch, and FIG. 9 shows a configuration example of the V filter 2cv. Here, pixel data to be subjected to passband correction is represented by Data (x, z), and a correction coefficient corresponding to the pixel data is represented by L (x, z).
Each of the H filter 2ch and the V filter 2cv includes two pixel data delay devices 201a and 201b, three filter coefficient multipliers 202a to 202c, and a multiplication result adder 203. Note that the delay units 201a and 201b shown in FIG. 8 delay input data in units of pixels, whereas the delay units 201a and 201b shown in FIG. 9 need to delay input data in units of lines.
[0051]
First, horizontal band correction is performed on the input video signal.
In the H filter 2ch, the pixel data Data (x, z) to be corrected is output from the delay unit 202a and input to the multiplier 202b, and the phase on the video signal is one pixel in the horizontal direction (x direction). The adjacent pixel data Data (x + 1, z) delayed by the minute is input to the multiplier 202a from the input side of the delay device 201a, and the adjacent pixel data Data (x-1, x) whose phase is advanced by one pixel in the x direction at the same timing. z) is input to the multiplier 202c from the output side of the delay device 201b.
Here, the symbol x is a coordinate on the LCD panel corresponding to the coordinate on the horizontal axis with the upper left corner of the projected image as the origin toward the screen, and the symbol z is the upper left corner of the projected image toward the screen. The coordinates on the LCD panel correspond to the coordinates on the vertical axis with the corner as the origin. Therefore, when the pixel data is sequentially displayed on the LCD panel display surface from left to right, the x coordinate on the LCD panel whose phase is advanced by one pixel is expressed as “x−1” in the coordinate system on the screen. Note that the x coordinate on the LCD panel whose phase is delayed by one pixel is expressed as “x + 1” in the coordinate system on the screen.
[0052]
The multiplier 202b multiplies the pixel data Data (x, z) by a filter coefficient “1-2 * L (x, z)”. The multiplier 202a multiplies the pixel data Data (x + 1, z) by a correction coefficient L (x, z) as a filter coefficient. Similarly, the multiplier 202c multiplies the pixel data Data (x-1, z) by a correction coefficient L ( x, z). These multiplication results are added by the adder 203 and input to the next V filter 2cv as an output “Output”.
This filtering process is sequentially performed on the pixel data that is sequentially input, and thereby the band correction in the horizontal direction is performed on the video signal.
[0053]
In the V filter 2cv, the phase on the video signal is 1 in the vertical direction (z direction) at the timing when the pixel data Data (x, z) to be corrected is output from the delay unit 202a and input to the multiplier 202b. The adjacent pixel data Data (x, z + 1) delayed by the pixel is input to the multiplier 202a from the input side of the delay device 201a, and the adjacent pixel data Data (x, z whose phase is advanced by one pixel in the z direction at the same timing. -1) is input to the multiplier 202c from the output side of the delay device 201b.
As in the case of the H filter described above, also in this V filter, the filter coefficient “1-2 * L (x, z)” is applied to the pixel data Data (x, z) by the multiplier 202b, and the multiplier 202a The pixel data Data (x, z + 1) is multiplied by the filter coefficient “L (x, z)”, and the multiplier 202 c multiplies the pixel data Data (x, z−1) by the filter coefficient “L (x, z)”. It is done. These multiplication results are added by the adder 203 to obtain an output “Output”. This filter processing is sequentially performed on the pixel data sequentially input. As a result, the output signal of the adder 203 is subjected to band correction in both horizontal and vertical directions on the video signal input to the filter processing unit. It will be.
[0054]
When the filter calculation for the above band correction is expressed by an equation, the horizontal filter operation is expressed by the following equation (6), and the vertical filter operation is expressed by equation (7). However, the order of the horizontal and vertical filter operations may be switched. Therefore, in Expressions (6) and (7), the pixel data input to each filter may be image input data, pixel data after vertical filter processing, or pixel data after horizontal filter processing.
[0055]
[Formula 6]

[0056]
In the next step ST5, the pixel data after the band correction is sequentially output to the distortion correction circuit 2b shown in FIGS.
These series of processing steps ST1 to ST5 are repeated as long as the determination in step ST6 is “No” when the projector is in the activated state and there is an input of a video signal. When the activation of the projector is stopped or the video signal to be processed is not input, the determination in step ST6 is “Yes”, and the entire process ends.
[0057]
By performing such band correction for each pixel at a predetermined interval, as shown in FIG. 6, the pass band is narrowed in the projected image before distortion correction where the extent of expansion is large and the screen is dark. By passing the low-pass filter, the band can be limited, and high-frequency aliasing components that cause moire and jaggy can be suppressed or eliminated.
In other words, when the keystone distortion correction at the time of oblique projection has been performed so far, there has been a problem that the signal band balance of the image becomes non-uniform, but in this embodiment, the signal band balance can be restored. As a result, the quality of the projected image projected obliquely can be improved as compared with the prior art.
In addition, it is possible to appropriately correct the image quality imbalance caused by the aliasing component of the signal that has been different depending on the projection direction.
Furthermore, by making the correction value setting dependent on the projection angle, it is possible to easily correct the signal band according to the keystone distortion correction amount without including a complicated element such as the distance between the screen and the projector.
[0058]
Hereinafter, some modifications will be described.
In step ST2 shown in FIG. 4, the set points can be increased from four points. In FIG. 10, a 6-point correction coefficient is set in the horizontal direction, and a 3-point correction coefficient is set in the vertical direction. In this case, the amount to be locally corrected can be changed. In addition, more accurate band correction is possible by increasing the set point.
[0059]
When such a fine band correction is performed, as shown in FIG. 11A, for example, when projecting onto various deformed surfaces such as a cylindrical screen 102, the shape correction corresponding to the projection surface is performed. It is possible to perform band correction even for the current process. A display image on the LCD panel in this case is shown in FIG. In addition, projection onto a spherical screen is also possible.
Even if these projections are to a non-planar screen, if the correction coefficient is set according to the projection angle and the non-flatness of the screen, the accuracy of the band correction coefficient depends on the flatness of the screen and the position within the screen. It is possible to effectively prevent the deterioration. As a result, it is possible to appropriately limit the band for each position in the screen, and it is possible to more effectively prevent the image quality from being deteriorated due to the aliasing component of the image signal on the screen.
[0060]
If the parameters such as the screen characteristics and the incident angle increase as described above, the correction coefficient to be prepared increases. In such a case, the image projection apparatus is provided with a luminance measurement means, and projection from a desired projector position is performed. A configuration may be used in which luminance is measured at a desired viewing position, and the correction coefficient is changed according to the measured value.
[0061]
【The invention's effect】
According to the present invention, an image processing apparatus and method for correcting an image to be displayed on an image display unit such as an LCD panel in order to prevent deterioration in image quality due to a folded component of a signal such as moire, and the like, and An image projection apparatus can be provided.
[Brief description of the drawings]
FIG. 1 is a diagram showing a basic configuration of a projector according to an embodiment of the invention.
FIG. 2 is a block diagram illustrating an example of a configuration of an image processor and its periphery included in a circuit unit.
FIG. 3 is a block diagram illustrating an example of a configuration inside an image processor.
FIG. 4 is a flowchart showing a procedure of an image processing method (band correction method) according to the embodiment of the present invention.
FIG. 5 is a diagram showing set points of correction coefficients.
FIG. 6 is a diagram showing luminance measurement points in a projected image on a screen.
FIG. 7 is a diagram illustrating a correction coefficient interpolation calculation method;
FIG. 8 is a block diagram illustrating a configuration example of an H filter.
FIG. 9 is a block diagram illustrating a configuration example of a V filter.
FIG. 10 is a diagram showing a modified example in which setting points are made fine.
11A is a diagram showing a projected image on a cylindrical screen during oblique projection, and FIG. 11B is a diagram showing an image image on the panel surface of the LCD.
12A is a diagram showing a projected image on a screen during oblique projection, FIG. 12B is a diagram showing an input image image, and FIG. 12C is a diagram showing an image image on the panel surface of the LCD. .
FIG. 13 is a diagram illustrating pixel conversion by a 4-tap filter.
FIG. 14 is a diagram showing a distortion-corrected image on the LCD panel in the case of projecting from the diagonally lower left toward the screen.
15A is a view showing an input image having a vertical line pattern, and FIG. 15B is a projection image when the input image shown in FIG. A is projected from the lower right toward the screen after correcting the keystone distortion. FIG. 4C is a diagram showing a projected image when projected onto the screen from the lower left in the same manner.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Image projection apparatus (projector), 2 ... Circuit part, 2a ... Filter process part, 2b ... Distortion correction circuit, 2c ... Filter operation part, 2ch ... H filter, 2cv ... V filter, 2d ... Filter coefficient part, 3 ... Image display unit (LCD panel), 3a ... display image, 4 ... light projecting unit, 5 ... optical unit, 6 ... relative relationship acquisition unit, 21 ... comb filter, 22 ... chroma decoder, 23 ... select switch, 24 ... analog- Digital converter, 25 ... Image processor, 26 ... Image memory, 27 ... CPU, 101 ... Screen, 101a ... Projected image, 251 ... IP converter, 252 ... Scaler, 253 ... CPU interface, 254 ... Memory controller, 255 ... ROM, 256 ... filter operation unit, 257 ... coefficient generation unit, 258 ... address generation unit, L ... band correction coefficient, L ... measured value of luminance, alpha, beta ... projection angle

Claims (13)

An image processing apparatus for generating an image to be displayed on an image display unit,
Based on the projection angle with respect to the projection surface when the image displayed on the image display unit is projected onto an external projection surface and the position information in the image, the passband of the pixel data sequentially input is determined as the pixel. An image processing apparatus having a filter processing unit that changes and performs filter processing for each position in an image corresponding to data. The filter processing unit
A filter coefficient unit that sequentially outputs a filter coefficient having a narrower pass band as the position in the image where the image expands on the projection surface at the time of projection;
A filter operation unit that performs a filter operation on a plurality of input pixel data in a passband corresponding to sequentially input filter coefficients;
The image processing apparatus according to claim 1, comprising: The filter coefficient unit determines a filter coefficient of a pixel as a point for changing a pass band at predetermined pixel intervals in each of a vertical direction and a horizontal direction of an image, and sets a filter coefficient corresponding to another pixel between the pixels as a vertical. The image processing apparatus according to claim 2, wherein the image processing apparatus is obtained by interpolation calculation in each horizontal direction. The image processing apparatus according to claim 1, wherein a luminance value on the projection surface is used as a parameter corresponding to the projection angle and the position information in the image. A table showing the relationship between the projection angle and the set value of the parameter according to the position information in the image, and the projection angle;
When the projection angle is set, the filter processing unit reads the parameter setting value corresponding to the set projection angle from the table, and passes the passband according to the read parameter setting value. The image processing apparatus according to claim 1, wherein the filtering process is performed. When the projection angle is set, the filter processing unit sets the parameter according to a function indicating a relationship between the projection angle, a parameter setting value corresponding to the in-image position information, and the projection angle. The image processing apparatus according to claim 1, wherein a setting value is obtained and the filtering process is performed in a pass band corresponding to the obtained setting value of the parameter. An image processing method for processing an input image and generating an image to be displayed on an image display unit,
Based on the projection angle with respect to the projection surface when the image displayed on the image display unit is projected onto an external projection surface and the position information in the image, the passband of the pixel data sequentially input is determined as the pixel. An image processing method including a filter processing step for performing a filter process by changing each position in an image corresponding to data. The filtering step includes
Sequentially outputting filter coefficients having a narrower pass band as the position in the image where the image expands on the projection surface during projection;
Applying a filter operation to a plurality of input pixel data in a passband corresponding to sequentially input filter coefficients;
The image processing method of Claim 7 containing these. In the step of outputting the filter coefficient, a filter coefficient of a pixel serving as a point for changing a pass band is determined at a predetermined pixel interval in each of the vertical and horizontal directions of the image, and a filter coefficient corresponding to another pixel between the pixels The image processing method according to claim 8, wherein an image is obtained by interpolation calculation in each of a vertical direction and a horizontal direction. The image processing method according to claim 7, wherein a luminance value on the projection surface is used as a parameter corresponding to the projection angle and the position information in the image. Creating a table indicating the relationship between the angle of projection and the setting value of the parameter according to the position information in the image, and the angle of projection;
Further comprising setting an angle of the projection,
8. The filter processing step according to claim 7, wherein the parameter setting value corresponding to the set projection angle is read from the table, and the filtering process is performed in a pass band corresponding to the read parameter setting value. Image processing method. Further comprising setting an angle of the projection;
In the filtering step, the parameter setting value is determined by a function indicating a relationship between the set projection angle and the position information in the image according to the position information in the image, and the projection angle, The image processing method according to claim 7, wherein the filtering process is performed in a pass band corresponding to a parameter setting value. An image projection apparatus comprising: an image display unit; and a projection unit that projects a display image displayed on the image display unit onto an external projection surface using light,
Passing of pixel data that is sequentially input based on the angle of the projection with respect to the projection surface and the position information in the image when the image displayed on the image display unit is projected onto an external projection surface by the projection means An image projection apparatus including a filter processing unit that changes a band for each position in an image corresponding to the pixel data and performs filter processing.

Images