JP2012253684A - 画像処理装置、画像処理方法、画像処理装置を備える画像表示装置、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】任意倍率拡大処理を実現するとともに、画質の低下を抑制させた画像処理が可能な画像処理装置を提供する。
【解決手段】テレビジョン受像機１は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより画像データを拡大縮小する装置であって、各入力画素について、エッジ方向から９０度ずれたエッジ勾配の方向を推定するエッジ方向推定処理部７１と、補間画素エッジ方向に沿った領域であり、かつ、当該補間画素を囲む領域である補間面を設定する補間面設定部７３と、補間面において、入力画素間の画素である仮画素を設定し、当該仮画素の値を算出する仮画素値算出処理部７５と、補間面に含まれる入力画素および仮画素の値を用いて補間画素の値を算出する補間処理部７７とを備える。
【選択図】図３

Description

本発明は、高解像度処理を行う画像処理装置、画像処理方法、画像処理装置を備える画像表示装置、プログラムおよび記録媒体に関する。

画像処理および映像処理において用いられる重要な技術としてアップスケーリング処理が知られている。例えば、近年のＦＨＤ（Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度に対応したディスプレイの普及に伴い、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）解像度の映像コンテンツをＦＨＤ解像度ディスプレイで表示するにはアップスケーリング処理が必要である。また、ＦＨＤ解像度を超えるＱＦＨＤ（Ｑｕａｄ Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度に対応したディスプレイが開発されており、さらにはＱＦＨＤを超えるＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度のディスプレイも研究されている。このように、ディスプレイの高解像度化が進むにつれ、高性能なアップスケーリング処理の重要性が高まっている。

アップスケーリング処理は、一般的な技術として最近傍補間（ニアレストネイバー）、双一次補間（バイリニア補間）、双三次補間（バイキュービック補間）の補間方法がある。最近傍補間は参照する位置に最も近い位置にある画素値を用いて補間を行うものであり、拡大率が高くなると同じ画素が何個か続くため階調再現が悪く、また、エッジ部がギザギザになってしまう。双一次補間は参照する位置の周辺の２×２画素（４画素）を用いて、画素値を直線的に補間して画素値を求めるものであり、最近傍補間より精度は良いものの、線形補間された画素値を用いるためぼやけてしまう。双三次補間は参照する位置の周辺の４×４画素（１６画素）を用いて三次式で補間して画素値を求めるものであり、最近傍補間や双一次補間に比べ性能は良いものの、エッジ部にジャギーが発生する問題がある。

特許文献１は、複雑な処理を必要とすることなく画像、及び、映像を高品質にアップスケーリング処理する方法が記載されている。特許文献１に記載のアップスケーリング処理は、まず斜め方向に隣接する低解像度入力画素を用いて斜め高解像度（ＨＲ）画素を生成する。次に、水平方向に隣接する低解像度入力画素、及び、垂直方向に隣接する斜め高解像度（ＨＲ）画素を用いて水平高解像度（ＨＲ）画素を生成する。最後に、垂直方向に隣接する低解像度入力画素、及び、水平方向に隣接する斜め高解像度（ＨＲ）画素を用いて垂直高解像度（ＨＲ）画素を生成することにより、高解像度（ＨＲ）画像を生成する。また、各高解像度（ＨＲ）画素を生成する際に、エッジ方向に近い方向は重み付けが大きく、エッジ方向から離れた方向は重み付けが小さくなるよう制御する。これにより、オーバーシュートを発生させることなく、ジャギーアーティファクタを抑制させている。

特開２０１０−６７２７２号公報（２０１０年３月２５日公開）

しかしながら、特許文献１に記載のアップスケーリング処理は、入力される低解像度画素の中間に位置する補間画素を生成するためのものである。低解像度入力画素の右下画素値を算出し、次に、右下画素値の算出結果を用いて低解像度入力画素の右画素値、及び、下画素値を算出するものであり、常に１つの低解像度入力画素から、新たに３つの出力画素を生成するものであるため、２倍以外の任意倍率拡大処理を実現することが難しい。

また、従来技術として双一次補間や双三次補間の補間方法を併用することで任意倍率拡大処理をすることは可能であるが、結局、上記したこれらの補間方法の問題を発生させる結果となってしまう。

本発明は、上記課題を解決するためになされたものであり、この発明の目的は、任意倍率拡大処理を実現するとともに、画質の低下を抑制させた画像処理が可能な画像処理装置、画像処理方法、画像処理装置を備える画像表示装置、プログラムおよび記録媒体を提供することである。

上記の課題を解決するために、本発明の画像処理装置は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、各入力画素について、エッジの方向を示すエッジ方向、または、当該エッジ方向から所定角度だけずれたエッジ勾配を推定するエッジ方向推定処理部と、上記補間画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて特定される当該補間画素におけるエッジの方向を補間画素エッジ方向とするとき、当該補間画素エッジ方向に沿った領域であり、かつ、当該補間画素を囲む領域である補間領域を設定する補間領域設定部と、上記補間領域において、入力画素間の画素である仮画素を設定し、当該仮画素の値を算出する仮画素値算出処理部と、上記補間領域に含まれる入力画素および仮画素の値を用いて上記補間画素の値を算出する補間処理部とを備えることを特徴とする。

上記の構成によれば、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素が設けられるので、拡大縮小率に関係なく補間画素を設けることができる。これにより、任意倍率拡大処理を実現することができる。また、補間画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて、当該補間画素におけるエッジの方向を示す補間画素エッジ方向が特定され、特定された補間画素エッジ方向に沿った領域であり、かつ、当該補間画素を囲む領域である補間領域が設定され、補間領域に含まれる入力画素および仮画素の値を用いて補間画素の値が算出されるので、補間画素のエッジ方向に沿った補間領域を設定することができる。さらに、補間画素エッジ方向に沿って設定された補間領域に含まれる入力画素および仮画素の値を用いて補間画素の値が算出されるので、エッジ方向に関係なく補間領域が設定される場合に比べ、補間処理により生じるジャギーを抑制することができる。特に、補間画素エッジ方向が斜め方向である場合、斜め方向のジャギーを抑制することができる。さらに、補間領域において入力画素が存在しない位置に仮画素が算出されるので、補間領域内の画素間の距離を適度に保つことができる。特に、補間面に入力画素のみが存在する場合に比べて、補間の対象となる補間画素との距離を適度に保つことができる。これにより、画素間の距離が遠くならないので、ウインドウサイズが大きくなり、メモリ消費量が増加するのを防ぐことができる。また、画質の低下を抑制定することができる。したがって、任意倍率拡大処理を実現するとともに、画質の低下を抑制させた画像処理が可能な画像処理装置を提供することができる。

さらに、本発明の画像処理装置において、補間領域設定部は、補間画素エッジ方向に沿った第１軸に平行な２辺と、第１軸とは異なる方向の第２軸に平行な２辺とからなる平行四辺形の領域を補間領域として設定することが好ましい。

上記の構成によれば、設定される補間領域が平行四辺形の領域であるので、補間画素エッジ方向に沿わせるのに適した形状である。

さらに、本発明の画像処理装置において、補間処理部は、補間領域内において、第１軸および第２軸に沿って配列された複数の画素の値を用いて補間画素の値を算出することが好ましい。

上記の構成によれば、補間画素エッジ方向を考慮した補間演算を容易に行うことができる。

さらに、本発明の画像処理装置において、上記仮画素値算出処理部は、仮画素を含み、上記補間画素エッジ方向に沿った仮画素値算出用領域を設定し、当該仮画素値算出用領域に含まれる入力画素の値を用いて当該仮画素の値を算出することが好ましい。

具体的には、上記仮画素値算出処理部は、仮画素に対して上記補間画素エッジ方向または当該補間画素エッジ方向から所定角度範囲内の方向に隣接する入力画素の値を用いて当該仮画素の値を算出してもよい。

上記の構成によれば、仮画素の値を本来の値に近づけることができる。これにより、画像を滑らかに保つことができる。

もしくは、本発明の画像処理装置において、上記仮画素値算出処理部は、上記仮画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて特定される当該仮画素におけるエッジの方向を仮画素エッジ方向とするとき、当該仮画素を含み、上記仮画素エッジ方向に沿った仮画素値算出用領域を設定し、当該仮画素値算出用領域に含まれる入力画素の値を用いて当該仮画素の値を算出することが好ましい。

具体的には、上記仮画素値算出処理部は、上記仮画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて特定される当該仮画素におけるエッジの方向を仮画素エッジ方向とするとき、上記仮画素エッジ方向または当該仮画素エッジ方向から所定角度範囲内の方向に隣接する入力画素の値を用いて当該仮画素の値を算出してもよい。

補間画素エッジ方向は、仮画素エッジ方向と異なる場合があり、仮画素により近い位置に位置する入力画素を用いることにより特定された仮画素エッジ方向の方が補間画素エッジ方向よりエッジ方向が正確である。このため、上記の構成によれば、仮画素の値を本来の値により近づけることができる。これにより、画像を滑らかに保つことができる。

さらに、本発明の画像処理装置において、上記補間処理部により補間演算された後の画像データを鮮鋭化する補正処理部をさらに備えることが好ましい。

上記の構成によれば、補間演算後に生じるボヤケを抑制することができる。

さらに、本発明の画像処理装置において、上記補正処理部は、上記補間処理部により補間演算された後の画像データから、注目画素を含む所定の範囲の画素における最大の画素値および最小の画素値を算出する最大値・最小値算出処理部と、鮮鋭化処理を行うためのフィルタ処理部と、上記最大値・最小値算出処理部により算出された最大の画素値および最小の画素値と、上記フィルタ処理部により算出されたフィルタ処理結果と、上記補間処理部により補間演算された後の画像データの画素とに基づいて、鮮鋭化の度合いを制御する飽和処理部とを含むことが好ましい。

上記構成によれば、鮮鋭化の度合いが制御されるので、人間の目にとって目障りなアンダーシュートおよびオーバーシュートの発生を抑制することができる。これにより、補間演算で生じたボヤケを補正することができる。

上記の課題を解決するために、本発明の画像処理方法は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理方法であって、各入力画素について、エッジの方向を示すエッジ方向、または、当該エッジ方向から所定角度だけずれたエッジ勾配を推定するステップと、上記補間画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて特定される当該補間画素におけるエッジの方向を補間画素エッジ方向とするとき、当該補間画素エッジ方向に沿った領域であり、かつ、当該補間画素を囲む領域である補間領域を設定するステップと、上記補間領域において、入力画素間の画素である仮画素を設定し、当該仮画素の値を算出するステップと、上記補間領域に含まれる入力画素および仮画素の値を用いて上記補間画素の値を算出するステップとを含むことを特徴とする。

上記構成によれば、任意倍率拡大処理を実現するとともに、画質の低下を抑制させた画像処理が可能な画像処理方法を提供することができる。

なお、本発明の画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記画像処理装置をコンピュータにて実現させるプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は、各入力画素について、エッジの方向を示すエッジ方向、または、当該エッジ方向から所定角度だけずれたエッジ勾配を推定するエッジ方向推定処理部と、上記補間画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて特定される当該補間画素におけるエッジの方向を補間画素エッジ方向とするとき、当該補間画素エッジ方向に沿った領域であり、かつ、当該補間画素を囲む領域である補間領域を設定する補間領域設定部と、上記補間領域において、入力画素間の画素である仮画素を設定し、当該仮画素の値を算出する仮画素値算出処理部と、上記補間領域に含まれる画素の値を用いて上記補間画素の値を算出する補間処理部とを備える。これにより、任意倍率拡大処理を実現するとともに、画質の低下を抑制させた画像処理を行うことができるという効果を奏する。

本実施の形態の１つにおけるテレビジョン受像機の構成の概略を示すブロック図である。 映像信号処理回路の構成を示すブロック図である。 スケーラー処理部の構成を示すブロック図である。 Ｓｏｂｅｌフィルタを示す図である。 エッジ方向推定処理の流れを示すフローチャートである。 補間画素を含む４×４のブロック内に設定された補間面の一例を示す図である。 仮画素算出処理により算出された仮画素の一例を示す第１の図である。 仮画素算出処理により算出された仮画素の一例を示す第２の図である。 仮画素算出処理により算出された仮画素の一例を示す第３の図である。 第１の補間面とともに補間演算に用いるパラメータを示す図である。 第２の補間面とともに補間演算に用いるパラメータを示す図である。 第３の補間面とともに補間演算に用いるパラメータを示す図である。 第４の補間面とともに補間演算に用いるパラメータを示す図である。 第５の補間面とともに補間演算に用いるパラメータを示す図である。 第６の補間面とともに補間演算に用いるパラメータを示す図である。 重み係数の分布の一例を示す図である。 補間画素を含む６×６のブロック内に設定された補間面の一例を示す図である。 第７の補間面とともに補間演算に用いるパラメータを示す図である。 図６に代えて、４×４のブロック内に設定される４通りの補間面の一例を示す図である。 映像信号処理回路により実行される処理の流れを示すフローチャートである。 変形例における映像信号処理回路の構成を示すブロック図である。 補正処理部の構成を示す図である。 オーバーシュートおよびアンダーシュートの抑制効果の一例を示す図である。 変形例における映像信号処理回路により実行される処理の流れを示すフローチャートである。 飽和処理の流れを示すフローチャートである。 本実施の形態におけるテレビジョン受像機で構成されるマルチディスプレイの一例を示す図である。 Ｐｒｅｗｉｔｔフィルタの一例を示す図である。 Ｓｃｈａｒｒフィルタを示す図である。 テンプレートの一例を示す図である。 補間画素の画素値と位置との関係を示す図である。 エッジ方向とエッジ勾配の関係を示す図である。

図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

図１は、本実施の形態の１つにおけるテレビジョン受像機の構成の概略を示すブロック図である。図１に示されるように、テレビジョン受像機１は、その全体を制御する中央演算装置（ＣＰＵ）１１、映像信号処理回路２１、音声信号処理回路２３およびパネルコントローラー２５を含む集積回路（ＬＳＩ）３と、電源ユニット５と、チューナー７と、インターフェース９と、表示部１３と、操作部１５と、スピーカー１７とを備える。

インターフェース９は、ＴＶアンテナ４１と、ＴＭＤＳ（Ｔｒａｎｓｉｔｉｏｎ Ｍｉｎｉｍｉｚｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）方式でシリアル通信するためのＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子４３およびＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子４５と、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）またはＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）等の通信プロトコルで通信するためのＬＡＮ端子４７とを含む。インターフェース９は、ＣＰＵ１１からの指示に従って、ＤＶＩ端子４３、ＨＤＭＩ端子４５またはＬＡＮ端子４７に接続された外部の機器との間でデータを送受信する。

操作部１５は、電源スイッチと、切替スイッチとを少なくとも含む。電源スイッチは、テレビジョン受像機１の電源のオンとオフの切り替えを指示する操作指示を入力するためスイッチである。切替スイッチは、テレビジョン受像機１で受像する放送チャンネルを指定する操作指示を入力するためのスイッチである。操作部１５は、電源スイッチおよび切替スイッチが押下されることに応じて、各スイッチに対応する操作指示をＣＰＵ１１に出力する。

なお、ここでは、テレビジョン受像機１が備える操作部１５が操作される場合を例に説明したが、テレビジョン受像機１と無線で通信することが可能なリモートコントローラに操作部１５を備えるようにして、各スイッチに対応する操作指示をテレビジョン受像機１に送信するようにしてもよい。この場合、リモートコントローラがテレビジョン受像機１と通信する通信媒体は、赤外光であってもよいし、電磁波であってもよい。

表示部１３は、例えば、液晶表示装置（ＬＣＤ）、プラズマディスプレイパネル等であり、テレビジョン番組を表示することが可能である。

電源ユニット５は、外部から供給される電力を制御する。ＣＰＵ１１は、電源スイッチから入力される操作指示に応じて、電源ユニット５に電力を供給させる、または、電力の供給を遮断させる。電源スイッチから入力される操作指示が電源オンに切り替える操作指示である場合、テレビジョン受像機１の全体に電力が供給され、電源スイッチから入力される操作指示が電源オフに切り替える操作指示である場合、テレビジョン受像機１に供給される電力が遮断される。

チューナー７は、例えば、地上波デジタルチューナーまたはＢＳ／ＣＳデジタルチューナーであり、ＴＶアンテナ４１と接続され、ＴＶアンテナ４１が受信する放送信号が入力される。放送信号は、映像データおよび音声データを含む高周波デジタル変調信号である。チューナー７は、逆インターリーブ回路、誤り訂正回路を備えており、取り出した特定の周波数の高周波デジタル変調信号を復調して可変長符号を生成する。チューナー７は、ＴＶアンテナ４１で受信された放送信号のうちからＣＰＵ１１で指定されたチャンネルの放送信号を選択し、その放送信号に基づいて生成された可変長符号を映像信号処理回路２１および音声信号処理回路２３に出力する。

映像信号処理回路２１は、チューナー７から入力される可変長符号に各種の処理を実行し、映像信号を生成する。

パネルコントローラー２５は、表示部１３を制御して、映像信号処理回路２１が出力する映像信号の映像を表示部１３に表示する。具体的には、パネルコントローラー２５は、パネル駆動回路、バックライト制御回路を備え、ＣＰＵ１１からの指示に従って、パネル駆動回路の駆動を制御し、表示部１３の背面に配置されたバックライトの点灯および消灯を制御する。

音声信号処理回路２３は、オーディオデコーダを備えており、チューナー７から入力される可変長符号を復号して音声信号を生成し、音声信号をＤ／Ａ（デジタル／アナログ）変換して、スピーカー１７に出力する。

なお、ここでは、チューナー７がＴＶアンテナ４１により受信された放送信号に基づいて、映像信号処理回路２１が映像信号を生成する場合を例に説明したが、外部の機器がＤＶＩ端子４３、ＨＤＭＩ端子４５またはＬＡＮ端子４７を介して送信した映像データに基づいて、映像信号処理回路２１が映像信号を生成するようにしてもよい。また、チューナー７は、地上波デジタルチューナーとＢＳ／ＣＳデジタルチューナーとの両方を備えていてもよい。

図２は、映像信号処理回路の構成を示すブロック図である。図２に示されるように、映像信号処理回路２１は、ビデオデコーダ５１と、ＩＰ変換処理部５３と、ノイズ低減処理部５５と、シャープネス処理部５７と、カラー調整処理部５９と、スケーラー処理部６１とを含む。

ビデオデコーダ５１は、チューナー７から入力される可変長符号を復号して映像信号を生成し、映像信号をＤ／Ａ変換して、ＩＰ変換処理部５３に出力する。ＩＰ変換処理部５３は、必要に応じて、ビデオデコーダ５１から入力される映像信号をインタレース方式からプログレッシブ方式に変換する。ノイズ低減処理部５５は、ＩＰ変換処理部５３が出力する映像信号に含まれるノイズ成分を軽減するためのノイズ低減処理を実行する。シャープネス処理部５７は、ノイズ低減処理部５５が出力する映像信号の映像を鮮鋭化するシャープネス処理を実行する。カラー調整処理部５９は、ノイズ低減処理部５５が出力する映像信号に対して、コントラストや彩度等を調整するカラー処理を実行する。スケーラー処理部６１は、カラー調整処理部５９が出力する映像信号に対して、表示部１３の画素数に応じたスケーリング処理を実行する。なお、ＣＰＵ１１は、図示しないフレームメモリに、映像信号処理回路２１により各種の処理が実行される際の映像信号をフレーム単位で適宣記憶させる。

スケーリング処理は、表示部１３の画素数に応じた倍率に、映像データに含まれるフレーム単位の画像データを拡大（または縮小）し、拡大（または縮小）により補間が必要な画素を補間画素として算出する処理を少なくとも含む。補間画素は、画像データが拡大（または縮小）された倍率により、位置が定まる。具体的には、画像データにおいて、縦方向、横方向および斜め方向それぞれの入力画素と入力画素との間の位置である。例えば、倍率が２倍である場合、縦方向、横方向および斜め方向それぞれの入力画素と入力画素との間を２等分する位置に補間画素が設定される。一般的には、画像データをｎ倍に拡大すると、縦方向および横方向に隣接する４つの入力画素の間をｎ×ｎ等分する位置に補間画素が設定される。

図３は、スケーラー処理部の構成を示すブロック図である。図３に示されるように、スケーラー処理部６１は、エッジ方向推定処理部７１と、補間面設定部７３と、仮画素値算出処理部７５と、補間処理部７７とを含む。

エッジ方向推定処理部７１は、カラー調整処理部５９から入力される映像信号に基づいて、フレーム単位の画像データにおける入力画素のエッジ方向、または、当該エッジ方向から所定角度だけずれたエッジ勾配を推定する。ここで、入力画素は、入力された画像データに存在する画素である。エッジ方向、つまり、エッジ線分の方向は、エッジ勾配の方向に直交する。本実施形態では、エッジ方向推定処理部７１は、エッジ勾配の方向（つまり、エッジ方向から９０度だけずれた方向）が含まれる角度範囲を判定することにより、エッジ方向を推定する。エッジ勾配の方向は、周知の技術を用いて算出することができる。ここでは、Ｓｏｂｅｌフィルタを用いて水平方向および垂直方向のエッジ勾配の方向θを算出する場合を例に説明する。なお、エッジ勾配の方向θは、水平方向であるＸ軸に対する角度で表される。

図４は、Ｓｏｂｅｌフィルタを示す図である。図４（ａ）は、水平方向に対応するＳｏｂｅｌフィルタを示す図である。図４（ｂ）は、垂直方向に対応するＳｏｂｅｌフィルタを示す図である。エッジ方向推定処理部７１は、図４（ａ），（ｂ）に示すＳｏｂｅｌフィルタを用いて算出される水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の１次微分を用いて、エッジ勾配の方向θを算出する。水平方向の１次微分ｇｒａｄＸ（垂直方向のエッジを検出）は、図４（ａ）に示すＳｏｂｅｌフィルタを用いて式（１）に従って算出される。

ｇｒａｄＸ＝ＩＮ（ｘ＋１，ｙ−１）＋ＩＮ（ｘ＋１，ｙ）×２
＋ＩＮ（ｘ＋１，ｙ＋１）−ＩＮ（ｘ−１，ｙ−１）
−ＩＮ（ｘ−１，ｙ）×２−ＩＮ（ｘ−１，ｙ＋１）・・・・・・式（１）
ただし、ＩＮ（ｘ，ｙ）は、座標（ｘ，ｙ）の入力画素の画素濃度を示す。

垂直方向の１次微分ｇｒａｄＹ（水平方向のエッジを検出）は、図４（ｂ）に示すＳｏｂｅｌフィルタを用いて式（２）に従って算出される。

ｇｒａｄＹ＝ＩＮ（ｘ−１，ｙ＋１）＋ＩＮ（ｘ，ｙ＋１）×２
＋ＩＮ（ｘ＋１，ｙ＋１）−ＩＮ（ｘ−１，ｙ−１）
−ＩＮ（ｘ，ｙ−１）×２−ＩＮ（ｘ＋１，ｙ−１）・・・・・・式（２）
ただし、ＩＮ（ｘ，ｙ）は、座標（ｘ，ｙ）の入力画素の画素濃度を示す。

ここで、水平方向の１次微分ｇｒａｄＸおよび垂直方向の１次微分ｇｒａｄＹを用いて、エッジ勾配の方向が含まれる角度範囲を判定するエッジ方向推定処理について説明する。図５は、エッジ方向推定処理の流れを示すフローチャートである。エッジ方向推定処理は、ＲＯＭまたはＨＤＤ等に記憶されたエッジ方向推定プログラムが実行されることにより実行される処理である。図５に示されるように、下記の数１で示される式で算出されたエッジの強さが所定の閾値Ｔ（例えば１６）より小さいか否かを判断する（ステップＳ０１）。エッジの強さが所定の閾値Ｔより小さいならば処理をステップＳ０２に進めるが、そうでなければ処理をステップＳ０３に進める。

ステップＳ０２においては、エッジ勾配の方向が不定、すなわちエッジ勾配の方向θの判定不能と判断する。

ステップＳ０３においては、下記の式（４）の条件を満たすか否かを判断する。換言すれば、ｇｒａｄＸの符号とｇｒａｄＹの符号とが異なるか否かを判断する。ｇｒａｄＸの符号とｇｒａｄＹの符号とが異なるならば処理をステップＳ１３に進めるが、そうでなれば処理をステップＳ０４に進める。

ｇｒａｄＸ×ｇｒａｄＹ＜０・・・・・式（４）
ステップＳ０４においては、下記の式（５）の条件を満たすか否かを判断する。式（５）の条件を満たすならば処理をステップＳ０５に進めるが、そうでなければ処理をステップＳ０６に進める。

｜ｇｒａｄＹ｜≦ｔ_１×｜ｇｒａｄＸ｜・・・・・・式（５）
ただし、ｔ_１はπ／１６における正接の値（小数点以下４桁で表す場合０．１９８９）である。

ステップＳ０５においては、エッジ勾配の方向が−π／１６≦θ≦π／１６、または、１５π／１６≦θ≦１７π／１６の範囲にあると判定する。

ステップＳ０６においては、下記の式（６）の条件を満たすか否かを判断する。式（６）の条件を満たすならば処理をステップＳ０７に進めるが、そうでなければ処理をステップＳ０８に進める。

｜ｇｒａｄＹ｜≦ｔ_２×｜ｇｒａｄＸ｜・・・・・・式（６）
ただし、ｔ_２は３π／１６における正接の値（小数点以下４桁で表す場合０．６６８２）である。

ステップＳ０７においては、エッジ勾配の方向がπ／１６＜θ≦３π／１６、または、−１５π／１６＜θ≦−１３π／１６の範囲にあると判定する。

ステップＳ０８においては、下記の式（７）の条件を満たすか否かを判断する。式（７）の条件を満たすならば処理をステップＳ０９に進めるが、そうでなければ処理をステップＳ１０に進める。

｜ｇｒａｄＹ｜≦ｔ_３×｜ｇｒａｄＸ｜・・・・・・式（７）
ただし、ｔ_３は５π／１６における正接の値（小数点以下４桁で表す場合１．４９６６）である。

ステップＳ０９においては、エッジ勾配の方向が３π／１６＜θ≦５π／１６、または、−１３π／１６＜θ≦−１１π／１６の範囲にあると判定する。

ステップＳ１０においては、下記の式（８）の条件を満たすか否かを判断する。式（８）の条件を満たすならば処理をステップＳ１１に進めるが、そうでなければ処理をステップＳ１２に進める。

｜ｇｒａｄＹ｜≦ｔ_４×｜ｇｒａｄＸ｜・・・・・・式（８）
ただし、ｔ_４は７π／１６における正接の値（小数点以下４桁で表す場合５．０２７３）である。

ステップＳ１１においては、エッジ勾配の方向が５π／１６＜θ≦７π／１６、または、−１１π／１６＜θ≦−９π／１６の範囲にあると判定する。

ステップＳ１２においては、エッジ勾配の方向が７π／１６≦θ＜９π／１６、または、−９π／１６＜θ≦−７π／１６の範囲にあると判定する。なお、ステップＳ０２、Ｓ０５〜Ｓ１２の処理が終了すると、エッジ方向推定処理は終了する。

ステップＳ１３は、ステップＳ１２においてｇｒａｄＸの符号とｇｒａｄＹの符号とが異なると判断された場合である。ステップＳ１３においては、式（５）の条件を満たすか否かを判断する。式（５）の条件を満たすならば処理をステップＳ１４に進めるが、そうでなければ処理をステップＳ１５に進める。

ステップＳ１４においては、エッジ勾配の方向が−π／１６≦θ≦π／１６、または、１５π／１６≦θ≦１７π／１６の範囲にあると判定する。

ステップＳ１５においては、式（６）の条件を満たすか否かを判断する。式（６）の条件を満たすならば処理をステップＳ１６に進めるが、そうでなければ処理をステップＳ１７に進める。

ステップＳ１６においては、エッジ勾配の方向が１３π／１６≦θ＜１５π／１６、または、−３π／１６≦θ＜−π／１６の範囲にあると判定する。

ステップＳ１７においては、式（７）の条件を満たすか否かを判断する。式（７）の条件を満たすならば処理をステップＳ１８に進めるが、そうでなければ処理をステップＳ１９に進める。

ステップＳ１８においては、エッジ勾配の方向１１π／１６≦θ＜１３π／１６、または、−５π／１６≦θ＜−３π／１６の範囲にあると判定する。

ステップＳ１９においては、式（８）の条件を満たすか否かを判断する。式（８）の条件を満たすならば処理をステップＳ２０に進めるが、そうでなければ処理をステップＳ２１に進める。

ステップＳ２０においては、エッジ勾配の方向が９π／１６≦θ＜１１π／１６、または、−７π／１６＜θ≦−５π／１６の範囲にあると判定する。

ステップＳ２１においては、エッジ勾配の方向が７π／１６＜θ＜９π／１６、または、−９π／１６＜θ＜−７π／１６の範囲にあると判定する。なお、全ての入力画素についてステップＳ１４〜Ｓ２１の処理が終了すると、エッジ方向推定処理は終了する。

なお、ここでは、入力画素の画素濃度を用いてエッジ勾配の方向を算出したが、入力画素の画素濃度に代えてＲＧＢ画像から生成した輝度値を用いてもよい。この場合、例えば、ＲＧＢデータを、下記の式（９）に示すマトリックス演算を用いて輝度Ｙに変換するようにすればよい。

Ｙ＝０．２９８９１×Ｒ＋０．５８６６１×Ｇ＋０．１１４４８×Ｂ・・・・式（９）
また、輝度値を用いる代わりに、Ｒの１次微分ｇｒａｄＸ_ＲおよびｇｒａｄＹ_Ｒ、Ｇの一次微分ｇｒａｄＹ_ＧおよびｇｒａｄＹ_Ｇ、Ｂの一次微分ｇｒａｄＹ_ＢおよびｇｒａｄＹ_Ｂを求め、以下の数２で示される式で算出される勾配が最大のチャネルの一次微分を代表値とし、代表値としたｇｒａｄＸおよびｇｒａｄＹのそれぞれを水平方向の１次微分および垂直方向の１次微分に設定してもよい。

補間面設定部７３は、エッジ方向推定処理部７１から入力されるフレーム単位の画像データとエッジ方向推定処理部７１により算出された各入力画素におけるエッジ勾配の方向とに基づいて、補間画素におけるエッジ方向（補間画素エッジ方向）に沿った領域であり、かつ、補間画素を囲む領域である補間面（補間領域）を設定する。ここで、エッジ方向は、エッジ勾配の方向に垂直である。このため、補間面設定部７３は、補間画素の近傍に存在する入力画素のエッジ勾配の方向から、補間画素におけるエッジ勾配の方向を特定し、特定したエッジ勾配の方向に垂直な方向を補間画素エッジ方向とすればよい。そして、補間面設定部７３は、補間画素におけるエッジ勾配の方向に垂直な方向である補間画素エッジ方向に沿って補間面を設定する。補間面の設定は、表示部１３の画素数に応じた映像データの拡大縮小率により補間の対象となる補間画素の近傍に位置する４×４入力画素で形成される四角形を含むブロック内を対象とする。具体的には、補間画素は、その近傍に位置する４×４入力画素で形成される四角形の中に含まれる。

補間面は、ブロックのサイズと補間画素エッジ方向と補間面が設定される領域内の画素数とに基づいて定まる領域である。具体的には、補間面は、その大きさがブロック内に収まる大きさであり、かつ、補間画素エッジ方向に沿った第１軸に平行な２辺と第１軸とは異なる方向の第２軸に平行な２辺とを有する平行四辺形である。また、平行四辺形の補間面には、第１軸および第２軸に沿って配列された格子点である、ブロック内の画素と同じ画素数の４×４画素が含まれる。補間面に含まれる複数の画素には、入力画素の他に、画素値が存在しない仮画素が含まれる場合がある。仮画素については後述する。なお、補間面は、第１軸および第２軸に沿って配列された４×４画素の中心の２×２画素で囲まれる領域に補間画素が含まれるように設定される。

なお、補間画素におけるエッジ勾配の方向は、補間画素に最も近い入力画素に対して算出されたエッジ勾配の方向を用いてもよいし、補間画素の近傍に位置する入力画素に対して算出されたエッジ勾配の方向の代表値を用いてもよい。この場合、代表値は、例えばエッジ方向推定処理部７１により算出された複数のエッジ勾配の方向の平均値、または複数のエッジ勾配の方向のうち最頻値とすればよい。

図６は、補間画素を含むブロック内に設定された補間面の一例を示す図である。図６に示されるように、丸８１，丸８３および丸８５はそれぞれ、補間画素，入力画素，仮画素の位置を示す。補間画素は、補間処理の対象となる画素である。入力画素は、入力された画像データにおいて画素値が存在する画素である。仮画素は、入力された画像データにおいて画素値が存在しない画素であり、補間面に含まれる複数の入力画素それぞれの間を補うための仮の画素である。仮画素は、後述する仮画素値算出処理部７５により算出される。なお、ブロックのサイズは、４×４の入力画素を含むサイズである。

図６（ａ）は、補間画素を含むブロック内に設定された補間面の一例を示す第１の図である。ここでの補間画素におけるエッジ勾配の方向θは、殆ど水平方向であり、−π／１６≦θ≦π／１６または１５π／１６≦θ≦１７π／１６の角度範囲に含まれる。すなわち、補間画素におけるエッジ勾配の方向に垂直な方向である補間画素エッジ方向θ’は、７π／１６≦θ’≦９π／１６または−９π／１６≦θ’≦−７π／１６の角度範囲に含まれる。この角度範囲に定められている補間面は、図６（ａ）に示されるように、正方形の補間面であり、補間画素の近傍に位置する４×４画素に対して設定される。ここで、エッジ勾配の方向は、殆ど水平方向であるので、補間画素の近傍に位置する４×４画素はすべて入力画素である。このため、従来用いられている補間処理を行ってもシャギーを発生させることなく補間処理することができる。

図６（ｂ）は、補間画素を含むブロック内に設定された補間面の一例を示す第２の図である。ここでは、補間画素におけるエッジ勾配の方向θは、斜め方向であり、具体的には、水平方向に対して約２６．５度傾いている。この傾きは、π／１６＜θ≦３π／１６または−１５π／１６＜θ≦−１３π／１６の角度範囲に含まれる。すなわち、補間画素におけるエッジ勾配の方向に垂直な方向である補間画素エッジ方向θ’は、９π／１６＜θ’≦１１π／１６または−７π／１６＜θ’≦−５π／１６の角度範囲に含まれる。この角度範囲に定められている補間面は、図６（ｂ）に示されるように、平行四辺形の補間面である。補間面は、その平行となる２つの長辺がエッジ勾配の方向に垂直な方向（つまり補間画素エッジ方向）に沿って設定される。換言すれば、補間面は、その平行となる２つの長辺に沿って設定される。このため、補間面に含まれる複数の画素は、入力画素と仮画素とを含む４×４画素となる。

図６（ｃ）は、補間画素を含むブロック内に設定された補間面の一例を示す第３の図である。ここでは、補間画素におけるエッジ勾配の方向θは、斜め方向であり、具体的には、水平方向に対して約４５度傾いている。この傾きは、３π／１６＜θ≦５π／１６または−１３π／１６＜θ≦−１１π／１６の角度範囲に含まれる。すなわち、補間画素におけるエッジ勾配の方向に垂直な方向である補間画素エッジ方向θ’は、１１π／１６＜θ’≦１３π／１６または−５π／１６＜θ’≦−３π／１６の角度範囲に含まれる。この角度範囲に定められている補間面は、図６（ｃ）に示されるように、正方形の補間面である。また、補間面は、その２辺がエッジ勾配の方向に垂直な方向（つまり補間画素エッジ方向）に沿って設定される。換言すれば、補間面は、その２辺が補間画素エッジ方向に沿って設定される。このため、補間面に含まれる複数の画素は、入力画素と仮画素とを含む４×４画素となる。

図６（ｄ）は、補間画素を含むブロック内に設定された補間面の一例を示す第４の図である。ここでは、補間画素におけるエッジ勾配の方向θは、斜め方向であり、具体的には、水平方向に対して約６３．５度傾いている。この傾きは、５π／１６＜θ≦７π／１６または−１１π＜θ≦−９π／１６の角度範囲に含まれる。すなわち、補間画素におけるエッジ勾配方向に垂直な方向である補間画素エッジ方向θ’は、１３π／１６＜θ’≦１５π／１６または−３π／１６＜θ’≦−π／１６の角度範囲に含まれる。この角度範囲に定められている補間面は、図６（ｄ）に示されるように、平行四辺形の補間面である。また、補間面は、その平行となる２つの長辺がエッジ勾配の方向に垂直な方向（つまり補間画素エッジ方向）に沿って設定される。換言すれば、補間面は、その２つの長辺が補間画素エッジ方向に沿って設定される。このため、補間面に含まれる複数の画素は、入力画素と仮画素とを含む４×４画素となる。

図６（ｅ）は、補間画素を含むブロック内に設定された補間面の一例を示す第５の図である。ここでは、エッジ勾配の方向θは、殆ど垂直方向であり、７π／１６＜θ＜９π／１６または−９π／１６＜θ＜−７π／１６の角度範囲に含まれる。すなわち、補間画素におけるエッジ勾配の方向に垂直な方向である補間画素エッジ方向θ’は、−π／１６＜θ’＜π／１６または１５π／１６＜θ’＜１７π／１６の角度範囲に含まれる。この角度範囲に定められている補間面は、図６（ｅ）に示されるように、図６（ａ）に示す補間面と同じであり、補間画素の近傍に位置する４×４画素に対して設定される。ここでは、エッジ勾配の方向は、殆ど垂直方向であるので、補間画素の近傍に位置する４×４画素は、すべて入力画素である。このため、従来用いられている補間処理を行ってもシャギーを発生させることなく補間処理することができる。

図６（ｆ）は、補間画素を含むブロック内に設定された補間面の一例を示す第６の図である。ここでは、エッジ勾配の方向θは、斜め方向であり、具体的には水平方向に対して約１１６．５度傾いている。この傾きは、９π／１６≦θ＜１１π／１６または−７π／１６≦θ＜−５π／１６の角度範囲に含まれる。すなわち、補間画素におけるエッジ勾配の方向に垂直な方向である補間画素エッジ方向θ’は、π／１６≦θ’＜３π／１６または−１５π／１６≦θ’＜−１３π／１６の角度範囲に含まれる。この角度範囲に定められる補間面は、図６（ｆ）に示されるように、平行四辺形の補間面である。また、補間面は、その平行となる２つの長辺がエッジ勾配の方向に垂直な方向（つまり補間画素エッジ方向）に沿って設定される。換言すれば、補間面は、その平行となる２つの長辺が補間画素エッジ方向に沿って設定される。このため、補間面に含まれる複数の画素は、入力画素と仮画素とを含む４×４画素となる。

図６（ｇ）は、補間画素を含むブロック内に設定された補間面の一例を示す第７の図である。ここでは、エッジ勾配の方向θは、斜め方向であり、具体的には水平方向に対して１３５度傾いている。この傾きは、１１π／１６≦θ＜１３π／１６または−５π／１６≦θ＜−３π／１６の角度範囲に含まれる。すなわち、補間画素におけるエッジ勾配の方向に垂直な方向である補間画素エッジ方向θ’は、３π／１６≦θ’＜５π／１６または−１１π／１６≦θ’＜−１１π／１６の角度範囲に含まれる。この角度範囲に定められる補間面は、図６（ｇ）で示されるように、図６（ｃ）に示される補間面と同じであり、補間面は、その２辺が補間画素エッジ方向に沿って設定される。

図６（ｈ）は、補間画素を含むブロック内に設定された補間面の一例を示す第７の図である。ここでは、エッジ勾配の方向θは、斜め方向であり、具体的には水平方向に対して約１５３．４度傾いている。この傾きは、１３π／１６≦θ＜１５π／１６または−３π／１６≦θ＜−π／１６の角度範囲に含まれる。すなわち、補間画素におけるエッジ勾配の方向に垂直な方向である補間画素エッジ方向θ’は、５π／１６≦θ’＜７π／１６または−１１π≦θ’＜−９π／１６の角度範囲に含まれる。この角度範囲に定められている補間面は、図６（ｈ）に示されるように、平行四辺形の補間面である。また、補間面は、その平行となる２つの長辺がエッジ勾配の方向に垂直な方向（つまり補間画素エッジ方向）に沿って設定される。換言すれば、補間面は、その平行となる２つの長辺が補間画素エッジ方向に沿って設定される。このため、補間面に含まれる複数の画素は、入力画素と仮画素とを含む４×４画素となる。

ここで、補間画素エッジ方向とエッジ勾配の関係を具体的に説明する。図３１は、補間画素エッジ方向とエッジ勾配の関係を示す図である。ここでは、図６（ｂ），（ｄ）に対応する補間画素エッジ方向とエッジ勾配の関係について説明する。図３１（ａ）は、図６（ｂ）に対応する補間画素エッジ方向とエッジ勾配の関係を示す図である。図３１（ｂ）は、図６（ｄ）に対応する補間画素エッジ方向とエッジ勾配の関係を示す図である。図３１（ａ），（ｂ）に示されるように、矢印はエッジ勾配を示し、矢印に垂直である太線はエッジ線分（つまり、補間画素エッジ方向）を示す。エッジ勾配の方向θは、水平方向を基準とした角度を示す。図６（ｂ）に示す補間面は、その長辺が図３１（ａ）に示す矢印に垂直である太線に沿って設定され、図６（ｄ）に示す補間面は、その長辺が図３１（ｂ）に示す矢印に垂直である太線に沿って設定される。これにより、補間画素エッジ方向に沿って補間面が設定される。

上述したように、補間画素におけるエッジ勾配の方向を推定することにより補間画素エッジ方向を特定することができるので、補間面を補間画素エッジ方向に沿って設定することができる。これにより、画像データの拡大により補間が必要となった位置に補間画素が形成されることにより、ジャギーを抑制することができる。ここで、補間面は、補間画素の近傍に位置する４×４の入力画素のみを用いても設定することが可能である。しかしながら、画素間の距離が非常に遠くなるため、補間画素との相関性が低くなってしまう。

そこで、ここでは入力画素が存在しない位置において仮画素を特定し、仮画素を含めた４×４画素の補間面を設定する。これにより、入力画素のみを用いた４×４画素の補間面を形成する場合に比べて、画素間の距離を適度に保つことができる。したがって、補間画素との相関性の高い画素を用いた補間処理が可能となる。また、補間画素の近傍に位置する複数の画素を含むブロック内に、補間画素エッジ方向に沿った補間面を設定するので、エッジ方向に関係なく補間面を設定した場合に比べて、補間処理により生じるジャギーを抑制することができる。

なお、エッジ勾配の方向が不定である場合、一意に図６（ａ）または図６（ｃ）に対応する補間面を設定するようにしてもよいし、補間画素の近傍に位置する入力画素におけるエッジ勾配の方向を参照して、図６（ａ）〜（ｄ）のいずれかに対応する補間面を設定するようにしてもよい。

仮画素値算出処理部７５は、補間面設定部７３により設定された補間面内において特定される仮画素の画素値（画素濃度を示す値）を、その近傍に位置する入力画素に基づいて算出する仮画素算出処理を実行する。具体的には、仮画素算出処理は、仮画素の近傍に位置する入力画素に対して推定されたエッジ勾配の方向それぞれに定められた算出方法に従って仮画素の画素値を算出する処理である。

すなわち、仮画素値算出処理部７５は、仮画素の近傍に存在する入力画素のエッジ勾配の方向から、仮画素におけるエッジの方向を示す仮画素エッジ方向を特定する。そして、仮画素値算出処理部７５は、仮画素を含み、仮画素エッジ方向に沿った仮画素値算出用領域を設定し、仮画素値算出用領域に含まれる入力画素の値を用いて仮画素の画素値を算出する。より具体的には、仮画素値算出処理部７５は、仮画素エッジ方向または当該仮画素エッジ方向から所定角度範囲内の方向に隣接する入力画素の値を用いて仮画素の画素値を算出する。

ここで、仮画素の近傍に位置する入力画素は、例えば、仮画素の近傍に位置する２つの入力画素であってもよいし（この場合、当該２つの入力画素からなる領域が仮画素算出用領域となる）、仮画素の近傍に位置する４つの入力画素であってもよい（この場合、当該４つの入力画素からなる領域が仮画素算出用領域となる）。仮画素の近傍に位置する画素が仮画素の近傍に位置する２つの入力画素または４つの入力画素である場合、仮画素の画素値は、複数の入力画素それぞれの画素値に重み係数を乗じて加算した値である。重み係数は、予め定めた値であってもよいし、画素間の距離に応じた値であってもよい。なお、以下では、仮画素の画素値の算出方法を仮画素値算出方法という。

図７は、仮画素値算出方法の一例を示す第１の図である。ここでは、図６（ｂ），（ｈ）に示す補間面に含まれる仮画素の仮画素値算出方法をパターン別に示している。ここで、仮画素の近傍に位置する入力画素のエッジ勾配は、補間面のエッジ勾配とは異なる場合がある。このため、仮画素の算出は、仮画素の近傍に位置する入力画素のエッジ勾配の方向に応じたパターンに従って算出することが好ましいので、仮画素の近傍に位置する入力画素のエッジ勾配の方向に応じたパターンに従って算出する場合を例に説明する。ここでは、仮画素を算出する際に使用するエッジ勾配の方向（仮画素におけるエッジ勾配の方向）θは、仮画素の４近傍の入力画素におけるエッジ勾配の方向θの代表値（例えば最頻値や平均値）を用いるものとする。なお、ここでの仮画素算出処理が実行される仮画素は、横方向に並ぶ入力画素の間に位置する仮画素を対象とする。

図７（ａ）は、第１のパターンの仮画素値算出方法を示す図である。第１のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向がπ／１６＜θ≦３π／１６または−１５π／１６＜θ≦−１３π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、９π／１６＜θ’≦１１π／１６または−７π／１６＜θ’≦−５π／１６の角度範囲に含まれる。そこで、図７（ａ）に示されるように、第１のパターンにおいては、仮画素の近傍に位置し、仮画素に対して仮画素エッジ方向に隣接する入力画素１，２が、仮画素の画素値を算出するための画素として設定される。つまり、仮画素エッジ方向に沿って隣接する入力画素１，２を含む領域（図中、点線で示される）が仮画素算出用領域として設定される。仮画素の画素値は、入力画素１，２それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１の画素値および入力画素２の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、ここでは、入力画素１および入力画素２に対して重み係数を０．５に設定している。

図７（ｂ）は、第２のパターンの仮画素値算出方法を示す図である。第２のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が３π／１６＜θ≦５π／１６または−１３π／１６＜θ≦−１１π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、１１π／１６＜θ’≦１３π／１６または−５π／１６＜θ’≦−３π／１６の角度範囲に含まれる。そこで、図７（ｂ）に示されるように、第２のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。つまり、入力画素１〜４を含む点線の領域が仮画素算出用領域として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素２，４の距離が仮画素と入力画素１，３の距離よりも近いことを考慮して、入力画素２，４に対して重み係数を０．３に設定し、入力画素１，３に対して重み係数を０．２に設定するようにしてもよい。なお、入力画素１〜４に対して設定する重み係数を全て同じ値にするか、仮画素との距離に応じた値に設定するかは、画像を用いて検証を行い、好ましい方法を選択すればよい。具体的には、入力画素１〜４に対して設定する重み係数を全て同じ値にする方法により生成した解像度の性能を評価するためのテスト画像と入力画素１〜４に対して設定する重み係数を仮画素との距離に応じた値に設定する方法により生成した解像度の性能を評価するためのテスト画像のうち、好ましい画質となった方法を選択する。

図７（ｃ）は、第３のパターンの仮画素値算出方法を示す図である。第３のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が５π／１６＜θ≦７π／１６または−１１π／１６＜θ≦−９π／１６に含まれるときの仮画素算出方法である。この場合、仮画素エッジ方向θ’は、１３π／１６＜θ’≦１５π／１６または−３π／１６＜θ’≦−π／１６の角度範囲に含まれる。そこで、図７（ｃ）に示されるように、第３のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。つまり、入力画素１〜４を含む点線の領域が仮画素算出用領域として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素１，４の距離が仮画素と入力画素２，３の距離よりも近いことを考慮して、入力画素２，４に対して重み係数を０．１に設定し、入力画素１，３に対して重み係数を０．４に設定するようにしてもよい。

図７（ｄ）は、第４のパターンの仮画素値算出方法を示す図である。第４のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が９π／１６≦θ＜１１π／１６または−７π／１６≦θ＜−５π／１６の角度範囲に含まれるときの仮画素算出方法である。この場合、仮画素エッジ方向θ’は、−π／１６≦θ’＜π／１６または１５π／１６≦θ’＜１７π／１６の角度範囲に含まれる。そこで、図７（ｄ）に示されるように、第４のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。つまり、入力画素１〜４を含む点線の領域が仮画素算出用領域として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。これにより、仮画素が算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素１，３の距離が仮画素と入力画素２，４の距離よりも近いことを考慮して、入力画素１，３に対して重み係数を０．４に設定し、入力画素２，３に対して重み係数を０．１に設定するようにしてもよい。

図７（ｅ）は、第５のパターンの仮画素値算出方法を示す図である。第５のパターンにおいては、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が１１π／１６≦θ＜１３π／１６または−５π／１６≦θ＜−３π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、π／１６≦θ’＜３π／１６または−１５π／１６≦θ’＜−１３π／１６の角度範囲に含まれる。そこで、図７（ｅ）に示されるように、第５のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。つまり、入力画素１〜４を含む点線の領域が仮画素算出用領域として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素１，３の距離が仮画素と入力画素２，４の距離よりも近いことを考慮して、入力画素１，３に対して重み係数を０．３に設定し、入力画素２，４に対して重み係数を０．２に設定するようにしてもよい。

図７（ｆ）は、第６のパターンの仮画素値算出方法を示す図である。第６のパターンにおいては、仮画素の近傍に位置する画素において推定された、仮画素におけるエッジ勾配の方向が１３π／１６≦θ＜１５π／１６または−３π／１６≦θ＜−π／１６の角度範囲に含まれるときの仮画素算出方法である。この場合、仮画素エッジ方向θ’は、３π／１６≦θ’＜５π／１６または−１１π／１６≦θ’＜−１１π／１６の角度範囲に含まれる。そこで、図７（ｆ）に示されるように、第６のパターンにおいては、仮画素の近傍に位置し、仮画素に対して仮画素エッジ方向に隣接する入力画素１，２が、仮画素の画素値を算出するための画素として設定される。つまり、入力画素１、２を含む点線の領域が仮画素算出用領域として設定される。仮画素の画素値は、入力画素１，２それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１の画素値および入力画素２の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、ここでは、入力画素１および入力画素２に対して重み係数を０．５に設定している。

図７（ｇ）は、第７のパターンの仮画素値算出方法を示す図である。第７のパターンにおいては、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が不定のときの仮画素算出方法である。図７（ｇ）に示されるように、第７のパターンにおいては、仮画素の横方向に隣接する入力画素１，２が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１，２それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１の画素値および入力画素２の画素値にそれぞれ０．５の重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、仮画素の近傍に位置する入力画素におけるエッジ方向を参照して仮画素の画素値を算出してもよい。

図８は、仮画素算出方法の一例を示す第２の図である。ここでは、図６（ｃ），（ｇ）に示す補間面に含まれる仮画素の画素値の仮画素算出方法をパターン別に示している。ここで、仮画素の近傍に位置する入力画素のエッジ勾配は、補間面のエッジ勾配とは異なる場合がある。このため、仮画素の算出は、仮画素の近傍に位置する入力画素のエッジ勾配の方向に応じたパターンに従って算出することが好ましい。なお、ここでの仮画素算出処理が実行される仮画素は、斜め方向に並ぶ入力画素の間に位置する仮画素を対象とする。

図８（ａ）は、第１のパターンの仮画素値算出方法を示す図である。第１のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向がπ／１６＜θ≦３π／１６または−１５π／１６＜θ≦−１３π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、９π／１６＜θ’≦１１π／１６または−７π／１６＜θ’≦−５π／１６の角度範囲に含まれる。そこで、図８（ａ）に示されるように、第１のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素１，４の距離が仮画素と入力画素２，３の距離よりも近いことを考慮して、入力画素１，４に対して重み係数を０．３に設定し、入力画素２，３に対して重み係数を０．２に設定するようにしてもよい。なお、入力画素１〜４に対して設定する重み係数を全て同じ値にするか、仮画素との距離に応じた値に設定するかは、画像を用いて検証を行い、好ましい方法を選択すればよい。

図８（ｂ）は、第２のパターンの仮画素値算出方法を示す図である。第２のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が３π／１６＜θ≦５π／１６または−１３π／１６＜θ≦−１１π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、１１π／１６＜θ’≦１３π／１６または−５π／１６＜θ’≦−３π／１６の角度範囲に含まれる。そこで、図８（ｂ）に示されるように、第２のパターンにおいては、仮画素の近傍に位置し、仮画素に対して仮画素エッジ方向に隣接する入力画素１，２が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１，２それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１の画素値および入力画素２の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、ここでは、入力画素１および入力画素２に対して重み係数を０．５に設定している。

図８（ｃ）は、第３のパターンの仮画素値算出方法を示す図である。第３のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が５π／１６＜θ≦７π／１６または−１１π／１６＜θ≦−９π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、１３π／１６＜θ’≦１５π／１６または−３π／１６＜θ’≦−π／１６の角度範囲に含まれる。そこで、図８（ｃ）に示されるように、第３のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素２，３の距離が仮画素と入力画素１，４の距離よりも近いことを考慮して、入力画素２，３に対して重み係数を０．３に設定し、入力画素１，４に対して重み係数を０．２に設定するようにしてもよい。

図８（ｄ）は、第４のパターンの仮画素値算出方法を示す図である。第４のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が９π／１６≦θ＜１１π／１６または−７π／１６≦θ＜−５π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、−π／１６≦θ’＜π／１６または１５π／１６≦θ’＜１７π／１６の角度範囲に含まれる。そこで、図８（ｄ）に示されるように、第４のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１と入力画素３とを結ぶ線と、入力画素２と入力画素４とを結ぶ線とが交わる点が仮画素の位置として算出され、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素１，４の距離が仮画素と入力画素２，３の距離よりも近いことを考慮して、入力画素１，４に対して重み係数を０．３に設定し、入力画素２，３に対して重み係数を０．２に設定するようにしてもよい。

図８（ｅ）は、第５のパターンの仮画素値算出方法を示す図である。第５のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が１１π／１６≦θ＜１３π／１６または−５π／１６≦θ＜−３π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、π／１６≦θ’＜３π／１６または−１５π／１６≦θ’＜−１３π／１６の角度範囲に含まれる。そこで、図８（ｅ）に示されるように、第５のパターンにおいては、仮画素の近傍に位置し、仮画素に対して仮画素エッジ方向に隣接する入力画素１，２が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１，２それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１の画素値および入力画素２の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、ここでは、入力画素１および入力画素２に対して重み係数を０．５に設定している。

図８（ｆ）は、第６のパターンの仮画素値算出方法を示す図である。第６のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が１３π／１６≦θ＜１５π／１６または−３π／１６≦θ＜−π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、３π／１６≦θ’＜５π／１６または−１１π／１６≦θ’＜−１１π／１６の角度範囲に含まれる。そこで、図８（ｆ）に示されるように、第６のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１と入力画素３とを結ぶ線と、入力画素２と入力画素４とを結ぶ線とが交わる点が仮画素の位置として算出され、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素１，４の距離が仮画素と入力画素２，３の距離よりも近いことを考慮して、入力画素１，４に対して重み係数を０．３に設定し、入力画素２，３に対して重み係数を０．２に設定するようにしてもよい。

図８（ｇ）は、第７のパターンの仮画素値算出方法を示す図である。第７のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が不定のときの仮画素算出方法である。図８（ｇ）に示されるように、第７のパターンにおいては、仮画素の斜め方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、ここでは入力画素１〜４に対して重み係数を０．２５に設定している。

図９は、仮画素算出方法の一例を示す第３の図である。ここでは、図６（ｄ），（ｆ）に示す補間面に含まれる仮画素の画素値の算出方法をパターン別に示している。ここで、仮画素の近傍に位置する入力画素のエッジ勾配は、補間面のエッジ勾配とは異なる場合がある。このため、仮画素の算出は、エッジ勾配の方向に応じたパターンに従って算出することが好ましい。なお、ここでの仮画素算出処理が実行される仮画素は、縦方向に並ぶ入力画素の間に位置する仮画素を対象とする。

図９（ａ）は、第１のパターンの仮画素値算出方法を示す図である。第１のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向がπ／１６＜θ≦３π／１６または−１５π／１６＜θ≦−１３π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、９π／１６＜θ’≦１１π／１６または−７π／１６＜θ’≦−５π／１６の角度範囲に含まれる。そこで、図９（ａ）に示されるように、第１のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素２，４の距離が仮画素と入力画素１，３の距離よりも近いことを考慮して、入力画素２，４に対して重み係数を０．４に設定し、入力画素１，３に対して重み係数を０．１に設定するようにしてもよい。なお、入力画素１〜４に対して設定する重み係数を全て同じ値にするか、仮画素との距離に応じた値に設定するかは、画像を用いて検証を行い、好ましい方法を選択すればよい。

図９（ｂ）は、第２のパターンの仮画素値算出方法を示す図である。第２のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が３π／１６＜θ≦５π／１６または−１３π／１６＜θ≦−１１π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、１１π／１６＜θ’≦１３π／１６または−５π／１６＜θ’≦−３π／１６の角度範囲に含まれる。そこで、図９（ｂ）に示されるように、第２のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素２，４の距離が仮画素と入力画素１，３の距離よりも近いことを考慮して、入力画素２，４に対して重み係数を０．３に設定し、入力画素１，３に対して重み係数を０．２に設定するようにしてもよい。

図９（ｃ）は、第３のパターンの仮画素値算出方法を示す図である。第３のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が５π／１６＜θ≦７π／１６または−１１π／１６＜θ≦−９π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、１３π／１６＜θ’≦１５π／１６または−３π／１６＜θ’≦−π／１６の角度範囲に含まれる。そこで、図９（ｃ）に示されるように、第３のパターンにおいては、仮画素の近傍に位置し、仮画素に対して仮画素エッジ方向に隣接する入力画素１，２が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１，２それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１の画素値および入力画素２の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、ここでは、入力画素１および入力画素２に対して重み係数を０．５に設定している。

図９（ｄ）は、第４のパターンの仮画素値算出方法を示す図である。第４のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が９π／１６≦θ＜１１π／１６または−７π／１６≦θ＜−５π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、−π／１６≦θ’＜π／１６または１５π／１６≦θ’＜１７π／１６の角度範囲に含まれる。そこで、図９（ｄ）に示されるように、第４のパターンにおいては、仮画素の近傍に位置し、仮画素に対して仮画素エッジ方向に隣接する入力画素１，２が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１，２それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１の画素値および入力画素２の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、ここでは、入力画素１および入力画素２に対して重み係数を０．５に設定している。

図９（ｅ）は、第５のパターンの仮画素値算出方法を示す図である。第５のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が１１π／１６≦θ＜１３π／１６または−５π／１６≦θ＜−３π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、π／１６≦θ’＜３π／１６または−１５π／１６≦θ’＜−１３π／１６の角度範囲に含まれる。そこで、図９（ｅ）に示されるように、第５のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素１，３の距離が仮画素と入力画素２，４の距離よりも近いことを考慮して、入力画素１，３に対して重み係数を０．３に設定し、入力画素２，４に対して重み係数を０．２に設定するようにしてもよい。

図９（ｆ）は、第６のパターンの仮画素値算出方法を示す図である。第６のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が１３π／１６≦θ＜１５π／１６または−３π／１６≦θ＜−π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、３π／１６≦θ’＜５π／１６または−１１π／１６≦θ’＜−１１π／１６の角度範囲に含まれる。そこで、図９（ｆ）に示されるように、第６のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素１，３の距離が仮画素と入力画素２，４の距離よりも近いことを考慮して、入力画素１，３に対して重み係数を０．４に設定し、入力画素２，４に対して重み係数を０．１に設定するようにしてもよい。

図９（ｇ）は、第７のパターンの仮画素値算出方法を示す図である。第７のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が不定のときの仮画素算出方法である。図９（ｇ）に示されるように、第７のパターンにおいては、仮画素の縦方向に隣接する入力画素１，２が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１，２それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１の画素値および入力画素２の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、ここでは、入力画素１および入力画素２に対して重み係数を０．５に設定している。

ここで、補間面は、補間画素の近傍に位置する４×４の入力画素のみを用いても設定することが可能である。しかしながら、画素間の距離が非常に遠くなるため、補間画素との相関性が低くなってしまう。そこで、図７〜９において述べたように、補間面において入力画素が存在しない位置に仮画素を設定したので、補間面内の画素間の距離を適度に保つことができる。これにより、補間画素との相関性の高い画素を用いた補間処理が可能となる。

なお、ここでは、仮画素におけるエッジ勾配の方向を、仮画素の４近傍の入力画素におけるエッジ勾配の方向θの代表値（例えば最頻値や平均値）を用いるものとした。しかしながら、これに限定されず、仮画素に最も近い入力画素のエッジ勾配の方向θを用いてもよい。もしくは、仮画素が属する補間面を設定する際に用いた補間画素におけるエッジ勾配の方向を、仮画素におけるエッジ勾配の方向として設定してもよい。この場合、仮画素におけるエッジ勾配の方向を、補間画素におけるエッジ勾配の方向とは別に算出する必要がないので、処理速度を高めることができる。

補間処理部７７は、仮画素値算出処理部７５により画素値が算出された仮画素を含む補間面に補間処理を実行する。補間処理は、補間面に含まれる補間画素の画素値を算出する処理である。補間処理は、例えば、Ｌａｎｃｚｏｓ（ランツォシュ）補間処理である。Ｌａｎｃｚｏｓ補間処理は、数３で示される補間関数に基づいて定められる重み係数と補間に用いる画素との積和を算出する補間演算を実行する処理である。

ただし、sinc関数は下記の数４で示される式であり、ｎは補間関数の性質を制御するための変数である。Ｌａｎｃｚｏｓ補間処理に用いる補間画素の画素数は、変数ｎに応じて変化する。ｄは、補間画素とその近傍に位置する画素（入力画素または仮画素）との距離を示す。

補間処理部７７は、エッジ方向推定処理部７１により推定されたエッジ勾配の方向に応じた補間演算を実行し、補間画素の画素値を算出する。ここで、エッジ勾配の方向別の補間演算について説明する。

なお、以下では、図６（ａ），（ｅ）に示す補間面を第１の補間面といい、図６（ｂ）に示す補間面を第２の補間面といい、図６（ｃ），（ｇ）に示す補間面を第３の補間面といい、図６（ｄ）に示す補間面を第４の補間面といい、図６（ｆ）に示す補間面を第５の補間面といい、図６（ｈ）に示す補間面を第６の補間面という。また、本実施の形態における補間処理は、補間画素の近傍に位置する４×４画素を用いるため、数３においてｎ＝２としている。この場合、重み係数は、補間画素の位置からの距離によって定まり、具体的には、図１６に示すような分布図となる。なお、分布図の横軸は補間画素からの距離を示し、縦軸は重み係数を示す。

図１０は、第１の補間面とともに補間演算に用いるパラメータを示す図である。ここでは、入力された画像データにおける水平方向（横方向）をＸ軸、垂直方向（縦方向）をＹ軸とする座標系を設定している。ここでの座標系は、入力画素とその隣の入力画素との距離を基準とした座標系である。図１０には、補間画素とその近傍左上画素との距離の水平方向成分および垂直方向成分がそれぞれｄｉｓｔＸ，ｄｉｓｔＹとして示されている。ここで、ｄｉｓｔＸは、水平方向に隣接する入力画素間の距離を１としたときの値であり、ｄｉｓｔＹは、垂直方向に隣接する入力画素間の距離を１としたときの値である。補間演算は、図１０に示されるｄｉｓｔＸ，ｄｉｓｔＹを用いて、式（１１）により水平方向に実行される。

Ｖ（ｉ）＝ｗ（−１−ｄｉｓｔＸ）×Ｐ（０，ｉ）
＋ｗ（−ｄｉｓｔＸ）×Ｐ（１，ｉ）
＋ｗ（１−ｄｉｓｔＸ）×Ｐ（２，ｉ）
＋ｗ（２−ｄｉｓｔＸ）×Ｐ（３，ｉ）・・・・・式（１１）
ただし、０≦ｉ≦３であり、Ｐ（Ｘ，Ｙ）は入力画素を示す。

次に、式（１１）により算出されたＶ（ｉ）を用いて、式（１２）により補間演算が行なわれ、補間画素の画素値ＯＵＴが算出される。

ＯＵＴ＝ｗ（−１−ｄｉｓｔＹ）×Ｖ（０）
＋ｗ（−ｄｉｓｔＹ）×Ｖ（１）
＋ｗ（１−ｄｉｓｔＹ）×Ｖ（２）
＋ｗ（２−ｄｉｓｔＹ）×Ｖ（３）・・・・・式（１２）
図１１は、第２の補間面とともに補間演算に用いるパラメータを示す図である。ここでは、第２の補間面の横方向をＸ’軸（第２軸）、補間画素エッジ方向に平行な方向をＹ’軸（第１軸）とする座標系を設定している。ここでの座標系は、入力画素とその隣の仮画素との距離を基準とした座標系である。図１１には、補間画素とその近傍左上画素との距離の水平方向（Ｘ軸方向）成分および垂直方向（Ｙ軸方向）成分がそれぞれｄｉｓｔＸ，ｄｉｓｔＹとして示されている。補間演算は、図１１に示されるｄｉｓｔＸ，ｄｉｓｔＹに基づいて算出されたｄｉｓｔＸ’とｄｉｓｔＹとを用いて、式（１３）により水平方向に実行される。

Ｖ（ｉ）＝ｗ（−１−ｄｉｓｔＸ’）×Ｐ（０，ｉ）
＋ｗ（−ｄｉｓｔＸ’）×Ｐ（１，ｉ）
＋ｗ（１−ｄｉｓｔＸ’）×Ｐ（２，ｉ）
＋ｗ（２−ｄｉｓｔＸ’）×Ｐ（３，ｉ）・・・・・式（１３）
ただし、０≦ｉ≦３であり、Ｐ（Ｘ’，Ｙ’）は入力画素または仮画素を示す。なお、ｄｉｓｔＸ’は式（１４）によって算出される。

ｄｉｓｔＸ’＝２×ｄｉｓｔＸ＋ｄｉｓｔＹ・・・・・・・式（１４）
ｄｉｓｔＸ’は、補間画素と基準画素を通る水平方向より斜め右上約６３．４度方向の軸（Ｐ（１，０）とＰ（１，３）を通る軸）との距離を示す。以下、基準画素は、補間画素に対する近傍左上画素である。

次に、式（１４）により算出されたＶ（ｉ）を用いて、式（１５）により補間演算が行なわれ、補間画素の画素値ＯＵＴが算出される。

ＯＵＴ＝ｗ（−１−ｄｉｓｔＹ）×Ｖ（０）
＋ｗ（−ｄｉｓｔＹ）×Ｖ（１）
＋ｗ（１−ｄｉｓｔＹ）×Ｖ（２）
＋ｗ（２−ｄｉｓｔＹ）×Ｖ（３）・・・・・式（１５）
ここで、ｄｉｓｔＸは、水平方向に隣接する入力画素間の距離を１としたときの値であり、ｄｉｓｔＹは、垂直方向に隣接する入力画素間の距離を１としたときの値である。一方、ｄｉｓｔＸ’は、仮画素を含めた補間面におけるＸ’軸方向に隣接する画素（入力画素、仮画素の両方を含む）間の距離を１としたときの値であり、ｄｉｓｔＹ’は、仮画素を含めた補間面におけるＹ’軸方向に隣接する画素間の距離を１としたときの値である。以下の図１２から１６についても同様である。

図１２は、第３の補間面とともに補間演算に用いるパラメータを示す図である。ここでは、第３の補間面の補間画素エッジ方向に沿った辺に平行な方向をＸ’軸（第１軸）、補間画素エッジ方向に沿っていない辺に平行な方向をＹ’軸（第２軸）とする座標系を設定している。ここでの座標系は、入力画素とその隣の仮画素との距離を基準とした座標系である。
図１２には、補間画素とその近傍左上画素との距離の水平方向成分および垂直方向成分がそれぞれｄｉｓｔＸ，ｄｉｓｔＹとして示されている。補間演算は、図１２に示されるｄｉｓｔＸ，ｄｉｓｔＹに基づいて算出されたｄｉｓｔＸ’とｄｉｓｔＹとを用いて、式（１６）により水平方向に実行される。

Ｖ（ｉ）＝ｗ（−１−ｄｉｓｔＸ’）×Ｐ（０，ｉ）
＋ｗ（−ｄｉｓｔＸ’）×Ｐ（１，ｉ）
＋ｗ（１−ｄｉｓｔＸ’）×Ｐ（２，ｉ）
＋ｗ（２−ｄｉｓｔＸ’）×Ｐ（３，ｉ）・・・・・式（１６）
ただし、０≦ｉ≦３であり、Ｐ（Ｘ’，Ｙ’）は入力画素または仮画素を示す。なお、ｄｉｓｔＸ’は式（１７）によって算出される。

ｄｉｓｔＸ’＝ｄｉｓｔＸ−ｄｉｓｔＹ・・・・・・・式（１７）
ｄｉｓｔＸ’は、補間画素と基準画素を通る水平方向より斜め右上４５度方向の軸（Ｐ（０，１）とＰ（３，１）とを通る軸）との距離を示す。

次に、式（１７）により算出されたＶ（ｉ）を用いて、式（１８）により補間演算が行なわれ、補間画素の画素値ＯＵＴが算出される。

ＯＵＴ＝ｗ（−１−ｄｉｓｔＹ’）×Ｖ（０）
＋ｗ（−ｄｉｓｔＹ’）×Ｖ（１）
＋ｗ（１−ｄｉｓｔＹ’）×Ｖ（２）
＋ｗ（２−ｄｉｓｔＹ’）×Ｖ（３）・・・・・式（１８）
ただし、ｄｉｓｔＹ’は、図１２に示されるｄｉｓｔＸ、ｄｉｓｔＹを用いて式（１９）により算出される。

ｄｉｓｔＹ’＝ｄｉｓｔＸ＋ｄｉｓｔＹ・・・・・・・式（１９）
ｄｉｓｔＹ’は、補間画素と基準画素を通る水平方向より斜め右下４５度方向の軸（Ｐ（１，０）とＰ（１，３）とを通る軸）との距離を示す。

図１３は、第４の補間面とともに補間演算に用いるパラメータを示す図である。ここでは、第４の補間面の補間画素エッジ方向に沿った辺に平行な方向をＸ’軸（第１軸）、補間画素エッジ方向に沿っていない辺に平行な方向をＹ’軸（第２軸）とする座標系を設定している。ここでの座標系は、入力画素とその隣の仮画素との距離を基準とした座標系である。図１３には、補間画素とその近傍左上画素との距離の水平方向成分および垂直方向成分がそれぞれｄｉｓｔＸ，ｄｉｓｔＹとして示されている。補間演算は、図１３に示されるｄｉｓｔＸ，ｄｉｓｔＹを用いて、式（２０）により水平方向に実行される。

Ｖ（ｉ）＝ｗ（−１−ｄｉｓｔＸ）×Ｐ（０，ｉ）
＋ｗ（−ｄｉｓｔＸ）×Ｐ（１，ｉ）
＋ｗ（１−ｄｉｓｔＸ）×Ｐ（２，ｉ）
＋ｗ（２−ｄｉｓｔＸ）×Ｐ（３，ｉ）・・・・・式（２０）
次に、式（２０）により算出されたＶ（ｉ）を用いて、式（２１）により補間演算が行なわれ、補間画素の画素値ＯＵＴが算出される。

ＯＵＴ＝ｗ（−１−ｄｉｓｔＹ’）×Ｖ（０）
＋ｗ（−ｄｉｓｔＹ’）×Ｖ（１）
＋ｗ（１−ｄｉｓｔＹ’）×Ｖ（２）
＋ｗ（２−ｄｉｓｔＹ’）×Ｖ（３）・・・・・式（２１）
ただし、ｄｉｓｔＹ’は、図１３に示されるｄｉｓｔＸ、ｄｉｓｔＹを用いて式（２２）により算出される。

ｄｉｓｔＹ’＝２×ｄｉｓｔＹ＋ｄｉｓｔＸ・・・・・・・式（２２）
ｄｉｓｔＹ’は、補間画素と基準画素を通る水平方向より斜め右上２６．５度方向の軸（Ｐ（０，１）とＰ（３，１）とを通る軸）との距離を示す。

図１４は、第５の補間面とともに補間演算に用いるパラメータを示す図である。ここでは、第５の補間面の補間エッジ方向に沿った辺に平行な方向をＸ’軸（第１軸）、補間画素エッジ方向に沿っていない辺に平行な方向をＹ’軸（第２軸）とする座標系を設定している。ここでの座標系は、入力画素とその隣の仮画素との距離を基準とした座標系である。図１４には、補間画素とその近傍左上画素との距離の水平方向成分および垂直方向成分がそれぞれｄｉｓｔＸ，ｄｉｓｔＹとして示されている。補間演算は、図１４に示されるｄｉｓｔＸ，ｄｉｓｔＹを用いて、式（２３）により水平方向に実行される。

Ｖ（ｉ）＝ｗ（−１−ｄｉｓｔＸ）×Ｐ（０，ｉ）
＋ｗ（−ｄｉｓｔＸ）×Ｐ（１，ｉ）
＋ｗ（１−ｄｉｓｔＸ）×Ｐ（２，ｉ）
＋ｗ（２−ｄｉｓｔＸ）×Ｐ（３，ｉ）・・・・・式（２３）
ただし、０≦ｉ≦３であり、Ｐ（Ｘ’，Ｙ’）は入力画素または仮画素を示す。

次に、式（２３）により算出されたＶ（ｉ）を用いて、式（２４）により補間演算が行なわれ、補間画素の画素値ＯＵＴが算出される。

ＯＵＴ＝ｗ（−１−ｄｉｓｔＹ’）×Ｖ（０）
＋ｗ（−ｄｉｓｔＹ’）×Ｖ（１）
＋ｗ（１−ｄｉｓｔＹ’）×Ｖ（２）
＋ｗ（２−ｄｉｓｔＹ’）×Ｖ（３）・・・・・式（２４）
ただし、ｄｉｓｔＹ’は、図１４に示されるｄｉｓｔＸ、ｄｉｓｔＹを用いて式（２５）により算出される。

ｄｉｓｔＹ’＝２×ｄｉｓｔＹ−ｄｉｓｔＸ・・・・・・・式（２５）
ｄｉｓｔＹ’は、補間画素と基準画素を通る水平方向より斜め右下−２６．５度方向の軸（Ｐ（０，１）とＰ（３，１）とを通る軸）との距離を示す。

図１５は、第６の補間面とともに補間演算に用いるパラメータを示す図である。ここでは、第６の補間面の補間画素エッジ方向に沿っていない辺に平行な方向をＸ’軸（第２軸）、補間画素エッジ方向に沿った辺に平行な方向をＹ’軸（第１軸）とする座標系を設定している。ここでの座標系は、入力画素とその隣の仮画素との距離を基準とした座標系である。図１５には、補間画素とその近傍左上画素との距離の水平方向成分および垂直方向成分がそれぞれｄｉｓｔＸ，ｄｉｓｔＹとして示されている。補間演算は、図１５に示されるｄｉｓｔＸ，ｄｉｓｔＹに基づいて算出されたｄｉｓｔＸ’とｄｉｓｔＹとを用いて、式（２６）により水平方向に実行される。

Ｖ（ｉ）＝ｗ（−１−ｄｉｓｔＸ’）×Ｐ（０，ｉ）
＋ｗ（−ｄｉｓｔＸ’）×Ｐ（１，ｉ）
＋ｗ（１−ｄｉｓｔＸ’）×Ｐ（２，ｉ）
＋ｗ（２−ｄｉｓｔＸ’）×Ｐ（３，ｉ）・・・・・式（２６）
ただし、０≦ｉ≦３であり、Ｐ（Ｘ’，Ｙ’）は入力画素または仮画素を示す。なお、ｄｉｓｔＸ’は式（２７）によって算出される。

ｄｉｓｔＸ’＝２×ｄｉｓｔＸ−ｄｉｓｔＹ・・・・・・・式（２７）
ｄｉｓｔＸ’は、補間画素と基準画素を通る水平方向より斜め右下−６３．４度方向の軸（Ｐ（１，０）とＰ（１，３）とを通る軸）との距離を示す。

次に、式（２６）により算出されたＶ（ｉ）を用いて、式（２８）により補間演算が行なわれ、補間画素の画素値ＯＵＴが算出される。

ＯＵＴ＝ｗ（−１−ｄｉｓｔＹ）×Ｖ（０）
＋ｗ（−ｄｉｓｔＹ）×Ｖ（１）
＋ｗ（１−ｄｉｓｔＹ）×Ｖ（２）
＋ｗ（２−ｄｉｓｔＹ）×Ｖ（３）・・・・・式（２８）
以上の処理により、エッジ勾配の方向に応じて最適な補間面による補間処理演算を行うことができる。

なお、ここは、Ｌａｎｃｚｏｓ補間処理を用いて補間演算する場合を例に説明したが、下記式（２９）により示される双三次元補間（バイキュービック補間）を用いてもよい。

また、図６に示すブロックよりも大きいブロック内に補間面を設定してもよい。この場合、Ｌａｎｃｚｏｓ関数のｎを３として補間演算を行う。ここで、補間画素を含むブロック内に補間面が設定されている場合を、図１７に示す。図１７が図６と異なる点は、補間面が、ブロックが拡大した分だけ大きくなっている点である。したがって、ここでは詳細な説明は繰り返さない。ここで、図１７（ａ），（ｅ）で示されるブロック内に設定された補間面に補間演算を行う場合を例に説明する。なお、この補間面を第７の補間面という。

図１８は、第７の補間面とともに補間演算に用いるパラメータを示す図である。ここでは、第７の補間面の横方向をＸ軸、縦方向をＹ軸とする座標系を設定している。ここでの座標系は、入力画素とその隣の入力画素との距離を基準とした座標系である。図１８には、補間画素とその近傍左上画素との距離の水平方向成分および垂直方向成分がそれぞれｄｉｓｔＸ，ｄｉｓｔＹとして示されている。補間演算は、図１８に示されるｄｉｓｔＸ，ｄｉｓｔＹとを用いて、式（３０）により水平方向に実行される。

Ｖ（ｉ）＝ｗ（−２−ｄｉｓｔＸ）×Ｐ（０，ｉ）
＋ｗ（−１−ｄｉｓｔＸ）×Ｐ（１，ｉ）
＋ｗ（−ｄｉｓｔＸ）×Ｐ（２，ｉ）
＋ｗ（１−ｄｉｓｔＸ）×Ｐ（３，ｉ）
＋ｗ（２−ｄｉｓｔＸ）×Ｐ（４，ｉ）
＋ｗ（３−ｄｉｓｔＸ）×Ｐ（５，ｉ）・・・・・式（３０）
ただし、０≦ｉ≦６であり、Ｐ（Ｘ，Ｙ）は入力画素を示す。

次に、式（３０）により算出されたＶ（ｉ）を用いて、式（３１）により補間演算が行なわれ、補間画素値ＯＵＴが算出される。

ＯＵＴ＝ｗ（−２−ｄｉｓｔＹ）×Ｖ（０）
＋ｗ（−１−ｄｉｓｔＹ）×Ｖ（１）
＋ｗ（−ｄｉｓｔＹ）×Ｖ（２）
＋ｗ（１−ｄｉｓｔＹ）×Ｖ（３）
＋ｗ（２−ｄｉｓｔＹ）×Ｖ（４）
＋ｗ（３−ｄｉｓｔＹ）×Ｖ（５）・・・・・式（３１）
なお、図６（ａ）〜（ｈ）に示すエッジ勾配の方向それぞれに対応して補間面を設定する代わりに、設定する補間面のパターンを少なくしてもよい。例えば、図１９に示すブロック内に、エッジ勾配の方向に応じて、４通りの補間面のうちいずれかを設定すればよい。また、仮画素を算出する際に参照する周辺画素を図８記載のように変更することで、計算量を減らしながら各画素におけるエッジ勾配の方向を考慮して補間演算を行うことができる。

図２０は、映像信号処理回路により実行される処理の流れを示すフローチャートである。図２０に示されるように、補間面設定部７３は、補間画素のエッジ方向を推定する（ステップＳ３１）。エッジ勾配の方向は、エッジ方向に垂直な方向であり、補間面設定部７３は、具体的には補間画素のエッジ勾配の方向を推定する。エッジ勾配の方向は、補間画素に最も近い入力画素に対して算出されたエッジ勾配の方向を用いてもよいし、補間画素の近傍に位置する入力画素に対して算出されたエッジ勾配の方向の代表値を用いてもよい。

次のステップＳ３２においては、補間面設定部７３は、ステップＳ３１において推定されたエッジ勾配の方向が所定の角度範囲内にあるか否かを判断する。エッジ勾配の方向が所定の範囲内にあるならば処理をステップＳ３３に進めるが、そうでなければ処理をステップＳ３６に進める。なお、所定の角度範囲は、π／１６＜θ≦７π／１６、９π／１６≦θ＜１５π／１６の角度範囲である。尚、エッジが存在せずエッジ方向が不定の場合はエッジ勾配の方向が所定の範囲内と判定する。

ステップＳ３３においては、表示部１３の画素数に応じた映像データの拡大縮小率により補間の対象となる補間画素の近傍に位置する４×４入力画素で形成される四角形のブロック内を対象に、ステップＳ３１において算出されたエッジ勾配の方向に沿って補間面を設定する。補間面は、ブロックのサイズとエッジ方向と補間面が設定される領域内の画素数とに基づいて定まる領域であり、具体的には、補間面は、その大きさがブロック内に収まる最大の大きさであり、かつ、補間画素エッジ方向に沿った第１軸に平行な２辺と第１軸とは異なる方向の第２軸に平行な２辺とを有する平行四辺形である。また、平行四辺形の補間面には、第１軸および第２軸に沿って配列された格子点である、ブロック内の画素と同じ画素数の４×４画素が含まれる。補間面に含まれる複数の画素には、入力画素の他に、画素値が存在しない仮画素が含まれる場合がある。仮画素については後述する。なお、補間面は、第１軸および第２軸に沿って配列された４×４画素の中心の２×２画素で囲まれる領域に補間画素が含まれるように設定される。

なお、補間画素の近傍に位置する画素は、４×４画素であってもよいし、６×６画素であってもよい。補間画素の近傍に位置する画素が４×４画素である場合、補間面は、図６（a）〜（ｈ）で示される補間面のうちエッジ勾配の方向に対応するものを設定する。なお、エッジ勾配の方向が不定である場合、一意に図６（ａ）または図６（ｃ）に対応する補間面を設定するようにしてもよいし、近傍画素におけるエッジ勾配の方向を参照して、図６（ａ）〜（ｄ）で示される補間面のうち参照されたエッジ勾配の方向に対応するものを設定するようにしてもよい。

補間画素の近傍に位置する画素が６×６画素の場合、図１７（a）〜（ｈ）で示される補間面のうちエッジ勾配の方向に対応するものを設定する。なお、エッジ勾配の方向が不定である場合、一意に図１７（ａ）または図１７（ｃ）に対応する補間面を設定するようにしてもよいし、近傍画素におけるエッジ勾配の方向を参照して、図１７（ａ）〜（ｄ）で示される補間面のうち参照されたエッジ勾配の方向に対応するものを設定するようにしてもよい。

次のステップＳ３４においては、仮画素算出部７５は、ステップＳ３３において設定された補間面内において特定される仮画素の画素値を、その近傍に位置する画素に基づいて算出する仮画素算出処理を実行する。仮画素算出処理は、仮画素の近傍に位置する画素に対して推定されたエッジ勾配の方向それぞれに定められた算出方法に従って仮画素の画素値を算出する処理である。仮画素の近傍に位置する画素は、例えば、補間画素の近傍に位置する入力画素であってもよいし、仮画素の近傍に位置する２つの入力画素であってもよいし、仮画素の近傍に位置する４つの入力画素であってもよい。

次のステップＳ３５においては、補間処理部７７は、第１補間処理を実行することにより補間画素値を算出し、処理を終了する。第１補間処理は、ステップＳ３４において仮画素が算出された後の補間面に対して、ステップＳ３１において算出されたエッジ勾配の方向に対応する補間演算を実行する処理である。

ステップＳ３６は、ステップＳ３１において算出された補間画素のエッジ勾配の方向が所定の角度範囲に含まれない場合である。ステップＳ３６においては、補間処理部７７は、第２補間処理を実行することにより補間画素の画素値を算出し、処理を終了する。第２補間処理は、ステップＳ３４において仮画素が算出された後の補間面に対して、従来周知の補間演算を実行する処理である。具体的には、図１０に示す方法により補間画素の画素値を算出する。

＜変形例＞
変形例におけるスケーラー処理部は、本実施の形態におけるスケーラー処理部が実行する処理に加えて、補正処理を実行するものである。

図２１は、変形例におけるスケーラー処理部の構成を示すブロック図である。図２１に示すスケーラー処理部６１Ａが図３に示すスケーラー処理部６１と異なる点は、補正処理部７９が追加された点である。その他の構成および機能は、スケーラー処理部６１と同じであるので、ここでは説明は繰り返さない。

図２１に示されるように、補正処理部７９は、補間処理部７７により補間演算された後の画像データに補正処理を実行する。補正処理は、補間演算により発生したボヤケを補正してエッジを鮮明にする処理である。

図２２は、補正処理部の構成を示す図である。図２２に示されるように、補正処理部７９は、最大値・最小値算出処理部８１と、フィルタ処理部８３と、飽和処理部８５とを含む。

最大値・最小値算出処理部８１は、補間処理部７７による補間演算後の画像データから最大画素値ｍａｘＶａｌおよび最小画素値ｍｉｎＶａｌを算出する。最大画素値ｍａｘＶａｌおよび最小画素値ｍｉｎＶａｌの算出は、画像データから処理対象となる画素を設定し、設定された画素とその近傍に位置する画素を含むＭ×Ｎ画素を対象とする。

フィルタ処理部８３は、エッジを鮮鋭化する処理としてのフィルタ処理を、最大値・最小値算出処理部８１の処理対象となる所定の範囲の画素に対して実行し、フィルタ処理後の画素値をフィルタ処理結果ｆｉｌＶａｌとして算出する。フィルタ処理結果ｆｉｌＶａｌは、例えば、補間処理部７７により補間演算された後の画像データの画素をｐｉｘＶａｌとすると、式（３２）に従って算出する。なお、所定の範囲の画素は、最大値・最小値算出処理部８１の処理対象となるＭ×Ｎ画素であってもよいし、それより範囲の小さいｍ×ｎ画素であってもよい。例えば、Ｍ×Ｎ画素は７×７画素であり、ｍ×ｎ画素は５×５画素である。

ただし、ｃｏｅｆ（ｉ，ｊ）はフィルタ係数を示す。

飽和処理部８５は、最大値・最小値算出処理部８１により算出された最大画素値ｍａｘＶａｌおよび最小画素値ｍｉｎＶａｌ、フィルタ処理部８３により算出されたフィルタ処理結果ｆｉｌＶａｌおよび補間処理部７７により補間演算された後の画像データの画素ｐｉｘＶａｌに基づいて、エッジの鮮鋭化の度合いを制御する飽和処理を実行する。飽和処理は、フィルタ処理結果ｆｉｌＶａｌと画素ｐｉｘＶａｌとを比較した比較結果に応じて、フィルタ処理結果ｆｉｌＶａｌと最大画素値ｍａｘＶａｌとに基づく比較結果またはフィルタ処理結果ｆｉｌＶａｌと最小画素値ｍｉｎＶａｌとに基づく比較結果を判定することにより、オーバーシュートまたはアンダーシュートの発生を制御する処理である。

より具体的には、フィルタ処理結果ｆｉｌＶａｌと画素ｐｉｘＶａｌとを比較した第１の比較結果に加えて、フィルタ処理結果ｆｉｌＶａｌと最小画素値ｍｉｎＶａｌに所定の係数αを減算した値とを比較した第２の比較結果またはフィルタ処理結果ｆｉｌＶａｌと最大画素値ｍａｘＶａｌに所定の係数βを加算した値とを比較した第３の比較結果に基づいて、補正処理結果を決定する。

第１の比較結果がフィルタ処理結果ｆｉｌＶａｌが画素ｐｉｘＶａｌより小さいことを示す場合、第２の比較結果を判定し、そうでない場合、第３の比較結果を判定する。第２の比較結果の判定において、フィルタ処理結果ｆｉｌＶａｌが最小画素値ｍｉｎＶａｌに所定の係数αを減算した値以上であることを示す場合、フィルタ処理結果ｆｉｌＶａｌを補正処理結果として決定するが、そうでない場合、最小画素値ｍｉｎＶａｌを補正処理結果として決定する。第３の比較結果の判定において、フィルタ処理結果ｆｉｌＶａｌが最大画素値ｍａｘＶａｌに所定の係数βを加算した値以下であることを示す場合、フィルタ処理結果ｆｉｌＶａｌを補正処理結果として決定するが、そうでない場合、最大画素値ｍａｘＶａｌを補正処理結果として決定する。

なお、係数αおよびβは、エッジを強調する度合いによって変化させることが可能である。具体的には、係数αを変化させればアンダーシュートの発生および抑制を制御することが可能であり、係数βを変化させればオーバーシュートの発生および抑制を制御することが可能である。例えば、係数αを０に設定する場合、アンダーシュートの発生を抑制することができ、係数αを８に設定する場合、人間の目にとって目障りでないレベルのアンダーシュートを発生させることができる。また、係数βを０に設定する場合、オーバーシュートの発生を抑制することができ、係数βを８に設定する場合、人間の目にとって目障りでないレベルのオーバーシュートを発生させることができる。

また、飽和処理は、文字等の輪郭を補正するのに非常に有効である反面、画像のディテイル部の階調再現を損なわせる可能性がある。そのため、エッジ強度の強い輪郭とディテイル部を識別するために、最大画素値ｍａｘＶａｌと最小画素値ｍｉｎＶａｌとの差分により算出されるダイナミックレンジがある程度大きい値(例えば６４)を有するとき、輪郭が存在すると判定し補正処理を行い、それ以外の場合は補正処理を行わないようにしても良い。

図２３は、オーバーシュートおよびアンダーシュートの抑制効果の一例を示す図である。図２３（ａ）は、映像データに含まれる複数フレームのうち１フレームの画像データの一例を示す図である。図２３（ｂ）は、補正処理を行わずにフィルタ処理（強調処理）を行った画像データの一例を示す第１の図である。図２３（ｃ）は、補正処理後の画像データの一例を示す第２の図である。図２３（ａ）に示す画像データに対してフィルタ処理が実行されると、図２３（ｂ）に示すように、オーバーシュートおよびアンダーシュートが発生することを確認できた。一方、図２３（ａ）に示す画像データに対して補正処理が実行されると、図２３（ｃ）に示すように、オーバーシュートおよびアンダーシュートが発生しないことが確認できた。

図２４は、変形例における映像信号処理回路により実行される処理の流れを示すフローチャートである。図２４に示す処理が、図２０に示す処理と異なる点は、ステップＳ４１〜ステップＳ４４が追加された点である。その他の処理は、図２０に示す処理と同じであるので、ここでは説明を繰り返さない。

図２４に示されるように、ステップＳ４１においては、補正処理部７９は、補正処理を実行するか否かを判断する。具体的には、最大画素値ｍａｘＶａｌと最小画素値ｍｉｎＶａｌとの差分により算出されるダイナミックレンジがある程度大きい値(例えば６４)であるか否かを判断する。ダイナミックレンジがある程度大きい値(例えば６４)であるならば処理をステップＳ４２に進めるが、そうでなければ処理を終了する。

ステップＳ４２においては、最大値・最小値算出処理部８１は、ステップ３５またはステップＳ３６における補間演算後の画像データから最大画素値ｍａｘＶａｌおよび最小画素値ｍｉｎＶａｌを算出する。最大画素値ｍａｘＶａｌおよび最小画素値ｍｉｎＶａｌの算出は、画像データから処理対象となる画素を設定し、設定された画素とその近傍に位置する画素を含むＭ×Ｎ画素を対象とする。

ステップＳ４３においては、フィルタ処理部８３は、エッジを鮮鋭化する処理としてのフィルタ処理を、画像データのうちステップＳ４２において処理対象となった画素を含む所定の範囲の画素に対して実行し、フィルタ処理後の画素値をフィルタ処理結果ｆｉｌＶａｌとして算出する。フィルタ処理結果ｆｉｌＶａｌは、例えば、ステップＳ３５またはステップＳ３６において補間演算された後の画像データの画素ｐｉｘＶａｌを用いて、式（３２）に従って算出する。

ステップＳ４４においては、飽和処理部８５は、飽和処理を実行し、処理を終了する。

図２５は、飽和処理の流れを示すフローチャートである。飽和処理は、図２４に示す処理のステップＳ５４において、飽和処理部８５により実行される処理である。図２５に示されるように、フィルタ処理結果ｆｉｌＶａｌが画素ｐｉｘＶａｌより小さいか否かを判断する（ステップＳ５１）。フィルタ処理結果ｆｉｌＶａｌが画素ｐｉｘＶａｌより小さいならば処理をステップＳ５５に進めるが、そうでなければ処理をステップＳ５２に進める。

ステップＳ５２においては、フィルタ処理結果ｆｉｌＶａｌが最大画素値ｍａｘＶａｌに係数βを加えた値以下であるか否かを判断する。フィルタ処理結果ｆｉｌＶａｌが最大画素値ｍａｘＶａｌに係数βを加算した値以下であるならば処理をステップＳ５３に進めるが、そうでなければ処理をステップＳ５４に進める。

なお、係数βは、固定値であってもよい。この場合、固定値は、例えば１６である。また、ダイナミックレンジに所定の係数を乗算した値であってもよい。具体的には、最大画素値ｍａｘＶａｌと最小画素値ｍｉｎＶａｌとの差分に、所定の係数（例えば０．１）を乗算した値である。

ステップＳ５３においては、フィルタ処理結果ｆｉｌＶａｌを補正処理結果として決定し、ステップＳ５４においては、最大画素値ｍａｘＶａｌを補正処理結果として決定し、飽和処理を終了する。

ステップＳ５５は、ステップＳ５１において、フィルタ処理結果ｆｉｌＶａｌが画素ｐｉｘＶａｌ以上であると判断された場合である。ステップＳ５５においては、フィルタ処理結果ｆｉｌＶａｌが最小画素値ｍｉｎＶａｌに係数αを減算した値以上であるか否かを判断する。フィルタ処理結果ｆｉｌＶａｌが最小画素値ｍｉｎＶａｌに係数αを減算した値以上ならば処理をステップＳ５６に進めるが、そうでなければ処理をステップＳ５７に進める。

なお、係数αは、固定値であってもよい。この場合、固定値は、例えば１６である。また、ダイナミックレンジに所定の係数を乗算した値であってもよい。具体的には、最大画素値ｍａｘＶａｌと最小画素値ｍｉｎＶａｌとの差分に、所定の係数（例えば０．１）を乗算した値である。

ステップＳ５６においては、最小画素値ｍｉｎＶａｌを補正処理結果として決定し、ステップＳ５７においては、フィルタ処理結果ｆｉｌＶａｌを補正処理結果として決定し、飽和処理を終了する。

したがって、上述した補正処理により、映像データを鮮鋭化し、オーバーシュートおよびアンダーシュート（過強調）の発生を抑制することができるので、補間演算により発生した映像のボヤケを抑制することができる。

なお、本実施の形態においてはテレビジョン受像機１の場合を例に説明したが、図２６に示すようにテレビジョン受像機１が垂直方向および水平方向に複数台配置されたマルチディスプレイであってもよい。

また、本実施の形態においては、エッジ勾配の方向をＳｏｂｅｌフィルタを用いたキャニー法によりエッジ勾配の方向を算出しているが、エッジ勾配の方向の算出方法はこれに限定するものではない。Ｐｒｅｗｉｔｔフィルタを用いるようにしてもよいし、Ｓｃｈａｒｒフィルタを用いるようにしてもよい。

図２７は、Ｐｒｅｗｉｔｔフィルタを示す図である。図２７（ａ）は、水平方向に対応するＰｒｅｗｉｔｔフィルタを示す図である。図２７（ｂ）は、垂直方向に対応するＰｒｅｗｉｔｔフィルタを示す図である。図２８は、Ｓｃｈａｒｒフィルタを示す図である。図２８（ａ）は、水平方向に対応するＳｃｈａｒｒフィルタを示す図である。図２８（ｂ）は、垂直方向に対応するＳｃｈａｒｒフィルタを示す図である。エッジ方向推定処理部７１は、図４（ａ），（ｂ）に示すＳｏｂｅｌフィルタと同様に、図２７（ａ），（ｂ）に示すＰｒｅｗｉｔｔフィルタまたは図２８（ａ），（ｂ）に示すＳｃｈａｒｒフィルタを用いて、数７で示される式に従ってエッジ勾配の方向を算出してもよい。

このとき、エッジ方向φは、エッジ勾配の方向θに対して垂直になるため、数８で示される式に従って算出できる。

また、エッジ勾配の方向の算出方法は、テンプレートマッチングであってよい。この場合、テンプレートマッチングに用いるテンプレートは、エッジ勾配の方向を推定するために予め角度が定められている。ここで、テンプレートマッチングを用いたエッジ勾配の方向の算出方法を具体的に説明する。

図２９は、テンプレートの一例を示す図である。ここでは、０，４５，９０，１３５，１８０（＝０度），２２５（＝４５度），２７０（＝９０度），３１５度（＝１３５度）それぞれに対応するテンプレートを示している。これら複数のテンプレートそれぞれを画像データにマッチングすることによりエッジ勾配の方向を推定する。具体的には、マッチングすることによりそれぞれ算出されたエッジ量に基づいて、複数のテンプレートのうち画像データに最も一致するテンプレートに対応する角度を特定するとともに、テンプレートごとのエッジ量の総和を算出する。そして、特定された角度と算出されたエッジ量の総和とに基づいて、エッジ勾配の方向を特定する。複数のテンプレートのうち画像データに最も一致するテンプレートは、複数のテンプレートのうちマッチングにより算出されたエッジ量が最大となるテンプレートである。ここで、エッジ方向の特定について具体的に説明する。

複数のテンプレートのうち０度に対応するテンプレートの一致度が最も大きく、かつ、０度に対応するテンプレートに基づいて算出されたエッジ量が他のテンプレートに基づいて算出されたエッジ量と比べて十分に大きいならば（例えば、エッジ量の総和の４０％を超える）、エッジ勾配の方向が−π／１６≦θ≦π／１６、または、１５π／１６≦θ≦１７π／１６の範囲にあると判定する。

複数のテンプレートのうち４５度に対応するテンプレートの一致度が最も大きく、かつ、４５度に対応するテンプレートに基づいて算出されたエッジ量が他のテンプレートに基づいて算出されたエッジ量と比べて十分に大きいならば、エッジ勾配の方向が３π／１６＜θ≦５π／１６、または、−１３π／１６＜θ≦−１１π／１６の範囲にあると判定する。

複数のテンプレートのうち９０度に対応するテンプレートの一致度が最も大きく、かつ、９０度に対応するテンプレートに基づいて算出されたエッジ量が他のテンプレートに基づいて算出されたエッジ量と比べて十分に大きいならば、エッジ勾配の方向が７π／１６＜θ≦９π／１６、または、−９π／１６＜θ≦−７π／１６の範囲にあると判定する。

複数のテンプレートのうち１３５度に対応するテンプレートの一致度が最も大きく、かつ、１３５度に対応するテンプレートに基づいて算出されたエッジ量が他のテンプレートに基づいて算出されたエッジ量と比べて十分に大きいならば、エッジ勾配の方向が１３π／１６≦θ＜１５π／１６、または、−３π／１６≦θ＜−π／１６の範囲にあると判定する。

一方、複数のテンプレートのうち０度または４５度に対応するテンプレートの一致度が最も大きいが、０度または４５度に対応するテンプレートに基づいて算出されたエッジ量が他のテンプレートに基づいて算出されたエッジ量と比べて十分に大きくなければ（例えば、エッジ量の総和の３０％程度）、エッジ勾配の方向が３π／１６＜θ≦５π／１６、または、−１３π／１６＜θ≦−１１π／１６の範囲にあると判定する。

複数のテンプレートのうち４５度または９０度に対応するテンプレートの一致度が最も大きいが、０度に対応するテンプレートに基づいて算出されたエッジ量が他のテンプレートに基づいて算出されたエッジ量と比べて十分に大きくなければ、エッジ勾配の方向が５π／１６＜θ≦７π／１６、あるいは、−１１π／１６＜θ≦−９π／１６の範囲にあると判定する。

複数のテンプレートのうち９０度または１３５度に対応するテンプレートの一致度が最も大きいが、９０度または１３５度に対応するテンプレートに基づいて算出されたエッジ量が他のエッジ量と比べて十分に大きくなければ、エッジ勾配の方向が９π／１６＜θ≦１１π／１６、または、−７π／１６＜θ≦−５π／１６の範囲にあると判定する。

複数のテンプレートのうち１３５度または０度に対応するテンプレートの一致度が最も大きいが、１３５度または０度に対応するテンプレートに基づいて算出されたエッジ量が他のテンプレートに基づいて算出されたエッジ量と比べて十分に大きくなければ、エッジ勾配の方向が１３π／１６≦θ＜１５π／１６、または、−３π／１６≦θ<−π／１６の範囲にあると判定する。

なお、テンプレートマッチングを用いて、エッジ方向を推定するようにしてもよい。この場合、エッジ方向は、エッジ勾配の方向に垂直であるので、マッチングにより特定された角度に垂直な角度を含む角度範囲をエッジ方向として推定すればよい。例えば、複数のテンプレートのうち０度に対応するテンプレートが最も一致度が大きく、かつ、０度に対応するテンプレートに基づいて算出されたエッジ量が他のエッジ量と比べて十分に大きいならば（エッジ量の総和の４０％を超える）、エッジ方向が７π／１６＜θ≦９π／１６、または、−９π／１６＜θ≦−７π／１６の範囲にあると判定する。

また、本実施の形態においては、Ｌａｎｃｚｏｓ補間処理や、双三次補間（バイキュービック補間）を用いて補間する場合を例に説明したが、スプライン補間処理を用いた補間であってもよい。式（３５）は３次のスプライン補間式であり、補間処理部７７は、仮画素値算出処理部により算出された仮画素の値を用いて、係数ａ_ｉ、ｂ_ｉ、ｃ_ｉ、ｄ_ｉを算出する。

Ｓ_ｉ（ｘ）＝ａ_ｉ×（ｘ−ｘ_ｉ）^３＋ｂ_ｉ×（ｘ−ｘ_ｉ）^２
＋ｃ_ｉ×（ｘ−ｘ_ｉ）＋ｄ_ｉ・・・・・・・・・・（３５）
補間処理部７７は、下記条件に基づいて、６つの入力画素を用いて、式（３５）に従って係数ａ_ｉ、ｂ_ｉ、ｃ_ｉ、ｄ_ｉを算出する。
・全ての入力画素を通る。
・各々の区分補間式は、境界点の１次導関数は連続とする。
・各々の区分補間式は、境界点の２次導関数は連続とする。

補間処理部７７は、算出された係数ａ_ｉ、ｂ_ｉ、ｃ_ｉ、ｄ_ｉを用いて、３次のスプライン補間式に基づいて、補間画素を算出する。なお、図３０の丸９１に示す画素は、式（３６）に従って算出する。ただし、ｄｉｓｔＸは、補間画素の位置と基準となる入力画素の位置との距離を示す。

Ｓ_ｉ（ｘ）＝ａ_ｉ×ｄｉｓｔＸ^３＋ｂ_ｉ×ｄｉｓｔＸ^２
＋ｃ_ｉ×ｄｉｓｔＸ＋ｄ_ｉ・・・・・・・・・・（３６）
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、テレビジョン受像機１の各ブロック、特にスケーラー処理部６１，６１Ａは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

上述した機能を実現するソフトウェアであるテレビジョン受像機１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記テレビジョン受像機１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、テレビジョン受像機１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、例えばテレビジョンなどの画像処理に利用することができる。

１ テレビジョン受像機（画像処理装置）
１１ 中央演算装置（ＣＰＵ）
２１ 映像信号処理回路
５１ ビデオデコーダ
５３ ＩＰ変換処理部
５５ ノイズ低減処理部
５７ シャープネス処理部
５９ カラー調整処理部
６１，６１Ａ スケーラー処理部
７１ エッジ方向推定処理部
７３ 補間面設定部（補間領域設定部）
７５ 仮画素値算出処理部
７７ 補間処理部
７９ 補正処理部
８１ 最大値・最小値算出処理部
８３ フィルタ処理部
８５ 飽和処理部

Claims (13)

1. 設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、
   各入力画素について、エッジの方向を示すエッジ方向、または、当該エッジ方向から所定角度だけずれたエッジ勾配を推定するエッジ方向推定処理部と、
   上記補間画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて特定される当該補間画素におけるエッジの方向を補間画素エッジ方向とするとき、当該補間画素エッジ方向に沿った領域であり、かつ、当該補間画素を囲む領域である補間領域を設定する補間領域設定部と、
   上記補間領域において、入力画素間の画素である仮画素を設定し、当該仮画素の値を算出する仮画素値算出処理部と、
   上記補間領域に含まれる入力画素および仮画素の値を用いて上記補間画素の値を算出する補間処理部とを備えることを特徴とする画像処理装置。
2. 上記補間領域設定部は、上記補間画素エッジ方向に沿った第１軸に平行な辺と、上記第１軸とは異なる方向の第２軸に平行な２辺とからなる平行四辺形の領域を上記補間領域として設定することを特徴とする請求項１に記載の画像処理装置。
3. 上記補間処理部は、上記補間領域内において、上記第１軸および上記第２軸に沿って配列された入力画素および仮画素の値を用いて上記補間画素の値を算出することを特徴とする請求項２に記載の画像処理装置。
4. 上記仮画素値算出処理部は、仮画素を含み、上記補間画素エッジ方向に沿った仮画素値算出用領域を設定し、当該仮画素値算出用領域に含まれる入力画素の値を用いて当該仮画素の値を算出することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 上記仮画素値算出処理部は、仮画素に対して上記補間画素エッジ方向または当該補間画素エッジ方向から所定角度範囲内の方向に隣接する入力画素の値を用いて当該仮画素の値を算出することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
6. 上記仮画素値算出処理部は、上記仮画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて特定される当該仮画素におけるエッジの方向を仮画素エッジ方向とするとき、当該仮画素を含み、上記仮画素エッジ方向に沿った仮画素値算出用領域を設定し、当該仮画素値算出用領域に含まれる入力画素の値を用いて当該仮画素の値を算出することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
7. 上記仮画素値算出処理部は、上記仮画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて特定される当該仮画素におけるエッジの方向を仮画素エッジ方向とするとき、上記仮画素エッジ方向または当該仮画素エッジ方向から所定角度範囲内の方向に隣接する入力画素の値を用いて当該仮画素の値を算出することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
8. 上記補間処理部により補間演算された後の画像データを鮮鋭化する補正処理部をさらに備えた、請求項１から７のいずれか１項に記載の画像処理装置。
9. 上記補正処理部は、上記補間処理部により補間演算された後の画像データから、注目画素を含む所定の範囲の画素における最大の画素値および最小の画素値を算出する最大値・最小値算出処理部と、
   鮮鋭化処理を行うためのフィルタ処理部と、
   上記最大値・最小値算出処理部により算出された最大の画素値および最小の画素値と、上記フィルタ処理部により算出されたフィルタ処理結果と、上記補間処理部により補間演算された後の画像データの画素とに基づいて、鮮鋭化の度合いを制御する飽和処理部と、を含む請求項８に記載の画像処理装置。
10. 請求項１〜９のいずれかに記載の画像処理装置を備える画像表示装置。
11. 設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理方法において、
    各入力画素について、エッジの方向を示すエッジ方向、または、当該エッジ方向から所定角度だけずれたエッジ勾配を推定するステップと、
    上記補間画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて特定される当該補間画素におけるエッジの方向を補間画素エッジ方向とするとき、当該補間画素エッジ方向に沿った領域であり、かつ、当該補間画素を囲む領域である補間領域を設定するステップと、
    上記補間領域において、入力画素間の画素である仮画素を設定し、当該仮画素の値を算出するステップと、
    上記補間領域に含まれる入力画素および仮画素の値を用いて上記補間画素の値を算出するステップとを含むことを特徴とする画像処理方法。
12. 請求項１〜９のいずれかに記載の画像処理装置を動作させるプログラムであって、コンピュータを上記の各部として機能させるためのプログラム。
13. 請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images