JP2006099613A - 画像補間装置、画像補間方法及び画像表示装置 - Google Patents

Abstract

【課題】 画像を補間する際に、エッジ部分にガタツキやボケが生じないようにできるとともに、より滑らかな画像再生を実現することができる画像補間装置、画像補間方法及び画像表示装置を提供することを目的とする。
【解決手段】 補間画素の画素データを算出する際、補間画素だけでなく、補間ライン上において補間画素に隣接する仮想画素をも演算対象画素とする。まず、各演算対象画素の設定可能範囲を、その画素が原画像データのエッジ位置付近に存在するか否かを考慮して設定し、その設定可能範囲内において、複数種類の斜め方向の相関値の最小値を演算対象画素毎に算出する。そして、同じ斜め方向同士の最小相関値を累積加算し、最小の累積加算値を与える斜め方向を判定する。その判定された斜め方向の相関値に最小値を与える補間画素の画素データを最終的な補間画素データとして決定する。
【選択図】 図４

Description

本発明は、画像表示装置の表示部に表示等される画像を補間する画像補間装置及び画像補間方法に関する。また、本発明は、その画像補間装置を備えた画像表示装置に関する。

従来より、インターレース画像をプログレッシブ画像に変換する場合、画像を拡大する場合、画像の解像度を高める場合などにおいて、隣接した原画素の画素データ（ディスプレイ上の輝度を表すデータ量に相当する）を用いて、画像を補間する様々な方法が提案されている。

画像補間方法の代表的なものに、単純補間方法と線形補間方法とがある。単純補間方法とは、補間する画素の上下（又は左右）に隣接した画素のいずれかの画素データを、補間する画素に画素データとして与える方法である。線形補間方法とは、補間する画素の上下（又は左右）に隣接した画素の画素データを平均した値を、補間する画素に画素データとして与える方法である。

しかしながら、単純補間方法では、補間する画素に隣接した画素の画素データがそのまま与えられるため、ディスプレイ上などに再生された画像に斜め方向のエッジ部分があるとき、そのエッジ部分にガタツキが生じるという問題がある。又、線形補間方法では、補間する画素に上下（又は左右）に隣接した画素の画素データの平均値が与えられるため、補間する画素の近傍がエッジ部分であり、補間する画素の上下（又は左右）に隣接した画素の画素データの差が大きい場合には、補間された画素が中間値となり、エッジ部分にボケが生じるという問題がある。

そこで、本出願人は、画像を補間する際に、エッジ部分にガタツキやボケが生じないようにできるとともに、滑らかな画像を再生することができる画像補間方法を既に開発している（下記特許文献１、２参照）。

特開２００１−３４６０３７号公報 特開２００３−２８３８０９号公報

上記特許文献１、２に開示されている画像補間方法（以下、従来手法という）について簡単に説明する。図１２は、従来手法において、原画素と補間される補間画素との関係を示している。ライン（ｖ−１），ｖ，（ｖ＋１），（ｖ＋２）が原画像の水平ラインであり、ライン（ｗ−１），ｗ，（ｗ＋１）が補間される水平ラインである。ここでは、ラインｗ上の画素Ｘ（以下、補間画素Ｘという）を補間する場合について説明する。

補間画素Ｘの真上の原画素をＤ１２、補間画素Ｘの真下の原画素をＤ２２とする。原画素Ｄ１２の両隣の原画素をＤ１１，Ｄ１３とする。原画素Ｄ２２の両隣の原画素をＤ２１，Ｄ２３とする。また、原画素Ｄ１２の真上の原画素をＤ０２とし、原画素Ｄ２２の真下の原画素をＤ３２とする。

以下の説明においては、原画素Ｄ１１，Ｄ１２，Ｄ１３，Ｄ２１，Ｄ２２，Ｄ２３，Ｄ０２，Ｄ３２および補間画素Ｘの画素データを、それぞれｄ１１，ｄ１２，ｄ１３，ｄ２１，ｄ２２，ｄ２３，ｄ０２，ｄ３２および補間画素ｘで表す。

まず、補間画素Ｘが原画像のエッジ付近にあるか否かを判定するために、エッジ成分Ｅを、式：Ｅ＝−ｄ０２＋ｄ１２＋ｄ２２−ｄ３２、にて求める。補間画素Ｘが原画像の黒エッジ付近に存在している場合には、エッジ成分Ｅは負の比較的大きな値をとり、補間画素Ｘが原画像の白エッジ付近に存在している場合には、エッジ成分Ｅは正の比較的大きな値をとる。

次に、エッジ成分Ｅに基づいて、補間画素Ｘの画素データｘの設定可能範囲Ｓを決定し、補間画素Ｘを斜め方向に挟む対向画素の画素データに基づいて、補間画素Ｘの画素データの候補を、補間画素Ｘの画素データｘの設定可能範囲内から求める。つまり、２つの斜め方向相関値Ｌ，Ｒの最小値Ｌmin ，Ｒmin とその最小値を与える画素データｘｌ，ｘｒとを、補間画素Ｘの画素データｘの設定可能範囲Ｓ内から求める。ここの相関値Ｌ，Ｒは以下のように表される。

Ｌ＝｜ｄ１１−ｘ｜＋｜ｄ２３−ｘ｜、
Ｒ＝｜ｄ１３−ｘ｜＋｜ｄ２１−ｘ｜

そして、両最小相関値Ｌmin ，Ｒminのうち小さい方の相関値を与える画素データを抽出し、その抽出された画素データが補間画素Ｘの画素データｘとされる。尚、両最小相関値Ｌmin ，Ｒminが等しい場合には、画素データｘｌ，ｘｒの平均値が補間画素Ｘの画素データｘとされる。

しかしながら、上記従来手法においては、補間画素Ｘの画素データｘを算出するにあたって、補間画素Ｘそのものを斜め方向に挟む対向画素の画素データしか考慮されていなかった。従って、例えば、白の背景に斜めの黒い線があり、その白と黒の境界部分の原画素間を補間する際、その黒い線の傾きや位置の僅かな違いで斜め方向の相関値の最小値（ＬminやRmin）が大きく変化したり、補間画素の画素データが大きく変化したりする場合があった。このため、従来手法にあっては、画像再生の滑らかさは必ずしも十分といえなかった。

本発明は、上記の従来手法を改良したものであって、画像を補間する際に、エッジ部分にガタツキやボケが生じないようにできるとともに、より滑らかな画像再生を実現することができる画像補間装置、画像補間方法及び画像表示装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像補間装置は、第１の原画素と第２の原画素とを結ぶ方向を上下方向と、その上下方向と直角な方向を左右方向と、夫々定義し、前記第１の原画素と前記第２の原画素との中間位置に補間されるべき補間画素の画素データを算出する画像補間装置において、補間画素及び補間画素の左右方向に近接する複数の仮想画素とを演算対象画素とし、前記画像補間装置は、演算対象画素が原画像データのエッジ位置付近に存在するかを判定するためのエッジ成分を算出し、且つ該エッジ成分と演算対象画素の上下方向の原画素の画素データに基づいて、演算対象画素の画素データの設定可能範囲を算出する演算を行うものであって、その演算を演算対象画素毎に行うことにより演算対象画素毎に前記設定可能範囲を算出する設定範囲算出部と、演算対象画素を斜め方向に挟む対向画素の組をａ組選択し（ａは２以上の整数）、それらの組毎に、演算対象画素の画素データの設定可能範囲内において、演算対象画素の画素データと各対向画素の画素データとの差の減少に応じて減少する相関値の最小値を、暫定相関値として算出する演算を行うものであって、その演算を演算対象画素毎に行うことにより演算対象画素毎にａ個の前記暫定相関値を算出する暫定相関値算出部と、暫定相関値算出部にて算出された暫定相関値の内、傾きが同じの斜め方向同士の暫定相関値に応じた値の総和に応じた値を、候補相関値として斜め方向の種類毎に算出する候補相関値算出部と、補間画素について選択された前記ａ組の斜め方向の組毎に、補間画素の画素データの設定可能範囲内において、補間画素についての前記相関値に最小値を与える画素データを、候補画素データとして算出する候補画素データ算出部と、候補相関値算出部により算出された候補相関値と候補画素データ算出部により算出された候補画素データとに基づいて、補間画素の最終的な画素データを算出する補間データ算出部と、を備えたことを特徴とする。

上記画像補間装置においては、補間画素の画素データを算出する際、補間画素だけでなく、補間画素に近接する複数の仮想画素をも演算対象画素とし、演算対象画素毎に斜め方向の相関値の最小値を算出する。そして、同じ斜め方向同士の相関値の最小値（即ち、暫定相関値）を、例えば累積加算することにより、補間画素の最終的な画素データを算出するために用いられる候補相関値を算出する。

従って、例えば、白の背景に斜めの黒い線があり、その白と黒の境界部分の原画素間を補間するケースを考えた場合、その黒い線の傾きや位置の僅かな変化は、一部の暫定相関値に大きな影響を与えることがあったとしても、暫定相関値の累積加算に相当する候補相関値には大きな影響はない（“累積加算”は候補相関値の算出法の一例である）。そして、補間画素の最終的な画素データは、複数の演算対象画素についての斜め方向の相関値を考慮した候補相関値に基づいて算出されるため、安定して良好な補間動作が実現される。

つまり、上記画像補間装置を画像表示装置に組み込めば、画像補間時において、滑らかな画像再生を安定して実現することができる。また、各演算対象画素において、エッジ成分と演算対象画素の上下方向の原画素の画素データに基づいて、演算対象画素の画素データの設定可能範囲が定められるため、画像を補間したとき、エッジ部分にガタツキやボケが生じないようにできる。

尚、補間画素を挟む対向画素が、前記第１の原画素と前記第２の原画素の場合、補間画素を挟むその方向は上下方向なのであるが、本明細書においては、その方向を傾きゼロの斜め方向と捉える。従って、本明細書における「斜め方向」とは、上下方向をも含み得る。

また、上記構成において、例えば、或る演算対象画素の上下方向に隣接する原画素を第３の原画素及び第４の原画素とし、第３の原画素に隣接しかつ第４の原画素と反対側にある原画素を第５の原画素とし、第４の原画素に隣接しかつ第３の原画素と反対側にある原画素を第６の原画素とすると、設定範囲算出部は、第３、第４、第５及び第６の原画素の画素データに基づいて、前記エッジ成分を算出する。

また、上記構成において、例えば、各相関値は、演算対象画素の画素データと各対向画素の画素データとの差の絶対値の和に基づいて求められる。

また、上記構成において、例えば、前記演算対象画素は、第１、第２、・・・、第ｂ演算対象画素から成り（ｂは３以上の整数）、前記ａ組の斜め方向は、第１、第２、・・・、第ａ斜め方向から成り、第１、第２、・・・、第ａ斜め方向に対応する前記暫定相関値を、それぞれ第１、第２、・・・、第ａ暫定相関値と定め、第１、第２、・・・、第ａ斜め方向に対応する前記候補相関値を、それぞれ第１、第２、・・・、第ａ候補相関値と定めると、候補相関値算出部は、第ｃ候補相関値（ｃは１〜ａまでの整数）を、第１演算対象画素の第ｃ暫定相関値に応じた値と、第２演算対象画素の第ｃ暫定相関値に応じた値と、・・・、第ｂ演算対象画素の第ｃ暫定相関値に応じた値との総和に基づいて算出する。

また、上記構成において、例えば、補間データ算出部は、候補相関値算出部に算出された候補相関値の内、最小の候補相関値を与える斜め方向に対応する候補画素データに基づいて、補間画素の最終的な画素データを算出する。

また、上記目的を達成するために、本発明に係る画像補間方法は、第１の原画素と第２の原画素とを結ぶ方向を上下方向と、その上下方向と直角な方向を左右方向と、夫々定義し、前記第１の原画素と前記第２の原画素との中間位置に補間されるべき補間画素の画素データを算出する画像補間方法において、補間画素及び補間画素の左右方向に近接する複数の仮想画素とを演算対象画素とし、前記画像補間方法は、演算対象画素が原画像データのエッジ位置付近に存在するかを判定するためのエッジ成分を算出し、且つ該エッジ成分と演算対象画素の上下方向の原画素の画素データに基づいて、演算対象画素の画素データの設定可能範囲を算出する演算を行うステップであって、その演算を演算対象画素毎に行うことにより演算対象画素毎に前記設定可能範囲を算出する設定範囲算出ステップと、演算対象画素を斜め方向に挟む対向画素の組をａ組選択し（ａは２以上の整数）、それらの組毎に、演算対象画素の画素データの設定可能範囲内において、演算対象画素の画素データと各対向画素の画素データとの差の減少に応じて減少する相関値の最小値を、暫定相関値として算出する演算を行うステップであって、その演算を演算対象画素毎に行うことにより演算対象画素毎にａ個の前記暫定相関値を算出する暫定相関値算出ステップと、暫定相関値算出ステップにて算出された暫定相関値の内、傾きが同じの斜め方向同士の暫定相関値に応じた値の総和に応じた値を、候補相関値として斜め方向の種類毎に算出する候補相関値算出ステップと、補間画素について選択された前記ａ組の斜め方向の組毎に、補間画素の画素データの設定可能範囲内において、補間画素についての前記相関値に最小値を与える画素データを、候補画素データとして算出する候補画素データ算出ステップと、候補相関値算出ステップにより算出された候補相関値と候補画素データ算出ステップにより算出された候補画素データとに基づいて、補間画素の最終的な画素データを算出する補間データ算出ステップと、を備えたことを特徴とする。

上記画像補間方法においては、補間画素の画素データを算出する際、補間画素だけでなく、補間画素に近接する複数の仮想画素をも演算対象画素とし、演算対象画素毎に斜め方向の相関値の最小値を算出する。そして、同じ斜め方向同士の相関値の最小値（即ち、暫定相関値）を、例えば累積加算することにより、補間画素の最終的な画素データを算出するために用いられる候補相関値を算出する。

従って、例えば、白の背景に斜めの黒い線があり、その白と黒の境界部分の原画素間を補間するケースを考えた場合、その黒い線の傾きや位置の僅かな変化は、一部の暫定相関値に大きな影響を与えることがあったとしても、暫定相関値の累積加算に相当する候補相関値には大きな影響はない（“累積加算”は候補相関値の算出法の一例である）。そして、補間画素の最終的な画素データは、複数の演算対象画素についての斜め方向の相関値を考慮した候補相関値に基づいて算出されるため、安定して良好な補間動作が実現される。

つまり、上記画像補間方法用いて画像補間を行えば、画像補間時において、滑らかな画像再生を安定して実現することができる。また、各演算対象画素において、エッジ成分と演算対象画素の上下方向の原画素の画素データに基づいて、演算対象画素の画素データの設定可能範囲が定められるため、画像を補間したとき、エッジ部分にガタツキやボケが生じないようにできる。

また、例えば、上記画像補間方法を実行する演算回路を備えた画像補間装置を構成するようにするとよい。

また、上記目的を達成するために、本発明に係る画像表示装置は、上記画像補間装置と、原画素の画素データと前記画像補間装置により算出された補間画素の画素データに基づいて画像の表示を行う表示部と、を備えている。

上述した通り、本発明に係る画像補間装置、画像補間方法及び画像補間装置によれば、画像を補間する際に、エッジ部分にガタツキやボケが生じないようにできるとともに、より滑らかな画像再生を実現することができる。

以下、本発明を画像表示装置に実施した形態につき、図面に沿って具体的に説明する。

＜＜図１：画像表示装置の概略構成＞＞
図１は、本発明の実施の形態に係る画像表示装置１の全体構成図である。画像データ供給部２は、入力端子ＩＮを介して入力される画素データを自身の備えるメモリ（不図示）に格納する。この画像データ供給部２に与えられる画素データを、以下「原画素データ」と呼ぶことがある。画像データ供給部２には、画像補間部（画像補間装置）３が備えられており、その画像補間部３は、必要に応じて原画素間に補間される補間画素の画素データ（以下、「補間画素データ」と記すことがある）を算出する。駆動回路４は、画像データ供給部２から供給される原画素の画素データと必要に応じて算出される補間画素の画素データとに応じた信号を表示パネル（表示部）５に供給する。表示パネル５には、画素がマトリクス状に配置されており、表示パネル５は、駆動回路４から供給される信号に応じて各画素を多階調で発光させることにより、原画素の画素データ及び補間画素の画素データに基づいた画像の表示を行う。このように、画像表示装置１は、画像補間部３を備えた画像データ供給部２と、駆動回路４と、表示パネル５とから概略構成される。

また、１画面を構成する原画素データを総称して、以下、原画像データという。例えば、表示パネル画素の総数が１００×２００＝２００００の場合、１画面を構成する原画素データは、全部で２００００個ある。尚、画像データ供給部２の備えるメモリ（不図示）に、原画像データを構成する原画素データの全てを格納する必要は必ずしもなく、画像データ供給部２において格納する必要がある原画素データを、そのメモリに格納すれば足る。また、原画像データを構成する原画素データの内、画像データ供給部２における処理に必要な原画素データを、その都度、画像データ供給部２に供給するようにしてもいいし、原画像データを構成する原画素データの全てを同時期に画像データ供給部２に供給するようにしてもよい。

以下、画像補間部３が補間画素データの算出する動作（換言すれば、画像補間方法）について説明を行う。原画像データは、２次元の画像データである。２次元の画像は、水平方向と垂直方向の２次元的な広がりを持っている。しかしながら、説明の簡略化上、垂直方向の１次元の補間手法についてのみ説明を行う。勿論、水平方向の補間も、以下に説明する補間手法と同様の手法を用いて可能である。

＜＜図２：画像補間部３の概略構成＞＞
図２は、画像補間部３の内部構成を示すブロック図である。画像補間部３は、原画素データの供給を受け、後述する設定可能範囲Ｓ[ｍ]を出力する設定範囲算出部１１と、原画素データの供給を受け、後述する水平相関強度値ＨＣ[ｍ]<ｐ>を算出する水平相関値算出部１２と、原画素データの供給を受け、後述する垂直相関強度値ＶＣ[ｍ]<ｐ>を算出する垂直相関値算出部１３と、水平相関値算出部１２から供給される水平相関強度値ＨＣ[ｍ]<ｐ>、垂直相関値算出部１３から供給される垂直相関強度値ＶＣ[ｍ]<ｐ>、設定範囲算出部１１から供給される設定可能範囲Ｓ[ｍ]及び原画素データに基づいて、後述する暫定相関値ＴＣmin[ｍ]<ｐ>を算出する暫定相関値算出部１４と、暫定相関値算出部１４から供給される暫定相関値ＴＣmin[ｍ]<ｐ>を、例えば累積加算することにより、後述する候補相関値Ｃ<ｐ>を算出する候補相関値算出部１５と、原画素データ及び設定範囲算出部１１から供給される設定可能範囲Ｓ[ｍ]に基づいて、後述する候補画素データｘｃ<ｐ>を算出する候補画素データ算出部１６と、候補相関値算出部１５から供給される候補相関値Ｃ<ｐ>及び候補画素データ算出部１６から供給される候補画素データｘｃ<ｐ>に基づいて、補間画素の最終的な画素データｘ[ｍ]を算出するセレクタ（補間データ算出部）１７と、から概略構成される。上記のｍ及びｐは、共に整数の値をとる変数であるが、それらの変数がとり得る値及びその値の意味は、後の説明から明らかになる。

上記のように構成される画像補間部３を構成する各部（水平相関値算出部１２等）は、処理の高速化のため、集積回路（Integrated Circuit）にて構成されているが、汎用マイクロコンピュータ等の演算回路にソフトウェアを組み込み、上記と同様の機能（詳細は下記）を持たせることによって、画像補間部３を構成するようにしても構わない。

＜＜図３：原画素と補間画素の関係＞＞
図３は、原画素と補間される補間画素との関係を示している。ライン（ｎ−１），ｎ，（ｎ＋１），（ｎ＋２）が原画像の水平ラインであり、ライン（ｉ−１），ｉ，（ｉ＋１）が補間される水平ラインである（但し、ｎは整数）。図３において、水平ラインｎから水平ライン（ｎ−１）に向かう方向を上方向、水平ラインｎから水平ライン（ｎ＋１）に向かう方向を下方向と定める。また、各水平ライン（例えば、水平ラインｎ）に平行な方向を左右方向と定める。

ここでは、水平ラインｉ上の画素Ｘ[０]（以下、補間画素Ｘ[０]という）を補間する場合について説明する。勿論、水平ラインｉ上の他の画素（例えば、Ｘ[−１]等）を補間することも同様に可能であるし、水平ラインｉ以外の水平ライン（例えば、水平ライン（ｉ＋１）等）上の画素を補間することも同様に可能である。この際、補間されるべき画素の画素データを１つずつ算出するようにしても構わないし、補間されるべき複数の画素の画素データを同時に算出するようにしても構わない。

補間画素Ｘ[０]の真上に配置される原画素をＤ２[０]とする。この原画素Ｄ２[０]は、水平ラインｎ上に配置されている。補間画素Ｘ[０]の真下の原画素をＤ３[０]とする。この原画素Ｄ３[０]は、水平ライン（ｎ＋１）上に配置されている。また、原画素Ｄ２[０]の真上に配置される原画素をＤ１[０]とする。この原画素Ｄ１[０]は、水平ライン（ｎ−１）上に配置されている。原画素Ｄ３[０]の真下に配置される原画素をＤ４[０]とする。この原画素Ｄ４[０]は、水平ライン（ｎ＋２）上に配置されている。

各水平ライン上において、或る原画素と、その原画素に最も近接する原画素との間の距離をＬとする。水平ライン（ｎ−１）上において、原画素Ｄ１[０]の左側に配置され、原画素Ｄ１[０]との距離が１×Ｌ、２×Ｌ、３×Ｌ、４×Ｌの原画素を、夫々Ｄ１[−１]、Ｄ１[−２]、Ｄ１[−３]、Ｄ１[−４]と定めると共に、原画素Ｄ１[０]の右側に配置され、原画素Ｄ１[０]との距離が１×Ｌ、２×Ｌ、３×Ｌ、４×Ｌの原画素を、夫々Ｄ１[１]、Ｄ１[２]、Ｄ１[３]、Ｄ１[４]と定める。

同様に、水平ラインｎ上において、原画素Ｄ２[０]の左側に配置され、原画素Ｄ２[０]との距離が１×Ｌ、２×Ｌ、３×Ｌ、４×Ｌの原画素を、夫々Ｄ２[−１]、Ｄ２[−２]、Ｄ２[−３]、Ｄ２[−４]と定めると共に、原画素Ｄ２[０]の右側に配置され、原画素Ｄ２[０]との距離が１×Ｌ、２×Ｌ、３×Ｌ、４×Ｌの原画素を、夫々Ｄ２[１]、Ｄ２[２]、Ｄ２[３]、Ｄ２[４]と定める。同様に、水平ライン（ｎ＋１）上において、原画素Ｄ３[０]の左側に配置され、原画素Ｄ３[０]との距離が１×Ｌ、２×Ｌ、３×Ｌ、４×Ｌの原画素を、夫々Ｄ３[−１]、Ｄ３[−２]、Ｄ３[−３]、Ｄ３[−４]と定めると共に、原画素Ｄ３[０]の右側に配置され、原画素Ｄ３[０]との距離が１×Ｌ、２×Ｌ、３×Ｌ、４×Ｌの原画素を、夫々Ｄ３[１]、Ｄ３[２]、Ｄ３[３]、Ｄ３[４]と定める。同様に、水平ライン（ｎ＋２）上において、原画素Ｄ４[０]の左側に配置され、原画素Ｄ４[０]との距離が１×Ｌ、２×Ｌ、３×Ｌ、４×Ｌの原画素を、夫々Ｄ４[−１]、Ｄ４[−２]、Ｄ４[−３]、Ｄ４[−４]と定めると共に、原画素Ｄ４[０]の右側に配置され、原画素Ｄ４[０]との距離が１×Ｌ、２×Ｌ、３×Ｌ、４×Ｌの原画素を、夫々Ｄ４[１]、Ｄ４[２]、Ｄ４[３]、Ｄ４[４]と定める。

同様に、水平ラインｉ上において、補間画素Ｘ[０]の左側に配置され、補間画素Ｘ[０]との距離が１×Ｌ、２×Ｌ、３×Ｌ、４×Ｌの画素を、夫々Ｘ[−１]、Ｘ[−２]、Ｘ[−３]、Ｘ[−４]と定めると共に、補間画素Ｘ[０]の右側に配置され、補間画素Ｘ[０]との距離が１×Ｌ、２×Ｌ、３×Ｌ、４×Ｌの画素を、夫々Ｘ[１]、Ｘ[２]、Ｘ[３]、Ｘ[４]と定める。画素Ｘ[−１]、Ｘ[−２]、Ｘ[−３]、Ｘ[−４]、Ｘ[１]、Ｘ[２]、Ｘ[３]、Ｘ[４]は、補間される水平ラインｉ上の画素であるため、それらも補間画素と呼ぶことができるのであるが、上述したように補間画素Ｘ[０]を補間する（即ち、補間画素Ｘ[０]の画素データを算出する）場合についての説明を行うため、説明の便宜上、画素Ｘ[−１]、Ｘ[−２]、Ｘ[−３]、Ｘ[−４]、Ｘ[１]、Ｘ[２]、Ｘ[３]、Ｘ[４]を、以下、それぞれ仮想画素Ｘ[−１]、Ｘ[−２]、Ｘ[−３]、Ｘ[−４]、Ｘ[１]、Ｘ[２]、Ｘ[３]、Ｘ[４]と呼ぶことにする。

また、原画素、補間画素及び仮想画素の表記中の［ ］内の数値は、各水平ライン上における座標を表しており、各水平ラインにおいて、ある座標から距離Ｌだけ左側に向かえば、それらの［ ］内の数値は１だけ小さくなり、距離Ｌだけ右側に向かえばそれらの［ ］内の数値は１だけ大きくなる。

また、原画素Ｄ１[−４]、Ｄ１[−３]、Ｄ１[−２]、Ｄ１[−１]、Ｄ１[０]、Ｄ１[１]、Ｄ１[２]、Ｄ１[３]、Ｄ１[４]の画素データを、夫々ｄ１[−４]、ｄ１[−３]、ｄ１[−２]、ｄ１[−１]、ｄ１[０]、ｄ１[１]、ｄ１[２]、ｄ１[３]、ｄ１[４]で表す。同様に、原画素Ｄ２[−４]、Ｄ２[−３]、Ｄ２[−２]、Ｄ２[−１]、Ｄ２[０]、Ｄ２[１]、Ｄ２[２]、Ｄ２[３]、Ｄ２[４]の画素データを、夫々ｄ２[−４]、ｄ２[−３]、ｄ２[−２]、ｄ２[−１]、ｄ２[０]、ｄ２[１]、ｄ２[２]、ｄ２[３]、ｄ２[４]で表す。同様に、原画素Ｄ３[−４]、Ｄ３[−３]、Ｄ３[−２]、Ｄ３[−１]、Ｄ３[０]、Ｄ３[１]、Ｄ３[２]、Ｄ３[３]、Ｄ３[４]の画素データを、夫々ｄ３[−４]、ｄ３[−３]、ｄ３[−２]、ｄ３[−１]、ｄ３[０]、ｄ３[１]、ｄ３[２]、ｄ３[３]、ｄ３[４]で表す。同様に、原画素Ｄ４[−４]、Ｄ４[−３]、Ｄ４[−２]、Ｄ４[−１]、Ｄ４[０]、Ｄ４[１]、Ｄ４[２]、Ｄ４[３]、Ｄ４[４]の画素データを、夫々ｄ４[−４]、ｄ４[−３]、ｄ４[−２]、ｄ４[−１]、ｄ４[０]、ｄ４[１]、ｄ４[２]、ｄ４[３]、ｄ４[４]で表す。

また、仮想画素Ｘ[−４]、Ｘ[−３]、Ｘ[−２]、Ｘ[−１]、Ｘ[１]、Ｘ[２]、Ｘ[３]、Ｘ[４]の画素データを、夫々ｘ[−４]、ｘ[−３]、ｘ[−２]、ｘ[−１]、ｘ[１]、ｘ[２]、ｘ[３]、ｘ[４]で表す。補間画素Ｘ[０]の画素データをｘ[０]で表す。

また、各画素データは８ビットのデジタルデータから構成されており、黒の表示色に対応する黒データは“０”であり、白の表示色に対応する白データは“２５５”であるとする。つまり、各画素において、画素の輝度は画素データの数値が大きくなればなるほど大きくなり、逆に小さくなればなるほど小さくなる。尚、以下の説明において、ＭＡＸ（ｆ，ｇ）は、ｆとｇのうちの大きい方の値を選択することを示す記号である。ＭＩＮ（ｆ，ｇ）は、ｆとｇのうちの小さい方の値を選択することを示す記号である。

＜＜図４：動作説明＞＞
図４に示すフローチャートを参照して、画像補間部３の動作を詳細に説明する。ステップＳ１において、変数ｍのとり得る値をｍ＝−１、０、１とする。これは、画像補間部３の演算対象画素を仮想画素Ｘ[−１]、補間画素Ｘ[０]、及び仮想画素Ｘ[１]と定めることに相当する。つまり、画像補間部３の演算対象画素は、画素Ｘ[ｍ]である。この変数ｍがとる値（−１、０、１）は、予め設定されている値である。

＜＜＜ステップＳ２＞＞＞
ステップＳ１を終えて移行するステップＳ２とＳ３とで、設定範囲算出部１１は、演算対象画素である仮想画素Ｘ[−１]、補間画素Ｘ[０]、仮想画素Ｘ[１]の夫々の設定可能範囲Ｓ[−１]、Ｓ[０]、Ｓ[１]を算出する。設定可能範囲Ｓ[−１]、Ｓ[０]、Ｓ[１]の表記における[ ]内の数値は、設定可能範囲が算出される画素の水平ライン上の座標を表していることになる。

まず、ステップＳ２において、設定範囲算出部１１は、補間画素Ｘ[０]が原画像データのエッジ付近にあるか否かを判定するために、補間画素Ｘ[０]に対する第１エッジ成分Ｅａ[０]及び第２エッジ成分Ｅｓ[０]を、下記（式１）（式２）を用いて算出する（ステップＳ２）。

Ｅａ[０]＝−ｄ１[０]＋ｄ２[０]＋ｄ３[０]−ｄ４[０] ・・・（式１）
Ｅｓ[０]＝|−ｄ２[０]＋ｄ３[０]|
−ＭＩＮ（|−ｄ１[０]＋ｄ２[０]|，|−ｄ３[０]＋ｄ４[０]|）・・・（式２）

補間画素Ｘ［０］が原画像の黒エッジ付近に存在している場合には、第１エッジ成分Ｅａ[０]は負の比較的大きな値をとり、補間画素Ｘ［０］が原画像の白エッジ付近に存在している場合には、第１エッジ成分Ｅａ[０]は正の比較的大きな値をとる。また、補間画素Ｘ［０］が原画像の端エッジ付近に存在している場合には、第２エッジ成分Ｅｓ[０]は比較的大きな値をとり、補間画素Ｘ［０］が原画像の端エッジ付近に存在していない場合には、第２エッジ成分Ｅｓ[０]は比較的小さな値をとる。

また、ステップＳ２においては、補間画素Ｘ[０]に対する第１エッジ成分Ｅａ[０]及び第２エッジ成分Ｅｓ[０]の算出と同様に、仮想画素Ｘ[−１]に対する第１エッジ成分Ｅａ[−１]及び第２エッジ成分Ｅｓ[−１]の算出、並びに仮想画素Ｘ[１]に対する第１エッジ成分Ｅａ[１]及び第２エッジ成分Ｅｓ[１]の算出が行われる。Ｅａ[０]及びＥｓ[０]の算出、Ｅａ[−１]及びＥｓ[−１]の算出、Ｅａ[１]及びＥｓ[１]の算出は、算出の高速化等を目的として全て同時に行ってもいいし、回路規模の縮小化或いはプログラムの簡略化等を目的として順次行うようにしてもよい。これらの算出（Ｅａ[０]及びＥｓ[０]の算出も含む）は、具体的には、上記（式１）、（式２）を夫々、一般化した下記（式１ａ）、（式２ａ）を用いて行われる。

Ｅａ[ｍ]＝−ｄ１[ｍ]＋ｄ２[ｍ]＋ｄ３[ｍ]−ｄ４[ｍ] ・・・（式１ａ）
Ｅｓ[ｍ]＝|−ｄ２[ｍ]＋ｄ３[ｍ]|
−ＭＩＮ（|−ｄ１[ｍ]＋ｄ２[ｍ]|，|−ｄ３[ｍ]＋ｄ４[ｍ]|）・・・（式２ａ）

Ｅａ[−１]、Ｅａ[０]、Ｅａ[１]の算出時には、上記（式１ａ）において変数ｍを、夫々−１、０、１とすればよく、Ｅｓ [−１]、Ｅｓ[０]、Ｅｓ[１]の算出時には、上記（式２ａ）において変数ｍを、夫々−１、０、１とすればよい。

仮想画素Ｘ［−１］が原画像の黒エッジ付近に存在している場合には、第１エッジ成分Ｅａ[−１]は負の比較的大きな値をとり、仮想画素Ｘ［−１］が原画像の白エッジ付近に存在している場合には、第１エッジ成分Ｅａ[−１]は正の比較的大きな値をとる。また、仮想画素Ｘ［−１］が原画像の端エッジ付近に存在している場合には、第２エッジ成分Ｅｓ[−１]は比較的大きな値をとり、仮想画素Ｘ［−１］が原画像の端エッジ付近に存在していない場合には、第２エッジ成分Ｅｓ[−１]は比較的小さな値をとる。仮想画素Ｘ[１]についての第１エッジ成分Ｅａ[１]及び第２エッジ成分Ｅｓ[１]も、同様である。

尚、上記（式１）、（式２）、（式１ａ）及び（式２ａ）に示す第１エッジ成分及び第２エッジ成分の算出式は、一例であって、様々な変形が可能である。例えば、左右方向に隣接する原画素の画素データを考慮してＥａ[ｍ]及びＥｓ[ｍ]を算出してもよい。この場合、例えば、（式１ａ）及び（式２ａ）において、
ｄ１[ｍ]を（０．５×ｄ１[ｍ−１]＋ｄ１[ｍ]＋０．５×ｄ１[ｍ＋１]）／２と、
ｄ２[ｍ]を（０．５×ｄ２[ｍ−１]＋ｄ２[ｍ]＋０．５×ｄ２[ｍ＋１]）／２と、
ｄ３[ｍ]を（０．５×ｄ３[ｍ−１]＋ｄ３[ｍ]＋０．５×ｄ３[ｍ＋１]）／２と、
ｄ４[ｍ]を（０．５×ｄ４[ｍ−１]＋ｄ４[ｍ]＋０．５×ｄ４[ｍ＋１]）／２と、置き換えればよい。

＜＜＜ステップＳ３＞＞＞
ステップＳ２の処理の後に移行するステップＳ３において、設定範囲算出部１１は、原画素データと、第１エッジ成分Ｅａ[０]及び第２エッジ成分Ｅｓ[０] とに基づいて、補間画素Ｘ[０]の画素データｘ[０]の設定可能範囲Ｓ[０]を算出する。この設定可能範囲Ｓ[０]の設定の手法を、図５を参照しながら説明する。設定可能範囲Ｓ[０]の上限値をＳmax[０]、下限値をＳmin[０]とする。つまり、ステップＳ３においては、不等式Ｓmin[０]≦Ｓ[０] ≦Ｓmax[０]、を満たすＳmin[０]とＳmax[０]を求めることになる。

まず、Ｅａ[０]≧０のときには、
Ｓmax[０]＝（ｄ２[０]＋ｄ３[０]）／２＋|Ｅｓ[０]|×α１＋Ｅａ[０] ×α２、
Ｓmin[０]＝（ｄ２[０]＋ｄ３[０]）／２−|Ｅｓ[０]|×α１ ・・・（式３）
とされる。但し、α１、α２は、外部より制御可能な変数である。

つまり、第１エッジ成分Ｅａ[０]が０以上のときには、画素データｘ[０]の設定可能範囲Ｓ[０]は、図５（ａ）に示す如く、ｄ２[０]＋ｄ３[０]）／２を中心とした範囲“２×|Ｅｓ[０]|×α１”よりも、Ｅａ[０] ×α２の値分だけ上側（値の大きい側）に広がった範囲となる。つまり、補間画素Ｘ[０]が原画像の白エッジ付近に存在していると想定し、設定可能範囲Ｓ[０]を、ＭＡＸ（ｄ２[０]，ｄ３[０]）側に近い範囲（即ち、白に近い範囲）としている。

一方、Ｅａ[０]＜０のときには、
Ｓmax[０]＝（ｄ２[０]＋ｄ３[０]）／２＋|Ｅｓ[０]|×α１、
Ｓmin[０]＝（ｄ２[０]＋ｄ３[０]）／２−|Ｅｓ[０]|×α１＋Ｅａ[０] ×α２ ・・・（式４）
とされる。

つまり、第１エッジ成分Ｅａ[０]が０より小さいときには、画素データｘ[０]の設定可能範囲Ｓ[０]は、図５（ｂ）に示す如く、ｄ２[０]＋ｄ３[０]）／２を中心とした範囲“２×|Ｅｓ[０]|×α１”よりも、Ｅａ[０] ×α２の値分だけ下側（値の小さい側）に広がった範囲となる。つまり、補間画素Ｘ[０]が原画像の黒エッジ付近に存在していると想定し、設定可能範囲Ｓ[０]を、ＭＩＮ（ｄ２[０]，ｄ３[０]）側に近い範囲（即ち、黒に近い範囲）としている。

また、ステップＳ３においては、補間画素Ｘ[０]の画素データｘ[０]の設定可能範囲Ｓ[０]の算出と同様に、仮想画素Ｘ[−１]の画素データｘ[−１]の設定可能範囲Ｓ[−１]の算出、及び仮想画素Ｘ[１]の画素データｘ[１]の設定可能範囲Ｓ[１]の算出が行われる。Ｓ[０]の算出、Ｓ[−１]の算出、Ｓ[１]の算出は、算出の高速化等を目的として全て同時に行ってもいいし、回路規模の縮小化或いはプログラムの簡略化等を目的として順次行うようにしてもよい。これらの算出（Ｓ[０]の算出も含む）は、具体的には、上記（式３）、（式４）を夫々、一般化した下記（式３ａ）、（式４ａ）を用いて行われる。

Ｅａ[ｍ]≧０のとき、
Ｓmax[ｍ]＝（ｄ２[ｍ]＋ｄ３[ｍ]）／２＋|Ｅｓ[ｍ]|×α１＋Ｅａ[ｍ] ×α２、
Ｓmin[ｍ]＝（ｄ２[ｍ]＋ｄ３[ｍ]）／２−|Ｅｓ[ｍ]|×α１ ・・・（式３ａ）

Ｅａ[ｍ]＜０のとき、
Ｓmax[ｍ]＝（ｄ２[ｍ]＋ｄ３[ｍ]）／２＋|Ｅｓ[ｍ]|×α１、
Ｓmin[ｍ]＝（ｄ２[ｍ]＋ｄ３[ｍ]）／２−|Ｅｓ[ｍ]|×α１＋Ｅａ[ｍ] ×α２ ・・・（式４ａ）

ここで、設定可能範囲Ｓ[ｍ]の上限値をＳmax[ｍ]、下限値をＳmin[ｍ]とする。Ｓmax[−１]、Ｓmax[０]、Ｓmax[１]の算出時には、上記（式３ａ）及び（式４ａ）において変数ｍを、夫々−１、０、１とすればよく、Ｓmin[−１]、Ｓmin [０]、Ｓmin [１]の算出時には、上記（式３ａ）及び（式４ａ）において変数ｍを、夫々−１、０、１とすればよい。

＜＜＜ステップＳ４＞＞＞
ステップＳ３を終えて移行するステップＳ４では、補間画素Ｘ[０]を斜め方向に挟む対向画素の画素データに基づいて、補間画素Ｘ[０]の画素データの候補を、補間画素Ｘ[０]の画素データｘ[０]の設定可能範囲Ｓ[０]内から求める。より詳しくは、以下に説明するように、３つの斜め方向相関値ＴＣ[０]<−１>、ＴＣ[０]<０>、ＴＣ[０]<１>の各最小値ＴＣmin[０]<−１>、ＴＣmin [０]<０>、ＴＣmin [０]<１>と、その最小値を与える各画素データｘｃ<−１>、ｘｃ<０>、ｘｃ<１>とを、補間画素Ｘ[０]の画素データｘ[０]の設定可能範囲Ｓ[０]内から求める。

ＴＣmin[０]<−１>、ＴＣmin [０]<０>、ＴＣmin [０]<１>は、暫定相関値算出部１４によって求められ、それらは暫定相関値として後段の候補相関値算出部１５に与えられる。ｘｃ<−１>、ｘｃ<０>、ｘｃ<１>は、候補画素データ算出部１６によって求められ、それらは候補画素データ（最終的な画素データｘ[０]の候補）として後段のセレクタ１７に与えられる。

（[ ]、< >内の数値の意味）
斜め方向相関値（以下、単に「相関値」という）ＴＣ[０]<−１>、ＴＣ[０]<０>、ＴＣ[０]<１>の表記における[ ]内の数値は、演算対象画素の水平ライン上の座標を表している。従って、ＴＣ[０]<−１>、ＴＣ[０]<０>、ＴＣ[０]<１>は、全て補間画素Ｘ[０]を演算対象画素とした相関値である。

また、相関値ＴＣ[０]<−１>、ＴＣ[０]<０>、ＴＣ[０]<１>の表記における< >内の数値は、演算対象画素を挟む斜め方向の種類を表している。演算対象画素を補間画素Ｘ[０]としたとき、その補間画素Ｘ[０]を挟む対向画素が（Ｄ２[ｐ]、Ｄ３[−ｐ]）である場合の斜め方向を<ｐ>とする（ｐは整数）。画素数が許す限り、ｐは様々な整数値をとっても良いが、本実施形態では、説明の簡略化上、ｐは、３つの整数（―１、０、１）のみをとるものとする。

図６を参照すると、斜め方向<−１>、<０>、<１>は、それぞれ矢印破線４０、４１、４２に対応している。即ち、斜め方向が<−１>の場合、補間画素Ｘ[０]を挟む対向画素は（Ｄ２[−１]、Ｄ３[１]）となり、斜め方向が<０>の場合、補間画素Ｘ[０]を挟む対向画素は（Ｄ２[０]、Ｄ３[０]）となり、斜め方向が<１>の場合、補間画素Ｘ[０]を挟む対向画素は（Ｄ２[１]、Ｄ３[−１]）となる。補間画素Ｘ[０]を挟む対向画素が（Ｄ２[０]、Ｄ３[０]）の場合、補間画素Ｘ[０]を挟むその方向は上下方向なのであるが、本明細書においては、その方向を傾きゼロの斜め方向と捉え、その方向をも斜め方向と呼ぶことにする。尚、図６は、図３に示される画素の一部分を表示したものであり、図６において、図３と同一の部分には、同一の符号を付している。

また、演算対象画素を仮想画素Ｘ[ｍ]としたとき、その補間画素Ｘ[ｍ]を挟む対向画素が（Ｄ２[ｍ＋ｐ]、Ｄ３[ｍ−ｐ]）である場合の斜め方向は、<ｐ>となる。例えば、斜め方向<−１>の場合（即ち、ｐ＝−１の場合）、ｍ＝−１に対応する仮想画素Ｘ[−１]を挟む対向画素は（Ｄ２[−２]、Ｄ３[０]）となる。

上述したような、[ ]内の数値が表す意味、< >内の数値が表す意味は、後述する水平相関強度値ＨＣ[ｍ]<ｐ>及び垂直相関強度値ＶＣ[ｍ]<ｐ>の表記においても、同様である。また、上述したような、< >内の数値が表す意味は、上記の候補画素データｘｃ<ｐ>及び後述する候補相関値Ｃ<ｐ>の表記においても、同様である。

（ＴＣmin[０]<−１>の求め方）
暫定相関値ＴＣmin[０]<−１>、ＴＣmin [０]<０>、ＴＣmin [０]<１>の求め方は、同様であるため、ＴＣmin[０]<−１>を例にとり、その求め方を詳しく説明する。また、候補画素データｘｃ<−１>、ｘｃ<０>、ｘｃ<１>の求め方は、同様であるため、暫定相関値ＴＣmin[０]<−１>に対応する候補画素データｘｃ<−１>を例にとり、その求め方を詳しく説明する。

まず、相関値ＴＣ[０]<−１>について説明する。相関値ＴＣ[０]<−１>は、補間画素Ｘ[０]の画素データと対向画素Ｄ２[−１]、Ｄ３[１]の画素データとの相関を表すものであり、相関値ＴＣ[０]<−１>は、下記（式５）により表される。

ＴＣ[０]<−１>＝|ｄ２[−１]−ｘ[０]|＋|ｄ３[１]−ｘ[０]|
＋ＨＣ[０]<−１>×β−|ＶＣ[０]<−１>|×γ
＝|ｄ２[−１]−ｘ[０]|＋|ｄ３[１]−ｘ[０]|＋φ[０]<−１> ・・・（式５）

但し、（式５）において、β、γは外部から制御可能な変数であり、また、φ[０]<−１>＝ＨＣ[０]<−１>×β−|ＶＣ[０]<−１>|×γ、が成立する。

（式５）から理解できるように、相関値ＴＣ[０]<−１>は、演算対象画素である補間画素Ｘ[０]の画素データｘ[０]と対向画素Ｄ２[−１]、Ｄ３[１]の画素データｄ２[−１]、ｄ３[１]との近似関係を表しており、ｘ[０]とｄ２[−１]の差が減少すれば相関値ＴＣ[０]<−１>は減少し、ｘ[０]とｄ３[１]の差が減少しても相関値ＴＣ[０]<−１>は減少する。その逆もまた真である。

（式５）におけるＨＣ[０]<−１>は、下記（式６）によって求められる量ｄ２[−２]〜ｄ２[０]の水平方向の変化量ｈｃ１[０]<−１>と、下記（式７）によって求められる量ｄ３[０]〜ｄ２[２]の水平方向の変化量ｈｃ２[０]<−１>とを用いて、下記（式８）にて表される値であり、演算対象画素である補間画素Ｘ[０]の斜め方向<−１>に対応する水平相関強度値である。

水平方向の変化量ｈｃ１[０]<−１>は、図６の破線部５０内における原画素の画素データ、即ち、対向画素Ｄ２[−１]の画素データと対向画素Ｄ２[−１]を中心とした水平方向の周辺画素Ｄ２[−２]、Ｄ２[０]の画素データとに基づいて表される。水平方向の変化量ｈｃ２[０]<−１>は、図６の破線部５１内における原画素の画素データ、即ち、対向画素Ｄ３[１]の画素データと対向画素Ｄ３[１]を中心とした水平方向の周辺画素Ｄ３[０]、Ｄ３[２]の画素データとに基づいて表される。

ｈｃ１[０]<−１>＝−ｄ２[−２]＋２×ｄ２[−１]−ｄ２[０] ・・・（式６）
ｈｃ２[０]<−１>＝−ｄ３[０]＋２×ｄ３[１]−ｄ３[２] ・・・（式７）

ＨＣ[０]<−１>＝ＭＡＸ（ｈｃ１[０]<−１>，ｈｃ２[０]<−１>）
（ｈｃ１[０]<−１> ＜０、且つｈｃ２[０]<−１> ＜０の時）、
ＨＣ[０]<−１>＝ＭＩＮ（ｈｃ１[０]<−１>，ｈｃ２[０]<−１>）
（ｈｃ１[０]<−１> ≧０、且つｈｃ２[０]<−１> ≧０の時）、
ＨＣ[０]<−１>＝０
（ｈｃ１[０]<−１> ≧０、且つｈｃ２[０]<−１> ＜０
又は、ｈｃ１[０]<−１> ＜０、且つｈｃ２[０]<−１> ≧０） ・・・（式８）

ｈｃ１[０]<−１>とｈｃ２[０]<−１>の双方がゼロより小さい場合は、水平相関強度値ＨＣ[０]<−１>は、ｈｃ１[０]<−１>とｈｃ２[０]<−１>の内、大きい方の値となる一方、ｈｃ１[０]<−１>とｈｃ２[０]<−１>の双方がゼロ以上の場合は、水平相関強度値ＨＣ[０]<−１>は、ｈｃ１[０]<−１>とｈｃ２[０]<−１>の内、小さい方の値となる。また、その何れにも当てはまらない場合、即ち、“ｈｃ１[０]<−１>がゼロ以上且つｈｃ２[０]<−１>がゼロ未満”、又は“ｈｃ１[０]<−１>がゼロ未満且つｈｃ２[０]<−１>がゼロ以上”の場合は、水平相関強度値ＨＣ[０]<−１>はゼロとなる。

また、（式５）におけるＶＣ[０]<−１>は、下記（式９）によって求められる量ｄ１[−１]〜ｄ３[−１]の垂直方向の変化量ｖｃ１[０]<−１>と、下記（式１０）によって求められる量ｄ２[１]〜ｄ４[１]の垂直方向の変化量ｖｃ２[０]<−１>とを用いて、下記（式１１）にて表される値であり、演算対象画素である補間画素Ｘ[０]の斜め方向<−１>に対応する垂直相関強度値である。

垂直方向の変化量ｖｃ１[０]<−１>は、図６の破線部５２内における原画素の画素データ、即ち、対向画素Ｄ２[−１]の画素データと対向画素Ｄ２[−１]を中心とした垂直方向の周辺画素Ｄ１[−１]、Ｄ３[−１]の画素データとに基づいて表される。垂直方向の変化量ｖｃ２[０]<−１>は、図６の破線部５３内における原画素の画素データ、即ち、対向画素Ｄ３[１]の画素データと対向画素Ｄ３[１]を中心とした垂直方向の周辺画素Ｄ２[１]、Ｄ４[１]の画素データとに基づいて表される。

ｖｃ１[０]<−１>＝−ｄ１[−１]＋２×ｄ２[−１]−ｄ３[−１] ・・・（式９）
ｖｃ２[０]<−１>＝−ｄ２[１]＋２×ｄ３[１]−ｄ４[１] ・・・（式１０）

ＶＣ[０]<−１>＝ＭＡＸ（ｖｃ１[０]<−１>，ｖｃ２[０]<−１>）
（ｖｃ１[０]<−１> ＜０、且つｖｃ２[０]<−１> ＜０の時）、
ＶＣ[０]<−１>＝ＭＩＮ（ｖｃ１[０]<−１>，ｖｃ２[０]<−１>）
（ｖｃ１[０]<−１> ≧０、且つｖｃ２[０]<−１> ≧０の時）、
ＶＣ[０]<−１>＝０
（ｖｃ１[０]<−１> ≧０、且つｖｃ２[０]<−１> ＜０
又は、ｖｃ１[０]<−１> ＜０、且つｖｃ２[０]<−１> ≧０） ・・・（式１１）

ｖｃ１[０]<−１>とｖｃ２[０]<−１>の双方がゼロより小さい場合は、垂直相関強度値ＶＣ[０]<−１>は、ｖｃ１[０]<−１>とｖｃ２[０]<−１>の内、大きい方の値となる一方、ｖｃ１[０]<−１>とｖｃ２[０]<−１>の双方がゼロ以上の場合は、垂直相関強度値ＶＣ[０]<−１>は、ｖｃ１[０]<−１>とｖｃ２[０]<−１>の内、小さい方の値となる。また、その何れにも当てはまらない場合、即ち、“ｖｃ１[０]<−１>がゼロ以上且つｖｃ２[０]<−１>がゼロ未満”、又は“ｖｃ１[０]<−１>がゼロ未満且つｖｃ２[０]<−１>がゼロ以上”の場合は、垂直相関強度値ＶＣ[０]<−１>はゼロとなる。

上記（式５）〜（式１１）から理解されるように、相関値ＴＣ[０]<−１>は、演算対象画素である補間画素Ｘ[０]の画素データｘ[０]と各対向画素の画素データｄ２[−１]、ｄ３[１]との差の絶対値の和と、各対向画素の周辺の原画素の画素データとに基づいて算出される補正値φ[０]<−１>と、で表される。

相関値ＴＣ[０]<−１>の最小値を求める手法としては手法Ａと手法Ｂの２つの手法の何れかを採用できる。手法Ａは、設定可能範囲Ｓ[０]内の値を次々と上記（式５）のｘ[０]に代入し、その代入によって得られた値を比較することにより、設定可能範囲Ｓ[０]内における相関値ＴＣ[０]<−１>の最小値を求める手法である。

一方、手法Ｂは、次に示す（式１２）を利用して相関値ＴＣ[０]<−１>の最小値を求める手法である。(式１２)を示す前に、図７の説明を行う。図７における折れ線５４は、演算対象画素である補間画素Ｘ[０]の画素データｘ[０]と相関値ＴＣ[０]<−１>との関係を表している。図７における縦軸の表示は、図の簡略化のため、単に相関値ＴＣとなっているが、正確には、相関値ＴＣ[０]<−１>である。これは、後述する図８（ａ）〜図８（ｆ）においても同様である。また、図７に示される表記ｘmin、ｘmaxは、正確には夫々ｘmin[０]<−１>、ｘmax[０]<−１>であるが、図の簡略化のため、“[０]<−１>”の表記を省略している。これは、後述する図８（ａ）〜図８（ｆ）においても同様である。図７の折れ線５４からも分かるように、（式５）は、下記（式１２）のように変形できる。

ＴＣ[０]<−１>＝ｘmax[０]<−１>−ｘmin[０]<−１>＋φ[０]<−１>＋２×（ｘ[０]−ｘmax[０]<−１>）
（但し、ｘ[０]＞ｘmax[０]<−１>の時）、
ＴＣ[０]<−１>＝ｘmax[０]<−１>−ｘmin[０]<−１>＋φ[０]<−１>
（但し、ｘmin[０]<−１>≦ｘ[０] ≦ｘmax[０]<−１>の時）、
ＴＣ[０]<−１>＝ｘmax[０]<−１>−ｘmin[０]<−１>＋φ[０]<−１>＋２×（ｘmin[０]<−１> −ｘ[０]）
（但し、ｘ[０]＜ｘmin [０]<−１>の時） ・・・・・・・・・・・・・・（式１２）

ここで、ｘmin[０]<−１>は、各対向画素の画素データｄ２[−１]とｄ３[１]の内、小さい方の値を表し、ｘmax[０]<−１>は、各対向画素の画素データｄ２[−１]とｄ３[１]の内、大きい方の値を表す。即ち、下記（式１３）が成立する。

ｘmin[０]<−１>＝ＭＩＮ（ｄ２[−１]，ｄ３[１]）
ｘmax[０]<−１>＝ＭＡＸ（ｄ２[−１]，ｄ３[１]） ・・・（式１３）

上記（式１２）と図７に示すグラフから、相関値ＴＣ[０]<−１>の最小値ＴＣmin[０]<−１>は、以下のように求められる。尚、図８（ａ）〜図８（ｆ）は、画素データｘ[０]と相関値ＴＣ[０]<−１>との関係を示す折れ線５４を示すと共に、夫々、画素データｘ[０]の設定可能範囲Ｓ[０]を示す矢印５５、５６、５７、５８、５９、６０を示しており、以下の説明にて参照される。

まず、Ｓmax[０]＜ｘmin[０]<−１>のとき、即ち、設定可能範囲Ｓ[０]の最大値Ｓmax[０]が画素データｄ２[−１]、ｄ３[１]の双方よりも小さいとき、図８（ａ）に示すように、ｘ[０]＝Ｓmax[０]で相関値ＴＣ[０]<−１>は最小となる。つまり、最小相関値ＴＣmin[０]<−１>は、
（ｘmin[０]<−１>＋ｘmax[０]<−１>）−２×Ｓmax[０]＋φ[０]<−１>、となる。また、この最小相関値を与える補間画素Ｘ[０]の画素データｘ[０]は、Ｓmax[０]である。従って、この場合、候補画素データ算出部１６は、Ｓmax[０]を候補画素データｘｃ<−１>として出力する。

次に、Ｓmin[０]＞ｘmax[０]<−１>のとき、即ち、設定可能範囲Ｓ[０]の最小値Ｓmin[０]がｘmax[０]<−１>よりも大きいとき、図８（ｂ）に示すように、ｘ[０]＝Ｓmin[０]で相関値ＴＣ[０]<−１>は最小となる。つまり、最小相関値ＴＣmin[０]<−１>は、
２×Ｓmin[０]−（ｘmin[０]<−１>＋ｘmax[０]<−１>）＋φ[０]<−１>、となる。また、この最小相関値を与える補間画素Ｘ[０]の画素データｘ[０]は、Ｓmin[０]である。従って、この場合、候補画素データ算出部１６は、Ｓmin[０]を候補画素データｘｃ<−１>として出力する。

次に、ｘmin[０]<−１>≦Ｓmin[０]≦ｘmax[０]<−１>が成立するとき、ｘmin[０]<−１>≦Ｓmax[０]≦ｘmax[０]<−１>が成立するとき、又はＳmin[０]＜ｘmin[０]<−１>且つＳmax[０]＞ｘmax[０]<−１>が成立するとき、即ち、ｘmin[０]<−１>〜ｘmax[０]<−１>の範囲と設定可能範囲Ｓ[０]とに重なる部分がある場合、図８（ｃ）〜図８（ｆ）に示すように、最小相関値ＴＣmin[０]<−１>は、
ｘmax[０]<−１>−ｘmin[０]<−１>＋φ[０]<−１>、となる（（式１２）を参照）。また、この最小値を与える補間画素Ｘ[０]の画素データｘ[０]は、複数の値をとりうるが、図８（ｃ）〜図８（ｆ）に示すように、設定可能範囲Ｓ[０]内であって、且つｘmin[０]〜ｘmax[０]の範囲内の値の中央値が候補画素データｘｃ<−１>として決定される。つまり、ｘｃ<−１>は、（ＭＩＮ（Ｓmax[０]，ｘmax[０]<−１>）＋ＭＡＸ（Ｓmin[０]，ｘmin[０]<−１>）／２、とされる。

このようにして、ステップＳ４において、斜め方向<−１>に対応する相関値ＴＣ[０]<−１>の最小値ＴＣmin[０]<−１>と、その最小値を与える画素データｘｃ<−１>とが、補間画素Ｘ[０]の画素データｘ[０]の設定可能範囲Ｓ[０]内から求める。この最小相関値ＴＣmin[０]<−１>は、暫定相関値として後段の候補相関値算出部１５に与えられ、画素データｘｃ<−１>は、候補画素データとして後段のセレクタ１７に与えられる。

また、ステップＳ４においては、暫定相関値ＴＣmin[０]<−１>及び候補画素データｘｃ<−１>の算出と同様に、斜め方向<０>に対応する暫定相関値ＴＣmin[０]<０>及び候補画素データｘｃ<０>の算出、並びに斜め方向<１>に対応する暫定相関値ＴＣmin[０]<１>及び候補画素データｘｃ<１>の算出が、同時に或いは順次に行われる。これらの算出（斜め方向<−１>に対応するＴＣmin[０]<−１>及びｘｃ<−１>の算出も含む）は、具体的には、上記（式５）〜（式１３）を、それぞれ一般化した下記（式５ａ）〜（式１３ａ）を用いて行われる。（式５ａ）〜（式１３ａ）におけるｍには、演算対象画素の水平ライン上の座標が代入され、ｐには、演算対象画素を挟む斜め方向に対応する数値が代入される。例えば、演算対象画素が仮想画素Ｘ[１]であり、仮想画素Ｘ[１]を斜め方向に挟む対向画素が、Ｄ２[２]とＤ３[０]である場合は、（式５ａ）〜（式１３ａ）において、ｍ＝１、ｐ＝１として、上記手法Ａ又は手法Ｂを用いつつ、暫定相関値ＴＣmin[１]<１>及び候補画素データｘｃ<１>を求めればいい。

ＴＣ[ｍ]<ｐ>＝|ｄ２[ｍ＋ｐ]−ｘ[ｍ]|＋|ｄ３[ｍ−ｐ]−ｘ[ｍ]|
＋ＨＣ[ｍ]<ｐ>×β−|ＶＣ[ｍ]<ｐ>|×γ
＝|ｄ２[ｍ＋ｐ]−ｘ[ｍ]|＋|ｄ３[ｍ−ｐ]−ｘ[ｍ]|＋φ[ｍ]<ｐ>
（但し、φ[ｍ]<ｐ>＝ＨＣ[ｍ]<ｐ>×β−|ＶＣ[ｍ]<ｐ>|×γ） ・・・（式５ａ）

ｈｃ１[ｍ]<ｐ>＝−ｄ２[ｍ＋ｐ−１]＋２×ｄ２[ｍ＋ｐ]−ｄ２[ｍ＋ｐ＋１] ・・・（式６ａ）
ｈｃ２[ｍ]<ｐ>＝−ｄ３[ｍ−ｐ−１]＋２×ｄ３[ｍ−ｐ]−ｄ３[ｍ−ｐ＋１] ・・・（式７ａ）

ＨＣ[ｍ]<ｐ>＝ＭＡＸ（ｈｃ１[ｍ]<ｐ>，ｈｃ２[ｍ]<ｐ>）
（ｈｃ１[ｍ]<ｐ> ＜０、且つｈｃ２[ｍ]<ｐ> ＜０の時）、
ＨＣ[ｍ]<ｐ>＝ＭＩＮ（ｈｃ１[ｍ]<ｐ>，ｈｃ２[ｍ]<ｐ>）
（ｈｃ１[ｍ]<ｐ> ≧０、且つｈｃ２[ｍ]<ｐ> ≧０の時）、
ＨＣ[ｍ]<ｐ>＝０
（ｈｃ１[ｍ]<ｐ> ≧０、且つｈｃ２[ｍ]<ｐ> ＜０
又は、ｈｃ１[ｍ]<ｐ> ＜０、且つｈｃ２[ｍ]<ｐ> ≧０） ・・・（式８ａ）

ｖｃ１[ｍ]<ｐ>＝−ｄ１[ｍ＋ｐ]＋２×ｄ２[ｍ＋ｐ]−ｄ３[ｍ＋ｐ] ・・・（式９ａ）
ｖｃ２[ｍ]<ｐ>＝−ｄ２[ｍ−ｐ]＋２×ｄ３[ｍ−ｐ]−ｄ４[ｍ−ｐ] ・・・（式１０ａ）

ＶＣ[ｍ]<ｐ>＝ＭＡＸ（ｖｃ１[ｍ]<ｐ>，ｖｃ２[ｍ]<ｐ>）
（ｖｃ１[ｍ]<ｐ> ＜０、且つｖｃ２[ｍ]<ｐ> ＜０の時）、
ＶＣ[ｍ]<ｐ>＝ＭＩＮ（ｖｃ１[ｍ]<ｐ>，ｖｃ２[ｍ]<ｐ>）
（ｖｃ１[ｍ]<ｐ> ≧０、且つｖｃ２[ｍ]<ｐ> ≧０の時）、
ＶＣ[ｍ]<ｐ>＝０
（ｖｃ１[ｍ]<ｐ> ≧０、且つｖｃ２[ｍ]<ｐ> ＜０
又は、ｖｃ１[ｍ]<ｐ> ＜０、且つｖｃ２[ｍ]<ｐ> ≧０） ・・・（式１１ａ）

ＴＣ[ｍ]<ｐ>＝ｘmax[ｍ]<ｐ>−ｘmin[ｍ]<ｐ>＋φ[ｍ]<ｐ>＋２×（ｘ[ｍ]−ｘmax[ｍ]<ｐ>）
（但し、ｘ[ｍ]＞ｘmax[ｍ]<ｐ>の時）、
ＴＣ[ｍ]<ｐ>＝ｘmax[ｍ]<ｐ>−ｘmin[ｍ]<ｐ>＋φ[ｍ]<ｐ>
（但し、ｘmin[ｍ]<ｐ>≦ｘ[ｍ]≦ｘmax[ｍ]<ｐ>の時）、
ＴＣ[ｍ]<ｐ>＝ｘmax[ｍ]<ｐ>−ｘmin[ｍ]<ｐ>＋φ[ｍ]<ｐ>＋２×（ｘmin[ｍ]<ｐ>−ｘ[ｍ]）
（但し、ｘ[ｍ]＜ｘmin [ｍ]<ｐ>の時） ・・・・・・・・・・・・・・（式１２ａ）

ｘmin[ｍ]<ｐ>＝ＭＩＮ（ｄ２[ｍ＋ｐ]，ｄ３[ｍ−ｐ]）
ｘmax[ｍ]<ｐ>＝ＭＡＸ（ｄ２[ｍ＋ｐ]，ｄ３[ｍ−ｐ]） ・・・（式１３ａ）

＜＜＜ステップＳ５＞＞＞
また、ステップＳ５においては、ステップＳ４における暫定相関値ＴＣmin[０]<−１>、ＴＣmin[０]<０>及びＴＣmin[０]<１>の算出と同様に、演算対象画素を仮想画素Ｘ[−１]とした（即ち、ｍ＝−１とした）暫定相関値ＴＣmin[−１]<−１>、ＴＣmin[−１]<０>及びＴＣmin[−１]<１>の算出、ならびに演算対象画素を仮想画素Ｘ[１]とした（即ち、ｍ＝１とした）暫定相関値ＴＣmin[１]<−１>、ＴＣmin[１]<０>及びＴＣmin[１]<１>の算出が、同時に或いは順次に行われる。説明の便宜上、ステップＳ４とステップＳ５とのステップを分けて説明しているが、ステップＳ４とステップＳ５の処理は並行して行われる（勿論、順次に行うようにしても構わない）。ステップＳ５における算出も、上記（式５ａ）〜（式１３ａ）を用いて行われる（但し、ｍ＝−１、１とする）。

＜＜＜ステップＳ６＞＞＞
ステップＳ５の後に移行するステップＳ６では、候補相関値算出部１５が、傾きが同じ斜め方向同士の暫定相関値ＴＣmin[ｍ]<ｐ>を累積加算することにより、候補相関値Ｃ<ｐ>を算出する。具体的には、斜め方向<−１>、<０>、<１>の夫々に対応する候補相関値Ｃ<−１>、Ｃ<０>、Ｃ<１>は、下記（式１４）を用いて求められる。

Ｃ<−１>＝ＴＣmin[−１]<−１>＋ＴＣmin[０]<−１>＋ＴＣmin[１]<−１>、
Ｃ<０> ＝ＴＣmin[−１]<０> ＋ＴＣmin[０]<０> ＋ＴＣmin[１]<０>、
Ｃ<１> ＝ＴＣmin[−１]<１> ＋ＴＣmin[０]<１> ＋ＴＣmin[１]<１> ・・・（式１４）

即ち、図９（ａ）の破線矢印６１、６２、６３の夫々に対応する、各演算対象画素（Ｘ[−１]、Ｘ[０]、Ｘ[１]）の斜め方向<−１>の暫定相関値ＴＣmin[−１]<−１>、ＴＣmin[０]<−１>、ＴＣmin[１]<−１>の総和を、斜め方向<−１>の候補相関値Ｃ<−１>とする。同様に、図９（ｂ）の破線矢印６４、６５、６６の夫々に対応する、各演算対象画素（Ｘ[−１]、Ｘ[０]、Ｘ[１]）の斜め方向<０>の暫定相関値ＴＣmin[−１]<０>、ＴＣmin[０]<０>、ＴＣmin[１]<０>の総和を、斜め方向<０>の候補相関値Ｃ<０>とする。同様に、図９（ｃ）の破線矢印６７、６８、６９の夫々に対応する、各演算対象画素（Ｘ[−１]、Ｘ[０]、Ｘ[１]）の斜め方向<１>の暫定相関値ＴＣmin[−１]<１>、ＴＣmin[０]<１>、ＴＣmin[１]<１>の総和を、斜め方向<１>の候補相関値Ｃ<１>とする。尚、図９（ａ）〜図９（ｃ）は、図３に示される画素の一部分を表示したものであり、図９（ａ）〜図９（ｃ）において、図３と同一の部分には、同一の符号を付している。

また、（式１４）を一般化した式は、下記（式１４ａ）のようになる。（式１４ａ）において、ｍａは負の整数であって、ｍの最小値を示しており、ｍｂは正の整数であって、ｍの最大値を示している。

Ｃ<ｐ>＝ＴＣmin[ｍａ]<ｐ>＋ＴＣmin[ｍａ＋１]<ｐ>＋・・・＋ＴＣmin[０]<ｐ>＋・・・
＋ＴＣmin[ｍｂ−１]<ｐ>＋ＴＣmin[ｍｂ]<ｐ> ・・・（式１４ａ）

（式１４ａ）におけるｍには、演算対象画素の水平ライン上の座標が代入され、ｐには、演算対象画素を挟む斜め方向に対応する数値が代入される。また、（式１４）の代わりに下記（式１４ｂ）を用いて候補相関値Ｃ<−１>、Ｃ<０>、Ｃ<１>を求めても構わない。即ち、加算対象となる各暫定相関値に、重み付け係数ｋ_-1，ｋ₀，ｋ₁を付与しても構わない。重み付け係数ｋ_-1，ｋ₀，ｋ₁は、外部から制御可能な変数、又は設計段階において予め定められる定数である。尚、（式１４）から（式１４ａ）に一般化したように、（式１４ｂ）も、同様に一般化可能であるのは、言うまでもない。また、（式１４）、（式１４ａ）及び（式１４ｂ）にて求められる候補相関値Ｃ<−１>、Ｃ<０>、Ｃ<１>に、必要に応じた補正（例えば、一定値を加算）を施した値を、最終的な候補相関値Ｃ<−１>、Ｃ<０>、Ｃ<１>とするようにしても構わない。

Ｃ<−１>＝ｋ_-1×ＴＣmin[−１]<−１>＋ｋ₀×ＴＣmin[０]<−１>＋ｋ₁×ＴＣmin[１]<−１>、
Ｃ<０> ＝ｋ_-1×ＴＣmin[−１]<０> ＋ｋ₀×ＴＣmin[０]<０> ＋ｋ₁×ＴＣmin[１]<０>、
Ｃ<１> ＝ｋ_-1×ＴＣmin[−１]<１> ＋ｋ₀×ＴＣmin[０]<１> ＋ｋ₁×ＴＣmin[１]<１> ・・・（式１４ｂ）

＜＜＜ステップＳ７＞＞＞
上述したステップＳ４及びステップＳ６の処理により、３つの斜め方向<−１>，<０>，<１>の夫々に対応する候補相関値Ｃ<−１>，Ｃ<０>，Ｃ<１>及び候補画素データｘｃ<−１>、ｘｃ<０>、ｘｃ<１>がセレクタ１７に供給される。セレクタ１７は、これらの与えられた候補相関値及び候補画素データに基づいて、補間画素Ｘ[０]の最終的な画素データｘ[０]を算出する。

具体的には、候補相関値Ｃ<−１>，Ｃ<０>，Ｃ<１>の内、最小の候補相関値を与える斜め方向に対応する候補画素データ（即ち、最小の候補相関値と< >内の数値が同じの候補画素データ）を、最終的な画素データｘ[０]とする。例えば、Ｃ<−１>，Ｃ<０>，Ｃ<１>が、それぞれ１０、４、７の場合は、ｘｃ<０>が最終的な画素データｘ[０]となり、Ｃ<−１>，Ｃ<０>，Ｃ<１>が、それぞれ３、８、４の場合は、ｘｃ<−１>が最終的な画素データｘ[０]となる。

候補相関値Ｃ<−１>，Ｃ<０>，Ｃ<１>の内、最小の候補相関値が２つ以上ある場合は、以下の第１手法、第２手法、第３手法の何れかを採用して、最終的な画素データｘ[０]を算出する。

第１手法は、最小の候補相関値を与える斜め方向に対応する候補画素データのうち、補間画素Ｘ[０]に最も近接した対向画素から得られた候補画素データを選択し、選択した候補画素データが１つである場合にはその候補画素データを補間画素Ｘ[０]の最終的な画素データｘ[０]とする一方、選択した候補画素データが２つである場合にはそれらの平均値を補間画素Ｘ[０]の最終的な画素データｘ[０]とする。

本実施形態の場合、補間画素Ｘ[０]を斜め方向に挟む対向画素の組は（Ｄ２[−１]，Ｄ３[１]）、（Ｄ２[０]，Ｄ３[０]）、（Ｄ２[１]，Ｄ３[−１]）の３つである。そのため、この３つの組の内、最も近接した対向画素は、斜め方向<０>に対応する（Ｄ２[０]，Ｄ３[０]）であり、また、補間画素[０]と斜め方向<−１>に対応する対向画素との距離と、補間画素[０]と斜め方向<１>に対応する対向画素との距離は等しい。従って、例えば、Ｃ<−１>，Ｃ<０>，Ｃ<１>が、それぞれ１０、４、４の場合、斜め方向<０>に対応する候補画素データｘｃ<０>が最終的な画素データｘ[０]となり、例えば、Ｃ<−１>，Ｃ<０>，Ｃ<１>が、それぞれ４、１０、４の場合、（ｘｃ<−１>＋ｘｃ<１>）／２が最終的な画素データｘ[０]となる。

第２手法は、最小の候補相関値を与える斜め方向に対応する候補画素データの平均値を、最終的な画素データｘ[０]とする。例えば、Ｃ<−１>，Ｃ<０>，Ｃ<１>が、それぞれ１０、４、４の場合、最終的な画素データｘ[０]は、（ｘｃ<０>＋ｘｃ<１>）／２、となる。また、例えば、Ｃ<−１>，Ｃ<０>，Ｃ<１>が、全て４の場合、最終的な画素データｘ[０]は、（ｘｃ<−１>＋ｘｃ<０>＋ｘｃ<１>）／３、となる。

第３手法は、最小の候補相関値を与える斜め方向に対応する候補画素データのうちから、最大値と最小値を抽出し、抽出した最大値と最小値の平均値を補間画素の画素データとする。例えば、Ｃ<−１>，Ｃ<０>，Ｃ<１>が、全て４であり、且つｘｃ<−１>，ｘｃ<０>，ｘｃ<１>が、それぞれ２、８、６の場合、最終的な画素データｘ[０]は、（ｘｃ<−１>＋ｘｃ<１>）／２、となる。

（効果の説明）
従来手法においては（図１２参照）、補間画素Ｘのみを斜め方向に挟む対向画素の組毎に、斜め方向の相関値の最小値（ＬminやRmin）を算出し、その最小値を与える補間画素の画素データを最終的な画素データとしていた。つまり、補間画素Ｘの画素データｘを算出するにあたって、補間画素Ｘそのものを斜め方向に挟む対向画素の画素データしか考慮されていなかった。

従って、例えば、白の背景に斜めの黒い線があり、その白と黒の境界部分の原画素間を補間する際、その黒い線の傾きや位置の僅かな違いで斜め方向の相関値の最小値（ＬminやRmin）が大きく変化したり、補間画素の画素データが大きく変化したりする場合があった。このため、従来手法にあっては、画像再生の滑らかさは必ずしも十分とは言えなかった。

一方、本発明の実施の形態に係る画像補間部３においては、補間画素Ｘ[０]の画素データｘ[０]を算出する際、補間画素Ｘ[０]だけでなく、補間画素[０]に近接する複数の仮想画素（上述の実施形態では、仮想画素Ｘ[−１]とＸ[１]）をも演算対象画素とし、演算対象画素毎に斜め方向の相関値ＴＣ[ｍ]<ｐ>の最小値を算出する。そして、同じ斜め方向同士の相関値の最小値（即ち、暫定相関値ＴＣmin[ｍ]<ｐ>）を累積加算することにより、補間画素Ｘ[０]の最終的な画素データｘ[０]を決定するための候補相関値を算出する。

従って、例えば、白の背景に斜めの黒い線があり、その白と黒の境界部分の原画素間を補間するケースを考えた場合、その黒い線の傾きや位置の僅かな変化は、一部の暫定相関値（例えば、ＴＣmin[０]<１>）に大きな影響を与えることがあったとしても、暫定相関値の累積加算に相当する候補相関値には大きな影響はない。そして、補間画素の最終的な画素データは、複数の演算対象画素についての斜め方向の相関値を考慮した候補相関値に基づいて算出されるため、安定して良好な補間動作が実現される。

つまり、画像補間部３を画像表示装置１に組み込めば、画像補間時において、滑らかな画像再生を安定して実現することができる。これは、画像補間の際にサンプリングの数を増やせば、補間後の画像が滑らかになるという一般的な考え方からも理解できる。

また、各演算対象画素Ｘ[ｍ]において、第１エッジ成分Ｅａ[ｍ]、第２エッジ成分Ｅｓ[ｍ]及び演算対象画素の上下方向の原画素の画素データに基づいて、演算対象画素の画素データの設定可能範囲Ｓ[ｍ]が定められるため、画像を補間したとき、エッジ部分にガタツキやボケが生じないようにできる。

＜＜実施形態の変形＞＞
（変数ｍの値の変更）
上述の実施形態においては、ステップＳ１（図４参照）にて、ｍ＝−１，０，１とすることにより、演算対象画素を補間画素Ｘ[０]、仮想画素Ｘ[−１]、Ｘ[０]の３つとしたが、勿論、本発明はこれに限定されるものではなく、演算対象画素として補間画素Ｘ[０]及び補間画素Ｘ[０]に近接する複数の仮想画素を選ぶようにすれば、どのような選び方でも良い。

例えば、ステップＳ１にて、ｍ＝−３、−２、−１、０、１、２、３とすることにより、演算対象画素を補間画素Ｘ[０]、仮想画素Ｘ[−３]、Ｘ[−２]、Ｘ[−１]、Ｘ[１]、Ｘ[２]、Ｘ[３] の７つにしてもよいし、必要に応じてｍ＝−３、−２、−１、０、１、２としてもよい。これらの場合、最終的な画素データｘ[０]を算出するために必要な暫定相関値等の各種の値は、演算対象画素の水平ライン上の座標を表す変数ｍ及び／又は変数ｐを一般化した式（式１ａ）〜（式１４ａ）を用いて、上記と同様に求めればよい。（式１ａ）〜（式１４ａ）におけるｍには、上述の説明と同様、演算対象画素の水平ライン上の座標が代入され、ｐには、演算対象画素を挟む斜め方向に対応する数値が代入される。

（変数ｐの値の変更）
また、説明の簡略化上、変数ｐは３つの整数（−１、０、１）のみをとるものとして、上記の実施形態を説明してきたが、本発明はこれに限定されるものではなく、画素数が許す限り、ｐは様々な整数値をとりうる。

例えば、演算対象画素を斜め方向に挟む対向画素の組が、図１０に示す如く、７組（ｐ＝−３、−２、−１、０、１、２、３）あるようにしてもよい。この場合、補間画素Ｘ[０]を斜め方向に挟む対向画素の組は、斜め方向<−３>に対応する（Ｄ２[−３]，Ｄ３[３]）、斜め方向<−２>に対応する（Ｄ２[−２]，Ｄ３[２]）、斜め方向<−１>に対応する（Ｄ２[−１]，Ｄ３[１]）、斜め方向<０>に対応する（Ｄ２[０]，Ｄ３[０]）、斜め方向<１>に対応する（Ｄ２[１]，Ｄ３[−１]）、斜め方向<２>に対応する（Ｄ２[２]，Ｄ３[−２]）、及び斜め方向<３>に対応する（Ｄ２[３]，Ｄ３[−３]）の７つとなる。尚、図１０において、図３と同一の部分には同一の符号を付してある。

この場合、補間画素Ｘ[０]以外の演算対象画素を斜め方向に挟む対向画素の組も、同様に７組となる。つまり、演算対象画素として仮想画素[−１]を例にとった場合、仮想画素[−１]を斜め方向に挟む対向画素の組は、斜め方向<−３>に対応する（Ｄ２[−４]，Ｄ３[２]）、斜め方向<−２>に対応する（Ｄ２[−３]，Ｄ３[１]）、斜め方向<−１>に対応する（Ｄ２[−２]，Ｄ３[０]）、斜め方向<０>に対応する（Ｄ２[−１]，Ｄ３[−１]）、斜め方向<１>に対応する（Ｄ２[０]，Ｄ３[−２]）、斜め方向<２>に対応する（Ｄ２[１]，Ｄ３[−３]）、及び斜め方向<３>に対応する（Ｄ２[２]，Ｄ３[−４]）の７つとなる。

そして、最終的な画素データｘ[０]を算出するために必要な暫定相関値等の各種の値は、演算対象画素の水平ライン上の座標を表す変数ｍ及び／又は変数ｐを一般化した式（式１ａ）〜（式１４ａ）を用いて、上記と同様に求められる。

例えば、演算対象画素が補間画素Ｘ[０]、仮想画素Ｘ[−２]、Ｘ[−１]、Ｘ[１]、Ｘ[２] の５つの場合、斜め方向<−２>に対応する候補相関値Ｃ<−２>は、図１１に示す５本の破線矢印７１、７２、７３、７４、７５の夫々に対応する暫定相関値ＴＣmin[−２]<−２>、ＴＣmin[−１]<−２>、ＴＣmin[０]<−２>、ＴＣmin[１]<−２>、ＴＣmin[２]<−２>を累積加算することにより得られる。尚、候補相関値Ｃ<−２>の算出にあたって、単純に累積加算するのではなく、上述と同様、各暫定相関値に重み付け係数を付与するようにしてもよいのは勿論である。

そして、傾きが同一の斜め方向についての暫定相関値が候補相関値算出部１５にて累積加算等されて得られる７つの候補相関値Ｃ<−３>、Ｃ<−２>、Ｃ<−１>、Ｃ<０>、Ｃ<１>、Ｃ<２>及びＣ<３>と、７つの候補画素データｘｃ<−３>、ｘｃ<−２>、ｘｃ<−１>、ｘｃ<０>、ｘｃ<１>、ｘｃ<２>及びｘｃ<３>とに基づいて、補間画素Ｘ[０]の最終的な画素データｘ[０]が算出される。尚、図１１において、図３と同一の部分には同一の符号を付してある。

また、変数ｐは、必ずしも数値０をとる必要はない。例えば、演算対象画素を斜め方向に挟む対向画素の組を、ｐ＝−３、−２、−１、１、２、３の６組としても構わない。更にまた、変数ｐは２つの整数（−１、１）のみをとるとしても構わない。

（補正値φの省略）
斜め方向の相関値ＴＣ[ｍ]<ｐ>は、上述の説明と上記（式５）及び（式５ａ）から分かるように、演算対象画素の画素データｘ[ｍ]と各対向画素の画素データとの差の絶対値の和と、各対向画素の周辺の原画素の画素データとに基づいて算出される補正値φ[ｍ]<ｐ>と、で表される。

補正値φ[ｍ]<ｐ>を加味して相関値ＴＣ[ｍ]<ｐ>を算出することが、滑らかな画像補間の実現にとっては望ましいのあるが、（式５）におけるφ[０]<−１>や（式５ａ）におけるφ[ｍ]<ｐ>を省略することは可能である。この場合、当然、（式５）を変形した（式１２）におけるφ[０]<−１>の項、（式５ａ）を変形した（式１２ａ）におけるφ[ｍ]<ｐ>の項はなくなる。

本発明に係る画像補間装置及び画像補間方法によれば、画像を補間する際に、エッジ部分にガタツキやボケが生じないようにできるとともに、滑らかな画像再生を実現することができる。従って、ブラウン管を用いた表示装置や、エレクトロルミネッセンス（ＥＬ）素子を駆動する有機ＥＬ表示装置、液晶素子を用いた液晶表示装置等、様々な画像表示装置に好適である。ここにおける画像表示装置とは、画像の表示を行うことのできる表示部を備えているもの全てを対象とする。例えば、テレビジョン、デジタルカメラ、デジタルビデオカメラ、携帯電話等、様々な電気機器が当てはまる。

本発明の実施の形態に係る画像表示装置の全体的構成を示すブロック図である。 図１の画像補間部の内部構成を示すブロック図である。 図１の表示パネルにおける原画素と補間画素との関係を示す図である。 図２の画像補間部の動作を説明するためのフローチャートである。 図２の設定範囲算出部の算出値を説明するための図である。 図２の画像補間部の動作を説明するための図である。 図２の暫定相関値算出部の算出値を説明するための図である。 図２の暫定相関値算出部の算出値を説明するための図である。 図２の候補相関値算出部の算出値を説明するための図である。 図２の画像補間部の動作の変形例を説明するための図である。 図２の画像補間部の動作の変形例を説明するための図である。 従来の画像補間方法を説明するための図である。

符号の説明

１ 画像表示装置
２ 画像データ供給部
３ 画像補間部
４ 駆動回路
５ 表示パネル
１１ 設定範囲算出部
１２ 水平相関値算出部
１３ 垂直相関値算出部
１４ 暫定相関値算出部
１５ 候補相関値算出部
１６ 候補画素データ算出部
１７ セレクタ
Ｄ１[−４]〜Ｄ１[４]、Ｄ２[−４]〜Ｄ２[４] 原画素
Ｄ３[−４]〜Ｄ３[４]、Ｄ４[−４]〜Ｄ４[４] 原画素
Ｘ[０] 補間画素
Ｘ[−４]〜Ｘ[−１]、Ｘ[１]〜Ｘ[４] 仮想画素
ｎ−１、ｎ、ｎ＋１、ｎ＋２、ｉ−１、ｉ、ｉ＋１ 水平ライン

Claims (8)

1. 第１の原画素と第２の原画素とを結ぶ方向を上下方向と、その上下方向と直角な方向を左右方向と、夫々定義し、
   前記第１の原画素と前記第２の原画素との中間位置に補間されるべき補間画素の画素データを算出する画像補間装置において、
   補間画素及び補間画素の左右方向に近接する複数の仮想画素とを演算対象画素とし、前記画像補間装置は、
   演算対象画素が原画像データのエッジ位置付近に存在するかを判定するためのエッジ成分を算出し、且つ該エッジ成分と演算対象画素の上下方向の原画素の画素データに基づいて、演算対象画素の画素データの設定可能範囲を算出する演算を行うものであって、その演算を演算対象画素毎に行うことにより演算対象画素毎に前記設定可能範囲を算出する設定範囲算出部と、
   演算対象画素を斜め方向に挟む対向画素の組をａ組選択し（ａは２以上の整数）、それらの組毎に、演算対象画素の画素データの設定可能範囲内において、演算対象画素の画素データと各対向画素の画素データとの差の減少に応じて減少する相関値の最小値を、暫定相関値として算出する演算を行うものであって、その演算を演算対象画素毎に行うことにより演算対象画素毎にａ個の前記暫定相関値を算出する暫定相関値算出部と、
   暫定相関値算出部にて算出された暫定相関値の内、傾きが同じの斜め方向同士の暫定相関値に応じた値の総和に応じた値を、候補相関値として斜め方向の種類毎に算出する候補相関値算出部と、
   補間画素について選択された前記ａ組の斜め方向の組毎に、補間画素の画素データの設定可能範囲内において、補間画素についての前記相関値に最小値を与える画素データを、候補画素データとして算出する候補画素データ算出部と、
   候補相関値算出部により算出された候補相関値と候補画素データ算出部により算出された候補画素データとに基づいて、補間画素の最終的な画素データを算出する補間データ算出部と、を備えた
   ことを特徴とする画像補間装置。
2. 或る演算対象画素の上下方向に隣接する原画素を第３の原画素及び第４の原画素とし、第３の原画素に隣接しかつ第４の原画素と反対側にある原画素を第５の原画素とし、第４の原画素に隣接しかつ第３の原画素と反対側にある原画素を第６の原画素とすると、
   設定範囲算出部は、第３、第４、第５及び第６の原画素の画素データに基づいて、前記エッジ成分を算出する
   ことを特徴とする請求項１に記載の画像補間装置。
3. 各相関値は、演算対象画素の画素データと各対向画素の画素データとの差の絶対値の和に基づいて求められる
   ことを特徴とする請求項１に記載の画像補間装置。
4. 前記演算対象画素は、第１、第２、・・・、第ｂ演算対象画素から成り（ｂは３以上の整数）、前記ａ組の斜め方向は、第１、第２、・・・、第ａ斜め方向から成り、
   第１、第２、・・・、第ａ斜め方向に対応する前記暫定相関値を、それぞれ第１、第２、・・・、第ａ暫定相関値と定め、第１、第２、・・・、第ａ斜め方向に対応する前記候補相関値を、それぞれ第１、第２、・・・、第ａ候補相関値と定めると、
   候補相関値算出部は、第ｃ候補相関値（ｃは１〜ａまでの整数）を、第１演算対象画素の第ｃ暫定相関値に応じた値と、第２演算対象画素の第ｃ暫定相関値に応じた値と、・・・、第ｂ演算対象画素の第ｃ暫定相関値に応じた値との総和に基づいて算出する
   ことを特徴とする請求項１に記載の画像補間装置。
5. 補間データ算出部は、候補相関値算出部に算出された候補相関値の内、最小の候補相関値を与える斜め方向に対応する候補画素データに基づいて、補間画素の最終的な画素データを算出する
   ことを特徴とする請求項１に記載の画像補間装置。
6. 第１の原画素と第２の原画素とを結ぶ方向を上下方向と、その上下方向と直角な方向を左右方向と、夫々定義し、
   前記第１の原画素と前記第２の原画素との中間位置に補間されるべき補間画素の画素データを算出する画像補間方法において、
   補間画素及び補間画素の左右方向に近接する複数の仮想画素とを演算対象画素とし、前記画像補間方法は、
   演算対象画素が原画像データのエッジ位置付近に存在するかを判定するためのエッジ成分を算出し、且つ該エッジ成分と演算対象画素の上下方向の原画素の画素データに基づいて、演算対象画素の画素データの設定可能範囲を算出する演算を行うステップであって、その演算を演算対象画素毎に行うことにより演算対象画素毎に前記設定可能範囲を算出する設定範囲算出ステップと、
   演算対象画素を斜め方向に挟む対向画素の組をａ組選択し（ａは２以上の整数）、それらの組毎に、演算対象画素の画素データの設定可能範囲内において、演算対象画素の画素データと各対向画素の画素データとの差の減少に応じて減少する相関値の最小値を、暫定相関値として算出する演算を行うステップであって、その演算を演算対象画素毎に行うことにより演算対象画素毎にａ個の前記暫定相関値を算出する暫定相関値算出ステップと、
   暫定相関値算出ステップにて算出された暫定相関値の内、傾きが同じの斜め方向同士の暫定相関値に応じた値の総和に応じた値を、候補相関値として斜め方向の種類毎に算出する候補相関値算出ステップと、
   補間画素について選択された前記ａ組の斜め方向の組毎に、補間画素の画素データの設定可能範囲内において、補間画素についての前記相関値に最小値を与える画素データを、候補画素データとして算出する候補画素データ算出ステップと、
   候補相関値算出ステップにより算出された候補相関値と候補画素データ算出ステップにより算出された候補画素データとに基づいて、補間画素の最終的な画素データを算出する補間データ算出ステップと、
   を備えたことを特徴とする画像補正方法。
7. 請求項６に記載の画像補間方法を実行する演算回路を備えた
   ことを特徴とする画像補間装置。
8. 請求項１〜請求項５、請求項７の何れかに記載の画像補間装置と、
   原画素の画素データと前記画像補間装置により算出された補間画素の画素データに基づいて画像の表示を行う表示部と、を備えた
   ことを特徴とする画像表示装置。

Images