JP2005293361A - 画像処理装置 - Google Patents

Abstract

【課題】 画像ラインと所定の角度をなす細い線状の輪郭を有する画像を含むフレーム画像に対しても良好な補間を実現することにより、画像処理装置の画質を向上させる。
【解決手段】 画像処理装置の構成を、画素情報保持部５と、複数の画素からなる第１の画素群と、第１の画素群と同一の配列である複数の画素からなり、第１の画素群内における特定位置の画素と補間対象画素に対して点対称な画素を第１の画素群内における特定位置と相対的に同一な特定位置に含む第２の画素群とを相関算出画素群対とし、相関算出画素群対の情報を画素情報保持部５から抽出する参照画素情報抽出部１と、相関算出画素群対の情報に基づいて相関値を算出する相関算出部２と、相関値に基づいて最も相関の高い相関算出画素群対を選択する補間参照画素群対選択部３と、最も相関の高い相関算出画素群対に対する特定位置の画素群対の情報に基づいて補間対象画素の情報を生成する補間部４とを含む構成とする。
【選択図】 図１

Description

本発明は、画像処理技術に関し、より具体的には、画像を補間して拡大する画像処理技術に関するものである。

画像を垂直方向に拡大したり、インタレース画像からプログレッシブ画像へ変換したりする場合、垂直方向に水平ライン上の画素を補間する必要がある。水平ライン上の画素を補間する方法として、補間すべきラインの上ライン又は下ラインの原画像を繰り返す方法（従来の第１の補間方法）や、上ラインの原画像と下ラインの原画像との平均値を用いる方法（従来の第２の補間方法）がよく知られている。

しかしながら、従来の第１の補間方法では画像の斜め方向の輪郭が階段状になりガタツキを生じる。また、従来の第２の補間方法でもガタツキは幾分抑えられるものの画像にボケが生じる。これらの問題を解決する方法として、補間すべきラインの補間対象画素を挟んで点対称の位置にある上ラインの原画像の画素と下ラインの原画像の画素とからなる複数組の画素対から最も相関の高い画素対を判定し、その画素対の平均値（相関が最も高い画素対を構成する上ライン上の画素及び下ライン上の画素との平均値）を用いて補間する方法（従来の第３の補間方法）が提案されている（例えば、特許文献１参照）。

ここで、従来の第３の補間方法について、図１９を参照しながら説明する。図１９は、従来の第３の補間方法を説明するための説明図である。図１９に示されたように、直上の原画像ラインｎにおける画素Ａ１〜画素Ａ５及び直下の原画像ライン（ｎ＋１）における画素Ｂ１〜画素Ｂ５を参照して、補間対象ラインｍ上の補間対象画素Ｘを補間する。まず、補間対象画素Ｘを挟んで点対称の位置にある第１の画素対（画素Ａ１、画素Ｂ５）に対する相関を算出する。相関を指標する値としては、例えば、画素Ａ１と画素Ｂ５との画素値の差分絶対値（｜（画素Ａ１の画素値）−（画素Ｂ５の画素値）｜）が挙げられる。同様にして、第２の画素対（画素Ａ２、画素Ｂ４）、第３の画素対（画素Ａ３、画素Ｂ３）、第４の画素対（画素Ａ４、画素Ｂ２）及び第５の画素対（画素Ａ５、画素Ｂ１）に対する相関を順次に算出する。次に、５組の画素対に対する相関を比較して、最も相関の高い画素対を選択する。次に、選択された画素対を構成する２つの画素に対する画素値の平均値を、補間対象画素Ｘの画素値として決定する。
特許２７３２６４４号

上記従来の第３の補間方法では、画像ラインと所定の角度をなす細い線状の輪郭を有する画像がフレーム画像に含まれている場合には、この線状の輪郭を良好に補間することは困難であった。

ここで、この問題点について、図２０及び図２１を参照しながら説明する。図２０が、細い線状の輪郭を有する画像を含むフレーム画像を表す模式的な平面図である。図２１が、フレーム画像の細い線状の輪郭部分を拡大して表す模式的な部分平面図である。なお、図２１は、図２０における輪郭部分の一部を拡大表示した図である。

図２０には、画像ラインに対して傾斜した線状の黒色ラインＬ１と黒色ラインの両側に沿った２つの線状のグレーラインＬ２、Ｌ３からなる輪郭を有する画像が表されている。図２１に示されたように、画素Ａ４及び画素Ｂ２が黒色ラインＬ１の一部を表示する画素であり、画素Ａ３及び画素Ｂ１がグレーラインＬ２の一部を表示する画素であり、画素Ａ５及び画素Ｂ３がグレーラインＬ３の一部を表示する画素である。また、画素Ａ１、画素Ａ２、画素Ｂ４及び画素Ｂ５は、白色を表示しているとする。

図２１に示されたように、画素Ａ４及び画素Ｂ２が同一の画素値を有し、画素Ａ３、画素Ｂ１、画素Ａ５及び画素Ｂ３が同一の画素値を有し、画素Ａ１、画素Ａ２、画素Ｂ４及び画素Ｂ５が同一の画素値を有する場合には、第２の画素対（画素Ａ１、画素Ｂ５）、第２の画素対（画素Ａ２、画素Ｂ４）、第３の画素対（画素Ａ３、画素Ｂ３）、第４の画素対（画素Ａ４、画素Ｂ２）及び第５の画素対（画素Ａ５、画素Ｂ１）に対する５つの画素値の差分絶対値が等しくなる。この場合最も良好な画像を得るためには、第４の画素対（画素Ａ４、画素Ｂ２）が選択されるべきであるが、従来の第３の補間方法では、第４の画素対が優位には選択されない。

そこで、本発明では、画像ラインと所定の角度をなす細い線状の輪郭を有する画像を含むフレーム画像に対しても良好な補間を実現することにより、画像処理装置の画質を向上させる。また、本発明では、画像処理方法における補間精度を向上させる。

上記の課題を解決するために、本発明に係る画像処理装置は、第１の参照画素群の情報及び第１の参照画素群と異なる第２の参照画素群の情報を保持する画素情報保持部と、第１の参照画素群から部分的に選択される複数の画素からなる第１の画素群と、第２の参照画素群から部分的に選択され、第１の画素群と同一の配列である複数の画素からなり、第１の画素群内における特定位置の画素と補間対象画素に対して点対称な画素を第１の画素群内における特定位置と相対的に同一な特定位置に含む第２の画素群とを相関算出画素群対とし、相関算出画素群対における第１の画素群の情報及び相関算出画素群対における第２の画素群の情報を情報保持部から抽出する参照画素情報抽出部と、参照画素情報抽出部により抽出される第１の画素群の情報及び第２の画素群の情報に基づいて、第１の画素群と第２の画素群との相関を表す相関値を算出する相関算出部と、相関算出部で算出された相関値に基づいて、相関算出画素群対及び保持画素群対のうち相関の高い画素群対を補間参照画素群対として選択する補間参照画素群対選択部と、補間参照画素群対に対する第１の画素群内における特定位置の画素の情報及び補間参照画素群対に対する前記第２の画素群内における特定位置の画素の情報に基づいて、補間対象画素の情報を生成する補間部とを含み、参照画素情報抽出部が第１の参照画素群及び第２の参照画素群から選択される画素の異なる複数組の相関算出画素群対を１組ずつ順次に選択し、補間部が、複数組の相関算出画素群対のうち最も相関の高い相関算出画素群対に対して生成された補間対象画素の情報を出力することを特徴とする。なお、以下において、この構成の画像処理装置を画像処理装置Ａとも称する。

また、上記の課題を解決するために、本発明に係る画像処理装置は、第１の参照画素群の情報及び第１の参照画素群と異なる第２の参照画素群の情報を保持する画素情報保持部と、第１の参照画素群から部分的に選択される複数の画素の情報から補間された情報を有する補間画素を含む複数の相関算出画素からなる第１の相関算出画素群と、第２の参照画素群から部分的に選択される複数の画素の情報から補間された情報を有する補間画素を含み、第１の相関算出画素群と同一の配列である複数の相関算出画素からなり、第１の相関算出画素群内における特定位置の相関算出画素と補間対象画素に対して点対称な相関算出画素を第１の相関算出画素群内の特定位置と相対的に同一な特定位置に有する第２の相関算出画素群とを相関算出画素群対とし、第１の参照画素群における複数の画素の情報及び第２の参照画素群における複数の画素の情報を画素情報保持部から抽出し、第１の参照画素群の情報から抽出された複数の画素の情報に基づいて第１の相関算出画素群の情報を導出し、かつ第２の参照画素群の情報から抽出された複数の画素の情報に基づいて第２の相関算出画素群の情報を導出する画素情報導出部と、画素情報導出部からの第１の相関算出画素群の情報及び画素情報導出部からの第２の相関算出画素群の情報に基づいて、第１の相関算出画素群と第２の相関算出画素群との相関を表す相関値を算出する相関算出部と、相関算出部で算出された相関値に基づいて、相関算出画素群対及び保持画素群対のうち相関の高い画素群対を補間参照画素群対として選択する補間参照画素群対選択部と、補間参照画素群対に対する第１の相関算出画素群内における特定位置の相関算出画素の情報、及び、補間参照画素群対に対する第２の相関算出画素群内における特定位置の相関算出画素の情報に基づいて、補間対象画素の情報を生成する補間部とを含み、参照画素情報生成部が、第１の参照画素群の情報及び第２の参照画素群の情報に基づいて相関算出画素の異なる複数組の相関算出画素群対を１組ずつ順次に生成し、補間部が、複数組の相関算出画素群対のうち最も相関の高い相関算出画素群対に対して生成された補間対象画素の情報を出力することを特徴とする。なお、以下において、この構成の画像処理装置を画像処理装置Ｂとも称する。

本発明の画像処理装置であれば、インタレース画像からプログレッシブ画像へ変換したり、垂直方向に水平ライン上の画素を補間したりすることによって画像を拡大する際の補間精度を向上させることができる。これにより、本発明の画像処理装置であれば、拡大画像の画質を向上させることができる。

本発明に係る画像処理装置Ａは、上述のように、画素情報保持部と、参照画素情報抽出部と、相関算出部と、補間参照画素群対選択部と、補間部とを含む構成である。この構成であれば、第１の画素群と同一の配列である複数の画素からなり、第１の画素群内における特定位置の画素と補間対象画素に対して点対称な画素を前記第１の画素群内における前記特定位置と相対的に同一な特定位置に含む第２の画素群からなる相関算出画素群対を用いて画素間の相関値を算出するため、補間対象画素に対して点対称な１つの点対称画素対を用いて補間値を算出する従来の画像処理装置よりも精度の高い画素間の相関が得られる。つまり、補間サーチにおいて、複数組の相関算出画素群対に対する高精度の相関を比較することとなるため、補間サーチの精度が向上する。したがって、最も相関の高い相関算出画素群対に対する第１の画素群内の特定位置の画素と第２の画素群内の特定位置の画素とから生成された補間対象画素の情報を用いることによって、従来の複数種類の点対称画素対における最も相関の高い点対象画素対から生成された補間対象画素の情報を用いる場合よりも精度の高い補間を行うことができる。

本発明に係る画像処理装置Ａでは、第１の画素群を構成する複数の画素が、画像ライン方向に配列している画素群であることが好ましい。相関値を求める際、任意の第１の画素群を構成する複数の画素に対する精度の重みを均一にできるからである。一般的に、補間対象画素を有する補間ラインに近い原画像ライン上の画素であればあるほど補間の精度は高くなる。つまり、第１の画素群を構成する複数の画素が、原画像ラインの異なる画素を含む場合、各画素に対する精度の重みが均一とならないからである。なお、第１の画素群と第２の画素群とは同一の配列であるため、第１の画素群を構成する複数の画素が画像ライン方向に配列している画素群である場合には、第２の画素群を構成する複数の画素も、画像ライン方向に配列することになる。

更に、本発明に係る画像処理装置Ａでは、第１の参照画素群が、補間対象画素の属する画像ラインの上方における１つの画像ライン上に配列している画素群であり、第２の参照画素群が、補間対象画素の属する画像ラインの下方における１つの画像ライン上に配列している画素群であることが好ましい。複数組の相関算出画素群対から最も相関の高い補間参照画素群対を選択する際、各相関算出画素群対に対する精度の重みを均一にできるからである。なお、複数組の相関算出画素群対が、画像ラインの異なる相関算出画素群対を含む場合、異なる画像ライン上の相関算出画素群対に対する精度の重みは均一とならない。

また、第１の参照画素群の属する画像ラインと、第２の参照画素群の属する画像ラインとは、補間対象画素の属する画像ラインを挟んで対象であることが好ましい。また、第１の参照画素群の属する画像ラインが補間対象画素の属する画像ラインの直上の画像ラインであり、第２の参照画素群の属する画像ラインが、補間対象画素の属する画像ラインの直上の画像ラインであることが更に好ましい。なお、複数組の相関算出画素群対に対する全ての第１の画素群が、１つの画像ライン上に配列している画素群である場合には、複数組の相関算出画素群対に対する全ての第２の画素群も、１つの画像ライン上に配列することとなる。

本発明に係る画像処理装置Ａでは、第１の画素群を構成する複数の画素が、互いに隣接している画素群である構成や第１の画素群を構成する複数の画素が、所定の間隔で互いに離隔している画素群である構成とすることができる。所定の間隔で離隔した画素群を用いた場合、空間的に広範囲にわたる領域に対する第１の画素群と第２の画素群との相関を高速で補間サーチすることができる。

第１の画素群内及び第２の画素群内におけるそれぞれの特定位置の画素は、中心近傍の画素であることが好ましい。精度の高い補間サーチができるからである。特に、第１の画素群及び第２の画素群がそれぞれ３個以上の画素で構成される場合には、特定位置の画素を挟んで両側の画素を含めて第１の画素群と第２の画素群との相関を算出できるために、更に高い精度で補間サーチを行える。第１の画素群及び第２の画素群がそれぞれ奇数個の画素で構成されている場合には順序として中心に位置する中心画素を特定位置の画素とし、第１の画素群及び第２の画素群がそれぞれ偶数個の画素で構成されている場合には順序として中央に位置する２つの画素のいずれか一方を特定位置の画素とすることが更に好ましい。特に、第１の画素群及び第２の画素群のそれぞれは奇数個の画素で構成され、第１の画素群及び第２の画素群におけるそれぞれの特定位置の画素が中心画素である場合には、第１の画素群と第２の画素群との相関において、第１の画素群内及び第２の画素群内における特定位置の画素対を挟んで両側に対する相関の重みを均一化できる。

本発明に係る画像処理装置Ａでは、第１の画素群を構成する複数の画素の数が、偶数個であり、第１の画素群内における特定位置の画素が、第１の画素群内における中央画素であり、第２の画素群内における特定位置の画素が、第２の画素群内における中央画素であり、補間対象画素の情報が、第１の画素群の情報のうちの第１の画素群における中央画素の画素値と、第２の画素群の情報のうちの第２の画素群における中央画素の画素値との平均値であることが好ましい。この構成であれば、上述のように第１の画素群と第２の画素群との相関を高精度で評価できると共に、簡便に補間対象画素の情報を導出できるからである。

本発明に係る画像処理装置Ａでは、第１の画素群を構成する複数の画素の数が、奇数個であり、第１の画素群内における特定位置の画素が、第１の画素群内における中心画素であり、第２の画素群内における特定位置の画素が、第２の画素群内における中心画素であり、補間対象画素の情報が、第１の画素群の情報のうちの第１の画素群における中心画素の画素値と、第２の画素群の情報のうちの第２の画素群における中心画素の画素値との平均値であることが好ましい。この構成であれば、上述のように第１の画素群と第２の画素群との相関を高精度で評価できると共に、簡便に補間対象画素の情報を導出できるからである。

本発明に係る画像処理装置Ａでは、第１の画素群が奇数個の画素で構成されている場合、第２の画素群を構成する複数の画素が、補間対象画素に対して第１の画素群を構成する複数の画素と点対称である構成が好ましい。この構成であれば、第１の画素群を構成する複数の画素が中心画素に対して点対称に配列することとなるため、第１の画素群と第２の画素群との相関において中心画素の両側に対する相関の重みを同一にできるからである。したがって、算出された相関値は、第１の画素群と第２の画素群との相関を良好に指標する値となる。

本発明に係る画像処理装置Ａでは、相関算出部で算出される相関値が、第１の画素群の情報と第２の画素群の情報とに基づく差分絶対値和であることが好ましい。相関値を簡便かつ高速に算出できるからである。画像処理装置Ａの相関算出部で算出される差分絶対値和は、１組の相関算出画素群対を構成する第１の画素群及び第２の画素群における左端の画素同士の差分値の絶対値から順に右端の画素同士の差分値の絶対値までの総和を意味する。本発明に係る画像処理装置Ａでは、差分二乗和等を相関値として採用してもよいが、演算を高速に行う観点からは、差分絶対値を補間値として用いることが好ましい。

本発明に係る画像処理装置Ａでは、相関算出部における相関値が、第１の画素群の情報と第２の画素群の情報とに基づく、第１の画素群内における特定位置の画素からの相対位置に応じて重み付けした荷重差分絶対値和であることが好ましい。この構成であれば、最終的に補間対象画素の情報の算出に用いる、第１の画素群内における特定位置の画素と第２の画素群内における特定位置の画素とからなる差分算出画素対に、周辺の差分算出画素対より重みをかけることで補間の精度を高めることもできるからである。ここで、差分算出画素対とは、差分値を求める際の一対の画素を意味する。また、画像処理装置Ａの相関算出部で算出される荷重差分絶対値和は、相関算出画素群対を構成する差分算出画素対に応じて重み付けを行った差分絶対値和を意味する。本発明に係る画像処理装置Ａでは、荷重差分二乗和等を相関値として採用してもよいが、演算を高速に行う観点からは、荷重差分絶対値を補間値として用いることが好ましい。

本発明に係る画像処理装置Ａでは、複数組の相関算出画素群対が、第１の参照画素群から選択され、第１の参照画素群において広域な領域に分布する広域画素群、及び、第２の参照画素群から選択される広域画素群を各々に有する互いに異なる複数組の広域相関算出画素群対と、第１の参照画素群から選択され、第１の参照画素群から選択される広域画素群より第１の参照画素群において狭い領域に分布する狭域画素群、及び、第２の参照画素群から選択されされる狭域画素群を各々に有する互いに異なる複数組の狭域相関算出画素群対とを含み、補間参照画素群対選択部が、補間参照画素群対として、複数組の広域相関算出画素群対のうち最も相関の高い広域参照画素群対と複数組の狭域相関算出画素群対のうち最も相関の高い狭域参照画素群対とを選出し、補間部が、広域参照画素群対に対する第１の参照画素群から選択された特定位置の画素及び第２の参照画素群から選択された特定位置の画素からなる特定の広域画素対と、狭域参照画素群対に対する第１の参照画素群から選択された特定位置の画素及び第２の参照画素群から選択された特定位置の画素からなる特定の狭域画素対とが同一画素対であれば、同一画素対の情報に基づいて補間対象画素の情報を生成し、特定の広域画素対と特定の狭域画素対とが異なれば、第１の参照画素群及び第２の参照画素群のうち補間対象画素に最も近接する２つの画素の情報に基づいて補間対象画素の情報を生成する構成（以下、重複補間サーチ型画像処理装置Ａとも称す）とすることができる。この構成であれば、複数の広域相関算出画素群対に対する補間サーチ（広域補間サーチ）と複数の狭域相関算出画素群対に対する補間サーチ（狭域補間サーチ）との２重の補間サーチを行うことによって、最も相関の高い相関算出画素群対（最も相関の高い画素対）を、単独の補間サーチを行う場合よりも高精度で選択することができる。なお、本発明の画像処理装置Ａにおいては、２重の補間サーチに限らず、複数組の相関算出画素群対が、異なる広さに分布する３種類以上の相関算出画素群対を含む構成とし、３重以上の補間サーチを行ってもよい。

本発明に係る画像処理装置Ａでは、複数組の相関算出画素群対が、第１の参照画素群から選択され、第１の参照画素群において広域な領域に分布する広域画素群、及び、第２の参照画素群から選択された広域画素群を各々に有する互いに異なる複数組の広域相関算出画素群対と、第１の参照画素群から選択され、第１の参照画素群から選択される広域画素群より第１の参照画素群において狭い領域に分布する狭域画素群、及び、第２の参照画素群から選択された狭域画素群を各々に有する互いに異なる複数組の狭域相関算出画素群対とを含み、補間参照画素群対選択部が、補間参照画素群対として、複数組の広域相関算出画素群対のうち最も相関の高い広域参照画素群対と、複数組の狭域相関算出画素群対のうち広域参照画素群対の占める領域内において最も相関の高い狭域参照画素群対とを選出し、補間部が、狭域参照画素群対に対する第１の参照画素群から選択された特定位置の画素の情報及び第２の参照画素群から選択された特定位置の画素の情報に基づいて補間対象画素の情報を生成する構成（以下、階層補間サーチ型画像処理装置Ａとも称す）とすることができる。この構成であれば、広域補間サーチと、広域補間サーチにより選択された広域参照候補画素対の範囲内において複数の狭域相関算出画素群対に対する狭域補間サーチとの２階層の補間サーチを行うことによって、最も相関の高い相関算出画素群対（最も相関の高い画素対）を、単独の補間サーチを行う場合よりも高精度で選択することができ、また、重複補間サーチを行う場合よりも補間対象画素の情報を高速で演算することができる。なお、本発明の画像処理装置Ａにおいては、２階層の補間サーチに限らず、複数組の相関算出画素群対が、異なる広さに分布する３種類以上の相関算出画素群対を含む構成とし、３階層以上の補間サーチを行ってもよい。

本発明に係る重複補間サーチ型又は階層補間サーチ型画像処理装置Ａでは、第１の参照画素群から選択される広域画素群の画素数が、第１の参照画素群から選択される狭域画素群の画素数より多い構成とすることが好ましい。重複補間サーチ及び階層補間サーチは、空間的な広範囲における第１の画素群と第２の画素群との相関と、空間的な狭範囲における第１の画素群と第２の画素群との相関とに基づいて、最も相関の高い相関算出画素群対を決定すべきであるためである。この構成であれば、確実に、広域補間サーチにおいては、狭域補間サーチより空間的に広範囲な相関を探索できる。

本発明に係る重複補間サーチ型又は階層補間サーチ型画像処理装置Ａにおいて、広域画素群の画素数と狭域画素群の画素数とは、共に奇数個であってもよいし、共に偶数個であってもよいし、一方が奇数個でありかつ他方が偶数個であってもよい。

本発明に係る重複補間サーチ型又は階層補間サーチ型画像処理装置Ａでは、第１の参照画素群が、補間対象画素の属する画像ラインの上方における１つの画像ライン上に配列している画素群であり、第２の参照画素群が、補間対象画素の属する画像ラインの下方における１つの画像ライン上に配列している画素群であることが好ましい。上記において記述したように、相関値を求める際、任意の第１の画素群を構成する複数の画素に対する精度の重みを均一にできるからであり、また、複数組の相関算出画素群対から最も相関の高い補間参照画素群対を選択する際、各相関算出画素群対に対する精度の重みを均一にできるからである。

本発明に係る重複補間サーチ型又は階層補間サーチ型画像処理装置Ａでは、第１の参照画素群から選択される広域画素群が、所定の間隔で互いに離隔している画素群であり、第１の参照画素群から選択される狭域画素群が、互いに隣接している画素群であることが好ましい。この構成であれば、空間的に広範囲にわたる領域に対する第１の画素群と第２の画素群との相関を高速で補間サーチできるからである。

本発明に係る重複補間サーチ型又は階層補間サーチ型画像処理装置Ａでは、相関算出部で算出される相関値が、第１の参照画素群から選択される広域画素群の情報と第２の参照画素群から選択される広域画素群の情報とに基づく差分絶対値和、又は、第１の参照画素群から選択される狭域画素群の情報と第２の参照画素群から選択される狭域画素群の情報とに基づく差分絶対値和である構成とすることができる。

本発明に係る重複補間サーチ型又は階層補間サーチ型画像処理装置Ａでは、相関算出部における相関値が、第１の参照画素群から選択される広域画素群に関する情報と第２の参照画素群から選択される広域画素群の情報とに基づく、第１の参照画素群から選択された広域画素群内における特定位置の画素からの相対位置に応じて重み付けした荷重差分絶対値和、又は、第１の参照画素群から選択される狭域画素群の情報と第２の参照画素群から選択される狭域画素群の情報とに基づく、第１の参照画素群から選択される狭域画素群内における特定位置の画素からの相対位置に応じて重み付けした荷重差分絶対値和である構成とすることができる。

本発明に係る画像処理装置Ｂは、上述のように、画素情報保持部と、画素情報導出部と、相関算出部と、補間参照画素群対選択部と、補間部とを含む構成である。この構成であれば、複数の相関算出画素からなる第１の相関算出画素群と、第１の相関算出画素群と同一の配列である複数の相関算出画素からなり、第１の相関算出画素群内における特定位置の相関算出画素と補間対象画素に対して点対称な相関算出画素を第１の相関算出画素群内の特定位置と相対的に同一な特定位置に有する第２の相関算出画素群とからなる相関算出画素群対を用いて画素間の相関値を算出するため、補間対象画素に対して点対称な１つの点対称画素対を用いて補間値を算出する従来の画像処理装置よりも精度の高い画素間の相関が得られる。つまり、補間サーチにおいて、複数組の相関算出画素群対に対する高精度の相関を比較することとなるため、補間サーチの精度が向上する。したがって、最も相関の高い相関算出画素群対に対する第１の相関算出画素群内の特定位置の画素と第２の相関算出画素群内の特定位置の画素とから生成された補間対象画素の情報を用いることによって、従来の複数種類の点対称画素対における最も相関の高い点対象画素対から生成された補間対象画素の情報を用いる場合よりも精度の高い補間を行うことができる。なお、第１の相関算出画素群は、第１の参照画素群から部分的に選択される複数の画素の情報から補間された情報を有する補間画素を含む複数の相関算出画素で構成され、第２の相関算出画素群は、第２の参照画素群から部分的に選択される複数の画素の情報から補間された情報を有する補間画素を含む複数の相関算出画素で構成されている。

第１の相関算出画素群及び第２の相関算出画素群は、補間画素のみからなる構成であってもよいし、補間画素と通常の画素とを含む構成であってもよい。

本発明に係る画像処理装置Ｂでは、第１の相関算出画素群を構成する複数の相関算出画素が、第１の参照画素群から選択された少なくとも１つの画素を含み、第２の相関算出画素群を構成する複数の相関算出画素が、第２の参照画素群から選択された少なくとも１つの画素を含む構成とすることができる。この構成であれば、広範囲な補間サーチを高速で行うことができる。

本発明に係る画像処理装置Ｂでは、第１の相関算出画素群における補間画素の情報が、第１の参照画素群から選択された補間画素に隣接する２つの画素の情報における２つの画素値を線形補間した画素値であり、第２の相関算出画素群における補間画素の情報が、第２の参照画素群から選択された補間画素に隣接する２つの画素の情報における２つの画素値を線形補間した画素値である構成とすることができる。

本発明に係る画像処理装置Ｂでは、第１の相関算出画素群における補間画素の情報が、第１の参照画素群から選択された補間画素の近隣に位置する複数の画素の情報における複数の画素値に基づいて、フィルタ処理により生成された画素値であり、第２の相関算出画素群における補間画素の情報が、第２の参照画素群から選択された補間画素の近隣に位置する複数の画素の情報における複数の画素値に基づいて、フィルタ処理により生成された画素値である構成とすることができる。

本発明に係る画像処理装置Ｂでは、第１の相関算出画素群を構成する複数の相関算出画素が、画像ライン方向に配列している画素群であることが好ましい。相関値を求める際、任意の第１の相関算出画素群を構成する複数の相関算出画素に対する精度の重みを均一にできるからである。なお、第１の相関算出画素群と第２の相関算出画素群とは同一の配列であるため、第１の相関算出画素群を構成する複数の相関算出画素が画像ライン方向に配列している相関算出画素群である場合には、第２の相関算出画素群を構成する複数の画素も、画像ライン方向に配列することとなる。

更に、本発明に係る画像処理装置Ｂでは、第１の参照画素群が、補間対象画素の属する画像ラインの上方における１つの画像ライン上に配列している画素群であり、第２の参照画素群が、補間対象画素の属する画像ラインの下方における１つの画像ライン上に配列している画素群であることが好ましい。複数組の相関算出画素群対から最も相関の高い補間参照画素群対を選択する際、各相関算出画素群対に対する精度の重みを均一にできるからである。複数組の相関算出画素群対が、画像ラインの異なる相関算出画素群対を含む場合、異なる画像ライン上の相関算出画素群対に対する精度の重みは均一とならない。

また、第１の参照画素群の属する画像ラインと、第２の参照画素群の属する画像ラインとは、補間対象画素の属する画像ラインを挟んで対象であることが好ましい。また、第１の参照画素群の属する画像ラインが補間対象画素の属する画像ラインの直上の画像ラインであり、第２の参照画素群の属する画像ラインが、補間対象画素の属する画像ラインの直上の画像ラインであることが更に好ましい。なお、複数組の相関算出画素群対に対する全ての第１の相関算出画素群が、１つの画像ライン上に配列している相関算出画素群である場合には、複数組の相関算出画素群対に対する全ての第２の相関算出画素群も、１つの画像ライン上に配列することとなる。

本発明に係る画像処理装置Ｂでは、第１の相関算出画素群を構成する複数の相関算出画素が、互いに隣接している相関算出画素群である構成や第１の相関算出画素群を構成する複数の相関算出画素が、所定の間隔で互いに離隔している相関算出画素群である構成とすることができる。所定の間隔で離隔した相関算出画素群を用いた場合、空間的に広範囲にわたる領域に対する第１の画素群と第２の画素群との相関を高速で補間サーチすることができる。

第１の相関算出画素群内及び第２の相関算出画素群内におけるそれぞれの特定位置の画素は、中心近傍の相関算出画素であることが好ましい。精度の高い補間サーチができるからである。特に、第１の相関算出画素群及び第２の相関算出画素群がそれぞれ３個以上の画素で構成される場合には、特定位置の相関算出画素を挟んで両側の相関算出画素を含めて第１の相関算出画素群と第２の相関算出画素群との相関を算出できるために、更に高い精度で補間サーチができる。第１の相関算出画素群及び第２の相関算出画素群がそれぞれ奇数個の相関算出画素で構成されている場合には順序として中心に位置する中心相関算出画素を特定位置の相関算出画素とし、第１の相関算出画素群及び第２の相関算出画素群がそれぞれ偶数個の相関算出画素で構成されている場合には順序として中央に位置する２つの中央相関算出画素のいずれか一方を特定位置の相関算出画素とすることが更に好ましい。特に、第１の相関算出画素群及び第２の相関算出画素群のそれぞれは奇数個の相関算出画素で構成され、第１の相関算出画素群及び第２の相関算出画素群におけるそれぞれの特定位置の相関算出画素が中心相関算出画素である場合には、第１の相関算出画素群と第２の相関算出画素群との相関において、第１の相関算出画素群内及び第２の相関算出画素群内における特定位置の相関算出画素対を挟んで両側に対する相関の重みを均一化できるからである。

本発明に係る画像処理装置Ｂでは、第１の相関算出画素群を構成する複数の相関算出画素の数が、偶数個であり、第１の相関算出画素群内における特定位置の相関算出画素が、第１の相関算出画素群内における中央の相関算出画素であり、第２の相関算出画素群内における特定位置の相関算出画素が、第２の相関算出画素群内における中央の相関算出画素であり、補間対象画素の情報が、第１の画素群の情報のうちの第１の画素群における中央の相関算出画素の画素値と、第２の画素群の情報のうちの第２の画素群における中央画素の画素値との平均値であることが好ましい。この構成であれば、上述のように第１の画素群と第２の画素群との相関を高精度で評価できると共に、簡便に補間対象画素の情報を導出できるからである。

本発明に係る画像処理装置Ｂでは、第１の相関算出画素群を構成する複数の相関算出画素の数が、奇数個であり、第１の相関算出画素群内における特定位置の相関算出画素が、第１の画素群内における中心相関算出画素であり、第２の相関算出画素群内における特定位置の相関算出画素が、第２の相関算出画素群内における中心相関算出画素であり、補間対象画素の情報が、第１の相関算出画素群の情報のうちの第１の相関算出画素群における中心相関算出画素の画素値と、第２の相関算出画素群の情報のうちの第２の相関算出画素群における中心相関算出画素の画素値との平均値であることが好ましい。この構成であれば、上述のように第１の相関算出画素群と第２の相関算出画素群との相関を高精度で評価できると共に、簡便に補間対象画素の情報を導出できるからである。

本発明に係る画像処理装置Ｂでは、第１の相関算出画素群が奇数個の画素で構成されている場合、第２の相関算出画素群を構成する複数の相関算出画素が、補間対象画素に対して第１の相関算出画素群を構成する複数の相関算出画素と点対称である構成が好ましい。この構成であれば、第１の相関算出画素群を構成する複数の相関算出画素が中心画素に対して点対称に配列することとなるため、第１の相関算出画素群と第２の相関算出画素群との相関において中心相関算出画素の両側に対する相関の重みを同一にできるからである。したがって、算出された相関値は、第１の相関算出画素群と第２の相関算出画素群との相関を良好に指標する値となる。

本発明に係る画像処理装置Ｂでは、相関算出部で算出される相関値が、第１の相関算出画素群の情報と第２の相関算出画素群の情報とに基づく差分絶対値和であることが好ましい。相関値を簡便かつ高速に算出できるからである。画像処理装置Ｂの相関算出部で算出される差分絶対値和は、１組の相関算出画素群対を構成する第１の相関算出画素群及び第２の相関算出画素群における左端の相関算出画素同士の差分値の絶対値から順に右端の相関算出画素同士の差分値の絶対値までの総和を意味する。本発明に係る画像処理装置Ｂでは、差分二乗和等を相関値として採用してもよいが、演算を高速に行う観点からは、差分絶対値を補間値として用いることが好ましい。

本発明に係る画像処理装置Ｂでは、相関算出部における相関値が、第１の相関算出画素群の情報と第２の相関算出画素群の情報とに基づく、第１の相関算出画素群内における特定位置の相関算出画素からの相対位置に応じて重み付けした荷重差分絶対値和であることが好ましい。この構成であれば、最終的に補間対象画素の情報の算出に用いる、第１の相関算出画素群内における特定位置の相関算出画素と第２の相関算出画素群内における特定位置の相関算出画素とからなる差分算出画素対に、周辺の差分算出画素対より重みをかけることで補間の精度を高めることもできるからである。ここで、差分算出画素対とは、差分値を求める際の一対の相関算出画素を意味する。また、画像処理装置Ｂの相関算出部で算出される荷重差分絶対値和は、相関算出画素群対を構成する差分算出画素対に応じて重み付けを行った差分絶対値和を意味する。本発明に係る画像処理装置Ｂでは、荷重差分二乗和等を相関値として採用してもよいが、演算を高速に行う観点からは、荷重差分絶対値を補間値として用いることが好ましい。

また、本発明に係る画像処理装置Ｂでは、複数組の相関算出画素群対が、第１の参照画素群の情報から導出され、広域な領域に分布する広域相関算出画素群、及び、第２の参照画素群の情報から導出された広域相関算出画素群を各々に有する互いに異なる複数組の広域相関算出画素群対と、第１の参照画素群の情報から導出され、第１の広域画素群より狭い領域に分布する狭域相関算出画素群、及び、第２の参照画素群の情報から導出された狭域相関算出画素群を各々に有する互いに異なる複数組の狭域相関算出画素群対とを含む構成とし、上記の画像処理装置Ａの場合と同様に、複数組の広域相関算出画素群及び複数組の狭域相関算出画素群対に対して２重補間サーチ又は２階層補間サーチを行ってもよい。

（実施の形態１）
本実施の形態１においては、単独の補間サーチによって補間参照画素群対を決定する画像処理装置Ａの一形態及びその画像処理方法について、図１〜図５を参照しながら説明する。図１は、本実施の形態１に係る画像処理装置の構成を概念的に表すブロック図である。図２は、本実施の形態１に係る画像処理装置の画像処理方法を説明するための説明図である。図３は、本実施の形態１に係る画像処理装置の画像処理方法における第１組の相関算出画素群対に対する相関値を算出する過程を説明するための説明図である。図４は、本実施の形態１に係る画像処理装置の画像処理方法における第２組の相関算出画素群対に対する相関値を算出する過程を説明するための説明図である。また、図５は、本実施の形態１に係る画像処理装置の画像処理方法における第３組の相関算出画素群対に対する相関値を算出する過程を説明するための説明図である。

図１に示された画像処理装置は、入力端子１１と、１Ｈ遅延回路１２、ラインメモリ１３及びラインメモリ１４からなる画素情報保持部５と、アドレス制御回路１５、バッファ１６及びバッファ１７からなる参照画素情報抽出部１と、差分回路１８、絶対値回路１９及び加算回路２０からなる相関算出部２と、最小値回路２１からなる補間参照画素群対選択部３と、補間値算出回路２２からなる補間部４と、出力端子２３と、を備えた構成である。

入力端子１１は、インタレース走査のテレビ画像信号又は垂直方向に空間的に拡大する必要のある縮小画像信号等の入力信号が受信する端子である。

１Ｈ遅延回路１２は、入力端子１１に供給された画像信号を１ライン分だけ時間的に遅延させる回路である。

ラインメモリ１３は、１ライン遅延した画像信号の１ライン分のデータ（画素情報）を蓄積するメモリである。具体的には、ラインメモリ１３には、補間ラインの直上の原画像ラインを構成する全ての画素に関するデータが蓄積される。なお、ラインメモリ１３に蓄積されるデータには、複数組の相関算出画素群対に対する全ての第１の画素群を構成する画素の情報（第１の参照画素群の情報）が含まれている。

ラインメモリ１４は、原画像ラインの１ライン分のデータを蓄積するメモリである。具体的には、ラインメモリ１３には、補間ラインの直下の原画像ラインを構成する全ての画素に関するデータが蓄積される。なお、ラインメモリ１３に蓄積されるデータには、複数の相関算出画素群対に対する全ての第２の画素群を構成する画素の情報（第２の参照画素群の情報）が含まれている。

アドレス制御回路１５は、ラインメモリ１３から補間対象画素を生成するための参照データを抽出する複数の画素のアドレスを指定し、また、ラインメモリ１４から補間対象画素を生成するための参照データを抽出する画素のアドレスを指定する回路である。

ここで、本実施の形態１に係るアドレス制御回路１５で選択される相関算出画素群対の具体例について説明する。図２に示されたように、アドレス制御回路１５では、補間ｍライン上の補間対象画素Ｘの直上に位置する画素Ａ３を中心画素（第１の画素群における特定位置の画素）として含む原画像ｎライン上で連続した画素群（画素Ａ２、画素Ａ３、画素Ａ４）及び補間対象画素Ｘの直下の画素Ｂ３を中心画素（第２の画素群における特定位置の画素）として含む原画像（ｎ＋１）ライン上で連続した画素群（画素Ｂ２、画素Ｂ３、画素Ｂ４）からなる中心の相関算出画素群対（図２中の実線で囲まれた画素群対）と、中心の相関算出画素群対に対する原画像ｎライン上の画素群を左に１画素分シフトさせた画素群（画素Ａ１、画素Ａ２、画素Ａ３）及び中心の相関算出画素群対に対する画素群を原画像（ｎ＋１）ライン上の画素群を右に１画素分シフトさせた画素群（画素Ｂ３、画素Ｂ４、画素Ｂ５）からなる相関算出画素群対（図２中の点線で囲まれた画素群対）と、中心の相関算出画素群対に対する原画像ｎライン上の画素群を右に１画素分シフトさせた画素群（画素Ａ３、画素Ａ４、画素Ａ５）及び中心の相関算出画素群対に対する原画像（ｎ＋１）ライン上の画素群を左に１画素分シフトさせた画素群（Ｂ１、Ｂ２、Ｂ３）からなる相関算出画素群対（図２中の一点鎖線で囲まれた画素群対）とが順次に選択される。なお、図２においては、画素群（Ａ１〜Ａ５）が第１の参照画素群であり、画素群（Ｂ１〜Ｂ５）が第２の参照画素群である。また、各組の相関算出画素群対において、原画像ラインｎ上の画素群（第１の画素群）と原画像ライン上の画素群（第２の画素群）とが同一の配列であり、かつ、原画像ラインｎ上の画素群を構成する複数の画素と原画像ライン上の画素群を構成する複数の画素とが、補間対象画素を中心として点対称である。

図２においては、３組の相関算出画素対を選択する場合が示されているが、中心の相関算出画素群対に対する原画像ｎライン上の画素群と原画像（ｎ＋１）ライン上の画素群とを左右逆方向に２画素分シフトさせた２組の相関算出画素群対等が更に選択されてもよい。

参照データを抽出する際には、例えば、第１の相関算出画素群対を選択する場合、具体的には、画素Ａ２のアドレス及び画素Ａ４のアドレスを、それぞれ、ラインメモリ１３に対する開始アドレス及び終了アドレスとして指定して画素Ａ２〜画素Ａ４のデータを抽出し、かつ、画素Ｂ２のアドレス及び画素Ｂ４のアドレスを、それぞれ、ラインメモリ１４に対する開始アドレス及び終了アドレスとして指定して画素Ｂ２〜画素Ｂ４のデータを抽出する。または、画素Ａ２のアドレス、画素Ａ３のアドレス及び画素Ａ４のアドレスを指定して画素Ａ２〜画素Ａ４のデータを第１の参照データとして抽出し、かつ、画素Ｂ２のアドレス、画素Ｂ３のアドレス及び画素Ｂ４のアドレスを指定して画素Ｂ２〜画素Ｂ４のデータを第２の参照データとして抽出する。なお、第１の参照データには、少なくとも第１の画素群の情報が含まれており、第２の参照データには第２の画素群の情報が含まれている。第１の画素群の情報には、それを構成する各画素に関するアドレスや画素値が含まれている。また、第２の画素群の情報も同様に、それを構成する各画素に関するアドレスや画素値が含まれている。ここで、画素値とは、表示の際に必要な各画素に関する情報であり、例えば、モノクロ表示の場合であれば、輝度値であり、フルカラー表示の場合であれば、輝度成分（Ｙ成分）の値（輝度値）及び２種類の色差成分（Ｉ成分及びＱ成分、又は、Ｃｒ成分及びＣｂ成分）の値や、３種類の色成分（Ｒ成分、Ｇ成分、Ｂ成分）の値を含む。

バッファ１６及びバッファ１７は、それぞれ、アドレス制御回路１５の指示によってラインメモリ１３及びラインメモリ１４から抽出された第１の参照データ及び第２の参照データを一時蓄積するバッファである。バッファ１６に一時蓄積された第１の参照データは、差分回路１８と補間値出力回路２２とへ供給される。バッファ１７に一時蓄積された第２の参照データも同様に差分回路１８と補間値出力回路２２へ供給される。

差分回路１８は、バッファ１６からの第１の参照データとバッファ１７からの第２の参照データとの差分を算出する回路である。

ここで、第１の参照データと第２の参照データとの差分について説明する。まず、図３に示された第１組の相関算出画素群対に対して、バッファ１６からの第１組の相関算出画素群対に対する第１の参照データ（画素Ａ１のデータ、画素Ａ２のデータ及び画素Ａ３のデータ）の先頭データ（アドレスａ（−１））と、バッファ１７からの第１組の相関算出画素群対に対する第２の参照データ（画素Ｂ３のデータ、画素Ｂ４のデータ及び画素Ｂ５のデータ）の先頭データ（アドレスｂ（−１））との間で差分演算が実行される。引き続き、第１の参照データ及び第２の参照データにおいて、それぞれ、１データ分ずつ右方向へシフトさせた２番目のデータ（アドレスａ（０））と２番目のデータ（アドレスｂ（０））との間で差分演算が実行される。引き続き、第１の参照データにおける末尾データ（アドレスａ（１））と第２の参照データにおける末尾データ（アドレスｂ（１））との間で差分演算が実行される。これにより、第１組の相関算出画素群対に対する差分が算出される。なお、算出される差分の数は、第１の参照データ（第２の参照データ）を構成するデータ数と同数である。

次に、図４に示された第２組の相関算出画素群対に対する第１の参照データ（画素Ａ２のデータ、画素Ａ３のデータ及び画素Ａ４のデータ）と第２組の相関算出画素群対に対する第２の参照データ（画素Ｂ２のデータ、画素Ｂ３のデータ及び画素Ｂ４のデータ）との差分が、第１組の相関算出画素群対の場合と同様にして算出される。

最後に、図５に示された第３組の相関算出画素群対に対する第１の参照データ（画素Ａ３のデータ、画素Ａ４のデータ及び画素Ａ５のデータ）と第３組の相関算出画素群対に対する第２の参照データ（画素Ｂ１のデータ、画素Ｂ２のデータ及び画素Ｂ３のデータ）との差分が、第１組の相関算出画素群対の場合と同様にして算出される。

上記においては、各組の相関算出画素群対に対して、左端の画素同士から順に右端の画素同士までの差分を算出したが、この順序は任意の順序であってもよい。また、左端の相関算出画素群対（第１組の相関算出画素群対）から順に右に１画素分ずつシフトさせた相関算出画素群対に対する差分を算出したが、この順序は任意の順序であってもよい。なお、これらの差分の算出は、供給されるデータの時系列にそって順次に行われるため、差分を算出する順序に応じて第１の参照データ内での画素Ａ１〜Ａ３のデータの配列を異ならせる必要がある。

絶対値回路１９は、差分回路１８で算出された各差分値を絶対値にする回路である。

加算回路２０は、絶対値回路１９で算出された複数組の相関算出画素群対の各々に対応付けられた複数の絶対値をすべて加算して、複数組の相関算出画素群対ごとの総和（差分絶対値和）を出力する回路である。つまり、第１組の相関算出画素群対の差分絶対値和〜第３組の相関算出画素群対の差分絶対値和を順次に出力する。

最小値回路２１は、内部に保持されている保持値と加算回路２０で算出された差分絶対値和とを順次に比較して、入力された差分絶対値和が保持値よりも小さければ、保持値を更新すると共に第１の信号（信号値１）を補間値算出回路２２に出力し、入力された差分絶対値和が保持値よりも大きければ第２の信号（信号値０）を出力する。なお、保持値に対応する相関算出画素群対が保持画素群対に相当する。

より具体的には、まず、最小値回路２１では、第１の相関算出画素群対に対する差分絶対値和が入力されると、第１の相関算出画素群対に対する差分絶対値和を最小値とみなして保持値を更新すると共に第１の信号（信号値１）を出力する。次に、第２の相関算出画素群対に対する差分絶対値和が入力されると、保持値（第１の相関算出画素群対に対する差分絶対値和）と第２の相関算出画素群対に対する差分絶対値和とを比較して、第２の相関算出画素群対に対する差分絶対値和が保持値よりも小さければ、保持値を第２の相関算出画素群対に対する差分絶対値和に更新すると共に第１の信号（信号値１）を出力し、一方、第２の相関算出画素群対に対する差分絶対値和が保持値よりも大きければ、第２の信号（信号値０）を出力する。次に、第３の相関算出画素群対に対する差分絶対値和が入力され、第２の相関算出画素群対の場合と同様の処理がなされる。これによって、３組の相関算出画素群対のうち差分絶対値和が最小である相関算出画素群対が補間参照画素群対として選択される。つまり、最終的に算出される補間参照画素群対が、３組の相関算出画素群対のうち最も相関の高い相関算出画素群対である。

補間値算出回路２２は、最小値回路２１から出力された第１の信号又は第２の信号と、バッファ１６及びバッファ１７からそれぞれ出力される第１の信号又は第２の信号と同期した第１の参照データ及び第２の参照データとに基づいて、補間値を算出する回路である。補間値算出回路２２では、最小値回路２１から第１の信号が供給されると、バッファ１６からの第１の参照データにおける中心データ（中心画素の情報）とバッファ１７からの第２の参照データにおける中心データ（中心画素の情報）を抽出し、それらの中心データの平均値を算出して補間値を更新する。また、補間値算出回路２２は、補間参照画素群対に対する第１の参照データ及び第２の参照データ、すなわち最小値回路２１から最後に最小値を示す第１の信号（信号値１）が供給されたときの第１の参照データ及び第２の参照データに対する中心データの平均値を補間値として出力端子２３へ供給する。

具体的には、補間値算出回路２２では、まず、最小値回路２１からの第１組の相関算出画素群対に対する第１の信号と、バッファ１６からの第１組の相関算出画素群対に対する第１の参照データと、バッファ１７からの第１組の相関算出画素群対に対する第２の参照データとに基づいて、第１組の相関算出画素群対に対する中心データの平均値が算出されて補間値が更新される。次に、最小値回路２１からの第２組の相関算出画素群対に対する第１の信号又は第２の信号と共に、第２組の相関算出画素群対に対する第１の参照データ及び第２の参照データが入力され、最小値回路２１からの信号が第１の信号であれば、第２組の相関算出画素群対に対する中心データの平均値が算出されて補間値が更新され、最小値回路２１からの信号が第１の信号であれば、第２組の相関算出画素群対に対する中心データの平均値は算出せず補間値も更新されない。次に、最小値回路２１からの第３組の相関算出画素群対に対する第１の信号又は第２の信号と共に、第３組の相関算出画素群対に対する第１の参照データ及び第２の参照データが入力され、第２の相関算出画素群対の場合と同様の処理がなされる。最後に、補間値（補間対象画素の情報）を出力端子２３へ供給する。

また、補間値算出回路２２は、補間対象画素の補間値を出力した後に、次の補間対象画素の補間値を算出するための複数組の相関算出画素群対に対する複数の参照データをラインメモリからバッファへ順次に供給するように指示する信号をアドレス制御回路１５へ出力する。この指示は、左端の相関算出画素群対における左端の画素のアドレスと、相関算出画素群対の数を指定することによって行うことができる。なお、この指示は、次の補間対象画素に対する複数組の相関算出画素群対を特定できれば、どのような指定の仕方でもよい。

出力端子２３は、補間値算出回路２２で算出された補間値を外部装置へ出力する。

ここで、実施の形態１に係る画像処理装置の画像処理方法（動作）について説明する。入力端子１１には、原画像が原画像ラインごとの画像信号として連続して入力される。原画像ｎラインの画像信号及び原画像（ｎ＋１）ラインの画像信号が入力されると、ラインメモリ１４には、最後に入力された原画像（ｎ＋１）ラインを構成するすべての画素のデータが蓄積され、ラインメモリ１３には、直前に入力された原画像ｎラインを構成するすべての画素のデータが１Ｈ遅延回路を介して蓄積される。なお、引き続き、原画像（ｎ＋２）ラインの画像信号が入力されると、一旦、ラインメモリ１３及びラインメモリ１４に蓄積されていたデータは消去されて、ラインメモリ１４には、最後に入力された原画像（ｎ＋２）ラインを構成するすべての画素のデータが蓄積され、ラインメモリ１３には、直前に入力された原画像（ｎ＋１）ラインを構成するすべての画素のデータが１Ｈ遅延回路を介して蓄積される。すべての原画像ラインの画像信号についてこれらが繰り返される。以下においては、ラインメモリ１４には、原画像（ｎ＋１）ラインを構成するすべての画素のデータが蓄積され、ラインメモリ１３には、原画像ｎラインを構成するすべての画素のデータが蓄積されている場合について説明する。

補間値算出回路２２から出力された指示信号に基づいて、アドレス制御回路１５は、ラインメモリ１３に対しては複数組の相関算出画素群対の各々に対応する第１の参照データを順次に抽出してバッファ１６へ供給するように、また、ラインメモリ１４に対しては複数組の相関算出画素群の各々に対応する第２の参照データを順次に抽出してバッファ１７へ供給するように制御信号を出力する。

アドレス制御回路１５からの制御信号に応じて、複数組の相関算出画素群対ごとに、複数組の相関算出画素群対の各々に対する第１の参照データがラインメモリ１３からバッファ１６へ供給され、また、複数組の相関算出画素群対の各々に対する第２の参照データがラインメモリ１４からバッファ１７へ供給される。

バッファ１６へ供給された複数組の相関算出画素群対の各々に対する第１の参照データ及びバッファ１７へ供給された複数組の相関算出画素群対の各々に対する第２の参照データは、一旦蓄積された後に、複数組の相関算出画素群対ごとに、差分回路１８へ供給される。

差分回路１８へ供給されたバッファ１６からの複数組の相関算出画素群対の各々に対する第１の参照データとバッファ１７からの複数組の相関算出画素群対の各々に対する第２の参照データの間で差分演算が行われる。このとき差分演算は、第１の参照データ及び第２の参照データに対する先頭データから末尾データへとデータ供給時系列に従って実行される。複数組の相関算出画素群対の各々に対する第１の参照データ及び第２の参照データ間で算出された複数組の相関算出画素群対の各々に対する複数の差分値は、複数組の相関算出画素群対ごとに、絶対値回路１９へ供給される。

絶対値回路１９へ供給された複数組の相関算出画素群対の各々に対する複数の差分値は絶対値に変換され、複数組の相関算出画素群対ごとに、加算回路２０へ供給される。

加算回路２０に供給された複数組の相関算出画素群対の各々に対する複数の差分値の絶対値は、複数組の相関算出画素群対ごとに加算される。これにより、複数組の相関算出画素群対の各々に対する差分絶対値和が算出される。算出された複数組の相関算出画素群対の各々に対する差分絶対値和は、複数組の相関算出画素群対ごとに、最小値回路２１へ供給される。

最小値回路２１へ供給された複数組の相関算出画素群対に対する複数の差分絶対値和を順次に保持値と比較し、複数組の相関算出画素群対ごとに、保持値より小なる差分絶対値和が供給されれば保持値をその差分絶対値和に更新し、かつ最小値を示す第１の信号（信号値１）を、そうでなければ第２の信号（信号値０）を補間値算出回路２２へ供給する。

補間値算出回路２２へ供給された最小値回路２１からの複数組の相関算出画素群対の各々に対する第１の信号又は第２の信号と、バッファ１６から供給された複数組の相関算出画素群対の各々に対する第１の参照データと、バッファ１７から供給された複数組の相関算出画素群対の各々に対する第２の参照データとに基づいて、複数組の相関算出画素群対ごとに、最小値回路２１からの複数組の相関算出画素群対の各々に対する信号が第１の信号であればバッファ１６から供給された第１の参照データにおける中心画素のデータとバッファ１７から供給された第２の参照データにおける中心画素のデータとから中心画素対に対する平均値を算出し、かつ、補間値をその平均値に更新し、一方、最小値回路２１からの複数組の相関算出画素群対の各々に対する信号が第２の信号であれば中心画素対に対する平均値を算出せず、補間値も更新しない。これにより、最終的には、複数組の相関算出画素群対のうち差分絶対値和が最小である補間参照画素群対に対する中心画素対に対する平均値が補間値として出力端子２３へ出力される。

本実施の形態１に係る画像処理装置によれば、複数組の相関算出画素群対のうち最も相関が強い補間参照画素群対を選択し、その補間参照画素群対に対する原画像ｎライン上の中心画素の画素値と原画像（ｎ＋１）ライン上の中心画素の画素値とを平均して補間対象画素の補間値とすることで、複数の画素対の相関から算出した従来の補間値よりも精度の高い補間値が得られる。

（実施の形態２）
本実施の形態２においては、複数組の広域相関算出画素群対に対する補間サーチと複数組の狭域相関算出画素群対に対する補間サーチとの二重の補間サーチによる補間参照画素群対の選択に基づいて補間値を算出する画像処理装置Ａの一形態及びその画像処理方法について、図６〜図８を参照しながら説明する。図６は、本実施の形態２における画像処理装置の画像処理方法を説明するためのフローチャートである。図７は、本実施の形態２に係る画像処理装置の効果を説明するためのフレーム画像を表す模式的な平面図である。図８は、本実施の形態２に係る画像処理装置の画像処理方法における広域相関算出画素群対を説明するための説明図である。なお、本実施の形態２に係る画像処理装置の概念的な構成は、図１に示された画像処理装置と概ね同一であるため、便宜的に図１をも参照する。

本実施の形態２に係る画像処理装置の画像処理方法（動作）について説明する。図６に示されたように、まず、複数組の広域相関算出画素群対の各々に対する第１の参照データ及び第２の参照データを用いた第１の補間値算出の開始が宣言される(ステップ１０１)。これにより、上記の実施の形態１における複数組の相関算出画素群対に対する処理と同様の処理が、複数組の広域相関算出画素群対に対して行われる。

１組の広域相関算出画素群対に対する第１の参照データ及び第２の参照データから、１組の広域相関算出画素群対に対する差分絶対値和が算出される（ステップ１０２）。１組の広域相関算出画素群対に対する差分絶対値和は、上記の実施の形態１の相関算出画素群に対する処理と同様にして、１組の狭域相関算出画素群対に対する第１の参照データ及び第２の参照データが、差分回路１８、絶対値回路１９及び加算回路２０を経ることにより生成される（図１参照）。

１組の広域相関算出画素群対に対する差分絶対値和の算出後に、算出された差分絶対値和が保持値より小さいか否かが判断され、小さいと判断されれば保持値が更新される（ステップ１０３）。この処理は、上記の実施の形態１の相関算出画素群に対する処理と同様にして、最小値回路２１において行われる（図１参照）。

上記のステップ１０２及び上記のステップ１０３は、複数組の広域相関算出画素群の全ての組に対して、組ごとに順次繰り返される。複数組の広域相関算出画素群の全ての組に対する処理が完了すれば、複数組の広域相関算出画素群対に対する複数の差分絶対値和のうちで最小の値が決定される。つまり、複数組の広域相関算出画素群対のうちで差分絶対値和が最小である広域参照候補画素群対が決定される。広域参照候補画素群対を決定する処理は、上記の実施の形態１の相関算出画素群に対する処理と同様にして行われる。

広域参照候補画素群対が決定された後に、広域参照候補画素群対に対する広域補間候補値が算出される（ステップ１０４）。広域参照候補画素群対に対する補間候補値は、上記の実施の形態１の参照候補画素群に対する処理と同様の処理により補間値算出回路２２において行われる（図１参照）。

広域補間候補値が算出された後に、複数組の狭域相関算出画素群対の各々に対する第１の参照データ及び第２の参照データを用いた第１の補間値算出の開始が宣言される(ステップ１０５)。これにより、上記の実施の形態１における複数組の相関算出画素群対に対する処理と同様の処理が、複数組の広域相関算出画素群対に対して行われる。なお、狭域相関算出画素群対を構成する画素数は、広域相関算出画素群対を構成する画素数より少ない。また、複数組の狭域相関算出画素群対の組数は、複数組の広域相関算出画素群対の組数と同数であり、中心画素として選択される画素が、複数組の狭域相関算出画素群対と広域相関算出画素群対とで共通とする。

１組の狭域相関算出画素群対に対する第１の参照データ及び第２の参照データから、１組の狭域相関算出画素群対に対する差分絶対値和が算出される（ステップ１０６）。１組の狭域相関算出画素群対に対する差分絶対値和は、上記の実施の形態１の相関算出画素群に対する処理と同様にして、１組の狭域相関算出画素群対に対する第１の参照データ及び第２の参照データが、差分回路１８、絶対値回路１９及び加算回路２０を経ることにより生成される（図１参照）。

１組の狭域相関算出画素群対に対する差分絶対値和の算出後に、算出された差分絶対値和が保持値より小さいか否かが判断され、小さいと判断されれば保持値が更新される（ステップ１０７）。この処理は、上記の実施の形態１の相関算出画素群に対する処理と同様にして、最小値回路２１において行われる（図１参照）。

上記のステップ１０６及び上記のステップ１０７は、複数組の狭域相関算出画素群の全ての組に対して、組ごとに順次繰り返される。複数組の狭域相関算出画素群の全ての組に対する処理が完了すれば、複数組の狭域相関算出画素群対に対する複数の差分絶対値和のうちで最小の値が決定される。つまり、複数組の狭域相関算出画素群対のうちで差分絶対値和が最小である狭域参照候補画素群対が決定される。狭域参照候補画素群対を決定する処理は、上記の実施の形態１の相関算出画素群に対する処理と同様にして行われる。

狭域参照候補画素群対が決定された後に、狭域参照候補画素群対に対する狭域補間候補値が算出される（ステップ１０８）。狭域参照候補画素群対に対する補間候補値は、上記の実施の形態１の参照候補画素群に対する処理と同様の処理により補間値算出回路２２において行われる（図１参照）。

上記のステップ１０４で算出された広域補間候補値と上記のステップ１０８で算出された狭域補間候補値とが同一であるか否かを判定する（ステップ１０９）。この処理は、補間値算出回路２２において行われる（図１参照）。なお、上記の実施の形態１においてはこの処理は行われないこと、つまり、実施の形態１における補間値算出回路２２は、この処理を行う回路を備えていなくてもよい。

広域補間候補値と狭域補間候補値とが同一であれば、狭域補間候補値（又は広域補間候補値）が補間値として出力される（ステップ１１０）。この処理は、補間値算出回路２２において行われる（図１参照）。なお、上記の実施の形態１においてはこの処理は行われないこと、つまり、実施の形態１における補間値算出回路２２は、この処理を行う回路を備えていなくてもよい。

一方、広域補間候補値と狭域補間候補値とが異なれば、補間対象画素の直上の画素のデータ及び直下の画素のデータの平均値を算出する。その平均値は、補間値として出力される（ステップ１１２）。補間対象画素の直上の画素のデータ及び直下の画素のデータの平均値の算出は、補間値算出回路２２において行われる（図１参照）。なお、上記の実施の形態１においてはこの処理は行われないこと、つまり、実施の形態１における補間値算出回路２２は、この処理を行う回路を備えていなくてもよい。

以上で説明したように、２重の補間サーチを用いて補間値を算出する本実施の形態２に係る画像処理装置は、例えば、図７に示すような細い斜めラインが複数並んだようなパターン画像において、単独の補間サーチを用いた場合よりも正確に補間値を算出することができる。図７に示されたパターン画像の中央近傍を拡大して表示した図８を参照して説明する。相関算出画素群対を構成する画素対の数が少ない場合（例えば、図２に示されたような３画素対の場合）は、複数組の相関算出画素群対に対する相関が等しい場合が発生し、最適な判定ができない場合が生じる。しかしながら、図８に示されたような多数の画素対からなる広域相関算出画素群対に対する第１の参照データ及び第２の参照データを更に用いた場合、相関値が最小値をとる１つの相関算出画素群対を決定することができる。このように、広域相関算出画素群対に対する広域補間候補値と狭域相関算出画素群対に対する狭域補間候補値とを算出し、それらの値が同一のときにそれらの値を補間値として出力することで補間の精度を更に向上させることができる。

上記においては、複数組の広域相関算出画素群対に対する補間サーチを行った後に複数組の狭域相関算出画素群対に対する補間サーチを行ったが、複数組の狭域相関算出画素群対に対する補間サーチを行った後に複数組の広域相関算出画素群対に対する補間サーチを行ってもよい。

広域補間候補値と狭域補間候補値とが異なる場合は、上記においては、補間対象画素の直上の画素のデータ及び直下の画素のデータの平均値を補間値としたが、広域補間候補値又は狭域補間候補値を優先的に補間値として採用してもよい。

（実施の形態３）
本実施の形態３においては、複数組の広域相関算出画素群対に対する補間サーチと複数組の狭域相関算出画素群対に対する補間サーチとの２階層の補間サーチによる補間参照画素群対の選択に基づいて補間値を算出する画像処理装置Ａの一形態及びその画像処理方法について、図９及び図１０を参照しながら説明する。図９は、本実施の形態３における画像処理装置の画像処理方法を説明するためのフローチャートである。図１０は、本実施の形態３に係る画像処理装置の画像処理方法における二階層の補間サーチを説明するための説明図であり、図１０（ａ）が第１段目の広域補間サーチを表し、図１０（ｂ）が第２段目の狭域補間サーチを表す。なお、本実施の形態３に係る画像処理装置の概念的な構成は、図１に示された画像処理装置と概ね同一であるため、便宜的に図１をも参照する。

本実施の形態３に係る画像処理装置の画像処理方法（動作）について説明する。図９に示されたように、まず、複数組の広域相関算出画素群対の各々に対する第１の参照データ及び第２の参照データを用いた第１の補間値算出の開始が宣言される(ステップ１０１)。これにより、上記の実施の形態１における複数組の相関算出画素群対に対する処理と同様の処理が、複数組の広域相関算出画素群対に対して行われる。

１組の広域相関算出画素群対に対する第１の参照データ及び第２の参照データから、１組の広域相関算出画素群対に対する差分絶対値和が算出される（ステップ１０２）。１組の広域相関算出画素群対に対する差分絶対値和は、上記の実施の形態１の相関算出画素群に対する処理と同様にして、１組の広域相関算出画素群対に対する第１の参照データ及び第２の参照データが、差分回路１８、絶対値回路１９及び加算回路２０を経ることにより生成される（図１参照）。

１組の広域相関算出画素群対に対する差分絶対値和の算出後に、算出された差分絶対値和が保持値より小さいか否かが判断され、小さいと判断されれば保持値が更新される（ステップ１０３）。この処理は、上記の実施の形態１の相関算出画素群に対する処理と同様にして、最小値回路２１において行われる（図１参照）。

上記のステップ１０２及び上記のステップ１０３は、複数組の広域相関算出画素群の全ての組に対して、組ごとに順次繰り返される。複数組の広域相関算出画素群の全ての組に対する処理が完了すれば、複数組の広域相関算出画素群対に対する複数の差分絶対値和のうちで最小の値が決定される。つまり、複数組の広域相関算出画素群対のうちで差分絶対値和が最小である広域参照候補画素群対が決定される。広域参照候補画素群対を決定する処理は、上記の実施の形態１の相関算出画素群に対する処理と同様にして行われる。

広域参照候補画素群対が決定された後に、広域参照候補画素群対における第１の画素群の中心に位置する中心画素のアドレスが抽出される（ステップ２０１）。

広域補間候補値が算出された後に、複数組の狭域相関算出画素群対の各々に対する第１の参照データ及び第２の参照データを用いた第１の補間値算出の開始が宣言される(ステップ１０５)。これにより、上記の実施の形態１における複数組の相関算出画素群対に対する処理と同様の処理が、複数組の狭域相関算出画素群対に対して行われる。なお、狭域相関算出画素群対を構成する画素数は、広域相関算出画素群対を構成する画素数より少ない。

上記のステップ２０１で抽出された中心画素のアドレスは、複数組の狭域相関算出画素群対に対する補間サーチの第１の参照データに対する補間サーチの初期開始アドレスとして設定される（ステップ２０２）。これにより、ステップ１０３で選択された広域参照候補画素群対に含まれる画素のみで各々が構成された複数組の狭域相関算出画素群対が選択され、かつ一番目に選択される狭域相関算出画素群対が指定される。

ここで、選択される複数組の狭域相関算出画素群対と、複数組の狭域相関算出画素群対に対する補間サーチにおいて一番目に選択される狭域相関算出画素群対とについて説明する。図１０（ａ）に示されたような広域参照候補画素群対（図１０（ａ）中の点線で囲まれた画素群）が選択された場合、複数組の狭域相関算出画素群対は、画素ａ（−５）〜画素ａ（−３）及び画素ｂ（３）〜画素ｂ（５）からなる狭域相関算出画素群対、１画素分シフトした画素ａ（−４）〜画素ａ（−２）及び画素ｂ（２）〜画素ｂ（４）からなる狭域相関算出画素群対、・・・、８画素分シフトした画素ａ（３）〜画素ａ（５）及び画素ｂ（−３）〜画素ｂ（−５）からなる狭域相関算出画素群対の９組で構成される。

ステップ２０１では、広域参照候補画素群対における原画像ｎライン上の画素群の中心に位置する中心画素（ａ（０））のアドレスが抽出され、図１０（ｂ）に示されたように、広域参照候補画素群対における中心画素を中心画素として含む狭域相関算出画素群対が補間サーチの開始画素群対となる。その後は、残りの８組の狭域相関算出画素群対を順次に選択する。なお、残りの８組の狭域相関算出画素群対の選択順序は任意であってよい。

１組の狭域相関算出画素群対に対する第１の参照データ及び第２の参照データから、１組の狭域相関算出画素群対に対する差分絶対値和が算出される（ステップ１０６）。１組の狭域相関算出画素群対に対する差分絶対値和は、上記の実施の形態１の相関算出画素群に対する処理と同様にして、１組の狭域相関算出画素群対に対する第１の参照データ及び第２の参照データが、差分回路１８、絶対値回路１９及び加算回路２０を経ることにより生成される（図１参照）。

１組の狭域相関算出画素群対に対する差分絶対値和の算出後に、算出された差分絶対値和が保持値より小さいか否かが判断され、小さいと判断されれば保持値が更新される（ステップ１０７）。この処理は、上記の実施の形態１の相関算出画素群に対する処理と同様にして、最小値回路２１において行われる（図１参照）。

上記のステップ１０６及び上記のステップ１０７は、複数組の狭域相関算出画素群の全ての組に対して、上記のステップ２０２で指定された順序に従って、組ごとに繰り返される。複数組の狭域相関算出画素群対の全ての組に対する処理が完了すれば、複数組の狭域相関算出画素群対に対する複数の差分絶対値和のうちで最小の値が決定される。つまり、複数組の狭域相関算出画素群対のうちで差分絶対値和が最小である狭域参照候補画素群対が決定される。狭域参照候補画素群対を決定する処理は、上記の実施の形態１の相関算出画素群に対する処理と同様にして行われる。

狭域参照候補画素群対が決定された後に、狭域参照候補画素群対に対する狭域補間候補値が算出される（ステップ１０８）。狭域参照候補画素群対に対する補間候補値は、上記の実施の形態１の参照候補画素群に対する処理と同様の処理により補間値算出回路２２において行われる（図１参照）。

狭域補間候補値は補間値として出力される（ステップ２０３）。この処理は、補間値算出回路２２において行われる（図１参照）。

なお、本実施例では、補間対象画素の各々に対して、広域相関算出画素対に対する第１の参照データ及び第２の参照データによる１段目補間サーチと狭域参照データによる２段目補間サーチとを行う場合を示したが、連続した一定数の補間対象画素については、既に補間値を算出した先頭の補間対象画素に対する１段目補間サーチにおける広域参照候補画素のアドレスを２段目補間サーチの開始アドレスとして共通に使用し、後続の補間対象画素に対する１段目補間サーチの演算を省略してもよい。

更に、一定数の連続した補間対象画素について、先頭の補間対象画素に対する広域参照候補画素のアドレスを２段目補間サーチの開始アドレスとして共通に使用する場合には、後続の補間対象画素の位置と先頭の補間対象画素の位置との差（上下の補間位置の画素が当該補間対象画素からの左右へどれだけシフトしているかを示す画素数）を考慮した値をステップ２０１で抽出し、後続の補間対象画素の初期開始アドレスに適用してもよい。具体的には、後続の補間対象画素の位置が先頭の補間対象画素を右に＋ｋ画素分（ｋ：０を除く整数）だけシフトさせた位置である場合、先頭の補間対象画素に対する広域参照候補画素群対の中心画素を右に＋ｋ画素分だけシフトさせた画素のアドレスを２段目補間サーチの開始アドレスとする。

（実施の形態４）
本実施の形態４においては、連続していない複数の補間参照画素群対を決定する画像処理装置Ａの一形態及びその画像処理方法について、図１１〜図１３を参照しながら説明する。図１１は、本実施の形態４に係る画像処理装置の構成を概念的に表すブロック図である。図１２は、本実施の形態４に係る画像処理装置の画像処理方法における間引かれた相関算出画素群対を説明するための説明図である。また、図１３は、本実施の形態４に係る画像処理装置の第２の画像処理方法における擬似的に等間隔に間引かれた相関算出画素群対を説明するための説明図である。

図１１に示された画像処理装置は、入力端子１１と、１Ｈ遅延回路１２、ラインメモリ１３及びラインメモリ１４からなる画素情報保持部５、アドレス制御回路１５、バッファ１６及びバッファ１７からなる参照画素情報抽出部１と、間引き回路３０、差分回路１８、絶対値回路１９及び加算回路２０からなる相関算出部２と、最小値回路２１からなる補間参照画素群対選択部３と、補間値算出回路２２からなる補間部４と、出力端子２３と、を備えた構成である。なお、図１１に示された画像処理装置は、相関算出部２が差分回路１８の前段に間引き回路３０を更に有すること以外は上記の実施の形態１〜実施の形態３に係る画像処理装置と同一の構成である。したがって、以下においては、相違部分について説明する。

間引き回路３０は、バッファ１６からの参照データ及びバッファ１７からの参照データの各々から所定の画素データを選択的に差分回路１８に出力する回路である。間引き回路としては、一定数の画素データ間隔で間欠的に均等に間引く回路、所定の不特定数の画素データ間隔で間欠的に不均等に間引く回路、連続する一定数の画素データを平均化することによって擬似的に所定の画素データを均等に間引く回路、連続する所定数の画素データを平均化することによって擬似的に所定数の画素データを不均等に間引く回路、間欠的な間引きと擬似的な間引きとを組み合わせて間引く回路等が挙げられる。

ここで、本実施の形態４に係る画像処理装置の画像処理方法（動作）について説明する。間引き回路３０として、一定数の画素データ間隔で間欠的に均等に間引く回路を用いた場合について説明する。なお、上記の実施の形態１と異なる部分のみについて説明する。

バッファ１６で一旦蓄積された第１の参照データ及びバッファ１７で一旦蓄積された第２の参照データは、間引き回路３０へ供給される。間引き回路３０へ供給された第１の参照データと第２の参照データは、それぞれ、図１２に示されたように等間隔で間引かれる。なお、図１２中の×印は間引きによって除去されたデータに対応する画素を表している。間引かれた第１の参照データ及び第２の参照データは差分回路１８へ供給される。以降の処理は実施の形態１と同一である。

上記において、間引き回路３０では、第１の参照データ及び第２の参照データの画素データを単純に等間隔で間引いたが、図１３に示すように、連続する画素に対する複数の画素データを平均化することによって擬似的に等間隔に間引いてもよい。図１３には、連続する３つの画素から１つの画素情報を生成する場合が示されている。具体的には、画素ａ（−１）のデータ、画素ａ（０）のデータ、画素ａ（１）から画素のデータを平均化して擬似的な画素ａ’（０）のデータを生成する。

また、間引きの間隔は等間隔でなくともよい、例えば、第１の参照データ及び第２の参照データにおける中央で間引きの間隔が狭く、第１の参照データ及び第２の参照データの周辺に行くに伴い間引きの間隔を広げてもよい。

補間サーチに使用する第１の参照データ及び第２の参照データを間引くことで、補間サーチの演算を軽減し、参照データを構成する範囲（第１の画素群及び第２の画素群における先頭画素の位置と末尾画素の位置との距離）を広げることによる演算負荷に割りふることができる。

本実施の形態４における、間引かれた第１の参照データ及び第２の参照データに基づいて相関値を求める技術は、上記の実施の形態１〜３に記載の画像処理技術と併用することができる。特に、上記の第２の実施の形態又は第３の実施の形態における第１の広域参照データ及び第２の広域参照データに対して間引きを適用することが好ましい。

（実施の形態５）
本実施の形態５においては、連続していない複数の補間参照画素群対を決定する画像処理装置Ａの一形態及びその画像処理方法について、図１４及び図１５を参照しながら説明する。図１４は、本実施の形態５に係る画像処理装置の構成を概念的に表すブロック図である。また、図１５は、本実施の形態５に係る画像処理装置の画像処理方法における相関算出画素群対に対する相関値の算出方法を説明するための説明図である。

図１４に示された画像処理装置は、入力端子１１と、１Ｈ遅延回路１２、ラインメモリ１３及びラインメモリ１４からなる画素情報保持部５と、アドレス制御回路１５、バッファ１６及びバッファ１７からなる参照画素情報抽出部１と、差分回路１８、絶対値回路１９、重み付け回路４０及び加算回路２０からなる相関算出部２と、最小値回路２１からなる補間参照画素群対選択部３と、補間値算出回路２２からなる補間部４と、出力端子２３と、を備えた構成である。なお、図１４に示された画像処理装置は、相関算出部２が絶対値回路１９と加算回路２０との間に重み付け回路４０を更に有すること以外は上記の実施の形態１〜実施の形態３に係る画像処理装置と同一の構成である。したがって、以下においては、相違部分について説明する。

重み付け回路４０は、第１の参照データに含まれる任意の画素データと、その任意のデータに対応付けられた第２の参照データに含まれる画素データとの差分絶対値に、任意の画素と第１の画素群対における中心画素との相対的な位置に応じて決定される定数を乗算する回路である。例えば、重み付け回路４０は、図１５に示された相関算出画素群対に対しては、相対アドレスａ（−１）の画素と相対アドレスｂ（−１）の画素との間の差分絶対値に対しては重み定数Ｗ（−１）を乗算し、相対アドレスａ（０）の画素と相対アドレスｂ（０）の画素との間の差分絶対値に対しては重み定数Ｗ（０）を乗算し、相対アドレスａ（１）の画素と相対アドレスｂ（１）の画素との間の差分絶対値に対しては重み定数Ｗ（０）を乗算する。なお、重み付けは、Ｗ（０）がＷ（−１）及びＷ（１）より小さい値とし、最終的に補間値算出に用いられる相対アドレスａ（０）の画素の画素データと相対アドレスｂ（０）の画素の画素データとの差分絶対値の値が小さいほど補間データとして選択されやすくする。

ここで、図１４に示された画像処理装置の画像処理方法（動作）について説明する。なお、上記の実施の形態１と異なる部分のみについて説明する。

絶対値回路１９では、絶対値を取ることにより、供給された複数組の相関算出画素群対の各々に対する複数の差分絶対値に変換し、複数組の相関算出画素群対ごとに、変換された差分絶対値を重み付け回路４０へ供給する。

重み付け回路４０では、供給された複数の差分絶対値に、複数の差分絶対値ごとに対応付けられた重み定数を乗算する。このとき重み定数の乗算は、第１の参照データ及び第２の参照データに対する先頭データから末尾データへとデータ供給時系列に従って実行される。重み付けられた複数の差分絶対値は、加算回路２０に供給される。

加算回路２０に供給された複数組の相関算出画素群対の各々に対する複数の差分絶対値は、複数組の相関算出画素群対の各々ごとに加算される。これにより、複数組の相関算出画素群対の各々に対する荷重差分絶対値和が算出される。算出された複数組の相関算出画素群対の各々に対する荷重差分絶対値和は、複数組の相関算出画素群対ごとに、最小値回路２１へ供給される。以降の処理は、上記の実施の形態１の場合と同様である。

図１４に示された画像処理装置では、重み付け回路４０が絶対値回路１９と加算回路２０との間に設けられたが、重み付け回路４０は、差分回路１８と絶対値回路１９との間に設けられても同様の効果を奏する。この場合には、差分回路１８で算出された複数組の相関算出画素群対の各々に対する複数の差分値は、複数組の相関算出画素群対ごとに、重み付け回路４０へ供給される。重み付け回路では、複数組の相関算出画素群対の各々を構成する相関算出画素対ごとに、その相関算出画素対に対応する重み定数を乗算する。このとき重み定数の乗算は、第１の参照データ及び第２の参照データに対する先頭データから末尾データへとデータ供給時系列に従って実行される。重み付けられた複数の差分値は、絶対値回路１９に供給される。

本実施の形態５の荷重差分絶対値和に基づいて相関値を求める技術は、上記の実施の形態１〜４に記載の画像処理技術と併用することができる。

（実施の形態６）
本実施の形態６においては、単独の補間サーチによって補間参照画素群対を決定する画像処理装置及び画像処理方法について、図１６（ａ）〜（ｃ）を参照しながら説明する。図１６（ａ）〜（ｃ）は、本実施の形態６に係る画像処理装置の画像処理方法を説明するための説明図であり、それぞれ、第１組の相関算出画素群対、第２組の相関算出画素群対及び第３組の相関算出画素群対に対する相関値を算出する過程を説明するための説明図である。なお、本実施の形態６に係る画像処理装置は、上記の実施の形態１にかかる画像処理装置と同一の構成であるためにその説明を省略する。また、本実施の形態６に係る画像処理方法は、複数組の相関算出画素群対の各々における原画像ｎライン上の画素群（第１の画素群）及び原画像（ｎ＋１）ライン上の画素群（第２の画素群）がそれぞれ偶数個であること以外は上記の実施の形態１と同一の画像処理方法であるため、以下においては、それらの相違部分についてのみ説明する。

図１６（ａ）に示された、画素Ａ４を中央画素（第１の画素群内における特定位置の画素）として含む原画像ｎライン上で連続した画素群（画素Ａ４、画素Ａ５）及び画素Ｂ２を中央画素（第２の画素群内における特定位置の画素）として含む原画像（ｎ＋１）ライン上で連続した画素群（画素Ｂ２、画素Ｂ３）からなる第１組の相関算出画素群対（図１６（ａ）中の一点鎖線で囲まれた画素群対）と、図１６（ｂ）に示された、第１組の相関算出画素群対に対する原画像ｎライン上の画素群を左に１画素分シフトさせた画素群（画素Ａ３、画素Ａ４）及び第１組の相関算出画素群対に対する原画像（ｎ＋１）ライン上の画素群を右に１画素分シフトさせた画素群（画素Ｂ３、画素Ｂ４）からなる第２組の相関算出画素群対（図１６（ｂ）中の実線で囲まれた画素群対）と、図１６（ｃ）に示された、第２組の相関算出画素群対に対する原画像ｎライン上の画素群を左に１画素分シフトさせた画素群（画素Ａ２、画素Ａ３）及び第２組の相関算出画素群対に対する原画像（ｎ＋１）ライン上の画素群を右に１画素分シフトさせた画素群（画素Ｂ４、画素Ｂ５）からなる第３組の相関算出画素群対（図１６（ｃ）中の点線で囲まれた画素群対）とが順次に選択される。なお、画素群（Ａ２〜Ａ５）が第１の参照画素群であり、画素群（Ｂ２〜Ｂ５）が第２の参照画素群である。

図１６（ａ）〜（ｃ）においては、３組の相関算出画素対を選択する場合が示されているが、第１組の相関算出画素群対に対する原画像ｎライン上の画素群を右に１画素分シフトさせた画素群及び第１組の相関算出画素群対に対する原画像（ｎ＋１）ライン上の画素群を左に１画素分シフトさせた画素群からなる相関算出画素群対や、第３組の相関算出画素群対に対する原画像ｎライン上の画素群を左に１画素分シフトさせた画素群及び第３組の相関算出画素群対に対する原画像（ｎ＋１）ライン上の画素群を右に１画素分シフトさせた画素群からなる相関算出画素群対等の少なくとも１つの相関算出画素群対が更に選択されてもよい。

ここで、図１６（ａ）〜（ｃ）に示された各組の相関算出画素群対に対する差分を算出する方法を説明する。図１６（ａ）に示された第１組の相関算出画素群対に対するバッファ１６からの第１の参照データ（画素Ａ４のデータ及び画素Ａ５のデータ）の先頭データ（アドレスａ（０））と、第１組の相関算出画素群対に対するバッファ１７からの第２の参照データ（画素Ｂ２のデータ及び画素Ｂ３のデータ）の先頭データ（アドレスｂ（０））との間で差分演算が実行される（図１参照）。引き続き、第１の参照データ及び第２の参照データにおいて、それぞれ、１データ分ずつ右方向へシフトさせた２番目のデータ（アドレスａ（１））と２番目のデータ（アドレスｂ（１））との間で差分演算が実行される。これにより、第１組の相関算出画素群対に対する差分が算出される。次に、図１６（ｂ）に示された第２組の相関算出画素群対に対する第１の参照データ（画素Ａ３のデータ及び画素Ａ４のデータ）と第２組の相関算出画素群対に対する第２の参照データ（画素Ｂ３のデータ及び画素Ｂ４のデータ）との差分、及び、図１６（ｂ）に示された第３組の相関算出画素群対に対する第１の参照データ（画素Ａ２のデータ及び画素Ａ３のデータ）と第３組の相関算出画素群対に対する第２の参照データ（画素Ｂ４のデータ及び画素Ｂ５のデータ）との差分が、第１組の相関算出画素群対の場合と同様にして算出される。

本実施の形態６に係る画像処理装置によれば、複数組の相関算出画素群対のうち最も相関が強い補間参照画素群対を選択し、その補間参照画素群対に対する原画像ｎライン上の中央画素の画素値と原画像（ｎ＋１）ライン上の中央画素の画素値とを平均して補間対象画素の補間値とすることで、複数の画素対の相関から算出した従来の補間値よりも精度の高い補間値が得られる。

本実施の形態６に記載された、第１の画素群及び第２の画素群として偶数個の画素からなる画素群を用いる技術は、上記の実施の形態２〜５に記載された画像処理技術に適用することができる。

（実施の形態７）
本実施の形態７においては、画素単位より小さい単位で単独の補間サーチを行う画像処理装置Ｂ及びその画像処理方法について、図１７及び図１８を参照しながら説明する。図１７は、画像処理装置の構成を概念的に表すブロック図である。図１８は、画像処理装置の画像処理方法における補間画素を含む相関算出画素群対を説明するための説明図である。

図１７に示された画像処理装置は、入力端子１１と、１Ｈ遅延回路１２、ラインメモリ１３及びラインメモリ１４からなる画素情報保持部５、アドレス制御回路１５、フィルタ回路５６、フィルタ回路５７、バッファ１６及びバッファ１７からなる画素情報導出部５１と、差分回路１８、絶対値回路１９及び加算回路２０からなる相関算出部２と、最小値回路２１からなる補間参照画素群対選択部３と、補間値算出回路２２からなる補間部４と、出力端子２３と、を備えた構成である。なお、図１７に示された画像処理装置は、フィルタ回路５６及びフィルタ回路５７を更に備えること以外は上記の実施の形態１に係る画像処理装置Ａと同一の構成である。したがって、以下においては、相違部分について説明する。

フィルタ回路５６は、画素情報保持部５に保持された第１の参照画素群からアドレス制御回路１５によって選択された少なくとも２つの画素の情報に基づいて、選択された少なくとも２つの画素の間に半画素単位、１／３画素単位、１／４画素単位等の１／ｎ画素単位（ｎは自然数）で仮想的に挿入される補間画素の情報を生成する。フィルタ回路５７は、フィルタ回路５６と同様に、１／ｎ画素単位（ｎは自然数）で仮想的に挿入される補間画素の情報を生成する。

ここで、補間画素を含む相関算出画素群対の具体例について説明する。図１８に示されたように、補間画素Ａ４．５を中心相関算出画素（第１の相関算出画素群における特定位置の画素）として含む原画像ｎライン上で連続した相関算出画素群（画素Ａ４、補間画素Ａ４．５、画素Ａ５）及び画素Ｂ１．５を中心相関算出画素（第２の相関算出画素群における特定位置の画素）として含む原画像（ｎ＋１）ライン上で連続した相関算出画素群（画素Ｂ１、補間画素Ｂ１．５、画素Ｂ２）からなる第１組の相関算出画素群対（図１８中の一点鎖線で囲まれた画素群対）と、第１組の相関算出画素群対に対する原画像ｎライン上の相関算出画素群を左に半画素分シフトさせた相関算出画素群（補間画素Ａ３．５、画素Ａ４、補間画素Ａ４．５）及び第１組の相関算出画素群対に対する原画像（ｎ＋１）ライン上の相関算出画素群を右に半画素分シフトさせた相関算出画素群（補間画素Ｂ１．５、画素Ｂ２、補間画素Ｂ２．５）からなる第２組の相関算出画素群対（図１８中の実線で囲まれた画素群対）と、第１組の相関算出画素群対に対する原画像ｎライン上の相関算出画素群を左に１画素分シフトさせた相関算出画素群（画素Ａ３、補間画素Ａ３．５、画素Ａ４）及び第１組の相関算出画素群対に対する原画像（ｎ＋１）ライン上の相関算出画素群を右に１画素分シフトさせた相関算出画素群（画素Ｂ２、補間画素Ｂ２．５、画素Ｂ３）からなる第３組の相関算出画素群対（図１８中の点線で囲まれた画素群対）と、同様にして半画素分ずつシフトさせた第４組〜第６組の相関算出画素群対と、第１組の相関算出画素群対に対する原画像ｎライン上の相関算出画素群を左に３画素分シフトさせた相関算出画素群（画素Ａ１、補間画素Ａ１．５、画素Ａ２）及び第１組の相関算出画素群対に対する原画像（ｎ＋１）ライン上の相関算出画素群を右に３画素分シフトさせた相関算出画素群（画素Ｂ４、補間画素Ｂ４．５、補間画素Ｂ５）からなる第７組の相関算出画素群対（図１８中の二点鎖線で囲まれた画素群対）とが順次に導出される。原画像ｎライン上の画素の集合群（Ａ１、Ａ２、・・・、Ａ５）が第１の参照画素群であり、原画像（ｎ＋１）ライン上の画素の集合群（Ｂ１、Ｂ２、・・・、Ｂ５）が第２の参照画素群である。

図１８においては、７組の相関算出画素対を選択する場合が示されているが、第１組の相関算出画素群対に対する原画像ｎライン上の相関算出画素群を右に半画素分シフトさせた相関算出画素群及び第１組の相関算出画素群対に対する原画像（ｎ＋１）ライン上の相関算出画素群を左に半画素分シフトさせた画素群からなる相関算出画素群対や、第７組の相関算出画素群対に対する原画像ｎライン上の相関算出画素群を左に半画素分シフトさせた相関算出画素群及び第７組の相関算出画素群対に対する原画像（ｎ＋１）ライン上の相関算出画素群を右に半画素分シフトさせた相関算出画素群からなる相関算出画素群対等の少なくとも１つの相関算出画素群対が更に選択されてもよい。

ここで、図１８に示された各組の相関算出画素群対の情報を導出する過程について説明する。まず、第１組の相関算出画素群対の情報を導出するために、第１の参照画素群の情報から画素Ａ４の情報及び画素Ａ５の情報が抽出され、第２の参照画素群の情報から画素Ｂ１の情報及び画素Ｂ２の情報が抽出される。フィルタ回路５６では、画素Ａ４の情報及び画素Ａ５の情報を線形補間（平均）して補間画素Ａ４．５の情報を生成し、フィルタ回路５７では、画素Ｂ１の情報及び画素Ｂ２の情報を線形補間（平均）して補間画素Ｂ１．５の情報を生成する。これにより、第１組の相関算出画素群対を構成する全ての相関算出画素の情報が導出される。

次に、第２組の相関算出画素群対の情報を導出するために、第１の参照画素群の情報から画素Ａ３の情報、画素Ａ４の情報及び画素Ａ５の情報が抽出され、第２の参照画素群の情報から画素Ｂ１の情報、画素Ｂ２の情報及び画素Ｂ３の情報が抽出される。フィルタ回路５６では、画素Ａ３の情報及び画素Ａ４の情報を線形補間（平均）して補間画素Ａ３．５の情報を生成し、かつ、画素Ａ４の情報及び画素Ａ５の情報を線形補間（平均）して補間画素Ａ４．５の情報を生成する。同様に、フィルタ回路５７では、画素Ｂ１の情報及び画素Ｂ２の情報を線形補間（平均）して補間画素Ｂ１．５の情報を生成し、かつ、画素Ｂ２の情報及び画素Ｂ３の情報を線形補間（平均）して補間画素Ｂ２．５の情報を生成する。

次に、上記の第１組の相関算出画素群対の情報を導出する過程又は上記の第２組の相関算出画素群対の情報を導出する過程と同様にして、第３組〜第７組の相関算出画素群対の情報を導出する。

ここで、図１８に示された各組の相関算出画素群対に対する差分を算出する方法を説明する。第１組の相関算出画素群対に対して、バッファ１６からの第１組の相関算出画素群対に対する第１の参照データ（画素Ａ４のデータ、補間画素Ａ４．５のデータ及び画素Ａ５のデータ）の先頭データ（画素Ａ４のデータ）と、バッファ１７からの第１組の相関算出画素群対に対する第２の参照データ（画素Ｂ１のデータ、補間画素Ｂ１．５のデータ及び画素Ｂ２のデータ）の先頭データ（画素Ｂ１のデータ）との間で差分演算が実行される。引き続き、第１の参照データ及び第２の参照データにおいて、それぞれ、１データ分ずつ右方向へシフトさせた２番目のデータ（画素Ａ４．５のデータ）と２番目のデータ（画素Ｂ１．５のデータ）との間で差分演算が実行される。引き続き、第１の参照データ及び第２の参照データにおいて、それぞれ、１データ分ずつ右方向へ更にシフトさせた３番目のデータ（画素Ａ５のデータ）と３番目のデータ（画素Ｂ２のデータ）との間で差分演算が実行される。これにより、第１組の相関算出画素群対に対する差分が算出される。同様にして、第２組〜第７組の相関算出画素群に対する差分が算出される。

本実施の形態７に係る画像処理装置によれば、複数組の相関算出画素群対のうち最も相関が強い補間参照画素群対を選択し、その補間参照画素群対に対する原画像ｎライン上の中心画素の画素値と原画像（ｎ＋１）ライン上の中心画素の画素値とを平均して補間対象画素の補間値とすることで、複数の画素対の相関から算出した従来の補間値よりも精度の高い補間値が得られる。

上記においては、半画素単位で補間サーチを行う画像処理方法の例について説明したが、１／３画素、１／４画素等の１／ｎ画素単位で補間サーチを行って相関値を算出してもよい。１／ｎ画素単位で補間サーチを行って相関値を求める場合には、例えば、画素Ａ１と画素Ａ２との間に補間画素Ａ（ｎ＋１）／ｎ、補間画素Ａ（ｎ＋２）／ｎ、・・・、補間画素Ａ（ｎ＋ｎ−１）／ｎからなる（ｎ−１）個の補間画素が仮想的に挿入されることとなる。

また、上記においては、隣接する左右２画素の情報を線形補間して補間画素の情報を生成したが、近隣に位置する左右複数個の画素の情報からフィルタをかけて補間画素の情報を生成してもよい。

また、上記においては、第１の相関算出画素群対及び第２の相関算出画素群対の各々が奇数個の相関算出画素からなる相関算出画素群対である場合について説明したが、上記の実施の形態６と同様にして、第１の相関算出画素群対及び第２の相関算出画素群対の各々を偶数個の相関算出画素からなる構成とすることができる。

また、上記においては、単独の補間サーチを行う場合を説明したが、上記の実施の形態２と同様にして、多重の補間サーチ（重複補間サーチ）を行うことができ、また、上記の実施の形態３と同様にして、多段階の補間サーチ（階層補間サーチ）を行うことができる。

また、上記においては、第１の相関算出画素群対及び第２の相関算出画素群対の各々として連続した複数の相関算出画素からなる相関算出画素群対を用いて相関値を算出する場合について説明したが、上記の実施の形態４又は５と同様にして、第１の相関算出画素群及び第２の相関算出画素群として連続していない複数の相関算出画素からなる相関算出画素群を用いて相関値を算出することもできる。

本発明は、画像処理装置及び画像処理方法において、画像を補間して拡大する際の補間精度を向上させることに利用できる。また、本発明は、画像処理装置及び画像処理方法において、拡大された画像の画質を向上させるために利用できる。更に、テレビジョン、パソコン表示モニター等の映像表示装置において、本発明の画像処理装置を搭載することによって、インタレース走査の画像をプログレッシブ変換して表示したり、縮小画像を拡大して表示したりする表示性能を向上させるために利用できる。

図１は、実施の形態１に係る画像処理装置の構成を概念的に表すブロック図である。 図２は、実施の形態１に係る画像処理装置の画像処理方法を説明するための説明図である。 図３は、本実施の形態１に係る画像処理装置の画像処理方法における第１組の相関算出画素群対に対する相関値を算出する過程を説明するための説明図である。 図４は、実施の形態１に係る画像処理装置の画像処理方法における第２組の相関算出画素群対に対する相関値を算出する過程を説明するための説明図である。 図５は、実施の形態１に係る画像処理装置の画像処理方法における第３組の相関算出画素群対に対する相関値を算出する過程を説明するための説明図である。 図６は、実施の形態２における画像処理装置の画像処理方法を説明するためのフローチャートである。 図７は、実施の形態２に係る画像処理装置の効果を説明するためのフレーム画像を表す模式的な平面図である。 図８は、実施の形態２に係る画像処理装置の画像処理方法における広域相関算出画素群対を説明するための説明図である。 図９は、実施の形態３における画像処理装置の画像処理方法を説明するためのフローチャートである。 図１０（ａ）及び（ｂ）は、実施の形態３に係る画像処理装置の画像処理方法における二階層の補間サーチを説明するための説明図である。 図１１は、実施の形態４に係る画像処理装置の構成を概念的に表すブロック図である。 図１２は、実施の形態４に係る画像処理装置の画像処理方法における間引かれた相関算出画素群対を説明するための説明図である。 図１３は、実施の形態４に係る画像処理装置の他の画像処理方法における擬似的に等間隔に間引かれた相関算出画素群対を説明するための説明図である。 図１４は、実施の形態５に係る画像処理装置の構成を概念的に表すブロック図である。 図１５は、実施の形態５に係る画像処理装置の画像処理方法における相関算出画素群対に対する相関値の算出方法を説明するための説明図である。 図１６（ａ）〜（ｃ）は、実施の形態６に係る画像処理装置の画像処理方法における相関算出画素群対に対する相関値の算出方法を説明するための説明図である。 図１７は、実施の形態７に係る画像処理装置の構成を概念的に表すブロック図である。 図１８は、実施の形態７に係る画像処理装置の画像処理方法における相関算出画素群対に対する相関値の算出方法を説明するための説明図である。 図１９は、従来の第３の補間方法を説明するための説明図である。 図２０は、細い線状の輪郭を有する画像を含むフレーム画像を表す模式的な平面図である。 図２１が、フレーム画像の細い線状の輪郭部分を拡大して表す模式的な部分平面図である。

符号の説明

１ 参照画素情報抽出部
２ 相関算出部
３ 補間参照画素群対選択部
４ 補間部
５ 画素情報保持部
１１ 入力端子
１２ １Ｈ遅延回路
１３，１４ ラインメモリ
１５ アドレス制御回路
１６，１７ バッファ
１８ 差分回路
１９ 絶対値回路
２０ 加算回路
２１ 最小値回路
２２ 補間値算出回路
２３ 出力端子
３０ 間引き回路
４０ 重み付け回路
５１ 画素情報導出部
５６、５７ フィルタ回路

Claims (21)

1. 第１の参照画素群の情報及び前記第１の参照画素群と異なる第２の参照画素群の情報を保持する画素情報保持部と、
   前記第１の参照画素群から部分的に選択される複数の画素からなる第１の画素群と、前記第２の参照画素群から部分的に選択され、前記第１の画素群と同一の配列である複数の画素からなり、前記第１の画素群内における特定位置の画素と補間対象画素に対して点対称な画素を前記第１の画素群内における前記特定位置と相対的に同一な特定位置に含む第２の画素群とを相関算出画素群対とし、前記相関算出画素群対における前記第１の画素群の情報及び前記相関算出画素群対における前記第２の画素群の情報を前記情報保持部から抽出する参照画素情報抽出部と、
   前記参照画素情報抽出部により抽出される前記第１の画素群の情報及び前記第２の画素群の情報に基づいて、前記第１の画素群と前記第２の画素群との相関を表す相関値を算出する相関算出部と、
   前記相関算出部で算出された相関値に基づいて、前記相関算出画素群対及び保持画素群対のうち相関の高い画素群対を補間参照画素群対として選択する補間参照画素群対選択部と、
   前記補間参照画素群対に対する前記第１の画素群内における前記特定位置の画素の情報及び前記補間参照画素群対に対する前記第２の画素群内における前記特定位置の画素の情報に基づいて、前記補間対象画素の情報を生成する補間部とを含み、
   前記参照画素情報抽出部が、前記第１の参照画素群及び前記第２の参照画素群から選択される画素の異なる複数組の相関算出画素群対を１組ずつ順次に選択し、前記補間部が、前記複数組の相関算出画素群対のうち最も相関の高い相関算出画素群対に対して生成された前記補間対象画素の情報を出力する画像処理装置。
2. 前記第１の画素群を構成する前記複数の画素が、画像ライン方向に配列している画素群である請求項１に記載の画像処理装置。
3. 前記第１の参照画素群が、前記補間対象画素の属する画像ラインの上方における１つの画像ライン上に配列している画素群であり、
   前記第２の参照画素群が、前記補間対象画素の属する画像ラインの下方における１つの画像ライン上に配列している画素群である請求項２に記載の画像処理装置。
4. 前記第１の画素群を構成する前記複数の画素が、互いに隣接している画素群である請求項２に記載の画像処理装置。
5. 前記第１の画素群を構成する前記複数の画素が、所定の間隔で互いに離隔している画素群である画素群である請求項２に記載の画像処理装置。
6. 前記第１の画素群を構成する前記複数の画素の数が、偶数個であり、
   前記第１の画素群内における前記特定位置の画素が、前記第１の画素群内における中央画素であり、
   前記第２の画素群内における前記特定位置の画素が、前記第２の画素群内における中央画素であり、
   前記補間対象画素の情報が、前記第１の画素群の情報のうちの前記第１の画素群における前記中央画素の画素値と、前記第２の画素群の情報のうちの前記第２の画素群における前記中央画素の画素値との平均値である請求項２に記載の画像処理装置。
7. 前記第１の画素群を構成する前記複数の画素の数が、奇数個であり、
   前記第１の画素群内における前記特定位置の画素が、前記第１の画素群内における中心画素であり、
   前記第２の画素群内における前記特定位置の画素が、前記第２の画素群内における中心画素であり、
   前記補間対象画素の情報が、前記第１の画素群の情報のうちの前記第１の画素群における前記中心画素の画素値と、前記第２の画素群の情報のうちの前記第２の画素群における前記中心画素の画素値との平均値である請求項２に記載の画像処理装置。
8. 前記第２の画素群を構成する前記複数の画素が、補間対象画素に対して前記第１の画素群を構成する前記複数の画素と点対称である請求項８に記載の画像処理装置。
9. 前記相関算出部で算出される前記相関値が、前記第１の画素群の情報と前記第２の画素群の情報とに基づく差分絶対値和である請求項２に記載の画像処理装置。
10. 前記相関算出部における前記相関値が、前記第１の画素群の情報と前記第２の画素群の情報とに基づく、前記第１の画素群内における前記特定位置の画素からの相対位置に応じて重み付けした荷重差分絶対値和である請求項２に記載の画像処理装置。
11. 前記複数組の相関算出画素群対が、前記第１の参照画素群から選択され、前記第１の参照画素群において広域な領域に分布する広域画素群、及び、前記第２の参照画素群から選択される広域画素群を各々に有する互いに異なる複数組の広域相関算出画素群対と、前記第１の参照画素群から選択され、前記第１の参照画素群から選択される前記広域画素群より前記第１の参照画素群において狭い領域に分布する狭域画素群、及び、前記第２の参照画素群から選択されされる狭域画素群を各々に有する互いに異なる複数組の狭域相関算出画素群対とを含み、
    前記補間参照画素群対選択部が、前記補間参照画素群対として、前記複数組の広域相関算出画素群対のうち最も相関の高い広域参照画素群対と前記複数組の狭域相関算出画素群対のうち最も相関の高い狭域参照画素群対とを選出し、
    前記補間部が、前記広域参照画素群対に対する前記第１の参照画素群から選択された前記特定位置の画素及び前記第２の参照画素群から選択された前記特定位置の画素からなる特定の広域画素対と、前記狭域参照画素群対に対する前記第１の参照画素群から選択された前記特定位置の画素及び前記第２の参照画素群から選択された前記特定位置の画素からなる特定の狭域画素対とが同一画素対であれば、前記同一画素対の情報に基づいて前記補間対象画素の情報を生成し、前記特定の広域画素対と前記特定の狭域画素対とが異なれば、前記第１の参照画素群及び前記第２の参照画素群のうち前記補間対象画素に最も近接する２つの画素の情報に基づいて前記補間対象画素の情報を生成する請求項６又は７に記載の画像処理装置。
12. 前記複数組の相関算出画素群対が、前記第１の参照画素群から選択され、前記第１の参照画素群において広域な領域に分布する広域画素群、及び、前記第２の参照画素群から選択された広域画素群を各々に有する互いに異なる複数組の広域相関算出画素群対と、前記第１の参照画素群から選択され、前記第１の参照画素群から選択される前記広域画素群より前記第１の参照画素群において狭い領域に分布する狭域画素群、及び、前記第２の参照画素群から選択された狭域画素群を各々に有する互いに異なる複数組の狭域相関算出画素群対とを含み、
    前記補間参照画素群対選択部が、前記補間参照画素群対として、前記複数組の広域相関算出画素群対のうち最も相関の高い広域参照画素群対と、前記複数組の狭域相関算出画素群対のうち前記広域参照画素群対の占める領域内において最も相関の高い狭域参照画素群対とを選出し、
    前記補間部が、前記狭域参照画素群対に対する前記第１の参照画素群から選択された前記特定位置の画素の情報及び前記第２の参照画素群から選択された前記特定位置の画素の情報に基づいて前記補間対象画素の情報を生成する請求項６又は７に記載の画像処理装置。
13. 前記第１の参照画素群から選択される前記広域画素群の画素数が、前記第１の参照画素群から選択される前記狭域画素群の画素数より多い請求項１１又は１２に記載の画像処理装置。
14. 前記第１の参照画素群が、前記補間対象画素の属する画像ラインの上方における１つの画像ライン上に配列している画素群であり、
    前記第２の参照画素群が、前記補間対象画素の属する画像ラインの下方における１つの画像ライン上に配列している画素群である請求項１３に記載の画像処理装置。
15. 前記第１の参照画素群から選択される前記広域画素群が、所定の間隔で互いに離隔している画素群であり、
    前記第１の参照画素群から選択される前記狭域画素群が、互いに隣接している画素群である請求項１４に記載の画像処理装置。
16. 前記相関算出部で算出される前記相関値が、前記第１の参照画素群から選択される前記広域画素群の情報と前記第２の参照画素群から選択される前記広域画素群の情報とに基づく差分絶対値和、又は、前記第１の参照画素群から選択される前記狭域画素群の情報と前記第２の参照画素群から選択される前記狭域画素群の情報とに基づく差分絶対値和である請求項１４に記載の画像処理装置。
17. 前記相関算出部における前記相関値が、前記第１の参照画素群から選択される前記広域画素群に関する情報と前記第２の参照画素群から選択される前記広域画素群の情報とに基づく、前記第１の参照画素群から選択された前記広域画素群内における前記特定位置の画素からの相対位置に応じて重み付けした荷重差分絶対値和、又は、前記第１の参照画素群から選択される前記狭域画素群の情報と前記第２の参照画素群から選択される前記狭域画素群の情報とに基づく、前記第１の参照画素群から選択される前記狭域画素群内における前記特定位置の画素からの相対位置に応じて重み付けした荷重差分絶対値和である請求項１４に記載の画像処理装置。
18. 第１の参照画素群の情報及び前記第１の参照画素群と異なる第２の参照画素群の情報を保持する画素情報保持部と、
    前記第１の参照画素群から部分的に選択される複数の画素の情報から補間された情報を有する補間画素を含む複数の相関算出画素からなる第１の相関算出画素群と、前記第２の参照画素群から部分的に選択される複数の画素の情報から補間された情報を有する補間画素を含み、前記第１の相関算出画素群と同一の配列である複数の相関算出画素からなり、前記第１の相関算出画素群内における特定位置の相関算出画素と補間対象画素に対して点対称な相関算出画素を前記第１の相関算出画素群内の前記特定位置と相対的に同一な特定位置に有する第２の相関算出画素群とを相関算出画素群対とし、前記第１の参照画素群における前記複数の画素の情報及び前記第２の参照画素群における前記複数の画素の情報を前記画素情報保持部から抽出し、前記第１の参照画素群の情報から抽出された前記複数の画素の情報に基づいて前記第１の相関算出画素群の情報を導出し、かつ前記第２の参照画素群の情報から抽出された前記複数の画素の情報に基づいて前記第２の相関算出画素群の情報を導出する画素情報導出部と、
    前記画素情報導出部からの前記第１の相関算出画素群の情報及び前記画素情報導出部からの前記第２の相関算出画素群の情報に基づいて、前記第１の相関算出画素群と前記第２の相関算出画素群との相関を表す相関値を算出する相関算出部と、
    前記相関算出部で算出された相関値に基づいて、前記相関算出画素群対及び保持画素群対のうち相関の高い画素群対を補間参照画素群対として選択する補間参照画素群対選択部と、
    前記補間参照画素群対に対する前記第１の相関算出画素群内における前記特定位置の相関算出画素の情報、及び、前記補間参照画素群対に対する前記第２の相関算出画素群内における前記特定位置の相関算出画素の情報に基づいて、前記補間対象画素の情報を生成する補間部とを含み、
    前記参照画素情報生成部が、前記第１の参照画素群の情報及び前記第２の参照画素群の情報に基づいて前記相関算出画素の異なる複数組の相関算出画素群対を１組ずつ順次に生成し、前記補間部が、前記複数組の相関算出画素群対のうち最も相関の高い相関算出画素群対に対して生成された前記補間対象画素の情報を出力する画像処理装置。
19. 前記第１の相関算出画素群を構成する前記複数の相関算出画素が、前記第１の参照画素群から選択された少なくとも１つの画素を含み、
    前記第２の相関算出画素群を構成する前記複数の相関算出画素が、前記第２の参照画素群から選択された少なくとも１つの画素を含む請求項１８に記載の画像処理装置。
20. 前記第１の相関算出画素群における前記補間画素の情報が、前記第１の参照画素群から選択された前記補間画素に隣接する２つの画素の情報における２つの画素値を線形補間した画素値であり、
    前記第２の相関算出画素群における前記補間画素の情報が、前記第２の参照画素群から選択された前記補間画素に隣接する２つの画素の情報における２つの画素値を線形補間した画素値である請求項１８に記載の画像処理装置。
21. 前記第１の相関算出画素群における前記補間画素の情報が、前記第１の参照画素群から選択された前記補間画素の近隣に位置する複数の画素の情報における複数の画素値に基づいて、フィルタ処理により生成された画素値であり、
    前記第２の相関算出画素群における前記補間画素の情報が、前記第２の参照画素群から選択された前記補間画素の近隣に位置する複数の画素の情報における複数の画素値に基づいて、フィルタ処理により生成された画素値である請求項１８に記載の画像処理装置。

Images