JP2005341346A - 画素特徴判定装置、画素補間装置、及び映像信号処理装置 - Google Patents

Abstract

【課題】インタレース走査の映像信号をフィールド内補間する際に、各補間画素のあるべき特徴を、斜め方向エッジと区別できるように周辺の現画素の特徴から正確に判定する装置を提供する。
【解決手段】水平方向差分手段１４及び垂直方向差分手段１５はフィールド内の水平方向及び垂直方向で隣り合う各現画素間の画素情報の差分値を算出する。領域指定手段１６は、補間対象の注目画素を中心とする所定範囲の現画素領域を指定する。離間画素差分手段１７は、注目画素の１ライン上及び１ライン下で注目画素から等距離離れた現画素間の画素情報の差分値を算出する。水平方向複雑さ判定手段１８は、算出された現画素の水平方向の差分値のうち指定された現画素領域内の水平方向の差分値に基づいて、現画素ライン毎の水平方向の複雑さを判定する。これらの結果値に基づき注目画素のあるべき特徴を、複雑な絵柄，縦線絵柄，フラット絵柄，角の絵柄などと判定する。
【選択図】図１

Description

本発明は、画素特徴判定装置、画素補間装置、及び映像信号処理装置に関し、より詳細には、インタレース走査の映像信号をフィールド内補間するために、補間したい画素のもつべき特徴を判定するための画素特徴判定装置、該装置を備え画素を補間する画素補間装置、及び、該装置を備えインタレース画像から高画質なプログレッシブ画像を得るのに好適なテレビジョン受像機等の映像信号処理装置に関する。

映像信号の多くは、走査の形態に飛び越し走査（インタレース走査）が用いられている。しかし、この映像信号を飛び越し走査の画像表示部に表示すると、ラインフリッカなどのインタレース妨害が発生し、画質が劣化する。このインタレース妨害は、ＩＰ変換、すなわちインタレース映像をプログレッシブ映像へ変換し、順次走査の形態で表示することで除去する。ＩＰ変換は、走査線数が異なるテレビジョン方式のアップコンバートや画像の高細精化のためにも施される。

ＩＰ変換を行う際の走査線補間方法としては、静止画素に対してはフレーム内補間が行われ、動画素に対しては、フレーム相関が崩れフレーム内補間では動きのある縦線がギザギザに誤変換される等の不具合が発生するため、フィールド内補間が行われている。

フィールド内補間の方法としては、簡便な方法として、補間すべきラインとして上ラインをそのまま用いるライン補間方法や、上下のラインの平均値を用いるライン補間方法がある。前者の補間方法では、斜線等のような垂直方向に相関の無い画像では画像の輪郭線にギザギザが生じ、また、後者の補間方法では画像にボケが生じるといった画像の劣化を伴う。

これらの欠点を解決する手法として、様々なフィールド内補間の方法が提案されている（例えば、特許文献１，２を参照）。特許文献１に記載の補間方法は、補間すべきラインの各画素を、その画素の周辺において最も相関の強い方向の画素情報を用いて補間するものである。まず、補間画素から放射状に延びるどの方向の画素信号が最も相関が強いかを知るために、垂直方向、右斜め方向，左斜め方向の隣接画素の差分絶対値を求める。この差分絶対値が最小となる方向が最も相関が強い方向であると判断して、その方向にある各画素の平均値を求め、それを補間画素の値とする。

特許文献２に記載の補間方法は、画素列による補間を取り入れ、一般的に行われている画素単位による補間方法に比べ処理速度を向上させるものである。同公報に記載の補間方法は、２次元画像の隣接するラインの各画素を比較してエッジ箇所を検出し、エッジ箇所以外では隣接するいずれかの画素を用いて補間し、エッジ箇所では隣接するいずれか一方のライン上の注目画素を中心とした近傍画素列を設定して、これと相関のある画素列を隣接するラインの中から選出し、選出した画素列と前記近傍画素列との位置ズレ量に相当する画素数を求め、求めた画素数の半数だけ、選出した画素列又は近傍画素列を位置ズレ方向とは逆の方向にシフトした画素列を用いて補間する。この補間方法は、画像の輪郭を滑らかにする方法であり、水平に近い細線画像のように、ライン間で画像が途切れた場合の修復ができないという問題も有している。

図２２は、従来技術によるフィールド内補間によって得られる映像信号の例を説明するための図で、図２２（Ａ）は映像信号が表す画像例を、図２２（Ｂ）は図２２（Ａ）の画像のうち斜め線部分を示す拡大図、図２２（Ｃ）は図２２（Ａ）の画像のうち円弧状のエッジの部分を示す拡大図である。また、図２３は、図２２の映像信号の典型的な画素値の例を示す図である。

図２２（Ｂ），（Ｃ）に示すように、斜め線や斜め方向のエッジが存在すると、その補間はギザギザになりボケる。図２２（Ｂ）の例を、その典型的な輝度値の配列例として図２３（Ａ）挙げて説明すると、図２２（Ｂ）のごとき斜め線が存在した場合、インタレース画像では、図２３（Ａ）で＊で表す実画素ラインに示すような輝度値の並びになる。図２３（Ａ）はインタレース画像を上下画素平均値で補間した例を示しているが、×で表す注目画素の値はその上下の値が共に５０であるので５０となっている。

なお、動き情報を１フレーム間差分信号の大小で検出し、検出した画像の動き情報に応じて、静止画領域に適したフレーム内補間と動画領域に適したフィールド内補間との混合比率を変化させる動き適応型の補間処理も提案されている。また、画像の動きにほぼ合致した補間を目的として、動き補償型の補間処理も提案されている。この動き補償型の補間処理では、画像の動きを動きベクトル情報として検出し、この動きベクトル情報で、前後のフィールドの信号に対して、動き補償の信号処理を行い、補間走査線の信号を生成する。
特開昭６３−１８７７８５号公報 特開平５−３０４８７号公報

しかしながら、上述のごとき従来技術によるフィールド内補間処理では、相関の強い画素を検出する際に、画素単位で行うか、或いはライン単位であっても画素単位毎に行っているため、正確な補間方向が検出されているとはいえず、従って、補間値も特に斜め線（さらに特に角度の浅い斜め線）や斜めエッジをもつ絵柄の部分に対し誤ったものが算出されることとなる。例えば、図２３（Ａ）の例では、実際には左下がりの４５度方向の斜め線をもっており、理想としては注目画素×は０で補間したいところであるが、上下画素平均値による補間では輝度値は５０で補間されてしまう。さらに、上下画素平均値による補間でなくとも、図２３（Ｂ）において矢印で示す各方向においては、実画素間の輝度値の差分を実行しても各方向で差が生じず、どの方向の実画素で補間を実行していいのかが定まらない。結果として、上下画素平均値や上又は下の実画素で補間を実行することとなってしまう。

上述のごとき斜め方向のエッジを検出してその部分の補間を行っても、また更に改良された斜め方向エッジ検出手法を用いて補間を行っても、結局、斜め方向のエッジの検出が難しいために、例えば縦線や角の絵柄との区別がつかず、誤った補正となり絵柄が余計にボヤけてしまう。従って、予め斜め方向エッジ以外の絵柄を正確に判定しておくことが望まれる。

また、動き適応型の補間処理では、動き情報を１フレーム間差分信号の大小で検出するので、必ずしも画像の正確な動きとの対応がとれず、動画領域では、インタレース妨害の除去が不完全となり画質の改善効果が少ない。また、動き補償型の補間処理では、正確な動き補償の信号処理を行うために、精度の高い動きベクトルの検出が不可欠となり、このため、膨大な信号処理が必要となる。

本発明は、上述のごとき実情に鑑みてなされたものであり、インタレース走査の映像信号をフィールド内補間する際に、各補間画素に対し、そのあるべき特徴を、斜め線やその他の斜め方向エッジと区別できるように、周辺の実画素の特徴から正確に判定することが可能な画素特徴判定装置、該装置を備え画素を最適な実画素で補間し斜め方向エッジが存在してもガタつくことなく最適な補間を行うことが可能な画素補間装置、及び該装置を備え画素を補間してインタレース映像信号から高画質のプログレッシブ映像信号に変換することが可能な映像信号処理装置を提供することをその目的とする。

本発明は、上述のごとき課題を解決するために、以下の各技術手段により構成される。
第１の技術手段は、インタレース走査の映像信号をプログレッシブ走査の映像信号に変換するＩＰ変換を行うに際し、フィールド内で補間する画素に対し、そのあるべき特徴を周辺の実画素の特徴から判定する画素特徴判定装置であって、補間対象となる画素である注目画素に対し、該注目画素の同フィールド内の上下に位置する２実画素間の画素情報の差分値を算出する手段と、前記注目画素の同フィールド内の左右に隣り合って位置する２実画素間の画素情報の差分値を算出する手段と、前記注目画素の上ライン上の数画素離れたところに位置する２実画素間の画素情報の差分値を算出する手段と、前記注目画素の下ライン上の数画素離れたところに位置する２実画素間の画素情報の差分値を算出する手段と、を有し、前記上下に位置する２実画素間での差分の結果、前記左右に位置する２実画素間での差分の結果、前記上下に位置する２実画素間及び左右に位置する２実画素間及び上下ラインの数画素離れた２画素間での差分の結果、のいずれか１又は複数の結果により、前記注目画素のあるべき特徴を判定することを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記注目画素が、複雑な絵柄，縦線絵柄，フラット絵柄，角の絵柄、或いはそれ以外の絵柄のうち、いずれの特徴に該当するかを、前記１又は複数の結果より判定することを特徴としたものである。

第３の技術手段は、インタレース走査の映像信号をプログレッシブ走査の映像信号に変換するＩＰ変換を行うに際し、フィールド内で補間する画素に対し、そのあるべき特徴を周辺の実画素の特徴から判定する画素特徴判定装置であって、前記フィールド内の水平方向で隣り合う各実画素間の画素情報の差分値を算出する水平方向差分手段と、前記フィールド内の垂直方向で隣り合う各実画素間の画素情報の差分値を算出する垂直方向差分手段と、補間対象となる画素である注目画素に対し、該注目画素を中心とする所定範囲の実画素領域を指定する領域指定手段と、前記注目画素の１ライン上で前記注目画素から等距離離れた実画素間の画素情報の差分値と、前記注目画素の１ライン下で前記注目画素から等距離離れた実画素間の画素情報の差分値とを、算出する離間画素差分手段と、前記水平方向差分手段で算出された実画素の水平方向の差分値のうち、前記領域指定手段で指定された実画素領域内の水平方向の差分値に基づいて、実画素ライン毎の水平方向の複雑さを判定する水平方向複雑さ判定手段と、を備え、前記注目画素のあるべき特徴を判定することを特徴としたものである。

第４の技術手段は、第３の技術手段において、前記注目画素が、複雑な絵柄，縦線絵柄，フラット絵柄，角の絵柄、或いはそれ以外の絵柄のうち、いずれの特徴に該当するかを判定することを特徴としたものである。

第５の技術手段は、第３又は４の技術手段において、前記領域指定手段は、前記注目画素に対し、前記水平方向の差分値については前記所定範囲の実画素領域を指定し、前記垂直方向の差分値については前記所定範囲の実画素領域のうち適切な数の差分値が指定されるように実画素領域を指定することを特徴としたものである。

第６の技術手段は、第３乃至第５のいずれかの技術手段において、前記水平方向複雑さ判定手段は、水平方向に隣り合う各実画素間の画素情報の差分値を、絶対値を同じくする２つの閾値と比較する手段と、該比較の結果に基づいて前記差分値を負値，ゼロ値，正値に符号化する手段と、該符号化した値に基づいて、前記差分値が隣同士の符号が同符号であるか異符号であるかを判定する手段と、該判定した結果、ライン毎に同符号又は異符号の数をカウントする手段と、該カウントした結果の数に基づいて、ライン毎に、ラインの複雑さを所定の複数段階の複雑さの中から選定する手段と、を有することを特徴としたものである。

第７の技術手段は、第３乃至第６のいずれかの技術手段において、前記水平方向複雑さ判定手段で判定された、前記注目画素の上ライン及び下ラインの水平方向複雑さに基づいて、前記注目画素が複雑な絵柄の一部の画素であるか否かを判定する複雑判定手段を、さらに備えたことを特徴としたものである。

第８の技術手段は、第７の技術手段において、前記複雑判定手段は、前記水平方向複雑さ判定手段における判定結果において、前記注目画素の上ライン又は下ラインのいずれかが、所定の複雑さ以上の複雑さをもつ場合、前記注目画素が複雑な絵柄の一部の画素であると判定することを特徴としたものである。

第９の技術手段は、第７又は第８の技術手段において、前記領域指定手段は、前記複雑判定手段での判定に適した所定範囲の実画素領域を指定する手段をさらに有し、前記複雑判定手段は、前記指定された実画素領域で判定を行うことを特徴としたものである。

第１０の技術手段は、第３乃至第９のいずれかの技術手段において、前記垂直方向差分手段で算出された実画素の垂直方向の差分値のうち、前記領域指定手段で指定された実画素領域内の垂直方向の差分値と、前記離間画素差分手段で算出された差分値とに基づいて、前記注目画素が角の絵柄の一部の画素であるか否かを判定する角判定手段を、さらに備えたことを特徴としたものである。

第１１の技術手段は、第１０の技術手段において、前記角判定手段は、前記垂直方向差分手段で算出された前記領域指定手段で指定された差分値のうち、前記注目画素の２つ上の実画素ラインと１つ上の実画素ラインとの差分値及び前記注目画素の１つ下の実画素ラインと２つ下の実画素ラインとの差分値が、全て所定の閾値より小さい場合、且つ、前記離間画素差分手段で算出された差分値のうち、前記注目画素の上ライン又は下ラインのいずれかに対応する差分値が、所定の閾値より大きい場合に、前記注目画素が角絵柄の一部の画素であると判定することを特徴としたものである。

第１２の技術手段は、第１０又は第１１の技術手段において、前記領域指定手段は、前記角判定手段での判定に適した所定範囲の実画素領域を指定する手段をさらに有し、前記角判定手段は、前記指定された実画素領域で判定を行うことを特徴としたものである。

第１３の技術手段は、第３乃至第１２のいずれかの技術手段において、前記水平方向複雑さ判定手段で判定された、前記注目画素の上ライン及び下ラインの水平方向複雑さと、前記垂直方向差分手段で算出された実画素の垂直方向の差分値のうち、前記領域指定手段で指定された実画素領域内の垂直方向の差分値とに基づいて、前記注目画素が縦線絵柄の一部の画素であるか否かを判定する縦線判定手段を、さらに備えたことを特徴としたものである。

第１４の技術手段は、第１３の技術手段において、前記縦線判定手段は、前記水平方向複雑さ判定手段における判定結果において、前記注目画素の上ライン又は下ラインのいずれかが、所定の複雑さ以上の複雑さをもつ場合、且つ、前記垂直方向差分手段で算出され前記領域指定手段で指定された差分値のうち、前記注目画素から左右共に数画素以内に位置する垂直ライン上の実画素全ての差分値において、前記注目画素の１つ上のラインと１つ下のラインとの差分値が全て所定の閾値より小さいか、或いは前記注目画素を通る垂直ラインの差分値が全て所定の閾値より小さいか、或いは前記注目画素の２つ上の実画素ラインと１つ上の実画素ラインとの差分値及び前記注目画素の１つ下の実画素ラインと２つ下の実画素ラインとの差分値が全て所定の閾値より小さい場合に、前記注目画素が縦線絵柄の一部の画素であると判定することを特徴としたものである。

第１５の技術手段は、第１３又は第１４の技術手段において、前記領域指定手段は、前記縦線判定手段での判定に適した所定範囲の実画素領域を指定する手段をさらに有し、前記縦線判定手段は、前記指定された実画素領域で判定を行うことを特徴としたものである。

第１６の技術手段は、第３乃至第１５のいずれかの技術手段において、前記垂直方向差分手段で算出された実画素の垂直方向の差分値のうち、前記領域指定手段で指定された実画素領域内の垂直方向の差分値とに基づいて、前記注目画素がフラットな絵柄の一部の画素であるか否かを判定するフラット判定手段を、さらに備えたことを特徴としたものである。

第１７の技術手段は、第１６の技術手段において、前記領域指定手段は、前記フラット判定手段での判定に適した所定範囲の実画素領域を指定する手段をさらに有し、前記フラット判定手段は、前記指定された実画素領域で判定を行うことを特徴としたものである。

第１８の技術手段は、第３乃至第１７のいずれかの技術手段において、前記離間画素差分手段における差分値の算出、及び、前記水平方向差分手段及び垂直方向差分手段における差分値の算出は、前記領域指定手段による指定の前に、１フィールド分実行することを特徴としたものである。

第１９の技術手段は、第３乃至第１７のいずれかの技術手段において、前記離間画素差分手段における差分値の算出、及び、前記水平方向差分手段及び垂直方向差分手段における差分値の算出は、前記領域指定手段による指定の前に、前記領域指定手段による指定で最低限必要な実画素領域分実行することを特徴としたものである。

第２０の技術手段は、第３乃至第１７のいずれかの技術手段において、前記離間画素差分手段における差分値の算出、或いは、該算出及び前記水平方向差分手段及び垂直方向差分手段における差分値の算出は、各注目画素に対し、前記領域指定手段で前記所定範囲の実画素領域を指定してから実行することを特徴としたものである。

第２１の技術手段は、第１乃至第２０のいずれかの技術手段における画素特徴判定装置を備えた画素補間装置であって、前記画素特徴判定装置で判定された各注目画素の特徴判定結果に基づいて、各注目画素をその特徴に合った補間値をフィールド内の実画素から算出する補間値算出手段と、該補間値算出手段で算出された補間値で各注目画素を補間する補間手段と、をさらに備えたことを特徴としたものである。

第２２の技術手段は、第１乃至第２０のいずれかの技術手段における画素特徴判定装置を備えた画素補間装置であって、前記画素特徴判定装置において複雑な絵柄，縦線絵柄，フラット絵柄，角の絵柄のいずれかの一部の画素であると判定された注目画素に対し、各絵柄に対して予め定められた所定の手段でフィールド内の実画素の画素情報から補間値を算出し、前記画素特徴判定装置においてそれ以外の絵柄であると判定された注目画素に対し、前記所定の手段以外の手段でフィールド内の実画素の画素情報から補間値を算出する補間値算出手段と、該補間値算出手段で算出された補間値で各注目画素を補間する補間手段と、をさらに備えたことを特徴としたものである。

第２３の技術手段は、第２２の技術手段において、フィールド内で補間する画素である注目画素に対し、その補間の方向を検出する画素補間方向検出装置をさらに備えたことを特徴としたものである。

第２４の技術手段は、第２２の技術手段において、フィールド内で補間する画素に対し、その補間の方向を検出する画素補間方向検出装置をさらに備え、該画素補間方向検出装置は、補間対象となる画素である注目画素に対し、該注目画素を中心とする領域であって、現フィールドに存在する複数の実画素を少なくとも含む中心画素領域と、前記注目画素を囲まない領域であって、前記注目画素から略等距離に円状に配置された、複数の実画素を少なくとも含む複数の周辺画素領域と、を特定する画素領域特定手段と、該画素領域特定手段で特定された中心画素領域及び複数の周辺画素領域に含まれる画素の画素情報の合計を、各画素領域毎に算出する合計算出手段と、該合計算出手段で算出された各画素領域毎の合計、及び合計がなされた各画素領域の位置関係に基づいて、相関の最も強い方向を検出し、該検出した方向を補間方向として判定する補間方向判定手段と、を備え、前記補間値算出手段は、前記画素特徴判定装置において前記それ以外の絵柄であると判定された各注目画素に対し、前記画素補間方向検出装置で検出された補間方向に基づいて、該補間方向上の実画素から補間値を算出することを特徴としたものである。

第２５の技術手段は、第２１乃至第２４のいずれかの技術手段における画素補間装置を備え、インタレース走査の映像信号のうち動いていないと判定された画素の信号をフレーム内補間し、インタレース走査の映像信号のうち動いていると判定された画素の信号を前記画素補間装置で補間して、インタレース走査の映像信号をプログレッシブ走査の映像信号に変換することを特徴とする映像信号処理装置である。

本発明によれば、インタレース走査の映像信号をフィールド内補間する際に、各補間画素に対し、そのあるべき特徴を、斜め線やその他の斜め方向エッジと区別できるように、周辺の実画素の特徴から正確に判定することが可能となる。また、この判定を用いれば、インタレース走査の映像信号をフィールド内補間する際に、各補間画素に対し、斜め線やその他の斜め方向エッジが存在してもガタつくことなく最適な実画素での補間が可能となり、さらには、この補間によって、インタレース映像信号を、斜め方向エッジが存在してもボヤけたりチラついたりすることなく明瞭に映像表示できる高画質のプログレッシブ映像信号に変換することが可能となる。

図１は、本発明の一実施形態に係る画素特徴判定装置、及び画素特徴判定装置を備えた画素補間装置及び映像信号処理装置の一構成例を示す図で、図中、１は静止画素／動画素判定装置、２はフレーム内補間装置、３はフィールド内補間装置、１１は画素特徴判定手段、１２は画素補間方向検出手段、１３は画素補間手段、１４は水平方向差分手段、１５は垂直方向差分手段、１６は領域指定手段、１７は離間画素差分手段、１８は水平方向複雑さ判定手段、１９は複雑判定手段、２０は角判定手段、２１は縦線判定手段、２２はフラット判定手段、２３は画素領域特定手段、２４は合計算出手段、２５は補間方向判定手段、２６は補間方向補正手段、２７は補間値算出手段（補間値生成手段）、２８は補間値判定手段、２９は補間手段である。

本発明に係る画素特徴判定装置は、インタレース走査の映像信号をプログレッシブ走査の映像信号に変換するＩＰ変換を行うに際し、フィールド内で補間する画素に対し、そのあるべき特徴を周辺の実画素の特徴から判定する装置であり、以下、画素特徴判定手段１１として説明する。本発明は、インタレース画像からプログレッシブ画像へのＩＰ変換のうち、特に動画部分の画質を向上するための装置や該装置を構成する回路に関するものである。

また、本発明に係る画素補間装置は、画素特徴判定手段１１を備えることを特徴とし、画素を最適な補間方向の実画素で補間する装置であり、以下、フィールド内補間装置３として説明する。フィールド内補間装置３は、主として、その前段処理としての画素特徴判定手段１１での画素の特徴を判定する画素特徴判定処理と、その中間処理としての画素補間方向検出装置での画素補間方向検出処理と、その後段処理として補間処理（及び補間チェック処理）とからなる。ここで、画素補間方向検出装置は、インタレース走査の映像信号をプログレッシブ走査の映像信号に変換するＩＰ変換を行うに際し、フィールド内で補間する画素に対し、その補間の方向を検出する装置であり、以下、画素補間方向検出手段１２として説明する。なお、本発明に係る画素補間装置は、画素補間方向検出手段１２で例示した画素補間方向検出装置を備えない形態も採用できる。すなわち、本発明に係る画素特徴判定装置は、一般的なフィールド内補間においても有効に機能する。本発明に係る画素補間装置では、走査線数が異なるテレビジョン方式のアップコンバートやインタレース走査映像信号から順次走査映像信号に変換するにあたり、フィールド画像からフレーム画像を生成する際などのライン補間が適確に実行できる。

さらに、本発明に係る映像信号処理装置は、少なくとも画素特徴判定手段１１を含むフィールド内補間装置３を備えることを特徴とし、画素を補間してインタレース映像信号からプログレッシブ映像信号に変換する装置であり、静止画素／動画素判定装置１及びフレーム内補間装置２を備えた例を、図１全体で示している。

図２は、１フィールド内の注目画素付近の画素を説明するための図である。図２において、Ｆはフィールド（フィールド画像ともいう）、Ｔは注目画素、Ｅは実画素、Ｎは補間対象画素、Ｌｔは注目画素Ｔが位置する補間ライン（以下、注目画素ラインという）、Ｌｎｕａは注目画素Ｔの１つ上の補間ライン、Ｌｎｕｂは注目画素Ｔの２つ上の補間ライン、Ｌｎｄａは注目画素Ｔの１つ下の補間ライン、Ｌｎｄｂは注目画素Ｔの２つ下の補間ライン、Ｌｅｕａは注目画素Ｔの１つ上の実画素ライン、Ｌｅｕｂは注目画素Ｔの２つ上の実画素ライン、Ｌｅｄａは注目画素Ｔの１つ下の実画素ライン、Ｌｅｄｂは注目画素Ｔの２つ下の実画素ライン、Ｌｎｕａは注目画素Ｔの１つ上の補間ラインである。

ここで、Ｅは入力されたフィールドＦ内に存在する実画素を一般的に指し、Ｎは入力されたフィールドＦ内に存在しない画素で、補間すべき画素（補間画素）を一般的に指す。また、注目画素Ｔは補間画素Ｎのうちの注目した補間画素（すなわち注目補間画素）であり、この注目画素Ｔは補間画素Ｎ全てに、逐次割り当てられるものである。但し、注目画素Ｔの補間画素Ｎへのこの割り当ては、後述の前段処理により省略されるものも生じてくる。１フィールドの映像信号は、フィールドＦ内において、．．．，Ｌｎｕｂ，Ｌｎｕａ，Ｌｎｄａ，Ｌｎｄｂ，．．．と続く実画素ライン上に各実画素Ｅが位置しているものとして取り扱え、そのとき、奇フィールドであれば各実画素ラインの下に補間ライン（．．．，Ｌｅｕａ，Ｌｔ，Ｌｅｄａ，Ｌｅｄｂ，．．．）が位置し、偶フィールドであれば各実画素ラインの上に補間ラインが位置する。なお、図２においては、フィールドＦ内の画素を９画素×９ラインの領域抜き出して図示しているが、これは紙面も考慮して注目画素Ｔを中心として説明するためである。

＜前段処理（画素特徴判定処理）＞
まず、本発明の特徴部分である画素特徴判定装置における処理について説明する。ここで説明する前段処理は、中間処理において、全ての補間対象画素に対し画素補間方向検出装置で補間方向を検出することで処理を増やすことを避けるため、及び補間方向の検出精度を上げるために、補間方向を決定する前の段階で、斜め線や斜めエッジなどの構成画素ではない注目画素を、予め画素補間方向検出装置での処理（及びそれに基づく補間処理）から省くことや、画素補間装置（フィールド内補間装置３）での補間処理を正確なものとすることを、主たる目的とする。なお、図１においては、この画素特徴判定手段１１をフィールド内補間装置３の一構成要素として画素補間方向検出手段１２と区別して図示しているが、画素特徴判定手段１１は、補間方向検出をより正確に実行させるための画素補間方向検出手段１２の一構成要素であるとも謂える。

画素特徴判定手段１１は、画素補間方向検出手段１２において補間の方向を決定する前などに、注目画素のあるべき特徴を周辺の実画素の特徴から判定する手段である。画像はその中に様々な特徴の絵柄をもっており、画素特徴判定手段１１は、注目画素が、どのような特徴をもつ絵柄の一部とみなせるか、を判定する手段であり、画像特徴判定手段であるとも謂える。従って、画素補間方向検出手段１２を組み込んでフィールド内補間を実行する場合、判定結果により所定の特徴をもつ注目画素に対しては、後述するように、画素領域特定２３，合計算出手段２４，補間方向判定手段２５における処理は実質的に実行しなくてもよい。

本発明の一実施形態に係る画素特徴判定手段１１は、補間対象となる画素である注目画素に対し、注目画素の同フィールド内の上下に位置する２実画素間の画素情報の差分値を算出する差分器等の手段と、注目画素の同フィールド内の左右に隣り合って位置する２実画素間の画素情報の差分値を算出する差分器等の手段と、注目画素の上ライン上の数画素離れたところに位置する２実画素間の画素情報の差分値を算出する手差分器等の段と、注目画素の下ライン上の数画素離れたところに位置する２実画素間の画素情報の差分値を算出する差分器等の手段と、を有するものとする。そして、この形態における画素特徴判定手段１１は、上下に位置する２実画素間での差分の結果、左右に位置する２実画素間での差分の結果、上下に位置する２実画素間及び左右に位置する２実画素間及び上下ラインの数画素離れた２画素間での差分の結果、のいずれか１又は複数の結果により、注目画素のあるべき特徴を判定する。

本発明の一実施形態に係る画素特徴判定装置（画素特徴判定手段１１）は、少なくとも水平方向差分手段１４，垂直方向差分手段１５，領域指定手段１６，離間画素差分手段１７を備えるものとする。これら手段は、差分器等で例示した上述の各手段に該当する。そして、本発明のより好ましい形態として、画素特徴判定手段１１は水平方向複雑さ判定手段１８を備えるものとする。

水平方向差分手段１４は、フィールド内の水平方向で隣り合う各実画素間（各実画素間の水平方向）の画素情報の差分値を算出する手段である。垂直方向差分手段１５は、フィールド内の垂直方向で隣り合う各実画素間（各実画素間の垂直方向）の画素情報の差分値を算出する手段である。

また、領域指定手段１６は、補間対象となる画素である注目画素に対し、注目画素を中心とする所定範囲の実画素領域を指定する手段である。より好適な形態として、領域指定手段１６は、注目画素に対し、水平方向の差分値については所定範囲の実画素領域を指定し、垂直方向の差分値についてはその所定範囲の実画素領域のうち適切な数の差分値が指定されるように実画素領域を指定するようにするとよい。

また、離間画素差分手段１７は、注目画素の１ライン上で注目画素から等距離離れた実画素間の画素情報の差分値と、注目画素の１ライン下で注目画素から等距離離れた実画素間の画素情報の差分値とを、算出する手段である。また、水平方向複雑さ判定手段１８は、水平方向差分手段１４で算出された実画素の水平方向の差分値のうち、領域指定手段１６で指定された実画素領域内の水平方向の差分値に基づいて、実画素ライン毎の水平方向の複雑さを判定する手段である。より好適な形態として、離間画素差分手段１７における差分値の算出、或いは、その算出及び水平方向差分手段１４及び垂直方向差分手段１５における差分値の算出は、各注目画素に対し、領域指定手段１６で所定範囲の実画素領域を指定してから実行するようにするとよい。

また、画素特徴判定手段１１で判定する特徴として、複雑な絵柄，縦線絵柄，フラット絵柄，角の絵柄のいずれか１又は複数とすることで、判定結果によりこれらの絵柄の一部の画素であると判定された注目画素Ｔについては、例えば、補間方向を統一して垂直方向に決定することが可能となる。勿論、複雑な絵柄，縦線絵柄，フラット絵柄，角の絵柄のうち、全ての絵柄について判定を行うことが好ましい。いずれにせよ、予め、画像の特徴を抽出して判定しておくことで、（補間方向検出の精度及び）補間の精度を向上できる。

また、離間画素差分手段１７における差分値の算出、及び、水平方向差分手段１４及び垂直方向差分手段１５における差分値の算出は、領域指定手段１６による指定の前に、１フィールド分実行するようにすることが好ましい。まず、各フィールド分の差分値を算出し、その後、領域指定手段１６で指定して注目画素Ｔのあるべき特徴を算出するようにするとよい。また、他の実施形態として、離間画素差分手段１７における差分値の算出、及び、水平方向差分手段１４及び垂直方向差分手段１５における差分値の算出は、領域指定手段１６による指定の前に、領域指定手段１６による指定で最低限必要な実画素領域分実行するようにしてもよい。

これらの実施形態のように、各差分値を１フィールド分全て事前に算出して準備しておく、或いは各差分値を注目画素を中心に必要最低限の数の算出しておき、それから、複雑判定／縦判定／フラット判定／角判定の各判定手段が必要な差分値（それぞれの手段に適切な差分値）を選定して用いる、或いは各差分値を各判定手段に必要分だけ割り当てる手段を用いて、各判定手段に各差分値を与えてもよい。これにより、垂直方向差分の数に限らず、複雑判定等で利用される水平方向差分の数や、離間画素差分の離間距離（注目画素を中心に何画素離れているか）も、それぞれの判定手段に、任意に与えることが可能となる。

このような形態において、領域指定手段１６は、フラット判定手段２２での判定に適した所定範囲の実画素領域を指定する手段をさらに有するようにし、フラット判定手段２２は、そこで指定された実画素領域で判定を行うようにすればよい。なお、判定に適した所定範囲の実画素領域の指定は、注目画素Ｔを中心に適切な数の差分値を採用することを意味する。例えば、後述の角絵柄判定処理において使用される実画素領域と、このフラット絵柄判定処理において使用される実画素領域とを、別個に指定するようにしてもよい。同様に、領域指定手段１６は、縦線判定手段２１での判定に適した所定範囲の実画素領域を指定する手段をさらに有するようにし、縦線判定手段２１は、そこで指定された実画素領域で判定を行うようにすればよい。また、領域指定手段１６は、角判定手段２０での判定に適した所定範囲の実画素領域を指定する手段をさらに有するようにし、角判定手段２０は、そこで指定された実画素領域で判定を行うようにすればよい。さらに、領域指定手段１６は、複雑判定手段１９での判定に適した所定範囲の実画素領域を指定する手段をさらに有するようにし、複雑判定手段１９は、そこで指定された実画素領域で判定を行うようにすればよい。これらの各判定手段における領域指定は、そのいずれかのみを適用してもよいことは言及するまでもない。

以下に、複雑な絵柄，縦線絵柄，フラット絵柄，角の絵柄についての好適な判定方法を説明する。上述のごとき、複雑な絵柄，縦線絵柄，フラット絵柄，角の絵柄の判定は、それぞれ、複雑判定手段１９，縦線判定手段２１，フラット判定手段２２，角判定手段２０で行う。

図３は、図１のフィールド内補間装置における画素特徴判定手段を説明するための模式図で、図３（Ａ）は注目画素に対して特徴判定に用いる実画素とその差分箇所の一例を示す図、図３（Ｂ），（Ｃ），（Ｄ），（Ｅ），（Ｆ）は、図３（Ａ）のうち、それぞれ、水平ライン複雑さ判定，フラット絵柄判定，縦線絵柄判定，角絵柄判定，複雑絵柄判定を行う際に用いる実画素及びその差分箇所を示す図である。図３においては、図２と同様の要素を同じ符号で示し、その説明を省略している。

〔水平ライン複雑さ判定処理〕
画素特徴判定手段１１では、縦線絵柄判定，複雑絵柄判定，角絵柄判定，フラット絵柄判定を実行する前の段階で、図３（Ｂ）で例示するように、実画素Ｅ及び矢印方向（又はその反対方向）での差分を実行し、水平方向ラインの複雑さの判定を行う。なお、フラット絵柄判定，角絵柄判定については、ここで説明する複雑さの判定を実行することなく実行できるので、先立って実行してもよい。

複雑さ判定においては、まず、フィールド内の水平方向で隣り合う各実画素間の画素情報の差分値、すなわち各実画素間の水平方向の差分値を算出する。画素情報とは輝度値等の画素値を指す。そして、補間対象となる画素である注目画素Ｔに対し、注目画素Ｔを中心とする所定範囲の実画素領域を指定する。ここで、水平方向の差分値の算出は、各注目画素Ｔに対し、所定範囲の実画素領域を指定してから実行するようにしてもよい。図３（Ｂ）の例では、１つの注目画素Ｔに対しては、その１つ上のライン及び１つ下のラインにおいて、それぞれ、注目画素Ｔの水平位置を中心に水平方向の９つの実画素Ｅを指定して各ライン８つ（合わせて１６つ）の差分値を算出している。

そして、水平方向（水平ライン）複雑さ判定手段１８が、算出された実画素の水平方向の差分値のうち、指定された実画素領域内の水平方向の差分値に基づいて、実画素ライン毎の水平方向の複雑さを判定する。

注目画素Ｔに対しては、１つ上ライン及び１つ下ラインの複雑さのみの判定でも問題ない。ここでは、各ライン毎に、ライン方向に画素値（輝度値）が凹凸しているか否かをもって、複雑さを判定する。水平方向複雑さ判定手段１８における複雑さ判定の好適な形態としては、まず、水平方向に隣り合う各実画素Ｅ間の画素情報の差分値を、絶対値を同じくする２つの閾値と比較し、その比較結果に基づいて差分値を負値，ゼロ値，正値に符号化する。例えば、隣との差分値が閾値より大きい場合に符号１、隣との差分値が閾値より小さい場合に符号−１、その他を符号０とする。そして、符号化した値に基づいて、差分値が、隣同士の符号が同符号であるか異符号であるかを判定し、判定した結果、ライン毎に同符号又は異符号の数をカウントして、カウントした結果の数に基づいて、ライン毎に、ラインの複雑さを所定の複数段階の複雑さの中から選定する。例えば、カウント値（加算値）が、他の所定閾値（整数でよい）以上のとき、凸凹していないと判定し、所定閾値−１である場合、Ｖであると判定し、所定閾値−２である場合、Ｓであると判定し、所定閾値−３である場合、Ｍであると判定し、所定閾値−４である場合、凸凹であると判定する。このように、Ｖ→Ｓ→Ｍ→凸凹と判定されるに連れ、複雑さが増していることとなる。なお、Ｖ，Ｓ，Ｍ等は縦線絵柄判定及び複雑絵柄判定に用いる。

〔フラット絵柄判定処理〕
フラット絵柄判定処理を実行するには、まず、垂直方向の差分を実行する。この垂直方向差分では、フィールド内の垂直方向で隣り合う各実画素Ｅ間の画素情報の差分値、すなわち各実画素Ｅ間の垂直方向の差分値を算出する。ここで、垂直方向の差分値の算出も、各注目画素Ｔに対し、所定範囲の実画素領域を指定してから実行するようにしてもよい。

そして、フラット判定手段２２が、算出された実画素の垂直方向差分値のうち、指定された実画素領域内の垂直方向の差分値とに基づいて、注目画素Ｔがフラットな絵柄（フラットな画像）の一部の画素であるか否かを判定する。ここで、フラット絵柄判定処理においては、フラット絵柄であると判定したい画素数にも依るが、余り長い距離に亘る画素をフラット絵柄であると判定しようとすると、フラット絵柄であるとの判定が結果として出力されなくなる。従って、フラット判定手段２２におけるフラット絵柄判定の好適な形態として、領域指定手段１６で指定された実画素領域（後述の角絵柄判定処理において使用される実画素領域）内の垂直方向差分値のうち、左右端から数画素分の差分値を判定に用いないようにしてもよい。

このフラット絵柄判定処理では、例えば、図３（Ｃ）のように、注目画素Ｔの１つ上の実画素ラインＬｅｕａ及び１つ下の実画素ラインＬｅｄａの、それぞれのラインで、注目画素Ｔの水平位置を中心とする５つの実画素Ｅを指定し、実画素ラインＬｅｕａ上の実画素Ｅと実画素ラインＬｅｄａ上の実画素Ｅとの間の垂直方向の差分値を算出する。そして、その上下差分値の全てが所定の閾値より小さい場合に、その注目画素Ｔを、フラット画像に含まれる画素であると判定する。

〔縦線絵柄判定処理〕
縦線判定手段２１は、水平方向複雑さ判定手段１８で判定された、注目画素Ｔの上ライン及び下ラインの水平方向複雑さと、垂直方向差分手段１５で算出された実画素の垂直方向の差分値（上下差分値）のうち、領域指定手段１６で指定された実画素領域内の垂直方向の差分値とに基づいて、注目画素が縦線（縦線絵柄）の一部の画素であるか否かを判定する。従って、縦線絵柄判定処理では、上述した水平ライン複雑さ及び垂直方向差分の双方が必要となる。ここで、水平ライン複雑さを判定するために水平方向差分が必要となるが、縦線絵柄判定処理に拘わらず、水平方向差分値及び垂直方向差分値の双方が必要な形態にあっては、その指定する実画素領域の範囲を異ならせてもよく、その注目画素Ｔに対し、水平方向の差分値について指定する実画素領域を所定範囲Ｘとすると、垂直方向の差分値についてはその所定範囲Ｘの実画素領域のうち適切な数の差分値が指定されるように実画素領域を指定するようにしてもよい。

縦線判定手段２１における縦線絵柄判定の好適な形態としては、水平方向複雑さ判定手段１８における水平方向複雑さの判定結果において、注目画素Ｔの上ライン又は下ラインのいずれかが、所定の複雑さ以上の複雑さをもつ場合、且つ、垂直方向差分手段１５で算出され領域指定手段１６で指定された差分値のうち、注目画素Ｔから左右共に数画素以内に位置する垂直ライン（縦ライン（列））上の実画素Ｅ全ての差分値において、注目画素Ｔの１つ上のラインと１つ下のラインとの差分値が全て所定の閾値より小さいか、或いは注目画素Ｔを通る垂直ライン（縦ライン（列））の差分値が全て所定の閾値より小さいか、或いは注目画素Ｔの２つ上の実画素ラインと１つ上の実画素ラインとの差分値及び注目画素Ｔの１つ下の実画素ラインと２つ下の実画素ラインとの差分値が全て所定の閾値より小さい場合に、注目画素Ｔが縦線絵柄の一部の画素であると判定する。

この縦線絵柄判定処理では、例えば、図３（Ｄ）のように、注目画素Ｔの１つ上の実画素ラインＬｅｕａ又は１つ下の実画素ラインＬｅｄａがＶ以上の複雑さをもち、注目画素Ｔから左右共に１画素以内に位置する垂直ライン（すなわち３つの縦ライン）上の実画素Ｅ全ての垂直方向差分値において、注目画素Ｔの１つ上の実画素ラインＬｅｕａと１つ下の実画素ラインＬｅｄａとの垂直方向差分値が全て所定の閾値より小さいか、或いは注目画素Ｔを通る垂直ライン（縦ライン（列））の差分値が全て所定の閾値より小さいか、或いは注目画素Ｔの２つ上の実画素ラインＬｅｕｂと１つ上の実画素ラインＬｅｕａとの垂直方法差分値及び注目画素Ｔの１つ下の実画素ラインＬｅｄａと２つ下の実画素ラインＬｅｄｂとの垂直方向差分値が全て所定の閾値より小さい場合に、注目画素Ｔが縦線絵柄の一部の画素であると判定する。すなわち、この例では、注目画素Ｔの上ライン或いは下ラインがＶ以上の複雑さをもち、且つ、中段の上下差分値３つ全てが所定の閾値より小さいか、或いは上，中，下段の３つ全ての上下差分値が所定の閾値より小さいか、或いは上，下段の計６つ全ての上下差分値が所定の閾値より小さい場合に、その注目画素Ｔを縦線を表す一画素であると判定する。

〔角絵柄判定処理〕
角判定手段２０は、垂直方向差分手段１５で算出された実画素Ｅの垂直方向の差分値のうち、領域指定手段１６で指定された実画素領域内の垂直方向の差分値と、離間画素差分手段１７で算出された差分値とに基づいて、注目画素Ｔが角（角の絵柄）の一部の画素であるか否かを判定する。従って、角絵柄判定処理においては、離間画素差分手段１７において求められる離間した実画素間での差分が必要となる。ここで、離間画素差分手段１７における離間画素差分処理では、領域指定手段１６で指定された実画素領域内において、離間差分値を算出する。このように、離間画素差分値の算出は、各注目画素Ｔに対し、所定範囲の実画素領域を指定してから実行してもよい。

角絵柄判定の好適な形態としては、垂直方向差分手段１５，領域指定手段１６で算出・指定された垂直方向差分値のうち、注目画素Ｔの２つ上の実画素ラインと１つ上の実画素ラインとの垂直方向差分値及び注目画素Ｔの１つ下の実画素ラインと２つ下の実画素ラインとの垂直方向差分値が、全て所定の閾値より小さい場合、且つ、算出された離間画素差分値のうち、注目画素Ｔの上ライン（１つ上の実画素ライン）又は下ライン（１つ下の実画素ライン）のいずれかに対応する差分値が、所定の閾値より大きい場合に、注目画素Ｔが角絵柄の一部の画素であると判定する。

この角絵柄判定処理では、例えば、図３（Ｅ）のように、注目画素Ｔの２つ上の実画素ラインＬｅｕｂと１つ上の実画素ラインＬｅｕａとの垂直方向差分値及び注目画素Ｔの１つ下の実画素ラインＬｅｄａと２つ下の実画素ラインＬｅｄｂとの垂直方向差分値が、全て所定の閾値より小さい場合、且つ、注目画素Ｔの上ラインＬｅｕａ又は下ラインＬｅｄａのいずれかに対応する離間画素差分値（注目画素Ｔの水平位置から２画素離れた実画素同士及び３画素離れた実画素同士の離間差分値）が、所定の閾値より大きい場合に、注目画素Ｔが角絵柄の一部の画素であると判定する。すなわち、この例では、注目画素Ｔの上ライン或いは下ラインの両端が所定の閾値より大きく、且つ、上，下段の計１４個全ての上下差分値が所定の閾値より小さい場合に、注目画素を角を表す一画素であると判定する。

〔複雑絵柄判定処理〕
複雑判定手段１９は、水平方向複雑さ判定手段１８で判定された、注目画素Ｔの上ライン及び下ラインの水平方向複雑さに基づいて、注目画素Ｔが複雑な絵柄の一部の画素である（注目画素Ｔの周囲が複雑である）か否かを判定する。従って、複雑絵柄判定処理においては、実画素ラインの水平方向複雑さを判定に用いる。注目画素Ｔの１つ上の実画素ライン及び１つ下の実画素ラインの水平方向複雑さに基づいて、注目画素Ｔが複雑な絵柄の一部の画素であるか否かを判定する。

複雑絵柄判定の好適な形態としては、水平方向複雑さ判定手段１８における水平方向複雑さの判定結果において、注目画素Ｔの上ライン又は下ラインのいずれかが、所定の複雑さ（縦線の判定で用いた複雑さよりも複雑なものに設定）以上の複雑さをもつ場合、注目画素Ｔが複雑な絵柄の一部の画素であると判定する。

この複雑絵柄判定処理では、例えば、図３（Ｆ）のように、注目画素Ｔの上ラインＬｅｕａ又は下ラインＬｅｄａのいずれかが、Ｍ以上の複雑さをもつ場合、注目画素Ｔが複雑な絵柄の一部の画素であると判定する。

上述のごとき前段処理を実行することで、例えば、後述する補間方向検出における各種設定値（後述するフィルタの重み付け係数等の各種設定値）を、斜め線などのエッジのみを考慮して設定することが可能となるので、画素補間方向検出手段１２における補間対象画素数の低減だけでなく、画素補間方向検出手段１２における補間方向検出の精度が向上する。さらに、上述のごとき前段処理を実行することで、その特徴判定結果に基づいて、各注目画素をその特徴に合った補間値をフィールド内の実画素から算出し、補間値で各注目画素を最適に補間することが可能となる。

＜中間処理及び後段処理＞
次に、上述のごとき各実施形態の画素特徴判定装置（画素特徴判定手段１１）を備え、さらに画素補間方向検出装置（画素補間方向検出手段１２）を備えた画素補間装置を説明する。この画素補間装置（フィールド内補間装置３）は、補間値算出手段２７及び補間手段２９を少なくとも含む画素補間手段１３を備えるものとするが、画素補間方向検出装置は任意である。まず、画素補間方向検出装置における中間処理について説明し、画素補間については、後段処理で説明する。

＜＜中間処理（画素補間方向検出処理）＞＞
〔画素領域特定・画素情報合計算出処理（円形状フィルタセット）〕
図４は、本発明の一実施形態に係わる画素補間装置における画素補間方向検出装置で特定される画素領域の例を説明するための図で、図４（Ａ），（Ｂ）はその画素領域の異なる例を示す図である。

図４において、Ａは中心画像領域、Ｂ_０〜Ｂ_６（しばしばＢで表す），Ｃ_０〜Ｃ_６（しばしばＣで表す）は周辺画像領域、Ｆｈは仮補間値で補間ラインを挿入したフィールド画像、Ｈはその補間ライン上の補間対象となる補間画素である。その他、図４においては、図２と同様の要素には同じ符号を付して説明を省略している。但し、図４（Ａ）において、Ｅは入力されたフィールドＦ内に存在する実画素を一般的に指すのに対し、図４（Ｂ）においてはフィールドＦｈ内に存在する実画素を一般的に指す。また、図４（Ａ）において、Ｎは入力されたフィールドＦ内に存在しない画素で、補間すべき画素（補間画素）を一般的に指すのに対し、図４（Ｂ）において、Ｈは仮補間値にて補間ラインを挿入したフィールドＦｈ内における補間すべき画素を一般的に指す。また、図４（Ｂ）において、注目画素Ｔは、補間画素Ｈのうちの注目した補間画素（すなわち注目補間画素）であり、この注目画素Ｔは、補間画素Ｈ全てに、逐次割り当てられるものである。但し、注目画素Ｔの補間画素Ｈへのこの割り当ては、上述の前段処理により省略されるものも生じてくる。

画素補間方向検出手段１２は、画素領域特定手段２３，合計算出手段２４，補間方法判定手段２５を少なくとも備えるものとする。画素領域特定手段２３は、補間対象となる画素（補間したい画素）である注目画素Ｔに対し、中心画像領域Ａと複数の周辺画素領域Ｂ，Ｃとを特定する手段である。ここで特定した画素領域の画素群に基づき補間方向を検出することとなる。なお、本明細書中、特定される画素領域を円形状領域で図示するが、特定される画素領域は円形状の領域にかぎらない。

ここで、中心画素領域とは、注目画素Ｔを中心として、現フィールドＦに存在する複数の実画素Ｅを少なくとも含む画素領域を指し、例えば図４（Ａ）の領域Ａを指す。また、同じく図示したように、複数の周辺画素領域とは、注目画素Ｔから略等距離に円状に配置された、複数の実画素Ｅを少なくとも含む画素領域を指し、例えば図４（Ａ）の領域Ｂ_０〜Ｂ_６，Ｃ_０〜Ｃ_６を指す。この複数の周辺画素領域は、それぞれ注目画素Ｔをその領域に含まないものとする。すなわち、周辺画素領域は、注目画素Ｔを囲まない領域である。なお、後の説明のために、注目画素ラインＬｔより上のライン上の画素がメインとなる周辺画素領域を周辺画素領域Ｂ、下のライン上の画素がメインとなる周辺画素領域を周辺画素領域Ｃとして、図示及び説明を行っていることがあるが、周辺画素領域Ｂ，Ｃ共に中心画素領域Ａの周辺画素領域であることに変わりはない。また、円状に配置とは、注目画素Ｔを中心として略一定角度毎に回転させた位置への配置を意味し、回転させた略等距離の位置には周辺画素領域のうち例えば中心などが配されるようにするとよい。

また、注目画素Ｔから略等距離とは、１フィールドの映像信号を格子状にサンプリングした実画素Ｅ及び補間画素Ｈ（又は補間画素Ｎ：値なし又は０値）に基づいて、その格子上の距離が略等しいことを指す。例えば、図４（Ｂ）においては水平方向，垂直方向に隣り合う実画素Ｅ間の距離をそれぞれ１，２とすると、注目画素Ｔから周辺画素領域Ｂ，Ｃの中心画素又は中心までの距離は、２．００〜３．１６であり、この間の距離を略等距離として取り扱うなどすればよい。但し、ここでの略等距離とは、注目画素Ｔの補間方向を判定する上で実質的に等しい距離である。なお、注目画素Ｔからの距離としては、注目画素Ｔ又は中心画素領域Ａの周辺画素領域側の端から周辺画素領域の中心画素領域Ａ側の端までの距離で規定してもよい。

これら画素領域Ａ，Ｂ，Ｃは、画素領域特定手段２３において、例えば、図２のごとくインタレース走査の１フィールドの映像信号（入力映像信号）を補間ラインも鑑みて格子状にサンプリングした実画素Ｅに基づいて、入力した映像信号から各実画素Ｅに対応する信号を逐次選択することで特定するよう構成してもよい。

また、図４（Ｂ）で示すように、中心画素領域Ａや周辺画素領域Ｂ，Ｃは、実画素Ｅのみを含む形態の他に、実画素Ｅ及びそれらから予備的に得られた仮の補間値をもつ補間画素Ｈを含む形態も採用できる。この形態の場合、これら画素領域Ａ，Ｂ，Ｃは、画素領域特定手段２３において、例えば、図２のごとくインタレース走査の１フィールドの映像信号（入力映像信号）を補間ラインも鑑みて格子状にサンプリングした実画素Ｅに基づいて、入力した映像信号から上下画素平均値を算出するなどして求めた補間画素Ｈとその元となる各実画素Ｅのうち、各実画素Ｅ及び補間画素Ｈに対応する信号を逐次選択することで特定するよう構成してもよい。

従って、この形態に係る画素補間方向検出手段１２にあっては、現フィールドに存在する実画素から所定の補間を行い補間ラインを予め生成する予備的補間手段をさらに備える必要がある。但し、この予備的補間手段としては、後述の画素補間手段１３において同様の補間手段を備えるのであればそれを流用すればよい。そして、この形態における画素領域特定手段２３では、中心画素領域Ａ及び複数の周辺画素領域Ｂ，Ｃとして、予備的補間手段で補間された補間ライン上の画素も含めて特定する。この場合、重み付けによって補間ライン上の画素（補間画素Ｈ）の重みを実画素Ｅに対する重みより軽くする等、設定しておくことが好ましい。なお、重み付けに関する形態は後述する。

一方、図４（Ａ）と共に前述した画素領域特定手段２３にあっては、中心画素領域Ａとして、現フィールドＦに存在する複数の実画素Ｅのみを含む画素領域（注目画素Ｔを中心）を特定し、複数の周辺画素領域Ｂ，Ｃとして、注目画素Ｔから略等距離に円状（円周上）に複数配置された、複数の実画素Ｅのみを含む周辺画素領域Ｂ，Ｃを特定している。勿論、図４（Ａ）で説明したこの画素領域特定手段２３の形態においては、仮補間値が入っていない補間画素Ｎを含ませるように画素領域Ａ，Ｂ，Ｃを特定することだけでなく、後段の合計算出上寄与しない０値をもつ補間画素Ｎとして含ませるように画素領域Ａ，Ｂ，Ｃを特定することも、実質的に実画素Ｅのみを含むように画素領域Ａ，Ｂ，Ｃを特定することに該当する。

また、図４（Ａ），（Ｂ）のいずれで例示する画素領域特定手段２３にあっても、複数の周辺画素領域Ｂ，Ｃを、中心画素領域Ａと同じ画素数（或いは同じ格子上の広さ）の画素領域として特定するよう構成することが回路構成上好ましい。但し、後述の重み付けを行う際には、重みも加味した上での同じ画素数の画素領域として特定するようにするとよい。

また、周辺画素領域Ｂ，Ｃを特定する際に、特定した中心画素領域Ａの周囲に存在する全ての画素を、領域Ｂ_０〜Ｂ_６，Ｃ_０〜Ｃ_６のいずれかの周辺画素領域にて含むように、画素領域を特定することが好ましい。この形態も、図４（Ａ），（Ｂ）のいずれで例示する画素領域特定手段２３にあっても適用可能である。この形態にあっては、複数の周辺画素領域Ｂ，Ｃによって中心画素領域Ａの周囲が洩れなく囲まれるので、補間方向算出が領域Ａだけでなくその周辺の全方向の画素も寄与することを意味し、また、補間方向算出に際し注目画素Ｔに近い画素を可能な限り用いることができ、これらの結果、補間方向検出及び補間の精度を向上することが可能となる。この形態では、中心画素領域Ａの周りに周辺画素領域Ｂ，Ｃが並ぶよう特定しても、或いは中心画素領域Ａと周辺画素領域Ｂ，Ｃとは重なりをもつ（重複する画素が存在する）よう特定してもよい。

また、画素領域特定手段２３は、図４（Ａ），（Ｂ）で示したように、複数の周辺画素領域Ｂ，Ｃのうちいずれか１又は複数（全ての周辺画素領域である場合も含む）を、中心画素領域Ａと一部の画素で重なるよう特定するようにしてもよい。このような重なりを持たせることで、限られた範囲の画素領域で補間方向を判定することが可能となり、結果として重なりをもたせないようにしたものに比べて回路の大規模化を避けることが可能となるだけでなく、より近隣の情報に基づいて補間方向が決定できる。なお、特定する画素領域は、図４で例示するように、例えば、補間する画素分も合わせて３×３画素や３×４画素の領域などとすればよい。

また、画素領域特定手段２３は、複数の周辺画素領域Ｂ，Ｃとして、注目画素Ｔの点対称に位置する２つの周辺画素領域を対として、複数対特定するようにすることが好ましい。ここで、各対の並ぶ方向は、それぞれ注目画素Ｔを中心に回転させた位置に特定されることとなる。この形態については、図４（Ａ），（Ｂ）において、領域Ｂ_０と領域Ｃ_０の対、領域Ｂ_１と領域Ｃ_１の対、領域Ｂ_２と領域Ｃ_２の対、領域Ｂ_３と領域Ｃ_３の対、領域Ｂ_４と領域Ｃ_４の対として図示している。

補間方向の判定において後述するが、補間方向は、この対と中心画素領域とからなるセットがなす方向（或いはその法線方向）で、換言するとこの対の方向（或いはその法線方向）で判定している。従って、画素領域を特定してから注目画素からの方向が一致する画素領域同士で判定してもよいが、画素領域を上述のように予め上述のごとき対単位で特定することが効率的である。補間方向は、このように一直線上に、一対の周辺画素領域と中心画素領域とからなる３つ連なる領域（例えば領域Ｂ_１，Ａ，Ｃ_１）を用い、その方向で判定されることとなるので、このような画素領域特定手段２３と後述の合計算出手段２４からなるフィルタを、しばしば「円形状フィルタセット」と呼ぶことにする。なお、個々の領域（例えば領域Ｂ_１や領域Ａ等）を円形状画素領域といい、さらに、この円形状画素領域の特定する画素領域特定手段１４と、係数を実画素情報に乗じるなどして合計値を算出する合計算出手段１５とを、合わせて「円形状フィルタ」といい、さらに、一直線上に３つの連なる領域（円形状画素領域）を「円形状画素領域セット」という。但し、これらの文言において「円形状」としているが、勿論円形状に限ったものではなく、「円形」や「矩形」などどのような形での領域特定を行ってもよいこと、及び全体でみると円形状であるが実際にはガタガタであってもよいことは、言及するまでもない。

合計算出手段２４は、画素領域特定手段２３で特定された中心画素領域及び複数の周辺画素領域に含まれる画素（実画素Ｅ／実画素Ｅ及び補間画素Ｈ／実画素Ｅ及び０値の補間画素Ｎ）の画素情報の合計を、各画素領域毎に算出する手段であり、画素領域特定手段２３と併せ、各領域の高周波成分を取り除く円形状フィルタとして機能する。また、領域Ｂ_１，Ａ，Ｃ_１に係わる円形状フィルタを合わせたものが、「円形状フィルタセット」となる。ここで、画素の画素情報とは、輝度値等の画素値を指す。

図５及び図６は、本発明の他の実施形態に係わる画素補間装置の画素補間方向検出装置における合計算出時の重み付け係数の例を説明するための図で、補間画素を合計算出に用いない形態での各方向における重み付け係数の例を示す図である。図５及び図６において、図２及び図４と同様の要素には同じ符号を付して、その説明を省略している。

合計算出手段２４は、その好適な形態において、画素領域特定手段２３で特定された中心画素領域Ａ及び複数の周辺画素領域Ｂ，Ｃの各画素領域毎に、画素領域内の各画素の画素情報に重み付けを行う手段を有するものとする。この手段は、上述した円形状フィルタに該当し、この手段では、周辺画素領域Ｂ，Ｃの注目画素Ｔに対する方向に応じて、各画素の画素情報に重み付け係数を乗ずるようにすることが好ましい。そして、合計算出手段２４は、重み付け後の画素情報の合計を各画素領域毎に算出する。なお、補間画素Ｈに対しては重み付けを行ってもよいし、補間画素Ｈを考慮した重み付けフィルタ（円形状フィルタ）を予め用意しておき、補間画素Ｈの算出を実行しなくても、画素情報の合計を算出すればその仮補間をも考慮した合計値が算出できるよう構成してもよい。

検出する補間方向及び各方向の重み付けの係数の例を、水平方向に近い方向を細かく且つ垂直方向に近い方向を粗く規定した各補間方向に対し、注目画素Ｔを中心として右回りに０番〜１１番方向として、図５及び図６に例示している。ここで、１１番方向は水平方向、５番方向は垂直方向となり、また、１０番方向，９番方向，８番方向，７番方向，６番方向は、それぞれ０番方向，１番方向，２番方向，３番方向，４番方向と、注目画素Ｔを通る垂直線に関して対称の方向でとなる。また、２番方向、８番方向は、それぞれ１番と３番、７番と９番の方向の差が少ないため検出する補間方向として取り入れておらず、図示も省略しているが、２番，８番方向も検出する補間方向として組み込んでもよい。また、検出する補間方向は、所定の角度毎での回転させた方向としてもよく、例えば、注目画素Ｔを中心として右回りに略１５度毎の方向を０番〜１１番方向とするなどが挙げられるが、上述のごとくそのうち補間方向判定に余り寄与しないような方向を特定しないようにしてもよい。

なお、ここでの１〜１１番方向などの方向は、補間方向の決定後に実行される後述する補間値作成に際し、使用する補間元の実画素の位置に対応させることが好ましい。すなわち、ここで説明する１〜１１番方向とは、最終的に補間値を作成する補間元の実画素の方向に対応させることが好ましく、補間元の実画素が複数ペアある場合には、その中間の位置に基づいた方向に対応させることが好ましい。この補間元の実画素については、図８で後述するが、図５及び図６の例では、注目画素Ｔから図８の補間元の実画素への方向に対応した方向を判定する補間方向として採用している。

図５及び図６には、周辺画素領域Ｂとしての０，１，９，１０番方向の領域Ｂ_０，Ｂ_１，Ｂ_９，Ｂ_１０、及び周辺画素領域Ｃとしての０，１，９，１０番方向の領域Ｃ_０，Ｃ_１，Ｃ_９，Ｃ_１０を、実画素Ｅと補間画素Ｎも合わせて水平方向３画素×垂直方向５画素（合計される画素は水平方向の３実画素Ｅ×垂直方向の３実画素Ｅ）とした例を示している。また、その他の方向の領域は、実画素Ｅと補間画素Ｎも合わせて水平方向３画素×垂直方向３画素（合計される画素は水平方向の３実画素Ｅ×垂直方向の２実画素Ｅ）としている。図５（Ａ）には、中心画素領域Ａ及び０番方向の周辺画素領域Ｂ_０，Ｃ_０の例として、各領域毎に中心の実画素ほど大きい重み付け係数となるよう、各原画素に重み付け係数を割り当てた例を示している。同様に、図５（Ｂ）は１番方向、図５（Ｃ）は３番方向、図５（Ｄ）は４番方向、図５（Ｅ）は５番方向、図５（Ｆ）は１１番方向、図６（Ａ）は１０番方向、図６（Ｂ）は９番方向、図６（Ｃ）は７番方向、図６（Ｄ）は６番方向の周辺画素領域に、それぞれ対応する重み付け係数の例を示している。

〔補間方向判定処理〕
補間方向判定手段２５は、合計算出手段２４で算出された各画素領域毎の合計、及び合計がなされた各画素領域の位置関係に基づいて、相関の最も強い方向を検出し、検出した方向を補間方向として判定する手段である。換言すると、補間方向判定手段２５では、合計算出手段２４で算出された合計に基づいて、それら合計がなされた中心画素領域及び各周辺画素領域の並ぶ方向のうち、相関の最も強い方向を補間方向として判定する。このように、補間方向判定手段２５では、円形状フィルタ結果より相関の高い補間方向を判断する。

まず、画素特徴判定手段１１を備える形態にあっては、補間方向判定手段２５は、画素特徴判定手段１１の判定結果に基づいて、所定の特徴をもつ注目画素に対しては画素領域を特定せず合計も算出せずに、補間方向がないと判定する。補間方向がないと判定された場合には、後述の補間値算出手段２７で、予め定められた補間元の実画素から補間値を算出し、補間手段２９にて補間するようにするとよい。このように、補間方向を決定せず、それ以外の絵柄である注目画素に対してのみここで説明する方法で補間方向の決定を行う。予め、画像の特徴を抽出して判定しておくことで、補間の精度を向上することが可能となる。

特に、画素特徴判定手段１１が、注目画素が複雑な絵柄，縦線絵柄，フラット絵柄，角の絵柄いずれの特徴に該当するかを、周辺の実画素の特徴から判定する手段である形態にあっては、補間方向判定手段２５は、画素特徴判定手段１１の判定結果に基づいて、複雑な絵柄，縦線絵柄，フラット絵柄，角の絵柄のいずれかの一部の画素である注目画素に対しては画素領域を特定せず合計も算出せずに、補間方向がないと判定する。補間方向がないと判定された場合には、後述の補間値算出手段２７で、各絵柄に対して予め定められた所定の手段でフィールド内の実画素の画素情報から補間値を算出（例えば補間元の実画素から補間値を算出）し、補間手段２９にて補間するようにするとよい。それ以外の絵柄である注目画素に対してのみ、ここで説明する方法で補間方向の決定を行う。ここで、それ以外の絵柄である注目画素に対しては、上述の所定の手段以外の手段でフィールド内の実画素の画素情報から補間値を算出するようにするとよく、注目画素の画素情報の上下画素平均値，上画素値，下画素値以外の補間値で補間するようにすることが好ましい。予め、画像の特徴を抽出して判定しておくことで、補間の精度を向上することが可能となる。ここで、各絵柄に対して予め定められた所定の補間元とは、最も簡易な決め方として、これら全ての絵柄に対して、垂直方向の実画素とし、最終的に上下画素平均値で補間するようにしてもよい。また、好ましい所定の補間元の実画素としては、垂直方向とは異なる上方向という方向にある実画素、全方向という方向にある実画素などを用意しておき、複雑な絵柄と判定された場合には上方向にある実画素として、上ラインと同じ画素値（輝度）とするようにし、フラット絵柄と判定された場合には全方向にある実画素として、周囲数画素の平均値とするようにし、角の絵柄と判定された場合には垂直方向にある実画素として、上下画素平均値とするようにするとよい。

次に、図７を参照して、補間方向判定手段２５における処理を詳細に説明する。図７において、絵柄をハッチングして示し、図２及び図４と同様の要素には同じ符号を付して、その説明を省略している。

図７は、本発明の他の実施形態に係わる画素補間装置における画素補間方向検出装置での補間方向判定処理を説明するための図で、白地に右斜め上に向いた黒線（色線）の絵柄が在る場合に円形状フィルタセットをかけたものを示す図である。

本実施形態における補間方向判定手段２５は、合計算出手段２４により算出された中心画素領域Ａに対する合計と各周辺画素領域Ｂ，Ｃに対する合計との差分をとり、それらの絶対値を算出する手段を有する。すなわち、注目画素Ｔを含む領域Ａの円形状フィルタ結果と、これに円状に配置された複数領域Ｂ，Ｃの円形状フィルタ結果との差分の絶対値を求める。ここでの各周辺画素領域Ｂ，Ｃとは画素領域特定手段２３で特定された全ての領域を指し、図７では、領域Ｂ_０，Ｂ_１，Ｂ_２，Ｂ_３，Ｂ_４（それぞれ０番方向，３番方向，５番方向，７番方向，１０番方向に相当）と、領域Ｃ_０，Ｃ_１，Ｃ_２，Ｃ_３，Ｃ_４（それぞれ０番方向，３番方向，５番方向，７番方向，１０番方向に相当）と、が該当する。そして、算出される合計差分絶対値は、領域の名称でその値を説明すると、｜Ａ−Ｂ_０｜，｜Ａ−Ｂ_１｜，｜Ａ−Ｂ_２｜，｜Ａ−Ｂ_３｜，｜Ａ−Ｂ_４｜，｜Ａ−Ｃ_０｜，｜Ａ−Ｃ_１｜，｜Ａ−Ｃ_２｜，｜Ａ−Ｃ_３｜，｜Ａ−Ｃ_４｜となる。

本実施形態における補間方向判定手段２５は、さらに、注目画素Ｔの点対称に位置する周辺画素領域同士に係わる差分の絶対値を加算する手段も有するものとする。図７の例では、Ｄ_ｎ＝｜Ａ−Ｂ_ｎ｜＋｜Ａ−Ｃ_ｎ｜を、ｎ＝０，１，２，３，４に対してそれぞれ求めることとなる。そして、補間方向判定手段２５は、加算した値Ｄ_ｎのうち最小値を選択する手段（セレクタ等）と、選択された最小値をもつ方向を相関の最も強い方向として検出し、検出した方向を補間方向として判定する手段と、を有する。この形態にあっては、３つ円形状フィルタの関係Ｄ_ｎ＝｜Ａ−Ｂ_ｎ｜＋｜Ａ−Ｃ_ｎ｜、すなわちＤ_ｎの円形状フィルタセットにより、その最小値方向を斜め相関方向として検出する。

図７のように、３つの円形状画素領域のセット（Ｂ_３，Ａ，Ｃ_３）が斜め線上にのっていると、３つの円形状フィルタ結果（円形状フィルタの係数を輝度に乗じたものの合計値）の差異は小さく、対して斜め線に直交する３つの円形状フィルタ（Ｂ_１，Ａ，Ｃ_１又はＢ_０，Ａ，Ｃ_０）の差異は大きい。この場合、Ｄ_３＝｜Ａ−Ｂ_３｜＋｜Ａ−Ｃ_３｜は小さい値となり、Ｄ_０＝｜Ａ−Ｂ_０｜＋｜Ａ−Ｃ_０｜及びＤ_１＝｜Ａ−Ｂ_１｜＋｜Ａ−Ｃ_１｜は大きい値となる。これより、補間画素Ｔを中心に点対称に位置する３つの円形状フィルタの差異Ｄ_ｎ＝｜Ａ−Ｂ_ｎ｜＋｜Ａ−Ｃ_ｎ｜の小さい方向が、相関の強い方向があると謂える。

〔補間方向補正処理〕
上述のごときいずれかの補間方向判定手段２５によって判定された注目画素毎の補間方向は、そのまま補間方向として決定してもよいが、補間方向をより正確に決定するために、判定された補間方向を補正することが好ましい。この補正は補間方向補正手段２６により実行される。

補間方向補正手段２６は、補間方向判定手段２５で判定された各注目画素の補間方向を補正する手段であり、この手段では、注目画素（注目画素Ｔａとする）の補間方向を補正するに際し、注目画素Ｔａの補間方向の情報と、注目画素Ｔａの近隣に位置する他の１又は複数の注目画素の補間方向の情報とに基づいて補正を行う。ここで、注目画素Ｔａの近隣に位置する他の１又は複数の注目画素とは、例えば、注目画素Ｔａの水平方向に隣接する２つの注目画素を意味する。補間方向補正手段２６のより好適な例は、実施例にて後述するが、例えば、補間方向の情報として方向を番号付けしておき（例えば上述の１番方向，２番方向，．．．等）、その番号の値を平均化するなどして補正後の補間方向を求めるとよい。

＜＜後段処理（補間処理・補間チェック処理）＞＞
〔補間処理〕
次に、後段処理として、補間処理を中心に説明する。ここで説明する画素補間装置は、図１のフィールド内補間装置３に該当するが、少なくとも図１乃至図７で前述した各実施形態に係る画素特徴判定装置（画素特徴判定手段１１）のいずれかを備えるものとし、好ましくは同じく前述した画素補間方向検出装置（画素補間方向検出手段１２）も備えるものとする。この画素補間装置（フィールド内補間装置３）は、補間信号を生成することから補間信号生成装置とも謂え、以下に説明するいずれかの画素補間手段１３を備える。

画素補間手段１３は、前述したように、補間値生成手段（補間値算出手段ともいう）１８及び補間手段２９を少なくとも備えるものとする。補間値算出手段２７は、画素特徴判定手段１１で判定された各注目画素の特徴判定結果に基づいて、各注目画素をその特徴に合った補間値をフィールド内の実画素から算出する手段である。また、補間手段２９は、補間値算出手段２７で算出された補間値で各注目画素を補間する手段である。

特に、補間値算出手段２７では、画素特徴判定手段１１において複雑な絵柄，縦線絵柄，フラット絵柄，角の絵柄のいずれかの一部の画素であると判定された注目画素に対し、その注目画素の画素情報の上下画素平均値を補間値として算出し、画素特徴判定手段１１においてそれ以外の絵柄であると判定された注目画素に対し、その注目画素の画素情報の上下画素平均値以外の補間値をフィールド内の実画素から算出するよう構成することが好ましい。

また、フィールド内補間装置３が、画素補間方向検出手段１２を備える形態にあっては、補間値算出手段２７では、各注目画素に対し、画素補間方向検出手段１２で判定或いは判定後の補正によって検出・決定された補間方向に基づいて（円形状フィルタセットに拘わらない）、その補間方向上の実画素から補間値を算出するようにする。補間方向上の実画素の決定には様々な方法があり、その例を後述する。また、補間値の作成も、一律に補間元の画素情報の平均値を算出することで求めればよいが、特に３画素以上の実画素の画素情報を用いて補間値を作成する際には、重み付けを行うなど、適宜工夫を行ってもよい。補間手段２９は、補間値算出手段２７で算出された補間値で各注目画素を補間する。補間手段２９は、実際には各注目画素の補間値に基づき、補間後の信号（補間信号）を生成する。

〔補間方向上の実画素の決定処理〕
図８は、図１のフィールド内補間装置における補間処理を説明するための模式図で、図８（Ａ）〜（Ｆ），（Ｇ）〜（Ｋ），（Ｌ）は、それぞれ補間方向が０番〜５番，１０番〜６番，１１番の方向であると判定されたときに補間に用いる実画素の一例を説明するための図である。図８において、Ｇは補間元の実画素（補間に用いる実画素）であり、その他、図２と同等の要素は同じ符号で表し、その説明を省略している。

補間方向上の実画素は、一番簡単な方法として、各補間方向に対応する、注目画素Ｔに対する実画素の位置を、予め定めておくことで決定する。例えば、図８（Ａ）に示すように、補間方向が０番方向である判定されたときには、注目画素Ｔに対し左に３，上に１離れたものと右に３，下に１離れたものとの１組の実画素Ｇを、補間元の画素として決定する。同様に、図８（Ｂ）に示すように、補間方向が１番方向である判定されたときには、注目画素Ｔに対し左に２，上に１離れたものと右に２，下に１離れたものとの１組の実画素Ｇを、補間元の画素として決定する。また、図８（Ｃ）に示すように、補間方向が２番方向である判定されたときには、注目画素Ｔに対し左に２，上に１離れたものと右に２，下に１離れたものとの１組の実画素Ｇと、左に１，上に１離れたものと右に１，下に１離れたものとの１組の実画素Ｇとを、補間元の画素として決定する。同様にして、補間方向が３，４，５，６，７，８，９，１０，１１番方向と判定されたときには、それぞれ図８（Ｄ），（Ｅ），（Ｆ），（Ｋ），（Ｊ），（Ｉ），（Ｈ），（Ｇ），（Ｌ）で示す位置の実画素Ｇを、補間元の画素として決定する。なお、１１番方向と判定された場合には、基本的に注目画素Ｔの１１番方向の実画素は存在しないので、図８（Ｌ）で例示するように、例えば注目画素Ｔの上ラインＬｅｕａ及び下ラインＬｅｄａの各３つの実画素Ｇを、補間元の画素として決定するとよい。

また、補間値算出手段２７は、画素補間方向検出手段１２で検出された補間方向に基づいて、その補間方向上に特定された画素領域の中の実画素から補間値を算出するようにしてもよい。

〔補間チェック処理〕
図９は、図１のフィールド内補間装置における補間値チェック処理を説明するための模式図である。図９において、図２と同様の要素には同じ符号を付して、その説明を省略している。

画素補間手段１３は、補間値算出手段２７で算出した補間値が妥当か否かを判定する補間値判定手段２８を、さらに備え、補間の精度を向上させることが好ましい。補間値判定手段２８は、補間値算出手段２７で算出した補間値をチェックすることから補間値チェック手段とも謂える。

補間値判定手段２８は、補間値算出手段２７で算出された補間値と、注目画素Ｔの上下画素平均値との差分値を算出する手段を有するものとする。補間値算出手段２７で算出された補間値とは、図９の例では、注目画素Ｔから引かれた斜め方向の矢印の先にある一対の実画素Ｅからの補間値（例えば平均値）を指す。さらに、補間値判定手段２８は、そこで算出した差分値が所定の閾値より大きい場合に、その補間値を妥当な値（正しい値）ではないと判定する手段を有するものとする。そして、補間手段２９は、補間値判定手段２８で妥当な値でないと判定された注目画素に対し、補間値算出手段２７で算出された補間値ではなく、その注目画素の上下画素平均値を補間値として（置換し）補間する。ここで、上下画素平均値の代わりに、注目画素の上の実画素の値又は下の実画素の値を、補間値として補間するようにしてもよい。

また、補間値判定手段２８は、補間値算出手段２７で算出された補間値が、注目画素Ｔの上の実画素の画素情報と下の実画素の画素情報との間にない場合に、その補間値を妥当な値ではないと判定する手段、を有するようにしてもよい。さらに、補間値判定手段２８は、補間値算出手段２７で算出される補間値に対し、補間元の実画素（例えば図８の実画素Ｇ）間の差分値を算出する手段と、そこで算出した差分値が所定の閾値より大きい場合に、その補間値を妥当な値ではないと判定する手段と、を有するようにしてもよい。これら３つの形態は、組み合わせることでより正確なチェックが可能となる。

＜映像信号処理＞
次に、図１の全体で例示する映像信号処理装置について簡単に説明する。この映像信号処理装置は、動いていないと判定された画素（以下「静止画素」という）と動いていると判定された画素（以下「動画素」という）とを判定し区別する静止画素／動画素判定装置１と、主として対となるフィールド間で補間を行うフレーム内補間装置２と、上述のごときフレーム内補間装置３とを備える。この映像信号処理装置は、上述の各実施形態に係る画素補間装置のいずれかをその構成要素として含むものとする。

この映像信号処理装置は、一般的な動き検出つきＩＰ変換を本発明の特徴部分に適用したものであり、インタレース走査の映像信号が静止画素／動画素判定装置１において静止画素と動画素のいずれに該当するかを判定し、インタレース走査の映像信号のうち静止画素の信号をフレーム内補間装置２でフレーム内補間し、インタレース走査の映像信号のうち動画素の信号をフィールド内補間装置３で補間して、インタレース走査の映像信号をプログレッシブ走査の映像信号に変換する。このように、字幕や背景のように動いていない部分はフィールド間補間（＝フレーム内補間）をし、動いているものは本発明の特徴部分であるフィールド内補間を行う。また、その動き検出は、前フィールドとの差分値の大きさで、動いているか動いていないかを判定するなど、基本的に各画素ごとの静止画素／動画素の判定が行えればよい。なお、静止画素／動画素判定装置１では、動き検出に基づいて、動画信号であっても静止画素に相当する部分をフレーム内補間装置２へ、動画素部分をフィールド内補間装置３へ、それぞれ伝送するようにすればよく、その場合には、出力装置等へ出力する際に合成して出力映像信号を生成するとよい。

＜フィールド内補間装置の実施例＞
図１０は、図１におけるフィールド内補間装置の回路構成例を示すブロック図で、図中、３１はブロック領域合成回路、３２は方向決定回路、３３，３４は遅延器（Ｄ）、３５は方向ＬＰＦ（方向ローパスフィルタ）、３６は補間値作成回路、３７は補間値選択回路（ＳＥＬ）、３８はミス判定回路、３９は水平方向画素減算器、４０は水平方向複雑さ判定回路、４１は垂直方向画素減算器、４２は複雑判定回路、４３は縦線判定回路、４４はフラット判定回路、４５は角判定回路、４６，４７はｏｒゲート、４８は補間値選択回路（ＳＥＬ）である。

図１０で例示するフィールド内補間装置は、画素領域特定手段２３及び合計算出手段２４の一例としてのブロック領域合成回路３１、補間方向判定手段２５の一例としての方向決定回路３２、補間方向補正手段２６の一例としての遅延器３３，３４及び方向ＬＰＦ３５、補間値算出手段（補間値生成手段）２７の一例としての補間値作成回路３６及び補間値選択回路３７、補間値判定手段２８の一例としてのミス判定回路３８、水平方向差分手段１４の一例としての水平方向画素減算器３９、水平方向複雑さ判定手段１８の一例としての水平方向複雑さ判定回路４０、垂直方向差分手段１５の一例としての垂直方向画素減算器４１、複雑判定手段１９の一例としての複雑判定回路４２、縦線判定手段２１の一例としての縦線判定回路４３、フラット判定手段２２の一例としてのフラット判定回路４４、角判定手段２０の一例としての角判定回路４５、複雑な絵柄，縦線絵柄，フラット絵柄，角の絵柄のいずれかであった場合に信号出力するｏｒゲート４６、それらの絵柄のいずれかか判定ミスであった時に信号出力するｏｒゲート４７、及び、補間手段２９の一部の例としての、最終的に補間値を選択する補間値選択回路４８を備える。

図１１は、図１０のフィールド内補間装置におけるフィールド内補間処理例を説明するためのフロー図である。また、図１２乃至図２１は、図１０のフィールド内補間装置におけるフィールド内補間処理例を説明するための模式図である。図１２は水平方向ラインの複雑さ判定処理例を、図１３はフラット絵柄判定処理例を、図１４は縦線絵柄判定処理例を、図１５は角絵柄判定処理例を、図１６は複雑絵柄判定処理例を、図１７は円形状フィルタセットによる補間方向判定処理例を、図１８は円形状フィルタの重み付け係数の例及び円形状フィルタ結果及び円形状フィルタセット結果を、図１９は方向ＬＰＦの例を、図２０は補間値チェック処理例においてミスと判定される画像の例を、図２１はこのフィールド内補間によって得られる映像信号の例を、ぞれぞれ説明するための図である。なお、図１２乃至図１７，図１９及び図２０において画素の位置に示す数値は、その実画素の輝度値を０（黒）〜１００（白）で表している。勿論、輝度値は、８ビットであれば０〜２５５の値となるなど、その処理単位に対応している。

このフィールド内補間処理は、画素単位でＩＰ変換を行うので、ピクセル単位ＩＰ変換アルゴリズムとも謂える。以下、図１１の流れに則って、図１０及び図１２乃至図２１を参照しながら、本発明に係るフィールド内補間処理の一例を説明する。

水平方向画素減算器３９において、注目画素を中心とする４ライン×９画素のフィールド内実画素を受け、実画素の水平方向の差分値を算出する（ステップＳ１）。ここでは、４ライン×９画素のフィールド内実画素のうち、注目画素を中心とする２ライン×９画素のフィールド内実画素で、実画素間の水平差分値（横差分値）を算出すればよい。さらに、ステップＳ１では、垂直方向画素減算器４１において、注目画素を中心とする４ライン×９画素のフィールド内実画素を受け、実画素の垂直方向の差分値を算出する。ここでは、４ライン×９画素のフィールド内実画素のうち、注目画素を中心とする４ライン×７画素のフィールド内実画素で、実画素間の垂直差分値（縦差分値）を算出すればよい。

次に、水平方向画素減算器３９の実画素間の水平方向差分値より、水平方向複雑さ判定回路４０において、注目画素の上ライン，下ライン（ここでは各９実画素）の水平方向複雑さを判定する（ステップＳ２）。図１２（Ａ）〜（Ｆ）に水平方向ラインの複雑さの例を示し、図１２（Ｇ）にそれらを模式的にグラフの凸凹で示すように、輝度値の差が、隣り合う実画素間で小さいほど、凸凹でない（複雑でない）と判定する。これらの判定は、図３（Ｂ）で説明した符号化によって求まるが、図１２を用いてその傾向の例を説明する。

図１２（Ａ）で示すように、隣り合う実画素間で輝度値に差が殆どない場合に、「複雑でない１」と判定する。図１２（Ｂ）で示すように、隣り合う実画素間で輝度値に差が余りないが、水平方向に徐々に同じ傾向で変化していっている場合に、「複雑でない２」と判定する。図１２（Ｃ）で示すように、隣り合う実画素間で輝度値に差があるが、限られた実画素数のラインで見ているので、そのラインにおいては１つの山又は谷がある程度である場合に、「複雑さＶ」と判定する。図１２（Ｄ）で示すように、隣り合う実画素間で輝度値に差があり、限られた実画素数のラインにおいては１つの山又は谷がありその他に水平方向で同じ傾向で変化している部分がある場合に、「複雑さＳ」と判定する。図１２（Ｅ）で示すように、隣り合う実画素間で輝度値に差があり、そのラインにおいては２つの山又は谷がある場合に、「複雑さＭ」と判定する。図１２（Ｆ）で示すように、隣り合う実画素間で輝度値に差があり、そのラインにおいては凸凹になっている場合に、「凸凹」と判定する。

次に、注目画素（注目補間点）の周囲が、複雑かどうか、フラット絵柄であるのか、縦線絵柄であるのか、角絵柄であるのか、を判定する（ステップＳ３）。この判定では、注目画素が複雑絵柄，フラット絵柄，縦線絵柄，角絵柄であるべきなのか、それ以外であるべきなのかを判定することとなる。

フラット判定回路４４においては、垂直方向画素減算器４１の実画素の垂直方向差分値より、注目補間点の周囲がフラットな画像かどうか判定する。ここでは、図１３で×で示す注目画素に対し、それを含む水平方向５画素分の縦差分値を用い、その結果、各差分値が所定の閾値以下であればフラット絵柄であると判定する。図１３の例では、５つのいずれの差分値も０であり、フラット絵柄であると判定される。

縦線判定回路４３においては、水平方向複雑さ判定回路４０において判定された、上ライン，下ラインの水平方向複雑さと、垂直方向画素減算器４１の実画素の垂直方向差分値より、注目補間点が縦線の一部画像かどうか判定する。ここでは、図１４（Ａ）で示すように、注目画素を中心として水平方向に３画素分の縦差分をとり、図１４（Ｂ）で示すように、注目画素の縦ライン上の３つの縦差分をとり、図１４（Ｃ）で示すように、注目画素を中心として水平方向に３画素分の縦ラインに対し、注目画素の２ライン上から１ライン上への縦差分と注目画素の１ライン下から２ライン下への縦差分とをとり、それらの結果と、上ライン，下ラインの水平方向複雑さとによって、縦線絵柄か否かを判定する。これらの縦差分値が全て所定の閾値以内であって、且つ、上ライン又は下ラインの水平方向複雑さがＶ以上である場合に、縦線絵柄と判定する。図１４の例では、この条件に該当するので縦線絵柄と判定される。

角判定回路４５においては、水平方向画素減算器３９の実画素の水平方向差分値と、垂直方向画素減算器４１の実画素の垂直方向差分値より、注目補間点が角の一部画像かどうか判定する。ここでは、水平方向差分値として、注目画素の上ライン及び下ラインに対し、注目画素から３画素ずつ左右に離間した実画素間の差分値と、注目画素から２画素ずつ左右に離間した実画素間の差分値と、を用いる。また、垂直方向差分値として、注目画素を中心として水平方向に７画素分の縦ラインに対し、注目画素の２ライン上から１ライン上への縦差分と注目画素の１ライン下から２ライン下への縦差分とをとる。これらの水平方向差分値が、所定の閾値より大きく、且つ、上下段１４個の縦差分値（上下差分値）が全て所定の閾値より小さいときに、角絵柄であると判定する。図１５の例では、注目画素は角絵柄に該当する。

複雑判定回路４２では、水平方向複雑さ判定回路４０において判定された、上ライン，下ラインの水平方向複雑さより、注目補間点の周囲が複雑かどうか判定する（ステップＳ３）。ここでは、いずれかのラインが複雑さＭ以上であれば複雑絵柄と判定する。図１６（Ａ）に複雑絵柄判定処理例を、図１６（Ｂ）にそれを模式的に示すためのグラフを示している。このグラフを見ても、図１６の例では、上下ライン共に複雑さがＭ以上であり、複雑絵柄と判定されることがわかる。

そして、複雑さ判定回路４２，縦線判定回路４３，フラット判定回路４４，角判定回路４５の結果をｏｒゲート４６に入力し、前段処理判定結果を得る。

一方、ブロック領域合成回路３１及び補間値作成回路３６にも、４ライン×９画素のフィールド内実画素を入力する。ブロック領域合成回路３１において、補間値を中心に等距離に配置された円形状フィルタをかけ、各方向のブロック領域（円形状画素領域セット）合成値を算出する（ステップＳ５）。ここで使用する円形状フィルタは、図１７（Ａ）〜（Ｊ）で示す、それぞれ０番，１番，３番，４番，５番，１０番，９番，７番，６番，１１番方向に回転させた円形状フィルタセットとする。なお、図１７において＊は実画素ラインであり、また、２番方向と８番方向とはそれぞれ１番と３番、７番と９番の方向の差が少ないため、省略している。図１８（Ａ）は、図１７における各円形状フィルタに用いる重み付け係数を例示しており、この例では、円形状フィルタの中心に重きを置く係数配列としているが、その他の傾向（例えば全て同じ係数）の係数配列を用いてもよい。

ステップＳ５においては、さらに、ブロック領域合成回路３１の各方向のブロック領域（円形状画素領域セット）合成値を方向決定回路３２で受け、各方向の｜Ａ−Ｂ｜＋｜Ａ−Ｃ｜の計算をし、ステップＳ６において、それらのうちの最小値を検出し、その方向Ｎｏ．を出力する。

図１８（Ｂ）に、図１７のような絵柄があり、同じく図１７で示す円形状フィルタセットで、図１８（Ａ）の重み付け係数を用いた場合の、各円形状フィルタＡ，Ｂ，Ｃの値と、各周辺フィルタＢ，Ｃの中心の円形状フィルタ（中心フィルタ）Ａとの差分絶対値の和（Ｄ＝｜Ａ−Ｂ｜＋｜Ａ−Ｃ｜）の値とを示している。中心フィルタＡに対しては、Ａ＝１×１００＋２×５０＋１×０＋２×５０＋４×５０＋２×５０＋１×０＋２×５０＋１×１００＝８００となる。差分絶対値の和Ｄの値は、例えば、方向Ｎｏ．４（図１７（Ｄ））に対しては、Ｂ＝１×１００＋２×１００＋１×１００＋２×１００＋４×１００＋２×７５＋１×１００＋２×１００＋１×５０＝１５００、同様にＣ＝１５００であり、Ａ＝８００より、Ｄ＝１４００となる。この計算値Ｄの中で最小の値は、０であり、そのときの方向Ｎｏ．はＮｏ．７であり、７番方向が補間方向として判定される。従って、図１７では、左斜め４５度に下がる黒線があると判定しており、これは好ましい補間方向であることが図１７の色分けからも見てとれる。

次に、ステップＳ７において、方向決定回路３２で決定された方向をＤＩＲ＿ｌとし、遅延器３３で遅延し、遅延器３３の出力値をＤＩＲ＿ｃとする。さらに、ＤＩＲ＿ｃを遅延器３４で遅延し、ＤＩＲ＿ｒとする。ステップＳ７においては、この準備が終了した時点で、水平３画素分の方向値（ＤＩＲ＿ｌ，ＤＩＲ＿ｃ，ＤＩＲ＿ｒ）を方向ＬＰＦ３５に入力する。方向ＬＰＦ３５において、方向にＬＰＦをかける。

方向ＬＰＦ３５における処理を説明する。図１９（Ａ）には方向ＬＰＦ３５で補正する前の補間方向（図中、５つのマスで囲む画素に対応する注目画素の補間方向）と、その補間方向を補間に用いた場合の補間値（輝度値）を、例示している。図１９（Ａ）の５マスのうち真中のマスの画素の輝度値が低いのが見てとれ、実際その値は左右の画素より低くなっており、この補間は正しくないことがわかる。実際、この５マスの補正前の補間方向は３，３，１０，０，０であり、真中のマスだけかけ離れた方向となっており、この方向で補正した結果の輝度値は、中３マスで、５９，４４，５５となる。これは、周辺画素領域の方向の間隔（角度ピッチ）にも依り、図示のようにかなり寝た斜線の場合に、補間方向判定手段（方向決定回路３２）での補間方向の判定に誤りが出た結果である。

この誤った補間方向判定を直すために、各注目画素の補間方向に対し、全て方向ＬＰＦ３５を通す。なお、ここでの演算は、誤りが無い補間方向は補正されないような演算である。図１９（Ｂ）では、水平ラインにつき、求められた補間方向を３画素ずつ演算し、水平方向に平均化（適時重み付けを行ってもよい）を行った結果である。中心に倍の重み付けをすると、５マス中右から２マス目の注目画素は（３×１＋３×２＋１０×１）／４＝５、５マス中右から３マス目の注目画素は（３×１＋１０×２＋０×１）／４＝６、５マス中右から４マス目の注目画素は（１０×１＋０×２＋０×１）／４＝３、となり、それぞれ５番方向，６番方向，３番方向として補間方向が正しく補正される。なお、ここでは、正確な補正値を求めるため、計算結果０〜５に対しては小数点以下を四捨五入し、計算結果５〜１０に対しては０．５以下を切り捨てし、０．５より大きいとき切り上げしている。これらの方向に基づいて補間を実行すると、５マス中右から２，３，４マス目のそれぞれ輝度値が５５，５５，５３となり、違和感のあった方向性が正しい結果に補正できている。

次に、ステップＳ８において、補間値作成回路３６で、補間値の上下２ラインの実画素より全方向についての補間値を算出しておく。例えば、図８の各方向の実画素Ｇの平均値で求めればよい。また、上下画素平均値も算出される補間値に含まれることとなる（ステップＳ４）。ステップＳ８においては、この準備が終了した時点で、補間値選択回路３７で、方向ＬＰＦ３５の結果より、補間値作成回路３６で算出された補間値を１つ選択する。

次に、補間値選択回路３７の出力結果をミス判定回路３８に入力し、上下画素平均値或いは上下実画素と比較、或いは補間値を作成した実画素の差分値より、補間値選択回路３７で決定された補間値の正誤判定を行う（ステップＳ９）。そして、ミス判定回路３８による正誤判定結果と、ｏｒゲート４６の前段処理判定結果とを、ｏｒゲート４７を通し、補間値選択回路３７までの算出値を補間値とすべきか、上下画素平均値を補間値とすべきかの判定信号を得る。補間値選択回路４８に、補間値選択回路３７の出力と補間値作成回路３６で算出された上下画素平均値を入力し、ｏｒゲート４７の出力信号より、最適な補間値を選択する。

図２０（Ａ），（Ｂ）には、この補間値選択回路３７の出力結果でミスを生じる典型的な画素値の配列の例を示している。図２０（Ａ），（Ｂ）の例では、方向性がつけづらく、また縦線，フラット，角，複雑の各絵柄判定によっても判定し難いものである。図２０（Ａ）の例では、補間方向が３番方向に決定され、その方向に基づいた補間値は図８（Ｄ）の実画素Ｇで求められ、（１００＋０）／２＝５０となるが、このままこの補間値を採用してしまうと、黒い点のようにミス補間として目立ってしまう。実際、図２０（Ａ）の例では、理想として１００と９０の間の値を補間値として採用したい。そこで、ミス判定回路３８において算出した補間値（５０）が上下画素平均値（９５）と余りに異なっていたら、上下画素平均値９５を補間値とするようにする。図２０（Ｂ）の例では、予め補間値として上下画素平均値を入れた例を示しているが、注目画素はその上下画素平均値１００であることが理想である。しかし、この場合も同様に他の方向に判定されてしまうので、上下画素平均値を補間値とするようにする。

補間値選択回路４８からの出力値が、最終的な補間値となる。図２１（Ａ）にはこのフィールド内補間によって得られる映像信号が表す画像例を示しているが、このうち斜め線部分は図２１（Ｂ）に拡大図を示すように適切な補間がなされていることがわかる（図２２（Ｂ）と比較参照）。同時に、このうち円弧状のエッジの部分は、図２１（Ｃ）に拡大図を示すように適切な補間がなされていることがわかる（図２２（Ｃ）と比較参照）。

本発明の一実施形態に係る画素特徴判定装置、及び画素特徴判定装置を備えた画素補間装置及び映像信号処理装置の一構成例を示す図である。 １フィールド内の注目画素付近の画素を説明するための図である。 図１のフィールド内補間装置における画素特徴判定手段を説明するための模式図である。 本発明の一実施形態に係わる画素補間装置における画素補間方向検出装置で特定される画素領域の例を説明するための図である。 本発明の他の実施形態に係わる画素補間装置の画素補間方向検出装置における合計算出時の重み付け係数の例を説明するための図で、補間画素を合計算出に用いない形態での各方向における重み付け係数の例を示す図である。 本発明の他の実施形態に係わる画素補間装置の画素補間方向検出装置における合計算出時の重み付け係数の例を説明するための図で、補間画素を合計算出に用いない形態での各方向における重み付け係数の例を示す図である。 本発明の他の実施形態に係わる画素補間装置における画素補間方向検出装置での補間方向判定処理を説明するための図である。 図１のフィールド内補間装置における補間処理を説明するための模式図である。 図１のフィールド内補間装置における補間値チェック処理を説明するための模式図である。 図１におけるフィールド内補間装置の回路構成例を示すブロック図である。 図１０のフィールド内補間装置におけるフィールド内補間処理例を説明するためのフロー図である。 図１０のフィールド内補間装置における水平方向ラインの複雑さ判定処理例を説明するための図である。 図１０のフィールド内補間装置におけるフラット絵柄判定処理例を説明するための図である。 図１０のフィールド内補間装置における縦線絵柄判定処理例を説明するための図である。 図１０のフィールド内補間装置における角絵柄判定処理例を説明するための図である。 図１０のフィールド内補間装置における複雑絵柄判定処理例を説明するための図である。 図１０のフィールド内補間装置における円形状フィルタセットによる補間方向判定処理例を説明するための図である。 図１０のフィールド内補間装置における円形状フィルタの重み付け係数の例及び円形状フィルタ結果及び円形状フィルタセット結果を説明するための図である。 図１０のフィールド内補間装置における方向ＬＰＦの例を説明するための図である。 図１０のフィールド内補間装置における補間値チェック処理例においてミスと判定される画像の例を説明するための図である。 図１０のフィールド内補間装置におけるフィールド内補間によって得られる映像信号の例を説明するための図である。 従来技術によるフィールド内補間によって得られる映像信号の例を説明するための図である。 図２２の映像信号の典型的な画素値の例を示す図である。

符号の説明

１…静止画素／動画素判定装置、２…フレーム内補間装置、３…フィールド内補間装置、１１…画素特徴判定手段、１２…画素補間方向検出手段、１３…画素補間手段、１４…水平方向差分手段、１５…垂直方向差分手段、１６…領域指定手段、１７…離間画素差分手段、１８…水平方向複雑さ判定手段、１９…複雑判定手段、２０…角判定手段、２１…縦線判定手段、２２…フラット判定手段、２３…画素領域特定手段、２４…合計算出手段、２５…補間方向判定手段、２６…補間方向補正手段、２７…補間値算出手段、２８…補間値判定手段、２９…補間手段、３１…ブロック領域合成回路、３２…方向決定回路、３３…遅延器、３４…遅延器、３５…方向ＬＰＦ、３６…補間値作成回路、３７…補間値選択回路、３８…ミス判定回路、３９…水平方向画素減算器、４０…水平方向複雑さ判定回路、４１…垂直方向画素減算器、４２…複雑判定回路、４３…縦線判定回路、４４…フラット判定回路、４５…角判定回路、４６…ｏｒゲート、４７…ｏｒゲート、４８…補間値選択回路。

Claims (25)

1. インタレース走査の映像信号をプログレッシブ走査の映像信号に変換するＩＰ変換を行うに際し、フィールド内で補間する画素に対し、そのあるべき特徴を周辺の実画素の特徴から判定する画素特徴判定装置であって、
   補間対象となる画素である注目画素に対し、該注目画素の同フィールド内の上下に位置する２実画素間の画素情報の差分値を算出する手段と、前記注目画素の同フィールド内の左右に隣り合って位置する２実画素間の画素情報の差分値を算出する手段と、前記注目画素の上ライン上の数画素離れたところに位置する２実画素間の画素情報の差分値を算出する手段と、前記注目画素の下ライン上の数画素離れたところに位置する２実画素間の画素情報の差分値を算出する手段と、を有し、前記上下に位置する２実画素間での差分の結果、前記左右に位置する２実画素間での差分の結果、前記上下に位置する２実画素間及び左右に位置する２実画素間及び上下ラインの数画素離れた２画素間での差分の結果、のいずれか１又は複数の結果により、前記注目画素のあるべき特徴を判定することを特徴とする画素特徴判定装置。
2. 前記注目画素が、複雑な絵柄，縦線絵柄，フラット絵柄，角の絵柄、或いはそれ以外の絵柄のうち、いずれの特徴に該当するかを、前記１又は複数の結果より判定することを特徴とする請求項１に記載の画素特徴判定装置。
3. インタレース走査の映像信号をプログレッシブ走査の映像信号に変換するＩＰ変換を行うに際し、フィールド内で補間する画素に対し、そのあるべき特徴を周辺の実画素の特徴から判定する画素特徴判定装置であって、
   前記フィールド内の水平方向で隣り合う各実画素間の画素情報の差分値を算出する水平方向差分手段と、
   前記フィールド内の垂直方向で隣り合う各実画素間の画素情報の差分値を算出する垂直方向差分手段と、
   補間対象となる画素である注目画素に対し、該注目画素を中心とする所定範囲の実画素領域を指定する領域指定手段と、
   前記注目画素の１ライン上で前記注目画素から等距離離れた実画素間の画素情報の差分値と、前記注目画素の１ライン下で前記注目画素から等距離離れた実画素間の画素情報の差分値とを、算出する離間画素差分手段と、
   前記水平方向差分手段で算出された実画素の水平方向の差分値のうち、前記領域指定手段で指定された実画素領域内の水平方向の差分値に基づいて、実画素ライン毎の水平方向の複雑さを判定する水平方向複雑さ判定手段と、
   を備え、前記注目画素のあるべき特徴を判定することを特徴とする画素特徴判定装置。
4. 前記注目画素が、複雑な絵柄，縦線絵柄，フラット絵柄，角の絵柄、或いはそれ以外の絵柄のうち、いずれの特徴に該当するかを判定することを特徴とする請求項３に記載の画素特徴判定装置。
5. 前記領域指定手段は、前記注目画素に対し、前記水平方向の差分値については前記所定範囲の実画素領域を指定し、前記垂直方向の差分値については前記所定範囲の実画素領域のうち適切な数の差分値が指定されるように実画素領域を指定することを特徴とする請求項３又は４に記載の画素特徴判定装置。
6. 前記水平方向複雑さ判定手段は、水平方向に隣り合う各実画素間の画素情報の差分値を、絶対値を同じくする２つの閾値と比較する手段と、該比較の結果に基づいて前記差分値を負値，ゼロ値，正値に符号化する手段と、該符号化した値に基づいて、前記差分値が隣同士の符号が同符号であるか異符号であるかを判定する手段と、該判定した結果、ライン毎に同符号又は異符号の数をカウントする手段と、該カウントした結果の数に基づいて、ライン毎に、ラインの複雑さを所定の複数段階の複雑さの中から選定する手段と、を有することを特徴とする請求項３乃至５のいずれか１項に記載の画素特徴判定装置。
7. 前記水平方向複雑さ判定手段で判定された、前記注目画素の上ライン及び下ラインの水平方向複雑さに基づいて、前記注目画素が複雑な絵柄の一部の画素であるか否かを判定する複雑判定手段を、さらに備えたことを特徴とする請求項３乃至６のいずれか１項に記載の画素特徴判定装置。
8. 前記複雑判定手段は、前記水平方向複雑さ判定手段における判定結果において、前記注目画素の上ライン又は下ラインのいずれかが、所定の複雑さ以上の複雑さをもつ場合、前記注目画素が複雑な絵柄の一部の画素であると判定することを特徴とする請求項７に記載の画素特徴判定装置。
9. 前記領域指定手段は、前記複雑判定手段での判定に適した所定範囲の実画素領域を指定する手段をさらに有し、前記複雑判定手段は、前記指定された実画素領域で判定を行うことを特徴とする請求項７又は８に記載の画素特徴判定装置。
10. 前記垂直方向差分手段で算出された実画素の垂直方向の差分値のうち、前記領域指定手段で指定された実画素領域内の垂直方向の差分値と、前記離間画素差分手段で算出された差分値とに基づいて、前記注目画素が角の絵柄の一部の画素であるか否かを判定する角判定手段を、さらに備えたことを特徴とする請求項３乃至９のいずれか１項に記載の画素特徴判定装置。
11. 前記角判定手段は、前記垂直方向差分手段で算出された前記領域指定手段で指定された差分値のうち、前記注目画素の２つ上の実画素ラインと１つ上の実画素ラインとの差分値及び前記注目画素の１つ下の実画素ラインと２つ下の実画素ラインとの差分値が、全て所定の閾値より小さい場合、且つ、前記離間画素差分手段で算出された差分値のうち、前記注目画素の上ライン又は下ラインのいずれかに対応する差分値が、所定の閾値より大きい場合に、前記注目画素が角絵柄の一部の画素であると判定することを特徴とする請求項１０に記載の画素特徴判定装置。
12. 前記領域指定手段は、前記角判定手段での判定に適した所定範囲の実画素領域を指定する手段をさらに有し、前記角判定手段は、前記指定された実画素領域で判定を行うことを特徴とする請求項１０又は１１に記載の画素特徴判定装置。
13. 前記水平方向複雑さ判定手段で判定された、前記注目画素の上ライン及び下ラインの水平方向複雑さと、前記垂直方向差分手段で算出された実画素の垂直方向の差分値のうち、前記領域指定手段で指定された実画素領域内の垂直方向の差分値とに基づいて、前記注目画素が縦線絵柄の一部の画素であるか否かを判定する縦線判定手段を、さらに備えたことを特徴とする請求項３乃至１２のいずれか１項に記載の画素特徴判定装置。
14. 前記縦線判定手段は、前記水平方向複雑さ判定手段における判定結果において、前記注目画素の上ライン又は下ラインのいずれかが、所定の複雑さ以上の複雑さをもつ場合、且つ、前記垂直方向差分手段で算出され前記領域指定手段で指定された差分値のうち、前記注目画素から左右共に数画素以内に位置する垂直ライン上の実画素全ての差分値において、前記注目画素の１つ上のラインと１つ下のラインとの差分値が全て所定の閾値より小さいか、或いは前記注目画素を通る垂直ラインの差分値が全て所定の閾値より小さいか、或いは前記注目画素の２つ上の実画素ラインと１つ上の実画素ラインとの差分値及び前記注目画素の１つ下の実画素ラインと２つ下の実画素ラインとの差分値が全て所定の閾値より小さい場合に、前記注目画素が縦線絵柄の一部の画素であると判定することを特徴とする請求項１３に記載の画素特徴判定装置。
15. 前記領域指定手段は、前記縦線判定手段での判定に適した所定範囲の実画素領域を指定する手段をさらに有し、前記縦線判定手段は、前記指定された実画素領域で判定を行うことを特徴とする請求項１３又は１４に記載の画素特徴判定装置。
16. 前記垂直方向差分手段で算出された実画素の垂直方向の差分値のうち、前記領域指定手段で指定された実画素領域内の垂直方向の差分値とに基づいて、前記注目画素がフラットな絵柄の一部の画素であるか否かを判定するフラット判定手段を、さらに備えたことを特徴とする請求項３乃至１５のいずれか１項に記載の画素特徴判定装置。
17. 前記領域指定手段は、前記フラット判定手段での判定に適した所定範囲の実画素領域を指定する手段をさらに有し、前記フラット判定手段は、前記指定された実画素領域で判定を行うことを特徴とする請求項１６に記載の画素特徴判定装置。
18. 前記離間画素差分手段における差分値の算出、及び、前記水平方向差分手段及び垂直方向差分手段における差分値の算出は、前記領域指定手段による指定の前に、１フィールド分実行することを特徴とする請求項３乃至１７のいずれか１項に記載の画素特徴判定装置。
19. 前記離間画素差分手段における差分値の算出、及び、前記水平方向差分手段及び垂直方向差分手段における差分値の算出は、前記領域指定手段による指定の前に、前記領域指定手段による指定で最低限必要な実画素領域分実行することを特徴とする請求項３乃至１７のいずれか１項に記載の画素特徴判定装置。
20. 前記離間画素差分手段における差分値の算出、或いは、該算出及び前記水平方向差分手段及び垂直方向差分手段における差分値の算出は、各注目画素に対し、前記領域指定手段で前記所定範囲の実画素領域を指定してから実行することを特徴とする請求項３乃至１７のいずれか１項に記載の画素特徴判定装置。
21. 請求項１乃至２０のいずれか１項に記載の画素特徴判定装置を備えた画素補間装置であって、前記画素特徴判定装置で判定された各注目画素の特徴判定結果に基づいて、各注目画素をその特徴に合った補間値をフィールド内の実画素から算出する補間値算出手段と、該補間値算出手段で算出された補間値で各注目画素を補間する補間手段と、をさらに備えたことを特徴とする画素補間装置。
22. 請求項１乃至２０のいずれか１項に記載の画素特徴判定装置を備えた画素補間装置であって、前記画素特徴判定装置において複雑な絵柄，縦線絵柄，フラット絵柄，角の絵柄のいずれかの一部の画素であると判定された注目画素に対し、各絵柄に対して予め定められた所定の手段でフィールド内の実画素の画素情報から補間値を算出し、前記画素特徴判定装置においてそれ以外の絵柄であると判定された注目画素に対し、前記所定の手段以外の手段でフィールド内の実画素の画素情報から補間値を算出する補間値算出手段と、該補間値算出手段で算出された補間値で各注目画素を補間する補間手段と、をさらに備えたことを特徴とする画素補間装置。
23. フィールド内で補間する画素である注目画素に対し、その補間の方向を検出する画素補間方向検出装置をさらに備えたことを特徴とする請求項２２に記載の画素補間装置。
24. フィールド内で補間する画素に対し、その補間の方向を検出する画素補間方向検出装置をさらに備え、該画素補間方向検出装置は、補間対象となる画素である注目画素に対し、該注目画素を中心とする領域であって、現フィールドに存在する複数の実画素を少なくとも含む中心画素領域と、前記注目画素を囲まない領域であって、前記注目画素から略等距離に円状に配置された、複数の実画素を少なくとも含む複数の周辺画素領域と、を特定する画素領域特定手段と、該画素領域特定手段で特定された中心画素領域及び複数の周辺画素領域に含まれる画素の画素情報の合計を、各画素領域毎に算出する合計算出手段と、該合計算出手段で算出された各画素領域毎の合計、及び合計がなされた各画素領域の位置関係に基づいて、相関の最も強い方向を検出し、該検出した方向を補間方向として判定する補間方向判定手段と、を備え、前記補間値算出手段は、前記画素特徴判定装置において前記それ以外の絵柄であると判定された各注目画素に対し、前記画素補間方向検出装置で検出された補間方向に基づいて、該補間方向上の実画素から補間値を算出することを特徴とする請求項２２に記載の画素補間装置。
25. 請求項２１乃至２４のいずれか１項に記載の画素補間装置を備え、インタレース走査の映像信号のうち動いていないと判定された画素の信号をフレーム内補間し、インタレース走査の映像信号のうち動いていると判定された画素の信号を前記画素補間装置で補間して、インタレース走査の映像信号をプログレッシブ走査の映像信号に変換することを特徴とする映像信号処理装置。

Images