JP2009094862A

JP2009094862A - 映像信号処理装置

Info

Publication number: JP2009094862A
Application number: JP2007264338A
Authority: JP
Inventors: Kunio Yamada; 邦男山田
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2007-10-10
Filing date: 2007-10-10
Publication date: 2009-04-30
Anticipated expiration: 2027-10-10
Also published as: JP4868249B2

Abstract

【課題】画像の拡大・解像度変換を施した出力画像を得るための映像信号処理において、エラーが少なく高性能な斜め線補間を比較的簡単な計算で実現する。
【解決手段】複数の方向性を持つ微分作用素を輝度信号の画素値に施して方向性を検出し（ステップＳ１）、検出した方向性を示す微分作用素計算結果の絶対値ｘの最大値が所定値ｔｈ１以上であるとき、検出した方向性に応じて加重平均により候補値の計算する（ステップＳ２、Ｓ４）。その候補値のうち周辺画素である中央４画素の最大値と最小値の間に制限したものを補間値として生成する（ステップＳ５）。これにより、エラーが少なく高性能な斜め線補間を比較的簡単な計算処理で実現することができる。
【選択図】図２

Description

本発明は映像信号処理装置に係り、特に階調画像を扱う映像表示装置、映像記録装置、映像処理装置、コンピュータ装置などにおいて画像の拡大・解像度変換を施した出力画像を得るための映像信号処理装置に関する。

近年の映像機器のディジタル化及びパーソナルコンピュータやデジタルカメラの普及、さらに超高解像度映像機器の導入により、既存の映像ソースの高品質な高解像度化の重要性が高まっている。この高解像度化には、例えば、既存の映像ソースの映像信号の画素間を補間して画像を拡大する手法が用いられる。

広く知られている補間手法としては、最近隣補間法、線形補間法、３次元畳み込み補間法などがある。最近隣補間法は、変換画像の最も近いサンプル点の値を補間値とする方法であり、アルゴリズムが簡単に実現できるメリットがある。線形補間法は、変換画像の補間位置の周囲４点の画素からの距離の比を求め、その比率に応じて、周囲４点の画素値から補間していく方法であり、画像が滑らかになるメリットがある。３次元畳み込み補間法は、ｓｉｎｃ関数を近似した三次関数を用いて、補間位置の周辺１６点から、畳み込んで計算していく方法であり、画像が滑らかになるのと同時に鮮鋭化の効果もある。

しかし、上記のような従来の補間手法では、周囲の情報を均等に配分して補間データを作り出すため、非エッジ部では滑らかな補間画像が得られるものの、エッジ部分、特に傾斜の急な斜め線においてジャギーが目立つことは避けがたい。

そのため、エッジ部と非エッジ部の補間手段を別々のものを使用し、エッジ部ではジャギーの目立ちにくい直交変換・逆変換を利用する補間方法が従来提案されている（例えば、特許文献１参照）。

また、斜めに隣接する画素間の補間については単調増加する非線形関数、縦横に隣接する画素間の補間については単調増加する非線形関数もしくは線形関数を用いることによって、ジャギーに対応する補間方法も従来知られている（例えば、特許文献２参照）。

更に、周辺の画素値をもとに予め定められた詳細関数によって求められる評価値が、予め設定された条件を満足するまで、補間画素値を繰り返し修正して、斜め線も含め高品位な補間を行う方法も従来提案されている（例えば、特許文献３参照）。

特許３５７８９２１号公報特開平５‐２８４３３８号公報特開平１０‐１６４３５８号公報

しかし、上記の特許文献１〜３に記載の補間方法は、直交変換・逆変換の処理が必要になったり、メモリーテーブルを用いた非線形関数の適用する必要があったり、繰り返し演算が必要であったりするなど、いずれも計算コスト上の障害が存在する上、様々な角度の斜め線のジャギーに対応するだけの仕組みを有していないので、補間性能にも限界がある。

本発明は上記の点に鑑みなされたもので、複数の方向性を持つ微分作用素で映像信号のエッジの方向性を検出し、検出したエッジに沿った加重平均を得、これを周辺画素の最大値と最小値の間に制限したものを補間値とすることにより、エラーが少なく高性能な斜め線補間を比較的簡単な計算で実現する映像信号処理装置を提供することを目的とする。

上記の目的を達成するため、本発明の信号処理装置は、映像信号の画素値を補間して高解像度化する信号処理装置において、複数の方向性を持つ微分作用素を、映像信号の補間時に用いる予め設定した複数の画素の画素値に施して、映像信号のエッジの方向性を検出する方向性検出手段と、方向性検出手段により検出されたエッジの方向性を示す直線が、複数の補間画素の補間位置のみを通り、予め設定した複数の画素の位置のいずれにも通らないときは、補間画素の候補値を、複数の画素のうち補間画素の周辺の画素の線形補間により生成し、上記直線が複数の補間画素のうち中心位置にある第１の補間画素の位置のみを通るときは、第１の補間画素の候補値を、複数の画素のうち上記直線の近傍位置にある２以上の画素の画素値を平均して生成すると共に、上記直線の平行線が通る位置にある第２の補間画素の候補値を、複数の画素のうち、平行線の近傍位置にある２以上の画素の画素値を平均して生成し、かつ、上記直線が通らない位置にある第３の補間画素の候補値を、複数の画素のうち第３の補間画素の周辺の画素の線形補間により生成する候補値生成手段と、候補値生成手段により生成された候補値を、複数の画素のうち第１の補間画素の位置の上下左右にそれぞれ隣接する中央の４画素の画素値のうち最大値と最小値で制限して、この制限された候補値を補間画素の補間値として出力する補間値出力手段とを有することを特徴とする。

本発明によれば、エラーが少なく高性能な斜め線補間を比較的簡単な計算処理で実現することができる。

次に、本発明の一実施の形態について図面と共に詳細に説明する。

図１は、本発明になる映像信号処理装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の映像信号処理装置１００は、入力された三原色信号（入力ＲＧＢ信号）に基づいて、輝度信号Ｙと２種類の色信号Ｃｂ、Ｃｒを生成する第一マトリクス回路１０１と、輝度信号Ｙ用の拡大処理部１０２と、色信号Ｃｂ用の拡大処理部１０３と、色信号Ｃｒ用の拡大処理部１０４と、各拡大処理部１０２〜１０４から出力された信号に基づいて、拡大ＲＧＢ信号を生成する第二マトリクス回路１０５とからなる。

次に、この実施の形態の動作について説明する。

第一マトリクス回路１０１は、高解像度化対象の映像信号である入力ＲＧＢ信号を公知のマトリクス演算を用いて輝度信号Ｙと２種類の色信号Ｃｂ及びＣｒに変換する。Ｙ用拡大処理部１０２は、第一マトリクス回路１０１から出力された輝度信号Ｙを入力として受け、後述するように、その輝度信号Ｙの画像のエッジとその方向性とを検出し、検出したエッジに沿った画素の画素値を、そのエッジの方向性によって決定される重み付けにより加重平均して得た加重平均値を所定の複数の周辺画素の最大値と最小値とにより決定される値によって制限し、その制限値を補間値とする拡大処理を行う。

一方、Ｃｂ用の拡大処理部１０３とＣｒ用の拡大処理部１０４とは、それぞれ第一マトリクス回路１０１から出力された色信号Ｃｂ、Ｃｒを入力として受け、その入力色信号Ｃｂ、Ｃｒを公知の線形補間により補間して拡大処理を行う。第二マトリクス回路１０５は、上記の拡大処理部１０２、１０３、１０４から出力された拡大処理済みの輝度信号Ｙ、拡大処理済みの色信号Ｃｂ、及びＣｒをそれぞれ入力として受け、これらに基づいて公知のマトリクス演算を行って、拡大処理されたＲ（赤）信号、Ｇ（緑）信号、及びＢ（青）信号の三原色信号を出力する。

次に、本実施の形態の要部であるＹ用拡大処理部１０２による拡大処理方法の詳細について説明する。

図２は、本発明装置の一実施の形態の要部の動作を説明するフローチャートである。このフローチャートはＹ用拡大処理部１０２による拡大処理の処理手順を示す。

まず、入力された輝度信号Ｙの図３に０〜２３で示した○の位置の、計２４個の画素の画素値（以下ｙ［ｎ］とする）を用いて、同図のｏ０、ｏ１、ｏ２、ｏ３、ｏ４に示す計５つの位置の補間値を算出するために、エッジとその方向性の検出を行う（ステップＳ１）。

なお、「エッジ」とは、濃度値、色、模様などの特徴が類似している部分を一つの領域としたとき、上記の特徴が急激に変化している、領域と領域との境界をいう。また、方向性の検出とは、後述する１２種類の方向性パターンから所定の方法で一つを選択する処理である。選択方法の詳細は後述する。

このステップＳ１では、図４〜図１５に示す複数の方向性を持つ微分作用素を輝度信号Ｙの画素値（輝度値）に施してエッジとその方向性とを検出する。ここで、「微分作用素」とは、例えば公知の文献（酒井幸一著：“ディジタル画像処理入門”、株式会社コロナ社、P.30-32）に記載されている特徴抽出フィルタにおける、画素の濃度差をとるためのオペレータを総称したものである。この公知文献には、近傍領域に拡張した微分フィルタであるPrewittフィルタのオペレータや、Prewittフィルタにおいて、中央の重みを大きくしたフィルタであるSobelフィルタのオペレータが開示されている。それらのオペレータは縦方向３画素、横方向３画素の計９画素について、垂直・水平のエッジを検出できるような係数配置になっている。

これに対し、本実施の形態では、これより複雑な図３に示した配置の２４画素のオペレータを用いて、以下説明するように１２のエッジの方向性（角度）の検出ができるようにしている。

いま、図４に点線の直線Ｄ０で示される水平方向の方向性を方向性０と呼び、図５に点線の直線Ｄ１で示す垂直方向の方向性を方向性１と呼ぶものとする。同様に、図６〜図１５にそれぞれ点線の直線Ｄ２〜Ｄ１１で示す方向性を方向性２〜方向性１１と呼ぶものとする。また、方向性ｋ（ｋ＝０、１、２、・・・、１１）を示す図４〜図１５における２４画素の画素配置は図３と同じであるが、その画素配置のうち、直線Ｄ０〜Ｄ１１の一方の側に配置されている〇で示す画素の係数を「１０」、他方の側に配置されている●で示す画素の係数を「−１０」とする。ただし、図６、図７では直線Ｄ２、Ｄ３上に位置する４画素をノーカウントにし、かつ、〇で示す画素の係数を「１２」、●で示す画素の係数を「−１２」とする。なお、直線Ｄ０〜Ｄ１１は、全て２４画素の配置の中心位置（補間画素ｏ０の位置）を通る。

上記の画素の係数をｃ_ｋ［ｎ］とし、２４個の各画素値をｙ［ｎ］とすると（ｎは図４〜図１５に示した各画素の番号）、次式

が方向性ｋにおいて最大になる場合、方向性ｋのエッジが存在すると考える。図２のステップＳ１では、方向性０〜１１について（１）式の演算を行い、微分作用素計算結果の絶対値ｘの最大値が得られる方向性を検出する。

続いて、上記の検出した方向性を示す微分作用素計算結果の絶対値ｘの最大値が所定値ｔｈ１未満であるかどうかを判定し（ステップＳ２）、上記の最大値がｔｈ１未満である場合は非エッジと判定し、線形補間を行う（ステップＳ３）。具体的には、
ｏ０＝(y[8]＋y[9]＋y[14]＋y[15])/４
ｏ１＝(y[8]＋y[9])/２
ｏ２＝(y[8]＋y[14])/２
ｏ３＝(y[9]＋y[15])/２
ｏ４＝(y[14]＋y[15])/２
のように、周辺に位置する４画素又は２画素の各画素値に基づいて補間画素ｏ０〜ｏ４の画素値（補間値）を計算する。

一方、上記のステップＳ２において、微分作用素計算結果の絶対値ｘの最大値が所定値ｔｈ１以上であると判定されたときは、その検出した方向性はエッジであると判定し、そのエッジとして判定された各方向性について場合分けして加重平均による補間値の候補値を計算する（ステップＳ４）。この補間値の候補値の計算においては、随所に線形補間も使用されるので、予め以下の関係を定めておく。

ｂｏ０＝(y[8]＋y[9]＋y[14]＋y[15])/４
ｂｏ１＝(y[8]＋y[9])/２
ｂｏ２＝(y[8]＋y[14])/２
ｂｏ３＝(y[9]＋y[15])/２
ｂｏ４＝(y[14]＋y[15])/２
ｔｈ２＝ｍａｘ(y[8],y[9],y[14],y[15])−ｍｉｎ(y[8],y[9],y[14],y[15])
また、最終的に制限される前の補間値の候補値の推定であるが、便宜上、候補値も補間値と同じｏ０，ｏ１，ｏ２，ｏ３，ｏ４という表現で記載する。

ここで、ｔｈ２は補間位置周辺の現画素のダイナミックレンジを意味し、以下の計算においてエッジ推定のエラーなどを防止するための場合分けに使用される。また、図４〜図１５に８，９，１４，１５で示した番号の画素は、補間値決定に重要な位置付けを占める“中央４画素”とし、ｙ［８］，ｙ［９］，ｙ［１４］，ｙ［１５］を“中央４画素値”と以下呼ぶことにする。

次に、各方向性０〜１１のそれぞれについて、その方向性を検出した場合の候補値の計算方法について説明する。

（１）方向性０をエッジの方向性と検出した場合
この場合は、図４に示した方向性０を示す直線Ｄ０が、ｏ０、ｏ２、ｏ３の補間画素の補間位置のみを通り、映像信号の予め設定した２４個の画素０〜２３の位置をいずれも通らないときであり、線形補間と同一の方法で補間値の候補値を計算する。よって、図４に示した方向性０におけるｏ０〜ｏ４の補間値の候補値は以下のようになる。

ｏ０＝ｂｏ０、ｏ１＝ｂｏ１、ｏ２＝ｂｏ２、ｏ３＝ｂｏ３、ｏ４＝ｂｏ４
（２）方向性１をエッジの方向性と検出した場合
この場合も、（１）と同様に図５に示した方向性１を示す直線Ｄ１が、ｏ０、ｏ１、ｏ４の補間画素の補間位置のみを通り、映像信号の２４個の画素０〜２３の位置をいずれも通らないときであり、線形補間と同一の方法で補間値の候補値を計算する。よって、図５に示した方向性１におけるｏ０〜ｏ４の補間値の候補値は以下のようになる。

ｏ０＝ｂｏ０、ｏ１＝ｂｏ１、ｏ２＝ｂｏ２、ｏ３＝ｂｏ３、ｏ４＝ｂｏ４
（３）方向性２をエッジの方向性と検出した場合
図６に示した方向性２におけるｏ０〜ｏ４の補間値の候補値のうち、ｏ１〜ｏ４については線形補間と同一の値とし、ｏ０については図６の方向性２を示す直線Ｄ２上に位置する画素９、１４の画素値ｙ［９］、ｙ［１４］を平均する。従って、この場合は以下のようになる。

ｏ０＝(ｙ[９]＋ｙ[１４])／２
ｏ１＝ｂｏ１、ｏ２＝ｂｏ２、ｏ３＝ｂｏ３、ｏ４＝ｂｏ４
（４）方向性３をエッジの方向性と検出した場合
図７に示した方向性３におけるｏ０〜ｏ４の補間値の候補値のうち、ｏ１〜ｏ４については線形補間と同一の値とし、ｏ０については図７の方向性３を示す直線Ｄ３上に位置する画素８、１５の画素値ｙ［８］、ｙ［１５］を平均する。従って、この場合は以下のようになる。

ｏ０＝(ｙ[８]＋ｙ[１５])／２
ｏ１＝ｂｏ１、ｏ２＝ｂｏ２、ｏ３＝ｂｏ３、ｏ４＝ｂｏ４
（５）方向性４をエッジの方向性と検出した場合
図８に示した方向性４におけるｏ０〜ｏ４のうち、中央にあるｏ０の補間値の候補値については方向性４を示す直線Ｄ４に近い４画素９、１０、１３、１４の画素値を平均して求める。ｏ２，ｏ３の補間値の候補値については補間位置を通る直線Ｄ４の平行線に近い補間位置近傍の３画素の画素値を平均して求める。但し、前記４画素９、１０、１３、１４のｏ０位置を挟む２組のペアについてどちらかの差の絶対値がｔｈ２を超えた場合は平均計算がエラーをもたらす確率が高いとして、方向性２と同一の演算を行う。従って、この場合は以下の式によりｏ０〜ｏ４の補間値の候補値を計算する。

ｏ０＝(ｙ[１３]＋ｙ[１４]＋ｙ[９]＋ｙ[１０])／４
ｏ１＝ｂｏ１
ｏ２＝(ｙ[９]＋ｙ[１３]＋ｙ[８])／３
ｏ３＝(ｙ[１０]＋ｙ[１４]＋ｙ[１５])／３
ｏ４＝ｂｏ４
if(abs(y[10]−y[9])＞th2||abs(y[13]−y[14])＞th2)
{ｏ０＝(y[9]＋y[14])/２;ｏ２＝ｂｏ２;ｏ３＝ｂｏ３}
（６）方向性５をエッジの方向性と検出した場合
図９に示した方向性５におけるｏ０〜ｏ４のうち、中央にあるｏ０の補間値の候補値については方向性５を示す直線Ｄ５に近い４画素７、８、１５、１６の画素値を平均して求める。ｏ２，ｏ３の補間値の候補値については補間位置を通る直線Ｄ５の平行線に近い補間位置近傍の３画素の画素値を平均して求める。但し、前記４画素７、８、１５、１６のｏ０位置を挟む２組のペアについてどちらかの差の絶対値がｔｈ２を超えた場合は平均計算がエラーをもたらす確率が高いとして、方向性３と同一の演算を行う。従って、この場合は以下の式によりｏ０〜ｏ４の補間値の候補値を計算する。

ｏ０＝(ｙ[７]＋ｙ[８]＋ｙ[１５]＋ｙ[１６])／４
ｏ１＝ｂｏ１
ｏ２＝(ｙ[７]＋ｙ[１４]＋ｙ[１５])／３
ｏ３＝(ｙ[８]＋ｙ[９]＋ｙ[１６])／３
ｏ４＝ｂｏ４
if(abs(y[7]−y[8])＞th2||abs(y[15]−y[16])＞th2)
{ｏ０＝(y[8]＋y[15])/２;ｏ２＝ｂｏ２;ｏ３＝ｂｏ３}
（７）方向性６をエッジの方向性と検出した場合
図１０に示した方向性６におけるｏ０〜ｏ４のうち、中央にあるｏ０の補間値の候補値については方向性６を示す直線Ｄ６に近い４画素４、９、１４、１９の画素値を平均して求める。ｏ１，ｏ４の補間値の候補値については補間位置を通る直線Ｄ６の平行線に近い補間位置近傍の３画素の画素値を平均して求める。但し、前記４画素４、９、１４、１９のｏ０位置を挟む２組のペアについてどちらかの差の絶対値がｔｈ２を超えた場合は平均計算がエラーをもたらす確率が高いとして、方向性２と同一の演算を行う。従って、この場合は以下の式によりｏ０〜ｏ４の補間値の候補値を計算する。

ｏ０＝(ｙ[４]＋ｙ[９]＋ｙ[１４]＋ｙ[１９])／４
ｏ１＝(ｙ[４]＋ｙ[８]＋ｙ[１４])／３
ｏ２＝ｂｏ２
ｏ３＝ｂｏ３
ｏ４＝(ｙ[９]＋ｙ[１５]＋ｙ[１９])／３
if(abs(y[4]−y[9])＞th2||abs(y[19]−y[14])＞th2)
{ｏ０＝(y[9]＋y[14])/２;ｏ１＝ｂｏ１;ｏ４＝ｂｏ４}
（８）方向性７をエッジの方向性と検出した場合
図１１に示した方向性７におけるｏ０〜ｏ４のうち、中央にあるｏ０の補間値の候補値については方向性７を示す直線Ｄ７に近い４画素３、８、１５、２０の画素値を平均して求める。ｏ１，ｏ４の補間値の候補値については補間位置を通る直線Ｄ７の平行線に近い補間位置近傍の３画素の画素値を平均して求める。但し、前記４画素３、８、１５、２０のｏ０位置を挟む２組のペアについてどちらかの差の絶対値がｔｈ２を超えた場合は平均計算がエラーをもたらす確率が高いとして、方向性３と同一の演算を行う。従って、この場合は以下の式によりｏ０〜ｏ４の補間値の候補値を計算する。

ｏ０＝(ｙ[３]＋ｙ[８]＋ｙ[１５]＋ｙ[２０])／４
ｏ１＝(ｙ[３]＋ｙ[９]＋ｙ[１５])／３
ｏ２＝ｂｏ２
ｏ３＝ｂｏ３
ｏ４＝(ｙ[８]＋ｙ[１４]＋ｙ[２０])／３
if(abs(y[3]−y[8])＞th2||abs(y[15]−y[20])＞th2)
{ｏ０＝(y[8]＋y[15])/２;ｏ１＝ｂｏ１;ｏ４＝ｂｏ４}
（９）方向性８をエッジの方向性と検出した場合
この場合は、図１２に示した方向性８を示す直線Ｄ８が、補間画素ｏ０〜ｏ４のうち補間画素ｏ０の位置を通るが、ｏ２、ｏ３には接しているので、実質上、ｏ０のみを通る場合である。この場合は、方向性８におけるｏ０〜ｏ４のうち、中央にあるｏ０の補間値の候補値については直線Ｄ８に近い４画素１０、１１、１２、１３の画素値を平均して求める。ｏ２，ｏ３の補間値の候補値については補間位置を通る直線Ｄ８の平行線に近い補間位置近傍の３画素の画素値を平均して求める。但し、前記４画素１０、１１、１２、１３のｏ０位置を挟む２組のペアのそれぞれについて、中央４画素値で直線Ｄ８近傍の直近のものとの差を計算し、差の絶対値がｔｈ２を超えた場合は平均計算がエラーをもたらす確率が高いとして、線形補間を行う。従って、この場合は以下の式によりｏ０〜ｏ４の補間値の候補値を計算する。

ｏ０＝(ｙ[１０]＋ｙ[１１]＋ｙ[１２]＋ｙ[１３])／４
ｏ１＝ｂｏ１
ｏ２＝(ｙ[８]＋ｙ[１０]＋ｙ[１２])／３
ｏ３＝(ｙ[１１]＋ｙ[１３]＋ｙ[１４])／３
ｏ４＝ｂｏ４
if(abs(y[10]−y[9])＞th2||abs(y[11]−y[9])＞th2)
||abs(y[12]−y[14])＞th2||abs(y[13]−y[14])＞th2)
{ｏ０＝ｂｏ０;ｏ２＝ｂｏ２;ｏ３＝ｂｏ３}
（１０）方向性９をエッジの方向性と検出した場合
この場合は、図１３に示した方向性９を示す直線Ｄ９が、補間画素ｏ０〜ｏ４のうち補間画素ｏ０の位置を通るが、ｏ２、ｏ３には接しているので、実質上、ｏ０のみを通る場合である。この場合は、図１３に示した方向性９におけるｏ０〜ｏ４のうち、中央にあるｏ０の補間値の候補値については直線Ｄ９に近い４画素６、７、１６、１７の画素値を平均して求める。ｏ２，ｏ３の補間値の候補値については補間位置を通る直線Ｄ９の平行線に近い補間位置近傍の３画素の画素値を平均して求める。但し、前記４画素６、７、１６、１７のｏ０位置を挟む２組のペアのそれぞれについて、中央４画素値で直線Ｄ９近傍の直近のものとの差を計算し、差の絶対値がｔｈ２を超えた場合は平均計算がエラーをもたらす確率が高いとして、線形補間を行う。従って、この場合は以下の式によりｏ０〜ｏ４の補間値の候補値を計算する。

ｏ０＝(ｙ[６]＋ｙ[７]＋ｙ[１６]＋ｙ[１７])／４
ｏ１＝ｂｏ１
ｏ２＝(ｙ[６]＋ｙ[１４]＋ｙ[１６])／３
ｏ３＝(ｙ[７]＋ｙ[９]＋ｙ[１７])／３
ｏ４＝ｂｏ４
if(abs(y[6]−y[8])＞th2||abs(y[7]−y[8])＞th2)
||abs(y[16]−y[15])＞th2||abs(y[17]−y[15])＞th2)
{ｏ０＝ｂｏ０;ｏ２＝ｂｏ２;ｏ３＝ｂｏ３}
（１１）方向性１０をエッジの方向性と検出した場合
この場合は、図１４に示した方向性１０を示す直線Ｄ１０が、補間画素ｏ０〜ｏ４のうち補間画素ｏ０の位置を通るが、ｏ１、ｏ４にはほぼ接しているので、実質上、ｏ１のみを通る場合である。この場合は、図１４に示した方向性１０におけるｏ０〜ｏ４のうち、中央にあるｏ０の補間値の候補値については直線Ｄ１０に近い４画素１、４、１９、２２の画素値を平均して求める。ｏ１，ｏ４の補間値の候補値については補間位置を通る直線Ｄ１０の平行線に近い補間位置近傍の３画素の画素値を平均して求める。但し、前記４画素１、４、１９、２２のｏ０位置を挟む２組のペアのそれぞれについて、中央４画素値で直線Ｄ１０近傍の直近のものとの差を計算し、差の絶対値がｔｈ２を超えた場合は平均計算がエラーをもたらす確率が高いとして、線形補間を行う。従って、この場合は以下の式によりｏ０〜ｏ４の補間値の候補値を計算する。

ｏ０＝(ｙ[１]＋ｙ[４]＋ｙ[１９]＋ｙ[２２])／４
ｏ１＝(ｙ[１]＋ｙ[８]＋ｙ[１９])／３
ｏ２＝ｂｏ２
ｏ３＝ｂｏ３
ｏ４＝(ｙ[４]＋ｙ[１５]＋ｙ[２２])／３
if(abs(y[1]−y[9])＞th2||abs(y[4]−y[9])＞th2)
||abs(y[19]−y[14])＞th2||abs(y[22]−y[14])＞th2)
{ｏ０＝ｂｏ０;ｏ１＝ｂｏ１;ｏ４＝ｂｏ４}
（１２）方向性１１をエッジの方向性と検出した場合
この場合は、図１５に示した方向性１１を示す直線Ｄ１１が、補間画素ｏ０〜ｏ４のうち補間画素ｏ０の位置を通るが、ｏ１、ｏ４には接しているので、実質上、ｏ０のみを通る場合である。この場合は、図１５に示した方向性１１におけるｏ０〜ｏ４のうち、中央にあるｏ０の補間値の候補値については直線Ｄ１１に近い４画素０、３、２０、２３の画素値を平均して求める。ｏ１，ｏ４の補間値の候補値については補間位置を通る直線Ｄ１１の平行線に近い補間位置近傍の３画素の画素値を平均して求める。但し、前記４画素０、３、２０、２３のｏ０位置を挟む２組のペアのそれぞれについて、中央４画素値で直線Ｄ１１近傍の直近のものとの差を計算し、差の絶対値がｔｈ２を超えた場合は平均計算がエラーをもたらす確率が高いとして、線形補間を行う。従って、この場合は以下の式によりｏ０〜ｏ４の補間値の候補値を計算する。

ｏ０＝(ｙ[０]＋ｙ[３]＋ｙ[２０]＋ｙ[２３])／４
ｏ１＝(ｙ[０]＋ｙ[９]＋ｙ[２０])／３
ｏ２＝ｂｏ２
ｏ３＝ｂｏ３
ｏ４＝(ｙ[３]＋ｙ[１４]＋ｙ[２３])／３
if(abs(y[0]−y[8])＞th2||abs(y[3]−y[8])＞th2)
||abs(y[20]−y[15])＞th2||abs(y[23]−y[15])＞th2)
{ｏ０＝ｂｏ０;ｏ１＝ｂｏ１;ｏ４＝ｂｏ４}
次に、上記のステップＳ４において、上記の（１）〜（１１）のいずれかの処理により求められた候補値ｏ０，ｏ１，ｏ２，ｏ３，ｏ４につき、周辺画素である中央４画素の画素値の最大値と最小値の範囲内の値に制限（リミット）したものを、図３にｏ０，ｏ１，ｏ２，ｏ３，ｏ４で示す補間位置の補間値（補間画素値）としてそれぞれ生成し、出力する（ステップＳ５）。

すなわち、このステップＳ５では、中央４画素の最大値ｍａｘ（ｙ［８］，ｙ［９］，ｙ［１４］．ｙ［１５］）と、中央４画素の最小値ｍｉｎ（ｙ［８］，ｙ［９］，ｙ［１４］，ｙ［１５］）との範囲内の値に制限した候補値を補間値として出力する。つまり、候補値ｏ０〜ｏ４のうち、上記最大値より大なる値の候補値は上記最大値に制限されて補間値として出力され、上記最小値より小なる値の候補値は上記最小値に制限されて補間値として出力され、上記最大値と最小値の範囲内の候補値は、その値がそのまま補間値として出力される。

ここで、上記の中央４画素の画素値の最大値と最小値の範囲内の値に制限する理由は、周囲の画素値によっては、制限を行わないと突出した補間値となり、ノイズ又はエイリアシング状に見えることがあるためである。

このように、本実施の形態によれば、従来よりも複雑な図３に示した配置の２４画素のオペレータを用いて、１２の方向性（角度）を持つ微分作用素で高解像度化対象の映像信号のエッジの方向性を検出し、検出したエッジの方向性に沿った複数の画素の加重平均から候補値を求め、その候補値のうち周辺画素である中央４画素の最大値と最小値の間に制限したものを補間値として生成するようにしたため、エラーが少なく高性能な斜め線補間を比較的簡単な計算処理で実現することができる。

なお、本発明は、ハードウェアの画像拡大処理に限定されるものでなく、コンピュータプログラムにより処理することもできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。また、上記の実施の形態では、検出する方向性の数は「１２」としたが、本発明は、この数に限定されるものではない。

本発明の一実施の形態のブロック図である。本発明の一実施の形態の要部の動作説明用フローチャートである。図２による補間処理の１回の処理単位における画素配置を示す図である。方向性０の微分作用素を示す図である。方向性１の微分作用素を示す図である。方向性２の微分作用素を示す図である。方向性３の微分作用素を示す図である。方向性４の微分作用素を示す図である。方向性５の微分作用素を示す図である。方向性６の微分作用素を示す図である。方向性７の微分作用素を示す図である。方向性８の微分作用素を示す図である。方向性９の微分作用素を示す図である。方向性１０の微分作用素を示す図である。方向性１１の微分作用素を示す図である。

符号の説明

１００映像信号処理装置
１０１第一マトリクス回路
１０２Ｙ用拡大処理部
１０３Ｃｂ用拡大処理部
１０４Ｃｒ用拡大処理部
１０５第二マトリクス回路

Claims

映像信号の画素値を補間して高解像度化する映像信号処理装置において、
複数の方向性を持つ微分作用素を、前記映像信号の補間時に用いる予め設定した複数の画素の画素値に施して、前記映像信号のエッジの方向性を検出する方向性検出手段と、
前記方向性検出手段により検出された前記エッジの方向性を示す直線が、複数の補間画素の補間位置のみを通り、前記予め設定した複数の画素の位置のいずれにも通らないときは、前記補間画素の候補値を、前記複数の画素のうち前記補間画素の周辺の画素の線形補間により生成し、前記直線が前記複数の補間画素のうち中心位置にある第１の補間画素の位置のみを通るときは、前記第１の補間画素の候補値を、前記複数の画素のうち前記直線の近傍位置にある２以上の画素の画素値を平均して生成すると共に、前記直線の平行線が通る位置にある第２の補間画素の候補値を、前記複数の画素のうち、前記平行線の近傍位置にある２以上の画素の画素値を平均して生成し、かつ、前記直線が通らない位置にある第３の補間画素の候補値を、前記複数の画素のうち前記第３の補間画素の周辺の画素の線形補間により生成する候補値生成手段と、
前記候補値生成手段により生成された前記候補値を、前記複数の画素のうち前記第１の補間画素の位置の上下左右にそれぞれ隣接する中央の４画素の画素値のうち最大値と最小値で制限して、この制限された候補値を補間画素の補間値として出力する補間値出力手段と
を有することを特徴とする映像信号処理装置。