JP2014033357A - 映像信号処理装置及び映像信号処理方法 - Google Patents

Abstract

【課題】入力時のフォーマットと異なる所定のフォーマットの色差信号を有するデジタル映像信号に復元するに際し、品位を落とすことなく、自然画であっても色差信号の解像度を向上させる。
【解決手段】垂直補間部１１、１２は、４：２：０信号中の色差信号Ｐb、Ｐrを、４：２：０信号中の輝度信号Ｙに応じた垂直補間を行う。垂直強調部１３、１４は、垂直補間後の色差信号Ｐb、Ｐrに対して垂直強調処理を行い、４：２：２フォーマットに変換された色差信号Ｐbを出力する。水平補間部１５、１６は、垂直補間及び垂直強調処理後の４：２：２フォーマットの色差信号Ｐb、Ｐrに対して、４：２：０信号中の輝度信号Ｙに応じた水平補間を行う。水平強調部１７、１８は、水平補間後の色差信号Ｐb、Ｐrに対して水平強調処理を行い、４：４：４フォーマットに変換された色差信号Ｐb、Ｐrを出力する。
【選択図】図１

Description

本発明は映像信号処理装置及び映像信号処理方法に係り、特に入力されたデジタル映像信号を補間して入力時のフォーマットと異なる所定のフォーマットの色差信号を有するデジタル映像信号に復元する映像信号処理装置及び映像信号処理方法に関する。

現在広く普及している高能率圧縮符号化方式であるＭＰＥＧ(Moving Picture Experts Group)方式では、４：２：２フォーマットあるいは４：４：４フォーマットの色差信号を有する非圧縮のデジタル映像信号を、動き補償によるフレーム間の時間的冗長度の削減と、ＤＣＴ（離散コサイン変換）によるフレーム内の空間的冗長度の削減と、可変長符号化による符号量削減とを組み合わせた画像圧縮により、一般には４：２：０フォーマットの色差信号を有する符号化デジタル映像信号を出力する。従って、ＭＰＥＧ方式の符号化デジタル映像信号を復号する復号化器では、供給される４：２：０フォーマットの色差信号を有する符号化デジタル映像信号を適切に補間し、４：２：２フォーマットあるいは４：４：４フォーマットの色差信号を有する非圧縮のデジタル映像信号に復元する。これにより、視聴者は復元された画像を通常の画像として見ることができる。

ここで、周知のように、上記の４：４：４フォーマットの色差信号を有するデジタル映像信号は、輝度信号Ｙと第１の色差信号Ｐbと第２の色差信号Ｐrとのサブサンプリング周波数がそれぞれ同一であり、１フレームのデータ量がＹ＝４、Ｐb＝４、Ｐr＝４の割合であるデジタル映像信号である。また、上記の４：２：２フォーマットの色差信号を有するデジタル映像信号は、輝度信号Ｙのサブサンプリング周波数に対して第１の色差信号Ｐbと第２の色差信号Ｐrの両サブサンプリング周波数がそれぞれ１／２倍であり、１フレームのデータ量がＹ＝４、Ｐb＝２、Ｐr＝２の割合であるデジタル映像信号である。

これに対し、上記の４：２：０フォーマットのデジタル映像信号は、縦・横の両方向それぞれ２画素の計４画素の輝度信号Ｙに対し、それら４画素の間に第１の色差信号Ｐb及び第２の色差信号Ｐrがそれぞれ１画素ずつ配置された画素構成で、色差信号Ｐb及びＰrそれぞれの画像水平方向及び画像垂直方向の各データ量が輝度信号Ｙのそれの１／２倍（すなわち、全体のデータ量は輝度信号の１／４倍）であるデジタル映像信号である。

ＭＰＥＧ方式の符号化デジタル映像信号を復号する復号化器では、供給される４：２：０フォーマットの色差信号を有する符号化デジタル映像信号（以下、単に「４：２：０信号」ともいう）を、４：２：２フォーマットの色差信号を有するデジタル映像信号（以下、単に「４：２：２信号」ともいう）に復元するために、従来は最も単純には、２つの色差信号Ｐb及びＰbの各画素に対して、それぞれ半画素分上側に位置する画素位置（２*ｉ,２*j）の輝度信号と同じ画素位置の色差画素として、また半画素分下側に位置する画素位置（２*ｉ,２*ｊ+１）の輝度信号と同じ画素位置の色差画素として、それぞれ上記色差信号Ｐb及びＰbの画素値を代入して補間する方法がある。しかし、この場合は、斜めの直線的な物体の輪郭がギザギサ状になるジャギーが目立つので、線形補間するのが一般的である。

また、上記の復号化器では、上記のようにして４：２：０信号から補間して生成した４：２：２信号を、４：４：４フォーマットの色差信号を有するデジタル映像信号（以下、単に「４：４：４信号」ともいう）に復元するために、生成した４：２：２信号の例えば画像の水平方向の奇数番目の画素位置に存在する色差画素をそのままその画素位置の色差画素とし、画像の水平方向の４：２：２信号では存在しない偶数番目の画素位置の色差画素として、その画素位置の左右に隣接する２つの色差信号の画素値の平均値とする方法があり、これにより、４：４：４信号を生成する。

しかしながら、上記の復号化器による補間方法では、単純に画素補間しているだけで、色差信号の解像度を向上させることはできない。そこで、例えば特許文献１には、ヒストグラム抽出部と、絵柄特徴抽出部と、データレート変換部とからなる構成により、４：２：０信号を色差信号の解像度が向上した４：４：４信号に変換する画像変換装置が開示されている。ここで、上記ヒストグラム抽出部は、４：２：０信号の輝度信号ブロック内のヒストグラムを抽出する。上記絵柄特徴抽出部は、ヒストグラム抽出部により抽出したヒストグラムの情報に基づいて、上記輝度信号ブロック内の輝度境界を検出し、輝度信号ブロックと同じデータレートの仮想色差信号ブロックに対して上記輝度境界と同じパターンの色差境界を設定して仮想色差信号ブロック内を領域毎に区分し、更に同じ領域は同じ値の画素データで統一する制御信号を生成する。上記データレート変換部は、４：２：０信号の色差信号ブロックを輝度信号ブロックと同じデータレートに変換して仮想色差信号ブロックに対応させ、上記制御信号に基づいて解像度を修正して４：４：４信号用の色差信号を生成する。この特許文献１記載の画像変換装置によれば、４：２：０信号用の色差信号が輝度信号の解像度に対応した４：４：４信号用の色差信号に変換されるため、色差信号に対する解像度が改善される。

特開２００９−２３９４８３号公報

しかしながら、上記の特許文献１記載の画像変換装置では、背景画像と文字との境界線が明瞭なテロップ信号のような信号では、抽出したヒストグラムが複数個所に明確に偏るため、その境界線部分の色差信号の解像度を向上させることができるが、自然画のような一般的な映像信号では、抽出したヒストグラムが複数個所に明確に偏らないために、色差信号の解像度を向上することはできない。

本発明は以上の点に鑑みなされたもので、入力時のフォーマットと異なる所定のフォーマットの色差信号を有するデジタル映像信号に復元するに際し、品位を落とすことなく、自然画であっても色差信号の解像度を向上させることができる映像信号処理装置及び映像信号処理方法を提供することを目的とする。

上記の目的を達成するため、本発明の映像信号処理装置は、供給される第１及び第２の色差信号のデータ量が輝度信号のデータ量より削減されたフォーマットの第１のデジタル映像信号を、輝度信号の輝度画素の座標位置に対応した座標位置に補間色差画素を含ませ、第１及び第２の色差信号のデータ量を増加させた第２のデジタル映像信号に変換処理する映像信号処理装置であって、
第１のデジタル映像信号の画像の垂直方向に隣接する４つの輝度画素と第１及び第２の色差信号の各２つの色差画素からなる第１の領域毎に、４つの輝度画素を含む第１の領域内の輝度信号のレベル変化比に基づいて算出したレベルで補間色差画素を補間生成する垂直補間、及び第１のデジタル映像信号の画像の水平方向に隣接する３つの輝度画素と第１及び第２の色差信号の各２つの色差画素からなる第２の領域毎に、３つの輝度画素を含む第２の領域内の輝度信号のレベル変化比に基づいて算出したレベルで補間色差画素を補間生成する水平補間のうち、両方の補間又はどちらか一方の補間を行う補間手段を有することを特徴とする。

ここで、上記の補間手段は、第１の領域毎に、第１の領域内の各２つの色差画素及び補間色差画素からなる第１及び第２の色差信号のレベル変化比が、４つの輝度画素を含む第１の領域内の輝度信号のレベル変化比と相似関係になるようなレベルで補間色差画素を補間生成する垂直補間、及び第２の領域毎に、第２の領域内の各２つの色差画素及び補間色差画素からなる第１及び第２の色差信号のレベル変化比が、３つの輝度画素を含む第２の領域内の輝度信号のレベル変化比と相似関係になるようなレベルで補間色差画素を補間生成する水平補間のうち、両方の補間又はどちらか一方の補間を行うことを特徴とする。

また、上記の補間手段は、上記の垂直補間及び水平補間を、輝度信号のレベル変化比を絶対値で処理することを特徴とする。また、上記の補間手段は、上記の垂直補間及び水平補間を、補間色差画素を含む第１及び第２の色差信号のレベル変化比が、輝度信号のレベル変化比にオフセット値を加算した値と相似関係になるレベルで補間色差画素を補間生成することを特徴とする。

また、本発明の映像信号処理装置は、供給される垂直補間及び水平補間の両方又はどちらか一方の補間処理された補間後デジタル映像信号の画像の水平方向及び垂直方向のどちらか一方向又は両方向に隣接する５画素以上の領域の各画素信号から領域の中心画素の高域信号を生成する手段であって、中心画素を注目画素として生成した第１の高域信号と、注目画素の両側に隣接する、上下左右方向の２方向のうち補間処理を行った方向に対応するどちらか一方向又は両方向の２つの隣接画素のそれぞれを中心画素として生成した複数の第２の高域信号と、を生成する高域信号生成手段と、注目画素の画素信号に第１の高域信号を付加した信号を振幅制限して、注目画素の領域における第１の輪郭補正候補値を生成する第１の輪郭補正候補値生成手段と、２つの隣接画素の各画素信号のそれぞれに、２つの隣接画素をそれぞれ中心画素として生成した２つの第２の高域信号を別々に付加した信号を振幅制限して、少なくとも２つの隣接画素の各領域における複数の第２の輪郭補正候補値を生成する第２の輪郭補正候補値生成手段と、第１及び第２の高域信号に基づいて、注目画素のサンプリング点が代表する範囲である注目画素領域内に第１の高域信号の値がゼロを示すゼロクロスポイントが存在するか否かを判定し、ゼロクロスポイントが存在する時は、注目画素領域におけるゼロクロスポイントの位置に応じた第１及び第２の輪郭補正候補値の置換の割合を示し、ゼロクロスポイントが存在しない時は第１の輪郭補正候補値で置換することを示すゼロクロス判定信号を生成するゼロクロス判定手段と、第１及び第２の輪郭補正候補値とゼロクロス判定信号とに基づいて、２つの隣接画素のうち一方の隣接画素の領域と注目画素領域との第１の境界からゼロクロスポイントの位置までは第１の輪郭補正候補値が出力され、かつ、ゼロクロスポイントの位置から２つの隣接画素のうち他方の隣接画素の領域と注目画素領域との第２の境界までは他方の隣接画素を中心画素として生成した第２の高域信号に基づく第２の輪郭補正候補値が出力されるべきものとみなした代表値を、注目画素の輪郭補正信号として置換して出力する置換信号生成手段とを備える強調手段を更に有することを特徴とする。

ここで、上記の高域信号生成手段は、水平補間処理された補間後デジタル映像信号が供給されるときは、画像の水平方向に隣接する５画素以上の領域のうち１画素置き毎の各画素信号から領域の中心画素の高域信号を生成する手段であって、中心画素を注目画素として生成した第１の高域信号と、注目画素の両側に隣接する、上下左右の２方向のうち補間処理を行った方向に対応するどちらか一方向又は両方向の２つの隣接画素のそれぞれを中心画素として生成した複数の第２の高域信号と、を生成するようにしてもよい。

また、上記の目的を達成するため、本発明の映像信号処理方法は、供給される第１及び第２の色差信号のデータ量が輝度信号のデータ量より削減されたフォーマットの第１のデジタル映像信号を、輝度信号の輝度画素の座標位置に対応した座標位置に補間色差画素を含ませ、第１及び第２の色差信号のデータ量を増加させた第２のデジタル映像信号に変換処理する映像信号処理方法であって、
第１のデジタル映像信号の画像の垂直方向に隣接する４つの輝度画素と第１及び第２の色差信号の各２つの色差画素からなる第１の領域毎に、４つの輝度画素を含む第１の領域内の輝度信号のレベル変化比に基づいて算出したレベルで補間色差画素を補間生成する垂直補間、及び第１のデジタル映像信号の画像の水平方向に隣接する３つの輝度画素と第１及び第２の色差信号の各２つの色差画素からなる第２の領域毎に、３つの輝度画素を含む第２の領域内の輝度信号のレベル変化比に基づいて算出したレベルで補間色差画素を補間生成する水平補間のうち、両方の補間又はどちらか一方の補間を行う補間ステップを含むことを特徴とする。

本発明によれば、入力時のフォーマットと異なる所定のフォーマットの色差信号を有するデジタル映像信号に復元するに際し、品位を落とすことなく、自然画であっても色差信号の解像度を向上させることができる。

本発明の映像信号処理装置の一実施の形態のブロック図である。 図１中の垂直補間部の一実施の形態のブロック図である。 ４：２：０信号の画像の垂直方向に並ぶ輝度画素及び色差画素の一例を示す図である。 図３に示す各画素のレベル対時間特性及び垂直補間される色差画素の一例を示す図である。 図１中の垂直強調部の動作の概要を説明する図である。 図１中の垂直強調部の一例のブロック図である。 図６の動作説明図である。 図６の垂直強調部の効果を説明するタイミングチャートである。 図１中の水平補間部の一実施の形態のブロック図である。 図９の水平補間部の動作を説明する４：２：２信号の画像の水平方向に並ぶ輝度画素及び色差画素の一例を示す図である。 図１０に示す各画素のレベル対時間特性及び水平補間される色差画素の一例を示す図である。 図１中の水平強調部の動作の概要を説明する図である。 図１中の水平強調部において１画素置きの色差画素から高域成分を抽出する理由を説明する図である。

次に、本発明の実施の形態について図面を参照して説明する。
図１は、本発明になる映像信号処理装置の一実施の形態のブロック図を示す。同図において、映像信号処理装置１０は、供給される４：２：０信号を、色差信号の解像度が従来に比べて向上した４：２：２信号及び４：４：４信号にそれぞれ変換処理して出力する装置で、垂直補間部１１及び１２と、垂直強調部１３及び１４と、水平補間部１５及び１６と、水平強調部１７及び１８とから構成される。

垂直補間部１１は、供給される４：２：０信号中の第１の色差信号Ｐbを、４：２：０信号中の輝度信号Ｙに応じた垂直補間を行う。一方、垂直補間部１２は、供給される４：２：０信号中の第２の色差信号Ｐrを、４：２：０信号中の輝度信号Ｙに応じた垂直補間を行う。垂直補間部１１及び１２は入力信号が異なるだけで構成は同一である。

垂直強調部１３は、垂直補間部１１から出力される垂直補間後の色差信号Ｐbに対して垂直強調処理を行い、４：２：２フォーマットに変換された色差信号Ｐbを出力する。垂直強調部１４は、垂直補間部１２から出力される垂直補間後の色差信号Ｐrに対して垂直強調処理を行い、４：２：２フォーマットに変換された色差信号Ｐrを出力する。垂直強調部１３及び１４は入力信号が異なるだけで構成は同一である。

水平補間部１５は、垂直強調部１３から出力される垂直補間及び垂直強調処理後の４：２：２フォーマットの色差信号Ｐbに対して、４：２：０信号中の輝度信号Ｙに応じた水平補間を行う。水平補間部１６は、垂直強調部１４から出力される垂直補間及び垂直強調処理後の４：２：２フォーマットの色差信号Ｐrに対して、４：２：０信号中の輝度信号Ｙに応じた水平補間を行う。水平補間部１５及び１６は入力信号が異なるだけで構成は同一である。

水平強調部１７は、水平補間部１５から出力される水平補間後の色差信号Ｐbに対して水平強調処理を行い、４：４：４フォーマットに変換された色差信号Ｐbを出力する。水平強調部１８は、水平補間部１５から出力される水平補間後の色差信号Ｐrに対して水平強調処理を行い、４：４：４フォーマットに変換された色差信号Ｐrを出力する。水平強調部１７及び１８は、入力信号が異なるだけで構成は同一である。

次に、本実施の形態の映像信号処理装置１０を構成する各構成ブロックについて、更に詳細に図面を参照して説明する。

図２は、垂直補間部１１（又は１２）の一実施の形態のブロック図を示す。垂直補間部１１及び１２は、４：２：０信号中の輝度信号Ｙのレベルの変化比と同じレベル変化比の色差信号Ｐb及びＰrを生成する。いま、供給される４：２：０信号の画像の垂直方向の各画素が、図３に示すように座標表現され（図３では、画像の垂直方向の６つの輝度画素を丸で、１組２つで計３組の色差画素を星印で示す）、図４のレベル対時間特性図に示すように、輝度画素Ｙ０、Ｙ１、Ｙ２及びＹ３、各組の色差画素Ｃａ、Ｃｂの各レベルが変化するものとする。垂直補間部１１及び１２は、画像の垂直方向に隣接する図３の４つの輝度画素Ｙ０〜Ｙ３と色差信号Ｐb及びＰrの各２つの色差画素Ｃａ及びＣｂとからなる領域内の輝度画素Ｙ０とＹ１から輝度画素の仮想点Ｙａを求め、輝度画素Ｙ２とＹ３から輝度画素の仮想点Ｙｂを求める。そして、垂直補間部１１及び１２は、原則的にはＹａ−Ｙ１−Ｙ２−Ｙｂのレベル変化比と、Ｃａ−Ｃ１−Ｃ２−Ｃｂのレベル変化比とが相似関係になるようなレベルの色差画素Ｃ１、Ｃ２を求める。

ただし、この場合は２つの問題がある。第１の問題は、輝度画素Ｙ１及びＹ２のレベルが、仮想点Ｙａ及びＹｂの各レベル間のレベル範囲外にある場合は、生成される色差画素Ｃ１、Ｃ２のレベルが元の画像に無いような値となって不自然な画像になることがあることである。第２の問題は、本来同じ画像なのに、ノイズの影響等で、輝度画素のレベルが例えばＹａ＝１０、Ｙｂ＝１１、Ｙ１＝１０だったり、Ｙａ＝１０、Ｙｂ＝１１、Ｙ１＝１１だったりすることを考えると、前者の場合はＣ１＝Ｃａとなり、後者の場合はＣ１＝Ｃｂとなり、ＣａとＣｂの差が大きいと、色境界の位置の変動が目立ってしまうことである。

そこで、本実施の形態の垂直補間部１１及び１２では、上記の第１の問題に対応するため、輝度画素のレベル変化比を絶対値で処理し、求める色差画素Ｃ１、Ｃ２が色差画素Ｃａ及びＣｂの中間値に収まるようにする。すなわち、
(Ca−C1)：(C1−Cb)＝Abs(Ya−Y1)：Abs(Y1−Yb) （１）
のようにする。ただし、（１）式中、Abs()は、カッコ内の値の絶対値を示す（以下、同様）。

また、本実施の形態の垂直補間部１１及び１２では、上記の第２の問題に対応するため、レベル変化が小さいときに通常補間に近づくように、固定値のオフセットＯＦＳを追加する。ただし、この場合、オフセット値はＣ１用とＣ２用とで異なる。オフセット値は色差画素Ｃ１を求める場合の輝度画素Ｙ１とＹａ、Ｙｂとの間の画素間距離、色差画素Ｃ２を求める場合の輝度画素Ｙ２とＹａ、Ｙｂとの間の画素間距離に応じて設定される。この結果、本実施の形態の垂直補間部１１及び１２は、色差画素のレベル比を下記のように設定する。

(Ca−C1)：(C1-Cb)＝(Abs(Ya−Y1)＋OFS)：(Abs(Y1−Yb)＋3*OFS) (2a)
(Ca−C2)：(C2-Cb)＝(Abs(Ya−Y2)＋3*OFS)：(Abs(Y2−Yb)＋OFS) (2b)
図２に戻って説明する。上記の垂直補間処理を行うため、図２に示す垂直補間部１１（又は１２）の縦続接続された３つの１垂直走査期間遅延部（１Ｌ ＤＬ）１１１ａ、１１１ｂ及び１１１ｃは、４：２：０信号中の輝度信号Ｙを順次に１垂直走査期間ずつ遅延する。

加算器１１２ａは、１Ｌ ＤＬ１１１ａから出力される計３垂直走査期間遅延された４：２：０信号中の輝度信号（図３のＹ０に相当）と、１Ｌ ＤＬ１１１ｂから出力される計２垂直走査期間遅延された４：２：０信号中の輝度信号（図３、図４のＹ１に相当）とを、それぞれ１／２の係数を乗算後に加算し（つまり、平均値を算出し）、第１の補間輝度信号（図３、図４の仮想点Ｙａに相当）を出力する。また、加算器１１２ｂは、４：２：０信号中の非遅延輝度信号(図３、図４のＹ３に相当)と１Ｌ ＤＬ１１１ｃから出力される１垂直走査期間遅延された輝度信号（図３、図４のＹ２に相当）とを、それぞれ１／２の係数を乗算後に加算し（つまり、平均値を算出し）、第２の補間輝度信号（図３、図４の仮想点Ｙｂに相当）を出力する。

差分絶対値演算部１１３ａは加算器１１２ａから出力される第１の補間輝度信号（Ｙａ）と１Ｌ ＤＬ１１１ｂから出力される計２垂直走査期間遅延された４：２：０信号中の輝度信号（Ｙ１）との差分絶対値を算出する。また、差分絶対値演算部１１３ｂは加算器１１２ｂから出力された第２の補間輝度信号（Ｙｂ）と上記１Ｌ ＤＬ１１１ｂから出力される輝度信号（Ｙ１）との差分絶対値を算出する。

比例按分部１１６ａは、加算器１１４ａにおいて差分絶対値演算部１１３ａから出力された差分絶対値にオフセットＯＦＳを加算して得られた値（Abs(Ya−Y1)＋OFS）と、加算器１１４ｂにおいて差分絶対値演算部１１３ｂから出力された差分絶対値にオフセット（３＊ＯＦＳ）を加算して得られた値（Abs(Y1−Yb)＋3*OFS）とをそれぞれ比例按分用信号として受け、４：２：０信号中の色差信号Ｐb（又はＰr）と、その色差信号Ｐb（又はＰr）を２垂直走査期間遅延部（２Ｌ ＤＬ）１１５で２垂直走査期間遅延した色差信号を比例按分して第１の垂直補間色差信号を出力する。

すなわち、比例按分部１１６ａは、加算器１１４ａ、１１４ｂからそれぞれ供給される比例按分用信号の値をｍ，ｎとし、２Ｌ ＤＬ１１５の入力である４：２：０信号中の色差信号Ｐb（又はＰr）の値をＡ、２Ｌ ＤＬ１１５の出力色差信号Ｐb（又はＰr）の値をＢとしたとき、（ｍ*Ａ＋ｎ*Ｂ）／（ｍ＋ｎ）で表される比例按分値を算出して第１の垂直補間色差信号を出力する。上記の値Ａの色差画素と値Ｂの色差画素は、４：２：０信号中の画像の垂直方向に隣接する２つの色差画素である。第１の垂直補間色差信号の画素は、４：２：０信号中の色差信号の入力画素（サブサンプリング点）に対して１／２画素分画面上の座標位置にある輝度画素と同じ座標位置にある補間色差画素である。

一方、差分絶対値演算部１１３ｃは加算器１１２ａから出力される第１の補間輝度信号（Ｙａ）と１Ｌ ＤＬ１１１ｃから出力される１垂直走査期間遅延された４：２：０信号中の輝度信号（Ｙ２）との差分絶対値を算出する。また、差分絶対値演算部１１３ｄは加算器１１２ｂから出力された第２の補間輝度信号（Ｙｂ）と上記１Ｌ ＤＬ１１１ｃから出力される輝度信号（Ｙ２）との差分絶対値を算出する。

比例按分部１１６ｂは、加算器１１４ｃにおいて差分絶対値演算部１１３ｃから出力された差分絶対値にオフセット（３＊ＯＦＳ）を加算して得られた値（Abs(Ya−Y2)＋3*OFS）と、加算器１１４ｄにおいて差分絶対値演算部１１３ｄから出力された差分絶対値にオフセットＯＦＳを加算して得られた値（Abs(Y2−Yb)＋OFS）とをそれぞれ比例按分用信号として受け、４：２：０信号中の色差信号Ｐb（又はＰr）と、その色差信号Ｐb（又はＰr）を２Ｌ ＤＬ１１５で２垂直走査期間遅延した色差信号を、比例按分部１１６ａと同様の比例按分をして第２の垂直補間色差信号を出力する。この第２の垂直補間色差信号の画素は、４：２：０信号中の色差信号の入力画素（サブサンプリング点）に対して１／２画素分画面下の座標位置にある輝度画素と同じ座標位置にある補間色差画素である。

１垂直走査期間遅延部（１Ｌ ＤＬ）１１７は、比例按分部１１６ｂから出力された第２の垂直補間色差信号を１垂直走査期間遅延してスイッチ回路１１８へ出力する。スイッチ回路１１８は、比例按分部１１６ａから出力された第１の垂直補間色差信号と、比例按分部１１６ｂから出力されて１Ｌ ＤＬ１１７で１垂直走査期間遅延された第２の垂直補間色差信号とを、１ライン期間（１垂直走査期間）毎に交互に選択して、４：２：２フォーマットの垂直補間色差信号Ｐb（又はＰr）として出力する。

ここで、４：２：０信号中の色差信号Ｐb及びＰrが、例えば図３の座標位置（2*i，2*j+0.5）にある色差画素Ｃbであるものとすると、その色差画素Ｃbの１／２画素分上の座標位置（2*i，2*j）にある補間色差画素Ｃ２を示す第１の補間色差信号は、色差信号Ｐbの場合、４：２：０信号中の図３に示す画像の垂直方向の４つの輝度画素Ｙ０〜Ｙ３を用いて次式で表される。

Pb(2*i,2*j)＝［Pb(2*i,2*j+0.5)*{Abs(Ya-Y(2*i,2*j))+3*OFS}+Pb(2*i,2*j-1.5)
*{Abs(Y(2*i,2*j)-Yc)+OFS}／[Abs(Ya-Y(2*i,2*j))+Abs(Y(2*i,2*j)-Yc)+4*OFS] (3)
ただし、（３）式中、Ya＝{Y(2*i,2*j-2)+Y(2*i,2*j-1)}/2、
Yc＝{Y(2*i,2*j)+Y(2*i,2*j+1)}/2
また、色差画素Ｃbの１／２画素分下の座標位置（2*i，2*j+1）にある補間色差画素Ｃ１を示す第２の補間色差信号は、色差信号Ｐbの場合、４：２：０信号中の図３に示す画像の垂直方向の４つの輝度画素Ｙ２〜Ｙ５を用いて次式で表される。

Pb(2*i,2*j+1)＝［Pb(2*i,2*j+2.5)*{Abs(Yb-Y(2*i,2*j+1))+OFS}+Pb(2*i,2*j+0.5)
*{Abs(Y(2*i,2*j+1)-Yd)+3*OFS}／[Abs(Yb-Y(2*i,2*j+1))
+Abs(Y(2*i,2*j+1)-Yd)+4*OFS] (4)
ただし、（４）式中、Yb＝{Y(2*i,2*j)+Y(2*i,2*j+1)}/2、
Yd＝{Y(2*i,2*j+2)+Y(2*i,2*j+3)}/2
なお、色差信号Ｐrの垂直補間も上記の色差信号Ｐbの垂直補間と同様の式により行えるので、説明は省略する。

次に、図１の垂直強調部１３及び１４について説明する。垂直強調処理はどのような方式を採用しても構わないが、ここではジャギーエッジを抑えるため、本発明者が特願２０１１−１０５７８９にて提案した輪郭補正処理を垂直強調処理として行うものとして説明する。垂直強調部１３は垂直補間部１１により垂直補間された色差信号Ｐbに対して垂直強調処理を行い、垂直強調部１４は垂直補間部１２により垂直補間された色差信号Ｐrに対して垂直強調処理を行う。垂直補間部１１及び１２の上述した垂直補間により、４：２：０フォーマットの色差信号は４：２：２フォーマットの信号形式になるが、解像度をより４：２：２信号に近づけるためには垂直強調処理が必要である。この垂直強調部１３及び１４の垂直強調処理の概要について図５と共に説明する。

４：２：２信号において、画像の垂直方向に並ぶ或る５つの色差画素Ｃ０〜Ｃ４の各レベルが図５（Ａ）に示すものとし、また、色差画素Ｃ１〜Ｃ３のそれぞれの高域成分のレベルを図５（Ｂ）にＨＣ１〜ＨＣ３で示すものとする。なお、図５（Ａ）、（Ｂ）において、縦軸はレベル、横軸は時間を示す。

色差画素Ｃ０〜Ｃ４の中央に位置する色差画素Ｃ２について垂直強調処理を行うものとすると、第１段階（Ｓｔｅｐ１）の処理では、色差画素Ｃ０〜Ｃ４の各レベルの最大値をＭａｘ、最小値をＭｉｎとし、色差画素Ｃ２の値にＧ＊ＨＣ２を加算した値をＧＣ２とする（ただし、Ｇは適切に設定したゲイン）。そして、最大値Ｍａｘ、最小値Ｍｉｎ及びＧＣ２のうち中央値をＳｔｅｐ１の処理後の色差画素Ｃ２の値とする。これにより、色差画素Ｃ２の値は図５（Ａ）にＣ２’で示すものとなる。

そして、第２段階（Ｓｔｅｐ２）の処理において、次式
｛（ＨＣ１＋ＨＣ２）／２｝＊｛（ＨＣ２＋ＨＣ３）／２｝
の値が負（このとき、ＨＣ２の点の近傍に高域成分のゼロクロスポイントが存在）のときのみ、次の式の通り色差画素Ｃ２の値を補正し、垂直強調処理された色差画素値とする。

Ｃ２＝[C1*Abs{(HC1＋HC2)/2}＋C3*Abs{(HC2＋HC3)/2}]
/[Abs{(HC1＋HC2)/2}＋Abs{(HC2＋HC3)/2}] (5)
ただし、（５）式中、Ｃ１、Ｃ３はＳｔｅｐ１で処理後の値。

次に、上記の垂直強調処理について更に詳細に説明する。
図６は、垂直強調部１３（１４）の一例のブロック図を示す。垂直強調部１３及び１４は同一構成であり、図６に示すように、垂直補間部１１、１２からの４：２：２信号中の色差信号の入力端子に対して直列に接続された６つの遅延素子２１〜２６と、上限検出部３１、４１及び５１と、高域フィルタ（以下、ＨＰＦ）３２、４２及び５２と、下限検出部３３、４３及び５３と、乗算器３４、４４及び５４と、加算器３５、４５及び５５と、最大値選択部（以下、ＭＡＸ）３６、４６及び５６と、最小値選択部（以下、ＭＩＮ）３７、４７及び５７と、ゼロクロス判定部６１と、置換信号生成部６２とを有する構成とされている。

遅延素子２１〜２６の各々は、入力デジタル色差信号のサンプリング周期に等しい遅延時間τだけ、入力信号を遅延する回路で、例えばＤ型フリップフロップにより構成される。上限検出部３１、４１及び５１は、入力される５つのデジタル色差信号（これは画像の水平方向に隣接する５つの色差画素の画素値である）から上限値を検出する。下限検出部３３、４３及び５３は、入力される５つのデジタル色差信号（これは画像の水平方向に隣接する５つの色差画素の画素値である）から下限値を検出する。ＨＰＦ３２、４２及び５２は、入力される５つのデジタル色差信号（これは画像の水平方向に隣接する５つの色差画素の画素値である）から高域成分を生成するデジタルフィルタである。

上限検出部３１、ＨＰＦ３２及び下限検出部３３からなる回路部は、遅延されていない入力デジタル色差信号と、遅延素子２１〜２４からそれぞれτ、２τ、３τ、及び４τ遅延されて出力される４つの遅延デジタル色差信号とからなる５つのデジタル色差信号（これは画像の水平方向に隣接する計５つの色差画素の画素値である）が供給される。

上限検出部３１は、５つの入力デジタル色差信号の値のうち最大値を上限値として検出するが、ノイズ抑制を目的に、上限検出部３１は、５つの入力デジタル色差信号の値のうち２番目に大きい値を上限値として出力する設定も可能である（他の上限検出部４１、５１も同様）。一方、下限検出部３３は、５つの入力デジタル色差信号の値のうち最小値を下限値として検出するが、ノイズ抑制を目的に、下限検出部３３は、５つの入力デジタル色差信号の値のうち２番目に小さい値を下限値として出力する設定も可能である（他の下限検出部４３、５３も同様）。ＨＰＦ３２は、５つの入力デジタル色差信号から高域信号を生成する５タップのデジタルフィルタである。すなわち、ＨＰＦ３２は、遅延素子２２から出力されるデジタル色差信号の画素を注目画素としたとき、その注目画素を中心とする左右各２画素ずつの計５画素から高域信号を生成する。

乗算器３４は、ＨＰＦ３２から出力される高域信号と、外部から入力されるゲイン係数（例えば、「２」）とを乗算して乗算信号を生成する。加算器３５は、上記の５つの入力デジタル色差信号の各色差画素のうち中心位置の注目画素を出力する遅延素子２２からの遅延デジタル色差信号と乗算器３４からの乗算信号とを加算して加算信号を生成する。ＭＡＸ３６は、下限検出部３３により検出された下限値の信号と加算器３５からの加算信号とのうち、値が大きい方の信号を選択してＭＩＮ３７へ出力する。このＭＡＸ３６によって、加算信号におけるアンダーシュートの部分が除去される。ＭＩＮ３７は、上限検出部３１により検出された上限値の信号とＭＡＸ３６からの信号とのうち、値が小さい方の信号を選択して出力する。このＭＩＮ３７によって、ＭＡＸ３６からの信号におけるオーバーシュートの部分が除去される。

従って、ＭＡＸ３６及びＭＩＮ３７は、加算器３５からの加算信号を、上限検出部３１による上限値と下限検出部３３による下限値との間で振幅制限する振幅制限手段として動作している。ＭＩＮ３７は、振幅制限信号を第１の輪郭補正候補値として置換信号生成部６２へ出力する。この第１の輪郭補正候補値は、入力される５つの色差画素のデジタル色差信号のうち中心画素である遅延素子２２から出力されるデジタル色差信号（画素信号）に比べて、傾斜の中心付近の傾きがゲイン係数に応じた急峻なエッジとなり、シュート部分が付加されることなく輪郭補正された信号である。

上限検出部４１、ＨＰＦ４２及び下限検出部４３からなる回路部は、遅延素子２１〜２５からそれぞれτ、２τ、３τ、４τ及び５τ遅延されて出力される５つの遅延デジタル色差信号が供給される。上限検出部４１、ＨＰＦ４２、下限検出部４３、乗算器４４、加算器４５、ＭＡＸ４６及びＭＩＮ４７からなる第２の回路部は、上記の上限検出部３１、ＨＰＦ３２、下限検出部３３、乗算器３４、加算器３５、ＭＡＸ３６及びＭＩＮ３７からなる第１の回路部の上述した動作と同様の動作を、第１の回路部の５つの入力デジタル色差信号よりも１サンプリング周期遅延された５つの入力デジタル色差信号に対して行って生成した第２の輪郭補正候補値をＭＩＮ４７から置換信号生成部６２へ出力する。

上限検出部５１、ＨＰＦ５２及び下限検出部５３からなる回路部は、遅延素子２２〜２６からそれぞれ２τ、３τ、４τ、５τ及び６τ遅延されて出力される５つの遅延デジタル色差信号が供給される。上限検出部５１、ＨＰＦ５２、下限検出部５３、乗算器５４、加算器５５、ＭＡＸ５６及びＭＩＮ５７からなる第３の回路部は、上記の上限検出部３１、ＨＰＦ３２、下限検出部３３、乗算器３４、加算器３５、ＭＡＸ３６及びＭＩＮ３７からなる第１の回路部の上述した動作と同様の動作を、第１の回路部の５つの入力デジタル色差信号よりも２サンプリング周期遅延された５つの入力デジタル色差信号に対して行って生成した第３の輪郭補正候補値をＭＩＮ５７から置換信号生成部６２へ出力する。

ゼロクロス判定部６１は、ＨＰＦ３２、ＨＰＦ４２及びＨＰＦ５２からそれぞれ出力される、注目画素とその左右に隣接する各１画素の計３画素の高域信号から２つの隣接画素の各々で注目画素の半分を置換すべき第１の割合Ｒａ１及び第２の割合Ｒａ２を示すゼロクロス判定信号を置換信号生成部６２へ出力する。ここで、上記の第１の割合Ｒａ１は、注目画素の左半分の画素値を注目画素の左側に隣接する隣接画素１の輪郭補正候補値で置換する割合を示す。また、上記の第２の割合Ｒａ２は、注目画素の右半分の画素値を注目画素の右側に隣接する隣接画素２の輪郭補正候補値で置換する割合を示す。なお、上記の第１の割合Ｒａ１は、注目画素の領域の左半分の領域内にゼロクロスポイントが存在しないときは「０」とされ、注目画素の左半分の画素値を注目画素の輪郭補正候補値で置換させる。同様に、上記の第２の割合Ｒａ２は、注目画素の領域の右半分の領域内にゼロクロスポイントが存在しないときは「０」とされ、注目画素の右半分の画素値を注目画素の輪郭補正候補値で置換させる。

ゼロクロス判定部６１は以下の点に着目してゼロクロス判定を行う。例えば、図７に示すように、隣接画素１の高域信号の値がｕ、注目画素の高域信号の値がｖ、隣接画素２の高域信号の値がｗであり、注目画素の領域の右半分の領域内に値「０」であるゼロクロスポイントｚが存在する場合、値ｖと値ｗとを結ぶ線分と注目画素の領域の右側端部との交点の値は（ｖ＋ｗ）／２となり、注目画素の高域信号の値ｖと符号が逆になる。従って、ｖ×{(ｖ＋ｗ)／２}の値は負となり、ｖ×(ｖ＋ｗ)の値も負となる。一方、注目画素の領域の左半分の領域内にはゼロクロスポイントが存在しておらず、ｖ×（ｖ＋ｕ）の値は正の値となる。

ここで、上記の割合Ｒａ１及びＲａ２について更に説明する。図７の例の場合、注目画素の高域信号の値の絶対値|ｖ|と、白丸で示した交点の値の絶対値|(ｖ＋ｗ)／２|との比率は、注目画素の右半分の領域における、ゼロクロスポイントｚの左右の期間Ｔ１、Ｔ２の比率を示している。本実施の形態では、注目画素の右半分の領域のうち、注目画素の領域の中心からゼロクロスポイントｚまでの領域Ｔ１の画素値は注目画素の輪郭補正候補値で代表し、ゼロクロスポイントｚから注目画素の右側端部（注目画素の領域と隣接画素２の領域との境界）までの領域Ｔ２の画素値は隣接画素２の輪郭補正候補値で代表するようにするため、上記の割合Ｒａ２を算出する。ここでは、図７において三角形の相似から分かるように、上記の割合Ｒａ２は
Ｒａ２＝|(ｖ＋ｗ)／２|／｛|ｖ|＋|(ｖ＋ｗ)／２|｝ （６）
で表わされる。ゼロクロス判定部６１は、|(ｖ＋ｗ)／２|で表わされる乗算信号を、｛|ｖ|＋|(ｖ＋ｗ)／２|｝で表わされる加算信号で除算して、（６）式で表わされる割合Ｒａ２を出力する。

図６に戻って説明する。置換信号生成部６２は、ゼロクロス判定部６１からの割合Ｒａ１及び割合Ｒａ２を示すゼロクロス判定信号と、ＭＩＮ３７、ＭＩＮ４７及びＭＩＮ５７からそれぞれ出力される計３つの輪郭補正候補値とに基づいて以下の処理を行う。

まず、ゼロクロスポイントが存在するときは、注目画素の領域の左側端部（隣接画素１の領域と注目画素の領域との境界）からゼロクロスポイントまでの領域の画素値は隣接画素１の輪郭補正候補値で代表し、ゼロクロスポイントから注目画素の右側端部（注目画素の領域と隣接画素２の領域との境界）までの領域の画素値は隣接画素２の輪郭補正候補値で代表する置換を行う。

一方、ゼロクロスポイントが存在しない時は、注目画素の輪郭補正候補値で置換する。以上の処理によって垂直強調部１３、１４は、画素の置換がなされた信号を、１次元の輪郭補正された、すなわち垂直強調処理された色差信号として出力する。すなわち、置換信号生成部６２は、注目画素の画素値が次式で表わされる置換による代表値を示す輪郭補正信号を出力する。

置換による代表値＝{Ｒａ１×ＭＩＮ３７の出力＋(１−Ｒａ１)×ＭＩＮ４７の出力
＋Ｒａ２×ＭＩＮ５７の出力＋(１−Ｒａ２)×ＭＩＮ４７の出力}／２ (7)
（７）式中、ＭＩＮ３７の出力、ＭＩＮ４７の出力、ＭＩＮ５７の出力は、第１、第２、第３の輪郭補正候補値である。また、ＭＩＮ４７から出力される第２の輪郭補正候補値は注目画素の輪郭補正候補値でもある。

次に、このような垂直強調処理がジャギーエッジを抑制するものであることについて、図８のタイミングチャートと共に説明する。

図８（Ａ）に示す台形状の入力信号は、図６の遅延素子２３から出力される遅延デジタル色差信号である。本実施形態の垂直強調部１３、１４では、この入力信号（遅延デジタル色差信号）の色差画素を中心とする左右各２つの色差画素計５色差画素のデジタル色差信号（遅延素子２１〜２５の各出力デジタル色差信号）に基づいてＨＰＦ４２により図８（Ｂ）に示す高域信号が出力される。また、ＭＩＮ４７からは図８（Ｃ）に示す第２の輪郭補正候補値が出力される。

ゼロクロス判定部６１は、図８（Ｂ）に示す注目画素の高域信号と、ＨＰＦ３２、５２からそれぞれ出力される隣接画素の高域信号とに基づいて、図８（Ｂ）にｄ１、ｄ２で示すゼロクロスポイントの位置を推定する。そして、置換信号生成部６２は、図８（Ｃ）に示すように第２の輪郭補正候補値中のゼロクロス推定位置ｄ１、ｄ２を領域内に有する注目画素（サンプルポイントの値）ｅ１、ｅ２の値を、割合Ｒａ１及びＲａ２と３つの輪郭補正候補値とに基づき、図８（Ｄ）に示す値ｆ１、ｆ２に置換し、それを輪郭補正信号として出力する。

同様に、垂直強調部１３、１４は、図８（Ａ）に示した入力信号よりも１サンプル期間以下の位相ずれを持つ入力信号が入力された場合、置換信号生成部６２は、図８（Ｅ）に示す第２の輪郭補正候補値中のゼロクロス推定位置を領域内に有する注目画素（サンプルポイントの値）ｅ３、ｅ４の値を、割合Ｒａ１及びＲａ２と３つの輪郭補正候補値とに基づき、図８（Ｆ）に示す値ｆ３、ｆ４に置換し、それを輪郭補正信号として出力する。

図８（Ｄ）、（Ｆ）に示すように、本実施の形態の垂直強調部１３、１４から出力される２つの輪郭補正信号の位相差は、入力信号の位相差と概略等しいことが分かる。従って、色差画像のジャギーエッジは抑制される。

次に、図１の水平補間部１５及び１６について説明する。

図９は、水平補間部１５（又は１６）の一実施の形態のブロック図を示す。水平補間部１５及び１６は供給される４：２：２信号中の色差信号Ｐb及びＰrに対して、４：４：４信号と同じ座標位置にある色差信号はそのままの画素値を用い、異なる座標位置にある色差信号は画像の水平方向に隣接する２つの色差画素の画素値を用いて補間生成する。

いま、水平補間部１５及び１６に供給される４：２：２信号の画像の水平方向の各画素が、図１０に示すように座標表現され（図１０では、画像の水平方向の６つの輝度画素を丸で示し、３つの色差画素を星印で示す）、図１１のレベル対時間特性図に示すように、輝度画素Ｙ０、Ｙ１及びＹ２と、色差画素Ｃ０、Ｃ１及びＣ２の各レベルが変化するものとする。なお、図１０及び図１１のＹ０〜Ｙ２、Ｃ１、Ｃ２は便宜上図示したものであり、図３及び図４のＹ０〜Ｙ２、Ｃ１、Ｃ２とは無関係である。水平補間部１５及び１６は、供給される４：２：２信号の画像の水平方向に隣接する図１０に示す３つの輝度画素Ｙ０〜Ｙ２と色差信号Ｐb及びＰrの各２つの色差画素Ｃ０、Ｃ２とからなる領域において、原則的には図１１に示すＹ０−Ｙ１−Ｙ２のレベル変化比と、Ｃ０−Ｃ１−Ｃ２のレベル変化比とが相似関係になるようなレベルの色差画素Ｃ１を求める。

ただし、この場合は２つの問題がある。第１の問題は、輝度画素Ｙ１のレベルが、輝度画素Ｙ０及びＹ２の各レベル間のレベル範囲外にある場合は、生成される色差画素Ｃ１のレベルが元の画像に無いような値となって不自然な画像になることがあることである。第２の問題は、本来同じ画像なのに、ノイズの影響等で、輝度画素のレベルが例えばＹ０＝１０、Ｙ２＝１１、Ｙ１＝１０だったり、Ｙ０＝１０、Ｙ２＝１１、Ｙ１＝１１だったりすることを考えると、前者の場合はＣ１＝Ｃ０となり、後者の場合はＣ１＝Ｃ２となり、Ｃ０とＣ２のレベル差が大きいと、色境界の位置の変動が目立ってしまうことである。

そこで、本実施の形態の水平補間部１５及び１６では、上記の第１の問題に対応するため、輝度信号のレベル変化比を以下の式に示すように絶対値で処理し、色差画素Ｃ１が色差画素Ｃ０と色差画素Ｃ２の中間値に収まるようにする。

(C0−C1)：(C1−C2)＝Abs(Y0−Y1)：Abs(Y1−Y2) （８）
また、本実施の形態の水平補間部１５及び１６では、上記の第２の問題に対応するため、輝度画素のレベル変化が小さいときに通常補間に近づくように固定値のオフセットを追加する。この場合、オフセットの値を垂直補間部１１及び１２におけるオフセットの値と同じＯＦＳを使用するとして、水平補間部１５及び１６は、
(C0−C1)：(C1−C2)＝(Abs(Y0−Y1)＋2*OFS)：(Abs(Y1−Y2)＋2*OFS) (9)
なる式で表されるような色差画素Ｃ１を補間生成する。なお、（９）式では、バランスを考え、オフセットの合計値を垂直補間と同じ（４＊ＯＦＳ）としている。以上の水平補間処理により、色差画素Ｃ１は図１１に白三角印で示す値に補間生成される。

図９に戻って説明する。上記の水平補間処理を行うため、図９に示す水平補間部１５（又は１６）の縦続接続された２つの１サンプル期間遅延部（１Ｔ ＤＬ）１５１ａ及び１５１ｂは、４：２：２信号中の輝度信号Ｙを順次に１サンプル期間Ｔずつ遅延する。

差分絶対値演算部１５２ａは、１Ｔ ＤＬ１５１ａから出力される計２サンプル期間遅延された４：２：２信号中の輝度信号（図１０、図１１のＹ０に相当）と、１Ｔ ＤＬ１５１ｂから出力される１サンプル期間遅延された４：２：２信号中の輝度信号（図１０、図１１のＹ１に相当）との差分絶対値Abs(Y0-Y1)を算出する。また、差分絶対値演算部１５２ｂは、４：２：２信号中の非遅延輝度信号(図１０、図１１のＹ２に相当)と１Ｔ ＤＬ１５１ｂから出力される１サンプル期間遅延された輝度信号との差分絶対値Abs(Y1-Y2)を算出する。

比例按分部１５６は、加算器１５３ａにおいて差分絶対値演算部１５２ａから出力された差分絶対値にオフセット（２＊ＯＦＳ）を加算して得られた値（Abs(Y0−Y1)＋2*OFS）と、加算器１５３ｂにおいて差分絶対値演算部１５２ｂから出力された差分絶対値にオフセット（２＊ＯＦＳ）を加算して得られた値（Abs(Y1−Y2)＋2*OFS）とをそれぞれ比例按分用信号として受け、４：２：２信号中の色差信号Ｐb（又はＰr）と、その色差信号Ｐb（又はＰr）を２サンプル期間遅延部（２Ｔ ＤＬ）１５５で２サンプル期間遅延した色差信号を比例按分して水平補間色差信号を出力する。すなわち、比例按分部１５６は、加算器１５３ａ、１５３ｂからそれぞれ供給される比例按分用信号の値をｍ，ｎとし、２Ｔ ＤＬ１５５の入力である４：２：２信号中の色差信号Ｐb（又はＰr）の値をＸ、２Ｔ ＤＬ１５５の出力遅延色差信号Ｐb（又はＰr）の値をＹとしたとき、（ｍ*Ｘ＋ｎ*Ｙ）／（ｍ＋ｎ）で表される比例按分値を算出して水平補間色差信号を出力する。上記の値Ｘの色差画素と値Ｙの色差画素は、４：２：２信号中の画像の水平方向に隣接する２つの色差画素である。水平補間色差信号の画素は、４：２：２信号中の色差信号の水平方向に隣接する２つの画素（サブサンプリング点）の中間の座標位置にある輝度画素と同じ座標位置にある補間色差画素である。

１サンプル期間遅延部（１Ｔ ＤＬ）１５４は、垂直強調部１３（又は１４）から供給される４：２：２信号中の色差信号Ｐb（又はＰr）を１サンプル期間遅延してスイッチ回路１５７へ供給する。スイッチ回路１５７は、１Ｔ ＤＬ１５４で遅延された色差信号Ｐb（又はＰr）と、比例按分部１５６からの水平補間色差信号とを、１サンプル期間毎に交互に選択して、４：４：４フォーマットの垂直補間色差信号Ｐb（又はＰr）として出力する。

これにより、水平補間部１５、１６は、供給される４：２：２信号中の色差信号Ｐb及びＰrから、図１０の座標位置（2*i+1，y）にある輝度画素Ｙ１と同じ座標位置の色差画素Ｃ１を水平補間により次式により生成する。

Pb(2*i+1,y)＝[Pb(2*i,y)*{Abs(Y(2*i+1,y)-Y(2*i+2,y))+2*OFS}＋Pb(2*i+2,y)
*{Abs(Y(2*i,y)-Y(2*i+1,y))+2*OFS}]／[Abs(Y(2*i+1,y)−Y(2*i+2,y))
＋Abs(Y(2*i,y)-Y(2*i+1,y))＋4*OFS] (10)
なお、色差信号Ｐrについても、上記の色差信号Ｐbの水平補間の式と同様の式により水平補間がされるので、その説明は省略する。このようにして、水平補間部１５及び１６は、水平補間により４：４：４フォーマットの色差信号Ｐb及びＰrを生成して出力する。

次に、図１の水平強調部１７及び１８について説明する。水平強調部１７は水平補間部１５により水平補間された色差信号Ｐbに対して水平強調処理を行い、水平強調部１８は水平補間部１６により水平補間された色差信号Ｐrに対して水平強調処理を行う。水平補間部１７及び１８の上述した水平補間により、４：２：２フォーマットの色差信号は４：４：４フォーマットの信号形式になるが、解像度をより４：４：４信号に近づけるためには水平強調処理が必要である。この水平強調部１７及び１８の水平強調処理の概要について説明する。

水平強調処理も垂直強調処理と同様にどのような方式を採用してもよいが、ここでは垂直強調と同様の方式を採用するものとする。ただし、水平強調部は垂直強調部に比較し、高域抽出方法で工夫がある。

４：４：４信号において、画像の水平方向に並ぶ或る５つの色差画素Ｃ０〜Ｃ４の各レベルが図１２（Ａ）に示すものとし、また、色差画素Ｃ１〜Ｃ３のそれぞれの高域成分のレベルを図１２（Ｂ）にＨＣ１〜ＨＣ３で示すものとする。なお、図１２（Ａ）、（Ｂ）において、縦軸はレベル、横軸は時間を示す。なお、図１２中のＣ０〜Ｃ４、ＨＣ１〜ＨＣ３は、図５中のＣ０〜Ｃ４、ＨＣ１〜ＨＣ３と符号が同じであるが、それぞれ同じ信号ではない。

色差画素Ｃ０〜Ｃ４の中央に位置する色差画素Ｃ２について水平強調処理を行う場合は、図５と共に説明した垂直強調処理と同様である。すなわち、水平強調部１７及び１８は、垂直強調部１３及び１４と同様に第１段階（Ｓｔｅｐ１）で隣接する複数の色差画素の中心位置の注目画素の高域成分にゲインＧを乗算した値と、複数の色差画素の最大値及び最小値のうちの中央値を注目画素の処理後の値として算出し、第２段階（Ｓｔｅｐ２）で注目画素の高域成分の近傍にゼロクロスポイントが存在するかを判定し、存在するときに注目画素の処理後の値を所定の式により演算補正する。ただし、図１２（Ｂ）中のＨＣ２等の高域成分については、図５（Ｂ）に示した垂直強調処理時の高域成分の求め方と異なる求め方が好ましい。

すなわち、垂直強調処理の場合、垂直強調される各色差画素は同等条件の垂直補間された色差信号の画素なので、連続する複数の色差画素から高域成分ＨＣ２等を求める方法は前述の方法でよい。しかし、水平強調処理の場合、供給される色差信号は水平補間された色差画素と、水平補間されていない元の入力色差画素とが画像の水平方向に交互に並んでいるため、垂直強調処理とは事情が異なる。

不自然な水平強調になるのを防ぐため、水平強調部１７及び１８では、画像の水平方向に並ぶ色差画素のうち、１つおきの色差画素から高域成分を抽出する。例えば、高域成分ＨＣ２は次式により抽出される。

ＨＣ２＝Ｃ２−（Ｃ０＋２＊Ｃ２＋Ｃ４）／４ (11)
次に、水平強調に用いる色差信号の高域成分は１つおきの色差画素から抽出する理由について図１３と共に更に説明する。水平強調部１７及び１８に供給される水平補間後の４：４：４信号中の色差信号では、水平補間された色差画素と、水平補間されていない元の入力色差画素とが画像の水平方向に交互に並んでいるため、画像の水平方向に並ぶ或る５つの色差画素のレベルが、図１３（Ａ）に黒丸で示す色差画素Ｃ０〜Ｃ４のようなレベル関係になる場合が考えられる。なお、図１３（Ａ）、（Ｂ）において縦軸がレベル、横軸が時間を示す。

このとき、強調ゲインを極端に大きくして、画像の水平方向に並ぶ５つの色差画素に対して垂直強調の場合と同じ第１段階（Ｓｔｅｐ１）の処理をすると、色差画素Ｃ２、Ｃ３のレベルが図１３（Ａ）にＣ２’、Ｃ３’で示すように変化し、不適切なリンギングが発生する。これにより、画像の水平方向に並ぶ５つの色差画素から高域成分を抽出すると、図１３（Ｂ）に黒三角印で示すように不自然な変化をする。

これに対し、画像の水平方向に並ぶ色差画素のうち１つ置きの色差画素（Ｃ０、Ｃ２、Ｃ４、あるいはＣ１、Ｃ３、図示しないＣ５）に対して垂直強調の場合と同じ第１段階（Ｓｔｅｐ１）の処理をすると、色差画素Ｃ２、Ｃ３のレベルが図１３（Ａ）にＣ２”、Ｃ３”で示すように変化しリンギングが発生しない。このため、（１１）式に示したように、１つ置きの３つの色差画素Ｃ０、Ｃ２、Ｃ４から高域成分ＨＣ２を発生すると、図１３（Ｂ）に白三角印で示すように、色差画素のレベル変化に対応した自然な変化をする。

このように、水平強調部１７及び１８は、入力される色差信号の画像の水平方向に並ぶ色差画素のうち１つ置きの３つの色差画素から高域成分を抽出することにより、水平補間されていない元の色差画素同士、又は水平補間された色差画素同士から高域成分を抽出することができるため、不自然な強調を避けることができる。

このように、本実施の形態の映像信号処理装置１０によれば、４：２：０信号に対して色差信号を補間して４：２：２信号及び４：４：４信号に変換処理するに際し、輝度信号の隣接サンプル点とのレベル変化比率と同様なレベル変化比率を色差信号が持つように垂直補間及び水平補間処理をするようにしたため、自然画のような一般的に映像信号に対しても色差信号の解像度を従来に比べて向上させることができる。また、本実施の形態の映像信号処理装置１０によれば、上記のレベル変化比率を絶対値として処理すること、及びレベル変化比率に対してオフセットを付加することにより、画質劣化を防ぐことができる。更に、本実施の形態の映像信号処理装置１０によれば、垂直強調処理、水平強調処理によりエッジ強調を行っており、また、４：４：４信号に対して行う水平強調処理においては画像の水平方向に並ぶ色差画素のうち１つ置きの色差画素の高域成分を抽出して水平強調処理を行うことで誤強調を防止することができる。

なお、本発明者の実験によれば、映像信号処理装置１０において、オフセットＯＦＳの値を「３」、ゲインＧの値を「１」の条件で変換処理をした４：４：４信号は、供給される４：２：０信号に比較して色差信号の解像度が十分良好であることが確認された。なお、オフセットＯＦＳの値を大きくすると通常補間に近づき、小さくするとエラーが多くなる。一方、ゲインＧの値は小さいと解像度改善効果が小さく、大きいとその分画質の品位の劣化が大きくなる。従って、オフセットＯＦＳの値及びゲインＧの値は上記の例に限定されるものではなく、希望の解像度などに応じて適切な値に設定される。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば、垂直補間部１１及び１２と垂直強調部１３及び１４とからなる構成により４：２：０信号を４：２：２信号に変換する映像信号処理装置や、水平補間部１５及び１６と水平強調部１７及び１８とからなる構成により４：２：２信号を４：４：４信号に変換する映像信号処理装置も本発明に含まれる。

また、本発明は以上説明した映像信号処理装置の動作を実行させる映像信号処理方法や、コンピュータのソフトウェアにより実行される映像信号処理プログラムも包含するものである。

１０ 映像信号処理装置
１１、１２ 垂直補間部
１３、１４ 垂直強調部
１５、１６ 水平補間部
１７、１８ 水平強調部
２１〜２６ 遅延素子
３１、４１、５１ 上限検出部
３２、４２、５２ 高域フィルタ（ＨＰＦ）
３３、４３、５３ 下限検出部
３４、４４、５４ 乗算器
３５、４５、５５、１１２ａ、１１２ｂ、１１４ａ〜１１４ｄ、１５３ａ、１５３ｂ 加算器
３６、４６、５６ 最大値選択部（ＭＡＸ）
３７、４７、５７ 最小値選択部（ＭＩＮ）
６１ ゼロクロス判定部
６２ 置換信号生成部
１１１ａ〜１１１ｃ、１１７ １垂直走査期間遅延部（１Ｌ ＤＬ）
１１３ａ〜１１３ｄ、１５２ａ、１５２ｂ 差分絶対値演算部
１１５ ２垂直走査期間遅延部（２Ｌ ＤＬ）
１１６ａ、１１６ｂ、１５６ 比例按分部
１１８、１５７ スイッチ回路
１５１ａ、１５１ｂ、１５４ １サンプル期間遅延部（１Ｔ ＤＬ）
１５５ ２サンプル期間遅延部（２Ｔ ＤＬ）

Claims (7)

1. 供給される第１及び第２の色差信号のデータ量が輝度信号のデータ量より削減されたフォーマットの第１のデジタル映像信号を、輝度信号の輝度画素の座標位置に対応した座標位置に補間色差画素を含ませ、前記第１及び第２の色差信号のデータ量を増加させた第２のデジタル映像信号に変換処理する映像信号処理装置であって、
   前記第１のデジタル映像信号の画像の垂直方向に隣接する４つの輝度画素と前記第１及び第２の色差信号の各２つの色差画素からなる第１の領域毎に、前記４つの輝度画素を含む前記第１の領域内の輝度信号のレベル変化比に基づいて算出したレベルで前記補間色差画素を補間生成する垂直補間、及び前記第１のデジタル映像信号の画像の水平方向に隣接する３つの輝度画素と前記第１及び第２の色差信号の各２つの色差画素からなる第２の領域毎に、前記３つの輝度画素を含む前記第２の領域内の輝度信号のレベル変化比に基づいて算出したレベルで前記補間色差画素を補間生成する水平補間のうち、両方の補間又はどちらか一方の補間を行う補間手段を有することを特徴とする映像信号処理装置。
2. 前記補間手段は、
   前記第１の領域毎に、前記第１の領域内の前記各２つの色差画素及び前記補間色差画素からなる第１及び第２の色差信号のレベル変化比が、前記４つの輝度画素を含む前記第１の領域内の輝度信号のレベル変化比と相似関係になるようなレベルで前記補間色差画素を補間生成する垂直補間、及び前記第２の領域毎に、前記第２の領域内の前記各２つの色差画素及び前記補間色差画素からなる第１及び第２の色差信号のレベル変化比が、前記３つの輝度画素を含む前記第２の領域内の輝度信号のレベル変化比と相似関係になるようなレベルで前記補間色差画素を補間生成する水平補間のうち、両方の補間又はどちらか一方の補間を行うことを特徴とする請求項１記載の映像信号処理装置。
3. 前記補間手段は、
   前記垂直補間及び前記水平補間を、前記輝度信号のレベル変化比を絶対値で処理することを特徴とする請求項２記載の映像信号処理装置。
4. 前記補間手段は、
   前記垂直補間及び前記水平補間を、前記補間色差画素を含む前記第１及び第２の色差信号のレベル変化比が、前記輝度信号のレベル変化比にオフセット値を加算した値と相似関係になるレベルで前記補間色差画素を補間生成することを特徴とする請求項３記載の映像信号処理装置。
5. 供給される前記垂直補間及び前記水平補間の両方又はどちらか一方の補間処理された補間後デジタル映像信号の画像の水平方向及び垂直方向のどちらか一方向又は両方向に隣接する５画素以上の領域の各画素信号から前記領域の中心画素の高域信号を生成する手段であって、前記中心画素を注目画素として生成した第１の高域信号と、前記注目画素の両側に隣接する上下左右の２方向のうち前記補間処理を行った方向に対応するどちらか一方向又は両方向の２つの隣接画素のそれぞれを前記中心画素として生成した複数の第２の高域信号と、を生成する高域信号生成手段と、
   前記注目画素の画素信号に前記第１の高域信号を付加した信号を振幅制限して、前記注目画素の領域における第１の輪郭補正候補値を生成する第１の輪郭補正候補値生成手段と、
   前記２つの隣接画素の各画素信号のそれぞれに、前記２つの隣接画素をそれぞれ中心画素として生成した２つの前記第２の高域信号を別々に付加した信号を振幅制限して、少なくとも前記２つの隣接画素の各領域における複数の第２の輪郭補正候補値を生成する第２の輪郭補正候補値生成手段と、
   前記第１及び第２の高域信号に基づいて、前記注目画素のサンプリング点が代表する範囲である注目画素領域内に前記第１の高域信号の値がゼロを示すゼロクロスポイントが存在するか否かを判定し、前記ゼロクロスポイントが存在する時は、前記注目画素領域における前記ゼロクロスポイントの位置に応じた前記第１及び第２の輪郭補正候補値の置換の割合を示し、前記ゼロクロスポイントが存在しない時は前記第１の輪郭補正候補値で置換することを示すゼロクロス判定信号を生成するゼロクロス判定手段と、
   前記第１及び第２の輪郭補正候補値と前記ゼロクロス判定信号とに基づいて、前記２つの隣接画素のうち一方の隣接画素の領域と前記注目画素領域との第１の境界から前記ゼロクロスポイントの位置までは前記第１の輪郭補正候補値が出力され、かつ、前記ゼロクロスポイントの位置から前記２つの隣接画素のうち他方の隣接画素の領域と前記注目画素領域との第２の境界までは前記他方の隣接画素を前記中心画素として生成した前記第２の高域信号に基づく前記第２の輪郭補正候補値が出力されるべきものとみなした代表値を、前記注目画素の輪郭補正信号として置換して出力する置換信号生成手段と
   を備える強調手段を更に有することを特徴とする請求項１乃至４のうちいずれか一項記載の映像信号処理装置。
6. 前記高域信号生成手段は、前記水平補間処理された補間後デジタル映像信号が供給されるときは、画像の水平方向に隣接する５画素以上の領域のうち１画素置き毎の各画素信号から前記領域の中心画素の高域信号を生成する手段であって、前記中心画素を注目画素として生成した第１の高域信号と、前記注目画素の両側に隣接する、上下左右方向の２方向のうち前記補間処理を行った方向に対応するどちらか一方向又は両方向の２つの隣接画素のそれぞれを前記中心画素として生成した複数の第２の高域信号と、を生成することを特徴とする請求項５記載の映像信号処理装置。
7. 供給される第１及び第２の色差信号のデータ量が輝度信号のデータ量より削減されたフォーマットの第１のデジタル映像信号を、前記輝度信号の輝度画素の座標位置に対応した座標位置に補間色差画素を含ませ、前記第１及び第２の色差信号のデータ量を増加させた第２のデジタル映像信号に変換処理する映像信号処理方法であって、
   前記第１のデジタル映像信号の画像の垂直方向に隣接する４つの輝度画素と前記第１及び第２の色差信号の各２つの色差画素からなる第１の領域毎に、前記４つの輝度画素を含む前記第１の領域内の輝度信号のレベル変化比に基づいて算出したレベルで前記補間色差画素を補間生成する垂直補間、及び前記第１のデジタル映像信号の画像の水平方向に隣接する３つの輝度画素と前記第１及び第２の色差信号の各２つの色差画素からなる第２の領域毎に、前記３つの輝度画素を含む前記第２の領域内の輝度信号のレベル変化比に基づいて算出したレベルで前記補間色差画素を補間生成する水平補間のうち、両方の補間又はどちらか一方の補間を行う補間ステップを含むことを特徴とする映像信号処理方法。