JP2012074990A - 半導体装置 - Google Patents

Abstract

【課題】プログレッシブ画像の色差データの解像度が向上するようにＩＰ変換を行なうことが可能な半導体装置を提供すること。
【解決手段】動き検出部１０４は、輝度データの動きベクトルを検出する。色差遅延部１０３は、色差データを遅延させることによって、補間対象の画素の色差データを生成するときの参照範囲の色差データを生成する。画素補間部１０５は、動き検出部１０４によって検出された動きベクトルを参照して、色差遅延部１０３によって生成された参照範囲の色差データから補間対象の画素の色差データを生成する。このとき、色差データを補間する画素位置に動きベクトルが存在しない場合には、最も近い動きベクトルを参照して動き補償補間を行なう。したがって、プログレッシブ画像の色差データの解像度を向上させることができる。
【選択図】図１

Description

本発明は、飛び越し走査（Interlace）の映像信号を順次走査（Progressive）の映像信号に変換する技術に関し、特に、動き補償補間を用いてＩＰ変換を行なう半導体装置に関する。

従来、動きの多い映像を放送する機会が多いテレビ放送においては、インタレース方式が採用されてきた。一方、近年登場した液晶テレビやプラズマテレビなどのフラットパネルディスプレイは、高いクロック周波数を持つため、プログレッシブ方式でテレビ放送が再現できるようになった。

しかしながら、既存の画像コンテンツとしてはインタレース方式のものが多数存在し、また、ディジタルハイビジョン放送などで使用される多くの放送系の画像がインタレース方式であることから、これらのインタレース画像をプログレッシブ画像に変換するＩＰ変換装置が必要となる。

ＩＰ変換装置が扱う入力画像の属性として、上述の走査方式（インタレース／プログレッシブ）や画像サイズの他に、色フォーマットがある。多くの画像においては、色差データを間引いた４：２：２または４：２：０の色フォーマットが採用されている。ＩＰ変換装置においては、いずれの色フォーマットに対しても効率よく処理を行なうことが要求される。

ＩＰ変換においては、高画質のプログレッシブ画像を生成するための手法として様々なものが提案されており、大きく、フィールド内補間、動き適応補間、動き補償補間の３つに分類される。

フィールド内補間は、インタレース形式の１枚のフィールド画像に対し、そのフィールド内の画素情報のみを用いて欠落しているラインの画素を補間する方法であり、リピート補間、平均値補間などに分類される。リピート補間は、すぐ上のラインの画素をリピートすることにより補間する方法であり、平均値補間は、上下のラインの画素の平均値で補間する方法である。

また、エッジ境界における画質劣化を防ぐために、絵柄からエッジを検出して適応的に補間する方法も提案されている。しかしながら、フィールド内補間には、原理的に垂直方向に１／２に間引かれた情報しか用いることができないという制約があるため、得られる画質レベルは一般的に３つのＩＰ変換手法の中で最も低い。

動き適応補間は、複数フィールドに亘る画素データの解析により画像の動きを検出し、適応的に補間を行なう手法である。動き検出のために参照するフィールドは、補間対象フィールドの前後のフィールドを含む数フィールドであるのが一般的である。

よく知られている動き適応補償では、ある補間位置において動きが検出された場合にはフィールド内補間を行ない、動きが検出されなかった場合には前フィールドの同じ位置の画素または前後フィールドの同じ位置の画素の平均値などで補間を行なう。

この方法によれば、画像の静止部分に対しては完全に欠落情報を復元することができるが、動きのある部分に対してはフィールド内補間と同じ解像度しか得られない。また、容易に想像されるように、動き適応補間により生成されるプログレッシブ画像の全体的な画質は動き検出の精度に大きく依存する。

誤った動き検出に基づく補間が行なわれた場合、絵柄のエッジが櫛状に見えるコーミングと呼ばれる妨害や、フリッカなどの妨害が現れることが知られている。そのため、動き検出には様々な手法が提案されている。また、動き検出の確からしさを元に混合比を算出し、その値を用いてフィールド内補間による画素値とフィールド間補間による画素値とを混合して最終的な画素値を生成する手法も一般的である。

このように、動き適応補間により概ねフィールド内補間よりも良好な画質を得られるが、動き検出の処理コストは一般的に大きい。そのコストを削減するために、動き検出においては画像の輝度データのみを用いて行ない、その結果を色差データの補間にも適用する、または色差データは常にフィールド内補間を行なうといった手法もある。これは、人間の目が相対的に輝度より色差に対する分解能が低いという事実を利用したものであるが、コストと性能とのトレードオフになる。

動き補償補間は、動き適応補間のように単に動きの有無を検出するだけではなく、動きの方向と大きさ、すなわち動きベクトルを求めることによって、動きのある部分に対してもフィールド間補間で解像度を向上させようとする手法である。

動き補償補間では、ある補間位置において動きベクトルを検出できなかった場合はフィールド内補間による補間を行なう。また、動きベクトルを検出できた場合は静止している場合も含めて、前フィールドから動きベクトルにより動きを補償した画素、または前後フィールドからそれぞれ動き補償した画素の平均値などで補間を行なう。

動き補償補間において、動きベクトルを探索する範囲を探索範囲またはサーチウィンドウと呼ぶ。上述の動き適応補間は、サーチウィンドウの大きさを０としたときの動き補償補間と考えることもできる。

動き補償補間によれば、動きのある部分に対してもフィールド間補間により解像度を向上させることができるので、一般的には３つのＩＰ変換手法の中では最も高画質なプログレッシブ画像が得られる。しかしながら、動き適応補間と同様に、その性能は動き検出の精度に大きく依存し、また動き検出の処理コストは動き適応補間のそれに比べて大幅に増える。

これらに関連する技術として、下記の特許文献１〜５に開示された発明がある。
特許文献１は、画像信号のＩＰ変換やフォ−マット変換を行う信号処理回路を提供することを目的とする。飛び越し走査系の画像信号を順次走査系の信号に変換するＩＰ変換では、サブナイキスト標本化した信号系列で補間処理を実行する。また、画像信号のフォ−マット変換では、飛び越し走査系の画像信号はＩＰ変換で順次走査系の信号に変換し、この信号に対して、まず水平方向の拡大縮小のスケ−リング処理を行なう。次に垂直方向のスケ−リング処理では、メモリの動作制御で、拡大縮小やフレ−ムレ−ト変換や同期整合などの処理を併せて行なう。そして、最後に色空間変換や逆γ処理を行い、所定のフォ−マットの画像信号に変換する。

特許文献２は、ＩＰ変換時に動いている部分でも動き補償により静止とみなしてフィールド補間を行うことができる画像信号処理装置およびその方法を提供することを目的とする。１フィールド遅延のデータに対して動き補償を行なった現フィールドのデータと１フィールド遅延のデータに対して動き補償を行った２フィールド遅延のデータとの差の絶対値による動き量をあらわす関数を定め、動き検出を行ないたいピクセルＲと同じ位置の現フィールドのピクセルＡと２フィールド遅延の同じ位置のピクセルＤ同士のデータの動き量を求める。さらに、１フィールド前のピクセルＲの１ライン上の１フィールド遅延のピクセルＢと３フィールド遅延の同じ位置のピクセルＥ同士のデータの動き量と、ピクセルＲの１ライン下の１フィールド遅延のピクセルＣと３フィールド遅延の同じ位置のピクセルＦ同士のデータの動き量を得て、これらの動き量を使って動き検出を行なう。

特許文献３は、面積・コストの増大を招いていた動きベクトル検出回路を約半分の規模に縮小し、高画質化の性能改善を図った順次走査変換装置を提供することを目的とする。順次走査変換装置は、偶数ライン動きベクトル検出器と、奇数ライン動き相関検出器と、両者からの相関を比較し一方を選択する相関判定部と、偶数ライン動きベクトル検出器からのベクトル検出信号に基づき映像信号の出力フィールドに隣り合うフィールドを用いて補間処理する動きベクトル補間回路とを有する。さらに、映像信号の出力フィールド内の信号を用いて補間処理するフィールド内適応補間回路と、選択部の選択に応じてベクトル補間出力またはフィールド内適応補間信号を選択するセレクタと、セレクタからの信号に応じてライン倍速変換するライン倍速変換部とを有する。

特許文献４は、４：２：０のインタレース信号を４：２：２のインタレース信号へ変換する時、従来は色差信号の補間処理を垂直方向に対してのみ行ない、補間色差信号を生成していたために、垂直解像度を改善するのが困難であったという問題点を解決することを目的とする。４：２：０のインタレース信号を４：２：２のインタレース信号へ変換する時、輝度信号を用いて斜め方向の相関を検出し、その検出結果を用いて、色差信号の補間を斜め方向についても行なう。これにより、色差信号の画質向上を図ると共に、ＭＰＥＧデコード画像（４：２：０）で発生する色差信号のブロックノイズを削減しつつ、４：２：２の信号への変換を行なうことができる。

特許文献５は、動き補償型走査変換において、実際の動きとは異なる動きベクトルが検出された際にも画像の劣化を抑制した高画質な主走査変換を実現することを目的とする。インタレース信号を順次走査画像信号に変換する主走査変換装置において、フィールド間補間信号を生成する静止画用補間部と、フィールド内補間信号を生成する動画用補間部と、動きベクトルを検出する動きベクトル検出部と、補強信号を生成する補強信号生成部と、補強信号をフィールド内補間信号に加算して補強されたフィールド内補間信号を生成する補強信号加算部とを備える。さらに、動き量を検出する動き検出部と、動き量に応じてフィールド内補間信号とフィールド間補間信号との加算比を切り替えて動き適応補間信号を生成する動き適応加算部と、インタレース信号および動き適応補間信号の時間軸圧縮および時系列並び替えを行う倍速処理部とを備える。

特開平１０−１４５８１７号公報 特開２００２−１１２２０２号公報 特開２００３−１９９０５５号公報 特開２０１０−０３５１５７号公報 特開２００３−０３２６３６号公報

後述のように動き補償補間によるＩＰ変換装置においては、インタレース４：２：０形式の入力画像に対する色差の補間方法がフィールド内補間に限られるため、本来の動き補償補間による解像度向上という利点が制限されるといった問題点がある。この問題を解決するために、輝度データと独立に色差データでも動き検出を行なうといった方法もあるが、動き検出は非常に処理コストが大きくなるため効率的ではない。

本発明は、上記問題点を解決するためになされたものであり、その目的は、プログレッシブ画像の色差データの解像度が向上するようにＩＰ変換を行なうことが可能な半導体装置を提供することである。

本発明の一実施例によれば、色フォーマットが４：２：０のインタレース方式の入力画像を、４：２：０または４：２：２のプログレッシブ方式の出力画像に変換する半導体装置が提供される。動き検出部は、輝度データの動きベクトルを検出する。輝度遅延部は、輝度データを遅延させることによって、補間対象の画素の輝度データを生成するときの参照範囲の輝度データを生成する。画素補間部は、動き検出部によって検出された動きベクトルを参照して、輝度遅延部によって生成された参照範囲の輝度データから補間対象の画素の輝度データを生成する。色差遅延部は、色差データを遅延させることによって、補間対象の画素の色差データを生成するときの参照範囲の色差データを生成する。画素補間部は、動き検出部によって検出された動きベクトルを参照して、色差遅延部によって生成された参照範囲の色差データから補間対象の画素の色差データを生成する。画素補間部は、色差データを補間する画素位置に動きベクトルが存在しない場合には、最も近い動きベクトルを参照して動き補償補間を行なう。

本発明の一実施例によれば、色差データを補間する画素位置に動きベクトルが存在しない場合には、画素補間部が最も近い動きベクトルを参照して動き補償補間を行なうので、プログレッシブ画像の色差データの解像度を向上させることができる。

動き補償補間を用いたＩＰ変換装置の構成例を示す図である。 図１に示すＩＰ変換装置によるＩＰ変換の一般的な画素補間方法の一例を示す図である。 図１に示すＩＰ変換装置の入力画像が４：２：０形式の場合の色差の補間方法を説明するための図である。 インタレース４：２：０画像からプログレッシブ４：２：２画像への変換を同時に行なう場合の補間方法を説明するための図である。 本発明の実施の形態におけるＩＰ変換装置によるインタレース４：２：０形式の偶数フィールドの色差データをプログレッシブ４：２：０形式の色差データに変換するための処理を説明するための図である。 本発明の実施の形態におけるＩＰ変換装置によるインタレース４：２：０形式の奇数フィールドの色差データをプログレッシブ４：２：０形式の色差データに変換するための処理を説明するための図である。 本発明の実施の形態におけるＩＰ変換装置によるインタレース４：２：０形式の偶数フィールドの色差データをプログレッシブ４：２：２形式の色差データに変換するための処理を説明するための図である。 本発明の実施の形態におけるＩＰ変換装置によるインタレース４：２：０形式の奇数フィールドの色差データをプログレッシブ４：２：２形式の色差データに変換するための処理を説明するための図である。 輝度遅延部１０２および色差遅延部１０３が４：２：２形式の入力画像を入力画像用メモリ１０１、１フィールド遅延部１１０および１１１から読み出すときのタイミングを示す図である。 輝度遅延部１０２および色差遅延部１０３が４：２：０形式の入力画像を入力画像用メモリ１０１、１フィールド遅延部１１０および１１１から読み出すときのタイミングを示す図である。 輝度遅延部１０２の構成例を示す図である。 輝度遅延部１０２から出力されるＹ＿ｒｅｆに含まれる信号を画像イメージとして並べた図である。 １フィールド遅延信号が偶数フィールドである場合に、輝度を一番上のラインから８ライン入力したときのＹ＿ｒｅｆおよびＣ＿ｒｅｆの状態を示す図である。 動き検出部１０４による動きベクトルの生成方法を説明するための図である。 画素補間部１０５の構成例を示す図である。 色差補間部１６１の構成例を示す図である。 色差補間部１６１に入力されるｒｅｆ（Ｃ＿ｒｅｆ）に含まれる画素を再配置したところを示す図である。 ｍｏｄｅが４２２モードの場合の画素補間部１０５の動作を説明するための図である。 ｍｏｄｅが４２０モードの場合の画素補間部１０５の動作を説明するための図である。 ｍｏｄｅが４２０−４２２変換モードの場合の画素補間部１０５の動作を説明するための図である。 倍速変換部１０６の構成例を示す図である。 ４４４モード、４２２モードまたは４２０−４２２変換モードの場合の倍速変換部１０６の動作を説明するためのタイミングチャートである。 ４２０モードの場合の倍速変換部１０６の動作を説明するためのタイミングチャートである。

図１は、動き補償補間を用いたＩＰ変換装置の構成例を示す図である。このＩＰ変換装置は、動き補償補間回路１と、入力画像用メモリ１０１と、１フィールド遅延部１１０および１１１と、出力画像用メモリ１２０とを含む。以下、動き補償補間回路１が１つの半導体装置で構成される場合について説明するが、これに限られるものではない。

さらに、動き補償補間回路１は、輝度遅延部１０２と、色差遅延部１０３と、動き検出部１０４と、画素補間部１０５と、倍速変換部１０６と、補間モード制御部１０７とを含む。

入力画像用メモリ１０１は、４：２：２形式または４：２：０形式のインタレース画像を格納し、輝度データＹ０および色差データＣ０として１フィールド遅延部１１０に出力する。また、輝度データＹ０が輝度遅延部１０２に入力され、色差データＣ０が色差遅延部１０３に入力される。

１フィールド遅延部１１０は、入力画像用メモリ１０１から受けた輝度データＹ０および色差データＣ０を１フィールドだけ遅延し、輝度データＹ１および色差データＣ１として１フィールド遅延部１１１に出力する。また、輝度データＹ１が輝度遅延部１０２に入力され、色差データＣ１が色差遅延部１０３に入力される。

１フィールド遅延部１１１は、１フィールド遅延部１１０から受けた輝度データＹ１および色差データＣ１をさらに１フィールドだけ遅延し、輝度データＹ２および色差データＣ２として出力する。輝度データＹ２が輝度遅延部１０２に入力され、色差データＣ２が色差遅延部１０３に入力される。

輝度遅延部１０２は、入力画像用メモリ１０１、１フィールド遅延部１１０および１１１から輝度データＹ０、Ｙ１、Ｙ２を受け、それぞれの輝度データに対して複数のライン遅延信号を生成し、さらにそのそれぞれのライン遅延信号に対して複数の水平遅延信号を生成する。その結果として、動き検出に必要なサーチウィンドウ内の全輝度データであるＹ＿ｒｅｆが生成され、動き検出部１０４および画素補間部１０５に出力される。このＹ＿ｒｅｆは、ある時点の補間対象位置に対応したサーチウィンドウ内のデータであり、画素単位でサーチウィンドウが移動する。

色差遅延部１０３は、入力画像用メモリ１０１、１フィールド遅延部１１０および１１１から色差データＣ０、Ｃ１、Ｃ２を受け、輝度遅延部１０２と同様に、それぞれの色差データに対して複数のライン遅延信号を生成し、さらにそのそれぞれのライン遅延信号に対して複数の水平遅延信号を生成する。その結果として、Ｙ＿ｒｅｆと同じサーチウィンドウ内の全色差データであるＣ＿ｒｅｆが生成され、画素補間部１０５に出力される。このＣ＿ｒｅｆは、ある時点の補間対象位置に対応したサーチウィンドウ内のデータであり、画素単位でサーチウィンドウが移動する。Ｃ＿ｒｅｆは、動き検出には使用されず、色差データを補間するためのみに使用される。

動き検出部１０４は、輝度遅延部１０２から出力されるサーチウィンドウ内の輝度データＹ＿ｒｅｆを受け、補間対象位置に対応した動きベクトルＭＶと、動き補償混合比ｋとを生成して画素補間部１０５に出力する。この動き補償混合比ｋは、フィールド内補間による画素値と、フィールド間補間による画素値とを混合するときの比率である。

画素補間部１０５は、補間モード制御部１０７から出力される制御信号であるｍｏｄｅおよびｐｈａｓｅを参照し、動き検出部１０４から出力される動きベクトルＭＶおよび動き補償混合比ｋに基づいて、サーチウィンドウ内の輝度データＹ＿ｒｅｆおよび色差データＣ＿ｒｅｆから、入力画素および補間画素であるＹ＿Ｒ、Ｙ＿Ｉ、Ｃ＿Ｒ、Ｃ＿Ｉを生成して倍速変換部１０６に出力する。

Ｙ＿Ｒは、入力画素の輝度データであり、Ｙ＿Ｉは、補間画素の輝度データである。また、Ｃ＿Ｒは、入力画素の色差データであり、Ｃ＿Ｉは、補間画素の色差データである。

倍速変換部１０６は、補間モード制御部１０７から出力される制御信号であるｍｏｄｅおよびｐｈａｓｅを参照し、１ライン分の入力画素および補間画素をバッファリングし、倍のレートで出力する。

輝度データに対しては、１ライン分の入力画素Ｙ＿Ｒと補間画素Ｙ＿Ｉとをバッファリングし、次の１ライン期間中に倍のレートでそれを輝度データＹ＿ｏｕｔとして出力画像用メモリ１２０に出力する。また、色差データに対しても同様に、１ライン分の入力画素Ｃ＿Ｒと補間画素Ｃ＿Ｉとをバッファリングし、次の１ライン期間中に倍のレートでそれを色差データＣ＿ｏｕｔとして出力画像用メモリ１２０に出力する。

補間モード制御部１０７は、画素補間部１０５および倍速変換部１０６に対して、ｍｏｄｅ信号およびｐｈａｓｅ信号を出力する。ｍｏｄｅ信号は、４４４（４：４：４）モード、４２２（４：２：２）モード、４２０（４：２：０）モード、および４２０−４２２変換モードの４つの補間モードのいずれかを示し、一連のシーケンスに対して固定の値が出力される。

ｐｈａｓｅ信号は、Ｙ＿ｒｅｆ内の、補間対象フィールドである１フィールド遅延信号の中心ライン位置を示し、ライン単位で切り替わる。

出力画像用メモリ１２０は、倍速変換部１０６から出力されるＩＰ変換処理された画素データであるＹ＿ｏｕｔおよびＣ＿ｏｕｔを格納する。

図２は、図１に示すＩＰ変換装置によるＩＰ変換の一般的な画素補間方法の一例を示す図である。図２においては、左から順に、１フィールド遅延部１１１から出力される２フィールド遅延の画素データ、１フィールド遅延部１１０から出力される１フィールド遅延の画素データ、入力画像用メモリ１０１から出力される現フィールドの画素データを示している。

Ｙ（輝度）に関する動き検出によってＹの補間位置ごとに動きベクトルの検出を行ない、その結果に応じて前後フィールドの動き補償された画素の平均値で補間（フィールド間補間）するか、同一フィールド内の上下の画素の平均値で補間（フィールド内補間）するか、または両者の補間結果を動き補償混合比ｋを用いて混合する。

ここで、Ｙｉ（ｘ，ｙ，ｎ）をインタレース画像のｎフィールド目の輝度データ（ｎ％２≠ｙ％２の画素は欠落）とすると、補間後のプログレッシブ画像のｎフィールド目の輝度データＹｐ（ｘ，ｙ，ｎ）は以下のようになる。なお、％は剰余を求める演算を示しており、たとえばｎ％２は、ｎを２で割った余りを示している。

（１）ｎ％２＝ｙ％２の場合
Ｙｐ（ｘ，ｙ，ｎ）＝Ｙｉ（ｘ，ｙ，ｎ） ・・・（１）
（２）ｎ％２≠ｙ％２の場合
Ｙｐ（ｘ，ｙ，ｎ）＝ｋ×（（Ｙｉ（ｘ−ＭＶｘ，ｙ−ＭＶｙ，ｎ−１）＋Ｙｉ（ｘ＋ＭＶｘ，ｙ＋ＭＶｙ，ｎ＋１））／２）＋（１−ｋ）×（（Ｙｉ（ｘ，ｙ−１，ｎ）＋Ｙｉ（ｘ，ｙ＋１，ｎ））／２） ・・・（２）
なお、ＭＶｘおよびＭＶｙは、それぞれ動きベクトルＭＶ（ｘ，ｙ，ｎ）の水平成分と垂直成分とを表しており、ＭＶｙは２の倍数に制限されている。輝度データについては、４：２：２方式であっても、４：２：０方式であっても、式（１）、（２）で補間後のプログレッシブ画像の輝度データを求めることができる。

また、色差データに関しては、Ｃｂ、Ｃｒの２種類のデータがあるが、簡単のためにＣｂに関してのみ議論することにする。

ここで、Ｃｉ４２２（ｘ，ｙ，ｎ）をインタレース４：２：２画像のｎフィールド目の色差データ（ｘは偶数、ｎ％２≠ｙ％２の画素は欠落）とすると、補間後のプログレッシブ４：２：２画像のｎフィールド目の色差データＣｐ４２２（ｘ，ｙ，ｎ）（ｘは偶数）は以下のようになる。

（１）ｎ％２＝ｙ％２の場合
Ｃｐ４２２（ｘ，ｙ，ｎ）＝Ｃｉ４２２（ｘ，ｙ，ｎ） ・・・（３）
（２）ｎ％２≠ｙ％２、かつＭＶｘが偶数の場合
Ｃｐ４２２（ｘ，ｙ，ｎ）＝ｋ×（（Ｃｉ４２２（ｘ−ＭＶｘ，ｙ−ＭＶｙ，ｎ−１）＋Ｃｉ４２２（ｘ＋ＭＶｘ，ｙ＋ＭＶｙ，ｎ＋１））／２）＋（１−ｋ）×（（Ｃｉ４２２（ｘ，ｙ−１，ｎ）＋Ｃｉ４２２（ｘ，ｙ＋１，ｎ））／２） ・・・（４）
（３）ｎ％２≠ｙ％２、かつＭＶｘが奇数の場合
Ｃｐ４２２（ｘ，ｙ，ｎ）＝（Ｃｉ４２２（ｘ，ｙ−１，ｎ）＋Ｃｉ４２２（ｘ，ｙ＋１，ｎ））／２ ・・・（５）
色差データはｘが偶数の位置にしか存在しないため、動きベクトルの水平成分が偶数の場合のみフィールド間補間が可能である。

図３は、図１に示すＩＰ変換装置の入力画像が４：２：０形式の場合の色差の補間方法を説明するための図である。図３に示すように、４：２：０画像では、色差の補間位置（ｘ，ｙ＋１／２，ｎ）における動きベクトルが定義されていないため、常にフィールド内補間が行なわれる。

ここで、Ｃｉ４２０（ｘ，ｙ＋１／２，ｎ）をインタレース４：２：０画像のｎフィールド目の色差データ（ｘは偶数、ｙは偶数、かつｎ％２≠（ｙ／２）％２の画素は欠落）とすると、補間後のプログレッシブ４：２：０画像のｎフィールド目の色差データＣｐ４２０（ｘ，ｙ＋１／２，ｎ）（ｘは偶数、ｙは偶数）は以下のようになる。

（１）ｎ％２＝（ｙ／２）％２の場合
Ｃｐ４２０（ｘ，ｙ＋１／２，ｎ）＝Ｃｉ４２０（ｘ，ｙ＋１／２，ｎ） ・・・（６）
（２）ｎ％２≠（ｙ／２）％２の場合
Ｃｐ４２０（ｘ，ｙ＋１／２，ｎ）＝（Ｃｉ４２０（ｘ，ｙ−３／２，ｎ）＋Ｃｉ４２０（ｘ，ｙ＋５／２，ｎ））／２ ・・・（７）
図４は、インタレース４：２：０画像からプログレッシブ４：２：２画像への変換を同時に行なう場合の補間方法を説明するための図である。図４に示すように、インタレース４：２：０画像から補間後のプログレッシブ４：２：０画像を生成する場合と同様に、常にフィールド内補間となる。

ここで、Ｃｉ４２０（ｘ，ｙ＋１／２，ｎ）をインタレース４：２：０画像のｎフィールド目の色差データ（ｘは偶数、ｙは偶数、かつｎ％２≠（ｙ／２）％２の画素は欠落）とすると、補間後のプログレッシブ４：２：２画像のｎフィールド目の色差データＣｐ４２２（ｘ，ｙ，ｎ）（ｘは偶数）は以下のようになる。

（１）（ｙ−（ｎ％２）×２）％４＝１の場合
Ｃｐ４２２（ｘ，ｙ，ｎ）＝７／８×Ｃｉ４２０（ｘ，ｙ−１／２，ｎ）＋１／８×Ｃｉ４２０（ｘ，ｙ＋７／２，ｎ） ・・・（８）
（２）（ｙ−（ｎ％２）×２）％４＝２の場合
Ｃｐ４２２（ｘ，ｙ，ｎ）＝５／８×Ｃｉ４２０（ｘ，ｙ−３／２，ｎ）＋３／８×Ｃｉ４２０（ｘ，ｙ＋５／２，ｎ） ・・・（９）
（３）（ｙ−（ｎ％２）×２）％４＝３の場合
Ｃｐ４２２（ｘ，ｙ，ｎ）＝３／８×Ｃｉ４２０（ｘ，ｙ−５／２，ｎ）＋５／８×Ｃｉ４２０（ｘ，ｙ＋３／２，ｎ） ・・・（１０）
（４）（ｙ−（ｎ％２）×２）％４＝０の場合
Ｃｐ４２２（ｘ，ｙ，ｎ）＝１／８×Ｃｉ４２０（ｘ，ｙ−７／２，ｎ）＋７／８×Ｃｉ４２０（ｘ，ｙ＋１／２，ｎ） ・・・（１１）
上述のように、一般的なＩＰ変換装置においては、４：２：０形式の入力画像に対する色差の補間方法がフィールド内補間に限られているため、本来の動き補償補間による解像度の向上という利点が制限されてしまう。また、輝度データとは独立に、色差データの動き検出を行なうことも可能であるが、動き検出は非常にコストが大きくなってしまうため効率的ではない。

本発明の実施の形態におけるＩＰ変換装置は、インタレース４：２：０形式の色差データからプログレッシブ４：２：０形式の色差データを生成する場合、およびインタレース４：２：０形式の色差データからプログレッシブ４：２：２形式の色差データを生成する場合でも、輝度データから生成された動きベクトルを用いて補間を行なうものである。

（実施の形態）
図５は、本発明の実施の形態におけるＩＰ変換装置によるインタレース４：２：０形式の偶数フィールドの色差データをプログレッシブ４：２：０形式の色差データに変換するための処理を説明するための図である。左から順に、１フィールド遅延部１１１から出力される２フィールド遅延の画素データ、１フィールド遅延部１１０から出力される１フィールド遅延の画素データ、入力画像用メモリ１０１から出力される現フィールドの
画素データを示している。

図５に示すように、黒い四角で表した補間画素の半ライン下の位置に動きベクトルが存在するため、この動きベクトルを用いてフィールド間補間を行なう。図５においては、点線の矢印で示す動きベクトルとなっているため、２フィールド遅延の４ライン下の入力画素の色差データと、現フィールドの４ライン上の入力画素の色差データとを用いてフィールド間補間を行なう。

図６は、本発明の実施の形態におけるＩＰ変換装置によるインタレース４：２：０形式の奇数フィールドの色差データをプログレッシブ４：２：０形式の色差データに変換するための処理を説明するための図である。

図６に示すように、黒い四角で表した補間画素の半ライン上の位置に動きベクトルが存在するため、この動きベクトルを用いてフィールド間補間を行なう。図６においては、点線の矢印で示す動きベクトルとなっているため、２フィールド遅延の４ライン下の入力画素の色差データと、現フィールドの４ライン上の入力画素の色差データとを用いてフィールド間補間を行なう。

ここで、Ｃｉ４２０（ｘ，ｙ＋１／２，ｎ）をインタレース４：２：０画像のｎフィールド目の色差データ（ｘは偶数、ｙは偶数、かつｎ％２≠（ｙ／２）％２の画素は欠落）とすると、補間後のプログレッシブ４：２：０画像のｎフィールド目の色差データＣｐ４２０（ｘ，ｙ＋１／２，ｎ）（ｘは偶数、ｙは偶数）は以下のようになる。

（１）ｎ％２＝（ｙ／２）％２の場合
Ｃｐ４２０（ｘ，ｙ＋１／２，ｎ）＝Ｃｉ４２０（ｘ，ｙ＋１／２，ｎ） ・・・（１２）
（２）ｎ％２≠（ｙ／２）％２、かつＭＶｘが偶数かつＭＶｙが４の倍数の場合
Ｃｐ４２０（ｘ，ｙ＋１／２，ｎ）＝ｋ×（（Ｃｉ４２０（ｘ−ＭＶｘ，ｙ＋１／２−ＭＶｙ，ｎ−１）＋Ｃｉ４２０（ｘ＋ＭＶｘ，ｙ＋１／２＋ＭＶｙ，ｎ＋１））／２）＋（１−ｋ）×（（Ｃｉ４２０（ｘ，ｙ−３／２，ｎ）＋Ｃｉ４２０（ｘ，ｙ＋５／２，ｎ））／２） ・・・（１３）
（３）ｎ％２≠（ｙ／２）％２、かつＭＶｘが偶数でないかＭＶｙが４の倍数でない場合
Ｃｐ４２０（ｘ，ｙ＋１／２，ｎ）＝（Ｃｉ４２０（ｘ，ｙ−３／２，ｎ）＋Ｃｉ４２０（ｘ，ｙ＋５／２，ｎ））／２ ・・・（１４）
なお、ｋおよびＭＶは、偶数フィールド（ｎ％２＝０）の場合はそれぞれ補間位置の半ライン下のデータｋ（ｘ，ｙ＋１，ｎ）、ＭＶ（ｘ，ｙ＋１，ｎ）を、奇数フィールド（ｎ％２＝１）の場合はそれぞれ補間位置の半ライン上のデータｋ（ｘ，ｙ，ｎ）、ＭＶ（ｘ，ｙ，ｎ）を表している。

このように、ｎ％２＝（ｙ／２）％２、かつＭＶｘが偶数かつＭＶｙが４の倍数という条件においてはフィールド間補間を行なうことができるため、適切な動きベクトルが存在する場合には得られるプログレッシブ画像の解像度を向上させることができる。

また、輝度データを用いた動き検出の結果を利用するため、新たに色差データを用いた動き検出部を設ける必要がない。また、４：２：０形式のフィールド間補間を行なうために参照する前後フィールドの輝度データを格納するバッファは、４：２：２形式のフィールド間補間で使用するバッファと併用できるため、余分なバッファを設ける必要がなく、極めて小さいコストの増加で解像度の向上を図ることができる。

図７は、本発明の実施の形態におけるＩＰ変換装置によるインタレース４：２：０形式の偶数フィールドの色差データをプログレッシブ４：２：２形式の色差データに変換するための処理を説明するための図である。補間画素と同一フィールドの上下の入力画素との位相関係によって、以下のように４つのケースに分けて処理が行なわれる。

（１）補間画素の位置が入力画素の半ライン下（図７の「１」）の場合には、上下の入力画素によるリニア補間を行なう。すなわち、半ライン上の画素値に７／８を乗じた値と、３．５ライン下の画素値に１／８を乗じた値との和によって、補間位置の画素値を求める。

このケースでは、半ライン上の画素による影響が支配的となり、解像度を低下させる要因は相対的に小さいと考えられるため、あえてフィールド間補間を行なわずに、フィールド内補間を行なう。

（２）補間画素の位置が入力画素の１．５ライン下（図７の「２」）の場合には、１ライン上の動きベクトルと１ライン下の動きベクトルとが等しいときに、その動きベクトルを用いたフィールド間補間を行なう。このとき、適用する動きベクトルの垂直成分を４の倍数に制限すれば、参照すべき前後フィールドの位置は入力画素の半ライン上の位置となる。

したがって、その参照位置の上下の入力画素によるリニア補間によって参照画素の画素値を生成する。たとえば、動きベクトルの垂直成分が０の場合には、図７に示すように、３．５ライン上の画素値に１／８を乗じた値と、半ライン下の画素値に７／８を乗じた値との和によって、参照位置の画素値を求める。さらに、この方法によって求めた前後の参照位置の画素値の平均によって最終的な画素値を求める。

このケースでは、前後フィールドの参照位置の半ライン下の画素による影響が支配的となり、フィールド間補間による解像度の向上が期待できる。

（３）補間画素の位置が入力画素の２．５ライン下（図７の「３」）の場合には、同じ位置の動きベクトルを用いたフィールド間補間を行なう。このとき、適用する動きベクトルの垂直成分を４の倍数に制限すれば、参照すべき前後フィールドの位置は入力画素の半ライン下の位置となる。

したがって、その参照位置の上下の入力画素によるリニア補間によって参照画素の画素値を生成する。たとえば、動きベクトルの垂直成分が０の場合には、図７に示すように、半ライン上の画素値に７／８を乗じた値と、３．５ライン下の画素値に１／８を乗じた値との和によって、参照位置の画素値を求める。さらに、この方法によって求めた前後の参照位置の画素値の平均によって最終的な画素値を求める。

このケースでは、前後フィールドの参照位置の半ライン上の画素による影響が支配的となり、フィールド間補間による解像度の向上が期待できる。

（４）補間画素の位置が入力画素の３．５ライン下（図７の「０」）の場合には、上下の入力画素によるリニア補間を行なう。すなわち、３．５ライン上の画素値に１／８を乗じた値と、半ライン下の画素値に７／８を乗じた値との和によって、補間位置の画素値を求める。

このケースでは、半ライン下の画素による影響が支配的となり、解像度を低下させる要因は相対的に小さいと考えられるため、あえてフィールド間補間を行なわずに、フィールド内補間を行なう。

図８は、本発明の実施の形態におけるＩＰ変換装置によるインタレース４：２：０形式の奇数フィールドの色差データをプログレッシブ４：２：２形式の色差データに変換するための処理を説明するための図である。補間画素と同一フィールドの上下の入力画素との位相関係によって、以下のように４つのケースに分けて処理が行なわれる。

（１）補間画素の位置が入力画素の半ライン下（図８の「１」）の場合には、上下の入力画素によるリニア補間を行なう。すなわち、半ライン上の画素値に７／８を乗じた値と、３．５ライン下の画素値に１／８を乗じた値との和によって、補間位置の画素値を求める。

このケースでは、半ライン上の画素による影響が支配的となり、解像度を低下させる要因は相対的に小さいと考えられるため、あえてフィールド間補間を行なわずに、フィールド内補間を行なう。

（２）補間画素の位置が入力画素の１．５ライン下（図８の「２」）の場合には、同じ位置の動きベクトルを用いたフィールド間補間を行なう。このとき、適用する動きベクトルの垂直成分を４の倍数に制限すれば、参照すべき前後フィールドの位置は入力画素の半ライン上の位置となる。

したがって、その参照位置の上下の入力画素によるリニア補間によって参照画素の画素値を生成する。たとえば、動きベクトルの垂直成分が０の場合には、図８に示すように、３．５ライン上の画素値に１／８を乗じた値と、半ライン下の画素値に７／８を乗じた値との和によって、参照位置の画素値を求める。さらに、この方法によって求めた前後の参照位置の画素値の平均によって最終的な画素値を求める。

このケースでは、前後フィールドの参照位置の半ライン下の画素による影響が支配的となり、フィールド間補間による解像度の向上が期待できる。

（３）補間画素の位置が入力画素の２．５ライン下（図８の「３」）の場合には、１ライン上の動きベクトルと１ライン下の動きベクトルとが等しいときに、その動きベクトルを用いたフィールド間補間を行なう。このとき、適用する動きベクトルの垂直成分を４の倍数に制限すれば、参照すべき前後フィールドの位置は入力画素の半ライン下の位置となる。

したがって、その参照位置の上下の入力画素によるリニア補間によって参照画素の画素値を生成する。たとえば、動きベクトルの垂直成分が０の場合には、図８に示すように、半ライン上の画素値に７／８を乗じた値と、３．５ライン下の画素値に１／８を乗じた値との和によって、参照位置の画素値を求める。さらに、この方法によって求めた前後の参照位置の画素値の平均によって最終的な画素値を求める。

このケースでは、前後フィールドの参照位置の半ライン上の画素による影響が支配的となり、フィールド間補間による解像度の向上が期待できる。

（４）補間画素の位置が入力画素の３．５ライン下（図８の「０」）の場合には、上下の入力画素によるリニア補間を行なう。すなわち、３．５ライン上の画素値に１／８を乗じた値と、半ライン下の画素値に７／８を乗じた値との和によって、補間位置の画素値を求める。

このケースでは、半ライン下の画素による影響が支配的となり、解像度を低下させる要因は相対的に小さいと考えられるため、あえてフィールド間補間を行なわずに、フィールド内補間を行なう。

上述のように、Ｎ＝（ｙ−（ｎ％２）×２）％４によるケース分けを採用した場合、偶数フィールドの処理と奇数フィールドの処理とで異なる点は、位置「２」と位置「３」とにおける動きベクトルの選択方法が互いに入れ替わるということだけである。

ここで、Ｃｉ４２０（ｘ，ｙ＋１／２，ｎ）をインタレース４：２：０画像のｎフィールド目の色差データ（ｘは偶数、ｙは偶数、かつｎ％２≠（ｙ／２）％２の画素は欠落）とすると、補間後のプログレッシブ４：２：２画像のｎフィールド目の色差データＣｐ４２２（ｘ，ｙ，ｎ）（ｘは偶数）は以下のようになる。

（１）（ｙ−（ｎ％２）×２）％４＝１の場合
Ｃｐ４２２（ｘ，ｙ，ｎ）＝７／８×Ｃｉ４２０（ｘ，ｙ−１／２，ｎ）＋１／８×Ｃｉ４２０（ｘ，ｙ＋７／２，ｎ） ・・・（１５）
（２）（ｙ−（ｎ％２）×２）％４＝２、かつ動きベクトルが使える場合
Ｃｐ４２２（ｘ，ｙ，ｎ）＝ｋ×（（１／８×Ｃｉ４２０（ｘ−ＭＶｘ，ｙ−ＭＶｙ−７／２，ｎ−１）＋７／８×Ｃｉ４２０（ｘ−ＭＶｘ，ｙ−ＭＶｙ＋１／２，ｎ−１））×１／２＋（１／８×Ｃｉ４２０（ｘ＋ＭＶｘ，ｙ＋ＭＶｙ−７／２，ｎ＋１）＋７／８×Ｃｉ４２０（ｘ＋ＭＶｘ，ｙ＋ＭＶｙ＋１／２，ｎ＋１））×１／２）＋（１−ｋ）×（５／８×Ｃｉ４２０（ｘ，ｙ−３／２，ｎ）＋３／８×Ｃｉ４２０（ｘ，ｙ＋５／２，ｎ）） ・・・（１６）
（３）（ｙ−（ｎ％２）×２）％４＝２、かつ動きベクトルが使えない場合
Ｃｐ４２２（ｘ，ｙ，ｎ）＝５／８×Ｃｉ４２０（ｘ，ｙ−３／２，ｎ）＋３／８×Ｃｉ４２０（ｘ，ｙ＋５／２，ｎ） ・・・（１７）
（４）（ｙ−（ｎ％２）×２）％４＝３、かつ動きベクトルが使える場合
Ｃｐ４２２（ｘ，ｙ，ｎ）＝ｋ×（（７／８×Ｃｉ４２０（ｘ−ＭＶｘ，ｙ−ＭＶｙ−１／２，ｎ−１）＋１／８×Ｃｉ４２０（ｘ−ＭＶｘ，ｙ−ＭＶｙ＋７／２，ｎ−１））×１／２＋（７／８×Ｃｉ４２０（ｘ＋ＭＶｘ，ｙ＋ＭＶｙ−１／２，ｎ＋１）＋１／８×Ｃｉ４２０（ｘ＋ＭＶｘ，ｙ＋ＭＶｙ＋７／２，ｎ＋１））×１／２）＋（１−ｋ）×（３／８×Ｃｉ４２０（ｘ，ｙ−５／２，ｎ）＋５／８×Ｃｉ４２０（ｘ，ｙ＋３／２，ｎ）） ・・・（１８）
（５）（ｙ−（ｎ％２）×２）％４＝３、かつ動きベクトルが使えない場合
Ｃｐ４２２（ｘ，ｙ，ｎ）＝３／８×Ｃｉ４２０（ｘ，ｙ−５／２，ｎ）＋５／８×Ｃｉ４２０（ｘ，ｙ＋３／２，ｎ） ・・・（１９）
（６）（ｙ−（ｎ％２）×２）％４＝０の場合
Ｃｐ４２２（ｘ，ｙ，ｎ）＝１／８×Ｃｉ４２０（ｘ，ｙ−７／２，ｎ）＋７／８×Ｃｉ４２０（ｘ，ｙ＋１／２，ｎ） ・・・（２０）
動きベクトルが使える条件と、そのときの動きベクトルＭＶおよび動き補償混合比ｋの選び方は以下の通りである。

（１）偶数フィールドでＮ＝２、または、奇数フィールドでＮ＝３の場合
＜条件＞
ＭＶ（ｘ，ｙ−１，ｎ）＝ＭＶ（ｘ，ｙ＋１，ｎ）
ＭＶｘ（ｘ，ｙ−１，ｎ）が２の倍数
ＭＶｙ（ｘ，ｙ−１，ｎ）が４の倍数
＜ＭＶおよびｋ＞
ＭＶ＝ＭＶ（ｘ，ｙ−１，ｎ）
ｋ＝ｍｉｎ（ｋ（ｘ，ｙ−１，ｎ），ｋ（ｘ，ｙ＋１，ｎ））
（２）偶数フィールドでＮ＝３、または、奇数フィールドでＮ＝２の場合
＜条件＞
ＭＶｘ（ｘ，ｙ，ｎ）が２の倍数
ＭＶｙ（ｘ，ｙ，ｎ）が４の倍数
＜ＭＶおよびｋ＞
ＭＶ＝ＭＶ（ｘ，ｙ，ｎ）
ｋ＝ｋ（ｘ，ｙ，ｎ）
このように、（ｙ−（ｎ％２）×２）％４が２または３で、かつ上述の動きベクトルが使える条件を満足した場合に、フィールド間補間を行なうことができるため、適切な動きベクトルが存在する場合には得られるプログレッシブ画像の解像度を向上させることができる。

また、同一フィールド内の入力画素に近接した補間位置ではフィールド内補間を行ない、それ以外の補間位置では前後フィールドの入力画素に近接した補間画素を用いたフィールド間補間を行なうことにより、比較的単純な処理で、効率的に解像度を向上させることができる。

また、輝度データを用いた動き検出の結果を利用するため、新たに色差データを用いた動き検出部を設ける必要がない。また、４：２：０形式のフィールド間補間を行なうために参照する前後フィールドの輝度データを格納するバッファは、４：２：２形式のフィールド間補間で使用するバッファと併用できるため、余分なバッファを設ける必要がなく、極めて小さいコストの増加で解像度の向上を図ることができる。

図９は、輝度遅延部１０２および色差遅延部１０３が４：２：２形式の入力画像を入力画像用メモリ１０１、１フィールド遅延部１１０および１１１から読み出すときのタイミングを示す図である。

図９（ａ）は、補間対象（Ｙ１，Ｃ１）が偶数フィールドの場合を示している。また、図９（ｂ）は、補間対象（Ｙ１，Ｃ１）が奇数フィールドの場合を示している。ライン０が画像の最も上のラインを表している。また、ライン数はプログレッシブ画像に対応しているため、インタレース入力画像の偶数フィールドには偶数ラインのみが存在し、奇数フィールドには奇数ラインのみが存在する。

輝度遅延部１０２および色差遅延部１０３は、各ラインの画素を読み出すときに、画像の左端画素から順に右端画素まで読み出す。また、色差遅延部１０３は、各ラインの色差データを読み出すときに、水平方向にＣｂ→Ｃｒ→Ｃｂ→Ｃｒの順に、ＣｂとＣｒとを交互に読み出す。

図９（ｂ）に示すように、補間対象フィールド（１フィールド遅延信号）が奇数フィールドの場合、輝度遅延部１０２および色差遅延部１０３は、１フィールド遅延信号Ｙ１，Ｃ１の読み出しを、０フィールド遅延信号Ｙ０，Ｃ０および２フィールド遅延信号Ｙ２，Ｃ２よりも１ライン分遅らせる。

これによって、同じ時点における１フィールド遅延信号の、０フィールド遅延信号および２フィールド遅延信号に対する位置関係を、偶数フィールドと奇数フィールドとで同じにすることができる。すなわち、１フィールド遅延信号が、常に０フィールド遅延信号および２フィールド遅延信号に対して１ライン上の位置になる。

図１０は、輝度遅延部１０２および色差遅延部１０３が４：２：０形式の入力画像を入力画像用メモリ１０１、１フィールド遅延部１１０および１１１から読み出すときのタイミングを示す図である。

図１０（ａ）は、補間対象が偶数フィールドの場合を示している。輝度遅延部１０２が輝度データを読み出すときのタイミングは、図９（ａ）に示す４：２：２形式の場合と同様である。

色差データのライン番号の小数点は、輝度データに対する相対的な垂直位置を示しており、たとえばライン０．５はライン０とライン１との中間の垂直位置を示している。色差遅延部１０３は、色差データの最初の２ラインを輝度データのラインと同じタイミングで読み出し、それ以降は輝度データの２ラインごとに色差データの１ラインを読み出す。

図１０（ｂ）は、補間対象が奇数フィールドの場合を示している。輝度遅延部１０２が輝度データを読み出すときのタイミングは、図９（ｂ）に示す４：２：２形式の場合と同様である。

色差遅延部１０３は、０フィールド遅延信号および２フィールド遅延信号の色差データについては、色差データの最初の３ラインを輝度データのラインと同じタイミングで読み出し、それ以降は輝度データの２ラインごとに色差データの１ラインを読み出す。

また、色差遅延部１０３は、１フィールド遅延信号の色差データについては、色差データの最初の２ラインを輝度データのラインと同じタイミングで読み出し、それ以降は輝度データの２ラインごとに色差データの１ラインを読み出す。

図１１は、輝度遅延部１０２の構成例を示す図である。輝度遅延部１０２は、６ライン分の輝度データを記憶するライン遅延用メモリ１３０と、（１８＋Ｄ）段シフトレジスタ１４０〜１４６とを含む。なお、Ｄは動き検出部１０４における動き検出処理に必要なサイクル数を示している。

ライン遅延用メモリ１３０は、輝度データＹ０、Ｙ１、Ｙ２を順次記憶し、それを出力することによって１ライン遅延から６ライン遅延までの輝度データを生成して、０ライン遅延データ（Ｙ０、Ｙ１、Ｙ２）と水平位置を同期させて、（１８＋Ｄ）段シフトレジスタ１４１〜１４６に出力する。

（１８＋Ｄ）段シフトレジスタ１４０は、入力画像用メモリ１０１、１フィールド遅延部１１０および１１１からＹ０、Ｙ１、Ｙ２を受けて順次シフトすることによって、０ライン遅延データを出力する。

また、（１８＋Ｄ）段シフトレジスタ１４１〜１４６は、ライン遅延用メモリ１３０から１ライン遅延〜６ライン遅延の輝度データを受けて順次シフトすることによって、１ライン遅延データ〜６ライン遅延データを出力する。（１８＋Ｄ）段シフトレジスタ１４０〜１４６から出力される０ライン遅延データ〜６ライン遅延データをまとめて、Ｙ＿ｒｅｆとして出力する。

なお、Ｙ０、Ｙ１、Ｙ２のあるラインのデータに対して、その次のラインのデータは２ライン下のデータであるので、Ｙ＿ｒｅｆに出力されるライン遅延データは、それぞれ２ラインずつ垂直位置がずれた信号である。たとえば、６ライン遅延信号は、０ライン遅延信号より１２ライン上の信号である。

本実施の形態においては、動き検出のサーチウィンドウの大きさを、垂直方向が±４画素、水平方向が±８画素を想定しており、その大きさに合わせた遅延ライン数およびシフトレジスタの段数としている。しかしながら、輝度遅延部１０２に必要となる遅延ライン数およびシフトレジスタの段数は動き検出部１０４の実装に依存しており、上述の構成に限定されるものではない。

また、１フィールド遅延信号Ｙ１に対して必要となる遅延ライン数およびシフトレジスタの段数は、０フィールド遅延信号および２フィールド遅延信号に対するものよりも少ない場合が考えられる。その場合には、１フィールド遅延信号に関する不要な回路を縮退させるようにしてもよい。

図１２は、輝度遅延部１０２から出力されるＹ＿ｒｅｆに含まれる信号を画像イメージとして並べた図である。図１２（ａ）〜図１２（ｃ）はそれぞれ、２フィールド遅延（前フィールド）の画像、１フィールド遅延（補間対象）の画像、および０フィールド遅延（後フィールド）の画像を示している。なお、動き検出部１０４における動き検出処理に必要なサイクル数Ｄを“４”としている。

図１２（ａ）〜図１２（ｃ）に示すように、０フィールド遅延信号、１フィールド遅延信号および２フィールド遅延信号のそれぞれには、２２×７個の画素が含まれており、水平２２画素×垂直７ライン分の画像範囲に対応している。

輝度遅延部１０２は、図９に示すライン読み出し制御によって、１フィールド遅延信号が、０フィールド遅延信号および２フィールド遅延信号に対して全体に１ライン上にずれたタイミングでラインを読み出す。この関係は、１フィールド遅延信号が偶数フィールドであるか、奇数フィールドであるかに依存しない。

領域２００、２０１および２０２は、動き検出部１０４の参照範囲となる領域であり、水平１９画素×垂直７ライン分の画素を含んでいる。このとき、動き検出部１０４による動き検出位置は２２０となり、ここには入力画素は存在しない。

動き検出位置２２０に対応する動きベクトルは、Ｄ（＝４）サイクル後に動き検出部１０４から出力される。このとき、動き検出位置２２０に対応する位置は２２１に移動しており、この位置が画素補間部１０５による補間位置となる。

したがって、動き検出部１０４による参照範囲２００、２０１および２０２に対応する、画素補間部１０５による参照範囲は、その中心が４画素分左にずれた領域２１０、２１１および２１２となる。この画素補間部１０５による参照範囲２１０、２１１および２１２は、水平１７画素×垂直５ラインの領域である。

画素補間部１０５の処理サイクル数は４サイクルであるが、パイプライン的に処理を行なうため、補間位置２２１に対応した動きベクトルが毎サイクル生成されることになる。また、パイプライン処理の途中のステージで画素補間部１０５がＹ＿ｒｅｆを参照する場合、参照範囲２００、２０１および２０２に対して左に１画素、２画素または３画素ずれた範囲を参照することになる。しかしながら、このような動作は動き検出部１０４の実装に依存するものであり、これに限定されるものではない。

色差遅延部１０３の構成は、図１１に示す輝度遅延部１０２の構成と同様であるが、色差データは動き検出部１０４には参照されないため、Ｃ＿ｒｅｆのライン数は画素補間部１０５が参照する０ライン遅延〜４ライン遅延の５ラインでよい。また、シフトレジスタの段数は、動き検出の処理サイクル数分を補償するために、輝度遅延部１０２と同じ（１８＋Ｄ）段だけ必要である。

図１３は、１フィールド遅延信号が偶数フィールドである場合に、輝度を一番上のラインから８ライン入力したときのＹ＿ｒｅｆおよびＣ＿ｒｅｆの状態を示す図である。図１３（ａ）は、輝度遅延部１０２から出力されるＹ＿ｒｅｆを示しており、７ライン分の画素データを含む。画素補間部１０５が参照するＹ＿ｒｅｆの画素は、上端ラインと下端ラインとを除く５ライン分である。また、図１３（ｂ）は、色差遅延部１０３から出力されるＣ＿ｒｅｆを示しており、５ライン分の画素データを含む。

図１４は、動き検出部１０４による動きベクトルの生成方法を説明するための図である。図１４（ａ）〜１４（ｃ）はそれぞれ、２フィールド遅延（前フィールド）の画像、１フィールド遅延（補間対象）の画像、および０フィールド遅延（後フィールド）の画像を示している。

図１４（ｂ）のＹｉ（ｘ，ｙ，ｎ）が補間対象位置を示している。本実施の形態においては、動き検出部１０４によって検出される動きベクトルＭＶは、水平方向が−８≦ＭＶｘ≦＋８、垂直方向が−４≦ＭＶｙ≦＋４の範囲内であり、かつＭＶｙが偶数のみに制限される。したがって、候補となる動きベクトル数は、１７×５＝８５種類である。

動き検出部１０４は、前フィールドと後フィールドとでそれぞれ動き補償した画素の近傍９画素によるＳＡＤ（差分絶対値和）に基づいて動きベクトルを算出する。ＭＶｙを偶数に制限することによって、前後のフィールドで動き補償した位置に必ず画素が存在することになる。

図１４（ａ）の領域２４０は、２フィールド遅延の画素におけるＭＶｘ＝＋８、ＭＶｙ＝＋４の動きベクトルに対する演算対象画素を示している。また、図１４（ｃ）の領域２４１は、０フィールド遅延の画素におけるＭＶｘ＝＋８、ＭＶｙ＝＋４の動きベクトルに対する演算対象画素を示している。動きベクトル（ＭＶｘ、ＭＶｙ）に対応するＳＡＤは、次式によって算出される。

ＳＡＤ＝｜Ｙｉ（ｘ−ＭＶｘ−１，ｙ−ＭＶｙ−１，ｎ−１）−Ｙｉ（ｘ＋ＭＶｘ−１，ｙ＋ＭＶｙ−１，ｎ＋１）｜＋｜Ｙｉ（ｘ−ＭＶｘ，ｙ−ＭＶｙ−１，ｎ−１）−Ｙｉ（ｘ＋ＭＶｘ，ｙ＋ＭＶｙ−１，ｎ＋１）｜＋｜Ｙｉ（ｘ−ＭＶｘ＋１，ｙ−ＭＶｙ−１，ｎ−１）−Ｙｉ（ｘ＋ＭＶｘ＋１，ｙ＋ＭＶｙ−１，ｎ＋１）｜＋｜Ｙｉ（ｘ−ＭＶｘ−１，ｙ−ＭＶｙ，ｎ−１）−Ｙｉ（ｘ＋ＭＶｘ−１，ｙ＋ＭＶｙ，ｎ＋１）｜＋｜Ｙｉ（ｘ−ＭＶｘ，ｙ−ＭＶｙ，ｎ−１）−Ｙｉ（ｘ＋ＭＶｘ，ｙ＋ＭＶｙ，ｎ＋１）｜＋｜Ｙｉ（ｘ−ＭＶｘ＋１，ｙ−ＭＶｙ，ｎ−１）−Ｙｉ（ｘ＋ＭＶｘ＋１，ｙ＋ＭＶｙ，ｎ＋１）｜＋｜Ｙｉ（ｘ−ＭＶｘ−１，ｙ−ＭＶｙ＋１，ｎ−１）−Ｙｉ（ｘ＋ＭＶｘ−１，ｙ＋ＭＶｙ＋１，ｎ＋１）｜＋｜Ｙｉ（ｘ−ＭＶｘ，ｙ−ＭＶｙ＋１，ｎ−１）−Ｙｉ（ｘ＋ＭＶｘ，ｙ＋ＭＶｙ＋１，ｎ＋１）｜＋｜Ｙｉ（ｘ−ＭＶｘ＋１，ｙ−ＭＶｙ＋１，ｎ−１）−Ｙｉ（ｘ＋ＭＶｘ＋１，ｙ＋ＭＶｙ＋１，ｎ＋１）｜ ・・・（２１）
動き検出部１０４は、８５通りの候補の中で、ＳＡＤが最小となる動きベクトルをＭＶとして出力する。そのような動きベクトルが複数ある場合には、｜ＭＶｘ｜＋｜ＭＶｙ｜が最小となる動きベクトルをＭＶとして出力する。それも等しい動きベクトルがある場合には、｜ＭＶｙ｜が最小となる動きベクトルをＭＶとして出力する。それも等しい動きベクトルがある場合には、ＭＶｙが最小となる動きベクトルをＭＶとして出力する。なお、この動き検出方法は一例であって、特にこの方法に限定されるものではない。

また、動き検出部１０４は、選択した動きベクトルに対応するＳＡＤに応じて、０〜１の範囲内で動き補償混合比ｋを決定する。本実施の形態においては、ＳＡＤが小さいほど動きベクトルの確度が高いものと考え、動き補償混合比ｋが大きな値となるようにしているが、これに限定されるものではない。

図１５は、画素補間部１０５の構成例を示す図である。この画素補間部１０５は、１ライン遅延部１５０および１５１と、輝度補間部１６０と、色差補間部１６１とを含む。

１ライン遅延部１５０は、動き検出部１０４から受けた動きベクトルＭＶを１ライン遅延させて、ＭＶと水平位置を同期させたＭＶ＿１ｄ信号を輝度補間部１６０および色差補間部１６１に出力する。

また、１ライン遅延部１５１は、動き検出部１０４から受けた動き補償混合比ｋを１ライン遅延させて、ｋと水平位置を同期させたｋ＿１ｄ信号を輝度補間部１６０および色差補間部１６１に出力する。

輝度補間部１６０は、輝度遅延部１０２から受けたＹ＿ｒｅｆを参照して、輝度の補間画素Ｙ＿Ｉを生成して出力すると共に、その１ライン上の画素Ｙ＿Ｒを出力する。Ｙ＿Ｒは、Ｙ＿ｒｅｆに含まれている画素である。

色差補間部１６１は、色差遅延部１０３から受けたＣ＿ｒｅｆを参照して、色差の補間画素Ｃ＿Ｉを生成して出力すると共に、画素Ｃ＿Ｒを出力する。このＣ＿Ｒは、補間後の画像が４：２：２形式の場合にはＣ＿Ｉの１ライン上の画素であり、補間後の画像が４：２：０形式の場合にはＣ＿Ｉの２ライン上の画素である。また、画素補間モード（ｍｏｄｅ）が４２０−４２２変換モード以外の場合、Ｃ＿ＲはＣ＿ｒｅｆに含まれる画素となるが、４２０−４２２変換モードの場合、Ｃ＿Ｒも補間された画素となる。

輝度補間部１６０に必要な機能は色差補間部１６１に必要な機能のサブセットであり、概ね共通の構成となることから、本実施の形態においては輝度補間部と色差補間部とは同一のブロックを使用することとし、色差補間部１６１の構成のみを説明することにする。ただし、輝度補間部のｍｏｄｅ端子は４４４モードに固定される。また、参照画素として、輝度補間部にはＹ＿ｒｅｆを接続し、色差補間部にはＣ＿ｒｅｆを接続する。

図１６は、色差補間部１６１の構成例を示す図である。この色差補間部１６１は、フィールド内演算部１７０と、フィールド間演算部１７１と、補間画素生成部１７２と、論理回路１７３〜１７９と、セレクタ１８０とを含む。

上述のように、輝度補間部１６０の構成も同様であり、輝度補間部のｒｅｆ端子にはＹ＿ｒｅｆが接続され、色差補間部のｒｅｆ端子にはＣ＿ｒｅｆが接続される。また、輝度補間部のＲ＿ｏｕｔ端子およびＩ＿ｏｕｔ端子にはそれぞれＹ＿ＲおよびＹ＿Ｉが接続され、色差補間部のＲ＿ｏｕｔおよびＩ＿ｏｕｔ端子にはそれぞれＣ＿ＲおよびＣ＿Ｉが接続される。

論理回路１７３は、動きベクトルＭＶが条件を満たさない場合に動き補償混合比ｋを“０”にする。具体的には、ｍｏｄｅ＝４２２モードであり、かつＭＶｘ％２≠０の場合には、ｋ２に“０”を出力する。また、ｍｏｄｅ＝４２０モードまたは４２０−４２２変換モードであり、かつＭＶｘ％２≠０またはＭＶｙ％４≠０の場合にも、ｋ２に“０”を出力する。それ以外の場合には、ｋ２にｋの値を出力する。

論理回路１７４は、ＭＶｘとＭＶｘ＿１ｄとが等しい場合には、Ｘｅｑに“１”を出力し、それ以外の場合には、Ｘｅｑに“０”を出力する。

論理回路１７５は、ＭＶｙとＭＶｙ＿１ｄとが等しい場合には、Ｙｅｑに“１”を出力し、それ以外の場合には、Ｙｅｑに“０”を出力する。

論理回路１７６は、Ｘｅｑ＝Ｙｅｑ＝１の場合には、ｋ２＿１ｄにｋ＿１ｄの値を出力し、それ以外の場合には、ｋ２＿１ｄに“０”を出力する。すなわち、ＭＶとＭＶ＿１ｄとが等しい場合にのみｋ＿１ｄを有効にする。

論理回路１７７は、論理回路１７３から出力されるｋ２と、論理回路１７６から出力されるｋ２＿１ｄとを比較し、その最小値をＫ＿１ｄに出力する。これによって、ｋ２とｋ２＿１ｄとの最小値を取ると共に、ＭＶが有効でない場合には論理回路１７３から出力されるｋ２が“０”となっているため、Ｋ＿１ｄも“０”とすることができる。

論理回路１７８は、ＭＶｙを１／２倍にしてセレクタ１８０に出力する。また、論理回路１７９は、ＭＶｙを１／４倍にしてセレクタ１８０に出力する。なお、小数点以下は切り捨てるものとする。

セレクタ１８０は、ｍｏｄｅに応じてＭＶのＹ成分を選択する。セレクタ１８０は、ｍｏｄｅが４４４モードまたは４２２モードの場合には、論理回路１７８から出力される１／２倍したＹ成分を出力する。また、セレクタ１８０は、ｍｏｄｅが４２０モードまたは４２０−４２２変換モードの場合には、論理回路１７９から出力される１／４倍したＹ成分を出力する。

フィールド内演算部１７０は、色差遅延部１０３から出力されるＣ＿ｒｅｆを参照して、後段の補間画素生成部１７２で使用され得る７通りのフィールド内補間画素を生成して出力する。

フィールド間演算部１７１は、色差遅延部１０３から出力されるＣ＿ｒｅｆを参照して、後段の補間画素生成部１７２で使用され得る４通りのフィールド間補間画素を生成して出力する。

フィールド間演算部１７１は、フィールド間補間画素を生成する際、動きベクトルＭＶのＸ成分である“Ｘ”と、補正されたＭＶのＹ成分である“Ｙ”とを参照する。ＭＶ＿１ｄは、ＭＶと等しい場合にのみ有効となるため、フィールド間演算部１７１によって参照されることはない。

補間画素生成部１７２は、ｍｏｄｅ信号とｐｈａｓｅ信号とに応じて、フィールド内補間画素とフィールド間補間画素とを適宜選択し、動き補償混合比ｋによる混合を行なって、Ｒ＿ｏｕｔとＩ＿ｏｕｔとを生成して出力する。

図１７は、色差補間部１６１に入力されるｒｅｆ（Ｃ＿ｒｅｆ）に含まれる画素を再配置したところを示す図である。図１７（ｂ）に示すｒｅｆ（０，０，０）を中心画素と呼ぶ。図１７（ａ）〜図１７（ｃ）において、上下に隣接している画素は、４４４モードまたは４２２モードでは２ライン分だけ互いに離れた位置にあり、４２０モードまたは４２０−４２２変換モードでは４ライン分だけ互いに離れた位置にある。

また、フィールド間で同じＹ座標を有する画素は、４４４モードまたは４２２モードでは、１フィールド遅延が０フィールド遅延および２フィールド遅延より１ライン上にあり、４２０モードまたは４２０−４２２変換モードでは、１フィールド遅延が０フィールド遅延および２フィールド遅延より２ライン上にある、という関係になる。

フィールド内演算部１７０は、以下の７通りのフィールド内補間画素を生成して補間画素生成部１７２に出力する。

ｉｎｔｒａ＿０＝ｒｅｆ（０，０，０） ・・・（２２）
ｉｎｔｒａ＿１＝１／２×ｒｅｆ（０，０，０）＋１／２×ｒｅｆ（０，１，０） ・・・（２３）
ｉｎｔｒａ＿ｍ１５＝３／８×ｒｅｆ（０，−１，０）＋５／８×ｒｅｆ（０，０，０） ・・・（２４）
ｉｎｔｒａ＿ｍ０５＝１／８×ｒｅｆ（０，−１，０）＋７／８×ｒｅｆ（０，０，０） ・・・（２５）
ｉｎｔｒａ＿０５＝７／８×ｒｅｆ（０，０，０）＋１／８×ｒｅｆ（０，１，０） ・・・（２６）
ｉｎｔｒａ＿１５＝５／８×ｒｅｆ（０，０，０）＋３／８×ｒｅｆ（０，１，０） ・・・（２７）
ｉｎｔｒａ＿２５＝３／８×ｒｅｆ（０，０，０）＋５／８×ｒｅｆ（０，１，０） ・・・（２８）
ｉｎｔｒａ＿０は、中心画素である。

ｉｎｔｒａ＿１は、４４４モードまたは４２２モードでは、中心画素の１ライン下の位置の補間画素であり、４２０モードでは、中心画素の２ライン下の位置の補間画素である。このｉｎｔｒａ＿１は、４２０−４２２変換モードでは使用されない。

ｉｎｔｒａ＿ｍ１５は、４２０−４２２変換モードのみで使用され、中心画素の１．５ライン上の位置の補間画素である。

ｉｎｔｒａ＿ｍ０５は、４２０−４２２変換モードのみで使用され、中心画素の０．５ライン上の位置の補間画素である。

ｉｎｔｒａ＿０５は、４２０−４２２変換モードのみで使用され、中心画素の０．５ライン下の位置の補間画素である。

ｉｎｔｒａ＿１５は、４２０−４２２変換モードのみで使用され、中心画素の１．５ライン下の位置の補間画素である。

ｉｎｔｒａ＿２５は、４２０−４２２変換モードのみで使用され、中心画素の２．５ライン下の位置の補間画素である。

フィールド間演算部１７１は、ベクトル（Ｘ，Ｙ）を用いて、以下の４通りのフィールド間補間画素を生成して補間画素生成部１７２に出力する。この（Ｘ，Ｙ）は、図１７に示す画素の座標に合わせて垂直成分を補正した動きベクトルと見なすことができる。

ｉｎｔｅｒ＿１＝１／２×ｒｅｆ（−Ｘ，−Ｙ，−１）＋１／２×ｒｅｆ（Ｘ，Ｙ，１） ・・・（２９）
ｉｎｔｅｒ＿ｍ１５＝１／２×（７／８×ｒｅｆ（−Ｘ，−Ｙ−１，−１）＋１／８×ｒｅｆ（−Ｘ，−Ｙ，−１））＋１／２×（７／８×ｒｅｆ（Ｘ，Ｙ−１，１）＋１／８×ｒｅｆ（Ｘ，Ｙ，１））・・・（３０）
ｉｎｔｅｒ＿１５＝１／２×（１／８×ｒｅｆ（−Ｘ，−Ｙ−１，−１）＋７／８×ｒｅｆ（−Ｘ，−Ｙ，−１））＋１／２×（１／８×ｒｅｆ（Ｘ，Ｙ−１，１）＋７／８×ｒｅｆ（Ｘ，Ｙ，１））・・・（３１）
ｉｎｔｅｒ＿２５＝１／２×（７／８×ｒｅｆ（−Ｘ，−Ｙ，−１）＋１／８×ｒｅｆ（−Ｘ，−Ｙ＋１，−１））＋１／２×（７／８×ｒｅｆ（Ｘ，Ｙ，１）＋１／８×ｒｅｆ（Ｘ，Ｙ＋１，１））・・・（３２）
ｉｎｔｅｒ＿１は、４４４モードまたは４２２モードでは、中心画素の１ライン下の位置のフィールド間動き補償補間画素であり、４２０モードでは、中心画素の２ライン下の位置のフィールド間動き補償補間画素である。このｉｎｔｅｒ＿１は、４２０−４２２変換モードでは使用されない。

ｉｎｔｅｒ＿ｍ１５は、４２０−４２２変換モードのみで使用され、中心画素の１．５ライン上の位置のフィールド間動き補償補間画素である。

ｉｎｔｅｒ＿１５は、４２０−４２２変換モードのみで使用され、中心画素の１．５ライン下の位置のフィールド間動き補償補間画素である。

ｉｎｔｅｒ＿２５は、４２０−４２２変換モードのみで使用され、中心画素の２．５ライン下の位置のフィールド間動き補償補間画素である。

補間画素生成部１７２は、フィールド内演算部１７０から出力されるフィールド内補間画素およびフィールド間演算部１７１から出力されるフィールド間補間画素を用いて、以下のようにＲ＿ｏｕｔおよびＩ＿ｏｕｔを生成して出力する。

（１）ｍｏｄｅが４４４モード、４２２モードまたは４２０モードの場合
Ｒ＿ｏｕｔ＝ｉｎｔｒａ＿０ ・・・（３３）
Ｉ＿ｏｕｔ＝Ｋ×ｉｎｔｅｒ＿１＋（１−Ｋ）×ｉｎｔｒａ＿１ ・・・（３４）
（２）ｍｏｄｅが４２０−４２２変換モードの場合
（２．１）ｐｈａｓｅ％４＝０の場合
Ｒ＿ｏｕｔ＝ｉｎｔｒａ＿ｍ０５ ・・・（３５）
Ｉ＿ｏｕｔ＝ｉｎｔｒａ＿０５ ・・・（３６）
（２．２）ｐｈａｓｅ％４＝１の場合
Ｒ＿ｏｕｔ＝Ｋ＿１ｄ×ｉｎｔｅｒ＿ｍ１５＋（１−Ｋ＿１ｄ）×ｉｎｔｒａ＿ｍ１５ ・・・（３７）
Ｉ＿ｏｕｔ＝ｉｎｔｒａ＿ｍ０５ ・・・（３８）
（２．３）ｐｈａｓｅ％４＝２の場合
Ｒ＿ｏｕｔ＝Ｋ＿１ｄ×ｉｎｔｅｒ＿１５＋（１−Ｋ＿１ｄ）×ｉｎｔｒａ＿１５ ・・・（３９）
Ｉ＿ｏｕｔ＝Ｋ×ｉｎｔｅｒ＿２５＋（１−Ｋ）×ｉｎｔｒａ＿２５ ・・・（４０）
（２．４）ｐｈａｓｅ％４＝３の場合
Ｒ＿ｏｕｔ＝ｉｎｔｒａ＿０５ ・・・（４１）
Ｉ＿ｏｕｔ＝Ｋ×ｉｎｔｅｒ＿１５＋（１−Ｋ）×ｉｎｔｒａ＿１５ ・・・（４２）
以上説明した画素補間部１０５の動作をまとめ、それぞれのｍｏｄｅおよびｐｈａｓｅにおけるＹ＿ｒｅｆおよびＣ＿ｒｅｆ内の画素と、Ｙ＿Ｒ、Ｙ＿Ｉ、Ｃ＿ＲおよびＣ＿Ｉに出力される補間画素の垂直位置関係を示すと、図１８〜図２０のようになる。図１８〜図２０に記載された数字は垂直ライン位置を示している。なお、斜線が施された箇所は、その状態において参照されない画素またはデータを示している。

図１８は、ｍｏｄｅが４２２モードの場合の画素補間部１０５の動作を説明するための図である。図１８（ａ）に示すように、ｐｈａｓｅが２ｎであり、Ｙ＿ｒｅｆおよびＣ＿ｒｅｆ内の画素が図に示す状態の場合には、Ｙ＿ＲおよびＣ＿Ｒとしてライン８の画素が出力され、Ｙ＿ＩおよびＣ＿Ｉとして補間されたライン９の画素が出力される。このとき、ＭＶ位置として、ライン９に対応した動きベクトルＭＶが入力され、ライン７に対応した１ライン遅延の動きベクトルＭＶ＿１ｄが入力される。

また、図１８（ｂ）に示すように、ｐｈａｓｅが２ｎ＋１であり、Ｙ＿ｒｅｆおよびＣ＿ｒｅｆ内の画素が図に示す状態の場合には、Ｙ＿ＲおよびＣ＿Ｒとしてライン９の画素が出力され、Ｙ＿ＩおよびＣ＿Ｉとして補間されたライン１０の画素が出力される。このとき、ＭＶ位置として、ライン１０に対応した動きベクトルＭＶが入力され、ライン８に対応した１ライン遅延の動きベクトルＭＶ＿１ｄが入力される。

図１９は、ｍｏｄｅが４２０モードの場合の画素補間部１０５の動作を説明するための図である。図１９（ａ）に示すように、ｐｈａｓｅが４ｎであり、Ｙ＿ｒｅｆおよびＣ＿ｒｅｆ内の画素が図に示す状態の場合には、Ｙ＿Ｒとしてライン８の輝度データが出力され、Ｙ＿Ｉとして補間されたライン９の輝度データが出力される。また、Ｃ＿Ｒとしてライン８．５の色差データが出力され、Ｃ＿Ｉとして補間されたライン１０．５の色差データが出力される。このとき、ＭＶ位置として、ライン９に対応した動きベクトルＭＶが入力され、ライン７に対応した１ライン遅延の動きベクトルＭＶ＿１ｄが入力される。

なお、Ｃ＿ｒｅｆ内にライン８．５に対応する色差データが存在するため、Ｃ＿Ｒとしてライン８．５に対応する色差データがそのまま出力される。また、Ｃ＿Ｉとして補間画素であるライン１０．５の色差データも出力されるが、この補間画素の色差データは使用されない。

図１９（ｂ）に示すように、ｐｈａｓｅが４ｎ＋１であり、Ｙ＿ｒｅｆおよびＣ＿ｒｅｆ内の画素が図に示す状態の場合には、Ｙ＿Ｒとしてライン９の輝度データが出力され、Ｙ＿Ｉとして補間されたライン１０の輝度データが出力される。また、Ｃ＿Ｒとしてライン１０．５の色差データが出力され、Ｃ＿Ｉとして補間されたライン１２．５の画素が出力される。このとき、ＭＶ位置として、ライン１０に対応した動きベクトルＭＶが入力され、ライン８に対応した１ライン遅延の動きベクトルＭＶ＿１ｄが入力される。

なお、Ｃ＿ｒｅｆ内にライン１０．５に対応する色差データが存在するため、Ｃ＿Ｒとしてライン１０．５に対応する色差データがそのまま出力される。また、Ｃ＿Ｉとして補間画素であるライン１２．５の色差データも出力されるが、この補間画素の色差データは使用されない。

図１９（ｃ）に示すように、ｐｈａｓｅが４ｎ＋２であり、Ｙ＿ｒｅｆおよびＣ＿ｒｅｆ内の画素が図に示す状態の場合には、Ｙ＿Ｒとしてライン１０の輝度データが出力され、Ｙ＿Ｉとして補間されたライン１１の輝度データが出力される。また、Ｃ＿Ｒとしてライン８．５の色差データが出力され、Ｃ＿Ｉとして補間されたライン１０．５の色差データが出力される。このとき、ＭＶ位置として、ライン１１に対応した動きベクトルＭＶが入力され、ライン９に対応した１ライン遅延の動きベクトルＭＶ＿１ｄが入力される。

なお、Ｃ＿ｒｅｆ内にライン１０．５に対応する色差データが存在しないため、ライン１０．５に対応した補間画素の色差データＣ＿Ｉが生成される。このとき、フィールド間補間が行なわれる場合には、Ｃ＿ｒｅｆ内の前フィールドおよび後フィールドのライン６．５、１０．５、１４．５の色差データが参照され得る。また、フィールド内補間が行なわれる場合には、Ｃ＿ｒｅｆ内の現フィールドのライン８．５、１２．５の色差データが参照され得る。Ｃ＿Ｒとしてライン８．５に対応する色差データも出力されるが、この色差データは使用されない。

図１９（ｄ）に示すように、ｐｈａｓｅが４ｎ＋３であり、Ｙ＿ｒｅｆおよびＣ＿ｒｅｆ内の画素が図に示す状態の場合には、Ｙ＿Ｒとしてライン１１の輝度データが出力され、Ｙ＿Ｉとして補間されたライン１２の輝度データが出力される。また、Ｃ＿Ｒとしてライン１０．５の色差データが出力され、Ｃ＿Ｉとして補間されたライン１２．５の色差データが出力される。このとき、ＭＶ位置として、ライン１２に対応した動きベクトルＭＶが入力され、ライン１０に対応した１ライン遅延の動きベクトルＭＶ＿１ｄが入力される。

なお、Ｃ＿ｒｅｆ内にライン１２．５に対応する色差データが存在しないため、ライン１２．５に対応した補間画素の色差データＣ＿Ｉが生成される。このとき、フィールド間補間が行なわれる場合には、Ｃ＿ｒｅｆ内の前フィールドおよび後フィールドのライン８．５、１２．５、１６．５の色差データが参照され得る。また、フィールド内補間が行なわれる場合には、Ｃ＿ｒｅｆ内の現フィールドのライン１０．５、１４．５の色差データが参照され得る。Ｃ＿Ｒとしてライン１０．５に対応する色差データも出力されるが、この色差データは使用されない。

図２０は、ｍｏｄｅが４２０−４２２変換モードの場合の画素補間部１０５の動作を説明するための図である。図２０（ａ）に示すように、ｐｈａｓｅが４ｎであり、Ｙ＿ｒｅｆおよびＣ＿ｒｅｆ内の画素が図に示す状態の場合には、Ｙ＿Ｒとしてライン８の輝度データが出力され、Ｙ＿Ｉとして補間されたライン９の輝度データが出力される。また、Ｃ＿Ｒとして補間されたライン８の色差データが出力され、Ｃ＿Ｉとして補間されたライン９の色差データが出力される。このとき、ＭＶ位置として、ライン９に対応した動きベクトルＭＶが入力される。また、ライン７に対応した１ライン遅延の動きベクトルＭＶ＿１ｄも入力されるが、使用されない。

なお、Ｃ＿ｒｅｆ内にライン８、９に対応する色差データが存在しないため、ライン８、９に対応した補間画素の色差データＣ＿Ｒ、Ｃ＿Ｉがフィールド内補間によって生成される。フィールド内補間が行なわれるときに、Ｃ＿ｒｅｆ内の現フィールドのライン４．５、８．５、１２．５の色差データが参照される。

図２０（ｂ）に示すように、ｐｈａｓｅが４ｎ＋１であり、Ｙ＿ｒｅｆおよびＣ＿ｒｅｆ内の画素が図に示す状態の場合には、Ｙ＿Ｒとしてライン９の輝度データが出力され、Ｙ＿Ｉとして補間されたライン１０の輝度データが出力される。また、Ｃ＿Ｒとして補間されたライン９の色差データが出力され、Ｃ＿Ｉとして補間されたライン１０の色差データが出力される。このとき、ＭＶ位置として、ライン１０に対応した動きベクトルＭＶが入力され、ライン８に対応した１ライン遅延の動きベクトルＭＶ＿１ｄが入力される。

なお、Ｃ＿ｒｅｆ内にライン９、１０に対応する色差データが存在しないため、ライン９、１０に対応した補間画素の色差データＣ＿Ｒ、Ｃ＿Ｉがフィールド内補間およびフィールド間補間によって生成される。フィールド内補間が行なわれるときに、Ｃ＿ｒｅｆ内の現フィールドのライン６．５、１０．５の色差データが参照される。また、フィールド間補間が行なわれるときに、Ｃ＿ｒｅｆ内の前フィールドおよび後フィールドのライン４．５、８．５、１２．５、１６．５の色差データが参照され得る。

図２０（ｃ）に示すように、ｐｈａｓｅが４ｎ＋２であり、Ｙ＿ｒｅｆおよびＣ＿ｒｅｆ内の画素が図に示す状態の場合には、Ｙ＿Ｒとしてライン１０の輝度データが出力され、Ｙ＿Ｉとして補間されたライン１１の輝度データが出力される。また、Ｃ＿Ｒとして補間されたライン１０の色差データが出力され、Ｃ＿Ｉとして補間されたライン１１の色差データが出力される。このとき、ＭＶ位置として、ライン１１に対応した動きベクトルＭＶが入力され、ライン９に対応した１ライン遅延の動きベクトルＭＶ＿１ｄが入力される。

なお、Ｃ＿ｒｅｆ内にライン１０、１１に対応する色差データが存在しないため、ライン１０、１１に対応した補間画素の色差データＣ＿Ｒ、Ｃ＿Ｉがフィールド内補間およびフィールド間補間によって生成される。フィールド内補間が行なわれるときに、Ｃ＿ｒｅｆ内の現フィールドのライン８．５、１２．５の色差データが参照される。また、フィールド間補間が行なわれるときに、Ｃ＿ｒｅｆ内の前フィールドおよび後フィールドのライン２．５、６．５、１０．５、１４．５、１８．５の色差データが参照され得る。

図２０（ｄ）に示すように、ｐｈａｓｅが４ｎ＋３であり、Ｙ＿ｒｅｆおよびＣ＿ｒｅｆ内の画素が図に示す状態の場合には、Ｙ＿Ｒとしてライン１１の輝度データが出力され、Ｙ＿Ｉとして補間されたライン１２の輝度データが出力される。また、Ｃ＿Ｒとして補間されたライン１１の色差データが出力され、Ｃ＿Ｉとして補間されたライン１２の色差データが出力される。このとき、ＭＶ位置として、ライン１２に対応した動きベクトルＭＶが入力される。また、ライン１０に対応した１ライン遅延の動きベクトルＭＶ＿１ｄも入力されるが、使用されない。

なお、Ｃ＿ｒｅｆ内にライン１１、１２に対応する色差データが存在しないため、ライン１１、１２に対応した補間画素の色差データＣ＿Ｒ、Ｃ＿Ｉがフィールド内補間およびフィールド間補間によって生成される。フィールド内補間が行なわれるときに、Ｃ＿ｒｅｆ内の現フィールドのライン１０．５、１４．５の色差データが参照される。また、フィールド間補間が行なわれるときに、Ｃ＿ｒｅｆ内の前フィールドおよび後フィールドのライン４．５、８．５、１２．５、１６．５の色差データが参照され得る。

図２１は、倍速変換部１０６の構成例を示す図である。この倍速変換部１０６は、ラインメモリ１９０〜１９７と、セレクタ１９８および１９９と、スイッチ２０１〜２０８とを含む。

たとえば、ラインメモリ１９０および１９１は、Ｙ＿Ｒ用のダブルバッファとして使用される。ラインメモリ１９０および１９１に交互に１ライン分のデータが入力されるように、スイッチ２０１が切り替えられる。また、ラインメモリ１９０および１９１からのデータ出力は倍速で行なわれ、交互に１ライン分のデータが出力されるように、スイッチ２０５が切り替えられる。

ラインメモリ１９０または１９１へのデータ入力と、ラインメモリ１９０または１９１からのデータ出力とは排他的に行なわれる。すなわち、ラインメモリ１９０にデータが入力されている場合には、スイッチ２０５によってラインメモリ１９１がセレクタ１９８に接続され、ラインメモリ１９１のデータがセレクタ１９８に出力される。また、ラインメモリ１９１にデータが入力されている場合には、スイッチ２０５によってラインメモリ１９０がセレクタ１９８に接続され、ラインメモリ１９０のデータがセレクタ１９８に出力される。

同様にして、ラインメモリ１９２および１９３がＹ＿Ｉ用のダブルバッファとして使用され、ラインメモリ１９４および１９５がＣ＿Ｒ用のダブルバッファとして使用され、ラインメモリ１９６および１９７がＣ＿Ｉ用のダブルバッファとして使用される。スイッチ２０２〜２０４および２０６〜２０８の切り替えは、スイッチ２０１および２０２の切り替えと同様である。

セレクタ１９８は、Ｙ＿ＲのデータとＹ＿Ｉのデータとを交互に選択し、Ｙ＿ｏｕｔとして出力する。また、セレクタ１９９は、Ｃ＿ＲのデータとＣ＿Ｉのデータとを交互に選択し、Ｃ＿ｏｕｔとして出力する。

図２２は、４４４モード、４２２モードまたは４２０−４２２変換モードの場合の倍速変換部１０６の動作を説明するためのタイミングチャートである。図２２（ａ）は、補間対象が偶数フィールドの場合を示している。たとえば、ｐｈａｓｅ＝０において、ライン０のＹ＿Ｒのデータがラインメモリ１９０に格納され、ライン１のＹ＿Ｉのデータがラインメモリ１９２に格納される。

次のｐｈａｓｅ＝２において、ライン２のＹ＿Ｒのデータがラインメモリ１９１に格納されると共に、ラインメモリ１９０からライン０のＹ＿Ｒのデータが出力される。また、ライン３のＹ＿Ｉのデータがラインメモリ１９３に格納されると共に、ラインメモリ１９２からライン１のＹ＿Ｉのデータが出力される。

セレクタ１９８は、ラインメモリ１９０から出力されるライン０のＹ＿Ｒのデータと、ラインメモリ１９２から出力されるライン１のＹ＿Ｉのデータとを切り替えて、Ｙ＿ｏｕｔとして出力する。なお、Ｃ＿ＲおよびＣ＿Ｉについても同様の動作が行なわれる。

図２２（ｂ）は、補間対象が奇数フィールドの場合を示している。たとえば、ｐｈａｓｅ＝１において、ライン１のＹ＿Ｒのデータがラインメモリ１９０に格納され、ライン２のＹ＿Ｉのデータがラインメモリ１９２に格納される。

次のｐｈａｓｅ＝３において、ライン３のＹ＿Ｒのデータがラインメモリ１９１に格納されると共に、ラインメモリ１９０からライン１のＹ＿Ｒのデータが出力される。また、ライン４のＹ＿Ｉのデータがラインメモリ１９３に格納されると共に、ラインメモリ１９２からライン２のＹ＿Ｉのデータが出力される。

セレクタ１９８は、ラインメモリ１９０から出力されるライン１のＹ＿Ｒのデータと、ラインメモリ１９２から出力されるライン２のＹ＿Ｉのデータとを切り替えて、Ｙ＿ｏｕｔとして出力する。なお、Ｃ＿ＲおよびＣ＿Ｉについても同様の動作が行なわれる。

このように、Ｙ＿Ｒ、Ｙ＿Ｉ、Ｃ＿ＲおよびＣ＿Ｉのデータをバッファリングし、次のライン期間の前半にＹ＿ＲおよびＣ＿Ｒのデータを出力し、後半にＹ＿ＩおよびＣ＿Ｉのデータを出力するといった動作を繰り返す。

図２３は、４２０モードの場合の倍速変換部１０６の動作を説明するためのタイミングチャートである。図２３（ａ）は、補間対象が偶数フィールドの場合を示している。また、図２３（ｂ）は、補間対象が奇数フィールドの場合を示している。輝度データＹ＿ＲおよびＹ＿Ｉのデータの処理については、図２２のタイミングチャートに示す動作と同様である。

図２３において、斜線が施された輝度データは使用されないことを示している。色差データＣ＿ＲおよびＣ＿Ｉの処理については、以下のようになる。

（１）ｐｈａｓｅ％４＝０でラインメモリに格納されたＣ＿Ｒのデータが、次のライン期間の前半で出力され、後半には輝度データが出力されない。

（２）ｐｈａｓｅ％４＝１でラインメモリに格納されたＣ＿Ｒのデータが、次のライン期間の後半で出力され、前半には輝度データが出力されない。

（３）ｐｈａｓｅ％４＝２でラインメモリに格納されたＣ＿Ｉのデータが、次のライン期間の前半で出力され、後半には輝度データが出力されない。

（４）ｐｈａｓｅ％４＝３でラインメモリに格納されたＣ＿Ｉのデータが、次のライン期間の後半で出力され、前半には輝度データが出力されない。

以上説明したように、本実施の形態におけるＩＰ変換装置によれば、４２０モードにおいて、色差補間部１６１内の論理回路１７３が、ＭＶｘ（動きベクトルの水平成分）が２の倍数で、かつＭＶｙ（動きベクトルの垂直成分）が４の倍数の場合に、動き補償混合比ｋを有効として補間画素生成部１７２に出力する。また、論理回路１７９がＭＶｙを１／４とし、セレクタ１８０がそれを選択してフィールド間演算部１７１に出力する。フィールド間演算部１７１は、中心画素の２ライン下のフィールド間動き補償補間画素ｉｎｔｅｒ＿１を計算して補間画素生成部１７２に出力する。そして、補間画素生成部１７２が、有効な動き補償混合比ｋとｉｎｔｅｒ＿１とに基づいてＩ＿ｏｕｔを生成して出力するようにした。

これによって、４２０モードの特定の条件において補間位置に近い位置の動きベクトルを用いてフィールド間補間が行なえるようになり、適切な動きベクトルが存在する場合には、プログレッシブ画像の色差の解像度を向上させることが可能となった。

また、４２０−４２２変換モードにおいて、色差補間部１６１内の論理回路１７３が、ＭＶｘが２の倍数で、かつＭＶｙが４の倍数の場合に、動き補償混合比ｋを有効として補間画素生成部１７２に出力する。また、論理回路１７４〜１７６は、動きベクトルＭＶと１つ上の動きベクトルＭＶ＿１ｄとが等しい場合に、１つ上の動き補償混合比ｋ＿１ｄを有効として論理回路１７７に出力する。論理回路１７７は、ｋ＿１ｄをｋ以下にクリップする。また、論理回路１７９がＭＶｙを１／４とし、セレクタ１８０がそれを選択してフィールド間演算部１７１に出力する。フィールド間演算部１７１は、中心画素の１．５ライン上、１．５ライン下、および２．５ライン下のフィールド間動き補償補間画素ｉｎｔｅｒ＿ｍ１５、ｉｎｔｅｒ＿１５、およびｉｎｔｅｒ＿２５を計算して補間画素生成部１７２に出力する。そして、補間画素生成部１７２が、有効な動き補償混合比ｋおよびｋ＿１ｄと、ｉｎｔｅｒ＿ｍ１５、ｉｎｔｅｒ＿１５、およびｉｎｔｅｒ＿２５とに基づいてＩ＿ｏｕｔを生成して出力するようにした。

これによって、４２０−４２２変換モードの特定の条件において補間位置に近い位置の動きベクトルを用いてフィールド間補間が行なえるようになり、適切な動きベクトルが存在する場合には、プログレッシブ画像の色差の解像度を向上させることが可能となった。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 動き補償補間回路、１０１ 入力画像用メモリ、１０２ 輝度遅延部、１０３ 色差遅延部、１０４ 動き検出部、１０５ 画素補間部、１０６ 倍速変換部、１０７ 補間モード制御部、１１０，１１１ １フィールド遅延部、１２０ 出力画像用メモリ、１３０ ライン遅延用メモリ、１４０〜１４６ （１８＋Ｄ）段シフトレジスタ、１５０，１５１ １ライン遅延部、１６０ 輝度補間部、１６１ 色差補間部、１７０ フィールド内演算部、１７１ フィールド間演算部、１７２ 補間画素生成部、１７３〜１７９ 論理回路、１８０ セレクタ、１９０〜１９７ ラインメモリ、１９８，１９９ セレクタ、２０１〜２０８ スイッチ。

Claims (13)

1. 輝度データのライン位置が色差データのライン位置とずれている色フォーマットのインタレース方式の入力画像を、プログレッシブ方式の出力画像に変換する半導体装置であって、
   輝度データの動きベクトルを検出する動き検出手段と、
   輝度データを遅延させることによって、補間対象の画素の輝度データを生成するときの参照範囲の輝度データを生成する輝度遅延手段と、
   前記動き検出手段によって検出された動きベクトルを参照して、前記輝度遅延手段によって生成された参照範囲の輝度データから補間対象の画素の輝度データを生成する輝度補間手段と、
   色差データを遅延させることによって、補間対象の画素の色差データを生成するときの参照範囲の色差データを生成する色差遅延手段と、
   前記動き検出手段によって検出された動きベクトルを参照して、前記色差遅延手段によって生成された参照範囲の色差データから補間対象の画素の色差データを生成する色差補間手段とを含み、
   前記色差補間手段は、色差データを補間する画素位置に動きベクトルが存在しない場合には、最も近い動きベクトルを参照して動き補償補間を行なう、半導体装置。
2. 前記入力画像は４：２：０形式の画像データであり、前記出力画像は４：２：０形式の画像データである、請求項１記載の半導体装置。
3. 前記色差補間手段は、色差データを補間する画素位置に動きベクトルが存在しない場合には、色差データを補間する画素位置と水平位置が同じであり、かつ垂直位置が０．５ライン以内の動きベクトルを参照して動き補償補間を行なう、請求項１または２記載の半導体装置。
4. 前記色差補間手段は、色差データを補間する画素位置に動きベクトルが存在しない場合には、色差データを補間する画素位置と水平位置が同じであり垂直位置が０．５ライン以内の動きベクトルを抽出し、当該動きベクトルの水平成分が２の倍数であり、かつ垂直成分が４の倍数の場合には、当該動きベクトルを参照して動き補償補間を行なう、請求項３記載の半導体装置。
5. 前記色差補間手段は、動き補償補間を行なう際に、前記色差遅延手段によって生成された前フィールドおよび後フィールドの色差データの中の当該動きベクトルに対応する色差データを用いてフィールド間補間を行なう、請求項４記載の半導体装置。
6. 前記色差補間手段は、前記色差遅延手段によって生成された現フィールドの色差データの中でフィールド内補間を行ない、前記フィールド間補間によって生成された色差データと前記フィールド内補間によって生成された色差データとを、当該動きベクトルに対応する動き補償混合比で混合する、請求項５記載の半導体装置。
7. 前記入力画像は４：２：０形式の画像データであり、前記出力画像は４：２：２形式の画像データである、請求項１記載の半導体装置。
8. 前記色差補間手段は、色差データを補間する画素位置に動きベクトルが存在しない場合には、色差データを補間する画素位置と水平位置が同じであり、かつ垂直位置が１ライン上の位置に存在する動きベクトルと１ライン下の位置に存在する動きベクトルとが同じ場合に、当該動きベクトルを参照して動き補償補間を行なう、請求項１または７記載の半導体装置。
9. 前記色差補間手段は、色差データを補間する画素位置に動きベクトルが存在しない場合であり、色差データを補間する画素位置と水平位置が同じであり、かつ垂直位置が１ライン上の位置に存在する動きベクトルと１ライン下の位置に存在する動きベクトルとが同じであれば、当該動きベクトルの水平成分が２の倍数であり、かつ垂直成分が４の倍数の場合に、当該動きベクトルを参照して動き補償補間を行なう、請求項８記載の半導体装置。
10. 前記色差補間手段は、動き補償補間を行なう際に、前記色差遅延手段によって生成された前フィールドの色差データを用いて当該動きベクトルに対応する位置の色差データを補間し、前記色差遅延手段によって生成された後フィールドの色差データを用いて当該動きベクトルに対応する位置の色差データを補間して、フィールド間補間を行なう、請求項９記載の半導体装置。
11. 前記色差補間手段は、前記色差遅延手段によって生成された現フィールドの色差データの中でフィールド内補間を行ない、前記フィールド間補間によって生成された色差データと前記フィールド内補間によって生成された色差データとを、当該動きベクトルに対応する動き補償混合比で混合する、請求項１０記載の半導体装置。
12. 前記色差補間手段は、色差データを補間する画素位置に動きベクトルが存在する場合には、当該動きベクトルを参照して動き補償補間を行なう、請求項１または７記載の半導体装置。
13. 前記色差補間手段は、色差データを補間する画素位置に動きベクトルが存在する場合であり、当該動きベクトルの水平成分が２の倍数であり、かつ垂直成分が４の倍数の場合には、当該動きベクトルを参照して動き補償補間を行なう、請求項１２記載の半導体装置。

Images