JP2005333254A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 インタレース画像信号を基に高品質なプログレッシブ画像信号を生成することができる画像処理装置およびその方法を提供する。
【解決手段】 フィールド画像信号Ｆ_t としてフィルム画像信号やＣＧ画像信号を入力した場合、動き不連続検出回路２６が生成した混合比データＭＩＸＲ２を基に、混合回路３０において、フィールド画像信号Ｆ_ｔ−１１が高い比率でフィールド画像信号Ｆ_ｔ−１２と混合される。
【選択図】図６

Description

本発明は、動画像信号を構成するインタレース画像信号をプログレッシブ画像信号に変換する画像処理装置およびその方法に関する。

テレビジョン放送による映像信号、並びにビデオカセットやＤＶＤ(Digital Versatile Disc) などの記録メディアに録画されている映像信号などは、奇数フィールド画像と偶数フィールド画像が交互に配置されたインタレース画像信号である。
これに対して、液晶ディスプレイやプラズマディスプレイと言った平面ディスプレイは、連続的に走査を行うプログレッシブ画像信号である。
従来から、インタレース画像信号をプログレッシブ画像信号に変換する画像処理装置がある。
上述した従来の画像処理装置は、例えば、インタレース画像信号を構成するフィールド画像信号内に存在するラインを基に、当該フィールド画像信号に存在しないラインを補間してプログレッシブ画像信号を構成するフレーム画像信号を生成している。

特開２００３−１７９８８４号公報

しかしながら、上述した従来の画像処理装置では、プログレッシブ画像信号の品質が低いという問題がある。

本発明は、上述した従来技術の問題点に鑑み、インタレース画像信号を基に高品質なプログレッシブ画像信号を生成することができる画像処理装置およびその方法を提供することを目的とする。

上述した従来技術の問題点を解決し、上述した目的を達成するために、第１の発明の画像処理装置は、動画像信号を構成するインタレース画像信号をプログレッシブ画像信号に変換する画像処理装置であって、前記インタレース画像信号内の処理対象のフィールド画像信号と、当該フィールド画像信号の１フィールド前後のフィールド画像信号とを基に、これら３つのフィールド画像信号の連続性を検出する連続性検出回路と、前記前後のフィールド画像信号の間の動きベクトルを基に、前記前後のフィールド画像信号の少なくとも一方を、１フィールド周期分移動して前記処理対象のフィールド画像信号内に存在しないラインで構成される第１のフィールド画像信号を生成する移動回路と、前記連続性検出回路が検出した前記連続性を基に混合比を決定し、前記処理対象のフィールド画像信号内に存在しないラインを当該処理対象のフィールド画像信号に存在するラインを基に補間して得た第２のフィールド画像信号と、前記移動回路が生成した第１のフィールド画像信号とを前記混合比で混合して前記プログレッシブ信号を構成する第３のフィールド画像信号を生成する画像信号生成回路とを有する。

第１の発明の画像処理装置の作用は以下のようになる。
連続性検出回路が、インタレース画像信号内の処理対象のフィールド画像信号と、当該フィールド画像信号の１フィールド前後のフィールド画像信号とを基に、これら３つのフィールド画像信号の連続性を検出する。
次に、移動回路が、前記前後のフィールド画像信号の間の動きベクトルを基に、前記前後のフィールド画像信号の少なくとも一方を、１フィールド周期分移動して前記処理対象のフィールド画像信号内に存在しないラインで構成される第１のフィールド画像信号を生成する。
次に、画像信号生成回路が、前記連続性検出回路が検出した前記連続性を基に混合比を決定し、前記処理対象のフィールド画像信号内に存在しないラインを当該処理対象のフィールド画像信号に存在するラインを基に補間して得た第２のフィールド画像信号と、前記移動回路が生成した第１のフィールド画像信号とを前記混合比で混合して前記プログレッシブ信号を構成する第３のフィールド画像信号を生成する。

第２の発明の画像処理方法は、動画像信号を構成するインタレース画像信号をプログレッシブ画像信号に変換する画像処理方法であって、前記インタレース画像信号内の処理対象のフィールド画像信号と、当該フィールド画像信号の１フィールド前後のフィールド画像信号とを基に、これら３つのフィールド画像信号の連続性を検出する第１の工程と、前記前後のフィールド画像信号の間の動きベクトルを基に、前記前後のフィールド画像信号の少なくとも一方を、１フィールド周期分移動して前記処理対象のフィールド画像信号内に存在しないラインで構成される第１のフィールド画像信号を生成する第２の工程と、前記第１の工程で検出した前記連続性を基に混合比を決定する第３の工程と、前記処理対象のフィールド画像信号内に存在しないラインを当該処理対象のフィールド画像信号に存在するラインを基に補間して得た第２のフィールド画像信号と、前記第２の工程で生成した第１のフィールド画像信号とを、前記第３の工程で決定した前記混合比で混合して前記プログレッシブ信号を構成する第３のフィールド画像信号を生成する第４の工程とを有する。

第２の発明の画像処理方法は、第１の工程において、インタレース画像信号内の処理対象のフィールド画像信号と、当該フィールド画像信号の１フィールド前後のフィールド画像信号とを基に、これら３つのフィールド画像信号の連続性を検出する。
また、第２の工程において、前記前後のフィールド画像信号の間の動きベクトルを基に、前記前後のフィールド画像信号の少なくとも一方を、１フィールド周期分移動して前記処理対象のフィールド画像信号内に存在しないラインで構成される第１のフィールド画像信号を生成する。
そして、第３の工程において、前記第１の工程で検出した前記連続性を基に混合比を決定する。
そして、第４の工程において、前記処理対象のフィールド画像信号内に存在しないラインを当該処理対象のフィールド画像信号に存在するラインを基に補間して得た第２のフィールド画像信号と、前記第２の工程で生成した第１のフィールド画像信号とを、前記第３の工程で決定した前記混合比で混合して前記プログレッシブ信号を構成する第３のフィールド画像信号を生成する。

本発明によれば、インタレース画像信号を基に高品質なプログレッシブ画像信号を生成することができる画像処理装置およびその方法を提供することができる。

〔本発明の関連技術〕
図１は、本発明の関連技術に係わる画像処理回路１００の構成図である。
画像処理回路１００は、インタレース信号をプログレッシブ信号に変換する回路である。
図１に示すように、画像処理回路１００は、入力端子１０２、フィールドメモリ１０４、フィールドメモリ１０６、フィールド内補間回路１０８、動きベクトル検出回路１１０、移動回路１１２、混合比判定回路１１４、混合回路１１６、倍速変換回路１１８および出力端子１２０を有する。

図１に示す画像処理回路１００では、入力端子１０２から入力されたフィールド画像信号Ｆ_tが、フィールドメモリ１０４および動きベクトル検出回路１１０に出力される。
フィールドメモリ１０４は入力したフィールド画像信号Ｆ_tを１フィールド期間（周期）だけ遅延して、フィールド内補間回路１０８およびフィールドメモリ１０６に出力する。
以下、フィールド画像信号Ｆ_tの１フィールド前のフィールド画像信号をフィールド画像信号Ｆ_t-1と記述する。
フィールド内補間回路１０８は、入力されたフィールド画像信号Ｆ_t-1に存在しないライン（以下、補間ラインと記述する）の画素を、存在するラインの画素を用いて補間したフィールド画像信号Ｆ’_t-1を生成し、これを混合回路１１６に出力する。
フィールド内補間回路１０８は、例えば、フィールド画像信号Ｆ_t-1の補間ラインをはさむ上下２ラインの平均値を用いてフィールド画像信号Ｆ’_t-1を生成する。

フィールドメモリ１０６は、入力したフィールド画像信号Ｆ_t-1を１フィールド期間だけ遅延して、動きベクトル検出回路１１０および移動回路１１２に出力する。
以下、フィールド画像信号Ｆ_tに対して２フィールド以前のフィールド画像信号を、フィールド画像信号Ｆ_t-2と記述する。
動きベクトル検出回路１１０は、ブロックマッチング法により、入力された２フィールド期間分だけ間隔が空いたフィールド画像信号Ｆ_t、Ｆ_t-2の画面上における物体の動きベクトルを算出する。
そして、動きベクトル検出回路１１０は、当該算出したフレーム間の動きベクトルを、当該動きベクトルの信頼度を示すブロック差分値とともに移動回路１１２に出力する。
また、動きベクトル検出回路１１０は、上記ブロック差分値を混合比判定回路１１４に出力する。

移動回路１１２は、動きベクトル検出回路１１０から入力された動きベクトルの１／２（すなわち１フィールド期間分に相当する動きベクトル）だけ、フィールドメモリ１０６から入力されたフィールド画像信号Ｆ_t-2を平行移動して混合回路１１６に出力する。
混合比判定回路１１４は、動きベクトル検出回路１１０から入力された動きベクトルの信頼度を示すブロック差分値に基づき、混合回路１１６における補間されたフィールド画像信号Ｆ’_t-1と平行移動されたフィールド画像信号Ｆ_t-2との同一座標に位置する画素の混合比をブロック単位で決定して混合回路１１６に出力する。
当該ブロック差分値は、例えば、ブロックマッチング法における動きベクトル検出に使用したＦ_t〜Ｆ_t-2間の最少ブロック差分値を示している。
混合比判定回路１１４は、例えば、ブロック差分値が小さく、動きベクトルの信頼度が高いと判定できる場合、フィールド画像信号Ｆ_t-2の画素を混合する割合を多く、Ｆ’_t-1の画素を混合する割合が少なくなるように混合比を決定する。
一方、混合比判定回路１１４は、ブロック差分値が大きく、動きベクトルの信頼度が低いと判定できる場合、フィールド画像信号Ｆ_t-2の画素を混合する割合が少なく、Ｆ’_t-1の画素を混合する割合が多くなるように混合比を決定する。

混合回路１１６は、混合比判定回路１１４から入力された混合比に基づき、補間されたフィールド画像信号Ｆ’_t-1と平行移動されたフィールド画像信号Ｆ_t-2との同一座標に位置する画素を混合することにより、フィールド画像信号Ｆ_t-1に対応する補間ラインを生成して倍速変換回路１１８に出力する。
倍速変換回路１１８は、フィールドメモリ１０４から出力されたフィールド画像信号Ｆ_t-1に実在するラインと、混合回路１１６から入力された、フィールド画像信号Ｆ_t-1に対応する補間ラインとを、入力時の２倍の水平走査周期で交互に出力することによってフレーム画像信号（順次走査画像信号）Ｈ_t-1を生成し、これを出力端子１２０に出力する。

図２は、図１に示す画像処理回路１００の処理を模式的に表した図である。
画像処理回路１００では、フィールド内補間回路１０８において、フィールド画像信号Ｆ_t-1上の画素ｘの画素データを、画素ｘの上下に存在する画素ｂ、ｃの画素データを基に補間を行って生成する。
また、動きベクトル検出回路１１０が、フィールドＦ_t-2上に存在するブロックＡとフィールドＦ_t上に存在するブロックＢより動きベクトルｍｖ１を生成する。
移動回路１１２は、上記動きベクトルｍｖ１から得た動きベクトルｍｖ１／２と、画素ｘに相当するＦ_t-2上の画素ａとを基に、画素ｘの画素データを生成する。
そして、混合回路１１６において、フィールド内補間回路１０８が生成した画素データと、移動回路１１２が生成した画素データとを、混合比判定回路１１４で上述したように決定した混合比で混合する。

図１に示す画像処理回路１００では、図３に示すように、連続して平行移動する物体に対して、物体の動きを予測して補間画素データを求めることにより正しい補間画素データを生成することが可能である。
しかしながら、この従来方式には次のような問題がある。それは図２を見るとわかるように、フィールド画像信号Ｆ_t-2とフィールド画像信号Ｆｔとの間で求めた動きベクトルをＦ_t-2からＦ_t-1への補間に適応するため、Ｆ_t-2からＦ_t-1への動きベクトルとＦ_t-1からＦｔへの動きベクトルが一致していないと正しい補間画素を求めることができないという問題である。

映画やテレビコマーシャル映像に使われているフィールド画像信号（以下フィルム画像信号と記述する）は、図４（Ａ），（Ｂ）に示すように、２−２プルダウン処理あるいは３−２プルダウン処理が施されており、同じ時間の画像を２回ないし３回繰り返して表示する信号である。このような信号では、像の動きが不連続となる。
また、近年コンピュータによる画像処理技術の発達により、コンピュータグラフィックス画像（以下ＣＧ画像と記述する）が放送されることが多くなっているが、ＣＧ画像信号も同じ画像を数回繰り返してから、次の画像に移る方式であるため、フィルム画像信号と同様、像の動きが不連続となる。

図１に示す画像処理回路１００では、物体が連続的に動いているものとみなして補間画像を生成するため、フィルム画像信号やＣＧ画像信号に対して変換処理を行うと、図５に示すように補間画像と原画像がずれて組み合わさった画像になってしまい、画像の品位が落ちてしまうという問題があった。
この問題に対する対策として、連続するフィールド画像信号の相関パターンにより、フィルム画像かどうかの検出を行い、フィルム画像に対しては動き補正を行わないようにする方法が考えられるが、この方法の場合、「フィルム画像と通常画像」あるいは「ＣＧ画像と通常画像」が混ざった画像に対しては、正しい検出を行うことが出来ない。また、伝送ノイズの多い画像に対してはフィルム画像検出自体が難しく図５に示した問題が出てしまう。

以下、上述した関連技術の問題点を解決した本発明の実施形態に係わる画像処理回路について説明する。
〔第１実施形態〕
図６は、本発明の第１実施形態の画像処理装置１の構成図である。
図６に示すように、画像処理装置１は、例えば、入力端子１２、フィールドメモリ１４、フィールドメモリ１６、フィールド内補間回路１８、動きベクトル検出回路２０、移動回路２２、混合比判定回路２４、動き不連続検出回路２６、比較回路２８、混合回路３０、倍速変換回路３２および出力端子３４を有する。

先ず、図６に示す各構成要素と本発明の構成要素との対応関係を説明する。
フィールド内補間回路１８が本発明のフィールド内補間回路に対応し、動きベクトル検出回路２０が本発明の動きベクトル検出回路に対応し、移動回路２２が本発明の移動回路に対応し、動き不連続検出回路２６が本発明の連続性検出回路に対応している。
また、混合比判定回路２４、比較回路２８および混合回路３０が、本発明の画像信号生成回路に対応している。
また、倍速変換回路３２が本発明のフレーム生成回路に対応している。

画像処理装置１は、インタレース映像信号に対して、各画素毎に動きの連続性を検出し、不連続な動きをする部分には動き補正を行わないようにすることで、フィルム画像やＣＧ画像、あるいは通常画像に重畳されたＣＧ画像に対しても高品位なプログレッシブ映像信号を生成する。

図６に示す画像処理装置１では、入力端子１２から入力されたインタレース画像信号を構成するフィールド画像信号Ｆ_tは、フィールドメモリ１４および動きベクトル検出回路２０に出力される。
〔フィールドメモリ１４，１６〕
フィールドメモリ１４は、入力端子１２から入力したフィールド画像信号Ｆ_tを１フィールド期間（周期）だけ遅延して、フィールド内補間回路１８、フィールドメモリ１６および倍速変換回路３２に出力する。
以下、フィールド画像信号Ｆ_tの１フィールド前のフィールド画像信号をフィールド画像信号Ｆ_t-1と記述する。

フィールドメモリ１６は、入力したフィールド画像信号Ｆ_t-1を１フィールド期間だけ遅延して、動きベクトル検出回路２０、移動回路２２および動き不連続検出回路２６に出力する。
以下、フィールド画像信号Ｆ_tに対して２フィールド以前のフィールド画像信号を、フィールド画像信号Ｆ_t-2と記述する。

〔フィールド内補間回路１８〕
フィールド内補間回路１８は、入力されたフィールド画像信号Ｆ_t-1に存在しないライン（以下、補間ラインと記述する）の画素を、存在するラインの画素を用いて補間したフィールド画像信号Ｆ_t-1 １（本発明の第２のフィールド画像信号） を生成し、これを混合回路３０および動き不連続検出回路２６に出力する。
フィールド内補間回路１８は、例えば、フィールド画像信号Ｆ_t-1の補間ラインをはさむ上下２ラインの平均値を用いてフィールド画像信号Ｆ’_t-1を生成する。

〔動きベクトル検出回路２０〕
動きベクトル検出回路２０は、ブロックマッチング法により、入力された２フィールド期間分だけ間隔が空いたフィールド画像信号Ｆ_t、Ｆ_t-2の間の動きベクトルｍｖを生成する。
そして、動きベクトル検出回路２０は、当該算出したフレーム間の動きベクトルｍｖを移動回路２２に出力する。
また、動きベクトル検出回路２０は、上記生成した動きベクトルｍｖの信頼度を示すブロック差分値ＤＩＦを混合比判定回路２４に出力する。
当該ブロック差分ＤＩＦは、例えば、動きベクトルｍｖに対応するフィールド画像信号Ｆ_t、Ｆ_t-2、上のブロック間における対応する画素データ間の差分の総和を示している。

〔移動回路２２〕
移動回路２２は、動きベクトル検出回路２０から入力された動きベクトルｍｖの１／２（すなわち１フィールド期間分に相当する動きベクトル）だけ、フィールドメモリ１６から入力されたフィールド画像信号Ｆ_t-2を平行移動したフィールド画像信号Ｆ_t-1 ２（本発明の第１のフィールド画像信号）を混合回路３０に出力する。
ここで、フィールド画像信号Ｆ_t-1 ２は、上記平行移動により、フィールド画像信号Ｆ_t-1 の上記補間ラインによって構成される信号である。

〔混合比判定回路２４〕
混合比判定回路２４は、動きベクトル検出回路２から入力された動きベクトルｍｖのブロック差分値ＤＩＦに基づき、混合回路１１６においてフィールド画像信号Ｆ_t-1 １とフィールド画像信号Ｆ_t-1 ２との同一座標に位置する画素の混合比を０〜Ｎ（Ｎ≧０）の範囲でブロック単位で示す混合比データＭＩＸＲ１を生成して混合回路１１６に出力する。
混合比判定回路２４は、例えば、ブロック差分値ＤＩＦが小さくなるに従って、動きベクトルｍｖの信頼度がより高いと判定でき、フィールド画像信号Ｆ_t-1 ２の画素データを混合する割合を高くするために、混合比データＭＩＸＲ１が示す値を小さくする。

〔動き不連続検出回路２６〕
動き不連続検出回路２６は、フィールド内補間回路１８からのフィールド画像信号Ｆ_t-1 １と、入力端子１２からのフィールド画像信号Ｆ_tと、フィールドメモリ１６からのフィールド画像信号Ｆ_t-2とにより、画素データ毎の動き不連続性を判定し、判定結果を基に混合比データＭＩＸＲ２を生成し、これを比較回路２８に出力する。

動き不連続検出回路２６は、例えば、図７に示すように、フィールド内補間回路１８から入力した補間されたフィールド画像信号Ｆ_t-1 １内のフィールド補間によって得られた画素位置Ｐの画素データｄ（Ｐ）と、入力端子１２から入力したフィールド画像信号Ｆ_t
内の対応する画素位置Ｄの画素データｄ（Ｄ）と、フィールドメモリ１６から入力したフィールド画像信号Ｆ_t-2 内の対応する画素位置Ａの画素データｄ（Ａ）とを基に、下記式（１）によりフィールド画像信号Ｆ_t とフィールド画像信号Ｆ_t-1 １との間の差分絶対値ｆｄ１、並びに下記式（２）によりフィールド画像信号Ｆ_t-1 １とフィールド画像信号Ｆ_t-2 との間の差分絶対値ｆｄ２とを生成する。

（数１）
ｆｄ１＝｜ｄ（Ｄ）−ｄ（Ｐ）｜
…（１）

（数２）
ｆｄ２＝｜ｄ（Ａ）−ｄ（Ｐ）｜
…（２）

動き不連続検出回路２６は、下記式（３）により、上記生成した差分絶対値ｆｄ１，ｆｄ２のうち最小のものを最小差分絶対値ｆｄｍｉｎとする。

（数３）
ｆｄｍｉｎ＝ｍｉｎ（ｆｄ１，ｆｄ２）
…（３）

動き不連続検出回路２６は、上記最小差分絶対値ｆｄｍｉｎを基に、下記式（４）、並びに図８に示す特性に従って、混合比データＭＩＸＲ２を生成する。
下記式（４）において、Ｎは混合比データＭＩＸＲ２の最大値であり、混合比データＭＩＸＲ１の最大値と一致する。
ｔｈ１はフレーム間動き検出しきい値であり、ｔｈ２は動き不連続性判定しき値、ｋは不連続性判定特定しきい値である。図８は、ｎ＝８，ｔｈ２＝６、ｋ＝１とした場合の特性を示している。

（数４）
｜ｄ（Ａ）−ｄ（Ｄ）｜＜ｔｈ１の場合、ＭＩＸＲ２＝０

｜ｄ（Ａ）−ｄ（Ｄ）｜≧ｔｈ１の場合、ＭＩＸＲ２＝Ｎ−（ｄｍｉｎ−ｔｈ２）／ｋ
…（４）

〔比較回路２８〕
比較回路２８は、混合比判定回路２４から入力した混合比データＭＩＸＲ１と、動き不連続検出回路２６からの混合比データＭＩＸＲ２とを比較し、値が大きいほうを選択して混合比データＭＩＸとして混合回路３０に出力する。

〔混合回路３０〕
混合回路３０は、フィールド内補間回路１８から入力したフィールド画像信号Ｆ_t-1 １と、移動回路２２から入力したフィールド画像信号Ｆ_t-1 ２とを対応する画素データ毎に、混合比データＭＩＸＲを基に混合してフィールド画像信号Ｆ_t-1 ３（本発明の第３のフィールド画像信号）を生成し、これを倍速変換回路３２に出力する。
具体的には、混合回路３０は、フィールド画像信号Ｆ_t-1 １を構成する画素データをｄ（１）とし、ｄ（１）に対応したフィールド画像信号Ｆ_t-1 ２を構成する画素データをｄ（２）とする。
上記ｄ（１）に対応したフィールド画像信号Ｆ_t-1 ３の画素データｄ（３）を下記式（５）に従って生成する。

（数５）
ｄ（３）＝ｄ（１）×ＭＩＸＲ／Ｎ＋ｄ（２）×（Ｎ−ＭＩＸＲ）／Ｎ
…（５）

上述したように、混合回路３０は、混合比データＭＩＸＲの値が大きくなるに従って、補間されたフィールド画像信号Ｆ_t-1 １を高い比率で混合する。

〔倍速変換回路３２〕
倍速変換回路３２は、フィールドメモリ１４からのフィールド画像信号Ｆ_t-1 に実在する第１のラインと、混合回路３０からのフィールド画像信号Ｆ_t-1 ３内の上記第１のラインに対応した第２のライン（補間ライン）とを、フィールド画像信号Ｆ_t の入力時の２倍の水平走査周期で交互に出力することによってプログレッシブ信号を構成するフレーム画像信号（順次走査画像信号）Ｈ_t-1を生成し、出力端子３４を介して後段の回路に出力する。

図６に示す画像処理装置１においても、図２に示したようにフィールド内補間して得たフィールド画像信号と、動きベクトルｍｖを基に得たフィールド画像信号とを混合してフィールド画像信号Ｆ_t-1 の補間ラインを生成する。ただし、混合比の決定方法が、前述した本発明の関連技術の場合と異なる。

以下、図６に示す画像処理装置１の動作例を説明する。
先ず、インタレース画像信号が入力端子１２に入力され、インタレース画像信号を構成するＦ_tが、フィールドメモリ１４、動きベクトル検出回路２０および動き不連続検出回路２６に出力される。

フィールドメモリ１４は、入力端子１２から入力したフィールド画像信号Ｆ_tを１フィールド期間（周期）だけ遅延して、フィールド内補間回路１８、フィールドメモリ１６および倍速変換回路３２に出力する。
フィールドメモリ１６は、フィールドメモリ１４から入力したフィールド画像信号Ｆ_t-1を１フィールド期間だけ遅延して、動きベクトル検出回路２０、移動回路２２および動き不連続検出回路２６に出力する。
そして、移動回路２２は、動きベクトル検出回路２０から入力された動きベクトルｍｖの１／２（すなわち１フィールド期間分に相当する動きベクトル）だけ、フィールドメモリ１６から入力されたフィールド画像信号Ｆ_t-2を平行移動したフィールド画像信号Ｆ_t-1 ２を混合回路３０に出力する。
また、フィールド内補間回路１８は、フィールドメモリ１４から入力したフィールド画像信号Ｆ_t-1に存在しないライン（以下、補間ラインと記述する）の画素を、存在するラインの画素を用いて補間して得たフィールド画像信号Ｆ_t-1 １を生成し、これを混合回路３０および動き不連続検出回路２６に出力する。

また、動きベクトル検出回路２０は、ブロックマッチング法により、入力された２フィールド期間分だけ間隔が空いたフィールド画像信号Ｆ_t、Ｆ_t-2の間の動きベクトルｍｖを生成し、これを移動回路２２に出力する。
また、動きベクトル検出回路２０は、上記生成した動きベクトルｍｖの信頼度を示すブロック差分値ＤＩＦを混合比判定回路２４に出力する。
そして、混合比判定回路２４は、動きベクトル検出回路２から入力された動きベクトルｍｖのブロック差分値ＤＩＦに基づき、混合回路１１６においてフィールド画像信号Ｆ_t-1 １とフィールド画像信号Ｆ_t-1 ２との同一座標に位置する画素の混合比を０〜Ｎ（Ｎ≧０）の範囲でブロック単位で示す混合比データＭＩＸＲ１を生成し、これを混合回路１１６に出力する。

また、動き不連続検出回路２６は、フィールド内補間回路１８からのフィールド画像信号Ｆ_t-1 １と、入力端子１２からのフィールド画像信号Ｆ_tと、フィールドメモリ１６からのフィールド画像信号Ｆ_t-2とにより、画素データ毎の動き不連続性を判定し、判定結果を基に混合比データＭＩＸＲ２を生成し、これを比較回路２８に出力する。

そして、比較回路２８は、混合比判定回路２４から入力した混合比データＭＩＸＲ１と、動き不連続検出回路２６からの混合比データＭＩＸＲ２とを比較し、値が大きいほうを選択して混合比データＭＩＸＲとして混合回路３０に出力する。
次に、混合回路３０は、フィールド内補間回路１８から入力したフィールド画像信号Ｆ_t-1 １と、移動回路２２から入力したフィールド画像信号Ｆ_t-1 ２とを対応する画素データ毎に、混合比データＭＩＸＲを基に混合してフィールド画像信号Ｆ_t-1 ３を生成し、これを倍速変換回路３２に出力する。
次に、倍速変換回路３２は、フィールドメモリ１４からのフィールド画像信号Ｆ_t-1 に実在する第１のラインと、混合回路３０からのフィールド画像信号Ｆ_t-1 ３内の上記第１のラインに対応した第２のライン（補間ライン）とを、フィールド画像信号Ｆ_t の入力時の２倍の水平走査周期で交互に出力することによってプログレッシブ信号を構成するフレーム画像信号（順次走査画像信号）Ｈ_t-1を生成し、これを出力端子３４を介して後段の回路に出力する。

画像処理装置１によれば、フィールド画像信号Ｆ_t としてフィルム画像信号やＣＧ画像信号を入力した場合、図４を用いて説明したように連続したフィールド画像信号が同じものが存在することに起因して、上記式（３）のｆｄｍｉｎが「０」になり、それによって混合比データＭＩＸＲ１が最大値「８」になり、混合回路３０において、フィールド内間されたフィールド画像信号Ｆ_t-1 １がフィールド画像信号Ｆ_t-1 ３として倍速変換回路３２に出力される。
そのため、図５を用いて説明したような画像のずれがなくなり、良質の補間画像を得ることができ、インタレース画像信号を変換して高品質なプログレッシブ画像信号を生成できる。
すなわち、画像処理装置１によれば、フィールド画像信号Ｆ_tが図３（Ａ），（Ｂ）に示すように映画やテレビコマーシャル映像に使われ２−２プルダン処理あるいは３−２プルダウン処理が施された同じ時間の画像を２回ないし３回繰り返して表示する信号である場合でも、図５を用いて説明したような画像のずれがなく、当該インタレース画像信号を変換して高品質なプログレッシブ画像信号を生成できる。

上述した第１実施形態では、フィールド内補間回路１８において、上下２ラインによる平均値算出により補間を行う（線形補間）方法を採用する場合を例示したが、図９に示すように、斜め補間方法により補間を行うことも可能である。
この場合に、フィールド内補間回路１８は、補間画素の上下ライン間で、補間画素を通過する斜め方向に画素の相関を測定し、相関の最も高い画素データを補間データとして採用する。
図９において、（１）は線形補間を行った場合、（２）は斜め補間を行った場合である。
なお、図９に示す斜め補間方式（２）は、図１０に示すように、実在する両側のラインの複数の画素データを基に補間を行うため、斜め方向の境界における補間性能が線形補間方式（１）に比べてよい。
すなわち、フィールド内補間回路１８において、図９および図１０に示す斜め補間方式を採用することで、動き不連続検出回路２６にける不連続性の検出精度を高めることができ、斜め方向の境界においても画像のずれのない補間画像を得ることが可能になる。

＜第２実施形態＞
図１１は、本発明の第２実施形態の画像処理装置８１の構成図である。
図１１に示すように、画像処理回路８１は、例えば、入力端子１２、フィールドメモリ１４、フィールドメモリ１６、フィールド内補間回路１８、動きベクトル検出回路２０、移動回路２２、動き不連続検出回路２６、比較回路２８、倍速変換回路３２、出力端子３４、移動回路８０、平均値算出回路８２、混合比判定回路８３および混合回路９０を有する。
本実施形態において、移動回路２２，８０が本発明の移動回路に対応し、平均値算出回路８２が本発明の平均値算出回路に対応している。

図１１に示すように、画像処理装置８１は、図６に示す画像処理装置１に、移動回路８０および平均値算出回路８２を加えた構成を有する。
また、画像処理装置８１は、混合比判定回路８３および混合回路９０の処理が、第１実施形態の図６に示す。混合比判定回路２４および混合回路３０と異なる。
以下、画像処理装置８１の構成について、図６に示す画像処理装置１と異なる部分を中心に説明する。
本実施形態では、移動回路２２は、フィールド画像信号Ｆ_t-1 ２（本発明の第４のフィールド画像信号）を、混合比判定回路８３の他に、平均値算出回路８２に出力する。

〔移動回路８０〕
移動回路８０は、動きベクトル検出回路２６から入力された動きベクトルｍｖに対して逆方向にした動きベクトルの１／２（１フィールド期間分に相当する動きベクトルの反対方向ベクトル）だけ、入力端子１２から入力されたフィールド画像信号Ｆ_tを平行移動してフィールド画像信号Ｆ_t-1 ４（本発明の第５のフィールド画像信号）を生成し、これを混合比判定回路８３および平均値算出回路８２に出力する。

〔平均値算出回路８２〕
平均値算出回路８２は、移動回路２２から入力したフィールド画像信号Ｆ_t-1 ２を構成する画素データと、それに対応する移動回路８０から入力したフィールド画像信号Ｆ_t-1
４の画素データの平均値を算出し、その平均値を対応する画素データとするフィールド画像信号Ｆ_t-1 ５を生成し、これを混合回路９０に出力する。

〔混合比判定回路８３〕
混合比判定回路８３は、移動回路２２から入力したフィールド画像信号Ｆ_t-1 ２を構成する画素データと、当該画素データに対応する移動回路８０から入力したフィールド画像信号Ｆ_t-1 ４の画素データとの差分絶対値ｄｐｉｘを生成する。
下記式（６）において、ｄ（Ｆ_t-1 ２）はフィールド画像信号Ｆ_t-1 ２の画素データを示し、ｄ（Ｆ_t-1 ４）はフィールド画像信号Ｆ_t-1 ４の画素データを示す。

（数６）
ｄｐｉｘ＝｜ｄ（Ｆ_t-1 ２）−ｄ（Ｆ_t-1 ４）｜
…（６）

混合比判定回路８３は、上記生成した差分絶対値ｄｐｉｘと、動き不連続検出回路２６から入力したブロック差分値ＤＩＦとを基に混合比を決定し、当該混合比データＭＩＸＲ１０を決定し、これを比較回路２８に出力する。
混合比データＭＩＸＲ１０は、０〜Ｎの範囲の値を示す。
本実施形態では、混合比判定回路８３は、図１２に示すように、差分絶対値ｄｐｉｘが高くなるに従って、混合比データＭＩＸＲの値を大きくし、ブロック差分ＤＩＦが大きくなるに従って、混合比データＭＩＸＲの値を大きくする傾きを上げるように、混合比データＭＩＸＲを生成する。

〔比較回路２８〕
比較回路２８は、混合比判定回路８３から入力した混合比データＭＩＸＲ１０と、動き不連続検出回路２６から入力した混合比データＭＩＸＲ２とを比較し、値が大きいほうを選択して混合比データＭＩＸとして混合回路９０に出力する。

〔混合回路９０〕
混合回路９０は、フィールド内補間回路１８から入力したフィールド画像信号Ｆ_t-1 １と、平均値算出回路８２から入力したフィールド画像信号Ｆ_t-1 ５とを対応する画素データ毎に、混合比データＭＩＸＲを基に混合してフィールド画像信号Ｆ_t-1 ３を生成し、これを倍速変換回路３２に出力する。
具体的には、混合回路９０は、フィールド画像信号Ｆ_t-1 １を構成する画素データをｄ（１１）とし、ｄ（１１）に対応したフィールド画像信号Ｆ_t-1 ５を構成する画素データをｄ（１２）とする。
上記ｄ（１１）に対応したフィールド画像信号Ｆ_t-1 ５の画素データｄ（５）を下記式（７）に従って生成する。

（数７）
ｄ（５）＝ｄ（１１）×ＭＩＸＲ／Ｎ＋ｄ（１２）×（Ｎ−ＭＩＸＲ）／Ｎ
…（７）

上述したように、混合回路９０は、混合比データＭＩＸＲの値が大きくなるに従って、補間されたフィールド画像信号Ｆ_t-1 １を高い比率で混合する。

以下、図１１に示す画像処理装置８１の動作例を説明する。
先ず、インタレース画像信号が入力端子１２に入力され、インタレース画像信号を構成するＦ_tが、フィールドメモリ１４、移動回路８０、動きベクトル検出回路２０および動き不連続検出回路２６に出力される。

フィールドメモリ１４は、入力端子１２から入力したフィールド画像信号Ｆ_tを１フィールド期間（周期）だけ遅延して、フィールド内補間回路１８、フィールドメモリ１６および倍速変換回路３２に出力する。
また、フィールドメモリ１６は、フィールドメモリ１４から入力したフィールド画像信号Ｆ_t-1を１フィールド期間だけ遅延して、動きベクトル検出回路２０、移動回路２２および動き不連続検出回路２６に出力する。
そして、動きベクトル検出回路２０は、ブロックマッチング法により、入力された２フィールド期間分だけ間隔が空いたフィールド画像信号Ｆ_t、Ｆ_t-2の間の動きベクトルｍｖを生成し、これを移動回路２２，８０に出力する。
また、動きベクトル検出回路２０は、上記生成した動きベクトルｍｖの信頼度を示すブロック差分値ＤＩＦを混合比判定回路８３に出力する。

そして、移動回路２２は、動きベクトル検出回路２０から入力された動きベクトルｍｖの１／２（すなわち１フィールド期間分に相当する動きベクトル）だけ、フィールドメモリ１６から入力されたフィールド画像信号Ｆ_t-2を平行移動したフィールド画像信号Ｆ_t-1 ２を平均値算出回路８２および混合比判定回路８３に出力する。
また、移動回路８０は、動きベクトル検出回路２６から入力された動きベクトルｍｖに対して逆方向にした動きベクトルの１／２（１フィールド期間分に相当する動きベクトルの反対方向ベクトル）だけ、入力端子１２から入力されたフィールド画像信号Ｆ_tを平行移動してフィールド画像信号Ｆ_t-1 ４を生成し、これを混合比判定回路８３および平均値算出回路８２に出力する。
また、フィールド内補間回路１８は、フィールドメモリ１４から入力したフィールド画像信号Ｆ_t-1に存在しないライン（以下、補間ラインと記述する）の画素を、存在するラインの画素を用いて補間して得たフィールド画像信号Ｆ_t-1 １を生成し、これを混合回路９０および動き不連続検出回路２６に出力する。

混合比判定回路８３は、移動回路２２から入力したフィールド画像信号Ｆ_t-1 ２を構成する画素データと、当該画素データに対応する移動回路８０から入力したフィールド画像信号Ｆ_t-1 ４の画素データとの差分絶対値ｄｐｉｘを生成する。
そして、混合比判定回路８３は、上記生成した差分絶対値ｄｐｉｘと、動き不連続検出回路２６から入力したブロック差分値ＤＩＦとを基に混合比を決定し、当該混合比データＭＩＸＲ１０を決定し、これを比較回路２８に出力する。

また、動き不連続検出回路２６は、フィールド内補間回路１８からのフィールド画像信号Ｆ_t-1 １と、入力端子１２からのフィールド画像信号Ｆ_tと、フィールドメモリ１６からのフィールド画像信号Ｆ_t-2とにより、画素データ毎の動き不連続性を判定し、判定結果を基に混合比データＭＩＸＲ２を生成し、これを比較回路２８に出力する。

そして、比較回路２８は、混合比判定回路８３から入力した混合比データＭＩＸＲ１０と、動き不連続検出回路２６からの混合比データＭＩＸＲ２とを比較し、値が大きいほうを選択して混合比データＭＩＸＲとして混合回路９０に出力する。
次に、混合回路９０は、フィールド内補間回路１８から入力したフィールド画像信号Ｆ_t-1 １と、平均値算出回路８２から入力したフィールド画像信号Ｆ_t-1 ５とを対応する画素データ毎に、混合比データＭＩＸＲを基に混合してフィールド画像信号Ｆ_t-1 ３を生成し、これを倍速変換回路３２に出力する。
次に、倍速変換回路３２は、フィールドメモリ１４からのフィールド画像信号Ｆ_t-1 に実在する第１のラインと、混合回路９０からのフィールド画像信号Ｆ_t-1 ３内の上記第１のラインに対応した第２のライン（補間ライン）とを、フィールド画像信号Ｆ_t の入力時の２倍の水平走査周期で交互に出力することによってプログレッシブ信号を構成するフレーム画像信号（順次走査画像信号）Ｈ_t-1を生成し、これを出力端子３４を介して後段の回路に出力する。

図１１に示す画像処理装置８１においても、第１実施形態と同様に、フィールド内補間して得たフィールド画像信号と、動きベクトルｍｖを基に得たフィールド画像信号とを混合してフィールド画像信号Ｆ_t-1 の補間ラインを生成する。
図１１に示す画像処理装置８１の処理を模式的に示したものが図１３である。
画像処理装置８１では、動きベクトル検出回路２０で生成した動きベクトルｍｖを基に、移動回路２２、移動回路８０および平均値算出回路８２が、それぞれ動きベクトルｍｖ／２，−ｍｖ／２を基に、画素補間を行って、フィールド画像信号Ｆ２_t-1 ，Ｆ_t-1 ４を生成する。
また、混合比判定回路８３が、フィールド画像信号Ｆ_t-2 の画素ａの画素値と、フィールド画像信号Ｆ_t の画素ｄの画素値との平均値（ａ＋ｄ）／２を算出し、この平均値と、動き不連続検出回路２６からの｜ａ−ｄ｜を示すブロック差分ＤＩＦとを基に、混合比データＭＩＸＲ１０を生成する。
また、混合回路９０は、フィールド画像信号Ｆ２_t-1 とＦ_t-1 ４とを平均化したフィールド画像信号Ｆ_t-1 ５を選択対象として用いる。
これにより、動きベクトル検出の誤りによる破綻が少なくなると共に、画素毎の差分絶対値ｄｐｉｘを動きベクトルの信頼性判定に使用することから、ブロック内に複数の動き成分がある場合でも、画素毎に動きベクトルの信頼性判定を行うことが可能になり、第１実施形態に比べて、破綻の少ない補間画像を得ることが可能となる。

なお、当該第２実施形態においても、フィールド内補間回路１８において、図９および図１０を用いて第１実施形態で説明した補間方式を採用できる。

本発明は、動画像信号を構成するインタレース画像信号をプログレッシブ画像信号に変換するシステムに適用可能である。

図１は、本発明の関連技術に係わる画像処理回路の構成図である。 図２は、本発明の関連技術を説明するための図である。 図３は、本発明の関連技術を説明するための図である。 図４は、本発明の関連技術を説明するための図である。 図５は、本発明の関連技術を説明するための図である。 図６は、本発明の第１実施形態に係わる画像処理装置の構成図である。 図７は、図に示すフィールド内補間回路におけるフィールド補間処理を説明するための図である。 図８は、図６に示す動き不連続検出回路における処理を説明するための図である。 図９は、図６に示すフィールド内補間回路における処理を変形例を説明するための図である。 図１０は、図６に示すフィールド内補間回路における処理を変形例を説明するための図である。 図１１は、本発明の第２実施形態に係わる画像処理装置の構成図である。 図１２は、図１１に示す画像処理装置の混合比判定回路における処理を説明するための図である。 図１３は、図１１に示す画像処理装置の処理の概要を説明するための図である。

符号の説明

１，８１…画像表示装置、１２…入力端子、１４…フィールドメモリ、１６…フィールドメモリ、１８…フィールド内補間回路、２０…動きベクトル検出回路、２２…移動回路、２４…混合比判定回路、２６…動き不連続検出回路、２８…比較回路、３０…混合回路、３２…倍速変換回路、８０…移動回路、８２…平均値算出回路、８３…混合比判定回路、９０…混合回路

Claims (10)

1. 動画像信号を構成するインタレース画像信号をプログレッシブ画像信号に変換する画像処理装置であって、
   前記インタレース画像信号内の処理対象のフィールド画像信号と、当該フィールド画像信号の１フィールド前後のフィールド画像信号とを基に、これら３つのフィールド画像信号の連続性を検出する連続性検出回路と、
   前記前後のフィールド画像信号の間の動きベクトルを基に、前記前後のフィールド画像信号の少なくとも一方を、１フィールド周期分移動して前記処理対象のフィールド画像信号内に存在しないラインで構成される第１のフィールド画像信号を生成する移動回路と、
   前記連続性検出回路が検出した前記連続性を基に混合比を決定し、前記処理対象のフィールド画像信号内に存在しないラインを当該処理対象のフィールド画像信号に存在するラインを基に補間して得た第２のフィールド画像信号と、前記移動回路が生成した第１のフィールド画像信号とを前記混合比で混合して前記プログレッシブ信号を構成する第３のフィールド画像信号を生成する画像信号生成回路と
   を有する画像処理装置。
2. 前記処理対象のフィールド画像信号と、前記画像信号生成回路が生成した前記第３のフィールド画像信号とを基に、前記プログレッシブ信号を構成するフレーム画像信号を生成するフレーム生成回路
   をさらに有する請求項１に記載の画像処理装置。
3. 前記連続性検出回路は、前記処理対象のフィールド画像信号と当該フィールド画像信号の１フィールド前のフィールド画像信号との第１の差分、並びに前記処理対象のフィールド画像信号と当該フィールド画像信号の１フィールド後のフィールド画像信号との第２の差分とのうち、少なくとも一方が所定の基準値未満の場合に不連続であると検出し、
   前記画像信号生成回路は、前記連続性検出回路で前記不連続であると検出した場合に、連続であると検出した場合に比べて、前記第２のフィールド画像信号を高い割合で混合するように前記混合比を決定する
   請求項１に記載の画像処理装置。
4. 前記画像信号生成回路は、前記連続性検出回路で連続であると検出した場合に、前記第１の差分および前記第２の差分のうち小さい方の値が大きくなるに従って、前記移動回路が生成した前記第１のフィールド画像信号を高い割合で混合するように前記混合比を決定する
   請求項３に記載の画像処理装置。
5. 前記動きベクトルを生成し、当該動きベクトルによって規定される予測画像信号と、動きベクトルの生成対象となる前記処理対象の前のフィールド画像信号あるいは後のフィールド画像信号との差分を生成する動きベクトル検出回路
   をさらに有し、
   前記画像信号生成回路は、前記動きベクトル検出回路が生成した前記差分にさらに基づいて前記混合比を決定する
   請求項１に記載の画像処理装置。
6. 前記画像信号生成回路は、前記動きベクトル検出回路が生成した前記差分が小さくなるに従って、前記移動回路が生成した前記第１のフィールド画像信号を混合する割合を高めるように前記混合比を決定する
   請求項５に記載の画像処理装置。
7. 前記処理対象のフィールド画像信号を基に、当該処理対象のフィールド画像信号内に存在しないラインを当該処理対象のフィールド画像信号に存在するラインを基に補間して得た第２のフィールド画像信号を生成するフィールド内補間回路
   をさらに有する請求項１に記載の画像処理装置。
8. 前記移動手段は、前記処理対象のフィールド画像信号の間の動きベクトルを基に、前記１フィールド前のフィールド画像信号を１フィールド周期分移動して前記処理対象のフィールド画像信号内に存在しないラインで構成される第４のフィールド画像信号を生成し、前記１フィールド後のフィールド画像信号を１フィールド周期分移動して前記処理対象のフィールド画像信号内に存在しないラインで構成される第５のフィールド画像信号を生成し、
   前記画像信号生成回路は、前記移動手段が生成した前記第４のフィールド画像信号と前記第５のフィールド画像信号との差分をさらに用いて前記混合比を決定する
   請求項１に記載の画像処理装置。
9. 前記移動手段が生成した前記第４のフィールド画像信号と前記第５のフィールド画像信号とを平均して第６のフィールド画像信号を生成する平均値算出回路
   をさらに有し、
   前記画像信号生成回路は、前記第２のフィールド画像信号と、前記平均値算出回路が生成した前記第６のフィールド画像信号とを前記混合比で混合して前記プログレッシブ信号を構成するフィールド画像信号を生成する
   請求項８に記載の画像処理装置。
10. 動画像信号を構成するインタレース画像信号をプログレッシブ画像信号に変換する画像処理方法であって、
    前記インタレース画像信号内の処理対象のフィールド画像信号と、当該フィールド画像信号の１フィールド前後のフィールド画像信号とを基に、これら３つのフィールド画像信号の連続性を検出する第１の工程と、
    前記前後のフィールド画像信号の間の動きベクトルを基に、前記前後のフィールド画像信号の少なくとも一方を、１フィールド周期分移動して前記処理対象のフィールド画像信号内に存在しないラインで構成される第１のフィールド画像信号を生成する第２の工程と、
    前記第１の工程で検出した前記連続性を基に混合比を決定する第３の工程と、
    前記処理対象のフィールド画像信号内に存在しないラインを当該処理対象のフィールド画像信号に存在するラインを基に補間して得た第２のフィールド画像信号と、前記第２の工程で生成した第１のフィールド画像信号とを、前記第３の工程で決定した前記混合比で混合して前記プログレッシブ信号を構成する第３のフィールド画像信号を生成する第４の工程と
    を有する画像処理方法。
    

Images