JP2010226659A - 映像処理装置、映像処理方法および表示装置 - Google Patents

Abstract

【課題】インタレース信号の種類によらず、画質劣化を生じにくいデインタレース処理を実行可能な映像処理装置および映像処理方法ならびに表示装置を提供する。
【解決手段】デインタレース処理部１２では、入力映像信号のうち、時間軸に沿って連続する３つのフィールドにおいて、差分値ＦＤおよび相関値Ｖpc，Ｖcnをそれぞれ算出し、差分値ＦＤの大きさに応じて相関値Ｖpcおよび相関値Ｖcnの大小関係を比較することにより、ビデオ用デインタレース処理およびプルダウン逆変換処理のうちのどちらを適用するかを判定する。３つのフィールドとして「Ｙ’，Ｚ，Ｚ’」を想定すると、差分値ＦＤが大きい場合、同一の元画像から変換されたフィールド（Ｚ，Ｚ’）間では画像相関性が高く、異なる元画像から変換されたフィールド（Ｙ’，Ｚ）間では画像相関性が低くなる。フィールドＺ，Ｚ’をプルダウンペアとして特定し、プルダウン逆変換処理を実行可能となる。
【選択図】図１

Description

本発明は、例えばテレシネによりフィルム映像からテレビジョン映像へプルダウン変換された映像信号において、インタレース信号をプログレッシブ信号に変換するための映像処理装置、映像処理方法および表示装置に関する。

従来、ＮＴＳＣ方式やハイビジョン方式の放送波としては、インタレース信号が標準的に用いられている。インタレース信号は、飛び越し走査方式による映像表示に用いられ、１つのフレームに対応して２つのフィールド（偶数フィールドと奇数フィールド）を有すものである。このため、順次走査方式による映像表示を行う場合には、表示装置において、インタレース信号をプログレッシブ信号へ変換するデインタレース処理が行われる。

ここで、インタレース信号には、ビデオカメラで撮影された映像由来の映像信号（以下、ビデオ信号という）に加え、シネマ等のフィルム映像由来の映像信号（以下、フィルム信号という）が含まれる。ビデオ信号に対するデインタレース処理（以下、ビデオ用デインタレース処理という）では、２枚のインタレース信号に対して所定の補間処理を施すことによりプログレッシブ信号への変換が行われる。

一方、フィルム信号では、元のフィルム映像におけるフレームレート（２４コマ／秒）とテレビジョン放送用のフレームレート（６０枚／秒）とが異なるため、テレシネによるプルダウン変換（プログレッシブ／インタレース変換）がなされている。例えば、フィルム素材の「Ａ，Ｂ，…」という２４枚のフレームからなるプログレッシブ信号のうち、フレーム「Ａ」を２枚のフィールド「ａ，ａ’」、フレーム「Ｂ」を３枚のフィールド「ｂ，ｂ’，ｂ」へそれぞれ変換し、これを交互に繰り返す。これにより、「ａ，ａ’，ｂ，ｂ’，ｂ，…」という６０フィールドから構成されるインタレース信号を得る。すなわち、フィルム信号では、元画像に対応するフィールド数がフレームごとに異なっている。

このため、フィルム信号に対して、ビデオ用デインタレース処理を施すと、元画像が互いに異なる２枚のフィールドを用いて補間処理が施される場合があり、その結果、フリッカ等が発生して表示画質が劣化してしまう。従って、インタレース信号がビデオ信号であるか、あるいはフィルム信号であるかによって、それぞれに応じたデインタレース処理を行うことが望ましい。

そこで、フィルム信号に対し、プルダウン・ケイデンスを検出することにより、プルダウン位相を推定してデインタレース処理を行う手法が提案されている（特許文献１参照）。例えば、上記のような２−３プルダウンの場合、５フィールド周期で全画素のフィールド差分が０（ゼロ）になるため、これを利用してケイデンスパターン（この場合、２枚および３枚の組み合わせ）を検出する。ケイデンスのパターンがわかれば、元画像に対応するプログレッシブ信号を復元する処理、いわゆるプルダウン逆変換型のデインタレース処理を行うことが可能となる。

米国特許４９８２２８０号公報

しかしながら、上記特許文献１の手法では、プルダウン逆変換型のデインタレース処理を実行する前に、例えば２−３プルダウンの場合、少なくとも５フィールド分の検出時間を要する。また、３枚のフィールドを始点として、「ａ，ａ’，ａ，ｂ，ｂ’，ｃ，ｃ’，ｃ，…」という３枚−２枚−３枚−…のケイデンスパターンを検出する際には、８フィールド分の検出時間が必要となってしまう。

従って、このような手法では、プルダウン・ケイデンスの検出が終了するまでの間、少なくとも５フィールド分を検出するまでは、プルダウン逆変換型のデインタレース処理を開始することができず、それまではビデオ用デインタレース処理を実行することとなる。すなわち、入力信号がプルダウン変換されたフィルム信号であるにも拘らず、ビデオ用デインタレース処理が施されてしまい、上記のような画質劣化が生じるという問題がある。

本発明はかかる問題点に鑑みてなされたもので、その目的は、インタレース信号の種類によらず、画質劣化を生じにくいデインタレース処理を実行可能な映像処理装置および映像処理方法ならびに表示装置を提供することにある。

本発明の映像処理装置は、インタレース信号のうち、時間軸に沿って連続する第１，第２および第３のフィールドにおいて、第１および第３のフィールド間の差分値と、第１および第２のフィールドよりなる第１組における各フィールド間の絵柄に関する第１の相関値と、第２および第３のフィールドよりなる第２組における各フィールド間の絵柄に関する第２の相関値とをそれぞれ算出する算出部と、差分値の大きさに応じて第１および第２の相関値の大小関係を比較することにより、ビデオ信号用の第１のデインタレース処理およびプルダウン逆変換型の第２のデインタレース処理のうちのどちらを適用するかを判定する判定部と、判定部の判定結果に基づいて、インタレース信号に対して第１または第２のデインタレース処理を実行するデインタレース処理部とを備えたものである。

本発明の映像処理方法は、インタレース信号のうち、時間軸に沿って連続する第１，第２および第３のフィールドにおいて、第１および第３のフィールド間の差分値と、第１および第２のフィールドよりなる第１組における各フィールド間の絵柄に関する第１の相関値と、第２および第３のフィールドよりなる第２組における各フィールド間の絵柄に関する第２の相関値とをそれぞれ算出し、差分値の大きさに応じて第１および第２の相関値の大小関係を比較することにより、ビデオ素材用の第１のデインタレース処理およびプルダウン逆変換型の第２のデインタレース処理のうちのどちらを適用するかを判定し、判定結果に基づいて第１または第２のデインタレース処理を実行するものである。

本発明の映像処理装置および映像処理方法では、インタレース信号のうち、第１および第３のフィールド間の差分値と、第１および第２のフィールド間の絵柄に関する第１の相関値と、第２および第３のフィールド間の絵柄に関する第２の相関値とをそれぞれ算出し、これらの差分値、第１および第２の相関値に基づいて、ビデオ素材用の第１のデインタレース処理およびプルダウン逆変換型の第２のデインタレース処理のうちのどちらを適用するかを判定し、判定結果に基づいて第１または第２のデインタレース処理を実行する。

本発明の表示装置は、上記本発明の映像処理装置をデインタレース処理部として備えると共に、このデインタレース処理部からのプログレッシブ信号に基づいて映像を表示する表示部とを備えたものである。

本発明の映像処理装置および映像処理方法ならびに表示装置によれば、インタレース信号のうち、第１および第３のフィールド間の差分値に応じて、第１および第２のフィールド（第１組）における第１の相関値と、第２および第３のフィールド（第２組）における第２の相関値との大小関係に基づいて、ビデオ素材用の第１のデインタレース処理あるいはプルダウン逆変換型の第２のデインタレース処理のどちらを適用するかを判定する。即ち、インタレース信号に対してプルダウン逆変換型のデインタレース処理を適用するか否かについての判定を、３枚分のフィールドを検出することによって行うことができる。ここで、上記判定を、プルダウン変換のケイデンスパターンを検出することによって行う場合には、例えば２−３プルダウンなら５枚分のフィールド検出が必要となる。従って、このような場合に比べて判定時間を短縮することができる。これにより、ビデオ映像由来のインタレース信号だけでなく、フィルム映像からプルダウン変換されたインタレース信号に対しても適切なデインタレース処理を実行し易くなる。即ち、インタレース信号の種類によらず、画質劣化を生じにくいデインタレース処理を実行可能となる。

本発明の一実施の形態に係る表示装置の全体構成を表すブロック図である。 図１に示したデインタレース部の詳細構成を表すブロック図である。 図２に示したデインタレース部における処理フローを表す図である。 Prev−Curr−Nextの関係にあるフィールドの概念図である。 時間軸に沿って連続するフィールドの概念図と、差分値および相関値を表す表である。 プルダウン・ケイデンスのパターンを説明するための概念図である。 ２−３プルダウンおよびプルダウン逆変換処理を説明するための概念図である。 ２−２プルダウンおよびプルダウン逆変換処理を説明するための概念図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

＜実施の形態＞
［表示装置１の全体構成］
図１は、本発明の一実施の形態に係る表示装置（表示装置１）の全体構成を表すものである。表示装置１は、例えばアナログ方式やデジタル方式により伝送されたインタレース方式の放送波に基づいて映像表示を行うテレビジョン（ＴＶ：TeleVision）装置である。この表示装置１は、フロント映像処理部１１、デインタレース処理部１２、表示駆動部１３および表示部１４から構成されている。なお、デインタレース処理部１２が、本発明の映像処理装置の一具体例に対応する。本発明の映像処理方法については、このデインタレース処理部（映像処理装置）により具現化されるため、その説明を省略する。

フロント映像処理部１１は、例えばチューナやデコーダを含み、ベースバンドのインタレース信号として映像信号Ｄ１ｉを出力する。チューナは、入力映像信号Ｄ０ｉを復調し、エンコードされた映像信号として出力するものである。デコーダは、チューナから入力した映像信号に対して所定のデコード処理を行うものである。

デインタレース処理部１２は、インタレース信号（映像信号Ｄ１ｉ）をプログレッシブ信号（映像信号Ｄ２ｐ）へ変換する処理を行うものである。このような処理としては、主にビデオ映像由来のインタレース信号（ビデオ信号）を処理対象としたもの（ビデオ用デインタレース処理）とフィルム映像由来のインタレース信号（フィルム信号）を処理対象としたものに大別される。ビデオ用デインタレース処理は、インタレース信号のうち隣接する２枚のフィールドを用いた補間処理、例えばフィールド間補間処理またはフィールド内補間処理である。フィルム用デインタレース処理は、プルダウン変換時のケイデンスパターンに応じてプログレッシブ画像を復元する処理（以下、単にプルダウン逆変換型処理という）である。このデインタレース処理部１２の詳細構成については後述する。なお、このデインタレース処理部１２が、本発明の映像処理装置の一具体例に対応し、後述のデインタレース処理実行部２６が本発明のデインタレース処理部の一具体例に対応する。

表示駆動処理部１３は、各種駆動回路を含み、入力された映像信号Ｄ２ｐに基づいて表示部１４を駆動制御すると共に、高画質化画像処理を行うものである。表示部１４は、表示駆動部１３の駆動制御に基づいて、映像を表示するものである。この表示部１４としては、例えば、ＬＣＤ（Liquid Crystal Display）やＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）ディスプレイなどの各種ディスプレイを用いることができる。

［デインタレース処理１２の詳細構成］
図２は、デインタレース処理部１２の詳細構成を表すものである。デインタレース処理部１２は、フィールドメモリ２１，２２，２３、算出部２４、判定部２５およびデインタレース処理実行部２６を備えている。

フィールドメモリ２１，２２，２３は、時間軸に沿って連続する３つの映像信号（映像信号Ｄ１１ｉ，Ｄ１２ｉ，Ｄ１３ｉ）を順次記憶し、これらの映像信号Ｄ１１ｉ，Ｄ１２ｉ，Ｄ１３ｉを算出部２４へ出力するものである。例えば、フィールドメモリ２１に記憶されるフィールドの映像信号Ｄ１３ｉを基準にして、フィールドメモリ２２には、その１つ前のフィールドの映像信号Ｄ１２ｉ、フィールドメモリ２３には、その２つ前のフィールドの映像信号Ｄ１１ｉがそれぞれ記憶されるようになっている。以下では、このように時間軸に沿って連続する３つのフィールド（映像信号Ｄ１１ｉ，Ｄ１２ｉ，Ｄ１３ｉ）の時間的なつながりを、便宜上、Prev−Curr−Nextとする。

算出部２４は、フィールドメモリ２１，２２，２３に記憶された映像信号Ｄ１１ｉ，Ｄ１２ｉ，Ｄ１３ｉに基づいて、フィールド間の差分値および相関値を算出し、それらの算出結果を判定部２５へ出力するものである。例えば、算出部２４は、差分算出部２４Ａ、第１相関算出部２４Ｂおよび第２相関算出部２４Ｃを備えている。差分算出部２４Ａは、例えばPrev−Curr−Nextの３つのフィールドのうちPrevとNextの関係にある２つのフィールド間の差分値ＦＤ（動き量）を算出するものである。第１相関算出部２４Ｂは、上記３つのフィールドのうちPrevとCurrの関係にある２つのフィールド間の絵柄に関する相関値Ｖpcを算出するものである。第２相関算出部２４Ｃは、上記３つのフィールドのうちCurrとNextの関係にある２つのフィールド間の絵柄に関する相関値Ｖcnを算出するものである。

判定部２５は、算出部２４から出力される差分値ＦＤ、相関値Ｖpcおよび相関値Ｖcnに基づいて、映像信号Ｄ１ｉに対してビデオ用デインタレース処理およびプルダウン逆変換処理のうちのどちらを実行するかを判定する処理を行うものである。言い換えると、判定部２５は、処理対象のインタレース信号がプルダウン逆変換処理対象となるフィルム信号であるかどうかを判定し、プルダウン逆変換処理を開始するタイミングを決定するものである。詳細は後述するが、デインタレース処理開始直後は、まず処理対象の素材（ビデオ映像由来であるかフィルム映像由来であるか）によらず、ビデオ用デインタレース処理を実行する。このため、映像信号Ｄ１１ｉ，Ｄ１２ｉ，Ｄ１３ｉにおいて、プルダウン逆変換処理の適用条件の成立の可否を判断し、どのタイミングでプルダウン逆変換処理を開始するか否かを決定することとなる。

判定部２５では、詳細は後述するが、差分値ＦＤの大きさに応じて相関値Ｖpcおよび相関値Ｖcnの大小関係を比較することにより上記判定がなされるようになっている。具体的には、差分値ＦＤが小さい場合には、ビデオ用デインタレース処理を実行すると判定する。一方、差分値ＦＤが大きい場合には、相関値Ｖpcおよび相関値Ｖcnの大小関係の比較を行い、その結果に応じてビデオ用デインタレース処理を実行（継続）するか、あるいはプルダウン逆変換処理を実行（開始）するかを判定する。そして、プルダウン逆変換処理を実行（開始）する場合には、より画像相関性の高い２つのフィールドのペアを同一の元画像からプルダウン変換されたフィールド（以下、プルダウンペアという）と特定する。これらの判定結果は、判定結果信号としてデインタレース処理実行部２６へ出力されるようになっている。

更に、判定部２５では、上記のような判定処理によりプルダウン逆変換処理を実行（開始）すると判定した後は、継続してプルダウン逆変換処理を実行するか否かについても判定を行うようになっている。

デインタレース処理実行部２６は、上記判定部２５からの判定結果に基づいて、フィールドメモリ２１，２２，２３から出力される映像信号Ｄ１１ｉ，Ｄ１２ｉ，Ｄ１３ｉの中から所定のフィールドを用いて、デインタレース処理を実行するものである。具体的には、ビデオ用デインタレース処理を実行する場合において、Prev−Next間の動きが小さい場合にはフレーム間補間処理、動きが大きい場合にはフレーム内補間処理を実行する。一方、プルダウン逆変換処理を実行する場合には、判定部２５において特定されたペアのフィールドの映像信号を用いてプルダウン逆変換処理を実行する。デインタレース処理実行部２６からは、プログレッシブ信号としての映像信号Ｄ２ｐが出力されるようになっている。

［表示装置１の作用および効果］
表示装置１では、フロント映像処理部１１が、インタレース方式の放送波として入力された映像信号Ｄ０ｉに対し、所定の映像処理を施すことにより、映像信号Ｄ１ｉとしてデインタレース処理部１２へ出力する。

［デインタレース処理部１２の動作］
図３は、デインタレース処理部１２における処理フローを表すものである。デインタレース処理部１２は、インタレース信号としての映像信号Ｄ１ｉに対し、ビデオ用デインタレース処理およびプルダウン逆変換処理のどちらかを実行することにより、プログレッシブ信号としての映像信号Ｄ２ｐを出力する。但し、後述の判定部２５において、プルダウン逆変換処理を実行するか否かを判定するまでの間は、ビデオ用デインタレース処理を実行する（ステップＳ１１）。

デインタレース処理部１２では、入力した映像信号Ｄ１ｉのうち、Prev−Curr−Nextの関係にある３フィールド分の映像信号Ｄ１１ｉ，Ｄ１２ｉ，Ｄ１３ｉが、フレームメモリ２１，２２，２３へ順次記憶される。記憶された映像信号Ｄ１１ｉ，Ｄ１２ｉ，Ｄ１３ｉのうち、Prev−Nextの関係にある映像信号Ｄ１１ｉ，Ｄ１３ｉは算出部２４の差分算出部２４Ａへ出力される。他方、Prev−Currの関係にある映像信号Ｄ１１ｉ，Ｄ１２ｉは第１相関算出部２４Ｂへ、Curr−Nextの関係にある映像信号Ｄ１２ｉ，Ｄ１３ｉは第２相関算出部２４Ｃへそれぞれ出力される。

算出部２４は、差分算出部２４Ａ、第１相関算出部２４Ｂおよび第２相関算出部２４Ｃのそれぞれにおいて、入力された映像信号に基づいて、差分値ＦＤおよび相関値Ｖpc，Ｖcnを算出する。図４を参照して、差分算出部２４Ａにおける差分値算出動作、第１相関算出部２４Ｂおよび第２相関算出部２４Ｃにおける相関値算出動作について説明する。図４は、Prev−Curr−Nextの関係にある３フィールド分の概念図である。

差分算出部２４Ａは、映像信号Ｄ１１ｉ，Ｄ１３ｉに基づいてこれらのフィールド間の差分値ＦＤを算出する。差分値ＦＤは、例えば差分絶対値和であり、以下の式（１）により算出することができる。即ち、差分値ＦＤは、例えば、absを絶対値演算、ＰＡをPrev時制のフレームＦ１１ｉの画素、ＰＤをNext時制のフレームＦ１３ｉの画素とし、これらの画素間の差分の絶対値を表示画面の全画素あるいは指定領域について積分したものである。この差分値ＦＤは、Prev−Curr−Nextの関係にある３フィールドが同一の元画像からプルダウン変換された画像である場合、あるいは静止画像や静止に近い画像である場合には小さな値となる。算出された差分値ＦＤは、判定部２５へ出力される。
差分値ＦＤ＝Σabs（ＰＡ−ＰＤ） ………（１）

第１相関算出部２４Ｂは、映像信号Ｄ１１ｉ，Ｄ１２ｉに基づいてこれらのフィールド間の相関値Ｖpcを算出する。相関Ｖpcは、Prev時制のフィールドＦ１１ｉとCurr時制のフィールドＦ１２ｉとの間の垂直方向のライン・ラプラシアン絶対値和である。例えば、absを絶対値演算、ＰＡをフィールドＦ１１ｉの画素、ＰＢおよびＰＣをフィールドＦ１２ｉの画素とした場合、以下の式（２）により算出することができる。この相関値Ｖpcは、フィールドＦ１１ｉとフィールドＦ１２ｉがプルダウンペアである場合には、元画像が異なっている場合に比べて小さな値となる。算出された相関値Ｖpcは、判定部２５へ出力される。
相関値Ｖpc＝Σabs（ＰＢ＋ＰＣ−２ＰＡ） ………（２）

第２相関算出部２４Ｃは、映像信号Ｄ１２ｉ，Ｄ１３ｉに基づいてこれらのフィールド間の相関値Ｖcnを算出する。相関Ｖcnは、Curr時制のフィールドＦ１２ｉとNext時制のフィールドＦ１３ｉとの間の垂直方向のライン・ラプラシアン絶対値和である。例えば、absを絶対値演算、ＰＢおよびＰＣをフィールドＦ１２ｉの画素、ＰＤをフィールドＦ１３ｉの画素とした場合、以下の式（３）により算出することができる。この相関値Ｖcnは、フィールドＦ１２ｉとフィールドＦ１３ｉがプルダウンペアである場合には、元画像が異なっている場合に比べて小さな値となる。算出された相関値Ｖcnは、判定部２５へ出力される。
相関値Ｖcn＝Σabs（ＰＢ＋ＰＣ−２ＰＤ） ………（３）

判定部２５は、差分値ＦＤおよび相関値Ｖpc，Ｖcnに基づいて、映像信号Ｄ１１ｉ，Ｄ１２ｉ，Ｄ１３ｉに対してプルダウン逆変換処理の適用条件が成立するかどうかを判定する。言い換えると、プルダウン逆変換処理を開始するか否かの判定を行う（Ｓ１２）。

［プルダウン逆変換処理の適用条件］
（１．差分値ＦＤに関する条件）
具体的には、まず、差分値ＦＤが動き閾値以上であるか否かを判定する。差分値ＦＤが動き閾値未満である場合（動き量が小さい場合、Ｓ１２：Ｎ）には、ビデオ用デインタレース処理を実行（継続）すると判定し、ステップＳ１１へ戻る。一方、差分値ＦＤが動き閾値以上である場合（動き量が大きい場合）には、相関値Ｖpcおよび相関値Ｖcnの大小関係の比較を行う。

（２．相関値に関する条件）
ここで、図５（Ａ）に、時間軸に沿って連続するフィールドの概念図を示す。図５（Ａ）において、ＹとＹ’のペアおよびＺとＺ’のペアはそれぞれ、プルダウンペアであり、「’」の有無は偶数フィールドであるか奇数フィールドであるかを表している。また、フィールドＡの元画像は、ＺおよびＺ’の元画像と同一であるかは問わない。図５（Ｂ）は、入力対象のフィールドが「Ｙ’，Ｚ，Ｚ’」の場合（適用条件の判定）と、「Ｚ，Ｚ’，Ａ」の場合（継続条件の判定）のそれぞれにおける、差分値ＦＤ、相関値Ｖpc，Ｖcnおよびプルダウンペアについてまとめたものである。なお、図５（Ｂ）中の「−」は、特に判定処理に必要のないパラメータであることを示している。

まず、Prev−Curr−Nextの関係にある３フィールドのパターンが「Ｙ’，Ｚ，Ｚ’」である場合、即ち３つのフィールドの中に異なる元画像から生成されたフィールドが含まれている場合を想定して説明する。インタレース信号を時間軸に沿ってフィールド単位でずらしながら判定処理を行っていく場合、プルダウン変換のケイデンスパターンによらず、この「Ｙ’，Ｚ，Ｚ’」の組み合わせが必ず検出されることとなる。ここで、図６（Ａ）に２−３プルダウン、図６（Ｂ）に２−２プルダウン、図６（Ｃ）に８−７プルダウンによりプルダウン変換されたインタレース信号の概念図を示す。但し、ａおよびａ’、ｂおよびｂ’、ｃおよびｃ’はそれぞれ、プルダウンペアである。このように、いずれのケイデンスパターンの場合でも、１枚の元画像から２枚以上のフィールドに変換されるのであるから、上記「Ｙ’，Ｚ，Ｚ’」に対応する「ａ’，ｂ，ｂ’」の組合わせは必ず存在する。この「Ｙ’，Ｚ，Ｚ’」を検出することにより、プルダウン逆変換処理を開始するタイミングを決定する。

すなわち、PrevおよびCurrの関係にあるフィールド間の相関値ＶpcとCurrおよびNextの関係にあるフィールド間の相関値Ｖcnとの比率（Ｖpc／Ｖcn）が相関値以上となるかどうかの判断を行う。この結果、相関閾値未満の場合（Ｓ１２：Ｎ）には、ビデオ用デインタレース処理を実行（継続）すると判定し、ステップＳ１１へ戻る。一方、比率（Ｖpc／Ｖcn）が相関閾値以上の場合には、入力された３つのフィールドが「Ｙ’，Ｚ，Ｚ’」のパターンであると推定して、プルダウン逆変換処理を開始すると判定する（Ｓ１２のＹ）。

また、この場合には、相関値が小さい（画像相関性の高い）方のペアをプルダウンペア（Ｚ，Ｚ’）と特定する。隣接する２つのフィールドが、互いに同一の元画像から生成されている場合（Ｚ，Ｚ’）にはライン間の画像相関が高くなるため、互いに異なる元画像から生成されている場合（Ｙ’，Ｚ）に比べてフィールド間の相関値が小さくなる（Ｖpc＞Ｖcn）。よって、相関値の小さな（画像相関性の高い）方のペアを、同一の元画像から生成されたプルダウンペアと推定することができる。

これらの判定結果は、判定結果信号としてデインタレース処理実行部２６へ出力される。これにより、この場合、デインタレース処理実行部２６は、詳細は後述するが、上記判定結果に基づいて、２つのフィールドＺ，Ｚ’を用いたプルダウン逆変換処理を実行する（Ｓ１３）。

［プルダウン逆変換処理の継続条件］
判定部２５は、プルダウン逆変換処理を開始した後、更に、そのプルダウン逆変換処理を継続するか否かについての判定を行う（Ｓ１４）。ここで、時間軸に沿って１フィールド分ずらし、Prev−Curr−Nextの関係にある３フィールドのパターンが「Ｚ，Ｚ’，Ａ」である場合を想定する。既にプルダウン逆変換処理を開始しているので、CurrおよびNextの関係にあるフィールドペアに着目し、これらがプルダウンペアであるかについてのみ判断を行う。

すなわち、判定対象である「Ｚ，Ｚ’，Ａ」における相関値Ｖcnと、時間的に１つ前の３フィールド「Ｙ’，Ｚ，Ｚ’」における相関値Ｖpcおよび相関値Ｖcnのうちの小さい方（ここでは、相関値Ｖcn）とを比較し、相関の連続性があるか否かを判断する。連続性がある場合には、CurrおよびNextの関係にある２つのフィールド（Ｚ’，Ａ）がプルダウンペアであると推定し、プルダウン逆変換処理を継続すると判定する（Ｓ１４：Ｙ）。

同様にして、時間軸に沿って１フィールドずつずらしながら検出される３つのフィールドにおいて、CurrおよびNextの関係にある２つのフィールド間の相関値Ｖpcを用いて上記継続条件についての判断を行う。相関の連続性が続く場合には、同一の元画像からプルダウン変換されたフィールドが続いているものと推定して、プルダウン逆変換処理を継続すると判定する（Ｓ１４：Ｙ）。あるいは、相関の連続性がない場合であっても、上記プルダウン逆変換処理の適用条件を満足する場合には、新たに特定されたプルダウンペアを用いてプルダウン逆変換処理を実行すると判定する（Ｓ１４：Ｙ）。一方、プルダウン逆変換処理の継続条件および適用条件のどちらも成立しないと判断した場合（Ｓ１４：Ｎ）には、プルダウン逆変換処理を終了し、ビデオ用デインタレース処理の実行を開始すると判定する（Ｓ１１へ戻る）。これらの判定結果は、判定結果信号としてデインタレース処理実行部２６へ出力される。

デインタレース処理実行部２６は、上記判定部２５からの判定結果に基づいて、フィールドメモリ２１，２２，２３から出力される映像信号Ｄ１１ｉ，Ｄ１２ｉ，Ｄ１３ｉの中から所定のフィールドを用いて、以下のデインタレース処理を実行する。このデインタレース処理により、プログレッシブ信号としての映像信号Ｄ２ｐが生成され、表示駆動処理部１３へ供給される。

（ビデオ用デインタレース処理）
判定部２５の判定結果に基づくデインタレース処理がビデオ用デインタレース処理である場合は、例えば次のような補間処理を実行する。ここで、インタレース信号は、図４に示すように、１つのフレームが時間方向ｔおよび垂直方向Ｖにずれた２つのフィールドで構成されているが、プログレッシブ信号は、走査線構造にずれがない。従って、インタレース信号において間引かれている部分の走査線を補間することにより、プログレッシブ信号への変換を行う。このとき、PrevおよびNext間の動き（差分値ＦＤ）が小さい場合（映像が静止または静止に近い場合）には、フィールド間補間処理を実行する。具体的には、図４に示したように、Prev時制のフィールドＦ１１ｉにおける画素ＰＡとNext時制のフィールドＦ１３ｉにおける画素ＰＤとの平均値を、Curr時制のフィールドＦ１２ｉにおける新しい画素ＰＸとする。これにより、Curr時制のフィールドＦ１２ｉに新しい走査線を生成する。一方、動きが大きい場合（映像が動画である場合）には、フレーム内補間処理を実行する。具体的には、図４に示したように、Curr時制のフィールドＦ１２ｉにおいて、上下の画素ＰＢ，ＰＣの平均値を新しい画素ＰＸとすることにより、Curr時制のフィールドＦ１２ｉに新しい走査線を生成する。

（プルダウン逆変換処理）
一方、プルダウン逆変換処理を実行する場合には、同じ元画像に由来するフィールドが隣接フィールドに必ず存在するため、それを利用してプログレッシブ信号を生成する。すなわち、映像信号Ｄ１１ｉ，Ｄ１２ｉ，Ｄ１３ｉのうち、判定部２５において特定された２つのフィールドの映像信号を用いてプルダウン逆変換処理を実行する。ここで、一例として、図７（Ａ）〜（Ｃ）に、２−３プルダウンにより生成されたインタレース信号に対するプルダウン逆変換処理（２−３プルダウン逆変換処理）を示す。図８（Ａ）〜（Ｃ）には、２−２プルダウンにより生成されたインタレース信号に対するプルダウン逆変換処理（２−２プルダウン逆変換処理）をそれぞれ示す。

図７（Ａ）〜（Ｃ）に示したように、２−３プルダウンの場合、２４Ｐ素材（２４フレーム／秒のプログレッシブ信号）の映像信号Ｆｐが、６０Ｉ素材（６０フィールド／秒のインタレース信号）の映像信号Ｆｉ（Ｄ０ｉ）へ変換されている。この６０Ｉ素材の映像信号Ｆｉに対して、上述したように、同一の元画像（フレーム）からプルダウン変換されたフィールドを特定して、２−３プルダウン逆変換処理を実行する。これにより、元画像に対応した６０Ｐ素材（６０フレーム／秒のプログレッシブ信号）の映像信号Ｄ２ｐを生成することができる。なお、図中の「Ａ」〜「Ｄ」はフレーム信号を、「ａ」〜「ｄ」，「ａ’」〜「ｄ’」はフィールド信号を示し、符号「’」の有無は奇数（第１の）フィールドと偶数（第２の）フィールドとの違いを示している。

図８（Ａ）〜（Ｃ）に示したように、２−２プルダウンの場合、３０Ｐ素材（３０フレーム／秒のプログレッシブ信号）の映像信号Ｆｐが、６０Ｉ素材の映像信号Ｆｉへ変換されている。この６０Ｉ素材の映像信号Ｆｉに対して、上述したように、同一の元画像（フレーム）からプルダウン変換されたフィールドを特定して、２−２プルダウン逆変換処理を実行する。これにより、元画像に対応した６０Ｐ素材の映像信号Ｄ２ｐを生成することができる。

上記のようにして生成された映像信号Ｄ２ｐが表示駆動処理部１３へ供給されると、表示部１４は、表示駆動処理部１３の駆動制御に応じて、映像信号Ｄ２ｐに基づく表示動作を行う。以上により、表示装置１において映像表示が行われる。

以上のように本実施の形態では、判定部２５において、時間軸に沿って連続する３つのフィールドを検出し、差分値ＦＤおよび相関値Ｖpc，Ｖcnの大小関係に基づいて、ビデオ用デインタレース処理とプルダウン逆変換処理のどちらを適用するかを判定する。例えば、差分値ＦＤが小さい場合には、ビデオ用デインタレース処理を実行すると判定し、差分値ＦＤが大きい場合には、相関値Ｖpcおよび相関値Ｖcnの大小関係を比較し、プルダウン逆変換処理を適用するか否かについて判断する。具体的には、３つのフィールドが「Ｙ’，Ｚ，Ｚ’」である場合を想定して、Ｖpc／Ｖcnが相関閾値未満の場合にはビデオ用デインタレース処理を実行し、Ｖpc／Ｖcnが相関閾値以上である場合には、プルダウン逆変換処理を開始すると判定する。Ｖpc／Ｖcnが相関閾値以上である場合には、相関値が小さい方のペアをプルダウンペアとして特定する。これにより、３つのフィールドの中に、異なる元画像からプルダウン変換されたフィールドが含まれている場合に、プルダウンペア（Ｚ，Ｚ’）を特定して、プルダウン逆変換処理を実行することができる。

即ち、入力された映像信号Ｄ０ｉ（Ｄ１ｉ）に対してプルダウン逆変換処理を適用するか否かについての判定を、３枚分のフィールドを検出することによって行うことができる。ここで、プルダウン変換のケイデンスパターンを検出する従来の手法では、例えば２−３プルダウンなら５フィールド周期でフレーム差分が０となることを利用して判定を行うため、少なくとも５枚分のフィールド検出が必要となる。同様に、２−２プルダウンなら４枚分のフィールド検出が必要である。また、この他にも、プルダウン・ケイデンスとしては８−７、５−５、６−４等の様々なケイデンスパターンがあり、特に８−７や６−４等、フレーム差分が０となる周期が長いケイデンスの場合には、従来の手法では判定時間が長くなってしまう。判定時間、即ちプルダウン・ケイデンスの検出が終了するまでの間は、プルダウン逆変換処理を実行することができないため、それまではビデオ用デインタレース処理を実行することとなる。このため、入力信号がプルダウン変換されたフィルム信号であるにも拘らず、プルダウン逆変換処理を適用するか否かを判断している間に、ビデオ用デインタレース処理が施されてしまい、画質劣化が生じてしまう。

これに対し、本実施の形態では、プルダウン・ケイデンスがどのようなパターンであっても、３枚分のフィールドを検出することにより、プルダウン逆変換処理を適用するか否かを判定することができる。言い換えると、従来よりも上記判定に要する時間を短縮することができる。よって、ビデオ映像由来のインタレース信号だけでなく、フィルム映像からプルダウン変換されたインタレース信号に対しても適切なデインタレース処理を実行し易くなる。即ち、インタレース信号の種類によらず、画質劣化を生じにくいデインタレース処理を実行可能となる。

以上、実施の形態を挙げて本発明を説明したが、本発明はこの実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態では、本発明のプルダウン逆変換型のデインタレース処理として、２−２または２−３プルダウン逆変換処理を例に挙げたが、これに限定されず、８−７，６−４，５−５等他のプルダウン・ケイデンスの逆変換処理にも適用可能である。上述したように、本発明では計３枚分のフィールド検出により、プルダウンペアを特定可能であるため、どのようなケイデンスパターンであっても、同様の動作によりプルダウン逆変換処理を適用するか否かを判定することができる。

また、上記実施の形態では、時間軸に沿って連続する３つのフィールドとして「Ｙ’，Ｚ，Ｚ’」を想定して説明したが、検出する３つのフィールドとしては、これに限定されず、例えば「Ｙ，Ｙ’，Ｚ」であってもよい。但し、この場合には、PrevおよびCurr間の相関値Ｖpcと、CurrおよびNext間の相関値Ｖcnとの比率（Ｖcn／Ｖpc）が相関閾値以上となる場合に、プルダウン逆変換処理を実行すると判定する。CurrおよびNext間よりも、PrevおよびCurr間において、画像相関性が高くなるためである。この場合、Ｖcn＞Ｖpcとなり、プルダウンペアは、「Ｙ，Ｙ’」となる。

更に、上記実施の形態では、フィールド間の第１および第２の相関値（Ｖpc，Ｖcn）の大小関係を比較する手法として、これらの比率が所定の相関閾値以上（未満）となるかについて判断する場合について説明したが、必ずしも比率を用いる必要はない。例えば、相関値同士の差分値を求めて、この差分値が所定の閾値以上（未満）となるかを判断するようにしてもよい。また、第１および第２の相関値の算出手法についても、上記式（２），（３）を用いた手法に限定されず、他の式等を用いた手法であってもよい。３枚のフィールドのうち、２枚のペア同士の相関関係を比較し得るような手法であれば、本発明と同等の効果を得ることができる。

加えて、表示映像の１枚の画像内に、フィルム映像からプルダウン変換されたインタレース信号と、ビデオ映像由来のインタレース信号とが混在している場合（字幕を挿入する場合等）があるが、このような場合にも、本発明は適用可能である。例えば、字幕等は一般に、画面の端の領域に挿入されることが多いため、このような領域を除いた領域（例えば、画面の中央領域）に対して差分値ＦＤや相関値Ｖpc，Ｖcnを算出するとよい。上述のように判定部では、差分値ＦＤによりフィールド間の動き量の大小、相関値Ｖpc，Ｖcnの比較によりフィールド間の画像相関性の大小をそれぞれ判断する。これらを判断する際には、必ずしも全画素（全画面）を用いる必要はなく、ある程度の面積を有する領域を用いれば足りる。従って、差分値や相関値を算出する範囲を表示画面内の指定された領域（例えば中央領域）とすることにより、字幕等の挿入によって１枚の画像にビデオ信号とフィルム信号とが混在している場合にも、適切なデインタレース処理を実行し易くなる。

１…表示装置、１１…フロント映像処理部、１２…デインタレース処理部、１３…表示駆動処理部、１４…表示部、２１，２２，２３…フィールドメモリ、２４…算出部、２４Ａ…差分算出部、２４Ｂ…第１相関算出部、２４Ｃ…第２相関算出部、２５…判定部、２６…デインタレース処理実行部。

Claims (7)

1. インタレース信号のうち、時間軸に沿って連続する第１，第２および第３のフィールドにおいて、前記第１および第３のフィールド間の差分値と、前記第１および第２のフィールドよりなる第１組におけるフィールド間の絵柄に関する第１の相関値と、前記第２および第３のフィールドよりなる第２組におけるフィールド間の絵柄に関する第２の相関値とをそれぞれ算出する算出部と、
   前記差分値の大きさに応じて前記第１および第２の相関値の大小関係を比較することにより、ビデオ素材用の第１のデインタレース処理およびプルダウン逆変換型の第２のデインタレース処理のうちのどちらを適用するかを判定する判定部と、
   前記判定部の判定結果に基づいて、前記インタレース信号に対して前記第１または第２のデインタレース処理を実行するデインタレース処理部と
   を備えた映像処理装置。
2. 前記判定部は、
   前記差分値が所定の閾値未満である場合には、前記第１のデインタレース処理を適用すると判定し、
   前記差分値が前記閾値以上である場合には、前記第１および第２の相関値の大小関係を比較することにより、前記第１および第２のデインタレース処理のうちのどちらを適用するかを判定する
   請求項１に記載の映像処理装置。
3. 前記判定部は、前記第２のデインタレース処理を適用すると判定した場合には、前記第１組および第２組のうち画像相関性の高い方の組を特定し、
   前記デインタレース処理部は、特定された組における２つのフィールドを用いて前記第２のデインタレース処理を実行する
   請求項２に記載の映像処理装置。
4. 前記判定部が前記第２組を画像相関性の高い方の組として特定すると共に、前記デインタレース処理部が前記第２組に対して前記第２のデインタレース処理を実行する場合に、
   前記算出部は、前記第３のフィールドと前記第３のフィールドに続く第４のフィールドとからなる第３組におけるフィールド間の絵柄に関する第３の相関値を更に算出し、
   前記判定部は、前記第２および第３の相関値の大小関係を比較することにより、前記第３組に対して前記第２のデインタレース処理を継続して実行するか否かを判定する
   請求項３に記載の映像処理装置。
5. 前記判定部は、前記第２および第３の相関値の比較により、前記第２組と前記第３組とにおける各フィールド間の画像相関性が連続していると判断した場合には、前記第３組に対して前記第２のデインタレース処理を継続して実行すると判定する
   請求項４に記載の映像処理装置。
6. インタレース信号のうち、時間軸に沿って連続する第１，第２および第３のフィールドにおいて、前記第１および第３のフィールド間の差分値と、前記第１および第２のフィールドよりなる第１組におけるフィールド間の絵柄に関する第１の相関値と、前記第２および第３のフィールドよりなる第２組におけるフィールド間の絵柄に関する第２の相関値とをそれぞれ算出し、
   前記差分値の大きさに応じて前記第１および第２の相関値の大小関係を比較することにより、ビデオ素材用の第１のデインタレース処理およびプルダウン逆変換型の第２のデインタレース処理のうちのどちらを適用するかを判定し、
   判定結果に基づいて、前記インタレース信号に対して前記第１または第２のデインタレース処理を実行する
   映像処理方法。
7. 前記インタレース信号のうち、時間軸に沿って連続する第１，第２および第３のフィールドにおいて、前記第１および第３のフィールド間の差分値と、前記第１および第２のフィールドよりなる第１組におけるフィールド間の絵柄に関する第１の相関値と、前記第２および第３のフィールドよりなる第２組におけるフィールド間の絵柄に関する第２の相関値とをそれぞれ算出する算出部と、
   前記差分値の大きさに応じて前記第１および第２の相関値の大小関係を比較することにより、ビデオ素材用の第１のデインタレース処理およびプルダウン逆変換型の第２のデインタレース処理のうちのどちらを適用するかを判定する判定部と、
   前記判定部の判定結果に基づいて、前記インタレース信号に対して前記第１または第２のデインタレース処理を行うデインタレース処理部と、
   前記デインタレース処理部から出力された映像信号に基づいて映像を表示する表示部と
   を備えた表示装置。

Images