JP2009124261A - 映像処理装置 - Google Patents

Abstract

【課題】入力映像が２：２プルダウン映像であるか否かを確実に判定する。
【解決手段】フィールドペア相関取得部１１０は、時系列に連続する６つ以上のフィールドに対して、互いに隣接する２つの同一属性のフィールドからなるフィールドペア毎に相関を求める。第１の判断部１２０は、片方の属性の各フィールドペアの相関が時間方向に沿って変化するパターンと、他方の属性の各フィールドペアの相関が時間方向に沿って変化するパターンとが一致することを判定条件として、入力映像を２：２プルダウン映像として判定する。
【選択図】図１

Description

本発明は、映像処理技術、具体的には、入力映像が２：２プルダウン映像であるか否かを判定する技術に関する。

一般に、映画のようなフィルムソースは、１秒当たりに２４個のプログロシッブフレームからなる。ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）方式ＴＶ信号の場合、１秒当たりに６０個のインターレースされたフィールドからなり、ＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ Ｌｉｎｅ）方式のＴＶ信号の場合、１秒あたりに５０個のインターレースされたフィールドからなる。そのため、フィルムソースをＴＶで放映するためには、１秒当たりに２４個のプログレッシブフレームを１秒当たりに６０個または５０個のインターレースされたフィールドに変換しなければならない。かかる変換手法として用いられるのは、ＮＴＳＣ方式のＴＶ信号に変換する場合には３：２プルダウン手法であり、ＰＡＬ方式のＴＶ信号に変換する場合には２：２プルダウン手法である。

また、アニメーションやＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ）など元からプログレッシブ画像として作成して取り込まれた映像は毎秒３０コマであり、ＮＴＳＣ方式のＴＶ信号に変換する際にも２：２プルダウン手法が用いられる。

以下、インターレースされたフィールドにより構成された映像をインターレース映像といい、プログレッシブ映像を元に、３：２プルダウン手法により得られたインターレース映像を３：２プルダウン映像といい、２：２プルダウン手法により得られたインターレース映像を２：２プルダウン映像という。

インターレース映像を、液晶テレビなどのプログレッシブ方式の出力機器で再生する場合には、再生側において、ＩＰＣ（Ｉｎｔｅｒｌａｃｅ ｔｏ Ｐｒｏｇｒｅｓｓｉｖｅ Ｃｏｎｖｅｒｓｉｏｎ）変換を行う必要がある。その際、このインターレース映像が元からインターレース映像なのか、プルダウン手法により得られたインターレース映像なのかを判定し、プルダウン手法により得られたインターレース映像に対して画質の良い再生を図ることができる。

例えば、３：２プルダウン手法は、２枚の２４Ｈｚフレームを５枚の６０Ｈｚフィールドに変換する手法であり、具体的には、フィルムソースの連続した２フレームのうちの最初のフレームを３フィールドで読出し、次のフレームを２枚のフィールドで読み出すというような操作を繰り返す。すなわち、３：２プルダウン手法は、最初のフレームに対して、奇数ラインで構成されたトップフィールドおよび偶数ラインで構成されたボトムフィールドで読出し、再度トップフィールドで読み出す。その後、次のフレームをボトムフィールドおよびトップフィールドで読み出す。

そのため、ＮＴＳＣ方式などの６０Ｈｚフィールド映像をプログレッシブ方式で再生する場合には、再生側において、入力映像が３：２プルダウン映像であることが分かれば、インターレースされたフィールドからの２フィールドの組み合わせにより３：２プルダウンされる前の完全なプログレッシブフレームを得ることができ、プルダウンされる前の映像と同じ画質の映像を再構築することができる（特許文献１）。

また、２：２プルダウン手法は、１枚のフレームを２枚のフィールドで読み出す手法であり、具体的には、図１８に示すように、プログレッシブ映像の各フレームに対して、まず奇数ラインで構成されたトップフィールドで読出し、次に偶数ラインで構成されたボトムフィールドで読み出す。図中陰影部分は、読み出す際に省かれた部分である。

そのため、インターレース映像をプログレッシブ方式で再生する場合には、再生側において、入力映像が２：２プルダウン映像であることが分かれば、図１８の下部に示すように、トップフィールドとボトムフィールドを組み合わせることによって、元のプログレッシブ映像と全く同様の映像を再構築することができ、再生品質を高めることができる。

入力映像が２：２プルダウン映像であるか否かの判定について様々な手法が提案されている。
例えば、２：２プルダウン映像ではないＰＡＬ方式のＴＶ映像の場合、フィールド間に２０ｍｓの時間差がある。そのため、図１９に示すように、時間的に隣接する２つのフィールド間に相関が低い。一方、図２０に示すように、２：２プルダウン映像において、同じフレームから生成された２つのフィールド（トップフィールドとボトムフィールド）間の相関が、この２つのフィールドと、別のフレームから生成されたフィールドとの間の相関より高いことを利用して、時間的に相隣するフィールド間の相関を求め、「高、低、高、低、・・・」となる相関パターンを繰り返す入力映像を２：２プルダウン映像として判定することが行われている。

また、特許文献２には、フィールドを複数のブロックに分割し、動き補償を行うことにより、各ブロックについて連続する同一属性の２つのフィールド間における信頼度が最も高い動きベクトルを検出すると共に、連続する奇数フィールドと偶数フィールドの動きベクトルを比較することにより２：２プルダウン映像の検出を行う手法が開示されている。ここで、「属性」は、当該フィールドがトップフィールドであるかボトムフィールドであるかを意味し、奇数フィールドは同じ属性を有し、偶数フィールドは同じ属性を有する。
特開２００４−４０８１５号公報 特開２００７−１２９４００号公報

ところで、時間的に隣接するフィールド間の相関のパターンを求めて入力映像が２：２プルダウン映像であるか否かを判定する手法は、同じフレームから生成された２つのフィールド間の相関が、この２つのフィールドと、別のフレームから生成されたフィールドとの間の相関より高いことに基づく。しかし、トップフィールドは奇数ラインで構成され、ボトムフィールドが偶数ラインで構成されるため、例え同じフレームから生成された２つのフィールドであっても、必ずしも相関が高いとは限らない。特に垂直方向に変化がある絵柄やエッジの部分で動きがある映像の場合には、同じフレームから生成された２つのフィールド間の相関が低くなってしまう。例えば、図１８に示す文字「Ａ」のフレームから生成された２つのフィールドでは、文字「Ａ」の横線は、ボトムフィールドにしかないので、この２つのフィールド間の相関が低くなる。このような場合には、２：２プルダウン映像の検出率が低くなるという問題がある。

また、プログレッシブ映像の１つのフレームの中に、異なる部位が異なる動きをする場合がある。それに対して、特許文献２に開示された手法は、フレームの一部であるブロックの動きベクトルに基づくものであるので、フレームの中に、互いに異なる動きをするブロックが多く含まれた場合には、２：２プルダウン映像の判定が困難である。また、この手法は、動き補償をする必要があり、演算が複雑である。

本発明の一つの態様は、入力映像が２：２プルダウン映像であるか否かを判定する映像処理装置である。この映像処理装置は、フィールドペア相関取得部と、第１の判定部を備える。

フィールドペア相関取得部は、入力映像においてタイミングｔのフィールドＦｔ、および該フィールドＦｔと時系列に連続する５個以上のフィールドＦ（ｔ−ｉ）（ｉ＝１〜ｍ，ｍ≧５）からなるフィールドグループＧｔに対して、隣接する２つの同一の属性のフィールドからなるフィールドペアＰｊ（ｊ＝ｔ〜「ｔ−ｍ＋２」）毎に相関を求める。

第１お判定部は、片方の属性の各前記フィールドペアの相関が時間方向に沿って変化するパターンと、他方の属性の各前記フィールドペアの相関が時間方向に沿って変化するパターンとが一致することを判定条件として、入力映像を２：２プルダウン映像として判定する。

なお、上記装置を方法やシステム、並びにコンピュータを上記装置として動作させるプログラムに置き換えて表現したものも、本発明の態様としては有効である。

本発明にかかる技術によれば、入力映像が２：２プルダウン映像であるか否かを確実に判定できる。

本発明の実施の形態を説明する前に、本発明にかかる技術の原理について説明する。
図１は、本発明にかかる技術による映像処理装置１００の模式図である。映像処理装置１００は、フィールドペア相関取得部１１０と、第１の判定部１２０を備える。

フィールドペア相関取得部１１０は、インターレース映像である入力映像の連続する６つ以上のフィールドに対して、隣接する同一属性の２つのフィールドからなるフィールドペア毎に相関を求める。

インターレース映像のフィールドは、トップフィールドとボトムフィールドの２種類の属性があり、２種類の属性のフィールドが交互に入力される。そのため、タイミングｔのフィールドＦｔと該フィールドＦｔの２つ前のフィールドＦ（ｔ−２）や、フィールドＦｔと該フィールドＦｔの２つ後のフィールドＦ（ｔ＋２）は、隣接する同一属性の２つのフィールドとなる。以下の説明において、「フィールドペア」を、「隣接する同一属性の２つのフィールド」と同じ意味で使用し、フィールドペアを構成する２つのフィールドの属性を該フィールドペアの属性とする。

図２は、２：２プルダウン映像における連続した６つのフィールドＦ１〜Ｆ６の例を示している。この例は、物体が画面左から右に移動するシーンに対してエッジ周辺を拡大したものである。図示のように、２：２プルダウン映像におけるトップフィールドＦ１とボトムフィールドＦ２は、元のプログレッシブ映像の同じフレームの奇数ライン同士と偶数ライン同士でそれぞれ構成されたものであり、トップフィールドＦ３とボトムフィールドＦ４、トップフィールドＦ５とボトムフィールドＦ６についても同じである。

図２に示す６つのフィールドにおいて、Ｆ１とＦ３、Ｆ２とＦ４、Ｆ３とＦ５、Ｆ４とＦ６の４つのフィールドペアＰ３〜Ｐ６が存在し、Ｐ３とＰ５はトップフィールドから構成されたトップフィールドペアであり、Ｐ４とＰ６はボトムフィールドから構成されたボトムフィールドペアである。

このような４つのフィールドペアＰ３〜Ｐ６に対して、フィールドペア相関取得部１１０は、フィールドペアを構成する２つのフィールド間の相関を求めフィールドペア毎の相関を得る。

図２に示すように、フィールドＦ１とＦ２は、同じフレームにおける奇数ライン同士と偶数ライン同士でそれぞれ構成される、フィールドＦ３とＦ４は、次のフレームにおける奇数ライン同士と偶数ライン同士でそれぞれ構成されるため、物体の移動に起因するフィールドＦ１からフィールドＦ３への変化は、フィールドＦ２からフィールドＦ４への変化と一致する。同様に、フィールドＦ３からフィールドＦ５への変化も、フィールドＦ４からフィールドＦ６への変化と一致する。

すなわち、フィールドＦ１−Ｆ３−Ｆ５の変化パターンは、フィールドＦ２−Ｆ４−Ｆ６の変化パターンと一致する。

フィールドＦ１−Ｆ３−Ｆ５の変化パターンは、フィールドペアＰ３、Ｐ５の相関の変化パターンで表すことができ、フィールドＦ２−Ｆ４−Ｆ６の変化パターンは、フィールドペアＰ４、Ｐ６の相関の変化パターンで表すことができる。そのため、２：２プルダウン映像の場合、２種類の属性のフィールドペアのうちの片方の属性のフィールドペアの相関が時間方向に沿って変化するパターンは、他方の属性のフィールドペアの相関が時間方向に沿って変化パターンするパターンと一致する。

ＰＡＬ方式など、２：２プルダウン映像ではないインターレース映像（以下非２：２プルダウン映像という）の場合について考える。比較しやすいように、図２に示すシーンを例にする。

図３は、図２に示すシーンを表す非２：２プルダウン映像の６つの連続したフィールドＦ１〜Ｆ６を示す。図示のように、この場合、物体の移動に起因するフィールドＦ１からフィールドＦ３への変化は、フィールドＦ２からフィールドＦ４への変化と関連性が無い。同様に、フィールドＦ３からフィールドＦ５への変化も、フィールドＦ４からフィールドＦ６への変化と関連性がない。

そのため、非２：２プルダウン映像の場合、２種類の属性のフィールドペアのうちの片方の属性のフィールドペアの相関が時間方向に沿って変化するパターンと、他方の属性のフィールドペアの相関が時間方向に沿って変化パターンするパターン間は、互いに関連性がない。

映像処理装置１００における第１の判定部１２０は、このことを利用して、フィールドペア相関取得部１１０により取得したフィールドペア毎の相関に基づき、トップフィールドペア（図２と図３におけるフィールドペアＰ３、Ｐ５）の相関の変化パターンと、ボトムフィールドペア（図２と図３におけるフィールドペアＰ４、Ｐ６）の相関の変化パターンとが一致することを条件に、入力映像を２：２プルダウン映像として判定する。

なお、ここで連続した６つのフィールドを例に説明したが、６つ以上の任意の数のフィールドを用いてもよく、また、フィールドの数が多いほど判定の精度を高めることができる。

映像処理装置１００は、隣接する同一の属性のフィールドペア間で相関を求め、異なる属性間でフィールドペアの相関の変化パターンを比較する。そのため、垂直の線がある絵柄などの場合でも２：２プルダウン映像を検出できる。また、フィールド全体で相関を求めるので、フィールド中において互いに異なる動きをする部位が含まれた場合にも２：２プルダウン映像を検出できる。

本願発明者は、上記技術を元に、トップフィールドのフィールドペアの相関の変化パターンと、ボトムフィールドのフィールドペアの相関の変化パターンとが一致することを、２：２プルダウン映像の特徴として捉え、２：２プルダウン映像の検出精度を高めるべく、上記技術にさらに改良を加えた。

図４は、図１に示す映像処理装置１００を改良して得た映像処理装置２００の模式図である。映像処理装置２００は、フィールドペア相関取得部２１０と、第１の判定部２２０と、計数部２３０と、第２の判定部２４０を備える。

フィールドペア相関取得部２１０は、入力映像の連続する６つ以上のフィールドに対して、フィールドペア毎に、画素位置毎に相関の有無を示す相関情報を求める。

図５には、図２に示す例と同じシーンを表す２：２プルダウン映像の連続した６つのフィールドＦ１〜Ｆ６における４つのフィールドペアＰ３〜Ｐ６毎に、画素位置毎に求めた該画素位置における相関の有無を示す相関情報Ｄ３〜Ｄ６が示されている。例えば、相関情報Ｄ３は、各画素位置について、フィールドペアＰ３を構成する２つのフィールドＦ１とＦ３間の相関の有無を示すものであり、相関情報Ｄ４は、各画素位置について、フィールドペアＰ４を構成する２つのフィールドＦ２とＦ４間の相関の有無を示すものである。

ここで、ライン３（図中Ｌｉｎｅ３）を注目ラインとして、フィールドペアＰ３から求められた相関情報Ｄ３におけるライン３の各画素位置の相関情報ＬＤ３（Ｌｉｎｅ３）、フィールドペアＰ４から求められた相関情報Ｄ３におけるライン３の上隣ラインの各画素位置の相関情報ＬＤ４（Ｌｉｎｅ２）、フィールドペアＰ５から求められた相関情報Ｄ５における注目ライン３の各画素位置の相関情報ＬＤ５（Ｌｉｎｅ３）、フィールドペアＰ６から求められた相関情報Ｄ６におけるライン３の上隣ラインの各画素位置の相関情報ＬＤ６（Ｌｉｎｅ２）を、Ｘ方向における同じ画素位置について比較してみる。

「相関なし」と「相関あり」の相関情報をそれぞれ相関値「１」と「０」で表すと、Ｘ方向における同じ画素位置について、ＬＤ３（Ｌｉｎｅ３）、ＬＤ４（Ｌｉｎｅ２）、ＬＤ５（Ｌｉｎｅ３）、ＬＤ６（Ｌｉｎｅ２）に亘って、相関値の配列パターンは「００００」、「１１００」、「００１１」の３種類がある。また、図示していないが、動きが激しい画素位置において、この配列パターンは「１１１１」に成り得る。なお、配列パターン「００００」は、該画素位置において動きがないことを意味する。

Ｘ方向における位置が同一である画素位置のうちの、全てのフィールドペアについて求められた相関値が同値である画素位置（上述した配列パターンが「００００」または「１１１１」となる画素位置に該当する）以外の画素位置に注目してみると、ＬＤ３（Ｌｉｎｅ３）とＬＤ４（Ｌｉｎｅ２）は、Ｘ方向における同じ画素位置について相関値が同一であり、ＬＤ５（Ｌｉｎｅ３）とＬＤ６（Ｌｉｎｅ２）は、Ｘ方向における同じ画素位置について相関値が同一であることが分かる。また、このことは、Ｘ方向における同じ画素位置についてＬＤ６（Ｌｉｎｅ２）、ＬＤ４（Ｌｉｎｅ２）の相関値の配列パターンと、ＬＤ５（Ｌｉｎｅ３）、ＬＤ３（Ｌｉｎｅ３）の相関値の配列パターンと一致することと実質的に同じ意味である。

このような結果は、ＬＤ３（Ｌｉｎｅ３）、ＬＤ４（Ｌｉｎｅ４）、ＬＤ５（Ｌｉｎｅ３）、ＬＤ６（Ｌｉｎｅ４）についても同様である。

図６は、物体が右に移動し続けた場合の、ボトムフィールドＦ６の次のフィールドとなるフィールドＦ７（トップフィールド）を加えて示している。フィールドペアＰ４から求められた相関情報Ｄ４におけるライン２の各画素位置の相関情報ＬＤ４（Ｌｉｎｅ２）、フィールドペアＰ５から求められた相関情報Ｄ５におけるライン１の相関情報ＬＤ５（Ｌｉｎｅ１）、フィールドペアＰ６から求められた相関情報Ｄ６におけるライン２の相関情報ＬＤ６（Ｌｉｎｅ２）、フィールドペアＰ７から求められた相関情報Ｄ７におけるライン１の相関情報ＬＤ７（Ｌｉｎｅ１）を、Ｘ方向における同じ画素位置について比較してみる。

図６から分かるように、この場合、Ｘ方向の同じ画素位置について、ＬＤ４（Ｌｉｎｅ２）、ＬＤ５（Ｌｉｎｅ１）、ＬＤ６（Ｌｉｎｅ２）、ＬＤ７（Ｌｉｎｅ１）に亘って、相関値の配列パターンは「００００」、「１０００」、「０１１０」、「０００１」などになり、「００１１」、「１１００」の配列パターンはほとんど無い。

すなわち、配列パターンが「００００」または「１１１１」となる画素位置以外の画素位置に注目してみると、ＬＤ４（Ｌｉｎｅ２）とＬＤ５（Ｌｉｎｅ１）は、Ｘ方向における同じ画素位置について相関値が異なり、ＬＤ６（Ｌｉｎｅ２）とＬＤ７（Ｌｉｎｅ１）は、Ｘ方向における同じ画素位置について相関値が異なる。このことは、Ｘ方向における同じ画素位置について、ＬＤ７（Ｌｉｎｅ１）、ＬＤ５（Ｌｉｎｅ１）の相関値の配列パターンと、ＬＤ６（Ｌｉｎｅ２）、ＬＤ４（Ｌｉｎｅ２）の相関値の配列パターンと一致しないことと実質的に同じ意味である。

このような結果は、ＬＤ４（Ｌｉｎｅ２）、ＬＤ５（Ｌｉｎｅ３）、ＬＤ６（Ｌｉｎｅ２）、ＬＤ７（Ｌｉｎｅ３）についても同様である。

非２：２プルダウン映像についても同様に相関値の配列パターンを見てみる。図７は、図５と同じシーンを表す非２：２プルダウン映像の６つの連続したフィールドＦ１〜Ｆ６における４つのフィールドペアＰ３〜Ｐ６毎に、画素位置毎に求めた相関情報Ｄ３〜Ｄ６を示している。これらの相関情報を用いて、Ｘ方向の同じ画素位置について、ＬＤ３（Ｌｉｎｅ３）、ＬＤ４（Ｌｉｎｅ２）、ＬＤ５（Ｌｉｎｅ３）、ＬＤ６（Ｌｉｎｅ２）に亘って、相関値の配列パターンを求めた結果、静止の「００００」と、動きが激しいときの図示しない「１１１１」以外に、「１０００」、「１１００」、「０１１０」、「００１１」など、様々な配列パターンがあることが分かる。

Ｘ方向における位置が同一である画素位置のうちの、配列パターンが「００００」または「１１１１」となる画素位置以外の画素位置に注目してみると、ＬＤ３（Ｌｉｎｅ３）とＬＤ４（Ｌｉｎｅ２）間、およびＬＤ５（Ｌｉｎｅ３）、ＬＤ６（Ｌｉｎｅ２）間、相関値が同一である画素位置と、相関値が異なる画素位置は、ランダムに存在する。

このような結果は、ＬＤ３（Ｌｉｎｅ３）、ＬＤ４（Ｌｉｎｅ４）、ＬＤ５（Ｌｉｎｅ３）、ＬＤ６（Ｌｉｎｅ４）についても同様である。

さらに、このような結果は、物体が右に移動し続けた場合の、ボトムフィールドＦ６の次のフィールドとなるフィールドＦ７（トップフィールド）を加えたときに、ＬＤ４（Ｌｉｎｅ２）、ＬＤ５（Ｌｉｎｅ１）、ＬＤ６（Ｌｉｎｅ２）、ＬＤ７（Ｌｉｎｅ１）についても同様であると言える。

各種の上述した配列パターンに応じて画素位置の種類を図８に示すように分類する。具体的には、配列パターンが「００００」である画素位置を、該画素位置において動きが無いとして「静止」画素位置に分類し、配列パターンが「１１１１」である画素位置を、該画素位置において動きが激しいとして「動きが激しい」画素位置に分類する。また、配列パターンが「１１００」または「００１１」である画素位置を、「２：２プルダウン映像画像の特徴」を有する特徴位置に分類する。なお、「００００」、「１１１１」、「００１１」、「１１００」以外の「その他」配列パターンの画素位置を、上記３種類のいずれにも該当しない「その他」画素位置に分類する。

すなわち、動きが激しい画素位置と静止画素位置以外の画素位置を注目画素位置とすると、特徴位置は、配列パターンを構成する４つの相関値（Ａ，Ｂ，Ｃ，Ｄ）のうちの、ＡとＢが同値であり、またはＣとＤが同値である注目画素位置となる。なお、「ＡとＢが同値であり、またはＣとＤが同値である」ことは、配列「Ａ，Ｃ」と配列「Ｂ，Ｄ」とが一致することと実質的には同じ意味である。

ここで、連続した６つのフィールド（Ｆ６、Ｆ５、・・・Ｆ１）をフィールドグループＧ６とし、フィールドグループＧ６に対して求められた特徴位置の総数（特徴位置総数）Ｓ６と、フィールドグループＧ６の次のフィールドグループＧ７（Ｆ７、Ｆ６、・・・Ｆ２）に対して求められた特徴位置総数Ｓ７を比較する。２：２プルダウン映像の場合には特徴総数Ｓ６がＳ７より大きく、かつ両者の差が大きい一方、非２：２プルダウン映像の場合には特徴総数Ｓ６とＳ７とはほぼ同じであることが分かる。

また、フィールドグループＧ７（Ｆ７、Ｆ６、・・・Ｆ２）における特徴位置総数Ｓ７と、フィールドグループＧ８（Ｆ８、Ｆ７、・・・Ｆ３）における特徴位置総数Ｓ８を比較すると、２：２プルダウン映像の場合には特徴総数Ｓ７がＳ８より小さく、かつ両者の差が大きい一方、非２：２プルダウン映像の場合には特徴総数Ｓ７とＳ８とはほぼ同じになる。

すなわち、フィールドグループＧ６とＧ７、またはフィールドグループＧ７とＧ８のような、連続した２つのフィールドグループのみを用いる場合、該２つのフィールドグループに対してそれぞれ求められた特徴位置総数間の差分の絶対値、または２つの特徴位置総数の比が所定の閾値以上であれば、入力映像を２：２プルダウン映像として判定することができる。なお、この閾値は、２：２プルダウン映像と非プルダウン映像の差を反映することができるように、シミュレーションなどによって予め求めればよいし、映像の動きに応じてダイナミックに制御してもよい。この判定手法を、以下手法Ａという。

また、フィールドグループＧ６、Ｇ７、Ｇ８のような３つ以上の連続したフィールドグループＧｊ（ｊ＝ｔ〜「ｔ＋ｎ」，ｎ≧２）に対して求められたｎ個の特徴位置総数Ｓｊ全てについて、ＳｊとＳ（ｊ＋１）の大小関係と、Ｓ（ｊ＋１）とＳ（ｊ＋２）の大小関係とが逆転するようになっていれば、入力映像を２：２プルダウン映像として判定することができる。なお、入力映像が非２：２プルダウン映像である場合には、このような規則性が無い。この判定手法を、以下手法Ｂという。

手法Ｂは、判定に必要なフィールドグループの数が手法Ａより多いが、閾値を設定する必要がない。そのため、閾値の設定が不適切な場合に、判定精度が影響されるなどの問題はない。

なお、１つのフィールドグループが連続した６つのフィールドにより構成されることを例に説明したが、フィールドグループに含まれるフィールドの数は、６つ以上の任意の数であってもよく、また、フィールドの数が多いほど判定の精度を高めることができる。

図４に戻って映像処理装置２００を説明する。
第１の判定部２２０は、フィールドペア相関取得部２１０が求めた各フィールドペアの相関情報を用いて、フィールドグループ毎に、各画素位置が、図８に示す「静止」画素位置、「動きが激しい」画素位置、「特徴位置」、「その他」画素位置のいずれであるかを判定する。

計数部２３０は、フィールドグループ毎に、第１の判定部２２０により「特徴位置」として判定された画素位置の総数を求めて、特徴位置総数として第２の判定部２４０に出力する。

第２の判定部２４０は、連続した複数のフィールドグループの特徴位置総数の大小関係を比較することにより、入力映像が２：２プルダウン映像であるか否かを判定する。なお、判定に際して、上述した手法Ａまたは手法Ｂのいずれかを用いる。

映像処理装置２００は、映像処理装置１００に対して改良を加えたものであり、映像処理装置１００の各効果を得ることができる。

また、映像処理装置２００は、画素位置毎にフィールドペア間で相関情報を求めるため、静止画素位置や、動きの激しい画素位置を除外することができ、静止している細かい背景などがある場合にも、精度良く判定を行うことができる。
また、特許文献２の手法に用いられた動き補償を必要とせず、演算が簡単である。

なお、本発明にかかる技術において、画素位置毎に相関情報を求める手法は、既知のいかなる手法を用いてもよく、例えば、フィールドペア毎に、画素位置毎に動き検出を行い、動きの有無を示す動きパラメータを該画素位置の相関情報として取得するようにすればよい。

また、動き検出についても、既知のいかなる手法を用いてもよく、例えば、フィールドペア毎に、該フィールドペアを構成する２つのフィールドの差分を求め、該差分の絶対値が所定の閾値以上である画素位置については動きが「あり」とし、該差分の絶対値が閾値未満である画素位置については動きが「なし」として各画素位置の動きパラメータを取得すればよい。

以上の説明を踏まえ、上述した原理を具現化した実施例について説明する。
図９は、本発明の実施例にかかる映像処理装置３００を示す。映像処理装置３００は、フィールド遅延部３１０と、フィールド遅延部３２０と、フィールドペア相関取得部３３０と、ログ処理部３４０と、ログバッファ３５０と、第１の判定部３９０と、カウンタ３９２と、第２の判定部３９４を備える。

インターレース映像の各フィールドは、フィールド遅延部３１０と、フィールドペア相関取得部３３０に順次入力される。また、映像処理装置３００には、図示しない制御部を有し、この制御部は、現在入力されるフィールドがトップフィールドとボトムフィールドのいずれであるかを示すフィールド属性情報をログバッファ３５０に入力する。

フィールド遅延部３１０は、入力されたフィールドを１フィールド間隔分遅延させてフィールド遅延部３２０に入力する。

フィールド遅延部３２０は、フィールド遅延部３１０からのフィールドを１フィールド間隔分遅延させてフィールドペア相関取得部３３０に出力する。

すなわち、タイミングｔにおいて、フィールドペア相関取得部３３０に、フィールドＦｔと、該フィールドＦｔの２つ前のフィールドＦ（ｔ−２）が入力される。この２つのフィールドは、同じ属性を有し、共にトップフィールドまたはボトムフィールドである。以下、フィールドＦｔとフィールドＦ（ｔ−２）をフィールドペアＰｔといい、トップフィールドから構成されたフィールドペア、ボトムフィールドから構成されたフィールドペアをそれぞれ「トップフィールドペア」、「ボトムフィールドペア」という。

フィールドペア相関取得部３３０は、入力されたフィールドペアＰｔに対して、画素位置毎に相関の有無を示す相関情報を求める。図１０は、フィールドペア相関取得部３３０を示す。

図１０に示すように、フィールドペア相関取得部３３０は、減算器３３２と、絶対値取得部３３４と、動き判定部３３６を備える。
減算器３３２は、フィールドＦｔとフィールドＦ（ｔ−２）に対して画素位置毎に差分を求めて、絶対値取得部３３４に出力する。
絶対値取得部３３４は、減算器３３２からの画素位置毎の差分の絶対値をとって、動き判定部３３６に出力する。

動き判定部３３６は、絶対値取得部３３４からの各差分の絶対値を、動きの有無を判別するための閾値と比較し、差分の絶対値が閾値以上である場合には、該画素位置において動きが「あり」と判定し、差分の絶対値が閾値未満である場合には、該画素位置において動きが「なし」と判定する。この動きの「あり」、「なし」は、当該画素位置の動きパラメータＤという。

動き判定部３３６は、フィールドペアＰｔに対して画素位置毎に求められた動きパラメータＤｔを相関情報としてログ処理部３４０に出力する。

ログ処理部３４０を説明する前に、まず、ログバッファ３５０を説明する。図１１に示すように、ログバッファ３５０は、セレクタ３５２と、トップフィールドログバッファ３５４と、ボトムフィールドログバッファ３５６と、セレクタ３６２と、セレクタ３６４と、フィールド属性情報を反転してセレクタ３６２に入力するインバータ３６６と、ライン遅延部３７０と、同期処理部３８０を備える。

セレクタ３５２の詳細、およびログ処理部３４０からセレクタ３５２に入力される更新ログについて、後にログ処理部３４０を説明するときに説明する。

トップフィールドログバッファ３５４は、過去３つのトップフィールドペアの動きパラメータＤを格納している。図１２は、トップフィールドログバッファ３５４に格納されたデータの態様を示す。なお、例として、奇数フィールドをトップフィールドとする。従って、トップフィールドログバッファ３５４には、奇数フィールドペアの動きパラメータが格納されることになる。

トップフィールドにおいて、奇数ラインにのみ画素が存在するため、トップフィールドログバッファ３５４は、各トップフィールドペアについて、奇数ラインの動きパラメータを格納している。以下の説明において、同じラインについて、動きパラメータの時間方向に沿った配列を、ラインログという。図１２に示すように、トップフィールドログバッファ３５４は、トップフィールドペアの奇数ラインのラインログ（ＬＤ（ｌｉｎｅ１）、ＬＤ（ｌｉｎｅ３）、ＬＤ（ｌｉｎｅ５）、・・・）を格納している。

図１３は、ボトムフィールドログバッファ３５６に格納されたデータの態様を示す。図示のように、ボトムフィールドログバッファ３５６は、過去の４つのボトムフィールドペアの偶数ラインのラインログ（ＬＤ（ｌｉｎｅ２）、ＬＤ（ｌｉｎｅ４）、ＬＤ（ｌｉｎｅ６）、・・・）を格納している。

図１１に戻って説明する。映像処理装置３００にフィールドＦｔのｌｉｎｅ（ｎ）が入力されたとき、セレクタ３６４は、図示しない制御部からの、フィールドＦｔがトップフィールドであるかボトムフィールドであるかを示すフィールド属性情報に応じて、トップフィールドログバッファ３５４またはボトムフィールドログバッファ３５６から、過去の動きパラメータにおけるｌｉｎｅ（ｎ）のラインログを選択して同期処理部３８０に出力する。具体的には、フィールドＦｔがトップフィールドであれば、ｌｉｎｅ（ｎ）が奇数ラインであり、セレクタ３６４は、トップフィールドログバッファ３５４におけるラインログＬＤ（ｌｉｎｅ（ｎ））を同期処理部３８０に出力する。逆に、フィールドＦｔがボトムフィールドであれば、ｌｉｎｅ（ｎ）が偶数ラインであり、セレクタ３６４はボトムフィールドログバッファ３５６におけるラインログＬＤ（ｌｉｎｅ（ｎ））を同期処理部３８０に出力する。

セレクタ３６２は、フィールドＦｔの属性情報がインバータ３６６により反転されて入力されるため、フィールドＦｔがトップフィールドであれば、ボトムフィールドログバッファ３５６からラインログを同期処理部３６０とライン遅延部３７０に出力し、フィールドＦｔがボトムフィールドであれば、トップフィールドログバッファ３５４からラインログを同期処理部３６０とライン遅延部３７０に出力する。なお、ラインログを出力する際に、ｌｉｎｅ（ｎ）の下隣のラインｌｉｎｅ（ｎ＋１）のラインログを出力する。
ライン遅延部３７０は、セレクタ３６２からのラインログを遅延させ同期処理部３８０に出力する。

すなわち、映像処理装置３００にフィールドＦｔのｌｉｎｅ（ｎ）が入力されたとき、フィールドＦｔと同じ属性の過去のフィールドペアから求められたラインｌｉｎｅ（ｎ）の各画素位置の動きパラメータから構成されたラインログＬＤ（ｌｉｎｅ（ｎ））、フィールドＦｔと異なる属性の過去のフィールドペアから求められたｌｉｎｅ（ｎ）の上隣および下隣のラインのラインログＬＤ（ｌｉｎｅ（ｎ−１））、ＬＤ（ｌｉｎｅ（ｎ＋１））の３つのラインログが、ログバッファ３５０における同期処理部３８０に入力される。

同期処理部３８０は、この３つのラインログを同期させて、ログ履歴としてログ処理部３４０に出力する。

ログ処理部３４０を説明する。図１４に示すように、ログ処理部３４０は、分離部３４２と、更新部３４４と、同期処理部３４６を備える。
分離部３４２は、ログバッファ３５０からのログ履歴を３つのラインログに分離し、ラインログＬＤ（ｌｉｎｅ（ｎ））を更新部３４４に、ラインログＬＤ（ｌｉｎｅ（ｎ−１））とＬＤ（ｌｉｎｅ（ｎ＋１））を同期処理部３４６に出力する。

更新部３４４は、ラインログＬＤ（ｌｉｎｅ（ｎ））と、フィールドＦｔのｌｉｎｅ（ｎ）の動きパラメータを結合し、新しいラインログすなわち新ラインログＬＤ（ｌｉｎｅ（ｎ））を得て同期処理部３４６とログバッファ３５０に出力する。

同期処理部３４６は、更新部３４４からの新ラインログＬＤ（ｌｉｎｅ（ｎ））と、分離部３４２からの２つのラインログと同期させて、ログ配列として第１の判定部３９０にし出力する。

また、ログバッファ３５０において、セレクタ３５２は、トップフィールドログバッファ３５４とボトムフィールドログバッファ３５６のうちの、フィールドＦｔと同じ属性のほうに新ラインログＬＤ（ｌｉｎｅ（ｎ））を格納して、ｌｉｎｅ（ｎ）のラインログを更新する。

図１５は、ログ処理部３４０から第１の判定部３９０に出力したログ配列を示す。図示のように、フィールドＦｔと同じ属性のフィールドペアから求められたｌｉｎｅ（ｎ）の動きパラメータＤｔ、Ｄ（ｔ−２）、Ｄ（ｔ−４）、Ｄ（ｔ−６）と、フィールドＦｔと異なる属性のフィールドペアから求められた、ｌｉｎｅ（ｎ）の上隣ラインであるｌｉｎｅ（ｎ−１）の動きパラメータＤ（ｔ−１）、Ｄ（ｔ−３）、Ｄ（ｔ−５）と、フィールドＦｔと異なる属性のフィールドペアから求められた、ｌｉｎｅ（ｎ）の下隣ラインであるｌｉｎｅ（ｎ＋１）の動きパラメータＤ'（ｔ−１）、Ｄ'（ｔ−３）、Ｄ'（ｔ−５）とが、第１の判定部３９０に入力される。

第１の判定部３９０は、フィールドグループ毎に、それぞれの画素位置において、２：２プルダウン映像の特徴があるか否か、すなわち当該画素位置が特徴位置であるか否かを判定する。なお、本実施の形態において、第１の判定部３９０は、８つの連続するフィールドにより構成されたフィールドグループ毎にこの判定を行う。

第１の判定部３９０は、まず、フィールドＦ（ｔ−１）〜Ｆ（ｔ−８）から構成されたフィールドグループＧ（ｔ−１）について判定を行う。このとき、図１６に示すように、ログ処理部３４０からのログ配列における動きパラメータＤｔ以外の動きパラメータが用いられる。

第１の判定部３９０は、これらの動きパラメータのすべてが「０」である「静止」画素位置と、すべてが「１」である「動きが激しい」画素位置以外の画素位置に注目し、注目画素位置について、図１６に示す動きパラメータＤ（ｔ−１）、Ｄ（ｔ−３）、Ｄ（ｔ−５）の配列パターンと、Ｄ（ｔ−２）、Ｄ（ｔ−４）、（Ｄ−６）の配列パターンと、Ｄ'（ｔ−１）、Ｄ'（ｔ−３）、Ｄ'（ｔ−５）の配列パターンが一致する注目画素位置を特徴位置として判定する。第１の判定部３９０は、フィールドグループＧ（ｔ−１）における全ての注目画素位置について判定をし、注目画素位置が特徴位置である判定結果を得る度に、その旨を示す信号をカウンタ３９２に出力する。なお、第１の判定部３９０は、フィールドグループＧ（ｔ−１）における全ての注目画素について判定を完了したときに、完了信号をカウンタ３９２に出力する。

カウンタ３９２は、特徴位置の数をカウントする。そして、第１の判定部３９０から完了信号を受信すると、特徴位置総数となるカウント数を第２の判定部３９４に出力すると共に、リセットする。

第１の判定部３９０は、フィールドグループＧ（ｔ−１）についての判定を完了すると、次のフィールドグループＧｔ（Ｆ（ｔ）〜Ｆ（ｔ−７））について判定を行う。このとき、図１７に示すように、ログ処理部３４０からのログ配列における動きパラメータＤ（ｔ−６）以外の動きパラメータが用いられる。

第１の判定部３９０は、図１７に示す動きパラメータＤ（ｔ−１）、Ｄ（ｔ−３）、Ｄ（ｔ−５）の配列パターンと、Ｄｔ、Ｄ（ｔ−２）、Ｄ（ｔ−４）の配列パターンと、Ｄ'（ｔ−１）、Ｄ'（ｔ−３）、Ｄ'（ｔ−５）の配列パターンが一致する注目画素位置を特徴位置として判定する。その他の処理については、フィールドグループＧ（ｔ−１）のときと同じであるので、説明を省略する。

第１の判定部３９０は、このようにして、フィールドグループＧｔと連続したフィールドグループＧ（ｔ＋１）、Ｇ（ｔ＋２）、・・・についても同様な処理を行う。

第２の判定部３９４は、これらの連続したフィールドグループについて求められた特徴位置総数Ｓｊ全てについて、ＳｊとＳ（ｊ＋１）の大小関係と、Ｓ（ｊ＋１）とＳ（ｊ＋２）の大小関係とが逆転するようになっていれば、入力映像を２：２プルダウン映像として判定すること。例えば、「フィールドグループＧ（ｔ−１）とＧｔの特徴位置総数Ｓ（ｔ−１）とＳｔの大小関係」、「フィールドグループＧｔとＧ（ｔ＋１）の特徴位置総数ＳｔとＳ（ｔ＋１）の大小関係」、「Ｓ（ｔ＋１）とＳ（ｔ＋２）の大小関係」、「Ｓ（ｔ＋２）とＳ（ｔ＋３）の大小関係」が、「大、小」、「小、大」、「大、小」、「小、大」または「小、大」、「大、小」、「小、大」、「大、小」になっている場合は、入力映像を２：２プルダウン映像として判定する。

一方、連続したフィールドグループについて求められた特徴位置総数Ｓｊ全てがほぼ同じ値である場合には、入力映像を２：２プルダウン映像ではない通常のインターレース映像として判定する。

以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、さまざまな変更、増減を加えてもよい。これらの変更、増減が加えられた変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、映像処理装置３００において、第１の判定部３９０は、図１６と図１７に示すように、３ラインのラインログを用いるが、フィールドＦｔと同じ属性のフィールドペアから求められたｌｉｎｅ（ｎ）の動きパラメータＤｔ、Ｄ（ｔ−２）、Ｄ（ｔ−４）、Ｄ（ｔ−６）と、フィールドＦｔと異なる属性のフィールドペアから求められた、ｌｉｎｅ（ｎ）の上隣ラインであるｌｉｎｅ（ｎ−１）の動きパラメータＤ（ｔ−１）、Ｄ（ｔ−３）、Ｄ（ｔ−５）のみ、または、動きパラメータＤｔ、Ｄ（ｔ−２）、Ｄ（ｔ−４）、Ｄ（ｔ−６）と、フィールドＦｔと異なる属性のフィールドペアから求められた、ｌｉｎｅ（ｎ）の下隣ラインであるｌｉｎｅ（ｎ＋１）の動きパラメータＤ'（ｔ−１）、Ｄ'（ｔ−３）、Ｄ'（ｔ−５）のみを用いてもよい。

本発明にかかる技術を説明するための映像処理装置の模式図である。 図１に示す映像処理装置の原理を説明するための図である（その１）。 図１に示す映像処理装置の原理を説明するための図である（その２）。 本発明にかかる技術を説明するための別の映像処理装置の模式図である。 図４に示す映像処理装置の原理を説明するための図である（その１）。 図４に示す映像処理装置の原理を説明するための図である（その２）。 図４に示す映像処理装置の原理を説明するための図である（その３）。 画素位置の特徴と相関値の配列パターンの関係を示す図である。 本発明の実施の形態にかかる映像処理装置を示す図である。 図９に示す映像処理装置におけるフィールドペア相関取得部を示す図である。 図９に示す映像処理装置におけるログバッファを示す図である。 図１１に示すログバッファにおけるトップフィールドログバッファに格納されたデータの態様を示す図である。 図１１に示すログバッファにおけるボトムフィールドログバッファに格納されたデータの態様を示す図である。 図９に示す映像処理装置におけるログ処理部を示す図である。 図１４に示すログ処理部から出力されるログ配列を示す図である。 図９に示す映像処理装置における第１の判定部の処理を説明するための図である（その１）。 図９に示す映像処理装置における第２の判定部の処理を説明するための図である（その２） ２：２プルダウン映像を検出する必要性を説明するための図である。 従来技術を説明するための図である（その１） 従来技術を説明するための図である（その２）。

符号の説明

１００ 映像処理装置 １１０ フィールドペア相関取得部
１２０ 第１の判定部 ２００ 映像処理装置
２１０ フィールドペア相関取得部 ２２０ 第１の判定部
２３０ 計数部 ２４０ 第２の判定部
３００ 映像処理装置 ３１０ フィールド遅延部
３２０ フィールド遅延部 ３３０ フィールドペア相関取得部
３３２ 減算器 ３３４ 絶対値取得部
３３６ 動き判定部 ３４０ ログ処理部
３４２ 分離部 ３４４ 更新部
３４６ 同期処理部 ３５０ ログバッファ
３５２ セレクタ ３５４ トップフィールドログバッファ
３５６ ボトムフィールドログバッファ ３６０ 同期処理部
３６２ セレクタ ３６４ セレクタ
３６６ インバータ ３７０ ライン遅延部
３８０ 同期処理部 ３９０ 第１の判定部
３９２ カウンタ ３９４ 第２の判定部

Claims (6)

1. 入力映像においてタイミングｔのフィールドＦｔ、および該フィールドＦｔと時系列に連続する５個以上のフィールドＦ（ｔ−ｉ）（ｉ＝１〜ｍ，ｍ≧５）からなるフィールドグループＧｔに対して、隣接する２つの同一の属性のフィールドからなるフィールドペアＰｊ（ｊ＝ｔ〜「ｔ−ｍ＋２」）毎に相関を求めるフィールドペア相関取得部と、
   片方の属性の各前記フィールドペアの相関が時間方向に沿って変化するパターンと、他方の属性の各前記フィールドペアの相関が時間方向に沿って変化するパターンとが一致することを判定条件として、前記入力映像を２：２プルダウン映像として判定する第１の判定部とを備えることを特徴とする映像処理装置。
2. 前記フィールドペア相関取得部は、前記フィールドペア毎に、画素位置毎に相関の有無を示す相関情報を求め、
   前記第１の判定部は、フィールドグループＧｔに含まれるすべてのフィールドペアについて求められた相関情報が同値である画素位置以外の各画素位置をそれぞれ注目画素位置とし、フィールドペアＰｔと同じ属性の各フィールドペアの注目画素位置の相関情報の時間方向に沿った配列パターンと、フィールドペアＰｔと異なる属性の各フィールドペアの、前記注目画素位置の上隣および／または下隣の画素位置の相関情報の時間方向に沿った配列パターンとが一致することを判定条件として、該注目画素位置を２：２プルダウン映像の特徴がある特徴位置として判定し、
   フィールドグループＧｔに対して前記特徴位置に判定された注目画素位置の総数を特徴位置総数Ｓｔとして求める計数部と、
   連続する２つのフィールドグループＧｔ（ｔ＝「ｍ＋１」〜「ｍ＋２」）に対してそれぞれ求められた２つの前記特徴位置総数Ｓｔの差または比が所定の閾値以上である前記入力映像を２：２プルダウン映像として判定することを特徴とする第２の判定部とをさらに備えることを特徴とする請求項１に記載の映像処理装置。
3. 前記第２の判定部は、連続する３つ以上のフィールドグループＧｔ（ｔ＝「ｍ＋１」〜「ｍ＋ｎ」，ｎ≧３）に対して求められたｎ個の前記特徴位置総数Ｓｔについて、ＳｔとＳ（ｔ＋１）の大小関係と、Ｓ（ｔ＋１）とＳ（ｔ＋２）の大小関係とが逆転する前記入力映像を２：２プルダウン映像として判定することを特徴とする請求項２に記載の映像処理装置。
4. 前記第１の判定部は、フィールドグループＧｔに対して、フィールドペアＰｋ（ｋ＝ｔ−「２×Ｌ」，Ｌ：０からの整数）とＰ（ｋ−１）の相関情報が同一である前記注目画素位置を、前記判定条件を満たす特徴位置として判定することを特徴とする請求項２または３に記載の映像処理装置。
5. 前記フィールドペア相関取得部は、前記フィールドペアＰｊ毎に、画素位置毎に動き検出を行い、動きの有無を示す動きパラメータを該画素位置の前記相関情報として取得することを特徴とする請求項２から４のいずれか１項に記載の映像処理装置。
6. 前記フィールドペア相関取得部は、
   前記フィールドペアＰｊ毎に、該フィールドペアＰｊを構成する２つのフィールドの差分を求める差分算出部と、
   該差分算出部が算出した前記差分の絶対値が所定の閾値以上である画素位置については動きが「あり」とし、前記差分の絶対値が前記閾値未満である画素位置については動きが「なし」として各画素位置の前記動きパラメータを取得する動き判定部とを備えることを特徴とする請求項５に記載の映像処理装置。

Images