JP2005318611A - ビデオシーケンスにおけるフィルムモード検出方法、フィルムモード検出器、動き補償方法及び動き補償器 - Google Patents

Abstract

【課題】 フィルムモード検出を更に改良し、改良されたフィルムモード検出方法および改良されたフィルムモード検出器を提供する。
【解決手段】 本発明は、局所の画像特性を適切に反映するために個々の画像領域に対してフィルムモード特性を決定することができる。局所ごとに画像特性を検出することによって、不良な全体改良処理による不具合を回避するので、画像改良処理がより良好な結果を達成する。
【選択図】 図５

Description

本発明は、改良されたフィルムモード検出に関する。特に、本発明は、ビデオ画像シーケンスにおけるフィルムモードを検出するための方法、これに対応するフィルムモード検出器、動き補償方法及び動き補償器に関する。

本発明は、特に最近のテレビ受信機のデジタル信号処理において使用される画像改良アルゴリズムにおいて用いられる。具体的には、最近のテレビ受信機は、再生画像の画質を向上するためにフレームレート変換を、特にフレーム繰返しを使用した上方変換、または動き補償上方変換の形式において行う。動き補償上方変換は、例えば、５０Ｈｚのフィールドまたはフレーム周波数のビデオシーケンスを６０Ｈｚ、６６．６７Ｈｚ、７５Ｈｚ、１００Ｈｚなどのようなさらに高い周波数にするために行われる。５０Ｈｚの入力信号周波数は、ＰＡＬまたはＳＥＣＡＭ規格に準拠したテレビ信号放送に主に用いられる。他方、ＮＴＳＣに準拠したビデオ信号は６０Ｈｚの入力周波数を有する。６０Ｈｚの入力ビデオ信号は、７２Ｈｚ、８０Ｈｚ、９０Ｈｚなどのより高い周波数へ上方変換され得る。

上方変換中に、中間画像が生成されるが、これらは５０Ｈｚまたは６０Ｈｚの入力ビデオシーケンスによって表されない時間位置におけるビデオ内容を反映したものである。この目的のために、オブジェクトの動きによって生じるその後の画像間における変化を適切に反映するために、オブジェクトの動きを考慮する必要がある。オブジェクトの動きはブロック単位で計算され、動き補償は、前後の画像との間に新たに生成された画像の相対的な時間位置に基づいて行われる。

動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を決定するために、各画像は、複数のブロックに分割される。各ブロックは、前画像からのオブジェクトのずれを検出するために、動き予測を受ける。

ＰＡＬまたはＮＴＳＣ信号のようなインタレースビデオ信号とは対照的に、映画データは、完全なフレームから構成される。映画データの最も普及したフレームレートは、２４Ｈｚ（２４ｐ）である。映画データをテレビ受信機に表示するために変換する場合（この変換はテレシネ変換と呼ばれる）、２４Ｈｚのフレームレートは、「プルダウン」手法を使用してインタレースビデオシーケンスに変換される。

映画フィルムをＰＡＬ規格（フィールドレートが５０Ｈｚ（５０ｉ））に準拠したインタレース信号に変換するためには、２−２プルダウン手法が使用される。２−２プルダウン手法は、映画フィルムを１秒当たり２５フレーム（２５ｐ）で再生しながら、各フィルムフレームから２つのフィールドを生成する。その結果、２つの連続するフィールドは、同じフレームから得られ、かつビデオ内容（特に、動くオブジェクト）の同一の時間位置を表す情報を含む。

映画フィルムをＮＴＳＣ規格（フィールドレートが６０Ｈｚ（６０ｉ））に準拠したインタレース信号に変換する際には、３−２プルダウン手法を使用して２４Ｈｚのフレームレートが６０Ｈｚのフィールドレートに変換される。３−２プルダウン手法は、所定の映画フレームからの２つのビデオフィールドを生成し、次の映画フレームから３つのビデオフィールドを生成する。

異なるテレビ規格に従うインタレースビデオシーケンスを生成するためのテレシネ変換処理を図２に例示する。プルダウン手法を使用することによって、同一の動きフェーズを反映する２つ組または３つ組の隣接フィールドを含むビデオシーケンスが生成される。テレシネ信号をインタレース画像シーケンスと区別するためのフィールドの相違は、異なるフィルムフレームに由来するフィールド間のフィールド差によってのみ計算される。

画像内容が動くオブジェクトを含まない場合は、画像を改良処理するために、インタレースビデオ画像のシーケンスにおける各フィールドの時間位置を考慮する必要はない。しかし、処理されるフィールド内に動くオブジェクトが存在する場合は、各フィールドの個々の動きフェーズを考慮する必要がある。したがって、画像改良処理には、個々のフィールドの動き特性を示す情報、すなわち、各フィールドが個々の動きフェーズを反映するかどうか、またはプルダウン手法が使用されたことで後フィールドが同一の動きフェーズを反映するかどうか、が必要となる。

画像改良処理の例を図３に例示する。図３の上部に図示する例は、同じ動きフェーズを表す２つのフィールドからのプログレッシブ画像データの生成を例示する。このような処理は、テレシネ変換によって生成され得る同一の動きフェーズを表す後に続くフィールドを把握した上で行われる。画質の向上は、入力ビデオシーケンスの画像がテレシネ変換から生成されたかどうかが確実に検出され、かつ、その２つの画像が同じ動きフェーズに属すると識別される場合にのみ達成されるだけである。

図３の下部に図示する第２の例は、テレシネ処理から生成された所定の周波数を有する画像のインタレースシーケンスを別の画像周波数を有する画像シーケンスに変換する際に、動くオブジェクトの連続動作の生成を例示する。同じ動きフェーズに属する入力画像シーケンスの中からこれらの画像を識別する際に、それぞれの動きフェーズを反映する中間出力画像を生成することができる。

フィルムモードを検出するための公知方法およびフィルムモード検出器は、例えば、特許文献１に記載される。
欧州特許出願公開第１１９８１３７号明細書

本発明は、フィルムモード検出を更に改良し、改良されたフィルムモード検出方法および改良されたフィルムモード検出器を提供することを目的とする。

本発明の目的は、独立請求項の特徴により達成される。

本発明の第１の局面によれば、ビデオ画像のシーケンスにおける現在の画像の画像領域について、フィルムモードを検出するための方法が提供される。現在の画像は、複数の画像領域を含み、フィルムモード検出は、画像領域のそれぞれに対して個々に行われる。

本発明の第２の局面によれば、ビデオ画像のシーケンスにおける現在の画像の画像領域について、フィルムモードを検出するためのフィルムモード検出器が提供される。現在の画像は、複数の画像領域を含み、フィルムモード検出は、画像領域のそれぞれに対して個々に行われる。

本発明の特定の方法によると、画像全体のうちの画像領域に対して個々にフィルムモード検出を行う。このようにすると、画像のフィルムモード特性が画像部分の局所特性として決定され得る。その結果、映画、静止またはビデオインサート、オーバーレイ部分などのような異なるソースからの画像内容を含むモード混合画像が正確に処理され得る。従来のフィルムモード検出方法は、異なる画像部分を区別することなしにフィールド全体のフィルムモード特性を決定するだけであるが、本発明は、個々の画像領域の局所特性に対して画像改良処理を行うことを可能とする。

好ましくは、ビデオシーケンスの画像が複数のブロックに分割され、かつフィルムモード検出がブロック単位で行われるのが良い。したがって、フィルムモード特性は各ブロック対して個々に決定され得る。

好ましくは、動き予測に使用されるのと同じブロック構造に対してフィルムモードが判定されるのが良い。このようにすると、画像改良処理は、動きベクトルと、それぞれのフィルムモード標示とに基づくことができ、動きベクトルの大きさは、動きベクトル、および対応する位置での後ブロックに対するフィルムモード検出結果を考慮して、適度に解釈され得る。

好ましくは、決定の精度を増すために、各ブロックは、フィルムモード検出のために近接ブロックの予め定義した部分だけ拡大されるのが良い。

好ましくは、フィルムモード検出は、動き検出に基づくのが良い。後の画像において対応する位置で画像領域間の動きを評価することによって、フィルムモードが正確に検出される。

最も好ましくは、動き検出は、後の画像において対応する位置での画像領域間のピクセル差の計算および合成に基づくのが良い。

好ましくは、動きは、累算ピクセル差が予め定義した閾値を超える場合に検出されるのが良い。最も好ましくは、予め定義した閾値は可変であるのが良い。このようにすると、画像内に存在する画像内容またはノイズに対して動き検出が調節され得る。

閾値は、前回決定された累算ピクセル差の大きさにしたがって設定されるのが好ましい。最も好ましくは、前回決定した累算ピクセル差に所定の係数が乗算される。このように、閾値は簡単な方法で正確に設定され得る。

好ましくは、複数の予め記憶された動きパターンから特定の動きパターンが決定されるのが良い。一組の所定動きパターンを提供することによって、特定のフィルムモードパターンが検出され、検出されたフィルムモードの特定の動きフェーズが決定され得る。

好ましくは、予め記憶された動きパターンは２：２または３：２のような異なるテレシネ変換パターンから得られた動きパターンを含むのが良い。

フィルムモード決定からの切り換えと、フィルムモード決定への切り替えとが頻繁に起こらないように、当該切り換えを遅延させて、フィルムモードからの切り替えと、フィルムモードへの切り換えとが所定回数の同一モードの決定を検出することによってのみ行われるようにする。

好ましくは、検出結果は、メモリに記憶される。特に、決定されたフィルムモード標示および検出された動きパターが記憶される。このようにすると、確実なフィルムモード標示が簡単な方法で行われ得る。

好ましくは、ビデオシーケンスはインタレースビデオシーケンスであり、フィルムモード検出を行う前に画像は垂直方向にフィルタリングされるのが良い。したがって、後の上および下フィールドにおいて、近接するライン位置が異なることによって生じる後のフィールド間の動き検出誤りが回避され、それに応じてフィルムモード検出の正確度が向上する。

好ましくは、更に、ビデオモード検出が行われるのが良い。ビデオモードおよびフィルムモード決定の基づいて決定されるフィルムモード標示が対応しない場合は、フィルムモード検出よりもビデオモード検出が優先される。

好ましくは、ビデオモード決定は、後のフィールドにおいて対応する位置での画像領域に対する連続的な動きパターンの検出に基づくのが良い。

好ましくは、フィルムモード決定は、後のフィールドにおいて対応する位置での画像領域について予め記憶された複数の動きパターンの１つの検出に基づくのが良い。動きパターンは、現在の画像領域の動きフェーズを、動きフェーズ方式と共に示す。このようにすると、特定のプルダウン方式内の各画像領域の個々の位置が決定され得る。

好ましくは、現在の画像領域に対する動きパターン決定が失敗する場合に、現在の画像領域に対する動きフェーズが、前の画像において対応する位置での画像領域に対して検出された動きパターンに基づいて決定される。このようにすると、フィルムモード決定が個々に失敗した場合に、画像改良処理中の画質劣化が防止される。

本発明の好ましい実施形態は、従属項に記載の主題事項である。

本発明の実施形態および利点は以下の好ましい実施形態の記載から明らかに理解され得る。

本発明は、デジタル信号処理、特に最近のテレビ受信機における信号処理に関する。最近のテレビ受信機は、再生画像の画質向上やディスプレイ周波数の増加のために上方変換（ｕｐ−ｃｏｎｖｅｒｓｉｏｎ）アルゴリズムを使用する。このために、中間画像が２つの後の画像から生成される。中間画像を生成するため、補償された画像によって反映される時点にオブジェクトの位置を適切に合せるためにオブジェクトの動きを考慮する必要がある。

本発明は、ディスプレイ部または画像強化デバイスにおいて使用することが好ましい。プログレッシブ方式のディスプレイを駆動するためには、より高いフレームレートを使用してインタレースラインフリッカを防止し、広域フリッカを低減するために、ビデオ信号処理が本質的に必要である。さらに、ＳＤ（標準品位）信号に対しては、ＨＤＴＶディスプレイデバイスに表示するために解像度が上げられる。

テレシネ処理された映画フィルム（フィルムモードとも称す）の検出は、画像改良処理にとって極めて重要である。例えば、画像強化は、インタレース／プログレッシブ変換（Ｉ／Ｐ）によって達成されても良い。このためには、偶数および奇数フィールドを再交互配置（リインタリーブ、ｒｅｉｎｔｅｒｌｅａｖｅ）することによって逆テレシネ処理を行う。３−２プルダウン変換（図２下の例を参照）の場合、一方の冗長フィールドを除去することができる。図２では、３−２プルダウン変換中のビデオフィールドの冗長な繰返しを灰色のフィールドで示している。

さらに高度な上方変換アルゴリズムは、動き予測およびベクトル補間を使用する。出力フレームレートは、入力フレームレートの非整数分の１である。例えば、６０Ｈｚから７２Ｈｚへの上方変換は、５対６の比に対応する。そのような変換中は、動くオブジェクトの動作の連続的な印象を生成する場合に、６回に１つだけ出力フレームを一方の入力フィールドから生成するだけでよい。

従来のフィルムモード検出器はフィルムモードを検出するために画像全体を評価するだけであるが、フィルムモード特性は画像内の異なる部分で異なり得る。特に、モードが混在する画像は、異なるタイプの画像データを提供する複数のビデオソースから構成される。これらのモード混在シーケンスは、主に３つのタイプの画像内容、すなわち、静止または定常領域（例えば、ロゴ、背景、ＯＳＤ）、ビデオカメラ領域（例えば、ニュースティッカー、ビデオインサート／オーバーレイ）、およびフィルムモード領域（例えば、主映画、ＰＩＰ）からなる。特に、ＭＰＥＧ−４などの新しい符号化方式は、異なるソースからの画像データを、例えば図４に示されるような１つの再構成画像内に簡単な方法で合成することを可能にする。したがって、１つのフィールドは、映画フィルム、ビデオカメラソース、および／またはコンピュータが生成したシーンに由来するデータから構成されることがある。

従来のフィルムモード検出器は、画像の最も大きい部分に対するモードだけを対象とする「支配的モード（ｐｒｅｄｏｍｉｎａｎｔ ｍｏｄｅ）」を常に検出する。そのような従来の検出器では、動き補償器（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｏｒ）は、より小さな画像部分の特性を考慮しないので、再生画像にエラーを引き起こす可能性がある。その結果、完全な画像に用いられた逆テレシネ処理によって、映画フィルムに由来しない画像領域に不具合が生じ得る。

さらに、１つの画像は、３０Ｈｚコンピュータアニメーションの２−２プルダウンおよび３−２プルダウンセグメントからの画像部分を含み得る。２つの異なるタイプのフィルムモードが１つの画像にある場合、画像改良処理においてそれぞれの画像部分に対して異なる処理が行われる。

通常の２−２プルダウンによる画像部分と、逆２−２プルダウンによる他の画像部分とが同一の画像内に存在する場合もまた、異なる処理が必要になる。なお、逆２−２プルダウン画像では、奇数および偶数フィールドの順序が逆転する。

各画像を複数のブロックに分割し、ブロック単位でフィルムモード検出を行う点が、本発明の特徴的な方法である。したがって、ビデオシーケンスの特性は、ブロック単位で決定され、それに基づいた画像改良処理によって画質を向上することができる。

フィルムモードを検出するためには、後に続く３つのラスタニュートラル輝度（Ｙ）入力フィールドが必要となる。ラスタニュートラル性によって、反対パリティを有する隣接し合うフィールドの比較が可能となる。

動き値（ｍｏｔｉｏｎ ｖａｌｕｅ）は、各ブロックのピクセル差に基づいて計算される。１つの動きビット（ｍｏｔｉｏｎ ｂｉｔ）は、動きが検出されたかどうかを示す。プルダウンパターンの存在および位置を決定するために、動きビットのシーケンスに基づいてパターン解析が行われる。

その決定結果に基づいて、動き補償器はブロック単位で動き補償を行う。ここでは、動き（動きベクトルに基づく）、検出されたモード（フィルムモード、ビデオモード、静止）、および個々の動きフェーズが考慮される。

ブロック単位のフィルムモード検出器の構成例を図５に示す。入力ビデオ信号（すなわち、そのアクティブ部分）がＲＡＭメモリ（ＲＡＭ記憶装置１１０）に入力される。ＲＡＭ記憶装置１１０は、３フィールド分の記憶容量を有し、後に続くフィールドＦ０、Ｆ１およびＦ２を記憶する。フィールドＦ０およびＦ２は同じパリティおよびラスタ位置を有するが、フィールドＦ１は反対のパリティおよびラスタ位置を有する。

入力ビデオ信号の輝度情報Ｙは、ニュートラルなラスタを有する低域ろ波された画像信号Ｎ０を生成するプレフィルタ回路１３０に通される。プレフィルタによって、後のフィールドにおける異なるラスタ位置によって生じ、動きと誤って解釈される垂直差が防止される。プレフィルタを通された輝度成分Ｎ０は、メモリ１４１に記憶され、フィールド遅延部１４３、１４５によって２度遅延され、メモリ１４４における１フィールド期間遅延された画像信号Ｎ１と、メモリ１４６における２フィールド期間遅延された画像信号Ｎ２として記憶される。

入力画像は、例えば図１に示されるような予め定義されたブロックラスタにしたがって複数のブロックに分割される。各画像は、水平方向に９０ブロック、垂直方向に６０ブロック（ＮＴＳＣビデオシーケンスの場合）または７２ブロック（ＰＡＬビデオシーケンスの場合）を含むことが好ましい。

後に続く複数の画像において対応する位置にあるブロック同士で、絶対ピクセル差の合計（ＳＡＰＤ、Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｐｉｘｅｌ Ｄｉｆｆｅｒｅｎｃｅｓ）が計算される。累算結果に応じて、動きが２つの後のブロック間に存在すると検出される。

画像のセグメント化および絶対ピクセル差の計算は、セグメンテーション及びＳＡＰＤ部１５０において行われる。２つのＳＡＰＤがフィールドＮ０およびＮ１、さらにはフィールドＮ１およびＮ２の画像データ間の同一ブロック位置に対して計算される。

同一のブロック位置に対して計算されたＳＡＰＤ値（単数または複数）は、フィルムモード検出部１６０に入力される。フィルムモード検出部１６０は、累算された差を適応閾値に対してそれぞれ比較する。比較結果に応じて、閾値を超え、動きが検出された場合には、動きビットは１に設定され、そうでない場合には、０に設定される。

動き検出のためにＳＡＰＤ動き値と比較される閾値は、画像内容に基づいた値に設定される。このように、小さなＳＡＰＤ動き値が相対的な動き差に基づいて考慮され、評価される。

対応する位置において、後のフィールドのブロックから決定された動きビットは、１０１または１００１０のような予め記憶された典型的なテレシネパターンと比較される。テレシネパターンが検出された場合、それぞれの画像セグメントに対してフィルムモードが決定される。そうでない場合は、それぞれの画像セグメントはビデオモードであると決定される。

さらに、フィルムモード検出部１６０は、決定されたプルダウン方式内で現在の画像セグメントの動きフェーズを決定するために現在の動きパターンを解析する。

完全な画像に対するフィルムモード検出結果の例を図６に示す。

フィルムモード検出結果は、各ブロックについて記憶される。図５に示されるように、決定されたフィルムモードの標示（Ｆ）は、一方では動き予測回路１７０に転送され、他方では後の画像のフィルムモードを決定する際に使用するためにメモリ（結果記憶装置１７５）に与えられる。

動き予測回路１７０はさらに、セグメンテーション及びＳＡＰＤ部１５０から動き値を、動きベクトルを決定するための時空間予測子として受信する。

フィルムモード検出結果Ｆは、動きフェーズ情報および動き予測回路１７０によって決定された動きベクトルＶと共にデセグメンテーション（ｄｅ−ｓｅｇｍｅｎｔａｔｉｏｎ）部１８０に入力される。デセグメンテーション部１８０は、好ましくは２段階処理によって、各画像セグメントからの結果を関連付け、セグメント収縮（ｅｒｏｓｉｏｎ）を行う。したがって、解像度が大きくなり、遷移が滑らかになり（Ｅ）、それらは動き補償回路１２０に適用される。

動き補償回路１２０は、特にインタレース／プログレッシブ変換部の一部として、ディスプレイデバイス１９０上のディスプレイのために改良された出力画像信号（Ｏ）を提供するために、ＲＡＭ記憶装置１１０からそれぞれの画像データを選択する。

フィルムモード検出によって画像オブジェクトの位置が２つの後フィールド間で異ならないと判定され、かつ出力画像位置が入力画像位置によって表される場合、逆テレシネ処理（すなわち、リインタリーブ）が行われる。しかし、後フィールドが異なる動きフェーズに関連するか、または出力画像位置が入力画像位置によって表されない場合、それぞれの画像セグメントに対する画像処理は、フィルムモードおよびビデオモードのセグメントの両方に対して、動きベクトル毎に補償する形式で行われる。

本発明のフィルムモード検出器、特に動き補償インタレース／プログレッシブ変換部に入力されるビデオ信号はＣＣＩＲ−６０１規格形式ＹＵＶ−４：２：２に準拠することが好ましい。インタレースビデオ信号は、ラスタがニュートラルな画像を得るためにプレフィルタリングされる。図７に示されるように、近接するフィールドの偶数および奇数ラインは、異なる垂直位置（Ｐ２およびＰ３に対してＰ１およびＰ４）における情報を含む。その結果、動き検出を誤ることがある。そのような動きの誤検出を防止するために、偶数フィールドを補間して半ライン下へずらした垂直位置を生成し、奇数フィールドを補間して半ライン上へずらした位置を生成することによって予めラスタのニュートラル位置が計算される。

上記のような垂直プレフィルタリングの好ましい実施形態は、各フィルタタイプ（すなわち、上および下フィールド）に対して逆係数を有する８タップＦＩＲフィルタである。後フィールドに対するラスタのニュートラル位置を生成するための８タップＦＩＲフィルタの例を図８に示す。なお、プログレッシブタイプの画像入力シーケンスは、フィルムモード検出のためのそれぞれの前処理を必要としない。

ｍ×ｎピクセルのブロックサイズは画像形式に合せられる。ブロックは、水平方向のピクセル数が垂直方向のピクセル数の２倍である長方形であることが好ましい。例えば、ブロックサイズは８×４であり得る。なお、インタレース／プログレッシブ変換の後、長方形ブロックサイズとして正方形形式を用いる。

上記のように、図５の画像セグメンテーション及びＳＡＰＤ部１５０は、同じ空間位置Ｐ_x,yに対する２つの隣接フィールドのピクセル値を減算し、各ブロックについて個々に絶対差を累算することによって、各ブロックについて絶対ピクセル差を累算する。

ビデオノイズの影響を除去するために、予め定義したピクセル閾値ＰＴを超える差のみが上記累算絶対ピクセル差に寄与することを許される。以下の等式は、後フィールドＮ０およびＮ１における画像領域に対する累算を示す。

また、それぞれのＳＡＰＤはフィールドＮ１／Ｎ２間およびフィールドＮ０／Ｎ２間で計算される。

画像ディテールが隣接ブロックの一部であって異なる処理を受けることを防止するために、ブロックサイズを大きくして近接のブロックの画像ディテールをフィルムモード判定に考慮することが好ましい。ブロックの寸法を垂直および水平方向の両方に２倍して、２ｍ×２ｎのブロックサイズを使用することが好ましい。これを図９ｂに示す。

上記等式の値ＳＡＰＤ₀₁は、フィールドＮ０およびＮ１間で計算された現在のブロックに対する絶対動き値（ａｂｓｏｌｕｔｅ ｍｏｔｉｏｎ ｖａｌｕｅ）を表す。計算された絶対動き値に基づいて、テレシネ特性が検出される。このためには、計算された絶対動き値ＳＡＰＤ₀₁は、閾値と比較される。閾値は、動きが小さい場合でも確実な結果を得ることできるように適宜に可変であることが好ましい。

上記閾値は、外部から設定されてもよいし、好ましくは、前フィールドＮ１およびＮ２間の前回選択された動き値ＳＡＰＤ₁₂に基づいて決定される。この方法の利点は、閾値が適切な値に自動的に設定されることである。

テレシネ素材（ｔｅｌｅｃｉｎｅ ｍａｔｅｒｉａｌ）のＳＡＰＤ値は、動き／動きなしの交互繰返し特性を有する。異なる動きフェーズのフィールド間で計算されたＳＡＰＤ値の大きさは、同一の動きフェーズを表すフィールド間で計算されたＳＡＰＤ値よりも１桁大きい。正確な動き／動きなし判定は、ＭＰＥＧ符号化／復号化、ノイズ、プレフィルタリングの残分（例えば、フィルタ関数からの行き過ぎ量（ｏｖｅｒｓｈｏｏｔ））の画像の影響を受けてしまう。確実な動きの検出を可能とするために、前回の動き値ＳＡＰＤ₁₂に所定の量子化オペレータＱＭが乗算される。量子化オペレータＱＭは１〜２の値に設定されることが好ましい。

適応閾値を使用する動き検出は、以下の等式で表される。

したがって、動きフェーズは、現在の動き値ＳＡＰＤ₀₁が前回の動き値ＳＡＰＤ₁₂に予め定義した量子化オペレータＱＭを乗算した値を超える場合に検出されるだけである。

その後に計算された動きビットは、ＦＩＦＯシーケンスレジスタに入力される。シーケンスレジスタは少なくとも５ビットの深度を有する。

以下、パターン解析およびモード判定を詳細に説明する。

フィルムモード検出器の構成例を図１０に示す。ＦＩＦＯシーケンスレジスタに記憶された動きビット２００のシーケンスは、予め記憶された動きパターン２１０と比較される。予め記憶された動きパターンは、ＰＡＬビデオデータに対して少なくとも２つのフィルムモードパターン、ＮＴＳＣ入力データに対して少なくとも５つの動きパターンを含む。これらは、テレシネプルダウン処理から得られるすべての可能なフェーズを反映する。検出された動きビットシーケンスは、Ｘ−ＯＲ手段２２０によって予め記憶されたパターンと比較される。各一致ビットは、中間メモリ２３０において０で示される。

フィルムモード検出において急激な変化を避けるために、フィルムモード検出遅延が用いられる。このためには、フィルム遅延パラメータ２４０が中間検出結果２３０と比較される。

フィルム遅延パラメータは、マッチングに必要な中間メモリの各位置に２進数の１を生成する。その位置は、ｍビットの深度を有する最も右のいくつかのビットであることが好ましい。フィルム遅延パラメータの最も左のいくつかのビットはゼロである。フィルム遅延は、ＡＮＤ２５０によって中間結果に与えられる。結果信号ＴＥＭＰおよび同一長さの２進数０（２７０）が等しいことが、オペレータ２６０を介して知らされると、フィルムモードが示される（２９０）。フィルム遅延でマスクされたｍビットは、結果的に予め記憶されたパターンの１つに対応する。あるいは、ＴＥＭＰがゼロでない場合（２６０によって示される）、テレシネ動きパターンが検出されず、現在のモードが保持される（２８０）。

動きパターンが中断または消滅すると、直ちにビデオモードに代替されるので視聴者には不安定感を与える。フィルムモードへの切り換えは上記のフィルムモード判定によって遅延されるので、１回の妨害によって長期間にわたり特定のブロックに対するフィルムモード検出が中断される。

より長期間に渡って誤ビデオモード検出を防止するために、さらにビデオモード検出が行われる。その構成を図１１に示す。

ビデオ遅延パラメータは、マッチングに必要な中間メモリの各位置に２進数の１を生成する。その位置は、ｍビットの深度を有する最も右のいくつかのビットであることが好ましい。ビデオ遅延パラメータの最も左のいくつかのビットはゼロである。ビデオ遅延は、ＡＮＤ３２０によって中間結果に与えられる。等式オペレータ３５０によって、結果信号ＴＥＭＰがｍ個の２進数の１（３４０）に等しいと判定できる。これは、ビデオシーケンスが速くされたことを説明する。さらに、等式オペレータ３７０によって、結果信号ＴＥＭＰがすべて２進数の０（３６０）であると判定できる。これは、一定の動きを有する通常ビデオシーケンスであることを説明する。

両方の場合（ここで「はい」は論理値１で表される）はＯＲ３８０で結合され、現在のブロックに対するビデオモード３９０を設定する。

ビデオモード検出は、検出される連続動きパターンによってより高い信頼性で行われ得るため、ビデオモード検出がフィルムモード検出よりも優先される。また、動き補償によってビデオモードとして処理されるフィルムモード画像成分は、その逆と比べて、視聴者にはるかによりよい印象を与える。

後の画像間に動きが検出されない場合に画質改良処理を可能にするために、静止モード判定が更に行われる。このためには、静止標示（ｉｎｄｉｃａｔｏｒ）が計算される。静止モード検出器の構成例を図１２に示す。

動き値ＳＡＰＤ₀₂はフィールドＮ０およびＮ２間のフレーム動きを表す。そのようなフレーム動き値は、同一の垂直ピクセル位置（直接隣接するフィールドと異なる）におけるピクセルに基づいて計算される。そのような差の値は、インタレースフィールド構造に起因する垂直オフセットの影響を含まない。動きなしであると判定するために、そのような差は前回のフレーム動き差ＳＡＰＤ₁₃と比較されるのが好ましい。しかし、メモリの制限があるために、一般には、２つの中間フィールド動き値、すなわち、値ＳＡＰＤ₀₁およびＳＡＰＤ₁₂のみが利用可能である。動き値ＳＡＰＤへのフィールド構造からの寄与を除去するために、動き値ＳＡＰＤ₀₁およびＳＡＰＤ₁₂は、減算されて中間フレームの動きと等価物を生成する。

確実かつ強固な指標を得るために、動き値ＳＡＰＤ₀₁およびＳＡＰＤ₁₂の間で計算されたフィールド差は、所定の量子化オペレータＱＳと乗算される。したがって、静止ビット（ｓｔｉｌｌ ｂｉｔ）判定は以下の等式にしたがっておこなわれる。

所定の量子化オペレータＱＳは、０〜２の値であることが好ましい。ここで、その値は上記の量子化オペレータＱＭよりも小さく設定されるべきである。フレーム動き値が閾値よりも小さい場合、静止画像状態であると判定され、静止ビットが設定される。

静止モード検出は、静止モード検出器により評価される上記の静止ビットシーケンスに基づく。静止モード検出器の構成を図１２に示す。静止ビットが設定されると、カウンタ４１０がインクリメントされる。そうでない場合は、カウンタ４１０はデクリメントされる。カウント値が所定の閾値４２０を超えると、それぞれの画像領域に対して静止モードが検出され、記憶される。

静止モード検出結果に基づいて、動き補償／補間デバイスは、後フィールドＦ０およびＦ１にリインタリーブを行って、プログレッシブ画像形式に基づく画質を向上させる。

図４に示す入力画像に対して本発明のフィルムモード検出を行った結果の例を図１３に示す。背景５３０および外部ＯＳＤ画像データ５４０は動きを含まないと判定され、テレシネセグメント５５０は映画からインタレースビデオへの変換によるものであると判定される。他方、ビデオカメラ５２０およびビデオオーバーレイセグメント５６０は、ビデオモードであると判定される。

判定結果、すなわち、各ブロックの特性はそれぞれ図９ａに示すように記憶される。各ブロックに対して、フィルムモード標示（フィルムモードまたはビデオモードのいずれかを示す）、動きフェーズ標示、動きビット２００または３００のシーケンスを含む動きレジスタ、および静止モード標示が記憶される。これらのデータは後の画像改良処理に用いられる。

現在の画像領域に対する動きフェーズ標示は、動き補償回路、特に入力周波数の非整数倍への上方変換（例えば、６０Ｈｚ画像入力周波数を７２Ｈｚ画像出力周波数に変換する場合）に関して重要な情報である。現在において検出された動きビットを使用して動きフェーズが存在するかどうかを判定してもよいが、現在において検出された動きパターンに基づいて確実な判定を行うことが好ましい。したがって、ＰＡＬにおける画像シーケンスに対しては最後の３ビットが評価され、他方ＮＴＳＣにおいては最後の４ビットが考慮される。両方のフィルムモードが１つの画像シーケンス中に存在する場合、３−２プルダウンと２−２プルダウンを確実に区別するために最後の５ビットが評価されることが好ましい。現在の動きフェーズ（すなわち、プルダウンシーケンスにおける位置）は、動き補償に対して非常に重要である。なぜなら、３つのフィールドＦ０、Ｆ１、Ｆ２のうちの２つの間で補償を行うかどうかを決定しなければならないからである。

現在の動きフェーズが動きレジスタから検出できない場合、現在の動きフェーズは最後のフェーズから決定され、前回決定された動きパターンにしたがって折り返し先頭に戻される。

図１４は、いずれのパターンも登録情報と一致しない場合に、現在の動きフェーズと次のフェーズとを決定するために用いる動きパターンＬＵＴ（ｌｏｏｋ−ｕｐ ｔａｂｌｅ、参照テーブル）を列挙する。

各画像ブロックに対して、次のデータが内部メモリ領域に記憶される：動きレジスタ、フィルムモードビット、およびフェーズ値。現在のフィルムモードビットおよび動きフェーズ値は、動き予測回路に供給される。動き予測はフェーズを利用して、例えば、動きを有するフィールド間だけで動きベクトルを決定する。動き予測の詳細は、例えば、欧州特許出願公開第０５７８２９０号に記載されている。

動きベクトルを計算した後、その動きベクトルを、図５に示されるようなデセグメンテーション回路１８０へ転送する（図５参照）。デセグメンテーション回路１８０は、同じ画像ブロックに対して、動きベクトルをフィルムモードビット、静止モードビット、および動きフェーズと合成する。デセグメンテーションは２ステップ収縮プロセスによって行われることが好ましい。このためには、ベクトル成分（ｘ，ｙ）をフィルタリングして予測の間違いを抑制する。対応する方法として、フィルムモードがフィルタリングされる。

さらに、２ステップ収縮処理（ｅｒｏｓｉｏｎ ｐｒｏｃｅｓｓ）を用いる。ここで各ステップにおいて、解像度を２倍にするためにブロックが４つのサブブロックに分割される。したがって、動き補償回路１２０に４倍に増加したブロック解像度および滑らかにされた動きベクトル遷移が与えられる。好ましいブロック数、例えば、ＮＴＳＣ ＳＤ入力解像度に対する９０×６０を用いる場合、収縮により３６０×２４０が出力される。これは、７２０×４８０のＳＤプログレッシブ出力の水平解像度および垂直解像度の半分である。

動きベクトルは、３−タップメジアン（ｍｅｄｉａｎ）を使用して水平および垂直方向に別々にフィルタリングされる。フィルムモード標示および静止モード標示は、まず水平方向にフィルタリングされ、次いで垂直方向にフィルタリングされる。フィルタリングは、２つの近接ビットが同一の値を有する場合に３つの後ビットの中心値を近接ビットの値に設定することによって行われる。

収縮処理をフィルムモード標示に対して用いると、新しいサブブロックのフィルムモード標示は、３つの近接ブロックのすべてが同一のフィルムモード標示を有する場合、これらの近接ブロックに基づいて決定される。近接ブロックが同じフィルムモード標示を有していない場合、元のフィルムモード標示は変更されない。２ステップフィルムモード標示収縮を図１５に示す。同じ収縮処理が静止モード標示に用いられる。

図５に示される動き補償回路１２０によって行われる動き補償に戻って、動き補償器は、フィルムモード標示、動きベクトル情報、および出力ブロック位置に基づき入力画像データを選択する。フィルムモードであると判定された画像領域は、逆テレシネ処理、すなわち、フィールド間に動きのないフィールドを用いて行われるリインタリーブによって補償され得る。このためには、フィールド（Ｆ０＋Ｆ１）またはフィールド（Ｆ１＋Ｆ２）のいずれかが使用される。

また、フィルムは、フィールド間に動きのあるフィールドおよびその対応の動きベクトルを使用して補償され得る。生成されるフレームの出力位置に応じて、時間入力位置に関連して、動きベクトルの一部が使用される。例えば、フレームレート変換率が２の場合には、Ｆ０のベクトルの１／２およびＦ１のベクトルの１／２が使用される。

入出力画像が同一の時間位置に関連する場合、フィールドＦ０は変更せずに使用することができ、フィールドＦ１の画像データは、全長動きベクトルを使用してそれぞれ前向き補間される。

ビデオモードの画像領域に対して、動きベクトルに基づいて補償するために、時間について最も近いこれらのフィールドが使用され、動く画像オブジェクトの適切な位置を計算する。

図５に示す好ましい実施形態は、輝度信号Ｙを処理する。この輝度信号は、ＣＣＩＲ−６０１の推奨にしたがい色成分ＵおよびＶよりも大きな解像度を有する。あるいは、フィルムモード検出は、輝度成分の評価に加えて、またはその代わりに色成分信号ＵおよびＶの画像データに基づいて行われ、ハードウェアの要件を軽減する。ＲＧＢ信号を処理するために、当該分野で周知の色マトリクスが予め使用され得る。

プルダウン方式は、上記の２−２および３−２方式に限られない。他の任意のプルダウン方式ｐ−ｑが対応する方法で検出されてもよい。例えば、４−４の比率またはむしろ普通でない６−４の比率を有するマンガ（コミック）アニメーションが同様に検出され得る。そのような動きパターンを扱うために、動きレジスタはそれに適応させる必要がある。各画像領域に対する動きレジスタ長は、少なくともｐ＋ｑビットに設定される必要がある。加えて、新しい動きフェーズ値参照テーブルは、それぞれの入力フィールドの関連付けを開始できるように動き補償回路と共用される必要がある。

さらなる変形例によれば、エッジ検出器およびそれぞれの記憶手段が画像セグメンテーション部に実装される。エッジ検出器は、個々の画像オブジェクトの境界線を識別するために使用される。次いで、各画像オブジェクトに対して、ピクセル値が個々にＳＡＰＤ回路に供給される。それに応じて、画像特性は、画像オブジェクトごとに計算され、処理される。

要約すると、本発明は、局所の画像特性を適切に反映するために個々の画像領域に対してフィルムモード特性を決定することができる。局所ごとに画像特性を検出することによって、不良な全体改良処理による不具合を回避するので、画像改良処理がより良好な結果を達成する。

ビデオ画像の均一な大きさの複数のブロックへの分割を示す図 ＰＡＬおよびＮＴＳＣテレビ放送規格にしたがった映画画像のインタレースシーケンスの画像への変換を示す図 映画データからのインタレース画像に基づく画像改良処理についての２つの例を示す図 複数のソースからの画像部分を含むモード混合ビデオ画像の例を示す図 本発明に係るブロック毎のフィルムモード検出器の構成例を示す図 ブロックに基づくフィルムモード検出器の結果の例を示す図 インタレースビデオシーケンスの上および下フィールドにおける近接ピクセル位置を示す図 インタレースビデオシーケンスのフィールドに対するラスタニュートラル位置の生成を示す図 ビデオ画像の複数のブロックへのセグメンテーション例および各ブロックに対して決定、記憶されたデータを示す図 ブロックサイズの決定および予め定義された部分だけの拡大の例を示す図 動きパターン解析に基づくフィルムモード検出を示す図 動きパターン解析に基づくビデオモード検出を示す図 静止モード検出器の構成例を示す図 図４に示す入力ビデオ画像の検出結果例を示す図 フィルムモード検出のために予め記憶された動きパターンおよび対応の動きフェーズの例を示す図 段階的なフィルムモード収縮の例を示す図

符号の説明

１１０ ＲＡＭ記憶装置
１２０ 動き補償回路
１３０ プレフィルタ回路
１４１ Ｎ０
１４３ フィールド遅延部
１４４ Ｎ１
１４５ フィールド遅延部
１４６ Ｎ２
１５０ セグメンテーション及びＳＡＰＤ部
１６０ フィルムモード検出部
１７０ 動き予測回路
１７５ 結果記憶装置
１８０ デセグメンテーション部
１９０ ディスプレイ
２１０ ＰＡＬパターン１−２ ＮＴＳＣパターン１−５ ｎビット
２４０ フィルム遅延パラメータ［ｎビット］
２７０ ０００００［ｍビット］
２８０ 変更なし
２９０ フィルムモード
３１０ ビデオ遅延パラメータ ｎビット
３４０ １１１１１［ｍビット］
３６０ ０００００［ｍビット］
３９０ ビデオモード
４１０ カウンタ
４２０ 閾値
４３０ 静止モード
５２０ ビデオカメラセグメント
５３０ 動きのないセグメント
５４０ 外部ＯＳＤ
５５０ テレシネセグメント
５６０ ビデオオーバーレイ

Claims (70)

1. ビデオ画像シーケンスにおける現在の画像の画像領域についてフィルムモード検出を行うためのフィルムモード検出方法において、
   前記画像は、複数の画像領域を含み、
   前記フィルムモード検出は、前記画像領域のそれぞれに対して個々に行われることを特徴とする、フィルムモード検出方法。
2. 前記ビデオ画像シーケンスの前記画像は、複数のブロックに分割され、
   前記フィルムモード検出は、ブロック単位で行われる、請求項１に記載のフィルムモード検出方法。
3. フィルムモード検出に対して使用されるブロック構造は、動き予測に使用されるブロック構造に対応する、請求項２に記載のフィルムモード検出方法。
4. 前記フィルムモード検出は、前記現在のブロックと、近接ブロックにおいて予め定義された部分とを含む画像領域に対して行われる、請求項２または３に記載のフィルムモード検出方法。
5. フィルムモード検出に対して使用されるブロックサイズは、動き予測に使用されるブロックサイズの２倍の大きさである、請求項４に記載のフィルムモード検出方法。
6. 前記ビデオ画像シーケンスは、インタレースビデオシーケンスであり、
   水平方向のブロックサイズは垂直方向の２倍である、請求項２〜５のいずれかに記載のフィルムモード検出方法。
7. 前記フィルムモード検出は、動き検出に基づく、請求項１〜６のいずれかに記載のフィルムモード検出方法。
8. 前記動き検出は、ピクセル差の計算に基づく、請求項７に記載のフィルムモード検出方法。
9. 動きは、累算されたピクセル差が予め定義された閾値を超える場合に検出される、請求項８に記載のフィルムモード検出方法。
10. 前記予め定義された閾値は可変である、請求項９に記載のフィルムモード検出方法。
11. 前記予め定義された閾値は、前回決定された累算ピクセル差の大きさにしたがって設定される、請求項１０に記載のフィルムモード検出方法。
12. 前記閾値は、前記前回決定された累算ピクセル差に所定の係数値（ＱＭ）を乗算することによって設定される、請求項１１に記載のフィルムモード検出方法。
13. 前記フィルムモード検出は、前記現在の画像と前の画像とからの画像データに基づく、請求項１〜１２のいずれかに記載のフィルムモード検出方法。
14. 前記フィルムモード検出は、前記現在の画像と前の２つの画像とからの画像データに基づく、請求項１〜１２に記載のフィルムモード検出方法。
15. 複数の所定の動きパターンから特定の動きパターンを検出するステップを更に備える、請求項１〜１４のいずれかに記載のフィルムモード検出方法。
16. 前記動きパターンは、２：２または３：２映画−インタレース変換パターンである、請求項１５に記載のフィルムモード検出方法。
17. フィルムモードへの切り換え及びフィルムモードからの切り換えの決定は、新しいモードが所定回数検出された場合に行われるだけである、請求項１〜１６のいずれかに記載のフィルムモード検出方法。
18. フィルムモードへの切り換えは、フィルムモードが予め定義した回数検出される場合に行われるだけである、請求項１〜１６のいずれかに記載のフィルムモード検出方法。
19. 前記決定結果を記憶するステップを更に備える、請求項１〜１８のいずれかに記載のフィルムモード検出方法。
20. 検出結果と動きパターンとは、前記現在の画像の各ブロックに対して記憶される、請求項１９に記載のフィルムモード検出方法。
21. 前記動きパターンは、映画−インタレース変換パターンの標示を含む、請求項２０に記載のフィルムモード検出方法。
22. 前記ビデオシーケンスは、インタレースビデオシーケンスであり、
    フィルムモード検出を行う前に、前記画像データを垂直方向にフィルタリングするステップを更に備える、請求項１〜２１のいずれかに記載のフィルムモード検出方法。
23. 前記現在の画像領域についてのビデオモードが検出されるかどうかを判定するステップと、
    ビデオモードおよびフィルムモードが前記画像領域について検出された場合に、前記画像領域についてのビデオモード検出をフィルムモード検出よりも優先することによって、前記現在の画像領域がビデオモードであると判定するステップとを更に備える、請求項１〜２１のいずれかに記載のフィルムモード検出方法。
24. 前記ビデオモードの決定は、前記画像領域についての連続動きパターンの検出と、前の画像において対応する位置の所定数の画像領域とに基づく、請求項２３に記載のフィルムモード検出方法。
25. 前記フィルムモードの決定は、前記画像領域についての複数の所定の動きパターンの１つの検出と、前の画像において対応する位置の所定数の画像領域とに基づく、請求項２３または２４に記載のフィルムモード検出方法。
26. 前記動きパターンは、前記現在の画像領域における動きフェーズを、動きフェーズ方式と共に示す、請求項２４または２５に記載のフィルムモード検出方法。
27. 前記動きフェーズ方式は、特定のプルダウン方式を示す、請求項２６に記載のフィルムモード検出方法。
28. 前記動きパターンは、２進数の値のシーケンスである、請求項２４〜２７のいずれかに記載のフィルムモード検出方法。
29. ２：２プルダウンを検出するための前記動きパターンは、３つのビット値である、請求項２８に記載のフィルムモード検出方法。
30. ３：２プルダウンを検出するための前記動きパターンは、５つのビット値である、請求項２８に記載のフィルムモード検出方法。
31. 前記動きパターンの決定が前記現在の画像領域に対して失敗するかどうかを判定するステップと、
    前記動きパターンの決定が失敗した場合に、前回決定された対応する動きパターンから前記現在の動きフェーズを計算するステップとを更に備える、請求項２４〜３０のいずれかに記載のフィルムモード検出方法。
32. 前記現在の画像領域に対して静止モードが検出されるかどうかを判定するステップと、
    前記現在の画像領域に対する静止モードの検出を示すステップとを更に含む、請求項１〜３１のいずれかに記載のフィルムモード検出方法。
33. 前記静止モードは、前記現在の画像領域と前の画像における所定数の画像領域とについての動き検出を失敗した場合に検出される、請求項３２に記載のフィルムモード検出方法。
34. 動き補償方法であって、
    請求項１〜３３のいずれかに記載の方法に従い、現在の画像領域に対するフィルムモードを検出するステップと、
    前記フィルムモード検出の結果に従って行われる動き補償方式を選択するステップとを備える、動き補償方法。
35. 前記動き補償方式は、フィルムモード画像データの逆テレシネ、フィルムモードデータの補間に基づく動きベクトル、ビデオモード画像データのリインタリーブのうち、少なくとも１つを含む、請求項３４に記載の動き補償方法。
36. ビデオ画像シーケンスにおける現在の画像の画像領域についてのフィルムモード検出を行うフィルムモード検出器において、
    前記画像領域は、前記現在の画像の一部であり、
    前記フィルムモード検出は、前記画像領域に対して行われることを特徴とする、フィルムモード検出器。
37. 前記ビデオ画像シーケンスの前記画像は、複数のブロックに分割され、
    前記フィルムモード検出は、ブロック単位で行われる、請求項３６に記載のフィルムモード検出器。
38. フィルムモード検出に使用されるブロック構造は、動き予測に使用されるブロック構造に対応する、請求項３７に記載のフィルムモード検出器。
39. 前記フィルムモード検出は、前記現在のブロックと近接ブロックの予め定義した部分とを含む画像領域に対して行われる、請求項３７または３８に記載のフィルムモード検出器。
40. フィルムモード検出に対して使用されるブロックサイズは、動き予測に使用されるブロックサイズの２倍の大きさである、請求項３９に記載のフィルムモード検出器。
41. 前記ビデオ画像シーケンスは、インタレースビデオシーケンスであり、
    水平方向のブロックサイズは垂直方向の２倍である、請求項３７〜４０のいずれかに記載のフィルムモード検出器。
42. 動き検出器を更に備える、請求項３６〜４１のいずれかに記載のフィルムモード検出器。
43. 前記動き検出器は、ピクセル差を累算するための累算器を備える、請求項４２に記載のフィルムモード検出器。
44. 前記動き検出器は、前記累算ピクセル差を予め定義された閾値と比較するための比較器を備える、請求項４３に記載のフィルムモード検出器。
45. 前記予め定義された閾値は、可変である、請求項４４に記載のフィルムモード検出器。
46. 前記予め定義された閾値を前回決定された累算ピクセル差の大きさに従って設定する閾値設定器をさらに備える、請求項４５に記載のフィルムモード検出器。
47. 前記閾値設定器は、前記前回決定された累算ピクセル差に所定の係数値（ＱＭ）を乗算することによって前記閾値を設定する、請求項４６に記載のフィルムモード検出器。
48. 前記現在の画像と前の画像とから画像データを受信するように構成される、請求項３６〜４７のいずれかに記載のフィルムモード検出器。
49. 前記現在の画像と前の２つの画像とから画像データを受信するように構成される、請求項３６〜４７のいずれかに記載のフィルムモード検出器。
50. 複数の所定の動きパターンを記憶するメモリと、
    前記複数の所定の動きパターンから特定の動きパターンを検出するためのパターン検出器とを更に備える、請求項３６〜４９のいずれかに記載のフィルムモード検出器。
51. 前記動きパターンは、２：２または３：２映画−インタレース変換パターンである、請求項５０に記載のフィルムモード検出器。
52. 後続の同一のフィルムモードの検出結果をカウントするカウンタと、
    現在のカウント値と所定の値とを比較する比較器と、
    新たなモードが所定回数検出された場合に、フィルムモードへの切り換えと、フィルムモードからの切り換えとを決定するフィルムモード決定手段とを更に備える、請求項３６〜５１のいずれかに記載のフィルムモード検出器。
53. 後続の同一のフィルムモードの検出結果をカウントするためのカウンタと、
    現在のカウント値と所定の値とを比較する比較器と、
    フィルムモードへの切り換えをフィルムモードが予め定義した回数検出される場合に行うフィルムモード検出手段とを更に備える、請求項３６〜５１のいずれかに記載のフィルムモード検出器。
54. 前記決定結果を記憶するためのメモリを更に備える、請求項３６〜５３のいずれかに記載のフィルムモード検出器。
55. 前記メモリは、検出結果と動きパターンとを、前記現在の画像における各ブロックについて記憶する、請求項５４に記載のフィルムモード検出器。
56. 前記動きパターンは、映画−インタレース変換パターンの標示を含む、請求項５５に記載のフィルムモード検出器。
57. 前記ビデオシーケンスは、インタレースビデオシーケンスであり、
    前記フィルムモード検出器は、フィルムモード検出を行う前に前記画像データを垂直方向にフィルタリングするためのフィルタ手段を更に備える、請求項３６〜５６のいずれかに記載のフィルムモード検出器。
58. 前記現在の画像領域に対してビデオモードが検出されるかどうかを判定するビデオモード検出器と、
    ビデオモードとフィルムモードとが前記画像領域に対して検出された場合に、前記画像領域に対するビデオモード検出をフィルムモード検出よりも優先することによって、前記現在の画像領域がビデオモードであると判定するモード検出器とを更に備える、請求項３６〜５７のいずれかに記載のフィルムモード検出器。
59. 前記ビデオモード検出器は、前記画像領域に対する連続的な動きパターンの検出と、前の画像において対応する位置の所定数の画像領域とに基づいて、ビデオモードを決定する、請求項５８に記載のフィルムモード検出器。
60. 前記フィルムモード検出は、前記画像領域に対して予め記憶された複数の動きパターンの１つの検出と、前の画像において対応する位置の所定数の画像領域とに基づく、請求項５８または５９に記載のフィルムモード検出器。
61. 前記動きパターンは、前記現在の画像領域の動きフェーズを、動きフェーズ方式と共に示す、請求項５９または６０に記載のフィルムモード検出器。
62. 前記動きフェーズ方式は、特定のプルダウン方式を示す、請求項６１に記載のフィルムモード検出器。
63. 前記動きパターンは、２進数の値のシーケンスである、請求項５９〜６２のいずれかに記載のフィルムモード検出器。
64. ２：２プルダウンを検出するための前記動きパターンは、３つのビット値である、請求項６３に記載のフィルムモード検出器。
65. ３：２プルダウンを検出するための前記動きパターンは、５つのビット値である、請求項６３に記載のフィルムモード検出器。
66. 前記現在の画像領域に対する動きパターンの決定が失敗するかどうかを判定するための動き検出失敗検出器と、
    前記動きパターンの決定が失敗した場合に、前記前回決定された対応する動きパターンから前記現在の動きフェーズを計算する計算器とを更に備える、請求項５９〜６５のいずれかに記載のフィルムモード検出器。
67. 前記画像領域に対して静止モードが検出されるかどうかを判定するための静止モード検出器と、
    前記画像領域に対する静止モードの検出を示すための出力手段とをさらに備える、請求項３６〜６６のいずれかに記載のフィルムモード検出器。
68. 前記静止モード検出器は、前記現在の画像領域と、前の画像における所定数の画像領域とに対する動き検出が失敗した場合、前記静止モードを検出する、請求項６７に記載のフィルムモード検出器。
69. 動き補償器であって、
    請求項３６〜６８のいずれかに記載のフィルムモード検出器と、
    前記フィルムモード検出の結果に従って行われる動き補償方式を選択するための選択器とを備える、動き補償器。
70. 前記動き補償方式は、フィルムモード画像データの逆テレシネ、フィルムモードデータの補間に基づく動きベクトル、ビデオモード画像データのリインタリーブのうち、少なくとも１つを含む、請求項６９に記載の動き補償器。