JP2005318623A - フィルムモード外挿方法及びフィルムモード検出器並びに動き補償器 - Google Patents

Abstract

【課題】 フィルムモード検出をさらに改良し、改良されたフィルムモード検出方法と改良されたフィルムモード検出器を提供する。
【解決手段】 本発明は、特に移動オブジェクトの境界領域におけるフィルムモードの決定を可能とする。これはフィルムモードの外挿によって達成される。カレントブロックのフィルムモード指標は、同一のブロックに対して決定される動きベクトルに合わせて外挿される。この方法で、より正確に現在の画像に対するモードを決定することができ、より良好な画質を生じる画像処理を行うことができる。
【選択図】 図６

Description

本発明は、改良されたフィルムモードの決定に関する。特に、本発明は、改良されたフィルムモードを決定する方法およびそれに対応するフィルムモード検出器に関する。

フィルムモード指標（film mode indications）は、ますます多くの用途に、特に最近のテレビジョン受信機のデジタル信号処理において使用される動き補償画像処理に用いられる。特に、最近のテレビジョン受信機は、再生画像の画質を向上させるために、特にアップコンバートあるいは動き補償アップコンバートの形式でフレームレート変換を行う。動き補償アップコンバートは、例えば、５０Ｈｚから６０Ｈｚ、６６．６７Ｈｚ、７５Ｈｚ、１００Ｈｚ等のより高いフィールド周波数またはフレーム周波数を有するビデオシーケンスに対して行なわれる。５０Ｈｚ入力信号周波数は主に、ＰＡＬあるいはＳＥＣＡＭ規格に基づいて放映されるテレビジョン信号に該当し、ＮＴＳＣに基づくビデオ信号は６０Ｈｚの入力周波数を有する。６０Ｈｚの入力ビデオ信号は７５Ｈｚ、８０Ｈｚ、９０Ｈｚ、１２０Ｈｚ等のより高い周波数にアップコンバートできる。

アップコンバート時には、５０Ｈｚまたは６０Ｈｚの入力ビデオシーケンスでは表されない時間位置のビデオコンテンツを表す中間画像が生成される。この目的のためには、オブジェクトの動きによって生じる連続する画像間の変化を適切に反映するために、そのオブジェクトの動きを考慮する必要がある。オブジェクトの動きは、ブロック単位で算出され、動き補償は、前後の画像間に新たに生成された画像の相対的な位置と時間に基づいて実行される。

動きベクトルを決定するために、各画像は複数のブロックに分割される。先の画像からのオブジェクトの移動を検出するために、各ブロックに対して動き検出が行われる。

ＰＡＬあるいはＮＴＳＣ信号のようなインターレースビデオ信号とは異なり、動画像データは完全なフレームによって構成される。最も普及している動画像データのフレームレートは２４Ｈｚ（２４ｐ）である。動画像データをインターレースビデオシーケンスに変換してテレビジョン受信機に表示する（この変換をテレシネという）時、２４Ｈｚフレームレートは“プルダウン”技術を用いて変換される。

動画像フィルムを５０Ｈｚ（５０ｉ）のフィールドレートのＰＡＬ規格によるインターレース信号に変換するために、２−２プルダウン技術が用いられる。２−２プルダウン技術は、各フィルムフレームから２つのフィールドを生成する。動画像フィルムは毎秒２５フレーム（２５ｐ）再生される。その結果、２つの連続するフィールドは、同じフレームに由来し、ビデオコンテンツ、特に移動オブジェクトの同一の時間位置を表す情報を有する。

動画像フィルムを６０Ｈｚ（６０ｉ）のフィールドレートを持つ標準のＮＴＳＣ信号に変換する時、２４Ｈｚのフレームレートは、３−２プルダウン技術を用いて６０Ｈｚのフィールドレートに変換される。この３−２プルダウン技術は、前の（１枚目の）動画像フレームから２つのビデオフィールドを、そして次の（２枚目の）動画像フレームから３つのビデオフィールドを生成する。

異なったテレビジョン規格に合わせてインターレースビデオシーケンスを生成するテレシネ変換処理を図２に示す。使用されるプルダウン技術の結果、同一の動きの位相を反映した２つのあるいは３つの隣接したフィールドを含むビデオシーケンスを生じる。異なるフィルムフレームに由来したフィールド間でのみ、フィールドの差異を動き検出で算出することができる。

画質の改良処理を適切に行うために、特にフィルム動き補償を用いるか否かを決定するために、使用される個々のプルダウンパターンの検出が必要である。各プルダウンパターンの検出は、例えば、特許文献１及び特許文献２において既に公知である。
欧州特許出願公開第０７２０３６６号明細書 欧州特許出願公開第１１９８１３８号明細書

本発明は、フィルムモード検出をさらに改良することと、改良されたフィルムモード検出方法と改良されたフィルムモード検出器を提供することを目的としている。

これは独立請求項の構成によって達成される。

本発明の第一の局面では、現在の画像の複数の画像領域のフィルムモード指標を決定する方法が提供される。前記現在の画像は、画像シーケンスの一部である。前記方法は、現在の画像領域のフィルムモード指標を受け取り、前記現在の画像領域の動きベクトルを取得する。前記受け取った動きベクトルに基づいて、前記現在の画像のフィルムモード指標が訂正される。

本発明のさらなる局面では、現在の画像の複数の画像領域のフィルムモード指標を決定するフィルムモード検出器が提供される。前記現在の画像は、画像シーケンスの一部である。前記フィルムモード検出器は、入力手段と外挿手段を備える。前記入力手段は、現在の画像領域のフィルムモード指標と動きベクトルを取得する。前記外挿手段は、前記取得した動きベクトルに基づいて前記現在の画像のフィルムモード指標を訂正する。

局所ベースでフィルムモード指標を取得することでフィルムモード検出を改良し、現在の画像領域に対して決定される動きベクトルに応じて近接した画像領域に現在の画像領域のフィルムモード指標を外挿することは本発明の特有のアプローチである。この態様で、移動オブジェクトの先縁の周りでフィルムモード指標の正確さと信頼性を向上することができる。画像改良アルゴリズムによって達成できる画質は、従って向上される。

従来では、移動オブジェクトが各画像領域の大部分を占めている場合にのみ、正確なフィルムモード指標が検出される。従って、移動オブジェクトが画像領域のわずかな部分だけを占める場合、正確なフィルムモード指標は検出されない。本発明によると、移動オブジェクトの前縁を含む画像領域のフィルムモード指標を正しいモードに変換することができる。

さらに、移動オブジェクトの前縁の周りの画像領域のフィルムモード指標は通常、フィルムモード指標の信頼性を上げるために導入された遅延によって新しく検出されたモードにすぐに切り替わらない。しかしながら、これは、移動オブジェクトの前縁に対するフィルムモードの決定の正しい決定を犠牲にしてのみ達成される。この短所は、本発明によるフィルムモード指標外挿を用いることで回避される。

好ましくは、現在の画像領域と動きベクトルによって向けられた画像領域の間に位置する画像領域は、現在の画像領域の受け取ったフィルムモード指標がフィルムモードである場合に、フィルムモードに設定される。従って、フィルムモードは、現在の画像領域に対して決定される動きベクトルに応じて外挿される。

好ましくは、ターゲットブロック、つまり、動きベクトルによって向けられたブロック、がフィルムモードにない場合のみ、外挿が行なわれる。従って、動きベクトルが、現在の画像領域のモードとは異なる他のモードの画像領域に向いている場合のみ、外挿が行なわれる。

動きベクトルが、現在の画像領域から現在の画像の外部を差す場合のみ、動きベクトルの長さが好ましくはクリップされて、前記クリップされたベクトルが、現在の画像内にある位置に向く。

好ましくは、画像シーケンスの画像は複数のブロックに分割されて、フィルムモード指標及び動きベクトルがブロック単位で提供される、つまり、画像領域はブロック構造に相当する。従って、外挿を、既存の画像領域構造に基づいて簡単な態様で行うことができる。

好ましくは、カレントブロックから伸びてターゲットブロックを差す動きベクトルは、画像ブロックのラスターに収まるように、量子化される。従って、フィルムモード外挿を簡単な態様で実行することができる。

フィルムモード外挿を行うときフィルムモードに設定される画像領域は、好ましくは既定の画像領域パターン、つまり、訂正される個々の画像領域を特定するパターン、に応じて選定される。この態様で、フィルムモード指標が訂正される必要のあるこれらの画像領域を確実かつ簡単な態様で決定することができる。

この既定のパターンは、好ましくは、メモリ内の複数のあらかじめ記憶されたパターンから選定される。この選択は、現在の画像領域と対象画像領域の相対位置に基づいて行なわれる。従って、現在の画像領域に適用されるパターンを、迅速かつ簡単な態様で選定することができる。

好ましくは、あらかじめ記憶されたパターンは現在の画像領域と対象画像領域の相対位置の全ての可能な組み合わせを提供する。従って、フィルムモード指標が訂正されるべき画像領域を、確実な態様で決定することができる。

好ましい実施例によれば、フィルムモードに設定される画像領域は、現在の画像領域から始まる決定の繰り返しと対象画像領域に段階的に接近することに基づいて決定される。

フィルムモードに設定する新しい画像領域を決定するためのステップサイズは好ましくは、動きベクトルの方向に基づいて決定される。最も好ましくは、前記ステップサイズは、横及び縦ベクトル成分の大きいベクトル成分を小さいベクトル成分で除算して設定される。

好ましくは、現在の画像領域のフィルムモード指標が訂正されたか否かを示す画像領域の各々に関連した追加的な指標が、記憶される。この態様で、元のフィルムモード指標と訂正されたフィルム指標を確実な態様で識別できる。「訂正された」フィルムモード指標の発生が検出された場合、フィルムモード指標のさらなる外挿を禁止することができる。この態様で、一旦外挿されたフィルムモードは、さらなるフィルムモード外挿の基準とならない。

好ましい実施例によると、現在の画像領域がビデオモードにある場合、現在の画像領域と対象画像領域の間の画像領域はビデオモードに設定される。この態様で、従って、フィルムモードの環境に挿入されたビデオモードの移動オブジェクトのフィルムモード指標を、ビデオモードを外挿することで正確に決定できる。

好ましくは、対象画像領域がフィルムモードにある場合のみ、ビデオモードが外挿される。

本発明の好ましい実施例は、従属請求項の主題である。

本発明の他の実施例および利点は、好ましい実施例の以下の説明からさらに明らかになるであろう。

本発明はデジタル信号処理に関し、特に最近のテレビジョン受信機におけるデジタル信号処理に関する。最近のテレビジョン受信機は、再生画質を高めるためにアップコンバート・アルゴリズムを用いている。この目的のために、中間画像は連続する２画像から生成される。中間画像の生成にあたって、補償画像が示す時点におけるオブジェクトの位置を適切に合わせるために、オブジェクトの動きを考慮しなくてはならない。

動きベクトルを決定する動き検出及び、動き補償は、ブロック単位で行われる。この目的のために、例えば、図１に示されているように、各画像は複数のブロックに分割される。前の画像の中から最もマッチングするブロックを決定することで、各ブロックは個々に動き検出される。

動き補償を画像領域に正確に施すことができるように、フィルムモード指標の決定、すなわち、その画像領域がフィルムモードであるかビデオモードであるかの決定を行う必要である。検出されたフィルムモード指標に応じて正しい画質改良処理を適用することで、画像のアーチファクトが回避される。

特にＨＤＴＶ表示装置のためには、プログレッシブ表示を行い、より高いフレームレートを用いるビデオ信号処理が要求される。テレビ放送のためにインターレース画像シーケンスに変換された動画像フィルム（以後、フィルムモードという）の検出は、信号処理にとって大変重要である。

画像改良処理のために、逆テレシネ処理、つまり偶数及び奇数フィールドの再インターリーブを用いると、インターレース／プログレシッブ変換（Ｉ／Ｐ）が可能である。３−２プルダウン方式で生じる画像シーケンスにおいて、３つに１つの余剰なフィールド（図２のグレー色のフィールド）が除去される。

さらに高度なアップコンバート・アルゴリズムは、動きベクトルに基づくフレーム内挿を用いる。出力フレームレートは入力フレームレートと同じ比率にはならず（an uneven fraction）、例えば、６０Ｈｚの入力信号周波数は、５：６の比率に相当する７２Ｈｚ出力周波数にアップコンバートできる。従って、移動オブジェクトの連続した動きの画像が保持されるときは、ただ１つの入力フィールド毎に６つの出力フレームが生成されうる。

画像のフィルムモード特性は、画像単位で決定することができ、また、改良されたアプローチによれば、個々の画像領域の局部的な特性となるであろう。特に、テレビジョン信号は、動きのない領域（例えば、ロゴ、背景）、ビデオカメラ領域（例えば、ニューステッカー、ビデオ挿入）、及びフィルムモード領域（例えば、メインムービー、ＰＩＰ）などの異なった種類の画像領域で構成される。プルダウン方式の検出は、これらの画像領域の各々に対して別個に行われて、改良された画質のアップコンバート結果が得られる。

フィルムモード検出は通常、プルダウン様式の識別を伴う。従来は、画素の差が累積されて変位フレーム差（Ｄｉｓｐｌａｃｅｄ Ｆｒａｍｅ Ｄｉｆｆｅｒｅｎｃｅ：ＤＦＤ）になり、連続する画像間の動きを表す。視聴者に不安定な印象を与えるであろう検出フィルモード指標の突然の変更を避けるために、フィルムモードからビデオモードへの切り替え、及び、その逆の切り替えを生じさせるために検出遅延が用いられる。

フィルムモード指標の正確さを向上させるために、フィルムモード検出は、例えば図３に示されるように、ブロック単位で行われる。ｍ×ｎの画素サイズのブロック毎に、動きベクトル及びフィルムモード指標が決定される。

図３中のブロックには、画像ブロック毎に得られるデータを示している。このデータには、横（Ｘ）方向及び縦（Ｙ）方向の動きベクトル成分の他に、カレントブロック（the current block、現在のブロック）がフィルムモードかビデオモードかを示すフィルムモード指標（０／１）が含まれている。さらに、元のフィルムモード指標と後のフィルムモード指標との違いを識別するために、フィルムモード指標の訂正の有無が「アーティフィシャルモード」指標（０／１）で示される。

ブロック単位のフィルムモード検出とそれから生じる問題を図４に示す。用いられているデフォルト状態によれば、白く示されたブロック３０は全てビデオモード（ａ）にある。移動オブジェクト１０がブロック内のごく一部分だけを占めているときには、動き量（motion value）（ＤＦＤ）は既定の閾値を越えず、動きを検出することはできない。このときには、ブロックはビデオモード（ｂ，ｃ）にあると考えられ、また、これらのブロックに隣接した、同じ移動画像オブジェクト１０が属しているブロック２０は、フィルムモード（ｄ）にあると検出される。

さらに、異なるモード間における頻繁な切り替えを避けるために導入された切り替え遅延（switching delay）のために、図４の画像Ｔ＝１に示すように、移動オブジェクト１０の前縁部分では、フィルムモードであることが適切に検出されない。前縁部分では、移動オブジェクト１０が各ブロックの大部分を占めているが、これらのブロックでは、移動オブジェクト１０がフィルムモードであるにも関わらず、ビデオモード（ｃ）であると検出される。

この遅延によってさらに次のような問題も生じる。即ち、移動オブジェクト１０の後続ブロック（the trailing blocks）には移動オブジェクト１０が存在しないにも関わらず、移動オブジェクト１０の後縁が、フィルムモードブロック（ｄ）の後続画像領域に含まれてしまう（図４に示すＴ＝２およびＴ＝３の画像を参照）。この問題は、画像ブロック（ｍ×ｎ）の大きさより小さい大きさの移動オブジェクトについてはさらに深刻になる。従って、モード遅延、すなわち、フィルム遅延およびビデオ遅延は、空間モードオフセットを引き起こす。

これらの欠点を解決するために、本発明は、アップコンバート処理を可能にしてさらに改良するために、画像ブロックの決定に動きベクトルを用いる。フィルムモード検出の外挿は、移動オブジェクトの先端の境界を含めることができる。本発明による改良されたフィルムモード検出の例を図５に示す。

図５の左側の画像は外挿をしないフィルムモード検出を示している。フィルムモードの移動オブジェクト１０は、フィルムモードブロック２０によって部分的にのみ正確に検出される。特に移動オブジェクト１０の前縁部分の複数ブロックは、ビデオモードブロック３０であると誤判断される。動きベクトルに基づくフィルムモード検出結果の外挿を用いると、移動オブジェクトの前縁部分のブロックは、追加フィルムモードブロック２５となる。

この目的のために、カレントブロックのフィルムモード検出は、図６に示すように外挿される。各フィルムモードブロック２０の動きベクトル１１０は、現在の画像の外部を差さないようにクリップされる。カレントブロック（the current block）１００のモードを、「ソースモード」と呼び、カレントブロック１００の動きベクトル１１０が差すブロックのモードを「ターゲットモード」と呼ぶ。動きベクトル１１０が、フィルムモードブロックから出発してビデオモードブロックを差しているときには、間の全てのブロックはフィルムモードに設定される。

動きベクトル１１０に応じてフィルムモード指標を外挿する本発明のアプローチを詳細に説明する。各フィールドは、図１に示すように複数の画像領域のブロックに分割される。各ブロックは複数の画素、好ましくはインターレースビデオ画像については８×４画素、プログレッシブ画像については８×８画素から構成される。従って、各ＮＴＳＣインターレースビデオ画像には９０×６０ブロックがある。フィルムモードの決定および動き検出はブロック毎に行われる。決定の結果は、図３に示すように、ブロック毎に別個に、図７に示すメモリ領域２００に保存される。図７はフィルムモード指標を外挿するための各ステップを図示し、図６はその各結果を示す。

外挿処理は、カレントブロック１００の動きベクトル及びソースモードを取得することで開始される（ステップＳ２２０）。ステップＳ２３０で、カレントブロック１００がフィルムモードであるとわかったならば、カレントブロック１００の動きベクトル１１０は、ブロックグリッド（ラスター）に収まるように量子化される（ステップＳ２４０）。動きベクトルが現在の画像の外部を差している場合、動きベクトルの長さは、画像の境界の各ブロックを差すようにクリップされる。

ターゲットブロック１２０、つまり、カレントブロック１００から出発した動きベクトルが差すブロック、を決定した後、ターゲットブロック１２０のモード（ターゲットモード）が決定される（ステップＳ２５０）。外挿は、以下の条件を満たす場合にのみ、行われる。
ソースモード＝フィルムモード
ターゲットモード＝ビデオモード

ステップＳ２５０で、ターゲットブロックがビデオモードにあると判定された場合のみ、外挿が行われる（ステップＳ２６０）。外挿は、カレントブロック１００からターゲットブロック１２０へ向いている動きベクトル１１０のもと各ブロック１３０をフィルムモードに設定することで行われる。

フィルムモードに設定されるブロックの決定は、カレントブロックインデックスのモジュロアドレッシングによって実行され得る。大きい値を有する横及び縦成分の動きベクトル成分を第一の軸Ｖ₁とし、小さい動き成分は第二の軸Ｖ₂を表すとする。各符号は、方向Ｄｉｒ₁、Ｄｉｒ₂を決定する。フィルムモードに設定するブロックを段階的に決定するためのステップ幅（ステップサイズ）は、下記のように大きい動きベクトル成分を小さい動きベクトル成分で整数除算することで算出される。

擬似的に設定されたこれらのフィルムモードブロック１３０（図６）の各々は、従って、図３に示すように、アーティフィシャルモードビットで示されることに留意すべきである。従って、各フィルムモード指標が識別されて、元のままに決定されるか、擬似的に設定されうる。このアーティフィシャルモードビットは、擬似的に設定されるこれらのフィルムモード指標をさらに外挿することを回避するために、外挿処理を始める前に求められる。

ソースブロック（カレントブロック）１００はアーティフィシャルモードに設定されない。フィルムモードに設定され、従ってアーティフィシャルビットが設定された第一のブロックは、第一の軸Ｖ₁の符号の方向に決定される（Ｓｉｇｎ（Ｖ₁））。

ソースブロック（カレントブロック）１００とターゲットブロック１２０の間にブロック１３０を繰り返し決定する方法が図８に示されている。

モジュロアドレッシング法では、代表的なループ変数ｉおよびｊが用いられる。変数ｉは第一の方向Ｄｉｒ１に用いられ、変数ｊは第二の方向Ｄｉｒ２に用いられる。

元のままに決定されたソースブロック１００は、フィルムモードにあり、再び設定されてアーティフィシャルとして示されることはない。そのため、ステップＳ３２０で、処理は、インデックスｉにＤｉｒ１の符号を加算することで開始する。これは図９の位置１，０で「開始」と示されたブロックである。

ステップＳ３３０で、変数ｊが増分されるための条件が調べられ、ステップＳ３４０で第二の方向Ｄｉｒ２にアーティフィシャルとマークしている位置をインクリメントしなくてはならない。ｉが上記で算出された値「ステップ」の偶数倍に等しいならば条件は真である。これは。図９のインデックスポジション２、１の「ステップ＝２」として示される。

ステップＳ３５０で、アーティフィシャルフィルムブロックの絶対位置が、現在のインデックスｉおよびｊをソースブロックの絶対位置に加えることで、算出される（インデックス１／２（ソース））。その結果は画像中の位置を示す変数ｋ及びｌに保持される。

アーティフィシャルビットおよびフィルムビットはステップＳ３６０で設定され、図９の１３０として示される。

第一の方向Ｄｉｒ１のインデックスｉがＶ１のベクトルの大きさに等しい値まで進んだ場合、モジュロアドレッシングはＳ３７０で終了（図９の「最後のブロック」）するか、あるいは、Ｓ３２０へジャンプする。

従って、多数のブロック１３０が図９のグレーで示されたブロックで示されるように決定される。

カレントブロック１００とターゲットブロック１２０の間にブロックを決定するアプローチを繰り返すことは、ある動きベクトルにとっては、ターゲットブロックに到達できず、その結果ターゲットブロック１２０に段階的に接近できないという短所を有する。

他の好ましい実施例によると、アーティフィシャルモードで示すことは、ｘ／yベクトル成分の全ての可能な組み合わせのルック・アップ・テーブル（ＬＵＴ）を用いることで実行される。ルック・アップ・テーブルへの各エントリは、擬似的に示されるべきこれらのブロックを特定する。この目的のために、記憶されるパターンは、どのブロックが次にマークされるべきかを示す。これは、２値表示に基づいて実行することができ、“０”は上／下ステップを示し、“１”は右／左ステップを示す。動きの方向は、各ベクトル成分の符号によって与えられる。図１０に示す例は、二つの正の成分ｘ＝＋３，ｙ＝＋４を有する動きベクトルに基づいている。テーブルエントリは０１０１０１０の７つのステップ、すなわち上、右、上、右・・・・を示す。

このアプローチでは、横あるいは縦方向に隣接するブロックがないときには、斜め方向へのマークは許されない。この結果として、マークされるブロックの数は増加し、その結果より良いベクトル経路到達範囲を得る。

当業者なら、カレントブロックとターゲットブロックの間でフィルムモードに擬似的に設定するべきこれらのブロックを決定するための上述のアプローチは、上記実施例に限定されず、他のアプローチを用いても同じ結果をもたらすであろうことがわかるであろう。

上述の説明では、画像領域は動き検出からわかるブロックの大きさに相当するとしている。本発明は、フィルムモード決定のための、特にフィルムモード外挿のための、このような画像領域の大きさに限定されるものではない。ブロックより大きいあるいは小さい画像領域が定められてもよい。例えば、ブロックより小さい画像領域はフィルムモード解像度を上げる。フィルムモードの決定及び外挿は、全フィールドと一画素の間の大きさ、または、全フィールドとサブピクセルの間の大きさを有する画像領域単位で実行されてもよい。

さらに、フィルムモード指標のうちの、検出されたビデオモードの外挿を補助する動きベクトルをさらに用いることによって、フィルムモードの外挿を向上させることができる。ブロック毎のビデオモード検出が正しく、かつ、高い信頼性を持って行われ得るという前提のもとでは、ビデオモードオブジェクトの動き経路は、フィルムモードオブジェクトの動き経路を妨げない。

要約すると、本発明は、特に、移動オブジェクトの境界領域における改良されたフィルムモードの決定を可能にする。これはフィルムモードの外挿によって達成される。カレントブロックのフィルムモード指標は、同じブロックに対して決定された動きベクトルに合わせて外挿される。この方法で、より正確に現在の画像に対するモードを決定することができ、より良好な画質を生じる画像処理を行うことができる。

本発明のフィルムモード外挿方法及びフィルムモード検出器並びに動き補償器は、テレビジョン受信機等に有用である。

一定の大きさの複数のブロックにビデオ画像を分割する例を示した図 動画像データをＰＡＬあるいはＮＴＳＣインターレースビデオシーケンスに変換するためのプルダウン方式を示した図 複数のブロックに分割されたビデオ画像と、各ブロックの付加情報の例を示した図 移動オブジェクトの前縁でフィルムモード遅延を有するビデオモード背景の移動オブジェクトのフィルムモードの決定を示す図 本発明による改良されたフィルムモード検出の例を示す図 本発明の外挿の原理を示す図 外挿時に行われる個々のステップを示すフロー図 ブロック決定の繰り返しのフロー図 フィルムモード指標が訂正される画像ブロックの決定の繰り返しを示す図 フィルムモード指標が訂正される画像ブロックの段階的決定を示す図 外挿のルック・アップ・テーブルの例を示す図

符号の説明

１０ 移動オブジェクト
２０ フィルムモードブロック
２５ 追加フィルムモードブロック
３０ ビデオモードブロック
１００ カレントブロック
１１０ 動きベクトル
１２０ ターゲットブロック
１３０ フィルムモードブロック
２００ メモリ領域

Claims (36)

1. 画像シーケンスの一部である現在の画像における複数の画像領域のフィルムモード指標を決定する方法であって、
   現在の画像領域のフィルムモード指標を受け取るステップと、
   前記現在の画像領域の動きベクトルを取得するステップと、
   前記受け取った動きベクトルに基づいて、前記現在の画像のフィルムモード指標を訂正するステップとを、備えたフィルムモード外挿方法。
2. 前記現在の画像領域の受け取った前記フィルムモード指標がフィルムモードである場合に、前記現在の画像領域と前記動きベクトルが差す画像領域との間の画像領域が、フィルムモードに設定される、請求項１に記載のフィルムモード外挿方法。
3. 前記動きベクトルが差す前記ブロックの前記フィルムモード指標がフィルムモードでない場合にのみ、前記画像領域はフィルムモードに設定される、請求項２に記載のフィルムモード外挿方法。
4. 前記動きベクトルが前記現在の画像の外部を差している場合、前記動きベクトルの長さがクリップされる、請求項２あるいは請求項３に記載のフィルムモード外挿方法。
5. 前記ビデオシーケンスの前記画像が複数のブロックに分割され、前記フィルムモード指標および動きベクトルが、ブロック単位で提供される、請求項１から４のうちのいずれかに記載のフィルムモード外挿方法。
6. 前記動きベクトルが画像ブロックのラスターに収まるにように量子化される、請求項５に記載のフィルムモード外挿方法。
7. 前記フィルムモードに設定される画像領域は、既定の画像領域パターンに従って選定される、請求項１から６のいずれかに記載のフィルムモード外挿方法。
8. 前記既定のパターンは、前記現在の画像領域と前記動きベクトルが差す画像領域との相対位置に応じて、あらかじめ記憶された複数のパターンから選定される、請求項７に記載のフィルムモード外挿方法。
9. 前記あらかじめ記憶されたパターンは、前記現在の画像領域と前記動きベクトルが差す画像領域との相対位置の全ての可能な組み合わせを提供する、請求項８に記載のフィルムモード外挿方法。
10. 前記フィルムモードに設定される画像領域は、前記現在の画像領域から始まる決定の繰り返し、及び、前記動きベクトルが差す画像領域に段階的に接近することに基づいて決定される、請求項１から９のうちのいずれかに記載のフィルムモード外挿方法。
11. フィルムモードに設定される新しい画像領域を決定するためのステップサイズは、前記動きベクトルの方向に基づいて決定される、請求項１０に記載のフィルムモード外挿方法。
12. 前記動きベクトルは横及び縦の成分を有し、前記ステップサイズは大きいベクトル成分を小さいベクトル成分で除算することで算出される、請求項１１に記載のフィルムモード外挿方法。
13. 前記フィルムモード指標がフィルムモードに訂正されたか否かを示す前記画像領域の各々に関連する追加的な指標を記憶するステップをさらに備えた、請求項１から１２のうちのいずれかに記載のフィルムモード外挿方法。
14. 前記フィルムモード指標は、個々の画像領域に対してフィルムモードか、あるいは、ビデオモードかのいずれであるかを示す、請求項１から１３のうちのいずれかに記載のフィルムモード外挿方法。
15. 前記現在の画像領域の前記フィルムモード指標が訂正されなかった場合のみ、フィルムモード指標の訂正が行われる、請求項１３あるいは請求項１４に記載のフィルムモード外挿方法。
16. 前記現在の画像領域の受け取った前記フィルムモード指標がビデオモードである場合、前記現在の画像領域と前記動きベクトルが差す画像領域の間の画像領域をビデオモードに設定するステップをさらに備えた、請求項１から１５のうちのいずれかに記載のフィルムモード外挿方法。
17. 前記動きベクトルが差す前記画像領域の前記フィルムモード指標がフィルムモードである場合のみ、画像領域はビデオモードに設定される、請求項１６に記載のフィルムモード外挿方法。
18. 動き補償画像処理を行う方法であって、
    現在の画像に対して決定される動きベクトルを受け取るステップと、
    前記現在の画像のフィルムモード指標を決定するステップと、
    請求項１から１７のうちのいずれかによる方法を適用して前記現在の画像に対して決定される前記フィルムモード指標を訂正するステップと、
    前記各フィルムモード指標による動き補償を適用して前記現在の画像の前記画像データに基づいて動き補償画像処理を行うステップとを、備えたフィルムモード外挿方法。
19. 画像シーケンスの一部である現在の画像の複数の画像領域のフィルムモード指標を決定するフィルムモード検出器であって、
    現在の画像領域のフィルムモード指標と動きベクトルを取得する入力手段と、
    前記取得した動きベクトルに基づいて前記現在の画像のフィルムモード指標を訂正する外挿手段とを、備えたフィルムモード検出器。
20. 前記外挿手段が、前記現在の画像領域の受け取った前記フィルムモード指標がフィルムモードである場合に、前記現在の画像領域と前記動きベクトルが差す画像領域の間の画像領域を、フィルムモードに設定する、請求項１９に記載のフィルムモード検出器。
21. 前記外挿手段が、前記動きベクトルが差す前記ブロックの前記フィルムモード指標がフィルムモードでない場合のみ、前記画像領域をフィルムモードに設定するよう構成された、請求項２０に記載のフィルムモード検出器。
22. 前記動きベクトルが前記現在の画像の外部を差している場合に、前記外挿手段が、前記動きベクトルの長さをクリップするよう設計された、請求項２０あるいは請求項２１に記載のフィルムモード検出器。
23. 前記ビデオシーケンスの前記画像が複数のブロックに分割され、前記入力手段は、前記フィルムモード指標および動きベクトルをブロック単位で取得する、請求項１９から２２のうちのいずれかに記載のフィルムモード検出器。
24. 前記外挿手段は、画像ブロックのラスターに収まるにように前記動きベクトルを量子化する、請求項２３に記載のフィルムモード検出器。
25. 前記外挿手段は、前記フィルムモードに設定する画像領域を、既定の画像領域のパターンに従って選定する、請求項１９から２４のうちのいずれかに記載のフィルムモード検出器。
26. 複数の既定のパターンを記憶するメモリをさらに備え、
    前記外挿手段は、前記現在の画像領域と前記動きベクトルによって向けられた前記画像領域の相対位置に応じて、前記複数のあらかじめ記憶されたパターンから前記規定のパターンを選定する、請求項２５に記載のフィルムモード検出器。
27. 前記メモリは、前記現在の画像領域と前記動きベクトルが差す前記画像領域の相対位置の全ての可能な組み合わせのパターンを記憶する、請求項２６に記載のフィルムモード検出器。
28. 前記外挿手段は、前記現在の画像領域で始まる決定の繰り返し、及び、前記動きベクトルが差す前記画像領域に段階的に接近することに基づいて、前記フィルムモードに設定される画像領域を決定する、請求項１９から２７のうちのいずれかに記載のフィルムモード検出器。
29. 前記外挿手段は、フィルムモードに設定する新しい画像領域を決定するためのステップサイズを、前記動きベクトルの方向に基づいて設定する、請求項２８に記載のフィルムモード検出器。
30. 前記動きベクトルは横及び縦の成分を有し、前記外挿手段は、前記ステップサイズを大きいベクトル成分を小さいベクトル成分で除算することで算出する、請求項２９に記載のフィルムモード検出器。
31. 前記外挿手段は、前記フィルムモード指標がフィルムモードに訂正されたか否かを示す前記画像領域の各々に関連する追加的な指標を記憶する、請求項１９から３０のうちのいずれかに記載のフィルムモード検出器。
32. 前記フィルムモード指標は、個々の画像領域に対して、フィルムモードか、あるいは、ビデオモードかのいずれであるかを示す、請求項１９から３１のうちのいずれかに記載のフィルムモード検出器。
33. 前記外挿手段は、前記現在の画像領域の前記フィルムモード指標が訂正されなかった場合のみ、フィルムモード指標の訂正を行う、請求項３１あるいは請求項３２に記載のフィルムモード検出器。
34. 前記外挿手段はさらに、前記現在の画像領域の受け取った前記フィルムモード指標がビデオモードである場合、前記現在の画像領域と前記動きベクトルが差す画像領域の間の画像領域をビデオモードに設定する、請求項１９から３３のうちのいずれかに記載のフィルムモード検出器。
35. 前記外挿手段は、前記動きベクトルが差す前記ブロックの前記フィルムモード指標がフィルムモードである場合のみ、画像領域をビデオモードに設定する、請求項３４に記載のフィルムモード検出器。
36. 各画像の動きベクトルのフィールドとフィルムモード指標に応じて入力画像シーケンスを処理する動き補償器であって、
    各画像の前記画像領域の外挿されるフィルムモード指標を決定するための請求項１９から３５のうちのいずれかによるフィルムモード検出器と、
    前記各フィルムモード指標に応じた個々の画像領域の動き補償を選定する選択器を備えた動き補償器。