JP2006140994A

JP2006140994A - 周波数コンテンツ動き検出

Info

Publication number: JP2006140994A
Application number: JP2005297397A
Authority: JP
Inventors: Jayakanth Suyambukesan; ジャヤカンス・スヤムブケサン; Peter Dean Swartz; ピーター・ディーン・シュワルツ; Xu Dong; スー・ドン
Original assignee: Genesis Microchip Inc
Current assignee: Genesis Microchip Inc
Priority date: 2004-10-13
Filing date: 2005-10-12
Publication date: 2006-06-01
Also published as: TW200631405A; SG121990A1; EP1648161A3; EP1648161A2; KR20060092968A; US20060077306A1

Abstract

【課題】周波数コンテンツ動き検出の方法および装置を提供する。
【解決手段】周波数コンテンツ動き検出は、ローフィールド輝度データを多数の周波数コンテンツサブバンドに分解すること、前記分解することと並行して前記ローフィールド輝度データを用いて動きを検出すること、前記サブバンドの絶対値を重み付け係数によって乗算することによって動き補正値を発生すること、および前記動き補正値を検出された動きに適用することによって実行される。
【選択図】図３

Description

本発明は、ディスプレイ装置に関する。より具体的には本発明は、動きの見え方を向上させる方法および装置を記述する。

動き推定は、主にフレーム動き検出を伴う。しかし高周波数コンテンツの領域においては、垂直および水平の両方に沿った特に高周波数垂直および水平周波数は、空間コンテンツのエリアシング（aliasing of the spatial content）につながる。エイリアスのあるデータ（aliased data）からの動き検出は、出力プログレッシブビデオの質に悪影響を与える偽の動き検出につながる。

この問題に対応する一つのアプローチは、フレームベースの動き検出に頼り、ここで動きデータは、インターレースビデオをデインターレース（de-interlace）するのに用いられる。フレームベースの動き検出は、隣接する同じパリティのフィールド群（すなわち奇数フレームおよび奇数フレーム、または偶数フレームおよび偶数フレーム）の絶対差を評価することによって動き値を検出することを主に伴う。絶対差の大きさに基づいて、フィールドは、低い動き値の場合はマージされ、または出力プログレッシブビデオのために空間的に補間される。

しかし高周波数空間遷移は、従来の動き検出器を「だまして」、真の動きを空間遷移に関連するエネルギーによるものとみなすことによって動き検出パフォーマンスを大きく低下しえ、その結果、結果として生じるデインターレースされた出力ビデオの質を低下させる。

したがって、必要とされているのは、高周波数空間遷移の存在の下で適応的に動き検出を変化させる適応方法および装置である。

ある実施形態において、周波数コンテンツ動き検出の方法は、ローフィールド輝度データを多数の周波数コンテンツサブバンドに分解すること、前記分解することと並行して前記ローフィールド輝度データを用いて動きを検出すること、前記サブバンドの絶対値を重み付け係数によって乗算することによって動き補正値を発生すること、および前記動き補正値を検出された動きに適用することによって実行される。

他の実施形態において、周波数コンテンツ動き検出の装置は、ローフィールド輝度データを多数の周波数コンテンツサブバンドに分解するサブバンドプロセッサ、前記分解することと並行して前記ローフィールド輝度データを用いて動きを検出する動き検出器、前記サブバンドの絶対値を重み付け係数によって乗算することによって動き補正値を発生する動き補正値発生器、および前記動き補正値を検出された動きに適用する演算子を含む。

さらに他の実施形態において、周波数コンテンツ動き検出のためのコンピュータプログラム製造物は、ローフィールド輝度データを多数の周波数コンテンツサブバンドに分解するコンピュータコード、前記分解することと並行して前記ローフィールド輝度データを用いて動きを検出するコンピュータコード、前記サブバンドの絶対値を重み付け係数によって乗算することによって動き補正値を発生するコンピュータコード、および前記動き補正値を検出された動きに適用するコンピュータコードを含む。

本発明の他の局面および優位性は、以下の詳細な説明を添付の図面と併せて参照することによって明らかになろう。図面は例示的に本発明の原理を示す。

本発明の特定の実施形態が詳細に参照され、その例が添付の図面に示される。本発明は、特定の実施形態について記載されるが、本発明を記載された実施形態に限定するよう意図されないことが理解されよう。むしろ本発明は、代替物、改変物、および等価物が添付の特許請求の範囲によって規定される本発明の精神および範囲に含まれるようカバーするよう意図される。

記載された実施形態において、入力された生フィールド輝度データストリームは、入力生フィールド輝度データを用いて動き検出がなされるのと同時に、多くの周波数コンテンツサブバンドに分解される。動き補正値は、所定の重み付け係数によってサブバンドの絶対値を乗算することによって後で生成される。動き補正値はそれから検出された動きに適用される。このようにして、動き検出パフォーマンスは改良され、これは結果として生じるデインターレースされた（プログレッシブ）出力ビデオの質を後で改善する。

図１は、垂直フィーチャエッジ（feature edge）１０２および水平フィーチャエッジ１０４の領域における例示的高周波数空間遷移１００を示す。高周波数空間遷移は、例えば、垂直フィーチャエッジ１０２を含む水平ライン１０８によって表されるもののような、ピクセル値の急な変化が存在する所にはどこにでも起こりえる。この例では、フィーチャエッジ１０２において、Ｘ座標Ｘ₀において位置するピクセル１１０は、ピクセル値３２を有するが、一方、Ｘ座標Ｘ₁において位置するピクセル１１２は、ピクセル値２４０を有し、その結果、ピクセル値遷移１１４は急峻な上昇時間ｔ₀を有することになる。この場合、ピクセル値遷移１１４によって表されるエネルギーは、フレームからフレームへの動きを擬態するのに充分であるかもしれず、フレームベースの動き検出スキームにおいて誤りを誘発するかもしれない。これら高周波数空間遷移を特定し、適応的に補償することによって、本発明は、動き検出および結果として生じる出力ビデオを改善する。

図２は、本発明のある実施形態による動き検出ブロック２０２および周波数コンテンツ動き補正値発生器２０４を有する動き検出システム２００の概略ブロック図である。示されるように、入力ロー輝度データストリーム（input raw luminance data stream）２０６（フレームｎについてＹ_nおよびフレームｎー１についてＹ_n-1）がシステム２００において受け取られる。記載される実施形態において、フレームｎについてのロー輝度データＹ_nおよびフレームｎ−１についてのロー輝度データＹ_n-1は、パラレルに共に動き検出ブロック２０２に渡され、一方、ロー輝度データＹ_nだけが周波数コンテンツ動き補正値発生器２０４に渡される。記載される実施形態において、周波数コンテンツ動き補正値発生器２０４は、ロー輝度データＹ_nを多数の周波数サブバンドに分解する空間サブバンドプロセッサ２１０の動作によって、動き検出ブロック２０２の動作とパラレルに、動き値補正係数ＭＣＦを動き検出ブロック２０２の出力に提供するよう構成される。示される実施形態において、プロセッサ２１０は、サブバンドの数に見合う多数のローパスフィルタおよびハイパスフィルタを含む。

したがって、ある構成では、ロー輝度データＹ_nは、プロセッサ２１０によって処理されて、４つの周波数サブバンドに分割される。すなわち、垂直ロウ水平ハイ（Ｖ_LＨ_H）、垂直ロウ水平ロウ（Ｖ_LＨ_L）、垂直ハイ水平ハイ（Ｖ_HＨ_H）、および垂直ハイ水平ロウ（Ｖ_HＨ_L）である。いったんサブバンドプロセッサ２１０が適切なサブバンド値を生成すると、サブバンド値の絶対値は、経験的に決定された重み付け係数Ｗ_iによって乗算され、動き補正値ＭＣＶを導く。この動き補正値は、検出された動きを補正するために、フィールド動き検出からの絶対差の値から後で引かれる。

ある場合において、重み付け係数Ｗ_iは、垂直ハイ（Ｖ_H）および水平ロウ（Ｈ_L）サブバンドの重みが重み群の和ΣＷ_iのほぼ１／３であり、垂直ロウ水平ロウＬ_Lサブバンドの重みがゼロであり、一方、垂直ハイ水平ハイＨ_Hサブバンドの重み、および垂直ロウ水平ハイＬ_Hサブバンドの重みが重み群の和ΣＷ_iの約１／６であるように設定される。したがって、空間コンテンツのサブバンド分析を用いて推定された動き補正値ＭＣＶは、高いＨ_LおよびＨ_Hサブバンドエネルギーを有するビデオストリームにおける領域によって通常示される疑似または偽の高い動き値を低減するのに役立つ。

加えて、イネーブリングブロック２１２は、最小および最大スレッショルドに基づいて動き補正をイネーブルまたはディセーブルするためにスレッショルド群（最小および最大の両方）を用いる。例えば、もしサブバンドエネルギーのうちの任意のものがスレッショルド範囲を超えているなら、動き補正はディセーブルされる。このスレッショルドベースの動き補正は、サブバンドエネルギーが異常に高く、一方で、前述のようにフレーム動きによって検出された動き値がそれにもかかわらず正確であるような特殊な場合を克服するために必要である。

図３は、本発明のある実施形態によるプロセス３００を詳細に示すフロー図である。プロセス３００は、ｎ番目のビデオフレームについての入力輝度信号Ｙ_nをサブバンドプロセッサユニットおよび動き検出ユニットにおいて受け取り、加えて、前のビデオフレームｎ−１についての入力輝度信号Ｙ_n-1を動き検出ユニットにおいて受け取ることによって、３０２において始まる。記載される実施形態において、動き検出は、動き検出ユニットによって実行されるフレーム減算に基づいていることに注意されたい。３０４において、サブバンドプロセッサユニットは、多くのコンテンツ周波数サブバンドを発生し、これらのそれぞれは所定のエネルギーレベルと関連付けられ、このエネルギーレベルから、現在のビデオフレームｎについての動き検出補正値がさまざまなサブバンドを用いて３０６において発生される。

動き検出補正値の発生と同時に、動き検出ユニットは、フレーム動き値を、例えばフレーム減算器ユニットによって提供されるフレーム減算に基づいて３０８において発生する。３１０において、動き検出補正値が発生された動き検出値に適用される。検出された動き補正値の適用は、適切とされる任意の形態をとりえることに注意されたい。例えば、この適用は減算操作でありえる。３１２において、補正された（もし必要であれば）検出された動き値が出力される。

特定の実施形態において、多くのサブバンドエネルギースレッショルド値は、検出された動き補正値が検出された動き値に適用されるかどうかを決定する。エネルギースレッショルド値は、検出動きプロトコルの適用のために最も効果的であると決定される空間遷移エネルギーの領域を記述すると考えられる。

図４は、３０４におけるサブバンドプロセッサを参照して上述のサブバンド発生操作４００のより詳細な特定の実現例である。具体的には、操作４００は、垂直ローパスフィルタおよび垂直ハイパスフィルタを４０２において適用し、その後、４０４において、水平ローパスフィルタを４０２の結果に適用することによって始まる。４０６において、多くの所定の重み付け係数が４０４の結果にパラレルに適用される。例えば、４０８においてＶ_LＨ_Lの重み付け係数が適用され、４１０においてＶ_LＨ_Hの重み付け係数が適用され、４１２においてＶ_HＨ_Lの重み付け係数が適用され、４１４においてＶ_HＨ_Hの重み付け係数が適用される。それから４０６の結果は、全て和がとられて、４１６において動き補正値を提供する。場合によっては、そのエネルギースレッショルドによって定義される所定のエネルギー領域内にその空間遷移が入るかどうかに基づいて、検出された動き補正値の適用をイネーブルまたはディセーブルするように、多くの所定のエネルギースレッショルド値が適用されることに注意されたい。

垂直フィーチャエッジおよび水平フィーチャエッジの領域における例示的高周波数空間遷移を示す図である。本発明のある実施形態による動き検出ブロックおよび周波数コンテンツ動き補正値発生器を有する動き検出システムの概略ブロック図である。本発明のある実施形態によるプロセスを詳細に示すフロー図である。サブバンドプロセッサを参照して上述のサブバンド発生操作のより詳細な特定の実現例を示す図である。

Claims

周波数コンテンツ動き検出の方法であって、
ローフィールド輝度データを多数の周波数コンテンツサブバンドに分解すること、
前記分解することと並行して前記ローフィールド輝度データを用いて動きを検出すること、
前記サブバンドの絶対値を重み付け係数によって乗算することによって動き補正値を発生すること、および
前記動き補正値を検出された動きに適用すること
を含む方法。
請求項１に記載の方法であって、
最小スレッショルドおよび最大スレッショルドを用いて、前記最小スレッショルドおよび最大スレッショルドに基づいて動き補正をイネーブルまたはディセーブルすること
をさらに含み、もし前記サブバンドエネルギーのうちの任意のものが前記スレッショルド範囲を超えるなら動き補正はディセーブルされる方法。
請求項１に記載の方法であって、前記サブバンドは、垂直ロウ水平ハイ（Ｖ_LＨ_H）サブバンド、垂直ロウ水平ロウ（Ｖ_LＨ_L）サブバンド、垂直ハイ水平ハイ（Ｖ_HＨ_H）サブバンド、および垂直ハイ水平ロウ（Ｖ_HＨ_L）サブバンドを含む方法。
請求項１に記載の方法であって、前記多数のサブバンドを発生することは、
垂直および水平のローパスフィルタおよびハイパスフィルタを用いること
を含む方法。
請求項１に記載の方法であって、前記重み付け係数は、前記垂直ハイおよび水平ロウ（Ｖ_HＨ_L）サブバンドの重み付けが、前記重み付け係数の全ての和の約１／３であるように設定される方法。
請求項５に記載の方法であって、前記垂直ロウ水平ロウ（Ｖ_LＨ_L）サブバンドの重み付けはゼロである方法。
請求項５に記載の方法であって、前記垂直ハイ水平ハイ（Ｖ_HＨ_H）サブバンドおよび垂直ロウ水平ハイ（Ｖ_LＨ_H）サブバンドの前記重み付けは、前記重み付け係数の和の約１／６である方法。
請求項１に記載の方法であって、前記前記ローフィールド輝度データを用いて動きを検出することは、
隣接する同じパリティのフィールドの絶対差を生成すること
を含む方法。
請求項１に記載の方法であって、前記動き補正値を検出された動きに適用することは、
前記動き補正値を前記絶対差の値から減じることによって、垂直ハイ水平ハイ（Ｖ_HＨ_H）サブバンドおよび垂直ハイ水平ロウ（Ｖ_HＨ_L）サブバンドエネルギーを有するビデオストリーム中の領域によって通常示される疑似または偽の高動き値を低減して前記検出された動きを補正すること
を含む方法。
周波数コンテンツ動き検出の装置であって、
ローフィールド輝度データを多数の周波数コンテンツサブバンドに分解するサブバンドプロセッサ、
前記分解することと並行して前記ローフィールド輝度データを用いて動きを検出する動き検出器、
前記サブバンドの絶対値を重み付け係数によって乗算することによって動き補正値を発生する動き補正値発生器、および
前記動き補正値を検出された動きに適用する演算子
を備える装置。
請求項１０に記載の装置であって、
最小スレッショルドおよび最大スレッショルドを用いて、前記最小スレッショルドおよび最大スレッショルドに基づいて動き補正をイネーブルまたはディセーブルするスレッショルドユニットをさらに備え、もし前記サブバンドエネルギーのうちの任意のものが前記スレッショルド範囲を超えるなら動き補正はディセーブルされる装置。
請求項１０に記載の装置であって、前記サブバンドは、垂直ロウ水平ハイ（Ｖ_LＨ_H）サブバンド、垂直ロウ水平ロウ（Ｖ_LＨ_L）サブバンド、垂直ハイ水平ハイ（Ｖ_HＨ_H）サブバンド、および垂直ハイ水平ロウ（Ｖ_HＨ_L）サブバンドを含む装置。
請求項１０に記載の装置であって、前記サブバンドプロセッサは、垂直および水平のローパスフィルタおよびハイパスフィルタを含む装置。
請求項１０に記載の装置であって、前記重み付け係数は、前記垂直ハイおよび水平ロウ（Ｖ_HＨ_L）サブバンドの重み付けが、前記重み付け係数の全ての和の約１／３であるように設定される装置。
請求項１４に記載の装置であって、前記垂直ロウ水平ロウ（Ｖ_LＨ_L）サブバンドの重み付けはゼロである装置。
請求項１４に記載の装置であって、前記垂直ハイ水平ハイ（Ｖ_HＨ_H）サブバンドおよび垂直ロウ水平ハイ（Ｖ_LＨ_H）サブバンドの前記重み付けは、前記重み付け係数の和の約１／６である装置。
請求項１０に記載の装置であって、前記前記ローフィールド輝度データを用いて動きを検出することは、
隣接する同じパリティのフィールドの絶対差を生成すること
を含む装置。
請求項１０に記載の装置であって、前記演算子は、
前記動き補正値を前記絶対差の値から減じることによって、垂直ハイ水平ハイ（Ｖ_HＨ_H）サブバンドおよび垂直ハイ水平ロウ（Ｖ_HＨ_L）サブバンドエネルギーを有するビデオストリーム中の領域によって通常示される疑似または偽の高動き値を低減して前記検出された動きを補正する減算ユニット
を含む装置。