JP2009505472A - 画像シーケンスにおけるモーションジャダーのキャンセル方法 - Google Patents

Abstract

ベースバンド信号画像(BS)を処理する装置において、フィルム検出器は、同じベースバンド信号が、フィルム画像からの情報及びビデオソース画像からの情報を共に含むか否かを判定し、１つのフィルム画像からの情報は少なくとも２つのベースバンド信号画像中に存在し、１つのビデオソース画像からの情報は１つのベースバンド信号画像中のみに存在する。処理ユニットは、フィルム画像からの情報及びビデオソース画像からの情報が共に同じベースバンド信号中に存在すれば、フィルム画像毎に、上記少なくとも２つのベースバンド信号画像の１つのみを用いて表示信号画像(DS)を得る方法で、ベースバンド信号画像を処理する。

Description

代表的なモーションジャダー（動画像の不連続表示）キャンセルシステムは、３つの部分、即ちフィルム検出器、動き推定器、及びフレームレート・アップコンバータ（単位時間当たりの画像フレーム数を増加させる変換器）で構成される。このシステムがインターレース画像シーケンスを処理する場合には、デインターレーサ（インターレースからノンインターレースへの変換器）が存在し得る。フィルム検出器は、連続する画像間の情報を分析することによって、入力ビデオシーケンスが動きを含むか否かを検出する。この動きは、次のいくつかの一般的動きのパターンに分類される。

ビデオは、画像毎に動きがあることを意味する。ビデオについては、時間距離が１画像であるとも称する。すべての画像をフェーズ（相）０の画像と称する。

２−２プルダウンは、反復的パターンの２画像毎に１回動きがあることを意味する。これらの画像の１番目をベース画像と称する。ベース画像をフェーズ０の画像、次の画像をフェーズ１の画像と称する。２−２プルダウンについての時間距離は２画像である。従って、連続するフェーズ０と１の画像間には動きがなく、そしてフェーズ１と新たなフェーズ０との間には動きがある。

３−２または２−３プルダウンは、３画像相互間には動きがなく、そして次の２画像相互間には動きがないこと、またはその逆を意味する。ここで、次の定義を用いる。フィルムモードでは、フェーズ０及び３は、繰り返し部分の最初の画像である。３−２プルダウンは次のシーケンスに至る：フェーズ０、フェーズ１、フェーズ２、フェーズ３、フェーズ４、フェーズ０、フェーズ１、等。フェーズ０、１、及び２は同じ第１フィルム画像に関連し、フェーズ３及び４は同じ第２フィルム画像に関連する。第１フィルム画像からの３つの画像の１番目、及び第２フィルム画像からの２つの画像の１番目を共にベース画像と称する。最初のベース画像はフェーズ０の画像であり、次の画像はフェーズ１の画像であり、次の画像はフェーズ２の画像であり、（ベース画像である）次の画像はフェーズ３の画像であり、そして次がフェーズ４の画像である。３−２プルダウンについての時間距離は交互に３画像及び２画像である。従って、連続するフェーズ０と１の画像間には動きがなく、そして連続するフェーズ１と２の画像間には動きがない。フェーズ２と３の間には動きがあるが、フェーズ３と４の間には動きがない。フェーズ４から新たなフェーズ０までには再び動きがある。

これらのカテゴリの１つに分類されないあらゆるシーケンスはフォールバック（後退）モードで処理することができ、フォールバックモードは通常、ビデオパターン用に選択したモードと等価であり、ジャダーを生じさせる可能性がある。あるいはまた、これらのカテゴリに分類されないシーケンスは、２−２プルダウンまたは３−２プルダウンのいずれかとして処理され、フレームレート・アップコンバータにおいて深刻なアーティファクトを生じさせる可能性がある。

パターンがビデオでない場合には、動き推定器は一般にこのパターンを用いて、最新画像と、この最新画像に最も近い時点の異なる画像との間の動きベクトルを推定する。これらのベクトルは画像全体にわたるものではなく、画像の特定領域に局所化される。従って、これらのベクトルは、画像の各部分が時間と共に動く様子を示す。フレームレート・アップコンバータはこれらのベクトルを用いて、最新画像と、この最新画像に最も近い時点の異なる画像との間に新たな画像を内挿補間する。フレームレート・アップコンバータは、これらの新たな画像を、元のパターンの一部の画像の代わりに出力する。こうして、このシーケンスは断続的に静止して見えず、動きは視聴者にとってより滑らかに見え、いわゆるジャダー・アーティファクト（不連続表示の歪像）がキャンセルされる。

不都合なことに、上述したカテゴリにはいくつかの例外が存在する。
ＴＭＦ（登録商標）（オランダのテレビジョン局）、ＭＴＶ（登録商標）（米国の音楽専用テレビジョン局）のような一部のＴＶ（テレビジョン）局は通常、画像が部分的にプルダウン・パターン（例えば背景）、部分的にビデオパターン（例えばティッカー（テロップ、字幕）バー、プレゼンター（司会、発表、報告者））である題材を放送する。従って、３−２プルダウンモードでは、画像のフィルム部分はフェーズ０、１，２で同じであり、画像のビデオ部分はこれらのフェーズ間で異なる。このことはフェーズ３及び４にも当てはまり、フィルム部分は同じであり、ビデオ部分は異なる。２−２プルダウンモードでは、フィルム部分はフェーズ０と１で同じであり、ビデオ部分はこれらのフェーズ間で異なる。

また、ＭＰＥＧ符号化から生じたディジタルビデオ映像には、プルダウンの寄与が相当量存在し得る。この場合には、各２つの画像間に存在する動きとは別に、プルダウン状の動きパターン（例えば、フェーズ１とフェーズ０の間の動きのより高い寄与、フェーズ０とフェーズ１の間の動きのより低い寄与）も存在する。この種のシーケンスをプルダウンとして処理することは、深刻なノンインターレース化のアーティファクトを生じさせる。

フレームレート・アップコンバータに関しては、ビデオへのフォールバックは、上記例１ではプルダウン部分について再びジャダーを生じさせる。これをプルダウンとして処理することは、フレームレート・アップコンバータによって新たなジャダー状のアーティファクトをビデオ成分中に生じさせる。また、動き推定器は一貫性のないベクトルを動き推定し、デインターレーサは深刻なアーティファクトを導入する。

国際公開第02/056597号パンフレット 国際公開第2004/054256号パンフレット

国際公開第02/056597号及び国際公開第2004/054256号は、テレビジョン画像中に並列的に生じるフィルム及びビデオを認識する方法を開示している。

本発明の目的はとりわけ、ビデオ及びプルダウンの動きを共に含むビデオ画像シーケンスに用いられる、モーションジャダーのキャンセル用の効率的なシステムを提供することにある。本発明は独立請求項に規定される。有利な好適例は従属請求項に規定される。

本発明は、従来技術におけるアーティファクトはハイブリッド（混成）処理モードを導入することによって効率的に除去することができる、という認識に基づくものである。画像がプルダウン成分及びビデオ成分を共に含むか否かを検出するために、国際公開第02/056597号及び国際公開第2004/054256号に開示されているフィルム検出器を使用し、これらの特許文献は参考文献として本願明細書に含める。こうした本発明のハイブリッドモードの主な特徴は、一部の画像（例えば３−２プルダウンではフェーズ０及び３の画像）はフィルムとして処理し、他の画像（即ちフェーズ１、２及び４の画像）は、これらの画像のいくつかの部分が非反復的であっても棄却することにある。欠落した画像は、動き推定プロセス及びアップコンバージョン・プロセスによって生成する。これにより、映像のビデオ部分及びプルダウン部分の双方の滑らかな動きの描画が保たれ、デインターレース（ノンインターレース化）のアーティファクトは導入されない。

好適例では、ハイブリッドモードを検出すると、動き推定器、随意的なデインターレーサ、及びフレームレート・アップコンバータの処理を適応させる。動き推定器は、プルダウン及びビデオ成分について時間距離が同じである画像上、あるいはベクトルが変動してビデオ成分中に揺れの動きを不規則的に生じさせる画像上で動き推定する必要がある。このことを達成するために、ベース画像と、ベース画像の２つ前に受信した画像との間の動きを推定する。このことは、ビデオ成分及びプルダウン成分の両方について、時間距離を常に２画像分にする。メモリーの問題により、フェーズ２ではこのことを行わないことを選ぶ。

良好なモーションジャダーのキャンセルのために、フレームレート・アップコンバータはプルダウンのリズムを含むシーケンスを必要とする。このことを達成するために、フレームレート・アップコンバータでは、フェーズ０及び３の画像（３−２プルダウンモード）、及びフェーズ０の画像（２−２プルダウンモード）のみを使用し、ビデオ成分を効果的にプルダウンの動きにする。

インターレース画像については、デインターレーサを画像挿入モード（真のプルダウンについてのみ最適な垂直のシャープネス（尖鋭度）を生じさせる）にする代わりに、ハイブリッドモードでは、デインターレーサをビデオモーション（ビデオの動き）デインターレースモードにする。

これと共に、この方策はハイブリッド画像シーケンスにおいても滑らかな動きを生成する。

本発明のこれら及び他の態様は、以下に説明する実施例を参照すれば明らかになる。

図１の実施例では、入力ベースバンド・テレビジョン信号ＢＳがフィルム検出器ＦＤに供給される。フィルム検出器ＦＤは、国際公開第02/056597号及び国際公開第2004/054256号に開示されているものとすることができ、入力ベースバンド・テレビジョン信号が純粋なビデオ、純粋なフィルム（２−２または３−２プルダウン）、あるいはハイブリッド（混成）（２−２または３−２プルダウン）であるか否かを検出する。フィルム検出器ＦＤは処理ユニットＰＵを制御し、処理ユニットＰＵは動きベクトル推定処理ＥＳＴ及びアップコンバージョン処理ＵＰＣを実行する。処理ユニットＰＵの出力は、表示信号ＤＳを表示装置Ｄに供給する。

図２Ａに、従来技術のフィルム２−２プルダウンのモーションジャダー除去を例示する。ベースバンド信号ＢＳは、（複数）瞬時Ｔにおける複数の画像を含み、そしてフィルムフェーズＦＰを有する。２−２プルダウンでは、フィルムフェーズＦＰは０または１とすることができる。図２Ａの左から右に考えれば、動きはフィルムフェーズ１と０の間のみに存在し、フィルムフェーズ０と１の間には存在せず、フィルムフェーズ１及び０を有する（２つの）画像は、動きベクトル推定処理ＥＳＴ及びアップコンバージョン処理ＵＰＣを適用され、表示信号ＤＳ用の出力画像が得られ、ここでフィルムフェーズ１を有する画像は直接、表示信号ＤＳになる。

図２Ｂに、本発明のハイブリッド２−２プルダウンのモーションジャダー除去を例示する。本発明によれば、フィルムフェーズ０を有する画像のみを使用し、フィルムフェーズ１を有する画像は使用しない。表示信号ＤＳ中では、動きベクトル推定処理ＥＳＴ及びアップコンバージョン処理ＵＰＣによって得られた画像とこのように処理されていない画像とがインターリーブ（交互配置）される。

図３Ａに、従来技術のフィルム３−２プルダウンのモーションジャダー除去を例示する。フィルムフェーズ２を有する画像は直接、表示信号ＤＳになる。フィルムフェーズ３及び４を有する画像は、フィルムフェーズ２を有する画像と共に、動きベクトル推定処理ＥＳＴ及びアップコンバージョン処理ＵＰＣを適用され、表示信号ＤＳ用の出力画像が得られる。

図３Ｂに、本発明のハイブリッド３−２プルダウンのモーションジャダー除去を例示する。本発明によれば、フィルムフェーズ０及び３を有する画像のみを使用し、フィルムフェーズ１、２、及び４を有する画像は使用しない。フィルムフェーズ０及び１を有する表示信号画像は、フィルムフェーズ３及び０を有するベースバンド信号画像から、動きベクトル推定処理ＥＳＴによって得られる。フィルムフェーズ２を有する表示信号画像は、フィルムフェーズ０を有するベースバンド信号画像から直接得られる。フィルムフェーズ３及び４を有する表示信号画像は、フィルムフェーズ０及び３を有するベースバンド信号画像から、動きベクトル推定処理ＥＳＴ及びアップコンバージョン処理ＵＰＣによって得られる。

なお、上述した実施例は本発明を限定するものではなく例示するものであり、当業者は、請求項の範囲から外れることなしに多くの代案実施例を設計することができる。「具える」等は請求項中に挙げた以外の要素またはステップの存在を排除するものではない。本発明は、いくつかの別個の要素から成るハードウェア、及び／または適切にプログラムされたプロセッサによって実現することができる。いくつかの手段を挙げた装置の請求項では、これらの手段のいくつかはハードウェアの同一アイテムによって具体化することができる。互いに異なる従属請求項中に特定方策が挙げられているという単なる事実は、これらの方策の組合せを有利に用いることができないことを示すものではない。

本発明によるテレビジョン表示装置の実施例を示す図である。 従来技術のフィルム２−２プルダウンのモーションジャダー除去を例示する図である。 本発明のハイブリッド２−２プルダウンのモーションジャダー除去を例示する図である。 従来技術のフィルム３−２プルダウンのモーションジャダー除去を例示する図である。 本発明のハイブリッド３−２プルダウンのモーションジャダー除去を例示する図である。

Claims (3)

1. ベースバンド信号画像を処理する方法において、
   同じベースバンド信号画像が、フィルム画像からの情報及びビデオソース画像からの情報を共に含むか否かを判定するステップであって、１つのフィルム画像からの情報は少なくとも２つのベースバンド信号画像中に存在し、１つのビデオソース画像からの情報は１つのベースバンド信号画像中のみに存在するステップと；
   前記ベースバンド信号画像を処理するステップであって、前記フィルム画像からの情報及び前記ビデオソース画像からの情報が共に同じ前記ベースバンド信号画像中に存在する場合には、前記フィルム画像毎に、前記少なくとも２つのベースバンド信号画像の１つのみを用いて表示信号画像を得るステップと
   を具えていることを特徴とするベースバンド信号画像の処理方法。
2. 同じベースバンド信号画像が、フィルム画像からの情報及びビデオソース画像からの情報を共に含むか否かを判定するフィルム検出器であって、１つのフィルム画像からの情報は少なくとも２つのベースバンド信号画像中に存在し、１つのビデオソース画像からの情報は１つのベースバンド信号画像中のみに存在するフィルム検出器と；
   前記ベースバンド信号画像を処理する処理ユニットであって、前記フィルム画像からの情報及び前記ビデオソース画像からの情報が共に同じベースバンド信号画像中に存在する場合には、前記フィルム画像毎に、前記少なくとも２つのベースバンド信号画像の１つのみを用いて表示信号画像を得る処理ユニットと
   を具えていることを特徴とするベースバンド信号画像の処理装置。
3. 請求項２に記載のベースバンド信号画像の処理装置と；
   表示装置と
   を具えていることを特徴とする表示装置。

Images