JP2004504779A - 動き推定のための前処理方法 - Google Patents

Abstract

本発明は、動き推定工程（ＭＥ）用の修正されたディジタル映像信号（ＭＳ）を提供するために、入力ディジタル映像信号（ＩＳ）を処理する方法に関する。この処理方法は、入力ディジタル映像信号に含まれるビデオ・フレームに属するピクセルに関連付けられた元の値のヒストグラム（ｈ）を計算する工程（ＨＩＳ）と、ヒストグラムを分析してヒストグラム・パラメータ（ｈｐ）を提供する工程（ＡＮＡ）と、ヒストグラム・パラメータに基づいて元のピクセル値を訂正し、動き推定工程用の修正ディジタル映像信号をもたらす修正されたピクセル値を提供する工程（ＣＯＲ）とを有する。必要であれば、この処理方法は、動き推定工程用にフィルタリングされた修正ディジタル映像信号（ＦＭＳ）を提供するために、修正されたディジタル映像信号をフィルタリングする工程（ＦＩＬ）を更に有してもよい。このような処理方法は、入力ディジタル映像信号のコンテンツに適合し、動き推定工程がエンコーディングのためにより良い動きベクトルを提供できるようにする。使用：ビデオ・エンコーダ。

Description

【０００１】
本発明は、動き推定工程用の修正されたディジタル映像信号を提供するために、ビデオ・フレームを有する入力ディジタル映像信号を処理する方法に関する。本発明は、更に、上記処理方法に対応する装置にも関する。
【０００２】
このような処理方法は、例えば、ＭＰＥＧ−２若しくはＭＰＥＧ−４ビデオ・エンコーディングの前処理として用いられ得る。
【０００３】
上記種類の処理装置は、米国特許第５，９９０，９６２号に開示されている。この処理装置は、ビデオ・エンコーディング装置において用いられ、変化データを生成するために現ピクチャと過去のピクチャとから変化を検知する動き補償予測推定回路と、変形された現ピクチャがエンコードされるためにビデオ・エンコーディング装置の動き補償予測エンコーディング・セクションへ送信されるように、動き補償予測推定回路によって生成された変化データに従って現ピクチャを変形させるフィルタとを有する。
【０００４】
本発明の目的は、実施しやすく、費用対効果の高い、入力ディジタル映像信号を処理する方法を提供することである。本発明は、以下の態様を考慮する。
【０００５】
上記の従来の処理方法は、変化データを生成するために現ピクチャと過去のピクチャとを比較するオペレーションと、該変化データに従って現ピクチャを変形させるフィルタリング・オペレーションとを必要とするため、より複雑である。このような比較オペレーション及びフィルタリング・オペレーションは、メモリ容量及び中央演算装置（ＣＰＵ）の負荷の観点から高価である。
【０００６】
この問題を解決するために、本発明に係る処理方法は、ビデオ・フレームに属するピクセルに関連付けられた元の値のヒストグラムを計算する工程と、該ヒストグラムを分析してヒストグラム・パラメータを提供する工程と、該ヒストグラム・パラメータに基づいて元のピクセル値を訂正し、動き推定工程によって用いられる修正ディジタル映像信号をもたらす修正されたピクセル値を提供する工程とを有する。
【０００７】
上記処理方法は、入力ディジタル映像信号のコンテンツ、特に該入力ディジタル映像信号に含まれるビデオ・フレームの輝度成分若しくはクロミナンス成分のヒストグラムに適合する。結果として、上記方法は、過去のビデオ・フレームの知識もフィルタリング工程も必要とせず、シンプルで効率が良い。
【０００８】
その上、本方法は、例えば、暗いシーケンスや、フラッシュやフェードによって所定のビデオ・フレームから次のビデオ・フレームまでの輝度変化が大きいシーケンスなどの特定種類のビデオ・フレーム・シーケンスに対して、特に効率的である。上記種類のシーケンスに対して、通常の動き推定方法は、適切な動きベクトルを提供することができない。結果として、動き推定及び入力ディジタル映像信号のエンコーディングが適切に実行されない。本発明に係る処理方法は、動き推定工程がより良い動きベクトルを決定できるようにする修正されたディジタル映像信号を提供する。結果として、本処理方法は、圧縮効率及び画質を向上させることができる。
【０００９】
本発明の上記及び他の態様は、以下に説明する実施形態を参照して明らかにされる。
【００１０】
ここで、本発明を、例示的に、添付図面を参照して説明する。
【００１１】
本発明は、動き推定工程（ＭＥ）用の修正されたディジタル映像信号（ＭＳ）を提供するために、入力ディジタル映像信号（ＩＳ）を処理する方法に関する。この動き推定工程の目的は、２つのビデオ・フレーム間の動きベクトルを計算することである。一ビデオ・フレームから他のビデオ・フレームまでの輝度値の変化が大きいシーケンスなどの特定の種類のビデオ・フレーム・シーケンスに対しては、動き推定工程は適切な動きベクトルを提供することができない。
【００１２】
本発明に係る処理方法は、修正されたディジタル映像信号を提供し、動きベクトル推定を向上させるために、入力ディジタル映像信号のコンテンツに適応できる。
【００１３】
図１は、上記処理方法に対応するブロック図である。この処理方法は、入力ディジタル映像信号に含まれるビデオ・フレームに属するピクセルに関連付けられた元の値のヒストグラム（ｈ）を計算する工程（ＨＩＳ）と、該ヒストグラムを分析してヒストグラム・パラメータ（ｈｐ）を提供する工程（ＡＮＡ）と、該ヒストグラム・パラメータに基づいて元のピクセル値を訂正し、動き推定工程用の該修正ディジタル映像信号をもたらす修正されたピクセル値を提供する工程（ＣＯＲ）とを有する。
【００１４】
必要であれば、この処理方法は、動き推定工程にフィルタリングされ、修正されたディジタル映像信号（ＦＭＳ）を提供するために、上記修正されたディジタル映像信号をフィルタリングする工程（ＦＩＬ）を更に有してもよい。
【００１５】
好ましい変形例において、この処理方法は、ビデオ・フレームに属するピクセルに関連付けられた輝度値のヒストグラムの計算に基づく。輝度ヒストグラムは、０〜２５５の各輝度値に対するビデオ・フレームにおける輝度ピクセルの積算を表す。
【００１６】
上記計算工程は、本発明の範囲を越えることなく、ピクセルに関連付けられたクロミナンス値、又は、輝度値とクロミナンス値との組み合わせに対して提供され得る。この好ましい変形例において、上記計算工程は、ビデオ・フレーム全体に対して提供されるが、メモリのコストを抑制するために、該ビデオ・フレームの一部（例えば、ビデオ・フレームの半分）に対しても適用され得る。
【００１７】
この計算工程によって輝度ヒストグラムが一旦提供されると、本処理方法は、該ヒストグラムを分析し、該方法をビデオ・フレームのコンテンツに対して適応させるために、どのタイプの訂正を実行すべきか、及びその訂正をいつ実行すべきかを決定する。連続的なビデオ・フレームに対応するヒストグラムの時間的分析は、ビデオ・フレーム・シーケンスの輝度の発展を示し、通常の動き推定方法が効率的でなくなるビデオ・フレームの検知を可能にする。図２ａ及び２ｂは、２つの特定のビデオ・フレーム・シーケンスについての輝度ヒストグラムの発展を示す。上記２つのシーケンスの一方は、フラッシュが発生するシーケンスであり、他方は暗くなるフェードを含むシーケンスである。
【００１８】
図２ａから観測できるように、フラッシュが発生するビデオ・フレームの輝度ヒストグラム（ｈ（ｔ＋１）））は、フラッシュの無い前のビデオ・フレームのヒストグラム（ｈ（ｔ））と比べて高い輝度値へ変換される。反対に、図２ｂから観測できるように、暗くなるフェードを有するビデオ・シーケンスに含まれるビデオ・フレームの輝度ヒストグラム（ｈ（ｔ＋１））は該シーケンスの前のビデオ・フレームのヒストグラム（ｈ（ｔ））と比べて低い輝度値へ変換される。更に、両ケースから観測できるように、ビデオ・フレームの輝度ヒストグラム（ｈ（ｔ＋１））の幅は、該シーケンスの前のビデオ・フレームのヒストグラム（ｈ（ｔ））と比べて短くなっている。
【００１９】
これらの問題を克服するために、輝度値の訂正工程が必要である。本発明に係る処理方法の該訂正工程は、２つのシンプルなオペレーションを用いて実行される。
【００２０】
第一のオペレーションは、図３ａ及び３ｂを参照して開示されるような輝度ヒストグラムの変換に対応する。この変換サブ工程によれば、現ビデオ・フレームＦ（ｔ）に属するピクセル（ｘ，ｙ）の元の輝度値Ｙ（ｘ，ｙ，ｔ）は、係数ｋｔによる変換を受け、以下のような修正された輝度値Ｙ’（ｘ，ｙ，ｔ）が得られる。
【００２１】
【数１】

図３ａは、本発明に係る変換オペレーション（ｔｒ）の一例を示す。現ビデオ・フレーム上の輝度値の平均は、Ｍに等しい。該ビデオ・フレームに属するピクセルの元の輝度値Ｙ（ｘ，ｙ，ｔ）は、次いで、現ビデオ・フレーム上の修正された輝度値Ｙ’（ｘ，ｙ，ｔ）の平均値がＭ’となるように変換される。結果として、ｋｔはＭ’とＭとの間の差に等しい。本発明の特定の変形例において、Ｍ’は、修正された輝度値Ｙ’（ｘ，ｙ，ｔ）に対応する輝度ヒストグラムｈ’（ｔ）を集中させるために、１２８に等しいか、又は、この特定の値に近い。
【００２２】
図３ｂは、Ｍ’がゼロに等しいか又は近い別の特定の変形例を示す。この特定のケースにおいて、変換サブ工程（ｔｒ’）によって計算された修正された輝度値Ｙ’（ｘ，ｙ，ｔ）は負となり得る。この修正された輝度値Ｙ’（ｘ，ｙ，ｔ）が負の場合、修正された輝度値Ｙ’（ｘ，ｙ，ｔ）が［０−２５５］のレンジ内に保たれるように、２５６の固定された変換が実行される。この結果は２つの部分に分割されたヒストグラムである。
【００２３】
同様に、変換サブ工程（ｔｒ）によって計算された修正された輝度値Ｙ’（ｘ，ｙ，ｔ）が２５５より大きい場合、修正された輝度値Ｙ’（ｘ，ｙ，ｔ）が［０−２５５］のレンジ内に保たれるように、−２５６の固定された変換が実行される。
【００２４】
第二のオペレーションは、輝度ヒストグラムの幅変化（ｃｄ）に対応する。該幅変化は、該ヒストグラムの膨張若しくは縮小のいずれにもなり得る。図４は、本発明に係る方法における該ヒストグラムの膨張オペレーションの一例を示す。この幅変化サブ工程によれば、現ビデオ・フレームＦ（ｔ）に属するピクセル（ｘ，ｙ）の元の輝度値Ｙ（ｘ，ｙ，ｔ）には係数ｋｗが掛けられ、以下の修正された輝度値Ｙ’（ｘ，ｙ，ｔ）が得られる。
【００２５】
【数２】

ここで、Ｍは全ビデオ・フレームにわたる元の輝度値の平均である。
【００２６】
係数ｋｗが１より大きい場合は輝度ヒストグラムの膨張となり、１より大きくなければ縮小となる。このようなオペレーションは、特に、ヒストグラムの初期幅が範囲［ｅ１，ｅ２］によって定義され、膨張オペレーション後に修正された範囲［ｅ’１，ｅ’２］となる膨張の場合に有益的である。このピクセルの修正された輝度値は、次いで、より広いレンジ上に拡散され、動き推定方法による動きベクトルの計算が簡素化される。好ましい変形例において、係数ｋｗは以下のように計算される。
【００２７】
【数３】

ここで、［ｅ’１，ｅ’２］は、例えばユーザによって決定された修正された輝度値範囲である。
【００２８】
上記係数ｋｗは、ユーザによって固定されることも可能であり、本発明の範囲を越えずに他の方法によって固定されることも可能である。
【００２９】
変換サブ工程と同様に、修正された輝度値Ｙ’（ｘ，ｙ，ｔ）はレンジ［０−２５５］内に保たれる。
【００３０】
変換（ｔｒ）オペレーション及び幅変化（ｃｄ）オペレーションのいずれも、より効果的な訂正のために組み合わせられ得る。図５は、本発明に係るヒストグラムの膨張オペレーションと変換オペレーションとの組み合わせの一例を示す。これらオペレーションによれば、現ビデオ・フレームＦ（ｔ）に属するピクセル（ｘ，ｙ）の元の輝度値Ｙ（ｘ，ｙ，ｔ）には係数ｋｗが掛けられ、次いで値Ｍ’によって変換され、以下の修正された輝度値Ｙ’（ｘ，ｙ，ｔ）が得られる。
【００３１】
【数４】

ここで、Ｍは全ビデオ・フレームにわたる元の輝度値の平均であり、Ｍ’はユーザによって決定された全ビデオ・フレームにわたる修正された輝度値の平均である。
【００３２】
本発明の範囲を越えずに、上記例示的に開示したもの以外のより複雑なオペレーションも考えられることに注意。
【００３３】
最後に、フィルタリング工程は、特にヒストグラムの膨張工程の後で、実行され得る。これは、係数ｋｗが２より大きい場合に特に有益的である。この場合、ヒストグラムは不連続であり、特定の輝度値に対する輝度ピクセルの累積は、図６に示すようにゼロに等しく、フィルタリング工程により、例えば補間フィルタを用いることによってヒストグラム曲線を滑らかにすることができる。
【００３４】
このような処理方法は、適切にプログラムされ、例えばビデオ・エンコーダ内に一体化された集積回路において実施される。例えばコンピュータ・プログラミング・メモリに含まれる命令群は該集積回路に本処理方法の異なる工程を実行させてもよい。この命令群は、例えばディスクなどのデータ・キャリアを読み取ることによって該プログラミング・メモリ内へロードされてもよい。これら命令群は、更に、例えばインターネットなどの通信網を通じて、サービス・プロバイダによって提供されてもよい。
【００３５】
本発明は、更に、エンコードされたディジタル映像信号（ＥＳ）を提供するために、入力ディジタル映像信号（ＩＳ）をエンコーディングする方法にも関する。
【００３６】
図７は、該エンコーディング方法に対応するブロック図である。この方法は、修正されたディジタル映像信号（ＭＳ）を提供するために入力ディジタル映像信号（ＩＳ）を前処理する工程（ＰＰ）と、動きベクトル（ＭＶ）を提供するために上記修正ディジタル映像信号から動きを推定する工程（ＭＥ）と、エンコードされたディジタル映像信号（ＥＳ）を提供するために上記動きベクトルから上記入力ディジタル映像信号を圧縮する工程（ＤＣ）とを有する。
【００３７】
本発明に係るエンコーディング方法は、上記前処理工程が、ビデオ・フレームに属するピクセルに関連付けられた元の値のヒストグラム（ｈ）を計算するサブ工程（ＨＩＳ）と、該ヒストグラムを分析してヒストグラム・パラメータ（ｈｐ）を提供するサブ工程（ＡＮＡ）と、該ヒストグラム・パラメータに基づいて元のピクセル値を訂正し、動き推定工程用の該修正ディジタル映像信号をもたらす修正されたピクセル値を提供するサブ工程（ＣＯＲ）とを有する。
【００３８】
最後に、本発明は、上記開示された図７及びエンコーディング方法に対応するビデオ・エンコーダにも関する。
【００３９】
「有する（ｔｏ　ｃｏｍｐｒｉｓｅ）」という動詞及びその活用形は、いずれかの請求項において定義されたもの以外の工程若しくは要素の存在を排除しない。要素若しくは工程に先立つ「ａ」若しくは「ａｎ」という語は、そのような要素若しくは工程が複数個存在する場合を排除しない。以下の請求項におけるいかなる参照符号も請求項を限定するものと解釈されるべきではない。
【図面の簡単な説明】
【図１】
本発明に係る処理方法に対応するブロック図である。
【図２ａ】
フラッシュが発生するシーケンスについての輝度ヒストグラムの発展を示す図である。
【図２ｂ】
暗くなるフェードを含むシーケンスについての輝度ヒストグラムの発展を示す図である。
【図３ａ】
本発明に係る方法におけるヒストグラムの変換オペレーションの一例を示す図である。
【図３ｂ】
ヒストグラムが２つの部分に分割された前の例の一特定例である。
【図４】
本発明に係る方法のヒストグラムの幅変化オペレーションの一例を示す図である。
【図５】
本発明に係るヒストグラムの幅変化オペレーションと変換オペレーションとの組み合わせの一例を示す図である。
【図６】
本発明に係る方法における訂正工程及びフィルタリング工程の後のヒストグラムの発展を示す図である。
【図７】
本発明に係るエンコーディング方法に対応するブロック図である。

Claims (7)

1. 動き推定工程用の修正されたディジタル映像信号を提供するために、ビデオ・フレームを有する入力ディジタル映像信号を処理する方法であって、
   ビデオ・フレームに属するピクセルに関連付けられた元の値のヒストグラムを計算する工程と、
   該ヒストグラムを分析してヒストグラム・パラメータを提供する工程と、
   該ヒストグラム・パラメータに基づいて元のピクセル値を訂正し、前記動き推定工程用の前記修正ディジタル映像信号をもたらす修正されたピクセル値を提供する工程とを有することを特徴とする処理方法。
2. 請求項１記載の処理方法であって、
   前記分析工程は、前記ヒストグラムの変換パラメータを計算するサブ工程を有し、
   前記訂正工程は、前記元のピクセル値の合計と前記変換パラメータとから前記修正されたピクセル値を導くことに適合することを特徴とする処理方法。
3. 請求項１記載の処理方法であって、
   前記分析工程は、前記ヒストグラムの幅変化パラメータを計算するサブ工程を有し、
   前記訂正工程は、前記元のピクセル値の合計と前記幅変化パラメータとから前記修正されたピクセル値を導くことに適合することを特徴とする処理方法。
4. 請求項３記載の処理方法であって、
   前記動き推定工程に対して、フィルタリングされた前記修正ディジタル映像信号を提供するために、前記修正ディジタル映像信号をフィルタリングする工程を更に有することを特徴とする処理方法。
5. 入力ディジタル映像信号をエンコーディングする方法であり、
   修正されたディジタル映像信号を提供するために前記入力ディジタル映像信号を前処理する工程と、
   動きベクトルを提供するために前記修正ディジタル映像信号から動きを推定する工程と、
   エンコードされたディジタル映像信号を提供するために前記動きベクトルから前記入力ディジタル映像信号を圧縮する工程と有するエンコーディング方法であって、
   前記前処理工程は、
   ビデオ・フレームに属するピクセルに関連付けられた元の値のヒストグラムを計算するサブ工程と、
   該ヒストグラムを分析してヒストグラム・パラメータを提供するサブ工程と、
   該ヒストグラム・パラメータに基づいて元のピクセル値を訂正し、前記動き推定工程用の該修正ディジタル映像信号をもたらす修正されたピクセル値を提供するサブ工程とを有することを特徴とするエンコーディング方法。
6. 入力ディジタル映像信号を受信し、修正されたディジタル映像信号を供給する前処理装置と、
   前記修正ディジタル映像信号を受信し、動きベクトルを供給する動きを推定器と、
   前記入力ディジタル映像信号を受信し、前記動きベクトルからエンコードされたディジタル映像信号を導くデータ圧縮器と有するビデオ・エンコーダであって、
   前記前処理装置は、
   ビデオ・フレームに属するピクセルに関連付けられた元の値のヒストグラムを計算する手段と、
   該ヒストグラムを分析してヒストグラム・パラメータを提供する手段と、
   該ヒストグラム・パラメータに基づいて元のピクセル値を訂正し、前記動き推定工程用の前記修正ディジタル映像信号をもたらす修正されたピクセル値を提供することに適合した手段とを有することを特徴とするビデオ・エンコーダ。
7. ビデオ・エンコーダ用のコンピュータ・プログラム・プロダクトであって、
   該ビデオ・エンコーダ内にロードされたときに、該ビデオ・エンコーダに請求項１乃至４に記載された処理方法を実行させる命令群を有することを特徴とするコンピュータ・プログラム・プロダクト。