JP2005184766A - ３ｄ櫛形フィルタビデオデコーダ用のモーション検出方法 - Google Patents

Abstract

【課題】モーション検出方法を開示。
【解決手段】サンプリングされたデータＦ_mＰ_x,yが獲得され、複合ビデオ信号のサンプリング後に一時的に記憶され、Ｆ_mＰ_x,yは信号内のｍ番目フレームのｘ番目行でのｙ番目ピクセルのサンプリングデータを表しｍ、ｘ、ｙは０以上の正整数。Ｆ_m+1Ｐ_x,y、Ｆ_mＰ_x,y、Ｆ_m-1Ｐ_x,y、Ｆ_m-2Ｐ_x,yを使って信号の運動／静止状態を判断。Ｙ／Ｃの未分離の信号に従ってモーション検出を実行するのでモーションレベルを正確に判断可能。
【選択図】 図４

Description

本発明はモーション検出の方法に関し、さらに詳細にはＮＴＳＣまたはＰＡＬの３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法に関する。

今日の現代生活においては、外出せずに自宅にいながらにして情報の受け取りを享受することは一般的なことである。１つの例は、自宅にいながらにして見ることができる美しい景色、ニュース、ドラマ、映画、トークショー、及び他の娯楽ショーなどの映像をテレビ局が送信できるテレビ（ＴＶ）システムである。他の例は、監視カメラにより撮影される映像をディスプレイ画面に表示することを介して状況のモニタリングを可能にする地域社会監視システムである。前述されたビデオシステムはさまざまな機能および目的をサポートしているが、ビデオ信号はすべてのケースにおいて送信者から受信者へ送信されるのを必要とされる。

色はＲ、Ｇ、Ｂのトリカラー（三色）から構成されている。したがって、ビデオ映像を送信するために、送信者はＲ、Ｇ、Ｂカラーデータを送出する前に電気信号に変換しなければならない。しかしながら、伝送帯域幅は限られているので、伝送帯域幅の制限を克服するために特殊な方法が使用されてＲ、Ｇ、Ｂカラーデータがルマデータとクロマデータとに変換される。例えば、Ｙ（ルマ）、Ｕ（クロマ）、Ｖ（クロマ）データはＲ、Ｇ、Ｂデータから変換されたルマデータおよびクロマデータの例の１つである。Ｒ、Ｇ、ＢデータとＹ、Ｕ、Ｖデータとの関係は、Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ；Ｕ＝０．４９３（Ｂ−Ｙ）；Ｖ＝０．８７７（Ｒ−Ｙ）である。そこでは、Ｙの方程式におけるＲ、Ｇ、Ｂの重み付けはＲ、Ｇ、Ｂのトリカラーに対する人間の目の知覚レベルを表している。ＵとＶは、ルマがそれから除かれたＢ（青）とＲ（赤）をそれぞれ表している。白色光（つまり、Ｒ＝Ｇ＝Ｂ）に関しては、そのＵとＶはすべて０に等しい（つまり、それが意味していることは、白色光には色収差がないことである）。

信号が送信されるとき、クロマデータは最初にサブキャリヤ上で変調され、次にルマデータと混合されなければならない。例えば、全国テレビジョン方式委員会（ＮＴＳＣ）によって定められたＮＴＳＣ方式では、信号送信前に、Ｙ、Ｕ、ＶデータはＹ＋Ｕ^*ｓｉｎ（ｔ）＋Ｖ^*ｃｏｓ（ｔ）として複合ビデオ信号に変調される。その変調信号は＝２ ^*Ｆｓｃであり、Ｆｓｃはサブキャリヤ信号の周波数である。さらに、ＰＡＬ（Phase Alternating Line）方式はまたヨーロッパＴＶ方式として有効であり、Ｙ、Ｕ、Ｖデータは逆位相ライン単位方法（inverse-phase line-by-line method）で変調される。ＰＡＬ方式がフレームの各行のＹ、Ｕ、Ｖデータを変調するために使用されるとき、Ｙ＋Ｕ^*ｓｉｎ（ｔ）＋Ｖ^*ｃｏｓ（ｔ）またはＹ＋Ｕ^*ｓｉｎ（ｔ）−Ｖ^*ｃｏｓ（ｔ）の変調方法はインタリーブ使用される。言い換えると、Ｙ、Ｕ、Ｖデータが1つの行でＹ＋Ｕ^*ｓｉｎ（ｔ）＋Ｖ^*ｃｏｓ（ｔ）で変調される場合、Ｙ、Ｕ、Ｖデータは次の行でＹ＋Ｕ^*ｓｉｎ（ｔ）−Ｖ^*ｃｏｓ（ｔ）で変調されなければならない。

複合ビデオ信号内のデータは、受信機が複合ビデオ信号を受信した後にサンプリングされる。櫛形フィルタがＦｓｃの４倍の周波数で複合ビデオ信号をサンプリングし、したがってＮＴＳＣの各行には９１０個のサンプルポイントがあるが、ＰＡＬの各行には１１３５個のサンプルポイントがあることは普通である。ＮＴＳＣの各フレームには５２５行あるため、９１０^*５２５＝４７７７５０個のサンプルポイントがある。加えて、ＰＡＬの各フレームには６２５行あるため、合計１１３５^*６２５＋４＝７０９３７９個のサンプルポイントがある。フレーム全体のサンプルポイントは行の倍数ではないため、位相エラーの様々なレベルが、異なるサンプリングのポイントで発生している。

一般的には、ＴＶデコーダ技術の最も困難な部分はＹ／Ｃ分離である。Ｙ／Ｃ分離の影響はＡＶデコーダの復号特性に著しい衝撃を与える。したがって、高画質を必要とする最新の適用環境では、３Ｄ櫛形フィルタは一般的にはＹ／Ｃ分離を実行するために使用される。

３Ｄ櫛形フィルタリングが複合ビデオ信号で実行される前に、複合ビデオ信号は最初に位相角９０度ごとにサンプリングされなければならない。ＮＴＳＣ方式に関しては、サンプル位相がそれぞれ０、０．５π、π、及び１．５πに等しいときに、Ｙ＋Ｖ、Ｙ＋Ｕ、Ｙ−Ｖ、Ｙ−Ｕが獲得される。図１は、ＮＴＳＣシステムのフレームのサンプリング結果（部分的）を示す概略的な図である。図１を参照すると、図中のＹ軸はフレーム内の行の位置ｘを表し、Ｘ軸は行内のピクセルの位置ｙを示す。２つのサンプリングデータがそれぞれそれらの隣接するフレームに属し同じ対応位置上にある場合、それらの間には４７７７５０個（余り２を加えた４の倍数の数）のサンプルポイントがあるため、これらの２つの位置の間の位相差は正確に１８０度である。図中のＹ軸がフレームのシーケンス数ｍとして部分的に変更される（一方、Ｙ軸は時間軸である）場合には、図１は前述された隣接フレームのサンプリング関係を記述するために使用可能である。

ＮＴＳＣ方式と比較されると、ＰＡＬ方式は、１つのフレーム中に７０９３７９個（余り３を加えた４の倍数の数）のサンプルポイントがあるという点で、もう少し複雑である。それらはすべて同じ対応する位置にあるが、過去のフレームでサンプリングされたデータがＹ＋Ｕである場合、次のフレームでサンプリングされるデータはＹ＋Ｖであり、別の次のフレームでサンプリングされるデータはＹ−Ｕである。図２−ａは、サンプル位相がそれぞれ０、０．５π、π、及び１．５πに等しいときＰＡＬシステム内のフレームのサンプリング結果（部分的）を示す概略的な図である。図２−ａを参照すると、図中のＹ軸は、フレーム内の行の位置ｘを表し、Ｘ軸は行内のピクセルの位置ｙを表している（Ｙ軸は連続的なフレームの関係も表している）。しかしながら、このような装置は櫛形フィルタリングを実現するのを困難にするため、サンプル位相を４５度シフトするのが普通である。言い換えると、データは、サンプル位相がそれぞれ０．２５π、０．７５π、１．２５π、及び１．７５πに等しいときにサンプリングされる。図２−ｂは、サンプル位相がそれぞれ０．２５π、０．７５π、１．２５π、及び１．７５πに等しいとき、ＰＡＬシステムでのフレームについてサンプリング結果（部分的）を示す概略的な図である。図２−ｂを参照すると、図中のＹ軸はフレーム中の行の位置ｘを表し、Ｘ軸はその行のピクセルの位置ｙを表している（Ｙ軸は連続フレームの関係性も表している）。そこでは、Ａ＝０．７０７（Ｕ＋Ｖ）、及びＢ＝０．７０７（Ｕ−Ｖ）である。

ＰＡＬ信号の処理中、ＰＡＬフレーム中には１１３５の倍数ではなく、６２５の倍数でもない１１３５^*６２５＋４個のポイントがある。したがって、各行に１１３５個のポイントがあることに基づいてサンプリングが実行されるときにエラーが発生し、エラーが６２５行について蓄積された後にエラーの４ピクセルが形成される。通常、このようなエラーの４ピクセルは６２５行上で均等に分配されるため、各行が４／６２５ピクセルだけシフトされる。したがって、各サンプルポイントの位相は正確に０．２５π、０．７５π、１．２５π、及び１．７５πではなく、代わりに小さな位相角差が存在することは普通である。ＰＡＬシステムの変調方法は、Ｙ＋Ｕ^*ｓｉｎ（ωｔ）＋Ｖ^*ｃｏｓ（ωｔ）またはＹ＋Ｕ^*ｓｉｎ（ωｔ）−Ｖ^*ｃｏｓ（ωｔ）である。ωｔが（０．２５π＋δ）、（０．７５π＋δ）、（１．２５π＋δ）、及び（１．７５π＋δ）（δは位相角差）であると仮定すると、その時に、ｓｉｎ（０．２５π＋δ）＝ｓｉｎ（０．２５π）ｃｏｓ（δ ）＋ｃｏｓ（０．２５π）ｓｉｎ（δ）＝０．７０７（ｃｏｓδ＋ｓｉｎδ）＝０．７０７（１＋ｅ₀）；ｃｏｓ（０．２５π＋δ）＝ｃｏｓ（０．２５π）ｃｏｓ（δ）−ｓｉｎ（０．２５π）ｓｉｎ（δ）＝０．７０７（ｃｏｓδ−ｓｉｎδ）＝０．７０７（１−ｅ₀）であるので、Ｙ＋Ｕ^*ｓｉｎ（ωｔ）＋Ｖ^*ｃｏｓ（ωｔ）＝Ｙ＋０．７０７（Ｕ＋Ｖ＋ｅ₀（Ｕ−Ｖ））＝Ｙ＋Ａ＋ｅ_Bであり、残りの角度は類推によって推論可能である。最後に、図２−ｃに示されるような物理サンプリング値が獲得される。そこでは、位相差ｅ_A＝ｅ₀Ａであり、位相差ｅ_B＝ｅ₀Ｂである。図２−ｃは、サンプル位相がそれぞれ０．２５π＋δ、０．７５π＋δ、１．２５π＋δ、及び１．７５π＋δであるときにＰＡＬシステムでのフレームの物理サンプリング結果（部分的）を示す概略的な図である。図２−ｃを参照すると、図中のＹ軸はフレーム内の行の位置ｘを表し、Ｘ軸は行中のピクセルの位置ｙを表している（Ｙ軸は連続フレームの関係も表している）。

図３−ａは従来の３Ｄ櫛形フィルタの概略的なブロック図である。図３−ａを参照すると、３Ｄ櫛形フィルタは、一般的に、フレーム間Ｙ／Ｃセパレータ３１０と、フィールド内Ｙ／Ｃセパレータ（つまり、いわゆる２Ｄ櫛形フィルタ）３２０と、モーション検出器３３０と、メモリ３４０と、ミクサ３５０とを備えている。複合ビデオ信号３０１はサンプリングされた信号であり、Ｆ_m+1は、複合ビデオ信号３０１が（ｍ＋１）番目のフレームの複合ビデオ信号であることを示している。メモリ３４０は複合ビデオ信号３０１を一時的に記憶し、複合ビデオ信号３０２と複合ビデオ信号３０５とを提供する（Ｆ_mはｍ番目のフレームの複合ビデオ信号を表している）。フィールド内Ｙ／Ｃセパレータ３２０は複合ビデオ信号３０５を受信し、フレームＦ_m内のピクセル間の空間相関関係に従ってＹ／Ｃ分離を実行し、最後に、分離されたビデオ信号３２１を出力する。

一般的には、モーションビデオ信号のＹ／Ｃ分離は、フィールド内Ｙ／Ｃセパレータ３２０により実行される。しかしながら、フィールド内Ｙ／Ｃセパレータは、静止ビデオ信号の処理時にエッジブラー（edge blur）が生成されるという点で不利である。画質を改善するために、静止ビデオ信号は一般的にはフレーム間Ｙ／Ｃセパレータ３１０によって処理される。従来のフレーム間Ｙ／Ｃセパレータ３１０は、フレームＦ_m+1とフレームＦ_mとの複合ビデオ信号を同時に受信し、分離されたビデオ信号３１１を出力できるように、連続するフレームＦ_m-1とフレームＦ_mとにそれぞれ対応するピクセル間の時間相関関係に従ってＹ／Ｃ分離を実行する。モーション検出器３３０には、複合ビデオ信号３０１がモーションビデオ信号かまたは静止ビデオ信号かを判断する責任がある。従来のモーション検出器３３０は、最初に、複合ビデオ信号３０１と（分離されたビデオ信号３２１によって提供される）ルマデータ３２１ａとを受信し、次に、そのルマデータ３２１ａと複合ビデオ信号３０１とを使用して２つのフレームについてルマ差とクロマ差とを計算し、それから、ルマ差とクロマ差とに従ってピクセルの運動状態／静止状態を判断し、最後に、選択信号３３１を出力する。ミクサ３５０は、分離されたビデオ信号３２１または分離されたビデオ信号３１１を選択し、または、選択信号３１１に従って所定の割合でそれらを混合し、分離されたビデオ信号３５１を出力する。

モーション検出器３３０は３Ｄ櫛形フィルタの重要な構成要素である。運動状態が静止状態として誤って判断されると、明らかなエラー映像がそれに従って形成される。そのような場合の大部分が運動状態として判断されるようにそれが余りにも慎重過ぎると、３Ｄ効果は大幅に影響を受ける。従来技術のモーション検出方法は、過去のフレームと現在のフレームとのそれぞれのＹ／Ｃ（ルマ／クロマ）値を計算し、これら２つの値の差を比較する。図３−ｂは従来の３Ｄ櫛形フィルタのモーション検出器の概略的なブロック図である。図３−ｂを参照すると、ＮＴＳＣ方式に関しては、複合ビデオ信号３０１が低域フィルタ（ＬＰＦ）３６０を通過した後に近似ルマデータ３３２が獲得され、近似ルマデータ３３２がフレームバッファ３９１によってフレーム時間分だけ遅延された後に過去のフレームのルマデータ３３３が獲得される。次に、現在のフレームのルマデータ３３２が、ルマ差３３４を獲得できるように、過去のフレームのルマデータ３３３と比較される。加えて、複合ビデオ信号３０１が帯域フィルタ（ＢＰＦ）３７０を通過し（フィールド内Ｙ／Ｃセパレータ３２０によって計算される分離されたビデオ信号３２１から提供される）ルマデータ３２１ａから減算された後に、クロマデータ３３６は獲得される。次に、クロマデータ３３６がフレームバッファ３９２，３９３により２つのフレーム時間分だけ遅延された後に、過去の２つのフレームのクロマデータ３３８は獲得される。現在のフレームのクロマデータ３３６が過去の２つのフレームのクロマデータ３３８から減算された後に、クロマ差３３９は獲得される。検出回路３８０は、ルマ差３３４とクロマ差３３９との間でより大きい数を選択することによりモーションファクタを計算する。

ＰＡＬ方式に関しては、従来技術のモーション検出方法は、フレームバッファ３９２，３９３が４つのフレーム時間分だけクロマデータ３３６を遅延させるという点を除いて、ＮＴＳＣ方式の方法と類似しており、そのために、他の類似する要素の詳細な説明はここでは省略される。

複合ビデオ信号３０１の運動状態／静止状態を判断する際に、モーションファクタを所定のしきい値と比較するのは普通である。モーションファクタが明らかにしきい値より大きい場合、それは運動状態にあると判断され、一方、検出回路３８０はフィールド内Ｙ／Ｃセパレータ３２０を選択するために選択信号３３１を出力する。モーションファクタが明らかにしきい値より小さい場合、それは静止状態にあると判断され、一方、検出回路３８０は、画質の改善のためにフレーム間Ｙ／Ｃセパレータ３１０を選択するように選択信号３３１を出力する。モーションファクタがしきい値に近い場合、それが運動状態かまたは静止状態かをおおまかに判断することは困難である。したがって、フィールド内Ｙ／Ｃセパレータ３２０とフレーム間Ｙ／Ｃセパレータ３１０との計算からそれぞれ獲得されるＹ／Ｃデータを、この種の曖昧な場合を処理するのに適切な割合で混合することは普通である。したがって、モーションファクタの計算方法が１つに集まらないことが明らかになるほど、曖昧な範囲が大きくなり、３Ｄ櫛形フィルタの利点が少なくなる。

従来技術のモーション検出方法では、Ｙ／Ｃデータは最初にフィールド内Ｙ／Ｃ分離方法を使用して計算され、それを過去のフレームのＹ／Ｃデータと比較し、次に、比較結果に従って出力される最終のＹ／Ｃデータを決定する。したがって、鶏が先か卵が先かの問題が発生する。フィールド内Ｙ／Ｃ分離が始めの段階で正確にＹ／Ｃデータを分離できる場合、フレーム間Ｙ／Ｃ分離は必要とされず、モーションファクタを計算する必要はない。しかしながら、始めの段階で計算されたＹ／Ｃデータが正しくない場合、間違ったＹ／Ｃデータに基づいて計算されるモーションファクタも正しくない。したがって、その正確さは、間違ったモーションファクタに基づいて最終のＹ／Ｃデータが判断される場合に大きく影響を受ける。

それ故に、本発明は、元の（Ｙ／Ｃがまだ分離されていない）複合ビデオ信号に基づく３Ｄ櫛形ビデオデコーダ用のモーション検出方法を提供するものである。

その方法は次の工程を備える。最初に、複数のサンプリングされたデータＦ_mＰ_x,yが獲得され、複合ビデオ信号がサンプリングされた後に一時的に記憶され、Ｆ_mＰ_x,yは複合ビデオ信号の内部のｍ番目のフレームのｘ番目の行でのｙ番目のピクセルのサンプリングされたデータを表し、ｍ、ｘ、ｙは０またはそれより大きな正の整数である。次に、複合ビデオ信号の運動状態／静止状態を判断するに、Ｆ_m+1Ｐ_x,y、Ｆ_mＰ_x,y、Ｆ_m-1Ｐ_x,y、及びＦ_m-2Ｐ_x,yが使用される。

本発明の態様によれば、前述された複合ビデオ信号の運動状態／静止状態を判断する工程はさらに次の工程を備える。最初に、複数の最大差ＭＤ_x,yを計算して獲得するためにＦ_m+1Ｐ_x,y、Ｆ_mＰ_x,y、Ｆ_m-1Ｐ_x,y、及びＦ_m-2Ｐ_x,yが使用され、ＭＤ_x,yはｘ番目の行でのy番目のピクセルの最大差を表す。その次に、複数のモーションファクタＭＦ_x,yを獲得できるように無作為に選択された連続的なピクセルの４つの最大差を平均することにより平均が獲得され、ＭＦ_x,yはx番目の行でのｙ番目のピクセルのモーションファクタを表す。最終的には、ＭＦ_x,yは、複合ビデオ信号内におけるｘ番目の行でのｙ番目のピクセルの運動状態／静止状態を判断するために検出される。

本発明の態様によれば、複合ビデオ信号がＮＴＳＣシステム用の信号であると判断されると、複合ビデオ信号をサンプリングする工程は、信号をサンプリングするために複合ビデオ信号のサブキャリヤ周波数の４倍である周波数を使用し、サブキャリヤ位相が０、０．５π、π、及び１．５πに等しいときに信号は、サンプリングされる。一方、ＭＤ_x,yは、方程式ＭＤ_x,y＝Ｍａｘ｛｜Ｆ_mＰ_x,y−Ｆ_m-2Ｐ_x,y｜、｜Ｆ_m+1Ｐ_x,y−Ｆ_m-1Ｐ_x,y｜｝に基づいて計算される。

本発明の態様によれば、複合ビデオ信号がＰＡＬシステム用の信号であると判断されると、複合ビデオ信号をサンプリングする工程は、信号をサンプリングするために複合ビデオ信号のサブキャリヤ周波数の４倍である周波数を使用し、サブキャリヤ位相が０．２５π、０．７５π、１．２５π、及び１．７５πに等しいときに信号は、サンプリングされる。一方、ＭＤ_x,yを計算して獲得する工程は次の工程を備える。最初に、複数のルマ差ＬＤ_x、_yが計算されて獲得され、ＬＤ_x、_yはｘ番目の行でのｙ番目のピクセルのルマ差を表し、それは方程式ＬＤ_x,y＝｜Ｆ_mＰ_x,y＋Ｆ_m-2Ｐ_x,y−Ｆ_m+1Ｐ_x,y−Ｆ_m-1Ｐ_x,y｜に基づいて計算される。それから、複数の中間差ＩＭＤ_x、_yが計算されて獲得され、ＩＭＤ_x、_yはｘ番目の行でのｙ番目のピクセルの中間差を表し、それは、方程式ＩＭＤ_i,2j-1＝Ｍａｘ｛｜Ｆ_m+1Ｐ_i,2j-1−Ｆ_m-2Ｐ_i,2j-1｜，｜Ｆ_mＰ_i,2j-1−Ｆ_m-1Ｐ_i,2j-1｜｝；ＩＭＤ_i、_2j＝Ｍａｘ｛｜Ｆ_m+1Ｐ_i,2j−Ｆ_mＰ_i,2j｜，｜Ｆ_m-1Ｐ_i,2j−Ｆ_m-2Ｐ_i,2j｜｝に基づいて計算される。その後、ＭＤ_x、_yが計算されて獲得され、それは方程式ＭＤ_x、_y＝ａ^*ＩＭＤ_x、_y＋（１−ａ）^*ＬＤ_x、_y に基づいて計算され、ａは０より大きくかつ１より小さい実数であり、ｉ，ｊは正の整数である。

本発明の態様によれば、ＭＦ_xyを獲得する工程は以下の工程を備える。最初に、最大差ＡＭＤ_x、_hの複数の平均を獲得できるように、無作為に選択された連続的なピクセルの４つの（ＭＦ_x、_yを備える）最大差を平均することにより平均は獲得され、ＡＭＤ_x、_hはｘ番目の行でのｈ番目のピクセルの最大差の平均を表し、ｈは正の整数である。ＡＭＤ_x、_hは、方程式：ＡＭＤ_x、_h＝（ＭＤ_x、_h＋ＭＤ_x、_h+1＋ＭＤ_x、_h+2＋ＭＤ_x、_h+3）／４に基づいて計算される。次に、モーションファクタＭＦ_x、_yとして最大差の平均から最小が選択され、ＭＦ_x、_yはｘ番目の行でのｙ番目のピクセルのモーションファクタを表す。ＭＦ_x、_yは、ＭＦ_x、_y＝Ｍｉｎ（ＡＭＤ_x,y ，ＡＭＤ_x,y-3、ＡＭＤ_x,y-6、ＡＭＤ_x,y+3）またはＭＦ_x、_y＝Ｍｉｎ（ＡＭＤ_x,y ，ＡＭＤ_x,y-3）または本発明の趣旨に適合する他の方程式などの方程式によって表現される。

本発明の態様によれば、複合ビデオ信号におけるｘ番目の行でのｙ番目のピクセルの運動状態／静止状態を判断するためにＭＦ_x,yを検出する工程はさらに以下の工程を備える。最初に、しきい値が提供される。次に、ＭＦ_x,yがしきい値と比較される。ＭＦ_x,yがしきい値より大きい場合には複合ビデオ信号におけるｘ番目の行でのｙ番目のピクセルが運動状態であると判断され、それ以外の場合には静止状態であると判断される。そこでは、モーションファクタＭＦ_x,yはｍ番目のモーションファクタである。

本発明は、Ｙ／Ｃがまだ分離されていない複合ビデオ信号に基づいてモーション検出を直接的に実行するので、モーションレベルを正確に決定し、３Ｄ櫛形フィルタビデオデコーダの利点をその最大程度まで示すことができる。

添付図面は、本発明のさらなる理解を提供するために伴われ，本明細書の一部に組み込まれ、その一部を構成する。図面は、本発明の実施の形態を示し、その記述とともに本発明の原理を説明する役割を果たすものである。

図４は、本発明の一実施の形態に係る３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法を示すフローチャートである。３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法は図１、図２及び図４に関して説明される。ステップＳ４０１では、複合ビデオ信号がサンプリングされた後に、サンプリングされたデータＦ_mＰ_x,yが獲得され、Ｆ_mＰ_x,yは複合ビデオ信号におけるｍ番目のフレームのｘ番目の行上のｙ番目のピクセルでのサンプリングされたデータを表し、ｍ、ｘ、ｙは０またはそれより大きな正の整数である。本実施の形態においては、ステップＳ４０１でそれがＮＴＳＣシステム下で運用される場合、信号をサンプリングするために複合ビデオ信号のサブキャリヤ周波数の４倍である周波数が使用され、その信号は，サブキャリヤ位相が０、０．５π、π、及び１．５πに等しいときにサンプリングされる。それがＰＡＬシステム下で運用される場合には、ステップＳ４０１で、複合ビデオ信号内のサブキャリヤ周波数の４倍である周波数が信号をサンプリングするために使用され、その信号は、サブキャリヤ位相が０．２５π、０．７５π、１．２５π、及び１．７５πに等しいときにサンプリングされる。

ステップＳ４０２では、ＮＴＳＣシステムまたはＰＡＬシステムが選択される。ＮＴＳＣシステムが選択されると、工程はステップＳ４０３に進み、選択されない場合には工程はステップＳ４０４に進む。

ステップＳ４０３では、最大差ＭＤ_x、_yが計算され（ＭＤ_x、_yはｘ番目の行でのｙ番目のピクセルの最大差を表す）、それは次の方程式ＭＤ_x、_y＝Ｍａｘ｛｜Ｆ_mＰ_x,y−Ｆ_m-2Ｐ_x,y｜，｜Ｆ_m+1Ｐ_x,y−Ｆ_m-1Ｐ_x,y｜｝に基づいて計算される。本実施の形態では、ＭＤ_x、_yはｍ番目のフレームの最大差である。図１のＮＴＳＣシステムがここで説明のために例示される（図ではＹ軸がフレームを表し、Ｘ軸がピクセルを表す）。図中、ｍ番目のフレームと（ｍ−２）番目のフレームとのｙ番目のピクセルの両方の値はＹ＋Ｕであり、（ｍ−１）番目のフレームと（ｍ＋１）番目のフレームとのｙ番目のピクセルの両方の値はＹ−Ｕである。さらに、絶対値は、Ｙ＋ＵからＹ＋Ｕを減算した結果の絶対値を取ることにより獲得され、他の絶対値は、Ｙ−ＵからＹ−Ｕを減算した結果の絶対値を取ることにより獲得され、最終的に、ＭＤ_x、_yはこれら２つの絶対値より大きい数を選択することにより獲得される。

さらに、（Ｙ軸がフレームを表し、Ｘ軸がピクセルを表す）図２−ｃのＰＡＬシステムがここで説明のために例示される。いくつかのピクセルが、（ｍ＋１、ｍ）番目のフレームと（ｍ−１、ｍ−２）番目のフレームとを比較するために使用され、いくつかのピクセルは、（ｍ、ｍ−１）番目のフレームと（ｍ＋１、ｍ−２）番目のフレームとを比較するために使用される。考え方は同じ属性を持つピクセルを比較することである。そこでは、差が小さいほど、ピクセルはより静止しており、比較後の差は中間差ＩＭＤ_x、_yである（ステップＳ４０５）。しかしながら、位相差が存在するので、それが静止映像のときでも、ＩＭＤ_x、_yが０に近づく（つまり、位相差の２倍を獲得する）結果を獲得することは非常に困難である。したがって、ＰＡＬ信号はなんらかの特殊なプロセスを必要とする。図２−ｃでは、ｍ番目のフレームと（ｍ−２）番目のフレームとの総和は、２倍のルマを獲得できるようにクロマと位相差とを全体的に排除するために使用される値であり、（ｍ＋１）番目のフレームと（ｍ−１）番目のフレームとの総和と同じである。ルマ差ＬＤ_x、_yは、一方のルマ値を他方のルマ値から減算した値の絶対値を取ることにより獲得される（ステップＳ４０４）。位相差を正確に排除するためにルマ差が計算されるので、入力信号が実際の静止信号である場合、ルマ差は０に近づくべきである。したがって、ＰＡＬのＭＤ_x、_yを計算する際に、ＩＭＤ_x、_yとＬＤ_x、_yとは、最終的なＭＤ_x、_yを獲得できるように適切な割合で混合されなければならない（ステップＳ４０６）。

しかしながら、各サンプルポイントの属性は同じではないため、各ピクセルの最大差ＭＤ_x、_yをモーションファクタとして使用することだけでは適切ではない。例えば、（ｍ＋１）番目のフレームの各ピクセルが赤であり、他のすべてのフレームにおける各ピクセルが白である場合、白色のルマＹは赤色のルマＹよりはるかに高く、赤色のクロマＶは白色のクロマＶよりはるかに高く、そして、両方の色のクロマＵさえも小さな差を有し、その差は小さい。したがって、白色のＹ＋Ｖが赤色のＹ＋Ｖと比較されると、その差は小さい。しかしながら、白色のＹ−Ｖが赤色のＹ−Ｖと比較されると、その差は非常に大きい。Ｙ＋ＵをＹ−Ｕと比較すると、さまざまな差が獲得される。言い換えれば、色Ａが同じ方法で色Ｂと比較される時でさえも、比較されている項目が同じでない場合には、様々な差が獲得される。各ピクセルのモーションファクタが各ピクセル自体によって決定される場合、モーションファクタは正弦波を示す。したがって、（ＮＴＳＣとＰＡＬとの両方で）最終的なモーションファクタを判断するために４つのピクセルを１つのグループとして使用することが必要とされる。

したがって、各ピクセルの最大差ＭＤ_x、_yが計算された後、平均は、選択された連続ピクセルの（ターゲットピクセルの最大差を備える）４つの最大差を平均化することにより獲得され、モーションファクタは、最大差の平均から最小を選択することにより獲得される。それは、次の方程式として表現される。すなわち、ＡＭＤ_x、_h＝（ＭＤ_x、_h＋ＭＤ_x、_h+1＋ＭＤ_x、_h+2＋ＭＤ_x、_h+3）／４；ＭＦ_x、_y＝Ｍｉｎ（ＡＭＤ_x、_y、ＡＭＤ_x、_y-1、ＡＭＤ_x、_y-2、ＡＭＤ_x、_y-3）である。ここに、ＡＭＤ_x、_hはｘ番目の行でのｈ番目のピクセルの最大差の平均を表し、ＭＦ_x、_yはｘ番目の行でのｙ番目のピクセルのモーションファクタを表す。この実施の形態では、最大差ＡＭＤＬ_x、_yの左側の平均（つまりＡＭＤ_x、_y-3）と最大差ＡＭＤＲ_x、_yの右側の平均（つまりＡＭＤ_x、_y）とが説明のための例として使用される。ＡＭＤＬ_x、_y（ステップＳ４０７）とＡＭＤＲ_x、_y（ステップＳ４０８）とがそれぞれ計算される。それから、ＡＭＤＬ_x、_yとＡＭＤＲ_x、_yとの最小がモーションファクタとして選択される（ステップＳ４０９）。それは次の方程式として表現される。すなわち、ＭＦ_x,y＝Ｍｉｎ（ＡＭＤＬ_x、_y，ＡＭＤＲ_x、_y）である。最小を選択する理由は、（ｘ番目の行でのｙ番目のピクセルを表す）ピクセルＰ_x,yがモーション対象および静止対象のエッジに位置し、ピクセルＰ_x,yのモーションファクタもその７つの隣接するピクセルにより影響を及ぼされる。ピクセルＰ_x,yが静止対象に属する場合、隣接するピクセルにより影響を及ぼされ、誤って運動状態として判断されることは確かに期待されない。したがって、正しい方法は、最大差の平均のそれぞれから最小を選択することである。

複合ビデオ信号の運動状態／静止状態を判断する前に、最初にしきい値が提供されなければならない（ステップＳ４１０）。次に、モーションファクタが所定のしきい値と比較される（ステップＳ４１１）。モーションファクタが明らかにしきい値より大きい場合、ピクセルが運動状態であると判断される（ステップＳ４１２）。モーションファクタが明らかにしきい値より小さい場合、ピクセルが静止状態であると判断される（ステップＳ４１３）。

要約すれば、本発明の実施の形態に係るシステムブロック図は、本発明の応用を説明するためにここに例示されている。図５は、本発明の実施の形態に係る３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法を示すアプリケーションシステムのブロック図である。図５を参照すると、本発明の３Ｄ櫛形フィルタの応用例は、フレーム間Ｙ／Ｃセパレータ５１０と、フィールド内Ｙ／Ｃセパレータ（つまり、いわゆる２Ｄ櫛形フィルタ）と、モーション検出器５３０と、メモリ５４０と、ミクサ５５０とを備える。そこでは、モーション検出器５３０は本発明の機能を実行する。複合ビデオ信号５０１は、サンプリングされた複合ビデオ信号であり、Ｆ_m+1は、複合ビデオ信号５０１が（ｍ＋１）番目のフレームの複合ビデオ信号であることを示している。メモリ５４０は、一時的に複合ビデオ信号５０１を記憶し、（ｍ番目のフレームＦ_mの）複合ビデオ信号５０２と、（（ｍ−１）番目のフレームＦ_m-1の）複合ビデオ信号５０３と、（（ｍ−２）番目のフレームＦ_m-2の）複合ビデオ信号５０４とを提供する。メモリ５４０は、さらに（ｍ番目のフレームＦ_mの）複合ビデオ信号５０５を提供する。フィールド内Ｙ／Ｃセパレータ５２０は、複合ビデオ信号５０５を受信し、フレームＦ_mのピクセル間の空間相関関係に従ってＹ／Ｃ分離を実行し、最終的には分離されたビデオ信号５２１を出力する。

モーションビデオ信号のＹ／Ｃ分離はフィールド内Ｙ／Ｃセパレータ５２０により実行される。画質を改善するために、静止ビデオ信号はフレーム間Ｙ／Ｃセパレータ５１０により処理される。フレーム間Ｙ／Ｃセパレータ５１０は、同時に複合ビデオ信号のフレームＦ_m+1、Ｆ_m、Ｆ_m-1、及びＦ_m-2のサンプリングされたデータを受信し、分離されたビデオ信号５１１を出力できるように、連続フレームに対応するそれぞれのピクセル間の時間相関関係に従ってＹ／Ｃ分離を実行する。モーション検出器５３０には、複合ビデオ信号５０１がモーションビデオ信号かまたは静止ビデオ信号かを判断する責任がある。モーション検出器５３０は、複合ビデオ信号のフレームＦ_m+1、Ｆ_m、Ｆ_m-1、及びＦ_m-2のサンプリングされたデータを受信し、それらを使用してピクセルが運動状態かまたは静止状態かを判断し、選択信号５３１を出力する。その判断方法は前述したので、ここでは省略される。ミクサ５５０は、分離されたビデオ信号５２１または分離されたビデオ信号５１１を選択し、または、選択信号５３１に従ってそれらを所定の割合で混合し、分離されたビデオ信号５５１を出力する。

本発明は特定な実施の形態に関して説明されたが、本発明の趣旨から逸脱せずに、上述された実施の形態に対する変形がなされることは当業者には明らかである。したがって、本発明の特許請求の範囲は、前述の詳細な説明によってではなく、添付された請求項により規定されるものである。

ＮＴＳＣシステム内のフレームのサンプリング結果（部分的）を示す概略的な図である。 サンプル位相がそれぞれ０、０．５π、π、及び１．５πであるときにＰＡＬシステム内のフレームのサンプリング結果（部分的）を示す概略的な図である。 サンプル位相がそれぞれ０．２５π、０．７５π、１．２５π、及び１．７５πに等しいときにＰＡＬシステム内のフレームのサンプリング結果（部分的）を示す概略的な図である。 サンプル位相がそれぞれ０．２５π＋δ、０．７５π＋δ、１．２５π＋δ、及び１．７５π＋δに等しいときにＰＡＬシステム内のフレームの物理的なサンプリング結果（部分的）を示す概略的な図である。 従来の３Ｄ櫛形フィルタを示す概略的なブロック図である。 従来の３Ｄ櫛形フィルタのモーション検出を示す概略的なブロック図である。 本発明の一実施の形態に係る３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法を示すフローチャートである。 本発明の一実施の形態に係る３Ｄ櫛形フィルタ用のモーション検出方法を示すアプリケーションシステムのブロック図である。

符号の説明

５０１ 複合ビデオ信号
５０２ フレームＦ_mの複合ビデオ信号
５０３ フレームＦ_m-1の複合ビデオ信号
５０４ フレームＦ_m-2の複合ビデオ信号
５０５ フレームＦ_mの複合ビデオ信号
５１０ フレーム間Ｙ／Ｃセパレータ
５１１ 分離されたビデオ信号
５２０ フィールド内Ｙ／Ｃセパレータ
５２１ 分離されたビデオ信号
５３０ モーション検出器
５３１ 選択信号
５４０ メモリ
５５０ ミクサ
５５１ 分離されたビデオ信号

Claims (11)

1. ３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法であって、
   複数の一時的に記憶されるサンプリングされたデータＦ_mＰ_x,yを獲得するために複合ビデオ信号をサンプリングし、前記Ｆ_mＰ_x,yが前記複合ビデオ信号内のｍ番目のフレームにおけるｘ番目の行でのｙ番目のピクセルのサンプリングされたデータを表し、ｍ、ｘ、ｙが０またはそれより大きい正の整数であり、
   前記複合ビデオ信号の運動状態／静止状態を判断するためにＦ_m+1Ｐ_x,y、Ｆ_mＰ_x,y、Ｆ_m-1Ｐ_x,y、及びＦ_m-2Ｐ_x,yを使用することを特徴とする３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法。
2. 請求項１記載の３Ｄ櫛形フィルタビデオデコーダのためのモーション検出方法において、
   前記複合ビデオ信号の運動状態／静止状態を判断する工程がさらに、
   Ｆ_m+1Ｐ_x,y、Ｆ_mＰ_x,y、Ｆ_m-1Ｐ_x,y、及びＦ_m-2Ｐ_x,yを使用して複数の最大差ＭＤ_x、_yを計算し獲得し、前記ＭＤ_x、_yがｘ番目の行でのｙ番目のピクセルの最大差を表し、
   モーションファクタＭＦ_x、_yを獲得するために選択される連続的なピクセルの４つの最大差を平均し、前記ＭＦ_x、_yがｘ番目の行でのｙ番目のピクセルのモーションファクタを表し、
   前記複合ビデオ信号におけるｘ番目の行でのｙ番目のピクセルの運動状態／静止状態を判断するためにＭＦ_x、_yを検出することを特徴とする３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法。
3. 請求項２記載の３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法において、
   前記複合ビデオ信号がＮＴＳＣシステム用の信号であると判断されるときに、前記複合ビデオ信号をサンプリングする工程が、信号をサンプリングするために前記複合ビデオ信号のサブキャリヤ周波数の４倍である周波数を使用し、サブキャリヤ位相が０、０．５π、π、及び１．５πに等しいときに信号がサンプリングされることを特徴とする３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法。
4. 請求項３記載のＤ櫛形フィルタビデオデコーダ用のモーション検出方法において、
   前記ＭＤ_x、_yが、方程式ＭＤ_x、_y＝Ｍａｘ｛｜Ｆ_mＰ_x,y−Ｆ_m-2Ｐ_x,y｜，｜Ｆ_m+1Ｐ_x,y−Ｆ_m-1Ｐ_x,y｜｝に基づいて計算されることを特徴とする３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法。
5. 請求項２記載の３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法において、
   前記複合ビデオ信号がＰＡＬシステム用の信号であると判断されるときに、前記複合ビデオ信号をサンプリングする工程が、信号をサンプリングするために前記複合ビデオ信号のサブキャリヤ周波数の４倍である周波数を使用し、サブキャリヤ位相が０．２５π、０．７５π、１．２５π、及び１．７５πに等しいときに信号がサンプリングされることを特徴とする３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法。
6. 請求項５記載の３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法において、
   前記ＭＤ_x、_yを計算して獲得する工程がさらに、
   複数のルマ差ＬＤ_x、_yを計算して獲得し、前記ＬＤ_x、_yがｘ番目の行でのｙ番目のピクセルのルマ差を表し、方程式ＬＤ_x、_y＝｜Ｆ_mＰ_x,y＋Ｆ_m-2Ｐ_x,y−Ｆ_m+1Ｐ_x,y−Ｆ_m-1Ｐ_x,y｜に基づいて計算され、
   複数の中間差ＩＭＤ_x、_yを計算して獲得し、前記ＩＭＤ_x、_yがｘ番目の行でのｙ番目のピクセルの中間差を表し、方程式ＩＭＤ_i,2j-1＝Ｍａｘ｛｜Ｆ_m+1Ｐ_i,2j-1−Ｆ_m-2Ｐ_i,2j-1｜，｜Ｆ_mＰ_i,2j-1−Ｆ_m-1Ｐ_i,2j-1｜｝；ＩＭＤ_i、_2j＝Ｍａｘ｛｜Ｆ_m+1Ｐ_i,2j−Ｆ_mＰ_i,2j｜，｜Ｆ_m-1Ｐ_i,2j−Ｆ_m-2Ｐ_i,2j｜｝に基づいて計算され、
   方程式：ＭＤ_x、_y＝ａ^*ＩＭＤ_x、_y＋（１−ａ）^*ＬＤ_x、_yに基づいて計算されるＭＤ_x、_yを計算して獲得し、ａは０より大きくかつ１より小さい実数であり、ｉ、ｊは正の整数であることを特徴とする３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法。
7. 請求項２記載の３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法において、
   前記ＭＦ_x、_yを獲得する工程がさらに、
   複数の最大差ＡＭＤ_x、_hを獲得するために選択される連続的なピクセルの４つの最大差を平均し、前記ＡＭＤ_x、_hがｘ番目の行でのｈ番目のピクセルの最大差の平均を表し、ｈは正の整数であり、前記ＡＭＤ_x、_hが方程式ＡＭＤ_x、_h＝（ＭＤ_x、_h＋ＭＤ_x、_h+1＋ＭＤ_x、_h+2＋ＭＤ_x、_h*+3）／４に基づいて計算され、
   モーションファクタＭＦ_x、_yを獲得するために最大差の平均から最小を選択し、前記ＭＦ_x、_yがｘ番目の行でのｙ番目のピクセルのモーションファクタを表すことを特徴とする３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法。
8. 請求項７記載の３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法において、
   前記ＭＦ_x、_yを獲得するために最大差の平均から最小を選択する工程が、方程式：ＭＦ_x、_y＝Ｍｉｎ（ＡＭＤ_x,y 、ＡＭＤ_x,y-1、ＡＭＤ_x,y-2、ＡＭＤ_x,y-3）に基づいていることを特徴とする３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法。
9. 請求項７記載の３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法において、
   前記ＭＦ_x、_yを獲得するために最大差の平均から最小を選択する工程が、方程式：ＭＦ_x、_y＝Ｍｉｎ（ＡＭＤ_x,y ，ＡＭＤ_x,y-3）に基づいていることを特徴とする３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法。
10. 請求項２記載の３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法において、
    前記複合ビデオ信号のｘ番目の行でのｙ番目のピクセルの運動状態／静止状態を判断するために前記ＭＦ_x、_yを検出する工程がさらに、
    しきい値を提供し、
    前記ＭＦ_x、_yを前記しきい値と比較し、前記ＭＦ_x、_yが前記しきい値より大きい場合には前記複合ビデオ信号におけるｘ番目の行でのｙ番目のピクセルが運動状態であり、それ以外の場合には前記複合ビデオ信号におけるｘ番目の行でのｙ番目のピクセルが静止状態であると判断されることを特徴とする３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法。
11. 請求項１０記載の３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法において、
    前記モーションファクタＭＦ_x、_yがｍ番目のフレームのモーションファクタであることを特徴とする３Ｄ櫛形フィルタビデオデコーダ用のモーション検出方法。

Images