JP2000125303A - 運動推定フェ―ズにおける３：２プルダウンの検知及び最適化したビデオ圧縮エンコ―ダ - Google Patents

Abstract

(57)【要約】 【課題】 データから時間的冗長性を除去するために連
続するイメージの間における運動推定に基づいてピクチ
ャのシーケンスのエンコーディングデータを圧縮する技
術を提供する。 【解決手段】 本発明によれば、ある順番におけるある
ピクチャの繰返しによりフォトグラムの数より大きな数
のＴＶフレームのシーケンスにおいて撮影したシーケン
スの一連のフォトグラムの３：２プルダウン変換を認識
し、且つこのようなピクチャの繰返しに起因する冗長性
を除去する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル化したピ
クチャの送信に関するものであって、更に詳細には、例
えばＭＰＥＧ２ビデオエンコーダにおいて実現されてい
るような運動推定アルゴリズムに基づくピクチャの圧縮
技術に関するものである。

【０００２】

【従来の技術】世界の異なるＴＶスタンダードはピクチ
ャ寸法において互いに異なっており且つピクチャが送信
される態様（フレームレート、帯域、等）において異な
っている。通常、動画は２４フォトグラム／秒でカメラ
によって記録される。２５ピクチャ／秒の速度を必要と
するＰＡＬ又はＳＥＣＡＭシステムで送信するために
は、フィルムが僅かに加速され、その結果僅かな音及び
運動の歪みが発生するが、それは、実際的には知覚され
ないものである。

【０００３】然しながら、フィルムをＮＴＳＣ ＴＶス
タンダードで送信せねばならない場合には、それは３０
ピクチャ／秒のフレーム速度を必要とするものであり、
そのような加速はＴＶ視聴者によって明らかに知覚され
るような歪みを発生させる場合がある。この場合には、
所謂「３：２プルダウン（ｐｕｌｌｄｏｗｎ）」技術を
実施することが必要であり、その技術は２４フォトグラ
ム／秒で記録されたフィルムを３０ピクチャ／秒のＴＶ
シーケンスへ変換する。

【０００４】図１に示したように、モーションピクチャ
即ち動画は一般的にフォトグラム毎に記録され、即ち、
各ピクチャはある時刻において全体として採取される。
対照的に、テレビのピクチャは２つの別個の時刻におい
て採取され、即ち、最初に、ピクチャの偶数セミフィー
ルド（「上部（Ｔｏｐ）フィールド」）を構成する偶数
ラインと、２番目に、奇数セミフィールド（「下部（Ｂ
ｏｔｔｏｍ）フィールド」）を構成する奇数ラインとで
ある。これら２つのセミフィールドの「和」がビデオ
「フレーム」とも呼称される全体的なピクチャを構成す
る。１番目のセミフィールドと２番目のセミフィールド
との採取の間にある時間が経過するという事実に鑑み、
ビデオカメラによってフォーカスされたオブジェクトの
間で相対的な運動が存在する場合があり且つ２つのフィ
ールドにおいて１つのオブジェクトは僅かに異なる位置
を取る場合がある。

【０００５】１個のフォトグラムであっても２つのフィ
ールドに分解することが可能であり、即ち所謂上部フィ
ールドを形成する偶数ラインと所謂下部フィールドを形
成する奇数ラインとであるが、単一の時刻に採取された
ピクチャであり、フォーカスされたオブジェクトは両方
のフィールドにおいて同一の位置を占有する。

【０００６】２４フォトグラム／秒から３０フォトグラ
ム／秒への３：２プルダウン変換方法は、図２に示した
手法に従って幾つかのフィールドの繰返し即ち複製によ
って、フィルムの４個のフォトグラムからなるシーケン
スを５個のＴＶフレームからなるシーケンスへ変換する
ことを包含している。図２において、Ｔｏｐｉ及びＢｏ
ｔｉはフォトグラムｉの上部（Ｔｏｐ）フィールド（偶
数ライン）及び下部（Ｂｏｔｔｏｍ）フィールド（奇数
ライン）を夫々表わしており、尚ｉ＝１，２，３，４で
ある。このフィールドの繰返しはアーチファクト即ち人
工的な効果を発生するが、それはＴＶ視聴者に影響を与
えるようなものではない。何故ならば、フレームは３３
ｍｓのインターバル即ち間隔で繰返されるからである。

【０００７】ピクチャ圧縮方法の基本的な問題は、必ず
送信又は記録されねばならない情報量を減少させること
であるので、そのシーケンスが３：２プルダウン変換を
包含しているか否かを検知することによって、４個のピ
クチャによって必要とされるのと同一のビット数で５個
のピクチャをコーディングすることによりどのようにし
て繰返しフィールドのエンコーディングを回避すること
が可能であるかが明らかである。従って、上述した手法
に従う５個のピクチャのシーケンスを再生することはデ
コーダ（受信ステーション）のタスクである。このよう
に、同じ品質のピクチャに対しては、圧縮比を増加させ
ることが可能であり、又ピクチャをコーディングするた
めに使用可能な同数のビットに対してはその品質を改善
することが可能である。

【０００８】又、３：２プルダウンの信頼性のある検知
は、発生された運動フィールドの相関に基づく運動推定
器を使用する圧縮アルゴリズムに対するコーディング品
質を更に改善することを可能とする。３：２プルダウン
手法に従うフィールドの繰返しはピクチャのグローバル
な運動において不一致を発生する場合がある。フィール
ドが繰返される場合には、運動推定器はこのことをピク
チャのオブジェクトの運動（仮想的なものであるが）の
停止として検知し、従って発生されたベクトルの収束プ
ロセスを検証する。３：２プルダウンの検知の更なる有
益的な結果は、その検知が使用したエンコーディング方
法によって許容された全ての予測を実施することを無用
なものとさせ（フィールド予測、二重プライム（ｐｒｉ
ｍｅ）予測及びフレーム等）及びフレーム予測方法のよ
うにピクチャフィールド間の時間が欠如していることを
考慮に入れる方法に特権を与えることが可能であるとい
う点である。３：２プルダウンを検知するためには、い
ずれの場合においても実施されるフィールドの間の許容
可能な運動推定に対するコーディングシステムによって
発生される運動フィールドの解析が基本的なものとな
る。

【０００９】運動推定における従来技術の説明 運動推定の基本的な概念は以下の通りである。１つのピ
クチャの１つのフィールドの１組のピクセルを、先行す
るピクチャを変換することにより得られた次のピクチャ
の位置に配置させることが可能である。勿論、これらの
オブジェクトの置換えは、ビデオカメラに対して、以前
に見えなかった部分及びそれらの形状の変化（例えば、
ズーミング等）を露呈させる場合がある。

【００１０】これらのイメージの部分を識別し且つ関連
付けるのに適当な一群のアルゴリズムは、通常、「運動
推定」と呼ばれる。このような関連付けは差分イメージ
の部分を計算することを可能とし、従って時間的に冗長
な情報を除去し且つ離散余弦変換（ＤＣＴ）、量子化及
びエントロピーコーディングによる爾後の圧縮プロセス
をより効果的なものとさせる。

【００１１】このような方法はスタンダードのＭＰＥＧ
２において典型的な例が見られ且つその重要性に鑑み、
例えば、ＭＰＥＧ２スタンダードを参照する。注意すべ
きことであるが、運動推定のシステム及び本発明のアー
キテクチュアはＭＰＥＧ２スタンダードとは異なるスタ
ンダードに基づいて動作するデジタル化したピクチャを
操作するシステムに対しても同様に有用であり且つ容易
に適用可能である。

【００１２】ビデオＭＰＥＧ２デコーダの典型的なブロ
ック図を図３に示してある。このようなシステムは以下
のような機能的ブロックから構成されている。

【００１３】（１）フィールド順番付け器 このブロックはＭＰＥＧスタンダードによって必要とさ
れるコーディング順にフィールドを出力する１個又は幾
つかのフィールドメモリから構成されている。例えば、
入力シーケンスがＩＢＢＰＢＢＰ等である場合には、出
力順はＩＰＢＢＰＢＢ．．．である。

【００１４】尚、Ｉ（イントラコード化ピクチャ）は時
間的冗長性を含むフィールド及び／又はセミフィールド
であり、Ｐ（予測ピクチャ）は先行するＩ又はＰ（前に
コード化又はデコード化されたもの）に関し時間的な冗
長性が除去されているフィールド及び／又はセミフィー
ルドであり、Ｂ（双方向予測ピクチャ）は先行するＩ及
び後続のＰ（又は先行するＰ及び後続のＰ）に関し時間
的冗長性を除去したフィールド及び／又はセミフィール
ドである（両方の場合において、Ｉ及びＰピクチャは既
にコード化／デコード化されているものと考えねばなら
ない）。

【００１５】フォーマット４：２：０における各フレー
ムバッファは以下のメモリ空間を占有する。

【００１６】 スタンダードＰＡＬの場合、 ルミナンス（Ｙ）に対して ７２０×５７６×８＝３，３１７，７６０ビ ット クロミナンス（Ｕ）に対して３６０×２８８×８＝ ８２９，４４０ビ ット クロミナンス（Ｖ）に対して３６０×２８８×８＝ ８２９，４４０ビ ット 合計 Ｙ＋Ｕ＋Ｖ＝４，９７６，６４０ビ ット スタンダードＮＴＳＣの場合、 ルミナンス（Ｙ）に対して ７２０×４８０×８＝２，７６４，８８０ビ ット クロミナンス（Ｕ）に対して３６０×２４０×８＝ ６９１，２００ビ ット クロミナンス（Ｖ）に対して３６０×２４０×８＝ ６９１，２００ビ ット 合計 Ｙ＋Ｕ＋Ｖ＝４，１４７，２００ビ ット （２）運動推定器 これはＰ及びＢピクチャから時間的冗長性を除去するブ
ロックである。

【００１７】（３）ＤＣＴ これはＭＰＥＧ２スンダードに基づいて離散余弦変換を
実施するブロックである。Ｉピクチャ及びエラーピクチ
ャＰ及びＢは８×８ブロックのピクセルＹ，Ｕ，Ｖに分
割され、それに関してＤＣＴ変換が実施される。

【００１８】（４）量子化器Ｑ ＤＣＴ変換から発生する８×８ブロックは、次いで、Ｄ
ＣＴ係数の大きさを多かれ少なかれ著しく減少させるた
めに量子化用マトリクスによって割算される。このよう
な場合においては、人間の眼に対して感受性がより低い
最も高い周波数に関連する情報が除去される傾向とな
る。その結果は整理し直され且つ次のブロックへ送られ
る。

【００１９】（５）可変長コーディング（ＶＬＣ） 量子化器から出力されるコード化ワードは非ヌル値が続
く多かれ少なかれ多数のヌル係数を含む傾向がある。最
初の非ヌル値に先行するヌル値がカウントされ且つその
カウント値はコード化ワードの第一部分を構成し、この
第二部分は非ヌル係数を表わす。

【００２０】これらの対構成とされた値は他のものより
もより蓋然性のある値をとる傾向がある。最も蓋然性の
あるものは比較的短いワード（２，３又は４ビットから
構成されている）でコード化され、一方最も蓋然性の低
いものはより長いワードでコード化される。統計的に
は、出力ビット数はこれらの方法が使用されない場合よ
りも少ない。

【００２１】（６）マルチプレクサ及びバッファ 可変長コーダー、量子化用マトリクス、運動ベクトル及
びその他の構文上の要素によって発生されたデータはＭ
ＰＥＧ２スタンダードによって意図されている最終的な
シンタックス即ち構文を構成するために組立てられる。
その結果発生するビットストリームはメモリバッファ内
に格納され、その限界寸法はＭＰＥＧ２スタンダードに
よって画定され且つオーバーフローすることは不可能で
ある。量子化器ブロックＱは、システムがこのようなメ
モリバッファの満杯限界からどれ程離れているか及び運
動推定及びＤＣＴ変換プロセスの上流側でとられた８×
８ソースブロックのエネルギに依存して、ＤＣＴ８×８
ブロックの割算を多かれ少なかれ著しいものとさせるこ
とによりこのような限界の側面を処理する。

【００２２】（７）逆可変長コーディング（Ｉ−ＶＬ
Ｃ） 上に特定した可変長コーディング機能が逆の順番に実行
される。

【００２３】（８）逆量子化（ＩＱ） Ｉ−ＶＬＣブロックによって出力されるワードが８×８
ブロック構造に再調整され、それはその前のコーディン
グに対して使用したものと同一の量子化用マトリクスに
よって乗算される。

【００２４】（９）逆ＤＣＴ（Ｉ−ＤＣＴ） ＤＣＴ変換機能が反転され且つ逆量子化プロセスによっ
て出力された８×８ブロックに対して適用される。この
ことは空間周波数のドメインからピクセルドメインへ通
過することを許容する。

【００２５】（１０）運動補償及び格納 Ｉ−ＤＣＴブロックの出力において、別法として、以下
のものが存在する場合がある。

【００２６】後続のＰ及びＢピクチャからそれに対して
の時間的冗長性を除去するために夫々のメモリバッファ
内に格納せねばならないデコード済のＩピクチャ（又は
セミピクチャ）；運動推定フェーズ期間中に以前に除去
した情報に対して加算されねばならないデコード済の予
測エラーピクチャ（セミピクチャ）Ｐ又はＢ。Ｐピクチ
ャの場合には、専用のメモリバッファ内に格納されてい
るこのような結果的に得られる和は持続のＰピクチャ及
びＢピクチャに対する運動推定処理期間中に使用され
る。これらのフィールドメモリは、通常、ブロックを再
調整するために使用されるフィールドメモリとは別のも
のである。

【００２７】（１１）ディスプレイユニット このユニットは４：２：０フォーマットから４：２：２
フォーマットへピクチャを変換し且つイメージを表示す
るためのインターレース型フォーマットを発生する。

【００２８】上述したＭＰＥＧ２デコーダを実現するア
ーキテクチュアにおいて、図４に示した機能的ブロック
の構成を図２に示してある。明確な特徴は、フィールド
再調整ブロック（１）、既に再生したＰ及びＩピクチャ
を格納するブロック（１０）、及びＭＰＥＧ２コーディ
ングによって発生したビットストリームを格納するブロ
ック（６）がデコーダのコアの集積回路外部のメモリ装
置内において集積化されており、それに対して、適宜集
積化した制御器によって管理される単一のインターフェ
ースを介してアクセスする。

【００２９】更に、予備処理ブロックが受信したイメー
ジをクロミナンスのフィルタ処理及びサブサンプリング
処理によって４：２：２フォーマットから４：２：０フ
ォーマットへ変換する。後処理ブロックは該イメージの
デコーディング及びディスプレイフェーズ期間中に逆の
機能を実施する。

【００３０】コーディングプロセスは運動推定を動作可
能なものとさせるために基準ピクチャを発生するための
デコーディングステップも使用する。例えば、最初のＩ
ピクチャをコード化し、次いでデコードし、格納し（パ
ラグラフ１０において記載したように）且つ後のＰ及び
Ｂピクチャをコード化するために使用される予測エラー
を計算するために使用する。

【００３１】コーディングプロセスによって以前に発生
されたビットストリームのプレイバックプロセスは
「逆」機能ブロック（Ｉ−ＶＬＣ，Ｉ−Ｑ，Ｉ−ＤＣＴ
等）のみを使用し、「直接的」機能ブロックを使用する
ものではない。この観点から、イメージの後の表示のた
めに実施されるコーディング及びデコーディングは集積
化したアーキテクチュア内において非同時的なプロセス
であるということが可能である。

【００３２】運動推定アルゴリズムの範囲は、シーケン
スにおけるピクチャ／セミピクチャを予測し、先行する
及び／又は将来のピクチャ又はセミフィールドから発生
する予測子として呼ばれるピクセルからなるブロックの
全体の組成を得ることである。

【００３３】ＭＰＥＧ２スタンダードによれば、３つの
タイプのピクチャ（フィールド）又はセミフィールドが
存在している。即ち、Ｉ（イントラコード化ピクチャ）
は時間的冗長性を含むフィールド及び／又はセミフィー
ルドであり、Ｐ（予測ピクチャ）は先行するＩ又はＰ
（以前にコード化／デコード化されている）に関する時
間的冗長性が除去されたフィールド及び／又はセミフィ
ールドであり、Ｂ（双方向予測ピクチャ）は先行するＩ
及び後続のＰ（又は先行するＰ及び後続のＰ）に関する
時間的冗長性が除去されたフィールド及び／又はセミフ
ィールドである（両方の場合において、Ｉ及びＰピクチ
ャは既にコード化／デコード化されたものと考えねばな
らない）。

【００３４】Ｐフィールド又はセミフィールド １つのピクチャの２つのフィールド（同じことがセミフ
ィールドに対しても適用される）、即ち時刻ｔにおける
Ｑ１及び時刻ｔ＋（ｋｑ）×Ｔにおける後続のフィール
ドＱ２に付いて検討する。Ｔをフィールド周期（ＰＡＬ
スタンダードの場合には１／２５秒、ＮＴＳＣスタンダ
ードの場合には１／３０秒）であり且つｋｐは先行する
Ｉと後続のＰの間（又は２つのＰの間）に存在するＢフ
ィールドの数に依存する定数であるとする。Ｑ１及びＱ
２はルミナンス成分及びクロミナンス成分によって構成
される。運動推定を、Ｎ行及びＭ列のマトリクスとして
表現することの可能な最もエネルギが高く、従って、情
報成分が豊富である、例えばルミナンスに対してのみ適
用するものと仮定する。Ｑ１及びＱ２を各々がＲ行でＳ
列からなるマクロブロックと呼ばれる部分に分割する。
その分割の結果Ｎ／Ｒ及びＭ／Ｓは２つの整数でなけれ
ばならないが、必ずしも互いに等しいものである必要は
ない。

【００３５】ＭＢ２（ｉ，ｊ）をフィールドＱ２に属す
る基準マクロブロックとして画定され且つその左上部分
の最初のピクセルがｉ番目の行とｊ番目の列との交差点
にあるマクロブロックとする。対（ｉ，ｊ）はｉ及びｊ
が、夫々、Ｒ及びＳの整数の倍数であるという特徴を有
している。

【００３６】図５はどのようにして該基準マクロブロッ
クがＱ２ピクチャ上に位置されているかを示しており、
水平方向の点線矢印はＱ２上の種々のマクロブロックを
識別するために使用されるスキャニング方向を示してい
る。Ｑ１フィールド上にＭＢ２（ｉ，ｊ）を投影し、Ｍ
Ｂ１（ｉ，ｊ）を得るものと仮定する。

【００３７】Ｑ１上にその中心が（ｉ，ｊ）であり且つ
マクロブロックＭＢｋ［ｅ，ｆ］から構成されるサーチ
ウインドウを画定するものとし、尚ｋはマクロブロック
インデクッスである。ｋ番目のマクロブロックは以下の
ようにして座標（ｅ，ｆ）により識別される。

【００３８】 −ｐ≦（ｅ−ｉ）≦＋ｐ −ｑ≦（ｆ−ｊ）≦＋ｑ 尚、インデックスｅ及びｆは整数である。

【００３９】前記マクロブロックの各々はＭＢ２（ｉ，
ｊ）の可能性のある予測子である。それがサーチされる
態様及びサーチウインドウ内において選択される態様に
従って異なる運動推定アルゴリズムはそれらの間で異な
っている。あるコスト関数を最小とさせる予測子が全体
的な可能性のある予測子の間から選択される。

【００４０】このような関数は選択された運動推定アル
ゴリズムに従って異なる場合があり、例えば、ＭＰＥＧ
２スタンダードにおいては、基準マクロブロックに関し
Ｌ１ノルムを最小とさせる予測子をサーチする。このよ
うなノルムはＭＢ２（ｉ，ｊ）及びＭＢｋ（ｅ，ｆ）に
属し且つ相同のピクセルの間の差の絶対値の和に等し
い。各和に対してＲ×Ｓ値が貢献し、その結果は歪みと
呼ばれる。

【００４１】ＭＢ２（ｉ，ｊ）に最も類似する予測子が
運動推定の後の支配的な予測子の座標によって識別され
る。支配的な予測子の位置とＭＢ２（ｉ，ｊ）との間の
差によって構成されるベクトルは運動ベクトルと呼ばれ
且つどのようにしてＭＢ２（ｉ，ｊ）が先行するフィー
ルド内の同様のマクロブロックのシフトから発生するか
を記述する。

【００４２】Ｂフィールド又はセミフィールド ３つのピクチャフィールド（同一のことはセミフィール
ドにも適用される）、即ち時刻ｔにおけるＱＰ_n-1、時
刻ｔ＋（ｋ_B）×ＴにおけるＱＢｋ_B、時刻ｔ＋（ｋ_P）
×ＴにおけるＱＰ_nについて検討するものとし、尚ｋ_P及
びｋ_Bは前に選択したＢフィールド（又はセミフィール
ド）の数に依存する。Ｔはフィールド周期である（ＰＡ
Ｌスンダードの場合には１／２５秒、ＮＴＳＣスタンダ
ードの場合には１／３０秒）。ＱＰ_n-1，ＱＢｋ_B，ＱＰ
_nはルミナンス成分及びクロミナンス成分によって構成
されている。運動推定を、最もエネルギが高く従って情
報成分が豊富である例えばＮ個の行とＭ個の列とからな
るマトリクスとして表現することの可能な例えばルミナ
ンスに対してのみ適用するものと仮定する。ＱＰ_n-1，
ＱＢｋ_B，ＱＰ_nを各々がＲ個の行とＳ個の列とからなる
マクロブロックと呼ばれる部分に分割する。割算Ｎ／Ｒ
及びＭ／Ｓの結果は２つの整数となるものでなければな
らないが、必ずしも等しいものである必要はない。

【００４３】ＭＢ２（ｉ，ｊ）をフィールドＱ２に属す
る基準マクロブロックとして画定され且つその左上部分
における最初のピクセルがｉ番目の行とｊ番目の列との
間の交差点にあるマクロブロックであるとする。対
（ｉ，ｊ）はｉ及びｊが夫々Ｒ及びＳの整数の倍数であ
るという事実によって特徴付けられる。ＭＢ２（ｉ，
ｊ）をＱＰ_n-1フィールド上に投影してＭＢ１（ｉ，
ｊ）を得且つＱＰ_n上に投影してＭＢ３（ｉ，ｊ）を得
るものと仮定する。

【００４４】ＱＰ_n-1上にその中心が（ｉ，ｊ）にあり
且つマクロブロックＭＢ１ｋ［ｅ，ｆ］からなるサーチ
ウインドウを画定し且つＱＰ_n上にその寸法が異なる場
合もあり、いずれの場合においても、予め定められてお
りＭＢ３ｋ［ｅ，ｆ］から構成されているサーチウイン
ドウを画定するものとする。尚、ｋはマクロブロックイ
ンデックスである。ＱＰ_n-1上のｋ番目のマクロブロッ
クは以下のようにして座標（ｅ，ｆ）により識別され
る。

【００４５】 −ｐ１≦（ｅ−ｉ）≦＋ｐ１ −ｑ１≦（ｆ−ｊ）≦＋ｑ１ 一方、ＱＰ_nフィールド上のｋ番目のマクロブロックは
以下のようにして座標（ｅ，ｆ）により識別される。

【００４６】 −ｐ３≦（ｅ−ｉ）≦＋ｐ３ −ｑ３≦（ｆ−ｊ）≦＋ｑ３ 尚、インデックスｅ及びｆは整数である。

【００４７】前記マクロブロックの各々はＭＢ２（ｉ，
ｊ）の予測子であると言われる。従って、この場合にお
いては、ＭＢ２（ｉ，ｊ）に対して２つのタイプの予測
子が存在しており、即ち、「前方」と呼称される推定さ
れるべきブロック（Ｉ又はＰ）を包含するものに時間的
に先行するフィールド上で得られるもの、及び「後方」
と呼ばれる推定されるべきブロック（Ｉ又はＰ）を包含
するものに時間的に後続するフィールド上で得られるも
のである。

【００４８】使用する運動推定アルゴリズムのタイプに
依存する組であってこれら２つの組の可能性のある予測
子の中で、ハードウエア実現化のあるコスト関数を最小
とするような２つ、即ち１つが後方で１つが前方である
ものを選択する。このコスト関数は選択した運動推定の
タイプに依存して異なる場合があり、例えば、ＭＰＥＧ
２スタンダードにおいては、基準マクロブロックに関し
Ｌ１ノルムを最小とする予測子をサーチする。このよう
なノルムはＭＢ２（ｉ，ｊ）及びＭＢ１ｋ（ｅ，ｆ）又
はＭＢ３ｋ（ｅ，ｆ）に属し且つ相同のピクセルの間の
差の絶対値の和に等しい。各和に対して、Ｒ×Ｓ値が貢
献し、その結果は歪みと呼ばれる。

【００４９】従って、ある数の前方歪み値が得られ、そ
の中で最も低いものがフィールドＱＰ_n-1における支配
的な位置（ｅ_f，ｆ_f）を識別するものとして選択され、
且つある後方歪み値が得られ、その中で、最小値がＱＰ
_nフィールド上の新たな支配的な位置（ｅ_b，ｆ_b）を識
別するものとして選択される。更に、ＭＢ２（ｉ，ｊ）
と２つの支配的な予測子の直線補間によって得られた理
論的なマックロブロックとの間の歪み値が計算される。

【００５０】従って、ＭＢ２（ｉ，ｊ）は３つのタイプ
のマクロブロックのみ、即ち前方予測子（ｅ_f，ｆ_f）、
又は後方予測子（ｅ_b，ｆ_b）又は平均化したものである
が両方を使用して推定することが可能である。支配的な
予測子の位置とＭＢ２（ｉ，ｊ）の位置との間の差成分
により構成されるベクトルは運動ベクトルとして定義さ
れ且つどのようにしてＭＢ２（ｉ，ｊ）が先行する及び
／又は後続のフィールドにおけるそれと類似するマクロ
ブロックの変換から派生するかを記述する。

【００５１】

【発明が解決しようとする課題】本発明は、以上の点に
鑑みなされたものであって、上述した如き従来技術の欠
点を解消し、３：２プルダウンと呼称されるピクチャシ
ーケンス変換が存在することを認識することによる運動
推定アルゴリズムに基づいてピクチャ圧縮技術の効率を
改善することである。

【００５２】

【課題を解決するための手段】上述したことから、３：
２プルダウンが存在することを認識することの能力は圧
縮プロセスの効率及びイメージの品質に関して顕著な影
響を与える可能性があることが明らかである。コーダー
即ちコード化器において行われるその他のプロセスに関
し連続的且つ同時的なモードで３：２プルダウンプロセ
スを検知することが基本的なことであることを強調する
ことが重要である。

【００５３】通常のＴＶシーケンスがカメラで撮影した
シーケンス内に挿入される場合がある。ＴＶ放送フィル
ムがしばしばコマーシャルによって中断されることを考
えることで充分である。従って、不可避的な情報の損失
を発生する可能性のあるフィールドを失うことがないよ
うに、フィルムモードからすぐさま通常のモードへ変更
することが可能であることが必要である。

【００５４】基本的に、本発明によれば、データの時間
的冗長性を除去するために連続するピクチャ間の運動推
定手順に基づいてピクチャのシーケンスのデジタルデー
タをコーディングする圧縮方法が、幾つかのピクチャを
繰返す即ち複製することにより多数のＴＶフレームのシ
ーケンスにおいてある数のフィルムフォトグラムの３：
２プルダウン変換を認識し且つその認識の結果としてこ
のようなピクチャの繰返し即ち複製に起因する冗長性を
除去する、上記各ステップを有している。

【００５５】基本的に、本発明のアルゴリズムは、先行
するピクチャのものに関しあるピクチャの繰返されるフ
ィールドが存在することを認識し且つこのような繰返し
があるシーケンスのものである、即ち３：２プルダウン
変換のものに対応するシーケンスであることを検証する
ことが可能である。従って、本発明方法が効果的なもの
である前提条件は、コーダー即ちコード化器において実
現される運動推定アルゴリズムがそのシーケンスにおけ
るあるフレームとそれに続くフレームとの間の運動を確
立することである。

【００５６】前述したように、現在のピクチャの各基準
マクロブロックに対して、運動推定アルゴリズムは現在
のフレームと相対的に先行するフレーム上又は持続のフ
レーム上におけるサーチウインドウ内において予測子マ
クロブロックをサーチする。最良の予測子はあるコスト
関数（ノルムＬ１）を最小とさせるものである。

【００５７】本発明の３：２プルダウンの認識アルゴリ
ズムは運動推定システムによって使用可能とされる２つ
の情報を使用するものであり、即ち、 ※支配的なマクロブロック予測子、 ※コスト関数値、 且つ、これらのデータはコーディングフェーズ期間中に
計算されねばならないので、本発明方法に基づく３：２
プルダウンの決定はハードウエアを実現する全体的な複
雑性に関し与える影響は比較的低いものであることを暗
示している。

【００５８】シーケンスの連続するピクチャの間の運動
推定が現在のピクチャの各基準マクロブロックに対して
現在のピクチャに時間的に先行するか又は持続のピクチ
ャ上のサーチウインドウ内における予測子マクロブロッ
クをサーチし且つあるコスト関数Ｌ１を最小とする予測
子を選択することによって行われる圧縮プロセスにおい
て、ピクチャからなるシーケンスのデータのデジタルコ
ーディングの流れにおいて３：２プルダウンの検知が以
下の動作に従って本発明に基づいて行われる。 （ａ）各半分がＲ×Ｓ／２個のピクセルを包含している
ピクチャの上部フィールド上に位置されている半分と下
部フィールド上に位置されている半分とからなるＲ×Ｓ
個のピクセルからなる基準ブロックを定義する。

【００５９】（ｂ）周辺のマクロブロックを除いて、前
記サーチウインドウ内において、前記上部半分（Ｔｏｐ
_i）及び下部半分（Ｂｏｔｔｏｍ_i）に対して別々に、現
在のピクチャ（ｉ）の各マクロブロックに対して、時間
的に先行するピクチャ上の相同の半分（Ｔｏｐ_i-1，Ｂ
ｏｔｔｏｍ_i-1）に関しより良く予測する（ノルムＬ１
を最小とする）同様の寸法のマクロブロックをサーチす
る。

【００６０】（ｃ）時間的に先行するピクチャ（ｉ−
１）上でサーチされた支配的な予測子に関連するノルム
（Ｌ１_Top）を現在のピクチャの前記上部半分（Ｔｏ
ｐ_i）に対するＲ×Ｓ／２マクロブロックに対する予測
子として、先行するピクチャ（Ｔｏｐ_i-1）上の相同の
位置におけるマクロブロックＲ×Ｓ／２を使用すること
により得られたノルム（Ｌ１_Top0）と比較し且つ後者の
ノルム（Ｌ１_Top0）が最初のノルム（Ｌ１_Top）より小
さい場合に第一カウンタ（ｎｕｍｂｅｒ＿０＿Ｔｏｐ）
をインクリメントさせる。

【００６１】（ｄ）下部半分に対しノルム（Ｌ
１_Bottom，Ｌ１_Bottom0）の間において比較（ｃ）と同
一の動作を実施し、第二カウンタ（ｎｕｍｂｅｒ＿０＿
Ｂｏｔｔｏｍ）をインクリメントする。

【００６２】（ｅ）前記第一及び／又は第二カウンタ内
に含まれる数があるスレッシュホールド（α×マクロブ
ロック数、尚α＜１である）より高いか否か、この場合
には先行するピクチャに関し現在のピクチャの一方及び
／又は他方の半分の繰返しの発生があるか否かを検証す
る。

【００６３】（ｆ）３：２プルダウンの繰返しパターン
との一致を究極的に検知し、従って３：２プルダウンの
検知を確認するために、ある数の連続するピクチャに対
する繰返しのアクノレッジメント即ち肯定回答又はディ
スアクノレッジメント即ち否定回答のデータを処理す
る。

【００６４】

【発明の実施の形態】その寸法がＲ×Ｓピクセルである
基準マクロブロックが半分が上部フィールド上に位置し
ており且つ半分が下部フィールド上に位置しており、各
半分がＲ×Ｓ／２の寸法を有するものと仮定する。

【００６５】最も外側のクラウン（最初及び最後の行及
び最初及び最後の列）に属するものを除いて、現在のフ
レーム内に含まれる各マクロブロックに対して、最も良
く予測する（Ｌ１ノルムを最小とする）同様の寸法のマ
クロブロックをＴｏｐｉ上のＲ×Ｓ／２部分に対するＴ
ｏｐｉ−１及びＢｏｔｔｏｍｉ上のＲ×Ｓ／２部分に対
するＢｏｔｔｏｍｉ−１上において同様に別々にサーチ
ウインドウ内においてサーチする。

【００６６】Ｔｏｐｉ−１上で見つかった最良の予測子
Ｒ×Ｓ／２と関連するノルムＬ１（それをＬ１_Topで表
わす）を、Ｔｏｐｉ上のＲ×Ｓ／２マクロブロックに対
する予測子として、Ｔｏｐｉ−１上の相同の位置におけ
るＲ×Ｓ／２マクロブロックが使用される場合に得られ
るノルムの値（それをＬ１_Top0で表わす）と比較する。
Ｌ１_top0がＬ１_topより小さい場合には、Ｔｏｐｉ上の
マクロブロックＲ×Ｓ／２がＴｏｐｉ−１上のものと相
対的にシフトしていない可能性があり、且つこの場合に
は、第一カウンタｎｕｍｂｅｒ＿０＿ｔｏｐがインクリ
メントされる。下部フィールドに対しても同様のプロセ
スが実施され、Ｌ１_bottom0及びＬ１_{bot tom}を得、それ
らを比較し且つ究極的に第二カウンタｎｕｍｂｅｒ＿０
＿ｂｏｔｔｏｍをインクリメントさせる。

【００６７】全体的なピクチャのスキャニングの終り
に、カウンタｎｕｍｂｅｒ＿０＿ｔｏｐはＴｏｐｉ−１
とＴｏｐｉとの間で移動しなかったＲ×Ｓ／２マクロブ
ロックの数を包含している。この数がピクチャ内に含ま
れるマクロブロックの総数とαとの積より大きい場合に
は、尚αは１未満であり、Ｔｏｐフィールドが繰返され
たことを肯定することが可能である。同様に、この条件
がカウンタｎｕｍｂｅｒ＿０＿ｂｏｔｔｏｍの内容につ
いても検証される場合には、Ｂｏｔｔｏｍフィールドが
繰返されている。これらのチェックはテスト１として便
宜的に定義することが可能な第一テストを構成する。

【００６８】更なる制御テストを確立するために、全体
的なピクチャに対するＬ１_top0及びＬ１_bottom0の平均
値が計算される。Ｌ１_bottom0の平均がβが１より大き
いものとしてＬ１_top0の平均とβとの積より大きい場合
には、ピクチャｉ−１のフィールド上の相同の位置にお
ける夫々の予測子によってＢｏｔｔｏｍｉ上のマクロブ
ロックＲ×Ｓ／２よりもＴｏｐｉ上のマクロブロックＲ
×Ｓ／２がより良く予測され、従ってＴｏｐフィールド
が繰返されたことを肯定することが可能であり、且つそ
の逆も又真である。便宜的にこの２番目のテストはテス
ト２として呼称する。

【００６９】図７はどのようにして運動推定ブロックが
３：２プルダウンを検知するブロックと通信を行うかの
構成を示している。図９はＴｏｐ（上部）フィールドに
関係するテスト１及びテスト２の手順を示している。勿
論、同様の手順をＢｏｔｔｏｍ（下部）フィールドをテ
ストするために使用する。上部フィールドに対するテス
ト１及び底部フィールドに対するテスト１は相互に排他
的なものではなく、従ってテスト２と異なり、それらは
異なる値又は同一の値を発生する場合がある。３：２プ
ルダウンの場合には、繰返されたフィールドは良好に画
定された手順又はパターンに適合するものでなければな
らない。従って、図８に示したように、３：２プルダウ
ンを検知するブロックは３個の機能的サブブロックを有
しており、即ち最初の２つのサブブロックは、夫々、Ｔ
ｏｐ（上部）及びＢｏｔｔｏｍ（下部）フィールドに対
してテスト１及びテスト２を計算し、且つ３番目のサブ
ブロックは該フィールドを正しい順番で繰返すか否かを
制御する。従って、フィールドの繰返しパターンを示す
テーブルを発生することが可能であり、それは、任意の
時刻において、このような手順における現在のピクチャ
の位置を表わす。

【００７０】 繰返されたＴｏｐ 繰返されたＢｏｔｔｏｍ インデックス １ ０ ０ ０ ０ １ ０ ０ ２ ０ １ ３ ０ ０ ４ 尚、 ※インデックスはマスク内の現在のフレームの位置を表
わす。

【００７１】※１は、その特定のフレーム内において、
先行するフレームに関してその特定のフィールドの繰返
しが存在する場合があることを表わす。

【００７２】※０はその特定のフィールドの繰返しが存
在しないことを表わす。

【００７３】繰返されたフィールドの存在を決定する方
法は図１０に示したアーキテクチュアの構成に従って実
現することが可能である。このプロセスは以下の通りで
ある。

【００７４】（ａ）「インデックス」＝０？ ｙｅｓ→｛［（上部に対するテスト１）ＡＮＤ（下部に
対するテスト１なし）］ＯＲ（上部に対するテスト
２）｝？ ｙｅｓ 上部フィールドが繰返される。

【００７５】（ｂ）「インデックス」＝３？ ｙｅｓ→｛［（下部に対するテスト１）ＡＮＤ（上部に
対するテスト１なし）］ＯＲ（下部に対するテスト
２）｝？ ｙｅｓ 下部フィールドが繰返される。

【００７６】 （ｃ）「インデックス」０及び３と異なる？ ｙｅｓ→［（上部に対するテスト２）ＡＮＤ（下部に対
するテスト２）］？ ｙｅｓ 上部及び下部の両方のフィールドが繰返され
る。

【００７７】実際には、マスク内のピクチャによって占
有される位置に依存して（インデックス）、３：２プル
ダウンに従って複製されるべきフィールドの可能な繰返
しをサーチする。従って、インデックスが０に等しい場
合には、繰返されるＴｏｐ即ち上部をサーチし、インデ
ックスが３に等しい場合には、繰返されるＢｏｔｔｏｍ
即ち下部をサーチし、且つその他の全ての場合には、Ｔ
ｏｐ（上部）及びＢｏｔｔｏｍ（下部）の両方のフィー
ルドが繰返されないかチェックする。

【００７８】図１０の「制御インデックス」ブロック
は、以下の手順に従ってフィールドが正しい順番で複製
されるか否かを制御する。

【００７９】※３：２プルダウンが検知されない条件か
ら開始するものと仮定することにより、インデックスは
０であり且つＴｏｐ（上部）フィールドの複製及びＢｏ
ｔｔｏｍ（下部）フィールドの非複製が決定されるまで
（手順に従って）フレーム毎にその状態を継続する。

【００８０】※この点において、インデックスがインク
リメントされ、従って、相次ぐフレームにおいて、イン
デックスが１に等しい（即ち、繰返しなし）に対するテ
ーブルに従ってフィールドの複製をサーチする。

【００８１】※繰返しが誤ったものである場合には、イ
ンデックスはゼロへ復帰し且つ手順が新たに開始する。
一方、フィールドの繰返しが正しいものである場合に
は、インデックスがインクリメントされる。

【００８２】※マスクの完了時に３：２プルダウンが検
知される。インデックスはゼロへ復帰する。３：２プル
ダウンの検知から、エンコーダは対応するインデックス
値に対するテーブルのものから異なるフィールド複製パ
ターンに遭遇するまでフィルムモードに留まる。このこ
とが発生すると、インデックスは０へ復帰し、エンコー
ダはフィルムモードでの作業を終了し且つ本手順は始め
から再度開始する。

【００８３】以上、本発明の具体的実施の態様について
詳細に説明したが、本発明は、これら具体例にのみ制限
されるべきものではなく、本発明の技術的範囲を逸脱す
ることなしに種々の変形が可能であることは勿論であ
る。

【図面の簡単な説明】

【図１】 漸進的シーケンス（フィルム）及びインター
レース型シーケンス（ＴＶ）の例を示した概略図。

【図２】 フィルムの一連の４個のフォトグラムを５個
のＴＶフレームからなるシーケンスへ変換する３：２プ
ルダウンと呼ばれる方法を示した概略図。

【図３】 本発明が実施される「運動推定器」と呼ばれ
るブロックを包含するＭＰＥＧ２ＭＰ＠ＭＬビデオコー
ダーを示した概略図。

【図４】 図３のＭＰＥＧ２コーダーＭＰ＠ＭＬのアー
キテクチュアを示した概略図。

【図５】 スキャニング順に関連してあるピクチャ上の
１個のマクロブロックの位置を示した概略図。

【図６】 上部対上部及び下部対下部の相同フィールド
のマクロブロックの間のサーチ方法を示した概略図。

【図７】 本発明に基づくモーション推定器ブロックの
アーキテクチュアを示した概略図。

【図８】 ３：２プルダウン検知システムを示した概略
ブロック図。

【図９】 上部フィールドに対するテスト１及びテスト
２の計算方法を示した概略図。

【図１０】 繰返されるフィールドが存在することを決
定し且つ繰返しの順番をチェックする方法を示した概略
図。

【符号の説明】

Ｂｏｔｔｏｍ ピクチャの下半分 Ｔｏｐ ピクチャの上半分

───────────────────────────────────────────────────── フロントページの続き (72)発明者 エミリアーノ ピッチネッリ イタリア国， 20052 モンツァ， ビア メンターナ 41 (72)発明者 ダニロ ポウ イタリア国， 20099 セスト， サン ジオバーニ， ビア ダンテ 131

Claims (4)

【特許請求の範囲】
1. 【請求項１】 データから時間的冗長性を除去するため
   に連続するイメージの間における運動推定に基づいてピ
   クチャのシーケンスのエンコーディングデータを圧縮す
   る方法において、 ある順番においてのあるピクチャの繰返しによるフォト
   グラムの数より大きな数のＴＶフレームのシーケンスに
   おいて撮影したシーケンスの一連のフォトブラムの３：
   ２プルダウン変換を認識し、且つ、 このようなピクチャの繰返しに基づく冗長性を除去す
   る、ことを特徴とする方法。
2. 【請求項２】 請求項１において、前記シーケンスの連
   続するピクチャの間の運動推定が、現在のピクチャの各
   基準マクロブロックに対して、時間的に先行するか又は
   後続のピクチャ上のサーチウインドウ内の予測子マクロ
   ブロックのサーチ及びあるコスト関数又はノルムＬ１を
   最小とさせる予測子の選択を行い、前記ピクチャのシー
   ケンスであるデータのデジタルエンコーディングのスト
   リームにおける３：２プルダウンの検知が、 （ａ）各半分がＲ×Ｓ／２個のピクセルであるピクチャ
   の上部フィールド上の半分及び下部フィールド上の半分
   に位置されているＲ×Ｓ個のピクセルの基準マクロブロ
   ックを画定し、 （ｂ）周辺のマクロブロックを除いて、前記サーチウイ
   ンドウ内において且つ前記上部半分（Ｔｏｐ_i）及び前
   記下部半分（Ｂｏｔｔｏｍ_i）に対して別々に現在のピ
   クチャ（ｉ）の各マクロブロックに対して、時間的に先
   行するピクチャ上の相同の半分（Ｔｏｐ_i-1，Ｂｏｔｔ
   ｏｍ_i-1）に関し前記Ｌ１ノルムを最も良く予測するか
   又は最小とさせる同様の寸法のマイクロブロックをサー
   チし、 （ｃ）前記上部半分（Ｌ１_Top）に対し時間的に先行す
   るピクチャ（Ｉ−１）上でサーチされた前記最良の予測
   子に関連するノルムを先行するピクチャ（Ｔｏｐ_i-1）
   上の相同の位置におけるマクロブロックＲ×Ｓ／２を現
   在のイメージの前記上部半分（Ｔｏｐ_i）に対するマイ
   クロブロックＲ×Ｓ／２に対する予測子として使用して
   得られたノルム（Ｌ１_Top0）と比較し且つ後者のノルム
   値（Ｌ１ _Top0）が最初のノルム値（Ｌ１_Top）より小さ
   い場合に第一カウンタ（ｎｕｍｂｅｒ＿０＿Ｔｏｐ）を
   インクリメントし、 （ｄ）下部半分に対するノルム値（Ｌ１_Bottom，Ｌ１
   _Bottom0）の間の比較のステップ（ｃ）を繰返し行い、
   究極的に第二カウンタ（ｎｕｍｂｅｒ＿０＿Ｂｏｔｔｏ
   ｍ）をインクリメントし、 （ｅ）前記第一及び／又は前記第二カウンタ内に含まれ
   ている数があるスレッシュホールド（α×マクロブロッ
   ク数、尚α＜１）より大きいか否かを検証し、先行する
   ピクチャに関して現在のピクチャの一方及び／又は他方
   の半分のフィールドの繰返しの発生を肯定又は否定し、 （ｆ）３：２プルダウンの検知を肯定する３：２プルダ
   ウンのパターンとの究極的な一致を認識する多数の連続
   するピクチャ又はＴＶフレームに対する繰返しの肯定及
   び否定データを処理する、ことを特徴とする方法。
3. 【請求項３】 請求項２において、更に、 全体的な現在のピクチャに対して上部フィールド（Ｌ１
   _Top0）及び下部フィールド（Ｌ１_Bottom0）に対して前
   記ノルム値の平均値を計算し且つ処理し、 βが１より大きいものとして、下部フィールド（Ｌ１
   _Bottom0）に対する前記平均値が上部フィールド（Ｌ１
   _Top0）に対するノルムの平均値よりもβ倍大きいか否か
   を検証し、時間的に先行するピクチャ（ｉ−１）の同一
   のフィールド上の相同位置における予測子マクロブロッ
   クによって現在のピクチャ（Ｔｏｐ_i）の上部フィール
   ドが下部フィールド（Ｂｏｔｔｏｍ_i）よりもより良く
   予測されており従って繰返されたものが上部フィールド
   であること又はその逆も真であることを確立し、 ３：２プルダウンパターンとの究極的な一致を認識し且
   つそれの検知を肯定するために請求項２の手順に従って
   発生された肯定又は否定データと共に平均化されたノル
   ム値に関して実施されたこの２番目のテストの結果を処
   理する、ことを特徴とする方法。
4. 【請求項４】 圧縮されるべきデータから時間的冗長性
   を除去するために連続するピクチャの間における運動推
   定器を有するＭＰＥＧ２エンコーダにおいて、 ある順番におけるあるピクチャの繰返しによりフォトグ
   ラムの数より大きな数のＴＶフレームのシーケンスにお
   ける撮影されたシーケンスの一連のある数のフォトグラ
   ムの変換の３：２プルダウンを認識し且つこのようなピ
   クチャの繰返しに基づく冗長性を除去する手段、を有し
   ていることを特徴とするＭＰＥＧ２エンコーダ。