JP2000512440A - 動きベクトルフィールド符号化 - Google Patents

Abstract

(57)【要約】 ビデオ符復号器は、動きベクトルフィールドの動き係数の個数を最小限にするための動きフィールド符号器を含んでいる。この符号器において、第１のブロックは、動きベクトルフィールドの新しい行列表示を作成するための手段を含んでいる。その新しい符号化されている動きベクトルフィールドは線形である。第２の主なブロックは、隣り合うセグメント同士の対を、もしその結合されたセグメント領域を共通の動きフィールドを使って予測することができるならば、併合させるための手段を含んでいる。併合情報は復号器に送られる。第３の主なブロックは、動きフィールド基底関数を除去するための手段を含んでいる。各除去ステップの後、二乗予測エラーが計算され、エラーの変化量が許容できない程度となるまで除去が続けられる。線形行列方程式を解くことによって最終の動き係数が計算される。その結果として、各セグメントの動き係数の個数が減らされる。各動き係数は復号器に送られる。

Description

【発明の詳細な説明】 動きベクトルフィールド符号化 発明の分野 本発明は、一般的にはビデオ圧縮に関する。より正確には、本発明は、推定さ れた動きフィールド（motion field）を符号化してビデオシーケンスにおける動 き情報を作成する方法に関する。 発明の背景 動き補償予測は、大多数のビデオ符号化方式の非常に重要な要素である。図１ は、動き補償を使用してビデオシーケンスを圧縮する符号器の略図である。この 符号器の必須要素は、動き補償予測ブロック１，動き推定器２，及び動きフィー ルド符号器３である。動き補償ビデオ符号器の動作原理は、現在のフレームと呼 ばれる符号化 予測エラーＥ_n(x,y)を圧縮するというものであり、ここで、 ものであって、前の、或いはその他の既に符号化されている e)と呼ばれる）のピクセル値と、現在のフレーム及び参照フレームの間の各ピク セルの動きべクトル(motion vector)とを使って作成される。動きベクトルは動 きフィールド推定器２により計算され、その結果として得られたベクトルフィー ルドは、予測ブロック１に入力される前に何らかの方法で符号化される。予測フ レームは次の通りである： 数の対[x+Δx(x,y)，y+Δy(x,y)]は、現在のフレームの中の場所（x,y）のピク セルの動きベクトルと呼ばれ、Δx(x,y)及びΔy(x,y)はこのピクセルの水平変位 及び垂直変位の値である。現在のフレームl_n(x,y)の中の全てのピクセルの動き ベクトルの集合は動きベクトルフィールドと称される。符号化された動きベクト ルフィールドは動き情報として復号器にも送られる。 図２の復号器において、現在のフレームl_n(x,y)の各ピクセルは めることによって、復元（再構成）される。動き補償予測ブロック では参照フレームは現在のフレームと同じである）を使用して予測フレームを作 成する。予測エラー復号器２２において、復号された予測エラーＥ_n(x,y)が予測 フレームと加算されて、元の現在のフレームl_nが得られる。 動き補償（motion compensated（MC））予測の一般的目的は、復号器に送らな ければならない情報の量をなるべく少なくすることである。この予測は、例えば Ｅ_n(x,y)のエネルギーとして測定された予測エラーの量をなるべく少なくし、且 つ、動きベクトルフィールドを表示するのに必要な情報の量をなるべく少なくす るべきである。 １９９０年３月２６−１８日、マサチューセッツ州ケンブリッジ市での画像符 号化シンポジウム’９０の議事録、841-845ページに掲載されているＨ．グエン 、E.デュボアの文献”画像符号化のための動き情報の表示”（the document H.N guen，E．Dubois，”Representation of motion information for image coding "．Proc．Picture Coding Symposium'90，Cambridge，Massachusetts，March 26 -18，1990，pages 841-845）は、動きフィールド符号化手法を概説している。大 ざっぱに言うと、予測エラーを小さくするためには、より複雑な動きフィールド が必要である、即ち、より多数のビットをその符号化のために使用しなければな らない。従って、ビデオ符号化の総合的目的は、予測エラーの尺度をなるべく低 く保ちながら動きベクトルフィールドをなるべくコンパクトに符号化することで ある。 動きフィールド推定ブロック１（図１）は、与えられたセグメントの全てのピ クセルの、このセグメントの例えば二乗予測エラー(square prediction error) などの予測エラーの何らかの尺度を最小にする動きベクトルを、計算する。動き フィールド推定手法は、動きフィールドのモデルと、予測エラーの選択された尺 度を最小化するためのアルゴリズムとの両方において異なる。 フレームの中のピクセルの数が非常に多いために、各ピクセルについて別々の 動きベクトルを送信するのは効率的でない。殆どのビデオ符号化方式で、現在の フレームは大きな画像セグメントに分割され、セグメントの全ての動きベクトル を少数のパラメータで記述できるようになっている。画像セグメントは正方形の ブロックであってもよくて、例えば国際規格ISO/IEC MPEG-1又はITU-TH.261に準 拠する符復号器（コーデック）では１６×１６のピクセル（画素）のブロックが 使用されており、また画像セグメントは例えば分割アルゴリズムによって得られ る全く任意の形状の領域から成っていてもよい。実際上、各セグメントは少なく とも数十個のピクセルを包含する。 セグメント内の各ピクセルの動きベクトルをコンパクトに表示するためには、 それらの値を少数のパラメータの関数で記述できることが望ましい。その様な関 数は動きベクトルフィールドモデル(mo tion vector field model)と称されている。公知のグループのモデルは線形の動 きモデルであり、その動きベクトルは動きフィールド基底関数の線形結合である 。このようなモデルでは画像セグメントの動きベクトルは下記の一般式： で記述され、ここでパラメータc_iは動き係数（motion coefficient）と呼ばれる ものであり、復号器に送られる。関数f_i(x,y)は動きフィールド基底関数(motion field basis function)と呼ばれていて、この関数は固定されていて符号器及び 復号器の両方に知られている。 上記の式を有する線形動きモデルを使うときの問題は、予測エラーＥ_n(x,y)の 尺度をなるべく低く保ちながら、復号器に送られる動き係数c_iの数をどうやって 最小化するかということである。このプロセスは、符号器において動きフィール ド符号化ブロック３によって実行される（図１を参照）。それは、ブロック２に よって達成される、計算に関して非常に複雑な動きフィールド推定の後に、実行 される。従って、動きフィールド符号化は計算に関して単純で、追加の負担を符 号器にかけないことがきわめて重要である。 復号器に送る必要のある動き係数の総数は、画像の中のセグメントの個数と、 セグメントあたりの動き係数の個数との両方に依存する。従って、動き係数の総 数を減らす方法は少なくとも２つある。 第１の方法は、予測エラーを大幅に増大させることなく共通の動きベクトルフ ィールドで予測することのできるセグメント同士を結合（併合）させることによ ってセグメントの数を減らすことである 。隣り合っているセグメントを同じ動き係数の集合で予測できることが非常に頻 繁にあるので、フレーム内のセグメントの数を減らすことができる。その様なセ グメント同士を結合させるプロセスは動き補助併合(motion assisted merging) と呼ばれる。 第２の方法は、なるべく少ない係数で満足できるほど低い予測エラーを達成で きる動きモデルを各セグメントについて選択することである。動きの量と複雑さ とは各フレーム間で、また各セグメント間で異なるので、セグメントあたりに常 にN+M個の動き係数をすべて使用するのは効率的でない。満足できるほど低い予 測エラーを達成できる最少数の動き係数を全てのセグメントについて求める必要 がある。その様な係数の適応的選択のプロセスは動き係数除去と呼ばれる。 図３は、各セグメントに分割されたフレームを示している。動き係数符号化を 行う従来技術の手法は、動き補助併合を行う幾つかの手法を含んでいる。全ての セグメントの動きベクトルが推定された後、動き補助併合が行われる。それは、 隣接するセグメントS_i及びS_jの全ての対をそれらの動き係数c_i及びc_jとともに考 慮して行われる。結合されたセグメントS_i及びS_jの領域はS_ijと表示される。予 測エラーをS_i及びS_jの別々の予測から生じるエラーより大幅に増大させることな く動き係数c_ijの１つの集合で領域S_ijを予測できるならば、S_i及びS_jは併合され る。動き補助併合を行う方法は、本質的に、互いに結合されたセグメントを良好 に予測することを可能にする動き係数c_ijの単一の集合を求める方法において異 なる。 １つの方法は徹底的な動き推定による併合方法として知られている。この方法 は、隣り合うセグメントS_i及びS_jの全ての対について動き係数c_ijの新しい集合 を”最初から”推定する。もしS_ij についての予測エラーがあまり大きくはならなければ、セグメントS_i及びS_jは併 合される。この方法では、併合することのできるセグメントを非常によく選択で きるけれども、通常は符号器の複雑さを数桁も大きくするので、この方法を実行 することはできない。 もう一つの方法は、動きフィールド拡張による併合として知られている。この 方法は、予測エラーをあまり大きくすることなくいずれかの動きパラメータc_i又 はc_jを使ってS_ijの領域を予測できるか否か試験する。この方法は、新しい動き 推定を全く必要としないので、計算の複雑さが非常に低いという特徴を持ってい る。しかし、この方法では、１つのセグメントについて計算された係数での動き の補償によって隣のセグメントを予測することさえもうまくできるのは非常にま れであるので、セグメント同士を併合できないことが非常に頻繁にある。 もう一つの方法は動きフィールドはめ込みによる併合として知られている。こ の方法では、動き係数c_ijは近似の方法により計算される。それは、各セグメン トで少数の動きベクトルを評価することによって行われる。図３においてセグメ ントS_i及びS_jの幾つかの動きベクトルが描かれている。セグメントS_ijについて の動きフィールドは、或る公知のはめ込み方法を使用してこれらのベクトルを通 じて共通の動きベクトルフィールドをはめ込むことによって作成される。この方 法の欠点は、はめ込みによって得られる動きフィールドが充分に精密ではなくて 、予測エラーが許容できないほど大きくなることがしばしばあることである。 いろいろなモデルで動きを推定し、最も適当なものを選択する方法が下記の２ つの文献で提案されている： １９９４年度、音響学、音声及び信号処理に関する国際会議議事録、III265 -268ページ、H.ニコラス及びC．ラビットの”画像 シーケンス符号化のための決定論的緩和法を用いる領域に基づく動き推定方法” （H．Nicolas and C．Labit，"Region-based motion estimation using determi nistic relaxation schemes for image seque ncecoding,”Proc．1994 Interna tional Conference on Acoustics，Speech and Signal Processing，pp．III265 -286）； ビデオ技術のための回路及びシステムに関するIEEE会報、１９９４年６月、 第３巻第４号、357-364ページ、Ｐ．チッコーニ及びH．ニコラスによる”画像シ ーケンス符号化のための領域に基づく効率的動き推定方法及び対称指向分割方法 ”（P．Cicconi and H．Nicolas，"Efficient region-based motion estimation and symmetry oriented segmentation for image sequence coding,”IEEE Tra ns．on Circuits and Systems for Video Technology，Vol．4，No．3，June 19 94，pp．357-364） それらの方法は、いろいろなモデルで動き推定を行って、最も適当なものを１つ 選択することによって、動きの複雑さに応じて動きモデルを適応させようと試み る。それらの方法の主な欠点は、計算が複雑で、実際に試験することのできるい ろいろな動きフィールドモデルの量が少ないことである。 上記の方法のいずれも、単独では、予測エラーＥ_n(x,y)の尺度をなるべく低く 保ちながら、復号器に送られる動き係数c_iの数を最小にするという問題を解決す ることはできない。 発明の概要 本発明の目的は、予測エラーを大幅に増大させずに公知の動き推定方法により 作成される動きフィールドベクトル情報の量を大幅に減少させる動きフィールド 符号器を作ることである。利用可能な信 号処理装置或いは汎用マイクロプロセッサで実用的に実現できるように、その動 きフィールド符号器の複雑さは低くなければならない。 本発明によれば、動きフィールド符号器は３個の主なブロックを含んでいる。 第１の主なブロックはQR動き分析器(motion analyzer)と呼ばれる。その任務 は、動きフィールド推定器によって作成されて入力された動きフィールドの新し い表示を求めることである。その新しい表示は第２の主なブロックに入力される 。この第１の主なブロックでの動作は、行列演算からなる複数のステップを含ん でいる。その第１のステップでは予測フレームが公知の近似方法で線形化され、 予測フレームは動きベクトルに関して線形となる。第２ステップでは二乗予測エ ラー(square prediction error)を最小化するために行列Ｅ_i及び行列ｙ_iが作成 される。第３ステップでは周知のQR因数分解アルゴリズムを使って行列Ｅ_iを２ つの行列Ｑ_i及びＲ_iの積に分解する。また、因数行列Ｑ_i及び行列y_iから補助ベ クトルz_iを計算する。行列Ｒ_iの一部分と補助ベクトルz_iとが第２の主なブロッ クに入力される。 セグメント併合ブロック(segment merging block)と呼ばれる第２の主なブロ ックは、隣り合うセグメントの対の結合された領域を共通の動きフィールドを使 用して予測できるか否かを判定して、それらのセグメントの対を併合させる。行 列演算では始めに行列方程式を作成し、その後に公知の行列計算方法を使用して 因数行列を処理する。その結果は行列方程式であり、その１つの行列はいくつか の項を含んでいて、それらに基づいて、併合されるセグメントの領域での二乗予 測エラーを簡単に計算できる。もし二乗予測エラーの変化が、選択された基準に 照らして許容できる程度のものであるな らば、それらのセグメントを併合させる。 全てのセグメントの対が検討された後、セグメント併合ブロックの出力は： i. セグメントの数が減っている、新たに分割された画像であるか、 を出力するか、 iii.併合情報であり、この情報は復号器に送られて、復号器が併合されたセグメ ントを特定するのに役立つ。 第３の主なブロックは係数除去ブロック(coefficient removalblock)と呼ばれ る。このブロックは入力として、新たに各セグメントに分割された現在のフレー ムを受け取るとともに、全てのセグメ 個の動き係数によって表示される。動き係数除去ブロックは、各セグメントにつ いて、予測エラーをあまり増大させることなく動きフィールドモデルを簡単にす ることができるか否か判定する。何らかの基底関数が動きモデルから除去され、 その様にして単純化された動きフィールドモデルを記述するのに必要な係数は少 なくなる。 この第３の主なブロックでの動作は行列操作であり、始めに因数行列の１つの 行と列とを除去して行列方程式を修正し、次にその行列方程式を三角行列にする （triangularized）。１つの列及び行の除去は動きモデルからの１つの基底関数 の除去に相当する。１つの基底関数の除去によって生じるセグメントについての 二乗予測エラーの変化は方程式中の１つの項の二乗に等しい。 選択された基準に照らして予測エラーの変化が許容できる程度であるならば、 １つの係数が係数の集合から除去される。これらの行 列操作を更に繰り返して、該セグメントについてより多くの係数を減らすことが できる。充分な量の係数が除去された後、得られた一次方程式を解くことによっ てそのセグメントについての最終の動き係数が計算される。例えば後退代入（ba cksubstitution）など、周知のアルゴリズムの１つを使って方程式を解くことが できる。 第３の主なブロックは、処理した全てのセグメントについて、どの基底関数が 動きフィールドモデルから除去されたのかを知らせる選択情報を出力する。更に このブロックは、残っている基底関数に対応する新しい動き係数も出力する。選 択情報と動き係数との両方が復号器に送られる。 図面の簡単な説明 図１は、公知の符号器の概略図である。 図２は、公知の復号器の概略図である。 図３は、併合される隣り合っているセグメントを示す。 図４は、動きフィールド近似による併合を示す。 図５は、本発明による動きフィールド符号器である。 図６は、ＱＲ動き分析器の概略図である。 図示した実施例の説明 図５は、本発明による動きフィールド符号器を示している。これは図１のブロ ック３に対応するものであるけれども、入力として参照フレーム及び現在のフレ ームも有する。このブロックへの第３の入力は、図１の動きフィールド推定ブロ ック２によって作成された動きベクトルフィールド[Δx(・),Δy(・)]である。 ビデオ符号器の出力が各セグメントに分割された圧縮されているフレームであ り、その各セグメントに動き係数が随伴しているとす るならば、座標(x_i,y_i)，i=1，2，...，P、のP個のピクセルからなるセグメント S_iについて、動きフィールド符号器の任務は、圧 きモデルで記述され、そのフィールドは下記の形を持っており： それは二乗予測エラー： を最小化するようになっている。 前記の任務を達成するために、動きフィールド符号器は３つの主な構成ブロッ クからなっており、それらはＱＲ動き分析ブロック、セグメント併合ブロック、 及び動き係数除去ブロックである。セグメント併合ブロック及び動き係数除去ブ ロックは、二乗予測エラーを増大させる結果をもたらす動き情報の量を減少させ る。 ＱＲ動き分析器の目的は、動きフィールドの新しい表示を求めることである。 その新しい表示は、後に、他の２つのブロック、即ち併合されたセグメントにつ いての動き係数を高速で且つ柔軟に求めるためのブロック及び係数除去を行うブ ロック、で使用される。ＱＲ動き分析器の動作は下記のステップからなる。 即ち、ステップ１はエラーの線形化である。このステップでは方 ）の総和での各要素は係数c_iの一次結合となる： ステップ２は行列の作成である。それは、式（６）の最小化が行 基づいており、ここでＥ_i及びｙ_iは次の通りである： ステップ３はＱＲ因数分解である。周知のＱＲ因数分解アルゴリズムがG.H.ゴ ルブ及びＣ．ブァン・ローンの文献”行列計算”第２版、１９８９年ジョンズホ プキンス大学出版会（the document G．H．Golub and C．van Loan，"Matrix co mputation”2'nd edition，The Johns Hopkins University Press，1989)で解説 されている。このアルゴリズムを使用してＥ_iを２つの行列の積に分解する： このステップで補助ベクトルz_iも計算するが、これは次の通りである： ステップ４ではＱＲ動き分析ブロックの出力を計算する。その出 セグメント併合ブロックでは、隣り合うセグメントS_i及びS_j（図４を参照）の 対を、動き係数c_ijによって記述される共通の動きフィールドを使ってそれらの 結合領域S_ijを予測できるか否かを判定して、併合操作がなされる。合併操作は 次の各ステップからな る。 即ち、ステップ１は行列計算からなる。本発明は、下記の一次方程式の系： を解くことによって動き係数c_ijを求めることができるという、以 ロックにより既に作成されている。 ステップ２は、ステップ１で得られた行列を三角行列にする(tr 列であり、方程式系（１０）は前記の文献の教示によると下記の形を有する：ここで記号×はゼロでない要素を表す。前記の文献の教示によると、この系は、 各行にスカラーを乗じる一連の掛け算を行った後にそれらの行を加えることによ って三角行列にされる、即ち、それは下記の形に変換される： ステップ３では併合エラーを計算する。セグメントS_i及びS_jの併合により生じ る領域S_iでの二乗予測エラーの変化ΔE_ijを前記の文献の教示に従って次のよう にして計算する： 最後に、ステップ４で、式（１３）の二乗予測エラーの変化が、選択された基 準に照らして許容できる程度であるならば、前記のセグメント同士を併合させる 。それにより得られた新しいセグメントS_ijについて、方程式系（１２）の始め のN+M個の行をとることに式によって与えられる： フレームのセグメントの全ての対が検討された後、セグメント併合ブロックの 出力が得られる。その出力は３種類の情報からなる。 第１に、その出力は、セグメントの個数が減らされている、画像の新しい分割態 様を提示する。第２に、新しいセグメントの各々につ 該ブロックは併合情報を提示し、それは復号器に送られて、復号器が併合された セグメントを識別しやすくする。 いての動き係数c_ij=(c₁,c₂,...c_N+M)を計算することができるが、もし次のブロ ック（係数除去ブロック）を使用するのならばその計算は不要である。 ここで係数除去ブロックの動作を考察する。このブロックは入力として現在の フレームのセグメントへの新しい分割態様を受け取るとともに、全てのセグメン トS_kについて、前もってセグメント併 。どのセグメントの動きベクトルもN+M個の動き係数によって表示される。 動き係数除去ブロックは、与えられたセグメントS_kについて予測エラーをあま り増大させることなく動きフィールドモデルを簡単化することが可能か否かを判 定する。本明細書の背景技術の項で説明した方程式（３）のモデルから何らかの 基底関数が除去されると、簡単化された動きフィールドモデルが得られる。その 様に簡単化された動きフィールドモデルを記述するのに必要な係数は比較的に少 なくなっている。 動きフィールドモデルからi番目の基底関数（及びi番目の係数）を除去できる か否かを判定するために、下記の処理手順が各セグメントに対して実行される。 目の列を除去し、c_kからi番目の要素を除去することによって下 記の一次方程式系： を修正する。 ステップ２は行列三角化を含んでおり、ここで各行にスカラーを乗じる一連の 掛け算を行った後にそれらの行を加えることによって方程式系（１５）が公知の 方法で三角行列にされる、即ち、それは下記の形に変換される： ステップ３はエラー評価を含んでいる。i番目の係数の除去によって生じるセ グメントについての二乗予測エラーの変化は、単に方 ステップ４は係数の除去を含んでいる。もし予測エラーの変化が選択された基 準に照らして許容できる程度であれば、係数c_iは係数の集合から除去される。こ れで係数の新しい個数はN+M-1となる行列（１７）を方程式（１５）で使用してステップ１−４を繰り返すことによっ て、このセグメントについての係数の個数を更に減ら すことができる。 ステップ５は係数計算を含んでいる。充分な数の係数が除去された後、このス テップが始まる。このステップで、一次方程式系： を解くことによってセグメントS_kについての最終の動き係数が計 の結果である。例えば後退代入（backsubstitution）など、周知のアルゴリズム の１つを使ってこの方程式を解くことができる。 動き係数除去ブロックは、処理した全てのセグメントについて、どの基底関数 が動きフィールドモデルから除去されたのかを復号器に知らせる選択情報を出力 する。また、該ブロックは残っている基底関数に対応する新しい動き係数を出力 する。この選択情報と動き係数との両方が復号器に送られる。 これらブロックの全てにおける全てのステップの結果として、本発明による動 きフィールド符号器は、どのセグメントが併合されたかを復号器に知らせる併合 情報と、どの基底関数が除去されたかを復号器に知らせる選択情報と、動き係数 情報とを作成する。 従来技術と比べると、本発明の主な利点は、予測エラーを大幅に増大させずに 動き情報の量を大幅に減少させることができることである。また、システム全体 の複雑さが低くて、利用可能な信号処理装置或いは汎用マイクロプロセッサで実 用的に実現できる。 セグメント併合ブロックは、別々のセグメントについて推定された与えられた 動きベクトルから、結合されたセグメントの動きベクトルを求めることができる という独特の能力を持っている。このブロックが作成する動きベクトルは、実際 上、結合されたセグメントについての二乗エラーを最小に保つことに関して最適 であることを証明することができる。このことが、このブロックが二乗予測エラ ーをごくわずか増大させるだけでセグメントの個数を劇的に減少させる能力を持 っていることの理由である。 動き係数除去ブロックは、動きモデルをビデオシーンの中の動きの実際の量及 び種類に瞬時に適応させるための非常に強力な手段である。このブロックは、例 えば実現可能なあらゆる動きフィールド基底関数の組み合わせなど、非常に多数 のモデルで予測の結果（セグメントについての二乗予測エラーの値）を容易に試 験することができる。他の公知の如何なる方法もこの様な柔軟性を持っていない 。この方式の強力な利点は、動き推定のプロセスを反復する必要がないので計算 が簡単だということである。 動き推定後にＱＲ動き分析を行うことによって、この動きフィールド符号器は 、画像セグメントの所望の如何なる組み合わせについても、或いはセグメントの 動きフィールドの所望の如何なるモデルについても、非常に単純な一次方程式系 を解くことによって新しい動き係数を求めることができる。 好ましい実施例の説明 好ましい実施例では１２個の係数を有する下記の二次多項式動きベクトルフィ ールドモデルが使用される： このモデルは、実際上、ビデオシーケンスにおける非常に複雑な動きでも十分 に処理することができて、良好な予測結果をもたらす。 ＱＲ動き分析ブロックで、下記の各点：テイラー展開（Taylor expansion）を使ってステップ１での線形化を行う。 なる： 下記の式： を使って補助値g_j(x,y)を計算する。ここで関数f_j(x_i,y_i)は方程式（4a）及び（ 4b）で定義される基底関数である。 方程式（９）の中の行列E及びベクトルyは下記の式： を使って作成される。G_x(x,y)及びG_y(x,y)は、下記の式： 配の値である。 図６はＱＲ動き分析器の略図である。行選択ブロックは入力された行列の始め のN+M個の行だけを選択する。セグメント併合ブロックでは、セグメント併合の ために下記の方針が実行される： ａ．フレーム全体で許容される二乗予測エラーの増加に対応するしきい値Ｔを選 択する。 ｂ．隣り合うセグメント同士の全ての対について方程式（１３）を使ってΔＥ_ij を計算する。 ｃ．ΔＥ_ijが最小であるセグメントの対を併合させる。 ｄ．併合された全てのセグメント対に対応するΔＥ_ijの総和がTより大きくなる までポイントｂ−ｃを繰り返す。 方程式系（１１）を三角化するために、一連のギブンズ回転(Givens rotation s)が使用される。 動き係数除去ブロックでは係数除去のために下記の方針を実行する： ａ．フレーム全体で許容される二乗予測エラーの増加に対応するしきい値Ｔを選 択する。 ｂ．全てのセグメント及び全ての基底関数について方程式（１６） ｄ．いろいろなセグメントで除去された全ての基底関数に対応する る。 式の系（１６）は、一連のギブンズ回転によって三角化される。 セグメントの最終の動き係数は、後退代入アルゴリズムを使用して方程式（１ ８）を解くことによって計算される。yだけについて定義される。x又はyが整数でない多くの場合に、整数座標を持っ た最も近い各ピクセルの双線形補間を行ってそのピクセル値を計算する。 このシステムを、本発明の範囲から逸脱せずにいろいろに実施することができ る。例えば、方程式（３）でいろいろな線形動きモデルを使用することができる 。いろいろな方法を使用して式（５）の項を線形化することができる。更に、２ つのセグメントを併合させるか否かを決定するためにいろいろな基準を用いるこ とができる。与えられた基底関数をモデルから除去するべきか否かを決定するた めの方針は様々であってよい。方程式（１０）及び（１５）の各行列の三角化を いろいろなアルゴリズムを使用して実行することができ、方程式（１８）を解く ことによる最終係数の計算を、一次方程式系を解くための公知のいろいろなアル ゴリズムを使用して実行す びG_y(x,y)の値に対していろいろな補間方法を使用することができる。

【手続補正書】特許法第１８４条の８第１項 【提出日】平成９年１１月４日（１９９７．１１．４） 【補正内容】 請求の範囲 １．ビデオシーケンスの現在のフレームＩ_nを符号化するためのビデオ符復号 器であって、このビデオ符復号器は、符号化された動きベクトルフィールドを供 給する動きフィールド符号器を有し、この動きフィールド符号器は、 − 現在のフレームＩ_nと、 − 動きベクトルフィールドとを受け取るようになっている動き分析器を有 し、 この動き分析器は、動きベクトルフィールドの新しい表示を求めるようになっ ており、その表示は、現在のフレームＩ_nの複数の画像セグメントのうちの各セ グメントS_iについて、べクトルc_iによって表されるN+M個の動き係数の集合と基 底関数の集合とに基づく線形動きモデルを伴っており、 該動き分析器は、 − 現在のフレームの各セグメントS_iについて、行列表示Ｅ_ic_i−y_iに基づ いて、その現在のフレームのセグメントと参照フ めの予測エラー線形化手段を含んでおり、ここでＥ_iは行列であり、y_iはベクト ルであり、 − 現在のフレームの各セグメントについて、前記行列表示か 該動きフィールド符号器はセグメント併合手段を有し、この手段は、 − 現在のフレームＩ_nの隣り合うセグメントの対(S_i,S_j) もに、 対応するセグメント対を併合させるようになっており、 該動きフィールド符号器は、該セグメント併合手段に結合されている係数除去 手段を有し、この手段は、 − 現在のフレームＩ_nの各セグメント又は併合されたセグメ された予測エラー関数の変化が所定限度内となるように動き係数c_kの減らされた 集合を決定し、 − 現在のフレームＩ_nの符号化されたバージョンを提供するようになって おり、その形は、各セグメント又は併合されたセグメントについて、個数の減ら された前記の動き係数と、どの係数が省略されたかを示す表示とから成るビデオ 符復号器。 ２．現在のフレームの各セグメントについて動き分析器によって近似される予 測エラーの関数は下記の通りであり：ここで、 である請求項１に記載のビデオ符復号器。 ３．前記行列処理手段はＱＲ因数分解手段を含んでおり、この手段は、行列Ｅ_i を行列Ｑ_i及びＲ_iの積に分解し、補助ベクトル 記載のビデオ符復号器。 ４．該セグメント併合手段は、隣り合うセグメントの前記の対（Ｓ_i,Ｓ_j）に ついて、下記の式： を下記の形：に三角化するための手段を含んでおり、ここでc_ijは併合された隣り合うセグメ ントの対のN+M個の動き係数の集合である請求項１乃至３のいずれか一項に記載 のビデオ符復号器。 ５．該セグメント併合手段は、隣り合うセグメントの各対（Ｓ_i,Ｓ_j）につい て下記の式： に従って二乗予測エラーの変化ΔＥ_ijを計算することにより予測エラーが所定限 度内であるか否かを判定するようになっている請求項４に記載のビデオ符復号器 。 ６．該セグメント併合手段は、三角化された行列方程式の始めの に決定するようになっている請求項４又は５に記載のビデオ符復号器。 ７．現在のフレームＩ_nの前記の符号化されたバージョンは、併合されたセグ メントの識別子を含んでいる請求項１乃至６のいずれか一項に記載のビデオ符復 号器。 を設けることによって、個数の減らされた動き係数c_kを決定するようになってい る請求項１乃至７のいずれか一項に記載のビデオ符復号器。 ９．該係数除去手段は、簡略化された行列方程式を下記の形： に三角化して、下記の式： に従って二乗予測エラーの変化を計算するようになっている請求項８に記載のビ デオ符復号器。 １０．該係数除去手段は、もし二乗予測エラーの変化が所定限度内であれば該 係数行列c_kから動き係数c_iを除去するとともに、２番目に言及した三角化された 行列方程式の一番下の行を除去することによってこの行列方程式を再公式化する ようになっている請求項９に記載のビデオ符復号器。 程式の簡略化された形を解くことによって動き係数c_kを決定するようになってい る請求項１乃至１０のいずれか一項に記載のビデオ符復号器。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)， ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，Ｃ Ａ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ ，ＧＢ，ＧＥ，ＨＵ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ， ＫＲ，ＫＺ，ＬＫ，ＬＲ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，Ｍ Ｇ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ， ＴＭ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ

Claims (1)

1. 【特許請求の範囲】 １．現在のフレーム、参照フレーム、及び動きベクトルフィールドに応答して 、符号化された動きベクトルフィールドを作成するとともに動き係数の個数を最 小にする動きフィールド符号器を有するビデオ符復号器であって、該動きフィー ルド符号器は、 現在のフレームのセグメントと予測フレームのセグメントとの間の二乗エラー 関数を線形化するための線形化手段と、該セグメント ブロックと、 この第１の主なブロックに接続されていて、隣り合うセグメント同士の対を、 もし共通の動きフィールドを使ってその結合された領域を予測できるならば、そ れらのセグメント同士の対を併合させるための併合手段を含んでいて、併合され た各セグメントについて第 なブロックと、 この第２の主なブロックに接続されていて、二乗予測エラーの変化が許容でき ない程度となるまで該セグメントの動き係数を除去するための係数除去手段を含 んでおり、各セグメントについて、個数の減らされた動き係数を出力するように なっている第３の主なブロックとから成っており、 出力された符号化されている動きベクトルフィールドにおいて各動きベクトル は基底関数及び動き係数からなる線形動きモデルに基づいているビデオ符復号器 。 ２．線形化手段は二乗予測エラーを下記の式： の形に変換するようになっており、ここでは動き係数であり、N+Mは動き係数の 個数である請求項１に記載のビデオ符復号器。 ３．該行列処理手段は下記の行列： を作成するための手段を含む請求項２に記載のビデオ符復号器。 ４．該行列処理手段は、それ自体としては公知の方法で行列Ｅ_i トルｚ_iを作成し、行列Ｒ_iの始めのN+H個の行からなる第１行列 のビデオ符復号器。 ５．該併合手段は一次方程式： は前記の第１の主なブロックによってそれぞれセグメントS_i及びS_jについて下記 の形：に作成されるようになっている請求項１に記載のビデオ符復号器。 ６．該併合手段は、セグメントS_i及びS_jの併合により生ずる領域S_ijでの二乗 予測エラーの変化ΔE_ijを下記の式： に従って計算するための手段を更に含んでおり、該セグメントは、与えられた基 準に照らして該二乗予測エラーの変化が許容できる程度であるならば併合される ようになっている請求項５に記載のビデオ符復号器。 ７．該併合手段は、三角化された行列方程式の始めのN+M個の行をとることに よって、併合の結果としてのセグメントS_ijについて により表され、前記の行列及びベクトルは前記の第２の主なブロッ クから出力されるようになっている請求項５に記載のビデオ符復号器。 ８．該併合情報が該復号器に送られる請求項１に記載のビデオ符復号器。ｉ番目の列を除去し、ベクトルc_kからi番目の要素を除去することによって、簡 略化するための手段を含んでいる請求項１に記載のビデオ符復号器。 １０．該係数除去手段は、簡略化された行列方程式を下記の形： に三角化するための手段を更に含んでおり、i番目の列及びi番目 い請求項９に記載のビデオ符復号器。 １１．該係数除去手段は、予測エラーの変化量を選択された基準と比較するた めの手段を更に含む請求項１０に記載のビデオ符復号器。 １２．該係数除去手段は、もし変化量が許容できる程度であれば動き係数c_iを 該係数行列から除去するための手段と、三角化され おり、前記の修正された行列及び修正されたベクトルは該係数除去手段に入力さ れるようになっている請求項１１に記載のビデオ符復 号器。 １３．該係数除去手段は、もし更なる変化量が許容できないなら いて最終の動き係数を計算するための手段を更に含む請求項１１に記載のビデオ 符復号器。