【発明の詳細な説明】
像間動き評価方法
本発明は、各領域Ｒi毎に、先行像Ｐ（ｔ−１）に対する現下像Ｐ（ｔ）の動
きを表す情報Ｍi（ｔ）を供給するために、現下像の各領域毎に行なうつぎの動
作：
（１）分割前の像Ｐ（ｔ−１），Ｐ（ｔ）および分割後の像Ｓ（ｔ−１），Ｓ
（ｔ）と先行過程において先行像Ｐ（ｔ−１）につき評価した動き情報Ｍi（ｔ
−１）との関係としてＰ（ｔ）の各領域の動きパラメータを初期化する第１過程
、
（２）動き評価が行なわれる像群の中間処理の第２過程、および、当該領域の
各座標点（ｘ，ｙ）につきＬ（ ）が輝度その他のビデオ信号を指し、Ｄｘ，Ｄ
ｙが当該領域の動きの型に関連した次数の多項式である場合にＬ（ｘ，ｙ，ｔ）
＝Ｌ（ｘ−Ｄｘ，ｙ−Ｄｙ，ｔ−１）となるようにして、各領域Ｒiの全画素に
つき、ベクトル（Ｄｘ，Ｄｙ）の形で動きパラメータの最終決定をする第３過程
、
（３）最終的に動き情報を得るための、少なくとも所定の基準の関数としての
反復過程の終端までの中間処理の第２過程および精練の第３過程の反復
を含み、ラベルで識別されるＩ個の領域Ｒiからなる分割像もしくは分割像部分
の系列Ｐ（ｔ−ｎ），Ｐ（ｔ−ｎ＋１），・・・，Ｐ（ｔ−２），Ｐ（ｔ−１）
，Ｐ（ｔ）・・・を形成して系列Ｓ（ｔ−ｎ），Ｓ（ｔ−ｎ＋１），・・・，Ｓ
（ｔ−２），Ｓ（ｔ−１），Ｓ（ｔ）・・・の形で利用し得る像相互間の動きを
評価する方法に関するものである。
本発明は、また、上記方法を実行するための装置に関するものである。
本発明は、超低ビットレートの分野および低ビットレートから毎秒約１メガビ
ットまでの分野においてビデオ信号を符号化するのに好適である。かかるビット
レートの領域は、屡々多媒体用途と呼ばれる消費者用途に顕著に対応する。
欧州特許出願公報ＥＰ０７７１１５には、主たる特性が下文に再現するような
方法および装置が記載されている。その再現の前に、本記載を通して使用する記
号をまず示しておく。ここで考慮する像群は、Ｐ（ｔ−ｎ），Ｐ（ｔ−ｎ＋１）
，
・・・，Ｐ（ｔ−２），Ｐ（ｔ−１），Ｐ（ｔ）等と表示する概略像の原系列の
一部をなす。焦点は、主として、現下の像Ｐ（ｔ）および先行現像（すなわち、
動き評価の後に行なう符号化処理の特性に従って先に符号化した像）Ｐ（ｔ−１
）に向けられる。実際には、時点ｔで両者間の動き評価が行なわれる２画像（Ｐ
（ｔ−１）およびＰ（ｔ）は、いまのところは輝度信号とするが、色彩が多くの
特定情報を含んでいる場合には輝度と色度との組合わせとすることもでき、ある
いは、信号の情報を再現する他の任意の原像に変換することもできる。像Ｐ（ｔ
−２），Ｐ（ｔ−１），Ｐ（ｔ）等の一つの任意の点（ｘ，ｙ）の輝度の値はＬ
（ｘ，ｙ，ｔ−２），Ｌ（ｘ，ｙ，ｔ−１），Ｌ（ｘ，ｙ，ｔ）等と表す。像群
を分割する動作に関して、（部分像とも呼ぶ）一連のラベル像は、原像の系列に
対応するものであり、一方、分割像群は、ｓ（ｔ−２），Ｓ（ｔ−１），Ｓ（ｔ
）等と呼び、原概略像Ｐ（ｔ−２），Ｐ（ｔ−１），Ｐ（ｔ）等に対応するもの
であって、最終的には、動き評価方法を実行するに必要な前分析から生ずる一連
のある種の像を形成する。図１は、ｉ＝０〜６とした７個の領域Ｒiに像を分割
する例を示したものである。
先行像Ｐ（ｔ−１）に対する現下像Ｐ（ｔ）の動きに関する情報は、像Ｐ（ｔ
）の領域Ｒiに関する基準Ｍi（ｔ）のもとに構成される。この基準Ｍi（ｔ）は
、保留された動きの種類（すなわち、その動きを表す多項式の順序もしくは次数
）で構成されるデータおよび対応するパラメータ（すなわち、多項式の係数の値
）を含んでいる。例えば、図２に示すように、ＤｘおよびＤｙが動きパラメータ
を係数とした多項式をなすＰ（ｔ−１）からＰ（ｔ）への変位ベクトル（Ｄｘ，
Ｄｙ）は、像Ｐ（ｔ）の領域Ｒiの点（ｘ，ｙ）における像Ｐ（ｔ−１）と像Ｐ
（ｔ）との間で決まる動きの種類に対応する。これは、Ｌ（ｘ，ｙ，ｔ）＝Ｌ（
ｘ−Ｄｘ，ｙ−Ｄｙ，Ｔ1）と書くことができる。この多項式の次数（０，１，
もしくは２）およびかかる次数を決める係数（２乃至１２のパラメータ）は、つ
ぎのように、目下の動きの種類によって決まる。
（ａ）像に平行な平面における像に平行な平坦面の変換を規定するには２個の
パラメータで足りる。
Ｄｘ＝ａ1
Ｄｙ＝ａ2
（ｂ）ズームやパンなどの動きについては、像の面に平行な平坦面の変換の動
きを模するには、その平坦面が任意の方向をもち、あるいは、像の面に平行なそ
の平坦面が任意の変換運動を行なう場合には、４個のパラメータが必要である。
Ｄｘ＝ａ1＋ａ2ｘ＋ａ3ｙ
Ｄｙ＝ａ4−ａ3ｘ＋ａ2ｙ
（ｃ）関連変換については、上記（ｂ）に示したような変換運動、もしくは、
像の面に垂直の軸の周りの平坦面の回転運動を模するには６個のパラメータが必
要である。
Ｄｘ＝ａ1＋ａ2ｘ＋ａ3ｙ
Ｄｙ＝ａ4−ａ5ｘ＋ａ6ｙ
（ｄ）二次元運動については、弯曲面の任意の回転および変換を模するには１
２個のパラメータが必要である。
Ｄｘ＝ａ1＋ａ2ｘ＋ａ3ｙ＋ａ4ｘ2＋ａ5ｘｙ＋ａ6ｙ2
Ｄｙ＝ａ7＋ａ8ｘ＋ａ9ｙ＋ａ10ｘ2＋ａ11ｘｙ＋ａ12ｙ2
かかる多項式モデルは、物体の動きを満足に表すことを示し得るので採用された
ものである。しかしながら、かかる多項式モデルは、物体の実際の三次元運動の
厳密な記述としては説明し得ない。その目的に対しては、物体が硬く、事実では
ないが形状が既知である、という確信をもつことが必要である。問題のモデルは
、したがって、単に、像平面における物体の投影の変形を表したものに過ぎない
（例えば、２個のパラメータの場合には、問題の物体が硬く、像平面に平行な表
面を有しているものとして、このモデルは像平面における変換を効果的に表す）
。かかる運動モデルの詳細な表現は、例えばＪ．Ｌ．デューグレイ．Ｈ．サンソ
ン共著の論文「像系列における２Ｄおよび３Ｄ運動モデル識別の差分方法」像通
信誌、７巻１号、１９９５年３月、１０５〜１２７頁に与えられている。
像における点の座標は、本説明を通じ、像のみに関する全体的記号について表
現するか、像の所定領域に関する局部的記号について表現するかに応じて大文字
（Ｘ，Ｙ）もしくは小文字（ｘ，ｙ）で表される。
その場合に、動き評価の目標は、分割像Ｓ（ｔ）、先行像Ｐ（ｔ−１）に対応
した先行蓄積像Ｒ（ｔ−１）および動き評価の期間中に得た情報Ｍi（ｔ）にそ
れぞれ基づいて、現下像Ｐ（ｔ）の概略を構成する予測像Ｒ（ｔ）を順次に蓄積
する可能性をもたらすことにあることを想起するのも有用である。かかる予測像
Ｒ（ｔ）の決定は、予測誤差のみ、すなわち、Ｐ（ｔ）とＲ（ｔ）との差のみを
符号化する次の可能性を取り分けもたらす。
先に引用した文献に記載の方法は、図３を参照して詳細に説明することができ
る。図３には、動きパラメータを初期化する第１段階（ＩＮＩＴ）１０、前処理
の第２段階（ＰＰＲＯ）２０および動きパラメータを精錬する第３段階（ＲＥＦ
Ｔ）３０を順次に備えてあり、各段階は現下像の各領域について行なわれる。
動きパラメータを初期化する第１段階１０は、考察中の像Ｐ（ｔ）の各領域Ｒi
に対する動きパラメータ値をもって動き評価の過程を開始する目的を有してお
り、そのパラメータ値は、直面する処理過程を通じ、動きパラメータの変化は小
さいと想定し得るようにするために、パラメータの最終真値になるべく近いもの
とする。そのうえに、所定の評価品質を得るために必要な実施時間は、求める真
値により近いパラメータ値によって評価過程を開始すれば、平均してより短くな
り、評価自体の実施時間に対し、第１初期化段階に付加する実施時間は無視し得
るものとなる。後述するように反復して行なわれる処理動作の過程で、初期値が
求める真値から離れ過ぎているほど生ずる機会が多いような、局所的最小値への
収斂が生じ得ることは避けるべきである。
この第１段階は、（Ａ），（Ｂ）および（Ｃ）と呼び、像Ｐ（ｔ）の各領域Ｒi
毎に行なうつぎの３副段階からなっている。
（Ａ）入力端で始めに利用し得る情報をできるだけ引出し、可能な動きの仮説
を引き出すために新たな情報をできるだけ集める。
（Ｂ）（後述する）動きの仮説のそれぞれに対し、先行像Ｐ（ｔ−１）に対す
る既知のデータに基づき、現下像Ｐ（ｔ）における当該領域を予測して、対応す
る予測誤差を計算する。
（Ｃ）（特定の動きの仮説を同時に有効とする）最小予測誤差を発生させるパ
ラメータ値を動きパラメータの初期値として選択する。
初期化（ＩＮＩＴ）段階１０の第１副段階（Ａ）は、つぎのような初期データ
の探索からなっている。
（ａ）原先行像Ｐ（ｔ−１）および原現行像Ｐ（ｔ）
（ｂ）ラベルＳ（ｔ−１）およびＳ（ｔ）の像
（ｃ）データＭi（ｔ）、すなわち、動きが零の場合を含み、先行周期の期間
に（すなわち、像Ｐ（ｔ−２）に基づき）像Ｐ（ｔ−１）に至る動きを知り得る
ようにする動き情報（動きの種類および対応するパラメータの値）
（ｄ）Ｐ（ｔ−１）とＰ（ｔ）との間の（上述した）ＢＭＡ技術の実施から生
ずるデータ、すなわち、Ｐ（ｔ）の各画素に対して、一般にほぼ１画素分（ある
いは恐らくほぼ半画素分）だけ決まる変位ベクトル
像Ｐ（ｔ）の各領域Ｒiについては、系統的説述の相補性および単純性を利用
可能情報の見地から考慮して、先行像に対するつぎの４通りの動きの仮説を順次
にこの場合の考慮に入れて来た。
（１）領域Ｒiの動きは零である。
（２）先行分割像Ｓ（ｔ−１）に既存の考慮中のラベルｉおよび領域の動きは
、像平面に平行な変換に過ぎず、したがって、分割像Ｓ（ｔ−１）とＳ（ｔ）と
におけるラベルｉの重心の座標、ついで、変位ベクトルが得られるかかる座標間
の差を計算すれば十分である。
（３）考察中のラベルｉは先行分割像Ｓ（ｔ−１）に既に存在しており、ｊは
分割像Ｓ（ｔ−１）におけるｉの近傍の各ラベルを表し、データＭi（ｔ−１）
とＭj（ｔ−１）とはｉに組合わせた局部記号で表され、分割像Ｓ（ｔ−１）内
のｉの近傍のラベルｊ全部が探索され、ついで、対応するデータＭj（ｔ）（動
きの種類および局部記号に変換された対応するパラメータの値）が読み出され、
さらに、ラベルｉとその近傍のラベル群との間の最良の動きが選ばれる。
（４）考察中の動きは、領域毎のＢＭＡ技術の適用から生ずる変位ベクトル（
考察中の領域ｉに含まれる個数の半分以上のブロック群について計算される変位
のみ）の分野における最良の近似に対応するものであり、その適用は、可変寸法
を有するブロック群の一連の変換動きの評価と、より複雑なモデルにより、回帰
技術の助けを借りて、引き続きベクトルの分野の近似を決定するための軽減とか
らなっている（一組の値から多項式を適応させるこの方法は、例えば、概略像の
符号化のために、Ｍ．ギルゲ、Ｔ．エルゲルハルト、Ｒ．メーラン共著の論文「
任意形状像片の一般化した正規変換に基づく符号化」信号処理・画像通信誌、第
１巻、第２号、１９８９年１０月、１５３〜１８０頁に記載された多項式近似方
法に似ているが、この例に限るものではない）。
初期化ＩＮＩＴのための段階１０の第２副段階（Ｂ）は、先行像Ｐ（ｔ−１）
に基づき、副段階（Ａ）で行なわれた動きの仮説を考慮して、現下像Ｐ（ｔ）の
対応する領域を予測することと、ついで、その都度、領域に対する予測誤差を計
算することからなっている。つぎの予測原理が用いられ、Ｐ（ｔ−１），Ｓ（ｔ
）およびＭi（ｔ）が既知であれば、現下像Ｐ（ｔ）の予測輝度は画素の座標（
Ｘ，Ｙ）で決まる。予測の詳細説明は、下文の精練を処理する部分で動きパラメ
ータの最終評価について行なわれよう。
最後に、初期化ＩＮＩＴのための段階１０の第３副段階（Ｃ）は、領域におい
て計算した予測誤差の比較と、最小予測誤差が対応する動きのその領域の初期動
きとしての留保とからなっている。この過程は各領域について繰り返され、第１
の初期化段階１０は、このようにして現下像Ｐ（ｔ）の全領域について動きパラ
メータを調整し終えたときに終了する。領域Ｒiにつきこのようにして決まった
第２の中間処理段階２０は、第３の最終段階の終端で得られる最終動きパラメ
ータの評価を容易にする目的を有している。これは可能性に過ぎないが、この目
的を達成するための本質的な処理動作は、理論的理想値（すなわち第１次関数）
に近づけるように、すなわち、評価過程の収斂を得るために論理が必要とする数
学的仮説を証明するように輝度信号を修正することである。この処理動作は、例
えば、（Ｓ（ｔ−１），Ｓ（ｔ），Ｍi（ｔ）は修正されていない）平面の４方
向における等方性ガウス・フィルタの使用によるＰ（ｔ−１）およびＰ（ｔ）の
濾波からなっている。このフィルタの選択は、像の輝度信号を簡単化し、局部最
小をできるだけ避けることにより収斂を容易にするのに有用な輪郭の円滑化と像
の輪郭の十分な局部化の維持との間の極めて良好な妥協を確実にする（評価する
動きの精細度を十分にするために像の十分な詳細を保持するのが望ましい）。濾
波した像群は、記号Ｐ’（ｔ−１）およびＰ’（ｔ）によって図３に表されてい
る。段階２０で実現されるこの前処理動作の後に利用し得る動きパラメータの組
動きパラメータを精練する反復性の第３段階３０は、当該領域に対する動きパ
ラメータの最終評価を行なう目的を有している。この段階で行なわれる反復性過
程は、所定の判定基準で、例えば予め定めた反復回数に到達したときに（先行動
き評価を許す動き補償中に十分な品質に到達したとき、あるいは、新たな反復に
よる改善が無視し得る程度になったときの反復の停止など他の判定基準、さらに
は、複数基準の組合わせも提案される）、所定の判定基準で終了する。
現下像Ｐ（ｔ）の各領域についてベクトル（Ｄｘ，Ｄｙ）を探索して、その領
域の各点につき、ＤｘおよびＤｙが当該領域に対する動きの種類に関連した次数
の多項式である場合にＬ（ｘ，ｙ，ｔ）＝Ｌ（ｘ−Ｄｘ，ｙ−Ｄｙ，ｔ−１）と
なるようにすることを想起すべきである。左右両辺の項Ｌ（ ）間の同等性は、
動き評価の品質に応じ、多かれ少なかれ近似的に実現し得るに過ぎない。かかる
近似をできるだけ満足なものにするために、使用する判定基準は、最小二次誤差
を判定するためのものにする。すなわち、当該領域Ｒiの画素群の座標に対応す
る値をとる全てのｘおよびｙにつき、つぎの式（１）で表す当該領域の画素群に
おける予測誤差の自乗値の和を最小にする。
Σ（Ｌ（ｘ，ｙ，ｔ）−Ｌ（ｘ−Ｄｘ，ｙ−Ｄｙ，ｔ−１））2 (1)
この式（１）は、つぎの式（２）のように短縮した形で表される（ＤＦＤ＝変位
フレーム差）。
Σx,y（ＤＦＤ（ｘ，ｙ，Ｄｘ，Ｄｙ））2 (2)
ｄｘおよびｄｙがそれぞれＤｘoおよびＤｙoに対して極めて小さいときにＤｘ＝
（Ｄｘo＋ｄｘ）およびＤｙ＝（Ｄｙo＋ｄｙ）とするガウス−ニュートン方法に
より、(式（２）による）かかる数学的最小化処理が顕著に行なわれることが知
られている。一次展開により、つぎの式（３）が得られる。
最小化すべき式（１）は、したがって、つぎの式（４）のようになる。
この式（４）において、ｎ個の未知量を用いたｎ個の等式の組となる動きパラメ
ータに対するこの式の最小値を特徴づけるために、ｄｘおよびｄｙの係数にそれ
ぞれに対する導関数を零に等しくして消去する。
かかる等式の組の解答は、最小の二次誤差に到達する動きパラメータの変形で
ある。この解答は、つぎの式（５）のように、マトリックス形式で表される。
［Ａ］．［ｘ］＝［Ｂ］ (5)
ベクトルｘは、探求したパラメータ群を表し、マトリックスの各項は、現下像の
画素群の座標、（先行像における）画素群の座標位置に対して水平および垂直の
勾配並びに現下像および先行像におけるかかる座標位置での輝度値によって決ま
る。分割像Ｓ（ｔ）の各領域Ｒiに対し、反復の都度、マトリックスＡとＢとは
構成されなければならず、マトリックスＡは反復されなければならず、このよう
にして得られた反復マトリックスはベクトル解答Ｘを得るためにマトリックスＢ
を乗算されなければならず、したがって、（領域Ｒiに対する）動き情報は、そ
のベクトル解答ｘの各成分をこの動き情報の先行式に加算することにより更新す
ることができる。
マトリックスＡを構成するには、現行像における座標点の先行位置に対応する
先行像における座標点について輝度値が計算されなければならず、現下像におけ
るかかる前述点の動きおよび位置は既知であり、それは下記の予測動作であるが
、同様の点における水平勾配および垂直勾配が計算されなければならない。かか
る計算は、局部記号で表した（すなわち、その領域に関連したパラメータの値に
ついて行なわなければならない。各領域については、２組のパラメータ、すなわ
ち、
蓄積される。精練段階３０の始点では、かかる２組の動きは、処理済みパラメー
は、反復して精練され、各反復の終端毎に、検討中の領域に対するつぎの動き、
その領域に対応する局部記号に再変換される、分割像Ｓ（ｔ）におけるｉの近傍
（ｔ）に置換される。最後に、このようにして保有された動きは、近隣領域に向
かって伝搬を起こすことができ、かかる近隣領域に対しては、その動きに基づく
最小予測誤差の探索が取り戻され、かかる探索は、最小の予測誤差に効果的に到
達する場合などに選ばれる。精練段階の出力端では、分割像Ｓ（ｔ）の各領域ｉ
について判定された動き情報が中間処理段階２０の入力端に向かって送出される
つぎに、マトリックスＡの構成に必要な予測動作を説明する。座標（Ｘ，Ｙ）
の画素について、予測により、Ｌ（Ｘ，Ｙ，ｔ）で表す、この座標位置での時点
ｔにおける予測輝度値のＳ（ｔ），Ｐ（ｔ−１）およびＭ（ｔ）に基づく判定が
可能となる。像の各点で行なわれるこの予測動作は、つぎの２段階からなってい
る。
（ａ）時点（ｔ−１）におけるこの画素の非整数座標の計算：
−座標位置（Ｘ，Ｙ）におけるラベルＳ（ｔ）の像の読取りによる、その画素
が属する領域のラベルｉの探索；
−その画素について、そのラベルに対するＭi（ｔ）の読取りによる動き情報
（動きの種類およびパラメータの値）の選択；
−座標の関数としての画素の変位（Ｄｘ，Ｄｙ）、動きの種類およびその領域
のパラメータ群の値の計算（例えば、６個のパラメータが存在する関連運動の場
合に、動きパラメータを全体記号によって表したときには（Ｄｘ，Ｄｙ）＝（ａ1
＋ａ2Ｘ＋ａ3Ｙ，ａ4＋ａ5Ｘ＋ａ6Ｙ）が得られ、動きパラメータをその領域に
おける局部記号によって表したときには（ｄｘ，ｄｙ）＝（ａ1＋ａ2Ｘ＋ａ3ｙ
，ａ4＋ａ5ｘ＋ａ6ｙ）が得られ、したがって、この変位は、その画素に対して
、時点（ｔ−１）における座標（Ｘ−Ｄｘ，Ｙ−Ｄｙ）を引き出す可能性をもた
らす（かかる座標が像の外に存在する場合には、その像に組合わされ
た最も近い点の座標を取り上げるが、パラメータが存在しないので見出した座標
は必ずしも整数値ではなく、したがって、その時点における輝度を引き出すのに
補間を行なわなければならない）；
（ｂ）先行像Ｐ（ｔ−１）における輝度および座標の計算：
輝度は、現在の場合、画素の１６分の１の精度で長さ５を有する両立方の単一
方向フィルタを用いて補間される（その補間は、平均値を保持した２輝度値を得
るように、像のエッジにおける画素群の場合に像のエッジにおける反映と呼ぶ運
算により、同じフィルタを用いて水平方向と垂直方向とに補間を行なう）。
勾配の計算に対しては、輝度に対するのと同様に、その値を補間する必要があ
る。かかる処理の予測中に用いた補間との一貫性を確保するために、使用するフ
ィルタは、輝度用に用いたものから、画素の３２分の１の精度で長さ５のものを
取り出す。補間技術は、水平方向と垂直方向との濾波処理から生じる値をそれぞ
れ独立して用いる（輝度用と同じ反映処理が行なわれる）以外は、輝度用と同じ
である。
理論上、マトリックスＡは、領域の全点における各項の和の助けによって構成
しなければならない。いくつかの点は、誤差要素（小物体もしくは寄生運動との
係合、露出帯との係合など）になることがある。座標点選択の簡単な制限は、実
際に評価される動きがＳ（ｘ，ｙ，ｔ）＝Ｓ（ｘ−Ｄｘ，ｙ−Ｄｙ，ｔ−１）と
なる座標点（ｘ，ｙ）のみを保留することである。この制限は、分割が像の内容
によく密着している程効果的である。
一旦マトリックスＡが構成されると、そのマトリックスＡが特異であるか否か
が験される。これが特異でない場合には、ハウスホルダ方法と呼ばれる方法によ
る転換が行なわれる。これが特異である場合には、その動きは精練されず、動き
ｔ）の領域ｉの近傍領域Ｊに対応する情報Ｍj（ｔ）との両方を用いて予測され
、領域ｉにおける局部記号で表される。その領域における予測誤差は、その都度
には、その良好な動きが無変化のままにされる。しからざる場合には、最小予測
ｔ）で表される。上述したように、留め置かれた動きの伝搬の制御は可能である
。領域Ｒiに隣接する各領域Ｒjについては、それぞれの領域における予測誤差が
かかる評価計画により、初期化段階は、見出すべき動きから離れ過ぎないよう
にその評価を開始させるために利用し得る情報を全部使用し得るようにし、一方
、前処理段階は、（収斂に局部最小を避けさせて、順次の濾波処理により像ピラ
ミッドを構築し、強く濾波した一対の像間に最初の評価が生ずるようにするため
に）輝度信号を単純化し、精練段階は、さらに詳細に作用する。
本発明の目的は、所定系列のビデオ物体の多項式動きパラメータの評価に対し
、より頑健な方法を用いる動き評価方法を提案することにある。
この目的のために、本発明は、この説明の前文に記載した動き評価方法に関す
るものであり、さらには、ｒPが各物体の画素毎の予測誤差であり、予測誤差が
原値と予測値との差と定義され、動き評価が、輝度の時間的変化は照度の局部変
化を考慮せずに動きのみによる、との仮定に基づく場合に、公式最小ΣPρ（ｒP
）による、目標関数と呼ばれる関連関数ρ（ｘ）の最小化によって、動きを評価
する各物体に対する予測誤差を最小化する動作を第３の精練過程に含めることを
特徴とするものである。
本発明の他の目的は、この評価方法を実行するための装置を提案することにあ
る。
この目的のために、本発明は、ラベルで識別されるＩ個の領域Ｒiからなる分
割像もしくは分割像部分の系列Ｐ（ｔ−ｎ），Ｐ（ｔ−ｎ＋１），・・・，Ｐ（
ｔ−２），Ｐ（ｔ−１），Ｐ（ｔ）・・・を形成して系列Ｓ（ｔ−ｎ），Ｓ（ｔ
−ｎ＋１），・・・，Ｓ（ｔ−２），Ｓ（ｔ−１），Ｓ（ｔ）・・・の形で利用
し得る像相互間の動きを評価する装置において、領域Ｒi毎に、動きパラメータ
で定義される動きベクトルの形で、先行像Ｐ（ｔ−１）に対する現下像Ｐ（ｔ）
の動きを表す情報Ｍi（ｔ）を供給するために、つぎの３段階、すなわち、動き
の仮説を選択して、各領域毎に、その領域の像の画素群における予測誤差の自乗
値の和が最小となる動きを選ぶことにより、現下の像の各領域の動きパラメータ
を初期化する第１段階、中間処理の第２段階、および、各領域に組合わせたベク
トル（Ｄｘ，Ｄｙ）の概略決定により動きパラメータを精練する第３段階を順次
に備え、第２および第３の各段階を、反復処理により、その処理の終端まで所定
基準の関数としてループ状に設けるとともに、ｒPが各物体の各画素ｐに対する
予測誤差である場合に、公式最小ΣPρ（ｒP）による、目標関数と呼ばれる関連
関数ρ（ｘ）の最小化によって、動きを評価する各物体に対する予測誤差を最小
化する手段を精練段階に設けた像間動き評価方法に関連している。
本発明のかかる面は、つぎの図面を参照して以下に説明する実施例から明らか
になろう。
−図１は、原像の前解析から生じた分割（分割自体の原理は、形状の如何を問
わず、本発明に含まない）による分割像の例を示す線図である。
−図２は、連続した２像Ｐ（ｔ−１）とＰ（ｔ）との間の動きを模式的に示す
線図である。
−図３は、先に引用した文献ＥＰ０７７１１１５に記載の評価過程の各段階を
示すブロック線図である。
−図４は、いわゆるＩＲＬＳ方法による反復パラメータ評価を説明するブロッ
ク線図である。
−図５は、本発明による評価過程の各段階を示すブロック線図である。
−図６は、本発明の場合に用いる目標関数ρ（ｘ）の例を示すグラフである。
−図７は、前記目標関数に組合わせる影響関数の例を示すグラフである。
−図８は、本発明方法を実行するために提供する動き評価装置の構成例を示す
ブロック線図である。
本発明によれば、動きパラメータのより良好な評価のために、差分評価過程に
いわゆるＭ評価子を導入することが提案される。事実、動きパラメータ評価の問
題点は予測誤差の関数の最小化として書くことができ、その関数ρは目標関数と
呼ばれ、その最小化は、ｒ（ｐ）を目標物の画素ｐにおける予測誤差として、つ
ぎの式（６）の関係によって書き表される。
したがって、Ｍ評価は、対称の有限正値であって、ｘ＝０で独特の最小値を有す
る目標関数ρ（ｘ）を用いることにより、予測誤差の和の最小化の問題点を解決
することになる。頑健な評価子として表されるためには、関数ρ（ｘ）は、（通
常門外漢と呼ばれる）大きい予測誤差の各点が収斂経過に及ぼす影響が減少する
ように選ぶべきである。所定の予測誤差値の画素群にρ（ｘ）が及ぼす選択の種
類は、ρ（ｘ）の影響関数によって特徴づけられる。連続した場合には、影響関
数Ψ（ｘ）はρ（ｘ）の導関数となる。上述した最小化の関数における大きい予
測誤差の点の影響を減少させるためには、Ψ（ｘ）は、ｘが無限大に向かう場合
に零に向かわなければならない。
多数の頑健なＭ評価子は、文献では、種々の分野で、門外漢の影響を減少させ
る能力の故に用いられて来ている。最も単純な場合には、ρ（ｘ）が微分可能で
はなく、門外・門内の判定は、誤差の所定閾値との比較に基づき、２値となる。
より精密な解析は、より綿密なＭ評価子により、関数の尖鋭度、すなわち、門外
漢に対するＭ評価子の許容度を、その統計的な特性を変えずに制御し得るように
する尺度係数を用いることによって得られる。あらゆる場合に、前述の最小化関
係に対応する最小化の問題は、直接の解答をもっていない。しかしながら、いわ
ゆる反復再荷重最小自乗方法（ＩＲＬＳ）は、Ｍ評価を等価の荷重最小自乗問題
に変換することにより、Ｍ評価の解答を可能にする。実際に、動きパラメータに
関して最小化関係を微分することと、その後にさらに若干操作することにより、
この問題は、つぎの式（７）と等価であることを示すことができ、
ｍｉｎΣp１／２ｗｐｒ2ｐ (7)
ここに、ｗｐは、画素ｐの荷重であり、つぎの式（８）となる。
ｗｐ＝１／ｒｐｄρ（ｒｐ）／ｄｒｐ (8)
したがって、古典的な最小化の方法（勾配方法、ニュートン方法、ガウス−ニュ
ートン方法など）を適用することができる（最後のガウス−ニュートン方法は、
実際に、性能と複雑さとの間で行なわれる良好な交換取引きに極めて屡々用いら
れる）。このようにして適用したＩＲＬＳ方法は、急速に収斂することが判る。
ＩＲＬＳ方法を用いた反復パラメータ評価を要約して図４に示すが、ここに、
Ａi及びＡi＋１は、ｉ番目および（ｉ＋１）番目の反復における動きパラメー
タの評価を表し、ｄＡは、その評価の計算精度を表す。
しかしながら、Ｍ評価子は、収斂過程の初期化に極めて敏感であることが知ら
れている。過程の始端において画素が門外漢であるか否かを予め決定する方法は
存在しない。いくつかの評価環境では、動きおよび門外漢の極めて信頼のおける
初期化を確実にするに十分な先行情報が存在することがある。ついで、他の場合
に直面するに十分と判った解法は、尺度係数を用いることであり、したがって、
評価は、門外漢に対して高い許容度で始まり、動き評価が厳密になるにつれて累
進的に選択を強化する。かかる尺度係数の監視は、結果の質に対して極めて重要
であり、その値は、評価の始端で大きく、終端値まで整然と減少すべきである。
Ｍ評価子と、このようにＩＲＬＳとを用いた場合の全体評価の枠組みは、図５の
ように表される。
動き評価の目的に対して、門内・外の選別を行なうのに予測誤差のみに頼るの
は最善ではない。事実、大きい予測誤差の若干の点は、例えば少数派の動きを受
ける副領域に属しているので、確実に収斂を害することになる。しかし、若干の
他の点は、収斂に対して極めて有用な情報を含んでいる。動き評価に対し、像中
で最も興味のある情報は、動きの小さい誤差が大きい予測誤差を導入する勾配の
きつい区域に位置している（平坦な区域は動きの大雑把な観念を与え得るに過ぎ
ない）。門内・外の選別が予測誤差のみに頼っている場合には、興味のある点が
、門外漢として排除され、収斂過程には最早何ら貢献し得ない。Ｍ評価子は、均
一勾配の配当によってのみ物体の問題を完全に処理するのであるから、その機構
は、門外漢の選別を動き評価の問題点に適応させるように設定されている。動き
モデルの制限により収斂過程を妨害する真の門外漢は、大きい予測誤差を導入は
するが有用な情報をもたらす画素群からは弁別されるであろう。各画素の影響は
、（σを尺度係数として）その荷重Ｗ（ｐ，ρ，σ）によって判定されるのであ
るから、その荷重関数は、勾配情報を考慮するように修正される。正規化した初
期荷重関数Ｗn（ｐ，ρ，σ）と正規化した像勾配ｇn（ｐ）との線形組合わせＷ
’として荷重関数を定義し直すことが提案される。（図７に組合わされた影響関
数Ψ（ｘ，ρ）により）図６に表されているようなロレンツＭ評価子の場合には
、これは、例えば、つぎの式（９）のようになる。
W'（p,ρ,σ）＝Wn(p,ρ,σ)+α(1-Wn(p,ρ,σ))・ｇn(p) (9)
ここに、Ｗn（ｐ，ρ，σ）はつぎの式（１０）のとおりであり、αは、門外漢
弁別過程における勾配および予測誤差にそれぞれ与えられる重要性を制御するも
のである。
先に文献ＥＰ０７７１１１５に示されているように、本発明方法は、図８に示
した動き評価装置８４０で実行することもでき、この動き評価装置８４０は、現
下像の各領域の動きパラメータを初期化するための第１段階８４１を備えて、動
きの仮説を選択するとともに、各領域につき、その領域の画素群における予測誤
差の自乗値の和が最小となる動きを選択することにより、第１初期化段階１０を
実施し、第２段階２０を実行するための第２中間距離段階８４２を後続させると
ともに、動きパラメータを精練するための第３段階８４３を後続させて、各領域
に組合わせたベクトル（Ｄｘ，Ｄｙ）の概略判定により第３段階を実行する。か
かる第２段階８４２および第３段階８４３は、所定基準の関数としてこの過程が
完了するまで、反復過程によってループ状に設けられている（この場合、中間処
理動作は、この反復過程の収斂の促進を意図した等方性ガウス濾波動作を含んで
いる）。かかる動き評価装置の特に重要な使い方が欧州特許出願第０７９９５５
０号公報に記載されているような分割像符号化のための方式中に見出されること
も示すことができる。