JP2000506299A - 勾配に基づく動作推定 - Google Patents

Abstract

(57)【要約】 動作推定に基づく制約式を使用して、ビデオおよびフィルム信号処理における動作ベクトルを生成するための技術。その処理とハードウエアの単純化が、正規化された制約式に基づいて動作ベクトルを生成することによって、可能となる。時間および空間の画像勾配は時空微分器（１６，１７，１８）を使用して計算される。空間画像勾配ベクトルの向きに対応する角度（θ）や、その空間画像勾配ベクトルの方向の動作速度（ｖｎ）は、直交座標から極座標への変換器（３２）を含む装置を使用して計算される。θやｖｎは、正規化された制約式のパラメーターである。

Description

【発明の詳細な説明】 勾配に基づく動作推定 本願は、ビデオまたはフィルムシーケンスの動作ベクトルを推定するための技 術に関するものであって、例えば標準変換器またはビデオ圧縮システムとともに 動作推定器において使用される。 勾配動作推定は、３〜４種の基礎的な動作推定技術のうちのひとつであり、文 献にも知られている（参考１〜１８）。正確には「制約式に基づく動作推定」と よばれており、動作に対する時空画像勾配に関する、偏微分方程式に基づいてい る。 勾配動作推定は、動作に対する画像勾配に関する制約式に基づいている。制約 式は、一画像の動作の直接の帰説である。オブジェクト（ｘ，ｙ）が速度（ｕ， ｖ）で移動する場合、その結果の動画像Ｉ（ｘ，ｙ，ｔ）は式１で表される。 I(x,y,t)=オブジェクト（y-ut，y-vt） これが直接、制約式２に至る。 動体が時間とともに変化しなければ（照射の変化や歪みによるものと思われる ）、∂オブジェクト／∂ｔ＝０である。この式は、一例をもってすれば、より理 解が容易である。例えば垂直動作がゼロ、水平勾配がピクセル毎にグレイレベル ２ポイントのアップ、そして時間勾配がフィールド毎にグレイレベル１０ポイン トのダウンするとする。すると、水平勾配と時間勾配との割合はフィールド毎５ ピクセルの動作を示すことが、制約式から判る。空間勾配と時間勾配との関係は 制約式に集約される。 動作推定に制約式を使用するために、画像勾配や、明度の時空勾配を推定する 必要がある。理論上は、これらは画像シーケンスに直送線形の水平、垂直、そし て時間のフィルターを適用することによって容易に計算できる。実際には、追加 的な処理なしで、水平勾配のみで行うことができる。垂直勾配のためには、明度 勾配の計算は、通常テレビピクチャーに使用されるインターレースと混同されて しまう。フィルムから発生する疑似インターレースされた信号はこ の問題の影響は受けない。インタレースされた信号は各フィールド上に変化ピク チャーラインを含むだけである。これは垂直の２段抽出として作用し、その結果 、垂直勾配推定と混同される垂直エリアジングが表れる。時間的には状況はさら に悪く、もし連続フィールドにおいて一ピクセル以上移動したとすると、同じ空 間位置にあるピクセルは、総合的にみて関連性がないということも考えられる。 こうなると、どのような勾配推定も無意味になってしまう。こういった理由から 、勾配推定は、フィールドピリオド毎に１ピクセル以上の速度を測定することが 通常は出来ないのである（参考８）。 プリフィルタリングが画像シーケンスに適用されることによって、画像勾配の 直接測定の問題点を回避することができる。もし空間ローパスフィルタリングが シーケンスに適用されると、ピクセルの有効なサイズは増加する。ある空間位置 における明度勾配はその時、より広い範囲の動作速度に関連している。従って、 空間ローパスフィルタリングによって高速度が測定でき、上限の測定速度は適用 したフィルタリングの程度によって決定される。垂直ローパスフィルタリングも 、インターレースによる垂直エイリアシングの問題を軽減することができる。画 像内の偽信号成分は高い周波数において、より発生しやすい。平均して、ローパ スフィルタリングは、正しい信号成分よりも偽信号を、不均一に取り除く。垂直 フィルタリングが多く採用される程、エイリアシングの影響は小さくなる。しか しながら、エイリアシングがゼロ周期近くまでダウンして存在する。フィルタリ ングでは、これらの信号から全てのエリアジングを取り除くことはできないので 、垂直勾配推定にエラーが発生することとなり、その結果、動作ベクトルの推定 が不正確になる。 画像シーケンスをプリフィルタリングするとブレが生じる。よって、画像内の 細かい描写は失われてしまう。この結果、第一に、画像内に細かい描写がないた めに速度推定の精度が下がり、第二にプリフィルターされた信号には小さいオブ ジェクトが見られなくなる。ベクトル精度を上げるため、階層的技術が時として 利用される。これには、まず十分プリフィルタリングして最初の低精度の動作ベ クトルを計算し、それからこの推定を精製して最小限のプリフィルタリングで高 い精度を得る。この方法で確かにベクトル精度は向上するが、プリフィルタリン グによるその他の不利点は解消されない。つまり、小さいオブ ジェクトはプリフィルターされた信号には見られないので、それらの速度は測定 されない。階層的技術を用いても、小さいオブジェクトはもし最初の段階で測定 されていなければ、後続するベクトルの改良をいかに行っても、その小さいオブ ジェクトの動作を回復することはできない。プリフィルタリングは、大きなオブ ジェクトの低精度動作ベクトルを提供することのみが目的であるような場合の、 勾配動作推定においてのみに、適用がふさわしい。 一旦画像勾配が推定されると、制約式が使用されて動作ベクトルが計算される 。画像内の各ピクセル毎に、動作ベクトルや勾配の水平および垂直の成分に関す る線形式ができる。単一のピクセルに対する画像勾配では、そのピクセルの動作 ベクトルを決定するのに十分な情報を提供しない。少なくとも二つのピクセルの 勾配が要求される。動作ベクトル推定のエラーを最小限に抑えるため、２つ以上 のピクセルを使って、複数ピクセルからのデータに適合したベクトルを見つける ことが好ましい。３つのピクセルから勾配を取る場合を考える。各ピクセルは動 作ベクトルを速度域内の一つの線に制限する。ピクセルが２つのとき、２つの線 の交差によって、単一の独自の動作ベクトルが決定される。３つのとき、線が３ つなので独自の結果は得られない。これは図１に示されている。ベクトルＥ₁〜 Ｅ₃は、最も適合したベクトルから各ピクセルに制約された線へ向けたエラーで ある。 近隣のピクセルの一グループに最も適合した動作ベクトルを計算する方法の一 つに、最小二乗法の利用がある。つまりエラーベクトルＥ₁〜Ｅ₃の長さを二乗し た数の計を最小限にするのである（図１）。近隣のピクセルの一グループの最小 二乗解は式３の解から得られる。 ここで、(uo,vo)は最も適合する動作ベクトルであり、その総和は、適した領 域を越えている。式３の（直接）解は式４で表される。 小さい領域は低精度の詳細なベクトルフィールドを生み、大きい領域はその 反対である。小さい領域内のピクセルは互いに独立していないので、プリフィル ターのサイズより小さい領域を選択することにはほとんど利点がない。 一般に、動作推定器は、入力画像シーケンスと同じ標準で、動作ベクトルを発 生する。動作補償標準変換器や、動作補償された時間補間を行う他のシステムに おいて、出力画像シーケンス標準で動作ベクトルを発生させることが好ましい。 例えば、ヨーロッパテレビ標準とアメリカテレビ標準との間で変換を行う場合、 入力画像シーケンスは６２５ライン５０ヘルツ（インターレースされている）で 、出力標準は５２５ライン６０ヘルツ（インターレースされている）である。ヨ ーロッパ入力に作用する動作補償標準変換器は、アメリカ出力テレビ標準の動作 ベクトルを発生させることが要求される。 勾配動作推定の直接実現は、図２、３に基づいて説明されているが、結果とし てエラーを多数発生させる。そのような行為は全く好ましくないものである。画 像領域内に、精度の高い速度推定を行うのに十分な情報がない場合に、これらの 問題は起こる。これは通常、解析された領域がオブジェクトの詳細を全く含まな い、もしくはオブジェクトのエッジのみしか含まないといった場合に起こりうる 。そのような状況では、速度が測定できなかったり、エッジに対して垂直な速度 しか測定できない、ということになる。十分な情報が得られないときは、問題の 原因となる完全な動作ベクトルを推定することが試みられている。数字的に言え ば、この問題は、式４の分母にある２つの語によって引き起こされ、数字的に定 まらない式３の解と酷似の結果を生む。 この勾配動作推定の問題に対する解決策はマルチネス（参考１１、１２）によ って提案されている。式３の行列（以降Ｍと呼ぶ）は固有ベクトルおよび固有値 として解析されうる。固有ベクトルは２つあって、うち一つは解析領域の先行優 性エッジに平行に指し、他方はそのエッジに垂直に指す。各固有ベクトルは、固 有ベクトルの方向における画像のシャープ度を示す固有値と関連している。固有 ベクトルとその値は式５で示される。 Ｍ.e,=λ_ie_i i∈ε{1,2} 固有ベクトルｅ_iは、通常、１の長さを持つものと定義される。以下、この慣 用を採用する。 画像の平面領域において、固有ベクトルは本質的に方向が不規則（エッジが存 在しない）で両固有値とも非常に小さい（細部が存在しない）。この状況で、考 えうるベクトルはゼロである。エッジの要素を一つのみ含む画像の部分部分にお いて、固有ベクトルはエッジに対して垂直また平行に指す。垂直固有ベクトルに 相当する固有値は（比較的）大きく、他方の固有値は小さい。この場合、エッジ に対して垂直な動作ベクトルだけが測定される。他の状況で、もっと情報の多い 画像の細部においては、動作ベクトルは式４で計算されることもある。 マルチネスの案から考えると、動作ベクトルは式６を使用して見つけられるこ ともある。 ここで添字のｔは転置を表す。ここではｎ₁，ｎ₂はλ１，λ２の計算にそれぞれ 含まれる計算上の、もしくは信号のノイズである。実際上、ｎ₁＝ｎ₂の時、双方 がＭの係数によって決定される、あるいはそれと略同等の値である。λ１，λ２ ＜ｎの時、動作ベクトルはゼロである。これは画像の平面領域に適している。λ １＞ｎ、λ２＜ｎの時、動作ベクトルは先行優性エッジに対して垂直である。λ １，λ２＞ｎの時、式６は式４と同じになる。信号ノイズｎが減少すると、式６ によって、直観的に期待されうる非常に精度の高い動作ベクトルの推定が得られ る。 実際上、マルチネスの技術を使用して動作ベクトルを計算すると、図３の装置 を、もっと複雑な回路と入れ換えるということになる。式６の直接解は計算上お よびハード面での複雑さを増す恐れがある。しかし、それは、ただ２つの入力の 、計算済みの索引テーブルと、単純な演算を使用することによって実現できる。 勾配動作推定の直接実行のブロック図を図２、３に示す。 図２の略図に示す装置は、勾配生成物とその総和のフィルタリングや計算を行 う。図３の装置は、図２の装置で生成された勾配生成物の和から動作ベクトルを 発生させる。図２の、水平および垂直のローパスフィルター（１０，１２ ）は上記されたような空間的なプリフィルタリングを行う。１／３２の水平帯域 および１／１６の垂直帯域の遮断周波数によって、動作速度が（少なくとも）フ ィールド毎３２ピクセルにまで上昇される。異なる速度範囲が要求される場合は 、異なる遮断周波数が使用される。画像勾配は３つの異なる微分フィルター（１ ６，１７，１８）によって計算される。 垂直または時間補間フィルター(20)は入力標準で測定された画像勾配を、出力 標準に変換する。通常、垂直または時間補間フィルター(20)は、双線形補間器あ るいはその他の多相線形補間器である。このように、出力動作ベクトルもまた出 力標準である。補間フィルター(20)は、新規の要素であって、動作推定器を動作 補償時間補間器にインターフェースするのを容易にするものである。時間ローパ スフィルタリングは通常、（３つの）補間フィルター(20)の一部として行われる 。時間フィルター(14)は、処理経路において再度位置づけされ、３つ全部ではな く１つのフィルターだけが要求されるようになっている。乗算器にはいる前に、 フィルター（１０，１２，１４）が、どの順でも実現されるのは、それらが線形 フィルターだからである。式３で説明された、勾配生成物の総和は、乗算器（２ ２）に続くローパスフィルター（２４）によって実現される。通常、これらフィ ルター（２４）は（空間的な）移動平均フィルターでありうる。それは各タップ に対して、支持領域と同等の重みを与えるものである。他のローパスフィルター も、より複雑なハードウエアに使用されうる。これらフィルター（２４）のサイ ズによって、最適な動作ベクトルを計算するのに使用される近隣のベクトルのサ イズが決定される。使用されうるフィルター係数の例は実施例に示した。 式６の実行を可能にする装置のブロック図で、図３と入れ代わるものを、図４ 、５に示す。 図４の、各「固有解析」ブロック（３０）は、２つの固有ベクトルの内の一つ を解析する。固有解析の出力は次の式に等しい（ｘとｙ要素を持つ）ベクトルで ある。 これらｓベクトルは、式６に従ってベクトル（σ_xt ²,σ_yt ²）（図４ではｃ ）と融合されて、マルチネス技術に則って動作ベクトルを出す。 固有解析は、図５に示すが、慎重に構成されたもので、２つ以下の入力で索引 テーブルを使用して実現できるようになっている。３以上の入力で行う索引テー ブルは今日の技術では非実用的に巨大化してしまうので、上記が行われているの である。図５の実行はまず、その要素を全て（σ_xx ²+σ_yy ²）で割り算して行列 Ｍを正規化することに基づいて行われる。これによって新しい行列Ｎが、同じ固 有ベクトル（ｅ₁&ｅ₂）と異なる（しかし関連のある）固有値（Ｘ₁&Ｘ₂）を伴う ことができる。Ｍ，Ｎと固有ベクトル、固有値との関係は式７で表れる。 行列ＮはＭより単純である。それは独立した値を２つしか含まないからであり 、それはまた主対角線要素(Ｎ_1.1,Ｎ_2.2)が合同され、小行列式の対角線要素(Ｎ_1,2 ,Ｎ_2.1)が同一であるからである。主対角線要素は（σ_xx ²-σ_yy ²）/(σ_xx ²+ σ_yy ²)のコードで表されてもよい。式８。 このように検索テーブル１、２は、標準技術を使用してＮの固有値と固有ベク トルを見つけるのに必要な情報を全てもっている。従ってこれら検索テーブルの 内容の先行計算に直送される。検索テーブル３では単純な平方根が実現される。 図５に見られる装置の重要な要素は、固有解析が２つの入力検索テーブル（１， ２）を使用して、正規化された行列Ｎ上て行われること、また固有値解析（テー ブル２から）がテーブル３の出力を使用して修正値に再度計測され ること、である。 上記の勾配動作推定器は好ましくないことに複雑である。動作推定器は制限さ れた情報を含む画像には強いが、図４、５はかなり複雑である。多くの信号が、 機能的なブロック図を実現するのをさらに難しくするような、非常に広い範囲を 有している、という事実によって、その事態はさらに悪くなっている。 本願の目的は、機能を犠牲にすることなく、相当の単純化を図ることのできる 、動作推定の技術を提供することである。これは、基礎の制約式（式２）を正規 化して信号のダイナミックレンジを制御することで、達成される。ダイナミック レンジを減少させると同時に、また別の単純化も可能にする。 本願は、複数の画像勾配を計算する手段と、空間画像勾配ベクトルの向きに対 応する角度（θ）や、その空間画像勾配ベクトルの方向の動作速度（ｖｎ）を時 空画像勾配から計算する手段と、θやｖｎの複数の値から動作ベクトルを発生さ せるための手段と、を含む、ビデオ信号処理に使用される動作ベクトル推定装置 を提供する。 画像勾配を計算する手段は、時空微分器を含んでいてもよい。 θやｖｎの値を計算する手段は、直交座標から極座標への変換器を含んでいて もよい。 動作ベクトルを発生させる手段は、複数の画像勾配に対応する制約式に基づい て、画像領域に最も適した動作ベクトルを計算することが、好ましい。 一実施例では、動作ベクトルを発生させる手段は、式１４の行列Ｚの、前もっ て計算された値を含む３つの、２入力索引テーブルを含む。または、索引テーブ ルが、以下に述べるように前もって計算された値φ^-1を含んでいる。 本願は、複数の画像勾配を計算する工程と、画像勾配ベクトルから空間画像 勾配ベクトルの向きやその空間画像勾配ベクトルの方向の動作速度（ｖｎ）に対 応する角度（θ）を計算する工程と、θやｖｎの組み合わせの複数の値から動作 ベクトルを発生させる工程と、を含む、ビデオやフィルムの信号処理における動 作推定の方法を提供する。 動作ベクトルを発生させる工程は、複数の画像勾配に対応する、正規化された 制約式に基づいて、画像領域に最も適した動作ベクトルを計算することを含 んでいてもよい。 動作ベクトルは式１１、１３に基づいて計算されてもよい。 本願は以下に図面をもとに詳細する。 図１は、３つのピクセルに対する画像勾配制約線を図式化したもの、 図２、３は、本願実施例に基づく動作推定のブロック図、 図４は、図３の装置に入れ換える事のできる、動作ベクトル計算の装置のブロ ック図、 図５は、図４で要求される固有解析を実現する装置のブロック図、 図６、７は、本願にかかる勾配動作推定装置の別実施例、 図８は、最適動作ベクトルの場合のエラーを図式的に表したもの、 図９、１０は動作推定システムで動作ベクトルのエラーを示す装置のブロック 図である。 制約式を勾配ベクトルで割り算すると、正規化された制約式９ができる。 この正規化の意味は、式９を式１０のように書き直すとより明らかになる。 u.cos(θ)+ν.sin(θ)=νn ここでθは空間的画像勾配ベクトル（∇Ｉ）と水平との角度であり、ｖｎは画像 勾配ベクトルの向きの動作速度であり、つまりそのポイントで画像の先行優性エ ッジに対して垂直である。これは、画像勾配に対する動作ベクトルと画像勾配の 向きの動作速度に関する、より直観的な式である。式１０の係数（cos（θ）、s in（θ））はレンジ範囲（０から１）を定めており、そのレンジはほぼ入力信号 （通常８ビット）と同じダイナミックレンジである。同様に、ｖｎは、好ましい 動作ベクトル測定レンジによって決定される上限（可感）値を持っている。上限 測定範囲より大きい値ｖｎは、ノイズもしくは入力画像シーケンスのカットから その結果が出るのであるが、上限可感動作速度に合理的に クリップすることが可能である。 正規化された制約式１０は、正規化されていない制約式２と同じ方法で解され 、動作ベクトルが見つかる。正規化すると式３は式１１になる。 実際、行列（φ）は独立した要素は２つのみである。これはcos²(x)＋sin²(x) ＝１であるからである。cos²(x)、sin²(x)を1/2(1±cos(2x))に書き換えると式 １１は式１２になって、より分かりやすくなる。 Ｉは（2×2）単位行列で、Ｎは総和に含まれるピクセルの数である。ここでも 動作ベクトルは式１３を使用して見つけることができる。 ここでｅとλは、Ｍではなくφの固有ベクトルおよび固有値である。φは独立し た要素を２つ持っているだけなので、固有解析は、２入力のある索引テーブルを ３つだけ使用して行うことができる。さらにはφの要素のダイナミックレンジ（ 式１１）はＭの要素よりずっと少ないので、ハードウエアの複雑性を大いに単純 化することができる。 マルチネスの技術を用い、正規化された制約式に基づく勾配動作推定器のブロ ック図を、図６、７に示す。 図６の装置は、各ピクセルまたはデータ値に対し正規化された制約式（式１０ ）の計算を行う。明らかに、もしプリフィルタリングが行われると、独立ピクセ ル値の数は少なくなり、有効なピクセルサイズは大きくなる。図６のフィルタリ ングは、図２と同じである。出力標準に変換された空間画像勾配は、直交座標か ら極座標への変換器（３２）への入力として使用される。この変換器は空間画像 ベクトルと角度θの絶対値を計算する。適切な変換器はレイテオン（座標変成器 ，モデルＴＭＣ２３３０）から得られる。索引テーブル（３４）は、入力画像の 領域に細部が無い場合、非常に小さい数字で割り算をすること を避けるために、使用される。索引テーブルで使用される定数項ｎは｜∇Ｉ｜を 推定するときの測定ノイズであって、ノイズ比率に対する入力信号や、使用され たプリフィルタリングによって変化する。リミッター（３６）もまた、垂直速度 ｖｎを期待されるレンジ（空間プリフィルターによって決定）にまで限定するた めに導入されている。さもないと垂直速度は、制約式が例えば画像カットなどで 破壊されたとき、期待されたレンジを越えてしまうかもしれない。図６の重要な 要素は、行われた正規化によって、２つの、ｖｎとθの、出力が図２の３つの画 像勾配よりずっと狭いダイナミックレンジを有し、それによってハードウエアの 複雑性を軽減しようとすることである。 図6の装置において、まず入力ビデオが、別々の、空間、垂直および水平のフ ィルター(10,12,14)を使用してフィルタリングされ、画像勾配が3つの微分フィ ルター(16,17,18)を使用して計算されて3つの垂直/時間補間器(20)を使って入力 ラチスから出力サンプリングラチスに変換される。それら補間器は通常双線形ま たは多相線形のフィルターである。例えば、625/50/2:1の入力では、画像勾配は 625/50/2:1のラチス上で計算されることもある。正規化された制約式のパラメー ター，vnおよびθは、このようにして計算される。 図７の装置は、入力画像の領域に応じて、その領域のピクセルの制約式から、 最適な動作ベクトルを計算する。式１２で出る総和は、極座標から直交座標への 変換器(40)と索引テーブル1,2に続いて、ローパスフィルター(38)によって実現 される。通常、これらのフィルターは（空間的に）、移動平均値フィルターで、 これらは支持する領域内の各タップに均等の重みを付与する。他のローパスフィ ルターもまた、さらに複雑なハードウエアで利用することができる。これらフィ ルター(38,39)のサイズで、最適な動作ベクトルを計算するのに使用される近隣 のベクトルのサイズが決定される。索引テーブル1,2は、単純なコサイン・サイ ンのテーブルである。索引テーブル3,4,5は式14で定義される行列Zの、予め計算 された値を含んでいる。 ここでeとλはφの固有ベクトルと固有値である。なおZはφ^-1でもよい（ノイズ がない場合）が、これはマルチネスの技術には採用できず劣った結果が出 てしまう。図7の主要機能は、行列Zの要素が2つの入力索引テーブルを使用して 出される、ということである。その入力は、ダイナミックレンジが小さいために 小さい索引テーブルの使用が可能な、2つのローパスフィルター(39)からの出力 である。 上記した勾配動作技術の実現は、入力画像の領域の最適動作ベクトルを見つけ ることを目的とする。しかしながら、もしかなり正確であるならば、動作補償処 理には、この動作ベクトルを使用することのみが相応しいものである。決定され た動作ベクトルが最適であったとしても、それが正確なベクトルであるとは言え ない。動作が補償された時間補間において、不正確な動作ベクトルを使用すれば 、補間された画像に好ましくない損害が表れる。この損害を避けるために、動作 ベクトルが正確に測定されない時には、動作が補償されていない補間アルゴリズ ムに変換することが好ましい。このためには、推定された動作ベクトルの正確度 を知る必要がある。ベクトル正確度の測定が可能であれば、補間方法はベクトル の正確度に応じて「完全動作補償」と「非動作補償」とを入れ換えるて行うこと ができる。これは「グレースフルフォールバック」として知られる技術として参 考4,16に記されている。 動作ベクトルの正確度を決定する技術は、同出願人が同日に出願したUK特許出 願の主題である。この技術は制約式の使用に基づくもので、特には上記したよう な勾配に基づく動作推定技術と併せて使用するのが相応しい。しかしその方法は これより一般的であって、他の方法で、測定された動作ベクトルの正確度を推定 するのにも利用される。動作ベクトルの正確度の測定は新技術である。動作推定 にかかる文献のほとんどは、たいてい全体的に最適動作ベクトルを決定する方法 に集中しており動作ベクトルの結果が実際に正確かどうかについての考慮はされ ていない。このことは、なぜ動作補償処理が、ある種の入力画像については、た いてい信頼できないのか、ということの説明にもなる。 動作ベクトルが、ある画像のある領域について推定されると、その領域内で各 ピクセルのエラーが計算される。このエラーで、動作ベクトルがいかに正確に、 制約式あるいは正規化された制約式（式２、１０）の条件を満たしているかがわ かる。以下の文中では、正規化された制約式がより客観的であると思われるため それ使用するが、正規化されていない制約式も若干の変更を加えて使 用する（正規化されていない制約式を使用するとより多くの画像勾配を伴う特性 がピクセルに付与される）。解析領域内のｉ番目のピクセルについては、エラー は式１５で表される。 error_i=vn_i-u₀cos(θ_i)-v₀sin(θ_i) （ここでｉは１≦ｉ≦Nであり、Nは解析領域内のピクセルの数である。） このエラーは、そのピクセルの制約線（図1）からの最適な動作ベクトル(u₀,v₀ ）の距離に対応している。式１１はこれらエラーの二乗和を最小にする動作ベ クトルを現す。各エラー値はそのピクセルの画像勾配の方向に関連している。エ ラーは、エラーベクトルE_iとして図1および式１６においてよりわかりやすく、 表されている。 E_i=error_i・[cos(θ),sin(θ)] 添字のtは転置の操作を示す。 エラーベクトルの集合｛E_i｝は、以下図8に示すように、動作ベクトル空間に おける、エラーの2次元分布を形成する。この動作ベクトル測定エラーの分布は 、2次元ガウス（または正規の）分布であることが望ましい。観念的には、この 分布は、正しい動作ベクトルの回りの楕円形の領域を占めている。この楕円形は 、ほとんどの動作ベクトルの推定が位置するエリアを定義している。最適動作ベ クトルはその楕円の中心をさす。図8は最適動作ベクトル(u₀,v₀）と、4つの代表 的エラーベクトルE₁〜E₄を示す。動作ベクトル測定エラーの分布は、楕円の主・ 副軸(σ1,σ2)の方向と長さに特徴がある。この分布の特徴を計算するために、 まず(N×2)行列を式１７のように形成しなければならない。 このエラー分布の軸の長さと方向はE^t.Eの固有解析によって付与される。固有 ベクトルは分布軸に沿ってあり、固有値 N_totalσ₁ ²&Ntotalσ₂ ² （^Ntotalはエラー推定に使用された領域のピクセルの総数）は長さ（図8参照） を式１８のように付与する。 (E^t.E).e_i=N_totalσ_ie_i where i=1or2 行列E^t.E（ここではエラー行列であって、略して記号Qで表す）は展開して式１ ９となる。 ここでは、総和は画像領域を越えている。 動作ベクトルエラーが出るかどうかは、動作ベクトルがどの様に測定されるか による。動作ベクトルが、例えばブロックマッチングを使用して計算されると、 エラーはおよそ上記解析で決定されたようになる。しかし、本願のエラー推定技 術が、勾配（制約式）に基づく動作推定を使用して計算された動作ベクトルに適 用されることは、大いに起こりうる。後者の場合、その動作ベクトルはそれ自体 が、多数の測定（制約式使用毎に１測定）の平均値として有効である。こうして 、勾配に基づく動作ベクトルは、上記「エラー行列」から推定されたエラーより 少ない。これは、正確度を上げるために多数の測定の平均値を取ることによる旧 知の効果の一例である。勾配動作推定により大きな画像領域を使用すると、より 正確な動作ベクトルが得られる（小さいオブジェクトは解決できないことはいう までもない）。この違いによって、ブロックマッチング動作推定においてより大 きな領域を対象とすることが、必ずしも速度正確度を増すものではないが、「誤 った」ベクトルを測定する機会は減少される。 動作ベクトルのエラーの可能性は、エラーベクトルの分布のサイズより少ない かも知れない。この減少は、動作ベクトルがどのように測定されるかによって変 化するパラメーターN_effectiveによって説明できる。ブロックマッチングではN_{e ffective} は約1である。勾配動作推定ではN_effectiveは測定で使用されるピクセ ルの数と同じくらいの数でありうる。しかし、N_effectiveが、動作推定前のビデ オのプレフィルタリングの影響で、ピクセルの数より少なくなることは、より起 こりうることである。プレフィルタリングによって、ピクセルの効果的な数（N_{e ffective} ）を減少させるピクセル（各ピクセルは独 立していない）が、効果的に増大する。通例、動作ベクトルを計算しそのエラー を推定するのに使われる、画像領域は、使用されたプリフィルターのサイズ（水 平、垂直とも）の3倍であることもある。これによってN_effectiveの値が3²とな りうる。任意数N_effectiveでは、上記で計算されたエラー分布のサイズはN_{effec tive} の平方根を差し引かなければならない。これはN_effectiveの測定を平均化す ることによるエラーを減少させるために生じる、旧知の結果である。このように 、N_effectiveが9の、勾配に基づく通例の動作推定には、測定された動作ベクト ルに起こりうるエラーは、上記で計算されたベクトルエラーの分布より3倍少な い。 １実施例において、平均化したフィルターは95ピクセルが47フィールドライン なので、合計ピクセル数（図10のN_total）は4465個になる。エラー推定で使用さ れる、効果的なピクセル数(N_effective)は、プリフィルタリングが行われる場合 は、ピクセル総数より少ない。この例の勾配動作推定パラメーターの詳細におい て、空間プレフィルターは1/16帯域の垂直イントラフィールドであり1/32帯域の 水平である。エラー推定領域は、水平及び垂直の空間プレフィルターの有効サイ ズの3倍であり、選択された9のエラー推定領域で使用される効果的なピクセル数 を付与する。 動作ベクトル測定エラーの分布を計算するために、まず式１９によってエラー 行列の要素を計算し、次にその固有ベクトルと固有値を計算する必要がある。エ ラー行列の要素は図9の装置で計算してもよい。他の実現も可能であるが、図9が 直送式で有効である。図9への入力、θおよびvnは、図6のように表れることもあ る。図9への動作ベクトル入力、(u,v)は図7のように表れることもあるが、図3や 4またはブロックマッチング動作推定のようなものからでも、同じように得られ る。検索テーブル(1,2)は、図2、7と同様単純なコサイン・サインのテーブルで あり、要求される総和は、移動平均値フィルターのような空間ローパスフィルタ ー(42)を使用して出される。 エラー行列が計算されると（図9など）、入力が、例えばΣ(error².cos²(θ)) ，Σ(error².cos(θ).sin(θ))，Σ(error².sin²(θ))など各自Q₁₁.Q₁₂.Q₂₂で表 されるエラー行列の要素であるところの、図10の実現を使用することによって、 固有値や固有ベクトルが見つけられる。図5にみられるように、2 つの固有値があるので、図10の実現は両方の固有ベクトルを発生するために繰り 返されなければならない。先に述べたように、図5のように、図10の実現は慎重 に構成されているので、索引テーブルの入力は2つ以下でよい。図10において、 索引テーブル1の出力は固有ベクトルに対して直角の方向、つまり（2次元）エラ ー分布の主軸のうちの一つの方向である。索引テーブル2の出力は、索引テーブ ル3の出力によって再測定されると、対応する固有値に反比例する。動作ベクト ルエラー情報の適用の状況によっては、（逆数以外の）固有値の別の機能を使用 してもよい。 図10の分散ベクトル（例:(sx_i,sy_i) i=1,2)は、２次元における各動作ベクト ルの動作ベクトル測定エラーを表している。ビデオ動作ベクトルは（2次元の） ベクトル量なので、測定エラーを表現するのに2つのベクトルが要求される。こ れを実現するにあたり、分散ベクトルはベクトル測定エラーの分布の主軸に沿っ ており、その絶対値はそれら主軸に沿った測定エラーの標準偏差の逆数である。 例えば測定エラーが2次元の正規分布であると仮定すると、動作ベクトルの確率 分布vは式２０で表される。 P(v)=(｜S₁｜・｜S₂｜/2ⁿ).exp(-(((v-v_m)-S₁)²+((v-v_m)S₂)') ここでv_mは測定された動作ベクトルであり、S₁,S₂は2つの分散ベクトルである。 もちろん、動作ベクトル測定エラーが正規分布をもたずに分散ベクトルを有して いても、エラー分布の測定にはなお有用である。絶対値がエラー行列固有値の異 なる機能であるところの分散ベクトルを定義する方が、便利な場合もある。 または、単純化された図10の出力は分散ベクトルではなくスカラでの信頼信号 である。この方が便利な場合もある。そのような信号は図10の索引テーブル3,4 の出力発生であるr_errorから引き出される場合もある。これは動作ベクトル測定 エラーのスカラ表示を提供する。 この信頼信号は、参考4に示されているような、動作が補償された画像補間に おけるグレースフルフォールバックを実現するのに使用されることがある。r_{err or} 信号は、動作ベクトルエラーの、スカラーであり、平均測定である。エラー分 布は等方性であるので、当てはまらない場合もあるかも知れないが、 単純な信頼測定を発生させることができる、と仮定できる。スカラベクトルエラ ー，r_errorは、ビデオ信号の客観的機能であり、引き出された信頼信号はその説 明である。 信頼信号は、正しいと見なされる小さい範囲のベクトルがあると仮定する場合 に発生することもある。このように予め定義されている正しいベクトル範囲は、 それぞれの適用の仕方によって異なる。例えば、真の動作ベクトルの10%内の場 合であれば、動作ベクトルを正しいとみなすことがある。正しいベクトル範囲の 外側では、動作ベクトルにおける信頼が減少する。正しい動作ベクトル範囲は、 r_confidentで説明される信頼領域であり、通例、式２１で定義されている。 r_confident=k.｜v｜+r₀ kは小さい少数(通例10%)、r₀は小さい定数(通例フィールド毎１ピクセル)，｜v ｜は測定された動作速度である。パラメータk,r₀は、最良の結果を得るための検 算途中において調整される。このように、信頼の領域は、小さい定数の時、低速 で入力された測定動作速度に比例している。その後、実際の速度が測定速度の信 頼半径r_confident内であるという確率に基づき、信頼値が各出力動作ベクトル毎 に計算される。これは、正規の確率分布を仮定して決定されることもある。 下記はベクトル信頼度を表現するものである（式22）。 confidence=1-exp(-2/2(r² _confidence/r² _error)) ベクトルエラーを推定する装置の実施例を、図6,9,10に示す。図9の装置は図 ６の装置からの出力を用いてエラー行列を計算する。それら動作ベクトル推定に 前もって発生させられる。図内の、このエラー行列の入力E^t.EはQで表して単純 化した。図10の索引テーブル1,2の中身は次の式で定義される。 「角度(x,y)」関数は、x軸と、点(x,y)との間の角度を与え、正の表示が、固有 解析ユニットを意味し、負の表示がその他のユニットを意味する。 図10の索引テーブル3の入力(Q₁₁+Q₂₂)は次元のあるパラメータ(z)であっ _total.N_effective）で定義される。索引テーブル3の出力は、上記定義された索 引テーブル2の出力を基準化するのに使用できる計数率である。極座標から直交 座標への変換器への入力は、従って、エラー分布の各主軸長の逆数に関係してい る。異なる索引テーブルを使用すると、デカルト座標において直接分散ベクトル を計算することができると思われる。 図10に関連して説明されている装置は、分散ベクトルとスカラでの信頼信号と の両方を発生させることができる。本願は、そのような単独のパラメータ、つま り分散ベクトルかスカラでの信頼信号のいづれか、を発生させる方法と装置とを 達成している。図10の装置における固有解析は、エラー分布の各主軸に両方の分 散ベクトルを出すためには2回行わなければならない。r_errorと、引き出した信 頼信号をを発生させるためには、図10の実現が一度だけ要求される。索引テーブ ル4への入力は索引テーブル1に対するものと同じ(x,y)であ ル3の出力で基準化された索引テーブル4の出力によって、r_errorに、スカラ（等 方性）ベクトルエラーを付与する。このスカラ（等方性）ベクトルエラーは、そ こから信頼信号が索引テーブル5において発生させられるものであり、その中身 は例えば式２２で定義されている。r_errorは、エラー分布の主副 図7と9において、画像サイズ調整は、領域平均化フィルタ(38,39,42)に続いて （フィールド内）空間補間(44)を使用して行われる。画像サイズ調整は追加的な 行為であり、例えばオーバースキャンや縦横率変換に要求される。図6の装置は 、出力標準に対し出力を発生するが、これは画像サイズ調整がないものと仮定し ている。入力から出力標準への変換は（双線形）垂直/空間補間器(20)を使用し て達成できる。表面上は、これら補間器(20)は、サイズ調整に要 求される画像伸縮も行えるように見える。しかし、これが行われると、図7と9の 領域平均化フィルター(38,42)は、サイズ調整因数を用いてサイズを変更しなけ ればならないことになる。これはダイナミックレンジの領域平均化フィルター(3 8,42)を必要とする、大きく画像を拡張するには非常に不便である。画像サイズ 調整は、従って、単純な空間(フィールド内)補間(44)、例えば双線形補間などを 使用する領域平均化フィルター(38,42)のあとに行われる。実際、図6における垂 直/空間フィルターの機能は、主として、出力フィールド率に補間することであ る。線率も変えることの唯一の理由は、定数データ率を維持することである。 実験結果 実験は、基礎の動作推定アルゴリズムをシミュレートするために行われるのであ って(図2,3)、正規化された制約式(図6,7)と、正規化された制約式を伴うマルチ ネス技術と、ベクトル測定エラーの推定(図9,5)を利用して行われた。 シミュレーションは、合成パニングシーケンスを使用して行われた。これは利 便性のためと、正確に知られた動作を発生させることができるという理由から行 われた。16のフィールド長のインターレースされたシーケンンスが、異なる動作 速度のために画像から発生させられる。このシミュレーションから、基礎の勾配 動作推定アルゴリズムがフィールドあたり約±1/4のピクセルの（標準派生）測 定エラーを伴う正確な動作ベクトルを付与する。画像のエッジの測定速度は通常 ゼロに向かう傾向にある。これは使用したフィルターが完全に画像内に納まって いないからである。時として、非現実的に高い速度が、画像のエッジで発生する ことがある。正規化された制約式を使用すると、正規化されていない式と同じ結 果が生まれる。マルチネス技術を用いると、想定されるノイズのレベルによって 様々な結果が生まれる。この技術によれば物が悪くなることはなく、測定速度を ゼロに偏らせることによって悪いケース（および平均値）を大いに減少させるこ とができる。動作ベクトルエラーの推定は真の（測定）エラーと一致する。 例 この例によって、動作が補償された標準変換において使用される勾配動作推定 器を簡潔に説明することができる。この勾配動作推定器への入力は625/50/2:1ま たは525/60/2:1のフォーマットのインターレースビデオである。動作推定器は2 つの入力標準のいづれかに動作ベクトルを生成し、また出力動作ベクトルと同じ 標準でのベクトル精度の表示を行う。動作ベクトル範囲は、フィールドあたり最 低±32ピクセルであるベクトル精度は分散ベクトルおよび信頼信号両方としての 出力される。 勾配動作推定器は、上記図6,7のブロック図式で示されている。分散ベクトル および信頼信号で表される測定エラーの決定は図9,10にみられる。これらブロッ ク図の機能ブロックの特徴は次の通りである： 入力ビデオ： 4:2:2ラスタスキャンされたインターレースビデオ 輝度要素のみ 活動フィールド 720×288または244フィールドラインであって、入力標準 によって異なる 輝度コーディング 10ビット，0から(2¹⁰-1)の範囲を示す、符号なしバイナ リー 時間的ハーフバンドローパスフィルター(14)： 機能:輝度に作用する時間的フィルター。入力がインターレースされている ために垂直/時間的フィルターとして実現される。計数は次の行列で定義される 。列はフィールドを表し、行は（フィールドでなく）ピクチャーラインを表す。 入力:10ビット符号なしバイナリー。0から1023（10進数）の範囲を表す。 出力:12ビット符号なしバイナリー。2分数ビットを伴う0から1023.75（10進 数）の範囲を表す。 垂直ローパスフィルター(12)： 機能:垂直内フィールド,1/16帯域、ローパス、前置フィルターおよびアンチ エイリアスフィルター。カスケード接続された3つの垂直移動和フィルターが16, 12,5のフィールドラインの長さである。このラニング和のカスケードの出力は10 24で割り算して15/16の総合でのD.C.ゲインが付与される。フィルターの総合長 は31フィールドラインである。 入力:時間的ハーフバンドローパスフィルター出力として。 出力:時間的ハーフバンドローパスフィルター出力として。 水平ローパスフィルター(10)： 機能:水平,1/32帯域、ローパス、前置フィルター。カスケード接続された3 つの水平移動和フィルターが32,21,12のピクセルの長さである。このカスケード の出力は8192で割り算して63/64の総合でのD.C.ゲインが付与される。フィルタ ーの総合長は63ピクセル。 入力:垂直ローパスフィルター出力として。 出力:垂直ローパスフィルター出力として。 時間的微分回路(16)： 機能:前置フィルターした輝度信号の時間的微分。インターレース出力のた めの垂直/時間的フィルターとして実行される。 入力:水平ローパスフィルター出力として。 出力:12ビットの2の補数バイナリー。-2⁹から(+2⁹-2^-2)の範囲を表す。 水平微分回路(17)： 機能:前置フィルターした輝度信号の水平微分。連続ピクセル上に係数1/2(1 ,0,-1)を伴う3タップ水平フィルター。 入力:水平ローパスフィルター出力として。 出力:8ビット２の補数バイナリー。-2⁴から(+2⁴-2^-3)の範囲を表す。 垂直微分回路(18)： 機能:前置フィルターした輝度信号の垂直微分。連続フィールドライン上に 係数1/2(1,0,-1)を伴う３タップの、フィールド内垂直フィルター。 入力:水平ローパスフィルター出力として。 出力:８ビット２の補数バイナリー。-2⁴から(+2⁴-2^-3)の範囲を表す。 補償ディレイ(19)： 機能:１入力フィールドのディレイ。 入力、出力:水平ローパスフィルター出力として。 垂直/時間的補間(20)： 機能:入力スキャニング標準と出力スキャニング標準との間の変換。フィー ルド内のカスケード接続、それは、2フィールドライン線形補間および2フィール ド線形補間、例えば垂直/時間的双線形補間である。補間の精度は最も近い1/32 番目のフィールドラインと、最も近い1/16番目のフィールドピリオドまで。 入力:図6と上記説明として。 出力:入力の説明として。 θ：画像明度の空間勾配ベクトルの方向。12ビットの単極バイナリーで0から2π の範囲、例えば量子化ステップが2π/2¹²のスパニング。これは-πから+πの範 囲のスパニングの2補数バイナリーとして。 ｜∇Ｉ｜：画像明度の空間勾配ベクトルの絶対値。12ビットの単極バイナリーで 0から16（ピクセル毎のグレイレベル入力）の範囲の、8分数ビットをともなうス パニング。 n: ｜∇Ｉ｜のノイズレベルであって、ピクセル毎の1から16のグレイレベル入 力に調整可能。 vn:画像明度の方向のピクセルの動作ベクトル。12ビットで、2の補数バイナリー が、フィールドごと-2⁶から(+2⁶-2^-5)の範囲にクリップされている。 極座標から直角座標への変換器(40)： 入力:上記vn および θと同じ。 出力:12ビットで、2の補数バイナリー。-2⁶から(+2⁶-2^-5)の範囲を表す。 索引テーブル1および2(図7,9)： 機能:それぞれコサイン、サインの索引テーブル。 入力:上記θと同様。 出力:12ビットで、2の補数バイナリー。-1から(+1-2^-11)の範囲を表す。領 域平均化フィルター(38,39,42)： 機能:画像領域全体の信号の平均化。47フィールドライン毎で95ピクセル、 フィールド内の移動平均値フィルター。 入力、出力:12ビットの、2の補数バイナリー。 空間的補間器(44)： 機能:空間スキャニングを変換して画像矯正を可能にする。空間的、フィー ルド内双線形補間器。補間の精度は最も近い1/32番目のフィールドラインと、最 も近い1/16番目のフィールドピクセルまで。 入力:12ビットで、2の補数バイナリー。 出力:12ビットまたは8/9ビットで、2の補数バイナリー。 上方補間器は乗算器に12ビットを供給する。 下方補間器は索引テーブルに8/9ビットを供給する（実用的なサイズのテー ブルとするため）。 索引テーブル3から5(図7): 機能:上記式１４で定義されている行列Zを計算する。 パラメータn₁,n₂はテストで調整(約2-5)。 入力:8/9ビットで、2の補数バイナリー。-1から（約）+1の範囲を表す。 出力:12ビットで、2の補数バイナリー。16から(+16-2-5)の範囲を表す。 乗算器および累算器： 入力、出力:12ビットで、2の補数バイナリー。 動作ベクトル出力： 図7の出力。 動作ベクトルは入力フィールドピリオド毎に、入力ピクチャーライン（フィ ールドラインではない）または水平ピクセルいおいて測定される。 動作速度はフールド毎±48ピクセルを越えることは稀であるが余分なビット が上方空間に設けられる。 ラスタースキャンされたインターレースフィールド。 活動フィールドは出力標準による:720ピクセル×288または244のフィールド ライン。 12ビット信号、2の補数コーディング、8つの整数、4つの分数ビット。これ らは-128から(+128-2⁴)の範囲を表す。 分散ベクトルS₁，S₂(図10の出力)： 分散ベクトルは、入力画像シーケンスのエッジに対して平行および垂直な出 力動作ベクトルの測定分散を表す。 分散ベクトルは、絶対値σ^-1であり（σは標準派生を表す）、測定エラーの 予期せぬ分布の主軸の方向を向いている。各分散ベクトルは、それぞれが、-1か ら(+1-2^-7)の範囲で表される補数分数バイナリーを使用してコード化されている 、2つの要素を持っている。 信頼出力： 図10の出力。上記説明した信頼信号の分布。 信頼信号は、「出力動作ベクトル」の信頼性の表示である。信頼1は高い信 頼を表し、0は信頼が無いことを表す。 信頼信号は0から(1-2^-8)の範囲で表される8の分数ビットを伴う8ビット線形 コーディングを使用している。 参考 1. Aggarwal，J.K．& Nandhakumar，N．1988。画像シーケンスからの動作計算 についての評論。Proc．IEEE，vol.76，pp.917-935，1988年8月。 2. Bierling，M.，Thoma，R．1986。階層制御変位推定器を使用した動作補償フ ィールド補間。信号生成，volume 11，No．4,1986年12月，pp.387-404。 Elsevier Science publishers。 3. Borer，T.J.，1992。テレビ標準方式変換。ph.D．Thesis，シェリー大学電 子電気工学部、イギリスGU2 5XH,シェリー，ギルフォード。1992年10月。 4. Borer，T.J.，1995。動画像補間のための追加的動作経路。イギリス特許出 願No．9519311.6，21.09.95出願。 5. Cafforio，C.，Rocca，F．1983．画像動作推定の微分方法。画像シーケンス 処理および動シーン分析(ed.T.S．Huang)。Springer-Verlag，pp103-124,1983. 6. Cafforo，C.，Roca，F.，Tubaro，S.，1990.動作が補償された画像補間。IE EE Trans．on Comm．Vol.38，No．2，2月1990，pp215-222. 7. Dubois，E.，Konrad，J.，1990。動作推定および動作補償のための技術の評 論。前進テレビシステムの第4回国際コロキウム，カナダオタワ,1990年6月。CBC Engineering企画，モントリオール，ケベック，カナダ。 8. Fennema，C.L.，Thompson，W.B.，1979．複数の動物体を含むシーンにおける 速度決定。ComputerVision，Graphics and Image Processing，Vol.9，p:301-31 5，1979. 9. Huange，T.S.，Tsai，R.Y.，1981。画像シーケンス分析:動作推定。画像シー ケンス分析，T.S．Huange（編集者），ドイツ国ベルリン，スピンケフェルラー ク，1981，pp．1-18。 10．Konrad，J.，1990．ATVシステムの動作補償における精度および複雑性の発 行。‘Les Assises Des JeunesChercheurs’書き下ろし。CBCモントリオール， ケベック,6月1990. 11．Lim，J.S.，1990．2次元信号および画像処理。PrenticeHall 1990. ISBN0-13-934563-9，pp497-511. 12．Martinez，D.M．1987。モデルベース動作推定と動作ピクチャーの保持と補 間へのそれの適用。RLE技術レポートNo．530，1987年6月。ResearchLaboratory of Electronics，USA02l39マサチューセッツ州ケンブリッジ，マサチューセッツ 技術協会。 13．Netravali，A.N.，Robbins，J.D．1979。動作補償テレビコーディング。パ ート1，Bell Syst.Tech.J.，vol．58，pp631-670，1979年3月。 14．Paquin，R.，Dubois，E.，1983．時間変更型影像における移行べクトルフィ ールドの補償のための時空勾配方法。ComputerVision，Graphics and Image Processing，Vol.21，1983，pp205-221. 15．Robert，P.，Cafforio，C.，Rocca，F.，1975．微分動作補償のための時間/ 空間帰納。Apie Symp.，カンヌ，フランス,11月1985。 16．Thomson，R．1995。テレビの動作推定および動作測定における問題。テレビ における動作再生のI.E.E.コロキウム。I.E.E.ダイジェスト No.1995/093,1995年5月3日。 17．Vega-riveros，J.F.，Jabbour，K．1986。動作分析技術の評論。Vol. 136，PtI.，No.．6，1989年12月。 18．Wu，S.F.，Kittler，J.，1990．回転、基準化の変更、解釈の、同時推定の 方法。Image Communication，Vo．2，No.1，5月1990，pp69-80.

【手続補正書】特許法第１８４条の８第１項 【提出日】１９９８年１月１２日（１９９８．１．１２） 【補正内容】 請求の範囲 １．ビデオ信号処理に使用される動作ベクトル推定装置であって、複数の画像勾 配を計算する手段と、空間画像勾配ベクトルの向きに対応する角度や、その空間 画像勾配ベクトルの方向の動作速度を時空画像勾配から計算する手段と、前記角 度や動作速度の複数の値から動作ベクトルを発生させるための手段と、を含み、 その特徴とするところが、動作ベクトルを発生させる手段が、複数の画像勾配に 対応する正規化された制約式に基づいて、画像領域に最も適した動作ベクトルを 計算することであるもの。 ２．請求の範囲１で請求されている動作ベクトル推定装置であって、画像勾配を 計算する手段が、時空微分器を含むもの。 ３．請求の範囲１または２で請求されている動作ベクトル推定装置であって、角 度や動作速度の値を計算する手段が、直交座標から極座標への変換器を含むもの 。 ４．前記いづれかの請求の範囲で請求されている動作ベクトル推定装置であって 、動作ベクトルを発生させる手段が、次の式１４の行列の、前もって計算された 値を含む３つの、2入力索引テーブルを含むもの： ５．請求の範囲１から４のいづれかで請求されている動作べクトル推定装置であ って、動作べクトルを発生させる手段が、前記したように前もって計算された値 φ^-1を含んでいる３つの、２入力索引テーブルを含むもの。 ６．ビデオやフィルムの信号処理における動作推定の方法であって、複数の画像 勾配を計算する工程と、画像勾配ベクトルから空間画像勾配ベクトルの向きやそ の空間画像勾配ベクトルの方向の動作速度に対応する角度を計算する工程と、角 度や動作速度の組み合わせの複数の値から動作ベクトルを発生させる工程と、を 含み、その特徴とすることころが、動作ベクトルを発生させる工程が、複数の画 像勾配に対応する正規化された制約式に基づいて、画像領域に最も適した動作ベ クトルを計算する工程を含むことであるもの。 ７．請求の範囲６で請求されているビデオやフィルムの信号処理における動作推 定の方法において、動作ベクトルが次の式１１または１３に基づいて計算さ れるもの：

Claims (1)

1. 【特許請求の範囲】 １．ビデオ信号処理に使用される動作ベクトル推定装置であって、複数の画像勾 配を計算する手段と、空間画像勾配ベクトルの向きに対応する角度（θ）や、そ の空間画像勾配ベクトルの方向の動作速度（ｖｎ）を時空画像勾配から計算する 手段と、θやｖｎの複数の値から動作ベクトルを発生させるための手段と、を含 むもの。 ２．請求の範囲１で請求されている動作ベクトル推定装置であって、画像勾配を 計算する手段が、時空微分器を含むもの。 ３．請求の範囲１または２で請求されている動作ベクトル推定装置であって、θ やｖｎの値を計算する手段が、直交座標から極座標への変換器を含むもの。 ４．前記いづれかの請求の範囲で請求されている動作ベクトル推定装置であって 、動作ベクトルを発生させる手段が、複数の画像勾配に対応する正規化された制 約式に基づいて画像領域に最も適した動作ベクトルを計算するもの。 ５．前記いづれかの請求の範囲で請求されている動作ベクトル推定装置であって 、動作ベクトルを発生させる手段が、次の式１４の行列Ｚの、前もって計算され た値を含む３つの、２入力索引テーブルを含むもの： ６．請求の範囲１から４のいづれかで請求されている動作ベクトル推定装置であ って、動作ベクトルを発生させる手段は、前記したように前もって計算された値 φ^-1を含んでいる３つの、２入力索引テーブルを含むもの。 ７．ビデオやフィルムの信号処理における動作推定の方法であって、複数の画像 勾配を計算する工程と、画像勾配ベクトルから空間画像勾配ベクトルの向きやそ の空間画像勾配ベクトルの方向の動作速度（ｖｎ）に対応する角度（θ）を計算 する工程と、θやｖｎの組み合わせの複数の値から動作ベクトルを発生させる工 程と、を含むもの。 ８．請求の範囲６で請求されているビデオやフィルムの信号処理における動作推 定の方法において、動作ベクトルを発生させる工程が、複数の画像勾配に対応す る正規化された制約式に基づいて、画像領域に最も適した動作ベクトルを計算す ることを含むもの。 ９．請求の範囲６または７で請求されているビデオやフィルムの信号処理におけ る動作推定の方法において、動作ベクトルは次の式１１または１３に基づいて計 算されるもの：