JP2003518671A

JP2003518671A - オプティカル・フローおよび画像形成

Info

Publication number: JP2003518671A
Application number: JP2001548343A
Authority: JP
Inventors: マルティケサニエミ
Original assignee: マルティケサニエミ
Priority date: 1999-12-28
Filing date: 2000-12-20
Publication date: 2003-06-10
Also published as: CN1415105A; AU2378801A; EP1252607A1; ATE298117T1; US20040022419A1; FI19992799A; DE60020887T2; WO2001048695A1; KR20020075881A; FI108900B; EP1252607B1; DE60020887D1

Abstract

(57)【要約】本発明の思想は、オリジナル画像の表面上のオリジナル画像間の点に対する対応の点を一意に決定するフローを生成することである。フローは、オリジナル画像間に形成される新たな画像の全てが同一のオプティカル・フローによって形成可能であるように決定する。フローの各動きベクトルは、前記動きベクトルの周囲の動きベクトルによって規定される動きの許容領域を有し、その境界内で、フローを形成する場合にその方向が変わることができる。従って、動きの領域は追加の制約条件として用いられ、それに合致することがフローの一意性を保証する。フローを形成する場合に、動きおよび平滑性の基準を考慮した相互相関の比率を調整して、追加の制約条件を満たしそうにない場合は動きを考慮した相互相関の比率を抑えるようにすることによって、一意のフローを実現する。これは、好ましくは、追加の制約条件を満たさない場合は相互相関の比率をゼロにするように行わなければならない。

Description

【発明の詳細な説明】

【０００１】（技術分野）本発明は、一般に、デジタル画像処理の分野に関し、更に特定すれば、画像の
動きを認識および分析することに関する。また、本発明は、２つの画像間のオプ
ティカル・フローの測定および、特徴において２つのオリジナルの中間の形態で
ある新たなピクチャの形成に関する。オプティカル・フローは、２つのピクチャ
の対応する画像点を結ぶ動きベクトルから形成される場を意味する。また、本発
明は、画像の解像度すなわち画素数を増大させるためにも用いることができる。

【０００２】（背景技術）デジタル視覚画像形成は、ピクチャの処理および圧縮ならびに新たな視像の形
成のために多くの可能性を提供する。オブジェクトの動きの結果として、通常、
２つの連続画像の間には相違がある。また、デジタル視覚画像形成は、動きの認
識に使用可能である。視覚画像形成の応用範囲は幅広い。すなわち、多種多様な
コンピュータ・ビジョン用途、ビデオ画像の圧縮、臨床における断面画像、解像
度の向上等である。

【０００３】視覚画像形成の最も一般的な機能の１つは、（通常、連続的な瞬間に撮影され
た）２つのピクチャ間の動きの情報を表すことである。例えば、第１のピクチャ
が尾を振る犬を表す場合、第２のピクチャでは、犬の尾の位置は異なる。目的は
、尾の動きに含まれる動き情報を求めることである。これを行うには、ピクチャ
間のオプティカル・フロー、すなわち２つの画像（図１のａおよびｂ）における
対応する点を結ぶ動きベクトル場を規定する。オプティカル・フローが規定され
ると、これを用いて、２つのオリジナルの間の新たな画像、いわゆる中間ピクチ
ャを形成することができる。

【０００４】オプティカル・フローを規定するために多くの従来技術の方法がある。例えば
、勾配に基づく方法および解像度の階層にわたった動きの推定である。他の既知
の方法には、ブロックに基づく方法および、画像内のオブジェクトをマッチング
させる方法（米国特許第５，７２６，７１３号および米国特許第４，７９６，０
８７号）が含まれる。しかしながら、これらの方法は、勾配に基づく方法と同様
の高い解像度のフローを生成することができない。いわゆる特徴に基づく方法は
、２つの画像間の対応する特徴を認識し結び付けることに基づいており、それ自
体で１つのカテゴリにある。しかしながら、何らかの一般的な特徴の分類を行う
ことは難しく、そのために、特徴に基づく方法の実現性は、処理対象のピクチャ
材料に大きく依存する。

【０００５】勾配に基づく方法（米国特許第５，２４１，６８号）は、２つの画像間の動き
ベクトル場を形成し、画像を結び付けて、結合した画像点の値の差（例えば明る
さの差）の平方和を最小限に抑える（動きを考慮に入れた相互相関を最小限に抑
える）ようにすることを目的とする。しかしながら、この条件は、生成するフロ
ーを一意に求めるには十分ではない。追加の条件として、フローの平滑性、すな
わち第１のピクチャにおける点間の距離が第２のピクチャにおいてもほぼ同じで
なければならないという要件を用いる。

【０００６】フローに対する平滑性の基準は、いわゆるオクルージョン点における問題を生
じる。この場合、ピクチャ内に存在するオブジェクトは、ピクチャ内の別のオブ
ジェクトの上に位置するように動く（図２、基準ｏ）。これらの点において、オ
プティカル・フローは平滑ではない。それによって生じる問題を避けるために、
画像内で表現されるオブジェクトの縁点であると推定可能な点では平滑性の基準
を用いないということが試みられている。例えば、縁点と同様に、点を分類する
際に、画像のグレー・スケールの急激な変化および規定されるフローの特性を用
いることができる。

【０００７】オプティカル・フローが平滑でないため、従来技術の方法は、あらゆる中間ピ
クチャを別個に算出しなければならず、このために、必要な中間画像数に応じて
、要求される演算および処理に要する時間が増大する。本発明の目的は、従来技
術のこれらの欠点を軽減することである。

【０００８】（発明の開示）本発明の目的は、特許請求の範囲に述べられるように達成される。本発明の思
想は、オリジナル画像の表面上の点に対応する中間画像内の点を一意に決定する
フローを生成することである。換言すれば、中間画像内の各点は、オリジナル・
ピクチャの双方において対応する点を１つ有する。フローは、オリジナル・ピク
チャ間に形成される新たなピクチャの全てが同一のオプティカル・フローによっ
て形成可能であるように決定する。フローの各動きベクトルは、前記動きベクト
ルの周囲の動きベクトルによって規定される動きの許容領域を有し、その境界内
で、フローを形成する場合にその方向が変わることができる。従って、動きの領
域は、本発明において追加の制約条件として適用され、それに合致することがフ
ローの一意性を保証する。画像情報は、追加の制約条件に反する（オクルージョ
ン点等の）領域を含むことが多いので、これらの領域の一意性を保証することは
、フロー全体の一意性を保証することになる。フローを形成する場合に、動きお
よび平滑性の基準を考慮した相互相関の比率を調整して、追加の制約条件を満た
しそうにない場合は動きを考慮した相互相関の比率を抑えるようにすることによ
って、一意のフローを実現可能である。これは、好ましくは、追加の制約条件を
満たさない場合は相互相関の比率をゼロにするように行わなければならない。

【０００９】本発明の方法では、１つのフローによって無制限の数の新たな画像を形成可能
であるので、この方法は、とりわけ、従来よりも効率的な画像集合の圧縮方法を
可能とする。本発明は、フローを求める際に、迅速に収斂すると共に計算処理的
に軽いアルゴリズムの使用を可能とし、これによって、新たな画像の生成が直接
関係しない用途にも本発明を実施することが好都合となる。更に、本発明は、例
えば、オリジナル画像の拡大を可能とし、この拡大画像は、従来技術の方法によ
って拡大された画像よりも人の目に快いものである。

【００１０】（発明の詳細な説明）以下で、添付図面に記載した図１から１５の例を参照して、本発明について詳
細に説明する。

【００１１】以下で、本発明の数学的な背景について説明する。記載する数式の多くは以前
から既知であり、そのため、それらに対応する他の等式も、例えば費用関数の算
出および反復法のための当分野の文献において見出される。本発明を理解し説明
するためには、更に別の数学的な検討が必要である。ベクトルは、この文書では
太字で示す。この文脈では、オプティカル・フローおよび新たな画像を求めるた
めに２つの画像を用いることについて検討するが、これより多い数の画像を用い
ることも可能であり、その場合、画像に表れるノイズ部分を除去することができ
る。

【００１２】２つの画像間のオプティカル・フロー（図１）を求めることは、２つの変数の
最適化の作業として表すことができる。この場合、最小化する関数の変数の相互
関係を選択しなければならない。（また、用途に応じて、これより多くの量の変
数がある場合もある。）すでに述べたように、通常、勾配に基づく方法における
変数として、画像点の値の差の平方和およびフローの平滑性を用いる。従って、
目的は、一方ではフローによって結ばれた画像点すなわち画素の値（例えば明る
さの値）の差および、他方ではフローの平滑性、すなわち第１の画像において隣
接する点を第２の画像においても互いに隣接してマッピングする要件を、最小限
に抑えることである。

【００１３】画像の間に、個々の動きベクトルＬ（図３）から成るベクトル場を形成する。
各ベクトルの支点ｋが画像ａおよびｂの中間になるように、画像間でベクトル場
を固定する。点ｋ＝（ｘ，ｙ）で固定した動きベクトルは、点ｋ＋ｔ＝（ｘ＋ｕ
，ｙ＋ｖ）］およびｋ−ｔ＝（ｘ−ｕ，ｙ−ｖ）で画像面を横切る。ここで、ｔ
は、画像の表面に直行する位置からの動きベクトルのシフトである。

【００１４】ベクトル場を連続的なものとして考える。この場合、最小化する等式は、以下
の通りである。

【００１５】

【数１】ここで、積分方程式内の汎関数は、以下の通りである。

【００１６】

【数２】ここで、ｇ₁は第１の画像の画素の値であり、ｇ₂は第２の画像の画素の値であり
、ｕ_x、ｕ_y、ｖ_x、ｖ_yは下付添字に関連する偏導関数である。

【００１７】最小化する汎関数は、一方では、平滑性の基準すなわちフローの偏導関数の和
ｕ_x ²＋ｕ_y ²＋ｖ_x ²＋ｖ_y ²から成り、他方では、（ｇ₁（ｘ＋ｕ，ｙ＋ｖ）−ｇ₂（
ｘ−ｕ，ｙ−ｖ））²を考慮した相互相関基準から成る。基準の相互関係は、パ
ラメータαによって求められる。

【００１８】汎関数Ｊの最小値は、変分法を用いることによって、ｕおよびｖに対するＪの
変化量をゼロと設定することによって求めることができる。この制約によって、
以下の等式が満足される。

【００１９】

【数３】

【数４】式（１−３ａ）および（１−３ｂ）における第１の項は、以下の形態として書
くことができる。

【００２０】

【数５】

【数６】式（１−３）における後者の項は、以下のように表すことができる。

【００２１】

【数７】

【数８】式（１−３）に式（（１−４）および（１−５））を代入すると、以下が得ら
れる。

【００２２】

【数９】

【数１０】ここで、フローのラプラス関数は、∇²ｕ＝ｕ_xx＋ｕ_yyおよびｖ²＝ｖ_xx＋ｖ_yyで
ある。

【００２３】計算にどの数学的方法を用いるかに応じて、ラプラス関数は、例えば項∇²ｕ
≒ｕ（バー）−ｕおよび∇²ｖ≒ｖ（バー）−ｖによって近似することができる
。ここで、以下が成り立つ。

【００２４】

【数１１】ここで、ｕ（ｘ＋ｉ，ｙ＋ｉ）は、点（ｘ，ｙ）を囲む計算点である。同じこと
が、（挿入）にも当てはまる。この検討では計算点の数は４であるが、これは、
例えば８とすることも可能である。図７において、考慮している点ｋを囲む４つ
の隣接点が、破線によって結ばれている。この隣接点を計算に用いる。計算に８
つの周囲の計算点を用いた場合、考慮している点ｋを囲む各点は、（挿入）およ
び（挿入）の値に影響を及ぼす。

【００２５】従って、フローは、以下の反復プロセスによって、式（１−６）を最小化する
ことで求めることができる。

【００２６】

【数１２】

【数１３】ここで、γは、反復において用いる緩和パラメータであり、新たな動きベクトル
値における更新項の比率を決定する。

【００２７】いったん式（１−８）に従ってフローが求められたならば、既知の画像間の画
像内の画像点の値すなわち色（または例えばグレー・スケール）を求めることが
できる。オリジナル画像間の中間の画像における画像点の値は、動きベクトルお
よび画像の交差に基づいて得られる。画像間の中間に位置しないオリジナル画像
間の点の値を規定したい場合は、この画像点を通過する動きベクトルを最初に求
め、その後、オリジナル画像の点から、所望の点の値を補間する。前記ベクトル
は、例えば、以下の反復アルゴリズム（図４および５）によって求めることがで
きる。すなわち、固定点（ｙ，０）が、求める点（ｘ，ｚ）と同じように画像に
直交する線上にある動きベクトルＬ０を選択し（ステップ５１）、この動きベク
トルと、画像の方向を有する面上の求める点との間の距離ベクトルｅ０を求め（
ステップ５２）、新たな動きベクトルＬ１として、固定点（ｙ１，０）が、以前
の動きベクトルの固定点（ｙ，０）から、逆方向に、前のステップで求めた距離
ベクトルで示される距離（−ｅ０）にあるベクトルを選択し（ステップ５４）、
これらのステップを、距離ベクトルの値が十分に小さいと見なされるまで繰り返
す（ステップ５３）。最後に、選択した動きベクトルに基づいて、画像面上の新
たな点の値を求める（ステップ５５）。動きベクトル場は、補間によって連続的
とすることができる。すなわち、固定点間の動きベクトルは、周囲の固定点を通
過する動きベクトルの値から補間によって形成される。従って、オリジナルの固
定点を通過する動きベクトルまたはそれらの間を補間した動きベクトルを用いて
、新たな画像を形成することができる。

【００２８】求めた点の座標を（ｘ，ｚ）として表し、この点を通過する動きベクトルの固
定点の座標を（ｙ，０）として表すことで、前者を以下のように表すことができ
る。

【００２９】

【数１４】ここで、ｙ_nおよびｙ_n-1は、動きベクトルの固定点の新しい候補およびその前の
候補であり、ｔ＝［ｕ，ｖ］である。係数ｃは、先の更新に依存した変更可能な
更新係数である。アルゴリズム（２−１）の収斂を調べてみる（ｃ＝１と想定す
る）。どんな条件がベクトル場のシフトに課せられるとアルゴリズムがこの状況
を生じさせるのかを調べる。

【００３０】

【数１５】すなわち、以下が真である。

【００３１】

【数１６】ここで、−１≦ｚ≦１である。初期誤差は以下の通りである。

【００３２】

【数１７】第１の反復の後、以下となる。

【００３３】

【数１８】従って、以下の誤差が与えられる。

【００３４】

【数１９】同様に、ｎおよびｎ＋１回目の誤差は、以下のように得られる。

【００３５】

【数２０】得られた誤差ベクトルｅ_nおよびｅ_n+1の長さの比は、以下のようになる。

【００３６】

【数２１】ａ≡ｘ−ｔ（ｙ_n）・ｚおよびｂ≡ｙ_nを置換することで、式（２−８）は、以下
の形態として書くことができる。

【００３７】

【数２２】式（２−９）は、画像の表面上でその最小および最大に達する（ｚ＝±１）。
このアルゴリズムが全ての値−１≦ｚ≦１について収斂するためには、以下が真
でなければならない。

【００３８】

【数２３】ベクトルの長さは、計算にどの数学的方法を用いるかに応じて、様々な方法で
表すことができる。好適な方法には、例えば１ノルムまたは無限ノルムの使用が
含まれる。１ノルムでは、ベクトルの長さはベクトル成分の長さの和であり、｜
ｔ｜＝｜ｕ｜＋｜ｖ｜である。有限ノルムでは、ベクトルの長さは最大ベクトル
成分の長さであり、｜ｔ｜＝ｍａｘ｛｜ｕ｜，｜ｖ｜｝である。１ノルムを用い
ることによって、式（２−１０）の左辺は以下の形態として書くことができる。
ここで、ａ＝（ａ₁，ａ₂）およびｂ＝（ｂ₁，ｂ₂）である。

【００３９】

【数２４】式（２−１１）の右辺は、ベクトル場ｔの差分係数の重み付けした和に対応す
る。従って、以下が真である。

【００４０】

【数２５】ここで、０≦ｒ≦１である。ｒの全ての値について式（２−１２）を満足させる
ために、以下が真でなければならない。

【００４１】

【数２６】

【数２７】ここで、ｔ（ｘ，ｙ）＝［ｕ（ｘ，ｙ），ｖ（ｘ，ｙ）］である。

【００４２】従って、式（２−１）に記述したアルゴリズムは、求めるフローに対して追加
の制約を課す（２−１３）。これに従って、２つの隣接している動きベクトルの
シフト間の差の絶対値は、同じ隣接している動きベクトルの固定点間の距離より
も小さくなければならない。追加の制約は、平滑性基準が最小化しようとするフ
ローの偏導関数に関係するので、この制約を満足させることは、更新において相
互相関を表す項の比率を低くすることによって保証することができる。式（２−
１３）の制約は、式（１−８）のパラメータαを、例えば式（３−１）から得ら
れるパラメータによって置換することで、実現可能である。

【００４３】

【数２８】ここで、ｄは固定点間の距離である。

【００４４】式（３−１）の偏導関数｜ｕ_x｜、｜ｕ_y｜、｜ｖ_x｜、および｜ｖ_y｜の絶対値
は、例えば以下の式によって近似することができる。

【００４５】

【数２９】ここで、動きベクトルのシフトとその最も近くに隣接するもののシフトとの差を
算出する。シフトの最も大きい差は、動きの領域の境界からの動きベクトルの最
短距離を示す。従って、起こり得るシフトの最大の差は、固定点間の距離に等し
い。また、導関数を近似する方法は他にもある。例えば、検討中の動きベクトル
に対する隣接した動きベクトルのシフトの差を算出する。すなわち｜ｖ（ｘ，ｙ
＋１）−ｖ（ｘ，ｙ−１）｜である。ここで、検討中の実際の動きベクトルのシ
フトは、導関数を求めるために用いられない。

【００４６】式（３−１）において重要なのは、偏導関数が増大するとａの値が低下すると
いうこと、ならびに、制約（２−１３）を破ると、更新項において動きを考慮し
た相互相関の比率がゼロになるということである（図２を参照）。換言すると、
フローを反復している場合、各動きベクトルごとに、追加の制約を破る限度まで
の最短距離を算出し、それに従って、動きを考慮した項の重みを更新する。ここ
で、式（１−８）は、以下のような形態として書くことができる。

【００４７】

【数３０】

【数３１】ここで、η_Dは、平滑性基準の単位パラメータであり、η_Xは、動きを考慮した相
互相関の単位パラメータである。

【００４８】図６は、動きベクトルの動きの許容領域ＭＡ内のパラメータａの変化を示す。
動きベクトルが画像面と直交する場合、パラメータａの値をｃとする。この状況
では、動きベクトルは動き領域の中間に位置する。動きベクトルのシフトが増大
し、それが動き領域の境界に近づくと、図からわかるように、パラメータａの値
は低下する。図に示すように、この低下は、用途に応じて、線形または非線形と
することができる。

【００４９】図７から９を用いて、追加の制約について検討する。図７は、制約ファクタが
、隣接している固定点Ａに固定された動きベクトルである場合の、点ｋに固定さ
れた動きベクトルが画像面と交差する許容領域を示す。また、固定点に従って、
この動きベクトルをＡと表示する。Ａは既知であると仮定し、従って、点Ａに固
定された動きベクトルを点ｋにシフトすることによって（シフトした動きベクト
ルをＡ’と呼び、図において破線で示す）、点ｋに固定された動きベクトルの許
容シフト領域に及ぼすＡの制約的な影響を求める。許容シフト領域Ｓ（図におい
て陰影線で示す）は、画像および動きベクトルＡ’の交差からの、画像および点
ｋに固定した動きベクトルの交差の距離が、点Ａとｋとの間の距離よりも短くな
るように決定する。図を検討する場合、画像面は固定点の面とは異なることに留
意されたい。換言すると、固定点の面が動きベクトルに沿って画像面上にシフト
し、更に、全ての動きベクトルが同じ方向を有する（この場合、Ａの方向）場合
、許容シフト領域Ｓは、制約ファクタが１つの既知の動きベクトルＡである場合
に点ｋを通過する検討中の動きベクトルについて得られる。計算では４つの周囲
の固定点を用いるので、許容領域は正方形の形状を有し、そのかどに、隣接する
固定点を通過する動きベクトルが位置する。破線で示した正方形は、動きベクト
ルＡがシフトせずに動きベクトルが画像面と直交する状況を示す。動き領域の形
状は、必ずしも正方形である必要はなく、正方形の縁は湾曲していても良く、ま
たは、この領域は円形である場合もある。しかしながら、それらの最大値におい
て、動き領域の境界は、計算において用いる隣接点を通過しなければならない。

【００５０】図８は、点ｋを通過する動きベクトルに対する４つの最も近い隣接固定点（Ａ
、Ｂ、ＣおよびＤ）の動きベクトルの影響を示す。画像面上の許容領域Ｓは、陰
影線で示す。図９は、オリジナル画像の画像面上での動きベクトルの交差の許容
領域を示す。

【００５１】（本発明の第１の実施形態）以下は、一例として、本発明を、２つの既知の画像間のオプティカル・フロー
を求め（図１０）、このフローおよびオリジナル画像によって前記画像間の新た
な画像を形成する状況（図４および１１）において実施した場合を示す。

【００５２】まず、処理対象の画像を、フロー決定システム内に導入する。この段階で、サ
ンプリング・マトリクスのサイズ、すなわち画像をデジタル化する画素数を選択
する。次のステップとして、サンプリング・マトリクスによって規定される各画
素の値を、画像から算出する（図１０、ステップ９１）。この値は、例えば、色
または灰色の色調とすることができる。どの変数を用いるかは、状況に応じて選
択することができる。

【００５３】固定面上での点の数（すなわち動きベクトルの数）は、画素数よりも少なく選
択することが好ましい（ステップ９２）ので、デジタル化画像は、例えば、ガウ
ス関数を用いた畳み込みによって低域フィルタリングをかける（これが好ましい
が、このフィルタリングは、何らかの他の方法でも実施可能であり、または完全
に省略することも可能である）。ガウス関数は分離可能であり、そのため、畳み
込みは、まずｘ方向で計算し、その後ｙ方向で計算することができる。これは、
両方向の畳み込みを計算するよりも迅速である。従って、用いるフィルタリング
関数の大きさは、動きベクトルの数（すなわち、動きベクトル間の距離）に依存
する。フィルタリングに関連付けて、導関数および所望の画素値を、双方の画像
の表面からメモリに格納する。これは、例えば、各表面座標の方向の最大の導関
数（ｇ’max＝ｍａｘ｛ｇ’1,1,ｇ’2,1，ｇ’1,2，ｇ’2,2｝）および、画像間
の最大および最小の画素値（ｇmin＝ｍｉｎ｛ｇ1，ｇ2，｝，ｇmax＝ｍａｘ｛ｇ
1，ｇ2｝，）である。これらの値を用いて、単位パラメータη_xの最大許容値を
決定する（ステップ９３）。この値によって、所望のオプティカル・フローを求
める場合の収斂の速度が影響を受ける。

【００５４】上述の画像処理の後、画像の中間点までの固定面およびその中の固定点を決定
する（ステップ９４）。また、固定面は、中間部とは別の点にある場合があるが
、中間部に形成された面を用いることが最も好都合である。第１のオリジナル画
像が固定面として機能する場合、第２の画像のみから導関数を算出すれば十分で
あることを注記しておく。固定点の数は、フィルタリングに関連付けて決定され
る動きベクトルの数と同じである。また、動きベクトルの固定は、もっと早いス
テップで実行することも可能である。

【００５５】その後、各固定点に位置する各動きベクトル（ｋ＝（ｘ，ｙ））ごとに、（ａ）動きベクトルおよび画像の交点における画像の画素値、導関数、およ
び動きベクトルのシフトを求める。第１の画像についてはｋ＋ｔ（ｘ）、第２の
画像についてはｋ−ｔ（ｘ）である（ステップ９５）。導関数は、２つの隣接す
る画像点の値の差を算出することで得られる。動きベクトルの最初の方向は、画
像面と全く逆とすることができるが、動きベクトルの方向に関して早期の情報が
利用可能であれば（例えば以前の画像対によって時間の流れに沿って算出される
動きベクトル場）、これを利用することができる。

【００５６】（ｂ）動きベクトルのシフトｔ（ｘ）と周囲の動きベクトルのシフトの平均
値との差を算出することによって、表現のラプラス関数を算出する（ステップ９
６）。ラプラス関数の値は、動きベクトル場の非平滑性を示す。すなわち、これ
は、平滑性を反比例して示す。

【００５７】（ｃ）追加の制約（式３−１）、すなわち、動きベクトルのシフトｔ（ｘ）
と周囲の動きベクトルのシフトとの差を算出し、これらの最大のものを選択する
（ステップ９７）。

【００５８】（ｄ）その後、上述の式（３−３）で算出した数量を置換することで、点ｋ
＝（ｘ，ｙ）に位置する動きベクトルについて、新たなシフトｔ（ｘ）を更新し
（ステップ９８）、これに従って、ステップ（ｃ）で算出した追加の制約によっ
てパラメータａが変化する際に、個々の動きベクトルの方向を更新する。全ての
線の位置を同時に更新した場合（ヤコビ反復）、または動きベクトルの位置をす
ぐに変更した場合（ガウス−ザイデル法反復）、結果をメモリに格納する。

【００５９】その後、ステップ（ａ）から（ｄ）を１０から１５回繰り返すか、または、表
現の変化が十分に小さいと見なされるまで繰り返す（ステップ９９）。

【００６０】いったん、所望の数の動きベクトルを含むオプティカル・フローがこのように
達成されたならば、動きベクトルの数を増やすことができる。すなわち、オプテ
ィカル・フローの解像度を高めることができる（ステップ９１０および９１１）
。追加する新たな動きベクトルの最初のシフトは、以前の動きベクトルのシフト
間を補間することによって得られる。このプロセスは、動きベクトルの数（互い
の距離）を選択し低域フィルタリングを行うことで、再び開始される。かかる処
理は、所望のベクトル密度が達成されるまで、すなわち、画像間にオプティカル
・フローが形成されるまで、継続される。

【００６１】このフローおよびオリジナル画像によって、式（２−１）（図４および５）に
よって表される方法を用いて、新たな画像（または複数の新たな画像）を算出す
る。新たな画像／複数の新たな画像を形成するための代替的な方法は、所望の面
ｚに対するオプティカル・フローの個別の各動きベクトルごとに画像点の値を補
間することである。換言すれば、面ｚ上の動きベクトル点の値は、第１の画像と
動きベクトルとの交点および第２の画像と動きベクトルとの交点の値から補間に
よって求められる。従って、この方法では、動きベクトル点の値は、ｚの所望の
値によって算出する（図１１）。

【００６２】フローおよび新たな画像を求めることについて、２つのオリジナル画像を用い
たこの例で検討したが、オプティカル・フローおよび新たな画像を求めるために
、３つ以上の画像を利用することも可能である。かかる状況では、計算および方
法は、当然、上述のものから変更しなければならない。

【００６３】（本発明の第２の実施形態）本発明は、エイリアシングのある画像を拡大する際にも利用することができる
。この文脈では、エイリアシングのある画像とは、画像に含まれる周波数に比べ
てサンプリング周波数が小さい画像を指す。エイリアシングのある画像を拡大す
る場合、従来の補間に比べて、図１２による利点が達成される。換言すれば、陰
影のある画像の形成が少なくなる。

【００６４】図１２において、オブジェクトＡは、直交方向に２倍に拡大されている。オブ
ジェクトＢは、従来の補間方法によって得られた結果を表し、オブジェクトＣは
、オプティカル・フローによって得られた補間の結果を表す。

【００６５】エイリアシングのある画像を拡大する場合、新たな画像は２つの画像間の補完
におけるのと同様に求められる。しかしながら、ここでは、新たな画像は、２つ
の画像間ではなく、いわば画像内で、画像点の２つの隣接する行／列間で求めら
れる。ここでは、すでに述べた式は、以下の形態になる。

【００６６】

【数３２】および、

【数３３】この場合、

【数３４】ここで、ｄは、固定面上の動きベクトルの固定点間の距離であり、ｘは、動きベ
クトルの固定点であり、ｕは、直交位置からの動きベクトルのシフトである。

【００６７】また、式（４−３）以外に、検討中の点ｘにおける導関数を近似する何らかの
式を用いることができる。その例は以下の通りである。

【００６８】

【数３５】従って、ここでは、導関数の近似は、検討中の点の動きベクトルのシフトと隣接
する動きベクトルのシフトとの差からではなく、隣接する動きベクトルのシフト
間の距離から求められる。図１３は、２つの画像点の行／列ｇ₁およびｇ₂間に形
成される動きベクトルの例を示す。

【００６９】更に、新たな画素を算出するために、以下のアルゴリズムを用いることができ
る。

【００７０】

【数３６】ここで、ｚは、動きベクトルの固定点面から算出される画像面の距離である。

【００７１】以下は、単一の画像が既知であり、画像内の各隣接画素行および列のオプティ
カル・フローを求め、このフローおよびオリジナルの画素行および列によって新
たな画素行および列を算出する状況において、この方法を実施した例であり、図
１４ａを参照する。

【００７２】まず、処理対象の画像を、フロー決定システム内に導入する。この段階で、画
像がすでにデジタル化形態になっていなければ、サンプリング・マトリクスのサ
イズ、すなわち、画像をデジタル化する画素数を選択する。次のステップとして
、各画素の値を、画像から測定する（ステップ１３１）。この値は、例えば、色
または灰色の色調とすることができる。どの変数を用いるかは、状況に応じて選
択することができる。

【００７３】動きベクトルの数を選択し、例えばガウス関数を用いた畳み込みによって、２
つの最初の画素行を低域フィルタリングにかける（ステップ１３２）。フィルタ
リングに関連付けて、画像面の双方の方向における最大の導関数ｇ’max＝ｍａ
ｘ｛ｇ’1,11，ｇ’2,1，ｇ’1,2，ｇ’2,2｝）ならびに画像間の最大および最
小の値の差（例えば、グレー・スケール値ｇ_min＝ｍｉｎ｛ｇ₁，ｇ₂｝，ｇ_max＝
ｍａｘ｛ｇ₁，ｇ₂｝）をメモリに格納する。導関数は、２つの隣接する画像点の
灰色の色調間の差を算出することによって得られる。起こり得る行の最大の更新
シフトができるだけ大きいが制約に反しないように、パラメータα₀を設定する
。例えば、α₀＝ｄ／（ｇ’max・（ｇmax−ｇmin））とする（ステップ１３３）
。

【００７４】上述の画像処理の後、画像行の中間点まで、固定面およびその中の固定点を決
定する（ステップ１３４）。固定点の数は、フィルタリングに関連付けて決定さ
れる動きベクトルの数と同じである。また、動きベクトルの固定は、もっと早い
ステップで実行することも可能である。

【００７５】各動きベクトル（各固定点に固定されている）に、以下の手順を行う。

【００７６】（ａ）動きベクトルおよび画素行の交点における画像点の値、動きベクトル
のシフト、および導関数を求める。第１の行についてはｘ＋ｕ（ｘ）、第２の行
についてはｘ−ｕ（ｘ）である（ステップ１３５）。

【００７７】（ｂ）例えば、動きベクトルのシフトｕ（ｘ）とその側面に位置する動きベ
クトルのシフトの平均値との差を算出することによって、ラプラス関数、すなわ
ち表現の平滑性を算出する（ステップ１３６）。

【００７８】（ｃ）追加の制約を算出する（ステップ１３７）。すなわち、動きベクトル
のシフトｕ（ｘ）と隣接する動きベクトルのシフトとの差を求め、これらのうち
最大のものを選択する。

【００７９】（ｄ）上述の式（４−１）で数量を置換し、従って、追加の制約がパラメー
タａを変化させ、動きベクトルのシフトが更新される（ステップ１３８）。

【００８０】その後、各動きベクトルについてステップ（ａ）から（ｄ）を行い、それらを
１０から１５回繰り返すか、または、表現の変化が十分に小さいと見なされるま
で繰り返す（ステップ１３９）。

【００８１】その後、所望ならば動きベクトルの数を増やし（ステップ１３１０および１３
１１）、新たな低域フィルタリングによってプロセスを再び開始する。追加する
新たな行の最初のシフトは、以前の行のシフト間を補間することによって得られ
る。所望の行密度が達成されるまで、上述のプロセスを繰り返す。

【００８２】いったん、２つの最初の画素行間のフローを形成して格納したならば、次の画
素行対に進む（図１４ｂ、ステップ１３１２および１３１３）。新たな画素行対
に、最初の行対に行ったものと同じ動作を行うが、以前の第２の行が今度は第１
の行になるという点が異なる。このため、後者の行にのみフィルタリングを繰り
返さなければならない。

【００８３】上述のように、画像内の各画素行対を処理し、その後、この方法は、画素列の
処理へと進む（ステップ１３１４および１３１５）。図における画素列対も、同
様に処理する。

【００８４】所望の新たな画素行および列を、上述の方法のいずれかによって、フローおよ
びオリジナル画素によって算出する（式４−５、図４または図１１）。

【００８５】メモリの空き容量を節約するため、新たな画素行および列は、フローの決定の
直後に算出することも可能であり、従って、フローの格納の代わりに新たな画素
行／列の形成を行う。

【００８６】また、画素行および列を同時に算出することで、解像度を高めるために必要な
フローを形成可能である。例えば添付の図１５に従って、計算対象の動きベクト
ルから、二次元フロー行列を形成する。行に対応するベクトルの固定点をＲで示
し、列に基づいて算出されるベクトルの固定点をＳで示す。固定点は、図におい
て明瞭な線で相互に接続されている。空の点は、オリジナル画像における点であ
る。

【００８７】この接続では、矩形の画素座標集合を検討したが、画素行は、４５度の角度に
して、これらの行の間に新たな画素を形成することも可能である。この状況では
、フローおよび新たな画像を求めるために、３つ以上の画素行／列を用いること
も可能である。

【００８８】従来技術と比較して、本発明は、各中間画像を別個に計算する必要がないとい
う事実のために、計算時間がかなり短くて済む。また、本発明は、オクルージョ
ン点において制約が破られた際に動きを最小化する項を抑制するために、画像間
に相当な変化が可能となる。更に、この方法は、自動調整（重み関数の変化）の
ために、極めて強固である。

【００８９】本発明は、極めて幅広い用途を有する。オプティカル・フローの動き情報は、
例えば、新たな画像の補間または外挿、画像シーケンスの品質向上、およびカメ
ラによる速度測定のために使用可能である。また、対応する画像点の決定は、立
体像対に基づいた３次元画像の形成に関わっている。画像に基づく動きの認識は
、コンピュータ・ビジョンのいくつかの用途において用いられる。また、動き情
報は、画像集合における画像の変更および、画像集合の送信に必要な情報の提言
すなわち圧縮のために使用可能である。この方法によって、１つのフローを用い
て無制限の数の新たな画像を形成可能であるので、従来技術の方法よりも、画像
圧縮が更に有効になる。

【００９０】制約の実現を伴うという事実によって、フローを求める際に、迅速に収斂する
と共に計算処理的に軽いアルゴリズムの使用を可能とし、これによって、新たな
画像の生成が直接関係しない用途にも本発明を実施することが好都合となる。

【００９１】また、この方法は、画像の解像度を向上させ、ビデオ画像から高品質の静止フ
レームを生成するために使用可能である。

【００９２】以上、本発明について、２つのオリジナル画像間で画像を形成する例およびエ
イリアシングのある画像を向上させる例によって主に説明したが、本発明は、そ
の思想の範囲内で、他の実施形態で実施することも可能である。例えば、フロー
を決定し新たな画像を形成するために、３つ以上の画像を用いることも可能であ
る。

【図面の簡単な説明】

【図１】２つの画像間のオプティカル・フローの例を示す図である。

【図２】オプティカル・フローのオクルージョン点の例を示す図である。

【図３】本発明によるフローの個々の動きベクトルの決定および動きベク
トルのシフトを示す図である。

【図４】本発明による新たな画像内の画像点を通過する動きベクトルの検
索の例を示す図である。

【図５】新たな画像内の画像点の値の検索をフロー・チャートの形態で示
す図である。

【図６】動きベクトルの動きの許容領域内の相互相関部分の重み係数の変
化を示す図である。

【図７】制約ファクタが単一の隣接動きベクトルである場合の、画像面上
の個々の動きベクトルの許容領域を示す図である。

【図８】制約ファクタが４つの隣接動きベクトルによって構成される場合
の、画像面上の個々の動きベクトルの許容領域を示す図である。

【図９】双方の画像面上の個々の動きベクトルの許容領域を示す図である
。

【図１０】本発明によるオプティカル・フローの形成例をフロー・チャー
トの形態で示す図である。

【図１１】新たな画像面上に新たな画像を形成する例をフロー・チャート
の形態で示す図である。

【図１２】従来技術の方法および本発明の方法によるエイリアシングのあ
る画像の拡大を一例として示す図である。

【図１３】２つの画素行／列間に形成される動きベクトルの例を示す図で
ある。

【図１４ａ】本発明による新たな拡大画像の形成例をフロー・チャートの
形態で示す図である。

【図１４ｂ】本発明による新たな拡大画像の形成例をフロー・チャートの
形態で示す図である。

【図１５】画素行および列を同時に処理する場合の本発明による画像拡大
を示す図である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ，ＴＲ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＢＺ，ＣＡ，ＣＨ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＤＺ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＭＺ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ

Claims

【特許請求の範囲】

【請求項１】画像処理に関連付けて少なくとも２つの画像間の動きベクト
ルから成る動きベクトル場を形成するための方法であって、前記動きベクトル場
は少なくとも２つの基準に関連してそれを最小化することで形成され、第１の基
準は前記画像間の動き情報を表し、第２の基準は前記動きベクトル場の平滑性を
表す方法において、前記動きベクトルに許容される方向の変化の限界値を動きベクトルに特定的に
決定する追加の制約を、前記動きベクトル場を形成する際に用い、更に、前記動
きベクトル場を形成する際に、前記限界値に近づくと、動きベクトルに特定的に
前記第１の基準の重みを小さくなるよう調整し、前記調整のために、前記動きベ
クトル場を最小化によって形成する場合、前記第１の基準の比率を抑えると共に
前記第２の基準の比率を増大させることを特徴とする方法。
【請求項２】前記動きベクトルが前記許容方向変化の限界値に達した場合
、前記第１の基準の重みをゼロにすることを特徴とする請求項１に記載の方法。
【請求項３】前記第１の基準の重みは前記限界値からの前記動きベクトル
の最短距離に比例し、これに従って、２つの隣接する動きベクトルの方向変化の
差の絶対値は、同じ動きベクトルの固定点間の距離よりも小さく、前記方向変化
は画像面に直交する方向からの逸脱に対応し、前記方向変化は前記画像面の方向
を有するシフト・ベクトルとして表され、前記固定点は個々の動きベクトルが通
過する位置点を規定することを特徴とする請求項１に記載の方法。
【請求項４】動きベクトルの数および互いからの距離を選択し、各画素の値および導関数を求め、前記動きベクトル場を反復するために単位パラメータを設定し、各動きベクトルごとに、それと画像面との交点の値および導関数を求め、前記動きベクトル場の平滑性を算出し、各動きベクトルごとに、前記画像面の方向を有するそのシフト・ベクトルの変
化の大きさを求め、前記シフト・ベクトルは前記画像面に直交する方向からの前
記動きベクトルの逸脱に対応し、動きベクトル場を反復し、前記動きベクトルの前記シフト・ベクトルの変化が
十分に小さくなるようにし、動きベクトルの数を増やし、動きベクトルの数が十分になるまで上述のステップを繰り返す方法において、前記動きベクトル場の前記動きベクトルは前記画像の中間の面に固定され、前
記固定は、各動きベクトルごとに、前記動きベクトルが通過しなければならない
点を規定し、各動きベクトルの前記シフト・ベクトルについて限界値を求め、前
記限界値は前記動きベクトル場を反復するために用いられる請求項１に記載の方
法。
【請求項５】前記動きベクトル場の前記動きベクトルは、前記画像の中間
の面に位置する固定点に固定されていることを特徴とする請求項１乃至３のいず
れか１項に記載の方法。
【請求項６】前記動きベクトル場の前記動きベクトルは、前記画像のうち
１つの面上に位置する固定点に固定されていることを特徴とする請求項１乃至４
のいずれか１項に記載の方法。
【請求項７】前記動きベクトル場の前記動きベクトルは、前記画像間の面
に位置する固定点に固定されていることを特徴とする請求項１乃至４のいずれか
１項に記載の方法。
【請求項８】各動きベクトルの方向変化は前記画像面の方向を有するシフ
ト・ベクトルとして表され、前記シフト・ベクトルは同時に前記画像面上の動き
ベクトル点を規定し、前記方向変化の前記限界値は、各動きベクトルの前記シフ
ト・ベクトルと周囲の動きベクトルの前記シフト・ベクトルとの差を求め、それ
らから最大の絶対値を有するものを選択することによって得られることを特徴と
する請求項３または４に記載の方法。
【請求項９】各動きベクトルの方向変化は前記画像面の方向を有するシフ
ト・ベクトルとして表され、前記シフト・ベクトルは同時に前記画像面上の動き
ベクトル点を規定し、前記方向変化の前記限界値は、各動きベクトルの周囲の動
きベクトルの前記シフト・ベクトル間の差を求め、それらから最大の絶対値を有
するものを選択することによって得られることを特徴とする請求項３または４に
記載の方法。
【請求項１０】動きベクトル場によってオリジナル画像から新たな画像を
形成する方法において、前記新たな画像の各所定の画素ごとに、前記画素を通過
する動きベクトルを最初に求め、前記新たな画像の各画素ごとに、前記オリジナ
ル画像の前記画素の値から値を補間し、前記値は選択した動きベクトルおよび前
記オリジナル画像の交点から得られることを特徴とする請求項１乃至９のいずれ
か１項に記載の方法。
【請求項１１】動きベクトル場によってオリジナル画像から新たな画像を
形成する方法において、前記動きベクトルおよび所望の新たな画像面の各交点ご
とに、各動きベクトルおよび前記オリジナル画像の交点から得られた前記オリジ
ナル画像の画素の値から値を補間し、前記交点は前記新たな画像における画素の
位置を規定することを特徴とする請求項１乃至９のいずれか１項に記載の方法。
【請求項１２】前記新たな画像の求める画素を通過する前記動きベクトル
を得るために、まず動きベクトルを選択し、得ようとする前記動きベクトルと前
記画像の方向を有する面上で決定した前記画素との間の距離ベクトルを規定し、
前記新たな動きベクトルとして、固定点が上述のように規定された前記距離ベク
トルによって決定される距離にあるが、すでに選択した前記動きベクトルの固定
点からは逆方向にあるベクトルを選択し、前記距離ベクトルの値が十分に小さい
と見なされるまで新たな動きベクトルの選択を繰り返し、最後に選択された前記
動きベクトルが前記得ようとする動きベクトルであることを特徴とする請求項１
０に記載の方法。
【請求項１３】奇数のオリジナル画像を用いる場合、前記動きベクトルは
中間で前記オリジナル画像の面に固定されることを特徴とする請求項１または４
に記載の方法。
【請求項１４】画像処理に関連付けて画像の画素の行／列間の動きベクト
ル場を形成するための方法において、前記方法において、前記動きベクトル場は
少なくとも２つの基準に関連してそれを最小化することで解決され、第１の基準
は前記画素行／列間の動き情報を表し、第２の基準は前記動きベクトル場の平滑
性を表し、前記動きベクトルに許容される方向の変化の限界値を動きベクトルに
特定的に決定する追加の制約を、前記動きベクトル場を形成する際に用い、更に
、前記動きベクトル場に対する解決を求める場合に、前記限界値に近づくと、動
きベクトルに特定的に前記第１の基準の重みを小さくなるよう調整し、前記調整
のために、前記動きベクトル場を最小化によって形成する場合、前記第１の基準
の比率を抑えると共に前記第２の基準の比率を増大させることを特徴とする方法
。
【請求項１５】前記動きベクトルが前記許容方向変化の限界値に達した場
合、前記第１の基準の重みをゼロにすることを特徴とする請求項１４に記載の方
法。
【請求項１６】前記第１の基準の重みは前記限界値からの前記動きベクト
ルの最短距離に比例し、これに従って、２つの隣接する動きベクトルの方向変化
の差の絶対値は、同じ動きベクトルの固定点間の距離よりも小さく、前記方向変
化は画素行／列に直交する方向からの逸脱に対応し、前記方向変化は前記画素行
／列の方向を有するシフト・ベクトルとして表され、前記固定点は個々の動きベ
クトルが通過する位置点を規定することを特徴とする請求項１４に記載の方法。
【請求項１７】動きベクトルの数および互いからの距離を選択し、各画素の値および導関数を求め、前記動きベクトル場を反復するために単位パラメータを設定し、各動きベクトルごとに、それと画素行／列との交点の値および導関数を求め、前記動きベクトル場の平滑性を算出し、各動きベクトルごとに、前記画素行／列の方向を有するそのシフト・ベクトル
の変化の大きさを求め、前記シフト・ベクトルは前記画素行／列に直交する方向
からの前記動きベクトルの逸脱に対応し、動きベクトル場を反復し、前記動きベクトルの前記シフト・ベクトルの変化が
十分に小さくなるようにし、動きベクトルの数を増やし、画素行／列間の動きベクトルの数が十分になるまで上述のステップを繰り返し
、各画素行／列対ごとに上述のステップを繰り返すことを特徴とする請求項１４
乃至１６のいずれか１項に記載の方法。
【請求項１８】前記動きベクトル場の前記動きベクトルは、前記画素行／
列の中間の直線に固定されていることを特徴とする請求項１４乃至１７のいずれ
か１項に記載の方法。
【請求項１９】前記動きベクトル場の前記動きベクトルは、前記画素行／
列間の直線に固定されていることを特徴とする請求項１４乃至１７のいずれか１
項に記載の方法。
【請求項２０】前記動きベクトル場の前記動きベクトルは、画素行／列に
固定されていることを特徴とする請求項１４乃至１７のいずれか１項に記載の方
法。
【請求項２１】各動きベクトルの方向変化は前記画素行／列の方向を有す
るシフト・ベクトルとして表され、前記シフト・ベクトルは同時に新たな画素行
／列における動きベクトル点を規定し、前記方向変化の前記限界値は、各動きベ
クトルの前記シフト・ベクトルと隣接する動きベクトルの前記シフト・ベクトル
との差を求め、それらから最大の絶対値を有するものを選択することによって得
られることを特徴とする請求項１６または１７に記載の方法。
【請求項２２】各動きベクトルの方向変化は前記画素行／列の方向を有す
るシフト・ベクトルとして表され、前記シフト・ベクトルは同時に新たな画素行
／列における動きベクトル点を規定し、前記方向変化の前記限界値は、各動きベ
クトルの側面に位置する動きベクトルの前記シフト・ベクトル間の差を求めるこ
とによって得られることを特徴とする請求項１６または１７に記載の方法。
【請求項２３】動きベクトル場によって画像内の画素数を変更する方法に
おいて、前記変更する画像内の新たな画素行／列の各所定の画素ごとに、前記画
素を通過する動きベクトルを選択し、前記変更する画像の各画素ごとに、前記オ
リジナル画像の前記画素の値から値を補間し、前記値は前記選択した動きベクト
ルおよび前記オリジナル画像の前記画素行／列の交点から得られることを特徴と
する請求項１４乃至２２のいずれか１項に記載の方法。
【請求項２４】動きベクトル場によって画像内の画素数を変更する方法に
おいて、動きベクトルと所望の新たな画素行／列の直線との各交点ごとに、前記
オリジナル画像の前記画素の値から値を補間し、前記交点は新たな画素の位置を
規定し、前記値は、各動きベクトルと前記オリジナル画像の前記画素行／列との
交点から得られることを特徴とする請求項１４乃至２２のいずれか１項に記載の
方法。
【請求項２５】前記変更した画像の新たな画素行／列において求められる
画素を通過する前記動きベクトルを得るために、まず動きベクトルを選択し、得
ようとする前記動きベクトルと前記画素行／列の方向を有する直線上で決定した
前記画素との間の距離ベクトルを決定し、前記新たな動きベクトルとして、固定
点が上述のように規定された前記距離ベクトルによって決定される距離にあるが
、すでに選択した前記動きベクトルの固定点からは逆方向を有するベクトルを選
択し、前記距離ベクトルの値が十分に小さいと見なされるまで新たな動きベクト
ルの選択を繰り返し、最後に選択された前記動きベクトルが前記得ようとする動
きベクトルであることを特徴とする請求項２３に記載の方法。
【請求項２６】３つ以上のオリジナル画素行／列を用いることを特徴とす
る、請求項１４乃至２５のいずれか１項に記載の方法。
【請求項２７】奇数のオリジナル画素行／列を用いる場合、前記動きベク
トルは前記オリジナル画素行／列の真ん中の直線に固定されることを特徴とする
請求項１または４に記載の方法。