JP2006260527A - 画像マッチング方法およびこれを用いた画像補間方法 - Google Patents

画像マッチング方法およびこれを用いた画像補間方法

Info

Publication number
JP2006260527A
JP2006260527A JP2005336291A JP2005336291A JP2006260527A JP 2006260527 A JP2006260527 A JP 2006260527A JP 2005336291 A JP2005336291 A JP 2005336291A JP 2005336291 A JP2005336291 A JP 2005336291A JP 2006260527 A JP2006260527 A JP 2006260527A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
grid
point
image
method
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2005336291A
Other languages
English (en)
Inventor
Masahiro Baba
Takeshi Ito
Sunao Mishima
直 三島
伊藤  剛
雅裕 馬場
Original Assignee
Toshiba Corp
株式会社東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6201Matching; Proximity measures
    • G06K9/6202Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06K9/6203Shifting or otherwise transforming the patterns to accommodate for positional errors
    • G06K9/6206Shifting or otherwise transforming the patterns to accommodate for positional errors involving a deformation of the sample or reference pattern; Elastic matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image, e.g. from bit-mapped to bit-mapped creating a different image
    • G06T3/0093Geometric image transformation in the plane of the image, e.g. from bit-mapped to bit-mapped creating a different image for image warping, i.e. transforming by individually repositioning each pixel
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods

Abstract

【課題】二つの画像から対応点を検出して画像のマッチングを行う画像マッチング方法およびこれを用いてフレームの補間を行うフレーム補間方法を提供する。
【解決手段】対象画像上に仮設される第1の格子の第1の格子点に対して1対1に写像する参照画像上に仮設される第2の格子の第2の格子点に関して、第1の格子点と第2の格子点の位置によって求まる画像相関ポテンシャルエネルギーの勾配によって受ける力と、第2の格子点に隣接する第2の格子の他の格子点との間の弾性エネルギーから受ける力と、第2の格子点に生じる摩擦力とによって確立される、第2の格子点に関する運動方程式に基づいて動的モデルを生成し、運動方程式を数値解析することによって第2の格子点の平衡状態を求め、第2の格子点と前記隣接格子点との間の距離に応じて格子点間に新たな格子点を追加する。
【選択図】 図1

Description

本発明は、二つの画像から対応点を検出して画像のマッチングを行う画像マッチング方法およびこれを用いて画像の補間を行う画像補間方法に関する。

動き検出、ステレオマッチング、画像モーフィング、画像認識、動画像符号化など多くの技術分野において、一つの画像から他方の画像への対応関係を求める画像マッチングの技術は基本的な技術である。

非特許文献1によれば、画像マッチングの技術は大きく分けて4つに分類できる。即ち、オプティカルフロー手法、ブロックベース手法、勾配法、ベイジアン法がある。オプティカルフロー手法は、「輝度の変化は一定である」というオプティカルフロー式を導出しそのオプティカルフロー式を拘束条件としてフローを求めるものである。ブロックベースの手法はブロック毎のテンプレートマッチングによって動きを求める手法である。勾配法は画像の輝度勾配が減少する方向にマッチングを行う手法である。ベイジアンメソッドは確率的にもっともらしいマッチングを求める手法である。

特許文献1には上記の分類には属さない技術として多重解像度フィルタを用いた画像マッチングの方法が開示されている。この手法は複数の多重解像度フィルタによって複数の多重解像度画像ピラミッドを生成し、画像ピラミッドを上から順にマッチング処理を行うことによって大きな動きから小さな動きまでマッチング可能なロバスト性の高いマッチング技術である。
登録番号2927350 A. Murat Tekalp, "Digital Video Processing", Prentice Hall, 1995 J. Nieweglowski, P. Haavisto, "Motion Compensated Video Sequence Interpolation Using Digital Image Warping", IEEE Acoustics, Speech, and Signal Processing, vol.5, p205-208, 1994 J. Nieweglowski, T. George Campbell, P. Haavisto, "A Novel Video Coding Sheme Based on Temporal Prediction Using Digital Image Warping", IEEE Transactions on , Volume: 39 Issue: 3 , Aug. 1993

特許文献1には滑らかな写像関係を求める手段が記載されている。しかし写像を滑らかにするという拘束条件が逆に動きの不連続部分にも働いてしまい不連続な写像が表現できないという課題がある。これは従来の画像マッチング手法では必ず発生するトレードオフであり、滑らかにしようとすれば、不連続が表現しにくくなり、不連続を表現しようとすれば滑らかにならないといった問題があった。

本発明は、滑らかにしても不連続の表現が損なわれず、不連続を表現しようとしても滑らかさが得られる画像マッチング方法およびこれを用いた画像補間方法を提供することを目的とする。

本発明の一局面は、第1画像と第2画像との間の対応関係を求める画像マッチング方法において、複数の第1の格子点を有する第1の格子を第1画像上に設定するステップと、前記第1の格子点の各々に一対一に対応する第2の格子点を有する第2の格子を第2画像上に設定するステップと、前記第1の格子点の位置および画素情報と前記第2の格子点の位置および画素情報とによって求まる画像相関ポテンシャルエネルギーの勾配によって前記第2の格子点が受けるポテンシャル力を計算するステップと、前記第2の格子点とこの第2の格子点に隣接する前記第2の格子の隣接格子点との間の弾性エネルギーから前記第2の格子点が受ける弾性力を計算するステップと、前記第2の格子点に生じる摩擦力を計算するステップと、前記ポテンシャル力、前記弾性力、および、前記摩擦力に基づく前記第2の格子点に関する運動方程式を数値解析することによって前記第2の格子点の平衡状態を求める数値解析ステップと、前記運動方程式の数値解析中に、前記第2の格子点と前記隣接格子点との間の距離に応じて格子点間に新たな格子点を追加する格子点追加ステップとを有することを特徴とする画像マッチング方法を提供する。

本発明によると、滑らかにしても不連続の表現が損なわれず、不連続を表現しようとしても滑らかさが得られる画像を生成できる。

[第1の実施形態]
本実施形態を図1のブロック図に従って説明する。図1によると、例えば、メモリなどを含むプロセッサにより構成される画像マッチング部11がモデル生成モジュール12と数値解析モジュール13とを有する。画像マッチング部11に対象画像と参照画像の2枚の画像が入力されたときに、フレームメモリの両画像の同じ部分、例えば3D画像の同じ部分をマッチングする。即ち、2つの画像が入ってきたときに力学的な概念を用いて動的なモデルを生成する。この動的モデルが常微分方程式の形でモデル生成モジュール12から出力されるので、数値解析モジュール13はその出力を一般の数値解法により反復的に解いていく。反復計算の最終回に得られる結果の画像がマッチングの最終状態となる。本実施形態では、例えば、プロセッサにより構成される格子点追加モジュール14が追加されており、後述するように逐次反復的に格子点を追加して動的モデルの解析を反復的に行う。

このことを図2を参照して説明すると、例えば9つの格子点を有する格子空間が対象画像および参照画像にそれぞれ仮設される。この場合、格子点と対象画像および参照画像の画像部分(画素)とは対応している。両者の格子空間は同じサイズであり、対応する点は予め設定されている。例えば、対象画像の格子空間の真ん中の点は参照画像の格子空間の真ん中の点に対応する。対応点が決まっている状態において対象画像と参照画像とのマッチングが行われる。このマッチングにおいて運動方程式を作る。運動方程式はある時間に対してそれぞれの点の動きを一意に対応させる。運動方程式をある時間解くことによって画像の格子が適した形に変形するモデルが作れる。例えば、対象物体が移動しているような画像があるとすると、図2に示すように格子点が動いて変形した格子空間が生成される。時間τの経過においてある時間Τのところで計算をストップすると収束した変形格子空間が生成される。これが基本的な動的モデルである。

次に、格子点追加について説明する。図3において、オブジェクトが対象画像では格子点Xnに近接しているが、参照画像では、オブジェクトが格子点Ynから移動している。即ち、参照画像では、バネが伸びることになる。この場合、オブジェクトが移動しているので、元のオブジェクトの位置に空間が出現する。本来は、この空間に格子点を追加しなければならない。そこで、この空間に格子点が図4に示すように追加される。この場合、格子点間の距離が2を越える毎に格子点が追加される。

上記の画像マッチングおよび格子点追加を以下に更に詳しく説明する。

まず、基本となる画像マッチングにおいて、対象画像として以下のようなモデルを考える。

連続画像モデルが数式1に示すように表される。

これは実数ベースの連続な画像モデルである。ここでは、デジタル画像を対象と考えているので、上記のモデルをサンプリングした以下のサンプリング画像モデルを用いる。

このサンプリング画像モデルは数式2により表される。

このとき画像マッチング問題は以下の条件、即ち数式3を満たす動きベクトルd:R3→R2を探す問題として定式化できる。

但し、この定式化の場合、暗に同じ対象物の画像値は時間変化をしないと仮定している。また、動きベクトルdが実数なので、右辺は連続画像モデル(数式1)の表記を用いていることに注意を要する。ここでは、対象画像と参照画像、2枚の画像間の画像マッチングを考えているので、等価な数式4を考える。

また、動きベクトルも簡単化され、d:R2→R2となる。点xに対して動きベクトルdは一つだけ決まればよいので、動きベクトルdを一意写像とする。x+d(x)はxに対する写像とみなせるので、g(x)=x+d(x)と定義する。ここでg:R2→R2の一意写像である。上記の画像マッチング問題は数式5を満たす写像gを探す問題に帰着する。

写像gによって決まる点をy=g(x)と定義する。y∈R2である。x=Vnであるからxは格子空間上の点nに一意に対応する。写像gは一意写像であるからyもxに一意に対応する。従ってyはnに一意に対応する。このことは図5で示される。つまりここで取り扱いたい空間は格子空間上の点nによって1対1に対応する変形格子空間である。

以上のようにy=g(x)=g(Vn)なので、nに1対1に対応することを分かりやすくするために、これをyn=g(x)と再定義する。すると画像マッチング問題の式5は数式6を満たすynoptを探す問題に帰着する。

画像マッチング問題の数式6を解くためにここでは点ynに対してダイナミクスを導入する。つまり画像マッチング問題を点ynに関する動的システムを解く問題に帰着させる。点ynは周りの点との関係も考慮しつつ数式6を満たす状態に移動していき平衡状態に収束する。その平衡状態によって画像マッチングが完了したものとする。この状態は図2に示すように表される。

点yに対して新たな時間軸τ∈Rを導入し、関数yn(T)を定義する。ここで初期値は数式7のように正方格子xと同一であるとする。

新たな時間軸を導入したので時間に関する微分が数式8のように定義できる。

通常ダイナミクスは以下のような常微分方程式9によって記述される。

F∈R2は力の総和である。これは運動方程式とも呼ばれる。

次にyn(τ)にかかる力について考える。まずはダイナミクスを駆動させる力となるポテンシャルエネルギーによる力を考える。これはyn(τ)が数式6を満たす状態に移動するための力である。数式5を変形すると、数式10となる。

通常、数式10を厳密に満たす点を探すことは、画像に含まれるノイズ成分などにより困難である。そこで数式11のようなエネルギー関数を考える。

このエネルギー関数Euが最小となる点を探すようにする。最急降下法の原理を用いれば、yn(T)の周りでエネルギー関数Euの最急降下の方向に下っていくことによりローカルミニマムに行き着くことができる。従って、この最急降下の方向への勾配をyn(τ)に対する力として定義する。エネルギー関数Euは画像の相関とも考えられるので、この力を画像相関ポテンシャルエネルギーによる力Fuとする。

最急降下の方向への勾配を計算する方法は種々考えられるが、ここでは次のような方法を採用する。図6の(a)には対象画像と参照画像と差分値が示されており、図6(b)に示すように、最急降下方向への勾配は局所最適化によって直接求める。画像モデルScは連続の画像モデルだが、実際にはサンプリングされた画像モデルSpしか利用できない。そこで局所最適化もサンプリングされた画像モデルをベースに行う。図6(a)に示すようにyn(τ)にもっとも近いサンプリング点を局所空間中心ycとしたいので、数式12のように求める。

隣接空間を数式13のように定義すると、局所探索空間Ωは数式14のように定義できる。

局所最適化をしてその方向へのベクトルを求め、それを正規化し、勾配の大きさをかけると、数式15が得られる。この式が画像相関ポテンシャルエネルギーによる力(二乗誤差エネルギー)を示す。

実装上の扱い易さ等からエネルギー関数を数式16と定義した数式17の画像相関ポテンシャルエネルギーによる力(絶対値差分誤差エネルギー)を用いることもできる。

次に、周辺の点との関係を記述する力について考える。マッチング対象の画像は3次元空間を2次元に投影したものだとする。3次元空間上のオブジェクトが剛体とすると、2次元画像では剛体のサーフェスがオブジェクトとして観測されることになる。3次元空間上のオブジェクトが対象画像と参照画像で観測されるとすると、このときそれぞれの画像上で観測されるオブジェクトの位相は保たれる確率が高い。図7に示すように、対象画像オブジェクト上の点xの位置関係は参照画像オブジェクト上の点yn(τ)でも保たれるはずである。この性質は点yn(τ)の間をバネで接続することによってシミュレーションできる。周辺との関係はバネの力Fkによって記述する。以下のように、まずは対象点周辺の格子点空間Nnを定義する。周囲4点であれば数式18のようになる。

バネ定数(弾性常数)をkとすれば、点yn(τ)にかかるバネの復元力は数式19で表されるバネ力となる。なお、弾性常数は画像相関エネルギーと弾性エネルギーのバランサーであり、弾性定数が大きければ変形がしにくくなり結果が安定する。しかし画像への適合性が悪くなる。弾性定数が小さければ変形がしやすくなるので画像の適合性が良くなる。ただし結果が柔軟になりすぎる。そこで、現在のところ、このパラメータは経験的に与えられる。挙動はこのパラメータの値にそれほど敏感ではではないので、基本的にはある一定値を固定的に与えられる。

周囲4点を接続すると、数式20のような4点接続バネモデルとなる。

最後に保存されたエネルギーを散逸させる力について考える。yn(τ)にかかる力がFu, Fkのみではエネルギーが保存されてしまうために系が振動する定常状態となってしまう。そこで保存されているエネルギーを散逸させる力を導入する。これには摩擦力が利用できる。速度が一定と近似できる場合には摩擦力は数式21で記述できる。

以上の力をまとめると運動方程式は数式22のようになる。

運動方程式

画像相関ポテンシャルエネルギーによる力Fuが解析的には解けないため常微分方程式22は解析的には解けない。従って、システムのτ→∞における極限を取ることは困難である。そこでシステムが収束するのに十分大きな時間Τを考え、数値解析によってt=(0,Τ)区間を計算することによってシステムの収束状態を推定する。

常微分方程式は初期値が決まれば、数値解析によって一意に解が求まる。一般には常微分方程式の初期値問題といわれるものである。この問題の数値解法は数多く存在するが、有名なものではオイラー法、ルンゲクッタ法、ブリルシュ・ストア法、予測子・修正子法、隠的ルンゲクッタ法などがある。ルンゲクッタ法がもっとも有名かつ使用頻度が高い。しかし式22は画像のサイズ分の次元を持つため複雑な数値解法は適合しにくい。そこでここでは実現が最も簡単なオイラー法を応用することを考える。オイラー法は一階の常微分方程式に対する数値解法なので、まずは式22を一階の常微分方程式に変換する。このとき、数式23のように変数変換を行う。

この変数変換を数式22に代入し、数式24を作る。
変換された運動方程式

常微分方程式25に対するオイラー法のスキームは数式26によって表される。

これはt(n)からt(n+1)≡t(n)+hへと解を進展させるものである。ここでx(n)はnステップであることを示しており、hはステップ幅である。オイラー法のスキームを数式24に適用すると、数式27のオイラー法による更新式が得られる。

以上、画像マッチングをアルゴリズムとしてまとめると以下のようになる。

画像マッチングアルゴリズム:

次に、格子点追加ステップについて説明する。上記画像マッチングアルゴリズムの2の処理である。

格子点を追加する概念を定式化するために図8に示すような不均質の格子点空間を導入する。不均質格子点空間を利用すれば、格子点追加は図9のような形で表すことができる。図9に示したように格子点を一つ追加することによりそこにかかるバネの力は1/2となる。従って、格子点間の距離が2を超えたときにそこに格子点を追加することにより、バネの力はバネが伸びていないときと等価な状態になる。故に、格子点追加アルゴリズムは以下のようになる。

格子点の追加をした後はまた画像マッチングステップに戻る。

上記のような格子点の追加を行うと不均質格子点空間を導入することになり、計算の際には複雑性が増してしまう。そこで、格子点追加モデルの解析をしてみると、図10に示すように、通常のバネモデルではバネ定数kのバネIに接続されている格子点はkIの力を受ける。ここに格子点を一つ追加すると、それぞれのバネがI/2となるので各格子点の受ける力はkI/2となる。これはバネ定数k/2のバネIを考えたときと同様である。つまりバネの間に一つの格子点を追加することはバネ定数を1/2とすることと等価である。ただし、追加された格子点のポテンシャルに関しては考察していないので、あくまでバネモデルとしては等価というだけであり、ポテンシャルを含めた動的マッチングモデル全体としては等価ではない。

また、上記の説明はバネの平衡状態における力の釣り合いを用いており、バネの動的な挙動に関して述べたものではないので、静的には等価であるといっているに過ぎないことに注意が必要である。

バネに格子点をn個追加することはバネ定数を1/(n+1)倍にすることと静的には等価であることが分かる。バネの長さが2になれば一つ格子点を追加し、3になれば2つ格子点を追加し、4になれば3つ格子点を追加し、・・・、というのが格子点追加のアルゴリズムである。これを簡略化する場合にはバネの長さが2になればバネ定数を1/2にし、3になれば、バネ定数を1/3にし、4になれば、バネ定数を1/4にし、・・・、というようにすればよい。このような可変型のバネモデルは以下のように表せる。

簡略型格子点追加のバネモデル

他にも例えば線形に変化する線形関数バネモデル

ロジスティック関数バネモデル

などを用いることもできる。ここでα>0,β>0は定数である。

簡略型の格子点追加アルゴリズムは数式28のバネモデルを使うということである。つまり画像マッチングアルゴリズムにおいて数式28のバネモデルを使用すればよい。

丸い物体が平行移動するテストパターンによって効果を確認したところ、格子点追加をおこなわない場合、図11に示す結果が得られた。これによると、オブジェクトの後ろ境界で歪みが発生していることが分かる。それに対して簡略型格子点追加をおこなった場合の結果が図12に示されている。これによると、オブジェクトの後ろ境界において余計な歪みが発生していないことが確認できる。

以上のように本実施形態では格子点を追加するというアルゴリズムにより動きの不連続性を表現可能な高精度な画像マッチング手法を提供できる。

[第2の実施形態](片方向オクルージョンモデル)
本実施形態を図13のブロック図及びフローチャート図14に従って説明する。本実施形態では、動画に関してオクルージョン領域をうまく対応させた補間をどう行うかが問題設定であり、動画の画像信号が入力され、画像のフレーム間にオクルージョン領域を含めて補間フレームを生成することを目的とする。

補間フレームを生成する際にはオクルージョン問題があり、品質の高い補間フレームの生成は難しかった。本実施形態ではオクルージョン領域に対して適切に補間を行うことにより高品質の補間フレームを生成できる手法を提供する。

概略的には、例えば、時間t1-t2で通常の画像マッチングを行い、時間t2-t3でオクルージョンマッチングを行う。時間t1-t2の通常マッチングの結果からある基準でもってオクルージョン領域の信頼度を求める。この信頼度とオクルージョンマッチングの結果と画像マッチングの結果の3つから合わせて補間フレームを生成する。即ち、オクルージョンフレームに対する補間フレームを生成する。以下に本実施形態を詳細に説明する。

動画の画像信号は各フレームに分解されて処理に回されるものとする。このとき、各フレームはその都度フレームメモリ21に蓄えられ、同時にいくつかのフレームにアクセスできるようにする。時刻tにおけるフレームを参照フレームtと呼び、時刻t+lΔtのフレームを参照フレームt+lΔtと呼び、時刻t+2lΔtのフレームを参照フレームt+2lΔtと呼ぶことにする。ここでは参照フレームtと参照フレームt+lΔtの間に補間フレームを内挿する。

オクルージョン領域に対して適切に補間を行うためには、オクルージョン領域を適切に検出しなければならない。本実施形態によって適切に検出できる根拠を図15を用いて説明する。ここでは丸いオブジェクトが左から右に移動する例を示している。参照フレームt+lΔt上では丸いオブジェクトが移動する前の位置に湧き出しのオクルージョン領域が発生する。

ここで丸いオブジェクトの後ろ部分の格子点に注目する、つまり格子点xn, xn+(1,0)とyn, yn+(1,0)に注目する。丸いオブジェクトは移動しているので、マッチングがかかっていれば、格子点yn, yn+(1,0)の間は大きく広がるはずである。つまりyn, yn+(1,0)の間のバネは伸びている。このようにオブジェクトが移動して湧き出しのオクルージョン領域が発生する場合には、必ずそこのバネが伸びることが分かる。逆にいうとこのように大きくバネが伸びている部分は湧き出しのオクルージョン領域であるということができる。なお、上付きの「T」は転置を表す。

図16は2点差線で示す丸いオブジェクトの移動を1次元的に示している。即ち、丸いオブジェクトが下に移動していく様子を示している。時刻tと時刻t+lΔtの間では丸いオブジェクトの後ろ側に湧き出しのオクルージョンが発生している。そしてそのときバネが伸びていることが分かる。丸いオブジェクトがそのまま下に移動していく場合、時刻t+2lΔtを見ると今の湧き出しのオクルージョン領域に対応する部分が見えていることが分かる。つまり参照フレームt+lΔtと参照フレームt+2lΔtでマッチングを行えば、オクルージョン領域に対応する領域を見つけることができる。即ち、物が動いている場合、動いた物により隠れた領域(陰面領域/オクルージョン(occlusion)領域)が出現する。このときの格子点の状態を見ると、物が動いたときオクルージョン領域のバネは伸びている。従って、バネの伸びている長さによってオクルージョンであるかどうかが判定できる。これをオクルージョンマッチングと呼ぶ。

上記の例では、格子点間の距離を評価値として、距離が基準より大きいこと場合にオクルージョンと判定している。

格子点の分布に基づいてオクルージョンを検出することもできる。オクルージョン領域ではバネが伸びているために格子点の分布の密度は小さくなる。したがって、密度をオクルージョンか否かを判定するための評価値として用い、密度が基準より低いことを検出すればよい。例えば、参照フレームt+2lΔtを複数の均等な矩形領域に分割して各領域内の格子点数を数える。この格子点数は、格子点の分布の密度に対応する量である。

あるいは、密度の替わりに格子点に囲まれた領域の面積を用いてオクルージョンを検出することもできる。オクルージョン領域ではバネが伸びて格子点間距離が大きくなるので、格子点に囲まれた領域の面積は大きくなる。したがって、面積をオクルージョンか否かを判定するための評価値として用い、面積が基準より大きい領域を検出すればよい。例えば、格子点を頂点とし内部に他の格子点を含まない三角形の領域の面積や、格子点を頂点とし内部に他の格子点を含まない四角形の領域の面積を用いる。

以上でオクルージョン領域を検出し、オクルージョン領域に対応する領域のマッチングを行えることが分かる。あとはこれらの結果を融合すればよい。以下具体的にブロック図13及びフローチャート図14を用いて説明する。

画像マッチングステップS21では、画像マッチングモジュール22によって参照フレームtを対象画像として参照フレームt+lΔtを参照画像として画像マッチングを行い写像g(;t;lΔt)を求める。画像マッチングステップS11は第1の実施形態と同様の処理を行う。

オクルージョンマッチングステップS22では、オクルージョンマッチングモジュール23によって参照フレームt+lΔtを対象画像として参照フレームt+2lΔtを参照画像としてオクルージョン領域を見つける画像マッチングを行う。処理的には画像マッチングステップS11と同じである。従って、第1の実施形態の画像マッチングと同様の処理を行う。オクルージョンマッチングを行いオクルージョン写像g(;t+lΔt;lΔt)を求める。

またオクルージョンマッチングモジュールでは通常の画像マッチング手法を用いることも可能である。すなわち非特許文献1に記載されている一般的な動き推定手法、例えば、ブロックマッチングアルゴリズムやオプティカルフロー推定手法、勾配法、ベイズメソッドなどを用いることができる。

ブロックマッチングアルゴリズムを例に挙げて説明する。ブロックマッチングアルゴリズムはブロック内の動きが一様であると仮定して、ブロック内の格子点に対して同じ動きベクトルを割り当てる手法である。

まずは画面全体を複数の、格子点を含んだ(通常は矩形の)ブロックに分割する。ここでは矩形のブロックを採用する。

次に、オクルージョン信頼度算出モジュール24において実行されるオクルージョン信頼度算出ステップS23について述べる。オクルージョン信頼度はその画素がオクルージョン領域であるかどうかの確率分布である。オクルージョン信頼度が1に近いほどオクルージョン領域である確率が高いことを意味する。バネの長さによってオクルージョン領域を検出すると、前述したように実際には領域における信頼度を算出しなければならない。本実施形態では、動画に関してオクルージョン領域をうまく対応させた画素単位の補間をどう行うかが問題設定であるので、図17に示すように例えばyn, yn+(0,-1)、yn+(-1,-1)で囲まれた三角形の面積を用いる。この三角形の面積はベクトルの外積の絶対値により数式34によって求まる。なお、上付きの「T」は転置を表す。

三角形xn, xn+(0,-1)、xn+(-1,-1)と三角形xn, xn+(-1,0)、xn+(-1,-1)の面積は1/2であるから、対応する三角形同士の比を取れば、三角形面積比率は数式36,37によって表される。なお、上付きの「T」は転置を表す。

次に、これらの三角形の比から確率分布への変換を行う。バネの長さがある一定値を超えていれば、オクルージョンとすると仮定する。この場合は三角形の比がある一定値を超えていれば、オクルージョンとする。このような変換関数として図18に示すような数式38に従ったシグモイド関数が利用できる。

ここでαは傾きをあらわす定数、βは傾きの中心の座標である。

格子点nにおける三角形をR1(n),R2(n)とする。以下の処理をすべての格子点nに関して行い、数式39に従ってオクルージョン信頼度マップを生成する。

動き補償ステップは動き補償ユニット25によって行われ、補間フレーム生成モジュール26によって行われる補間フレーム生成ステップS24と画像相関信頼度算出モジュール27によって行われる画像相関信頼度算出ステップS25とからなる。補間フレーム生成ステップ内で画像相関信頼度算出ステップを呼び出す。

まず、補間フレーム生成ステップS24について述べる。ここではDigital Image Warping(非特許文献2、非特許文献3)と同様の手法を採用する。Digital Image Warpingでは、四辺形の各点ごとに動きベクトルを求め、四辺形を二つの三角形に分割し、それぞれの三角形ごとに、(非特許文献3に記載のように)3つの頂点によって求まるアフィン変換を算出し、(非特許文献2に記載のように)そのアフィン変換を用いて内挿する三角形の画像値を求めている。

上記のアフィン変換を使って、三角形V内の点(u,v)は[x,y,1]=[u,v,1](V,Y)で表される三角形Y内の点(x,y)に対応することが算出できる。なお、上付きの「T」は転置を表す。

上記のアフィン変換を用いて補間フレームを求める。参照フレームtの時間位置を0、参照フレームt+lΔtの時間位置を1として、内挿する補間フレームの時間位置をΔti(0≦Δti≦1)とする。Δtiに応じて写像g(;t;lΔt)を線形変換するとgi(x,t,lΔt)=x+Δtid(x,t,lΔt)となる。補間フレームの生成は図20に示すようになる。{gi(x1.t;lΔt), gi(x2.t;lΔt), {gi(x3.t;lΔt)}を頂点とする三角形をW、{x1,x2,x3}を頂点とする三角形をX、{g (x1.t;lΔt), g (x2.t;lΔt), {g (x3.t;lΔt)}を頂点とする三角形をYとする。次式41で示すような補間フレーム上の三角形W内の点の画素値を求めたい。

そこで三角形Wから三角形Xへのアフィン変換と三角形Yへのアフィン変換をそれぞれ数式40によって求め、それぞれのアフィン変換から点wに対応する画素値を求める。すなわち点wに対応する三角形X内の点は数式42によって計算できる。

同様にして点wに対応する三角形Y内の点は数式43によって計算できる。

時間位置に従って両フレームの重量平均を取れば、写像g(;t;lΔt)による、数式44の補間フレームによって補間フレームの画素値を計算できる。

これを画面内の全三角形に対して行うことにより写像g(;t;lΔt)による補間フレームを生成する。以下のようにオクルージョン信頼度マップより補間フレーム上のオクルージョン信頼度マップを生成する。写像g(;t;lΔt)による補間フレーム上のオクルージョン信頼度マップは数式45で表される。

同様にして画像相関信頼度算出ステップにより数式46に基づいて写像g(;t;lΔt)による画像相関信頼度マップを生成する。

オクルージョンマッチングによるオクルージョン写像g(;t+lΔt;lΔt)は参照フレームt+lΔtから参照フレームt+2lΔtへのマッチングであるので、参照フレームt+lΔtと参照フレームt間の写像にするには数式47に基づく線形の変換を行う。

ここで方向が反対になるので、フレームは−lΔtとした。Δtiに応じてオクルージョン写像g(;t+lΔt;lΔt)を線形変換すると数式48の像となる。

点の対応関係は図21に示すようになる。ここで{gi,o(x1.t+lΔt;-lΔt), gi,o(x2.t+lΔt;-lΔt), gi,o(x3.t+lΔt;-lΔt)}を頂点とする三角形をWo、{x1,x2,x3}を頂点とする三角形をXo、{go(x1.t+lΔt;-lΔt), go(x2.t+lΔt;-lΔt), go(x3.t+lΔt;-lΔt)}を頂点とする三角形をYoとする。

点wに対応する三角形Xo内の点は数式49によって計算できる。

同様にして点wに対応する三角形Yo内の点は数式50によって計算できる。

時間位置に従って両フレームの重量平均を取れば、オクルージョン写像g(;t+lΔt;lΔt)による補間フレームの画素値を数式51によって計算できる。

これを画面内の全三角形に対して行うことによりオクルージョン写像g(;t+lΔt;lΔt)による補間フレームを生成する。

画像相関信頼度算出ステップS25によりオクルージョン写像g(;t+lΔt;lΔt)による画像相関信頼度マップを数式52に基づいて生成する。

以上により写像g(;t;lΔt)による補間フレームとオクルージョン写像g(;t+lΔt;lΔt)による補間フレームが生成できたので、これらを信頼度マップによって合成する。画像相関の信頼確率とオクルージョンの信頼確率は互いに独立している。従ってオクルージョンマッチングを採用する確率は確率の乗法定理より数式52によって表される。

また、通常のマッチングを採用する確率は数式54により求められる。

これらの確率から合成に用いる透明度を数式55により算出する。

この透明度を用いて数式56に基づいて写像による補間フレームとオクルージョン写像による補間フレームを合成する。

画面全体に対して以上の処理を行うことによって補間フレームSi,p(w,t+lΔti)が生成できる。

次に、画像相関信頼度算出ステップS25について述べる。これは各点の写像関係による対応点の信頼度を求めるものである。このような信頼度として各点の画素値の差分値を用いることができる。即ち、画像相関信頼度は数式57によって算出される。

これは画像の差分値が小さくなるほど信頼度が高くなるというモデルである。ただし画像の相関と画素の差分値は一般に線形の相関があるものではない。つまり画素の差分値が小さければ、確かに画像の相関は高いかもしれないが、画素の差分値がある一定値を超えてしまえば、画素の差分値が大きくても少し小さくても画像の相関としては一様に低いと言える。そのような非線形性を導入するには図19に示すようなシグモイド関数を利用すればよい。これは数式38においてα<0としたものである。これを用いれば、画像相関信頼度を数式58のように定義できる。

ここでα>0,β>0は定数である。
以上により本実施形態では湧き出しのオクルージョン領域に対応した高品質な補間フレームの生成が可能である。

[第3の実施形態](双方向オクルージョンモデル)
本実施形態を図22のブロック図及び図23のフローチャートに従って説明する。本実施形態では動画の画像信号が入力され、それらの間に補間フレームを生成することを目的とする。

補間フレームを生成する際にはオクルージョン問題があり、品質の高い補間フレームの生成は難しかった。第2の実施形態では、湧き出しのオクルージョンに対応する手法を提供した。本実施形態では時間軸の前方と後方の双方向にマッチングを行うことによって、湧き出しのオクルージョンだけでなく消失のオクルージョンにも対応できるようにするものである。

動画の画像信号は各フレームに分解されて処理に回されるものとする。このとき各フレームはその都度フレームメモリ31に蓄えられ、同時にいくつかのフレームにアクセスできるようにする。時刻tにおけるフレームを参照フレームtと呼び、時刻t+lΔtのフレームを参照フレームt+lΔtと呼び、時刻t+2lΔtのフレームを参照フレームt+2lΔtと呼び、時刻t-lΔtのフレームを参照フレームt-lΔtと呼ぶことにする。ここでは参照フレームtと参照フレームt+lΔtの間に補間フレームを内挿する。

第2の実施形態で説明したが、図15に示すようにバネの伸びが湧き出しのオクルージョン領域に対応する。この場合は、時間軸の前方方向にマッチングをかけているので、前方マッチングに当たる。ただしオブジェクトの前方部分の消失のオクルージョン領域に関しては考慮されていなかった。図24に示すように、消失のオクルージョン領域は後方マッチングで見ると、湧き出しのオクルージョン領域であることが分かる。そこで、前方マッチングと後方マッチングを組み合わせることによって両方のオクルージョンに対して対策できることが分かる。

画像マッチングモジュール32による画像マッチングステップS31では、時間軸の前方と後方にマッチングを行い二つの写像を出力する。内部処理は第1の実施形態の画像マッチングステップと同じである。つまり、参照フレームtを対象画像、参照フレームt+lΔtを参照画像として第1の実施形態の画像マッチングステップを行い、前方マッチング写像g(;t;lΔt)を出力し、参照フレームt+lΔtを対象画像、参照フレームtを参照画像として第1の実施形態の画像マッチングを行い、後方マッチング写像g(;t+lΔt;-lΔt)を出力する。

オクルージョンマッチングモジュール33によるオクルージョンマッチングステップS32では、時間軸の前方と後方にマッチングを行い二つのオクルージョン写像を出力する。内部処理は第1の実施形態の画像マッチングと同じである。つまり参照フレームt+lΔtを対象画像、参照フレームt+2lΔtを参照画像として第1の実施形態の画像マッチングを行い前方オクルージョンマッチング写像g(;t+lΔt;lΔt)を出力し、参照フレームtを対象画像、参照フレームt+lΔtを参照画像として第1の実施形態の画像マッチングを行い、後方オクルージョンマッチング写像g(;t;-lΔt)を出力する。

オクルージョン信頼度算出モジュール34によるオクルージョン信頼度算出ステップS33は第2の実施形態と同様である。前方マッチング写像g(;t;-lΔt)を元に前方オクルージョン信頼度マップP(y|g(;t;lΔt))を算出し、後方マッチング写像g(;t+lΔt;-lΔt)を元に後方オクルージョン信頼度マップP(y|g(;t+lΔt;-lΔt)を算出する。

動き補償ステップは、補間フレーム生成モジュール36により行われる補間フレーム生成ステップS34及び画像相関信頼度算出モジュール37により行われる画像相関信頼度算出ステップS35とからなる。画像相関信頼度算出ステップS35は、第2の実施形態と同様である。補間フレーム生成ステップ内で画像相関信頼度算出ステップを呼び出す。

前方マッチングによる補間フレームは、第2の実施形態と同様である。すなわち数式26,27,28,29,30によって補間フレームと信頼度マップを求める。なお識別のため以下のように補間フレームはそれぞれ添え字を変更する。

参照フレームtの時間位置を0、参照フレームt+lΔtの時間位置を1として、内挿する補間フレームの時間位置をΔti(0≦Δti≦1)とする。Δtiに応じて後方マッチング写像g(;t+lΔt;-lΔt)を線形変換すると数式59となる。

{gi (x1.t+lΔt;-lΔt), gi (x2.t+lΔt;-lΔt), gi (x3.t+lΔt;-lΔt)}を頂点とする三角形をWo、{x1,x2,x3}を頂点とする三角形をX、{g(x1.t+lΔt;-lΔt), g(x2.t+lΔt;-lΔt), g(x3.t+lΔt;-lΔt)}を頂点とする三角形をYとする。

そこで三角形Wから三角形Xへのアフィン変換と三角形Yへのアフィン変換をそれぞれ数式39によって求め、それぞれのアフィン変換から点wに対応する画素値を求める。すなわち点wに対応する三角形X内の点は数式60によって計算できる。

同様にして点wに対応する三角形Y内の点は数式61によって計算できる。

時間位置に従って両フレームの重量平均を取れば、後方マッチング写像g(;t+lΔt;-lΔt)による補間フレームの画素値を数式62によって計算できる。

これを画面内の全三角形に対して行うことにより後方マッチング写像g(;t+lΔt;-lΔt)による補間フレームを生成する。

以下のように後方オクルージョン信頼度マップP(y|g(;t+lΔt;-lΔt)より補間フレーム上の後方オクルージョン信頼度マップを生成する。即ち、後方マッチング写像g(;t+lΔt;-lΔt)による補間フレーム上の後方オクルージョン信頼度マップが数式63により得られる。

同様にして画像相関信頼度算出ステップにより後方画像相関信頼度マップも生成する。即ち、後方マッチング写像g(;t+lΔt;-lΔt)による後方画像相関信頼度マップが数式64により得られる。

後方オクルージョンマッチングによる後方オクルージョン写像g(;t;-lΔt)は参照フレームtから参照フレームt-lΔtへのマッチングであるので、参照フレームt+lΔtと参照フレームt間の写像にするには、go(x,t;lΔt)=x-d(x,t;-lΔt)という線形の変換を行う。ここで方向が反対になるので+lΔtとした。Δtiに応じて後方オクルージョン写像g(;t;-lΔt)を線形変換すると後方オクルージョン写像は数式65で示す像となる。

ここで{gi,o (x1.t; lΔt), gi,o (x2.t;lΔt), gi,o (x3.t;lΔt)}を頂点とする三角形をWo、{x1,x2,x3}を頂点とする三角形をXo、{go(x1.t;lΔt), go(x2.t;lΔt), go(x3.t;lΔt)}を頂点とする三角形をYoとする。

点wに対応する三角形Xo内の点は数式66により計算できる。

同様にして点wに対応する三角形Yo内の点は数式67により計算できる。

時間位置に従って両フレームの重量平均を取れば、後方オクルージョン写像g(;t;lΔt)による補間フレームの画素値が数式68により計算できる。

これを画面内の全三角形に対して行うことにより後方オクルージョン写像g(;t;lΔt)による補間フレームを生成する。画像相関信頼度算出ステップにより後方画像相関信頼度マップを生成する。即ち、数式69に基づいて後方オクルージョン写像g(;t;lΔt)による後方画像相関信頼度マップが生成される。

以上により前方マッチング写像g(;t;lΔt)による補間フレームと前方オクルージョン写像g(;t+lΔt;lΔt)による補間フレーム、後方マッチング写像g(;t+lΔt;-lΔt)による補間フレームと後方オクルージョン写像g(;t;-lΔt)による補間フレームが生成できたので、これらを信頼度マップによって合成する。

画像相関の信頼確率とオクルージョンの信頼確率は互いに独立している。従って前方オクルージョンマッチングを採用する確率は確率の乗法定理より数式70で表せる。

また、前方マッチングを採用する確率は数式71で表せる。

後方オクルージョンマッチングを採用する確率は数式72で表せる。

後方マッチングを採用する確率は数式73で表せる。

これらの確率から合成に用いる透明度を数式74により算出する。

この透明度を用いて数式73に従って信頼度による合成を行う。

画面全体に対して以上の処理を行うことによって補間フレームSi,p(w,t+lΔti)が生成できる。

[第4の実施形態]
本実施形態の画像マッチング装置を図25のブロック図を参照して説明する。本実施形態も先の実施形態と同様に動画の画像信号が入力され、それらの間に補間フレームを生成するために使用される画像マッチング装置を提供する。補間フレームを生成する際にはオクルージョン問題があり品質の高い補間フレームの生成は難しかった。本実施形態ではオクルージョン領域に対して適切に補間をおこなうことにより高品質の補間フレームを生成できる手法を用いた画像マッチング装置を提供する。

図25に示す構成によると、フレームメモリ41に画像信号が入力される。フレームメモリ41は前方マッチングユニット42と後方マッチングユニット43に接続される。前方及び後方マッチングユニット42,43の出力は画像合成ユニット44に接続される。

前方マッチングユニット42は入力画像信号とフレームメモリ41の記憶画像信号とが入力される画像マッチング部42−1及びオクルージョンマッチング部42−2を有する。前方マッチングユニット42は更に画像マッチング部42−1に縦接続される表面信頼度算出部42−3,42−4,42−5及び補間フレーム生成部42−6を有する。

同様に後方マッチングユニット43は入力画像信号とフレームメモリ41の記憶画像信号とが入力される画像マッチング部43−1及びオクルージョンマッチング部43−2を有する。後方マッチングユニット43は更に画像マッチング部43−1に縦接続される表面信頼度算出部43−3,43−4,43−5及び補間フレーム生成部43−6を有する。

上記構成において、動画の画像信号は各フレームに分解されて処理されるが、このとき各フレームはその都度フレームメモリ41に蓄えられ、同時にいくつかのフレームにアクセスできるようになっている。本実施形態では、時刻tにおけるフレームを参照フレームtと呼び、時刻t+lΔtのフレームを参照フレームt+lΔtと呼び、時刻t+2lΔtのフレームを参照フレームt+2lΔtと呼び、時刻t+lΔtのフレームを参照フレームt+lΔtと呼ぶことにする。ここでは参照フレームtと参照フレームt+lΔtの間に補間フレームを内挿する。

オクルージョン領域に対して適切に補間をおこなうためには、オクルージョン領域を適切に検出しなければならない。本実施形態によって適切に検出できる根拠を図26を用いて説明する。ここでは丸いオブジェクトが左から右に移動する例を示している。参照フレームt+lΔt上では図26の薄い丸で示したように丸いオブジェクトが移動する前の位置に湧き出しのオクルージョン領域が発生する。ここで丸いオブジェクトの後ろ部分の格子点に注目する、つまり格子点xn, xn+(1,0)Τとyn, yn+(1,0)Τに注目する。丸いオブジェクトは移動しているので、マッチングがかかっていれば、格子点yn, yn+(1,0)Τの間は大きく広がるはずである。つまりyn, yn+(1,0)Τの間のバネは伸びている。このようにオブジェクトが移動して湧き出しのオクルージョン領域が発生する場合には必ずそこのバネが伸びることが分かる。逆にいうとこのように大きくバネが伸びている部分は湧き出しのオクルージョン領域であるということができる。

図16を参照して説明したように時刻tと時刻t+lΔtの間では丸いオブジェクトの後ろ側に湧き出しのオクルージョンが発生している。そしてそのときバネが伸びていることが分かる。丸いオブジェクトがそのまま下に移動していく場合、時刻t+2lΔtを見ると今の湧き出しのオクルージョン領域に対応する部分が見えていることが分かる。つまり参照フレームt+lΔtと参照フレームt+2lΔtでマッチングをおこなえばオクルージョン領域に対応する領域を見つけることができる。これをオクルージョンマッチングと呼ぶ。

図26に示すようにバネの伸びが湧き出しのオクルージョン領域に対応する。この場合は、時間軸の前方方向にマッチングをかけているので、前方マッチングに相当する。ただし、オブジェクトの前方部分の消失のオクルージョン領域に関しては考慮されていなかった。図27に示すように、消失のオクルージョン領域は後方マッチングで見ると湧き出しのオクルージョン領域であることが分かる。そこで前方マッチングと後方マッチングを組み合わせることによって両方のオクルージョンに対して対策できることが分かる。

以上でオクルージョン領域を検出し、オクルージョン領域に対応する領域のマッチングをおこなえることが分かる。

上記ではバネの伸びによってわき出しのオクルージョン領域を検出できることが分かる。このことは表面の信頼度を算出できることを意味する。バネの伸びだけでなく複数の情報から表面の信頼度を算出できれば、それらの同時確率によってより精度の高い検出が可能になると考えられる。

以下の特徴を考えてみる。

オブジェクトが動いた前後にオクルージョンが発生する。前が消失のオクルージョンで後ろが湧き出しのオクルージョンである。

動的マッチングでは、オブジェクト後ろはバネが伸び、オブジェクト前はバネが縮むという幾何学的な特徴がある。

特徴1,2より、バネの伸びにより湧き出しのオクルージョンを検出し、バネの縮みにより消失のオクルージョンの検出ができる。図28がこのことを示している。バネの伸びによる湧き出しのオクルージョンの検出だけでは不足な理由を図29を参照して以下に説明する。

時間軸の双方向にマッチングをかけて前方マッチングと後方マッチングをおこなったとする。このとき前方マッチングによりオブジェクト後方のオクルージョン領域が得られ、後方マッチングによりオブジェクト前方のオクルージョン領域が得られる。それら2つのオクルージョンマップを足し合わせれば、図29の右上のような理想的な結果が得られる。しかし図29の下側の図に示すように、必ずしもオクルージョンマップが正しく得られるとは限らない。その場合、単純にORを取ってしまうとオブジェクトが欠けてしまったりして画質が劣化してしまう。

それに対してバネの縮みによる消失のオクルージョンも同時に検出した場合を考えてみる。この場合の例を図30を用いて説明する。この場合も先ほどと同様に時間軸に双方向にマッチングをおこなうものとする。そのとき前方マッチングの結果からバネの縮みと伸びに対応する2つのオクルージョンマップが得られる。また後方マッチングの結果からも2つのオクルージョンマップが得られる。このとき図29の下側の図に示すように、前方マッチングの湧き出しのオクルージョン領域(uncovered occlusion)と後方マッチングの消失のオクルージョン領域(covered occlusion)は同じ意味のものを指していると言える。即ち、同じオクルージョン領域を2つの視点から見たものである。これら2つのマップは一つの事象に対して2つの視点からの結果であり、それらの同時確率を求めることによって1つの結果に依存しないよりロバストな結果が得られる。よって図30に示すように2つのマップの同時確率を求めて(AND)、それら2つの結果のORを取ることによってロバストなオクルージョンマップが得られると考えられる。

図31に示すように、実際に先ほどと同じようにオクルージョンマップが正しく得られなかったとしても、この方法であればロバストにオクルージョンマップを得ることができる。更にマッチングの結果の写像そのものの信頼度を求めることによって、その同時確率も加えることによってよりロバストな結果が得られると考えられる。

マッチングをどのようにおこなうか、マッチングステップについて説明する。対象画像と参照画像が入力されたとき、対象画像から参照画像への対応点のマッチングつまり写像関係を出力する画像マッチング方法を図32のブロック回路を参照して説明する。図2には、参照画像と対象画像が入力される離散変数ユニット51の出力がフレームメモリ52及び画像相関ポテンシャル力計算ユニット53、弾性エネルギー計算ユニット54及び摩擦力計算ユニット55に提供される。

まずは、このブロック回路に対して問題設定をおこなう。対象とする画像として以下のようなモデルを考える。

連続画像モデル

これは実数ベースの連続な画像モデルである。本実施形態では、デジタル画像を対象と考えているので、上記のモデルをサンプリングした以下のモデルを用いる。

サンプリング画像モデル

画像マッチングは、対象画像上の点が参照画像上のどの点に対応するのかを求める問題である。このとき画像マッチング問題は以下の条件式を満たす動きベクトルd:X×T→Xを探す問題として定式化できる。

また動きベクトルdが実数なので右辺は連続画像モデル式77の表記を用いていることに注意が必要である。ここでは対象画像と参照画像、2枚の画像間の画像マッチングを考えているので等価な以下の問題を考える。

また動きベクトルも簡単化されd:X→Xとなる。点xに対して動きベクトルdは1つだけ決まれば良いので動きベクトルdを一意写像とする。x+d(x)はxに対する写像とみなせるので次式で定義する。

ここでg:X→Xの一意写像である。上記の画像マッチング問題は次式を満たす写像gを探す問題に帰着する。

画像マッチング問題

ここで写像gによって決まる点を次式で定義する。

ここでy∈Xである。x=Vnであるからxは格子空間上の点nに一意に対応する。

写像gは一意写像であるからyもxに一意に対応する。よってyはnに一意に対応する。このことを図で表すと図5のようになる。つまりここで取り扱いたい空間は格子空間上の点nによって1対1に対応する変形格子空間である。

以上のようにy=g(x)=g(Vn)なので、nに1対1に対応することを分かりやすくするために、これを次式で再定義する。

すると画像マッチング問題(数式3)は次式を満たすynを探す問題に帰着する。

画像マッチング問題

次に問題解決の手段について説明する。画像マッチング問題の式84を解くために、ここではエネルギー関数を次式のように定義する。

エネルギー関数

画像マッチング問題の式84を画面全体のエネルギー関数の最小化問題として以下のような最適化問題として定式化する。

最適化問題

ここでEuは画像エネルギーでEkは弾性エネルギーとする。これはSnakes[“M. Kass, A. Witkin and D. Terzopoulos, “Snakes: Active Contour Models”, International Journal of Computer Vision, 1, 4, pp.321-331, 1988”]やActive Net[“坂上、山本、”動的な網のモデルActive Netとその領域抽出への応用”, テレビ学誌, 45, 10, pp.1155-1163, 1991”]、CPF[“Y. Shinagawa and T. L. Kunii, “Unconstrained Automatic Image Matching Using Multiresolutional Critical-Point Filters”, IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol.20, No.9, 1998”]で用いられて成功しているアプローチである。

Euに関しては以下のように説明される。式84を変形すると次式となる。

となるが、通常式87を厳密に満たす点を探すことは画像に含まれるノイズ成分などにより困難である。そこで次のようなエネルギー関数を考える。

このエネルギー関数Euが最小となる点を探すよ。

kに関しては以下のように説明される。マッチング対象の画像は3次元空間を2次元に投影したものだとする。3次元空間上のオブジェクトが剛体とすると、2次元画像では剛体のサーフェスがオブジェクトとして観測されることになる。3次元空間上のオブジェクトが対象画像と参照画像で観測されるとすると、このときそれぞれの画像上で観測されるオブジェクトの位相は保たれる確率が高い。図7に示すように、対象画像オブジェクト上の点xの位置関係は参照画像オブジェクト上の点ynでも保たれるはずである。このような特性を再現するにはynがバネで構成されたネットのようなものだと考えると都合がよい。つまり弾性エネルギーを導入すればよい。

よってエネルギー関数の式85によるエネルギー最小化式86は、できるだけ式84が成り立つようにかつ全体が滑らかになるような解を探すことになる。

SnakesやActive Netでは式86から次式の最適性必要条件を求める。

最適性必要条件

これを解くことにより解を求めている。これはエネルギー関数(数式5)を満たす静的な釣り合いの条件を求めていることになる。

本手法では運動エネルギーΤを導入することにより動的な解法を構築する。点yの動的な挙動に興味があるので、点yに対して新たな時間軸τ∈Rを導入し関数yn(τ)を定義する。新たな時間軸を導入したので時間に関する微分が以下のように定義できる。

そこで運動エネルギーを次式として定義する。

運動エネルギー

ラグランジアンを以下のように定義する。

ラグランジアン

このとき変分原理を満たす運動方程式は次式93のように得られる。

オイラー方程式

これを展開すると次式の運動方程式が得られる。

運動方程式

しかし運動方程式94に従った運動は保存系であり、エネルギー保存則により解は収束しない。そこで系を非保存系にするために次式95の摩擦エネルギーを導入する。

摩擦エネルギー

ここでμ>0は動摩擦係数である。摩擦エネルギーを導入した場合のオイラー方程式は以下のようになる。

摩擦エネルギーの入ったオイラー方程式

これを解くことにより運動方程式97が得られる。

摩擦の入った運動方程式

これら静的なエネルギー関数と動的なエネルギー関数は直感的には以下のように対比される。図33に示すように静的なエネルギー関数Uによる最適化では、静的な釣り合いの位置を求めるように探索がおこなわれる。そのため基本的には初期値に最も近い釣り合いの位置が求まる。つまり初期値に最も近い局所的最適点が求まるということである。しかし図33にも示してあるように必ずしも局所最適点が大域的最適点ではない。このように静的なエネルギー関数による最適化では強い初期値依存性がある。

それに対して本手法のような動的な最適化では、動的な運動の中で探索がおこなわれる。正確には探索が運動として表現されている。よって図34に示すように最初の位置エネルギーが運動エネルギーに変換されるため局所最適点から飛び出ることが可能となっている。これにより静的なエネルギー関数を用いるよりもより広い範囲を探索できる。よって静的なエネルギー関数を使うよりも、初期値依存性が低くなる可能性と、ノイズ等の影響に対してよりロバストになる可能性がある。

次に、動的な探索、つまり運動方程式(数式15)に従った解が最適化問題(数式6)に対する最適性必要条件を満たすことを証明する。

1.探索が完了したと仮定する。するとyは完全に停止、つまり次式98が成り立つ。

このとき運動方程式97より

であるから次式100が成り立つ。

よって最適性必要条件式89を満たす。ゆえに探索が完了したときその点は最適である。

2.yが静止したとする。すると次式101が成り立つ。

このとき運動方程式97より次式102が得られる。

今yが最適点であるとすると最適性必要条件式89より

となり探索が完了する。

yが最適点でないならば加速度が生じるため探索は完了しない、つまり最適点以外で探索が完了することはない。

3.摩擦エネルギーの性質より

つまり運動は停止する。ゆえにいつかは探索が完了する。

以上1、2,3より運動方程式(数式15)にしたがった運動は最適化問題式86に対する最適性の必要条件が満たされる。

2次の最適性必要条件については一部で満たされない。ポテンシャルの山の頂上で探索が終了することがあり得るからである。そこでポテンシャルの山の頂上では探索が完了しないという条件、つまり

を仮定すれば2次の最適性必要条件も証明される。この追加の仮定に関してはアルゴリズムにたいして

ということを要請することによって達成できる。

以上より運動方程式97に従った探索は最適化問題式86に対する最適解を与え、従来の静的な探索に比べてロバストであることが示唆された。

というように分解できるのでそれぞれについて検討する。

勾配を計算する方法は色々考えられるがここでは次のような方法を採用する。数式7に示すように、勾配は局所最適化によって直接求める。画像モデルScは連続の画像モデルだが、実際にはサンプリングされた画像モデルSpしか利用できない。そこで局所最適化もサンプリングされた画像モデルをベースにおこなう。yn(τ)にもっとも近いサンプリング点を局所空間中心ycとしたいので次式107のように求める。

局所最適化をしてその方向へのベクトルを求め、それを正規化し勾配の大きさをかけると次式が得られる。

画像エネルギーによる力(二乗誤差エネルギー)

実装上の扱いやすさ等からエネルギー関数を次式111と定義した画像エネルギーによる力の式112を用いることもできる。

画像エネルギーによる力(絶対値差分誤差エネルギー)

弾性体が多様体Mにより構成されているとし、M上の点を次式113とする。

弾性エネルギーの1次微分項は次式115で表される。

これは弾性体の収縮を表すエネルギーである。yで微分すると

ここで

上記多様体Mが格子点を連結したバネモデルで実現されているとし、偏微分を差分方程式で近似する。

これを式117に代入して整理すれば式119の4点接続バネモデルが得られる。

4点接続バネモデル

以上をまとめると運動方程式は次式のようになる。

運動方程式

画像エネルギーによる力Fuが解析的には解けないため常微分方程式(数式19)は解析的には解けない。よってシステムのτ→∞における極限を取ることは困難である。そこでシステムが収束するのに十分大きな時間Τを考え、数値解析によってt=(0,Τ)区間を計算することによってシステムの収束状態を推定する。

常微分方程式は初期値が決まれば離散変数法によって一意に解が求まる。一般には常微分方程式の初期値問題といわれるものである。この問題の数値解法は数多く存在するが、有名なものではオイラー法、ルンゲクッタ法、ブリルシュ・ストア法、予測子・修正子法、隠的ルンゲクッタ法などの方法がある。ルンゲクッタ法がもっとも有名かつ使用頻度が高い。しかし式121は画像のサイズ分の次元を持つため複雑な数値解法は適合しにくい。そこでここでは実現が最も簡単なオイラー法を応用することを考える。

オイラー法は一階の常微分方程式に対する数値解法なので、まずは数式19を一階の常微分方程式に変換する。変数変換を式122で施すと、変換された運動方程式123が得られる。

変数変換

常微分方程式124に対するに対するオイラー法のスキームは式125となる。

オイラー法のスキーム

ここでx(n)はnステップであることを示しており、hはステップ幅である。オイラー法のスキームを式123に適用すると次式126の更新式が得られる。

オイラー法による更新式
よってこの更新式を繰り返し解くことにより収束状態を求めることができる。

次に補間フレーム生成ステップについて説明する。ここではDigital Image Warping1[“J. Nieweglowski, P. Haavisto, “Motion Compensated Video Sequence Interpolation Using Digital Image Warping”, IEEE Acoustics, Speech, and Signal Processing, vol.5, p205-208, 1994”, ” J. Nieweglowski, T. George Campbell, P. Haavisto, “A Novel Video Coding Sheme Based on Temporal Prediction Using Digital Image Warping”, IEEE Transactions on , Volume: 39 Issue: 3 , Aug. 1993”]と同様の手法を採用する。Digital Image Warpingでは、四辺形の各点ごとに動きベクトルを求め、四辺形を二つの三角形に分割し、それぞれの三角形ごとに、3つの頂点によって求まるアフィン変換を算出し、そのアフィン変換を用いて内挿する三角形の画像値を求めている。

上記のアフィン変換を使って、三角形V内の点(u,v)Τは次式128であらわされる三角形Y内の点(x,y)Τに対応することが算出できる。

上記のアフィン変換を用いて補間フレームを求める。参照フレームtの時間位置を0、参照フレームt+lΔtの時間位置を1として、内挿する補間フレームの時間位置をΔti(0≦Δti≦1)とする。Δtiに応じて写像g(・,t;lΔt)を線形変換すると次式129となる。

そこで三角形Wから三角形Xへのアフィン変換と三角形Yへのアフィン変換をそれぞれ数式24によって求め、それぞれのアフィン変換から点wに対応する画素値を求める。

すなわち点wに対応する三角形X内の点は次式130によって計算できる。

同様にして点wに対応する三角形Y内の点は次式131によって計算できる。

時間位置に従って両フレームの重量平均を取れば、次式132によって補間フレームの画素値を計算できる。

ここで式123の右辺は連続画像モデルで書かれている。そのため実際には離散の画像モデルから右辺を計算するためにbi-linear法によって画素値を補間して計算する。これを画面内の全三角形に対しておこなうことにより写像g(・,t;lΔt)による補間フレームを生成する。

表面信頼度算出1ステップについて説明する。バネの伸びている部分をオクルージョンとして信頼度の高い領域とするのという哲学だったので、逆にいえばバネの変化していない部分が表面として信頼度が高いといえる。

実際には領域における信頼度を算出しなければならないため図17に示すように例えば

で囲まれた三角形の面積を用いる。元の三角形の面積はベクトルの外積の絶対値により次式133のように求まる。

同様にして写像後の三角形の面積が次式134によって求まる。

よって面積の差分値を次式135とする。

差分値が0に近いほど表面の確率が高くなり、差分値が大きくなるほど表面の確率が低くなるとすると、これは差分値が任意の閾値よりも大きければ0とし、小さければ1とすれば都合がよい。

表面信頼度算出2ステップについて説明する。Coveredなオクルージョン領域(消失のオクルージョン領域)の格子点は理想的には0に縮んでしまうという幾何学的な特性がある。これはuncoveredなオクルージョン領域(湧き出しのオクルージョン領域)が伸びているのと対称的である。Uncoveredなオクルージョン領域の信頼確率は伸びと関連づけたので、coveredなオクルージョン領域の信頼確率は縮みと関連づけるのは自然であろう。

つまりこれまでは伸びも縮みも等価に扱っていたものを、ここでは伸びと縮みによって異なる信頼確率を生成するようにする。これは理論の対象性からも自然なことのように思われる。

そこで表面信頼度算出1ステップでも用いた面積の差分を用いて、差分が閾値よりも大きければ0を、小さければ1を設定するようにする。

続いて表面信頼度算出3ステップについて説明する。これは写像の信頼度が確かならばそれは表面としても確からしいという確率である。これを格子点xに写像g(x)が与えられた元での画像Sk2(・)のもっともらしさとしてモデル化する。一般的にはこれは尤度といわれる。観測される画像にはノイズが加わるとして、格子点xと写像g(x)の画素値を次式136によって表す。

Displaced Pixel Difference(以下DPD)を次式137のようにモデル化する。

このDPDが閾値よりも小さければもっともらしいので確率1を、大きければ確率0を設定する。

図25を用いて実際の構成を説明する。

前方マッチング(42)、後方マッチング(43)の両ステップは入力するフレームの違いだけなので、オクルージョン付きマッチングステップとして以下のようにまとめる。なお前方マッチングの場合は入力フレームを読み替えなくても良いが、後方マッチングの場合は

のように読み替える。また出力結果に対して、前方マッチングの場合にはfを添え字し、後方マッチングの場合にはbを添え字する。

オクルージョン付きマッチングステップ(図35)

次に、合成ステップについて説明する。

以下では、図32に示すブロック図に従って各ステップの具体的な説明をおこなう。

離散変数法ステップでは、離散変数法の更新式126に従って位置と速度を更新させ、初期値からあらかじめ設定された時刻Τまでの計算をおこなう。ここではオイラー法による離散変数法を用いる。具体的には図36に示すフローチャートに従って計算をおこなう。その中で、後述する画像力計算ステップ、弾性エネルギー力計算ステップ、摩擦力計算ステップを用いる。

画像力計算ステップでは、画像相関によるポテンシャルエネルギーによって発生する力Fμを計算する。

具体的には図37に示すフローチャートに従って計算をおこなう。なお式112に従っても良い。

弾性エネルギー力計算ステップでは、弾性エネルギーによって発生する力Fkを計算する。

具体的には図38に示すフローチャートに従って計算をおこなう。

摩擦力計算ステップでは、動摩擦力によって発生する力Fμを計算する。

具体的には図39に示すフローチャートに従って計算をおこなう。

具体的には図40に従って計算をおこなう。

以上本実施例によりオクルージョン領域に適切な絵を補間可能なロバストで高画質な補間フレームが提供できる。

[第5の実施形態]
本実施形態も図25のブロック図を参照して説明する。

第4の実施形態では、表面信頼度算出1,2,3ステップにおいて閾値による確率化をおこなった。この場合、閾値より大きければ1,小さければ0というように2値の確率しか表現できない。

そこでより滑らかで精度の高い確率表現を得るために本実施例では以下のようなシグモイド関数を用いる。

以下の部分については、第3の実施形態より変更する。

表面信頼度算出1ステップ

表面信頼度算出2ステップ

本実施例の構成により、より滑らかな確率マップが得られるためより高画質な補間フレームが提供できる。

[第6の実施形態]
本実施形態も図25のブロック図を参照して説明する。

本実施例では表面信頼度の確率をガウス分布にしたがった確率分布として記述することにより、よりロバストな表面信頼度を得るものである。

表面信頼度算出1ステップについて。バネの伸びている部分をオクルージョンとして信頼度の高い領域とするのという哲学だったので、逆にいえばバネの変化していない部分が表面として信頼度が高いといえる。

実際には領域における信頼度を算出しなければならないため図17に示すように例えば

で囲まれた三角形の面積を用いる。元の三角形の面積はベクトルの外積の絶対値により以下のように求まる。

同様にして写像後の三角形の面積が

とする。差分値が0に近いほど表面の確率が高くなり、差分値が大きくなるほど表面の確率が低くなるとすると、これは差分値が平均0、分散σのガウス分布に従うと考えると妥当である。よって差分値Rの確率密度関数は以下のようにモデル化できる。

これは確率密度関数であるから分布関数は

となる。よって差分値R(n)がaからbの間に存在する確率は

で与えられる。

差分値R(n)=0が得られたときの信頼度を95%にしたいとすると

とすればよい。よってある差分値が得られたときの表面の確率を次式142と定義する。

表面の確率

これが三角形内側の表面の信頼度であるからこれを三角形の内側に割り当てメモリする。

を構築する。

次に表面信頼度算出3ステップについて述べる。写像の信頼度を確率としてモデル化する。

一般的にはこれは尤度といわれる。

観測される画像にはノイズが加わるとして、格子点xと写像g(x)の画素値を

ここでε,εは加法性ノイズである。Displaced Pixel Difference(以下DPD)を以下のようにモデル化する。

観測されるノイズが平均0、分散σのガウス分布に従うと仮定すると、あるDPDxの尤度は確率密度関数(probability density function, pdf)として次式143のように記述できる。

尤度

これは確率密度関数であるから分布関数は

よってあるDPDが得られたときの写像g(x)の確率を次式144と定義する。

写像g(x)の確率

表面信頼度算出2ステップについて述べる。Covered occlusion(消失なオクルージョン領域)は変形して圧縮されている領域とする。

を定義する。これらの面積の差分を

とする。ここでSは面積を算出するオペレータとする。この差分値r(n)が負ならば圧縮されているということである。

ここで画面全体が単一の領域であるとすると差分値R(n)の分布がガウス分布に従うとしても良さそうである。もし画面が複数領域からなり、covered occlusionが発生しているとするとその領域の差分値R(n)は外れ値として分布する可能性が高い。よって差分値R(n)が0に近いほど表面である確率が高いという信頼度を構築する。

差分値Rの確率密度関数は以下のようにモデル化できる。

これは確率密度関数であるから分布関数は

となる。よって差分値R(n)がaからbの間に存在する確率は

で与えられる。

差分値R(n)=0が得られたときの信頼度を95%にしたいとすると

とすればよい。よってある差分値が得られたときの表面の確率を次式145と定義する。

表面の確率

実際の構成は以下のようになる。

表面信頼度算出1ステップ

表面信頼算出3ステップ

表面信頼度算出2ステップ

以上、本誌実施の形態により表面信頼度の確率をガウス分布にしたがった確率分布として記述することにより、よりロバストな表面信頼度を得ることができ、より高画質な補間フレームを提供できる。

[第7の実施形態]
本実施形態も図25のブロック図を参照して説明する。

背景が静止しているような画像の場合、オクルージョン領域が発生しうるのはフレーム間で変化のある部分のみである。フレーム間で変化のある部分はフレーム間差分を取ると検出することができる。よってこのフレーム間差分から表面信頼度を算出可能である。

表面信頼度算出4ステップについて説明する。観測される画像にはノイズが加わるとして、フレーム間の画素値を

ここでε,εは加法性ノイズである。Pixel Difference(以下PD)を以下のようにモデル化する。

ここでこのPDが任意の閾値よりも小さければ確率1を、大きければ確率0を与えるなどとすることができる。

また上記のように閾値モデルではなく、ガウス分布モデルに従った以下のような方法でも良い。観測されるノイズが平均0、分散σのガウス分布に従うと仮定すると、あるPDxの尤度は確率密度関数(probability density function, pdf)として次式146のように記述できる。

尤度

これは確率密度関数であるから分布関数は

となる。よってPDγ(x)がaからbの間に存在する確率は

で与えられる。静止領域では対応する画素同士の差分値がゼロになるとすると、静止のPDはノイズ成分に等しい。よってノイズの定義から、静止のPDは平均0、分散σのガウス分布に従っていることになる。静止のPDでの信頼度をガウス分布の信頼区間により設定する。例えば静止のPDに95%の信頼度を持たせたい場合は

とすればよい。よってあるPDが得られたときの表面の確率を次式147と定義する。

表面の確率

ここで分散σは任意の値を設定しても良いし、M推定によって与えられた画像から反復的に求めることもできる。

よって表面信頼度算出4ステップを以下のように構成する。

表面信頼算出4ステップ

また背景が完全に静止しているならば、オクルージョンマッチングはおこなわずに、背景そのものをそのまま持ってきても良い。

第4の実施形態に対して合成ステップに関しても改良を加える。

以上本実施例により、背景が静止している場合において高画質な補間フレームを提供することができる。

[第8の実施形態]
画面全体が単一の領域の場合には第6の実施形態のようなガウス分布に従うといっても構わないが、複数領域からなる場合には必ずしもガウス分布に従うとは限らない。そのため精度が低下してしまうこともありうる。そこで本実施例ではガウス分布から外れる領域をM推定によって弾くことにより複数領域に対しても精度良くするものである。

Covered occlusionは変形して圧縮されている領域とする。

ここでSは面積を算出するオペレータとする。この差分値R(n)が負ならば圧縮されているということである。

ここで画面全体が単一の領域であるとすると差分値R(n)の分布がガウス分布に従うとしても良さそうである。もし画面が複数領域からなり、covered occlusionが発生しているとするとその領域の差分値R(n)は外れ値として分布する可能性が高い。よって差分値R(n)が0に近いほど表面である確率が高いという信頼度を構築する。

差分値Rの確率密度関数は以下のようにモデル化できる。

これは確率密度関数であるから分布関数は

よってある差分値が得られたときの表面の確率を次式148と定義する。

表面の確率

複数領域の場合の表面確率

この確率wはM推定の重み関数と関連づけることができる。M推定の重み関数は平均に近いほど1に近くなり外れるほど0に近くなる関数だからである。

M推定の枠組みでモデル化する。Covered occlusionに関して考えたいので圧縮方向のみを対象にする。すなわち伸びている領域は無視したいのでR(n)<1の点を対象とする(R(n)≧1は伸びている領域である)。

と定義できる。TukeyのBiweight法によると重み関数は

のように構成できる。ここでc>0は定数であり、正規分布の場合にはc=6.0となる。この重み関数を用いて標本平均、標本偏差が以下のように計算できる。

ここで上付はイテレーションをあらわす。標本平均&偏差の計算と重み関数の計算を交互にI回イテレーションさせることによってM推定を構成する。

このM推定の結果を使って上記の確率を拡張すると以下のようにモデル化できる。

以上本実施例によって画面が複数の領域からなる場合でも精度良い補間フレームを提供できる。

[第9の実施形態]
本実施形態も図25のブロック図を参照して説明する。上記実施形態では、バネの伸びや縮みによってオクルージョン領域を検出する方法が提供されている。マッチングが正確におこなわれていれば、バネが伸びたり縮んだりするのはオクルージョンの領域だと判定ができるが、マッチングが不正確だとバネの伸びや縮みがマッチングミスに起因することがある。そこで本実施形態はマッチングミスを検出し補正することにより高画質な補間フレームを生成できる方法を提供する。

図41は、第9の実施形態に従った画像マッチング方法を実施する画像マッチング装置のブロック図を示している。これによると、入力画像信号を記憶するフレームメモリ41が設けられる。このフレームメモリ41は前方マッチングユニット42及び後方マッチングユニット43に結合され、記憶画像信号をこれらマッチングユニットに入力する。前方及び後方マッチングユニット42,43は入力画像信号も入力されおり両信号に基づきマッチング処理を行う。前方及び後方マッチングユニット42,43の出力は表面信頼度算出ユニット45,46にそれぞれ接続される。表面信頼度算出ユニット45,46の出力はマッチングユニット47に接続されると共に合成ユニット48に接続される。

図42に示すように、オブジェクトが左から右に移動する画像にマッチングをかけたとする。このときマッチングが正しければオブジェクトの格子は対応するオブジェクト上に移動するはずだが、誤マッチングによりオブジェクトが検出できなかったとすると、オブジェクト上の格子点は参照画像上の背景上に位置することになる。しかし、このままでは画像エネルギーが高いため非常に不安定である。そのため周りの少しでも画像エネルギーが低いところを目指して移動する。結果としてそこにはバネの伸びが観測されることになる。

同様のことは逆側からマッチングをかけても起こる。よって前方と後方でマッチングできなかった領域がそれぞれバネの伸びとして検出される。つまり検出できなかった領域がオクルージョン領域に混じって検出されている可能性が高いと言える。そこでオクルージョン領域同士を再度マッチングかけることによって誤マッチングを補正できる。

表面信頼度算出4ステップを説明する。

前方マッチングユニット42と対応するものを第1の表面信頼度算出ステップ、後方マッチングユニットに対応するものを第2の表面信頼度算出ステップとする。まずは、表面信頼度算出ステップ1の表面信頼度マップの補集合を取り裏面信頼度を求める。または表面信頼度算出ステップ2の表面信頼度マップとの積確率を求め、その補集合を取っても良い。

裏面信頼度が閾値(例えば0.5)以上の領域を裏面として検出する。それぞれを第1の裏面、第2の裏面とする。参照フレームtを第2の裏面でマスクしたものをマスク参照フレームt、参照フレームt+lΔtを第1の裏面でマスクしたものをマスク参照フレームt+lΔtとする。

マスク参照フレームtを対象画像、マスク参照フレームt+lΔtを参照画像としてマッチングをおこない前方マッチング写像を求め、マスク参照フレームt+lΔtを対象画像、マスク参照フレームtを参照画像としてマッチングをおこない後方マッチング写像を求める。例えば表面信頼度算出3ステップを用いて前記前方マッチング写像と後方マッチング写像の信頼度を求め、誤マッチング時の表面信頼度とする。

次に前記表面信頼度算出4ステップの結果も含めて、第4の実施形態のような合成をおこなうことにより、誤マッチングも上手く補償したより高画質な補間フレームを生成できる。

本発明の第1の実施形態に従った画像マッチング方法を実行する画像マッチング装置のブロック図 画像マッチング問題ynに対するダイナミクスを示す図 別オブジェクトの隣接格子関係を示す図 格子点追加の概念図 各空間の繋がりを示す図 画像相関ポテンシャルエネルギーによる力の想定図 対象画像上のオブジェクトと参照画像のオブジェクトの位相が保たれる状態を示す図 不均質格子点空間を示す図 格子点追加を説明する図 格子点追加モデルの解析を説明する図 格子点追加をおこなわない場合の写像を示す図 簡略型格子点追加をおこなった場合の写像を示す図 第2の実施形態による画像マッチング方法を実行する画像マッチング装置のブロック図 第2の実施形態の画像マッチング方法を示すフローチャート図 オクルージョン領域を示す図 オクルージョンマッチングによる解決を説明するための図 オクルージョン信頼度を説明するための図 シグモイド関数を示す図 シグモイド関数を示す図 補間方法を説明するための図 オクルージョンマッチング補間方法を説明するための図 第3の実施形態による画像マッチング方法を実行する画像マッチング装置のブロック図 第3の実施形態の画像マッチング方法を示すフローチャート図 後方マッチングによるオクルージョン領域を示す図 本発明の第4の実施形態に従った画像マッチング方法を実行する画像マッチング装置のブロック図。 各空間の繋がりを示す図。 後方マッチングによるオクルージョン領域を示す図。 バネの延びと縮みにより前後のオクルージョンが検出できることを説明する図。 湧き出しの検出だけでは不足であることを説明する図。 複数の信頼度による合成を説明する図。 正しいマップが得られなかったとしてもロバストがあることを示す図。 マッチングステップを実行する概略装置のブロック図。 静的なエネルギー関数による最適化を説明する図。 静的なエネルギー関数による最適化を説明する図。 第4の実施形態の画像マッチング方法を実施するフローチャート図。 離散変数法の手順を示すフローチャート。 画像相関によるポテンシャルエネルギーによって発生する力を計算する手順を示すフローチャート図。 弾性エネルギーによる力を計算する手順を示すフローチャート図。 摩擦力を計算する手順を示すフローチャート図 補間計算の手順を示すフローチャート図。 第9の実施形態に従った画像マッチング方法を実施する画像マッチング装置のブロック図。 誤マッチングがバネの延びとして現れる状態を示す図。

符号の説明

11…画像マッチングユニット、12…モデル生成モジュール、13…数値解析モジュール、14…格子点追加モジュール、21、31…フレームメモリ、22、32…画像マッチングモジュール、23、33…オクルージョンマッチングモジュール、24、34…オクルージョン信頼度算出モジュール、25、35…動き補償ユニット、26、36…補間フレーム生成モジュール、27、37…画像相関信頼度算出モジュール、14…フレームメモリ、42…前方マッチングユニット、43…後方マッチングユニット、44…合成ユニット、45…表面信頼度計算ユニット、46…表面信頼度計算ユニット、47…マッチングユニット、48…合成ユニット、51…離散変数ユニット、53…画像相関ポテンシャル力計算ユニット、54…弾性エネルギー力計算ユニット、55…摩擦力計算ユニット

Claims (35)

  1. 第1画像とと第2画像との間の対応関係を求める画像マッチング方法において、
    複数の第1の格子点を有する第1の格子を第1画像上に設定するステップと、
    前記第1の格子点の各々に一対一に対応する第2の格子点を有する第2の格子を第2画像上に設定するステップと、
    前記第1の格子点の位置および画素情報と前記第2の格子点の位置および画素情報とによって求まる画像相関ポテンシャルエネルギーの勾配によって前記第2の格子点が受けるポテンシャル力を計算するステップと、
    前記第2の格子点とこの第2の格子点に隣接する前記第2の格子の隣接格子点との間の弾性エネルギーから前記第2の格子点が受ける弾性力を計算するステップと、
    前記第2の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力に基づく前記第2の格子点に関する運動方程式を数値解析することによって前記第2の格子点の平衡状態を求める数値解析ステップと、
    前記運動方程式の数値解析中に、前記第2の格子点と前記隣接格子点との間の距離に応じて格子点間に新たな格子点を追加する格子点追加ステップと、
    を有することを特徴とする画像マッチング方法。
  2. 第1画像と第2画像との間の対応関係を求める画像マッチング方法において、
    第1画像上に設定される第1の格子の第1の格子点に対して1対1に写像する第2画像上に設定される第2の格子の第2の格子点に関して、前記第1の格子点の位置および画素情報と前記第2の格子点の位置および画素情報とによって求まる画像相関ポテンシャルエネルギーの勾配によって前記第2の格子点が受けるポテンシャル力を計算するステップと、
    前記第2の格子点とこの第2の格子点に隣接する前記第2の格子の隣接格子点との間の弾性エネルギーから前記第2の格子点が受ける弾性力を計算するステップと、
    前記第2の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力に基づく第2の格子点に関する運動方程式を数値解析することによって前記第2の格子点の平衡状態を求める数値解析ステップと、
    前記運動方程式の数値解析中に、前記第2の格子点と前記隣接格子点との間の格子点間距離に応じて前記弾性エネルギーの弾性定数を変更するステップと、
    を有することを特徴とする画像マッチング方法。
  3. 前記弾性定数を前記格子点間距離に応じて階段状に変化させるステップを含むことを特徴とする請求項2に記載の画像マッチング方法。
  4. 前記弾性定数を前記格子点間距離に応じて線形に変化させるステップを含むことを特徴とする請求項2に記載の画像マッチング方法。
  5. 前記弾性定数を前記格子点間距離に応じてロジスティック関数的に変化させるステップを含むことを特徴とする請求項2に記載の画像マッチング方法。
  6. 時系列的にに並んでいる第1の参照画像と第2の参照画像と第3の参照画像を用いて、前記第1の参照画像と前記第2の参照画像との間に補間画像を内挿する画像補間方法において、
    前記第1の参照画像上の第1の格子の第1の格子点に対して1対1に写像する前記第2の参照画像上の第2の格子の第2の格子点に関して、前記第1の格子点の位置および画素情報と前記第2の格子点の位置および画素情報とによって求まる画像相関ポテンシャルエネルギーの勾配によって前記第2の格子点が受けるポテンシャル力を計算するステップと、
    前記第2の格子点とこの第2の格子点に隣接する前記第2の格子の隣接格子点との間の弾性エネルギーから前記第2の格子点が受ける弾性力を計算するステップと、
    前記第2の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力に基づく第2の格子点に関する運動方程式を数値解析することによって前記第2の格子点の平衡状態を求める第1の数値解析ステップと、
    前記第2の格子点の平衡状態における前記第2の格子点の分布に基づいて、オクルージョン領域を検出するオクルージョン領域検出ステップと、
    画像マッチング手法により前記第2の参照画像と前記第3の参照画像との画素の対応関係を求めるステップと、
    前記第2の格子点によって定まる第1の参照画像と第2の参照画像との画素の対応関係と、前記第2の参照画像と前記第3の参照画像との画素の対応関係と、検出されたオクルージョン領域の情報とを用いて、補間画像を生成する補間画像生成ステップと、
    を有することを特徴とする画像補間方法。
  7. 前記画像マッチング手法は、
    前記第2の参照画像上の前記第2の格子の第3の格子点に対して1対1に写像する第3の参照画像上に設定される第3の格子の第4の格子点に関して、前記第3の格子点と前記第4の格子点の位置によって求まる画像相関ポテンシャルエネルギーの勾配によって前記第4の格子点が受けるポテンシャル力を計算するステップと、
    前記第4の格子点とこの第4の格子点に隣接する格子点との間の弾性エネルギーから前記第4の格子点が受ける弾性力を計算するステップと、
    前記第4の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力に基づく前記第4の格子点に関する運動方程式を数値解析することによって前記第4の格子点の平衡状態を求める第2の数値解析ステップと、
    前記第3の格子点と前記第4の格子点との関係から、前記第2の参照画像と前記第3の参照画像との画素の対応関係を求めるステップと、
    を含むことを特徴とする請求項6に記載の画像補間方法
  8. 前記オクルージョン領域検出ステップでは、前記第2の格子点の平衡状態における前記第2の格子を前記第2の格子点を頂点として有する複数の領域に分割し、前記各領域のオクルージョン信頼度を算出し、閾値より大きい前記オクルージョン信頼度を有する前記領域をオクルージョン領域として検出し、
    前記補間画像生成ステップでは、前記オクルージョン領域内の各画素の画素値を、前記第1画像と前記第2画像との画素の対応関係から求められる第1画素値と前記第2参照画像と前記第3参照画像との画素の対応関係から求められる第2画素値とを、前記オクルージョン信頼度に応じた重み付きで合成して求めることを特徴とする請求項6に記載の画像補間方法。
  9. 時系列的に並んでいる第1の参照画像と第2の参照画像と第3の参照画像と第4の参照画像とを用いて、前記第2の参照画像と前記第3の参照画像間に補間画像を内挿する画像補間方法において、
    前記第2の参照画像上の第1の格子の第1の格子点に対して1対1に写像する第3の参照画像上の第2の格子の第2の格子点に関して、前記第1の格子点の位置および画像情報と第2の格子点の位置および画像情報とによって求まる画像相関ポテンシャルエネルギーの勾配によって前記第2の格子点が受けるポテンシャル力を計算するステップと、
    前記第2の格子点とこの第2の格子点に隣接する前記第2の格子の隣接格子点との間の弾性エネルギーから前記第2の格子点が受ける弾性力を計算するステップと、
    前記第2の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力に基づく前記第2の格子点に関する運動方程式を数値解析することによって前記第2の格子点の平衡状態を求める第1の数値解析ステップと、
    前記第2の格子点の平衡状態における前記第2の格子点の分布に基づいて、第1のオクルージョン領域を検出する第1のオクルージョン領域検出ステップと、
    前記第3の参照画像上の第2の格子の第3の格子点に対して1対1に写像する第2の参照画像上の第1の格子の第4の格子点に関して、前記第3の格子点の位置および画像情報と第4の格子点の位置および画像情報とによって求まる画像相関ポテンシャルエネルギーの勾配によって前記第4の格子点が受けるポテンシャル力を計算するステップと、
    前記第4の格子点とこの第4の格子点に隣接する前記第1の格子の隣接格子点との間の弾性エネルギーから前記第4の格子点が受ける弾性力を計算するステップと、
    前記第4の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力とに基づく前記第4の格子点に関する運動方程式を数値解析することによって前記第4の格子点の平衡状態を求める第2の数値解析ステップと、
    前記第4の格子点の平衡状態における前記第4の格子点の分布に基づいて、第2のオクルージョン領域を検出する第2のオクルージョン領域検出ステップと、
    前記第2の参照画像と前記第1の参照画像との画素の対応関係を求める第1の画像マッチングステップと、
    前記第3の参照画像と前記第4の参照画像との画素の対応関係を求める第2の画像マッチングステップと、
    前記第2の格子点によって定まる前記第2の参照画像と前記第3の参照画像との画素の対応関係、前記第4の格子点によって定まる前記第3の参照画像と前記第2の参照画像との画素の対応関係、前記第2の参照画像と前記第1の参照画像との画素の前記対応関係、前記第3の参照画像と前記第4の参照画像との画素の前記対応関係、前記第1のオクルージョン領域の情報、および、前記第2のオクルージョン領域の情報、を用いて補間画像を生成する補間画像生成ステップと、
    を有することを特徴とする画像補間方法。
  10. 前記第1のオクルージョン領域検出ステップでは、前記第2の格子点の平衡状態における前記第2の格子を前記第2の格子点を頂点として有する複数の第1評価領域に分割し、前記第1評価領域の各々のオクルージョン信頼度を算出し、閾値より大きい前記オクルージョン信頼度を有する前記第1評価領域を、前記第1のオクルージョン領域として検出し、
    前記第2のオクルージョン領域検出ステップでは、前記第4の格子点の平衡状態における前記第4の格子を前記第4の格子点を頂点として有する複数の第2評価領域に分割し、前記第2評価領域の各々のオクルージョン信頼度を算出し、閾値より大きい前記オクルージョン信頼度を有する前記第2評価領域を、前記第2のオクルージョン領域として検出し、
    前記補間画像生成ステップでは、前記第1のオクルージョン領域内の各画素の画素値を、前記第2画像と前記第3画像との画素の対応関係から求められる第1画素値と前記第2参照画像と前記第1参照画像との画素の対応関係から求められる第2画素値とを、前記オクルージョン信頼度に応じた重み付きで合成して求め、前記第2のオクルージョン領域内の各画素の画素値を、前記第3画像と前記第2画像との画素の対応関係から求められる第3画素値と前記第3照画像と前記第4参照画像との画素の対応関係から求められる第4画素値とを、前記オクルージョン信頼度に応じた重み付きで合成して求める、ことを特徴とする請求項9に記載の画像補間方法。
  11. 前記第1および前記第2の画像マッチングステップでは、ブロックマッチング法により対応関係を求めることを特徴とする請求項6または9に記載の画像補間方法。
  12. 前記第1および前記第2画像マッチングステップでは、オプティカルフロー推定法により対応関係を求めることを特徴とする請求項6または9に記載の画像補間方法。
  13. 前記第1および前記第2画像マッチングステップではベイズ法により対応関係を求めることを特徴とする請求項6または9に記載の画像補間方法。
  14. 前記第1および前記第2画像マッチングステップでは勾配法により対応関係を求めることを特徴とする請求項6または9に記載の画像補間方法。
  15. 平衡状態における前記第2の格子点の分布に基づいて前記第2の参照画像の表面信頼度を算出する第1の表面信頼度算出ステップと、
    平衡状態における前記第4の格子点の分布に基づいて前記第3の参照画像の表面信頼度を算出する第2の表面信頼度算出ステップと、
    平衡状態における前記第2の格子点の分布に基づいて第1の中間補間画像を生成し、前記第1の参照画像と前記第2の参照画像との画素の対応関係および前記第1のオクルージョン領域に基づいて第2の中間補間画像を生成し、平衡状態における前記第4の格子点の分布に基づいて第3の中間補間画像を生成し、前記第4の参照画像と前記第3の参照画像との画素の対応関係および前記第2のオクルージョン領域に基づいて第4の中間補間画像を生成する中間補間画像生成ステップと、
    を有し、
    前記補間画像生成ステップは、前記第3の参照画像の表面信頼度、前記第2の参照画像の表面信頼度、前記第1の中間補間画像、前記第2の中間補間画像、前記第3の中間補間画像、および、前記第4の中間補間画像を用いて、前記補間画像を生成する、
    請求項9に記載の画像補間方法。
  16. 前記第1および前記第2の表面信頼度算出ステップでは、隣接する格子点の間の距離が基準より離れている領域には表面ではないと判定し、前記距離が基準より近い領域を表面であると判定して、表面か否かを表す2値の前記表面信頼度を求めることを特徴とする請求項15に記載の補間画像生成方法。
  17. 前記第1および前記第2の表面信頼度算出ステップでは、隣接する格子点の間の距離が第1の閾値未満である領域を表面ではないと判定し、前記距離が第2の閾値より大きく第3の閾値未満である領域を表面であると判定して、表面か否かを表す2値の前記表面信頼度を求めることを特徴とする請求項15に記載の補間画像生成方法。
  18. 前記第1の表面信頼度算出ステップでは、前記第2の格子点を頂点とする多角形領域の初期状態の面積と平衡状態の面積との差分に基づいて前記第2の参照画像の表面信頼度を算出し、
    前記第2の表面信頼度算出ステップでは、前記第4の格子点を頂点とする多角形領域の初期状態の面積と平衡状態の面積との差分に基づいて前記第3の参照画像の表面信頼度を算出する、
    ことを特徴とする請求項15に記載の補間画像方法。
  19. 前記第1と第2の表面信頼度算出ステップでは、画像間差分が閾値より大きい領域を表面ではないと判定し、前記画像間差分が前記閾値より小さい部分を表面であると判定して、表面か否かを表す2値の前記表面信頼度を算出するすることを特徴とする請求項15に記載の補間画像方法。
  20. 前記第1と第2の表面信頼度算出ステップで求められる表面信頼度は確率であり、前記第1と第2の表面信頼度算出ステップは、さらに、算出された表面信頼度が閾値よりも大きい場合には確率1とし、算出された表面信頼度が前記閾値より小さい場合には確率0とするステップを有することを特徴とする請求項15に補間画像生成方法。
  21. 前記第1と第2の表面信頼度算出ステップでは、表面信頼度としてシグモイド関数に基づく確率を算出することを特徴とする請求項15に記載の補間画像生成方法。
  22. 前記第1と第2の表面信頼度算出ステップでは、表面信頼度としてガウス分布に基づく確率を算出することを特徴とする請求項15に記載の補間画像生成方法。
  23. 前記第1の画像マッチングステップでは、前記第2画像を目標画像として前記第1画像を原画像とする画像マッチングを行い、
    前記第2の画像マッチングステップでは、前記第3画像を目標画像として前記第4画像を原画像とする画像マッチングを行い、
    前記画像マッチングは、
    前記原画像に設定した格子点の各々に関して、前記各格子点の初期位置における前記原画像の画素値と前記各格子点の現在位置における前記目的画像の画素値とに基づく画像相関ポテンシャルエネルギーの勾配による力を計算するステップと、
    前記各格子点と前記各格子点に隣接する格子点との間の弾性エネルギーから受ける力を計算するステップと、
    前記各格子点に作用する摩擦力を計算するステップと、
    前記画像相関ポテンシャルエネルギーの勾配による力、前記弾性エネルギーから受ける力、および、前記摩擦力を含む、前記各格子点に関する運動方程式を離散変数法により数値的に解いて、前記各格子点の平衡状態を求めるステップと、
    前記各格子点について、初期位置と平衡状態での位置とを用いて前記原画像と前記目標画像との対応関係を求めるマッピングステップと、
    を有する請求項15に記載の補間画像生成方法。
  24. 前記第1と第2の画像マッチングステップでは、ブロックマッチングを行うことを特徴とする請求項15に記載の補間画像生成方法。
  25. 前記第1と第2の画像マッチングステップでは、オプティカルフロー推定によりマッチング処理を行うことを特徴とする請求項15に記載の補間画像生成方法。
  26. 前記第1と第2の画像マッチングステップでは、ベイズメソッドを用いたマッチング処理を行うことを特徴とする請求項15に記載の補間画像生成方法。
  27. 前記第1と第2の表面信頼度算出ステップで求められる表面信頼度は確率であり、前記第1と第2の表面信頼度算出ステップでは、前記表面信頼度の補集合である裏面信頼度を求め、裏面信頼度が一定値以上の領域を裏面として求め、前記第1の表面信頼度算出ステップによる第1の裏面と、前記第2の表面信頼度算出ステップによる第2の裏面とからマッチングをおこない、対応付けが正確におこなわれているところは表面であると判定するステップを含むことを特徴とする請求項15に記載の補間画像生成方法。
  28. 時系列的に並んでいる第1の参照画像と第2の参照画像と第3の参照画像と第4の参照画像とを用いて、前記第2の参照画像と前記第3の参照画像間に補間画像を内挿する画像補間方法において、
    前記第2の参照画像上の第1の格子の第1の格子点に対して1対1に写像する第3の参照画像上の第2の格子の第2の格子点に関して、前記第1の格子点の位置および画像情報と第2の格子点の位置及び画像情報とによって求まる画像相関ポテンシャルエネルギーの勾配によって前記第2の格子点が受けるポテンシャル力を計算するステップと、
    前記第2の格子点とこの第2の格子点に隣接する前記第2の格子の他の格子点との間の弾性エネルギーから前記第2の格子点が受ける弾性力を計算するステップと、
    前記第2の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力に基づく前記第2の格子点に関する運動方程式を数値解析することによって前記第2の格子点の平衡状態を求める第1の数値解析ステップと、
    前記第2の格子点の平衡状態おける前記第2の格子点の分布に基づいて、第1のオクルージョン領域を検出する第1のオクルージョン領域検出ステップと、
    前記第3の参照画像上の前記第2の格子の第3の格子点に対して1対1に写像する第4の参照画像上の第4の格子点に関して、前記第3の格子点と第4の格子点の位置によって求まる画像相関ポテンシャルエネルギーの勾配によって前記第4の格子点が受けるポテンシャル力を計算するステップと、
    前記第4の格子点とこの第4の格子点に隣接する他の格子点との間の弾性エネルギーから前記第4の格子点が受ける弾性力を計算するステップと、
    前記第4の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力とに基づく第4の格子点に関する運動方程式を数値解析することによって前記第4の格子点の平衡状態を求める第2の数値解析ステップと、
    前記第4の格子点の平衡状態における前記第4の格子点の分布に基づいて、第2のオクルージョン領域を検出する第2のオクルージョン領域検出ステップと、
    前記第2の参照画像上の第5の格子点に1対1に写像する前記第1の参照画像上の第6の格子点に関して、前記第5の格子点と前記第6の格子点の位置によって求まる画像相関ポテンシャルエネルギーの勾配によって前記第6の格子点が受けるポテンシャル力を計算するステップと、
    前記第6の格子点とこの第6の格子点に隣接する格子点との間の弾性エネルギーから受ける弾性力を計算するステップと、
    前記第6の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力とに基づく前記第6の格子点に関する運動方程式を数値解析することによって前記第6の格子点の平衡状態を求める第3の数値解析ステップと、
    第3の参照画像上の第7の格子点に1対1に写像する第4の参照画像上の第8の格子点に関して、前記第7の格子点と前記第8の格子点の位置によって求まる画像相関ポテンシャルエネルギーの勾配によって前記第8の格子点が受けるポテンシャル力を計算するステップと、
    前記第8の格子点とこの第8の格子点に隣接する格子点との間の弾性エネルギーから前記第8の格子点が受ける弾性力を計算するステップと、
    前記第8の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力とに基づく前記第8の格子点に関する運動方程式を数値解析することによって前記第8の格子点の平衡状態を求める第4の数値解析ステップと、
    前記第2の格子点によって定まる対応関係と、前記第4の格子点によって定まる対応関係と、前記第6の格子点によって定まる対応関係と、前記第8の格子点によって定まる対応関係と、前記第1のオクルージョン領域の情報と、前記第2のオクルージョン領域の情報とを用いて補間画像を生成する補間画像生成ステップと、
    を有することを特徴とする画像補間方法。
  29. 第1画像と第2画像との間の対応関係を求める画像マッチング装置において、
    第1画像上に設定される第1の格子の第1の格子点に対して1対1に写像する第2画像上に設定される第2の格子の第2の格子点に関して、前記第1の格子点と前記第2の格子点の位置によって求まる画像相関ポテンシャルエネルギーの勾配によって前記第2の格子点が受けるポテンシャル力を計算するポテンシャル力計算部と、
    前記第2の格子点とこの第2の格子点に隣接する前記第2の格子の他の格子点との間の弾性エネルギーから前記第2の格子点が受ける弾性力を計算する弾性力計算部と、
    前記第2の格子点に生じる摩擦力を計算する摩擦力計算部と、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力とに基づく前記第2の格子点に関する運動方程式を数値解析することによって前記第2の格子点の平衡状態を求める数値解析部と、
    前記運動方程式の数値解析中に、前記第2の格子点と前記隣接格子点との間の距離に応じて格子点間に新たな格子点を追加する格子点追加部と、
    を有することを特徴とする画像マッチング装置。
  30. 第1画像と第2画像との間の対応関係を求める画像マッチング装置において、
    複数の第1格子点を有する第1格子を第1画像上に設定する第1格子設定部と、
    前記各第1格子点の各々に一対一に対応する第2格子点を有する第2格子を第2画像上に設定する第2格子設定部と、
    前記第2格子点に作用するポテンシャル力を求めるため、前記第1格子点と前記第2格子点との位置関係に基づく画像相関ポテンシャルエネルギーの勾配に応じた画像相関力を求める画像相関力算出部と、前記第2格子点とこの第2格子点に隣接している前記第2の格子の隣接格子点との間の格子点間の距離に応じた弾性力を求める弾性力算出部と、前記第2の格子点に生じる摩擦力を求める摩擦力算出部とを有する作用力算出部と、
    前記画像相関力、前記弾性力、および、前記摩擦力を用いて前記第2格子点の位置および速度を数値的に求める数値解析部と、
    前記数値解析部によって求められた前記第2格子点の位置に基づいて、前記第2格子点の各々について前記第2格子点と前記隣接格子点との間の格子点間の距離を求める格子点間距離算出部と、
    前記格子点間距離が所定の条件を満たす格子点間に第2格子点を追加する格子点追加制御部と、
    前記第2格子点が所定の平衡状態に達するまで、前記数値解析部によって求められた前記第2格子点の位置および速度と、前記格子点追加制御部によって追加された第2格子点の位置および速度とを前記作用力算出部に出力する数値解析制御部と、
    を具備することを特徴とする画像マッチング装置。
  31. 前記作用力算出部は、前記格子点追加制御部によって追加された第2格子点に関しても、前記画像相関力、前記弾性力および前記摩擦力を求める、ことを特徴とする請求項30に記載の画像マッチング装置。
  32. 第1画像と第2画像との間の対応関係を求める画像マッチング装置において、
    複数の第1格子点を有する第1格子を第1画像上に設定する第1格子設定部と、
    前記各第1格子点に対応する第2格子点を有する第2格子を第2画像上に設定する第2格子設定部と、
    前記第2格子点に作用するポテンシャル力を求めるために、
    前記第1格子点の位置と前記第2格子点との位置と前記第1格子点の画素情報と前記第2格子点の画素情報とに基づく画像相関ポテンシャルエネルギーの勾配に応じた画像相関力を求める画像相関力算出部、
    前記第2格子点とこの第2格子点に隣接している前記第2の格子の隣接格子点との間の格子点間距離と可変な弾性係数とに応じた弾性力を求める弾性力算出部、および、
    前記第2の格子点に生じる摩擦力を求める摩擦力算出部、
    を備える作用力算出部と、
    前記画像相関力、前記弾性力、および、前記摩擦力を用いて前記第2格子点の位置および速度を数値的に求める数値解析部と、
    前記数値解析部によって求められた前記第2格子点の位置に基づいて、前記第2格子点の各々について前記格子点間距離を求める格子点間距離算出部と、
    前記格子点間距離算出部で算出された前記格子点間距離に応じて、前記作用力算出部で弾性力を算出する際に用いられる前記弾性係数の値を段階的に変更する弾性係数制御部と、
    前記第2格子点が所定の平衡状態に達するまで、前記数値解析部によって求められた前記第2格子点の位置および速度を前記作用力算出部に出力する数値解析制御部と、
    を具備することを特徴とする画像マッチング装置。
  33. 第1画像と第2画像との間の対応関係を求める画像マッチング方法において、
    複数の第1格子点を有する第1格子を第1画像上に設定する第1格子設定ステップと、
    前記各第1格子点に対応する第2格子点を有する第2格子を第2画像上に設定する第2格子設定ステップと、
    前記第2格子点に作用するポテンシャル力を求めるために、
    前記第1格子点の位置と前記第2格子点との位置と前記第1格子点の画素情報と前記第2格子点の画素情報とに基づく画像相関ポテンシャルエネルギーの勾配に応じた画像相関力を求める画像相関力算出ステップ、
    前記第2格子点とこの第2格子点に隣接している隣接格子点との間の格子点間距離に応じた弾性力を求める弾性力算出ステップ、および、
    摩擦力を求める摩擦力算出ステップ、
    を有する作用力算出ステップと、
    前記画像相関力、前記弾性力、および、前記摩擦力を用いて前記第2格子点の位置および速度を数値的に求める数値解析ステップと、
    前記数値解析ステップによって求められた前記第2格子点の位置に基づいて、前記第2格子点の各々について前記第2格子点と前記隣接格子点との間の格子点間の距離を求める格子点間距離算出ステップと、
    前記格子点間距離が所定の条件を満たす格子点間に第2格子点を追加する格子点追加制御ステップと、
    前記第2格子点が所定の平衡状態に達するまで、前記数値解析部によって求められた前記第2格子点の位置および速度と、前記格子点追加制御部によって追加された第2格子点の位置および速度とを前記作用力算出ステップにおいて出力する数値解析制御ステップと、
    を有することを特徴とする画像マッチング方法。
  34. 前記作用力算出ステップは、前記格子点追加制御ステップによって追加された第2格子点に関しても、前記画像相関力、前記弾性力および前記摩擦力を求めることを特徴とする請求項33に記載の画像マッチング方法。
  35. 第1画像と第2画像との間の対応関係を求める画像マッチング方法において、
    複数の第1格子点を有する第1格子を第1画像上に設定する第1格子設定ステップと、
    前記各第1格子点に対応する第2格子点を有する第2格子を第2画像上に設定する第2格子設定ステップと、
    前記第2格子点に作用するポテンシャル力を求めるために、
    前記第1格子点の位置と前記第2格子点との位置と前記第1格子点の画素情報と前記第2格子点の画素情報とに基づく画像相関ポテンシャルエネルギーの勾配に応じた画像相関力を求める画像相関力算出ステップ、
    前記第2格子点とこの第2格子点に隣接している隣接格子点との間の格子点間距離と、可変な弾性係数とに応じた弾性力を求める弾性力算出ステップ、および、
    摩擦力を求める摩擦力算出ステップ、
    を含む作用力算出ステップと、
    前記画像相関力、前記弾性力、および、前記摩擦力を用いて前記第2格子点の位置および速度を数値的に求める数値解析ステップと、
    前記数値解析ステップによって求められた前記第2格子点の位置に基づいて、前記第2格子点の各々について前記格子点間距離を求める格子点間距離算出ステップと、
    前記格子点間距離算出ステップで算出された前記格子点間距離に応じて、前記作用力算出ステップで弾性力を算出する際に用いられる前記弾性係数の値を段階的に変更する弾性係数制御ステップと、
    前記第2格子点が所定の平衡状態に達するまで、前記数値解析ステップによって求められた前記第2格子点の位置および速度を出力する数値解析制御ステップと、
    を有する画像マッチング方法。
JP2005336291A 2005-02-16 2005-11-21 画像マッチング方法およびこれを用いた画像補間方法 Abandoned JP2006260527A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005039623 2005-02-16
JP2005336291A JP2006260527A (ja) 2005-02-16 2005-11-21 画像マッチング方法およびこれを用いた画像補間方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005336291A JP2006260527A (ja) 2005-02-16 2005-11-21 画像マッチング方法およびこれを用いた画像補間方法
US11355144 US7440619B2 (en) 2005-02-16 2006-02-16 Image matching method and image interpolation method using the same
US12222765 US20090067728A1 (en) 2005-02-16 2008-08-15 Image matching method and image interpolation method using the same

Publications (1)

Publication Number Publication Date
JP2006260527A true true JP2006260527A (ja) 2006-09-28

Family

ID=36931985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005336291A Abandoned JP2006260527A (ja) 2005-02-16 2005-11-21 画像マッチング方法およびこれを用いた画像補間方法

Country Status (2)

Country Link
US (2) US7440619B2 (ja)
JP (1) JP2006260527A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204124B2 (en) 2007-08-27 2012-06-19 Sony Corporation Image processing apparatus, method thereof, and program

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3719213B2 (ja) * 2002-01-16 2005-11-24 ノーリツ鋼機株式会社 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
US7668366B2 (en) * 2005-08-09 2010-02-23 Seiko Epson Corporation Mosaic image data processing
JP4398919B2 (ja) * 2005-08-22 2010-01-13 株式会社東芝 画像マッチング装置、画像マッチング方法および画像マッチングプログラム
US8068697B2 (en) * 2006-10-19 2011-11-29 Broadcom Corporation Real time video stabilizer
US20100067802A1 (en) * 2006-12-01 2010-03-18 Yu Huang Estimating a location of an object in an image
KR20080073933A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
CN101689292B (zh) * 2007-02-14 2014-01-15 弗廷特风险投资集团 Banana多媒体数字信号编解码器
JP4709794B2 (ja) * 2007-03-15 2011-06-22 株式会社東芝 動き推定装置及びその方法
KR101379255B1 (ko) * 2007-04-06 2014-03-28 삼성전자주식회사 미분 방정식을 이용한 인트라 예측 부호화, 복호화 방법 및장치
US20080310514A1 (en) * 2007-06-14 2008-12-18 Texas Instruments Incorporated Adaptive Density Search of Motion Estimation for Realtime Video Compression
JP4876080B2 (ja) * 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置
JP4956452B2 (ja) * 2008-01-25 2012-06-20 富士重工業株式会社 車両用環境認識装置
KR100996542B1 (ko) * 2008-03-31 2010-11-24 성균관대학교산학협력단 실시간 모션 검출 영상 처리 장치 및 그 방법
DE102008043965A1 (de) * 2008-11-21 2010-05-27 Robert Bosch Gmbh Verfahren zur echtzeitfähigen Simulation eines Luftsystemmodells eines Verbrennungsmotors
WO2010091937A1 (en) * 2009-02-12 2010-08-19 Zoran (France) Temporal video interpolation method with 2-frame occlusion handling
JP4991890B2 (ja) * 2010-03-01 2012-08-01 株式会社東芝 補間フレーム生成装置及び方法
GB201007351D0 (en) * 2010-04-30 2010-06-16 Imagination Tech Ltd Varying temporal interpolation in a motion compensated frame interpolation system
JP5470607B2 (ja) * 2010-09-29 2014-04-16 株式会社日立製作所 計算機システム、及び画像/図表を位置合わせする方法
JP2012100129A (ja) * 2010-11-04 2012-05-24 Jvc Kenwood Corp 画像処理方法及び画像処理装置
US9602763B1 (en) * 2010-12-16 2017-03-21 Pixelworks, Inc. Frame interpolation using pixel adaptive blending
US9094561B1 (en) * 2010-12-16 2015-07-28 Pixelworks, Inc. Frame interpolation and motion vector reconstruction
JP2013048717A (ja) * 2011-08-31 2013-03-14 Sony Corp 画像処理装置及び方法、記録媒体、並びにプログラム
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US9922267B1 (en) * 2016-09-01 2018-03-20 Adobe Systems Incorporated Locating features in warped images

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5400647A (en) * 1992-11-12 1995-03-28 Digital Instruments, Inc. Methods of operating atomic force microscopes to measure friction
US5483064A (en) * 1994-01-21 1996-01-09 Wyko Corporation Positioning mechanism and method for providing coaxial alignment of a probe and a scanning means in scanning tunneling and scanning force microscopy
US5534487A (en) * 1995-05-16 1996-07-09 Rohm And Haas Company Stabilization of 3-isothiazolone solutions
US5783829A (en) * 1995-11-06 1998-07-21 The University Of Virginia Energy and position sensitive radiation detectors
US5901245A (en) * 1997-01-23 1999-05-04 Eastman Kodak Company Method and system for detection and characterization of open space in digital images
JP2927350B2 (ja) 1997-03-27 1999-07-28 株式会社モノリス 多重解像度フィルタ処理方法およびその方法を利用することのできる画像マッチング方法
DE19900114B4 (de) * 1999-01-05 2005-07-28 Witec Wissenschaftliche Instrumente Und Technologie Gmbh Verfahren und Vorrichtung zur gleichzeitigen Bestimmung zumindest zweier Materialeigenschaften einer Probenoberfläche, umfassend die Adhäsion, die Reibung, die Oberflächentopographie sowie die Elastizität und Steifigkeit
JP3840129B2 (ja) 2002-03-15 2006-11-01 株式会社東芝 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム
JP4198550B2 (ja) 2002-09-10 2008-12-17 株式会社東芝 フレーム補間方法およびこのフレーム補間方法を用いた装置
JP3898606B2 (ja) 2002-09-12 2007-03-28 株式会社東芝 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
JP4053490B2 (ja) 2003-03-25 2008-02-27 株式会社東芝 フレーム補間のための補間画像作成方法及びこれを用いた画像表示システム、補間画像作成装置
JP4220284B2 (ja) 2003-03-28 2009-02-04 株式会社東芝 フレーム補間方法、装置及びこれを用いた画像表示システム
JP4080951B2 (ja) 2003-05-30 2008-04-23 株式会社東芝 フレーム補間方法及び装置並びに画像表示システム
JP4198608B2 (ja) 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
US7124041B1 (en) * 2004-09-27 2006-10-17 Siemens Energy & Automotive, Inc. Systems, methods, and devices for detecting circuit faults
JP4271115B2 (ja) 2004-09-29 2009-06-03 株式会社東芝 画像マッチング装置、画像マッチング方法および画像マッチングプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204124B2 (en) 2007-08-27 2012-06-19 Sony Corporation Image processing apparatus, method thereof, and program

Also Published As

Publication number Publication date Type
US20090067728A1 (en) 2009-03-12 application
US7440619B2 (en) 2008-10-21 grant
US20060193535A1 (en) 2006-08-31 application

Similar Documents

Publication Publication Date Title
Zhou et al. Dense scene reconstruction with points of interest
US6192156B1 (en) Feature tracking using a dense feature array
Banz et al. Real-time stereo vision system using semi-global matching disparity estimation: Architecture and FPGA-implementation
Brox et al. High accuracy optical flow estimation based on a theory for warping
Patwardhan et al. Video inpainting under constrained camera motion
Kammerl et al. Real-time compression of point cloud streams
US6504569B1 (en) 2-D extended image generation from 3-D data extracted from a video sequence
Tordoff et al. Guided-MLESAC: Faster image transform estimation by using matching priors
Wu et al. Image registration using wavelet-based motion model
Rabe et al. Dense, robust, and accurate motion field estimation from stereo image sequences in real-time
Dockstader et al. Multiple camera fusion for multi-object tracking
Liu et al. Accuracy vs efficiency trade-offs in optical flow algorithms
Akhter et al. Trajectory space: A dual representation for nonrigid structure from motion
Altunbasak et al. A fast parametric motion estimation algorithm with illumination and lens distortion correction
US20110050853A1 (en) Method and system for converting 2d image data to stereoscopic image data
Wang et al. Spatio-temporal segmentation of video data
Baumberg et al. Generating spatiotemporal models from examples
US20130321393A1 (en) Smoothing and robust normal estimation for 3d point clouds
Malciu et al. A robust model-based approach for 3d head tracking in video sequences
US20010040924A1 (en) Object region data describing method and object region data creating apparatus
US20150228114A1 (en) Contour completion for augmenting surface reconstructions
Dockstader et al. Multiple camera tracking of interacting and occluded human motion
Zhu et al. Spatial-temporal fusion for high accuracy depth maps using dynamic MRFs
CN102314683A (zh) 一种非平面图像传感器的计算成像方法和成像装置
Coorg et al. Acquisition of a large pose-mosaic dataset

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070205

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20090330