JP2006260527A - 画像マッチング方法およびこれを用いた画像補間方法 - Google Patents

画像マッチング方法およびこれを用いた画像補間方法 Download PDF

Info

Publication number
JP2006260527A
JP2006260527A JP2005336291A JP2005336291A JP2006260527A JP 2006260527 A JP2006260527 A JP 2006260527A JP 2005336291 A JP2005336291 A JP 2005336291A JP 2005336291 A JP2005336291 A JP 2005336291A JP 2006260527 A JP2006260527 A JP 2006260527A
Authority
JP
Japan
Prior art keywords
image
grid
point
lattice point
lattice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2005336291A
Other languages
English (en)
Inventor
Sunao Mishima
直 三島
Takeshi Ito
伊藤　　剛
Masahiro Baba
雅裕 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005336291A priority Critical patent/JP2006260527A/ja
Priority to US11/355,144 priority patent/US7440619B2/en
Publication of JP2006260527A publication Critical patent/JP2006260527A/ja
Priority to US12/222,765 priority patent/US20090067728A1/en
Abandoned legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

【課題】二つの画像から対応点を検出して画像のマッチングを行う画像マッチング方法およびこれを用いてフレームの補間を行うフレーム補間方法を提供する。
【解決手段】対象画像上に仮設される第１の格子の第１の格子点に対して１対１に写像する参照画像上に仮設される第２の格子の第２の格子点に関して、第１の格子点と第２の格子点の位置によって求まる画像相関ポテンシャルエネルギーの勾配によって受ける力と、第２の格子点に隣接する第２の格子の他の格子点との間の弾性エネルギーから受ける力と、第２の格子点に生じる摩擦力とによって確立される、第２の格子点に関する運動方程式に基づいて動的モデルを生成し、運動方程式を数値解析することによって第２の格子点の平衡状態を求め、第２の格子点と前記隣接格子点との間の距離に応じて格子点間に新たな格子点を追加する。
【選択図】 図１

Description

本発明は、二つの画像から対応点を検出して画像のマッチングを行う画像マッチング方法およびこれを用いて画像の補間を行う画像補間方法に関する。
動き検出、ステレオマッチング、画像モーフィング、画像認識、動画像符号化など多くの技術分野において、一つの画像から他方の画像への対応関係を求める画像マッチングの技術は基本的な技術である。
非特許文献１によれば、画像マッチングの技術は大きく分けて４つに分類できる。即ち、オプティカルフロー手法、ブロックベース手法、勾配法、ベイジアン法がある。オプティカルフロー手法は、「輝度の変化は一定である」というオプティカルフロー式を導出しそのオプティカルフロー式を拘束条件としてフローを求めるものである。ブロックベースの手法はブロック毎のテンプレートマッチングによって動きを求める手法である。勾配法は画像の輝度勾配が減少する方向にマッチングを行う手法である。ベイジアンメソッドは確率的にもっともらしいマッチングを求める手法である。
特許文献１には上記の分類には属さない技術として多重解像度フィルタを用いた画像マッチングの方法が開示されている。この手法は複数の多重解像度フィルタによって複数の多重解像度画像ピラミッドを生成し、画像ピラミッドを上から順にマッチング処理を行うことによって大きな動きから小さな動きまでマッチング可能なロバスト性の高いマッチング技術である。
登録番号2927350 A. Murat Tekalp, "Digital Video Processing", Prentice Hall, 1995 J. Nieweglowski, P. Haavisto, "Motion Compensated Video Sequence Interpolation Using Digital Image Warping", IEEE Acoustics, Speech, and Signal Processing, vol.5, p205-208, 1994 J. Nieweglowski, T. George Campbell, P. Haavisto, "A Novel Video Coding Sheme Based on Temporal Prediction Using Digital Image Warping", IEEE Transactions on , Volume: 39 Issue: 3 , Aug. 1993
特許文献１には滑らかな写像関係を求める手段が記載されている。しかし写像を滑らかにするという拘束条件が逆に動きの不連続部分にも働いてしまい不連続な写像が表現できないという課題がある。これは従来の画像マッチング手法では必ず発生するトレードオフであり、滑らかにしようとすれば、不連続が表現しにくくなり、不連続を表現しようとすれば滑らかにならないといった問題があった。
本発明は、滑らかにしても不連続の表現が損なわれず、不連続を表現しようとしても滑らかさが得られる画像マッチング方法およびこれを用いた画像補間方法を提供することを目的とする。
本発明の一局面は、第１画像と第２画像との間の対応関係を求める画像マッチング方法において、複数の第１の格子点を有する第１の格子を第１画像上に設定するステップと、前記第１の格子点の各々に一対一に対応する第２の格子点を有する第２の格子を第２画像上に設定するステップと、前記第１の格子点の位置および画素情報と前記第２の格子点の位置および画素情報とによって求まる画像相関ポテンシャルエネルギーの勾配によって前記第２の格子点が受けるポテンシャル力を計算するステップと、前記第２の格子点とこの第２の格子点に隣接する前記第２の格子の隣接格子点との間の弾性エネルギーから前記第２の格子点が受ける弾性力を計算するステップと、前記第２の格子点に生じる摩擦力を計算するステップと、前記ポテンシャル力、前記弾性力、および、前記摩擦力に基づく前記第２の格子点に関する運動方程式を数値解析することによって前記第２の格子点の平衡状態を求める数値解析ステップと、前記運動方程式の数値解析中に、前記第２の格子点と前記隣接格子点との間の距離に応じて格子点間に新たな格子点を追加する格子点追加ステップとを有することを特徴とする画像マッチング方法を提供する。
本発明によると、滑らかにしても不連続の表現が損なわれず、不連続を表現しようとしても滑らかさが得られる画像を生成できる。
［第１の実施形態］
本実施形態を図１のブロック図に従って説明する。図１によると、例えば、メモリなどを含むプロセッサにより構成される画像マッチング部１１がモデル生成モジュール１２と数値解析モジュール１３とを有する。画像マッチング部１１に対象画像と参照画像の２枚の画像が入力されたときに、フレームメモリの両画像の同じ部分、例えば３Ｄ画像の同じ部分をマッチングする。即ち、２つの画像が入ってきたときに力学的な概念を用いて動的なモデルを生成する。この動的モデルが常微分方程式の形でモデル生成モジュール１２から出力されるので、数値解析モジュール１３はその出力を一般の数値解法により反復的に解いていく。反復計算の最終回に得られる結果の画像がマッチングの最終状態となる。本実施形態では、例えば、プロセッサにより構成される格子点追加モジュール１４が追加されており、後述するように逐次反復的に格子点を追加して動的モデルの解析を反復的に行う。
このことを図２を参照して説明すると、例えば９つの格子点を有する格子空間が対象画像および参照画像にそれぞれ仮設される。この場合、格子点と対象画像および参照画像の画像部分（画素）とは対応している。両者の格子空間は同じサイズであり、対応する点は予め設定されている。例えば、対象画像の格子空間の真ん中の点は参照画像の格子空間の真ん中の点に対応する。対応点が決まっている状態において対象画像と参照画像とのマッチングが行われる。このマッチングにおいて運動方程式を作る。運動方程式はある時間に対してそれぞれの点の動きを一意に対応させる。運動方程式をある時間解くことによって画像の格子が適した形に変形するモデルが作れる。例えば、対象物体が移動しているような画像があるとすると、図２に示すように格子点が動いて変形した格子空間が生成される。時間τの経過においてある時間Τのところで計算をストップすると収束した変形格子空間が生成される。これが基本的な動的モデルである。
次に、格子点追加について説明する。図３において、オブジェクトが対象画像では格子点Ｘｎに近接しているが、参照画像では、オブジェクトが格子点Ynから移動している。即ち、参照画像では、バネが伸びることになる。この場合、オブジェクトが移動しているので、元のオブジェクトの位置に空間が出現する。本来は、この空間に格子点を追加しなければならない。そこで、この空間に格子点が図４に示すように追加される。この場合、格子点間の距離が２を越える毎に格子点が追加される。
上記の画像マッチングおよび格子点追加を以下に更に詳しく説明する。
まず、基本となる画像マッチングにおいて、対象画像として以下のようなモデルを考える。
連続画像モデルが数式１に示すように表される。
Figure 2006260527
これは実数ベースの連続な画像モデルである。ここでは、デジタル画像を対象と考えているので、上記のモデルをサンプリングした以下のサンプリング画像モデルを用いる。
このサンプリング画像モデルは数式２により表される。
Figure 2006260527
このとき画像マッチング問題は以下の条件、即ち数式３を満たす動きベクトルd:R3→R2を探す問題として定式化できる。
Figure 2006260527
但し、この定式化の場合、暗に同じ対象物の画像値は時間変化をしないと仮定している。また、動きベクトルdが実数なので、右辺は連続画像モデル（数式１）の表記を用いていることに注意を要する。ここでは、対象画像と参照画像、２枚の画像間の画像マッチングを考えているので、等価な数式４を考える。
Figure 2006260527
また、動きベクトルも簡単化され、d:R2→R2となる。点xに対して動きベクトルdは一つだけ決まればよいので、動きベクトルdを一意写像とする。x+d(x)はxに対する写像とみなせるので、g(x)=x+d(x)と定義する。ここでg:R2→R2の一意写像である。上記の画像マッチング問題は数式５を満たす写像gを探す問題に帰着する。
Figure 2006260527
写像ｇによって決まる点をy=g(x)と定義する。y∈R2である。x=Vnであるからxは格子空間上の点nに一意に対応する。写像gは一意写像であるからyもxに一意に対応する。従ってyはnに一意に対応する。このことは図５で示される。つまりここで取り扱いたい空間は格子空間上の点nによって１対１に対応する変形格子空間である。
以上のようにy=g(x)=g(Vn)なので、nに１対１に対応することを分かりやすくするために、これをyn=g(x)と再定義する。すると画像マッチング問題の式５は数式６を満たすynoptを探す問題に帰着する。
Figure 2006260527
画像マッチング問題の数式６を解くためにここでは点ynに対してダイナミクスを導入する。つまり画像マッチング問題を点ynに関する動的システムを解く問題に帰着させる。点ynは周りの点との関係も考慮しつつ数式６を満たす状態に移動していき平衡状態に収束する。その平衡状態によって画像マッチングが完了したものとする。この状態は図２に示すように表される。
点yに対して新たな時間軸τ∈Rを導入し、関数yn(Ｔ)を定義する。ここで初期値は数式７のように正方格子xと同一であるとする。
Figure 2006260527
新たな時間軸を導入したので時間に関する微分が数式８のように定義できる。
Figure 2006260527
通常ダイナミクスは以下のような常微分方程式９によって記述される。
Figure 2006260527
F∈R2は力の総和である。これは運動方程式とも呼ばれる。
次にyn(τ)にかかる力について考える。まずはダイナミクスを駆動させる力となるポテンシャルエネルギーによる力を考える。これはyn(τ)が数式６を満たす状態に移動するための力である。数式５を変形すると、数式１０となる。
Figure 2006260527
通常、数式１０を厳密に満たす点を探すことは、画像に含まれるノイズ成分などにより困難である。そこで数式１１のようなエネルギー関数を考える。
Figure 2006260527
このエネルギー関数Euが最小となる点を探すようにする。最急降下法の原理を用いれば、yn(Ｔ)の周りでエネルギー関数Euの最急降下の方向に下っていくことによりローカルミニマムに行き着くことができる。従って、この最急降下の方向への勾配をyn(τ)に対する力として定義する。エネルギー関数Euは画像の相関とも考えられるので、この力を画像相関ポテンシャルエネルギーによる力Fuとする。
最急降下の方向への勾配を計算する方法は種々考えられるが、ここでは次のような方法を採用する。図６の(a)には対象画像と参照画像と差分値が示されており、図６(b)に示すように、最急降下方向への勾配は局所最適化によって直接求める。画像モデルScは連続の画像モデルだが、実際にはサンプリングされた画像モデルSpしか利用できない。そこで局所最適化もサンプリングされた画像モデルをベースに行う。図６(a)に示すようにyn(τ)にもっとも近いサンプリング点を局所空間中心ycとしたいので、数式１２のように求める。
Figure 2006260527
隣接空間を数式１３のように定義すると、局所探索空間Ωは数式１４のように定義できる。
Figure 2006260527
Figure 2006260527
局所最適化をしてその方向へのベクトルを求め、それを正規化し、勾配の大きさをかけると、数式１５が得られる。この式が画像相関ポテンシャルエネルギーによる力（二乗誤差エネルギー）を示す。
Figure 2006260527
実装上の扱い易さ等からエネルギー関数を数式１６と定義した数式１７の画像相関ポテンシャルエネルギーによる力（絶対値差分誤差エネルギー）を用いることもできる。
Figure 2006260527
Figure 2006260527
次に、周辺の点との関係を記述する力について考える。マッチング対象の画像は３次元空間を２次元に投影したものだとする。３次元空間上のオブジェクトが剛体とすると、２次元画像では剛体のサーフェスがオブジェクトとして観測されることになる。３次元空間上のオブジェクトが対象画像と参照画像で観測されるとすると、このときそれぞれの画像上で観測されるオブジェクトの位相は保たれる確率が高い。図７に示すように、対象画像オブジェクト上の点xの位置関係は参照画像オブジェクト上の点yn(τ)でも保たれるはずである。この性質は点yn(τ)の間をバネで接続することによってシミュレーションできる。周辺との関係はバネの力Fkによって記述する。以下のように、まずは対象点周辺の格子点空間Nnを定義する。周囲４点であれば数式１８のようになる。
Figure 2006260527
バネ定数（弾性常数）をkとすれば、点yn(τ)にかかるバネの復元力は数式１９で表されるバネ力となる。なお、弾性常数は画像相関エネルギーと弾性エネルギーのバランサーであり、弾性定数が大きければ変形がしにくくなり結果が安定する。しかし画像への適合性が悪くなる。弾性定数が小さければ変形がしやすくなるので画像の適合性が良くなる。ただし結果が柔軟になりすぎる。そこで、現在のところ、このパラメータは経験的に与えられる。挙動はこのパラメータの値にそれほど敏感ではではないので、基本的にはある一定値を固定的に与えられる。
Figure 2006260527
周囲４点を接続すると、数式２０のような４点接続バネモデルとなる。
Figure 2006260527
最後に保存されたエネルギーを散逸させる力について考える。yn(τ)にかかる力がFu, Fkのみではエネルギーが保存されてしまうために系が振動する定常状態となってしまう。そこで保存されているエネルギーを散逸させる力を導入する。これには摩擦力が利用できる。速度が一定と近似できる場合には摩擦力は数式２１で記述できる。
Figure 2006260527
以上の力をまとめると運動方程式は数式２２のようになる。
運動方程式
Figure 2006260527
画像相関ポテンシャルエネルギーによる力Fuが解析的には解けないため常微分方程式２２は解析的には解けない。従って、システムのτ→∞における極限を取ることは困難である。そこでシステムが収束するのに十分大きな時間Τを考え、数値解析によってt=(0,Τ)区間を計算することによってシステムの収束状態を推定する。
常微分方程式は初期値が決まれば、数値解析によって一意に解が求まる。一般には常微分方程式の初期値問題といわれるものである。この問題の数値解法は数多く存在するが、有名なものではオイラー法、ルンゲクッタ法、ブリルシュ・ストア法、予測子・修正子法、隠的ルンゲクッタ法などがある。ルンゲクッタ法がもっとも有名かつ使用頻度が高い。しかし式２２は画像のサイズ分の次元を持つため複雑な数値解法は適合しにくい。そこでここでは実現が最も簡単なオイラー法を応用することを考える。オイラー法は一階の常微分方程式に対する数値解法なので、まずは式２２を一階の常微分方程式に変換する。このとき、数式２３のように変数変換を行う。
Figure 2006260527
この変数変換を数式２２に代入し、数式２４を作る。
変換された運動方程式
Figure 2006260527
常微分方程式２５に対するオイラー法のスキームは数式２６によって表される。
Figure 2006260527
Figure 2006260527
これはt(n)からt(n+1)≡t(n)+hへと解を進展させるものである。ここでx(n)はnステップであることを示しており、hはステップ幅である。オイラー法のスキームを数式２４に適用すると、数式２７のオイラー法による更新式が得られる。
Figure 2006260527
以上、画像マッチングをアルゴリズムとしてまとめると以下のようになる。
画像マッチングアルゴリズム：
Figure 2006260527
次に、格子点追加ステップについて説明する。上記画像マッチングアルゴリズムの２の処理である。
Figure 2006260527
格子点を追加する概念を定式化するために図８に示すような不均質の格子点空間を導入する。不均質格子点空間を利用すれば、格子点追加は図９のような形で表すことができる。図９に示したように格子点を一つ追加することによりそこにかかるバネの力は１／２となる。従って、格子点間の距離が２を超えたときにそこに格子点を追加することにより、バネの力はバネが伸びていないときと等価な状態になる。故に、格子点追加アルゴリズムは以下のようになる。
Figure 2006260527
格子点の追加をした後はまた画像マッチングステップに戻る。
上記のような格子点の追加を行うと不均質格子点空間を導入することになり、計算の際には複雑性が増してしまう。そこで、格子点追加モデルの解析をしてみると、図１０に示すように、通常のバネモデルではバネ定数kのバネIに接続されている格子点はkIの力を受ける。ここに格子点を一つ追加すると、それぞれのバネがI/2となるので各格子点の受ける力はkI/2となる。これはバネ定数k/2のバネIを考えたときと同様である。つまりバネの間に一つの格子点を追加することはバネ定数を１／２とすることと等価である。ただし、追加された格子点のポテンシャルに関しては考察していないので、あくまでバネモデルとしては等価というだけであり、ポテンシャルを含めた動的マッチングモデル全体としては等価ではない。
また、上記の説明はバネの平衡状態における力の釣り合いを用いており、バネの動的な挙動に関して述べたものではないので、静的には等価であるといっているに過ぎないことに注意が必要である。
バネに格子点をn個追加することはバネ定数を1/(n+1)倍にすることと静的には等価であることが分かる。バネの長さが２になれば一つ格子点を追加し、３になれば２つ格子点を追加し、４になれば３つ格子点を追加し、・・・、というのが格子点追加のアルゴリズムである。これを簡略化する場合にはバネの長さが２になればバネ定数を１／２にし、３になれば、バネ定数を１／３にし、４になれば、バネ定数を１／４にし、・・・、というようにすればよい。このような可変型のバネモデルは以下のように表せる。
簡略型格子点追加のバネモデル
Figure 2006260527
他にも例えば線形に変化する線形関数バネモデル
Figure 2006260527
ロジスティック関数バネモデル
Figure 2006260527
などを用いることもできる。ここでα＞０，β＞０は定数である。
簡略型の格子点追加アルゴリズムは数式２８のバネモデルを使うということである。つまり画像マッチングアルゴリズムにおいて数式２８のバネモデルを使用すればよい。
丸い物体が平行移動するテストパターンによって効果を確認したところ、格子点追加をおこなわない場合、図１１に示す結果が得られた。これによると、オブジェクトの後ろ境界で歪みが発生していることが分かる。それに対して簡略型格子点追加をおこなった場合の結果が図１２に示されている。これによると、オブジェクトの後ろ境界において余計な歪みが発生していないことが確認できる。
以上のように本実施形態では格子点を追加するというアルゴリズムにより動きの不連続性を表現可能な高精度な画像マッチング手法を提供できる。
［第２の実施形態］（片方向オクルージョンモデル）
本実施形態を図１３のブロック図及びフローチャート図１４に従って説明する。本実施形態では、動画に関してオクルージョン領域をうまく対応させた補間をどう行うかが問題設定であり、動画の画像信号が入力され、画像のフレーム間にオクルージョン領域を含めて補間フレームを生成することを目的とする。
補間フレームを生成する際にはオクルージョン問題があり、品質の高い補間フレームの生成は難しかった。本実施形態ではオクルージョン領域に対して適切に補間を行うことにより高品質の補間フレームを生成できる手法を提供する。
概略的には、例えば、時間t1-t2で通常の画像マッチングを行い、時間t2-t3でオクルージョンマッチングを行う。時間t1-t2の通常マッチングの結果からある基準でもってオクルージョン領域の信頼度を求める。この信頼度とオクルージョンマッチングの結果と画像マッチングの結果の３つから合わせて補間フレームを生成する。即ち、オクルージョンフレームに対する補間フレームを生成する。以下に本実施形態を詳細に説明する。
動画の画像信号は各フレームに分解されて処理に回されるものとする。このとき、各フレームはその都度フレームメモリ２１に蓄えられ、同時にいくつかのフレームにアクセスできるようにする。時刻tにおけるフレームを参照フレームtと呼び、時刻t+lΔtのフレームを参照フレームt+lΔtと呼び、時刻t+2lΔtのフレームを参照フレームt+2lΔtと呼ぶことにする。ここでは参照フレームtと参照フレームt+lΔtの間に補間フレームを内挿する。
オクルージョン領域に対して適切に補間を行うためには、オクルージョン領域を適切に検出しなければならない。本実施形態によって適切に検出できる根拠を図１５を用いて説明する。ここでは丸いオブジェクトが左から右に移動する例を示している。参照フレームt+lΔt上では丸いオブジェクトが移動する前の位置に湧き出しのオクルージョン領域が発生する。
ここで丸いオブジェクトの後ろ部分の格子点に注目する、つまり格子点xn, xn+(1,0)Ｔとyn, yn+(1,0)Ｔに注目する。丸いオブジェクトは移動しているので、マッチングがかかっていれば、格子点yn, yn+(1,0)Ｔの間は大きく広がるはずである。つまりyn, yn+(1,0)Ｔの間のバネは伸びている。このようにオブジェクトが移動して湧き出しのオクルージョン領域が発生する場合には、必ずそこのバネが伸びることが分かる。逆にいうとこのように大きくバネが伸びている部分は湧き出しのオクルージョン領域であるということができる。なお、上付きの「Ｔ」は転置を表す。
図１６は２点差線で示す丸いオブジェクトの移動を１次元的に示している。即ち、丸いオブジェクトが下に移動していく様子を示している。時刻tと時刻t+lΔtの間では丸いオブジェクトの後ろ側に湧き出しのオクルージョンが発生している。そしてそのときバネが伸びていることが分かる。丸いオブジェクトがそのまま下に移動していく場合、時刻t+2lΔtを見ると今の湧き出しのオクルージョン領域に対応する部分が見えていることが分かる。つまり参照フレームt+lΔtと参照フレームt+2lΔtでマッチングを行えば、オクルージョン領域に対応する領域を見つけることができる。即ち、物が動いている場合、動いた物により隠れた領域（陰面領域／オクルージョン（occlusion）領域）が出現する。このときの格子点の状態を見ると、物が動いたときオクルージョン領域のバネは伸びている。従って、バネの伸びている長さによってオクルージョンであるかどうかが判定できる。これをオクルージョンマッチングと呼ぶ。
上記の例では、格子点間の距離を評価値として、距離が基準より大きいこと場合にオクルージョンと判定している。
格子点の分布に基づいてオクルージョンを検出することもできる。オクルージョン領域ではバネが伸びているために格子点の分布の密度は小さくなる。したがって、密度をオクルージョンか否かを判定するための評価値として用い、密度が基準より低いことを検出すればよい。例えば、参照フレームt+2lΔtを複数の均等な矩形領域に分割して各領域内の格子点数を数える。この格子点数は、格子点の分布の密度に対応する量である。
あるいは、密度の替わりに格子点に囲まれた領域の面積を用いてオクルージョンを検出することもできる。オクルージョン領域ではバネが伸びて格子点間距離が大きくなるので、格子点に囲まれた領域の面積は大きくなる。したがって、面積をオクルージョンか否かを判定するための評価値として用い、面積が基準より大きい領域を検出すればよい。例えば、格子点を頂点とし内部に他の格子点を含まない三角形の領域の面積や、格子点を頂点とし内部に他の格子点を含まない四角形の領域の面積を用いる。
以上でオクルージョン領域を検出し、オクルージョン領域に対応する領域のマッチングを行えることが分かる。あとはこれらの結果を融合すればよい。以下具体的にブロック図１３及びフローチャート図１４を用いて説明する。
画像マッチングステップＳ２１では、画像マッチングモジュール２２によって参照フレームtを対象画像として参照フレームt+lΔtを参照画像として画像マッチングを行い写像g(;t;lΔt)を求める。画像マッチングステップＳ１１は第１の実施形態と同様の処理を行う。
オクルージョンマッチングステップＳ２２では、オクルージョンマッチングモジュール２３によって参照フレームt+lΔtを対象画像として参照フレームt+2lΔtを参照画像としてオクルージョン領域を見つける画像マッチングを行う。処理的には画像マッチングステップＳ１１と同じである。従って、第１の実施形態の画像マッチングと同様の処理を行う。オクルージョンマッチングを行いオクルージョン写像g(;t+lΔt;lΔt)を求める。
またオクルージョンマッチングモジュールでは通常の画像マッチング手法を用いることも可能である。すなわち非特許文献１に記載されている一般的な動き推定手法、例えば、ブロックマッチングアルゴリズムやオプティカルフロー推定手法、勾配法、ベイズメソッドなどを用いることができる。
ブロックマッチングアルゴリズムを例に挙げて説明する。ブロックマッチングアルゴリズムはブロック内の動きが一様であると仮定して、ブロック内の格子点に対して同じ動きベクトルを割り当てる手法である。
まずは画面全体を複数の、格子点を含んだ（通常は矩形の）ブロックに分割する。ここでは矩形のブロックを採用する。
Figure 2006260527
次に、オクルージョン信頼度算出モジュール２４において実行されるオクルージョン信頼度算出ステップＳ２３について述べる。オクルージョン信頼度はその画素がオクルージョン領域であるかどうかの確率分布である。オクルージョン信頼度が１に近いほどオクルージョン領域である確率が高いことを意味する。バネの長さによってオクルージョン領域を検出すると、前述したように実際には領域における信頼度を算出しなければならない。本実施形態では、動画に関してオクルージョン領域をうまく対応させた画素単位の補間をどう行うかが問題設定であるので、図１７に示すように例えばyn, yn+(0,-1)Ｔ、yn+(-1,-1)Ｔで囲まれた三角形の面積を用いる。この三角形の面積はベクトルの外積の絶対値により数式３４によって求まる。なお、上付きの「Ｔ」は転置を表す。
Figure 2006260527
三角形xn, xn+(0,-1)Ｔ、xn+(-1,-1)Ｔと三角形xn, xn+(-1,0)Ｔ、xn+(-1,-1)Ｔの面積は１／２であるから、対応する三角形同士の比を取れば、三角形面積比率は数式３６，３７によって表される。なお、上付きの「Ｔ」は転置を表す。
Figure 2006260527
次に、これらの三角形の比から確率分布への変換を行う。バネの長さがある一定値を超えていれば、オクルージョンとすると仮定する。この場合は三角形の比がある一定値を超えていれば、オクルージョンとする。このような変換関数として図１８に示すような数式３８に従ったシグモイド関数が利用できる。
Figure 2006260527
ここでαは傾きをあらわす定数、βは傾きの中心の座標である。
格子点nにおける三角形をR1(n),R2(n)とする。以下の処理をすべての格子点nに関して行い、数式３９に従ってオクルージョン信頼度マップを生成する。
Figure 2006260527
動き補償ステップは動き補償ユニット２５によって行われ、補間フレーム生成モジュール２６によって行われる補間フレーム生成ステップＳ２４と画像相関信頼度算出モジュール２７によって行われる画像相関信頼度算出ステップＳ２５とからなる。補間フレーム生成ステップ内で画像相関信頼度算出ステップを呼び出す。
まず、補間フレーム生成ステップＳ２４について述べる。ここではDigital Image Warping（非特許文献２、非特許文献３）と同様の手法を採用する。Digital Image Warpingでは、四辺形の各点ごとに動きベクトルを求め、四辺形を二つの三角形に分割し、それぞれの三角形ごとに、（非特許文献３に記載のように）３つの頂点によって求まるアフィン変換を算出し、（非特許文献２に記載のように）そのアフィン変換を用いて内挿する三角形の画像値を求めている。
Figure 2006260527
上記のアフィン変換を使って、三角形V内の点(u,v)Ｔは[x,y,1]=[u,v,1]Ｔ(V,Y)で表される三角形Y内の点(x,y)Ｔに対応することが算出できる。なお、上付きの「Ｔ」は転置を表す。
上記のアフィン変換を用いて補間フレームを求める。参照フレームtの時間位置を0、参照フレームt+lΔtの時間位置を1として、内挿する補間フレームの時間位置をΔti(0≦Δti≦1)とする。Δtiに応じて写像g（;t;lΔt）を線形変換するとgi(x,t,lΔt)=x+Δtid(x,t,lΔt)となる。補間フレームの生成は図２０に示すようになる。{gi(x1.t;lΔt), gi(x2.t;lΔt), {gi(x3.t;lΔt)}を頂点とする三角形をW、{x1,x2,x3}を頂点とする三角形をX、{g (x1.t;lΔt), g (x2.t;lΔt), {g (x3.t;lΔt)}を頂点とする三角形をYとする。次式４１で示すような補間フレーム上の三角形Ｗ内の点の画素値を求めたい。
Figure 2006260527
そこで三角形Wから三角形Xへのアフィン変換と三角形Yへのアフィン変換をそれぞれ数式４０によって求め、それぞれのアフィン変換から点wに対応する画素値を求める。すなわち点wに対応する三角形X内の点は数式４２によって計算できる。
Figure 2006260527
同様にして点wに対応する三角形Y内の点は数式４３によって計算できる。
Figure 2006260527
時間位置に従って両フレームの重量平均を取れば、写像g(;t;lΔt)による、数式４４の補間フレームによって補間フレームの画素値を計算できる。
Figure 2006260527
これを画面内の全三角形に対して行うことにより写像g(;t;lΔt)による補間フレームを生成する。以下のようにオクルージョン信頼度マップより補間フレーム上のオクルージョン信頼度マップを生成する。写像g(;t;lΔt)による補間フレーム上のオクルージョン信頼度マップは数式４５で表される。
Figure 2006260527
同様にして画像相関信頼度算出ステップにより数式４６に基づいて写像g(;t;lΔt)による画像相関信頼度マップを生成する。
Figure 2006260527
オクルージョンマッチングによるオクルージョン写像g(;t+lΔt;lΔt)は参照フレームt+lΔtから参照フレームt+2lΔtへのマッチングであるので、参照フレームt+lΔtと参照フレームt間の写像にするには数式４７に基づく線形の変換を行う。
Figure 2006260527
ここで方向が反対になるので、フレームは−lΔtとした。Δtiに応じてオクルージョン写像g(;t+lΔt;lΔt)を線形変換すると数式４８の像となる。
Figure 2006260527
点の対応関係は図２１に示すようになる。ここで{gi,o(x1.t+lΔt;-lΔt), gi,o(x2.t+lΔt;-lΔt), gi,o(x3.t+lΔt;-lΔt)}を頂点とする三角形をWo、{x1,x2,x3}を頂点とする三角形をXo、{go(x1.t+lΔt;-lΔt), go(x2.t+lΔt;-lΔt), go(x3.t+lΔt;-lΔt)}を頂点とする三角形をYoとする。
点wに対応する三角形Xo内の点は数式４９によって計算できる。
Figure 2006260527
同様にして点wに対応する三角形Yo内の点は数式５０によって計算できる。
Figure 2006260527
時間位置に従って両フレームの重量平均を取れば、オクルージョン写像g(;t+lΔt;lΔt)による補間フレームの画素値を数式５１によって計算できる。
Figure 2006260527
これを画面内の全三角形に対して行うことによりオクルージョン写像g(;t+lΔt;lΔt)による補間フレームを生成する。
画像相関信頼度算出ステップＳ２５によりオクルージョン写像g(;t+lΔt;lΔt)による画像相関信頼度マップを数式５２に基づいて生成する。
Figure 2006260527
以上により写像g(;t;lΔt)による補間フレームとオクルージョン写像g(;t+lΔt;lΔt)による補間フレームが生成できたので、これらを信頼度マップによって合成する。画像相関の信頼確率とオクルージョンの信頼確率は互いに独立している。従ってオクルージョンマッチングを採用する確率は確率の乗法定理より数式５２によって表される。
Figure 2006260527
また、通常のマッチングを採用する確率は数式５４により求められる。
Figure 2006260527
これらの確率から合成に用いる透明度を数式５５により算出する。
Figure 2006260527
この透明度を用いて数式５６に基づいて写像による補間フレームとオクルージョン写像による補間フレームを合成する。
Figure 2006260527
画面全体に対して以上の処理を行うことによって補間フレームSi,p(w,t+lΔti)が生成できる。
次に、画像相関信頼度算出ステップＳ２５について述べる。これは各点の写像関係による対応点の信頼度を求めるものである。このような信頼度として各点の画素値の差分値を用いることができる。即ち、画像相関信頼度は数式５７によって算出される。
Figure 2006260527
これは画像の差分値が小さくなるほど信頼度が高くなるというモデルである。ただし画像の相関と画素の差分値は一般に線形の相関があるものではない。つまり画素の差分値が小さければ、確かに画像の相関は高いかもしれないが、画素の差分値がある一定値を超えてしまえば、画素の差分値が大きくても少し小さくても画像の相関としては一様に低いと言える。そのような非線形性を導入するには図１９に示すようなシグモイド関数を利用すればよい。これは数式３８においてα＜０としたものである。これを用いれば、画像相関信頼度を数式５８のように定義できる。
Figure 2006260527
ここでα＞０，β＞０は定数である。
以上により本実施形態では湧き出しのオクルージョン領域に対応した高品質な補間フレームの生成が可能である。
［第３の実施形態］（双方向オクルージョンモデル）
本実施形態を図２２のブロック図及び図２３のフローチャートに従って説明する。本実施形態では動画の画像信号が入力され、それらの間に補間フレームを生成することを目的とする。
補間フレームを生成する際にはオクルージョン問題があり、品質の高い補間フレームの生成は難しかった。第２の実施形態では、湧き出しのオクルージョンに対応する手法を提供した。本実施形態では時間軸の前方と後方の双方向にマッチングを行うことによって、湧き出しのオクルージョンだけでなく消失のオクルージョンにも対応できるようにするものである。
動画の画像信号は各フレームに分解されて処理に回されるものとする。このとき各フレームはその都度フレームメモリ３１に蓄えられ、同時にいくつかのフレームにアクセスできるようにする。時刻tにおけるフレームを参照フレームtと呼び、時刻t+lΔtのフレームを参照フレームt+lΔtと呼び、時刻t+2lΔtのフレームを参照フレームt+2lΔtと呼び、時刻t-lΔtのフレームを参照フレームt-lΔtと呼ぶことにする。ここでは参照フレームtと参照フレームt+lΔtの間に補間フレームを内挿する。
第２の実施形態で説明したが、図１５に示すようにバネの伸びが湧き出しのオクルージョン領域に対応する。この場合は、時間軸の前方方向にマッチングをかけているので、前方マッチングに当たる。ただしオブジェクトの前方部分の消失のオクルージョン領域に関しては考慮されていなかった。図２４に示すように、消失のオクルージョン領域は後方マッチングで見ると、湧き出しのオクルージョン領域であることが分かる。そこで、前方マッチングと後方マッチングを組み合わせることによって両方のオクルージョンに対して対策できることが分かる。
画像マッチングモジュール３２による画像マッチングステップＳ３１では、時間軸の前方と後方にマッチングを行い二つの写像を出力する。内部処理は第１の実施形態の画像マッチングステップと同じである。つまり、参照フレームtを対象画像、参照フレームt+lΔtを参照画像として第１の実施形態の画像マッチングステップを行い、前方マッチング写像g(;t;lΔt)を出力し、参照フレームt+lΔtを対象画像、参照フレームtを参照画像として第１の実施形態の画像マッチングを行い、後方マッチング写像g(;t+lΔt;-lΔt)を出力する。
オクルージョンマッチングモジュール３３によるオクルージョンマッチングステップＳ３２では、時間軸の前方と後方にマッチングを行い二つのオクルージョン写像を出力する。内部処理は第１の実施形態の画像マッチングと同じである。つまり参照フレームt+lΔtを対象画像、参照フレームt+2lΔtを参照画像として第１の実施形態の画像マッチングを行い前方オクルージョンマッチング写像g(;t+lΔt;lΔt)を出力し、参照フレームtを対象画像、参照フレームt+lΔtを参照画像として第１の実施形態の画像マッチングを行い、後方オクルージョンマッチング写像g(;t;-lΔt)を出力する。
オクルージョン信頼度算出モジュール３４によるオクルージョン信頼度算出ステップＳ３３は第２の実施形態と同様である。前方マッチング写像g(;t;-lΔt)を元に前方オクルージョン信頼度マップP(y｜g(;t;lΔt))を算出し、後方マッチング写像g(;t+lΔt;-lΔt)を元に後方オクルージョン信頼度マップP(y｜g(;t+lΔt;-lΔt)を算出する。
動き補償ステップは、補間フレーム生成モジュール３６により行われる補間フレーム生成ステップＳ３４及び画像相関信頼度算出モジュール３７により行われる画像相関信頼度算出ステップＳ３５とからなる。画像相関信頼度算出ステップＳ３５は、第２の実施形態と同様である。補間フレーム生成ステップ内で画像相関信頼度算出ステップを呼び出す。
前方マッチングによる補間フレームは、第２の実施形態と同様である。すなわち数式２６，２７，２８，２９，３０によって補間フレームと信頼度マップを求める。なお識別のため以下のように補間フレームはそれぞれ添え字を変更する。
Figure 2006260527
参照フレームtの時間位置を0、参照フレームt+lΔtの時間位置を1として、内挿する補間フレームの時間位置をΔti(0≦Δti≦1)とする。Δtiに応じて後方マッチング写像g(;t+lΔt;-lΔt)を線形変換すると数式５９となる。
Figure 2006260527
{gi (x1.t+lΔt;-lΔt), gi (x2.t+lΔt;-lΔt), gi (x3.t+lΔt;-lΔt)}を頂点とする三角形をWo、{x1,x2,x3}を頂点とする三角形をX、{g(x1.t+lΔt;-lΔt), g(x2.t+lΔt;-lΔt), g(x3.t+lΔt;-lΔt)}を頂点とする三角形をYとする。
Figure 2006260527
そこで三角形Wから三角形Xへのアフィン変換と三角形Yへのアフィン変換をそれぞれ数式３９によって求め、それぞれのアフィン変換から点wに対応する画素値を求める。すなわち点wに対応する三角形X内の点は数式６０によって計算できる。
Figure 2006260527
同様にして点wに対応する三角形Y内の点は数式６１によって計算できる。
Figure 2006260527
時間位置に従って両フレームの重量平均を取れば、後方マッチング写像g(;t+lΔt;-lΔt)による補間フレームの画素値を数式６２によって計算できる。
Figure 2006260527
これを画面内の全三角形に対して行うことにより後方マッチング写像g(;t+lΔt;-lΔt)による補間フレームを生成する。
以下のように後方オクルージョン信頼度マップP(y｜g(;t+lΔt;-lΔt)より補間フレーム上の後方オクルージョン信頼度マップを生成する。即ち、後方マッチング写像g(;t+lΔt;-lΔt)による補間フレーム上の後方オクルージョン信頼度マップが数式６３により得られる。
Figure 2006260527
同様にして画像相関信頼度算出ステップにより後方画像相関信頼度マップも生成する。即ち、後方マッチング写像g(;t+lΔt;-lΔt)による後方画像相関信頼度マップが数式６４により得られる。
Figure 2006260527
後方オクルージョンマッチングによる後方オクルージョン写像g(;t;-lΔt)は参照フレームtから参照フレームt-lΔtへのマッチングであるので、参照フレームt+lΔtと参照フレームt間の写像にするには、go(x,t;lΔt)=x-d(x,t;-lΔt)という線形の変換を行う。ここで方向が反対になるので+lΔtとした。Δtiに応じて後方オクルージョン写像g(;t;-lΔt)を線形変換すると後方オクルージョン写像は数式６５で示す像となる。
Figure 2006260527
ここで{gi,o (x1.t; lΔt), gi,o (x2.t;lΔt), gi,o (x3.t;lΔt)}を頂点とする三角形をWo、{x1,x2,x3}を頂点とする三角形をXo、{go(x1.t;lΔt), go(x2.t;lΔt), go(x3.t;lΔt)}を頂点とする三角形をYoとする。
点wに対応する三角形Xo内の点は数式６６により計算できる。
Figure 2006260527
同様にして点wに対応する三角形Yo内の点は数式６７により計算できる。
Figure 2006260527
時間位置に従って両フレームの重量平均を取れば、後方オクルージョン写像g(;t;lΔt)による補間フレームの画素値が数式６８により計算できる。
Figure 2006260527
これを画面内の全三角形に対して行うことにより後方オクルージョン写像g(;t;lΔt)による補間フレームを生成する。画像相関信頼度算出ステップにより後方画像相関信頼度マップを生成する。即ち、数式６９に基づいて後方オクルージョン写像g(;t;lΔt)による後方画像相関信頼度マップが生成される。
Figure 2006260527
以上により前方マッチング写像g(;t;lΔt)による補間フレームと前方オクルージョン写像g(;t+lΔt;lΔt)による補間フレーム、後方マッチング写像g(;t+lΔt;-lΔt)による補間フレームと後方オクルージョン写像g(;t;-lΔt)による補間フレームが生成できたので、これらを信頼度マップによって合成する。
画像相関の信頼確率とオクルージョンの信頼確率は互いに独立している。従って前方オクルージョンマッチングを採用する確率は確率の乗法定理より数式７０で表せる。
Figure 2006260527
また、前方マッチングを採用する確率は数式７１で表せる。
Figure 2006260527
後方オクルージョンマッチングを採用する確率は数式７２で表せる。
Figure 2006260527
後方マッチングを採用する確率は数式７３で表せる。
Figure 2006260527
これらの確率から合成に用いる透明度を数式７４により算出する。
Figure 2006260527
この透明度を用いて数式７３に従って信頼度による合成を行う。
Figure 2006260527
画面全体に対して以上の処理を行うことによって補間フレームSi,p(w,t+lΔti)が生成できる。
［第４の実施形態］
本実施形態の画像マッチング装置を図２５のブロック図を参照して説明する。本実施形態も先の実施形態と同様に動画の画像信号が入力され、それらの間に補間フレームを生成するために使用される画像マッチング装置を提供する。補間フレームを生成する際にはオクルージョン問題があり品質の高い補間フレームの生成は難しかった。本実施形態ではオクルージョン領域に対して適切に補間をおこなうことにより高品質の補間フレームを生成できる手法を用いた画像マッチング装置を提供する。
図２５に示す構成によると、フレームメモリ４１に画像信号が入力される。フレームメモリ４１は前方マッチングユニット４２と後方マッチングユニット４３に接続される。前方及び後方マッチングユニット４２，４３の出力は画像合成ユニット４４に接続される。
前方マッチングユニット４２は入力画像信号とフレームメモリ４１の記憶画像信号とが入力される画像マッチング部４２−１及びオクルージョンマッチング部４２−２を有する。前方マッチングユニット４２は更に画像マッチング部４２−１に縦接続される表面信頼度算出部４２−３，４２−４，４２−５及び補間フレーム生成部４２−６を有する。
同様に後方マッチングユニット４３は入力画像信号とフレームメモリ４１の記憶画像信号とが入力される画像マッチング部４３−１及びオクルージョンマッチング部４３−２を有する。後方マッチングユニット４３は更に画像マッチング部４３−１に縦接続される表面信頼度算出部４３−３，４３−４，４３−５及び補間フレーム生成部４３−６を有する。
上記構成において、動画の画像信号は各フレームに分解されて処理されるが、このとき各フレームはその都度フレームメモリ４１に蓄えられ、同時にいくつかのフレームにアクセスできるようになっている。本実施形態では、時刻tにおけるフレームを参照フレームtと呼び、時刻t+lΔtのフレームを参照フレームt+lΔtと呼び、時刻t+2lΔtのフレームを参照フレームt+2lΔtと呼び、時刻t+lΔtのフレームを参照フレームt+lΔtと呼ぶことにする。ここでは参照フレームtと参照フレームt+lΔtの間に補間フレームを内挿する。
オクルージョン領域に対して適切に補間をおこなうためには、オクルージョン領域を適切に検出しなければならない。本実施形態によって適切に検出できる根拠を図２６を用いて説明する。ここでは丸いオブジェクトが左から右に移動する例を示している。参照フレームt+lΔt上では図２６の薄い丸で示したように丸いオブジェクトが移動する前の位置に湧き出しのオクルージョン領域が発生する。ここで丸いオブジェクトの後ろ部分の格子点に注目する、つまり格子点xn, xn+(1,0)Τとyn, yn+(1,0)Τに注目する。丸いオブジェクトは移動しているので、マッチングがかかっていれば、格子点yn, yn+(1,0)Τの間は大きく広がるはずである。つまりyn, yn+(1,0)Τの間のバネは伸びている。このようにオブジェクトが移動して湧き出しのオクルージョン領域が発生する場合には必ずそこのバネが伸びることが分かる。逆にいうとこのように大きくバネが伸びている部分は湧き出しのオクルージョン領域であるということができる。
図１６を参照して説明したように時刻tと時刻t+lΔtの間では丸いオブジェクトの後ろ側に湧き出しのオクルージョンが発生している。そしてそのときバネが伸びていることが分かる。丸いオブジェクトがそのまま下に移動していく場合、時刻t+2lΔtを見ると今の湧き出しのオクルージョン領域に対応する部分が見えていることが分かる。つまり参照フレームt+lΔtと参照フレームt+2lΔtでマッチングをおこなえばオクルージョン領域に対応する領域を見つけることができる。これをオクルージョンマッチングと呼ぶ。
図２６に示すようにバネの伸びが湧き出しのオクルージョン領域に対応する。この場合は、時間軸の前方方向にマッチングをかけているので、前方マッチングに相当する。ただし、オブジェクトの前方部分の消失のオクルージョン領域に関しては考慮されていなかった。図２７に示すように、消失のオクルージョン領域は後方マッチングで見ると湧き出しのオクルージョン領域であることが分かる。そこで前方マッチングと後方マッチングを組み合わせることによって両方のオクルージョンに対して対策できることが分かる。
以上でオクルージョン領域を検出し、オクルージョン領域に対応する領域のマッチングをおこなえることが分かる。
上記ではバネの伸びによってわき出しのオクルージョン領域を検出できることが分かる。このことは表面の信頼度を算出できることを意味する。バネの伸びだけでなく複数の情報から表面の信頼度を算出できれば、それらの同時確率によってより精度の高い検出が可能になると考えられる。
以下の特徴を考えてみる。
オブジェクトが動いた前後にオクルージョンが発生する。前が消失のオクルージョンで後ろが湧き出しのオクルージョンである。
動的マッチングでは、オブジェクト後ろはバネが伸び、オブジェクト前はバネが縮むという幾何学的な特徴がある。
特徴１，２より、バネの伸びにより湧き出しのオクルージョンを検出し、バネの縮みにより消失のオクルージョンの検出ができる。図２８がこのことを示している。バネの伸びによる湧き出しのオクルージョンの検出だけでは不足な理由を図２９を参照して以下に説明する。
時間軸の双方向にマッチングをかけて前方マッチングと後方マッチングをおこなったとする。このとき前方マッチングによりオブジェクト後方のオクルージョン領域が得られ、後方マッチングによりオブジェクト前方のオクルージョン領域が得られる。それら２つのオクルージョンマップを足し合わせれば、図２９の右上のような理想的な結果が得られる。しかし図２９の下側の図に示すように、必ずしもオクルージョンマップが正しく得られるとは限らない。その場合、単純にＯＲを取ってしまうとオブジェクトが欠けてしまったりして画質が劣化してしまう。
それに対してバネの縮みによる消失のオクルージョンも同時に検出した場合を考えてみる。この場合の例を図３０を用いて説明する。この場合も先ほどと同様に時間軸に双方向にマッチングをおこなうものとする。そのとき前方マッチングの結果からバネの縮みと伸びに対応する２つのオクルージョンマップが得られる。また後方マッチングの結果からも２つのオクルージョンマップが得られる。このとき図２９の下側の図に示すように、前方マッチングの湧き出しのオクルージョン領域(uncovered occlusion)と後方マッチングの消失のオクルージョン領域(covered occlusion)は同じ意味のものを指していると言える。即ち、同じオクルージョン領域を２つの視点から見たものである。これら２つのマップは一つの事象に対して２つの視点からの結果であり、それらの同時確率を求めることによって１つの結果に依存しないよりロバストな結果が得られる。よって図３０に示すように２つのマップの同時確率を求めて（ＡＮＤ）、それら２つの結果のＯＲを取ることによってロバストなオクルージョンマップが得られると考えられる。
図３１に示すように、実際に先ほどと同じようにオクルージョンマップが正しく得られなかったとしても、この方法であればロバストにオクルージョンマップを得ることができる。更にマッチングの結果の写像そのものの信頼度を求めることによって、その同時確率も加えることによってよりロバストな結果が得られると考えられる。
マッチングをどのようにおこなうか、マッチングステップについて説明する。対象画像と参照画像が入力されたとき、対象画像から参照画像への対応点のマッチングつまり写像関係を出力する画像マッチング方法を図３２のブロック回路を参照して説明する。図２には、参照画像と対象画像が入力される離散変数ユニット５１の出力がフレームメモリ５２及び画像相関ポテンシャル力計算ユニット５３、弾性エネルギー計算ユニット５４及び摩擦力計算ユニット５５に提供される。
まずは、このブロック回路に対して問題設定をおこなう。対象とする画像として以下のようなモデルを考える。
連続画像モデル
Figure 2006260527
これは実数ベースの連続な画像モデルである。本実施形態では、デジタル画像を対象と考えているので、上記のモデルをサンプリングした以下のモデルを用いる。
サンプリング画像モデル
Figure 2006260527
画像マッチングは、対象画像上の点が参照画像上のどの点に対応するのかを求める問題である。このとき画像マッチング問題は以下の条件式を満たす動きベクトルd:X×T→Xを探す問題として定式化できる。
Figure 2006260527
また動きベクトルdが実数なので右辺は連続画像モデル式７７の表記を用いていることに注意が必要である。ここでは対象画像と参照画像、２枚の画像間の画像マッチングを考えているので等価な以下の問題を考える。
Figure 2006260527
また動きベクトルも簡単化されd:X→Xとなる。点xに対して動きベクトルdは１つだけ決まれば良いので動きベクトルdを一意写像とする。x+d(x)はxに対する写像とみなせるので次式で定義する。
Figure 2006260527
ここでg:X→Xの一意写像である。上記の画像マッチング問題は次式を満たす写像gを探す問題に帰着する。
画像マッチング問題
Figure 2006260527
ここで写像gによって決まる点を次式で定義する。
Figure 2006260527
ここでy∈Xである。x=Vnであるからxは格子空間上の点nに一意に対応する。
写像gは一意写像であるからyもxに一意に対応する。よってyはnに一意に対応する。このことを図で表すと図５のようになる。つまりここで取り扱いたい空間は格子空間上の点nによって１対１に対応する変形格子空間である。
以上のようにy=g(x)=g(Vn)なので、nに１対１に対応することを分かりやすくするために、これを次式で再定義する。
Figure 2006260527
すると画像マッチング問題（数式３）は次式を満たすynを探す問題に帰着する。
画像マッチング問題
Figure 2006260527
次に問題解決の手段について説明する。画像マッチング問題の式８４を解くために、ここではエネルギー関数を次式のように定義する。
エネルギー関数
Figure 2006260527
画像マッチング問題の式８４を画面全体のエネルギー関数の最小化問題として以下のような最適化問題として定式化する。
最適化問題
Figure 2006260527
ここでEuは画像エネルギーでEkは弾性エネルギーとする。これはSnakes[“M. Kass, A. Witkin and D. Terzopoulos, “Snakes: Active Contour Models”, International Journal of Computer Vision, 1, 4, pp.321-331, 1988”]やActive Net[“坂上、山本、”動的な網のモデルActive Netとその領域抽出への応用”, テレビ学誌, 45, 10, pp.1155-1163, 1991”]、CPF[“Y. Shinagawa and T. L. Kunii, “Unconstrained Automatic Image Matching Using Multiresolutional Critical-Point Filters”, IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol.20, No.9, 1998”]で用いられて成功しているアプローチである。
Euに関しては以下のように説明される。式８４を変形すると次式となる。
Figure 2006260527
となるが、通常式８７を厳密に満たす点を探すことは画像に含まれるノイズ成分などにより困難である。そこで次のようなエネルギー関数を考える。
Figure 2006260527
このエネルギー関数Euが最小となる点を探すよ。
Ｅkに関しては以下のように説明される。マッチング対象の画像は３次元空間を２次元に投影したものだとする。３次元空間上のオブジェクトが剛体とすると、２次元画像では剛体のサーフェスがオブジェクトとして観測されることになる。３次元空間上のオブジェクトが対象画像と参照画像で観測されるとすると、このときそれぞれの画像上で観測されるオブジェクトの位相は保たれる確率が高い。図７に示すように、対象画像オブジェクト上の点xの位置関係は参照画像オブジェクト上の点ynでも保たれるはずである。このような特性を再現するにはynがバネで構成されたネットのようなものだと考えると都合がよい。つまり弾性エネルギーを導入すればよい。
よってエネルギー関数の式８５によるエネルギー最小化式８６は、できるだけ式８４が成り立つようにかつ全体が滑らかになるような解を探すことになる。
SnakesやActive Netでは式８６から次式の最適性必要条件を求める。
最適性必要条件
Figure 2006260527
これを解くことにより解を求めている。これはエネルギー関数（数式５）を満たす静的な釣り合いの条件を求めていることになる。
本手法では運動エネルギーΤを導入することにより動的な解法を構築する。点yの動的な挙動に興味があるので、点yに対して新たな時間軸τ∈Rを導入し関数yn(τ)を定義する。新たな時間軸を導入したので時間に関する微分が以下のように定義できる。
Figure 2006260527
そこで運動エネルギーを次式として定義する。
運動エネルギー
Figure 2006260527
ラグランジアンを以下のように定義する。
ラグランジアン
Figure 2006260527
このとき変分原理を満たす運動方程式は次式９３のように得られる。
オイラー方程式
Figure 2006260527
これを展開すると次式の運動方程式が得られる。
運動方程式
Figure 2006260527
しかし運動方程式９４に従った運動は保存系であり、エネルギー保存則により解は収束しない。そこで系を非保存系にするために次式９５の摩擦エネルギーを導入する。
摩擦エネルギー
Figure 2006260527
ここでμ>0は動摩擦係数である。摩擦エネルギーを導入した場合のオイラー方程式は以下のようになる。
摩擦エネルギーの入ったオイラー方程式
Figure 2006260527
これを解くことにより運動方程式９７が得られる。
摩擦の入った運動方程式
Figure 2006260527
これら静的なエネルギー関数と動的なエネルギー関数は直感的には以下のように対比される。図３３に示すように静的なエネルギー関数Ｕによる最適化では、静的な釣り合いの位置を求めるように探索がおこなわれる。そのため基本的には初期値に最も近い釣り合いの位置が求まる。つまり初期値に最も近い局所的最適点が求まるということである。しかし図３３にも示してあるように必ずしも局所最適点が大域的最適点ではない。このように静的なエネルギー関数による最適化では強い初期値依存性がある。
それに対して本手法のような動的な最適化では、動的な運動の中で探索がおこなわれる。正確には探索が運動として表現されている。よって図３４に示すように最初の位置エネルギーが運動エネルギーに変換されるため局所最適点から飛び出ることが可能となっている。これにより静的なエネルギー関数を用いるよりもより広い範囲を探索できる。よって静的なエネルギー関数を使うよりも、初期値依存性が低くなる可能性と、ノイズ等の影響に対してよりロバストになる可能性がある。
次に、動的な探索、つまり運動方程式（数式１５）に従った解が最適化問題（数式６）に対する最適性必要条件を満たすことを証明する。
１．探索が完了したと仮定する。するとyは完全に停止、つまり次式９８が成り立つ。
Figure 2006260527
このとき運動方程式９７より
Figure 2006260527
であるから次式１００が成り立つ。
Figure 2006260527
よって最適性必要条件式８９を満たす。ゆえに探索が完了したときその点は最適である。
２．ｙが静止したとする。すると次式１０１が成り立つ。
Figure 2006260527
このとき運動方程式９７より次式１０２が得られる。
Figure 2006260527
今yが最適点であるとすると最適性必要条件式８９より
Figure 2006260527
となり探索が完了する。
yが最適点でないならば加速度が生じるため探索は完了しない、つまり最適点以外で探索が完了することはない。
３．摩擦エネルギーの性質より
Figure 2006260527
つまり運動は停止する。ゆえにいつかは探索が完了する。
以上１、２，３より運動方程式（数式１５）にしたがった運動は最適化問題式８６に対する最適性の必要条件が満たされる。
２次の最適性必要条件については一部で満たされない。ポテンシャルの山の頂上で探索が終了することがあり得るからである。そこでポテンシャルの山の頂上では探索が完了しないという条件、つまり
Figure 2006260527
を仮定すれば２次の最適性必要条件も証明される。この追加の仮定に関してはアルゴリズムにたいして
Figure 2006260527
ということを要請することによって達成できる。
以上より運動方程式９７に従った探索は最適化問題式８６に対する最適解を与え、従来の静的な探索に比べてロバストであることが示唆された。
Figure 2006260527
というように分解できるのでそれぞれについて検討する。
Figure 2006260527
勾配を計算する方法は色々考えられるがここでは次のような方法を採用する。数式７に示すように、勾配は局所最適化によって直接求める。画像モデルScは連続の画像モデルだが、実際にはサンプリングされた画像モデルSpしか利用できない。そこで局所最適化もサンプリングされた画像モデルをベースにおこなう。yn(τ)にもっとも近いサンプリング点を局所空間中心ycとしたいので次式１０７のように求める。
Figure 2006260527
局所最適化をしてその方向へのベクトルを求め、それを正規化し勾配の大きさをかけると次式が得られる。
画像エネルギーによる力（二乗誤差エネルギー）
Figure 2006260527
実装上の扱いやすさ等からエネルギー関数を次式１１１と定義した画像エネルギーによる力の式１１２を用いることもできる。
Figure 2006260527
画像エネルギーによる力（絶対値差分誤差エネルギー）
Figure 2006260527
弾性体が多様体Mにより構成されているとし、M上の点を次式１１３とする。
Figure 2006260527
弾性エネルギーの１次微分項は次式１１５で表される。
Figure 2006260527
これは弾性体の収縮を表すエネルギーである。ｙで微分すると
Figure 2006260527
ここで
Figure 2006260527
上記多様体Mが格子点を連結したバネモデルで実現されているとし、偏微分を差分方程式で近似する。
Figure 2006260527
これを式１１７に代入して整理すれば式１１９の４点接続バネモデルが得られる。
４点接続バネモデル
Figure 2006260527
以上をまとめると運動方程式は次式のようになる。
運動方程式
Figure 2006260527
画像エネルギーによる力Fuが解析的には解けないため常微分方程式（数式１９）は解析的には解けない。よってシステムのτ→∞における極限を取ることは困難である。そこでシステムが収束するのに十分大きな時間Τを考え、数値解析によってt=(0,Τ)区間を計算することによってシステムの収束状態を推定する。
常微分方程式は初期値が決まれば離散変数法によって一意に解が求まる。一般には常微分方程式の初期値問題といわれるものである。この問題の数値解法は数多く存在するが、有名なものではオイラー法、ルンゲクッタ法、ブリルシュ・ストア法、予測子・修正子法、隠的ルンゲクッタ法などの方法がある。ルンゲクッタ法がもっとも有名かつ使用頻度が高い。しかし式１２１は画像のサイズ分の次元を持つため複雑な数値解法は適合しにくい。そこでここでは実現が最も簡単なオイラー法を応用することを考える。
オイラー法は一階の常微分方程式に対する数値解法なので、まずは数式１９を一階の常微分方程式に変換する。変数変換を式１２２で施すと、変換された運動方程式１２３が得られる。
変数変換
Figure 2006260527
常微分方程式１２４に対するに対するオイラー法のスキームは式１２５となる。
Figure 2006260527
オイラー法のスキーム
Figure 2006260527
ここでx(n)はｎステップであることを示しており、hはステップ幅である。オイラー法のスキームを式１２３に適用すると次式１２６の更新式が得られる。
オイラー法による更新式
よってこの更新式を繰り返し解くことにより収束状態を求めることができる。
次に補間フレーム生成ステップについて説明する。ここではDigital Image Warping1[“J. Nieweglowski, P. Haavisto, “Motion Compensated Video Sequence Interpolation Using Digital Image Warping”, IEEE Acoustics, Speech, and Signal Processing, vol.5, p205-208, 1994”, ” J. Nieweglowski, T. George Campbell, P. Haavisto, “A Novel Video Coding Sheme Based on Temporal Prediction Using Digital Image Warping”, IEEE Transactions on , Volume: 39 Issue: 3 , Aug. 1993”]と同様の手法を採用する。Digital Image Warpingでは、四辺形の各点ごとに動きベクトルを求め、四辺形を二つの三角形に分割し、それぞれの三角形ごとに、３つの頂点によって求まるアフィン変換を算出し、そのアフィン変換を用いて内挿する三角形の画像値を求めている。
Figure 2006260527
上記のアフィン変換を使って、三角形V内の点(u,v)Τは次式１２８であらわされる三角形Y内の点(x,y)Τに対応することが算出できる。
Figure 2006260527
上記のアフィン変換を用いて補間フレームを求める。参照フレームtの時間位置を0、参照フレームt+lΔtの時間位置を1として、内挿する補間フレームの時間位置をΔti(0≦Δti≦1)とする。Δtiに応じて写像g(・,t;lΔt)を線形変換すると次式１２９となる。
Figure 2006260527
そこで三角形Wから三角形Xへのアフィン変換と三角形Yへのアフィン変換をそれぞれ数式２４によって求め、それぞれのアフィン変換から点wに対応する画素値を求める。
すなわち点wに対応する三角形X内の点は次式１３０によって計算できる。
Figure 2006260527
同様にして点wに対応する三角形Y内の点は次式１３１によって計算できる。
Figure 2006260527
時間位置に従って両フレームの重量平均を取れば、次式１３２によって補間フレームの画素値を計算できる。
Figure 2006260527
ここで式１２３の右辺は連続画像モデルで書かれている。そのため実際には離散の画像モデルから右辺を計算するためにbi-linear法によって画素値を補間して計算する。これを画面内の全三角形に対しておこなうことにより写像g(・,t;lΔt)による補間フレームを生成する。
表面信頼度算出１ステップについて説明する。バネの伸びている部分をオクルージョンとして信頼度の高い領域とするのという哲学だったので、逆にいえばバネの変化していない部分が表面として信頼度が高いといえる。
実際には領域における信頼度を算出しなければならないため図１７に示すように例えば
Figure 2006260527
で囲まれた三角形の面積を用いる。元の三角形の面積はベクトルの外積の絶対値により次式１３３のように求まる。
Figure 2006260527
同様にして写像後の三角形の面積が次式１３４によって求まる。
Figure 2006260527
よって面積の差分値を次式１３５とする。
Figure 2006260527
差分値が０に近いほど表面の確率が高くなり、差分値が大きくなるほど表面の確率が低くなるとすると、これは差分値が任意の閾値よりも大きければ０とし、小さければ１とすれば都合がよい。
表面信頼度算出２ステップについて説明する。Coveredなオクルージョン領域（消失のオクルージョン領域）の格子点は理想的には０に縮んでしまうという幾何学的な特性がある。これはuncoveredなオクルージョン領域（湧き出しのオクルージョン領域）が伸びているのと対称的である。Uncoveredなオクルージョン領域の信頼確率は伸びと関連づけたので、coveredなオクルージョン領域の信頼確率は縮みと関連づけるのは自然であろう。
つまりこれまでは伸びも縮みも等価に扱っていたものを、ここでは伸びと縮みによって異なる信頼確率を生成するようにする。これは理論の対象性からも自然なことのように思われる。
そこで表面信頼度算出１ステップでも用いた面積の差分を用いて、差分が閾値よりも大きければ０を、小さければ１を設定するようにする。
続いて表面信頼度算出３ステップについて説明する。これは写像の信頼度が確かならばそれは表面としても確からしいという確率である。これを格子点xに写像g(x)が与えられた元での画像Sk2(・)のもっともらしさとしてモデル化する。一般的にはこれは尤度といわれる。観測される画像にはノイズが加わるとして、格子点xと写像g(x)の画素値を次式１３６によって表す。
Figure 2006260527
Displaced Pixel Difference（以下DPD）を次式１３７のようにモデル化する。
Figure 2006260527
このDPDが閾値よりも小さければもっともらしいので確率１を、大きければ確率０を設定する。
図２５を用いて実際の構成を説明する。
前方マッチング（４２）、後方マッチング（４３）の両ステップは入力するフレームの違いだけなので、オクルージョン付きマッチングステップとして以下のようにまとめる。なお前方マッチングの場合は入力フレームを読み替えなくても良いが、後方マッチングの場合は
Figure 2006260527
のように読み替える。また出力結果に対して、前方マッチングの場合にはfを添え字し、後方マッチングの場合にはbを添え字する。
オクルージョン付きマッチングステップ（図３５）
Figure 2006260527
Figure 2006260527
Figure 2006260527
Figure 2006260527
Figure 2006260527
Figure 2006260527
次に、合成ステップについて説明する。
Figure 2006260527
以下では、図３２に示すブロック図に従って各ステップの具体的な説明をおこなう。
離散変数法ステップでは、離散変数法の更新式１２６に従って位置と速度を更新させ、初期値からあらかじめ設定された時刻Τまでの計算をおこなう。ここではオイラー法による離散変数法を用いる。具体的には図３６に示すフローチャートに従って計算をおこなう。その中で、後述する画像力計算ステップ、弾性エネルギー力計算ステップ、摩擦力計算ステップを用いる。
画像力計算ステップでは、画像相関によるポテンシャルエネルギーによって発生する力Fμを計算する。
Figure 2006260527
具体的には図３７に示すフローチャートに従って計算をおこなう。なお式１１２に従っても良い。
弾性エネルギー力計算ステップでは、弾性エネルギーによって発生する力Fkを計算する。
Figure 2006260527
具体的には図３８に示すフローチャートに従って計算をおこなう。
摩擦力計算ステップでは、動摩擦力によって発生する力Fμを計算する。
Figure 2006260527
具体的には図３９に示すフローチャートに従って計算をおこなう。
Figure 2006260527
具体的には図４０に従って計算をおこなう。
以上本実施例によりオクルージョン領域に適切な絵を補間可能なロバストで高画質な補間フレームが提供できる。
［第５の実施形態］
本実施形態も図２５のブロック図を参照して説明する。
第４の実施形態では、表面信頼度算出１，２，３ステップにおいて閾値による確率化をおこなった。この場合、閾値より大きければ１，小さければ０というように２値の確率しか表現できない。
そこでより滑らかで精度の高い確率表現を得るために本実施例では以下のようなシグモイド関数を用いる。
Figure 2006260527
以下の部分については、第３の実施形態より変更する。
表面信頼度算出１ステップ
Figure 2006260527
Figure 2006260527
表面信頼度算出２ステップ
Figure 2006260527
本実施例の構成により、より滑らかな確率マップが得られるためより高画質な補間フレームが提供できる。
［第６の実施形態］
本実施形態も図２５のブロック図を参照して説明する。
本実施例では表面信頼度の確率をガウス分布にしたがった確率分布として記述することにより、よりロバストな表面信頼度を得るものである。
表面信頼度算出１ステップについて。バネの伸びている部分をオクルージョンとして信頼度の高い領域とするのという哲学だったので、逆にいえばバネの変化していない部分が表面として信頼度が高いといえる。
実際には領域における信頼度を算出しなければならないため図１７に示すように例えば
Figure 2006260527
で囲まれた三角形の面積を用いる。元の三角形の面積はベクトルの外積の絶対値により以下のように求まる。
Figure 2006260527
同様にして写像後の三角形の面積が
Figure 2006260527
とする。差分値が０に近いほど表面の確率が高くなり、差分値が大きくなるほど表面の確率が低くなるとすると、これは差分値が平均０、分散σ２のガウス分布に従うと考えると妥当である。よって差分値Rの確率密度関数は以下のようにモデル化できる。
Figure 2006260527
これは確率密度関数であるから分布関数は
Figure 2006260527
となる。よって差分値R(n)がaからbの間に存在する確率は
Figure 2006260527
で与えられる。
差分値R(n)=0が得られたときの信頼度を95%にしたいとすると
Figure 2006260527
とすればよい。よってある差分値が得られたときの表面の確率を次式１４２と定義する。
表面の確率
Figure 2006260527
これが三角形内側の表面の信頼度であるからこれを三角形の内側に割り当てメモリする。
Figure 2006260527
を構築する。
次に表面信頼度算出３ステップについて述べる。写像の信頼度を確率としてモデル化する。
Figure 2006260527
一般的にはこれは尤度といわれる。
観測される画像にはノイズが加わるとして、格子点xと写像g(x)の画素値を
Figure 2006260527
ここでε１，ε２は加法性ノイズである。Displaced Pixel Difference（以下DPD）を以下のようにモデル化する。
Figure 2006260527
観測されるノイズが平均０、分散σ２のガウス分布に従うと仮定すると、あるDPDxの尤度は確率密度関数（probability density function, pdf）として次式１４３のように記述できる。
尤度
Figure 2006260527
これは確率密度関数であるから分布関数は
Figure 2006260527
よってあるDPDが得られたときの写像g(x)の確率を次式１４４と定義する。
写像g(x)の確率
Figure 2006260527
表面信頼度算出２ステップについて述べる。Covered occlusion（消失なオクルージョン領域）は変形して圧縮されている領域とする。
Figure 2006260527
を定義する。これらの面積の差分を
Figure 2006260527
とする。ここでSは面積を算出するオペレータとする。この差分値r(n)が負ならば圧縮されているということである。
ここで画面全体が単一の領域であるとすると差分値R(n)の分布がガウス分布に従うとしても良さそうである。もし画面が複数領域からなり、covered occlusionが発生しているとするとその領域の差分値R(n)は外れ値として分布する可能性が高い。よって差分値R(n)が０に近いほど表面である確率が高いという信頼度を構築する。
差分値Rの確率密度関数は以下のようにモデル化できる。
Figure 2006260527
これは確率密度関数であるから分布関数は
Figure 2006260527
となる。よって差分値R(n)がaからbの間に存在する確率は
Figure 2006260527
で与えられる。
差分値R(n)=0が得られたときの信頼度を95%にしたいとすると
Figure 2006260527
とすればよい。よってある差分値が得られたときの表面の確率を次式１４５と定義する。
表面の確率
Figure 2006260527
実際の構成は以下のようになる。
表面信頼度算出１ステップ
Figure 2006260527
表面信頼算出３ステップ
Figure 2006260527
Figure 2006260527
表面信頼度算出２ステップ
Figure 2006260527
以上、本誌実施の形態により表面信頼度の確率をガウス分布にしたがった確率分布として記述することにより、よりロバストな表面信頼度を得ることができ、より高画質な補間フレームを提供できる。
［第７の実施形態］
本実施形態も図２５のブロック図を参照して説明する。
背景が静止しているような画像の場合、オクルージョン領域が発生しうるのはフレーム間で変化のある部分のみである。フレーム間で変化のある部分はフレーム間差分を取ると検出することができる。よってこのフレーム間差分から表面信頼度を算出可能である。
表面信頼度算出４ステップについて説明する。観測される画像にはノイズが加わるとして、フレーム間の画素値を
Figure 2006260527
ここでε１，ε２は加法性ノイズである。Pixel Difference（以下PD）を以下のようにモデル化する。
Figure 2006260527
ここでこのPDが任意の閾値よりも小さければ確率１を、大きければ確率０を与えるなどとすることができる。
また上記のように閾値モデルではなく、ガウス分布モデルに従った以下のような方法でも良い。観測されるノイズが平均０、分散σ２のガウス分布に従うと仮定すると、あるPDxの尤度は確率密度関数（probability density function, pdf）として次式１４６のように記述できる。
尤度
Figure 2006260527
これは確率密度関数であるから分布関数は
Figure 2006260527
となる。よってPDγ(x)がaからbの間に存在する確率は
Figure 2006260527
で与えられる。静止領域では対応する画素同士の差分値がゼロになるとすると、静止のPDはノイズ成分に等しい。よってノイズの定義から、静止のＰＤは平均０、分散σ２のガウス分布に従っていることになる。静止のPDでの信頼度をガウス分布の信頼区間により設定する。例えば静止のPDに95%の信頼度を持たせたい場合は
Figure 2006260527
とすればよい。よってあるPDが得られたときの表面の確率を次式１４７と定義する。
表面の確率
Figure 2006260527
ここで分散σ２は任意の値を設定しても良いし、Ｍ推定によって与えられた画像から反復的に求めることもできる。
よって表面信頼度算出４ステップを以下のように構成する。
表面信頼算出４ステップ
Figure 2006260527
また背景が完全に静止しているならば、オクルージョンマッチングはおこなわずに、背景そのものをそのまま持ってきても良い。
第４の実施形態に対して合成ステップに関しても改良を加える。
Figure 2006260527
Figure 2006260527
以上本実施例により、背景が静止している場合において高画質な補間フレームを提供することができる。
［第８の実施形態］
画面全体が単一の領域の場合には第６の実施形態のようなガウス分布に従うといっても構わないが、複数領域からなる場合には必ずしもガウス分布に従うとは限らない。そのため精度が低下してしまうこともありうる。そこで本実施例ではガウス分布から外れる領域をＭ推定によって弾くことにより複数領域に対しても精度良くするものである。
Covered occlusionは変形して圧縮されている領域とする。
Figure 2006260527
ここでSは面積を算出するオペレータとする。この差分値R(n)が負ならば圧縮されているということである。
ここで画面全体が単一の領域であるとすると差分値R(n)の分布がガウス分布に従うとしても良さそうである。もし画面が複数領域からなり、covered occlusionが発生しているとするとその領域の差分値R(n)は外れ値として分布する可能性が高い。よって差分値R(n)が０に近いほど表面である確率が高いという信頼度を構築する。
差分値Rの確率密度関数は以下のようにモデル化できる。
Figure 2006260527
これは確率密度関数であるから分布関数は
Figure 2006260527
よってある差分値が得られたときの表面の確率を次式１４８と定義する。
表面の確率
Figure 2006260527
複数領域の場合の表面確率
Figure 2006260527
この確率wはＭ推定の重み関数と関連づけることができる。Ｍ推定の重み関数は平均に近いほど１に近くなり外れるほど０に近くなる関数だからである。
Ｍ推定の枠組みでモデル化する。Covered occlusionに関して考えたいので圧縮方向のみを対象にする。すなわち伸びている領域は無視したいのでR(n)<1の点を対象とする（R(n)≧1は伸びている領域である）。
Figure 2006260527
と定義できる。TukeyのBiweight法によると重み関数は
Figure 2006260527
のように構成できる。ここでc>0は定数であり、正規分布の場合にはc=6.0となる。この重み関数を用いて標本平均、標本偏差が以下のように計算できる。
Figure 2006260527
ここで上付はイテレーションをあらわす。標本平均＆偏差の計算と重み関数の計算を交互にＩ回イテレーションさせることによってＭ推定を構成する。
このＭ推定の結果を使って上記の確率を拡張すると以下のようにモデル化できる。
Figure 2006260527
以上本実施例によって画面が複数の領域からなる場合でも精度良い補間フレームを提供できる。
［第９の実施形態］
本実施形態も図２５のブロック図を参照して説明する。上記実施形態では、バネの伸びや縮みによってオクルージョン領域を検出する方法が提供されている。マッチングが正確におこなわれていれば、バネが伸びたり縮んだりするのはオクルージョンの領域だと判定ができるが、マッチングが不正確だとバネの伸びや縮みがマッチングミスに起因することがある。そこで本実施形態はマッチングミスを検出し補正することにより高画質な補間フレームを生成できる方法を提供する。
図４１は、第９の実施形態に従った画像マッチング方法を実施する画像マッチング装置のブロック図を示している。これによると、入力画像信号を記憶するフレームメモリ４１が設けられる。このフレームメモリ４１は前方マッチングユニット４２及び後方マッチングユニット４３に結合され、記憶画像信号をこれらマッチングユニットに入力する。前方及び後方マッチングユニット４２，４３は入力画像信号も入力されおり両信号に基づきマッチング処理を行う。前方及び後方マッチングユニット４２，４３の出力は表面信頼度算出ユニット４５，４６にそれぞれ接続される。表面信頼度算出ユニット４５，４６の出力はマッチングユニット４７に接続されると共に合成ユニット４８に接続される。
図４２に示すように、オブジェクトが左から右に移動する画像にマッチングをかけたとする。このときマッチングが正しければオブジェクトの格子は対応するオブジェクト上に移動するはずだが、誤マッチングによりオブジェクトが検出できなかったとすると、オブジェクト上の格子点は参照画像上の背景上に位置することになる。しかし、このままでは画像エネルギーが高いため非常に不安定である。そのため周りの少しでも画像エネルギーが低いところを目指して移動する。結果としてそこにはバネの伸びが観測されることになる。
同様のことは逆側からマッチングをかけても起こる。よって前方と後方でマッチングできなかった領域がそれぞれバネの伸びとして検出される。つまり検出できなかった領域がオクルージョン領域に混じって検出されている可能性が高いと言える。そこでオクルージョン領域同士を再度マッチングかけることによって誤マッチングを補正できる。
表面信頼度算出４ステップを説明する。
前方マッチングユニット４２と対応するものを第１の表面信頼度算出ステップ、後方マッチングユニットに対応するものを第２の表面信頼度算出ステップとする。まずは、表面信頼度算出ステップ１の表面信頼度マップの補集合を取り裏面信頼度を求める。または表面信頼度算出ステップ２の表面信頼度マップとの積確率を求め、その補集合を取っても良い。
裏面信頼度が閾値（例えば０．５）以上の領域を裏面として検出する。それぞれを第１の裏面、第２の裏面とする。参照フレームtを第２の裏面でマスクしたものをマスク参照フレームt、参照フレームt+lΔtを第１の裏面でマスクしたものをマスク参照フレームt+lΔtとする。
マスク参照フレームtを対象画像、マスク参照フレームt+lΔtを参照画像としてマッチングをおこない前方マッチング写像を求め、マスク参照フレームt+lΔtを対象画像、マスク参照フレームtを参照画像としてマッチングをおこない後方マッチング写像を求める。例えば表面信頼度算出３ステップを用いて前記前方マッチング写像と後方マッチング写像の信頼度を求め、誤マッチング時の表面信頼度とする。
次に前記表面信頼度算出４ステップの結果も含めて、第４の実施形態のような合成をおこなうことにより、誤マッチングも上手く補償したより高画質な補間フレームを生成できる。
本発明の第１の実施形態に従った画像マッチング方法を実行する画像マッチング装置のブロック図 画像マッチング問題ｙｎに対するダイナミクスを示す図 別オブジェクトの隣接格子関係を示す図 格子点追加の概念図 各空間の繋がりを示す図 画像相関ポテンシャルエネルギーによる力の想定図 対象画像上のオブジェクトと参照画像のオブジェクトの位相が保たれる状態を示す図 不均質格子点空間を示す図 格子点追加を説明する図 格子点追加モデルの解析を説明する図 格子点追加をおこなわない場合の写像を示す図 簡略型格子点追加をおこなった場合の写像を示す図 第２の実施形態による画像マッチング方法を実行する画像マッチング装置のブロック図 第２の実施形態の画像マッチング方法を示すフローチャート図 オクルージョン領域を示す図 オクルージョンマッチングによる解決を説明するための図 オクルージョン信頼度を説明するための図 シグモイド関数を示す図 シグモイド関数を示す図 補間方法を説明するための図 オクルージョンマッチング補間方法を説明するための図 第３の実施形態による画像マッチング方法を実行する画像マッチング装置のブロック図 第３の実施形態の画像マッチング方法を示すフローチャート図 後方マッチングによるオクルージョン領域を示す図 本発明の第４の実施形態に従った画像マッチング方法を実行する画像マッチング装置のブロック図。 各空間の繋がりを示す図。 後方マッチングによるオクルージョン領域を示す図。 バネの延びと縮みにより前後のオクルージョンが検出できることを説明する図。 湧き出しの検出だけでは不足であることを説明する図。 複数の信頼度による合成を説明する図。 正しいマップが得られなかったとしてもロバストがあることを示す図。 マッチングステップを実行する概略装置のブロック図。 静的なエネルギー関数による最適化を説明する図。 静的なエネルギー関数による最適化を説明する図。 第４の実施形態の画像マッチング方法を実施するフローチャート図。 離散変数法の手順を示すフローチャート。 画像相関によるポテンシャルエネルギーによって発生する力を計算する手順を示すフローチャート図。 弾性エネルギーによる力を計算する手順を示すフローチャート図。 摩擦力を計算する手順を示すフローチャート図 補間計算の手順を示すフローチャート図。 第９の実施形態に従った画像マッチング方法を実施する画像マッチング装置のブロック図。 誤マッチングがバネの延びとして現れる状態を示す図。
符号の説明
１１…画像マッチングユニット、１２…モデル生成モジュール、１３…数値解析モジュール、１４…格子点追加モジュール、２１、３１…フレームメモリ、２２、３２…画像マッチングモジュール、２３、３３…オクルージョンマッチングモジュール、２４、３４…オクルージョン信頼度算出モジュール、２５、３５…動き補償ユニット、２６、３６…補間フレーム生成モジュール、２７、３７…画像相関信頼度算出モジュール、１４…フレームメモリ、４２…前方マッチングユニット、４３…後方マッチングユニット、４４…合成ユニット、４５…表面信頼度計算ユニット、４６…表面信頼度計算ユニット、４７…マッチングユニット、４８…合成ユニット、５１…離散変数ユニット、５３…画像相関ポテンシャル力計算ユニット、５４…弾性エネルギー力計算ユニット、５５…摩擦力計算ユニット

Claims (35)

  1. 第１画像とと第２画像との間の対応関係を求める画像マッチング方法において、
    複数の第１の格子点を有する第１の格子を第１画像上に設定するステップと、
    前記第１の格子点の各々に一対一に対応する第２の格子点を有する第２の格子を第２画像上に設定するステップと、
    前記第１の格子点の位置および画素情報と前記第２の格子点の位置および画素情報とによって求まる画像相関ポテンシャルエネルギーの勾配によって前記第２の格子点が受けるポテンシャル力を計算するステップと、
    前記第２の格子点とこの第２の格子点に隣接する前記第２の格子の隣接格子点との間の弾性エネルギーから前記第２の格子点が受ける弾性力を計算するステップと、
    前記第２の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力に基づく前記第２の格子点に関する運動方程式を数値解析することによって前記第２の格子点の平衡状態を求める数値解析ステップと、
    前記運動方程式の数値解析中に、前記第２の格子点と前記隣接格子点との間の距離に応じて格子点間に新たな格子点を追加する格子点追加ステップと、
    を有することを特徴とする画像マッチング方法。
  2. 第１画像と第２画像との間の対応関係を求める画像マッチング方法において、
    第１画像上に設定される第１の格子の第１の格子点に対して１対１に写像する第２画像上に設定される第２の格子の第２の格子点に関して、前記第１の格子点の位置および画素情報と前記第２の格子点の位置および画素情報とによって求まる画像相関ポテンシャルエネルギーの勾配によって前記第２の格子点が受けるポテンシャル力を計算するステップと、
    前記第２の格子点とこの第２の格子点に隣接する前記第２の格子の隣接格子点との間の弾性エネルギーから前記第２の格子点が受ける弾性力を計算するステップと、
    前記第２の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力に基づく第２の格子点に関する運動方程式を数値解析することによって前記第２の格子点の平衡状態を求める数値解析ステップと、
    前記運動方程式の数値解析中に、前記第２の格子点と前記隣接格子点との間の格子点間距離に応じて前記弾性エネルギーの弾性定数を変更するステップと、
    を有することを特徴とする画像マッチング方法。
  3. 前記弾性定数を前記格子点間距離に応じて階段状に変化させるステップを含むことを特徴とする請求項２に記載の画像マッチング方法。
  4. 前記弾性定数を前記格子点間距離に応じて線形に変化させるステップを含むことを特徴とする請求項２に記載の画像マッチング方法。
  5. 前記弾性定数を前記格子点間距離に応じてロジスティック関数的に変化させるステップを含むことを特徴とする請求項２に記載の画像マッチング方法。
  6. 時系列的にに並んでいる第１の参照画像と第２の参照画像と第３の参照画像を用いて、前記第１の参照画像と前記第２の参照画像との間に補間画像を内挿する画像補間方法において、
    前記第１の参照画像上の第１の格子の第１の格子点に対して１対１に写像する前記第２の参照画像上の第２の格子の第２の格子点に関して、前記第１の格子点の位置および画素情報と前記第２の格子点の位置および画素情報とによって求まる画像相関ポテンシャルエネルギーの勾配によって前記第２の格子点が受けるポテンシャル力を計算するステップと、
    前記第２の格子点とこの第２の格子点に隣接する前記第２の格子の隣接格子点との間の弾性エネルギーから前記第２の格子点が受ける弾性力を計算するステップと、
    前記第２の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力に基づく第２の格子点に関する運動方程式を数値解析することによって前記第２の格子点の平衡状態を求める第１の数値解析ステップと、
    前記第２の格子点の平衡状態における前記第２の格子点の分布に基づいて、オクルージョン領域を検出するオクルージョン領域検出ステップと、
    画像マッチング手法により前記第２の参照画像と前記第３の参照画像との画素の対応関係を求めるステップと、
    前記第２の格子点によって定まる第１の参照画像と第２の参照画像との画素の対応関係と、前記第２の参照画像と前記第３の参照画像との画素の対応関係と、検出されたオクルージョン領域の情報とを用いて、補間画像を生成する補間画像生成ステップと、
    を有することを特徴とする画像補間方法。
  7. 前記画像マッチング手法は、
    前記第２の参照画像上の前記第２の格子の第３の格子点に対して１対１に写像する第３の参照画像上に設定される第３の格子の第４の格子点に関して、前記第３の格子点と前記第４の格子点の位置によって求まる画像相関ポテンシャルエネルギーの勾配によって前記第４の格子点が受けるポテンシャル力を計算するステップと、
    前記第４の格子点とこの第４の格子点に隣接する格子点との間の弾性エネルギーから前記第４の格子点が受ける弾性力を計算するステップと、
    前記第４の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力に基づく前記第４の格子点に関する運動方程式を数値解析することによって前記第４の格子点の平衡状態を求める第２の数値解析ステップと、
    前記第３の格子点と前記第４の格子点との関係から、前記第２の参照画像と前記第３の参照画像との画素の対応関係を求めるステップと、
    を含むことを特徴とする請求項６に記載の画像補間方法
  8. 前記オクルージョン領域検出ステップでは、前記第２の格子点の平衡状態における前記第２の格子を前記第２の格子点を頂点として有する複数の領域に分割し、前記各領域のオクルージョン信頼度を算出し、閾値より大きい前記オクルージョン信頼度を有する前記領域をオクルージョン領域として検出し、
    前記補間画像生成ステップでは、前記オクルージョン領域内の各画素の画素値を、前記第１画像と前記第２画像との画素の対応関係から求められる第１画素値と前記第２参照画像と前記第３参照画像との画素の対応関係から求められる第２画素値とを、前記オクルージョン信頼度に応じた重み付きで合成して求めることを特徴とする請求項６に記載の画像補間方法。
  9. 時系列的に並んでいる第１の参照画像と第２の参照画像と第３の参照画像と第４の参照画像とを用いて、前記第２の参照画像と前記第３の参照画像間に補間画像を内挿する画像補間方法において、
    前記第２の参照画像上の第１の格子の第１の格子点に対して１対１に写像する第３の参照画像上の第２の格子の第２の格子点に関して、前記第１の格子点の位置および画像情報と第２の格子点の位置および画像情報とによって求まる画像相関ポテンシャルエネルギーの勾配によって前記第２の格子点が受けるポテンシャル力を計算するステップと、
    前記第２の格子点とこの第２の格子点に隣接する前記第２の格子の隣接格子点との間の弾性エネルギーから前記第２の格子点が受ける弾性力を計算するステップと、
    前記第２の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力に基づく前記第２の格子点に関する運動方程式を数値解析することによって前記第２の格子点の平衡状態を求める第１の数値解析ステップと、
    前記第２の格子点の平衡状態における前記第２の格子点の分布に基づいて、第１のオクルージョン領域を検出する第１のオクルージョン領域検出ステップと、
    前記第３の参照画像上の第２の格子の第３の格子点に対して１対１に写像する第２の参照画像上の第１の格子の第４の格子点に関して、前記第３の格子点の位置および画像情報と第４の格子点の位置および画像情報とによって求まる画像相関ポテンシャルエネルギーの勾配によって前記第４の格子点が受けるポテンシャル力を計算するステップと、
    前記第４の格子点とこの第４の格子点に隣接する前記第１の格子の隣接格子点との間の弾性エネルギーから前記第４の格子点が受ける弾性力を計算するステップと、
    前記第４の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力とに基づく前記第４の格子点に関する運動方程式を数値解析することによって前記第４の格子点の平衡状態を求める第２の数値解析ステップと、
    前記第４の格子点の平衡状態における前記第４の格子点の分布に基づいて、第２のオクルージョン領域を検出する第２のオクルージョン領域検出ステップと、
    前記第２の参照画像と前記第１の参照画像との画素の対応関係を求める第１の画像マッチングステップと、
    前記第３の参照画像と前記第４の参照画像との画素の対応関係を求める第２の画像マッチングステップと、
    前記第２の格子点によって定まる前記第２の参照画像と前記第３の参照画像との画素の対応関係、前記第４の格子点によって定まる前記第３の参照画像と前記第２の参照画像との画素の対応関係、前記第２の参照画像と前記第１の参照画像との画素の前記対応関係、前記第３の参照画像と前記第４の参照画像との画素の前記対応関係、前記第１のオクルージョン領域の情報、および、前記第２のオクルージョン領域の情報、を用いて補間画像を生成する補間画像生成ステップと、
    を有することを特徴とする画像補間方法。
  10. 前記第１のオクルージョン領域検出ステップでは、前記第２の格子点の平衡状態における前記第２の格子を前記第２の格子点を頂点として有する複数の第１評価領域に分割し、前記第１評価領域の各々のオクルージョン信頼度を算出し、閾値より大きい前記オクルージョン信頼度を有する前記第１評価領域を、前記第１のオクルージョン領域として検出し、
    前記第２のオクルージョン領域検出ステップでは、前記第４の格子点の平衡状態における前記第４の格子を前記第４の格子点を頂点として有する複数の第２評価領域に分割し、前記第２評価領域の各々のオクルージョン信頼度を算出し、閾値より大きい前記オクルージョン信頼度を有する前記第２評価領域を、前記第２のオクルージョン領域として検出し、
    前記補間画像生成ステップでは、前記第１のオクルージョン領域内の各画素の画素値を、前記第２画像と前記第３画像との画素の対応関係から求められる第１画素値と前記第２参照画像と前記第１参照画像との画素の対応関係から求められる第２画素値とを、前記オクルージョン信頼度に応じた重み付きで合成して求め、前記第２のオクルージョン領域内の各画素の画素値を、前記第３画像と前記第２画像との画素の対応関係から求められる第３画素値と前記第３照画像と前記第４参照画像との画素の対応関係から求められる第４画素値とを、前記オクルージョン信頼度に応じた重み付きで合成して求める、ことを特徴とする請求項９に記載の画像補間方法。
  11. 前記第１および前記第２の画像マッチングステップでは、ブロックマッチング法により対応関係を求めることを特徴とする請求項６または９に記載の画像補間方法。
  12. 前記第１および前記第２画像マッチングステップでは、オプティカルフロー推定法により対応関係を求めることを特徴とする請求項６または９に記載の画像補間方法。
  13. 前記第１および前記第２画像マッチングステップではベイズ法により対応関係を求めることを特徴とする請求項６または９に記載の画像補間方法。
  14. 前記第１および前記第２画像マッチングステップでは勾配法により対応関係を求めることを特徴とする請求項６または９に記載の画像補間方法。
  15. 平衡状態における前記第２の格子点の分布に基づいて前記第２の参照画像の表面信頼度を算出する第１の表面信頼度算出ステップと、
    平衡状態における前記第４の格子点の分布に基づいて前記第３の参照画像の表面信頼度を算出する第２の表面信頼度算出ステップと、
    平衡状態における前記第２の格子点の分布に基づいて第１の中間補間画像を生成し、前記第１の参照画像と前記第２の参照画像との画素の対応関係および前記第１のオクルージョン領域に基づいて第２の中間補間画像を生成し、平衡状態における前記第４の格子点の分布に基づいて第３の中間補間画像を生成し、前記第４の参照画像と前記第３の参照画像との画素の対応関係および前記第２のオクルージョン領域に基づいて第４の中間補間画像を生成する中間補間画像生成ステップと、
    を有し、
    前記補間画像生成ステップは、前記第３の参照画像の表面信頼度、前記第２の参照画像の表面信頼度、前記第１の中間補間画像、前記第２の中間補間画像、前記第３の中間補間画像、および、前記第４の中間補間画像を用いて、前記補間画像を生成する、
    請求項９に記載の画像補間方法。
  16. 前記第１および前記第２の表面信頼度算出ステップでは、隣接する格子点の間の距離が基準より離れている領域には表面ではないと判定し、前記距離が基準より近い領域を表面であると判定して、表面か否かを表す２値の前記表面信頼度を求めることを特徴とする請求項１５に記載の補間画像生成方法。
  17. 前記第１および前記第２の表面信頼度算出ステップでは、隣接する格子点の間の距離が第１の閾値未満である領域を表面ではないと判定し、前記距離が第２の閾値より大きく第３の閾値未満である領域を表面であると判定して、表面か否かを表す２値の前記表面信頼度を求めることを特徴とする請求項１５に記載の補間画像生成方法。
  18. 前記第１の表面信頼度算出ステップでは、前記第２の格子点を頂点とする多角形領域の初期状態の面積と平衡状態の面積との差分に基づいて前記第２の参照画像の表面信頼度を算出し、
    前記第２の表面信頼度算出ステップでは、前記第４の格子点を頂点とする多角形領域の初期状態の面積と平衡状態の面積との差分に基づいて前記第３の参照画像の表面信頼度を算出する、
    ことを特徴とする請求項１５に記載の補間画像方法。
  19. 前記第１と第２の表面信頼度算出ステップでは、画像間差分が閾値より大きい領域を表面ではないと判定し、前記画像間差分が前記閾値より小さい部分を表面であると判定して、表面か否かを表す２値の前記表面信頼度を算出するすることを特徴とする請求項１５に記載の補間画像方法。
  20. 前記第１と第２の表面信頼度算出ステップで求められる表面信頼度は確率であり、前記第１と第２の表面信頼度算出ステップは、さらに、算出された表面信頼度が閾値よりも大きい場合には確率１とし、算出された表面信頼度が前記閾値より小さい場合には確率０とするステップを有することを特徴とする請求項１５に補間画像生成方法。
  21. 前記第１と第２の表面信頼度算出ステップでは、表面信頼度としてシグモイド関数に基づく確率を算出することを特徴とする請求項１５に記載の補間画像生成方法。
  22. 前記第１と第２の表面信頼度算出ステップでは、表面信頼度としてガウス分布に基づく確率を算出することを特徴とする請求項１５に記載の補間画像生成方法。
  23. 前記第１の画像マッチングステップでは、前記第２画像を目標画像として前記第１画像を原画像とする画像マッチングを行い、
    前記第２の画像マッチングステップでは、前記第３画像を目標画像として前記第４画像を原画像とする画像マッチングを行い、
    前記画像マッチングは、
    前記原画像に設定した格子点の各々に関して、前記各格子点の初期位置における前記原画像の画素値と前記各格子点の現在位置における前記目的画像の画素値とに基づく画像相関ポテンシャルエネルギーの勾配による力を計算するステップと、
    前記各格子点と前記各格子点に隣接する格子点との間の弾性エネルギーから受ける力を計算するステップと、
    前記各格子点に作用する摩擦力を計算するステップと、
    前記画像相関ポテンシャルエネルギーの勾配による力、前記弾性エネルギーから受ける力、および、前記摩擦力を含む、前記各格子点に関する運動方程式を離散変数法により数値的に解いて、前記各格子点の平衡状態を求めるステップと、
    前記各格子点について、初期位置と平衡状態での位置とを用いて前記原画像と前記目標画像との対応関係を求めるマッピングステップと、
    を有する請求項１５に記載の補間画像生成方法。
  24. 前記第１と第２の画像マッチングステップでは、ブロックマッチングを行うことを特徴とする請求項１５に記載の補間画像生成方法。
  25. 前記第１と第２の画像マッチングステップでは、オプティカルフロー推定によりマッチング処理を行うことを特徴とする請求項１５に記載の補間画像生成方法。
  26. 前記第１と第２の画像マッチングステップでは、ベイズメソッドを用いたマッチング処理を行うことを特徴とする請求項１５に記載の補間画像生成方法。
  27. 前記第１と第２の表面信頼度算出ステップで求められる表面信頼度は確率であり、前記第１と第２の表面信頼度算出ステップでは、前記表面信頼度の補集合である裏面信頼度を求め、裏面信頼度が一定値以上の領域を裏面として求め、前記第１の表面信頼度算出ステップによる第１の裏面と、前記第２の表面信頼度算出ステップによる第２の裏面とからマッチングをおこない、対応付けが正確におこなわれているところは表面であると判定するステップを含むことを特徴とする請求項１５に記載の補間画像生成方法。
  28. 時系列的に並んでいる第１の参照画像と第２の参照画像と第３の参照画像と第４の参照画像とを用いて、前記第２の参照画像と前記第３の参照画像間に補間画像を内挿する画像補間方法において、
    前記第２の参照画像上の第１の格子の第１の格子点に対して１対１に写像する第３の参照画像上の第２の格子の第２の格子点に関して、前記第１の格子点の位置および画像情報と第２の格子点の位置及び画像情報とによって求まる画像相関ポテンシャルエネルギーの勾配によって前記第２の格子点が受けるポテンシャル力を計算するステップと、
    前記第２の格子点とこの第２の格子点に隣接する前記第２の格子の他の格子点との間の弾性エネルギーから前記第２の格子点が受ける弾性力を計算するステップと、
    前記第２の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力に基づく前記第２の格子点に関する運動方程式を数値解析することによって前記第２の格子点の平衡状態を求める第１の数値解析ステップと、
    前記第２の格子点の平衡状態おける前記第２の格子点の分布に基づいて、第１のオクルージョン領域を検出する第１のオクルージョン領域検出ステップと、
    前記第３の参照画像上の前記第２の格子の第３の格子点に対して１対１に写像する第４の参照画像上の第４の格子点に関して、前記第３の格子点と第４の格子点の位置によって求まる画像相関ポテンシャルエネルギーの勾配によって前記第４の格子点が受けるポテンシャル力を計算するステップと、
    前記第４の格子点とこの第４の格子点に隣接する他の格子点との間の弾性エネルギーから前記第４の格子点が受ける弾性力を計算するステップと、
    前記第４の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力とに基づく第４の格子点に関する運動方程式を数値解析することによって前記第４の格子点の平衡状態を求める第２の数値解析ステップと、
    前記第４の格子点の平衡状態における前記第４の格子点の分布に基づいて、第２のオクルージョン領域を検出する第２のオクルージョン領域検出ステップと、
    前記第２の参照画像上の第５の格子点に１対１に写像する前記第１の参照画像上の第６の格子点に関して、前記第５の格子点と前記第６の格子点の位置によって求まる画像相関ポテンシャルエネルギーの勾配によって前記第６の格子点が受けるポテンシャル力を計算するステップと、
    前記第６の格子点とこの第６の格子点に隣接する格子点との間の弾性エネルギーから受ける弾性力を計算するステップと、
    前記第６の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力とに基づく前記第６の格子点に関する運動方程式を数値解析することによって前記第６の格子点の平衡状態を求める第３の数値解析ステップと、
    第３の参照画像上の第７の格子点に１対１に写像する第４の参照画像上の第８の格子点に関して、前記第７の格子点と前記第８の格子点の位置によって求まる画像相関ポテンシャルエネルギーの勾配によって前記第８の格子点が受けるポテンシャル力を計算するステップと、
    前記第８の格子点とこの第８の格子点に隣接する格子点との間の弾性エネルギーから前記第８の格子点が受ける弾性力を計算するステップと、
    前記第８の格子点に生じる摩擦力を計算するステップと、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力とに基づく前記第８の格子点に関する運動方程式を数値解析することによって前記第８の格子点の平衡状態を求める第４の数値解析ステップと、
    前記第２の格子点によって定まる対応関係と、前記第４の格子点によって定まる対応関係と、前記第６の格子点によって定まる対応関係と、前記第８の格子点によって定まる対応関係と、前記第１のオクルージョン領域の情報と、前記第２のオクルージョン領域の情報とを用いて補間画像を生成する補間画像生成ステップと、
    を有することを特徴とする画像補間方法。
  29. 第１画像と第２画像との間の対応関係を求める画像マッチング装置において、
    第１画像上に設定される第１の格子の第１の格子点に対して１対１に写像する第２画像上に設定される第２の格子の第２の格子点に関して、前記第１の格子点と前記第２の格子点の位置によって求まる画像相関ポテンシャルエネルギーの勾配によって前記第２の格子点が受けるポテンシャル力を計算するポテンシャル力計算部と、
    前記第２の格子点とこの第２の格子点に隣接する前記第２の格子の他の格子点との間の弾性エネルギーから前記第２の格子点が受ける弾性力を計算する弾性力計算部と、
    前記第２の格子点に生じる摩擦力を計算する摩擦力計算部と、
    前記ポテンシャル力、前記弾性力、および、前記摩擦力とに基づく前記第２の格子点に関する運動方程式を数値解析することによって前記第２の格子点の平衡状態を求める数値解析部と、
    前記運動方程式の数値解析中に、前記第２の格子点と前記隣接格子点との間の距離に応じて格子点間に新たな格子点を追加する格子点追加部と、
    を有することを特徴とする画像マッチング装置。
  30. 第１画像と第２画像との間の対応関係を求める画像マッチング装置において、
    複数の第１格子点を有する第１格子を第１画像上に設定する第１格子設定部と、
    前記各第１格子点の各々に一対一に対応する第２格子点を有する第２格子を第２画像上に設定する第２格子設定部と、
    前記第２格子点に作用するポテンシャル力を求めるため、前記第１格子点と前記第２格子点との位置関係に基づく画像相関ポテンシャルエネルギーの勾配に応じた画像相関力を求める画像相関力算出部と、前記第２格子点とこの第２格子点に隣接している前記第２の格子の隣接格子点との間の格子点間の距離に応じた弾性力を求める弾性力算出部と、前記第２の格子点に生じる摩擦力を求める摩擦力算出部とを有する作用力算出部と、
    前記画像相関力、前記弾性力、および、前記摩擦力を用いて前記第２格子点の位置および速度を数値的に求める数値解析部と、
    前記数値解析部によって求められた前記第２格子点の位置に基づいて、前記第２格子点の各々について前記第２格子点と前記隣接格子点との間の格子点間の距離を求める格子点間距離算出部と、
    前記格子点間距離が所定の条件を満たす格子点間に第２格子点を追加する格子点追加制御部と、
    前記第２格子点が所定の平衡状態に達するまで、前記数値解析部によって求められた前記第２格子点の位置および速度と、前記格子点追加制御部によって追加された第２格子点の位置および速度とを前記作用力算出部に出力する数値解析制御部と、
    を具備することを特徴とする画像マッチング装置。
  31. 前記作用力算出部は、前記格子点追加制御部によって追加された第２格子点に関しても、前記画像相関力、前記弾性力および前記摩擦力を求める、ことを特徴とする請求項３０に記載の画像マッチング装置。
  32. 第１画像と第２画像との間の対応関係を求める画像マッチング装置において、
    複数の第１格子点を有する第１格子を第１画像上に設定する第１格子設定部と、
    前記各第１格子点に対応する第２格子点を有する第２格子を第２画像上に設定する第２格子設定部と、
    前記第２格子点に作用するポテンシャル力を求めるために、
    前記第１格子点の位置と前記第２格子点との位置と前記第１格子点の画素情報と前記第２格子点の画素情報とに基づく画像相関ポテンシャルエネルギーの勾配に応じた画像相関力を求める画像相関力算出部、
    前記第２格子点とこの第２格子点に隣接している前記第２の格子の隣接格子点との間の格子点間距離と可変な弾性係数とに応じた弾性力を求める弾性力算出部、および、
    前記第２の格子点に生じる摩擦力を求める摩擦力算出部、
    を備える作用力算出部と、
    前記画像相関力、前記弾性力、および、前記摩擦力を用いて前記第２格子点の位置および速度を数値的に求める数値解析部と、
    前記数値解析部によって求められた前記第２格子点の位置に基づいて、前記第２格子点の各々について前記格子点間距離を求める格子点間距離算出部と、
    前記格子点間距離算出部で算出された前記格子点間距離に応じて、前記作用力算出部で弾性力を算出する際に用いられる前記弾性係数の値を段階的に変更する弾性係数制御部と、
    前記第２格子点が所定の平衡状態に達するまで、前記数値解析部によって求められた前記第２格子点の位置および速度を前記作用力算出部に出力する数値解析制御部と、
    を具備することを特徴とする画像マッチング装置。
  33. 第１画像と第２画像との間の対応関係を求める画像マッチング方法において、
    複数の第１格子点を有する第１格子を第１画像上に設定する第１格子設定ステップと、
    前記各第１格子点に対応する第２格子点を有する第２格子を第２画像上に設定する第２格子設定ステップと、
    前記第２格子点に作用するポテンシャル力を求めるために、
    前記第１格子点の位置と前記第２格子点との位置と前記第１格子点の画素情報と前記第２格子点の画素情報とに基づく画像相関ポテンシャルエネルギーの勾配に応じた画像相関力を求める画像相関力算出ステップ、
    前記第２格子点とこの第２格子点に隣接している隣接格子点との間の格子点間距離に応じた弾性力を求める弾性力算出ステップ、および、
    摩擦力を求める摩擦力算出ステップ、
    を有する作用力算出ステップと、
    前記画像相関力、前記弾性力、および、前記摩擦力を用いて前記第２格子点の位置および速度を数値的に求める数値解析ステップと、
    前記数値解析ステップによって求められた前記第２格子点の位置に基づいて、前記第２格子点の各々について前記第２格子点と前記隣接格子点との間の格子点間の距離を求める格子点間距離算出ステップと、
    前記格子点間距離が所定の条件を満たす格子点間に第２格子点を追加する格子点追加制御ステップと、
    前記第２格子点が所定の平衡状態に達するまで、前記数値解析部によって求められた前記第２格子点の位置および速度と、前記格子点追加制御部によって追加された第２格子点の位置および速度とを前記作用力算出ステップにおいて出力する数値解析制御ステップと、
    を有することを特徴とする画像マッチング方法。
  34. 前記作用力算出ステップは、前記格子点追加制御ステップによって追加された第２格子点に関しても、前記画像相関力、前記弾性力および前記摩擦力を求めることを特徴とする請求項３３に記載の画像マッチング方法。
  35. 第１画像と第２画像との間の対応関係を求める画像マッチング方法において、
    複数の第１格子点を有する第１格子を第１画像上に設定する第１格子設定ステップと、
    前記各第１格子点に対応する第２格子点を有する第２格子を第２画像上に設定する第２格子設定ステップと、
    前記第２格子点に作用するポテンシャル力を求めるために、
    前記第１格子点の位置と前記第２格子点との位置と前記第１格子点の画素情報と前記第２格子点の画素情報とに基づく画像相関ポテンシャルエネルギーの勾配に応じた画像相関力を求める画像相関力算出ステップ、
    前記第２格子点とこの第２格子点に隣接している隣接格子点との間の格子点間距離と、可変な弾性係数とに応じた弾性力を求める弾性力算出ステップ、および、
    摩擦力を求める摩擦力算出ステップ、
    を含む作用力算出ステップと、
    前記画像相関力、前記弾性力、および、前記摩擦力を用いて前記第２格子点の位置および速度を数値的に求める数値解析ステップと、
    前記数値解析ステップによって求められた前記第２格子点の位置に基づいて、前記第２格子点の各々について前記格子点間距離を求める格子点間距離算出ステップと、
    前記格子点間距離算出ステップで算出された前記格子点間距離に応じて、前記作用力算出ステップで弾性力を算出する際に用いられる前記弾性係数の値を段階的に変更する弾性係数制御ステップと、
    前記第２格子点が所定の平衡状態に達するまで、前記数値解析ステップによって求められた前記第２格子点の位置および速度を出力する数値解析制御ステップと、
    を有する画像マッチング方法。
JP2005336291A 2005-02-16 2005-11-21 画像マッチング方法およびこれを用いた画像補間方法 Abandoned JP2006260527A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005336291A JP2006260527A (ja) 2005-02-16 2005-11-21 画像マッチング方法およびこれを用いた画像補間方法
US11/355,144 US7440619B2 (en) 2005-02-16 2006-02-16 Image matching method and image interpolation method using the same
US12/222,765 US20090067728A1 (en) 2005-02-16 2008-08-15 Image matching method and image interpolation method using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005039623 2005-02-16
JP2005336291A JP2006260527A (ja) 2005-02-16 2005-11-21 画像マッチング方法およびこれを用いた画像補間方法

Publications (1)

Publication Number Publication Date
JP2006260527A true JP2006260527A (ja) 2006-09-28

Family

ID=36931985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005336291A Abandoned JP2006260527A (ja) 2005-02-16 2005-11-21 画像マッチング方法およびこれを用いた画像補間方法

Country Status (2)

Country Link
US (2) US7440619B2 (ja)
JP (1) JP2006260527A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204124B2 (en) 2007-08-27 2012-06-19 Sony Corporation Image processing apparatus, method thereof, and program
JP2016011874A (ja) * 2014-06-27 2016-01-21 キヤノン株式会社 画像処理装置およびその方法
US10937168B2 (en) 2015-11-02 2021-03-02 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
JP2021182267A (ja) * 2020-05-19 2021-11-25 日本製鉄株式会社 トラッキング装置
US11854173B2 (en) 2015-11-02 2023-12-26 Cognex Corporation System and method for finding lines in an image with a vision system

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3719213B2 (ja) * 2002-01-16 2005-11-24 ノーリツ鋼機株式会社 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
US7668366B2 (en) * 2005-08-09 2010-02-23 Seiko Epson Corporation Mosaic image data processing
JP4398919B2 (ja) * 2005-08-22 2010-01-13 株式会社東芝 画像マッチング装置、画像マッチング方法および画像マッチングプログラム
US8068697B2 (en) * 2006-10-19 2011-11-29 Broadcom Corporation Real time video stabilizer
EP2087468A2 (en) * 2006-12-01 2009-08-12 Thomson Licensing Estimating a location of an object in an image
KR20080073933A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
ES2452366T3 (es) * 2007-02-14 2014-04-01 Photint Venture Group Inc. Método y sistema para unir imágenes
JP4709794B2 (ja) * 2007-03-15 2011-06-22 株式会社東芝 動き推定装置及びその方法
KR101379255B1 (ko) * 2007-04-06 2014-03-28 삼성전자주식회사 미분 방정식을 이용한 인트라 예측 부호화, 복호화 방법 및장치
US20080310514A1 (en) * 2007-06-14 2008-12-18 Texas Instruments Incorporated Adaptive Density Search of Motion Estimation for Realtime Video Compression
JP4876080B2 (ja) * 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置
JP4956452B2 (ja) * 2008-01-25 2012-06-20 富士重工業株式会社 車両用環境認識装置
KR100996542B1 (ko) * 2008-03-31 2010-11-24 성균관대학교산학협력단 실시간 모션 검출 영상 처리 장치 및 그 방법
DE102008043965B4 (de) * 2008-11-21 2022-03-31 Robert Bosch Gmbh Verfahren zur echtzeitfähigen Simulation eines Luftsystemmodells eines Verbrennungsmotors
WO2010091937A1 (en) * 2009-02-12 2010-08-19 Zoran (France) Temporal video interpolation method with 2-frame occlusion handling
JP4991890B2 (ja) * 2010-03-01 2012-08-01 株式会社東芝 補間フレーム生成装置及び方法
GB201007351D0 (en) * 2010-04-30 2010-06-16 Imagination Tech Ltd Varying temporal interpolation in a motion compensated frame interpolation system
JP5470607B2 (ja) * 2010-09-29 2014-04-16 株式会社日立製作所 計算機システム、及び画像／図表を位置合わせする方法
JP2012100129A (ja) * 2010-11-04 2012-05-24 Jvc Kenwood Corp 画像処理方法及び画像処理装置
US9094561B1 (en) * 2010-12-16 2015-07-28 Pixelworks, Inc. Frame interpolation and motion vector reconstruction
US9602763B1 (en) * 2010-12-16 2017-03-21 Pixelworks, Inc. Frame interpolation using pixel adaptive blending
JP2013048717A (ja) * 2011-08-31 2013-03-14 Sony Corp 画像処理装置及び方法、記録媒体、並びにプログラム
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US9922267B1 (en) * 2016-09-01 2018-03-20 Adobe Systems Incorporated Locating features in warped images
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
CN107507226B (zh) * 2017-09-26 2021-04-06 中国科学院长春光学精密机械与物理研究所 一种图像匹配的方法及装置
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
CN113055689B (zh) * 2019-06-24 2022-11-01 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
TWI724705B (zh) * 2019-12-20 2021-04-11 財團法人工業技術研究院 工作件之設計圖像的補償方法及處理系統
US20220301184A1 (en) * 2021-03-16 2022-09-22 Samsung Electronics Co., Ltd. Accurate optical flow interpolation optimizing bi-directional consistency and temporal smoothness
CN113850209B (zh) * 2021-09-29 2024-05-28 广州文远知行科技有限公司 一种动态物体检测方法、装置、交通工具及存储介质
CN114565087B (zh) * 2022-04-28 2022-07-22 苏州浪潮智能科技有限公司 一种人物意图推理方法、装置、设备及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5400647A (en) * 1992-11-12 1995-03-28 Digital Instruments, Inc. Methods of operating atomic force microscopes to measure friction
US5483064A (en) * 1994-01-21 1996-01-09 Wyko Corporation Positioning mechanism and method for providing coaxial alignment of a probe and a scanning means in scanning tunneling and scanning force microscopy
US5534487A (en) * 1995-05-16 1996-07-09 Rohm And Haas Company Stabilization of 3-isothiazolone solutions
US5783829A (en) * 1995-11-06 1998-07-21 The University Of Virginia Energy and position sensitive radiation detectors
US5901245A (en) * 1997-01-23 1999-05-04 Eastman Kodak Company Method and system for detection and characterization of open space in digital images
JP2927350B2 (ja) 1997-03-27 1999-07-28 株式会社モノリス 多重解像度フィルタ処理方法およびその方法を利用することのできる画像マッチング方法
DE19900114B4 (de) * 1999-01-05 2005-07-28 Witec Wissenschaftliche Instrumente Und Technologie Gmbh Verfahren und Vorrichtung zur gleichzeitigen Bestimmung zumindest zweier Materialeigenschaften einer Probenoberfläche, umfassend die Adhäsion, die Reibung, die Oberflächentopographie sowie die Elastizität und Steifigkeit
JP3840129B2 (ja) 2002-03-15 2006-11-01 株式会社東芝 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム
JP4198550B2 (ja) 2002-09-10 2008-12-17 株式会社東芝 フレーム補間方法およびこのフレーム補間方法を用いた装置
JP3898606B2 (ja) 2002-09-12 2007-03-28 株式会社東芝 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
JP4053490B2 (ja) 2003-03-25 2008-02-27 株式会社東芝 フレーム補間のための補間画像作成方法及びこれを用いた画像表示システム、補間画像作成装置
JP4220284B2 (ja) 2003-03-28 2009-02-04 株式会社東芝 フレーム補間方法、装置及びこれを用いた画像表示システム
JP4080951B2 (ja) 2003-05-30 2008-04-23 株式会社東芝 フレーム補間方法及び装置並びに画像表示システム
JP4198608B2 (ja) 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
US7124041B1 (en) * 2004-09-27 2006-10-17 Siemens Energy & Automotive, Inc. Systems, methods, and devices for detecting circuit faults
JP4271115B2 (ja) 2004-09-29 2009-06-03 株式会社東芝 画像マッチング装置、画像マッチング方法および画像マッチングプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204124B2 (en) 2007-08-27 2012-06-19 Sony Corporation Image processing apparatus, method thereof, and program
JP2016011874A (ja) * 2014-06-27 2016-01-21 キヤノン株式会社 画像処理装置およびその方法
US10937168B2 (en) 2015-11-02 2021-03-02 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
US11699283B2 (en) 2015-11-02 2023-07-11 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
US11854173B2 (en) 2015-11-02 2023-12-26 Cognex Corporation System and method for finding lines in an image with a vision system
JP2021182267A (ja) * 2020-05-19 2021-11-25 日本製鉄株式会社 トラッキング装置

Also Published As

Publication number Publication date
US7440619B2 (en) 2008-10-21
US20090067728A1 (en) 2009-03-12
US20060193535A1 (en) 2006-08-31

Similar Documents

Publication Publication Date Title
JP2006260527A (ja) 画像マッチング方法およびこれを用いた画像補間方法
Dockstader et al. Multiple camera tracking of interacting and occluded human motion
US8363902B2 (en) Moving object detection method and moving object detection apparatus
KR20180026400A (ko) 3-차원 공간 모델링
EP3326156B1 (en) Consistent tessellation via topology-aware surface tracking
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
CN109211277A (zh) 视觉惯性里程计的状态确定方法、装置和电子设备
CN109063549B (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
Hu et al. Capturing small, fast-moving objects: Frame interpolation via recurrent motion enhancement
CN113989928B (zh) 一种动作捕捉和重定向方法
KR20160123871A (ko) 영상 광류를 추정하는 방법 및 이를 위한 장치
JP4643741B2 (ja) 画像処理方法及び画像処理装置
KR101602593B1 (ko) 3d 모델 모핑을 위한 방법 및 장치
CN111868786B (zh) 跨设备监控计算机视觉系统
Gomes et al. Spatio-temporal graph-RNN for point cloud prediction
JP2010511241A5 (ja)
CN111598927A (zh) 一种定位重建方法和装置
US9031357B2 (en) Recovering dis-occluded areas using temporal information integration
JP4879257B2 (ja) 移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラム
KR102181832B1 (ko) 4d 영상 복원 장치 및 방법
CN117745924B (zh) 基于深度无偏估计的神经渲染方法、系统及设备
WO2022186256A1 (ja) マップ情報更新方法
WO2022102236A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2006227827A (ja) 画像マッチング方法および装置
JP4271117B2 (ja) 補間フレーム作成装置、補間フレーム作成方法および補間フレーム作成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070205

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20090330