JP2007188329A - Image matching device, image matching method, and image matching program - Google Patents
Image matching device, image matching method, and image matching program Download PDFInfo
- Publication number
- JP2007188329A JP2007188329A JP2006006442A JP2006006442A JP2007188329A JP 2007188329 A JP2007188329 A JP 2007188329A JP 2006006442 A JP2006006442 A JP 2006006442A JP 2006006442 A JP2006006442 A JP 2006006442A JP 2007188329 A JP2007188329 A JP 2007188329A
- Authority
- JP
- Japan
- Prior art keywords
- image
- friction coefficient
- equation
- energy
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、対象画像と参照画像の2つの画像からそれぞれの対応点を検出して対応付ける画像マッチング装置、画像マッチング方法および画像マッチングプログラムに関する。 The present invention relates to an image matching apparatus, an image matching method, and an image matching program that detect and associate corresponding points from two images of a target image and a reference image.
一つの対象画像から他方の参照画像の各画素それぞれの対応点を検出して対応関係を求める画像マッチング技術は、例えば、動画像における動き検出、ステレオマッチング、画像モーフィング、画像認識、動画像符号化等の画像処理技術の分野において利用されている。 Image matching technology that detects the corresponding point of each pixel of the other reference image from one target image and obtains the corresponding relationship includes, for example, motion detection in moving images, stereo matching, image morphing, image recognition, and moving image coding Are used in the field of image processing technology.
このような画像マッチング技術としては、オプティカルフロー手法、ブロックベース手法、勾配法、ベイジアンメソッドという主として4種類に分類することができる(例えば、非特許文献1参照)。 Such image matching techniques can be classified into four main types: an optical flow method, a block-based method, a gradient method, and a Bayesian method (see, for example, Non-Patent Document 1).
オプティカルフロー手法は、「輝度の変化は一定である」というオプティカルフロー式を導出しそのオプティカルフロー式を拘束条件としてフローを求めるものである。ブロックベース手法は、画像を所定のブロックに分割し、ブロック毎のテンプレートマッチングによって動きを求める手法である。勾配法は、画像の輝度勾配が減少する方向にマッチングをおこなう手法である。ベイジアンメソッドは、確率的に尤もらしいマッチングを求める手法である。 The optical flow method derives an optical flow equation that “a change in luminance is constant” and obtains a flow using the optical flow equation as a constraint. The block-based method is a method in which an image is divided into predetermined blocks and a motion is obtained by template matching for each block. The gradient method is a method for performing matching in a direction in which the luminance gradient of an image decreases. The Bayesian method is a technique for obtaining matching that is probabilistically plausible.
また、従来の画像マッチング技術として、複数の多重解像度フィルタを用い、複数の多重解像度画像ピラミッドを生成し、生成された画像ピラミッドを上位の階層から下位の階層に順にマッチング処理を行うことによって、大きな動きから小さな動きまで画像の対応付けを行えるロバスト性の高い画像マッチング技術がある(例えば、特許文献1参照)。 In addition, as a conventional image matching technique, a plurality of multi-resolution image pyramids are generated using a plurality of multi-resolution filters, and the generated image pyramids are sequentially matched from the upper layer to the lower layer, thereby performing a large process. There is an image matching technique with high robustness capable of associating images from movement to small movement (see, for example, Patent Document 1).
しかしながら、このような従来の画像マッチング技術には次のような問題がある。オプティカルフロー手法では、ノイズに敏感で速い動きに対応することが本質的に困難であるという問題があり、ブロックベースの手法では、画像の中のブロック毎に画像マッチングを行っているので、画像中のオブジェクトの平行移動などの動きには高い信頼性を有するが、画像中のオブジェクトが変形したり、回転する等の動きに対して本質的に対応することが難しいという問題がある。勾配法では、画像の輝度勾配が減少する方向にマッチングを行うため、安定してオブジェクトの動きを探索することが困難であるという問題がある。ベイジアンメソッドでは、大域的最適点の求め方が困難であるという問題がある。 However, such a conventional image matching technique has the following problems. The optical flow method has a problem that it is sensitive to noise and it is inherently difficult to cope with fast movement. In the block-based method, image matching is performed for each block in the image. However, there is a problem that it is difficult to essentially cope with the movement of the object in the image such as deformation or rotation. In the gradient method, since matching is performed in a direction in which the luminance gradient of the image decreases, there is a problem that it is difficult to stably search for the movement of the object. The Bayesian method has a problem that it is difficult to obtain a global optimum.
一方、特許文献1に開示された技術では、原理的に複数の多重解像度フィルタを用い、多重解像度画像ピラミッドの最上位階層から最下位階層までのマッチング処理を行っているが、基本的には局所的な最適化処理であり大域的に最適になるとは限らない。
On the other hand, in the technique disclosed in
本発明は、上記に鑑みてなされたものであって、大域的な最適点の探索と収束性を両立させて、より高精度な画像マッチングを行うことができる画像マッチング装置、画像マッチング方法および画像マッチングプログラムを提供することを目的とする。 The present invention has been made in view of the above, and is an image matching apparatus, an image matching method, and an image that can perform more accurate image matching while achieving both search for a global optimum point and convergence. The purpose is to provide a matching program.
上述した課題を解決し、目的を達成するために、本発明は、対象画像と参照画像との間の対応関係を求める画像マッチング装置であって、前記対象画像上の複数の第1の格子点の各々と前記参照画像上で当該第1の格子点に一対一に対応する複数の第2の格子点の各々との間で画像の相関関係に基づくポテンシャルエネルギーを計算するとともに、前記各第2の格子点の位置と当該第2の格子点に対応する前記各第1の格子点の位置とに基づいて前記ポテンシャルエネルギーの勾配により前記第2の格子点が受ける画像エネルギー力を計算する画像エネルギー力計算部と、前記各第2の格子点と当該第2の格子点に隣接する他の第2の格子点との間の弾性エネルギーから受ける弾性エネルギー力を計算する弾性エネルギー力計算部と、前記各第2の格子点に作用する摩擦力についての摩擦係数を可変制御して計算する摩擦係数制御部と、前記各第2の格子点に作用する摩擦力を、前記摩擦係数を利用して計算する摩擦力計算部と、前記画像エネルギー力と前記弾性エネルギー力と前記摩擦力とによる前記各第2の格子点に関する運動方程式の解法処理を行う解法処理部と、前記解法処理部による解法処理の結果から前記対象画像と前記参照画像との対応関係を求めるマッピング処理部と、を備えたことを特徴とする。 In order to solve the above-described problems and achieve the object, the present invention is an image matching device for obtaining a correspondence relationship between a target image and a reference image, and a plurality of first lattice points on the target image. And a potential energy based on the correlation of the image between each of the second grid points corresponding to the first grid point on the reference image on a one-to-one basis, The image energy for calculating the image energy force received by the second lattice point by the gradient of the potential energy based on the position of the lattice point and the position of the first lattice point corresponding to the second lattice point A force calculator, an elastic energy force calculator that calculates an elastic energy force received from elastic energy between each second lattice point and another second lattice point adjacent to the second lattice point; Each A friction coefficient control unit that variably controls a friction coefficient acting on a frictional force acting on two grid points, and a friction that computes a frictional force acting on each second lattice point using the friction coefficient From the result of the solution processing unit by the force calculation unit, the solution processing unit that solves the equation of motion related to each second lattice point by the image energy force, the elastic energy force, and the friction force, and the solution processing by the solution processing unit A mapping processing unit for obtaining a correspondence relationship between the target image and the reference image.
また、本発明は、上記画像マッチング装置で実行することができる画像マッチング方法および画像マッチングプログラムである。 The present invention also provides an image matching method and an image matching program that can be executed by the image matching apparatus.
本発明によれば、摩擦係数を可変制御して計算して、参照画像上における各第2の格子点に作用する摩擦力を計算することで、大域的な最適点の探索と収束性を両立させて、よりより高精度な画像マッチングを行うことができるという効果を奏する。 According to the present invention, both the search for the global optimum point and the convergence are achieved by calculating the friction coefficient that is variably controlled and calculating the friction force acting on each second grid point on the reference image. Thus, there is an effect that more accurate image matching can be performed.
以下に添付図面を参照して、この発明にかかる画像マッチング装置、画像マッチング方法および画像マッチングプログラムの最良な実施の形態を詳細に説明する。 Exemplary embodiments of an image matching apparatus, an image matching method, and an image matching program according to the present invention are explained in detail below with reference to the accompanying drawings.
なお、以下の実施の形態にかかる画像マッチング装置は、動画像の動き補償を行って補償画像を生成する動き補償装置に適用する他、ステレオマッチング、画像モーフィング、画像認識、動画像符号化等の画像処理技術に適用することもできる。 Note that the image matching device according to the following embodiment is applied to a motion compensation device that generates a compensated image by performing motion compensation of a moving image, as well as stereo matching, image morphing, image recognition, moving image coding, and the like. It can also be applied to image processing technology.
(実施の形態1)
図1は、実施の形態1にかかる画像マッチング装置の構成を示すブロック図である。本実施の形態にかかる画像マッチング装置100は、図1に示すように、解法処理部101と、画像エネルギー力計算部103と、弾性エネルギー力計算部104と、摩擦力計算部105と、摩擦係数制御部102と、マッピング処理部107と、フレームメモリ106とを主に備えている。
(Embodiment 1)
FIG. 1 is a block diagram illustrating a configuration of the image matching apparatus according to the first embodiment. As shown in FIG. 1, the
実施の形態1にかかる画像マッチング装置100では、対象画像および参照画像のそれぞれを所定の格子状に分割した各格子点を力学上の質点として扱い、対象画像の第1の格子点と第1の格子点に1対1に対応する参照画像の第2の格子点が画像の相関関係に基づいたポテンシャルエネルギーを考え、第1の格子点と第2の格子点の位置に基づいたポテンシャルエネルギーの勾配によって第2の格子点が受ける画像エネルギー力と、第2の格子点に隣接する格子点との間の弾性エネルギーから受ける弾性エネルギー力と、第2の格子点に生じる摩擦力とによる第2の格子点に関する運動方程式を画像マッチング状態遷移モデルとして、この運動方程式に対して解法処理を行い、第2の格子点の平衡状態を求めることにより第1の格子点と第2の格子点との写像関係を求めて画像マッチングを行っている。
In the
そして、実施の形態1にかかる画像マッチング装置100では、摩擦力を計算する際に、摩擦力の摩擦係数を可変制御することによって、大域的にも最適化処理を行うことを可能としている。
In the
解法処理部101は、対象画像上の複数の第1の格子点の各々と参照画像上で第1の格子点に一対一に対応する複数の第2の格子点の各々との間で画像の相関関係に基づくポテンシャルエネルギーの勾配により第2の格子点が受ける画像エネルギー力と、第2の格子点に隣接する格子点との間の弾性エネルギーから受ける弾性エネルギー力と、第2の格子点に生じる摩擦力とによる第2の格子点に関する運動方程式を、離散変数法としてのオイラー法による数値解析処理によって解法する処理部である。
The
マッピング処理部107は、解法処理部101による解法処理の結果から第2の格子点の平衡状態を求めることにより対象画像上の第1の格子点と参照画像上の第2の格子点との対応関係である写像関係を求める処理部である。
The
画像エネルギー力計算部103は、第1の格子点と第2の格子点の位置に基づいた上記ポテンシャルエネルギーの勾配によって第2の格子点が受ける画像エネルギー力を計算する処理部である。
The image energy
弾性エネルギー力算出部104は、第2の格子点に隣接する格子点との間の弾性エネルギーから受ける弾性エネルギー力を計算する処理部である。
The elastic energy
摩擦係数制御部102は、各第2の格子点に作用する摩擦力の計算に使用する摩擦係数を可変制御する処理部である。具体的には、摩擦係数制御部102は、運動方程式における時間の経過に従って、当該時間の線形関数に従って増加するように摩擦係数を計算することで摩擦係数を可変制御する。
The friction
摩擦力算出部105は、第2の格子点に生じる摩擦力を摩擦係数を用いて計算する処理部である。
The frictional
フレームメモリ106は、入力された対象画像と参照画像と保存するメモリである。なお、各部の詳細な処理については後述する。
The
次に、本実施の形態にかかる画像マッチング装置100で導入する画像マッチング状態遷移モデルについて説明する。
Next, an image matching state transition model introduced by the
2次元ユークリッド空間上の点x∈E2における対象画像、参照画像の画素値をそれぞれ(1)式で示す。 The pixel values of the target image and the reference image at the point x∈E 2 on the two-dimensional Euclidean space are shown by the formula (1).
このような写像に関する条件を導出すると以下のようになる。パラメータ(u,v)を用いて、曲面X上の点をx(u,v)∈X、曲面Y上の点をy(u,v)∈Yと表し、パラメータ(u,v)と点xが同じスケールを有する場合、曲面X上の点x(u,v)は、パラメータ(u,v)によって、(4)式で表すことができる。 Deriving such a mapping condition is as follows. Using the parameter (u, v), the point on the curved surface X is represented as x (u, v) εX, the point on the curved surface Y is represented as y (u, v) εY, and the parameter (u, v) and the point are represented. When x has the same scale, the point x (u, v) on the curved surface X can be expressed by the equation (4) by the parameter (u, v).
次に、上記画像マッチング問題の解法処理について説明する。(8)式は、(9)式のように変形することができる。 Next, a solution process for the image matching problem will be described. Expression (8) can be modified like Expression (9).
写像gは全単射であるので、写像gについて考えることは、曲面Yそのものを考えることと同義である。力学的構造としては、例えば、剛体のような構造が考えられるが、画像の場合には変形等が考えられるため、剛体の構造は適切でない。そこで、本実施の形態では、曲面Yに対して、画像の変形等に対して柔軟に対応可能な弾性体の構造を導入する。 Since the mapping g is bijective, thinking about the mapping g is synonymous with considering the curved surface Y itself. As the mechanical structure, for example, a structure like a rigid body is conceivable, but in the case of an image, deformation or the like is conceivable, so that the structure of the rigid body is not appropriate. Therefore, in the present embodiment, an elastic body structure that can flexibly cope with image deformation or the like is introduced into the curved surface Y.
弾性体のエネルギーは、(11)式で示される。 The energy of the elastic body is expressed by equation (11).
また(14)式より最適性の必要条件は、(15)式で求めることができる。 Further, the necessary condition for optimality can be obtained from the equation (15) from the equation (14).
このため、大域的な最適点を求めて(14)式を解法するため、本実施の形態では、対象画像および参照画像上の曲面を格子状に分割して分割した各格子点を質点と考え、参照画像上の曲面Yの格子点(質点)における運動エネルギーを導入し、大域的な最適化を行っている。すなわち、曲面Yに対して時間軸を導入し、曲面Yが時間に応じて変形できるような構造とし、曲面に対して運動の構造を適用する。図5は、ポテンシャルエネルギーの最小化の点を探索する場合の大域的な最適点の説明をするための模式図である。図5に示すように、運動エネルギーの導入により、最初のポテンシャルエネルギーが運動エネルギーに変換されるため、格子点(質点)が局所最適点からさらに広い範囲で(15)式を満たす大域的な最適点を探索することができる。これにより、静的な最適化よりもより広い範囲を探索できるので、初期値への依存性が低くなり、ノイズ等の影響に対してよりロバストになる可能性がある。 Therefore, in order to find a global optimum point and solve the equation (14), in this embodiment, each lattice point obtained by dividing the target image and the curved surface on the reference image into a lattice shape is considered as a mass point. The kinetic energy at the lattice point (mass point) of the curved surface Y on the reference image is introduced to perform global optimization. In other words, a time axis is introduced to the curved surface Y so that the curved surface Y can be deformed according to time, and a structure of motion is applied to the curved surface. FIG. 5 is a schematic diagram for explaining a global optimum point when searching for a potential energy minimizing point. As shown in FIG. 5, since the initial potential energy is converted into kinetic energy by the introduction of kinetic energy, the global optimality satisfying Eq. (15) in a wider range from the local optimal point to the lattice point (mass point). You can search for points. As a result, a wider range can be searched than in the static optimization, so that the dependency on the initial value is lowered, and there is a possibility that it is more robust against the influence of noise and the like.
次に、(15)式の大域的最適化のための運動方程式の導入について説明する。まず、運動方程式に導入する時間τを用いて曲面Y上の点yを(16)式のように拡張する。(16)式で表した曲面Y上の点yの全微分は(17)式となるが、パラメータ(u,v)Tは時間τに対して独立であると仮定すると、(18)式が成立するので、結局(17)式は(19)式で表現される。また、(19)式から曲面Y上の点yの2階微分は(20)式で表される。(19)式で示される曲面Y上の点yの全微分と(20)式で示される2階微分をそれぞれ(21)式で表現する。 Next, introduction of an equation of motion for global optimization of equation (15) will be described. First, the point y on the curved surface Y is expanded as shown in Equation (16) using the time τ introduced into the equation of motion. The total differentiation of the point y on the curved surface Y expressed by the equation (16) is the equation (17), but assuming that the parameter (u, v) T is independent of the time τ, the equation (18) is Since this holds, equation (17) is eventually expressed by equation (19). Further, the second derivative of the point y on the curved surface Y from the equation (19) is expressed by the equation (20). The total differentiation of the point y on the curved surface Y shown by the equation (19) and the second order differentiation shown by the equation (20) are expressed by the equation (21), respectively.
次に、ラグランジュの方法に従って次のように曲面Y上の点yの運動方程式を導出する。曲面Yは、エネルギー最小化の(14)式に従うので、ポテンシャルエネルギーUを最小にする方向に動く必要がある。ラグランジアンは(23)式で定義される。 Next, the equation of motion of the point y on the curved surface Y is derived as follows according to the Lagrange method. Since the curved surface Y follows the equation (14) for energy minimization, the curved surface Y needs to move in a direction that minimizes the potential energy U. Lagrangian is defined by equation (23).
(23)式は、位置のポテンシャルエネルギーである重力場における物体の自由落下などと同様に、物体は重力場を最小化するように落下することを意味している。ラグランジュ方程式は(24)式で示されるので、(23)および(24)式から、曲面Y上の点yの運動方程式は、(25)式で表される。 Equation (23) means that the object falls so as to minimize the gravitational field, similar to the free fall of the object in the gravitational field that is the potential energy of the position. Since the Lagrangian equation is expressed by the equation (24), the equation of motion of the point y on the curved surface Y is expressed by the equation (25) from the equations (23) and (24).
まず、探索が完了した場合を考える。この場合、点yは完全に停止するので、点yの速度(yの全微分)および加速度(yの2階微分)はともに0となるので、(28)式の運動方程式により(29)式となり、これにより(30)式が成立する。 First, consider the case where the search is completed. In this case, since the point y stops completely, both the velocity (total derivative of y) and acceleration (second derivative of y) of the point y are both 0, so that the equation (29) is obtained from the equation of motion (28). Thus, equation (30) is established.
次に、曲面Y上の点yが静止した場合を考える。この場合、点yの速度(yの全微分)は0となるが加速度(yの2階微分)は0にならないので、(28)式の運動方程式により(31)式が得られる。 Next, consider a case where the point y on the curved surface Y is stationary. In this case, the velocity at the point y (the total derivative of y) is 0, but the acceleration (the second derivative of y) is not 0, so that equation (31) is obtained from the equation of motion of equation (28).
次に、点yに摩擦エネルギーが作用している場合を考える。摩擦エネルギーの性質から(32)式が導かれ、これは点yの運動が停止して時間の経過により最適点の探索が完了することを意味している。 Next, consider the case where frictional energy is acting on the point y. Equation (32) is derived from the nature of the frictional energy, which means that the movement of the point y stops and the search for the optimum point is completed over time.
一方、(15)式は1階微分の形式であるが、2階微分の最適性必要条件については、図4または5に示すポテンシャルエネルギーの山の頂点で探索が完了する場合があるため、満足されない場合がある。この場合には、ポテンシャルエネルギーの山の頂点では、最適点の探索が完了しないための条件として(33)式を仮定することにより、2階の最適性必要条件を満足することができる。この(33)式の仮定は、具体的には(34)式の条件を探索アルゴリズムで実現することにより達成することができる。 On the other hand, equation (15) is in the form of first derivative, but the optimality requirement for second derivative is satisfied because the search may be completed at the peak of the potential energy peak shown in FIG. May not be. In this case, the optimality requirement for the second floor can be satisfied by assuming the equation (33) as a condition for the search for the optimum point not to be completed at the apex of the peak of potential energy. Specifically, the assumption of equation (33) can be achieved by realizing the condition of equation (34) with a search algorithm.
以上により、(28)式の運動方程式に従った最適点の探索は(14)式で示される最適化問題に対する最適解を与えることがわかる。このような探索は、静的な探索に比べてロバストなものとなる。 From the above, it can be seen that the search for the optimum point according to the equation of motion of Equation (28) gives the optimum solution for the optimization problem shown by Equation (14). Such a search is more robust than a static search.
ここで、(28)式に示す運動方程式において、弾性エネルギーEkの中に点yおよびパラメータ(u,v)に関する偏微分が含まれているため、有限差分法によって偏微分方程式を差分方程式によって置換する。弾性エネルギーEkの右辺を有限差分法によって離散化すると、(35)式のようになる。 Here, in the equation of motion shown in the equation (28), since the partial differential with respect to the point y and the parameters (u, v) is included in the elastic energy E k , the partial differential equation is converted into the differential equation by the finite difference method. Replace. When the right side of the elastic energy E k is discretized by the finite difference method, the equation (35) is obtained.
この(35)式をynで偏微分すると(36)式が得られ、かかる式は、弾性エネルギーによって発生する力である弾性エネルギー力を示している。 The equation (35) when partially differentiated by y n (36) below is obtained and such expression shows elastic energy force is the force generated by the elastic energy.
yn(τ)にもっとも近いサンプリング点を局所空間中心ycとして、ycを(41)式で求める。 The sampling point closest to y n (τ) is set as the local space center y c , and y c is obtained by equation (41).
次に、この解法処理部101による運動方程式の解法について説明する。(48)、(49)式で示される運動方程式、すなわち常微分方程式は、一般的に解析的に解法することができないため、この運動方程式の系が収束するのに十分大きな時間Tを考え、数値解析によってt=(0,T)区間を計算することによって運動方程式の収束状態を推定する。
Next, a method of solving the equation of motion by the
本実施の形態では、常微分方程式は初期値が定まれば離散変数法によって一意に解が求まることを利用して、オイラー法による数値解析処理を行っている。 In the present embodiment, numerical analysis processing by the Euler method is performed using the fact that the ordinary differential equation is uniquely determined by the discrete variable method when the initial value is determined.
尚、本実施の形態ではオイラー法による数値解析処理を行っているが、これに限定されるものではない。離散変数法には、オイラー法以外にも、ルンゲクッタ法、ブリルシュ・ストア法、予測子・修正子法、隠的ルンゲクッタ法など種々の手法があり、このため、数値解析処理として、これらのいずれの手法を用いてもよい。以下はオイラー法を用いた数値解析処理を例にあげて説明する。 In the present embodiment, numerical analysis processing by the Euler method is performed, but the present invention is not limited to this. In addition to the Euler method, the discrete variable method includes various methods such as the Runge-Kutta method, the Brillesh-Store method, the predictor / corrector method, and the hidden Runge-Kutta method. A technique may be used. In the following, a numerical analysis process using the Euler method will be described as an example.
オイラー法は、一階の常微分方程式に対する数値解法であるため、(50)式の変数変換を(48)、(49)式を運動方程式に施すことにより、(48)、(49)式を一階の常微分方程式に変換する。これにより、(51)、(52)式が得られる。 Since the Euler method is a numerical solution to the first-order ordinary differential equation, the equations (48) and (49) are converted by applying the variable transformation of the equation (50) to the equations (48) and (49). Convert to first-order ordinary differential equations. Thereby, formulas (51) and (52) are obtained.
次に、摩擦係数制御部102の詳細について説明する。摩擦係数制御部105は、摩擦力計算部105によって(48)式の右辺第3項の摩擦力を計算する際に、摩擦係数μを可変制御して計算する。
Next, details of the friction
摩擦係数μは探索の仕方を決定づけるパラメータであり、例えばμ→∞のときに、運動エネルギーはすべて摩擦エネルギーとして吸収されてしまうため、最適点の探索は、動的な探索とはならず、図4で示したような静的な探索にとどまる。一方、μ=0のときには、図5に示すような動的な探索となり最適点の広範囲な探索を行うことができるが、エネルギー保存則により解が収束しないという問題がある。 The friction coefficient μ is a parameter that determines the search method. For example, when μ → ∞, all kinetic energy is absorbed as friction energy, so the search for the optimum point is not a dynamic search. The static search as shown in FIG. On the other hand, when μ = 0, a dynamic search as shown in FIG. 5 can be performed and a wide range search of the optimum point can be performed, but there is a problem that the solution does not converge due to the energy conservation law.
例えば、図8に示すような対象画像と参照画像のテスト画像を使用して摩擦係数μの値によるポテンシャルエネルギーの収束を実験により求めた。図8は、対象画像の例とこの対象画像から画面全体が左から右に8ピクセル移動した参照画像の例を示す説明図である。この図8に示す対象画像と参照画像を用いて、摩擦係数μを一定として上記で説明した(51)、(52)式の更新式を繰り返して解法することによって運動方程式(48)、(49)式の系の収束状態を求め、この収束状態から写像gを求めることを試みた。 For example, the convergence of the potential energy according to the value of the friction coefficient μ was obtained by experiments using the test image of the target image and the reference image as shown in FIG. FIG. 8 is an explanatory diagram illustrating an example of a target image and a reference image in which the entire screen is moved 8 pixels from left to right from the target image. By using the target image and the reference image shown in FIG. 8 and resolving the updating equations (51) and (52) described above with the friction coefficient μ constant, the equations of motion (48), (49 The convergence state of the system of equation (4) was obtained, and an attempt was made to obtain the mapping g from this convergence state.
図9−1は、摩擦係数μ=5における対象画像と参照画像の写像関係を示す説明図である。図9−2は、摩擦係数μ=0の場合における対象画像と参照画像の写像関係を示す説明図である。図9−1および9−2において灰色線が写像関係を示し、白線が方向を示している。 FIG. 9A is an explanatory diagram illustrating a mapping relationship between the target image and the reference image when the friction coefficient μ = 5. FIG. 9-2 is an explanatory diagram illustrating a mapping relationship between the target image and the reference image when the friction coefficient μ = 0. In FIGS. 9-1 and 9-2, the gray line indicates the mapping relationship, and the white line indicates the direction.
図8では、参照画像が対象画像から画面全体が左から右に8ピクセル移動したものであるため、図9−1、9−2の画像中に現れる写像関係の線が直線状である場合に、画面全体の写像が正確と判断する。 In FIG. 8, since the reference image is the entire image moved 8 pixels from the left to the right from the target image, the mapping-related lines appearing in the images of FIGS. 9-1 and 9-2 are linear. Judge that the mapping of the entire screen is accurate.
図9−1に示すように、摩擦係数μが大きい場合には、画面全体の写像が正しく得られないことがわかる。一方、図9−2に示すように、摩擦係数μが小さい場合には、画面全体の方向性はほぼ正しいが、写像関係が正確に表れていないことがわかる。 As shown in FIG. 9A, it can be seen that when the friction coefficient μ is large, the mapping of the entire screen cannot be obtained correctly. On the other hand, as shown in FIG. 9-2, when the friction coefficient μ is small, it can be seen that the directivity of the entire screen is almost correct, but the mapping relationship does not appear accurately.
これは次のように考えることができる。図10は、摩擦係数の相違による画像エネルギー力と時間との関係を示す説明図である。図11は、摩擦係数の相違による弾性エネルギー力と時間との関係を示す説明図である。図12は、摩擦係数の相違によるポテンシャルと時間との関係を示す説明図である。 This can be thought of as follows. FIG. 10 is an explanatory diagram showing the relationship between image energy force and time due to the difference in friction coefficient. FIG. 11 is an explanatory diagram showing the relationship between the elastic energy force and the time due to the difference in friction coefficient. FIG. 12 is an explanatory diagram showing the relationship between potential and time due to the difference in friction coefficient.
図12に示すポテンシャルエネルギーの時間変化を見ると、μ=0の場合はエネルギー保存則により、ポテンシャルエネルギーが収束していないことがわかる。一方、μ=5の場合は、ポテンシャルエネルギーの変化が非常に遅いことがわかる。図10に示す画像エネルギーの変化と図11に示す弾性エネルギーの変換を参酌すると、このようなポテンシャルエネルギーの変化の原因は、画像エネルギーは使用されず、弾性エネルギーのみで最適点の探索が行われていると推測される。 When the time change of the potential energy shown in FIG. 12 is seen, it can be seen that when μ = 0, the potential energy does not converge due to the energy conservation law. On the other hand, when μ = 5, it can be seen that the potential energy changes very slowly. Considering the change in the image energy shown in FIG. 10 and the conversion of the elastic energy shown in FIG. I guess that.
従って、最適点の探索自体は、摩擦係数が小さい方がよいが、このままでは収束しないので、本実施の形態の摩擦係数制御部102では、摩擦係数を可変制御し、運動方程式における時間が早い時期は摩擦係数を小さくし、後半の収束させる時期に摩擦係数を大きくするようにしている。これにより、ロバストに低エネルギーを求めることができる。
Therefore, the search for the optimum point itself should have a small friction coefficient. However, since it does not converge as it is, the friction
具体的には、摩擦係数制御部102は、(57)式に示すように、摩擦係数μ(τ)を、運動方程式における時間τの2段階の線形関数により、時間τが経過するに従って増加するように計算している。
Specifically, the friction
次に、以上のように構成された本実施の形態にかかる画像マッチング装置100による画像マッチング処理について説明する。図15は、画像マッチング装置100による画像マッチング処理の手順を示すフローチャートである。具体的には、先に示した(51)、(52)式を数値解析により解法することにより画像マッチング処理を実現している。
Next, image matching processing by the
まず、解法処理部101は、時間τ(0)=0に設定し(ステップS1501)、初期値Ψ1,n(0)=n、Ψ2,n(0)=0を設定する(ステップS1502)。これにより、(52)式が実行される。
First, the
次に、画像エネルギー力計算部103によって、すべてのnに対してmステップにおける画像相関ポテンシャル力Fi (m)(n)を計算する(ステップS1503)。かかる画像エネルギー力Fi (m)(n)の計算処理については後述する。
Next, the image energy
次いで、弾性エネルギー力計算部104によって、すべてのnに対してmステップにおける弾性エネルギー力Fk (m) (n)を(38)式により算出する(ステップS1504)。そして、摩擦力計算部105によって、すべてのnに対してmステップにおける摩擦力[−μ(τ(m))Ψ2,n (m)]を計算する(ステップS1505)。
Next, the elastic energy
次に、解法処理部101によって、(55)式の更新式を、ステップS1503〜S1505で求めた画像エネルギー力Fi (m) (n)、弾性エネルギー力Fk (m) (n)、摩擦力[−μ(τ(m))Ψ2,n (m)]で更新する(ステップS1506)。
Next, the
次に、解法処理部101によって、Ψ1,n (m)の値をフレームメモリ106に保存する(ステップS1507)。そして、解法処理部101によって、τ(m+1)=τ(m)+hと更新し(ステップS1508)、mを1だけ増加する(ステップS1509)。そして、τ(m+1)があらかじめ定められた時間Tを越えたか否かを判断し(ステップS1510)、越えていない場合には、上記ステップS1503からS1509を繰り返し実行する。一方、τ(m+1)がTを越えた場合には、解法処理部101によって、すべてのnに対して、ynにΨ1,n (T)を設定する(ステップS1511)。そして、マッピング処理部107により、対象画像と参照画像との対応関係、すなわち写像を求める(ステップS1512)。
Next, the
次に、ステップS1503における画像エネルギー力の計算処理について説明する。図16は、画像エネルギー力計算部103による画像エネルギー力の計算処理の手順を示すフローチャートである。
Next, the image energy force calculation process in step S1503 will be described. FIG. 16 is a flowchart showing a procedure of image energy force calculation processing by the image energy
まず、画像エネルギー力計算部103は、(41)式により、yn(τ)にもっとも近いサンプリング点を局所空間中心ycとして計算する(ステップS1601)。そして次に、画像エネルギー力計算部103は、(42)式で定義される隣接空間Lを設定し(ステップS1602)、局所探索集合Ωを(43)式によって計算する(ステップS1603)。
First, the image energy
次に、画像エネルギー力計算部103は、(46)式により局所最適化計算としてyminを計算し(ステップS1604)、正規化のために、ステップS1604で求めた局所最適化のyminを用いて(45)式によりd=ymin−Ψ1,n (m)を計算する(ステップS1605)。そして、画像エネルギー力計算部103は、ymin、d等を用いて、(44)式により、画像エネルギー力Fi (m)(n)を計算する(ステップS1606)。
Next, the image energy
次に、ステップS1505における摩擦力[−μ(τ(m))Ψ2,n (m)]の計算処理について説明する。図17は、摩擦力の計算処理の手順を示すフローチャートである。まず、現在の時間τ(m)における摩擦係数μ(τ(m))を(57)式に従って求めるため、摩擦係数制御部102は、現在の時間τ(m)が0以上T/2以下否かを判断する(ステップS1701)。
Next, the calculation process of the frictional force [−μ (τ (m) ) Ψ 2, n (m) ] in step S1505 will be described. FIG. 17 is a flowchart showing the procedure of the frictional force calculation process. First, whether to determine in accordance with the friction coefficient at the current time τ (m) μ a (τ (m)) (57 ) wherein the friction
そして、現在の時間τ(m)が0以上T/2以下である場合には(ステップS1701:Yes)、摩擦係数制御部102は、(57)式に従い摩擦係数μ(τ(m))を(2μ1/T)τ(m)により計算する(ステップS1702)。
When the current time τ (m) is 0 or more and T / 2 or less (step S1701: Yes), the friction
一方、現在の時間τ(m)がT/2を経過している場合には(ステップS1701:No)、摩擦係数制御部102は、(57)式に従い摩擦係数μ(τ(m))を[2(μmax−μ1)/T]τ(m)+2μ1−μmaxにより計算する(ステップS1703)。そして、摩擦力計算部105は、ステップS1702またはS1703で計算した摩擦係数を用いて摩擦力[−μ(τ(m))Ψ2,n (m)]を計算する(ステップS1704)。
On the other hand, when the current time τ (m) has passed T / 2 (step S1701: No), the friction
このようにして求めた画像エネルギー力Fi (m) (n)、弾性エネルギー力Fk (m) (n)、摩擦力[−μ(τ(m))Ψ2,n (m)]により、上述したように、ステップS1506で(55)式の更新式が更新されることになる。 From the image energy force F i (m) (n), elastic energy force F k (m) (n), and friction force [−μ (τ (m) ) Ψ 2, n (m) ] obtained in this way. As described above, the updating formula (55) is updated in step S1506.
図18は、(57)式により摩擦係数を可変に制御して場合における図8で示した対象画像と参照画像の写像関係を示す説明図である。図18に示すように、画面全体に渡って正確に写像が求まっている。この場合、図14と同様にポテンシャルエネルギーUが低い状態で収束することができる。 FIG. 18 is an explanatory diagram showing the mapping relationship between the target image and the reference image shown in FIG. 8 when the friction coefficient is variably controlled by equation (57). As shown in FIG. 18, the mapping is accurately obtained over the entire screen. In this case, it is possible to converge with a low potential energy U as in FIG.
このように実施の形態1にかかる画像マッチング装置100では、摩擦係数制御部102によって摩擦力計算の際の摩擦係数を、運動方程式における時間に応じて線形関数に従って増加するように可変制御しているので、大域的な最適点の探索と収束性を両立させて、より高精度な画像マッチングを行うことができる。
As described above, in the
なお、実施の形態1では、摩擦係数を、運動方程式における時間に応じて線形関数に従って増加するように可変制御しているが、これに限定されるものではなく、摩擦係数を、運動方程式における時間に応じて段階的に増加するように可変制御してもよい。例えば、摩擦係数μを(58)式に従って段階的に増加するように制御することができる。図19は、摩擦係数を運動方程式における時間に応じて(58)式に従い段階的に増加する場合における摩擦係数μの時間的変化を示す説明図である。 In the first embodiment, the friction coefficient is variably controlled so as to increase according to the linear function according to the time in the equation of motion. However, the present invention is not limited to this. It may be variably controlled so as to increase step by step. For example, the coefficient of friction μ can be controlled to increase stepwise according to the equation (58). FIG. 19 is an explanatory diagram showing temporal changes in the friction coefficient μ when the friction coefficient is increased stepwise according to the equation (58) according to the time in the equation of motion.
(実施の形態2)
実施の形態2にかかる画像マッチング装置100では、摩擦係数μの初期値として負値を設定可能で、摩擦係数をかかる初期値から運動方程式の時間に応じて増加するように可変制御するものである。
(Embodiment 2)
In the
実施の形態2にかかる画像マッチング装置100の構成は実施の形態1と同様である。また、画像マッチングの全体処理、画像エネルギー力計算処理は、弾性エネルギー力計算処理は、実施の形態1と同様である。実施の形態2では、摩擦力計算処理が実施の形態1と異なっている。
The configuration of the
通常、摩擦係数μは正値をとるが、実施の形態2にかかる摩擦係数制御部102では、摩擦係数μの初期値として負値をとり、かかる初期値から運動方程式の時間に応じて増加するように可変制御している。これにより最適点のさらなる広範囲な探索が可能となる。ただし、この場合には、摩擦係数が負値に固定されていると、加速して発散してしまうため、可変制御の条件が重要となる。具体的には、摩擦係数μを(60)式に従って、負値から時間τに応じて線形関数に従って増加させている。摩擦係数μが負値の場合には、加速エネルギーととらえることができる。
Normally, the friction coefficient μ takes a positive value, but the friction
図22は、実施の形態2における摩擦力計算処理の手順を示すフローチャートである。まず、現在の時間τ(m)における摩擦係数μ(τ(m))を(57)式に従って求めるため、摩擦係数制御部102は、現在の時間τ(m)が0以上T/2以下否かを判断する(ステップS2201)。
FIG. 22 is a flowchart showing the procedure of the frictional force calculation process in the second embodiment. First, whether to determine in accordance with the friction coefficient at the current time τ (m) μ a (τ (m)) (57 ) wherein the friction
そして、現在の時間τ(m)が0以上T/2以下である場合には(ステップS2201:Yes)、摩擦係数制御部102は、(60)式に従い摩擦係数μ(τ(m))を(2μ1/T)τ(m)+μ0により計算する(ステップS2202)。
If the current time τ (m) is 0 or more and T / 2 or less (step S2201: Yes), the friction
一方、現在の時間τ(m)がT/2を経過している場合には(ステップS2201:No)、摩擦係数制御部102は、(60)式に従い摩擦係数μ(τ(m))を[2(μmax−μ1)/T]τ(m)+2μ1−μmaxにより計算する(ステップS2203)。そして、摩擦力計算部105は、ステップS2202またはS2203で計算した摩擦係数を用いて摩擦力[−μ(τ(m))Ψ2,n (m)]を計算する(ステップS2204)。
On the other hand, when the current time τ (m) has passed T / 2 (step S2201: No), the friction
図23は、対象画像の例とこの対象画像から画面全体が左から右に12ピクセル移動した参照画像の例を示す説明図である。この図23に示す対象画像と参照画像を用いて、摩擦係数μに負値の初期値を用いない場合と負値を用いた場合に(51)、(52)式の更新式を繰り返して解法することによって運動方程式(48)、(49)式の系の収束状態を求め、この収束状態から写像gを求めることを試みた。 FIG. 23 is an explanatory diagram illustrating an example of a target image and a reference image in which the entire screen is moved from the target image by 12 pixels from left to right. 23. Using the target image and the reference image shown in FIG. 23, when the initial value of the negative value is not used for the friction coefficient μ and when the negative value is used, the updating formulas (51) and (52) are repeated to solve Thus, the convergence state of the system of equations of motion (48) and (49) was obtained, and an attempt was made to obtain the mapping g from this convergence state.
図24−1は、摩擦係数の初期値に負値でない値(0以上の値)を用いて時間に応じて増加させる制御を行った場合における対象画像と参照画像の写像関係を示す説明図である。図24−2は、摩擦係数の初期値に負値を用いて(60)式に従って時間に応じて増加させる制御を行った場合における対象画像と参照画像の写像関係を示す説明図である。図24−1および24−2においては、図9−1,9−2と同様に、灰色線が写像関係を示し、白線が方向を示している。 FIG. 24-1 is an explanatory diagram illustrating a mapping relationship between a target image and a reference image when control is performed to increase according to time using a non-negative value (value of 0 or more) as an initial value of the friction coefficient. is there. FIG. 24-2 is an explanatory diagram illustrating the mapping relationship between the target image and the reference image when control is performed to increase according to time using a negative value as the initial value of the friction coefficient according to the equation (60). In FIGS. 24-1 and 24-2, similar to FIGS. 9-1 and 9-2, the gray line indicates the mapping relationship, and the white line indicates the direction.
図24−1に示すように、摩擦係数の初期値に負値でない値を用いて時間に応じて増加させる制御を行った場合には、画面半分の写像が正確に求めることができないことがわかる。一方、図24−1に示すように、摩擦係数の初期値に負値を用いて時間に応じて増加させる制御を行った場合には、画面全体の写像が正確に求められていることがわかる。 As shown in FIG. 24A, it is understood that when the initial value of the friction coefficient is controlled to increase according to time using a non-negative value, the mapping of the half screen cannot be obtained accurately. . On the other hand, as shown in FIG. 24A, it is understood that when the control is performed by using a negative value as the initial value of the friction coefficient and increasing according to time, the mapping of the entire screen is accurately obtained. .
図25は、(57)式により摩擦係数μを計算して、画像マッチング処理を行った場合におけるポテンシャルエネルギーの時間的変化の状態を示す説明図である。 FIG. 25 is an explanatory diagram showing the temporal change state of potential energy when the friction coefficient μ is calculated by the equation (57) and image matching processing is performed.
図25は、摩擦係数の初期値に負値でない値を用いて時間に応じて増加させる制御を行った場合と摩擦係数の初期値に負値を用いて時間に応じて増加させる制御を行った場合におけるポテンシャルエネルギーの時間的変化の状態を示す説明図である。図25に示すように、初期値に負値を用いて摩擦係数の可変制御を行った場合の方が、より大域的な最適点に達しエネルギーが低いことがわかる。 FIG. 25 shows a case where the initial value of the friction coefficient is increased according to time using a non-negative value and a case where the initial value of the friction coefficient is increased according to time using a negative value. It is explanatory drawing which shows the state of the time change of the potential energy in a case. As shown in FIG. 25, it can be seen that when the friction coefficient is variably controlled using a negative value as the initial value, the global optimum point is reached and the energy is low.
このように実施の形態2にかかる画像マッチング装置では、摩擦係数μの初期値として負値を設定可能で、摩擦係数をかかる初期値から運動方程式の時間に応じて増加するように可変制御しているので、より大域的な最適点の探索と収束性を両立させて、より高精度な画像マッチングを行うことができる。 As described above, in the image matching apparatus according to the second embodiment, a negative value can be set as the initial value of the friction coefficient μ, and the friction coefficient is variably controlled so as to increase from the initial value according to the time of the equation of motion. Therefore, it is possible to perform image matching with higher accuracy while achieving both a search for a global optimum point and convergence.
なお、実施の形態2では、摩擦係数の初期値として負値を用い、線形関数に従って増加させているが、これに限定されるものではなく、時間に応じて段階的に負値の初期値から増加させるように可変制御することもできる。例えば、摩擦係数μを(61)式に従って負値の初期値から段階的に増加するように制御することができる。図26は、摩擦係数を運動方程式における時間に応じて(61)式に従い負値の初期値から段階的に増加する場合における摩擦係数μの時間的変化を示す説明図である。 In the second embodiment, a negative value is used as the initial value of the friction coefficient and is increased according to a linear function. However, the present invention is not limited to this, and the initial value of the negative value is gradually increased according to time. It is also possible to variably control so as to increase. For example, the friction coefficient μ can be controlled to increase stepwise from the negative initial value according to the equation (61). FIG. 26 is an explanatory diagram showing the temporal change of the friction coefficient μ when the friction coefficient increases stepwise from the initial negative value according to the equation (61) according to the time in the equation of motion.
(実施の形態3)
実施の形態1および2にかかる画像マッチング装置では、摩擦係数を運動方程式における時間に応じて増加させるように可変制御していたが、この実施の形態3の画像マッチング装置は、ポテンシャルエネルギーの平衡状態に応じて摩擦係数の可変制御を行うものである。
(Embodiment 3)
In the image matching apparatus according to the first and second embodiments, the friction coefficient is variably controlled so as to increase according to the time in the equation of motion. However, in the image matching apparatus according to the third embodiment, an equilibrium state of potential energy is obtained. The friction coefficient is variably controlled according to the above.
図27は、実施の形態3にかかる画像マッチング装置の構成を示すブロック図である。本実施の形態にかかる画像マッチング装置2700は、図27に示すように、解法処理部101と、画像エネルギー力計算部103と、弾性エネルギー力計算部104と、摩擦力計算部105と、摩擦係数制御部2702と、マッピング処理部107と、平衡状態判定部2703と、フレームメモリ106とを主に備えている。
FIG. 27 is a block diagram of a configuration of the image matching apparatus according to the third embodiment. As shown in FIG. 27, the
ここで、解法処理部101、画像エネルギー力計算部103、弾性エネルギー力計算部104、摩擦力計算部105、マッピング処理部107については実施の形態1と同様である。
Here, the
平衡状態判定部2703は、ポテンシャルエネルギーが平衡状態にあるか否かを判定する処理部である。図12より、摩擦係数μが0の場合、エネルギー保存則によりポテンシャルエネルギーの振動が止まらないが、ある一定の状態の周りを振動していることがわかる。これは、ポテンシャルエネルギーが平衡点周りを振動している運動ととらえることができる。そして、ポテンシャルエネルギーがかかる状態に移行している場合には、既に平衡状態に到達しているため、最適点の大域的な探索は完了していると判断することができる。このため、本実施の形態では、平衡状態判定部2703によって、ポテンシャルエネルギーが平衡状態であるか否かを判断し、平衡状態にある場合には、平衡状態への移行前よりも摩擦係数を大きく設定している。
The equilibrium
平衡状態に到達しているか否かは、例えばポテンシャルエネルギーの分布状態により判断することができる。図28は、ポテンシャルエネルギーが平衡状態に達している場合の、ポテンシャルエネルギーの分布状態を示す説明図である。図29は、ポテンシャルエネルギーが平衡状態に達していない場合の、ポテンシャルエネルギーの分布状態を示す説明図である。 Whether or not the equilibrium state has been reached can be determined, for example, from the distribution state of potential energy. FIG. 28 is an explanatory diagram showing a potential energy distribution state when the potential energy has reached an equilibrium state. FIG. 29 is an explanatory diagram showing the distribution state of potential energy when the potential energy has not reached the equilibrium state.
平衡状態に達しておらず状態が分散しているときには、図29のような分布を示している。一方、平衡状態に達している場合には、状態がある程度まとまりを示すので、図28のような分布を示す。これらの違いは分布の分散が大きいか、小さいかである。そこで、平衡状態判定部2703は、ポテンシャルエネルギーの分布の分散に大きな変化がなくなったら平衡状態に達したと判断することとしている。
When the equilibrium state is not reached and the state is dispersed, a distribution as shown in FIG. 29 is shown. On the other hand, when the equilibrium state is reached, the state is grouped to some extent, and thus a distribution as shown in FIG. 28 is shown. These differences are whether the distribution of the distribution is large or small. Therefore, the equilibrium
また、平衡状態に達している場合には、ある点yが新しい移動領域に移動していくことがない状態であり、同じ領域内を移動している状態である。このため、平衡状態判定部2703は、点yの移動領域の変化率を求め、変化率が小さくなった場合には平衡状態と判断してもよい。具体的には、点yの座標の分布範囲の分散が一定範囲内にある場合には、点yの移動領域の変化率が小さくなったとして、平衡状態に達したと判断すればよい。
Further, when the equilibrium state is reached, a certain point y does not move to a new moving area, and is moving in the same area. For this reason, the equilibrium
図30は、実施の形態3における摩擦力計算処理の手順を示すフローチャートである。まず、平衡状態判定部2703は、すべてのnに対してポテンシャルエネルギーU(n)の標本分散を求め(ステップS3001)、求めた標本分散から母分散を求める(ステップS3002)。ここで、ポテンシャルエネルギーU(n)の標本分散は、標本平均を(62)式により求め、標本平均を使用する標本分散を(63)式により計算することにより求める。
FIG. 30 is a flowchart illustrating a procedure of frictional force calculation processing according to the third embodiment. First, the equilibrium
そして、摩擦力計算部105は、ステップS3004またはS3005で設定した摩擦係数を用いて摩擦力[−μ(τ(m))Ψ2,n (m)]を計算する(ステップS3006)。
Then, the frictional
このように実施の形態3にかかる画像マッチング装置では、ポテンシャルエネルギーの平衡状態に応じて摩擦係数の可変制御を行っているので、画像により適応した画像マッチング処理を実現することができる。 As described above, in the image matching apparatus according to the third embodiment, since the friction coefficient is variably controlled according to the balance state of the potential energy, it is possible to realize an image matching process adapted to the image.
実施の形態1〜3の画像マッチング装置は、CPUなどの制御装置と、ROM(Read Only Memory)やRAMなどの記憶装置と、HDD、CDドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。 The image matching apparatus according to the first to third embodiments includes a control device such as a CPU, a storage device such as a ROM (Read Only Memory) or a RAM, an external storage device such as an HDD or a CD drive device, and a display such as a display device. The apparatus includes an input device such as a keyboard and a mouse, and has a hardware configuration using a normal computer.
実施の形態1〜3の画像マッチング装置で実行される画像マッチングプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。 The image matching program executed by the image matching apparatus according to the first to third embodiments is a file in an installable format or an executable format, and is a CD-ROM, a flexible disk (FD), a CD-R, a DVD (Digital Versatile Disk). And the like recorded on a computer-readable recording medium.
また、実施の形態1〜3の画像マッチング装置で実行される画像マッチングプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の画像マッチング装置で実行される画像マッチングプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。 Further, the image matching program executed by the image matching apparatus according to the first to third embodiments may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. good. Further, the image matching program executed by the image matching apparatus of the present embodiment may be provided or distributed via a network such as the Internet.
また、本実施の形態の画像マッチングプログラムを、ROM等に予め組み込んで提供するように構成してもよい。 Further, the image matching program of the present embodiment may be configured to be provided by being incorporated in advance in a ROM or the like.
実施の形態1〜3の画像マッチング装置で実行される画像マッチングプログラムは、上述した各部(解法処理部、画像エネルギー力計算部、弾性エネルギー力計算部、摩擦力計算部、摩擦係数制御部、平衡状態判定部)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体から画像マッチングプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部(解法処理部、画像エネルギー力計算部、弾性エネルギー力計算部、摩擦力計算部、摩擦係数制御部、平衡状態判定部)が主記憶装置上に生成されるようになっている。 The image matching program executed by the image matching apparatus according to the first to third embodiments includes the above-described units (solution processing unit, image energy force calculation unit, elastic energy force calculation unit, friction force calculation unit, friction coefficient control unit, balance). The state determination unit) is a module configuration, and as actual hardware, the CPU (processor) reads and executes the image matching program from the storage medium, so that the respective units are loaded on the main storage device, Each unit (solution processing unit, image energy force calculation unit, elastic energy force calculation unit, friction force calculation unit, friction coefficient control unit, equilibrium state determination unit) is generated on the main storage device.
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。 It should be noted that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
100,2700 画像マッチング装置
101 解法処理部
102,2702 摩擦係数制御部
103 画像エネルギー力計算部
104 弾性エネルギー力計算部
105 摩擦力計算部
106 フレームメモリ
107 マッピング処理部
2703 平衡状態判定部
100, 2700
Claims (13)
前記対象画像上の複数の第1の格子点の各々と前記参照画像上で当該第1の格子点に一対一に対応する複数の第2の格子点の各々との間で画像の相関関係に基づくポテンシャルエネルギーを計算するとともに、前記各第2の格子点の位置と当該第2の格子点に対応する前記各第1の格子点の位置とに基づいて前記ポテンシャルエネルギーの勾配により前記第2の格子点が受ける画像エネルギー力を計算する画像エネルギー力計算部と、
前記各第2の格子点と当該第2の格子点に隣接する他の第2の格子点との間の弾性エネルギーから受ける弾性エネルギー力を計算する弾性エネルギー力計算部と、
前記各第2の格子点に作用する摩擦力についての摩擦係数を可変制御する摩擦係数制御部と、
前記各第2の格子点に作用する摩擦力を、前記摩擦係数を利用して計算する摩擦力計算部と、
前記画像エネルギー力と前記弾性エネルギー力と前記摩擦力とによる前記各第2の格子点に関する運動方程式の解法処理を行う解法処理部と、
前記解法処理部による解法処理の結果から前記対象画像と前記参照画像との対応関係を求めるマッピング処理部と、
を備えたことを特徴とする画像マッチング装置。 An image matching device for obtaining a correspondence between a target image and a reference image,
There is an image correlation between each of the plurality of first grid points on the target image and each of the plurality of second grid points corresponding to the first grid points on the reference image. Based on the potential energy gradient based on the position of each second grid point and the position of each first grid point corresponding to the second grid point. An image energy force calculator for calculating the image energy force received by the grid points;
An elastic energy force calculation unit that calculates elastic energy force received from elastic energy between each second lattice point and another second lattice point adjacent to the second lattice point;
A friction coefficient control unit that variably controls the friction coefficient of the friction force acting on each second grid point;
A frictional force calculating unit that calculates the frictional force acting on each of the second lattice points using the friction coefficient;
A solution processing unit that performs a solution process of the equation of motion related to each of the second lattice points by the image energy force, the elastic energy force, and the friction force;
A mapping processing unit for obtaining a correspondence relationship between the target image and the reference image from a result of the solution processing by the solution processing unit;
An image matching apparatus comprising:
前記摩擦係数制御部は、前記平衡状態判定部による判定結果に基づいて前記摩擦係数を計算することを特徴とする請求項1に記載の画像マッチング装置。 An equilibrium state determination unit for determining whether or not the potential energy has reached an equilibrium state;
The image matching apparatus according to claim 1, wherein the friction coefficient control unit calculates the friction coefficient based on a determination result by the equilibrium state determination unit.
前記対象画像上の複数の第1の格子点の各々と前記参照画像上で当該第1の格子点に一対一に対応する複数の第2の格子点の各々との間で画像の相関関係に基づくポテンシャルエネルギーを計算するとともに、前記各第2の格子点の位置と当該第2の格子点に対応する前記各第1の格子点の位置とに基づいて前記ポテンシャルエネルギーの勾配により前記第2の格子点が受ける画像エネルギー力を計算する画像エネルギー力計算ステップと、
前記各第2の格子点と当該第2の格子点に隣接する他の第2の格子点との間の弾性エネルギーから受ける弾性エネルギー力を計算する弾性エネルギー力計算ステップと、
前記各第2の格子点に作用する摩擦力についての摩擦係数を可変制御する摩擦係数制御ステップと、
前記各第2の格子点に作用する摩擦力を、前記摩擦係数を利用して計算する摩擦力計算ステップと、
前記画像エネルギー力と前記弾性エネルギー力と前記摩擦力とによる前記各第2の格子点に関する運動方程式の解法処理を行う解法処理ステップと、
前記解法処理ステップによる解法処理の結果から前記対象画像と前記参照画像との対応関係を求めるマッピング処理ステップと、
を含むことを特徴とする画像マッチング方法。 An image matching method for obtaining a correspondence between a target image and a reference image,
There is an image correlation between each of the plurality of first grid points on the target image and each of the plurality of second grid points corresponding to the first grid points on the reference image. Based on the potential energy gradient based on the position of each second grid point and the position of each first grid point corresponding to the second grid point. An image energy force calculation step for calculating the image energy force received by the grid points;
An elastic energy force calculation step for calculating an elastic energy force received from elastic energy between each second lattice point and another second lattice point adjacent to the second lattice point;
A friction coefficient control step for variably controlling the friction coefficient for the friction force acting on each second lattice point;
A frictional force calculating step of calculating a frictional force acting on each of the second lattice points using the friction coefficient;
A solution processing step for performing a solution processing of a motion equation relating to each of the second lattice points by the image energy force, the elastic energy force, and the friction force;
A mapping processing step for obtaining a correspondence relationship between the target image and the reference image from a result of the solution processing by the solution processing step;
An image matching method comprising:
前記対象画像上の複数の第1の格子点の各々と前記参照画像上で当該第1の格子点に一対一に対応する複数の第2の格子点の各々との間で画像の相関関係に基づくポテンシャルエネルギーを計算するとともに、前記各第2の格子点の位置と当該第2の格子点に対応する前記各第1の格子点の位置とに基づいて前記ポテンシャルエネルギーの勾配により前記第2の格子点が受ける画像エネルギー力を計算する画像エネルギー力計算ステップと、
前記各第2の格子点と当該第2の格子点に隣接する他の第2の格子点との間の弾性エネルギーから受ける弾性エネルギー力を計算する弾性エネルギー力計算ステップと、
前記各第2の格子点に作用する摩擦力についての摩擦係数を可変制御する摩擦係数制御ステップと、
前記各第2の格子点に作用する摩擦力を、前記摩擦係数を利用して計算する摩擦力計算ステップと、
前記画像エネルギー力と前記弾性エネルギー力と前記摩擦力とによる前記各第2の格子点に関する運動方程式の解法処理を行う解法処理ステップと、
前記解法処理ステップによる解法処理の結果から前記対象画像と前記参照画像との対応関係を求めるマッピング処理ステップと、
をコンピュータに実行させることを特徴とする画像マッチングプログラム。 An image matching method for obtaining a correspondence between a target image and a reference image,
There is an image correlation between each of the plurality of first grid points on the target image and each of the plurality of second grid points corresponding to the first grid points on the reference image. Based on the potential energy gradient based on the position of each second grid point and the position of each first grid point corresponding to the second grid point. An image energy force calculation step for calculating the image energy force received by the grid points;
An elastic energy force calculation step for calculating an elastic energy force received from elastic energy between each second lattice point and another second lattice point adjacent to the second lattice point;
A friction coefficient control step for variably controlling the friction coefficient for the friction force acting on each second lattice point;
A frictional force calculating step of calculating a frictional force acting on each of the second lattice points using the friction coefficient;
A solution processing step for performing a solution processing of a motion equation relating to each of the second lattice points by the image energy force, the elastic energy force, and the friction force;
A mapping processing step for obtaining a correspondence relationship between the target image and the reference image from a result of the solution processing by the solution processing step;
An image matching program that causes a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006006442A JP2007188329A (en) | 2006-01-13 | 2006-01-13 | Image matching device, image matching method, and image matching program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006006442A JP2007188329A (en) | 2006-01-13 | 2006-01-13 | Image matching device, image matching method, and image matching program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007188329A true JP2007188329A (en) | 2007-07-26 |
Family
ID=38343452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006006442A Abandoned JP2007188329A (en) | 2006-01-13 | 2006-01-13 | Image matching device, image matching method, and image matching program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007188329A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012048593A (en) * | 2010-08-30 | 2012-03-08 | Juki Corp | Image processing system |
-
2006
- 2006-01-13 JP JP2006006442A patent/JP2007188329A/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012048593A (en) * | 2010-08-30 | 2012-03-08 | Juki Corp | Image processing system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9300940B2 (en) | Method and apparatus for converting 2-dimensional image into 3-dimensional image by adjusting depth of the 3-dimensional image | |
US7535513B2 (en) | Deinterlacing method and device in use of field variable partition type | |
US8285004B2 (en) | Line of sight detecting device and method | |
US20200204857A1 (en) | Display apparatus, content recognizing method thereof, and non-transitory computer readable recording medium | |
US20150043826A1 (en) | Image processing apparatus, image processing method, and program | |
US20090030865A1 (en) | Information processing apparatus, information processing method, and computer program | |
US20110305384A1 (en) | Information processing apparatus, information processing method, and program | |
JP2011211628A (en) | Image processing device and method, and program | |
US20100110302A1 (en) | Motion vector detection apparatus, motion vector processing method and program | |
JP4398919B2 (en) | Image matching apparatus, image matching method, and image matching program | |
US20230259779A1 (en) | Method of processing multimodal tasks, and an apparatus for the same | |
CN101593510B (en) | Image processing device,an image processing method and an image processing program | |
JP5620474B2 (en) | Anchor model adaptation apparatus, integrated circuit, AV (Audio Video) device, online self-adaptive method, and program thereof | |
US20120308080A1 (en) | Image processing apparatus, image processing method, and program | |
US8160151B2 (en) | Motion vector detection apparatus, motion vector processing method and program | |
JP2008292885A (en) | Learning apparatus and learning method, information processing device and information processing method, and program | |
JP2009111938A (en) | Device, method and program for editing information, and record medium recorded with the program thereon | |
JP2007188329A (en) | Image matching device, image matching method, and image matching program | |
JP2010016660A (en) | Scene change detector, scene change detection method and program | |
JP2010011016A (en) | Tracking point detection apparatus, method, program, and recording medium | |
JP2010250611A (en) | Image processor, image processing method and recording medium | |
Arsic et al. | Mutual information eigenlips for audio-visual speech recognition | |
JP2012033100A (en) | Image processing device and method and computer program | |
JP2003178310A (en) | Object image tracking method and program | |
JP2008236056A (en) | Information processor, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A762 | Written abandonment of application |
Effective date: 20091008 Free format text: JAPANESE INTERMEDIATE CODE: A762 |