JP2003085566A - Correspondent point searching method and matching device using the same - Google Patents
Correspondent point searching method and matching device using the sameInfo
- Publication number
- JP2003085566A JP2003085566A JP2001273428A JP2001273428A JP2003085566A JP 2003085566 A JP2003085566 A JP 2003085566A JP 2001273428 A JP2001273428 A JP 2001273428A JP 2001273428 A JP2001273428 A JP 2001273428A JP 2003085566 A JP2003085566 A JP 2003085566A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- state transition
- transition model
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、対応点探索方法及
びこれを用いたマッチング装置に関し、特に、ステレオ
画像の対応点探索法や動画像の動きベクトル探索法に適
用して有効な技術に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a corresponding point search method and a matching device using the same, and more particularly to a technique effectively applied to a corresponding point search method for stereo images and a motion vector search method for moving images. Is.
【0002】[0002]
【従来の技術】画像間の対応点探索法として最も基本的
な手法はブロックマッチング法であり、MPEG等の符
号化システムで動きベクトル検出用途で実用されてい
る。或いは、ステレオ画像による距離計測システムなど
でも利用されており、幾つかのシステムが市販されてい
る。2. Description of the Related Art The most basic method for searching for corresponding points between images is a block matching method, which has been put to practical use in motion vector detection applications in coding systems such as MPEG. Alternatively, it is also used in a distance measuring system using a stereo image, and some systems are commercially available.
【0003】この手法はアルゴリズムが簡単であるが、
雑音による誤差や対応点探索の手がかりとなるテキスチ
ャが少ない場合には誤りが生じ易いという欠点がある。Although this method has a simple algorithm,
If there are few errors due to noise or textures that can be used as clues for searching for corresponding points, there is a drawback that errors easily occur.
【0004】この欠点を改善するために、「朴鍾一、井
上誠喜、“映像合成のための多眼カメラを用いた奥行き
抽出”、信学技法、PRMU96−133,pp.33
−40,1997−01.」に開示される、縮小画像を
階層的に生成しておき、低解像度画像から順次ブロック
マッチングを行うことにより破綻の少ない対応点探索が
可能な階層型ブロックマッチング法がある。また、
「W.Woo,N.Kimand Y.Iwadat
e,“Object Segmentationfor
Z−keying Using Stereo Im
ages,”inProc.IEEE WCC−ICS
P’00,pp.1249−1254,Aug.200
0.」に開示される、隣接する画素との連続性を考慮し
て対応点を探索する手法の研究例がある。また、「Yu
ichi OHTA,TakeoKANADE,“St
ereo by Intra−and Inter−S
canline Search Using Dyna
mic Programming”,IEEE Tr
a.On P.A.M.l.,Vol.PAM−7,N
o.2,pp.139−154,March 198
5.」に開示されるように、ビタビアルゴリズムを用い
たステレオ画像の対応点探索に関しても研究例がある。
この方法では、画像中の1走査線上のエッジ位置をノー
ドとした状態遷移モデルを構成し、近傍エッジとの距離
をパラメータとしたコスト関数を用いている。In order to remedy this drawback, "Park Jouichi, Inoue Seiki," Depth extraction using a multi-lens camera for image synthesis ", IEICE TECHNOLOGY, PRMU96-133, pp.33.
-40, 1997-01. There is a hierarchical block matching method capable of searching corresponding points with less failure by generating reduced images hierarchically and performing block matching sequentially from low resolution images. Also,
"W. Woo, N. Kimand Y. Iwadat
e, "Object Segmentation for
Z-keying Using Stereo Im
ages, "inProc. IEEE WCC-ICS
P'00, pp. 1249-1254, Aug. 200
0. , There is a research example of a method for searching for corresponding points in consideration of continuity with adjacent pixels. Also, "Yu
ichi OHTA, Takeo KANADE, “St
ereo by Intra-and Inter-S
cannline Search Using Dyna
mic Programming ”, IEEE Tr
a. On P. A. M. l. , Vol. PAM-7, N
o. 2, pp. 139-154, March 198
5. , There is also a research example on the corresponding point search of a stereo image using the Viterbi algorithm.
In this method, a state transition model in which an edge position on one scanning line in an image is used as a node is constructed, and a cost function having a distance from a neighboring edge as a parameter is used.
【0005】[0005]
【発明が解決しようとする課題】本発明者は、前記従来
技術を検討した結果、以下の問題点を見いだした。従来
手法の一つである階層型ブロックマッチング法では、単
純なブロックマッチング手法に対して、雑音の影響やテ
キスチャが少ない部分で生じる誤りなどの影響を軽減で
きることが知られている。しかし、階層数やブロックサ
イズに依存して性能が異なり、必ずしも十分な効果が得
られない場合もある。The present inventor has found the following problems as a result of examining the above-mentioned prior art. It is known that the hierarchical block matching method, which is one of the conventional methods, can reduce the effects of noise and errors such as errors that occur in a portion having a small texture, as compared with a simple block matching method. However, the performance varies depending on the number of layers and the block size, and in some cases, a sufficient effect may not always be obtained.
【0006】また、隣接画素との連続性を考慮した手法
においては、隣接画素との拘束条件のみを用いているた
めに、十分に滑らかな対応点が得られないという問題が
ある。Further, the method considering the continuity with the adjacent pixels has a problem that a sufficiently smooth corresponding point cannot be obtained because only the constraint condition with the adjacent pixels is used.
【0007】さらには、従来のビタビアルゴリズムによ
る方法では、高解像度の視差ベクトルが得られるもの
の、エッジの位置情報のみを使っているために雑音によ
る誤差が生じてしまうという問題がある。Further, in the conventional method using the Viterbi algorithm, although a high resolution parallax vector is obtained, there is a problem that an error occurs due to noise because only edge position information is used.
【0008】本発明の目的は誤差や探索誤りを軽減し、
滑らかな対応点探索が可能な技術を提供することにあ
る。The object of the present invention is to reduce errors and search errors,
It is to provide a technique capable of smoothly searching for corresponding points.
【0009】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
になるであろう。The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.
【0010】[0010]
【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記のとおりである。Among the inventions disclosed in the present application, a brief description will be given to the outline of typical ones.
It is as follows.
【0011】(1)一対の撮像画像の内の一方の撮像画
像の画素毎の対応先を、他方の撮像画像において特定す
る画像間の対応点探索方法において、前記一方の撮像画
像での走査線を特定するステップと、前記他方の撮像画
像の探索範囲に含まれる視差ベクトル値を状態遷移モデ
ルのノードとして設定するステップと、予め設定された
ブロック内のマッチング誤差及び隣接ノード間でのベク
トルの連続性を前記状態遷移モデルのノード間のパスの
重みとして設定するステップと、前記状態遷移モデルに
基づいてビタビアルゴリズムにより前記他方の撮像画像
の1走査線上の各画素の対応点を一括して推定するステ
ップとを備える。(1) In a corresponding point search method between images for identifying a pixel-to-pixel correspondence destination of one of the pair of captured images in the other captured image, a scanning line in the one captured image A step of specifying a parallax vector value included in the search range of the other captured image as a node of the state transition model, a matching error in a preset block and a vector continuity between adjacent nodes. The weight of the path between the nodes of the state transition model is set, and the Viterbi algorithm is used to collectively estimate the corresponding points of each pixel on one scan line of the other captured image based on the state transition model. And steps.
【0012】(2)動画像の連続するフレーム間での画
素毎の対応先を特定するフレーム間の対応点探索方法に
おいて、前記動画像の内の先の動画像での走査線を特定
するステップと、前記先の動画像に連続する後のフレー
ムの2次元方向の探索範囲に含まれる動きベクトル値を
状態遷移モデルのノードとして設定するステップと、予
め設定されたブロック内のマッチング誤差及び隣接ノー
ド間でのベクトルの連続性を前記状態遷移モデルのノー
ド間のパスの重みとして設定するステップと、前記状態
遷移モデルに基づいてビタビアルゴリズムにより前記後
のフレームの1走査線上の各画素の対応点を一括して推
定するステップとを備える。(2) In the method of searching for corresponding points between frames for specifying the correspondence destination for each pixel between consecutive frames of a moving image, the step of specifying the scanning line in the preceding moving image of the moving images And a step of setting a motion vector value included in a search range in a two-dimensional direction of a subsequent frame continuous to the previous moving image as a node of a state transition model, a matching error in a preset block and an adjacent node Setting the continuity of vectors between nodes as the weight of the path between the nodes of the state transition model, and determining the corresponding point of each pixel on one scan line of the subsequent frame by the Viterbi algorithm based on the state transition model. Collectively estimating.
【0013】(3)一対の撮像画像の内の一方の撮像画
像の画素毎の対応先を、他方の撮像画像において特定す
るマッチング装置において、前記一方の撮影画像の1走
査線上の画素と前記1走査線に対応する前記他方の撮像
画像の探索範囲の画素とから視差ベクトル値を演算する
手段と、視差ベクトル値を状態遷移モデルのノードとし
て設定すると共に、予め設定されたブロック内のマッチ
ング誤差及び隣接ノード間でのベクトルの連続性を前記
状態遷移モデルのノード間のパスの重みとして設定し、
前記状態遷移モデルに基づいてビタビアルゴリズムによ
り前記他方の撮像画像の1走査線上の各画素の対応点を
一括して推定する手段とを備えた。(3) In a matching device that specifies a correspondence destination for each pixel of one captured image of a pair of captured images in the other captured image, a pixel on one scanning line of the one captured image and the one A means for calculating a disparity vector value from the pixels in the search range of the other captured image corresponding to the scanning line, and the disparity vector value is set as a node of the state transition model, and a matching error within a preset block and Set the continuity of the vector between adjacent nodes as the weight of the path between the nodes of the state transition model,
A means for collectively estimating the corresponding points of each pixel on one scanning line of the other captured image based on the state transition model by the Viterbi algorithm is provided.
【0014】前述した手段によれば、一方の撮像画像で
の走査線を特定し、視差ベクトルの探索範囲に含まれる
視差ベクトル値を状態遷移モデルのノードとして設定
し、マッチング誤差及び隣接ノード間のベクトルの連続
性を状態遷移モデルのノード間のパスの重みとして設定
し、この状態遷移モデルに基づいて、ビタビアルゴリズ
ムにより前記他方の撮像画像の1走査線上の各画素の対
応点を一括して推定するので、滑らかで誤差の少ない視
差ベクトルを求めることができる。According to the above-mentioned means, the scanning line in one captured image is specified, the parallax vector value included in the search range of the parallax vector is set as the node of the state transition model, and the matching error and the adjacent node The continuity of the vector is set as the weight of the path between the nodes of the state transition model, and the Viterbi algorithm is used to collectively estimate the corresponding points of each pixel on one scanning line of the other captured image based on this state transition model. Therefore, it is possible to obtain a smooth parallax vector with few errors.
【0015】また、動画像の連続するフレーム間での画
素毎の対応先を特定するフレーム間の対応点を探索する
場合には、動画像の内の先のフレームでの走査線を特定
し、先のフレームに連続する後の動画像の2次元方向の
探索範囲に含まれる動きベクトル値を状態遷移モデルの
ノードとして設定し、予め設定されたブロック内のマッ
チング誤差及び隣接ノード間(連続するフレーム間)で
のベクトルの連続性を状態遷移モデルのノード間のパス
の重みとして設定し、この状態遷移モデルに基づいてビ
タビアルゴリズムにより後の動画像の1走査線上の各画
素の対応点を一括して推定するので、滑らかで誤差の少
ない動画像の動きベクトルを求めることができる。Further, in the case of searching for a corresponding point between frames for specifying a corresponding destination for each pixel between consecutive frames of a moving image, a scanning line in the previous frame of the moving image is specified, A motion vector value included in a search range in a two-dimensional direction of a moving image subsequent to the previous frame is set as a node of a state transition model, and a matching error in a preset block and a distance between adjacent nodes (continuous frames are set). The continuity of the vector in (between) is set as the weight of the path between the nodes of the state transition model, and the Viterbi algorithm is used based on this state transition model to group the corresponding points of each pixel on one scanning line of the subsequent moving image all together. Therefore, the motion vector of the moving image that is smooth and has few errors can be obtained.
【0016】[0016]
【発明の実施の形態】以下、本発明について、発明の実
施の形態(実施例)とともに図面を参照して詳細に説明
する。なお、発明の実施の形態を説明するための全図に
おいて、同一機能を有するものは同一符号を付け、その
繰り返しの説明は省略する。BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the drawings together with an embodiment (example) of the invention. In all the drawings for explaining the embodiments of the invention, components having the same function are designated by the same reference numeral, and the repeated description thereof will be omitted.
【0017】(実施の形態1)図1は本発明の実施の形
態1の画像間の対応点探索方法を説明するための図であ
り、特に、ビタビアルゴリズムを適用するための状態遷
移を説明するための図である。ただし、一対の画像に対
して、周知のビタビアルゴリズムを適用するための状態
遷移を示すものである。(Embodiment 1) FIG. 1 is a diagram for explaining a method of searching for corresponding points between images according to Embodiment 1 of the present invention. In particular, state transition for applying the Viterbi algorithm will be described. FIG. However, the state transition for applying the well-known Viterbi algorithm to a pair of images is shown.
【0018】図1に示すように、実施の形態1では、画
像の左端側(0(ゼロ)で示す)で始まり、右端側(N
−1で示す)で終わる場合を示すものである。従って、
画像の収集手段として、例えば周知のテレビカメラを用
いる場合には、走査線の左端で始まり、右端で終わるこ
ととなる。As shown in FIG. 1, in the first embodiment, the image starts at the left end side (indicated by 0 (zero)) and reaches the right end side (N).
-1)). Therefore,
For example, when a well-known television camera is used as the image collecting means, the scanning line starts at the left end and ends at the right end.
【0019】この場合、それぞれの画素位置には、探索
範囲0〜S−1に対応したノード101からなる列があ
り、このノード列間が図1中に矢印で示すパス102で
結ばれている。このパス102は対応度を表すマッチン
グ誤差エネルギー成分と、視差ベクトルの滑らかさを表
す視差ベクトル場のエネルギー成分とにより重み付けさ
れている。このとき、図1から明らかなように、パス1
02の組み合わせは水平画素数をNとした場合、SN通
り存在することとなるが、実施の形態1ではビタビアル
ゴリズムを適用する構成となっているので、このパス1
02の組み合わせからマッチング誤差が小さく、且つ視
差ベクトルが滑らかになるような最適なパス102を効
率的に推定することができる。このとき、各画素の視差
ベクトルは、最適パスが通過するノード番号として得ら
れる。ただし、実施の形態1では、ビタビアルゴリズム
で最適パスを推定するにあたり、前述するように、図1
の左端から計算を始め、各画素位置のそれぞれのノード
101で、生き残りパスを求める。In this case, at each pixel position, there is a column consisting of nodes 101 corresponding to the search range 0 to S-1, and these node columns are connected by a path 102 shown by an arrow in FIG. . This path 102 is weighted by the matching error energy component indicating the degree of correspondence and the energy component of the parallax vector field indicating the smoothness of the parallax vector. At this time, as is clear from FIG.
There are S N combinations of 02 when the number of horizontal pixels is N, but since the Viterbi algorithm is applied in the first embodiment, this pass 1
From the combination of 02, it is possible to efficiently estimate the optimum path 102 with a small matching error and a smooth disparity vector. At this time, the disparity vector of each pixel is obtained as the node number through which the optimum path passes. However, in the first embodiment, when estimating the optimum path by the Viterbi algorithm, as described above, as shown in FIG.
The calculation is started from the left end of, and the surviving path is obtained at each node 101 at each pixel position.
【0020】例えば、カメラを並行移動して撮影した図
2に示すような2枚のステレオ画像の場合には、R画像
の所定の走査線上の画素の対応点は、必ずL画像の同じ
走査線上に存在する。For example, in the case of two stereo images taken by moving the camera in parallel as shown in FIG. 2, the corresponding points of the pixels on a predetermined scanning line of the R image must be on the same scanning line of the L image. Exists in.
【0021】従って、実施の形態1の対応点探索方法で
は、一つの走査線上の各画素に対する視差ベクトル値を
ノード101とする状態遷移を図1に示すように構成
し、一つの走査線上の各画素に対応する視差ベクトルを
ビタビアルゴリズムを用いて一括して求める。Therefore, in the corresponding point searching method of the first embodiment, the state transition in which the disparity vector value for each pixel on one scanning line is the node 101 is configured as shown in FIG. Disparity vectors corresponding to pixels are collectively obtained using the Viterbi algorithm.
【0022】次に、図3にビタビアルゴリズムによる生
き残りパスの推定手順を説明するための図を示し、以
下、図3に基づいてビタビアルゴリズムによる生き残り
パスの推定手順を説明する。なお、以下の説明では、図
1に示す画素位置i−1から画素位置iへのS本のパス
102から1本のパスである生き残りパスを決定する手
順を説明する。ただし、このときの決定法は、マッチン
グ誤差と視差ベクトルの滑らかさを基にして決定する。Next, FIG. 3 shows a diagram for explaining the procedure for estimating the survivor path by the Viterbi algorithm, and the procedure for estimating the survivor path by the Viterbi algorithm will be described below with reference to FIG. In the following description, a procedure for determining a surviving path that is one path from the S paths 102 from the pixel position i-1 to the pixel position i shown in FIG. 1 will be described. However, the determination method at this time is determined based on the matching error and the smoothness of the disparity vector.
【0023】画素位置iの任意の位置vのノード101
での生き残りパスがもつパスメトリックをEvとし、E
uを画素位置i−1の各ノード101のパスメトリック
とすると、Evは下記の式(1)で決定される。ただ
し、本願明細書中におけるパスメトリックは、生き残り
パスに含まれるパスが持つエネルギーの総和を示すもの
である。また、uは画素位置i−1の縦方向のノード1
01に対応しており、vは画素位置iの縦方向のノード
101に対応しているので、u及びvはそれぞれ0≦u
≦S−1,0≦v≦S−1となる。Node 101 at arbitrary position v of pixel position i
Let E v be the path metric of the surviving path in
When u is the path metric of each node 101 at the pixel position i−1, E v is determined by the following equation (1). However, the path metric in the specification of the present application indicates the total energy of the paths included in the surviving paths. Also, u is the vertical node 1 at pixel position i-1.
01 and v corresponds to the vertical node 101 at the pixel position i, so u and v are 0 ≦ u, respectively.
≤S-1, 0≤v≤S-1.
【0024】[0024]
【数1】
ここで、ssdvは視差ベクトルをvとした場合のマッ
チング誤差エネルギー、Du,vは視差ベクトルの滑ら
かさを表すエネルギー成分であり、下記の式(2),
(3)で与えられる。[Equation 1] Here, ssd v is a matching error energy when v is the parallax vector, D u, v is an energy component representing the smoothness of the parallax vector, and the following equation (2),
It is given in (3).
【0025】[0025]
【数2】
マッチング誤差エネルギーには、式(2)に示すよう
に、画素iを中心としたXiで示す矩形ブロック402
内の積分値を用いている。なお、画素iを中心としたX
iで示す矩形ブロック402内の積分値については、後
述する。[Equation 2] For the matching error energy, as shown in equation (2), a rectangular block 402 centered on pixel i and indicated by Xi
The integral value in is used. It should be noted that X centered on the pixel i
The integral value in the rectangular block 402 indicated by i will be described later.
【0026】また、滑らかさは式(3)に示すように、
uとvのノルムである。なお、式(1)の初期値は、i
=0の場合にEu=0とする。Further, the smoothness is as shown in the equation (3),
The norm of u and v. The initial value of the equation (1) is i
When u = 0, E u = 0.
【0027】このようにして、例えば画素位置iのノー
ド101に入力するS本のパス102から1本のパスが
決定される。画素iに対応するすべてのノード101の
内から1本のパスが残されるので、画素位置i−1の各
ノード101と画素位置iの各ノード101との間に
は、常時S本のパスが生き残る。画素位置が右端の終点
に至ったら、S本のパスの中からパスメトリックが最も
小さいパスを選択し、そのパスが通過したノード番号を
各画素の視差ベクトルとする。このプロセスを全ての走
査線について行い、画像全体の視差ベクトルを求めるこ
とができる。In this way, one path is determined from the S paths 102 input to the node 101 at the pixel position i, for example. Since one path is left out of all the nodes 101 corresponding to the pixel i, there are always S paths between each node 101 at the pixel position i−1 and each node 101 at the pixel position i. survive. When the pixel position reaches the end point on the right end, the path having the smallest path metric is selected from the S paths, and the node number through which the path has passed is set as the parallax vector of each pixel. This process can be performed for all scan lines to determine the disparity vector for the entire image.
【0028】ここで、R画像の所定の走査線上の画素の
対応点は、必ずL画像の同じ走査線上に存在する、すな
わち視差ベクトルの垂直方向の連続性と対応点が同じ垂
直位置の走査線上存在するという特徴に基づいて、前述
の式(3)による視差ベクトルの滑らかさを表すエネル
ギー成分を、下記の式(4)に示すように演算すること
によって、一つの走査線上の各画素に対応する視差ベク
トルをビタビアルゴリズムを用いて一括して求めるもの
である。Here, the corresponding points of the pixels on the predetermined scanning line of the R image always exist on the same scanning line of the L image, that is, the continuity in the vertical direction of the parallax vector and the corresponding scanning line at the same vertical position. Based on the feature that it exists, the energy component representing the smoothness of the parallax vector according to the above equation (3) is calculated as shown in the following equation (4) to correspond to each pixel on one scanning line. The parallax vector is calculated collectively using the Viterbi algorithm.
【0029】[0029]
【数3】
ただし、式(4)の第一項はエピポーラ線上の拘束条件
であり、R画像での所定の画素の対応点は必ずその前画
素の対応点の右側に存在することを条件としたものであ
る。この条件はオクルージョン、すなわち一方では見え
るが他方では隠されている状態になっていない限り成り
立つ。[Equation 3] However, the first term of the equation (4) is a constraint condition on the epipolar line, and it is a condition that the corresponding point of the predetermined pixel in the R image always exists on the right side of the corresponding point of the preceding pixel. . This condition holds as long as it is not occluded, ie it is visible on one side but hidden on the other.
【0030】また、第二項は垂直方向の条件である。d
pは1ライン前の画素位置での視差ベクトルであり、現
画素位置でのssdvが小さい、すなわち信頼性が高い
場合にはこの拘束条件が小さくなるようにssdvを乗
じている。The second term is a condition in the vertical direction. d
p is a parallax vector at the pixel position one line before, and is multiplied by ssd v so that this constraint condition becomes small when ssd v at the current pixel position is small, that is, when the reliability is high.
【0031】図4は実施の形態1の矩形ブロックを説明
するための図である。図4に示すように、実施の形態1
では、前述する式(2)におけるマッチング誤差エネル
ギーは、所定の画素(例えば、画素i)を中心とした3
×3画素の矩形ブロック402内の積分値を用いてい
る。なお、矩形ブロック402の画素数は、3×3に限
定されることはなく、他の画素数でもよいことはいうま
でもない。FIG. 4 is a diagram for explaining the rectangular block according to the first embodiment. As shown in FIG. 4, the first embodiment
Then, the matching error energy in the above equation (2) is 3 with a predetermined pixel (for example, pixel i) as the center.
The integral value in the rectangular block 402 of × 3 pixels is used. The number of pixels of the rectangular block 402 is not limited to 3 × 3, and needless to say, it may be another number of pixels.
【0032】図5は実施の形態1の対応点探索方法を用
いて計算した視差ベクトル画像であり、図6は従来の対
応点探索方法であるブロックマッチング法により計算し
た視差ベクトル画像である。FIG. 5 is a parallax vector image calculated by using the corresponding point searching method of the first embodiment, and FIG. 6 is a parallax vector image calculated by the block matching method which is a conventional corresponding point searching method.
【0033】ただし、図5及び図6は、図2に示す一対
のステレオ画像から視差ベクトル画像を得たものであ
る。また、図5に示す視差ベクトル画像は、Xiで示す
矩形ブロック402のブロックサイズが3×3画素、λ
Lが3000、λSが1000、λ2が0.6、探索範
囲が0〜31として得られたものである。また、図5及
び図6は階調の違いを分かりやすくるために、演算によ
り得られた階調値を8倍にしたものである。However, FIGS. 5 and 6 are obtained by obtaining the parallax vector image from the pair of stereo images shown in FIG. In the parallax vector image shown in FIG. 5, the block size of the rectangular block 402 indicated by Xi is 3 × 3 pixels, λ
L is 3000, λ S is 1000, λ 2 is 0.6, and the search range is 0 to 31. In addition, in FIGS. 5 and 6, the gradation value obtained by the calculation is multiplied by 8 in order to easily understand the difference in gradation.
【0034】図5及び図6から明らかなように、実施の
形態1の対応点探索方法を用いて計算した視差ベクトル
画像では、ブロックマッチング法により計算した視差ベ
クトル画像よりも得られた視差ベクトルの誤りが少な
い。その結果、画像のエッジ部分の先鋭度を維持しつつ
全体的に滑らかな画像を得ることができることが明らか
である。As is apparent from FIGS. 5 and 6, in the parallax vector image calculated by using the corresponding point search method of the first embodiment, the parallax vector obtained by the block matching method is larger than that of the parallax vector image obtained by the block matching method. There are few mistakes. As a result, it is clear that an overall smooth image can be obtained while maintaining the sharpness of the edge portion of the image.
【0035】以上説明したように、実施の形態1の対応
点探索法では、1走査線上の画素列に対して、探索範囲
に含まれる全ての視差ベクトル値をノード101とし、
マッチング誤差及び隣接ノード間でのベクトルの連続性
をノード間のパス102の重みとして状態遷移モデルを
構成し、ビタビアルゴリズムにより1走査線分の視差ベ
クトルを一括して求めるので、滑らかで誤差の少ない視
差ベクトルを求めることができる。As described above, in the corresponding point search method according to the first embodiment, all parallax vector values included in the search range are set as the node 101 for the pixel row on one scanning line.
A state transition model is configured with the matching error and the continuity of the vector between adjacent nodes as the weight of the path 102 between the nodes, and the parallax vector for one scanning line is collectively obtained by the Viterbi algorithm. The disparity vector can be obtained.
【0036】また、実施の形態1の対応点探索法では、
1走査線上のすべての画像情報を用いるとともに、画面
垂直方向の連続性も考慮して対応点探索を行うので、雑
音やテキスチャ不足による影響を受け難くすることがで
き、安定した対応点探索が行える。Further, in the corresponding point search method of the first embodiment,
Since all the image information on one scanning line is used and the corresponding point search is performed in consideration of the continuity in the vertical direction of the screen, it is possible to make it difficult to be affected by noise or lack of texture and to perform stable corresponding point search. .
【0037】また、雑音に強いので、コスト関数を計算
するブロックのサイズを小さくすることができ、高解像
度の対応点探索が可能となる。さらには、ビタビアルゴ
リズムは畳み込み符号の復号などで実用化されているの
で、ハードウェア化も容易である。Further, since it is resistant to noise, the size of the block for calculating the cost function can be reduced, and high-resolution corresponding point search can be performed. Furthermore, since the Viterbi algorithm has been put to practical use in the decoding of convolutional codes, it can be easily implemented in hardware.
【0038】なお、実施の形態1の画像間の対応点探索
方法では、対をなす2枚のステレオ画像に対する視差ベ
クトルの対応点探索法について説明したが、これに限定
されることはなく、視差ベクトルの探索範囲に含まれる
視差ベクトル値であるノード101を2次元化し、1走
査線上の各画素の動きベクトルを一括して推定すること
によって、動画像の動きベクトルの対応点探索方法にも
適用可能である。In the corresponding point searching method between images of the first embodiment, the corresponding point searching method of the parallax vector for two stereo images forming a pair has been described, but the present invention is not limited to this. The node 101, which is the disparity vector value included in the vector search range, is made two-dimensional, and the motion vector of each pixel on one scanning line is collectively estimated to be applied to the corresponding point search method of the motion vector of the moving image. It is possible.
【0039】ただし、動画像の動きベクトルには、水平
方向成分と垂直方向成分とがある。従って、動画像の動
きベクトルの対応点探索方法に本願発明を適用する場合
には、例えば、前述する図1に示すノード101を、図
7に示すように面上(以下、「ノード面」と記す)に配
置された複素数ノード701に置き換えることにより適
用可能となる。ただし、図7における水平ベクトルは実
数部を示しており、垂直ベクトルは虚数部を示してい
る。However, the motion vector of the moving image has a horizontal direction component and a vertical direction component. Therefore, when the present invention is applied to the corresponding point search method of the motion vector of the moving image, for example, the node 101 shown in FIG. 1 described above is converted into a plane (hereinafter referred to as “node plane”) as shown in FIG. It is applicable by replacing with the complex number node 701 arranged in (notation). However, the horizontal vector in FIG. 7 shows the real part, and the vertical vector shows the imaginary part.
【0040】すなわち、図7に示すように、座標位置
(0,0)で示す複素数ノード701を基準とし、水平
方向の探索範囲が±Hであり、垂直方向の探索範囲が±
Vである複素数ノード701を図1に示す各ノード10
1毎に設ける。このとき、図1の隣接するノード101
間のパスは、隣接するノード面間のパスとして、一方の
ノード面に配列される各複素数ノード701から他方の
ノード面に配列される各複素数ノード701への全ての
ノード状態の組み合わせとしてのパスとなる。That is, as shown in FIG. 7, the search range in the horizontal direction is ± H and the search range in the vertical direction is ± H with reference to the complex number node 701 indicated by the coordinate position (0,0).
The complex number node 701 of V is the node 10 shown in FIG.
Provide for each one. At this time, the adjacent node 101 in FIG.
The inter-path is a path as a combination of all node states from each complex number node 701 arranged on one node surface to each complex number node 701 arranged on the other node surface as a path between adjacent node surfaces. Becomes
【0041】このようにして、隣接するノード面間での
パスを定義することによって、2次元の状態遷移モデル
を構成し、ビタビアルゴリズムを用いて最適パスを選択
することで各ノード位置での動きベクトル値を推定する
ことが可能となるので、滑らかで誤差の少ない動画像の
動きベクトルを求めることができる。In this way, a two-dimensional state transition model is constructed by defining a path between adjacent node faces, and the optimum path is selected using the Viterbi algorithm to thereby determine the movement at each node position. Since it is possible to estimate the vector value, it is possible to obtain a motion vector of a moving image that is smooth and has few errors.
【0042】従って、MPEG符号化装置における動き
ベクトル探索へ本願発明を適用することが可能であり、
例えば図9に示すように、前述する本願発明の動画像の
動きベクトルの対応点探索方法を従来の動きベクトル探
索部に適用することによって、従来の動きベクトル探索
部を本願発明の動画像の動きベクトルの対応点探索方法
を用いた動きベクトル探索部901に置き換えることが
可能である。すなわち、図9に示すように、本願発明を
適用した動きベクトル探索部901の出力を周知のMP
EG映像符号化部902と周知の動きベクトル符号化部
903とに入力し、MPEG映像符号化部902と動き
ベクトル符号化部903とからの出力を周知の多重化手
段904で多重化することによって、MPEG符号が得
られることとなる。このとき、本願発明の動画像の動き
ベクトルの対応点探索方法を動きベクトル探索部901
に適用することによって、動きベクトルの推定精度を向
上させることが可能となるので、MPEG映像符号化で
使われているフレーム間予測符号化の符号化効率を向上
させることができる。Therefore, the present invention can be applied to the motion vector search in the MPEG encoding device,
For example, as shown in FIG. 9, by applying the corresponding point search method of the motion vector of the moving image of the present invention described above to the conventional motion vector searching unit, the conventional motion vector searching unit is used for the motion of the moving image of the present invention. It can be replaced with the motion vector search unit 901 using the vector corresponding point search method. That is, as shown in FIG. 9, the output of the motion vector search unit 901 to which the invention of the present application is applied is a known MP.
By inputting them to the EG video coding unit 902 and the well-known motion vector coding unit 903, and multiplexing the outputs from the MPEG video coding unit 902 and the motion vector coding unit 903 by the well-known multiplexing means 904. , MPEG code will be obtained. At this time, the motion vector search unit 901 according to the method for searching the corresponding points of the motion vector of the moving image according to the present invention.
, It is possible to improve the estimation accuracy of the motion vector, so that it is possible to improve the coding efficiency of the inter-frame predictive coding used in the MPEG video coding.
【0043】また、MPEGでは、動きベクトル情報が
DPCMにより符号化されて多重伝送される。すなわ
ち、前画素の動きベクトル値との差分のみが伝送され
る。この差分値はさらにハフマン符号化され、差分値が
小さい情報は頻度が高い情報として短い符号が割り当て
られる。従って、差分値が小さいほど効率的な伝送が期
待できる。一方、従来の動きベクトル推定手法では、推
定誤差が大きく、DPCM符号化された差分値も大きく
なる場合があった。それに対して、本願発明を適用する
ことによりビタビアルゴリズムで滑らかなベクトル列が
得られるので、DPCM符号化された差分値を小さくす
ることができ、動きベクトルの効率的な伝送が可能とな
る。In MPEG, motion vector information is encoded by DPCM and multiplexed and transmitted. That is, only the difference from the motion vector value of the previous pixel is transmitted. This difference value is further Huffman coded, and information having a small difference value is assigned a short code as information having a high frequency. Therefore, the smaller the difference value, the more efficient transmission can be expected. On the other hand, in the conventional motion vector estimation method, the estimation error is large, and the DPCM-coded difference value may be large. On the other hand, by applying the present invention, a smooth vector sequence can be obtained by the Viterbi algorithm, so that the DPCM-encoded difference value can be reduced, and the motion vector can be efficiently transmitted.
【0044】(実施の形態2)図8は本発明の実施の形
態2のマッチング装置の概略構成を説明するための図で
ある。ただし、801〜803は格納手段、804〜8
07はマッチング誤差エネルギー演算手段、808はビ
タビ演算部、809は最小値選択部を示す。また、実施
の形態2のマッチング装置は、R画像の所定の走査線上
の画素の対応点が必ずL画像の同じ走査線上に存在す
る、すなわち視差ベクトルの垂直方向の連続性と対応点
が同じ垂直位置の走査線上存在することを条件とするも
のである。さらには、実施の形態2のマッチング装置
は、実施の形態1とは逆の構成であり、左側画像である
L画像の対応先を右側画像であるR画像から探索する装
置である。(Second Embodiment) FIG. 8 is a diagram for explaining the schematic configuration of a matching device according to a second embodiment of the present invention. However, 801 to 803 are storage means, and 804 to 8
Reference numeral 07 denotes a matching error energy calculation unit, 808 a Viterbi calculation unit, and 809 a minimum value selection unit. Further, in the matching device of the second embodiment, the corresponding points of pixels on a predetermined scanning line of the R image always exist on the same scanning line of the L image, that is, the continuity of the parallax vector in the vertical direction and the corresponding point are the same vertical lines. The condition is that the position exists on the scanning line. Furthermore, the matching device according to the second embodiment has a configuration opposite to that of the first embodiment, and is a device that searches for a corresponding destination of the L image that is the left image from the R image that is the right image.
【0045】図8に示す実施の形態2のマッチング装置
は、右側画像(R画像)がR画像の入力端子から入力さ
れ、左側画像(L画像)がL画像の入力端子からそれぞ
れ入力される構成となっている。このとき、R画像およ
びL画像の入力端子から入力される画像は、それぞれが
同じ1走査線の画素値が順次入力される構成となってい
る。すなわち、R画像およびL画像が同じ走査線の同じ
画素順で同期して読み出され、それぞれ対応する入力端
子(R画像の入力端子およびL画像の入力端子)に入力
される構成となっている。In the matching apparatus of the second embodiment shown in FIG. 8, the right image (R image) is input from the R image input terminal, and the left image (L image) is input from the L image input terminal. Has become. At this time, the image input from the R image input terminal and the L image input terminal is configured such that the pixel values of the same one scanning line are sequentially input. That is, the R image and the L image are synchronously read in the same pixel order on the same scanning line and input to the corresponding input terminals (the R image input terminal and the L image input terminal), respectively. .
【0046】また、実施の形態2のマッチング装置は、
たとえばR画像の入力端子から入力される画素毎の画素
値を順次格納する周知の格納手段801〜803を有す
る構成となっている。図8に示すように、各格納手段8
01〜803は複数個の格納手段801〜803が直列
に接続される構成となっており、R画像の入力端子から
入力される画素値が第1番目の格納手段(第1の格納手
段)801から順次第3の格納手段803にまで、順次
シフトされ格納される構成となっている。ただし、格納
手段801〜803の個数すなわち段数は、R画像の探
索範囲とする画素数によって適宜決定されるものであ
る。さらには、第1の格納手段801に入力される画素
と同じ画素の画素値が第0番目のマッチング誤差エネル
ギー演算手段804に入力される構成となっている。Further, the matching device of the second embodiment is
For example, it is configured to include well-known storage units 801 to 803 that sequentially store pixel values for each pixel input from the input terminal of the R image. As shown in FIG. 8, each storage means 8
01 to 803 have a configuration in which a plurality of storage units 801 to 803 are connected in series, and the pixel value input from the input terminal of the R image is the first storage unit (first storage unit) 801. To the third storage means 803 are sequentially shifted and stored. However, the number of storage units 801 to 803, that is, the number of stages is appropriately determined depending on the number of pixels to be the search range of the R image. Further, the pixel value of the same pixel as the pixel input to the first storage unit 801 is input to the 0th matching error energy calculation unit 804.
【0047】また、実施の形態2のマッチング装置は、
L画像の入力端子から入力された画素毎の画素値を一方
の入力とすると共に、R画像の入力端子あるいは格納手
段801〜803から出力される画素値を他方の入力と
するマッチング誤差エネルギー演算手段804〜807
を有する構成となっている。このマッチング誤差エネル
ギー演算手段804〜807は、前述した実施の形態1
に示すように、2つの入力から視差ベクトルをvとした
場合のマッチング誤差エネルギーssdvを式(2)に
基づいて演算する手段であり、例えば周知の情報処理装
置上で動作するプログラムによって実現される。また、
実施の形態2のマッチング装置は、複数のマッチング誤
差エネルギー演算手段804〜807を有する構成とな
っており、各マッチング誤差エネルギー演算手段804
〜807はL画像の入力に対して並列に接続される構成
となっている。ただし、マッチング誤差エネルギー演算
手段804〜807は、格納手段801〜803の個数
に1を加算した個数となる。Further, the matching device of the second embodiment is
Matching error energy calculating means for inputting the pixel value for each pixel input from the input terminal of the L image to one input and for inputting the pixel value output from the input terminal of the R image or the storage means 801 to 803 to the other input 804-807
It is configured to have. The matching error energy calculation means 804 to 807 are the same as those in the first embodiment described above.
As shown in, it is a means for calculating the matching error energy ssd v when the parallax vector is v from two inputs, based on the equation (2), and is realized by a program operating on a well-known information processing device, for example. It Also,
The matching device according to the second embodiment is configured to have a plurality of matching error energy calculating means 804 to 807, and each matching error energy calculating means 804.
˜807 are connected in parallel to the input of the L image. However, the matching error energy calculation units 804 to 807 have a number obtained by adding 1 to the number of storage units 801 to 803.
【0048】各マッチング誤差エネルギー演算手段80
4〜807の出力は、ビタビ演算部808に入力される
構成となっており、ビタビ演算部808において周知の
ビタビアルゴリズムに基づいてパスメトリックの演算を
順次行う構成となっている。ただし、ビタビ演算部80
8によるパスメトリックの演算は、入力される画素が走
査線の左側に達した場合にリセットされる構成となって
おり、このような構成とすることにより走査線ごとの探
索範囲のパスメトリックを演算するものである。Each matching error energy calculation means 80
The outputs of 4 to 807 are configured to be input to the Viterbi operation unit 808, and the Viterbi operation unit 808 is configured to sequentially perform the path metric operation based on the well-known Viterbi algorithm. However, the Viterbi operation unit 80
The calculation of the path metric by 8 is reset when the input pixel reaches the left side of the scanning line. With such a structure, the path metric of the search range for each scanning line is calculated. To do.
【0049】ビタビ演算部808の出力は、最小値選択
部809に入力される構成となっており、ビタビ演算部
808によるパスメトリックの演算が走査線上の右端の
ノードに至った場合に、最小値選択部809はビタビ演
算手段より入力されるパスメトリックの内でその値が最
小となるパスを選択し、そのパスの最小のパスとして1
走査分の視差ベクトルを出力する構成となっている。ま
た、最小値選択部809による最小パスの選択は、画素
値に入力が右端に達した場合に行う構成となっており、
このような構成とすることにより走査線ごとのパスメト
リックを演算するものである。また、実施の形態2のマ
ッチング装置は、以上に説明した動作を全ての走査線に
ついて順次行う構成となっている。The output of the Viterbi operation unit 808 is input to the minimum value selection unit 809. When the path metric operation by the Viterbi operation unit 808 reaches the rightmost node on the scanning line, the minimum value is output. The selecting unit 809 selects the path having the smallest value among the path metrics input from the Viterbi calculating means, and sets 1 as the minimum path of the paths.
It is configured to output parallax vectors for scanning. In addition, the minimum path selection unit 809 selects the minimum path when the pixel value reaches the right end,
With such a configuration, the path metric for each scanning line is calculated. In addition, the matching device according to the second embodiment is configured to sequentially perform the above-described operation for all scanning lines.
【0050】以上説明したように、実施の形態2のマッ
チング装置は、一対の画像の対応点を探索する際に、1
走査線分の視差ベクトルを一括して求める動作を順次繰
り返すことによって一対の画像の対応点を探索するの
で、滑らかで誤差の少ない視差ベクトルを得ることがで
きる。As described above, the matching apparatus according to the second embodiment uses 1 when searching for corresponding points of a pair of images.
Since the corresponding points of the pair of images are searched by sequentially repeating the operation of collectively obtaining the parallax vectors of the scanning line segments, it is possible to obtain a smooth parallax vector with few errors.
【0051】また、1走査線上のすべての画像情報を用
いるとともに、画面垂直方向の連続性も考慮して対応点
探索を行うので、雑音やテキスチャ不足による影響を受
け難くすることができ、安定した対応点探索が行える。Further, since all the image information on one scanning line is used and the corresponding points are searched in consideration of the continuity in the vertical direction of the screen, it is possible to suppress the influence of noise and lack of texture, and to stabilize. Corresponding point search can be performed.
【0052】さらには、雑音に強いので、コスト関数を
計算するブロックのサイズを小さくすることができ、高
解像度の対応点探索が可能となる。Furthermore, since it is resistant to noise, the size of the block for calculating the cost function can be reduced, and high-resolution corresponding point search can be performed.
【0053】また、図10に示すように、本願発明の対
応点探索方法を用いたマッチング装置1001の出力で
ある視差ベクトルから距離を演算する周知の距離演算手
段1002を設けることによって、精度の高い距離情報
が得ることが可能なステレオ画像による距離計測装置を
構成できることはいうまでもない。ただし、L画像とR
画像との間の対応点探索により得られる視差ベクトル
(視差値)に基づいて、カメラから被写体までの距離を
求めるためには、L画像とR画像とをそれぞれ撮影した
カメラの間隔をB、カメラの焦点距離をF、カメラの画
素の物理的な大きさをps、視差値(画素数)をdとし
て、下記の式(5)によって演算可能である。Further, as shown in FIG. 10, by providing a well-known distance calculating means 1002 for calculating a distance from a parallax vector which is an output of the matching device 1001 using the corresponding point searching method of the present invention, the accuracy is high. It goes without saying that it is possible to configure a distance measuring device using a stereo image from which distance information can be obtained. However, L image and R
In order to obtain the distance from the camera to the subject based on the parallax vector (parallax value) obtained by searching the corresponding points between the images, the distance between the cameras that photographed the L image and the R image is B, and the camera is The focal length of F is F, the physical size of the pixel of the camera is ps, and the parallax value (the number of pixels) is d.
【0054】[0054]
【数4】 [Equation 4]
【0055】以上、本発明者によってなされた発明を、
前記発明の実施の形態に基づき具体的に説明したが、本
発明は、前記発明の実施の形態に限定されるものではな
く、その要旨を逸脱しない範囲において種々変更可能で
あることは勿論である。As described above, the invention made by the present inventor is
Although the specific description has been given based on the embodiment of the invention, the invention is not limited to the embodiment of the invention and can be variously modified without departing from the scope of the invention. .
【0056】[0056]
【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、下
記の通りである。The effects obtained by the typical ones of the inventions disclosed in the present application will be briefly described as follows.
【0057】(1)ビタビアルゴリズムにより1走査線
分の視差ベクトルを一括して求めることができるので、
滑らかで誤差の少ない視差ベクトルを求めることができ
る。
(2)1走査線上のすべての画像情報を用いるととも
に、画面垂直方向の連続性も考慮して対応点探索を行う
ので、雑音やテキスチャ不足による影響を受け難くする
ことができ、安定した対応点探索が行える。(1) Since the parallax vector for one scanning line can be collectively obtained by the Viterbi algorithm,
It is possible to obtain a smooth disparity vector with few errors. (2) Since all the image information on one scanning line is used and the corresponding point search is performed in consideration of the continuity in the vertical direction of the screen, it is possible to make it difficult to be affected by noise or lack of texture, and to obtain a stable corresponding point. You can search.
【0058】(3)雑音に強いので、コスト関数を計算
するブロックのサイズを小さくすることができ、高解像
度の対応点探索が可能となる。
(4)ビタビアルゴリズムは畳み込み符号の復号などで
実用化されているので、ハードウェア化も容易である。(3) Since it is resistant to noise, the size of the block for calculating the cost function can be reduced, and high-resolution corresponding point search can be performed. (4) Since the Viterbi algorithm has been put to practical use in the decoding of convolutional codes, it can be easily implemented in hardware.
【図1】本発明の実施の形態1の画像間の対応点探索方
法を説明するための図である。FIG. 1 is a diagram for explaining a corresponding point searching method between images according to a first embodiment of the present invention.
【図2】カメラを並行移動して撮影した2枚のステレオ
画像の一例であり、ディスプレー上に表示した中間調画
像である。FIG. 2 is an example of two stereo images taken by moving the camera in parallel and is a halftone image displayed on a display.
【図3】ビタビアルゴリズムによる生き残りパスの推定
手順を説明するための図である。FIG. 3 is a diagram for explaining a procedure for estimating a survivor path by the Viterbi algorithm.
【図4】実施の形態1の矩形ブロックを説明するための
図である。FIG. 4 is a diagram for explaining a rectangular block according to the first embodiment.
【図5】実施の形態1の対応点探索方法を用いて計算し
た視差ベクトル画像であり、ディスプレー上に表示した
中間調画像である。FIG. 5 is a parallax vector image calculated by using the corresponding point search method according to the first embodiment, and is a halftone image displayed on the display.
【図6】従来の対応点探索方法であるブロックマッチン
グ法により計算した視差ベクトル画像であり、ディスプ
レー上に表示した中間調画像である。FIG. 6 is a parallax vector image calculated by a block matching method which is a conventional corresponding point search method, and is a halftone image displayed on a display.
【図7】本願発明を動画像の動きベクトルの対応点探索
方法に適用可能するための概略動作を説明するための図
である。FIG. 7 is a diagram for explaining a schematic operation for applying the present invention to a corresponding point search method for a motion vector of a moving image.
【図8】本発明の実施の形態2のマッチング装置の概略
構成を説明するための図である。FIG. 8 is a diagram for explaining a schematic configuration of a matching device according to a second embodiment of the present invention.
【図9】本願発明を適用したMPEG装置の概略構成を
説明するための図である。FIG. 9 is a diagram for explaining a schematic configuration of an MPEG device to which the present invention is applied.
【図10】本願発明を適用したステレオ画像による距離
計測装置の概略構成を説明するための図である。FIG. 10 is a diagram for explaining a schematic configuration of a distance measuring device using a stereo image to which the present invention is applied.
101…ノード 102…パス
401…画素 402…矩形ブ
ロック
701…複素数ノード 801〜803
…格納手段
804〜807…マッチング誤差エネルギー演算手段
808…ビタビ演算部 809…最小値
選択部
901…動きベクトル探索部 902…MPE
G映像符号化部
903…動きベクトル符号化部 904…多重化
手段
1001…マッチング装置 1002…距離
演算手段101 ... Node 102 ... Path 401 ... Pixel 402 ... Rectangular block 701 ... Complex node 801 to 803
Storage units 804 to 807 Matching energy calculation unit 808 Viterbi calculation unit 809 Minimum value selection unit 901 Motion vector search unit 902 MPE
G video coding unit 903 ... Motion vector coding unit 904 ... Multiplexing means 1001 ... Matching device 1002 ... Distance calculation means
フロントページの続き (72)発明者 片山 美和 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 Fターム(参考) 5C059 MA00 NN03 NN28 PP04 PP26 UA02 5L096 FA69 GA19 HA01 JA03 Continued front page (72) Inventor Miwa Katayama 1-10-11 Kinuta, Setagaya-ku, Tokyo, Japan Broadcasting Association Broadcast Technology Institute F term (reference) 5C059 MA00 NN03 NN28 PP04 PP26 UA02 5L096 FA69 GA19 HA01 JA03
Claims (4)
画素毎の対応先を、他方の撮像画像に対して特定する画
像間の対応点探索方法において、前記一方の撮像画像で
の走査線を特定するステップと、前記他方の撮像画像の
探索範囲に含まれる視差ベクトル値を状態遷移モデルの
ノードとして設定するステップと、予め設定されたブロ
ック内のマッチング誤差及び隣接ノード間でのベクトル
の連続性を前記状態遷移モデルのノード間のパスの重み
として設定するステップと、前記状態遷移モデルに基づ
いてビタビアルゴリズムにより前記他方の撮像画像の1
走査線上の各画素の対応点を一括して推定するステップ
とを備えることを特徴とする画像間の対応点探索方法。1. A method of searching a corresponding point between images for identifying a corresponding destination for each pixel of one captured image of a pair of captured images with respect to the other captured image, in which scanning is performed on the one captured image. A step of specifying a line, a step of setting a disparity vector value included in the search range of the other captured image as a node of a state transition model, a matching error in a preset block and a vector between adjacent nodes A step of setting continuity as a weight of a path between nodes of the state transition model, and 1 of the other captured image by the Viterbi algorithm based on the state transition model.
A step of collectively estimating a corresponding point of each pixel on a scanning line.
において、前記一方の撮像画像での走査線に前後する何
れか一の走査線での画素の視差ベクトル値を、前記状態
遷移モデルの拘束条件とするステップを備えたことを特
徴とする画像間の対応点探索方法。2. A method of searching for corresponding points between images according to claim 1, wherein the parallax vector value of a pixel in any one scanning line before and after the scanning line in the one captured image is changed to the state transition. A method of searching for corresponding points between images, comprising a step of setting a model constraint condition.
の対応先を特定するフレーム間の対応点探索方法におい
て、前記動画像の内の先のフレーム像での走査線を特定
するステップと、前記先の動画像に連続する後の動画像
の2次元方向の探索範囲に含まれる動きベクトル値を状
態遷移モデルのノードとして設定するステップと、予め
設定されたブロック内のマッチング誤差及び隣接ノード
間でのベクトルの連続性を前記状態遷移モデルのノード
間のパスの重みとして設定するステップと、前記状態遷
移モデルに基づいてビタビアルゴリズムにより前記後の
フレームの1走査線上の各画素の対応点を一括して推定
するステップとを備えることを特徴とするフレーム間の
対応点探索方法。3. A method of searching a corresponding point between frames for identifying a corresponding destination for each pixel between consecutive frames of a moving image, wherein a scanning line in a previous frame image of the moving image is specified. A step of setting a motion vector value included in a search range in a two-dimensional direction of a moving image subsequent to the preceding moving image as a node of a state transition model, a matching error in a preset block, and an adjacent node Setting the continuity of vectors between nodes as the weight of the path between the nodes of the state transition model, and determining the corresponding point of each pixel on one scan line of the subsequent frame by the Viterbi algorithm based on the state transition model. A method of searching for corresponding points between frames, which comprises a step of collectively estimating.
画素毎の対応先を、他方の撮像画像において特定するマ
ッチング装置において、前記一方の撮影画像の1走査線
上の画素と前記1走査線に対応する前記他方の撮像画像
の探索範囲の画素とから視差ベクトル値を演算する手段
と、視差ベクトル値を状態遷移モデルのノードとして設
定すると共に、予め設定されたブロック内のマッチング
誤差及び隣接ノード間でのベクトルの連続性を前記状態
遷移モデルのノード間のパスの重みとして設定し、前記
状態遷移モデルに基づいてビタビアルゴリズムにより前
記他方の撮像画像の1走査線上の各画素の対応点を一括
して推定する手段とを備えたことを特徴とするマッチン
グ装置。4. A matching device that specifies a corresponding destination for each pixel of one captured image of a pair of captured images in the other captured image, and a pixel on one scanning line of the one captured image and the one scan. Means for calculating a parallax vector value from the pixels in the search range of the other captured image corresponding to the line, and setting the parallax vector value as a node of the state transition model, and matching error and adjacency in a preset block The continuity of the vector between the nodes is set as the weight of the path between the nodes of the state transition model, and the corresponding point of each pixel on one scanning line of the other captured image is determined by the Viterbi algorithm based on the state transition model. A matching device comprising: means for collectively estimating.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001273428A JP2003085566A (en) | 2001-09-10 | 2001-09-10 | Correspondent point searching method and matching device using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001273428A JP2003085566A (en) | 2001-09-10 | 2001-09-10 | Correspondent point searching method and matching device using the same |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003085566A true JP2003085566A (en) | 2003-03-20 |
Family
ID=19098646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001273428A Pending JP2003085566A (en) | 2001-09-10 | 2001-09-10 | Correspondent point searching method and matching device using the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003085566A (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007327938A (en) * | 2006-05-10 | 2007-12-20 | Topcon Corp | Image processing device and method therefor |
EP2293243A2 (en) | 2009-07-29 | 2011-03-09 | Sony Corporation | Image processing apparatus, image capture apparatus, image processing method, and program |
US7925076B2 (en) | 2006-09-05 | 2011-04-12 | Hitachi High-Technologies Corporation | Inspection apparatus using template matching method using similarity distribution |
WO2013035457A1 (en) | 2011-09-07 | 2013-03-14 | シャープ株式会社 | Stereoscopic image processing apparatus, stereoscopic image processing method, and program |
WO2013080697A1 (en) | 2011-11-29 | 2013-06-06 | ソニー株式会社 | Image processing device, image processing method and program |
JP2015114269A (en) * | 2013-12-13 | 2015-06-22 | 株式会社日本自動車部品総合研究所 | Corresponding points search method and distance measuring unit |
JP2016099932A (en) * | 2014-11-26 | 2016-05-30 | 株式会社日本自動車部品総合研究所 | Distance detection apparatus |
JP2017003281A (en) * | 2015-06-04 | 2017-01-05 | 株式会社日本自動車部品総合研究所 | Corresponding point search method and distance measuring instrument |
JP2017045124A (en) * | 2015-08-24 | 2017-03-02 | 株式会社日本自動車部品総合研究所 | Parallax detection device |
JP2017084259A (en) * | 2015-10-30 | 2017-05-18 | 株式会社日本自動車部品総合研究所 | Corresponding point search method and distance measuring device |
WO2017179260A1 (en) * | 2016-04-12 | 2017-10-19 | 株式会社デンソー | Computation device |
-
2001
- 2001-09-10 JP JP2001273428A patent/JP2003085566A/en active Pending
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007327938A (en) * | 2006-05-10 | 2007-12-20 | Topcon Corp | Image processing device and method therefor |
US7925076B2 (en) | 2006-09-05 | 2011-04-12 | Hitachi High-Technologies Corporation | Inspection apparatus using template matching method using similarity distribution |
EP2293243A2 (en) | 2009-07-29 | 2011-03-09 | Sony Corporation | Image processing apparatus, image capture apparatus, image processing method, and program |
US8416989B2 (en) | 2009-07-29 | 2013-04-09 | Sony Corporation | Image processing apparatus, image capture apparatus, image processing method, and program |
WO2013035457A1 (en) | 2011-09-07 | 2013-03-14 | シャープ株式会社 | Stereoscopic image processing apparatus, stereoscopic image processing method, and program |
JP2013058848A (en) * | 2011-09-07 | 2013-03-28 | Sharp Corp | Stereoscopic image processing device, stereoscopic image processing method and program |
WO2013080697A1 (en) | 2011-11-29 | 2013-06-06 | ソニー株式会社 | Image processing device, image processing method and program |
JP2015114269A (en) * | 2013-12-13 | 2015-06-22 | 株式会社日本自動車部品総合研究所 | Corresponding points search method and distance measuring unit |
JP2016099932A (en) * | 2014-11-26 | 2016-05-30 | 株式会社日本自動車部品総合研究所 | Distance detection apparatus |
JP2017003281A (en) * | 2015-06-04 | 2017-01-05 | 株式会社日本自動車部品総合研究所 | Corresponding point search method and distance measuring instrument |
US10043106B2 (en) | 2015-06-04 | 2018-08-07 | Denso Corporation | Corresponding point searching method and distance detection device |
JP2017045124A (en) * | 2015-08-24 | 2017-03-02 | 株式会社日本自動車部品総合研究所 | Parallax detection device |
JP2017084259A (en) * | 2015-10-30 | 2017-05-18 | 株式会社日本自動車部品総合研究所 | Corresponding point search method and distance measuring device |
WO2017179260A1 (en) * | 2016-04-12 | 2017-10-19 | 株式会社デンソー | Computation device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4444252B2 (en) | Method and apparatus for wide area-local block motion estimation | |
US6947603B2 (en) | Method and apparatus for hybrid-type high speed motion estimation | |
JP3847827B2 (en) | Motion vector detection method | |
US6418168B1 (en) | Motion vector detection apparatus, method of the same, and image processing apparatus | |
KR101217627B1 (en) | Method and apparatus for estimating motion vector based on block | |
US11170202B2 (en) | Apparatus and method for performing 3D estimation based on locally determined 3D information hypotheses | |
KR100285599B1 (en) | Device and method for texture padding for motion estimation in alternate line encoding | |
JPH10285602A (en) | Dynamic sprite for encoding video data | |
WO2006019093A1 (en) | Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, and image decoding program | |
WO2010093430A1 (en) | System and method for frame interpolation for a compressed video bitstream | |
US6914938B2 (en) | Interlaced video motion estimation | |
CN1656515A (en) | Unit for and method of estimating a current motion vector | |
JP2003085566A (en) | Correspondent point searching method and matching device using the same | |
EP1472881B1 (en) | Unit for and method of estimating a current motion vector | |
KR100234264B1 (en) | Block matching method using moving target window | |
CN1656514A (en) | Unit for and method of estimating a current motion vector | |
KR100640498B1 (en) | Apparatus and method for concealing error of frame | |
CN113709458A (en) | Displacement vector prediction method, device and equipment in video coding and decoding | |
JP3466164B2 (en) | Image encoding device, image decoding device, image encoding method, image decoding method, and medium | |
US20230328282A1 (en) | Decoding method, inter-view prediction method, decoder, and encoder | |
JP2009164865A (en) | Video coding method, video decoding method, video coding apparatus, video decoding apparatus, programs therefor and computer-readable recording medium | |
KR100994771B1 (en) | Motion vector searching method and apparatus by block matching | |
Migliorati et al. | Multistage motion estimation for image interpolation | |
KR101011894B1 (en) | Method for coding or decoding groups of images | |
JP6390275B2 (en) | Encoding circuit and encoding method |