JP2002257543A - High precision stereo vision using continuous frame image - Google Patents

High precision stereo vision using continuous frame image

Info

Publication number
JP2002257543A
JP2002257543A JP2001059558A JP2001059558A JP2002257543A JP 2002257543 A JP2002257543 A JP 2002257543A JP 2001059558 A JP2001059558 A JP 2001059558A JP 2001059558 A JP2001059558 A JP 2001059558A JP 2002257543 A JP2002257543 A JP 2002257543A
Authority
JP
Japan
Prior art keywords
images
subject
stereo
corresponding point
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001059558A
Other languages
Japanese (ja)
Inventor
Shuichi Sasa
修一 佐々
Hiromi Gomi
広美 五味
Hiromichi Yamamoto
浩通 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NAT AEROSPACE LAB OF JAPAN MEX
NATIONAL AEROSPACE LABORATORY OF JAPAN MEXT
Original Assignee
NAT AEROSPACE LAB OF JAPAN MEX
NATIONAL AEROSPACE LABORATORY OF JAPAN MEXT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NAT AEROSPACE LAB OF JAPAN MEX, NATIONAL AEROSPACE LABORATORY OF JAPAN MEXT filed Critical NAT AEROSPACE LAB OF JAPAN MEX
Priority to JP2001059558A priority Critical patent/JP2002257543A/en
Publication of JP2002257543A publication Critical patent/JP2002257543A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a stereo camera system capable of solving the problem in the stereo camera system, ensuring corresponding point search between two images to thereby make deduction of a parallax value accurate, thereby increasing certainty of object shape recognition, and heightening its reproduction accuracy. SOLUTION: In this high precision stereo vision using a continuous frame image, plural pairs of stereo images from different viewpoints of a non- deformable object, and the corresponding point search having high correlation between each pair of images is executed to detect the parallax, and the object shape is operated from the parallax value, and the corresponding point search is executed similarly between each pair, and the object shape is operated, and data are accumulated, and overall operation of accumulated information is executed, to thereby ensure the object shape estimation value.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、移動するステレオ
カメラで撮影した複数の画像情報から地形を精度よく認
識する技術に関し、特に月面軟着陸の際の地形判定に適
したステレオカメラの技術に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for accurately recognizing a terrain from a plurality of pieces of image information captured by a moving stereo camera, and more particularly to a technique for a stereo camera suitable for determining a terrain during a soft landing on the moon.

【0002】[0002]

【従来の技術】所定距離離れて設置された二台のカメラ
で撮影した二枚の画像をもとに、被写体の三次元形状を
認識するステレオ写真の技術は、左右の目で二枚の画像
を別々に見て視覚によって立体視させるものや、二枚の
画像中から対応する点情報を見つけその視差からその点
の奥行き座標を演算で求める技術が知られている。とこ
ろで、わが国において近い将来無人の月面探査機を月面
に軟着陸させる計画があり、その月面軟着陸を確実にす
るには、月面に分布するクレータや岩石などの位置を認
識し、それを回避すべく探査機を誘導・制御する技術が
重要となる。そのためには視界情報を用いた地形の認識
が必須で、このステレオカメラを用いた三次元形状認識
技術、前述の後者の方式が注目されている。
2. Description of the Related Art A stereo photography technique for recognizing a three-dimensional shape of a subject based on two images taken by two cameras installed at a predetermined distance from each other is based on two images with right and left eyes. And a technique for visually observing the three-dimensional image separately and finding corresponding point information from two images to obtain the depth coordinates of the point from the parallax by calculation. By the way, in Japan in the near future, there is a plan to make an unmanned lunar explorer soft landing on the moon, and in order to ensure the soft landing on the moon, we will recognize the position of craters and rocks distributed on the moon, and Technology to guide and control the spacecraft to avoid it is important. For that purpose, it is necessary to recognize the terrain using the view information, and the three-dimensional shape recognition technology using the stereo camera and the latter method described above are attracting attention.

【0003】ここで、ステレオカメラによる地形検出の
原理を説明する。2台のカメラを用いたステレオ視によ
る外界認識においては、1回の撮影による左右のカメラ
画像の対応点から画像上の点の視差を求め、次式に基づ
きその点の座標を求める。 x=b(x+x)/2d y=b(y+y)/2d z=bf/d ここでfは焦点距離、bはカメラ間のベースライン距
離、dは視差であり、図3に示すように(x,y),
(x,y)は左右カメラ画面での対応点の座標であ
る。このように左右のカメラ画像上の各点の対応点探索
により視差を求め、これから対応する外界の点までの距
離を求めれば、前方の地形が求まることになる。
Here, the principle of terrain detection by a stereo camera will be described. In the external world recognition by stereo vision using two cameras, a parallax of a point on an image is obtained from corresponding points of left and right camera images obtained by one photographing, and coordinates of the point are obtained based on the following equation. x = b (x L + x R) / 2d y = b (y L + y R) / 2d z = bf / d where f is the focal length, b is the baseline distance between the cameras, d is the parallax, FIG As shown in FIG. 3, (x L , y L ),
(X R, y R) is the corresponding points of the left and right camera screen coordinates. As described above, if the parallax is obtained by searching for the corresponding points on the left and right camera images and the distance to the corresponding point in the outside world is obtained, the terrain ahead can be obtained.

【0004】上記のような左右のカメラ画像の対応点探
索にはいくつかの手法があるが、その代表的なものは、
area・based・matchingを用いるもの
である。これは図4に示すように左右のカメラ画像上に
設定したウインドー内において各ピクセルごとの画像の
差を、例えば次式のように評価する。
There are several methods for searching for corresponding points of the left and right camera images as described above.
Area, based, and matching are used. As shown in FIG. 4, the difference between the images for each pixel in the window set on the left and right camera images is evaluated by, for example, the following equation.

【数1】 このような左右のウインドー内の画像の差に関する評価
関数を直線上で比較し、それが最小になる点どうしを対
応点とし、その視差から距離情報を求めるものである。
ところがその場合、同一画像上の異なる場所でのパター
ンの類似性が強い場合や、画像ノイズがある場合には対
応点探索に失敗し、異なる点を対応させてしまい視差値
を誤認して計算し、地形の推定を大きく誤ることが起こ
る。また、以上のようにカメラの1フレームのみを用い
たステレオ画像処理では、部分的な地形検出は可能であ
っても画面全体の地形検出が不可能であったり、検出で
きても大きな誤差を伴う場合もある。このようにこのス
テレオカメラ方式は、二枚の画像間の対応点探索の難し
さなどで、地形認識の確実性や実現精度に問題がある。
(Equation 1) The evaluation function relating to the difference between the images in the left and right windows is compared on a straight line, and points where the evaluation function is the smallest are set as corresponding points, and distance information is obtained from the parallax.
However, in such a case, if the similarity of the pattern at different places on the same image is strong, or if there is image noise, the corresponding point search will fail, and the different points will be corresponded, and the disparity value will be misidentified and calculated. In some cases, the terrain estimation may be wrong. Also, in the stereo image processing using only one frame of the camera as described above, it is impossible to detect the terrain of the entire screen even if partial terrain can be detected, or even if it can be detected, a large error is involved. In some cases. As described above, this stereo camera method has a problem in certainty and realization accuracy of terrain recognition due to difficulty in searching for a corresponding point between two images.

【0005】[0005]

【発明が解決しようとする課題】本発明の課題は、上記
のようなステレオカメラ方式における問題点を解決し、
二枚の画像間の対応点探索を確かなものとすることで視
差の値の割りだしを正確にし、よって被写体形状認識の
確実性を増すと共に、その再現精度が高いステレオカメ
ラ方式を提供することにある。
SUMMARY OF THE INVENTION An object of the present invention is to solve the above-mentioned problems in the stereo camera system.
To provide a stereo camera system that can accurately determine the value of parallax by ensuring the corresponding point search between two images, thereby increasing the certainty of object shape recognition and having high reproducibility. It is in.

【0006】[0006]

【課題を解決するための手段】本発明の連続フレーム画
像を用いた高精度ステレオビジョンは、変形しない被写
体の異なる視点からのステレオ画像を複数組取得して各
組の画像間の相関関係の高い対応点探索を実行して視差
を検知し、該視差値から被写体形状を演算し、各組にお
いても同様に対応点探索を実行して被写体形状を演算し
てデータを蓄積すると共に複数組の該蓄積情報を総合演
算して被写体形状推定値を確かなものとするようにし
た。
In the high-precision stereo vision using continuous frame images according to the present invention, a plurality of sets of stereo images of a subject which are not deformed from different viewpoints are acquired, and the correlation between the images of each set is high. A corresponding point search is performed to detect parallax, a subject shape is calculated from the parallax value, and a corresponding point search is similarly performed for each set to calculate a subject shape, accumulate data, and perform a plurality of sets of data processing. The accumulated information is comprehensively calculated so that the estimated shape of the subject can be confirmed.

【0007】[0007]

【発明の実施の形態】本発明は、被写体形状が不変であ
り、カメラが移動体につけられたりして異なる視点から
の連続した画像が取得できる場合には、各フレームで得
られた形状情報を蓄積して、総合判断すれば画像間の対
応点探索において対応点を誤認する確率は減少し、各地
点毎の情報も信頼性が高くなるという基本思想に基くも
のである。すなわち、異なる角度、異なる視野からの画
像を基にしてある部分の特定を実行すれば、個々の点に
ついては画像上のランダムノイズの影響は平均化される
ことで少なくなる。その結果月面地形の観測においては
検出領域を拡張したり、地形推定の高精度化をはかるこ
とが可能である。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In the present invention, when the shape of a subject is invariable and a camera is attached to a moving object and continuous images can be obtained from different viewpoints, the shape information obtained in each frame is obtained. The accumulation and comprehensive judgment are based on the basic idea that the probability of erroneously recognizing a corresponding point in a corresponding point search between images is reduced, and that information at each point is also more reliable. That is, if a certain portion is specified based on images from different angles and different fields of view, the influence of random noise on the image at each point is reduced by averaging. As a result, it is possible to extend the detection area and improve the accuracy of the terrain estimation in observing the lunar terrain.

【0008】連続して撮影された複数のステレオ画像情
報処理により、地形の認識精度を観測回数の増加に伴い
向上させる手法について示す。まず、高精度化のための
統計処理についてであるが、本発明では平均処理と
重み付き平均処理の手法を採用した。 (1)平均処理 対象(被写体)表面を絶対空間座標(X,Y,Z)で表
すものとし、その二次元座標上の格子点(X,Y
における地形(奥行き座標値)Zi,jのフレーム画像
kにおける推定値を ijk で表すものとする。この
とき連続したステレオカメラ撮影でM個の推定値が得ら
れたら、M番目までのフレーム情報を用いた地形の推定
値は、それらの平均値により
A method for improving the recognition accuracy of the terrain as the number of observations increases by processing information of a plurality of continuously captured stereo images will be described. First, with regard to statistical processing for higher accuracy, the present invention employs a method of averaging and weighted averaging. (1) Averaging processing The surface of a target (subject) is represented by absolute space coordinates (X, Y, Z), and grid points (X i , Y j ) on the two-dimensional coordinates are used.
The estimated value of the terrain (depth coordinate value) Z i, j in the frame image k is denoted by Z ijk . At this time, if M estimated values are obtained by continuous stereo camera shooting, the estimated value of the terrain using the M-th frame information is obtained by averaging those values

【数2】 とすればよい。各フレームにおける推定誤差の分散がσ
ij で与えられるとすると、 ij の推定誤差分散
は σij /M となり、推定誤差分散がM個のフ
レームの処理により、1/Mに減少することが分かる。
以上のように被写体の各部分の形状(奥行き座標値)に
関し、複数組の画像からデータを取りこむことにより誤
差の少ない信頼性の高い情報を得ることができる。なお
逐次処理を考慮する場合は
(Equation 2)And it is sufficient. The variance of the estimation error in each frame is σ
ij 2Given byZ ij MError variance of
Is σij 2 / M and the estimated error variance is M
It can be seen that the processing is reduced to 1 / M by the processing of the frame.
As described above, the shape (depth coordinate value) of each part of the subject
Error caused by capturing data from multiple sets of images.
Highly reliable information with little difference can be obtained. Note that
When considering sequential processing

【数3】 とすれば、1回前の推定結果のみを記憶するだけでよ
く、記憶領域の節約が可能である。
(Equation 3) In this case, only the result of the previous estimation need be stored, and the storage area can be saved.

【0009】(2)重み付き平均処理 フレームkにおける推定値 ijk と、その推定誤差
分散σij が評価可能であるなら、推定値のフレー
ム間の独立性や推定誤差分布の正規性を仮定するZij
の確率分布は
(2) Weighted average processing If the estimated value Z ijk in the frame k and its estimated error variance σ ij 2 can be evaluated, it is assumed that the estimated value is independent between frames and that the estimated error distribution is normal. Z ij
Is the probability distribution of

【数4】 となるので、M個のフレームの画像を得た時の確率は(Equation 4) Therefore, the probability of obtaining images of M frames is

【数5】 となる。指数部の符号を変えたものをJと書けば、M個
のフレームの画像を得た時の最適推定値(最尤推定)は
(Equation 5) Becomes If the sign of the exponent part is changed and written as J, the optimal estimated value (maximum likelihood estimation) when M frames of images are obtained is

【数6】 より(Equation 6) Than

【数7】 のような、各フレームにおける推定誤差の重み付き加算
とすればよい。すなわち、各フレームの推定誤差分散σ
ij に基く重み付けにより、被写体の各部分の形状
(奥行き座標値)に関し単なる加算平均よりも信頼性の
高い情報を得ることが出来る。なお、逐次処理型への式
変形は先の加算平均の場合と同様に
(Equation 7) The weighted addition of the estimation error in each frame as described above may be performed. That is, the estimated error variance σ of each frame
ij The weighting based on 2, than mere averaging relates shape of each part of the subject (depth coordinate values) can be obtained a highly reliable information. In addition, the equation transformation to the sequential processing type is performed in the same

【数8】 上記のように一回前の推定結果を用いる計算とすれば、
少ない記憶容量で演算が実行できる。
(Equation 8) If the calculation using the result of the previous estimation as described above,
Calculation can be performed with a small storage capacity.

【0010】さて、月面探査機のような移動体上に設置
されたカメラで時系列的に撮影された画像はカメラ座標
において一致しているものの、各撮影時点のカメラ座標
は被写体に対する位置関係を異にしている。求めるべき
被写体形状、例えば月面の地形であれば月面を基準とし
た座標、一般的には絶対空間座標における情報として求
めることが必要である。カメラが運動しているときに時
系列的に撮影した複数組のフレームから、絶対空間での
地形を求めるためには、各フレームに対応するカメラ座
標が相違しているので、座標変換し一致させなければデ
ータを綜合することができない。そこで、本発明ではカ
メラを設置した月面探査機のような移動体の移動量を慣
性センサ等により検出し、各カメラ座標系を補正変換す
るようにしている。これにより時系列的に撮影しそれぞ
れ座標系を異にした複数組のフレームの対応が可能とな
る。
[0010] Images taken in time series by a camera installed on a moving object such as a lunar explorer are coincident in camera coordinates, but the camera coordinates at each photographing time are relative to the subject. Are different. It is necessary to obtain the shape of the subject to be obtained, for example, information on the coordinates of the lunar surface in the case of the terrain on the lunar surface, generally in absolute space coordinates. In order to determine the terrain in the absolute space from multiple sets of frames taken in chronological order while the camera is moving, the camera coordinates corresponding to each frame are different. Without it, data cannot be integrated. Therefore, in the present invention, the amount of movement of a moving body such as a lunar explorer equipped with a camera is detected by an inertial sensor or the like, and each camera coordinate system is corrected and converted. This makes it possible to handle a plurality of sets of frames that are photographed in time series and have different coordinate systems.

【0011】本発明を月面探査機の月面軟着陸における
着地点観測に用いることは、着地目標地形は不変であ
り、着陸降下に伴い連続フレーム(現状技術で数Hz)
の画像が取得できるため、外界に相当する月面地形の検
出法として有望である。しかし本発明は月面軟着陸にお
ける着地点観測に限られず、この他、ロボットなど自律
移動体における外界認識技術にそのまま応用することが
できる。また、本発明は異なる視点からの画像を綜合す
るものであるため、物体の影などに入り、左右のカメラ
画像で対応点の存在しない領域(オクルージョン)につ
いても、異なる視点からその部分の画像を取得すること
ができ、抜けのない表面形状の認識を可能にするもので
ある。
The use of the present invention for observing the landing site in the lunar soft landing by the lunar explorer is that the landing target terrain is invariable, and a continuous frame (several Hz according to the current technology) is involved with the landing descent.
Is promising as a method for detecting the lunar topography corresponding to the outside world. However, the present invention is not limited to observation of a landing point on a soft landing on the moon, and can be applied to an external world recognition technology for an autonomous mobile body such as a robot. In addition, since the present invention integrates images from different viewpoints, even in an area (occlusion) in which a corresponding point does not exist in the left and right camera images due to shadows of an object, an image of the portion is viewed from a different viewpoint. It can be obtained and enables recognition of the surface shape without omission.

【0012】[0012]

【実施例1】本発明を実施できるシステムの具体例の基
本構成図を図1に示し、その動作を図2のフローチャー
トによって説明する。まず、装置として所定間隔をもた
せて左側のカメラLと右側のカメラRを機体に直接固定
する。該カメラL,RはCCD等の撮像素子を備えデジ
タル情報を出力するカメラを用い、左右のカメラの撮影
画像は逐次それぞれのRAMの画像メモリ領域に蓄積さ
れる。[ステップ1]このシステムはコンピュータを備
え、該コンピュータのCPUは両画像の画素毎の比較
(差)演算をして全画素について最も相関関係の高くな
る対応点探索を実行して視差を求め[ステップ2]、こ
の視差値に基いて地形の起伏情報を演算する[ステップ
3]。複数組のステレオ画像についてデータを取りこみ
同様の演算を行って、求めた起伏情報について慣性セン
サなどにより別途計測された機体の移動量に基く座標変
換を施しある基準座標系における起伏情報に変換した
後、順次記憶蓄積する。[ステップ4]また、このコン
ピュータは複数組のステレオ画像から算出した地形の起
伏情報を比較検討する機能を備えている[ステップ
6]。すなわち、ある組の形状推定データが他のデータ
との差が大きいときは、多数決原理に基きそのステレオ
画像は対応点探索を誤認しているものと判断し、対応点
探索をやり直す。その場合、画像にノイズが入っている
ことがあり得るので他の組の画像データとの比較をし、
相関の悪い部分のデータを不採用とする処理を行う。す
なわち、推定値が大きく異なる個所の画像データを削除
する[ステップ8]。確かな画像データをもとに再度対
応点の探索を実行し視差を割り出す[ステップ9]。新
たな視差値をもとに再度その組の形状推定値を演算し、
上書き記憶する[ステップ10]。複数組のステレオ画像
の有効として採用されたデータを平均処理、或いは重み
付きの平均処理を実行して信頼性を高めた地形情報を演
算する[ステップ11]。演算した結果の形状最適推定情
報を記憶し[ステップ12]、作業を終了する。なお、こ
のシステムは月面探査機にあっては地上のセンターのよ
うな遠隔の指令部署のコントローラやモニター用のディ
スプレイと通信接続されている。
Embodiment 1 FIG. 1 shows a basic configuration diagram of a specific example of a system capable of implementing the present invention, and its operation will be described with reference to the flowchart of FIG. First, the left camera L and the right camera R are directly fixed to the body at predetermined intervals as a device. The cameras L and R are provided with an image sensor such as a CCD and output digital information. Images taken by the left and right cameras are sequentially stored in image memory areas of respective RAMs. [Step 1] This system includes a computer, and the CPU of the computer performs a comparison (difference) operation for each pixel of both images, executes a corresponding point search with the highest correlation for all pixels, and obtains disparity [ Step 2], undulation information of the terrain is calculated based on the parallax value [Step 3]. After taking data for a plurality of sets of stereo images and performing the same calculation, the obtained undulation information is converted into undulation information in a reference coordinate system by performing coordinate conversion based on the amount of movement of the aircraft separately measured by an inertial sensor etc. Are sequentially stored and accumulated. [Step 4] The computer has a function of comparing and examining terrain undulation information calculated from a plurality of sets of stereo images [Step 6]. That is, when a certain set of shape estimation data has a large difference from other data, it is determined that the corresponding stereo image is erroneously recognized as the corresponding point search based on the majority rule, and the corresponding point search is performed again. In that case, since the image may contain noise, compare with other sets of image data,
A process of rejecting data of a portion having poor correlation is performed. That is, the image data at the location where the estimated value is significantly different is deleted [Step 8]. Based on the reliable image data, the corresponding point is searched again to calculate the parallax [Step 9]. Based on the new parallax value, the shape estimation value of the set is calculated again,
Overwrite and store [Step 10]. An averaging process or a weighted averaging process is performed on the data adopted as the validity of a plurality of sets of stereo images to calculate terrain information with improved reliability [step 11]. The calculated shape optimum estimation information is stored [Step 12], and the operation is terminated. In the lunar rover, this system is communicatively connected to a controller or monitor display of a remote commanding unit such as a ground center.

【0013】[0013]

【発明の効果】本発明の連続フレーム画像を用いた高精
度ステレオビジョンは、変形しない被写体の異なる視点
からのステレオ画像を複数組取得するステップと、各組
の画像間の相関関係の高い対応点探索を実行して視差を
検知するステップと、該視差値から被写体形状を演算す
るステップと、各組間においても同様に対応点探索を実
行して被写体形状を演算してデータを蓄積するステップ
と、該蓄積情報を総合演算して被写体形状推定値を確か
なものとするステップとからなるものであるから、対応
点探索の誤認が防止でき、ステレオ画像としての視差値
の信頼性が高いものとなる。また、複数組のステレオ画
像をもとにした被写体形状推定値を綜合するものである
ため、その推定値は信頼性が高く、高精度化が計られた
ものである。蓄積情報の総合演算方法として、複数組の
ステレオ画像に基く形状推定値の平均処理を行えば、そ
の推定誤差は統計上組数分の1に減少することになる。
又、推定誤差分散が評価可能であるならば、それに基い
て各画像の部分毎に重み付けをした平均処理を行うこと
で、更にその推定値は信頼性が高く、高精度化が計られ
る。また、総合演算において採用する蓄積情報を、他の
組の被写体形状推定値との相関が高い被写体形状推定値
のみとすることにより、画像上のノイズ成分を効果的に
除去して更にその推定値は信頼性が高く、高精度化が計
られる。
According to the high-precision stereo vision using continuous frame images of the present invention, a step of acquiring a plurality of sets of stereo images of a subject that does not deform from different viewpoints, and a corresponding point having a high correlation between the images of each set. Performing a search to detect parallax, calculating a subject shape from the parallax value, and similarly performing a corresponding point search between each pair to calculate the subject shape and accumulate data. And a step of comprehensively calculating the accumulated information to secure the subject shape estimated value. Therefore, it is possible to prevent erroneous recognition of the corresponding point search and to have high reliability of the parallax value as a stereo image. Become. In addition, since the estimated values of the object shape based on a plurality of sets of stereo images are integrated, the estimated values are highly reliable and highly accurate. If an averaging process of shape estimation values based on a plurality of sets of stereo images is performed as a method of comprehensively calculating accumulated information, the estimation error is statistically reduced to one-sixth of the number of sets.
If the estimation error variance can be evaluated, a weighted averaging process is performed for each part of each image based on the variance, so that the estimation value is more reliable and higher accuracy is achieved. Also, by using only the subject shape estimated value having a high correlation with the other set of subject shape estimated values as the accumulated information adopted in the comprehensive calculation, the noise component on the image is effectively removed, and the estimated value is further reduced. Has high reliability and high accuracy.

【0014】本発明の連続フレーム画像を用いた高精度
ステレオビジョンシステムは、移動できる物体に所定間
隔をとって据えつけられた2台のカメラと、該2台のカ
メラによって撮影された画像を記憶する記憶手段と、該
記憶された2枚の画像から対応点探索を実行して視差を
割り出す手段と、前記視差値から被写体形状を演算する
手段と、視角を異にする複数組のステレオ画像に基く被
写体形状を総合演算して被写体形状推定値を確かなもの
とする手段とからなるものであって、ハードとしてはカ
メラとコンピュータと距離検出手段を備えていればよ
く、このシステムは月面探査機やロボットなどに搭載が
可能である。そして、この構成によって上記したような
高精度ステレオビジョンとしての効果を奏するものであ
るから、月面軟着陸における目的地形の推定や自律移動
における外界認識のシステムとして大いに有望である。
A high-precision stereo vision system using continuous frame images according to the present invention stores two cameras mounted on a movable object at predetermined intervals and stores images captured by the two cameras. Storage means for performing a corresponding point search from the two stored images to determine parallax; means for calculating a subject shape from the parallax value; and a plurality of sets of stereo images having different viewing angles. Means for comprehensively calculating the base object shape to secure the estimated value of the object shape. The hardware only needs to include a camera, a computer, and a distance detecting means. It can be mounted on machines and robots. Since this configuration produces the effect of high-precision stereo vision as described above, it is very promising as a system for estimating the target terrain in soft landing on the moon and recognizing the outside world in autonomous movement.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の連続フレーム画像を用いた高精度ステ
レオビジョンシステムの基本構成を示す図である。
FIG. 1 is a diagram showing a basic configuration of a high-precision stereo vision system using continuous frame images according to the present invention.

【図2】本発明の動作を説明するフローチャートであ
る。
FIG. 2 is a flowchart illustrating the operation of the present invention.

【図3】ステレオビジョンの原理を説明する図である。FIG. 3 is a diagram illustrating the principle of stereo vision.

【図4】ステレオビジョンにおける左右の画像の対応点
を説明する図である。
FIG. 4 is a diagram illustrating corresponding points of left and right images in stereo vision.

【符号の説明】[Explanation of symbols]

b カメラ間距離 P ピクセル画像 X,Y,Z 絶対座標軸 O 左カメラ光学
軸 X,Y 左カメラ座標軸 O 右カメラ光学
軸 X,Y 右カメラ座標軸
b camera distance P pixel image X, Y, Z absolute coordinate axis O L left camera optical axis X L, Y L left camera coordinate axes O R right camera optical axis X R, Y R right camera coordinate axis

フロントページの続き (72)発明者 山本 浩通 東京都調布市深大寺東町7丁目44番地1 文部科学省航空宇宙技術研究所内 Fターム(参考) 2F065 AA04 AA53 BB05 CC00 EE00 FF05 FF09 FF67 JJ03 JJ05 JJ26 QQ03 QQ18 QQ24 QQ27 QQ28 QQ41 QQ42 Continuing from the front page (72) Inventor Hiromichi Yamamoto 7-44, Jindaiji-Higashicho, Chofu-shi, Tokyo F-term (reference) 2F065 AA04 AA53 BB05 CC00 EE00 FF05 FF09 FF67 JJ03 JJ05 JJ26 QQ03 QQ18 QQ24 QQ27 QQ28 QQ41 QQ42

Claims (4)

【特許請求の範囲】[The claims] 【請求項1】 変形しない被写体の異なる視点からのス
テレオ画像を複数組取得するステップと、各組の画像間
の相関関係の高い対応点探索を実行して視差を検知する
ステップと、該視差値から被写体形状を演算するステッ
プと、各組においても同様に対応点探索を実行して被写
体形状を演算してデータを蓄積するステップと、複数組
の該蓄積情報を総合演算して被写体形状推定値を確かな
ものとするステップとからなる連続フレーム画像を用い
た高精度ステレオビジョン。
1. A step of acquiring a plurality of sets of stereo images of a subject that is not deformed from different viewpoints, a step of performing a search for a corresponding point having a high correlation between the images of each set to detect parallax, Calculating the subject shape from the data, calculating the subject shape by similarly executing the corresponding point search in each set, and accumulating the data, and subjecting a plurality of sets of the accumulated information to comprehensive calculation to obtain the subject shape estimated value. High-precision stereo vision using continuous frame images consisting of steps to ensure
【請求項2】 蓄積情報の総合演算方法は、複数組のス
テレオ画像に基く形状推定値の平均処理又は重み付き平
均処理である請求項1に記載の連続フレーム画像を用い
た高精度ステレオビジョン。
2. The high-precision stereo vision using continuous frame images according to claim 1, wherein the integrated calculation method of the accumulated information is an averaging process or a weighted averaging process of shape estimation values based on a plurality of sets of stereo images.
【請求項3】 他の組の被写体形状推定値との相関が低
い被写体形状推定値は総合演算において採用される蓄積
情報から除外されるようにした請求項1又は2に記載の
連続フレーム画像を用いた高精度ステレオビジョン。
3. The continuous frame image according to claim 1 or 2, wherein a subject shape estimated value having a low correlation with another set of subject shape estimated values is excluded from accumulated information used in the comprehensive calculation. High precision stereo vision used.
【請求項4】 移動できる物体に所定間隔をとって据え
つけられた2台のカメラと、該2台のカメラによって撮
影された画像を記憶する記憶手段と、該記憶された2枚
の画像から対応点探索を実行して視差を割り出す手段
と、前記視差値から被写体形状を推定演算する手段と、
視角を異にする複数組のステレオ画像に基く被写体形状
情報を総合演算して被写体形状推定値を確かなものとす
る手段とからなる連続フレーム画像を用いた高精度ステ
レオビジョンシステム。
4. Two cameras mounted on a movable object at a predetermined interval, storage means for storing images taken by the two cameras, and Means for performing a corresponding point search to determine disparity, means for estimating and calculating the shape of the subject from the disparity value,
A high-precision stereo vision system using continuous frame images, comprising means for comprehensively calculating subject shape information based on a plurality of sets of stereo images having different viewing angles to secure a subject shape estimated value.
JP2001059558A 2001-03-05 2001-03-05 High precision stereo vision using continuous frame image Pending JP2002257543A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001059558A JP2002257543A (en) 2001-03-05 2001-03-05 High precision stereo vision using continuous frame image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001059558A JP2002257543A (en) 2001-03-05 2001-03-05 High precision stereo vision using continuous frame image

Publications (1)

Publication Number Publication Date
JP2002257543A true JP2002257543A (en) 2002-09-11

Family

ID=18919102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001059558A Pending JP2002257543A (en) 2001-03-05 2001-03-05 High precision stereo vision using continuous frame image

Country Status (1)

Country Link
JP (1) JP2002257543A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004061387A1 (en) * 2002-12-27 2004-07-22 Hiroshi Arisawa Multi-view-point video capturing system
JP2007327938A (en) * 2006-05-10 2007-12-20 Topcon Corp Image processing device and method therefor
CN101915571A (en) * 2010-07-20 2010-12-15 桂林理工大学 Full-automatic acquisition method for image matching initial parallax based on phase correlation
CN105812769A (en) * 2016-04-06 2016-07-27 四川大学 High-precision parallax tracker based on phase correlation

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004061387A1 (en) * 2002-12-27 2004-07-22 Hiroshi Arisawa Multi-view-point video capturing system
JP2007327938A (en) * 2006-05-10 2007-12-20 Topcon Corp Image processing device and method therefor
CN101915571A (en) * 2010-07-20 2010-12-15 桂林理工大学 Full-automatic acquisition method for image matching initial parallax based on phase correlation
CN101915571B (en) * 2010-07-20 2011-08-10 桂林理工大学 Full-automatic acquisition method for image matching initial parallax based on phase correlation
CN105812769A (en) * 2016-04-06 2016-07-27 四川大学 High-precision parallax tracker based on phase correlation
CN105812769B (en) * 2016-04-06 2018-04-03 四川大学 Based on the related high-precision parallax tracker of phase

Similar Documents

Publication Publication Date Title
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
CN112785702B (en) SLAM method based on tight coupling of 2D laser radar and binocular camera
KR101776622B1 (en) Apparatus for recognizing location mobile robot using edge based refinement and method thereof
KR101725060B1 (en) Apparatus for recognizing location mobile robot using key point based on gradient and method thereof
KR101708659B1 (en) Apparatus for recognizing location mobile robot using search based correlative matching and method thereof
KR101776620B1 (en) Apparatus for recognizing location mobile robot using search based correlative matching and method thereof
KR101776621B1 (en) Apparatus for recognizing location mobile robot using edge based refinement and method thereof
KR100930626B1 (en) Object Posture Recognition Method of Robot with Stereo Camera
JP2002024807A (en) Object movement tracking technique and recording medium
CN110827321B (en) Multi-camera collaborative active target tracking method based on three-dimensional information
JPH07262375A (en) Mobile object detector
JP2006252275A (en) Restoration system of camera motion and object shape
JP7354767B2 (en) Object tracking device and object tracking method
CN110243390B (en) Pose determination method and device and odometer
CN113012224B (en) Positioning initialization method and related device, equipment and storage medium
JP4836065B2 (en) Edge tracking method and computer program therefor
JP2020125960A (en) Moving object position estimating device and moving object position estimating program
JP6659095B2 (en) Image processing apparatus, image processing method, and program
JP2010009236A (en) Plane area estimation device and program
JP2002257543A (en) High precision stereo vision using continuous frame image
US9245343B1 (en) Real-time image geo-registration processing
JP3512919B2 (en) Apparatus and method for restoring object shape / camera viewpoint movement
CN114119652A (en) Method and device for three-dimensional reconstruction and electronic equipment
JP3230292B2 (en) Three-dimensional object shape measuring device, three-dimensional object shape restoring device, three-dimensional object shape measuring method, and three-dimensional object shape restoring method
CN115700507B (en) Map updating method and device

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20030916