JPH1096607A - Object detector and plane estimation method - Google Patents

Object detector and plane estimation method

Info

Publication number
JPH1096607A
JPH1096607A JP8253423A JP25342396A JPH1096607A JP H1096607 A JPH1096607 A JP H1096607A JP 8253423 A JP8253423 A JP 8253423A JP 25342396 A JP25342396 A JP 25342396A JP H1096607 A JPH1096607 A JP H1096607A
Authority
JP
Japan
Prior art keywords
plane
straight line
parallax
image
planar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8253423A
Other languages
Japanese (ja)
Inventor
Yasuyuki Domoto
泰之 道本
Masato Nishizawa
眞人 西澤
Katsumasa Onda
勝政 恩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP8253423A priority Critical patent/JPH1096607A/en
Publication of JPH1096607A publication Critical patent/JPH1096607A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To improve accuracy of detecting an object by exactly estimating a three dimensional position of a plane object without being affected by an object other than the plane object. SOLUTION: By using a stereo image photographed with a plurality of photographing devices 1 and 2, parallax data as a kind of three dimensional data of the object photographed with a corresponding processor 5 is gained. At the initiation of the processing, the parallax data is input in a plane estimating part 50 and from the parallax data partially measured, the position of the plane object such as road and floor is estimated by means of Hough transform. After the initiation of processing, a new object put on the plane object is detected with a parallax change detector 8 using the reference of the position of the estimated plane object. At the time after the initiation of processing, the position information of the plane object already estimated by the corresponding processor 5 is input, and by means of the position information, the measuring range of three dimensional data such as parallax is limited.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、監視,計測などに
適用されるステレオ画像処理を用いた物体検出装置、お
よび平面推定方法に関するものである。
[0001] 1. Field of the Invention [0002] The present invention relates to an object detection apparatus using stereo image processing applied to monitoring, measurement, and the like, and a plane estimation method.

【0002】[0002]

【従来の技術】従来の物体検出装置は図11のフローチャ
ートに示すような動作機能を備えているものである。そ
の動作の流れを図11に基づいて以下に説明する。
2. Description of the Related Art A conventional object detection device has an operation function as shown in a flowchart of FIG. The flow of the operation will be described below with reference to FIG.

【0003】図11において、1,2は光軸が平行になる
ように配置された左右2台の撮像装置、3,4は各撮像
装置1,2からの画像データを格納する画像メモリ、5
は後述するように視差の計測を行う対応付け処理部、6
は対応付け処理部5からの視差画像データを格納する視
差画像メモリ、7は処理開始時の視差画像データを格納
する初期視差画像メモリ、8は、視差画像メモリ6と初
期視差画像メモリ7とに格納されている視差画像データ
に基づき、後述するように画像中の物体の存否を判断す
る視差変化検出部、9は視差変化検出部8により検出さ
れた物体の画像データを格納する物体検出画像メモリで
ある。
In FIG. 11, reference numerals 1 and 2 denote two right and left imaging devices arranged so that their optical axes are parallel to each other, and reference numerals 3 and 4 denote image memories for storing image data from the respective imaging devices 1 and 5;
Is an associating processing unit that measures parallax as described later, 6
Is a parallax image memory that stores parallax image data from the association processing unit 5, 7 is an initial parallax image memory that stores parallax image data at the start of processing, and 8 is a parallax image memory 6 and an initial parallax image memory 7. Based on the stored parallax image data, a parallax change detection unit 9 for determining the presence or absence of an object in the image as described later, and an object detection image memory 9 for storing image data of the object detected by the parallax change detection unit 8 It is.

【0004】前記装置においては、光軸が平行になるよ
うに配置された左右2台の撮像装置1,2によって撮影
された画像のうち、左画像を基準とする。左画像を図12
のように水平方向Mと垂直方向Nとの矩形領域に分割
し、対応付け処理部5によって両画像における同一物体
の像位置のズレすなわち視差を計測する。視差とは物体
までの距離に反比例するものである。
In the above-mentioned apparatus, a left image is used as a reference among the images taken by the two left and right imaging devices 1 and 2 arranged so that the optical axes are parallel to each other. Figure 12 on the left image
Then, the image is divided into rectangular areas in the horizontal direction M and the vertical direction N as described above, and the correspondence processing unit 5 measures the shift of the image position of the same object in both images, that is, the parallax. Parallax is inversely proportional to the distance to an object.

【0005】ステレオ画像処理法と対応付け方法の一例
として、実吉敬二 他著「3次元画像認識技術を用いた
運転支援システム」(自動車技術学会 学術講演会前刷
集9241992−10)に記載の方法を用いて説明する。
[0005] As an example of the stereo image processing method and the associating method, a method described in Keiji Mikiyoshi et al., "Driving support system using three-dimensional image recognition technology" (Preprint 9241992-10, Academic Lecture Meeting of the Society of Automotive Engineers of Japan) This will be described with reference to FIG.

【0006】以下では、図12(a)における左画像におけ
る矩形領域をブロック11ということにし、図12(b)に示
すように、1ブロックあたりm×n個の画素で構成され
ている。ブロック11内部におけるi番目の画素の明るさ
をLiとする。
Hereinafter, a rectangular area in the left image in FIG. 12A is referred to as a block 11, and as shown in FIG. 12B, each block is composed of m × n pixels. Let the brightness of the i-th pixel inside the block 11 be Li.

【0007】また、図13において、右画像20にも前記と
同様にm×n画素の矩形領域22を設定し、矩形領域22内
部におけるi番目の画素の明るさをRiとする。
In FIG. 13, a rectangular area 22 of m × n pixels is set in the right image 20 in the same manner as described above, and the brightness of the i-th pixel in the rectangular area 22 is defined as Ri.

【0008】これら左右画像間の矩形領域の類似度評価
値Cは(数1)で与えられる。
The similarity evaluation value C of the rectangular area between these left and right images is given by (Equation 1).

【0009】[0009]

【数1】 (Equation 1)

【0010】対応領域が存在する可能性のある右画像20
中の視差探索範囲21において、矩形領域22を水平方向に
1画素ずつ移動させて類似度評価値Cを計算し、この値
が最小になる領域を対応領域とする。この方法では、対
応領域を左画像におけるブロック11ごとに決定すること
ができ、また対応領域が決まれば、その対応領域の座標
位置から即座に(数2)を用いて視差Sを求めることがで
きる。
The right image 20 in which a corresponding area may exist
In the middle parallax search range 21, the similarity evaluation value C is calculated by moving the rectangular area 22 by one pixel in the horizontal direction, and an area where this value is minimum is defined as a corresponding area. In this method, the corresponding area can be determined for each block 11 in the left image, and when the corresponding area is determined, the parallax S can be immediately obtained from (Equation 2) from the coordinate position of the corresponding area. .

【0011】[0011]

【数2】S=X−XR 但し、XRは右画像における矩形領域のX座標 Xは左画像における矩形領域のX座標 基準とする左画像においてブロック11ごとに得られた視
差Sから、一般的に知られる下記の公式(数3)を用いて
物体までの距離Kを求めることもできる。
S = X−X R where X R is the X coordinate of the rectangular area in the right image X is the X coordinate of the rectangular area in the left image From the parallax S obtained for each block 11 in the left image as a reference, The distance K to the object can also be obtained using the following formula (Equation 3) which is generally known.

【0012】[0012]

【数3】 (Equation 3)

【0013】但し、2a:左右カメラ間距離 f :レンズ焦点距離 各ブロック11の位置ごとの視差を区別するため、各ブロ
ック11ごとに計測される物体までの視差を(数4)のよう
に、
However, 2a: the distance between the left and right cameras f: the lens focal length In order to distinguish the parallax for each position of each block 11, the parallax to the object measured for each block 11 is expressed by the following equation (4).

【0014】[0014]

【数4】視差:S(X,Y) 1≦X≦M, 1≦Y≦N と表記し、視差情報を持った画像を視差画像ということ
にする。特に、処理開始時刻tstartの視差画像を初期
視差画像と呼び、時刻t(t>tstart)の場合と区別す
る。初期視差画像が初期視差画像メモリ7に記憶される
ことになり、また現時刻の視差画像が視差画像メモリ6
に記憶される。
## EQU4 ## Parallax: S (X, Y) 1 ≦ X ≦ M, 1 ≦ Y ≦ N, and an image having parallax information is referred to as a parallax image. In particular, the parallax image at the processing start time t start is called an initial parallax image, and is distinguished from the case at time t (t> t start ). The initial parallax image is stored in the initial parallax image memory 7, and the parallax image at the current time is stored in the parallax image memory 6.
Is stored.

【0015】視差変化検出部8では、時刻t(現在)の視
差画像と時刻tstart(過去)の初期視差画像中の同一ブ
ロック間で視差を比較して、一定閾値以上の視差の変化
が生じている矩形領域には新たな物体の存在、あるいは
消失したものと判断する。
The parallax change detection unit 8 compares parallax between the same block in the parallax image at time t (present) and the initial parallax image at time tstart (past), and a parallax change equal to or greater than a certain threshold value occurs. It is determined that a new object exists or has disappeared in the rectangular area.

【0016】次に図14に基づいてハフ変換について説明
する。x−y平面上の直線30において、座標原点からお
ろした垂線31の長さをρ0、垂線31がx軸となす角度を
θ0とすると直線30は(数5)のように示される。
Next, the Hough transform will be described with reference to FIG. In the straight line 30 on the xy plane, if the length of the perpendicular 31 drawn from the coordinate origin is ρ 0 , and the angle between the perpendicular 31 and the x axis is θ 0 , the straight line 30 is expressed as (Equation 5).

【0017】[0017]

【数5】ρ0=xcosθ0+ysinθ0 そして、x−y平面上の点列(xi,yi){i=0,1,
2}に対して(数6)で求める、
Equation 5] ρ 0 = xcosθ 0 + ysinθ 0 Then, x-y point sequence on the plane (x i, y i) { i = 0,1,
Calculate 2} with (Equation 6),

【0018】[0018]

【数6】ρ=xicosθ0+yisinθ0 をρ−θ平面上で表すと図14のように合成3角関数とな
る。この正弦曲線をハフ曲線ということにする。このハ
フ曲線は点(xi,yi)を通るすべての直線を示してい
る。x−y平面上の点列(xi,yi)が直線上にある場
合、点列(xi,yi){i=0,1,2}を順次ρ−θ平面
でのハフ曲線にすると、図15のようにハフ曲線が1点35
で交差するようになる。最も多くの曲線が交差する点35
0,θ0)でx−y平面における直線30((数5)に示さ
れる)が決定される。
Ρ = x i cos θ 0 + y i sin θ 0 is expressed as a composite triangular function as shown in FIG. 14 when expressed on the ρ-θ plane. This sine curve is called a Hough curve. This Hough curve shows all straight lines passing through the point (x i , y i ). x-y sequence of points (x i, y i) on the plane Hough curves in the case, the point sequence (x i, y i) {i = 0, 1, 2} sequentially [rho-theta plane in a straight line Then, as shown in FIG.
At the intersection. Point 35 where the most curves intersect
A straight line 30 (shown in (Expression 5 )) on the xy plane is determined by (ρ 0 , θ 0 ).

【0019】以上の操作をハフ変換による直線当てはめ
という。ハフ変換による直線当てはめは、データ点列の
大局的状況を把握する直線検出法であるため、直線上に
はない点が混在していても、この影響を受けず直線検出
が行える。
The above operation is called a straight line fitting by Hough transform. Since the straight line fitting by the Hough transform is a straight line detection method for grasping the global situation of a data point sequence, even if points that are not on a straight line are mixed, the straight line can be detected without being affected by this.

【0020】[0020]

【発明が解決しようとする課題】前記従来の物体検出装
置において、検出判断の基準となる道路,床,壁等の比
較的大きい平面物体に対する3次元空間での位置を正確
に推定することが望まれている。
In the above-mentioned conventional object detection device, it is desired to accurately estimate the position in a three-dimensional space with respect to a relatively large planar object such as a road, a floor, or a wall, which is a reference for detection determination. It is rare.

【0021】そこで、本発明では平面の位置推定を行う
際に、大局的直線近似手法であるハフ変換を用いること
により、平面物体以外の物体に影響されずに平面物体の
3次元位置を正確に推定することを第1の目的とする。
Therefore, in the present invention, when estimating the position of a plane, the Hough transform, which is a global linear approximation method, is used to accurately determine the three-dimensional position of the plane object without being affected by objects other than the plane object. The first purpose is to estimate.

【0022】また、従来の物体検出装置は対応付け処理
部では、左右画像間の矩形領域を対応付ける際に、前記
類似度評価値Cが最小となる位置を対応領域としていた
が、平面上の矩形領域の中には特徴が少ないために類似
度評価値Cの最小点が明確に得られず、そのため視差デ
ータが求められない場合がある。
Further, in the conventional object detection device, when associating a rectangular area between the left and right images with the associating processing unit, the position where the similarity evaluation value C is minimum is used as the corresponding area. Since there are few features in the region, the minimum point of the similarity evaluation value C cannot be clearly obtained, and thus parallax data may not be obtained.

【0023】このことは、初期視差画像と現在時刻の視
差画像中の視差データが、ほとんどすべて得られている
ことを前提としている前記従来の物体検出装置では正確
な検出が行えないことになる。
This means that the conventional object detection device, on the premise that almost all of the parallax data in the initial parallax image and the parallax image at the current time have been obtained, cannot perform accurate detection.

【0024】そこで、本発明では平面物体の位置を推定
し、同一平面内の未確定の視差データを演算で補間し、
物体の検出を精度良く行えるようにすることを第2の目
的とする。
Therefore, in the present invention, the position of a planar object is estimated, and undetermined parallax data in the same plane is interpolated by calculation.
A second object is to enable object detection with high accuracy.

【0025】また、従来の対応付け処理において、図16
に示すように、視差の距離計測範囲40は撮像装置である
カメラ42から最も遠い物体と最も近い物体に合わせて設
定されており、画像中の位置によらず同一であった。し
かし、検出すべき物体はほとんどの場合、道路,床,壁
等の平面物体41よりもカメラ42側に存在し、しかも平面
物体41はカメラ42の光軸Lに対して直角以外の角度をと
る場合がほとんどであるので、これまでの手法では距離
計測すべき物体のない無駄な範囲についても視差を探索
していたため演算量が大きいといえる。
Further, in the conventional association processing, FIG.
As shown in FIG. 7, the parallax distance measurement range 40 was set in accordance with the object farthest from the camera 42 as the imaging device and the object closest to the camera 42, and was the same regardless of the position in the image. However, in most cases, the object to be detected is located closer to the camera 42 than the plane object 41 such as a road, a floor, or a wall, and the plane object 41 has an angle other than a right angle with respect to the optical axis L of the camera 42. In most cases, the parallax is searched for a useless range in which there is no object whose distance is to be measured, so that the calculation amount is large.

【0026】そこで、本発明では推定された平面の位置
情報をもとに視差の探索範囲を画像のブロック位置によ
って最適化し、対応付けの演算量を削減することを第3
の目的としている。
Therefore, in the present invention, the search range of the parallax is optimized by the block position of the image based on the position information of the estimated plane to reduce the amount of calculation of the correspondence.
The purpose is.

【0027】[0027]

【課題を解決するための手段】前記目的を達成するた
め、本発明の物体検出装置は、所定間隔で配置した複数
の撮像手段と、これらの撮像手段から出力される複数画
像を用いて3角測量の原理に基づき物体の3次元データ
を計測する対応付け処理部と、計測された3次元データ
に対してハフ変換処理を行うことにより平面物体の3次
元空間内における位置を推定する平面位置推定部とを備
えたものであり、この構成により、計測できた3次元デ
ータを基に画像中において大部分を占める道路,床,壁
等の平面物体の位置をハフ変換処理によって大局的に推
定することによって、平面物体以外の物体のもつ3次元
データに影響を与えず、平面物体の位置を精度よく推定
することができる。
In order to achieve the above object, an object detecting apparatus according to the present invention comprises a plurality of image pickup means arranged at a predetermined interval and a triangular image using a plurality of images output from these image pickup means. An association processing unit that measures three-dimensional data of an object based on the principle of surveying, and a plane position estimation that estimates a position of the planar object in a three-dimensional space by performing a Hough transform process on the measured three-dimensional data With this configuration, the positions of planar objects such as roads, floors, and walls that occupy most of the image in the image are globally estimated by Hough transform processing based on the measured three-dimensional data. Thus, the position of the planar object can be accurately estimated without affecting the three-dimensional data of the object other than the planar object.

【0028】また、前記物体検出装置において、前記平
面位置推定部が、画像中の平面物体の3次元空間内にお
ける位置を推定すると共に、同一平面内で3次元データ
が得られなかった矩形領域の3次元データを、すでに推
定した平面物体の位置から計算して補間し、撮像手段を
基準として平面物体とは異なる位置にある物体を検出す
るように構成したことにより、道路,床,壁等の平面物
体の位置を推定し、同一平面内の未計測の3次元データ
を推定した平面の位置から演算によって補間することに
よって、視差データが未計測であることによる検出漏れ
を防ぐことができる。この結果、平面物体とは離れた位
置にある物体を検出する場合の検出精度を向上すること
ができる。
In the object detection apparatus, the plane position estimating unit estimates the position of a plane object in an image in a three-dimensional space, and determines the position of a rectangular area in which three-dimensional data cannot be obtained in the same plane. The three-dimensional data is calculated and interpolated from the position of the planar object which has already been estimated, and an object located at a position different from the planar object is detected on the basis of the imaging means. By estimating the position of the plane object and interpolating the unmeasured three-dimensional data in the same plane by calculation from the estimated plane position, it is possible to prevent omission of detection due to unmeasured parallax data. As a result, it is possible to improve the detection accuracy when detecting an object at a position distant from the planar object.

【0029】また、前記物体検出装置において、前記平
面位置推定部が画像中の平面物体の3次元空間内におけ
る位置を推定し、撮像手段を基準として平面物体より遠
方にある物体については、前記対応付け処理部による3
次元データの計測を行わないように構成したことによ
り、撮像装置からみて推定した道路,床,壁等の平面よ
り遠方については3次元データの計測を行わないように
することで対応付け処理の演算量を削減することができ
る。
In the object detecting apparatus, the plane position estimating unit estimates the position of the plane object in the image in a three-dimensional space, and for an object that is farther from the plane object with respect to the imaging means, 3 by attachment processing part
By configuring so as not to measure the three-dimensional data, the calculation of the associating process is performed so that the three-dimensional data is not measured at a position farther than a plane such as a road, a floor, or a wall estimated from the imaging device. The amount can be reduced.

【0030】さらに、本発明の平面推定方法は、所定間
隔で配置された複数の撮像手段から出力される複数画像
を用いて、画像を水平方向と垂直方向とに分割して得ら
れる矩形小領域ごとに3次元データを求め、前記矩形小
領域を水平方向にグループ化した大領域ごとに、大領域
中に含まれる複数の3次元データからハフ変換により平
面通過直線を当てはめ、前記の演算処理をすべての前記
大領域に対して行うことによって3次元空間に存在する
平面物体の位置を推定する方法であり、この方法によ
り、平面内を通過する平面通過直線を近似する際にはハ
フ変換処理を用いるため、平面物体以外の物体に影響さ
れずに平面位置を大局的に推定することができる。
Further, according to the plane estimation method of the present invention, a rectangular small area obtained by dividing an image into a horizontal direction and a vertical direction using a plurality of images output from a plurality of image pickup means arranged at predetermined intervals. For each large area obtained by grouping the rectangular small areas in the horizontal direction, a plane-passing straight line is applied by a Hough transform from a plurality of three-dimensional data included in the large area, and the arithmetic processing is performed. This is a method of estimating the position of a planar object existing in a three-dimensional space by performing the above processing on all the large regions. By this method, when approximating a straight line passing through a plane, a Hough transform process is performed. Since it is used, the plane position can be globally estimated without being affected by objects other than the plane object.

【0031】また、前記平面推定方法において、大領域
ごとに当てはめられた前記平面通過直線の直線パラメー
タの1つである直線の傾きを用い、各平面通過直線の合
計本数の傾きを大きさでソートすることによって傾きの
中央値を求め、すべての平面通過直線の傾きを前記中央
値で置き換えることによって得られる、傾きが補正され
た平面通過直線を用いて、3次元空間に存在する平面物
体の位置を推定することにより、直線パラメータの1つ
である傾きは本来すべての平面通過直線で同一となるべ
きであることから、各平面通過直線の傾きを最も信頼性
の高い傾きに置き換えることによって、全平面通過直線
の傾きに関する信頼性を向上することができる。
In the above-mentioned plane estimating method, the slope of the total number of each straight line passing through the planes is sorted by the magnitude using the slope of the straight line which is one of the straight line parameters of the straight line passing through the plane applied to each large area. The position of a plane object existing in a three-dimensional space is obtained by using the corrected plane-passing straight line obtained by replacing the gradients of all the plane-passing straight lines with the above-mentioned median. Is estimated, the slope, which is one of the straight line parameters, should originally be the same for all plane-passing straight lines. Therefore, by replacing the slope of each plane-passing straight line with the most reliable slope, The reliability of the inclination of the straight line passing through the plane can be improved.

【0032】また、前記平面推定方法において、前記傾
きが補正された平面通過直線における直線パラメータで
ある原点からの距離を用い、ハフ変換により距離補正直
線を当てはめ、この距離補正直線に交わるように傾きが
補正された直線を平行移動することによって得られる直
線群を用いて、3次元空間に存在する平面物体の位置を
推定することにより、平面通過直線が同一平面内にある
べきであるという条件を用いて、各平面通過直線が有す
るもう1つの直線パラメータである原点からの距離に対
して、ハフ変換を行うことによって距離補正直線を獲得
して、各平面通過直線が距離補正直線に交わるように各
平面通過直線の原点からの距離を補正するので、各平面
通過直線の原点からの距離に関する信頼性を向上するこ
とができる。
In the above-mentioned plane estimating method, a distance correction straight line is fitted by Hough transform using a distance from the origin, which is a straight line parameter of the plane-passing straight line whose inclination has been corrected, and the slope is corrected so as to intersect the distance correction straight line. By estimating the position of a planar object existing in a three-dimensional space using a group of straight lines obtained by translating the corrected straight line, the condition that the straight line passing through the plane should be in the same plane is obtained. The distance correction straight line is obtained by performing Hough transform on the distance from the origin, which is another straight line parameter of each plane passing straight line, so that each plane passing straight line intersects the distance correction straight line. Since the distance from the origin of each straight line passing through the plane is corrected, the reliability of the distance from the origin of each straight line passing through the plane can be improved.

【0033】[0033]

【発明の実施の形態】以下、本発明の好適な実施形態に
ついて図面に基づき説明する。なお、図11〜図16におい
て説明した部材に対応する部材には同一符号を付して詳
しい説明は省略する。
Preferred embodiments of the present invention will be described below with reference to the drawings. Members corresponding to the members described in FIGS. 11 to 16 are denoted by the same reference numerals, and detailed description is omitted.

【0034】図1は本発明の一実施形態を説明するため
の物体検出装置の構成を示すブロック図であり、撮像装
置1,2のうち左画像を水平方向M、垂直方向Nのブロ
ック分割し、対応付け処理部5で各ブロックごとに物体
の3次元データとして視差S(X,Y)を獲得し、平面推
定部50では計測した視差を用いて平面位置を推定する。
視差変化検出部8は、処理開始時刻tstartにおける初
期視差画像メモリ7に画像データとして記憶されている
視差画像に対して、時刻t(t>tstart)における視差
画像メモリ6に画像データとして記憶されている視差画
像中の視差が、閾値TH以上変化したブロックを抽出
し、このブロックが示す位置に新たな物体が存在すると
判断するものである。
FIG. 1 is a block diagram showing the configuration of an object detection device for explaining an embodiment of the present invention. In the imaging devices 1 and 2, the left image is divided into blocks in the horizontal direction M and the vertical direction N. Then, the parallax processing unit 5 acquires the parallax S (X, Y) as three-dimensional data of the object for each block, and the plane estimating unit 50 estimates the plane position using the measured parallax.
The parallax change detection unit 8 stores the parallax image stored as image data in the initial parallax image memory 7 at the processing start time t start as image data in the parallax image memory 6 at time t (t> t start ). A block in which the parallax in the displayed parallax image has changed by the threshold value TH or more is extracted, and it is determined that a new object exists at a position indicated by the block.

【0035】以上のように構成された物体検出装置の動
作を図1を参照して説明する。時刻tstartを処理の開
始時刻とし、時刻tstartに画像が入力される場合と、
時刻t(t>tstart)に画像が入力される場合に分けて
動作説明する。
The operation of the object detection device configured as described above will be described with reference to FIG. Time t start is the processing start time, and an image is input at time t start ;
The operation will be described separately when an image is input at time t (t> t start ).

【0036】まず時刻tstartに撮像された画像は、対
応付け処理部5により左右画像間で対応付けが行われ、
画像上の位置のズレ情報すなわち視差Sを出力する。視
差とは3次元データの一種である。左画像メモリ3に記
憶されている左画像を分割してできる各ブロックごとの
視差S(X,Y)は平面推定部50に入力され、計測された
視差を用いて実空間上の平面の位置を推定する。平面推
定部50から出力されるのは各ブロックに視差S(X,Y)
が格納された初期視差画像である。
First, the image captured at the time t start is correlated between the left and right images by the correlating processor 5.
The positional information on the image, that is, parallax S, is output. Parallax is a type of three-dimensional data. The disparity S (X, Y) for each block, which is formed by dividing the left image and stored in the left image memory 3, is input to the plane estimating unit 50, and the position of the plane in the real space is calculated using the measured disparity. Is estimated. Output from the plane estimating unit 50 is a parallax S (X, Y) for each block.
Is the stored initial parallax image.

【0037】次に時刻t(t>tstart)の場合の処理の
流れについて説明する。対応付け処理部5までの動作は
前記した時刻tstartの場合と同じである。視差変化検
出部8では時刻tstartの初期視差画像と時刻t(t>t
start)の視差画像の各ブロックごとの視差S(X,Y)を
比較し、閾値TH以上の視差変化を検出する。時間的に
視差が変化するということは、物体の出入りがあったと
いうことになるため、視差に変化のあったブロックはマ
ーキングする等して物体検出画像として物体検出画像メ
モリ9へ出力されて格納される。
Next, the flow of processing at the time t (t> t start ) will be described. The operation up to the association processing unit 5 is the same as that at the time t start described above. The parallax change detection unit 8 compares the initial parallax image at time t start with time t (t> t
The parallax S (X, Y) of each block of the parallax image of ( start ) is compared, and a parallax change equal to or larger than the threshold value TH is detected. When the parallax changes with time, it means that an object has entered or exited. Therefore, a block in which the parallax has changed is output to the object detection image memory 9 and stored as an object detection image by marking or the like. Is done.

【0038】以下に基準画像とした左画像を水平方向M
個と垂直方向N個とのブロックに分割し、視差が決定で
きたブロックでは3次元データである視差データS
(X,Y)が得られているものとして、平面推定方式に
ついて説明する。
Hereinafter, the left image used as the reference image is defined as a horizontal image M
And N blocks in the vertical direction are divided into blocks.
Assuming that (X, Y) has been obtained, a plane estimation method will be described.

【0039】図2は平面推定を行うため動作に係るフロ
ーチャートであり、まず、ステップ(S1)において、
次のような平面通過直線の当てはめが行われる。
FIG. 2 is a flowchart relating to an operation for performing plane estimation. First, in step (S1),
The following fitting of the straight line passing through the plane is performed.

【0040】ここでは図12に示すように、説明の便宜
上、ブロックを(数7)のように表記する。
Here, as shown in FIG. 12, for convenience of explanation, the blocks are represented as (Equation 7).

【0041】[0041]

【数7】 ブロック:BL(X,Y)、1≦X≦M、1≦Y≦N また、平面推定方式の説明においては、インデックス
X,Yに視差データS(X,Y)を加えた図3のような3
次元のS−X−Y基準座標系を用いる。
## EQU00007 ## Block: BL (X, Y), 1≤X≤M, 1≤Y≤N In the description of the plane estimation method, the disparity data S (X, Y) is added to the indexes X, Y. 3 as in Figure 3
A dimensional SXY reference coordinate system is used.

【0042】図12中、太線で囲まれた領域12はブロック
BL(X,Y)のインデックスYを固定し、インデックス
Xのみを変化させることによって生成される領域であ
る。この領域12をGLと呼び、各GLを(数8)のように
表記する。
In FIG. 12, an area 12 surrounded by a thick line is an area generated by fixing the index Y of the block BL (X, Y) and changing only the index X. This area 12 is called GL, and each GL is described as in (Equation 8).

【0043】[0043]

【数8】領域:GL(Y)、1≦Y≦N GL中には最大でM個の視差データSが含まれる。GL
中に含まれる各ブロックごとに図4のように縦軸をブロ
ックの視差データS(X,Y)、横軸をブロックのインデ
ックスXとして視差データSをプロットする。平面通過
直線を当てはめる際に、インデックスYは固定してある
ので、S−X−Y基準座標空間上の点をS−X平面に投
写して説明する。プロットした各点(S(X,Y),X)に
対応する1本のハフ曲線が得られる。各点(S(X,
Y),X)すべてに対応するハフ曲線をρ−θ平面にプロ
ットすると図5のようになる。
## EQU8 ## Region: GL (Y), 1 ≦ Y ≦ N GL includes a maximum of M pieces of parallax data S. GL
As shown in FIG. 4, the disparity data S (X, Y) of the block is plotted on the vertical axis and the block index X is plotted on the horizontal axis for each block included therein. When applying the straight line passing through the plane, since the index Y is fixed, a description will be given by projecting a point on the SXY reference coordinate space onto the SX plane. One Huff curve corresponding to each plotted point (S (X, Y), X) is obtained. Each point (S (X,
When the Hough curves corresponding to all of Y) and X) are plotted on the ρ-θ plane, they are as shown in FIG.

【0044】[0044]

【数9】 ρ=Xcosθ+S(X,Y)sinθ、θstart≦θ≦θ
end ρ−θ平面においてハフ曲線が最も多く交差する点(ρ
K(Y)、θK(Y))と(数9)からS−X平面での直線70が
(数10)のように決定される。
Equation 9] ρ = Xcosθ + S (X, Y) sinθ, θ start ≦ θ ≦ θ
end The point at which the Hough curve intersects most in the ρ-θ plane (ρ
K (Y), θ K (Y)) and (Equation 9) give a straight line 70 on the SX plane.
It is determined as in (Equation 10).

【0045】[0045]

【数10】 (Equation 10)

【0046】ρ−θ平面において、ハフ曲線が最も多く
交差する点を検索する方法として、ρ−θ平面上の各点
を図5のように2次元配列HG(ρj,θj)とみなし、点
j,θj)をハフ曲線が通過するごとに2次元配列HG
j,θj)をインクリメントする。これにより最も度数
の大きい2次元配列HG(ρj,θj)を探索することによ
って、ハフ曲線が最も多く通過するρ−θ平面上の点
K(Y)、θK(Y))が求められる。
As a method of searching for the point where the Hough curve intersects most in the ρ-θ plane, each point on the ρ-θ plane is regarded as a two-dimensional array HG (ρ j , θ j ) as shown in FIG. ,point
Each time the Hough curve passes through (ρ j , θ j ), the two-dimensional array HG
j , θ j ) is incremented. By searching the two-dimensional array HG (ρ j , θ j ) having the highest frequency, the point on the ρ-θ plane through which the Hough curve passes most often
K (Y), θ K (Y)) are obtained.

【0047】すべての領域GL(Y)、1≦Y≦Nに含ま
れる視差データについて同様の処理を行い、合計N本の
平面通過直線を得る。各平面通過直線をS−X−Y基準
座標で示すと、図6のようになる。垂線の傾きθK(Y)
やY軸からの距離ρK(Y)にそれぞれ誤分θE(Y)、ρ
E(Y)が含まれるので、それぞれの信頼性の高い値θR
ρR(Y)に対して(数11)のようになる。
The same processing is performed on the parallax data included in all the areas GL (Y), 1 ≦ Y ≦ N, and a total of N plane-passing straight lines are obtained. FIG. 6 shows each straight line passing through the plane using SXY reference coordinates. Vertical inclination θ K (Y)
And the distance from the Y-axis ρ K (Y) to the error θ E (Y), ρ
Since E (Y) is included, each highly reliable value θ R ,
Equation (11) for ρ R (Y).

【0048】[0048]

【数11】θK(Y)=θR+θE(Y)、 ρK(Y)=ρR(Y)+ρE(Y) そのため、ここまでの処理では平面通過直線は必ずしも
同一平面内にはないが、以降の処理で補正する。
Θ K (Y) = θ R + θ E (Y), ρ K (Y) = ρ R (Y) + ρ E (Y) Therefore, in the processing so far, the straight line passing through the plane is not necessarily in the same plane. There is no, but it will be corrected in subsequent processing.

【0049】平面通過直線の傾き補正(ステップ(S2))
の説明。
Correction of inclination of straight line passing through plane (step (S2))
Description.

【0050】すなわち、平面通過直線群がすべて同一平
面内にあるとすれば、すべての平面通過直線のY軸への
垂線とX軸がなす角θK(Y)は同じになるはずである。
そこで各平面通過直線のX軸からの傾きとして置き換え
る。これにより、各平面通過直線がもつ垂線のX軸から
の傾きを、より信頼性の高い傾きθRで統一することが
できる。
That is, assuming that the plane-passing straight lines are all in the same plane, the angle θ K (Y) between the perpendicular to the Y-axis and the X-axis of all the plane-passing straight lines should be the same.
Therefore, each plane passing straight line is replaced with the inclination from the X axis. This makes it possible to unify the inclination of the perpendiculars of the straight lines passing through the planes from the X axis with a more reliable inclination θ R.

【0051】この操作を式で示すと、(数12)のように垂
線のX軸からの傾きθK(Y)には各平面通過直線ごとに
それぞれ誤差成分が含まれていたが、前記した処理によ
り(数13)のようにすべての平面通過直線の傾きから誤差
成分θE(Y)を除去できるとともに、最も信頼性の高い
傾きθRに置き換えることができる。
When this operation is expressed by an equation, the inclination θ K (Y) of the perpendicular from the X axis contains an error component for each straight line passing through the plane as shown in (Equation 12). Through the processing, the error component θ E (Y) can be removed from the inclinations of all the straight lines passing through the plane as shown in (Equation 13), and the inclination θ R can be replaced with the most reliable inclination.

【0052】[0052]

【数12】 (Equation 12)

【0053】[0053]

【数13】 (Equation 13)

【0054】この操作により、平面のY軸回りの傾きと
は異なる傾きを示していた平面通過直線を、傾きについ
ては補正することができる。現ステップでの各平面通過
直線をS−X−Y基準座標で示すと図7のように、すべ
ての平面通過直線の傾きが同一になっている。
By this operation, the straight line passing through the plane, which had a different inclination from the inclination of the plane around the Y axis, can be corrected for the inclination. When the straight lines passing through the plane at the current step are represented by SXY reference coordinates, as shown in FIG. 7, all the straight lines passing through the plane have the same inclination.

【0055】平面通過直線の距離補正(ステップ(S3))
の説明。
The distance correction of the straight line passing through the plane (step (S3))
Description.

【0056】3次元空間上に2つの平面があるとし、互
いの平面が平行ではない場合、2つの平面が交わる部分
は直線になるはずである。このことを利用して図8に示
した推定する平面物体100とY−ρK平面102が交わる直
線103をハフ変換を用いて当てはめる。なおρK軸はX軸
に対してθR傾いた軸である。
If there are two planes in the three-dimensional space, and the planes are not parallel to each other, the intersection of the two planes should be a straight line. The straight line 103 that planar object 100 and Y-[rho K plane 102 that estimates shown in FIG. 8 by utilizing this fact intersect fit using Hough transform. The ρ K axis is an axis inclined by θ R with respect to the X axis.

【0057】各平面通過直線のY軸からの距離、すなわ
ちρK(Y)を、図9のようにY−ρK平面にプロットす
る。Y−ρK平面102上でプロットした点(Y,ρK(Y))
に(数14)を用いてハフ変換を施す。
The distance of each straight line passing from the Y axis, that is, ρ K (Y) is plotted on the Y-ρ K plane as shown in FIG. Points plotted on Y-[rho K plane 102 (Y, ρ K (Y ))
Is subjected to Hough transform using (Equation 14).

【0058】[0058]

【数14】 ρ′=Ycosθ′+ρK(Y)sinθ′、θstart≦θ′≦θ′end ρ′−θ′平面でハフ曲線が最も多く交差した点
(ρ′S,θ′S)を得て、(数9)により図9の直線110を
当てはめる。この直線110は各平面直線の最もふさわし
いと思われるY軸からの距離を示すことから、距離補正
直線と呼ぶことにする。距離補正直線110は、S−X−
Y座標において図8中の距離補正直線103のように存在
する。また、この距離補正直線103は(数15)のように示
される。
Ρ ′ = Y cos θ ′ + ρ K (Y) sin θ ′, θ start ≦ θ ′ ≦ θ ′ end The point where the Hough curve intersects most in the ρ′−θ ′ plane
(ρ ′ S , θ ′ S ) is obtained, and the straight line 110 in FIG. The straight line 110 indicates a distance from the Y axis which is considered most suitable for each plane straight line, and will be referred to as a distance correction straight line. The distance correction straight line 110 is SX-
At the Y coordinate, there is a distance correction straight line 103 in FIG. Further, this distance correction straight line 103 is represented as (Equation 15).

【0059】[0059]

【数15】 (Equation 15)

【0060】距離補正直線110を利用して各平面通過直
線のY軸からの距離を最適値ρR(Y)に補正すると(数1
5)は(数16)となり、
When the distance from the Y axis of each straight line passing through the plane is corrected to the optimum value ρ R (Y) using the distance correction straight line 110,
5) becomes (Equation 16),

【0061】[0061]

【数16】 (Equation 16)

【0062】完全に誤差成分が除去される。各平面通過
直線をS−X−Y基準座標で示すと図10に示すとおりす
べて同一平面図上に存在するようになる。
The error component is completely removed. When the straight lines passing through each plane are represented by SXY reference coordinates, they all exist on the same plan view as shown in FIG.

【0063】平面の確定(ステップ(S4))の説明。Description of determination of plane (step (S4)).

【0064】以上のフェーズによって各平面通過直線が
すべて同一平面内に存在するようになり、平面は平面通
過直線群で近似される。平面上の視差データS(X,Y)
が未決定であれば、GL(Y)に対応する平面通過直線
(数16)を用いて補間することができる。
With the above-described phases, all the straight lines passing through the plane are present in the same plane, and the plane is approximated by a group of straight lines passing through the plane. Parallax data S (X, Y) on a plane
Is not determined, a straight line passing through the plane corresponding to GL (Y)
Interpolation can be performed using (Equation 16).

【0065】ところで、推定されている平面物体は、道
路や床、壁など物理的にそれより遠距離は撮像できない
ものであり、そのため平面物体より遠距離に存在する見
えない物体に対して対応付け処理を行っても無駄であ
る。
By the way, the estimated planar object cannot physically be imaged at a longer distance such as a road, a floor, or a wall. Therefore, it is associated with an invisible object present at a greater distance than the planar object. It is useless to perform the processing.

【0066】これに対応するため、前記した時刻t
startにおいて、視差の計測範囲の最大値dmaxと最小値
minとを物体までの距離に応じた適当な値に設定して
おき、最大値dmaxと最小値dminとの間で視差を探索す
るようにする(ここで、視差の最大値dmaxと最小値d
minの間を視差の探索範囲と呼ぶ)。そして、時刻t(t
>tstart)においてtstartで推定した平面物体の位置
と視差を基に、各ブロックごとに最大値dmaxと最小値
minの最適化を行うようにすることが考えられる。
To cope with this, the time t
At the start , the maximum value d max and the minimum value d min of the parallax measurement range are set to appropriate values according to the distance to the object, and the parallax is calculated between the maximum value d max and the minimum value d min. Search (where the maximum value d max and the minimum value d
The interval between min is called a parallax search range). Then, at time t (t
> T start ), it is possible to optimize the maximum value d max and the minimum value d min for each block based on the position and the parallax of the planar object estimated at t start .

【0067】そして、対応付け処理において、視差の探
索範囲の最小値dminを平面物体の視差とする。言い換
えれば距離計測範囲の最大値dmaxを平面物体までの距
離と最適化し、時刻t(t>tstart)の最適化された視
差探索範囲において対応付け処理を行うようにする。
In the associating process, the minimum value d min of the parallax search range is set as the parallax of the planar object. In other words, the maximum value d max of the distance measurement range is optimized with the distance to the planar object, and the matching process is performed in the optimized parallax search range at time t (t> t start ).

【0068】従来、視差の探索範囲は撮影した実空間に
おいて、計測したい物体までの距離の最大値と最小値か
ら設定されており、画像のすべてのブロックで一様であ
った。しかし本発明によれば、図16のようなカメラ42と
平面物体41の位置関係の場合、カメラ42を基準として推
定した平面物体41より奥の物体に対しては距離計測を行
わないようにすることになるため、演算量が大幅に削減
できる効果がある。
Conventionally, the parallax search range has been set from the maximum value and the minimum value of the distance to the object to be measured in the photographed real space, and has been uniform in all blocks of the image. However, according to the present invention, in the case of the positional relationship between the camera 42 and the plane object 41 as shown in FIG. 16, distance measurement is not performed on an object located behind the plane object 41 estimated based on the camera 42. As a result, the amount of calculation can be greatly reduced.

【0069】なお、本実施形態においては、3次元デー
タとして物体の視差を用いた例を説明したが、物体まで
の距離に置き換えても同様に行うことができる。
In the present embodiment, an example in which the parallax of an object is used as three-dimensional data has been described. However, the same operation can be performed by replacing the distance to the object.

【0070】前記したように本実施形態によって説明し
た物体検出装置および平面推定方法は、計測できた視差
データからハフ変換処理を用いて平面物体の位置を推定
するものである。
As described above, the object detecting apparatus and the plane estimating method described in the present embodiment are for estimating the position of a planar object from the measured parallax data using Hough transform processing.

【0071】したがって、大局的直線近似手法であるハ
フ変換を用いることにより、平面物体以外の物体に影響
されずに、平面物体の3次元位置を正確に推定すること
ができる。
Therefore, by using the Hough transform, which is a global linear approximation method, the three-dimensional position of a plane object can be accurately estimated without being affected by objects other than the plane object.

【0072】また、同一平面内の未確定の視差データを
推定した平面の位置から演算で補間することにより、物
体の検出を精度よく行えるようにすることができる。
In addition, by interpolating the undetermined parallax data in the same plane by calculation from the position of the estimated plane, the object can be detected with high accuracy.

【0073】また、推定された平面の位置情報を基に視
差の探索範囲を画像の位置によって最適化するため、対
応付けの演算量を削減することができる。
Further, since the parallax search range is optimized based on the position of the image based on the estimated plane position information, the amount of calculation for association can be reduced.

【0074】[0074]

【発明の効果】以上説明したように、本発明に係る物体
検出装置および平面推定方法によれば、ハフ変換処理に
よって大局的かつ精度よく道路,床などの平面物体の3
次元空間での位置が推定できる。
As described above, according to the object detecting apparatus and the plane estimating method according to the present invention, the Hough transform processing is used to globally and accurately detect three-dimensional objects such as roads and floors.
The position in the dimensional space can be estimated.

【0075】また、推定された平面物体の位置から、未
計測の領域の視差データを推定することができるため、
平面物体の位置を比較基準とした物体検出が精度よく行
えるようになる。
Further, since the parallax data of the unmeasured area can be estimated from the estimated position of the planar object,
Object detection can be performed with high accuracy using the position of the planar object as a comparison reference.

【0076】また、平面物体の位置を利用して対応付け
処理の視差探索範囲を最適化することができるため、演
算量を削減することができる。
Further, since the parallax search range of the associating process can be optimized by using the position of the planar object, the amount of calculation can be reduced.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明に係る物体検出装置および平面推定方法
の一実施形態を説明するための物体認識装置の構成を示
すブロック図である。
FIG. 1 is a block diagram illustrating a configuration of an object recognition device for describing an embodiment of an object detection device and a plane estimation method according to the present invention.

【図2】本発明の実施形態における平面推定の処理のフ
ローチャートである。
FIG. 2 is a flowchart of a plane estimation process according to the embodiment of the present invention.

【図3】本発明の実施形態における基準とする3次元座
標系を説明するための説明図である。
FIG. 3 is an explanatory diagram for explaining a three-dimensional coordinate system serving as a reference in the embodiment of the present invention.

【図4】本発明の実施形態における平面通過直線の当て
はめを説明する説明図である。
FIG. 4 is an explanatory diagram illustrating fitting of a plane-passing straight line according to the embodiment of the present invention.

【図5】本発明の実施形態におけるハフ変換による直線
近似を説明するための説明図である。
FIG. 5 is an explanatory diagram for explaining linear approximation by Hough transform in the embodiment of the present invention.

【図6】本発明の実施形態における平面推定方式の処理
過程(図2のステップS1)の結果を示す説明図である。
FIG. 6 is an explanatory diagram showing a result of a process (step S1 in FIG. 2) of the plane estimation method in the embodiment of the present invention.

【図7】本発明の実施形態における平面推定方式の処理
過程(図2のステップS2)の結果を示す説明図である。
FIG. 7 is an explanatory diagram showing a result of a process (step S2 in FIG. 2) of the plane estimation method in the embodiment of the present invention.

【図8】本発明の実施形態における距離補正直線を示す
説明図である。
FIG. 8 is an explanatory diagram showing a distance correction straight line according to the embodiment of the present invention.

【図9】本発明の実施形態における距離補正直線の当て
はめの状態を示す説明図である。
FIG. 9 is an explanatory diagram showing a state of fitting a distance correction straight line according to the embodiment of the present invention.

【図10】本発明の実施形態における平面推定方式の処
理過程(図2のステップS3)の結果を示す説明図であ
る。
FIG. 10 is an explanatory diagram showing a result of a process (step S3 in FIG. 2) of the plane estimation method according to the embodiment of the present invention.

【図11】従来の物体認識装置の構成を示すブロック図
である。
FIG. 11 is a block diagram showing a configuration of a conventional object recognition device.

【図12】基準とする左画像内のブロック配置を示すた
めの説明図である。
FIG. 12 is an explanatory diagram showing a block arrangement in a left image serving as a reference.

【図13】従来の技術における右画像の視差探索範囲を
示す説明図である。
FIG. 13 is an explanatory diagram showing a parallax search range of a right image in a conventional technique.

【図14】従来の技術におけるハフ変換に用いる直線パ
ラメータを説明する説明図である。
FIG. 14 is an explanatory diagram illustrating a straight line parameter used for the Hough transform according to the related art.

【図15】従来の技術におけるハフ変換を説明する説明
図である。
FIG. 15 is an explanatory diagram illustrating Hough transform in a conventional technique.

【図16】撮像装置と平面物体の一般的な位置関係を示
す説明図である。
FIG. 16 is an explanatory diagram illustrating a general positional relationship between an imaging device and a planar object.

【符号の説明】[Explanation of symbols]

1,2…撮像装置、 3,4…画像メモリ、 5…対応
付け処理部、 6…視差画像メモリ、 7…初期視差画
像メモリ、 8…視差変化検出部、 9…物体検出画像
メモリ、 50…平面推定部、 60,81,91,100,121…
平面物体、 82,92,122…平面通過直線、 102…Y−
ρK平面、 103,110…距離補正直線。
1, 2, imaging device 3, 4, image memory 5, association processing unit 6, parallax image memory 7, initial parallax image memory 8, parallax change detection unit 9, object detection image memory 50 Plane estimator, 60, 81, 91, 100, 121 ...
Plane object, 82, 92, 122 ... straight line passing through the plane, 102 ... Y-
ρ K plane, 103,110 ... Distance corrected straight line.

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 所定間隔で配置した複数の撮像手段と、
これらの撮像手段から出力される複数画像を用いて3角
測量の原理に基づき物体の3次元データを計測する対応
付け処理部と、計測された3次元データに対してハフ変
換処理を行うことにより平面物体の3次元空間内におけ
る位置を推定する平面位置推定部とを備えたことを特徴
とする物体検出装置。
A plurality of image pickup means arranged at a predetermined interval;
By performing a Hough transform process on the measured three-dimensional data, and a correspondence processing unit that measures three-dimensional data of the object based on the principle of triangulation using a plurality of images output from these imaging units. An object detection device, comprising: a plane position estimating unit that estimates a position of a planar object in a three-dimensional space.
【請求項2】 前記平面位置推定部が、画像中の平面物
体の3次元空間内における位置を推定すると共に、同一
平面内で3次元データが得られなかった矩形領域の3次
元データを、すでに推定した平面物体の位置から計算し
て補間し、撮像手段を基準として平面物体とは異なる位
置にある物体を検出するように構成したことを特徴とす
る請求項1記載の物体検出装置。
2. The planar position estimating unit estimates the position of a planar object in an image in a three-dimensional space, and converts the three-dimensional data of a rectangular area for which no three-dimensional data was obtained in the same plane. 2. The object detection apparatus according to claim 1, wherein the object detection apparatus calculates and interpolates from the estimated position of the planar object, and detects an object located at a position different from the planar object on the basis of the imaging means.
【請求項3】 前記平面位置推定部が画像中の平面物体
の3次元空間内における位置を推定し、撮像手段を基準
として平面物体より遠方にある物体については、前記対
応付け処理部による3次元データの計測を行わないよう
に構成したことを特徴とする請求項1記載の物体検出装
置。
3. The planar position estimating unit estimates the position of a planar object in an image in a three-dimensional space, and for an object located farther from the planar object with respect to an imaging unit, the three-dimensional object by the association processing unit. 2. The object detection device according to claim 1, wherein data measurement is not performed.
【請求項4】 所定間隔で配置された複数の撮像手段か
ら出力される複数画像を用いて、画像を水平方向と垂直
方向とに分割して得られる矩形小領域ごとに3次元デー
タを求め、前記矩形小領域を水平方向にグループ化した
大領域ごとに、大領域中に含まれる複数の3次元データ
からハフ変換により平面通過直線を当てはめ、前記の演
算処理をすべての前記大領域に対して行うことによって
3次元空間に存在する平面物体の位置を推定することを
特徴とする平面推定方法。
4. Using a plurality of images output from a plurality of imaging means arranged at a predetermined interval, three-dimensional data is obtained for each rectangular small area obtained by dividing the image into a horizontal direction and a vertical direction, For each large area obtained by grouping the rectangular small areas in the horizontal direction, a plane-passing straight line is applied by a Hough transform from a plurality of three-dimensional data included in the large area, and the above-described arithmetic processing is performed on all the large areas. A plane estimating method characterized by estimating a position of a planar object existing in a three-dimensional space by performing the method.
【請求項5】 前記大領域ごとに当てはめられた前記平
面通過直線の直線パラメータの1つである直線の傾きを
用い、各平面通過直線の合計本数の傾きを大きさでソー
トすることによって傾きの中央値を求め、すべての平面
通過直線の傾きを前記中央値で置き換えることによって
得られる、傾きが補正された平面通過直線を用いて、3
次元空間に存在する平面物体の位置を推定することを特
徴とする請求項4記載の平面推定方法。
5. Using a slope of a straight line, which is one of the straight line parameters of the straight line passing through the plane, applied to each of the large areas, and sorting the slopes of the total number of straight lines passing through the respective planes by magnitude, thereby obtaining the slope of the straight line. The median value is obtained, and the inclination of all the straight line passing through the plane is replaced by the median value.
5. The plane estimation method according to claim 4, wherein the position of the plane object existing in the dimensional space is estimated.
【請求項6】 前記傾きが補正された平面通過直線にお
ける直線パラメータである原点からの距離を用い、ハフ
変換により距離補正直線を当てはめ、この距離補正直線
に交わるように傾きが補正された直線を平行移動するこ
とによって得られる直線群を用いて、3次元空間に存在
する平面物体の位置を推定することを特徴とする請求項
4または5記載の平面推定方法。
6. A distance correction straight line is applied by a Hough transform using a distance from the origin, which is a straight line parameter of the straight line passing through the plane whose inclination has been corrected, and a straight line whose inclination has been corrected so as to intersect the distance correction straight line. 6. The plane estimating method according to claim 4, wherein the position of the planar object existing in the three-dimensional space is estimated using a straight line group obtained by performing the parallel movement.
JP8253423A 1996-09-25 1996-09-25 Object detector and plane estimation method Pending JPH1096607A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8253423A JPH1096607A (en) 1996-09-25 1996-09-25 Object detector and plane estimation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8253423A JPH1096607A (en) 1996-09-25 1996-09-25 Object detector and plane estimation method

Publications (1)

Publication Number Publication Date
JPH1096607A true JPH1096607A (en) 1998-04-14

Family

ID=17251195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8253423A Pending JPH1096607A (en) 1996-09-25 1996-09-25 Object detector and plane estimation method

Country Status (1)

Country Link
JP (1) JPH1096607A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11351862A (en) * 1998-06-09 1999-12-24 Yazaki Corp Foregoing vehicle detecting method and equipment
US7386163B2 (en) 2002-03-15 2008-06-10 Sony Corporation Obstacle recognition apparatus and method, obstacle recognition program, and mobile robot apparatus
JP2009086882A (en) * 2007-09-28 2009-04-23 Konica Minolta Holdings Inc Object detector
JP2009088840A (en) * 2007-09-28 2009-04-23 Saxa Inc Stereoscopic image processing device and program for processing image
JP2009186364A (en) * 2008-02-07 2009-08-20 Nec Corp Data processing apparatus, pose estimation system, pose estimation method, and program
JP2020027057A (en) * 2018-08-13 2020-02-20 日立オートモティブシステムズ株式会社 Stereo camera device
CN110987292A (en) * 2019-12-10 2020-04-10 上海精密计量测试研究所 Automatic calibrating device and method for torque wrench

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11351862A (en) * 1998-06-09 1999-12-24 Yazaki Corp Foregoing vehicle detecting method and equipment
US7386163B2 (en) 2002-03-15 2008-06-10 Sony Corporation Obstacle recognition apparatus and method, obstacle recognition program, and mobile robot apparatus
JP2009086882A (en) * 2007-09-28 2009-04-23 Konica Minolta Holdings Inc Object detector
JP2009088840A (en) * 2007-09-28 2009-04-23 Saxa Inc Stereoscopic image processing device and program for processing image
JP2009186364A (en) * 2008-02-07 2009-08-20 Nec Corp Data processing apparatus, pose estimation system, pose estimation method, and program
US8401295B2 (en) 2008-02-07 2013-03-19 Nec Corporation Pose estimation
JP2020027057A (en) * 2018-08-13 2020-02-20 日立オートモティブシステムズ株式会社 Stereo camera device
WO2020036039A1 (en) * 2018-08-13 2020-02-20 日立オートモティブシステムズ株式会社 Stereo camera device
CN112513573A (en) * 2018-08-13 2021-03-16 日立汽车系统株式会社 Stereo camera device
CN112513573B (en) * 2018-08-13 2022-06-10 日立安斯泰莫株式会社 Stereo camera device
CN110987292A (en) * 2019-12-10 2020-04-10 上海精密计量测试研究所 Automatic calibrating device and method for torque wrench

Similar Documents

Publication Publication Date Title
US10671862B2 (en) Method and system for detecting obstacles by autonomous vehicles in real-time
US7471809B2 (en) Method, apparatus, and program for processing stereo image
EP0762326B1 (en) Object detecting apparatus in which the position of a planar object is estimated by using Hough transform
WO2018142900A1 (en) Information processing device, data management device, data management system, method, and program
US7769227B2 (en) Object detector
EP0686942A2 (en) Stereo matching method and disparity measuring method
US20180293450A1 (en) Object detection apparatus
JPH07129898A (en) Obstacle detecting device
JP5293131B2 (en) Compound eye distance measuring device for vehicle and compound eye distance measuring method
US6519358B1 (en) Parallax calculating apparatus, distance calculating apparatus, methods of the same, and information providing media
JPH09226490A (en) Detector for crossing object
JP3710548B2 (en) Vehicle detection device
EP3782363B1 (en) Method for dynamic stereoscopic calibration
JPH1144533A (en) Preceding vehicle detector
JPH1096607A (en) Object detector and plane estimation method
JPH10267618A (en) Distance measuring instrument
JP2009092551A (en) Method, apparatus and system for measuring obstacle
JP3501841B2 (en) Three-dimensional object region detection device, distance measuring device to three-dimensional object region, and their detection and measurement method
JPH10187974A (en) Physical distribution measuring instrument
JP3912638B2 (en) 3D image processing device
JP3340599B2 (en) Plane estimation method
JPH11194027A (en) Three-dimensional coordinate measuring instrument
JPH0875454A (en) Range finding device
JPH11223516A (en) Three dimensional image pickup device
JP3525712B2 (en) Three-dimensional image capturing method and three-dimensional image capturing device