JP2019117522A - Obstacle detection device - Google Patents

Obstacle detection device Download PDF

Info

Publication number
JP2019117522A
JP2019117522A JP2017251134A JP2017251134A JP2019117522A JP 2019117522 A JP2019117522 A JP 2019117522A JP 2017251134 A JP2017251134 A JP 2017251134A JP 2017251134 A JP2017251134 A JP 2017251134A JP 2019117522 A JP2019117522 A JP 2019117522A
Authority
JP
Japan
Prior art keywords
target area
measurement points
processing
obstacle
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017251134A
Other languages
Japanese (ja)
Other versions
JP6968691B2 (en
Inventor
知之 岩田
Tomoyuki Iwata
知之 岩田
和重 小暮
Kazushige Kogure
和重 小暮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsuba Corp
Original Assignee
Mitsuba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsuba Corp filed Critical Mitsuba Corp
Priority to JP2017251134A priority Critical patent/JP6968691B2/en
Publication of JP2019117522A publication Critical patent/JP2019117522A/en
Application granted granted Critical
Publication of JP6968691B2 publication Critical patent/JP6968691B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide an obstacle detection device capable of improving detection accuracy of an obstacle.SOLUTION: An obstacle detection device detecting an obstacle within an imaging range of a stereo camera comprises: a position measurement part measuring a position of an edge obtained using stereo vision from a pair of images imaged by the stereo camera; a data processing part performing reduction processing for reducing measurement points in a processing target area according to the number of measurement points measured by the position measurement part present in the processing target area indicating an arbitrary area in the imaging range; and a detection part detecting the obstacle based on the positions of the measurement points after being reduced by the data processing part.SELECTED DRAWING: Figure 1

Description

本発明は、障害物検出装置に関する。   The present invention relates to an obstacle detection device.

従来から、ステレオカメラで撮像された一対の画像から、ステレオ視を用いて障害物の距離を計測することで当該障害物を検出する障害物検出装置が開示されている(例えば、特許文献1参照)。   Conventionally, an obstacle detection device is disclosed that detects an obstacle by measuring the distance of the obstacle using stereo vision from a pair of images captured by a stereo camera (see, for example, Patent Document 1). ).

具体的には、この種の障害物検出装置では、上記一対の画像のそれぞれから、障害物の輪郭を示すエッジを抽出し、一方の画像から抽出したエッジと、当該エッジに対応する他方の画像のエッジとから、同一部分のエッジに対する両画像間における視差を求める。そして、この視差を用いて同一部分のエッジの距離を算出することで、障害物を検出する。   Specifically, in the obstacle detection device of this type, an edge indicating the outline of the obstacle is extracted from each of the pair of images, and an edge extracted from one of the images and the other image corresponding to the edge The parallax between both images for the edge of the same part is determined from the edge of. Then, an obstacle is detected by calculating the distance of the edge of the same part using this parallax.

特許第5073700号公報Patent No. 5073700

ところで、上記障害物検出装置では、ステレオカメラで撮像された画像において、左右方向に隣接する画素同士の輝度値の差が大きい部分をエッジとして認識している。したがって、地面にある落ち葉や路面のタイル模様などのテクスチャをエッジとして認識してしまうおそれがあり、障害物を正しく検出することができない場合がある。   By the way, in the above-mentioned obstacle detection device, in an image picked up by a stereo camera, a portion having a large difference in luminance value between adjacent pixels in the left and right direction is recognized as an edge. Therefore, there is a possibility that a texture such as fallen leaves on the ground or a tile pattern of a road surface may be recognized as an edge, and an obstacle may not be detected correctly.

また、上記障害物検出装置では、一方の画像から抽出したエッジに対応する他方の画像のエッジ(以下、「対応エッジ」という。)をテンプレートマッチングにより対応点探索する。ただし、他方の画像において、一方の画像から抽出したエッジに対して相似度の高い領域が複数ある場合には、当該対応点探索が失敗してしまう場合がある。この場合には、一方の画像から抽出したエッジに対応しないエッジを対応エッジとして抽出してしまうため、障害物が存在しない位置に障害物があると誤検出してしまい、障害物を正しく検出することができない場合がある。   Further, in the obstacle detection device, the edge of the other image corresponding to the edge extracted from one image (hereinafter referred to as “corresponding edge”) is searched for corresponding points by template matching. However, when there are a plurality of regions having high similarity to the edge extracted from one image in the other image, the corresponding point search may fail. In this case, an edge not corresponding to an edge extracted from one of the images is extracted as a corresponding edge. Therefore, if an obstacle is present at a position where there is no obstacle, the obstacle is detected correctly. You may not be able to

本発明は、このような事情に鑑みてなされたもので、その目的は、障害物の検出精度を向上させることができる障害物検出装置を提供することである。   The present invention has been made in view of such circumstances, and an object thereof is to provide an obstacle detection device capable of improving the detection accuracy of an obstacle.

本発明の一態様は、ステレオカメラの撮像範囲内における障害物を検出する障害物検出装置であって、前記ステレオカメラで撮像された一対の画像からステレオ視を用いて得られたエッジの位置を計測する位置計測部と、前記撮像範囲内の任意の領域を示す処理対象領域内に存在する前記位置計測部で計測された計測点の数に応じて、前記処理対象領域内の前記計測点を削減する削減処理を実行するデータ処理部と、前記データ処理部により削減された後の前記計測点の位置に基づいて前記障害物を検出する検出部と、を備えることを特徴とする障害物検出装置である。   One aspect of the present invention is an obstacle detection device for detecting an obstacle within an imaging range of a stereo camera, which is a position of an edge obtained using stereo vision from a pair of images imaged by the stereo camera The measurement points in the processing target area are determined according to the number of measurement points measured by the position measuring section present in the processing target area indicating a position measuring section and an arbitrary area in the imaging range. Obstacle detection characterized by comprising: a data processing unit that executes reduction processing to be reduced; and a detection unit that detects the obstacle based on the position of the measurement point after being reduced by the data processing unit. It is an apparatus.

本発明の一態様は、上述の障害物検出装置であって、前記データ処理部は、前記削減処理として、同一平面上における所定領域を前記処理対象領域に設定し、当該設定した前記処理対象領域内において前記計測点の数が第1の閾値以上である場合には、前記処理対象領域内の計測点の数を前記第1の閾値と等しい数まで削減する。   One embodiment of the present invention is the obstacle detection device described above, wherein the data processing unit sets a predetermined area on the same plane as the processing target area as the reduction processing, and the set processing target area If the number of measurement points is equal to or greater than the first threshold value, the number of measurement points in the processing target area is reduced to a number equal to the first threshold value.

本発明の一態様は、上述の障害物検出装置であって、前記データ処理部は、複数の計測点のうち、一つの計測点を注目計測点として順に設定し、設定した前記注目計測点を中心とした前記処理対象領域内の計測数が第1の閾値以上である場合には、前記注目計測点を削除する処理を、各注目計測点ごとに実行することで、前記処理対象領域内の計測点の数を前記第1の閾値と等しい数まで削減する。   One embodiment of the present invention is the obstacle detection device described above, wherein the data processing unit sequentially sets one measurement point as a target measurement point among a plurality of measurement points, and sets the target measurement point set. When the number of measurements in the processing target area at the center is equal to or greater than the first threshold, the processing for deleting the target measuring point is executed for each target measuring point to obtain the processing target area. The number of measurement points is reduced to a number equal to the first threshold.

本発明の一態様は、上述の障害物検出装置であって、前記データ処理部は、前記削減処理として、前記処理対象領域内において前記計測点の数が第2の閾値以上存在しない場合には、前記処理対象領域内の計測点の数を所定値と等しい数まで削減する。   One embodiment of the present invention is the obstacle detection device described above, wherein the data processing unit performs the reduction processing when the number of the measurement points does not exist in the processing target area as a second threshold or more. The number of measurement points in the processing target area is reduced to a number equal to a predetermined value.

本発明の一態様は、上述の障害物検出装置であって、前記所定値は、ゼロである。   One aspect of the present invention is the obstacle detection device described above, wherein the predetermined value is zero.

本発明の一態様は、上述の障害物検出装置であって、前記データ処理部は、複数の計測点のうち、一つの計測点を注目計測点として順に設定し、設定した前記注目計測点を中心とした前記処理対象領域内の計測数が第2の閾値以上存在しない場合には、前記注目計測点を削除する処理を、各注目計測点ごとに実行することで、前記処理対象領域内の計測点の数を前記所定値と等しい数まで削減する。   One embodiment of the present invention is the obstacle detection device described above, wherein the data processing unit sequentially sets one measurement point as a target measurement point among a plurality of measurement points, and sets the target measurement point set. When the number of measurements in the processing target area at the center does not exist more than the second threshold, the processing of deleting the target measuring point is executed for each target measuring point to obtain the processing target area. The number of measurement points is reduced to a number equal to the predetermined value.

本発明の一態様は、上述の障害物検出装置であって、前記データ処理部は、同一平面上における所定領域を第1の処理対象領域に設定し、当該設定した前記第1の処理対象領域内において前記計測点の数が第1の閾値以上である場合には、前記第1の処理対象領域内の計測点の数を前記第1の閾値所定値と等しい数まで削減する第1処理を実行する第1処理部と、前記第1処理の後において、前記第1の処理対象領域とは異なる第2の処理対象領域内において前記計測点の数が第2の閾値以上存在しない場合には、前記第2の処理対象領域内の計測点の数を所定値所定値と等しい数まで削減することを特徴とする。   One embodiment of the present invention is the obstacle detection device described above, wherein the data processing unit sets a predetermined region on the same plane as a first processing target region, and the set first processing target region If the number of measurement points is equal to or greater than the first threshold value, the first process of reducing the number of measurement points in the first processing target area to a number equal to the first threshold predetermined value is performed. In the case where the number of the measurement points does not exceed the second threshold in the second processing target area different from the first processing target area after the first processing unit to be executed and the first processing. The number of measurement points in the second processing target area is reduced to a number equal to a predetermined value and a predetermined value.

以上説明したように、本発明によれば、障害物の検出精度を向上させることができる。   As described above, according to the present invention, the detection accuracy of an obstacle can be improved.

本発明の一実施形態に係る障害物検出システムの概略構成の一例を示す図である。It is a figure showing an example of the schematic structure of the obstacle detection system concerning one embodiment of the present invention. 本発明の一実施形態に係る位置計測部33で計測された複数のエッジの各位置情報を示す図である。It is a figure which shows each positional information on several edge measured by the position measurement part 33 which concerns on one Embodiment of this invention. 本発明の一実施形態に係る第1の削減処理において第1の処理対象領域H1を設定する図である。It is a figure which sets up the 1st processing object field H1 in the 1st reduction processing concerning one embodiment of the present invention. 本発明の一実施形態に係る第1の削減処理において注目計測点P01を削除することを説明する図である。It is a diagram illustrating the deletion of interest measurement point P 01 in the first reduction process according to an embodiment of the present invention. 本発明の一実施形態に係る第1の削減処理後の計測点Pを示す図である。It is a figure which shows the measurement point P after the 1st reduction process which concerns on one Embodiment of this invention. 本発明の一実施形態に係る第2の削減処理において第2の処理対象領域H2を設定する図である。It is a figure which sets up the 2nd processing object field H2 in the 2nd reduction processing concerning one embodiment of the present invention. 本発明の一実施形態に係る第2の削減処理において注目計測点P02を削除することを説明する図である。It is a diagram illustrating the deletion of interest measurement point P 02 in the second reduction process according to an embodiment of the present invention. 本発明の一実施形態に係る第2の削減処理後の計測点Pを示す図である。It is a figure which shows the measurement point P after the 2nd reduction process which concerns on one Embodiment of this invention. 本発明の一実施形態に係る障害物検出装置2の障害物の検出方法の流れを示す図である。It is a figure which shows the flow of the detection method of the obstruction of the obstruction detection apparatus 2 which concerns on one Embodiment of this invention.

以下、本発明の一実施形態に係る障害物検出システムを、図面を用いて説明する。   Hereinafter, an obstacle detection system according to an embodiment of the present invention will be described using the drawings.

例えば、本発明の一実施形態に係る障害物検出システムは、自律走行可能な移動体に設けられ、当該移動体の前方方向の障害物を検出するシステムである。この移動体は、自律走行可能な車両であってもよいし、ロボットであってもよい。また、移動体は、有人であってもよいし、無人であってもよい。   For example, an obstacle detection system according to an embodiment of the present invention is a system provided in a mobile body capable of autonomous traveling and detecting an obstacle in the forward direction of the mobile body. The moving body may be an autonomously traveling vehicle or a robot. Also, the mobile body may be manned or unmanned.

図1は、本発明の一実施形態に係る障害物検出システムAの概略構成の一例を示す図である。図1に示すように、障害物検出システムAは、ステレオカメラ1及び障害物検出装置2を備える。   FIG. 1 is a view showing an example of a schematic configuration of an obstacle detection system A according to an embodiment of the present invention. As shown in FIG. 1, an obstacle detection system A includes a stereo camera 1 and an obstacle detection device 2.

ステレオカメラ1は、移動体の進行方向を撮像するように当該移動体に設けられている。ステレオカメラ1は、移動体の進行方向において、視差を含む一対の画像を取得して、障害物検出装置2に出力する。具体的には、ステレオカメラ1は、一対のカメラである第1のカメラ11及び第2のカメラ12を備える。   The stereo camera 1 is provided on the moving body so as to capture the traveling direction of the moving body. The stereo camera 1 acquires a pair of images including parallax in the traveling direction of the moving body, and outputs the pair of images to the obstacle detection device 2. Specifically, the stereo camera 1 includes a first camera 11 and a second camera 12 which are a pair of cameras.

第1のカメラ11は、移動体に搭載されており、当該移動体の前方方向に向かって右側に設けられている。第1のカメラ11は、移動体の進行方向を撮像し、その撮像した画像(以下、「第1の撮像画像」という。)を障害物検出装置2に出力する。   The first camera 11 is mounted on a mobile body, and is provided on the right side in the forward direction of the mobile body. The first camera 11 captures the traveling direction of the moving object, and outputs the captured image (hereinafter, referred to as “first captured image”) to the obstacle detection device 2.

第2のカメラ12は、移動体に搭載されており、当該移動体の前方方向に向かって左側に設けられている。第2のカメラ12は、移動体の進行方向を撮像し、その撮像した画像(以下、「第2の撮像画像」という。)を障害物検出装置2に出力する。
なお、第1のカメラ11と第2のカメラ12とは、同一のタイミングで撮像する。ただし、「同一」とは、完全な同じ時刻に限定されない。
The second camera 12 is mounted on the moving body, and is provided on the left side in the forward direction of the moving body. The second camera 12 captures the traveling direction of the moving object, and outputs the captured image (hereinafter, referred to as “second captured image”) to the obstacle detection device 2.
The first camera 11 and the second camera 12 capture images at the same timing. However, "the same" is not limited to the completely same time.

このように、ステレオカメラ1は、水平方向に離間して並べられた第1のカメラ11及び第2のカメラ12により移動体の進行方向に存在する障害物を、視差を有する複数の方向(左右方向)から同時に撮像する。そして、ステレオカメラ1は、同時に撮像することで得られた第1の撮像画像と第2の撮像画像とを障害物検出装置2に出力する。なお、第1の撮像画像及び第2の撮像画像のそれぞれを区別しない場合には、単に「撮像画像」という。   Thus, in the stereo camera 1, obstacles present in the traveling direction of the moving object by the first camera 11 and the second camera 12 arranged separately in the horizontal direction are divided into a plurality of directions having Image from the direction) at the same time. Then, the stereo camera 1 outputs, to the obstacle detection device 2, the first captured image and the second captured image obtained by simultaneously capturing images. In addition, when not distinguishing each of a 1st captured image and a 2nd captured image, it only calls it a "captured image."

障害物検出装置2は、第1の撮像画像及び第2の撮像画像からステレオ視を用いて移動体の前方の障害物(ステレオカメラ1の撮像範囲内の障害物)の距離を計測することで当該障害物を検出する装置である。
具体的には、図1に示すように、障害物検出装置2は、計測部3、データ処理部4及び検出部5を備える。
The obstacle detection device 2 measures the distance of an obstacle in front of the moving object (an obstacle within the imaging range of the stereo camera 1) using stereo vision from the first captured image and the second captured image. It is an apparatus which detects the said obstacle.
Specifically, as shown in FIG. 1, the obstacle detection device 2 includes a measurement unit 3, a data processing unit 4 and a detection unit 5.

計測部3は、エッジ検出部31、探索部32、及び位置計測部33を備える。   The measurement unit 3 includes an edge detection unit 31, a search unit 32, and a position measurement unit 33.

エッジ検出部31は、ステレオカメラ1から第1の撮像画像及び第2の撮像画像を取得する。そして、エッジ検出部31は、取得した第1の撮像画像及び第2の撮像画像のそれぞれにおいて、障害物の輪郭を示すエッジを検出する。エッジとは、撮像画像において、左右方向に隣接する画素同士の輝度値の差が所定値以上の部分である。   The edge detection unit 31 acquires a first captured image and a second captured image from the stereo camera 1. And the edge detection part 31 detects the edge which shows the outline of an obstruction in each of the acquired 1st captured image and 2nd captured image. The edge is a portion in the captured image where the difference in luminance value between pixels adjacent in the left-right direction is equal to or greater than a predetermined value.

探索部32は、エッジ検出部31で検出された第1の撮像画像のエッジに対応する第2の撮像画像のエッジ(以下、「対応エッジ」という。)を、例えば、テンプレートマッチング等を用いることで対応点探索する。そして、探索部32は、対応点探索することで得られた同一部分のエッジに対する両画像間における視差を求める。   The search unit 32 uses, for example, template matching or the like for an edge of the second captured image (hereinafter referred to as “corresponding edge”) corresponding to the edge of the first captured image detected by the edge detection unit 31. Find corresponding points with. Then, the search unit 32 obtains the parallax between both the images with respect to the edge of the same part obtained by searching the corresponding points.

位置計測部33は、探索部32で得られた視差から三角測量の原理を用いて、エッジの位置情報を計測する。図2は、本発明の一実施形態に係る位置計測部33で計測された複数のエッジの各位置情報を示す図である。   The position measurement unit 33 measures the position information of the edge from the parallax obtained by the search unit 32 using the principle of triangulation. FIG. 2 is a diagram showing each piece of position information of a plurality of edges measured by the position measurement unit 33 according to an embodiment of the present invention.

図2に示すように、この位置情報とは、三次元空間において、ステレオカメラ1の中心を原点0とした三次元座標である。各計測点Pは、位置計測部33で計測された各エッジの三次元空間における位置(位置情報)を示す。なお、Y方向は、移動体の進行方向を示し、X方向は進行方向と直行する移動体の左右方向を示し、Z方向は、X方向及びY方向の双方に直交する方向であって、例えば、鉛直方向である。また、ステレオカメラの中心とは、第1のカメラ11の位置と第2のカメラ12の位置との間の中心である。   As shown in FIG. 2, this position information is three-dimensional coordinates with the center of the stereo camera 1 as the origin 0 in the three-dimensional space. Each measurement point P indicates the position (position information) in the three-dimensional space of each edge measured by the position measurement unit 33. The Y direction indicates the traveling direction of the moving body, the X direction indicates the lateral direction of the moving body orthogonal to the traveling direction, and the Z direction is a direction orthogonal to both the X direction and the Y direction. , Vertical direction. Further, the center of the stereo camera is the center between the position of the first camera 11 and the position of the second camera 12.

このように、位置計測部33は、ステレオカメラ1で撮像された一対の撮像画像からステレオ視を用いて得られたエッジの位置を三次元座標として取得する。   As described above, the position measurement unit 33 acquires, as three-dimensional coordinates, the position of an edge obtained using stereo vision from a pair of captured images captured by the stereo camera 1.

データ処理部4は、ステレオカメラ1の撮像範囲内において、任意の領域を示す処理対象領域内に存在する計測点Pの数に応じて、その処理対象領域内の計測点Pを削減する削減処理を実行する。以下に、本発明の一実施形態に係るデータ処理部4の構成について説明する。   The data processing unit 4 performs reduction processing for reducing the measurement points P in the processing target area according to the number of measurement points P present in the processing target area indicating an arbitrary area within the imaging range of the stereo camera 1 Run. The configuration of the data processing unit 4 according to an embodiment of the present invention will be described below.

データ処理部4は、第1処理部41及び第2処理部42を備える。   The data processing unit 4 includes a first processing unit 41 and a second processing unit 42.

第1処理部41は、位置計測部33で計測した各計測点Pにおける三次元空間の位置情報(三次元座標)を取得する。第1処理部41は、三次元空間において、同一平面上における所定領域を処理対象領域として第1の処理対象領域H1に設定する。そして、第1処理部41は、その設定した第1の処理対象領域H1内において計測点Pの数が第1の閾値Pth1以上である場合には、第1の処理対象領域H1内の計測点の数を第1の閾値Pth1と等しい数まで削減する第1の削減処理を実行する。 The first processing unit 41 acquires position information (three-dimensional coordinates) of the three-dimensional space at each measurement point P measured by the position measurement unit 33. The first processing unit 41 sets a predetermined area on the same plane as the processing target area in the first processing target area H1 in the three-dimensional space. Then, when the number of measurement points P in the set first process target area H1 is equal to or greater than the first threshold value P th1 , the first processing unit 41 measures the first process target area H1. A first reduction process is performed to reduce the number of points to a number equal to the first threshold P th1 .

この第1の削減処理は、地面にある落ち葉やテクスチャ(地面のタイルの模様等)等の障害物ではないエッジを除去する処理である。   The first reduction process is a process of removing an edge which is not an obstacle such as fallen leaves on the ground or a texture (pattern of a tile on the ground, etc.).

以下に、第1の削減処理について、図3〜図5を用いて説明する。なお、図3〜図5において、●は第1の処理対象領域H1外に存在する計測点P(Pout1)を示し、〇は、第1の処理対象領域H1内に存在する計測点P(Pin1)を示す。 Hereinafter, the first reduction process will be described with reference to FIGS. In FIG. 3 to FIG. 5, .circle- solid . Indicates a measurement point P ( P.sub.out1 ) existing outside the first processing target area H1, and .smallcircle. Indicates a measurement point P existing in the first processing target area H1 It shows Pin1 ).

まず、図3に示すように、第1処理部41は、位置計測部33が計測した複数の計測点Pのうち、任意の計測点を一つ選択し、その選択した計測点Pを注目計測点P01に設定する。そして、第1処理部41は、設定した注目計測点P01を中心とした第1の処理対象領域H1を上記三次元空間内に設定する。 First, as shown in FIG. 3, the first processing unit 41 selects one arbitrary measurement point from the plurality of measurement points P measured by the position measurement unit 33, and measures the selected measurement point P to be focused on Set to point P 01 . Then, the first processing unit 41 sets a first processing target area H1 centered on the set target measurement point P 01 in the three-dimensional space.

この第1の処理対象領域H1は、三次元空間において、同一平面上における所定領域であればよく、その領域の形状には特に限定されない。また、同一平面上とは、Z方向の位置が一致していなくてもよく、同一平面上とみなせる程度(例えば、所定の誤差を含み得る程度)にZ方向の領域において幅を持たせてもよい。本実施形態では、第1の処理対象領域H1は、X軸方向の長さΔX1、Y軸方向の長さΔY1、及びZ軸方向の長さΔZ1の直方体で示される領域である。   The first processing target area H1 may be a predetermined area on the same plane in a three-dimensional space, and is not particularly limited to the shape of the area. Also, the position on the same plane does not have to match the position in the Z direction, and even if the area in the Z direction has a width that can be regarded on the same plane (for example, a degree that can include a predetermined error). Good. In the present embodiment, the first processing target area H1 is an area indicated by a rectangular parallelepiped having a length ΔX1 in the X-axis direction, a length ΔY1 in the Y-axis direction, and a length ΔZ1 in the Z-axis direction.

第1処理部41は、設定した第1の処理対象領域H1内に存在する計測点Pin1が第1の閾値Pth1(例えば、Pth1=5)以上である場合には、図4に示すように、注目計測点P01を削除する。第1処理部41は、第1の処理対象領域H1内に存在する計測点Pin1が第1の閾値Pth1以上である場合に注目計測点P01を削除する処理を、すべての計測点Pに対して実行(第1の処理の実行)することで、第1の処理対象領域H1内の計測点Pの数を第1の閾値Pth1と等しい数まで調整する。 The first processing unit 41 is illustrated in FIG. 4 when the measurement point P in1 present in the set first process target area H1 is equal to or more than the first threshold P th1 (for example, P th1 = 5). As such, the target measurement point P 01 is deleted. The first processing unit 41 performs the process of deleting the target measurement point P 01 when the measurement point P in1 present in the first processing target area H 1 is equal to or more than the first threshold P th1. Is executed (execution of the first process), the number of measurement points P in the first processing target area H1 is adjusted to a number equal to the first threshold value P th1 .

換言すれば、第1処理部41は、複数の計測点Pのうち、各計測点Pを注目計測点Pとして順に設定し、設定した注目計測点P01を中心とした第1の処理対象領域H1内の計測数Pin1が第1の閾値Pth1以上である場合には、注目計測点P01を削除する処理を、各注目計測点P01ごとに実行する。これにより、図5に示すように、第1処理部41は、第1の処理対象領域H1内の計測点Pin1の数、すなわち地面にある落ち葉等の障害物でないエッジの数を第1の閾値Pth1と等しい数まで削減することができる。 In other words, the first processing unit 41 sequentially sets each measurement point P as the target measurement point P 0 among the plurality of measurement points P, and sets the first processing target centered on the set target measurement point P 01. measurement number P in1 in the region H1 is the case where the first threshold value P th1 or more, a process of deleting a target measurement point P 01, run for each target measurement point P 01. Thereby, as shown in FIG. 5, the first processing unit 41 sets the number of measurement points P in1 in the first processing target area H 1 , that is, the number of non-obstacles such as fallen leaves on the ground to the first. It can be reduced to a number equal to the threshold P th1 .

第2処理部42は、第1処理の後の三次元空間内において、第1の処理対象領域H1とは異なる第2の処理対象領域H2内において計測点Pの数が第2の閾値Pth2以上存在しない場合には、第2の閾値Pth2内の計測点Pの数を所定値と等しい数まで削減する第2の削減処理を実行する。この所定値とは、第2の閾値Pth2未満の値であって、例えば、ゼロである。 The second processing unit 42 sets the number of measurement points P to a second threshold value P th2 in the second processing target area H2 different from the first processing target area H1 in the three-dimensional space after the first processing. If the above does not exist, the second reduction process is executed to reduce the number of measurement points P in the second threshold value P th2 to a number equal to the predetermined value. The predetermined value is a value less than the second threshold value P th2 and is, for example, zero.

この第2の削減処理は、対応点探索が失敗してエッジの位置を誤検出した場合において、当該誤検出したエッジを除去する処理である。   The second reduction process is a process of removing the erroneously detected edge when the corresponding point search fails and the position of the edge is erroneously detected.

以下に、第2の削減処理について、図6〜図8を用いて説明する。なお、図6〜図8において、●は第2の処理対象領域H2外に存在する計測点P(Pout2)を示し、〇は、第2の処理対象領域H2内に存在する計測点P(Pin2)を示す。 Hereinafter, the second reduction process will be described with reference to FIGS. In FIGS. 6 to 8, a black circle indicates a measurement point P (P out2 ) existing outside the second processing target area H2, and a circle indicates a measurement point P existing in the second processing target area H2 Indicates P in2 ).

まず、図6に示すように、第2処理部42は、第1の削減処理が実行された後に三次元空間に残った計測点Pのうち、任意の計測点を一つ選択し、その選択した計測点Pを注目計測点P02に設定する。そして、第2処理部42は、設定した注目計測点P02を中心とした第2の処理対象領域H2を上記三次元空間内に設定する。 First, as shown in FIG. 6, the second processing unit 42 selects one arbitrary measurement point from among measurement points P remaining in the three-dimensional space after the first reduction processing is executed, and selects the selected one. The obtained measurement point P is set to the target measurement point P 02 . Then, the second processing unit 42 sets the second processing target region H2 around the target measurement point P 02 which is set in the three-dimensional space.

この第2の処理対象領域H2は、X軸方向の長さΔX2、Y軸方向の長さΔY2、及びZ軸方向の長さΔZ2の直方体で示される領域である。この第2の処理対象領域H2は、エッジ検出部31で検出されるエッジが縦エッジ又は横エッジかによって形状が異なってもよい。例えば、本実施形態のように、エッジ検出部31で検出されるエッジが縦エッジである場合には、Z軸方向の長さΔZ2がX軸方向の長さΔX2及びY軸方向の長さΔY2よりも長くなるような直方体に設定する。一方、エッジ検出部31で検出されるエッジが横エッジである場合には、X軸方向の長さΔX2がY軸方向の長さΔY2及びZ軸方向の長さΔZ2よりも長くなるような直方体に設定する。ただし、第2の処理対象領域H2の形状は直方体に限定されず、一定の領域を有するものであればよく、例えは、立方体であってもよいし、楕円形状であってもよい。   The second processing target area H2 is an area indicated by a rectangular solid having a length ΔX2 in the X-axis direction, a length ΔY2 in the Y-axis direction, and a length ΔZ2 in the Z-axis direction. The shape of the second processing target area H2 may be different depending on whether the edge detected by the edge detection unit 31 is a vertical edge or a horizontal edge. For example, as in the present embodiment, when the edge detected by the edge detection unit 31 is a vertical edge, the length ΔZ2 in the Z-axis direction is the length ΔX2 in the X-axis direction and the length ΔY2 in the Y-axis direction. Set the box to be longer than it. On the other hand, when the edge detected by the edge detection unit 31 is a horizontal edge, a rectangular solid whose length ΔX2 in the X axis direction is longer than the length ΔY2 in the Y axis direction and the length ΔZ2 in the Z axis direction Set to However, the shape of the second processing target area H2 is not limited to a rectangular solid, and may have a certain area, for example, may be a cube or an elliptical shape.

第2処理部42は、設定した第2の処理対象領域H2内に存在する計測点Pin2が第2の閾値Pth2(例えば、Pth2=8)以上存在していない場合には、図7に示すように、注目計測点P02を削除する。第2処理部42は、第2の処理対象領域H2内に存在する計測点Pin2が第2の閾値Pth2以上でない場合に注目計測点P02を削除する処理を、すべての計測点Pに対して実行(第2の処理の実行)することで、第2の処理対象領域H2内の計測点Pの数を所定値(例えば、ゼロ)に調整する。 If the measurement point P in2 present in the set second process target area H2 does not exist equal to or more than the second threshold P th2 (for example, P th2 = 8), the second processing unit 42 performs the process shown in FIG. As shown in, the target measurement point P 02 is deleted. The second processing unit 42 applies, to all measurement points P, the process of deleting the target measurement point P 02 when the measurement point P in2 present in the second processing target area H 2 is not the second threshold P th2 or more. The number of measurement points P in the second processing target area H2 is adjusted to a predetermined value (for example, zero) by executing the processing (execution of the second processing).

換言すれば、第2処理部42は、複数の計測点Pのうち、各計測点Pを注目計測点P02として順に設定し、設定した注目計測点P02を中心とした第2の処理対象領域H2内の計測数Pin2が第2の閾値Pth2以上存在していない場合には、注目計測点P02を削除する処理を、各注目計測点P02ごとに実行する。これにより、図8に示すように、第2処理部42は、第2の閾値Pth2以上の計測点Pin2が存在しない第2の処理対象領域H2において、当該第2の処理対象領域H2内の計測点Pin2の数、すなわち誤検出したエッジの数を削減することができる。 In other words, the second processing unit 42 sequentially sets each measurement point P as the target measurement point P 02 among the plurality of measurement points P, and the second processing target centered on the set target measurement point P 02 when the measurement number P in2 in region H2 is not present the second threshold value P th2 or more, the process of deleting a target measurement point P 02, run for each target measurement point P 02. As a result, as shown in FIG. 8, the second processing unit 42 sets the second processing target area H2 in the second processing target area H2 in which the measurement point P in2 having the second threshold P th2 or more does not exist. The number of measurement points P in2 , that is, the number of erroneously detected edges can be reduced.

検出部5は、第2の削減処理を実行した後において、三次元空間上に残っている測定点Pの位置情報に基づいて障害物を検出する。例えば、検出部5は、三次元空間上に残っている測定点Pの位置に障害物が存在すると判定することで、当該障害物を検出してもよい。なお、この場合には、障害物の距離情報は、当該障害物に対応する測定点Pの位置情報から求めることができる。   The detection unit 5 detects an obstacle based on the position information of the measurement point P remaining in the three-dimensional space after performing the second reduction process. For example, the detection unit 5 may detect the obstacle by determining that an obstacle is present at the position of the measurement point P remaining in the three-dimensional space. In this case, the distance information of the obstacle can be obtained from the position information of the measurement point P corresponding to the obstacle.

次に、本発明の一実施形態に係る障害物検出装置2の障害物の検出方法について、図9を用いて説明する。図9は、本発明の一実施形態に係る障害物検出装置2の障害物の検出方法の流れを示す図である。   Next, a method of detecting an obstacle in the obstacle detection device 2 according to an embodiment of the present invention will be described with reference to FIG. FIG. 9 is a diagram showing a flow of a method of detecting an obstacle in the obstacle detection device 2 according to an embodiment of the present invention.

エッジ検出部31は、ステレオカメラ1が移動体の前方を異なる方向から同時に撮像しその撮像した一対の画像である第1の撮像画像及び第2の撮像画像を取得する(ステップS101)。そして、エッジ検出部31は、取得した第1の撮像画像及び第2の撮像画像のそれぞれにおいてエッジを検出する(ステップS102)。   The edge detection unit 31 acquires a first captured image and a second captured image which are a pair of images captured simultaneously by the stereo camera 1 from different directions in front of the moving body (step S101). Then, the edge detection unit 31 detects an edge in each of the acquired first and second captured images (step S102).

探索部32は、エッジ検出部31で検出された第1の撮像画像のエッジに対応する第2の撮像画像のエッジである対応点エッジを、いわゆる対応点探索することで特定する(ステップS103)。そして、探索部32は、第1の撮像画像のエッジと当該エッジに対応する第2の撮像画像の対応点エッジとを用いて、同一部分のエッジに対する両画像間における視差を求める。そして、位置計測部33は、探索部32で得られた視差から三角測量の原理を用いて、エッジの位置情報を計測する(ステップS104)。   The search unit 32 identifies the corresponding point edge which is the edge of the second captured image corresponding to the edge of the first captured image detected by the edge detection unit 31 by performing so-called corresponding point search (step S103). . Then, the search unit 32 obtains the parallax between both images with respect to the edge of the same part using the edge of the first captured image and the corresponding point edge of the second captured image corresponding to the edge. Then, the position measuring unit 33 measures edge position information using the principle of triangulation from the parallax obtained by the searching unit 32 (step S104).

次に、第1処理部41は、位置計測部33が計測した複数の計測点Pのうち、任意の計測点を一つ選択し、その選択した計測点Pを注目計測点P01に設定する(ステップS105)。そして、第1処理部41は、設定した注目計測点P01を中心として、同一平面上における所定領域を示す第1の処理対象領域H1を上記三次元空間内に設定する(ステップS106)。 Next, first processing unit 41, among the plurality of measurement points P position measuring unit 33 has measured, selects one arbitrary measurement point, and sets the selected measurement points P in the target measurement point P 01 (Step S105). Then, the first processing unit 41 sets, in the three-dimensional space, a first processing target area H1 indicating a predetermined area on the same plane with the set target measurement point P 01 as a center (step S106).

第1処理部41は、設定した第1の処理対象領域H1内において計測点Pの数が第1の閾値Pth1以上であるか否かを判定する(ステップS107)。第1処理部41は、第1の処理対象領域H1内において計測点Pの数が第1の閾値Pth1以上であると判定した場合には、注目計測点P01を削除してステップS109に進む(ステップS108)。一方、第1処理部41は、第1の処理対象領域H1内において計測点Pの数が第1の閾値Pth1未満であると判定した場合には、注目計測点P01を削除せずにステップS109に進む(ステップS108)。 The first processing unit 41 determines whether the number of measurement points P in the set first processing target area H1 is equal to or greater than a first threshold P th1 (step S107). If the first processing unit 41 determines that the number of measurement points P in the first processing target area H1 is equal to or greater than the first threshold value P th1 , the first processing unit 41 deletes the target measurement point P 01 and proceeds to step S109. Proceed (step S108). On the other hand, when the first processing unit 41 determines that the number of measurement points P is less than the first threshold P th1 in the first processing target area H1, the first processing unit 41 does not delete the target measurement point P 01. The process proceeds to step S109 (step S108).

第1処理部41は、三次元空間内に存在する全ての測定点Pに対してステップS106〜S108までの処理を行ったか否かを判定する。すなわち、第1処理部41は、三次元空間内に存在する測定点Pにおいて、注目計測点P01として設定していない測定点(以下、「未設定測定点」という。)があるか否かを判定する(ステップS109)。第1処理部41は、注目計測点P01の未設定測定点があると判定した場合には、その未設定測定点のうち、一つの測定点を注目計測点P01に設定して(ステップS110)、ステップS106に移行する。この処理により、全ての測定点Pのそれぞれに対してステップS106〜S108までの処理を実行させることができる。したがって、地面にある落ち葉やテクスチャ(地面のタイルの模様等)等の障害物ではないエッジを除去することができる。 The first processing unit 41 determines whether or not the processing of steps S106 to S108 has been performed on all the measurement points P present in the three-dimensional space. That is, at the measurement point P existing in the three-dimensional space, the first processing unit 41 determines whether or not there is a measurement point not set as the target measurement point P 01 (hereinafter referred to as “unset measurement point”). Is determined (step S109). The first processing unit 41, when it is determined that there is not set measurement points of interest measurement point P 01, of the unset measuring point, by setting one of the measurement points in the interest measurement point P 01 (step S110), the process proceeds to step S106. By this process, the process of steps S106 to S108 can be performed on each of all the measurement points P. Therefore, non-obstacle edges such as fallen leaves on the ground and textures (patterns of ground tiles, etc.) can be removed.

第2処理部42は、第1処理部41において三次元空間内に存在する測定点Pにおいて、注目計測点P01の未設定測定点がないと判定された場合には、三次元空間上に残っている計測点Pのうち、任意の計測点を一つ選択し、その選択した計測点Pを注目計測点P02に設定する(ステップS111)。そして、第2処理部42は、設定した注目計測点P02を中心とした第2の処理対象領域H2を三次元空間内に設定する(ステップS112)。 When it is determined that the first processing unit 41 determines that there is no unset measurement point of the measurement point of interest P 01 at the measurement point P existing in the three-dimensional space, the second processing unit 42 Among the remaining measurement points P, one arbitrary measurement point is selected, and the selected measurement point P is set as the target measurement point P 02 (step S 111). Then, the second processing unit 42 sets a second processing target area H2 centered on the set target measurement point P 02 in the three-dimensional space (step S112).

第2処理部42は、設定した第2の処理対象領域H2内に存在する計測点Pが第2の閾値Pth2以上存在していないか否かを判定する。すなわち、第2処理部42は、第2の処理対象領域H2内に存在する計測点Pが第2の閾値Pth2未満か否かを判定する(ステップS113)。 The second processing unit 42 determines whether or not the measurement point P present in the set second processing target area H2 is equal to or more than a second threshold value P th2 . That is, the second processing unit 42 determines whether or not the measurement point P present in the second processing target area H2 is smaller than the second threshold P th2 (step S113).

第2処理部42は、第2の処理対象領域H2内に存在する計測点Pが第2の閾値Pth2未満であると判定した場合には、注目計測点P02を削除してステップS115の処理に進む(ステップS114)。一方、第2処理部42は、第2の処理対象領域H2内に存在する計測点Pが第2の閾値Pth2以上であると判定した場合には注目計測点P02を削除せずにステップS115の処理に進む。 If the second processing unit 42 determines that the measurement point P present in the second processing target area H2 is less than the second threshold value P th2 , the second processing unit 42 deletes the attention measurement point P 02 and proceeds to step S115. The process proceeds to step S114. On the other hand, when the second processing unit 42 determines that the measurement point P existing in the second processing target area H2 is equal to or more than the second threshold value P th2 , the second processing unit 42 does not delete the target measurement point P 02. The process proceeds to step S115.

第2処理部42は、三次元空間内に存在する全ての測定点Pに対してステップS112〜S114までの処理を行ったか否かを判定する。すなわち、第2処理部42は、三次元空間内に存在する測定点Pにおいて、注目計測点P02として設定していない未設定測定点があるか否かを判定する(ステップS115)。第2処理部42は、注目計測点P02の未設定測定点があると判定した場合には、その未設定測定点のうち、一つの測定点を注目計測点P02に設定して(ステップS116)、ステップS112に移行する。この処理により、第1の削減処理後において三次元空間に残っている全ての測定点Pのそれぞれに対してステップS112〜S114までの処理を実行させることができる。したがって、対応点探索が失敗してエッジの位置を誤検出した場合において、当該誤検出したエッジを除去することができる。 The second processing unit 42 determines whether or not the processing of steps S112 to S114 has been performed on all the measurement points P existing in the three-dimensional space. That is, the second processing unit 42 determines at the measurement point P existing in the three-dimensional space, whether or not there are still set measuring points that have not been set as interest measurement points P 02 (step S115). The second processing unit 42, when it is determined that there is not set measurement points of interest measurement point P 02, of the unset measuring point, by setting one of the measurement points in the interest measurement point P 02 (step In step S116, the process proceeds to step S112. By this process, the processes of steps S112 to S114 can be performed on each of all the measurement points P remaining in the three-dimensional space after the first reduction process. Therefore, when the corresponding point search fails and the edge position is erroneously detected, the erroneously detected edge can be removed.

検出部5は、第2処理部42において三次元空間内に存在する測定点Pにおいて、注目計測点P02の未設定測定点がないと判定された場合には、三次元空間上に残っている計測点Pの位置情報に基づいて、移動体の前方方向に存在する障害物を検出する(ステップS117)。 If the second processing unit 42 determines that there is no unset measurement point of the measurement point P 02 of interest at the measurement point P existing in the three-dimensional space, the detection unit 5 remains in the three-dimensional space An obstacle existing in the forward direction of the mobile object is detected based on the position information of the existing measurement point P (step S117).

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design and the like within the scope of the present invention.

(変形例1)上記実施形態では、第1の削減処理の後に第2の削減処理を実行したが、本発明はこれに限定されない。例えば、本実施形態では、データ処理部4は、第1の削減処理及び第2の削減処理の少なくともいずれかの削減処理を実行すればよい。例えば、データ処理部4は、位置計測部33で計測した各計測点Pに対して第1の削減処理を実行する。そして、検出部5は、第1の削減処理が実行された後に、三次元空間に残っている計測点Pに基づいて障害物を検出する。これにより、地面にある落ち葉やテクスチャ(地面のタイルの模様等)等の障害物ではないエッジを除去することができる。したがって、障害物の検出精度を向上させることができる。
また、例えば、データ処理部4は、第1の削減処理を実行せずに、位置計測部33で計測した各計測点Pに対して第2の削減処理を実行する。そして、検出部5は、第2の削減処理が実行された後に、三次元空間に残っている計測点Pに基づいて障害物を検出する。これにより、対応点探索が失敗してエッジの位置を誤検出した場合において、当該誤検出したエッジを除去することができる。したがって、障害物の検出精度を向上させることができる。
(Modification 1) In the above embodiment, the second reduction processing is performed after the first reduction processing, but the present invention is not limited to this. For example, in the present embodiment, the data processing unit 4 may execute at least one of the first reduction process and the second reduction process. For example, the data processing unit 4 executes a first reduction process on each measurement point P measured by the position measurement unit 33. Then, the detection unit 5 detects an obstacle based on the measurement points P remaining in the three-dimensional space after the first reduction processing is performed. This makes it possible to remove edges that are not obstacles such as fallen leaves and textures (patterns of ground tiles, etc.) on the ground. Therefore, the detection accuracy of the obstacle can be improved.
Also, for example, the data processing unit 4 executes the second reduction process on each measurement point P measured by the position measurement unit 33 without executing the first reduction process. Then, the detection unit 5 detects an obstacle based on the measurement points P remaining in the three-dimensional space after the second reduction process is performed. Thereby, when the corresponding point search fails and the position of the edge is erroneously detected, the erroneously detected edge can be removed. Therefore, the detection accuracy of the obstacle can be improved.

(変形例2)上記実施形態では、第1のカメラ11及び第2のカメラ12を水平に並べて配置したが、本発明はこれに限定されない。例えば、第1のカメラ11及び第2のカメラ12を垂直に並べて配置してもよい。この場合には、いわゆる垂直ステレオ視によって横エッジが抽出され、この横エッジの位置が位置計測部33により計測されることになる。 (Modification 2) Although the first camera 11 and the second camera 12 are arranged horizontally in the above embodiment, the present invention is not limited to this. For example, the first camera 11 and the second camera 12 may be vertically aligned. In this case, the horizontal edge is extracted by so-called vertical stereo vision, and the position of the horizontal edge is measured by the position measurement unit 33.

(変形例3)上記実施形態では、ステレオカメラ1が二台のカメラ(第1のカメラ11及び第2のカメラ12)を備える場合について説明したが、これに限定されない。例えば、ステレオカメラ1は、二台以上のカメラを有していればよい。 (Modification 3) Although the above embodiment has described the case where the stereo camera 1 includes two cameras (the first camera 11 and the second camera 12), the present invention is not limited to this. For example, the stereo camera 1 may have two or more cameras.

以上、説明したように、本実施形態に係る障害物検出装置Aは、ステレオカメラ1の撮像範囲内における障害物を検出する障害物検出装置である。そして、障害物検出装置Aは、その撮像範囲内の任意の領域を示す処理対象領域内に存在する計測点Pの数に応じて、処理対象領域内の計測点Pを削減する削減処理を実行する。   As described above, the obstacle detection device A according to the present embodiment is an obstacle detection device that detects an obstacle within the imaging range of the stereo camera 1. And obstacle detection device A performs reduction processing which reduces measurement points P in processing object areas according to the number of measurement points P which exist in processing object areas which show the arbitrary fields in the imaging range. Do.

このような構成によれば、地面に散らばる落ち葉を示すエッジや、誤検出により単独で存在するエッジを除去することできる。これにより、障害物でないものを除去することが可能となり、障害物の検出精度を向上させることができる。   According to such a configuration, it is possible to remove an edge indicating fallen leaves scattered on the ground or an edge existing alone due to false detection. This makes it possible to remove non-obstacles and to improve the detection accuracy of obstacles.

例えば、データ処理部4は、削減処理として、同一平面上における所定領域を処理対象領域に設定し、当該設定した前記処理対象領域内において計測点Pの数が第1の閾値Pth1以上である場合には、処理対象領域内の計測点の数を第1の閾値Pth1と等しい数まで削減する。 For example, as the reduction processing, the data processing unit 4 sets a predetermined area on the same plane as the processing target area, and the number of measurement points P in the set processing target area is equal to or more than the first threshold P th1. In this case, the number of measurement points in the processing target area is reduced to a number equal to the first threshold value P th1 .

このような構成によれば、地面にある落ち葉や路面のタイル模様などのテクスチャを示すエッジを削除することが可能となる。したがって、地面にある落ち葉や路面のタイル模様などのテクスチャを障害物と認識することを抑制し、障害物を正しく検出することができる。   According to such a configuration, it is possible to delete an edge indicating a texture such as fallen leaves on the ground or a tile pattern of a road surface. Therefore, it is possible to suppress the recognition of a texture such as fallen leaves on the ground or a tile pattern of a road surface as an obstacle and correctly detect the obstacle.

例えば、データ処理部4は、削減処理として、処理対象領域内において計測点Pの数が第2の閾値Pth2以上存在しない場合には処理対象領域内の計測点Pの数を所定値(例えば、ゼロ)に削減する。 For example, as the reduction processing, the data processing unit 4 sets the number of measurement points P in the processing target area to a predetermined value (for example, when the number of measurement points P does not exist in the processing target area as the second threshold P th2 or more). Reduce to zero).

このような構成によれば、対応点探索において誤検出したエッジを削除することができる。したがって、障害物が存在しない位置に障害物があると誤検出することを抑制することができ、障害物を正しく検出することができる。   According to such a configuration, it is possible to delete an edge that is erroneously detected in the corresponding point search. Therefore, it is possible to suppress false detection when there is an obstacle at a position where there is no obstacle, and the obstacle can be detected correctly.

このように、本実施形態では、地面のテクスチャーなどのエッジは、同一平面上に存在すること、また、対応点探索により誤検出したエッジは、広い空間にわたって分散するという特徴を見出した。そして、障害物検出装置Aは、このような特徴から、まとまって存在しないエッジに対して、第1の処理及び第2の処理の少なくともいずれかの処理を実行することにより、障害物でないエッジを除去する。
なお、第1の処理を実行した後に第2の処理を実行することで、地面のテクスチャーなどのエッジ及び対応点探索により誤検出したエッジの両方を除去することができるため、障害物の検出精度をさらに向上させることができる。
As described above, in the present embodiment, it has been found that the edge such as the texture of the ground exists on the same plane, and the edge erroneously detected by the corresponding point search is dispersed over a wide space. Then, the obstacle detection device A executes the process of at least one of the first process and the second process on the edge that does not exist collectively from such a feature, so that the non-obstacle edge is detected. Remove.
Note that by executing the second process after executing the first process, it is possible to remove both an edge such as a texture on the ground and an edge that is erroneously detected by a corresponding point search, so that obstacle detection accuracy Can be further improved.

したがって、本来障害物として認識する必要のない物体の検出や誤検出が低減され、障害物検出システムAが車両に搭載された場合には、その車両の自律走行において、悪影響を与えずに安全かつ安定的な障害物検知ができるようになる。   Therefore, detection and false detection of an object that does not need to be recognized as an obstacle are reduced, and when the obstacle detection system A is mounted on a vehicle, it is safe and does not adversely affect the autonomous traveling of the vehicle. Stable obstacle detection will be possible.

なお、本実施形態に係る障害物検出装置Aが備える各部は、障害物検出装置Aの第1の処理及び第2の処理の少なくともいずれかの処理の制御に関する各種処理を行う、コンピュータ読み取り可能な記録媒体に記録されたプログラムをインストールし、このプログラムをコンピュータに実行させることで、構成してもよい。つまり、コンピュータに障害物検出装置Aの第1の処理及び第2の処理の少なくともいずれかの処理の制御に関する各種処理を行うプログラムを実行させることにより、障害物検出装置Aが備える各部としてコンピュータを機能させることで、障害物検出装置Aを構成してもよい。コンピュータはCPU、ROM、RAM、EEPROM(登録商標)等の各種メモリ、通信バス及びインタフェースを有し、予めファームウェアとしてROMに格納された処理プログラムをCPUが読み出して順次実行することで、障害物検出装置Aとして機能する。   Note that each unit included in the obstacle detection device A according to the present embodiment performs various processes related to control of at least one of the first process and the second process of the obstacle detection apparatus A, which is computer readable A program recorded on a recording medium may be installed and configured to be executed by causing a computer to execute the program. That is, by causing the computer to execute a program that performs various processes related to control of at least one of the first process and the second process of the obstacle detection device A, the computer can be used as each unit included in the obstacle detection device A. The obstacle detection device A may be configured by functioning. The computer has various memories such as a CPU, ROM, RAM, EEPROM (registered trademark), a communication bus, and an interface, and the CPU reads processing programs stored beforehand in the ROM as firmware and sequentially executes them to detect obstacles. It functions as the device A.

A 障害物検出システム
1 ステレオカメラ
2 障害物検出装置
3 計測部
4 データ処理部
5 検出部
31 エッジ検出部
32 探索部
33 位置計測部
41 第1処理部
42 第2処理部
11 第1のカメラ
12 第2のカメラ
A Obstacle detection system 1 stereo camera 2 obstacle detection device 3 measurement unit 4 data processing unit 5 detection unit 31 edge detection unit 32 search unit 33 position measurement unit 41 first processing unit 42 second processing unit 11 first camera 12 Second camera

Claims (7)

ステレオカメラの撮像範囲内における障害物を検出する障害物検出装置であって、
前記ステレオカメラで撮像された一対の画像からステレオ視を用いて得られたエッジの位置を計測する位置計測部と、
前記撮像範囲内の任意の領域を示す処理対象領域内に存在する前記位置計測部で計測された計測点の数に応じて、前記処理対象領域内の前記計測点を削減する削減処理を実行するデータ処理部と、
前記データ処理部により削減された後の前記計測点の位置に基づいて前記障害物を検出する検出部と、
を備えることを特徴とする障害物検出装置。
An obstacle detection device for detecting an obstacle within an imaging range of a stereo camera, comprising:
A position measurement unit that measures the position of an edge obtained using stereo vision from a pair of images captured by the stereo camera;
The reduction processing for reducing the measurement points in the processing target area is executed according to the number of measurement points measured by the position measuring unit present in the processing target area indicating an arbitrary area in the imaging range. A data processing unit,
A detection unit that detects the obstacle based on the position of the measurement point after being reduced by the data processing unit;
An obstacle detection device comprising:
前記データ処理部は、前記削減処理として、同一平面上における所定領域を前記処理対象領域に設定し、当該設定した前記処理対象領域内において前記計測点の数が第1の閾値以上である場合には、前記処理対象領域内の計測点の数を前記第1の閾値と等しい数まで削減することを特徴とする請求項1に記載の障害物検出装置。   The data processing unit sets a predetermined area on the same plane as the processing target area as the reduction processing, and the number of measurement points in the set processing target area is equal to or more than a first threshold. The obstacle detection device according to claim 1, wherein the number of measurement points in the processing target area is reduced to a number equal to the first threshold. 前記データ処理部は、複数の計測点のうち、一つの計測点を注目計測点として順に設定し、設定した前記注目計測点を中心とした前記処理対象領域内の計測数が第1の閾値以上である場合には、前記注目計測点を削除する処理を、各注目計測点ごとに実行することで、前記処理対象領域内の計測点の数を前記第1の閾値と等しい数まで削減することを特徴とする請求項2に記載の障害物検出装置。   The data processing unit sequentially sets one measurement point as a target measurement point among a plurality of measurement points, and the number of measurements in the processing target area centering on the set target measurement point is equal to or more than a first threshold In this case, the number of measurement points in the processing target area is reduced to a number equal to the first threshold value by executing the process of deleting the target measurement points for each target measurement point. The obstacle detection device according to claim 2, characterized in that 前記データ処理部は、前記削減処理として、前記処理対象領域内において前記計測点の数が第2の閾値以上存在しない場合には、前記処理対象領域内の計測点の数を所定値と等しい数まで削減することを特徴とする請求項1に記載の障害物検出装置。   The data processing unit determines, as the reduction process, the number of measurement points in the processing area equal to a predetermined value when the number of measurement points does not exist in the processing area at the second threshold or more. The obstacle detection device according to claim 1, wherein the obstacle is reduced to 前記所定値は、ゼロであることを特徴とする請求項4に記載の障害物検出装置。   The obstacle detection device according to claim 4, wherein the predetermined value is zero. 前記データ処理部は、複数の計測点のうち、一つの計測点を注目計測点として順に設定し、設定した前記注目計測点を中心とした前記処理対象領域内の計測数が第2の閾値以上存在しない場合には、前記注目計測点を削除する処理を、各注目計測点ごとに実行することで、前記処理対象領域内の計測点の数を前記所定値と等しい数まで削減することを特徴とする請求項4又は請求項5に記載の障害物検出装置。   The data processing unit sequentially sets one measurement point as a target measurement point among the plurality of measurement points, and the number of measurements in the processing target area centering on the set target measurement point is equal to or more than a second threshold If not present, the number of measurement points in the processing target area is reduced to a number equal to the predetermined value by executing the process of deleting the measurement points of interest for each measurement point of interest. The obstacle detection device according to claim 4 or 5. 前記データ処理部は、
同一平面上における所定領域を第1の処理対象領域に設定し、当該設定した前記第1の処理対象領域内において前記計測点の数が第1の閾値以上である場合には、前記第1の処理対象領域内の計測点の数を前記第1の閾値所定値と等しい数まで削減する第1処理を実行する第1処理部と、
前記第1処理の後において、前記第1の処理対象領域とは異なる第2の処理対象領域内において前記計測点の数が第2の閾値以上存在しない場合には、前記第2の処理対象領域内の計測点の数を所定値所定値と等しい数まで削減することを特徴とする請求項1に記載の障害物検出装置。
The data processing unit
When a predetermined area on the same plane is set as a first processing target area, and the number of measurement points in the set first processing target area is equal to or more than a first threshold, the first A first processing unit that executes a first process of reducing the number of measurement points in the processing target area to a number equal to the first predetermined threshold value;
After the first processing, when the number of measurement points is not more than a second threshold in a second processing target area different from the first processing target area, the second processing target area The obstacle detection device according to claim 1, wherein the number of measurement points within is reduced to a number equal to a predetermined value and a predetermined value.
JP2017251134A 2017-12-27 2017-12-27 Obstacle detector Active JP6968691B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017251134A JP6968691B2 (en) 2017-12-27 2017-12-27 Obstacle detector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017251134A JP6968691B2 (en) 2017-12-27 2017-12-27 Obstacle detector

Publications (2)

Publication Number Publication Date
JP2019117522A true JP2019117522A (en) 2019-07-18
JP6968691B2 JP6968691B2 (en) 2021-11-17

Family

ID=67304459

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017251134A Active JP6968691B2 (en) 2017-12-27 2017-12-27 Obstacle detector

Country Status (1)

Country Link
JP (1) JP6968691B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102450977B1 (en) * 2022-05-25 2022-10-06 (주)잉클 Depth image based safety system and method for controlling the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (en) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd On-vehicle outside monitoring device
JP2002323301A (en) * 2001-04-26 2002-11-08 Fujitsu Ltd Object position measurement device
JP2006054681A (en) * 2004-08-11 2006-02-23 Tokyo Institute Of Technology Moving object periphery monitoring apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (en) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd On-vehicle outside monitoring device
JP2002323301A (en) * 2001-04-26 2002-11-08 Fujitsu Ltd Object position measurement device
JP2006054681A (en) * 2004-08-11 2006-02-23 Tokyo Institute Of Technology Moving object periphery monitoring apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONG LIU ET AL.: ""Real-Time Trust Region Ground Plane Segmentation for Monocular Mobile Robots"", 2017 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS (ROBIO), JPN6021030152, 5 December 2017 (2017-12-05), US, pages 1 - 7, ISSN: 0004566515 *
実吉 敬二: ""ステレオカメラによる自動車運転支援システム"", 情報処理学会研究報告 コンピュータビジョンとイメージメディア(CVIM), JPN6021030150, 15 February 2013 (2013-02-15), JP, pages 1 - 6, ISSN: 0004619113 *

Also Published As

Publication number Publication date
JP6968691B2 (en) 2021-11-17

Similar Documents

Publication Publication Date Title
US10102433B2 (en) Traveling road surface detection apparatus and traveling road surface detection method
WO2021114508A1 (en) Visual navigation inspection and obstacle avoidance method for line inspection robot
JP5870273B2 (en) Object detection apparatus, object detection method, and program
US8947508B2 (en) Image processing apparatus
JP5693994B2 (en) Vehicle detection device
JP6524529B2 (en) Building limit judging device
JP6499047B2 (en) Measuring device, method and program
CN107563373B (en) Unmanned aerial vehicle landing area active safety detection method based on stereoscopic vision and application
CN112598922B (en) Parking space detection method, device, equipment and storage medium
US7221789B2 (en) Method for processing an image captured by a camera
CN112070759A (en) Forklift pallet detection and positioning method and system
JP2015184929A (en) Three-dimensional object detection apparatus, three-dimensional object detection method and three-dimensional object detection program
KR20180098945A (en) Method and apparatus for measuring speed of vehicle by using fixed single camera
KR20180122691A (en) Mainly a detection method and mainly a detection device
JP7180445B2 (en) object detector
JP4123138B2 (en) Vehicle detection method and vehicle detection device
JP2019117522A (en) Obstacle detection device
CN107609468B (en) Class optimization aggregation analysis method for active safety detection of unmanned aerial vehicle landing area and application
US20190139177A1 (en) Device for detecting road surface state
JP4817384B2 (en) Moving object detection device and program for moving object detection device
JP6014867B2 (en) Image processing device
CN112400094B (en) Object detecting device
JP6114572B2 (en) Object area estimation method, object area estimation apparatus, object detection apparatus including the object area, and vehicle.
KR101595317B1 (en) Precise positioning of the vehicle for detecting a road surface display method and system
JP7134780B2 (en) stereo camera device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211027

R150 Certificate of patent or registration of utility model

Ref document number: 6968691

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150