JP2019117522A - Obstacle detection device - Google Patents
Obstacle detection device Download PDFInfo
- Publication number
- JP2019117522A JP2019117522A JP2017251134A JP2017251134A JP2019117522A JP 2019117522 A JP2019117522 A JP 2019117522A JP 2017251134 A JP2017251134 A JP 2017251134A JP 2017251134 A JP2017251134 A JP 2017251134A JP 2019117522 A JP2019117522 A JP 2019117522A
- Authority
- JP
- Japan
- Prior art keywords
- target area
- measurement points
- processing
- obstacle
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、障害物検出装置に関する。 The present invention relates to an obstacle detection device.
従来から、ステレオカメラで撮像された一対の画像から、ステレオ視を用いて障害物の距離を計測することで当該障害物を検出する障害物検出装置が開示されている(例えば、特許文献1参照)。 Conventionally, an obstacle detection device is disclosed that detects an obstacle by measuring the distance of the obstacle using stereo vision from a pair of images captured by a stereo camera (see, for example, Patent Document 1). ).
具体的には、この種の障害物検出装置では、上記一対の画像のそれぞれから、障害物の輪郭を示すエッジを抽出し、一方の画像から抽出したエッジと、当該エッジに対応する他方の画像のエッジとから、同一部分のエッジに対する両画像間における視差を求める。そして、この視差を用いて同一部分のエッジの距離を算出することで、障害物を検出する。 Specifically, in the obstacle detection device of this type, an edge indicating the outline of the obstacle is extracted from each of the pair of images, and an edge extracted from one of the images and the other image corresponding to the edge The parallax between both images for the edge of the same part is determined from the edge of. Then, an obstacle is detected by calculating the distance of the edge of the same part using this parallax.
ところで、上記障害物検出装置では、ステレオカメラで撮像された画像において、左右方向に隣接する画素同士の輝度値の差が大きい部分をエッジとして認識している。したがって、地面にある落ち葉や路面のタイル模様などのテクスチャをエッジとして認識してしまうおそれがあり、障害物を正しく検出することができない場合がある。 By the way, in the above-mentioned obstacle detection device, in an image picked up by a stereo camera, a portion having a large difference in luminance value between adjacent pixels in the left and right direction is recognized as an edge. Therefore, there is a possibility that a texture such as fallen leaves on the ground or a tile pattern of a road surface may be recognized as an edge, and an obstacle may not be detected correctly.
また、上記障害物検出装置では、一方の画像から抽出したエッジに対応する他方の画像のエッジ(以下、「対応エッジ」という。)をテンプレートマッチングにより対応点探索する。ただし、他方の画像において、一方の画像から抽出したエッジに対して相似度の高い領域が複数ある場合には、当該対応点探索が失敗してしまう場合がある。この場合には、一方の画像から抽出したエッジに対応しないエッジを対応エッジとして抽出してしまうため、障害物が存在しない位置に障害物があると誤検出してしまい、障害物を正しく検出することができない場合がある。 Further, in the obstacle detection device, the edge of the other image corresponding to the edge extracted from one image (hereinafter referred to as “corresponding edge”) is searched for corresponding points by template matching. However, when there are a plurality of regions having high similarity to the edge extracted from one image in the other image, the corresponding point search may fail. In this case, an edge not corresponding to an edge extracted from one of the images is extracted as a corresponding edge. Therefore, if an obstacle is present at a position where there is no obstacle, the obstacle is detected correctly. You may not be able to
本発明は、このような事情に鑑みてなされたもので、その目的は、障害物の検出精度を向上させることができる障害物検出装置を提供することである。 The present invention has been made in view of such circumstances, and an object thereof is to provide an obstacle detection device capable of improving the detection accuracy of an obstacle.
本発明の一態様は、ステレオカメラの撮像範囲内における障害物を検出する障害物検出装置であって、前記ステレオカメラで撮像された一対の画像からステレオ視を用いて得られたエッジの位置を計測する位置計測部と、前記撮像範囲内の任意の領域を示す処理対象領域内に存在する前記位置計測部で計測された計測点の数に応じて、前記処理対象領域内の前記計測点を削減する削減処理を実行するデータ処理部と、前記データ処理部により削減された後の前記計測点の位置に基づいて前記障害物を検出する検出部と、を備えることを特徴とする障害物検出装置である。 One aspect of the present invention is an obstacle detection device for detecting an obstacle within an imaging range of a stereo camera, which is a position of an edge obtained using stereo vision from a pair of images imaged by the stereo camera The measurement points in the processing target area are determined according to the number of measurement points measured by the position measuring section present in the processing target area indicating a position measuring section and an arbitrary area in the imaging range. Obstacle detection characterized by comprising: a data processing unit that executes reduction processing to be reduced; and a detection unit that detects the obstacle based on the position of the measurement point after being reduced by the data processing unit. It is an apparatus.
本発明の一態様は、上述の障害物検出装置であって、前記データ処理部は、前記削減処理として、同一平面上における所定領域を前記処理対象領域に設定し、当該設定した前記処理対象領域内において前記計測点の数が第1の閾値以上である場合には、前記処理対象領域内の計測点の数を前記第1の閾値と等しい数まで削減する。 One embodiment of the present invention is the obstacle detection device described above, wherein the data processing unit sets a predetermined area on the same plane as the processing target area as the reduction processing, and the set processing target area If the number of measurement points is equal to or greater than the first threshold value, the number of measurement points in the processing target area is reduced to a number equal to the first threshold value.
本発明の一態様は、上述の障害物検出装置であって、前記データ処理部は、複数の計測点のうち、一つの計測点を注目計測点として順に設定し、設定した前記注目計測点を中心とした前記処理対象領域内の計測数が第1の閾値以上である場合には、前記注目計測点を削除する処理を、各注目計測点ごとに実行することで、前記処理対象領域内の計測点の数を前記第1の閾値と等しい数まで削減する。 One embodiment of the present invention is the obstacle detection device described above, wherein the data processing unit sequentially sets one measurement point as a target measurement point among a plurality of measurement points, and sets the target measurement point set. When the number of measurements in the processing target area at the center is equal to or greater than the first threshold, the processing for deleting the target measuring point is executed for each target measuring point to obtain the processing target area. The number of measurement points is reduced to a number equal to the first threshold.
本発明の一態様は、上述の障害物検出装置であって、前記データ処理部は、前記削減処理として、前記処理対象領域内において前記計測点の数が第2の閾値以上存在しない場合には、前記処理対象領域内の計測点の数を所定値と等しい数まで削減する。 One embodiment of the present invention is the obstacle detection device described above, wherein the data processing unit performs the reduction processing when the number of the measurement points does not exist in the processing target area as a second threshold or more. The number of measurement points in the processing target area is reduced to a number equal to a predetermined value.
本発明の一態様は、上述の障害物検出装置であって、前記所定値は、ゼロである。 One aspect of the present invention is the obstacle detection device described above, wherein the predetermined value is zero.
本発明の一態様は、上述の障害物検出装置であって、前記データ処理部は、複数の計測点のうち、一つの計測点を注目計測点として順に設定し、設定した前記注目計測点を中心とした前記処理対象領域内の計測数が第2の閾値以上存在しない場合には、前記注目計測点を削除する処理を、各注目計測点ごとに実行することで、前記処理対象領域内の計測点の数を前記所定値と等しい数まで削減する。 One embodiment of the present invention is the obstacle detection device described above, wherein the data processing unit sequentially sets one measurement point as a target measurement point among a plurality of measurement points, and sets the target measurement point set. When the number of measurements in the processing target area at the center does not exist more than the second threshold, the processing of deleting the target measuring point is executed for each target measuring point to obtain the processing target area. The number of measurement points is reduced to a number equal to the predetermined value.
本発明の一態様は、上述の障害物検出装置であって、前記データ処理部は、同一平面上における所定領域を第1の処理対象領域に設定し、当該設定した前記第1の処理対象領域内において前記計測点の数が第1の閾値以上である場合には、前記第1の処理対象領域内の計測点の数を前記第1の閾値所定値と等しい数まで削減する第1処理を実行する第1処理部と、前記第1処理の後において、前記第1の処理対象領域とは異なる第2の処理対象領域内において前記計測点の数が第2の閾値以上存在しない場合には、前記第2の処理対象領域内の計測点の数を所定値所定値と等しい数まで削減することを特徴とする。 One embodiment of the present invention is the obstacle detection device described above, wherein the data processing unit sets a predetermined region on the same plane as a first processing target region, and the set first processing target region If the number of measurement points is equal to or greater than the first threshold value, the first process of reducing the number of measurement points in the first processing target area to a number equal to the first threshold predetermined value is performed. In the case where the number of the measurement points does not exceed the second threshold in the second processing target area different from the first processing target area after the first processing unit to be executed and the first processing. The number of measurement points in the second processing target area is reduced to a number equal to a predetermined value and a predetermined value.
以上説明したように、本発明によれば、障害物の検出精度を向上させることができる。 As described above, according to the present invention, the detection accuracy of an obstacle can be improved.
以下、本発明の一実施形態に係る障害物検出システムを、図面を用いて説明する。 Hereinafter, an obstacle detection system according to an embodiment of the present invention will be described using the drawings.
例えば、本発明の一実施形態に係る障害物検出システムは、自律走行可能な移動体に設けられ、当該移動体の前方方向の障害物を検出するシステムである。この移動体は、自律走行可能な車両であってもよいし、ロボットであってもよい。また、移動体は、有人であってもよいし、無人であってもよい。 For example, an obstacle detection system according to an embodiment of the present invention is a system provided in a mobile body capable of autonomous traveling and detecting an obstacle in the forward direction of the mobile body. The moving body may be an autonomously traveling vehicle or a robot. Also, the mobile body may be manned or unmanned.
図1は、本発明の一実施形態に係る障害物検出システムAの概略構成の一例を示す図である。図1に示すように、障害物検出システムAは、ステレオカメラ1及び障害物検出装置2を備える。
FIG. 1 is a view showing an example of a schematic configuration of an obstacle detection system A according to an embodiment of the present invention. As shown in FIG. 1, an obstacle detection system A includes a stereo camera 1 and an
ステレオカメラ1は、移動体の進行方向を撮像するように当該移動体に設けられている。ステレオカメラ1は、移動体の進行方向において、視差を含む一対の画像を取得して、障害物検出装置2に出力する。具体的には、ステレオカメラ1は、一対のカメラである第1のカメラ11及び第2のカメラ12を備える。
The stereo camera 1 is provided on the moving body so as to capture the traveling direction of the moving body. The stereo camera 1 acquires a pair of images including parallax in the traveling direction of the moving body, and outputs the pair of images to the
第1のカメラ11は、移動体に搭載されており、当該移動体の前方方向に向かって右側に設けられている。第1のカメラ11は、移動体の進行方向を撮像し、その撮像した画像(以下、「第1の撮像画像」という。)を障害物検出装置2に出力する。
The
第2のカメラ12は、移動体に搭載されており、当該移動体の前方方向に向かって左側に設けられている。第2のカメラ12は、移動体の進行方向を撮像し、その撮像した画像(以下、「第2の撮像画像」という。)を障害物検出装置2に出力する。
なお、第1のカメラ11と第2のカメラ12とは、同一のタイミングで撮像する。ただし、「同一」とは、完全な同じ時刻に限定されない。
The
The
このように、ステレオカメラ1は、水平方向に離間して並べられた第1のカメラ11及び第2のカメラ12により移動体の進行方向に存在する障害物を、視差を有する複数の方向(左右方向)から同時に撮像する。そして、ステレオカメラ1は、同時に撮像することで得られた第1の撮像画像と第2の撮像画像とを障害物検出装置2に出力する。なお、第1の撮像画像及び第2の撮像画像のそれぞれを区別しない場合には、単に「撮像画像」という。
Thus, in the stereo camera 1, obstacles present in the traveling direction of the moving object by the
障害物検出装置2は、第1の撮像画像及び第2の撮像画像からステレオ視を用いて移動体の前方の障害物(ステレオカメラ1の撮像範囲内の障害物)の距離を計測することで当該障害物を検出する装置である。
具体的には、図1に示すように、障害物検出装置2は、計測部3、データ処理部4及び検出部5を備える。
The
Specifically, as shown in FIG. 1, the
計測部3は、エッジ検出部31、探索部32、及び位置計測部33を備える。
The
エッジ検出部31は、ステレオカメラ1から第1の撮像画像及び第2の撮像画像を取得する。そして、エッジ検出部31は、取得した第1の撮像画像及び第2の撮像画像のそれぞれにおいて、障害物の輪郭を示すエッジを検出する。エッジとは、撮像画像において、左右方向に隣接する画素同士の輝度値の差が所定値以上の部分である。
The
探索部32は、エッジ検出部31で検出された第1の撮像画像のエッジに対応する第2の撮像画像のエッジ(以下、「対応エッジ」という。)を、例えば、テンプレートマッチング等を用いることで対応点探索する。そして、探索部32は、対応点探索することで得られた同一部分のエッジに対する両画像間における視差を求める。
The
位置計測部33は、探索部32で得られた視差から三角測量の原理を用いて、エッジの位置情報を計測する。図2は、本発明の一実施形態に係る位置計測部33で計測された複数のエッジの各位置情報を示す図である。
The
図2に示すように、この位置情報とは、三次元空間において、ステレオカメラ1の中心を原点0とした三次元座標である。各計測点Pは、位置計測部33で計測された各エッジの三次元空間における位置(位置情報)を示す。なお、Y方向は、移動体の進行方向を示し、X方向は進行方向と直行する移動体の左右方向を示し、Z方向は、X方向及びY方向の双方に直交する方向であって、例えば、鉛直方向である。また、ステレオカメラの中心とは、第1のカメラ11の位置と第2のカメラ12の位置との間の中心である。
As shown in FIG. 2, this position information is three-dimensional coordinates with the center of the stereo camera 1 as the origin 0 in the three-dimensional space. Each measurement point P indicates the position (position information) in the three-dimensional space of each edge measured by the
このように、位置計測部33は、ステレオカメラ1で撮像された一対の撮像画像からステレオ視を用いて得られたエッジの位置を三次元座標として取得する。
As described above, the
データ処理部4は、ステレオカメラ1の撮像範囲内において、任意の領域を示す処理対象領域内に存在する計測点Pの数に応じて、その処理対象領域内の計測点Pを削減する削減処理を実行する。以下に、本発明の一実施形態に係るデータ処理部4の構成について説明する。
The
データ処理部4は、第1処理部41及び第2処理部42を備える。
The
第1処理部41は、位置計測部33で計測した各計測点Pにおける三次元空間の位置情報(三次元座標)を取得する。第1処理部41は、三次元空間において、同一平面上における所定領域を処理対象領域として第1の処理対象領域H1に設定する。そして、第1処理部41は、その設定した第1の処理対象領域H1内において計測点Pの数が第1の閾値Pth1以上である場合には、第1の処理対象領域H1内の計測点の数を第1の閾値Pth1と等しい数まで削減する第1の削減処理を実行する。
The
この第1の削減処理は、地面にある落ち葉やテクスチャ(地面のタイルの模様等)等の障害物ではないエッジを除去する処理である。 The first reduction process is a process of removing an edge which is not an obstacle such as fallen leaves on the ground or a texture (pattern of a tile on the ground, etc.).
以下に、第1の削減処理について、図3〜図5を用いて説明する。なお、図3〜図5において、●は第1の処理対象領域H1外に存在する計測点P(Pout1)を示し、〇は、第1の処理対象領域H1内に存在する計測点P(Pin1)を示す。 Hereinafter, the first reduction process will be described with reference to FIGS. In FIG. 3 to FIG. 5, .circle- solid . Indicates a measurement point P ( P.sub.out1 ) existing outside the first processing target area H1, and .smallcircle. Indicates a measurement point P existing in the first processing target area H1 It shows Pin1 ).
まず、図3に示すように、第1処理部41は、位置計測部33が計測した複数の計測点Pのうち、任意の計測点を一つ選択し、その選択した計測点Pを注目計測点P01に設定する。そして、第1処理部41は、設定した注目計測点P01を中心とした第1の処理対象領域H1を上記三次元空間内に設定する。
First, as shown in FIG. 3, the
この第1の処理対象領域H1は、三次元空間において、同一平面上における所定領域であればよく、その領域の形状には特に限定されない。また、同一平面上とは、Z方向の位置が一致していなくてもよく、同一平面上とみなせる程度(例えば、所定の誤差を含み得る程度)にZ方向の領域において幅を持たせてもよい。本実施形態では、第1の処理対象領域H1は、X軸方向の長さΔX1、Y軸方向の長さΔY1、及びZ軸方向の長さΔZ1の直方体で示される領域である。 The first processing target area H1 may be a predetermined area on the same plane in a three-dimensional space, and is not particularly limited to the shape of the area. Also, the position on the same plane does not have to match the position in the Z direction, and even if the area in the Z direction has a width that can be regarded on the same plane (for example, a degree that can include a predetermined error). Good. In the present embodiment, the first processing target area H1 is an area indicated by a rectangular parallelepiped having a length ΔX1 in the X-axis direction, a length ΔY1 in the Y-axis direction, and a length ΔZ1 in the Z-axis direction.
第1処理部41は、設定した第1の処理対象領域H1内に存在する計測点Pin1が第1の閾値Pth1(例えば、Pth1=5)以上である場合には、図4に示すように、注目計測点P01を削除する。第1処理部41は、第1の処理対象領域H1内に存在する計測点Pin1が第1の閾値Pth1以上である場合に注目計測点P01を削除する処理を、すべての計測点Pに対して実行(第1の処理の実行)することで、第1の処理対象領域H1内の計測点Pの数を第1の閾値Pth1と等しい数まで調整する。
The
換言すれば、第1処理部41は、複数の計測点Pのうち、各計測点Pを注目計測点P0として順に設定し、設定した注目計測点P01を中心とした第1の処理対象領域H1内の計測数Pin1が第1の閾値Pth1以上である場合には、注目計測点P01を削除する処理を、各注目計測点P01ごとに実行する。これにより、図5に示すように、第1処理部41は、第1の処理対象領域H1内の計測点Pin1の数、すなわち地面にある落ち葉等の障害物でないエッジの数を第1の閾値Pth1と等しい数まで削減することができる。
In other words, the
第2処理部42は、第1処理の後の三次元空間内において、第1の処理対象領域H1とは異なる第2の処理対象領域H2内において計測点Pの数が第2の閾値Pth2以上存在しない場合には、第2の閾値Pth2内の計測点Pの数を所定値と等しい数まで削減する第2の削減処理を実行する。この所定値とは、第2の閾値Pth2未満の値であって、例えば、ゼロである。
The
この第2の削減処理は、対応点探索が失敗してエッジの位置を誤検出した場合において、当該誤検出したエッジを除去する処理である。 The second reduction process is a process of removing the erroneously detected edge when the corresponding point search fails and the position of the edge is erroneously detected.
以下に、第2の削減処理について、図6〜図8を用いて説明する。なお、図6〜図8において、●は第2の処理対象領域H2外に存在する計測点P(Pout2)を示し、〇は、第2の処理対象領域H2内に存在する計測点P(Pin2)を示す。 Hereinafter, the second reduction process will be described with reference to FIGS. In FIGS. 6 to 8, a black circle indicates a measurement point P (P out2 ) existing outside the second processing target area H2, and a circle indicates a measurement point P existing in the second processing target area H2 Indicates P in2 ).
まず、図6に示すように、第2処理部42は、第1の削減処理が実行された後に三次元空間に残った計測点Pのうち、任意の計測点を一つ選択し、その選択した計測点Pを注目計測点P02に設定する。そして、第2処理部42は、設定した注目計測点P02を中心とした第2の処理対象領域H2を上記三次元空間内に設定する。
First, as shown in FIG. 6, the
この第2の処理対象領域H2は、X軸方向の長さΔX2、Y軸方向の長さΔY2、及びZ軸方向の長さΔZ2の直方体で示される領域である。この第2の処理対象領域H2は、エッジ検出部31で検出されるエッジが縦エッジ又は横エッジかによって形状が異なってもよい。例えば、本実施形態のように、エッジ検出部31で検出されるエッジが縦エッジである場合には、Z軸方向の長さΔZ2がX軸方向の長さΔX2及びY軸方向の長さΔY2よりも長くなるような直方体に設定する。一方、エッジ検出部31で検出されるエッジが横エッジである場合には、X軸方向の長さΔX2がY軸方向の長さΔY2及びZ軸方向の長さΔZ2よりも長くなるような直方体に設定する。ただし、第2の処理対象領域H2の形状は直方体に限定されず、一定の領域を有するものであればよく、例えは、立方体であってもよいし、楕円形状であってもよい。
The second processing target area H2 is an area indicated by a rectangular solid having a length ΔX2 in the X-axis direction, a length ΔY2 in the Y-axis direction, and a length ΔZ2 in the Z-axis direction. The shape of the second processing target area H2 may be different depending on whether the edge detected by the
第2処理部42は、設定した第2の処理対象領域H2内に存在する計測点Pin2が第2の閾値Pth2(例えば、Pth2=8)以上存在していない場合には、図7に示すように、注目計測点P02を削除する。第2処理部42は、第2の処理対象領域H2内に存在する計測点Pin2が第2の閾値Pth2以上でない場合に注目計測点P02を削除する処理を、すべての計測点Pに対して実行(第2の処理の実行)することで、第2の処理対象領域H2内の計測点Pの数を所定値(例えば、ゼロ)に調整する。
If the measurement point P in2 present in the set second process target area H2 does not exist equal to or more than the second threshold P th2 (for example, P th2 = 8), the
換言すれば、第2処理部42は、複数の計測点Pのうち、各計測点Pを注目計測点P02として順に設定し、設定した注目計測点P02を中心とした第2の処理対象領域H2内の計測数Pin2が第2の閾値Pth2以上存在していない場合には、注目計測点P02を削除する処理を、各注目計測点P02ごとに実行する。これにより、図8に示すように、第2処理部42は、第2の閾値Pth2以上の計測点Pin2が存在しない第2の処理対象領域H2において、当該第2の処理対象領域H2内の計測点Pin2の数、すなわち誤検出したエッジの数を削減することができる。
In other words, the
検出部5は、第2の削減処理を実行した後において、三次元空間上に残っている測定点Pの位置情報に基づいて障害物を検出する。例えば、検出部5は、三次元空間上に残っている測定点Pの位置に障害物が存在すると判定することで、当該障害物を検出してもよい。なお、この場合には、障害物の距離情報は、当該障害物に対応する測定点Pの位置情報から求めることができる。
The
次に、本発明の一実施形態に係る障害物検出装置2の障害物の検出方法について、図9を用いて説明する。図9は、本発明の一実施形態に係る障害物検出装置2の障害物の検出方法の流れを示す図である。
Next, a method of detecting an obstacle in the
エッジ検出部31は、ステレオカメラ1が移動体の前方を異なる方向から同時に撮像しその撮像した一対の画像である第1の撮像画像及び第2の撮像画像を取得する(ステップS101)。そして、エッジ検出部31は、取得した第1の撮像画像及び第2の撮像画像のそれぞれにおいてエッジを検出する(ステップS102)。
The
探索部32は、エッジ検出部31で検出された第1の撮像画像のエッジに対応する第2の撮像画像のエッジである対応点エッジを、いわゆる対応点探索することで特定する(ステップS103)。そして、探索部32は、第1の撮像画像のエッジと当該エッジに対応する第2の撮像画像の対応点エッジとを用いて、同一部分のエッジに対する両画像間における視差を求める。そして、位置計測部33は、探索部32で得られた視差から三角測量の原理を用いて、エッジの位置情報を計測する(ステップS104)。
The
次に、第1処理部41は、位置計測部33が計測した複数の計測点Pのうち、任意の計測点を一つ選択し、その選択した計測点Pを注目計測点P01に設定する(ステップS105)。そして、第1処理部41は、設定した注目計測点P01を中心として、同一平面上における所定領域を示す第1の処理対象領域H1を上記三次元空間内に設定する(ステップS106)。
Next,
第1処理部41は、設定した第1の処理対象領域H1内において計測点Pの数が第1の閾値Pth1以上であるか否かを判定する(ステップS107)。第1処理部41は、第1の処理対象領域H1内において計測点Pの数が第1の閾値Pth1以上であると判定した場合には、注目計測点P01を削除してステップS109に進む(ステップS108)。一方、第1処理部41は、第1の処理対象領域H1内において計測点Pの数が第1の閾値Pth1未満であると判定した場合には、注目計測点P01を削除せずにステップS109に進む(ステップS108)。
The
第1処理部41は、三次元空間内に存在する全ての測定点Pに対してステップS106〜S108までの処理を行ったか否かを判定する。すなわち、第1処理部41は、三次元空間内に存在する測定点Pにおいて、注目計測点P01として設定していない測定点(以下、「未設定測定点」という。)があるか否かを判定する(ステップS109)。第1処理部41は、注目計測点P01の未設定測定点があると判定した場合には、その未設定測定点のうち、一つの測定点を注目計測点P01に設定して(ステップS110)、ステップS106に移行する。この処理により、全ての測定点Pのそれぞれに対してステップS106〜S108までの処理を実行させることができる。したがって、地面にある落ち葉やテクスチャ(地面のタイルの模様等)等の障害物ではないエッジを除去することができる。
The
第2処理部42は、第1処理部41において三次元空間内に存在する測定点Pにおいて、注目計測点P01の未設定測定点がないと判定された場合には、三次元空間上に残っている計測点Pのうち、任意の計測点を一つ選択し、その選択した計測点Pを注目計測点P02に設定する(ステップS111)。そして、第2処理部42は、設定した注目計測点P02を中心とした第2の処理対象領域H2を三次元空間内に設定する(ステップS112)。
When it is determined that the
第2処理部42は、設定した第2の処理対象領域H2内に存在する計測点Pが第2の閾値Pth2以上存在していないか否かを判定する。すなわち、第2処理部42は、第2の処理対象領域H2内に存在する計測点Pが第2の閾値Pth2未満か否かを判定する(ステップS113)。
The
第2処理部42は、第2の処理対象領域H2内に存在する計測点Pが第2の閾値Pth2未満であると判定した場合には、注目計測点P02を削除してステップS115の処理に進む(ステップS114)。一方、第2処理部42は、第2の処理対象領域H2内に存在する計測点Pが第2の閾値Pth2以上であると判定した場合には注目計測点P02を削除せずにステップS115の処理に進む。
If the
第2処理部42は、三次元空間内に存在する全ての測定点Pに対してステップS112〜S114までの処理を行ったか否かを判定する。すなわち、第2処理部42は、三次元空間内に存在する測定点Pにおいて、注目計測点P02として設定していない未設定測定点があるか否かを判定する(ステップS115)。第2処理部42は、注目計測点P02の未設定測定点があると判定した場合には、その未設定測定点のうち、一つの測定点を注目計測点P02に設定して(ステップS116)、ステップS112に移行する。この処理により、第1の削減処理後において三次元空間に残っている全ての測定点Pのそれぞれに対してステップS112〜S114までの処理を実行させることができる。したがって、対応点探索が失敗してエッジの位置を誤検出した場合において、当該誤検出したエッジを除去することができる。
The
検出部5は、第2処理部42において三次元空間内に存在する測定点Pにおいて、注目計測点P02の未設定測定点がないと判定された場合には、三次元空間上に残っている計測点Pの位置情報に基づいて、移動体の前方方向に存在する障害物を検出する(ステップS117)。
If the
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design and the like within the scope of the present invention.
(変形例1)上記実施形態では、第1の削減処理の後に第2の削減処理を実行したが、本発明はこれに限定されない。例えば、本実施形態では、データ処理部4は、第1の削減処理及び第2の削減処理の少なくともいずれかの削減処理を実行すればよい。例えば、データ処理部4は、位置計測部33で計測した各計測点Pに対して第1の削減処理を実行する。そして、検出部5は、第1の削減処理が実行された後に、三次元空間に残っている計測点Pに基づいて障害物を検出する。これにより、地面にある落ち葉やテクスチャ(地面のタイルの模様等)等の障害物ではないエッジを除去することができる。したがって、障害物の検出精度を向上させることができる。
また、例えば、データ処理部4は、第1の削減処理を実行せずに、位置計測部33で計測した各計測点Pに対して第2の削減処理を実行する。そして、検出部5は、第2の削減処理が実行された後に、三次元空間に残っている計測点Pに基づいて障害物を検出する。これにより、対応点探索が失敗してエッジの位置を誤検出した場合において、当該誤検出したエッジを除去することができる。したがって、障害物の検出精度を向上させることができる。
(Modification 1) In the above embodiment, the second reduction processing is performed after the first reduction processing, but the present invention is not limited to this. For example, in the present embodiment, the
Also, for example, the
(変形例2)上記実施形態では、第1のカメラ11及び第2のカメラ12を水平に並べて配置したが、本発明はこれに限定されない。例えば、第1のカメラ11及び第2のカメラ12を垂直に並べて配置してもよい。この場合には、いわゆる垂直ステレオ視によって横エッジが抽出され、この横エッジの位置が位置計測部33により計測されることになる。
(Modification 2) Although the
(変形例3)上記実施形態では、ステレオカメラ1が二台のカメラ(第1のカメラ11及び第2のカメラ12)を備える場合について説明したが、これに限定されない。例えば、ステレオカメラ1は、二台以上のカメラを有していればよい。
(Modification 3) Although the above embodiment has described the case where the stereo camera 1 includes two cameras (the
以上、説明したように、本実施形態に係る障害物検出装置Aは、ステレオカメラ1の撮像範囲内における障害物を検出する障害物検出装置である。そして、障害物検出装置Aは、その撮像範囲内の任意の領域を示す処理対象領域内に存在する計測点Pの数に応じて、処理対象領域内の計測点Pを削減する削減処理を実行する。 As described above, the obstacle detection device A according to the present embodiment is an obstacle detection device that detects an obstacle within the imaging range of the stereo camera 1. And obstacle detection device A performs reduction processing which reduces measurement points P in processing object areas according to the number of measurement points P which exist in processing object areas which show the arbitrary fields in the imaging range. Do.
このような構成によれば、地面に散らばる落ち葉を示すエッジや、誤検出により単独で存在するエッジを除去することできる。これにより、障害物でないものを除去することが可能となり、障害物の検出精度を向上させることができる。 According to such a configuration, it is possible to remove an edge indicating fallen leaves scattered on the ground or an edge existing alone due to false detection. This makes it possible to remove non-obstacles and to improve the detection accuracy of obstacles.
例えば、データ処理部4は、削減処理として、同一平面上における所定領域を処理対象領域に設定し、当該設定した前記処理対象領域内において計測点Pの数が第1の閾値Pth1以上である場合には、処理対象領域内の計測点の数を第1の閾値Pth1と等しい数まで削減する。
For example, as the reduction processing, the
このような構成によれば、地面にある落ち葉や路面のタイル模様などのテクスチャを示すエッジを削除することが可能となる。したがって、地面にある落ち葉や路面のタイル模様などのテクスチャを障害物と認識することを抑制し、障害物を正しく検出することができる。 According to such a configuration, it is possible to delete an edge indicating a texture such as fallen leaves on the ground or a tile pattern of a road surface. Therefore, it is possible to suppress the recognition of a texture such as fallen leaves on the ground or a tile pattern of a road surface as an obstacle and correctly detect the obstacle.
例えば、データ処理部4は、削減処理として、処理対象領域内において計測点Pの数が第2の閾値Pth2以上存在しない場合には処理対象領域内の計測点Pの数を所定値(例えば、ゼロ)に削減する。
For example, as the reduction processing, the
このような構成によれば、対応点探索において誤検出したエッジを削除することができる。したがって、障害物が存在しない位置に障害物があると誤検出することを抑制することができ、障害物を正しく検出することができる。 According to such a configuration, it is possible to delete an edge that is erroneously detected in the corresponding point search. Therefore, it is possible to suppress false detection when there is an obstacle at a position where there is no obstacle, and the obstacle can be detected correctly.
このように、本実施形態では、地面のテクスチャーなどのエッジは、同一平面上に存在すること、また、対応点探索により誤検出したエッジは、広い空間にわたって分散するという特徴を見出した。そして、障害物検出装置Aは、このような特徴から、まとまって存在しないエッジに対して、第1の処理及び第2の処理の少なくともいずれかの処理を実行することにより、障害物でないエッジを除去する。
なお、第1の処理を実行した後に第2の処理を実行することで、地面のテクスチャーなどのエッジ及び対応点探索により誤検出したエッジの両方を除去することができるため、障害物の検出精度をさらに向上させることができる。
As described above, in the present embodiment, it has been found that the edge such as the texture of the ground exists on the same plane, and the edge erroneously detected by the corresponding point search is dispersed over a wide space. Then, the obstacle detection device A executes the process of at least one of the first process and the second process on the edge that does not exist collectively from such a feature, so that the non-obstacle edge is detected. Remove.
Note that by executing the second process after executing the first process, it is possible to remove both an edge such as a texture on the ground and an edge that is erroneously detected by a corresponding point search, so that obstacle detection accuracy Can be further improved.
したがって、本来障害物として認識する必要のない物体の検出や誤検出が低減され、障害物検出システムAが車両に搭載された場合には、その車両の自律走行において、悪影響を与えずに安全かつ安定的な障害物検知ができるようになる。 Therefore, detection and false detection of an object that does not need to be recognized as an obstacle are reduced, and when the obstacle detection system A is mounted on a vehicle, it is safe and does not adversely affect the autonomous traveling of the vehicle. Stable obstacle detection will be possible.
なお、本実施形態に係る障害物検出装置Aが備える各部は、障害物検出装置Aの第1の処理及び第2の処理の少なくともいずれかの処理の制御に関する各種処理を行う、コンピュータ読み取り可能な記録媒体に記録されたプログラムをインストールし、このプログラムをコンピュータに実行させることで、構成してもよい。つまり、コンピュータに障害物検出装置Aの第1の処理及び第2の処理の少なくともいずれかの処理の制御に関する各種処理を行うプログラムを実行させることにより、障害物検出装置Aが備える各部としてコンピュータを機能させることで、障害物検出装置Aを構成してもよい。コンピュータはCPU、ROM、RAM、EEPROM(登録商標)等の各種メモリ、通信バス及びインタフェースを有し、予めファームウェアとしてROMに格納された処理プログラムをCPUが読み出して順次実行することで、障害物検出装置Aとして機能する。 Note that each unit included in the obstacle detection device A according to the present embodiment performs various processes related to control of at least one of the first process and the second process of the obstacle detection apparatus A, which is computer readable A program recorded on a recording medium may be installed and configured to be executed by causing a computer to execute the program. That is, by causing the computer to execute a program that performs various processes related to control of at least one of the first process and the second process of the obstacle detection device A, the computer can be used as each unit included in the obstacle detection device A. The obstacle detection device A may be configured by functioning. The computer has various memories such as a CPU, ROM, RAM, EEPROM (registered trademark), a communication bus, and an interface, and the CPU reads processing programs stored beforehand in the ROM as firmware and sequentially executes them to detect obstacles. It functions as the device A.
A 障害物検出システム
1 ステレオカメラ
2 障害物検出装置
3 計測部
4 データ処理部
5 検出部
31 エッジ検出部
32 探索部
33 位置計測部
41 第1処理部
42 第2処理部
11 第1のカメラ
12 第2のカメラ
A Obstacle detection system 1
Claims (7)
前記ステレオカメラで撮像された一対の画像からステレオ視を用いて得られたエッジの位置を計測する位置計測部と、
前記撮像範囲内の任意の領域を示す処理対象領域内に存在する前記位置計測部で計測された計測点の数に応じて、前記処理対象領域内の前記計測点を削減する削減処理を実行するデータ処理部と、
前記データ処理部により削減された後の前記計測点の位置に基づいて前記障害物を検出する検出部と、
を備えることを特徴とする障害物検出装置。 An obstacle detection device for detecting an obstacle within an imaging range of a stereo camera, comprising:
A position measurement unit that measures the position of an edge obtained using stereo vision from a pair of images captured by the stereo camera;
The reduction processing for reducing the measurement points in the processing target area is executed according to the number of measurement points measured by the position measuring unit present in the processing target area indicating an arbitrary area in the imaging range. A data processing unit,
A detection unit that detects the obstacle based on the position of the measurement point after being reduced by the data processing unit;
An obstacle detection device comprising:
同一平面上における所定領域を第1の処理対象領域に設定し、当該設定した前記第1の処理対象領域内において前記計測点の数が第1の閾値以上である場合には、前記第1の処理対象領域内の計測点の数を前記第1の閾値所定値と等しい数まで削減する第1処理を実行する第1処理部と、
前記第1処理の後において、前記第1の処理対象領域とは異なる第2の処理対象領域内において前記計測点の数が第2の閾値以上存在しない場合には、前記第2の処理対象領域内の計測点の数を所定値所定値と等しい数まで削減することを特徴とする請求項1に記載の障害物検出装置。 The data processing unit
When a predetermined area on the same plane is set as a first processing target area, and the number of measurement points in the set first processing target area is equal to or more than a first threshold, the first A first processing unit that executes a first process of reducing the number of measurement points in the processing target area to a number equal to the first predetermined threshold value;
After the first processing, when the number of measurement points is not more than a second threshold in a second processing target area different from the first processing target area, the second processing target area The obstacle detection device according to claim 1, wherein the number of measurement points within is reduced to a number equal to a predetermined value and a predetermined value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017251134A JP6968691B2 (en) | 2017-12-27 | 2017-12-27 | Obstacle detector |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017251134A JP6968691B2 (en) | 2017-12-27 | 2017-12-27 | Obstacle detector |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019117522A true JP2019117522A (en) | 2019-07-18 |
JP6968691B2 JP6968691B2 (en) | 2021-11-17 |
Family
ID=67304459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017251134A Active JP6968691B2 (en) | 2017-12-27 | 2017-12-27 | Obstacle detector |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6968691B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102450977B1 (en) * | 2022-05-25 | 2022-10-06 | (주)잉클 | Depth image based safety system and method for controlling the same |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05265547A (en) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | On-vehicle outside monitoring device |
JP2002323301A (en) * | 2001-04-26 | 2002-11-08 | Fujitsu Ltd | Object position measurement device |
JP2006054681A (en) * | 2004-08-11 | 2006-02-23 | Tokyo Institute Of Technology | Moving object periphery monitoring apparatus |
-
2017
- 2017-12-27 JP JP2017251134A patent/JP6968691B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05265547A (en) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | On-vehicle outside monitoring device |
JP2002323301A (en) * | 2001-04-26 | 2002-11-08 | Fujitsu Ltd | Object position measurement device |
JP2006054681A (en) * | 2004-08-11 | 2006-02-23 | Tokyo Institute Of Technology | Moving object periphery monitoring apparatus |
Non-Patent Citations (2)
Title |
---|
HONG LIU ET AL.: ""Real-Time Trust Region Ground Plane Segmentation for Monocular Mobile Robots"", 2017 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS (ROBIO), JPN6021030152, 5 December 2017 (2017-12-05), US, pages 1 - 7, ISSN: 0004566515 * |
実吉 敬二: ""ステレオカメラによる自動車運転支援システム"", 情報処理学会研究報告 コンピュータビジョンとイメージメディア(CVIM), JPN6021030150, 15 February 2013 (2013-02-15), JP, pages 1 - 6, ISSN: 0004619113 * |
Also Published As
Publication number | Publication date |
---|---|
JP6968691B2 (en) | 2021-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10102433B2 (en) | Traveling road surface detection apparatus and traveling road surface detection method | |
WO2021114508A1 (en) | Visual navigation inspection and obstacle avoidance method for line inspection robot | |
JP5870273B2 (en) | Object detection apparatus, object detection method, and program | |
US8947508B2 (en) | Image processing apparatus | |
JP5693994B2 (en) | Vehicle detection device | |
JP6524529B2 (en) | Building limit judging device | |
JP6499047B2 (en) | Measuring device, method and program | |
CN107563373B (en) | Unmanned aerial vehicle landing area active safety detection method based on stereoscopic vision and application | |
CN112598922B (en) | Parking space detection method, device, equipment and storage medium | |
US7221789B2 (en) | Method for processing an image captured by a camera | |
CN112070759A (en) | Forklift pallet detection and positioning method and system | |
JP2015184929A (en) | Three-dimensional object detection apparatus, three-dimensional object detection method and three-dimensional object detection program | |
KR20180098945A (en) | Method and apparatus for measuring speed of vehicle by using fixed single camera | |
KR20180122691A (en) | Mainly a detection method and mainly a detection device | |
JP7180445B2 (en) | object detector | |
JP4123138B2 (en) | Vehicle detection method and vehicle detection device | |
JP2019117522A (en) | Obstacle detection device | |
CN107609468B (en) | Class optimization aggregation analysis method for active safety detection of unmanned aerial vehicle landing area and application | |
US20190139177A1 (en) | Device for detecting road surface state | |
JP4817384B2 (en) | Moving object detection device and program for moving object detection device | |
JP6014867B2 (en) | Image processing device | |
CN112400094B (en) | Object detecting device | |
JP6114572B2 (en) | Object area estimation method, object area estimation apparatus, object detection apparatus including the object area, and vehicle. | |
KR101595317B1 (en) | Precise positioning of the vehicle for detecting a road surface display method and system | |
JP7134780B2 (en) | stereo camera device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211027 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6968691 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |