JP2021131385A - Object detector - Google Patents

Object detector Download PDF

Info

Publication number
JP2021131385A
JP2021131385A JP2021018327A JP2021018327A JP2021131385A JP 2021131385 A JP2021131385 A JP 2021131385A JP 2021018327 A JP2021018327 A JP 2021018327A JP 2021018327 A JP2021018327 A JP 2021018327A JP 2021131385 A JP2021131385 A JP 2021131385A
Authority
JP
Japan
Prior art keywords
image
resolution
point cloud
detection device
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021018327A
Other languages
Japanese (ja)
Other versions
JP7501398B2 (en
Inventor
啓子 秋山
Keiko Akiyama
啓子 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to PCT/JP2021/005722 priority Critical patent/WO2021166912A1/en
Priority to CN202180015257.2A priority patent/CN115176175A/en
Publication of JP2021131385A publication Critical patent/JP2021131385A/en
Priority to US17/820,505 priority patent/US20220392194A1/en
Application granted granted Critical
Publication of JP7501398B2 publication Critical patent/JP7501398B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

To provide an object detector which can detect an object in a right unit more accurately.SOLUTION: The object detector divides an excessively coupled cluster in Step S111 if a cluster is determined to be excessively coupled in S108, and detects the part of the cluster which is in a point group corresponding to an image target as an object in S112. The object detector couples at least two clusters in the part in the point group corresponding to the image target in S116 when the cluster is determined to be excessively coupled in S113, and detects the cluster after the coupling as an object.SELECTED DRAWING: Figure 7

Description

本開示は、物体検出装置に関する。 The present disclosure relates to an object detection device.

特許文献1には、レーザレーダにより検出された複数の検出点をクラスタリングすることにより生成されたクラスタを用いて物体を検出する物体識別装置が記載されている。具体的には、物体識別装置は、前回生成されたクラスタと、今回生成されたクラスタと、の一致度を計算することで物体を表すクラスタを特定する。このとき、物体識別装置は、クラスタがツリー構造をなしていることを利用して、根ノードのクラスタから子ノードのクラスタに向かって一致度を計算していく。 Patent Document 1 describes an object identification device that detects an object using a cluster generated by clustering a plurality of detection points detected by a laser radar. Specifically, the object identification device identifies a cluster representing an object by calculating the degree of coincidence between the cluster generated last time and the cluster generated this time. At this time, the object identification device calculates the degree of coincidence from the cluster of the root node to the cluster of the child node by utilizing the fact that the cluster has a tree structure.

特開2013−228259号公報Japanese Unexamined Patent Publication No. 2013-228259

しかしながら、発明者の詳細な検討の結果、以下の課題が見出された。すなわち、特許文献1に記載の装置のように点群のみを用いてクラスタリングすると、物体を正しい単位で検出しにくい。例えば、検出対象とする物体について、本来生成されるべきクラスタよりも小さいクラスタが根ノードのクラスタとして生成された場合、根ノードのクラスタよりも大きなクラスタを物体として検出することが難しく、過分割されてしまう。また、例えば、前回生成されたクラスタが存在しない場合、つまり初回のクラスタリング時には、前回生成されたクラスタと、今回生成されたクラスタと、の一致度を計算することができないため、物体を表すクラスタを特定することが難しく、検出精度が低くなってしまう。 However, as a result of detailed examination by the inventor, the following problems have been found. That is, if clustering is performed using only a point cloud as in the apparatus described in Patent Document 1, it is difficult to detect an object in a correct unit. For example, when a cluster smaller than the cluster that should be originally generated is generated as a cluster of root nodes for an object to be detected, it is difficult to detect a cluster larger than the cluster of root nodes as an object, and the object is overdivided. It ends up. Also, for example, if the cluster that was generated last time does not exist, that is, at the time of the first clustering, the degree of coincidence between the cluster that was generated last time and the cluster that was generated this time cannot be calculated. It is difficult to identify and the detection accuracy is low.

本開示の一局面は、より高精度に物体を正しい単位で検出することができる物体検出装置を提供する。 One aspect of the present disclosure provides an object detection device capable of detecting an object in a correct unit with higher accuracy.

本開示の一態様は、物体検出装置であって、照射部(2)と、受光部(3)と、検出部(51〜54)と、を備える。照射部は、所定の測距エリアに光を照射するように構成される。受光部は、照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成される。検出部は、反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成される。点群は、測距エリア全体で検出された反射点の群である。画像は、環境光に基づく画像である環境光画像、反射光に基づき検出される物体までの距離に基づく画像である距離画像及び反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも1つである。 One aspect of the present disclosure is an object detection device, which includes an irradiation unit (2), a light receiving unit (3), and a detection unit (51 to 54). The irradiation unit is configured to irradiate a predetermined ranging area with light. The light receiving unit is configured to receive the reflected light, which is the light reflected by the light emitted by the irradiation unit, and the ambient light. The detection unit is configured to detect a predetermined object based on a point cloud, which is information based on reflected light, and an image. The point cloud is a group of reflection points detected in the entire ranging area. The image is at least one of an ambient light image which is an image based on ambient light, a distance image which is an image based on the distance to an object detected based on reflected light, and a reflection intensity image which is an image based on the reflection intensity of reflected light. There is one.

このような構成によれば、より高精度に物体を正しい単位で検出することができる。 According to such a configuration, the object can be detected with higher accuracy in the correct unit.

物体検出装置の構成を示すブロック図である。It is a block diagram which shows the structure of the object detection device. 歩行者を示す画像物標の模式的な図の一例である。It is an example of a schematic diagram of an image target showing a pedestrian. 点群における歩行者を示す部分の模式的な図の一例である。It is an example of a schematic diagram of a part showing a pedestrian in a point cloud. ミキサー車を示す画像物標の模式的な図の一例である。It is an example of a schematic diagram of an image target showing a mixer truck. 点群におけるミキサー車を示す部分の模式的な図の一例である。It is an example of a schematic diagram of a part showing a mixer truck in a point cloud. 第1実施形態の物体検出処理の前半部分を示すフローチャートである。It is a flowchart which shows the first half part of the object detection process of 1st Embodiment. 第1実施形態の物体検出処理の後半部分を示すフローチャートである。It is a flowchart which shows the latter half part of the object detection process of 1st Embodiment. 第2実施形態の物体検出処理の前半部分を示すフローチャートである。It is a flowchart which shows the first half part of the object detection process of 2nd Embodiment. 第2実施形態の変形例の物体検出処理を示すフローチャートである。It is a flowchart which shows the object detection process of the modification of 2nd Embodiment.

以下、本開示の例示的な実施形態について図面を参照しながら説明する。
[1.構成]
図1に示す物体検出装置1は、車両に搭載して使用され、光を照射し、照射した光を反射する物体からの反射光を受光することで、車両前方に存在する物体を検出する。
Hereinafter, exemplary embodiments of the present disclosure will be described with reference to the drawings.
[1. composition]
The object detection device 1 shown in FIG. 1 is mounted on a vehicle and is used to irradiate light and receive reflected light from an object that reflects the irradiated light to detect an object existing in front of the vehicle.

物体検出装置1は、図1に示すように、照射部2と、受光部3と、記憶部4と、処理部5と、を備える。
照射部2は、車両の前方における測距エリアにレーザ光を照射する。測距エリアは、水平方向及び鉛直方向のそれぞれに所定の角度範囲で広がるエリアである。照射部2は、レーザ光を水平方向に走査する。
As shown in FIG. 1, the object detection device 1 includes an irradiation unit 2, a light receiving unit 3, a storage unit 4, and a processing unit 5.
The irradiation unit 2 irradiates the ranging area in front of the vehicle with a laser beam. The ranging area is an area that extends in a predetermined angle range in each of the horizontal direction and the vertical direction. The irradiation unit 2 scans the laser beam in the horizontal direction.

受光部3は、測距エリアからの入射光の光量を検出する。受光部3により検出される入射光には、照射部2により照射されたレーザ光が物体で反射した反射光の他、太陽光の反射光などの環境光が含まれる。 The light receiving unit 3 detects the amount of incident light from the ranging area. The incident light detected by the light receiving unit 3 includes ambient light such as reflected light of sunlight as well as reflected light obtained by reflecting the laser light emitted by the irradiation unit 2 on an object.

測距エリアは、複数の分割エリアに区分されており、複数の分割エリアごとに入射光の光量を検出可能である。測距エリアを、受光部3を視点として前方(すなわち、レーザ光の照射方向)を見たときに視認される2次元平面として表したとき、上述した複数の分割エリアは、当該2次元平面を水平方向及び鉛直方向に関して複数段に分割した1つ1つの領域に対応する。分割エリアそれぞれは、3次元空間として見れば、受光部3から延びる直線にそって長さを持つ空間領域である。分割エリアごとに、上述した直線の水平方向の角度及び鉛直方向の角度が対応付けられて定まる。 The ranging area is divided into a plurality of divided areas, and the amount of incident light can be detected for each of the plurality of divided areas. When the ranging area is represented as a two-dimensional plane that is visually recognized when the light receiving unit 3 is viewed from the front (that is, the irradiation direction of the laser beam), the plurality of divided areas described above refer to the two-dimensional plane. It corresponds to each region divided into a plurality of stages in the horizontal direction and the vertical direction. Each of the divided areas is a space area having a length along a straight line extending from the light receiving unit 3 when viewed as a three-dimensional space. For each division area, the horizontal angle and the vertical angle of the straight line described above are associated and determined.

本実施形態では、測距エリアが、従来の一般的なLIDARと比較して細かな分割エリアに区分されている。例えば、測距エリアにおける分割エリアの数が、上述した2次元平面において、水平方向に500個、鉛直方向に100個に区分されるように設計されている。 In the present embodiment, the ranging area is divided into finely divided areas as compared with the conventional general LIDAR. For example, the number of divided areas in the distance measuring area is designed to be divided into 500 in the horizontal direction and 100 in the vertical direction in the above-mentioned two-dimensional plane.

各分割エリアには、1つ以上の受光素子が対応づけられている。1つの分割エリアに対応づけられる受光素子の数によって、分割エリアの大きさ(すなわち、上述した2次元平面上においては、その面積の大きさ)が変化する。1つの分割エリアに対応づけられる受光素子の数が少ないほど、1つの分割エリアの大きさは小さくなり、分解能が高くなる。このような構成を実現するため、受光部3は複数の受光素子が配列されている受光素子アレイを備える。受光素子アレイは、例えばSPAD、その他のフォトダイオードによって構成される。なお、SPADは、Single Photon Avalanche Diodeの略である。 One or more light receiving elements are associated with each divided area. The size of the divided area (that is, the size of the area on the above-mentioned two-dimensional plane) changes depending on the number of light receiving elements associated with one divided area. The smaller the number of light receiving elements associated with one divided area, the smaller the size of one divided area and the higher the resolution. In order to realize such a configuration, the light receiving unit 3 includes a light receiving element array in which a plurality of light receiving elements are arranged. The light receiving element array is composed of, for example, SPAD and other photodiodes. SPAD is an abbreviation for Single Photon Avalanche Diode.

上述したように、入射光には、反射光と環境光が含まれる。照射部2により照射されたレーザ光が物体で反射した反射光は、レーザ光の照射タイミングを開始時刻とする一定期間の入射光の光量をサンプリングした、時間と入射光の光量との関係を表す受光波形において、環境光と十分に区別可能なピークとして検出される。照射部2によるレーザ光の照射タイミングから反射光の検出タイミングまでの時間から、レーザ光が物体で反射した反射点までの距離が算出される。したがって、分割エリアの水平方向及び鉛直方向の角度、及び、物体検出装置1からの距離から、反射点の3次元位置が特定される。反射点の3次元位置は分割エリアごとに特定されるため、測距エリア全体で検出された反射点の群である点群の3次元位置が特定される。つまり、レーザ光を反射した物体について、その3次元位置と、3次元空間における水平方向及び鉛直方向のサイズと、が特定される。なお、後述するクラスタリング等の処理のため、反射点の3次元位置は、X,Y,Zの座標値に変換される。 As described above, the incident light includes reflected light and ambient light. The reflected light reflected by the object from the laser beam emitted by the irradiation unit 2 represents the relationship between the time and the amount of incident light obtained by sampling the amount of incident light for a certain period starting from the irradiation timing of the laser light. In the received waveform, it is detected as a peak that is sufficiently distinguishable from ambient light. From the time from the irradiation timing of the laser light by the irradiation unit 2 to the detection timing of the reflected light, the distance to the reflection point where the laser light is reflected by the object is calculated. Therefore, the three-dimensional position of the reflection point is specified from the horizontal and vertical angles of the divided area and the distance from the object detection device 1. Since the three-dimensional position of the reflection point is specified for each divided area, the three-dimensional position of the point cloud, which is a group of reflection points detected in the entire ranging area, is specified. That is, the three-dimensional position of the object reflecting the laser beam and the horizontal and vertical sizes in the three-dimensional space are specified. The three-dimensional positions of the reflection points are converted into X, Y, and Z coordinate values for processing such as clustering, which will be described later.

環境光は、反射光が検出されない期間における受光波形として検出される。例えば、レーザ光の反射光を検出するために設定されている期間が経過した後の受光波形が環境光として検出されてもよい。上述のように、受光部3は、各分割エリアからの入射光の光量を検出することから、受光された環境光に基づき、横500画素、縦100画素の解像度かつ多階調のグレースケール画像が環境光画像として生成される。つまり、環境光画像は、車両の前方をカメラで撮影した場合と同様の画像となる。加えて、点群における各反射点の角度位置と、環境光画像における各画素の位置とは1対1で対応することから、環境光画像を画像解析して認識される物体と、点群において認識される物体と、の対応関係が高い精度で特定可能となる。なお、環境光画像は、後述する画像生成部61で生成される。 The ambient light is detected as a received light waveform during the period when the reflected light is not detected. For example, the received light waveform after the period set for detecting the reflected light of the laser light has elapsed may be detected as the ambient light. As described above, since the light receiving unit 3 detects the amount of incident light from each divided area, it is a grayscale image having a resolution of 500 pixels in width and 100 pixels in height and multi-gradation based on the received ambient light. Is generated as an ambient light image. That is, the ambient light image is the same as when the front of the vehicle is photographed by the camera. In addition, since the angular position of each reflection point in the point cloud and the position of each pixel in the ambient light image have a one-to-one correspondence, the object recognized by image analysis of the ambient light image and the point cloud The correspondence between the recognized object and the object can be identified with high accuracy. The ambient light image is generated by the image generation unit 61, which will be described later.

記憶部4は、種別情報と、距離閾値と、サイズ閾値と、を記憶している。
種別情報とは、検出対象とする物体の種別のことである。検出対象とする物体には、歩行者、先行車両などの、運転者が運転時に注目すべき物体が含まれる。
The storage unit 4 stores the type information, the distance threshold value, and the size threshold value.
The type information is the type of the object to be detected. The object to be detected includes an object that the driver should pay attention to when driving, such as a pedestrian and a preceding vehicle.

距離閾値とは、検出対象とする物体を検出し得る距離範囲の目安として物体の種別ごとに設定されている閾値のことである。例えば、物体検出装置1の性能、走行環境等の要因により、所定距離以上離れた位置に歩行者を検出できる可能性が極めて低い場合、当該所定距離が歩行者についての距離閾値として設定される。なお、使用される距離閾値が走行環境等に応じて変更されてもよい。 The distance threshold value is a threshold value set for each type of object as a guideline for a distance range in which an object to be detected can be detected. For example, when it is extremely unlikely that a pedestrian can be detected at a position separated by a predetermined distance or more due to factors such as the performance of the object detection device 1 and the traveling environment, the predetermined distance is set as a distance threshold value for the pedestrian. The distance threshold used may be changed according to the traveling environment and the like.

サイズ閾値とは、検出対象とする物体の適正なサイズの目安として物体の種別ごとに設定されている閾値のことである。例えば、歩行者の可能性がある高さ及び幅の範囲であって、当該範囲を超える場合は歩行者である可能性が極めて低い高さ及び幅の範囲それぞれの上限値が、歩行者についてのサイズ閾値として設定される。下限値を設定しないことにより、例えば、歩行者の上半身のみしか撮像されていない場合などであっても、歩行者であるとの判定が可能となる。 The size threshold value is a threshold value set for each type of object as a guideline for an appropriate size of the object to be detected. For example, the upper limit of each height and width range that is likely to be a pedestrian and is extremely unlikely to be a pedestrian if it exceeds that range is for a pedestrian. Set as a size threshold. By not setting the lower limit value, it is possible to determine that the person is a pedestrian, for example, even when only the upper body of the pedestrian is imaged.

処理部5は、図示しないCPU、ROM、RAM、フラッシュメモリ等を有する周知のマイクロコンピュータを中心に構成される。CPUは、非遷移的実体的記録媒体であるROMに格納されたプログラムを実行する。当該プログラムが実行されることで、当該プログラムに対応する方法が実行される。具体的には、処理部5は当該プログラムに従い、後述する図6及び図7に示す物体検出処理を実行する。なお、処理部5は、1つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。 The processing unit 5 is mainly composed of a well-known microcomputer having a CPU, ROM, RAM, flash memory, etc. (not shown). The CPU executes a program stored in ROM, which is a non-transitional substantive recording medium. When the program is executed, the method corresponding to the program is executed. Specifically, the processing unit 5 executes the object detection processing shown in FIGS. 6 and 7 described later according to the program. The processing unit 5 may be provided with one microcomputer or may be provided with a plurality of microcomputers.

処理部5は、CPUがプログラムを実行することで実現される機能ブロック、すなわち、仮想的な構成要素として、点群生成部51と、クラスタ生成部52と、識別部53と、物体検出部54と、切替部55と、画像生成部61と、を備える。処理部5に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。 The processing unit 5 is a functional block realized by the CPU executing a program, that is, as virtual components, a point cloud generation unit 51, a cluster generation unit 52, an identification unit 53, and an object detection unit 54. , A switching unit 55, and an image generation unit 61. The method for realizing the functions of each unit included in the processing unit 5 is not limited to software, and some or all of the functions may be realized by using one or more hardware. For example, when the above function is realized by an electronic circuit which is hardware, the electronic circuit may be realized by a digital circuit, an analog circuit, or a combination thereof.

点群生成部51は、受光波形に基づき点群を生成する。点群とは、測距エリア全体で検出された反射点の群である。反射点とは、照射部2によるレーザ光が反射した点を表すものであって、上述した分割エリアごとに取得される。1つの分割エリアに対応づけられる受光素子の数を変更することで、当該点群において、点群解像度を切り替えることが可能である。点群解像度とは、点群を構成する複数の反射点を検出する単位(すなわち分割エリア)の数である。 The point cloud generation unit 51 generates a point cloud based on the received light waveform. The point cloud is a group of reflection points detected in the entire ranging area. The reflection point represents a point where the laser beam reflected by the irradiation unit 2 is reflected, and is acquired for each of the above-mentioned divided areas. By changing the number of light receiving elements associated with one divided area, it is possible to switch the point cloud resolution in the point cloud. The point cloud resolution is the number of units (that is, division areas) for detecting a plurality of reflection points constituting the point cloud.

クラスタ生成部52は、点群生成部51により生成された点群をクラスタリングすることにより、複数のクラスタを生成する。
画像生成部61は、環境光画像と、距離画像と、反射強度画像と、を生成する。距離画像とは、照射部2により照射されたレーザ光が物体で反射した反射点までの距離を画素ごとに表した画像である。反射強度画像とは、照射部2により照射されたレーザ光が物体で反射した反射光を受光部3が受光する強度を画素ごとに表した画像である。各画像は、解像度を切り替え可能である。
The cluster generation unit 52 generates a plurality of clusters by clustering the point clouds generated by the point cloud generation unit 51.
The image generation unit 61 generates an ambient light image, a distance image, and a reflection intensity image. The distance image is an image showing the distance to the reflection point reflected by the object by the laser beam emitted by the irradiation unit 2 for each pixel. The reflection intensity image is an image showing the intensity of the laser light emitted by the irradiation unit 2 reflected by the object and received by the light receiving unit 3 for each pixel. The resolution of each image can be switched.

識別部53は、環境光画像を解析し、検出対象とする物体であると識別された部分である画像物標を環境光画像において検出する。つまり、識別部53は、記憶部4に記憶されている種別情報と合致する物体を環境光画像から検出する。画像物標を検出する方法としては、例えば、Deep Learning、機械学習などが用いられる。 The identification unit 53 analyzes the ambient light image and detects an image target, which is a portion identified as an object to be detected, in the ambient light image. That is, the identification unit 53 detects an object that matches the type information stored in the storage unit 4 from the ambient light image. As a method for detecting an image target, for example, Deep Learning, machine learning, or the like is used.

物体検出部54は、点群において、識別部53により検出された画像物標に対応するクラスタを検出する。画像物標に対応するクラスタの検出については、後に詳述する。
切替部55は、切替処理として解像度を切り替える。鉛直方向における解像度については、受光部3において、1画素に使用する受光素子の数を減らし、鉛直方向における画素数を増やすことで、解像度は高くなる。物体検出装置1は、複数の受光素子のうち第1の個数の受光素子を1画素とする第1の解像度と、複数の受光素子のうち第1の個数よりも数が少ない第2の個数の受光素子を1画素とする第2の解像度と、に切り替え可能に構成されている。本実施形態では、物体検出装置1は、横6個×縦4個の計24個の受光素子を1画素とするデフォルトの解像度と、横6個×縦2個の計12個の受光素子を1画素とする高水準の解像度と、に切り替え可能に構成されている。一方、水平方向における解像度については、照射部2において、レーザ光を走査する間隔を狭くし、水平方向における画素数を増やすことで、解像度は高くなる。本実施形態では、高水準の解像度の場合、横1000画素、縦200画素の解像度の画像が環境光画像として生成される。また、本実施形態では、点群解像度は上述した画像の解像度と一致するように設定される。具体的には、高水準の場合は、水平方向に1000個、鉛直方向に200個の分割エリアにおいて検出された反射点の群として点群が生成される。
The object detection unit 54 detects a cluster corresponding to the image target detected by the identification unit 53 in the point cloud. The detection of clusters corresponding to image targets will be described in detail later.
The switching unit 55 switches the resolution as a switching process. Regarding the resolution in the vertical direction, the resolution is increased by reducing the number of light receiving elements used for one pixel in the light receiving unit 3 and increasing the number of pixels in the vertical direction. The object detection device 1 has a first resolution in which the first number of light receiving elements among the plurality of light receiving elements is one pixel, and a second number of light receiving elements that is smaller than the first number among the plurality of light receiving elements. It is configured to be switchable to a second resolution in which the light receiving element is one pixel. In the present embodiment, the object detection device 1 has a default resolution in which a total of 24 light receiving elements (6 horizontal × 4 vertical) are used as one pixel, and a total of 12 light receiving elements (6 horizontal × 2 vertical). It is configured to be switchable to a high level resolution of one pixel. On the other hand, regarding the resolution in the horizontal direction, the resolution is increased by narrowing the interval for scanning the laser beam in the irradiation unit 2 and increasing the number of pixels in the horizontal direction. In the present embodiment, in the case of a high level resolution, an image having a resolution of 1000 pixels in the horizontal direction and 200 pixels in the vertical direction is generated as an ambient light image. Further, in the present embodiment, the point cloud resolution is set to match the resolution of the above-mentioned image. Specifically, in the case of a high level, a point cloud is generated as a group of reflection points detected in 1000 divided areas in the horizontal direction and 200 in the vertical direction.

ここで、図2及び図3を用いて、壁と歩行者とが近接している場面を例にとって説明する。図2の環境光画像において、壁21と分離して歩行者22が画像物標として検出された場合でも、図3の点群においては、壁23と歩行者24とが区別されず1つのクラスタとして検出されてしまうことがある。ここで、物体の単位で区別されるべき複数のクラスタが1つのクラスタに結合している状態を、クラスタが過結合しているという。 Here, with reference to FIGS. 2 and 3, a scene in which a wall and a pedestrian are close to each other will be described as an example. In the ambient light image of FIG. 2, even when the pedestrian 22 is detected as an image target separately from the wall 21, the wall 23 and the pedestrian 24 are not distinguished in the point cloud of FIG. 3, and one cluster. May be detected as. Here, a state in which a plurality of clusters that should be distinguished by the unit of an object are connected to one cluster is said to be over-coupled.

また、図4及び図5を用いて、ミキサー車を例にとって説明する。図4に示すように、環境光画像においてミキサー車25が画像物標として検出された場合でも、図5の点群においては、ミキサー車が車体における前方の部分26とタンクの部分27とで2つのクラスタとして検出されてしまうことがある。ここで、物体の単位で区別されるべき1つのクラスタが複数のクラスタに分割されている状態を、クラスタが過分割しているという。 Further, a mixer truck will be described as an example with reference to FIGS. 4 and 5. As shown in FIG. 4, even when the mixer truck 25 is detected as an image target in the ambient light image, in the point cloud of FIG. 5, the mixer truck is 2 in the front portion 26 of the vehicle body and the tank portion 27. It may be detected as one cluster. Here, a state in which one cluster that should be distinguished by the unit of an object is divided into a plurality of clusters is said to be overdivided.

つまり、図2〜図5に示す場面では、環境光画像において物体を正しい単位で検出することができたとしても、点群においては物体を正しい単位で検出することが難しい場合がある。 That is, in the scenes shown in FIGS. 2 to 5, even if the object can be detected in the correct unit in the ambient light image, it may be difficult to detect the object in the correct unit in the point cloud.

逆に、点群において物体を正しい単位で検出することができたとしても、環境光画像においては物体を正しい単位で検出することが難しい場合もある。例えば、環境光画像において、まだらな模様を有する壁の一部や、路面にペイントされた矢印などが、歩行者を示す画像物標として検出されることがある。 On the contrary, even if the object can be detected in the correct unit in the point cloud, it may be difficult to detect the object in the correct unit in the ambient light image. For example, in an ambient light image, a part of a wall having a mottled pattern, an arrow painted on a road surface, or the like may be detected as an image target indicating a pedestrian.

そこで、本実施形態の物体検出装置1は、環境光画像と点群との両方を利用することによって物体の検出精度を向上させる物体検出処理を実行する。
[2.処理]
物体検出装置1の処理部5が実行する物体検出処理について、図6及び図7のフローチャートを用いて説明する。物体検出処理は、測距エリア全体の測距が完了する度に実行される。なお、物体検出処理の開始時には、解像度はデフォルトの解像度に設定されている。なお、本処理の説明において、単に解像度というときは、画像の解像度と点群の点群解像度との両方を含む。
Therefore, the object detection device 1 of the present embodiment executes an object detection process for improving the object detection accuracy by using both the ambient light image and the point cloud.
[2. process]
The object detection process executed by the processing unit 5 of the object detection device 1 will be described with reference to the flowcharts of FIGS. 6 and 7. The object detection process is executed every time the distance measurement of the entire distance measurement area is completed. At the start of the object detection process, the resolution is set to the default resolution. In the description of this process, the term "resolution" includes both the image resolution and the point cloud resolution of the point cloud.

まず、S101で、処理部5は、点群を生成する。なお、S101が、点群生成部51としての処理に相当する。
続いて、S102で、処理部5は、点群をクラスタリングすることにより複数のクラスタを生成する。生成された各クラスタは、初期値として種別情報をもたない。なお、S102が、クラスタ生成部52としての処理に相当する。
First, in S101, the processing unit 5 generates a point cloud. Note that S101 corresponds to the processing as the point cloud generation unit 51.
Subsequently, in S102, the processing unit 5 generates a plurality of clusters by clustering the point cloud. Each generated cluster does not have type information as an initial value. Note that S102 corresponds to the processing as the cluster generation unit 52.

続いて、S103で、処理部5は、環境光画像から画像物標を検出する。画像物標が検出されることにより、当該画像物標の種別も認識される。環境光画像に検出対象とする物体が複数存在する場合、処理部5は、環境光画像から複数の画像物標を検出する。以降の処理は、画像物標ごとに実行される。なお、S102でクラスタが生成されたにもかかわらず、S103で画像物標が検出されなかった場合、処理部5は、S112へ移行し生成された各クラスタを物体として検出した後、図6の物体検出処理を終了する。このとき、生成された各クラスタは種別情報をもたない物体として検出される。なお、S103が、識別部53としての処理に相当する。 Subsequently, in S103, the processing unit 5 detects an image target from the ambient light image. By detecting the image target, the type of the image target is also recognized. When there are a plurality of objects to be detected in the ambient light image, the processing unit 5 detects a plurality of image targets from the ambient light image. Subsequent processing is executed for each image target. If the image target is not detected in S103 even though the clusters are generated in S102, the processing unit 5 shifts to S112 and detects each of the generated clusters as an object, and then in FIG. The object detection process is terminated. At this time, each generated cluster is detected as an object having no type information. Note that S103 corresponds to the processing as the identification unit 53.

続いて、S104で、処理部5は、画像物標対応クラスタを検出する。具体的には、まず処理部5は、環境光画像においてS103で検出された画像物標を矩形で囲む。加えて処理部5は、点群を各反射点の角度位置の情報を有する2次元平面とみなして、点群においてS102で生成された複数のクラスタをそれぞれ矩形で囲む。次に処理部5は、画像物標の矩形と重複するクラスタの矩形を検出し、当該クラスタを画像物標対応クラスタとして検出する。ここで、画像物標の矩形と重複するクラスタの矩形が複数存在する場合、画像物標の矩形との重複率が最大のクラスタの矩形を検出し、当該クラスタを画像物標対応クラスタとして検出する。つまり、処理部5は、画像物標とクラスタとの対応付けを実施する。なお、画像物標の矩形と重複するクラスタの矩形が存在しない場合、画像物標を無効とし、図6の物体検出処理を終了する。 Subsequently, in S104, the processing unit 5 detects the image target corresponding cluster. Specifically, first, the processing unit 5 surrounds the image target detected in S103 in the ambient light image with a rectangle. In addition, the processing unit 5 regards the point cloud as a two-dimensional plane having information on the angular position of each reflection point, and surrounds the plurality of clusters generated in S102 in the point cloud with a rectangle. Next, the processing unit 5 detects the rectangle of the cluster that overlaps with the rectangle of the image target, and detects the cluster as the image target compatible cluster. Here, when there are a plurality of cluster rectangles that overlap with the image target rectangle, the rectangle of the cluster having the maximum overlap rate with the image target rectangle is detected, and the cluster is detected as the image target compatible cluster. .. That is, the processing unit 5 associates the image target with the cluster. If there is no cluster rectangle that overlaps with the rectangle of the image target, the image target is invalidated and the object detection process of FIG. 6 ends.

続いて、S105で、処理部5は、画像物標が示す物体までの距離が適切であるか否かを判定する。具体的には、処理部5は、画像物標が示す物体までの距離が距離閾値以内である場合、当該距離が適切であると判定する。物体までの距離が適切であるか否かの判定は、環境光画像のみでは実施できないが、反射点までの距離の情報をもつ点群を用いることで可能となる。つまり、画像物標とクラスタとが対応付けられているため、例えば画像物標対応クラスタの中心点と物体検出装置1との距離を、画像物標と物体検出装置1との距離として用いることができる。なお以下の説明において、画像物標対応クラスタの画素又は画素数とは、点群を構成する複数の反射点を検出する単位である分割エリア又は分割エリアの数を意味する。 Subsequently, in S105, the processing unit 5 determines whether or not the distance to the object indicated by the image target is appropriate. Specifically, when the distance to the object indicated by the image target is within the distance threshold value, the processing unit 5 determines that the distance is appropriate. Whether or not the distance to the object is appropriate cannot be determined only by the ambient light image, but it can be determined by using a point cloud having information on the distance to the reflection point. That is, since the image target and the cluster are associated with each other, for example, the distance between the center point of the image target compatible cluster and the object detection device 1 can be used as the distance between the image target and the object detection device 1. can. In the following description, the pixel or the number of pixels of the image target corresponding cluster means the number of divided areas or divided areas which is a unit for detecting a plurality of reflection points constituting the point cloud.

処理部5は、S105で、画像物標が示す物体までの距離が適切であると判定した場合には、S106へ移行し、画像物標が示す物体のサイズが適切であるか否かを判定する。具体的には、処理部5は、画像物標が示す物体のサイズがサイズ閾値に収まる場合、当該サイズが適切であると判定する。物体のサイズが適切であるか否かの判定は、環境光画像のみでは実施できないが、反射点の3次元位置の情報をもつ点群を用いることで可能となる。画像物標が示す物体のサイズは、画像物標に対応する点群における部分に基づいて推定される。画像物標に対応する点群における部分とは、点群における、画像物標の各画素の位置に対応する角度位置の部分である。例えば、画像物標の画素数よりも画像物標対応クラスタの画素数の方が多い場合、画像物標対応クラスタのうち、画像物標に対応する点群における部分のサイズが、画像物標が示す物体のサイズと推定される。また例えば、画像物標の画素数よりも画像物標対応クラスタの画素数の方が少ない場合、画像物標対応クラスタの画素数に対する画像物標の画素数の比率を画像物標対応クラスタに乗じたクラスタのサイズが、画像物標が示す物体のサイズと推定される。 When the processing unit 5 determines in S105 that the distance to the object indicated by the image target is appropriate, the processing unit 5 proceeds to S106 and determines whether or not the size of the object indicated by the image target is appropriate. do. Specifically, when the size of the object indicated by the image target falls within the size threshold value, the processing unit 5 determines that the size is appropriate. Whether or not the size of the object is appropriate cannot be determined only by the ambient light image, but it can be determined by using a point cloud having information on the three-dimensional position of the reflection point. The size of the object indicated by the image target is estimated based on the part in the point cloud corresponding to the image target. The portion in the point cloud corresponding to the image target is a portion of the point cloud at an angular position corresponding to the position of each pixel of the image target. For example, when the number of pixels of the image target-compatible cluster is larger than the number of pixels of the image target, the size of the part of the image target-compatible cluster in the point group corresponding to the image target is the size of the image target. Estimated to be the size of the indicated object. For example, when the number of pixels of the image target cluster is smaller than the number of pixels of the image target, the ratio of the number of pixels of the image target to the number of pixels of the image target cluster is multiplied by the image target cluster. The size of the cluster is estimated to be the size of the object indicated by the image target.

処理部5は、S106で、画像物標が示す物体のサイズが適切であると判定した場合には、S107へ移行し、画像物標の画素数と、画像物標対応クラスタの画素数と、が同等であるか否かを判定する。具体的には、処理部5は、画像物標対応クラスタにおける画素数から画像物標における画素数を引いた差分が、所定の画素数の範囲を示す画素数閾値における上限値以下及び下限値以上に収まる場合、画像物標の画素数と、画像物標対応クラスタの画素数と、が同等であると判定する。例えば画素数閾値が、プラスマイナス10画素の範囲を示す場合、上限値はプラス10、下限値はマイナス10を示す。 When the processing unit 5 determines in S106 that the size of the object indicated by the image target is appropriate, the processing unit 5 shifts to S107, and determines the number of pixels of the image target, the number of pixels of the cluster corresponding to the image target, and the number of pixels of the image target cluster. Is equal or not. Specifically, in the processing unit 5, the difference obtained by subtracting the number of pixels in the image target from the number of pixels in the cluster corresponding to the image target is equal to or greater than the upper limit value and the lower limit value in the pixel number threshold indicating the range of a predetermined number of pixels. If it fits in, it is determined that the number of pixels of the image target and the number of pixels of the cluster corresponding to the image target are equivalent. For example, when the pixel number threshold value indicates a range of plus or minus 10 pixels, the upper limit value indicates plus 10 and the lower limit value indicates minus 10.

処理部5は、S107で、画像物標の画素数と、画像物標対応クラスタの画素数と、が同等でないと判定した場合には、S108へ移行し、クラスタが過結合しているか否かを判定する。クラスタが過結合しているか否かは、画像物標に対応する点群における部分に、画像物標に対応する点群における部分と比較してサイズが大きなクラスタである過結合クラスタが存在するか否かによって判定される。例えば、画像物標対応クラスタにおける画素数から画像物標における画素数を引いた差分が、画素数閾値における上限値よりも大きい場合、過結合クラスタが存在すると判定する。過結合クラスタが存在する場合、処理部5は、クラスタが過結合していると判定する。 When the processing unit 5 determines in S107 that the number of pixels of the image target and the number of pixels of the image target compatible cluster are not equal, the process proceeds to S108 to determine whether the clusters are overcoupled. To judge. Whether or not the clusters are over-coupled depends on whether there is an over-coupled cluster in the point cloud corresponding to the image target, which is a cluster having a larger size than the part in the point group corresponding to the image target. It is judged by whether or not. For example, when the difference obtained by subtracting the number of pixels in the image target from the number of pixels in the cluster corresponding to the image target is larger than the upper limit value in the pixel number threshold value, it is determined that the overcoupled cluster exists. When an over-coupled cluster exists, the processing unit 5 determines that the cluster is over-coupled.

処理部5は、S108でクラスタが過結合していると判定した場合には、S109へ移行し、切替処理を実施済みであるか否かを判定する。本実施形態では、処理部5は、解像度を切り替え済みであるか否かを判定する。なお、解像度を切り替える処理は、後述するS110又はS115において実行される。 When the processing unit 5 determines in S108 that the clusters are over-coupled, the processing unit 5 shifts to S109 and determines whether or not the switching process has been performed. In the present embodiment, the processing unit 5 determines whether or not the resolution has been switched. The process of switching the resolution is executed in S110 or S115 described later.

処理部5は、S109で解像度を切り替え済みでないと判定した場合には、S110へ移行し、切替処理を実施、つまり解像度を高水準の解像度に切り替えた後、S101に戻る。つまり、処理部5は、画像及び点群の解像度がより高い状態で、再びS101〜S108における処理を実行する。 When the processing unit 5 determines in S109 that the resolution has not been switched, the processing unit 5 shifts to S110, performs switching processing, that is, switches the resolution to a high level resolution, and then returns to S101. That is, the processing unit 5 executes the processing in S101 to S108 again in a state where the resolution of the image and the point cloud is higher.

一方、処理部5は、S109で解像度を切り替え済みであると判定した場合には、S111へ移行する。つまり、処理部5は、画像及び点群の解像度がより高い状態で、再びS101〜S108における処理を実行し、なおもクラスタが過結合していると判定した場合、S111へ移行する。 On the other hand, when the processing unit 5 determines that the resolution has been switched in S109, the processing unit 5 shifts to S111. That is, the processing unit 5 executes the processing in S101 to S108 again in a state where the resolution of the image and the point cloud is higher, and when it is determined that the clusters are still overcoupled, the process proceeds to S111.

処理部5は、S111で過結合クラスタを分割する。処理部5は、過結合クラスタのうち画像物標に対応する部分である対象クラスタと、過結合クラスタのうち画像物標に対応する部分を除いた部分である隣接クラスタと、の最短距離が、対象クラスタにおける隣り合う2点間の距離の中で最大となる距離よりも大きくなり、かつ、隣接クラスタにおける隣り合う2点間の距離の中で最大となる距離よりも大きくなる、ように過結合クラスタを分割する。なお、処理部5は、過結合クラスタのうち画像物標に対応する部分をそのまま分割して1つのクラスタとしてもよい。 The processing unit 5 divides the overcoupled cluster in S111. In the processing unit 5, the shortest distance between the target cluster, which is the part of the overbound cluster corresponding to the image target, and the adjacent cluster, which is the part of the overconnected cluster excluding the part corresponding to the image target, is set. Overcoupled so that it is greater than the maximum distance between two adjacent points in the target cluster and greater than the maximum distance between two adjacent points in the adjacent cluster. Split the cluster. The processing unit 5 may divide the portion of the over-coupled cluster corresponding to the image target as it is into one cluster.

続いて、処理部5は、S112で画像物標に対応する点群における部分のクラスタを物体として検出する。つまり、処理部5は、S108でクラスタが過結合していると判定し、S111で過結合クラスタを分割した場合、過結合クラスタのうち画像物標に対応する部分のクラスタを、種別情報をもつ物体として検出する。加えて、処理部5は、S112で、過結合クラスタから分割した隣接クラスタを、種別情報をもたない物体として検出する。その後、処理部5は、図6の物体検出処理を終了する。 Subsequently, the processing unit 5 detects a cluster of parts in the point cloud corresponding to the image target as an object in S112. That is, when the processing unit 5 determines that the clusters are over-coupled in S108 and divides the over-coupled cluster in S111, the processing unit 5 has the type information of the cluster of the portion corresponding to the image target in the over-coupled cluster. Detect as an object. In addition, in S112, the processing unit 5 detects the adjacent cluster divided from the overbound cluster as an object having no type information. After that, the processing unit 5 ends the object detection process of FIG.

一方、処理部5は、S108で、クラスタが過結合していないと判定した場合には、S113へ移行し、クラスタが過分割しているか否かを判定する。クラスタが過分割しているか否かは、画像物標に対応する点群における部分に2以上のクラスタが存在するか否かによって判定される。具体的には、画像物標対応クラスタにおける画素数から画像物標における画素数を引いた差分が、画素数閾値における下限値よりも小さく、かつ、画像物標に対応する点群における部分に画像物標対応クラスタ以外にも1以上のクラスタが存在する場合、処理部5は、クラスタが過分割していると判定する。 On the other hand, when the processing unit 5 determines in S108 that the clusters are not over-coupled, the processing unit 5 shifts to S113 and determines whether or not the clusters are over-divided. Whether or not the clusters are overdivided is determined by whether or not there are two or more clusters in the part of the point cloud corresponding to the image target. Specifically, the difference obtained by subtracting the number of pixels in the image target from the number of pixels in the cluster corresponding to the image target is smaller than the lower limit value in the pixel number threshold, and the image is in the part in the point group corresponding to the image target. When there is one or more clusters other than the target cluster, the processing unit 5 determines that the clusters are overdivided.

処理部5は、S113でクラスタが過分割していると判定した場合には、S114へ移行し、切替処理を実施済みであるか否かを判定する。本実施形態では、処理部5は、解像度を切り替え済みであるか否かを判定する。 When the processing unit 5 determines in S113 that the cluster is over-divided, the processing unit 5 shifts to S114 and determines whether or not the switching process has been performed. In the present embodiment, the processing unit 5 determines whether or not the resolution has been switched.

処理部5は、S114で解像度を切り替え済みでないと判定した場合には、S115へ移行し、切替処理を実施、つまり解像度を高水準の解像度に切り替えた後、S101に戻る。つまり、処理部5は、画像及び点群の解像度がより高い状態で、再びS101〜S108,S113における処理を実行する。なお、S110,S115が、切替部55としての処理に相当する。 When the processing unit 5 determines in S114 that the resolution has not been switched, the processing unit 5 shifts to S115, performs switching processing, that is, switches the resolution to a high level resolution, and then returns to S101. That is, the processing unit 5 executes the processing in S101 to S108 and S113 again in a state where the resolution of the image and the point cloud is higher. Note that S110 and S115 correspond to the processing as the switching unit 55.

一方、処理部5は、S114で解像度を切り替え済みであると判定した場合には、S116へ移行する。つまり、処理部5は、画像及び点群の解像度がより高い状態で、再びS101〜S108,S113における処理を実行し、なおもクラスタが過分割していると判定した場合、S116へ移行する。 On the other hand, when the processing unit 5 determines that the resolution has been switched in S114, the processing unit 5 shifts to S116. That is, the processing unit 5 executes the processing in S101 to S108 and S113 again in a state where the resolution of the image and the point cloud is higher, and if it is determined that the cluster is still overdivided, the process proceeds to S116.

処理部5は、S116で画像物標に対応する点群における部分に存在する2以上のクラスタを結合した後、S112へ移行する。つまり、処理部5は、S116で2以上のクラスタを結合した場合、結合後のクラスタを種別情報をもつ物体として検出する。処理部5は、その後、図6の物体検出処理を終了する。 The processing unit 5 joins two or more clusters existing in the part of the point cloud corresponding to the image target in S116, and then shifts to S112. That is, when two or more clusters are combined in S116, the processing unit 5 detects the combined cluster as an object having type information. After that, the processing unit 5 ends the object detection process of FIG.

処理部5は、S113でクラスタが過分割していないと判定した場合には、S112へ移行し、画像物標対応クラスタを物体として検出した後、図6の物体検出処理を終了する。このとき、画像物標対応クラスタは種別情報をもたない物体として検出される。なお、処理部5は、S113でクラスタが過分割していないと判定した場合であっても、S104で、画像物標の矩形と重複するクラスタの矩形が複数存在した場合は、画像物標の矩形との重複率が次に最大のクラスタを画像物標対応クラスタとして、S105以降の処理を繰り返す。 When the processing unit 5 determines in S113 that the cluster is not over-divided, the processing unit 5 shifts to S112, detects the cluster corresponding to the image target as an object, and then ends the object detection process of FIG. At this time, the image target cluster is detected as an object having no type information. Even if the processing unit 5 determines in S113 that the clusters are not overdivided, if there are a plurality of cluster rectangles that overlap the image target rectangle in S104, the image target rectangle is used. The cluster having the next largest overlap rate with the rectangle is set as the image target compatible cluster, and the processing after S105 is repeated.

一方、処理部5は、S107で、画像物標対応クラスタのサイズが適切であると判定した場合には、S112へ移行し、画像物標に対応する点群における部分のクラスタとして画像物標対応クラスタを種別情報をもつ物体として検出した後、図6の物体検出処理を終了する。これは、画像物標対応クラスタにおける画素数が、画像物標における画素数とほぼ同等であり、画像物標対応クラスタが過分割も過結合もしていないことを表す。つまり、画像物標が示す物体も、画像物標に対応する点群における部分のクラスタも、正しい単位で検出されていることを表す。 On the other hand, when the processing unit 5 determines in S107 that the size of the image target compatible cluster is appropriate, the processing unit 5 shifts to S112 and supports the image target as a cluster of parts in the point cloud corresponding to the image target. After detecting the cluster as an object having type information, the object detection process of FIG. 6 is terminated. This means that the number of pixels in the image target cluster is almost the same as the number of pixels in the image target, and the image target cluster is neither overdivided nor overcoupled. That is, it means that both the object indicated by the image target and the cluster of parts in the point cloud corresponding to the image target are detected in the correct unit.

一方、処理部5は、S106で、画像物標が示す物体のサイズが適切でないと判定した場合には、物標画像を無効とする。また処理部5は、S112へ移行し画像物標対応クラスタを物体として検出した後、図6の物体検出処理を終了する。このとき、画像物標対応クラスタは種別情報をもたない物体として検出される。 On the other hand, when the processing unit 5 determines in S106 that the size of the object indicated by the image target is not appropriate, the processing unit 5 invalidates the target image. Further, the processing unit 5 shifts to S112, detects the image target cluster as an object, and then ends the object detection process of FIG. At this time, the image target cluster is detected as an object having no type information.

また、処理部5は、S105で、画像物標が示す物体までの距離が適切でないと判定した場合にも、物標画像を無効とする。また処理部5は、S112へ移行し画像物標対応クラスタを物体として検出した後、図6の物体検出処理を終了する。このとき、画像物標対応クラスタは種別情報をもたない物体として検出される。なお、S104〜S108,S111〜S113,S116が、物体検出部54としての処理に相当する。 Further, the processing unit 5 also invalidates the target image when it is determined in S105 that the distance to the object indicated by the image target is not appropriate. Further, the processing unit 5 shifts to S112, detects the image target cluster as an object, and then ends the object detection process of FIG. At this time, the image target cluster is detected as an object having no type information. Note that S104 to S108, S111 to S113, and S116 correspond to the processing as the object detection unit 54.

[3.効果]
以上詳述した実施形態によれば、以下の効果が得られる。
(3a)物体検出装置1は、点群と環境光画像とに基づいて、所定の物体を検出する。このような構成によれば、環境光画像を利用せずに点群において所定の物体を検出する場合と比較して、点群において物体の種別や単位を識別しやすい。また、前回生成されたクラスタと、今回生成されたクラスタと、の一致度を計算し物体を検出する場合と比較して、初回の測距時にも2回目以降の測距時と同等の精度で物体を検出することができる。よって、物体検出装置1によれば、より高精度に物体を正しい単位で検出することができる。
[3. effect]
According to the embodiment described in detail above, the following effects can be obtained.
(3a) The object detection device 1 detects a predetermined object based on the point cloud and the ambient light image. According to such a configuration, it is easy to identify the type and unit of the object in the point cloud as compared with the case where a predetermined object is detected in the point cloud without using the ambient light image. In addition, compared to the case where the degree of coincidence between the cluster generated last time and the cluster generated this time is calculated and the object is detected, the accuracy at the first distance measurement is the same as that at the second and subsequent distance measurements. Objects can be detected. Therefore, according to the object detection device 1, it is possible to detect an object with higher accuracy in the correct unit.

(3b)物体検出装置1は、点群をクラスタリングすることにより生成された複数のクラスタのうち2以上のクラスタが画像物標に対応する点群における部分に存在すると判定した場合、当該2以上のクラスタを1つの物体として検出する。このような構成によれば、点群においてクラスタが過分割している場合でも、物体検出装置1は、物体を正しい単位で検出することができる。 (3b) When the object detection device 1 determines that two or more clusters out of a plurality of clusters generated by clustering the point cloud exist in a part of the point cloud corresponding to the image target, the two or more clusters are present. Detect the cluster as one object. According to such a configuration, even when the cluster is overdivided in the point cloud, the object detection device 1 can detect the object in the correct unit.

(3c)物体検出装置1は、点群をクラスタリングすることにより生成された複数のクラスタのうち画像物標に対応する点群における部分と比較してサイズが大きな過結合クラスタが画像物標に対応する点群における部分に存在していると判定した場合、当該過結合クラスタのうち画像物標に対応する部分を物体として検出する。このような構成によれば、点群においてクラスタが過結合している場合でも、物体検出装置1は、物体を正しい単位で検出することができる。 (3c) In the object detection device 1, of the plurality of clusters generated by clustering the point cloud, the over-coupled cluster having a larger size than the part in the point cloud corresponding to the image target corresponds to the image target. When it is determined that it exists in a part of the point cloud, the part corresponding to the image target in the overbound cluster is detected as an object. According to such a configuration, the object detection device 1 can detect an object in a correct unit even when the clusters are overcoupled in the point cloud.

(3d)物体検出装置1は、過結合クラスタのうち画像物標に対応する部分である対象クラスタと、過結合クラスタのうち画像物標に対応する部分を除いた部分である隣接クラスタと、の最短距離が、対象クラスタおける隣り合う2点間の距離の中で最大となる距離よりも大きくなり、かつ、隣接クラスタにおける隣り合う2点間の距離の中で最大となる距離よりも大きくなる、ように過結合クラスタを分割する。このような構成によれば、過結合クラスタのうち画像物標に対応する部分をそのまま分割して1つのクラスタとする場合と比較して、物体検出装置1は、物体を正しい単位で検出することができる。 (3d) The object detection device 1 includes a target cluster which is a part of the over-coupled cluster corresponding to the image target, and an adjacent cluster which is a part of the over-coupled cluster excluding the part corresponding to the image target. The shortest distance is greater than the maximum distance between two adjacent points in the target cluster and greater than the maximum distance between two adjacent points in the adjacent cluster. Divide the overcoupled cluster as follows. According to such a configuration, the object detection device 1 detects an object in the correct unit as compared with the case where the portion of the overcoupled cluster corresponding to the image target is divided as it is into one cluster. Can be done.

(3e)物体検出装置1は、画像物標が示す物体の種別に応じて、物体のサイズが、あらかじめ設定されたサイズの範囲内であると判定した場合、画像物標に対応する点群における部分を物体として検出する。つまり、物体検出装置1は、物体の種別ごとに想定されるサイズに基づき、物体の確からしさを検証している。このとき、物体検出装置1は、環境光画像を用いて物体の種別を識別し、点群を用いて物体のサイズを算出する。環境光画像のみでなく点群を組み合わせることによって、物体検出装置1は、物体の種別の誤識別を生じにくくすることができる。 (3e) When the object detection device 1 determines that the size of the object is within the preset size range according to the type of the object indicated by the image target, the object detection device 1 is in the point cloud corresponding to the image target. The part is detected as an object. That is, the object detection device 1 verifies the certainty of the object based on the size assumed for each type of the object. At this time, the object detection device 1 identifies the type of the object by using the ambient light image, and calculates the size of the object by using the point cloud. By combining not only the ambient light image but also the point cloud, the object detection device 1 can make it difficult for the object type to be misidentified.

(3f)物体検出装置1は、画像物標が示す物体の種別に応じて、物体までの距離が、あらかじめ設定された距離の範囲内であると判定した場合、画像物標に対応する点群における部分を物体として検出する。つまり、物体検出装置1は、物体の種別ごとに想定される存在位置に基づき、物体の確からしさを検証している。このとき、物体検出装置1は、環境光画像を用いて物体の種別を識別し、点群を用いて物体までの距離を算出する。環境光画像のみでなく点群を組み合わせることによって、物体検出装置1は、物体の種別の誤識別を生じにくくすることができる。 (3f) When the object detection device 1 determines that the distance to the object is within the preset distance range according to the type of the object indicated by the image target, the point cloud corresponding to the image target Is detected as an object. That is, the object detection device 1 verifies the certainty of the object based on the existence position assumed for each type of the object. At this time, the object detection device 1 identifies the type of the object by using the ambient light image, and calculates the distance to the object by using the point cloud. By combining not only the ambient light image but also the point cloud, the object detection device 1 can make it difficult for the object type to be misidentified.

(3g)物体検出装置1では、受光部3が、複数の受光素子を有し、複数の受光素子のうち第1の個数の受光素子を1画素とする第1の解像度と、複数の受光素子のうち第1の個数よりも数が少ない第2の個数の受光素子を1画素とする第2の解像度と、に切り替え可能である。このような構成によれば、解像度を第1の解像度と第2の解像度とに切り替え可能でない場合と比較して、物体検出装置1は、より高精度に物体を検出することができる。 (3g) In the object detection device 1, the light receiving unit 3 has a plurality of light receiving elements, and has a first resolution in which the first number of light receiving elements among the plurality of light receiving elements is one pixel, and a plurality of light receiving elements. It is possible to switch to a second resolution in which a second number of light receiving elements, which is smaller than the first number, is one pixel. According to such a configuration, the object detection device 1 can detect an object with higher accuracy as compared with the case where the resolution cannot be switched between the first resolution and the second resolution.

なお、本実施形態では、点群生成部51、クラスタ生成部52、識別部53及び物体検出部54が検出部としての処理に相当する。
[4.第2実施形態]
[4−1.第1実施形態との相違点]
第2実施形態は、基本的な構成及び処理は第1実施形態と同様であるため、共通する構成及び処理については説明を省略し、相違点を中心に説明する。
In the present embodiment, the point cloud generation unit 51, the cluster generation unit 52, the identification unit 53, and the object detection unit 54 correspond to the processing as the detection unit.
[4. Second Embodiment]
[4-1. Differences from the first embodiment]
Since the basic configuration and processing of the second embodiment are the same as those of the first embodiment, the common configuration and processing will be omitted and the differences will be mainly described.

第1実施形態では、物体検出処理のS103で、環境光画像のみから画像物標を検出した。一方、第2実施形態では、環境光画像、距離画像及び反射強度画像のそれぞれから画像物標を検出する。また、第2実施形態では、外部の明るさに応じて、点群、環境光画像、距離画像及び反射強度画像の解像度を切り替える。 In the first embodiment, the image target is detected only from the ambient light image in S103 of the object detection process. On the other hand, in the second embodiment, the image target is detected from each of the ambient light image, the distance image, and the reflection intensity image. Further, in the second embodiment, the resolutions of the point cloud, the ambient light image, the distance image, and the reflection intensity image are switched according to the external brightness.

[4−2.処理]
第2実施形態の物体検出装置1の処理部5が実行する物体検出処理について、図8のフローチャートを用いて説明する。
[4-2. process]
The object detection process executed by the processing unit 5 of the object detection device 1 of the second embodiment will be described with reference to the flowchart of FIG.

S201で、処理部5は、外部の明るさが所定の閾値よりも明るいか否かを判定する。例えば、処理部5は、環境光の強度が、所定の閾値以上であった場合、外部が明るいと判定する。 In S201, the processing unit 5 determines whether or not the external brightness is brighter than a predetermined threshold value. For example, the processing unit 5 determines that the outside is bright when the intensity of the ambient light is equal to or higher than a predetermined threshold value.

S202で、処理部5は、外部の明るさに応じた点群解像度の点群を生成する。具体的には、処理部5は、S201で外部の明るさが所定の閾値よりも明るいと判定した場合、S201で外部の明るさが所定の閾値よりも明るくないと判定された場合よりも、点群解像度が相対的に低い点群を生成する。一方、処理部5は、S201で外部の明るさが所定の閾値よりも明るくないと判定した場合、点群解像度が相対的に高い点群を生成する。点群解像度は、S203で生成される距離画像及び反射強度画像の解像度と一致する。 In S202, the processing unit 5 generates a point cloud having a point cloud resolution according to the external brightness. Specifically, when the processing unit 5 determines in S201 that the external brightness is brighter than the predetermined threshold value, the processing unit 5 determines in S201 that the external brightness is not brighter than the predetermined threshold value. Generates a point cloud with a relatively low point cloud resolution. On the other hand, when the processing unit 5 determines in S201 that the external brightness is not brighter than a predetermined threshold value, the processing unit 5 generates a point cloud having a relatively high point cloud resolution. The point cloud resolution matches the resolution of the distance image and the reflection intensity image generated in S203.

続いて、S102で、処理部5は、点群をクラスタリングすることにより複数のクラスタを生成する。
続いて、S203で、処理部5は、外部の明るさに応じた解像度の画像を生成する。具体的には、処理部5は、S201で外部の明るさが所定の閾値よりも明るいと判定した場合、S201で外部の明るさが所定の閾値よりも明るくないと判定された場合よりも、解像度が相対的に高い環境光画像を生成し、解像度が相対的に低い距離画像及び反射強度画像を生成する。一方、処理部5は、S201で外部の明るさが所定の閾値よりも明るくないと判定した場合、解像度が相対的に低い環境光画像を生成し、解像度が相対的に高い距離画像及び反射強度画像を生成する。
Subsequently, in S102, the processing unit 5 generates a plurality of clusters by clustering the point cloud.
Subsequently, in S203, the processing unit 5 generates an image having a resolution corresponding to the external brightness. Specifically, when the processing unit 5 determines in S201 that the external brightness is brighter than the predetermined threshold value, the processing unit 5 determines in S201 that the external brightness is not brighter than the predetermined threshold value. An ambient light image having a relatively high resolution is generated, and a distance image and a reflection intensity image having a relatively low resolution are generated. On the other hand, when the processing unit 5 determines in S201 that the external brightness is not brighter than a predetermined threshold value, the processing unit 5 generates an ambient light image having a relatively low resolution, and a distance image and a reflection intensity having a relatively high resolution. Generate an image.

また、S203で、処理部5は、環境光画像、距離画像及び反射強度画像のそれぞれから画像物標を検出し、画像物標を統合する。統合とは、3種類の画像を用いて検出された画像物標に基づいて、S203に続いて行われる処理で使用される1つの画像物標を生成することである。例えば、処理部5は、3種類の画像のうち、いずれかの画像から画像物標が検出された場合、画像物標として採用する。なお、画像物標を統合する方法はこれに限定されるものではない。例えば、3種類の画像のうち、いずれか1つの画像のみから検出された画像物標については、画像物標として採用しなくてもよい。すなわち、この場合には、画像物標は検出されなかったものとして処理が進む。また、例えば、3種類の画像のうち、いずれか2つの画像のみから検出された画像物標については、画像物標として採用しなくてもよい。また、3種類の画像において異なる画像物標が検出されたときは、予め画像ごとに定められた優先度に基づいて画像物標を決定したり、2つの画像で検出された画像物標を統合された画像物標としてもよい。このS203の後、処理がS104に進む。S104〜S106の処理は、図6にて示したS104〜S106の処理と同様である。 Further, in S203, the processing unit 5 detects an image target from each of the ambient light image, the distance image, and the reflection intensity image, and integrates the image target. The integration is to generate one image target used in the processing performed following S203 based on the image target detected using the three types of images. For example, when the image target is detected from any of the three types of images, the processing unit 5 adopts it as the image target. The method of integrating image targets is not limited to this. For example, an image target detected from only one of the three types of images does not have to be adopted as an image target. That is, in this case, the processing proceeds assuming that the image target has not been detected. Further, for example, an image target detected from only one of two of the three types of images does not have to be adopted as the image target. When different image targets are detected in the three types of images, the image targets are determined based on the priority determined in advance for each image, or the image targets detected in the two images are integrated. It may be used as an image target. After this S203, the process proceeds to S104. The processing of S104 to S106 is the same as the processing of S104 to S106 shown in FIG.

処理部5は、S106で、画像物標が示す物体のサイズが適切であると判定した場合には、S204へ移行し、画像物標の画素数と、画像物標対応クラスタの画素数と、が対応しているか否かを判定する。 When the processing unit 5 determines in S106 that the size of the object indicated by the image target is appropriate, the processing unit 5 shifts to S204, and determines the number of pixels of the image target and the number of pixels of the cluster corresponding to the image target. Determines if is supported.

上述した第1実施形態のS107では、画像物標と画像物標対応クラスタのサイズを比較するために、画像物標対応クラスタと画像物標との画素数を比較した。しかしながら第2実施形態では、点群解像度と画像の解像度が異なる場合があるため、単純な比較ができない。そこで、S202にて生成した点群の点群解像度と、S203にて生成した画像の解像度と、に基づき、点群解像度と画像の解像度との比率を求める。例えば、もし仮に画像の解像度が横500画素、縦200画素であり、点群解像度が横1000画素、縦200画素であれば、画像の1画素の面積は、点群の1画素の面積の2倍である。この場合、画像物標の画素数に対して、画像物標対応クラスタの画素数が2倍であれば、測距エリアにおける同一範囲の広さであると言える。このようにして上述した比率を求め、その比率を考慮した上で、画像物標のサイズと、画像物標対応クラスタのサイズと、が同等であるか否かを求める。なお、上記の手法は一例であり、画像物標対応クラスタと画像物標との画素数が異なる場合にそれらのサイズを比較可能な様々な手法をとり得る。 In S107 of the first embodiment described above, in order to compare the sizes of the image target and the image target compatible cluster, the number of pixels of the image target compatible cluster and the image target is compared. However, in the second embodiment, the point cloud resolution and the image resolution may be different, so that a simple comparison cannot be made. Therefore, the ratio of the point cloud resolution to the image resolution is obtained based on the point cloud resolution of the point cloud generated in S202 and the resolution of the image generated in S203. For example, if the resolution of the image is 500 pixels in the horizontal direction and 200 pixels in the vertical direction, and the resolution of the point group is 1000 pixels in the horizontal direction and 200 pixels in the vertical direction, the area of one pixel of the image is 2 of the area of one pixel of the point group. It is double. In this case, if the number of pixels of the image target corresponding cluster is twice as large as the number of pixels of the image target, it can be said that the area has the same range in the distance measuring area. In this way, the above-mentioned ratio is obtained, and after considering the ratio, it is determined whether or not the size of the image target and the size of the cluster corresponding to the image target are equivalent. The above method is an example, and when the number of pixels of the image target cluster and the image target are different, various methods capable of comparing their sizes can be adopted.

処理部5は、S204で、画像物標の画素数と、画像物標対応クラスタの画素数と、が対応していないと判定した場合には、S108へ移行する。一方、画像物標の画素数と、画像物標対応クラスタの画素数と、が対応していると判定した場合には、S112へ移行する。S108以降の処理は、図7にて示したS108〜S116の処理と同様であるため、説明を割愛する。 When the processing unit 5 determines in S204 that the number of pixels of the image target and the number of pixels of the image target compatible cluster do not correspond, the process proceeds to S108. On the other hand, when it is determined that the number of pixels of the image target and the number of pixels of the image target compatible cluster correspond to each other, the process proceeds to S112. Since the processing after S108 is the same as the processing of S108 to S116 shown in FIG. 7, the description thereof will be omitted.

[4−3.効果]
以上詳述した第2実施形態によれば、以下の効果が得られる。
(4a)物体検出装置1は、外部の明るさが明るいと判定した場合、外部の明るさが明るくないと判定した場合と比較して相対的に解像度の高い環境光画像と、相対的に解像度の低い距離画像及び反射強度画像と、に基づいて物体を検出する。このような構成によれば、環境光画像においては、高解像度の環境光画像から画像物標が検出されるため、画像認識精度が高くなる。また、距離画像及び反射強度画像においては、SNが向上するため、検知距離が延びる傾向にある。よって、より遠方まで物体の検出が可能となる。なお、SNとは、信号とノイズの比のことである。
[4-3. effect]
According to the second embodiment described in detail above, the following effects can be obtained.
(4a) When the object detection device 1 determines that the external brightness is bright, the object detection device 1 has a relatively high resolution ambient light image and a relatively high resolution as compared with the case where it is determined that the external brightness is not bright. The object is detected based on the low-distance image and the reflection intensity image. According to such a configuration, in the ambient light image, the image target is detected from the high-resolution ambient light image, so that the image recognition accuracy is improved. Further, in the distance image and the reflection intensity image, the detection distance tends to be extended because the SN is improved. Therefore, it is possible to detect an object farther away. The SN is the ratio of the signal to the noise.

(4b)物体検出装置1は、外部の明るさが明るくないと判定した場合、外部の明るさが明るいと判定した場合と比較して相対的に解像度の低い環境光画像と、相対的に解像度の高い距離画像及び反射強度画像と、に基づいて物体を検出する。このような構成によれば、そもそも外部が明るくない場合の環境光画像の信頼度は低いため、環境光画像の解像度を低くしても信頼度に影響を与えにくい。よって、処理負荷を抑制しつつ環境光画像を生成することができる。また、距離画像及び反射強度画像においては、環境光の強度が低い場合にはノイズが少なくなるので、検知距離が長くなる傾向にある。よって、解像度を高くしても検知距離が下がるのを抑制できる。 (4b) When the object detection device 1 determines that the external brightness is not bright, the object detection device 1 has a relatively low resolution ambient light image and a relatively high resolution as compared with the case where the external brightness is determined to be bright. The object is detected based on the high-distance image and the reflection intensity image. According to such a configuration, the reliability of the ambient light image is low when the outside is not bright in the first place, so that even if the resolution of the ambient light image is lowered, the reliability is unlikely to be affected. Therefore, it is possible to generate an ambient light image while suppressing the processing load. Further, in the distance image and the reflection intensity image, when the intensity of the ambient light is low, the noise is reduced, so that the detection distance tends to be long. Therefore, even if the resolution is increased, it is possible to suppress a decrease in the detection distance.

(4c)物体検出装置1において、点群解像度は、距離画像及び反射強度画像の解像度と一致する。このような構成によれば、点群における各反射点の角度位置と、距離画像及び反射強度画像における各画素の位置とは1対1で対応することから、距離画像及び反射強度画像を画像解析して認識される物体と、点群において認識される物体と、の対応がとりやすくなる。 (4c) In the object detection device 1, the point cloud resolution matches the resolution of the distance image and the reflection intensity image. According to such a configuration, since the angular position of each reflection point in the point group and the position of each pixel in the distance image and the reflection intensity image have a one-to-one correspondence, the distance image and the reflection intensity image are analyzed. It becomes easy to take a correspondence between the object recognized in the above and the object recognized in the point group.

(4d)物体検出装置1において、処理部5は、S202で外部の明るさに応じた点群解像度の点群を生成し、S203で外部の明るさに応じた解像度の画像を生成した。加えて、処理部5は、S108でクラスタが過結合していると判定した場合、S110で高水準の点群解像度及び解像度に切り替えた。処理部5は、S113でクラスタが過分割していると判定した場合にも、S115で高水準の点群解像度及び解像度に切り替えた。このような構成によれば、第1実施形態と同様に、より高精度に物体を検出することができる。 (4d) In the object detection device 1, the processing unit 5 generated a point cloud having a point cloud resolution corresponding to the external brightness in S202, and generated an image having a resolution corresponding to the external brightness in S203. In addition, when the processing unit 5 determines in S108 that the clusters are overcoupled, the processing unit 5 switches to a high level point cloud resolution and resolution in S110. The processing unit 5 also switched to a high level point cloud resolution and resolution in S115 even when it was determined in S113 that the cluster was overdivided. According to such a configuration, the object can be detected with higher accuracy as in the first embodiment.

なお、本実施形態では、S201が判定部としての処理に相当する。
[4−4.第2実施形態の変形例]
(i)上記実施形態では、環境光画像、距離画像及び反射強度画像の3種類の画像に基づいて物体が検出された。しかし、用いられる画像の種類の数はこれに限定されるものではない。例えば、環境光画像、距離画像及び反射強度画像のうち少なくとも1種類が用いられてもよい。また、環境光画像と、距離画像及び反射強度画像のうち少なくとも一方と、が用いられてもよい。
In this embodiment, S201 corresponds to the processing as the determination unit.
[4-4. Modification example of the second embodiment]
(I) In the above embodiment, the object is detected based on three types of images: an ambient light image, a distance image, and a reflection intensity image. However, the number of image types used is not limited to this. For example, at least one of an ambient light image, a distance image, and a reflection intensity image may be used. Further, an ambient light image and at least one of a distance image and a reflection intensity image may be used.

(ii)上記実施形態では、外部の明るさが明るいと判定された場合、外部の明るさが明るくないと判定された場合と比較して環境光画像の解像度は相対的に高く、点群の点群解像度は相対的に低かった。また、外部の明るさが明るくないと判定された場合、外部の明るさが明るいと判定された場合と比較して環境光画像の解像度は相対的に低く、点群の点群解像度は相対的に高かった。つまり、点群の点群解像度が相対的に低いときには、環境光画像の解像度は相対的に高く、点群の点群解像度が相対的に高いときには、環境光画像の解像度は相対的に低く設定された。しかし、点群解像度と解像度との設定の方法はこれに限定されるものではない。例えば、点群の点群解像度を一定にしたまま、環境光画像の解像度を高く又は低く切り替えてもよいし、環境光画像の解像度を一定にしたまま、点群の点群解像度を高く又は低く切り替えてもよい。また、例えば、点群の点群解像度が低いときに、環境光画像の解像度も低くなるように切り替えてもよいし、点群の点群解像度が高いときに、環境光画像の解像度も高くなるように切り替えてもよい。 (Ii) In the above embodiment, when it is determined that the external brightness is bright, the resolution of the ambient light image is relatively high as compared with the case where it is determined that the external brightness is not bright, and the point cloud The point cloud resolution was relatively low. Further, when it is determined that the external brightness is not bright, the resolution of the ambient light image is relatively low as compared with the case where the external brightness is determined to be bright, and the point cloud resolution of the point cloud is relative. It was expensive. That is, when the point cloud resolution of the point cloud is relatively low, the resolution of the ambient light image is relatively high, and when the point cloud resolution of the point cloud is relatively high, the resolution of the ambient light image is set relatively low. Was done. However, the method of setting the point cloud resolution and the resolution is not limited to this. For example, the resolution of the ambient light image may be switched between high and low while keeping the point cloud resolution of the point cloud constant, and the point cloud resolution of the point cloud may be set high or low while keeping the resolution of the ambient light image constant. You may switch. Further, for example, when the point cloud resolution of the point cloud is low, the resolution of the ambient light image may be switched to be low, and when the point cloud resolution of the point cloud is high, the resolution of the ambient light image is also high. You may switch as follows.

また、距離画像及び反射強度画像についても同様に、例えば、点群の点群解像度を一定にしたまま、距離画像及び反射強度画像の解像度を高く又は低く切り替えてもよいし、距離画像及び反射強度画像の解像度を一定にしたまま、点群の点群解像度を高く又は低く切り替えてもよい。また、例えば、点群の点群解像度が低いときに、距離画像及び反射強度画像の解像度も低くなるように切り替えてもよいし、点群の点群解像度が高いときに、距離画像及び反射強度画像の解像度も高くなるように切り替えてもよい。
このような構成によれば、点群の点群解像度と画像の解像度とを、それぞれ独立して適切な値に設定できる。
Similarly, for the distance image and the reflection intensity image, for example, the resolution of the distance image and the reflection intensity image may be switched to high or low while keeping the point group resolution of the point group constant, or the distance image and the reflection intensity may be switched to high or low. The point group resolution of the point group may be switched between high and low while keeping the image resolution constant. Further, for example, when the point group resolution of the point group is low, the resolution of the distance image and the reflection intensity image may be switched to be low, or when the point group resolution of the point group is high, the distance image and the reflection intensity may be low. You may switch so that the resolution of the image is also high.
According to such a configuration, the point cloud resolution of the point cloud and the image resolution can be independently set to appropriate values.

(iii)上記実施形態では、環境光画像と、距離画像及び反射強度画像とは解像度が異なっていた。すなわち、第3の解像度を有する環境光画像と、第3の解像度とは異なる第4の解像度を有する距離画像及び反射強度画像と、に基づいて物体が検出された。しかし、環境光画像と、距離画像及び反射強度画像との解像度は一致していてもよい。このような構成によれば、それぞれの画像から検出された画像物標の対応がとりやすくなる。 (Iii) In the above embodiment, the resolution of the ambient light image is different from that of the distance image and the reflection intensity image. That is, the object was detected based on the ambient light image having the third resolution and the distance image and the reflection intensity image having the fourth resolution different from the third resolution. However, the resolutions of the ambient light image and the distance image and the reflection intensity image may be the same. According to such a configuration, it becomes easy to correspond to the image target detected from each image.

(iv)上記実施形態では、点群解像度は、距離画像及び反射強度画像の解像度と一致していた。しかし、点群の解像度は、距離画像及び反射強度画像の解像度と一致していなくてもよいし、距離画像及び反射強度画像のうちの一方の解像度とのみ一致していてもよい。 (Iv) In the above embodiment, the point cloud resolution was consistent with the resolution of the distance image and the reflection intensity image. However, the resolution of the point group may not match the resolution of the distance image and the reflection intensity image, or may match only the resolution of one of the distance image and the reflection intensity image.

(v)上記実施形態では、外部の明るさに応じた解像度の点群及び画像を生成した。しかし、点群及び画像は、外部の明るさ以外の要件により解像度が設定されてもよい。例えば、時刻、ヘッドライトの点灯の有無、走行する道路の属性などに応じて解像度が設定される構成であってもよい。 (V) In the above embodiment, a point cloud and an image having a resolution corresponding to the external brightness are generated. However, the resolution of the point cloud and the image may be set according to the requirements other than the external brightness. For example, the resolution may be set according to the time, whether or not the headlights are turned on, the attributes of the road on which the vehicle travels, and the like.

(vi)上記実施形態では、環境光の強度に基づき、外部の明るさを判定した。しかし、外部の明るさの判定の方法はこれに限定されるものではない。例えば、照度センサが用いられてもよい。 (Vi) In the above embodiment, the external brightness is determined based on the intensity of the ambient light. However, the method of determining the external brightness is not limited to this. For example, an illuminance sensor may be used.

(vii)上記実施形態では、処理部5は、S107からS111、及びS113〜S116の処理によって、クラスタが過結合している場合には分割し、クラスタが過分割している場合には結合した。しかし、処理部5は、上述したクラスタの分割や結合をおこなわなくてもよい。例えば、図9に示すように、処理部5は、S104で画像物標対応クラスタを検出した後、S205で、画像物標が示す物体までの距離が適切かを判定する。具体的には、処理部5は、図6のS105と同様に判定する。 (Vii) In the above embodiment, the processing unit 5 is divided by the processing of S107 to S111 and S113 to S116 when the cluster is over-coupled, and is combined when the cluster is over-coupled. .. However, the processing unit 5 does not have to divide or combine the clusters described above. For example, as shown in FIG. 9, after detecting the image target corresponding cluster in S104, the processing unit 5 determines in S205 whether the distance to the object indicated by the image target is appropriate. Specifically, the processing unit 5 determines in the same manner as in S105 of FIG.

続いて、S206で、処理部5は、画像物標が示す物体のサイズが適切かを判定する。具体的には、処理部5は、図6のS106と同様に判定する。
続いて、S207で、処理部5は、物体を検出する。このとき、S205で画像物標が示す物体までの距離が適切であると判定され、かつ、S206で画像物標が示す物体のサイズが適切であると判定された場合、画像物標対応クラスタは、種別情報をもつ物体として検出される。その後、処理部5は、図9の物体検出処理を終了する。
Subsequently, in S206, the processing unit 5 determines whether the size of the object indicated by the image target is appropriate. Specifically, the processing unit 5 determines in the same manner as in S106 of FIG.
Subsequently, in S207, the processing unit 5 detects an object. At this time, if it is determined in S205 that the distance to the object indicated by the image target is appropriate, and in S206 it is determined that the size of the object indicated by the image target is appropriate, the image target compatible cluster is determined. , Detected as an object with type information. After that, the processing unit 5 ends the object detection process of FIG.

一方、S207で、S205で画像物標が示す物体までの距離が適切でないと判定され、又は、S206で画像物標が示す物体のサイズが適切でないと判定された場合、画像物標対応クラスタは、種別情報をもたない物体として検出される。その後、処理部5は、図9の物体検出処理を終了する。 On the other hand, in S207, when it is determined in S205 that the distance to the object indicated by the image target is not appropriate, or in S206, it is determined that the size of the object indicated by the image target is not appropriate, the image target compatible cluster is determined. , Detected as an object without type information. After that, the processing unit 5 ends the object detection process of FIG.

また、図7に戻り、例えば、処理部5は、S108でクラスタが過結合しているかを判定した後、S109,S110の処理をスキップしてもよい。また、処理部5は、S113でクラスタが過分割しているかを判定した後、S114,S115の処理をスキップしてもよい。つまり、処理部5は、切替処理を実施することなく、クラスタを分割又は結合し、種別情報をもつ物体として検出してもよい。 Further, returning to FIG. 7, for example, the processing unit 5 may skip the processing of S109 and S110 after determining whether the clusters are overcoupled in S108. Further, the processing unit 5 may skip the processing of S114 and S115 after determining whether the cluster is overdivided in S113. That is, the processing unit 5 may divide or combine the clusters and detect them as an object having type information without performing the switching process.

[5.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
[5. Other embodiments]
Although the embodiments of the present disclosure have been described above, it goes without saying that the present disclosure is not limited to the above-described embodiments and can take various forms.

(5a)上記実施形態では、受光素子としてSPADを備える構成を例示した。しかし、入射光の光量の時間的変化を検出できれば、どのような受光素子が用いられてもよい。 (5a) In the above embodiment, a configuration including SPAD as a light receiving element is illustrated. However, any light receiving element may be used as long as it can detect a temporal change in the amount of incident light.

(5b)上記実施形態では、環境光画像が用いられる構成を例示した。しかし、用いられる画像の種類はこれに限定されるものではない。例えば、環境光画像に加えて又は代えて、距離画像及び反射強度画像の少なくとも一方が用いられてもよい。なお、距離画像も反射強度画像も、分割エリアの数に応じて生成されることから、点群における各反射点の角度位置と、距離画像及び反射強度画像における各画素の位置とは1対1で対応する。これにより、距離画像及び反射強度画像を画像解析して認識される物体と、点群において認識される物体と、の対応関係が高い精度で特定可能となる。 (5b) In the above embodiment, a configuration in which an ambient light image is used is illustrated. However, the types of images used are not limited to this. For example, at least one of a distance image and a reflection intensity image may be used in addition to or in place of the ambient light image. Since both the distance image and the reflection intensity image are generated according to the number of divided areas, the angular position of each reflection point in the point cloud and the position of each pixel in the distance image and the reflection intensity image are 1: 1. Correspond with. As a result, the correspondence between the object recognized by image analysis of the distance image and the reflection intensity image and the object recognized in the point cloud can be specified with high accuracy.

ここで、環境光画像を用いた場合、晴れた日中などには検出性能が高いが、夜間やトンネル内などでは検出性能が下がることがある。一方、距離画像及び反射強度画像を用いた場合、これとは逆の特性をもつ。よって、物体検出装置1は、これらの画像を併用することで、より高精度に物体を正しい単位で検出することができる。 Here, when an ambient light image is used, the detection performance is high during sunny days, but the detection performance may decrease at night or in a tunnel. On the other hand, when a distance image and a reflection intensity image are used, they have the opposite characteristics. Therefore, the object detection device 1 can detect an object in a correct unit with higher accuracy by using these images together.

(5c)上記実施形態では、過分割又は過結合の疑いがある場合、解像度を切り替えた後、測距エリア全体において再び測距が実行された。しかし、再び測距が実行される範囲はこれに限定されるものではない。物体検出装置1は、測距エリアにおける一部の範囲、例えば過結合や過分割が疑われる範囲に限って再び測距を実行してもよい。これにより、解像度の切り替えが不要な範囲で物体が過剰に検出されることを抑制し、検出タイミングが遅くなるのを防ぎやすくすることができる。 (5c) In the above embodiment, when there is a suspicion of over-division or over-coupling, after switching the resolution, distance measurement is performed again in the entire distance measurement area. However, the range in which distance measurement is performed again is not limited to this. The object detection device 1 may perform distance measurement again only in a part of the range measurement area, for example, a range in which overcoupling or overdivision is suspected. As a result, it is possible to suppress excessive detection of an object in a range where switching of resolution is unnecessary, and it is possible to easily prevent the detection timing from being delayed.

(5d)上記実施形態では、1画素あたりの受光素子の個数を切り替えることによって解像度を第1の解像度と第2の解像度とに切り替える構成を例示した。しかし物体検出装置1は、測距エリアの範囲を切り替えることによって解像度を切り替えてもよい。具体的には、照射部2により照射されるレーザ光の水平方向における角度範囲を切り替える。例えば物体検出装置1は、分割エリアの数は変えずに、角度範囲を−60°〜+60°から−20°〜+20°に切り替える。分割エリアの数は変えずに角度範囲を狭くすると、当該角度範囲における分割エリアの数が相対的に多くなり、解像度は相対的に高くなる。よって、より詳細な点群を生成することができる。また、環境光画像においても、画素数を変えずに3分の1の範囲を表現するので、解像度は相対的に高くなる。 (5d) In the above embodiment, a configuration in which the resolution is switched between the first resolution and the second resolution by switching the number of light receiving elements per pixel is illustrated. However, the object detection device 1 may switch the resolution by switching the range of the ranging area. Specifically, the angle range of the laser beam emitted by the irradiation unit 2 in the horizontal direction is switched. For example, the object detection device 1 switches the angle range from −60 ° to + 60 ° to −20 ° to + 20 ° without changing the number of division areas. If the angle range is narrowed without changing the number of division areas, the number of division areas in the angle range becomes relatively large, and the resolution becomes relatively high. Therefore, a more detailed point cloud can be generated. Further, even in the ambient light image, since the range of one-third is expressed without changing the number of pixels, the resolution is relatively high.

また、物体検出装置1は、切替処理として、解像度を切り替えることに加えて又は代えて、各分割エリアに対してレーザ光を照射する回数を、第1の照射回数から、第1の照射回数よりも多い第2の照射回数に切り替えることによってSNを向上させてもよい。レーザ光を照射する回数とは、測距エリアにおける測距を一巡する間に分割エリアのそれぞれに対して物体検出装置1がレーザ光を照射する各回数のことである。なお、上記実施形態では、第1の照射回数として1回が設定されており、各分割エリアに対してレーザ光が1回ずつ照射されていた。このような構成によれば、例えば図5のように、ミキサー車が車体における前方の部分26とタンクの部分27とで2つのクラスタとして検出されてしまうような場合にも、物体検出装置1は、SNを高くすることで前方の部分26とタンクの部分27とをつなぐ車体における部分も検出しやすくなる。これにより、物体検出装置1は、ミキサー車を2つのクラスタではなく1つのクラスタとして検出することができるようになる。 Further, as a switching process, the object detection device 1 sets the number of times of irradiating the laser beam to each divided area from the first number of irradiations to the first number of irradiations in addition to or instead of switching the resolution. The SN may be improved by switching to the second irradiation frequency, which is often large. The number of times of irradiating the laser beam is the number of times that the object detection device 1 irradiates the laser beam to each of the divided areas during one cycle of the distance measurement in the distance measuring area. In the above embodiment, the first irradiation number is set to once, and the laser beam is irradiated once to each divided area. According to such a configuration, even when the mixer truck is detected as two clusters in the front part 26 and the tank part 27 in the vehicle body as shown in FIG. 5, the object detection device 1 can be used. By increasing the SN, it becomes easier to detect a part in the vehicle body that connects the front part 26 and the tank part 27. As a result, the object detection device 1 can detect the mixer truck as one cluster instead of two clusters.

なお、上記実施形態では、測距エリア全体がレーザ光を照射する対象の範囲と設定されていたが、各分割エリアに対してレーザ光を照射する回数を増やすと、検出周期が長くなり、物体を検出するタイミングが遅れることが考えられる。そこで、物体検出装置1は、第1の照射回数から第2の照射回数に切り替えるのを、測距エリアにおける一部の範囲、例えば過結合や過分割が疑われる範囲に限ってもよい。これにより、物体検出装置1は、物体を検出するタイミングが遅れるのを抑制しつつ、より高精度に物体を正しい単位で検出することができる。 In the above embodiment, the entire ranging area is set as the range to be irradiated with the laser beam, but if the number of times the laser beam is irradiated to each divided area is increased, the detection cycle becomes longer and the object It is possible that the timing of detecting is delayed. Therefore, the object detection device 1 may switch from the first number of irradiations to the second number of irradiations only in a part of the range-finding area, for example, a range in which overcoupling or overdivision is suspected. As a result, the object detection device 1 can detect the object with higher accuracy in the correct unit while suppressing the timing of detecting the object from being delayed.

(5e)上記実施形態では、サイズ閾値として、上限値のみが設定された構成を例示した。しかし、サイズ閾値として、上限値に加えて又は代えて下限値を設定してもよい。
(5f)上記実施形態では、画像物標対応クラスタの画素数が画像物標の画素数と比較して、所定の画素数以上多い場合、過結合クラスタが存在すると判定した。しかし、例えば、画像物標に対応する点群における部分に存在するクラスタを構成するすべての反射点の点数である全体点数と、画像物標に対応する部分の反射点の点数である部分点数と、を比較することによって、過結合クラスタが存在するか否かを判定してもよい。また例えば、全体点数を部分点数で割った値が、1よりも大きい所定値以上である場合、過結合クラスタが存在すると判定してもよい。
(5e) In the above embodiment, a configuration in which only an upper limit value is set as a size threshold value is illustrated. However, as the size threshold value, a lower limit value may be set in addition to or in place of the upper limit value.
(5f) In the above embodiment, when the number of pixels of the image target corresponding cluster is larger than the predetermined number of pixels as compared with the number of pixels of the image target, it is determined that the overcoupled cluster exists. However, for example, the total score, which is the score of all the reflection points constituting the cluster existing in the part of the point cloud corresponding to the image target, and the partial score, which is the score of the reflection points of the portion corresponding to the image target. , And whether or not an overbound cluster exists may be determined by comparing. Further, for example, when the value obtained by dividing the total score by the partial score is greater than or equal to a predetermined value greater than 1, it may be determined that an overbound cluster exists.

(5g)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。 (5g) The functions of one component in the above embodiment may be dispersed as a plurality of components, or the functions of the plurality of components may be integrated into one component. Further, a part of the configuration of the above embodiment may be omitted. Further, at least a part of the configuration of the above embodiment may be added or replaced with the configuration of the other embodiment.

1…物体検出装置、2…照射部、3…受光部、51…点群生成部、52…クラスタ生成部、53…識別部、54…物体検出部。 1 ... Object detection device, 2 ... Irradiation unit, 3 ... Light receiving unit, 51 ... Point cloud generation unit, 52 ... Cluster generation unit, 53 ... Identification unit, 54 ... Object detection unit.

Claims (16)

所定の測距エリアに光を照射するように構成された照射部(2)と、
前記照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成された受光部(3)と、
前記反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成された検出部(51〜54)と、
を備え、
前記点群は、測距エリア全体で検出された反射点の群であり、
前記画像は、前記環境光に基づく画像である環境光画像、前記反射光に基づき検出される前記物体までの距離に基づく画像である距離画像及び前記反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも1つである、物体検出装置。
An irradiation unit (2) configured to irradiate a predetermined ranging area with light,
A light receiving unit (3) configured to receive the reflected light, which is the light reflected by the light emitted by the irradiation unit, and the ambient light.
A detection unit (51 to 54) configured to detect a predetermined object based on a point cloud which is information based on the reflected light, an image, and the like.
With
The point cloud is a group of reflection points detected in the entire ranging area.
The image is an ambient light image which is an image based on the ambient light, a distance image which is an image based on the distance to the object detected based on the reflected light, and a reflection intensity which is an image based on the reflection intensity of the reflected light. An object detector, which is at least one of the images.
請求項1に記載の物体検出装置であって、
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより生成された複数のクラスタのうち2以上のクラスタが前記画像物標に対応する前記点群における部分に存在すると判定した場合、前記2以上のクラスタを1つの前記物体として検出する、物体検出装置。
The object detection device according to claim 1.
The detection unit detects an image target which is a portion identified as the object in the image, and two or more clusters out of a plurality of clusters generated by clustering the point cloud are the image object. An object detection device that detects two or more clusters as one object when it is determined that the object exists in a portion of the point cloud corresponding to the target.
請求項1又は請求項2に記載の物体検出装置であって、
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより生成された複数のクラスタのうち前記画像物標に対応する前記点群における部分と比較してサイズが大きな過結合クラスタが前記画像物標に対応する前記点群における部分に存在していると判定した場合、前記過結合クラスタのうち前記画像物標に対応する部分を分離して前記物体として検出する、物体検出装置。
The object detection device according to claim 1 or 2.
The detection unit detects an image target which is a portion identified as the object in the image, and among a plurality of clusters generated by clustering the point cloud, the detection unit corresponds to the image target. When it is determined that an overbound cluster having a larger size than the portion in the point cloud exists in the portion in the point group corresponding to the image target, it corresponds to the image target among the overbound clusters. An object detection device that separates parts and detects them as the object.
請求項3に記載の物体検出装置であって、
前記過結合クラスタのうち前記画像物標に対応する部分である対象クラスタと、前記過結合クラスタのうち前記画像物標に対応する部分を除いた部分である隣接クラスタと、の最短距離が、前記対象クラスタにおける隣り合う2点間の距離の中で最大となる距離よりも大きくなり、かつ、隣接クラスタにおける隣り合う2点間の距離の中で最大となる距離よりも大きくなるように前記過結合クラスタを分割する、物体検出装置。
The object detection device according to claim 3.
The shortest distance between the target cluster, which is the portion of the over-coupled cluster corresponding to the image target, and the adjacent cluster, which is the portion of the over-coupled cluster excluding the portion corresponding to the image target, is the said. The overcoupling is greater than the maximum distance between two adjacent points in the target cluster and greater than the maximum distance between two adjacent points in the adjacent cluster. An object detector that divides a cluster.
請求項1から請求項4までのいずれか1項に記載の物体検出装置であって、
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記画像物標が示す前記物体の種別に応じて、前記物体のサイズが、あらかじめ設定されたサイズの範囲内であると判定した場合、前記画像物標に対応する前記点群における部分を前記物体として検出する、物体検出装置。
The object detection device according to any one of claims 1 to 4.
The detection unit detects an image target which is a portion identified as the object in the image, and the size of the object is preset according to the type of the object indicated by the image target. An object detection device that detects a portion of the point group corresponding to the image target as the object when it is determined that the size is within the range.
請求項1から請求項5までのいずれか1項に記載の物体検出装置であって、
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記画像物標が示す前記物体の種別に応じて、前記物体までの距離が、あらかじめ設定された距離の範囲内であると判定した場合、前記画像物標に対応する前記点群における部分を前記物体として検出する、物体検出装置。
The object detection device according to any one of claims 1 to 5.
The detection unit detects an image target which is a portion identified as the object in the image, and the distance to the object is preset according to the type of the object indicated by the image target. An object detection device that detects a portion of the point group corresponding to the image target as the object when it is determined that the distance is within the range of the distance.
請求項1から請求項6までのいずれか1項に記載の物体検出装置であって、
前記検出部は、第1の解像度の前記画像と、前記点群を構成する複数の前記反射点を検出する単位の数を示す第1の点群解像度の前記点群と、に基づいて前記物体を検出可能であるとともに、前記第1の解像度よりも高い第2の解像度の前記画像と、前記第1の点群解像度よりも高い第2の点群解像度の前記点群と、に基づいて前記物体を検出可能である、物体検出装置。
The object detection device according to any one of claims 1 to 6.
The detection unit is based on the image having the first resolution and the point group having the resolution of the first point group indicating the number of units for detecting the plurality of reflection points constituting the point group. Based on the image having a second resolution higher than the first resolution and the point group having a second point group resolution higher than the first point group resolution. An object detection device that can detect an object.
請求項7に記載の物体検出装置であって、
前記受光部は、複数の受光素子を有し、
前記検出部は、前記複数の受光素子のうち第1の個数の受光素子を1画素とする前記第1の解像度と、前記複数の受光素子のうち前記第1の個数よりも数が少ない第2の個数の受光素子を1画素とする前記第2の解像度と、に切り替え可能である、物体検出装置。
The object detection device according to claim 7.
The light receiving unit has a plurality of light receiving elements and has a plurality of light receiving elements.
The detection unit has the first resolution in which the first number of light receiving elements among the plurality of light receiving elements is one pixel, and the second detection unit has a smaller number than the first number of the plurality of light receiving elements. An object detection device capable of switching to the second resolution in which the number of light receiving elements is one pixel.
請求項7又は請求項8に記載の物体検出装置であって、
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより複数のクラスタを生成し、
前記検出部は、前記複数のクラスタのうち2以上のクラスタが前記画像物標に対応する前記点群における部分に存在すると判定された場合、又は、前記複数のクラスタのうち前記画像物標に対応する前記点群における部分と比較してサイズが大きな結合クラスタが前記画像物標に対応する前記点群における部分に存在していると判定された場合、前記画像の解像度を前記第1の解像度から前記第2の解像度に切り替え、前記画像物標を検出し、前記点群の点群解像度を前記第1の点群解像度から前記第2の点群解像度に切り替え、前記点群をクラスタリングする、物体検出装置。
The object detection device according to claim 7 or 8.
The detection unit detects an image target, which is a portion identified as the object in the image, and clusters the point cloud to generate a plurality of clusters.
The detection unit corresponds to the case where it is determined that two or more clusters out of the plurality of clusters exist in the part of the point cloud corresponding to the image target, or the detection unit corresponds to the image target among the plurality of clusters. When it is determined that a connected cluster having a larger size than the portion in the point cloud is present in the portion in the point cloud corresponding to the image target, the resolution of the image is derived from the first resolution. An object that switches to the second resolution, detects the image target, switches the point cloud resolution of the point cloud from the first point cloud resolution to the second point cloud resolution, and clusters the point cloud. Detection device.
請求項1から請求項9までのいずれか1項に記載の物体検出装置であって、
前記照射部は、前記測距エリアにおける少なくとも一部の範囲に光を照射する回数を、第1の照射回数と、前記第1の照射回数よりも多い第2の照射回数と、に切り替え可能である、物体検出装置。
The object detection device according to any one of claims 1 to 9.
The irradiation unit can switch the number of times of irradiating light to at least a part of the range-finding area between the first irradiation number and the second irradiation number more than the first irradiation number. There is an object detector.
請求項10に記載の物体検出装置であって、
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより複数のクラスタを生成し、
前記照射部は、前記複数のクラスタのうち2以上のクラスタが前記画像物標に対応する前記点群における部分に存在すると判定された場合、又は、前記複数のクラスタのうち前記画像物標に対応する前記点群における部分と比較してサイズが大きな過結合クラスタが前記画像物標に対応する前記点群における部分に存在していると判定された場合、前記第1の照射回数から前記第2の照射回数に切り替え、
前記検出部は、光を照射する回数が前記第1の照射回数から前記第2の照射回数に切り替えられた場合、前記第2の照射回数において、前記画像物標を検出し、前記点群をクラスタリングする、物体検出装置。
The object detection device according to claim 10.
The detection unit detects an image target, which is a portion identified as the object in the image, and clusters the point cloud to generate a plurality of clusters.
The irradiation unit corresponds to the case where it is determined that two or more clusters out of the plurality of clusters are present in the part of the point cloud corresponding to the image target, or the irradiation unit corresponds to the image target among the plurality of clusters. When it is determined that an overbound cluster having a larger size than the portion in the point cloud is present in the portion in the point cloud corresponding to the image target, the second irradiation count is used. Switch to the number of irradiations,
When the number of times of irradiating light is switched from the first number of times of irradiation to the second number of times of irradiation, the detection unit detects the image target at the second number of times of irradiation and displays the point cloud. An object detector that clusters.
請求項1から請求項11までのいずれか1項に記載の物体検出装置であって、
前記検出部は、前記点群と、前記点群を構成する複数の前記反射点を検出する単位の数を示す点群解像度とは異なる解像度の前記画像と、に基づいて前記物体を検出可能である、物体検出装置。
The object detection device according to any one of claims 1 to 11.
The detection unit can detect the object based on the point cloud and the image having a resolution different from the point cloud resolution indicating the number of units for detecting the plurality of reflection points constituting the point cloud. There is an object detector.
請求項12に記載の物体検出装置であって、
前記検出部は、前記点群と、前記点群の前記点群解像度とは異なる解像度の前記環境光画像と、に基づいて前記物体を検出可能である、物体検出装置。
The object detection device according to claim 12.
The detection unit is an object detection device capable of detecting the object based on the point cloud and the ambient light image having a resolution different from the point cloud resolution of the point cloud.
請求項1から請求項13までのいずれか1項に記載の物体検出装置であって、
前記検出部は、第3の解像度を有する前記環境光画像と、前記第3の解像度とは異なる第4の解像度を有する前記距離画像及び前記反射強度画像のうちの少なくとも1つと、に基づいて前記物体を検出可能である、物体検出装置。
The object detection device according to any one of claims 1 to 13.
The detection unit is based on the ambient light image having a third resolution and at least one of the distance image and the reflection intensity image having a fourth resolution different from the third resolution. An object detection device that can detect an object.
請求項14に記載の物体検出装置であって、
前記点群を構成する複数の前記反射点を検出する単位の数を示す点群解像度は、前記距離画像及び前記反射強度画像のうちの少なくとも1つの解像度と一致する、物体検出装置。
The object detection device according to claim 14.
An object detection device whose point cloud resolution indicating the number of units for detecting a plurality of the reflection points constituting the point cloud matches the resolution of at least one of the distance image and the reflection intensity image.
請求項14又は請求項15に記載の物体検出装置であって、
外部の明るさを判定する明るさ判定部を更に備え、
前記検出部は、前記明るさ判定部により外部の明るさが所定の閾値よりも明るいと判定された場合、外部の明るさが前記所定の閾値よりも明るくないと判定された場合と比較して相対的に解像度の高い前記環境光画像と、相対的に解像度の低い前記距離画像及び前記反射強度画像のうちの少なくとも1つと、に基づいて前記物体を検出する、物体検出装置。
The object detection device according to claim 14 or 15.
Further equipped with a brightness determination unit that determines the external brightness,
When the detection unit determines that the external brightness is brighter than the predetermined threshold value by the brightness determination unit, the detection unit is compared with the case where the external brightness is determined not to be brighter than the predetermined threshold value. An object detection device that detects the object based on the ambient light image having a relatively high resolution, and at least one of the distance image and the reflection intensity image having a relatively low resolution.
JP2021018327A 2020-02-18 2021-02-08 Object detection device Active JP7501398B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/005722 WO2021166912A1 (en) 2020-02-18 2021-02-16 Object detection device
CN202180015257.2A CN115176175A (en) 2020-02-18 2021-02-16 Object detection device
US17/820,505 US20220392194A1 (en) 2020-02-18 2022-08-17 Object detection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020025300 2020-02-18
JP2020025300 2020-02-18

Publications (2)

Publication Number Publication Date
JP2021131385A true JP2021131385A (en) 2021-09-09
JP7501398B2 JP7501398B2 (en) 2024-06-18

Family

ID=77550869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021018327A Active JP7501398B2 (en) 2020-02-18 2021-02-08 Object detection device

Country Status (1)

Country Link
JP (1) JP7501398B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7532569B2 (en) 2022-02-09 2024-08-13 42ドット・インコーポレイテッド Method and apparatus for determining pedestrian location

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4232167B1 (en) 2007-08-27 2009-03-04 三菱電機株式会社 Object identification device, object identification method, and object identification program
JP2011247872A (en) 2010-04-27 2011-12-08 Denso Corp Distance measurement device, distance measurement method, and distance measurement program
KR101907081B1 (en) 2011-08-22 2018-10-11 삼성전자주식회사 Method for separating object in three dimension point clouds
CN110325818B (en) 2017-03-17 2021-11-26 本田技研工业株式会社 Joint 3D object detection and orientation estimation via multimodal fusion
US20210341612A1 (en) 2018-03-28 2021-11-04 Nec Corporation Monitoring control device, monitoring system, monitoring control method, and non-transitory computer-readable medium with program stored therein
EP3779880A4 (en) 2018-03-30 2021-05-26 NEC Solution Innovators, Ltd. Object identification device, object identification method, and non-temporary computer readable medium storing control program
CN109100741B (en) 2018-06-11 2020-11-20 长安大学 Target detection method based on 3D laser radar and image data
CN109345510A (en) 2018-09-07 2019-02-15 百度在线网络技术(北京)有限公司 Object detecting method, device, equipment, storage medium and vehicle
WO2020179065A1 (en) 2019-03-07 2020-09-10 日本電気株式会社 Image processing device, image processing method, and recording medium
JP7420038B2 (en) 2019-10-16 2024-01-23 株式会社デンソー In-vehicle abnormality detection device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7532569B2 (en) 2022-02-09 2024-08-13 42ドット・インコーポレイテッド Method and apparatus for determining pedestrian location

Also Published As

Publication number Publication date
JP7501398B2 (en) 2024-06-18

Similar Documents

Publication Publication Date Title
US10832064B2 (en) Vacant parking space detection apparatus and vacant parking space detection method
JP6851985B2 (en) Vehicle and vehicle image acquisition method equipped with vehicle image acquisition device, control device, vehicle image acquisition device or control device
JP6863342B2 (en) Optical ranging device
JP7095640B2 (en) Object detector
US8422737B2 (en) Device and method for measuring a parking space
US20220011440A1 (en) Ranging device
JP6358552B2 (en) Image recognition apparatus and image recognition method
US9506859B2 (en) Method and device for determining a visual range in daytime fog
CN103987575A (en) Method and device for identifying a braking situation
JP2012226513A (en) Detection device and detection method
JP2007114831A (en) Object detection device
JP2007248146A (en) Radar device
CN114930192A (en) Infrared imaging assembly
JP2021131385A (en) Object detector
JP2020160044A (en) Distance measuring device and distance measuring method
WO2021166912A1 (en) Object detection device
US20230194666A1 (en) Object Reflectivity Estimation in a LIDAR System
US20220299614A1 (en) Object detection apparatus and control method of object detection apparatus
JP2019007744A (en) Object sensing device, program, and object sensing system
JP5310162B2 (en) Vehicle lighting judgment device
JP2004325202A (en) Laser radar system
JP2021103101A (en) Object detector
WO2023181948A1 (en) Noise eliminating device, object detecting device, and noise eliminating method
WO2023047886A1 (en) Vehicle detection device, vehicle detection method, and vehicle detection program
US12135394B2 (en) Gating camera

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240520

R150 Certificate of patent or registration of utility model

Ref document number: 7501398

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150