JP2021131385A - Object detector - Google Patents
Object detector Download PDFInfo
- Publication number
- JP2021131385A JP2021131385A JP2021018327A JP2021018327A JP2021131385A JP 2021131385 A JP2021131385 A JP 2021131385A JP 2021018327 A JP2021018327 A JP 2021018327A JP 2021018327 A JP2021018327 A JP 2021018327A JP 2021131385 A JP2021131385 A JP 2021131385A
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- point cloud
- detection device
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims description 138
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 abstract description 2
- 238000005859 coupling reaction Methods 0.000 abstract description 2
- 230000008878 coupling Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 43
- 238000005259 measurement Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
Description
本開示は、物体検出装置に関する。 The present disclosure relates to an object detection device.
特許文献1には、レーザレーダにより検出された複数の検出点をクラスタリングすることにより生成されたクラスタを用いて物体を検出する物体識別装置が記載されている。具体的には、物体識別装置は、前回生成されたクラスタと、今回生成されたクラスタと、の一致度を計算することで物体を表すクラスタを特定する。このとき、物体識別装置は、クラスタがツリー構造をなしていることを利用して、根ノードのクラスタから子ノードのクラスタに向かって一致度を計算していく。
しかしながら、発明者の詳細な検討の結果、以下の課題が見出された。すなわち、特許文献1に記載の装置のように点群のみを用いてクラスタリングすると、物体を正しい単位で検出しにくい。例えば、検出対象とする物体について、本来生成されるべきクラスタよりも小さいクラスタが根ノードのクラスタとして生成された場合、根ノードのクラスタよりも大きなクラスタを物体として検出することが難しく、過分割されてしまう。また、例えば、前回生成されたクラスタが存在しない場合、つまり初回のクラスタリング時には、前回生成されたクラスタと、今回生成されたクラスタと、の一致度を計算することができないため、物体を表すクラスタを特定することが難しく、検出精度が低くなってしまう。
However, as a result of detailed examination by the inventor, the following problems have been found. That is, if clustering is performed using only a point cloud as in the apparatus described in
本開示の一局面は、より高精度に物体を正しい単位で検出することができる物体検出装置を提供する。 One aspect of the present disclosure provides an object detection device capable of detecting an object in a correct unit with higher accuracy.
本開示の一態様は、物体検出装置であって、照射部(2)と、受光部(3)と、検出部(51〜54)と、を備える。照射部は、所定の測距エリアに光を照射するように構成される。受光部は、照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成される。検出部は、反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成される。点群は、測距エリア全体で検出された反射点の群である。画像は、環境光に基づく画像である環境光画像、反射光に基づき検出される物体までの距離に基づく画像である距離画像及び反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも1つである。 One aspect of the present disclosure is an object detection device, which includes an irradiation unit (2), a light receiving unit (3), and a detection unit (51 to 54). The irradiation unit is configured to irradiate a predetermined ranging area with light. The light receiving unit is configured to receive the reflected light, which is the light reflected by the light emitted by the irradiation unit, and the ambient light. The detection unit is configured to detect a predetermined object based on a point cloud, which is information based on reflected light, and an image. The point cloud is a group of reflection points detected in the entire ranging area. The image is at least one of an ambient light image which is an image based on ambient light, a distance image which is an image based on the distance to an object detected based on reflected light, and a reflection intensity image which is an image based on the reflection intensity of reflected light. There is one.
このような構成によれば、より高精度に物体を正しい単位で検出することができる。 According to such a configuration, the object can be detected with higher accuracy in the correct unit.
以下、本開示の例示的な実施形態について図面を参照しながら説明する。
[1.構成]
図1に示す物体検出装置1は、車両に搭載して使用され、光を照射し、照射した光を反射する物体からの反射光を受光することで、車両前方に存在する物体を検出する。
Hereinafter, exemplary embodiments of the present disclosure will be described with reference to the drawings.
[1. composition]
The
物体検出装置1は、図1に示すように、照射部2と、受光部3と、記憶部4と、処理部5と、を備える。
照射部2は、車両の前方における測距エリアにレーザ光を照射する。測距エリアは、水平方向及び鉛直方向のそれぞれに所定の角度範囲で広がるエリアである。照射部2は、レーザ光を水平方向に走査する。
As shown in FIG. 1, the
The
受光部3は、測距エリアからの入射光の光量を検出する。受光部3により検出される入射光には、照射部2により照射されたレーザ光が物体で反射した反射光の他、太陽光の反射光などの環境光が含まれる。
The light receiving
測距エリアは、複数の分割エリアに区分されており、複数の分割エリアごとに入射光の光量を検出可能である。測距エリアを、受光部3を視点として前方(すなわち、レーザ光の照射方向)を見たときに視認される2次元平面として表したとき、上述した複数の分割エリアは、当該2次元平面を水平方向及び鉛直方向に関して複数段に分割した1つ1つの領域に対応する。分割エリアそれぞれは、3次元空間として見れば、受光部3から延びる直線にそって長さを持つ空間領域である。分割エリアごとに、上述した直線の水平方向の角度及び鉛直方向の角度が対応付けられて定まる。
The ranging area is divided into a plurality of divided areas, and the amount of incident light can be detected for each of the plurality of divided areas. When the ranging area is represented as a two-dimensional plane that is visually recognized when the
本実施形態では、測距エリアが、従来の一般的なLIDARと比較して細かな分割エリアに区分されている。例えば、測距エリアにおける分割エリアの数が、上述した2次元平面において、水平方向に500個、鉛直方向に100個に区分されるように設計されている。 In the present embodiment, the ranging area is divided into finely divided areas as compared with the conventional general LIDAR. For example, the number of divided areas in the distance measuring area is designed to be divided into 500 in the horizontal direction and 100 in the vertical direction in the above-mentioned two-dimensional plane.
各分割エリアには、1つ以上の受光素子が対応づけられている。1つの分割エリアに対応づけられる受光素子の数によって、分割エリアの大きさ(すなわち、上述した2次元平面上においては、その面積の大きさ)が変化する。1つの分割エリアに対応づけられる受光素子の数が少ないほど、1つの分割エリアの大きさは小さくなり、分解能が高くなる。このような構成を実現するため、受光部3は複数の受光素子が配列されている受光素子アレイを備える。受光素子アレイは、例えばSPAD、その他のフォトダイオードによって構成される。なお、SPADは、Single Photon Avalanche Diodeの略である。
One or more light receiving elements are associated with each divided area. The size of the divided area (that is, the size of the area on the above-mentioned two-dimensional plane) changes depending on the number of light receiving elements associated with one divided area. The smaller the number of light receiving elements associated with one divided area, the smaller the size of one divided area and the higher the resolution. In order to realize such a configuration, the
上述したように、入射光には、反射光と環境光が含まれる。照射部2により照射されたレーザ光が物体で反射した反射光は、レーザ光の照射タイミングを開始時刻とする一定期間の入射光の光量をサンプリングした、時間と入射光の光量との関係を表す受光波形において、環境光と十分に区別可能なピークとして検出される。照射部2によるレーザ光の照射タイミングから反射光の検出タイミングまでの時間から、レーザ光が物体で反射した反射点までの距離が算出される。したがって、分割エリアの水平方向及び鉛直方向の角度、及び、物体検出装置1からの距離から、反射点の3次元位置が特定される。反射点の3次元位置は分割エリアごとに特定されるため、測距エリア全体で検出された反射点の群である点群の3次元位置が特定される。つまり、レーザ光を反射した物体について、その3次元位置と、3次元空間における水平方向及び鉛直方向のサイズと、が特定される。なお、後述するクラスタリング等の処理のため、反射点の3次元位置は、X,Y,Zの座標値に変換される。
As described above, the incident light includes reflected light and ambient light. The reflected light reflected by the object from the laser beam emitted by the
環境光は、反射光が検出されない期間における受光波形として検出される。例えば、レーザ光の反射光を検出するために設定されている期間が経過した後の受光波形が環境光として検出されてもよい。上述のように、受光部3は、各分割エリアからの入射光の光量を検出することから、受光された環境光に基づき、横500画素、縦100画素の解像度かつ多階調のグレースケール画像が環境光画像として生成される。つまり、環境光画像は、車両の前方をカメラで撮影した場合と同様の画像となる。加えて、点群における各反射点の角度位置と、環境光画像における各画素の位置とは1対1で対応することから、環境光画像を画像解析して認識される物体と、点群において認識される物体と、の対応関係が高い精度で特定可能となる。なお、環境光画像は、後述する画像生成部61で生成される。
The ambient light is detected as a received light waveform during the period when the reflected light is not detected. For example, the received light waveform after the period set for detecting the reflected light of the laser light has elapsed may be detected as the ambient light. As described above, since the
記憶部4は、種別情報と、距離閾値と、サイズ閾値と、を記憶している。
種別情報とは、検出対象とする物体の種別のことである。検出対象とする物体には、歩行者、先行車両などの、運転者が運転時に注目すべき物体が含まれる。
The
The type information is the type of the object to be detected. The object to be detected includes an object that the driver should pay attention to when driving, such as a pedestrian and a preceding vehicle.
距離閾値とは、検出対象とする物体を検出し得る距離範囲の目安として物体の種別ごとに設定されている閾値のことである。例えば、物体検出装置1の性能、走行環境等の要因により、所定距離以上離れた位置に歩行者を検出できる可能性が極めて低い場合、当該所定距離が歩行者についての距離閾値として設定される。なお、使用される距離閾値が走行環境等に応じて変更されてもよい。
The distance threshold value is a threshold value set for each type of object as a guideline for a distance range in which an object to be detected can be detected. For example, when it is extremely unlikely that a pedestrian can be detected at a position separated by a predetermined distance or more due to factors such as the performance of the
サイズ閾値とは、検出対象とする物体の適正なサイズの目安として物体の種別ごとに設定されている閾値のことである。例えば、歩行者の可能性がある高さ及び幅の範囲であって、当該範囲を超える場合は歩行者である可能性が極めて低い高さ及び幅の範囲それぞれの上限値が、歩行者についてのサイズ閾値として設定される。下限値を設定しないことにより、例えば、歩行者の上半身のみしか撮像されていない場合などであっても、歩行者であるとの判定が可能となる。 The size threshold value is a threshold value set for each type of object as a guideline for an appropriate size of the object to be detected. For example, the upper limit of each height and width range that is likely to be a pedestrian and is extremely unlikely to be a pedestrian if it exceeds that range is for a pedestrian. Set as a size threshold. By not setting the lower limit value, it is possible to determine that the person is a pedestrian, for example, even when only the upper body of the pedestrian is imaged.
処理部5は、図示しないCPU、ROM、RAM、フラッシュメモリ等を有する周知のマイクロコンピュータを中心に構成される。CPUは、非遷移的実体的記録媒体であるROMに格納されたプログラムを実行する。当該プログラムが実行されることで、当該プログラムに対応する方法が実行される。具体的には、処理部5は当該プログラムに従い、後述する図6及び図7に示す物体検出処理を実行する。なお、処理部5は、1つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
The
処理部5は、CPUがプログラムを実行することで実現される機能ブロック、すなわち、仮想的な構成要素として、点群生成部51と、クラスタ生成部52と、識別部53と、物体検出部54と、切替部55と、画像生成部61と、を備える。処理部5に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。
The
点群生成部51は、受光波形に基づき点群を生成する。点群とは、測距エリア全体で検出された反射点の群である。反射点とは、照射部2によるレーザ光が反射した点を表すものであって、上述した分割エリアごとに取得される。1つの分割エリアに対応づけられる受光素子の数を変更することで、当該点群において、点群解像度を切り替えることが可能である。点群解像度とは、点群を構成する複数の反射点を検出する単位(すなわち分割エリア)の数である。
The point
クラスタ生成部52は、点群生成部51により生成された点群をクラスタリングすることにより、複数のクラスタを生成する。
画像生成部61は、環境光画像と、距離画像と、反射強度画像と、を生成する。距離画像とは、照射部2により照射されたレーザ光が物体で反射した反射点までの距離を画素ごとに表した画像である。反射強度画像とは、照射部2により照射されたレーザ光が物体で反射した反射光を受光部3が受光する強度を画素ごとに表した画像である。各画像は、解像度を切り替え可能である。
The
The
識別部53は、環境光画像を解析し、検出対象とする物体であると識別された部分である画像物標を環境光画像において検出する。つまり、識別部53は、記憶部4に記憶されている種別情報と合致する物体を環境光画像から検出する。画像物標を検出する方法としては、例えば、Deep Learning、機械学習などが用いられる。
The
物体検出部54は、点群において、識別部53により検出された画像物標に対応するクラスタを検出する。画像物標に対応するクラスタの検出については、後に詳述する。
切替部55は、切替処理として解像度を切り替える。鉛直方向における解像度については、受光部3において、1画素に使用する受光素子の数を減らし、鉛直方向における画素数を増やすことで、解像度は高くなる。物体検出装置1は、複数の受光素子のうち第1の個数の受光素子を1画素とする第1の解像度と、複数の受光素子のうち第1の個数よりも数が少ない第2の個数の受光素子を1画素とする第2の解像度と、に切り替え可能に構成されている。本実施形態では、物体検出装置1は、横6個×縦4個の計24個の受光素子を1画素とするデフォルトの解像度と、横6個×縦2個の計12個の受光素子を1画素とする高水準の解像度と、に切り替え可能に構成されている。一方、水平方向における解像度については、照射部2において、レーザ光を走査する間隔を狭くし、水平方向における画素数を増やすことで、解像度は高くなる。本実施形態では、高水準の解像度の場合、横1000画素、縦200画素の解像度の画像が環境光画像として生成される。また、本実施形態では、点群解像度は上述した画像の解像度と一致するように設定される。具体的には、高水準の場合は、水平方向に1000個、鉛直方向に200個の分割エリアにおいて検出された反射点の群として点群が生成される。
The
The switching
ここで、図2及び図3を用いて、壁と歩行者とが近接している場面を例にとって説明する。図2の環境光画像において、壁21と分離して歩行者22が画像物標として検出された場合でも、図3の点群においては、壁23と歩行者24とが区別されず1つのクラスタとして検出されてしまうことがある。ここで、物体の単位で区別されるべき複数のクラスタが1つのクラスタに結合している状態を、クラスタが過結合しているという。
Here, with reference to FIGS. 2 and 3, a scene in which a wall and a pedestrian are close to each other will be described as an example. In the ambient light image of FIG. 2, even when the pedestrian 22 is detected as an image target separately from the
また、図4及び図5を用いて、ミキサー車を例にとって説明する。図4に示すように、環境光画像においてミキサー車25が画像物標として検出された場合でも、図5の点群においては、ミキサー車が車体における前方の部分26とタンクの部分27とで2つのクラスタとして検出されてしまうことがある。ここで、物体の単位で区別されるべき1つのクラスタが複数のクラスタに分割されている状態を、クラスタが過分割しているという。
Further, a mixer truck will be described as an example with reference to FIGS. 4 and 5. As shown in FIG. 4, even when the
つまり、図2〜図5に示す場面では、環境光画像において物体を正しい単位で検出することができたとしても、点群においては物体を正しい単位で検出することが難しい場合がある。 That is, in the scenes shown in FIGS. 2 to 5, even if the object can be detected in the correct unit in the ambient light image, it may be difficult to detect the object in the correct unit in the point cloud.
逆に、点群において物体を正しい単位で検出することができたとしても、環境光画像においては物体を正しい単位で検出することが難しい場合もある。例えば、環境光画像において、まだらな模様を有する壁の一部や、路面にペイントされた矢印などが、歩行者を示す画像物標として検出されることがある。 On the contrary, even if the object can be detected in the correct unit in the point cloud, it may be difficult to detect the object in the correct unit in the ambient light image. For example, in an ambient light image, a part of a wall having a mottled pattern, an arrow painted on a road surface, or the like may be detected as an image target indicating a pedestrian.
そこで、本実施形態の物体検出装置1は、環境光画像と点群との両方を利用することによって物体の検出精度を向上させる物体検出処理を実行する。
[2.処理]
物体検出装置1の処理部5が実行する物体検出処理について、図6及び図7のフローチャートを用いて説明する。物体検出処理は、測距エリア全体の測距が完了する度に実行される。なお、物体検出処理の開始時には、解像度はデフォルトの解像度に設定されている。なお、本処理の説明において、単に解像度というときは、画像の解像度と点群の点群解像度との両方を含む。
Therefore, the
[2. process]
The object detection process executed by the
まず、S101で、処理部5は、点群を生成する。なお、S101が、点群生成部51としての処理に相当する。
続いて、S102で、処理部5は、点群をクラスタリングすることにより複数のクラスタを生成する。生成された各クラスタは、初期値として種別情報をもたない。なお、S102が、クラスタ生成部52としての処理に相当する。
First, in S101, the
Subsequently, in S102, the
続いて、S103で、処理部5は、環境光画像から画像物標を検出する。画像物標が検出されることにより、当該画像物標の種別も認識される。環境光画像に検出対象とする物体が複数存在する場合、処理部5は、環境光画像から複数の画像物標を検出する。以降の処理は、画像物標ごとに実行される。なお、S102でクラスタが生成されたにもかかわらず、S103で画像物標が検出されなかった場合、処理部5は、S112へ移行し生成された各クラスタを物体として検出した後、図6の物体検出処理を終了する。このとき、生成された各クラスタは種別情報をもたない物体として検出される。なお、S103が、識別部53としての処理に相当する。
Subsequently, in S103, the
続いて、S104で、処理部5は、画像物標対応クラスタを検出する。具体的には、まず処理部5は、環境光画像においてS103で検出された画像物標を矩形で囲む。加えて処理部5は、点群を各反射点の角度位置の情報を有する2次元平面とみなして、点群においてS102で生成された複数のクラスタをそれぞれ矩形で囲む。次に処理部5は、画像物標の矩形と重複するクラスタの矩形を検出し、当該クラスタを画像物標対応クラスタとして検出する。ここで、画像物標の矩形と重複するクラスタの矩形が複数存在する場合、画像物標の矩形との重複率が最大のクラスタの矩形を検出し、当該クラスタを画像物標対応クラスタとして検出する。つまり、処理部5は、画像物標とクラスタとの対応付けを実施する。なお、画像物標の矩形と重複するクラスタの矩形が存在しない場合、画像物標を無効とし、図6の物体検出処理を終了する。
Subsequently, in S104, the
続いて、S105で、処理部5は、画像物標が示す物体までの距離が適切であるか否かを判定する。具体的には、処理部5は、画像物標が示す物体までの距離が距離閾値以内である場合、当該距離が適切であると判定する。物体までの距離が適切であるか否かの判定は、環境光画像のみでは実施できないが、反射点までの距離の情報をもつ点群を用いることで可能となる。つまり、画像物標とクラスタとが対応付けられているため、例えば画像物標対応クラスタの中心点と物体検出装置1との距離を、画像物標と物体検出装置1との距離として用いることができる。なお以下の説明において、画像物標対応クラスタの画素又は画素数とは、点群を構成する複数の反射点を検出する単位である分割エリア又は分割エリアの数を意味する。
Subsequently, in S105, the
処理部5は、S105で、画像物標が示す物体までの距離が適切であると判定した場合には、S106へ移行し、画像物標が示す物体のサイズが適切であるか否かを判定する。具体的には、処理部5は、画像物標が示す物体のサイズがサイズ閾値に収まる場合、当該サイズが適切であると判定する。物体のサイズが適切であるか否かの判定は、環境光画像のみでは実施できないが、反射点の3次元位置の情報をもつ点群を用いることで可能となる。画像物標が示す物体のサイズは、画像物標に対応する点群における部分に基づいて推定される。画像物標に対応する点群における部分とは、点群における、画像物標の各画素の位置に対応する角度位置の部分である。例えば、画像物標の画素数よりも画像物標対応クラスタの画素数の方が多い場合、画像物標対応クラスタのうち、画像物標に対応する点群における部分のサイズが、画像物標が示す物体のサイズと推定される。また例えば、画像物標の画素数よりも画像物標対応クラスタの画素数の方が少ない場合、画像物標対応クラスタの画素数に対する画像物標の画素数の比率を画像物標対応クラスタに乗じたクラスタのサイズが、画像物標が示す物体のサイズと推定される。
When the
処理部5は、S106で、画像物標が示す物体のサイズが適切であると判定した場合には、S107へ移行し、画像物標の画素数と、画像物標対応クラスタの画素数と、が同等であるか否かを判定する。具体的には、処理部5は、画像物標対応クラスタにおける画素数から画像物標における画素数を引いた差分が、所定の画素数の範囲を示す画素数閾値における上限値以下及び下限値以上に収まる場合、画像物標の画素数と、画像物標対応クラスタの画素数と、が同等であると判定する。例えば画素数閾値が、プラスマイナス10画素の範囲を示す場合、上限値はプラス10、下限値はマイナス10を示す。
When the
処理部5は、S107で、画像物標の画素数と、画像物標対応クラスタの画素数と、が同等でないと判定した場合には、S108へ移行し、クラスタが過結合しているか否かを判定する。クラスタが過結合しているか否かは、画像物標に対応する点群における部分に、画像物標に対応する点群における部分と比較してサイズが大きなクラスタである過結合クラスタが存在するか否かによって判定される。例えば、画像物標対応クラスタにおける画素数から画像物標における画素数を引いた差分が、画素数閾値における上限値よりも大きい場合、過結合クラスタが存在すると判定する。過結合クラスタが存在する場合、処理部5は、クラスタが過結合していると判定する。
When the
処理部5は、S108でクラスタが過結合していると判定した場合には、S109へ移行し、切替処理を実施済みであるか否かを判定する。本実施形態では、処理部5は、解像度を切り替え済みであるか否かを判定する。なお、解像度を切り替える処理は、後述するS110又はS115において実行される。
When the
処理部5は、S109で解像度を切り替え済みでないと判定した場合には、S110へ移行し、切替処理を実施、つまり解像度を高水準の解像度に切り替えた後、S101に戻る。つまり、処理部5は、画像及び点群の解像度がより高い状態で、再びS101〜S108における処理を実行する。
When the
一方、処理部5は、S109で解像度を切り替え済みであると判定した場合には、S111へ移行する。つまり、処理部5は、画像及び点群の解像度がより高い状態で、再びS101〜S108における処理を実行し、なおもクラスタが過結合していると判定した場合、S111へ移行する。
On the other hand, when the
処理部5は、S111で過結合クラスタを分割する。処理部5は、過結合クラスタのうち画像物標に対応する部分である対象クラスタと、過結合クラスタのうち画像物標に対応する部分を除いた部分である隣接クラスタと、の最短距離が、対象クラスタにおける隣り合う2点間の距離の中で最大となる距離よりも大きくなり、かつ、隣接クラスタにおける隣り合う2点間の距離の中で最大となる距離よりも大きくなる、ように過結合クラスタを分割する。なお、処理部5は、過結合クラスタのうち画像物標に対応する部分をそのまま分割して1つのクラスタとしてもよい。
The
続いて、処理部5は、S112で画像物標に対応する点群における部分のクラスタを物体として検出する。つまり、処理部5は、S108でクラスタが過結合していると判定し、S111で過結合クラスタを分割した場合、過結合クラスタのうち画像物標に対応する部分のクラスタを、種別情報をもつ物体として検出する。加えて、処理部5は、S112で、過結合クラスタから分割した隣接クラスタを、種別情報をもたない物体として検出する。その後、処理部5は、図6の物体検出処理を終了する。
Subsequently, the
一方、処理部5は、S108で、クラスタが過結合していないと判定した場合には、S113へ移行し、クラスタが過分割しているか否かを判定する。クラスタが過分割しているか否かは、画像物標に対応する点群における部分に2以上のクラスタが存在するか否かによって判定される。具体的には、画像物標対応クラスタにおける画素数から画像物標における画素数を引いた差分が、画素数閾値における下限値よりも小さく、かつ、画像物標に対応する点群における部分に画像物標対応クラスタ以外にも1以上のクラスタが存在する場合、処理部5は、クラスタが過分割していると判定する。
On the other hand, when the
処理部5は、S113でクラスタが過分割していると判定した場合には、S114へ移行し、切替処理を実施済みであるか否かを判定する。本実施形態では、処理部5は、解像度を切り替え済みであるか否かを判定する。
When the
処理部5は、S114で解像度を切り替え済みでないと判定した場合には、S115へ移行し、切替処理を実施、つまり解像度を高水準の解像度に切り替えた後、S101に戻る。つまり、処理部5は、画像及び点群の解像度がより高い状態で、再びS101〜S108,S113における処理を実行する。なお、S110,S115が、切替部55としての処理に相当する。
When the
一方、処理部5は、S114で解像度を切り替え済みであると判定した場合には、S116へ移行する。つまり、処理部5は、画像及び点群の解像度がより高い状態で、再びS101〜S108,S113における処理を実行し、なおもクラスタが過分割していると判定した場合、S116へ移行する。
On the other hand, when the
処理部5は、S116で画像物標に対応する点群における部分に存在する2以上のクラスタを結合した後、S112へ移行する。つまり、処理部5は、S116で2以上のクラスタを結合した場合、結合後のクラスタを種別情報をもつ物体として検出する。処理部5は、その後、図6の物体検出処理を終了する。
The
処理部5は、S113でクラスタが過分割していないと判定した場合には、S112へ移行し、画像物標対応クラスタを物体として検出した後、図6の物体検出処理を終了する。このとき、画像物標対応クラスタは種別情報をもたない物体として検出される。なお、処理部5は、S113でクラスタが過分割していないと判定した場合であっても、S104で、画像物標の矩形と重複するクラスタの矩形が複数存在した場合は、画像物標の矩形との重複率が次に最大のクラスタを画像物標対応クラスタとして、S105以降の処理を繰り返す。
When the
一方、処理部5は、S107で、画像物標対応クラスタのサイズが適切であると判定した場合には、S112へ移行し、画像物標に対応する点群における部分のクラスタとして画像物標対応クラスタを種別情報をもつ物体として検出した後、図6の物体検出処理を終了する。これは、画像物標対応クラスタにおける画素数が、画像物標における画素数とほぼ同等であり、画像物標対応クラスタが過分割も過結合もしていないことを表す。つまり、画像物標が示す物体も、画像物標に対応する点群における部分のクラスタも、正しい単位で検出されていることを表す。
On the other hand, when the
一方、処理部5は、S106で、画像物標が示す物体のサイズが適切でないと判定した場合には、物標画像を無効とする。また処理部5は、S112へ移行し画像物標対応クラスタを物体として検出した後、図6の物体検出処理を終了する。このとき、画像物標対応クラスタは種別情報をもたない物体として検出される。
On the other hand, when the
また、処理部5は、S105で、画像物標が示す物体までの距離が適切でないと判定した場合にも、物標画像を無効とする。また処理部5は、S112へ移行し画像物標対応クラスタを物体として検出した後、図6の物体検出処理を終了する。このとき、画像物標対応クラスタは種別情報をもたない物体として検出される。なお、S104〜S108,S111〜S113,S116が、物体検出部54としての処理に相当する。
Further, the
[3.効果]
以上詳述した実施形態によれば、以下の効果が得られる。
(3a)物体検出装置1は、点群と環境光画像とに基づいて、所定の物体を検出する。このような構成によれば、環境光画像を利用せずに点群において所定の物体を検出する場合と比較して、点群において物体の種別や単位を識別しやすい。また、前回生成されたクラスタと、今回生成されたクラスタと、の一致度を計算し物体を検出する場合と比較して、初回の測距時にも2回目以降の測距時と同等の精度で物体を検出することができる。よって、物体検出装置1によれば、より高精度に物体を正しい単位で検出することができる。
[3. effect]
According to the embodiment described in detail above, the following effects can be obtained.
(3a) The
(3b)物体検出装置1は、点群をクラスタリングすることにより生成された複数のクラスタのうち2以上のクラスタが画像物標に対応する点群における部分に存在すると判定した場合、当該2以上のクラスタを1つの物体として検出する。このような構成によれば、点群においてクラスタが過分割している場合でも、物体検出装置1は、物体を正しい単位で検出することができる。
(3b) When the
(3c)物体検出装置1は、点群をクラスタリングすることにより生成された複数のクラスタのうち画像物標に対応する点群における部分と比較してサイズが大きな過結合クラスタが画像物標に対応する点群における部分に存在していると判定した場合、当該過結合クラスタのうち画像物標に対応する部分を物体として検出する。このような構成によれば、点群においてクラスタが過結合している場合でも、物体検出装置1は、物体を正しい単位で検出することができる。
(3c) In the
(3d)物体検出装置1は、過結合クラスタのうち画像物標に対応する部分である対象クラスタと、過結合クラスタのうち画像物標に対応する部分を除いた部分である隣接クラスタと、の最短距離が、対象クラスタおける隣り合う2点間の距離の中で最大となる距離よりも大きくなり、かつ、隣接クラスタにおける隣り合う2点間の距離の中で最大となる距離よりも大きくなる、ように過結合クラスタを分割する。このような構成によれば、過結合クラスタのうち画像物標に対応する部分をそのまま分割して1つのクラスタとする場合と比較して、物体検出装置1は、物体を正しい単位で検出することができる。
(3d) The
(3e)物体検出装置1は、画像物標が示す物体の種別に応じて、物体のサイズが、あらかじめ設定されたサイズの範囲内であると判定した場合、画像物標に対応する点群における部分を物体として検出する。つまり、物体検出装置1は、物体の種別ごとに想定されるサイズに基づき、物体の確からしさを検証している。このとき、物体検出装置1は、環境光画像を用いて物体の種別を識別し、点群を用いて物体のサイズを算出する。環境光画像のみでなく点群を組み合わせることによって、物体検出装置1は、物体の種別の誤識別を生じにくくすることができる。
(3e) When the
(3f)物体検出装置1は、画像物標が示す物体の種別に応じて、物体までの距離が、あらかじめ設定された距離の範囲内であると判定した場合、画像物標に対応する点群における部分を物体として検出する。つまり、物体検出装置1は、物体の種別ごとに想定される存在位置に基づき、物体の確からしさを検証している。このとき、物体検出装置1は、環境光画像を用いて物体の種別を識別し、点群を用いて物体までの距離を算出する。環境光画像のみでなく点群を組み合わせることによって、物体検出装置1は、物体の種別の誤識別を生じにくくすることができる。
(3f) When the
(3g)物体検出装置1では、受光部3が、複数の受光素子を有し、複数の受光素子のうち第1の個数の受光素子を1画素とする第1の解像度と、複数の受光素子のうち第1の個数よりも数が少ない第2の個数の受光素子を1画素とする第2の解像度と、に切り替え可能である。このような構成によれば、解像度を第1の解像度と第2の解像度とに切り替え可能でない場合と比較して、物体検出装置1は、より高精度に物体を検出することができる。
(3g) In the
なお、本実施形態では、点群生成部51、クラスタ生成部52、識別部53及び物体検出部54が検出部としての処理に相当する。
[4.第2実施形態]
[4−1.第1実施形態との相違点]
第2実施形態は、基本的な構成及び処理は第1実施形態と同様であるため、共通する構成及び処理については説明を省略し、相違点を中心に説明する。
In the present embodiment, the point
[4. Second Embodiment]
[4-1. Differences from the first embodiment]
Since the basic configuration and processing of the second embodiment are the same as those of the first embodiment, the common configuration and processing will be omitted and the differences will be mainly described.
第1実施形態では、物体検出処理のS103で、環境光画像のみから画像物標を検出した。一方、第2実施形態では、環境光画像、距離画像及び反射強度画像のそれぞれから画像物標を検出する。また、第2実施形態では、外部の明るさに応じて、点群、環境光画像、距離画像及び反射強度画像の解像度を切り替える。 In the first embodiment, the image target is detected only from the ambient light image in S103 of the object detection process. On the other hand, in the second embodiment, the image target is detected from each of the ambient light image, the distance image, and the reflection intensity image. Further, in the second embodiment, the resolutions of the point cloud, the ambient light image, the distance image, and the reflection intensity image are switched according to the external brightness.
[4−2.処理]
第2実施形態の物体検出装置1の処理部5が実行する物体検出処理について、図8のフローチャートを用いて説明する。
[4-2. process]
The object detection process executed by the
S201で、処理部5は、外部の明るさが所定の閾値よりも明るいか否かを判定する。例えば、処理部5は、環境光の強度が、所定の閾値以上であった場合、外部が明るいと判定する。
In S201, the
S202で、処理部5は、外部の明るさに応じた点群解像度の点群を生成する。具体的には、処理部5は、S201で外部の明るさが所定の閾値よりも明るいと判定した場合、S201で外部の明るさが所定の閾値よりも明るくないと判定された場合よりも、点群解像度が相対的に低い点群を生成する。一方、処理部5は、S201で外部の明るさが所定の閾値よりも明るくないと判定した場合、点群解像度が相対的に高い点群を生成する。点群解像度は、S203で生成される距離画像及び反射強度画像の解像度と一致する。
In S202, the
続いて、S102で、処理部5は、点群をクラスタリングすることにより複数のクラスタを生成する。
続いて、S203で、処理部5は、外部の明るさに応じた解像度の画像を生成する。具体的には、処理部5は、S201で外部の明るさが所定の閾値よりも明るいと判定した場合、S201で外部の明るさが所定の閾値よりも明るくないと判定された場合よりも、解像度が相対的に高い環境光画像を生成し、解像度が相対的に低い距離画像及び反射強度画像を生成する。一方、処理部5は、S201で外部の明るさが所定の閾値よりも明るくないと判定した場合、解像度が相対的に低い環境光画像を生成し、解像度が相対的に高い距離画像及び反射強度画像を生成する。
Subsequently, in S102, the
Subsequently, in S203, the
また、S203で、処理部5は、環境光画像、距離画像及び反射強度画像のそれぞれから画像物標を検出し、画像物標を統合する。統合とは、3種類の画像を用いて検出された画像物標に基づいて、S203に続いて行われる処理で使用される1つの画像物標を生成することである。例えば、処理部5は、3種類の画像のうち、いずれかの画像から画像物標が検出された場合、画像物標として採用する。なお、画像物標を統合する方法はこれに限定されるものではない。例えば、3種類の画像のうち、いずれか1つの画像のみから検出された画像物標については、画像物標として採用しなくてもよい。すなわち、この場合には、画像物標は検出されなかったものとして処理が進む。また、例えば、3種類の画像のうち、いずれか2つの画像のみから検出された画像物標については、画像物標として採用しなくてもよい。また、3種類の画像において異なる画像物標が検出されたときは、予め画像ごとに定められた優先度に基づいて画像物標を決定したり、2つの画像で検出された画像物標を統合された画像物標としてもよい。このS203の後、処理がS104に進む。S104〜S106の処理は、図6にて示したS104〜S106の処理と同様である。
Further, in S203, the
処理部5は、S106で、画像物標が示す物体のサイズが適切であると判定した場合には、S204へ移行し、画像物標の画素数と、画像物標対応クラスタの画素数と、が対応しているか否かを判定する。
When the
上述した第1実施形態のS107では、画像物標と画像物標対応クラスタのサイズを比較するために、画像物標対応クラスタと画像物標との画素数を比較した。しかしながら第2実施形態では、点群解像度と画像の解像度が異なる場合があるため、単純な比較ができない。そこで、S202にて生成した点群の点群解像度と、S203にて生成した画像の解像度と、に基づき、点群解像度と画像の解像度との比率を求める。例えば、もし仮に画像の解像度が横500画素、縦200画素であり、点群解像度が横1000画素、縦200画素であれば、画像の1画素の面積は、点群の1画素の面積の2倍である。この場合、画像物標の画素数に対して、画像物標対応クラスタの画素数が2倍であれば、測距エリアにおける同一範囲の広さであると言える。このようにして上述した比率を求め、その比率を考慮した上で、画像物標のサイズと、画像物標対応クラスタのサイズと、が同等であるか否かを求める。なお、上記の手法は一例であり、画像物標対応クラスタと画像物標との画素数が異なる場合にそれらのサイズを比較可能な様々な手法をとり得る。 In S107 of the first embodiment described above, in order to compare the sizes of the image target and the image target compatible cluster, the number of pixels of the image target compatible cluster and the image target is compared. However, in the second embodiment, the point cloud resolution and the image resolution may be different, so that a simple comparison cannot be made. Therefore, the ratio of the point cloud resolution to the image resolution is obtained based on the point cloud resolution of the point cloud generated in S202 and the resolution of the image generated in S203. For example, if the resolution of the image is 500 pixels in the horizontal direction and 200 pixels in the vertical direction, and the resolution of the point group is 1000 pixels in the horizontal direction and 200 pixels in the vertical direction, the area of one pixel of the image is 2 of the area of one pixel of the point group. It is double. In this case, if the number of pixels of the image target corresponding cluster is twice as large as the number of pixels of the image target, it can be said that the area has the same range in the distance measuring area. In this way, the above-mentioned ratio is obtained, and after considering the ratio, it is determined whether or not the size of the image target and the size of the cluster corresponding to the image target are equivalent. The above method is an example, and when the number of pixels of the image target cluster and the image target are different, various methods capable of comparing their sizes can be adopted.
処理部5は、S204で、画像物標の画素数と、画像物標対応クラスタの画素数と、が対応していないと判定した場合には、S108へ移行する。一方、画像物標の画素数と、画像物標対応クラスタの画素数と、が対応していると判定した場合には、S112へ移行する。S108以降の処理は、図7にて示したS108〜S116の処理と同様であるため、説明を割愛する。
When the
[4−3.効果]
以上詳述した第2実施形態によれば、以下の効果が得られる。
(4a)物体検出装置1は、外部の明るさが明るいと判定した場合、外部の明るさが明るくないと判定した場合と比較して相対的に解像度の高い環境光画像と、相対的に解像度の低い距離画像及び反射強度画像と、に基づいて物体を検出する。このような構成によれば、環境光画像においては、高解像度の環境光画像から画像物標が検出されるため、画像認識精度が高くなる。また、距離画像及び反射強度画像においては、SNが向上するため、検知距離が延びる傾向にある。よって、より遠方まで物体の検出が可能となる。なお、SNとは、信号とノイズの比のことである。
[4-3. effect]
According to the second embodiment described in detail above, the following effects can be obtained.
(4a) When the
(4b)物体検出装置1は、外部の明るさが明るくないと判定した場合、外部の明るさが明るいと判定した場合と比較して相対的に解像度の低い環境光画像と、相対的に解像度の高い距離画像及び反射強度画像と、に基づいて物体を検出する。このような構成によれば、そもそも外部が明るくない場合の環境光画像の信頼度は低いため、環境光画像の解像度を低くしても信頼度に影響を与えにくい。よって、処理負荷を抑制しつつ環境光画像を生成することができる。また、距離画像及び反射強度画像においては、環境光の強度が低い場合にはノイズが少なくなるので、検知距離が長くなる傾向にある。よって、解像度を高くしても検知距離が下がるのを抑制できる。
(4b) When the
(4c)物体検出装置1において、点群解像度は、距離画像及び反射強度画像の解像度と一致する。このような構成によれば、点群における各反射点の角度位置と、距離画像及び反射強度画像における各画素の位置とは1対1で対応することから、距離画像及び反射強度画像を画像解析して認識される物体と、点群において認識される物体と、の対応がとりやすくなる。
(4c) In the
(4d)物体検出装置1において、処理部5は、S202で外部の明るさに応じた点群解像度の点群を生成し、S203で外部の明るさに応じた解像度の画像を生成した。加えて、処理部5は、S108でクラスタが過結合していると判定した場合、S110で高水準の点群解像度及び解像度に切り替えた。処理部5は、S113でクラスタが過分割していると判定した場合にも、S115で高水準の点群解像度及び解像度に切り替えた。このような構成によれば、第1実施形態と同様に、より高精度に物体を検出することができる。
(4d) In the
なお、本実施形態では、S201が判定部としての処理に相当する。
[4−4.第2実施形態の変形例]
(i)上記実施形態では、環境光画像、距離画像及び反射強度画像の3種類の画像に基づいて物体が検出された。しかし、用いられる画像の種類の数はこれに限定されるものではない。例えば、環境光画像、距離画像及び反射強度画像のうち少なくとも1種類が用いられてもよい。また、環境光画像と、距離画像及び反射強度画像のうち少なくとも一方と、が用いられてもよい。
In this embodiment, S201 corresponds to the processing as the determination unit.
[4-4. Modification example of the second embodiment]
(I) In the above embodiment, the object is detected based on three types of images: an ambient light image, a distance image, and a reflection intensity image. However, the number of image types used is not limited to this. For example, at least one of an ambient light image, a distance image, and a reflection intensity image may be used. Further, an ambient light image and at least one of a distance image and a reflection intensity image may be used.
(ii)上記実施形態では、外部の明るさが明るいと判定された場合、外部の明るさが明るくないと判定された場合と比較して環境光画像の解像度は相対的に高く、点群の点群解像度は相対的に低かった。また、外部の明るさが明るくないと判定された場合、外部の明るさが明るいと判定された場合と比較して環境光画像の解像度は相対的に低く、点群の点群解像度は相対的に高かった。つまり、点群の点群解像度が相対的に低いときには、環境光画像の解像度は相対的に高く、点群の点群解像度が相対的に高いときには、環境光画像の解像度は相対的に低く設定された。しかし、点群解像度と解像度との設定の方法はこれに限定されるものではない。例えば、点群の点群解像度を一定にしたまま、環境光画像の解像度を高く又は低く切り替えてもよいし、環境光画像の解像度を一定にしたまま、点群の点群解像度を高く又は低く切り替えてもよい。また、例えば、点群の点群解像度が低いときに、環境光画像の解像度も低くなるように切り替えてもよいし、点群の点群解像度が高いときに、環境光画像の解像度も高くなるように切り替えてもよい。 (Ii) In the above embodiment, when it is determined that the external brightness is bright, the resolution of the ambient light image is relatively high as compared with the case where it is determined that the external brightness is not bright, and the point cloud The point cloud resolution was relatively low. Further, when it is determined that the external brightness is not bright, the resolution of the ambient light image is relatively low as compared with the case where the external brightness is determined to be bright, and the point cloud resolution of the point cloud is relative. It was expensive. That is, when the point cloud resolution of the point cloud is relatively low, the resolution of the ambient light image is relatively high, and when the point cloud resolution of the point cloud is relatively high, the resolution of the ambient light image is set relatively low. Was done. However, the method of setting the point cloud resolution and the resolution is not limited to this. For example, the resolution of the ambient light image may be switched between high and low while keeping the point cloud resolution of the point cloud constant, and the point cloud resolution of the point cloud may be set high or low while keeping the resolution of the ambient light image constant. You may switch. Further, for example, when the point cloud resolution of the point cloud is low, the resolution of the ambient light image may be switched to be low, and when the point cloud resolution of the point cloud is high, the resolution of the ambient light image is also high. You may switch as follows.
また、距離画像及び反射強度画像についても同様に、例えば、点群の点群解像度を一定にしたまま、距離画像及び反射強度画像の解像度を高く又は低く切り替えてもよいし、距離画像及び反射強度画像の解像度を一定にしたまま、点群の点群解像度を高く又は低く切り替えてもよい。また、例えば、点群の点群解像度が低いときに、距離画像及び反射強度画像の解像度も低くなるように切り替えてもよいし、点群の点群解像度が高いときに、距離画像及び反射強度画像の解像度も高くなるように切り替えてもよい。
このような構成によれば、点群の点群解像度と画像の解像度とを、それぞれ独立して適切な値に設定できる。
Similarly, for the distance image and the reflection intensity image, for example, the resolution of the distance image and the reflection intensity image may be switched to high or low while keeping the point group resolution of the point group constant, or the distance image and the reflection intensity may be switched to high or low. The point group resolution of the point group may be switched between high and low while keeping the image resolution constant. Further, for example, when the point group resolution of the point group is low, the resolution of the distance image and the reflection intensity image may be switched to be low, or when the point group resolution of the point group is high, the distance image and the reflection intensity may be low. You may switch so that the resolution of the image is also high.
According to such a configuration, the point cloud resolution of the point cloud and the image resolution can be independently set to appropriate values.
(iii)上記実施形態では、環境光画像と、距離画像及び反射強度画像とは解像度が異なっていた。すなわち、第3の解像度を有する環境光画像と、第3の解像度とは異なる第4の解像度を有する距離画像及び反射強度画像と、に基づいて物体が検出された。しかし、環境光画像と、距離画像及び反射強度画像との解像度は一致していてもよい。このような構成によれば、それぞれの画像から検出された画像物標の対応がとりやすくなる。 (Iii) In the above embodiment, the resolution of the ambient light image is different from that of the distance image and the reflection intensity image. That is, the object was detected based on the ambient light image having the third resolution and the distance image and the reflection intensity image having the fourth resolution different from the third resolution. However, the resolutions of the ambient light image and the distance image and the reflection intensity image may be the same. According to such a configuration, it becomes easy to correspond to the image target detected from each image.
(iv)上記実施形態では、点群解像度は、距離画像及び反射強度画像の解像度と一致していた。しかし、点群の解像度は、距離画像及び反射強度画像の解像度と一致していなくてもよいし、距離画像及び反射強度画像のうちの一方の解像度とのみ一致していてもよい。 (Iv) In the above embodiment, the point cloud resolution was consistent with the resolution of the distance image and the reflection intensity image. However, the resolution of the point group may not match the resolution of the distance image and the reflection intensity image, or may match only the resolution of one of the distance image and the reflection intensity image.
(v)上記実施形態では、外部の明るさに応じた解像度の点群及び画像を生成した。しかし、点群及び画像は、外部の明るさ以外の要件により解像度が設定されてもよい。例えば、時刻、ヘッドライトの点灯の有無、走行する道路の属性などに応じて解像度が設定される構成であってもよい。 (V) In the above embodiment, a point cloud and an image having a resolution corresponding to the external brightness are generated. However, the resolution of the point cloud and the image may be set according to the requirements other than the external brightness. For example, the resolution may be set according to the time, whether or not the headlights are turned on, the attributes of the road on which the vehicle travels, and the like.
(vi)上記実施形態では、環境光の強度に基づき、外部の明るさを判定した。しかし、外部の明るさの判定の方法はこれに限定されるものではない。例えば、照度センサが用いられてもよい。 (Vi) In the above embodiment, the external brightness is determined based on the intensity of the ambient light. However, the method of determining the external brightness is not limited to this. For example, an illuminance sensor may be used.
(vii)上記実施形態では、処理部5は、S107からS111、及びS113〜S116の処理によって、クラスタが過結合している場合には分割し、クラスタが過分割している場合には結合した。しかし、処理部5は、上述したクラスタの分割や結合をおこなわなくてもよい。例えば、図9に示すように、処理部5は、S104で画像物標対応クラスタを検出した後、S205で、画像物標が示す物体までの距離が適切かを判定する。具体的には、処理部5は、図6のS105と同様に判定する。
(Vii) In the above embodiment, the
続いて、S206で、処理部5は、画像物標が示す物体のサイズが適切かを判定する。具体的には、処理部5は、図6のS106と同様に判定する。
続いて、S207で、処理部5は、物体を検出する。このとき、S205で画像物標が示す物体までの距離が適切であると判定され、かつ、S206で画像物標が示す物体のサイズが適切であると判定された場合、画像物標対応クラスタは、種別情報をもつ物体として検出される。その後、処理部5は、図9の物体検出処理を終了する。
Subsequently, in S206, the
Subsequently, in S207, the
一方、S207で、S205で画像物標が示す物体までの距離が適切でないと判定され、又は、S206で画像物標が示す物体のサイズが適切でないと判定された場合、画像物標対応クラスタは、種別情報をもたない物体として検出される。その後、処理部5は、図9の物体検出処理を終了する。
On the other hand, in S207, when it is determined in S205 that the distance to the object indicated by the image target is not appropriate, or in S206, it is determined that the size of the object indicated by the image target is not appropriate, the image target compatible cluster is determined. , Detected as an object without type information. After that, the
また、図7に戻り、例えば、処理部5は、S108でクラスタが過結合しているかを判定した後、S109,S110の処理をスキップしてもよい。また、処理部5は、S113でクラスタが過分割しているかを判定した後、S114,S115の処理をスキップしてもよい。つまり、処理部5は、切替処理を実施することなく、クラスタを分割又は結合し、種別情報をもつ物体として検出してもよい。
Further, returning to FIG. 7, for example, the
[5.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
[5. Other embodiments]
Although the embodiments of the present disclosure have been described above, it goes without saying that the present disclosure is not limited to the above-described embodiments and can take various forms.
(5a)上記実施形態では、受光素子としてSPADを備える構成を例示した。しかし、入射光の光量の時間的変化を検出できれば、どのような受光素子が用いられてもよい。 (5a) In the above embodiment, a configuration including SPAD as a light receiving element is illustrated. However, any light receiving element may be used as long as it can detect a temporal change in the amount of incident light.
(5b)上記実施形態では、環境光画像が用いられる構成を例示した。しかし、用いられる画像の種類はこれに限定されるものではない。例えば、環境光画像に加えて又は代えて、距離画像及び反射強度画像の少なくとも一方が用いられてもよい。なお、距離画像も反射強度画像も、分割エリアの数に応じて生成されることから、点群における各反射点の角度位置と、距離画像及び反射強度画像における各画素の位置とは1対1で対応する。これにより、距離画像及び反射強度画像を画像解析して認識される物体と、点群において認識される物体と、の対応関係が高い精度で特定可能となる。 (5b) In the above embodiment, a configuration in which an ambient light image is used is illustrated. However, the types of images used are not limited to this. For example, at least one of a distance image and a reflection intensity image may be used in addition to or in place of the ambient light image. Since both the distance image and the reflection intensity image are generated according to the number of divided areas, the angular position of each reflection point in the point cloud and the position of each pixel in the distance image and the reflection intensity image are 1: 1. Correspond with. As a result, the correspondence between the object recognized by image analysis of the distance image and the reflection intensity image and the object recognized in the point cloud can be specified with high accuracy.
ここで、環境光画像を用いた場合、晴れた日中などには検出性能が高いが、夜間やトンネル内などでは検出性能が下がることがある。一方、距離画像及び反射強度画像を用いた場合、これとは逆の特性をもつ。よって、物体検出装置1は、これらの画像を併用することで、より高精度に物体を正しい単位で検出することができる。
Here, when an ambient light image is used, the detection performance is high during sunny days, but the detection performance may decrease at night or in a tunnel. On the other hand, when a distance image and a reflection intensity image are used, they have the opposite characteristics. Therefore, the
(5c)上記実施形態では、過分割又は過結合の疑いがある場合、解像度を切り替えた後、測距エリア全体において再び測距が実行された。しかし、再び測距が実行される範囲はこれに限定されるものではない。物体検出装置1は、測距エリアにおける一部の範囲、例えば過結合や過分割が疑われる範囲に限って再び測距を実行してもよい。これにより、解像度の切り替えが不要な範囲で物体が過剰に検出されることを抑制し、検出タイミングが遅くなるのを防ぎやすくすることができる。
(5c) In the above embodiment, when there is a suspicion of over-division or over-coupling, after switching the resolution, distance measurement is performed again in the entire distance measurement area. However, the range in which distance measurement is performed again is not limited to this. The
(5d)上記実施形態では、1画素あたりの受光素子の個数を切り替えることによって解像度を第1の解像度と第2の解像度とに切り替える構成を例示した。しかし物体検出装置1は、測距エリアの範囲を切り替えることによって解像度を切り替えてもよい。具体的には、照射部2により照射されるレーザ光の水平方向における角度範囲を切り替える。例えば物体検出装置1は、分割エリアの数は変えずに、角度範囲を−60°〜+60°から−20°〜+20°に切り替える。分割エリアの数は変えずに角度範囲を狭くすると、当該角度範囲における分割エリアの数が相対的に多くなり、解像度は相対的に高くなる。よって、より詳細な点群を生成することができる。また、環境光画像においても、画素数を変えずに3分の1の範囲を表現するので、解像度は相対的に高くなる。
(5d) In the above embodiment, a configuration in which the resolution is switched between the first resolution and the second resolution by switching the number of light receiving elements per pixel is illustrated. However, the
また、物体検出装置1は、切替処理として、解像度を切り替えることに加えて又は代えて、各分割エリアに対してレーザ光を照射する回数を、第1の照射回数から、第1の照射回数よりも多い第2の照射回数に切り替えることによってSNを向上させてもよい。レーザ光を照射する回数とは、測距エリアにおける測距を一巡する間に分割エリアのそれぞれに対して物体検出装置1がレーザ光を照射する各回数のことである。なお、上記実施形態では、第1の照射回数として1回が設定されており、各分割エリアに対してレーザ光が1回ずつ照射されていた。このような構成によれば、例えば図5のように、ミキサー車が車体における前方の部分26とタンクの部分27とで2つのクラスタとして検出されてしまうような場合にも、物体検出装置1は、SNを高くすることで前方の部分26とタンクの部分27とをつなぐ車体における部分も検出しやすくなる。これにより、物体検出装置1は、ミキサー車を2つのクラスタではなく1つのクラスタとして検出することができるようになる。
Further, as a switching process, the
なお、上記実施形態では、測距エリア全体がレーザ光を照射する対象の範囲と設定されていたが、各分割エリアに対してレーザ光を照射する回数を増やすと、検出周期が長くなり、物体を検出するタイミングが遅れることが考えられる。そこで、物体検出装置1は、第1の照射回数から第2の照射回数に切り替えるのを、測距エリアにおける一部の範囲、例えば過結合や過分割が疑われる範囲に限ってもよい。これにより、物体検出装置1は、物体を検出するタイミングが遅れるのを抑制しつつ、より高精度に物体を正しい単位で検出することができる。
In the above embodiment, the entire ranging area is set as the range to be irradiated with the laser beam, but if the number of times the laser beam is irradiated to each divided area is increased, the detection cycle becomes longer and the object It is possible that the timing of detecting is delayed. Therefore, the
(5e)上記実施形態では、サイズ閾値として、上限値のみが設定された構成を例示した。しかし、サイズ閾値として、上限値に加えて又は代えて下限値を設定してもよい。
(5f)上記実施形態では、画像物標対応クラスタの画素数が画像物標の画素数と比較して、所定の画素数以上多い場合、過結合クラスタが存在すると判定した。しかし、例えば、画像物標に対応する点群における部分に存在するクラスタを構成するすべての反射点の点数である全体点数と、画像物標に対応する部分の反射点の点数である部分点数と、を比較することによって、過結合クラスタが存在するか否かを判定してもよい。また例えば、全体点数を部分点数で割った値が、1よりも大きい所定値以上である場合、過結合クラスタが存在すると判定してもよい。
(5e) In the above embodiment, a configuration in which only an upper limit value is set as a size threshold value is illustrated. However, as the size threshold value, a lower limit value may be set in addition to or in place of the upper limit value.
(5f) In the above embodiment, when the number of pixels of the image target corresponding cluster is larger than the predetermined number of pixels as compared with the number of pixels of the image target, it is determined that the overcoupled cluster exists. However, for example, the total score, which is the score of all the reflection points constituting the cluster existing in the part of the point cloud corresponding to the image target, and the partial score, which is the score of the reflection points of the portion corresponding to the image target. , And whether or not an overbound cluster exists may be determined by comparing. Further, for example, when the value obtained by dividing the total score by the partial score is greater than or equal to a predetermined value greater than 1, it may be determined that an overbound cluster exists.
(5g)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。 (5g) The functions of one component in the above embodiment may be dispersed as a plurality of components, or the functions of the plurality of components may be integrated into one component. Further, a part of the configuration of the above embodiment may be omitted. Further, at least a part of the configuration of the above embodiment may be added or replaced with the configuration of the other embodiment.
1…物体検出装置、2…照射部、3…受光部、51…点群生成部、52…クラスタ生成部、53…識別部、54…物体検出部。 1 ... Object detection device, 2 ... Irradiation unit, 3 ... Light receiving unit, 51 ... Point cloud generation unit, 52 ... Cluster generation unit, 53 ... Identification unit, 54 ... Object detection unit.
Claims (16)
前記照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成された受光部(3)と、
前記反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成された検出部(51〜54)と、
を備え、
前記点群は、測距エリア全体で検出された反射点の群であり、
前記画像は、前記環境光に基づく画像である環境光画像、前記反射光に基づき検出される前記物体までの距離に基づく画像である距離画像及び前記反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも1つである、物体検出装置。 An irradiation unit (2) configured to irradiate a predetermined ranging area with light,
A light receiving unit (3) configured to receive the reflected light, which is the light reflected by the light emitted by the irradiation unit, and the ambient light.
A detection unit (51 to 54) configured to detect a predetermined object based on a point cloud which is information based on the reflected light, an image, and the like.
With
The point cloud is a group of reflection points detected in the entire ranging area.
The image is an ambient light image which is an image based on the ambient light, a distance image which is an image based on the distance to the object detected based on the reflected light, and a reflection intensity which is an image based on the reflection intensity of the reflected light. An object detector, which is at least one of the images.
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより生成された複数のクラスタのうち2以上のクラスタが前記画像物標に対応する前記点群における部分に存在すると判定した場合、前記2以上のクラスタを1つの前記物体として検出する、物体検出装置。 The object detection device according to claim 1.
The detection unit detects an image target which is a portion identified as the object in the image, and two or more clusters out of a plurality of clusters generated by clustering the point cloud are the image object. An object detection device that detects two or more clusters as one object when it is determined that the object exists in a portion of the point cloud corresponding to the target.
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより生成された複数のクラスタのうち前記画像物標に対応する前記点群における部分と比較してサイズが大きな過結合クラスタが前記画像物標に対応する前記点群における部分に存在していると判定した場合、前記過結合クラスタのうち前記画像物標に対応する部分を分離して前記物体として検出する、物体検出装置。 The object detection device according to claim 1 or 2.
The detection unit detects an image target which is a portion identified as the object in the image, and among a plurality of clusters generated by clustering the point cloud, the detection unit corresponds to the image target. When it is determined that an overbound cluster having a larger size than the portion in the point cloud exists in the portion in the point group corresponding to the image target, it corresponds to the image target among the overbound clusters. An object detection device that separates parts and detects them as the object.
前記過結合クラスタのうち前記画像物標に対応する部分である対象クラスタと、前記過結合クラスタのうち前記画像物標に対応する部分を除いた部分である隣接クラスタと、の最短距離が、前記対象クラスタにおける隣り合う2点間の距離の中で最大となる距離よりも大きくなり、かつ、隣接クラスタにおける隣り合う2点間の距離の中で最大となる距離よりも大きくなるように前記過結合クラスタを分割する、物体検出装置。 The object detection device according to claim 3.
The shortest distance between the target cluster, which is the portion of the over-coupled cluster corresponding to the image target, and the adjacent cluster, which is the portion of the over-coupled cluster excluding the portion corresponding to the image target, is the said. The overcoupling is greater than the maximum distance between two adjacent points in the target cluster and greater than the maximum distance between two adjacent points in the adjacent cluster. An object detector that divides a cluster.
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記画像物標が示す前記物体の種別に応じて、前記物体のサイズが、あらかじめ設定されたサイズの範囲内であると判定した場合、前記画像物標に対応する前記点群における部分を前記物体として検出する、物体検出装置。 The object detection device according to any one of claims 1 to 4.
The detection unit detects an image target which is a portion identified as the object in the image, and the size of the object is preset according to the type of the object indicated by the image target. An object detection device that detects a portion of the point group corresponding to the image target as the object when it is determined that the size is within the range.
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記画像物標が示す前記物体の種別に応じて、前記物体までの距離が、あらかじめ設定された距離の範囲内であると判定した場合、前記画像物標に対応する前記点群における部分を前記物体として検出する、物体検出装置。 The object detection device according to any one of claims 1 to 5.
The detection unit detects an image target which is a portion identified as the object in the image, and the distance to the object is preset according to the type of the object indicated by the image target. An object detection device that detects a portion of the point group corresponding to the image target as the object when it is determined that the distance is within the range of the distance.
前記検出部は、第1の解像度の前記画像と、前記点群を構成する複数の前記反射点を検出する単位の数を示す第1の点群解像度の前記点群と、に基づいて前記物体を検出可能であるとともに、前記第1の解像度よりも高い第2の解像度の前記画像と、前記第1の点群解像度よりも高い第2の点群解像度の前記点群と、に基づいて前記物体を検出可能である、物体検出装置。 The object detection device according to any one of claims 1 to 6.
The detection unit is based on the image having the first resolution and the point group having the resolution of the first point group indicating the number of units for detecting the plurality of reflection points constituting the point group. Based on the image having a second resolution higher than the first resolution and the point group having a second point group resolution higher than the first point group resolution. An object detection device that can detect an object.
前記受光部は、複数の受光素子を有し、
前記検出部は、前記複数の受光素子のうち第1の個数の受光素子を1画素とする前記第1の解像度と、前記複数の受光素子のうち前記第1の個数よりも数が少ない第2の個数の受光素子を1画素とする前記第2の解像度と、に切り替え可能である、物体検出装置。 The object detection device according to claim 7.
The light receiving unit has a plurality of light receiving elements and has a plurality of light receiving elements.
The detection unit has the first resolution in which the first number of light receiving elements among the plurality of light receiving elements is one pixel, and the second detection unit has a smaller number than the first number of the plurality of light receiving elements. An object detection device capable of switching to the second resolution in which the number of light receiving elements is one pixel.
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより複数のクラスタを生成し、
前記検出部は、前記複数のクラスタのうち2以上のクラスタが前記画像物標に対応する前記点群における部分に存在すると判定された場合、又は、前記複数のクラスタのうち前記画像物標に対応する前記点群における部分と比較してサイズが大きな結合クラスタが前記画像物標に対応する前記点群における部分に存在していると判定された場合、前記画像の解像度を前記第1の解像度から前記第2の解像度に切り替え、前記画像物標を検出し、前記点群の点群解像度を前記第1の点群解像度から前記第2の点群解像度に切り替え、前記点群をクラスタリングする、物体検出装置。 The object detection device according to claim 7 or 8.
The detection unit detects an image target, which is a portion identified as the object in the image, and clusters the point cloud to generate a plurality of clusters.
The detection unit corresponds to the case where it is determined that two or more clusters out of the plurality of clusters exist in the part of the point cloud corresponding to the image target, or the detection unit corresponds to the image target among the plurality of clusters. When it is determined that a connected cluster having a larger size than the portion in the point cloud is present in the portion in the point cloud corresponding to the image target, the resolution of the image is derived from the first resolution. An object that switches to the second resolution, detects the image target, switches the point cloud resolution of the point cloud from the first point cloud resolution to the second point cloud resolution, and clusters the point cloud. Detection device.
前記照射部は、前記測距エリアにおける少なくとも一部の範囲に光を照射する回数を、第1の照射回数と、前記第1の照射回数よりも多い第2の照射回数と、に切り替え可能である、物体検出装置。 The object detection device according to any one of claims 1 to 9.
The irradiation unit can switch the number of times of irradiating light to at least a part of the range-finding area between the first irradiation number and the second irradiation number more than the first irradiation number. There is an object detector.
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより複数のクラスタを生成し、
前記照射部は、前記複数のクラスタのうち2以上のクラスタが前記画像物標に対応する前記点群における部分に存在すると判定された場合、又は、前記複数のクラスタのうち前記画像物標に対応する前記点群における部分と比較してサイズが大きな過結合クラスタが前記画像物標に対応する前記点群における部分に存在していると判定された場合、前記第1の照射回数から前記第2の照射回数に切り替え、
前記検出部は、光を照射する回数が前記第1の照射回数から前記第2の照射回数に切り替えられた場合、前記第2の照射回数において、前記画像物標を検出し、前記点群をクラスタリングする、物体検出装置。 The object detection device according to claim 10.
The detection unit detects an image target, which is a portion identified as the object in the image, and clusters the point cloud to generate a plurality of clusters.
The irradiation unit corresponds to the case where it is determined that two or more clusters out of the plurality of clusters are present in the part of the point cloud corresponding to the image target, or the irradiation unit corresponds to the image target among the plurality of clusters. When it is determined that an overbound cluster having a larger size than the portion in the point cloud is present in the portion in the point cloud corresponding to the image target, the second irradiation count is used. Switch to the number of irradiations,
When the number of times of irradiating light is switched from the first number of times of irradiation to the second number of times of irradiation, the detection unit detects the image target at the second number of times of irradiation and displays the point cloud. An object detector that clusters.
前記検出部は、前記点群と、前記点群を構成する複数の前記反射点を検出する単位の数を示す点群解像度とは異なる解像度の前記画像と、に基づいて前記物体を検出可能である、物体検出装置。 The object detection device according to any one of claims 1 to 11.
The detection unit can detect the object based on the point cloud and the image having a resolution different from the point cloud resolution indicating the number of units for detecting the plurality of reflection points constituting the point cloud. There is an object detector.
前記検出部は、前記点群と、前記点群の前記点群解像度とは異なる解像度の前記環境光画像と、に基づいて前記物体を検出可能である、物体検出装置。 The object detection device according to claim 12.
The detection unit is an object detection device capable of detecting the object based on the point cloud and the ambient light image having a resolution different from the point cloud resolution of the point cloud.
前記検出部は、第3の解像度を有する前記環境光画像と、前記第3の解像度とは異なる第4の解像度を有する前記距離画像及び前記反射強度画像のうちの少なくとも1つと、に基づいて前記物体を検出可能である、物体検出装置。 The object detection device according to any one of claims 1 to 13.
The detection unit is based on the ambient light image having a third resolution and at least one of the distance image and the reflection intensity image having a fourth resolution different from the third resolution. An object detection device that can detect an object.
前記点群を構成する複数の前記反射点を検出する単位の数を示す点群解像度は、前記距離画像及び前記反射強度画像のうちの少なくとも1つの解像度と一致する、物体検出装置。 The object detection device according to claim 14.
An object detection device whose point cloud resolution indicating the number of units for detecting a plurality of the reflection points constituting the point cloud matches the resolution of at least one of the distance image and the reflection intensity image.
外部の明るさを判定する明るさ判定部を更に備え、
前記検出部は、前記明るさ判定部により外部の明るさが所定の閾値よりも明るいと判定された場合、外部の明るさが前記所定の閾値よりも明るくないと判定された場合と比較して相対的に解像度の高い前記環境光画像と、相対的に解像度の低い前記距離画像及び前記反射強度画像のうちの少なくとも1つと、に基づいて前記物体を検出する、物体検出装置。 The object detection device according to claim 14 or 15.
Further equipped with a brightness determination unit that determines the external brightness,
When the detection unit determines that the external brightness is brighter than the predetermined threshold value by the brightness determination unit, the detection unit is compared with the case where the external brightness is determined not to be brighter than the predetermined threshold value. An object detection device that detects the object based on the ambient light image having a relatively high resolution, and at least one of the distance image and the reflection intensity image having a relatively low resolution.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/005722 WO2021166912A1 (en) | 2020-02-18 | 2021-02-16 | Object detection device |
CN202180015257.2A CN115176175A (en) | 2020-02-18 | 2021-02-16 | Object detection device |
US17/820,505 US20220392194A1 (en) | 2020-02-18 | 2022-08-17 | Object detection device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020025300 | 2020-02-18 | ||
JP2020025300 | 2020-02-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021131385A true JP2021131385A (en) | 2021-09-09 |
JP7501398B2 JP7501398B2 (en) | 2024-06-18 |
Family
ID=77550869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021018327A Active JP7501398B2 (en) | 2020-02-18 | 2021-02-08 | Object detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7501398B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7532569B2 (en) | 2022-02-09 | 2024-08-13 | 42ドット・インコーポレイテッド | Method and apparatus for determining pedestrian location |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4232167B1 (en) | 2007-08-27 | 2009-03-04 | 三菱電機株式会社 | Object identification device, object identification method, and object identification program |
JP2011247872A (en) | 2010-04-27 | 2011-12-08 | Denso Corp | Distance measurement device, distance measurement method, and distance measurement program |
KR101907081B1 (en) | 2011-08-22 | 2018-10-11 | 삼성전자주식회사 | Method for separating object in three dimension point clouds |
CN110325818B (en) | 2017-03-17 | 2021-11-26 | 本田技研工业株式会社 | Joint 3D object detection and orientation estimation via multimodal fusion |
US20210341612A1 (en) | 2018-03-28 | 2021-11-04 | Nec Corporation | Monitoring control device, monitoring system, monitoring control method, and non-transitory computer-readable medium with program stored therein |
EP3779880A4 (en) | 2018-03-30 | 2021-05-26 | NEC Solution Innovators, Ltd. | Object identification device, object identification method, and non-temporary computer readable medium storing control program |
CN109100741B (en) | 2018-06-11 | 2020-11-20 | 长安大学 | Target detection method based on 3D laser radar and image data |
CN109345510A (en) | 2018-09-07 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | Object detecting method, device, equipment, storage medium and vehicle |
WO2020179065A1 (en) | 2019-03-07 | 2020-09-10 | 日本電気株式会社 | Image processing device, image processing method, and recording medium |
JP7420038B2 (en) | 2019-10-16 | 2024-01-23 | 株式会社デンソー | In-vehicle abnormality detection device |
-
2021
- 2021-02-08 JP JP2021018327A patent/JP7501398B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7532569B2 (en) | 2022-02-09 | 2024-08-13 | 42ドット・インコーポレイテッド | Method and apparatus for determining pedestrian location |
Also Published As
Publication number | Publication date |
---|---|
JP7501398B2 (en) | 2024-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10832064B2 (en) | Vacant parking space detection apparatus and vacant parking space detection method | |
JP6851985B2 (en) | Vehicle and vehicle image acquisition method equipped with vehicle image acquisition device, control device, vehicle image acquisition device or control device | |
JP6863342B2 (en) | Optical ranging device | |
JP7095640B2 (en) | Object detector | |
US8422737B2 (en) | Device and method for measuring a parking space | |
US20220011440A1 (en) | Ranging device | |
JP6358552B2 (en) | Image recognition apparatus and image recognition method | |
US9506859B2 (en) | Method and device for determining a visual range in daytime fog | |
CN103987575A (en) | Method and device for identifying a braking situation | |
JP2012226513A (en) | Detection device and detection method | |
JP2007114831A (en) | Object detection device | |
JP2007248146A (en) | Radar device | |
CN114930192A (en) | Infrared imaging assembly | |
JP2021131385A (en) | Object detector | |
JP2020160044A (en) | Distance measuring device and distance measuring method | |
WO2021166912A1 (en) | Object detection device | |
US20230194666A1 (en) | Object Reflectivity Estimation in a LIDAR System | |
US20220299614A1 (en) | Object detection apparatus and control method of object detection apparatus | |
JP2019007744A (en) | Object sensing device, program, and object sensing system | |
JP5310162B2 (en) | Vehicle lighting judgment device | |
JP2004325202A (en) | Laser radar system | |
JP2021103101A (en) | Object detector | |
WO2023181948A1 (en) | Noise eliminating device, object detecting device, and noise eliminating method | |
WO2023047886A1 (en) | Vehicle detection device, vehicle detection method, and vehicle detection program | |
US12135394B2 (en) | Gating camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211220 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7501398 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |