JP2023094057A - Information processor, control method, program, and storage medium - Google Patents
Information processor, control method, program, and storage medium Download PDFInfo
- Publication number
- JP2023094057A JP2023094057A JP2021209284A JP2021209284A JP2023094057A JP 2023094057 A JP2023094057 A JP 2023094057A JP 2021209284 A JP2021209284 A JP 2021209284A JP 2021209284 A JP2021209284 A JP 2021209284A JP 2023094057 A JP2023094057 A JP 2023094057A
- Authority
- JP
- Japan
- Prior art keywords
- point
- noise
- information processing
- points
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本開示は、計測したデータを処理する技術に関する。 The present disclosure relates to technology for processing measured data.
従来から、計測対象物に光を照射して該計測対象物からの反射光を検出し、該計測対象物に光を照射するタイミングと、該計測対象物からの反射光を検出するタイミングとの時間差により計測対象物までの距離を算出する測距装置が知られている。例えば、特許文献1には、ライダにより得られる点群データが示す各被計測点において時間的又は空間的な安定性に基づきノイズにより生成されたノイズ点を判定するノイズ判定手法が開示されている。 Conventionally, an object to be measured is irradiated with light and reflected light from the object is detected, and the timing of irradiating the object with light and the timing of detecting the reflected light from the object are determined. A distance measuring device is known that calculates the distance to an object to be measured based on the time difference. For example, Patent Document 1 discloses a noise determination method for determining noise points generated by noise based on temporal or spatial stability at each point to be measured indicated by point cloud data obtained by a lidar. .
ノイズにより生成されるノイズ点は、およそ一定の確率で測距され、物体を表す物体点は、距離が遠くなる程、測距確率が低くなる傾向がある。そして、遠方に物体が有る場合や、元々反射強度の低い物体は、物体点の測距確率が低下し、ノイズ点と物体点の判別が困難になる。 A noise point generated by noise is ranged with approximately a certain probability, and an object point representing an object tends to have a lower ranged probability as the distance increases. If there is an object in the distance or if the reflection intensity of the object is originally low, the distance measurement probability of the object point decreases, making it difficult to distinguish between noise points and object points.
本発明の解決しようとする課題としては、上記のものが一例として挙げられる。本開示は、ノイズにより生成されたノイズ点を計算量を抑制しつつ的確に判定することが可能な情報処理装置、制御方法、プログラム及びプログラムを記憶した記憶媒体を提供することを主な目的とする。 Examples of the problems to be solved by the present invention include the above. A main object of the present disclosure is to provide an information processing device, a control method, a program, and a storage medium storing the program that can accurately determine noise points generated by noise while suppressing the amount of calculation. do.
請求項に記載の発明は、
計測装置が計測方向ごとに計測した点を表すデータの集合である点群データを取得する取得手段と、
現処理時刻において取得された前記データの各々が表す対象点が物体の被計測点である物体点であるか又はノイズにより生成されたノイズ点であるかを、当該対象点を基準として設定した探索範囲内に存在する参照点のデータに基づき評価する評価関数に基づき、前記対象点に対する評価値を算出する評価値算出手段と、を有し、
前記評価値算出手段は、前記対象点の計測方向における、前記現処理時刻の前の処理時刻での前記物体点の粗密に基づき、前記探索範囲を決定する、
情報処理装置である。
The claimed invention is
Acquisition means for acquiring point cloud data, which is a set of data representing points measured by the measuring device in each measurement direction;
A search that sets whether a target point represented by each of the data acquired at the current processing time is an object point that is a point to be measured of an object or a noise point generated by noise, using the target point as a reference. evaluation value calculation means for calculating an evaluation value for the target point based on an evaluation function that evaluates based on data of reference points existing within the range;
The evaluation value calculation means determines the search range based on the density of the object point at a processing time before the current processing time in the measurement direction of the target point.
It is an information processing device.
また、請求項に記載の発明は、
情報処理装置が実行する制御方法であって、
計測装置が計測方向ごとに計測した点を表すデータの集合である点群データを取得し、
現処理時刻において取得された前記データの各々が表す対象点が物体の被計測点である物体点であるか又はノイズにより生成されたノイズ点であるかを、当該対象点を基準として設定した探索範囲内に存在する参照点のデータに基づき評価する評価関数に基づき、前記対象点に対する評価値を算出し、
前記対象点の計測方向における、前記現処理時刻の前の処理時刻での前記物体点の粗密に基づき、前記探索範囲を決定する、
制御方法である。
In addition, the invention described in the claims,
A control method executed by an information processing device,
Acquiring point cloud data, which is a set of data representing points measured by the measuring device in each measurement direction,
A search that sets whether a target point represented by each of the data acquired at the current processing time is an object point that is a point to be measured of an object or a noise point generated by noise, using the target point as a reference. calculating an evaluation value for the target point based on an evaluation function that evaluates based on data of reference points existing within the range;
determining the search range based on the density of the object point at a processing time before the current processing time in the measurement direction of the target point;
control method.
また、請求項に記載の発明は、
計測装置が計測方向ごとに計測した点を表すデータの集合である点群データを取得し、
現処理時刻において取得された前記データの各々が表す対象点が物体の被計測点である物体点であるか又はノイズにより生成されたノイズ点であるかを、当該対象点を基準として設定した探索範囲内に存在する参照点のデータに基づき評価する評価関数に基づき、前記対象点に対する評価値を算出し、
前記対象点の計測方向における、前記現処理時刻の前の処理時刻での前記物体点の粗密に基づき、前記探索範囲を決定する処理をコンピュータに実行させるプログラムである。
In addition, the invention described in the claims,
Acquiring point cloud data, which is a set of data representing points measured by the measuring device in each measurement direction,
A search that sets whether a target point represented by each of the data acquired at the current processing time is an object point that is a point to be measured of an object or a noise point generated by noise, using the target point as a reference. calculating an evaluation value for the target point based on an evaluation function that evaluates based on data of reference points existing within the range;
The program causes a computer to execute a process of determining the search range based on the density of the object point at a processing time before the current processing time in the measurement direction of the object point.
本発明の好適な実施形態では、情報処理装置は、計測装置が計測方向ごとに計測した点を表すデータの集合である点群データを取得する取得手段と、現処理時刻において取得された前記データの各々が表す対象点が物体の被計測点である物体点であるか又はノイズにより生成されたノイズ点であるかを、当該対象点を基準として設定した探索範囲内に存在する参照点のデータに基づき評価する評価関数に基づき、前記対象点に対する評価値を算出する評価値算出手段と、を有し、前記評価値算出手段は、前記対象点の計測方向における、前記現処理時刻の前の処理時刻での前記物体点の粗密に基づき、前記探索範囲を決定する。この態様では、情報処理装置は、物体点であるかノイズ点であるかを評価する評価値の算出に要する計算量を削減しつつ、ノイズ点に関する的確な評価を表す評価値を算出することができる。 In a preferred embodiment of the present invention, the information processing device includes acquisition means for acquiring point cloud data, which is a set of data representing points measured by the measuring device in each measurement direction, and the data acquired at the current processing time. Data of reference points existing within the search range set based on the target point to determine whether the target point represented by each is an object point that is a measured point of the object or a noise point generated by noise evaluation value calculation means for calculating an evaluation value for the target point based on an evaluation function that evaluates based on the The search range is determined based on the density of the object points at the processing time. In this aspect, the information processing apparatus can reduce the amount of calculation required to calculate the evaluation value for evaluating whether the object point or the noise point, and can calculate the evaluation value representing the accurate evaluation of the noise point. can.
上記情報処理装置の一態様では、前記評価値算出手段は、前記対象点の計測方向と同一又は近似する計測方向となる前記前の処理時刻の前記被計測点から選定したサンプル点が前記物体点である割合に基づき、前記物体点の粗密を判定する。これにより、情報処理装置は、対象点の計測方向における前の処理時刻での物体点の粗密を的確に判定することができる。 In one aspect of the information processing apparatus, the evaluation value calculation means determines that the sample point selected from the measured points at the previous processing time in the same or similar measurement direction as the measurement direction of the target point is the object point. The coarseness and fineness of the object points are determined based on a certain ratio. Thereby, the information processing device can accurately determine the density of the object points at the previous processing time in the measurement direction of the target point.
上記情報処理装置の他の一態様では、前記評価値算出手段は、前記対象点の計測方向と同一又は、水平方向において一致かつ垂直方向において近似する計測方向、若しくは、垂直方向において一致かつ水平方向において近似する計測方向となる前記前の処理時刻での前記被計測点を、前記サンプル点として選定する。これにより、情報処理装置は、対象点の計測方向における前の処理時刻での物体点の粗密をサンプル点数の増大を抑制しつつ的確に判定することができる。 In another aspect of the information processing apparatus, the evaluation value calculation means may be configured such that the measurement direction is the same as the measurement direction of the target point, or the measurement direction matches the measurement direction in the horizontal direction and approximates the direction in the vertical direction, or the direction matches the measurement direction in the vertical direction and the horizontal direction. selects the point to be measured at the previous processing time, which is the approximate measurement direction in , as the sample point. As a result, the information processing apparatus can accurately determine the density of object points at the previous processing time in the measurement direction of the target point while suppressing an increase in the number of sample points.
上記情報処理装置の他の一態様では、前記評価値算出手段は、前記物体点が密であると判定した場合に、前記物体点が疎であると判定した場合よりも縮小した前記探索範囲を設定する。この態様により、物体点としての信頼度が高いと推定される対象点の場合に評価値算出の計算量を好適に削減することができる。 In another aspect of the information processing apparatus, the evaluation value calculation means, when it is determined that the object points are dense, reduces the search range to a size smaller than that when the object points are determined to be sparse. set. According to this aspect, it is possible to suitably reduce the amount of computation for calculating the evaluation value in the case of the object point estimated to be highly reliable as the object point.
上記情報処理装置の他の一態様では、前記評価値算出手段は、前記粗密と、前記対象点の反射強度値とに基づき、前記探索範囲を決定する。上記情報処理装置の他の一態様では、前記評価値算出手段は、前記粗密に基づき前記探索範囲を決定する処理と、前記対象点の反射強度値に基づき前記探索範囲を決定する処理とを切り替えて実行する。これらの態様によれば、物体点であるかノイズ点であるかを評価する評価値の算出に要する計算量を削減しつつ、ノイズ点に関する的確な評価を表す評価値を算出することができる。 In another aspect of the information processing apparatus, the evaluation value calculation means determines the search range based on the density and the reflection intensity value of the target point. In another aspect of the information processing apparatus, the evaluation value calculation means switches between a process of determining the search range based on the density and a process of determining the search range based on the reflection intensity value of the target point. to run. According to these aspects, it is possible to calculate an evaluation value representing an accurate evaluation of a noise point while reducing the amount of calculation required to calculate an evaluation value for evaluating whether a point is an object point or a noise point.
上記情報処理装置の他の一態様では、前記探索範囲は、前記計測方向に関する空間的範囲と、前記計測装置が計測した計測時刻に関する時間的範囲とを含む。この態様では、情報処理装置は、探索範囲により定まる時空間における近傍点に基づき対象点の評価値を的確に算出することができる。 In another aspect of the information processing device, the search range includes a spatial range related to the measurement direction and a temporal range related to the measurement time measured by the measurement device. In this aspect, the information processing device can accurately calculate the evaluation value of the target point based on the neighboring points in the spatiotemporal space determined by the search range.
上記情報処理装置の他の一態様では、情報処理装置は、前記評価値に基づき、前記点群データにおける前記ノイズ点を判定するノイズ判定手段をさらに有する。情報処理装置は、この態様により、ノイズ点を的確に判定することができる。 In another aspect of the information processing apparatus, the information processing apparatus further includes noise determination means for determining the noise points in the point cloud data based on the evaluation value. With this aspect, the information processing apparatus can accurately determine noise points.
本発明の他の好適な実施形態では、情報処理装置が実行する制御方法であって、計測装置が計測方向ごとに計測した点を表すデータの集合である点群データを取得し、現処理時刻において取得された前記データの各々が表す対象点が物体の被計測点である物体点であるか又はノイズにより生成されたノイズ点であるかを、当該対象点を基準として設定した探索範囲内に存在する参照点のデータに基づき評価する評価関数に基づき、前記対象点に対する評価値を算出し、前記対象点の計測方向における、前記現処理時刻の前の処理時刻での前記物体点の粗密に基づき、前記探索範囲を決定する。情報処理装置は、この制御方法を実行することで、物体点であるかノイズ点であるかを評価する評価値の算出に要する計算量を削減しつつ、ノイズ点に関する的確な評価を表す評価値を算出することができる。 In another preferred embodiment of the present invention, in a control method executed by an information processing device, point cloud data, which is a set of data representing points measured by a measuring device in each measurement direction, is acquired, and current processing time Whether the target point represented by each of the data acquired in is an object point that is a point to be measured of an object or a noise point generated by noise is determined within a search range set with the target point as a reference An evaluation value for the target point is calculated based on an evaluation function that evaluates based on existing reference point data, and the density of the object point at the processing time before the current processing time in the measurement direction of the target point is calculated. Based on this, the search range is determined. By executing this control method, the information processing apparatus can reduce the amount of calculation required to calculate an evaluation value for evaluating whether it is an object point or a noise point, and obtain an evaluation value representing an accurate evaluation of a noise point. can be calculated.
本発明の他の好適な実施形態では、プログラムは、計測装置が計測方向ごとに計測した点を表すデータの集合である点群データを取得し、現処理時刻において取得された前記データの各々が表す対象点が物体の被計測点である物体点であるか又はノイズにより生成されたノイズ点であるかを、当該対象点を基準として設定した探索範囲内に存在する参照点のデータに基づき評価する評価関数に基づき、前記対象点に対する評価値を算出し、前記対象点の計測方向における、前記現処理時刻の前の処理時刻での前記物体点の粗密に基づき、前記探索範囲を決定する処理をコンピュータに実行させる。コンピュータは、このプログラムを実行することで、物体点であるかノイズ点であるかを評価する評価値の算出に要する計算量を削減しつつ、ノイズ点に関する的確な評価を表す評価値を算出することができる。好適には、上記プログラムは、記憶媒体に記憶される。 In another preferred embodiment of the present invention, the program acquires point cloud data, which is a set of data representing points measured by the measuring device in each measurement direction, and each of the data acquired at the current processing time is Evaluate whether the target point to be represented is an object point that is the measured point of the object or a noise point generated by noise based on the data of the reference points that exist within the search range set with the target point as a reference. A process of calculating an evaluation value for the target point based on the evaluation function, and determining the search range based on the density of the object point at the processing time before the current processing time in the measurement direction of the target point. run on the computer. By executing this program, the computer reduces the amount of calculation required to calculate an evaluation value for evaluating whether it is an object point or a noise point, and calculates an evaluation value representing an accurate evaluation of a noise point. be able to. Preferably, the program is stored in a storage medium.
以下、図面を参照して本発明の好適な各実施例について説明する。 Preferred embodiments of the present invention will be described below with reference to the drawings.
<第1実施例>
(1)装置構成
図1は、第1実施例に係るライダ100の概略構成を示す。ライダ100は、例えば、自動運転などの運転支援を行う車両に搭載される。ライダ100は、水平方向および垂直方向の所定の角度範囲に対してレーザ光を照射し、当該レーザ光が物体に反射されて戻った光(「反射光」とも呼ぶ。)を受光することで、ライダ100から物体までの距離を離散的に測定し、当該物体の3次元位置を示す点群情報を生成する。
<First embodiment>
(1) Device configuration
FIG. 1 shows a schematic configuration of a lidar 100 according to the first embodiment. The rider 100 is mounted in a vehicle that supports driving such as automatic driving, for example. The lidar 100 irradiates a laser beam in a predetermined angular range in the horizontal and vertical directions, and receives light (also referred to as “reflected light”) returned by the laser beam reflected by an object. The distance from the lidar 100 to the object is discretely measured, and point cloud information indicating the three-dimensional position of the object is generated.
図1に示すように、ライダ100は、主に、送信部1と、受信部2と、ビームスプリッタ3と、スキャナ5と、ピエゾセンサ6と、制御部7と、メモリ8と、を有する。
As shown in FIG. 1, the lidar 100 mainly includes a transmitter 1, a
送信部1は、パルス状のレーザ光をビームスプリッタ3に向けて出射する光源である。送信部1は、例えば、赤外線レーザ発光素子を含む。送信部1は、制御部7から供給される駆動信号「Sg1」に基づき駆動する。
The transmitter 1 is a light source that emits pulsed laser light toward the
受信部2は、例えばアバランシェフォトダイオード(Avalanche PhotoDiode)であり、受光した光量に対応する検出信号「Sg2」を生成し、生成した検出信号Sg2を制御部7へ供給する。
The receiving
ビームスプリッタ3は、送信部1から出射されるパルス状のレーザ光を透過する。また、ビームスプリッタ3は、スキャナ5によって反射された反射光を、受信部2に向けて反射する。
The
スキャナ5は、例えば静電駆動方式のミラー(MEMSミラー)であり、制御部7から供給される駆動信号「Sg3」に基づき、傾き(即ち光走査の角度)が所定の範囲内で変化する。そして、スキャナ5は、ビームスプリッタ3を透過したレーザ光をライダ100の外部へ向けて反射すると共に、ライダ100の外部から入射する反射光をビームスプリッタ3へ向けて反射する。また、ライダ100の計測範囲内においてレーザ光が照射されることにより計測された点又はその計測データを「被計測点」とも呼ぶ。
The
また、スキャナ5には、ピエゾセンサ6が設けられている。ピエゾセンサ6は、スキャナ5のミラー部を支持するトーションバーの応力により生じる歪みを検出する。ピエゾセンサ6は、生成した検出信号「Sg4」を、制御部7へ供給する。検出信号Sg4は、スキャナ5の向きの検出に用いられる。
Further, the
メモリ8は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。メモリ8は、制御部7が所定の処理を実行するために必要なプログラムを記憶する。また、メモリ8は、制御部7により参照される各種パラメータを記憶する。例えば、メモリ8には、本実施例において用いる評価関数の確率密度関数に関する情報(「確率密度関数情報」とも呼ぶ。)が記憶される。また、メモリ8には、制御部7により生成された最新の所定フレーム数分の点群情報が記憶される。
The
制御部7は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)などの各種プロセッサを含む。制御部7は、メモリ8に記憶されたプログラムを実行することで、所定の処理を実行する。制御部7は、プログラムを実行するコンピュータの一例である。なお、制御部7は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現されてもよい。また、制御部7は、FPGA(field-programmable gate array)又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路であってもよく、ASSP(Application Specific Standard Produce)、ASIC(Application Specific Integrated Circuit)等であってもよい。
The control unit 7 includes various processors such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit). The control unit 7 executes a predetermined process by executing a program stored in the
制御部7は、機能的には、送信駆動ブロック70と、スキャナ駆動ブロック71と、点群情報生成ブロック72と、点群情報処理ブロック73と、を有する。
The control unit 7 functionally includes a
送信駆動ブロック70は、送信部1を駆動する駆動信号Sg1を出力する。駆動信号Sg1は、送信部1に含まれるレーザ発光素子の発光時間と、当該レーザ発光素子の発光強度を制御するための情報を含む。送信駆動ブロック70は、駆動信号Sg1に基づき、送信部1に含まれるレーザ発光素子の発光強度を制御する。
The
スキャナ駆動ブロック71は、スキャナ5を駆動するための駆動信号Sg3を出力する。この駆動信号Sg3は、スキャナ5の共振周波数に対応する水平駆動信号と、垂直走査するための垂直駆動信号と、を含む。また、スキャナ駆動ブロック71は、ピエゾセンサ6から出力される検出信号Sg4を監視することで、スキャナ5の走査角度(すなわちレーザ光の出射方向)を検出する。
A
点群情報生成ブロック72は、受信部2から供給される検出信号Sg2に基づき、ライダ100を基準点として、レーザ光が照射された物体までの距離(計測距離)及び反射光の受光強度(反射強度値)を計測方向(即ちレーザ光の出射方向)ごとに示した点群情報を生成する。この場合、点群情報生成ブロック72は、レーザ光を出射してから受信部2が反射光を検出するまでの時間を、光の飛行時間(Time of Flight)として算出する。そして、点群情報生成ブロック72は、算出した飛行時間に応じた計測距離と、受信部2が受信した反射光に対応するレーザ光の出射方向(即ち計測方向)と、当該反射光に基づく反射強度値との組に対応する点の集合を示す点群情報を生成し、生成した点群情報を点群情報処理ブロック73に供給する。以後では、全被計測点に対する1回分の走査により得られる点群情報を、1フレーム分の点群情報とする。ここで、点群情報は、各計測方向を画素とし、各計測方向での計測距離及び反射強度値を画素値とする画像とみなすことができる。この場合、画素の縦方向の並びにおいて仰俯角におけるレーザ光の出射方向が異なり、画素の横方向の並びにおいて水平角におけるレーザ光の出射方向が異なる。そして、各画素に対し、対応する出射方向及び計測距離の組に基づき、ライダ100を基準とする3次元座標系での座標値が求められる。
Based on the detection signal Sg2 supplied from the
点群情報処理ブロック73は、点群情報において物体を誤検出することで生成されたノイズデータを判定する。以後では、実在する物体を検知することで生成されたデータに対応する被計測点を「物体点」と呼び、物体点以外の被計測点(即ちノイズデータに対応する被計測点)を「ノイズ点」と呼ぶ。点群情報処理ブロック73は、現処理時刻において得られた点群情報のフレーム(「現フレーム」とも呼ぶ。)と、現処理時刻より前の処理時刻において得られた点群情報のフレーム(「過去フレーム」とも呼ぶ。)と、を用いて、現フレームにおけるノイズ点の判定を行う。
The point cloud
なお、点群情報処理ブロック73は、判定したノイズ点に対応するノイズデータを点群情報から削除してもよく、物体点又はノイズ点であるかを被計測点毎に示すフラグ情報を点群情報に付加してもよい。また、点群情報処理ブロック73は、処理後の点群情報を、ライダ100の外部に存在する外部装置へ供給してもよく、障害物検出などを行うライダ100内の他の処理ブロックに供給してもよい。前者の場合、点群情報は、例えば、車両の自動運転などの運転支援を制御する装置(「運転支援装置」とも呼ぶ。)に出力されてもよい。この場合、例えば、点群情報に基づき、障害物点を少なくとも避けるような車両の制御が行われてもよい。運転支援装置は、例えば、車両のECU(Electronic Control Unit)であってもよく、車両と電気的に接続したカーナビゲーション機器などの車載装置であってもよい。また、点群情報処理ブロック73は、フレーム毎の点群情報を、フレーム毎の処理時刻を示す時刻情報と関連付けてメモリ8に記憶する。第1実施例に係る点群情報処理ブロック73は、「評価値算出手段」、「統計量算出手段」、「閾値設定手段」、及び「ノイズ判定手段」の一例である。また、点群情報処理ブロック73を除くライダ100は、「計測装置」の一例である。
Note that the point cloud
なお、ライダ100は、視野範囲に対してレーザ光をスキャンするスキャン型のライダに限らず、2次元アレイ状のセンサの視野範囲にレーザ光を拡散照射することによって3次元データを生成するフラッシュ型のライダであってもよい。 Note that the lidar 100 is not limited to a scanning type lidar that scans a field of view range with a laser beam, but is a flash type that generates three-dimensional data by diffusing a laser beam to the field of view range of a two-dimensional array sensor. may be a rider of
(2)ノイズ判定処理
次に、点群情報処理ブロック73が実行するノイズ点の判定処理であるノイズ判定処理について説明する。概略的には、点群情報処理ブロック73は、現フレームの各被計測点について、時空間において隣接する被計測点との計測方向、計測距離、計測時刻の差分に基づく評価関数を用いた評価値を算出し、当該評価値が閾値未満となる被計測点をノイズ点として判定する。この場合、点群情報処理ブロック73は、上述の閾値を、上記の評価関数の確率密度関数の統計量を用いて決定することで、ノイズの検出率を考慮した的確なノイズ点の判定を行う。そして、ノイズ点であるか、物体点であるかを高精度に判定することにより、遠方の物体についても的確に検出可能な点群情報を生成する。
(2) Noise judgment processing
Next, noise determination processing, which is noise point determination processing executed by the point cloud
以後において、上記の評価関数を「ノイズ評価関数」と呼び、ノイズ評価関数に基づき算出される被計測点ごとの評価値を「ノイズ評価値」と呼ぶ。また、ノイズ評価値の算出対象(即ちノイズ点であるか否かの判定対象)とする被計測点を「対象点」と呼び、対象点以外においてノイズ評価値の算出に用いる現フレーム及び過去フレームの被計測点を「参照点」と呼ぶ。また、ノイズ評価値に対する上述の閾値を「閾値Th」とも呼ぶ。 Hereinafter, the above evaluation function will be referred to as a "noise evaluation function", and an evaluation value for each measured point calculated based on the noise evaluation function will be referred to as a "noise evaluation value". In addition, a point to be measured which is a target for calculating a noise evaluation value (that is, a target for determining whether or not it is a noise point) is called a "target point". is called a "reference point". Further, the above threshold for the noise evaluation value is also called "threshold Th".
(2-1)ノイズ評価関数
まず、ノイズ評価関数について説明する。ノイズ評価関数は、対象点と参照点との計測距離(ユークリッド距離)の差と、対象点と参照点とのフレームの間隔(即ち計測時刻の差)と、対象点と参照点とのフレーム(画像)上での距離(即ち計測方向の差)とを入力とする関数である。以後では、上述の計測距離の差を「距離指標」と呼び、上述のフレームの間隔を「時間指標」と呼び、上述のフレーム上での距離を「空間指標」と呼ぶ。
(2-1) Noise Evaluation Function First, the noise evaluation function will be described. The noise evaluation function consists of the difference in the measurement distance (Euclidean distance) between the target point and the reference point, the frame interval between the target point and the reference point (that is, the difference in measurement time), and the frame between the target point and the reference point ( It is a function that inputs the distance (that is, the difference in the measurement direction) on the image). Hereinafter, the above-described difference in the measured distances will be referred to as the "distance index," the above-described frame interval will be referred to as the "time index," and the above-described distance on the frame will be referred to as the "spatial index."
ここで、本実施例では、ノイズ評価関数の一例として、上述の距離指標、時間指標、空間指標を同列に扱い、夫々の重みを係数(係数a~係数d)により決定することが可能な以下の式(1)を用いる。点群情報処理ブロック73は、対象点ごとに以下の式(1)によりノイズ評価値を算出する。
Here, in this embodiment, as an example of the noise evaluation function, the distance index, the time index, and the space index are treated in the same order, and the respective weights can be determined by coefficients (coefficient a to coefficient d). (1) is used. The point cloud
また、式(1)では、2を底とする指数関数をノイズ評価関数とすることで、微小な値の差を増大してノイズ評価値として表すことが可能となっている。また、ノイズ評価関数の指数部分に「-1」を設けることで、距離指標、時間指標、空間指標が大きいほどノイズ評価値を小さくしている。 In addition, in Equation (1), by using an exponential function with a base of 2 as the noise evaluation function, it is possible to increase the difference between minute values and express it as a noise evaluation value. Also, by providing "-1" to the exponent part of the noise evaluation function, the noise evaluation value is made smaller as the distance index, time index, and space index are larger.
また、式(1)において用いられる水平インデックスh及び垂直インデックスvの値域は、フレーム全体であってもよく、対象点を中心とするフレーム上での所定の範囲(即ち対象点の計測方向を基準とする所定の計測方向の範囲)内に属する値域であってもよい。同様に、式(1)において用いられるtの値域は、得られている全ての過去フレーム及び現フレームの各処理時刻を含む値域に設定されてもよく、直近の所定個数分の過去フレーム及び現フレームの各処理時刻を含む値域(即ち、現処理時刻を基準とする所定の計測時刻の範囲)に設定されてもよい。探索範囲を適切に設定することで、ノイズ点の判定精度を維持しつつ計算負荷を削減することができる。このような探索範囲の設定方法については、第2実施例及び第3実施例において詳しく説明する。 Further, the value range of the horizontal index h and the vertical index v used in equation (1) may be the entire frame, or a predetermined range on the frame centered on the target point (that is, the measurement direction of the target point is the reference It may be a value range belonging to a predetermined measurement direction range). Similarly, the value range of t used in equation (1) may be set to a value range that includes each processing time of all obtained past frames and current frames. It may be set to a value range including each processing time of the frame (that is, a predetermined measurement time range based on the current processing time). By appropriately setting the search range, it is possible to reduce the calculation load while maintaining the noise point determination accuracy. A method for setting such a search range will be described in detail in the second and third embodiments.
式(1)のノイズ評価関数を用いることで、距離指標、時間指標、空間指標を同列に扱い、これらの指標の差を増大させ、かつ、夫々の重みを係数a~係数dにより決定することが可能となる。 By using the noise evaluation function of formula (1), the distance index, the time index, and the spatial index are treated in the same order, the difference between these indices is increased, and the respective weights are determined by the coefficients a to d. becomes possible.
(2-2)確率密度関数に応じた閾値設定
次に、ノイズ評価関数の確率密度関数に応じた閾値Thの設定について具体的に説明する。
(2-2) Threshold Setting According to Probability Density Function Next, the setting of the threshold Th according to the probability density function of the noise evaluation function will be specifically described.
ノイズ点は、一般的に、各計測距離において、一定の確率で測距される。従って、本実施例では、ライダ100の測距可能範囲(視野)内に物体が存在しない状態で点群情報を生成した場合に、各計測距離において、中心極限定理により、ノイズ評価関数の出力値(評価関数値)が正規分布に従うものと仮定する。この場合、ノイズ評価関数の確率密度関数の平均「μ」及び分散「σ」を算出することで、ノイズ検出率に応じた閾値Thを設定することが可能となる。 Noise points are generally measured with a certain probability at each measured distance. Therefore, in the present embodiment, when point group information is generated in a state where there is no object within the measurable range (field of view) of the lidar 100, at each measurement distance, the output value of the noise evaluation function is (Evaluation function value) is assumed to follow a normal distribution. In this case, by calculating the average “μ” and variance “σ” of the probability density function of the noise evaluation function, it is possible to set the threshold Th according to the noise detection rate.
図2は、ノイズ評価関数の確率密度関数を示すグラフである。この場合、ノイズ評価関数の確率密度関数は正規分布に従うものとしてモデル化されている。この場合、一例として、「μ+3σ」を閾値Thとして設定した場合、99.7%のノイズ点を正しくノイズ点であると判定することができる。一方、この場合、0.3%のノイズ点を誤って物体点と判定することになるため、ノイズ検出率は0.3%となる。従って、例えば、ノイズ検出率を0.3%としたい場合には、「μ+3σ」を閾値Thとして設定すればよい。また、任意の目標となるノイズ検出率を定めた場合においても、正規分布の性質に従い、当該ノイズ検出率を実現するための閾値Thを平均μと分散(厳密には標準偏差)σとを用いて設定することが可能である。 FIG. 2 is a graph showing the probability density function of the noise evaluation function. In this case, the probability density function of the noise evaluation function is modeled as following a normal distribution. In this case, as an example, when "μ+3σ" is set as the threshold value Th, 99.7% of noise points can be correctly determined to be noise points. On the other hand, in this case, 0.3% noise points are erroneously determined to be object points, so the noise detection rate is 0.3%. Therefore, for example, when the noise detection rate is desired to be 0.3%, "μ+3σ" may be set as the threshold value Th. In addition, even when an arbitrary target noise detection rate is determined, the threshold Th for realizing the noise detection rate is based on the properties of the normal distribution, using the average μ and the variance (strictly, the standard deviation) σ. It is possible to set
次に、平均μと分散(標準偏差)σの算出方法について補足説明する。 Next, a supplementary explanation will be given on how to calculate the average μ and the variance (standard deviation) σ.
ここで、式(1)に示されるノイズ評価関数のパラメータのうち、確率変数は、点間距離「rdist」(即ち、対象点と参照点との計測距離の差)となる。従って、対象点の計測距離dist[m]にノイズ点が出現した場合に、点間距離rdist[m]以内に点が出現する確率を算出することで、各計測距離における確率密度関数の平均及び分散を算出する。 Here, among the parameters of the noise evaluation function shown in Equation (1), the random variable is the point-to-point distance "rdist" (that is, the difference in the measured distances between the target point and the reference point). Therefore, when a noise point appears at the measurement distance dist[m] of the target point, by calculating the probability that the point appears within the distance rdist[m] between the points, the average of the probability density functions at each measurement distance and Calculate the variance.
ここで、対象点の計測距離distにおける式(1)の確率密度関数「f(x)」の平均「E(X)」(=μ)及び分散「V(X)」(=σ2)を求める。また、参照点の計測距離を「nd」とする。また、ここで、対象点の計測距離distと参照点の計測距離ndとの差を「y」(=rdist=dist-nd)とし、ゲート長を「gate」とする。また、距離yのノイズ点の頻度(出現数)を「hist(dist-nd)」とする。 Here, the average "E(X)" (=μ) and the variance "V(X)" (=σ 2 ) of the probability density function "f(x)" of formula (1) at the measured distance dist of the target point are demand. Also, let the measured distance of the reference point be "nd". Also, let the difference between the measured distance dist of the target point and the measured distance nd of the reference point be "y" (=rdist=dist-nd), and the gate length be "gate". Also, let the frequency (number of appearances) of noise points at distance y be “hist (dist-nd)”.
この場合、以下の式(2)~式(4)が成立する。 In this case, the following formulas (2) to (4) hold.
以上のように、点群情報処理ブロック73は、ライダ100の視野内に物体が存在しない場合に取得された点群情報に基づき、上述の式(2)~式(8)に基づき確率密度関数f(x)の平均E(X)(=μ)及び分散V(X)(=σ2)を求め、これらを確率密度関数情報としてメモリ8等に記憶する。そして、点群情報処理ブロック73は、ノイズ判定処理において、確率密度関数情報を参照することで、所望のノイズ検出率を実現するような閾値Thを好適に設定することができる。
As described above, the point cloud
なお、確率密度関数情報を算出するための点群情報は、ライダ100がノイズ判定処理を行う前に取得した点群情報であってもよく、製品出荷前において予めライダ100又は他の同種のライダにより取得された点群情報であってもよい。前者の場合、ライダ100は、例えば、空などの物体が存在しない方向を向いて上述の点群情報の生成処理を行うことで、物体点を含まない点群情報を生成する。さらに別の例では、初期値として予め取得済みの点群情報を与え、過去フレームの物体点の有無の判別結果を用いて、フレーム中からリアルタイムに物体点が無い走査点を特定し、その走査点の点群情報を確率密度関数情報を算出するために使用しても良い。 Note that the point cloud information for calculating the probability density function information may be the point cloud information acquired before the lidar 100 performs the noise determination process, and the lidar 100 or other lidar of the same type may be used in advance before product shipment. It may be point cloud information acquired by. In the former case, the rider 100 generates point cloud information that does not include object points by performing the above-described point cloud information generation processing while facing a direction such as the sky where no object exists. In yet another example, point cloud information obtained in advance is given as an initial value, and scanning points without object points are identified in real time from frames using the determination result of the presence or absence of object points in past frames. Point cloud information of points may be used to calculate probability density function information.
(3)処理フロー
図3は、ライダ100が実行する点群情報に関する処理(点群情報処理)の手順を示すフローチャートの一例である。
(3) Processing flow
FIG. 3 is an example of a flowchart showing a procedure of processing (point cloud information processing) related to point cloud information executed by the rider 100 .
まず、点群情報処理ブロック73は、確率密度関数情報を取得する(ステップS01)。この場合、点群情報処理ブロック73は、ノイズ評価関数の確率密度関数の平均μ及び分散(標準偏差)σを表す確率密度関数を、メモリ8から取得する。なお、点群情報処理ブロック73は、ライダ100の視野内に物体が存在しないときの点群情報を取得し、当該点群情報に基づき確率密度関数情報を生成する処理をステップS01において行ってもよい。
First, the point cloud
次に、点群情報処理ブロック73は、確率密度関数情報に基づき、ノイズ評価値に対する閾値Thを設定する(ステップS02)。この場合、点群情報処理ブロック73は、確率密度関数情報に含まれる平均μ及び分散(標準偏差)σを用いて、所望のノイズ検出率を実現するための閾値Thを設定する。なお、この場合、例えば、閾値Thと平均μ及び分散(標準偏差)σとの関係を表す情報が予めメモリ8に記憶されている。
Next, the point cloud
そして、点群情報処理ブロック73は、対象点ごとに算出したノイズ評価値を閾値Thと比較し、現フレームにおけるノイズ点を判定する(ステップS04)。この場合、点群情報処理ブロック73は、現フレームの各被計測点を順に対象点として設定し、対象点に対するノイズ評価値を、式(1)を参照し、現フレーム及び過去フレームを用いて算出する。そして、点群情報処理ブロック73は、ノイズ評価値が閾値Th以上となる対象点を物体点であると判定し、ノイズ評価値が閾値Th未満となる対象点をノイズ点であると判定する。
Then, the point cloud
そして、点群情報処理ブロック73は、点群情報処理を終了すべきか否か判定する(ステップS05)。例えば、点群情報処理ブロック73は、点群情報の生成停止の要求又はライダ100の停止要求などがあった場合に、点群情報処理を終了すべきと判定する。そして、点群情報処理ブロック73は、点群情報処理を終了すべき場合(ステップS05;Yes)、フローチャートの処理を終了する。一方、点群情報処理ブロック73は、点群情報処理を継続する場合(ステップS05;No)、ステップS03へ処理を戻し、現処理時刻を次の処理時刻に更新し、ステップS03及びステップS04を実行する。
Then, the point cloud
以上説明したように、第1実施例に係る情報処理装置1は、取得手段と、評価値算出手段と、ノイズ判定手段とを有する情報処理装置として機能する。取得手段は、計測装置が計測した点ごとのデータの集合である点群データを取得する。評価値算出手段は、点が物体の被計測点である物体点であるか又はノイズにより生成されたノイズ点であるかを評価するノイズ評価関数に基づき、点群データの各データに対するノイズ評価値を算出する。閾値設定手段は、ノイズ評価関数の確率密度関数の統計量に基づき、ノイズ評価値に対する閾値を設定する。ノイズ判定手段は、ノイズ評価値と閾値とに基づき、点群データにおけるノイズ点を判定する。この態様により、情報処理装置1は、ノイズの測距確率に基づき閾値を設定し、ノイズ点を的確に判別することができる。 As described above, the information processing apparatus 1 according to the first embodiment functions as an information processing apparatus having acquisition means, evaluation value calculation means, and noise determination means. The acquiring means acquires point cloud data, which is a set of data for each point measured by the measuring device. The evaluation value calculation means calculates a noise evaluation value for each piece of point cloud data based on a noise evaluation function that evaluates whether a point is an object point that is a measured point of an object or a noise point generated by noise. Calculate The threshold setting means sets a threshold for the noise evaluation value based on the statistic of the probability density function of the noise evaluation function. The noise determination means determines noise points in the point cloud data based on the noise evaluation value and the threshold. According to this aspect, the information processing apparatus 1 can set a threshold value based on the distance measurement probability of noise, and can accurately discriminate noise points.
<第2実施例>
第2実施例では、点群情報処理ブロック73は、ノイズ評価関数を算出する場合の時空間的な探索範囲(即ち、対象点を中心とした各インデックスt、h、vの値域)を各被計測点において計測された反射強度値(即ち輝度)に基づき設定する。具体的には、点群情報処理ブロック73は、対象点の反射強度値が所定の閾値以上の場合には、対象点が物体点である信頼度が高いと仮定し、探索範囲を限定する。これにより、点群情報処理ブロック73は、ノイズ評価関数を算出する計算量を抑制しつつ、ノイズ判定処理を高精度に実行する。以後では、第1実施例と同一の構成要素については適宜同一符号を付し、その説明を省略する。第2実施例に係る点群情報処理ブロック73は、「取得手段」、「評価値算出手段」、「ノイズ判定手段」及びプログラムを実行するコンピュータとして機能する。
<Second embodiment>
In the second embodiment, the point cloud
図4(A)は、反射強度値が閾値未満となる現フレームの対象点P1及びその周辺の被計測点をライダ100に対向する仮想平面上において示した図である。この仮想平面は、各被計測点を、対応する垂直及び水平の計測方向に応じた位置に示している。また、図4(B)は、反射強度値が閾値以上となる現フレームの対象点P2及びその周辺の被計測点を仮想平面上において示した図である。また、破線枠91は、対象点P1に対して設定される空間的な探索範囲を示し、破線枠92は、対象点P2に対して設定される空間的な探索範囲を示す。上述の閾値は、例えばメモリ8等に予め記憶されており、反射強度値と物体点としての信頼度との関係を考慮した適合値に設定されている。
FIG. 4A is a diagram showing the target point P1 of the current frame and surrounding measurement points P1 whose reflection intensity value is less than the threshold on a virtual plane facing the rider 100. FIG. This virtual plane shows each point to be measured at a position corresponding to the corresponding vertical and horizontal measurement directions. FIG. 4B is a diagram showing on a virtual plane the object point P2 of the current frame whose reflection intensity value is greater than or equal to the threshold value and the surrounding measured points. A dashed-
図4(A)に示す対象点P1は、反射強度値が閾値未満であることから、対象点P1のノイズ評価値の算出では、対象点P1を中心とした通常サイズの探索範囲が設定される。図4(A)では、水平インデックスhは対象点P1の左右2個分の値域となっており、垂直インデックスvは対象点P1の上下2個分となっている。また、図示しないフレームインデックスtについても、直近の所定フレーム数(ここでは2個とする)分の過去フレームがノイズ評価値の算出に用いられるような値域となっている。そして、点群情報処理ブロック73は、時空間において設定された通常サイズの探索範囲内の点(ここでは74個の点)を参照点とみなし、ノイズ評価値の算出を行う。このように、探索範囲は、水平インデックスh及び垂直インデックスvの値域により定まる、計測方向に関する空間的範囲と、フレームインデックスtの値域により定まる、計測時刻に関する時間的範囲との両方を含んでいる。
Since the reflection intensity value of the target point P1 shown in FIG. 4A is less than the threshold value, a normal size search range centered on the target point P1 is set in the calculation of the noise evaluation value of the target point P1. . In FIG. 4A, the horizontal index h has a value range of two points on the left and right of the target point P1, and the vertical index v has a value range of two points above and below the target point P1. Also, the frame index t (not shown) has a value range in which a predetermined number of (here, two) frames in the past are used to calculate the noise evaluation value. Then, the point cloud
一方、図4(B)に示す対象点P2は、反射強度値が閾値以上であることから、対象点P2のノイズ評価値の算出では、対象点P2を中心とした縮小サイズの探索範囲が設定される。図4(B)では、水平インデックスhは対象点P1の左右1個分の値域となっており、垂直インデックスvは対象点P1の上下1個分となっている。また、図示しないフレームインデックスtについても、直近の所定フレーム数(図4(A)の例での所定フレーム数よりも少ないフレーム数であり、ここでは1個とする)分の過去フレームがノイズ評価値の算出に用いられるような値域となっている。そして、点群情報処理ブロック73は、時空間において設定された通常サイズの探索範囲内の点(ここでは26個の点)を参照点とみなし、ノイズ評価値の算出を行う。
On the other hand, since the reflection intensity value of the target point P2 shown in FIG. 4B is equal to or greater than the threshold value, a reduced size search range centering on the target point P2 is set in the calculation of the noise evaluation value of the target point P2. be done. In FIG. 4(B), the horizontal index h has a value range of one right and left of the target point P1, and the vertical index v has one value range above and below the target point P1. Also, for the frame index t (not shown), the past frames for the most recent predetermined number of frames (the number of frames is smaller than the predetermined number of frames in the example of FIG. It has a value range that is used for value calculation. Then, the point cloud
このように、点群情報処理ブロック73は、対象点のノイズ評価値の算出において現フレームの対象点を基準として設定する時空間の探索範囲(各インデックスt、h、vの値域)を、対象点の反射強度値が閾値以上となる場合には通常の探索範囲よりも縮小する。これにより、物体点である信頼度が高い対象点に用いる参照点の数を減らし、ノイズ評価値の算出に必要な計算量を好適に削減することができる。
In this way, the point cloud
図5は、第2実施例に係るノイズ点判定処理の手順を示すフローチャートの一例である。点群情報処理ブロック73は、例えば、このフローチャートの処理を、図3のフローチャートのステップS04において実行する。
FIG. 5 is an example of a flowchart showing the procedure of noise point determination processing according to the second embodiment. The point cloud
まず、点群情報処理ブロック73は、現フレームにおいて対象点を設定する(ステップS11)。この場合、点群情報処理ブロック73は、現フレームにおいてノイズ評価値が未算出の被計測点を対象点として設定する。
First, the point cloud
次に、点群情報処理ブロック73は、対象点の反射強度値に基づき、時空間での参照点を探索する探索範囲を決定する(ステップS12)。この場合、例えば、点群情報処理ブロック73は、反射強度値が閾値未満の場合には、通常サイズの探索範囲を設定し、反射強度値が閾値以上の場合には縮小サイズの探索範囲を設定する。
Next, the point cloud
そして、点群情報処理ブロック73は、ステップS12で設定した探索範囲に基づき、対象点のノイズ評価値を算出する(ステップS13)。この場合、点群情報処理ブロック73は、設定された探索範囲内の各インデックスh、v、tの値を用いて、式(1)に基づくノイズ評価値を算出する。
Then, the point cloud
そして、点群情報処理ブロック73は、ステップS13で算出したノイズ評価値に基づき対象点がノイズ点か否か(物体点か)を判定する(ステップS14)。この場合、点群情報処理ブロック73は、例えば第1実施例に従い設定した閾値Thとノイズ評価値との比較結果に基づき、対象点がノイズ点か否かを判定する。
Then, the point cloud
そして、点群情報処理ブロック73は、現フレームの全ての点を対象点に設定済みであるか否か判定する(ステップS15)。そして、点群情報処理ブロック73は、現フレームの全ての点を対象点に設定済みである場合(ステップS15;Yes)、現フレームのノイズ判定処理は完了したと判断し、フローチャートの処理を終了する。一方、点群情報処理ブロック73は、対象点に設定していない現フレームの点が存在すると判定した場合(ステップS15;No)、ステップS11へ処理を戻し、対象点に未設定の現フレームの点を対象点に設定する。
Then, the point cloud
なお、点群情報処理ブロック73は、対象点の反射強度値に基づき探索範囲を決定することに代えて、又はこれに加えて、対象点の計測距離に基づき探索範囲を決定してもよい。一般に、物体を測距できる確率は物体が遠方となるほど下がり、ある程度近距離に存在する物体については測距できる信頼度が高い。従って、点群情報処理ブロック73は、対象点の計測距離が閾値未満となる場合には、縮小サイズの探索範囲を設定する。これによっても、点群情報処理ブロック73は、ノイズ評価関数を算出する計算量を抑制しつつ、ノイズ判定処理を高精度に実行することが可能となる。
Note that the point cloud
図6は、対象点の計測距離を考慮した第2実施例に係るノイズ点判定処理の手順を示すフローチャートの一例である。 FIG. 6 is an example of a flow chart showing the procedure of the noise point determination process according to the second embodiment considering the measured distance of the target point.
まず、点群情報処理ブロック73は、現フレームにおいて対象点を設定する(ステップS21)。次に、点群情報処理ブロック73は、対象点の反射強度値又は計測距離の少なくとも一方に基づき、時空間での参照点を探索する探索範囲を決定する(ステップS22)。この場合、例えば、点群情報処理ブロック73は、反射強度値が閾値(第1閾値)以上の場合に縮小サイズの探索範囲を設定してもよく、計測距離が閾値(第2閾値)未満の場合に縮小サイズの探索範囲を設定してもよい。他の例では、点群情報処理ブロック73は、対象点の反射強度値が第1閾値以上、かつ、計測距離が第2閾値未満の場合に、縮小サイズの探索範囲を設定してもよく、対象点の反射強度値が第1閾値以上、又は、計測距離が第2閾値未満のいずれかが満たされた場合に、縮小サイズの探索範囲を設定してもよい。そして、点群情報処理ブロック73は、ステップS23~ステップS25の処理を、ステップS13~ステップS15と同様に実行する。
First, the point cloud
以上説明したように、第2実施例に係る情報処理装置1は、取得手段と、評価値算出手段とを有する情報処理装置として機能する。取得手段は、計測装置が計測した点ごとの反射強度値及び計測距離を表すデータの集合である点群データを取得する。評価値算出手段は、データの各々に対応する対象点が物体の被計測点である物体点であるか又はノイズにより生成されたノイズ点であるかを、当該対象点を基準として設定した探索範囲内に存在する参照点のデータに基づき評価するノイズ評価関数に基づき、対象点に対するノイズ評価値を算出する。この場合、評価値算出手段は、上述の探索範囲を、対象点に対応する反射強度値又は計測距離の少なくとも一方に基づき決定する。これにより、情報処理装置1は、ノイズ評価関数を算出する計算量を抑制しつつ、ノイズ判定処理を高精度に実行することが可能となる。 As described above, the information processing apparatus 1 according to the second embodiment functions as an information processing apparatus having acquisition means and evaluation value calculation means. The acquiring means acquires point cloud data, which is a set of data representing the reflection intensity value and the measured distance for each point measured by the measuring device. The evaluation value calculation means determines whether a target point corresponding to each data is an object point that is a point to be measured of an object or a noise point generated by noise, and sets a search range based on the target point. A noise evaluation value for the target point is calculated based on the noise evaluation function that evaluates based on the data of the reference points existing in the object point. In this case, the evaluation value calculation means determines the search range based on at least one of the reflection intensity value and the measured distance corresponding to the target point. As a result, the information processing apparatus 1 can perform the noise determination process with high accuracy while suppressing the amount of calculation for calculating the noise evaluation function.
<第3実施例>
第3実施例では、ライダ100が屋外又は屋内において固定設置されている場合において、点群情報処理ブロック73は、ノイズ評価関数を算出する場合の時空間的な探索範囲を、1処理時刻前の過去フレーム(「直前フレーム」とも呼ぶ。)における物体点の粗密に基づき設定する。具体的には、点群情報処理ブロック73は、対象点の計測方向と同一又は近似する計測方向となる直前フレームの被計測点を所定規則によりサンプリングする。そして、点群情報処理ブロック73は、サンプリングした被計測点(「サンプル点」とも呼ぶ。)が物体点である割合(「物体点割合」とも呼ぶ。)が所定の閾値以上である場合に、対象点に対して縮小サイズの探索範囲を設定する。これにより、点群情報処理ブロック73は、物体点である蓋然性が高い対象点の探索範囲を好適に縮小してノイズ評価値の計算量を削減する。第3実施例に係る点群情報処理ブロック73は、「取得手段」、「評価値算出手段」、「ノイズ判定手段」及びプログラムを実行するコンピュータとして機能する。また、後述するように、第3実施例の処理は、第2実施例と組み合わせて実行することができる。また、ライダ100は、他のセンサより情報を取得出来る場合には、固定設置されている必要はない。この場合、ライダ100は、ライダ100の移動分だけ点群情報が示す位置を補正する。
<Third embodiment>
In the third embodiment, when the lidar 100 is fixedly installed outdoors or indoors, the point cloud
一般に、ライダ100が固定設置されている場合、ライダ100の視野内に存在する静止構造物体は、各フレームにおいて物体点のかたまりとして同一の計測方向において継続的に計測される。従って、過去フレームにおいて物体点が密に存在する計測方向では、現フレームにおいても同一物体が計測される可能性が高い。以上を勘案し、点群情報処理ブロック73は、対象点の計測方向における直前フレームの物体点の粗密に基づき、対象点の物体点としての信頼度を判定し、当該信頼度に応じた対象点の探索範囲のサイズを決定する。これにより、点群情報処理ブロック73は、物体点及びノイズ点の判定精度を保ちつつ、処理量の削減を行うことが可能となる。
In general, when the lidar 100 is fixedly installed, stationary structural objects present in the field of view of the lidar 100 are continuously measured in the same measurement direction as a cluster of object points in each frame. Therefore, in a measurement direction in which object points exist densely in the past frame, there is a high possibility that the same object will be measured in the current frame as well. Considering the above, the point cloud
図7は、直前フレームにおいて対象点と同一計測方向となる被計測点(過去対象点)P3及びその周辺の被計測点を仮想平面上において示した図である。また、図7では、物体点割合の算出に用いられるサンプル点がハッチングにより明示されている。 FIG. 7 is a diagram showing, on a virtual plane, a measured point (past target point) P3 in the same measurement direction as the target point in the previous frame, and its peripheral measured points. Further, in FIG. 7, the sample points used for calculating the object point ratio are clearly indicated by hatching.
この例では、点群情報処理ブロック73は、対象点と同一計測方向(即ち同一走査点)となる過去対象点P3を中心として十字型にサンプル点を設定している。言い換えると、点群情報処理ブロック73は、対象点の計測方向と、水平方向において一致かつ垂直方向において近似する計測方向となる直前フレームの被計測点、又は、垂直方向において一致かつ水平方向において近似する計測方向となる直前フレームの被計測点を、サンプル点として設定している。具体的には、点群情報処理ブロック73は、垂直方向において過去対象点P3と並ぶ上下各2個の被計測点と、水平方向において過去対象点P3と並ぶ左右各3個の被計測点とを、サンプル点として設定する。
In this example, the point cloud
そして、点群情報処理ブロック73は、計10個のサンプル点のうち物体点と判定されているサンプル点の割合を物体点割合として算出する。そして、点群情報処理ブロック73は、当該物体点割合が所定割合以上である場合に、過去対象点P3での物体点が密であると判定し、対象点に対して縮小サイズの探索範囲(例えば図4(B)参照)を設定する。一方、点群情報処理ブロック73は、物体点割合が所定割合未満である場合、過去対象点P3での物体点が租(疎)であると判定し、対象点に対して通常サイズの探索範囲(例えば図4(A)参照)を設定する。これらの探索範囲は、第2実施例と同様、計測方向に関する空間的範囲と、計測時刻に関する時間的範囲との両方を含んでいる。
Then, the point cloud
このように、点群情報処理ブロック73は、過去フレームにおいて過去対象点を中心とした十字探索によりサンプル点を決定することで、過去フレームにおける対象点と同一計測方向付近での粗密の度合いを的確に反映した物体点割合を算出することができる。
In this way, the point cloud
なお、点群情報処理ブロック73は、十字探索によりサンプル点を決定する代わりに、他の探索規則に基づき物体点の粗密の判定に有効なサンプル点を決定することが可能である。
Note that the point cloud
図8(A)は、第2の方法に基づき決定された過去対象点P3のサンプル点の配置を表す図である。ここでは、サンプル点がハッチングにより明示されている。第2の方法では、点群情報処理ブロック73は、過去対象点P3の左右上下斜めに隣接する8個の被計測点をサンプル点として定めている。そして、点群情報処理ブロック73は、計8個のサンプル点のうち物体点と判定されているサンプル点の割合を物体点割合として算出し、当該物体点割合に応じたサイズの探索範囲を設定する。
FIG. 8A is a diagram showing the arrangement of sample points of the past target point P3 determined based on the second method. Here, sample points are clearly indicated by hatching. In the second method, the point cloud
図8(B)は、第3の方法に基づき決定された過去対象点P3のサンプル点の配置を表す図である。ここでは、サンプル点がハッチングにより明示されている。第3の方法では、点群情報処理ブロック73は、過去対象点P3を中心とした所定サイズの枠95を設定し、当該枠95内に存在する過去フレームの被計測点から所定の規則によりサンプリングすることで計16個のサンプル点を決定している。ここでは、枠95は、過去対象点P3を中心とした上下2個左右3個の被計測点が含まれる矩形範囲を示している。そして、点群情報処理ブロック73は、計16個のサンプル点のうち物体点と判定されているサンプル点の割合を物体点割合として算出し、当該物体点割合に応じたサイズの探索範囲を設定する。
FIG. 8B is a diagram showing the arrangement of sample points of the past target point P3 determined based on the third method. Here, sample points are clearly indicated by hatching. In the third method, the point cloud
このように、点群情報処理ブロック73は、十字探索以外の方法に基づき決定したサンプル点に基づいて、過去フレームでの物体点の粗密の状態を反映した物体点割合を算出し、対象点の探索範囲を的確に決定することができる。
In this way, the point cloud
図9は、第3実施例に係るノイズ点判定処理の手順を示すフローチャートの一例である。点群情報処理ブロック73は、例えば、このフローチャートの処理を、図3のフローチャートのステップS04において実行する。
FIG. 9 is an example of a flowchart showing the procedure of noise point determination processing according to the third embodiment. The point cloud
まず、点群情報処理ブロック73は、現フレームにおいて対象点を設定する(ステップS31)。次に、点群情報処理ブロック73は、直前フレームにおいて対象点と同一計測方向となる過去対象点の近傍に存在するサンプル点を選定する(ステップS32)。この場合、例えば、点群情報処理ブロック73は、図7又は図8(A)又は図8(B)において例示される規則に従い直前フレームにおいてサンプル点を選定する。
First, the point cloud
次に、点群情報処理ブロック73は、ステップS32で選定したサンプル点に基づく物体点割合を算出する(ステップS33)。そして、点群情報処理ブロック73は、物体点割合に基づき、時空間での参照点を探索する探索範囲を決定する(ステップS34)。この場合、例えば、点群情報処理ブロック73は、物体点割合が閾値未満の場合には、通常サイズの探索範囲を設定し、物体点割合が閾値以上の場合には縮小サイズの探索範囲を設定する。
Next, the point cloud
そして、点群情報処理ブロック73は、ステップS34で設定した探索範囲に基づき、対象点のノイズ評価値を算出する(ステップS35)。この場合、点群情報処理ブロック73は、設定された探索範囲内の各インデックスh、v、tの値を用いて、式(1)に基づくノイズ評価値を算出する。
Then, the point cloud
そして、点群情報処理ブロック73は、ステップS35で算出したノイズ評価値に基づき対象点がノイズ点か否か(物体点か)を判定する(ステップS36)。この場合、点群情報処理ブロック73は、例えば第1実施例に従い設定した閾値Thとノイズ評価値との比較結果に基づき、対象点がノイズ点か否かを判定する。
Then, the point cloud
そして、点群情報処理ブロック73は、現フレームの全ての点を対象点に設定済みであるか否か判定する(ステップS37)。そして、点群情報処理ブロック73は、現フレームの全ての点を対象点に設定済みである場合(ステップS37;Yes)、現フレームのノイズ判定処理は完了したと判断し、フローチャートの処理を終了する。一方、点群情報処理ブロック73は、対象点に設定していない現フレームの点が存在すると判定した場合(ステップS37;No)、ステップS31へ処理を戻し、対象点に未設定の現フレームの点を対象点に設定する。
Then, the point cloud
好適な例では、点群情報処理ブロック73は、第2実施例と組み合わせて第3実施例を実行してもよい。
In a preferred example, the point cloud
この場合、第1の例では、点群情報処理ブロック73は、反射強度値又は過去対象点での粗密の判定結果に基づき、探索範囲を制限する。この場合、点群情報処理ブロック73は、シーンに応じて、対象点の反射強度値に基づき探索範囲を制限するか、過去対象点での粗密の判定結果に基づき、探索範囲を制限するかを切り替えてもよい。例えば、点群情報処理ブロック73は、対象点の反射強度値に基づき探索範囲を制限することが適切であると判定される所定の条件が満たされた場合に、対象点の反射強度値に基づき探索範囲を制限する。一方、点群情報処理ブロック73は、過去対象点での粗密の判定結果に基づき探索範囲を制限することが適切であると判定される所定の条件が満たされた場合には、過去対象点での粗密の判定結果に基づき探索範囲を制限する。
In this case, in the first example, the point cloud
第2の例では、点群情報処理ブロック73は、対象点の反射強度値に基づき探索範囲を制限すると共に、過去対象点での粗密の判定結果に基づき探索範囲を制限する。この場合、点群情報処理ブロック73は、対象点の反射強度値が閾値以上であると判定された場合、又は、過去対象点が密であると判定された場合に、縮小サイズの探索範囲を設定する。これらの例によれば、点群情報処理ブロック73は、探索範囲を好適に制限して計算処理量を削減することができる。
In the second example, the point cloud
以上説明したように、第3実施例に係る情報処理装置1は、取得手段と、評価値算出手段とを有する情報処理装置として機能する。取得手段は、計測装置が計測方向ごとに計測した点を表すデータの集合である点群データを取得する。評価値算出手段は、現処理時刻において取得されたデータの各々が表す対象点が物体の被計測点である物体点であるか又はノイズにより生成されたノイズ点であるかを、当該対象点を基準として設定した探索範囲内に存在する参照点のデータに基づき評価するノイズ評価関数に基づき、対象点に対するノイズ評価値を算出する。この場合、評価値算出手段は、対象点の計測方向における、現処理時刻の前の処理時刻での物体点の粗密に基づき、探索範囲を決定する。これにより、情報処理装置1は、ノイズ評価関数を算出する計算量を抑制しつつ、ノイズ判定処理を高精度に実行することが可能となる。 As described above, the information processing apparatus 1 according to the third embodiment functions as an information processing apparatus having acquisition means and evaluation value calculation means. The acquisition means acquires point cloud data, which is a set of data representing points measured by the measuring device in each measurement direction. The evaluation value calculation means determines whether a target point represented by each piece of data acquired at the current processing time is an object point that is a point to be measured of an object or a noise point generated by noise. A noise evaluation value for a target point is calculated based on a noise evaluation function that evaluates based on data of reference points existing within a search range set as a reference. In this case, the evaluation value calculation means determines the search range based on the density of the object points at the processing time before the current processing time in the measurement direction of the target point. As a result, the information processing apparatus 1 can perform the noise determination process with high accuracy while suppressing the amount of calculation for calculating the noise evaluation function.
<第4実施例>
図10は、第4実施例に係るライダシステムの構成図である。第4実施例では、制御部7の点群情報処理ブロック73及び点群情報処理ブロック73に相当する機能を、ライダ100Xとは別の装置が有している。以後では、第1実施例~第3実施例と同一構成要素となる第4実施例の要素については適宜同一符号を付し、その説明を省略する。
<Fourth embodiment>
FIG. 10 is a configuration diagram of a lidar system according to a fourth embodiment. In the fourth embodiment, a device other than the rider 100X has the point cloud
第4実施例に係るライダシステムは、ライダ100Xと、情報処理装置200とを有する。この場合、ライダ100Xは、点群情報生成ブロック72が生成する点群情報を情報処理装置200へ供給する。
The lidar system according to the fourth embodiment has a lidar 100X and an information processing device 200. FIG. In this case, the rider 100X supplies the point cloud information generated by the point cloud
情報処理装置200は、制御部7Aと、メモリ8とを有する。メモリ8には、制御部7Aが処理を実行するために必要な情報が記憶されている。制御部7Aは、機能的には、点群情報取得ブロック72Aと、点群情報処理ブロック73とを有する。点群情報取得ブロック72Aは、ライダ100Xの点群情報生成ブロック72が生成する点群情報を受信し、受信した点群情報を点群情報処理ブロック73に供給する。点群情報処理ブロック73は、点群情報取得ブロック72Aから供給される点群情報に対し、上述した各実施例に係る点群情報処理ブロック73と同一の処理を実行する。
The information processing device 200 has a control section 7A and a
なお、情報処理装置200は、運転支援装置により実現されてもよい。また、処理に必要なパラメータの情報は、情報処理装置200が参照可能なメモリを有する他の装置により記憶されてもよい。本変形例の構成によっても、情報処理装置200は、ライダ100Xが生成する点群情報の処理を的確に実行することができる。 Note that the information processing device 200 may be realized by a driving support device. Further, the parameter information necessary for processing may be stored by another device having a memory that the information processing device 200 can refer to. Also with the configuration of this modification, the information processing device 200 can accurately process the point cloud information generated by the rider 100X.
なお、上述した実施例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータであるコントローラ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記憶媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。 It should be noted that in the above-described embodiments, the programs can be stored using various types of non-transitory computer readable media and supplied to a computer such as a controller. Non-transitory computer-readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic storage media (eg, flexible discs, magnetic tapes, hard disk drives), magneto-optical storage media (eg, magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R/W, semiconductor memory (eg, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。 Although the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention. That is, the present invention naturally includes various variations and modifications that a person skilled in the art can make according to the entire disclosure including the scope of claims and technical ideas. In addition, the disclosures of the cited patent documents and the like are incorporated herein by reference.
1 送信部
2 受信部
3 ビームスプリッタ
5 スキャナ
6 ピエゾセンサ
7、7A 制御部
8 メモリ
100、100X ライダ
200 情報処理装置
Reference Signs List 1
Claims (11)
現処理時刻において取得された前記データの各々が表す対象点が物体の被計測点である物体点であるか又はノイズにより生成されたノイズ点であるかを、当該対象点を基準として設定した探索範囲内に存在する参照点のデータに基づき評価する評価関数に基づき、前記対象点に対する評価値を算出する評価値算出手段と、を有し、
前記評価値算出手段は、前記対象点の計測方向における、前記現処理時刻の前の処理時刻での前記物体点の粗密に基づき、前記探索範囲を決定する、
情報処理装置。 Acquisition means for acquiring point cloud data, which is a set of data representing points measured by the measuring device in each measurement direction;
A search that sets whether a target point represented by each of the data acquired at the current processing time is an object point that is a point to be measured of an object or a noise point generated by noise, using the target point as a reference. evaluation value calculation means for calculating an evaluation value for the target point based on an evaluation function that evaluates based on data of reference points existing within the range;
The evaluation value calculation means determines the search range based on the density of the object point at a processing time before the current processing time in the measurement direction of the target point.
Information processing equipment.
水平方向において一致かつ垂直方向において近似する計測方向、若しくは、
垂直方向において一致かつ水平方向において近似する計測方向
となる前記前の処理時刻での前記被計測点を、前記サンプル点として選定する、請求項2に記載の情報処理装置。 The evaluation value calculation means is the same as the measurement direction of the target point, or
Horizontally identical and vertically approximate measurement directions, or
3. The information processing apparatus according to claim 2, wherein the point to be measured at the previous processing time, which has a measurement direction that matches in the vertical direction and approximates in the horizontal direction, is selected as the sample point.
計測装置が計測方向ごとに計測した点を表すデータの集合である点群データを取得し、
現処理時刻において取得された前記データの各々が表す対象点が物体の被計測点である物体点であるか又はノイズにより生成されたノイズ点であるかを、当該対象点を基準として設定した探索範囲内に存在する参照点のデータに基づき評価する評価関数に基づき、前記対象点に対する評価値を算出し、
前記対象点の計測方向における、前記現処理時刻の前の処理時刻での前記物体点の粗密に基づき、前記探索範囲を決定する、
制御方法。 A control method executed by an information processing device,
Acquiring point cloud data, which is a set of data representing points measured by the measuring device in each measurement direction,
A search that sets whether a target point represented by each of the data acquired at the current processing time is an object point that is a point to be measured of an object or a noise point generated by noise, using the target point as a reference. calculating an evaluation value for the target point based on an evaluation function that evaluates based on data of reference points existing within the range;
determining the search range based on the density of the object point at a processing time before the current processing time in the measurement direction of the target point;
control method.
現処理時刻において取得された前記データの各々が表す対象点が物体の被計測点である物体点であるか又はノイズにより生成されたノイズ点であるかを、当該対象点を基準として設定した探索範囲内に存在する参照点のデータに基づき評価する評価関数に基づき、前記対象点に対する評価値を算出し、
前記対象点の計測方向における、前記現処理時刻の前の処理時刻での前記物体点の粗密に基づき、前記探索範囲を決定する処理をコンピュータに実行させるプログラム。 Acquiring point cloud data, which is a set of data representing points measured by the measuring device in each measurement direction,
A search that sets whether a target point represented by each of the data acquired at the current processing time is an object point that is a point to be measured of an object or a noise point generated by noise, using the target point as a reference. calculating an evaluation value for the target point based on an evaluation function that evaluates based on data of reference points existing within the range;
A program that causes a computer to execute a process of determining the search range based on the density of the object point at a processing time before the current processing time in the measurement direction of the object point.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021209284A JP2023094057A (en) | 2021-12-23 | 2021-12-23 | Information processor, control method, program, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021209284A JP2023094057A (en) | 2021-12-23 | 2021-12-23 | Information processor, control method, program, and storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023094057A true JP2023094057A (en) | 2023-07-05 |
Family
ID=87001634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021209284A Pending JP2023094057A (en) | 2021-12-23 | 2021-12-23 | Information processor, control method, program, and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023094057A (en) |
-
2021
- 2021-12-23 JP JP2021209284A patent/JP2023094057A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6863342B2 (en) | Optical ranging device | |
US10648795B2 (en) | Distance measuring apparatus and distance measuring method | |
JP6505470B2 (en) | Noise removal method and object recognition apparatus | |
CN111742241A (en) | Optical distance measuring device | |
JP6763992B2 (en) | Noise removal method and object recognition device | |
US11961306B2 (en) | Object detection device | |
WO2022198637A1 (en) | Point cloud noise filtering method and system, and movable platform | |
JPWO2016208318A1 (en) | Distance image processing apparatus, distance image processing method, distance image processing program, and recording medium | |
US20210109217A1 (en) | Dynamic laser power control in light detection and ranging (lidar) systems | |
JP6772639B2 (en) | Parallax calculation system, mobiles and programs | |
US20230065210A1 (en) | Optical distance measuring device | |
CN112106111A (en) | Calibration method, calibration equipment, movable platform and storage medium | |
CN110954912B (en) | Method and apparatus for optical distance measurement | |
US11933884B2 (en) | Radar image processing device, radar image processing method, and storage medium | |
JP2021043838A (en) | Information processing device, control method, program and storage medium | |
US20210364280A1 (en) | Road surface area detection device, road surface area detection system, vehicle, and road surface area detection method | |
WO2023120430A1 (en) | Information processing device, control method, program, and storage medium | |
JP2023094057A (en) | Information processor, control method, program, and storage medium | |
JP2023094051A (en) | Information processor, control method, program, and storage medium | |
CN114578316B (en) | Method, device and equipment for determining ghost points in point cloud and storage medium | |
JP2017215642A (en) | Monitoring system | |
US20220244392A1 (en) | High resolution lidar scanning | |
JP2022168956A (en) | Laser measuring device, and measurement method thereof | |
US20220155416A1 (en) | Laser emission control in light detection and ranging (lidar) systems | |
JP2023064482A (en) | Information processor, control method, program, and storage medium |