JP2019106034A - 点群から対象を特定する対象識別装置、プログラム及び方法 - Google Patents
点群から対象を特定する対象識別装置、プログラム及び方法 Download PDFInfo
- Publication number
- JP2019106034A JP2019106034A JP2017238396A JP2017238396A JP2019106034A JP 2019106034 A JP2019106034 A JP 2019106034A JP 2017238396 A JP2017238396 A JP 2017238396A JP 2017238396 A JP2017238396 A JP 2017238396A JP 2019106034 A JP2019106034 A JP 2019106034A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- distance image
- target
- point
- point group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
【課題】対象の識別により適した画素値分布を有する距離画像を生成可能な装置を提供する。【解決手段】本装置は、測距センサによって取得された対象の情報を含み得る点群から、当該対象を識別する対象識別装置であり、点データ間の距離に基づいて点群を互いに隣接した点データの集合である対象点群に区分する点群区分手段と、対象点群に含まれる対象点データが投影された「距離画像」であって、投影された位置に少なくとも測距センサとの距離の単調増加関数となるサイズを有する面パッチを設定し、面パッチ内の画素値を、面パッチに係る対象点データとの距離に基づいて決定した「距離画像」を生成する距離画像生成手段と、生成された「距離画像」に含まれている対象を、所定の識別器を用いて特定する対象特定手段と有する。ここで、面パッチは、測距センサに係る分解能についても単調増加関数となるサイズを有することも好ましい。【選択図】図１
Description
本発明は、ＬｉＤＡＲ（Light Detection And Ranging）デバイス等の測距センサによって取得された、対象の情報を含み得る点群（点データの集合）から、当該対象を識別する技術に関する。
ＬｉＤＡＲデバイスは、可視スペクトル外のレーザパルスを放射し、当該パルスが対象に反射して戻ってくるまでの時間を計測して、当該対象までの距離を測定する測距センサの一種である。
現在、このＬｉＤＡＲデバイスを用いて周囲３６０度の走査を例えば毎秒何百回の頻度で行い、戻ってきたレーザパルスによる膨大な３次元点データの集合である「ポイントクラウド（point cloud）」を解析することによって、周囲にある概ね全ての対象を検知することが可能となっている。そのため、ＬｉＤＡＲデバイスは、自動運転車、ドローンや各種ロボット等における高度な「視覚」の機能を実現するための主幹技術として現在、その応用が急速に進んでいる。
ここで、非常に重要となるポイントクラウド解析の従来技術として、例えば特許文献１には、互いに重畳していないxy面タイル内のポイントにおける高さ成分を利用した教師無し区分手法を用いて、取得されたポイントクラウドからグラウンド（路面や地面等）分や建造物分を検知し除去する技術が開示されている。
この技術では次いで、教師有り区分手法を用いて、垂直方向にわたって存在する物体を検知している。またさらに、区分後の対象クラウド（object cloud）から、幾何学形状、路面からの高さ、道路のセンターラインまでの水平方向での距離、密度、強度、法線方向との角度や、平面性を抽出し、対象物体の種別クラスを特定している。
引用文献１はさらに、この開示した技術のメリットとして、グラウンドや建造物を除去することによって、学習処理のために必要とされる人的なラベリング処理を行うべきポイントの数が低減され、さらに、ある環境下では高い精度をもって対象が分類可能になるとしている。
また、非特許文献１には、対象を、グラウンド、低い位置の前景、高い位置の前景及びポイントのまばらなエリアに区分する技術が開示されている。このうち、高さの低い前景ポイントクラウドは、この対象を構成する点と評定面との距離を算出することによって距離画像へ変換される。また、評定面は、主成分分析（ＰＣＡ，Principal Component Analysis）を用いて決定され、対象ポイントクラウドの縦断面を算定するのに使用されている。
さらに、対象の分類には、距離画像で学習させた畳み込みニューラルネットワーク(ＣＮＮ，Convolutional Neural Network)を使用し、見かけを基準とした分類結果のラベルとしては、自動車、歩行者、建物正面、及び道路群を採用している。
A. Borcs, B. Nagy and C. Benedek, "Instant Object Detection in Lidar Point Clouds", IEEE Geoscience and Remote Sensing Letters, vol. 14, no. 7, ２０１７年７月，９９２〜９９６頁
上述した特許文献１に開示された技術では、グラウンドの検知や距離画像の解析を行って特徴抽出に適したエリアを指定するにあたり、水平タイルのサイズといったような多数のパラメータを予め固定して設定しなければならない。すなわち、この技術では、グラウンド面が高い精度で区分されるか、又は各対象が完全に分離していることを大前提としている。
しかしながら一般に、ＬｉＤＡＲデバイスから取得されるポイントクラウドの密度は、デバイスのセンサ位置からの距離に応じて変動するので、特許文献１の技術における予め固定的に設定されたパラメータの値は、ある距離範囲のポイントクラウドの解析にしか適していないものとなり得る。またそれ故に、学習させた分類モデルも、学習データとは別の都市部のような異なった環境にも適用可能であるといった頑健性を有さないものとなってしまう。
一方、上述した非特許文献１に開示された技術は、ＬｉＤＡＲデバイスのセンサ位置を考慮することなく、１つのフレームのポイントクラウドから得られる区分対象の縦断面を利用して解析を行っている。したがって、投影された画像からは、ＬｉＤＡＲデバイス側から見た対象の見かけのデータが幾分消失している可能性が高い。
例えば、対象としての自動車がＬｉＤＡＲデバイスのセンサに正対している場合、反射で生成されたポイントは自動車の前面に集まる形となる。しかしながら、ポイントの投影面は、自動車の側面に設定されるので、数少ないポイントしか投影されないことになる。したがって、距離値を小さい順に区分して、ポイントを互いに重畳しないように投影しなければならない。ここで、投影画像において投影されるポイントを代表するウィンドウが使用されるが、この非特許文献１の技術においても、このウィンドウのサイズは予め固定的に設定されている。その結果、設定されたウィンドウが重畳する可能性が生じてしまうのである。
例えば、投影画像において、ＬｉＤＡＲデバイスのセンサ位置から近い対象のポイントは密集し、ウィンドウが重畳して距離値（画素値）が重なりやすくなってしまう。一方、センサ位置から遠い対象のポイントは、投影画像においてまばらであって互いの間隔が空きすぎ、結果的に、投影画像の均一性や平滑性が低下してしまう可能性が生じてしまう。
また、このように密度に大きなばらつきのあるポイントクラウドに対して実施される対象区分処理は、ポイント分布から対象面を正確に評定するために、より高い処理精度が必要となってしまう。
そこで、本発明は、対象の識別により適した画素値分布を有する距離画像を生成可能な対象識別装置、プログラム及び方法を提供することを目的とする。
本発明によれば、測距センサによって取得された、対象の情報を含み得る点群から、当該対象を識別する対象識別装置であって、
当該点群を、点データ間の距離に基づいて、互いに隣接した点データの集合である対象点群に区分する点群区分手段と、
当該対象点群に含まれる対象点データが投影された距離画像であって、投影された位置に、少なくとも測距センサとの距離の単調増加関数となるサイズを有する面パッチを設定し、当該面パッチ内の画素値を、当該面パッチに係る対象点データと当該距離画像との距離に基づいて決定した距離画像を生成する距離画像生成手段と、
生成された当該距離画像に含まれている対象を、所定の識別器を用いて特定する対象特定手段と
を有する対象識別装置が提供される。
当該点群を、点データ間の距離に基づいて、互いに隣接した点データの集合である対象点群に区分する点群区分手段と、
当該対象点群に含まれる対象点データが投影された距離画像であって、投影された位置に、少なくとも測距センサとの距離の単調増加関数となるサイズを有する面パッチを設定し、当該面パッチ内の画素値を、当該面パッチに係る対象点データと当該距離画像との距離に基づいて決定した距離画像を生成する距離画像生成手段と、
生成された当該距離画像に含まれている対象を、所定の識別器を用いて特定する対象特定手段と
を有する対象識別装置が提供される。
この本発明による対象識別装置において、距離画像生成手段は、当該対象点群のうちで測距センサに最も近い対象点データである基準点データと測距センサとを含む鉛直面に垂直な鉛直面であって、当該基準点データを含む鉛直面に、当該距離画像を生成することも好ましい。
また、距離画像生成手段は、当該距離画像と測距センサとの距離と、測距センサに係る分解能とについて単調増加関数となるサイズを有する面パッチを設定することも好ましい。
さらに、距離画像生成手段は、当該面パッチに係る対象点データと当該距離画像との距離を、当該対象点データにおける測距センサからの距離及び方向に係る情報に基づいて算出することも好ましい。
また、本発明による対象識別装置の一実施形態として、本対象識別装置は、当該点群から所定の平滑条件を満たす平滑点群を抽出して、当該平滑点群から鉛直方向に垂直な面を構成するグラウンド点群を抽出し、当該平滑点群のうちで当該グラウンド点群の近傍となる点群部分と、当該グラウンド点群とを、当該点群から除去するグラウンド除去手段を更に有し、
点群区分手段は、グラウンド除去手段によって処理された当該点群を、対象点群に分類することも好ましい。
点群区分手段は、グラウンド除去手段によって処理された当該点群を、対象点群に分類することも好ましい。
さらに、本対象識別装置は、生成された当該距離画像の画素値に対して平滑処理を行う平滑処理手段を更に有し、対象特定手段は、平滑処理後の当該距離画像に含まれた対象を特定することも好ましい。
また、本発明による対象識別装置において、測距センサは、ＬｉＤＡＲデバイスであることも好ましい。
本発明によれば、また、測距センサによって取得された、対象の情報を含み得る点群から、当該対象を識別する装置に搭載されたコンピュータを機能させるプログラムであって、
当該点群を、点データ間の距離に基づいて、互いに隣接した点データの集合である対象点群に区分する点群区分手段と、
当該対象点群に含まれる対象点データが投影された距離画像であって、投影された位置に、少なくとも測距センサとの距離の単調増加関数となるサイズを有する面パッチを設定し、当該面パッチ内の画素値を、当該面パッチに係る対象点データと当該距離画像との距離に基づいて決定した距離画像を生成する距離画像生成手段と、
生成された当該距離画像に含まれている対象を、所定の識別器を用いて特定する対象特定手段と
としてコンピュータを機能させる対象識別プログラムが提供される。
当該点群を、点データ間の距離に基づいて、互いに隣接した点データの集合である対象点群に区分する点群区分手段と、
当該対象点群に含まれる対象点データが投影された距離画像であって、投影された位置に、少なくとも測距センサとの距離の単調増加関数となるサイズを有する面パッチを設定し、当該面パッチ内の画素値を、当該面パッチに係る対象点データと当該距離画像との距離に基づいて決定した距離画像を生成する距離画像生成手段と、
生成された当該距離画像に含まれている対象を、所定の識別器を用いて特定する対象特定手段と
としてコンピュータを機能させる対象識別プログラムが提供される。
本発明によれば、さらに、測距センサによって取得された、対象の情報を含み得る点群から、当該対象を識別する装置に搭載されたコンピュータにおける対象識別方法であって、
当該点群を、点データ間の距離に基づいて、互いに隣接した点データの集合である対象点群に区分するステップと、
当該対象点群に含まれる対象点データが投影された距離画像であって、投影された位置に、少なくとも測距センサとの距離の単調増加関数となるサイズを有する面パッチを設定し、当該面パッチ内の画素値を、当該面パッチに係る対象点データと当該距離画像との距離に基づいて決定した距離画像を生成するステップと、
生成された当該距離画像に含まれている対象を、所定の識別器を用いて特定するステップと
を有する対象識別方法が提供される。
当該点群を、点データ間の距離に基づいて、互いに隣接した点データの集合である対象点群に区分するステップと、
当該対象点群に含まれる対象点データが投影された距離画像であって、投影された位置に、少なくとも測距センサとの距離の単調増加関数となるサイズを有する面パッチを設定し、当該面パッチ内の画素値を、当該面パッチに係る対象点データと当該距離画像との距離に基づいて決定した距離画像を生成するステップと、
生成された当該距離画像に含まれている対象を、所定の識別器を用いて特定するステップと
を有する対象識別方法が提供される。
本発明の対象識別装置、プログラム及び方法によれば、対象の識別により適した画素値分布を有する距離画像を生成することができる。
以下、本発明の実施形態について、図面を用いて詳細に説明する。
図１は、本発明による対象識別装置を含む対象識別システムの一実施形態を示す模式図である。
図１に示した、本実施形態の対象識別システムは、
（ａ）道路を走行する自動車等の移動体に設置されたＬｉＤＡＲ２と、
（ｂ）有線（ケーブル等）又は無線（無線ＬＡＮ、近距離無線通信、無線系事業者アクセスネットワーク等）を介してＬｉＤＡＲ２と通信接続された対象識別装置１と
を含んでいる。
（ａ）道路を走行する自動車等の移動体に設置されたＬｉＤＡＲ２と、
（ｂ）有線（ケーブル等）又は無線（無線ＬＡＮ、近距離無線通信、無線系事業者アクセスネットワーク等）を介してＬｉＤＡＲ２と通信接続された対象識別装置１と
を含んでいる。
このうち、ＬｉＤＡＲ２は、可視スペクトル外のレーザパルスを放射し、当該パルスが対象に反射して戻ってくるまでの時間を計測して、当該対象までの距離を測定する測距センサであるＬｉＤＡＲ（Light Detection And Ranging）デバイスである。ここで、測定対象には、周囲に存在する自動車、自転車等の乗り物、歩行者・走者等の人物、動物や、さらには、路面や地面等のグラウンド、建造物や、交通設備等、放射される電磁波を反射するものであれば様々なものが該当する。
ＬｉＤＡＲ２は具体的に、センサを備えたヘッドを回転させ、全周（0〜359.9°）の各角度位置（座標）における反射強度（又はそれから算定される３次元距離）を含む点データを、ヘッド１周毎に１フレーム（１ファイル）として出力するデバイスであってもよい。
ここで、ヘッドは、垂直方向については、例えばプラスマイナス10°〜20°の範囲に例えば10〜20本のレーザを放射して各反射波を計測し、角分解能αをもって点データを取得することができる。ちなみにこのレーザ本数が角分解能αを規定することになる。一方、水平方向については、例えば200〜1500rpmの速度で回転しつつ例えば0.1〜0.5°の角分解能βで点データを取得するものであってもよい。
また、対象識別装置１は、ＬｉＤＡＲ２で捉えた対象を識別する、本発明による装置である。具体的には、ＬｉＤＡＲ２から、対象の情報を含み得る点群（点データの集合）である「ポイントクラウド」を取得して、この「ポイントクラウド」を解析して「距離画像」を生成し、生成した「距離画像」に含まれている対象を特定するのである。
具体的に、対象識別装置１は、その特徴として
（Ａ）取得された「ポイントクラウド」を、ポイント（点データ）間の距離に基づいて、互いに隣接したポイントの集合である「対象ポイントクラウド」（対象点群）に区分するポイントクラウド（点群）区分部１１２と、
（Ｂ）「対象ポイントクラウド」に含まれる対象ポイント（対象点データ）が投影された「距離画像」であって、投影された位置に、少なくともＬｉＤＡＲ２のセンサ位置との距離の単調増加関数となるサイズを有する「面パッチ」を設定し、「面パッチ」内の画素値を、「面パッチ」に係る対象ポイントと（当該距離画像」と）の距離に基づいて決定した「距離画像」を生成する距離画像生成部１１３と、
（Ｃ）生成された「距離画像」に含まれている対象を、所定の識別器を用いて特定する対象特定部１１５と
を有している。
（Ａ）取得された「ポイントクラウド」を、ポイント（点データ）間の距離に基づいて、互いに隣接したポイントの集合である「対象ポイントクラウド」（対象点群）に区分するポイントクラウド（点群）区分部１１２と、
（Ｂ）「対象ポイントクラウド」に含まれる対象ポイント（対象点データ）が投影された「距離画像」であって、投影された位置に、少なくともＬｉＤＡＲ２のセンサ位置との距離の単調増加関数となるサイズを有する「面パッチ」を設定し、「面パッチ」内の画素値を、「面パッチ」に係る対象ポイントと（当該距離画像」と）の距離に基づいて決定した「距離画像」を生成する距離画像生成部１１３と、
（Ｃ）生成された「距離画像」に含まれている対象を、所定の識別器を用いて特定する対象特定部１１５と
を有している。
このように、対象識別装置１では、ＬｉＤＡＲ２のセンサ位置との距離の単調増加関数となるサイズを有する、距離適応的な「面パッチ」を採用している。すなわち、この距離が小さくポイントが密集する傾向にある場合には、サイズのより小さい「面パッチ」を採用して、密度の高い各ポイントの距離情報をより正確に反映させつつ、「面パッチ」同士が重畳して距離に係る画素値が重なってしまう事態を回避する。一方、この距離が大きくポイントがまばらになる傾向にある場合には、サイズのより大きい「面パッチ」を採用し、まばらな各ポイントの距離情報をより確実に補間するのである。
このように距離適応的な「面パッチ」を採用することによって、均一性や平滑性を備えており対象の識別・分類により適した画素値分布を有する距離画像を生成することができる。すなわち、例えばＲＧＢ画像に頼ることなく、この距離画像によって、対象の識別・分類処理を好適に実施することができるのである。
また一般に、ポイントクラウドのポイント密度はセンサ位置との距離に応じて変化することから、面パッチのサイズは非常に重要なパラメータとなるにもかかわらず、従来固定的に設定されてきた。これに対し、本発明によれば、距離適応的なサイズを調整して採用するので、後の解析においてより好適となる距離画像が生成されるのである。
ちなみに、対象識別装置１は、取得されたポイントクラウド全体を投影して距離画像を生成するのではなく、「対象ポイントクラウド」毎に距離画像を生成する。そのため、各「対象ポイントクラウド」とＬｉＤＡＲ２のセンサ位置との距離に個別に対応したサイズを有する面パッチを備えた、後の対象分類により好適な距離画像が実現される。
なお当然に、本発明による対象識別装置が点群（ポイントクラウド）情報を取得する先は、ＬｉＤＡＲデバイスに限定されるものではない。例えば、レーダ（Radar，Radio detecting and ranging）デバイスや、スキャニングソナー（Scanning Sonar (Sound navigation and ranging)）デバイスから点群情報を取得し、解析することも可能である。
また当然に、このような測距センサデバイスが搭載／設置される対象も、自動車に限定されるものではない。例えば、飛行するドローンや、各種交通機関、歩行者・走者等や、さらには屋外・屋内の定位置等、周囲にある対象（特に、地面や路面等の地上に存在する対象）を識別したいとのニーズがあるものならば様々なものが、デバイス搭載／設置対象となる。
同じく図１の機能ブロック図によれば、本実施形態の対象識別装置１は、ＬｉＤＡＲ２との間で情報の授受を可能にする入出力インタフェース１０１と、ポイントクラウド蓄積部１０２と、対象ポイントクラウド蓄積部１０３と、距離画像蓄積部１０４と、対象情報記憶部１０５と、キーボード・ディスプレイ（ＫＢ・ＤＰ）１０６と、プロセッサ・メモリとを有する。
ここで、このプロセッサ・メモリは、本発明による対象識別プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この対象識別プログラムを実行することによって、対象識別処理を実施する。このことから、対象識別装置１は、対象識別専用装置又はユニットであってもよいが、本発明による対象識別プログラムを搭載した、例えばパーソナル・コンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等とすることも可能である。
さらに、プロセッサ・メモリは、グラウンド除去部１１１と、ポイントクラウド区分部１１２と、投影面生成部１１３ａ及びパッチ設定部１１３ｂを含む距離画像生成部１１３と、平滑処理部１１４と、対象特定部１１５と、入出力制御部１２１とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された対象識別プログラムの機能と捉えることができる。また、図１における対象識別装置１の機能構成部間を矢印で接続して示した処理の流れは、本発明による対象識別方法の一実施形態としても理解される。
同じく図１に示す実施形態において、入出力インタフェース１０１は、ＬｉＤＡＲ２から、１フレームにヘッド１周（360°）分のポイントクラウド情報を含む信号を取得し、このポイントクラウドを、ポイントクラウド蓄積部１０２に適宜バッファしつつ、グラウンド除去部１１１へ出力する。この際、ポイントクラウドに対し、ノイズやまばらに存在する外れ値を除去すべく、公知の方法でフィルタ処理が実施されることも好ましい。
［グラウンド除去処理］
グラウンド除去部１１１は、入力したポイントクラウドから所定の平滑条件を満たす平滑ポイントクラウドを抽出して、この平滑ポイントクラウドから鉛直方向に垂直な面を構成するグラウンド・ポイントクラウドを抽出し、（ａ）平滑ポイントクラウドのうちでグラウンド・ポイントクラウドの近傍となるポイントクラウド部分と、（ｂ）グラウンド点群とを、入力したポイントクラウドから除去する。
グラウンド除去部１１１は、入力したポイントクラウドから所定の平滑条件を満たす平滑ポイントクラウドを抽出して、この平滑ポイントクラウドから鉛直方向に垂直な面を構成するグラウンド・ポイントクラウドを抽出し、（ａ）平滑ポイントクラウドのうちでグラウンド・ポイントクラウドの近傍となるポイントクラウド部分と、（ｂ）グラウンド点群とを、入力したポイントクラウドから除去する。
ここで、入力されたポイントクラウドは、例えば、道路、歩道、道路内の安全地帯、自動車、歩行者、自転車（に載った人物）や、ポール等、種々の対象に係る情報を含んでいるが、これらの対象を分離・区分する対象の境界やエッジの情報を直接含んでいるわけではない。そこで、入力されたポイントクラウドから、ポイントクラウド内の多くの部分においてこれらの対象を繋ぐように存在しているグラウンド（面）を除去することによって、この後の対象区分処理を実施し易くするのである。
具体的には１つの実施形態として、以下のグラウンド除去処理が実施されることも好ましい。
（ア）最初に、入力したポイントクラウドから、公知である所定の平滑条件を満たさないポイントクラウド・セグメントを一度除外する。この時点で、ポイントクラウドには、「グラウンド」と、「グラウンドと連続する(坂や歩道等の)平滑オブジェクト」と、「平滑な物体」とが含まれている。
（イ）次いで、ＲＡＮＳＡＣ（RANdom SAmple Consensus）法を用い、上記（ア）で残ったポイントクラウドにおいて、鉛直方向（ｚ軸方向）に垂直な面を構成する「グラウンド」を検出する。
（ア）最初に、入力したポイントクラウドから、公知である所定の平滑条件を満たさないポイントクラウド・セグメントを一度除外する。この時点で、ポイントクラウドには、「グラウンド」と、「グラウンドと連続する(坂や歩道等の)平滑オブジェクト」と、「平滑な物体」とが含まれている。
（イ）次いで、ＲＡＮＳＡＣ（RANdom SAmple Consensus）法を用い、上記（ア）で残ったポイントクラウドにおいて、鉛直方向（ｚ軸方向）に垂直な面を構成する「グラウンド」を検出する。
（ウ）さらに、上記（ア）で残ったポイントクラウド・セグメントから、検出された「グラウンド」との距離が所定閾値以上のポイントクラウド・セグメントを「平滑な物体」と判断して除外する。これにより結局、「グラウンド」及び「グラウンドと連続する平滑オブジェクト」が残ることになる。
（エ）最後に、入力したポイントクラウドから、上記（ウ）で残ったポイントクラウド・セグメントを除去する。
（エ）最後に、入力したポイントクラウドから、上記（ウ）で残ったポイントクラウド・セグメントを除去する。
ちなみに、上記（ア）の処理は、例えば、T. Rabbania, F.A. van den Heuvelb, and G. Vosselmanc, “Segmentation of point clouds using smoothness constraint”, ISPRS, 36(5)，２００６年に記載された、平滑条件を用いた領域形成法（region growing）により、平面領域を検出することによって実施することができる。これにより、歩道のような若干傾斜した又はわずかな不連続部分を有する平面部分も、入力したポイントクラウドから区分することが可能となるのである。
また、上記（イ）の公知の手法であるＲＡＮＳＡＣについては、例えば、M. Fisher and R. Bolles, “Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography”, Comm. of the ACM, 24(6)，１９８１年に記載されている。
［ポイントクラウド区分処理］
同じく図１において、ポイントクラウド区分部１１２は、グラウンド除去部１１１でグラウンド除去処理の施されたポイントクラウドを、ポイント（データ）間の距離に基づいて、互いに隣接したポイント（データ）の集合である対象ポイントクラウドに区分する。
同じく図１において、ポイントクラウド区分部１１２は、グラウンド除去部１１１でグラウンド除去処理の施されたポイントクラウドを、ポイント（データ）間の距離に基づいて、互いに隣接したポイント（データ）の集合である対象ポイントクラウドに区分する。
１つの実施形態として、ポイントクラウド区分部１１２は、所定の距離条件を適用して、ポイントクラウド内のポイントをグループ化してもよい。ここで、ポイント間の距離にはユークリッド距離が採用されることも好ましい。
具体的には、まず、リストが空であるクラスタを有するkd木（kd-tree，k-dimensional tree）を生成し、所定の距離条件を満たして互いに近接するポイントの集合を同一のクラスタに割り当てて、ポイントクラウドをクラスタに分類し、各クラスタに属するポイントの集合を、区分された各対象ポイントクラウドとしてもよい。ここで、kd木は、k次元のユークリッド空間にある点を分類するための公知の空間分割データ構造の一種である。
なお、生成された対象ポイントクラウドは適宜、対象ポイントクラウド蓄積部１０３に保存され、適宜取り出されて次の処理に使用されることも好ましい。
図２は、以上に説明したグラウンド除去部１１１及びポイントクラウド区分部１１２での処理の一実施例を示した模式図である。
図２（Ａ）には、グラウンド除去部１１１によるグラウンド除去処理の一実施例が、ポイントクラウド分布図を用いて模式的に示されている。同図によれば、入力されたポイントクラウドから、グラウンド・ポイントクラウド（「グラウンド」及び「グラウンドと連続する平滑オブジェクト」）を差し引き、グラウンド除去処理後のポイントクラウドが生成されている。
次いで、この処理後のポイントクラウドに対し、kd木を用いたポイントクラウド区分処理が施されることによって、図２（Ｂ）に示した対象ポイントクラウドが生成されるのである。ここで、図２（Ｂ）では、１つの閉じた破線内の点群が１つの対象ポイントクラウドとなっている。
ここで、このように生成された個々の対象ポイントクラウドについて、この後詳述するように距離画像が生成される。これは、ポイントクラウド全体を投影して距離画像を生成することに比べ、相当の計算量の低減となるのである。
［距離画像生成処理］
以下、対象識別装置１の主要部である距離画像生成部１１３（図１）において実施される投影面生成・面パッチ設定処理の一実施形態を説明する。
以下、対象識別装置１の主要部である距離画像生成部１１３（図１）において実施される投影面生成・面パッチ設定処理の一実施形態を説明する。
図３は、本発明に係る投影面生成・面パッチ設定処理の一実施形態を説明するための模式図である。ちなみに、同図では、ＬｉＤＡＲ２によって検出されるポイントクラウドについてのxyz座標系と、投影面内のij座標系とが設定されている。これらの座標系について、本実施形態では、z軸及びj軸が鉛直方向の軸となっており、xy面が水平面となっているが、本来当然、これに限定されるものではない。
図３（Ａ）及び（Ｂ）には、ＬｉＤＡＲ２のセンサ位置sと生成される投影面PSとの関係が模式的に示されている。同図に示すように、距離画像生成部１１３（図１）の投影面生成部１１３ａは、ポイントクラウド区分部１１２で生成された対象ポイントクラウド毎に、
（ａ）当該対象ポイントクラウドに含まれるポイントのうちで、ＬｉＤＡＲ２のセンサ位置s(xs, ys, zs)に最も近い対象ポイント（対象点データ）である基準ポイント（基準点データ）P0(x0, y0, z0)と、ＬｉＤＡＲ２のセンサ位置sとを含む鉛直面に垂直であり、かつ
（ｂ）この基準ポイントP0を含む
鉛直面（z軸を含む面）を、投影面PSに設定する。すなわち、対象ポイントクラウドの基準ポイントP0に応じて投影面PSを生成するのである。
（ａ）当該対象ポイントクラウドに含まれるポイントのうちで、ＬｉＤＡＲ２のセンサ位置s(xs, ys, zs)に最も近い対象ポイント（対象点データ）である基準ポイント（基準点データ）P0(x0, y0, z0)と、ＬｉＤＡＲ２のセンサ位置sとを含む鉛直面に垂直であり、かつ
（ｂ）この基準ポイントP0を含む
鉛直面（z軸を含む面）を、投影面PSに設定する。すなわち、対象ポイントクラウドの基準ポイントP0に応じて投影面PSを生成するのである。
また、距離画像生成部１１３（図１）のパッチ設定部１１３ｂは本実施形態において、各対象ポイントが投影された投影面PS上の位置に、
（ａ）ＬｉＤＡＲ２のセンサ位置sと投影面PSとの距離r0と、
（ｂ）ＬｉＤＡＲ２の（出力したポイントクラウドに係る）分解能（角分解能α及びβ）と
について単調増加関数となるサイズを有する面パッチSPを設定する。
（ａ）ＬｉＤＡＲ２のセンサ位置sと投影面PSとの距離r0と、
（ｂ）ＬｉＤＡＲ２の（出力したポイントクラウドに係る）分解能（角分解能α及びβ）と
について単調増加関数となるサイズを有する面パッチSPを設定する。
距離画像生成部１１３は、図３（Ｃ）に示すように、以上のように設定された面パッチSPを、投影される対象ポイントPn毎に投影面PSに設定することによって、距離画像を生成するのである。
ここで、面パッチSPのサイズ設定については、後に図４（Ａ）及び（Ｂ）を用いて詳細に説明を行う。
また、パッチ設定部１１３ｂは、面パッチSP内の画素値gn(in ,jn)を、面パッチSPに係る対象ポイントPn(xn, yn, zn)と投影面PSとの距離dnに基づいて決定する。例えば、画素値gnを距離dn（gn＝dn）とすることができる。いずれにしても、距離dnは、面パッチSP内に存在する全ての画素の画素値を決定する強度値となっているのである。
なお、この距離dnの算出については、対象ポイントPnと投影面PSとのユークリッド距離を直接計算するのではなく、対象ポイントPnにおけるＬｉＤＡＲ２のセンサ位置sからの距離及び方向に係る情報に基づいて算出することも好ましい。具体的には、図３（Ｂ）に示す幾何学的関係から、次式
（１） dn＝Rn＊cosθn−r0
を用い、画素値gnに係る距離dnを、より少ない計算量で導出することができる。
（１） dn＝Rn＊cosθn−r0
を用い、画素値gnに係る距離dnを、より少ない計算量で導出することができる。
ここで上式（１）において、Rn及びθnはそれぞれ、対象ポイントPnにおけるＬｉＤＡＲ２のセンサ位置sからのxy面（水平面）内における距離及び方向角であり、ＬｉＤＡＲ２から取得されるポイントクラウド情報に含まれている又は当該情報から容易に算出される値となっている。
また、ＬｉＤＡＲ２のセンサ位置sと投影面PSとの距離r0は、センサ位置sから投影面PSに向かう垂線ベクトルR0の大きさであって、センサ位置sと基準ポイントP0とのxy面（水平面）内での距離ともなっており、次式
（２） r0＝((x0−xs)2＋(y0−ys)2)0.5
によっても算出可能である。
（２） r0＝((x0−xs)2＋(y0−ys)2)0.5
によっても算出可能である。
さらに、面パッチSP内の画素値gnの位置座標in及びjnは、ij座標系の原点をxy面（水平面）内に設けた場合に、それぞれ次式
（３） in＝Rn＊sinθn
（４） jn＝zn
を用いて決定することができる。
（３） in＝Rn＊sinθn
（４） jn＝zn
を用いて決定することができる。
図４は、本発明に係る面パッチ設定処理の一実施形態を説明するための模式図である。ちなみに、同図でも、図３と同様、ポイントクラウドxyz座標系と、投影面内のij座標系とが設定されている。
図４（Ａ）の実施形態によれば、投影面PS（のij座標系）上において、i軸方向の幅がWwであってj軸方向の高さがWhである矩形の面パッチSPが、その中心を対象ポイント投影位置として設定されている。同図に示したように通常、対象ポイントは、生成する距離画像の画素の全てに投影されるほどの密度を有していない。そこで、これら対象ポイント間の画像領域を補間するために面パッチSPが設定されるのである。
また、この対象ポイントの密度は、上述したようにＬｉＤＡＲ２のセンサ位置との距離によって、さらにはＬｉＤＡＲ２の分解能によって変化する。これに的確に対応するため、本実施形態では図４（Ｂ）に示すように、幅Ww及び高さWhを、次式
（５） Ww＝r0＊tanβ
（６） Wh＝r0＊tanα
をもって規定した面パッチSPが準備されるのである。ここで、上式（５）のβは、ＬｉＤＡＲ２の水平方向（xy面内方向での）での角分解能であり、上式（６）のαは、ＬｉＤＡＲ２の垂直方向（z軸方向での）での角分解能である。
（５） Ww＝r0＊tanβ
（６） Wh＝r0＊tanα
をもって規定した面パッチSPが準備されるのである。ここで、上式（５）のβは、ＬｉＤＡＲ２の水平方向（xy面内方向での）での角分解能であり、上式（６）のαは、ＬｉＤＡＲ２の垂直方向（z軸方向での）での角分解能である。
上式（５）及び（６）によれば、面パッチSPは、ＬｉＤＡＲ２のセンサ位置との距離が小さいほど、またＬｉＤＡＲ２の分解能が高いほど（α値やβ値が小さいほど）、密度の高くなる対象ポイントに対応してより小さいサイズに設定される。その結果、面パッチ同士が重畳して距離値（画素値）がオーバーラップしてしまう事態を回避することができる。一方、ＬｉＤＡＲ２のセンサ位置との距離が大きいほど、またＬｉＤＡＲ２の分解能が低いほど（α値やβ値が大きいほど）、密度の低下する対象ポイントに対応してより大きいサイズに設定される。その結果、画素値に対し十分な補間処理を行うことができる。
このように、距離・分解能について適応的な面パッチSPを適用することによって、均一性や平滑性を備えた好適な距離画像を生成することが可能となるのである。
なお、面パッチSPのサイズは、距離r0や角分解能の関数であるとしても当然に、上式（５）や上式（６）の形に限定されるものではない。少なくとも距離r0や角分解能の単調増加関数であれば、種々の関数形が採用可能である。
なお、対象ポイントクラウド毎に生成された距離画像は適宜、距離画像蓄積部１０４に保存され、適宜取り出されて次の処理に使用されることも好ましい。
図１に戻って、平滑処理部１１４は、生成された距離画像の画素値に対して平滑処理を行う。具体的には、
（ａ）距離画像の全画素値を所定範囲内の値に規格化して、後の対象分類用の識別器に入力するのに適した形に調整した上で、
（ｂ）例えばガウシアンフィルタ（Gaussian filter）を用いて、画素値分布を平滑にし、さらにノイズを低減させる
ことも好ましい。
（ａ）距離画像の全画素値を所定範囲内の値に規格化して、後の対象分類用の識別器に入力するのに適した形に調整した上で、
（ｂ）例えばガウシアンフィルタ（Gaussian filter）を用いて、画素値分布を平滑にし、さらにノイズを低減させる
ことも好ましい。
図５は、距離画像生成部１１３で生成された距離画像の一実施例を説明するための模式図である。
本実施例では図５（Ａ）に示すように、ＬｉＤＡＲ２によって、前方を走行する自動車の背面を捉えた結果としての対象ポイントクラウドが生成され、この対象ポイントクラウドから、距離画像が生成されている。ここで、本実施例では、対象ポイントクラウドは、ＬｉＤＡＲ２から見たポイント分布正面図として把握されていることが分かる。
一方、比較例として、この対象ポイントクラウドを上空から見た場合のポイント分布平面図（上面図）を図５（Ｂ）に示す。図５（Ｂ）によれば、図５（Ａ）と比べると、ポイント間の距離が、対象（自動車）表面形状やレーザ反射特性に依存して大きく変化し、ポイント分布の様子が、ＬｉＤＡＲ２位置から見た対象の見かけ（appearance）からは大きくかけ離れている。また、同等の位置にポイントが複数重なってしまった領域も発生しており、対象表面の情報が相当に喪失していることが分かる。
これに対し、本実施例の対象ポイントクラウドを投影して生成した距離画像は、図５（Ｃ）に示す対応するＲＧＢ画像と同様の対象形状を表現できているのである。
このように、本実施例では、上述したように投影面PSがＬｉＤＡＲ２に正対して設定されるので、生成された距離画像は、対象におけるＬｉＤＡＲ２側の面の様子を反映した、言い換えると、ＬｉＤＡＲ２位置から見た対象の見かけの情報及び対象表面の情報を十分に反映した画像となっている。その結果、この後実施される対象識別・分類処理が、そのような見かけを学習した既存の分類・識別フレームワークを利用することによって、より精度よく実施可能となるのである。
図６は、本発明に係る面パッチを適用して生成した距離画像の実施例と、従来の固定サイズの面パッチを用いて生成した距離画像の比較例とを示す模式図である。
図６には、
（ａ）本発明に係る、距離・分解能に応じたサイズを有する面パッチSPを適用して生成した、（自動車、走行している人物、及び立っている人物の）距離画像の実施例と、
（ｂ）従来の固定サイズ（2(ピクセル)×2(ピクセル)，5×5，10×10，15×15，20×20）を有する面パッチを用いて生成した（自動車、走行している人物、及び立っている人物の）距離画像の比較例と
が示されている。
（ａ）本発明に係る、距離・分解能に応じたサイズを有する面パッチSPを適用して生成した、（自動車、走行している人物、及び立っている人物の）距離画像の実施例と、
（ｂ）従来の固定サイズ（2(ピクセル)×2(ピクセル)，5×5，10×10，15×15，20×20）を有する面パッチを用いて生成した（自動車、走行している人物、及び立っている人物の）距離画像の比較例と
が示されている。
図６によれば、比較例では、小さい面パッチを用いた場合には、距離画像において画素値の飛び（ギャップ）が目立ち、一方、大きい面パッチを用いた場合には、面パッチの重畳した箇所が見受けられる。これに対し、本実施例では、画素値の重なりの無い均一な、且つ平滑な画素値分布を有する距離画像の実現されていることが理解される。
図７は、距離画像生成部１１３及び平滑処理部１１４での処理の一実施形態における概略を説明するためのフローチャートである。
（Ｓ１０１）ポイントクラウド区分部１１２から対象ポイントクラウドを取得する。
（Ｓ１０２）対象ポイントクラウドのうち、ＬｉＤＡＲ２のセンサ位置に最も近いポイントを基準ポイントに設定する。
（Ｓ１０３）設定した基準ポイントとＬｉＤＡＲ２のセンサ位置とを含む鉛直面に垂直な鉛直面であって、基準ポイントを含む鉛直面を、投影面PSとして設定する。
（Ｓ１０２）対象ポイントクラウドのうち、ＬｉＤＡＲ２のセンサ位置に最も近いポイントを基準ポイントに設定する。
（Ｓ１０３）設定した基準ポイントとＬｉＤＡＲ２のセンサ位置とを含む鉛直面に垂直な鉛直面であって、基準ポイントを含む鉛直面を、投影面PSとして設定する。
（Ｓ１０４）投影面PSとＬｉＤＡＲ２のセンサ位置との距離r0と、ＬｉＤＡＲ２の角分解能α及びβとから算出されるサイズを有する面パッチSPを生成する。
（Ｓ１０５）各対象ポイントと投影面PSとの距離を算出する。
（Ｓ１０６）算出された距離値を面パッチSP内画素の画素値に決定し、距離画像を生成する。
（Ｓ１０７）距離画像の画素値を所定範囲内の値に規格化する。
（Ｓ１０８）画素値の規格化された距離画像に対し、平滑処理を実施する。
（Ｓ１０５）各対象ポイントと投影面PSとの距離を算出する。
（Ｓ１０６）算出された距離値を面パッチSP内画素の画素値に決定し、距離画像を生成する。
（Ｓ１０７）距離画像の画素値を所定範囲内の値に規格化する。
（Ｓ１０８）画素値の規格化された距離画像に対し、平滑処理を実施する。
［対象識別・分類処理］
次に、以上のような処理によって生成・調整された距離画像を用い、当該距離画像に含まれた対象を識別・特定する処理の一実施形態を説明する。
次に、以上のような処理によって生成・調整された距離画像を用い、当該距離画像に含まれた対象を識別・特定する処理の一実施形態を説明する。
図１に戻って、対象特定部１１５は、生成された平滑処理後の距離画像に対し、当該距離画像に含まれている対象を、所定の識別器を用いて特定する。ここで使用可能な識別器の例として、公知の高速Ｒ-ＣＮＮ（Regions with Convolutional Neural Network features）が挙げられる。Ｒ−ＣＮＮは一般に、ＦＣＮ（Fully Convolutional Network）によって対象領域候補を決定する領域候補決定部と、ＣＮＮによって対象領域候補から特徴量を算出する特徴検出部と、算出された特徴量が適合するラベルを決定するラベル分類部とを含む。
なお、高速Ｒ−ＣＮＮについては例えば、S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”, Proc. of NIPS，２０１５年において詳細に解説されている。
対象特定部１１５は最初に、予め対象の距離画像と当該対象の正解ラベルとのデータセットをもって学習処理を実施し、Ｒ−ＣＮＮの学習済み識別モデルを生成する。ここで学習させる対象には、例えば（自動運転技術への適用の場合）、道路走行中に検出される移動体（自動車や歩行者等）が含まれる。
対象特定部１１５は、次いで、平滑処理部１１４から取得された平滑処理後の距離画像を、この学習済み識別モデルに入力する。これにより、出力として、入力した距離画像に係る対象ポイントクラウドに含まれている対象の種別（例えば自動車や歩行者等）を特定したラベルを得るのである。
ここで、Ｒ−ＣＮＮによれば、入力距離画像内における対象位置を領域候補として個別に検出可能となっている。したがって、対象特定部１１５は、１つの対象ポイントクラウドが複数の対象の情報を含んでいる場合においても、個々の対象を個別に検出して分類することができる。例えば、互いに近接した複数人の歩行者を含む距離画像についても、歩行者集団としての分類結果（ラベル）を出力することができるのである。
また、対象特定部１１５で処理される距離画像は、対象の見かけ（appearance）に基づく対象形状表現となっており、一方、対象特定部１１５のＲ-ＣＮＮ識別モデルも、距離画像の見かけを学習したものとなっている。その結果、分類対象として入力される距離画像において、対象同士のオクルージョン、対象部分の欠損、対象同士の繋がったあいまいな部分（connected blob）や、不完全なグラウンド除去処理等の不都合な現象が多少生じていたとしても、それらの影響を概ね受けることなく、それらの現象に対しても頑健な識別・分類処理を実施することが可能となっている。
すなわち、対象特定部１１５での識別・分類処理は、例えば幾何学的特徴に基づいた識別・分類を行うわけではないので、分類対象として入力される距離画像において、対象の完全な形状の情報を必要とするものではないのである。
以上説明したように生成された識別・分類結果（及び場合によっては平滑処理された距離画像そのもの）は、装置１に搭載された（例えば自動運転用の）アプリケーション・プログラム（ＡＰ）１３１に取り込まれ、その出力が、入出力インタフェース１０１を介して、装置１外の各種制御装置や情報処理装置に提供されてもよい。また、例えばユーザによるキーボード１０６からの表示指示を受けてディスプレイ１０６に表示されることも可能である。
また、生成された識別・分類結果は、生成される毎に、又は適宜、対象情報記憶部１０５に記憶され、適宜取り出されて利用されることも好ましい。特に、ここでの分類結果（ラベル）は、対象特定部１１５における識別器の学習処理に利用することができる。これにより、人手によるラベル付けの負担が大幅に軽減可能となる。
以上詳細に説明したように、本発明によれば、測距センサ位置との距離の単調増加関数となるサイズを有する、距離適応的な「面パッチ」を採用することによって、均一性や平滑性を備えており対象の識別・分類により適した画素値分布を有する距離画像を生成することができる。
また、取得された点群（ポイントクラウド）全体を投影して距離画像を生成するのではなく、対象点群毎に距離画像を生成する。その結果、各対象点群とＬｉＤＡＲ２のセンサ位置との距離に個別に適応したサイズを有する面パッチを備えた、後の対象分類に好適な距離画像が実現されるのである。
ちなみに、本発明の構成及び方法は、例えば、自動運転車、ドローンや各種ロボット等の分野において、高度な「視覚」の機能を実現するためのダイナミックマッピング技術として応用可能となっている。
以上に述べた本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ 対象追跡装置
１０１ 入出力インタフェース
１０２ ポイントクラウド蓄積部
１０３ 対象ポイントクラウド蓄積部
１０４ 距離画像蓄積部
１０５ 対象情報記憶部
１０６ キーボード・ディスプレイ（ＫＢ・ＤＰ）
１１１ グラウンド除去部
１１２ ポイントクラウド区分部
１１３ 距離画像生成部
１１３ａ 投影面生成部
１１３ｂ パッチ設定部
１１４ 平滑処理部
１１５ 対象特定部
１２１ 入出力制御部
１３１ アプリケーション・プログラム（ＡＰ）
２ ＬｉＤＡＲ
１０１ 入出力インタフェース
１０２ ポイントクラウド蓄積部
１０３ 対象ポイントクラウド蓄積部
１０４ 距離画像蓄積部
１０５ 対象情報記憶部
１０６ キーボード・ディスプレイ（ＫＢ・ＤＰ）
１１１ グラウンド除去部
１１２ ポイントクラウド区分部
１１３ 距離画像生成部
１１３ａ 投影面生成部
１１３ｂ パッチ設定部
１１４ 平滑処理部
１１５ 対象特定部
１２１ 入出力制御部
１３１ アプリケーション・プログラム（ＡＰ）
２ ＬｉＤＡＲ
Claims (9)
- 測距センサによって取得された、対象の情報を含み得る点群から、当該対象を識別する対象識別装置であって、
当該点群を、点データ間の距離に基づいて、互いに隣接した点データの集合である対象点群に区分する点群区分手段と、
当該対象点群に含まれる対象点データが投影された距離画像であって、投影された位置に、少なくとも前記測距センサとの距離の単調増加関数となるサイズを有する面パッチを設定し、当該面パッチ内の画素値を、当該面パッチに係る対象点データと当該距離画像との距離に基づいて決定した距離画像を生成する距離画像生成手段と、
生成された当該距離画像に含まれている対象を、所定の識別器を用いて特定する対象特定手段と
を有することを特徴とする対象識別装置。 - 前記距離画像生成手段は、当該対象点群のうちで前記測距センサに最も近い対象点データである基準点データと前記測距センサとを含む鉛直面に垂直な鉛直面であって、当該基準点データを含む鉛直面に、当該距離画像を生成することを特徴とする請求項１に記載の対象識別装置。
- 前記距離画像生成手段は、当該距離画像と前記測距センサとの距離と、前記測距センサに係る分解能とについて単調増加関数となるサイズを有する面パッチを設定することを特徴とする請求項１又は２に記載の対象識別装置。
- 前記距離画像生成手段は、当該面パッチに係る対象点データと当該距離画像との距離を、当該対象点データにおける前記測距センサからの距離及び方向に係る情報に基づいて算出することを特徴とする請求項１から３のいずれか１項に記載の対象識別装置。
- 当該点群から所定の平滑条件を満たす平滑点群を抽出して、当該平滑点群から鉛直方向に垂直な面を構成するグラウンド点群を抽出し、当該平滑点群のうちで当該グラウンド点群の近傍となる点群部分と、当該グラウンド点群とを、当該点群から除去するグラウンド除去手段を更に有し、
前記点群区分手段は、前記グラウンド除去手段によって処理された当該点群を、対象点群に分類する
ことを特徴とする請求項１から４のいずれか１項に記載の対象識別装置。 - 生成された当該距離画像の画素値に対して平滑処理を行う平滑処理手段を更に有し、
前記対象特定手段は、平滑処理後の当該距離画像に含まれた対象を特定する
ことを特徴とする請求項１から５のいずれか１項に記載の対象識別装置。 - 前記測距センサは、ＬｉＤＡＲ（Light Detection and Ranging）デバイスであることを特徴とする請求項１から６のいずれか１項に記載の対象識別装置。
- 測距センサによって取得された、対象の情報を含み得る点群から、当該対象を識別する装置に搭載されたコンピュータを機能させるプログラムであって、
当該点群を、点データ間の距離に基づいて、互いに隣接した点データの集合である対象点群に区分する点群区分手段と、
当該対象点群に含まれる対象点データが投影された距離画像であって、投影された位置に、少なくとも前記測距センサとの距離の単調増加関数となるサイズを有する面パッチを設定し、当該面パッチ内の画素値を、当該面パッチに係る対象点データと当該距離画像との距離に基づいて決定した距離画像を生成する距離画像生成手段と、
生成された当該距離画像に含まれている対象を、所定の識別器を用いて特定する対象特定手段と
としてコンピュータを機能させることを特徴とする対象識別プログラム。 - 測距センサによって取得された、対象の情報を含み得る点群から、当該対象を識別する装置に搭載されたコンピュータにおける対象識別方法であって、
当該点群を、点データ間の距離に基づいて、互いに隣接した点データの集合である対象点群に区分するステップと、
当該対象点群に含まれる対象点データが投影された距離画像であって、投影された位置に、少なくとも前記測距センサとの距離の単調増加関数となるサイズを有する面パッチを設定し、当該面パッチ内の画素値を、当該面パッチに係る対象点データと当該距離画像との距離に基づいて決定した距離画像を生成するステップと、
生成された当該距離画像に含まれている対象を、所定の識別器を用いて特定するステップと
を有することを特徴とする対象識別方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017238396A JP6826023B2 (ja) | 2017-12-13 | 2017-12-13 | 点群から対象を特定する対象識別装置、プログラム及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017238396A JP6826023B2 (ja) | 2017-12-13 | 2017-12-13 | 点群から対象を特定する対象識別装置、プログラム及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019106034A true JP2019106034A (ja) | 2019-06-27 |
| JP6826023B2 JP6826023B2 (ja) | 2021-02-03 |
Family
ID=67061375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017238396A Active JP6826023B2 (ja) | 2017-12-13 | 2017-12-13 | 点群から対象を特定する対象識別装置、プログラム及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6826023B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110488261A (zh) * | 2019-08-23 | 2019-11-22 | 南京理工大学 | 一种基于LiDAR的货架定位孔检测装置及方法 |
| CN111353409A (zh) * | 2020-02-25 | 2020-06-30 | 深圳前海达闼云端智能科技有限公司 | 容器识别方法、装置和机器人 |
| JP2021108091A (ja) * | 2019-12-27 | 2021-07-29 | 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ | ２ｄ画像のラベリング情報に基づく３ｄ画像ラベリング方法及び３ｄ画像ラベリング装置 |
| CN114384492A (zh) * | 2022-03-24 | 2022-04-22 | 北京一径科技有限公司 | 用于激光雷达的点云处理方法及装置、存储介质 |
| KR20220081482A (ko) * | 2020-12-09 | 2022-06-16 | 주식회사 씨에스아이비젼 | 딥 러닝을 이용한 3d 지형 정보 분석기 |
| WO2022196511A1 (ja) * | 2021-03-16 | 2022-09-22 | パイオニア株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| WO2024190436A1 (ja) * | 2023-03-16 | 2024-09-19 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP7556142B2 (ja) | 2020-11-16 | 2024-09-25 | ウェイモ エルエルシー | 点群からの効率的な三次元物体検出 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130218472A1 (en) * | 2010-06-10 | 2013-08-22 | Autodesk, Inc. | Segmentation of ground-based laser scanning points from urban environment |
| JP2014167702A (ja) * | 2013-02-28 | 2014-09-11 | Denso Corp | 物体認識装置及び物体認識方法 |
| JP2017157017A (ja) * | 2016-03-02 | 2017-09-07 | 株式会社神戸製鋼所 | 外乱除去装置 |
| JP2017174197A (ja) * | 2016-03-24 | 2017-09-28 | 日産自動車株式会社 | 立体物検出方法及び立体物検出装置 |
-
2017
- 2017-12-13 JP JP2017238396A patent/JP6826023B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130218472A1 (en) * | 2010-06-10 | 2013-08-22 | Autodesk, Inc. | Segmentation of ground-based laser scanning points from urban environment |
| JP2014167702A (ja) * | 2013-02-28 | 2014-09-11 | Denso Corp | 物体認識装置及び物体認識方法 |
| JP2017157017A (ja) * | 2016-03-02 | 2017-09-07 | 株式会社神戸製鋼所 | 外乱除去装置 |
| JP2017174197A (ja) * | 2016-03-24 | 2017-09-28 | 日産自動車株式会社 | 立体物検出方法及び立体物検出装置 |
Non-Patent Citations (2)
| Title |
|---|
| "DepthCN: Vehicle detection using 3D-LIDAR and ConvNet", 2017 IEEE 20TH INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC), JPN6020049399, 16 October 2017 (2017-10-16), ISSN: 0004425125 * |
| "Instant Object Detection in Lidar Point Clouds", IEEE GEOSCIENCE AND REMOTE SENSING LETTERS, JPN6020049401, 15 May 2017 (2017-05-15), ISSN: 0004425126 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110488261A (zh) * | 2019-08-23 | 2019-11-22 | 南京理工大学 | 一种基于LiDAR的货架定位孔检测装置及方法 |
| JP2021108091A (ja) * | 2019-12-27 | 2021-07-29 | 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ | ２ｄ画像のラベリング情報に基づく３ｄ画像ラベリング方法及び３ｄ画像ラベリング装置 |
| US11100702B2 (en) | 2019-12-27 | 2021-08-24 | Industrial Technology Research Institute | 3D image labeling method based on labeling information of 2D image and 3D image labeling device |
| JP7084444B2 (ja) | 2019-12-27 | 2022-06-14 | 財團法人工業技術研究院 | ２ｄ画像のラベリング情報に基づく３ｄ画像ラベリング方法及び３ｄ画像ラベリング装置 |
| CN111353409A (zh) * | 2020-02-25 | 2020-06-30 | 深圳前海达闼云端智能科技有限公司 | 容器识别方法、装置和机器人 |
| JP7556142B2 (ja) | 2020-11-16 | 2024-09-25 | ウェイモ エルエルシー | 点群からの効率的な三次元物体検出 |
| KR20220081482A (ko) * | 2020-12-09 | 2022-06-16 | 주식회사 씨에스아이비젼 | 딥 러닝을 이용한 3d 지형 정보 분석기 |
| KR102517093B1 (ko) | 2020-12-09 | 2023-04-04 | 주식회사 씨에스아이비젼 | 딥 러닝을 이용한 3d 지형 정보 분석기 |
| WO2022196511A1 (ja) * | 2021-03-16 | 2022-09-22 | パイオニア株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| CN114384492A (zh) * | 2022-03-24 | 2022-04-22 | 北京一径科技有限公司 | 用于激光雷达的点云处理方法及装置、存储介质 |
| WO2024190436A1 (ja) * | 2023-03-16 | 2024-09-19 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6826023B2 (ja) | 2021-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6826023B2 (ja) | 点群から対象を特定する対象識別装置、プログラム及び方法 | |
| US11915502B2 (en) | Systems and methods for depth map sampling | |
| KR102109941B1 (ko) | 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치 | |
| US11455565B2 (en) | Augmenting real sensor recordings with simulated sensor data | |
| US11487988B2 (en) | Augmenting real sensor recordings with simulated sensor data | |
| Chen et al. | Gaussian-process-based real-time ground segmentation for autonomous land vehicles | |
| US10210286B1 (en) | Systems and methods for detecting curbs in three-dimensional point clouds descriptive of streets | |
| JP6561199B2 (ja) | レーザ点群に基づく都市道路の認識方法、装置、記憶媒体及び機器 | |
| WO2020043041A1 (zh) | 点云数据的分割方法和装置、存储介质、电子装置 | |
| US11151788B2 (en) | Systems and methods for presenting a reconstructed representation of a moving object detected in a scene | |
| CN113064135B (zh) | 在3d雷达点云连续帧数据中检测障碍物的方法及装置 | |
| JP6906471B2 (ja) | 点群から対象の向きを推定する対象情報推定装置、プログラム及び方法 | |
| JP2014512591A (ja) | 画像処理 | |
| US11610409B2 (en) | Systems and methods for computer-based labeling of sensor data captured by a vehicle | |
| Józsa et al. | Towards 4D virtual city reconstruction from Lidar point cloud sequences | |
| CN111382637A (zh) | 行人检测跟踪方法、装置、终端设备及介质 | |
| Pillai | Traffic Surveillance Systems through Advanced Detection, Tracking, and Classification Technique | |
| Li et al. | Street tree segmentation from mobile laser scanning data using deep learning-based image instance segmentation | |
| Habermann et al. | 3D point clouds segmentation for autonomous ground vehicle | |
| Börcs et al. | Dynamic 3D environment perception and reconstruction using a mobile rotating multi-beam Lidar scanner | |
| Huang et al. | An efficient multi-threshold selection method for lane detection based on lidar | |
| Józsa et al. | Reconstruction of 3D Urban Scenes Using a Moving Lidar Sensor | |
| Matveev | Methods and algorithms for detecting and classifying moving objects based on the evaluation of an object’s geometrical parameters in an image sequence for smart lighting systems | |
| CN116664809A (zh) | 三维信息获取方法、装置、计算机设备、存储介质和产品 | |
| CN118091599A (zh) | 一种基于激光雷达传感器的场景平面信息识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191124 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210114 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6826023 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |