JP2019191991A - 点群から対象の向きを推定する対象情報推定装置、プログラム及び方法 - Google Patents

Abstract

【課題】点群を用いて、対象の向きをより適切に推定可能な装置を提供する。【解決手段】本装置は、測距センサによって取得された対象の情報を含み得る点群から、対象の向きを推定する対象情報推定装置であり、点群のうちで対象に相当する部分である対象点群に含まれる対象点データを所定の投影面に投影して、対象点群に係る距離画像を生成する距離画像生成手段と、対象の取り得る向きを区分した複数の向き範囲を設定し、距離画像と、距離画像に含まれる対象の正解の向き範囲とをもって学習を行った識別器を用いて、生成された距離画像から、当該距離画像に含まれている対象の向き範囲を決定する対象向き範囲決定手段と、対象点群に含まれる対象点データの所定面上での分布における偏り具合に基づいて、対象の向きに係る方向を決定する対象方向決定手段と、決定された向き範囲及び方向に基づいて、対象の向きを決定する対象向き決定手段とを有する。【選択図】図１

Description

本発明は、ＬｉＤＡＲ（Light Detection And Ranging）デバイス等の測距センサによって取得された、対象の情報を含み得る点群（点データの集合）から、当該対象の情報を推定する技術に関する。

ＬｉＤＡＲデバイスは、可視スペクトル外のレーザパルスを放射し、当該パルスが対象に反射して戻ってくるまでの時間を計測して、当該対象までの距離を測定する測距センサの一種である。

現在、このＬｉＤＡＲデバイスを用いて周囲３６０度の走査を例えば毎秒何百回の頻度で行い、対象の情報を含み得る膨大な３次元点データの集合である点群、すなわち「ポイントクラウド（point cloud）」を生成して解析することにより、周囲にある概ね全ての対象を検知することが可能となっている。そのため、ＬｉＤＡＲデバイスは、自動運転車、ドローンや各種ロボット等における高度な「視覚」の機能を実現するための主幹技術として現在、その開発・応用が急速に進んでいる。

ここで、重要となるポイントクラウド解析の従来技術として、例えば特許文献１には、２眼カメラを用い、ポイントクラウドの平面図（top view）に基づいて人物の移動の軌跡を求めることにより、当該人物の向きを決定する技術が開示されている。この技術では、人物の体の向きは軌跡の示す向きに一致することが仮定されている。また、移動速度が所定閾値未満である場合には、肩のラインに直交する方向と頭部領域の情報とを用いてその向きが決定されている。

また、非特許文献１には、自動車のモデルを再構成して自動車に関する正確な情報を決定する技術が開示されている。ここで、このモデルは、自動車の学習結果から人手で抽出された18個の目印（landmark）のリストの形をとっており、このモデルを構成する三角形片は、対象のポイントクラウドに合わせて変形可能となっている。本技術では、このようなモデルを自動車のポイントクラウドに合わせ込むことによって、自動車の位置や向きといった詳細な情報が取得可能になるとされている。

さらに、非特許文献２には、畳み込みニューラルネットワーク(ＣＮＮ，Convolutional Neural Network)を用いて自動車の識別及びその位置検出を行う技術が開示されている。この技術では対象識別の前に、ポイントクラウドを鳥瞰図（bird's eye view）又は平面図（top view）に変換し、次いで変換図の各ピクセルの値を、設定グリッド内の全ての点における高さの最大値、中央値又は最小値にコード化している。その後、この変換図に対し、高速Ｒ-ＣＮＮ（Faster Regions with Convolutional Neural Networks）を適用することによって、自動車の位置を検知し、さらに車体の回転角を推定しているのである。

欧州特許出願公開第３０９６２６３号明細書

X. Wen, B. Vallet, M. Bredif and N. Paparoditis, "Street-side vehicle detection, classification and change detection using mobile laser scanning data," Journal of Photogrammetry and Remote Sensing (ISPRS), vol. 114，２０１６年，１６６〜１７８頁 S. L. Yu, T. Westfechtel, R. Hamada, K. Ohno and S. Tadokoro, "Vehicle detection and localization on bird's eye view elevation images using convolutional neural network," 2017 IEEE International Symposium on Safety, Security and Rescue Robotics (SSRR)，２０１７年，１０２〜１０９頁

しかしながら、以上に述べたような技術を含む従来技術においては、取得されたポイントクラウドを用いて、対象の向きを適切に推定することは依然困難であるというのが実情である。

例えば、特許文献１に記載の技術においては、人物の向きの決定は、当該人物の移動とその際の姿勢に基づいて行われており、その決定の確からしさにはおのずから限界がある。特に、移動速度の低い場合やある位置に留まっている場合には、肩ラインの方向と、頭部領域の情報とを用いて当該人物の向きを決定しなければならない。ここで、この頭部領域の情報を得るためには、ポイントクラウドではなく、ＲＧＢ画像を取得する必要が生じてしまう。

また、非特許文献１に記載された技術では、対象の位置と向きを決定するために、予め設定したモデルを当該対象のポイントクラウドに合わせ込む処理を行う必要がある。そのため、例えば人物のように移動時にその姿勢が変化し得る多関節の対象に対しては、適切なモデルを予め設定することに限界が存在する。

さらに、対象の一部又は全部が隠れてしまうオクルージョン（occlusion）が発生した場合やポイントクラウドの区分処理に誤差が生じた場合には、このモデルの合わせ込み処理は非常に困難となってしまう。したがって、この技術は、例えば自動車の側面側を走査した結果としてのポイントクラウドが取得されない状況では、適切に機能しない可能性があると考えられる。

また、非特許文献２に記載の技術においては具体的に、取得された対象のポイントクラウドに対し外接矩形（bounding box）を設定して対象の方向を決定しているが、それが必ずしも対象の向きとはなっていない。また、この技術においては、外接矩形をポイントクラウドに合わせるために回転させているが、その際の回転角は垂直軸及び水平軸について−45度〜＋45度の範囲であり、対象の方向を特定するにも限界が存在している。さらにそもそも、対象の進行向きを推定可能な技術になっていないのである。

そこで、本発明は、点群を用いて、対象の向きをより適切に推定可能な装置、プログラム及び方法を提供することを目的とする。

本発明によれば、測距センサによって取得された、対象の情報を含み得る点群から、当該対象の向きを推定する対象情報推定装置であって、
当該点群のうちで当該対象に相当する部分である対象点群に含まれる対象点データを所定の投影面に投影して、当該対象点群に係る距離画像を生成する距離画像生成手段と、
当該対象の取り得る向きを区分した複数の向き範囲を設定し、当該距離画像と、当該距離画像に含まれる対象の正解の向き範囲とをもって学習を行った識別器を用いて、生成された当該距離画像から、当該距離画像に含まれている当該対象の向き範囲を決定する対象向き範囲決定手段と、
当該対象点群に含まれる対象点データの所定面上での分布における偏り具合に基づいて、当該対象の向きに係る方向を決定する対象方向決定手段と、
決定された当該向き範囲及び当該方向に基づいて、当該対象の向きを決定する対象向き決定手段と
を有する対象情報推定装置が提供される。

この本発明による対象情報推定装置の一実施形態として、対象方向決定手段は、当該対象点群に含まれる対象点データの当該所定面上での分布に対する主成分分析結果に基づいて、当該対象の向きに係る方向を決定することも好ましい。

また、この実施形態において、対象方向決定手段は、当該主成分分析結果として得られた２つの固有ベクトルに係る２つの方向角を決定し、対象向き決定手段は、決定された当該方向角及び当該方向角とは正反対の向きに相当する方向角のうち、決定された当該向き範囲に含まれる方向角を当該対象の向きに決定することも好ましい。

さらに、上記の実施形態において、対象向き範囲決定手段は、当該識別器を用いて、生成された当該距離画像に含まれている対象の種別をも決定し、対象方向決定手段は、決定された対象の種別に基づいて、当該主成分分析結果として得られた２つの固有ベクトルに係る２つの方向のうち、いずれかを当該対象の向きに係る方向として選択することも好ましい。

また、本発明による対象情報推定装置における他の実施形態として、対象方向決定手段は、決定した当該方向を用いて、当該対象点データの所定面上での分布に対する外接図形に係る情報を更に決定することも好ましい。

さらに、本発明による対象情報推定装置は、当該点群を、点データ間の距離に基づいて、互いに隣接した点データの集合である対象点群に区分する点群区分手段を更に有することも好ましい。

また、本発明による対象情報推定装置における更なる他の実施形態として、
本対象情報推定装置は、当該対象点群の周囲のグラウンド点群の傾斜から当該対象の傾きを決定し、当該対象点群に含まれる対象点データに対して当該傾き分を除去する変換を施す対象傾き除去手段を更に有し、
対象方向決定手段は、当該変換を施された当該対象点データにおける当該所定面上での分布における偏り具合に基づいて、当該対象の向きに係る方向を決定することも好ましい。

さらに、本発明の対象情報推定装置における距離画像生成手段は、当該対象点群のうちで測距センサに最も近い対象点データである基準点データと測距センサとを含む鉛直面に垂直な鉛直面であって、当該基準点データを含む鉛直面を、当該投影面に設定することも好ましい。

また、本発明による対象情報推定装置における更なる他の実施形態として、
距離画像生成手段は、当該対象点群に含まれる対象点データが投影された当該投影面の位置に、測距センサとの距離と、測距センサに係る分解能とについて単調増加関数となるサイズを有する面パッチを設定し、当該面パッチ内の画素値を、当該面パッチに係る対象点データと当該距離画像との距離に基づいて決定した距離画像を生成することも好ましい。

さらに、本発明に係る測距センサは、ＬｉＤＡＲ（Light Detection and Ranging）デバイスであることも好ましい。また、本発明の対象情報推定装置における対象向き範囲決定手段は、当該複数の向き範囲として、全周を９０度ずつに区分した４つの向き範囲を設定することも好ましい。

本発明によれば、また、測距センサによって取得された、対象の情報を含み得る点群から、当該対象の向きを推定する装置に搭載されたコンピュータを機能させるプログラムであって、
当該点群のうちで当該対象に相当する部分である対象点群に含まれる対象点データを所定の投影面に投影して、当該対象点群に係る距離画像を生成する距離画像生成手段と、
当該対象の取り得る向きを区分した複数の向き範囲を設定し、当該距離画像と、当該距離画像に含まれる対象の正解の向き範囲とをもって学習を行った識別器を用いて、生成された当該距離画像から、当該距離画像に含まれている当該対象の向き範囲を決定する対象向き範囲決定手段と、
当該対象点群に含まれる対象点データの所定面上での分布における偏り具合に基づいて、当該対象の向きに係る方向を決定する対象方向決定手段と、
決定された当該向き範囲及び当該方向に基づいて、当該対象の向きを決定する対象向き決定手段と
としてコンピュータを機能させる対象情報推定プログラムが提供される。

本発明によれば、さらに、測距センサによって取得された、対象の情報を含み得る点群から、当該対象の向きを推定する装置に搭載されたコンピュータにおける対象情報推定方法であって、
当該点群のうちで当該対象に相当する部分である対象点群に含まれる対象点データを所定の投影面に投影して、当該対象点群に係る距離画像を生成するステップと、
当該対象の取り得る向きを区分した複数の向き範囲を設定し、当該距離画像と、当該距離画像に含まれる対象の正解の向き範囲とをもって学習を行った識別器を用いて、生成された当該距離画像から、当該距離画像に含まれている当該対象の向き範囲を決定するステップと、
当該対象点群に含まれる対象点データの所定面上での分布における偏り具合に基づいて、当該対象の向きに係る方向を決定するステップと、
決定された当該向き範囲及び当該方向に基づいて、当該対象の向きを決定するステップと
を有する対象情報推定方法が提供される。

本発明の対象情報推定装置、プログラム及び方法によれば、点群を用いて、対象の向きをより適切に推定することができる。

本発明による対象情報推定装置を含む対象情報推定システムの一実施形態を示す模式図である。 グラウンド除去部及びポイントクラウド区分部での処理の一実施例を示した模式図である。 距離画像の生成に係る投影面生成・面パッチ設定処理の一実施形態を説明するための模式図である。 本発明に係る面パッチ設定処理の一実施形態を説明するための模式図である。 距離画像生成部で生成された距離画像の一実施例を説明するための模式図である。 対象向き範囲決定部、対象方向決定部及び対象向き決定部における処理の流れを概略的に説明するための模式図である。 対象向き範囲決定部における処理の一実施形態を概略的に示す模式図である。 対象方向決定部における処理の一実施形態を概略的に示す模式図である。 本発明による対象情報推定方法の一実施形態における概略を説明するためのフローチャートである。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

図１は、本発明による対象情報推定装置を含む対象情報推定システムの一実施形態を示す模式図である。

図１に示した、本実施形態の対象情報推定システムは、
（ａ）道路を走行する自動車等の移動体に設置されたＬｉＤＡＲ２と、
（ｂ）有線（ケーブル等）又は無線（無線ＬＡＮ、近距離無線通信、無線系事業者アクセスネットワーク等）を介してＬｉＤＡＲ２と通信接続された対象情報推定装置１と
を含んでいる。

このうち、（ａ）のＬｉＤＡＲ２は、可視スペクトル外のレーザパルスを放射し、当該パルスが対象に反射して戻ってくるまでの時間を計測して、当該対象までの距離を測定する測距センサとしてのＬｉＤＡＲ（Light Detection And Ranging）デバイスである。ここで、測定対象には、周囲に存在する自動車、自転車等の乗り物、歩行者・走者等の人物、動物や、さらには、路面や地面等のグラウンド、建造物や、交通設備等、放射される電磁波を反射するものであれば様々なものが該当する。

ＬｉＤＡＲ２は具体的に、センサを備えたヘッドを回転させ、全周（0〜359.9°）の各角度位置（座標）における反射強度（又はそれから算定される３次元距離）を含む点データを、ヘッド１周毎に１フレーム（１ファイル）として出力するデバイスとすることができる。

ここで、ヘッドは、垂直方向については、例えばプラスマイナス10°〜20°の範囲に例えば10〜20本のレーザを放射して各反射波を計測し、角分解能αをもって点データを取得することができる。ちなみにこのレーザ本数が角分解能αを規定することになる。また、水平方向については、例えば200〜1500rpmの速度で回転しつつ例えば0.1〜0.5°の角分解能βで点データを取得するものであってもよい。

一方、上記（ｂ）の対象情報推定装置１は、ＬｉＤＡＲ２で捉えた対象に係る情報、特に対象の「向き」を推定可能な本発明による装置である。具体的には、ＬｉＤＡＲ２から、対象の情報を含み得る点群（点データの集合）である「ポイントクラウド」を取得して、この「ポイントクラウド」を解析することにより「距離画像」を生成し、生成した「距離画像」に含まれている対象を特定するとともに、「ポイントクラウド」も利用して当該対象の「向き」を決定するのである。

より具体的に、対象情報推定装置１は、その特徴として、
（Ａ）取得した「ポイントクラウド」のうちで対象に相当する部分である「対象ポイントクラウド」（対象点群）に含まれる対象ポイント（対象点データ）を所定の投影面に投影して、「対象ポイントクラウド」に係る「距離画像」を生成する距離画像生成部１１３と、
（Ｂ）対象の取り得る向きを区分した複数の向き範囲を設定し、「距離画像」と、「距離画像」に含まれる対象の正解の向き範囲とをもって学習を行った識別器を用いて、生成された「距離画像」から、「距離画像」に含まれている対象の「向き範囲」を決定する対象向き範囲決定部１１５と、
（Ｃ）「対象ポイントクラウド」に含まれる対象ポイントの所定面上での分布における偏り具合に基づいて、対象の向きに係る「方向」を決定する対象方向決定部１１７と、
（Ｄ）決定された「向き範囲」及び「方向」に基づいて、対象の「向き」を決定する対象向き決定部１１８と
を有している。

ここで前提として、対象の「向き」及び「方向」の区別について説明する。最初に対象の「向き」とは、対象の正面が向いている方のことである。例えば自動車ならば、車体前面の向いている方であり、道路を走行している場合に通常はその進行向きとなる。また、人物であれば、顔（頭部）の向いている方であり、歩行している多くの場合にその進行向きとなる。

このように、対象の「向き」を正確に知ることは、対象におけるこの後の移動・挙動状態を予測し、例えば対象との接触・衝突等の危険を回避する上で非常に重要となる。しかしながら、例えば単純に、識別器を用いて「距離画像」から対象の「向き」を推定しようとしても、「距離画像」自体が含む「向き」に係る情報量の限界から、必要とされる高い精度の「向き」を推定することは非常に困難であり、また、そのために膨大な学習処理を必要とし現実的ではない。

一方、対象の「方向」とは、対象の向きとその反対向きとを合わせた表現であり、対象の向きを表す矢印ベクトルから矢印とその大きさとを取り去った残りに相当する対象情報である。例えば前後方向や鉛直方向という場合の「方向」に相当する。ちなみに、この対象の「方向」としては方向角が決定されてもよいが、この場合、決定された方向角と、当該方向角とは正反対の向きに係る方向角とは、「方向」に関して同一の情報となる。

なお、以下に示す実施形態においては、決定される対象の「向き範囲」、「方向」及び「向き」は、後に説明する、ＬｉＤＡＲ２によって検出されるポイントクラウドについてのxyz座標系（図３（Ｂ））での対象情報となっている。したがって、対象の絶対方位（例えば東向き軸を基準とした方位角）を求める場合は、決定した「向き」の情報に、ＬｉＤＡＲ２の絶対方位の情報を合わせて方位角を算出することになる。

対象情報推定装置１は、上述したような識別器による「向き」推定の困難さに鑑み、「距離画像」からは、より推定の容易な、対象の「向き範囲」を決定する。一方で、「対象ポイントクラウド」を用いて対象の「方向」を決定しており、これらの「向き範囲」及び「方向」に基づき、最終的に対象の「向き」を、より正確に決定することを可能にしているのである。これにより、例えばＲＧＢ画像に依らずとも、取得した「ポイントクラウド」を用いて、対象の向きをより適切に、より精度良く推定することができる。

なお当然に、本発明による対象情報推定装置が点群（ポイントクラウド）情報を取得する先は、ＬｉＤＡＲデバイスに限定されるものではない。例えば、レーダ（Radar，Radio detecting and ranging）デバイスや、スキャニングソナー（Scanning Sonar (Sound navigation and ranging)）デバイスから点群情報を取得し、解析することも可能である。

また当然に、このような測距センサデバイスが搭載／設置される対象も、自動車に限定されるものではない。例えば、飛行するドローンや、各種交通機関、歩行者・走者等や、さらには屋外・屋内の定位置等、周囲にある対象（特に、地面や路面等の地上に存在する対象）の「向き」を認識したいとのニーズがあるものならば様々なものが、デバイス搭載／設置対象となる。

同じく図１の機能ブロック図によれば、本実施形態の対象情報推定装置１は、ＬｉＤＡＲ２との間で情報の授受を可能にする入出力インタフェース１０１と、ポイントクラウド蓄積部１０２と、対象ポイントクラウド蓄積部１０３と、距離画像蓄積部１０４と、対象情報保存部１０５と、キーボード・ディスプレイ（ＫＢ・ＤＰ）１０６と、プロセッサ・メモリとを有する。

ここで、このプロセッサ・メモリは、本発明による対象情報推定プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この対象情報推定プログラムを実行することによって、対象情報推定処理を実施する。このことから、対象情報推定装置１は、対象情報推定専用装置又はユニットであってもよいが、本発明による対象情報推定プログラムを搭載した、例えばパーソナル・コンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等とすることも可能である。

さらに、プロセッサ・メモリは、グラウンド除去部１１１と、ポイントクラウド区分部１１２と、投影面生成部１１３ａ及びパッチ設定部１１３ｂを含む距離画像生成部１１３と、平滑処理部１１４と、対象特定部１１５ａを含む対象向き範囲決定部１１５と、対象傾き除去部１１６と、対象方向決定部１１７と、対象向き決定部１１８と、入出力制御部１２１とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された対象情報推定プログラムの機能と捉えることができる。また、図１における対象情報推定装置１の機能構成部間を矢印で接続して示した処理の流れは、本発明による対象方法推定方法の一実施形態としても理解される。

同じく図１に示す実施形態において、入出力インタフェース１０１は、ＬｉＤＡＲ２から、１フレームにヘッド１周（360°）分のポイントクラウド情報を含む信号を取得し、このポイントクラウドを、ポイントクラウド蓄積部１０２に適宜バッファしつつ、グラウンド除去部１１１へ出力する。この際、ポイントクラウドに対し、ノイズやまばらに存在する外れ値を除去すべく、公知の方法でフィルタ処理が実施されることも好ましい。

［グラウンド除去処理］
グラウンド除去部１１１は、入力したポイントクラウドから所定の平滑条件を満たす平滑ポイントクラウドを抽出して、この平滑ポイントクラウドから鉛直方向に垂直な面を構成するグラウンド・ポイントクラウドを抽出し、（ａ）平滑ポイントクラウドのうちでグラウンド・ポイントクラウドの近傍となるポイントクラウド部分と、（ｂ）グラウンド点群とを、入力したポイントクラウドから除去する。

ここで、入力されたポイントクラウドは、例えば、道路、歩道、道路内の安全地帯、自動車、歩行者、自転車（に載った人物）や、ポール等、種々の対象に係る情報を含んでいるが、これらの対象を分離・区分する対象の境界やエッジの情報を直接含んでいるわけではない。そこで、入力されたポイントクラウドから、ポイントクラウド内の多くの部分においてこれらの対象を繋ぐように存在しているグラウンド（面）を除去することによって、この後の対象区分処理を実施し易くするのである。

具体的には１つの実施形態として、以下のグラウンド除去処理が実施されることも好ましい。
（ア）最初に、入力したポイントクラウドから、公知である所定の平滑条件を満たさないポイントクラウド・セグメントを一度除外する。この時点で、ポイントクラウドには、「グラウンド」と、「グラウンドと連続する(坂や歩道等の)平滑オブジェクト」と、「平滑な物体」とが含まれている。
（イ）次いで、ＲＡＮＳＡＣ（RANdom SAmple Consensus）法を用い、上記（ア）で残ったポイントクラウドにおいて、鉛直方向（ｚ軸方向）に垂直な面を構成する「グラウンド」を検出する。

（ウ）さらに、上記（ア）で残ったポイントクラウド・セグメントから、検出された「グラウンド」との距離が所定閾値以上のポイントクラウド・セグメントを「平滑な物体」と判断して除外する。これにより結局、「グラウンド」及び「グラウンドと連続する平滑オブジェクト」が残ることになる。
（エ）最後に、入力したポイントクラウドから、上記（ウ）で残ったポイントクラウド・セグメントを除去する。

ちなみに、上記（ア）の処理は、例えば、T. Rabbania, F.A. van den Heuvelb, and G. Vosselmanc, “Segmentation of point clouds using smoothness constraint”, ISPRS, 36(5)，２００６年に記載された、平滑条件を用いた領域形成法（region growing）により、平面領域を検出することによって実施することができる。これにより、歩道のような若干傾斜した又はわずかな不連続部分を有する平面部分も、入力したポイントクラウドから区分することが可能となるのである。

また、上記（イ）の公知の手法であるＲＡＮＳＡＣについては、例えば、M. Fisher and R. Bolles, “Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography”, Comm. of the ACM, 24(6)，１９８１年に記載されている。

［ポイントクラウド区分処理］
同じく図１において、ポイントクラウド区分部１１２は、グラウンド除去部１１１でグラウンド除去処理の施されたポイントクラウドを、ポイント（点データ）間の距離に基づいて、互いに隣接したポイント（点データ）の集合である対象ポイントクラウドに区分する。

１つの実施形態として、ポイントクラウド区分部１１２は、所定の距離条件を適用して、ポイントクラウド内のポイントをグループ化してもよい。ここで、ポイント間の距離にはユークリッド距離が採用されることも好ましい。

具体的には、まず、リストが空であるクラスタを有するkd木（kd-tree，k-dimensional tree）を生成し、所定の距離条件を満たして互いに近接するポイントの集合を同一のクラスタに割り当てて、ポイントクラウドをクラスタに分類し、各クラスタに属するポイントの集合を、区分された各対象ポイントクラウドとしてもよい。ここで、kd木は、k次元のユークリッド空間にある点を分類するための公知の空間分割データ構造の一種である。

なお、生成された対象ポイントクラウドは適宜、対象ポイントクラウド蓄積部１０３に保存され、適宜取り出されて次の処理に使用されることも好ましい。

図２は、以上に説明したグラウンド除去部１１１及びポイントクラウド区分部１１２での処理の一実施例を示した模式図である。

図２（Ａ）には、グラウンド除去部１１１によるグラウンド除去処理の一実施例が、ポイントクラウド分布図を用いて模式的に示されている。同図によれば、入力されたポイントクラウドから、グラウンド・ポイントクラウド（「グラウンド」及び「グラウンドと連続する平滑オブジェクト」）を差し引き、グラウンド除去処理後のポイントクラウドが生成されている。

次いで、この処理後のポイントクラウドに対し、kd木を用いたポイントクラウド区分処理が施されることによって、図２（Ｂ）に示した対象ポイントクラウドが生成されるのである。ここで、図２（Ｂ）では、１つの閉じた破線内の点群が１つの対象ポイントクラウドとなっている。

ここで、このように生成された個々の対象ポイントクラウドについて、この後詳述するように距離画像が生成される。これは、ポイントクラウド全体を投影して距離画像を生成することに比べ、相当の計算量の低減となっている。また、個々の対象についての距離画像は、当該対象の向きに係る情報をより高い濃度で含んでいると考えられるので、このような距離画像を、（後に詳細に説明する）識別器を用いた対象の向き範囲の決定処理に用いることによって、最終的な対象向きの推定精度を向上させることも可能となる。

［距離画像生成処理］
以下、距離画像生成部１１３（図１）において実施される、距離画像生成のための投影面生成・面パッチ設定処理の一実施形態を説明する。

図３は、距離画像の生成に係る投影面生成・面パッチ設定処理の一実施形態を説明するための模式図である。ちなみに、同図では、ＬｉＤＡＲ２によって検出されるポイントクラウドについてのxyz座標系と、投影面内のij座標系とが設定されている。これらの座標系について本実施形態においては、z軸及びj軸が鉛直方向の軸となっており、xy面が水平面となっている。

図３（Ａ）及び（Ｂ）には、ＬｉＤＡＲ２のセンサ位置sと生成される投影面PSとの関係が模式的に示されている。同図に示すように、距離画像生成部１１３（図１）の投影面生成部１１３ａは、ポイントクラウド区分部１１２で生成された対象ポイントクラウド毎に、
（ａ）当該対象ポイントクラウドに含まれるポイントのうちで、ＬｉＤＡＲ２のセンサ位置s(x_s, y_s, z_s)に最も近い対象ポイント（対象点データ）である基準ポイント（基準点データ）P₀(x₀, y₀, z₀)と、ＬｉＤＡＲ２のセンサ位置sとを含む鉛直面に垂直であり、かつ
（ｂ）この基準ポイントP₀を含む
鉛直面（z軸を含む面）を、投影面PSに設定する。すなわち、対象ポイントクラウドの基準ポイントP₀に応じて投影面PSを生成するのである。

また、距離画像生成部１１３（図１）のパッチ設定部１１３ｂは本実施形態において、各対象ポイントが投影された投影面PS上の位置に、
（ａ）ＬｉＤＡＲ２のセンサ位置sと投影面PSとの距離r₀と、
（ｂ）ＬｉＤＡＲ２の（出力したポイントクラウドに係る）分解能（角分解能α及びβ）と
について単調増加関数となるサイズを有する面パッチSPを設定する。

距離画像生成部１１３は、図３（Ｃ）に示すように、以上のように設定された面パッチSPを、投影される対象ポイントP_n毎に投影面PSに設定することによって、距離画像を生成するのである。

ここで、面パッチSPのサイズ設定については、後に図４（Ａ）及び（Ｂ）を用いて詳細に説明を行う。

また、パッチ設定部１１３ｂは、面パッチSP内の画素値g_n(i_n ,j_n)を、面パッチSPに係る対象ポイントP_n(x_n, y_n, z_n)と投影面PSとの距離d_nに基づいて決定する。例えば、画素値g_nを距離d_n（g_n＝d_n）とすることができる。いずれにしても、距離d_nは、面パッチSP内に存在する全ての画素の画素値を決定する強度値となっているのである。

なお、この距離d_nの算出については、対象ポイントP_nと投影面PSとのユークリッド距離を直接計算するのではなく、対象ポイントP_nにおけるＬｉＤＡＲ２のセンサ位置sからの距離及び方向に係る情報に基づいて算出することも好ましい。具体的には、図３（Ｂ）に示す幾何学的関係から、次式
（１） d_n＝R_n＊cosθ_n−r₀
を用い、画素値g_nに係る距離d_nを、より少ない計算量で導出することができる。

ここで上式（１）において、R_n及びθ_nはそれぞれ、対象ポイントP_nにおけるＬｉＤＡＲ２のセンサ位置sからのxy面（水平面）内における距離及び方向角であり、ＬｉＤＡＲ２から取得されるポイントクラウド情報に含まれている又は当該情報から容易に算出される値となっている。

また、ＬｉＤＡＲ２のセンサ位置sと投影面PSとの距離r₀は、センサ位置sから投影面PSに向かう垂線ベクトルR₀の大きさであって、センサ位置sと基準ポイントP₀とのxy面（水平面）内での距離ともなっており、次式
（２） r₀＝((x₀−x_s)²＋(y₀−y_s)²)^0.5
によっても算出可能である。

さらに、面パッチSP内の画素値g_nの位置座標i_n及びj_nは、ij座標系の原点をxy面（水平面）内に設けた場合に、それぞれ次式
（３） i_n＝R_n＊sinθ_n
（４） j_n＝z_n
を用いて決定することができる。

図４は、本発明に係る面パッチ設定処理の一実施形態を説明するための模式図である。ちなみに、同図でも、図３と同様、ポイントクラウドxyz座標系と、投影面内のij座標系とが設定されている。

図４（Ａ）の実施形態によれば、投影面PS（のij座標系）上において、i軸方向の幅がW_wであってj軸方向の高さがW_hである矩形の面パッチSPが、その中心を対象ポイント投影位置として設定されている。同図に示したように通常、対象ポイントは、生成する距離画像の画素の全てに投影されるほどの密度を有していない。そこで、これら対象ポイント間の画像領域を補間するために面パッチSPが設定されるのである。

また、この対象ポイントの密度は、上述したようにＬｉＤＡＲ２のセンサ位置との距離によって、さらにはＬｉＤＡＲ２の分解能によって変化する。これに的確に対応するため、本実施形態では図４（Ｂ）に示すように、幅W_w及び高さW_hを、次式
（５） W_w＝r₀＊tanβ
（６） W_h＝r₀＊tanα
をもって規定した面パッチSPが準備されるのである。ここで、上式（５）のβは、ＬｉＤＡＲ２の水平方向（xy面内方向での）での角分解能であり、上式（６）のαは、ＬｉＤＡＲ２の垂直方向（z軸方向での）での角分解能である。

上式（５）及び（６）によれば、面パッチSPは、ＬｉＤＡＲ２のセンサ位置との距離が小さいほど、またＬｉＤＡＲ２の分解能が高いほど（α値やβ値が小さいほど）、密度の高くなる対象ポイントに対応してより小さいサイズに設定される。その結果、面パッチ同士が重畳して距離値（画素値）がオーバーラップしてしまう事態を回避することができる。一方、ＬｉＤＡＲ２のセンサ位置との距離が大きいほど、またＬｉＤＡＲ２の分解能が低いほど（α値やβ値が大きいほど）、密度の低下する対象ポイントに対応してより大きいサイズに設定される。その結果、画素値に対し十分な補間処理を行うことができる。

このように、距離・分解能について適応的な面パッチSPを適用することによって、均一性や平滑性を備えた好適な距離画像を生成することが可能となるのである。

ここで、面パッチSPのサイズは、距離r₀や角分解能の関数であるとしても当然に、上式（５）や上式（６）の形に限定されるものではない。少なくとも距離r₀や角分解能の単調増加関数であれば、種々の関数形が採用可能である。

なお、面パッチとして、従来の固定サイズのものを採用して距離画像を生成することも可能である。すなわちこの後、対象の向き範囲を決定するのに使用する距離画像を、固定サイズの面パッチを用いて生成してもよい。しかしながら、本実施形態においては、距離・分解能適応的なサイズを有する面パッチSPを採用しているので、後の対象向き決定処理においてより好適となる距離画像が生成されるのである。

ちなみに、対象情報推定装置１は、取得されたポイントクラウド全体を投影して距離画像を生成するのではなく、「対象ポイントクラウド」毎に距離画像を生成する。そのため、各「対象ポイントクラウド」とＬｉＤＡＲ２のセンサ位置との距離に個別に対応したサイズを有する面パッチを備えた、後の対象情報推定についてより好適な距離画像が実現される。

なお、対象ポイントクラウド毎に生成された距離画像は適宜、距離画像蓄積部１０４に保存され、適宜取り出されて次の処理に使用されることも好ましい。

図１に戻って、平滑処理部１１４は、生成された距離画像の画素値に対して平滑処理を行う。具体的には、
（ａ）距離画像の全画素値を所定範囲内の値に規格化して、後の対象分類用の識別器に入力するのに適した形に調整した上で、
（ｂ）例えばガウシアンフィルタ（Gaussian filter）を用いて、画素値分布を平滑にし、さらにノイズを低減させる
ことも好ましい。

図５は、距離画像生成部１１３で生成された距離画像の一実施例を説明するための模式図である。

図５には、距離画像生成部１１３で生成された距離画像として具体的に、
（ａ）前方を先行して走行する自動車における背面側の距離画像、
（ｂ）後方を追随して走行する自動車における前面側の距離画像、及び
（ｃ）斜め後方を同じ向きに走行する自動車における斜め前面側の距離画像
が示されている。なお実際の対象向きを明示すべく、図５にはそれぞれに対応するＲＧＢ画像も示されているが、本実施形態においてこれらのＲＧＢ画像は使用されない。

これらの距離画像は上述したように、ＬｉＤＡＲ２から見て正面図（front view）相当となる対象ポイントクラウドを、投影面PS（図３及び４）に投影して生成したものとなっている。ここで、図５に示した正面図相当の対象ポイントクラウドから、向き推定対象である自動車の「向き」を正確に識別することが非常に困難であることは、視覚的にも理解される。

一方、生成された距離画像においては、自動車の形状が強調されており、前後に装着されたウィングや両側面に取り付けられたサイドミラー等の特徴的な部分の位置・形状が、より明確であって、その結果、自動車の「向き」が視覚的にも概ね推察されるものとなっている。したがって、このような距離画像を用いることによって、自動車の「向き範囲」をより高い精度で決定することができるのである。

ちなみに、同じく図５に示すように、対象ポイントクラウドは、上記の距離画像の生成と並行して、対象ポイントクラウドを上空から見た平面図（top view）相当の対象ポイントクラウドに変換される。この平面図相当の対象ポイントクラウドにおいては、自動車の「方向」が視覚的にも明確に分かるようになっている。したがって後に詳細に説明するように、このような平面図相当の対象ポイントクラウドを用いることによって、自動車の「方向」をより高い精度で決定することができるのである。

［対象向き決定処理の概要］
図６は、対象向き範囲決定部１１５、対象方向決定部１１７及び対象向き決定部１１８における処理の流れを概略的に説明するための模式図である。

図６において、対象向き範囲決定部１１５は、（距離画像及び正解向き範囲による）学習済みの例えば高速Ｒ-ＣＮＮ（Faster Regions with Convolutional Neural Networks）の識別器を用いて、正面図（front view）相当の対象ポイントクラウドから生成された「距離画像」から、「距離画像」に含まれている対象（自動車）の「向き範囲」を決定する。

一方、対象方向決定部１１７は、対象ポイントクラウドに含まれる対象ポイント（対象点データ）の所定面上での分布、すなわち平面図（top view）相当の対象ポイントクラウドにおける対象ポイントの分布、に対する主成分分析結果に基づいて、対象（自動車）の向きに係る「方向」を決定する。

ここで後に詳細に説明するが、対象方向決定部１１７は、平面図相当の対象ポイントクラウドに対する外接矩形（bounding box）BBxを決定することも好ましい。ちなみにこの場合、決定される「方向」は、外接矩形BBxを対象ポイントクラウドにフィッティングさせる際の回転角で表現されることも可能となる。

同じく図６に示すように、対象向き決定部１１８は、これらの決定された「向き範囲」及び「方向」に基づいて、対象（自動車）の「向き」を決定するのである。ここで、以上に説明した対象向き決定処理は、
（ａ）対象向き範囲決定部１１５での向き決定第１段階、及び
（ｂ）対象方向決定部１１７及び対象向き決定部１１８での向き決定第２段階
の２段階からなる推定処理と捉えることも可能である。この場合、上記（ｂ）の向き決定第２段階は、上記（ａ）の向き決定第１段階での結果の精度を上げる（当該結果をrefineする）処理となる。

［対象特定・対象向き範囲決定処理］
図７は、対象向き範囲決定部１１５における処理の一実施形態を概略的に示す模式図である。

図７に示した実施形態によれば、対象向き範囲決定部１１５は、対象について決定すべき「向き範囲」として予め、当該対象の取り得る向きを複数範囲に区分した複数の向き範囲を設定する。ここで、図７では具体的に、全周を90度ずつに区分した４つの向き範囲（front，left, back，right）が設定されている。

次いで、対象向き範囲決定部１１５の対象特定部１１５ａは、使用する識別器の学習フェーズとして、
（ａ）（距離画像生成部１１３で生成された）用意された多数の距離画像と、
（ｂ）当該距離画像についての正解の向き範囲であるグランドトゥルースデータと
の多数のセットをもって識別器の学習を行う。ここで本実施形態では、グランドトゥルースデータとして、4つの向き範囲にそれぞれ対応付けられた数値1、2、3及び4のうちで正解向き範囲に該当するものが採用される。なお、これらの値は、量子化された方向角と捉えることも可能である。

また、この学習フェーズの際、学習用のデータセットのデータとして、上記（ａ）及び（ｂ）に加え、
（ｃ）当該距離画像に含まれている正解の対象種別の情報（例えば自動車、人物）
も用いて識別器の学習を行うことも好ましい。この場合、対象識別フェーズにおける処理結果として、入力した距離画像に含まれる対象の「種別」、及び当該対象の「向き範囲」（例えばfront，left, back，rightのいずれか）が取得されるのである。

ここで、使用可能な識別器の例として、公知の高速Ｒ-ＣＮＮが挙げられる。Ｒ−ＣＮＮは通常、ＦＣＮ（Fully Convolutional Network）によって対象領域候補を決定する領域候補決定部と、ＣＮＮによって対象領域候補から特徴量を算出する特徴検出部と、算出された特徴量が適合するラベルを決定するラベル分類部とを含む。

対象特定部１１５ａは、次いで対象識別フェーズとして、距離画像生成部１１３で生成された距離画像を、学習済みの識別器（高速Ｒ−ＣＮＮ識別モデル）に入力する。これにより識別器からの出力として、入力した距離画像に含まれている対象の「向き範囲」及び「種別」を特定したラベルを得るのである。

また、対象特定部１１５ａにおける「向き範囲」の識別処理については、本実施形態において予め4つの「向き範囲」が設定され、それらに対応する4つのラベルのうちの1つが出力されるものとなっている。当然に4つ以外の個数のラベル（例えば8個のラベル）について分類・識別することも可能である。しかしながら、本実施形態のように数個の「向き範囲」に対応するラベルについて分類を行う形とすることによって、例えば360度を360等分した（方向角に関して概ね連続値相当の）「向き範囲」を設定する場合と比較すると、学習のために必要となるデータセットの量が格段に少なくて済む。

さらに、距離画像に含まれている対象向き情報の精度がそれほどには高くない点を鑑みると、「向き範囲」の分類処理を数個のラベルに係るものに留めることによって、詳細すぎる無駄な識別処理を実行してしまう事態が確実に回避可能となるのである。

なお、上記の高速Ｒ−ＣＮＮ識別モデルによれば、入力距離画像内における対象位置を領域候補として個別に検出可能となっている。したがって、対象特定部１１５ａは、１つの対象ポイントクラウドが複数の対象の情報を含んでいる場合においても、個々の対象を個別に検出して分類することができる。例えば、互いに近接した複数人の歩行者を含む距離画像についても、歩行者集団としての分類結果を示すラベル、及び各人の「向き範囲」を示すラベルを出力することが可能となる。

また、対象特定部１１５ａで処理される距離画像は、対象の見かけ（appearance）に基づく対象形状表現となっており、一方、対象特定部１１５ａのＲ-ＣＮＮ識別モデルも、距離画像の見かけを学習したものとなっている。その結果、識別対象として入力される距離画像において、対象同士のオクルージョン、対象部分の欠損、対象同士の繋がったあいまいな部分（connected blob）や、不完全なグラウンド除去処理等の不都合な現象が多少生じていたとしても、それらの影響を概ね受けることなく、それらの現象に対しても頑健な識別処理を実施することが可能となっている。

次に以下、対象方向決定部１１７における、対象ポイントクラウドを用いた対象方向決定処理を説明するが、その前に、当該対象ポイントクラウドに対し前処理として実施される対象傾き処理について説明を行う。

（図１に示された）対象傾き除去部１１６は、対象ポイントクラウドの周囲のグラウンドポイントクラウド（グラウンド点群）の傾斜から対象の傾きを決定し、対象ポイントクラウドに含まれる対象ポイント（対象点データ）に対して当該傾き分を除去する変換を施す。

具体的に本実施形態において、対象傾き除去部１１６は、グラウンド除去部１１１（図１）でも使用されたＲＡＮＳＡＣを用いて、対象ポイントクラウド周囲の「グラウンド点群の傾斜」を決定する。次いで、対象傾き除去部１１６は、
（ａ）決定した「グラウンド点群の傾斜」から対象の「傾きベクトル」を算出し、
（ｂ）対象ポイントクラウド（の対象ポイント）に対し、「傾きベクトル」がポイントクラウドのxyz座標系（図３（Ｂ））におけるz軸向き（本実施形態において鉛直上向き）と一致するように、x軸及びy軸周りの回転変換を行う。

このような変換を対象ポイントクラウドに対して施すことによって、この後実施される対象方向決定処理において、対象ポイントクラウドのz軸周りでの「方向」（z軸に平行な軸を回転軸とする回転角）をより正確に算出することが可能となるのである。

ちなみに、本実施形態においては、対象傾き除去部１１６及びこの後説明する対象方向決定部１１７においては結局、ポイントクラウドのxyz座標系のx軸、y軸及びz軸それぞれを回転軸とする回転変換の結果を考慮して、対象の水平面（xy面）内での「方向」を導出していると捉えることもできる。またそれ故に、対象ポイントクラウドのx軸、y軸及びz軸を回転軸とする３つの回転角を導出して、３次元のxyz座標系での対象の回転状況を決定し出力することも可能となるのである。

［対象方向決定処理・対象向き決定処理］
図８は、対象方向決定部１１７における処理の一実施形態を概略的に示す模式図である。

本実施形態において、対象方向決定部１１７は最初に、図８（Ａ）に示すように対象傾き除去処理の施された対象ポイントクラウドを、ポイントクラウドのxyz座標系（図３（Ｂ））における所定のxy面に投影する。ここで、対象ポイントクラウドがN個の対象ポイント（対象点データ）を有しているとすると、各対象ポイントp_nは、
（７） p_n(x_n, y_n, z_n)（n＝1, 2, ・・・, N）
のように表され、さらに、所定のxy面上での投影ポイントp_n-xyは、
（８） p_n-xy(x_n, y_n)（n＝1, 2, ・・・, N）
のように表現される。ここで上式（８）のx_n及びy_nはそれぞれ、上式（７）のx_n及びy_nと一致しており、所定のxy面（投影面）内の２次元xy座標系のx及びy座標値となっている。

このように生成された投影ポイントp_n-xyの集合（対象ポイントp_n(x_n, y_n, z_n)の所定のxy面上での分布）が、図８（Ｂ）に示した平面図（top view）相当の対象ポイントクラウドとなる。同図から分かるように、平面図相当の対象ポイントクラウドは、対象の境界を相当の精度で表現しており、それ故、対象の「方向」についての情報をより多く含んでいる。

対象方向決定部１１７は、この平面図相当の対象ポイントクラウドに対する主成分分析結果に基づいて、当該対象の向きに係る「方向」を決定する。具体的には、当該主成分分析結果として得られた２つの固有ベクトルに係る２つの「方向角」を、この「方向」に係る情報として決定してもよい。ちなみにこの場合、後述する対象向き決定部１１８は、決定された「方向角」及び当該方向角とは正反対の向きに相当する「方向角」のうち、対象向き範囲決定部１１５で決定された「向き範囲」に含まれる「方向角」を対象の「向き」に決定するのである。

さらに、対象方向決定部１１７は、決定した「方向」を用いて、平面図相当の対象ポイントクラウドに対する外接図形に係る情報を更に決定することも好ましい。以下、この外接図形として外接矩形（bounding box）を採用する実施形態を説明する。

最初に、図８（Ｂ）に示すように、所定のxy面上（xy座標系）において、平面図相当の対象ポイントクラウドに対し、x軸に平行な辺及びy軸に平行な辺を有する長方形の外接矩形BBx'を設定する。この外接矩形BBx'は当然に、対象ポイントクラウドに最もフィットした外接矩形に比べて面積が同等か又はより大きい状態であるが、各辺を回転させることによって変形可能となっている。

本実施形態では、平面図相当の対象ポイントクラウドから導出される第１固有ベクトルfEV（図８（Ｄ））及び第２固有ベクトルsEV（図８（Ｄ））から算出される「方向角」分だけ、外接矩形BBx'を（z軸方向の軸の周りに）回転させ、平面図相当の対象ポイントクラウドにフィッティングさせた外接矩形BBx（図８（Ｅ））を決定・出力するのである。

ここで以下、この「方向角」を決定するための１つの方法として主成分分析処理を説明する。最初に、平面図相当の対象ポイントクラウドに属する投影ポイントp_n-xy(x_n, y_n)のx座標の平均値m_x、及びy座標の平均値m_yを、次式
（９） m_x＝N^-1・Σ_n=1 ^Nx_n
m_y＝N^-1・Σ_n=1 ^Ny_n
を用いて算出する。ここで、Σ_n=1 ^Nは、nについての1からNまでの総和（Summation）である。

次いで、行列要素covが次式
（１０） cov(x, y)＝(N-1)^-1・Σ_n=1 ^N(x_n−m_x)・(y_n−m_y)
で表される、投影ポイントp_n-xyの分布についての分散共分散行列Cを、次式

を用いて算出する。

その後、Vを固有ベクトル行列とし、Λを各固有ベクトルに対応する固有値を対角成分に持つ対角行列として、Cについての固有方程式に相当する次式
（１２） V^-1CV＝Λ
を解くことにより、
（ａ）最大の第１固有値λ₁に対応する第１固有ベクトルfEVと、
（ｂ）第２固有値λ₂（≦λ₁）に対応する第２固有ベクトルsEVと
を算出する。

ここで、算出された第１固有ベクトルfEVのxy座標系での方向は、第１主成分軸の方向であって、平面図相当の対象ポイントクラウドにおける最も伸長した分布の方向であり、長手方向となる。一方、算出された第２固有ベクトルsEVのxy座標系での方向は、第２主成分軸の方向であって、この長手方向に直交した分布幅の狭い方向となる。

次いで、外接矩形BBx'（図８（Ｃ））に対し、その長辺が第１主成分軸と平行となるような（z軸方向の軸を回転軸とする）回転変換を実施し、その後、対象ポイントクラウドに対して各辺が外接するように当該各辺を平行移動させる変形変換を実施して、外接矩形BBx（図８（Ｅ））を生成し出力するのである。ここで、この回転変換における回転角は、外接矩形BBx'の長辺がy軸方向である場合、第１主成分軸のy軸に対する方向角となる。

ちなみに、このようにして出力された外接図形は、機械学習によって対象を識別する際の精度をより高めるのに有効となる。また、例えば対象のグラフィック表示において、無駄な余白を削除し、当該対象の「中心位置」をより正確に算出するのに有用となる。ここで、この対象の「中心位置」は、所定のxy面での２次元位置だけではなく、ポイントクラウドについての３次元xyz座標系内での対象の「中心位置」として出力可能である。

また、本実施形態では、対象方向決定部１１７は、決定した「方向」として、第１固有ベクトルfEVにおける基準軸（例えばx軸）からの傾きを表す「第１方向角」、及び第２固有ベクトルにおける基準軸（例えばx軸）からの傾きを表す「第２方向角」を出力する。この場合、対象向き決定部１１８は、
（ａ）決定された「第１方向角」、
（ｂ）当該第１方向角とは正反対の向きに相当する方向角、
（ｃ）決定された「第２方向角」、及び
（ｄ）当該第２方向角とは正反対の向きに相当する方向角
のうち、対象向き範囲決定部１１５で決定された「向き範囲」に含まれる方向角を、対象の「向き」に決定する。

以上説明したように本実施形態では、
（ａ）対象形状に係る情報を相当に含んでおり、対象の「向き」に関してある程度の識別を可能にする距離画像から決定された「向き範囲」と、
（ｂ）対象の「方向」についてはより正確な情報を含むが、「向き」については180度異なる正反対の結果を導き得る平面図（top view）相当の対象ポイントクラウドから決定された「方向」と
から、対象のより正確な「向き」を決定することができるのである。

ちなみに、以上に説明した「方向」決定処理では、２つの固有ベクトル（第１固有ベクトルfEV及び第２固有ベクトルsEV）を共に考慮するので、外接矩形が正方形に近い形状であって固有ベクトルの検出精度があまり高くない場合や、ＬｉＤＡＲ２で取得されたポイントクラウドの分布の正面側への偏りが大きく対象全体の形状に係る情報が乏しい場合であっても、比較的良好に「方向」を決定することができる。

一方、「方向」決定処理の変更態様として、対象方向決定部１１７は、対象特定部１１５ａでの対象種別の識別結果に基づいて、主成分分析結果として得られた２つの固有ベクトル（第１固有ベクトルfEV及び第２固有ベクトルsEV）に係る２つの方向のうち、いずれかを対象の向きに係る「方向」として選択することも好ましい。例えば、対象の識別結果が「自動車」である場合、自動車の「向き」は通常その長手方向に含まれるので、対象方向決定部１１７は、第１固有ベクトルfEVを選択し、その向きを表すxy座標系での方向角を対象の「方向」として出力してもよい。

ちなみにこの場合、対象向き決定部１１８は、
（ａ）対象方向決定部１１７より出力された方向角、及び
（ｂ）当該出力された方向角とは正反対の向きに相当する方向角
のうち、対象向き範囲決定部１１５で決定された「向き範囲」に含まれる方向角を、対象の「向き」に決定するのである。このような変更態様は、特に、２つの固有ベクトルの検出精度が固有値の大きさも含めて十分に高い場合により有効となる。

以上説明したように生成された対象の「向き」情報や、対象種別情報は、装置１に搭載された（例えば自動運転用の）アプリケーション・プログラム（ＡＰ）１３１に取り込まれ、その出力が、入出力インタフェース１０１を介して、装置１外の各種制御装置や情報処理装置に提供されてもよい。また、例えばユーザによるキーボード１０６からの表示指示を受けてディスプレイ１０６に表示されてもよい。

また、対象の「向き」情報や対象種別情報は、生成される毎に、又は適宜、対象情報保存部１０５に記憶され、適宜取り出されて利用されることも好ましい。特に、これらの情報は、ラベル化して、対象特定部１１５ａにおける識別器の学習処理に利用することができる。これにより、人手によるラベル付けの負担が大幅に軽減可能となるのである。なお、以上に説明したような「向き」決定処理の実施形態から理解されるように、その「向き」を決定する対象は、水平面内において回転対称性を有さない形状のものとなる。

［対象情報推定方法］
図９は、本発明による対象情報推定方法の一実施形態における概略を説明するためのフローチャートである。

（Ｓ１０１）ＬｉＤＡＲ２によって生成されたポイントクラウドを取得する。
（Ｓ１０２）取得したポイントクラウドから、各対象に相当する対象ポイントクラウドを生成する。
（Ｓ１０３）生成した対象ポイントクラウドの投影処理によって、各対象についての距離画像を生成する。
（Ｓ１０４）各対象について生成した距離画像に基づいて、当該対象の「種別」を特定するとともに、当該対象の「向き範囲」を決定する。

（Ｓ１０５）各対象について生成した対象ポイントクラウドから、当該対象について平面図（top view）相当の対象ポイントクラウドを生成する。
（Ｓ１０６）生成した平面図相当の対象ポイントクラウドに基づき、対象の「方向」を決定するとともに、当該対象についての「外接図形」、及び当該対象の「中心位置」を決定する。
（Ｓ１０７）各対象について決定された「向き範囲」及び「方向」に基づき、当該対象の「向き」を決定する。

以上にその概略を説明した実施形態によって、取得したポイントクラウドを入力して、当該ポイントクラウドに含まれる各対象の「種別」、「向き」、「外接図形」及び「中心位置」を出力する対象情報推定処理が実現するのである。

以上詳細に説明したように、本発明は、対象ポイントクラウドから生成した距離画像を用いて、より推定の容易な、対象の「向き範囲」を決定する。一方で、対象ポイントクラウドを用いて対象の「方向」を決定し、これらの「向き範囲」及び「方向」に基づいて、最終的に対象の「向き」を決定可能にしている。これにより、例えばＲＧＢ画像に依らずとも、取得したポイントクラウドを用いて、対象の向きをより適切に、より精度良く推定することができるのである。

ちなみに、本発明の構成及び方法は、例えば、自動運転車、ドローンや各種ロボット等の分野において、高度な「視覚」の機能を実現するためのダイナミックマッピング技術として応用可能となっている。

以上に述べた本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 対象情報推定装置
１０１ 入出力インタフェース
１０２ ポイントクラウド蓄積部
１０３ 対象ポイントクラウド蓄積部
１０４ 距離画像蓄積部
１０５ 対象情報保存部
１０６ キーボード・ディスプレイ（ＫＢ・ＤＰ）
１１１ グラウンド除去部
１１２ ポイントクラウド区分部
１１３ 距離画像生成部
１１３ａ 投影面生成部
１１３ｂ パッチ設定部
１１４ 平滑処理部
１１５ 対象向き範囲決定部
１１５ａ 対象特定部
１１６ 対象傾き除去部
１１７ 対象方向決定部
１１８ 対象向き決定部
１２１ 入出力制御部
１３１ アプリケーション・プログラム（ＡＰ）
２ ＬｉＤＡＲ

Claims (13)

1. 測距センサによって取得された、対象の情報を含み得る点群から、当該対象の向きを推定する対象情報推定装置であって、
   当該点群のうちで当該対象に相当する部分である対象点群に含まれる対象点データを所定の投影面に投影して、当該対象点群に係る距離画像を生成する距離画像生成手段と、
   当該対象の取り得る向きを区分した複数の向き範囲を設定し、当該距離画像と、当該距離画像に含まれる対象の正解の向き範囲とをもって学習を行った識別器を用いて、生成された当該距離画像から、当該距離画像に含まれている当該対象の向き範囲を決定する対象向き範囲決定手段と、
   当該対象点群に含まれる対象点データの所定面上での分布における偏り具合に基づいて、当該対象の向きに係る方向を決定する対象方向決定手段と、
   決定された当該向き範囲及び当該方向に基づいて、当該対象の向きを決定する対象向き決定手段と
   を有することを特徴とする対象情報推定装置。
2. 前記対象方向決定手段は、当該対象点群に含まれる対象点データの当該所定面上での分布に対する主成分分析結果に基づいて、当該対象の向きに係る方向を決定することを特徴とする請求項１に記載の対象情報推定装置。
3. 前記対象方向決定手段は、当該主成分分析結果として得られた２つの固有ベクトルに係る２つの方向角を決定し、
   前記対象向き決定手段は、決定された当該方向角及び当該方向角とは正反対の向きに相当する方向角のうち、決定された当該向き範囲に含まれる方向角を当該対象の向きに決定する
   ことを特徴とする請求項２に記載の対象情報推定装置。
4. 前記対象向き範囲決定手段は、当該識別器を用いて、生成された当該距離画像に含まれている対象の種別をも決定し、
   前記対象方向決定手段は、決定された対象の種別に基づいて、当該主成分分析結果として得られた２つの固有ベクトルに係る２つの方向のうち、いずれかを当該対象の向きに係る方向として選択する
   ことを特徴とする請求項２に記載の対象情報推定装置。
5. 前記対象方向決定手段は、決定した当該方向を用いて、当該対象点データの所定面上での分布に対する外接図形に係る情報を更に決定することを特徴とする請求項１から４のいずれか１項に記載の対象情報推定装置。
6. 当該点群を、点データ間の距離に基づいて、互いに隣接した点データの集合である対象点群に区分する点群区分手段を更に有することを特徴とする請求項１から５のいずれか１項に記載の対象情報推定装置。
7. 当該対象点群の周囲のグラウンド点群の傾斜から当該対象の傾きを決定し、当該対象点群に含まれる対象点データに対して当該傾き分を除去する変換を施す対象傾き除去手段を更に有し、
   前記対象方向決定手段は、当該変換を施された当該対象点データにおける当該所定面上での分布における偏り具合に基づいて、当該対象の向きに係る方向を決定する
   ことを特徴とする請求項１から６のいずれか１項に記載の対象情報推定装置。
8. 前記対象向き範囲決定手段は、当該複数の向き範囲として、全周を９０度ずつに区分した４つの向き範囲を設定することを特徴とする請求項１から７のいずれか１項に記載の対象情報推定装置。
9. 前記距離画像生成手段は、当該対象点群のうちで前記測距センサに最も近い対象点データである基準点データと前記測距センサとを含む鉛直面に垂直な鉛直面であって、当該基準点データを含む鉛直面を、当該投影面に設定することを特徴とする請求項１から８のいずれか１項に記載の対象情報推定装置。
10. 前記距離画像生成手段は、当該対象点群に含まれる対象点データが投影された当該投影面の位置に、前記測距センサとの距離と、前記測距センサに係る分解能とについて単調増加関数となるサイズを有する面パッチを設定し、当該面パッチ内の画素値を、当該面パッチに係る対象点データと当該距離画像との距離に基づいて決定した距離画像を生成することを特徴とする請求項１から９のいずれか１項に記載の対象情報推定装置。
11. 前記測距センサは、ＬｉＤＡＲ（Light Detection and Ranging）デバイスであることを特徴とする請求項１から１０のいずれか１項に記載の対象情報推定装置。
12. 測距センサによって取得された、対象の情報を含み得る点群から、当該対象の向きを推定する装置に搭載されたコンピュータを機能させるプログラムであって、
    当該点群のうちで当該対象に相当する部分である対象点群に含まれる対象点データを所定の投影面に投影して、当該対象点群に係る距離画像を生成する距離画像生成手段と、
    当該対象の取り得る向きを区分した複数の向き範囲を設定し、当該距離画像と、当該距離画像に含まれる対象の正解の向き範囲とをもって学習を行った識別器を用いて、生成された当該距離画像から、当該距離画像に含まれている当該対象の向き範囲を決定する対象向き範囲決定手段と、
    当該対象点群に含まれる対象点データの所定面上での分布における偏り具合に基づいて、当該対象の向きに係る方向を決定する対象方向決定手段と、
    決定された当該向き範囲及び当該方向に基づいて、当該対象の向きを決定する対象向き決定手段と
    としてコンピュータを機能させることを特徴とする対象情報推定プログラム。
13. 測距センサによって取得された、対象の情報を含み得る点群から、当該対象の向きを推定する装置に搭載されたコンピュータにおける対象情報推定方法であって、
    当該点群のうちで当該対象に相当する部分である対象点群に含まれる対象点データを所定の投影面に投影して、当該対象点群に係る距離画像を生成するステップと、
    当該対象の取り得る向きを区分した複数の向き範囲を設定し、当該距離画像と、当該距離画像に含まれる対象の正解の向き範囲とをもって学習を行った識別器を用いて、生成された当該距離画像から、当該距離画像に含まれている当該対象の向き範囲を決定するステップと、
    当該対象点群に含まれる対象点データの所定面上での分布における偏り具合に基づいて、当該対象の向きに係る方向を決定するステップと、
    決定された当該向き範囲及び当該方向に基づいて、当該対象の向きを決定するステップと
    を有することを特徴とする対象情報推定方法。
    
    

Images