JP2012221456A

JP2012221456A - 対象物識別装置及びプログラム

Info

Publication number: JP2012221456A
Application number: JP2011089999A
Authority: JP
Inventors: Kiyosumi Shirodono; 清澄城殿; Jun Miura; 純三浦
Original assignee: Toyohashi University of Technology NUC; Toyota Central R&D Labs Inc
Current assignee: Toyohashi University of Technology NUC; Toyota Central R&D Labs Inc
Priority date: 2011-04-14
Filing date: 2011-04-14
Publication date: 2012-11-12
Anticipated expiration: 2031-04-14
Also published as: JP5822255B2

Abstract

【課題】解像度が低下する遠方に存在する物体であっても、精度良く対象物か否かを識別する。
【解決手段】評価点群抽出部２２で、レーザレーダ１２により観測された観測データを取得して、観測データに基づいて、車両周辺の物体上の複数の点の各々を３次元空間に投影し、投影された点を点間距離に基づいてグループ化し、対象物の大きさに相当する大きさのグループに含まれる点群を評価点群として抽出する。特徴量算出部２４で、抽出された評価点群の水平面内の分布の高さ方向の変化を示すスライス特徴量を算出し、識別情報記憶部２６に記憶された識別情報と比較して、抽出された評価点群が示す物体が対象物か否かを識別する。
【選択図】図１

Description

本発明は、対象物識別装置及びプログラムに関する。

従来、パルスレーザ距離画像化技術を用いた物体センサを用いて、このセンサを通過する車両の速度及び３次元プロファイルを求め、車両の型を分類するインテリジェント車両・道路システムが提案されている（例えば、特許文献１参照）。特許文献１の技術では、送信機からの連続パルスレーザビームを分割して１対のスキャンレーザビームが用いられ、光受信機が道路重量ステーションや料金所のような所定のゾーンに車両が存在するかどうかを検出し、センサから車両までの距離及び角度、並びに時間データを収集して記憶し、センサを通過する車両の速度及び３次元プロファイルを求めている。

また、１ラインスキャンのレーザレーダをパン及びチルト操作可能な制御台に載置し、対象物の３次元距離データ群を取得し、取得したデータの３次元共分散やモーメント量、及び点群の分布状況を表現したヒストグラム特徴量などに基づいて、計測対象が識別対象である歩行者か否かを識別する手法が提案されている（例えば、非特許文献１参照）。また、非特許文献１の手法では、対象物の動き情報を加えて、識別精度の高精度化を実現している。

特表２００２−５１５１１６号公報

Luis E. Navarro-Serment, Christoph Mertz, and Martial Hebert (CMU)、"Pedestrian Detection and Tracking Using Three-Dimensional LADAR Data"、7th Int. Conf. on Field and Service Robotics, 2009

しかしながら、特許文献１の技術では、センサと識別対象物との位置関係が決まっていること、及び識別対象物が形状変化の小さい車両であることから、テンプレートマッチングによる識別が可能である。しかし、車載センサで路上に存在する歩行者などを計測及び識別する場合には、センサと識別対象物との位置関係（識別対象物までの距離及び角度）が一定ではない。また、識別対象物が歩行者の場合には、姿勢、服装、荷物等の影響により識別対象物の形状や輪郭は様々に変化する。このように、センサと識別対象物との位置関係が一定ではなく、識別対象物の形状変化が大きい場合には、特許文献１の技術では安定して対象物を識別することができない、という問題がある。

また、非特許文献１の技術では、対象物までの距離が近く、高密度な３次元距離データが取得できれば、高い識別性能を実現することができるが、識別対象物が遠方に存在する場合には、取得される３次元距離データの解像度が低下し、十分な識別性能を達成することが困難となる、という問題がある。また、走行環境にいては、横断待ちなどで路上に静止している歩行者の検出も求められるケースがあり、このような場合には、識別精度の向上のために動き情報を適用することができない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、観測データの解像度が低下する遠方に存在する物体であっても、精度良く対象物か否かを識別することができる対象物識別装置及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明の対象物識別装置は、移動体の周辺に存在する物体上の複数の点の各々の前記移動体を基準とする位置を特定する情報を取得する取得手段と、前記取得手段により取得された情報に基づいて、前記複数の点の各々を３次元空間に投影し、投影した複数の点から、前記３次元空間内の識別対象物の大きさに相当する大きさの３次元領域に含まれる点群を抽出する抽出手段と、前記抽出手段により抽出された点群の所定の平面内の分布の該平面と交差する方向の変化を示す特徴量を算出する算出手段と、前記算出手段により算出された特徴量と、前記識別対象物を識別するための識別情報とに基づいて、前記抽出手段により抽出された点群が示す物体が前記識別対象物か否かを識別する識別手段と、を含んで構成されている。

第１の発明の対象物識別装置によれば、取得手段が、移動体の周辺に存在する物体上の複数の点の各々の移動体を基準とする位置を特定する情報を取得する。位置を特定する情報は、移動体から物体上の複数の点の各々までの距離及び方向を示す極座標で表される情報や、移動体の位置を基準とした直交座標系における物体上の複数の点の各々の３次元位置座標とすることができる。

そして、抽出手段が、取得手段により取得された情報に基づいて、複数の点の各々を３次元空間に投影し、投影した複数の点から、３次元空間内の識別対象物の大きさに相当する大きさの３次元領域に含まれる点群を抽出し、算出手段が、抽出手段により抽出された点群の所定の平面内の分布の該平面と交差する方向の変化を示す特徴量を算出する。例えば、抽出された点群の水平面内の分布の高さ方向の変化や、鉛直面内の分布の左右または奥行き方向の変化を特徴量とすることができる。この特徴量は、物体の概略外形を示すものとなり、移動体と物体との距離によらず、比較的安定して同様の特徴を示す特徴量となる。

そして、識別手段が、算出手段により算出された特徴量と、識別対象物を識別するための識別情報とに基づいて、抽出手段により抽出された点群が示す物体が識別対象物か否かを識別する。

このように、点群の水平面内の分布の高さ方向の変化を示す特徴量であって、遠方の物体と近傍の物体とで比較的安定して同様の特徴を示す特徴量を用いて、点群が示す物体が対象物か否かを識別するため、解像度が低下する遠方に存在する物体であっても、精度良く対象物か否かを識別することができる。

また、第２の発明の対象物識別装置は、移動体の周辺に存在する物体上の複数の点の各々の前記移動体を基準とする位置を特定する情報、及び前記物体上の複数の点の各々における光の反射強度を取得する取得手段と、前記取得手段により取得された情報に基づいて、前記複数の点の各々を３次元空間に投影し、投影した複数の点から、前記３次元空間内の識別対象物の大きさに相当する大きさの３次元領域に含まれる点群を抽出する抽出手段と、前記抽出手段により抽出された点群の各々の点に対応する反射強度を、該点の各々と前記移動体との距離に応じて正規化した値の分布を示す特徴量を算出する算出手段と、前記算出手段により算出された特徴量と、前記識別対象物を識別するための識別情報とに基づいて、前記抽出手段により抽出された点群が示す物体が前記識別対象物か否かを識別する識別手段と、を含んで構成されている。

第２の発明の対象物識別装置によれば、取得手段が、移動体の周辺に存在する物体上の複数の点の各々の移動体を基準とする位置を特定する情報、及び物体上の複数の点の各々における光の反射強度を取得する。そして、抽出手段が、取得手段により取得された情報に基づいて、複数の点の各々を３次元空間に投影し、投影した複数の点から、３次元空間内の識別対象物の大きさに相当する大きさの３次元領域に含まれる点群を抽出し、算出手段が、抽出手段により抽出された点群の各々の点に対応する反射強度を、該点の各々と移動体との距離に応じて正規化した値の分布を示す特徴量を算出する。この特徴量は、物体の材質に起因する特徴量であるため、移動体と物体との距離によらず、比較的安定して同様の特徴を示す特徴量となる。そして、識別手段が、算出手段により算出された特徴量と、識別対象物を識別するための識別情報とに基づいて、抽出手段により抽出された点群が示す物体が識別対象物か否かを識別する。

このように、点群の各々の点に対応する反射強度を距離で正規化した値の分布を示す特徴量であって、遠方の物体と近傍の物体とで比較的安定して同様の特徴を示す特徴量を用いて、点群が示す物体が対象物か否かを識別するため、解像度が低下する遠方に存在する物体であっても、精度良く対象物か否かを識別することができる。

また、前記抽出手段は、前記識別対象物の大きさに相当する大きさの３次元枠を前記３次元空間内で走査させながら、前記３次元枠内に含まれる点群を抽出することができる。これにより、物体と物体とが近接して存在する場合でも、適切に物体を切り分けて点群を抽出することができ、識別対象物の未検出を低減することができる。

また、前記抽出手段は、前記複数の点の各々の点間距離に基づいて、該複数の点の各々をグループ化し、前記識別対象物の大きさに相当する大きさのグループを構成する点群を抽出することもできる。これにより、簡易な処理で点群を抽出することができる。

また、前記抽出手段は、前記識別対象物の大きさに相当する大きさの３次元枠を、前記対象物の大きさに相当する大きさよりも大きいグループを示す領域内で走査させながら、前記３次元枠内に含まれる点群を抽出することができる。これにより、識別対象物の未検出を低減しつつ、３次元枠の走査範囲を縮小して処理効率を向上させることができる。

また、前記識別手段は、基準位置からの距離に応じた複数の識別情報から、前記抽出手段により抽出された点群が示す物体と前記移動体との距離に対応した識別情報を選択し、前記算出手段により算出された特徴量と、選択された識別情報とに基づいて、前記抽出手段により抽出された点群が示す物体が前記識別対象物か否かを識別することができる。これにより、より効果的に遠方に存在する対象物に対する識別精度を向上させることができる。

また、第３の発明の対象物識別プログラムは、コンピュータを、移動体の周辺に存在する物体上の複数の点の各々の前記移動体を基準とする位置を特定する情報を取得する取得手段、前記取得手段により取得された情報に基づいて、前記複数の点の各々を３次元空間に投影し、投影した複数の点から、前記３次元空間内の識別対象物の大きさに相当する大きさの３次元領域に含まれる点群を抽出する抽出手段、前記抽出手段により抽出された点群の所定の平面内の分布の該平面と交差する方向の変化を示す特徴量を算出する算出手段、及び前記算出手段により算出された特徴量と、前記識別対象物を識別するための識別情報とに基づいて、前記抽出手段により抽出された点群が示す物体が前記識別対象物か否かを識別する識別手段として機能させるためのプログラムである。

また、第４の発明の対象物識別プログラムは、コンピュータを、移動体の周辺に存在する物体上の複数の点の各々の前記移動体を基準とする位置を特定する情報、及び前記物体上の複数の点の各々における光の反射強度を取得する取得手段、前記取得手段により取得された情報に基づいて、前記複数の点の各々を３次元空間に投影し、投影した複数の点から、前記３次元空間内の識別対象物の大きさに相当する大きさの３次元領域に含まれる点群を抽出する抽出手段、前記抽出手段により抽出された点群の各々の点に対応する反射強度を、該点の各々と前記移動体との距離に応じて正規化した値の分布を示す特徴量を算出する算出手段、及び前記算出手段により算出された特徴量と、前記識別対象物を識別するための識別情報とに基づいて、前記抽出手段により抽出された点群が示す物体が前記識別対象物か否かを識別する識別手段として機能させるためのプログラムである。

なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。

以上説明したように、本発明の対象物識別装置及びプログラムによれば、車両周辺の物体上の複数の点の各々の位置を特定する情報を取得し、各点を投影した３次元空間において、識別対象物の大きさに相当する大きさの領域から点群を抽出し、点群の所定の平面内の分布の該平面と交差する方向の変化を示す特徴量、または点群の各々の点に対応する反射強度を距離で正規化した値の分布を示す特徴量であって、遠方の物体と近傍の物体とで比較的安定して同様の特徴を示す特徴量を用いて、点群が示す物体が歩行者か否かを識別するため、観測データの解像度が低下する遠方に存在する物体であっても、精度良く対象物か否かを識別することができる、という効果が得られる。

本実施の形態に係る対象物識別装置を示すブロック図である。レーザレーダで観測された観測データを画像化した一例を示すイメージ図である。評価領域の抽出を説明するための図である。スライス特徴量の算出を説明するための図である。第１の実施の形態に係る対象物識別装置における対象物識別処理ルーチンの内容を示すフローチャートである。第２の実施の形態に係る対象物識別装置における対象物識別処理ルーチンの内容を示すフローチャートである。従来手法と提案手法との識別性能の比較結果を示すグラフである。従来手法と提案手法との対象物までの距離別の識別性能の比較結果を示すグラフである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、識別対象物として歩行者を識別する対象物識別装置に、本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る対象物識別装置１０は、自車両の前方に対して複数ラインのレーザを水平方向に走査しながら照射し、レーザの反射によりレーザが照射された物体上の点の３次元位置を検出するレーザレーダ１２と、ＣＣＤカメラ等で構成され、車両周辺を撮像して撮像された画像の画像データを出力する撮像装置１４と、識別結果を表示するための表示装置１６と、レーザレーダ１２の観測データに基づいて、歩行者を識別する処理を実行するコンピュータ２０と、を備えている。

レーザレーダ１２は、車両前方に設置され、車両の進行方向を中心とした視野角で周辺環境を観測し、装置を基準とする車両前方に存在する物体の方位及び距離を検出する装置である。レーザレーダ１２は、出力する複数ラインのレーザを水平方向に走査することで、レーザの反射により自車両前方に存在する複数の物体表面上の複数の点の位置を検出することができる。レーザレーダ１２により観測される観測データは、自車両前方に存在する物体表面のある点の位置を表す３次元座標の集合である。レーザレーダ１２による観測処理は一定サイクルで実行され、レーザレーダ１２は、各時点での自車両前方に存在する物体表面の複数の点の３次元位置を示す観測データをコンピュータ２０に出力する。出力される観測データが示す各点の３次元位置は、レーザレーダ１２から物体表面上の各点までの距離及び方位で表される極座標であってもよいし、レーザレーダ１２を中心とする直交座標系上での３次元位置座標であってもよい。図２（ａ）のような周辺環境（撮像装置１４で撮像された画像）において、レーザレーダ１２で観測された観測データを画像化した一例を、同図（ｂ）に示す。

撮像装置１４は、車両前方に設置され、車両の進行方向を中心とした視野角で、レーザレーダ１２と共通の観測領域を撮像して、画像データをコンピュータ２０に出力する。撮像装置１４が出力する画像データは、カラー画像であってもよいし、モノクロ画像であってもよい。また、レーザレーダ１２と撮像装置１４とは、検出したい範囲の視野角を有すればよく、センサの数や視野角は特に制限されない。さらに、レーザレーダ１２及び撮像装置１４の設置位置や角度は既知であるため、レーザレーダ１２で観測された物体の位置と、撮像装置１４で撮像された撮像画像内での物体の位置とは対応付けが可能である。

コンピュータ２０は、ＣＰＵ、後述する対象物識別処理ルーチンを実行するためのプログラム等各種プログラム及び各種データを記憶したＲＯＭ、データ等を一時的に記憶するＲＡＭ、各種情報が記憶されたメモリ、及びこれらを接続するバスを含んで構成されている。

このコンピュータ２０をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、レーザレーダ１２により観測された観測データに基づいて、各点を３次元空間に投影し、その３次元空間から評価対象となる評価点群を抽出する評価点群抽出部２２と、抽出された評価点群の分布に基づいて特徴量を算出する特徴量算出部２４と、歩行者を識別するために予め生成された識別情報が記憶された識別情報記憶部２６と、算出された特徴量と記憶された識別情報とに基づいて、評価点群が示す物体が歩行者か否かを識別する対象物識別部２８と、識別結果が表示装置１６に表示されるように制御する表示制御部３０と、を含んだ構成で表すことができる。

評価点群抽出部２２は、レーザレーダ１２から出力された観測データを取得し、観測データが示す各点の３次元位置に基づいて、各点を３次元空間に投影し、投影された各点について、点間距離が所定距離より小さい点同士をグループ化し、近接する点群を１つの物体とみなす。１つのグループに分類された複数の点を包含する直方体を、評価領域候補として設定し、各グループの大きさとして、各評価領域候補を示す直方体の大きさ（幅、奥行き、及び高さ）を求める。そして、評価領域候補から、識別対象物である歩行者の大きさに相当する大きさの評価領域候補を評価領域として抽出する。例えば、幅１．２ｍ以下、奥行き１．２ｍ以下、かつ高さ２ｍ以下の評価領域候補を評価領域として抽出する。図３（ａ）のような周辺環境（撮像装置１４で撮像された画像）における、評価領域候補及び評価領域を同図（ｂ）に示す。同図（ｂ）では、説明のため、高さ方向の情報を削除した状態を表している。同図（ｂ）に示すように、グループ化された複数の点を囲む破線及び実線の矩形枠（３次元空間においては直方体）が評価領域候補であり、中でも実線の矩形枠が、その大きさに基づいて抽出された評価領域を示している。評価点群抽出部２２は、このように設定された評価領域内に含まれる点群を、歩行者か否かを識別するための評価点群として抽出する。

特徴量算出部２４は、評価点群抽出部２２により抽出された評価点群の水平面内の分布の高さ方向の変化を示すスライス特徴量を算出する。具体的には、評価点群を高さ方向に複数のブロックに分割（スライス）し、各ブロックの分割面（スライス面）毎に評価点群の分散を算出し、これをブロック毎に並べた特徴量を算出する。例えば、評価点群を主成分分析して主軸を算出し、図４（ａ）に示すように、評価点群を主軸方向に等間隔にＮ個（ここでは、６個）にスライスする。そして、同図（ｂ）に示すように、ｉ番目のスライス面上の評価点群の第２主成分方向の幅Ｗ２_ｉ、及び第３主成分方向の幅Ｗ３_ｉを算出し、｛（Ｗ２_１，Ｗ３_１），（Ｗ２_２，Ｗ３_２），・・・，（Ｗ２_Ｎ，Ｗ３_Ｎ）｝となるスライス特徴量を算出することができる。このように算出されるスライス特徴量は、物体の大雑把な輪郭を示す特徴量であり、遠方に存在する物体のように解像度が低下する場合でも、比較的安定して、遠方の物体と近傍の物体とで同様な特徴量を算出することができる。

識別情報記憶部２６には、評価点群抽出部２２により抽出された評価点群が示す物体が歩行者か否かを識別するための識別情報が記憶されている。識別情報は、事前に用意された歩行者及び非歩行者の観測データ（点群）から、上記特徴量算出部２４と同様の手法によりスライス特徴量を算出し、歩行者のスライス特徴量及び非歩行者のスライス特徴量を学習することにより生成したものである。学習の手法は、従来既知の技術を用いることができ、例えば、パターン認識でよく使われるＳＶＭ（ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ）や、ＡｄａＢｏｏｓｔ、ＤｅｃｉｓｉｏｎＴｒｅｅ等の識別器を用いることができる。これらの手法により、歩行者と非歩行者とを識別するための識別空間や閾値などが学習され、識別空間や閾値を示すパラメータが識別情報として識別情報記憶部２６に記憶される。

対象物識別部２８は、特徴量算出部２４で算出された特徴量と、識別情報記憶部２６に記憶された識別情報とを比較し、評価点群抽出部２２により抽出された評価点群が示す物体の歩行者らしさを示す評価値を算出する。評価値は、特徴量と識別情報との類似度や識別空間における距離に基づいて算出することができる。そして、この評価値が所定の閾値より大きい場合、すなわち、評価点群が示す物体の歩行者らしさが高い場合には、評価点群が示す物体を歩行者であると識別する。

表示制御部３０は、撮像装置１４で撮像された撮像画像に、対象物識別部２８での識別結果が重畳して表示されるように制御して、表示装置１６に出力する。例えば、撮像画像上で、識別された歩行者を示す画像を矩形枠で囲んで表示することができる。

次に、第１の実施の形態に係る対象物識別装置１０の作用について説明する。

まず、レーザレーダ１２によって、複数ラインのレーザが自車両の前方を水平方向に走査されて、車両周辺の物体上の複数の点の各々の３次元位置を特定する観測データが観測される。レーザレーダ１２によって観測される観測データは、レーザを走査する毎に得られる。そして、コンピュータ２０によって、図５に示す対象物識別処理ルーチンが実行される。

ステップ１００で、レーザレーダ１２で観測された観測データ、及び撮像装置１４で撮像された撮像画像を取得する。

次に、ステップ１０２で、観測データが示す各点の３次元位置に基づいて、各点を３次元空間に投影し、投影された各点について、点間距離が所定距離より小さい点同士をグループ化する。次に、ステップ１０４で、１つのグループに分類された複数の点を包含する直方体を、評価領域候補として設定し、各グループの大きさとして、各評価領域候補を示す直方体の大きさ（幅、奥行き、及び高さ）を求め、識別対象物である歩行者の大きさに相当する大きさの評価領域候補を評価領域として抽出する。

次に、ステップ１０６で、上記ステップ１０４で抽出された評価領域から１つの評価領域を選択し、選択した評価領域内に含まれる点群を、歩行者か否かを識別するための評価点群として抽出する。

次に、ステップ１０８で、上記ステップ１０６で抽出された評価点群の水平面内の分布の高さ方向の変化を示すスライス特徴量を算出する。

次に、ステップ１１０で、上記ステップ１０８で算出された特徴量と、識別情報記憶部２６に記憶された識別情報とを比較し、上記ステップ１０６で抽出された評価点群が示す物体の歩行者らしさを示す評価値を算出し、評価値が所定の閾値より大きいか否かを判定することにより、評価点群が示す物体が識別対象物である歩行者か否かを判定する。評価点群が示す物体が歩行者であると識別された場合には、ステップ１１２へ移行し、その評価点群の各点の３次元位置座標等の情報をリストとしてＲＡＭに記憶する。一方、評価点群が示す物体が歩行者ではないと識別された場合には、ステップ１１２をスキップして、ステップ１１４へ移行する。

ステップ１１４では、上記ステップ１０４で抽出された評価領域の全てについて識別処理が終了したか否かを判定する。未処理の評価領域が残っている場合には、ステップ１０６へ戻って、次の評価領域を選択し、処理を繰り返す。全ての評価領域について識別処理が終了した場合には、ステップ１１６へ移行し、上記ステップ１１２で記憶されたリストに基づいて、上記ステップ１００で取得した撮像画像上で、識別された歩行者を示す画像を矩形枠で囲って、表示装置１６に表示して、処理を終了する。

以上説明したように、第１の実施の形態の対象物識別装置によれば、レーザレーダの観測データに基づいて、グループ化した際の大きさが歩行者の大きさに相当する評価領域内から評価点群を抽出し、この評価点群の水平面内の分布の高さ方向の変化を示す特徴量であって、遠方の物体と近傍の物体とで比較的安定して同様の特徴を示す特徴量を用いて、評価点群が示す物体が歩行者か否かを識別するため、解像度が低下する遠方に存在する物体であっても、精度良く対象物か否かを識別することができる。また、特徴量の次元が小さく、その算出過程も複雑ではないため、計算量が少なく高速処理が可能である。

なお、第１の実施の形態では、所定平面内の分布の該平面と交差する方向の変化を示す特徴量として、水平面内の分布の高さ方向の変化を示す特徴量を用いる場合について説明したが、これに限定されない。例えば、上記の主成分分析の第２主軸や第３主軸の方向、レーザ座標系の高さ方向以外の軸に沿ってスライス特徴量を算出するようにしてもよい。

次に、第２の実施の形態について説明する。なお、第２の実施の形態の対象物識別装置について、第１の実施の形態の対象物識別装置１０と同様の構成については、同一の符号を付して、詳細な説明は省略する。

図１に示すように、第２の実施の形態に係る対象物識別装置２１０は、レーザレーダ１２と、撮像装置１４と、表示装置１６と、コンピュータ２２０と、を備えている。このコンピュータ２２０をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、レーザレーダ１２により観測された観測データに基づいて、各点を３次元空間に投影し、その３次元空間から評価対象となる評価点群を抽出する評価点群抽出部２２２と、抽出された評価点群の反射強度の分布に基づいて特徴量を算出する特徴量算出部２２４と、歩行者を識別するために予め生成された対象物までの距離に応じた複数の識別情報が記憶された識別情報記憶部２２６と、算出された特徴量と対象物までの距離に応じて選択された識別情報とに基づいて、評価点群が示す物体が歩行者か否かを識別する対象物識別部２２８と、識別結果が表示装置１６に表示されるように制御する表示制御部３０と、を含んだ構成で表すことができる。

レーザレーダ１２の観測データには、自車両前方に存在する物体表面のある点の位置を表す３次元座標の集合と共に、物体表面の各点におけるレーザの反射強度の情報も含まれる。図２（ｃ）のような周辺環境において、レーザレーダ１２で観測された観測データを画像化した一例を、同図（ｄ）に示す。同図（ｄ）の濃淡は反射強度を表している。

評価点群抽出部２２２は、レーザレーダ１２から出力された観測データを取得し、観測データが示す各点の３次元位置に基づいて、各点を３次元空間に投影し、その３次元空間内で識別対象物である歩行者の大きさに相当する大きさのバウンディングボックスを走査させながら、各位置においてバウンディングボックスで囲まれた領域を評価領域として設定する。バウンディングボックスは、識別したい対象物を囲むことができるボリュームの直方体枠で、例えば、幅１．２ｍ、奥行き１．２ｍ、高さ２ｍの直方体枠とすることができる。また、バウンディングボックスの大きさは、複数種類の大きさに変更可能に設定することができる。予め複数種類の大きさのバウンディングボックスを用意しておいてもよい。評価点群抽出部２２２は、バウンディングボックスを走査することにより設定された評価領域内に含まれる点群を、歩行者か否かを識別するための評価点群として抽出する。

第１の実施の形態の対象物識別装置１０の評価点群抽出部２２のように、各点をグループ化して評価領域を設定する場合には、例えば、図３中のＡで示したように、建物の壁際や駐車車両際に存在する歩行者が、建物や駐車車両に吸収されてグループ化されてしまい、未検出となってしまう場合がある。第２の実施の形態のように、識別対象物の大きさに相当するバウンディングボックスを用いることで、このような歩行者の未検出を低減することができる。

特徴量算出部２２４は、評価点群抽出部２２２により抽出された評価点群の各々の点に対応する反射強度の分布を示す特徴量を算出する。レーザレーダ１２の反射強度は、距離の２乗に反比例する。レーザレーダ１２から各点までの距離はレーザレーダ１２の観測データにより既知であるので、各点における反射強度を、その点までの距離で正規化する。そして、抽出された評価点群の反射強度の分布を示す反射強度特徴量を算出する。反射強度特徴量は、例えば、評価点群の各点での反射強度の平均値、分散、中央値等としてもよいし、反射強度の分布をヒストグラムの形式で表現したものでもよい。また、距離に応じて反射強度のノイズが変化する場合には、ノイズレベルと区別するための強度閾値を設定して、抽出された評価点群のうち、反射強度が強度閾値以上の点を用いて反射強度特徴量を算出するようにしてもよい。このように特徴量として物体の材質に起因する反射強度を用いることで、遠方に存在する歩行者であっても、歩行者と非歩行者（樹木、電柱、金属ポール等）とを識別する精度を向上させることができる。

識別情報記憶部２２６には、評価点群抽出部２２２により抽出された評価点群が示す物体が歩行者か否かを識別するための識別情報が記憶されている。識別情報は、第１の実施の形態と同様に、上記特徴量算出部２２４と同様の手法により、歩行者及び非歩行者を観測した観測データの各々から抽出した評価点群に基づいて算出した反射強度特徴量を学習することにより生成したものである。また、識別情報は、レーザレーダ１２から対象物までの距離に応じて複数用意してもよい。図２に示すように、レーザレーダ１２の観測データは、一般的に距離に応じて解像度が低下する。そこで、距離に応じて異なる識別情報を複数用意しておく。本実施の形態で用いられる特徴量は、比較的安定して遠方に存在する歩行者を識別することができるものであるが、距離に応じた識別情報を用いることで、さらに遠方に存在する歩行者に対する識別精度を向上させることができる。

対象物識別部２２８は、抽出された評価点群とレーザレーダ１２との代表距離を算出する。代表距離は、例えば、評価点群の重心や評価点群の中で最遠または最近の点とレーザレーダ１２との距離としたり、各点とレーザレーダ１２との距離の平均距離としたりすることができる。そして、識別情報記憶部２２６に記憶された複数の識別情報の中から、算出した代表距離に対応した識別情報を選択し、特徴量算出部２２４で算出された特徴量と、選択した識別情報とを比較し、評価点群抽出部２２２により抽出された評価点群が示す物体の歩行者らしさを示す評価値を算出する。

次に、第２の実施の形態に係る対象物識別装置２１０の作用について説明する。

まず、レーザレーダ１２によって、複数ラインのレーザが自車両の前方を水平方向に走査されて、車両周辺の物体上の複数の点の各々の３次元位置を特定する情報、及び各点におけるレーザレーダの反射強度を含む観測データが観測される。レーザレーダ１２によって観測される観測データは、レーザを走査する毎に得られる。そして、コンピュータ２２０によって、図６に示す対象物識別処理ルーチンが実行される。なお、第１の実施の形態の対象物識別処理ルーチンと同一の処理については、同一の符号を付して、詳細な説明は省略する。

次に、ステップ２００で、識別対象物である歩行者の大きさに相当する大きさのバウンディングボックスを設定する。

次に、ステップ２０２で、上記ステップ１００で取得した観測データが示す各点の３次元位置に基づいて、各点を３次元空間に投影し、その３次元空間内において、上記ステップ２００で設定したバウンディングボックスを走査する。

次に、ステップ２０４で、各位置においてバウンディングボックスで囲まれた領域を評価領域として設定し、評価領域内に含まれる点群を、歩行者か否かを識別するための評価点群として抽出する。

次に、ステップ２０６で、上記ステップ２０４で抽出された評価点群の各点に対応する反射強度の分布を示す反射強度特徴量を算出する。次に、ステップ２０８で、上記ステップ２０４で抽出された評価点群の代表距離を算出する。

次に、ステップ２１２で、識別情報記憶部２２６に記憶された複数の識別情報の中から、上記ステップ２０８で算出した代表距離に対応した識別情報を選択し、上記ステップ２０６で算出された特徴量と、選択した識別情報とを比較し、上記ステップ２０４で抽出された評価点群が示す物体の歩行者らしさを示す評価値を算出する。そして、評価値が所定の閾値より大きいか否かを判定することにより、評価点群が示す物体が識別対象物である歩行者か否かを判定する。評価点群が示す物体が歩行者であると識別された場合には、ステップ１１２へ移行し、その評価点群の各点の３次元位置座標等の情報をリストとしてＲＡＭに記憶する。一方、評価点群が示す物体が歩行者ではないと識別された場合には、ステップ１１２をスキップしてステップ２１４へ移行する。

ステップ２１４では、上記ステップ２０２で観測データの各点が投影された３次元空間の全領域を現在のサイズのバウンディングボックスで走査終了したか否かを判定する。全領域の走査が終了していない場合には、ステップ２０２へ戻って、バウンディングボックスをワンステップ移動させて、処理を繰り返す。全領域の走査が終了した場合には、ステップ２１６へ移行する。

ステップ２１６では、全サイズのバウンディングボックスについて処理が終了したか否かを判定する。未処理のサイズのバウンディングボックスが残っている場合には、ステップ２００へ戻って、バウンディングボックスのサイズを変更して、処理を繰り返す。全サイズのバウンディングボックスについて処理が終了した場合には、ステップ１１６へ移行して、上記ステップ１１２で記憶されたリストに基づいて、上記ステップ１００で取得した撮像画像上で、識別された歩行者を示す画像を矩形枠で囲って、表示装置１６に表示して、処理を終了する。

以上説明したように、第２の実施の形態の対象物識別装置によれば、反射強度を含むレーザレーダの観測データの各点を投影した３次元空間において、歩行者の大きさに相当するバウンディングボックスを走査しながら評価点群を抽出し、この評価点群の各点に対応する反射強度の分布を示す特徴量であって、遠方の物体と近傍の物体とで比較的安定して同様の特徴を示す特徴量を用いて、評価点群が示す物体が歩行者か否かを識別するため、解像度が低下する遠方に存在する物体であっても、精度良く対象物か否かを識別することができる。また、特徴量の次元が小さく、その算出過程も複雑ではないため、計算量が少なく高速処理が可能である。また、対象物までの距離に応じた識別情報を用いることで、より効果的に遠方に存在する対象物に対する識別制度を向上させることができる。

なお、第２の実施の形態では、評価点群の特徴量として反射強度特徴量を用いる場合について説明したが、第１の実施の形態で説明したスライス特徴量を用いてもよい。また、スライス特徴量と反射強度特徴量とを組み合わせた特徴量を用いてもよい。さらに、評価点群に含まれる点の数や代表距離を特徴量に加えてもよいし、従来手法の特徴量を加えてもよい。

ここで、図７に、従来手法の特徴量を用いた場合（従来手法）と、上記実施の形態のスライス特徴量、反射強度特徴量、及び従来手法の特徴量を用いた場合（提案手法）とにおける識別性能の比較結果を示す。従来手法は、下記３つの特徴量を用いた。なお、各特徴量の詳細は、非特許文献１に記載された特徴量と同様である。

（ａ）全体の点群データの分布を表す共分散行列及びモーメント量
（ｂ）局所領域（上半身や左右の下半身）の共分散行列
（ｃ）点群を２次元平面に投影して生成される２次元ヒストグラム
また、提案手法では、第１の実施の形態で説明したスライス特徴量、及び第２の実施の形態で説明した反射強度特徴量に、上記（ａ）〜（ｃ）の特徴量を加えた特徴量を用いた。

図７は、識別対象物を歩行者とした場合の性能比較である。同図は、横軸に誤検出率、縦軸に検出率を表示しており、性能曲線が左上に位置するほど性能が高いことを示す。従来手法と比較して、提案手法の方が識別性能が向上していることが分かる。

また、図８に、対象物までの距離別の性能比較結果を示す。特に、対象物までの距離が３０ｍ以上となった場合に、従来手法と比較して、提案手法の方が識別性能が大きく向上していることがわかる。

また、第２の実施の形態では、レーザレーダと物体との距離に応じた識別情報を用いる場合について説明したが、第１の実施の形態においても、第２の実施の形態と同様に、距離に応じた識別情報を用いることができる。第１の実施の形態で説明したスライス特徴量も、比較的安定して遠方に存在する歩行者を識別することができるものであるが、距離に応じた識別情報を用いることで、さらに遠方に存在する歩行者に対する識別精度を向上させることができる。

また、第２の実施の形態では、バウンディングボックスを用いて評価領域を設定する場合について説明したが、第１の実施の形態と同様に、３次元空間に投影された各点をグループ化して評価領域を設定する方法を適用してもよい。また、グループ化を行って評価領域を設定する方法と、バウンディングボックスを用いて評価領域を設定する方法とを組み合わせて評価領域を設定するようにしてもよい。具体的には、グループ化により評価領域候補を設定し、評価領域候補の大きさに基づいて、第１段階の評価領域を抽出する。そして、第１段階の評価領域として抽出されなかった評価領域候補から、識別対象物の大きさに相当する大きさより大きい評価領域候補を選択し、その評価領域候補内でバウンディングボックスを走査しながら第２段階の評価領域を設定する。このように処理することで、建物の壁際や駐車車両際の歩行者の未検出を低減しつつ、バウンディングボックスの走査範囲を縮小して処理効率を向上させることができる。

また、上記実施の形態では、算出した特徴量と識別情報とを比較した評価値が閾値以上か否かにより、評価点群が示す物体が歩行者か否かを識別する場合について説明したが、同一物体を時系列に追跡して評価値の時間変化を求めて、この評価値の時間変化まで考慮して識別判定を行うようにしてもよい。

また、上記実施の形態では、レーザレーダにより車両周辺に存在する物体上の複数の点の位置を特定する情報を観測する場合について説明したが、これに限定されるものではなく、ミリ波などの電磁波を用いてもよい。また、例えば、ステレオカメラによって撮像された画像を用いて、後処理により物体上の複数の点の位置を特定する情報を演算するようにしてもよい。

また、上記実施の形態では、識別対象物を歩行者とする場合について説明したが、車両や二輪車等を識別対象物としてもよい。

また、上記実施の形態では、対象物の識別結果を表示装置に表示する場合について説明したが、これに限定されるものではなく、識別結果に応じて注意喚起のための警報を発するようにしたり、識別結果を操舵制御や制動制御等を実行する車両運動制御装置に出力したりするようにしてもよい。

１０、２１０対象物識別装置
１２レーザレーダ
１４撮像装置
１６表示装置
２０、２２０コンピュータ
２２、２２２評価点群抽出部
２４、２２４特徴量算出部
２６、２２６識別情報記憶部
２８、２２８対象物識別部
３０表示制御部

Claims

移動体の周辺に存在する物体上の複数の点の各々の前記移動体を基準とする位置を特定する情報を取得する取得手段と、
前記取得手段により取得された情報に基づいて、前記複数の点の各々を３次元空間に投影し、投影した複数の点から、前記３次元空間内の識別対象物の大きさに相当する大きさの３次元領域に含まれる点群を抽出する抽出手段と、
前記抽出手段により抽出された点群の所定の平面内の分布の該平面と交差する方向の変化を示す特徴量を算出する算出手段と、
前記算出手段により算出された特徴量と、前記識別対象物を識別するための識別情報とに基づいて、前記抽出手段により抽出された点群が示す物体が前記識別対象物か否かを識別する識別手段と、
を含む対象物識別装置。
移動体の周辺に存在する物体上の複数の点の各々の前記移動体を基準とする位置を特定する情報、及び前記物体上の複数の点の各々における光の反射強度を取得する取得手段と、
前記取得手段により取得された情報に基づいて、前記複数の点の各々を３次元空間に投影し、投影した複数の点から、前記３次元空間内の識別対象物の大きさに相当する大きさの３次元領域に含まれる点群を抽出する抽出手段と、
前記抽出手段により抽出された点群の各々の点に対応する反射強度を、該点の各々と前記移動体との距離に応じて正規化した値の分布を示す特徴量を算出する算出手段と、
前記算出手段により算出された特徴量と、前記識別対象物を識別するための識別情報とに基づいて、前記抽出手段により抽出された点群が示す物体が前記識別対象物か否かを識別する識別手段と、
を含む対象物識別装置。
前記抽出手段は、前記識別対象物の大きさに相当する大きさの３次元枠を前記３次元空間内で走査させながら、前記３次元枠内に含まれる点群を抽出する請求項１または請求項２記載の対象物識別装置。
前記抽出手段は、前記複数の点の各々の点間距離に基づいて、該複数の点の各々をグループ化し、前記識別対象物の大きさに相当する大きさのグループを構成する点群を抽出する請求項１または請求項２記載の対象物識別装置。
前記抽出手段は、前記識別対象物の大きさに相当する大きさの３次元枠を、前記対象物の大きさに相当する大きさよりも大きいグループを示す領域内で走査させながら、前記３次元枠内に含まれる点群を抽出する請求項４記載の対象物識別装置。
前記識別手段は、基準位置からの距離に応じた複数の識別情報から、前記抽出手段により抽出された点群が示す物体と前記移動体との距離に対応した識別情報を選択し、前記算出手段により算出された特徴量と、選択された識別情報とに基づいて、前記抽出手段により抽出された点群が示す物体が前記識別対象物か否かを識別する請求項１〜請求項５のいずれか１項記載の対象物識別装置。
コンピュータを、
移動体の周辺に存在する物体上の複数の点の各々の前記移動体を基準とする位置を特定する情報を取得する取得手段、
前記取得手段により取得された情報に基づいて、前記複数の点の各々を３次元空間に投影し、投影した複数の点から、前記３次元空間内の識別対象物の大きさに相当する大きさの３次元領域に含まれる点群を抽出する抽出手段、
前記抽出手段により抽出された点群の所定の平面内の分布の該平面と交差する方向の変化を示す特徴量を算出する算出手段、及び
前記算出手段により算出された特徴量と、前記識別対象物を識別するための識別情報とに基づいて、前記抽出手段により抽出された点群が示す物体が前記識別対象物か否かを識別する識別手段
として機能させるための対象物識別プログラム。
コンピュータを、
移動体の周辺に存在する物体上の複数の点の各々の前記移動体を基準とする位置を特定する情報、及び前記物体上の複数の点の各々における光の反射強度を取得する取得手段、
前記取得手段により取得された情報に基づいて、前記複数の点の各々を３次元空間に投影し、投影した複数の点から、前記３次元空間内の識別対象物の大きさに相当する大きさの３次元領域に含まれる点群を抽出する抽出手段、
前記抽出手段により抽出された点群の各々の点に対応する反射強度を、該点の各々と前記移動体との距離に応じて正規化した値の分布を示す特徴量を算出する算出手段、及び
前記算出手段により算出された特徴量と、前記識別対象物を識別するための識別情報とに基づいて、前記抽出手段により抽出された点群が示す物体が前記識別対象物か否かを識別する識別手段
として機能させるための対象物識別プログラム。
コンピュータを、請求項１〜請求項６のいずれか１項記載の対象物識別装置を構成する各手段として機能させるための対象物識別プログラム。