JP2018152036A - 人工地物認識装置、人工地物認識方法及び人工地物認識プログラム - Google Patents

Abstract

【課題】高い精度で人工地物を認識し、分類することができる、人工地物認識装置、人工地物認識方法及び人工地物認識プログラムを提供する。【解決手段】柱状物体点群から点群特徴量算出部を用いて点群特徴量を得る。正規化柱状物画像からＣＮＮ処理部を用いて特徴量を抽出し、更に寄与度フィルタで上位の特徴量を抜粋して、画像特徴量を得る。点群特徴量と画像特徴量を組み合わせて柱状物特徴量として、学習処理を行い、学習済み分類器を作成する。この学習済み分類器を用いることで、道路周辺の人工地物を高い認識率で認識し、分類することが可能になる。【選択図】図８

Description

本発明は、道路の周辺に配置されている、標識や信号機、街灯等の人工地物を認識する、人工地物認識装置、人工地物認識方法及び人工地物認識プログラムに関する。

近年、自動車の自動運転技術が注目されている。運転に人間が全く介在しない自動車の自動運転を実現するには、その前提として、自動車が現在位置している道路の周辺にどの様な地物が存在するのかを精緻かつ詳細に把握することが必要である。現在、市場では平面的な地図を用いたナビゲーションシステムが普及しているが、自動車の自動運転にはこの様な平面的な地図では情報が不足する。特に、自動車で自動運転システムを稼働させる際に、信号機の認識は極めて重要である。すなわち、自動運転システムには３Ｄ地図データが必要である。

道路周辺に存在する地物は、街路樹等の自然物と、標識、信号機、街灯、歩行者信号等の人工地物に分けられる。このうち、自動運転システムには人工地物の認識が重要となる。
現在、来るべき自動運転システム実用化に向け、ＭＭＳ（Mobille Mapping System:移動計測車両）を市街地に走行させ、道路及びその周辺の地物を３Ｄデータとして記録し、３Ｄデータを蓄積する動きがある。

非特許文献１には、点群と画像を用いた道路周辺地物の自動分類手法が開示されている。
非特許文献２には、移動計測データからのメッシュ生成とセグメンテーションが開示されている。
非特許文献３には、移動計測データから地物を検出し分類する技術が開示されている。
非特許文献４には、移動計測データに基づく柱状物体の分類に適した幾何特徴量に関する情報が開示されている。
非特許文献５には、本発明にて利用している教師付き学習アルゴリズムの一種である、ランダムフォレストに関する情報が開示されている。

森 悠真, 小平圭祐, 増田 宏, 点群と画像を用いた道路周辺地物の自動分類手法,精密工学会秋季大会講演論文集, I-04, 2016/09/06 ＜http://www.ddm.mi.uec.ac.jp/papers/smt2016a_mori.pdf＞ 小平圭祐, 深野健太, 増田 宏, 移動計測データからのメッシュ生成とセグメンテーション（第3報）, 精密工学会春季大会講演論文集, 2016/03/15 ＜http://www.ddm.mi.uec.ac.jp/papers/smt2016s_kohira.pdf＞ K. Fukano, H. Masuda, Detection and Classification of Pole-Like Objects from Mobile Mapping Data, ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. I-3/ W5, pp.57-64, 2015/09/30 ＜http://www.isprs-ann-photogramm-remote-sens-spatial-inf-sci.net/II-3-W5/57/2015/isprsannals-II-3-W5-57-2015.pdf＞ 深野健太, 増田 宏, 移動計測データに基づく柱状物体の分類に適した幾何特徴量, 土木学会論文集F3(土木情報学), Vol.70, No.1, 40-47, 2014 ＜https://www.jstage.jst.go.jp/article/jscejcei/70/1/70_40/_pdf＞ Breiman, Leo(2001). "Random Forests".Machine Learning.45(1): 5-32.doi:10.1023/A:1010933404324. ＜https://www.stat.berkeley.edu/~breiman/randomforest2001.pdf＞

ＭＭＳは、乗用車の天井にカメラ、レーザスキャナ、ＧＰＳ（Global Positioning System）、ＩＭＵ（Inertial Measurement Unit）が搭載され、ＧＰＳとＩＭＵを組み合わせて車両の自己位置と姿勢を計算し、カメラとレーザスキャナからそれぞれデータを受け取り、大容量ハードディスク装置に記録する。
発明者らは、ＭＭＳのデータを用いて人工地物を認識し、分類するシステムの開発と改良を行っている。

レーザスキャナから得られる３次元の座標情報の集合体である点群（またはポイントクラウドとも呼ばれる）を用いた人工地物認識は、道路周辺の地物の立体的な特徴を捉えることができる。しかし、ＭＭＳが高速走行することで点群の解像度が低下したり、信号機とある種の案内標識のように外枠の特徴が類似する人工地物の場合、誤認識を生じるケースがある。
カメラから得られる２次元の画像データを後述するＣＮＮ（Convolutional Neural Network）を用いた画像認識ベースの人工地物認識は、道路周辺の地物の平面的な外見を捉えることができる。しかし、画像が逆光で不鮮明であったり、例えば撮影された地物である交通標識が経年劣化等で色褪せていた場合、画像認識に失敗するケースがある。

本発明は係る課題を解決し、高い精度で人工地物を認識し、分類することができる、人工地物認識装置、人工地物認識方法及び人工地物認識プログラムを提供することを目的とする。

上記課題を解決するために、本発明の人工地物認識装置は、３次元の座標情報を有する点群の集合体である点群データベースから、柱状物体を構成する点群である柱状物体点群を抽出する、柱状物体抽出処理部と、カメラが撮影した画像データと撮影日時が格納されている撮影画像データベースから、柱状物体点群に含まれている時刻を基に、柱状物体点群が被写体となって写っている画像データを検索する画像検索処理部とを具備する。更に、画像検索処理部の検索処理によってヒットした複数の画像データに対し、柱状物体点群を投影することによって、最適な画像データを選択して柱状物画像を得る画像点群投影処理部と、柱状物画像から特徴量を得る第一特徴量変換部と、第一特徴量変換部が出力した特徴量に対し、寄与度に基づいて上位の特徴量を抜粋して画像特徴量を得る寄与度フィルタと、柱状物体点群から点群特徴量を得る第二特徴量変換部と、画像特徴量と点群特徴量よりなる柱状物特徴量を、予め作成した辞書データを用いて分類する、学習済み分類器とを具備する。

本発明によれば、高い精度で人工地物を認識し、分類することができる、人工地物認識装置、人工地物認識方法及び人工地物認識プログラムを提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施形態に係る、人工地物認識装置の実施態様を示す概略図である。 人工地物認識装置のハードウェア構成を示すブロック図である。 人工地物認識装置の、学習モードにおけるソフトウェア機能を示すブロック図である。 点群データベースを基に市街地を計測した結果を３Ｄイメージに変換した画像の一例を示す図と、点群データベースから抽出したメッシュから断面線を作成する様子を示す概略図と、断面線で抽出した柱状物（人工地物）の一例を示す図である。 撮影画像データベースに収録されている画像データの一例を示す図である。 画像点群投影処理部が画像に投影する点群の一例を示す図と、ピンホールカメラの原理を示す図と、点群が投影される付属物画像の様子を示す図である。 画像点群投影処理部が画像に投影した点群の一例を示す図と、画像点群投影処理部が画像に投影した点群に基づいて抽出されたカメラ画像の一例を示す図である。 人工地物認識装置の、推定モードにおけるソフトウェア機能を示すブロック図である。 従来技術による人工地物の識別と、本発明の実施形態に係る人工地物認識装置による識別の結果を示す表である。 ５３個の柱状物特徴量の要素に対し、寄与度フィルタと同様に寄与度を計算し、上位３２個のみを用いて学習を行い、識別処理を行った結果の識別率を示す表と、柱状物特徴量の要素を、２１個の点群特徴量はそのままで、画像特徴量を４０７５個まで増加させて学習を行い、識別処理を行った結果の識別率を示す表である。 柱状物特徴量の数と識別率の関係を示す折れ線グラフである。 柱状物特徴量の要素のうち、寄与度の順に並べた上位３２個の内訳を示す表である。

以下、本発明の実施形態の例を、図面を参照して説明する。
これより説明する人工地物認識装置１０１は、ＭＭＳ１０２が計測したデータを基に、学習アルゴリズムを用いて、人工地物を機械的に認識し、分類する装置である。
周知のように学習アルゴリズムは、ある事象に係る多数の情報を、その事象を特徴づける少数の特徴量に変換するアルゴリズムである。多くの学習アルゴリズムを利用した装置やシステムにおいて共通する課題は、学習エンジンに対し、如何に効果的な入力を与えて、高い認識率を達成するか、である。
本発明の実施形態に係る人工地物認識装置１０１は、先ず、人工地物を点群データと画像データに分ける。そして、点群データと画像データのそれぞれに対し、対応する学習アルゴリズムを用いて特徴量を得る。画像データに対する学習アルゴリズムを用いた特徴量は、要素数が膨大になるので、特徴量の寄与度を基に特徴量の間引き処理を行う。こうして得られた点群データの特徴量と画像データの特徴量に対し、更に学習アルゴリズムを用いて、特徴量の集合体である辞書データ３１８（図３参照）を作成する。

［人工地物認識装置１０１の実施形態］
図１は、本発明の実施形態に係る、人工地物認識装置１０１の実施態様を示す概略図である。
ＭＭＳ１０２は道路１０３を走行し、車両の天井に搭載されたレーザスキャナ１０４とカメラ１０５が信号機１０６等の人工地物を含むデータ収集を行う。収集されたデータは、大容量のハードディスク１０７に記憶される。このハードディスク１０７を借用し、人工地物認識装置１０１に接続する。そして、人工地物認識装置１０１は後述するデータ処理を実行する。

［人工地物認識装置１０１のハードウェア構成］
図２は、人工地物認識装置１０１のハードウェア構成を示すブロック図である。
一般的なパソコン等で構成される人工地物認識装置１０１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、不揮発性ストレージ２０４、表示部２０５、操作部２０６がバス２０７に接続されている。ＭＭＳ１０２から貸与されるハードディスク１０７は、バス２０７に周知のシリアルＡＴＡインターフェース等で接続される他、ＮＡＳ（Network Attached Storage）として、ネットワークを通じてＮＩＣ２０８を介して接続される場合もある。
不揮発性ストレージ２０４には、パソコンを人工地物認識装置１０１として稼働させるためのプログラムと、後述する学習処理の過程で形成される辞書データ３１８等が格納されている。
図２を見て明らかなように、本発明の実施形態に係る人工地物認識装置１０１の実質的な機能は、ソフトウェア（プログラム）にて実現される。

［人工地物認識装置１０１のソフトウェア機能（学習モードの例）］
図３は、人工地物認識装置１０１の、学習モードにおけるソフトウェア機能を示すブロック図である。
ＭＭＳ１０２から提供されるデータには、レーザスキャナ１０４の計測結果である点群データベース３０１と、カメラ１０５の撮影結果である撮影画像データベース３０４がある。点群データベース３０１のフィールド構成は、ＭＭＳ１０２を提供し運用する会社が定めた仕様によって決められている。例えば、３次元の点を表す座標系として「緯度、経度、楕円体高」、「平面直角座標系」、「ＥＮＵ座標系」、「ＷＧＳ８４」などが用いられる。点群データベース３０１には、これらのいずれか、もしくは複数の座標系での３次元座標が記憶される。

一例として、最も簡単なＥＮＵ座標系で点群データベース３０１を構成する場合、点群データベース３０１は、
・ＭＭＳ１０２を起点として、当該点が東方向に何ｍ離れているのかを示すＥａｓｔ値が格納されるＥａｓｔ値フィールドと、
・ＭＭＳ１０２を起点として、当該点が北方向に何ｍ離れているのかを示すＮｏｒｔｈ値が格納されるＮｏｒｔｈ値フィールドと、
・ＭＭＳ１０２を起点として、当該点が上下方向に何ｍ離れているのかを示すＵｐ値が格納されるＵｐ値フィールドと、
・当該点を撮影した時点のＧＰＳ時刻が格納されるＧＰＳ時刻フィールドと
を有する。

一方、撮影画像データベース３０４は、
・画像データを撮影した日時が格納される撮影日時フィールドと、
・ＭＭＳ１０２の、ＧＰＳ及び／またはＩＭＵで計測した測位情報が格納されるＭＭＳ位置フィールドと、
・ＭＭＳ１０２の車両上におけるカメラ１０５の位置と、撮影時点のカメラ１０５の姿勢が格納されるカメラ位置及び姿勢フィールドと、
・ＲＡＷ形式等の画像データが格納される画像データフィールドと
を有する。

柱状物体抽出処理部３０２は、点群データベース３０１を読み込み、柱状物体を構成する点群である柱状物体点群３０３を抽出する。
画像検索処理部３０５は、柱状物体点群３０３に含まれているＧＰＳ時刻を基に、柱状物体点群３０３が被写体となって写っている画像を撮影画像データベース３０４から検索する。画像検索処理部３０５は、検索の結果、撮影画像データベース３０４から静止画像データである、柱状物体が撮影されている柱状物体撮影画像３０６を抜粋する。

柱状物体抽出処理部３０２の動作について、図面を参照して更に説明する。
図４Ａは、点群データベース３０１を基に市街地を計測した結果を３Ｄイメージに変換した画像の一例を示す図である。
図４Ｂは、点群データベース３０１から抽出したメッシュから断面線を作成する様子を示す概略図である。
図４Ｃは、断面線で抽出した柱状物（人工地物）の一例を示す図である。
点群データベース３０１は、図４Ａに示すように、市街地等の立体構造の表面を、３次元座標情報を有する点の集合体として計測した結果である。
柱状物体抽出処理部３０２は、点群データベース３０１を基に、図４Ｂに示すようにワイヤフレームＤ４０１を作成する。ワイヤフレームＤ４０１は、図４Ａに示すような点群を構成する点のうち、２個の点の距離が閾値以下の場合に、その２点を線分で連結することで生成される線分集合のことである。そして、作成したワイヤフレームＤ４０１に対し、水平面とワイヤフレームの線分集合との交点を計算し、交点集合からなる断面Ｄ４０２を作成する。なお、水平面は、所定の等間隔で複数設置し、水平面ごとに断面を作成する。柱状物体では、断面となる交点集合は円弧となるため、円弧上に乗っている点を検出し、円弧の方程式を計算する。この様な処理を行うことで、点群データベース３０１から図４Ｃに示すような、信号機等の人工地物を抽出することが可能になる。なお、柱状物体抽出処理部３０２の処理については、非特許文献４に記載されている。

次に、画像検索処理部３０５の動作について、図面を参照して更に説明する。
図５は、撮影画像データベース３０４に収録されている画像データの一例を示す図である。
後述する画像点群投影処理部３０７では、画像データに地物の付属物Ｄ５０１（信号機や標識）の点群を投影する処理を行う。その際、点群を投影する基となる画像データは、できる限り高い解像度であることが好ましい。
ＭＭＳ１０２は、およそ時速２０〜４０ｋｍ程度で走行する。走行中、カメラ１０５は頻繁に道路１０３周辺の撮影を行う。すると、図４に示すように、同じ地物が時間の経過とともに複数の画像データに渡って撮影される。画像検索処理部３０５は、柱状物体点群３０３に含まれているＧＰＳ時刻を基に、柱状物体点群３０３が被写体となって写っている画像を撮影画像データベース３０４から検索するが、この検索で複数枚の画像データがヒットすることとなる。画像検索処理部３０５は、検索でヒットした複数の画像データをそのまま柱状物体撮影画像３０６として出力する。
複数の画像データの中から、当該柱状物体が最も大きく写り、かつ、はみ出ていない画像データを選択する作業は、後述する画像点群投影処理部３０７が行う。

図３に戻って、ブロック図の説明を続ける。
柱状物体撮影画像３０６と柱状物体点群３０３は、画像点群投影処理部３０７に読み込まれる。
画像点群投影処理部３０７は、ピンホールカメラモデル等の手法を用いて、柱状物体点群３０３を柱状物体撮影画像３０６に投影して、柱状物体撮影画像３０６から，柱状物体の付属物（信号機や標識）が 映っている領域を算出する。
なお、ＭＭＳ１０２には、ＭＭＳ１０２自体の位置情報を示す車両座標系、ＭＭＳ１０２に搭載されているカメラ１０５の位置と方向を示すカメラ座標系、ＭＭＳ１０２に搭載されているレーザスキャナ座標系の３つの座標系が存在する。ここで、レーザスキャナ座標系は、レーザスキャナ１０４が計測した点群とレーザスキャナ１０４との相対的な位置関係を示す座標系である。画像点群投影処理部３０７では、レーザスキャナ座標系を車両座標系に変換し、更にカメラ座標系に変換することで、カメラ画像と点群を一致させる処理を行う。

画像点群投影処理部３０７の動作について、図面を参照して更に説明する。
図６Ａは、画像点群投影処理部３０７が画像に投影する点群の一例を示す図である。
図６Ｂは、ピンホールカメラの原理を示す図である。
図６Ｃは、点群が投影される付属物画像の様子を示す図である。
これまで述べたように、点群は座標情報を有する３次元のデータである一方、画像データは座標情報を持たない２次元のデータである。
３次元の点群を用いて、画像データから柱状物体の付属物を切り出すために、３次元の点群を２次元の画像データに投影する必要がある。画像点群投影処理部３０７は、ピンホールカメラモデル等の手法を用いて、柱状物体点群３０３を柱状物体撮影画像３０６に投影する。

３次元の点群は座標情報を持っているので、ＭＭＳ１０２から柱状物体の付属物との距離がわかる。また、柱状物体の付属物自体の大きさもわかる。画像点群投影処理部３０７は、ＭＭＳ１０２をピンホールカメラのピンホールに見立てて、柱状物体が存在する場所に仮想スクリーンを置く。この仮想スクリーンが、柱状物体撮影画像３０６である。そして、柱状物体点群３０３を前後左右反転した反転点群を、仮想スクリーンとＭＭＳ１０２との距離と同じ距離で、かつ仮想スクリーンと反対方向に置き、ピンホールを通じて反転点群のイメージを仮想スクリーンに描画する。すると、図６Ｂに示すように、３次元の立体が、ピンホールを通じて平面上に投影される。
このように、予め上下左右を反転させた反転点群を、ピンホールを用いて２次元の画像に投影する演算処理を行うと、図６Ｃに示すように、柱状物体の付属物に点群を平面的に投影させることが可能になる。点群が投影された箇所Ｄ６０１が、画像データにおいて柱状物体の付属物として切り出す範囲となる。

図５を再度参照して、画像点群投影処理部３０７の動作の説明を続ける。
前述のように、画像データに柱状物体点群３０３を投影すると、図６Ｃに示すように、画像データのどこに柱状物体が存在し、どの程度の大きさであるのかが一目瞭然でわかる。
ところで、先に説明したように、画像検索処理部３０５は柱状物体が含まれている画像データを複数枚、柱状物体撮影画像３０６として出力していた。これら複数の画像データは、それぞれＭＭＳ１０２の位置が異なる画像データである。図５に示すように、ＭＭＳ１０２が柱状物体に近づくに連れて、画像データ中の柱状物体の付属物の大きさが大きくなる。

画像点群投影処理部３０７は、複数の画像データである柱状物体撮影画像３０６の全ての画像データに対し、柱状物体点群３０３の投影処理を行う。すると、それぞれの画像データについて、画像データのどこに柱状物体が存在し、どの程度の大きさであるのかが一目瞭然でわかる。画像点群投影処理部３０７は、そうして投影された点群の中から、当該柱状物体が最も大きく写り、かつ、点群が画像データからはみ出ていない、すなわち見切れていない画像データを選択する。

再び図３に戻って、ブロック図の説明を続ける。
画像正規化処理部３０８は、画像点群投影処理部３０７で算出され抜粋された付属物画像に正規化処理を施す。具体的には、付属物の画像をＮ×Ｎ（Ｎは自然数、例えば２５６）の画像に正規化し、付属物が写っていない領域を黒または白で塗り潰す。
こうして、正規化柱状物画像３０９が作成される。

次に、画像正規化処理部３０８の動作について、図面を参照して更に説明する。
図７Ａは、画像点群投影処理部３０７が画像に投影した点群の一例を示す図である。
図７Ｂは、画像点群投影処理部３０７が画像に投影した点群に基づいて抽出されたカメラ画像の一例を示す図である。
図７Ａに示すように、柱状物体の付属物の点群は、ＭＭＳ１０２のカメラ１０５の角度に応じて傾斜する可能性がある。そこで、点群を全て包含する長方形をウィンドウ枠Ｗ７０１として作成し、このウィンドウ枠Ｗ７０１で図７Ｂに示すようにカメラ画像を抽出する。

図７Ｃは、画像点群投影処理部３０７によって抽出されたカメラ画像の一例を示す図である。
図７Ｄは、画像正規化処理部３０８によって正規化されたカメラ画像の一例を示す図である。
画像点群投影処理部３０７によって抽出されたカメラ画像データは、その大きさにばらつきがある。画像データの大きさにばらつきがあると、後述するＣＮＮ処理部３１０における特徴量の抽出に支障をきたす。そこで、できるだけ入力される画像データを均一化するべく、付属物の画像に拡大縮小処理を施して大きさを揃え、付属物が写っていない領域を黒または白で塗り潰す。例えば、横長の画像データであれば、図７Ｄに示すように、上下の余白部分が黒で塗り潰される。

なお、後述するＣＮＮ処理部３１０の実装形態によっては、画像正規化処理部３０８による画像正規化処理が必ずしも必要とは限らない場合もある。その場合は、画像点群投影処理部３０７が出力した、正規化処理をしない柱状物画像データがそのまま、後述するＣＮＮ処理部３１０に入力されることとなる。

再び図３に戻って、ブロック図の説明を続ける。
正規化柱状物画像３０９は、第一特徴量変換部に相当するＣＮＮ処理部３１０に読み込まれる。
ＣＮＮ処理部３１０は、正規化柱状物画像３０９からＣＮＮ（Convolutional Neural Network）による特徴量を抽出する。ＣＮＮでは多数の特徴量が用いられる。特徴量の個数は、ＣＮＮ処理系に依存するが、画像による物体認識では多くの場合、４０９６個もしくはそれ以上の特徴量が出力される。それらの特徴量は、寄与度フィルタ３１１に読み込まれる。
寄与度フィルタ３１１は、出力された多数の特徴量に対し、予めランダムフォレスト（非特許文献５参照）等を用いて計算しておいた寄与度の順位で上位数十個（例えば３２個程度）を抜粋する。
この上位数十個の特徴量を、画像特徴量３１２とする。

ここで、寄与度フィルタ３１１について追加説明を記す。
先ず、ＣＮＮ処理部３１０に人工地物を学習させた結果として得られた特徴量を多数用意する。次に、得られた特徴量に対し、ランダムフォレスト（非特許文献５参照）等のエントロピーもしくはジニ係数を用いて、決定木を作成する。このとき、ある特徴量Ｘが決定木の結果にどの程度の影響を与えているのかを考える。
もし、特徴量Ｘが重要であるならば、データ群のうち、Ｘの値だけをバラバラにシャッフルすると、認識率が悪化することが期待できる。
逆に、特徴量Ｘが重要でないならば、データ群のうち、Ｘの値だけをバラバラにシャッフルしても、認識率は殆ど悪化しないことが期待できる。

そこで、Ｘの値だけをランダムに入れ替えたデータ群を作成し、決定木を用いて認識結果を予測する。そして、Ｘの値を入れ替える前の正解率との差を求め、これを寄与度とする。すなわち、寄与度が大きい特徴量とは、その値をシャッフルすると、正解率が大きく低下する特徴量である。寄与度の度合いに応じて特徴量をランキングすることで、特徴量ランキングが作成できる。
寄与度フィルタ３１１は、この特徴量ランキングを、ＣＮＮ処理部３１０が出力する特徴量に適用する。ＣＮＮ処理部３１０が出力する特徴量は、１次元の数列データ（配列）であり、配列の要素番号で特徴量を区別する。寄与度フィルタ３１１の内容は、特徴量配列の要素番号が寄与度の順位に対応して列挙されている。

一方、柱状物体点群３０３は第二特徴量変換部に相当する点群特徴量算出部３１３に読み込まれる。点群特徴量算出部３１３は周知の主成分分析（ＰＣＡ：principal component analysis）などの点群処理手法を適用し、柱状物体点群３０３から数十個（例えば２１個）の点群特徴量３１４を抽出する。なお、非特許文献４では、点群処理による特徴量である点群特徴量３１４として５５個を提案している。本発明では、点群特徴量３１４として、これらのすべて、もしくは一部を用いる。例えば、以下の様な要素を抽出する。
（１）柱状物体の付属物に関する、１５個の特徴量
＜ａ＞点群の形態を示す、基本的な幾何学的特徴量（全体の大きさ、第一主成分ベクトル、第二主成分ベクトル…等、ＰＣＡから得られる固有値）
＜ｂ＞局所的な点群の形状タイプ（線状、平面状、立体状…等）
（２）付属物の、柱状部分との相対的な情報に関する、３個の特徴量
＜ｃ＞柱状部分と付属物の重心距離
＜ｄ＞柱状部分に対する付属物の設置高さ（上からの距離、下からの距離）
（３）柱状部分の情報に関する、３個の特徴量
＜ｅ＞テーパの角度
＜ｆ＞テーパを構成する円の半径（上端、下端）
以上、計２１個の特徴量を用いる。
なお、点群特徴量３１４においても、ランダムフォレスト（非特許文献５参照）等を用いて、３２個程度に絞り込むことができる。

３２個の画像特徴量３１２と、２１個の点群特徴量３１４は、併せて５３個の柱状物特徴量３１５として、学習処理部３１６に入力される。
学習処理部３１６は、例えばランダムフォレスト（非特許文献５参照）等の教師付き学習アルゴリズムを用いて、柱状物特徴量３１５に対し、人間等が入力する教師データ３１７を併せて、辞書データ３１８を作成する。教師データ３１７とは、「これは標識である」「これは信号機である」「街灯である」「歩行者信号である」といった、ラベリングである。このように処理を進めることで、辞書データ３１８は、信号機特徴量、標識特徴量、街灯特徴量、歩行者信号特徴量…に分類される。
つまり、信号機の柱状物特徴量３１５は信号機特徴量へ、標識の柱状物特徴量３１５は標識特徴量へ、街灯の柱状物特徴量３１５は街灯特徴量へ、歩行者信号の柱状物特徴量３１５は歩行者信号特徴量へ、それぞれ出力される。

ＣＮＮ処理部３１０と寄与度フィルタ３１１は、正規化柱状物画像３０９から画像特徴量３１２を抽出し、点群特徴量算出部３１３は、柱状物体点群３０３から点群特徴量３１４を抽出する。これらは、正規化柱状物画像３０９と柱状物体点群３０３から柱状物特徴量３１５を算出する、特徴抽出処理部３１９であると言える。

［人工地物認識装置１０１のソフトウェア機能（推定モードの例）］
図８は、人工地物認識装置１０１の、推定モードにおけるソフトウェア機能を示すブロック図である。
特徴抽出処理部３１９までは図３と同じであるので、同一の機能ブロックには同一の符号を付して、説明を省略する。
学習済み分類器８０１は辞書データ３１８を参照して、柱状物特徴量３１５が信号機と類似するか、標識と類似するか…を推定する。学習済み分類器８０１が出力する推定結果と、柱状物撮影画像と、柱状物体点群３０３は、外部の情報処理装置へ出力される。

［実験結果］
図９は、従来技術による人工地物の識別と、本発明の実施形態に係る人工地物認識装置１０１による識別の結果を示す表である。
表中、点群のみの識別は主成分分析を通した後、ランダムフォレストを用いた。
画像のみの識別はＣＮＮを用いた。
画像＋点群の識別は本発明の実施形態に係る人工地物認識装置１０１、すなわち画像からＣＮＮで特徴量を抽出し、点群から主成分で特徴量を抽出し、それぞれの特徴量を組み合わせてランダムフォレストを用いた。
案内標識の識別率は、点群のみの識別率は画像のみの識別率と比べてスコアがやや低い。これは案内標識の面積が大きいことから、画像が鮮明である場合が多いことに起因すると思われる。
逆に、歩行者信号の識別率は、案内標識とは逆に、歩行者信号は柱状物の付属物としての大きさが小さいため、画像のみの識別率が点群のみの識別率に比べて大きく劣る結果になっている。

街灯の識別率、信号機の識別率についても、その形態的特徴から識別率の差が生じていることが伺える。
しかし、画像＋点群、すなわち本発明の実施形態に係る人工地物認識装置１０１を使用すると、画像と点群の両方の特徴量を学習及び識別の対象とすることから、どちらか一方あるいは両方のスコアが低くても、相補的に識別率が向上している。これら識別率の調和平均を計算すると、人工地物認識装置１０１は、９９．２％という極めて良好な識別率を実現できていることがわかる。

次に、本発明の実施形態に係る人工地物認識装置１０１において、５３個の柱状物特徴量３１５からどの程度特徴量を間引くことが可能か、シミュレーション計算を行った結果を示す。
図１０Ａは、５３個の柱状物特徴量３１５の要素に対し、寄与度フィルタ３１１と同様に寄与度を計算し、上位３２個のみを用いて学習を行い、識別処理を行った結果の識別率を示す表である。
図１０Ｂは、柱状物特徴量３１５の要素を、２１個の点群特徴量３１４はそのままで、画像特徴量３１２を４０７５個まで増加させて学習を行い、識別処理を行った結果の識別率を示す表である。
表中、「ｒｅｃａｌｌ」とは再現率、「ｐｒｅｃｉｓｉｏｎ」は適合率、「Ｆ−ｍｅａｓｕｒｅ」とはＦ値を示す。
概ね、柱状物特徴量３１５の数は３２個でほぼ実用的な値が得られており、これ以上要素を増やしても劇的な識別率の改善は期待できないことがわかる。

図１１は、柱状物特徴量３１５の数と識別率の関係を示す折れ線グラフである。柱状物特徴量３１５の要素については寄与度を計算し、その上位から抽出して識別を行った結果である。
このグラフを見る限り、上位１２個程度でも十分実用的な識別率を得られている一方、２９番目の特徴量において一部識別率が低下していることから、３２個がほぼ妥当な柱状物特徴量３１５の要素数であることがわかる。

図１２は、柱状物特徴量３１５の要素のうち、寄与度の順に並べた上位３２個の内訳を示す表である。
表中、「画像特徴量」という名称が画像特徴量３１２の要素であり、付されている番号が要素番号である。「画像特徴量」と書かれていない名称の要素は全て点群特徴量３１４の要素である。
寄与度の順位で見ると、点群特徴量３１４の要素の間に画像特徴量３１２の要素が幾つか挟まっているような状態である。このように互いの要素同士が入り組んだ状態であることから、点群特徴量３１４単体、あるいは画像特徴量３１２単体の認識処理と比べて、高い認識率を得られていることが推測できる。

図８にて説明した人工地物認識装置１０１の機能は、データの処理手順をも表している。すなわち、人工地物認識装置１０１は、
３次元の座標情報を有する点群の集合体である点群データベースから、柱状物体を構成する点群である柱状物体点群を抽出する、柱状物体抽出処理ステップ（柱状物体抽出処理部３０２）と、
カメラが撮影した画像データと撮影日時が格納されている撮影画像データベースから、前記柱状物体点群に含まれているＧＰＳ時刻を基に、前記柱状物体点群が被写体となって写っている画像データを検索する画像検索処理ステップ（画像検索処理部３０５）と、
前記画像検索処理ステップの検索結果によってヒットした複数の前記画像データに対し、前記柱状物体点群を投影することによって、最適な前記画像データを選択して柱状物画像を得る画像点群投影処理ステップ（画像点群投影処理部３０７）と、
前記柱状物画像から特徴量を得る第一特徴量変換ステップ（第一特徴量変換部に相当するＣＮＮ処理部３１０）と、
前記第一特徴量変換ステップによって得られた前記特徴量に対し、寄与度に基づいて上位の特徴量を抜粋して画像特徴量を得る寄与度フィルタリングステップ（寄与度フィルタ３１１）と、
前記柱状物体点群から点群特徴量を得る第二特徴量変換ステップ（第二特徴量変換部に相当する点群特徴量算出部３１３）と、
前記画像特徴量と前記点群特徴量よりなる柱状物特徴量を、予め作成した辞書データを用いて分類する、学習済み分類ステップ（学習済み分類器８０１）と
を有する、人工地物認識方法を実現する。

本実施形態では、人工地物認識装置１０１を開示した。
柱状物体点群３０３から点群特徴量算出部３１３を用いて点群特徴量３１４を得る。正規化柱状物画像３０９からＣＮＮ処理部３１０を用いて特徴量を抽出し、更に寄与度フィルタ３１１で上位の特徴量を抜粋して、画像特徴量３１２を得る。点群特徴量３１４と画像特徴量３１２を組み合わせて柱状物特徴量３１５として、学習処理を行い、学習済み分類器８０１を作成する。この学習済み分類器８０１を用いることで、道路１０３周辺の人工地物を高い認識率で認識し、分類することが可能になる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。

１０１…人工地物認識装置、１０２…ＭＭＳ、１０３…道路、１０４…レーザスキャナ、１０５…カメラ、１０６…信号機、１０７…ハードディスク、２０１…ＣＰＵ、２０２…ＲＯＭ、２０３…ＲＡＭ、２０４…不揮発性ストレージ、２０５…表示部、２０６…操作部、２０７…バス、２０８…ＮＩＣ、３０１…点群データベース、３０２…柱状物体抽出処理部、３０３…柱状物体点群、３０４…撮影画像データベース、３０５…画像検索処理部、３０６…柱状物体撮影画像、３０７…画像点群投影処理部、３０８…画像正規化処理部、３０９…正規化柱状物画像、３１０…ＣＮＮ処理部、３１１…寄与度フィルタ、３１２…画像特徴量、３１３…点群特徴量算出部、３１４…点群特徴量、３１５…柱状物特徴量、３１６…学習処理部、３１７…教師データ、３１８…辞書データ、３１９…特徴抽出処理部、８０１…学習済み分類器

Claims (4)

1. ３次元の座標情報を有する点群の集合体である点群データベースから、柱状物体を構成する点群である柱状物体点群を抽出する、柱状物体抽出処理部と、
   カメラが撮影した画像データと撮影日時が格納されている撮影画像データベースから、前記柱状物体点群に含まれている時刻を基に、前記柱状物体点群が被写体となって写っている画像データを検索する画像検索処理部と、
   前記画像検索処理部の検索処理によってヒットした複数の前記画像データに対し、前記柱状物体点群を投影することによって、最適な前記画像データを選択して柱状物画像を得る画像点群投影処理部と、
   前記柱状物画像から特徴量を得る第一特徴量変換部と、
   前記第一特徴量変換部が出力した前記特徴量に対し、寄与度に基づいて上位の特徴量を抜粋して画像特徴量を得る寄与度フィルタと、
   前記柱状物体点群から点群特徴量を得る第二特徴量変換部と、
   前記画像特徴量と前記点群特徴量よりなる柱状物特徴量を、予め作成した辞書データを用いて分類する、学習済み分類器と
   を具備する、人工地物認識装置。
2. 前記第一特徴量変換部はＣＮＮを実行するものであり、
   前記第二特徴量変換部は主成分分析を実行するものであり、
   前記辞書データはランダムフォレストを用いた学習処理によって形成されるものである、
   請求項１に記載の人工地物認識装置。
3. ３次元の座標情報を有する点群の集合体である点群データベースから、柱状物体を構成する点群である柱状物体点群を抽出する、柱状物体抽出処理ステップと、
   カメラが撮影した画像データと撮影日時が格納されている撮影画像データベースから、前記柱状物体点群に含まれている時刻を基に、前記柱状物体点群が被写体となって写っている画像データを検索する画像検索処理ステップと、
   前記画像検索処理ステップの検索結果によってヒットした複数の前記画像データに対し、前記柱状物体点群を投影することによって、最適な前記画像データを選択して柱状物画像を得る画像点群投影処理ステップと、
   前記柱状物画像から特徴量を得る第一特徴量変換ステップと、
   前記第一特徴量変換ステップによって得られた前記特徴量に対し、寄与度に基づいて上位の特徴量を抜粋して画像特徴量を得る寄与度フィルタリングステップと、
   前記柱状物体点群から点群特徴量を得る第二特徴量変換ステップと、
   前記画像特徴量と前記点群特徴量よりなる柱状物特徴量を、予め作成した辞書データを用いて分類する、学習済み分類ステップと
   を有する、人工地物認識方法。
4. 計算機を、
   ３次元の座標情報を有する点群の集合体である点群データベースから、柱状物体を構成する点群である柱状物体点群を抽出する、柱状物体抽出処理部と、
   カメラが撮影した画像データと撮影日時が格納されている撮影画像データベースから、前記柱状物体点群に含まれている時刻を基に、前記柱状物体点群が被写体となって写っている画像データを検索する画像検索処理部と、
   前記画像検索処理部の検索処理によってヒットした複数の前記画像データに対し、前記柱状物体点群を投影することによって、最適な前記画像データを選択して柱状物画像を得る画像点群投影処理部と、
   前記柱状物画像から特徴量を得る第一特徴量変換部と、
   前記第一特徴量変換部が出力した前記特徴量に対し、寄与度に基づいて上位の特徴量を抜粋して画像特徴量を得る寄与度フィルタと、
   前記柱状物体点群から点群特徴量を得る第二特徴量変換部と、
   前記画像特徴量と前記点群特徴量よりなる柱状物特徴量を、予め作成した辞書データを用いて分類する、学習済み分類器と
   を具備する、人工地物認識装置として動作させるための人工地物認識プログラム。