JP2019003527A - 特徴抽出装置、物体検出装置、方法、及びプログラム - Google Patents

特徴抽出装置、物体検出装置、方法、及びプログラム Download PDF

Info

Publication number
JP2019003527A
JP2019003527A JP2017119320A JP2017119320A JP2019003527A JP 2019003527 A JP2019003527 A JP 2019003527A JP 2017119320 A JP2017119320 A JP 2017119320A JP 2017119320 A JP2017119320 A JP 2017119320A JP 2019003527 A JP2019003527 A JP 2019003527A
Authority
JP
Japan
Prior art keywords
point
attention
dimensional
feature extraction
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017119320A
Other languages
English (en)
Other versions
JP6621445B2 (ja
Inventor
仁 新垣
Jin Niigaki
仁 新垣
直之 郡司
Naoyuki Gunji
直之 郡司
悠 米本
Haruka Yonemoto
悠 米本
筒口 けん
Ken Tsutsuguchi
けん 筒口
杵渕 哲也
Tetsuya Kinebuchi
哲也 杵渕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2017119320A priority Critical patent/JP6621445B2/ja
Publication of JP2019003527A publication Critical patent/JP2019003527A/ja
Application granted granted Critical
Publication of JP6621445B2 publication Critical patent/JP6621445B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】識別に有効な情報を、計測ノイズに対して頑健に抽出することができる特徴抽出装置を提供する。【解決手段】特徴抽出装置100において、特徴抽出部120が、物体の表面上の位置を表す3次元点の集合である3次元点群を入力として、特徴量を抽出する。このとき、点群クラスタリング部122は、3次元点群をクラスタリング処理により分割して点群クラスタを生成する。ヒストグラム特徴生成部123は、生成された各点群クラスタに属する3次元点の各々を注目点として、注目点から予め設定した一定の距離以内の注目領域について、注目点と同じ点群クラスタに属する3次元点の各々を含む注目対象領域と、前記注目点と異なる点群クラスタに属する3次元点の各々を含む注目対象周辺領域との2つの領域の各々からヒストグラム特徴量を抽出し連結する。【選択図】図2

Description

本発明は、特徴抽出装置、物体検出装置、方法、及びプログラムに係り、特に、入力された3次元点群から特徴量を抽出する特徴抽出装置、物体検出装置、方法、及びプログラムに関する。
モバイルマッピングシステム(MMS)と呼ばれるカメラやレーザースキャナを搭載した車が、街中を走行することで道路周辺の構造物である建造物や道路などの物体の表面の形状を計測できるシステムの利用が普及している。このシステムは、GPS(全地球測位システム)やIMS(慣性計測装置)を用いて物体の表面を3次元の座標情報として記録できる。この技術を利用して、道路周辺の構造物検出による3次元の設備地図作成や過去と現在の形状の劣化変化(経年変化)を調べるなどの保守・保全業務への活用が期待されている。
従来では電柱、信号機やガードレールのように特定の規格化された形状を対象とした物体検出の研究が盛んに行われてきたが、最近では人工物に比べてかなり短期間で形状が変化する樹木の育成状態についても3次元点群を用いた自動推定技術の研究が行われている。樹木の位置やその樹木の枝が伸びる状態を推定できれば、例えば歩道から道路領域にはみ出した樹木を自動検出でき、伐採すべき樹木候補を現地にいかずに選別して作業内容を机上で検討できる、つまり遠方まで人員を派遣して伐採計画を立てる時間などの稼働について大幅な削減ができる。
従来の3D物体認識技術は、大きくは2つの技術に分類される。1つ目は特定の形状を検出するルールベースの技術であり、2つ目は検出する対象が不特定多数の形状や見かけを有している物体を検出するための特徴量ベースの技術である。
ルールベース技術である非特許文献1の技術では、まずMMSで計測した点群を点群の距離情報などを利用することで物体ごとに切り分け、切り分けた点群について細線化処理を行い、細線化された点群の分布形状の特徴、具体的には注目点における周辺点群のXYZ座標ベクトルによる共分散行列の固有値を特徴として、当該特徴についてルールベースにより柱や平面、立体構造物に分類することで、建造物や柱、樹木などの検出を行っている。点群が一本の線に細線化されるほど「柱」であると判定し、細線化されないものほど大きな形状物であると判定される。
しかし、人工物の柱も種類によって太さが異なることや、樹木幹も同様に樹木幹の太さや長さにバリエーションがある。そのため、細線化の度合いでは、このような類似した特徴になりやすい樹木と人工柱を精度よく判別することは難しい。また、歩行者や歩道で立っている人物についても、細長く伸びた形状物体であるため細線化され、人工柱や樹木幹と同様の特徴が抽出されるために、区別することが難しく誤検出が生じやすい。
一方、近年では2つ目の特徴量ベースの技術が盛んに研究されている。特徴量ベースの手法では、如何にして物体識別に本質的に重要な特徴量を抽出することが重要となる。本質的に重要な特徴とは、検出したい対象についてはどのような見た目や形状であっても不変の特徴量を含み、かつ検出対象物以外と差異がある特徴を含むものである。統計学的には、特徴量として抽出された検出対象物の特徴ベクトルのクラス内分散が小さくなり、クラス間ベクトルの分散が大きくなる傾向がある。
非特許文献2では、注目点周りの局所領域の点群について、多数の2点組の相対位置と法線の相対角度のヒストグラム特徴量を記述(表現)している。この特徴量は物体識別を行う研究だけでなく、非特許文献2では、異なる条件(撮影時期や撮影位置)で計測された複数の3次元点群の自動位置合わせ技術に利用されている。注目点周りの局所領域内の点群であるため、計測した点群について部分的に欠損(オクルージョン)が生じている場合でも、精度よく位置合わせが可能となっている。また、相対角度の特徴をヒストグラム化することで、計測ノイズに頑健で、かつ位置、姿勢、スケールに不変な特徴となっている。
非特許文献3では、注目点周りの局所領域の点群について、ローカル(局所)座標系を設定し、この座標系基準に空間を分割し、各分割された空間から法線基準のヒストグラムにて特徴量を記述している。非特許文献2に比べて、より細かな法線情報の際を記録しており、特徴ベクトルの次元数が高く特徴表現力が高い。また、位置及び姿勢変動に不変な特徴量となっている。
一方、非特許文献4では、2次元画像識別の分野において、前景と背景領域から抽出した特徴量を提案している。入力画像を注目領域と背景領域とに分割し、それぞれの領域で明示的に分離した特徴量抽出・連結することで、識別性能が向上することを報告している。高次元の特徴量を抽出した後に、機械学習の枠組みにより有効な特徴(次元)を選択して、識別器を生成している。
Hiroki Yokoyama, Hiroaka Date, Satoshi Kanai, Hiroshi Takeda," Detection and Classification of Pole-like Objects from Mobile Laser Scanning Data of Urban Environments", International Journal of CAD/CAM, Vol 13, No 2 (2013) R. B. Rusu, et al., "Aligning Point Cloud Views using Persistent Feature Histograms", IEEE Proc. IROS, pp.3384-3391, 2008 F.Tombari, S.Salti, L.D.Stefano ," Unique Signatures of Histograms for Local Surface Description ", ECCV, pp.356-369, 2010 永橋知行,伊原有仁,藤吉弘亘:前景と背景情報の共起表現を用いたBag-of-featuresによる画像分類,第13 回画像の認識・理解シンポジウムMIRU2010 (2010).
上記非特許文献2、3に記載の技術では、MMSのように計測密度の斑や計測ノイズが多く付与されているシーンにおいては、特徴抽出で利用されている法線方向の推定に誤差が生じやすく、識別に有効でない特徴が含まれやすい。その結果、人工物の柱と真っすぐ伸びた樹木幹など、非常に類似した形状物体について誤識別が生じやすい。特に、注目物体周辺に隣接する物体が存在すると、原理的に識別に有効でない特徴が含まれてしまう。
また非特許文献2、3に記載の技術は、検出対象の「姿勢」に不変な情報を抽出しているが、実世界の物体の多くは鉛直軸(Z軸)方向に対象な形状を有するなど、物体固有の特徴を含んでいる。つまり、物体識別に有効な情報が含まれていないという課題がある。
また、非特許文献4に記載の技術を3次元物体識別の分野に適用することで、特徴量の識別能力向上が期待できる。何故なら、上記で言及した識別に有効でない、周辺構造物の特徴を明示して分離することができるからである。しかし、非特許文献4に記載の技術では、入力は2次元画像を想定しており前景領域と背景領域を設定している。また、3次元点群には前景と背景という概念がない。非特許文献4に記載の技術を3次元物体識別の分野に適用するには、3次元空間へ適用するための技術の拡張が必要となる。
本発明は、このような事情を考慮してなされたものであり、その目的は、識別に有効な情報を計測ノイズに対して頑健に抽出することができる特徴抽出装置、物体検出装置、方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、本発明の特徴抽出装置は、物体の表面上の位置を表す3次元点の集合である3次元点群を入力として、特徴量を抽出する特徴抽出装置であって、前記3次元点群をクラスタリング処理により分割して点群クラスタを生成し、生成された各点群クラスタに属する3次元点の各々を注目点として、前記注目点から予め設定した一定の距離以内の注目領域について、前記注目点と同じ点群クラスタに属する3次元点の各々を含む注目対象領域と、前記注目点と異なる点群クラスタに属する3次元点の各々を含む注目対象周辺領域との2つの領域の各々から特徴量を抽出し連結する特徴抽出部を含んで構成されている。
本発明の特徴抽出方法は、物体の表面上の位置を表す3次元点の集合である3次元点群を入力として、特徴量を抽出する特徴抽出装置における特徴抽出方法であって、特徴抽出部が、前記3次元点群をクラスタリング処理により分割して点群クラスタを生成し、生成された各点群クラスタに属する3次元点の各々を注目点として、前記注目点から予め設定した一定の距離以内の注目領域について、前記注目点と同じ点群クラスタに属する3次元点の各々を含む注目対象領域と、前記注目点と異なる点群クラスタに属する3次元点の各々を含む注目対象周辺領域との2つの領域の各々から特徴量を抽出し連結する。
また、上記目的を達成するために、本発明の物体検出装置は、物体の表面上の位置を表す3次元点の集合である3次元点群を入力として、特徴量を抽出する特徴抽出部であって、前記3次元点群をクラスタリング処理により分割して点群クラスタを生成し、生成された各点群クラスタに属する3次元点の各々を注目点として、前記注目点から予め設定した一定の距離以内の注目領域について、前記注目点と同じ点群クラスタに属する3次元点の各々を含む注目対象領域と、前記注目点と異なる点群クラスタに属する3次元点の各々を含む注目対象周辺領域との2つの領域の各々から特徴量を抽出し連結する特徴抽出部と、各点群クラスタについて、前記点群クラスタに属する3次元点の各々に対して前記特徴抽出部により得られた特徴量に基づいて、前記点群クラスタが表す物体の識別を行う物体識別部と、を含んで構成されている。
本発明の物体識別方法は、特徴抽出部が、物体の表面上の位置を表す3次元点の集合である3次元点群を入力として、特徴量を抽出することであって、前記3次元点群をクラスタリング処理により分割して点群クラスタを生成し、生成された各点群クラスタに属する3次元点の各々を注目点として、前記注目点から予め設定した一定の距離以内の注目領域について、前記注目点と同じ点群クラスタに属する3次元点の各々を含む注目対象領域と、前記注目点と異なる点群クラスタに属する3次元点の各々を含む注目対象周辺領域との2つの領域の各々から特徴量を抽出し連結することと、物体識別部が、各点群クラスタについて、前記点群クラスタに属する3次元点の各々に対して前記特徴抽出部により得られた特徴量に基づいて、前記点群クラスタが表す物体の識別を行うこととを含む。
また、上記目的を達成するために、本発明のプログラムは、コンピュータを、本発明の特徴抽出装置又は物体検出装置の各部として機能させるためのものである。
本発明によれば、各点群クラスタに属する3次元点の各々を注目点として、前記注目点から予め設定した一定の距離以内の注目領域について、前記注目点と同じ点群クラスタに属する3次元点の各々を含む注目対象領域と、前記注目点と異なる点群クラスタに属する3次元点の各々を含む注目対象周辺領域との2つの領域の各々から特徴量を抽出し連結することにより、識別に有効な情報を計測ノイズに対して頑健に抽出することができる、という効果が得られる。
スイープ(押し出し)形状物のイメージ図である。 第1の実施形態の特徴抽出装置の概略構成の一例を示す構成図である。 第1の実施形態の特徴抽出装置の特徴抽出部により実行される全体処理の流れの一例を示すフローチャートである。 規定断面点群(射影断面形状)の類似度計算によるクラスタリング例である。 規定断面点群(射影断面形状)の類似度計算によるクラスタリング例である。 注目領域内における注目対象領域と注目対象周辺領域の例を示す図である。 本実施形態の特徴抽出装置の特徴抽出部により実行される特徴抽出処理の流れの一例を示すフローチャートである。 注目対象領域と注目対象周辺領域からの特徴抽出の概念図である。 注目点と注目領域内の点の2点間の特徴の概念図である。 従来技術としての法線方向を用いた特徴による類似形状物体の差異を説明するための図である。 従来技術としての法線方向を用いた特徴による類似形状物体の差異を説明するための図である。 異種方向ベクトルの相対角度特徴による類似形状物体の差異を説明するための図である。 異種方向ベクトルの相対角度特徴による類似形状物体の差異を説明するための図である。 異種情報からの相対角度ヒストグラム生成の概念図である。 第2の実施形態の物体検出装置の概略構成の一例を示す構成図である。 第2の実施形態の物体検出装置の物体検出部により実行される全体処理の流れの一例を示すフローチャートである。
以下、図面を参照して本発明の実施形態を詳細に説明する。なお、本実施形態は本発明を限定するものではない。
[発明の概要]
まず、本発明の実施形態における概要を説明する。
屋外構造物である柱状構造物やケーブル、ガードレールなどはスイープ形状であり、押し出し方向に規則性が存在する。つまり、法線以外に加えて押し出し方向により特徴を記述することは有効である。また、柱状構造物やケーブルなど、実世界の多くの物体は、鉛直方向に対して対称性を有するなど物体固有の特徴を有している。
さらに、MMSで計測した点群には、レーザの反射強度に材質に固有な特徴が表現されている。本発明の実施形態では、これら異種の方向角度および材料情報を統合した特徴を用いることで、高い識別性能を有した特徴量を記述する。
さらに、上記非特許文献4の前景および背景に対応する領域として、3次元点群をクラスタリングすることで局所領域内に「注目対象領域と注目対象周辺領域」という2つの領域を定義し、この2つの領域からそれぞれ抽出した特徴を連結することで、識別能力向上を実現する。
識別や位置合わせのアプリケーションとして利用する際には、上記非特許文献4と同様に機械学習(Boosting)の枠組みにより、識別に有効な特徴(次元)を選択して利用することで、検出対象物と非常に類似した形状の物体について誤識別を抑制することを可能とする。
本発明の実施形態における具体的な押し出し方向およびクラスタリング手法では、「繰り返し存在するパターン形状」の有無を指標としており、計測ノイズに頑健に押し出し方向を推定でき、また規定断面形状の類似度を指標とすることで精度よくクラスタリングをすることを可能とする。
なお、具体的な押し出し方向およびクラスタリング手法として、非特許文献5の押し出し方向推定方法を用いてもよい。
[非特許文献5]Hitoshi Niigaki, Jun Shimamura, and Akira Kojima ,” Segmentation of 3D Lidar Points Using Extruded Surface of Cross Section”,In Proceedings on 3DV Conference, pp.109-117, 2015
上記非特許文献5で記載されているが、「繰り返し存在するパターン形状」の有無は、物理的には3次元空間の局所的な空間における、3次元形状のある特定方向における断面形状の自己相関値の高さにより判定される。
[実施形態の概説]
本発明の実施形態の特徴抽出装置は、3次元情報から精度よく物体を検出するときや、異なる条件で計測された3次元情報の位置合わせをする時に用いられる特徴量を抽出する。特徴量とは、画像や3次元点群などの入力データ(全部もしくは入力の一部)を、計算機が利用しやすいように表現した「数値の配列」である。
例えば、入力画像の色(赤、緑、黄色)の統計量(平均、分散値、最低値、最大値)や、入力画像の輝度勾配(縦、横方向の微分値)の統計量などが特徴量として利用されることもある。パターン認識の分野では、ベクトルや2次元行列などの配列情報などで表現されるものであり、本実施例では1次元のベクトルであるとする。
本実施形態での3次元情報(位置情報)とは、緯度、経度、海抜(高さ)情報でもよいし、ユーザーが設定した特定の位置を原点とした3次元ユークリッド座標系でも極座標系でもよい。以下の例では、ユーザーが設定した原点における3次元ユークリッド座標系(各方向をX,Y,Z座標とする)を想定する。各座標の単位はメートル(m)やセンチメートル(cm)、ミリメートル(mm)で表現できるが他の単位でもよい。
3次元点とは、上記の3次元座標に、その点が撮影された時刻、レーザの反射強度や、赤・青・緑などの色情報等が付与された点である。3次元点に付与される情報に制限はないが、少なくとも位置情報(X,Y,Z座標)は付与されたものであり、3次元点群とはその3次元点が2点以上集まった集合である。また、本実施例において、ユークリッド座標系のZ軸の方向は鉛直(高さ)方向を意味し、X軸とY軸の張る二次元平面は水平面を意味するものとする。また、3次元点群はレーザースキャナ以外にも、距離情報を取得できるセンサであればよく、例えばステレオカメラにより取得した奥行き情報から求めた3次元点群でもよい。
本発明の実施形態において「注目点」という単語が出てくるが、この「注目点」の意味は、「ある点」、「任意の点」もしくは「某点」と同じ意味とし、何かしらの処理を説明するために便宜上注目した点という意味である。
装置の説明をする前に、従来技術と比較した本発明の実施形態の利点の概要について述べる。従来技術の法線だけを用いた特徴抽出技術では、MMS(移動体)からの計測したデータのように、振動やGPS受信精度等の計測ノイズが多く含まれている場合、法線推定精度が低くなり、結果として特徴量の質が低くなりやすいという問題がある。スキャンラインの間隔が数十センチメートル以上と広い場合には、法線を推定する際にも、本来は広いスケールで点群形状を推定する必要がある。しかし、細長い形状の構造物では、広いスケールで点群形状を推定すると、周辺構造物の点群も誤って含まれることも多く、法線推定精度が低下しやすいという問題がある。
一方、本発明の実施形態では、3次元点群の中から、繰り返し存在するパターンの方向を押し出し方向(物理的には最小曲率方向と等しい)として推定しているので、計測ノイズに頑健に、特徴抽出に利用する方向ベクトル(最小曲率の3次元方向ベクトル)を得ることができる。
前記のスキャンライン間隔が広いシーンにおける、細長い構造物(例えば標識の柱)であっても、従来技術のようにスケール内の点群の全体形状を推定しているのではなくて、特定の方向のおける規定断面形状の繰り返しパターン有無を探索しているため、周辺の構造物が存在したとしても、影響を少なくできるという利点がある。
屋外構造物の多くは、スイープ(押し出し)形状であることが多く、本発明の実施形態は、このスイープ形状物の特性に着目した特徴抽出技術といえる。ここで、スイープ形状とは、任意の断面形状を特定の軌跡方向へ押し出した形状と定義する(図1左)。図1右に示す様に、多くのインフラ設備はスイープ形状領域の複合体と近似できる。例えば樹木のように形状にバリエーションがある(多様な形状が存在する)場合であっても、局所的な形状はスイープ形状と考えられる。
[第1の実施形態]
次に、第1の実施形態の特徴抽出装置の構成について説明する。
図1は、本発明の実施形態による特徴抽出装置100の構成を示すブロック図である。
被写体計測部101は、3次元点群を計測するものであり、レーザーレンジファインダや、赤外線センサ、または超音波センサなど、被写体とセンサとの距離を測定可能な装置である。
例えば、レーザーレンジファインダをGPS(Global Positioning System)が搭載された車の上、もしくはGPSの搭載された飛行機に搭載し、移動しながら計測することで、屋外の環境の地物を被写体とし、例えばケーブル、建物、ガードレール、樹木、道路地面など道路周辺構造物全てであり、これら被写体表面の3次元位置を計測するシステムである。
本実施例では、被写体計測部101として、車上にGPSとレーザーレンジファインダとが搭載されているMMS(Mobile Mapping System)を想定している。ただし、被写体計測部101は、車に搭載したレーザースキャンセンサでなくて、特定の位置(交差点など)1箇所からの計測した固定のレーザースキャンセンサ機器であっても問題ない。
入力部102は、マウスやキーボードなどのユーザーインターフェースであり、演算処理用パラメータ記憶部111の値を変更する際に使用するものである。ユーザーがキーボード等での必要な値を入力するハードウェア装置を意味する。もしくは、USB HDD装置などに記憶されたパラメータを演算処理用パラメータ記憶部111へコピーする装置でもよい。
特徴抽出装置100は、記憶部103と演算部104とから構成される。
記憶部103は3次元点群記憶部110と演算処理用パラメータ記憶部111と特徴量記憶部112から構成される。3次元点群記憶部110は、被写体計測部101から3次元点群を取得し、演算部104に供給する。演算部104から出力される特徴量とは、特徴抽出を実施した3次元点に対応した数値の2次元配列もしくは1次元ベクトルの情報である。3次元点に対応した情報は、例えば点群のインデックス(番号)と特徴抽出した結果であるベクトルとの対応がわかる情報であればよい。記憶部103は、例えば、HDD(Hard Disk Drive)や、SSD(Solid State Drive)等のハードウェアによる記憶装置である。
演算部104は、特徴抽出部120から構成される。
特徴抽出部120は、3次元点群をクラスタリング処理により分割して点群クラスタを生成し、生成された各点群クラスタに属する3次元点の各々を注目点として、注目点から予め設定した一定の距離以内の注目領域について、当該注目点と同じ点群クラスタに属する3次元点の各々を含む注目対象領域と、当該注目点と異なる点群クラスタに属する3次元点の各々を含む注目対象周辺領域との2つの領域の各々から特徴量を抽出し連結する。
具体的には、特徴抽出部120は、記憶部103から供給された3次元点群および演算処理用パラメータを、局所形状解析部121へ入力し、局所形状解析部121で解析した局所形状情報である法線、最小曲率方向、もしくは押し出し方向を点群クラスタリング部122へ供給する。次に、点群クラスタリング部122で生成した点群クラスタを、ヒストグラム特徴生成部123へ供給する。ヒストグラム特徴生成部123では、各点群クラスタに属する点の各々について、注目対象領域と注目対象周辺領域を設定し、それぞれの領域から抽出した特徴量を統合したベクトル情報を、記憶部103の特徴量記憶部112へ供給する。
なお、本実施形態の特徴抽出装置100は、CPU(Central Processing Unit)と、RAM(Random Access Memory)と、後述する特徴抽出処理を実行するためのプログラムや各種データを記憶したROM(Read Only Memory)と、を含むコンピュータで構成することが出来る。本実施形態のCPUがプログラムを実行することにより、特徴抽出部120が有する各部として機能する。
(特徴抽出部120の動作説明)
まず、本実施例の特徴抽出装置100による処理全体について図3を用いて説明する。
ステップS1とステップS5は、演算部104と記憶部103とのインターフェース部分の処理を意味し、具体的にはステップS1では3次元点群記憶部110から3次元点群を、演算処理用パラメータ記憶部111から演算処理用パラメータを取得することを意味する。ステップS5では、抽出した特徴量である数値配列(例えば1次元ベクトル)およびその特徴量を抽出した点(もしくは点群)の位置(3次元座標)もしくはインデックス番号について、記憶部103の特徴量記憶部112へ供給する。
ステップS2は、局所形状解析部121に該当し、ステップS3は、点群クラスタリング部122の処理に該当し、ステップS4はヒストグラム特徴生成部123に該当する。
以降では、図3における特徴抽出部120のフローチャートの各処理について説明する。
(ステップS1:3次元点群および演算処理用パラメータの入力)
ステップS1において、3次元点群記憶部110から3次元点群(入力点群)を取得し、演算処理用パラメータ記憶部111から特徴抽出部120で使用する演算処理用パラメータを取得する。
ここで、入力点群の個々の点を区別する番号をi、各点の3次元位置について

と表現する。ただし、

は、X,Y,Z軸の座標成分を意味し、右上の添え字の記号「T」は転置を意味とする。
本実施形態において、点群をクラスタリングしていくステップが存在するが、各クラスタについて区別する番号(インデックス番号)をc(∈{1,2,3,..,C})で表し、各クラスタcに属する点は、次式のように右上の添え字にクラスタの番号を示すことで表記することとする。
ただし、各ステップの説明においてpiは入力3次元点群そのものではなくて、リサンプリングした点群(代表点群)を意味することもある。つまり、実施例を説明する際に異なるステップの説明において、便宜上同じ文字を使用することもある。
(ステップS2:局所形状解析処理)
ステップS2において、入力された3次元点群について局所的な形状情報を推定する。ここで、局所的な形状情報とは、注目点位置における法線や押し出し方向(物理的には最小曲率方向と一致)である。
法線方向の推定は、注目点piの位置での近傍点群pjについて、位置座標ベクトルの共分散行列を固有値分解したときの最小固有値に該当するベクトル方向ni(単位ベクトル)として推定される。押し出し方向の推定mi(単位ベクトル)は、注目点位置における局所領域の断面について、断面形状の繰り返しパターンが存在する方向、物理的には自己相関値が最も高い方向として推定される。具体的な押し出し方向、規定断面形状の推定方法については、例えば、以下の方法を用いればよい。
まず、注目点pの位置における仮押し出し方向mを推定し、複数回推定した仮押し出し方向mの中から、最も相関値の高い方向を押し出し方向として推定する。
このとき、注目点pの近傍点群pからサンプリングして仮押し出し方向mを決定する。
そして、相関計算領域内の過分割領域を検出し、検出した過分割領域について射影重複相関を計算する。射影重複相関値とは、近傍点の過分割領域で示される点群を仮押し出し方向mに沿って延長し、注目点の過分割領域で示される点群に射影した場合に重なる割合を示す。あるいは、射影重複相関値とは、近傍点の過分割領域で示される点群を仮押し出し方向mに沿って延長し、注目点の過分割領域で示される点群に射影した場合に重なる割合を示す。
また、近傍N個の近傍点pとの射影重複相関値の平均値を、注目点pの射影重複相関値として出力する。
仮押し出し方向mを、複数回設定して、射影重複相関値を計算した場合に、最大射影重複相関値及びそのときの仮押し出し方向を、注目する代表点における押し出し方向として決定する。
また、注目点について規定断面形状を生成する。ここでいう規定断面形状とは、押し出し方向に対する断面形状を意味し、例えば円筒でいえば「円」であり、四角柱の場合には「四角」である。屋外環境下で任意の物体をレーザで計測する場合、断面形状も任意の形状となる。ここでいう断面形状とは、計測点群から押し出し方向へ射影した際の形状(点群)を意味する。
規定断面形状は、注目点から半径Rの断面生成局所領域内に含まれる点群を用いて生成される。このとき、注目点と同一の押し出し形状物に含まれている可能性の高い点群(近傍代表点)を判定し、それらの点群だけを用いて、注目代表点の押し出し方向に射影した場合に生成される点群を規定断面形状として生成する。
また、最小曲率方向の簡易的な推定は、上記の共分散行列の固有値分解について、第一固有値に対応する第一固有値ベクトルの方向として求めればよい。ただし、法線推定と同様に、点群に計測ノイズが含まれる場合やMMSのようにラインスキャンした点は密度が一定に計測されない(スキャンライン上の点は密度が高く、スキャンライン間の点群は計測されない)データについては、推定精度が低くなりやすい傾向がある。
以降、特徴抽出で使用される方向(ベクトル)とは、明示しなくとも長さが1.0の単位ベクトルとする。
(ステップS3:点群クラスタリング処理)
ステップS3において、入力された3次元点群について局所形状解析結果である、法線方向の類似度もしくは規定断面形状の類似度を指標としてクラスタリングを行う。以下では、2つの指標を用いた実施例を示す。
(実施例A:法線方向の類似度基準を用いた点群クラスタリング処理)
注目点piの位置でのk近傍点群pjについて、以下の式に示すように、法線方向ni、njの類似度が閾値Thnormal_direction以上のときに、注目点と近傍点が同一クラスタと判定する。
ここでk近傍の数kは、実験的に決めるパラメータであり、本実施例ではk=8とした。
(実施例B:押し出し方向および規定断面形状の類似度基準を用いた点群クラスタリング処理)
押し出し方向および規定断面形状を用いて、入力された3次元点群をクラスタリングする実施例の概要を説明する。まず、入力点群をリサンプリングされた代表点群について、注目点をpi、周辺点(k個の近傍点)をpjとし、注目点piと周辺点pjにおける押し出し方向をmi、mjとし、それぞれの規定断面形状(射影して生成された点群の形状)を

と表記し、注目点iにおける規定断面点をs、周辺点の規定断面点をtで表記すると、次式を満たすときに注目点と周辺点をクラスタリング(統合)する。

かつ

上記式は、押し出し方向の相対角度が閾値Thsweep_direction以上であり、かつ、断面形状の類似度が閾値Thsweep_correlation以上であることを表している。
ここでk近傍の数kは、実験的に決めるパラメータであり、本実施例ではk=12とした。
図4の例で示すように、注目点位置piと周辺点pjの押し出し方向が類似していない、かつ、規定断面形状(射影して生成した点群形状)が類似していない(押し出し方向に射影した際に重複しない)場合には、同一クラスタでないと判定する。また、注目点位置piと周辺点pjの押し出し方向が類似していない、または、規定断面形状(射影して生成した点群形状)が類似していない(押し出し方向に射影した際に重複しない)場合にも、同一クラスタでないと判定する。
一方、図5の例で示すように、注目点位置piと周辺点pjの押し出し方向が類似していて、かつ規定断面形状(射影して生成した点群形状)が類似している(押し出し方向に射影した際に重複する)場合には、同一クラスタであると判定する。
(ステップS4:特徴量抽出処理)
物体識別を行うために、如何にして物体識別に本質的に重要な特徴量を抽出することが重要となると記載をしたが、もう一つ重要なことは、注目する点群もしくは点群クラスタそのものの形状や色、材質などの特徴だけでなく、文脈(コンテンツ)をも特徴として抽出する(数値の配列として記述する)ことである。
本発明の実施形態においては、点群をクラスリングすることで、3次元空間の領域を分割し、結果として注目対象領域と注目対象周辺領域との2つの領域から特徴を抽出する(図6)。これにより、注目対象物の形状だけでなく、その注目対象物がどのようなシーンで存在するか、また周辺に存在する確率の高い物体が何かを特徴として抽出することができる。
図6の例で示すように、従来は注目点から一定の半径R[m]以内の領域を注目領域と設定し、その中から特徴量を抽出していた。この場合、近接している物体表面の点群と注目点との特徴量が類似してしまうという問題が生じる。一方、本発明の実施形態では、明示的に2つの領域と設定をしているため、注目点(S字断面のガードレール表面)の特徴量と、近接している物体(標識柱)との特徴量を明示的に差異のある特徴量として抽出することが可能となる。
例えば、真っ直ぐ伸びた樹木幹と人工柱を区別する際に、本発明の実施形態による特徴抽出を用いると、樹木幹の周辺には「細い枝」や「葉」が存在する確率が高いために、注目対象周辺領域からは、ランダムな方向の法線方向ヒストグラム特徴を抽出し、人工的な柱との特徴量に差異が生じる。
以降において、注目点群クラスタcに属する注目点piについての特徴量抽出について述べる。半径R以内の注目領域内の点群をそれ以外の点群と区別するために、qと表記し、また注目点と同じ点群クラスタcに属する点群については、それ以外の点群と明示的に違いが表現されるように、点群を区別する添え字に「c」を追記してある。
(ステップS4−1:注目領域の設定)
点群クラスタcに属する注目点pi (c)について、半径R[m]以内の領域を注目領域(Region of Interest)と設定する。半径Rは実験的に決めるパラメータであり、本実施例ではR=2.0[m]とした。
(ステップS4−2:注目対象領域と注目対象周辺領域を設定)
注目点pi (c)について、注目領域について、注目点と同一点群クラスタに属する点群が存在する領域(3次元空間)を注目対象領域とし、同一点群クラスタに属しない点群が存在する領域(3次元空間)を注目対象周辺領域と定義する(図6参照)。
(ステップS4−3:注目対象領域と注目対象周辺領域からの特徴抽出)
本ステップS4−3において、前記2つの領域から特徴を抽出するが、処理としては全く同じ処理を、それぞれの領域内の点群に対して実施するため、本実施形態では片方(注目対象領域)についてのみ説明する。
また、本発明の実施形態における、「特徴を抽出する」という文言の意味は、点群から何かしらのルールに基づいて特徴量を計算する「処理を実施する」ことを意味し、数値の配列として記述される(ベクトルとして表現される)ことを意味する。
(ステップS4−3A:異種方向ベクトルによる特徴量の記述)
注目点pi (c)について、注目対象領域内に存在する点群との間で、法線方向、最小曲率方向(押し出し方向)、及びZ軸(鉛直方向)の組み合わせの各々の相対角度の頻度を表す相対角度ヒストグラムを生成することで特徴量を記述する。本発明の実施形態は、上記非特許文献1の基となる技術であるPoint Feature Histogram特徴について、法線方向だけでなく最小曲率方向(押し出し方向)を利用できるように拡張した技術と位置付けられ、かつ鉛直方向についての不変性を無くして、注目領域内の形状特徴を記述した特徴といえる。
図8に示す様に、注目点pi (c) (query point)を中心とする、半径R以内の領域に存在する注目対象領域点

との間で、相対角度ヒストグラムを生成する。注目点と注目対象領域点について、2点の相対ベクトルおよび法線ベクトルにより、次式の局所座標系ベクトルu,v,wと相対位置ベクトルtkを定義する。局所座標系ベクトルuについて、本発明の実施形態では法線もしくは最小曲率方向(押し出し方向)を用いる。
定義された局所座標系ベクトルの相対角度α、ψ、θの大きさ、及び鉛直方向とのなす角度τの大きさにより、ヒストグラム特徴(相対角度特徴)のヒストグラムのビンの位置が求まる。

ただし、u(qk)は、注目対象領域点qk (c)における法線又は押し出し方向を意味する。
求めたビンの位置の頻度分布として、特徴量を記述する。本実施例において、注目局所領域点群の数Nin (c)が、例えばNin (c)=600点とすると、注目対象領域から抽出される頻度分布の合計値も600となる。
同様にして、注目点について、注目対象周辺領域内に存在する点群との間でヒストグラム特徴を抽出すればよい(図8参照)。
従来技術において、法線を基準とした相対角度α、ψ、θそれぞれの大きさは5分割の大きさで区切り、ビンの位置を決定した。その場合、得られる特徴ベクトルの次元は125次元(5の3乗)となる。
本実施例では、相対角度α、ψ、θそれぞれの大きさは5分割とし、鉛直軸との成す角度τは4分割としたので、法線と最小曲率方向の組み合わせ(4組)と注目対象領域と注目対象周辺領域(2つ)についてそれぞれ2000次元ベクトル(500×4)となる。ただし、法線と最小曲率方向の組み合わせ(4組)とは、図11(A)〜(C)に示すように、注目点piのui=niとui=miとの2通りと、注目対象領域点qのu(q)=nqとu(q)=mqとの2通りとを組み合わせた4パターンである。また、計算量削減の観点から、法線と最小曲率方向の組み合わせは2組(法線および押し出し方向それぞれ)について特徴計算してもよい。
図10A、図10Bに示す従来技術のように、注目点を含む周辺形状について、2点間の法線と相対位置ベクトルから形状を表現する特徴量を用いた場合には、注目する2点での法線方向が類似している場合、同一の特徴量になりやすい。例えば、法線を基準とした相対角度α、ψ、θの組み合わせで周辺形状を表現した場合、人工物の柱と真っすぐ伸びた樹木幹から抽出した特徴量に、法線方向の差分がないために、特徴量としても差異が得られないことがある。
一方、本発明の実施形態によれば、鉛直軸、法線、最小曲率方向等の相対角度から形状を表現する特徴量を用いることにより、法線による特徴が同じでも、最小曲率方向や鉛直軸との成す角度の違いにより、異なる特徴量も得られる。例えば、法線を基準とした相対角度α、ψ、θ、成す角度τの組み合わせ、最小曲率方向を基準とした相対角度α、ψ、θ、成す角度τの組み合わせ、及び法線と最小曲率方向を基準とした相対角度α、ψ、θ、成す角度τの組み合わせで周辺形状を表現した場合、法線方向の差分がなくとも、幹の伸びる方向(押し出し方向)の微小な変形から差分が得られることにより、結果として特徴量にも差分を含ませることが可能となる(図10C、図10D参照)。
(ステップS4−3B:反射強度ヒストグラムによる特徴量の記述)
MMSのようなレーザースキャンによる3次元計測を行う場合には、色(赤、緑、黄)情報は得られないが、物体材料に依存するレーザの反射強度情報を得ることができる。
本実施例では、反射強度情報を16段階としたヒストグラム特徴を、注目対象領域と注目対象周辺領域それぞれから抽出する。
具体的には、注目点について、注目対象領域内に存在する点群の反射強度情報を用いたヒストグラム特徴を抽出し、同様に、注目対象周辺領域内に存在する点群の反射強度情報を用いたヒストグラム特徴を抽出する。
(ステップS4−4:特徴量の統合)
ステップS4−4において、2つの領域から抽出した特徴量(特徴ベクトル)を連結することで統合する。図8に示すように、2つのヒストグラム特徴量を連結すればよい。例えば、注目対象領域の特徴量のベクトルが2000次元、注目対象周辺領域の特徴量も2000次元とすると、統合後は4000次元のベクトルとなる。反射強度ヒストグラム特徴(16次元)も抽出している場合は、本実施例では4032次元のベクトルとなる。
ただし、統合する前に、計測シーンに依存しない(点群の密度に依存しない)ように、正規化処理をすることが重要である。本実施例では、正規化処理としてそれぞれの頻度分布の合計値が1.0になるように、ヒストグラムの頻度の合計値で割り算を行った。また、合計値を1.0にしなくても、頻度分布の2ノルムが1.0になるように正規化してもよい。
(ステップS5:特徴量の出力)
ステップS5において、ステップS4で抽出した特徴量を、記憶部103の特徴量記憶部112へ出力する。具体的には、特徴抽出した全ての点について、その点の位置座標もしくは点のインデックス番号と特徴ベクトル(1次元ベクトルか数値の配列)情報を出力する。
以上説明したように、第1の実施形態の特徴抽出装置100によれば、各点群クラスタに属する3次元点の各々を注目点として、注目点から予め設定した一定の距離以内の注目領域について、注目点と同じ点群クラスタに属する3次元点の各々を含む注目対象領域と、注目点と異なる点群クラスタに属する3次元点の各々を含む注目対象周辺領域との2つの領域の各々から特徴量を抽出し連結することにより、識別に有効な情報を計測ノイズに対して頑健に抽出することができる。
[第2の実施形態]
次に、第2の実施形態について説明する。なお、第1の実施形態と同様の構成となる部分については同一符号を付して説明を省略する。
第2の実施形態では、3次元物体検出の応用を目的とし、物体識別機能を追加している点が、第1の実施形態と異なっている。
図12は、第2の実施形態による物体検出装置200の構成を示すブロック図である。
演算部104は、物体検出部130から構成される。
物体検出部130は、特徴抽出部120と物体識別部131で構成される。物体識別部131は、記憶部103の識別用辞書記憶部113から供給される辞書情報と、演算部104の特徴抽出部120から供給された点群クラスタおよび特徴量をもとに、各点群クラスタについて、点群クラスタが表す物体の識別処理を行い、識別結果を記憶部103の屋外構造物記憶部114へ供給する(図12)。
ここで、識別処理とは、入力されたある点群クラスタについて、特徴量と辞書情報をもとに、検出対象物であるかどうか判定する処理を意味する。辞書情報とは、具体的にはパターン認識の分野で用いられる識別器を意味しており、サーポートベクタマシン(SVM)や相互部分空間法(MSM)、ブースティングなどが用いられる。例えば、特徴抽出部120により得られた特徴量について、機械学習の枠組みであるブースティングにより識別に有効な情報を選択するように重みづけをした強識別器が用いられる。
(物体検出部130の動作説明)
まず、本実施形態の物体検出装置200による処理全体について図13を用いて説明する。なお、第1の実施形態と同様の処理については、同一符号を付して説明を省略する。
ステップS6は、物体検出部130に該当し、ステップS7は、記憶部103とのインターフェース部に該当する。ステップS7では、各点群クラスタについて物体の識別結果を記憶部103の屋外構造物記憶部114へ出力する。物体の識別結果とは、構造物の属性情報および位置情報であり、属性情報とは例えば電柱、ケーブル、地面、樹木などの物体の種類(意味)を表し、位置情報とは例えば点群クラスタの重心位置や、X座標、Y座標、Z座標などの最小値および最大値など、3次元座標上で点群クラスタが存在する空間の情報を表す。また、属性情報については、どの物体であるか確率的な情報として表現してもよく、例えば電柱である確率1/4、ケーブルである確率1/8、地面である確率1/8、樹木である確率1/2(確率の合計は1.0)として、出力してもよい。
以降では、図13における物体検出部130のフローチャートの各処理について説明する。
(ステップS6:物体識別部131)
ステップS6において、物体識別部131は、各点群クラスタについて、各点群クラスタに属する点群の各点について抽出した特徴量と、記憶部103の識別用辞書記憶部113から入力した辞書情報を用いて識別処理を行う。本実施例ではブースティングで用いるアルゴリズムはAdaboostを用いることを想定するが、LogitBoost、MadaBoostなどの他のアルゴリズムを用いて同様の処理を行ってもよい。
ここで、検出対象物ごとに検出器を作成する必要があるが、本実施例では検出対象物が1つである例をまず説明する。具体例として、検出対象物を樹木とし、各点群クラスタに対し、点群クラスタの各点について抽出した特徴量から識別した結果の投票処理により、当該点群クラスタが樹木であるか判定処理を行う。
注目点群クラスタcに属する点群

について、注目点piの特徴量をviと表現すると、強識別器Hを用いた注目点piの識別結果に応じた投票処理により、注目点群クラスタが樹木である尤度FTreeを次式で求める。
ただし、関数signは入力が正のときは1を出力し、0以下のときは-1を出力する関数とする。関数hkは弱識別器であり、例えば特徴ベクトルのある次元に着目した閾値処理を実施するものであり、係数αkは弱識別器hkの信頼度を意味する。識別に有効な特徴を用いた識別器については、この信頼度の値が大きくなる傾向があるため、ブースティングによる強識別器を用いることで、抽出した特徴量から有効な特徴を用いた識別処理が実現できる。ブースティング処理については、既存公知技術であり、例えば非特許文献4で実施例が記載されている。
また尤度は1から-1の値をとり、尤度が大きな値であるほど注目点群クラスタが樹木である確率が高いことを意味する。検出対象物が1つのみ(樹木)である場合は、尤度FTreeが0よりも大きい場合には、検出対象物(樹木)であると判定する。
次に、検出対象物が複数ある場合の具体的な検出処理を説明する。
検出対象物が複数である場合、以下で示すように最も確率が高い属性を識別結果とすればよい。
例えば検出対象物を電柱、建造物、ケーブル、車、樹木とする。それぞれの強識別器を用いた投票処理による尤度についてFPowerpole、FBuilding、Fcable、FCar、FTreeで表すと、注目点群クラスタが樹木である確率ProbabilityTree(Pc)は次式で求まる。
ただし、定数項

は、尤度の値を正にするための値である。本例では検出する対象物が5つなので、

である。各検出対象物である確率を算出した結果、尤度が正(0より大きく)かつ最も確率値が高いものを識別結果とする。ただし、全ての尤度が0以下の場合には、どの検出対象物にも該当しないと判定する。
(ステップS7:識別結果の出力)
ステップS7において、識別された結果を記憶部103の屋外構造物記憶部114へ出力する。
具体的には、判定された物体の種類(属性)情報および各点群クラスタの位置情報とする。位置情報は、重心位置でもよいし、3次元空間に存在する領域の大きさ(X,Y,Z軸方向における最小値と最大値)でもよい。
以上説明したように、第2の実施形態に係る物体検出装置200によれば、非常に類似した形状を含むシーンであっても、高精度に物体を識別することが可能となる。特に、細長く伸びた形状を有する物体(スイープ形状物)について、識別に有効な情報を計測ノイズに対して頑健に抽出することが可能となる。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
100 特徴抽出装置
101 被写体計測部
102 入力部
103 記憶部
104 演算部
110 3次元点群記憶部
111 演算処理用パラメータ記憶部
112 特徴量記憶部
113 識別用辞書記憶部
114 屋外構造物記憶部
120 特徴抽出部
121 局所形状解析部
122 点群クラスタリング部
123 ヒストグラム特徴生成部
130 物体検出部
131 物体識別部
200 物体検出装置

Claims (8)

  1. 物体の表面上の位置を表す3次元点の集合である3次元点群を入力として、特徴量を抽出する特徴抽出装置であって、
    前記3次元点群をクラスタリング処理により分割して点群クラスタを生成し、
    生成された各点群クラスタに属する3次元点の各々を注目点として、
    前記注目点から予め設定した一定の距離以内の注目領域について、
    前記注目点と同じ点群クラスタに属する3次元点の各々を含む注目対象領域と、前記注目点と異なる点群クラスタに属する3次元点の各々を含む注目対象周辺領域との2つの領域の各々から特徴量を抽出し連結する特徴抽出部
    を含む特徴抽出装置。
  2. 前記特徴抽出部は、前記領域に含まれる3次元点の各々の法線方向、押し出し方向、及び鉛直方向を含む異種方向の組み合わせの各々についての相対角度の頻度を表す相対角度ヒストグラムを前記特徴量として抽出する請求項1記載の特徴抽出装置。
  3. 前記特徴抽出部は、前記領域に含まれる3次元点の各々の、物体の材質に固有なレーザ反射強度の頻度を表す反射強度ヒストグラムを前記特徴量として抽出する請求項1又は2記載の特徴抽出装置。
  4. 物体の表面上の位置を表す3次元点の集合である3次元点群を入力として、特徴量を抽出する特徴抽出部であって、
    前記3次元点群をクラスタリング処理により分割して点群クラスタを生成し、
    生成された各点群クラスタに属する3次元点の各々を注目点として、
    前記注目点から予め設定した一定の距離以内の注目領域について、
    前記注目点と同じ点群クラスタに属する3次元点の各々を含む注目対象領域と、前記注目点と異なる点群クラスタに属する3次元点の各々を含む注目対象周辺領域との2つの領域の各々から特徴量を抽出し連結する特徴抽出部と、
    各点群クラスタについて、前記点群クラスタに属する3次元点の各々に対して前記特徴抽出部により得られた特徴量に基づいて、前記点群クラスタが表す物体の識別を行う物体識別部と、
    を含む物体検出装置。
  5. 前記物体識別部は、前記特徴抽出部により得られた前記特徴量について、機械学習の枠組みであるブースティングにより識別に有効な情報を選択するように重みづけをした強識別器を用いて、前記点群クラスタに属する3次元点の各々について、前記物体の識別を行うことにより、前記点群クラスタが表す物体の識別を行う請求項4記載の物体検出装置。
  6. 物体の表面上の位置を表す3次元点の集合である3次元点群を入力として、特徴量を抽出する特徴抽出装置における特徴抽出方法であって、
    特徴抽出部が、前記3次元点群をクラスタリング処理により分割して点群クラスタを生成し、
    生成された各点群クラスタに属する3次元点の各々を注目点として、
    前記注目点から予め設定した一定の距離以内の注目領域について、
    前記注目点と同じ点群クラスタに属する3次元点の各々を含む注目対象領域と、前記注目点と異なる点群クラスタに属する3次元点の各々を含む注目対象周辺領域との2つの領域の各々から特徴量を抽出し連結する
    特徴抽出方法。
  7. 特徴抽出部が、物体の表面上の位置を表す3次元点の集合である3次元点群を入力として、特徴量を抽出することであって、
    前記3次元点群をクラスタリング処理により分割して点群クラスタを生成し、
    生成された各点群クラスタに属する3次元点の各々を注目点として、
    前記注目点から予め設定した一定の距離以内の注目領域について、
    前記注目点と同じ点群クラスタに属する3次元点の各々を含む注目対象領域と、前記注目点と異なる点群クラスタに属する3次元点の各々を含む注目対象周辺領域との2つの領域の各々から特徴量を抽出し連結することと、
    物体識別部が、各点群クラスタについて、前記点群クラスタに属する3次元点の各々に対して前記特徴抽出部により得られた特徴量に基づいて、前記点群クラスタが表す物体の識別を行うことと
    を含む物体検出方法。
  8. コンピュータを、請求項1〜請求項3の何れか1項に記載の特徴抽出装置、又は請求項4若しくは請求項5に記載の物体検出装置の各部として機能させるためのプログラム。
JP2017119320A 2017-06-19 2017-06-19 特徴抽出装置、物体検出装置、方法、及びプログラム Active JP6621445B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017119320A JP6621445B2 (ja) 2017-06-19 2017-06-19 特徴抽出装置、物体検出装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017119320A JP6621445B2 (ja) 2017-06-19 2017-06-19 特徴抽出装置、物体検出装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019003527A true JP2019003527A (ja) 2019-01-10
JP6621445B2 JP6621445B2 (ja) 2019-12-18

Family

ID=65004911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017119320A Active JP6621445B2 (ja) 2017-06-19 2017-06-19 特徴抽出装置、物体検出装置、方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6621445B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021039426A (ja) * 2019-08-30 2021-03-11 株式会社東芝 推定装置、推定方法及びプログラム
CN112668469A (zh) * 2020-12-28 2021-04-16 西安电子科技大学 基于深度学习的多目标检测识别方法
WO2021095093A1 (ja) * 2019-11-11 2021-05-20 日本電信電話株式会社 3次元点群ラベル学習装置、3次元点群ラベル推定装置、方法、及びプログラム
KR20210073205A (ko) * 2019-12-10 2021-06-18 주식회사 라이드플럭스 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램
US11087483B2 (en) 2019-07-19 2021-08-10 Subaru Corporation Image processing apparatus
CN113673423A (zh) * 2021-08-19 2021-11-19 丽水学院 基于亲疏度矩阵的点云特征提取方法
US11295465B2 (en) 2019-07-19 2022-04-05 Subaru Corporation Image processing apparatus
US11887387B2 (en) 2019-07-23 2024-01-30 Nippon Telegraph And Telephone Corporation Mesh structure equipment detection apparatus, mesh structure equipment detection method and program
JP7427328B2 (ja) 2020-01-24 2024-02-05 Jrcモビリティ株式会社 特徴量の評価装置および評価装置方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11295465B2 (en) 2019-07-19 2022-04-05 Subaru Corporation Image processing apparatus
US11087483B2 (en) 2019-07-19 2021-08-10 Subaru Corporation Image processing apparatus
US11887387B2 (en) 2019-07-23 2024-01-30 Nippon Telegraph And Telephone Corporation Mesh structure equipment detection apparatus, mesh structure equipment detection method and program
JP7395705B2 (ja) 2019-08-30 2023-12-11 株式会社東芝 推定装置、推定方法及びプログラム
JP2021039426A (ja) * 2019-08-30 2021-03-11 株式会社東芝 推定装置、推定方法及びプログラム
JP2023017091A (ja) * 2019-08-30 2023-02-02 株式会社東芝 推定装置、推定方法及びプログラム
US11341737B2 (en) 2019-08-30 2022-05-24 Kabushiki Kaisha Toshiba Estimation apparatus, estimation method, and computer program product
JPWO2021095093A1 (ja) * 2019-11-11 2021-05-20
JP7310912B2 (ja) 2019-11-11 2023-07-19 日本電信電話株式会社 3次元点群ラベル学習装置、3次元点群ラベル推定装置、方法、及びプログラム
WO2021095093A1 (ja) * 2019-11-11 2021-05-20 日本電信電話株式会社 3次元点群ラベル学習装置、3次元点群ラベル推定装置、方法、及びプログラム
KR102363501B1 (ko) 2019-12-10 2022-02-16 주식회사 라이드플럭스 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램
KR20210073205A (ko) * 2019-12-10 2021-06-18 주식회사 라이드플럭스 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램
JP7427328B2 (ja) 2020-01-24 2024-02-05 Jrcモビリティ株式会社 特徴量の評価装置および評価装置方法
CN112668469A (zh) * 2020-12-28 2021-04-16 西安电子科技大学 基于深度学习的多目标检测识别方法
CN113673423A (zh) * 2021-08-19 2021-11-19 丽水学院 基于亲疏度矩阵的点云特征提取方法

Also Published As

Publication number Publication date
JP6621445B2 (ja) 2019-12-18

Similar Documents

Publication Publication Date Title
JP6621445B2 (ja) 特徴抽出装置、物体検出装置、方法、及びプログラム
Yu et al. Automated extraction of urban road facilities using mobile laser scanning data
Wang et al. SigVox–A 3D feature matching algorithm for automatic street object recognition in mobile laser scanning point clouds
US9846946B2 (en) Objection recognition in a 3D scene
Hu et al. Road centerline extraction in complex urban scenes from LiDAR data based on multiple features
Yu et al. Learning hierarchical features for automated extraction of road markings from 3-D mobile LiDAR point clouds
Wu et al. Rapid localization and extraction of street light poles in mobile LiDAR point clouds: A supervoxel-based approach
Wang et al. A multiscale and hierarchical feature extraction method for terrestrial laser scanning point cloud classification
Zhong et al. Segmentation of individual trees from TLS and MLS data
Yu et al. Semiautomated extraction of street light poles from mobile LiDAR point-clouds
CN106127153B (zh) 车载激光扫描点云数据的交通标牌识别方法
Dai et al. Automated fusion of forest airborne and terrestrial point clouds through canopy density analysis
Velizhev et al. Implicit shape models for object detection in 3D point clouds
Kim et al. 3D classification of power-line scene from airborne laser scanning data using random forests
Teo et al. Pole-like road object detection from mobile lidar system using a coarse-to-fine approach
CN103699905B (zh) 一种车牌定位方法及装置
Yan et al. Detection and classification of pole-like road objects from mobile LiDAR data in motorway environment
Guan et al. Pole-like road object detection in mobile LiDAR data via supervoxel and bag-of-contextual-visual-words representation
Xu et al. Unsupervised segmentation of point clouds from buildings using hierarchical clustering based on gestalt principles
Bremer et al. Eigenvalue and graph-based object extraction from mobile laser scanning point clouds
Wang et al. 3-D point cloud object detection based on supervoxel neighborhood with Hough forest framework
Cheng et al. Building boundary extraction from high resolution imagery and lidar data
CN105809113B (zh) 三维人脸识别方法及应用其的数据处理装置
Kim et al. Urban scene understanding from aerial and ground LIDAR data
Fan et al. Identifying man-made objects along urban road corridors from mobile LiDAR data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191119

R150 Certificate of patent or registration of utility model

Ref document number: 6621445

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150