JP2019003527A - 特徴抽出装置、物体検出装置、方法、及びプログラム - Google Patents
特徴抽出装置、物体検出装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP2019003527A JP2019003527A JP2017119320A JP2017119320A JP2019003527A JP 2019003527 A JP2019003527 A JP 2019003527A JP 2017119320 A JP2017119320 A JP 2017119320A JP 2017119320 A JP2017119320 A JP 2017119320A JP 2019003527 A JP2019003527 A JP 2019003527A
- Authority
- JP
- Japan
- Prior art keywords
- point
- attention
- dimensional
- feature extraction
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
まず、本発明の実施形態における概要を説明する。
本発明の実施形態の特徴抽出装置は、3次元情報から精度よく物体を検出するときや、異なる条件で計測された3次元情報の位置合わせをする時に用いられる特徴量を抽出する。特徴量とは、画像や3次元点群などの入力データ(全部もしくは入力の一部)を、計算機が利用しやすいように表現した「数値の配列」である。
次に、第1の実施形態の特徴抽出装置の構成について説明する。
まず、本実施例の特徴抽出装置100による処理全体について図3を用いて説明する。
ステップS1において、3次元点群記憶部110から3次元点群(入力点群)を取得し、演算処理用パラメータ記憶部111から特徴抽出部120で使用する演算処理用パラメータを取得する。
と表現する。ただし、
は、X,Y,Z軸の座標成分を意味し、右上の添え字の記号「T」は転置を意味とする。
ステップS2において、入力された3次元点群について局所的な形状情報を推定する。ここで、局所的な形状情報とは、注目点位置における法線や押し出し方向(物理的には最小曲率方向と一致)である。
ステップS3において、入力された3次元点群について局所形状解析結果である、法線方向の類似度もしくは規定断面形状の類似度を指標としてクラスタリングを行う。以下では、2つの指標を用いた実施例を示す。
注目点piの位置でのk近傍点群pjについて、以下の式に示すように、法線方向ni、njの類似度が閾値Thnormal_direction以上のときに、注目点と近傍点が同一クラスタと判定する。
押し出し方向および規定断面形状を用いて、入力された3次元点群をクラスタリングする実施例の概要を説明する。まず、入力点群をリサンプリングされた代表点群について、注目点をpi、周辺点(k個の近傍点)をpjとし、注目点piと周辺点pjにおける押し出し方向をmi、mjとし、それぞれの規定断面形状(射影して生成された点群の形状)を
と表記し、注目点iにおける規定断面点をs、周辺点の規定断面点をtで表記すると、次式を満たすときに注目点と周辺点をクラスタリング(統合)する。
かつ
物体識別を行うために、如何にして物体識別に本質的に重要な特徴量を抽出することが重要となると記載をしたが、もう一つ重要なことは、注目する点群もしくは点群クラスタそのものの形状や色、材質などの特徴だけでなく、文脈(コンテンツ)をも特徴として抽出する(数値の配列として記述する)ことである。
点群クラスタcに属する注目点pi (c)について、半径R[m]以内の領域を注目領域(Region of Interest)と設定する。半径Rは実験的に決めるパラメータであり、本実施例ではR=2.0[m]とした。
注目点pi (c)について、注目領域について、注目点と同一点群クラスタに属する点群が存在する領域(3次元空間)を注目対象領域とし、同一点群クラスタに属しない点群が存在する領域(3次元空間)を注目対象周辺領域と定義する(図6参照)。
本ステップS4−3において、前記2つの領域から特徴を抽出するが、処理としては全く同じ処理を、それぞれの領域内の点群に対して実施するため、本実施形態では片方(注目対象領域)についてのみ説明する。
注目点pi (c)について、注目対象領域内に存在する点群との間で、法線方向、最小曲率方向(押し出し方向)、及びZ軸(鉛直方向)の組み合わせの各々の相対角度の頻度を表す相対角度ヒストグラムを生成することで特徴量を記述する。本発明の実施形態は、上記非特許文献1の基となる技術であるPoint Feature Histogram特徴について、法線方向だけでなく最小曲率方向(押し出し方向)を利用できるように拡張した技術と位置付けられ、かつ鉛直方向についての不変性を無くして、注目領域内の形状特徴を記述した特徴といえる。
との間で、相対角度ヒストグラムを生成する。注目点と注目対象領域点について、2点の相対ベクトルおよび法線ベクトルにより、次式の局所座標系ベクトルu,v,wと相対位置ベクトルtkを定義する。局所座標系ベクトルuについて、本発明の実施形態では法線もしくは最小曲率方向(押し出し方向)を用いる。
MMSのようなレーザースキャンによる3次元計測を行う場合には、色(赤、緑、黄)情報は得られないが、物体材料に依存するレーザの反射強度情報を得ることができる。
ステップS4−4において、2つの領域から抽出した特徴量(特徴ベクトル)を連結することで統合する。図8に示すように、2つのヒストグラム特徴量を連結すればよい。例えば、注目対象領域の特徴量のベクトルが2000次元、注目対象周辺領域の特徴量も2000次元とすると、統合後は4000次元のベクトルとなる。反射強度ヒストグラム特徴(16次元)も抽出している場合は、本実施例では4032次元のベクトルとなる。
ステップS5において、ステップS4で抽出した特徴量を、記憶部103の特徴量記憶部112へ出力する。具体的には、特徴抽出した全ての点について、その点の位置座標もしくは点のインデックス番号と特徴ベクトル(1次元ベクトルか数値の配列)情報を出力する。
次に、第2の実施形態について説明する。なお、第1の実施形態と同様の構成となる部分については同一符号を付して説明を省略する。
まず、本実施形態の物体検出装置200による処理全体について図13を用いて説明する。なお、第1の実施形態と同様の処理については、同一符号を付して説明を省略する。
ステップS6において、物体識別部131は、各点群クラスタについて、各点群クラスタに属する点群の各点について抽出した特徴量と、記憶部103の識別用辞書記憶部113から入力した辞書情報を用いて識別処理を行う。本実施例ではブースティングで用いるアルゴリズムはAdaboostを用いることを想定するが、LogitBoost、MadaBoostなどの他のアルゴリズムを用いて同様の処理を行ってもよい。
について、注目点piの特徴量をviと表現すると、強識別器Hを用いた注目点piの識別結果に応じた投票処理により、注目点群クラスタが樹木である尤度FTreeを次式で求める。
は、尤度の値を正にするための値である。本例では検出する対象物が5つなので、
である。各検出対象物である確率を算出した結果、尤度が正(0より大きく)かつ最も確率値が高いものを識別結果とする。ただし、全ての尤度が0以下の場合には、どの検出対象物にも該当しないと判定する。
ステップS7において、識別された結果を記憶部103の屋外構造物記憶部114へ出力する。
101 被写体計測部
102 入力部
103 記憶部
104 演算部
110 3次元点群記憶部
111 演算処理用パラメータ記憶部
112 特徴量記憶部
113 識別用辞書記憶部
114 屋外構造物記憶部
120 特徴抽出部
121 局所形状解析部
122 点群クラスタリング部
123 ヒストグラム特徴生成部
130 物体検出部
131 物体識別部
200 物体検出装置
Claims (8)
- 物体の表面上の位置を表す3次元点の集合である3次元点群を入力として、特徴量を抽出する特徴抽出装置であって、
前記3次元点群をクラスタリング処理により分割して点群クラスタを生成し、
生成された各点群クラスタに属する3次元点の各々を注目点として、
前記注目点から予め設定した一定の距離以内の注目領域について、
前記注目点と同じ点群クラスタに属する3次元点の各々を含む注目対象領域と、前記注目点と異なる点群クラスタに属する3次元点の各々を含む注目対象周辺領域との2つの領域の各々から特徴量を抽出し連結する特徴抽出部
を含む特徴抽出装置。 - 前記特徴抽出部は、前記領域に含まれる3次元点の各々の法線方向、押し出し方向、及び鉛直方向を含む異種方向の組み合わせの各々についての相対角度の頻度を表す相対角度ヒストグラムを前記特徴量として抽出する請求項1記載の特徴抽出装置。
- 前記特徴抽出部は、前記領域に含まれる3次元点の各々の、物体の材質に固有なレーザ反射強度の頻度を表す反射強度ヒストグラムを前記特徴量として抽出する請求項1又は2記載の特徴抽出装置。
- 物体の表面上の位置を表す3次元点の集合である3次元点群を入力として、特徴量を抽出する特徴抽出部であって、
前記3次元点群をクラスタリング処理により分割して点群クラスタを生成し、
生成された各点群クラスタに属する3次元点の各々を注目点として、
前記注目点から予め設定した一定の距離以内の注目領域について、
前記注目点と同じ点群クラスタに属する3次元点の各々を含む注目対象領域と、前記注目点と異なる点群クラスタに属する3次元点の各々を含む注目対象周辺領域との2つの領域の各々から特徴量を抽出し連結する特徴抽出部と、
各点群クラスタについて、前記点群クラスタに属する3次元点の各々に対して前記特徴抽出部により得られた特徴量に基づいて、前記点群クラスタが表す物体の識別を行う物体識別部と、
を含む物体検出装置。 - 前記物体識別部は、前記特徴抽出部により得られた前記特徴量について、機械学習の枠組みであるブースティングにより識別に有効な情報を選択するように重みづけをした強識別器を用いて、前記点群クラスタに属する3次元点の各々について、前記物体の識別を行うことにより、前記点群クラスタが表す物体の識別を行う請求項4記載の物体検出装置。
- 物体の表面上の位置を表す3次元点の集合である3次元点群を入力として、特徴量を抽出する特徴抽出装置における特徴抽出方法であって、
特徴抽出部が、前記3次元点群をクラスタリング処理により分割して点群クラスタを生成し、
生成された各点群クラスタに属する3次元点の各々を注目点として、
前記注目点から予め設定した一定の距離以内の注目領域について、
前記注目点と同じ点群クラスタに属する3次元点の各々を含む注目対象領域と、前記注目点と異なる点群クラスタに属する3次元点の各々を含む注目対象周辺領域との2つの領域の各々から特徴量を抽出し連結する
特徴抽出方法。 - 特徴抽出部が、物体の表面上の位置を表す3次元点の集合である3次元点群を入力として、特徴量を抽出することであって、
前記3次元点群をクラスタリング処理により分割して点群クラスタを生成し、
生成された各点群クラスタに属する3次元点の各々を注目点として、
前記注目点から予め設定した一定の距離以内の注目領域について、
前記注目点と同じ点群クラスタに属する3次元点の各々を含む注目対象領域と、前記注目点と異なる点群クラスタに属する3次元点の各々を含む注目対象周辺領域との2つの領域の各々から特徴量を抽出し連結することと、
物体識別部が、各点群クラスタについて、前記点群クラスタに属する3次元点の各々に対して前記特徴抽出部により得られた特徴量に基づいて、前記点群クラスタが表す物体の識別を行うことと
を含む物体検出方法。 - コンピュータを、請求項1〜請求項3の何れか1項に記載の特徴抽出装置、又は請求項4若しくは請求項5に記載の物体検出装置の各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017119320A JP6621445B2 (ja) | 2017-06-19 | 2017-06-19 | 特徴抽出装置、物体検出装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017119320A JP6621445B2 (ja) | 2017-06-19 | 2017-06-19 | 特徴抽出装置、物体検出装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019003527A true JP2019003527A (ja) | 2019-01-10 |
JP6621445B2 JP6621445B2 (ja) | 2019-12-18 |
Family
ID=65004911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017119320A Active JP6621445B2 (ja) | 2017-06-19 | 2017-06-19 | 特徴抽出装置、物体検出装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6621445B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021039426A (ja) * | 2019-08-30 | 2021-03-11 | 株式会社東芝 | 推定装置、推定方法及びプログラム |
CN112668469A (zh) * | 2020-12-28 | 2021-04-16 | 西安电子科技大学 | 基于深度学习的多目标检测识别方法 |
WO2021095093A1 (ja) * | 2019-11-11 | 2021-05-20 | 日本電信電話株式会社 | 3次元点群ラベル学習装置、3次元点群ラベル推定装置、方法、及びプログラム |
KR20210073205A (ko) * | 2019-12-10 | 2021-06-18 | 주식회사 라이드플럭스 | 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램 |
US11087483B2 (en) | 2019-07-19 | 2021-08-10 | Subaru Corporation | Image processing apparatus |
CN113673423A (zh) * | 2021-08-19 | 2021-11-19 | 丽水学院 | 基于亲疏度矩阵的点云特征提取方法 |
US11295465B2 (en) | 2019-07-19 | 2022-04-05 | Subaru Corporation | Image processing apparatus |
US11887387B2 (en) | 2019-07-23 | 2024-01-30 | Nippon Telegraph And Telephone Corporation | Mesh structure equipment detection apparatus, mesh structure equipment detection method and program |
JP7427328B2 (ja) | 2020-01-24 | 2024-02-05 | Jrcモビリティ株式会社 | 特徴量の評価装置および評価装置方法 |
-
2017
- 2017-06-19 JP JP2017119320A patent/JP6621445B2/ja active Active
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11295465B2 (en) | 2019-07-19 | 2022-04-05 | Subaru Corporation | Image processing apparatus |
US11087483B2 (en) | 2019-07-19 | 2021-08-10 | Subaru Corporation | Image processing apparatus |
US11887387B2 (en) | 2019-07-23 | 2024-01-30 | Nippon Telegraph And Telephone Corporation | Mesh structure equipment detection apparatus, mesh structure equipment detection method and program |
JP7395705B2 (ja) | 2019-08-30 | 2023-12-11 | 株式会社東芝 | 推定装置、推定方法及びプログラム |
JP2021039426A (ja) * | 2019-08-30 | 2021-03-11 | 株式会社東芝 | 推定装置、推定方法及びプログラム |
JP2023017091A (ja) * | 2019-08-30 | 2023-02-02 | 株式会社東芝 | 推定装置、推定方法及びプログラム |
US11341737B2 (en) | 2019-08-30 | 2022-05-24 | Kabushiki Kaisha Toshiba | Estimation apparatus, estimation method, and computer program product |
JPWO2021095093A1 (ja) * | 2019-11-11 | 2021-05-20 | ||
JP7310912B2 (ja) | 2019-11-11 | 2023-07-19 | 日本電信電話株式会社 | 3次元点群ラベル学習装置、3次元点群ラベル推定装置、方法、及びプログラム |
WO2021095093A1 (ja) * | 2019-11-11 | 2021-05-20 | 日本電信電話株式会社 | 3次元点群ラベル学習装置、3次元点群ラベル推定装置、方法、及びプログラム |
KR102363501B1 (ko) | 2019-12-10 | 2022-02-16 | 주식회사 라이드플럭스 | 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램 |
KR20210073205A (ko) * | 2019-12-10 | 2021-06-18 | 주식회사 라이드플럭스 | 3차원 포인트 클라우드 데이터로부터 지표면 데이터를 생성하는 방법, 장치 및 컴퓨터프로그램 |
JP7427328B2 (ja) | 2020-01-24 | 2024-02-05 | Jrcモビリティ株式会社 | 特徴量の評価装置および評価装置方法 |
CN112668469A (zh) * | 2020-12-28 | 2021-04-16 | 西安电子科技大学 | 基于深度学习的多目标检测识别方法 |
CN113673423A (zh) * | 2021-08-19 | 2021-11-19 | 丽水学院 | 基于亲疏度矩阵的点云特征提取方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6621445B2 (ja) | 2019-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6621445B2 (ja) | 特徴抽出装置、物体検出装置、方法、及びプログラム | |
Yu et al. | Automated extraction of urban road facilities using mobile laser scanning data | |
Wang et al. | SigVox–A 3D feature matching algorithm for automatic street object recognition in mobile laser scanning point clouds | |
US9846946B2 (en) | Objection recognition in a 3D scene | |
Hu et al. | Road centerline extraction in complex urban scenes from LiDAR data based on multiple features | |
Yu et al. | Learning hierarchical features for automated extraction of road markings from 3-D mobile LiDAR point clouds | |
Wu et al. | Rapid localization and extraction of street light poles in mobile LiDAR point clouds: A supervoxel-based approach | |
Wang et al. | A multiscale and hierarchical feature extraction method for terrestrial laser scanning point cloud classification | |
Zhong et al. | Segmentation of individual trees from TLS and MLS data | |
Yu et al. | Semiautomated extraction of street light poles from mobile LiDAR point-clouds | |
CN106127153B (zh) | 车载激光扫描点云数据的交通标牌识别方法 | |
Dai et al. | Automated fusion of forest airborne and terrestrial point clouds through canopy density analysis | |
Velizhev et al. | Implicit shape models for object detection in 3D point clouds | |
Kim et al. | 3D classification of power-line scene from airborne laser scanning data using random forests | |
Teo et al. | Pole-like road object detection from mobile lidar system using a coarse-to-fine approach | |
CN103699905B (zh) | 一种车牌定位方法及装置 | |
Yan et al. | Detection and classification of pole-like road objects from mobile LiDAR data in motorway environment | |
Guan et al. | Pole-like road object detection in mobile LiDAR data via supervoxel and bag-of-contextual-visual-words representation | |
Xu et al. | Unsupervised segmentation of point clouds from buildings using hierarchical clustering based on gestalt principles | |
Bremer et al. | Eigenvalue and graph-based object extraction from mobile laser scanning point clouds | |
Wang et al. | 3-D point cloud object detection based on supervoxel neighborhood with Hough forest framework | |
Cheng et al. | Building boundary extraction from high resolution imagery and lidar data | |
CN105809113B (zh) | 三维人脸识别方法及应用其的数据处理装置 | |
Kim et al. | Urban scene understanding from aerial and ground LIDAR data | |
Fan et al. | Identifying man-made objects along urban road corridors from mobile LiDAR data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6621445 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |