JP2019192059A - 対象物認識装置 - Google Patents

対象物認識装置 Download PDF

Info

Publication number
JP2019192059A
JP2019192059A JP2018086120A JP2018086120A JP2019192059A JP 2019192059 A JP2019192059 A JP 2019192059A JP 2018086120 A JP2018086120 A JP 2018086120A JP 2018086120 A JP2018086120 A JP 2018086120A JP 2019192059 A JP2019192059 A JP 2019192059A
Authority
JP
Japan
Prior art keywords
point cloud
cloud data
program
dimensional point
roadway
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018086120A
Other languages
English (en)
Other versions
JP7290240B2 (ja
Inventor
田中 成典
Shigenori Tanaka
成典 田中
中村 健二
Kenji Nakamura
健二 中村
義典 塚田
Yoshinori Tsukada
義典 塚田
順俊 平野
Yoritoshi Hirano
順俊 平野
庄治 大月
Shoji Otsuki
庄治 大月
恭介 田中
Kyosuke Tanaka
恭介 田中
洋明 山岸
Hiroaki Yamagishi
洋明 山岸
義和 川村
Yoshikazu Kawamura
義和 川村
博 楠本
Hiroshi Kusumoto
博 楠本
喜政 梅▲原▼
Yoshimasa Umehara
喜政 梅▲原▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Insiek Co Ltd
Kansai Informatics Institute Co Ltd
Original Assignee
Nippon Insiek Co Ltd
Kansai Informatics Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Insiek Co Ltd, Kansai Informatics Institute Co Ltd filed Critical Nippon Insiek Co Ltd
Priority to JP2018086120A priority Critical patent/JP7290240B2/ja
Publication of JP2019192059A publication Critical patent/JP2019192059A/ja
Application granted granted Critical
Publication of JP7290240B2 publication Critical patent/JP7290240B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】 CADデータがなくとも地物を適切に抽出することのできる装置を提供する。【解決手段】三次元点群データ取得手段10は、認識対象物を測定した三次元点群データを取得する。分布特性算出手段12は、三次元点群データを内包する直方体を基準として、三次元点群データにおける点群の分布特性を数値として算出する。推定手段14は、算出した分布特性の数値に基づいて、対象物を推定する。推定手段14は、たとえば、ランダムフォレストによって学習したものを用いることができる。【選択図】 図18

Description

この発明は、対象物を認識するための装置に関するものである。
レーザスキャナなどによって道路、標識、建物などを計測した三次元点群データに基づいて、標識、建物などの地物を抽出することが行われている。作業者が画面を見ながら、各地物を判定して抽出し属性を付与することは、確実性は高いものの、煩雑であり抽出時間を要するという問題がある。
非特許文献1には、三次元点群データに対応するCADデータに基づいて、三次元点群データから地物を抽出して属性を付与する処理が開示されている。
特許文献1には、三次元点群データを複数の水平面に投影した図形に基づいて、テンプレートマッチングによって地物を認識する装置が開示されている。
これらにより、三次元点群データに基づいて地物を認識することができる。
また、機械学習によって三次元点群データから地物を抽出することも提案されている。このようなシステムを実現するためには、大量の学習データが必要である。非特許文献2には、CADデータに基づいて学習データとしての三次元点群データを生成する手法が開示されている。
特開2017−167092
中村健二他「完成平面図に基づいた点群データの地物抽出技術に関する研究」土木学会論文集(土木情報学)73巻2号、I_424-I_432、2017年 深野健太他「移動計測データに基づく地類分類のための学習データ生成方法」2014年精密工学会秋季学術講演会講演論文集
しかしながら、非特許文献1の手法では、三次元点群データに対応するCADデータやカラー画像データに基づいて、地物に対応する三次元点群データを抽出するようにしている。このため、三次元点群データに対応するCADデータやカラー画像データが存在しない場合には、地物を抽出できないという問題があった。
また、CADデータの作成時には存在しなかった地物や、CADデータ作成後に除去された地物については、これらを正しく抽出できないという問題もあった。
また、特許文献1の手法では、複数の水平断面によって認識を行うようにしているが、対象物の傾きや方向によって必ずしも正確な認識が行えないという問題があった。また、対象物の特徴を正確に捉えることができず認識が正確でないという問題があった。
さらに、深層学習や機械学習を行って三次元点群データから地物を抽出するとしても、その学習データを大量に用意しなければならなかった。非特許文献2は、これを解決するための一手法ではあるが、CADデータに基づいて学習用データを生成するものであって、CADデータが存在しない場合には、用いることができなかった。
この発明は、上記のような問題点を解決して、CADデータがなくとも地物を適切に抽出することのできる装置を提供することを目的とする。
この発明のいくつかの独立して適用可能な特徴を以下に示す。
(1)(2)この発明に係る認識装置は、対象物を区別して認識するための認識装置であって、対象物を測定した三次元点群データを取得するデータ取得手段と、前記対象物の三次元点群データを内包する三次元領域を基準として、三次元点群データにおける点群の分布特性を数値として算出する分布特性算出手段と、算出した分布特性の数値に基づいて、対象物を推定する推定手段とを備えている。
したがって、対象物の分布特性によって対象物を推定することができる。
(3)この発明に係る認識装置において、三次元点群データは、道路および地物を測定したものであり、領域生成手段は、地物に対応する道路面を基準として地物を内包する三次元領域を定義することを特徴としている。
したがって、異なる場所にある同一種類の地物についても、その向きや角度に拘わらず同じようにこれを内包する三次元領域を形成することができ、認識精度を向上させることができる。
(4)この発明に係る認識装置は、分布特性算出手段が、前記三次元領域のX方向長さ、Y方向長さまたはZ方向長さを分布特性として算出することを特徴としている。
したがって、横長・縦長の対象物を推定することができる。
(5)この発明に係る認識装置は、分布特性算出手段が、少なくともX軸またはY軸にて前記三次元領域を短冊状に区切った時の各区画に含まれる点の数の分散を分布特性として算出することを特徴としている。
形状変化に富んだ対象物・変化に乏しい対象物を推定することができる。
(6)この発明に係る認識装置は、分布特性算出手段が、少なくとも前記三次元領域を上下に分割し、上部・下部に含まれる点の数の比率を分布特性として算出することを特徴としている。
したがって、上広がり・下広がりな対象物を推定することができる。
(7)この発明に係る認識装置は、分布特性算出手段が、少なくとも前記三次元領域のX方向長さまたはY方向長さと、Z方向長さとの比率を分布特性として算出することを特徴としている。
したがって、横長・縦長の対象物を推定することができる。
(8)この発明に係る認識装置は、分布特性算出手段が、少なくとも前記三次元領域のZ方向の所定間隔の位置での三次元点群データのX方向幅またはY方向幅の変化量を分布特性として算出することを特徴としている。
したがって、突き出た部分のある対象物を推定することができる。
(9)この発明に係る認識装置は、分布特性算出手段が、少なくともZ軸にて前記三次元領域を短冊状に区切った時の点の数が最も多い区画の点の密度を分布特性として算出することを特徴としている。
したがって、人工構造物・自然物の対象物を推定することができる。
(10)この発明に係る認識装置は、分布特性算出手段が、少なくとも三次元点群データ全体の法線ベクトルのZ軸に対する傾きを分布特性として算出することを特徴としている。
したがって、注状対象物、面的対象物を推定することができる。
(11)この発明に係る認識装置は、分布特性算出手段が、少なくともZ軸にて前記三次元領域を短冊状に区切った時の各区画の点群データの法線ベクトルのZ軸に対する傾きのばらつきを分布特性として算出することを特徴としている。
したがって、注状対象物、面的対象物を推定することができる。
(12)この発明に係る認識装置は、分布特性算出手段が、少なくともZ軸にて前記三次元領域を短冊状に区切った断面における点群データの面積の累積変化量を分布特性として算出することを特徴としている。
したがって、形状の変化を示す指標に基づいて、対象物を推定することができる。
(13)この発明に係る認識装置は、分布特性算出手段が、少なくともテンプレートマッチングによる合致率を分布特性として算出することを特徴としている。
したがって、テンプレートマッチングの結果も含めて推定を行うことができる。
(14)この発明に係る認識装置は、推定手段が、前記分布特性に基づいて機械学習を行って推定を行うものであることを特徴としている。
したがって、より正確な推定を行うことができる。
(15)この発明に係る認識装置は、推定手段が、前記三次元点群データの存在する位置に基づいて当該三次元点群データをグループ分けし、当該グループごとに機械学習または深層学習を行って対象物を推定することを特徴としている。
したがって、認識すべき対象物の種類が増えても、正確な推定を行うことができる。
(16)この発明に係る認識装置は、推定手段が、各点における反射強度または色データまたはその双方も考慮して対象物を推定することを特徴としている。
したがって、反射率または色データまたはその双方に基づく対象物推定を行うことができる。
(17)この発明に係る認識装置の生産方法は、対象物を測定した三次元点群データに基づいて、対象物を区別して識別するための認識装置を生産する方法であって、学習対象物を測定した三次元点群データを内包する三次元領域を形成し、前記三次元領域を基準として、三次元点群データにおける点群の分布特性を数値として算出し、学習によって上記認識処理を実現する装置に、算出した分布特性の数値を学習データとして与えて学習させることを特徴としている。
したがって、対象物の分布特性によって対象物を推定することができる。
(18)(19)この発明に係る認識装置は、計測された三次元点群データから車道被覆オブジェクトを認識するための認識装置であって、計測された三次元点群データを取得する取得手段と、前記三次元点群データから車道オブジェクトを抽出する道路抽出手段と、前記抽出された車道オブジェクトの上に重なるオブジェクトを抽出する車道上部オブジェクト抽出手段と、前記被覆オブジェクトを前記車道オブジェクトに設定された車線方向に垂直な所定間隔の平面にて断面を形成し、各断面において前記被覆オブジェクトが実質的に同一形状であれば車道被覆オブジェクトであると推定する車道被覆オブジェクト抽出手段とを備えている。
したがって、車道被覆オブジェクトを適切に推定することができる。
(20)この発明に係る認識装置は、車道被覆オブジェクトとして、少なくともカルバート、シェッド、シェルターまたはトンネルを含むことを特徴している。
したがって、これらのオブジェクトを適切に推定することができる。
(21)この発明に係る認識装置は、車線方向が、計測時に走行方向として取得されたものであることを特徴としている。
したがって、正しく車線方向を設定することができる。
(22)(23)この発明に係る認識装置は、計測された三次元点群データから擁壁オブジェクトを認識するための認識装置であって、対象物を測定した三次元点群データを取得するデータ取得手段と、前記三次元点群データから車道オブジェクトを抽出する車道抽出手段と、前記車道オブジェクトの端部に接する近似平面を形成する点群データを見いだし、当該近似平面と車道との角度が所定角度以上であれば、当該近似平面を擁壁であると推定する擁壁推定手段とを備えている。
したがって、擁壁オブジェクトを適切に推定することができる。
「データ取得手段」は、実施形態においては、ステップS21がこれに対応する。
「分布特性算出手段」は、実施形態においては、ステップS274がこれに対応する。
「推定手段」は、実施形態においては、ステップS275がこれに対応する。
「プログラム」とは、CPUにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
この発明の一実施形態による認識装置の学習の概要を示す図である。 認識装置のハードウエア構成である。 認識プログラム48の学習処理のフローチャートである。 オブジェクトとバウンダリーボックスを示す図である。 特徴量の一例を示す図である。 特徴量F1、F2、F3の算出を説明するための図である。 特徴量F4、F5の算出を説明するための図である。 特徴量F6の算出を説明するための図である。 特徴量F7、F8の算出を説明するための図である。 特徴量F9〜F12の算出を説明するための図である。 特徴量F13の算出を説明するための図である。 特徴量F14の算出を説明するための図である。 特徴量F15の算出を説明するための図である。 生成された特徴量と、三次元点群データとの関係を示す図である。 決定木の生成処理を示す図である。 決定木における識別子の選択を説明するための図である。 決定木の生成を説明するための図である。 第2の実施形態による認識装置の全体構成図である。 認識プログラム48の認識処理のフローチャートである。 計測された三次元点群データの例である 地盤点の抽出のフローチャートである。 地盤点抽出を説明するための図である。 バウンダリーボックスを設定した状態を示す図である。 トンネルなど(道路被覆オブジェクト)の推定処理のフローチャートである。 トンネルなど(道路被覆オブジェクト)の推定処理を説明するための図である。 擁壁の推定処置のフローチャートである。 擁壁の推定処理を説明するための図である。 位置及び高さに基づくグループ分けの判断基準を示す図である。 歩道の抽出を説明するための図である。 推定処理のフローチャートである。 ランダムフォレストによる推定処理のフローチャートである。
1.第1の実施形態
1.1全体構成
図1に、この発明の一実施形態による認識装置の学習方法を示す。これにより、機械学習プログラムが学習を行って、三次元点群データによって表されるオブジェクト(対象物)の種類を認識する認識装置を生成することができる。なお、機械学習プログラムとしては、ランダムフォレストによって機械学習を行うプログラムを用いることができるが、他の機械学習プログラムを用いてもよい。
まず、オブジェクトの三次元点群データ2を取得する。これは、計測した三次元点群データから、各オブジェクトを分離したものである。次に、オブジェクトの三次元点群データ2を内包する直方体4を基準として、三次元点群データの点群の分布特性を数値として算出する。
上記のようにして算出した分布特性を用いて、機械学習プログラムを学習させる。これにより、オブジェクトの三次元点群データに基づいて、対象物の種類を認識する認識装置を生成することができる。
1.2ハードウエア構成
図2に、認識装置のハードウエア構成を示す。CPU30には、メモリ32、ディスプレイ34、通信回路36、ハードディスク38、DVD−ROMドライブ40、キーボード/マウス42、記録媒体ドライブ44が接続されている。通信回路36は、インターネットに接続するためのものである。記録媒体ドライブ44は、可搬性記録媒体52に記録された三次元点群データを取り込むためのものである。
ハードディスク38には、オペレーティングシステム46、認識プログラム48が記録されている。認識プログラム48は、機械学習によって学習を行なうことで、与えられた三次元点群データによって示されるオブジェクトの種類を認識するものである。認識プログラム48は、オペレーティングシステム46と協働してその機能を発揮するものである。これらプログラムは、DVD−ROM50に記録されていたものを、DVD−ROMドライブ40を介して、ハードディスク38にインストールしたものである。
1.3学習処理
図3に、認識プログラム48の学習データ生成処理のフローチャートを示す。この処理においては、オブジェクトごとの三次元点群データを学習用元データとして、これに基づいて学習データを生成する。
CPU30は、学習用元データである多数のオブジェクトの三次元点群データを取得する(ステップS1)。図4Aにオブジェクトの三次元点群データ2の例を示す。この三次元点群データには、そのオブジェクトの種類が属性として付与されている。たとえば、図4Aのオブジェクトであれば、「信号機」として種類が付与されている。学習元データとしては、いくつかの種類のオブジェクトの三次元点群データが多数用意されていることが好ましい。
次に、CPU30は、これらのオブジェクトの三次元点群データのぞれぞれについて、これを内包する直方体(バウンダリーボックス)を生成する(ステップS3)。なお、この実施形態では、三次元点群データを内包する最小容積の直方体をバウンダリーボックスとして生成しているが、これよりも所定寸法大きいバウンダリーボックスを生成するようにしてもよい。
この実施形態では、バウンダリーボックスを生成しているが、オブジェクトの三次元点群データに既にバウンダリーボックスが付与されている場合には、これをそのまま用いてもよい。図4Bに、オブジェクトの三次元点群データ2に対して形成されたバウンダリーボックス4の例を示す。
なお、この実施形態においては、当該オブジェクトに対応する位置の道路面(道路進行方向、道路横断方向によって定義される面)を基準としてバウンダリーボックス4を生成するようにしている。これにより、図7Cに示すように、道路の進行方向5、横断方向7に応じて、バウンダリーボックス4の基準面が異なるように生成される。地物は、道路の進行方向、横断方向の傾きに沿うように設置されるのが通常であるから、このように、道路面に対してバウンダリーボックスの底面が並行となるようにバウンダリーボックス4を生成することで、地物の種類による違いを明確にした学習を行うことができる。
なお、オブジェクトに対応する位置の道路面は、たとえば、道路進行方向の垂線がオブジェクトの底面中心と交わる時の道路垂線近傍の位置として算出することができる。
なお、絶対座標に基づいてバウンダリーボックスを生成した後に、対応する道路面に対してバウンダリーボックスの底面が並行になるようにバウンダリーボックスを回転させるようにしてもよい。
次に、CPU30は、バウンダリーボックス4を基準として、三次元点群データについての分布特性を算出する(ステップS4)。図5に、分布特性の例を示す。ここでは、分布特性として特徴量F1〜F16+nを算出している。
図6に、特徴量F1〜F3を模式的に示す。図において、高さ方向がZ軸、道路の延長方向(三次元点群データ計測時の車の進行方向)がY軸、道路の延長方向と同じ高さの平面においてY軸と直交するのがX軸である。
特徴量F1は、バウンダリーボックス4のX軸方向幅(横幅という)である。特徴量F2は、バウンダリーボックス4のY軸方向幅(縦幅という)である。特徴量F3は、Z軸方向高さである。
これら特徴量F1〜F3は、照明やガードレールなどの横長・縦長の地物を特定するための特徴である。
図7に、特徴量F4の算出を説明する。図7Aに示すように、X軸に沿う所定間隔にて、YZ平面でバウンダリーボックス4を短冊状に区切る。これにより、所定間隔幅の区間D1、D2・・・Dnが得られる。当該各区間D1、D2・・・Dnにおける点の数を計数し、図7Bに示すようにそのヒストグラムを算出する。特徴量F4は、その標準偏差である。
特徴量F5は、Y軸に沿う所定間隔にてXZ平面でバウンダリーボックス4を短冊状に区切り、上記と同様にしてヒストグラムの標準偏差を求めたものである。
これら特徴量F4、F5は、照明柱などの形状に変化のない地物や、照明などの形状変化に富んだ地物を特定するための特徴である。
図8に、特徴量F6の算出を説明する。図8に示すように、バウンダリーボックス4を上下に2分割した時、上半分に含まれる点の数と下半分に含まれる点の数の比率を算出する。特徴量F6は、この比率(上半分の点の数/下半分の点の数)である。
特徴量F6は、樹木のように幹部と葉部で大きく点の数が変わる地物を特定するための特徴である。
図9に、特徴量F7、F8の算出を説明する。特徴量F7は、バウンダリーボックスの横幅(X幅とY幅の広い方)と高さの比率である。特徴量F8は、バウンダリーボックスの縦幅(X幅とY幅の狭い方)と高さの比率である。
特徴量F7、F8は、照明やガードレールなどの横長・縦長の地物を特定するための特徴である。
図10に、特徴量F9〜F12の算出を説明する。図10に示すように、Z軸に沿う所定間隔にてXY平面でバウンダリーボックスを短冊状に区切る。これにより、所定間隔幅の区間が得られる。点群の横幅(バウンダリーボックス4のX幅とY幅の広い方の方向の幅)の、各区間ごとの最大値を区間横幅とする。全区間において最も広い区間横幅を最大点群横幅とし、最も狭い区間横幅を最小点群横幅とする。特徴量F9は、最大点群横幅−最小点群横幅として算出される。
前記各区間における点群の縦幅(バウンダリーボックス4のX幅とY幅の狭い方の方向の幅)の、各区間ごとの最大値を区間縦幅とする。全区間において最も広い区間縦幅を最大点群縦幅とし、最も狭い区間縦幅を最小点群縦幅とする。特徴量F10は、最大点群縦幅−最小点群縦幅として算出される。
各点の反射強度の最大値を区間ごとに算出し、区間最大反射強度とする。この区間最大反射強度が、所定値以上ある区間の数を計数する。特徴量F11は、この区間の数である。なお、所定値としては、道路標識などの反射率の高い部位とそれ以外の部位とを区別できる程度の値とすることが好ましい。
区間ごとに点密度を算出する。最も点密度の高かった区間の点密度が、特徴量F12である。
特徴量F9、F10は、標識のように突き出た部分がある地物を特定するための特徴である。特徴量F11は、標識などの反射強度の強い部分のある地物を特定するための特徴である。特徴量F12は、点の集中する地点の密度から人工構造物(照明など)と自然物(樹木など)を区別するための特徴である。
図11に、特徴量F13の算出を説明する。三次元点群データの近似直線を算出する。この近似直線の法線ベクトルVを求め、法線ベクトルVがZ軸となす角度を算出する。特徴量F13は、この角度である。
図12に、特徴量F14の算出を説明する。図12に示すように、Z軸に沿う所定間隔にてXY平面でバウンダリーボックスを短冊状に区切る。これにより、所定間隔幅の区間が得られる。各区間ごとに、三次元点群データの近似直線を算出し、その法線ベクトルV1〜Vnを算出する。これら法線ベクトルV1〜VnがZ軸となす角度を算出する。この各区間における角度の標準偏差を算出する。特徴量F14は、この標準偏差である。
特徴量F13、F14は、ベクトルを算出することで柱状地物や面的な地物を特定するための特徴である。
図13に、特徴量F15の算出を説明する。図12に示すように、Z軸に沿う所定間隔にてXY平面でバウンダリーボックスを短冊状に区切る。各XY平面における点群データの断面積を算出する。下側からXY平面における断面積の変化をみて、累積変化量を算出する。特徴量F15は、この累積変化量である。
特徴量F15は、どれだけ形状に変化があるかを示す指標である。
この実施形態では、上記に加えて、テンプレートマッチング(形状比較)を行った際の一致率も特徴量として用いている。認識対象であるそれぞれの地物の基準となる三次元点群データを用意しておき、学習用元データ(三次元点群データ)が、この各地物の基準三次元点群データと類似する度合い(一致率)を算出する。この一致率が特徴量F16〜F16+nである。この例では、n個の(地物の)基準三次元点群データを用意しているので、特徴量F16〜F16+nまで、n個の特徴が算出されることになる。
たとえば、交通島、分離帯、植栽および防雪林、標識柱・表示板、照明柱、道路反射鏡、信号機、ガードレール、電柱、ポールコーン、視線誘導標、踏切、施設・建物、フェンスなどのテンプレートを用意してこれらとの一致率を算出して用いることができる。
以上のようにして、学習用元データ(オブジェクトの三次元点群データ)について、分布特性を算出すると、CPU30は、オブジェクトの地物名(信号機など)を属性として付与する(ステップS5)。したがって、1つの学習用元データに対して、特徴量F1〜F16+nおよび地物名が学習用データとして生成されることになる。
CPU30は、この処理を、全ての学習用元データについて繰り返し、多数の学習用データを生成する(ステップS2、S6)。このようにして生成された学習用データの例を、図14に示す。それぞれの学習用元データ(3次元点群データD1、D2・・・Dn)に対して、算出された特徴量が記録されている。また、全ての属性の学習用元データが与えられているだけでなく、同じ属性のオブジェクトについて多数の学習用元データが与えられているので、これに基づく学習データも多数生成されることになる。
次に、CPU30は、生成した学習用データに基づいて学習を行う。この実施形態では、以下に示すようにランダムフォレストによる機械学習を行うようにしている。そのフローチャートを図15に示す。
CPU30は、図14に示す三次元点群データD1、D2・・・Dnから、所定数の三次元点群データをランダムに選択してデータセットをm個生成する(ステップS11)。したがって、図14の下段に示すようなm個のデータセットが生成される。
次に、CPU30は、決定木作成に用いるための特徴を、上記特徴F1〜F16+nの中から、ランダムに所定個p選択する(ステップS13)。CPU30は、対象となるデータセットについて、選択されたp個の特徴に基づいて、オブジェクトの種類を分離して決定するための決定木を生成する(ステップS14)。
決定木の生成は、ランダムフォレストの手法を用いることができる。概要を示すと以下のとおりである。
CPU30は、対象とするデータセットに基づいて、これらに含まれるオブジェクトの種類を適切に分離することのできる識別子を、ステップS13にて選択したp個の特徴を用いて生成する。
たとえば、図16に示すような三次元点群データがあったとする。CPU30は、各特徴についてしきい値を変化させて、分離の度合いを検討する。
たとえば、特徴F1を用いてしきい値を9として、三次元点群データを2つに分離すると、しきい値9以上はD6、D7であり、しきい値9未満はD1〜D5である。建物であるD5、D6、D7について分離が上手くなされていない。
特徴F3を用いてしきい値を9として、三次元点群データを2つに分離すると、しきい値9以上はD6であり、しきい値9未満はD1〜D5、D7である。この場合も、建物であるD5、D6、D7について分離が上手くなされていない。
特徴F3を用いてしきい値を5として、三次元点群データを2つに分離すると、しきい値9以上はD2、D5、D6、D7であり、しきい値9未満はD1、D3、D4である。前者には照明、建物のみが含まれ、後者には標識、ポストのみが含まれている。したがって、上記の場合であれば、「特徴F3が5以上であること」という識別子が最も好ましいものとして決定されることになる。
具体的には、二分木のノードについて、各特徴Fとしきい値について三次元点群データを評価した際のエントロピーが最も小さくなる特徴Fとしきい値を識別子として決定する。
さらに、F3が5未満であるD1、D3、D4について、各特徴についてしきい値を変化させて、最も適切に分離ができる識別子を見いだす。同様に、F3が5以上であるD2、D5、D6、D7についても、適切な識別子を見いだす。このようにして、図17に示すような決定木を生成する。
決定木の階層の深さは、図17に示すように、オブジェクトの分類名でこれ以上分離できなくなるまで、あるいは、所定の階層深さに達するまでとしている。
このようにして、対象となるデータセットについて決定木を生成すると、次のデータセットについて決定木を生成する。この際に用いる特徴セットは、ランダムに選択され、前回と異なるものである(ステップS13)。この処理を繰り返すことで(ステップS12、S15)、全てのデータセットに関して、決定木が生成される。すなわち、複数の決定木が生成される。
それぞれの決定木は、三次元点群データの特徴を与えることにより、当該特徴を持つ三次元点群データがいずれの種類のオブジェクトであるかを推定することができるものである。
以上のようにして、認識装置の学習が完了する。この認識装置によって、与えられた三次元点群データがどの種類のオブジェクトであるかを推定する場合には、当該三次元点群データの特徴F1〜F16+nを算出し、これを上記の各決定木に与える。各決定木による推定結果の多数決をとることにより、与えられた三次元点群データのオブジェクトの種類を推定することができる。
1.4その他
(1)上記実施形態では、テンプレートマッチングによる一致率を分布特性として学習データとして用いている。しかし、テンプレートマッチングによる一致率を用いないようにしてもよい。
(2)上記実施形態では、識別子を決定する際に、各特徴についてしきい値を変動させて最適なしきい値を見いだすようにしている。しかし、各特徴について、予めしきい値を決定し固定しておいてもよい。
(3)上記実施形態では、三次元点群データについて説明した。しかし、二次元点群データについても同様に適用することができる。
(4)上記実施形態では、計測して得た三次元点群データに基づいて特徴量を算出し学習用データとしている。しかし、計測して得た三次元点群データの点密度を変えるなどの加工を施したものに基づいて特徴量を算出して学習用データとしてもよい。また、計測したものではなく、三次元CADデータなどから生成した三次元点群データに基づいて特徴量を算出して学習用データとしてもよい。
(5)上記実施形態では、地物のオブジェクトについて説明した。しかし、自動車などその他のオブジェクトを測定した三次元点群データについても適用することができる。
(6)上記実施形態では、道路面を基準として(道路面とバウンダリーボックスの底面が一致するように)バウンダリーボックスを生成している。しかし、絶対的な座標を基準としてバウンダリーボックスを生成するようにしてもよい。この場合であっても、バウンダリーボックスを基準として三次元点群データの分布を特徴として抽出することができ、バウンダリーボックスを用いない場合に比べて認識精度を向上させることができる。
(7)上記実施形態では、三次元点群データを内包する直方体をバウンダリーボックスとして生成している。しかし、多角柱や円柱あるいはその他の形状の三次元領域をバウンダリーボックスとして生成するようにしてもよい。
(8)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実施可能である。
2.第2の実施形態
2.1全体構成
図18に、この発明の一実施形態による認識装置を示す。三次元点群データ取得手段10は、認識対象物を測定した三次元点群データを取得する。分布特性算出手段12は、三次元点群データを内包する直方体を基準として、三次元点群データにおける点群の分布特性を数値として算出する。推定手段14は、算出した分布特性の数値に基づいて、対象物を推定する。
なお、推定手段14は、ランダムフォレストなどの機械学習によって形成してもよいし、その他のアンサンブル学習法によって形成してもよい。また、深層学習によって形成してもよい。さらに、確定的な論理構造(1つの決定木など)によって推論を行うようにしてもよい。
2.2ハードウエア構成
ハードウエア構成は、第1の実施形態と同様である。
2.3推定処理
図19に、認識プログラム48の推定処理のフローチャートを示す。この実施形態では、主としてランダムフォレストによって機械学習を行った認識装置を用いている。
以下では、測定した三次元点群データに表れたオブジェクトがいずれの地物に該当するかを認識する処理を説明する。
CPU30は、ハードディスク38に記録されている三次元点群データをメモリ32に展開する(ステップS21)。この三次元点群データ32は、可搬性記録媒体52に記録されていたものを、記録媒体ドライブ44を介して、ハードディスク38に取り込んだものである。また、この実施形態では、三次元点群データ32としてモービル・マッピング・システム(MMS)によって取得したデータを用いている。MMSでは、自動車などにレーザスキャナ・GPS受信機を搭載し、走行しながら路面や地物などの三次元形状を三次元点群データとして得ることができる。また、この実施形態では、レーザの反射強度を、三次元点群データの各点の属性として記録している。さらに、自動車などの走行軌跡も併せてデータとして記録している。
図20に、三次元点群データの例を示す。道路、地物の表面の形状が三次元点群によって表されたデータとなっている。
次に、CPU30は、この三次元点群データから地盤点を抽出する(ステップS22)。図21に、地盤点抽出処理のフローチャートを示す。CPU30は、クロスシミュレーション手法によって地盤点を抽出する(ステップS221)。クロスシミュレーション手法は、以下のとおりである。三次元点群データの標高値を反転する。たとえば、図22Aに示すような断面の三次元点群デーがあれば、図22Bに示すような反転三次元点群データが得られる。
次に、CPU30は、反転三次元点群データに対して上方向から布をかけたようにシミュレーションを行う。図22Cに、シミュレーションされた布を破線にて示す。続いて、CPU30は、当該シミュレーションされた布が接する三次元点群データを地盤点として抽出する。次に、CPU30は標高値を再反転して、図22Dに示すような地盤点を得る。
このようにして抽出された地盤点は、概ね正確であるが、図22Dに示すように、地物の存在する近傍60において一部地物を含んでしまうことがある。そこで、抽出された各地盤点によって形成される線の法線方向を算出し、当該法線方向が上下方向に対して所定角度以上(たとえば30度以上)の部分を地盤点から除く(ステップS222)。これにより、図22Eに示すような地盤点を得ることができる。
なお、この実施形態では、地盤点抽出にクロスシミュレーションを用いたが、最下点抽出方法など他の方法によって地盤点を抽出してもよい。
以上のようにして地盤点を抽出すると、CPU30は、三次元点群データから地盤点を取り除く(ステップS23)。これにより、地盤の上に存在するオブジェクトのみの三次元点群データが得られる。
次に、CPU30は、この三次元点群データを塊ごとにオブジェクトにまとめる(ステップS23)。三次元空間をグリッドで分割し、上下左右斜めに隣接するグリッドに点が存在する場合、これらを一つにまとめていく処理を行い、オブジェクトを見いだしていく。この処理としては、たとえば、コネクテッド・コンポーネントを用いた空間ラベリングの手法を用いることができる。そして、各オブジェクトを内包するバウンダリーボックスを生成する。図23に、見いだされたオブジェクトとバウンダリーボックスの例を示す。
次に、CPU30は、バウンダリーボックスに囲われた各オブジェクトの種類を推定する。まず、カルバート、シェッド、シェルター、トンネルの推定を行う(ステップS24)。図24に、そのフローチャートを示す。
CPU30は、車道を覆う(車道の三次元点群データと同じXY座標を持ち、Z座標値が異なる)三次元点群データを抽出する(ステップS241)。なお、車道の三次元点群データは、たとえば、図29に示すように、走行軌跡Dを含む平面(高低差が所定値以下の点群)Cとして抽出することができる(操作者がマウスなどによって手動で指定した領域にによって抽出するようにしてもよい)。
次に、CPU30は、走行軌跡に垂直な横断面を所定間隔で設定する。たとえば、図25Aに示すように、点c1、c2、c3における横断面を設定する。CPU30は、図25Bに示すように、それぞれの横断面におけるオブジェクトの断面を得て(ステップS243)、これらの形状の一致度を比較する。各断面におけるオブジェクトの形状の一致度が所定値以上であり、同一の形状が連続していると判断できる場合には、このオブジェクトを、「カルバート、シェッド、シェルター、トンネル」であると推定する(ステップS244、S245)。
上記の処理を、ステップS241にて抽出した全てのオブジェクトについて行う(ステップS242、S246)。以上のようにして、トンネル等の推定を行うことができる。
次に、CPU30は、擁壁の推定を行う(ステップS25)。図26に、そのフローチャートを示す。CPU30は、車道の端に存在する(車道の端部に連続し、走行軌跡に沿う方向に伸びている)オブジェクト(三次元点群データ)を抽出する(ステップS251)。
次に、CPU30は、RANSACによって外れ値を除外しつつ、最小二乗法により、抽出したオブジェクトおよび車道の近似平面を算出する(ステップS253)。次に、CPU30は、抽出オブジェクトの近似平面と、車道の近似平面とのなす角度を算出し、これが所定値以上であるかどうかを判断する(ステップS254)。この実施形態では、図27に示すように、車道の近似平面の法線ベクトルAと、抽出オブジェクトの近似平面の法線ベクトルBのなす角度を算出するようにしている。
角度が所定値以上であれば、CPU30は、抽出オブジェクトを「擁壁」であると推定する(ステップS255)。
上記の処理を、ステップS251にて抽出した全てのオブジェクトについて行う(ステップS252、S256)。以上のようにして、擁壁の推定を行うことができる。
なお、トンネルや擁壁の推定が正確に行えない場合もある。したがって、CPU30が推定したオブジェクトをディスプレイ上に候補として提示し、操作者が確認入力を行って決定するようにしてもよい。
次に、CPU30は、ステップS23にて抽出したオブジェクトのうち、まだ種類が推定されていないオブジェクトについて、オブジェクトの位置・高さに基づいてその種類の推定を行う(ステップS26)。図28に、その判断基準を示す。この例では、オブジェクトをグループA〜Eに分けるように推定している。
交通島と分離帯はグループAとして、車道の中央付近に存在するオブジェクトとして抽出することができる。車道の中央付近に存在するかどうかは、たとえば、バウンダリーボックスのXY中心座標が、車道の中心線から車道幅の1/6以内に位置するかどうかによって判断することができる。
歩道橋はグループBとして、歩道付近から車道上空を横断するオブジェクトとして抽出することができる。なお、歩道は、図29に示すように、三次元点群データの走行軌跡に垂直な断面において、車道Cに所定値以上の段差をもって隣接する平坦な領域WとしてCPU30によって抽出することができる。また、操作者が、三次元点群データを見ながら、マウスなどによって指定して抽出してもよい。
なお、グループBには歩道橋のみが含まれるので、グループBとして抽出できたオブジェクトは、歩道橋であると推定することができる。
施設・建物はグループCとして、車道から所定距離以上離れており、バウンダリーボックスの容積が所定値より大きいオブジェクトとして抽出することができる。
なお、グループCには施設・建物のみが含まれるので、グループCとして抽出できたオブジェクトは、施設・建物であると推定することができる。
ガードレール、ポールコーン、視線誘導標はグループDとして、車道付近に存在する所定高さ以下のオブジェクトとして抽出することができる。車道の中央部以外にあるか、あるいは車道の端部から所定距離(たとえば1m)内にあり、バウンダリーボックスが所定高さ(たとえば1m)より低いオブジェクトとして抽出できる。
植栽及び防雪林、標識柱・表示板、照明柱、道路反射板、信号機、電柱、踏切、フェンスはグループEとして、車道付近に存在するオブジェクト(グループDのオブジェクトを除く)として抽出することができる。
CPU30は、上記の判断基準に従って、オブジェクトをグループA〜Eに分類する。これにより、歩道橋(グループB)、施設・建物(グループC)を推定することができる。
次に、CPU30は、上記のグループA、D、Eのオブジェクトのそれぞれについて、機械学習による推定を行う(ステップS27)。この実施形態においては、ランダムフォレストを用いて推定を行うようにしている。
グループAのオブジェクトには、交通島と分離帯が含まれている。したがって、第1の実施形態に示す処理にて、交通島と分離帯の多数のオブジェクトにて学習させた複数の決定木を用いて推定処理を行う。
まず、CPU30は、グループAとして抽出されたオブジェクトについて、既に設定されているバウンダリーボックスを基準として、三次元点群データの分布特性を算出する(ステップS274)。この実施形態では、図5に示すような特徴量F1〜F16+nを分布特性として算出するようにしている。その算出処理は、第1の実施形態において説明したとおりである。
次に、CPU30は、算出した特徴量F1〜F16+nに基づいて、当該オブジェクトの種類を推定する(ステップS275)。図31に、推定処理のフローチャートを示す。
CPU30は、学習によって生成されている複数の決定木のそれぞれに基づいて、必要な特徴量を与えて、決定木ごとのオブジェクトの種類の推定結果を得る(ステップS281〜S283)。
このようにして複数の推定結果を得た後、CPU30は、多数決によって最終的な推定結果を得る(ステップS284)。ここでは、「交通島」か「分離帯」のいずれかが得られることになる。CPU30は、得られた推定結果を、当該オブジェクトの属性として付与する。
上記のようにして一つのオブジェクトについて推定結果を得る。CPU30は、グループAに属する全てのオブジェクトについて、繰り返して処理を行って推定結果を得る。
CPU30は、グループAの全てのオブジェクトについて推定結果を得ると、他のグループについても同様の処理にて推定を行う。なお、グループDのオブジェクトを推定する場合には、「ガードレール」「ポールコーン」「視線誘導標」のオブジェクトによって学習した決定木を用いる。グループEのオブジェクトを推定する場合には、「植栽及び防雪林」「標識柱・表示板」「照明柱」「道路反射板」「信号機」「電柱」「踏切」「フェンス」のオブジェクトによって学習した決定木を用いる。
上記のようにして、測定した三次元点群データからオブジェクトを抽出してその種類を属性として付与することができる。
2.4その他
(1)上記実施形態では、テンプレートマッチングによる一致率を分布特性として学習データとして用いている。しかし、テンプレートマッチングによる一致率を用いないようにしてもよい。
(2)上記実施形態では、識別子を決定する際に、各特徴についてしきい値を変動させて最適なしきい値を見いだすようにしている。しかし、各特徴について、予めしきい値を決定し固定しておいてもよい。
(3)上記実施形態では、三次元点群データについて説明した。しかし、二次元点群データについても同様に適用することができる。
(4)上記実施形態では、ステップS284において推定結果を多数決によって統合するようにしている。しかし、ウエイトづけを行って最終結果を導くようにしてもよい。たとえば、テンプレートマッチングの特徴量を識別子に含む決定木の推論結果と、そうでない決定木の推論結果でウエイトを変えて最終結果を導くようにしてもよい(たとえば、前者のウエイトを高くする)。
(6)上記実施形態では、MMSによって計測した三次元点群データを用いている。しかし、その他固定型レーザスキャナなどによって計測した三次元点群データを用いてもよい。
(7)上記実施形態では、道路進行方向を計測時の軌跡によって判断している。しかし、道路として抽出した部分の延長方向や認識した白線の方向などによって判断するようにしてもよい。また、操作者が画面を確認しながらマウスなどによって指定したものであってもよい。
(8)上記実施形態では、ランダムフォレストによる機械学習によって推定手段を構築するようにしている。しかし、その他の教師データを用いた機械学習によって推定手段を構築するようにしてもよい。また、深層学習や論理的推論を用いて推定手段を構築するようにしてもよい。
(9)上記実施形態では、一つのコンピュータによって認識装置を構成している。しかし、端末装置から三次元点群データを受け取って推定を行うサーバ装置として構築してもよい。
(10)上記実施形態では、地物のオブジェクトについて説明した。しかし、自動車などその他のオブジェクトを測定した三次元点群データについても適用することができる。
(11)上記実施形態では、三次元点群データを内包する直方体をバウンダリーボックスとして生成している。しかし、その他の多角柱や円柱などの三次元領域をバウンダリーボックスとして生成するようにしてもよい。
(12)上記実施形態では、反射強度を属性として付与するようにしている。しかし、これを付与しないようにしてもよい。また、カメラなどによって撮像したRGBの色情報等を属性として与えて学習を行っておき、これらの属性も考慮して推定を行うようにしてもよい。その属性を用いて学習を行い、推定を行うようにしてもよい。
(13)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実施可能である。

Claims (23)

  1. 対象物を区別して認識するための認識装置であって、
    対象物を測定した三次元点群データを取得するデータ取得手段と、
    前記対象物の三次元点群データを内包する三次元領域を定義する領域生成手段と、
    前記対象物の三次元点群データを内包する三次元領域を基準として、三次元点群データにおける点群の分布特性を数値として算出する分布特性算出手段と、
    算出した分布特性の数値に基づいて、対象物を推定する推定手段と、
    を備えた認識装置。
  2. 対象物を区別して認識するための認識装置をコンピュータによって実現するための認識プログラムであって、コンピュータを、
    対象物を測定した三次元点群データを取得するデータ取得手段と、
    前記対象物の三次元点群データを内包する三次元領域を定義する領域生成手段と、
    前記対象物の三次元点群データを内包する三次元領域を基準として、三次元点群データにおける点群の分布特性を数値として算出する分布特性算出手段と、
    算出した分布特性の数値に基づいて、対象物を推定する推定手段として機能させるための認識プログラム。
  3. 請求項1の装置または請求項2のプログラムにおいて、
    前記三次元点群データは、道路および地物を測定したものであり、
    前記領域生成手段は、地物に対応する道路面を基準として地物を内包する三次元領域を定義することを特徴とする装置またはプログラム。
  4. 請求項1〜3のいずれかのプログラムにおいて、
    前記分布特性算出手段は、前記三次元領域のX方向長さ、Y方向長さまたはZ方向長さを分布特性として算出することを特徴とする装置またはプログラム。
  5. 請求項1〜4のいずれかの装置またはプログラムにおいて、
    前記分布特性算出手段は、少なくともX軸またはY軸にて前記三次元領域を短冊状に区切った時の各区画に含まれる点の数の分散を分布特性として算出することを特徴とする装置またはプログラム。
  6. 請求項1〜5のいずれかの装置またはプログラムにおいて、
    前記分布特性算出手段は、少なくとも前記三次元領域を上下に分割し、上部・下部に含まれる点の数の比率を分布特性として算出することを特徴とする装置またはプログラム。
  7. 請求項1〜6のいずれかの装置またはプログラムにおいて、
    前記分布特性算出手段は、少なくとも前記三次元領域のX方向長さまたはY方向長さと、Z方向長さとの比率を分布特性として算出することを特徴とする装置またはプログラム。
  8. 請求項1〜7のいずれかの装置またはプログラムにおいて、
    前記分布特性算出手段は、少なくとも前記三次元領域のZ方向の所定間隔の位置での三次元点群データのX方向幅またはY方向幅の変化量を分布特性として算出することを特徴とする装置またはプログラム。
  9. 請求項1〜8のいずれかの装置またはプログラムにおいて、
    前記分布特性算出手段は、少なくともZ軸にて前記三次元領域を短冊状に区切った時の点の数が最も多い区画の点の密度を分布特性として算出することを特徴とする装置またはプログラム。
  10. 請求項1〜9のいずれかの装置またはプログラムにおいて、
    前記分布特性算出手段は、少なくとも三次元点群データ全体の法線ベクトルのZ軸に対する傾きを分布特性として算出することを特徴とする装置またはプログラム。
  11. 請求項1〜10のいずれかの装置またはプログラムにおいて、
    前記分布特性算出手段は、少なくともZ軸にて前記三次元領域を短冊状に区切った時の各区画の点群データの法線ベクトルのZ軸に対する傾きのばらつきを分布特性として算出することを特徴とする装置またはプログラム。
  12. 請求項1〜11のいずれかの装置またはプログラムにおいて、
    前記分布特性算出手段は、少なくともZ軸にて前記三次元領域を短冊状に区切った断面における点群データの面積の累積変化量を分布特性として算出することを特徴とする装置またはプログラム。
  13. 請求項1〜12のいずれかの装置またはプログラムにおいて、
    前記分布特性算出手段は、少なくともテンプレートマッチングによる合致率を分布特性として算出することを特徴とする装置またはプログラム。
  14. 請求項1〜13のいずれかの装置またはプログラムにおいて、
    前記推定手段は、前記分布特性に基づいて機械学習を行って推定を行うものであることを特徴とする装置またはプログラム。
  15. 請求項1〜14のいずれかの装置またはプログラムにおいて、
    前記推定手段は、前記三次元点群データの存在する位置に基づいて当該三次元点群データをグループ分けし、当該グループごとに機械学習または深層学習を行って対象物を推定することを特徴とする装置またはプログラム。
  16. 請求項1〜15のいずれかの装置またはプログラムにおいて、
    前記推定手段は、各点における反射強度または色データまたはその双方も考慮して対象物を推定することを特徴とする装置またはプログラム。
  17. 対象物を測定した三次元点群データに基づいて、対象物を区別して識別するための認識装置を生産する方法であって、
    学習対象物を測定した三次元点群データを内包する三次元領域を形成し、
    前記三次元領域を基準として、三次元点群データにおける点群の分布特性を数値として算出し、学習によって上記認識処理を実現する装置に、算出した分布特性の数値を学習データとして与えて学習させることにより認識装置を生産する方法。
  18. 計測された三次元点群データから車道被覆オブジェクトを認識するための認識装置であって、
    計測された三次元点群データを取得する取得手段と、
    前記三次元点群データから車道オブジェクトを抽出する道路抽出手段と、
    前記抽出された車道オブジェクトの上に重なるオブジェクトを抽出する車道上部オブジェクト抽出手段と、
    前記被覆オブジェクトを前記車道オブジェクトに設定された車線方向に垂直な所定間隔の平面にて断面を形成し、各断面において前記被覆オブジェクトが実質的に同一形状であれば車道被覆オブジェクトであると推定する車道被覆オブジェクト抽出手段と、
    を備えた認識装置。
  19. 計測された三次元点群データから車道被覆オブジェクトを認識するための認識装置を、コンピュータによって実現するための認識プログラムであって、コンピュータを、
    計測された三次元点群データを取得する取得手段と、
    前記三次元点群データから車道オブジェクトを抽出する道路抽出手段と、
    前記抽出された車道オブジェクトの上に重なるオブジェクトを抽出する車道上部オブジェクト抽出手段と、
    前記被覆オブジェクトを前記車道オブジェクトに設定された車線方向に垂直な所定間隔の平面にて断面を形成し、各断面において前記被覆オブジェクトが実質的に同一形状であれば車道被覆オブジェクトであると推定する車道被覆オブジェクト抽出手段として機能させるための認識プログラム。
  20. 請求項19の装置または請求項19のプログラムにおいて、
    前記車道被覆オブジェクトとして、少なくともカルバート、シェッド、シェルターまたはトンネルを含むことを特徴とする装置またはプログラム。
  21. 請求項18〜20のいずれかの装置またはプログラムにおいて、
    前記車線方向は、計測時に走行方向として取得されたものであることを特徴とする装置またはプログラム。
  22. 計測された三次元点群データから擁壁オブジェクトを認識するための認識装置であって、
    対象物を測定した三次元点群データを取得するデータ取得手段と、
    前記三次元点群データから車道オブジェクトを抽出する車道抽出手段と、
    前記車道オブジェクトの端部に接する近似平面を形成する点群データを見いだし、当該近似平面と車道との角度が所定角度以上であれば、当該近似平面を擁壁であると推定する擁壁推定手段と、
    を備えた認識装置。
  23. 計測された三次元点群データから擁壁オブジェクトを認識するための認識装置をコンピュータによって実現するための認識プログラムであって、コンピュータを、
    対象物を測定した三次元点群データを取得するデータ取得手段と、
    前記三次元点群データから車道オブジェクトを抽出する車道抽出手段と、
    前記車道オブジェクトの端部に接する近似平面を形成する点群データを見いだし、当該近似平面と車道との角度が所定角度以上であれば、当該近似平面を擁壁であると推定する擁壁推定手段として機能させるための認識プログラム。
JP2018086120A 2018-04-27 2018-04-27 対象物認識装置 Active JP7290240B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018086120A JP7290240B2 (ja) 2018-04-27 2018-04-27 対象物認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018086120A JP7290240B2 (ja) 2018-04-27 2018-04-27 対象物認識装置

Publications (2)

Publication Number Publication Date
JP2019192059A true JP2019192059A (ja) 2019-10-31
JP7290240B2 JP7290240B2 (ja) 2023-06-13

Family

ID=68390217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018086120A Active JP7290240B2 (ja) 2018-04-27 2018-04-27 対象物認識装置

Country Status (1)

Country Link
JP (1) JP7290240B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6961126B1 (ja) * 2020-10-28 2021-11-05 三菱電機株式会社 劣化検知装置
JP2021532442A (ja) * 2019-06-17 2021-11-25 センスタイム グループ リミテッド ターゲット検出方法及び装置、スマート運転方法、装置並びに記憶媒体
KR102356910B1 (ko) * 2021-08-05 2022-02-08 주식회사 인피닉 객체의 선제 검출 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN115824052A (zh) * 2023-02-14 2023-03-21 长沙空维激光技术服务有限公司 一种基于激光雷达点云数据的堆料体积测量方法
CN115995010A (zh) * 2023-03-22 2023-04-21 华南农业大学 一种基于植株群体点云的株高提取方法及系统
WO2024004723A1 (ja) * 2022-06-28 2024-01-04 京セラ株式会社 電子機器、制御方法および制御プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203894A (ja) * 2011-03-28 2012-10-22 Kumamoto Univ 3dパターンマッチング方法
JP2014109555A (ja) * 2012-12-04 2014-06-12 Nippon Telegr & Teleph Corp <Ntt> 点群解析処理装置、点群解析処理方法及びプログラム
JP2016143324A (ja) * 2015-02-04 2016-08-08 株式会社デンソー 物体検出装置
JP2017138219A (ja) * 2016-02-04 2017-08-10 株式会社デンソー 物体認識装置
JP2017146957A (ja) * 2016-02-19 2017-08-24 トヨタ自動車株式会社 深層畳み込みニューラルネットワークによるレイヤベースの物体検出の強化
JP2018048949A (ja) * 2016-09-23 2018-03-29 トヨタ自動車株式会社 物体識別装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203894A (ja) * 2011-03-28 2012-10-22 Kumamoto Univ 3dパターンマッチング方法
JP2014109555A (ja) * 2012-12-04 2014-06-12 Nippon Telegr & Teleph Corp <Ntt> 点群解析処理装置、点群解析処理方法及びプログラム
JP2016143324A (ja) * 2015-02-04 2016-08-08 株式会社デンソー 物体検出装置
JP2017138219A (ja) * 2016-02-04 2017-08-10 株式会社デンソー 物体認識装置
JP2017146957A (ja) * 2016-02-19 2017-08-24 トヨタ自動車株式会社 深層畳み込みニューラルネットワークによるレイヤベースの物体検出の強化
JP2018048949A (ja) * 2016-09-23 2018-03-29 トヨタ自動車株式会社 物体識別装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021532442A (ja) * 2019-06-17 2021-11-25 センスタイム グループ リミテッド ターゲット検出方法及び装置、スマート運転方法、装置並びに記憶媒体
JP7033373B2 (ja) 2019-06-17 2022-03-10 センスタイム グループ リミテッド ターゲット検出方法及び装置、スマート運転方法、装置並びに記憶媒体
JP6961126B1 (ja) * 2020-10-28 2021-11-05 三菱電機株式会社 劣化検知装置
WO2022091248A1 (ja) * 2020-10-28 2022-05-05 三菱電機株式会社 劣化検知装置
KR102356910B1 (ko) * 2021-08-05 2022-02-08 주식회사 인피닉 객체의 선제 검출 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
WO2024004723A1 (ja) * 2022-06-28 2024-01-04 京セラ株式会社 電子機器、制御方法および制御プログラム
CN115824052A (zh) * 2023-02-14 2023-03-21 长沙空维激光技术服务有限公司 一种基于激光雷达点云数据的堆料体积测量方法
CN115995010A (zh) * 2023-03-22 2023-04-21 华南农业大学 一种基于植株群体点云的株高提取方法及系统
CN115995010B (zh) * 2023-03-22 2023-06-16 华南农业大学 一种基于植株群体点云的株高提取方法及系统

Also Published As

Publication number Publication date
JP7290240B2 (ja) 2023-06-13

Similar Documents

Publication Publication Date Title
JP7290240B2 (ja) 対象物認識装置
CN106127153B (zh) 车载激光扫描点云数据的交通标牌识别方法
Wang et al. Road boundaries detection based on local normal saliency from mobile laser scanning data
Wu et al. Rapid localization and extraction of street light poles in mobile LiDAR point clouds: A supervoxel-based approach
CN110796714B (zh) 一种地图构建方法、装置、终端以及计算机可读存储介质
JP5430627B2 (ja) 道路付属物検出装置、道路付属物検出方法、及びプログラム
CN106920278B (zh) 一种基于Reeb图的立交桥三维建模方法
Heinzle et al. Characterising space via pattern recognition techniques: identifying patterns in road networks
CN105701798A (zh) 柱状物体的点云提取方法及装置
JP2006323608A (ja) 立体構造物群モデル作成装置、立体構造物群モデル作成方法及び立体モデル作成システム
WO2021051346A1 (zh) 立体车道线确定方法、装置和电子设备
CN108388995B (zh) 一种道路资产管理系统的建立方法及建立系统
Yadav et al. Pole-shaped object detection using mobile LiDAR data in rural road environments
Husain et al. Road surface and its center line and boundary lines detection using terrestrial Lidar data
CN114509065B (zh) 地图构建方法、系统、车辆终端、服务器端及存储介质
Badenko et al. Comparison of software for airborne laser scanning data processing in smart city applications
CN112837414B (zh) 基于车载点云数据的三维高精度地图的构建方法
RU2638638C1 (ru) Способ и система автоматического построения трехмерных моделей городов
CN111047694A (zh) 一种基于视觉与规则的三维道路建模方法及系统
Wolf et al. Applicability of neural networks for image classification on object detection in mobile mapping 3d point clouds
Namouchi et al. Piecewise horizontal 3d roof reconstruction from aerial lidar
JP7204087B2 (ja) 対象物認識装置
Chiang et al. Fast multi-resolution spatial clustering for 3D point cloud data
Yastikli et al. Automatic 3D building model generations with airborne LiDAR data
CN113128122A (zh) 基于bim的市政公路检测方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180511

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200310

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200605

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220601

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221017

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221017

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221026

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221031

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20221125

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20221129

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221226

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230306

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230522

R150 Certificate of patent or registration of utility model

Ref document number: 7290240

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350