JP2019211294A - 推定装置、推定方法、及び推定プログラム - Google Patents

推定装置、推定方法、及び推定プログラム Download PDF

Info

Publication number
JP2019211294A
JP2019211294A JP2018106461A JP2018106461A JP2019211294A JP 2019211294 A JP2019211294 A JP 2019211294A JP 2018106461 A JP2018106461 A JP 2018106461A JP 2018106461 A JP2018106461 A JP 2018106461A JP 2019211294 A JP2019211294 A JP 2019211294A
Authority
JP
Japan
Prior art keywords
dimensional coordinate
information
coordinate information
estimation
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018106461A
Other languages
English (en)
Other versions
JP7152103B2 (ja
Inventor
裕司 堀場
Yuji Horiba
裕司 堀場
拓也 竹内
Takuya Takeuchi
拓也 竹内
昌紀 近藤
Masanori Kondo
昌紀 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Priority to JP2018106461A priority Critical patent/JP7152103B2/ja
Publication of JP2019211294A publication Critical patent/JP2019211294A/ja
Application granted granted Critical
Publication of JP7152103B2 publication Critical patent/JP7152103B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】周辺領域の状態を推定する時間を短縮する推定装置、推定方法、及び推定プログラムを提供する。【解決手段】基準位置に対して設定した方向と距離とにおいて、基準位置から計測点までの距離と、計測点における反射の強度とを計測する、計測手段2と、方向と計測点同士の位置とに基づいて、所定順に、計測点を表す二次元座標情報を配列して行列情報を生成する、行列生成手段3と、二次元座標情報に関連付けられた、基準位置と距離とに基づいて生成した三次元座標を用いて、計測可能な領域の状態を推定する、領域状態推定手段4と、を有する推定装置1である。【選択図】図1

Description

本発明は、周辺領域の状態を推定する、推定装置、推定方法、及び推定プログラムに関する。
三次元LIDER(Light Detection and Ranging)装置を有する計測システムは、例えば、車両、航空機、ヘリコプター、ロボットなどの移動体に搭載され、移動体が移動する場合に、移動体の周辺領域を推定するために用いられる。このような計測システムは、三次元LIDER装置の他に、三次元LIDER装置以外の各種センサ装置、位置計測装置(GPS(Global Positioning System)、INS(Inertial Navigation System))、情報処理装置などを有している。
また、上述した情報処理装置は、三次元LIDER装置から対象物までの距離と、反射の強度と、位置計測装置が計測した三次元LIDER装置の現在位置とを用いて、三次元LIDER装置を基準位置とする三次元座標を生成する。その後、情報処理装置は、三次元座標と強度とを用いて、周辺領域の状態を推定する。
関連する技術として、特許文献1には、車両同士の衝突を回避するために用いる、回避対象となる車両の位置及び向きを算出する物体検出装置について開示されている。その物体検出装置によれば、まず、回避する対象となる車両の前面部(フロント側)と側面部(フェンダ側)と後面部(リア側)などを、LIDER装置を用いて計測する。続いて、物体検出装置は、前面部、又は側面部、又は後面部などで計測した複数の計測点に近似する直線を算出し、これらの直線を用いて車両の位置及び向きを求めている。また、特許文献1には、この直線を求める処理時間を短縮する技術が開示されている。
特開2009−098023号公報
しかしながら、上述した計測システムに設けられる情報処理装置は、近接する三次元座標間のベクトルを算出して、算出したベクトルを用いて周辺領域の状態を推定するため、すなわち空間座標系で処理をしているため、推定に長時間を要する。
また、特許文献1に開示の技術は、処理時間を短縮する技術ではあるが、直線を求めることに特化した技術であるため、上述したような周辺領域の状態を推定する処理には適用できない。従って、特許文献1の技術を用いたとしても、周辺領域の状態を推定する時間を短縮することはできない。
本発明の目的の一例は、周辺領域の状態を推定する時間を短縮する推定装置、推定方法、及び推定プログラムを提供することにある。
上記目的を達成するため、本発明の一側面における推定装置は、
基準位置に対して設定した方向において、前記基準位置から計測点までの距離と、前記計測点における反射の強度とを計測する、計測手段と、
前記方向と前記計測点同士の位置とに基づいて、所定順に、前記計測点を表す二次元座標情報を配列して行列情報を生成する、行列生成手段と、
前記二次元座標情報に関連付けられた、前記基準位置と前記距離とに基づいて生成した三次元座標を用いて、計測可能な領域の状態を推定する、領域状態推定手段と、を有することを特徴とする。
また、上記目的を達成するため、本発明の一側面における推定方法は、
(a)基準位置に対して設定した方向において、前記基準位置から計測点までの距離と、前記計測点における反射の強度とを計測する、ステップと、
(b)前記方向と前記計測点同士の位置とに基づいて、所定順に、前記計測点を表す二次元座標情報を配列して行列情報を生成する、ステップと、
(c)前記二次元座標情報に関連付けられた、前記基準位置と前記距離とに基づいて生成した三次元座標を用いて、計測可能な領域の状態を推定する、ステップと、を有することを特徴とする。
更に、上記目的を達成するため、本発明の一側面における推定プログラムは、
コンピュータに、
(a)基準位置に対して設定した方向において、前記基準位置から計測点までの距離と、前記計測点における反射の強度とを計測する、ステップと、
(b)前記方向と前記計測点同士の位置とに基づいて、所定順に、前記計測点を表す二次元座標情報を配列して行列情報を生成する、ステップと、
(c)前記二次元座標情報に関連付けられた、前記基準位置と前記距離とに基づいて生成した三次元座標を用いて、計測可能な領域の状態を推定する、ステップと、を実行させることを特徴とする。
以上のように本発明によれば、周辺領域の状態を推定する時間を短縮することができる。
図1は、推定装置の一例を示す図である。 図2は、本発明の実施の形態における推定装置を具体的に示す図である。 図3は、計測点と二次元座標情報との関係を説明するための図である。 図4は、行列情報の一例を示す図である。 図5は、計測可能な領域の対象物の推定について説明するための図である。 図6は、計測可能な領域の対象物の分類について説明するための図である。 図7は、行列情報の一例を示す図である。 図8は、対象物識別情報に関連付けた対象物特徴情報及び、属性情報に関連付けた対象物特徴情報のデータ構造の一例を示す図である。 図9は、推定装置の動作の一例を示す図である。 図10は、行列情報と三次元座標と強度と対象物識別情報との関係を説明するための図である。 図11は、推定装置を実現するコンピュータの一例を示す図である。
(実施の形態)
以下、本発明の実施の形態における推定装置について、図1から図11を参照しながら説明する。
[装置構成]
最初に、図1を用いて、本実施の形態における推定装置の構成について説明する。図1は、推定装置の一例を示す図である。
図1に示す本実施の形態における推定装置1は、周辺領域の状態を推定する処理時間を短縮できる装置である。推定装置1は、図1に示すように、計測手段2と、行列生成手段3と、領域状態推定手段4とを有する。また、推定装置1は、車両、航空機、ヘリコプター、ロボットなどの移動体に搭載して用いてもよい。
このうち、計測手段2は、基準位置に対して設定した方向において、基準位置から計測点までの距離と、計測点における反射の強度(以降、単に強度と呼ぶ場合がある)とを計測する。行列生成手段3は、方向と計測点同士の位置とに基づいて、所定順に、計測点を表す二次元座標情報を配列して行列情報を生成する。領域状態推定手段4は、二次元座標情報に関連付けられた、基準位置と距離とに基づいて生成した三次元座標を用いて、計測可能な領域の状態を推定する。
このように、本実施の形態では、方向と計測点同士の位置とに基づいて、所定順に、複数の計測点に対応する二次元座標情報を配列した行列情報を用いて、計測可能な領域(周辺領域)の状態を推定する。そのため、基準位置から計測点までの方向、及び計測点同士の位置関係(隣接など)に関する処理を削減できるので、周辺領域の状態を推定する時間を短縮できる。言い換えれば、従来のように、空間座標系において、三次元座標それぞれを個別に用いて周辺領域の状態を推定するのではなく、本実施の形態では、平面座標系において、基準位置から計測点までの方向、及び隣接する計測点間の関係を上述した行列情報を用いて表しているので、次元を落とし込んだ分、周辺領域の状態を推定する時間を短縮できる。
続いて、図2を用いて、本実施の形態における推定装置1の構成をより具体的に説明する。図2は、本発明の実施の形態における推定装置を具体的に示す図である。
図2に示すように、本実施の形態における推定装置1は、計測部2(計測手段)と、情報処理部20とを有する。情報処理部20は、行列生成部3(行列生成手段)と、領域状態推定部4(領域状態推定手段)とに加えて、対象物分類部21(対象物分類手段)と、識別部22(識別手段)と、対象物推定部23(対象物推定手段)とを有する。
計測部2は、例えば、三次元LIDAR装置などを有する。三次元LIDAR装置は、パルスレーザ光を水平方向及び垂直方向に照射し、三次元LIDAR装置から対象物までの距離と、対象物の反射の強度とを計測する装置である。具体的には、三次元LIDAR装置は、三次元LIDAR装置の現在位置を基準位置として設定した複数の方向において、基準位置から対象物までの距離と、その距離における強度とを計測する。
また、計測部2は、三次元LIDAR装置の他に、各種センサ装置、位置計測装置などを有する。各種センサ装置は、例えば、可視光又は赤外線撮像装置、ミリ波計測装置、二次元LIDAR装置などで、三次元LIDAR装置とともに用いることにより、推定精度を向上できる。位置計測装置は、GPS、INSなどで、例えば、三次元LIDAR装置の現在位置を計測する。
行列生成部3は、計測部2の現在位置(基準位置)を原点とし、基準位置と、基準位置から計測点までの距離に基づいて生成した三次元座標(X,Y,Z)と、計測点における反射の強度(Intensity)とを計測点を識別する二次元座標情報に関連付け、二次元座標情報を所定順に配列して行列情報を生成する。また、行列生成部3は、行列情報と、二次元座標情報に関連付けた三次元座標と強度とを、推定装置1又はその外部に設けられている
記憶部に記憶する。また、行列生成部3は、所定時間ごとに時系列に複数の行列情報を生成する。
行列情報について、図3、図4を用いて具体的に説明する。図3は、計測点と二次元座標情報との関係を説明するための図である。図4は、行列情報の一例を示す図である。
図3に示す計測点は、基準位置に対して設定したn個の方向p1からpnと、m個の基準位置からの距離q1からqmとを用いて、二次元座標情報として表す。方向p1からpnは、基準位置からパルスレーザ光を照射する方向を示す情報である。なお、方向p1と方向pnとは、図3に示すように互いに隣接する方向を示す。ここで、nは正の整数である。
距離q1からqmは、基準位置と計測点との位置関係と計測点同士の位置関係とを示す情報である。なお、図3において、距離qmは基準位置に最も近い距離で、距離q1は基準位置から最も遠いで距離を表している。ここで、mは正の整数である。
図4に示した行列情報は、所定順に、図3に示した二次元座標情報(p1,q1)から(pn,qm)を配列した行列である。図4においては、方向p1からpnが行列の列を表し、距離q1からqmが行列の行を表している。このように、基準位置を原点として放射線状に照射されるパルスレーザ光の方向p1からpnと、基準位置と計測点との位置関係と計測点同士の位置関係とを示す距離q1からqmとに基づいて、二次元座標情報を配列する。すなわち、基準位置に対する方向p1からpnと、距離q1からqmとの関係が維持できるように配列する。
なお、図4においては、方向p1からpnを行列の列として設定し、距離q1からqmを行列の行として設定した場合について説明したが、方向p1からpnを行列の行とし、距離q1からqmを行列の列としてもよい。又は、図4に示すように方向p1からpnの順ではなく、方向pnからp1の順にしてもよい。更には、図4に示すように距離q1からqmの順ではなく、距離qmからq1の順にしてもよい。
領域状態推定部4は、行列情報における二次元座標情報に関連付けられた、基準位置と距離とに基づいて生成した三次元座標を用いて、計測可能な領域の状態を推定する。
図5を用いて、計測可能な領域から平面を検出する場合について説明する。図5は、計測可能な領域の対象物の推定について説明するための図である。なお、図5では説明を簡単にするため、計測可能な領域の一部の領域だけを示している。
領域状態推定部4は、行列情報40の二次元座標情報(p1,q1)から(pn,qm)までを所定順に選択する。ここでの所定順とは、例えば、距離q1の行にある二次元座標情報(p1,q1)から(pn,q1)までを順に選択した後、距離q2の行にある二次元座標情報(p1,q2)から(pn,q2)を順に選択する。このように、距離q3から距離qmの各行に対しても、各行の二次元座標情報を順に選択する(二次元座標情報(p1,q3)から(pn,qm)までを順に選択する)。又は、所定順は、方向p1の列にある二次元座標情報(p1,q1)から(p1,qm)までを順に選択した後、方向p2の列にある二次元座標情報(p2,q1)から(p2,qm)までを順に選択する。このように、方向p3から方向pnの各列に対しても、各列にある二次元座標情報を順に選択する。
また、領域状態推定部4は、二次元座標情報を選択するごとに、選択した二次元座標情報に関連付けられている三次元座標と、選択した二次元座標情報に隣接する二次元座標情
報に関連付けられている三次元座標とを取得する。続いて、領域状態推定部4は、選択した二次元座標情報に関連付けられている三次元座標と、選択した二次元座標情報に隣接する二次元座標情報に関連付けられている三次元座標とを用いて、三次元座標間の角度を算出し、算出した角度に応じて、平面であるか否かを判定する。
二次元座標情報(p1,q1)を選択した場合について説明する。領域状態推定部4は、まず、二次元座標情報(p1,q1)に関連付けられている三次元座標(X,Y,Z)p1,q1と、隣接する二次元座標情報(p1,q2)に関連付けられている三次元座標(X,Y,Z)p1,q2とを取得する。続いて、領域状態推定部4は、三次元座標(X,Y,Z)p1,q1と(X,Y,Z)p1,q2とを用いて、三次元座標間におけるZ軸(高さ)方向の角度θを算出する。
続いて、算出したZ軸方向の角度θが所定角度θth以上である場合、領域状態推定部4は、二次元座標情報(p1,q1)及び二次元座標情報(p1,q2)に対応する計測点の周辺領域は水平な平面でないと判定する。図5においては、黒丸●で表した計測点が存在する領域は水平な平面でない。
次に、二次元座標情報(p1,q7)を選択した場合について説明する。領域状態推定部4は、まず、二次元座標情報(p1,q7)に関連付けられている三次元座標(X,Y,Z)p1,q7と、隣接する二次元座標情報(p1,q8)に関連付けられている三次元座標(X,Y,Z)p1,q8とを取得する。続いて、領域状態推定部4は、三次元座標(X,Y,Z)p1,q7と(X,Y,Z)p1,q8と用いて、三次元座標間におけるZ軸(高さ)方向の角度θを算出する。
続いて、算出したZ軸方向の角度θが所定角度θthより小さい場合、領域状態推定部4は、二次元座標情報(p1,q7)及び二次元座標情報(p1,q8)に対応する計測点の周辺領域は水平な平面であると判定する。図5においては、二重丸◎及び白丸○で表した計測点が存在する領域は水平な平面である。なお、所定角度θthは、実験、シミュレーション、機械学習などにより求めた、水平な平面と見做せる角度を設定する。
このように、基準位置から計測点までの方向と隣接する計測点同士の関係とを予め設定した行列情報を用いて、平面座標系において計測可能な領域の状態を推定するので、次元を落とし込んだ分、推定時間を短縮することができる。
次に、推定装置1が移動体に搭載され、図5に示した対象物である路面50を検出する場合について説明する。推定装置1は、二次元座標情報に関連付けられた三次元座標を用いて、更に詳細な推定をして、計測可能な領域から路面50に対応する領域を検出する。続いて、推定装置1は、路面50に対応する領域内の二次元座標情報に、路面50内に存在する計測点であることを表す対象物識別情報を関連付け、上述した記憶部に記憶する。
なお、計測可能な領域から路面50を検出する精度を向上させたい場合、上述した各種センサ装置が計測した計測情報と、二次元座標情報に関連付けられた三次元座標とを用いることで、路面50を検出する精度を向上させることができる。
対象物分類部21は、上述した所定順で、二次元座標情報を選択し、選択した二次元座標情報と、選択した二次元座標情報に隣接する二次元座標情報とに関連付けられた三次元座標と強度とを用いて、選択した二次元座標情報と隣接する二次元座標情報とが、同じ対象物に対応する領域に存在するか否かを判定する。続いて、対象物分類部21は、選択した二次元座標情報と隣接する二次元座標情報とが、同じ対象物に対応する領域に存在する場合、対象物を識別する対象物識別情報に、選択した二次元座標情報と隣接する二次元座
標情報とを関連付けて分類する。
対象物分類部21について、図6、図7を用いて具体的に説明する。例えば、図6に示すような対象物60(例えば、人又は車両など)が、計測可能な領域内に存在する場合について説明する。図6は、計測可能な領域の対象物の分類について説明するための図である。図7は、行列情報の一例を示す図である。
対象物分類部21は、上述したような所定順で、図7に示す行列情報40の二次元座標情報(p1,q1)から(pn,qm)までを選択する。
また、対象物分類部21は、二次元座標情報を選択するごとに、選択した二次元座標情報と、選択した二次元座標情報に隣接する二次元座標情報を選択する。例えば、図7に示すように二次元座標情報(p4,q4)が選択された場合、対象物分類部21は、隣接する二次元座標情報として(p3,q5)、(p4,q5)、(p5,q4)、(p5,q5)を選択する。なお、隣接する二次元座標情報の選択は、上述した選択に限定されるものではない。
また、対象物分類部21は、選択した二次元座標情報に関連付けられている三次元座標及び強度と、選択した二次元座標情報に隣接する二次元座標情報それぞれに関連付けられている三次元座標及び強度とを取得する。続いて、対象物分類部21は、選択した二次元座標情報に関連付けられている三次元座標と、選択した二次元座標情報に隣接する二次元座標情報それぞれとの間の距離ΔLを算出する。例えば、図7に示すように二次元座標情報(p4,q4)と(p3,q5)との三次元座標間の距離ΔL1、二次元座標情報(p4,q4)と(p4,q5)との三次元座標間の距離ΔL2、二次元座標情報(p4,q4)と(p5,q4)との三次元座標間の距離ΔL3、二次元座標情報(p4,q4)と(p5,q5)との三次元座標間の距離ΔL4を算出する。
その後、対象物分類部21は、算出した距離ΔLが、予め基準位置からの距離に応じて設定されている距離閾値Lth以下であるか否かを判定する。例えば、距離ΔL1からΔL4それぞれについて、距離閾値Lth以下であるかを判定する。なお、距離閾値Lthは、遠方であるほど大きい値とする。
また、対象物分類部21は、選択した二次元座標情報に関連付けられている強度Dbと、選択した二次元座標情報に隣接する二次元座標情報それぞれに関連付けられている強度Dとを比較した結果に基づいて、同じ強度と見做せるか否かを判定する。
具体的には、対象物分類部21は、まず、強度Dbと強度Dとの強度差ΔD(=|Db−D|)を算出する。例えば、図7に示すように二次元座標情報(p4,q4)と(p3,q5)との強度差ΔD1、二次元座標情報(p4,q4)と(p4,q5)との強度差ΔD2、二次元座標情報(p4,q4)と(p5,q4)との強度差ΔD3、二次元座標情報(p4,q4)と(p5,q5)との強度差ΔD4を算出する。
その後、対象物分類部21は、算出した強度差ΔDが、予め設定した強度閾値Dth以下であるか否かを判定する。例えば、強度差ΔD1からΔD4それぞれについて判定をする。なお、強度閾値Dthは、強度Dbと強度Dとが同じ強度と見做せる値とする。
続いて、対象物分類部21は、選択した二次元座標情報と隣接した二次元座標情報の三次元座標間の距離が距離閾値Lth以下で、かつ選択した二次元座標情報と隣接した二次元座標情報の強度が同じと見做せる場合、選択した二次元座標情報と隣接した二次元座標情報とが、同じ対象物に対応する領域に存在していると判定する。
このように、行列情報40のすべての二次元座標情報について、上述したように判定をする。そして、対象物分類部21は、同じ対象物に対応する領域に存在している二次元座標情報に、対象物を表す対象物識別情報を関連付ける。例えば、図7に示す範囲70内の二次元座標情報が同一の対象物を表している場合、それらの二次元座標情報それぞれに、三次元座標と強度とに加え、範囲70に対応する対象物を表す対象物識別情報を関連付ける。
更に、対象物分類部21は、同じ対象物識別情報が関連付けられた対象物ごとに、対象物を表す領域の形状、大きさ、重心、モーメントなどの対象物特徴情報を生成し、対象物識別情報と算出し対象物特徴情報とを関連付けて、上述した記憶部に記憶する。例えば、形状は、二次元座標情報に関連付けられている三次元座標の最大値と最小値とを用いて算出した直方体により表す(例えば、矩形あてはめ処理など)。大きさは直方体の幅、高さ、奥行きを表す。重心は直方体の重心を表す。モーメントは直方体のモーメントを表す。
識別部22は、対象物識別情報に関連付けた対象物の特徴を表す対象物特徴情報と、予め生成した対象物の種類(例えば、人、又は車両、又は標識など)を識別する属性情報に関連付けた対象物特徴情報とを比較する。そして、識別部22は、比較した結果に基づいて対象物の種類を識別する。
識別部22について、図8を用いて具体的に説明する。図8は、対象物識別情報に関連付けた対象物特徴情報、及び属性情報に関連付けた対象物特徴情報のデータ構造の一例を示す図である。
識別部22は、まず、対象物識別情報に関連付けられた対象物特徴情報に含まれる対象物を表す領域の形状、大きさ、重心、モーメントなどを取得する。例えば、図8に示す対象物識別情報と対象物特徴情報とが関連付けられた情報80から対象物特徴情報を取得する。続いて、識別部22は、属性情報に関連付けられた対象物特徴情報に含まれる対象物を表す領域の形状、大きさ、重心、モーメントなどを取得する。例えば、図8に示す属性情報と対象物特徴情報とが関連付けられた情報81から対象物特徴情報を取得する。
ここで、情報80、81、82に示す「shape1」から「shape4」、「shapeA」から「shapeC」は、例えば、対象物識別情報に関連付けられている三次元座標の最大値と最小値とを用いて算出した直方体を表す情報を示す。「size1」から「size4」、「sizeA」から「sizeC」は、例えば、直方体の幅、高さ、奥行きを表す情報を示す。「center1」から「center4」、「centerA」から「centerC」は、例えば、直方体の重心を表す情報を示す。「moment1」から「moment4」、「momentA」から「momentC」は、例えば、直方体のモーメントを表す情報を示す。
続いて、識別部22は、対象物識別情報に関連付けられた対象物特徴情報と、属性情報に関連付けられた対象物特徴情報との形状、大きさ、重心、モーメントなどの情報とを比較し、比較した結果に基づいて対象物の種類を識別する。例えば、対象物特徴情報の類似度を算出し、算出した類似度に応じて対象物の種類を特定する。
その後、識別部22は、対象物を特定できた場合、対象物識別情報に特定した対象物の種類を表す属性情報を関連付ける。例えば、図8に示すように、対象物識別情報と対象物特徴情報とが関連付けられた情報80に、更に属性情報を関連付けて情報82を生成する。また、識別部22は、対象物を特定できない場合、対象物を特定できなかった対象物識別情報を無効にする。例えば、ノイズと考えられるような小さな特定した対象物などを無
効にする。
対象物分類部21は、所定時間ごとに時系列に生成した複数の行列情報を用いて、識別した対象物の移動方向と移動距離とを推定する。具体的には、対象物分類部21は、過去に生成した行列情報ごとに特定した対象物を追跡して、対象物の移動方向と移動距離とを算出する。例えば、所定時間tごとに生成した時間t−2、時間t−1、時間t(現在の時間t)において生成した行列情報ごとに特定した対象物を追跡して、対象物の移動方向と移動距離とを算出する。
なお、移動体に推定装置1が搭載されている場合、移動体の移動速度も用いて、現在の時間以降の対象物の移動方向と移動距離とを算出する。例えば、対象物分類部21は、算出した対象物の移動方向と移動距離とを用いて、時間t+1、時間t+2における対象物の移動方向と移動距離とを推定する。
例えば、対象物識別情報に関連付けられる対象物特徴情報に対して、類推系のアルゴリズム(例えば、カルマンフィルタなど)を組み合わせることにより、識別した対象物の移動方向と移動距離とを推定する。
[装置動作]
次に、本発明の実施の形態における推定装置の動作について図9、図10を用いて説明する。図9は、推定装置の動作の一例を示す図である。図10は、行列情報と三次元座標と強度と対象物識別情報との関係を説明するための図である。以下の説明においては、適宜図2から図8を参酌する。また、本実施の形態では、推定装置1を動作させることにより、推定方法が実施される。よって、本実施の形態における推定方法の説明は、以下の推定装置1の動作説明に代える。
図9に示すように、最初に、情報処理装置20は、計測点ごとに計測した、基準位置からの距離と反射の強度とを有する計測情報を、計測部2から取得する(ステップA1)。具体的には、三次元LIDAR装置、各種センサ装置、位置計測装置が計測した計測情報を、情報処理装置20は計測部2から受信する。
続いて、行列生成部3は、情報処理装置20が計測情報を取得した後、上述した所定順に、取得した計測点に対応する二次元座標情報を配列して行列情報を生成する(ステップA2)。また、行列生成部3は、二次元座標情報に、取得した計測情報に含まれる基準位置と距離とに基づいて生成した三次元座標と、反射の強度とを関連付けて、上述した記憶部に記憶する。図10に示す情報100を参照。
ここで、情報100に示す「(X,Y,Z)p1,q1」から「(X,Y,Z)pn,qm」は三次元座標を表す情報である。また、「Intensity p1,q1」から「Intensity pn,qm」は反射の強度を表す情報である。
続いて、領域状態推定部4は、二次元座標情報に関連付けられた三次元座標を用いて、計測可能な領域に存在する対象物に対応する領域を推定する(ステップA3)。具体的には、領域状態推定部4は、二次元座標情報に関連付けられた三次元座標を用いて、図5に示すような計測可能な領域から路面50に対応する領域を推定する。そして、領域状態推定部4は、路面50に対応する領域内の二次元座標情報に、路面50内に存在する計測点であることを表す対象物識別情報を関連付け、上述した記憶部に記憶する。
続いて、対象物分類部21は、上述した所定順で、二次元座標情報を選択し、選択した二次元座標情報と、選択した二次元座標情報に隣接する二次元座標情報とを選択する。図
7を参照。そして、対象物分類部21は、選択した二次元座標情報及び隣接する二次元座標情報それぞれに関連付けられた三次元座標と強度とを用いて、選択した二次元座標情報と隣接する二次元座標情報とが、同じ対象物に対応する領域に存在するか否かを判定する。
続いて、対象物分類部21は、選択した二次元座標情報と隣接する二次元座標情報とが、同じ対象物に対応する領域に存在する場合、対象物を識別する対象物識別情報に、選択した二次元座標情報と隣接する二次元座標情報とを関連付けて分類する(ステップA4)。図10に示す情報100を参照。
続いて、対象物分類部21は、同じ対象物識別情報が関連付けられた対象物ごとに、対象物を表す領域の形状、大きさ、重心、モーメントなどの対象物特徴情報を生成する(ステップA5)。図8に示す情報80を参照。
続いて、識別部22は、対象物識別情報に関連付けられた対象物の特徴を表す対象物特徴情報と、予め生成した対象物の種類を表す属性情報に関連付けられた対象物特徴情報とを比較した結果に基づいて、対象物の種類を識別する(ステップA6)。
具体的には、識別部22は、対象物識別情報に関連付けられた対象物特徴情報を取得する。例えば、図8に示す情報80から対象物特徴情報を取得する。また、識別部22は、属性情報に関連付けられた対象物特徴情報を取得する。例えば、図8に示す情報81から対象物特徴情報を取得する。続いて、識別部22は、対象物識別情報に関連付けられた対象物特徴情報と、属性情報に関連付けられた対象物特徴情報とを比較した結果に基づいて、対象物の種類を識別する。
その後、識別部22は、対象物を特定できた場合、対象物識別情報に特定した対象物の種類を表す属性情報を関連付ける。例えば、図8に示すように、対象物識別情報と対象物特徴情報とが関連付けられた情報80に、更に属性情報を関連付けて情報82を生成する。
続いて、対象物分類部21は、所定時間ごとに時系列に生成した複数の行列情報を用いて、識別した対象物の移動方向と移動距離とを推定する(ステップA7)。具体的には、対象物分類部21は、まず、時間t−2、時間t−1、時間t(現在の時間t)において生成した行列情報ごとに特定した対象物を追跡して、対象物の移動方向と移動距離とを算出する。続いて、対象物分類部21は、算出した過去における対象物の移動方向と移動距離とを用いて、時間t+1、時間t+2における対象物の移動方向と移動距離とを推定(又は予測)する。
ステップA7の処理が終了した後、推定装置1が、推定処理を継続しない場合(ステップA8:Yes)には推定処理を終了する。推定装置1が、推定処理を継続する場合(ステップA8:No)にはステップA1の処理に移行して、推定処理を継続する。
[本実施の形態の効果]
以上のように、本実施の形態によれば、複数の計測点に対応する二次元座標情報を、基準位置からの方向と計測点同士の位置とに基づいて、所定順に配列した行列情報を用いて、計測可能な領域(周辺領域)の状態を推定する。そのため、計測点の基準位置からの方向、及び計測点間の関係に関する処理を削減できるので、周辺領域の状態を推定する時間を短縮できる。言い換えれば、基準位置から計測点の方向と隣接する計測点間の関係とを予め設定した行列情報を用いて、平面座標系において計測可能な領域の状態を推定するので、次元を落とし込んだ分、推定時間を短縮することができる。
また、行列情報を利用することで、対象物を分類する処理、対象物の種類を識別する処理、対象物の移動方向と移動距離を推定する処理を実行する時間を短縮することができる。
[プログラム]
本発明の実施の形態におけるプログラムは、コンピュータに、図9に示すステップA1からA8を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における推定装置と推定方法とを実現することができる。この場合、コンピュータのプロセッサは、行列生成部3、領域状態推定部4、対象物分類部21、識別部22、対象物推定部23として機能し、処理を行なう。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、行列生成部3、領域状態推定部4、対象物分類部21、識別部22、対象物推定部23のいずれかとして機能してもよい。
[物理構成]
ここで、実施の形態におけるプログラムを実行することによって、推定装置を実現するコンピュータについて図11を用いて説明する。図11は、推定装置を実現するコンピュータの一例を示す図である。
図11に示すように、コンピュータ110は、CPU111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。なお、コンピュータ110は、CPU111に加えて、又はCPU111に代えて、GPU(Graphics Processing Unit)、又はFPGA(Field-Programmable Gate Array)を備えていてもよい。
CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであってもよい。
また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)などの汎用的な半導体記憶デバイス、フレキシブルディスク(Flex
ible Disk)等の磁気記録媒体、又はCD−ROM(Compact Disk Read Only Memory)などの光学記録媒体が挙げられる。
なお、本実施の形態における推定装置1は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、推定装置1は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
以上のように本発明によれば、計測点の基準位置からの方向、及び計測点間の関係に関する処理を削減できるので、周辺領域の状態を推定する時間を短縮できる。本発明は、例えば、周辺領域の状態を推定する処理時間を短縮する必要な分野において有用である。
1 推定装置
2 計測部(計測手段)
3 行列生成部(行列生成手段)
4 領域状態推定部(領域状態推定手段)
20 情報処理装置
21 対象物分類部(対象物分類手段)
22 識別部(識別手段)
23 対象物推定部(対象物推定手段)
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス

Claims (12)

  1. 基準位置に対して設定した方向と距離とにおいて、前記基準位置から計測点までの距離と、前記計測点における反射の強度とを計測する、計測手段と、
    前記方向と前記計測点同士の位置とに基づいて、所定順に、前記計測点を表す二次元座標情報を配列して行列情報を生成する、行列生成手段と、
    前記二次元座標情報に関連付けられた、前記基準位置と前記距離とに基づいて生成した三次元座標を用いて、計測可能な領域の状態を推定する、領域状態推定手段と、
    を有する推定装置。
  2. 請求項1に記載の推定装置であって、
    選択した二次元座標情報と、前記選択した二次元座標情報に隣接する二次元座標情報とに関連付けられた前記三次元座標と前記強度とを用いて、前記選択した二次元座標情報と前記隣接する二次元座標情報とが、同じ対象物に対応する領域に存在するか否かを判定し、前記選択した二次元座標情報と前記隣接する二次元座標情報とが、同じ前記対象物に対応する領域に存在する場合、当該対象物を識別する対象物識別情報に、前記選択した二次元座標情報と前記隣接する二次元座標情報とを関連付けて分類する、対象物分類手段を有する推定装置。
  3. 請求項2に記載の推定装置であって、
    前記対象物識別情報に関連付けられた前記対象物の特徴を表す対象物特徴情報と、予め生成した前記対象物の種類を識別する属性情報に関連付けられた対象物特徴情報とを比較した結果に基づいて、前記対象物の種類を識別する、識別手段を有する推定装置。
  4. 請求項3に記載の推定装置であって、
    前記行列生成手段は、所定時間ごとに時系列に前記行列情報を生成し、
    時系列に生成した複数の前記行列情報を用いて、識別した前記対象物の移動方向と移動距離とを推定する、対象物推定手段を有する推定装置。
  5. (a)基準位置に対して設定した方向と距離とにおいて、前記基準位置から計測点までの距離と、前記計測点における反射の強度とを計測する、ステップと、
    (b)前記方向と前記計測点同士の位置とに基づいて、所定順に、前記計測点を表す二次元座標情報を配列して行列情報を生成する、ステップと、
    (c)前記二次元座標情報に関連付けられた、前記基準位置と前記距離とに基づいて生成した三次元座標を用いて、計測可能な領域の状態を推定する、ステップと、
    を有する推定方法。
  6. 請求項5に記載の推定方法であって、
    (d)選択した二次元座標情報と、前記選択した二次元座標情報に隣接する二次元座標情報とに関連付けられた前記三次元座標と前記強度とを用いて、前記選択した二次元座標情報と前記隣接する二次元座標情報とが、同じ対象物に対応する領域に存在するか否かを判定する、ステップと、
    (e)前記選択した二次元座標情報と前記隣接する二次元座標情報とが、同じ前記対象物に対応する領域に存在する場合、当該対象物を識別する対象物識別情報に、前記選択した二次元座標情報と前記隣接する二次元座標情報とを関連付けて分類する、ステップと、
    を有する推定方法。
  7. 請求項6に記載の推定方法であって、
    (f)前記対象物識別情報に関連付けられた前記対象物の特徴を表す対象物特徴情報と、予め生成した前記対象物の種類を識別する属性情報に関連付けられた対象物特徴情報とを
    比較した結果に基づいて、前記対象物の種類を識別する、ステップを有する推定方法。
  8. 請求項7に記載の推定方法であって、
    前記(b)のステップにおいて、所定時間ごとに時系列に前記行列情報を生成し、
    (g)時系列に生成した複数の前記行列情報を用いて、識別した前記対象物の移動方向と移動距離とを推定する、ステップを有する推定方法。
  9. コンピュータに、
    (a)基準位置に対して設定した方向と距離とにおいて、前記基準位置から計測点までの距離と、前記計測点における反射の強度とを計測する、ステップと、
    (b)前記方向と前記計測点同士の位置とに基づいて、所定順に、前記計測点を表す二次元座標情報を配列して行列情報を生成する、ステップと、
    (c)前記二次元座標情報に関連付けられた、前記基準位置と前記距離とに基づいて生成した三次元座標を用いて、計測可能な領域の状態を推定する、ステップと、
    を実行させる推定プログラム。
  10. 請求項9に記載の推定プログラムであって、
    前記コンピュータに、
    (d)選択した二次元座標情報と、前記選択した二次元座標情報に隣接する二次元座標情報とに関連付けられた前記三次元座標と前記強度とを用いて、前記選択した二次元座標情報と前記隣接する二次元座標情報とが、同じ対象物に対応する領域に存在するか否かを判定する、ステップと、
    (e)前記選択した二次元座標情報と前記隣接する二次元座標情報とが、同じ前記対象物に対応する領域に存在する場合、当該対象物を識別する対象物識別情報に、前記選択した二次元座標情報と前記隣接する二次元座標情報とを関連付けて分類する、ステップと、
    を実行させる推定プログラム。
  11. 請求項10に記載の推定プログラムであって、
    前記コンピュータに、
    (f)前記対象物識別情報に関連付けられた前記対象物の特徴を表す対象物特徴情報と、予め生成した前記対象物の種類を識別する属性情報に関連付けられた対象物特徴情報とを比較した結果に基づいて、前記対象物の種類を識別する、ステップを実行させる推定プログラム。
  12. 請求項11に記載の推定プログラムであって、
    前記(b)のステップにおいて、所定時間ごとに時系列に前記行列情報を生成し、
    (g)時系列に生成した複数の前記行列情報を用いて、識別した前記対象物の移動方向と移動距離とを推定する、ステップを実行させる推定プログラム。
JP2018106461A 2018-06-01 2018-06-01 推定装置、推定方法、及び推定プログラム Active JP7152103B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018106461A JP7152103B2 (ja) 2018-06-01 2018-06-01 推定装置、推定方法、及び推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018106461A JP7152103B2 (ja) 2018-06-01 2018-06-01 推定装置、推定方法、及び推定プログラム

Publications (2)

Publication Number Publication Date
JP2019211294A true JP2019211294A (ja) 2019-12-12
JP7152103B2 JP7152103B2 (ja) 2022-10-12

Family

ID=68845034

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018106461A Active JP7152103B2 (ja) 2018-06-01 2018-06-01 推定装置、推定方法、及び推定プログラム

Country Status (1)

Country Link
JP (1) JP7152103B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010270947A (ja) * 2009-05-20 2010-12-02 Mitsubishi Electric Corp 誘導装置及び目標判定装置
JP2012238182A (ja) * 2011-05-12 2012-12-06 Honda Motor Co Ltd 車両用物体検出装置
JP2014142288A (ja) * 2013-01-25 2014-08-07 Hokuyo Automatic Co 物体検出装置、測距装置、ドア制御装置、及び自動ドア装置
JP2016130703A (ja) * 2015-01-15 2016-07-21 株式会社Ihi 計測データ処理装置と方法
WO2017157967A1 (en) * 2016-03-14 2017-09-21 Imra Europe Sas Processing method of a 3d point cloud

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010270947A (ja) * 2009-05-20 2010-12-02 Mitsubishi Electric Corp 誘導装置及び目標判定装置
JP2012238182A (ja) * 2011-05-12 2012-12-06 Honda Motor Co Ltd 車両用物体検出装置
JP2014142288A (ja) * 2013-01-25 2014-08-07 Hokuyo Automatic Co 物体検出装置、測距装置、ドア制御装置、及び自動ドア装置
JP2016130703A (ja) * 2015-01-15 2016-07-21 株式会社Ihi 計測データ処理装置と方法
WO2017157967A1 (en) * 2016-03-14 2017-09-21 Imra Europe Sas Processing method of a 3d point cloud

Also Published As

Publication number Publication date
JP7152103B2 (ja) 2022-10-12

Similar Documents

Publication Publication Date Title
JP7254823B2 (ja) 物体の検出および特徴付けのためのニューラルネットワーク
EP3229041B1 (en) Object detection using radar and vision defined image detection zone
US11756222B2 (en) Matching local image feature descriptors in image analysis
JP5539680B2 (ja) 線形特徴を用いた対象追跡
US20170154219A1 (en) Apparatus of recognizing position of mobile robot using direct tracking and method thereof
CN109598781B (zh) 通过回归分析从2d边界框获取伪3d框的方法以及使用该方法的学习装置和测试装置
US11216951B2 (en) Method and apparatus for representing environmental elements, system, and vehicle/robot
Zhou et al. T-loam: truncated least squares lidar-only odometry and mapping in real time
US11080878B2 (en) Method and apparatus for detecting 3D object from 2D image
WO2018221455A1 (ja) 更新装置、制御方法、プログラム及び記憶媒体
JP7224682B1 (ja) 自律走行のための3次元多重客体検出装置及び方法
US20220108544A1 (en) Object detection apparatus, system and method
JP2017003363A (ja) 位置推定方法、位置推定装置及び位置推定プログラム
US11629963B2 (en) Efficient map matching method for autonomous driving and apparatus thereof
US20220171975A1 (en) Method for Determining a Semantic Free Space
US10740962B2 (en) Method and apparatus for uncertainty modeling of point cloud
KR20220026423A (ko) 지면에 수직인 평면들의 3차원 재구성을 위한 방법 및 장치
JP7152103B2 (ja) 推定装置、推定方法、及び推定プログラム
US20230418288A1 (en) Path collision avoidance
JP2018044769A (ja) 自己位置推定装置、移動体及び自己位置推定方法
KR20240032547A (ko) 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법 및 이를 이용한 오염도 추정 장치
KR20220160850A (ko) 소실점을 추정하는 방법 및 장치
CN117148328A (zh) 一种基于超声波传感器的障碍物识别仿真方法及系统
JP2023004517A (ja) 位置推定装置、位置推定方法、及びプログラム
CN116128921A (zh) 用于空中目标跟踪的匹配方法、装置、飞行器及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210507

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220922

R151 Written notification of patent or utility model registration

Ref document number: 7152103

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151