JP2019053597A - 選別装置、方法及びプログラム - Google Patents

選別装置、方法及びプログラム Download PDF

Info

Publication number
JP2019053597A
JP2019053597A JP2017178016A JP2017178016A JP2019053597A JP 2019053597 A JP2019053597 A JP 2019053597A JP 2017178016 A JP2017178016 A JP 2017178016A JP 2017178016 A JP2017178016 A JP 2017178016A JP 2019053597 A JP2019053597 A JP 2019053597A
Authority
JP
Japan
Prior art keywords
voxel
data
point cloud
unit
division
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017178016A
Other languages
English (en)
Other versions
JP6853150B2 (ja
Inventor
康平 松▲崎▼
Kohei Matsuzaki
康平 松▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2017178016A priority Critical patent/JP6853150B2/ja
Publication of JP2019053597A publication Critical patent/JP2019053597A/ja
Application granted granted Critical
Publication of JP6853150B2 publication Critical patent/JP6853150B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Generation (AREA)

Abstract

【課題】データ量を効果的に削減することのできる選別装置を提供する。【解決手段】参照点群データをボクセル分割する第一分割部11と、ボクセル分割された参照点群データをモデル化してボクセルごとの参照点群モデル化データを得る第一計算部12と、複数の位置姿勢において取得されたフレーム点群データをそれぞれボクセル分割する第二分割部21と、前記取得された位置姿勢ごとに前記ボクセル分割されたフレーム点群データをモデル化して、位置姿勢ごと及びボクセルごとのフレーム点群モデル化データを得る第二計算部22と、第一計算部で得たボクセル毎の参照点群モデル化データと、第二計算部で得た位置姿勢ごと及びボクセルごとのフレーム点群モデル化データと、を比較する比較部13と、比較部での比較結果に基づいて第一計算部で得たボクセル毎の参照点群モデル化データから選別を行う選別部14と、を備える。【選択図】図1

Description

本発明は、点群データに関してボクセルベースのモデル化を行ったうえで自己位置推定等の後段側処理に供される際のデータ量を、後段側処理の精度等を確保したうえで効果的に削減することのできる選別装置、方法及びプログラムに関する。
近年、様々な種類の距離センサ(例えば、 LiDAR, Time-of-flight camera, structured lightなど)の商用化に伴い、3D点群(point cloud)が注目を集めている。3D点群は、物体認識や領域のセグメンテーション、自己位置推定、変化検知等のコンピュータビジョンにおける様々な技術領域で利用される。
3D点群を用いた自己位置推定技術は,予め実世界の特定の範囲をセンサで計測して得られた点群(以後、地図点群と呼ぶ。)と、ユーザがその場でセンサを用いて取得した点群(以後、センサ点群と呼ぶ。)との位置合わせによって実現される。例えば,代表的な自己位置推定方法として、非特許文献1におけるIterative Closest Point (ICP)がある。
地図点群は一般的に、センサによる単位時間当たりの計測を1フレームとし、複数フレームを例えば非特許文献2に記載のSLAM(Simultaneous Localization and Mapping)技術を用いて統合することによって作成される。SLAM技術は環境地図の作成、すなわち複数フレームの統合と、自己位置推定、すなわち各フレームを計測した際のセンサの姿勢推定を同時に行う技術の総称である。従って、地図点群を作成する際には,結果としてフレーム毎の姿勢も得られる。
近年の距離センサは1秒間の間に数十万点以上の3D点を計測するため、実世界の広範囲の計測を介して生成される地図点群のデータ量は膨大となる。そのため、要求されるストレージ量の削減及び/又は点群を用いた処理を効率化するために、点群のデータ量の削減が行われることがある。
その方法の一つに、点群のダウンサンプリングがある。この方法は,例えば所与の点群からランダムに指定個数の点を選択することにより、データ量を削減する。しかしながらこの方法は、単純にデータをスパースにするため、データ量を削減するほど、例えば自己位置推定の様な後段の処理の結果に対して悪影響を与える可能性が高くなる。
データ量削減のためのもう一つの方法として、点群のモデル化がある。この方法は、例えば多変量正規分布の様な確率密度モデルを用いて点群をモデル化し、元々のデータをモデルパラメータの集合として表現することによって、データ量を削減する。
3D点群データのモデル化手法の多くは,ボクセルグリッドに依存している。例えば非特許文献3におけるNormal Distribution Transform (NDT)は空間をボクセルで区切った後に、各ボクセル内に位置する点群を3次元多変量正規分布のパラメータ、すなわち平均と分散共分散行列で表現する。そして、モデル化された地図点群とセンサ点群を用いて自己位置推定を実現する。また、非特許文献4に記載のNDT-D2D(Distribution to Distribution)は,地図点群だけでなくセンサ点群もモデル化し、モデル化されたデータ同士を用いて自己位置推定を実現する。
しかしながら、ダウンサンプリングされた点群およびモデル化された点群データであっても、広範囲の計測から得られる点群に対するデータ量は膨大となる。一般的にデータのダウンサンプル率と後段の処理(当該データを用いての自己位置推定等の処理)の精度はトレードオフの関係になるため、ダウンサンプリングされた後であっても、多数の3D点で構成される地図点群のデータ量は依然として大きい。非特許文献3および4の手法において高い精度を得るためにはボクセルを比較的細かくする必要があり、また、ボクセル1つあたりが持つパラメータ数が多い。結果として,モデル化された地図点群のデータ量は大きくなる。
このような問題に関連して非特許文献5に記載のOctoMapは、ボクセルの8分木表現を用いることで、均一の解像度のボクセルを用いる場合に比べてコンパクトなデータ量で空間をモデル化している。すなわち、例えば空の様な点の分布が均一の空間は粗いボクセルで表現し、複雑な点の分布を持つ空間は細かい解像度で表現する、というものである。
P. Besl and N. McKay, "A Method for Registration of 3-D Shapes," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 14, pp. 239-256, 1992. Zhang, Ji, and Sanjiv Singh. "LOAM: Lidar Odometry and Mapping in Real-time." Robotics: Science and Systems. Vol. 2. 2014. Magnusson, Martin, Achim Lilienthal, and Tom Duckett. "Scanregistration for autonomous mining vehicles using 3D‐NDT." Journal of FieldRobotics 24.10 (2007): 803-827. Stoyanov, Todor, Martin Magnusson, and Achim J. Lilienthal."Point set registration through minimization of the l 2 distance between 3d-ndtmodels." Robotics and Automation (ICRA), 2012 IEEE International Conferenceon. IEEE, 2012. Hornung, Armin, et al. "OctoMap: An efficient probabilistic 3Dmapping framework based on octrees." Autonomous Robots 34.3 (2013): 189-206.
しかしながら、以上のような従来手法は全て、後段側の処理精度等とのトレードオフ関係等のもとで効果的にデータ量を削減するということに関して、改善の余地を有しているものであった。
例えば、非特許文献1〜4における一連の課題に対して対処しうるものである非特許文献5の手法においても依然として、以下のような課題があった。
すなわち、この手法は空間内の全てを"occupied"(占有状態),"free"(空状態),"unknown"(不明)にモデル化した完全な3Dモデル表現が必要な場合には有用であるものの、例えば"occupied"のボクセルのみが必要な場合においては,それらのみを含む不完全な3Dモデル表現の方がよりコンパクトになる可能性がある。実際、例えばNDTでは"occupied"に相当するボクセルのデータのみが必要となり,"free","unknown"に相当するボクセルのデータは不要である。
ここで、ボクセルに基づくデータの量を更に削減するための単純な方法として、ボクセルのダウンサンプリングが考えられる。すなわち、点群のダウンサンプリングと同様の考えを、ボクセル群に対して適用する。例えば、所与のボクセル群からランダムに指定個数のボクセルを選択することにより、総データ量を削減することができる。
しかしながら、ボクセルのダウンサンプリングも前述の点群のダウンサンプリングと同様の課題を有している。すなわち、ボクセルのダウンサンプリングを行うことは、単純にデータをスパースにするため、データ量を削減するほど後段の処理の結果に対して悪影響を与える可能性が高くなる。特に、点と比べてボクセルは空間内で大きな範囲を占めるため,その欠損が与える影響はより大きくなる。
上記のような従来技術の課題に鑑み、本発明は、点群データに関してボクセルベースのモデル化を行ったうえで自己位置推定等の後段側処理に供される際のデータ量を、後段側処理の精度等を確保したうえで効果的に削減することのできる選別装置、方法及びプログラムを提供することを目的とする。
上記目的を達成するため、本発明は選別装置であって、複数の位置姿勢においてそれぞれ取得されたフレーム点群データ同士を共通座標系において統合した参照点群データをボクセル分割する第一分割部と、前記ボクセル分割された参照点群データをモデル化してボクセルごとの参照点群モデル化データを得る第一計算部と、前記共通座標系に基づいて前記複数の位置姿勢において取得されたフレーム点群データをそれぞれボクセル分割する第二分割部と、前記取得された位置姿勢ごとに前記ボクセル分割されたフレーム点群データをモデル化して、位置姿勢ごと及びボクセルごとのフレーム点群モデル化データを得る第二計算部と、前記第一計算部で得たボクセル毎の参照点群モデル化データと、前記第二計算部で得た位置姿勢ごと及びボクセルごとのフレーム点群モデル化データと、を比較する比較部と、前記比較部での比較結果に基づいて前記第一計算部で得たボクセル毎の参照点群モデル化データから選別を行う選別部と、を備えることを特徴とする。またこれに対応する方法及びプログラムであることを特徴とする。
本発明によれば、効果的にデータ量を削減することができる。
一実施形態に係る選別装置の機能ブロック図である。 一実施形態に係る選別装置の動作のフローチャートである。 一実施形態に係る本発明の手法を説明するための模式図である。 第二分割部の機能ブロック図である。 非対称性を説明するための模式図である。 ボクセル量子化誤りの模式例として、ボクセル分割位置のわずかな相違でモデル化パラメータが顕著に異なるようになるボクセルの模式例を示す図である。 ボクセル分割位置のわずかな相違ではモデル化パラメータはほとんど変化しないボクセルの模式例を示す図である。 回転分割部での回転の模式例を示す図である。
図1は、一実施形態に係る選別装置の機能ブロック図である。図示する通り、選別装置10は第一分割部11、第一計算部12、比較部13、選別部14、整列部20、第二分割部21及び第二計算部22を備える。また図示する通り、選別装置10の各部間でのデータ授受としての各部の機能概略は以下の通りである。なお、以降では、参照点群データの一例として、地図点群データを用いて説明する。
第一分割部11は、入力される地図点群データをボクセル分割して得られるボクセル分割された地図点群データを第一計算部12へと出力する。第一計算部12は当該ボクセルごとの地図点群データにおいてボクセルごとに点群をモデル化する計算を行い、得られたボクセルごとの地図点群モデル化データを比較部13へと出力する。
整列部20は入力される位置姿勢ごとのフレーム点群データを所定方位へと整列させ、得られた位置姿勢ごとの整列されたフレーム点群データを第二分割部21へと出力する。なお、図3等も参照して後述するように、当該整列させることはすなわち第一分割部11に入力される地図点群データと同じ座標系にフレーム点群データを変換することに相当する。第二分割部21は整列部20で得られた位置姿勢ごとのフレーム点群データをボクセル分割して、得られる位置姿勢ごと及びボクセルごとのフレーム点群データを第二計算部22へと出力する。第二計算部22は当該位置姿勢ごと及びボクセルごとのフレーム点群データに対して点群をモデル化する計算を行い、得られた位置姿勢ごと及びボクセルごとのフレーム点群モデル化データを比較部13へと出力する。なお、詳細は後述するように、第二計算部22及び第一計算部12ではモデル化する対象となるデータは互いに異なるものの、モデル化の仕方(すなわち、モデル化のための計算処理)は互いに共通である。
比較部13は、第一計算部12から得られるボクセルごとの地図点群モデル化データと、第二計算部22から得られる位置姿勢ごと及びボクセルごとのフレーム点群モデル化データと、を比較し、比較結果を選別部14へと出力する。選別部14では当該得られた比較結果に基づいて第一計算部12から得られるボクセルごとの地図点群モデル化データの中から選別を行う。ここで、第一計算部12において得られているボクセルごとの地図点群モデル化データは従来手法と同様の特に選別されておらずデータ量が多いものに相当するのに対し、本発明の一実施形態においては比較部13及び選別部14(並びに整列部20、第二分割部21及び第二計算部22)の処理を経たうえで、第一計算部12の当該得た全データの中から後段側処理に適していると判定されるものを選別することにより、選別されなかったものを除外することによりデータ量を削減すると共に、当該選別されたデータを用いてなされる後段側処理の精度を確保するようにすることができるという効果がある。
なお、「後段側処理」とは上記の通り、選別装置10によって選別された地図点群データをリファレンスデータ等として用いて行われる任意の処理を指すものであり、その典型例としては自己位置推定処理を挙げることができる。以下でもこれを単に「後段側処理」と称することとする。
図2は一実施形態に係る選別装置10の動作のフローチャートである。ステップS1では、管理者等によるマニュアル作業等によって、選別装置10への入力データとしての地図点群データ及びこれを構成しているフレーム点群等のデータを用意したうえで、ステップS2へと進む。なお、当該用意される地図点群データはステップS2において第一分割部11へと入力されることとなり、また当該用意されるフレーム点群等のデータはステップS3において整列部20へと入力されることとなる。
図3は、ステップS1で当該用意するデータの説明を含む、本発明の一実施形態に係る手法の説明のための模式図である。ステップS1で当該用意するデータの模式的な例として、図3では地図点群データMD及びこれを構成するフレーム点群データ(の一部分の例)D1,D2,D3が示されている。なお、点群データD1,D2,D3は図3では模式的に丸状の範囲として表現することにより、当該点群データが分布する範囲の形で示されている。
ステップS1で用意する地図点群データMDとはすなわち、例えば前掲の非特許文献2に開示のSLAM技術によって用意することが可能なものである。図3の例であれば、時刻T1に点群取得センサが位置姿勢PA1にあることによって取得されるフレーム点群データD1と、時刻T2に点群取得センサが位置姿勢PA2にあることによって取得されるフレーム点群データD2と、時刻T3に点群取得センサが位置姿勢PA3にあることによって取得されるフレーム点群データD3と、といったように、各時刻Ti(i=1,2,3, ..., N)において位置姿勢PAi(i=1,2,3, ..., N)にある点群取得センサの取得したフレーム点群データDi(i=1,2,3, ..., N)を、図3に示すような何らかの共通座標系CSにおいて表現されるデータとして統合することにより、地図点群データMDが得られる。これは式で形式的に表記すれば以下のような関係となっている。
(数式2)において、(xij, yij, zij)[CS]はDiの点群データの各点の空間座標を共通座標系CSにおいて与えたものであり、J(i)はDiの点群データの総数である。
そして、ステップS1で用意するフレーム点群データDiとは上記の(数式2)において与えられるのと同じものを、共通座標系CSにおいてではなく当該時刻Tiのフレームにおいて点群データを取得したセンサのセンサ座標系SS(Ti)において与えたもの(すなわち、センサが自身の空間座標系において取得した点群データそのもの)であり、以下の式のように表現することができる。
すなわち、(数式2)及び(数式3)で表現されるフレーム点群データDiは内容としては同じものであるが、その各点の空間座標を表現するための座標系が互いに異なっているものである。
ステップS2では、ステップS1で用意した地図点群データMDを第一分割部11及び第一計算部12において順次処理することで、地図点群データMDを所定のボクセルグリッドVG0で空間分割したうえで当該各ボクセルに属する点群をモデル化してから、ステップS3へと進む。なお、図3には地図点群データMDを当該ボクセル分割するための所定のボクセルグリッドVG0の模式例が示されている。
ここで、以降の説明の便宜上、地図点群データMDのうち、所定のボクセルグリッドVG0で分割することによる位置(n,m,l)(整数n,m,lで空間上のx,y,z方向における位置を格子点のように指定した位置)のボクセル内にある点群データをMD(n, m, l)[VG0]と表記する。すなわち、データ集合間の関係として「MD={MD(n, m, l)[VG0]}」の関係がある。また、そのモデル化データをmodel(MD(n, m, l)[VG0])と表記する。
ステップS3では、ステップS1で用意した各フレーム点群データDiを、整列部20、第二分割部21及び第二計算部22において順次処理することにより、地図点群データNDの姿勢に一致させた後に、各データDiを1通り以上のボクセルグリッドVGk(k=0,1,2, ...)で分割したうえでそれぞれのボクセルグリッドVGk(当該ボクセルグリッドVGkはすなわち、分割の仕方・区切り方に対応している)に応じたボクセル内においてモデル化してから、ステップS4へと進む。
ここで、ステップS3で分割するためのボクセルグリッドVGk(k=0,1,2,...)のうち少なくとも1つの場合としてk=0のボクセルグリッドVG0はステップS2におけるものと共通である。また、以降の説明の便宜上、ステップS2における表記と共通の表記により、ボクセルグリッドVGkで分割することによるフレーム点群データDiの位置(u,v,w)(すなわち、ステップS2の(n,m,l)の場合と同様に、整数u,v,wによって格子点のように指定される位置)のボクセル内にある点群データをDi(u,v,w)[VGk]と表記する。すなわち、データ集合間の関係として「Di={Di(u,v,w)[VGk]}」の関係がある。また、そのモデル化データをmodel(Di(u,v,w)[VGk])と表記する。
なお、以上のステップS2及びS3は、逆順に実行されてもよいし、並行して実施されてもよい。
ステップS4では、ステップS2で得たモデル化データmodel(MD(n, m, l)[VG0])とステップS3で得たモデル化データmodel(Di(u,v,w)[VGk])とを比較部13が比較してからステップS5へと進む。ステップS5ではステップS4における当該比較結果に基づいて選別部14がステップS2で得たモデル化データmodel(MD(n, m, l)[VG0])の中から選別を行い、当該図2のフローチャートは終了する。
ここで、図1の各機能部の概略説明の際にも述べたように、当該比較選別によって、地図点群データMDから得られるボクセル単位での各モデル化データmodel(MD(n, m, l)[VG0])はこれが実際に後段側処理に供された場合の性能を模擬的に評価したうえで選別されることとなり、従来手法ではなし得なかったボクセル単位での効率的なダウンサンプリング(後段側処理に悪影響を与えない、あるいは精度とのトレードオフ関係のもとであっても悪影響を最小限に抑制するダウンサンプリング)が可能となる。
すなわち、当該比較選別の詳細は後述するが、当該ステップS4及びS5による比較選別の「考え方」は、地図点群データMDの全体をステップS1において用意した際の各フレームの点群データDiを、後段側処理においてクエリとなる点群として入力されるデータを模擬的に表しているものとして利用することに相当する。
すなわち、図3の例であれば、位置姿勢PA1にある際に取得されたフレーム点群データD1は、そもそもは(数式1)に表現される通り地図点群データMDの全体を構成するための部分データであるが、本発明においてはこのような関係を利用することで、後段側処理で位置姿勢PA1にある際にクエリとして入力されるデータを点群データD1によっていわばシミュレートしている。そして、当該シミュレートされた点群データD1がよくマッチングするようなボクセルを地図点群データMDの中から選別することにより、従来手法では不可能であった効果的なボクセル単位でのダウンサンプリングを実現する。
ここではさらに次のような効果もある。すなわち、地図点群データMDに該当するフィールド内を再度移動しながら点群データを取集して実際に後段側処理(ここでは自己位置推定処理を想定)を行なって実績調査などをする必要なく、(従って、そのような追加調査などのコストを要することなく、)地図点群データMD(及びこれを構成するフレーム点群データDi)の情報のみを利用することで、当該地図点群データMDに対して効果的なダウンサンプリングが実現されるという効果も奏することが可能である。
以下、図2のように動作する図1の各機能部の詳細を説明する。なお、説明の便宜上、処理されるデータの表記に関して、図2の各ステップの説明の際に用いた表記(例えば、モデル化データmodel(MD(n, m, l)[VG0])など)とは別の表記で説明する場合があるが、その対応関係は適宜示すこととする。
[整列部20]
整列部20は、所与の姿勢変換行列を用いて各フレーム点群データDiを姿勢変換することにより、各フレーム点群データDiの姿勢を地図点群データMDにおける姿勢と一致させる。当該姿勢変換はすなわち、フレーム点群データDiに関して、(数式3)のように取得した際のセンサの座標系SS(Ti)で表現されていたものを、(数式2)のように地図点群データMDの共通座標系CSで表現されるものに変換することに相当し、姿勢変換行列はフレーム点群データDiごとに存在する。
なお、各フレーム点群データDiに関して予め(数式2)の共通座標系CSで表現されるものとして入力データ(図2のステップS1で用意する入力データ)を用意しておくことにより、整列部20を省略してもよい。
[第一分割部11]
第一分割部11は、地図点群データMDについて、任意の所定の基準点rpmap(例えばローカル座標系の原点)を元に、空間を所定のサイズのボクセルで分割する。ただし、当該処理におけるボクセルのサイズは、後段側処理で使用されるボクセルのサイズと同サイズであることが望ましい。ボクセル分割する際の方向は共通座標系CSのx,y,z軸とすればよい。ここで得られたM個のボクセルを、Vp map (p=1,2, …,M)とする。(各ボクセルVp mapはすなわち、図2の説明におけるMD(n, m, l)[VG0]に該当し、ボクセルグリッドVG0で分割されたものに該当する。)
[第二分割部21]
図4は、第二分割部21による分割の各実施形態を担うものとしての第二分割部21の機能ブロック図である。第二分割部21は、共通分割部1、平行移動分割部2及び回転分割部3を備え、各部1〜3による各実施形態においてボクセルグリッドVGk(k=0,1,2, ...)で分割された各フレーム点群データDiが第二計算部22へと出力される。各部1〜3で分割するボクセルのサイズは第一分割部11において分割したボクセルサイズと共通である。
[共通分割部1]
共通分割部1では、第一分割部11でボクセル分割したのと同一のボクセルグリッドVG0によって各フレーム点群データDiをボクセル分割する。(従って、分割する際の基準点は同一の基準点rpmapであり、ボクセル分割する際の方向も同一で例えば共通座標系CSのx,y,z軸とすればよい。)
共通分割部1で各フレーム点群データDiに関して得られたL(i)個のボクセルをVl i,a(l=1,2, ..., L(i))と表記する。なお、添字aは次に説明する「非対称性」(asymmetry)を表すものであり、平行移動分割部2及び回転分割部3でのボクセルと区別するためのものである。(なお、当該ボクセルVl i,aにおけるDiの点群データが、ボクセルを指定するlと(u,v,w)との対応付けのもとで、図2の説明におけるDi(u,v,w)[VG0]に該当する。)
共通分割部1の役割は、後段側の比較部13及び選別部14において、地図点群データMDのボクセルと各フレーム点群データDiのボクセルとの間で、点群分布の非対称性に基づく性能評価による比較選別を可能とするようなフレーム点群データDiのモデル化データを、第二計算部22において算出可能とさせるためのものである。
図5は共通分割部1による当該役割における点群分布の非対称性を説明するための模式例を示す図である。図5では、同一のオブジェクトOBに関して、[1]では後段側処理においてクエリとして取得されることが想定される点群を、[2]では地図点群データMDにおいて取得していることが想定される点群を、それぞれ模式例として示している。すなわち、[1]に示す後段側処理での取得点群(及びこれをシミュレートする各フレーム点群データDi)は、単一のセンサ位置姿勢AP11のみで取得されるものであるため、球状のオブジェクトOBに関してその前面部分(図中の実線部分)しか点群が取得されず、背面部分(図中の点線部分)に関しては点群が取得されないこととなる。一方、[2]に示すように同一のオブジェクトOBに関して地図点群データMDにおいては単一のセンサ位置姿勢AP11のみならずその他のセンサ位置姿勢AP12,AP13等からも網羅的にその点群が取得され、図中に実線で示すような球面の全面に渡って点群が取得されることとなる。このように、同一のオブジェクトOBであっても取得される点群の様子が異なることが「非対称性」である。
当該非対称性は、より一般的に述べれば次の通りである。前述の(数式1)の通り、地図点群データMDはオブジェクトを複数の計測点から計測した各結果Diを統合して得られるものであるため、オブジェクトの形状を完全に近い状態で計測しており、得られる点群の密度も高くなる。それに対し、後段側処理の取得点群は物体を単一の計測点から計測した結果Diのみであるため、物体の一面しか計測することができず、不完全かつ疎な計測となる。
このような非対称性は、地図点群データと後段側処理の取得点群のそれぞれを取得した際の位置姿勢が完全に一致している場合であっても、ボクセル内に位置する点群をモデル化したパラメータに差異をもたらすこととなる。さらに、ノイズの影響でモデルパラメータに差異が生じる可能性もある。その様なボクセルは、正しい位置姿勢であっても自己位置推定処理に悪影響を及ぼすため、除去すべき有害なボクセルであると考えられる。
そして、共通分割部1によるボクセル分割を経た比較選別の処理によれば、このような非対称性に基づく有害なボクセルの自動排除、すなわち選別部14で選別されないようにすることが可能となる。図5の例であれば、[1]に示すオブジェクトOBの裏側(点線部分)に該当するようなボクセルは、自動排除の対象となる。
以上、共通分割部1を説明した。なお、各部1〜3による各実施形態においてボクセルグリッドVGk(k=0,1,2, ...)で分割することとなるが、共通分割部1はk=0の場合のボクセルグリッドVG0(第一分割部11と同じボクセルグリッドVG0)の分割を行うものであり、以降に説明する平行移動分割部2及び回転分割部3はこれとは異なるk≧1で指定されるボクセルグリッドVGk(k≧1)の分割を行うものである。
[平行移動分割部2]
平行移動分割部2に関して、その処理内容(すなわちボクセル分割の仕方の詳細)を説明してから、その後段側の比較選別処理における意義を説明することとする。
平行移動分割部2では、共通分割部1で分割したボクセルグリッドVG0からサブボクセル単位の長さ(ボクセル解像度よりも細かいステップ幅)でボクセル分割基準位置が異なっているような一連のボクセルグリッドVGk(k≧1)の分割を行う。すなわち、共通分割部1で分割した際の基準点rpmapからボクセルの解像度よりも細かいサイズのステップ幅による平行移動された基準点を用いて、各フレーム点群データDiをボクセルで分割する。具体的には、x軸方向,y軸方向,z軸方向のボクセルサイズをvlx,vly,vlzとし、ステップ幅をそれぞれrsx,rsy,rszとおく場合、それぞれでvlx,vly,vlzを除算した際の商の大きさのパターン数rsnx,rsny,rsnzで、各地図フレームをボクセルで分割する;
rsnx = vlx / rsx (数式4)
rsny = vly / rsy (数式5)
rsnz = vlz / rsz (数式6)
この時、各フレーム点群データDiは、Num = rsnx * rsny * rsnz 通りの方法で、ボクセルで分割されることとなる。あるいは、例えばx方向のみにNum = rsnx通り、という様に、ステップ幅を施す方向を限定してもよい。
平行移動分割部2でNum通りの各分割において各フレーム点群データDiに関して得られたL2(i)個のボクセルを{Vl i,q(l=1,2, ..., L2(i))}n(n=1,2, ..., Num)と表記する。(なお、個数L2(i)に関しては、Num通りのそれぞれへの依存性があるが、表記簡略化の観点から当該依存性の表記はL2(i)においてではなく、分割手法を表現する最後の添え字nにおいて表現している。)添え字qは次に説明する量子化誤差(quantization error)を意味するものである。
平行移動分割部2の役割は、後段側の比較部13及び選別部14において、地図点群データMDのボクセルと各フレーム点群データDiのボクセルとの間で、点群分布の量子化誤差に基づく性能評価による比較選別を可能とするようなフレーム点群データDiのモデル化データを、第二計算部22において算出可能とさせるためのものである。
すなわち、モデル化の際に連続的な幾何的形状を計測した3D点群をボクセルで区切ることは、データのボクセル量子化誤りに起因する問題をもたらす。データのボクセル量子化誤りを説明するために、模式図を図6に示す。図6において、楕円体はある点群PG1のデータ分布を模式的に表し、直線で形成された立方体V11,V12,V21,V22は同じ大きさのボクセルを表している。ここで、図6の[1]及び[2]の間では、点群PG1の座標は変化せず、(すなわち[1]及び[2]では点群PG1データは同一のものが示されており、)ボクセルを形成する基準となる基準点の座標のみが基準点R1及び基準点R2のように変化している。すなわち図6は、同一の点群PG1データを[1]及び[2]において互いに異なるボクセルで量子化する場合の例を示しており、互いに共通の座標系CS1で同一の点群PG1データを与え、[1]ではその原点Oに一致する位置に基準点R1を設けてボクセル量子化し、[2]では当該原点Oから+x方向に一定距離だけずれた位置に基準点R2を設けてボクセル量子化している。
そして、図6の[1]にてボクセル量子化された点群PG1データは2つのボクセルV11,V12の境界にまたがって概ね2等分される形で割り当てられているのに対して、図6の[2]のボクセル量子化では同じ点群PG1データの全てが2つのボクセルV21,V22のうち左側のボクセルV21のみに割り当てられている。結果として図6の[1]及び[2]の間で、同一の点群PG1データをモデル化しているのにも関わらず、そのモデル化の結果(例えば平均,分散共分散行列)は大きく変化してしまい、得られるモデルのパラメータも類似しないものとなってしまう。
図6はボクセル分割位置の少しの違いでモデルのパラメータが顕著に変化してしまう場合の模式例であったが、逆に図7に模式図を示すように、ボクセル分割位置の少しの違いではモデルのパラメータがほとんど変化しない場合もある。
すなわち、図7でも図6と同様に、同一の点群データPG2に関して[1]及び[2]で互いにボクセル分割位置がわずかに異なる場合が示されている。図7にて[1]では基準点R3を基準としてボクセル分割されたボクセルV31,V32が示され、[2]では基準点R3からわずかにずれた基準点R4を基準としてボクセル分割されたV41,V42が示されている。ここで、図6の場合とは逆に、図7の点群データPG2は[1],[2]のボクセルV31,V32とボクセルV41,V42との間でモデル化データにほとんど相違を発生させないような分布をなしている。
後段側処理においては、その具体的な用途・目的等によって図6のような少しの分割位置の相違で顕著に変化するような位置にあるボクセルが精度上重要になる場合と、逆に図7のような少しの分割位置の相違ではほとんど変化しないような位置にあるボクセルが精度上重要になる場合との両方が考えられる。平行移動分割部2の処理を前提とした後段側の比較選別処理の各実施形態によって、この各場合に適した選別が可能となる。
[回転分割部3]
回転分割部3は、上記の平行移動分割部2がボクセル分割の基準位置の「並進成分」の相違がボクセル分割に基づくモデル化データに与える影響を考慮するためのものであったのに対し、ボクセル分割の「方向」の相違がモデル化データに与える影響を考慮するためのものである。従って、回転分割部3に関して図6,7のような模式図を示すことは省略するが、その考え方としては全く同様であり、ボクセル分割の方向のわずかな相違(及び/又はある程度大きな相違)によって顕著に変化する又はほとんど変化しないようなボクセルが後段側処理の精度において重要になる場合へそれぞれ対処可能とするのが回転分割部3の役割である。
回転分割部3では具体的に、共通分割部1で分割した1通りのボクセルグリッドVG0と、平行移動分割部2で分割したNum通りのボクセルグリッドVGk(k≧1)と、のそれぞれを、回転角度が0°の基準姿勢にあるものとし、これらにそれぞれ所定のNum2通りの回転変換を施した一連のボクセルグリッドにおいて、各フレーム点群データDiをボクセル分割する。すなわち、回転分割部3でのボクセル分割のパターン数は(1+Num)*Num2通りとなる。
回転分割部3でNum2通りの各回転変換において各フレーム点群データDiに関して得られたL3(i)個のボクセルを{Vl i,r(l=1,2, ..., L3(i))}m(m=1,2, ..., Num2)と表記する。(なお、個数L3(i)に関しては、Num2通りのそれぞれへの依存性があるが、表記簡略化の観点から当該依存性の表記はL3(i)においてではなく、分割手法を表現する最後の添え字nにおいて表現している。)添え字rは回転(rotation)を意味するものである。
なお、回転分割部3での回転であるが、図8に模式例を示すように、回転角度が0°の基準姿勢の各ボクセル分割(1+Num通り)に関して、そのボクセルの中心位置を基準として回転させてボクセルを得るものとする。すなわち、図8では[1]に回転角度が0°の基準姿勢の場合の4個のボクセルが模式的に示され、これに対して共通座標系CSにおいてz軸回りに30°の回転を行ったものの模式例が[2]に、z軸回りに45°の回転を行ったものの模式例が[3]に示されている。なお、回転分割部3での回転は所定の回転行列をNum2通り予め定義しておいたものを利用すればよい。ここで、後段側処理での精度向上のために個別に必要となる処理(例えば自己位置推定における初期位置姿勢の姿勢補正として必要な処理)に応じて、何らかの1つ以上の回転軸の周りにおいて、0°〜360°のような大きな範囲内で概ね均一に回転角を割り振ったものとして複数の回転行列を用意しておいてもよいし、何らかの1つ以上の回転軸の周りにおける0°近傍の微小範囲(例えば±5°の範囲など)内で概ね均一に回転角を割り振ったものとして複数の回転行列を用意しておいてもよい。
図8のようにボクセル中心位置で回転する場合、回転されたボクセル同士に重複箇所が生じたり、回転されたボクセル間に隙間が発生したりする場合があるが、当該回転された各ボクセルにおいて独立に、各フレーム点群データDiから点群を取得するものとする。すなわち、ボクセルの重複位置においては重複している各ボクセルに点群がそれぞれ属することとなり、そのうちのいずれか1つに属することはない。また、ボクセルの隙間位置にある点群に関してはいずれのボクセルにも属さないものとして扱う。
以上、図4の第二分割部21の各部を説明した。当該各部を組み合わせることによる一連のボクセルグリッドVGk(k=0,1,2, ...)による分割に関しては、以下の3つの実施形態が可能であり、後述する比較選別の詳細説明(比較部13及び選別部14の詳細説明)も、当該3つの実施形態に応じたそれぞれを説明する。
(1)第一実施形態…共通分割部1での1通りのボクセルグリッドVG0のみの分割を適用する。
(2)第二実施形態…上記第一実施形態の共通分割部1での1通りのボクセルグリッドVG0に加えてさらに、平行移動分割部2による一連のボクセルグリッドVGk(k≧1)の分割も適用する。
(3)第三実施形態…上記第二実施形態の一連のボクセルグリッドによる分割に加えてさらに、回転分割部3による一連のボクセルグリッドの分割も適用する。
[第一計算部12及び第二計算部22]
概略説明において既に述べたように、第一計算部12は、地図点群データMDを第一分割部11で1通りのボクセルグリッドVG0によって分割された各ボクセル単位でモデル化する。また、第二計算部22は各フレーム点群データDiを第二分割部21で各実施形態に応じて分割された各ボクセル単位でモデル化する。
ここで、第一計算部12で得られるボクセル単位での地図点群モデル化データは、ボクセルの各位置に対応して1個のみ得られるものであるのに対し、第二計算部22で得られるボクセル単位での各フレーム点群データDiのモデル化データは、ボクセルとしては同じ位置あるいは重複する位置を占めていても1個以上の異なるものが得られるものである、という相違が存在することを特筆する。
例えば、図3の模式例ではフレーム点群データD1とフレーム点群データD2とで重複するボクセルがボクセルグリッドVG0において存在している。図2のフローチャートの説明の際の表記により、当該同じ位置にあるボクセル位置の1つを(u0,v0,w0)とすると、当該同じ位置(u0,v0,w0)にあるボクセルであっても、フレーム点群データD1のデータをモデル化したモデル化データmodel(D1(u0,v0,w0)[VG0])と、フレーム点群データD2のデータをモデル化したモデル化データmodel(D2(u0,v0,w0)[VG0])と、の2つの異なるモデル化データが得られることとなる。
上記の例は第二分割部21で第一実施形態を適用したものとして、同じ位置となるボクセルで異なるモデル化データが得られる場合があることを説明した。第二実施形態又は第三実施形態が適用される場合はさらに同様に、(完全に同じ位置ではないが)重複する位置となるボクセルで異なるモデル化データが得られる場合があることとなる。
第一計算部12及び第二計算部22では以上のようなそれぞれが対象とするボクセル(分割手法に応じたボクセル)及びその内部の点群データをモデル化する。具体的な当該モデル化の手法に関しては、任意の既存のモデル化手法が利用できる。例えば前掲の非特許文献3のように、各ボクセル内に位置する点群を3次元多変量正規分布のパラメータ、すなわち平均と分散共分散行列としてモデル化してもよい。データ量削減及び後段側の比較選別の高速化のために当該モデル化はデータの量子化を含むものであってもよい。
なお、第一計算部12及び第二計算部22では、ボクセル内の対象データの点群の数が所定閾値以下となる場合には、(モデル化しても信頼性を欠くものとして、)モデル化を行うことを省略してもよい。当該省略されたボクセルに関しては、最初から点群の数がゼロであるボクセルと同様に、モデル化データが存在しないものとして扱えばよい。
[比較部13]
比較部13は、第一処理として、地図点群MDのモデル化データの各ボクセルと各フレーム点群データDiのモデル化データの各ボクセルとの間において、同一空間に対応するボクセル同士又は大よそ同一の空間を含んでいるボクセル同士の持つモデル同士の距離を特定の尺度で計算したうえで、当該距離計算結果に基づいて第二処理として、地図点群MDのモデル化データの各ボクセルに関してデータ選別のための指標を求め、当該指標を比較結果として選別部14へと出力する。
第一処理におけるモデル同士の距離の計算に関しては、第一計算部12及び第二計算部22で具体的に計算したモデルの種類に応じた所定の距離(モデル同士が類似しているほどその値(非負の値)が小さくなるような距離)として計算すればよい。例えば前掲の非特許文献3のモデルを計算した場合であれば、多変量正規分布間のL2距離として計算すればよい。
また、第一処理におけるモデル同士の距離の計算に関しては、第二分割部21で各フレーム点群データDiに関して適用したボクセル分割の種別ごとに種類が区別される距離として計算を行うものとする。(すなわち、距離の計算の仕方そのものは同じであるが、ボクセル分割のされ方の違いに応じた種類の区別を設けるものとする。)すなわち、第一実施形態の場合、共通分割部1による分割のもとでの「非対称性」を考慮する距離da p(p=1, 2, ...., M)のみの1種類の距離を計算し、第二実施形態ではさらに平行移動分割部2による分割のもとでの「並進成分の違いによる量子化誤差」を考慮する距離dq p(p=1, 2, ...., M)を追加した2種類の距離を計算し、第三実施形態ではさらに回転分割部3による分割のもとでの「回転成分の違いによる量子化誤差」を考慮する距離dr p(p=1, 2, ...., M)を追加した3種類の距離を計算するものとする。
なお、上記の距離dq p(p=1, 2, ....,M)等におけるpは、第一分割部11の説明の際に用いた地図点群MDのモデル化データの各ボクセルVp map (p=1,2, …,M)を識別するものである。
さらに、第一処理における距離計算の対象となるボクセル同士の対応付けに関しては、共通分割部1による分割の場合は、地図点群MDのモデル化データの各ボクセルと各フレーム点群データDiのモデル化データの各ボクセルとは同じボクセルグリッドVG0で分割されたものであるため、同位置のボクセル同士を距離計算対象として対応付ければよい。平行移動分割部2又は回転分割部3による分割の場合、地図点群MDのモデル化データの各ボクセルと各フレーム点群データDiのモデル化データの各ボクセルとは一般に位置がずれたものとなっているので、最も重複が多いボクセル又は最も中心間の距離が小さいボクセルを距離計算対象として対応付ければよい。
さらに、上記対応付けた際に、地図点群MDのモデル化データの各ボクセルに関して、対応付けられたボクセル数をカウントしておくものとする。「非対称性」を考慮する距離da p(p=1, 2, ...., M)の計算対象として対応付けたボクセル数をNaとし、「並進成分の違いによる量子化誤差」を考慮する距離dq p(p=1, 2, ...., M)の計算対象として対応付けたボクセル数をNqとし、「回転成分の違いによる量子化誤差」を考慮する距離dr p(p=1, 2, ...., M)の計算対象として対応付けたボクセル数をNrとする。
ここで、「p」で識別される地図点群MDのモデル化データのある一つのボクセルVp map (p=1,2, …,Mのいずれか)に関して、距離da pは対応付けられたフレーム点群データDiのモデル化データのボクセルNa個に関してそれぞれ計算され、距離dq pは対応付けられたフレーム点群データDiのモデル化データのボクセルNq個に関してそれぞれ計算され、距離dr pは対応付けられたフレーム点群データDiのモデル化データのボクセルNr個に関してそれぞれ計算されるものであり、当該個数Na個、Nq個及びNr個は2以上となる場合も(一般に頻繁に)あることを特筆する。後述する(数式7)、(数式8)及び(数式9)での和は、このように対応付けられたそれぞれNa個、Nq個及びNr個に関する和である。
第二処理では、上記対応付けられたNa個、Nq個及びNr個の各距離をそれぞれ累積加算し、且つ、当該各個数で以下の(数式7)、(数式8)及び(数式9)のように当該累積加算和を正規化することにより、「p」で指定される地図点群MDのモデル化データの各ボクセルVp mapに関して、「非対称性」を考慮する正規化された距離dnorm,a p、「並進成分の違いによる量子化誤差」を考慮する正規化された距離dnorm,q p及び「回転成分の違いによる量子化誤差」を考慮する正規化された距離dnorm,r pをそれぞれ指標として求める。
dnorm,a p=Σda p/Na (数式7)
dnorm,q p=Σdq p/Nq (数式8)
dnorm,r p=Σdr p/Nr (数式9)
[選別部14]
選別部14では、上記(数式7)、(数式8)及び(数式9)の指標を用いて、「p」で指定される地図点群MDのモデル化データの各ボクセル各ボクセルVp mapの中から選別を行う。
第一実施形態においては、前述の通り共通分割部1による分割VG0のみが適用されることから、(数式7)の「非対称性」を考慮する正規化された距離dnorm,a pのみが求まっている。そこで、選別部4では当該正規化距離が閾値TH11以下となるような一連のボクセルVp map又は当該正規化距離が小さい順からの順位が閾値TH12以内に収まるような一連のボクセルVp mapを選別対象とすればよい。
第二実施形態においては、上記第一実施形態で選別対象となった一連のボクセルVp mapの中から、さらに(数式8)の「並進成分の違いによる量子化誤差」を考慮する正規化された距離dnorm,q pに基づく選別を行ったものを最終的な選別結果とすればよい。なお、第二実施形態においては第一実施形態の閾値TH11,TH12を第一実施形態におけるものとは別の値として設定してもよい。
ここで、「並進成分の違いによる量子化誤差」を考慮する正規化された距離dnorm,q pに基づく選別に関しては、後段側処理で何を重視するかの考え方の違いにより以下の2通りの実施形態(A)、(B)が可能である。
(A)前述の図6の例のように量子化するボクセルグリッドの位置がわずかに異なることで顕著に変化するようなボクセルのデータを後段側処理において重要視する場合、正規化された距離dnorm,q pが閾値判定で小さいと判定されるもの、又は正規化された距離dnorm,q pが小さい側の上位所定数を選別対象とすればよい。
(B)逆に、前述の図7の例のように量子化するボクセルグリッドの位置がわずかに異なったとしてもほとんど変化しないようなボクセルのデータを後段側処理において重要視する場合、正規化された距離dnorm,q pが閾値判定で大きいと判定されるもの、又は正規化された距離dnorm,q pが大きい側の上位所定数を選別対象とすればよい。
第三実施形態においては、上記第二実施形態で選別対象となった一連のボクセルVp mapの中から、さらに(数式9)の「回転成分の違いによる量子化誤差」を考慮する正規化された距離dnorm,r pに基づく選別を行ったものを最終的な選別結果とすればよい。なお、第三実施形態においては第二実施形態の各閾値を第二実施形態で設定したものとは別の値として設定してもよい。
ここで、同じく量子化誤差を考慮している第二実施形態と全く同様に、「回転成分の違いによる量子化誤差」を考慮する正規化された距離dnorm,r pに基づく選別に関しては、後段側処理で何を重視するかの考え方の違いにより以下の2通りの実施形態(A)、(B)が可能である。
(A)前述の位置に関する図6の例における量子化するボクセルグリッドの位置に代えて、これと同様に回転成分がわずかに異なることで顕著に変化するようなボクセルのデータを後段側処理において重要視する場合、正規化された距離dnorm,r pが閾値判定で小さいと判定されるもの、又は正規化された距離dnorm,r pが小さい側の上位所定数を選別対象とすればよい。
(B)逆に、前述の位置に関する図7の例における量子化するボクセルグリッドの位置に代えて、これと同様に回転成分がわずかに異なったとしてもほとんど変化しないようなボクセルのデータを後段側処理において重要視する場合、正規化された距離dnorm,r pが閾値判定で大きいと判定されるもの、又は正規化された距離dnorm,r pが大きい側の上位所定数を選別対象とすればよい。
以上、本発明の選別装置10によれば、後段側処理の精度等を確保したうえで効果的に当該後段側処理に供するデータ量を削減するようにすることが可能である。以下、本発明の説明上の補足を何点か述べる。
(1)以上の説明より明らかなように、第二分割部21に関して、第四実施形態として、共通分割部1及び回転分割部3の分割を適用し、平行移動分割部2の分割適用は省略するようにすることも可能である。この場合、回転分割部3では具体的に、共通分割部1で分割した1通りのボクセルグリッドVG0のみを回転角度が0°の基準姿勢にあるものとし、これらにそれぞれ所定のNum2通りの回転変換を施した一連のボクセルグリッドにおいて、各フレーム点群データDiをボクセル分割する。すなわち、回転分割部3でのボクセル分割のパターン数はNum2通りとなる。(前述のNum=0とすればよい。)比較選別処理も同様に当該省略された場合に対して実施すればよい。
(2)本発明は後段側処理の典型例として自己位置推定を想定し、地図点群データMDをボクセル化してのモデル化データのデータ量削減を実現することを説明してきた。しかし、本発明は必ずしも現実の都市空間等のフィールドにおいて取得された地図点群データのみならず、任意の対象における参照点群データを対象としても全く同様に実施可能である。ただしこの場合も、フレーム点群データDi及びその位置姿勢PAiに相当する情報は、当該任意の参照点群データに付随する情報として用意しておく必要がある。
(3)選別装置10は一般的な構成のコンピュータとして実現可能である。すなわち、CPU(中央演算装置)、当該CPUにワークエリアを提供する主記憶装置、ハードディスクやSSDその他で構成可能な補助記憶装置、キーボード、マウス、タッチパネルその他といったユーザからの入力を受け取る入力インタフェース、ネットワークに接続して通信を行うための通信インタフェース、表示を行うディスプレイ、カメラ及びこれらを接続するバスを備えるような、一般的なコンピュータによって選別装置10を構成することができる。さらに、図1に示す選別装置10の各部の処理はそれぞれ、当該処理を実行させるプログラムを読み込んで実行するCPUによって実現することができるが、任意の一部の処理を別途の専用回路等(GPUを含む)において実現するようにしてもよい。
10…選別装置、11…第一分割部、12…第一計算部、13…比較部、14…選別部、20…整列部、21…第二分割部、22…第二計算部

Claims (7)

  1. 複数の位置姿勢においてそれぞれ取得されたフレーム点群データ同士を共通座標系において統合した参照点群データをボクセル分割する第一分割部と、
    前記ボクセル分割された参照点群データをモデル化してボクセルごとの参照点群モデル化データを得る第一計算部と、
    前記共通座標系に基づいて前記複数の位置姿勢において取得されたフレーム点群データをそれぞれボクセル分割する第二分割部と、
    前記取得された位置姿勢ごとに前記ボクセル分割されたフレーム点群データをモデル化して、位置姿勢ごと及びボクセルごとのフレーム点群モデル化データを得る第二計算部と、
    前記第一計算部で得たボクセル毎の参照点群モデル化データと、前記第二計算部で得た位置姿勢ごと及びボクセルごとのフレーム点群モデル化データと、を比較する比較部と、
    前記比較部での比較結果に基づいて前記第一計算部で得たボクセル毎の参照点群モデル化データから選別を行う選別部と、を備えることを特徴とする選別装置。
  2. 前記第二分割部では前記共通座標系において前記第一分割部において分割したのと共通のボクセルグリッドによってボクセルに分割することを含めてボクセル分割し、
    前記選別部では、前記比較部において比較されることにより、前記第一計算部で得たボクセル毎の参照点群モデル化データと、前記第二計算部で得た位置姿勢ごと及び前記共通のボクセルグリッドにおけるボクセルごとのフレーム点群モデル化データと、の間で類似していると判定されたものを優先して、前記選別を行うことを特徴とする請求項1に記載の選別装置。
  3. 前記第二分割部では前記共通座標系において前記第一分割部において分割したのと共通のボクセルグリッドをサブボクセル単位で並進移動した一連のボクセルグリッドによってボクセルに分割することを含めてボクセル分割し、
    前記選別部では、前記比較部において比較されることにより、前記第一計算部で得たボクセル毎の参照点群モデル化データと、前記第二計算部で得た位置姿勢ごと及び前記一連のボクセルグリッドにおけるボクセルごとのフレーム点群モデル化データと、の間で類似していると判定されたものを優先して、前記選別を行うことを特徴とする請求項1または2に記載の選別装置。
  4. 前記第二分割部では前記共通座標系において前記第一分割部において分割したのと共通のボクセルグリッドをサブボクセル単位で並進移動した一連のボクセルグリッドによってボクセルに分割することを含めてボクセル分割し、
    前記選別部では、前記比較部において比較されることにより、前記第一計算部で得たボクセル毎の参照点群モデル化データと、前記第二計算部で得た位置姿勢ごと及び前記一連のボクセルグリッドにおけるボクセルごとのフレーム点群モデル化データと、の間で類似していないと判定されたものを優先して、前記選別を行うことを特徴とする請求項1または2に記載の選別装置。
  5. 前記第二分割部では、前記共通座標系において前記第一分割部において分割したのと共通のボクセルグリッド及び当該共通のボクセルグリッドをサブボクセル単位で並進移動した一連のボクセルグリッドをさらにボクセル毎に回転して得られる複数の回転ボクセルグリッドによってボクセルに分割することを含めてボクセル分割し、前記比較部において比較される前記一連のボクセルグリッドに当該複数の回転ボクセルグリッドを含めることを特徴とする請求項3または4に記載の選別装置。
  6. 複数の位置姿勢においてそれぞれ取得されたフレーム点群データ同士を共通座標系において統合した参照点群データをボクセル分割する第一分割段階と、
    前記ボクセル分割された参照点群データをモデル化してボクセルごとの参照点群モデル化データを得る第一計算段階と、
    前記共通座標系に基づいて前記複数の位置姿勢において取得されたフレーム点群データをそれぞれボクセル分割する第二分割段階と、
    前記取得された位置姿勢ごとに前記ボクセル分割されたフレーム点群データをモデル化して、位置姿勢ごと及びボクセルごとのフレーム点群モデル化データを得る第二計算段階と、
    前記第一計算段階で得たボクセル毎の参照点群モデル化データと、前記第二計算段階で得た位置姿勢ごと及びボクセルごとのフレーム点群モデル化データと、を比較する比較段階と、
    前記比較段階での比較結果に基づいて前記第一計算段階で得たボクセル毎の参照点群モデル化データから選別を行う選別段階と、を備えることを特徴とする方法。
  7. コンピュータを請求項1ないし5のいずれかに記載の選別装置として機能させることを特徴とするプログラム。
JP2017178016A 2017-09-15 2017-09-15 選別装置、方法及びプログラム Active JP6853150B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017178016A JP6853150B2 (ja) 2017-09-15 2017-09-15 選別装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017178016A JP6853150B2 (ja) 2017-09-15 2017-09-15 選別装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019053597A true JP2019053597A (ja) 2019-04-04
JP6853150B2 JP6853150B2 (ja) 2021-03-31

Family

ID=66014269

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017178016A Active JP6853150B2 (ja) 2017-09-15 2017-09-15 選別装置、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6853150B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220098572A (ko) * 2021-01-04 2022-07-12 광운대학교 산학협력단 3차원 그래프 뉴럴 네트워크 검출을 이용하여 증강현실 서비스를 제공하고 재생하는 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003123057A (ja) * 2001-10-15 2003-04-25 Minolta Co Ltd 3次元形状モデルの生成方法および装置
WO2007069721A1 (ja) * 2005-12-16 2007-06-21 Ihi Corporation 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置
JP2016217941A (ja) * 2015-05-22 2016-12-22 株式会社東芝 3次元データ評価装置、3次元データ測定システム、および3次元計測方法
JP2016224674A (ja) * 2015-05-29 2016-12-28 株式会社日立製作所 点群データモデル化装置、および点群データモデル化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003123057A (ja) * 2001-10-15 2003-04-25 Minolta Co Ltd 3次元形状モデルの生成方法および装置
WO2007069721A1 (ja) * 2005-12-16 2007-06-21 Ihi Corporation 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置
JP2016217941A (ja) * 2015-05-22 2016-12-22 株式会社東芝 3次元データ評価装置、3次元データ測定システム、および3次元計測方法
JP2016224674A (ja) * 2015-05-29 2016-12-28 株式会社日立製作所 点群データモデル化装置、および点群データモデル化方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220098572A (ko) * 2021-01-04 2022-07-12 광운대학교 산학협력단 3차원 그래프 뉴럴 네트워크 검출을 이용하여 증강현실 서비스를 제공하고 재생하는 장치 및 방법
KR102521565B1 (ko) * 2021-01-04 2023-04-13 광운대학교 산학협력단 3차원 그래프 뉴럴 네트워크 검출을 이용하여 증강현실 서비스를 제공하고 재생하는 장치 및 방법

Also Published As

Publication number Publication date
JP6853150B2 (ja) 2021-03-31

Similar Documents

Publication Publication Date Title
Riegler et al. Octnetfusion: Learning depth fusion from data
Xu et al. Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor
Murali et al. Indoor Scan2BIM: Building information models of house interiors
WO2024077812A1 (zh) 基于点云语义分割与结构拟合的单体建筑三维重建方法
CN109272524B (zh) 一种基于阈值分割的小尺度点云噪声去噪方法
Wang et al. Modeling indoor spaces using decomposition and reconstruction of structural elements
CN111696210A (zh) 一种基于三维点云数据特征轻量化的点云重构方法及系统
CN107622530B (zh) 一种高效鲁棒的三角网切割方法
Park et al. Real-time 3D registration using GPU
Chen et al. Denoising of point cloud data for computer-aided design, engineering, and manufacturing
Han et al. DiLO: Direct light detection and ranging odometry based on spherical range images for autonomous driving
Verykokou et al. A Comparative analysis of different software packages for 3D Modelling of complex geometries
Zhou 3D urban modeling from city-scale aerial LiDAR data
JP6853150B2 (ja) 選別装置、方法及びプログラム
JP6761388B2 (ja) 推定装置及びプログラム
Kudelski et al. 3D feature line detection based on vertex labeling and 2D skeletonization
Dong et al. Lightweight and edge-preserving speckle matching network for precise single-shot 3D shape measurement
Soldea et al. Global segmentation and curvature analysis of volumetric data sets using trivariate b-spline functions
Kudelski et al. Feature line extraction on meshes through vertex marking and 2D topological operators
CN113436235B (zh) 一种激光雷达与视觉点云的初始化自动配准方法
Sahebdivani et al. Deep learning based classification of color point cloud for 3D reconstruction of interior elements of buildings
Zeng et al. Integrating as-built BIM model from point cloud data in construction projects
Yang et al. A systemic point-cloud de-noising and smoothing method for 3D shape reuse
Carvalho et al. Technical Report: Co-learning of geometry and semantics for online 3D mapping
Denker et al. On-line reconstruction of CAD geometry

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210311

R150 Certificate of patent or registration of utility model

Ref document number: 6853150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150