JP2015184061A - 抽出装置、方法及びプログラム - Google Patents

抽出装置、方法及びプログラム Download PDF

Info

Publication number
JP2015184061A
JP2015184061A JP2014058805A JP2014058805A JP2015184061A JP 2015184061 A JP2015184061 A JP 2015184061A JP 2014058805 A JP2014058805 A JP 2014058805A JP 2014058805 A JP2014058805 A JP 2014058805A JP 2015184061 A JP2015184061 A JP 2015184061A
Authority
JP
Japan
Prior art keywords
point
points
cloud data
normal
density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2014058805A
Other languages
English (en)
Inventor
朝子 金崎
Asako Kanezaki
朝子 金崎
伊藤 聡
Satoshi Ito
聡 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2014058805A priority Critical patent/JP2015184061A/ja
Priority to CN201510111384.9A priority patent/CN104930980A/zh
Priority to US14/656,849 priority patent/US20150269454A1/en
Publication of JP2015184061A publication Critical patent/JP2015184061A/ja
Abandoned legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

【課題】点群データから特徴点を高精度で抽出することができる抽出装置、方法及びプログラムを提供する。【解決手段】抽出装置10は、取得部11と、第1算出部13と、第1抽出部15と、出力部21と、を備える。取得部11は、対象物の表面上の3次元座標と、3次元座標において対象物の表面に垂直な法線ベクトルとを、含む点の集合である点群データを取得する。第1算出部13は、点群データの各点が有する法線ベクトルを用いて、法線ベクトルを表現するパラメータを軸として張られる法線空間における点群データの点の密集度を表す法線空間点密度を算出する。第1抽出部15は、点群データから、法線空間点密度の低さが所定条件を満たす1以上の点を抽出する。出力部21は、抽出された1以上の点を出力する。【選択図】図1

Description

本発明の実施形態は、抽出装置、方法及びプログラムに関する。
対象物の3次元形状を計測する場合、対象物の全てを1回で計測することは困難であるため、複数回に分けて計測することが一般的である。この場合、計測毎に得られる点群データはそれぞれ座標系が異なるため、点群データ同士で位置合わせを行うことで、全ての点群データの座標系を共通化し、全ての点群データを統合する。
一般的な位置合わせ手法では、まず、一方の点群データから複数の特徴点を抽出し、抽出した複数の特徴点それぞれに対応する対応点を他方の点群データから抽出し、抽出した複数の特徴点それぞれと抽出した複数の対応点それぞれとの対応関係から、点群データ同士の位置合わせを粗い精度で行う(以下、「第1段階の位置合わせ」と称する場合がある)。その後、一方の点群データの各点と他方の点群データの各点との位置合わせを高精度で行う(以下、「第2段階の位置合わせ」と称する場合がある)。なお、一方の点群データの各点は、一方の点群データの間引き処理後の各点であってもよいし、他方の点群データの各点は、他方の点群データの間引き処理後の各点であってもよい。
このように、点群データ同士の位置合わせは段階的に行われるため、第1段階の位置合わせにおいて点群データから特徴点を高精度で抽出することが、点群データ同士の位置合わせの高速化につながる。
ところで、第2段階の位置合わせを高速化するため、点群データから特徴点が多く残るように間引き処理を行う技術がある。この技術では、点群データの各点が有する法線ベクトルの角度を算出し、点群データから、この角度空間における分散がなるべく大きくなるような部分点群を残すように、間引き処理を行う。これにより、対象物の特徴的な形状である角(コーナー)上などには多くの点(特徴点)が残り、対象物の非特徴的な形状である平面上などにはほとんどの点(非特徴点)が残らないように、間引き処理が行われる。
S.Rusinkiewicz and M.Levoy,"Efficient Variants of the ICP Algorithm," Proceedings of 3−D Digital Imaging and Modeling(3DIM),2001.
しかしながら、上述したような従来技術は、特徴点を抽出するのではなく、非特徴点を抽出して間引く技術であるため、点群データの間引き処理後の各点には、特徴点だけでなくわずかながら非特徴点も残存してしまう。このため、上述したような従来技術を第1段階の位置合わせに適用しても点群データから特徴点を高精度で抽出することができない。
本発明が解決しようとする課題は、点群データから特徴点を高精度で抽出することができる抽出装置、方法及びプログラムを提供することを目的とする。
実施形態の抽出装置は、取得部と、第1算出部と、第1抽出部と、出力部と、を備える。取得部は、対象物の表面上の3次元座標と、当該3次元座標において前記対象物の表面に垂直な法線ベクトルとを、含む点の集合である点群データを取得する。第1算出部は、前記点群データの各点が有する前記法線ベクトルを用いて、前記法線ベクトルを表現するパラメータを軸として張られる法線空間における前記点群データの点の密集度を表す法線空間点密度を算出する。第1抽出部は、前記点群データから、前記法線空間点密度の低さが所定条件を満たす1以上の点を抽出する。出力部は、抽出された前記1以上の点を出力する。
第1実施形態の抽出装置の例を示す構成図。 第1実施形態の対象物の例を示す図。 第1実施形態の対象物の一部分での点群データの例を示す図。 第1実施形態の法線空間の例を示す図。 第1実施形態の法線空間分割領域の例を示す図。 第1実施形態の点群データからの点の抽出例を示す図。 第1実施形態の法線空間における点の抽出結果の例を示す図。 第1実施形態の対象物の一部分における点の抽出結果の例を示す図。 第1実施形態の全体処理例を示すフローチャート。 第1実施形態において法線空間点密度が法線空間分割領域に含まれる点群データの点の数の場合の抽出処理例を示すフローチャート。 第1実施形態の抽出装置を用いた位置合わせ処理例を示すフローチャート。 第2実施形態の抽出装置の例を示す構成図。 第2実施形態の第1抽出部により抽出された対象物の一部分での特徴点群データの例を示す図。 第2実施形態の位置空間の例を示す図。 第2実施形態の位置空間分割領域の例を示す図。 第2実施形態の対象物の一部分における点の抽出結果の例を示す図。 第2実施形態の全体処理例を示すフローチャート。 第3実施形態の抽出装置の例を示す構成図。 第3実施形態の全体処理例を示すフローチャート。 各実施形態の抽出装置のハードウェア構成例を示すブロック図。
以下、添付図面を参照しながら、実施形態を詳細に説明する。
(第1実施形態)
図1は、第1実施形態の抽出装置10の一例を示す構成図である。図1に示すように、抽出装置10は、取得部11と、第1算出部13と、第1抽出部15と、出力部21とを、備える。取得部11、第1算出部13、第1抽出部15、及び出力部21は、例えば、CPU(Central Processing Unit)などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、IC(Integrated Circuit)などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。
取得部11は、対象物の表面上の3次元座標と、当該3次元座標において対象物の表面に垂直な法線ベクトルとを、含む点の集合である点群データを取得する。
3次元座標は、3次元直交座標系に配置された3次元位置座標であることが好ましいが、これに限定されるものではない。3次元座標は、3次元直交座標系に変換可能な座標系に配置された3次元位置座標であってもよく、例えば、3次元極座標系や3次元円筒座標系に配置された3次元位置座標であってもよい。
法線ベクトルは、3次元直交座標系の各軸における法線方向成分を表す3要素からなるベクトルであることが好ましいが、これに限定されるものではない。法線ベクトルは、3次元直交座標系に変換可能な座標系に配置されたベクトルであってもよく、例えば、3次元極座標系や3次元円筒座標系に配置されたベクトルであってもよい。
図2は、第1実施形態の対象物30の一例を示す図であり、図3は、第1実施形態の対象物30の一部分での点群データ31の一例を示す図である。図2及び図3に示す例の場合、取得部11は、対象物30の表面上の3次元座標と、当該3次元座標において対象物30の表面に垂直な法線ベクトルとを、含む点の集合である点群データ31を取得する。
なお、取得部11が取得する点群データは、レーザセンサやステレオカメラなどを用いた3次元計測によって生成されたものであってもよいし、3D―CAD(Computer Aided Design)などのソフトウェアで生成されたものであってもよい。
また、取得部11が取得した点群データに含まれる各点は、3次元座標及び法線ベクトル以外の情報を含んでいてもよい。例えば、点群データがアクティブセンサを用いた3次元計測によって生成された場合、点群データは、各点の反射強度を更に含むことができる。また例えば、点群データが可視光カメラを用いた3次元計測によって生成された場合、点群データは、各点の輝度値を更に含むことができる。また例えば、点群データがカラーカメラを用いた3次元計測によって生成された場合、点群データは、各点の色情報を更に含むことができる。また例えば、点群データがレーザセンサやステレオカメラなどを用いた時系列の3次元計測によって生成された場合、点群データは、各点の信頼度を更に含むことができる。信頼度は、実際にその場所に点が存在することの信頼性を表す。また例えば、点群データが3D―CADによって生成された場合、点群データは、各点の色情報や材質情報など3Dモデルが保有する情報を更に含むことができる。
第1算出部13は、取得部11により取得された点群データの各点が有する法線ベクトルを用いて、法線ベクトルを表現するパラメータを軸として張られる法線空間における点群データの点の密集度を表す法線空間点密度を算出する。
図4は、第1実施形態の法線空間の一例を示す図である。図4に示す例では、第1算出部13は、点群データ31の各点が有する法線ベクトルを用いて、法線空間に点群データ31を配置している。具体的に説明すると、法線空間の軸であるnx、ny、nzは、法線方向成分を表す3要素であるため、第1算出部13は、点群データ31の各点が有する法線ベクトルを表現するパラメータに基づいて、法線空間に点群データ31を配置する。
法線空間点密度は、例えば、法線空間を分割した法線空間分割領域に含まれる点群データの点の数とすることができる。図5は、第1実施形態の法線空間分割領域の一例を示す図である。図5に示す例では、法線空間分割領域は、3次元直交座標系で表される法線空間をグリッド状に等間隔に分割した領域としているが、これに限定されるものではない。第1算出部13は、点群データ31の各点を法線空間(法線空間分割領域)に投票(配置)した後に、法線空間分割領域それぞれに含まれる点群データの点の数を算出すればよい。また、第1算出部13は、点群データの各点を該当する法線空間分割領域だけに投票するのではなく、当該点との距離が増えるほど減少する重みをかけた値を、近傍の法線空間分割領域に投票してもよい。
但し、法線空間点密度は、これに限定されるものではない。例えば、法線空間点密度は、法線空間における点群データの点毎に、点群データのうち当該点との距離が所定の範囲内である近傍点それぞれに対し、当該点と当該近傍点との距離が増えるほど減衰する関数の値を算出し、合計した値としてもよい。
距離が増えるほど減衰する関数は、例えば、正規分布の確率密度関数とすることができる。この場合、第1算出部13は、数式(1)により法線空間点密度を算出できる。
ここで、zは、法線空間点密度算出対象の点(注目点)の法線ベクトルを示し、Pは、注目点に対する近傍点の集合を示し、Zは、i番目の近傍点の法線ベクトルであり、σは、法線空間における点群データの分散を示すが、適当な定数としてもよい。
なお第1算出部13は、法線ベクトルの偏りが大きいほど法線空間点密度が減るように補正してもよい。但し、法線ベクトルの偏りは、対象物において、より測定されやすい向きの法線ベクトルに対してより大きくなる値を表すこととする。
具体的に説明すると、法線ベクトルの偏りは、法線空間分割領域の分割方法や、点群データを測定するレーザセンサやステレオカメラなどの測定機器の特性に依って生じる。
例えば、図5に示すように、法線空間分割領域が、3次元直交座標系で表される法線空間をグリッド状に等間隔に分割した領域であるとする。この場合、法線ベクトルは、半径が1である球面上に位置する。このため、この球面と各法線空間分割領域との重複領域の大きさが大きいほど、この法線空間分割領域における法線ベクトルの偏りが大きくなる。
i番目の法線空間分割領域の法線空間点密度をdとし、この法線空間分割領域に含まれる半径1の球面の表面積をSとすると、第1算出部13は、例えば、数式(2)を用いて、法線空間点密度を補正する。
また、別の補正の例として、測定機器が二眼ステレオ視等によるものであり、視野角がある範囲に限定される場合を考える。
この場合、光軸の正方向(光学中心から対象物に向かう方向)とのなす角が鋭角となる法線ベクトルは観測されず、光軸の正方向とのなす角が大きい法線ベクトルほど多く観測される。即ち、法線ベクトルの偏りが大きい。このため、第1算出部13は、光軸の正方向とのなす角が大きいほど、法線空間点密度が大きく減るような補正をしてもよい。
i番目の点の法線空間点密度をdとし、この点の持つ法線ベクトルと光軸の正方向とのなす角をRとすると、第1算出部13は、例えば、数式(3)を用いて、法線空間点密度を補正する。
なお、第1算出部13は、複数の補正を組み合わせて法線空間点密度を補正してもよく、例えば、数式(2)及び数式(3)の両方を適用してもよい。
第1抽出部15は、取得部11により取得された点群データから、第1算出部13により算出された法線空間点密度の低さが所定条件を満たす1以上の点を特徴点として抽出する。第1抽出部15は、点群データから、法線空間点密度が低い順に所定数の点を抽出してもよいし、法線空間点密度が閾値以下の点を抽出してもよい。
なお、法線空間点密度が、法線空間分割領域に含まれる点群データの点の数の場合、第1抽出部15は、法線空間分割領域に含まれる点群データの点の数を、法線空間点密度の低い順に加算した加算値を算出し、当該加算値が所定数以下の法線空間分割領域に含まれる点を点群データから抽出する。
例えば、第1抽出部15は、図6に示すように、法線空間分割領域に含まれる点群データの点の数を、法線空間点密度の低い順に並べ、法線空間点密度の低い順に法線空間点密度(点の数)を加算した加算値を算出する。そして第1抽出部15は、算出した加算値が閾値に達すると、加算値が所定数以下の法線空間分割領域に含まれる点を点群データから抽出する。例えば、図6に示す例では、所定数が22であるため、第1抽出部15は、算出した加算値が22に達すると、加算値が22以下の法線空間分割領域に含まれる点(法線空間分割領域に含まれる点の数が1〜4である法線空間分割領域に含まれる点)を点群データから抽出する。
また、図6に示す例において、閾値を4とし、第1抽出部15は、法線空間分割領域に含まれる点群データの点の数が1〜4である法線空間分割領域に含まれる点を点群データから抽出してもよい。
なお、法線空間点密度が、数式(1)により算出された値の場合、点群データの各点が法線空間点密度を有するため、この値(法線空間点密度)が低い順に所定数の点を抽出してもよいし、この値(法線空間点密度)が閾値以下の点を抽出してもよい。
図7は、第1実施形態の法線空間における点の抽出結果の一例を示す図であり、図8は、第1実施形態の対象物30の一部分における点の抽出結果の一例を示す図である。図7に示す例では、図5に示す例において、符号35〜38で示した点以外の点である1以上の点の集合(以下、「特徴点群データ41」と称する場合がある)が抽出されている。この特徴点群データ41に含まれる各点は、図8に示すように、対象物30の特徴的な形状である角(コーナー)上などに存在する特徴点となっている。
出力部21は、第1抽出部15により抽出された1以上の点を出力する。
図9は、第1実施形態の抽出装置10で行われる全体処理の手順の流れの一例を示すフローチャートである。
まず、取得部11は、点群データを取得する(ステップS101)。
続いて、第1算出部13は、取得部11により取得された点群データの各点が有する法線ベクトルを用いて、法線空間における法線空間点密度を算出する(ステップS103)。
続いて、第1抽出部15は、取得部11により取得された点群データから、第1算出部13により算出された法線空間点密度の低さが所定条件を満たす1以上の点を特徴点として抽出する(ステップS105)。
そして出力部21は、第1抽出部15により抽出された特徴点を出力する。
図10は、第1実施形態において法線空間点密度が法線空間分割領域に含まれる点群データの点の数の場合の抽出処理の手順の流れの一例を示すフローチャートである。
まず、第1算出部13は、法線空間をM個に分割し、M個の法線空間分割領域を生成する(ステップS201)。
続いて、第1算出部13は、各法線空間分割領域の内包点数N(i)を算出する(ステップS203)。なお、i=1〜Mである。
続いて、第1抽出部15は、N(i)を昇順にソートし、ソート後のインデックスiの並びを{j,j,…,j}とする(ステップS205)。
続いて、第1抽出部15は、変数k及び変数Sを0に初期化する(ステップS207)。
続いて、第1抽出部15は、kをインクリメントし、変数S(初期値0)にN(j)の値を加算する(ステップS209)。
続いて、第1抽出部15は、Sの値が所定数以下であるか否かを確認する(ステップS211)。Sの値が所定数未満であれば(ステップS211でYes)、ステップS209へ戻る。
一方、Sの値が所定数以上であれば(ステップS211でNo)、第1抽出部15は、{j,j,…,j}番目の分割領域に含まれる各点を抽出する(ステップS213)。
以上のように第1実施形態では、法線ベクトルの方向が希少である点、即ち、法線空間点密度の低い点を特徴点として抽出するので、点群データから特徴点を高精度で抽出することができる。
一般的に、法線ベクトルの方向が希少である点は、周囲の点との区別が付きやすいため特徴点となるが、法線ベクトルの方向が夥多である点は、周囲の点との区別が付きにくいため非特徴点となる。なお、法線ベクトルの方向が希少である点は、直方体の角(コーナー)や凹凸のある表面形状上に存在し、法線ベクトルの方向が夥多である点は、平面上に多く存在する。このため、特徴点を高精度で抽出するためには、法線ベクトルの方向が夥多である点を除外して、法線ベクトルの方向が希少である点を抽出する必要がある。
第1実施形態では、法線ベクトルの方向が希少である点、即ち、法線空間点密度の低い点を特徴点として抽出するので、法線空間点密度の高い非特徴点を除外して特徴点を抽出でき、点群データから特徴点を高精度で抽出することができる。
図11は、第1実施形態の抽出装置10を用いた位置合わせ処理の一例を示すフローチャートである。ここでは、特徴点の抽出以外の処理も抽出装置10が行う場合を例に取り説明するが、特徴点の抽出以外の処理は、抽出装置10以外の装置が行ってもよい。
まず、抽出装置10は、第1点群データ及び第2点群データを取得する(ステップS301)。ここで、第1点群データ及び第2点群データは、例えば、対象物を異なる位置から計測した点群データである。
続いて、抽出装置10は、第1点群データから1以上の第1特徴点を抽出し、第2点群データから1以上の第2特徴点を抽出する(ステップS303)。なお、ここでは、1以上の第2特徴点それぞれは、1以上の第1特徴点それぞれに対応する対応点であるとする。つまり、上述した抽出装置10による特徴点の抽出処理は、第1点群データから1以上の第1特徴点を抽出する際に行われる。
続いて、抽出装置10は、1以上の第1特徴点それぞれと、1以上の第2特徴点それぞれとの第1段階の位置合わせ(精度の粗い位置合わせ)を行う(ステップS305)。
続いて、抽出装置10は、第1点群データの1以上の第1点それぞれと、第2点群データの1以上の第2点それぞれとの第2段階の位置合わせ(高精度の位置合わせ)を行う(ステップS307)。
このように、位置合わせにおける特徴点の抽出に第1実施形態の抽出処理を適用することで、特徴点を高精度に抽出できるので、第1段階の位置合わせの精度が上がり、第2段階の位置合わせの高速化が可能となるため、点群データ同士の位置合わせ全体での高速化も可能となる。
(第2実施形態)
第2実施形態では、非特徴点がノイズとして含まれないように特徴点を抽出する例について説明する。以下では、第1実施形態との相違点の説明を主に行い、第1実施形態と同様の機能を有する構成要素については、第1実施形態と同様の名称・符号を付し、その説明を省略する。
図12は、第2実施形態の抽出装置110の一例を示す構成図である。図12に示すように、第2実施形態の抽出装置110では、第2算出部117及び第2抽出部119が第1実施形態と相違する。
図13は、第2実施形態の第1抽出部15により抽出された対象物30の一部分での特徴点群データ141の一例を示す図である。図13に示す例では、法線ベクトルのノイズ等の影響で、第1抽出部15により抽出された特徴点候補群データ141に非特徴点145、146が含まれている。第2実施形態では、特徴点候補群データ141から非特徴点145、146を含まないように特徴点を抽出する。
第2算出部117は、第1抽出部15により抽出された1以上の点(以下、「特徴点候補群データ」と称する場合がある)が有する3次元座標を用いて、3次元座標を表現するパラメータを軸として張られる位置空間における第1抽出部15により抽出された1以上の点の密集度を表す位置空間点密度を算出する。
図14は、第2実施形態の位置空間の一例を示す図である。図14に示す例では、第2算出部117は、特徴点候補群データ141の各点が有する3次元座標を用いて、位置空間に特徴点候補群データ141を配置している。
位置空間点密度は、例えば、位置空間を分割した位置空間分割領域に含まれる特徴点候補群データの点の数とすることができる。図15は、第2実施形態の位置空間分割領域の一例を示す図である。図15に示す例では、位置空間分割領域は、3次元直交座標系で表される位置空間をグリッド状に等間隔に分割した領域としているが、これに限定されるものではない。第2算出部117は、特徴点候補群データ141の各点を位置空間(位置空間分割領域)に投票(配置)した後に、位置空間分割領域それぞれに含まれる特徴点候補群データの点の数を算出すればよい。また、第2算出部117は、特徴点候補群データの各点を該当する位置空間分割領域だけに投票するのではなく、当該点との距離が増えるほど減少する重みをかけた値を、近傍の位置空間分割領域に投票してもよい。
但し、位置空間点密度は、これに限定されるものではない。例えば、位置空間点密度は、位置空間における特徴点候補群データの点毎に、特徴点候補群データのうち当該点との距離が所定の範囲内である近傍点それぞれに対し、当該点と当該近傍点との距離が増えるほど減衰する関数の値を算出し、合計した値としてもよい。
距離が増えるほど減衰する関数は、例えば、正規分布の確率密度関数とすることができる。この場合、第2算出部117は、数式(4)により位置空間点密度を算出できる。
ここで、xは、位置空間点密度算出対象の点(注目点)の3次元座標を示し、Qは、注目点に対する近傍点の集合を示し、xiは、i番目の近傍点の3次元座標であり、σ’は、位置空間における特徴点候補群データの分散を示すが、適当な定数としてもよい。
第2抽出部119は、第1抽出部15により抽出された特徴点候補群データから、位置空間点密度が閾値を超える1以上の点を抽出する。
図16は、第2実施形態の対象物30の一部分における点の抽出結果の一例を示す図である。図16に示す例では、図13及び図15に示す例における非特徴点145、146以外の点である1以上の点の集合(以下、「特徴点群データ151」と称する場合がある)が抽出されている。この特徴点群データ151に含まれる各点は、図16に示すように、対象物30の特徴的な形状である角(コーナー)上などに存在する特徴点となっている。
出力部21は、第2抽出部119により抽出された1以上の点を出力する。
図17は、第2実施形態の抽出装置110で行われる全体処理の手順の流れの一例を示すフローチャートである。
まず、取得部11は、点群データを取得する(ステップS401)。
続いて、第1算出部13は、取得部11により取得された点群データの各点が有する法線ベクトルを用いて、法線空間における法線空間点密度を算出する(ステップS403)。
続いて、第1抽出部15は、取得部11により取得された点群データから、第1算出部13により算出された法線空間点密度の低さが所定条件を満たす1以上の点を候補点として抽出する(ステップS405)。
続いて、第2算出部117は、第1抽出部15により抽出された特徴点候補群データが有する3次元座標を用いて、位置空間における位置空間点密度を算出する(ステップS407)。
続いて、第2抽出部119は、第1抽出部15により抽出された特徴点候補群データから、位置空間点密度が閾値を超える1以上の点を特徴点として抽出する(ステップS409)。
そして出力部21は、第2抽出部119により抽出された特徴点を出力する。
一般的に、特徴的な形状上の特徴点は位置空間において互いに近傍に位置する傾向があるが、法線ベクトルのノイズ等の影響で発生した非特徴点は位置空間上ではまばらに存在するため、近接する確率が低い。
第2実施形態では、法線ベクトルの方向が希少である点、即ち、法線空間点密度の低い点を候補点として抽出した後に、位置空間点密度が閾値を超える点、即ち、位置空間内で孤立していない点を特徴点として抽出するので、法線ベクトルのノイズ等の影響で、点群データから、ノイズにより誤算出される非特徴点を含まない特徴点を高精度で抽出することができる。
(第3実施形態)
第3実施形態では、抽出した特徴点を表示出力する例について説明する。以下では、第1実施形態との相違点の説明を主に行い、第1実施形態と同様の機能を有する構成要素については、第1実施形態と同様の名称・符号を付し、その説明を省略する。
図18は、第3実施形態の抽出装置210の一例を示す構成図である。図18に示すように、第3実施形態の抽出装置210では、表示部223が第1実施形態と相違する。
表示部223は、例えば、液晶ディスプレイなどの表示装置により実現できる。
出力部21は、第1抽出部15により抽出された1以上の点(特徴点群データ)を表示部223に表示出力させる。表示部223の表示には、特徴点群データの各点を、その点の持つ三次元座標上に配置した3Dのグラフィックスによる画像ないし動画像を用いることができる。この際、表示部223は、特徴点群データの各点を取得部11により取得された点群データの各点に重畳させて表示してもよいし、両点群を区別するために点の色や形状を変えて表示してもよい。また表示部223は、3Dのグラフィックスを用いず、特徴点群データをある視点から見た二次元の画像ないし動画像上に配置して表示してもよい。
図19は、第3実施形態の抽出装置210で行われる全体処理の手順の流れの一例を示すフローチャートである。
まず、取得部11は、点群データを取得する(ステップS501)。
続いて、第1算出部13は、取得部11により取得された点群データの各点が有する法線ベクトルを用いて、法線空間における法線空間点密度を算出する(ステップS503)。
続いて、第1抽出部15は、取得部11により取得された点群データから、第1算出部13により算出された法線空間点密度の低さが所定条件を満たす1以上の点を特徴点として抽出する(ステップS505)。
続いて、出力部21は、第1抽出部15により抽出された特徴点を表示部223に表示出力させる(ステップS507)。
以上のように第3実施形態によれば、抽出された特徴点群データの各点が妥当であるかどうかをユーザが目視で確認することができる。これにより、インタラクティブに出力結果を調整できる特徴点の算出が可能となる。
(ハードウェア構成)
図20は、上記各実施形態の抽出装置のハードウェア構成の一例を示すブロック図である。図20に示すように、上記各実施形態の抽出装置は、CPUなどの制御装置901と、ROMやRAMなどの記憶装置902と、HDDやSSDなどの外部記憶装置903と、ディスプレイなどの表示装置904と、マウスやキーボードなどの入力装置905と、通信I/F906とを、備えており、通常のコンピュータを利用したハードウェア構成で実現できる。
上記各実施形態の抽出装置で実行されるプログラムを、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、CD−R、メモリカード、DVD、フレキシブルディスク(FD)等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。
上記各実施形態の抽出装置で実行されるプログラムは、ROM等に予め組み込んで提供されるようにしてもよい。また、上記各実施形態の抽出装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記各実施形態の抽出装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。
上記各実施形態の抽出装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、例えば、制御装置901が外部記憶装置903からプログラムを記憶装置902上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。
以上説明したとおり、上記各実施形態によれば、点群データから特徴点を高精度で抽出することができる。
なお本発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
例えば、上記実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。
10、110、210 抽出装置
11 取得部
13 第1算出部
15 第1抽出部
117 第2算出部
119 第2抽出部
21 出力部
223 表示部

Claims (13)

  1. 対象物の表面上の3次元座標と、当該3次元座標において前記対象物の表面に垂直な法線ベクトルとを、含む点の集合である点群データを取得する取得部と、
    前記点群データの各点が有する前記法線ベクトルを用いて、前記法線ベクトルを表現するパラメータを軸として張られる法線空間における前記点群データの点の密集度を表す法線空間点密度を算出する第1算出部と、
    前記点群データから、前記法線空間点密度の低さが所定条件を満たす1以上の点を抽出する第1抽出部と、
    抽出された前記1以上の点を出力する出力部と、
    を備える抽出装置。
  2. 前記法線空間点密度は、前記法線空間を分割した法線空間分割領域に含まれる前記点群データの点の数である請求項1に記載の抽出装置。
  3. 前記法線空間点密度は、前記法線空間における前記点群データの点毎に、前記点群データのうち当該点との距離が所定の範囲内である近傍点それぞれに対し、当該点と当該近傍点との距離が増えるほど減衰する関数の値を算出し、合計した値である請求項1に記載の抽出装置。
  4. 前記第1抽出部は、前記点群データから、前記法線空間点密度が低い順に所定数の点を抽出する請求項1に記載の抽出装置。
  5. 前記第1抽出部は、前記法線空間分割領域に含まれる前記点群データの点の数を、前記法線空間点密度の低い順に加算した加算値を算出し、当該加算値が所定数以下の前記法線空間分割領域に含まれる点を前記点群データから抽出する請求項2に記載の抽出装置。
  6. 前記第1抽出部は、前記点群データから、前記法線空間点密度が閾値以下の点を抽出する請求項1に記載の抽出装置。
  7. 前記第1算出部は、前記法線ベクトルの偏りが大きいほど前記法線空間点密度が減るように補正する請求項1に記載の抽出装置。
  8. 前記1以上の点が有する前記3次元座標を用いて、前記3次元座標を表現するパラメータを軸として張られる位置空間における前記1以上の点の密集度を表す位置空間点密度を算出する第2算出部と、
    前記1以上の点から、前記位置空間点密度が閾値を超える1以上の点を抽出する第2抽出部と、を更に備え、
    前記出力部は、前記第2抽出部により抽出された前記1以上の点を出力する請求項1に記載の抽出装置。
  9. 前記位置空間点密度は、前記位置空間を分割した位置空間分割領域に含まれる前記1以上の点の数である請求項8に記載の抽出装置。
  10. 前記位置空間点密度は、前記位置空間における前記1以上の点毎に、前記1以上の点のうち当該点との距離が所定の範囲内である近傍点それぞれに対し、当該点と当該近傍点との距離が増えるほど減衰する関数の値を算出し、合計した値である請求項8に記載の抽出装置。
  11. 前記出力部は、前記1以上の点を表示部に表示出力させる請求項1に記載の抽出装置。
  12. 対象物の表面上の3次元座標と、当該3次元座標において前記対象物の表面に垂直な法線ベクトルとを、含む点の集合である点群データを取得する取得ステップと、
    前記点群データの各点が有する前記法線ベクトルを用いて、前記法線ベクトルを表現するパラメータを軸として張られる法線空間における前記点群データの点の密集度を表す法線空間点密度を算出する第1算出ステップと、
    前記点群データから、前記法線空間点密度の低さが所定条件を満たす1以上の点を抽出する第1抽出ステップと、
    抽出された前記1以上の点を出力する出力ステップと、
    を含む抽出方法。
  13. 対象物の表面上の3次元座標と、当該3次元座標において前記対象物の表面に垂直な法線ベクトルとを、含む点の集合である点群データを取得する取得ステップと、
    前記点群データの各点が有する前記法線ベクトルを用いて、前記法線ベクトルを表現するパラメータを軸として張られる法線空間における前記点群データの点の密集度を表す法線空間点密度を算出する第1算出ステップと、
    前記点群データから、前記法線空間点密度の低さが所定条件を満たす1以上の点を抽出する第1抽出ステップと、
    抽出された前記1以上の点を出力する出力ステップと、
    をコンピュータに実行させるためのプログラム。
JP2014058805A 2014-03-20 2014-03-20 抽出装置、方法及びプログラム Abandoned JP2015184061A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014058805A JP2015184061A (ja) 2014-03-20 2014-03-20 抽出装置、方法及びプログラム
CN201510111384.9A CN104930980A (zh) 2014-03-20 2015-03-13 提取设备和方法
US14/656,849 US20150269454A1 (en) 2014-03-20 2015-03-13 Extraction device, method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014058805A JP2015184061A (ja) 2014-03-20 2014-03-20 抽出装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2015184061A true JP2015184061A (ja) 2015-10-22

Family

ID=54118259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014058805A Abandoned JP2015184061A (ja) 2014-03-20 2014-03-20 抽出装置、方法及びプログラム

Country Status (3)

Country Link
US (1) US20150269454A1 (ja)
JP (1) JP2015184061A (ja)
CN (1) CN104930980A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019133646A (ja) * 2017-12-29 2019-08-08 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 点群データ同士のマッチング関係を確定するための方法及び装置
JP2022117991A (ja) * 2017-07-18 2022-08-12 パイオニア株式会社 表示装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109541626B (zh) * 2018-12-12 2020-12-11 华南农业大学 目标平面法向量检测装置及检测方法
CN111310664B (zh) * 2020-02-18 2022-11-22 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111694911B (zh) * 2020-06-03 2023-06-02 杭州市勘测设计研究院有限公司 一种在指定范围内生成随机分布点的方法、设备和系统
CN113421340B (zh) * 2021-06-24 2023-12-05 百特利德(大连)科技有限公司 一种点群数据特定目标数据提取的自动建模方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4017467B2 (ja) * 2002-07-23 2007-12-05 株式会社リコー 三角形メッシュデータの圧縮方法及びプログラム
DE112006003361T5 (de) * 2005-12-16 2008-10-16 Ihi Corporation Verfahren und Vorrichtung für das Aufzeichnen/Anzeigen von dreidimensionalen Formdaten und Verfahren und Vorrichtung für das Messen einer dreidimensionalen Form
JP2011175477A (ja) * 2010-02-24 2011-09-08 Canon Inc 3次元計測装置、処理方法及びプログラム
CN103247045B (zh) * 2013-04-18 2015-12-23 上海交通大学 一种从多视图中得到人造场景主方向及图像边缘的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022117991A (ja) * 2017-07-18 2022-08-12 パイオニア株式会社 表示装置
JP2019133646A (ja) * 2017-12-29 2019-08-08 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 点群データ同士のマッチング関係を確定するための方法及び装置

Also Published As

Publication number Publication date
US20150269454A1 (en) 2015-09-24
CN104930980A (zh) 2015-09-23

Similar Documents

Publication Publication Date Title
US11263816B2 (en) Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3D environment
JP2015184061A (ja) 抽出装置、方法及びプログラム
US10249052B2 (en) Stereo correspondence model fitting
JP6716996B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
US20170206676A1 (en) Information processing apparatus and control method thereof
EP3629302B1 (en) Information processing apparatus, information processing method, and storage medium
US11170246B2 (en) Recognition processing device, recognition processing method, and program
US8456470B2 (en) Lighting environment simulation system and method
JP2016179534A (ja) 情報処理装置、情報処理方法、プログラム
JP6723798B2 (ja) 情報処理装置、方法、プログラム
CN109035423B (zh) 一种房屋的虚拟三维模型的楼层分割方法及装置
JP2013088999A (ja) 建物抽出装置、方法及びプログラム
JP6518517B2 (ja) 点群データモデル化装置
CN104350525A (zh) 组合用于三维建模的窄基线和宽基线立体
CN110458954B (zh) 一种等高线生成方法、装置及设备
CN117635875B (zh) 一种三维重建方法、装置及终端
US20140002448A1 (en) Measurement support device, method and computer program product
CN112883920A (zh) 基于点云深度学习的三维人脸扫描特征点检测方法和装置
JP2013092888A (ja) データ処理装置
EP3605463B1 (en) Crossing point detector, camera calibration system, crossing point detection method, camera calibration method, and recording medium
JP6822086B2 (ja) シミュレーション装置、シミュレーション方法およびシミュレーションプログラム
JP7188798B2 (ja) 座標算出装置、座標算出方法、及びプログラム
JP6768400B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20180330514A1 (en) Selective 3d registration
JP2019219248A (ja) 点群処理装置、点群処理方法およびプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160830

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20161207