JP2020109626A5 - - Google Patents

Download PDF

Info

Publication number
JP2020109626A5
JP2020109626A5 JP2019221896A JP2019221896A JP2020109626A5 JP 2020109626 A5 JP2020109626 A5 JP 2020109626A5 JP 2019221896 A JP2019221896 A JP 2019221896A JP 2019221896 A JP2019221896 A JP 2019221896A JP 2020109626 A5 JP2020109626 A5 JP 2020109626A5
Authority
JP
Japan
Prior art keywords
point
points
point cloud
cluster
articulatable portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019221896A
Other languages
English (en)
Other versions
JP7312685B2 (ja
JP2020109626A (ja
Filing date
Publication date
Priority claimed from US16/235,434 external-priority patent/US10896317B2/en
Application filed filed Critical
Publication of JP2020109626A publication Critical patent/JP2020109626A/ja
Publication of JP2020109626A5 publication Critical patent/JP2020109626A5/ja
Application granted granted Critical
Publication of JP7312685B2 publication Critical patent/JP7312685B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (22)

  1. コンピュータ実装方法であって、
    少なくとも1つの関節運動可能な部分を有する物理的オブジェクトに関連付けられた第1の3次元ポイントクラウドを取得することであって、前記第1のポイントクラウドが、前記関節運動可能な部分の関節運動前の前記物理的オブジェクトに関連付けられている、ことと、
    前記関節運動可能な部分の関節運動後の前記物理的オブジェクトに関連付けられた第2の3次元ポイントクラウドを取得することと、
    前記第1及び第2のポイントクラウドを粗く位置合わせすることと、
    前記第1及び第2のポイントクラウドを粗く位置合わせした後に、前記第1及び第2のポイントクラウドを細かく位置合わせすることと、
    前記細かく位置合わせされた第1及び第2のポイントクラウド上で動作することであって、
    前記第2のポイントクラウド内のポイントに対する前記第1のポイントクラウド内の最近傍のポイントを見つけることと、
    前記第2のポイントクラウド内の残りのポイントが前記関節運動可能な部分に関連付けられたポイント及びノイズに関連付けられたポイントを含むように、前記第2のポイントクラウド内の前記最近傍のポイントを排除することと、
    によって、前記細かく位置合わせされた第1及び第2のポイントクラウド上で動作することと、
    前記ノイズポイントを含まずに、前記関節運動可能な部分に関連付けられた前記第2のポイントクラウドの少なくとも前記残りのポイントを含む出力を生成することと、を含む、方法。
  2. 前記第1及び第2のポイントクラウドを粗く位置合わせすることが、
    前記第1及び第2のポイントクラウドから高速点特徴ヒストグラム(FPFH)記述子を計算することと、
    前記第1及び第2のポイントクラウドの前記FPFH記述子を使用して前記第1のポイントクラウドと前記第2のポイントクラウドとの間のランダムサンプルコンセンサス(RANSAC)レジストレーションを実行することと、を含む、請求項に記載の方法。
  3. 前記FPFH記述子を計算する前に、前記第1及び第2のポイントクラウドをダウンサンプリングすることを含む、請求項に記載の方法。
  4. 前記第1及び第2のポイントクラウドを細かく位置合わせすることが、前記粗く位置合わせされた前記第1及び第2のポイントクラウド上で反復最近傍点(ICP)レジストレーションを実行することを含む、請求項に記載の方法。
  5. 前記第2のポイントクラウド内の前記残りのポイントにクラスタリングを適用して、ノイズポイントクラスタ、及び前記関節運動可能な部分に関連付けられたポイントのクラスタを生成することと、
    前記関節運動可能な部分に関連付けられた前記ポイントのクラスタを前記ノイズポイントクラスタと区別することと、を更に含み、
    前記生成された出力が、前記ノイズポイントクラスタを含まずに、前記関節運動可能な部分に関連付けられた少なくとも前記ポイントのクラスタを含む、請求項1に記載の方法。
  6. 前記関節運動可能な部分に関連付けられた前記ポイントのクラスタを前記ノイズポイントクラスタと区別することが、
    前記第1のポイントクラウド内の前記関節運動可能な部分の場所を識別するユーザ入力を受信することと、
    前記ユーザ識別された場所にあるポイントのクラスタを、前記関節運動可能な部分に関連付けられた前記ポイントのクラスタとして選択することと、を含む、請求項に記載の方法。
  7. 前記関節運動可能な部分に関連付けられた前記ポイントのクラスタを前記ノイズポイントクラスタと区別することが、
    前記ポイントのクラスタのそれぞれのサイズをアルゴリズム的に判定することと、
    最大のポイントのクラスタを、前記関節運動可能な部分に関連付けられた前記ポイントのクラスタとして選択することと、を含む、請求項に記載の方法。
  8. クラスタリングを適用することが、ノイズを有するアプリケーションの密度ベースの空間クラスタリング(DBSCAN)を前記第2のポイントクラウド内の前記残りのポイントに適用することを含む、請求項に記載の方法。
  9. 前記最近傍のポイントを見つけることが、k次元ツリー(k-dツリー)及び所定の距離閾値を使用して、前記第2のポイントクラウド内のポイントに対する前記第1のポイントクラウド内の前記最近傍のポイントを見つけることを含む、請求項1に記載の方法。
  10. 前記生成された出力が、前記第1のポイントクラウド上に重ね合わせられた前記関節運動可能な部分に関連付けられた前記第2のポイントクラウドのポイントを含む、請求項1に記載の方法。
  11. 前記出力が、グラフィック出力及びデータ構造出力の一方又は両方を含む、請求項1に記載の方法。
  12. 装置であって、
    入力インターフェース及び出力インターフェースであって、前記入力インターフェースが、
    少なくとも1つの関節運動可能な部分を有する物理的オブジェクトに関連付けられた第1の3次元ポイントクラウドであって、前記第1のポイントクラウドが、前記関節運動可能な部分の関節運動前の前記物理的オブジェクトに関連付けられている、第1の3次元ポイントクラウドと、
    前記関節運動可能な部分の関節運動後の前記物理的オブジェクトに関連付けられた第2の3次元ポイントクラウドと、を受信するように構成されている、入力インターフェース及び出力インターフェースと、
    前記入力インターフェースに動作可能に連結され、かつ前記第1及び第2のポイントクラウド並びにプログラムコードを記憶するように構成されたメモリと、
    前記入力インターフェース、前記出力インターフェース、及び前記メモリに動作可能に連結されたプロセッサであって、前記プログラムコードが、前記プロセッサによって実行されると、前記プロセッサに、
    前記第1及び第2のポイントクラウドを粗く位置合わせすることと
    前記第1及び第2のポイントクラウドを粗く位置合わせした後に、前記第1及び第2のポイントクラウドを細かく位置合わせすることと、
    前記細かく位置合わせされた第1及び第2のポイントクラウド上で動作することであって、
    前記第2のポイントクラウド内のポイントに対する前記第1のポイントクラウド内の最近傍のポイントを見つけ、
    前記第2のポイントクラウド内の残りのポイントが前記関節運動可能な部分に関連付けられたポイント及びノイズに関連付けられたポイントを含むように、前記第2のポイントクラウド内の前記最近傍のポイントを排除する、
    ように、前記細かく位置合わせされた第1及び第2のポイントクラウド上で動作することと、
    前記ノイズポイントを含まずに、前記関節運動可能な部分に関連付けられた前記第2のポイントクラウドの少なくとも前記残りのポイントを含む出力を生成することと
    前記出力を前記出力インターフェースに伝達することと、を行わせる、プロセッサと、を備える、装置。
  13. 前記プロセッサが、
    前記第1及び第2のポイントクラウドから高速点特徴ヒストグラム(FPFH)記述子を計算することと、
    前記第1及び第2のポイントクラウドの前記FPFH記述子を使用して前記第1のポイントクラウドと前記第2のポイントクラウドとの間のランダムサンプルコンセンサス(RANSAC)レジストレーションを実行することと、によって、前記第1及び第2のポイントクラウドを粗く位置合わせするように構成されている、請求項12に記載の装置。
  14. 前記プロセッサが、前記FPFH記述子を計算する前に、前記第1及び第2のポイントクラウドをダウンサンプリングするように構成されている、請求項13に記載の装置。
  15. 前記プロセッサが、前記粗く位置合わせされた前記第1及び第2のポイントクラウド上で反復最近傍点(ICP)レジストレーションを実行することによって、前記第1及び第2のポイントクラウドを細かく位置合わせするように構成されている、請求項12に記載の装置。
  16. 前記プロセッサが、
    前記第2のポイントクラウド内の前記残りのポイントにクラスタリングを適用して、ノイズポイントクラスタ、及び前記関節運動可能な部分に関連付けられたポイントのクラスタを生成し、
    前記関節運動可能な部分に関連付けられた前記ポイントのクラスタを前記ノイズポイントクラスタと区別する、ように構成されており、
    前記プロセッサによって生成された前記出力が、前記ノイズポイントクラスタを含まずに、前記関節運動可能な部分に関連付けられた少なくとも前記ポイントのクラスタを含む、請求項12に記載の装置。
  17. 前記プロセッサが、
    前記第1のポイントクラウド内の前記関節運動可能な部分の場所を識別するユーザ入力を受信することと、
    前記ユーザ識別された場所にあるポイントのクラスタを、前記関節運動可能な部分に関連付けられた前記ポイントのクラスタとして選択することと、によって、前記関節運動可能な部分に関連付けられた前記ポイントのクラスタを前記ノイズポイントクラスタと区別するように構成されている、請求項16に記載の装置。
  18. 前記プロセッサが、
    前記ポイントのクラスタのそれぞれのサイズをアルゴリズム的に判定することと、
    最大のポイントのクラスタを、前記関節運動可能な部分に関連付けられた前記ポイントのクラスタとして選択することと、によって、前記関節運動可能な部分に関連付けられた前記ポイントのクラスタを前記ノイズポイントクラスタと区別するように構成されている、請求項16に記載の装置。
  19. 前記プロセッサが、ノイズを有するアプリケーションの密度ベースの空間クラスタリング(DBSCAN)を前記第2のポイントクラウド内の前記残りのポイントに適用するように構成されている、請求項16に記載の装置。
  20. 前記プロセッサが、前記第2のポイントクラウド内のポイントに対する前記第1のポイントクラウド内の前記最近傍のポイントを見つけるために、k次元ツリー(k-dツリー)及び所定の距離閾値を使用して前記最近傍のポイントを見つけるように構成されている、請求項12に記載の装置。
  21. 前記プロセッサによって生成された前記出力が、前記第1のポイントクラウド上に重ね合わせられた前記関節運動可能な部分に関連付けられた前記第2のポイントクラウドのポイントを含む、請求項12に記載の装置。
  22. 前記プロセッサによって生成された前記出力が、グラフィック出力及びデータ構造出力の一方又は両方を含む、請求項12に記載の装置。
JP2019221896A 2018-12-28 2019-12-09 複数の3dポイントクラウドを使用して物理的オブジェクトの関節運動可能な部分を識別するための装置及び方法 Active JP7312685B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/235,434 2018-12-28
US16/235,434 US10896317B2 (en) 2018-12-28 2018-12-28 Apparatus and method for identifying an articulatable part of a physical object using multiple 3D point clouds

Publications (3)

Publication Number Publication Date
JP2020109626A JP2020109626A (ja) 2020-07-16
JP2020109626A5 true JP2020109626A5 (ja) 2022-12-19
JP7312685B2 JP7312685B2 (ja) 2023-07-21

Family

ID=69055788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019221896A Active JP7312685B2 (ja) 2018-12-28 2019-12-09 複数の3dポイントクラウドを使用して物理的オブジェクトの関節運動可能な部分を識別するための装置及び方法

Country Status (3)

Country Link
US (2) US10896317B2 (ja)
EP (1) EP3675040B1 (ja)
JP (1) JP7312685B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11003959B1 (en) * 2019-06-13 2021-05-11 Amazon Technologies, Inc. Vector norm algorithmic subsystems for improving clustering solutions
CN112907729B (zh) * 2021-02-09 2022-02-11 南京航空航天大学 一种基于三维局部点云配准的复合材料预制体整体外形重建方法
US11403817B1 (en) * 2021-04-14 2022-08-02 Lineage Logistics, LLC Point cloud filtering
US11725504B2 (en) * 2021-05-24 2023-08-15 Saudi Arabian Oil Company Contactless real-time 3D mapping of surface equipment
WO2023192137A1 (en) * 2022-03-26 2023-10-05 Analog Devices, Inc. Methods and systems for performing object dimensioning

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164789B2 (en) 2003-08-11 2007-01-16 Palo Alto Research Center Incorporated Three-dimensional active vision with glyph address carpet
JP3966419B2 (ja) 2004-12-15 2007-08-29 三菱電機株式会社 変化領域認識装置および変化認識システム
JP2007101197A (ja) 2005-09-30 2007-04-19 Nachi Fujikoshi Corp 物体探索装置,物体探索装置を備えるロボットシステム及び物体探索方法
US8452086B2 (en) 2009-07-10 2013-05-28 Palo Alto Research Center Incorporated System and user interface for machine-assisted human labeling of pixels in an image
JP5753422B2 (ja) 2011-03-28 2015-07-22 国立大学法人 熊本大学 3dパターンマッチング方法
US9600711B2 (en) 2012-08-29 2017-03-21 Conduent Business Services, Llc Method and system for automatically recognizing facial expressions via algorithmic periocular localization
US9154773B2 (en) 2013-03-15 2015-10-06 Seiko Epson Corporation 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations
JP6230442B2 (ja) 2014-02-20 2017-11-15 株式会社東芝 算出装置、方法及びプログラム
US9858640B1 (en) 2015-07-15 2018-01-02 Hrl Laboratories, Llc Device and method for merging 3D point clouds from sparsely distributed viewpoints
EP3384428B1 (en) * 2015-12-04 2023-07-26 Autodesk, Inc. Keypoint-based point-pair-feature for scalable automatic global registration of large rgb-d scans
US10242282B2 (en) 2017-03-20 2019-03-26 Conduent Business Services, Llc Video redaction method and system
US11308673B2 (en) * 2018-05-03 2022-04-19 Magic Leap, Inc. Using three-dimensional scans of a physical subject to determine positions and/or orientations of skeletal joints in the rigging for a virtual character

Similar Documents

Publication Publication Date Title
JP2020109626A5 (ja)
US8798357B2 (en) Image-based localization
CN111795704A (zh) 一种视觉点云地图的构建方法、装置
Chen et al. Action recognition from depth sequences using weighted fusion of 2D and 3D auto-correlation of gradients features
US20170200049A1 (en) Object recognition trait analysis systems and methods
WO2017199141A1 (en) Point cloud matching method
Xia et al. Loop closure detection for visual SLAM using PCANet features
Gedik et al. 3-D rigid body tracking using vision and depth sensors
US20170323149A1 (en) Rotation invariant object detection
Zhou et al. Is geometry enough for matching in visual localization?
Azzi et al. Filtering 3D Keypoints Using GIST For Accurate Image-Based Localization.
Hofer et al. Semi-Global 3D Line Modeling for Incremental Structure-from-Motion.
CN112465876A (zh) 一种立体匹配方法及设备
Sahin et al. A learning-based variable size part extraction architecture for 6D object pose recovery in depth images
JP2021039758A (ja) 画像間の類似度を利用した類似領域強調方法およびシステム
Zhang et al. Detecting, fitting, and classifying surface primitives for infrastructure point cloud data
Potje et al. Learning geodesic-aware local features from RGB-D images
Sun et al. Progressive match expansion via coherent subspace constraint
Linh et al. Global iterative closet point using nested annealing for initialization
JP2019028700A (ja) 検証装置、方法、及びプログラム
Chaudhury et al. Junction-based correspondence estimation of plant point cloud data using subgraph matching
JP2023056466A (ja) グローバル測位装置及び方法
JP6544482B2 (ja) 物体認識装置、物体認識方法及び記憶媒体
Zhou et al. Hough-space-based hypothesis generation and hypothesis verification for 3D object recognition and 6D pose estimation
CN105074729A (zh) 光度边缘描述