JP2020109626A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2020109626A5 JP2020109626A5 JP2019221896A JP2019221896A JP2020109626A5 JP 2020109626 A5 JP2020109626 A5 JP 2020109626A5 JP 2019221896 A JP2019221896 A JP 2019221896A JP 2019221896 A JP2019221896 A JP 2019221896A JP 2020109626 A5 JP2020109626 A5 JP 2020109626A5
- Authority
- JP
- Japan
- Prior art keywords
- point
- points
- point cloud
- cluster
- articulatable portion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Claims (22)
- コンピュータ実装方法であって、
少なくとも1つの関節運動可能な部分を有する物理的オブジェクトに関連付けられた第1の3次元ポイントクラウドを取得することであって、前記第1のポイントクラウドが、前記関節運動可能な部分の関節運動前の前記物理的オブジェクトに関連付けられている、ことと、
前記関節運動可能な部分の関節運動後の前記物理的オブジェクトに関連付けられた第2の3次元ポイントクラウドを取得することと、
前記第1及び第2のポイントクラウドを粗く位置合わせすることと、
前記第1及び第2のポイントクラウドを粗く位置合わせした後に、前記第1及び第2のポイントクラウドを細かく位置合わせすることと、
前記細かく位置合わせされた第1及び第2のポイントクラウド上で動作することであって、
前記第2のポイントクラウド内のポイントに対する前記第1のポイントクラウド内の最近傍のポイントを見つけることと、
前記第2のポイントクラウド内の残りのポイントが前記関節運動可能な部分に関連付けられたポイント及びノイズに関連付けられたポイントを含むように、前記第2のポイントクラウド内の前記最近傍のポイントを排除することと、
によって、前記細かく位置合わせされた第1及び第2のポイントクラウド上で動作することと、
前記ノイズポイントを含まずに、前記関節運動可能な部分に関連付けられた前記第2のポイントクラウドの少なくとも前記残りのポイントを含む出力を生成することと、を含む、方法。 - 前記第1及び第2のポイントクラウドを粗く位置合わせすることが、
前記第1及び第2のポイントクラウドから高速点特徴ヒストグラム(FPFH)記述子を計算することと、
前記第1及び第2のポイントクラウドの前記FPFH記述子を使用して前記第1のポイントクラウドと前記第2のポイントクラウドとの間のランダムサンプルコンセンサス(RANSAC)レジストレーションを実行することと、を含む、請求項1に記載の方法。 - 前記FPFH記述子を計算する前に、前記第1及び第2のポイントクラウドをダウンサンプリングすることを含む、請求項2に記載の方法。
- 前記第1及び第2のポイントクラウドを細かく位置合わせすることが、前記粗く位置合わせされた前記第1及び第2のポイントクラウド上で反復最近傍点(ICP)レジストレーションを実行することを含む、請求項1に記載の方法。
- 前記第2のポイントクラウド内の前記残りのポイントにクラスタリングを適用して、ノイズポイントクラスタ、及び前記関節運動可能な部分に関連付けられたポイントのクラスタを生成することと、
前記関節運動可能な部分に関連付けられた前記ポイントのクラスタを前記ノイズポイントクラスタと区別することと、を更に含み、
前記生成された出力が、前記ノイズポイントクラスタを含まずに、前記関節運動可能な部分に関連付けられた少なくとも前記ポイントのクラスタを含む、請求項1に記載の方法。 - 前記関節運動可能な部分に関連付けられた前記ポイントのクラスタを前記ノイズポイントクラスタと区別することが、
前記第1のポイントクラウド内の前記関節運動可能な部分の場所を識別するユーザ入力を受信することと、
前記ユーザ識別された場所にあるポイントのクラスタを、前記関節運動可能な部分に関連付けられた前記ポイントのクラスタとして選択することと、を含む、請求項5に記載の方法。 - 前記関節運動可能な部分に関連付けられた前記ポイントのクラスタを前記ノイズポイントクラスタと区別することが、
前記ポイントのクラスタのそれぞれのサイズをアルゴリズム的に判定することと、
最大のポイントのクラスタを、前記関節運動可能な部分に関連付けられた前記ポイントのクラスタとして選択することと、を含む、請求項5に記載の方法。 - クラスタリングを適用することが、ノイズを有するアプリケーションの密度ベースの空間クラスタリング(DBSCAN)を前記第2のポイントクラウド内の前記残りのポイントに適用することを含む、請求項5に記載の方法。
- 前記最近傍のポイントを見つけることが、k次元ツリー(k-dツリー)及び所定の距離閾値を使用して、前記第2のポイントクラウド内のポイントに対する前記第1のポイントクラウド内の前記最近傍のポイントを見つけることを含む、請求項1に記載の方法。
- 前記生成された出力が、前記第1のポイントクラウド上に重ね合わせられた前記関節運動可能な部分に関連付けられた前記第2のポイントクラウドのポイントを含む、請求項1に記載の方法。
- 前記出力が、グラフィック出力及びデータ構造出力の一方又は両方を含む、請求項1に記載の方法。
- 装置であって、
入力インターフェース及び出力インターフェースであって、前記入力インターフェースが、
少なくとも1つの関節運動可能な部分を有する物理的オブジェクトに関連付けられた第1の3次元ポイントクラウドであって、前記第1のポイントクラウドが、前記関節運動可能な部分の関節運動前の前記物理的オブジェクトに関連付けられている、第1の3次元ポイントクラウドと、
前記関節運動可能な部分の関節運動後の前記物理的オブジェクトに関連付けられた第2の3次元ポイントクラウドと、を受信するように構成されている、入力インターフェース及び出力インターフェースと、
前記入力インターフェースに動作可能に連結され、かつ前記第1及び第2のポイントクラウド並びにプログラムコードを記憶するように構成されたメモリと、
前記入力インターフェース、前記出力インターフェース、及び前記メモリに動作可能に連結されたプロセッサであって、前記プログラムコードが、前記プロセッサによって実行されると、前記プロセッサに、
前記第1及び第2のポイントクラウドを粗く位置合わせすることと、
前記第1及び第2のポイントクラウドを粗く位置合わせした後に、前記第1及び第2のポイントクラウドを細かく位置合わせすることと、
前記細かく位置合わせされた第1及び第2のポイントクラウド上で動作することであって、
前記第2のポイントクラウド内のポイントに対する前記第1のポイントクラウド内の最近傍のポイントを見つけ、
前記第2のポイントクラウド内の残りのポイントが前記関節運動可能な部分に関連付けられたポイント及びノイズに関連付けられたポイントを含むように、前記第2のポイントクラウド内の前記最近傍のポイントを排除する、
ように、前記細かく位置合わせされた第1及び第2のポイントクラウド上で動作することと、
前記ノイズポイントを含まずに、前記関節運動可能な部分に関連付けられた前記第2のポイントクラウドの少なくとも前記残りのポイントを含む出力を生成することと、
前記出力を前記出力インターフェースに伝達することと、を行わせる、プロセッサと、を備える、装置。 - 前記プロセッサが、
前記第1及び第2のポイントクラウドから高速点特徴ヒストグラム(FPFH)記述子を計算することと、
前記第1及び第2のポイントクラウドの前記FPFH記述子を使用して前記第1のポイントクラウドと前記第2のポイントクラウドとの間のランダムサンプルコンセンサス(RANSAC)レジストレーションを実行することと、によって、前記第1及び第2のポイントクラウドを粗く位置合わせするように構成されている、請求項12に記載の装置。 - 前記プロセッサが、前記FPFH記述子を計算する前に、前記第1及び第2のポイントクラウドをダウンサンプリングするように構成されている、請求項13に記載の装置。
- 前記プロセッサが、前記粗く位置合わせされた前記第1及び第2のポイントクラウド上で反復最近傍点(ICP)レジストレーションを実行することによって、前記第1及び第2のポイントクラウドを細かく位置合わせするように構成されている、請求項12に記載の装置。
- 前記プロセッサが、
前記第2のポイントクラウド内の前記残りのポイントにクラスタリングを適用して、ノイズポイントクラスタ、及び前記関節運動可能な部分に関連付けられたポイントのクラスタを生成し、
前記関節運動可能な部分に関連付けられた前記ポイントのクラスタを前記ノイズポイントクラスタと区別する、ように構成されており、
前記プロセッサによって生成された前記出力が、前記ノイズポイントクラスタを含まずに、前記関節運動可能な部分に関連付けられた少なくとも前記ポイントのクラスタを含む、請求項12に記載の装置。 - 前記プロセッサが、
前記第1のポイントクラウド内の前記関節運動可能な部分の場所を識別するユーザ入力を受信することと、
前記ユーザ識別された場所にあるポイントのクラスタを、前記関節運動可能な部分に関連付けられた前記ポイントのクラスタとして選択することと、によって、前記関節運動可能な部分に関連付けられた前記ポイントのクラスタを前記ノイズポイントクラスタと区別するように構成されている、請求項16に記載の装置。 - 前記プロセッサが、
前記ポイントのクラスタのそれぞれのサイズをアルゴリズム的に判定することと、
最大のポイントのクラスタを、前記関節運動可能な部分に関連付けられた前記ポイントのクラスタとして選択することと、によって、前記関節運動可能な部分に関連付けられた前記ポイントのクラスタを前記ノイズポイントクラスタと区別するように構成されている、請求項16に記載の装置。 - 前記プロセッサが、ノイズを有するアプリケーションの密度ベースの空間クラスタリング(DBSCAN)を前記第2のポイントクラウド内の前記残りのポイントに適用するように構成されている、請求項16に記載の装置。
- 前記プロセッサが、前記第2のポイントクラウド内のポイントに対する前記第1のポイントクラウド内の前記最近傍のポイントを見つけるために、k次元ツリー(k-dツリー)及び所定の距離閾値を使用して前記最近傍のポイントを見つけるように構成されている、請求項12に記載の装置。
- 前記プロセッサによって生成された前記出力が、前記第1のポイントクラウド上に重ね合わせられた前記関節運動可能な部分に関連付けられた前記第2のポイントクラウドのポイントを含む、請求項12に記載の装置。
- 前記プロセッサによって生成された前記出力が、グラフィック出力及びデータ構造出力の一方又は両方を含む、請求項12に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/235,434 | 2018-12-28 | ||
US16/235,434 US10896317B2 (en) | 2018-12-28 | 2018-12-28 | Apparatus and method for identifying an articulatable part of a physical object using multiple 3D point clouds |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020109626A JP2020109626A (ja) | 2020-07-16 |
JP2020109626A5 true JP2020109626A5 (ja) | 2022-12-19 |
JP7312685B2 JP7312685B2 (ja) | 2023-07-21 |
Family
ID=69055788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019221896A Active JP7312685B2 (ja) | 2018-12-28 | 2019-12-09 | 複数の3dポイントクラウドを使用して物理的オブジェクトの関節運動可能な部分を識別するための装置及び方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US10896317B2 (ja) |
EP (1) | EP3675040B1 (ja) |
JP (1) | JP7312685B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11003959B1 (en) * | 2019-06-13 | 2021-05-11 | Amazon Technologies, Inc. | Vector norm algorithmic subsystems for improving clustering solutions |
CN112907729B (zh) * | 2021-02-09 | 2022-02-11 | 南京航空航天大学 | 一种基于三维局部点云配准的复合材料预制体整体外形重建方法 |
US11403817B1 (en) * | 2021-04-14 | 2022-08-02 | Lineage Logistics, LLC | Point cloud filtering |
US11725504B2 (en) * | 2021-05-24 | 2023-08-15 | Saudi Arabian Oil Company | Contactless real-time 3D mapping of surface equipment |
WO2023192137A1 (en) * | 2022-03-26 | 2023-10-05 | Analog Devices, Inc. | Methods and systems for performing object dimensioning |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7164789B2 (en) | 2003-08-11 | 2007-01-16 | Palo Alto Research Center Incorporated | Three-dimensional active vision with glyph address carpet |
JP3966419B2 (ja) | 2004-12-15 | 2007-08-29 | 三菱電機株式会社 | 変化領域認識装置および変化認識システム |
JP2007101197A (ja) | 2005-09-30 | 2007-04-19 | Nachi Fujikoshi Corp | 物体探索装置,物体探索装置を備えるロボットシステム及び物体探索方法 |
US8452086B2 (en) | 2009-07-10 | 2013-05-28 | Palo Alto Research Center Incorporated | System and user interface for machine-assisted human labeling of pixels in an image |
JP5753422B2 (ja) | 2011-03-28 | 2015-07-22 | 国立大学法人 熊本大学 | 3dパターンマッチング方法 |
US9600711B2 (en) | 2012-08-29 | 2017-03-21 | Conduent Business Services, Llc | Method and system for automatically recognizing facial expressions via algorithmic periocular localization |
US9154773B2 (en) | 2013-03-15 | 2015-10-06 | Seiko Epson Corporation | 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations |
JP6230442B2 (ja) | 2014-02-20 | 2017-11-15 | 株式会社東芝 | 算出装置、方法及びプログラム |
US9858640B1 (en) | 2015-07-15 | 2018-01-02 | Hrl Laboratories, Llc | Device and method for merging 3D point clouds from sparsely distributed viewpoints |
EP3384428B1 (en) * | 2015-12-04 | 2023-07-26 | Autodesk, Inc. | Keypoint-based point-pair-feature for scalable automatic global registration of large rgb-d scans |
US10242282B2 (en) | 2017-03-20 | 2019-03-26 | Conduent Business Services, Llc | Video redaction method and system |
US11308673B2 (en) * | 2018-05-03 | 2022-04-19 | Magic Leap, Inc. | Using three-dimensional scans of a physical subject to determine positions and/or orientations of skeletal joints in the rigging for a virtual character |
-
2018
- 2018-12-28 US US16/235,434 patent/US10896317B2/en active Active
-
2019
- 2019-12-09 JP JP2019221896A patent/JP7312685B2/ja active Active
- 2019-12-27 EP EP19219916.4A patent/EP3675040B1/en active Active
-
2021
- 2021-01-18 US US17/151,415 patent/US11610415B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020109626A5 (ja) | ||
US8798357B2 (en) | Image-based localization | |
CN111795704A (zh) | 一种视觉点云地图的构建方法、装置 | |
Chen et al. | Action recognition from depth sequences using weighted fusion of 2D and 3D auto-correlation of gradients features | |
US20170200049A1 (en) | Object recognition trait analysis systems and methods | |
WO2017199141A1 (en) | Point cloud matching method | |
Xia et al. | Loop closure detection for visual SLAM using PCANet features | |
Gedik et al. | 3-D rigid body tracking using vision and depth sensors | |
US20170323149A1 (en) | Rotation invariant object detection | |
Zhou et al. | Is geometry enough for matching in visual localization? | |
Azzi et al. | Filtering 3D Keypoints Using GIST For Accurate Image-Based Localization. | |
Hofer et al. | Semi-Global 3D Line Modeling for Incremental Structure-from-Motion. | |
CN112465876A (zh) | 一种立体匹配方法及设备 | |
Sahin et al. | A learning-based variable size part extraction architecture for 6D object pose recovery in depth images | |
JP2021039758A (ja) | 画像間の類似度を利用した類似領域強調方法およびシステム | |
Zhang et al. | Detecting, fitting, and classifying surface primitives for infrastructure point cloud data | |
Potje et al. | Learning geodesic-aware local features from RGB-D images | |
Sun et al. | Progressive match expansion via coherent subspace constraint | |
Linh et al. | Global iterative closet point using nested annealing for initialization | |
JP2019028700A (ja) | 検証装置、方法、及びプログラム | |
Chaudhury et al. | Junction-based correspondence estimation of plant point cloud data using subgraph matching | |
JP2023056466A (ja) | グローバル測位装置及び方法 | |
JP6544482B2 (ja) | 物体認識装置、物体認識方法及び記憶媒体 | |
Zhou et al. | Hough-space-based hypothesis generation and hypothesis verification for 3D object recognition and 6D pose estimation | |
CN105074729A (zh) | 光度边缘描述 |