CN111161352B - 一种基于三角网格简化模板的物体识别方法及装置 - Google Patents

一种基于三角网格简化模板的物体识别方法及装置 Download PDF

Info

Publication number
CN111161352B
CN111161352B CN201911396019.1A CN201911396019A CN111161352B CN 111161352 B CN111161352 B CN 111161352B CN 201911396019 A CN201911396019 A CN 201911396019A CN 111161352 B CN111161352 B CN 111161352B
Authority
CN
China
Prior art keywords
triangular
template
point cloud
target
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911396019.1A
Other languages
English (en)
Other versions
CN111161352A (zh
Inventor
赵青
秦继昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Robot Vision Technology Co Ltd
Original Assignee
Seizet Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seizet Technology Shenzhen Co Ltd filed Critical Seizet Technology Shenzhen Co Ltd
Priority to CN201911396019.1A priority Critical patent/CN111161352B/zh
Publication of CN111161352A publication Critical patent/CN111161352A/zh
Application granted granted Critical
Publication of CN111161352B publication Critical patent/CN111161352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于三角网格简化模板的物体识别方法及装置，属于三维视觉技术领域，其中，方法的实现包括：获取包含待匹配物体的背景点云；基于待匹配物体的三角网格简化模板，将三角网格简化模板与背景点云进行匹配，以获取待匹配物体在背景点云中的位置和姿态。一方面，由于采用了基于三角网格的简化，保留了原始模型的特征，能较好的适应PPF、ICP这种基于模型和背景点对特征的匹配算法，保证了匹配的精度；另一方面，由于简化后的模型其数据量大大较少，克服了匹配算法在数据量大时处理速度缓慢的缺陷，提高了处理速度。

Description

一种基于三角网格简化模板的物体识别方法及装置
技术领域
本发明属于三维视觉技术领域，更具体地，涉及一种基于三角网格简化模板的物体识别方法及装置。
背景技术
随着时代的发展，在物流、工业领域广泛存在自动分拣、上下料的需求，为满足这类需求，需要通过由视觉检测设备获取到的大量杂乱无序的物品点云中准确识别出单个物体的位置和姿态，为后续抓取任务提供信息。
目前进行单个物体位置和姿态识别的方法一般为：1.获取待识别物体的模板点云；2.使用此模板通过点云配准方法(如PPF、ICP)从背景点云中识别出物体；3.输出被识别物体的位置和姿态。
上述方法用于点云配准的PPF、ICP算法对模板点云和背景点云采取基于点对特征的逐点匹配的方法，由于模板点云一般是从视觉检测设备下直接获得，其点数多、数据量大，导致上述两种逐点匹配方法处理速度缓慢，制约其使用效率。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种基于三角网格简化模板的物体识别方法及装置，由此解决现有识别方法存在的处理速度缓慢、使用效率低下的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于三角网格简化模板的物体识别方法，包括：
获取包含待匹配物体的背景点云；
基于所述待匹配物体的三角网格简化模板，将所述三角网格简化模板与所述背景点云进行匹配，以获取所述待匹配物体在所述背景点云中的位置和姿态。
优选地，在将所述三角网格简化模板与所述背景点云进行匹配之前，所述方法还包括：
获取所述待匹配物体的模板点云，基于三角网格模型对所述模板点云进行简化处理，得到所述待匹配物体的三角网格简化模板。
优选地，所述基于三角网格模型对所述模板点云进行简化处理，得到所述待匹配物体的三角网格简化模板，包括：
构造所述模板点云的三角网格，并对所述三角网格进行简化处理得到目标三角网格；
提取所述目标三角网格的顶点，根据各所述顶点的邻接三角面得到各所述顶点的法线，组合各所述顶点和各所述顶点的法线得到所述待匹配物体的三角网格简化模板。
优选地，所述构造所述模板点云的三角网格，并对所述三角网格进行简化处理得到目标三角网格，包括：
对所述模板点云进行三角化处理，得到由三角网格重建的曲面模型；
对所述曲面模型进行表面重建，得到重建后的由三角网格组成的所述目标三角网格。
优选地，所述提取所述目标三角网格的顶点，根据各所述顶点的邻接三角面得到各所述顶点的法线，包括：
提取所述目标三角网格的顶点组成顶点集合，提取所述目标三角网格的三角面组成三角面集合；
对于所述三角面集合中的任意目标三角面，由构成所述目标三角面的三个顶点得到所述目标三角面的法向量，由此得到所述三角面集合中所有三角面的法向量；
对于所述顶点集合中的任意目标顶点，获取所述目标顶点的邻接面，由各所述邻接面的法向量得到所述目标顶点的法向量。
按照本发明的另一个方面，提供了一种基于三角网格简化模板的物体识别装置，包括：
第一获取单元，用于获取包含待匹配物体的背景点云；
识别单元，用于基于所述待匹配物体的三角网格简化模板，将所述三角网格简化模板与所述背景点云进行匹配，以获取所述待匹配物体在所述背景点云中的位置和姿态。
优选地，所述装置还包括：
第二获取单元，获取所述待匹配物体的模板点云；
模板简化单元，用于基于三角网格模型对所述模板点云进行简化处理，得到所述待匹配物体的三角网格简化模板。
优选地，所述模板简化单元，包括：
第一简化单元，用于构造所述模板点云的三角网格，并对所述三角网格进行简化处理得到目标三角网格；
模板简化子单元，用于提取所述目标三角网格的顶点，根据各所述顶点的邻接三角面得到各所述顶点的法线，组合各所述顶点和各所述顶点的法线得到所述待匹配物体的三角网格简化模板。
优选地，所述第一简化单元，包括：
第一处理单元，用于对所述模板点云进行三角化处理，得到由三角网格重建的曲面模型；
表面重建单元，用于对所述曲面模型进行表面重建，得到重建后的由三角网格组成的所述目标三角网格。
优选地，所述识别单元，包括：
提取单元，用于提取所述目标三角网格的顶点组成顶点集合，提取所述目标三角网格的三角面组成三角面集合；
面法向量获取单元，用于对于所述三角面集合中的任意目标三角面，由构成所述目标三角面的三个顶点得到所述目标三角面的法向量，由此得到所述三角面集合中所有三角面的法向量；
顶点法向量获取单元，用于对于所述顶点集合中的任意目标顶点，获取所述目标顶点的邻接面，由各所述邻接面的法向量得到所述目标顶点的法向量。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本发明所提供的基于三角网格简化模板的物体识别方法，一方面，由于采用了基于三角网格的简化，保留了原始模型的特征，能较好的适应PPF、ICP这种基于模型和背景点对特征的匹配算法，保证了匹配的精度；另一方面，由于简化后的模型其数据量大大较少，克服了匹配算法在数据量大时处理速度缓慢的缺陷，提高了处理速度。
附图说明
图1是本发明实施例提供的一种基于三角网格简化模板的物体识别方法的流程示意图；
图2是本发明实施例提供的另一种基于三角网格简化模板的物体识别方法的流程示意图；
图3是本发明实施例提供的一种基于三角网格的模型点云简化效果图；
图4是本发明实施例提供的一种基于三角网格简化模板的物体识别装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明通过基于三角网格简化的方法简化点云，在减少点云数据量的同时又能保留点云模型特征，解决了匹配速度缓慢，效率低下的问题。
如图1所示是本发明实施例提供的一种基于三角网格简化模板的物体识别方法的流程示意图，在图1所示的方法中，包括以下步骤：
S1：获取包含待匹配物体的背景点云；
作为一种可选的实施方式，可以通过视觉检测设备获取包含待匹配物体的背景点云。
S2：基于待匹配物体的三角网格简化模板，将三角网格简化模板与背景点云进行匹配，以获取待匹配物体在背景点云中的位置和姿态。
如图2所示，在本发明实施例中，在将三角网格简化模板与背景点云进行匹配之前，该方法还包括获取三角网格简化模板的步骤：
获取待匹配物体的模板点云，基于三角网格模型对模板点云进行简化处理，得到待匹配物体的三角网格简化模板。
作为一种可选的实施方式，可以通过视觉检测设备获取待匹配物体的模板点云P。
作为一种可选的实施方式，可以通过以下方式实现：
构造模板点云的三角网格，并对三角网格进行简化处理得到目标三角网格；
提取所述目标三角网格的顶点，根据各所述顶点的邻接三角面得到各所述顶点的法线，组合各所述顶点和各所述顶点的法线得到所述待匹配物体的三角网格简化模板。
作为一种可选的实施方式，可以通过以下方式得到目标三角网格：
对模板点云进行三角化处理，得到由三角网格重建的曲面模型M；
对曲面模型进行表面重建，得到重建后的由三角网格组成的目标三角网格M1。
作为一种可选的实施方式，可以通过三角化算法对模板点云进行三角化处理，得到由三角网格重建的曲面模型，例如可以使用贪心投影三角化算法。
作为一种可选的实施方式，可以使用三角网格重建算法对曲面模型进行表面重建，得到重建后的由三角网格组成的目标三角网格，例如可以使用基于沃罗诺伊图(Voronoi Diagram)的三角网格重建算法。
作为一种可选的实施方式，提取目标三角网格的顶点，根据各顶点的邻接三角面得到各顶点的法线，可以通过以下方式实现：
提取目标三角网格的顶点组成顶点集合，提取目标三角网格的三角面组成三角面集合；
对于三角面集合中的任意目标三角面，由构成目标三角面的三个顶点得到目标三角面的法向量，由此得到三角面集合中所有三角面的法向量；
对于顶点集合中的任意目标顶点，获取目标顶点的邻接面，由各邻接面的法向量得到目标顶点的法向量。
具体地，提取目标三角网格的顶点集合Vertices＝{V1，V2，...，Vn}、三角面集合Faces＝{F1，F2，...，Fn}；
对Faces中任意三角面Fi，设其三个顶点为Vi，Vj，Vk，计算Fi的表面法线为NFi＝(Vi-Vj)×(Vj-Vk)，(×表示向量叉乘)，单位化NFi，在所有三角面上进行法线计算得到面法线集合NF＝{NF1，NF2，…，NFn}；
对Vertices中任意顶点Vi，设其邻接面集合为{Fi，Fj，...，Fk}，则其邻接面法线集合为{NFi，NFj，...，NFk}，计算得到Vi法线Ni＝NFi+NFj+...+NFk，单位化Ni，在所有顶点上进行法线计算得到顶点法线集合N＝{N1，N2，…，Nn}；
由顶点集合Vertices、顶点法线集合N得到简化后的三角网格简化模板S。
如图3所示为本发明实施例提供的一种基于三角网格的模型点云简化效果图，其中，左边为原始点云，右边为简化后点云。
作为一种可选的实施方式，可以使用PPF及ICP等点云配准方法，将三角网格简化模板与背景点云进行匹配，以获取待匹配物体在背景点云中的位置和姿态。
如图4所示是本发明实施例提供的一种基于三角网格简化模板的物体识别装置的结构示意图，包括：
第一获取单元201，用于获取包含待匹配物体的背景点云；
识别单元202，用于基于待匹配物体的三角网格简化模板，将三角网格简化模板与背景点云进行匹配，以获取待匹配物体在背景点云中的位置和姿态。
其中，各单元的具体实施方式可以参考方法实施例的描述，本发明实施例将不再复述。
本发明通过基于模型三角网格的简化方法简化点云，既减少了点云数据量，又能保持点云模型特征；通过使用简化的模板点云和背景点云进行匹配，减少了匹配算法(PPF、ICP)处理的数据量，在保证匹配精度的情况下提升匹配速度。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于三角网格简化模板的物体识别方法，其特征在于，包括：
获取包含待匹配物体的背景点云；
基于所述待匹配物体的三角网格简化模板，将所述三角网格简化模板与所述背景点云进行匹配，以获取所述待匹配物体在所述背景点云中的位置和姿态；
在将所述三角网格简化模板与所述背景点云进行匹配之前，所述方法还包括：
获取所述待匹配物体的模板点云，基于三角网格模型对所述模板点云进行简化处理，得到所述待匹配物体的三角网格简化模板；
所述基于三角网格模型对所述模板点云进行简化处理，得到所述待匹配物体的三角网格简化模板，包括：
构造所述模板点云的三角网格，并对所述三角网格进行简化处理得到目标三角网格；
提取所述目标三角网格的顶点，根据各所述顶点的邻接三角面得到各所述顶点的法线，组合各所述顶点和各所述顶点的法线得到所述待匹配物体的三角网格简化模板；
所述构造所述模板点云的三角网格，并对所述三角网格进行简化处理得到目标三角网格，包括：
对所述模板点云进行三角化处理，得到由三角网格重建的曲面模型；
对所述曲面模型进行表面重建，得到重建后的由三角网格组成的所述目标三角网格。
2.根据权利要求1所述的方法，其特征在于，所述提取所述目标三角网格的顶点，根据各所述顶点的邻接三角面得到各所述顶点的法线，包括：
提取所述目标三角网格的顶点组成顶点集合，提取所述目标三角网格的三角面组成三角面集合；
对于所述三角面集合中的任意目标三角面，由构成所述目标三角面的三个顶点得到所述目标三角面的法向量，由此得到所述三角面集合中所有三角面的法向量；
对于所述顶点集合中的任意目标顶点，获取所述目标顶点的邻接面，由各所述邻接面的法向量得到所述目标顶点的法向量。
3.一种基于三角网格简化模板的物体识别装置，其特征在于，包括：
第一获取单元，用于获取包含待匹配物体的背景点云；
识别单元，用于基于所述待匹配物体的三角网格简化模板，将所述三角网格简化模板与所述背景点云进行匹配，以获取所述待匹配物体在所述背景点云中的位置和姿态；
所述装置还包括：
第二获取单元，获取所述待匹配物体的模板点云；
模板简化单元，用于基于三角网格模型对所述模板点云进行简化处理，得到所述待匹配物体的三角网格简化模板；
所述模板简化单元，包括：
第一简化单元，用于构造所述模板点云的三角网格，并对所述三角网格进行简化处理得到目标三角网格；
模板简化子单元，用于提取所述目标三角网格的顶点，根据各所述顶点的邻接三角面得到各所述顶点的法线，组合各所述顶点和各所述顶点的法线得到所述待匹配物体的三角网格简化模板；
所述第一简化单元，包括：
第一处理单元，用于对所述模板点云进行三角化处理，得到由三角网格重建的曲面模型；
表面重建单元，用于对所述曲面模型进行表面重建，得到重建后的由三角网格组成的所述目标三角网格。
4.根据权利要求3所述的装置，其特征在于，所述识别单元，包括：
提取单元，用于提取所述目标三角网格的顶点组成顶点集合，提取所述目标三角网格的三角面组成三角面集合；
面法向量获取单元，用于对于所述三角面集合中的任意目标三角面，由构成所述目标三角面的三个顶点得到所述目标三角面的法向量，由此得到所述三角面集合中所有三角面的法向量；
顶点法向量获取单元，用于对于所述顶点集合中的任意目标顶点，获取所述目标顶点的邻接面，由各所述邻接面的法向量得到所述目标顶点的法向量。
CN201911396019.1A 2019-12-30 2019-12-30 一种基于三角网格简化模板的物体识别方法及装置 Active CN111161352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911396019.1A CN111161352B (zh) 2019-12-30 2019-12-30 一种基于三角网格简化模板的物体识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911396019.1A CN111161352B (zh) 2019-12-30 2019-12-30 一种基于三角网格简化模板的物体识别方法及装置

Publications (2)

Publication Number Publication Date
CN111161352A CN111161352A (zh) 2020-05-15
CN111161352B true CN111161352B (zh) 2023-11-03

Family

ID=70559186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911396019.1A Active CN111161352B (zh) 2019-12-30 2019-12-30 一种基于三角网格简化模板的物体识别方法及装置

Country Status (1)

Country Link
CN (1) CN111161352B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377865B1 (en) * 1998-02-11 2002-04-23 Raindrop Geomagic, Inc. Methods of generating three-dimensional digital models of objects by wrapping point cloud data points
US6996505B1 (en) * 2000-06-21 2006-02-07 Raindrop Geomagic, Inc. Methods, apparatus and computer program products for automatically generating nurbs models of triangulated surfaces using homeomorphisms
CN103236043A (zh) * 2013-04-28 2013-08-07 北京农业信息技术研究中心 一种植物器官点云修复方法
CN106960470A (zh) * 2017-04-05 2017-07-18 未来科技（襄阳）有限公司 三维点云曲面重建方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469446A (zh) * 2014-09-05 2016-04-06 富泰华工业（深圳）有限公司 点云网格简化系统及方法
CN105590335A (zh) * 2014-10-23 2016-05-18 富泰华工业（深圳）有限公司 点云网格精细化系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377865B1 (en) * 1998-02-11 2002-04-23 Raindrop Geomagic, Inc. Methods of generating three-dimensional digital models of objects by wrapping point cloud data points
US6996505B1 (en) * 2000-06-21 2006-02-07 Raindrop Geomagic, Inc. Methods, apparatus and computer program products for automatically generating nurbs models of triangulated surfaces using homeomorphisms
CN103236043A (zh) * 2013-04-28 2013-08-07 北京农业信息技术研究中心 一种植物器官点云修复方法
CN106960470A (zh) * 2017-04-05 2017-07-18 未来科技（襄阳）有限公司 三维点云曲面重建方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何华 ; 李宗春 ; 阮焕立 ; 付永健 ; 刘增 ; .基于二维投影的散乱点云曲面重建.北京测绘.2017,(S1),全文. *
罗 ; 黄魁东 ; 连明明 ; .基于顶点删除的三角网格模型简化新方法.微电子学与计算机.2009,(05),全文. *

Also Published As

Publication number Publication date
CN111161352A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN110340891B (zh) 基于点云模板匹配技术的机械臂定位抓取系统及方法
CN108629231B (zh) 障碍物检测方法、装置、设备及存储介质
WO2022017147A1 (zh) 点云数据的处理方法和装置、雷达装置、电子设备及计算机可读存储介质
CN107767453B (zh) 一种基于规则约束的建筑物lidar点云重构优化方法
CN102881047B (zh) 一种自动的非封闭隐式曲面重建方法
CN104299260A (zh) 一种基于sift和lbp的点云配准的接触网三维重建方法
CN110458772B (zh) 一种基于图像处理的点云滤波方法、装置和存储介质
CN103559689B (zh) 一种点云噪声点去除方法
CN106548484A (zh) 基于二维凸包的产品模型散乱点云边界特征提取方法
CN103701466A (zh) 基于特征保留的散乱点云压缩算法
CN107622530B (zh) 一种高效鲁棒的三角网切割方法
CN103310481A (zh) 一种基于模糊熵迭代的点云精简方法
CN107545602B (zh) 基于LiDAR点云的空间拓扑关系约束下的建筑物建模方法
CN104299241A (zh) 基于 Hadoop 的遥感图像显著性目标检测方法及系统
CN110176071A (zh) 一种基于特征模板的三维点云重构方法
CN111275821A (zh) 一种电力线拟合方法、系统及终端
CN114241018A (zh) 一种牙齿点云配准方法、系统及可读存储介质
CN105469402A (zh) 基于空间形状上下文特征的汽车零件识别方法
CN114241155A (zh) 一种基于车载激光点云数据的城市树木三维可视化方法
CN111161352B (zh) 一种基于三角网格简化模板的物体识别方法及装置
CN105701861A (zh) 点云采样方法及系统
CN116051540B (zh) 基于点云模型的互感器接线端子定位位姿获取方法及系统
CN113298838A (zh) 一种物体轮廓线提取方法及系统
Kudelski et al. 3D feature line detection based on vertex labeling and 2D skeletonization
CN116452604A (zh) 一种复杂变电站场景分割方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231201

Address after: 518000, Building 5, Building C, Building C, Huaqiang Creative Park, Biyan Community, Guangming Street, Guangming District, Shenzhen, Guangdong Province, China 1301

Patentee after: SHENZHEN ROBOT VISION TECHNOLOGY Co.,Ltd.

Address before: 518031 703, 7th floor, Zhongdian Difu building, Zhenhua Road, Fuqiang community, Huaqiang North Street, Futian District, Shenzhen City, Guangdong Province

Patentee before: SHANGZHI TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right