CN111881892A - 有序点云5d纹理网格数据结构生成方法、装置、设备及介质 - Google Patents

有序点云5d纹理网格数据结构生成方法、装置、设备及介质 Download PDF

Info

Publication number
CN111881892A
CN111881892A CN202010944205.0A CN202010944205A CN111881892A CN 111881892 A CN111881892 A CN 111881892A CN 202010944205 A CN202010944205 A CN 202010944205A CN 111881892 A CN111881892 A CN 111881892A
Authority
CN
China
Prior art keywords
point cloud
vertex
point
ordered
column
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010944205.0A
Other languages
English (en)
Other versions
CN111881892B (zh
Inventor
高磊
田希文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Pavel Intelligent Technology Co ltd
Original Assignee
Seizet Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seizet Technology Shenzhen Co Ltd filed Critical Seizet Technology Shenzhen Co Ltd
Priority to CN202010944205.0A priority Critical patent/CN111881892B/zh
Publication of CN111881892A publication Critical patent/CN111881892A/zh
Application granted granted Critical
Publication of CN111881892B publication Critical patent/CN111881892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)

Abstract

一种3D有序点云的5D纹理网格数据结构生成方法，包括获取待扫描工件的有序点云；对于有序点云中的任意一点Pij；获取顶点Smn并建立Pij与顶点Smn之间一一对应关系；获取点云数据中各点的行列排序；对有序点云中的任意一点Pij，查找Pij的相邻点Pi,j+1,Pi+1,j+1,Pi+1,j，依据索引关系，获取Pi,j,Pi,j+1,Pi+1,j+1,Pi+1,j各自对应顶点Smn，Sm,n+1.Sm+1,n，Sm+1,n+1；添加四角面片，并将4个顶点Smn，Sm,n+1.Sm+1,n，Sm+1,n+1添加至对应四角面片的顶点位置处以生成半边四角网格，遍历Pij或顶点Smn，获取全部Pij或顶点Smn对应的半边四角网格以输出点云数据对应的5D纹理网格数据结构。该方法用以将有序点云网格化，点云数据基于纹理网格的数据结构的数据表示后，呈拓扑结构且可有效表征三维物体的全方位信息。

Description

有序点云5D纹理网格数据结构生成方法、装置、设备及介质
技术领域
本发明属于涉及计算机图形和计算机视觉技术领域，特别涉及一种点云数据的网格化方法装置、计算机设备及存储介质。
背景技术
在工业制造、物流等领域，机床上下料、零件分拣、货品拆零拣选等无序分拣任务对于传统人工操作的方式来说，劳动强度大、分拣效率低、招工难度大。机器人无序分拣技术越来越多地替代人工，成为相关产业降本增效、智能化升级的重要手段。机器人无序分拣依靠视觉识别方法定位待分拣物体，进而引导机器人末端完成物体的抓取和放置操作。一般采用2D图像、3D点云或网格等方式表征物体信息，物体的视觉识别方法可分为2D方法和3D方法两类。
目前传统的2D视觉或3D视觉识别方法尚不能解决海量无序姿态工件的通用准确识别问题，难以应对电商物流的无序分拣需求。当待扫描工件的姿态倾角较大、杂乱堆叠时，比如进行位于周转箱侧放的桶装方便面识别，传统2D方法需要制作多个不同视角的模板进行匹配定位，这样面对海量工件时，建立模板工作量过于庞大；当待检测工件紧密放置时，3D视觉方法难以分割场景中的不同物体，且对物体形状变化较小的待检测工件难以适应，比如识别位于周转箱内紧密排列的手机包装盒。只有识别工件的完整形状（包括侧面和底面）等，才能工件实现准确码放，避免抓取贵重工件时损伤工件，而传统的2D/3D视觉识别方法，都只能基于工件上表面的局部信息进行识别，难以判断待测工件的完整形状，对准确码放难以适应。
上述问题的出现主要是由于现有视觉识别方法受限于表征三维物体的数据结构，其中得益于2D图像的矩阵形式，2D视觉中图像处理方法都十分成熟，但2D图像难以表示三维物体的全方位信息；在3D视觉处理中，现有3D图像处理方法大多基于无序点云，难以实现类似2D的有序邻域访问，从而无法利用2D的纹理特征；基于有序点云的3D图像处理方法，由于有序点云仅能表达工件的上表面信息，对底面和侧面无法表达，也无法实现完整形状的表达。
发明内容
本发明的目的是提供一种有序点云5D纹理网格数据结构生成方法，用以将有序点云网格化，点云数据基于纹理网格的数据结构的数据表示后，呈拓扑结构且可有效表征三维物体的全方位信息，故2D以及3D的图像处理算法均可适用，从而实现了更强大的感知识别效果，也为机器人面对海量无序状态的工件抓取奠定了数据结构基础。
为实现上述目的，本发明提供一种3D有序点云的5D纹理网格数据结构生成方法，包括如下步骤：
获取待扫描工件的有序点云；
对于所述有序点云中的任意一点Pij，添加所述Pij的3D位置坐标（x，y， z）法向量、颜色信息以获取顶点Smn，建立所述Pij与所述顶点Smn之间一一对应索引关系；
获取所述点云数据中各点的行列排序；
对所述有序点云中的任意一点Pij，依照所述行列排序的索引规则查找Pij的相邻点Pi,j+1,Pi+1,j+1,Pi+1,j，其中，所述点云数据中第i行j列、第i行j+1列、第i+1行j列、第i+1行j+1列分别对应的Pi,j,Pi,j+1,Pi+1,j+1,Pi+1,j4个点；
依据所述索引关系，获取Pi,j,Pi,j+1,Pi+1,j+1,Pi+1,j各自分别对应的四个顶点Smn，Sm,n+ 1.Sm+1,n，Sm+1,n+1；
添加四角面片，并将所述4个顶点Smn，Sm,n+1.Sm+1,n，Sm+1,n+1添加至对应四角面片的顶点位置处以生成半边四角网格，其中每个顶点Smn存储点云数据中对应点Pij的3D位置坐标（x，y， z）、法向量、颜色以及其为起始顶点的半边的指针信息，每个半边存储起始顶点、终止顶点、邻接面、上个半边、下个半边、对立半边的指针或索引；
遍历所述Pij或所述顶点Smn，获取全部所述Pij或所述顶点Smn对应的半边四角网格以输出所述点云数据对应的5D纹理网格数据结构。
优选的，基于3D相机获取待扫描工件的有序点云。
优选的，遍历所述有序点云的行坐标i和列坐标j，添加所述Pij以及对应的3D坐标、法向量、颜色信息获取顶点Smn后，建立顶点集合S，将各顶点Smn添加至中顶点集合S。
优选的，遍历所述有序点云，读取有序点云中各点Pij的行坐标i和列坐标j，以获取所述点云数据中各点的行列排序。
优选的，对任意一点Pij，若无法查找到对应的三个相邻点Pi,j+1、Pi+1,j+1、Pi+1,j，则跳过Pij相邻点查找，继续有序点云中下一个点的相邻点查找。
优选的，所述四角面片顶点的添加顺序为Smn、 Sm+1,n 、Sm+1,n+1、Sm,n+1或为Smn、Sm,n+1、Sm+1,n+1、Sm+1,n。
为实现上述目的，本发明还提供一种3D有序点云生成5D纹理网格数据结构的装置，包括
有序点云获取模块，用于获取待扫描工件的有序点云数据；
映射关系建立模块，用于对于所述有序点云中的任意一点Pij，添加所述Pij以及Pij的3D位置坐标（x，y， z）法向量、颜色信息以获取顶点Smn并建立所述Pij与所述顶点Smn之间一一对应索引关系；
行列排序获取模块，用于获取所述点云数据中各点Pij的行列排序；
相邻点查找模块，用于对所述有序点云中的任意一点Pij，依照依照所述行列排序的索引规则查找Pij的相邻点Pi,j+1,Pi+1,j+1,Pi+1,j，其中，所述点云数据中第i行j列、第i行j+1列、第i+1行j列、第i+1行j+1列分别对应的Pi,j,Pi,j+1,Pi+1,j+1,Pi+1,j4个点；
顶点获取模块，用于依据所述索引关系，获取Pi,j,Pi,j+1,Pi+1,j+1,Pi+1,j各自分别对应的四个顶点Smn，Sm,n+1.Sm+1,n，Sm+1,n+1；
半边四角网格生成模块，用于添加四角面片Q，并将所述4个顶点Smn，Sm,n+1.Sm+1,n，Sm+1,n+1添加至对应四角面片Q的顶点位置处以生成半边四角网格，其中每个顶点Smn存储点云数据中对应点Pij的3D位置坐标（x，y， z）、法向量、颜色以及其为起始顶点的半边的指针信息，每个半边存储起始顶点、终止顶点、邻接面、上个半边、下个半边、对立半边的指针或索引；
5D纹理网格数据结构生成模块，用于遍历所述Pij或所述顶点Smn，获取全部所述Pij或所述顶点Smn对应的半边四角网格以输出所述点云数据对应的5D纹理网格数据结构。
优选的，有序点云获取模块中，基于3D相机获取待扫描工件的有序点云。
优选的，映射关系建立模块中，遍历所述有序点云的行坐标i和列坐标j，添加所述Pij以及对应的3D坐标、法向量、颜色信息获取顶点Smn后，建立顶点集合S，将各顶点Smn添加至中顶点集合S。
优选的，行列排序获取模块中，遍历所述有序点云，读取有序点云中各点Pij的行坐标i和列坐标j，以获取所述点云数据中各点的行列排序。
优选的，相邻点查找模块中，对任意一点Pij，若无法查找到对应的三个相邻点Pi,j+1、Pi+1,j+1、Pi+1,j，则跳过Pij相邻点查找，继续有序点云中下一个点的相邻点查找。
优选的，半边四角网格生成模块中，所述四角面片顶点的添加顺序为Smn、 Sm+1,n 、Sm+1,n+1、Sm,n+1或为Smn、Sm,n+1、Sm+1,n+1、Sm+1,n。
为了实现上述目的，本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述方法的步骤。
为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法的步骤。
本发明所示的有序点云5D纹理网格数据结构生成方法、装置、设备及介质，用以将有序点云网格化，点云数据基于纹理网格的数据结构的数据表示后，呈拓扑结构且可有效表征三维物体的全方位信息。
具体而言，将3D点云转换成SeizetColorMesh后，只需制作1个基于SeizetColorMesh的全方位模板，基于SeizetColorMesh的全方位模板，可提供待识别物体的完整形状和纹理信息（包括侧面和底面），提高了定位精度、可靠性以及通用性，进而可实现机器人在海量无序工件场景下的精准抓取与码放；此外，还可将2D图像处理方法拓展至SeizetColorMesh，即可实现物体紧密放置场景下的不同物体分割。
附图说明
图 1为本发明一种3D有序点云的5D纹理网格数据结构生成方法一实施例的流程示意图；
图2位本发明基于顶点生成半边四角网格的结构示意图；
图3为本发明半边四角网格的结构示意图；
图4为本发明3D有序点云生成5D纹理网格数据结构一实施例的示意图；
图5为本发明一种3D有序点云的5D纹理网格数据结构生成装置一实施例的结构框图
图6为本发明计算机设备的一个实施例的硬件架构图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，而非以任何方式限制本发明的保护范围。
在说明书的全文中，相同的附图标号指代相同的元件。表述“和/或”包括相关联的所列相目中的一个或多个的任何和全部组合。在附图中，为了便于说明，已稍微夸大了物体的厚度、尺寸和形状。附图仅为示例 而非严格按比例绘制。
还应理解的是，用语“包括”、“包括有”、“具有”、“包含”和/或“包含有”，当在本说明书中使用时表示存在所陈述的特征、步骤、整体、操作、元件和/或部件，但不排除存在或附加有一个或多个其它特征、步骤、整体、操作、元件、部件和/或它们的组合。
如在说明书中使用的用语“基本上”、 “大约”以及类似的用于用作表示近似的用语，而不用作表示程度的用语，并且旨在说明将由本领域普通技术人员认识到的、测量值或计算值中的固有偏差。
除非另有限定，否则本文中使用的所有用语(包括技术用语和科学用语)均具有与 本申请所属领域普通技术人员的通常理解相同的含义。还应理解的是，用语(例如在常用词 典中定义的用语)应被解释为具有与它们在相关技术的上下文中的含义一致的含义，并且 将不被以理想化或过度正式意义解释，除非本文中明确如此限定。
需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
实施例一
如图1所示，本申请提供了一种3D有序点云的5D纹理网格数据结构生成方法，包括：
S1获取待检测物的有序点云数据。
本实施例中，通过基于3D相机获取待检测物的原始有序点云，其中点云数据为待检测物以点的形式记录，每一个点包含有三维坐标包括颜色信息以及法向量。更具体的，颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息赋予点云中对应的点；有序点云一般是在相机坐标系里的，法线是面向相机的。
S2对于所述有序点云中的任意一点Pij，添加所述Pij以及对应的3D位置坐标（x，y，z）法向量、颜色信息以获取顶点Smn的信息并建立所述Pij与所述Smn之间一一对应的索引关系。
作为一优选方案，本步骤中，建立顶点集合S，遍历所述有序点云的行坐标i和列坐标j，并将Pij以及对应的3D坐标、法向量、颜色信息获取顶点Smn后，将各顶点Smn添加至中顶点集合S。其中，顶点集合S为5D纹理网格数据结构（SeizetColorMesh）M的顶点集合。
S3获取所述点云数据中各点的行列排序。
一帧扫描数据是一副深度图，属于灰度图。像素的灰度值代表的是深度信息，可以通过相机参数把每个像素点变换到世界坐标系，这样每个像素就对应一个三维点，假设深度图的分辨率是ResX * ResY，那么有序点云按照图方阵一行一行的，从左上角到右下角排列。由于有序点云中各点Pij是按顺序排列，本实施例中，遍历所述点云数据，读取有序点云中各点的行坐标i和列坐标j，以获取Pij分别按行排序和按列排序。
S4对所述有序点云中的任意一点Pij，依照所述行列排序查找所述点云数据中第i行j列、第i行j+1列、第i+1行j列、第i+1行j+1列对应的4个点Pi,j,Pi,j+1,Pi+1,j+1,Pi+1,j。
由于有序点云按顺序排列，可以很容易的找到它的相邻点信息。本实施例中，作为一优选方案，在寻找任意一点Pij的相邻点时，若Pi,j+1、Pi+1,j+1、Pi+1,j中有三个相邻点有任意一个无法从有序点云数据中找到，则跳过Pij，继续下一点的相邻点查找。有序点云的行坐标和列坐标都是有区间范围的，如（i=0,…,Nr），（j=0,…,Nc），若i<0或i+1>Nr或j<0或j+1>Nc则判断超出边界。若行坐标i+1或列坐标j+1超出边界，则跳过点Pij，继续有序点云中下一点对应三个相邻点的查找。
S5依据所述索引关系，获取Pi,j,Pi,j+1,Pi+1,j+1,Pi+1,j各自分别对应的四个顶点Smn，Sm,n+1.Sm+1,n，Sm+1,n+1。
S6添加四角面片Q，并将所述4个顶点Smn，Sm,n+1.Sm+1,n，Sm+1,n+1添加至对应四角面片Q的顶点位置处以生成半边四角网格，其中四角面片（Quad Face）由4个顺序连接的半边组成，每个半边存储起始顶点、终止顶点、邻接面、上个半边、下个半边、对立半边的指针或索引；每个顶点Smn存储点云数据中对应点Pij的3D位置坐标（x，y， z）、法向量、颜色以及其为起始顶点的半边的指针信息。
作为一优选方案，步骤S6中，四角面片顶点添加顺序依次为Smn、 Sm+1,n 、Sm+1,n+1、Sm,n+1或为Smn、Sm,n+1、Sm+1,n+1、Sm+1,n。这样设置是能够尽可能简化结构，尽可能保证顶点间距一致，同时尽可能提高顶点间相互访问的效率。
四个顶点Smn、Sm,n+1、Sm+1,n+1、Sm+1,n实际上是有序点云中Pij 以及对应的三个相邻点Pi,j+1,Pi+1,j+1,Pi+1,j，以下以点云数据只有四个点，对应顶点为S(0,0)、S(0,1)、S(1,1)、S(1,0)四个顶点为例，对半边四角网格生成过程具体说明。如图2所示从顶点S(0,0)开始，为网格M添加四角面片Q0，Q0的顶点依次为S(0,0)、S(0,1)、S(1,1)、S(1,0)；对于顶点S(0,1)，为网格M添加四角面片Q1，Q1的顶点依次为S(0,1)、S(0,2)、S(1,2)、S(1,1)；对于顶点S(0,2)，由于2+1>2超出坐标边界，跳过该顶点；对于顶点S(1,0)，为网格M添加四角面片Q2，Q2的顶点依次为S(1,0)、S(1,1)、S(2,1)、S(2,0)；对于顶点S(1,1)，为网格M添加四角面片Q3，Q3的顶点依次为S(1,1)、S(1,2)、S(2,2)、S(2,1)；对于顶点S(1,2)、S(2,0)、S(2,1)、S(2,2)，由于坐标边界的原因，跳过这些顶点。因此，输出网格M，M由顶点S(i,j)(i=0,1,2, j=0,1,2)、四角面片Q0、Q1、Q3、Q4以及顶点间的半边组成。
如图3所示，基于点云数据所生成的每个半边四角网格中包括顶点1）、半边2）和四角面片3），为方便说明，将顶点S(1,0)、S(1,1)、S(2,1)、S(2,0)简化为顶点A、B、C、D， AB、BC、CD、DA均为半边，ABCD为四角面片。
顶点（Vertex）A、B、C、D中存储对应点Pi,j+1,Pi+1,j+1,Pi+1,j的3D坐标、法向量、颜色等信息；半边（HalfEdge）是顶点之间的有向连线，通过TerminateVertex和OriginVertex指针分别记录其终止顶点和起始顶点，图3中半边AB的终止顶点和起始顶点分别为B和A。
半边通过NextHalfEdge和PrevHalfEdge指针分别记录其下个半边和上个半边，图3中半边AB的下个半边和上个半边分别为BC和DA；半边通过OppositeHalfEdge指针记录其对立半边，图3中半边AB的对立半边为BA；半边通过AdjacentFace指针记录与其邻接的四角面片，图3中半边AB的邻接四角面片为ABCD；顶点通过OutgoingHalfEdge和IncomingHalfEdge指针分别记录出半边和入半边，图3中顶点A的出半边和入半边分别为AB和BA。
四角面片（QuadFace）由4个顺序连接的半边组成，图3中四角面片ABCD由半边AB、BC、CD、DA组成；四角面片通过OuterHalfEdge和InnerHalfEdge指针记录其外半边和内半边，图3中四角面片ABCD的外半边和内半边分别为BA和AB。
S7遍历所述Pij或所述顶点Smn，获取所述Pij或所述顶点Smn对应的半边四角网格以输出所述点云数据对应的5D纹理网格数据结构。
由于Pij与顶点Smn为一一对应关系，步骤S7中，可基于Pij或Smn的集合，对集合中的每一个点，分别经由步骤S4至S6，建立对应的半边四角网格，各半边四角网格之间经由邻接边建立拓扑关系，最终形成待检测物有序点云所对应的5D纹理网格数据结构，如图4所示，其为一个4*4的有序点云基于本方法生成的5D纹理网格数据结构。
本发明所示的一种3D有序点云的5D纹理网格数据结构生成方法，可实现将3D点云转换为对应的5D纹理网格数据结构，用以将有序点云网格化，点云数据基于纹理网格的数据结构的数据表示后，呈拓扑结构且可有效表征三维物体的全方位信息，故2D以及3D的图像处理算法均可适用，从而实现了更强大的感知识别效果，也为机器人面对海量无序状态的工件抓取奠定了数据结构基础。具体而言，将3D点云转换成SeizetColorMesh后，只需制作1个基于SeizetColorMesh的全方位模板，基于SeizetColorMesh的全方位模板，可提供待识别物体的完整形状和纹理信息（包括侧面和底面），提高了定位精度、可靠性以及通用性，进而可实现机器人在海量无序工件场景下的精准抓取与码放。即实现物体姿态倾角较大、杂乱堆叠场景的识别定位；此外，还可将2D图像处理方法拓展至SeizetColorMesh，即可实现物体紧密放置场景下的不同物体分割。
实施例二
如图5所示，本申请还提供了一种3D有序点云的5D纹理网格数据结构生成装置10，包括：
有序点云获取模块11，用于获取待扫描工件有序点云数据；
映射关系建立模块12，用于对于所述有序点云中的任意一点Pij，添加所述Pij以及对应的3D位置坐标（x，y， z）法向量、颜色信息以获取顶点Smn的信息并建立所述Pij与所述Smn之间一一对应关系；
行列排序获取模块13，用于获取所述点云数据中各点Pij的行列排序；
相邻点查找模块14，用于对所述有序点云中的任意一点Pij，依照所述行列排序的索引规则查找Pij的相邻点Pi,j+1,Pi+1,j+1,Pi+1,j，其中，所述点云数据中第i行j列、第i行j+1列、第i+1行j列、第i+1行j+1列分别对应的Pi,j,Pi,j+1,Pi+1,j+1,Pi+1,j4个点；
顶点获取模块15，用于依据所述索引关系，获取Pi,j,Pi,j+1,Pi+1,j+1,Pi+1,j各自分别对应的四个顶点Smn，Sm,n+1.Sm+1,n，Sm+1,n+1；
半边四角网格生成模块16，用于添加四角面片Q，并将所述4个顶点Smn，Sm,n+1.Sm+1,n，Sm+1,n+1添加至对应四角面片Q的顶点位置处以生成半边四角网格，其中每个顶点Smn存储点云数据中对应点Pij的3D位置坐标（x，y， z）、法向量、颜色以及其为起始顶点的半边的指针信息，每个半边存储起始顶点、终止顶点、邻接面、上个半边、下个半边、对立半边的指针或索引；
5D纹理网格数据结构生成模块17，用于遍历所述Pij或所述顶点Smn，获取全部所述Pij或所述顶点Smn对应的半边四角网格以输出所述点云数据对应的5D纹理网格数据结构。
作为一优选方案，有序点云获取模块11中，基于3D相机获取待扫描工件的有序点云。
作为一优选方案，映射关系建立模块12中，遍历所述有序点云的行坐标i和列坐标j，添加所述Pij以及对应的3D坐标、法向量、颜色信息获取顶点Smn后，建立顶点集合S，将各顶点Smn添加至中顶点集合S。
作为一优选方案，行列排序获取模块13中，遍历所述有序点云，读取有序点云中各点Pij的行坐标i和列坐标j，以获取所述点云数据中各点的行列排序。
作为一优选方案，相邻点查找模块14中，对任意一点Pij，若无法查找到对应的三个相邻点Pi,j+1、Pi+1,j+1、Pi+1,j，则跳过Pij相邻点查找，继续有序点云中下一个点的相邻点查找。
作为一优选方案，半边四角网格生成模块16中，所述四角面片顶点的添加顺序为Smn、 Sm+1,n 、Sm+1,n+1、Sm,n+1或为Smn、Sm,n+1、Sm+1,n+1、Sm+1,n。
本发明所示的一种3D有序点云的5D纹理网格数据结构生成装置10，可实现将3D点云转换为对应的5D纹理网格数据结构，用以将有序点云网格化，点云数据基于纹理网格的数据结构的数据表示后，呈拓扑结构且可有效表征三维物体的全方位信息，故2D以及3D的图像处理算法均可适用，从而实现了更强大的感知识别效果，也为机器人面对海量无序状态的工件抓取奠定了数据结构基础。具体而言，将3D点云转换成SeizetColorMesh后，只需制作1个基于SeizetColorMesh的全方位模板，基于SeizetColorMesh的全方位模板，可提供待识别物体的完整形状和纹理信息（包括侧面和底面），提高了定位精度、可靠性以及通用性，进而可实现机器人在海量无序工件场景下的精准抓取与码放。即实现物体姿态倾角较大、杂乱堆叠场景的识别定位；此外，还可将2D图像处理方法拓展至SeizetColorMesh，即可实现物体紧密放置场景下的不同物体分割。
实施例三
图6是本发明实施例提供的一种计算机设备的结构示意图，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器（包括独立的服务器，或者多个服务器所组成的服务器集群）等。本实施例的计算机设备20至少包括但不限于：可通过系统总线相互通信连接的存储器21、处理器22，如图X所示。需要指出的是，图6仅示出了具有组件21-22的计算机设备20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器21（即可读存储介质）包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）储器21也可以是计算机设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。当然，存储器21还可以既包括计算机设备20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备20的操作系统和各类应用软件，例如方法实施例中的3D有序点云的5D纹理网格数据结构生成装置的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行3D有序点云的5D纹理网格数据结构生成装置，以实现方法实施例中的3D有序点云的5D纹理网格数据结构生成方法。
实施例四
本申请还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储3D有序点云的5D纹理网格数据结构生成装置10，被处理器执行时实现方法实施例的3D有序点云的5D纹理网格数据结构生成方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种3D有序点云的5D纹理网格数据结构生成方法，其特征在于：包括如下步骤：
获取待扫描工件的有序点云；
对于所述有序点云中的任意一点Pij，添加所述Pij的3D位置坐标（x，y， z）法向量、颜色信息以获取顶点Smn，建立所述Pij与所述顶点Smn之间一一对应索引关系；
获取所述点云数据中各点的行列排序；
对所述有序点云中的任意一点Pij，依照所述行列排序的索引规则查找Pij的相邻点Pi,j+1,Pi+1,j+1,Pi+1,j，其中，所述点云数据中第i行j列、第i行j+1列、第i+1行j列、第i+1行j+1列分别对应的Pi,j,Pi,j+1,Pi+1,j+1,Pi+1,j4个点；
依据所述索引关系，获取Pi,j,Pi,j+1,Pi+1,j+1,Pi+1,j各自分别对应的四个顶点Smn，Sm,n+ 1.Sm+1,n，Sm+1,n+1；
添加四角面片，并将所述4个顶点Smn，Sm,n+1.Sm+1,n，Sm+1,n+1添加至对应四角面片的顶点位置处以生成半边四角网格，其中每个顶点Smn存储点云数据中对应点Pij的3D位置坐标（x，y，z）、法向量、颜色以及其为起始顶点的半边的指针信息，每个半边存储起始顶点、终止顶点、邻接面、上个半边、下个半边、对立半边的指针或索引；
遍历所述Pij或所述顶点Smn，获取全部所述Pij或所述顶点Smn对应的半边四角网格以输出所述点云数据对应的5D纹理网格数据结构。
2.根据权利要求1所述的一种3D有序点云的5D纹理网格数据结构生成方法，其特征在于：基于3D相机获取待扫描工件的有序点云。
3.根据权利要求1所述的一种3D有序点云的5D纹理网格数据结构生成方法，其特征在于：遍历所述有序点云的行坐标i和列坐标j，添加所述Pij以及对应的3D坐标、法向量、颜色信息获取顶点Smn后，建立顶点集合S，将各顶点Smn添加至中顶点集合S。
4.根据权利要求1所述的一种3D有序点云的5D纹理网格数据结构生成方法，其特征在于；遍历所述有序点云，读取有序点云中各点Pij的行坐标i和列坐标j，以获取所述点云数据中各点的行列排序。
5.根据权利要求1所述的一种3D有序点云的5D纹理网格数据结构生成方法，其特征在于：对任意一点Pij，若无法查找到对应的三个相邻点Pi,j+1、Pi+1,j+1、Pi+1,j，则跳过Pij相邻点查找，继续有序点云中下一个点的相邻点查找。
6.根据权利要求1所述的一种3D有序点云的5D纹理网格数据结构生成方法，其特征在于：所述四角面片顶点的添加顺序为Smn、 Sm+1,n 、Sm+1,n+1、Sm,n+1或为Smn、Sm,n+1、Sm+1,n+1、Sm+1,n。
7.一种3D有序点云生成5D纹理网格数据结构的装置，其特征在于：
有序点云获取模块，用于获取待扫描工件的有序点云数据；
映射关系建立模块，用于对于所述有序点云中的任意一点Pij，添加所述Pij以及Pij的3D位置坐标（x，y， z）法向量、颜色信息以获取顶点Smn并建立所述Pij与所述顶点Smn之间一一对应索引关系；
行列排序获取模块，用于获取所述点云数据中各点Pij的行列排序；
相邻点查找模块，用于对所述有序点云中的任意一点Pij，依照依照所述行列排序的索引规则查找Pij的相邻点Pi,j+1,Pi+1,j+1,Pi+1,j，其中，所述点云数据中第i行j列、第i行j+1列、第i+1行j列、第i+1行j+1列分别对应的Pi,j,Pi,j+1,Pi+1,j+1,Pi+1,j4个点；
顶点获取模块，用于依据所述索引关系，获取Pi,j,Pi,j+1,Pi+1,j+1,Pi+1,j各自分别对应的四个顶点Smn，Sm,n+1.Sm+1,n，Sm+1,n+1；
半边四角网格生成模块，用于添加四角面片Q，并将所述4个顶点Smn，Sm,n+1.Sm+1,n，Sm+1,n+1添加至对应四角面片Q的顶点位置处以生成半边四角网格，其中每个顶点Smn存储点云数据中对应点Pij的3D位置坐标（x，y， z）、法向量、颜色以及其为起始顶点的半边的指针信息，每个半边存储起始顶点、终止顶点、邻接面、上个半边、下个半边、对立半边的指针或索引；
5D纹理网格数据结构生成模块，用于遍历所述Pij或所述顶点Smn，获取全部所述Pij或所述顶点Smn对应的半边四角网格以输出所述点云数据对应的5D纹理网格数据结构。
8.根据权利要求7所述的一种3D有序点云生成5D纹理网格数据结构的装置，其特征在于：
所述相邻点查找模块中，对任意一点Pij，若无法查找到对应的三个相邻点Pi,j+1、Pi+1,j+1、Pi+1,j，则跳过Pij相邻点查找，继续有序点云中下一个点的相邻点查找。
9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
CN202010944205.0A 2020-09-10 2020-09-10 有序点云5d纹理网格数据结构生成方法、装置、设备及介质 Active CN111881892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010944205.0A CN111881892B (zh) 2020-09-10 2020-09-10 有序点云5d纹理网格数据结构生成方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010944205.0A CN111881892B (zh) 2020-09-10 2020-09-10 有序点云5d纹理网格数据结构生成方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111881892A true CN111881892A (zh) 2020-11-03
CN111881892B CN111881892B (zh) 2020-12-18

Family

ID=73199151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010944205.0A Active CN111881892B (zh) 2020-09-10 2020-09-10 有序点云5d纹理网格数据结构生成方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111881892B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393575A (zh) * 2021-08-17 2021-09-14 杭州灵西机器人智能科技有限公司 一种基于三维视觉的服饰尺寸测量的方法和系统
CN113487633A (zh) * 2021-08-17 2021-10-08 熵智科技(深圳)有限公司 一种点云轮廓提取方法、装置、计算机设备及存储介质
CN114119870A (zh) * 2021-11-23 2022-03-01 熵智科技(深圳)有限公司 有序点云生成四角网格数据方法、装置、设备及存储介质
WO2022052893A1 (zh) * 2020-09-10 2022-03-17 熵智科技(深圳)有限公司 一种5d纹理网格数据结构
CN114952173A (zh) * 2022-05-31 2022-08-30 熵智科技(深圳)有限公司 管板焊接中圆环外轮廓提取方法、装置、设备及存储介质
EP4064207A1 (en) * 2021-03-26 2022-09-28 INTEL Corporation Generation of three-dimensional representation of object surface from structured point-cloud

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109556529A (zh) * 2018-12-14 2019-04-02 中铁隧道局集团有限公司 一种基于网格投影点云处理技术的隧道变形监测分析方法
CN109993748A (zh) * 2019-03-30 2019-07-09 华南理工大学 一种基于点云处理网络的三维网格物体分割方法
US10712727B2 (en) * 2016-11-01 2020-07-14 Xometry, Inc. Methods and apparatus for machine learning predictions of manufacture processes
CN111599016A (zh) * 2020-05-14 2020-08-28 易思维（杭州）科技有限公司 点云误差计算方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10712727B2 (en) * 2016-11-01 2020-07-14 Xometry, Inc. Methods and apparatus for machine learning predictions of manufacture processes
CN109556529A (zh) * 2018-12-14 2019-04-02 中铁隧道局集团有限公司 一种基于网格投影点云处理技术的隧道变形监测分析方法
CN109993748A (zh) * 2019-03-30 2019-07-09 华南理工大学 一种基于点云处理网络的三维网格物体分割方法
CN111599016A (zh) * 2020-05-14 2020-08-28 易思维（杭州）科技有限公司 点云误差计算方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ROLAND WAHL: "Identifying planes in point-clouds for efficient hybrid rendering", 《RESEARCHGATE》 *
黄德林 等: "基于高密度点云数据的多腔体零件容积波动在线控制", 《机械设计与研究》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022052893A1 (zh) * 2020-09-10 2022-03-17 熵智科技(深圳)有限公司 一种5d纹理网格数据结构
EP4064207A1 (en) * 2021-03-26 2022-09-28 INTEL Corporation Generation of three-dimensional representation of object surface from structured point-cloud
CN113393575A (zh) * 2021-08-17 2021-09-14 杭州灵西机器人智能科技有限公司 一种基于三维视觉的服饰尺寸测量的方法和系统
CN113487633A (zh) * 2021-08-17 2021-10-08 熵智科技(深圳)有限公司 一种点云轮廓提取方法、装置、计算机设备及存储介质
CN114119870A (zh) * 2021-11-23 2022-03-01 熵智科技(深圳)有限公司 有序点云生成四角网格数据方法、装置、设备及存储介质
CN114952173A (zh) * 2022-05-31 2022-08-30 熵智科技(深圳)有限公司 管板焊接中圆环外轮廓提取方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111881892B (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN111881892B (zh) 有序点云5d纹理网格数据结构生成方法、装置、设备及介质
CN112002015B (zh) 无序点云生成网格数据结构的方法、装置、设备及介质
CN108062784B (zh) 三维模型纹理贴图转换方法与装置
CN109870983B (zh) 处理托盘堆垛图像的方法、装置及用于仓储拣货的系统
US20210110599A1 (en) Depth camera-based three-dimensional reconstruction method and apparatus, device, and storage medium
CN104408055B (zh) 一种激光雷达点云数据的存储方法及装置
CN111932570B (zh) 一种基于网格数据的边缘检测方法、装置、介质及设备
CN113487633A (zh) 一种点云轮廓提取方法、装置、计算机设备及存储介质
CN112396688A (zh) 一种三维虚拟场景的生成方法及装置
US8755608B2 (en) Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method, and program therefor
CN114723825A (zh) 用于无人行车场景下的相机坐标映射方法、系统、介质及电子终端
WO2022052893A1 (zh) 一种5d纹理网格数据结构
JP7352706B2 (ja) 貨物計数方法及び装置、コンピュータ装置、並びに記憶媒体
CN111815691B (zh) 一种网格数据结构的邻域访问方法、装置、设备及介质
CN112665528B (zh) 一种激光扫描三维成像的矫正方法
CN111260723B (zh) 棒材的质心定位方法及终端设备
CN111191759B (zh) 一种二维码的生成方法和基于gpu的定位、解码方法
CN115147511A (zh) 一种边缘构件详图生成方法、装置、设备及可读介质
WO2024120172A1 (zh) 目标物定位方法、装置、设备和存储介质
CN113140036B (zh) 一种三维建模方法、装置、设备及存储介质
CN104143198A (zh) 一种图像描述方法和装置
CN114116212A (zh) 四角网格数据的邻域访问方法、装置、设备及存储介质
CN114119870A (zh) 有序点云生成四角网格数据方法、装置、设备及存储介质
CN116935078A (zh) 基于相机矩阵的燃料组件盘存方法、装置和存储介质
CN114882112A (zh) 托盘堆叠方法、装置、计算机设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230914

Address after: Room 1726, Building 1, Rongsheng Business Center, No. 135 Wangdun Road, Suzhou Industrial Park, Suzhou City, Jiangsu Province, 215000

Patentee after: Suzhou Pavel Intelligent Technology Co.,Ltd.

Address before: 518034 703, 7th floor, Zhongdian Difu building, Zhenhua Road, Fuqiang community, Huaqiang North Street, Futian District, Shenzhen City, Guangdong Province

Patentee before: SHANGZHI TECHNOLOGY (SHENZHEN) Co.,Ltd.