CN112070005A - 一种三维基元数据的提取方法及装置、存储介质 - Google Patents

Abstract

一种三维基元数据的提取方法及装置、存储介质，其中的提取方法包括：获取目标物体的三维点云数据；根据三维点云数据对目标物体进行特征描述，并通过投票计数统计得到目标物体的特征数据和初始几何信息；根据特征数据到达几何基元的距离对特征数据进行局部优化，得到目标物体的局部优化数据；建立目标函数并利用目标函数对局部优化数据进行迭代更新，得到目标物体的三维基元数据和结果几何信息。由于人造场景中往往包含有大量能够很好地反映目标物体结构信息的轮廓、平面、球和圆柱等几何特征，所以本申请技术方案利用这些特征对目标物体进行表达能够降低三维目标跟踪、形状识别与姿态估计等算法的复杂度，同时大大提高算法的鲁棒性和准确度。

Description

一种三维基元数据的提取方法及装置、存储介质

技术领域

本发明涉及图像处理技术领域，具体涉及一种三维基元数据的提取方法及装置、存储介质。

背景技术

近年来，计算机视觉研究蓬勃发展，研究者们不断创造出开创性的算法理论，设计出崭新的产品技术，从而赋予了机器越来越接近人类的视觉能力，给人们的生活和工作带来了翻天覆地的变化。特别是，高性能的摄像摄影设备的普及、计算机运算速度飞速提升以及具有学习能力的算法理论的突破，使得计算机视觉在机器人、安防监控、工业生产、游戏娱乐和医学影像等各个领域发挥了重要作用。

在机器人操作和目标抓取应用中，传统的三维目标跟踪、目标识别和姿态估计等算法是基于点特征实现的，当图像中包含大量的背景信息和噪声时，或者目标缺少纹理信息时，基于点特征的方法将面临严重挑战。然而，自然场景中的人造目标包含了大量的能够很好地反映目标结构信息的直线、面和轮廓等几何特征，相比于点特征，这些几何特征表示的几何基元信息对目标表面纹理分布、光照、噪声等鲁棒性更强，对于目标部分遮挡或者由于光照影响部分不可见具有一定的鲁棒性，能有效提高目标识别率、目标跟踪、目标三维重建以及目标姿态估计准确率。

RGB-D这一高性能摄影设备是近年出现的新产品、新技术的代表之一，它可以便捷的同时获取到彩色(RGB)和深度(D)信息，突破了原有的普通摄像机和激光扫描仪只能采集彩色或深度一种信息的局限。这类设备的出现和快速发展，使得以光学方式获取3D数据变得方便快捷、成本低廉。但随之出现了一个挑战性问题：如何利用计算机自动分析、感知采集到的庞大的3D数据，并且从3D点云中自动检测几何特征识别平面、球面和柱面等几何基元，是计算机感知世界的一个基础性问题。

发明内容

本发明主要解决的技术问题是：如何提供一种实用的、高精度的三维点云中多种几何基元的自动识别方法。为解决上述技术问题，本申请提供一种三维基元数据的提取方法及装置、存储介质。

根据第一方面，一种实施例中提供一种三维基元数据的提取方法，其包括：获取目标物体的三维点云数据；所述三维点云数据包括所述目标物体的表面上各特征点的坐标和对应的法向量；根据所述三维点云数据对所述目标物体进行特征描述，并通过投票计数统计得到所述目标物体的特征数据和初始几何信息；所述初始几何信息用于表征所述目标物体的几何基元；根据所述特征数据到达所述几何基元的距离对所述特征数据进行局部优化，得到所述目标物体的局部优化数据；建立针对所述几何基元的目标函数，利用所述目标函数对所述局部优化数据进行迭代更新，得到所述目标物体的三维基元数据和结果几何信息。

所述根据所述三维点云数据对所述目标物体进行特征描述，并通过投票计数统计得到所述目标物体的特征数据和初始几何信息，包括：采用体素栅格对所述三维点云数据进行离散化处理，得到离散数据；根据所述离散数据形成所述目标物体上每两个特征点的特征点对，并计算对应的特征描述子；将具有相同或相似特征描述子的特征点对划分为一个组且存入同一个哈希表内，计算获得每一个哈希表的键值，并且建立键值和哈希表内所存储的特征点对之间的映射关系；根据各哈希表的键值进行投票计数，统计得到不同投票得分的键值对应的特征点对，并将特征点对中的各特征点的坐标作为所述目标物体的特征数据；依据相同键值对应的特征点对确定所述目标物体的初始几何信息。

所述根据各哈希表的键值进行投票计数，统计得到不同投票得分的键值对应的特征点对，并将特征点对中的各特征点的坐标作为所述目标物体的特征数据，包括：对于每个哈希表内的特征点对，该特征点对的特征描述子用公式表示为

所述特征描述子

内的全部或部分参数用于计算该哈希表的键值；其中，F₁为特征点对内两特征点的距离，F₂为特征点对内一个特征点的法向量和两特征点连线的夹角，F₃为特征点对内另一个特征点的法向量和两特征点连线的夹角，F₄为特征点对内两特征点的法向量夹角；对具有相同键值的特征点对的数目进行投票计数，获得各个哈希表的键值的投票得分，不同投票得分的键值对应的特征点对中的各特征点的坐标和法向量作为所述目标物体的特征数据。

所述依据相同键值对应的特征点对确定所述目标物体的初始几何信息，包括：获得相同键值对应的特征点对内特征点的坐标，通过坐标分布确定所述目标物体的几何基元；对于平面类型的几何基元，所述目标物体的初始几何信息用公式表示为[a,b,c,d][x,y,z,1]^T＝0；其中，a,b,c,d为平面几何参数；对于球类型的几何基元，所述目标物体的初始几何信息用公式表示为(x-x₀)²+(y-y₀)²+(z-z₀)²＝R_s ²；其中，x₀,y₀,z₀,R_s为球几何参数；对于圆柱类型的几何基元，所述目标物体的初始几何信息用公式表示为

其中，t,s,h为圆柱几何参数，n_x、n_y、n_z为点(x,y,z)的法向量分别在三个坐标轴上的法向分量。

所述根据所述特征数据到达所述几何基元的距离对所述特征数据进行局部优化，得到所述目标物体的局部优化数据，包括：通过非极大值抑制从所述特征数据中选取部分的数据，得到候选信息；该步骤具体包括：确定投票得分最高时的键值，从所述目标物体的特征数据中选取该键值对应的特征点对，并将所选取特征点对中特征点的坐标作为所述候选信息；根据所述候选信息中各数据点到达所述几何基元的距离对所述几何基元进行基元分割，利用分割结果对所述候选信息进行局部更新，得到所述目标物体的局部优化数据。

所述根据所述候选信息中各数据点到达所述几何基元的距离对所述几何基元进行基元分割，利用分割结果对所述候选信息进行局部更新，得到所述目标物体的局部优化数据，包括：计算所述候选信息中每个数据点到达所述几何基元的距离，判断所述距离是否小于或等于预设阈值，若是，则确认对应的数据点属于所述几何基元；若否，则从所述候选信息中剔除对应的数据点；将剔除后的所述候选信息作为所述目标物体的局部优化数据。

所述建立针对所述几何基元的目标函数，利用所述目标函数对所述局部优化数据进行迭代更新，得到所述目标物体的三维基元数据和结果几何信息，包括：建立针对所述几何基元的目标函数；所述目标函数包括所述几何基元的几何信息和所述局部优化数据的几何关系；根据所述局部优化数据中的各特征点执行所述目标函数的迭代计算，直至前后两次的计算结果小于目标阈值或者迭代过程达到预设迭代次数时为止，提取收敛的特征点并作为所述目标物体的三维基元数据；根据所述三维基元数据确定所述目标物体的结果几何信息。

建立的目标函数用公式表示为

其中，p为基元几何参数，r为所述局部优化数据中的数据点，P为所述局部优化数据的数据点数目，d(p,r)为数据点到几何基元的距离，w_r为d(p,r)的权重系数；对于平面类型的几何基元，数据点到几何基元的距离表示为d(p,r)＝(ax_i+by_i+cz_i+d)²；其中，a,b,c,d为平面几何参数,下标i为数据点的序号；

对于圆柱类型的几何基元，数据点到几何基元的距离表示为

其中，x₀,y₀,z₀,R_s为球几何参数,下标i为数据点的序号；对于圆柱类型的几何基元，数据点到几何基元的距离表示为d(p,r)＝(|T′r-T′r·(0,0,1)^T|-R_c)，其中，T′为几何基元变换到坐标系且中心位于坐标系原点、主轴与坐标系z轴重合时的变换矩阵，上标T为转置运算，R_c为圆柱半径；所述目标函数的迭代计算为梯度下降法或最小二乘法；所述权重系数w_r的计算采用Huber法或Tukey法。

据第二方面，一种实施例中提供一种三维基元识别装置，其包括：传感器，用于采集目标物体的场景图像，以形成所述目标物体的三维点云数据；处理器，与所述传感器连接，用于通过上述第一方面中所述的提取方法得到所述目标物体的三维基元数据和结果几何信息；控制器，与所述传感器和所述处理器连接，用于控制所述传感器采集所述目标物体的场景图像，以及用于根据所述处理器输出的三维基元数据和结果几何信息控制一执行机构捕获所述目标物体。

根据第三方面，一种实施例中提供一种计算机可读存储介质，其包括程序，所述程序能够被处理器执行以实现上述第一方面中所述的提取方法。

本申请的有益效果是：

依据上述实施例的一种三维基元数据的提取方法及装置、存储介质，其中的提取方法包括：获取目标物体的三维点云数据；根据三维点云数据对目标物体进行特征描述，并通过投票计数统计得到目标物体的特征数据和初始几何信息；根据特征数据到达几何基元的距离对特征数据进行局部优化，得到目标物体的局部优化数据；建立针对几何基元的目标函数，利用目标函数对局部优化数据进行迭代更新，得到目标物体的三维基元数据和结果几何信息。第一方面，由于通过投票计数统计得到目标物体的特征数据和初始几何信息，使得算法能够加快特征向量的匹配过程，快速地获得目标物体的特征数据和初始几何基元；第二方面，由于对特征数据进行局部优化以得到目标物体的局部优化数据，使得全局坐标系下的计算转化为局部坐标系下的计算，由基于点的处理方式转化为基于多维特征的处理方式，如此既提高了算法的处理速度和效率，也提高了算法的抗遮挡能力、鲁棒性，容易满足视觉引导、自动驾驶、现实增强等应用场景中三维基元数据的提取操作；第三方面，由于利用目标函数对局部优化数据进行迭代更新得到目标物体的三维基元数据和结果几何信息，使得算法采用了层级优化策略，如此能够提高几何基元提取的准确性和表达能力；第四方面，本申请技术方案从三维点云数据中自动检测几何特征来识别平面、球体、柱体等几何基元，可以降低设备感知环境的难度，缩小高层语义和底层视觉特征之间的语义鸿沟，有助于使设备像人一样来分析和感知世界，实现智能操作；第五方面，由于人造场景中往往包含有大量能够很好地反映目标物体结构信息的轮廓、平面、球和圆柱等几何特征，所以本申请技术方案利用这些特征对目标物体进行表达能够降低三维目标跟踪、形状识别与姿态估计等算法的复杂度，同时大大提高算法的鲁棒性和准确度。

附图说明

图1为本申请中三维基元数据的提取方法的流程图；

图2为根据三维点云数据进行投票计数的流程图；

图3为对特征数据进行局部优化的流程图；

图4为利用目标函数对局部优化数据进行迭代更新的流程图；

图5为利用体素栅格进行离散化处理的原理示意图；

图6为利用两个特征点计算特征描述子的原理示意图；

图7为基准坐标变换的原理示意图；

图8为利用球坐标系对特征点对进行表示的原理示意图；

图9为利用圆柱坐标系对特征点对进行表示的原理示意图；

图10为一种实施例中三维基元提取装置的结构示意图；

图11为处理器和控制器的结构示意图；

图12为另一种实施例中三维基元识别装置的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

目前，常用二维基元提取方法较多，三维点云中几何基元识别算法主要是借鉴二维图像中几何基元识别的算法思想来实现的，这些常见的算法有霍夫变换、区域生长、随机一致性算法(RANSAC，Random Sample Consensus)等。其中，霍夫变换能快速准确地拟合出平直线和平面，但不能同时识别多个不同类别的模型，同时对于三维点云数据，几何基元的表示维度增加，其所需要的内存呈现指数形式增长，并且运行速度较慢，无法满足实时性几何基元提取的诉求。其中，RANSAC算法能检测出超过50％外点的模型，是最常用的鲁棒估计算法，但需要对全局数据进行验证计算量大。霍夫变换和RANSAC算法都需要利用贪婪搜索法穷举出数据中所有可能存在的模型，然后根据距离阈值约束找到模型的内点。这类方法能够较高效地处理单个模型，但在拟合多个模型时会漏掉某些模型，并且对距离阈值非常依赖，通常需要人为不断调整距离阈值的取值；此外，这类方法不能从全局分析各个模型间内点的归属关系。其中，区域生长算法需要预先手动选取一些内点再扩大生长，不能完全由计算机自动进行分析，而且对外点和噪声非常敏感，致使算法鲁棒性较差。这些法方法的主要问题：一是不能同时能识别多种几何基元；二是对外点和噪声的抗干扰能力差；三是依赖角度和阈值来判断几何基元的内点，致使自动化程度低。

在面提取过程中，当前存在的面提取算法主要是基于点特征实现的，由于点特征对纹理等结构信息较为敏感，当场景中缺少纹理时，特征点将很少，很难满足迭代算法的要求，从而直接影响面检测的质量，因此如何将图像高层次特征如线、轮廓同点特征结合起来用于面的提取是当前的研究热点。此外，在三维目标识别方面，由于自然场景中的人造目标容易受噪声和仿射变换的影响发生形变，同时人造三维目标由于遮挡或强光照的影响而部分不可见会给基于特征的三维目标识别算法的鲁棒性带来挑战。

本申请技术方案的发明构思是：根据对当前三维目标识别算法的认知，基于全局特征分析的处理存在速度慢、计算量大且无法满足实时性要求的问题，基于点的处理存在基元提取的抗干扰性差的问题，所以本申请将全局坐标系的计算转化为局部坐标系下面的计算，由基于点的处理方式转化为基于多维特征的处理方式，如此不仅能够提高算法处理速度和效率，同时还能够提高算法的抗遮挡能力和鲁棒性，从而满足视觉引导、自动驾驶、现实增强等应用场景中三维基元数据的提取操作。此外，本申请主要按照“特征提取+噪声剔除+局部优化+全局优化”的设计思路来递进提高算法精度，在特征设计方面利用特征点和对应的法向量来构成特征点对，利用特征点对来对目标物体的局部特征信息进行表示。

下面结合实施例对本申请技术方案进行具体说明。

实施例一、

请参考图1，本实施例公开一种三维基元数据的提取方法，其包括步骤S110-S140，下面分别说明。

步骤S110，获取目标物体的三维点云数据。其中，三维点云数据包括目标物体的表面上各特征点的坐标和对应的法向量。

需要说明的是，本实施例中的目标物体可以是工业流水线上的产品、物件箱内的机械零件、操作台上的工具等，例如图10中工具箱内不规则形状的机械零件。那么，可以通过接触式或非接触式的扫描设备来获取该些目标物体的三维点云数据，三维点云数据可以是目标物体表面的一部分外观形状数据。

步骤S120，根据三维点云数据对目标物体进行特征描述，并通过投票计数统计得到目标物体的特征数据和初始几何信息。其中，初始几何信息用于表征目标物体的几何基元。

在本实施例中，对于三维点云数据中的任意两个特征点，可以表示为(p₁,n₁)和(p₂,n₂)，其中p₁、p₂分别为两个特征点的坐标，n₁、n₂分别为两个特征点的坐标对应的法向量，那么可以形成特征点对((p₁,n₁),(p₂,n₂))来对两个特征点之间的关系进行表示，如此便能够对目标物体进行局部特征描述。

对于整个三维点云数据，由三维坐标点及对应法向量组成，若单位法向量位于单位球上

为一系列三维坐标点及其法向量，若M为构成的一组点云数据，

那么，构成的一系列点对可以表示为

P_s＝{((p₁,n₁),(p₂,n₂)),(p₁,n₁)∈M,(p₂,n₂)∈M}＝M²。

几何基元是用以描述物体三维形状的基本构件，几种常见的几何基元包括直线、平面、圆、椭圆、球体和圆柱体。对于一个目标物体，可以将它的轮廓自动分割成多个部分，每部分都有相对应的几何基元，这样就能充分地减小需要被处理的数据量，并为算法提供一种数据的符号化描述方式。几何基元的提取在基于模型的计算机视觉中起着重要的作用，几何基元抽取问题往往可以归结为优化问题，即寻找代价函数的全局最小值。

那么可以理解，目标物体的特征数据就是构成目标物体的各数据点的集合，即(p,n)的集合；目标物体的初始几何信息就是目标物体的基元几何参数，比如平面几何参数、球几何参数或圆柱几何参数等。

步骤S130，根据特征数据到达几何基元的距离对特征数据进行局部优化，得到目标物体的局部优化数据。

需要说明的是，对特征数据进行局部优化的处理就相当于算法局部优化操作，为实现这一操作，可以根据特征数据中每个数据点到达几何基元的距离来判断哪些数据点属于几何基元，而哪些数据点不属于几何基元，从而将不属于几何基元的数据点剔除掉，剩余的数据点作为目标物体的局部优化数据。

步骤S140，建立针对几何基元的目标函数，利用目标函数对局部优化数据进行迭代更新，得到目标物体的三维基元数据和结果几何信息。

需要说明的是，对局部优化数据进行迭代更新的处理就相当于数据的全局优化操作，为实现这一操作，可以利用数据点到达几何基元的距离来建立目标函数，将局部优化数据代入目标函数进行迭代更新，选择收敛的数据点作为目标物体的三维基元数据。得到三维基元数据之后，就容易确定目标物体的结果几何信息，由于结果几何信息是物体几何形状的数值化表示，所以通过结果几何信息能够识别目标物体的表面形状，甚至识别目标物体的空间变化姿态。

在本实施例中，参见图2，上述的步骤S120主要涉及根据三维点云数据进行投票计数的过程，具体可以包括步骤S121-S124，分别说明如下。

步骤S121，采用体素栅格对三维点云数据进行离散化处理，得到离散数据。

体素栅格的离散化采样处理是点云滤波中的常用方法，往往作为点云预处理中的一个重要措施。由于三维点云数据中具有大量的数据点，包括离散点和稠密稀疏点，为了缩短计算时间，故采用体素栅格进行离散化处理来减少点云中点的数量。参见图5，体素栅格离散化处理生成一个单位尺寸的3D体素栅格(可把体素栅格想象为微小的空间三维立方体的集合)，将三维点云数据对应储存到每个体素(即三维立方体)中，然后在每个体素内，用体素中所有点的重心来近似显示体素中其他点，这样该体素就内所有点就用一个重心点最终表示，从而使得三维点云数据被这些点云中的中心点所替换。原始的三维点云数据被体素栅格降采样之后，虽然点的数量大规模减少，但离散数据所表示的点云形状却没有发生改变，从而保证在三维几何基元提取时丝毫不降低提取的精度。

这里将通过数学运算对体素栅格离散化处理的原理进行详细。假设输入的三维点云数据所包含的数据为(x_i,y_i,z_i,u_i,v_i,w_i)(i＝1,2,…,n)，其中(x_i,y_i,z_i)为坐标点，(u_i,v_i,w_i)为该点对应的法向量，该处的n为三维点云数据中点的数量。则需要计算坐标x、y、z坐标分量的最大值和最小值，即需要分别计算x_min、x_max，y_min、y_max，z_min、z_max。根据公式

d_x＝x_max-x_min,d_y＝y_max-y_min,d_z＝z_max-z_min；

可以计算出所有点云的外包球半径为

设置x、y、z的采样步长为δ_x、δ_y和δ_z，从而实现对输入的三维点云数据。

由于坐标(x_i,y_i,z_i)为单位向量，因此离散化后x、y、z最大可能的数量分别为

因此将输入坐标点(x_i,y_i,z_i)量化后索引值相同的存储到一个数组之中，索引值的映射关系按照下式进行：

其中，索引值表示为index＝x_celln_yn_z+y_celln_z+z_cell，符号

表示向下取整运算。

这里对相同索引值的坐标点完成聚类计算，具体可以采用均值聚类或者高斯聚类。

第一方面，当采用均值聚类时，假设相同索引值的坐标点数量为c_i，聚类后的输出为不同index的总数量个坐标点和法向量对，那么则有

第二方面，当采用高斯聚类时，假设获取x、y、z的重心分别表示为x_c、y_c、z_c，计算点到重心的距离，根据距离进行权重计算，然后计算加权求和，因此可得

Δx＝x_i-x_c,Δy＝y_i-y_c,Δz＝z_i-z_c。

从而获得距离

权重

或者α_i＝1/d_i，所有权重和为

坐标输出为

步骤S122，根据离散数据形成目标物体上每两个特征点的特征点对，并计算对应的特征描述子。以及将具有相同或相似特征描述子的特征点对划分为一个组且存入同一个哈希表内，计算获得每一个哈希表的键值，并且建立键值和哈希表内所存储的特征点对之间的映射关系。

本领域的技术人员可以理解，对于离散数据，例如图6，得知其中两特征点p₁、p₂及分别对应的法向量n₁、n₂，则可以得到关于特征点(p₁,n₁)和(p₂,n₂)的特征点对，且特征点对表示为((p₁,n₁),(p₂,n₂))。那么，在图6示意的直角坐标系中可以定义特征点对((p₁,n₁),(p₂,n₂))的特征描述子

F(p₁,p₂)＝(||d||,∠(n₁,d),∠(n₂,d),∠(n₁,n₂))；

其中，d表示p₁到p₂的向量且满足d＝p₁-p₂，||d||表示p₁和p₂之间的距离；∠(a,b)∈[0,π]表示两个向量之间的夹角(其中a、b表示计算过程的参数)，例如∠(n₁,d)∈[0,π]表示n₁和d之间的夹角，∠(n₂,d)∈[0,π]表示n₂和d之间的夹角，∠(n₁,n₂)∈[0,π]表示n₁和n₂之间的夹角。

在本实施例中，哈希表主要由两部分构成(key,data)，其中key为键值，data为数据，也就是把相似的数据设置为相同的键值。可以采用MurHash函数来建立特征描述子F到键值的映射关系，这里不再进行详细说明。

需要说明的是，对于每个哈希表内的特征点对，该特征点对的特征描述子还可以用公式表示为

特征描述子

内的全部或部分参数用于计算该哈希表的键值；其中，F₁为特征点对内两特征点的距离，F₂为特征点对内一个特征点的法向量和两特征点连线的夹角，F₃为特征点对内另一个特征点的法向量和两特征点连线的夹角，F₄为特征点对内两特征点的法向量夹角。

步骤S123，根据各哈希表的键值进行投票计数，统计得到不同投票得分的键值对应的特征点对，并将特征点对中的各特征点的坐标作为目标物体的特征数据。

在一个具体实施例中，得到目标物体的特征数据的过程可以描述为：

(1)对于每个哈希表内的特征点对，如果用

表示特征点对的特征描述子，对其分别设置角度和距离采样步长d_l和d_α，则可获得

那么可以利用特征描述子

内的全部或部分参数计算该哈希表的键值。

情况一，对于平面而言，判断计算所得特征向量F₂,F₃,F₄是否位于特征空间范围内，如果位于范围内进行离散化向量投票，投票时只采用F₂,F₃,F₄进行投票即可，此时可以依据F₂,F₃,F₄进行哈希表的键值计算。需要说明的是，平面下的特征向量可以表示为F＝[|d|,π/2,π/2,0]，若考虑到距离误差和角度误差，因此平面下的特征描述子的取值范围为

其中δ_α为角度误差。那么，可以按照该式(1-1)进行平面情况下的离散化向量投票。

情况二，对于球体而言，可以仅根据F₁,F₄进行投票计算，此外利用F₂,F₃进行特征点对的排除；此时可以依据F₁,F₄进行哈希表的键值计算。需要说明的是，参见图8，球面下的特征描述子可以表示为

F(p₁,p₂)＝[2rsin(α/2),(π-α)/2,(π+α)/2,α] (1-2)

若考虑到位置误差为δ_p，角度误差为δ_α，则角度和半径的变化范围为

其中，α为p₁和p₂的法向量的夹角，如图8中法向量n₁和n₂映射到同一个圆面上的夹角，在理想情况下α也为p₁和p₂到圆心连线的夹角；r表示球体的半径且满足

那么，可以按照该式(1-2)进行球体情况下的离散化特征投票。

情况三，对于圆柱体而言，由于圆柱不仅受局部位置坐标影响，还受到半径r参数的影响，为减少参数投票维数，只需用F₂,F₃,F₄进行投票，然后计算半径r＝F₁/F₁ ^M是否在给定范围内，若在范围内则进行投票。此时，可以依据F₂,F₃,F₄进行哈希表的键值计算。需要说明的是，参见图9，圆柱体下的特征描述子可以表示为

F(p₁,p₂)＝[|d|,∠(n₁,d),π-∠(n₁,d),α] (1-3)

其中，n₁＝(1,0,0)^T，d＝(r(1-cosα),rsinα,l)^T；α表示p₁和p₂的法向量的夹角，如图9中法向量n₁和n₂映射到同一个圆面上的夹角，在理想情况下α也为p₁和p₂映射到同一个圆面上且到圆心连线的夹角。那么，可以按照该式(1-3)进行圆柱体情况下的离散化特征投票。

(2)对具有相同键值的特征点对的数目进行投票计数，获得各个哈希表的键值的投票得分，不同投票得分的键值对应的特征点对中的各特征点的坐标和法向量作为目标物体的特征数据。

需要说明的是，这里的投票计数可以简单表述为：若任意一个特征点对对应的键值与其它特征点对对应的键值相同，则对该键值的索引计数+1，若不相同则对新的键值的索引计数+1，那么就可以根据投票计数结果得到关于各个哈希表的键值的投票得分。

需要说明的是，对于平面和球体而言，把一个点和法向量重合后，无论如何旋转，其局部参数角度并不影响形状，因此在基元提取时并不需要考虑局部坐标系下的旋转角度β。然而，对于圆柱而言，由于旋转角度会影响其重合，因此需要考虑局部角度参数。比如，将点(p₁,n₁)中的点p₁转换到坐标原点，计算n₁方向与x轴重合的平移向量T和旋转矩阵R，此时便可以将点p₂按照相同的平移向量T和旋转矩阵R进行变换，变换后的坐标表示为p′＝(p_x,p_y,p_z)，存储得到的旋转角度β＝tan^-1(-p_z,p_y)。具体过程可以描述为：

A)建立一中间局部坐标系，参见图7，以s作为中间局部坐标系的基准点，计算该基准点s在中间局部坐标系中的平移向量T和旋转矩阵R。例如，将基准点s转换至该中间局部坐标系的原点，将对应的法向量n₁′的方向转换至与该中间局部坐标系的x轴方向一致，计算x轴方向夹角θ＝arccos(n_x)和等效轴角单位方向向量

由此计算得到基准点s在该中间局部坐标系中的平移向量T和旋转矩阵R，分别表示为

T＝-Rp₁＝-R(p_x,p_y,p_z)^T；

其中，cθ表示cosθ，sθ表示sinθ，(p_x,p_y,p_z)^T表示基准点s的转置运算。

B)根据平移向量T和旋转矩阵R对特征点对内的一个特征点m进行基准坐标变换，使得相同特征在同一坐标系中的位姿通过旋转和平移变换可以重合，由此得到T_s→ls_i＝R(β)T_m→lm_i，T_m→lm_i＝R(β)T_m→ls_i，下标i表示序号，从而得到基准定点和特征点之间形成

的对应关系。其中，对于点s_r，T_s→l是将s_r平移到原点并且将s_r的法线旋转到x轴上(指向正方向)的刚性3D变换；对于点m_r，T_m→l是将m_r平移到原点并且将m_r的法线旋转到x轴上(指向正方向)的刚性3D变换；T^-1表示逆变换的意思。对于旋转角度β，R_x(β)是以角度β绕着x轴旋转的刚性3D变换。那么，给定关于点s_r的局部坐标(m_r,β)，从坐标空间中的点m_i到场景空间中的其对应点s_i的映射可以记为

步骤S124，依据相同键值对应的特征点对确定目标物体的初始几何信息。

在一个具体实施例中，得到目标物体的初始几何信息的过程描述为：

(1)获得相同键值对应的特征点对内特征点的坐标，通过坐标分布确定目标物体的几何基元。

(2)对于平面类型的几何基元，目标物体的初始几何信息用公式表示为

[a,b,c,d][x,y,z,1]^T＝0，

或者为ax+by+cz+d＝0；

其中，a,b,c,d为平面几何参数。

对于球类型的几何基元，目标物体的初始几何信息用公式表示为

(x-x₀)²+(y-y₀)²+(z-z₀)²＝R²；

其中，x₀,y₀,z₀,R为球几何参数。

对于圆柱类型的几何基元，目标物体的初始几何信息用公式表示为

其中，t,s,n,h为圆柱几何参数，n_x、n_y、n_z为点(x,y,z)的法向量分别在三个坐标轴上的法向分量。

本领域技术人员可以理解，由于这里通过投票计数统计得到目标物体的特征数据和初始几何信息，使得算法能够加快特征向量的匹配过程，快速地获得目标物体的特征数据和初始几何基元。

在本实施例中，参见图3，上述的步骤S130主要涉及根据三维点云数据进行投票计数的过程，具体可以包括步骤S131-S132，分别说明如下。

步骤S131，通过非极大值抑制从特征数据中选取部分的数据，得到候选信息。在一个具体实施例中，首先确定投票得分最高时的键值，从目标物体的特征数据中选取该键值对应的特征点对，并将所选取特征点对中特征点的坐标作为候选信息。

需要说明的是，非极大值抑制(Non-Maximum Suppression，简称NMS)就是抑制不是极大值的元素。在这里，通过非极大值抑制来确定投票以得分最高时的键值。

步骤S132，根据候选信息中各数据点到达几何基元的距离对几何基元进行基元分割，利用分割结果对候选信息进行局部更新，得到目标物体的局部优化数据。

在一个具体实施例中，可以计算候选信息中每个数据点到达几何基元的距离，判断距离是否小于或等于预设阈值；若是，则确认对应的数据点属于几何基元；若否，则从候选信息中剔除对应的数据点。可以理解，将剔除后的候选信息便可以作为目标物体的局部优化数据。

情况一，若目标物体的几何基元为平面，则候选信息中每个数据点到达几何基元的距离用公式表示为d(p,r)＝(ax_i+by_i+cz_i+d)²，其中p为平面几何参数，r为数据点，下标i为数据点的序号。

情况二，若目标物体的几何基元为球体，则候选信息中每个数据点到达几何基元的距离用公式表示为

其中p为球几何参数，r为数据点，下标i为数据点的序号，(x₀,y₀,z₀)为球体的球心坐标，R_s为球体半径。

情况三，若目标物体的几何基元为圆柱体，则候选信息中每个数据点到达几何基元的距离用公式表示为d(p,r)＝(|T′r-T′r·(0,0,1)^T|-R_c)，其中p为圆柱几何参数，r为数据点，T′为几何基元变换到坐标系且中心位于坐标系原点、主轴与坐标系z轴重合时的变换矩阵，上标T为转置运算，R_c为圆柱半径。

本领域的技术人员可以理解，由于对特征数据进行局部优化以得到目标物体的局部优化数据，使得全局坐标系下的计算转化为局部坐标系下的计算，由基于点的处理方式转化为基于多维特征的处理方式，如此既提高了算法的处理速度和效率，也提高了算法的抗遮挡能力、鲁棒性，容易满足视觉引导、自动驾驶、现实增强等应用场景中三维基元数据的提取操作。

在本实施例中，参见图4，上述的步骤S140主要涉及根据三维点云数据进行投票计数的过程，具体可以包括步骤S141-S143，分别说明如下。

步骤S141，建立针对几何基元的目标函数。这里的目标函数包括几何基元的几何信息和局部优化数据的几何关系。

在一个具体实施例中，建立的目标函数用公式表示为

其中，p为基元几何参数，r为局部优化数据中的数据点，P为局部优化数据的数据点数目，d(p,r)为数据点到几何基元的距离，w_r为d(p,r)的权重系数。

情况一，对于平面类型的几何基元，数据点到几何基元的距离表示为

d(p,r)＝(ax_i+by_i+cz_i+d)²；

其中，a,b,c,d为平面几何参数,下标i为数据点的序号。此外，此时的权重系数w_r可以表示为

此时，若将公式(2-1)用向量表示E(p)＝e^Te，则梯度可以表示为

采用雅克比矩阵

时，采用的迭代计算可以表示为

情况二，对于球体类型的几何基元，数据点到几何基元的距离表示为

其中，x₀,y₀,z₀,R_s为球几何参数。此时，针对公式(2-1)也可以采用泰勒公式展开，将非线性问题转化为线性问题，计算结果迭代可以采用

其中的参数A_k表示为

其中，

k为迭代次数对应的序号。

情况三，对于圆柱类型的几何基元，数据点到几何基元的距离表示为

d(p,r)＝(|T′r-T′r·(0,0,1)^T|-R_c)；

其中，T′为几何基元变换到坐标系且中心位于坐标系原点、主轴与坐标系z轴重合时的变换矩阵，上标T为转置运算，R_c为圆柱半径。为表示变换矩阵T′，这里可以采用等效轴角方式进行表示，使得δ＝(δ_r,δ_tx,δ_ty,δ_rx,δ_ry)，迭代更新后的表达式可以表示为

在本实施例中，目标函数E(p)的迭代计算可以采用梯度下降法或最小二乘法；而权重系数w_r的计算可以采用Huber法(损失最小化学习法)或Tukey法(多重比较法)。由于各种方法的原理都属于现有技术，所以这里不再对具体采用的方法以及应用过程进行详细说明和限制。

步骤S142，根据局部优化数据中的各特征点执行目标函数的迭代计算，直至前后两次的计算结果小于目标阈值或者迭代过程达到预设迭代次数时为止，提取收敛的特征点并作为目标物体的三维基元数据。

步骤S143，根据三维基元数据确定目标物体的结果几何信息。具体地，获得三维基元数据中各特征点的坐标，通过坐标分布确定目标物体的结果几何基元；针对结果几何基元的类型(平面、球体、圆柱体等)确定目标物体的结果几何信息。可以理解，结果几何信息表征的是目标物体真实的基元类型，能够据此对目标物体进行形状或者位姿的识别。

本领域的技术人员可以理解，由于利用目标函数对局部优化数据进行迭代更新得到目标物体的三维基元数据和结果几何信息，使得算法采用了层级优化策略，如此能够提高几何基元提取的准确性和表达能力。

实施例二、

请参考图10，本实施例中公开一种三维基元识别装置，其主要包括传感器21、处理器22和控制器23，下面分别说明。

传感器21用于采集目标物体的场景图像，以形成目标物体的三维点云数据。这里的传感器21可以是一些具有图像采集功能的视觉传感器，如摄像设备、激光扫描设备。这里的目标物体可以是工业流水线上的产品、物件箱内的机械零件、操作台上的工具等，不做具体限定。

处理器22与传感器连接。处理器22用于通过实施例一中公开提取方法得到目标物体的三维基元数据和结果几何信息。关于处理器22使用的提取方法可以参见实施例一中的步骤S110-S140。

控制器23与传感器21和处理器22连接。控制器23用于控制传感器21采集目标物体的场景图像，比如可设置传感器31的图像采集时间、采集间隔、采集位置等参数。此外，控制器23还用于根据处理器22输出的三维基元数据和结果几何信息控制一执行机构捕获目标物体。比如在图10中，控制器23可以根据处理器22输出的结果几何信息输出运动指令至执行机构24，使得执行机构抓取工具箱内的目标物体25。

在本实施例中，执行机构24为具有机械臂的夹爪或者吸盘；该执行机构24用于接收控制器23发出的控制指令并在机械臂的运动范围内对目标物体进行抓取或者吸取操作。如果通过目标物体的结果几何基元确定目标物体为圆柱体，则执行机构24对圆柱体采取抓取操作；如果通过目标物体的结果几何基元确定目标物体为平面体或球体，则执行机构24对平面体或球体采取吸取操作。可以理解，执行机构24采用适配的操作方式可以增强对目标物体的获取作业效果。

在本实施例中，技术方案从三维点云数据中自动检测几何特征来识别平面、球体、柱体等几何基元，可以降低设备感知环境的难度，缩小高层语义和底层视觉特征之间的语义鸿沟，有助于使设备像人一样来分析和感知世界，实现智能操作。此外，由于人造场景中往往包含有大量能够很好地反映目标物体结构信息的轮廓、平面、球和圆柱等几何特征，所以本实施例中技术方案利用这些特征对目标物体进行表达能够降低三维目标跟踪、形状识别与姿态估计等算法的复杂度，同时大大提高算法的鲁棒性和准确度。

在一个具体实施中，参见图11，处理器22可以包括数据提取模块221、识别与定位模块222。

其中，数据提取模块221用于获取目标物体的三维点云数据；根据三维点云数据对目标物体进行特征描述，并通过投票计数统计得到目标物体的特征数据和初始几何信息，初始几何信息用于表征目标物体的几何基元；根据特征数据到达几何基元的距离对特征数据进行局部优化，得到目标物体的局部优化数据；建立针对几何基元的目标函数，利用目标函数对局部优化数据进行迭代更新，得到目标物体的三维基元数据和结果几何信息。识别与定位模块222和数据提取模块221连接，用于利用目标物体的三维基元数据和结果几何信息，对目标物体进行三维位姿的估计，得到目标物体的位姿信息。

在一具体实施例中，参见图10和11，控制器23包括优化模块231和控制模块232。

其中，优化模块231和处理器22中的识别与定位模块222连接，用于根据目标物体相对于传感器21的位姿信息规划执行机构24的运动路线和抓取/吸取位置。控制模块232与优化模块231连接，用于输出控制指令，一方面控制执行机构24按照规划的运动路线和抓取位置对目标物体进行抓取/吸取，另一方面控制模块232还输出控制指令来控制传感器21采集目标物体的图像。

本领域的技术人员可以理解，本实施例中公开的三维基元识别装置能够使得控制器根据处理器输出的位姿信息控制运动机构准确地抓取/吸取目标物体，在保证执行效率的同时还能有效地提高抓取/吸取的准确度，增强装置在应用过程中的实用性能。

实施例三、

请参考图12，本实施例公开一种三维基元识别装置，其可以包括存储器31和处理器32，下面分别说明。

存储器31用于存储程序。具体地，可以将存储器31认为是一种计算机可读存储介质，内部存储的程序可以是实施例一中公开的提取方法的软件代码。

处理器32与存储器32连接，处理器32用于通过执行存储器31中存储的程序以实现实施例一中公开的提取方法。

在一个具体实施例中，处理器32实现的功能可以概括为：获取目标物体的三维点云数据，三维点云数据包括目标物体的表面上各特征点的坐标和对应的法向量；根据三维点云数据对目标物体进行特征描述，并通过投票计数统计得到目标物体的特征数据和初始几何信息，初始几何信息用于表征目标物体的几何基元；根据特征数据到达几何基元的距离对特征数据进行局部优化，得到目标物体的局部优化数据；建立针对几何基元的目标函数，利用目标函数对局部优化数据进行迭代更新，得到目标物体的三维基元数据和结果几何信息。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种三维基元数据的提取方法，其特征在于，包括：

获取目标物体的三维点云数据；所述三维点云数据包括所述目标物体的表面上各特征点的坐标和对应的法向量；

根据所述三维点云数据对所述目标物体进行特征描述，并通过投票计数统计得到所述目标物体的特征数据和初始几何信息；所述初始几何信息用于表征所述目标物体的几何基元；

根据所述特征数据到达所述几何基元的距离对所述特征数据进行局部优化，得到所述目标物体的局部优化数据；

建立针对所述几何基元的目标函数，利用所述目标函数对所述局部优化数据进行迭代更新，得到所述目标物体的三维基元数据和结果几何信息。

2.如权利要求1所述的提取方法，其特征在于，所述根据所述三维点云数据对所述目标物体进行特征描述，并通过投票计数统计得到所述目标物体的特征数据和初始几何信息，包括：

采用体素栅格对所述三维点云数据进行离散化处理，得到离散数据；

根据所述离散数据形成所述目标物体上每两个特征点的特征点对，并计算对应的特征描述子；将具有相同或相似特征描述子的特征点对划分为一个组且存入同一个哈希表内，计算获得每一个哈希表的键值，并且建立键值和哈希表内所存储的特征点对之间的映射关系；

根据各哈希表的键值进行投票计数，统计得到不同投票得分的键值对应的特征点对，并将特征点对中的各特征点的坐标作为所述目标物体的特征数据；

依据相同键值对应的特征点对确定所述目标物体的初始几何信息。

3.如权利要求2所述的提取方法，其特征在于，所述根据各哈希表的键值进行投票计数，统计得到不同投票得分的键值对应的特征点对，并将特征点对中的各特征点的坐标作为所述目标物体的特征数据，包括：

对于每个哈希表内的特征点对，该特征点对的特征描述子用公式表示为

所述特征描述子

内的全部或部分参数用于计算该哈希表的键值；其中，F₁为特征点对内两特征点的距离，F₂为特征点对内一个特征点的法向量和两特征点连线的夹角，F₃为特征点对内另一个特征点的法向量和两特征点连线的夹角，F₄为特征点对内两特征点的法向量夹角；

对具有相同键值的特征点对的数目进行投票计数，获得各个哈希表的键值的投票得分，不同投票得分的键值对应的特征点对中的各特征点的坐标和法向量作为所述目标物体的特征数据。

4.如权利要求3所述的提取方法，其特征在于，所述依据相同键值对应的特征点对确定所述目标物体的初始几何信息，包括：

获得相同键值对应的特征点对内特征点的坐标，通过坐标分布确定所述目标物体的几何基元；

对于平面类型的几何基元，所述目标物体的初始几何信息用公式表示为[a,b,c,d][x,y,z,1]^T＝0；其中，a,b,c,d为平面几何参数；

对于球类型的几何基元，所述目标物体的初始几何信息用公式表示为(x-x₀)²+(y-y₀)²+(z-z₀)²＝R²；其中，x₀,y₀,z₀,R为球几何参数；

对于圆柱类型的几何基元，所述目标物体的初始几何信息用公式表示为

其中，t,s,h为圆柱几何参数，n_x、n_y、n_z为点(x,y,z)的法向量分别在三个坐标轴上的法向分量。

5.如权利要求3所述的提取方法，其特征在于，所述根据所述特征数据到达所述几何基元的距离对所述特征数据进行局部优化，得到所述目标物体的局部优化数据，包括：

通过非极大值抑制从所述特征数据中选取部分的数据，得到候选信息；该步骤具体包括：确定投票得分最高时的键值，从所述目标物体的特征数据中选取该键值对应的特征点对，并将所选取特征点对中特征点的坐标作为所述候选信息；

根据所述候选信息中各数据点到达所述几何基元的距离对所述几何基元进行基元分割，利用分割结果对所述候选信息进行局部更新，得到所述目标物体的局部优化数据。

6.如权利要求5所述的提取方法，其特征在于，所述根据所述候选信息中各数据点到达所述几何基元的距离对所述几何基元进行基元分割，利用分割结果对所述候选信息进行局部更新，得到所述目标物体的局部优化数据，包括：

计算所述候选信息中每个数据点到达所述几何基元的距离，判断所述距离是否小于或等于预设阈值，若是，则确认对应的数据点属于所述几何基元；若否，则从所述候选信息中剔除对应的数据点；

将剔除后的所述候选信息作为所述目标物体的局部优化数据。

7.如权利要求1-6所述的提取方法，其特征在于，所述建立针对所述几何基元的目标函数，利用所述目标函数对所述局部优化数据进行迭代更新，得到所述目标物体的三维基元数据和结果几何信息，包括：

建立针对所述几何基元的目标函数；所述目标函数包括所述几何基元的几何信息和所述局部优化数据的几何关系；

根据所述局部优化数据中的各特征点执行所述目标函数的迭代计算，直至前后两次的计算结果小于目标阈值或者迭代过程达到预设迭代次数时为止，提取收敛的特征点并作为所述目标物体的三维基元数据；

根据所述三维基元数据确定所述目标物体的结果几何信息。

8.如权利要求7中所述的提取方法，其特征在于，

建立的目标函数用公式表示为

其中，p为基元几何参数，r为所述局部优化数据中的数据点，P为所述局部优化数据的数据点数目，d(p,r)为数据点到几何基元的距离，w_r为d(p,r)的权重系数；

对于平面类型的几何基元，数据点到几何基元的距离表示为d(p,r)＝(ax_i+by_i+cz_i+d)²；其中，a,b,c,d为平面几何参数,下标i为数据点的序号；

对于圆柱类型的几何基元，数据点到几何基元的距离表示为

其中，x₀,y₀,z₀,R_s为球几何参数,下标i为数据点的序号；

对于圆柱类型的几何基元，数据点到几何基元的距离表示为d(p,r)＝(|T′r-T′r·(0,0,1)^T|-R_c)，其中，T′为几何基元变换到坐标系且中心位于坐标系原点、主轴与坐标系z轴重合时的变换矩阵，上标T为转置运算，R_c为圆柱半径；

所述目标函数的迭代计算为梯度下降法或最小二乘法；所述权重系数w_r的计算采用Huber法或Tukey法。

9.一种三维基元识别装置，其特征在于，包括：

传感器，用于采集目标物体的场景图像，以形成所述目标物体的三维点云数据；

处理器，与所述传感器连接，用于通过权利要求1-8中任一项所述的提取方法得到所述目标物体的三维基元数据和结果几何信息；

控制器，与所述传感器和所述处理器连接，用于控制所述传感器采集所述目标物体的场景图像，以及用于根据所述处理器输出的三维基元数据和结果几何信息控制一执行机构捕获所述目标物体。

10.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-8中任一项所述的提取方法。

Images