CN115908426B - 一种基于三维点云定位算法的板材试样加工方法及系统 - Google Patents

Abstract

本申请提供一种基于三维点云定位算法的板材试样加工方法及系统；所述方法包括：获取试样初始位置信息、试样数量及试样类型信息，以及对所述试样进行图像采集，得到试样的第一三维点云信息；对所述第一三维点云信息进行预处理，得到第二三维点云信息；根据所述试样类型信息，确定试样取样模式，所述取样模式为吸取模式或夹取模式；若取样模式为吸取模式，则对所述第二三维点云信息进行聚类分割，得到所述试样的中心点坐标；若取样模式为夹取模式，则对所述第二三维点云信息进行边界提取，得到试样的长度、宽度信息。通过自动定位的方法获取板材试样的位置，控制机械臂取样，以提高加工效率。

Description

一种基于三维点云定位算法的板材试样加工方法及系统

技术领域

本申请涉及机器视觉定位技术领域，具体涉及一种基于三维点云定位算法的板材试样加工方法及系统。

背景技术

在检测中心试样加工车间，从各分厂送来的粗样，包括冲击样、圆拉伸样、板拉伸样、弯曲样、金相样等，为了从粗样加工成各种类型的成品试样，需要对试样进行取样。取样方法主要以人工上下料为主，而人工操作存在以下几点不足：样品种多数量更多，劳动强度大；取样位置受人为因素影响大，影响试验数据和产品性能的分析；设备陈旧，自动化程度偏低。

由于实验检测中心试样加工车间设备自动化程序偏低，试样加工时的取样位置受人为因素影响大，影响试验数据和产品性能的分析；且中厚板试样单块最大重量较重，人工在搬运和加工过程中、劳动强度大、危险系数高、效率较低。

发明内容

本申请提供一种基于三维点云定位算法的板材试样加工方法及系统，以提高加工效率较低的问题。

一方面，本申请提供一种基于三维点云定位算法的板材试样加工方法，所述方法包括：

获取试样初始位置信息、试样数量及试样类型信息，以及对所述试样进行图像采集，得到试样的第一三维点云信息；

对所述第一三维点云信息进行预处理，得到第二三维点云信息，所述第二三维点云信息的点云数量少于所述第一三维点云信息的点云数量；

对所述第二三维点云信息进行聚类分割，生成聚类点云；

根据所述试样类型信息，确定试样取样模式，所述取样模式为吸取模式或夹取模式；

若取样模式为吸取模式，计算所述聚类点云的质心坐标，得到所述试样的中心点坐标；

若取样模式为夹取模式，则对所述聚类点云进行边界提取，得到试样的长度、宽度信息。

可选的，对所述试样进行图像采集的步骤包括：

根据获取的试样初始位置信息生成扫描控制指令；

根据所述扫描控制指令控制三维视觉设备扫描所述试样，得到所述第一三维点云信息。

可选的，所述对所述第一三维点云信息进行预处理的步骤包括：

对所述第一三维点云信息执行点云数据简化，得到简化三维点云信息；

去除所述简化三维点云信息中的干扰点云；

对去除干扰点云后的所述简化三维点云信息进行分割，得到第二三维点云信息。

可选的，所述对所述第一三维点云信息执行点云数据简化的步骤包括：

对所述第一三维点云信息进行降维处理；

使用体素滤波向下采样处理所述第一三维点云信息，得到简化三维点云信息。

可选的，所述去除所述简化三维点云信息中的干扰点云的步骤包括：

使用统计滤波筛选出所述简化三维点云中的孤点和离群点；

使用最小移动二乘法对所述孤点和离群点进行平滑处理，得到第二三维点云信息。

可选的，对所述第二三维点云信息进行聚类分割步骤包括：

通过区域生长算法对去所述第二三维点云信息进行聚类分割，得到多个聚类点云；

计算聚类点云的质心坐标和每一个聚类点云的坐标的最大值和最小值；

获取聚类点云个数与所述试样数量；

若所述聚类点云个数与所述试样数量相等，则将计算出的聚类点云的质心坐标作为试样的中心点坐标；

若所述聚类点云个数与所述试样数量不相等，则对所述聚类点云进行动态分区。

可选的，对所述聚类点云进行动态分区的步骤包括：

将所述聚类点云分别在X方向和Y方向进行遍历，并根据聚类点云之间的距离将遍历结果组合在一起得到若干分区；

将每个分区的聚类点云整合成一个新的聚类点云；

计算所述新的聚类点云的质心坐标。

可选的，对所述第二三维点云信息进行边界提取的步骤包括：

通过所述第二三维点云信息计算出法线，所述法线为垂直于点云表面相切的平面向量；

通过所述法线和所述第二三维点云信息预估出所述试样的边界。

可选的，通过所述法线和所述第二三维点云信息预估出所述试样的边界步骤包括：

通过最小二乘法平面预估确定平面最小的法向量；

根据所述法向量，计算所述法向量之间的夹角；

根据所述夹角预估所述试样的边界。

另一方面，本申请提供一种基于三维点云自动定位算法的厚板试样加工系统，所述系统包括：三维视觉设备、机械臂、上下料交换平台、试样数量模块、试样类型模块和控制器；

所述三维视觉设备还包括相机、光机和三维视觉传感器底板；所述三维视觉设备用于获取试样的三维点云信息；所述机械臂人用于夹取试样或吸取试样；所述上下料交换平台用于获取试样位置信息；所述试样数量模块用于获取试样摆放数量；所述试样类型模块用于获取试样类型信息；

所述控制器用于：

获取试样初始位置信息、试样数量及试样类型信息，以及对所述试样进行图像采集，得到试样的第一三维点云信息；

对所述第一三维点云信息进行预处理，得到第二三维点云信息，所述第二三维点云信息的点云数量少于所述第一三维点云信息的点云数量；

根据所述试样类型信息，确定试样取样模式，所述取样模式为吸取模式或夹取模式；

若取样模式为吸取模式，则对所述第二三维点云信息进行聚类分割，得到所述试样的中心点坐标；

若取样模式为夹取模式，则对所述第二三维点云信息进行边界提取，得到试样的长度、宽度信息。

由以上技术方案可知，本申请提供一种基于三维点云定位算法的板材试样加工方法及系统；所述方法包括：获取试样初始位置信息、试样数量及试样类型信息，以及对所述试样进行图像采集，得到试样的第一三维点云信息；对所述第一三维点云信息进行预处理，得到第二三维点云信息，所述第二三维点云信息的点云数量少于所述第一三维点云信息的点云数量；根据所述试样类型信息，确定试样取样模式，所述取样模式为吸取模式或夹取模式；若取样模式为吸取模式，则对所述第二三维点云信息进行聚类分割，得到所述试样的中心点坐标；若取样模式为夹取模式，则对所述第二三维点云信息进行边界提取，得到试样的长度、宽度信息。通过自动定位的方法获取板材试样的位置，以解决加工效率较低的问题。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的三维点云定位算法的板材加工方法流程图；

图2为本申请实施例提供的试样图像采集方法流程图；

图3为本申请实施例提供的第一三维点云信息预处理方法流程图；

图4为本申请实施例提供的区域生长算法流程图；

图5为本申请实施例提供的聚类点云动态分区方法流程图；

图6为本申请实施例提供的三维点云定位算法的板材加工系统结构示意图；

图7为本申请实施例提供的三维视觉设备结构示意图。

具体实施方式

为了使本技术领域的人员能够更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

在检测中心试样加工车间，对试样进行加工时，需要对试样进行取样，在一些实施例中，对试样的取样主要通过人工上下料为主，由于试样的品种数量较多并且试样的重量较重，人工上下料劳动强度大、效率较低，试样加工时的取样位置受人为因素影响大，影响试验数据和产品性能的分析。

为解决上述问题，本申请部分实施例提供一种基于三维点云定位算法的板材试样加工方法。参见图1，所述方法包括以下步骤：

S10：获取试样初始位置信息以及对试样进行图像采集，得到试样的第一三维点云信息。

其中，初始位置信息可以通过上下料交换平台获取，可以通过三维视觉设备对试样进行图像采集。如图2所示，获取试样初始位置信息以及对试样进行图像采集，得到试样的第一三维点云信息的步骤包括：

S101：获取试样的初始位置信息、试样数量及试样类型信息；

S102：根据试样初始位置信息生成扫描控制指令；

S103：根据扫描控制指令控制三维视觉设备扫描试样，得到第一三维点云信息。

具体的，当试样放置在上下料交换平台的取样区域后，上下料交换平台可以自动检测是否有试样放置在试样托盘上并且生成试样位置信息，试样数量模块可以记录上下料交换平台上的试样数量。试样类型模块可以记录上下料交换平台上的试样类型信息，其中试样类型信息包括试样的类型，例如冲击样、圆拉伸样、板拉伸样、弯曲样、金相样。

在接收到试样位置信息后，控制器将根据试样位置信息生成控制指令，并发送给三维视觉设备和机械臂，机械臂在接收到控制指令后，将三维视觉设备移动至试样托盘的上方，当移动至试样托盘上方后，三维视觉设备对试样进行扫描，生成第一三维点云信息。

在计算机中，图像由一个个像素点组成。图像数据存储在每一个像素点中，每一个像素点包含了被测物体的信息。图像采集获得的数据可以包括RGB信息或者灰度信息以外，还可以包含深度信息和坐标等其他信息。在某个坐标系下的点的数据集又被称为点云。点云里的每一个点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等。通过高精度的点云数据可以还原目标形状和位置。

三维点云数据是通过3D扫描设备产生的，例如激光雷达(2D/3D)、RGB双目、3D结构光相机、tof相机(time-of-flight camera)，在本实施例中，使用的是3D相机。3D测量在物体表面的大量的点的信息，然后输出三维点云数据。

S20：对第一三维点云信息进行预处理。

在得到第一三维点云信息后，需要对第一三维点云信息进行预处理，如图3所示，对第一三维点云信息进行预处理包括以下步骤：

S201：对第一三维点云信息执行点云数据简化，得到简化三维点云信息；

对第一三维点云信息执行点云数据简化可以通过体素波向下采样的方法。

具体的，对第一三维点云信息执行点云数据简化可以采用体素滤波向下采样处理第一三维点云信息，经过滤波平滑处理后，第一三维点云信息量将减少，且第一三维点云之间的间距数值将变化，例如：使用体素栅格滤波时将栅格大小设置为原始点距两倍时，则在第一三维点云信息的基础上x,y,z中点云间的间距将变为2倍，将第一三维点云数据简化后，得到简化三维点云信息。

其中，体素滤波的作用可以减少点云数量，采用体素格中接近中心点的点替代体素内的所有点云，这种方法比直接使用中心点要慢，但是更加精确。这种方式即减少点云数据，并同时保存点云的形状特征。

S202：去除简化三维点云信息中的干扰点云；

在对第一三维点云信息执行点云数据简化后，需要去除简化三维点云信息中的干扰点云生成第二三维点云信息。

具体的，去除简化三维点云信息中的干扰点云可以通过滤除简化三维点云信息中的孤点、离群点来实现，可以采用统计滤波的方法，将滤波后的点云数据进行平滑，也可以使用移动最小二乘法（MLS）函数，能够使得滤波后的简化三维点云信息中的相邻点更好的规律性。

S30：对第二三维点云信息进行聚类分割，生成聚类点云；

其中，对第二三维点云信息进行聚类分割的方法可以通过采用区域生长算法对第二三维点云信息进行聚类分割。

具体的，区域生长算法是指将成组的像素或区域发展成更大区域的过程。从种子点的集合开始，从这些点的区域增长是通过将与每个种子点有相似属性像强度、灰度级、纹理颜色等的相邻像素合并到此区域。通过区域生长算法，可以将第二三维点云信息进行聚类分割，形成多个聚类点云。

在本实施例中，首先根据第二三维点云中的点的曲率对点进行排序，区域生长算法是从曲率最小的点开始生长的，这个点即是初始种子点，初始种子点所在的区域即为最平滑的区域。从最平滑的区域开始生长，可以减少分割区域的总数，提高效率。

如图4所示，对第二三维点云信息进行聚类分割，生成聚类点云具体的步骤包括：

S301：设置一空的种子点序列和空的聚类数组，将选好的初始种子点加入到当前种子点序列中，开始搜索邻域点。

S302：对每个邻域点，比较邻域点的法线和当前种子点的法线之间的夹角，小于平滑阈值地加入当前区域。

S303：计算每个邻域点的曲率，小于曲率阈值的领域的加入种子点序列中，删除当前的种子点，利用新加入的种子点继续生长，重复上述过程直至种子点序列清空。

S304：完成S301-S303即一次区域生长完成，将点集加入聚类数组中。

其中，每一个聚类数组即为一个聚类点云，通过区域生长算法可以将第二三维点云信息聚类分割，生成多个聚类点云。

S40：根据试样类型信息，确定获取试样模式。

对不同类型的试样，可以采取不同类型的夹取模式来提高夹取试样的效率，其中获取试样模式包括：吸取模式和夹取模式。

若取样模式为吸取模式，计算聚类点云的质心坐标，得到试样的中心点坐标；根据形成的聚类点云获取聚类点云的数量，并将聚类点云数量与试样数量进行对比。若聚类点云数量与试样数量相等，则计算每个聚类点云的质心坐标。若聚类点云数量与试样数量不相等，则需要对聚类点云进行动态分区。

具体的，当试样表面生锈导致点云质量差时，会出现聚类个数大于试样摆放数量的情况，当聚类点云数量与试样数量不相等时，需要通过动态分区的方法对聚类点云进行进一步的分区。

其中对聚类点云进行动态分区的步骤如图5所示，包括以下步骤：

S401：将聚类点云分别在X方向和Y方向进行遍历，并根据聚类点云之间的距离将遍历结果组合在一起得到若干分区；

S402：将每个分区的聚类点云整合成一个新的聚类点云；

S403：计算新的聚类点云的质心坐标。

通过在X方向和Y方向进行遍历后，会生成若干个分区，将每个分区内的聚类点云整合成一个新的聚类点云，通过动态分区的方法，可以将多个聚类点云整合新的聚类点云，以满足聚类点云的数量与试样数量相等。

若取样模式为夹取模式，则对聚类点云进行边界提取，得到试样的长度、宽度信息。

在对聚类点云进行边提取之前，同样需要对聚类点云数量和试样数量进行比较。若聚类点云数量与试样数量相等，则对聚类点云进行边界提取；若聚类点云数量与试样数量不相等，则需要对聚类点云进行动态分区。

对聚类点云进行动态分区的方法与S401-S403一致。

对聚类点云进行边界提取的方法可以通过采用基于法线估计来实现的边界检测与提取，即由点云估计出法线，再由法线和点云数据估计出边界。首先从预处理后的点云上计算出法线其中，平面的法线是垂直于它的单位向量，而点云表面的法线被定义为垂直于与点云表面相切的平面的向量。进一步地，对点云数据集的每个点的法线估计，可以看作是对表面法线的近似推断。

具体的，对聚类点云进行边界提取的方法可以视为估计表面的一个相切面法线的问题，因此可转换成一个最小二乘法平面拟合估计问题。平面方程用法线式表示为：

；

，/>

，/>

为平面上点(x,y,z)处法向量的方向余弦，/>

为原点到平面的距离。

待拟合的平面方程为：

；

任意点到平面的距离为：

；

经预处理后的点云为待拟合点集：

。

要获得最佳拟合平面，则需满足：

；

由此可以看出最终转化为求特征值的最小值，找到最小值对应的特征向量即为拟合的该平面的最小法向量。

结合边界提取和动态分区处理后，进一步对边界点进行拟合，便可精确计算出每一个区域摆放试样的大小（即试样的长度、宽度信息），进而可获得摆放试样与托盘边缘水平方向或竖直方向的夹角，便于夹爪夹取。

将试样的中心坐标或长度宽度信息发送至控制器，控制器控制机械臂对试样进行取样。

可以理解的是，将试样的中心坐标或长度宽度信息发送至控制器，是将试样托盘上，全部试样的中心坐标或长度宽度信息发生至控制器，控制器控制机械臂依次对试样进行取样。

在一些实施例中，如图6所示，本申请还提供一种基于三维点云自动定位算法的厚板试样加工系统，包括：三维视觉设备、机械臂、上下料交换平台、试样数量模块、试样类型模块和控制器；

三维视觉设备包括相机、光机和三维视觉传感器底板，如图7所示，为三维视觉设备的结构示意图，相机为3D相机，三维视觉设备正对着试样托盘安装固定，安装的位置位于试样托盘的正上方，三维视觉设备可以获得被测物体的三维点云信息，并将其发送至控制器进行处理。

机械臂用于夹取试样或吸取试样；控制器控制机械臂对试样进行夹取或吸取工作；

上下料交换平台用于获取试样位置信息；当试样放置在试样托盘时，上下料交换平台可以获取试样位置信息，同时将试样位置信息发送至控制器，通过控制器将试样位置信息；

试样数量模块用于获取试样摆放数量；根据试样摆放数量可以与聚类点云数量进行对比，从而确定聚类分割的准确性。

试样类型模块用于获取试样类型信息；根据试样类型信息可以确定机械臂对试样的取样模式。

控制器用于：

获取试样初始位置信息、试样数量及试样类型信息，以及对试样进行图像采集，得到试样的第一三维点云信息；

对第一三维点云信息进行预处理，得到第二三维点云信息；

根据试样类型信息，确定试样取样模式，取样模式为吸取模式或夹取模式；

若取样模式为吸取模式，则对第二三维点云信息进行聚类分割，得到试样的中心点坐标；

若取样模式为夹取模式，则对第二三维点云信息进行边界提取，得到试样的长度、宽度信息。

上述系统中在应用前述方法时的作用效果可参见前述方法实施例中的说明，在此不再赘述。

由以上技术方案可知，本申请提供一种基于三维点云定位算法的板材试样加工方法及系统；所述方法包括：获取试样初始位置信息、试样数量及试样类型信息，以及对试样进行图像采集，得到试样的第一三维点云信息；对第一三维点云信息进行预处理，得到第二三维点云信息，第二三维点云信息的点云数量少于第一三维点云信息的点云数量；根据试样类型信息，确定试样取样模式，取样模式为吸取模式或夹取模式；若取样模式为吸取模式，则对第二三维点云信息进行聚类分割，得到试样的中心点坐标；若取样模式为夹取模式，则对第二三维点云信息进行边界提取，得到试样的长度、宽度信息。通过自动定位的方法获取板材试样的位置，以解决加工效率较低的问题。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (8)

1.一种基于三维点云定位算法的板材试样加工方法，其特征在于，所述方法包括：

获取试样初始位置信息、试样数量及试样类型信息，以及对所述试样进行图像采集，得到所述试样的第一三维点云信息；

对所述第一三维点云信息进行预处理，得到第二三维点云信息，所述第二三维点云信息的点云数量少于所述第一三维点云信息的点云数量；

通过区域生长算法对去所述第二三维点云信息进行聚类分割，得到多个聚类点云；

计算聚类点云的质心坐标和每一个聚类点云的坐标的最大值和最小值；

获取聚类点云个数与所述试样数量；

若所述聚类点云个数与所述试样数量相等，则将计算出的聚类点云的质心坐标作为试样的中心点坐标；

若所述聚类点云个数与所述试样数量不相等，将所述聚类点云分别在X方向和Y方向进行遍历，并根据聚类点云之间的距离将遍历结果组合在一起得到若干分区；

将每个分区的聚类点云整合成一个新的聚类点云；

计算所述新的聚类点云的质心坐标；

根据所述试样类型信息，确定试样取样模式，所述取样模式为吸取模式或夹取模式；

若取样模式为吸取模式，计算所述聚类点云的质心坐标，得到所述试样的中心点坐标；

若取样模式为夹取模式，则对所述聚类点云进行边界提取，得到试样的长度、宽度信息。

2.根据权利要求1所述的方法，其特征在于，对所述试样进行图像采集的步骤包括：

根据获取的试样初始位置信息生成扫描控制指令；

根据所述扫描控制指令控制三维视觉设备扫描所述试样，得到所述第一三维点云信息。

3.根据权利要求1所述的方法，其特征在于，所述对所述第一三维点云信息进行预处理的步骤包括：

对所述第一三维点云信息执行点云数据简化，得到简化三维点云信息；

去除所述简化三维点云信息中的干扰点云；

对去除干扰点云后的所述简化三维点云信息进行分割，得到第二三维点云信息。

4.根据权利要求3所述的方法，其特征在于，所述对所述第一三维点云信息执行点云数据简化的步骤包括：

对所述第一三维点云信息进行降维处理；

使用体素滤波向下采样处理所述第一三维点云信息，得到简化三维点云信息。

5.根据权利要求3所述的方法，其特征在于，所述去除所述简化三维点云信息中的干扰点云的步骤包括：

使用统计滤波筛选出所述简化三维点云信息中的孤点和离群点；

使用最小移动二乘法对所述孤点和离群点进行平滑处理，得到第二三维点云信息。

6.根据权利要求1所述的方法，其特征在于，对所述第二三维点云信息进行边界提取的步骤包括：

通过所述第二三维点云信息计算出法线，所述法线为垂直于点云表面相切的平面向量；

通过所述法线和所述第二三维点云信息预估出所述试样的边界。

7.根据权利要求6所述的方法，其特征在于，通过所述法线和所述第二三维点云信息预估出所述试样的边界步骤包括：

通过最小二乘法平面预估确定平面最小的法向量；

根据所述法向量，计算所述法向量之间的夹角；

根据所述夹角预估所述试样的边界。

8.一种基于三维点云自动定位算法的厚板试样加工系统，其特征在于，所述系统包括：三维视觉设备、机械臂、上下料交换平台、试样数量模块、试样类型模块和控制器；

所述三维视觉设备还包括相机、光机和三维视觉传感器底板；所述三维视觉设备用于获取试样的三维点云信息；所述机械臂人用于夹取试样或吸取试样；所述上下料交换平台用于获取试样位置信息；所述试样数量模块用于获取试样摆放数量；所述试样类型模块用于获取试样类型信息；

所述控制器用于：

获取试样初始位置信息、试样数量及试样类型信息，以及对所述试样进行图像采集，得到试样的第一三维点云信息；

对所述第一三维点云信息进行预处理，得到第二三维点云信息；

通过区域生长算法对去所述第二三维点云信息进行聚类分割，得到多个聚类点云；

计算聚类点云的质心坐标和每一个聚类点云的坐标的最大值和最小值；

获取聚类点云个数与所述试样数量；

若所述聚类点云个数与所述试样数量相等，则将计算出的聚类点云的质心坐标作为试样的中心点坐标；

若所述聚类点云个数与所述试样数量不相等，将所述聚类点云分别在X方向和Y方向进行遍历，并根据聚类点云之间的距离将遍历结果组合在一起得到若干分区；

将每个分区的聚类点云整合成一个新的聚类点云；

计算所述新的聚类点云的质心坐标；

根据所述试样类型信息，确定试样取样模式，所述取样模式为吸取模式或夹取模式；

若取样模式为吸取模式，则对所述第二三维点云信息进行聚类分割，得到所述试样的中心点坐标；

若取样模式为夹取模式，则对所述第二三维点云信息进行边界提取，得到试样的长度、宽度信息。

Images