CN110322467A - 一种提升3d轮廓传感器计算板材表面点云密度的算法 - Google Patents

Abstract

本发明涉及智能制造技术领域，具体为一种提升3D轮廓传感器计算板材表面点云密度的算法，包括，步骤1，采集同一类型板材的超高密度点云数据；步骤2，计算所述超高密度点云数据的深度值均值与深度值标准方差，将深度值位于区间的数据判为常规数据，将深度值位于区间之外的数据判为极端数据；步骤3，通过所述常规数据训练一套IT2模糊逻辑系统，通过所述极端数据训练一套T1模糊逻辑系统；步骤4，扫描待检测板材的稀疏点云数据，设置所需的间插坐标点，结合所述IT2模糊逻辑系统和所述T1模糊逻辑系统计算所求间插坐标点的深度估计值。本申请的方法能够大幅降低3D轮廓传感器的使用成本，且适用性广，使用效果好。

Description

一种提升3D轮廓传感器计算板材表面点云密度的算法

技术领域

本发明涉及智能制造技术领域，具体为一种提升3D轮廓传感器计算板材表面点云密度的算法。

背景技术

3D轮廓传感器在行业内又称3D扫描仪、3D相机等，根据应用场景的精度与项目成本需求不同，可以采用包括三角测距、结构光投影、飞行时间等基于不同原理的设计方案。其中，基于激光三角测距的3D轮廓传感器原理如图1所示：半导体激光器通过镜片一聚焦到被测物体，被测物体反射光通过镜片二收集并投射到CCD阵列上，信号处理器通过三角函数计算阵列上的光点位置得到物体的距离。

在某些应用场景中，待测物体可以是任意形状，而其待测几何信息要求对物体的整体轮廓进行扫描。此时3D轮廓传感器的工作方式如图2所示：待测物体与其所摆放平台进行同轴旋转，在旋转过程中的每一个角度，可以计算出物体表面在当前激光切线上的深度信息，物体旋转360°之后即可获得整体轮廓信息。

而在大规模流水线质检环境中，大部分类型的产品只要求检测物体的正面（背对传送带朝上的一面），其中最常见的就是包含木板、钢板、塑料板等在内的各类板材产品。对于该类产品，质检过程中关注的尺寸、曲翘、边缘缺损、正面划伤和裂痕等物理缺陷都可通过对物体正面进行3D扫描获取（此类信息在某些场景中也可通过常规2D摄像获得，然而在高精度场景中则只能通过3D轮廓传感器获取，例如，木地板是否存在与本身纹路非常相似的裂痕，或钢板是否存不明显的曲翘或凹陷等）。

3D点云即一定密度的物体表面点在三维空间的(x,y,z)值的集合。例如，板材表面的点云深度值（z值）均匀分布在某一值左右，而某一线状区间内深度值均远低于，那么可以判断该线状区间是板材表面的裂缝；又如，如果板材两端的深度值均匀分布在某一值左右，而板材中部的深度值均匀分布在左右，同时大于超过了一定程度，则可以判断板材两端向上发生了曲翘。

综上所述，在板材类工业产品生产环境中，可以将图3所示装置搭建入板材片检流水线中以取代或配合2D视觉系统，将扫描完成后所获得的点云进行后期处理和分析来判断板材是否符合后续加工或出厂标准。

而保证算法判断准确率的一个关键是点云在x轴和y轴上的精度是否达到需求。例如，某片木地板有一条沿着y轴方向的宽0.3mm左右的暗裂，而点云在x轴上的间隔为0.5mm，如果该裂纹恰巧在两列点中间，则无法被检测到。另一方面，3D轮廓传感器价格高昂，比如，满足扫描宽度为200mm左右、x轴精度在0.3mm左右的国产模组的售价都在10万元人民币以上，购买一套就已经让设备制造成本难以接受，如果板材宽度大于200mm，则需要多套模组配合使用，不仅价格成倍增长，而且增大了机构设计的周期，否则只能大幅牺牲精度来增加扫描宽度。类似的，y轴精度在流水线速度较高的情况下也会受到挑战，可能进一步增大制造成本。价格因素已经成为了3D轮廓传感器在工业界被广泛使用的最大阻力。

发明内容

本发明针对现有技术存在的问题，提出了一种提升3D轮廓传感器计算板材表面点云密度的算法。

本发明解决其技术问题所采用的技术方案是：一种提升3D轮廓传感器计算板材表面点云密度的算法，包括

步骤1，采集同一类型板材的超高密度点云数据；

步骤2，计算所述超高密度点云数据的深度值均值与深度值标准方差，将深度值位于区间的数据判为常规数据，将深度值位于区间之外的数据判为极端数据；

步骤3，通过所述常规数据训练一套IT2模糊逻辑系统，通过所述极端数据训练一套T1模糊逻辑系统；

步骤4，扫描待检测板材的稀疏点云数据，设置所需的间插坐标点，结合所述IT2模糊逻辑系统和所述T1模糊逻辑系统计算所求间插坐标点的深度估计值。

作为优选，所述步骤3中，IT2模糊逻辑系统采用的第N条通用规则为，

规则N，如果是，且是，…，且是，那么就等于；

其中， ，为所述常规数据点周边具有相关性的点的深度值集合，为所述深度值集合的模；（和)是一个由不确定均值及确定标准方差的高斯主成员函数所定义的前置IT2模糊集合，其下成员函数和上成员函数分别为，

（1）

（2）

其中，是高斯函数，如，（）是重心为的结论IT2模糊集合。

作为优选，计算每条通用规则的发射区间的左右端点值，

（3）

（4）。

作为优选，计算降型集合的左右端点值，

（5）

（6）

通过和计算所求坐标点的深度估计值

（7）。

作为优选，通过量子行为粒子群优化算法优化所述IT2模糊逻辑系统的参数。

作为优选，述步骤3中，T1模糊逻辑系统采用的特殊规则为，

规则1：如果是，且是，…，且是，那么就等于；

其中，和都是T1模糊集合，将极端数据本身用来定义成员函数，

（8）

其中，是某极端点周围具有相关性的点的实际深度。

作为优选，计算特殊规则下的发射级别，

（9）

其中，，是极端深度数据个数。

作为优选，如果没有特殊规则的发射级别大于等于90%，即，则由IT2模糊逻辑系统计算所求坐标点的深度估计值；否则，由T1模糊逻辑系统计算所求坐标点的深度估计值，

（10）

其中是全部符合发射标准的特殊规则的集合。

作为优选，所述IT2模糊逻辑系统和所述T1模糊逻辑系统训练数据使用的目标函数为均方根误差为

（11）

其中是该类型板材全部深度数据的集合，而和分别是真实深度值以及系统估计出的深度估计值。

作为优选，深度值集合的计算步骤包括，

L1.将点云数据转化为深度图像；

L2.将所述深度图像归一化后采用Otsu算法对其进行二值化处理得到二值化图；

L3.使用基于互信息的特征选择算法提取所述二值化图中与其周边具有互相关性的点的坐标集合；

L4.根据所述坐标集合获取相应的深度值集合。

本发明的有益效果是，本申请从软件角度提升x轴和y轴的精度，利用大数据对稀疏的点云进行智能间插，使其密度恢复到应用场景需求，避免采购高端硬件，大大降低了3D轮廓传感器的使用成本；且本申请具有较高灵活性，可根据不同的应用需求（不同类型的板材检测线），在水平面的各个方向（x轴、y轴）使用和拓展，适用性广；本申请方法对板材点云的适应性非常好，经过训练的系统能够准确地恢复任意两个相邻点之间某坐标上的深度值，使用效果好。

附图说明

图1为激光三角测距原理示意图；

图2为单一待测物体全轮廓扫描示意图；

图3为板材正面3D轮廓传感器示意图；

图4为混合模糊逻辑系统的运行流程；

图5为规则i的四个前置IT2模糊集合的示例图；

图6为QPSO的伪代码实现流程图；

图7为T1前置模糊集合的成员函数示例图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

如图1所示，提升3D轮廓传感器计算板材表面点云密度的算法。首先，用高品级激光器和工业相机搭建用于获取真实数据的一套超高标准设备。使用该套设备对将要检测的特定类型板材（例如木料板材）进行大批量扫描以获取针对该类型板材的训练及测试的超高密度点云数据。

对于任意一种特定类型的板材，其点云密度图中某一坐标(x,y)的深度值（z值）和该点周边一系列坐标的深度值有一定的互相关性。将点云数据转化成2D深度图；再将深度图归一化之后采用Otsu算法对其进行二值化处理；最后使用基于互信息的特征选择算法将该类型板材表面一点与其周边具有相关性的点的坐标所对应的深度值集合确定下来。例如，实木地板的集合记为，工程木地板的集合记为，薄钢板的集合记为等等。

将该类型板材所扫描到的全体数据进行统计计算，获取深度值均值与标准方差，将深度值落于区间内的记为常规数据，将深度值落于该区间以外的记为极端数据。之后，本发明将用常规数据训练一套区间2型（Interval Type 2，IT2）模糊逻辑系统，用极端数据训练一套1型（Type 1，T1）模糊逻辑系统，两套模糊逻辑系统将共同组成一套混合型模糊逻辑系统。

本发明中训练数据使用的目标函数为均方根误差，

（11）

其中是该类型板材全部深度数据的集合，而和分别是真实深度值以及系统估计出的深度值。

基于规则的IT2模糊逻辑系统是如下形式的：

规则1：如果是，而且是，…，而且是，那么就等于。

规则2：如果是，而且是，…，而且是，那么就等于。

…

规则N：如果是，而且是，…，而且是，那么就等于。

其中是该类型板材常规数据点周边具有相关性的点的深度值集合，是该集合的模。(i=1,…,N和j=1,…,M)是一个由“不确定均值-确定标准方差的高斯主成员函数”所定义的前置IT2模糊集合，其下成员函数和上成员函数分别是如下形式：

（1）

（2）

其中是高斯函数，如。

如图5所示，给出了第i条规则的四个前置模糊集合的成员函数的示例，以及某一组输入对应这四个前置的值和它们的上下成员函数值和。而是重心为的结论IT2模糊集合。

上述基于规则的IT2模糊逻辑系统以如下方式工作：对一组输入值，首先计算每条规则的每一个前置模糊集合对应的上下成员函数值和。在训练阶段对于所有的j值都是存在的，但在测试和实际使用阶段，由于坐标相对于训练数据是稀疏的，所以有可能对于某些j值是不存在的，此时假设该j值对应的前置不存在即可，即对于该前置不进行计算。

之后，计算每条规则的发射区间的左右值：

（3）

（4）

然后使用Karnik-Mendel（KM）算法或是加强KM算法来计算降型集合（Type-ReducedSet，TRS）的左右端点值：

（5）

（6）

和两个值可以计算出该IT2系统的去模糊化输出值，也就是该坐标点的深度估计值：

（7）

上述系统每一个前置模糊集合有三个参数、和，同时每一个结论模糊集合有两个参数和。因此每一条规则共有3×+2=3M+2个参数。同时，根据大量数据测试，规则数量的最优选择为N= = 。于是，整个系统需要通过训练确定的参数总数为N×(3M+2)= 。

包含粒子群优化（Particle Swarm Optimization，PSO）和遗传算法（GeneticAlgorithm，GA）等在内的基于集群的随机优化算法，因为其计算速度和易实现性更适合IT2模糊逻辑系统的训练，因此，本发明使用一种改良过的能保证收敛于全局最优值的被称为量子行为粒子群优化（Quantum-behaved PSO，QPSO）的算法，其伪代码实现如图6所示，其参数与上文中IT2模糊逻辑系统中参数的不同含义，其中M是粒子数量，是待估参数组成的向量，n是待估参数个数。

使用常规数据对IT2模糊逻辑系统训练完成之后，将对应系统中的规则称为通用规则。接下来，使用极端数据来训练一套基于特殊规则的T1模糊逻辑系统。其中每一个极端数据及其周边具有相关性的点的深度数据共同对应一条特殊规则，如下：

规则1：如果是，而且是，…，而且是，那么就等于。

其中和都是T1模糊集合，所以特殊规则所包含的参数数量小于通用规则。在此不再使用任何形式的优化算法来调整参数，而直接将数据本身用来定义成员函数，如下：

（8）

其中是某极端点周围具有相关性的点的实际深度。T1前置模糊集合的成员函数示例如图7所示，该规则的T1结论模糊集合，其重心等于，为极端点本身的深度值。

混合模糊逻辑系统将两套模糊规则并行运作，不同于单独的T1或IT2模糊逻辑系统，所有的规则并不是在不同等级下被发射的，一个较为特殊的发射标准在这里被用来决定哪条规则被发射，因为特殊规则的发射条件需要更特殊的考量。

假设有一组输入，首先计算这组数据在每一条特殊规则下的发射级别：

（9）

其中，而是极端深度数据个数，即特殊规则数量。如果没有特殊规则的发射级别大于等于90%，即，则没有特殊规则被发射。于是这组输入值被放入IT2模糊逻辑系统，通过IT2模糊逻辑系统进行操作。而如果有一条或多条特殊规则达到发射标准，那么则忽略IT2规则，将特殊规则构成的T1模糊逻辑系统启用，计算以下去模糊值：

（10）

其中是全部符合发射标准的特殊规则的集合。

整套混合模糊逻辑系统的流程如图1所示。在训练完成后，使用一般等级的激光器和工业相机构成的3D轮廓传感器扫描获取密度一般甚至稀疏的点云数据，确定后续算法分析所需的密度，即确定需要间插的点云坐标集合，针对该集合中的某一点，获取其附近的所有相关的含有实际深度值的点云数据，然后喂入图1所示流程中，最终计算获得的值即为该点的深度估计值，即间插值。

本发明首次提出了使用QPSO优化过的混合模糊逻辑系统对3D扫描数据进行智能恢复，对板材类数据的恢复准确度远高于单纯的T1、IT2模糊逻辑系统。本发明使用软件方式对数据进行密度提升，避免了采购高端硬件的大幅成本增加；其次，本发明具有较高灵活性，可以根据应用需求的不同，在水平面的各个方向（x轴、y轴）使用和拓展；最后，本发明应用场景广泛（不同类型的板材检测线），只需在定制过程中针对特定类型板材收集训练数据，该过程不增加定制成本。

具体实施过程可采用如下参数组件搭建工作环境：海康MV-CA003-21UM相机及M1214-MP2定焦镜头，国产30M450B激光器，Omron编码器，Misumi传送带，i5-8500 P400Intel B360 16G RAM台式计算机。设置相机拍摄参数为：230万像素，帧数150FPS，拍摄范围150mm，工作距离200mm，激光角度45°，z轴精度0.008mm，设置传送带速率为：35cm/秒。

本发明着眼于从软件角度提升x轴和y轴的精度，即利用大数据对稀疏的点云进行智能间插，使其密度恢复到应用场景需求。经过大量测试，发现基于规则的混合模糊逻辑系统对板材点云的适应性非常好，经过训练的系统能够准确地恢复任意两个相邻点之间某坐标上的深度值。假设点云在x轴上的间隔为0.5mm，利用本申请的方法可以在两列点之间插入4列点，即x轴的精度提升到了0.1mm，如此便不会丢失宽度为0.3mm的裂纹了。对于普通宽度的板材，本申请的方法可以配合精度较低的低价3D轮廓传感器使用，同样可达到昂贵的高精度传感器的效果；对于宽度大的板材，也无需多套传感器配合，只需加长一套高精度传感器的拍摄距离（即牺牲精度换宽度），然后使用本申请的方法将牺牲掉的点恢复，即一套设备达到多套的同等效果。类似的，如果流水线速度过快，也无须提高摄像帧数，只需使用本申请的方法在y轴上进行数值恢复。在以上各场景中，本发明都达到了大幅降低成本的目标，而一次性的软件开发成本在批量生产之后分摊到每台机器后可以忽略。

上面所述的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定。在不脱离本发明设计构思的前提下，本领域普通人员对本发明的技术方案做出的各种变型和改进，均应落入到本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

Claims (10)

1.一种提升3D轮廓传感器计算板材表面点云密度的算法，其特征在于：包括

步骤1，采集同一类型板材的超高密度点云数据；

步骤2，计算所述超高密度点云数据的深度值均值与深度值标准方差，将深度值位于区间的数据判为常规数据，将深度值位于区间之外的数据判为极端数据；

步骤3，通过所述常规数据训练一套IT2模糊逻辑系统，通过所述极端数据训练一套T1模糊逻辑系统；

步骤4，扫描待检测板材的稀疏点云数据，设置所需的间插坐标点，结合所述IT2模糊逻辑系统和所述T1模糊逻辑系统计算所求间插坐标点的深度估计值。

2.根据权利要求1所述的一种提升3D轮廓传感器计算板材表面点云密度的算法，其特征在于：所述步骤3中，IT2模糊逻辑系统采用的第N条通用规则为，

规则N，如果是，且是，…，且是，那么就等于；

其中， ，为所述常规数据点周边具有相关性的点的深度值集合，为所述深度值集合的模；（和)是一个由不确定均值及确定标准方差的高斯主成员函数所定义的前置IT2模糊集合，其下成员函数和上成员函数分别为，

（1）

（2）

其中，是高斯函数，如，（）是重心为的结论IT2模糊集合。

3.根据权利要求2所述的一种提升3D轮廓传感器计算板材表面点云密度的算法，其特征在于：计算每条通用规则的发射区间的左右端点值，

（3）

（4）。

4.根据权利要求3所述的一种提升3D轮廓传感器计算板材表面点云密度的算法，其特征在于：计算降型集合的左右端点值，

（5）

（6）

通过和计算所求坐标点的深度估计值

（7）。

5.根据权利要求4所述的一种提升3D轮廓传感器计算板材表面点云密度的算法，其特征在于：通过量子行为粒子群优化算法优化所述IT2模糊逻辑系统的参数。

6.根据权利要求5所述的一种提升3D轮廓传感器计算板材表面点云密度的算法，其特征在于：所述步骤3中，T1模糊逻辑系统采用的特殊规则为，

规则1：如果是，且是，…，且是，那么就等于；

其中，和都是T1模糊集合，将极端数据本身用来定义成员函数，

（8）

其中，是某极端点周围具有相关性的点的实际深度。

7.根据权利要求6所述的一种提升3D轮廓传感器计算板材表面点云密度的算法，其特征在于：计算特殊规则下的发射级别，

（9）

其中，，是极端深度数据个数。

8.根据权利要求7所述的一种提升3D轮廓传感器计算板材表面点云密度的算法，其特征在于：如果没有特殊规则的发射级别大于等于90%，即，则由IT2模糊逻辑系统计算所求坐标点的深度估计值；否则，由T1模糊逻辑系统计算所求坐标点的深度估计值，

（10）

其中是全部符合发射标准的特殊规则的集合。

9.根据权利要求8所述的一种提升3D轮廓传感器计算板材表面点云密度的算法，其特征在于：所述IT2模糊逻辑系统和所述T1模糊逻辑系统训练数据使用的目标函数为均方根误差为

（11）

其中是该类型板材全部深度数据的集合，而和分别是真实深度值以及系统估计出的深度估计值。

10.根据权利要求2所述的一种提升3D轮廓传感器计算板材表面点云密度的算法，其特征在于：深度值集合的计算步骤包括，

L1.将点云数据转化为深度图像；

L2.将所述深度图像归一化后采用Otsu算法对其进行二值化处理得到二值化图；

L3.使用基于互信息的特征选择算法提取所述二值化图中与其周边具有互相关性的点的坐标集合；

L4.根据所述坐标集合获取相应的深度值集合。