CN112381867B - 用于工业分拣流水线的大面积深度图像空洞自动填充方法 - Google Patents

Abstract

本发明公开了一种用于工业分拣流水线的大面积深度图像空洞自动填充方法，包括步骤：1)获取深度相机捕获的深度图像；2)对捕获的深度图像进行处理，获得大面积深度空洞的位置和边界信息，并筛选得到空洞边界集合；3)对深度空洞边界像素进行无监督聚类，得到大面积深度空洞边界分类，即得到空洞边界点的分类结果；4)利用空洞边界点的分类结果，划分空洞为子空洞，计算子空洞平面方程，进行空洞填充。本发明有效解决传统深度图空洞填充工作精度不高和时间效率低的缺点，已达到自动识别、填充空洞的能力，从而提高了空洞填充的有效性以及提升了物品分拣的鲁棒性。

Description

用于工业分拣流水线的大面积深度图像空洞自动填充方法

技术领域

本发明涉及在工业分拣流水线生产中基于视觉的工业流水线自动分拣的技术领域，尤其是指一种用于工业分拣流水线的大面积深度图像空洞自动填充方法。

背景技术

随着机器视觉在工业生产中的使用越来越多，生产效率已大大提高。在基于视觉的工业流水线自动分拣领域中，使用固定的深度相机结合机械臂对物品分拣是常见的做法。当固定深度照相机捕获深度信息时，有时由于目标物品表面的材料特殊性，比如反光等，对相机捕获深度造成影响，将会丢失反光强烈区域的深度信息，造成一定程度上大面积的深度缺失，产生大面积的空洞，从而影响后续利用深度信息对目标物体的处理。

当前在物品分拣过程存在很多问题，其中对分拣产生比较严重影响的是深度场景图像中出现的深度缺失。这些深度缺失的原因除了深度相机本身的物理采集特性外，大多由于复杂的场景和对象的特殊属性，造成较大的空洞区域。针对这个问题，本文提出了一种快速用于较规则物体修复大面积深度缺失的方法，从而有效地提高机器视觉在物品分拣过程中的效率和鲁棒性。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种用于工业分拣流水线的大面积深度图像空洞自动填充方法，可有效解决传统深度图空洞填充工作精度不高和时间效率低的缺点，已达到自动识别、填充空洞的能力，从而提高了空洞填充的有效性以及提升了物品分拣的鲁棒性。

为实现上述目的，本发明所提供的技术方案为：用于工业分拣流水线的大面积深度图像空洞自动填充方法，包括以下步骤：

1)获取深度相机捕获的深度图像；

2)对捕获的深度图像进行处理，获得大面积深度空洞的位置和边界信息，并筛选得到空洞边界集合；

3)对深度空洞边界像素进行无监督聚类，得到大面积深度空洞边界分类，即得到空洞边界点的分类结果；

4)利用空洞边界点的分类结果，划分空洞为子空洞，计算子空洞平面方程，进行空洞填充。

在步骤1)中，所述深度相机是指能检测出拍摄空间的景深距离的相机，通过该相机能够获得深度图像，深度图像在计算机表示为矩阵格式，称为深度图像矩阵，用src(x,y)表示，含义为深度图像矩阵中(x,y)位置的大小表示空间到相机的景深距离。

在步骤2)中，对捕获的深度图像采用连通域分析法，获得大面积深度空洞的位置和边界信息，包括以下步骤：

2.1)对深度图像I₀逆二值化，即将深度值为0的像素值大小置为1，深度值不为0的像素值大小置为0，处理后得到深度图像I₁；

2.2)对步骤2.1)处理后的深度图像I₁进行膨胀操作，膨胀后的深度图像为I₂，公式为：

dst(x,y)＝max_{(x′,y′):element(x′,y′)≠0}src(x+x′,y+y′)

式中，src(x+x′,y+y′)为深度图像I₁在计算机中的矩阵表示形式，公式整体含义为深度图像矩阵中的坐标(x,y)处周边区域(x+x′,y+y′)内的最大值替代矩阵(x,y)处的值，得到膨胀后的图像dst(x,y)，即深度图像I₂；

2.3)对深度图像I₂进行连通域分析：从一个像素值为1的种子开始向邻域周围搜索，发现有相等的像素值则标记为相同的标签，然后继续在邻域搜索，直到周围都没有相等的像素值后就标记为一个连通区域；接着再以其它的种子，继续搜索下一个连通区域，直至遍历完深度图像I₂，划分出若干个连通域，编号为0到n，表示为c₀,c₁,...,c_n，c_n表示编号为n的连通域，获得边界像素位置集合C＝{c₀,c₁,...,c_n}；

2.4)在原始的深度图像I₀上，利用步骤2.3)获得的连通域的边界像素位置集合C，剔除无效边界数据后，计算得到对应连通域边界的均值集合M＝{m₀,m₁,...,m_n}和方差集合V＝{v₀,v₁,...,v_n}，均值集合M和方差集合V分别代表边界像素位置集合C对应的连通域均值和方差，其中，m₀表示编号为0的连通域的均值，v₀表示编号为0的连通域的方差，以此类推，m_n表示编号为n的连通域的均值，v_n表示编号为n的连通域的方差；

2.5)设定阈值m_f和阈值v_f，对于步骤2.4)获得的均值集合M＝{m₀,m₁,...,m_n}和方差集合V＝{v₀,v₁,...,v_n}，由公式{m_i＜m_f&&v_i＜v_f}计算，获得筛选出的空洞边界集合其中，上述公式{m_i＜m_f&&v_i＜v_f}的含义表示编号为_i的连通域的均值m_i和方差v_i都小于其固定的均值阈值m_f和方差阈值v_f。

在步骤3)中，采用K均值聚类算法对深度空洞边界像素进行无监督聚类，包括以下步骤：

3.1)对于步骤2)获得空洞边界集合对于每个编号为i的空洞集合/>剔除无效的深度值，以8邻域计算其边界点的像素法向值，通过最小二乘法，得到该空洞的边界法向集合N_i＝{n_{i_0},n_{i_1},...,n_{i_k}}，即编号为i的空洞法向集合N_i，表示对于集合/>中编号从0到k的边界点的法向值为n_{i_0}到n_{i_k}；

3.2)对步骤3.1)获得的法向数据进行直方图分析，设定阈值f，阈值过滤得到编号为i的空洞聚类类别数K_i，处理全部空洞得到K＝{K₀,K₁,...,K_n}，表示编号从0到n的空洞的类别数集合；

3.3)根据步骤3.2)得到编号为i的类别数K_i，对步骤3.1)的边界法向集合N_i进行分类，K均值无监督聚类公式为：

式中，Ei是编号为i的空洞所有法向到质心的平方误差总和；质心和元素的距离为欧几里得距离，是编号为i的空洞中编号为m的法向向量，/>是编号为i的空洞中编号为t的聚类中心；

在多次迭代后，得到对空洞边界点法向的分类，即得到空洞轮廓点的类别。

在步骤4)中，根据空洞边界点的分类结果，划分空洞为子空洞，计算子空洞平面方程，进行空洞填充，包括以下步骤：

4.1)根据步骤3)获得的空洞边界点的分类结果，将大面积空洞缺失划分成几个子平面，针对每个类别的边界点，以8邻域中有效的深度值为数据，使用最小二乘法拟合子平面的方程，得到大面积空洞的若干个子平面方程F₀,F₁,...,F_k，其中编号为i的子平面F_i的一般式表示方程为：

F_i:0＝A_ix+B_iy+C_iz+D_i

式中，x,y,z分别为坐标轴的三个方向，A_i,B_i,C_i为平面的法向值，D_i为偏移量；

4.2)根据步骤4.1)获得的子平面方程，填充大面积空洞的深度缺失位置，填充方式为：

式中，F_i(x,y)为子平面F_i的一般式方程中带入x,y的数值以后，计算得到的z的数值，src(x,y)代表图像在(x,y)位置的深度值，dst(x,y)代表计算后(x,y)位置的深度值，即为深度空洞补全图像I₃。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明首次使用了机器学习的方法实现分拣流水线上的深度缺失填充，使用无监督聚类算法对空洞边界的分类，划分空洞成多个子平面分别填充，具有更低的计算成本。

2、本发明有效解决了现有技术下的较规则物体修复大面积深度缺失问题，降低了人工流水线分拣成本以及能有效解决传统深度图空洞填充工作精度和效率低的缺点，提高机器视觉在物品分拣过程中的效率和鲁棒性。

3、本发明为工业中使用的深度相机拍摄的场景图出现的深度空洞缺失，提出了一个高效的解决方案，与传统的方法相比，降低了计算复杂度，实现了实时计算。

4、本发明在使用深度相机拍摄的场景中具有广泛的使用空间，可以应用于其它相关问题中，在深度空洞处理应用中具有广阔的前景。

附图说明

图1为本发明方法的逻辑流程图。

图2为获取得深度图。

图3为逆二值化后的深度图。

图4为连通域分析后的深度图。

图5为过滤无效数据后的深度图。

图6为阈值过滤后的深度图。

图7为空洞填充后的深度图。

图8为填充后的深度图合成的点云图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所提供的用于工业分拣流水线的大面积深度图像空洞自动填充方法，使用了深度相机、工业机器人等辅助设备，可自动填充包含多个平面的大面积深度空洞，包括以下步骤：

1)获取深度相机捕获的深度图，所述深度相机是指能检测出拍摄空间的景深距离的相机，通过该相机能够获得深度图，深度图像在计算机表示为矩阵格式，称为深度图像矩阵，用src(x,y)表示，含义为深度图矩阵中(x,y)位置的大小表示空间到相机的景深距离。其中，获取的深度图可视化后如图2所示。

2)对捕获的深度图采用连通域分析法，获得大面积深度空洞的位置和边界信息，包括以下步骤：

2.1)对深度图像I₀逆二值化，即将深度值为0的像素值大小置为1，深度值不为0的像素值大小置为0，处理后得到的深度图像I₁；其中，逆二值化后的深度图像如图3所示。

2.2)对步骤2.1)处理后的深度图像I₁进行膨胀操作，膨胀后的深度图像为I₂，公式为：

dst(x,y)＝max_{(x′,y′):element(x′,y′)≠0}src(x+x′,y+y′)

式中，src(x+x′,y+y′)为深度图像I₁在计算机中的矩阵表示形式，公式整体含义为深度图像矩阵中的坐标(x,y)周边区域(x+x′,y+y′)内的最大值替代矩阵(x,y)处的值，得到膨胀后的图像dst(x,y)，即深度图像I₂；

2.3)对深度图像I₂进行连通域分析：从一个像素值为1的种子开始向邻域周围搜索，发现有相等的像素值则标记为相同的标签，然后继续在邻域搜索，直到周围都没有相等的像素值后就标记为一个连通区域；接着再以其它的种子，继续搜索下一个连通区域，直至遍历完深度图像I₂，划分出若干个连通域，编号为0到n，表示为c₀,c₁,...,c_n，c_n表示编号为n的连通域，获得边界像素位置集合C＝{c₀,c₁,...,c_n}；

采用上述方式计算，得到的连通域分析结果如图4所示；

2.4)在原始的深度图像I₀上，利用步骤2.3)获得的连通域的边界像素位置集合C，剔除无效边界数据后，计算得到对应连通域边界的均值集合M＝{m₀,m₁,...,m_n}和方差集合V＝{v₀,v₁,...,v_n}，均值集合M和方差集合V分别代表边界像素位置集合C对应的连通域均值和方差，其中，m₀表示编号为0的连通域的均值，v₀表示编号为0的连通域的方差，以此类推，m_n表示编号为n的连通域的均值，v_n表示编号为n的连通域的方差；

采用上述方式计算，过滤无效数据后的结果如图5所示；

2.5)设定阈值m_f＝100和阈值v_f＝40，对于步骤2.4)获得的均值集合M＝{m₀,m₁,...,m_n}和方差集合V＝{v₀,v₁,...,v_n}，由公式{m_i＜m_f&&v_i＜v_f}计算，获得筛选出的空洞边界集合其中，上述公式{m_i＜m_f&&v_i＜v_f}的含义表示编号为_i的连通域的均值m_i和方差v_i都小于其固定的均值阈值m_f和方差阈值v_f。

采用上述方式计算，阈值过滤后的结果如图6所示，表示有两个空洞，空洞0和空洞1，其空洞0的部分边界数据信息前20条(共135条)如下表所示：

3)采用K均值聚类算法对深度空洞边界像素进行无监督聚类，包括以下步骤：

3.1)对于步骤2)获得空洞边界集合对于每个编号为i的空洞集合/>剔除无效的深度值，以8邻域计算其边界点的像素法向值，通过最小二乘法，得到该空洞的边界法向集合N_i＝{n_{i_0},n_{i_1},...,n_{i_k}}，即编号为i的空洞法向集合N_i，表示对于集合/>中编号从0到k的边界点的法向值为n_{i_0}到n_{i_k}；

3.2)对步骤3.1)获得的法向数据进行直方图分析，设定阈值f，阈值过滤得到编号为i的空洞聚类类别数K_i，处理全部空洞得到K＝{K₀,K₁,...,K_n}，表示编号从0到n的空洞的类别数集合；

3.3)根据步骤3.2)得到编号为i的类别数K_i，对步骤3.1)的边界法向集合N_i进行分类，K均值无监督聚类公式为：

式中，E_i是编号为i的空洞所有法向到质心的平方误差总和；质心和元素的距离为欧几里得距离，是编号为i的空洞中编号为m的法向向量，/>是编号为i的空洞中编号为t的聚类中心；

在多次迭代后，得到对空洞边界点法向的分类，即得到空洞轮廓点的类别。

通过上述计算，得到空洞0的类别有1类，空洞1的类别有1类。

4)根据空洞边界点的分类结果，划分空洞为子空洞，计算子空洞平面方程，进行空洞填充，包括以下步骤：

4.1)根据步骤3)获得的空洞边界点分类信息，将大面积空洞缺失划分成几个子平面，针对每个类别的边界点，以8邻域中有效的深度值为数据，使用最小二乘法拟合子平面的方程，得到大面积空洞的若干个子平面方程F₀,F₁,...,F_k，其中编号为i的子平面F_i一般式表示方程为：

F_i:0＝A_ix+B_iy+C_iz+D_i

式中，x,y,z分别为坐标轴的三个方向，A_i,B_i,C_i为平面的法向值，D_i为偏移量；

通过上述计算，得到空洞0的平面方程为：

0＝-0.104316048x+0.00737896748y+0.994516790z+1117.79004

4.2)根据步骤4.1)获得的子平面方程，填充大面积空洞的深度缺失位置，填充方式为：

式中，F_i(x,y)为子平面F_i的一般式方程中带入x,y的数值以后，计算得到的z的数值，src(x,y)代表图像在(x,y)位置的深度值，dst(x,y)代表计算后(x,y)位置的深度值，即为深度空洞补全图像I₃。

通过上述计算，补全后的深度图可视化结果如图7所示。为了更清晰的展示效果，其点云图如图8所示。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (3)

1.用于工业分拣流水线的大面积深度图像空洞自动填充方法，其特征在于，包括以下步骤：

1)获取深度相机捕获的深度图像；

2)对捕获的深度图像进行处理，获得大面积深度空洞的位置和边界信息，并筛选得到空洞边界集合；

3)对深度空洞边界像素进行无监督聚类，得到大面积深度空洞边界分类，即得到空洞边界点的分类结果；

采用K均值聚类算法对深度空洞边界像素进行无监督聚类，包括以下步骤：

3.1)对于步骤2)获得空洞边界集合对于每个编号为i的空洞集合/>剔除无效的深度值，以8邻域计算其边界点的像素法向值，通过最小二乘法，得到该空洞的边界法向集合N_i＝{n_{i_0},n_{i_1},...,n_{i_k}}，即编号为i的空洞法向集合N_i，表示对于集合/>中编号从0到k的边界点的法向值为n_{i_0}到n_{i_k}；

3.2)对步骤3.1)获得的法向数据进行直方图分析，设定阈值f，阈值过滤得到编号为i的空洞聚类类别数K_i，处理全部空洞得到K＝{K₀,K₁,...,K_n}，表示编号从0到n的空洞的类别数集合；

3.3)根据步骤3.2)得到编号为i的类别数K_i，对步骤3.1)的边界法向集合N_i进行分类，K均值无监督聚类公式为：

式中，E_i是编号为i的空洞所有法向到质心的平方误差总和；质心和元素的距离为欧几里得距离，是编号为i的空洞中编号为m的法向向量，/>是编号为i的空洞中编号为t的聚类中心；

在多次迭代后，得到对空洞边界点法向的分类，即得到空洞轮廓点的类别；

4)利用空洞边界点的分类结果，划分空洞为子空洞，计算子空洞平面方程，进行空洞填充，包括以下步骤：

4.1)根据步骤3)获得的空洞边界点的分类结果，将大面积空洞缺失划分成几个子平面，针对每个类别的边界点，以8邻域中有效的深度值为数据，使用最小二乘法拟合子平面的方程，得到大面积空洞的若干个子平面方程F₀,F₁,...,F_k，其中编号为i的子平面F_i的一般式表示方程为：

F_i:0＝A_ix+B_iy+C_iz+D_i

式中，x,y,z分别为坐标轴的三个方向，A_i,B_i,C_i为平面的法向值，D_i为偏移量；

4.2)根据步骤4.1)获得的子平面方程，填充大面积空洞的深度缺失位置，填充方式为：

式中，F_i(x,y)为子平面F_i的一般式方程中带入x,y的数值以后，计算得到的z的数值，src(x,y)代表图像在(x,y)位置的深度值，dst(x,y)代表计算后(x,y)位置的深度值，即为深度空洞补全图像I₃。

2.根据权利要求1所述的用于工业分拣流水线的大面积深度图像空洞自动填充方法，其特征在于：在步骤1)中，所述深度相机是指能检测出拍摄空间的景深距离的相机，通过该相机能够获得深度图像，深度图像在计算机表示为矩阵格式，称为深度图像矩阵，用src(x,y)表示，含义为深度图像矩阵中(x,y)位置的大小表示空间到相机的景深距离。

3.根据权利要求1所述的用于工业分拣流水线的大面积深度图像空洞自动填充方法，其特征在于：在步骤2)中，对捕获的深度图像采用连通域分析法，获得大面积深度空洞的位置和边界信息，包括以下步骤：

2.1)对深度图像I₀逆二值化，即将深度值为0的像素值大小置为1，深度值不为0的像素值大小置为0，处理后得到深度图像I₁；

2.2)对步骤2.1)处理后的深度图像I₁进行膨胀操作，膨胀后的深度图像为I₂，公式为：

dst(x,y)＝max_{(x′,y′):element(x′,y′)≠0}src(x+x′,y+y′)

式中，src(x+x′,y+y′)为深度图像I₁在计算机中的矩阵表示形式，公式整体含义为深度图像矩阵中的坐标(x,y)处周边区域(x+x′,y+y′)内的最大值替代矩阵(x,y)处的值，得到膨胀后的图像dst(x,y)，即深度图像I₂；

2.3)对深度图像I₂进行连通域分析：从一个像素值为1的种子开始向邻域周围搜索，发现有相等的像素值则标记为相同的标签，然后继续在邻域搜索，直到周围都没有相等的像素值后就标记为一个连通区域；接着再以其它的种子，继续搜索下一个连通区域，直至遍历完深度图像I₂，划分出若干个连通域，编号为0到n，表示为c₀,c₁,...,c_n，c_n表示编号为n的连通域，获得边界像素位置集合C＝{c₀,c₁,...,c_n}；

2.4)在原始的深度图像I₀上，利用步骤2.3)获得的连通域的边界像素位置集合C，剔除无效边界数据后，计算得到对应连通域边界的均值集合M＝{m₀,m₁,...,m_n}和方差集合V＝{v₀,v₁,...,v_n}，均值集合M和方差集合V分别代表边界像素位置集合C对应的连通域均值和方差，其中，m₀表示编号为0的连通域的均值，v₀表示编号为0的连通域的方差，以此类推，m_n表示编号为n的连通域的均值，v_n表示编号为n的连通域的方差；

2.5)设定阈值m_f和阈值v_f，对于步骤2.4)获得的均值集合M＝{m₀,m₁,...,m_n}和方差集合V＝{v₀,v₁,...,v_n}，由公式{m_i＜m_f&&v_i＜v_f}计算，获得筛选出的空洞边界集合其中，上述公式{m_i＜m_f&&v_i＜v_f}的含义表示编号为_i的连通域的均值m_i和方差v_i都小于其固定的均值阈值m_f和方差阈值v_f。