CN112308082B - 基于双通道卷积核与多帧特征融合动态视频图像分割方法 - Google Patents

Abstract

本发明公开了一种基于双通道卷积核与多帧特征融合动态视频图像分割方法，包括以下步骤，步骤一：将原图像转化为灰度图像，利用边缘像素变换剧烈提取出边缘特征，得到边缘特征图像；步骤二：通过不同尺寸的双通道卷积核对边缘特征图像进行边缘特征筛选，对两张被筛选的图像进行相乘操作得到边沿图像；步骤三：构建两类多帧特征目标提取；步骤四：经过填充还原操作得到分割后的图像。本发明通过双卷积核与多帧特征融合的方法，能够将图像进行有效的分割，获得了完整的目标图像且无较多的杂质干扰，克服了传统边缘分割边界不封闭不连续的缺点，动态更新多帧特征目标提取也减少了杂质的积累，取得了良好的图像分割效果。

Description

基于双通道卷积核与多帧特征融合动态视频图像分割方法

技术领域

本发明涉及一种图像分割方法，特别涉及一种基于双通道卷积核与多帧特征融合动态视频图像分割方法。

背景技术

图像分割作为图像处理的重要组成部分，在图像处理过程中起着先导性的作用，同时也是图像处理中的难题之一。图像分割技术自20世纪起一直收到人们的高度重视，虽然研究人员针对各种问题提出了许多方法，但迄今为止仍然不存在一个普遍适用的理论和方法。因此针对具体的问题提出合适的方法更为重要。

铝电解过程中火眼图像粉尘大、对比度不高、背景干扰强。针对火眼图像分割有多种分割方法，比如基于边缘检测的图像分割方法。图像边缘是图像最基本的特征，所谓边缘是指图像局部特性的不连续性。灰度或结构等信息的突变处称之为边缘，边缘通常可以通过一阶导数或二阶导数检测得到，一阶导数是以最大值作为边缘的位置，二阶导数则以过零点作为对应边缘的位置。文献《基于边缘检测与Otsu的图像分割算法研究》提出了基于边缘检测与Ostu的图像分割算法研究，其将边缘检测与直线拟合相结合，来确定包含目标和背景带状区域的大小，再使用噪声周围的区域的均值代替噪声的灰度值，使得运算时间·缩短的同时具有较强的适应能力。

现有的基于边缘检测的图像分割方法虽然在一定程度上抑制了噪声，但并未对噪声进行进一步的处理，仍存在部分未处理的噪声，且对光照不均匀的图像分割效果欠佳，不能得到完整封闭的边界图像。

发明内容

为了解决上述技术问题，本发明提供一种算法简单、可滤除掉绝大部分噪声并得到完整封闭的边界图像的基于双通道卷积核与多帧特征融合动态视频图像分割方法。

本发明解决上述问题的技术方案是：一种基于双通道卷积核与多帧特征融合动态视频图像分割方法，包括以下步骤：

步骤一：首先将原图像转化为灰度图像，利用边缘像素变换剧烈提取出边缘特征，得到边缘特征图像；

步骤二：通过不同尺寸的双通道卷积核对边缘特征图像进行边缘特征筛选，对两张被筛选的图像进行相乘操作得到边沿图像；

步骤三：构建两类多帧特征目标提取；首先作判断操作：如果上一张帧形成了一个完整的边缘图案，就以上一帧作为第一类多帧特征目标提取；如果上一帧没有形成一个完整的图案，就以前面图片的叠加效果形成的闭合图形作为第二类多帧特征目标提取；采用两类多帧特征目标提取对边沿图像进行补全并筛选去除杂质；

步骤四：经过填充还原操作得到分割后的图像。

上述基于双通道卷积核与多帧特征融合动态视频图像分割方法，所述步骤一中，将灰度图像通过prewitt算子得到边缘特征图像。

上述基于双通道卷积核与多帧特征融合动态视频图像分割方法，所述步骤二中，3*3卷积核msk1如(1)所示

3*3卷积核使3*3范围内的含有1的点全部改为1，使用3*3卷积核的目的是筛选出细致的图像，同时对图像分散的点进行连接。

上述基于双通道卷积核与多帧特征融合动态视频图像分割方法，所述步骤二中，5*5卷积核msk2如(2)所示

5*5卷积核将5*5范围内的含有1的点全部改为1，使用5*5卷积核的目的是筛选出粗糙的图像。

上述基于双通道卷积核与多帧特征融合动态视频图像分割方法，所述步骤三中，判断前一帧是否形成完整的边缘图案采用上、下、左、右四个方向扫描的方法，具体过程为：

1)得出图像需要扫描的范围的终止量：自上而下扫描的终止量对应图像最左侧与最右侧不为0的最大值的位置，即max(y_l,y_r)，y_l为左侧不为0位置，y_r为右侧不为0的位置；自下而上扫描的终止量对应图像最左侧与最右侧不为0的最小值的位置，即min(y_l,y_r)；自左而右扫描的终止量对应图像最上侧与最下侧不为0的最大值的位置，即max(x_u,x_d)，x_u为上侧不为0的位置，x_d为下侧不为0的位置；自右而左扫描的终止量对应图像最上侧与最下侧不为0的最小值的位置，即min(x_u,x_d)；

2)创建两个与图像长度相同的全为1的数列Ⅰ，用于自上而下扫描与自下而上扫描；创建两个与图像宽度相同的全为1的数列Ⅱ，用于自左而右扫描与自右而左扫描；

3)先自上而下扫描，将全为1的数列Ⅰ减去图像第一行的数值得到新的数列，再将新的数列减去图像第二行的数值得到的数列代替新的数列，依次类推，直到减去max(y_l,y_r)行得到最后的数列，若最后的数列全为0，则自上而下扫描过程中图像边缘无缺口，若不全为0，则自上而下扫描过程中图像边缘存在缺口；

4)若自上而下扫描图像边缘无缺口，则进行自下而上扫描，扫描过程与步骤3类似，从而判断自下而上扫描过程中图像边缘是否存在缺口；依次类推进行自左而右、自右而左扫描；

5)若自上而下、自下而上、自左而右、自右而左各个扫描过程图像边缘均无缺口，则整个图像完整封闭；

6)整个图像完整封闭则形成一个闭合的洞口，即hole_flag＝1，则将这一帧设定为下一帧的多帧特征目标提取，即第一类多帧特征目标提取；否则，采用第二类多帧特征目标提取。

上述基于双通道卷积核与多帧特征融合动态视频图像分割方法，所述步骤三中，构建第二类多帧特征目标提取的具体过程为：

采用连续的三帧，第k-1帧至第k+1帧分别命名为image_k-1、image_k、image_k+1，其中第k-1帧在之前的多帧特征目标提取操作中已经得到完整的封闭图像；在确定第k+1帧时，对第k帧作边缘封闭判别处理，如果第k帧没有形成封闭图像，则构建第二类多帧特征目标提取，步骤如下：

第一步：选取第k-1帧，对第k-1帧进行卷积处理，将第k-1帧图像进行扩充，记此时扩充后的图片为image_k-1_handled，将扩充后图片的有效部分提取，记作hole_part；

第二步：寻找最优匹配位置，将小的卷积核卷积后的image_k图片的大小记作part_r*part_c，将大的卷积核卷积后的image_k图片大小记作image_r*image_c，将hole_part在image_k上不断移动，找出目标函数的最大值，目标函数计算公式如(3)所示：

其中m＝1、2、3...image_r-part_r；n＝1、2、3...image_c-part_c；记下m、n的值，得出第k帧图像的最佳匹配位置，即m行到m+part_r行，n列到n+part_c列部分，part(i,j)是图像有效部分(i,j)位置的像素值，image是背景图(i+m,j+n)位置的像素值；

第三步：将第k帧图片每一个像素值与hole_part对应位置像素值作相乘处理，保留下来图像公共的部分，并且将其他位置全部补好0，图片变为正常的大小，将此时的图像记作image_k_handled；

第四步：将image_k_handled进行卷积操作，并且提取有效部分进行最优匹配，与image_k-1对应位置处像素作减法处理，并标准化矩阵，得到image_k_handled形成图像边缘的缺失部分，记作image_k_handled_supply；

第五步：最后将image_k_handled与image_k_handled_supply对应位置像素值相加，就得到了image_k+1的多帧特征目标提取，即第二类多帧特征目标提取。

上述基于双通道卷积核与多帧特征融合动态视频图像分割方法，所述步骤四中，对图像进行填充操作，首先将图像边缘内的部分完全填充为白色，接着将二维二值图像操作转化为一个rgb格式的筛选图像，操作如式(4)所示

将rgb格式的筛选图像与填充后的图像进行取并操作，得到最后的分割图像。

本发明的有益效果在于：本发明首先将RGB图像转化为灰度图像，利用边缘像素变换剧烈提取出边缘特征信息，但此时边缘不完整且含有多余干扰；然后通过不同尺寸的双通道卷积核对图像进行边缘特征筛选，3*3卷积核提取细致图像并对分散的点进行连接，5*5卷积核筛选出粗糙的图像且连接范围更大，将两个处理结果相乘得到公共部分，此时图像基本上边缘闭合且干扰杂质较少；接着分情况采用两类多帧特征目标提取对边缘进行补全并筛选去除杂质；最终通过多帧特征目标提取对原图像进行滤波，再经过填充还原操作得到分割后的图像。本发明通过双卷积核与多帧特征融合的方法，能够将图像进行有效的分割，获得了完整的目标图像且无较多的杂质干扰，克服了传统边缘分割边界不封闭不连续的缺点，动态更新多帧特征目标提取也减少了杂质的积累，取得了良好的图像分割效果。

附图说明

图1为本发明的整体流程图。

图2为本发明实施例步骤一中，边缘特征提取的示意图。

图3为本发明实施例步骤二中，3*3卷积核处理图像后的示意图。

图4为本发明实施例步骤二中，5*5卷积核处理图像后的示意图。

图5为本发明实施例步骤二中，对两张被筛选的图像进行相乘操作的示意图。

图6为本发明实施例步骤三中，图像扫描的示意图。

图7为本发明步骤三中，构建第二类多帧特征目标提取的流程图。

图8为本发明实施例步骤三中，构建第二多帧特征目标提取的演示图。

图9为本发明实施例步骤三中，构建第二多帧特征目标提取的第一步扩充图片有效部分的示意图。

图10为本发明实施例步骤三中，构建第二多帧特征目标提取的第二步位置匹配的示意图。

图11为本发明实施例步骤三中，构建第二多帧特征目标提取的第三步得到的图像示意图。

图12为本发明实施例步骤三中，构建第二多帧特征目标提取的第四步得到的图像缺失部分示意图。

图13为本发明实施例步骤三中，构建第二多帧特征目标提取的第五步得到的第二类多帧特征目标提取图像示意图。

图14为本发明实施例步骤四中，最后得到的分割后图像的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

如图1所示，一种基于双通道卷积核与多帧特征融合动态视频图像分割方法，包括以下步骤：

步骤一：对边缘特征进行提取：首先将原图像转化为灰度图像，将灰度图像通过prewitt算子利用边缘像素变换剧烈提取出边缘特征，得到边缘特征图像。其转换结果如图2所示。

步骤二：通过不同尺寸的双通道卷积核对边缘特征图像进行边缘特征筛选，对两张被筛选的图像进行相乘操作得到边沿图像。

经过了边缘提取后，找出了大部分颜色变化剧烈的地方，其中包括大部分边缘图像，同时也带有大量的杂质，需要对其进行筛选处理。

在卷积神经网络中经常用来对图片进行特征提取，但是在我们得到的二值图像中，进行卷积操作，可以将小范围内只要存在白色像素的整个范围都进行白色处理，这就可以达到两种效果，一方面，可以将一些相距比较近的图像进行连接，另一方面，可以对部分图像进行边界加粗的作用。通过不同尺寸的两个卷积核对图像进行卷积操作，其中3*3卷积核msk1如(1)所示

3*3卷积核使3*3范围内的含有1的点全部改为1，使用3*3卷积核的目的是筛选出细致的图像，细致图像的类别精度更加细致，类间差异更加细微，往往只能借助于微小的局部差异才能区分出不同的类别；同时对图像分散的点进行连接。经过处理后得到3*3卷积核处理图像如图3所示。

5*5卷积核msk2如(2)所示

5*5卷积核将5*5范围内的含有1的点全部改为1，使用5*5卷积核的目的是筛选出粗糙的图像，使边界连接的范围更大。经过处理后得到5*5卷积核处理图像如图4所示。

然后对两张被筛选的图像进行对应位置相乘操作，经过处理后得到的图像如图5所示。可以从图中看出，虽得出了一个比较完整的边沿图像，但整个边缘对于每一帧来说并不一定是完整连续且封闭的。因此还需对图像进行进一步的处理。

步骤三：构建两类多帧特征目标提取，采用两类多帧特征目标提取对边沿图像进行补全并筛选去除杂质。

由于每一帧图像不一定会得到闭合的边缘图案，而且会有一些筛选不掉的大块杂质，因此本发明对连续图片之间进行筛选并对未感应到完整洞口的图片进行补全操作。

采用构建多帧特征目标提取进行筛选并补全洞口，这就要求多帧特征目标提取本身含有较少杂质并且具有完整性，所以我们采用如下方式构建多帧特征目标提取：首先作判断操作：如果上一张帧形成了一个完整的边缘图案，就以上一帧作为第一类多帧特征目标提取；如果上一帧没有形成一个完整的图案，就以前面图片的叠加效果形成的闭合图形作为第二类多帧特征目标提取。

判断前一帧是否形成完整的边缘图案采用上、下、左、右四个方向扫描的方法，如图6所示，具体过程为：

1)得出图像需要扫描的范围的终止量：自上而下扫描的终止量对应图像最左侧与最右侧不为0的最大值的位置，即max(y_l,y_r)，y_l为左侧不为0位置，y_r为右侧不为0的位置；自下而上扫描的终止量对应图像最左侧与最右侧不为0的最小值的位置，即min(y_l,y_r)；自左而右扫描的终止量对应图像最上侧与最下侧不为0的最大值的位置，即max(x_u,x_d)，x_u为上侧不为0的位置，x_d为下侧不为0的位置；自右而左扫描的终止量对应图像最上侧与最下侧不为0的最小值的位置，即min(x_u,x_d)；

2)创建两个与图像长度相同的全为1的数列Ⅰ，用于自上而下扫描与自下而上扫描；创建两个与图像宽度相同的全为1的数列Ⅱ，用于自左而右扫描与自右而左扫描；

3)先自上而下扫描，将全为1的数列Ⅰ减去图像第一行的数值得到新的数列，再将新的数列减去图像第二行的数值得到的数列代替新的数列，依次类推，直到减去max(y_l,y_r)行得到最后的数列，若最后的数列全为0，则自上而下扫描过程中图像边缘无缺口，若不全为0，则自上而下扫描过程中图像边缘存在缺口；

4)若自上而下扫描图像边缘无缺口，则进行自下而上扫描，扫描过程与步骤3类似，从而判断自下而上扫描过程中图像边缘是否存在缺口；依次类推进行自左而右、自右而左扫描；

5)若自上而下、自下而上、自左而右、自右而左各个扫描过程图像边缘均无缺口，则整个图像完整封闭；

6)整个图像完整封闭则形成一个闭合的洞口，即hole_flag＝1，则将这一帧设定为下一帧的多帧特征目标提取，即第一类多帧特征目标提取；否则，采用第二类多帧特征目标提取。

如图7所示，构建第二类多帧特征目标提取的具体过程为：

采用连续的三帧，第k-1帧至第k+1帧分别命名为image_k-1、image_k、image_k+1，其中第k-1帧在之前的多帧特征目标提取操作中已经得到完整的封闭图像；在确定第k+1帧时，对第k帧作边缘封闭判别处理，如果第k帧没有形成封闭图像，则构建第二类多帧特征目标提取，步骤如下：

第一步：选取第k-1帧，对第k-1帧进行卷积处理，将第k-1帧图像进行扩充，记此时扩充后的图片为image_k-1_handled，将扩充后图片的有效部分提取，记作hole_part；

第二步：寻找最优匹配位置，将小的卷积核卷积后的image_k图片的大小记作part_r*part_c，将大的卷积核卷积后的image_k图片大小记作image_r*image_c，将hole_part在image_k上不断移动，找出目标函数的最大值，目标函数计算公式如(3)所示：

其中m＝1、2、3...image_r-part_r；n＝1、2、3...image_c-part_c；记下m、n的值，得出第k帧图像的最佳匹配位置，即m行到m+part_r行，n列到n+part_c列部分，part(i,j)是图像有效部分(i,j)位置的像素值，image是背景图(i+m,j+n)位置的像素值；

第三步：将第k帧图片每一个像素值与hole_part对应位置像素值作相乘处理，保留下来图像公共的部分，并且将其他位置全部补好0，图片变为正常的大小，将此时的图像记作image_k_handled；

第四步：将image_k_handled进行卷积操作，并且提取有效部分进行最优匹配，与image_k-1对应位置处像素作减法处理，并标准化矩阵，得到image_k_handled形成图像边缘的缺失部分，记作image_k_handled_supply；

第五步：最后将image_k_handled与image_k_handled_supply对应位置像素值相加，就得到了image_k+1的多帧特征目标提取，即第二类多帧特征目标提取。

步骤四：经过填充还原操作得到分割后的图像。

对图像进行填充操作，首先将图像边缘内的部分完全填充为白色，接着将二维二值图像操作转化为一个rgb格式的筛选图像，操作如式(4)所示

将rgb格式的筛选图像与填充后的图像图像进行取并操作，得到最后的分割图像，如图14所示。

从最终的处理结果可以看出，通过双卷积核与多帧特征融合的方法，能够将图像进行有效的分割，获得了完整的目标图像且无较多的杂质干扰，克服了传统边缘分割边界不封闭不连续的缺点，动态更新多帧特征目标提取也减少了杂质的积累，取得了良好的图像分割效果。

Claims (4)

1.一种基于双通道卷积核与多帧特征融合动态视频图像分割方法，其特征在于，包括以下步骤：

步骤一：首先将原图像转化为灰度图像，利用边缘像素变换剧烈提取出边缘特征，得到边缘特征图像；

步骤二：通过不同尺寸的两个卷积核对图像进行卷积操作以进行边缘特征筛选，对两张被筛选的图像进行相乘操作得到边沿图像；

所述步骤二中，3*3卷积核msk1如(1)所示

3*3卷积核使3*3范围内的含有1的点全部改为1，使用3*3卷积核的目的是筛选出细致的图像，同时对图像分散的点进行连接；

5*5卷积核msk2如(2)所示

5*5卷积核将5*5范围内的含有1的点全部改为1，使用5*5卷积核的目的是筛选出粗糙的图像；

步骤三：构建两类多帧特征目标提取；首先作判断操作：如果上一张帧形成了一个完整的边缘图案，就以上一帧作为第一类多帧特征目标提取；如果上一帧没有形成一个完整的图案，就以前面图片的叠加效果形成的闭合图形作为第二类多帧特征目标提取；采用两类多帧特征目标提取对边沿图像进行补全并筛选去除杂质；

构建第二类多帧特征目标提取的具体过程为：

采用连续的三帧，第k-1帧至第k+1帧分别命名为image_k-1、image_k、image_k+1，其中第k-1帧在之前的多帧特征目标提取操作中已经得到完整的封闭图像；在确定第k+1帧时，对第k帧作边缘封闭判别处理，如果第k帧没有形成封闭图像，则构建第二类多帧特征目标提取，步骤如下：

第一步：选取第k-1帧，对第k-1帧进行卷积处理，将第k-1帧图像进行扩充，记此时扩充后的图片为image_k-1_handled，将扩充后图片的有效部分提取，记作hole_part；

第二步：寻找最优匹配位置，将小的卷积核卷积后的image_k图片的大小记作part_r*part_c，将大的卷积核卷积后的image_k图片大小记作image_r*image_c，将hole_part在image_k上不断移动，找出目标函数的最大值，目标函数计算公式如(3)所示：

其中m＝1、2、3...image_r-part_r；n＝1、2、3...image_c-part_c；记下m、n的值，得出第k帧图像的最佳匹配位置，即m行到m+part_r行，n列到n+part_c列部分，part(i,j)是图像有效部分(i,j)位置的像素值，image是背景图(i+m,j+n)位置的像素值；

第三步：将第k帧图片每一个像素值与hole_part对应位置像素值作相乘处理，保留下来图像公共的部分，并且将其他位置全部补好0，图片变为正常的大小，将此时的图像记作image_k_handled；

第四步：将image_k_handled进行卷积操作，并且提取有效部分进行最优匹配，与image_k-1对应位置处像素作减法处理，并标准化矩阵，得到image_k_handled形成图像边缘的缺失部分，记作image_k_handled_supply；

第五步：最后将image_k_handled与image_k_handled_supply对应位置像素值相加，就得到了image_k+1的多帧特征目标提取，即第二类多帧特征目标提取；

步骤四：经过填充还原操作得到分割后的图像。

2.根据权利要求1所述的基于双通道卷积核与多帧特征融合动态视频图像分割方法，其特征在于，所述步骤一中，将灰度图像通过prewitt算子得到边缘特征图像。

3.根据权利要求1所述的基于双通道卷积核与多帧特征融合动态视频图像分割方法，其特征在于，所述步骤三中，判断前一帧是否形成完整的边缘图案采用上、下、左、右四个方向扫描的方法，具体过程为：

1)得出图像需要扫描的范围的终止量：自上而下扫描的终止量对应图像最左侧与最右侧不为0的最大值的位置，即max(y_l,y_r)，y_l为左侧不为0位置，y_r为右侧不为0的位置；自下而上扫描的终止量对应图像最左侧与最右侧不为0的最小值的位置，即min(y_l,y_r)；自左而右扫描的终止量对应图像最上侧与最下侧不为0的最大值的位置，即max(x_u,x_d)，x_u为上侧不为0的位置，x_d为下侧不为0的位置；自右而左扫描的终止量对应图像最上侧与最下侧不为0的最小值的位置，即min(x_u,x_d)；

2)创建两个与图像长度相同的全为1的数列Ⅰ，用于自上而下扫描与自下而上扫描；创建两个与图像宽度相同的全为1的数列Ⅱ，用于自左而右扫描与自右而左扫描；

3)先自上而下扫描，将全为1的数列Ⅰ减去图像第一行的数值得到新的数列，再将新的数列减去图像第二行的数值得到的数列代替新的数列，依次类推，直到减去max(y_l,y_r)行得到最后的数列，若最后的数列全为0，则自上而下扫描过程中图像边缘无缺口，若不全为0，则自上而下扫描过程中图像边缘存在缺口；

4)若自上而下扫描图像边缘无缺口，则进行自下而上扫描，扫描过程与步骤3类似，从而判断自下而上扫描过程中图像边缘是否存在缺口；依次类推进行自左而右、自右而左扫描；

5)若自上而下、自下而上、自左而右、自右而左各个扫描过程图像边缘均无缺口，则整个图像完整封闭；

6)整个图像完整封闭则形成一个闭合的洞口，即hole_flag＝1，则将这一帧设定为下一帧的多帧特征目标提取，即第一类多帧特征目标提取；否则，采用第二类多帧特征目标提取。

4.根据权利要求1所述的基于双通道卷积核与多帧特征融合动态视频图像分割方法，其特征在于，所述步骤四中，对图像进行填充操作，首先将图像边缘内的部分完全填充为白色，接着将二维二值图像操作转化为一个rgb格式的筛选图像，操作如式(4)所示

将rgb格式的筛选图像与填充后的图像进行取并操作，得到最后的分割图像。

Images