CN108629790A - 一种基于深度残差网络的光条图像阈值分割方法 - Google Patents

Abstract

本发明一种基于深度残差网络的光条图像阈值分割方法属于视觉测量领域，涉及一种基于深度残差网络的光条图像阈值分割方法。该方法首先利用双目相机获取照射在被测物上的线激光光条图像，并对光条图像进行预处理；然后，利用光条图像制作数据集并进行分类，用其训练深度残差网络；最后，基于训练结果计算出最佳的二值化阈值，实现光条图像的阈值分割。该方法通过预处理后的光条图像制作，并分类训练集，利用训练集训练深度残差网络，基于训练结果计算出最佳分割阈值，克服了光条曲折、明暗不均、背景复杂等问题，实现了激光光条的有效分割，具有分割准确、鲁棒性高等特点。

Description

一种基于深度残差网络的光条图像阈值分割方法

技术领域

本发明属于视觉测量领域，涉及一种基于深度残差网络的光条图像阈值分割方法。

背景技术

随着工业化自动化的进程，视觉测量系统已经广泛应用在工业加工过程监测、产品几何质量检测中。作为机器视觉方法中的一种，双目立体视觉技术以其精度高、实时在线、非接触等优势在工程测量中得到了广泛应用。双目立体视觉测量系统通常采用线激光作为辅助光源，利用双目相机采集激光条的原始数据。在复杂大视场工业环境下，光条图像存在强光区域、特征淹没、光条曲折、明暗不均等情况，而对光条和图像背景进行分割将决定特征处理区域，直接影响图像处理过程的鲁棒性和准确性。

目前，工业测量中应用的光条图像分割方法主要是阈值分割法，即通过二值化的方法对光条和背景进行分割。该方法的难点是阈值的选取，过大或过小的阈值都会造成光条中心提取误差加大，降低测量精度。同时，随着工业智能化要求的提高，激光光条图像处理技术也需要更加智能化，以保证在工业测量复杂环境下处理结果的准确性。因此，实现激光光条图像的准确、智能分割是十分重要的。

尖刀视智能科技(上海)有限公司的朱少可等人，在专利号：201610329118.8，专利《一种自适应阈值Otsu图像分割方法及装置》中采用目标与背景概率密度函数的信息熵对传统Otsu方法的阈值进行正则化处理，基于Sigmoid函数实现分割阈值的自适应更新，提高了图像的分割精度。西安邮电大学的张弘，在专利号：201611117568.7，专利《基于类间相对均匀性的图像自适应阈值化方法及装置》中通过计算目标和背景灰度分布的相对均匀性信息，基于两类的相对概率分布及相对均匀性信息，建立类间相对均匀性的阈值化准则函数，从而实现图像的阈值分割。湖南工业大学的陈建平等人于2016年在《湖南工业大学学报》发表了文章《非均匀光照图像的自适应阈值分割》，提出将图像中的各像素定义为中心，以其周围的邻域像素作为一个分块，以其最小灰度级数和最大灰度级数的均值作为阈值，实现图像的阈值分割。上述方法能够在特定条件下完成图像的阈值分割，但均存在其局限性，对于复杂背景下的激光光条图像，获得的阈值会存在一定偏差，无法实现光条图像的准确分割。

本发明要解决的技术难题是针对光条曲折、明暗不均、背景复杂的线激光光条图像，传统的阈值分割方法存在分割不准、鲁棒性差等问题，发明一种基于深度残差网络的光条图像阈值分割方法。该方法，首先利用双目相机获取照射在被测物上的线激光光条图像，并对光条图像进行预处理；然后，利用光条图像制作数据集并进行分类，用其训练深度残差网络；最后，基于训练结果计算出最佳的二值化阈值，实现光条的阈值分割；此方法将阈值分割任务转化为分类任务，利用数据集训练深度残差网络，基于训练结果对图像分类，从而计算出最佳的二值化阈值，有效克服了生产现场复杂环境的影响，提高了光条图像阈值分割的准确性和鲁棒性。

本发明采用的技术方案是一种基于深度残差网络的光条图像阈值分割方法，其特征是，该方法首先通过激光结合双目视觉的方式获取激光光条图像并对其进行预处理；然后，利用光条图像制作数据集并进行分类，用其训练深度残差网络；最后，基于训练结果计算出最佳的二值化阈值，实现光条的阈值分割；方法的具体步骤如下：

第一步，获取光条图像并对其预处理

搭建激光辅助双目视觉测量系统，打开辅助激光发射器3并照射被测物5，在左、右相机1、4开始采集之后，通过转台2带动激光发射器3转动，使激光扫描被测物5；通过信息采集系统7采集辅助激光光条6图像，获取p张光条图像；

设定一幅包含了光条的图像为I_m,n，像素尺寸为m×n，对光条图像I_m,n粗提取感兴趣区域图像roi_m,n；由于光条在竖向方向的明暗分布不均匀，在保留光条特征的基础上将图像roi_m,n均匀分段成H份，记为roi_m,n,h,h＝1,2,...,H，对每个分段图像分别阈值分割，最终拼接在一起，获得整幅图像的分割结果；

为了提高学习和分类的效率，需统一训练图像的尺寸；将每幅光条分段图像roi_m,n,h使用双三次插值缩放成统一的像素大小M×N,M＝2N，获得一组只包含激光光条的图像roi_M,N,h；

第二步，数据集的制作和分类

分割阈值过小会造成白噪声过多，相反则会造成黑噪声过多，将阈值过小产生的白噪声图像记为C₀，阈值合适产生的无噪声图像记为C₁，阈值过大产生的黑噪声图像记为C₂；

由于像素灰度分为L级，对roi_M,N,h采取如下操作：依次采用阈值为1～L-1获得各种阈值下的二值图像roi_M,N,h,l,l＝1,2,...L-1；随着分割阈值的增加，这些图像根据C₀、C₁和C₂的特点，分别满足公式(1)，

其中，c₀是C₀和C₁的分界阈值，c₁是C₁和C₂的分界阈值；

一张光条的分段图像经过二值化得到L-1张二值图像，将这些图像人工分类至C₀、C₁和C₂的集合之中；分类过程中，提高C₁的准确率，即减小c₀与c₁的间距，可以避免阈值选取范围过大；因此以查准率为原则，允许部分属于C₁的图像被错误分类为C₀或C₂，即对于可能属于C₀或C₁的图像，全按C₀划分；可能属于C₁或C₂的图像，全按C₂划分；

对p张光条粗提取图像进行分段，然后重复上述分类过程，可以得到p*H*(L‐1)张图像组成的数据集；

第三步，训练深度残差网络

设置网络结构与参数，建立深度残差网络；Input Layer输入图像roi_M,N,h,l，BlockLayer由Convolution Layer、BatchNorm Layer和ReLu Layer组成，目的是对上一层输出的图像依次进行卷积、Batch Norm和线性整流函数(ReLU)运算：

其中ω、b是卷积层训练参数，γ、β是Batch Norm层训练参数，μ(x)是x的均值、σ²(x)是x的方差；

Pool Layer是对输入图像降采样，目的是加速训练；内积层Inner ProductLayer，即IP Layer公式为：

ip(x_L)＝ω_3×Lx_L (3)

其中，输入长度为L的向量x_L，ω_3×L是内积层训练参数；损失层LOSS Layer置于网络的输出端，用于计算网络运算输出与标签数据的误差；计算误差的公式即为代价函数；使用交叉熵作为代价函数：

其中，g_w(x⁽ⁱ⁾)_k表示训练图像集合x中第i个输入经过网络运算到第k维输出的映射，网络参数为w，表示第i个输入训练图像的第k维标签数据，num是训练集中的元素数量；

利用第二步中分类好的数据集训练深度残差网络；

第四步，基于训练结果计算最佳分割阈值

对于实际分割图像，经过预处理后可以获得分段光条图像roi_M,N,h，通过遍历二值化可以得到阈值为l的二值图像roi_M,N,h,l,l＝1,2,...L-1；使用经过训练的深度残差网络分类二值化的光条分段图像roi_M,N,h,l，分类结果为y⁽ⁱ⁾＝g_w(roi_M,N,i)，使用二分法快速寻找c₀和c₁，获取所有分类为C₁的图像对应的阈值，取类别C₁对应的图像阈值集合Tr＝{x|y^(x)＝[0 1 0]^T}；

根据公式(5)计算最佳阈值T^*：

其中，是集合Tr中所有元素的平均值，λ是对数正态分布的标准差；

根据每段光条图像的最佳阈值对每个分段图像分别进行阈值分割，最终拼接在一起，获得整幅图像的分割结果，这样就完成了光条图像的阈值分割。

本发明的有益效果是该方法将阈值分割任务转化为分类任务，通过预处理后的光条图像制作，并分类训练集。利用数据集训练深度残差网络，基于训练结果对图像分类，从而计算出最佳的二值化阈值。方法有效克服了光条曲折、明暗不均、背景复杂等问题，实现了激光光条的有效分割，具有分割准确，鲁棒性高等特点。

附图说明

图1是激光辅助双目视觉测量系统示意图，其中，1‐左相机，2‐转台，3‐激光发射器，4‐右相机，5‐被测物，6‐激光光条，7‐图像采集系统。

图2是基于深度残差网络的光条图像阈值分割方法的流程图。

图3是深度残差网络的结构示意图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

图1是激光辅助双目视觉测量系统示意图，本实施例选用的激光发射器为Coherent公司生产的LasirisPowerLine激光发射器，双目视觉系统中相机为韩国Vieworks公司生产的VC‐12MC‐M/C 65相机，分辨率：4096×3072，图像传感器：CMOS，帧率：全画幅，最高64.3fps。镜头型号为EF16‐35mmf/2.8LIIUSM，镜头焦距：f＝16‐35，APS焦距：25.5‐52.5，光圈：F2.8。拍摄条件如下：图片像素为4096×3072，镜头焦距为35mm，工作距离1.5m，视场大小约为1000×1200mm。

本发明首先通过激光结合双目视觉的方式获取激光光条图像，并对其进行预处理；然后，利用光条图像制作数据集并进行分类，用其训练深度残差网络；最后，基于训练结果计算出最佳的二值化阈值，实现光条的阈值分割，如附图2。方法的具体步骤如下：

第一步，获取光条图像并对其预处理

搭建激光辅助双目视觉测量系统，打开辅助激光发射器3并照射被测物5，在左、右相机1、4开始采集之后，通过转台2带动激光发射器3转动，使激光扫描被测物5；通过信息采集系统7采集辅助激光光条6图像，获取p张光条图像；

包含了光条的图像为I_m,n，像素尺寸为m×n，对光条图像I_m,n粗提取感兴趣区域图像roi_m,n；在保留光条特征的基础上将图像roi_m,n均匀分段成H份，记为roi_m,n,h,h＝1,2,...,H。

将每幅光条分段图像roi_m,n,h使用双三次插值缩放成统一的像素大小M×N,M＝2N，获得一组只包含激光光条的图像roi_M,N,h。

第二步，数据集的制作和分类

将阈值过小产生的白噪声图像记为C₀，阈值合适产生的无噪声图像记为C₁，阈值过大产生的黑噪声图像记为C₂；

由于像素灰度分为L级，对roi_M,N,h采取如下操作：依次采用阈值为1～L-1获得各种阈值下的二值图像roi_M,N,h,l,l＝1,2,...L-1。随着分割阈值的增加，这些图像根据C₀、C₁和C₂的特点，满足公式(1)；

如上所述，一张光条的分段图像经过二值化可以得到L-1张二值图像，将这些图像人工分类至C₀、C₁和C₂的集合之中；分类过程中，以查准率为原则，允许部分属于C₁的图像被错误分类为C₀或C₂，即对于可能属于C₀或C₁的图像，全按C₀划分；可能属于C₁或C₂的图像，全按C₂划分；对p张光条粗提取图像进行分段，然后重复上述分类过程，可以得到p*H*(L-1)张图像组成的数据集；

第三步，训练深度残差网络

建立深度残差网络，网络结构如附图(3)所示；根据公式(2)建立Block层，根据公式(3)建立内积层(IP Layer)；卷积神经网络算法是对代价函数求最优，损失层置于网络的输出端，用于计算网络运算输出与标签数据的误差，计算误差的公式即为代价函数；使用交叉熵作为代价函数，利用公式(4)计算误差。

本实施例中深度残差网络的各层参数设计如表1所示

表1深度残差网络的各层参数

利用第二步中分类好的数据集训练深度残差网络；

第四步，基于训练结果计算最佳分割阈值

对于实际分割图像，经过预处理后可以获得分段光条图像roi_M,N,h，通过遍历二值化可以得到阈值为l的二值图像roi_M,N,h,l,l＝1,2,...,255；使用经过训练的深度残差网络分类二值化的光条分段图像roi_M,N,h,l，使用二分法快速寻找c₀和c₁，获取所有分类为C₁的图像对应的阈值集合。

由于深度学习分类二值图像的精度无法达到100％，分类为C₁的光条图像中可能有部分属于C₀和C₂。在这些被判断为C₁的图像中，出现C₀的图像对应阈值较小、数量少，出现C₂的图像对应阈值较大、数量多，此时最佳分割阈值符合正偏态分布。而因为对数正态分布具有偏态特性，故采用其近似计算最佳阈值。

根据公式(5)采用对数正态分布近似计算最佳阈值T^*，根据每段光条图像的最佳阈值对每个分段图像分别进行阈值分割，最终拼接在一起，获得整幅图像的分割结果，这样就完成了光条图像的阈值分割。

Claims (1)

1.一种基于深度残差网络的光条图像阈值分割方法，其特征是，该方法首先通过激光结合双目视觉的方式获取激光光条图像并对其进行预处理；然后，利用光条图像制作数据集并进行分类，用其训练深度残差网络；最后，基于训练结果计算出最佳的二值化阈值，实现光条的阈值分割；方法的具体步骤如下：

第一步，获取光条图像并对其预处理

搭建激光辅助双目视觉测量系统，打开辅助激光发射器(3)并照射被测物(5)，在左、右相机(1、4)开始采集之后，通过转台(2)带动激光发射器(3)转动，使激光扫描被测物(5)；通过信息采集系统(7)采集辅助激光光条(6)图像，获取p张光条图像；

设定一幅包含了光条的图像为I_m,n，像素尺寸为m×n，对光条图像I_m,n粗提取感兴趣区域图像roi_m,n；由于光条在竖向方向的明暗分布不均匀，在保留光条特征的基础上将图像roi_m,n均匀分段成H份，记为roi_m,n,h,h＝1,2,...,H，对每个分段图像分别阈值分割，最终拼接在一起，获得整幅图像的分割结果；

为了提高学习和分类的效率，需统一训练图像的尺寸；将每幅光条分段图像roi_m,n,h使用双三次插值缩放成统一的像素大小M×N,M＝2N，获得一组只包含激光光条的图像roi_M,N,h；

第二步，数据集的制作和分类

分割阈值过小会造成白噪声过多，相反则会造成黑噪声过多，将阈值过小产生的白噪声图像记为C₀，阈值合适产生的无噪声图像记为C₁，阈值过大产生的黑噪声图像记为C₂；

由于像素灰度分为L级，对roi_M,N,h采取如下操作：依次采用阈值为1～L-1获得各种阈值下的二值图像roi_M,N,h,l,l＝1,2,...L-1；随着分割阈值的增加，这些图像根据C₀、C₁和C₂的特点，满足公式(1)，其中c₀是C₀和C₁的分界阈值，c₁是C₁和C₂的分界阈值；

一张光条的分段图像经过二值化得到L-1张二值图像，将这些图像人工分类至C₀、C₁和C₂的集合之中；分类过程中，提高C₁的准确率，即减小c₀与c₁的间距，可以避免阈值选取范围过大；因此以查准率为原则，允许部分属于C₁的图像被错误分类为C₀或C₂，即对于可能属于C₀或C₁的图像，全按C₀划分；可能属于C₁或C₂的图像，全按C₂划分；

对p张光条粗提取图像进行分段，然后重复上述分类过程，可以得到p*H*(L-1)张图像组成的数据集；

第三步，训练深度残差网络

设置网络结构与参数，建立深度残差网络；Input Layer输入图像roi_M,N,h,l，BlockLayer由Convolution Layer、BatchNorm Layer和ReLu Layer组成，目的是对上一层输出的图像依次进行卷积、Batch Norm和线性整流函数运算，公式为：

其中ω、b是卷积层训练参数，γ、β是Batch Norm层训练参数，μ(x)是x的均值、σ²(x)是x的方差；

Pool Layer是对输入图像降采样，目的是加速训练；内积层InnerProduct Layer，即IPLayer计算公式为：

ip(x_L)＝ω_3×Lx_L (3)

其中，输入长度为L的向量x_L，ω_3×L是内积层训练参数；

损失层LOSS Layer置于网络的输出端，用于计算网络运算输出与标签数据的误差，计算误差的公式即为代价函数；使用交叉熵作为代价函数：

其中，g_w(x⁽ⁱ⁾)_k表示训练图像集合x中第i个输入经过网络运算到第k维输出的映射，网络参数为w，表示第i个输入训练图像的第k维标签数据，num是训练集中的元素数量；利用第二步中分类好的数据集训练深度残差网络；

第四步，基于训练结果计算最佳分割阈值

对于实际分割图像，经过预处理后可以获得分段光条图像roi_M,N,h，通过遍历二值化可以得到阈值为l的二值图像roi_M,N,h,l,l＝1,2,...L-1；使用经过训练的深度残差网络分类二值化的光条分段图像roi_M,N,h,l，分类结果为y⁽ⁱ⁾＝g_w(roi_M,N,i)，使用二分法快速寻找c₀和c₁，获取所有分类为C₁的图像对应的阈值，取类别C₁对应的图像阈值集合Tr＝{x|y^(x)＝[0 10]^T}；

根据公式(5)计算最佳阈值T^*，其中是集合Tr中所有元素的平均值，λ是对数正态分布的标准差；

根据每段光条图像的最佳阈值对每个分段图像分别进行阈值分割，最终拼接在一起，获得整幅图像的分割结果，这样就完成了光条图像的阈值分割。