CN105973904B - 一种基于图像背景概率图的食用油杂质检测方法 - Google Patents

Abstract

本发明公开了一种基于图像背景概率图的食用油杂质检测方法，属于杂质检测技术领域。本发明主要包括建立背景概率图以及异物检测，背景概率图用于对油瓶瓶体纹路进行背景建模，其步骤为：对图像进行ROI提取；继而进行图像预处理与阈值分割突出纹路部分；采用基于学习函数学习序列图像更新背景图的方式重建背景，并将最终所得背景图像归一化得背景概率图；在获得背景概率图后可进行异物检测，其步骤为：对待测图像做ROI提取与预处理；与背景概率图相乘并作阈值分割提取候选对象；选取多特征，采用基于SVM分类器的方式排除干扰，识别异物。本发明能排除拍摄图片中油瓶周围环境的干扰，准确并最大程度提取油体检测区域，提取油体中的可见异物。

Description

一种基于图像背景概率图的食用油杂质检测方法

技术领域

本发明涉及杂质检测技术领域，更具体地说，涉及一种基于图像背景概率图的食用油杂质检测方法。

背景技术

我国的食用油生产工业基本实现了自动化，但是油质杂质检测环节目前大多仍是采用人工检测方式。随着机器视觉理论的发展与完善，用机器代替人眼做检测和判断成为未来发展的趋势，这将减少人力劳动，降低检测成本，提高检测精度与效率，产业的自动化与智能化程度随之得到进一步提高。

现有对灌装液体进行基于机器视觉的杂质检测的研究，多集中于啤酒瓶、安瓿瓶等行业。在硬件平台上，常用的检测系统采取高速旋转-急停-摄像-图像处理的模式。而在检测算法上，秦垚等人(“基于液面分割的安瓿内漂浮小目标检测算法”)针对传统帧间差分法提取液体内运动杂质时抑制液面噪声的不足，提出基于Legendre正交矩的检测算法。而Fang等人(“Binocular automatic particle inspection machine for bottled medicalliquid examination”)针对传统单目相机差分算法中的动态背景干扰和景深窄的问题，提出了使用双目相机进行检测的方法。Qin等人(“Study of on-line inspection techniquefor foreign substance in Ampoule”)提出一种反射照明法来突出安瓿瓶体中的异物，并对序列图像采取基于亚像素配准的两级差分算法，提取瓶中异物的运动轨迹。

但是食用油瓶与酒瓶、药瓶杂质检测不同，食用油瓶瓶身大多都有各种复杂纹路，因而仅凭改进打光方式无法满足对具有各式各样纹路的油瓶的检测需求；其次，食用油瓶大多体积大、重量重、瓶内油体粘稠性大，因而油内异物运动速度缓慢，传统的旋转急停硬件平台，和帧间差分法及其各种改进算法无法有效地提取异物。因此，现有的灌装液体杂质检测方法，不能有效地进行食用油杂质检测。

经检索，中国专利申请号201510566518.6，申请日为2015年9月8日，发明创造名称为：一种基于图像处理的瓶装液体杂质检测系统及其检测方法；该申请案的检测系统包括机械部分和机器视觉部分，机械部分包括步进电机、传送带、定滑轮和机械夹持装置；机器视觉部分包括拍照暗箱及相关内部构造、FPGA板、通信串口、显示模块、报警模块和上位机软件。该申请案的检测方法如下：采集图像；通过种子填充算法使图像从背景中分割出来；模糊处理滤除椒盐噪声及干扰像素；二值化处理提高对比度；通过腐蚀与膨胀操作使图像全部连接去除细小噪声，使杂质变得清晰可见；最后进行轮廓跟踪和提取获得杂质数量、形状和位置。

中国专利号ZL 201210560198.X，申请日为2012年12月20日，发明创造名称为：一种透明液体杂质检测系统及其检测方法；该申请案利用多台CCD相机采集待检品序列图像并存储；通过图像预处理进行图像背景抑制；对背景抑制后的图像进行处理，实现目标检测与跟踪；对目标进行特征提取，根据其特征进行杂质识别，判断是否为杂质。

上述申请案均能够在不同程度提高图像获取和处理速度，从而代替人工检测，提高检测质量和速度。但正如上文分析，上述申请案不能有效地进行食用油杂质检测，仍需提出一种更具可行性的方案。

发明内容

1.发明要解决的技术问题

为解决通过人眼观测食用油中异物成本高、效率低的问题，本发明提出了一种基于图像背景概率图的食用油杂质检测方法；本发明有效地解决了食用油瓶与酒瓶、药瓶的一系列不同特性而造成现有检测方法不能有效地进行食用油杂质检测的问题，能有效地去除瓶身各种纹路的干扰，最终达到识别油体内异物的效果。

2.技术方案

为了解决上述问题，本发明提供的技术方案为：

本发明的一种基于图像背景概率图的食用油杂质检测方法，其步骤为：

建立背景概率图：

1)对采集图像进行目标检测油体区域ROI(region of interest)提取；

2)对提取的油体区域进行背景重建前的图像预处理，包括：将图像转为灰度图，并进行横向图像配准与矫正，使油体区域居于图像中间位置；对图像进行平滑滤波，继而与原图像做差，提取需进行背景重建的部分--也即瓶身纹路部分；

3)由于步骤2)所得图像中像素灰度值普遍较小，所以进行阈值分割，进一步突出纹路部分；

4)取100-300张经步骤1)～3)处理后图像作为样本图像集，采用基于学习函数更新背景图的方式重建背景，并将最终所得背景图像归一化得背景概率图；

进行异物检测：

i)对待检测图像进行步骤1)和2)所述ROI提取以及预处理操作，所得图像中随着纹路的突出，异物部分也会得到突出；；

ii)将步骤i)所得图像与已得背景概率图相乘，并作阈值分割，去除瓶身纹路干扰，提取候选对象；

iii)对每一个候选对象，继续选取灰度值、对比度、形状、位置特征作为SVM分类器的输入向量，经过分类器训练和分类后，最终达到去除干扰部分，识别可见异物的效果。

更进一步地，步骤1)采用Meanshift图像分割算法，将彩色图像分割并标记为不同类别M_i，继而计算每个类别的面积，及其中轴线相对于图像中轴线的偏移量，提取属于目标检测油体区域的类别，最终通过形态学处理，去除小的空洞与干扰，获得完整准确的油体区域；其中：

图像中轴线为：

M_i的横向中轴线为：

M_i的横向中轴线相对于图像中轴线的偏移量为：

上式中，N_image、分别代表图像的像素个数及M_i的像素个数，x_n、分别为图像中的第n个像素点的横坐标及M_i中第k个像素点的横坐标。

更进一步地，步骤2)中，图像的平滑滤波过程为：对横向图像配准与矫正后图像R'(i,j)的每个像素点，设定(2a+1)×(2a+1)大小的窗口，定义窗口内图像的能量值均值为平滑后图像中对应像素点的灰度值，具体公式为：

μ(i,j)为平滑后图像的灰度值，n_W为窗口中灰度值不为0的像素点的个数，由于需要去掉纹路，因而窗口大小要大于纹路宽度。

更进一步地，步骤3)进行阈值分割后图像G(i，j)：

上式中，D(i,j)为平滑前后的差分图像，T的取值范围为20～30。

更进一步地，步骤4)中，获取背景概率图的步骤如下：

(a)设定初始图像：预处理后得到的差分图像中纹路部分灰度值为0，而油体部分灰度值为255，由于需重建背景部分为纹路部分，因而定义背景图每个像素点的起始值为255；

(b)定义背景图学习函数，并基于该学习函数更新背景图：

G(i,j)＝255时，

G(i,j)＝0时，

上式中，B(i,j)为当前背景图，B'(i,j)为下一背景图，G(i,j)取0或255时，学习函数分别呈现正负增长状态；

(c)对所有样本集图像进行背景学习后，对所得背景图归一化得到背景概率图P(i,j)。

更进一步地，步骤ii)中进行阈值分割后图像C(i，j)：

上式中，D(i,j)为平滑前后的差分图像，T'的取值范围为20～30。

更进一步地，步骤iii)中，用以进行训练和分类的SVM分类器的输入矢量为：

(a)灰度

采取每一个候选对象灰度均值表征：

其中N_C为每个候选对象中像素点个数，C_n为候选对象中第n个像素点的灰度值；

(b)对比度

选定7*7的窗口，对候选对象的边缘像素点求取其领域内的方差σ₁,σ₂,σ₃...σ_M，M为候选对象边缘像素点的个数，并选取这一系列方差的均值作为表征该候选对象与周围油体灰度值对比度的特征：

(c)形状

选取候选对象的面积和宽高比来描述形状信息，面积A即为候选对象占像素点个数，宽度W和高度H通过对其寻找最小外接矩形来得到，并可得到高宽比值：

(d)位置

通过大量样本测试发现，气泡及纹理的干扰部分具有相对固定的位置信息，用质心(x_m,y_m)来表征其位置信息：

其中(x_i,y_i)为候选对象中第i个像素点的坐标。

3.有益效果

采用本发明设计的系统，与已有的公知技术相比，具有如下显著效果：

(1)本发明的一种基于图像背景概率图的食用油杂质检测方法，结合油体的颜色及位置信息提取ROI，相比于一般方法中基于人工预先标定形状提取ROI，能排除拍摄图片中油瓶周围环境的干扰，准确并最大程度提取油体检测区域，并且不受环境背景的干扰，鲁棒性较好；

(2)本发明的一种基于图像背景概率图的食用油杂质检测方法，采用基于简单线性背景学习函数更新背景，背景图建立速度快、效率高、抑制突发干扰能力强，去除效果良好，满足工程性要求，相比于一般的背景建模方法有更强的针对性；

(3)本发明的一种基于图像背景概率图的食用油杂质检测方法，经过基于SVM分类器的杂质识别后，可以有效排除气泡、纹路部分的干扰，提取油体中的可见异物，经过多次数、多样本的测试予以验证，具有高鲁棒性、高检测率的优点。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明的一种基于图像背景概率图的食用油杂质检测方法的算法流程图；

图2中的(a)为本发明采集到的原始图像，图2中的(b)为采用Meanshift分割后标记的不同类别，图2中的(c)为提取的ROI区域，图2中的(d)为最终得到的待检测油体区域；

图3中的(a)为样本图像集的差分图像，图3中的(b)为二值化后图像，图3中的(c)为所有样本集图像进行背景学习更新后得到的背景图像；

图4中的(a)～(c)是本发明中候选对象及SVM分类器识别异物的效果对比图；

图5是本发明中食用油杂质检测系统的结构示意图。

示意图中的标号说明：

1、机架总成；2、瓶身光源；3、传送带；4、电气总成；5、相机总成。

具体实施方式

为进一步了解本发明的内容，下面结合附图和实施例对本发明作详细描述。

实施例1

为解决人眼观测食用油异物成本高效率低的问题，本实施例提出了一种基于图像背景概率图的食用油杂质检测方法，其主要流程参见图1，详见下文描述：

首先建立背景模型：

由于油瓶瓶身上有各种呈现为细条状的纹路，它们的存在使得异物检测不能达到满意的效果，即使是人眼检测也不能免于此。因而在进行异物检测前必须要将这些纹路去除，从而使得后续检测更为简单有效。本实施例采用背景建模的方式去除纹路，并且不同于常见的对于整幅图像进行背景建模，本实施例认为纹路部分是瓶体的背景部分，对其建立模型并去除。具体步骤为：

1)首先对由食用油杂质检测系统采集到的原始图像采用Meanshift图像分割算法，结合颜色及位置特征提取目标检测区域。

由于瓶体内有油较重，因而抖动较小，在拍摄到的图片中，在纵向上几乎没有偏移，而横向上由于摄像机帧周期的影响等存在一定不可忽略的偏差。大多数检测系统采取横向扫描图像，获取若干左右边缘点对，从而确定瓶身的中轴线，然后根据预先人工标定的形状提取要处理的区域ROI，这种方法存在对较大区域背景干扰鲁棒性差的不足。通过分析瓶身采集的图像可知，油体与背景的首要差异在于颜色，因而采用Meanshift图像分割算法，对彩色图像进行图像分割，并用不同类别M_i(i＝1,2,3...n)表示分割结果。

通过分析采用Meanshift算法所得不同类别的分割图像发现，面积最大的几类分别属于油瓶和干扰部分，但是由于瓶身存在纹路，瓶体颜色呈现不均匀分布而被割裂为几个不同的类别。又由于拍摄到的图像中，瓶体基本在图像中间位置，而背景部分则在图像两边，经Meanshift分割后的每个部分的偏移量O_i也满足此位置规律，因而本实施例提出除了面积外，计算每个类别横向中轴线相对于图像中轴线的偏移量，依据这两个特征(面积和偏移量)使得瓶体和干扰的差异最大化，从而去除干扰并将瓶体的几类融合为一个完整的瓶身。

定义图像中轴线为：

M_i的横向中轴线为：

M_i的偏移量为：

上式中，N_image、分别代表图像的像素个数及M_i的像素个数，x_n、分别为图像中的第n个像素点的横坐标及M_i中第k个像素点的横坐标。

对于分割后得到的每个类别，分别计算其面积大小及偏移量，并经大量样本统计后可以得到属于油体区域的类别的面积和偏移量的数值范围：面积约为1000-2000像素，偏移量为50个像素以内。通过筛选属于该数值范围的M_i即可提取油体部分。由于油体反光、油内气泡折射等影响，上述提取到的油体部分还存在一定小的空洞和干扰，通过开闭运算的图像形态学后处理可获得完整的油体区域。图2中的(a)为本实施例采集到的原始图像，图2中的(b)为采用Meanshift分割后标记的不同类别，图2中的(c)为提取的ROI区域，图2中的(d)为最终得到的待检测油体区域。

2)对油体区域进行背景重建前的图像预处理，主要包括以下步骤：

(a)将图像转为灰度图；

(b)对于提取到的待检测油体区域图像R(i,j)，定义瓶体中轴线为：

其中N_ROI代表ROI图像中满足R(i,j)≠0的像素个数，r_n为满足R(i,j)≠0的第n个像素点的横坐标。根据公式(1)和(3)可以得到瓶身相对于图像中轴线的偏移量O_ROI，对图像进行校正：

R′(i，j)＝R(i，j+O_ROI) (5)

(c)由于背景重建主要处理的部分是瓶身的细条状纹路部分，相比于瓶身这个“整体”而言，纹路是“细节”部分，利用公式(6)先平滑图像得到整体部分，即对横向图像配准与矫正后图像R'(i,j)的每个像素点，设定(2a+1)×(2a+1)大小的窗口，定义窗口内图像的能量值均值为平滑后图像中对应像素点的灰度值，具体公式为：

μ(i,j)为平滑后图像的灰度值，n_W为窗口中不为0的像素点的个数。在进行多样本统计后，得到纹路宽度变化范围，由于需要通过图像平滑处理去掉纹路，因而最终的平滑窗口大小要大于纹路宽度。

由于纹路在图像中呈现暗色的部分，灰度值较周围其他部分而言较小，因而将平滑前后的图像作差，突出纹路细节部分。差分图像定义为：

3)由于差分后图像中各像素灰度值较小，采取阈值分割的方式进一步突出纹路部分，经测试阈值T选取20-30较为合适，阈值化后的图片定义为：

4)常用的时间平均法建立背景模型通过一定数量的序列图像求每一位置的像素平均值作为背景值。但由于差分后图像中，随着纹路部分的突出，杂质部分的图像也得到加强，因而成为了序列图像中的干扰部分。又加上阈值分割后得到的二值化图像中，每个像素点的灰度值只有0与255两种可能，当序列图像中某一像素点发生扰动时，其灰度值变化幅度很大。本实施例针对对二值化图像使用时间平均法抑制突发干扰能力差的问题，提出改进算法，具体流程如下：

(a)设定背景图初始图像：预处理后得到的差分图像中纹路部分灰度值为0，而油体部分灰度值为255，由于需重建背景部分为纹路部分，因而定义背景图每个像素点的起始值为255。

(b)为了方便背景部分的去除，按照公式(9)定义背景图学习函数，并基于该学习函数更新背景图：

G(i,j)＝255时，

G(i,j)＝0时，

其中G(i,j)为步骤3)得到的二值化图像，B(i,j)为当前背景图，B'(i,j)为下一背景图，G(i,j)取0或255时，学习函数分别呈现正负增长状态。

本实施例的背景图学习函数计算简单，对设备和时间要求很低，并且由于其为线性对称函数，对某一灰度值进行正负变换后再进行反操作，正负增量也相同也即该变换是可逆的，不会造成失真。

(c)取100-300张经步骤1)～3)处理后图像作为样本图像集，对所有样本集图像进行背景学习后，对所得背景图归一化得到背景概率图P(i,j)，图中每个像素点的灰度值代表该位置像素点属于背景的概率大小，灰度值越小，表示这个点越属于背景。

其次进行异物检测：

1)首先对待检测图像进行上述ROI提取以及预处理操作，由于异物与纹路在图像中同样呈现为暗色部分，因而所得图像中随着纹路的突出，异物部分也会得到突出；

2)将上述差分后图像D(i,j)与已有的背景概率图P(i,j)相乘，则背景部分被减弱，异物部分得到突出，继而作阈值分割，去除瓶身纹路干扰，提取候选对象：

此处阈值T'经大量测试选取20-30。

3)由于背景概率图只能去除油瓶中共有的纹路部分，而每个瓶子在纹路宽窄、气泡数量上不可避免存在些许差异，因而候选对象中可能存在干扰部分，根据公式(11)-(14)继续选取灰度值、对比度、形状、位置特征作为SVM分类器的输入向量，经过分类器训练和分类后，最终达到去除干扰部分，识别可见异物的效果。

用以进行训练和分类的SVM分类器的输入矢量，具体定义为：

(a)灰度值

采用每一个候选对象灰度均值表征：

其中N_C为每个候选对象中像素点个数，C_n为候选对象中第n个像素点的灰度值。

(b)对比度

选定7*7的窗口，对候选对象的边缘像素点求取其领域内的方差σ₁,σ₂,σ₃...σ_M，M为候选对象边缘像素点的个数，并选取这一系列方差的均值作为表征该候选对象与周围油体灰度值对比度的特征。

(c)形状

选取候选对象的面积和宽高比来描述形状信息。面积A即为候选对象占像素点个数。宽度W和高度H通过对其寻找最小外接矩形来得到，并可得到高宽比值：

(d)位置

通过大量样本测试发现，气泡及纹理的干扰部分具有相对固定的位置信息，用质心(x_m,y_m)来表征其位置信息：

其中(x_i,y_i)为候选对象中第i个像素点的坐标。

图3中的(a)为样本图像集的差分图像，图3中的(b)为二值化后图像，图3中的(c)为所有样本集图像进行背景学习更新后得到的背景图像。

图4中的(a)、(b)、(c)分别为有气泡、纹路干扰以及无干扰情况下，原始图像、提取到的候选对象以及经SVM分类器后最终识别结果的对比图。从图中可以看到当采集到的图像中存在干扰时，所提取的候选对象中也会错误得提取这些干扰部分，但经过基于SVM分类器分类识别后，可以有效地排除干扰，并提取可见异物部分。

图5为本实施例中食用油杂质检测系统的结构示意图，该食用油杂质检测系统包括控制板、机架总成1、瓶身光源2、传送带3、电气总成4和相机总成5。本实施例的检测系统采用维修简单、结构调整方便的直线式传送方式。瓶身光源2采用大小大于瓶身的LED平面光源，并采用背光照明方式。为了更全面的获取油体信息，相机总成5使用彩色照相机，并且采用光电传感器触发拍照的方式获取图像。当油瓶由传送带3传送至系统检测区域时，瓶身光源2照亮油体部分，光电传感器触发相机进行拍照，获取的图像传送至工控机进行图像处理判断后作出相应的处理操作，系统控制及参数设定则由控制板完成。

实施例1所述的一种基于图像背景概率图的食用油杂质检测方法，结合油体的颜色及位置信息提取ROI，相比于一般方法中基于人工预先标定形状提取ROI，能准确并最大程度提取油体检测区域，并且不受环境背景的干扰；采用基于简单线性背景学习函数更新背景，背景图建立速度快、效率高、抑制突发干扰能力强，去除效果良好，满足工程性要求，相比于一般的背景建模方法有更强的针对性；且经过基于SVM分类器的杂质识别后，可以有效排除气泡、纹路部分的干扰，提取油体中的可见异物，经过多次数、多样本的测试予以验证，具有高鲁棒性、高检测率的优点。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (3)

1.一种基于图像背景概率图的食用油杂质检测方法，其特征在于，其步骤为：

建立背景概率图：

1)对采集图像进行目标检测油体区域ROI提取；具体为：采用Meanshift图像分割算法，将彩色图像分割并标记为不同类别M_i，继而计算每个类别的面积，及其中轴线相对于图像中轴线的偏移量，提取属于目标检测油体区域的类别，最终通过形态学处理，去除空洞与干扰，获得完整准确的油体区域；其中：

图像中轴线为：

M_i的横向中轴线为：

M_i的横向中轴线相对于图像中轴线的偏移量为：

上式中，N_image、分别代表图像的像素个数及M_i的像素个数，x_n、分别为图像中的第n个像素点的横坐标及M_i中第k个像素点的横坐标；

2)对提取的油体区域进行背景重建前的图像预处理，包括：将图像转为灰度图，并进行横向图像配准与矫正，使油体区域居于图像中间位置；对图像进行平滑滤波，继而与横向配准与矫正后的图像做差，提取需进行背景重建的部分；其中，图像的平滑滤波过程为：对横向图像配准与矫正后图像R'(i,j)的每个像素点，设定(2a+1)×(2a+1)大小的窗口，定义窗口内图像的能量值均值为平滑后图像中对应像素点的灰度值，具体公式为：

上式中，μ(i,j)为平滑后图像的灰度值，n_W为窗口中灰度值不为0的像素点的个数；

3)对步骤2)所得图像进行阈值分割，进一步突出纹路部分；进行阈值分割后图像C(i，j)：

上式中，D(i,j)为平滑前后的差分图像，T的取值范围为20～30；

4)取100-300张经步骤1)～3)处理后图像作为样本图像集，采用基于学习函数更新背景图的方式重建背景，并将最终所得背景图像归一化得背景概率图；获取背景概率图的步骤如下：

(a)设定背景图初始图像每个像素点的起始值为255；

(b)定义背景图学习函数，并基于该学习函数更新背景图：

G(i,j)＝255时，

G(i,j)＝0时，

上式中，B(i,j)为当前背景图，B'(i,j)为下一背景图；

(c)对所有样本集图像进行背景学习后，对所得背景图归一化得到背景概率图P(i,j)；

进行异物检测：

i)对待检测图像进行步骤1)和2)所述ROI提取以及预处理操作；

ii)将步骤i)所得图像与已得背景概率图相乘，并作阈值分割，去除瓶身纹路干扰，提取候选对象；

iii)对每一个候选对象，继续选取灰度值、对比度、形状以及位置特征作为SVM分类器的输入向量，经过分类器训练和分类后，最终去除干扰部分，识别可见异物。

2.根据权利要求1所述的一种基于图像背景概率图的食用油杂质检测方法，其特征在于：步骤ii)中进行阈值分割后图像C(i，j)：

上式中，D(i,j)为平滑前后的差分图像，T'的取值范围为20～30。

3.根据权利要求2所述的一种基于图像背景概率图的食用油杂质检测方法，其特征在于：步骤iii)中，用以进行训练和分类的SVM分类器的输入矢量为：

(a)灰度

采取每一个候选对象灰度均值表征：

其中N_C为每个候选对象中像素点个数，C_n为选对象中第n个像素点的灰度值；

(b)对比度

选定7*7的窗口，对候选对象的边缘像素点求取其领域内的方差σ₁,σ₂,σ₃...σ_M，M为候选对象边缘像素点的个数，并选取这一系列方差的均值作为表征该候选对象与周围油体灰度值对比度的特征：

(c)形状

选取候选对象的面积和宽高比来描述形状信息，面积A即为候选对象占像素点个数，宽度W和高度H通过对其寻找最小外接矩形来得到，并可得到高宽比值：

(d)位置

通过大量样本测试发现，气泡及纹理的干扰部分具有相对固定的位置信息，用质心(x_m,y_m)来表征其位置信息：

其中(x_i,y_i)为候选对象中第i个像素点的坐标。