CN106934789A - 基于三帧差分法的包装动态检测方法及装置 - Google Patents

Abstract

本发明涉及检测领域，公开了一种基于三帧差分法的包装动态检测方法及装置。该方法包括：获取包装视频图像；将所述视频图像灰度化；利用二维交叉熵确定阈值并根据所述阈值对连续三帧灰度化图像进行二次差分以得到差值图像；以及在所述差值图像中识别包装缺陷特征图像。通过上述技术方案，对包装图像进行检测，利用三帧差分法对图像进行处理，能够有效检测出漏装、漏封、漏印等包装问题。

Description

基于三帧差分法的包装动态检测方法及装置

技术领域

本发明涉及检测领域，具体地，涉及一种基于三帧差分法的包装动态检测方法及装置。

背景技术

随着食品安全问题频发，如何使得食品在生产过程中得到有效监控引起越来越大的重视。

在粮食生产加工过程中，会出现粮食漏装、未封袋、包装印刷错误等问题，这需要部分人力物力进行实时肉眼检测。为了避免漏检及人力的浪费，同时保证生产过程卫生安全，采用自动化监控是极为必要的。

对包装进行动态检测的两个关键难点在于生产线上运动中的物体识别和不合格产品的特征提取。目前针对第一种问题即移动物体识别的方法有很多，较为常见是对移动物体图像的差分方法，一般利用移动物体图像与固定背景图像之间的差分，这种方法的优点是位置较为准确、速度快，适合固定不变的背景环境，不足之处在于受环境光线影响，若背景环境更新频繁则需不断更新背景图片进行差分操作。以粮食生产过程为例，在粮食生产过程中，生产环境较为复杂，粉尘、机器、操作人员不断变化直接影响了物体的识别，因此这种方法不可行。此外，另一种方式是利用连续图像的差分方法，这种方法对运动物体敏感，连续图像的光线变化小，但因粮食生产的特殊性，包装袋的非刚性特点，检测出的物体位置不准确，检测出的物体目标比实际目标大，影响了判断。

针对上述问题，现有技术中尚无良好解决方案。

发明内容

本发明的目的是提供一种基于三帧差分法的包装动态检测方法及装置，该方法及装置能够包装质量进行有效监控。

为了实现上述目的，本发明提供一种基于三帧差分法的包装动态检测方法，该方法包括：获取包装视频图像；将所述视频图像灰度化；利用二维交叉熵确定阈值并根据所述阈值对连续三帧灰度化图像进行二次差分以得到差值图像；以及在所述差值图像中识别包装缺陷特征图像。

进一步地，所述将所述视频图像灰度化的步骤包括通过以下公式对所述视频图像中的每个像素取灰度：

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j))

其中，0≤i≤n，0≤j≤m，n为所述视频图像的像素行数，m为所述视频图像的像素列数，f(i,j)为第i行第j列像素的灰度值，R(i,i)、G(i,j)、B(i,j)分别是第i行第j列像素红色像素值、绿色像素值、蓝色像素值。

进一步地，所述将所述视频图像灰度化的步骤还包括通过以下公式对取灰度的每个像素进行增强：

其中g(x,y)是原图像的像素点的灰度值，f(x,y)是其增强灰度后的新的灰度值，w为任意点f(p_i,p_j)的权重系数，该值为

进一步地，所述对连续三帧灰度化图像进行二次差分的步骤包括通过以下公式确定二次差分的二值图像

其中，f_k(x,y)为第k帧图片的二值图像值，f_k-1(x,y)为第k-1帧图片的二值图像，f_k+1(x,y)为第k+1帧图片的二值化图像，为经过一次差分后的二值图像，以及T为所述阈值。

进一步地，所述利用二维交叉熵确定阈值的步骤包括：

使用阈值矢量(s,t)对所述灰度化图像的二维直方图进行划分，将图像划分为背景和物体两个区域；以及

根据以下公式确定针对每一像素行的阈值T：

T＝f_a(s,t)(μ_a(s,t)lgμ_a(s,t)+μ_b(s,t)lgμ_b(s,t))+

f_b(s,t)(μ_a(s,t)lgμ_a(s,t)+μ_b(s,t)lgμ_b(s,t))

其中，μ_a(s,t)为阈值为T时背景的灰度均值，μ_b(s,t)为物体的灰度均值，f_a(s,t)为所述图像的前景灰度值，f_b(s,t)为所述图像的背景灰度值。

本发明的另一个方面，提供了一种基于三帧差分法的包装动态检测装置，该装置包括：图像获取模块，用于获取包装视频图像；灰度化模块，用于将所述视频图像灰度化；差值计算模块，用于利用二维交叉熵确定阈值并根据所述阈值对连续三帧灰度化图像进行二次差分以得到差值图像；以及缺陷识别模块，用于在所述差值图像中识别包装缺陷特征图像。

进一步地，所述灰度化模块用于通过以下公式对所述视频图像中的每个像素取灰度：

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j))

其中，0≤i≤n，0≤j≤m，n为所述视频图像的像素行数，m为所述视频图像的像素列数，f(i,j)为第i行第j列像素的灰度值，R(i,i)、G(i,j)、B(i,j)分别是第i行第j列像素红色像素值、绿色像素值、蓝色像素值。

进一步地，该装置还包括增强模块用于通过以下公式对取灰度的每个像素进行增强：

其中g(x,y)是原图像的像素点的灰度值，f(x,y)是其增强灰度后的新的灰度值，w为任意点f(p_i,p_j)的权重系数，该值为

进一步地，所述差值计算模块用于通过以下公式确定二次差分的二值图像

其中，f_k(x,y)为第k帧图片的二值图像值，f_k-1(x,y)为第k-1帧图片的二值图像，f_k+1(x,y)为第k+1帧图片的二值化图像，为经过一次差分后的二值图像，以及T为所述阈值。

进一步地，所述差值计算模块用于使用阈值矢量(s,t)对所述灰度化图像的二维直方图进行划分，将图像划分为背景和物体两个区域；以及根据以下公式确定针对每一像素行的阈值T：

T＝f_a(s,t)(μ_a(s,t)lgμ_a(s,t)+μ_b(s,t)lgμ_b(s,t))+

f_b(s,t)(μ_a(s,t)lgμ_a(s,t)+μ_b(s,t)lgμ_b(s,t))

其中，μ_a(s,t)为阈值为T时背景的灰度均值，μ_b(s,t)为物体的灰度均值，f_a(s,t)为所述图像的前景灰度值，f_b(s,t)为所述图像的背景灰度值。

通过上述技术方案，对包装图像进行检测，利用三帧差分法对图像进行处理，能够有效检测出漏装、漏封、漏印等包装问题。

本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1是本发明实施方式提供的基于三帧差分法的包装动态检测方法流程图；

图2是本发明示例实施方式提供的基于三帧差分法的包装动态检测方法流程图；

图3是本发明实施方式提供的基于三帧差分法的包装动态检测装置组成示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

图1是本发明实施方式提供的基于三帧差分法的包装动态检测方法流程图。如图1所示，本发明提供一种基于三帧差分法的包装动态检测方法，该方法包括：

步骤101：获取包装视频图像；

步骤102：将所述视频图像灰度化；

步骤103：利用二维交叉熵确定阈值并根据所述阈值对连续三帧灰度化图像进行二次差分以得到差值图像；以及

步骤104：在所述差值图像中识别包装缺陷特征图像。

通过上述技术方案，对包装图像进行检测，利用三帧差分法对图像进行处理，能够有效检测出漏装、漏封、漏印等包装问题。在实施方式中，可以通过以下方法对图像的RGB值进行处理，得到灰度图像。为了对所得到的灰度图像进行差值，还可以先经过图像增强以及平滑处理。在实施方式中，将视频图像灰度化、灰度化图像增强以及图像平滑处理可以作为在对图像进行差分前的预处理步骤。以下结合图2对本发明提供的方法详细说明。

图2是本发明示例实施方式提供的基于三帧差分法的包装动态检测方法流程图。如图2所示，本发明实施方式提供的基于三帧差分法的包装动态检测方法包括以下几个关键步骤：

步骤201：由于物体本身的颜色对该执行包装检测的影响不大，因此可以将图像首先进行灰度处理以有效提高计算速度。在本发明的实施方式中，通过以下公式对所述视频图像中的每个像素取灰度：

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j))

其中，0≤i≤n，0≤j≤m，n为所述视频图像的像素行数，m为所述视频图像的像素列数，f(i,j)为第i行第j列像素的灰度值，R(i,i)是该像素位置的红色像素值，G(i,j)是该像素位置的绿色像素值，B(i,j)是该像素位置的蓝色像素值。

步骤202：在对图像灰度化之后，可以采用常见的局部图像变化算法，对视频图像的任意点的像素进行局部增强。在本发明的实施方式中，采用3×3像素的窗口，通过以下公式对取灰度的每个像素进行增强：

其中g(x,y)是原图像的像素点的灰度值，f(x,y)是其增强灰度后的新的灰度值，w为任意点f(p_i,p_j)的权重系数，该值为

步骤202的操作主要是为了加强视频图像中包装(例如，生产线上的小包装成品粮)的边缘特征，同时对背景噪音也有弱化作用。

步骤203：考虑到包装所处的环境对视频图像的影响，例如，产线上的小包装成品粮的生产环境具有特殊性(例如存在粉尘)，此外对于包装的背景随时间变化几乎不变，因此可以采用图像增强方法消除其图像噪音。在本发明的实施方式中，可以采用中值滤波技术消除图像噪音。中值滤波技术为本领域技术人员所知晓，再次不赘述。

步骤204：图像间的差分适应于摄相机静止拍摄的场景，在举例的小包装成品粮生产过程中，摄像镜头一直静止工作，拍摄的图像相邻帧间的物体变化不明显。经过预处理步骤进行平滑去噪后，利用相邻帧之间的差分可以有效确定物体，但是如果物体加速或者减速后，二帧差分方法无法准确确定物体，因此本发明创造性提出采用图像三帧差分方法。为了对经过预处理的图像进行三帧差分，需要首先对差分阈值T进行选择。在本发明的实施方式中，利用二维交叉熵确定阈值T。

使用二维交叉熵确定阈值T的方法中，可以设置在远离对角线的两个区域分别为背景噪音和物体噪音，经过前述步骤处理之后，这两个区域的灰度概率为0，而在对角线上的两个区域分别是物体灰度概率和背景灰度概率，

具体的步骤可以包括：

使用阈值矢量(s,t)对所述灰度化图像的二维直方图进行划分，将图像划分为背景和物体两个区域，例如，分别记为P_o和P_b，其中 p(i,j)为灰度概率，可以通过统计灰度值属于某一范围的像素点个数来计算，并且有P_o+P_b＝1。根据二维交叉阈值的确定算法阈值的极大值公式为：

D(s,t)＝f_a(s,t)(μ_a(s,t)lgμ_a(s,t)+μ_b(s,t)lgμ_b(s,t))+

f_b(s,t)(μ_a(s,t)lgμ_a(s,t)+μ_b(s,t)lgμ_b(s,t))

利用极大二乘法计算使得D(s,t)为最大的灰度值，即阈值灰度值T。其中，μ_a(s,t)为阈值为T时背景的灰度均值，μ_b(s,t)为物体的灰度均值，f_a(s,t)为图像前景灰度值，f_b(s,t)为图像背景灰度值。

在确定了阈值T之后，可以根据该阈值T对连续三帧灰度化图像进行二次差分，确定二次差分的二值图像

其中，f_k(x,y)为第k帧图片的二值图像值，f_k-1(x,y)为第k-1帧图片的二值图像，f_k+1(x,y)为第k+1帧图片的二值化图像，为经过一次差分后的二值图像，以及T为所述阈值。

需要说明的是，在三帧差分过程中阈值的选择非常重要，如果阈值选择过大，则可能存在部分背景图像被认为是物体，反之则有部分物体图像被认为是背景图像。本专利提出局部阈值的确定算法，对图像的每一行提取灰度阈值T，能够有效区分背景和待识别物体(例如包装)。

图3是本发明实施方式提供的基于三帧差分法的包装动态检测装置组成示意图。如图3所示，本发明的另一个方面，提供了一种基于三帧差分法的包装动态检测装置300，该装置300可以包括：图像获取模块301，用于获取包装视频图像；灰度化模块302，用于将所述视频图像灰度化；差值计算模块303，用于利用二维交叉熵确定阈值并根据所述阈值对连续三帧灰度化图像进行二次差分以得到差值图像；以及缺陷识别模块304，用于在所述差值图像中识别包装缺陷特征图像；以及当识别出包装缺陷(例如，漏装、漏封、漏印)时可以提供报警信号。

在实施方式中，灰度化模块302可以通过以下公式对所述视频图像中的每个像素取灰度：

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j))

其中，0≤i≤n，0≤j≤m，n为所述视频图像的像素行数，m为所述视频图像的像素列数，f(i,j)为第i行第j列像素的灰度值。

在优选的实施方式中，该装置300还可以包括增强模块305用于通过以下公式对取灰度的每个像素进行增强：

其中g(x,y)是原图像的像素点的灰度值，f(x,y)是其增强灰度后的新的灰度值，w为任意点f(p_i,p_j)的权重系数，该值为

在实施方式中，差值计算模块303可以用于通过以下公式确定二次差分的二值图像

其中，f_k(x,y)为第k帧图片的二值图像值，f_k-1(x,y)为第k-1帧图片的二值图像，f_k+1(x,y)为第k+1帧图片的二值化图像，为经过一次差分后的二值图像，以及T为所述阈值。

进一步地，差值计算模块303可以用于使用阈值矢量(s,t)对所述灰度化图像的二维直方图进行划分，将图像划分为背景和物体两个区域；以及根据以下公式确定针对每一像素行的阈值T：

T＝f_a(s,t)(μ_a(s,t)lgμ_a(s,t)+μ_b(s,t)lgμ_b(s,t))+

f_b(s,t)(μ_a(s,t)lgμ_a(s,t)+μ_b(s,t)lgμ_b(s,t))

其中，μ_a(s,t)为阈值为T时背景的灰度均值，μ_b(s,t)为物体的灰度均值，f_a(s,t)为图像前景灰度值，f_b(s,t)为图像背景灰度值

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (10)

1.一种基于三帧差分法的包装动态检测方法，其特征在于，该方法包括：

获取包装视频图像；

将所述视频图像灰度化；

利用二维交叉熵确定阈值并根据所述阈值对连续三帧灰度化图像进行二次差分以得到差值图像；以及

在所述差值图像中识别包装缺陷特征图像。

2.根据权利要求1所述的方法，其特征在于，所述将所述视频图像灰度化的步骤包括通过以下公式对所述视频图像中的每个像素取灰度：

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j))

其中，0≤i≤n，0≤j≤m，n为所述视频图像的像素行数，m为所述视频图像的像素列数，f(i,j)为第i行第j列像素的灰度值，R(i,i)、G(i,j)、B(i,j)分别是第i行第j列像素红色像素值、绿色像素值、蓝色像素值。

3.根据权利要求2所述的方法，其特征在于，所述将所述视频图像灰度化的步骤还包括通过以下公式对取灰度的每个像素进行增强：

$f(p_x,p_y)=\underset{i=0}{\overset{n}{\Σ}}\underset{j=0}{\overset{m}{\Σ}}w(i,j)g(p_{x+i},p_{y+j})$

其中g(x,y)是原图像的像素点的灰度值，f(x,y)是其增强灰度后的新的灰度值，w为任意点f(p_i,p_j)的权重系数，该值为

4.根据权利要求1所述的方法，其特征在于，所述对连续三帧灰度化图像进行二次差分的步骤包括通过以下公式确定二次差分的二值图像

$f_k^1(x,y)=\left\{\begin{array}{cc}1& |f_k(x,y)-f_{k-1}(x,y)|\≥T\\ 0& |f_k(x,y)-f_{k-1}(x,y)|\≤T\end{array}\right.$

$f_{k-1}^1(x,y)=\left\{\begin{array}{cc}1& |f_{k+1}(x,y)-f_k(x,y)|\≥T\\ 0& |f_{k+1}(x,y)-f_k(x,y)|\≤T\end{array}\right.$

$f_k^2(x,y)=\left\{\begin{array}{cc}1& f_k^1(x,y)\∩f_{k-1}^1(x,y)=1\\ 0& f_k^1(x,y)\∩f_{k-1}^1(x,y)=0\end{array}\right.$

其中，f_k(x,y)为第k帧图片的二值图像值，f_k-1(x,y)为第k-1帧图片的二值图像，f_k+1(x,y)为第k+1帧图片的二值化图像，为经过一次差分后的二值图像，以及T为所述阈值。

5.根据权利要求1所述的方法，其特征在于，所述利用二维交叉熵确定阈值的步骤包括：

使用阈值矢量(s,t)对所述灰度化图像的二维直方图进行划分，将图像划分为背景和物体两个区域；以及

根据以下公式确定针对每一像素行的阈值T：

T＝f_a(s,t)(μ_a(s,t)lgμ_a(s,t)+μ_b(s,t)lgμ_b(s,t))+f_b(s,t)(μ_a(s,t)lgμ_a(s,t)+μ_b(s,t)lgμ_b(s,t))

其中，μ_a(s,t)为阈值为T时背景的灰度均值，μ_b(s,t)为物体的灰度均值，f_a(s,t)为所述图像的前景灰度值，f_b(s,t)为所述图像的背景灰度值。

6.一种基于三帧差分法的包装动态检测装置，其特征在于，该装置包括：

图像获取模块，用于获取包装视频图像；

灰度化模块，用于将所述视频图像灰度化；

差值计算模块，用于利用二维交叉熵确定阈值并根据所述阈值对连续三帧灰度化图像进行二次差分以得到差值图像；以及

缺陷识别模块，用于在所述差值图像中识别包装缺陷特征图像。

7.根据权利要求6所述的装置，其特征在于，所述灰度化模块用于通过以下公式对所述视频图像中的每个像素取灰度：

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j))

其中，0≤i≤n，0≤j≤m，n为所述视频图像的像素行数，m为所述视频图像的像素列数，f(i,j)为第i行第j列像素的灰度值，R(i,i)、G(i,j)、B(i,j)分别是第i行第j列像素红色像素值、绿色像素值、蓝色像素值。

8.根据权利要求7所述的装置，其特征在于，该装置还包括增强模块用于通过以下公式对取灰度的每个像素进行增强：

$f(p_x,p_y)=\underset{i=0}{\overset{n}{\Σ}}\underset{j=0}{\overset{m}{\Σ}}w(i,j)g(p_{x+i},p_{y+j})$

其中g(x,y)是原图像的像素点的灰度值，f(x,y)是其增强灰度后的新的灰度值，w为任意点f(p_i,p_j)的权重系数，该值为

9.根据权利要求6所述的装置，其特征在于，所述差值计算模块用于通过以下公式确定二次差分的二值图像

$f_k^1(x,y)=\left\{\begin{array}{cc}1& |f_k(x,y)-f_{k-1}(x,y)|\≥T\\ 0& |f_k(x,y)-f_{k-1}(x,y)|\≤T\end{array}\right.$

$f_{k-1}^1(x,y)=\left\{\begin{array}{cc}1& |f_{k+1}(x,y)-f_k(x,y)|\≥T\\ 0& |f_{k+1}(x,y)-f_k(x,y)|\≤T\end{array}\right.$

$f_k^2(x,y)=\left\{\begin{array}{cc}1& f_k^1(x,y)\∩f_{k-1}^1(x,y)=1\\ 0& f_k^1(x,y)\∩f_{k-1}^1(x,y)=0\end{array}\right.$

其中，f_k(x,y)为第k帧图片的二值图像值，f_k-1(x,y)为第k-1帧图片的二值图像，f_k+1(x,y)为第k+1帧图片的二值化图像，为经过一次差分后的二值图像，以及T为所述阈值。

10.根据权利要求6所述的装置，其特征在于，所述差值计算模块用于使用阈值矢量(s,t)对所述灰度化图像的二维直方图进行划分，将图像划分为背景和物体两个区域；以及根据以下公式确定针对每一像素行的阈值T：

T＝f_a(s,t)(μ_a(s,t)lgμ_a(s,t)+μ_b(s,t)lgμ_b(s,t))+f_b(s,t)(μ_a(s,t)lgμ_a(s,t)+μ_b(s,t)lgμ_b(s,t))

其中，μ_a(s,t)为阈值为T时背景的灰度均值，μ_b(s,t)为物体的灰度均值，f_a(s,t)为所述图像的前景灰度值，f_b(s,t)为所述图像的背景灰度值。