CN112598695A - 基于光流和动量法的化工运动目标监控方法 - Google Patents

Abstract

本发明提供一种基于光流和动量法的化工运动目标监控方法，包括截取一帧摄像头图像；获取摄像头拍摄的实时视频流；按设置的抓图帧率循环抓取图像，按感兴趣区域裁剪图像，并转换为灰度图像；计算当前帧和上一帧所得灰度图像的稀疏光流二维矢量；将二维矢量转换为二维图像，并计算二维图像中像素总和S；判断帧数是否小于等于预设的抓取帧数的目标阈值，如果是，则使用动量法计算当前帧的动量M_t，并实时更新；如果帧数超过预设的抓取帧数的目标阈值，计算得到的像素总和S与动量M_t二者的比值，根据比值判定运动目标检测是否异常。本发明可提高监控的效率与可靠性，对于化工产品生产的安全运行及管理提供重要的保障。

Description

基于光流和动量法的化工运动目标监控方法

技术领域

本发明涉及运动目标检测技术领域，具体是一种基于光流和动量法的化工运动目标监控方法。

背景技术

化工产品的生产工艺复杂，在生产过程中，由于所用的材料有的含水量较大、有的粘性较大、有的粒度细，加之料仓结构的不合理等原因，出料时经常出现断料现象，使给料设备不能连续正常地给料，一个工序出现了问题，会影响后面的一系列生产工艺，严重影响了车间的正常生产，而且存在一定的安全隐患。

化工产品的流水线生产是运动目标检测的范畴。运动目标检测是指将视频图像中发生空间位置变化的物体作为前景提出并标示的过程。常用的检测算法包括帧间差分法、背景差分法、光流法等。

帧间差分法对时间上连续的两帧或三帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标。帧间差分法的原理简单，计算量小，能够快速检测出场景中的运动目标。但是该方法检测的目标不完整，内部可能产生“空洞”现象，运动目标速度过快或过慢，都会影响检测效果。

背景差分法基本思想是将当前每一帧图像与事先存储或实时获取的背景图像相减，计算出与背景偏离超过一定阀值的区域作为运动区域。该算法实现简单，相减结果直接给出目标的位置、大小、形状等信息，能够提供关于运动目标区域的完整描述，特别是对于摄像机静止的情况。但是由于化工生产区域场景复杂多变，而且存在各种噪声和干扰，造成背景建模和模拟的难度增加。

光流法是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。光流法的优点在于它能够检测出独立运动的对象，不需要预先知道场景的任何信息，并且可用于摄像机运动的情况。但是，在实际应用中，当复杂性与多变性的外界环境不满足光流场的约束条件时，就不能正确的求解出光流场；此外，光流法的算法复杂度高，用于运动检测实时性差。

化工运动目标存在颜色形状多种多样、场景复杂多变、光照噪声影响大和摄像机抖动等问题，目前的化工运动目标只针对一个特定的场景如罐区进行检测，不能适应复杂多变的场景如振动筛、热箱、冷箱、出料口等，因此迫切需要一种通用、高效、自动的运动目标检测方法。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种基于光流和动量法的化工运动目标监控方法，将最大限度的发挥视频监控技术的优势，做到视频图像人工智能分析判断，可节约大量的人力资源和成本，提高监控的效率与可靠性，对于化工产品生产的安全运行及管理提供了重要的保障。

为实现上述目的，本发明提供了一种基于光流和动量法的化工运动目标监控方法，包括如下步骤：

步骤一，截取一帧摄像头图像，添加布控策略，所述布控策略包括设置抓图帧率r(单位：帧/秒)、从截取的摄像头图像中画出感兴趣区域；

步骤二，获取摄像头拍摄的实时视频流；

步骤三，按步骤一设置的抓图帧率r循环抓取图像，按感兴趣区域裁剪图像，并转换为灰度图像；

步骤四，计算当前帧和上一帧所得灰度图像的稀疏光流二维矢量；

步骤五，将二维矢量转换为二维图像，并计算二维图像中像素总和S；

步骤六，判断帧数是否小于等于预设的抓取帧数的目标阈值，果是，则使用动量法计算当前帧的动量M_t，并实时更新；

步骤七，如果帧数超过预设的抓取帧数的目标阈值，计算步骤五得到的像素总和S与动量M_t二者的比值，判断比值是否在阈值范围之内，如果不在阈值范围内，则判定运动目标检测异常，发出报警信息。

进一步地，所述化工运动目标包括：乙烯厂生产车间丁苯橡胶、聚苯乙烯、顺丁橡胶等。

进一步地，步骤一所述布控策略还包括：设置抓取帧数的目标阈值，一般设置为50。

进一步地，步骤一中所述感兴趣区域是在截取的摄像头图像中人工画的矩形框。

进一步地，步骤三所述转换为灰度图像具体步骤为：

Gray＝0.29900*R+0.58700*G+0.11400*B,其中R是指该像素点的R分量，G是指该像素点的G分量，B是指该像素点的B分量，Gray是转换后的该像素点的灰度值。

进一步地，步骤四计算当前帧和上一帧所得灰度图像的稀疏光流二维矢量，具体包括：

(1)将灰度图像分割成T个大小为k*k个像素的光流窗口；

(2)计算每个光流窗口中的光流，其计算方法为：

其中，V_x和V_y分别为光流窗口在x方向和y方向的速度，I_xi，I_yi为光流窗口中第i个像素在x和y方向上的灰度变化，即为x方向和y方向相邻像素灰度值之差，I_ti为当前t时刻的图像I'_n(x,y)和上一帧t-dt时刻的图像I'_n-1(x,y)的(x，y)的像素点在t时刻和t+dt时刻的周围灰度值变化，其中n＝1，2，3，4，...N；

(3)将获得的V_x和V_y按获得的先后顺序在对应的光流窗口的中心点处赋值，形成一个二维矢量矩阵。

进一步地，步骤五所述将二维矢量转换为二维图像，方法如下：

其中I_x,y表示在(x,y)点的光流分量，P_x,y表示在该点的像素值，threshold设置为20。

进一步地，步骤五计算二维图像中像素总和S具体步骤为：

其中W为图像宽度，H为图像高度。

进一步地，步骤六使用动量法计算当前帧的动量M_t具体步骤为：M_t＝0.98*M_t-dt+0.02*S，其中M_t为当前时刻的动量，M_t-dt为t-dt时刻计算的动量，S为步骤五计算的光流矢量图像像素值总和。

进一步地，步骤七所述判定运动目标检测异常具体步骤为：

其中low_threshold为最小阈值，设置为0.3，high_threshold为最大阈值，设置为3.0。

综上可知，与现有技术相比，实施本发明的技术方案具有以下有益效果：

1)本发明设定感兴趣区域的方法，充分考虑了化工产品生产场景存在复杂多变、光照和噪声影响大的问题，具有很强的鲁棒性。

2)本发明结合光流法和动量法对化工运动目标进行检测，在化工运动目标颜色、形状多种多样和摄像机抖动严重的情况下，都能准确地检测和识别化工运动目标。利用动量法能实时获取化工运动目标的运动情况，通过与此前历史运动情况进行比较，一旦偏离正常值就说明设备异常运行导致运动目标速度异常，会实时报警。该方法特别适合于化工运动目标的检测，并能够适应目标被短暂遮挡或者漏检、背景环境发生缓慢变化等情形。

2)本发明充分利用GPU强大的并行计算能力并与CPU进行协同工作，更高效的利用硬件加速完成光流算法中大规模的、高并行度的计算，实现系统加速功能，提高了化工运动目标的准确率和速度，达到了实时检测的目的。

附图说明

图1是本发明实施例基于光流和动量法的化工运动目标监控方法的流程图；

图2是本发明实施例基于光流和动量法的化工运动目标监控方法的步骤一中的截取的一帧摄像头图像；

图3是本发明实施例基于光流和动量法的化工运动目标监控方法的步骤三中从截取的摄像头图像中裁剪的感兴趣区域图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明实施例提供一种基于光流和动量法的化工运动目标监控方法，其中所述化工运动目标可包括乙烯厂生产车间丁苯橡胶、聚苯乙烯、顺丁橡胶等，所述方法包括如下步骤：

步骤一，截取一帧摄像头图像(如图2所示)，添加布控策略，所述布控策略包括设置抓图帧率r(单位：帧/秒)、从截取的摄像头图像中画出感兴趣区域以及设置抓取帧数的目标阈值，目标阈值一般设置为50；所述感兴趣区域是在截取的摄像头图像中人工画的矩形框(如图3所示)。

步骤二，获取摄像头拍摄的实时视频流；

步骤三，按步骤一设置的抓图帧率r循环抓取图像，按感兴趣区域裁剪图像，并转换为灰度图像；其中所述转换为灰度图像具体步骤为：

Gray＝0.29900*R+0.58700*G+0.11400*B

其中R是指该像素点的R分量，G是指该像素点的G分量，B是指该像素点的B分量，Gray是转换后的该像素点的灰度值。

步骤四，计算当前帧和上一帧所得灰度图像的稀疏光流二维矢量。

Lucas-Kanade光流算法是一种两帧差分的光流估计算法，它由Bruce D.Lucas和Takeo Kanade提出。

LK光流法有三个假设条件：

1、亮度恒定：一个像素点随着时间的变化，其亮度值(像素灰度值)是恒定不变的。这是光流法的基本设定，所有光流法都必须满足。

2、小运动：时间的变化不会引起位置的剧烈变化。这样才能利用相邻帧之间的位置变化引起的灰度值变化，去求取灰度对位置的偏导数。所有光流法必须满足。

3、空间一致：即前一帧中相邻像素点在后一帧中也是相邻的。这是LK光流法独有的假定。因为为了求取x,y方向的速度，需要建立多个方程联立求解。而空间一致假设就可以利用邻域n个像素点来建立n个方程。

假设前一帧时间为t，后一帧时间为t+δt，则前一帧I的像素点I(x,y,z,t)在后一帧中的位置为I(x+δx,y+δy,z+δz,t+δt)。

根据亮度恒定假设：

I(x,y,z,t)＝I(x+δx,y+δy,z+δz,t+δt) (1)

根据小运动假设，将上式右侧用泰勒级数展开：

其中，H.O.T是泰勒级数展开式的高阶项，小运动情况下可以忽略为0。

根据上面公式(1)和公式(2)可以得到：

或者下面的公式：

而对于二维图像而言，只需要考虑x,y,t即可，其中I_x，I_y，I_t分别为图像在(x,y,t)方向的差分，写为如下形式：

I_xV_x+I_yV_y＝-I_t (5)

现在有两个未知数，只有一个方程，因此用到第三个假设：即空间一致性假设，LK算法是利用k*k窗口内的n＝k²个像素点建立n个方程，可简写为下面的形式：

写成矩阵形式：

两个未知数和n个方程是一个超定问题，采用最小二乘法解决：

写成如下形式：

其中，V_x和V_y分别为光流窗口在x方向和y方向的速度，I_xi，I_yi为光流窗口中第i个像素在x和y方向上的灰度变化，即为x方向和y方向相邻像素灰度值之差，I_ti为当前t时刻的图像I'_n(x,y)和上一帧t-dt时刻的图像I'_n-1(x,y)的(x，y)的像素点在t时刻和t+dt时刻的周围灰度值变化，其中n＝1，2，3，4，...N；

根据上式通过累加邻域像素点在三个维度的偏导数并做矩阵运算，即可算出该点的光流(V_x,V_y)。

因此，本发明的步骤四计算当前帧和上一帧所得灰度图像的稀疏光流二维矢量，具体包括：

(1)将灰度图像分割成T个大小为k*k个像素的光流窗口；

(2)计算每个光流窗口中的光流，其计算方法为：

其中，V_x和V_y分别为光流窗口在x方向和y方向的速度，I_xi，I_yi为光流窗口中第i个像素在x和y方向上的灰度变化，即为x方向和y方向相邻像素灰度值之差，I_ti为当前t时刻的图像I'_n(x,y)和上一帧t-dt时刻的图像I'_n-1(x,y)的(x，y)的像素点在t时刻和t+dt时刻的周围灰度值变化，其中n＝1，2，3，4，...N；

(3)将获得的V_x和V_y按获得的先后顺序在对应的光流窗口的中心点处赋值，形成一个二维矢量矩阵。

步骤五，将二维矢量转换为二维图像，并计算二维图像中像素总和S；步骤五所述将二维矢量转换为二维图像，方法如下：

其中I_x,y表示在(x,y)点的光流分量，P_x,y表示在该点的像素值，threshold设置为20。

图像像素总和S计算方法如下：

其中W为图像宽度，H为图像高度。

步骤六，判断帧数是否小于等于预设的抓取帧数的目标阈值(本实施设置为50)，如果是，则使用动量法计算当前帧的动量M_t，并实时更新；

步骤六中使用动量法计算当前帧的动量M_t具体步骤为：

M_t＝0.98*M_t-dt+0.02*S

其中M_t为当前t时刻的动量，M_t-dt为上一帧t-dt时刻计算的动量，S为步骤五计算的光流矢量图像像素值总和。

步骤七，如果帧数超过预设的抓取帧数的目标阈值，计算步骤五得到的像素总和S与动量M_t二者的比值，判断比值是否在阈值范围之内，如果不在阈值范围内，则判定运动目标检测异常，发出报警信息。步骤七所述判定运动目标检测异常具体步骤为：

其中low_threshold为最小阈值，设置为0.3，high_threshold为最大阈值，设置为3.0。

本发明结合光流法和动量法对化工运动目标进行检测，在化工运动目标颜色、形状多种多样和摄像机抖动严重的情况下，都能准确地检测和识别化工运动目标；利用动量法能实时获取化工运动目标的运动情况，通过与此前历史运动情况进行比较，一旦偏离正常值就说明设备异常运行导致运动目标速度异常，会实时报警。本发明特别适合于化工运动目标的检测，并能够适应目标被短暂遮挡或者漏检、背景环境发生缓慢变化等情形。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于光流和动量法的化工运动目标监控方法，其特征在于：包括如下步骤：

步骤一，截取一帧摄像头图像，添加布控策略，所述布控策略包括设置抓图帧率r、从截取的摄像头图像中画出感兴趣区域；

步骤二，获取摄像头拍摄的实时视频流；

步骤三，按步骤一设置的抓图帧率r循环抓取图像，按感兴趣区域裁剪图像，并转换为灰度图像；

步骤四，计算当前帧和上一帧所得灰度图像的稀疏光流二维矢量；

步骤五，将二维矢量转换为二维图像，并计算二维图像中像素总和S；

步骤六，判断帧数是否小于等于预设的抓取帧数的目标阈值，果是，则使用动量法计算当前帧的动量M_t，并实时更新；

步骤七，如果帧数超过预设的抓取帧数的目标阈值，计算步骤五得到的像素总和S与动量M_t二者的比值，判断比值是否在阈值范围之内，如果不在阈值范围内，则判定运动目标检测异常，发出报警信息。

2.如权利要求1所述的基于光流和动量法的化工运动目标监控方法，其特征在于：所述化工运动目标包括乙烯厂生产车间丁苯橡胶、聚苯乙烯、顺丁橡胶。

3.如权利要求1所述的基于光流和动量法的化工运动目标监控方法，其特征在于：步骤一中所述布控策略还包括：设置抓取帧数的目标阈值，一般设置为50。

4.如权利要求1所述的基于光流和动量法的化工运动目标监控方法，其特征在于：步骤一中所述感兴趣区域是在截取的摄像头图像中人工画的矩形框。

5.如权利要求1所述的基于光流和动量法的化工运动目标监控方法，其特征在于：步骤三所述转换为灰度图像具体步骤为：

Gray＝0.29900*R+0.58700*G+0.11400*B

其中R是指该像素点的R分量，G是指该像素点的G分量，B是指该像素点的B分量，Gray是转换后的该像素点的灰度值。

6.如权利要求1所述的基于光流和动量法的化工运动目标监控方法，其特征在于：步骤四计算当前帧和上一帧所得灰度图像的稀疏光流二维矢量，具体包括：

(1)将灰度图像分割成T个大小为k*k个像素的光流窗口；

(2)计算每个光流窗口中的光流，其计算方法为：

其中，V_x和V_y分别为光流窗口在x方向和y方向的速度，I_xi和I_yi分别为光流窗口中第i个像素在x和y方向上的灰度变化，即为x方向和y方向相邻像素灰度值之差，I_ti为当前t时刻的图像I'_n(x,y)和上一帧t-dt时刻的图像I'_n-1(x,y)的(x，y)的像素点在t时刻和t+dt时刻的周围灰度值变化，其中n＝1，2，3，4，...N；

(3)将获得的V_x和V_y按获得的先后顺序在对应的光流窗口的中心点处赋值，形成一个二维矢量矩阵。

7.如权利要求1所述的基于光流和动量法的化工运动目标监控方法，其特征在于：步骤五所述将二维矢量转换为二维图像，方法如下：

其中I_x,y表示在(x,y)点的光流分量，P_x,y表示在该点的像素值，threshold设置为20。

8.如权利要求1所述的基于光流和动量法的化工运动目标监控方法，其特征在于：步骤五计算二维图像中像素总和S具体步骤为：

其中W为图像宽度，H为图像高度。

9.如权利要求1所述的基于光流和动量法的化工运动目标监控方法，其特征在于：步骤六使用动量法计算当前帧的动量M_t具体步骤为：

M_t＝0.98*M_t-dt+0.02*S

其中M_t为当前t时刻的动量，M_t-dt为上一帧t-dt时刻计算的动量，S为步骤五计算的光流矢量图像像素值总和。

10.如权利要求1所述的基于光流和动量法的化工运动目标监控方法，其特征在于：步骤七所述判定运动目标检测异常具体步骤为：

其中low_threshold为最小阈值，设置为0.3，high_threshold为最大阈值，设置为3.0。

Images