CN108668109A - 基于计算机视觉的图像监控方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的图像监控方法，包括获取图像数据；利用处理器，对所述图像数据进行处理，以至少得到被监控区域内的图像的图像特征；利用处理器，基于所述图像特征，进行三维重建以获得被监控区域内的物体的三维运动信息；以及利用处理器，判断所述三维运动信息是否满足预设条件，如果是，发出提示信号或控制信号。本发明提出的基于计算机视觉的图像监控方法，深挖和优化各类设备资源的协同作业价值，特别适合开发适于煤矿安全生产、高效节能的智能视频监控软件平台和硬件产品，实现煤矿运输皮带自动调速，煤炭运销行为自动识别，危险区域人员入侵、异物检测等超前预控等，提高矿井生产效率和安全防护水平，实现节能降耗。

Description

基于计算机视觉的图像监控方法

技术领域

本发明涉及一种视频监控方法，特别是一种基于计算机视觉的图像监控方法。

背景技术

随着科学技术的不断发展，工业用视频监控系统的应用也越来越普遍，其应用模式已发展到由多台摄像机和多台监视器以及配置性能优越的中央控制室构成的复杂系统。而且，一般地工业视频监控都具有频带宽、损耗低、抗电磁干扰的特点，因此，将监控摄像头分散到生产单位或业务部门，再由中央控制器有效监视，可集中、实时、形象地反应被检测对象，即使获取大量丰富的信息。

尤其是，对于煤炭工业来说，由于煤矿井下环境特殊，生产环境的自然条件比较恶劣，配备工业用视频监控系统可以使调度人员可以一目了然的了解井下或地面的重要设备、人员及生产过程的现场状况，大大扩展了智慧人员的视野，对安全生产、抢险救灾起到重要作用。近年来，随着计算机技术和多媒体技术的日益发展，极大地促进了图像处理技术与图像识别技术的发展。图像识别是利用计算机，将由摄像头传来的图像数据按一定顺序输入计算机，再经过图像处理、分析，然后进行识别，输出结果。方便了操作人员，从而使生产过程中出现的各种险情得以及时排除。

目前现有技术中针对计算机视觉的研究并没有统一的客观标准，通常由使用者做出主观评判。使用者认为得到了他的某种特定的要求，那么这种图像监控方法就是有效的。可以说，对于基于计算机视觉的图像监控方法，目前仍缺乏统一的理论，而且对于有针对性的图像监控方法，即使其在某些场景下适用良好，但却未必能适用于其他场景。因此，亟待改进。

发明内容

鉴于现有技术存在的上述问题，本发明的目的在于提供一种基于计算机视觉的图像监控方法。

为了实现上述目的，本发明实施例提供的一种基于计算机视觉的图像监控方法，包括：

获取图像数据；

利用处理器，对所述图像数据进行处理，以至少得到被监控区域内的图像的图像特征；

利用处理器，基于所述图像特征，进行三维重建以获得被监控区域内的物体的三维运动信息；以及

利用处理器，判断所述三维运动信息是否满足预设条件，如果是，发出提示信号或控制信号。

作为优选，对所述图像数据进行处理，以至少得到被监控区域内的图像的图像特征，具体包括：

对所述图像数据的按照情境进行分类；

根据该分类结果，应用相应的图像分析器对所述图像数据进行分析，以至少得到被监控区域内的图像的图像特征。

作为优选，所述对所述图像数据的按照情境进行分类的步骤至少基于所述图像数据的图像特征来执行。

作为优选，对所述图像数据按照情境进行分类，通过如下方式中的任何一种或多种来实现：图像检索算法、针对已知分类的样本图像的匹配算法、以及图像分类算法。

作为优选，所述图像分析器包括多个图像分析器，每个图像分析器被设计针对特定的情境或区域进行计算。

作为优选，所述图像分析器利用深度神经网络、随机森林、梯度提升决策树中的一种或多种算法来实现。

作为优选，所述获取图像数据，包括依所述时间序列在同一时间点分别获取对应于人左右眼的左眼视频流和右眼视频流，根据所述左眼视频流和所述右眼视频流分别再获取左眼图像数据及右眼图像数据。

作为优选，所述对所述图像数据进行处理，以至少得到被监控区域内的图像的图像特征，包括：

针对每一所述图像数据进行预处理；

调用情境或区域的训练库文件，提取经预处理的所述图像数据中的关键区域；

当检测到关键区域时，记录所述关键区域的中心点坐标。

作为优选，所述预处理，包括：

将所述图像数据转化为灰度图像；

进行直方图均衡化处理和/或进行中值滤波以消除图像中的部分噪声。

作为优选，所述预处理，还包括：

对消除噪声后的所述图像数据设置感兴趣区域；

获取所述感兴趣区域的几何中心；

保存所述几何中心的坐标。

与现有技术比较，本发明提出的基于计算机视觉的图像监控方法，深挖和优化各类设备资源的协同作业价值，特别适合开发适于煤矿安全生产、高效节能的智能视频监控软件平台和硬件产品，实现煤矿运输皮带自动调速，煤炭运销行为自动识别，危险区域人员入侵、异物检测等超前预控等，提高矿井生产效率和安全防护水平，实现节能降耗。

附图说明

图1为本发明的基于计算机视觉的图像监控方法；

具体实施方式

为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作详细说明。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本发明的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本发明进行了描述，但本领域技术人员能够确定地实现本发明的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

此后参照附图描述本发明的具体实施例；然而，应当理解，所发明的实施例仅仅是本发明的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以根据用户的历史的操作，判明真实的意图，避免不必要或多余的细节使得本发明模糊不清。因此，本文所发明的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本发明。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本发明的相同或不同实施例中的一个或多个。

本发明主要目的是通过对视频流中的图像帧进行基于计算机视觉的智能分析，实现对监控区域中的运动物体的实时监控，例如出现在视频监控中的工作人员的违规行为的监控，以及出现在生产线上异物检测，或者对生产线上的皮带运输的流量进行检测，从而进一步地为生产服务或及时进行调整控制。具体地，如图1所示，本发明提供的一种基于计算机视觉的图像监控方法，包括：

S1、获取图像数据；在这一步骤中，获取图像数据可以由单路视频摄像头实现，也可以由多路视频摄像头实现。具体地，作为优选，所述获取图像数据，包括依所述时间序列在同一时间点分别获取对应于人左右眼的左眼视频流和右眼视频流，根据所述左眼视频流和所述右眼视频流分别再获取左眼图像数据及右眼图像数据。

S2、利用处理器，对所述图像数据进行处理，以至少得到被监控区域内的图像的图像特征；具体地，对所述图像数据进行处理，以至少得到被监控区域内的图像的图像特征，具体包括：对所述图像数据的按照情境进行分类；根据该分类结果，应用相应的图像分析器对所述图像数据进行分析，以至少得到被监控区域内的图像的图像特征。

作为进一步优选，所述对所述图像数据的按照情境进行分类的步骤至少基于所述图像数据的图像特征来执行。

并且，在这一实施例中，对所述图像数据按照情境进行分类，通过如下方式中的任何一种或多种来实现：图像检索算法、针对已知分类的样本图像的匹配算法、以及图像分类算法。

另外，在这一实施例中，所述图像分析器包括多个图像分析器，每个图像分析器被设计针对特定的情境或区域进行计算。其中，所述图像分析器利用深度神经网络、随机森林、梯度提升决策树中的一种或多种算法来实现。

而在对所述图像数据进行处理，以至少得到被监控区域内的图像的图像特征时，该步骤包括：针对每一所述图像数据进行预处理；调用情境或区域的训练库文件，提取经预处理的所述图像数据中的关键区域；当检测到关键区域时，记录所述关键区域的中心点坐标。

其中，作为本实施方式的一种补充，所述预处理，具体包括：将所述图像数据转化为灰度图像；进行直方图均衡化处理和/或进行中值滤波以消除图像中的部分噪声。另外，所述预处理，还包括：对消除噪声后的所述图像数据设置感兴趣区域；获取所述感兴趣区域的几何中心；保存所述几何中心的坐标。

S3、利用处理器，基于所述图像特征，进行三维重建以获得被监控区域内的物体的三维运动信息；以及，

S4、利用处理器，判断所述三维运动信息是否满足预设条件，如果是，发出提示信号或控制信号。

而在实际生产当中，实施本发明的方法的装置可以至少包含两个相同型号工业相机，一台带有图像采集卡的小型工作站。两个相机固定在需要监控的生产线的上方，调节相机对准特定区域，使得两个相机的相对位置固定不变且相对显示器位置不改变。以煤矿井下的皮带运输机为例，具体的方法流程如下：安装好装置后，调节所述相机系统角度对准皮带运输机，拍摄一幅图像，快速标定相机内参数和畸变系数，用于下述三维重建步骤。

在进行三维重建时，一般而言可以根据已有算法进行，具体地，在本发明实施例中，所采用的具体三维重建公式为：

其中(X₁,Y₁)为左相机提取到的点的像素坐标，在本方案中为左图像的中心坐标。f为标定过程中内参的焦距f＝(f_x+f_y)/2，f_l为左相机焦距，f_r为右相机焦距。(x,y,z)为重建出来的感兴趣的区域的几何中心。

以下以煤矿井下环境为例，具体说明本发明的方法的具体实现原理：

煤矿井下环境特殊，在煤炭生产、运输等各个环节产生了大量悬浮于空气中的粉尘颗粒。为了控制粉尘减小其危害，各工矿企业将大量喷雾降尘设备广泛应用于井下大巷、采煤支架、回风巷、皮带运输巷等处。这些喷雾装置会产生大量雾气和水滴，使得光线在到达监控成像设备前被散射或吸收，从而显著降低了监控场景的能见度。另外在视频监控图像采集和传输过程中，不可避免地受到各种随机噪声的干扰。因此导致监控图像质量严重下降，不利于后续的运动目标检测、识别和跟踪等处理，进一步影响最终的智能视频分析结果。为此，本发明的方法提出了下列算法：

1、基于暗原色先验与双边滤波器(DCPBF)的去雾除尘和同步去噪算法

为了对伴有随机噪声的煤矿雾尘图像进行清晰化处理，提出一种基于 DCPBF的去雾除尘和同步去噪算法。推导建立煤矿雾尘降质图像退化模型；设计基于暗原色先验知识的环境光、粗略透射率估计方法与步骤；采用联合双边滤波快速获得精细透射率图；依据图像退化模型构建正则化目标函数，求取转换图像并进行高斯双边滤波，获得去雾除尘图像且同步实现噪声的有效去除。

2、基于聚类技术的自适应背景建模与更新方法

针对相对静止的煤矿视频监控环境背景，采用背景减除法进行运动目标检测提出基于聚类技术的自适应背景建模与更新方法，利用改进的模糊聚类分析算法(FCM)对像素灰度取值进行聚类，自适应选取不同个数的聚类构建各像素背景模型，随场景变化进行聚类修改、添加和删除完成背景更新。联合背景差分信息、三帧差分信息和空间邻域信息进行前景检测，通过改进的最大类间差法(OTSU)自动设置差分闽值。提出结合像素亮度和纹理特征的运动阴影检测方法，依据在阴影覆盖前后的灰度图像中像素具有亮度值相关性和纹理特征值不变性，实现运动阴影的检测与去除。

3、基于FLSVMIL的单目标跟踪算法

将单目标跟踪看作为目标和背景的在线分类问题，选用线性SVM作为分类工具，提出一种添加样本约简机制的FLSVMIL方法实现分类器在线更新，并提出基于FLSVMIL的单目标跟踪算法。由于可能受到无效历史信息的干扰，并且难以处理样本集非线性可分的问题，提出基于LSVMSE的单目标跟踪算法，采用集成分类器进行运动目标跟踪。

4、基于无迹卡尔曼滤波算法(UKF-MHT)的多目标跟踪算法

根据煤矿智能视频监控系统中多目标跟踪的任务需求，提出基于 UKF-MHT的多目标跟踪算法。设计算法的基本框架，确定关键步骤的处理方法，其中包括跟踪门设置、目标预测值与观测值的数据匹配、航迹评价与删除、航迹聚类和m-best假设的产生以及目标状态的预测更新。在自适应跟踪修正阶段，针对由目标短暂丢失、粘连和分裂可能引起的三类跟踪错误，设计具体的判别策略和修正方法。

本文描述了各种操作或功能，其可以被作为软件代码或指令实现或定义为软件代码或指令。这样的内容可以是可直接执行的(“对象”或“可执行”形式)源代码或差分代码(“增量”或“补丁”代码)。本文所述的实施例的软件实现可以经由其中存储有代码或指令的制品或者经由操作通信接口以经由通信接口发送数据的方法来提供。机器或计算机可读存储介质可以使机器执行所描述的功能或操作，并且包括以可由机器(例如，计算设备、电子系统等等) 访问的形式存储信息的任何机制，诸如可记录/不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备、等等)。通信接口包括接合到硬连线、无线、光学等介质中的任何一个以与另一设备通信的任何机制，诸如存储器总线接口、处理器总线接口、互联网连接、磁盘控制器等。可以通过提供配置参数和/或发送信号来将通信接口配置成将该通信接口准备好以提供描述软件内容的数据信号。可以经由发送到通信接口的一个或更多个命令或信号来访问通信接口。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于计算机视觉的图像监控方法，其特征在于，包括：

获取图像数据；

利用处理器，对所述图像数据进行处理，以至少得到被监控区域内的图像的图像特征；

利用处理器，基于所述图像特征，进行三维重建以获得被监控区域内的物体的三维运动信息；以及

利用处理器，判断所述三维运动信息是否满足预设条件，如果是，发出提示信号或控制信号。

2.如权利要求1所述的基于计算机视觉的图像监控方法，其特征在于，对所述图像数据进行处理，以至少得到被监控区域内的图像的图像特征，具体包括：

对所述图像数据的按照情境进行分类；

根据该分类结果，应用相应的图像分析器对所述图像数据进行分析，以至少得到被监控区域内的图像的图像特征。

3.如权利要求2所述的基于计算机视觉的图像监控方法，其特征在于，所述对所述图像数据的按照情境进行分类的步骤至少基于所述图像数据的图像特征来执行。

4.如权利要求2所述的基于计算机视觉的图像监控方法，其特征在于，对所述图像数据按照情境进行分类，通过如下方式中的任何一种或多种来实现：图像检索算法、针对已知分类的样本图像的匹配算法、以及图像分类算法。

5.如权利要求2所述的基于计算机视觉的图像监控方法，其特征在于，所述图像分析器包括多个图像分析器，每个图像分析器被设计针对特定的情境或区域进行计算。

6.如权利要求2所述的基于计算机视觉的图像监控方法，其特征在于，所述图像分析器利用深度神经网络、随机森林、梯度提升决策树中的一种或多种算法来实现。

7.如权利要求1所述的基于计算机视觉的图像监控方法，其特征在于，所述获取图像数据，包括依所述时间序列在同一时间点分别获取对应于人左右眼的左眼视频流和右眼视频流，根据所述左眼视频流和所述右眼视频流分别再获取左眼图像数据及右眼图像数据。

8.如权利要求1所述的基于计算机视觉的图像监控方法，其特征在于，所述对所述图像数据进行处理，以至少得到被监控区域内的图像的图像特征，包括：

针对每一所述图像数据进行预处理；

调用情境或区域的训练库文件，提取经预处理的所述图像数据中的关键区域；

当检测到关键区域时，记录所述关键区域的中心点坐标。

9.如权利要求1所述的基于计算机视觉的图像监控方法，其特征在于，所述预处理，包括：

将所述图像数据转化为灰度图像；

进行直方图均衡化处理和/或进行中值滤波以消除图像中的部分噪声。

10.如权利要求1所述的基于计算机视觉的图像监控方法，其特征在于，所述预处理，还包括：

对消除噪声后的所述图像数据设置感兴趣区域；

获取所述感兴趣区域的几何中心；

保存所述几何中心的坐标。