CN114581840A - 一种基于计算机视觉的安全反违章视频自动分拣系统模型 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的安全反违章视频自动分拣系统模型，属于计算机分拣技术领域。本发明通过基础支持层、技术层、应用层和服务层这四个层面进行安全反违章视频自动分拣。本发明利用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。本发明中机器视觉产品的应用对人工的替代性具备明显的成本优势，而且具有更高的一致性要求。本发明提出的模型所生成的显著图不仅能够有效覆盖电力设备的边界，而且设备区域与背景区域的对比度高，很好地抑制了背景区域的显著性。本发明中深度学习与传统的机器学习方法是密切相关的，在传统的机器学习框架中加入深度学习模块，可以获得更高的设备分拣识别准确率。

Description

一种基于计算机视觉的安全反违章视频自动分拣系统模型

技术领域

本发明属于计算机分拣技术领域，具体涉及一种基于计算机视觉的安全反违章视频自动分拣系统模型。

背景技术

为了提高电力系统的智能化水平，许多变电站除了具备“遥测”、“遥信”、“遥控”和“遥调”四遥功能外，还添加了“遥视”功能，利用远程传输过来的图像和视频及时评价相关设备运行情况。将图像和视频信息引入电力系统是一种巨大的技术进步，但是，现有的图像和视频监控系统仅仅是将大量的媒体数据传输到调度端，不能对这些数据进行智能化分析，需要工作人员对接收到的数据进行人工分析和识别。人工处理方法效率低下、准确率不高，且人眼长时间工作不利于身心健康，这制约了电力系统智能化水平的提升。

目前电力行业的视频监控主要是以变电站视频监控为主。从实际应用现状看，不同业务场景应用的电力视频监控系统技术水平参差不齐，大部分变电站配置有视频监控系统，但系统之间相互独立，不能实现信息共享；从视频监控技术上来看，各厂家用的技术也存在较大差异，并不能满足电力行业管理层的实际需求，尤其是视频录制量大，核查时管理人员无法确认重点环节的重点事项，只能针对所有录制视频的逐个查看与分拣，工作量巨大，工作内容重复，需要耗费大量的时间才能完成重点环节和重点事项的视频和信息。

发明内容

本发明的目的在于提供一种无需对所有录制视频的逐个查看与分拣，工作量小，耗费时间少的基于计算机视觉的安全反违章视频自动分拣系统模型。

为了实现上述发明目的，本发明采用以下技术方案：

一种基于计算机视觉的安全反违章视频自动分拣系统模型，包括以下内容：

1)基础支持层：包括大数据、计算力和算法，基础支持层中的数据；

2)技术层：包括机器视觉、计算机视觉、语音识别、机器翻译、自然语言处理类方法和人机交互；

3)应用层：对接基于端口匹配的智能检测装置进行识别标记；

4)服务层：包括视频服务和视频分析。

根据以上特征，所述计算机视觉系统可以分为：图像采集、处理、运动控制部分。

在一些示例中，所述计算机视觉系统的工作过程包括如下步骤：

1)利用位置检测器检测到物体的移动，当物体移动到相机系统的视觉中心，检测器马上向图像采集部分发送信号即触发脉冲；

2)根据预定程序和延迟，图像获取部分向照相机和照明系统发出脉冲，拍摄机器和光源都启动；

3)利用相机重新开始新的扫描，照相机在开始新的帧扫描之前打开曝光机制，并且可以预先设置曝光时间；同时打开照明光源，照明时间应该与照相机的曝光时间相匹配。

在一些示例中，所述机器视觉的应用具体如下：

1)视觉检测，包括高精度定量检测和不用量器的定性或半定量检测；

2)机器人视觉：用于指引机器人在大范围内的操作和行动，从料斗送出的杂乱工件堆中拣取工件并按一定的方位放在传输带或其他设备上；

3)缺陷类检测：批量化应用及其视觉辅助工业生产的识别缺陷。

根据以上特征，所述应用层包括原始视频管理、视频分析管理和视频分析结果管理。

与现有技术相比，本发明的有益效果是：

1)本发明利用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。

2)本发明中机器视觉产品的应用对人工的替代性具备明显的成本优势，而且具有更高的一致性要求。

3)本发明提出的模型所生成的显著图不仅能够有效覆盖电力设备的边界，而且设备区域与背景区域的对比度高，很好地抑制了背景区域的显著性。

4)本发明中深度学习与传统的机器学习方法是密切相关的，在传统的机器学习框架中加入深度学习模块，可以获得更高的设备分拣识别准确率。

附图说明

图1为本发明总体业务流架构的示意图。

图2为本发明系统物理架构设计示意图。

图3为本发明中整体应用系统物理架构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的实施例。虽然附图中显示了本发明的实施例，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。本领域的技术人员可以在不偏离本发明精神和保护范围的基础上从下述描述得到替代技术方案。

一种基于计算机视觉的安全反违章视频自动分拣系统模型，其特征在于包括以下内容：

1)基础支持层：包括大数据、计算力和算法，基础支持层中的数据；基础支持层中的数据可以比作人工智能的燃料、算法可以比作人工智能的发动机，数据量、运算能力提升以及深度学习算法促进了人工智能技术的应用发展。

2)技术层：包括机器视觉、计算机视觉、语音识别、机器翻译、自然语言处理类方法和人机交互；

3)应用层：对接基于端口匹配的智能检测装置进行识别标记；应用层则是人工智能技术的具体落地，可以是具体的产品、装备(如智能检测装备)，也可以是一类解决方案(如人脸识别)。从机器视觉的架构来看，从底层的传感、到算法集成应用，隶属于人工智能在工业领域的应用。

4)服务层：包括视频服务和视频分析。

根据以上特征，所述计算机视觉系统可以分为：图像采集、处理、运动控制部分。上述层面具体参照图1所示。

机器视觉技术，是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等诸多领域的交叉学科。机器视觉主要用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。机器视觉技术最大的特点是速度快、信息量大、功能多。机器视觉主要用计算机来模拟人的视觉功能，但并不仅仅是人眼的简单延伸，更重要的是具有人脑的一部分功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。

计算机视觉(Computational Vision)是由相机拍摄图像，通过电脑对图像中的目标进行识别和检测。可以说是机器学习在视觉领域的应用，是人工智能领域的一个重要部分。它的研究内容可以概括为：通过采集图片或视频，对图片或视频进行处理分析，从中获取相对应的信息。换而言之就是运用照相机和计算机来获取我们所需的信息。

在一些示例中，所述计算机视觉系统的工作过程包括如下步骤：

1)利用位置检测器检测到物体的移动，当物体移动到相机系统的视觉中心，检测器马上向图像采集部分发送信号即触发脉冲；

2)根据预定程序和延迟，图像获取部分向照相机和照明系统发出脉冲，拍摄机器和光源都启动；

3)利用相机重新开始新的扫描，照相机在开始新的帧扫描之前打开曝光机制，并且可以预先设置曝光时间；同时打开照明光源，照明时间应该与照相机的曝光时间相匹配。

图像采集部分通过A/D模式转化得到数字图像或者视频。同时把得到数字图像/视频存放在处理器或计算机的内存中，接着处理器处理、分析、识别图像。

机器视觉即采用机器代替人眼来做测量和判断。机器视觉系统最基本的特点是提高生产的柔性和自动化程度，对应地，机器视觉相应的有以下主要的应用方向和适用场景。

本发明中的系统物理架构设计，如图2和图3所示，具体步骤如下所示：

①nginx做负载均衡服务器；

②应用程序使用tomcat部署；

③Tcp网关服务器，硬件设备数据上传通道；

④Zookeeper服务器发现中间件；

⑤Dubbo服务，提供功能实现；

⑥数据库使用mysql；

⑦One-stage、yolov3、python平台，实现视频检测分析。

在一些示例中，所述机器视觉的应用具体如下：

1)视觉检测，包括高精度定量检测和不用量器的定性或半定量检测；高精度定量检测包括显微照片的细胞分类、机械零部件的尺寸和位置测量；不用量器的定性或半定量检测包括产品的外观检查、装配线上的零部件识别定位、缺陷性检测与装配完全性检测。

2)机器人视觉：用于指引机器人在大范围内的操作和行动，从料斗送出的杂乱工件堆中拣取工件并按一定的方位放在传输带或其他设备上；小范围内的操作和行动，需要借助于触觉传感技术。

3)缺陷类检测：批量化应用及其视觉辅助工业生产的识别缺陷。

根据以上特征，所述应用层包括原始视频管理、视频分析管理和视频分析结果管理。

其适用的场景主要是以下两类：

①不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合；

②在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。

机器视觉技术广泛应用于工业制造生产领域。有两点重要原因：

①可靠性原则，机器视觉技术是基于人工智能的架构，其底层是以数据传感和核心算法作为支撑的，机器视觉设备自身集成了自动化定位、识别、判定的软硬件平台，对于标准批量化产品，可以做到较高的可靠性；

②经济性原则，机器视觉产品的应用对人工的替代性具备明显的成本优势，而且具有更高的一致性要求。

通过分析数字图像处理技术在电力系统中的应用现状，应用深度学习(DeepLearning)在图像处理方面的研究进展，为后续提供必要的理论基础。针对所获取的电力设备图像存在对比度低、整体灰度值偏低以及光照不均等问题，需要应用基于二次泰勒级数的非线性自适应增强(Non-linear AdaptiveEnhancement，NAE)方法。该算法利用高斯双边滤波(Gaussian Bilateral Filtering)函数来获取像素的邻域信息，并使用指数型函数对图像作非线性增强，不仅可以有效提高逆光拍摄或夜间拍摄图像的整体灰度值以及对比度，还可以自适应地调整图像中亮度部分的灰度值，达到自适应的图像增强的目的。实验结果表明，跟原始图像相比，使用NAE法处理后的图像不仅对比度得到了明显提高，图像细节也更加清楚。

针对现有目标检测方法所检测出的设备边界模糊的情况，将视觉注意机制引入设备探测中，提出了引入卷积神经网络(Convolutional Neural Networks，CNN)的视觉显著性模型。该模型综合考虑了电力设备的区域特征和边界特征，使用超像素分割的方法对属于设备的区域进行聚类以获得设备的区域信息，同时使用双边滤波器提取设备的边缘信息，并使用两个独立的CNN对提取的区域和边缘信息进行学习，最后将学习到的置信度融入条件随机场，求取能量值并通过计算最小值来实现显著性与非显著性判别，完成设备目标检测。实验结果表明，跟已有的视觉显著性模型相比较，本发明提出的模型所生成的显著图不仅能够有效覆盖电力设备的边界，而且设备区域与背景区域的对比度高，很好地抑制了背景区域的显著性。

针对传统图像处理方法使用手工提取图像特征的不足，结合电力设备图像的特点，本发明基于卷积神经网络的电力设备图像特征提取方法，并提出了双通道卷积神经网络(Double-channel CNN，DCNN)模型。在Alexnet模型的基础上，该模型通过两个独立的CNN来提取电力设备图像的特征，该特征的抽象程度更高，能够更好地反映图像的本质特征；借鉴传统机器学习方法的优势，综合随机森林的优点，实现了结合DCNN和RF的电力设备智能识别算法。实验结果表明，深度学习与传统的机器学习方法是密切相关的，在传统的机器学习框架中加入深度学习模块，可以获得更高的设备识别准确率。

以上所述，仅为本公开的具体实施方式，但本公开实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开实施例揭露的技术范围内或者在本公开实施例揭露的思想下，可轻易想到变化、替换或组合，都应涵盖在本公开实施例的保护范围之内。

Claims (5)

1.一种基于计算机视觉的安全反违章视频自动分拣系统模型，其特征在于包括以下内容：

1)基础支持层：包括大数据、计算力和算法，基础支持层中的数据；

2)技术层：包括机器视觉、计算机视觉、语音识别、机器翻译、自然语言处理类方法和人机交互；

3)应用层：对接基于端口匹配的智能检测装置进行识别标记；

4)服务层：包括视频服务和视频分析。

2.根据权利要求1所述的一种基于计算机视觉的安全反违章视频自动分拣系统模型，其特征在于所述计算机视觉系统可以分为：图像采集、处理、运动控制部分。

3.根据权利要求2所述的一种基于计算机视觉的安全反违章视频自动分拣系统模型，其特征在于所述计算机视觉系统的工作过程包括如下步骤：

1)利用位置检测器检测到物体的移动，当物体移动到相机系统的视觉中心，检测器马上向图像采集部分发送信号即触发脉冲；

2)根据预定程序和延迟，图像获取部分向照相机和照明系统发出脉冲，拍摄机器和光源都启动；

3)利用相机重新开始新的扫描，照相机在开始新的帧扫描之前打开曝光机制，并且可以预先设置曝光时间；同时打开照明光源，照明时间应该与照相机的曝光时间相匹配。

4.根据权利要求1所述的一种基于计算机视觉的安全反违章视频自动分拣系统模型，其特征在于机器视觉的应用具体如下：

1)视觉检测，包括高精度定量检测和不用量器的定性或半定量检测；

2)机器人视觉：用于指引机器人在大范围内的操作和行动，从料斗送出的杂乱工件堆中拣取工件并按一定的方位放在传输带或其他设备上；

3)缺陷类检测：批量化应用及其视觉辅助工业生产的识别缺陷。

5.根据权利要求1所述的一种基于计算机视觉的安全反违章视频自动分拣系统模型，其特征在于所述应用层包括原始视频管理、视频分析管理和视频分析结果管理。

Images