CN114898273A - 一种视频监控异常检测方法、装置及设备 - Google Patents

一种视频监控异常检测方法、装置及设备 Download PDF

Info

Publication number
CN114898273A
CN114898273A CN202210612915.2A CN202210612915A CN114898273A CN 114898273 A CN114898273 A CN 114898273A CN 202210612915 A CN202210612915 A CN 202210612915A CN 114898273 A CN114898273 A CN 114898273A
Authority
CN
China
Prior art keywords
flame
image data
video image
video
attention mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210612915.2A
Other languages
English (en)
Inventor
杜飞平
谭永华
马猛
陈雪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Aerospace Propulsion Institute
Original Assignee
Xian Aerospace Propulsion Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Aerospace Propulsion Institute filed Critical Xian Aerospace Propulsion Institute
Priority to CN202210612915.2A priority Critical patent/CN114898273A/zh
Publication of CN114898273A publication Critical patent/CN114898273A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明公开一种视频监控异常检测方法、装置及设备，本发明涉及模型识别领域，用于解决现有技术中对于视频监控异常检测效率低以及检测进度低的问题。包括：获取液体火箭发动机地面热试车过程中的视频图像数据；将视频图像数据输入训练完成的YOLOv5模型中，识别所述视频图像数据中是否包含火焰图像；当视频图像数据中包含火焰图像时，确定火焰的位置信息；基于位置信息，生成火焰故障报警信息。通过加入一个改进的CA注意力机制来改进YOLOv5体系结构，且采用LeakyRlue函数作为激活函数，检测视频中特定帧中的火焰目标，具有更快的收敛速度，可以得到置信度更高的检测结果，液体火箭发动机地面热试车中，能够在出现火灾故障时发出瞬时报警信号。

Description

一种视频监控异常检测方法、装置及设备
技术领域
本发明涉及模型识别技术领域，尤其涉及一种视频监控异常检测方法、装置及设备。
背景技术
液体火箭发动机(LRE)是液体火箭的动力源，是火箭系统的核心部件。一般来说，LRE的工作条件很苛刻，即工作温度高、压力大、转速高、工作要求不稳定。由于其极端工作条件，可能会发生各种故障，例如火焰、泄漏和传感器脱落。尽管红线切断系统以及许多其他方法已经应用于LRE，并在监控LRE的运行过程时取得了良好的性能，但不可避免的故障仍可能发生且无法检测到。目前处理这些故障的方法依赖于手动操作，这意味着需要专门的人员负责逐帧检查视频记录，并判断是否出现故障以及故障位置。但是，在实际实现过程中，人工识别故障模型通常需要中断运行。并且，识别效率以及准确率低下。因此，采用对LRE进行适当的视频监控，将节省大量资源。深度学习的繁荣使之成为可能。近些年来，深度学习在目标检测和计算机视觉中的应用已经有许多。Ren等人提出了更快的区域卷积神经网络(R-CNN)，它将R-CNN和区域建议网络相结合，通过降低计算成本，在检测精度和速度方面取得了巨大进步。Vaswani等人提出了注意机制的概念。他们认为在探测对象中，目标所在的位置应该是明显的部分，Chen等人创建了MEGA算法，该算法使用一个视频中关键帧周围的时空随机采样帧来帮助检测关键帧中的目标。在基于深度学习的目标检测领域，经过如此多的努力，已经足以满足所需的要求。
You only look once(YOLO)于2016年由约瑟夫·雷德蒙首次提出[10]。YOLO运用了将目标检测视为回归问题的思想。它基于一个独立的端到端网络，将整个图像逐步网格化，并输出中心坐标、包围框高度和宽度以及中心同时落在一个网格上的某个目标的置信度，从而完成目标的定位和分类问题。这样，定位和分类一步到位，检测速度大大提高，但检测精度降低。
因此，亟需提供一种更为可靠的视频监控异常检测方案，。
发明内容
本发明的目的在于提供一种视频监控异常检测方法、装置及设备，用于解决现有技术中对于视频监控异常检测效率低以及检测进度低的问题。
为了实现上述目的，本发明提供如下技术方案：
第一方面，本发明提供一种视频监控异常检测方法，所述方法包括：
获取液体火箭发动机地面热试车过程中的视频图像数据；
将所述视频图像数据输入训练完成的YOLOv5模型中，识别所述视频图像数据中是否包含火焰图像，得到识别结果；训练完成的YOLOv5模型使用CA注意力机制，且所述CA注意力机制使用的激活函数为LeakyRlue函数；
当所述识别结果表示所述视频图像数据中包含火焰图像时，确定火焰的位置信息；所述火焰图像中的火焰像素之间存在空间维度上的联系；
基于所述位置信息，生成火焰故障报警信息。
第二方面，本发明提供一种视频监控异常检测装置，包括：
视频图像数据获取模块，用于获取液体火箭发动机地面热试车过程中的视频图像数据；
识别模块，用于将所述视频图像数据输入训练完成的YOLOv5模型中，识别所述视频图像数据中是否包含火焰图像，得到识别结果；训练完成的YOLOv5模型使用CA注意力机制，且所述CA注意力机制使用的激活函数为LeakyRlue函数；
火焰位置信息确定模块，用于当所述识别结果表示所述视频图像数据中包含火焰图像时，确定火焰的位置信息；所述火焰图像中的火焰像素之间存在空间维度上的联系；
火焰故障报警信息生成模块，用于基于所述位置信息，生成火焰故障报警信息。
第三方面，本发明提供一种视频监控异常检测设备，其特征在于，包括：
通信单元/通信接口，用于获取液体火箭发动机地面热试车过程中的视频图像数据；
处理单元/处理器，用于将所述视频图像数据输入训练完成的YOLOv5模型中，识别所述视频图像数据中是否包含火焰图像，得到识别结果；训练完成的YOLOv5模型使用CA注意力机制，且所述CA注意力机制使用的激活函数为LeakyRlue函数；
当所述识别结果表示所述视频图像数据中包含火焰图像时，确定火焰的位置信息；所述火焰图像中的火焰像素之间存在空间维度上的联系；
基于所述位置信息，生成火焰故障报警信息。
本发明还可以提供一种计算机存储介质，所述计算机存储介质中存储有指令，当所述指令被运行时，实现上述的视频监控异常检测方法。
与现有技术相比，本发明提供的视频监控异常检测方案。通过获取液体火箭发动机地面热试车过程中的视频图像数据；将所述视频图像数据输入训练完成的YOLOv5模型中，识别所述视频图像数据中是否包含火焰图像，得到识别结果；训练完成的YOLOv5模型使用CA注意力机制，且所述CA注意力机制使用的激活函数为LeakyRlue函数；当所述识别结果表示所述视频图像数据中包含火焰图像时，确定火焰的位置信息；所述火焰图像中的火焰像素之间存在空间维度上的联系；基于所述位置信息，生成火焰故障报警信息。通过加入一个改进的CA注意力机制来改进YOLOv5体系结构，且采用LeakyRlue函数作为激活函数，检测视频中特定帧中的火焰目标，具有更快的收敛速度，整体方案在实际数据集上获得了更高的检测精度和更快的检测速度，可以得到置信度更高的检测结果，液体火箭发动机地面热试车中，能够在出现火灾故障时发出瞬时报警信号。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明提供的一种视频监控异常检测方法的流程示意图；
图2为本方案提供的视频监控异常检测方法中训练完成的YOLOv5模型的示意图；
图3为原始YOLOv5的检测结果示意图；
图4为YOLOv5和原始CA模块结合检测结果示意图；
图5为本方案提供的视频监控异常检测结果示意图；
图6为本发明提供的视频监控异常检测装置的结构示意图；
图7为一本发明提供的视频监控异常检测设备结构示意图。
具体实施方式
为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一阈值和第二阈值仅仅是为了区分不同的阈值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是，本发明中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b的结合，a和c的结合，b和c的结合，或a、b和c的结合，其中a，b，c可以是单个，也可以是多个。
在液体火箭发动机地面热试车过程中，可能会出现各种故障。虽然现有的红线切断系统在LRE故障监测中发挥了重要作用，但仍不能保证所有故障都能及时地报警。因此，多种监测方法仍然可以作为辅助手段发挥作用。对于肉眼可以识别的明显故障模式，如火焰、泄漏和传感器脱落，也可以通过配置摄像头的视频检测算法进行检测。因此，如果同时使用视频监控摄像机和红线切断系统，可以得到更好的故障诊断结果。然而，目前的视频检测仍然主要依靠手动操作。近年来，基于深度学习的目标检测方法取得了很大的进展，使自动检测算法取代人工检测成为可能。CA注意机制提出被用于自然语言处理领域。后来，也应用于计算机视觉领域。然后创建了各种注意模块，例如挤压和激发网络(SE)，卷积块注意模块(CBAM)，协调注意(CA)。无论采用何种原理，所有模块都可以在不牺牲检测速度的情况下提高检测精度，这正是YOLO所缺乏的，可以在感兴趣的目标区域分配更高的权重。
本方案旨在区分视频中是否存在火焰，通过加入一个改进的CA块来改进YOLO体系结构，与现有技术相比，在实际数据集上获得了更高的检测精度和更快的检测速度。
接下来，结合附图对本说明书实施例提供的方案进行说明：
图1为本发明提供的一种视频监控异常检测方法的流程示意图。从程序角度而言，流程的执行主体可以为视频监控安全管理平台对应的服务器，安全管理平台可以指的是对液体火箭发动机的安全性能进行管控的平台，该平台可以运行在固定终端或移动终端上。
如图1所示，该流程可以包括以下步骤：
步骤110：获取液体火箭发动机地面热试车过程中的视频图像数据。
在方案的具体实现过程中，液体火箭发动机地面热试车过程中，会进行监控，从而通过摄像头获取液体火箭发动机地面热试车过程中的视频图像数据，视频中为连续多帧图像数据。
步骤120：将所述视频图像数据输入训练完成的YOLOv5模型中，识别所述视频图像数据中是否包含火焰图像，得到识别结果；训练完成的YOLOv5模型使用CA注意力机制，且所述CA注意力机制使用的激活函数为LeakyRlue函数。
YOLOv5模型输入端、Backbone、Neck、Prediction四个部分，其中，Backbone：在不同图像细粒度上聚合并形成图像特征的卷积神经网络。Neck：一系列混合和组合图像特征的网络层，并将图像特征传递到预测层。(一般是FPN或者PANET)。Head：对图像特征进行预测，生成边界框和并预测类别。
以YOLOv5s结构为例，第一个Focus结构中，最后卷积操作时，卷积核的数量是32个，因此经过Focus结构，特征图的大小变成304*304*32。当然卷积核的数量越多，特征图的厚度，即宽度越宽，网络提取特征的学习能力也越强。对于YOLOv5，无论是V5s，V5m，V5l还是V5x其Backbone，Neck和Head一致。唯一的区别在与模型的深度和宽度设置，只需要修改这两个参数就可以调整模型的网络结构。
CA(Coordinate attention)注意力机制，CA为了获取图像宽度和高度上的注意力并对精确位置信息进行编码，先将输入特征图分为宽度和高度两个方向分别进行全局平均池化，分别获得在宽度和高度两个方向的特征图。与通过2维全局池化将特征张量转换为单个特征向量的通道注意力不同，coordinate注意力将通道注意力分解为两个1维特征编码过程，分别沿2个空间方向聚合特征。这样，可以沿一个空间方向捕获远程依赖关系，同时可以沿另一空间方向保留精确的位置信息。然后将生成的特征图分别编码为一对方向感知和位置敏感的attention map，可以将其互补地应用于输入特征图，以增强关注对象的表示。
激活函数可以分成两类：饱和激活函数和非饱和激活函数。其中，ReLU及其变体属于非饱和激活函数，Leaky Relu与Relu的不同之处在于负轴保留了非常小的常数leak，使得输入信息小于0时，信息没有完全丢掉，进行了相应的保留，即ReLU在取值小于零部分没有梯度，LeakyReLU在取值小于0部分给一个很小的梯度。
改进的YOLOv5模型中，不仅加入了CA注意力机制，并且CA注意力机制使用的激活函数均为LeakyRlue函数，添加残差层进行全局信息的补偿，能够提高视频监控异常识别的正确率以及检测效率。
步骤130：当所述识别结果表示所述视频图像数据中包含火焰图像时，确定火焰的位置信息；所述火焰图像中的火焰像素之间存在空间维度上的联系。
在识别到视频中存在火焰时，可以进一步定位火焰的位置信息。由于在实际应用中，火焰的形状不固定，一直在变化，因此，不能单独基于点进行检测，而需要考虑图像中的全局信息。
步骤140：基于所述位置信息，生成火焰故障报警信息。
火焰故障报警信息可以对液体火箭发动机地面热试车过程中发生的故障进行报警提示，在提示时，除了可以提示存在火焰故障之外，还可以提示具体的火焰位置信息，以提示相关人员及时对故障进行处理。
图1中的方法，通过获取液体火箭发动机地面热试车过程中的视频图像数据；将所述视频图像数据输入训练完成的YOLOv5模型中，识别所述视频图像数据中是否包含火焰图像，得到识别结果；训练完成的YOLOv5模型使用CA注意力机制，且所述CA注意力机制使用的激活函数为LeakyRlue函数；当所述识别结果表示所述视频图像数据中包含火焰图像时，确定火焰的位置信息；所述火焰图像中的火焰像素之间存在空间维度上的联系；基于所述位置信息，生成火焰故障报警信息。通过加入一个改进的CA注意力机制来改进YOLOv5体系结构，且采用LeakyRlue函数作为激活函数，检测视频中特定帧中的火焰目标，具有更快的收敛速度，整体方案在实际数据集上获得了更高的检测精度和更快的检测速度，可以得到置信度更高的检测结果，液体火箭发动机地面热试车中，能够在出现火灾故障时发出瞬时报警信号。
基于图1的方法，本说明书实施例还提供了该方法的一些具体实施方式，下面进行说明。
可选的，所述将所述视频图像数据输入训练完成的YOLOv5模型中，识别所述视频图像数据中是否包含火焰图像，得到识别结果，具体可以包括：
基于所述CA注意力机制将所述视频图像数据进行预处理，得到特征向量；
将所述特征向量拆分为宽度方向以及高度方向两个维度的一维特征向量。
可选的，所述YOLOv5模型至少可以包括：输入层、残差层、卷积层、全连接层以及输出层；其中，所述输入层接收所述视频图像数据；所述卷积层用于对所述视频图像数据进行特征向量的提取；所述卷积层的卷积核大小为7；
所述全连接层中进行权重更新，得到液体火箭发动机地面热试车过程中的视频对应的火焰特征向量；
所述输出层用于根据所述火焰特征向量输出火焰检测结果。
所述残差层中采用平均池化以及全局最大池化，补偿所述CA注意力机制的全局空间信息。所述残差层在进行平均池化时，对宽度方向的一维特征向量以及高度方向上的一维特征向量进行池化。
在实际应用场景中，本方案中的YOLOv5模型在应用之前，需要先进行训练，训练过程可以基于以下步骤实现：
获取训练样本集合以及验证样本集合；所述训练样本集合以及验证样本集合中的每一张图像中均至少包括一个火焰目标；
将所述训练样本集合输入初始YOLOv5模型中，得到初步训练结果；
将所述初步训练结果与所述验证样本集合进行比对，得到比对结果；
基于所述比对结果对所述初始YOLOv5模型中的训练参数进行调整，直至所述比对结果满足预设要求为止，得到训练完成的YOLOv5模型。
可选的，所述基于所述位置信息，生成火焰故障报警信息，具体可以包括：
基于所述位置信息，确定火焰位置；基于所述火焰位置以及火焰大小，确定故障等级；基于所述故障等级，生成火焰故障报警信息，所述火焰故障报警信息中至少包含故障等级以及火焰位置信息。具体地，报警信息可以是语音信息、文字信息、图像信息中的一种或多种，即可以根据实际应用场景选择不同的信息提示方式。本方案对此不作具体限定。
现有的CA模型侧重于选择一个输入通道R、G或B，特别是在检测过程中贡献最大的通道，称为通道注意。但是通道注意力只关注通道维度，而忽略了空间维度中包含的信息。为了解决这个问题，如公式(1)、(2)和(3)所示，全通道注意力被分解为沿宽度和高度维度的两个一维特征编码过程，分别沿两个空间方向聚集特征。
Figure BDA0003672497760000091
Figure BDA0003672497760000092
Figure BDA0003672497760000093
其中，Z表示某一层卷积的特征提取结果；ZH表示H方向上的特征提取结果分量；ZW表示W方向上的特征提取结果分量；i表示H方向上的特征；j表示W方向上的特征；h表示H方向上一维分量中，所以特征点的H维特征值都是h；w表示W方向上一维分量中，所以特征点的W维特征值都是w；x(·)表示卷积特征提取结果。
与现有的单纯关注通道注意的注意块相比，CA模型在检测精度上取得了更好的效果，并且不会造成更大的计算量，从而降低检测速度。然而，按方向聚合的技巧忽略了二维的关系信息。对于某一特定的目标类型，尤其是那些具有明显共同相似性的目标类型，比如研究中的火焰，图片中的所有像素之间必然存在内在联系。通常，火焰中的所有像素都是红色或类似于红色。因此，它们在广域空间维度上得到了联系。为了补偿原始CA块的全局空间信息缺失，本方案将特征拆分为两个一维向量之前，添加了全局平均池层和全局最大化池。此外，采用了一个大卷积核卷积层进行采样，其核大小为7。
另一方面，现有的CA块中使用的激活函数是Sigmod函数。Sigmod在增加非线性方面表现良好，但针对在视频的特定帧中检测火灾的存在，LeakyRlue函数具有更快的收敛速度，具有一定的线性。因此，CA注意力机制中采用LeakyRlue函数。
图2为本方案提供的视频监控异常检测方法中训练完成的YOLOv5模型的示意图。如图2所示，输入的数据会经过残差层进行处理，模型中添加了残差层，对全局信息进行处理，卷积层为大卷积核卷积层，池化时采用平均池化以及全局最大池化。在平均池化时，对宽度方向以及高度方向两个维度的一维特征向量均进行处理，LeakyRlue函数替换CA注意力机制中的Sigmoid函数。
为了提高计算速度，将块连接到YOLOv5主干上，紧挨着焦点层。可以将注意块作为特征图的预处理步骤。为了进行火焰探测，建立了一个数据集，其训练集包含1089张图片，验证集包含287张图片。数据集中的所有图片都至少包含一个火焰目标，并且所有目标都有良好的标签。形成了一个测试集，由120张关于火焰的图片组成，用于推理。为了验证LeakyRule激活功能的效果，将CA块中的所有Sigmod更改为LeakyRule，而不添加额外的池化层，该层在表1中被符号化为LeakyRule CA模块。
对原始的YOLOv5、YOLOv5与原始CA模块、LeakyRule CA模块和本方案改进的CA模块进行训练和干扰，比较几种方法的检测精度和检测速度。结果如表1所示。
表1:不同方法检测结果的比较
Figure BDA0003672497760000101
从表1中的结果可以看出：本方案确实比原来的YOLOv5提高了约3％的检测精度。然而，检测结果实际上比精度值显示的还要精确，将检测速度提高60％，在原始CA块的基础上提高约16％。
对原始的YOLOv5、YOLOv5与原始CA模块和本方案改进的CA模块的检测效果还可以结合图3-5进行说明，图3为原始YOLOv5的检测结果示意图；图4为YOLOv5和原始CA模块结合检测结果示意图；图5为本方案提供的视频监控异常检测结果示意图。如图3-5所示，对于相同的图片，本方案应用的方案出现了更高的置信值，并且具有更好的检测表现，极大地提高了检测速度。本方案中，特征映射将更容易执行卷积步骤，替换LeakyRule函数将导致更快的收敛速度。
本方案在小目标识别中的性能更好，并且可以给出更高置信度的检测结果。在液体火箭发动机地面热试车中的实验表明，改进后的CA块算法能够在出现火灾故障时发出瞬时报警信号。
基于同样的思路，本说明书实施例还提供了一种视频监控异常检测装置。图6为本发明提供的视频监控异常检测装置的结构示意图。如图6所示，可以包括：
视频图像数据获取模块610，用于获取液体火箭发动机地面热试车过程中的视频图像数据；
识别模块620，用于将所述视频图像数据输入训练完成的YOLOv5模型中，识别所述视频图像数据中是否包含火焰图像，得到识别结果；训练完成的YOLOv5模型使用CA注意力机制，且所述CA注意力机制使用的激活函数为LeakyRlue函数；
火焰位置信息确定模块630，用于当所述识别结果表示所述视频图像数据中包含火焰图像时，确定火焰的位置信息；所述火焰图像中的火焰像素之间存在空间维度上的联系；
火焰故障报警信息生成模块640，用于基于所述位置信息，生成火焰故障报警信息。
基于图6中的装置，还有一些具体实现模块，接下来进行说明：
可选的，所述识别模块620，具体可以包括：
预处理单元，用于基于所述CA注意力机制将所述视频图像数据进行预处理，得到特征向量；
将所述特征向量拆分为宽度方向以及高度方向两个维度的一维特征向量。
可选的，所述YOLOv5模型至少包括：
输入层、残差层、卷积层、全连接层以及输出层；
其中，所述输入层接收所述视频图像数据；
所述卷积层用于对所述视频图像数据进行特征向量的提取；所述卷积层的卷积核大小为7；
所述全连接层中进行权重更新，得到液体火箭发动机地面热试车过程中的视频对应的火焰特征向量；
所述输出层用于根据所述火焰特征向量输出火焰检测结果。
可选的，所述装置，还可以包括：
全局信息补偿模块，用于所述残差层中采用平均池化以及全局最大池化，补偿所述CA注意力机制的全局空间信息。
可选的，所述残差层在进行平均池化时，对宽度方向的一维特征向量以及高度方向上的一维特征向量进行池化。
可选的，所述装置，还可以包括：
样本获取模块，用于获取训练样本集合以及验证样本集合；所述训练样本集合以及验证样本集合中的每一张图像中均至少包括一个火焰目标；
初步训练模块，用于将所述训练样本集合输入初始YOLOv5模型中，得到初步训练结果；
结果比对模块，用于将所述初步训练结果与所述验证样本集合进行比对，得到比对结果；
参数调整模块，用于基于所述比对结果对所述初始YOLOv5模型中的训练参数进行调整，直至所述比对结果满足预设要求为止，得到训练完成的YOLOv5模型。
基于同样的思路，本说明书实施例还提供了一种视频监控异常检测设备。图7为一本发明提供的视频监控异常检测设备结构示意图。可以包括：
通信单元/通信接口，用于获取液体火箭发动机地面热试车过程中的视频图像数据；
处理单元/处理器，用于将所述视频图像数据输入训练完成的YOLOv5模型中，识别所述视频图像数据中是否包含火焰图像，得到识别结果；训练完成的YOLOv5模型使用CA注意力机制，且所述CA注意力机制使用的激活函数为LeakyRlue函数；
当所述识别结果表示所述视频图像数据中包含火焰图像时，确定火焰的位置信息；所述火焰图像中的火焰像素之间存在空间维度上的联系；
基于所述位置信息，生成火焰故障报警信息。
如图7所示，上述终端设备还可以包括通信线路。通信线路可包括一通路，在上述组件之间传送信息。
可选的，如图7所示，该终端设备还可以包括存储器。存储器用于存储执行本发明方案的计算机执行指令，并由处理器来控制执行。处理器用于执行存储器中存储的计算机执行指令，从而实现本发明实施例提供的方法。
如图7所示，存储器可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路与处理器相连接。存储器也可以和处理器集成在一起。
可选的，本发明实施例中的计算机执行指令也可以称之为应用程序代码，本发明实施例对此不作具体限定。
在具体实现中，作为一种实施例，如图7所示，处理器可以包括一个或多个CPU，如图7中的CPU0和CPU1。
在具体实现中，作为一种实施例，如图7所示，终端设备可以包括多个处理器，如图7中的处理器。这些处理器中的每一个可以是一个单核处理器，也可以是一个多核处理器。
基于同样的思路，本说明书实施例还提供了上述实施例对应的计算机存储介质，计算机存储介质中存储有指令，当所述指令被运行时，实现：
获取液体火箭发动机地面热试车过程中的视频图像数据；
将所述视频图像数据输入训练完成的YOLOv5模型中，识别所述视频图像数据中是否包含火焰图像，得到识别结果；训练完成的YOLOv5模型使用CA注意力机制，且所述CA注意力机制使用的激活函数为LeakyRlue函数；
当所述识别结果表示所述视频图像数据中包含火焰图像时，确定火焰的位置信息；所述火焰图像中的火焰像素之间存在空间维度上的联系；
基于所述位置信息，生成火焰故障报警信息。
上述主要从各个模块之间交互的角度对本发明实施例提供的方案进行了介绍。可以理解的是，各个模块为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件单元。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本发明实施例可以根据上述方法示例进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
本说明书中的处理器还可以具有存储器的功能。存储器用于存储执行本发明方案的计算机执行指令，并由处理器来控制执行。处理器用于执行存储器中存储的计算机执行指令，从而实现本发明实施例提供的方法。
存储器可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路与处理器相连接。存储器也可以和处理器集成在一起。
可选的，本发明实施例中的计算机执行指令也可以称之为应用程序代码，本发明实施例对此不作具体限定。
上述本发明实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processing，DSP)、ASIC、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
一种可能的实现方式中，提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令被运行时，用于实现上述实施例中的逻辑运算控制方法和/或逻辑运算读取方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、终端、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，DVD)；还可以是半导体介质，例如，固态硬盘(solid state drive，SSD)。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种视频监控异常检测方法，其特征在于，所述方法包括：
获取液体火箭发动机地面热试车过程中的视频图像数据；
将所述视频图像数据输入训练完成的YOLOv5模型中，识别所述视频图像数据中是否包含火焰图像，得到识别结果；训练完成的YOLOv5模型使用CA注意力机制，且所述CA注意力机制使用的激活函数为LeakyRlue函数；
当所述识别结果表示所述视频图像数据中包含火焰图像时，确定火焰的位置信息；所述火焰图像中的火焰像素之间存在空间维度上的联系；
基于所述位置信息，生成火焰故障报警信息。
2.根据权利要求1所述的方法，其特征在于，所述将所述视频图像数据输入训练完成的YOLOv5模型中，识别所述视频图像数据中是否包含火焰图像，得到识别结果，具体包括：
基于所述CA注意力机制将所述视频图像数据进行预处理，得到特征向量；
将所述特征向量拆分为宽度方向以及高度方向两个维度的一维特征向量。
3.根据权利要求2所述的方法，其特征在于，所述YOLOv5模型至少包括：
输入层、残差层、卷积层、全连接层以及输出层；
其中，所述输入层接收所述视频图像数据；
所述卷积层用于对所述视频图像数据进行特征向量的提取；所述卷积层的卷积核大小为7；
所述全连接层中进行权重更新，得到液体火箭发动机地面热试车过程中的视频对应的火焰特征向量；
所述输出层用于根据所述火焰特征向量输出火焰检测结果。
4.根据权利要求3所述的方法，其特征在于，所述将所述特征向量拆分为宽度方向以及高度方向两个维度的一维特征向量之前，还包括：
所述残差层中采用平均池化以及全局最大池化，补偿所述CA注意力机制的全局空间信息。
5.根据权利要求4所述的方法，其特征在于，所述残差层在进行平均池化时，对宽度方向的一维特征向量以及高度方向上的一维特征向量进行池化。
6.根据权利要求1所述的方法，其特征在于，所述将所述视频图像数据输入训练完成的YOLOv5模型中之前，还包括：
获取训练样本集合以及验证样本集合；所述训练样本集合以及所述验证样本集合中的每一张图像中均至少包括一个火焰目标；
将所述训练样本集合输入初始YOLOv5模型中，得到初步训练结果；
将所述初步训练结果与所述验证样本集合进行比对，得到比对结果；
基于所述比对结果对所述初始YOLOv5模型中的训练参数进行调整，直至所述比对结果满足预设要求为止，得到训练完成的YOLOv5模型。
7.根据权利要求1所述的方法，其特征在于，所述基于所述位置信息，生成火焰故障报警信息，具体包括：
基于所述位置信息，确定火焰位置；
基于所述火焰位置以及火焰大小，确定故障等级；
基于所述故障等级，生成火焰故障报警信息，所述火焰故障报警信息中至少包含故障等级以及火焰位置信息。
8.一种视频监控异常检测装置，其特征在于，包括：
视频图像数据获取模块，用于获取液体火箭发动机地面热试车过程中的视频图像数据；
识别模块，用于将所述视频图像数据输入训练完成的YOLOv5模型中，识别所述视频图像数据中是否包含火焰图像，得到识别结果；训练完成的YOLOv5模型使用CA注意力机制，且所述CA注意力机制使用的激活函数为LeakyRlue函数；
火焰位置信息确定模块，用于当所述识别结果表示所述视频图像数据中包含火焰图像时，确定火焰的位置信息；所述火焰图像中的火焰像素之间存在空间维度上的联系；
火焰故障报警信息生成模块，用于基于所述位置信息，生成火焰故障报警信息。
9.一种视频监控异常检测设备，其特征在于，包括：
通信单元/通信接口，用于获取液体火箭发动机地面热试车过程中的视频图像数据；
处理单元/处理器，用于将所述视频图像数据输入训练完成的YOLOv5模型中，识别所述视频图像数据中是否包含火焰图像，得到识别结果；训练完成的YOLOv5模型使用CA注意力机制，且所述CA注意力机制使用的激活函数为LeakyRlue函数；
当所述识别结果表示所述视频图像数据中包含火焰图像时，确定火焰的位置信息；所述火焰图像中的火焰像素之间存在空间维度上的联系；
基于所述位置信息，生成火焰故障报警信息。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有指令，当所述指令被运行时，实现权利要求1～7任一项所述的视频监控异常检测方法。
CN202210612915.2A 2022-05-31 2022-05-31 一种视频监控异常检测方法、装置及设备 Pending CN114898273A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210612915.2A CN114898273A (zh) 2022-05-31 2022-05-31 一种视频监控异常检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210612915.2A CN114898273A (zh) 2022-05-31 2022-05-31 一种视频监控异常检测方法、装置及设备

Publications (1)

Publication Number Publication Date
CN114898273A true CN114898273A (zh) 2022-08-12

Family

ID=82726196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210612915.2A Pending CN114898273A (zh) 2022-05-31 2022-05-31 一种视频监控异常检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114898273A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721420A (zh) * 2023-08-10 2023-09-08 南昌工程学院 一种电气设备紫外图像的语义分割模型构建方法及系统
CN118015552A (zh) * 2024-04-09 2024-05-10 上海勘测设计研究院有限公司 基于信息融合的站内设备工作状态识别方法、系统及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721420A (zh) * 2023-08-10 2023-09-08 南昌工程学院 一种电气设备紫外图像的语义分割模型构建方法及系统
CN116721420B (zh) * 2023-08-10 2023-10-20 南昌工程学院 一种电气设备紫外图像的语义分割模型构建方法及系统
CN118015552A (zh) * 2024-04-09 2024-05-10 上海勘测设计研究院有限公司 基于信息融合的站内设备工作状态识别方法、系统及装置

Similar Documents

Publication Publication Date Title
CN110853033B (zh) 基于帧间相似度的视频检测方法和装置
EP3333768A1 (en) Method and apparatus for detecting target
CN114898273A (zh) 一种视频监控异常检测方法、装置及设备
CN109815797B (zh) 活体检测方法和装置
CN110913243A (zh) 一种视频审核的方法、装置和设备
CN111292377B (zh) 目标检测方法、装置、计算机设备和存储介质
CN112417955B (zh) 巡检视频流处理方法及装置
CN111815576B (zh) 金属部件腐蚀状况检测方法、装置、设备和存储介质
CN116740728B (zh) 一种用于晶圆读码器动态获取方法和系统
CN116363037B (zh) 一种多模态图像融合方法、装置及设备
CN115909221A (zh) 图像识别方法、系统、计算机设备及可读存储介质
CN115861210A (zh) 一种基于孪生网络的变电站设备异常检测方法和系统
Liu et al. Exploring Simple and Transferable Recognition-Aware Image Processing
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质
CN116805387B (zh) 基于知识蒸馏的模型训练方法、质检方法和相关设备
CN111803956B (zh) 游戏外挂行为的确定方法、装置、电子设备及存储介质
CN112966762A (zh) 一种野生动物检测方法、装置、存储介质及电子设备
CN109033797B (zh) 一种权限设置方法及装置
CN116152542A (zh) 图像分类模型的训练方法、装置、设备及存储介质
CN115631457A (zh) 建筑施工监控视频中的人机协作异常检测方法及系统
CN114842411A (zh) 一种基于互补时空信息建模的群体行为识别方法
CN117354495B (zh) 基于深度学习的视频监控质量诊断方法及系统
CN110909914A (zh) 诉讼成功率预测方法、装置、计算机设备和存储介质
WO2022254597A1 (en) Model training apparatus, model training method, and computer readable medium
CN113676465B (zh) 一种面向工业企业网络的图像过滤方法、存储器和处理器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination