CN117218128A - 一种整合时序信息的跑冒滴漏目标检测方法及系统 - Google Patents
一种整合时序信息的跑冒滴漏目标检测方法及系统 Download PDFInfo
- Publication number
- CN117218128A CN117218128A CN202311484463.5A CN202311484463A CN117218128A CN 117218128 A CN117218128 A CN 117218128A CN 202311484463 A CN202311484463 A CN 202311484463A CN 117218128 A CN117218128 A CN 117218128A
- Authority
- CN
- China
- Prior art keywords
- frame
- sample
- image
- target
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000001514 detection method Methods 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims description 60
- 230000006870 function Effects 0.000 claims description 19
- 238000002372 labelling Methods 0.000 claims description 10
- 238000000137 annealing Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000000740 bleeding effect Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 21
- 230000005856 abnormality Effects 0.000 description 15
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000001052 transient effect Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 101100379081 Emericella variicolor andC gene Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000579895 Chlorostilbon Species 0.000 description 1
- 206010013642 Drooling Diseases 0.000 description 1
- 241000935974 Paralichthys dentatus Species 0.000 description 1
- 208000008630 Sialorrhea Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012824 chemical production Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种整合时序信息的跑冒滴漏目标检测方法及系统，涉及目标检测技术领域。其中，所述方法包括：获取针对目标位置采集得到的多帧图像，并基于所述多帧图像对应的时序信息进行排列，得到目标图像队列；将所述目标图像队列中的所述多帧图像在通道维度上进行合并，得到一个多维张量；对所述多维张量进行卷积处理，得到第一输出结果，其中，所述第一输出结果用于表征所述多帧图像中相邻图像帧之间的帧差；基于所述第一输出结果计算所述多帧图像对应的帧差累计值；将所述帧差累计值作为输入数据输入训练好的目标检测模型，得到整合时序信息的第二输出结果。通过所述方法，可以提高跑冒滴漏目标检测的准确性和可靠性。
Description
技术领域
本申请涉及目标检测技术领域，具体而言，涉及一种整合时序信息的跑冒滴漏目标检测方法及系统。
背景技术
在石化工厂生产过程中，设备和管道系统的跑、冒、滴、漏现象可能会导致有害化学物质的泄漏，进而对人员、设备和环境造成潜在危害。因此，定期检查和维护设备，确保设备接口、阀门和管道的完整性，是预防跑冒滴漏的关键。
然而，常规人工巡检不仅需要花费大量的人力，而且无法在第一时间发现问题。基于此，有必要研究一种跑冒滴漏目标检测方法及系统，以实时监测设备和管道系统的完整性，及时发现跑冒滴漏现象。
发明内容
本说明书实施例的一个方面提供一种整合时序信息的跑冒滴漏目标检测方法，该方法包括：
获取针对目标位置采集得到的多帧图像，并基于所述多帧图像对应的时序信息进行排列，得到目标图像队列；
将所述目标图像队列中的所述多帧图像在通道维度上进行合并，得到一个多维张量；
对所述多维张量进行卷积处理，得到第一输出结果，其中，所述第一输出结果用于表征所述多帧图像中相邻图像帧之间的帧差；
基于所述第一输出结果计算所述多帧图像对应的帧差累计值；
将所述帧差累计值作为输入数据输入训练好的目标检测模型，得到整合时序信息的第二输出结果。
在一些实施例中，所述训练好的目标检测模型基于如下方式训练得到：
获取样本视频，并从所述样本视频中获取k+1个连续图像帧；
确定所述k+1个连续图像帧中相邻图像帧之间的帧差的绝对值，得到k个帧差绝对值；
对所述k个帧差绝对值进行求和，得到所述样本视频对应的样本帧差累计值；
将所述样本帧差累计值作为模型输入样本，构建样本数据集；
对所述样本数据集中的每一个模型输入样本进行标注，得到每一个所述模型输入样本对应的标签；
将进行标注后的所述样本数据集作为输入数据输入初始目标检测模型，并基于所述样本数据集对所述初始目标检测模型的参数进行迭代更新，直至损失函数或训练轮次达到预设阈值时结束训练，得到所述训练好的目标检测模型。
在一些实施例中，所述标签对应的标注对象为所述模型输入样本所对应的帧差累计图像中的跑冒滴漏目标；每一个所述模型输入样本对应的标签包括<class id> 、<x_center>、 <y_center> 、<width> 以及<height>，其中，<class id> 为目标对应的类别，<x_center> 和 <y_center>为目标所对应的边界框的中心点坐标，<width> 和 <height>表示所述边界框的宽度和高度。
在一些实施例中，所述初始目标检测模型包括YOLOv5；所述初始目标检测模型的输出数据包括针对所述边界框的预测结果、存在跑冒滴漏目标的概率和类别；所述损失函数包括针对所述边界框的损失、存在跑冒滴漏目标的概率损失和类别损失。
在一些实施例中，所述基于所述样本数据集对所述初始目标检测模型的参数进行迭代更新，包括：
以Adam为优化算法，估计梯度的一阶矩和二阶矩的移动平均值；
基于所述一阶矩和二阶矩的移动平均值以及当前学习率，对所述初始目标检测模型的参数进行更新。
在一些实施例中，所述初始目标检测模型的参数的更新规则为：
其中，θ t+1 为更新后的参数，θ t 为更新前的参数，为所述一阶矩的移动平均值，为所述二阶矩的移动平均值，α为当前学习率，ε为固定参数。
在一些实施例中，所述方法还包括：
在前s个训练轮次对所述当前学习率进行线性调整，在后T-s个训练轮次采用余弦退火学习率调整策略对所述当前学习率进行调整，其中，T为总训练轮次。
在一些实施例中，所述余弦退火学习率调整策略具体如下：
其中，lr max为学习率的最大值，T为总训练轮次，t为当前训练轮次，lr（t）为当前训练轮次所对应的学习率，t＞s。
本说明书实施例的另一个方面还提供一种整合时序信息的跑冒滴漏目标检测系统，该系统包括：
获取模块，用于获取针对目标位置采集得到的多帧图像，并基于所述多帧图像对应的时序信息进行排列，得到目标图像队列；
多维张量生成模块，用于将所述目标图像队列中的所述多帧图像在通道维度上进行合并，得到一个多维张量；
卷积处理模块，用于对所述多维张量进行卷积处理，得到第一输出结果，其中，所述第一输出结果用于表征所述多帧图像中相邻图像帧之间的帧差；
帧差累计值计算模块，用于基于所述第一输出结果计算所述多帧图像对应的帧差累计值；
目标检测模块，用于将所述帧差累计值作为输入数据输入训练好的目标检测模型，得到整合时序信息的第二输出结果。
在一些实施例中，所述系统还包括训练模块，所述训练模块具体用于：
获取样本视频，并从所述样本视频中获取k+1个连续图像帧；
确定所述k+1个连续图像帧中相邻图像帧之间的帧差的绝对值，得到k个帧差绝对值；
对所述k个帧差绝对值进行求和，得到所述样本视频对应的样本帧差累计值；
将所述样本帧差累计值作为模型输入样本，构建样本数据集；
对所述样本数据集中的每一个模型输入样本进行标注，得到每一个所述模型输入样本对应的标签；
将进行标注后的所述样本数据集作为输入数据输入初始目标检测模型，并基于所述样本数据集对所述初始目标检测模型的参数进行迭代更新，直至损失函数或训练轮次达到预设阈值时结束训练，得到所述训练好的目标检测模型。
本说明书实施例所提供的整合时序信息的跑冒滴漏目标检测方法及系统可能带来的有益效果至少包括：
（1）通过对目标图像队列中的多帧图像在通道维度上进行合并以得到多维张量T，可以将该多帧图像在时间维度上的信息和通道维度上的信息体现在同一个张量中，从而更好地捕捉到该多帧连续图像之间的时序关系，以提供更全面的信息，减少因瞬时图像质量问题或遮挡导致的误报和漏报，进而提高后续过程中基于该多帧图像进行跑冒滴漏目标检测的准确性和可靠性；
（2）通过计算多帧图像所对应的帧差累计值，可以反映出该多帧图像中的累计变化情况，捕获到时间维度上发生的短暂或逐渐变化的异常，同时，通过帧差求和将该异常放大，可以使异常现象更容易被检测到，从而可以更准确地区分真实异常与噪声引起的异常，提高跑冒滴漏目标检测的准确性和可靠性，减少错误警报；
（3）通过卷积处理来确定用于表征该多帧图像中相邻图像帧之间的帧差，可以充分地利用GPU进行CUDA加速，从而大大提高数据推理速度，并赋予模型实时推理的能力。
附加的特征将在下面的描述中部分地阐述。对于本领域技术人员来说，通过查阅以下内容和附图将变得显而易见，或者可以通过实例的产生或操作来了解。本说明书的特征可以通过实践或使用以下详细实例中阐述的方法、工具和组合的各个方面来实现和获得。
附图说明
本说明书将以示例性实施例的方式进一步描述，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书的一些实施例所示的整合时序信息的跑冒滴漏目标检测系统的示例性应用场景示意图；
图2是根据本说明书的一些实施例所示的整合时序信息的跑冒滴漏目标检测系统的示例性模块图；
图3是根据本说明书一些实施例所示的整合时序信息的跑冒滴漏目标检测方法的示例性流程图；
图4是根据本说明书一些实施例所示的输入通道和输出通道两个维度上的可视化卷积核示意图；
图5是根据本说明书一些实施例所示的训练过程中的学习率调整曲线示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
设备和管道系统的跑、冒、滴、漏（后文简称跑冒滴漏）现象是指在液体或气体的存储、运输或使用过程中，由于管理不善（例如设备或管道系统损坏）或操作不当，造成介质的渗漏或泄漏的现象。在一些实施例中，可以通过在可能出现跑冒滴漏的关键位置安装摄像头，持续捕获实时图像，然后基于图像识别技术进行实时的跑冒滴漏现象的准确识别。当系统侦测到冒滴漏迹象时，自动推送告警，以确保现场操作人员能够迅速采取相应措施。
但是，对于液滴等较小的跑冒滴漏目标，通过摄像头采集所得到的单帧图片难以辨别，因此，使用传统的单帧图像算法进行跑冒滴漏目标检测通常存在误报率和漏报率较高的问题。
基于此，为了提高跑冒滴漏目标检测的准确性和可靠性，本说明书实施例提供一种整合时序信息的跑冒滴漏目标检测方法及系统。下面结合附图对本说明书实施例提供的方法及系统进行详细说明。
图1是根据本说明书一些实施例所示的整合时序信息的跑冒滴漏目标检测系统的示例性应用场景示意图。
参照图1，在一些实施例中，整合时序信息的跑冒滴漏目标检测系统的应用场景100可以包括图像采集装置110、存储设备120、处理设备130、终端设备140以及网络150。应用场景100中的各个部件可以以多种方式相连接。例如，图像采集装置110可以与存储设备120和/或处理设备130通过网络150连接，也可以与存储设备120和/或处理设备130直接连接。又例如，存储设备120可以与处理设备130直接连接或通过网络150连接。又例如，终端设备140可以与存储设备120和/或处理设备130通过网络150连接，也可以与存储设备120和/或处理设备130直接连接。
图像采集装置110可以用于针对设备和管道系统的任意部位进行图像采集，该图像可以反映出设备和管道系统的跑冒滴漏现象。在一些实施例中，图像采集装置110可以用于针对目标位置进行红外图像采集或可见光图像采集。当该图像采集装置110用于针对目标位置进行红外图像采集时，图像采集装置110可以包括红外热成像仪，示例性的红外热成像仪可以包括FLIR E8红外热成像仪、FLIR ONE热成像仪、Seek Thermal热成像仪、FLUKE热成像仪等。当该图像采集装置110用于针对目标位置进行可见光图像采集时，图像采集装置110可以包括图像传感器，例如CMOS（Complementary Metal-Oxide-Semiconductor）或CCD（Charge-Coupled Device）等。由于红外热成像仪成本较高，使用范围较小，并且，在使用红外热成像仪进行红外图像采集的过程中可能会受到温度变化的干扰，因此，在本说明书实施例中，优选使用图像传感器对目标位置进行可见光图像采集。在一些实施例中，为了确保能够清晰地对目标位置进行图像采集，可以针对目标位置设置相应的补光设备。
在一些实施例中，该图像采集装置110可以按照设定的图像采集频率对设备和管道系统中需要监控的部位进行图像采集，例如，每隔5秒采集一次。在一些实施例中，图像采集装置110也可以对目标位置进行连续图像采集，以得到针对该目标位置的实时监控视频。在一些实施例中，为了实现全方位的监控和拍摄，可以将该图像采集装置110设置在云台组件上。在一些实施例中，应用场景100中可以包括多个（例如两个及以上）图像采集装置110，该多个图像采集装置110可以针对相同或不同的目标位置进行图像采集。在一些实施例中，图像采集装置110可以具有独立的电源，其可以通过有线或无线（例如蓝牙、WiFi等）的方式将采集的图像（或视频）发送给应用场景100中的其他部件（例如，存储设备120、处理设备130、终端设备140）。
在一些实施例中，图像采集装置110可以通过网络150将其采集的图像（或视频）发送至存储设备120、处理设备130、终端设备140等。在一些实施例中，可以通过处理设备130对图像采集装置110所采集的图像（或视频）进行处理。例如，处理设备130可以基于该图像（或视频）得到整合时序信息的第二输出结果，并基于该第二输出结果确定设备和管道系统是否存在跑冒滴漏现象。在一些实施例中，该第二输出结果可以发送至存储设备120进行记录，或者发送至终端设备140以反馈给用户（例如相关管理人员）。
网络150可以促进信息和/或数据的交换。网络150可以包括能够促进应用场景100的信息和/或数据交换的任何合适的网络。在一些实施例中，应用场景100的至少一个组件（例如，图像采集装置110、存储设备120、处理设备130、终端设备140）可以通过网络150与应用场景100中至少一个其他组件交换信息和/或数据。例如，处理设备130可以通过网络150从图像采集装置110和/或存储设备120获得针对目标位置采集的图像（或视频）。又例如，处理设备130可以通过网络150从终端设备140获得用户操作指令，示例性的操作指令可以包括但不限于调阅该图像（或视频），读取基于该图像（或视频）确定的第二输出结果等。
在一些实施例中，网络150可以为任意形式的有线或无线网络，或其任意组合。仅作为示例，网络150可以包括缆线网络、有线网络、光纤网络、远程通信网络、内部网络、互联网、局域网络（LAN）、广域网络（WAN）、无线局域网络（WLAN）、城域网（MAN）、公共开关电话网络（PSTN）、蓝牙网络、ZigBee网络、近场通讯（NFC）网络等或其任意组合。在一些实施例中，网络150可以包括至少一个网络接入点，应用场景100的至少一个组件可以通过接入点连接到网络150以交换数据和/或信息。
存储设备120可以储存数据、指令和/或任何其他信息。在一些实施例中，存储设备120可以存储从图像采集装置110、处理设备130和/或终端设备140获得的数据。例如，存储设备120可以存储图像采集装置110采集的图像（或视频）；又例如，存储设备120可以存储处理设备130计算得到的第二输出结果。在一些实施例中，存储设备120可以存储处理设备130用来执行或使用来完成本说明书中描述的示例性方法的数据和/或指令。在一些实施例中，存储设备120可以包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器（ROM）等或其任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。在一些实施例中，存储设备120可以在云平台上实现。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
在一些实施例中，存储设备120可以连接到网络150以与应用场景100中的至少一个其他组件（例如，图像采集装置110、处理设备130、终端设备140）通信。应用场景100中的至少一个组件可以通过网络150访问存储设备120中存储的数据、指令或其他信息。在一些实施例中，存储设备120可以与应用场景100中的一个或以上组件（例如，图像采集装置110、终端设备140）直接连接或通信。在一些实施例中，存储设备120可以是图像采集装置110和/或处理设备130的一部分。
处理设备130可以处理从图像采集装置110、存储设备120、终端设备140和/或应用场景100的其他组件获得数据和/或信息。在一些实施例中，处理设备130可以从图像采集装置110、存储设备120或终端设备140中任意一个或多个获得针对目标位置采集得到的图像（或视频），通过对该图像（或视频）进行处理以确定第二输出结果。在一些实施例中，处理设备130可以从存储设备120获取预先存储的计算机指令，并执行该计算机指令以实现本说明书所描述的整合时序信息的跑冒滴漏目标检测方法。
在一些实施例中，处理设备130可以是单一服务器或服务器组。服务器组可以是集中式的或分布式的。在一些实施例中，处理设备130可以是本地或远程的。例如，处理设备130可以通过网络150从图像采集装置110、存储设备120和/或终端设备140访问信息和/或数据。又例如，处理设备130可以直接连接到图像采集装置110、存储设备120和/或终端设备140以访问信息和/或数据。在一些实施例中，处理设备130可以在云平台上实现。例如，云平台可以包括私有云、公共云、混合云、社区云、分布式云、云间云、多云等或其任意组合。
终端设备140可以接收、发送和/或显示数据。所述接收的数据可以包括图像采集装置110采集的数据、存储设备120存储的数据、处理设备130处理得到的第二输出结果等。所述发送的数据可以包括用户（例如相关管理人员）的输入数据和指令等。例如，终端设备140可以将用户输入的操作指令通过网络150发送给图像采集装置110，以控制图像采集装置110进行相应的数据采集。又例如，终端设备140可以将用户输入的操作指令通过网络150发送给处理设备130。
在一些实施例中，终端设备140可以包括移动设备141、平板计算机142、膝上型计算机143等或其任意组合。例如，移动设备141可以包括移动电话、个人数字助理（PDA）、专用移动终端等或其任意组合。在一些实施例中，终端设备140可以包括输入设备（如键盘、触摸屏）、输出设备（如显示器、扬声器）等。在一些实施例中，处理设备130可以是终端设备140的一部分。
应当注意的是，上述有关应用场景100的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对应用场景100进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。例如，图像采集装置110的可以包括更多或更少的功能组件。
图2是根据本说明书一些实施例所示的整合时序信息的跑冒滴漏目标检测系统的模块示意图。在一些实施例中，图2所示的整合时序信息的跑冒滴漏目标检测系统200可以以软件和/或硬件的方式应用到图1所示的应用场景100，例如，可以以软件和/或硬件的形式配置到处理设备130和/或终端设备140，以用于对图像采集装置110所采集的图像进行处理，并基于该图像确定第二输出结果。
参照图2，在一些实施例中，整合时序信息的跑冒滴漏目标检测系统200可以包括获取模块210、多维张量生成模块220、卷积处理模块230、帧差累计值计算模块240以及目标检测模块250。
获取模块210可以用于获取针对目标位置采集得到的多帧图像，并基于所述多帧图像对应的时序信息进行排列，得到目标图像队列。
多维张量生成模块220可以用于将所述目标图像队列中的所述多帧图像在通道维度上进行合并，得到一个多维张量。
卷积处理模块230可以用于对所述多维张量进行卷积处理，得到第一输出结果，其中，所述第一输出结果用于表征所述多帧图像中相邻图像帧之间的帧差。
帧差累计值计算模块240可以用于基于所述第一输出结果计算所述多帧图像对应的帧差累计值。
目标检测模块250可以用于将所述帧差累计值作为输入数据输入训练好的目标检测模型，得到整合时序信息的第二输出结果。
继续参照图2，整合时序信息的跑冒滴漏目标检测系统200还可以包括训练模块260，该训练模块260可以用于：
获取样本视频，并从所述样本视频中获取k+1个连续图像帧；
确定所述k+1个连续图像帧中相邻图像帧之间的帧差的绝对值，得到k个帧差绝对值；
对所述k个帧差绝对值进行求和，得到所述样本视频对应的样本帧差累计值；
将所述样本帧差累计值作为模型输入样本，构建样本数据集；
对所述样本数据集中的每一个模型输入样本进行标注，得到每一个所述模型输入样本对应的标签；
将进行标注后的所述样本数据集作为输入数据输入初始目标检测模型，并基于所述样本数据集对所述初始目标检测模型的参数进行迭代更新，直至损失函数或训练轮次达到预设阈值时结束训练，得到所述训练好的目标检测模型。
关于上述各个模块的更多细节可以参照本说明书的其他位置（例如图3~图5部分及其相关描述），此处不再赘述。
应当理解，图2所示的整合时序信息的跑冒滴漏目标检测系统200及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法及系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器（固件）的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合（例如，固件）来实现。
需要注意的是，上述关于整合时序信息的跑冒滴漏目标检测系统200的描述仅出于说明性目的而提供，并不旨在限制本说明书的范围。可以理解，对于本领域的技术人员来说，可以根据本说明书的描述，在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，图2中所述的获取模块210、多维张量生成模块220、卷积处理模块230、帧差累计值计算模块240以及目标检测模块250可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。再例如，整合时序信息的跑冒滴漏目标检测系统200还可以包括预处理模块，该预处理模块可以用于对前述图像进行去噪、增强等预处理。诸如此类的变形，均在本说明书的保护范围之内。在一些实施例中，前述各个模块可以是处理设备130和/或终端设备140的一部分。
图3是根据本说明书一些实施例所示的整合时序信息的跑冒滴漏目标检测方法的示例性流程图。在一些实施例中，方法300可以通过处理逻辑来执行，该处理逻辑可以包括硬件（例如，电路、专用逻辑、可编程逻辑、微代码等）、软件（运行在处理设备上以执行硬件模拟的指令）等或其任意组合。在一些实施例中，图3所示的整合时序信息的跑冒滴漏目标检测方法300的流程图中的一个或多个操作可以通过图1所示的处理设备130和/或终端设备140实现。例如，方法300可以以指令的形式存储在存储设备120中，并由处理设备130和/或终端设备140调用和/或执行。下文以处理设备130为例描述方法300的执行过程。
参照图3，在一些实施例中，整合时序信息的跑冒滴漏目标检测方法300可以包括：
步骤310，获取针对目标位置采集得到的多帧图像，并基于所述多帧图像对应的时序信息进行排列，得到目标图像队列。在一些实施例中，步骤310可以由获取模块210执行。
在一些实施例中，图像采集装置110针对设备和管道系统的目标位置采集得到的图像（或视频）可以存储在存储设备120中，获取模块210可以从存储设备120获取针对目标位置采集得到的多帧图像，并基于该多帧图像对应的时序信息进行排列，得到目标图像队列。在一些实施例中，该获取模块210可以与图像采集装置110通信连接，获取模块210可以直接从图像采集装置110获取针对目标位置采集得到的多帧图像，并基于该多帧图像对应的时序信息进行排列，得到目标图像队列。
在一些实施例中，前述针对目标位置采集得到的多帧图像可以从图像采集装置110采集得到的实时监控视频中提取连续图像帧得到。在一些实施例中，可以设Q updated 为存储前述多帧图像的目标图像队列，其大小可以为11，也即该目标图像队列中包含11帧连续图像。每次对于读取新的图像帧f new ，可以更新目标图像队列为：
同时从该目标图像队列的头部移除元素，并对Q old 进行更新：
其中，Q old 表示更新前的图像队列，Q updated 为更新后的图像队列，也即最新的目标图像队列。进一步地，在完成当前更新之后，Q updated 可以作为下一次更新前的图像队列Q old 。
需要说明的是，以上关于目标图像队列中所包含的连续图像帧的数量仅为示例性说明，在一些实施例中，该目标图像队列的大小可以为其他数值。
在一些实施例中，在得到前述目标图像队列之后，可以对该目标图像队列中包含的多帧图像进行预处理，例如，图像去噪、图像增强、尺寸调整、色彩空间转换以及形态学处理等。经过预处理后，该目标图像队列中的多帧图像可以具有相同的高度h和宽度w。需要说明的是，在本说明书的一些实施例中，前述高度h和宽度w可以指该多帧图像在高度方向和宽度方向的像素数量。
步骤320，将所述目标图像队列中的所述多帧图像在通道维度上进行合并，得到一个多维张量。在一些实施例中，步骤320可以由多维张量生成模块220执行。
在得到前述目标图像队列之后，多维张量生成模块220可以将Q updated 里面的11帧连续图像在通道维度上合并为一个多维张量T，该多维张量T可以表示为：
其中，该多维张量T的维度为33×h×w，h和w表示每一帧图像的高度和宽度。具体而言，即，每一个像素点包括RGB三个颜色通道，该目标图像队列中的11帧连续图像通过在通道维度上进行合并之后，可以得到一个维度为33×h×w的多维张量。
需要指出的是，在本说明书实施例中，通过对目标图像队列中的多帧图像在通道维度上进行合并以得到该多维张量T，可以将该多帧图像在时间维度上的信息和通道维度上的信息体现在同一个张量中，从而更好地捕捉到该多帧连续图像之间的时序关系，以提供更全面的信息，进而提高后续过程中基于该多帧图像进行跑冒滴漏目标检测的准确性和可靠性。
步骤330，对所述多维张量进行卷积处理，得到第一输出结果，其中，所述第一输出结果用于表征所述多帧图像中相邻图像帧之间的帧差。在一些实施例中，步骤330可以由卷积处理模块230执行。
在得到前述多维张量T之后，可以通过卷积处理模块230对该多维张量进行卷积处理，得到用于表征该多帧图像中相邻图像帧之间的帧差的第一输出结果。
在本说明书实施例中，相邻图像帧之间的帧差可以指相邻图像帧中对应位置的像素点在各个颜色通道的差异。具体地，在一些实施例中，可以在卷积处理过程中定义卷积核W为30×33×1×1的张量，每一个1×1的卷积核都可以用于计算特定帧差。在一些实施例中，该特定帧差可以指相邻图像帧中各个像素点在每一个颜色通道的差异的总和。在一些实施例中，可以忽略最后两个维度，输入通道和输出通道两个维度上可视化卷积核如图4所示。在图4中，输入通道表示输入序列的维度，输出通道表示输出序列的维度，输入通道和输出通道是1×1卷积的两个参数，它们决定了卷积核的权重，其中，卷积核的权重属于{-1,0, 1}。需要说明的是，在本说明书实施例中，1x1卷积可以在不改变空间维度的情况下，对输入数据的通道维度进行线性变换。通过调整卷积核的权重，1x1卷积可以对输入数据中的通道进行加权组合，得到新的通道表示。
在一些实施例中，可以定义卷积操作为：
其中，C为卷积后的输出，即前述用于表征多帧图像中相邻图像帧之间的帧差的第一输出结果，其维度为30×h×w，T为前述多维张量，W为前述卷积核。
需要指出的是，在本说明书实施例中，通过卷积处理来确定用于表征该多帧图像中相邻图像帧之间的帧差的第一输出结果，可以充分地利用GPU（Graphics ProcessingUnit）进行CUDA（Compute Unified Device Architecture）加速，从而大大提高数据推理速度，并赋予模型实时推理的能力。
步骤340，基于所述第一输出结果计算所述多帧图像对应的帧差累计值。在一些实施例中，步骤340可以由帧差累计值计算模块240执行。
在通过前述卷积操作得到前述第一输出结果之后，可以通过帧差累计值计算模块240基于前述第一输出结果计算多帧图像对应的帧差累计值。在一些实施例中，该帧差累计值的计算过程可以表示如下：
其中，O表示该多帧图像对应的帧差累计值，S1、S2和S3分别表示三个通道对应的通道差异累计值，C abs = |C|，C表示前述卷积操作的输出。在一些实施例中，帧差累计值O可以基于S1、S2、S3求和得到，其维度为3×h×w。
需要说明的是，上述计算过程中，C abs ,1、C abs ,2和C abs ,3可以表示该多帧图像中的第1帧图像和第2帧图像在三个通道的帧差的绝对值，以此类推，C abs ,4、C abs ,5和C abs ,6可以表示该多帧图像中的第2帧图像和第3帧图像在三个通道的帧差的绝对值……C abs ,28、C abs ,29和C abs ,30可以表示该多帧图像中的第10帧图像和第11帧图像在三个通道的帧差的绝对值。
还需要说明的是，在本说明书实施例中，通过计算多帧图像所对应的帧差累计值，可以反映出该多帧图像中的累计变化情况，捕获到时间维度上发生的短暂或逐渐变化的异常，同时，通过帧差求和将该异常放大，可以使异常现象更容易被检测到，从而可以更准确地区分真实异常与噪声引起的异常，提高跑冒滴漏目标检测的准确性和可靠性，减少错误警报。
在一些实施例中，前述步骤320~步骤340可以配置为整体的一个block。具体而言，即步骤320~步骤340可以由一个处理模型执行，通过将前述多维张量T输入该处理模型，然后由该处理模型进行处理后输出前述帧差累计值O。该过程可以表示如下：
/>
其中，TemporalDifferenceModel为步骤320~步骤340定义的整体的一个block，T为前述多维张量，O为该多帧图像对应的帧差累计值。
步骤350，将所述帧差累计值作为输入数据输入训练好的目标检测模型，得到整合时序信息的第二输出结果。在一些实施例中，步骤350可以由目标检测模块250执行。
在通过上述步骤得到该多帧图像对应的帧差累计值O之后，可以通过目标检测模块250将该帧差累计值作为输入数据输入训练好的目标检测模型，得到整合时序信息的第二输出结果。通过该第二输出结果，即可准确、高效地实时检测跑冒滴漏现象，为石化工厂提供更好的安全保障。
具体地，在一些实施例中，前述训练好的目标检测模型可以通过前述训练模块260训练得到。具体训练过程可以参考如下：
首先，可以通过训练模块260获取一个或多个针对设备和管道系统的目标位置采集得到的样本视频，然后从该样本视频中提取k+1个连续图像帧。在本说明书实施例中，k可以等于10或设置为其他数值。
进一步地，训练模块260可以确定该k+1个连续图像帧中相邻图像帧之间的帧差的绝对值，得到k个帧差绝对值。与上文类似，此处的帧差绝对值可以指相邻图像帧中各个像素点在每一个颜色通道的差异的绝对值的总和。
进一步地，训练模块260可以对该k个帧差绝对值进行求和，得到前述样本视频对应的样本帧差累计值，并将该样本帧差累计值作为模型输入样本，构建样本数据集。
具体地，在一些实施例中，训练模块260可以获取一个共有N帧的完整样本视频，然后将该完整样本视频分为逐帧表示：
其中，V表示该完整样本视频，表示完整样本视频中的第i帧。
训练模块260可以选取k+1个连续图像帧构成一个子样本视频S i 。该子样本视频S i 可以表示如下：
由上可知，对于一个共有N帧的完整样本视频，总共可以得到N-k个子样本视频。
进一步地，训练模块260可以针对每一个子样本视频中的相邻图像帧计算帧差并取绝对值，得到前述帧差绝对值。在一些实施例中，该帧差绝对值可以表示如下：
其中，d i,j 表示第i个子样本视频中第i+j帧图像与第i+j-1帧图像之间的帧差绝对值，j = 1, 2, ..., k。
进一步地，将每一个子样本视频所对应的k个帧差绝对值相加，即可分别得到一个模型输入样本。该模型输入样本M i 可以表示如下：
根据上述内容可知，通过一个共有N帧的完整样本视频，可以得到N-k个模型输入样本。通过该N-k个模型输入样本可以构建样本数据集D。该样本数据集D可以表示如下：
在一些实施例中，可以通过获取多个完整样本视频来获得更多的模型输入样本，从而提高样本数据的多样性，进而提高模型的泛化能力和鲁棒性。
进一步地，训练模块260可以对样本数据集D中的每一个模型输入样本进行标注，得到每一个模型输入样本对应的标签。最后，训练模块260可以将进行标注后的样本数据集作为输入数据输入初始目标检测模型，并基于该样本数据集对初始目标检测模型的参数进行迭代更新，直至损失函数或训练轮次达到预设阈值时结束训练，得到前述训练好的目标检测模型。
在一些实施例中，前述标签对应的标注对象可以为模型输入样本所对应的帧差累计图像中的跑冒滴漏目标，例如液滴等。该帧差累计图像可以理解为通过对模型输入样本所对应的多个连续图像帧之间的差异进行累积，从而生成的一幅表示跑冒滴漏目标运动区域或运动轨迹的图像。
在一些实施例中，每一个模型输入样本对应的标签可以包括<class id> 、<x_center>、 <y_center> 、<width> 以及<height>，其中，<class id> 表示模型输入样本所对应的帧差累计图像中的跑冒滴漏目标对应的类别，<x_center> 和 <y_center>为该目标所对应的边界框的中心点坐标，<width> 和 <height>表示该边界框的宽度和高度。
在一些实施例中，每一个模型输入样本对应的帧差累计图像中的跑冒滴漏目标的边界框可以通过对跑冒滴漏目标的运动区域确定最小外接矩形得到。在一些实施例中，<x_center>可以为该边界框的中心点坐标中的横坐标相对于图像宽度的比值，<y_center>可以为该边界框的中心点坐标中的纵坐标相对于图像高度的比值 ，<width> 可以为该边界框的宽度相对于图像宽度的比值，<height>可以为该边界框的高度相对于图像高度的比值，换言之，即，<x_center>、 <y_center> 、<width> 以及<height>的值可以介于0到1之间。
在一些实施例中，该标签可以与样本名一致，从而使数据标注与样本之间的对应关系清晰且一致，有助于简化数据读取和处理的过程。具体而言，即前述标注需要满足：
其中，BaseName为文件的基本名（不包括扩展名），s表示一个模型输入样本，l表示一个模型输入样本对应的标签。
通过上述过程，即可完成对样本数据集的标注工作。在完成样本数据集标注之后，即可将进行标注后的样本数据集作为输入数据输入初始目标检测模型进行训练。
在一些实施例中，初始目标检测模型可以包括YOLOv5（YOLOv5是一种基于深度学习的目标检测模型），该初始目标检测模型的输出数据可以包括针对前述边界框的预测结果（包括边界框的中心点坐标、边界框的宽度和高度）、存在跑冒滴漏目标的概率和类别。在一些实施例中，前述损失函数可以包括针对边界框的损失、存在跑冒滴漏目标的概率损失和类别损失。
具体而言，在一些实施例中，可以根据如下方式定义初始目标检测模型：
/>
其中，F表示YOLOv5的前向传递函数，其可以接受一个或多个H×W×3的图像并输出一个预测张量，4 表示针对边界框的预测结果（包括x、y、width、height），1表示存在跑冒滴漏目标的概率，C表示类别数。需要说明的是，本说明书实施例中所使用的YOLOv5模型仅为示例性说明，在一些实施例中，该初始目标检测模型可以为其他的目标检测模型，例如YOLOv4、YOLOv3、SSD（Single Shot MultiBox Detector）、Faster R-CNN等。
在一些实施例中，可以将前述样本数据集中的模型输入样本以及每一个模型输入样本所对应的多帧H×W×3的图像一同作为模型的输入，从而在传统目标检测模型的基础上引入时序信息，以增强模型的处理功能。换句话说，即，在一些实施例中，可以在传统目标检测模型的基础上，通过保持通道数与传统图像输入相同，并不改变图像高度 h 和宽度w，然后将前述过程中基于多帧连续图像的帧差累计值得到的模型输入样本M i 与传统目标检测模型的图像输入进行拼接，从而为传统单帧目标检测模型引入时间序列信息。
需要指出的是，在本说明书实施例中，通过考虑连续的多帧图像，模型能够捕获在时间维度上发生的短暂或逐渐变化的异常，也可以帮助区分真实的异常与短暂的噪声或误报，从而减少错误警报。另外，对于滴漏等小目标检测，可以通过连续多帧图像所反映出来的信息将异常特征放大，从而使得异常情况更容易被检测到。
在一些实施例中，可以根据如下方式定义损失函数：
其中，L为计算得到的总损失，Lbox表示针对边界框的预测结果的损失，Lobj表示存在跑冒滴漏目标的概率损失，Lcls表示类别损失，λobj和λcls为Lobj和Lcls分别对应的权重。需要说明的是，此处的损失是指用于衡量模型预测结果与实际情况（即对应的标签）之间的差异的参数，在一些实施例中，该差异可以使用交叉熵或二值交叉熵来进行计算。
在一些实施例中，λobj和λcls可以介于0~1之间。在一些实施例中，为了增加存在跑冒滴漏目标的概率损失Lobj在损失函数中的影响比重，可以使λobj大于λcls。仅作为示例，在一些可选的实施例中，λobj可以设置为0.5，λcls可以设置为0.3。在一些可选的实施例中，λobj和λcls可以均设置为0.5。在一些实施例中，λobj和λcls可以根据不同的样本数据集进行调整。
在一些实施例中，可以采用Adam优化算法来对模型参数进行优化。具体地，首先可以基于如下公式计算梯度：
，
其中，gt表示第t步时的梯度，也即第t个训练轮次对应的梯度，每一个训练轮次可以理解为模型遍历样本数据集中的所有模型输入样本的一个周期。该公式表示对模型参数θ的所有分量求偏导数，得到一个向量，其具体含义为：要更新模型参数θ，就要沿着梯度的反方向移动一定的距离，从而使目标函数J的值减小。在一些实施例中，该目标函数J可以指前述损失函数。
进一步地，训练模块260可以用于更新一阶矩和二阶矩的移动平均值：
其中，mt和vt分别为一阶矩和二阶矩的估计，β1和β2为衰减因子。在一些实施例中，β1和β2可以为介于0和1之间的超参数，示例性地，在一些实施例中，β1和β2可以取0.9和0.999。
在一些实施例中，mt和vt可以分别视为梯度gt的均值和方差的估计，训练模块260可以基于前述一阶矩mt和二阶矩vt的移动平均值以及当前学习率，对该初始目标检测模型的参数进行更新。其中，一阶矩mt的移动平均值可以指对数据序列中每个元素及其前后若干个元素求算术平均，得到一个新的序列；二阶矩vt的移动平均值可以指对数据序列中每个元素及其前后若干个元素求方差，得到一个新的序列。在本说明书实施例中，通过确定一阶矩mt和二阶矩vt的移动平均值，可以提取数据的长期趋势和规律性变化，同时检测出异常点和突变点。
在一些实施例中，模型参数的具体更新规则可以表示如下：
，
θ t+1 为更新后的参数，θ t 为更新前的参数，为一阶矩的移动平均值，/>为二阶矩的移动平均值，α为当前学习率，ε为固定参数。在本说明书实施例中，ε为一个极小的数字，用于防止分母部分为0而导致公式无意义。示例性地，在一些实施例中，ε可以为0.001。
图5是根据本说明书一些实施例所示的训练过程中的学习率调整曲线示意图。
参照图5，在一些实施例中，为了在训练前期提高模型的收敛速度，可以在前s个训练轮次对当前学习率α进行线性调整，以使得前几个epoch的学习率线性上升。
继续参照图5，为了使模型在训练中期跳出局部最优点，同时也可以在训练末期找到一个较好的最优点，在一些实施例中，可以在后T-s个训练轮次采用余弦退火学习率调整策略对当前学习率α进行调整，其中，T为总训练轮次。在一些实施例中，s可以为5。
具体地，在一些实施例中，前述余弦退火学习率调整策略可以表示如下：
其中，lr max为学习率的最大值，T为总训练轮次，t为当前训练轮次，lr（t）为当前训练轮次所对应的学习率，t＞s。
在模型优化的过程中，模型会在每一个训练轮次中遍历样本数据集中的每一个模型输入样本，每次迭代都会更新模型的参数，以减小基于前述损失函数计算得到的总损失值L。在一些实施例中，当基于前述损失函数计算得到的总损失值L或训练轮次达到预设阈值时即可结束训练，得到前述训练好的目标检测模型。需要说明的是，该预设阈值可以根据实际需求进行设定，本说明书中不对其进行限定。
与前述步骤320~步骤340类似，在训练过程中，也可以将从样本视频中获取k+1个连续图像帧，并计算样本视频对应的样本帧差累计值的过程整合到一个block，并通过卷积处理以实现该处理过程，从而充分利用GPU加速数据处理速度。
通过上述步骤进行训练，得到前述训练好的目标检测模型之后，即可将前述过程中基于多帧图像处理得到的帧差累计值作为输入数据输入该训练好的目标检测模型，得到整合时序信息后的第二输出结果。该过程可以表示如下：
/>
其中，O为基于多帧图像计算得到的帧差累计值，TemporalDifferenceModel为基于多帧图像所对应的多维张量T确定帧差累计值O的过程所对应的整体的一个block，YOLO表示YOLOv5目标检测模型，Y是整合了时间序列信息后的YOLOv5模型的输出，也即前述第二输出结果。通过该第二输出结果，可以较为准确地反映出目标位置存在跑冒滴漏现象的概率及类别。
在本说明书的一些实施例中，可以合并TemporalDifferenceModel与YOLO，并将二者一同放到GPU上，从而完成加速推理。
根据上述内容可知，在本说明书实施例中，通过对过去k+1帧可见光图像评估其存在跑冒滴漏现象的严重程度，可以准确地了解跑冒滴漏在各时间段的状况，以预防各种突发情况。此外，在一些实施例中，可以设置阈值进行监测，当持续出现跑冒滴漏时，可以对工厂安防系统发出警报，及时通知技术人员进行维护，以确保生产流程的稳定性、安全性和高效性。
可以理解，在石化工厂中，对设备和管道系统的跑冒滴漏现象进行准确地检测是确保生产过程稳定性、安全性和高效性的重要措施，这是化工生产过程中必须重视的重要方面。通过本说明书实施例所提供的整合时序信息的跑冒滴漏目标检测方法及系统，可以在一定程度上提高跑冒滴漏目标检测的准确性和可靠性，降低漏检和误检率，有助于保障产品质量、提高生产效率并降低安全风险。
综上所述，本说明书实施例可能带来的有益效果包括但不限于：（1）在本说明书一些实施例所提供的整合时序信息的跑冒滴漏目标检测方法及系统中，通过对目标图像队列中的多帧图像在通道维度上进行合并以得到该多维张量T，可以将该多帧图像在时间维度上的信息和通道维度上的信息体现在同一个张量中，从而更好地捕捉到该多帧连续图像之间的时序关系，以提供更全面的信息，减少因瞬时图像质量问题或遮挡导致的误报和漏报，进而提高后续过程中基于该多帧图像进行跑冒滴漏目标检测的准确性和可靠性；（2）在本说明书一些实施例所提供的整合时序信息的跑冒滴漏目标检测方法及系统中，通过计算多帧图像所对应的帧差累计值，可以反映出该多帧图像中的累计变化情况，捕获到时间维度上发生的短暂或逐渐变化的异常，同时，通过帧差求和将该异常放大，可以使异常现象更容易被检测到，从而可以更准确地区分真实异常与噪声引起的异常，提高跑冒滴漏目标检测的准确性和可靠性，减少错误警报；（3）在本说明书一些实施例所提供的整合时序信息的跑冒滴漏目标检测方法及系统中，通过卷积处理来确定用于表征该多帧图像中相邻图像帧之间的帧差，可以充分地利用GPU进行CUDA加速，从而大大提高数据推理速度，并赋予模型实时推理的能力。
需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例中，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件（包括固件、常驻软件、微码等）执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网（LAN）或广域网（WAN），或连接至外部计算机（例如通过因特网），或在云计算环境中，或作为服务使用如软件即服务（SaaS）。
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件（当前或之后附加于本说明书中的）也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (10)
1.一种整合时序信息的跑冒滴漏目标检测方法，其特征在于，包括：
获取针对目标位置采集得到的多帧图像，并基于所述多帧图像对应的时序信息进行排列，得到目标图像队列；
将所述目标图像队列中的所述多帧图像在通道维度上进行合并，得到一个多维张量；
对所述多维张量进行卷积处理，得到第一输出结果，其中，所述第一输出结果用于表征所述多帧图像中相邻图像帧之间的帧差；
基于所述第一输出结果计算所述多帧图像对应的帧差累计值；
将所述帧差累计值作为输入数据输入训练好的目标检测模型，得到整合时序信息的第二输出结果。
2.如权利要求1所述的方法，其特征在于，所述训练好的目标检测模型基于如下方式训练得到：
获取样本视频，并从所述样本视频中获取k+1个连续图像帧；
确定所述k+1个连续图像帧中相邻图像帧之间的帧差的绝对值，得到k个帧差绝对值；
对所述k个帧差绝对值进行求和，得到所述样本视频对应的样本帧差累计值；
将所述样本帧差累计值作为模型输入样本，构建样本数据集；
对所述样本数据集中的每一个模型输入样本进行标注，得到每一个所述模型输入样本对应的标签；
将进行标注后的所述样本数据集作为输入数据输入初始目标检测模型，并基于所述样本数据集对所述初始目标检测模型的参数进行迭代更新，直至损失函数或训练轮次达到预设阈值时结束训练，得到所述训练好的目标检测模型。
3.如权利要求2所述的方法，其特征在于，所述标签对应的标注对象为所述模型输入样本所对应的帧差累计图像中的跑冒滴漏目标；
每一个所述模型输入样本对应的标签包括<class id> 、<x_center>、 <y_center> 、<width> 以及<height>，其中，<class id> 为目标对应的类别，<x_center> 和 <y_center>为目标所对应的边界框的中心点坐标，<width> 和 <height>表示所述边界框的宽度和高度。
4.如权利要求3所述的方法，其特征在于，所述初始目标检测模型包括YOLOv5；
所述初始目标检测模型的输出数据包括针对所述边界框的预测结果、存在跑冒滴漏目标的概率和类别；
所述损失函数包括针对所述边界框的损失、存在跑冒滴漏目标的概率损失和类别损失。
5.如权利要求2所述的方法，其特征在于，所述基于所述样本数据集对所述初始目标检测模型的参数进行迭代更新，包括：
以Adam为优化算法，估计梯度的一阶矩和二阶矩的移动平均值；
基于所述一阶矩和二阶矩的移动平均值以及当前学习率，对所述初始目标检测模型的参数进行更新。
6.如权利要求5所述的方法，其特征在于，所述初始目标检测模型的参数的更新规则为：
其中，θ t+1 为更新后的参数，θ t 为更新前的参数，/>为所述一阶矩的移动平均值，/>为所述二阶矩的移动平均值，α为当前学习率，ε为固定参数。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
在前s个训练轮次对所述当前学习率进行线性调整，在后T-s个训练轮次采用余弦退火学习率调整策略对所述当前学习率进行调整，其中，T为总训练轮次。
8.如权利要求7所述的方法，其特征在于，所述余弦退火学习率调整策略具体如下：
其中，lr max为学习率的最大值，T为总训练轮次，t为当前训练轮次，lr（t）为当前训练轮次所对应的学习率，t＞s。
9.一种整合时序信息的跑冒滴漏目标检测系统，其特征在于，包括：
获取模块，用于获取针对目标位置采集得到的多帧图像，并基于所述多帧图像对应的时序信息进行排列，得到目标图像队列；
多维张量生成模块，用于将所述目标图像队列中的所述多帧图像在通道维度上进行合并，得到一个多维张量；
卷积处理模块，用于对所述多维张量进行卷积处理，得到第一输出结果，其中，所述第一输出结果用于表征所述多帧图像中相邻图像帧之间的帧差；
帧差累计值计算模块，用于基于所述第一输出结果计算所述多帧图像对应的帧差累计值；
目标检测模块，用于将所述帧差累计值作为输入数据输入训练好的目标检测模型，得到整合时序信息的第二输出结果。
10.如权利要求9所述的系统，其特征在于，所述系统还包括训练模块，所述训练模块具体用于：
获取样本视频，并从所述样本视频中获取k+1个连续图像帧；
确定所述k+1个连续图像帧中相邻图像帧之间的帧差的绝对值，得到k个帧差绝对值；
对所述k个帧差绝对值进行求和，得到所述样本视频对应的样本帧差累计值；
将所述样本帧差累计值作为模型输入样本，构建样本数据集；
对所述样本数据集中的每一个模型输入样本进行标注，得到每一个所述模型输入样本对应的标签；
将进行标注后的所述样本数据集作为输入数据输入初始目标检测模型，并基于所述样本数据集对所述初始目标检测模型的参数进行迭代更新，直至损失函数或训练轮次达到预设阈值时结束训练，得到所述训练好的目标检测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311484463.5A CN117218128B (zh) | 2023-11-09 | 2023-11-09 | 一种整合时序信息的跑冒滴漏目标检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311484463.5A CN117218128B (zh) | 2023-11-09 | 2023-11-09 | 一种整合时序信息的跑冒滴漏目标检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117218128A true CN117218128A (zh) | 2023-12-12 |
| CN117218128B CN117218128B (zh) | 2024-03-22 |
Family
ID=89043027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311484463.5A Active CN117218128B (zh) | 2023-11-09 | 2023-11-09 | 一种整合时序信息的跑冒滴漏目标检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218128B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016013719A1 (ko) * | 2014-07-22 | 2016-01-28 | 주식회사 에스원 | 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법 |
| CN111626090A (zh) * | 2020-03-03 | 2020-09-04 | 湖南理工学院 | 一种基于深度帧差卷积神经网络的运动目标检测方法 |
| CN213149817U (zh) * | 2020-10-26 | 2021-05-07 | 成都格理特电子技术有限公司 | 一种用于安全生产的设备状态监测管理系统 |
| US11080982B1 (en) * | 2020-03-12 | 2021-08-03 | International Business Machines Corporation | Leakage detection and location system in an irrigation network |
| WO2022134344A1 (zh) * | 2020-12-21 | 2022-06-30 | 苏州科达科技股份有限公司 | 目标检测方法、系统、设备及存储介质 |
| CN115063584A (zh) * | 2022-06-28 | 2022-09-16 | 上海威士顿信息技术股份有限公司 | 基于深度学习的管道蒸汽泄漏检测方法及检测系统 |
| CN115131340A (zh) * | 2022-07-25 | 2022-09-30 | 西安热工研究院有限公司 | 一种电厂煤粉泄露识别方法、装置、设备及刻度存储介质 |
| CN115205541A (zh) * | 2022-05-27 | 2022-10-18 | 浙江大华技术股份有限公司 | 泄漏检测方法及相关装置、电子设备和存储介质 |
| US20230194420A1 (en) * | 2017-10-09 | 2023-06-22 | Csir | Gas detection system and method |
| CN116630265A (zh) * | 2023-05-23 | 2023-08-22 | 中国人民解放军国防科技大学 | 一种基于多帧差分的红外小目标智能检测方法 |
-
2023
- 2023-11-09 CN CN202311484463.5A patent/CN117218128B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016013719A1 (ko) * | 2014-07-22 | 2016-01-28 | 주식회사 에스원 | 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법 |
| US20230194420A1 (en) * | 2017-10-09 | 2023-06-22 | Csir | Gas detection system and method |
| CN111626090A (zh) * | 2020-03-03 | 2020-09-04 | 湖南理工学院 | 一种基于深度帧差卷积神经网络的运动目标检测方法 |
| US11080982B1 (en) * | 2020-03-12 | 2021-08-03 | International Business Machines Corporation | Leakage detection and location system in an irrigation network |
| CN213149817U (zh) * | 2020-10-26 | 2021-05-07 | 成都格理特电子技术有限公司 | 一种用于安全生产的设备状态监测管理系统 |
| WO2022134344A1 (zh) * | 2020-12-21 | 2022-06-30 | 苏州科达科技股份有限公司 | 目标检测方法、系统、设备及存储介质 |
| CN115205541A (zh) * | 2022-05-27 | 2022-10-18 | 浙江大华技术股份有限公司 | 泄漏检测方法及相关装置、电子设备和存储介质 |
| CN115063584A (zh) * | 2022-06-28 | 2022-09-16 | 上海威士顿信息技术股份有限公司 | 基于深度学习的管道蒸汽泄漏检测方法及检测系统 |
| CN115131340A (zh) * | 2022-07-25 | 2022-09-30 | 西安热工研究院有限公司 | 一种电厂煤粉泄露识别方法、装置、设备及刻度存储介质 |
| CN116630265A (zh) * | 2023-05-23 | 2023-08-22 | 中国人民解放军国防科技大学 | 一种基于多帧差分的红外小目标智能检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| ALIBEK KOPBAYEV等: "Gas leakage detection using spatial and temporal neural network model", 《PROCESS SAFETY AND ENVIRONMENTAL PROTECTION》, vol. 160, pages 968 - 975, XP087005114, DOI: 10.1016/j.psep.2022.03.002 * |
| 张晋博: "基于视频图像的管线阀门渗漏检测技术研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, no. 1, pages 029 - 426 * |
| 杨圣利: "基于机器视觉储气罐密封性检测方法研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》, no. 9, pages 019 - 125 * |
| 王红霞: "流媒体中的广告视频检测系统设计", 《光电工程》, vol. 37, no. 10, pages 103 - 107 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117218128B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Machine vision for natural gas methane emissions detection using an infrared camera | |
| CN112669316B (zh) | 电力生产异常监控方法、装置、计算机设备和存储介质 | |
| CN110494861B (zh) | 基于图像的异常检测方法和系统 | |
| US20200320659A1 (en) | Segmentation and prediction of low-level temporal plume patterns | |
| WO2021034910A1 (en) | System and method for cyber-physical inspection and monitoring of nonmetalic structures | |
| Mian et al. | Vibration and infrared thermography based multiple fault diagnosis of bearing using deep learning | |
| CN111127825A (zh) | 环境预测方法和装置、电子设备 | |
| CN116340801B (zh) | 一种畜牧养殖环境数据异常智能监控方法 | |
| US20230177726A1 (en) | System and method of detecting gas leaks | |
| CN116630327B (zh) | 基于热力图的锅炉状态异常监测系统 | |
| CN115980050B (zh) | 排水口的水质检测方法、装置、计算机设备及存储介质 | |
| CN110427806A (zh) | 视频识别方法、装置及计算机可读存储介质 | |
| EP4285337A1 (en) | System and method for manufacturing quality control using automated visual inspection | |
| Li et al. | A robust real‐time method for identifying hydraulic tunnel structural defects using deep learning and computer vision | |
| CN117218128B (zh) | 一种整合时序信息的跑冒滴漏目标检测方法及系统 | |
| CN114757935A (zh) | 一种钢铁冷轧退火炉元器件多目标自动测温与预警方法 | |
| US20240003733A1 (en) | System and method of detecting fluid levels in tanks | |
| Liu et al. | Fault diagnosis method of substation equipment based on You Only Look Once algorithm and infrared imaging | |
| CN117636248A (zh) | 一种基于红外图像的机房维护监控方法及系统 | |
| CN113108921A (zh) | 用于监测对象的温度的方法、设备和系统 | |
| Zheng et al. | An automatic reading method for pointer meter based on one-stage detector | |
| CN117253176B (zh) | 基于视频分析与计算机视觉的安全生产Al智能检测方法 | |
| Lim et al. | Heat-vision based drone surveillance augmented by deep learning for critical industrial monitoring | |
| JP7481956B2 (ja) | 推論装置、方法、プログラムおよび学習装置 | |
| US11922667B2 (en) | Object region identification device, object region identification method, and object region identification program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |