CN113343779A - 环境异常检测方法、装置、计算机设备和存储介质 - Google Patents
环境异常检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113343779A CN113343779A CN202110528661.1A CN202110528661A CN113343779A CN 113343779 A CN113343779 A CN 113343779A CN 202110528661 A CN202110528661 A CN 202110528661A CN 113343779 A CN113343779 A CN 113343779A
- Authority
- CN
- China
- Prior art keywords
- environment
- image
- anomaly detection
- detected
- environmental
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 493
- 230000007613 environmental effect Effects 0.000 claims abstract description 228
- 238000000034 method Methods 0.000 claims abstract description 57
- 230000005856 abnormality Effects 0.000 claims abstract description 50
- 230000002159 abnormal effect Effects 0.000 claims description 145
- 238000012545 processing Methods 0.000 claims description 35
- 238000002372 labelling Methods 0.000 claims description 32
- 238000012544 monitoring process Methods 0.000 claims description 26
- 238000012360 testing method Methods 0.000 claims description 22
- 238000004519 manufacturing process Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 4
- 239000000779 smoke Substances 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 238000011895 specific detection Methods 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种环境异常检测方法、装置、计算机设备和存储介质。所述方法包括：获取当前检测周期的待检测图像；根据待检测图像中的图像特征，判断到待检测图像中存在环境异常，则根据待检测图像中的图像特征，得到待检测图像中的所有环境异常检测框；每个环境异常检测框均携带有位置信息、类别和置信度，位置信息用于标识对应的环境异常检测框的位置信息，类别用于标识对应的环境异常检测框中所包含的异常环境信息的类别，置信度用于标识对应的环境异常检测框中所包含的异常环境信息的类别的置信度；根据每个环境异常检测框携带的位置信息、类别和置信度，确定对待检测图像的环境异常检测结果。采用本方法，能够提高环境异常的检测效率。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种环境异常检测方法、装置、计算机设备和存储介质。
背景技术
为了保证电厂生产区域处于安全环境中，需要实时对电厂生产区域可能发生的各类异常环境如明火、烟雾、液体泄漏等进行检测。
相关技术中，目前的环境异常检测方法主要分为两大类：一类是采用特定传感器进行环境异常检测，如火焰检测装置或烟雾检测装置，此类方法对于可检测的异常种类有较大的局限性。另一类则采用图像处理技术对可见的环境异常进行检测，相比于异常检测装置，此类方法更适用于电厂生产区域等占地面积较大的环境异常检测，能够有效降低成本及提高检测灵敏度。
以往的基于图像的环境异常检测技术，一般是针对不同异常环境，采用不同的特定检测方法进行检测，比如针对明火，采用明火检测方法进行检测，针对烟雾，采用烟雾检测方法进行检测；但是，每种特定检测方法，只能针对一种特定的异常环境进行检测，若针对包括多种异常环境的复杂场景，同样采用不同的特定检测方法进行检测，则需要检测多次，从而造成整个检测过程较为繁琐，最终导致环境异常的检测效率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高环境异常的检测效率的环境异常检测方法、装置、计算机设备和存储介质。
一种环境异常检测方法，所述方法包括：
获取当前检测周期的待检测图像；
提取所述待检测图像中的图像特征；
根据所述待检测图像中的图像特征，判断所述待检测图像中是否存在环境异常，若所述待检测图像中存在环境异常，则根据所述待检测图像中的图像特征，得到所述待检测图像中的所有环境异常检测框；每个环境异常检测框对应一种异常环境信息，每个环境异常检测框均携带有位置信息、类别和置信度，所述位置信息用于标识对应的环境异常检测框的位置信息，所述类别用于标识对应的环境异常检测框中所包含的异常环境信息的类别，所述置信度用于标识对应的环境异常检测框中所包含的异常环境信息的类别的置信度；
根据所述每个环境异常检测框携带的位置信息、类别和置信度，确定对所述待检测图像的异常环境检测结果，并获取下一检测周期的待检测图像，根据所述下一检测周期的待检测图像，得到对应的环境异常检测结果。
在其中一个实施例中，所述根据所述待检测图像中的图像特征，得到所述待检测图像中的所有环境异常检测框，包括：
将所述待检测图像中的图像特征输入预先训练的环境异常检测模型，得到所述待检测图像中的所有环境异常检测框；所述预先训练的环境异常检测模型用于对所述待检测图像中的图像特征进行环境异常检测处理，同时得到所述待检测图像中的所有环境异常检测框。
在其中一个实施例中，所述预先训练的环境异常检测模型通过下述方式训练得到：
采集多个包含有异常环境信息的样本图像；
获取所述样本图像中的环境异常标注框；所述环境异常标注框携带有标注位置信息和标注类别；
将所述样本图像输入待训练的环境异常检测模型，得到所述样本图像中的所有环境异常检测框；每个环境异常检测框携带有预测位置信息和预测类别；
根据所述环境异常标注框携带的标注位置信息和标注类别，以及所述环境异常检测框携带的预测位置信息和预测类别，确定损失值；
根据所述损失值调整所述待训练的环境异常检测模型的模型参数，并对模型参数调整后的环境异常检测模型进行反复训练，直至根据训练后的环境异常检测模型得到的损失值小于预设阈值，则将所述训练后的环境异常检测模型，作为所述预先训练的环境异常检测模型。
在其中一个实施例中，所述采集多个包含有异常环境信息的样本图像，包括：
从真实电厂环境的监控视频中，提取出所述真实电厂环境中包含异常环境信息的第一样本图像；
对成像条件不符合预设条件的目标环境进行现场异常环境信息模拟，并获取模拟后的目标环境对应的第二样本图像；所述成像条件不符合预设条件的目标环境为低光照且存在遮挡的环境；
获取开放场景中各种复杂背景下，且包含有异常环境信息的第三样本图像；
将所述第一样本图像、所述第二样本图像和所述第三样本图像，作为所述样本图像；
所述获取所述样本图像中的环境异常标注框，包括：
对所述样本图像进行环境异常标注处理，得到所述样本图像的异常环境信息的标注位置信息和所述异常环境信息的标注类别；
根据所述样本图像的异常环境信息的标注位置信息和所述异常环境信息的标注类别，确定所述样本图像中的环境异常标注框。
在其中一个实施例中，在获取所述样本图像中的异常环境标注框之后，还包括：
对携带有环境异常标注框的样本图像进行数据增强处理，得到数据增强处理后的样本图像；
所述将所述样本图像输入待训练的环境异常检测模型，得到所述样本图像中的所有环境异常检测框，包括：
将所述数据增强处理后的样本图像输入待训练的环境异常检测模型，得到所述数据增强处理后的样本图像中的所有环境异常检测框。
在其中一个实施例中，在将所述训练后的环境异常检测模型，作为所述预先训练的环境异常检测模型之前，还包括：
获取所述训练后的环境异常检测模型在测试集上的评价指标；
若所述评价指标大于对应的阈值，则确认所述训练后的环境异常检测模型测试通过；
所述将所述训练后的环境异常检测模型，作为所述预先训练的环境异常检测模型，包括：
若所述训练后的环境异常检测模型测试通过，则将所述训练后的环境异常检测模型，作为所述预先训练的环境异常检测模型。
在其中一个实施例中，所述根据所述每个环境异常检测框携带的位置信息、类别和置信度，确定对所述待检测图像的异常环境检测结果，包括：
从所述每个环境异常检测框中，筛选出所述位置信息符合对应的位置信息判断条件的环境异常检测框，作为所述待检测图像中的目标环境异常检测框；
从所述目标环境异常检测框中，筛选出所述置信度大于预设阈值的目标环境异常检测框；
将所述置信度大于预设阈值的目标环境异常检测框所携带的类别，识别为所述待检测图像中的异常环境信息的类别。
在其中一个实施例中，所述获取当前检测周期的待检测图像，包括：
获取当前检测周期内监控终端实时上传的电厂生产区域的图像，作为所述待检测图像；
在根据所述每个环境异常检测框携带的位置信息、类别和置信度，确定对所述待检测图像的环境异常检测结果之后，还包括：
根据所述环境异常检测结果，确定所述待检测图像中出现异常环境信息的累积次数；
若所述累积次数大于或者等于预设次数，则根据所述环境异常检测结果，生成对应的异常告警信息，以提醒工作人员进行对应的异常解除操作；
若所述累积次数小于所述预设次数，则跳转至所述获取当前检测周期内监控终端实时上传的电厂生产区域的图像，作为所述待检测图像的步骤。
一种环境异常检测装置，所述装置包括：
图像获取模块，用于获取当前检测周期的待检测图像；
特征提取模块，用于提取所述待检测图像中的图像特征；
环境检测模块，用于根据所述待检测图像中的图像特征，判断所述待检测图像中是否存在环境异常，若所述待检测图像中存在环境异常，则根据所述待检测图像中的图像特征，得到所述待检测图像中的所有环境异常检测框；每个环境异常检测框对应一种异常环境信息，每个环境异常检测框均携带有位置信息、类别和置信度，所述位置信息用于标识对应的环境异常检测框的位置信息，所述类别用于标识对应的环境异常检测框中所包含的异常环境信息的类别，所述置信度用于标识对应的环境异常检测框中所包含的异常环境信息的类别的置信度；
结果确定模块，用于根据所述每个环境异常检测框携带的位置信息、类别和置信度，确定对所述待检测图像的环境异常检测结果，并获取下一检测周期的待检测图像，根据所述下一检测周期的待检测图像，得到对应的环境异常检测结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取当前检测周期的待检测图像；
提取所述待检测图像中的图像特征；
根据所述待检测图像中的图像特征，判断所述待检测图像中是否存在环境异常，若所述待检测图像中存在环境异常，则根据所述待检测图像中的图像特征，得到所述待检测图像中的所有环境异常检测框；每个环境异常检测框对应一种异常环境信息，每个环境异常检测框均携带有位置信息、类别和置信度，所述位置信息用于标识对应的环境异常检测框的位置信息，所述类别用于标识对应的环境异常检测框中所包含的异常环境信息的类别，所述置信度用于标识对应的环境异常检测框中所包含的异常环境信息的类别的置信度；
根据所述每个环境异常检测框携带的位置信息、类别和置信度，确定对所述待检测图像的环境异常检测结果，并获取下一检测周期的待检测图像，根据所述下一检测周期的待检测图像，得到对应的环境异常检测结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取当前检测周期的待检测图像；
提取所述待检测图像中的图像特征；
根据所述待检测图像中的图像特征，判断所述待检测图像中是否存在环境异常，若所述待检测图像中存在环境异常，则根据所述待检测图像中的图像特征，得到所述待检测图像中的所有环境异常检测框；每个环境异常检测框对应一种异常环境信息，每个环境异常检测框均携带有位置信息、类别和置信度，所述位置信息用于标识对应的环境异常检测框的位置信息，所述类别用于标识对应的环境异常检测框中所包含的异常环境信息的类别，所述置信度用于标识对应的环境异常检测框中所包含的异常环境信息的类别的置信度；
根据所述每个环境异常检测框携带的位置信息、类别和置信度，确定对所述待检测图像的环境异常检测结果，并获取下一检测周期的待检测图像，根据所述下一检测周期的待检测图像，得到对应的环境异常检测结果。
上述环境异常检测方法、装置、计算机设备和存储介质，通过获取当前检测周期的待检测图像，并提取待检测图像中的图像特征；然后根据待检测图像中的图像特征，判断待检测图像中是否存在环境异常，若待检测图像中存在环境异常，则根据待检测图像中的图像特征，得到待检测图像中的所有环境异常检测框；每个环境异常检测框对应一种异常环境信息，每个环境异常检测框均携带有位置信息、类别和置信度，位置信息用于标识对应的环境异常检测框的位置信息，类别用于标识对应的环境异常检测框中所包含的异常环境信息的类别，置信度用于标识对应的环境异常检测框中所包含的异常环境信息的类别的置信度；根据每个环境异常检测框携带的位置信息、类别和置信度，确定对待检测图像的环境异常检测结果；这样，实现了在待检测图像中存在环境异常的情况下，根据待检测图像中的环境异常检测框所携带的位置信息、类别和置信度，即可同时确定出待检测图像中所包括的所有异常环境信息的类别，无需采用不同的特定检测方法对同一张待检测图像进行检测，从而简化了环境异常的检测过程，进而提高了环境异常的检测效率。
附图说明
图1为一个实施例中环境异常检测方法的应用环境图；
图2为一个实施例中环境异常检测方法的流程示意图；
图3为一个实施例中环境异常检测模型的训练步骤的流程示意图；
图4为另一个实施例中环境异常检测方法的流程示意图；
图5为又一个实施例中环境异常检测方法的流程示意图；
图6为一个实施例中环境异常检测装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的环境异常检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。具体地，参考图1，服务器104获取终端102上传的当前检测周期的待检测图像；提取待检测图像中的图像特征；根据待检测图像中的图像特征，判断待检测图像中是否存在环境异常，若待检测图像中存在环境异常，则根据待检测图像中的图像特征，得到待检测图像中的所有环境异常检测框；每个环境异常检测框对应一种异常环境信息，每个环境异常检测框均携带有位置信息、类别和置信度，位置信息用于标识对应的环境异常检测框的位置信息，类别用于标识对应的环境异常检测框中所包含的异常环境信息的类别，置信度用于标识对应的环境异常检测框中所包含的异常环境信息的类别的置信度；根据每个环境异常检测框携带的位置信息、类别和置信度，确定对待检测图像的环境异常检测结果；此外，服务器104还可以将对待检测图像的环境异常检测结果发送至终端102，通过终端102展示对待检测图像的环境异常检测结果。同时，服务器104还可以获取下一检测周期的待检测图像，根据下一检测周期的待检测图像，得到对应的环境异常检测结果。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种环境异常检测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S201，获取当前检测周期的待检测图像。
其中，待检测图像是指包括多种(两种或者两种以上)异常环境信息，且需要识别出异常环境信息的类别的图像，可以是远程终端拍摄到的图像，也可以是本地缓存的图像，还可以是网络上的图像。在实际场景中，待检测图像是指电厂生产区域所在的图像；此外，待检测图像中可能没有包括异常环境信息，也可能包括一种异常环境信息。
其中，异常环境信息是指明火、烟雾、漏油、漏水等。
具体地，终端根据获取到的可能包括一种或者至少两种异常环境信息的待检测图像，或者根据获取到的可能没有包括异常环境信息的待检测图像，生成环境异常检测请求，并将环境异常检测请求发送至对应的服务器；服务器对接收到的环境异常检测请求进行解析，得到待检测图像。
步骤S202，提取待检测图像中的图像特征。
其中，图像特征用于表征待检测图像中的关键信息。
具体地，服务器根据预设的图像特征提取指令，对待检测图像进行特征提取处理，得到待检测图像中的图像特征。
当然，服务器也可以将待检测图像输入预先训练的特征提取模型，比如卷积神经网络，通过预先训练的特征提取模型对待检测图像进行卷积处理，得到待检测图像中的图像特征。
进一步地，服务器还可以从待检测图像中的图像特征，筛选出关键图像特征，比如用于表征异常环境信息的图像特征，然后根据待检测图像中的关键图像特征，得到待检测图像中的所有环境异常检测框。
步骤S203，根据待检测图像中的图像特征，判断待检测图像中是否存在环境异常，若待检测图像中存在环境异常，则根据待检测图像中的图像特征，得到待检测图像中的所有环境异常检测框；每个环境异常检测框对应一种异常环境信息，每个环境异常检测框均携带有位置信息、类别和置信度。
其中，根据待检测图像中的图像特征，得到待检测图像中的所有环境异常检测框，表示根据待检测图像中的图像特征，可以同时检测出待检测图像中的所有异常环境信息。
其中，位置信息用于标识对应的环境异常检测框的位置信息，类别用于标识对应的环境异常检测框中所包含的异常环境信息的类别，置信度用于标识对应的环境异常检测框中所包含的异常环境信息的类别的置信度。
其中，环境异常检测框是指用于检测异常环境信息的矩形框；环境异常检测框的位置信息可以用环境异常检测框的左上坐标、左下坐标、右上坐标、右下坐标表示。
其中，异常环境信息的类别用于标识异常环境信息所对应的异常环境类型，比如用fire表示异常环境信息所对应的异常环境类型为明火，用smoke表示异常环境信息所对应的异常环境类型为烟雾，用oil表示异常环境信息所对应的异常环境类型为漏油，用water表示异常环境信息所对应的异常环境类型为漏水。
其中，异常环境信息的类别的置信度用于标识本次预测出异常环境信息的类别的可信度；置信度越高，表示预测出的异常环境信息的类别更准确；比如用(fire，0.88)表示待检测图像中的异常环境信息的类别为明火，且异常环境信息的类别为明火的置信度为0.88。
需要说明的是，每个环境异常检测框所携带的位置信息、类别和置信度，可以用一个六元组表示，比如(A1，A2，A3，A4，B，C)；其中，A1，A2，A3，A4分别表示环境异常检测框的左上坐标、左下坐标、右上坐标、右下坐标；B表示环境异常检测框中所包含的异常环境信息的类别，C表示环境异常检测框中所包含的异常环境信息的类别的置信度。
具体地，服务器将待检测图像中的图像特征输入预先训练的环境异常检测模型，通过环境异常检测模型输出待检测图像中的所有环境异常检测框，每个环境异常检测框均携带有位置信息、类别和置信度。其中，预先训练的环境异常检测模型是一种用于同时确定出待检测图像中所包括的所有异常环境信息的类别的深度学习模型，比如Yolov5m模型；采用Yolov5m模型进行环境异常检测，相比于其他异常检测方法，速度与精度均有较大提升。
需要说明的是，预先训练的环境异常检测模型，可以同时完成多种异常环境信息的准确检测，相比其他针对单一类别的异常环境信息的检测方法，检测效率更高、开发及维护成本更低。
在一个实施例中，待检测图像可能包括一种或者多种异常环境信息，也可能没有包括异常环境信息，那么在进行环境异常检测时，服务器先提取待检测图像中的图像特征；接着根据待检测图像中的图像特征，判断待检测图像中是否存在环境异常，若待检测图像中没有存在环境异常，则确认待检测图像没有包括异常环境信息；若待检测图像中存在环境异常，说明待检测图像中包括一种或者多种异常环境信息，则根据待检测图像中的图像特征，得到待检测图像中的所有环境异常检测框；每个环境异常检测框对应一种异常环境信息，每个环境异常检测框均携带有位置信息、类别和置信度；根据每个环境异常检测框携带的位置信息、类别和置信度，确定对待检测图像的环境异常检测结果。
步骤S204，根据每个环境异常检测框携带的位置信息、类别和置信度，确定对待检测图像的环境异常检测结果。
其中，对待检测图像的环境异常检测结果，是指待检测图像中包括的所有异常环境信息的类别。
具体地，服务器根据每个环境异常检测框携带的位置信息、类别和置信度，从待检测图像中的所有环境异常检测框中，筛选出位置信息和置信度均满足对应的阈值的环境异常检测框，作为目标环境异常检测框；根据目标环境异常检测框所携带的类别，确定待检测图像中包括的所有异常环境信息的类别。
进一步地，服务器还可以获取下一检测周期的待检测图像，根据下一检测周期的待检测图像，得到对应的环境异常检测结果；例如，服务器根据下一检测周期的待检测图像，再次执行上述步骤S202-步骤S204，得到下一检测周期的待检测图像对应的环境异常检测结果。也就是说，每个检测周期内的待检测图像，都是按照步骤S202-步骤S204执行。
上述环境异常检测方法中，通过获取当前检测周期的待检测图像，并提取待检测图像中的图像特征；然后根据待检测图像中的图像特征，判断待检测图像中是否存在环境异常，若待检测图像中存在环境异常，则根据待检测图像中的图像特征，得到待检测图像中的所有环境异常检测框；每个环境异常检测框对应一种异常环境信息，每个环境异常检测框均携带有位置信息、类别和置信度，位置信息用于标识对应的环境异常检测框的位置信息，类别用于标识对应的环境异常检测框中所包含的异常环境信息的类别，置信度用于标识对应的环境异常检测框中所包含的异常环境信息的类别的置信度；根据每个环境异常检测框携带的位置信息、类别和置信度，确定对待检测图像的环境异常检测结果；这样，实现了在待检测图像中存在环境异常的情况下，根据待检测图像中的环境异常检测框所携带的位置信息、类别和置信度，即可同时确定出待检测图像中所包括的异常环境信息的类别，无需采用不同的特定检测方法对同一张待检测图像进行检测，从而简化了环境异常的检测过程，进而提高了环境异常的检测效率。
在一个实施例中，上述步骤S203，根据待检测图像中的图像特征，得到待检测图像中的至少两个环境异常检测框，具体包括：将待检测图像中的图像特征输入预先训练的环境异常检测模型，得到待检测图像中的所有环境异常检测框；预先训练的环境异常检测模型用于对待检测图像中的图像特征进行环境异常检测处理，同时得到待检测图像中的所有环境异常检测框。
举例说明，服务器获取预先训练的环境异常检测模型，然后将待检测图像中的图像特征输入预先训练的环境异常检测模型，通过预先训练的环境异常检测模型对待检测图像中的图像特征进行一系列环境异常检测处理，同时得到待检测图像中的所有环境异常检测框。
在本实施例中，通过预先训练的环境异常检测模型，有利于同时确定出待检测图像中所包括的所有异常环境信息的类别，无需采用不同的特定检测方法对同一张待检测图像进行检测，从而简化了环境异常的检测过程，进而提高了环境异常的检测效率。
在一个实施例中，如图3所示，本申请的环境异常检测方法，还包括预先训练的环境异常检测模型的训练步骤，具体包括以下步骤：
步骤S301，采集多个包含有异常环境信息的样本图像。
其中，样本图像包括真实电厂生产区域采集的漏水、漏油图像，以及网络上收集的明火、烟雾图像。
具体地，服务器获取真实电厂生产区域采集的漏水、漏油图像，以及网络上收集的明火、烟雾图像，作为样本图像。
步骤S302，获取样本图像中的环境异常标注框；环境异常标注框携带有标注位置信息和标注类别。
具体地，服务器将样本图像输入标注模型中，通过标注模型得到样本图像中的环境异常标注框，每个环境异常标注框均携带有标注位置信息和标注类别。
需要说明的是，在标注过程中，对于部分零散且边界不规则的明火、烟雾图像，采用更为精细的标注方式替代传统粗略的标注方式，有效提升了环境异常检测模型对小异常实例的敏感性，有利于环境异常检测模型及时捕捉初期阶段的异常环境信息。
步骤S303，将样本图像输入待训练的环境异常检测模型，得到样本图像中的所有环境异常检测框；每个环境异常检测框携带有预测位置信息和预测类别。
具体地，服务器提取出样本图像中的图像特征，将样本图像中的图像特征输入待训练的环境异常检测模型，通过待训练的环境异常检测模型对样本图像中的图像特征进行一系列环境异常检测处理，得到样本图像中的所有环境异常检测框；每个环境异常检测框均携带有预测位置信息和预测类别。
步骤S304，根据环境异常标注框携带的标注位置信息和标注类别，以及环境异常检测框携带的预测位置信息和预测类别，确定损失值。
具体地，服务器根据环境异常标注框携带的标注位置信息与对应的预测位置信息之间的差值，以及环境异常标注框携带的标注类别与对应的预测类别之间的差值，结合损失函数，计算得到损失值。
步骤S305，根据损失值调整待训练的环境异常检测模型的模型参数，并对模型参数调整后的环境异常检测模型进行反复训练，直至根据训练后的环境异常检测模型得到的损失值小于预设阈值，则将训练后的环境异常检测模型，作为预先训练的环境异常检测模型。
具体地，服务器若识别到损失值小于预设阈值，则根据损失值调整待训练的环境异常检测模型的模型参数，得到模型参数调整后的环境异常检测模型；并重复执行步骤S303至步骤S305，以对模型参数调整后的环境异常检测模型进行反复训练，直至根据训练后的环境异常检测模型得到的损失值小于预设阈值；若根据训练后的环境异常检测模型得到的损失值小于预设阈值，则将该训练后的环境异常检测模型，作为预先训练的环境异常检测模型。
举例说明，服务器将Yolov5m模型作为待训练的环境异常检测模型，并设置输入的样本图像的图像分辨率为416×416，训练批大小(Batch Size)为8，优化器采用Adam，共训练150个Epoch，最终得到训练好的Yolov5m模型，作为预先训练的环境异常检测模型。
在本实施例中，通过对环境异常检测模型进行反复训练，有利于提高通过训练好的环境异常检测模型输出的环境异常检测框以及环境异常检测框携带的位置信息、类别、置信度的准确率，从而提高了环境异常的检测准确率。
在一个实施例中，上述步骤S301，采集多个包含有异常环境信息的样本图像，包括：从真实电厂环境的监控视频中，提取出真实电厂环境中包含异常环境信息的第一样本图像；对成像条件不符合预设条件的目标环境进行现场异常环境信息模拟，并获取模拟后的目标环境对应的第二样本图像；成像条件不符合预设条件的目标环境为低光照且存在遮挡的环境；获取开放场景中各种复杂背景下，且包含有异常环境信息的第三样本图像；将第一样本图像、第二样本图像和第三样本图像，作为样本图像。
举例说明，服务器从监控视频中收集真实发生于电厂环境的异常图像，作为第一样本图像；对低光照、遮挡等成像条件较差的环境进行现场异常现象模拟，并采集对应的图像，作为第二样本图像；收集开放场景中各种复杂背景下的环境异常实例图像，作为第三样本图像。
上述步骤S302，获取样本图像中的环境异常标注框，包括：对样本图像进行环境异常标注处理，得到样本图像的异常环境信息的标注位置信息和异常环境信息的标注类别；根据样本图像的异常环境信息的标注位置信息和异常环境信息的标注类别，确定样本图像中的环境异常标注框。
举例说明，工作人员对以上采集到的样本图像进行人工标注，标注信息包括样本图像中每个环境异常实例的位置，以及该环境异常实例的类别；环境异常实例的位置用一个矩形框表示，具体定义为一个四维向量：[x1，y1，x2，y2]，x1，y1分别表示矩形框左上角的横纵坐标，x2，y2分别表示矩形框右下角的横纵坐标。环境异常实例的类别是一个整数，具体定义为0，1，2，3，分别表示火焰类、烟雾类、漏水类、漏油类。
在本实施例中，通过采集包含真实电厂环境异常实例以及开放场景环境异常实例的大规模数据集，使得基于该大规模数据集训练好的环境异常检测模型能够有效适应开放场景下的复杂背景以及真实电厂环境下的遮挡、低光照场景，从而获得相比于其他异常检测方法更好的泛化性以及稳定性。
在一个实施例中，上述步骤S302，在获取样本图像中的异常环境标注框之后，还包括：对携带有环境异常标注框的样本图像进行数据增强处理，得到数据增强处理后的样本图像；那么，上述步骤S303，将样本图像输入待训练的环境异常检测模型，得到样本图像中的所有环境异常检测框，包括：将数据增强处理后的样本图像输入待训练的环境异常检测模型，得到数据增强处理后的样本图像中的所有环境异常检测框。
其中，数据增强处理是指对样本图像进行随机变换和随机拼接，随机变换是指旋转、平移、缩放等变换方式，目的是增强样本图像的背景复杂性，从而增强了样本图像的丰富性，有利于提高训练好的环境异常检测模型的检测性能，比如检测效率、检测准确率等。
举例说明，服务器对携带有环境异常标注框的样本图像进行旋转处理，得到旋转处理后的样本图像；接着，重复执行步骤S303至步骤S305，最终得到训练好的环境异常检测模型，作为预先训练的环境异常检测模型。
在本实施例中，通过对样本图像进行数据增强处理，再根据数据增强处理后的样本图像，对待训练的环境异常检测模型进行训练，有利于提高后续训练得到的环境异常检测模型的检测性能，且能够在有杂乱背景和遮挡的现实场景中仍能保持较高的检测准确率。
在一个实施例中，上述步骤S305，在将训练后的环境异常检测模型，作为预先训练的环境异常检测模型之前，还包括：获取训练后的环境异常检测模型在测试集上的评价指标；若评价指标大于对应的阈值，则确认训练后的环境异常检测模型测试通过。那么，上述步骤S305，将训练后的环境异常检测模型，作为预先训练的环境异常检测模型，具体包括：若训练后的环境异常检测模型测试通过，则将训练后的环境异常检测模型，作为预先训练的环境异常检测模型。
其中，测试集是指样本数据集中的一部分样本图像，比如10％；样本数据集由采集得到的多个包含有异常环境信息的样本图像所构成。
其中，评价指标用于衡量训练后的环境异常检测模型的性能好坏，比如精确率、召回率、mAPIOU＝0.5(mean Average Precision，平均精确率)等。
具体地，服务器获取训练后的环境异常检测模型在测试集上的检测结果，根据训练后的环境异常检测模型在测试集上的检测结果，计算得到训练后的环境异常检测模型在测试集上的评价指标；若识别到该评价指标大于对应的阈值，则确认训练后的环境异常检测模型测试通过，则将训练后的环境异常检测模型，作为预先训练的环境异常检测模型。
例如，训练后的环境异常检测模型在测试集上的精确率与召回率同时达到90％以上，或者训练后的环境异常检测模型在测试集上的召回率达到95％以上，则确认训练后的环境异常检测模型测试通过。当然，还可以通过其他情况，来确认训练后的环境异常检测模型测试通过，具体可以根据实际情况进行设置。
在本实施例中，在确认训练后的环境异常检测模型测试通过的情况下，才将训练后的环境异常检测模型，作为预先训练的环境异常检测模型，有利于进一步提高训练后的环境异常检测模型的检测准确率。
在一个实施例中，上述步骤S204，根据每个环境异常检测框携带的位置信息、类别和置信度，确定对待检测图像的异常环境检测结果，具体包括：从每个环境异常检测框中，筛选出位置信息符合对应的位置信息判断条件的环境异常检测框，作为待检测图像中的目标环境异常检测框；从目标环境异常检测框中，筛选出置信度大于预设阈值的目标环境异常检测框；将置信度大于预设阈值的目标环境异常检测框所携带的类别，识别为待检测图像中的异常环境信息的类别。
其中，位置信息判断条件可以是指环境异常检测框的宽高比例阈值，也可以是指环境异常检测框的面积阈值，还可以是指其他，具体本申请不做限定。
举例说明，服务器获取每个环境异常检测框的长宽比例，然后从每个环境异常检测框中，筛选出长宽比例符合对应的长宽比例阈值的环境异常检测框，作为待检测图像中的目标环境异常检测框；接着，服务器从目标环境异常检测框中，筛选出置信度大于0.7的目标环境异常检测框，并将置信度大于0.7的目标环境异常检测框所携带的类别，识别为待检测图像中的异常环境信息的类别，从而得到对待检测图像的异常环境检测结果。
在本实施例中，根据每个环境异常检测框携带的位置信息、类别和置信度，确定对待检测图像的异常环境检测结果，有利于过滤掉不符合要求的环境异常检测框，使得预测出的待检测图像中的异常环境信息的类别更加准确，从而提高了环境异常的检测准确率。
在一个实施例中，上述步骤S201，获取当前检测周期的待检测图像，具体包括：获取当前检测周期内监控终端实时上传的电厂生产区域的图像，作为待检测图像；那么，上述步骤S204，在根据每个环境异常检测框携带的位置信息、类别和置信度，确定对待检测图像的环境异常检测结果之后，还包括：根据环境异常检测结果，生成对应的环境异常解除指令；将环境异常解除指令发送至监控终端；监控终端用于根据环境异常解除指令，执行对应的环境异常解除操作。
具体地，监控终端通过其连接的监控摄像头，拍摄电厂生产区域所在的图像，并将电厂生产区域所在的图像作为待检测图像上传至对应的服务器中；服务器对待检测图像进行识别，得到待检测图像中的每个环境异常检测框所携带的位置信息、类别和置信度；根据每个环境异常检测框所携带的位置信息、类别和置信度，确定对待检测图像的环境异常检测结果；根据环境异常检测结果，查询预设的环境异常检测结果和环境异常解除指令的对应关系，生成对应的环境异常解除指令，比如待检测图像的异常环境信息为明火和烟雾，则生成明火和烟雾解除指令；最后，服务器将生成的环境异常解除指令发送至监控终端；监控终端根据环境异常解除指令，执行对应的环境异常解除操作，比如通知对应的工作人员到达电厂生产区域中的指定地点，并采用专门的工具进行明火和烟雾的解除操作。
在本实施例中，在根据每个环境异常检测框携带的位置信息、类别和置信度，确定对待检测图像的环境异常检测结果之后，将相关的环境异常解除指令发送至监控终端，以使监控终端根据环境异常解除指令，执行对应的环境异常解除操作，有利于及时解除电厂生产区域中的异常环境信息，保证电厂生产区域处于安全环境中。
进一步地，上述步骤S204，在根据每个环境异常检测框携带的位置信息、类别和置信度，确定对待检测图像的环境异常检测结果之后，还包括：根据环境异常检测结果，确定待检测图像中出现异常环境信息的累积次数；若累积次数大于或者等于预设次数，则根据环境异常检测结果，生成对应的异常告警信息，以提醒工作人员进行对应的异常解除操作；若累积次数小于预设次数，则跳转至获取当前检测周期内监控终端实时上传的电厂生产区域的图像，作为待检测图像的步骤。
举例说明，在实际场景中，参考图4，本申请提供的环境异常检测方法还可以通过下述几个步骤实现：步骤S401，获取监控终端实时上传的电厂生产区域的图像，作为待检测图像。步骤S402，将待检测图像输入环境异常检测模型，得到环境异常判定结果。步骤S403，判断环境异常判定结果是否为环境异常实例，若环境异常判定结果为没有任何环境异常实例，则进入步骤S404。步骤S404，将告警累积值w(一个整数，记录连续出现异常的帧数)清零，并返回至步骤S401。步骤S405，若环境异常判定结果为存在环境异常实例，则将告警累积值w加1，进入步骤S406。步骤S406，判断告警累积值w是否大于阈值wt，若告警累积值w大于阈值wt，则进入步骤S407；若告警累积值w小于或者等于阈值wt，则返回至步骤S401，继续判断下一帧图像。步骤S407，获取当前待检测图像对应的环境异常检测框结果并进行告警，同时将环境异常检测框位置及类别可视化于当前待检测图像上，提醒工作人员进行异常解除操作，并将告警累积值w清零。
在本实施例中，引入告警累计值w称为环境异常告警合并策略，其目的是防止环境异常检测模型对个别图像的误检测导致的误告警，通过累计值w，可判定当连续wt帧图像均检测到异常存在时才进行告警，有效提升了环境异常检测的准确率。
在一个实施例中，如图5所示，提供了又一种异常环境检测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤S501，获取监控终端上传的电厂生产区域的图像，作为待检测图像。
步骤S502，提取待检测图像中的图像特征。
步骤S503，将待检测图像中的图像特征输入预先训练的环境异常检测模型，得到待检测图像中的所有环境异常检测框；每个环境异常检测框对应一种异常环境信息，每个环境异常检测框均携带有位置信息、类别和置信度。
步骤S504，从每个环境异常检测框中，筛选出位置信息符合对应的位置信息判断条件的环境异常检测框，作为待检测图像中的目标环境异常检测框。
步骤S505，从目标环境异常检测框中，筛选出置信度大于预设阈值的目标环境异常检测框。
步骤S506，将置信度大于预设阈值的目标环境异常检测框所携带的类别，识别为待检测图像中的异常环境信息的类别。
步骤S507，根据待检测图像中的异常环境信息的类别，生成对应的环境异常解除指令。
步骤S508，将环境异常解除指令发送至监控终端；监控终端用于根据环境异常解除指令，执行对应的环境异常解除操作。
上述异常环境检测方法，实现了根据待检测图像中的环境异常检测框所携带的位置信息、类别和置信度，即可同时确定出待检测图像中所包括的异常环境信息的类别，无需采用不同的特定检测方法对同一张待检测图像进行检测，从而简化了环境异常的检测过程，进而提高了环境异常的检测效率。
应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种环境异常检测装置，包括：图像获取模块610、特征提取模块620、环境检测模块630和结果确定模块640，其中：
图像获取模块610，用于获取当前检测周期的待检测图像。
特征提取模块620，用于提取待检测图像中的图像特征。
环境检测模块630，用于根据待检测图像中的图像特征，判断待检测图像中是否存在环境异常，若待检测图像中存在环境异常，则根据待检测图像中的图像特征，得到待检测图像中的所有环境异常检测框；每个环境异常检测框对应一种异常环境信息，每个环境异常检测框均携带有位置信息、类别和置信度，位置信息用于标识对应的环境异常检测框的位置信息，类别用于标识对应的环境异常检测框中所包含的异常环境信息的类别，置信度用于标识对应的环境异常检测框中所包含的异常环境信息的类别的置信度。
结果确定模块640，用于根据每个环境异常检测框携带的位置信息、类别和置信度，确定对待检测图像的环境异常检测结果，并获取下一检测周期的待检测图像，根据下一检测周期的待检测图像，得到对应的环境异常检测结果。
在一个实施例中，环境检测模块630，还用于将待检测图像中的图像特征输入预先训练的环境异常检测模型，得到待检测图像中的所有环境异常检测框；预先训练的环境异常检测模型用于对待检测图像中的图像特征进行环境异常检测处理，同时得到待检测图像中的所有环境异常检测框。
在一个实施例中，环境异常检测装置还包括模型训练模块，用于采集多个包含有异常环境信息的样本图像；获取样本图像中的环境异常标注框；环境异常标注框携带有标注位置信息和标注类；将样本图像输入待训练的环境异常检测模型，得到样本图像中的所有环境异常检测框；每个环境异常检测框携带有预测位置信息和预测类别；根据环境异常标注框携带的标注位置信息和标注类别，以及环境异常检测框携带的预测位置信息和预测类别，确定损失值；根据损失值调整待训练的环境异常检测模型的模型参数，并对模型参数调整后的环境异常检测模型进行反复训练，直至根据训练后的环境异常检测模型得到的损失值小于预设阈值，则将训练后的环境异常检测模型，作为预先训练的环境异常检测模型。
在一个实施例中，模型训练模块，还用于从真实电厂环境的监控视频中，提取出真实电厂环境中包含异常环境信息的第一样本图像；对成像条件不符合预设条件的目标环境进行现场异常环境信息模拟，并获取模拟后的目标环境对应的第二样本图像；成像条件不符合预设条件的目标环境为低光照且存在遮挡的环境；获取开放场景中各种复杂背景下，且包含有异常环境信息的第三样本图像；将第一样本图像、第二样本图像和第三样本图像，作为样本图像。
模型训练模块，还用于对样本图像进行环境异常标注处理，得到样本图像的异常环境信息的标注位置信息和异常环境信息的标注类别；根据样本图像的异常环境信息的标注位置信息和异常环境信息的标注类别，确定样本图像中的环境异常标注框。
在一个实施例中，模型训练模块，还用于对携带有环境异常标注框的样本图像进行数据增强处理，得到数据增强处理后的样本图像；
模型训练模块，还用于将数据增强处理后的样本图像输入待训练的环境异常检测模型，得到数据增强处理后的样本图像中的所有环境异常检测框。
在一个实施例中，模型训练模块，还用于获取训练后的环境异常检测模型在测试集上的评价指标；若评价指标大于对应的阈值，则确认训练后的环境异常检测模型测试通过；若训练后的环境异常检测模型测试通过，则将训练后的环境异常检测模型，作为预先训练的环境异常检测模型。
在一个实施例中，结果确定模块640，还用于从每个环境异常检测框中，筛选出位置信息符合对应的位置信息判断条件的环境异常检测框，作为待检测图像中的目标环境异常检测框；从目标环境异常检测框中，筛选出置信度大于预设阈值的目标环境异常检测框；将置信度大于预设阈值的目标环境异常检测框所携带的类别，识别为待检测图像中的异常环境信息的类别。
在一个实施例中，图像获取模块610，还用于获取当前检测周期内监控终端实时上传的电厂生产区域的图像，作为待检测图像；
环境异常检测装置还包括判断模块，用于根据环境异常检测结果，确定待检测图像中出现异常环境信息的累积次数；若累积次数大于或者等于预设次数，则根据环境异常检测结果，生成对应的异常告警信息，以提醒工作人员进行对应的异常解除操作；若累积次数小于预设次数，则跳转至获取当前检测周期内监控终端实时上传的电厂生产区域的图像，作为待检测图像的步骤。
关于环境异常检测装置的具体限定可以参见上文中对于环境异常检测方法的限定，在此不再赘述。上述环境异常检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储环境异常检测框所携带的位置信息、类别、置信度等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种环境异常检测方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种环境异常检测方法，其特征在于，所述方法包括：
获取当前检测周期的待检测图像；；
提取所述待检测图像中的图像特征；
根据所述待检测图像中的图像特征，判断所述待检测图像中是否存在环境异常，若所述待检测图像中存在环境异常，则根据所述待检测图像中的图像特征，得到所述待检测图像中的所有环境异常检测框；每个环境异常检测框对应一种异常环境信息，每个环境异常检测框均携带有位置信息、类别和置信度，所述位置信息用于标识对应的环境异常检测框的位置信息，所述类别用于标识对应的环境异常检测框中所包含的异常环境信息的类别，所述置信度用于标识对应的环境异常检测框中所包含的异常环境信息的类别的置信度；
根据所述每个环境异常检测框携带的位置信息、类别和置信度，确定对所述待检测图像的环境异常检测结果，并获取下一检测周期的待检测图像，根据所述下一检测周期的待检测图像，得到对应的环境异常检测结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待检测图像中的图像特征，得到所述待检测图像中的所有环境异常检测框，包括：
将所述待检测图像中的图像特征输入预先训练的环境异常检测模型，得到所述待检测图像中的所有环境异常检测框；所述预先训练的环境异常检测模型用于对所述待检测图像中的图像特征进行环境异常检测处理，同时得到所述待检测图像中的所有环境异常检测框；
所述预先训练的环境异常检测模型通过下述方式训练得到：
采集多个包含有异常环境信息的样本图像；
获取所述样本图像中的环境异常标注框；所述环境异常标注框携带有标注位置信息和标注类别；
将所述样本图像输入待训练的环境异常检测模型，得到所述样本图像中的所有环境异常检测框；每个环境异常检测框携带有预测位置信息和预测类别；
根据所述环境异常标注框携带的标注位置信息和标注类别，以及所述环境异常检测框携带的预测位置信息和预测类别，确定损失值；
根据所述损失值调整所述待训练的环境异常检测模型的模型参数，并对模型参数调整后的环境异常检测模型进行反复训练，直至根据训练后的环境异常检测模型得到的损失值小于预设阈值，则将所述训练后的环境异常检测模型，作为所述预先训练的环境异常检测模型。
3.根据权利要求2所述的方法，其特征在于，所述采集多个包含有异常环境信息的样本图像，包括：
从真实电厂环境的监控视频中，提取出所述真实电厂环境中包含异常环境信息的第一样本图像；
对成像条件不符合预设条件的目标环境进行现场异常环境信息模拟，并获取模拟后的目标环境对应的第二样本图像；所述成像条件不符合预设条件的目标环境为低光照且存在遮挡的环境；
获取开放场景中各种复杂背景下，且包含有异常环境信息的第三样本图像；
将所述第一样本图像、所述第二样本图像和所述第三样本图像，作为所述样本图像；
所述获取所述样本图像中的环境异常标注框，包括：
对所述样本图像进行环境异常标注处理，得到所述样本图像的异常环境信息的标注位置信息和所述异常环境信息的标注类别；
根据所述样本图像的异常环境信息的标注位置信息和所述异常环境信息的标注类别，确定所述样本图像中的环境异常标注框。
4.根据权利要求2所述的方法，其特征在于，在获取所述样本图像中的异常环境标注框之后，还包括：
对携带有环境异常标注框的样本图像进行数据增强处理，得到数据增强处理后的样本图像；所述将所述样本图像输入待训练的环境异常检测模型，得到所述样本图像中的所有环境异常检测框，包括：
将所述数据增强处理后的样本图像输入待训练的环境异常检测模型，得到所述数据增强处理后的样本图像中的所有环境异常检测框。
5.根据权利要求2所述的方法，其特征在于，在将所述训练后的环境异常检测模型，作为所述预先训练的环境异常检测模型之前，还包括：
获取所述训练后的环境异常检测模型在测试集上的评价指标；
若所述评价指标大于对应的阈值，则确认所述训练后的环境异常检测模型测试通过；
所述将所述训练后的环境异常检测模型，作为所述预先训练的环境异常检测模型，包括：
若所述训练后的环境异常检测模型测试通过，则将所述训练后的环境异常检测模型，作为所述预先训练的环境异常检测模型。
6.根据权利要求1所述的方法，其特征在于，所述根据所述每个环境异常检测框携带的位置信息、类别和置信度，确定对所述待检测图像的异常环境检测结果，包括：
从所述每个环境异常检测框中，筛选出所述位置信息符合对应的位置信息判断条件的环境异常检测框，作为所述待检测图像中的目标环境异常检测框；
从所述目标环境异常检测框中，筛选出所述置信度大于预设阈值的目标环境异常检测框；
将所述置信度大于预设阈值的目标环境异常检测框所携带的类别，识别为所述待检测图像中的异常环境信息的类别。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述获取当前检测周期的待检测图像，包括：
获取当前检测周期内监控终端实时上传的电厂生产区域的图像，作为所述待检测图像；
在根据所述每个环境异常检测框携带的位置信息、类别和置信度，确定对所述待检测图像的环境异常检测结果之后，还包括：
根据所述环境异常检测结果，确定所述待检测图像中出现异常环境信息的累积次数；
若所述累积次数大于或者等于预设次数，则根据所述环境异常检测结果，生成对应的异常告警信息，以提醒工作人员进行对应的异常解除操作；
若所述累积次数小于所述预设次数，则跳转至所述获取当前检测周期内监控终端实时上传的电厂生产区域的图像，作为所述待检测图像的步骤。
8.一种环境异常检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取当前检测周期的待检测图像；
特征提取模块，用于提取所述待检测图像中的图像特征；
环境检测模块，用于根据所述待检测图像中的图像特征，判断所述待检测图像中是否存在环境异常，若所述待检测图像中存在环境异常，则根据所述待检测图像中的图像特征，得到所述待检测图像中的所有环境异常检测框；每个环境异常检测框对应一种异常环境信息，每个环境异常检测框均携带有位置信息、类别和置信度，所述位置信息用于标识对应的环境异常检测框的位置信息，所述类别用于标识对应的环境异常检测框中所包含的异常环境信息的类别，所述置信度用于标识对应的环境异常检测框中所包含的异常环境信息的类别的置信度；
结果确定模块，用于根据所述每个环境异常检测框携带的位置信息、类别和置信度，确定对所述待检测图像的环境异常检测结果，并获取下一检测周期的待检测图像，根据所述下一检测周期的待检测图像，得到对应的环境异常检测结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110528661.1A CN113343779B (zh) | 2021-05-14 | 2021-05-14 | 环境异常检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110528661.1A CN113343779B (zh) | 2021-05-14 | 2021-05-14 | 环境异常检测方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113343779A true CN113343779A (zh) | 2021-09-03 |
| CN113343779B CN113343779B (zh) | 2024-03-12 |
Family
ID=77470053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110528661.1A Active CN113343779B (zh) | 2021-05-14 | 2021-05-14 | 环境异常检测方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113343779B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114170301A (zh) * | 2022-02-09 | 2022-03-11 | 城云科技（中国）有限公司 | 异常市政设施的定位方法、装置及其应用 |
| CN114882414A (zh) * | 2022-05-17 | 2022-08-09 | 北京达佳互联信息技术有限公司 | 异常视频检测方法、装置、电子设备、介质及程序产品 |
| CN115684516A (zh) * | 2022-08-29 | 2023-02-03 | 邯郸市亿润工程咨询有限公司 | 一种水利工程污水处理检测方法、装置、电子设备及介质 |
| CN115861321A (zh) * | 2023-02-28 | 2023-03-28 | 深圳市玄羽科技有限公司 | 应用于工业互联网的生产环境检测方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285699A (ja) * | 2005-03-31 | 2006-10-19 | Nohmi Bosai Ltd | 画像処理装置 |
| US20070281260A1 (en) * | 2006-05-12 | 2007-12-06 | Fossil Power Systems Inc. | Flame detection device and method of detecting flame |
| CN110738125A (zh) * | 2019-09-19 | 2020-01-31 | 平安科技（深圳）有限公司 | 利用Mask R-CNN选择检测框的方法、装置及存储介质 |
| WO2020108366A1 (zh) * | 2018-11-27 | 2020-06-04 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| CN112132090A (zh) * | 2020-09-28 | 2020-12-25 | 天地伟业技术有限公司 | 一种基于yolov3的烟火自动检测预警方法 |
| CN112651358A (zh) * | 2020-12-30 | 2021-04-13 | 深圳市邻友通科技发展有限公司 | 一种目标检测方法、装置、网络摄像机及存储介质 |
| US10990826B1 (en) * | 2019-03-20 | 2021-04-27 | Xilinx, Inc. | Object detection in video |
-
2021
- 2021-05-14 CN CN202110528661.1A patent/CN113343779B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285699A (ja) * | 2005-03-31 | 2006-10-19 | Nohmi Bosai Ltd | 画像処理装置 |
| US20070281260A1 (en) * | 2006-05-12 | 2007-12-06 | Fossil Power Systems Inc. | Flame detection device and method of detecting flame |
| WO2020108366A1 (zh) * | 2018-11-27 | 2020-06-04 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| US10990826B1 (en) * | 2019-03-20 | 2021-04-27 | Xilinx, Inc. | Object detection in video |
| CN110738125A (zh) * | 2019-09-19 | 2020-01-31 | 平安科技（深圳）有限公司 | 利用Mask R-CNN选择检测框的方法、装置及存储介质 |
| CN112132090A (zh) * | 2020-09-28 | 2020-12-25 | 天地伟业技术有限公司 | 一种基于yolov3的烟火自动检测预警方法 |
| CN112651358A (zh) * | 2020-12-30 | 2021-04-13 | 深圳市邻友通科技发展有限公司 | 一种目标检测方法、装置、网络摄像机及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 颜洵等: "基于深度学习的视频火焰烟雾检测方法", 信息通信, no. 9, pages 70 - 72 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114170301A (zh) * | 2022-02-09 | 2022-03-11 | 城云科技（中国）有限公司 | 异常市政设施的定位方法、装置及其应用 |
| CN114882414A (zh) * | 2022-05-17 | 2022-08-09 | 北京达佳互联信息技术有限公司 | 异常视频检测方法、装置、电子设备、介质及程序产品 |
| CN115684516A (zh) * | 2022-08-29 | 2023-02-03 | 邯郸市亿润工程咨询有限公司 | 一种水利工程污水处理检测方法、装置、电子设备及介质 |
| CN115684516B (zh) * | 2022-08-29 | 2024-03-26 | 邯郸市亿润工程咨询有限公司 | 一种水利工程污水处理检测方法、装置、电子设备及介质 |
| CN115861321A (zh) * | 2023-02-28 | 2023-03-28 | 深圳市玄羽科技有限公司 | 应用于工业互联网的生产环境检测方法及系统 |
| CN115861321B (zh) * | 2023-02-28 | 2023-09-05 | 深圳市玄羽科技有限公司 | 应用于工业互联网的生产环境检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113343779B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113343779B (zh) | 环境异常检测方法、装置、计算机设备和存储介质 | |
| CN110084165B (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
| CN110222672B (zh) | 施工现场的安全帽佩戴检测方法、装置、设备及存储介质 | |
| CN111881730A (zh) | 一种火电厂现场安全帽佩戴检测方法 | |
| CN112115775B (zh) | 一种基于计算机视觉的监控场景下的吸烟行为检测方法 | |
| CN112052837A (zh) | 基于人工智能的目标检测方法以及装置 | |
| CN112528974B (zh) | 测距方法、装置、电子设备及可读存储介质 | |
| CN111739020B (zh) | 周期纹理背景缺陷标签自动标注方法、装置、设备及介质 | |
| CN110674680B (zh) | 活体识别的方法、装置、存储介质 | |
| CN111815576B (zh) | 金属部件腐蚀状况检测方法、装置、设备和存储介质 | |
| CN112580430A (zh) | 基于rgb视觉的电厂烟火监测方法、装置、系统和存储介质 | |
| CN113505643A (zh) | 违章目标物检测方法及相关装置 | |
| CN115880765A (zh) | 区域入侵异常行为检测方法、装置及计算机设备 | |
| CN107704818A (zh) | 一种基于视频图像的火灾检测系统 | |
| CN110390226B (zh) | 人群事件识别方法、装置、电子设备及系统 | |
| CN117975057A (zh) | 一种基于特征比对的工厂环境异常检测方法 | |
| CN116363495A (zh) | 场景变化检测方法、装置、计算机设备及存储介质 | |
| CN117475353A (zh) | 基于视频的异常烟雾识别方法及系统 | |
| Singh et al. | Web-Page Interfaced Real-Time Object Detection Using TensorFlow | |
| CN113312981B (zh) | 机房鼠类图像识别方法、系统和存储介质 | |
| JP2024516642A (ja) | 行動検出方法、電子機器およびコンピュータ読み取り可能な記憶媒体 | |
| CN115601684A (zh) | 突发事件预警方法、装置、电子设备及存储介质 | |
| CN111191575B (zh) | 一种基于火苗跳动建模的明火检测方法及系统 | |
| CN114694090A (zh) | 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法 | |
| CN113518205A (zh) | 一种基于ai分析的视频巡查处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |