CN113906436A - 用于探测烟雾的方法和设备 - Google Patents
用于探测烟雾的方法和设备 Download PDFInfo
- Publication number
- CN113906436A CN113906436A CN202080039448.8A CN202080039448A CN113906436A CN 113906436 A CN113906436 A CN 113906436A CN 202080039448 A CN202080039448 A CN 202080039448A CN 113906436 A CN113906436 A CN 113906436A
- Authority
- CN
- China
- Prior art keywords
- machine learning
- learning system
- smoke
- images
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000010801 machine learning Methods 0.000 claims abstract description 112
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 230000000306 recurrent effect Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000000644 propagated effect Effects 0.000 claims description 6
- 230000001902 propagating effect Effects 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 239000002253 acid Substances 0.000 description 1
- 239000000443 aerosol Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 239000007792 gaseous phase Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 239000007790 solid phase Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
- G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
- G08B29/186—Fuzzy logic; neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Automation & Control Theory (AREA)
- Fuzzy Systems (AREA)
- Computer Security & Cryptography (AREA)
- Fire-Detection Mechanisms (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种机器学习系统(10)，所述机器学习系统设置用于，根据多个相继检测的图像在所述图像内探测烟雾(12)。所述机器学习系统(10)包括卷积递归神经网络(英：convolutional recurrent neural network)。本发明还涉及一种用于借助所述机器学习系统探测烟雾的方法。
Description
技术领域
本发明涉及一种具有专用的递归模块的用于探测烟雾的机器学习系统以及一种用于借助该机器学习系统探测烟雾的方法。
背景技术
从DE 10 2014 216 644 A1中已知一种用于进行火灾识别的方法。通过观察待监控区域的摄像机，借助数字图像处理来检查由摄像机输出的图像：检查火灾特征(例如火焰、烟柱等)的出现。
作者Xingjian等人在出版物《Convolutional LSTM network:A machinelearning approach for precipitation nowcasting(卷积LSTM网络：一种用于降水预报的机器学习方法)》，Advances in neural information processing systems(神经信息处理系统进展)，中公开一种卷积LSTM(英：Convolutional LSTM，简称ConvLSTM)。
发明内容
在本发明的第一方面中，提出一种专用的机器学习系统、尤其是神经网络，其不仅具有短期记忆而且具有长期记忆。这具有以下优点：机器学习系统可以提取和处理图像中的全局信息、尤其是在空间上重要相关的信息最初源自哪个图像区域，并且可以提取和处理时间上的、局部的信息，例如多个彼此相继的图像中的局部对象位移。由此，机器学习系统可以特别好地提取表征烟雾的局部动态纹理(Textur)。因此，借助该机器学习系统可以特别可靠地探测烟雾。
本发明的第一方面的机器学习系统如此被参数化，使得该机器学习系统根据多个相继检测的图像、尤其是紧接着相继检测的图像来分别在图像内探测烟雾。该机器学习系统的特征在于，其包括卷积递归神经网络(英：convolutional recurrent neuralnetwork，ConvRNN)，例如卷积长短记忆模块(LongShortTermMemory-Modul)(英：convolutional LSTM，以下称为ConvLSTM)。
诸如颜色探测或运动探测、纹理分析之类的图像处理方法可以用于基于视频的烟雾识别。此外，也可以根据所求取的、视频记录的光流来探测烟雾。在此，烟雾是基于其典型地向上定向的运动行为来探测的。然而，烟雾为此必须足够密集，以便能够通过光流确定运动。此外，典型的烟雾运动必须足够长时间地出现，以便确保其涉及烟雾而不是其他对象。
优势在于，提供一种烟雾探测，其具有低的误报率，而在此不降低探测率。此外，在诸如隧道、港口或跑道中之类的专用要求下，也能够可靠地执行烟雾探测。
另一优势是诸如自动扶梯之类的缓慢运动的对象并不导致误报。在借助光流的烟雾探测中，这些对象可能导致误报，因为这些对象在光流中不能够与烟雾区分开来。
ConvRNN、尤其是ConvLSTM的优点是，其共同处理图像的时间信息和全局信息。这对于烟雾的探测是重要的，因为烟雾典型地通过局部动态纹理进行表征，因此借助Conv-RNN/-LSTM可以特别好地提取这些纹理。通过卷积神经网络(英：convolutional neuralnetworks)和递归神经网络(英：recurrent neural networks)的组合不能够实现可比的可靠性和准确性。因为由这两种不同类型的神经网络组成的机器学习系统不能够同时从图像中提取和处理决定性的时间信息和全局信息。然而，由于第一方面的机器学习系统能够共同处理时间信息和全局信息，因此在进行烟雾探测时，该机器学习系统提供特别可靠和准确的结果。
ConvLSTM理解为一种专用的LSTM，其在作者Xingjian等人的文献中示出。在(Conv-)LSTM中，根据三个输入参量求取两个输出参量。这些输入参量中的第一输入参量可以是(Conv-)LSTM的紧接着的先前层的输出参量，而其他两个输入参量可以是(Conv-)LSTM的先前的计算的、尤其是紧接着的先前计算的所求取的输出参量。输出参量中的第一输出参量可以是(Conv-)LSTM的输出参量，将其转发至机器学习系统的后续层、尤其是紧接着的后续层。第二输出参量是表征(Conv-)LSTM的内部状态的参量。在ConvLSTM的情况下，执行ConvLSTM的先前计算的第一输入参量和第一输出参量的滤波。这意味着，ConvLSTM与“普通”LSTM的不同之处在于，其输入参量的卷积现在分别借助至少一个滤波器来实施，而不是标量乘法。应当注意的是，然后对ConvLSTM的两个输入参量的滤波的结果进行相加(aufsummieren)，并且能够借助激活函数来处理所述结果。可以想到，使用多个不同的滤波器。还可以想到，在然后分别借助一个或多个激活函数处理这些相加的结果之前，对所述滤波中的多个滤波的结果进行相加。根据激活函数的结果求取ConvLSTM的输出参量。对于ConvLSTM的数学定义，参见作者Xingjian等人的文献的等式(3)。
应当注意的是，在通过机器学习系统处理图像时，这些图像分别通过卷积递归神经网络处理。还应注意的是，烟雾的探测是根据卷积递归神经网络的所求取的输出参量而输出的。
检测的图像中的多个检测的图像的所考虑的时间窗口优选地在一秒到三秒之间。以前的方案在这种短的时间窗口的情况下不能探测到稀薄的烟雾。
参数化理解为，机器学习系统设置用于探测烟雾。参数化还可以理解为，机器学习系统的参数具有值，使得机器学习系统在图像内探测烟雾或者说探测图像是否包含烟雾。优选地，参数的值在训练(Anlernen)机器学习系统时已匹配，使得机器学习系统探测烟雾。
烟雾可以理解为由固相在气相中组成的混合物。烟雾还可以理解为通过燃烧产生的、呈极细分布的形式的气溶胶，其由颗粒(例如灰尘颗粒或灰烬颗粒)和/或液滴(水、油蒸汽、酸蒸汽、液体燃烧残留物)组成，尤其是包含在废气中。
提出，机器学习系统还如此被参数化，使得其输出一输出参量，该输出参量表征在借助机器学习系统处理的相应图像内是否映射(abgebildet)烟雾。表征可以理解为对图像进行分类。优选地，参量附加地表征图像内探测到烟雾的位置。例如，参量附加地表征框住(umrandet)所探测到的烟雾的“边界框”。
还提出，机器学习系统如此被参数化，使得该机器学习系统输出矩阵作为输出参量。矩阵的项
借助机器学习系统分别配属于经处理的图像内的多个片段中的一个片段。矩阵的项表征在所配属的片段内是否有烟雾成像。在此的优点是，实现在图像内烟雾的定位。
还提出，输出参量或矩阵的项分别表征概率。也可以想到，机器学习系统被参数化、尤其是被设置用于在图像内分割烟雾。
还提出，机器学习系统包括多个前后依次(hintereinander)连接的ConvLSTM。相应的ConvLSTM包括的滤波器的数量随着机器学习系统的深度的增加而增加，并且尤其经处理的图像的分辨率随着机器学习系统的深度的增加而降低。在ConvLSTM之间分别连接池化层(Verwerfungsschicht)(英：pooling-layer)。最后的ConvLST与全网状神经网络(英：fully connected neural network)连接，其输出机器学习系统的输出参量。神经网络接收最后的ConvLSTM的所求取的输出参量作为输入参量。
池化层可以理解为，该层从其输入参量中去除信息，尤其是分别在该输入参量的多个片段中的一个片段内。池化层可以实施所谓的平均池化或最大池化。
应当注意的是，全网状神经网络可以充当所谓的分类器和定位器(英：classifiyer and localizer)。优选地，在该神经网络中使用Sigmoid函数作为激活函数，并且在Conv-RNN/-LSTM中使用tanh和Hard-Sigmoid激活函数。
还提出，使用所谓的快速卷积递归神经网络(英：fast R-CNN)、尤其是“区域建议”(Regionen-vorschlagendes)神经网络(英：region joroposal network，RPN，区域候选网络)，而不是全网状神经网络。在此的优点是，可以在图像内定位灵活的烟雾。
机器学习系统的深度可以理解为机器学习系统的ConvLSTM相对于接收机器学习系统的输入参量的那个ConvLSTM的在序列内的位置。
还提出，将机器学习系统与光学、视觉和/或声学警报器连接，例如烟雾报警器/火灾报警器。也可以想到，机器学习系统是火灾报警设备的一部分，其优选地与建筑物管理系统连接。还可以想到，机器学习系统与安全控制中心连接，例如通过互联网或内联网。附加地或替代地，多个摄像机可以分别与机器学习系统连接，并且机器学习系统通过网络与火灾报警设备和/或安全控制中心连接。替代地或附加地，求取警报或警报判定，其根据探测到的烟雾来求取。可以想到，将警报或警报判定通过网络传输至火灾报警设备和/或安全控制中心。
也可以想到，将警报或警报判定转发至中央监控点并由人进行交叉检查。附加地或替代地，可以将具有借助机器学习系统探测到的烟雾和/或具有所求取的警报(区域)的图像之一传输到监控点。
机器学习系统可以集成在摄像机中，也可以在局部或全局网络中的服务器上运行，建筑物的摄像机与该网络连接。
在此有利的是，警报判定是根据传播通过机器学习系统的、所有先前图像来做出的。如此，例如，在已经在第三图像之后的警报判定中，已经有三个图像进入到警报判定中，并且在第42图像之后的警报判定中，总共有42个图像进入到警报判定中。
还提出，机器学习系统的一个输入端与摄像机连接。在此，连接可以理解为，将通过摄像机所检测到的图像分别作为输入参量提供给机器学习系统。其中，摄像机检测图像中的多个图像，并且相继提供图像分别作为输入参量。摄像机可以是图像摄像机/视频摄像机/红外线摄像机和/或基于事件的摄像机。
在本发明的第二方面中，提出一种方法、尤其是一种计算机实现的方法，其用于借助机器学习系统在图像内探测烟雾。机器学习系统是根据本发明的第一方面的机器学习系统。机器学习系统包括多个层，所述多个层根据预给定的顺序(Reihenfolge)连接，并且这些层中的至少一层包括Conv-RNN或ConvLSTM。该方法包括以下步骤：接收多个相继检测的图像、尤其是多个紧接着相继检测的图像。然后进行：使检测的图像中的多个检测的图像相继地传播通过机器学习系统。在传播时，逐步通过机器学习系统的层处理图像，并且这些层的顺序的最后一层输出机器学习系统的输出参量。应当注意的是，最后一层是经参数化的，以输出机器学习系统的输出参量。输出参量表征在图像内是否有烟雾成像。还应注意的是，根据机器学习系统的输出参量探测烟雾。应当注意的是，图像中的多个图像可以逐步或同时传播通过机器学习系统。
附加地，根据机器学习系统的输出参量可以输出：在图像内是否有烟雾成像。也可以想到，根据输出参量求取并在必要时输出烟雾的强度或量和/或密度。
应当注意的是，本发明的第一方面的机器学习系统及其所有不同实施方式都可以用于本发明的第二方面。
应当注意的是，第一和第二方面的图像例如可以是借助照相机或视频摄像机检测的RGB图像、灰度值图像、流图像或图像差异(Bilddifferenzen)。还提出，以附加的信息或光流、(替代地)图像差异来丰富图像。这具有以下优点：因此可以更加可靠和准确地探测烟雾。
还提出，根据多个训练数据(Trainingsdaten)来训练机器学习系统，所述训练数据包括训练图像和分别配属的输出参量。在进行训练时，训练图像传播通过机器学习系统。根据机器学习系统的所求取的输出参量和训练图像的分别配属的输出参量，如此匹配机器学习系统的参数化，使得所求取的输出参量与训练输出参量之间的偏差最小化。
优选地，偏差的最小化、尤其是优化借助梯度下降方法、例如反向传播时间来执行。偏差可能是差异。借助数学间距尺寸(Abstandsmaβ)来求取偏差。
还提出，训练图像包括以下图像：这些图像仅包含具有和没有烟雾的图像。附加地，训练图像也可以包含以下图像：这些图像不仅示出烟雾，而且除了烟雾之外还示出火焰或火发生地(Feuerstelle)。这允许以下：还训练机器学习系统探测火或火灾。
还提出，在训练后压缩机器学习系统，例如通过所谓的修剪(Pruning)。优点是，这允许在移动终端设备中使用。
还提出，根据机器学习系统的所求取的参量来操控烟雾报警器。
附加地或替代地，根据机器学习系统的输出参量，可以根据第一方面操控警报器。当根据机器学习系统的输出参量探测到烟雾时，诸如烟雾报警器之类的警报器可以输出警告信号。附加地或替代地，可以根据本发明的第一方面来操控上述其他系统，或可以向这些系统提供警报或警报判定。
在另一方面中，提出一种计算机程序。该计算机程序设置用于实施前述方法之一。计算机程序包括指令，当计算机程序在计算机上运行时，所述指令促使计算机实施这些所提及的方法之一及其所有步骤。此外，提出一种机器可读的存储模块，在该机器可读的存储模块上存储有计算机程序。此外，提出一种设备，该设备设置用于实施所述方法之一。
附图说明
下面参考附图更详细地阐述本发明的实施方式。在此示出：
图1示出一种用于探测烟雾的设备的示意性结构；
图2示出被参数化以便探测烟雾机器学习系统的示意图；
图3示出一种借助机器学习系统探测烟雾的方法的流程图的示意图；
图4示出可以用于训练机器学习系统的设备的示意图。
具体实施方式
图1示出一种用于探测烟雾的装置(12)的示例性实施方式。在该实施方式中，该设备包括与机器学习系统(10)连接的摄像机(11)。摄像机(11)检测摄像机(11)的周围环境的多个图像。例如，如果由于对象(13)燃烧或过热而在摄像机(11)的周围环境中产生烟，则摄像机的图像将包含烟雾(12)。摄像机的图像中的多个图像通过机器学习系统(10)相继处理。机器学习系统(10)如此被参数化，使得该机器学习系统根据相继处理的图像而分别输出一输出参量，该输出参量表征在相应的图像内是否有烟雾成像(12)。根据机器学习系统的一个或多个输出参量，可以探测烟雾。
在该设备的另一实施方式中，机器学习系统(10)例如与烟雾报警器连接。烟雾报警器根据机器学习系统的输出参量来确定该烟雾报警器是否应该触发警报。
图2示意性示出机器学习系统(10)的结构。在图2中，机器学习系统(10)示例性地通过神经网络给出。在图2中所描绘的实施方式中，机器学习系统(10)包括多个层，所述多个层根据可预给定的顺序彼此连接。这些层要么是ConvLSTM(20)要么是池化层，其例如执行平均/最大池化。该顺序在图2中如此，使得在每一个ConvLSTM(20)之后跟随一个池化层。附加地，机器学习系统(10)的最后一层可以与全网状神经网络(21)连接。优选地，全网状神经网络(21)是分类器，该分类器输出分类：在由机器学习系统(10)所处理的图像中是否包含有烟雾。替代地，全网状神经网络可以输出矩阵，该矩阵的项分别配属于经处理的图像的多个片段中的一个片段，并且这些项分别表征在相应的片段内是否有烟雾成像。然后，这对应于图像内烟雾的定位。
此外，在图2中，示例性地在其相应层的上方记载这些层的输入参量具有怎样的分辨率。机器学习系统(10)的输入参量(图2：“输入帧”)、即通过机器学习系统(10)所处理的图像在该实施方式中具有256x256x3的分辨率。同样示例性示出相应的层是如何配置的。例如，第一ConvLSTM层通过4个滤波器配置，这4个滤波器分别具有3x3的分辨率。
此外，图2示意性示出ConvLSTM(20)的结构。
ConvLSTM(20)接收三个不同的输入参量(x，h，c)。根据这三个输入参量(x，h，c)，ConvLSTM(20)求取两个输出参量(c'，h')。第一输入参量(x)是相应ConvLSTM层的输入参量或图像。第二输入参量(h)是在一个处理/时间步骤(Zeit-schritt)、尤其是在紧接着的先前处理/时间步骤ConvLSTM(20)的先前求取的输出参量。这意味着，所求取的输出参量包含该ConvLSTM的先前处理的输入参量的信息。第三输入参量(c)是ConvLSTM(20)的内部状态，该内部状态是根据第一和第二输入参量(x，h)来进行更新的，尤其是在每个处理/时间步骤。
为了求取两个输出参量(h'，c')，分别将第一和第二输入参量借助不同的滤波器(fh，fx，ch，cx，ih，ix，oh，ox)进行滤波并相应于在图2中所示出的连接进行相加。然后，将激活函数应用于相应的求和结果。激活函数在图2中示例性地通过Sigmoid/tanh函数给出。
然后，在所谓的输入门、遗忘门和输出门中，根据在图2中所示出的连接，处理激活函数的结果以形成输出参量(c'，h')。
图3示意性示出一种用于探测烟雾的方法的流程图(30)。
该方法以步骤300开始。在该步骤中，机器学习系统(10)接收摄像机(11)的相继检测的图像中的多个相继检测的图像。
在随后的步骤310中，各个图像相继传播通过机器学习系统(10)。
在步骤320中，在这些图像中的每个图像都已传播通过机器学习系统之后，机器学习系统(10)分别输出一个输出参量。
在随后的步骤330中，然后可以根据由机器学习系统(10)输出的输出参量来判定：摄像机的周围环境中是否存在烟雾。例如，这可以通过将机器学习系统的输出参量与阈值进行比较来执行。如果输出参量大于阈值，则可以判定存在烟雾。
可选地，在步骤330结束之后，可以实施步骤340。在此，根据步骤330的结果操控烟雾报警器。例如，如果机器学习系统的输出参量已高于阈值，则烟雾报警器可以输出警告信号，例如警告音。
在用于探测烟雾的方法的另一实施方式中，可以在实施步骤300之前训练机器学习系统(10)。
在训练机器学习系统(10)时，借助优化方法、优选梯度下降方法，例如反向传播时间(英：backpropagation-through-time)，在成本函数(英：loss function，损失函数)方面优化机器学习系统的参数化。成本函数表征：取决于参数化的、所求取的输出参量与广泛的(breitgestellten)训练输出参量之间的差异。为了优化所述参数化，可以借助梯度下降方法来求取梯度，其中，然后根据所求取的梯度匹配所述参数化。
为了进行训练，提供包含训练图像的训练数据，机器学习系统根据这些训练数据求取输出参量。此外，训练输出参量分别配属于训练图像。
训练的步骤可以多次地前后依次实施，直到满足可预给定的终止标准为止，例如直到差异或该差异的变化小于可预给定的值为止。
图4示出一种用于训练机器学习系统(10)的设备(40)的示意图。设备(40)包括包含训练数据的数据库(41)。训练数据包括标记的图像(x)，其标记(ys)表征在图像中是否有烟雾成像。图像(x)通过机器学习系统(10)处理并作为输出参量(y)提供给差异模块(42)。差异模块(42)还接收标签(ys)，并根据标签(ys)以及根据输出参量(y)求取差异，随后将该差异传递至匹配模块(43)。匹配模块然后根据差异求取机器学习系统(10)的参数化(θ)的变化(θ')。随后，根据存储器(P)中的变化(θ')匹配参数化(θ)。
此外，设备(40)可以包括计算单元(44)和存储元件(45)。
Claims (10)
1.一种机器学习系统(10)，所述机器学习系统被参数化以根据图像、尤其是视频帧的序列的彼此相继的图像在所述图像中探测烟雾(12)，
其中，所述机器学习系统(10)包括卷积递归神经网络(英：convolutional recurrentneural network)、尤其是卷积LSTM模块(英：convolutional LSTM-Modul)。
2.根据权利要求1所述的机器学习系统(10)，所述机器学习系统还被参数化以输出一输出参量，所述输出参量表征在所述图像内是否有烟雾成像(12)。
3.根据权利要求1或2所述的机器学习系统(10)，所述机器学习系统被参数化以根据相应的各个图像分别输出矩阵作为输出参量，
其中，所述矩阵的项分别配属于相应图像的可预给定的多个片段中的一个片段，并且
其中，所述矩阵的项表征：在所述相应图像的所配属的片段内是否有烟雾成像(12)。
4.根据前述权利要求中任一项所述的机器学习系统(10)，所述机器学习系统包括多个前后依次连接的卷积LSTM模块(20)，
其中，相应的卷积LSTM模块(20)包括的滤波器的数量随着所述相应的卷积LSTM模块的位置深度的增加而增加，并且，尤其是传播通过所述机器学习系统的图像的分辨率随着所述相应的卷积LSTM模块的位置深度的增加而降低，
其中，在所述卷积LSTM模块(20)之间分别连接有池化层(英：pooling-layer)，
其中，所述前后依次连接的卷积LSTM模块(20)中的多个前后依次连接的卷积LSTM模块的最后的卷积LSTM模块(20)与全网状神经网络(英：fully connected neural network，全连接神经网络)连接，所述全网状神经网络被参数化以输出所述机器学习系统(10)的所述输出参量。
5.根据前述权利要求中任一项所述的机器学习系统(10)，所述机器学习系统具有输入端，其中，所述输入端设置用于向所述机器学习系统(10)提供由摄像机检测的多个图像。
6.一种用于借助机器学习系统(10)在图像内探测烟雾(12)的方法，所述机器学习系统被参数化以根据多个、尤其是紧接着相继检测的图像来在所述图像中探测烟雾(12)，
其中，所述机器学习系统(10)、尤其神经网络包括根据预先给定的顺序连接的多个层，并且所述层中的至少一个层包括卷积递归神经网络(英：convolutional recurrentneural network)、尤其是卷积LSTM模块(20)，所述方法包括以下步骤：
-接收多个、尤其是紧接着相继检测的图像；
-使所检测的图像中的多个检测的图像相继传播通过所述机器学习系统(10)，
其中，在所述传播中，逐步地通过所述机器学习系统(10)的层处理所述图像，并且所述层的顺序中的最后一层输出所述输出参量。
7.根据权利要求6所述的方法，其中，根据多个训练数据训练所述机器学习系统(10)，所述多个训练数据包括训练图像(x)和分别配属的训练输出参量(ys)，
其中，在所述训练中，使所述训练图像(x)传播通过所述机器学习系统(10)，并且，根据所述机器学习系统(10)的所求取的输出参量和所述训练图像的分别配属的训练输出参量，如此匹配所述机器学习系统(10)的参数化，使得所求取的输出参量与所述训练输出参量之间的偏差最小化。
8.根据权利要求6或7中任一项所述的方法，其中，根据所述机器学习系统(10)的所求取的输出参量来操控烟雾警报。
9.一种计算机程序，所述计算机程序包括指令，所述指令设置为，当在计算机上实施所述指令时，促使所述计算机实施根据权利要求6至8中任一项所述的方法。
10.一种机器可读的存储元件，在所述机器可读的存储元件上存储有根据权利要求9所述的计算机程序。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102019207711.0 | 2019-05-27 | ||
| DE102019207711.0A DE102019207711A1 (de) | 2019-05-27 | 2019-05-27 | Verfahren und Vorrichtung zur Detektion von Rauch |
| PCT/EP2020/063957 WO2020239540A1 (de) | 2019-05-27 | 2020-05-19 | Verfahren und vorrichtung zur detektion von rauch |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113906436A true CN113906436A (zh) | 2022-01-07 |
Family
ID=70779765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080039448.8A Pending CN113906436A (zh) | 2019-05-27 | 2020-05-19 | 用于探测烟雾的方法和设备 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220230519A1 (zh) |
| EP (1) | EP3977430A1 (zh) |
| CN (1) | CN113906436A (zh) |
| DE (1) | DE102019207711A1 (zh) |
| WO (1) | WO2020239540A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113536938A (zh) * | 2021-06-18 | 2021-10-22 | 云南电网有限责任公司 | 一种融合5g的输电线路山火智能预警方法及系统 |
| DE102021213978A1 (de) | 2021-12-08 | 2023-06-15 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum ortsspezifischen Adaptieren eines Branddetektionssystems, Verfahren zum Erkennen eines Brandereignisses und Vorrichtung |
| WO2024079511A1 (en) | 2022-10-13 | 2024-04-18 | Bosch Security Systems - Sistemas De Segurança, S.A | Method and apparatus for calibrating a laser range finder of a camera |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014216644A1 (de) | 2014-08-21 | 2016-02-25 | Robert Bosch Gmbh | Branddetektionsvorrichtung zur Detektion eines Brandes sowie Verfahren zur Detektion eines Brandes mit der Branddetektionsvorrichtung |
| JP6968681B2 (ja) * | 2016-12-21 | 2021-11-17 | ホーチキ株式会社 | 火災監視システム |
| JP6867153B2 (ja) * | 2016-12-21 | 2021-04-28 | ホーチキ株式会社 | 異常監視システム |
| WO2018165103A1 (en) * | 2017-03-06 | 2018-09-13 | University Of Southern California | Machine learning for digital pathology |
| US10268646B2 (en) * | 2017-06-06 | 2019-04-23 | Facebook, Inc. | Tensor-based deep relevance model for search on online social networks |
| US10955584B2 (en) * | 2018-04-25 | 2021-03-23 | Microsoft Technology Licensing, Llc | Predicting microclimate |
-
2019
- 2019-05-27 DE DE102019207711.0A patent/DE102019207711A1/de active Pending
-
2020
- 2020-05-19 EP EP20727261.8A patent/EP3977430A1/de active Pending
- 2020-05-19 CN CN202080039448.8A patent/CN113906436A/zh active Pending
- 2020-05-19 WO PCT/EP2020/063957 patent/WO2020239540A1/de unknown
- 2020-05-19 US US17/613,674 patent/US20220230519A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20220230519A1 (en) | 2022-07-21 |
| WO2020239540A1 (de) | 2020-12-03 |
| DE102019207711A1 (de) | 2020-12-03 |
| EP3977430A1 (de) | 2022-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101995107B1 (ko) | 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 | |
| JP6867153B2 (ja) | 異常監視システム | |
| CN113906436A (zh) | 用于探测烟雾的方法和设备 | |
| CN112541520A (zh) | 用于为神经网络生成反事实数据样本的设备和方法 | |
| KR101910542B1 (ko) | 객체 검출을 위한 영상분석 서버장치 및 방법 | |
| KR102002812B1 (ko) | 객체 검출을 위한 영상분석 서버장치 및 방법 | |
| JP2022506905A (ja) | 知覚システムを評価するシステム及び方法 | |
| CN109711322A (zh) | 一种基于rfcn的人车分离方法 | |
| CN112836676A (zh) | 一种异常行为检测方法、装置、电子设备及存储介质 | |
| KR102028930B1 (ko) | 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법 | |
| CN112183166A (zh) | 确定训练样本的方法、装置和电子设备 | |
| CN111368634B (zh) | 基于神经网络的人头检测方法、系统及存储介质 | |
| US11521059B2 (en) | Device and a method for processing data sequences using a convolutional neural network | |
| CN111881322B (zh) | 一种目标搜索方法、装置、电子设备及存储介质 | |
| CN116403162B (zh) | 一种机场场面目标行为识别方法、系统及电子设备 | |
| CN113378638A (zh) | 基于人体关节点检测和d-gru网络的轮机员异常行为识别方法 | |
| US20230260259A1 (en) | Method and device for training a neural network | |
| WO2020091749A1 (en) | Object detection using a combination of deep learning and non-deep learning techniques | |
| CN111191575B (zh) | 一种基于火苗跳动建模的明火检测方法及系统 | |
| CN114332694A (zh) | 电梯烟雾识别方法、系统、终端设备及存储介质 | |
| CN113255549A (zh) | 一种狼群围猎行为状态智能识别方法及系统 | |
| CN113627493A (zh) | 一种基于卷积神经网络模型的火灾检测方法 | |
| CN111325735A (zh) | 基于深度学习的航空发动机保险状态检测方法 | |
| CN117152668B (zh) | 一种基于物联网的智慧后勤实现方法、装置及设备 | |
| CN111666819B (zh) | 一种融合多元信息的高精度视频异常事件检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |