CN113761996B - 一种火灾识别方法和装置 - Google Patents
一种火灾识别方法和装置 Download PDFInfo
- Publication number
- CN113761996B CN113761996B CN202010850786.1A CN202010850786A CN113761996B CN 113761996 B CN113761996 B CN 113761996B CN 202010850786 A CN202010850786 A CN 202010850786A CN 113761996 B CN113761996 B CN 113761996B
- Authority
- CN
- China
- Prior art keywords
- probability
- state sequence
- fire
- transition
- smoke
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000007704 transition Effects 0.000 claims abstract description 179
- 239000011159 matrix material Substances 0.000 claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 239000000779 smoke Substances 0.000 claims description 117
- 238000012549 training Methods 0.000 claims description 41
- 238000013527 convolutional neural network Methods 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 28
- 238000012216 screening Methods 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 19
- 238000012546 transfer Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 5
- 238000002485 combustion reaction Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000007476 Maximum Likelihood Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000007787 long-term memory Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 229920002430 Fibre-reinforced plastic Polymers 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011151 fibre-reinforced plastic Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000009420 retrofitting Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种火灾识别方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：从视频中获取连续帧的图像；采用经过训练的神经网络计算每帧图像的状态概率，从而得到初始状态序列；根据概率转移矩阵和所述初始状态序列，计算出联合概率最大的转移状态序列；其中，所述概率转移矩阵中的每个元素表示从前一帧图像到下一帧图像发生状态转移的概率，所述转移状态序列表示所述每帧图像经过状态转移后的状态概率；根据所述联合概率最大的转移状态序列判断是否有火灾风险。该实施方式能够解决普通摄像头识别火灾的准确度较低的技术问题。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种火灾识别方法和装置。
背景技术
目前，对火灾的识别主要依赖烟感设备，或者使用带有红外线装置的摄像头通过融合温度和图像的方式来对是否有火灾进行判断。但是烟感设备的缺点是只有在火势已经大到一定程度以后才能发现火情；带有红外装置的摄像头的缺点是设备需要定制化，并且与软件算法强绑定，通用性差，而且需要重新布置定制化的摄像头才能够使用这种技术，而不能复用已经存在的普通摄像头，导致改造成本过高。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
使用普通摄像头识别火灾的最大的问题是容易把红色或黄色的灯光识别成火光，导致识别的准确度较低。
发明内容
有鉴于此，本发明实施例提供一种火灾识别方法和装置，以解决普通摄像头识别火灾的准确度较低的技术问题。
为实现上述目的，根据本发明实施例的一个方面，提供了一种火灾识别方法，包括：
从视频中获取连续帧的图像；
采用经过训练的神经网络计算每帧图像的状态概率，从而得到初始状态序列；
根据概率转移矩阵和所述初始状态序列，计算出联合概率最大的转移状态序列；其中，所述概率转移矩阵中的每个元素表示从前一帧图像到下一帧图像发生状态转移的概率，所述转移状态序列表示所述每帧图像经过状态转移后的状态概率；
根据所述联合概率最大的转移状态序列判断是否有火灾风险。
可选地，所述状态概率包括有火光的概率、无火光的概率、有烟雾的概率和无烟雾的概率。
可选地，采用经过训练的神经网络计算每帧图像的状态概率，包括：
采用经过训练的卷积神经网络对每帧图像进行特征提取，得到每帧图像的特征向量；
将所述每帧图像的特征向量输入到经过训练的长短期记忆网络中，以输出所述每帧图像的状态概率。
可选地，从视频中获取连续帧的图像之前，还包括：
从多个样本视频中分别获取连续帧的样本图像，对每帧样本图像标记标签，所述标签包括是否有火光和是否有烟雾；
采用所述样本图像对卷积神经网络进行有监督训练；
采用所述样本图像对长短期记忆网络进行有监督训练，并进一步训练所述卷积神经网络，从而得到经过训练的卷积神经网络、经过训练的长短期记忆网络和概率转移矩阵。
可选地，根据概率转移矩阵和所述初始状态序列，计算出联合概率最大的转移状态序列，包括：
根据概率转移矩阵和所述初始状态序列，采用连乘积公式分别计算每个转移状态序列的联合概率，从而筛选出联合概率最大的转移状态序列。
可选地，根据概率转移矩阵和所述初始状态序列，采用连乘积公式分别计算每个转移状态序列的联合概率，从而筛选出联合概率最大的转移状态序列，包括：
将所述初始状态概率序列分为火光初始状态序列和烟雾初始状态序列；
基于概率转移矩阵并采用连乘积公式，分别计算每个火光转移状态序列和每个烟雾转移状态序列的联合概率；
分别筛选出联合概率最大的火光转移状态序列和联合概率最大的烟雾转移状态序列。
可选地，还包括：
在计算联合概率最大的转移状态序列的过程中，只保留以每个状态结尾的联合概率最大的转移状态序列。
可选地，根据所述联合概率最大的状态序列判断是否有火灾风险，包括：
根据所述联合概率最大的火光转移状态序列，筛选出有火光的图像；
根据所述联合概率最大的烟雾转移状态序列，筛选出有烟雾的图像；
根据所述有火光的图像的帧数量和所述有烟雾的图像的帧数量占总帧数量的比例，判断是否有火灾风险。
另外，根据本发明实施例的另一个方面，提供了一种火灾识别装置，包括：
获取模块，用于从视频中获取连续帧的图像；
计算模块，用于采用经过训练的神经网络计算每帧图像的状态概率，从而得到初始状态序列；
转移模块，用于根据概率转移矩阵和所述初始状态序列，计算出联合概率最大的转移状态序列；其中，所述概率转移矩阵中的每个元素表示从前一帧图像到下一帧图像发生状态转移的概率，所述转移状态序列表示所述每帧图像经过状态转移后的状态概率；
判断模块，用于根据所述联合概率最大的转移状态序列判断是否有火灾风险。
可选地，所述状态概率包括有火光的概率、无火光的概率、有烟雾的概率和无烟雾的概率。
可选地，所述计算模块还用于：
采用经过训练的卷积神经网络对每帧图像进行特征提取，得到每帧图像的特征向量；
将所述每帧图像的特征向量输入到经过训练的长短期记忆网络中，以输出所述每帧图像的状态概率。
可选地，还包括训练模块，用于：
从视频中获取连续帧的图像之前，从多个样本视频中分别获取连续帧的样本图像，对每帧样本图像标记标签，所述标签包括是否有火光和是否有烟雾；
采用所述样本图像对卷积神经网络进行有监督训练；
采用所述样本图像对长短期记忆网络进行有监督训练，并进一步训练所述卷积神经网络，从而得到经过训练的卷积神经网络、经过训练的长短期记忆网络和概率转移矩阵。
可选地，所述转移模块还用于：
根据概率转移矩阵和所述初始状态序列，采用连乘积公式分别计算每个转移状态序列的联合概率，从而筛选出联合概率最大的转移状态序列。
可选地，所述转移模块还用于：
将所述初始状态概率序列分为火光初始状态序列和烟雾初始状态序列；
基于概率转移矩阵并采用连乘积公式，分别计算每个火光转移状态序列和每个烟雾转移状态序列的联合概率；
分别筛选出联合概率最大的火光转移状态序列和联合概率最大的烟雾转移状态序列。
可选地，所述转移模块还用于：
在计算联合概率最大的转移状态序列的过程中，只保留以每个状态结尾的联合概率最大的转移状态序列。
可选地，所述判断模块还用于：
根据所述联合概率最大的火光转移状态序列，筛选出有火光的图像；
根据所述联合概率最大的烟雾转移状态序列，筛选出有烟雾的图像；
根据所述有火光的图像的帧数量和所述有烟雾的图像的帧数量占总帧数量的比例，判断是否有火灾风险。
根据本发明实施例的另一个方面，还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，所述一个或多个处理器实现上述任一实施例所述的方法。
根据本发明实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：因为采用根据概率转移矩阵和初始状态序列，计算出联合概率最大的转移状态序列，根据联合概率最大的转移状态序列判断是否有火灾风险的技术手段，所以克服了现有技术中普通摄像头识别火灾的准确度较低的技术问题。本发明实施例利用火在燃烧中有火光和烟雾两种明显特征，使用火光和烟雾的探测相互辅助，进行火灾识别；并且本发明实施例利用火的燃烧是动态的这一特性，使用视频作为火灾识别的依据，并使用时间序列对基于火光和烟雾的状态概率进行跟踪，从而提高火灾识别的准确度。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的火灾识别方法的主要流程的示意图；
图2是根据本发明实施例的火灾识别方法的示意图；
图3是根据本发明一个可参考实施例的火灾识别方法的主要流程的示意图；
图4是根据本发明实施例的两种部署方式的示意图；
图5是根据本发明实施例的火灾识别装置的主要模块的示意图；
图6是本发明实施例可以应用于其中的示例性系统架构图；
图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
使用普通摄像头识别火灾的最大的问题是，容易把一些红色或黄色的灯光识别成火光，造成误报。本发明实施例为了解决这个问题，主要抓住了火灾的两种特性：(1)火灾通常伴有烟雾，(2)火的燃烧是一个动态的过程。为了充分利用这两种特性，本发明实施例使用条件随机场对基于火光和烟雾的状态概率进行跟踪，从而提高火灾识别的准确度。
图1是根据本发明实施例的火灾识别方法的主要流程的示意图。作为本发明的一个实施例，如图1所示，所述火灾识别方法可以包括：
步骤101，从视频中获取连续帧的图像。
可以将普通摄像头采集的视频分割成短视频片段，时间长度可以为1秒到10秒)，对于每个视频片段，从视频片段中获取连续帧的图像，比如30帧、48帧、50帧、80帧或者100帧等。需要指出的是，从视频中获取的连续帧图像可以是视频的全部，也可以是视频的一部分。
步骤102，采用经过训练的神经网络计算每帧图像的状态概率，从而得到初始状态序列。
将步骤101中连续帧的图像作为输入，采用经过训练的神经网络计算出每帧图像的状态概率，每帧图像的状态概率就构成了初始状态序列。其中，所述状态序列表示所述每帧图像的状态概率；所述状态概率包括有火光的概率、无火光的概率、有烟雾的概率和无烟雾的概率。也就是说，每帧图像都有四种不同的状态概率。
可选地，采用经过训练的神经网络计算每帧图像的状态概率，包括：采用经过训练的卷积神经网络对每帧图像进行特征提取，得到每帧图像的特征向量；将所述每帧图像的特征向量输入到经过训练的长短期记忆网络中，以输出所述每帧图像的状态概率。
假设视频中共有L个帧，每帧为大小为m×n的图像，表示为：
Xi∈Rm×n，1≤i≤L，表示为Xi∈Rm×n。
如图2所示，首先将每帧图像Xi采用卷积神经网络f(·)进行压缩，变成一个特征向量f(Xi)∈Rk，其中k为向量的维度。压缩的目的是提取每帧图片中与火光和烟雾相关的特征，并用向量表示特征。在本发明的实施例中，网络结构的选择比较自由，当前已经存在的深度卷积神经网络(VGG)，残差网络(ResNet)，Inception网络等均可以作为备选。
然后，将每帧图像的特征向量输入到经过训练的长短期记忆网络中，以输出所述每帧图像的状态概率。由于燃烧的动态特性，本发明实施例使用时间序列模型来对燃烧的动态进行捕捉，比如使用长短期记忆网络(LSTM网络)作为处理时间序列的模型。因此，将每帧图像对应的特征向量按照顺序输入到LSTM网络g(·)中，用于提取前后帧之间的时间相关性，获取与火燃烧的动态相关的信息。LSTM网络输出每帧图像的4个信息，分别表示有火光的概率g(f(Xi))1，无火光的概率g(f(Xi))2，有烟雾的概率g(f(Xi))3，无烟雾的概率g(f(Xi))4。其中，有火光的概率和无火光的概率使用softmax进行归一化，有烟雾的概率和无烟雾的概率使用softmax进行归一化。
但是，仅根据g(f(Xi))1，g(f(Xi))2，g(f(Xi))3和g(f(Xi))4这四个输出的概率来判定每帧图像是否有火光或烟雾是不准确的。因为火的燃烧是一种动态的现象，上一个时段是否检验出火光或烟雾与下一阶段的检验状态实际上是存在着一定的概率关系。例如，上一个时段如果发现火光，那么下一个时段则有更大的概率发现火光或烟雾。因此本发明实施例采用马尔可夫链进行建模，即将有火光，无火光，有烟雾和无烟雾分别用s1，s2，s3，s4表示，作为马尔可夫链的四个状态。而每两个状态之间都有一个转移概率，由此得到概率转移矩阵P(sb|sa)，这是一个4*4的矩阵。其中，矩阵中的每个元素表示上一帧的状态是sa、而下一帧状态是sb的概率。
为了能够准确地提取出图像的特征向量以及计算出状态概率，需要先训练网络。可选地，在步骤101之前，还包括：从多个样本视频中分别获取连续帧的样本图像，对每帧样本图像标记标签，所述标签包括是否有火光和是否有烟雾；采用所述样本图像对卷积神经网络进行有监督训练；采用所述样本图像对长短期记忆网络进行有监督训练，并进一步训练所述卷积神经网络，从而得到经过训练的卷积神经网络、经过训练的长短期记忆网络和概率转移矩阵。在本发明的实施例中，卷积神经网络f(·)的相关参数，LSTM网络g(·)的相关参数以及概率转移矩阵P(sb|sa)是模型中需要通过训练得到的参数，训练过程可以包括如下步骤：
1)打标：
采集视频片段作为样本视频，其中包括含有燃烧过程的视频片段，也包括不含有燃烧过程的视频片段。视频片段的长度没有严格限制，但不宜过短，也不宜过长，通常在25帧到250帧之间(时间长度为1秒到10秒)。拿到一定量用于训练的视频片段以后，对每帧进行标注，注明是否有火光和是否有烟雾。对于每个视频，在每帧图像上进行打标，标记为是否含有火光和是否含有烟雾两种。
2)预训练：
在打标完毕后，先把视频片段中的每帧图像单独提取出来，对卷积神经网络f(·)进行预训练。由于f(·)将图片Xi变成了向量f(Xi)，预训练的时候将f(Xi)再乘以一个矩阵W∈R4×k，变成一个长度为4的向量，向量的第1、2位和第3、4位再分别经过一个softmax(归一化)，作为有火光，无火光，有烟雾和无烟雾的概率，分别表示为P(s1)′，P(s2)′，P(s3)′，P(s4)′。而每帧图像是否含有火光和是否含有烟雾用和/>表示。/>和0分别表示有火光和无火光，/>和0分别表示有烟雾和无烟雾。预训练中使用交叉熵损失函数，为：
使用这一损失函数，通过反向传播算法计算f(·)的参数。
3)全流程训练：
在对f(·)预训练完毕后，对全流程进行训练，其中包括LSTM网络g(·)的参数和概率转移矩阵P(sb|sa)的学习，也包括对f(·)的进一步调优。训练过程中，以每个视频片段作为输入，结合视频片段中每帧图像的标签，使用负极大似然作为损失函数，使用随机梯度下降对相关的参数进行学习。
由于在实际的计算中并没有用到P(s1|s3)，P(s1|s4)，P(s2|s3)，P(s2|s4)，P(s3|s1)，P(s4|s1)，P(s3|s2)，P(s4|s2)，可以采取置零处理，在训练中不进行更新。对其余的参数，在训练中使用负极大似然作为损失函数，表示为：
其中t为视频片段的个数。
需要指出的是，对训练视频的选择要求必须为与实际应用相似的场景中拍摄得到的视频。
步骤103，根据概率转移矩阵和所述初始状态序列，计算出联合概率最大的转移状态序列。
如前文所述，仅根据LSTM网络输出的状态概率来判定每帧图像是否有火光或烟雾是不准确的。因此本发明实施例采用概率专利矩阵来计算每个转移状态序列的联合概率，然后从中筛选出联合概率最大的转移状态序列。其中，所述概率转移矩阵中的每个元素表示从前一帧图像到下一帧图像发生状态转移的概率，所述转移状态序列表示所述每帧图像经过状态转移后的状态概率。
可选地，如图2所示，步骤103可以包括：根据概率转移矩阵和所述初始状态序列，采用连乘积公式分别计算每个转移状态序列的联合概率，从而筛选出联合概率最大的转移状态序列。给定了转移概率P(sb|sa)，以及每帧图像中LSTM网络输出：
Pi(s1)＝g(f(Xi))1，Pi(s2)＝g(f(Xi))2，Pi(s3)＝g(f(Xi))3，Pi(s4)＝g(f(Xi))4，可以得到在L个帧图像中联合概率最大的转移状态序列。其中，一个状态序列表示为[s(1)，s(2)，...，s(i)，...，s(L)]，其联合概率可以由：
ΠiPi(s(i))Π1≤i≤L-1P(s(i+1)|s(i))来表示。
由于火光和烟雾都是火灾中的强特征，识别出任意一个都能够对火灾有足够的判定价值。但如果我们只识别每帧图像中概率最大的状态是不准确的。因为有可能Pi(s1)＜Pi(s4)＜Pi(s3)＜Pi(s2)，这样的话，最终判断出的状态是无火光，但是同时，由于Pi(s4)＜Pi(s3)，这一帧图像中是存在烟雾的，而只关注每帧图像中概率最大的状态就忽略了这一重要信息，因此需要对与火光和烟雾相关的状态分别进行跟踪。因此，本发明实施例对火光和烟雾进行解耦。可选地，根据概率转移矩阵和所述初始状态序列，采用连乘积公式分别计算每个转移状态序列的联合概率，从而筛选出联合概率最大的转移状态序列，包括：将所述初始状态概率序列分为火光初始状态序列和烟雾初始状态序列；基于概率转移矩阵并采用连乘积公式，分别计算每个火光转移状态序列和每个烟雾转移状态序列的联合概率；分别筛选出联合概率最大的火光转移状态序列和联合概率最大的烟雾转移状态序列。
对于输入Xi，定义与火光相关的状态为sα(i)∈{s1，s2}，与烟雾相关的状态为sβ(i)∈{s3，s4}。基于这个设定，本发明实施例将初始状态概率序列分为火光初始状态序列[sα(1)，sα(2)，...，sα(i)，...，sα(L)]*和烟雾初始状态序列|sβ(1)，sβ(2)，...，sβ(i)，...，sβ(L)]*，分别求解联合概率最大的火光转移状态序列和联合概率最大的烟雾转移状态序列。由于s1，s2，s3，s4四个状态之间都存在着转移的关系，两个序列之间是存在耦合的。为了解决这一问题，本发明实施例采用非耦合双条件随机场技术，对状态概率进行解耦，分别求解联合概率最大的序列。
可选地，还包括：在计算联合概率最大的转移状态序列的过程中，只保留以每个状态结尾的联合概率最大的转移状态序列。从第一个帧开始，只保留以每个状态结尾的概率最大的转移状态序列(即火光转移状态序列和烟雾转移状态序列)，直到遍历完所有帧图像。因此，一共维护4个序列，在第1～i个帧所对应的状态的分别表示为：
q1(i)，q2(i)，q3(i)，q4(i)。在i＝1时，q1(1)＝[s1]，q2(1)＝[s2]，q3(1)＝[s3]，q4(1)＝[s4]。而i＝2时，需要按照加入能够使每个序列的联合概率最大的方式加入新的状态的方式来更新序列。
本发明实施例对基于火光和烟雾的状态概率进行跟踪，同时使用时间序列中的LSTM与条件随机场配合的方法对其进行处理，可以显著地提高火灾识别的准确度。
步骤104，根据所述联合概率最大的转移状态序列判断是否有火灾风险。
按照步骤103的方法计算出联合概率最大的转移状态序列后，根据联合概率最大的转移状态序列识别每帧图像是否有火光和烟雾，然后有火光的图像的帧数量和有烟雾的图像的帧数量占总帧数量的比例，判断是否有火灾风险。
可选地，步骤104可以包括：根据所述联合概率最大的火光转移状态序列，筛选出有火光的图像；根据所述联合概率最大的烟雾转移状态序列，筛选出有烟雾的图像；根据所述有火光的图像的帧数量和所述有烟雾的图像的帧数量占总帧数量的比例，判断是否有火灾风险。按照步骤103的方法能够计算出以s1，s2，s3，s4结尾的4个联合概率最大的状态序列，即q1(L)，q2(L)，q3(L)，q4(L)。从中比较，找出q1(L)，q2(L)中联合概率最大的一个转移状态序列作为[sα(1)，sα(2)，...，sα(i)，...，sα(L)]*，从q3(L)，q4(L)中找出联合概率最大的一个转移状态序列作为：
[sβ(1)，sβ(2)，...，sβ(i)，...，sβ(L)]*。这样，就可以从两个转移状态序列的每帧图像的状态中识别出每帧图像是否有火光和烟雾，然后根据有火光的帧数量和有烟雾的帧数量占总帧数量的比例是否超过阈值来判断是否有火灾风险。
根据上面所述的各种实施例，可以看出本发明实施例通过根据概率转移矩阵和初始状态序列，计算出联合概率最大的转移状态序列，根据联合概率最大的转移状态序列判断是否有火灾风险的技术手段，解决了现有技术中普通摄像头识别火灾的准确度较低的技术问题。本发明实施例利用火在燃烧中有火光和烟雾两种明显特征，使用火光和烟雾的探测相互辅助，进行火灾识别；并且本发明实施例利用火的燃烧是动态的这一特性，使用视频作为火灾识别的依据，并使用时间序列对基于火光和烟雾的状态概率进行跟踪，从而提高火灾识别的准确度。
图3是根据本发明一个可参考实施例的火灾识别方法的主要流程的示意图。作为本发明的又一个实施例，如图3所示，所述火灾识别方法可以包括：
步骤301，训练卷积神经网络和长短期记忆网络，得到模型文件。
在本发明的实施例中，卷积神经网络f(·)的相关参数，LSTM网络g(·)的相关参数以及概率转移矩阵P(sb|sa)是模型中需要通过训练得到的参数。需要指出的是，在多个样本视频确定的情况下，通过训练LSTM网络可以得到一个概率转移矩阵P(sb|sa)。
可选地，训练过程可以包括如下步骤：
1)打标：
采集视频片段作为样本视频，其中包括含有燃烧过程的视频片段，也包括不含有燃烧过程的视频片段。视频片段的长度通常在50帧到500帧之间(时间长度为1秒到20秒)。拿到一定量用于训练的视频片段以后，对于每个视频，在每帧图像上进行打标，标记为是否含有火光和是否含有烟雾两种。
2)预训练：
在打标完毕后，先把视频片段中的每帧图像单独提取出来，对卷积神经网络f(·)进行预训练。由于f(·)将图片Xi变成了向量f(Xi)，预训练的时候将f(Xi)再乘以一个矩阵W∈R4×k，变成一个长度为4的向量，向量的第1、2位和第3、4位再分别经过一个softmax(归一化)，作为有火光，无火光，有烟雾和无烟雾的概率，分别表示为P(s1)′，P(s2)′，P(s3)′，P(s4)′。而每帧图像是否含有火光和是否含有烟雾用和/>表示。/>和0分别表示有火光和无火光，/>和0分别表示有烟雾和无烟雾。预训练中使用交叉熵损失函数 使用随机梯度下降对f(·)的相关参数进行学习。
3)全流程训练：
在对f(·)预训练完毕后，对全流程进行训练，其中包括LSTM网络g(·)的参数和概率转移矩阵P(sb|sa)的学习，也包括对f(·)的进一步调优。训练过程中，以每个视频片段作为输入，结合视频片段中每帧图像的标签，使用负极大似然作为损失函数，使用随机梯度下降对相关的参数进行学习。
由于在实际的计算中并没有用到P(s1|s3)，P(s1|s4)，P(s2|s3)，P(s2|s4)，P(s3|s1)，P(s4|s1)，P(s3|s2)，P(s4|s2)，可以采取置零处理，在训练中不进行更新。对其余的参数，在训练中使用负极大似然作为损失函数，表示为：
其中t为视频片段的个数。
步骤302，将训练完成的模型文件进行在线部署。
模型训练完毕后，进行在线部署。在线部署的方式有两种：一种为云端部署；另一种为边缘部署。无论是云端部署还是边缘部署，都需要通过摄像头实时采集视频，再将每个摄像头实时采集的视频分割成视频片段(比如按照每30帧、50帧、100帧或者200帧为单位分割成视频片段)。
实际应用中，在摄像头位置的选择上，可以有目标地选择可能存在火灾隐患高的地点，例如货物堆积较多，存在易燃品的区域所对应的摄像头，也可以无差别将所有的摄像头都接入。
如图4所示，云端部署的方式为，将训练完成的模型文件存储在云服务器上，并以flask框架的形式部署接口，在摄像头采集好视频以后，由后端系统将视频切割成视频片段，再通过调用接口的方式判断是否存在火灾，返回给相应的监控平台。
如图4所示，边缘部署的方式为，使用边缘设备(如TX2等)部署训练完成的模型，同样以flask框架的方式提供接口服务。摄像头采集好视频以后，直接由边缘设备上嵌入的程序切割为视频片段，然后调用接口判断是否有火灾，并通过其接入的报警设备报警。
步骤303，从视频片段中获取连续帧的图像。
步骤304，采用经过训练的卷积神经网络对每帧图像进行特征提取，得到每帧图像的特征向量。
将步骤303中获取的每帧图像Xi采用卷积神经网络f(·)进行压缩，变成一个特征向量f(Xi)∈Rk，其中k为向量的维度。压缩的目的是提取每帧图片中与火光和烟雾相关的特征，并用向量表示特征。
步骤305，将所述每帧图像的特征向量输入到经过训练的长短期记忆网络中，以输出所述每帧图像的状态概率，从而得到初始状态序列。
由于燃烧的动态特性，本发明实施例使用时间序列模型来对燃烧的动态进行捕捉，比如使用长短期记忆网络(LSTM网络)作为处理时间序列的模型。因此，将每帧图像对应的特征向量按照顺序输入到LSTM网络g(·)中，用于提取前后帧之间的时间相关性，获取与火燃烧的动态相关的信息。LSTM网络输出每帧图像的4个信息，分别表示有火光的概率g(f(Xi))1，无火光的概率g(f(Xi))2，有烟雾的概率g(f(Xi))3，无烟雾的概率g(f(Xi))4。其中，有火光的概率和无火光的概率使用softmax进行归一化，有烟雾的概率和无烟雾的概率使用softmax进行归一化。LSTM网络输出的每帧图像的状态概率构成了初始状态序列。
步骤306，将所述初始状态概率序列分为火光初始状态序列和烟雾初始状态序列。
本发明实施例对与火光和烟雾相关的状态分别进行跟踪，因此将步骤305得到的初始状态概率序列分为火光初始状态序列和烟雾初始状态序列，即对火光和烟雾进行解耦。
步骤307，基于概率转移矩阵并采用连乘积公式，分别计算每个火光转移状态序列和每个烟雾转移状态序列的联合概率。
一个状态序列表示为[s(1)，s(2)，...，s(i)，...，s(L)]，其联合概率可以由ΠiPi(s(i))Π1≤i≤L-1P(s(i+1)|s(i))来表示。
步骤308，分别筛选出联合概率最大的火光转移状态序列和联合概率最大的烟雾转移状态序列。
对于输入Xi，定义与火光相关的状态为sα(i)∈{s1，s2}，与烟雾相关的状态为sβ(i)∈{s3，s4}。基于这个设定，本发明实施例将初始状态概率序列分为火光初始状态序列[sα(1)，sα(2)，...，sα(i)，...，sα(L)]*和烟雾初始状态序列[sβ(1)，sβ(2)，...，sβ(i)，...，sβ(L)]*，分别求解联合概率最大的火光转移状态序列和联合概率最大的烟雾转移状态序列。由于s1，s2，s3，s4四个状态之间都存在着转移的关系，两个序列之间是存在耦合的。为了解决这一问题，本发明实施例采用非耦合双条件随机场技术，对状态概率进行解耦，分别求解联合概率最大的序列。
步骤309，根据所述联合概率最大的火光转移状态序列和所述联合概率最大的烟雾转移状态序列，分别筛选出有火光的图像和有烟雾的图像。
按照步骤307的方法能够计算出以s1，s2，s3，s4结尾的4个联合概率最大的状态序列，即q1(L)，q2(L)，q3(L)，q4(L)。从中比较，找出q1(L)，q2(L)中联合概率最大的一个转移状态序列作为：
[sα(1)，sα(2)，...，sα(i)，...，sα(L)]*，从q3(L)，q4(L)中找出联合概率最大的一个转移状态序列作为[sβ(1)，sβ(2)，...，sβ(i)，...，sβ(L)]*。这样，就可以从两个转移状态序列的每帧图像的状态中识别出每帧图像是否有火光和烟雾。
步骤310，根据所述有火光的图像的帧数量和所述有烟雾的图像的帧数量占总帧数量的比例，判断是否有火灾风险。
如果某个摄像头返回的视频片段中含有火光或烟雾的帧数据在总帧数量中占比超过一定的阈值，则判定为该摄像头所监控的区域当前有火灾风险，发出报警。
另外，在本发明一个可参考实施例中火灾识别方法的具体实施内容，在上面所述火灾识别方法中已经详细说明了，故在此重复内容不再说明。
图5是根据本发明实施例的火灾识别装置的主要模块的示意图，如图5所示，所述火灾识别装置500包括获取模块501、计算模块502、转移模块503和判断模块504；获取模块501用于从视频中获取连续帧的图像；计算模块502用于采用经过训练的神经网络计算每帧图像的状态概率，从而得到初始状态序列；转移模块503用于根据概率转移矩阵和所述初始状态序列，计算出联合概率最大的转移状态序列；其中，所述概率转移矩阵中的每个元素表示从前一帧图像到下一帧图像发生状态转移的概率，所述转移状态序列表示所述每帧图像经过状态转移后的状态概率；判断模块504用于根据所述联合概率最大的转移状态序列判断是否有火灾风险。
可选地，所述状态概率包括有火光的概率、无火光的概率、有烟雾的概率和无烟雾的概率。
可选地，所述计算模块502还用于：
采用经过训练的卷积神经网络对每帧图像进行特征提取，得到每帧图像的特征向量；
将所述每帧图像的特征向量输入到经过训练的长短期记忆网络中，以输出所述每帧图像的状态概率。
可选地，还包括训练模块，用于：
从视频中获取连续帧的图像之前，从多个样本视频中分别获取连续帧的样本图像，对每帧样本图像标记标签，所述标签包括是否有火光和是否有烟雾；
采用所述样本图像对卷积神经网络进行有监督训练；
采用所述样本图像对长短期记忆网络进行有监督训练，并进一步训练所述卷积神经网络，从而得到经过训练的卷积神经网络、经过训练的长短期记忆网络和概率转移矩阵。
可选地，所述转移模块503还用于：
根据概率转移矩阵和所述初始状态序列，采用连乘积公式分别计算每个转移状态序列的联合概率，从而筛选出联合概率最大的转移状态序列。
可选地，所述转移模块503还用于：
将所述初始状态概率序列分为火光初始状态序列和烟雾初始状态序列；
基于概率转移矩阵并采用连乘积公式，分别计算每个火光转移状态序列和每个烟雾转移状态序列的联合概率；
分别筛选出联合概率最大的火光转移状态序列和联合概率最大的烟雾转移状态序列。
可选地，所述转移模块503还用于：
在计算联合概率最大的转移状态序列的过程中，只保留以每个状态结尾的联合概率最大的转移状态序列。
可选地，所述判断模块504还用于：
根据所述联合概率最大的火光转移状态序列，筛选出有火光的图像；
根据所述联合概率最大的烟雾转移状态序列，筛选出有烟雾的图像；
根据所述有火光的图像的帧数量和所述有烟雾的图像的帧数量占总帧数量的比例，判断是否有火灾风险。
根据上面所述的各种实施例，可以看出本发明实施例通过根据概率转移矩阵和初始状态序列，计算出联合概率最大的转移状态序列，根据联合概率最大的转移状态序列判断是否有火灾风险的技术手段，解决了现有技术中普通摄像头识别火灾的准确度较低的技术问题。本发明实施例利用火在燃烧中有火光和烟雾两种明显特征，使用火光和烟雾的探测相互辅助，进行火灾识别；并且本发明实施例利用火的燃烧是动态的这一特性，使用视频作为火灾识别的依据，并使用时间序列对基于火光和烟雾的状态概率进行跟踪，从而提高火灾识别的准确度。
需要说明的是，在本发明所述火灾识别装置的具体实施内容，在上面所述火灾识别方法中已经详细说明了，故在此重复内容不再说明。
图6示出了可以应用本发明实施例的火灾识别方法或火灾识别装置的示例性系统架构600。
如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的物品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、物品信息——仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的火灾识别方法一般由服务器605执行，相应地，所述火灾识别装置一般设置在服务器605中。本发明实施例所提供的火灾识别方法也可以由终端设备601、602、603执行，相应地，所述火灾识别装置可以设置在终端设备601、602、603中。
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、计算模块、转移模块和判断模块，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，该设备实现如下方法：从视频中获取连续帧的图像；采用经过训练的神经网络计算每帧图像的状态概率，从而得到初始状态序列；根据概率转移矩阵和所述初始状态序列，计算出联合概率最大的转移状态序列；其中，所述概率转移矩阵中的每个元素表示从前一帧图像到下一帧图像发生状态转移的概率，所述转移状态序列表示所述每帧图像经过状态转移后的状态概率；根据所述联合概率最大的转移状态序列判断是否有火灾风险。
根据本发明实施例的技术方案，因为采用根据概率转移矩阵和初始状态序列，计算出联合概率最大的转移状态序列，根据联合概率最大的转移状态序列判断是否有火灾风险的技术手段，所以克服了现有技术中普通摄像头识别火灾的准确度较低的技术问题。本发明实施例利用火在燃烧中有火光和烟雾两种明显特征，使用火光和烟雾的探测相互辅助，进行火灾识别；并且本发明实施例利用火的燃烧是动态的这一特性，使用视频作为火灾识别的依据，并使用时间序列对基于火光和烟雾的状态概率进行跟踪，从而提高火灾识别的准确度。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (9)
1.一种火灾识别方法，其特征在于，包括：
从视频中获取连续帧的图像；
采用经过训练的神经网络计算每帧图像的状态概率，从而得到初始状态序列；
根据概率转移矩阵和所述初始状态序列，计算出联合概率最大的转移状态序列；其中，所述概率转移矩阵中的每个元素表示从前一帧图像到下一帧图像发生状态转移的概率，所述转移状态序列表示所述每帧图像经过状态转移后的状态概率；
根据所述联合概率最大的转移状态序列判断是否有火灾风险；
根据概率转移矩阵和所述初始状态序列，计算出联合概率最大的转移状态序列，包括：
根据概率转移矩阵和所述初始状态序列，采用连乘积公式分别计算每个转移状态序列的联合概率，从而筛选出联合概率最大的转移状态序列；
根据概率转移矩阵和所述初始状态序列，采用连乘积公式分别计算每个转移状态序列的联合概率，从而筛选出联合概率最大的转移状态序列，包括：
将所述初始状态序列分为火光初始状态序列和烟雾初始状态序列；
基于概率转移矩阵并采用连乘积公式，分别计算每个火光转移状态序列和每个烟雾转移状态序列的联合概率；
分别筛选出联合概率最大的火光转移状态序列和联合概率最大的烟雾转移状态序列。
2.根据权利要求1所述的方法，其特征在于，所述状态概率包括有火光的概率、无火光的概率、有烟雾的概率和无烟雾的概率。
3.根据权利要求1所述的方法，其特征在于，采用经过训练的神经网络计算每帧图像的状态概率，包括：
采用经过训练的卷积神经网络对每帧图像进行特征提取，得到每帧图像的特征向量；
将所述每帧图像的特征向量输入到经过训练的长短期记忆网络中，以输出所述每帧图像的状态概率。
4.根据权利要求3所述的方法，其特征在于，从视频中获取连续帧的图像之前，还包括：
从多个样本视频中分别获取连续帧的样本图像，对每帧样本图像标记标签，所述标签包括是否有火光和是否有烟雾；
采用所述样本图像对卷积神经网络进行有监督训练；
采用所述样本图像对长短期记忆网络进行有监督训练，并进一步训练所述卷积神经网络，从而得到经过训练的卷积神经网络、经过训练的长短期记忆网络和概率转移矩阵。
5.根据权利要求1所述的方法，其特征在于，还包括：
在计算联合概率最大的转移状态序列的过程中，只保留以每个状态结尾的联合概率最大的转移状态序列。
6.根据权利要求1所述的方法，其特征在于，根据所述联合概率最大的状态序列判断是否有火灾风险，包括：
根据所述联合概率最大的火光转移状态序列，筛选出有火光的图像；
根据所述联合概率最大的烟雾转移状态序列，筛选出有烟雾的图像；
根据所述有火光的图像的帧数量和所述有烟雾的图像的帧数量占总帧数量的比例，判断是否有火灾风险。
7.一种火灾识别装置，其特征在于，包括：
获取模块，用于从视频中获取连续帧的图像；
计算模块，用于采用经过训练的神经网络计算每帧图像的状态概率，从而得到初始状态序列；
转移模块，用于根据概率转移矩阵和所述初始状态序列，计算出联合概率最大的转移状态序列；其中，所述概率转移矩阵中的每个元素表示从前一帧图像到下一帧图像发生状态转移的概率，所述转移状态序列表示所述每帧图像经过状态转移后的状态概率；
判断模块，用于根据所述联合概率最大的转移状态序列判断是否有火灾风险；
所述转移模块还用于：
根据概率转移矩阵和所述初始状态序列，采用连乘积公式分别计算每个转移状态序列的联合概率，从而筛选出联合概率最大的转移状态序列；
所述转移模块还用于：
将所述初始状态序列分为火光初始状态序列和烟雾初始状态序列；
基于概率转移矩阵并采用连乘积公式，分别计算每个火光转移状态序列和每个烟雾转移状态序列的联合概率；
分别筛选出联合概率最大的火光转移状态序列和联合概率最大的烟雾转移状态序列。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010850786.1A CN113761996B (zh) | 2020-08-21 | 2020-08-21 | 一种火灾识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010850786.1A CN113761996B (zh) | 2020-08-21 | 2020-08-21 | 一种火灾识别方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113761996A CN113761996A (zh) | 2021-12-07 |
| CN113761996B true CN113761996B (zh) | 2023-11-07 |
Family
ID=78785599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010850786.1A Active CN113761996B (zh) | 2020-08-21 | 2020-08-21 | 一种火灾识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113761996B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA1236577A (en) * | 1984-11-19 | 1988-05-10 | Lalit R. Bahl | Apparatus and method for performing acoustic matching |
| CN102163358A (zh) * | 2011-04-11 | 2011-08-24 | 杭州电子科技大学 | 一种基于视频图像分析的烟雾/火焰检测方法 |
| KR101081051B1 (ko) * | 2010-11-16 | 2011-11-09 | 계명대학교 산학협력단 | 퍼지 유한상태 오토마타를 이용한 화재 불꽃 감지 방법 |
| CN108418843A (zh) * | 2018-06-11 | 2018-08-17 | 中国人民解放军战略支援部队信息工程大学 | 基于攻击图的网络攻击目标识别方法及系统 |
| CN108665069A (zh) * | 2018-04-24 | 2018-10-16 | 东南大学 | 一种用于无人车训练模拟的突发性事件触发机制 |
| CN110120218A (zh) * | 2019-04-29 | 2019-08-13 | 东北大学 | 基于gmm-hmm的高速公路大型车辆识别方法 |
| CN111047156A (zh) * | 2019-11-26 | 2020-04-21 | 深圳市伟图科技开发有限公司 | 一种建筑火灾风险评估方法 |
| CN111368888A (zh) * | 2020-02-25 | 2020-07-03 | 重庆邮电大学 | 基于深度动态贝叶斯网络的服务功能链故障诊断方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5495014B2 (ja) * | 2009-09-09 | 2014-05-21 | ソニー株式会社 | データ処理装置、データ処理方法、およびプログラム |
-
2020
- 2020-08-21 CN CN202010850786.1A patent/CN113761996B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA1236577A (en) * | 1984-11-19 | 1988-05-10 | Lalit R. Bahl | Apparatus and method for performing acoustic matching |
| KR101081051B1 (ko) * | 2010-11-16 | 2011-11-09 | 계명대학교 산학협력단 | 퍼지 유한상태 오토마타를 이용한 화재 불꽃 감지 방법 |
| CN102163358A (zh) * | 2011-04-11 | 2011-08-24 | 杭州电子科技大学 | 一种基于视频图像分析的烟雾/火焰检测方法 |
| CN108665069A (zh) * | 2018-04-24 | 2018-10-16 | 东南大学 | 一种用于无人车训练模拟的突发性事件触发机制 |
| CN108418843A (zh) * | 2018-06-11 | 2018-08-17 | 中国人民解放军战略支援部队信息工程大学 | 基于攻击图的网络攻击目标识别方法及系统 |
| CN110120218A (zh) * | 2019-04-29 | 2019-08-13 | 东北大学 | 基于gmm-hmm的高速公路大型车辆识别方法 |
| CN111047156A (zh) * | 2019-11-26 | 2020-04-21 | 深圳市伟图科技开发有限公司 | 一种建筑火灾风险评估方法 |
| CN111368888A (zh) * | 2020-02-25 | 2020-07-03 | 重庆邮电大学 | 基于深度动态贝叶斯网络的服务功能链故障诊断方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于Marcov模型的舰艇舱室火灾蔓延风险;吴向君;张光辉;陈晓洪;;海军工程大学学报(05);全文 * |
| 野外早期火灾烟雾视频检测技术研究;高丰伟;魏维;程阳;;成都信息工程大学学报(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113761996A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110543815B (zh) | 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质 | |
| CN108269254B (zh) | 图像质量评估方法和装置 | |
| CN109086873B (zh) | 递归神经网络的训练方法、识别方法、装置及处理设备 | |
| CN109308490B (zh) | 用于生成信息的方法和装置 | |
| CN108229456B (zh) | 目标跟踪方法和装置、电子设备、计算机存储介质 | |
| CN109389096B (zh) | 检测方法和装置 | |
| CN108734106B (zh) | 基于对比的快速暴恐视频识别方法 | |
| US20220172476A1 (en) | Video similarity detection method, apparatus, and device | |
| CN113283368B (zh) | 一种模型训练方法、人脸属性分析方法、装置及介质 | |
| CN112200067B (zh) | 智能视频事件检测方法、系统、电子设备和存储介质 | |
| CN112820071B (zh) | 一种行为识别方法和装置 | |
| CN114550053A (zh) | 一种交通事故定责方法、装置、计算机设备及存储介质 | |
| CN112215831B (zh) | 一种用于人脸图像质量的评价方法和系统 | |
| JP4999794B2 (ja) | 静止領域検出方法とその装置、プログラム及び記録媒体 | |
| CN111160410B (zh) | 一种物体检测方法和装置 | |
| CN110781818A (zh) | 视频分类方法、模型训练方法、装置及设备 | |
| CN111368867A (zh) | 档案归类方法及系统、计算机可读存储介质 | |
| CN116258991A (zh) | 一种异常检测装置、系统、方法、以及计算机程序产品 | |
| CN109684953B (zh) | 基于目标检测和粒子滤波算法进行猪只跟踪的方法及装置 | |
| CN114898266A (zh) | 训练方法、图像处理方法、装置、电子设备以及存储介质 | |
| CN111860071A (zh) | 用于识别物品的方法和装置 | |
| CN116578925B (zh) | 基于特征画像的行为预测方法、装置及存储介质 | |
| Cheng et al. | AL‐DDCNN: a distributed crossing semantic gap learning for person re‐identification | |
| CN113761996B (zh) | 一种火灾识别方法和装置 | |
| CN116030390A (zh) | 视频中异常行为的智能检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |