CN116403161A - 基于图像识别的智能火灾监控系统 - Google Patents

基于图像识别的智能火灾监控系统 Download PDF

Info

Publication number
CN116403161A
CN116403161A CN202310371880.2A CN202310371880A CN116403161A CN 116403161 A CN116403161 A CN 116403161A CN 202310371880 A CN202310371880 A CN 202310371880A CN 116403161 A CN116403161 A CN 116403161A
Authority
CN
China
Prior art keywords
fire
image
adaptive
vector
description text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310371880.2A
Other languages
English (en)
Inventor
刘广智
王玉峥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Aoshen Intelligent Engineering Co ltd
Original Assignee
Shandong Aoshen Intelligent Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Aoshen Intelligent Engineering Co ltd filed Critical Shandong Aoshen Intelligent Engineering Co ltd
Priority to CN202310371880.2A priority Critical patent/CN116403161A/zh
Publication of CN116403161A publication Critical patent/CN116403161A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及火灾监控的技术领域，揭露了基于图像识别的智能火灾监控系统，所述系统流程包括：构建自适应火灾图像生成模型；根据火灾描述文本模块和火灾图像解码模块结构确定自适应火灾图像生成目标函数；对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数；基于最优自适应火灾图像生成模型以及火灾描述文本生成大量不同场景下的火灾图像，基于生成的火灾图像训练得到火灾识别模型进行火灾监控。本发明实现基于火灾描述文本生成特定场景的火灾图像，设计两阶段优化目标的模型优化方案，生成得到符合文本描述内容且更接近真实火灾图像的图像，并基于生成的火灾图像训练得到火灾识别模型进行火灾监控。

Description

基于图像识别的智能火灾监控系统
技术领域
本发明涉及火灾监控的技术领域，尤其涉及基于图像识别的智能火灾监控系统。
背景技术
在社会生活中，火灾严重威胁公共安全，损害人类财产和生命安全。火灾发生时如何尽早发现以及预警,一直是人们所研究的重点问题。传统基于图像处理的火灾图像识别是通过对火焰或者烟雾图像进行特征分析与提取来识别火灾，人工设计的特征提取算法对于多背景复杂图像难以准确提取特征，算法也存在识别准确度低、实时性差等问题。且当前基于深度学习的火灾图像识别是通过深度神经网络对火灾烟火数据集进行样本学习，训练出能识别火焰或烟雾的网络来达到识别火灾的目的。但此方法也存在数据集少、训练耗时大等问题。本专利提出一种基于图像识别的智能火灾监控系统。
发明内容
有鉴于此，本发明提供基于图像识别的智能火灾监控系统，目的在于1）设计火灾图像生成模型，在火灾图像数据较少且较难获取的情况下，自动生成火灾图像数据，且所设计火灾图像生成模型能够基于火灾描述文本生成特定的火灾图像，利用所生成的火灾图像样本训练得到基于图像的火灾识别模型，利用火灾识别模型进行基于火灾图像的火灾智能监控识别；2）构建两阶段的火灾图像生成模型优化策略，在第一阶段的优化过程中，基于文本编码结果的语义信息实现火灾描述文本中描述物品的结构确定以及位置定位，得到涵盖背景以及物品轮廓的场景粗略图像，进而在第二阶段优化过程中对场景粗略图像进行细化，使得细化后的图像更加接近真实火灾图像；3）利用基于每轮迭代最优解的参数迭代方向控制策略进行火灾图像生成模型优化，快速得到最优模型参数。
为实现上述目的，本发明提供的基于图像识别的智能火灾监控系统，包括以下系统流程：
S1：构建自适应火灾图像生成模型，所述自适应火灾图像生成模型以火灾描述文本数据为输入，以火灾图像数据为输出，其中自适应火灾图像生成模型包含火灾描述文本编码模块和火灾图像解码模块；
S2：构建火灾描述文本编码模块结构，将输入的火灾描述文本数据进行预处理并输入到火灾描述文本编码模块，得到向量化编码后的火灾描述向量数据；
S3：构建火灾图像解码模块结构，以向量化编码后的火灾描述向量数据为输入，以所生成的火灾图像数据为输出；
S4：根据火灾描述文本模块和火灾图像解码模块结构确定自适应火灾图像生成目标函数；
S5：对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，形成最优自适应火灾图像生成模型；
S6：基于最优自适应火灾图像生成模型生成大量不同场景下的火灾图像，构建火灾识别模型，并利用生成的火灾图像数据对构建的火灾识别模型进行优化，得到最优火灾识别模型，利用最优火灾识别模型进行基于火灾图像的火灾智能监控识别。
作为本发明的进一步改进流程：
可选地，所述S1步骤中构建自适应火灾图像生成模型，包括：
构建自适应火灾图像生成模型，所述自适应火灾图像生成模型以火灾描述文本数据为输入，以对应的火灾图像数据为输出，其中自适应火灾图像生成模型包含火灾描述文本编码模块和火灾图像解码模块，火灾描述文本编码模块用于接收用户输入的火灾描述文本并进行编码表示，火灾图像解码模块用于根据火灾描述文本的编码表示结果生成对应描述的火灾图像。
可选地，所述S2步骤中构建火灾描述文本编码模块结构，包括：
构建火灾描述文本编码模块结构，其中所述火灾描述文本编码模块结构包括词向量编码层、卷积层、池化层以及卷积融合层；
词向量编码层用于接收火灾描述文本并进行词向量表示，卷积层用于提取词向量表示结果的语义特征，池化层用于提取语义特征中的重要语义信息，卷积融合层用于对重要语义信息进行扩展，得到火灾描述向量数据；
所述基于火灾描述文本编码模块的火灾描述文本编码流程为：
S21：火灾描述文本编码模块中的词向量编码层接收火灾描述文本，并基于预设的分词词典对火灾描述文本进行分词处理，所述分词处理流程为：将火灾描述文本中任意连续的若干字符在分词词典中进行匹配，若匹配成功则表示该连续字符为分词结果；
S22：利用独热编码法对分词结果进行编码处理，使用符号向量在两个句子间插入分隔符，并为编码后的分词结果添加分段向量以及位置向量，得到火灾描述文本中每个分词结果的词向量表示结果，则任意第i个分词结果的词向量表示结果
Figure SMS_1
为：
Figure SMS_2
；
其中：
Figure SMS_3
表示第i个分词结果的独热编码表示向量，/>
Figure SMS_4
为第i个分词结果的分段向量，表示第i个分词结果处于火灾描述文本的第/>
Figure SMS_5
句话，/>
Figure SMS_6
表示分词结果的位置向量，/>
Figure SMS_7
；
S23：将所有分词结果的词向量表示结果进行拼接，得到火灾描述文本的编码结果e：
Figure SMS_8
；
其中：
T表示转置，
Figure SMS_9
表示拼接操作，n表示火灾描述文本的分词结果总数；
S24：将火灾描述文本的编码结果输入到卷积层中，得到火灾描述文本的语义特征，所述卷积层中包括N个卷积核，每个卷积核的尺寸不同，其中第i个分词结果的语义特征为：
Figure SMS_10
；
其中：
Figure SMS_11
表示第i个分词结果经第j个卷积核输出的语义特征；
S25：将火灾描述文本的语义特征输入到池化层中，池化层提取每个分词结果所对应语义特征的重要语义信息，其中第i个分词结果所对应语义特征的重要语义信息
Figure SMS_12
为：
Figure SMS_13
；
构建长为m的滑动窗口，其中滑动窗口每次滑动的距离为m/2，将滑动窗口沿N个卷积核输出的语义特征进行滑动，得到
Figure SMS_14
段滑动窗口表示结果，取每段滑动窗口内的最大语义特征作为该段滑动窗口的重要语义信息，其中/>
Figure SMS_15
表示第i个分词结果所对应第/>
Figure SMS_16
段滑动窗口表示结果的重要语义信息；
S26：将火灾描述文本的重要语义特征输入到卷积融合层，卷积融合层对每个分词结果的重要语义信息进行扩展，选取上下文语义相似度最高的扩展语义向量作为该分词结果的最终编码表示结果；
利用二维反卷积操作对每个分词结果的重要语义信息进行反卷积操作，扩大重要语义信息的空间分辨率，得到重要语义信息的语义信息矩阵，并计算当前分词结果前后两个分词结果的平均语义向量，计算语义信息矩阵中每一列语义向量与平均语义向量的余弦相似度，将相似度最高的语义向量作为当前分词结果的最终编码表示，其中平均语义向量的计算方法为计算语义信息矩阵的列均值；
将所有分词结果的最终编码表示结果进行拼接，得到火灾描述文本的火灾描述向量数据F。
可选地，所述S3步骤中构建火灾图像解码模块结构，包括：
构建火灾图像解码模块结构，所述火灾图像解码模块包括场景图像初始化层以及火灾图像生成层，其中场景图像初始化层用于根据火灾描述向量数据生成场景粗略图像，所述场景图像包括图像中的背景以及物体位置，火灾图像生成层用于对所生成的场景粗略图像进行深层细化，得到火灾图像；
基于火灾图像解码模块的火灾图像生成流程为：
S31：场景图像初始化层提取火灾描述向量中不同分词结果的最终编码表示结果，并对所提取的最终编码表示结果进行结构化处理，生成不同最终编码表示结果的结构向量，所述结构向量生成的损失函数为结构向量与对应最终编码表示结果的余弦相似度；
S32：将所生成的结构向量重构为图像，并基于火灾描述向量中不同分词结果的语义关系确定所生成的对应图像区域的位置关系，基于所确定的位置关系将重构得到的图像拼接为场景粗略图像；
S33：火灾图像生成层接收火灾描述向量以及场景粗略图像，利用编码器对场景粗略图像进行编码处理，其中编码器包含若干卷积层以及批归一化层，得到场景粗略图像的图像编码特征；将火灾描述向量与图像编码特征进行融合，并将融合特征输入到残差网络中生成火灾图像，所述残差网络由四个残差块组成，每个残差块包括一个block和激活函数ReLU，其中block由两对卷积层和批归一化层组成。
可选地，所述S4步骤中确定自适应火灾图像生成目标函数，包括：
确定所构建自适应火灾图像生成模型的自适应火灾图像生成目标函数，通过对自适应火灾图像生成目标函数进行优化求解，得到自适应火灾图像生成模型的最优参数，所确定的自适应火灾图像生成目标函数为：
Figure SMS_17
；
Figure SMS_18
；
其中：
Figure SMS_19
表示火灾描述文本第u个分词结果的最终编码表示结果，/>
Figure SMS_20
表示场景图像初始化层生成的对应图像区域，/>
Figure SMS_21
表示余弦相似度计算方法；
Figure SMS_22
表示基于火灾描述向量数据F所生成的场景粗略图像，/>
Figure SMS_23
表示基于场景粗略图像以及火灾描述向量数据生成的火灾图像，y表示真实火灾图像；
Figure SMS_24
表示火灾描述向量数据F的分布符合预设置的火灾描述向量分布；
E表示期望计算。
可选地，所述S5步骤中对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，包括：对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，其中待优化求解参数包括场景图像初始化层中的参数
Figure SMS_25
以及火灾图像生成层中的参数/>
Figure SMS_26
，通过求解目标函数/>
Figure SMS_27
得到参数/>
Figure SMS_28
，求解目标函数/>
Figure SMS_29
得到参数/>
Figure SMS_30
，其中模型参数的优化求解流程为：
S51：初始化U组参数
Figure SMS_31
，其中v=1，2，/>
Figure SMS_32
表示参数/>
Figure SMS_33
的初始化参数，/>
Figure SMS_34
表示参数
Figure SMS_35
的初始化参数，/>
Figure SMS_36
；S52：设置当前算法迭代次数为h，h的初始值为1，设置最大算法迭代次数为Max；
S53：将第h-1次迭代结果
Figure SMS_37
构建为U组自适应火灾图像生成模型，并计算不同自适应火灾图像生成模型的目标函数值/>
Figure SMS_38
；若v=1，则选取使得目标函数值/>
Figure SMS_39
达到最大的迭代结果作为第h次迭代的期望参数/>
Figure SMS_40
，否则选取使得目标函数值/>
Figure SMS_41
达到最小的迭代结果作为第h次迭代的期望参数/>
Figure SMS_42
；
S54：判断算法的当前迭代次数
Figure SMS_43
是否满足/>
Figure SMS_44
，若不满足，则利用下式对第h-1次迭代结果进行更新：
Figure SMS_45
；
其中：
I表示单位矩阵；
Figure SMS_46
表示0-1之间的随机向量；
并令h=h+1，返回步骤S53；
若满足
Figure SMS_47
，则将/>
Figure SMS_48
作为求解得到的最优自适应火灾图像生成模型参数。
可选地，所述S6步骤中基于最优自适应火灾图像生成模型生成大量不同场景下的火灾图像，包括：
最优自适应火灾图像生成模型接收若干组火灾描述文本，利用火灾描述文本编码模块对所接收的火灾描述文本进行编码表示，基于编码表示结果，利用火灾图像解码模块生成对应多组的火灾图像。
可选地，所述S6步骤中构建火灾识别模型，并利用生成的火灾图像数据对构建的火灾识别模型进行优化，得到最优火灾识别模型，包括：
构建火灾识别模型，其中所述火灾识别模型包含输入层、特征提取层以及火灾识别层，输入层用于接收火灾图像，特征提取层用于提取火灾图像的图像特征，火灾识别层用于识别判断图像中是否存在火灾；
所述基于火灾识别模型的火灾识别流程为：
输入层接收火灾图像，并对所接收的火灾图像进行规格化处理，所述规格化处理包括图像压缩或图像扩展，规格化处理后的火灾图像格式为
Figure SMS_49
像素；
特征提取层将规格化处理后的火灾图像划分为等大的8个子区域图像，并对每个子区域图像进行二维离散小波变换，分别提取变换后水平方向以及竖直方向高频分量的平方作为该子区域的特征值，将8个子区域图像的特征值进行拼接得到火灾图像的图像特征；
火灾识别层构建基于权重向量以及偏置向量的火灾识别公式：
Figure SMS_50
；
其中：
Q表示图像特征，
Figure SMS_51
表示高维的非线性映射；
Figure SMS_52
表示权重向量，b表示偏置向量；
Figure SMS_53
表示对图像特征Q所对应的图像的火灾识别结果，/>
Figure SMS_54
，
Figure SMS_55
表示识别到火灾，/>
Figure SMS_56
表示未识别到火灾；
利用生成的火灾图像数据以及采集的非火灾图像数据对构建的火灾识别模型进行优化，利用最优火灾识别模型进行基于火灾图像的火灾智能监控识别，所述火灾识别模型的优化方法为基于最小二乘法求解得到火灾识别层的权重向量以及偏置向量。
为了解决上述问题，本发明提供一种基于图像识别的智能火灾监控系统，所述系统结构包括：
火灾图像生成装置，用于构建自适应火灾图像生成模型，根据火灾描述文本模块和火灾图像解码模块结构确定自适应火灾图像生成目标函数，对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，形成最优自适应火灾图像生成模型；
图像接收模块，用于实时接收待火灾识别的图像；
火灾识别装置，用于基于最优自适应火灾图像生成模型生成大量不同场景下的火灾图像，构建火灾识别模型，并利用生成的火灾图像数据对构建的火灾识别模型进行优化，得到最优火灾识别模型，利用最优火灾识别模型进行基于火灾图像的火灾智能监控识别。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及处理器，执行所述存储器中存储的指令以实现上述所述的智能火灾监控系统。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的智能火灾监控系统。
相对于现有技术，本发明提出基于图像识别的智能火灾监控系统，该技术具有以下优势：
首先，本方案提出一种自适应火灾图像生成模型，所述自适应火灾图像生成模型以火灾描述文本数据为输入，以对应的火灾图像数据为输出，其中自适应火灾图像生成模型包含火灾描述文本编码模块和火灾图像解码模块，火灾描述文本编码模块用于接收用户输入的火灾描述文本并进行编码表示，火灾图像解码模块用于根据火灾描述文本的编码表示结果生成对应描述的火灾图像。利用生成的火灾图像数据以及采集的非火灾图像数据对构建的火灾识别模型进行优化，利用最优火灾识别模型进行基于火灾图像的火灾智能监控识别，所述火灾识别模型的优化方法为基于最小二乘法求解得到火灾识别层的权重向量以及偏置向量。所述基于火灾识别模型的火灾识别流程为：输入层接收火灾图像，并对所接收的火灾图像进行规格化处理，所述规格化处理包括图像压缩或图像扩展，规格化处理后的火灾图像格式为
Figure SMS_57
像素；特征提取层将规格化处理后的火灾图像划分为等大的8个子区域图像，并对每个子区域图像进行二维离散小波变换，分别提取变换后水平方向以及竖直方向高频分量的平方作为该子区域的特征值，将8个子区域图像的特征值进行拼接得到火灾图像的图像特征；火灾识别层构建基于权重向量以及偏置向量的火灾识别公式：
Figure SMS_58
；
其中：
Q表示图像特征，
Figure SMS_59
表示高维的非线性映射；
Figure SMS_60
表示权重向量，b表示偏置向量；
Figure SMS_61
表示对图像特征Q所对应的图像的火灾识别结果，/>
Figure SMS_62
，
Figure SMS_63
表示识别到火灾，/>
Figure SMS_64
表示未识别到火灾；
本方案通过设计火灾图像生成模型，在火灾图像数据较少且较难获取的情况下，自动生成火灾图像数据，且所设计火灾图像生成模型能够基于火灾描述文本生成特定的火灾图像，利用所生成的火灾图像样本训练得到基于图像的火灾识别模型，利用火灾识别模型进行基于火灾图像的火灾智能监控识别。
因此，本方案提出一种自适应火灾图像生成模型的快速优化求解方法，通过对自适应火灾图像生成目标函数进行优化求解，得到自适应火灾图像生成模型的最优参数，所确定的自适应火灾图像生成目标函数为：
Figure SMS_65
；
Figure SMS_66
；
其中：
Figure SMS_67
表示火灾描述文本第u个分词结果的最终编码表示结果，/>
Figure SMS_68
表示场景图像初始化层生成的对应图像区域，/>
Figure SMS_69
表示余弦相似度计算方法；
Figure SMS_70
表示基于火灾描述向量数据F所生成的场景粗略图像，/>
Figure SMS_71
表示基于场景粗略图像以及火灾描述向量数据生成的火灾图像，y表示真实火灾图像；
Figure SMS_72
表示火灾描述向量数据F的分布符合预设置的火灾描述向量分布；
E表示期望计算。
对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，其中待优化求解参数包括场景图像初始化层中的参数
Figure SMS_82
以及火灾图像生成层中的参数/>
Figure SMS_73
，通过求解目标函数/>
Figure SMS_78
得到参数/>
Figure SMS_84
，求解目标函数/>
Figure SMS_88
得到参数/>
Figure SMS_89
，其中模型参数的优化求解流程为：初始化U组参数/>
Figure SMS_90
，其中v=1，2，/>
Figure SMS_83
表示参数/>
Figure SMS_86
的初始化参数，/>
Figure SMS_76
表示参数/>
Figure SMS_80
的初始化参数，/>
Figure SMS_74
；S52：设置当前算法迭代次数为h，h的初始值为1，设置最大算法迭代次数为Max；将第h-1次迭代结果/>
Figure SMS_79
构建为U组自适应火灾图像生成模型，并计算不同自适应火灾图像生成模型的目标函数值/>
Figure SMS_87
；若v=1，则选取使得目标函数值
Figure SMS_92
达到最大的迭代结果作为第h次迭代的期望参数/>
Figure SMS_77
，否则选取使得目标函数值
Figure SMS_81
达到最小的迭代结果作为第h次迭代的期望参数/>
Figure SMS_85
；判断算法的当前迭代次数/>
Figure SMS_91
是否满足/>
Figure SMS_75
，若不满足，则利用下式对第h-1次迭代结果进行更新：
Figure SMS_93
；
其中：
I表示单位矩阵；
Figure SMS_94
表示0-1之间的随机向量；并令h=h+1，返回上述步骤；若满足/>
Figure SMS_95
，则将/>
Figure SMS_96
作为求解得到的最优自适应火灾图像生成模型参数。
本方案构建两阶段的火灾图像生成模型优化策略，在第一阶段的优化过程中，基于文本编码结果的语义信息实现火灾描述文本中描述物品的结构确定以及位置定位，得到涵盖背景以及物品轮廓的场景粗略图像，进而在第二阶段优化过程中对场景粗略图像进行细化，使得细化后的图像更加接近真实火灾图像，并在算法迭代过程中，利用基于每轮迭代最优解的参数迭代方向控制策略进行火灾图像生成模型优化，可以快速得到最优模型参数。
附图说明
图1为本发明一实施例提供的基于图像识别的智能火灾监控系统的流程示意图；
图2为本发明一实施例提供的智能火灾监控系统的功能模块图；
图3为本发明一实施例提供的实现智能火灾监控系统的电子设备的结构示意图。
图中：1电子设备，10处理器，11存储器，12程序，13通信接口，100基于图像识别的智能火灾监控系统，101火灾图像生成装置，102图像接收模块，103火灾识别装置。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供基于图像识别的智能火灾监控系统。所述智能火灾监控系统的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述智能火灾监控系统可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
实施例1：
S1：构建自适应火灾图像生成模型，所述自适应火灾图像生成模型以火灾描述文本数据为输入，以火灾图像数据为输出，其中自适应火灾图像生成模型包含火灾描述文本编码模块和火灾图像解码模块。
所述S1步骤中构建自适应火灾图像生成模型，包括：
构建自适应火灾图像生成模型，所述自适应火灾图像生成模型以火灾描述文本数据为输入，以对应的火灾图像数据为输出，其中自适应火灾图像生成模型包含火灾描述文本编码模块和火灾图像解码模块，火灾描述文本编码模块用于接收用户输入的火灾描述文本并进行编码表示，火灾图像解码模块用于根据火灾描述文本的编码表示结果生成对应描述的火灾图像。
S2：构建火灾描述文本编码模块结构，将输入的火灾描述文本数据进行预处理并输入到火灾描述文本编码模块，得到向量化编码后的火灾描述向量数据。
所述S2步骤中构建火灾描述文本编码模块结构，包括：
构建火灾描述文本编码模块结构，其中所述火灾描述文本编码模块结构包括词向量编码层、卷积层、池化层以及卷积融合层；
词向量编码层用于接收火灾描述文本并进行词向量表示，卷积层用于提取词向量表示结果的语义特征，池化层用于提取语义特征中的重要语义信息，卷积融合层用于对重要语义信息进行扩展，得到火灾描述向量数据；
所述基于火灾描述文本编码模块的火灾描述文本编码流程为：
S21：火灾描述文本编码模块中的词向量编码层接收火灾描述文本，并基于预设的分词词典对火灾描述文本进行分词处理，所述分词处理流程为：将火灾描述文本中任意连续的若干字符在分词词典中进行匹配，若匹配成功则表示该连续字符为分词结果；
S22：利用独热编码法对分词结果进行编码处理，使用符号向量在两个句子间插入分隔符，并为编码后的分词结果添加分段向量以及位置向量，得到火灾描述文本中每个分词结果的词向量表示结果，则任意第i个分词结果的词向量表示结果
Figure SMS_97
为：
Figure SMS_98
；
其中：
Figure SMS_99
表示第i个分词结果的独热编码表示向量，/>
Figure SMS_100
为第i个分词结果的分段向量，表示第i个分词结果处于火灾描述文本的第/>
Figure SMS_101
句话，/>
Figure SMS_102
表示分词结果的位置向量，/>
Figure SMS_103
；
S23：将所有分词结果的词向量表示结果进行拼接，得到火灾描述文本的编码结果e：
Figure SMS_104
；
其中：
T表示转置，
Figure SMS_105
表示拼接操作，n表示火灾描述文本的分词结果总数；
S24：将火灾描述文本的编码结果输入到卷积层中，得到火灾描述文本的语义特征，所述卷积层中包括N个卷积核，每个卷积核的尺寸不同，其中第i个分词结果的语义特征为：
Figure SMS_106
；
其中：
Figure SMS_107
表示第i个分词结果经第j个卷积核输出的语义特征；
S25：将火灾描述文本的语义特征输入到池化层中，池化层提取每个分词结果所对应语义特征的重要语义信息，其中第i个分词结果所对应语义特征的重要语义信息
Figure SMS_108
为：
Figure SMS_109
；
构建长为m的滑动窗口，其中滑动窗口每次滑动的距离为m/2，将滑动窗口沿N个卷积核输出的语义特征进行滑动，得到
Figure SMS_110
段滑动窗口表示结果，取每段滑动窗口内的最大语义特征作为该段滑动窗口的重要语义信息，其中/>
Figure SMS_111
表示第i个分词结果所对应第/>
Figure SMS_112
段滑动窗口表示结果的重要语义信息；
S26：将火灾描述文本的重要语义特征输入到卷积融合层，卷积融合层对每个分词结果的重要语义信息进行扩展，选取上下文语义相似度最高的扩展语义向量作为该分词结果的最终编码表示结果；
利用二维反卷积操作对每个分词结果的重要语义信息进行反卷积操作，扩大重要语义信息的空间分辨率，得到重要语义信息的语义信息矩阵，并计算当前分词结果前后两个分词结果的平均语义向量，计算语义信息矩阵中每一列语义向量与平均语义向量的余弦相似度，将相似度最高的语义向量作为当前分词结果的最终编码表示，其中平均语义向量的计算方法为计算语义信息矩阵的列均值；
将所有分词结果的最终编码表示结果进行拼接，得到火灾描述文本的火灾描述向量数据F。
S3：构建火灾图像解码模块结构，以向量化编码后的火灾描述向量数据为输入，以所生成的火灾图像数据为输出。
所述S3步骤中构建火灾图像解码模块结构，包括：
构建火灾图像解码模块结构，所述火灾图像解码模块包括场景图像初始化层以及火灾图像生成层，其中场景图像初始化层用于根据火灾描述向量数据生成场景粗略图像，所述场景图像包括图像中的背景以及物体位置，火灾图像生成层用于对所生成的场景粗略图像进行深层细化，得到火灾图像；
基于火灾图像解码模块的火灾图像生成流程为：
S31：场景图像初始化层提取火灾描述向量中不同分词结果的最终编码表示结果，并对所提取的最终编码表示结果进行结构化处理，生成不同最终编码表示结果的结构向量，所述结构向量生成的损失函数为结构向量与对应最终编码表示结果的余弦相似度；
S32：将所生成的结构向量重构为图像，并基于火灾描述向量中不同分词结果的语义关系确定所生成的对应图像区域的位置关系，基于所确定的位置关系将重构得到的图像拼接为场景粗略图像；
S33：火灾图像生成层接收火灾描述向量以及场景粗略图像，利用编码器对场景粗略图像进行编码处理，其中编码器包含若干卷积层以及批归一化层，得到场景粗略图像的图像编码特征；将火灾描述向量与图像编码特征进行融合，并将融合特征输入到残差网络中生成火灾图像，所述残差网络由四个残差块组成，每个残差块包括一个block和激活函数ReLU，其中block由两对卷积层和批归一化层组成。
S4：根据火灾描述文本模块和火灾图像解码模块结构确定自适应火灾图像生成目标函数。
所述S4步骤中确定自适应火灾图像生成目标函数，包括：
确定所构建自适应火灾图像生成模型的自适应火灾图像生成目标函数，通过对自适应火灾图像生成目标函数进行优化求解，得到自适应火灾图像生成模型的最优参数，所确定的自适应火灾图像生成目标函数为：
Figure SMS_113
；
Figure SMS_114
；
其中：
Figure SMS_115
表示火灾描述文本第u个分词结果的最终编码表示结果，/>
Figure SMS_116
表示场景图像初始化层生成的对应图像区域，/>
Figure SMS_117
表示余弦相似度计算方法；
Figure SMS_118
表示基于火灾描述向量数据F所生成的场景粗略图像，/>
Figure SMS_119
表示基于场景粗略图像以及火灾描述向量数据生成的火灾图像，y表示真实火灾图像；
Figure SMS_120
表示火灾描述向量数据F的分布符合预设置的火灾描述向量分布；
E表示期望计算。
S5：对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，形成最优自适应火灾图像生成模型。
所述S5步骤中对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，包括：
对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，其中待优化求解参数包括场景图像初始化层中的参数
Figure SMS_121
以及火灾图像生成层中的参数/>
Figure SMS_122
，通过求解目标函数/>
Figure SMS_123
得到参数/>
Figure SMS_124
，求解目标函数/>
Figure SMS_125
得到参数/>
Figure SMS_126
，其中模型参数的优化求解流程为：
S51：初始化U组参数
Figure SMS_127
，其中v=1，2，/>
Figure SMS_128
表示参数/>
Figure SMS_129
的初始化参数，/>
Figure SMS_130
表示参数
Figure SMS_131
的初始化参数，/>
Figure SMS_132
；S52：设置当前算法迭代次数为h，h的初始值为1，设置最大算法迭代次数为Max；
S53：将第h-1次迭代结果
Figure SMS_133
构建为U组自适应火灾图像生成模型，并计算不同自适应火灾图像生成模型的目标函数值/>
Figure SMS_134
；若v=1，则选取使得目标函数值/>
Figure SMS_135
达到最大的迭代结果作为第h次迭代的期望参数/>
Figure SMS_136
，否则选取使得目标函数值/>
Figure SMS_137
达到最小的迭代结果作为第h次迭代的期望参数/>
Figure SMS_138
；
S54：判断算法的当前迭代次数
Figure SMS_139
是否满足/>
Figure SMS_140
，若不满足，则利用下式对第h-1次迭代结果进行更新：
Figure SMS_141
；
其中：
I表示单位矩阵；
Figure SMS_142
表示0-1之间的随机向量；
并令h=h+1，返回步骤S53；
若满足
Figure SMS_143
，则将/>
Figure SMS_144
作为求解得到的最优自适应火灾图像生成模型参数。
S6：基于最优自适应火灾图像生成模型生成大量不同场景下的火灾图像，构建火灾识别模型，并利用生成的火灾图像数据对构建的火灾识别模型进行优化，得到最优火灾识别模型，利用最优火灾识别模型进行基于火灾图像的火灾智能监控识别。
所述S6步骤中基于最优自适应火灾图像生成模型生成大量不同场景下的火灾图像，包括：最优自适应火灾图像生成模型接收若干组火灾描述文本，利用火灾描述文本编码模块对所接收的火灾描述文本进行编码表示，基于编码表示结果，利用火灾图像解码模块生成对应多组的火灾图像。
所述S6步骤中构建火灾识别模型，并利用生成的火灾图像数据对构建的火灾识别模型进行优化，得到最优火灾识别模型，包括：
构建火灾识别模型，其中所述火灾识别模型包含输入层、特征提取层以及火灾识别层，输入层用于接收火灾图像，特征提取层用于提取火灾图像的图像特征，火灾识别层用于识别判断图像中是否存在火灾；
所述基于火灾识别模型的火灾识别流程为：
输入层接收火灾图像，并对所接收的火灾图像进行规格化处理，所述规格化处理包括图像压缩或图像扩展，规格化处理后的火灾图像格式为
Figure SMS_145
像素；
特征提取层将规格化处理后的火灾图像划分为等大的8个子区域图像，并对每个子区域图像进行二维离散小波变换，分别提取变换后水平方向以及竖直方向高频分量的平方作为该子区域的特征值，将8个子区域图像的特征值进行拼接得到火灾图像的图像特征；
火灾识别层构建基于权重向量以及偏置向量的火灾识别公式：
Figure SMS_146
；
其中：
Q表示图像特征，
Figure SMS_147
表示高维的非线性映射；
Figure SMS_148
表示权重向量，b表示偏置向量；
Figure SMS_149
表示对图像特征Q所对应的图像的火灾识别结果，/>
Figure SMS_150
，
Figure SMS_151
表示识别到火灾，/>
Figure SMS_152
表示未识别到火灾；
利用生成的火灾图像数据以及采集的非火灾图像数据对构建的火灾识别模型进行优化，利用最优火灾识别模型进行基于火灾图像的火灾智能监控识别，所述火灾识别模型的优化方法为基于最小二乘法求解得到火灾识别层的权重向量以及偏置向量。
实施例2：
如图2所示，是本发明一实施例提供的智能火灾监控系统的功能模块图，其可以实现实施例1中的智能火灾监控系统。
本发明所述基于图像识别的智能火灾监控系统100可以安装于电子设备中。根据实现的功能，所述智能火灾监控系统可以包括火灾图像生成装置101、图像接收模块102及火灾识别装置103。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
火灾图像生成装置101，用于构建自适应火灾图像生成模型，根据火灾描述文本模块和火灾图像解码模块结构确定自适应火灾图像生成目标函数，对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，形成最优自适应火灾图像生成模型；
图像接收模块102，用于实时接收待火灾识别的图像；
火灾识别装置103，用于基于最优自适应火灾图像生成模型生成大量不同场景下的火灾图像，构建火灾识别模型，并利用生成的火灾图像数据对构建的火灾识别模型进行优化，得到最优火灾识别模型，利用最优火灾识别模型进行基于火灾图像的火灾智能监控识别。
详细地，本发明实施例中所述智能火灾监控系统100中的所述各模块在使用时采用与上述的图1中所述的智能火灾监控系统一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
实施例3：
如图3所示，是本发明一实施例提供的实现智能火灾监控系统的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信接口13和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如程序12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（SecureDigital， SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如程序12的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（用于实现智能火灾监控的程序12等），以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述通信接口13可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备1与其他电子设备之间建立通信连接，并实现电子设备内部组件之间的连接通信。
所述总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
具体地，所述处理器10对上述指令的具体实现方法可参考图1至图3对应实施例中相关步骤的描述，在此不赘述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.基于图像识别的智能火灾监控系统，其特征在于，所述系统运行流程包括：
S1：构建自适应火灾图像生成模型，其中自适应火灾图像生成模型包含火灾描述文本编码模块和火灾图像解码模块；
S2：构建火灾描述文本编码模块结构，将输入的火灾描述文本数据进行预处理并输入到火灾描述文本编码模块，得到向量化编码后的火灾描述向量数据；
S3：构建火灾图像解码模块结构，以向量化编码后的火灾描述向量数据为输入，以所生成的火灾图像数据为输出；
S4：根据火灾描述文本模块和火灾图像解码模块结构确定自适应火灾图像生成目标函数；
S5：对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，形成最优自适应火灾图像生成模型；
S6：基于最优自适应火灾图像生成模型生成大量不同场景下的火灾图像，构建火灾识别模型，并利用生成的火灾图像数据对构建的火灾识别模型进行优化，得到最优火灾识别模型，利用最优火灾识别模型进行基于火灾图像的火灾智能监控识别。
2.如权利要求1所述的基于图像识别的智能火灾监控系统，其特征在于，所述S1步骤中构建自适应火灾图像生成模型，包括：
构建自适应火灾图像生成模型，所述自适应火灾图像生成模型以火灾描述文本数据为输入，以对应的火灾图像数据为输出，其中自适应火灾图像生成模型包含火灾描述文本编码模块和火灾图像解码模块，火灾描述文本编码模块用于接收用户输入的火灾描述文本并进行编码表示，火灾图像解码模块用于根据火灾描述文本的编码表示结果生成对应描述的火灾图像。
3.如权利要求2所述的基于图像识别的智能火灾监控系统，其特征在于，所述S2步骤中构建火灾描述文本编码模块结构，包括：
构建火灾描述文本编码模块结构，其中所述火灾描述文本编码模块结构包括词向量编码层、卷积层、池化层以及卷积融合层；
词向量编码层用于接收火灾描述文本并进行词向量表示，卷积层用于提取词向量表示结果的语义特征，池化层用于提取语义特征中的重要语义信息，卷积融合层用于对重要语义信息进行扩展，得到火灾描述向量数据；
所述基于火灾描述文本编码模块的火灾描述文本编码流程为：
S21：火灾描述文本编码模块中的词向量编码层接收火灾描述文本，并基于预设的分词词典对火灾描述文本进行分词处理，所述分词处理流程为：将火灾描述文本中任意连续的若干字符在分词词典中进行匹配，若匹配成功则表示该连续字符为分词结果；
S22：利用独热编码法对分词结果进行编码处理，使用符号向量在两个句子间插入分隔符，并为编码后的分词结果添加分段向量以及位置向量，得到火灾描述文本中每个分词结果的词向量表示结果，则任意第i个分词结果的词向量表示结果
Figure QLYQS_1
为：
Figure QLYQS_2
；
其中：
Figure QLYQS_3
表示第i个分词结果的独热编码表示向量，/>
Figure QLYQS_4
为第i个分词结果的分段向量，表示第i个分词结果处于火灾描述文本的第/>
Figure QLYQS_5
句话，/>
Figure QLYQS_6
表示分词结果的位置向量，/>
Figure QLYQS_7
；
S23：将所有分词结果的词向量表示结果进行拼接，得到火灾描述文本的编码结果e：
Figure QLYQS_8
；
其中：
T表示转置，
Figure QLYQS_9
表示拼接操作，n表示火灾描述文本的分词结果总数；
S24：将火灾描述文本的编码结果输入到卷积层中，得到火灾描述文本的语义特征，所述卷积层中包括N个卷积核，每个卷积核的尺寸不同，其中第i个分词结果的语义特征为：
Figure QLYQS_10
；
其中：
Figure QLYQS_11
表示第i个分词结果经第j个卷积核输出的语义特征；
S25：将火灾描述文本的语义特征输入到池化层中，池化层提取每个分词结果所对应语义特征的重要语义信息，其中第i个分词结果所对应语义特征的重要语义信息
Figure QLYQS_12
为：
Figure QLYQS_13
；
构建长为m的滑动窗口，其中滑动窗口每次滑动的距离为m/2，将滑动窗口沿N个卷积核输出的语义特征进行滑动，得到
Figure QLYQS_14
段滑动窗口表示结果，取每段滑动窗口内的最大语义特征作为该段滑动窗口的重要语义信息，其中/>
Figure QLYQS_15
表示第i个分词结果所对应第/>
Figure QLYQS_16
段滑动窗口表示结果的重要语义信息；
S26：将火灾描述文本的重要语义特征输入到卷积融合层，卷积融合层对每个分词结果的重要语义信息进行扩展，选取上下文语义相似度最高的扩展语义向量作为该分词结果的最终编码表示结果；
利用二维反卷积操作对每个分词结果的重要语义信息进行反卷积操作，扩大重要语义信息的空间分辨率，得到重要语义信息的语义信息矩阵，并计算当前分词结果前后两个分词结果的平均语义向量，计算语义信息矩阵中每一列语义向量与平均语义向量的余弦相似度，将相似度最高的语义向量作为当前分词结果的最终编码表示，其中平均语义向量的计算方法为计算语义信息矩阵的列均值；
将所有分词结果的最终编码表示结果进行拼接，得到火灾描述文本的火灾描述向量数据F。
4.如权利要求1所述的基于图像识别的智能火灾监控系统，其特征在于，所述S3步骤中构建火灾图像解码模块结构，包括：
构建火灾图像解码模块结构，所述火灾图像解码模块包括场景图像初始化层以及火灾图像生成层，其中场景图像初始化层用于根据火灾描述向量数据生成场景粗略图像，所述场景图像包括图像中的背景以及物体位置，火灾图像生成层用于对所生成的场景粗略图像进行深层细化，得到火灾图像；
基于火灾图像解码模块的火灾图像生成流程为：
S31：场景图像初始化层提取火灾描述向量中不同分词结果的最终编码表示结果，并对所提取的最终编码表示结果进行结构化处理，生成不同最终编码表示结果的结构向量，所述结构向量生成的损失函数为结构向量与对应最终编码表示结果的余弦相似度；
S32：将所生成的结构向量重构为图像，并基于火灾描述向量中不同分词结果的语义关系确定所生成的对应图像区域的位置关系，基于所确定的位置关系将重构得到的图像拼接为场景粗略图像；
S33：火灾图像生成层接收火灾描述向量以及场景粗略图像，利用编码器对场景粗略图像进行编码处理，其中编码器包含若干卷积层以及批归一化层，得到场景粗略图像的图像编码特征；将火灾描述向量与图像编码特征进行融合，并将融合特征输入到残差网络中生成火灾图像。
5.如权利要求1所述的基于图像识别的智能火灾监控系统，其特征在于，所述S4步骤中确定自适应火灾图像生成目标函数，包括：
确定所构建自适应火灾图像生成模型的自适应火灾图像生成目标函数，通过对自适应火灾图像生成目标函数进行优化求解，得到自适应火灾图像生成模型的最优参数，所确定的自适应火灾图像生成目标函数为：
Figure QLYQS_17
；
Figure QLYQS_18
；
其中：
Figure QLYQS_19
表示火灾描述文本第u个分词结果的最终编码表示结果，/>
Figure QLYQS_20
表示场景图像初始化层生成的对应图像区域，/>
Figure QLYQS_21
表示余弦相似度计算方法；
Figure QLYQS_22
表示基于火灾描述向量数据F所生成的场景粗略图像，/>
Figure QLYQS_23
表示基于场景粗略图像以及火灾描述向量数据生成的火灾图像，y表示真实火灾图像；
Figure QLYQS_24
表示火灾描述向量数据F的分布符合预设置的火灾描述向量分布；
E表示期望计算。
6.如权利要求5所述的基于图像识别的智能火灾监控系统，其特征在于，所述S5步骤中对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，包括：
对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，其中待优化求解参数包括场景图像初始化层中的参数
Figure QLYQS_25
以及火灾图像生成层中的参数/>
Figure QLYQS_26
，通过求解目标函数/>
Figure QLYQS_27
得到参数/>
Figure QLYQS_28
，求解目标函数/>
Figure QLYQS_29
得到参数/>
Figure QLYQS_30
，其中模型参数的优化求解流程为：
S51：初始化U组参数
Figure QLYQS_31
，其中v=1，2，/>
Figure QLYQS_32
表示参数/>
Figure QLYQS_33
的初始化参数，/>
Figure QLYQS_34
表示参数/>
Figure QLYQS_35
的初始化参数，/>
Figure QLYQS_36
；S52：设置当前算法迭代次数为h，h的初始值为1，设置最大算法迭代次数为Max；
S53：将第h-1次迭代结果
Figure QLYQS_37
构建为U组自适应火灾图像生成模型，并计算不同自适应火灾图像生成模型的目标函数值/>
Figure QLYQS_38
；若v=1，则选取使得目标函数值/>
Figure QLYQS_39
达到最大的迭代结果作为第h次迭代的期望参数/>
Figure QLYQS_40
，否则选取使得目标函数值/>
Figure QLYQS_41
达到最小的迭代结果作为第h次迭代的期望参数/>
Figure QLYQS_42
；
S54：判断算法的当前迭代次数
Figure QLYQS_43
是否满足/>
Figure QLYQS_44
，若不满足，则利用下式对第h-1次迭代结果进行更新：
Figure QLYQS_45
；
其中：
I表示单位矩阵；
Figure QLYQS_46
表示0-1之间的随机向量；
并令h=h+1，返回步骤S53；
若满足
Figure QLYQS_47
，则将/>
Figure QLYQS_48
作为求解得到的最优自适应火灾图像生成模型参数。
7.如权利要求6所述的基于图像识别的智能火灾监控系统，其特征在于，所述S6步骤中基于最优自适应火灾图像生成模型生成大量不同场景下的火灾图像，包括：
最优自适应火灾图像生成模型接收若干组火灾描述文本，利用火灾描述文本编码模块对所接收的火灾描述文本进行编码表示，基于编码表示结果，利用火灾图像解码模块生成对应多组的火灾图像。
8.如权利要求7所述的基于图像识别的智能火灾监控系统，其特征在于，所述S6步骤中构建火灾识别模型，并利用生成的火灾图像数据对构建的火灾识别模型进行优化，得到最优火灾识别模型，包括：
构建火灾识别模型，其中所述火灾识别模型包含输入层、特征提取层以及火灾识别层，输入层用于接收火灾图像，特征提取层用于提取火灾图像的图像特征，火灾识别层用于识别判断图像中是否存在火灾；
所述基于火灾识别模型的火灾识别流程为：
输入层接收火灾图像，并对所接收的火灾图像进行规格化处理，所述规格化处理包括图像压缩或图像扩展，规格化处理后的火灾图像格式为
Figure QLYQS_49
像素；
特征提取层将规格化处理后的火灾图像划分为等大的8个子区域图像，并对每个子区域图像进行二维离散小波变换，分别提取变换后水平方向以及竖直方向高频分量的平方作为该子区域的特征值，将8个子区域图像的特征值进行拼接得到火灾图像的图像特征；
火灾识别层构建基于权重向量以及偏置向量的火灾识别公式：
Figure QLYQS_50
；
其中：
Q表示图像特征，
Figure QLYQS_51
表示高维的非线性映射；
Figure QLYQS_52
表示权重向量，b表示偏置向量；
Figure QLYQS_53
表示对图像特征Q所对应的图像的火灾识别结果，/>
Figure QLYQS_54
，
Figure QLYQS_55
表示识别到火灾，/>
Figure QLYQS_56
表示未识别到火灾；
利用生成的火灾图像数据以及采集的非火灾图像数据对构建的火灾识别模型进行优化，利用最优火灾识别模型进行基于火灾图像的火灾智能监控识别，所述火灾识别模型的优化方法为基于最小二乘法求解得到火灾识别层的权重向量以及偏置向量。
9.基于图像识别的智能火灾监控系统，其特征在于，所述系统结构包括：
火灾图像生成装置，用于构建自适应火灾图像生成模型，根据火灾描述文本模块和火灾图像解码模块结构确定自适应火灾图像生成目标函数，对构建的自适应火灾图像生成目标函数进行优化求解确定最优自适应火灾图像生成模型参数，形成最优自适应火灾图像生成模型；
图像接收模块，用于实时接收待火灾识别的图像；
火灾识别装置，用于基于最优自适应火灾图像生成模型生成大量不同场景下的火灾图像，构建火灾识别模型，并利用生成的火灾图像数据对构建的火灾识别模型进行优化，得到最优火灾识别模型，利用最优火灾识别模型进行基于火灾图像的火灾智能监控识别，以实现如权利要求1-8任一所述的基于图像识别的智能火灾监控系统。
CN202310371880.2A 2023-04-10 2023-04-10 基于图像识别的智能火灾监控系统 Pending CN116403161A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310371880.2A CN116403161A (zh) 2023-04-10 2023-04-10 基于图像识别的智能火灾监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310371880.2A CN116403161A (zh) 2023-04-10 2023-04-10 基于图像识别的智能火灾监控系统

Publications (1)

Publication Number Publication Date
CN116403161A true CN116403161A (zh) 2023-07-07

Family

ID=87011869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310371880.2A Pending CN116403161A (zh) 2023-04-10 2023-04-10 基于图像识别的智能火灾监控系统

Country Status (1)

Country Link
CN (1) CN116403161A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197658A (zh) * 2023-08-08 2023-12-08 北京科技大学 基于多情境生成图像的建筑火灾多目标检测方法与系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197658A (zh) * 2023-08-08 2023-12-08 北京科技大学 基于多情境生成图像的建筑火灾多目标检测方法与系统

Similar Documents

Publication Publication Date Title
CN109190470B (zh) 行人重识别方法及装置
CN110532381B (zh) 一种文本向量获取方法、装置、计算机设备及存储介质
CN113327279B (zh) 一种点云数据处理方法、装置、计算机设备及存储介质
CN110175248B (zh) 一种基于深度学习和哈希编码的人脸图像检索方法和装置
CN110929080A (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
CN111159485A (zh) 尾实体链接方法、装置、服务器及存储介质
CN111797589A (zh) 一种文本处理网络、神经网络训练的方法以及相关设备
CN113177449B (zh) 人脸识别的方法、装置、计算机设备及存储介质
CN116343301B (zh) 基于人脸识别的人员信息智能校验系统
CN116403161A (zh) 基于图像识别的智能火灾监控系统
CN113628059A (zh) 一种基于多层图注意力网络的关联用户识别方法及装置
CN116226785A (zh) 目标对象识别方法、多模态识别模型的训练方法和装置
CN115578735A (zh) 文本检测方法和文本检测模型的训练方法、装置
CN112966685A (zh) 用于场景文本识别的攻击网络训练方法、装置及相关设备
CN114140831B (zh) 人体姿态估计方法、装置、电子设备及存储介质
CN108805280B (zh) 一种图像检索的方法和装置
CN111915542A (zh) 一种基于深度学习的图像内容描述方法及系统
CN114925702A (zh) 文本相似度识别方法、装置、电子设备及存储介质
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
CN113505716B (zh) 静脉识别模型的训练方法、静脉图像的识别方法及装置
CN116168418A (zh) 一种图像的多模态目标感知与重识别方法
WO2023173552A1 (zh) 目标检测模型的建立方法、应用方法、设备、装置及介质
CN114612911B (zh) 笔画层级手写字符序列识别方法、装置、终端及存储介质
CN114625877A (zh) 文本分类方法和装置、电子设备、存储介质
CN114067362A (zh) 基于神经网络模型的手语识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination