CN117636608B - 一种基于深度估计的高大空间火灾监测方法、设备及介质 - Google Patents
一种基于深度估计的高大空间火灾监测方法、设备及介质 Download PDFInfo
- Publication number
- CN117636608B CN117636608B CN202410107733.9A CN202410107733A CN117636608B CN 117636608 B CN117636608 B CN 117636608B CN 202410107733 A CN202410107733 A CN 202410107733A CN 117636608 B CN117636608 B CN 117636608B
- Authority
- CN
- China
- Prior art keywords
- infrared
- wind speed
- information
- generator
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012544 monitoring process Methods 0.000 title claims abstract description 37
- 238000005516 engineering process Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 49
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 10
- 238000009792 diffusion process Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 12
- 238000009529 body temperature measurement Methods 0.000 abstract description 10
- 239000000463 material Substances 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 5
- 239000000779 smoke Substances 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Fire-Detection Mechanisms (AREA)
Abstract
本发明公开了一种基于深度估计的高大空间火灾监测方法、设备及介质，本发明涉及火灾监测技术领域，通过红外图像探测技术结合风速传感系统对高大空间内各类可燃物进行不同距离、不同位置、不同温度的红外测温，利用风向数据、红外图像数据调整红外摄像头使其在最佳的监测角度，实现对高大空间早期火灾的准确、快速响应以及定位，解决了现有技术中对于存在较多被测对象的高大空间中早期火灾无法准确识别的问题。
Description
技术领域
本发明涉及火灾监测技术领域，具体涉及一种基于深度估计的高大空间火灾监测方法、设备及介质。
背景技术
高大空间因其所占面积比较大、具有较好的通风、内部存在的可燃材料较多等因素，一旦出现火情，火势的蔓延速度会很快，并且由于其本身处于热气流的作用，会逐渐形成大面积的火灾，出现大型非受控火灾的可能性较大，最后造成难以估计的人员伤亡和财产损失。对高大空间结构来说，因上述特点以及发生火情的位置随机性较大等因素导致了传统火灾探测器如感烟、感温等传感器应用在其中存在一定的缺陷。如感烟、感温型火灾探测器在高度低于6米的建筑内很适用，因为烟雾可以迅速蔓延到顶端四周，但是对于高大空间场所这些探测工具只有火灾发展到一定程度才可以感应到，无法及时的报警，不能兼顾灵敏度和可靠性。
红外图像探测技术是一种非接触式的检测和识别技术，可以检测和识别物体的温度等信息。红外图像探测技术主要由以下几个模块组成：光学系统、探测器、信号处理系统和图像显示系统。红外图像探测技术的工作原理是通过接收物体发出的红外辐射信号，经过光学系统聚焦成图像，然后由探测器将红外辐射信号转换成电信号，经过信号处理系统处理后，得到高质量的图像，最后通过图像显示系统显示出来。通过人工智能算法对其采集到的图像信息进行逐帧甄别，可以实现其中有无火情信息的判别。但对于红外图像探测，当出现明显的燃烧火焰时识别效果较好，对高大空间早期火灾预警并不能很好的发挥作用。
同时，红外测温技术应用在高大空间中具有一定的不足，无法实施远距离精确测温，当监测目标区域存在较多的被测对象，也会导致测温精度降低；甚至当监测范围内出现遮挡时，就会导致无法监测的情况发生。
发明内容
基于上述技术背景所提出的问题，本发明的目的在于提供一种基于深度估计的高大空间火灾监测方法、设备及介质，通过红外图像探测技术结合风速传感系统对高大空间内各类可燃物进行不同距离、不同位置、不同温度的红外测温，利用风向数据、红外图像数据调整红外摄像头使其在最佳的监测角度，实现对高大空间早期火灾的准确、快速响应以及定位，解决了现有技术中对于存在较多被测对象的高大空间中早期火灾无法准确识别的问题。
本发明通过下述技术方案实现：
本发明第一方面提供了一种基于深度估计的高大空间火灾监测方法，包括如下步骤：
步骤S1、在高大空间布置两个红外摄像头和一个风速传感器，通过所述红外摄像头获取红外视频图像，通过所述风速传感器获取风速信息；
步骤S2、对所述红外摄像头进行标定，得到估算相机参数，采用ORB算法对所述红外视频图像进行特征匹配，得到特征点，对所述特征点进行计算得到视差信息；
步骤S3、基于所述估算相机参数和所述视差信息，采用改进的深度估计算法对所述红外视频图像和所述风速信息进行计算，得到深度信息；
步骤S4、将所述红外视频图像中的温度信息与所述深度信息结合，得到区域温度；将所述风速信息与所述深度信息进行结合，得到火源扩散路径。
在上述技术方案中，基于红外摄像头和风速传感器所获取的数据，本发明首先对红外摄像头进行标定，确定估计相机参数，再采用ORB算法对红外视频图像进行匹配确定图上待测物体的特征点，通过计算特征点的视差信息从而实现立体匹配。基于估算相机参数以及视差信息的基础上，采用改进的深度估计算法对红外视频图像和风速信息进行测距。通过本发明改进的深度估计算法不仅可以提供物体的深度信息，还有可以帮忙区分不同种类的物体，这种深度信息的引入使得火灾预警不仅能检测到火源，还能准确地估计火源的距离和可能扩散的方向。且，本发明所采用的改进的深度估计算法可以基于红外摄像头以及风速传感器所获取的数据进行深度估算，具有灵活性和适用性，在复杂的工作环境下，如光、烟雾、尘埃等情况下不受干扰。且只需要通过少量的传感器数据和计算资源就实现。
故，基于此在本发明中，将红外视频图像中的温度信息和通过改进的深度估计算法得到的深度信息结合从而确定区域温度，该区域温度用于确定火源；将风速信息和通过改进的深度估计算法得到的深度信息结合从而确定火源扩散路径。
在一种可选的实施例中，采用改进的深度估计算法对所述红外视频图像和所述风速信息进行计算包括：
构建多输入多输出模型，将所述红外视频图像和所述风速信息输入所述多输入多输出模型中进行处理，得到关联数据；
构建融合层模型，基于所述关联数据采用所述融合层模型对所述红外视频图像和所述风速信息进行数据融合，得到深度信息；
基于自监督学习技术构建对抗训练模型，所述对抗训练模型用于训练所述融合层模型。
在一种可选的实施例中， 构建多输入多输出模型，将所述红外视频图像和所述风速信息输入所述多输入多输出模型中进行处理，得到关联数据包括：
建立红外视频图像输入通道和风速信息输入通道，将所述红外视频图像输入通道用于接收红外视频图像，所述风速信息输入通道用于接收风速信息；
建立中间层，在所述中间层中设计有用于提取红外视频图像特征的卷积层，以及用于处理红外摄像头时间序列和风速传感器时间序列的展平层；
所述红外视频图像经过所述卷积层的特征提取后，得到红外视频图像特征；所述红外摄像头和所述风速传感器经过所述展平层的时间同步后，得到时间同步点；
建立组合层，通过所述组合层将所述红外视频图像特征和所述时间同步点进行特征连接，得到关联数据。
在一种可选的实施例中，所述红外摄像头和所述风速传感器经过所述展平层的时间同步后，得到时间同步点包括：
从所述红外图像视频和所述风速信息中分别提取时间戳信息，得到红外时间戳和风速时间戳；
以所述红外时间戳为基准，利用最小化时间差异法在所述红外时间戳和所述风速时间戳中寻找最佳匹配点；
将所述最佳匹配点的时间戳作为所述红外图像视频和所述风速信息之间的时间同步点；
对所述时间同步点进行检验，以确定在所述时间同步点上所述红外图像视频和所述风速信息之间的观测值对应。
在一种可选的实施例中，以所述红外时间戳为基准，利用最小化时间差异法在所述红外时间戳和所述风速时间戳中寻找最佳匹配点包括：
将所述红外时间戳以序列表示得到红外时间戳序列，将所述风速时间戳以序列表示得到风速时间戳序列；
计算所述红外时间戳序列中每个红外时间戳与所述风速时间戳序列中所有风速时间戳之间的绝对差异值；
从所有绝对差异值中寻找绝对差异值最小所对应的风速时间戳，并将绝对差异值最小所对应的风速时间戳作为所述红外时间戳与所述风速时间戳的最佳匹配点。
在一种可选的实施例中，基于自监督学习技术构建对抗训练模型，所述对抗训练模型用于训练所述融合层模型包括：
定义生成器和判别器的深度学习模型，所述生成器包括上采样和卷积层，所述判别器包括卷积层和全连接层，将所述生成器和所述判别器连接在一起形成GAN模型；
定义生成器的损失函数为，其中，/>表示生成器生成的样本被判别器判定为真实样本的概率，Z 表示生成器的输入随机噪声；定义判别器的损失函数为：/>，/>表示判别器对真实样本的判定概率；
对所述生成器和所述判别器交替进行训练，得到对抗训练模型。
在一种可选的实施例中，对所述生成器和所述判别器交替进行训练包括：
固定判别器，训练生成器：
生成噪声函数，从一个随机分布中生成噪声向量，其中，所述噪声向量服从正态分布；
生成对抗样本，使用生成器将所述噪声函数转换成对抗样本；
使用固定的判别器对所述对抗样本进行分类，使用二元交叉熵损失函数计算生成器损失；
使用所述生成器损失更新生成器的参数；
固定生成器，训练判别器：
将所述红外视频图像和所述风速信息作为真实样本，从所述真实样本任选一批样本通过所述生成器生成对抗样本，为所述真实样本分配标签为1，为所述对抗样本分配标签为0；
使用所述判别器对所述真实样本和所述对抗样本进行分类，并计算判别器损失；
使用所述判别器损失更新判别器的参数。
在一种可选的实施例中，步骤S1还包括：
通过风速传感器获取风向信息，将所述风向信息转化为风向向量；
对所述红外视频图像进行预处理，将预处理后的红外视频图像和所述风向信息进行浇筑生成数据集，并将所述数据集划分为训练集和测试集进行训练，得到红外摄像头调整信息；
基于所述红外摄像头调整信息，利用PID控制算法计算所述红外摄像头的位移，通过电动驱动系统根据所述位移调整所述红外摄像头。
本发明第二方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现一种基于深度估计的高大空间火灾监测方法。
本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种基于深度估计的高大空间火灾监测方法。
本发明与现有技术相比，具有如下的优点和有益效果：
1、测试物体的发射率建立数据库并存储于摄像头的数据处理器，针对红外视频划分多个区域同时进行测温，对每个划分区域中的被测物体通过智能算法保留由近及远的三种，对目标区域进行多区域、同时段测温；
2、风向传感器提供的风向信息在预警火情最可能发生部位的同时，能够利用风向信息调整红外摄像头的监测位置，使其处于更有利监测的位置。即使出现火情也能够有利于尽快扑救火灾。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
图1为本发明实施例1提供的一种基于深度估计的高大空间火灾监测方法的流程示意图；
图2为本发明实施例1提供的传感器布置的示意图；
图3为本发明实施例1提供的改进的深度估计算法的模型结构图；
图4为本发明实施例2提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
本发明实施例1提供了一种基于深度估计的高大空间火灾监测方法，如图1所示，该方法包括如下步骤：
步骤S1、在高大空间布置两个红外摄像头和一个风速传感器，通过所述红外摄像头获取红外视频图像，通过所述风速传感器获取风速信息；
步骤S2、对所述红外摄像头进行标定，得到估算相机参数，采用ORB算法对所述红外视频图像进行特征匹配，得到特征点，对所述特征点进行计算得到视差信息；
步骤S3、基于所述估算相机参数和所述视差信息，采用改进的深度估计算法对所述红外视频图像和所述风速信息进行计算，得到深度信息；
步骤S4、将所述红外视频图像中的温度信息与所述深度信息结合，得到区域温度；将所述风速信息与所述深度信息进行结合，得到火源扩散路径。
需要说明的是，在现有的技术中，红外图像探测技术对于高大空间这一主体可以弥补普通摄像在黑暗场景下的不足，实施全天候的监测，但图像探测技术只有当出现明显的燃烧火焰时识别效果较好，对高大空间早期火灾预警并不能很好的发挥作用。同时，红外测温技术应用在高大空间中还存在有一定的不足，即无法实施远距离精确测温，当监测目标区域存在较多的被测对象，也会导致测温精度降低；甚至当监测范围内出现遮挡时，就会导致无法监测的情况发生。
因此，本发明的核心所要解决的问题在于对于高大空间内检测目标区域存在较多被测对象且存在遮挡的状况下的早期火灾监控。针对于该问题，本发明通过在高大空间内安装两个红外摄像头和一个风速传感器，如图2所示，两个红外摄像头分别位于高大空间内的两个对角线的位置，风速传感器位于通风口处。其中，风速传感器用于监测风向、风速信息，将风向、风速信息与红外摄像头所监控到的红外视频图像相结合，可以了解火势蔓延的可能途径。同时，通过风向、风速信息也可以调整两个红外摄像头在指定的方向上移动，避免加装更多摄像头降低经济成本。
基于红外摄像头和风速传感器所获取的数据，本发明首先对红外摄像头进行标定，确定估计相机参数，再采用ORB算法对红外视频图像进行匹配确定图上待测物体的特征点，通过计算特征点的视差信息从而实现立体匹配。基于估算相机参数以及视差信息的基础上，采用改进的深度估计算法对红外视频图像和风速信息进行测距。通过本发明改进的深度估计算法不仅可以提供物体的深度信息，还有可以帮忙区分不同种类的物体，这种深度信息的引入使得火灾预警不仅能检测到火源，还能准确地估计火源的距离和可能扩散的方向。且，本发明所采用的改进的深度估计算法可以基于红外摄像头以及风速传感器所获取的数据进行深度估算，具有灵活性和适用性，在复杂的工作环境下，如光、烟雾、尘埃等情况下不受干扰。且只需要通过少量的传感器数据和计算资源就实现。
故，基于此在本发明中，将红外视频图像中的温度信息和通过改进的深度估计算法得到的深度信息结合从而确定区域温度，该区域温度用于确定火源；将风速信息和通过改进的深度估计算法得到的深度信息结合从而确定火源扩散路径。
在一种可选的实施例中，采用改进的深度估计算法对所述红外视频图像和所述风速信息进行计算包括：
构建多输入多输出模型，将所述红外视频图像和所述风速信息输入所述多输入多输出模型中进行处理，得到关联数据；
构建融合层模型，基于所述关联数据采用所述融合层模型对所述红外视频图像和所述风速信息进行数据融合，得到深度信息；
基于自监督学习技术构建对抗训练模型，所述对抗训练模型用于训练所述融合层模型。
需要说明的是，融合层模型是在神经网络中添加一个Concatenate层，使用了Concatenate层将来自红外图像和风速传感器的特征连接在一起。可以灵活地将两个传感器的信息整合到一个向量中。使用其的优势在它不会引入额外的复杂性。对保留原始信息以及处理两个传感器数据的特定特征非常有用；并且它允许在连接的特征上执行各种操作，这使得模型能够灵活地学习传感器之间的关系，对于不同类型的传感器，可能存在复杂的非线性关系，Concatenate层允许模型灵活地适应这些关系，具体结构如图3所示。
在一种可选的实施例中， 构建多输入多输出模型，将所述红外视频图像和所述风速信息输入所述多输入多输出模型中进行处理，得到关联数据包括：
建立红外视频图像输入通道和风速信息输入通道，将所述红外视频图像输入通道用于接收红外视频图像，所述风速信息输入通道用于接收风速信息；
建立中间层，在所述中间层中设计有用于提取红外视频图像特征的卷积层，以及用于处理红外摄像头时间序列和风速传感器时间序列的展平层；
所述红外视频图像经过所述卷积层的特征提取后，得到红外视频图像特征；所述红外摄像头和所述风速传感器经过所述展平层的时间同步后，得到时间同步点；
建立组合层，通过所述组合层将所述红外视频图像特征和所述时间同步点进行特征连接，得到关联数据。
需要说明的是，构建多输入多输出模型的目的在接收到来自红外摄像头和风速传感器的输入时，将两个传感器的数据具有相似的时间分布的数据进行整合，得到红外视频图像和风速信息之间的关联关系，以便后续融合层模型进行融合。
具体的，在本发明中，分别建立红外视频图像输入通道和风速信息输入通道，通过上述两个通道接收相应的数据。对于红外摄像头而言，红外视频图像输入通道将红外视频图像将其数据转换成图像格式作为一个通道，而风速传感器的数据作为另一个通道。
为确保红外摄像头和风速传感器的数据在时间上是同步的，即它们的时间戳对齐，本发明构建了展平层，通过展平层进行时间同步。并在卷积层对红外视频图像进行特征提取，并在组合层将特征数据与时间同步数据进行组合，最后生成关联关系，并通过输出层进行输出。
进一步的，在本实施例中，所述组合层采用TensorFlow的Keras API框架。
在一种可选的实施例中，所述红外摄像头和所述风速传感器经过所述展平层的时间同步后，得到时间同步点包括：
从所述红外图像视频和所述风速信息中分别提取时间戳信息，得到红外时间戳和风速时间戳；
以所述红外时间戳为基准，利用最小化时间差异法在所述红外时间戳和所述风速时间戳中寻找最佳匹配点；
将所述最佳匹配点的时间戳作为所述红外图像视频和所述风速信息之间的时间同步点；
对所述时间同步点进行检验，以确定在所述时间同步点上所述红外图像视频和所述风速信息之间的观测值对应。
需要说明的是，本发明中的时间同步可以分为三个阶段，第一个阶段为计算时间差，利用最小化时间差异法计算所述红外时间戳和所述风速时间戳的最小时间差。第二个阶段为寻找最佳匹配点，在本发明中是基于红外时间戳为基准通过最小时间差的计算确定红外图像视频和风速传感器之间的关于时间的最佳匹配点。第三个阶段为确定时间同步点，在该阶段主要是进行验证将找到的最佳匹配点的时间戳作为两者之间的时间同步点，确保在这些时间点上两者的观测值是对应的。
这种方法简单易懂，容易实现，并且不依赖于特定硬件设备或协议，因此具有较大的灵活性，适用于不同类型的传感器和设备。由于是对已采集的数据进行处理，因此可以在离线环境中进行，无需实时的在线同步。
在一种可选的实施例中，以所述红外时间戳为基准，利用最小化时间差异法在所述红外时间戳和所述风速时间戳中寻找最佳匹配点包括：
将所述红外时间戳以序列表示得到红外时间戳序列，将所述风速时间戳以序列表示得到风速时间戳序列；
计算所述红外时间戳序列中每个红外时间戳与所述风速时间戳序列中所有风速时间戳之间的绝对差异值；
从所有绝对差异值中寻找绝对差异值最小所对应的风速时间戳，并将绝对差异值最小所对应的风速时间戳作为所述红外时间戳与所述风速时间戳的最佳匹配点。
需要说明的是，将红外时间戳以序列表示得到红外时间戳序列，将风速时间戳以序列表示得到风速时间戳序列/>，在这两个序列中的时间戳是有序的，对于红外摄像头的每个时间戳/>计算它与风速传感器中所有时间戳之间的绝对差异：/>，重复上述的计算过程，对红外摄像头的每个时间戳都计算与风速传感器所有时间戳的差异，从而寻找到与之最接近的风速时间戳：。这里/>表示红外摄像头时间戳的最佳匹配，即差异最小的风速传感器时间戳。对于红外摄像头的所有时间戳，重复上述过程，找到它们与风速传感器的最佳匹配。将找到的最佳匹配点的时间戳作为两者之间的时间同步点，确保在这些时间点上两者的观测值是对应的。
在一种可选的实施例中，基于自监督学习技术构建对抗训练模型，所述对抗训练模型用于训练所述融合层模型包括：
定义生成器和判别器的深度学习模型，所述生成器包括上采样和卷积层，所述判别器包括卷积层和全连接层，将所述生成器和所述判别器连接在一起形成GAN模型；
定义生成器的损失函数为，其中，/>表示生成器生成的样本被判别器判定为真实样本的概率，Z 表示生成器的输入随机噪声；定义判别器的损失函数为：/>，/>表示判别器对真实样本的判定概率；
对所述生成器和所述判别器交替进行训练，得到对抗训练模型。
需要说明的是，在深度估计网络中引入对抗性训练、增强模型的鲁棒性，采用自监督学习技术，提高模型在复杂环境中的性能。利用对抗生成网络（Generative AdversarialNetworks，GANs）生成具有挑战性的输入样本。定义生成器G和判别器D的深度学习模型。生成器G使用上采样和卷积层，最终输出一个与数据集相似的图像；判别器D由卷积层和全连接层组成，用于对输入图像进行二元分类。将生成器和判别器连接在一起形成GAN模型。定义生成器和判别器的损失函数。生成器的目标是欺骗判别器，而判别器的目标是正确地分类真实和生成的样本。编译GAN模型，指定优化器和损失函数。训练GAN模型：具体的操作为生成噪声数据（随机噪声）作为生成器的输入之后生成器生成对抗样本；从真实数据中随机选择一批样本并使用判别器对真实样本和生成的样本进行训练，计算判别器的损失。使用生成器对GAN模型进行训练，计算生成器的损失。然后交替进行生成器和判别器的训练。
在一种可选的实施例中，对所述生成器和所述判别器交替进行训练包括：
固定判别器，训练生成器：
生成噪声函数，从一个随机分布中生成噪声向量，其中，所述噪声向量服从正态分布；
生成对抗样本，使用生成器将所述噪声函数转换成对抗样本；
使用固定的判别器对所述对抗样本进行分类，使用二元交叉熵损失函数计算生成器损失；
使用所述生成器损失更新生成器的参数；
固定生成器，训练判别器：
将所述红外视频图像和所述风速信息作为真实样本，从所述真实样本任选一批样本通过所述生成器生成对抗样本，为所述真实样本分配标签为1，为所述对抗样本分配标签为0；
使用所述判别器对所述真实样本和所述对抗样本进行分类，并计算判别器损失；
使用所述判别器损失更新判别器的参数。
需要说明的是，在训练 GAN 模型时，交替训练是指交替更新生成器和判别器的参数。这样的交替过程有助于生成器和判别器相互竞争、相互学习，最终使得生成器能够生成更逼真的样本，而判别器能够更准确地区分真实和生成的样本。
其中，固定判别器，训练生成器包括：生成噪声数据，从一个随机分布中生成噪声向量z，其中，z服从正态分布。生成对抗样本，使用生成器G将噪声数据转化为对抗样本G(z)：GeneratedSamples:G(z)。使用固定的判别器 D 对生成的对抗样本进行分类，但在这个阶段不更新判别器的参数。使用二元交叉熵损失函数计算生成器损失，即生成器生成的对抗样本被判别器判定为真实样本的负对数概率：
使用生成器损失来更新生成器的参数，以减小生成器生成的对抗样本与真实样本的区别：
其中，表示生成器的参数，/>是学习率，/>表示生成器损失对生成器参数的梯度。
冻结判别器的参数，只更新生成器的参数。使用生成器生成一批对抗样本，并通过判别器进行分类。
使用二元交叉熵损失函数计算生成器损失，使生成器朝着能够愚弄判别器的方向前进。更新生成器的参数以减小生成器损失。
固定生成器，训练判别器包括：
准备真实样本和生成器生成的对抗样本，从真实数据中选择一批样本，并使用生成器生成相应数量的对抗样本。为真实样本分配标签1，为生成的对抗样本分配标签 0：
使用判别器D对真实样本和生成的对抗样本进行分类：
计算判别器损失，即真实样本被判别器判定为真实样本的损失和生成的对抗样本被判别器判定为生成样本的损失之和：
使用判别器损失来更新判别器的参数，以减小判别器对真实和生成样本的分类误差：
其中，表示判别器的参数，η学习率，用于控制每次参数更新的步长，表示判别器损失对判别器参数的梯度。
这个阶段的目标是通过更新判别器的参数，使得判别器能够更好地区分真实样本和生成样本。在这个步骤中，生成器的参数是被固定的，判别器的参数是唯一被更新的。整个过程的核心是通过调整判别器的参数，使得其能够更准确地判断真实样本和生成样本。
重复执行上述两个步骤，通过多个迭代来进行。这样，生成器和判别器将相互影响并逐渐提高性能。由于生成器和判别器的目标是相互竞争的，交替训练有助于达到一种平衡，使得生成器生成更真实的样本，而判别器更难以区分真实和生成的样本。这个交替训练的过程一直进行，直到生成器生成的样本足够逼真，判别器无法有效地区分真实和生成的样本。
相较于现有技术而言，本发明的创新点在于：
1、考虑多层次深度信息：在深度估计中引入多层次深度信息（使用多尺度深度估计模型或者金字塔结构），以更好地应对大空间结构内多物体、多深度的情况，适应不同深度层次的目标；
2、实时性优化：针对大空间的实时性需求，优化深度估计模型，使其能够在高效率下运行。使用模型压缩技术（利用剪枝技术去除模型中不重要的连接或参数来减小模型大小；使用剪裁算法对模型进行剪裁，去除网络结构中的一些部分，包括神经元、通道或层，以减少参数数量），硬件加速，以提高深度估计的实时性；
3、利用红外图像中的温度信息，结合深度信息进行温度感知深度估计，适应火灾场景中的高温条件；利用深度估计预测火源的扩散路径，提高对火灾演变过程的理解；结合深度信息和风速传感器的数据，建立火源扩散模型，实现路径规划和预测。
在一种可选的实施例中，步骤S1还包括：
通过风速传感器获取风向信息，将所述风向信息转化为风向向量；
对所述红外视频图像进行预处理，将预处理后的红外视频图像和所述风向信息进行浇筑生成数据集，并将所述数据集划分为训练集和测试集进行训练，得到红外摄像头调整信息；
基于所述红外摄像头调整信息，利用PID控制算法计算所述红外摄像头的位移，通过电动驱动系统根据所述位移调整所述红外摄像头。
需要说明的是，风速传感器定期采集风速、风向信息、红外线摄像头每隔一段时间采集被测物体的红外图像传输至数据处理器中；开发数据融合模块，将风向信息与图像数据相结合。在本实施例中，具体过程如下：修改yolov8输入层的结构，添加额外通道作为风向信息的输入。在前向传播中融合风向信息：使用torch.cat函数来连接图像数据和风向信息。
首先，风速传感器的风向信息是角度或方向向量的形式，将风向信息转化为风向向量：弧度 = (θ × π) / 180 ；x 分量 = cos(弧度) 、y 分量 = sin(弧度)。这样，就得到了一个风向向量，其 x 和 y 分量表示风的方向。其次，对红外图像进行分析预处理。通过LabelImg工具对预处理后的红外图像和风向信息进行标注，制作成.txt格式与图片相互对应的数据集，风向信息加入到与图像相对应的txt文件中，并对其进行9：1划分为训练集和测试集进行训练，在训练时，将均方误差（Mean Squared Error，MSE）损失函数用于监测方向的角度预测任务，使用MSE可以帮助模型调整其权重以最小化预测角度与实际角度之间的差距。yolov8训练迭代次数叠加回归损失函数趋于平稳后将红外图像及其包含风向信息的文件加入预训练好的yolov8网络进行目标检测和风向分析，综合考虑风向信息和图像信息，输出预测结果。需要注意的是，在模型输出中，需要设计一个输出层作为预测监测方向的角度，因为输出的需要是一个实际的角度值，因此在此输出层只能包含一个单一的神经元，并且在输出层不能使用激活函数。
根据模型输出的结果结合与红外摄像头连接的电动驱动系统，利用PID控制算法计算控制摄像头的位移。在本实施例中，具体实现过程如下：根据位置红外摄像头的位置传感器得出摄像头现位置信息，结合红外摄像头调整信息计算出的新的监测方向得出：误差角度=目标方向-当前摄像头的方向，将计算出的误差角度传递给PID传感器，作为控制反馈的输出。PID控制器根据误差角度调整摄像头的位置。
PID具体原理如下：比例部分是比例控制器通过将误差信号乘以比例常数Kp计算输出，反应系统当前误差：
积分控制器通过将误差信号的积分乘以积分常数Ki来计算输出，消除系统稳态误差：
微分控制器通过计算误差信号的变化率乘以微分常数Kd来计算输出，有助于抑制系统振荡：
总控制输出将P、I、D输出相加，得到总控制输出：
本发明实施例2提供了一种电子设备，如图3所示，该电子设备包括处理器21、存储器22、输入装置23和输出装置24；计算机设备中处理器21的数量可以是一个或多个，图3中以一个处理器21为例；电子设备中的处理器21、存储器22、输入装置23和输出装置24可以通过总线或其他方式连接，图3中以通过总线连接为例。
存储器22作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块。处理器21通过运行存储在存储器22中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现实施例1的一种基于深度估计的高大空间火灾监测方法。
存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器22可进一步包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置23可用于接收用户输入的id和密码等。输出装置24用于输出配网页面。
本发明实施例3还提供一种计算机可读存储介质，所述计算机可执行指令在由计算机处理器执行时用于实现如实施例1所提供的一种基于深度估计的高大空间火灾监测方法。
本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于实施例1所提供的方法操作，还可以执行本发明任意实施例所提供的一种基于深度估计的高大空间火灾监测方法中的相关操作。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于深度估计的高大空间火灾监测方法，其特征在于，包括如下步骤：
步骤S1、在高大空间布置两个红外摄像头和一个风速传感器，通过所述红外摄像头获取红外视频图像，通过所述风速传感器获取风速信息；
步骤S2、对所述红外摄像头进行标定，得到估算相机参数，采用ORB算法对所述红外视频图像进行特征匹配，得到特征点，对所述特征点进行计算得到视差信息；
步骤S3、基于所述估算相机参数和所述视差信息，采用改进的深度估计算法对所述红外视频图像和所述风速信息进行计算，得到深度信息；
步骤S4、将所述红外视频图像中的温度信息与所述深度信息结合，得到区域温度；将所述风速信息与所述深度信息进行结合，得到火源扩散路径；其中，采用改进的深度估计算法对所述红外视频图像和所述风速信息进行计算包括：
构建多输入多输出模型，将所述红外视频图像和所述风速信息输入所述多输入多输出模型中进行处理，得到关联数据；
构建融合层模型，基于所述关联数据采用所述融合层模型对所述红外视频图像和所述风速信息进行数据融合，得到深度信息；
基于自监督学习技术构建对抗训练模型，所述对抗训练模型用于训练所述融合层模型；
其中，构建多输入多输出模型，将所述红外视频图像和所述风速信息输入所述多输入多输出模型中进行处理，得到关联数据包括：
建立红外视频图像输入通道和风速信息输入通道，将所述红外视频图像输入通道用于接收红外视频图像，所述风速信息输入通道用于接收风速信息；
建立中间层，在所述中间层中设计有用于提取红外视频图像特征的卷积层，以及用于处理红外摄像头时间序列和风速传感器时间序列的展平层；
所述红外视频图像经过所述卷积层的特征提取后，得到红外视频图像特征；所述红外摄像头和所述风速传感器经过所述展平层的时间同步后，得到时间同步点；
建立组合层，通过所述组合层将所述红外视频图像特征和所述时间同步点进行特征连接，得到关联数据。
2.根据权利要求1所述的一种基于深度估计的高大空间火灾监测方法，其特征在于，所述红外摄像头和所述风速传感器经过所述展平层的时间同步后，得到时间同步点包括：
从所述红外视频图像和所述风速信息中分别提取时间戳信息，得到红外时间戳和风速时间戳；
以所述红外时间戳为基准，利用最小化时间差异法在所述红外时间戳和所述风速时间戳中寻找最佳匹配点；
将所述最佳匹配点的时间戳作为所述红外视频图像和所述风速信息之间的时间同步点；
对所述时间同步点进行检验，以确定在所述时间同步点上所述红外视频图像和所述风速信息之间的观测值对应。
3.根据权利要求2所述的一种基于深度估计的高大空间火灾监测方法，其特征在于，以所述红外时间戳为基准，利用最小化时间差异法在所述红外时间戳和所述风速时间戳中寻找最佳匹配点包括：
将所述红外时间戳以序列表示得到红外时间戳序列，将所述风速时间戳以序列表示得到风速时间戳序列；
计算所述红外时间戳序列中每个红外时间戳与所述风速时间戳序列中所有风速时间戳之间的绝对差异值；
从所有绝对差异值中寻找绝对差异值最小所对应的风速时间戳，并将绝对差异值最小所对应的风速时间戳作为所述红外时间戳与所述风速时间戳的最佳匹配点。
4.根据权利要求1所述的一种基于深度估计的高大空间火灾监测方法，其特征在于，基于自监督学习技术构建对抗训练模型，所述对抗训练模型用于训练所述融合层模型包括：
定义生成器和判别器的深度学习模型，所述生成器包括上采样和卷积层，所述判别器包括卷积层和全连接层，将所述生成器和所述判别器连接在一起形成GAN模型；
定义生成器的损失函数为"Generator Loss=-log" (D(G(Z) ) )，其中，D(G(Z) )表示生成器生成的样本被判别器判定为真实样本的概率，Z 表示生成器的输入随机噪声；定义判别器的损失函数为："Discriminator Loss=-log" (D(X) )-log(1-D(G(Z) ) )，D(X)表示判别器对真实样本的判定概率；
对所述生成器和所述判别器交替进行训练，得到对抗训练模型。
5.根据权利要求4所述的一种基于深度估计的高大空间火灾监测方法，其特征在于，对所述生成器和所述判别器交替进行训练包括：
固定判别器，训练生成器：
生成噪声函数，从一个随机分布中生成噪声向量，其中，所述噪声向量服从正态分布；
生成对抗样本，使用生成器将所述噪声函数转换成对抗样本；
使用固定的判别器对所述对抗样本进行分类，使用二元交叉熵损失函数计算生成器损失；
使用所述生成器损失更新生成器的参数；
固定生成器，训练判别器：
将所述红外视频图像和所述风速信息作为真实样本，从所述真实样本任选一批样本通过所述生成器生成对抗样本，为所述真实样本分配标签为1，为所述对抗样本分配标签为0；
使用所述判别器对所述真实样本和所述对抗样本进行分类，并计算判别器损失；
使用所述判别器损失更新判别器的参数。
6.根据权利要求1所述的一种基于深度估计的高大空间火灾监测方法，其特征在于，步骤S1还包括：
通过风速传感器获取风向信息，将所述风向信息转化为风向向量；
对所述红外视频图像进行预处理，将预处理后的红外视频图像和所述风向信息进行浇筑生成数据集，并将所述数据集划分为训练集和测试集进行训练，得到红外摄像头调整信息；
基于所述红外摄像头调整信息，利用PID控制算法计算所述红外摄像头的位移，通过电动驱动系统根据所述位移调整所述红外摄像头。
7.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至6任一项所述的一种基于深度估计的高大空间火灾监测方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6任一项所述的一种基于深度估计的高大空间火灾监测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410107733.9A CN117636608B (zh) | 2024-01-26 | 2024-01-26 | 一种基于深度估计的高大空间火灾监测方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410107733.9A CN117636608B (zh) | 2024-01-26 | 2024-01-26 | 一种基于深度估计的高大空间火灾监测方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117636608A CN117636608A (zh) | 2024-03-01 |
| CN117636608B true CN117636608B (zh) | 2024-04-19 |
Family
ID=90038026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410107733.9A Active CN117636608B (zh) | 2024-01-26 | 2024-01-26 | 一种基于深度估计的高大空间火灾监测方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117636608B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002350247A (ja) * | 2001-05-24 | 2002-12-04 | Hitachi Cable Ltd | 温度異常検知部品及びこれを用いた温度異常検知装置 |
| CN104217526A (zh) * | 2014-08-11 | 2014-12-17 | 江门市丰鸣达科技有限公司 | 一种火灾预警方法及防火隔离方法 |
| CN108416963A (zh) * | 2018-05-04 | 2018-08-17 | 湖北民族学院 | 基于深度学习的森林火灾预警方法及系统 |
| CN108682105A (zh) * | 2018-05-29 | 2018-10-19 | 贵州电网有限责任公司 | 一种基于多光谱的输电线路山火勘测预警装置及预警方法 |
| CN113379998A (zh) * | 2021-06-09 | 2021-09-10 | 南京品傲光电科技有限公司 | 一种石化罐区自动化火灾报警系统 |
| CN117173848A (zh) * | 2023-09-07 | 2023-12-05 | 海南省林业科学研究院(海南省红树林研究院) | 一种基于数据分析的森林火灾探测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021203037A1 (en) * | 2020-04-03 | 2021-10-07 | Rapidsos, Inc. | Systems and methods for identifying and activating emergency response assets |
-
2024
- 2024-01-26 CN CN202410107733.9A patent/CN117636608B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002350247A (ja) * | 2001-05-24 | 2002-12-04 | Hitachi Cable Ltd | 温度異常検知部品及びこれを用いた温度異常検知装置 |
| CN104217526A (zh) * | 2014-08-11 | 2014-12-17 | 江门市丰鸣达科技有限公司 | 一种火灾预警方法及防火隔离方法 |
| CN108416963A (zh) * | 2018-05-04 | 2018-08-17 | 湖北民族学院 | 基于深度学习的森林火灾预警方法及系统 |
| CN108682105A (zh) * | 2018-05-29 | 2018-10-19 | 贵州电网有限责任公司 | 一种基于多光谱的输电线路山火勘测预警装置及预警方法 |
| CN113379998A (zh) * | 2021-06-09 | 2021-09-10 | 南京品傲光电科技有限公司 | 一种石化罐区自动化火灾报警系统 |
| CN117173848A (zh) * | 2023-09-07 | 2023-12-05 | 海南省林业科学研究院(海南省红树林研究院) | 一种基于数据分析的森林火灾探测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117636608A (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210326624A1 (en) | Method, system and device for difference automatic calibration in cross modal target detection | |
| US20200072744A1 (en) | Inspection and failure detection of corrosion under fireproofing insulation using a hybrid sensory system | |
| KR101900176B1 (ko) | 물체 검출 장치, 물체 검출 방법, 및 물체 검출 시스템 | |
| US20170227673A1 (en) | Material detection systems | |
| CN111353450B (zh) | 一种基于异构电磁感知信息融合的目标识别系统和方法 | |
| CN106649598A (zh) | 一种输电线路覆冰厚度的检测方法 | |
| CN111753712A (zh) | 电力生产人员安全监测方法、系统以及设备 | |
| JP7190951B2 (ja) | 画像認識システムおよび画像認識方法 | |
| KR20190142626A (ko) | Uav 탑재용 하이브리드 이미지 스캐닝에 기반한 자동화 구조물 균열 평가 시스템 및 그 방법 | |
| CN112200057A (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
| EP3894840A1 (en) | Inspection and failure detection of corrosion under fireproofing insulation using a hybrid sensory system | |
| WO2022126522A1 (zh) | 物体识别方法、装置、可移动平台以及存储介质 | |
| JP2021536075A (ja) | 拡充識別器を訓練するための装置および方法 | |
| CN112967388A (zh) | 三维时序图像神经网络模型的训练方法和装置 | |
| CN115063762A (zh) | 车道线的检测方法、装置、设备及存储介质 | |
| Kinaneva et al. | Application of artificial intelligence in UAV platforms for early forest fire detection | |
| Ajakwe et al. | Tractable minacious drones aerial recognition and safe-channel neutralization scheme for mission critical operations | |
| CN117636608B (zh) | 一种基于深度估计的高大空间火灾监测方法、设备及介质 | |
| De Venâncio et al. | Fire detection based on a two-dimensional convolutional neural network and temporal analysis | |
| CN111611921B (zh) | 一种基于遥感大数据的太阳能板识别系统 | |
| Melkumyan et al. | Real Time Facial Recognition and Tracking System Using Drones | |
| Kim et al. | Automatic labeled LiDAR data generation based on precise human model | |
| JP2024514175A (ja) | 鳥の検出および種決定 | |
| CN114139805A (zh) | 温度预测及模型训练方法和相关装置 | |
| RU2315357C2 (ru) | Способ детектирования объекта |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |