CN114359776A - 一种融合光与热成像的火焰检测方法、装置 - Google Patents
一种融合光与热成像的火焰检测方法、装置 Download PDFInfo
- Publication number
- CN114359776A CN114359776A CN202111411341.4A CN202111411341A CN114359776A CN 114359776 A CN114359776 A CN 114359776A CN 202111411341 A CN202111411341 A CN 202111411341A CN 114359776 A CN114359776 A CN 114359776A
- Authority
- CN
- China
- Prior art keywords
- visible light
- thermal imaging
- characteristic diagram
- detection frame
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 161
- 238000001931 thermography Methods 0.000 title claims abstract description 161
- 238000003384 imaging method Methods 0.000 title description 2
- 238000010586 diagram Methods 0.000 claims abstract description 148
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 18
- 238000012216 screening Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000012634 optical imaging Methods 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 4
- 238000005286 illumination Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Landscapes
- Fire-Detection Mechanisms (AREA)
- Radiation Pyrometers (AREA)
Abstract
本发明实施例提供一种融合光与热成像的火焰检测方法、装置，属于火焰检测领域。所述火焰检测方法包括：获取待检测图像的可见光图像和热成像图像；对所述可见光图像和热成像图像分别执行特征提取操作以得到可见光特征图和热成像特征图；对可见光特征图和热成像特征图进行一系列操作以得到出现火焰的区域。通过上述技术方案，本发明实施例提供的一种融合光与热成像的火焰检测方法、装置通过一个简单有效的注意力引导模块来融合可见光图像与热成像图像的信息，通过热成像特征图生成的注意力与跨光谱检测框信息，以区域对应的方式优化可见光特征图，达到增加火焰检测准确度，降低误报率的效果。
Description
技术领域
本发明涉及火焰检测技术领域，具体地涉及一种融合光与热成像的火焰检测方法、装置。
背景技术
基于视频/图像的火焰检测，旨在通过采集监控摄像头的画面，监控特定区域，及早发现火情。从而及时处理，避免发生严重的后果。传统的识别方式中，基于火焰颜色的都是明亮的红色，采用颜色过滤的方法，增加一个高低的过滤掩码层，就可以把火焰从图片中单独过滤出来，但容易造成误检。
虽然在火焰检测领域，可见光与热成像融合的方法较少，但可见光与热成像的融合技术已在行人检测领域得到了研究。如双光谱行人数据集KAIST，在该数据集上，一个有效的检测方法是能够理解光照变化的Faster R-CNN，利用光照理解卷积网络获取当前图像的光照强度，该光照强度信息被用于决定可见光与热成像检测结果的可信度。但是，对于行人检测来说，日间与夜间两个情景中，对不同光谱图像的侧重性是不同的，但是由于火焰本身是光源，因此受光照的影响相对较小，即使在夜晚也可以在可见光图像中检测火焰。因此多光谱火焰检测与上述行人检测工作存在一些不同。相机的弱对齐情景是常见的，多光谱数据尤为如此，因为不同光谱相机的帧率和FOV(视场角)通常都不同，同时热成像相机的分辨率通常也较低。
基于计算机视觉的火焰检测模块是消防机器人视觉的重要组成部分。然而，目前的大部分研究中，传感器信息仅限于单个光谱。对于可见光图像，现有方法通常使用火焰的颜色信息、以及火焰在图像中运动特性来检测火焰。如使用高斯混合模型对火焰的颜色进行建模，但高斯分量的数量需要人工估计，因此较为依赖经验。对于热成像图像，常用的方法是使用自适应的阈值分割方法来从图像中分离出火焰区域，但是该方法易受图像中其他高温物体的影响。
发明内容
本发明实施例的目的是提供一种融合光与热成像的火焰检测方法、装置。该方法能够提供一个简单有效的注意力引导模块来融合可见光图像与热成像图像的信息，通过热成像特征图生成的注意力与跨光谱检测框信息，以区域对应的方式优化可见光特征图，达到增加火焰检测准确度，降低误报率的效果
为了实现上述目的，第一方面，本发明实施例提供一种融合光与热成像的火焰检测方法，所述方法包括：
获取待检测图像的可见光图像和热成像图像；
对所述可见光图像和热成像图像分别执行特征提取操作以得到可见光特征图和热成像特征图；
分别对所述可见光特征图和所述热成像特征图执行区域划分操作以得到可见光特征图检测框和热成像特征图检测框；
对区域划分操作后的所述可见光特征图检测框和热成像特征图检测框分别执行特征编码操作以得到对应的一维向量；
采用可见光分类器对所述可见光特征图检测框对应的一维向量进行处理以得到对应的可见光置信度；
筛选每个所述可见光特征图检测框，保留所述可见光置信度大于预设的可见光阈值的所述可见光特征图检测框；
采用热成像分类器对所述热成像特征图检测框对应的一维向量进行处理以得到对应的热成像置信度；
筛选每个所述热成像特征图检测框，保留所述热成像置信度大于预设的热成像阈值的所述热成像特征图检测框；
采用Box回归器对所述可见光特征图检测框和所述热成像特征图检测框进行修正；
遍历每个所述可见光特征图检测框，在所述热成像特征图中寻找与所述可见光特征图检测框位置的预设范围内最接近的所述热成像特征图检测框，以进行配对；
对所述热成像特征图分别执行最大池化操作和平均池化操作；
对最大池化操作后的所述热成像特征图和平均池化操作后的所述热成像特征图依次执行拼接和卷积操作，以得到空间注意力；
以每个所述热成像特征图检测框的位置为基准，在所述空间注意力中确定区域注意力；
根据所述可见光特征图检测框和所述热成像特征图检测框的配对关系将所述可见光特征图与所述区域注意力相乘，以得到优化后的可见光特征图；
优化后的所述可见光特征图执行特征编码操作以得到对应的一维向量；
采用可见光分类器针对优化后的所述可见光特征图对应的一维向量进行分类以得到每个优化后的所述可见光特征图对应的置信度；
选择所述置信度大于预设的可见光阈值的优化后所述可见光特征图所在区域作为火焰区域。
可选地，遍历每个所述可见光特征图检测框，在所述热成像特征图中寻找与所述可见光特征图检测框的位置的预设范围内最接近的热成像特征图检测框，以进行配对包括：
在所述预设范围内存在热成像置信度大于预设的热成像阈值的热成像特征图检测框的情况下，寻找与所述可见光特征图检测框的位置最接近的所述热成像特征图检测框，以进行配对；
在所述预设范围不存在热成像置信度大于预设的热成像阈值的热成像特征图检测框的情况下，寻找所述预设范围内热成像置信度最大的所述热成像特征图检测框以进行配对。
可选地，所述预设范围为100*100像素内。
可选地，所述置信度的取值范围为0至1。
可选地，选择所述置信度大于预设的可见光阈值的优化后所述可见光特征图所在区域作为火焰区域包括：
在所有优化后的所述可见光特征图的可见光置信度均小于或等于预设的可见光阈值情况下，将所述可见光置信度最大的所述可见光特征图区域作为所述火焰区域。
可选地，根据所述可见光特征图检测框和所述热成像特征图检测框的配对关系将所述可见光特征图与所述区域注意力相乘，以得到优化后的可见光特征图包括：
根据所述可见光特征图检测框对所述可见光特征图进行区域划分以得到可见光区域特征图；
根据所述可见光特征图检测框和所述热成像特征图检测框的配对关系将所述可见光区域特征图与所述区域注意力相乘，以得到优化后的可见光区域特征图。
第二方面，本发明还提供一种火焰检测装置，所述装置包括处理器，所述处理器用于执行如上述任一所述的融合光与热成像的火焰检测方法。
通过上述技术方案，本发明实施例提供的一种融合光与热成像的火焰检测方法、装置通过一个简单有效的注意力引导模块来融合可见光图像与热成像图像的信息，通过热成像特征图生成的注意力与跨光谱检测框信息，以区域对应的方式优化可见光特征图，达到增加火焰检测准确度，降低误报率的效果。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是根据本发明的一个实施方式的一种融合光与热成像的火焰检测方法的流程图；
图2是根据本发明的一个实施方式的一种融合光与热成像的火焰检测方法的设备连接示意图；
图3是根据本发明的一个实施方式的一种融合光与热成像的火焰检测方法的注意力引导模块内的工作示意图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
如图1是根据本发明的一个实施方式的一种融合光与热成像的火焰检测方法的流程图。在图1中，该融合光与热成像的火焰检测方法可以包括：
在步骤S1中，获取待检测图像的可见光图像Iv和热成像图像It。
在步骤S2中，对可见光图像Iv和热成像图像It分别执行特征提取操作以得到可见光特征图Fv和热成像特征图Ft。
在步骤S3中，分别对可见光特征图Fv和热成像特征图Ft分别执行区域划分操作以得到可见光特征图检测框RV和热成像特征图检测框Rt。
在步骤S4中，对区域划分操作后的可见光特征图检测框RV和热成像特征图检测框Rt分别执行特征编码操作以得到对应的一维向量。
在步骤S5中，采用可见光分类器3对可见光特征图检测框RV的一维向量进行处理以得到对应的可见光置信度。
在步骤S6中，筛选每个可见光特征图检测框RV，保留可见光置信度大于预设的可见光阈值的可见光特征图检测框RV。
在步骤S7中，采用热成像分类器4对热成像特征图检测框Rt的一维向量进行处理以得到对应的热成像置信度。
在步骤S8中，筛选每个热成像特征图检测框Rt，保留热成像置信度大于预设的热成像阈值的热成像特征图检测框Rt。
在步骤S9中，采用Box回归器5对可见光特征图检测框RV和热成像特征图检测框Rt进行修正。
在步骤S10中，遍历每个可见光特征图检测框RV，在热成像特征图Ft中寻找与可见光特征图检测框RV位置的预设范围内最接近的热成像特征图检测框Rt，以进行配对。
在步骤S11中，对热成像特征图Ft分别执行最大池化操作和平均池化操作。
在步骤S12中，对最大池化操作后的热成像特征图Ft和平均池化操作后的热成像特征图Ft依次执行拼接和卷积操作，以得到空间注意力At。
在步骤S13中，以每个热成像特征图检测框Rt的位置为基准，在空间注意力At中确定区域注意力Art。
在步骤S14中，根据可见光特征图检测框RV和热成像特征图检测框Rt的配对关系将可见光特征图Fv与区域注意力Art相乘，以得到优化后的可见光特征图bboxv。
在步骤S15中，优化后的可见光特征图bboxv执行特征编码操作以得到对应的一维向量。
在步骤S16中，采用可见光分类器3针对优化后的可见光特征图bboxv对应的一维向量进行分类以得到每个优化后的可见光特征图bboxv对应的置信度。
在步骤S17中，选择置信度大于预设的可见光阈值的优化后的可见光特征图bboxv所在区域作为火焰区域。
在本发明的一个实施方式中，如图1和图2所示，在获取待检测图像的可见光图像Iv和热成像图像It后，特征提取器1可以对可见光图像Iv和热成像图像It分别执行特征提取操作以得到可见光特征图Fv和热成像特征图Ft。在获得可见光特征图Fv和热成像特征图Ft后，区域划分模块RPN可以分别对可见光特征图Fv和热成像特征图Ft执行区域划分操作，从而能够得到可见光特征图检测框RV和热成像特征图检测框Rt。该可见光特征图检测框RV和热成像特征图检测框Rt目前是三维模型，不利于后续的计算和操作。特征编码器2可以将区域划分后的可见光特征图检测框RV和热成像特征图检测框Rt执行编码操作，以将可见光特征图检测框RV和热成像特征图检测框Rt的三维模型转换为一维向量从而便于后续的计算和操作。可见光分类器3能够对可见光特征图检测框RV对应的一维向量进行处理以得到相对应的可见光置信度。在得到可见光置信度以后该可见光分类器3能够对每个可见光特征图检测框RV进行筛选，在可见光置信度大于预设的可见光阈值时，可将该可见光置信度进行保留，该可见光置信度对应的可见光特征图检测框RV也可以进行保留。在该可见光置信度小于预设的可见光阈值时，可以将其暂时的舍弃。在可见光分类器3筛选可见光特征图检测框RV的同时，热成像分类器4也可以对每个热成像特征图检测框Rt对应的一维向量进行处理以得到相对应的热成像置信度。在得到热成像置信度以后该热成像分类器4可以对每个热成像特征图检测框Rt进行筛选，在热成像置信度大于预设的热成像阈值时，可将该热成像置信度保留，该热成像置信度对应的热成像特征图检测框Rt也可以进行保留。在热成像置信度小于预设的热成像阈值时，可以将其暂时的舍弃。在可见光分类器3和热成像分类器4工作的同时，Box分类器5也可以对可见光特征图检测框RV和热成像特征图检测框Rt进行修正，以得到更加准确的检测框的位置。
在可见光分类器3、热成像分类器4和Box分类器5工作完成后，配对模块6可以遍历每个可见光特征图检测框RV。在另一个光谱的热成像特征图Ft的预设范围内中寻找与可见光特征图检测框RV位置最接近的热成像特征图检测框Rt，并将其两两配对。
配对模块6将可见光特征图检测框RV和热成像特征图检测框Rt配对后，可以将配对后的可见光特征图检测框RV和热成像特征图检测框Rt输入注意力引导模块7。与此同时，可见光特征图Fv和热成像特征图Ft也被输入注意力引导模块7中。
如图3所示，该热成像特征图Ft输入到注意力引导模块7后，该注意力引导模块7可以对热成像特征图Ft分别进行最大池化操作和平均池化操作。在热成像特征图Ft最大池化操作和平均池化操作后，分别将最大池化操作后的热成像特征图Ft和平均池化操作后的热成像特征图Ft拼接在一起，然后将拼接后的热成像特征图Ft进行卷积以得到对应的空间注意力。
在得到空间注意力At后，以每个热成像特征图检测框Rt的位置为基准，在空间注意力At确定区域注意力Art。热成像特征图检测框Rt在空间注意力At中确定区域注意力Art后，根据可见光特征图检测框RV和热成像特征图检测框Rt的配对关系，可以通过对应的可见光特征图检测框RV在可见光特征图Fv上寻找相对应的可见光特征图Fv，然后将该可见光特征图Fv与区域注意力相乘，以完成对火焰区域的强化或者对非火焰区域的抑制，即对该可见光特征图Fv进行优化和修正。
在对可见光特征图Fv优化后，注意力引导模块7可以将优化后的可见光特征图bboxv再次输入到特征编码器7。特征编码器7将优化后的可见光特征图bboxv执行编码操作已得到对应的一维向量。可见光分类器3对优化后的可见光特征图bboxv对应的一维向量进行分类从而得到优化后的可见光特征图bboxv对应的置信度，然后选择置信度大于预设的可见光阈值的优化后的可见光特征图bboxv所在区域为火焰区域。
在本发明的一个实施方式中，在遍历每个可见光特征图检测框RV，在热成像特征图Ft中寻找与可见光特征图检测框RV位置的预设范围内最接近的热成像特征图检测框Rt，以进行配对，即步骤S10可以包括：对于每个可见光特征图检测框RV，如果在热成像特征图Ft内预设的范围内存在热成像置信度大于预设的热成像阈值的热成像特征图检测框Rt的情况下，寻找与可见光特征图检测框RV距离最接近的位置，然后将该热成像特征图检测框Rt与可见光特征图检测框RV进行配对。如果在预设的范围内不存在热成像置信度大于预设的热成像阈值的热成像特征图检测框Rt，则可见光特征图检测框RV寻找在预设的范围内热成像置信度最大的热成像特征图检测框Rt，然后将其两两配对。因此，在明确其中一个检测框的位置信息后，就能够明确另一个相配对的检测框的位置信息。
在本发明的一个实施方式中，在热成像特征图Ft中预设的像素范围可以是本领域人员所知的多种范围，包括单不限于10*10、50*50、100*100以及200*200中的任一者。在本发明的一个优选示例中，考虑预设范围的简单、准确，100*100可以是该预设的像素范围。
在本发明的一个实施方式中，在得到可见光置信度和热成像置信度以后，其置信度的取值范围可以是本领域人员所知的多种取值范围。但是在本发明的一个优选示例中，预设的阈值的取值范围为0至1，若与预设的阈值进行对比以区分大小，则置信度的取值范围可以是在0至1之内。
在本发明的一个实施方式中，选择置信度大于预设的可见光阈值的可见光特征图Fv所在区域作为火焰区域，即步骤S17，可以包括：在所有的可见光特征图Fv的可见光置信度都小于或者等于预设的可见光阈值的情况下，可以将可见光置信度最大的可见光特征图Fv区域作为火焰区域，以完成对该区域的检测。
在本发明的一个实施方式中，在根据可见光特征图检测框RV和热成像特征图检测框Rt的配对关系将可见光特征图Fv与区域注意力Art相乘，以得到优化后的可见光特征图bboxv中，即步骤S14，可以包括：可以根据可见光特征图检测框RV对可见光特征图Fv进行区域划分以得到可见光区域特征图Frv。该可见光区域特征图Frv的划分是根据可见光特征图检测框RV在可见光特征图Fv上确定的，该可见光特征图检测框RV与上述的热成像特征图检测框Rt已经经过配对。则根据可见光特征图检测框RV和热成像特征图检测框Rt的配对关系，可见光区域特征图Frv和区域注意力Art是相匹配的。将可见光区域特征图Frv和区域注意力Art相乘，完成对火焰区域特征的强化或者非火焰区域特征的抑制，即优化对应区域的可见光区域特征图Frv。然后将该可见光区域特征图Frv输入到特征编码器2进行编码。可见光特征图检测框RV在可见光特征图Fv上提取对应的区域特征时，可以是将该区域的的特征拷贝出来，然后进行计算，并且在于后续的区域注意力Art相乘时，也是使用拷贝出来的区域特征，以避免原始可见光特征图Fv因多次修改而产生不可预知的结果。
第二方面，本发明还提供一种火焰检测装置，该装置可以包括处理器，用于处理上述任一所述的融合光与热成像的火焰检测方法，以完成对火焰的检测。
通过上述技术方案，本发明实施例提供的一种融合光与热成像的火焰检测方法、装置通过一个简单有效的注意力引导模块来融合可见光图像与热成像图像的信息，通过热成像特征图生成的注意力与跨光谱检测框信息，以区域对应的方式优化可见光特征图，达到增加火焰检测准确度，降低误报率的效果。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (7)
1.一种融合光与热成像的火焰检测方法，其特征在于，所述方法包括：
获取待检测图像的可见光图像和热成像图像；
对所述可见光图像和热成像图像分别执行特征提取操作以得到可见光特征图和热成像特征图；
分别对所述可见光特征图和所述热成像特征图执行区域划分操作以得到可见光特征图检测框和热成像特征图检测框；
对区域划分操作后的所述可见光特征图检测框和热成像特征图检测框分别执行特征编码操作以得到对应的一维向量；
采用可见光分类器对所述可见光特征图检测框对应的一维向量进行处理以得到对应的可见光置信度；
筛选每个所述可见光特征图检测框，保留所述可见光置信度大于预设的可见光阈值的所述可见光特征图检测框；
采用热成像分类器对所述热成像特征图检测框对应的一维向量进行处理以得到对应的热成像置信度；
筛选每个所述热成像特征图检测框，保留所述热成像置信度大于预设的热成像阈值的所述热成像特征图检测框；
采用Box回归器对所述可见光特征图检测框和所述热成像特征图检测框进行修正；
遍历每个所述可见光特征图检测框，在所述热成像特征图中寻找与所述可见光特征图检测框位置的预设范围内最接近的所述热成像特征图检测框，以进行配对；
对所述热成像特征图分别执行最大池化操作和平均池化操作；
对最大池化操作后的所述热成像特征图和平均池化操作后的所述热成像特征图依次执行拼接和卷积操作，以得到空间注意力；
以每个所述热成像特征图检测框的位置为基准，在所述空间注意力中确定区域注意力；
根据所述可见光特征图检测框和所述热成像特征图检测框的配对关系将所述可见光特征图与所述区域注意力相乘，以得到优化后的可见光特征图；
优化后的所述可见光特征图执行特征编码操作以得到对应的一维向量；
采用可见光分类器针对优化后的所述可见光特征图对应的一维向量进行分类以得到每个优化后的所述可见光特征图对应的置信度；
选择所述置信度大于预设的可见光阈值的优化后所述可见光特征图所在区域作为火焰区域。
2.根据权利要求1所述的融合光与热成像的火焰检测方法，其特征在于，遍历每个所述可见光特征图检测框，在所述热成像特征图中寻找与所述可见光特征图检测框的位置的预设范围内最接近的热成像特征图检测框，以进行配对包括：
在所述预设范围内存在热成像置信度大于预设的热成像阈值的热成像特征图检测框的情况下，寻找与所述可见光特征图检测框的位置最接近的所述热成像特征图检测框，以进行配对；
在所述预设范围不存在热成像置信度大于预设的热成像阈值的热成像特征图检测框的情况下，寻找所述预设范围内热成像置信度最大的所述热成像特征图检测框以进行配对。
3.根据权利要求1所述的融合光与热成像的火焰检测方法，其特征在于，所述预设范围为100*100像素内。
4.根据权利要求1所述的融合光与热成像的火焰检测方法，其特征在于，所述置信度的取值范围为0至1。
5.根据权利要求1所述的融合光与热成像的火焰检测方法，其特征在于，选择所述置信度大于预设的可见光阈值的优化后所述可见光特征图所在区域作为火焰区域包括：
在所有优化后的所述可见光特征图的可见光置信度均小于或等于预设的可见光阈值情况下，将所述可见光置信度最大的所述可见光特征图区域作为所述火焰区域。
6.根据权利要求1所述的融合光与热成像的火焰检测方法，其特征在于，根据所述可见光特征图检测框和所述热成像特征图检测框的配对关系将所述可见光特征图与所述区域注意力相乘，以得到优化后的可见光特征图包括：
根据所述可见光特征图检测框对所述可见光特征图进行区域划分以得到可见光区域特征图；
根据所述可见光特征图检测框和所述热成像特征图检测框的配对关系将所述可见光区域特征图与所述区域注意力相乘，以得到优化后的可见光区域特征图。
7.一种火焰检测装置，其特征在于，所述装置包括处理器，所述处理器用于执行如权利要求1至6任一所述的融合光与热成像的火焰检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111411341.4A CN114359776B (zh) | 2021-11-25 | 2021-11-25 | 一种融合光与热成像的火焰检测方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111411341.4A CN114359776B (zh) | 2021-11-25 | 2021-11-25 | 一种融合光与热成像的火焰检测方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114359776A true CN114359776A (zh) | 2022-04-15 |
| CN114359776B CN114359776B (zh) | 2024-04-26 |
Family
ID=81095820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111411341.4A Active CN114359776B (zh) | 2021-11-25 | 2021-11-25 | 一种融合光与热成像的火焰检测方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359776B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998843A (zh) * | 2022-08-04 | 2022-09-02 | 深圳市海清视讯科技有限公司 | 火灾检测方法和相关设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102693603A (zh) * | 2012-06-26 | 2012-09-26 | 山东神戎电子股份有限公司 | 一种基于双光谱的森林防火智能监控系统 |
| CN111951160A (zh) * | 2020-07-03 | 2020-11-17 | 广东工业大学 | 基于可见光和红外热成像的消防无人机图像融合方法 |
| CN111986240A (zh) * | 2020-09-01 | 2020-11-24 | 交通运输部水运科学研究所 | 基于可见光和热成像数据融合的落水人员检测方法及系统 |
| US20200412940A1 (en) * | 2019-06-28 | 2020-12-31 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and device for image processing, method for training object detection model |
| CN112418163A (zh) * | 2020-12-09 | 2021-02-26 | 北京深睿博联科技有限责任公司 | 一种多光谱目标检测导盲系统 |
-
2021
- 2021-11-25 CN CN202111411341.4A patent/CN114359776B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102693603A (zh) * | 2012-06-26 | 2012-09-26 | 山东神戎电子股份有限公司 | 一种基于双光谱的森林防火智能监控系统 |
| US20200412940A1 (en) * | 2019-06-28 | 2020-12-31 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and device for image processing, method for training object detection model |
| CN111951160A (zh) * | 2020-07-03 | 2020-11-17 | 广东工业大学 | 基于可见光和红外热成像的消防无人机图像融合方法 |
| CN111986240A (zh) * | 2020-09-01 | 2020-11-24 | 交通运输部水运科学研究所 | 基于可见光和热成像数据融合的落水人员检测方法及系统 |
| CN112418163A (zh) * | 2020-12-09 | 2021-02-26 | 北京深睿博联科技有限责任公司 | 一种多光谱目标检测导盲系统 |
Non-Patent Citations (2)
| Title |
|---|
| 李舒涵;许宏科;武治宇;: "基于红外与可见光图像融合的交通标志检测", 现代电子技术, no. 03, 1 February 2020 (2020-02-01) * |
| 麻森权;周克;: "基于注意力机制和特征融合改进的小目标检测算法", 计算机应用与软件, no. 05, 12 May 2020 (2020-05-12) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998843A (zh) * | 2022-08-04 | 2022-09-02 | 深圳市海清视讯科技有限公司 | 火灾检测方法和相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114359776B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8212210B2 (en) | IR camera and method for presenting IR information | |
| JP5299513B2 (ja) | 障害物検知装置及び方法並びに障害物検知システム | |
| CN102147856B (zh) | 图像识别设备及其控制方法 | |
| KR101812953B1 (ko) | 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템 및 방법 | |
| US10074029B2 (en) | Image processing system, image processing method, and storage medium for correcting color | |
| US9286512B2 (en) | Method for detecting pedestrians based on far infrared ray camera at night | |
| US10762372B2 (en) | Image processing apparatus and control method therefor | |
| JP5725194B2 (ja) | 夜景画像ボケ検出システム | |
| CN109409186A (zh) | 用于对象检测和通知的驾驶员辅助系统和方法 | |
| US8462211B2 (en) | Method of detecting objects | |
| WO2024051067A1 (zh) | 红外图像处理方法、装置及设备、存储介质 | |
| US20200404149A1 (en) | Automatic exposure module for an image acquisition system | |
| JP2017208616A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN114359776A (zh) | 一种融合光与热成像的火焰检测方法、装置 | |
| JP7074174B2 (ja) | 識別器学習装置、識別器学習方法およびコンピュータプログラム | |
| US8179471B2 (en) | Focusing device and image pickup apparatus | |
| JP2018018500A (ja) | 顔識別方法 | |
| KR102194511B1 (ko) | 대표 영상프레임 결정시스템 및 이를 이용한 방법 | |
| Xiang et al. | A new model for daytime visibility index estimation fused average sobel gradient and dark channel ratio | |
| Dederscheck et al. | Illumination invariance for driving scene optical flow using comparagram preselection | |
| JP6767788B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
| CN113673548A (zh) | 一种融合了可见光图像、深度图像和太赫兹图像的安检系统和方法 | |
| CN115909254B (zh) | 一种基于摄像头原始图像的dms系统及其图像处理方法 | |
| JP7246029B2 (ja) | 撮像制御装置、撮像制御方法、及びプログラム | |
| JP2006268565A (ja) | 乗員検出装置及び乗員検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: No. 397, Tongcheng South Road, Baohe District, Hefei City, Anhui Province 230061 Patentee after: Super high voltage branch of State Grid Anhui Electric Power Co.,Ltd. Country or region after: China Patentee after: INSTITUTE OF ADVANCED TECHNOLOGY University OF SCIENCE AND TECHNOLOGY OF CHINA Address before: No. 397, Tongcheng South Road, Baohe District, Hefei City, Anhui Province 230061 Patentee before: STATE GRID ANHUI POWER SUPPLY COMPANY OVERHAUL BRANCH Country or region before: China Patentee before: INSTITUTE OF ADVANCED TECHNOLOGY University OF SCIENCE AND TECHNOLOGY OF CHINA |