CN117689568B - 基于红外可见光图像融合的火灾探测方法及系统 - Google Patents
基于红外可见光图像融合的火灾探测方法及系统 Download PDFInfo
- Publication number
- CN117689568B CN117689568B CN202410155597.0A CN202410155597A CN117689568B CN 117689568 B CN117689568 B CN 117689568B CN 202410155597 A CN202410155597 A CN 202410155597A CN 117689568 B CN117689568 B CN 117689568B
- Authority
- CN
- China
- Prior art keywords
- gray
- pixel point
- flame
- pixel
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 2
- 230000010355 oscillation Effects 0.000 abstract 2
- 238000005259 measurement Methods 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Fire-Detection Mechanisms (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
本发明涉及图像数据处理技术领域,具体涉及基于红外可见光图像融合的火灾探测方法及系统,该方法包括:采集船舶机舱内的可见光灰度图像和红外灰度图像;根据两个灰度图像中各像素点与所在行、列的最大灰度像素点之间的灰度差异以及邻域内灰度分布混乱情况获取各像素点的火焰区域置信系数;根据各像素点所在行的峰值表现以及火焰区域置信系数构建各关键点的火灾火焰飘荡系数;采用SURF算法获取各关键点的飘荡特征描述序列,根据飘荡特征描述序列之间的DTW距离作为任意两个关键点之间的匹配距离,实现两个灰度图像的图像融合。本发明旨在提高火灾特征不明显时的图像融合效果,提高图像融合的准确性。
Description
技术领域
本申请涉及图像数据处理技术领域,具体涉及基于红外可见光图像融合的火灾探测方法及系统。
背景技术
随着我国现代化的进程不断加速,面临的问题也日益增多,迫切需要解决。在这一背景下,火灾探测成为备受关注的领域,而科技的快速发展也使得人们更青睐新的解决方案。在火灾探测领域,红外光与可见光灰度图像融合成为引人瞩目的研究热点。红外光是指在波长在760纳米至1毫米之间的光波,由于其波长超出了人眼可见范围,因此被称为红外光,这种光的特殊性质使其在火灾探测中具有独特的优势。图像融合则是一项旨在将来自不同源的图像信息合并在一起的技术,其目标是生成一张具有更高质量、反映更多信息的综合图像。
在红外光与可见光灰度图像融合中,通过将两种不同波段的图像信息融合,可以更全面地获取有关火灾情况的信息。不仅能提供更清晰、更详细的视觉呈现,还能够捕捉到不同光谱范围内的特定特征,从而提高火灾探测的准确性和可靠性。常使用红外光与可见光的融合图像进行火灾的检测,尤其在船舶机舱,储藏室等地点应用较为广泛。
当火灾发生时,由于火焰温度较高,周围未发生火灾的区域温度较低,导致红外灰度图像中的温差大,转为灰度图像后暗区域的像素细节减少,使用SURF算法匹配时,没有考虑到火焰的特征,图像的关键点不明显,容易导致错误匹配。
发明内容
为了解决上述技术问题,本发明提供基于红外可见光图像融合的火灾探测方法及系统,所采用的技术方案具体如下:
第一方面,本发明实施例提供了基于红外可见光图像融合的火灾探测方法,该方法包括以下步骤:
采集船舶机舱内的可见光灰度图像和红外灰度图像;
对于两个灰度图像中各像素点,根据各像素点与所在行、列的最大灰度像素点之间的灰度差异获取各像素点的行隶属度和列隶属度;根据各像素点的行、列隶属度以及邻域内灰度分布混乱情况获取各像素点的火焰区域置信系数;
根据各像素点所在行的峰值表现获取各像素点的內焰灰度值;根据各像素点在高斯函数中的分布情况、內焰灰度值以及火焰区域置信系数获取各像素点的內焰特征;根据两个灰度图像中各关键点邻域内的內焰特征大小分布情况获取各关键点的火灾火焰飘荡系数;
根据两个灰度图像中各关键点的火灾火焰飘荡系数采用SURF算法获取各关键点的飘荡特征描述序列;基于两个灰度图像中任意两个关键点的飘荡特征描述序列之间的DTW距离作为任意两个关键点之间的匹配距离,实现两个灰度图像的图像融合。
优选的,所述采集船舶机舱内的可见光灰度图像和红外灰度图像,包括:
可见光灰度图像由可见光图像采用灰度转换得到;红外灰度图像由红外图像通过将像素数据映射到0-255区间得到。
优选的,所述根据各像素点与所在行、列的最大灰度像素点之间的灰度差异获取各像素点的行隶属度和列隶属度,包括:
获取各像素点所在行的最大灰度值;计算各像素点与所述最大灰度值的差值平方;计算所述差值平方与预设隶属度调节因子的乘积;
将所述乘积与1的和值的倒数作为各像素点的行隶属度;采用与各像素点的行隶属度相同的计算方法获取各像素点的列隶属度。
优选的,所述根据各像素点的行、列隶属度以及邻域内灰度分布混乱情况获取各像素点的火焰区域置信系数,包括:
获取各像素点邻域内所有像素点梯度方向的余弦值序列的熵;计算各像素点的行隶属度与列隶属度的和值,计算所述和值与所述熵的比值;
获取各像素点所在行和所在列的所有像素点中的灰度值中位数;计算各像素点的灰度值与所述灰度值中位数的差值绝对值;将所述差值绝对值与所述比值的和值作为各像素点的火焰区域置信系数。
优选的,所述像素点的梯度方向基于像素点的灰度值采用sobel算子计算得到。
优选的,所述根据各像素点所在行的峰值表现获取各像素点的內焰灰度值,包括:
对各像素点所在行的所有像素点进行检查,按照从左到右的顺序将满足条件的第一个像素点记为第一峰值灰度;按照从右到左的顺序将满足条件的第一个像素点记为第二峰值灰度;
所述条件为:当像素点的左右邻域中出现连续大于该像素点的灰度值时,且大于该像素点的灰度值的像素点数量大于预设数量阈值时,满足条件;
将第一峰值灰度与第二峰值灰度之间的中间位置像素点的灰度值,作为各像素点的內焰灰度值。
优选的,所述根据各像素点在高斯函数中的分布情况、內焰灰度值以及火焰区域置信系数获取各像素点的內焰特征,包括:
式中,表示像素点(x,y)的内焰特征,/>表示像素点(x,y)的火焰区域置信系数,PZ表示像素点(x,y)的內焰灰度值,/>表示以PZ为均值、/>为标准差的高斯函数,/>表示(x,y)点的灰度值/>在高斯函数/>中的数值,/>表示以自然常数为底数的对数函数。
优选的,所述根据两个灰度图像中各关键点邻域内的內焰特征大小分布情况获取各关键点的火灾火焰飘荡系数,包括:
对于红外灰度图像中各关键点,获取各关键点为中心的邻域窗口中內焰特征大于预设特征阈值的像素点数量,记为第一数量;
获取各关键点所在横坐标的邻域范围中內焰特征大于预设特征阈值的像素点数量,记为第二数量;获取各关键点所在纵坐标的邻域范围中內焰特征大于预设特征阈值的像素点数量,记为第三数量;
计算第一数量与第二数量的乘积,除以第三数量得到各关键点的火灾火焰飘荡系数;采用与红外灰度图像中各关键点的火灾火焰飘荡系数相同的计算方法获取可见光灰度图像中各关键点的火灾火焰飘荡系数。
优选的,所述根据两个灰度图像中各关键点的火灾火焰飘荡系数采用SURF算法获取各关键点的飘荡特征描述序列,包括:
对于两个灰度图像中各关键点,采用SURF算法获取各关键点的描述子序列,获取各关键点为中心的邻域窗口内所有像素点的火焰飘荡系数组成各关键点的一维序列;
将各关键点的描述子序列与一维序列进行序列连接得到各关键点的飘荡特征描述序列。
第二方面,本发明实施例还提供了基于红外可见光图像融合的火灾探测系统,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。
本发明至少具有如下有益效果:
本发明首先对两个灰度图像使用直方图均衡化,丰富火灾图像中的细节部分;通过分析火焰在灰度图像中的灰度差异,同时考虑梯度方向较为统一的熵值大小,构建各像素点所在行、列的火焰特征分布情况下的行隶属度、列隶属度,使得本方案准确划分出火焰区域,根据火焰的灰度值及其梯度方向构建火焰区域置信系数,即用于表征图像中的火焰区;进一步考虑到火灾图像中火焰内、外焰的温度特性,通过分析各像素点所在行的峰值表现获取各像素点的內焰灰度值,通过将內焰灰度值在高斯函数中的映射情况,挖掘各像素点的內焰特征,使得根据内焰特征分析像素点所在区域区分火灾的中心像素区域与非火灾区域;
本发明通过对SURF算法中各关键点邻域范围内的內焰特征大小分布情况,构建各关键点的火灾火焰飘荡系数,描述了像素点在火焰中的位置,从而分析了火焰的位置特征,基于火焰呈现向上延伸的形态特征,区分火焰内部与边缘,使得对于火灾区域判别更加细节;最后结合动态时间规整算法,综合评价可见光灰度图像和红外灰度图像中关键点的相似性。即使在发生火灾情况下,关键点特征不明显时,仍能通过火焰的特征分析,匹配响应关键点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明提供的基于红外可见光图像融合的火灾探测方法的流程图;
图2为火焰梯度方向示意图;
图3为图像融合方法的指标构建流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于红外可见光图像融合的火灾探测方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于红外可见光图像融合的火灾探测方法及系统的具体方案。
本发明一个实施例提供的基于红外可见光图像融合的火灾探测方法及系统。
具体的,提供了如下的基于红外可见光图像融合的火灾探测方法,请参阅图1,该方法包括以下步骤:
步骤S001,采集船舶机舱内的可见光灰度图像和红外灰度图像。
在船舶的机舱中,使用高清像机采集机舱中的可见光图像,将红外传感器放置在高清摄像机相同的位置采集船舶机舱中的红外图像,红外图像显示了机舱中不同区域的表面温度分布情况。
但是,由于红外图像缺乏细节特征,相比可见光图像而言较为模糊。为方便处理计算,将可见光图像进行灰度转换得到可见光灰度图像,将红外图像的像素数据映射为[0-255]区间得到红外灰度图像,处理之后得到可见光灰度图像与红外灰度图像。使用直方图均衡化,丰富图像的细节特征,直方图均衡化具体为一种公知技术,本实施例不再赘述。
步骤S002,结合火焰特征分析两个图像中各像素点的灰度值分布,同时对SURF算法中的关键点构建內焰特征。
在可见光灰度图像与红外灰度图像中,火焰区域灰度值较高而在其余背景区域的灰度值较低。为了能有效区分火焰区域与背景区域,首先使用Sobel算子分别计算两个灰度图像中各个像素点的梯度方向,得到梯度方向图。注意到当火灾发生时,火灾中心的特征都较为明显,可见光和红外灰度图像中均有清晰的火焰,火焰分为内焰和外焰,内焰温度较低而外焰温度较高。在灰度图像中表现为外焰的灰度值较大,相比而言内焰的灰度值较小,即在火灾中的火焰区域内灰度像素梯度方向较为统一,即熵值较小。而在火焰的焰心区域存在对称的梯度方向,考虑使用余弦函数消除焰心区域梯度方向对称的情况。其中,火焰梯度方向示意图如图2所示。
因此,本实施例根据火灾的内外焰特点,分别计算两个灰度图像中各像素点的火焰区域置信系数:
式中,表示像素点(x,y)的火焰区域置信系数,P(x,y)表示(x,y)点的灰度值,/>表示图像中(x,y)坐标在水平方向上的像素灰度序列,/>表示图像中(x,y)坐标在竖直方向上的像素灰度序列,/>表示取x行y列所有像素点的灰度值中位数,/>表示像素灰度值/>与当前行最大像素灰度值/>的行隶属度,/>表示像素灰度值/>与当前列最大像素灰度值/>的列隶属度,/>为第x行最大像素灰度值,Sc为以(x,y)为中心的c邻域内像素灰度梯度方向的余弦值序列的熵,本实施例中取邻域c=5,/>为预设隶属度调节因子,本实施例设为0.07。其中,/>的计算方法与/>的计算方法相同。
需要说明的是,上式通过像素灰度与所在行列的像素灰度均值,与行列中最大像素灰度隶属度及其像素灰度区域梯度方向来综合判断火焰区域置信系数。当一个像素灰度值为火焰区域时,其像素灰度值较大,火焰区域置信系数Y中第一项为较大,行列中最大像素灰度的行、列隶属度/>及/>接近于1,同时火焰区域的像素灰度值梯度方向较为统一,其余弦值的熵较小,即分母较小,即使在焰心区域存在对称梯度方向的像素点时使用余弦值依然使得其熵较小,导致较大,火焰区域置信系数较大。当一个像素灰度值为非火焰区域时,其像素灰度值/>较小,进而火焰区域置信系数Y中第一项/>较小,行列中最大像素灰度隶属度/>及/>接近0,同时火焰区域的像素灰度值梯度方向较为混乱,其余弦值的熵较大,导致火焰区域置信系数较小,即当一个像素点越可能是火焰区域时,该像素点的火焰区域置信系数/>越大。
前面提到,发生火灾时火焰分为内焰和外焰,且外焰的温度普遍高于内焰。由于内焰被外焰所包裹,因此在一个内焰的像素点a,a所在行的所有像素点的像素灰度值,大致呈现出从环境区域至外焰的由小变大、从外焰至內焰再略微减小,再从内焰至外焰的增大、外焰至环境区域再减小的过程。
对于两张灰度图像中的每行像素点,从左到右进行检测,当出现第一个像素值灰度值连续大于其左右邻域共R个灰度像素时,将该像素值称为第一峰值灰度,在图像中的横坐标位置记作/>,同理,从右到左采用相同的判断条件获取第二峰值灰度/>,图像中的横坐标位置记作/>。其中,R为预设数量阈值,本实施例取值为20。在火焰区域中,第一峰值灰度和第二峰值灰度代表了火焰在图像中的左外焰和右外焰。根据火焰区域置信系数进一步构建内焰特征/>:
式中,表示像素点(x,y)的内焰特征,/>表示像素点(x,y)的火焰区域置信系数,PZ表示像素点(x,y)的內焰灰度值,即表示像素点(x,y)所在行中的两峰值中间的像素灰度值,即内焰的像素灰度值,当中间为偶数个像素点,则将中间两个像素点的灰度均值作为內焰灰度值,/>表示以PZ为均值、/>为标准差的高斯函数,本实施例中设置/>为5,/>表示(x,y)点的灰度值/>在高斯函数/>中的数值,/>表示以自然常数e为底数的指数函数,分母加1用于防止分母为0的错误;
表示像素点(x,y)该行灰度序列的第一峰值灰度的横坐标位置,/>表示像素点(x,y)该行灰度序列的第二峰值灰度的横坐标位置,该峰值像素点代表两侧外焰的像素灰度,/>表示像素点/>的灰度值。
需要说明的是,上式通过火焰沿中心对称的特点,根据外焰所在位置预估内焰的灰度值,在/>处建立高斯函数,进而判断一个像素点是否属于火焰的内焰。当一个火焰像素点为内焰像素点时,其灰度值与/>较为接近,即/>较小,进一步内焰像素点在高斯函数/>上的代入值/>较大,使得内焰特征/>较大。而在外焰区域的灰度值大于内焰灰度像素/>,/>较大,公式中分母较大,外焰像素点在高斯函数/>上的代入值/>较小,导致其内焰特征/>较小。越靠近火焰中心区域内焰特征越大。
步骤S003,根据两个灰度图像中各关键点周围的内焰特征分布,构建关键点之间的匹配距离,优化可见光灰度图像与红外灰度图像的融合过程。
通过上述步骤分别对红外灰度图像和可见光灰度图像中内焰区域和外焰区域进行描述,当内焰特征越大表示越靠近火焰中心,当內焰特征越小表示越靠近火焰边缘。接着,对红外灰度图像和可见光灰度图像中内焰区域和外焰区域进行分别匹配,确保匹配过程中的精确程度。SURF是用于计算机视觉领域的图像特征提取和匹配算法,通过检测图像中的关键点,计算描述子,进而进行图像的匹配。
传统SURF算法在对红外灰度图像和可见光灰度图像关键点匹配过程中,由于红外灰度图像和可见光灰度图像中的火焰外形边缘可能相差较大,导致两个不同图像关键点匹配过程中出现不一致的现象,此时需要对SURF算法的关键点匹配过程进行调整。在SURF算法中通过生成Hessian行列图像,构建图像金字塔,进而选取两个灰度图像中的关键点。其中,SURF算法为公知技术,本实施例不再赘述。
具体地,对于红外灰度图像和可见光灰度图像中每个不同的关键点可以分别计算得到火灾火焰飘荡系数,以红外灰度图像中的关键点A为例计算/>,可见光灰度图像中关键点/>的计算方法与红外灰度图像中的关键点的计算方法相同。
式中,CL(A)表示关键点A的火灾火焰飘荡系数,A表示红外灰度图像中的关键点,其坐标为(,/>),/>表示以关键点A为中心的3×3邻域中内焰特征大于q的像素点个数,记为第一数量,q为预设特征阈值,本实施例中设q=0.8,/>表示关键点A其所在x轴邻域/>范围内内焰特征大于q的个数,记为第二数量,表示关键点A其所在y轴邻域/>范围内内焰特征大于q的个数,记为第三数量。
需要说明的是,火灾火焰飘荡系数表示了火焰的位置特征,由于火焰一般呈现出向上延伸的形态特征,当关键点位于火焰的外围时,其邻域内红外灰度像素的内焰特征大于q的像素点较少,即较小,同时由于火焰向上延伸的形态特征,在边缘处x轴方向内焰特征大于q的像素点较少,/>小,而在竖直方向上内焰特征大于q的像素点较多,即/>较大。导致在火焰边缘其火焰飘荡系数较小,而在火焰内部的像素点有着较大的火焰飘荡系数。
利用可以构建得到火灾红外灰度图像关键点的飘荡特征描述序列/>,,其中/>表示使用SURF算法计算的关键点A的64维的描述子序列,表示以关键点A为中心的3×3邻域所构成的火焰飘荡系数的一维序列,该一维序列有9个数值。将上式所计算的火灾火焰飘荡系数纳入考虑范围,计算两个灰度图像中任意两个关键点之间的火灾相似性度量距离/>:
式中,表示关键点A与关键点B之间的火灾相似性度量距离,A为红外灰度图像中的关键点,B为可见光灰度图像中的关键点,/>表示红外灰度图像中关键点A的飘荡特征描述序列,/>表示可见光灰度图像中关键点B的飘荡特征描述序列。DTW表示动态时间规整函数,具体为一种公知技术,本实施例不再具体赘述。
需要说明的是,当火焰区域的像素点被选为关键点时,火焰区域特征较少,容易错误匹配,此时根据火焰的内外焰区别,通过内外焰的邻域特征作为关键点之间的火灾相似性度量距离。
在图像融合的图像匹配过程中,能精确匹配可见光灰度图像与红外灰度图像,并在一定程度上减小了由于图像旋转所带来的误差。在匹配红外灰度图像时,使用火灾相似性度量距离作为匹配关键点的距离,相比与原匹配过程的欧式距离,体现了火焰的内在特征,能有效减小匹配误差。
最后使用主成分融合方法,融合红外灰度图像与可见光灰度图像,即使在火灾发生时也能精确匹配红外灰度图像与可见光灰度图像。其中,图像融合方法的指标构建流程图如图3所示。
至此,本实施例完成。
基于与上述方法相同的发明构思,本发明实施例还提供了基于红外可见光图像融合的火灾探测系统,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于红外可见光图像融合的火灾探测方法中任意一项所述方法的步骤。
综上所述,本发明实施例首先对两个灰度图像使用直方图均衡化,丰富火灾图像中的细节部分;通过分析火焰在灰度图像中的灰度差异,同时考虑梯度方向较为统一的熵值大小,构建各像素点所在行、列的火焰特征分布情况下的行隶属度、列隶属度,使得本方案准确划分出火焰区域,根据火焰的灰度值及其梯度方向构建火焰区域置信系数,即用于表征图像中的火焰区;进一步考虑到火灾图像中火焰内、外焰的温度特性,通过分析各像素点所在行的峰值表现获取各像素点的內焰灰度值,通过将內焰灰度值在高斯函数中的映射情况,挖掘各像素点的內焰特征,使得根据内焰特征分析像素点所在区域区分火灾的中心像素区域与非火灾区域;
本发明实施例通过对SURF算法中各关键点邻域范围内的內焰特征大小分布情况,构建各关键点的火灾火焰飘荡系数,描述了像素点在火焰中的位置,从而分析了火焰的位置特征,基于火焰呈现向上延伸的形态特征,区分火焰内部与边缘,使得对于火灾区域判别更加细节;最后结合动态时间规整算法,综合评价可见光灰度图像和红外灰度图像中关键点的相似性;即使在发生火灾情况下,关键点特征不明显时,仍能通过火焰的特征分析,匹配响应关键点。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。
Claims (7)
1.基于红外可见光图像融合的火灾探测方法,其特征在于,该方法包括以下步骤:
采集船舶机舱内的可见光灰度图像和红外灰度图像;
对于两个灰度图像中各像素点,根据各像素点与所在行、列的最大灰度像素点之间的灰度差异获取各像素点的行隶属度和列隶属度;根据各像素点的行、列隶属度以及邻域内灰度分布混乱情况获取各像素点的火焰区域置信系数;
根据各像素点所在行的峰值表现获取各像素点的内焰灰度值;根据各像素点在高斯函数中的分布情况、内焰灰度值以及火焰区域置信系数获取各像素点的内焰特征;根据两个灰度图像中各关键点邻域内的内焰特征大小分布情况获取各关键点的火灾火焰飘荡系数;
根据两个灰度图像中各关键点的火灾火焰飘荡系数采用SURF算法获取各关键点的飘荡特征描述序列;基于两个灰度图像中任意两个关键点的飘荡特征描述序列之间的DTW距离作为任意两个关键点之间的匹配距离,实现两个灰度图像的图像融合,其中DTW表示动态时间规整函数;
所述根据各像素点的行、列隶属度以及邻域内灰度分布混乱情况获取各像素点的火焰区域置信系数,包括:
获取各像素点邻域内所有像素点梯度方向的余弦值序列的熵;计算各像素点的行隶属度与列隶属度的和值,计算所述和值与所述熵的比值;
获取各像素点所在行和所在列的所有像素点中的灰度值中位数;计算各像素点的灰度值与所述灰度值中位数的差值绝对值;将所述差值绝对值与所述比值的和值作为各像素点的火焰区域置信系数;
所述根据各像素点所在行的峰值表现获取各像素点的内焰灰度值,包括:
对各像素点所在行的所有像素点进行检查,按照从左到右的顺序将满足条件的第一个像素点记为第一峰值灰度;按照从右到左的顺序将满足条件的第一个像素点记为第二峰值灰度;
所述条件为:像素点的左右邻域中出现连续大于该像素点的灰度值且大于该像素点的灰度值的像素点数量大于预设数量阈值;
将第一峰值灰度与第二峰值灰度之间的中间位置像素点的灰度值,作为各像素点的内焰灰度值;
所述根据两个灰度图像中各关键点邻域内的内焰特征大小分布情况获取各关键点的火灾火焰飘荡系数,包括:
对于红外灰度图像中各关键点,获取各关键点为中心的邻域窗口中内焰特征大于预设特征阈值的像素点数量,记为第一数量;
获取各关键点所在横坐标的邻域范围中内焰特征大于预设特征阈值的像素点数量,记为第二数量;获取各关键点所在纵坐标的邻域范围中内焰特征大于预设特征阈值的像素点数量,记为第三数量;
计算第一数量与第二数量的乘积,除以第三数量得到各关键点的火灾火焰飘荡系数;采用与红外灰度图像中各关键点的火灾火焰飘荡系数相同的计算方法获取可见光灰度图像中各关键点的火灾火焰飘荡系数。
2.如权利要求1所述的基于红外可见光图像融合的火灾探测方法,其特征在于,所述采集船舶机舱内的可见光灰度图像和红外灰度图像,包括:
可见光灰度图像由可见光图像采用灰度转换得到;红外灰度图像由红外图像通过将像素数据映射到0-255区间得到。
3.如权利要求1所述的基于红外可见光图像融合的火灾探测方法,其特征在于,所述根据各像素点与所在行、列的最大灰度像素点之间的灰度差异获取各像素点的行隶属度和列隶属度,包括:
获取各像素点所在行的最大灰度值;计算各像素点与所述最大灰度值的差值平方;计算所述差值平方与预设隶属度调节因子的乘积;
将所述乘积与1的和值的倒数作为各像素点的行隶属度;采用与各像素点的行隶属度相同的计算方法获取各像素点的列隶属度。
4.如权利要求1所述的基于红外可见光图像融合的火灾探测方法,其特征在于,所述像素点的梯度方向基于像素点的灰度值采用sobel算子计算得到。
5.如权利要求1所述的基于红外可见光图像融合的火灾探测方法,其特征在于,所述根据各像素点在高斯函数中的分布情况、内焰灰度值以及火焰区域置信系数获取各像素点的内焰特征,包括:
式中,NY(x,y)表示像素点(x,y)的内焰特征,Y(x,y)表示像素点(x,y)的火焰区域置信系数,PZ表示像素点(x,y)的内焰灰度值,N(PZ,δ)表示以PZ为均值、δ为标准差的高斯函数,表示像素点(x,y)的灰度值P(x,y)在高斯函数N(PZ,δ)中的数值,ln()表示以自然常数为底数的对数函数。
6.如权利要求1所述的基于红外可见光图像融合的火灾探测方法,其特征在于,所述根据两个灰度图像中各关键点的火灾火焰飘荡系数采用SURF算法获取各关键点的飘荡特征描述序列,包括:
对于两个灰度图像中各关键点,采用SURF算法获取各关键点的描述子序列,获取各关键点为中心的邻域窗口内所有像素点的火灾火焰飘荡系数组成各关键点的一维序列;
将各关键点的描述子序列与一维序列进行序列连接得到各关键点的飘荡特征描述序列。
7.基于红外可见光图像融合的火灾探测系统,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-6任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410155597.0A CN117689568B (zh) | 2024-02-04 | 2024-02-04 | 基于红外可见光图像融合的火灾探测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410155597.0A CN117689568B (zh) | 2024-02-04 | 2024-02-04 | 基于红外可见光图像融合的火灾探测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117689568A CN117689568A (zh) | 2024-03-12 |
CN117689568B true CN117689568B (zh) | 2024-05-28 |
Family
ID=90133864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410155597.0A Active CN117689568B (zh) | 2024-02-04 | 2024-02-04 | 基于红外可见光图像融合的火灾探测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117689568B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201516528D0 (en) * | 2015-09-17 | 2015-11-04 | Micropack Engineering Ltd | Flame detection in an image sequence |
CN105426840A (zh) * | 2015-11-18 | 2016-03-23 | 成都中昊英孚科技有限公司 | 一种基于多特征融合的红外森林火灾判定方法 |
JP2017102718A (ja) * | 2015-12-02 | 2017-06-08 | 能美防災株式会社 | 炎検出装置および炎検出方法 |
CN108090495A (zh) * | 2017-12-22 | 2018-05-29 | 湖南源信光电科技股份有限公司 | 一种基于红外光和可见光图像的疑似火焰区域提取方法 |
CN116993632A (zh) * | 2023-09-28 | 2023-11-03 | 威海广泰空港设备股份有限公司 | 基于机器视觉的生产火灾预警方法 |
-
2024
- 2024-02-04 CN CN202410155597.0A patent/CN117689568B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201516528D0 (en) * | 2015-09-17 | 2015-11-04 | Micropack Engineering Ltd | Flame detection in an image sequence |
CN105426840A (zh) * | 2015-11-18 | 2016-03-23 | 成都中昊英孚科技有限公司 | 一种基于多特征融合的红外森林火灾判定方法 |
JP2017102718A (ja) * | 2015-12-02 | 2017-06-08 | 能美防災株式会社 | 炎検出装置および炎検出方法 |
CN108090495A (zh) * | 2017-12-22 | 2018-05-29 | 湖南源信光电科技股份有限公司 | 一种基于红外光和可见光图像的疑似火焰区域提取方法 |
CN116993632A (zh) * | 2023-09-28 | 2023-11-03 | 威海广泰空港设备股份有限公司 | 基于机器视觉的生产火灾预警方法 |
Non-Patent Citations (1)
Title |
---|
Explainable deep learning for image-driven fire calorimetry;Wang Zilong et al.;APPLIED INTELLIGENCE;20231229;第1047-1062页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117689568A (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5766564B2 (ja) | 顔認証装置及び顔認証方法 | |
CN110780739B (zh) | 基于注视点估计的眼控辅助输入方法 | |
CN110033040B (zh) | 一种火焰识别方法、系统、介质和设备 | |
CN108985210A (zh) | 一种基于人眼几何特征的视线追踪方法及系统 | |
WO2018090937A1 (zh) | 图像处理方法、终端及存储介质 | |
CN103902958A (zh) | 人脸识别的方法 | |
CN112287868B (zh) | 一种人体动作识别方法及装置 | |
CN103810478A (zh) | 一种坐姿检测方法和装置 | |
CN108550166B (zh) | 一种空间目标图像匹配方法 | |
CN111291701B (zh) | 一种基于图像梯度和椭圆拟合算法的视线追踪方法 | |
CN105488475B (zh) | 手机中人脸检测方法 | |
Guo et al. | Haze and thin cloud removal using elliptical boundary prior for remote sensing image | |
CN111784658B (zh) | 一种用于人脸图像的质量分析方法和系统 | |
CN116071790A (zh) | 掌静脉图像质量评估方法、装置、设备及存储介质 | |
CN114360039A (zh) | 一种智能眼睑检测方法及系统 | |
CN117764986A (zh) | 基于图像处理的钛板表面缺陷检测方法 | |
CN113723236B (zh) | 一种结合局部阈值二值化图像的跨模态行人重识别方法 | |
CN111985314A (zh) | 一种基于ViBe与改进LBP的烟雾检测方法 | |
KR101769741B1 (ko) | 동공 탐지를 통한 홍채 인식 방법 및 홍채 인식 장치 | |
CN117557565B (zh) | 一种锂电池极片的检测方法及其装置 | |
CN117689568B (zh) | 基于红外可见光图像融合的火灾探测方法及系统 | |
KR101916460B1 (ko) | 깊이 정보를 이용한 물체 인식 방법 및 장치 | |
CN107808165B (zh) | 一种基于susan角点检测的红外图像匹配方法 | |
CN112085683B (zh) | 一种显著性检测中的深度图可信度检测方法 | |
CN114399807A (zh) | 一种基于图像转换的跨光谱人脸识别方法及监控设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |