CN116543284B - 基于场景类的可见光红外双光融合方法和系统 - Google Patents
基于场景类的可见光红外双光融合方法和系统 Download PDFInfo
- Publication number
- CN116543284B CN116543284B CN202310820400.6A CN202310820400A CN116543284B CN 116543284 B CN116543284 B CN 116543284B CN 202310820400 A CN202310820400 A CN 202310820400A CN 116543284 B CN116543284 B CN 116543284B
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- separation
- scene
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 21
- 238000000926 separation method Methods 0.000 claims abstract description 127
- 230000004927 fusion Effects 0.000 claims abstract description 126
- 238000000034 method Methods 0.000 claims description 20
- 238000005457 optimization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
基于场景类的可见光红外双光融合方法，具体包括以下步骤，步骤一，分别获取目标可见光图像、目标红外图像，得到目标图像；步骤二，基于融合机制从预设的多个场景类的类描述中，确定目标图像对应的第一场景类；步骤三，根据第一场景类中的描述图像，驱动目标图像中对应的物体图像分离，得到多个分离目标图像；步骤四，将多个分离目标图像分别基于对比度进行双光融合，得到分离融合图像；步骤五，根据目标图像将分离融合图像进行拼接，得到融合图像；步骤六，将融合图像进行显示。本发明可以更好保留红外图像的亮度信息和可见光的细节信息的融合图像，并且算法简单，运算量小，可在多个平台上实时运行，对解决双光融合的工程应用有极大意义。
Description
技术领域
本发明涉及双光图像融合技术领域，更具体的说，特别涉及基于场景类的可见光红外双光融合方法和系统。
背景技术
双光图像融合是当前双光视频源观测处理的关键技术，在共光路系统、多波段吊舱和转台、双光夜视仪中均有极强的应用需求，多为可见光+红外的应用场景，其融合处理的好坏，直接关系到观察者的视觉感官。
红外图像包含了较多的场景亮度信息，但细节信息不强。可见光图像包含的场景细节信息丰富，但缺少反应场景物体本身的温度场信息。如何将双光图像的信息，以尽可能小的信息损失方式融合到一幅图像中，既能包含红外图像的亮度信息，又不丢失可见光图像的细节信息，是信息处理的一个难点。
当前的双光融合基本为加权平均法和基于频谱的叠加法。加权平均法最简单的是直接平均，加权平均算法是对红外和可见光的区域特征进行分析计算，得到双光图像中各图像像素的权重，再进行相加，其本质仍是一种平均算法，各种加权算法其区别在于如何计算权重。基于频谱的叠加方法是通过小波变换、图像金字塔分解、傅里叶变换等频谱手段，将红外和可见光图像进行频谱分解，再根据频谱特征，在频域上进行叠加，然后再变换到空域上，频域叠加的方法包含了各种频谱分析和不同的叠加算法。直接平均法最为简单，在FPGA、DSP等算力有限、实时性要求高的平台上应用较多，但其本质是对红外图像的亮度信息和可见光图像的细节信息进行了折中，实质上，最终图像效果在亮度反映上不如红外图像，在细节反映上也不如可见光图像，信息损失较大。
基于频谱的叠加法，其信息完备度一般比加权平均法高，但其缺点是运算量大，在后台中进行数据处理尚可，在实时性要求高的模块中难以实现。
因此，现有技术存在的问题，有待于进一步改进和发展。
发明内容
（一）发明目的：为解决上述现有技术中存在的问题，本发明的目的是提供一种算法简单，运算量小，可以更好保留红外图像亮度信息、可见光细节信息融合图像的可见光红外双光融合方法和系统。
（二）技术方案：为了解决上述技术问题，本技术方案提供基于场景类的可见光红外双光融合方法，具体包括以下步骤，
步骤一，分别获取目标可见光图像、目标红外图像，得到目标图像；
步骤二，基于融合机制从预设的多个场景类的类描述中，确定目标图像对应的第一场景类；
步骤三，根据第一场景类中的描述图像，驱动目标图像中对应的物体图像分离，得到多个分离目标图像；
步骤四，将多个分离目标图像分别基于对比度进行双光融合，得到分离融合图像；
步骤五，根据目标图像将分离融合图像进行拼接，得到融合图像；
步骤六，将融合图像进行显示。
所述基于场景类的可见光红外双光融合方法，其中，包括多个场景类，每个场景类具有类描述；所述的多个场景类，用于存放对目标图像进行图像分类的驱动类；类描述是对每个场景类的具体拍摄场景的说明；
每个场景类包括该场景下常规物体的描述图像，所述描述图像包括对应物体的名称、图像、形状、颜色、不同环境的亮度。
所述基于场景类的可见光红外双光融合方法，其中，所述步骤二中，融合机制根据目标图像，对图像中的内容进行分析，判断当前目标图像的拍摄场景，并与存储单元中的多个场景类的类描述进行对应，选择对应场景：第一场景类。
所述基于场景类的可见光红外双光融合方法，其中，当得到的当前目标图像对应的第一场景类包括两个，或两个以上时，将当前目标图像中的物体与选择的每个第一场景类中包括的描述图像进行对应，分别得到每个第一场景类中包括当前目标图像中的不同物体的数量，该数量为第一优化数量，选择第一优化数量最大对应的第一场景类为当前目标图像对应的第一场景类；
当出现第一优化数量相同情况时，根据预设的优先选择级别选择当前目标图像对应的第一场景类。
所述基于场景类的可见光红外双光融合方法，其中，所述步骤三具体为，根据描述图像，分别驱动目标可见光图像和目标红外图像中对应的物体进行图像分离，得到目标可见光图像对应的多个分离目标图像、目标红外图像对应的多个分离目标图像：可见光分离目标图像、红外分离目标图像。
所述基于场景类的可见光红外双光融合方法，其中，所述步骤四具体包括以下步骤，
步骤41，分别计算每个可见光分离目标图像的邻域均值；
步骤42，分别计算每个可见光分离目标图像的局域对比度；
步骤43，分别计算每个分离目标图像对应的分离融合图像当前灰度值，得到分离融合图像。
所述基于场景类的可见光红外双光融合方法，其中，计算邻域均值时的邻域为7×7，具体计算如下，
——像素坐标(x,y)邻域的均值；
——像素坐标(i,j)的可见光分离目标图像灰度值。
所述基于场景类的可见光红外双光融合方法，其中，所述步骤42中对可见光分离目标图像的局域对比度的计算方式如下，
融合单元用可见光分离目标图像当前像素灰度除以均值，得到可见光分离目标图像的局域对比度；
——可见光分离目标图像像素坐标(x,y)的对比度。
所述基于场景类的可见光红外双光融合方法，其中，所述步骤43具体实现方式为，融合单元将红外分离目标图像灰度值乘以可见光分离目标图像的局域对比度，得到分离融合图像当前灰度值，进而得到分离融合图像，具体计算公式如下，
F即为最终的分离融合图像；
——红外分离目标图像像素坐标(x,y)的灰度值。
基于场景类的可见光红外双光融合系统，包括可见光拍摄单元、红外拍摄单元、存储单元、分离单元、融合单元和显示单元；
可见光拍摄单元用于获取目标可见光图像，红外拍摄单元用于获取目标红外图像，从而得到目标图像；
分离单元基于融合机制从存储单元存储的多个场景类的类描述中，确定目标图像对应的第一场景类；
分离单元根据第一场景类中的描述图像，驱动所述目标图像中对应的物体图像分离，得到多个分离目标图像；
融合单元将多个分离目标图像分别基于对比度进行双光融合，得到分离融合图像；
融合单元根据目标图像将分离融合图像进行拼接，得到融合图像；
显示单元将融合图像进行显示。
（三）有益效果：本发明提供基于场景类的可见光红外双光融合方法和系统基于融合机制，将采集的目标图像根据场景类中的描述图像，驱动目标图像中对应的物体的物体图像分离后，针对相互对应的可见光分离目标图像和红外分离目标图进行基于对比度的双光融合，得到分离融合图像后，再进行拼接获得融合图像，使得到的融合图像中不同场景的不同物体根据自身的对比度实现融合，进而得到可以更好保留红外图像的亮度信息和可见光的细节信息的融合图像；并且基于对比度实现可见光和红外光的融合，其算法简单，运算量小，可在多个平台上实时运行，对解决双光融合的工程应用有极大意义。
附图说明
图1是本发明基于场景类的可见光红外双光融合方法步骤示意图；
图2是本发明基于场景类的可见光红外双光融合方法中基于对比度进行双光融合的步骤示意图；
图3是本发明基于场景类的可见光红外双光融合方法和系统中采集的可见光图像；
图4是本发明基于场景类的可见光红外双光融合方法和系统中采集的长波红外图像；
图5是经过本发明处理后的融合图像。
具体实施方式
下面结合优选的实施例对本发明做进一步详细说明，在以下的描述中阐述了更多的细节以便于充分理解本发明，但是，本发明显然能够以多种不同于此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下根据实际应用情况作类似推广、演绎，因此不应以此具体实施例的内容限制本发明的保护范围。
附图是本发明的实施例的示意图，需要注意的是，此附图仅作为示例，并非是按照等比例的条件绘制的，并且不应该以此作为对本发明的实际要求保护范围构成限制。
基于场景类的可见光红外双光融合方法和系统应用于大型场景的双光融合图像的获取，例如博物馆、科技馆等，或者是具有固定场景的图像获取。
基于场景类的可见光红外双光融合方法应用于可见光红外双光融合系统。所述可见光红外双光融合系统包括可见光拍摄单元、红外拍摄单元、存储单元、分离单元、融合单元和显示单元。
所述存储单元存储有多个场景类，每个场景类具有类描述。所述的多个场景类，用于存放分离单元对目标图像进行图像分类的驱动类。例如，当本发明用于博物馆内图像获取时，多个场景类可以是根据博物馆中不同分馆进行的划分，一个分馆为一个场景类，其对应的类描述包括分馆名称，分馆中不同区域对应的分区名称等。每个场景类中对应存放有对应场景类中固有物体的驱动类，具体可以是对应场景类中独有物体的图像。
每个场景类包括该场景下常规物体的描述图像，所述描述图像包括对应物体的名称、图像、形状、颜色、不同环境的亮度等。所述驱动类可以是所述描述图像。
类描述是对每个场景类的具体拍摄场景的说明，包括场景名称、场景物体特征、环境特征等。
基于场景类的可见光红外双光融合系统，可见光拍摄单元用于获取目标可见光图像，红外拍摄单元用于获取目标红外图像，从而得到目标图像。
分离单元基于融合机制从存储单元存储的多个场景类的类描述中，确定目标图像对应的第一场景类。
分离单元根据第一场景类中的描述图像，驱动所述目标图像中对应的物体图像分离，得到多个分离目标图像。
融合单元将多个分离目标图像分别基于对比度进行双光融合，得到分离融合图像。
融合单元根据目标图像将分离融合图像进行拼接，得到融合图像。
显示单元将融合图像进行显示。
基于场景类的可见光红外双光融合方法具体包括以下步骤，
步骤一，可见光拍摄单元获取目标可见光图像，红外拍摄单元获取目标红外图像，得到目标图像；
步骤二，分离单元基于融合机制从存储单元存储的多个场景类的类描述中，确定目标图像对应的第一场景类；
步骤三，分离单元根据第一场景类中的描述图像，驱动所述目标图像中对应的物体图像分离，得到多个分离目标图像；
步骤四，融合单元将多个分离目标图像分别基于对比度进行双光融合，得到分离融合图像；
步骤五，融合单元根据目标图像将分离融合图像进行拼接，得到融合图像；
步骤六，显示单元将融合图像进行显示。
步骤一中，目标图像包括目标可见光图像和目标红外图像。
所述步骤二中，分离单元基于融合机制根据目标图像，对图像中的内容进行分析，判断当前目标图像可能的拍摄场景，并编辑当前目标图像的场景描述，所述分离单元将所述场景描述与存储单元中的多个场景类的类描述进行对应，选择最优的对应场景作为第一场景类。所述场景描述与多个场景类中类描述对应内容最多的为最优的对应场景。
当分离单元得到的当前目标图像对应的第一场景类包括两个，或两个以上时，所述分离单元读取当前目标图像中包括的物体，并识别对应物体的名称，分离单元将当前目标图像中的物体与选择的每个第一场景类中包括的描述图像进行对应，分别得到每个第一场景类中包括当前目标图像中的不同物体的数量，该数量为第一优化数量。所述分离单元将每个第一场景类对应的第一优化数量进行比对，选择第一优化数量最大对应的第一场景类为当前目标图像对应的第一场景类。
存储单元可以预设第一优化数量相等时，第一场景类的优先选择级别，当第一优化数量出现相同情况时，所述分离单元根据优先选择级别选择当前目标图像对应的第一场景类。
所述步骤三具体为，分离单元根据描述图像，分别驱动目标可见光图像和目标红外图像中对应的物体进行图像分离，分别得到目标可见光图像对应的多个分离目标图像、目标红外图像对应的多个分离目标图像。目标可见光图像对应的多个分离目标图像称为可见光分离目标图像，目标红外图像对应的多个分离目标图像称为红外分离目标图像，分离目标图像包括可见光分离目标图像和红外分离目标图像。同一个场景下目标可见光图像和目标红外图像得到的可见光分离目标图像、红外分离目标图像相互对应，即同一个场景下目标可见光图像和目标红外图像中得到的每一个可见光分离目标图像分别与红外分离目标图像一一对应。
所述步骤四是一种基于对比度的双光融合算法，能够有效的保留红外图像的亮度信息和可见光的细节信息，且算法简单，运算量不大，可在FPGA（Field Programmable GateArray）、DSP（Digital Signal Processing）等平台上实时运行，对解决双光融合的工程应用有极大的裨益，具体包括以下步骤，
步骤41，融合单元分别计算每个可见光分离目标图像的邻域均值；
步骤42，融合单元分别计算每个可见光分离目标图像的局域对比度；
步骤43，融合单元分别计算每个分离目标图像对应的分离融合图像当前灰度值，得到分离融合图像。
所述步骤41计算邻域均值时的邻域可以是7×7，也可以是其它大小的邻域，需要说明的是，邻域越小，可见光纹理越丰富，但可见光本身的亮度变化在融合图中体现减小，邻域越大，可见光分离目标图像的亮度和纹理本身的亮暗在融合图中越明显。具体计算如下，
——像素坐标(x,y)邻域的均值；
——像素坐标(i,j)的可见光分离目标图像灰度值。
所述步骤42中对可见光分离目标图像的局域对比度的计算方式如下，
融合单元用可见光分离目标图像当前像素灰度除以均值，得到可见光分离目标图像的局域对比度；
——可见光分离目标图像像素坐标(x,y)的对比度。
所述步骤43具体实现方式为，融合单元将红外分离目标图像灰度值乘以可见光分离目标图像的局域对比度，得到分离融合图像当前灰度值，进而得到分离融合图像。
F即为最终的分离融合图像，其能够有效包含可见光分离目标图像的细节信息和红外分离目标图像的亮度信息。——红外分离目标图像像素坐标(x,y)的灰度值。
在步骤四中，采用利用对比度得到分离融合图像，其融合过程计算简单，效果优良，比加权平均法融合效果好，能够充分的保留红外图像的亮度信息和可见光图像的细节信息，可在FPGA、DSP等算力有限的平台实时运行，具有较大的工程应用价值。
步骤五中，可以根据目标可见光图像、目标红外图像中的一个或两个将分离融合图像进行拼接。
基于场景类的可见光红外双光融合方法和系统基于融合机制，将采集的目标图像根据场景类中的描述图像，驱动目标图像中对应的物体的物体图像分离后，针对相互对应的可见光分离目标图像和红外分离目标图进行基于对比度的双光融合，得到分离融合图像后，再进行拼接获得融合图像，使得到的融合图像中不同场景的不同物体根据自身的对比度实现融合，进而得到可以更好保留红外图像的亮度信息和可见光的细节信息的融合图像。并且基于对比度实现可见光和红外光的融合，其算法简单，运算量小，可在多个平台上实时运行，对解决双光融合的工程应用有极大意义。
以上内容是对本发明创造的优选的实施例的说明，可以帮助本领域技术人员更充分地理解本发明创造的技术方案。但是，这些实施例仅仅是举例说明，不能认定本发明创造的具体实施方式仅限于这些实施例的说明。对本发明创造所属技术领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干简单推演和变换，都应当视为属于本发明创造的保护范围。
Claims (6)
1.基于场景类的可见光红外双光融合方法，应用于大型场景的双光融合图像的获取，其特征在于，具体包括以下步骤，
步骤一，分别获取目标可见光图像、目标红外图像，得到目标图像；
步骤二，基于融合机制从预设的多个场景类的类描述中，确定目标图像对应的第一场景类；
步骤三，根据第一场景类中的描述图像，驱动目标图像中对应的物体图像分离，得到多个分离目标图像；
步骤四，将多个分离目标图像分别基于对比度进行双光融合，得到分离融合图像；
步骤五，根据目标图像将分离融合图像进行拼接，得到融合图像；
步骤六，将融合图像进行显示；
所述步骤四具体包括：步骤41，分别计算每个可见光分离目标图像的邻域均值；步骤42，分别计算每个可见光分离目标图像的局域对比度；步骤43，分别计算每个分离目标图像对应的分离融合图像当前灰度值，得到分离融合图像；
计算邻域均值时的邻域为7×7，具体计算如下，
M(x,y)——像素坐标(x,y)邻域的均值；
f(i,j)——像素坐标(i,j)的可见光分离目标图像灰度值；
所述步骤42中对可见光分离目标图像的局域对比度的计算方式如下，
融合单元用可见光分离目标图像当前像素灰度除以均值，得到可见光分离目标图像的局域对比度；
r(x,y)——可见光分离目标图像像素坐标(x,y)的对比度；
所述步骤43具体实现方式为，融合单元将红外分离目标图像灰度值乘以可见光分离目标图像的局域对比度，得到分离融合图像当前灰度值，进而得到分离融合图像，具体计算公式如下，
F(x,y)＝r(x,y)g(x,y)
F即为最终的分离融合图像；
g(x，y)——红外分离目标图像像素坐标(x,y)的灰度值。
2.根据权利要求1所述基于场景类的可见光红外双光融合方法，其特征在于，包括多个场景类，每个场景类具有类描述；所述的多个场景类，用于存放对目标图像进行图像分类的驱动类；类描述是对每个场景类的具体拍摄场景的说明；
每个场景类包括该场景下常规物体的描述图像，所述描述图像包括对应物体的名称、图像、形状、颜色、不同环境的亮度。
3.根据权利要求2所述基于场景类的可见光红外双光融合方法，其特征在于，所述步骤二中，融合机制根据目标图像，对图像中的内容进行分析，判断当前目标图像的拍摄场景，并编辑当前目标图像的场景描述，进而将所述场景描述与存储单元中的多个场景类的类描述进行对应，选择对应场景作为第一场景类。
4.根据权利要求3所述基于场景类的可见光红外双光融合方法，其特征在于，当得到的当前目标图像对应的第一场景类包括两个，或两个以上时，将当前目标图像中的物体与选择的每个第一场景类中包括的描述图像进行对应，分别得到每个第一场景类中包括当前目标图像中的不同物体的数量，该数量为第一优化数量，选择第一优化数量最大对应的第一场景类为当前目标图像对应的第一场景类；
当出现第一优化数量相同情况时，根据预设的优先选择级别选择当前目标图像对应的第一场景类。
5.根据权利要求2所述基于场景类的可见光红外双光融合方法，其特征在于，所述步骤三具体为，根据描述图像，分别驱动目标可见光图像和目标红外图像中对应的物体进行图像分离，得到目标可见光图像对应的多个分离目标图像、目标红外图像对应的多个分离目标图像：可见光分离目标图像、红外分离目标图像。
6.基于场景类的可见光红外双光融合系统，应用于大型场景的双光融合图像的获取，其特征在于，包括可见光拍摄单元、红外拍摄单元、存储单元、分离单元、融合单元和显示单元；
可见光拍摄单元用于获取目标可见光图像，红外拍摄单元用于获取目标红外图像，从而得到目标图像；
分离单元基于融合机制从存储单元存储的多个场景类的类描述中，确定目标图像对应的第一场景类；
分离单元根据第一场景类中的描述图像，驱动所述目标图像中对应的物体图像分离，得到多个分离目标图像；
融合单元将多个分离目标图像分别基于对比度进行双光融合，得到分离融合图像；
融合单元根据目标图像将分离融合图像进行拼接，得到融合图像；
显示单元将融合图像进行显示；
分离单元得到多个分离目标图像具体包括：分别计算每个可见光分离目标图像的邻域均值；分别计算每个可见光分离目标图像的局域对比度；分别计算每个分离目标图像对应的分离融合图像当前灰度值，得到分离融合图像；
计算邻域均值时的邻域为7×7，具体计算如下，
M(x,y)——像素坐标(x,y)邻域的均值；
f(i,j)——像素坐标(i,j)的可见光分离目标图像灰度值；
对可见光分离目标图像的局域对比度的计算方式如下，
融合单元用可见光分离目标图像当前像素灰度除以均值，得到可见光分离目标图像的局域对比度；
r(x,y)——可见光分离目标图像像素坐标(x,y)的对比度；
每个分离目标图像对应的分离融合图像当前灰度值，得到分离融合图像具体实现方式为，融合单元将红外分离目标图像灰度值乘以可见光分离目标图像的局域对比度，得到分离融合图像当前灰度值，进而得到分离融合图像，具体计算公式如下，
F(x,y)＝r(x,y)g(x,y)
F即为最终的分离融合图像；
g(x，y)——红外分离目标图像像素坐标(x,y)的灰度值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310820400.6A CN116543284B (zh) | 2023-07-06 | 2023-07-06 | 基于场景类的可见光红外双光融合方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310820400.6A CN116543284B (zh) | 2023-07-06 | 2023-07-06 | 基于场景类的可见光红外双光融合方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116543284A CN116543284A (zh) | 2023-08-04 |
| CN116543284B true CN116543284B (zh) | 2023-09-12 |
Family
ID=87451042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310820400.6A Active CN116543284B (zh) | 2023-07-06 | 2023-07-06 | 基于场景类的可见光红外双光融合方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116543284B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014100784A1 (en) * | 2012-12-21 | 2014-06-26 | Flir Systems, Inc. | Infrared imaging enhancement with fusion |
| CN105096285A (zh) * | 2014-05-23 | 2015-11-25 | 南京理工大学 | 一种基于多核dsp的图像融合与目标跟踪系统 |
| CN111458890A (zh) * | 2020-04-12 | 2020-07-28 | 国科天成（北京）科技有限公司 | 真彩双光夜视仪系统及实现方法 |
| CN114119439A (zh) * | 2021-11-12 | 2022-03-01 | 武汉大学 | 红外与可见光图像融合方法、装置、设备及存储介质 |
| CN116309233A (zh) * | 2023-05-15 | 2023-06-23 | 湖南师范大学 | 一种基于夜视增强的红外与可见光图像融合方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062905B (zh) * | 2019-12-17 | 2022-01-04 | 大连理工大学 | 一种基于显著图增强的红外和可见光融合方法 |
-
2023
- 2023-07-06 CN CN202310820400.6A patent/CN116543284B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014100784A1 (en) * | 2012-12-21 | 2014-06-26 | Flir Systems, Inc. | Infrared imaging enhancement with fusion |
| CN105096285A (zh) * | 2014-05-23 | 2015-11-25 | 南京理工大学 | 一种基于多核dsp的图像融合与目标跟踪系统 |
| CN111458890A (zh) * | 2020-04-12 | 2020-07-28 | 国科天成（北京）科技有限公司 | 真彩双光夜视仪系统及实现方法 |
| CN114119439A (zh) * | 2021-11-12 | 2022-03-01 | 武汉大学 | 红外与可见光图像融合方法、装置、设备及存储介质 |
| CN116309233A (zh) * | 2023-05-15 | 2023-06-23 | 湖南师范大学 | 一种基于夜视增强的红外与可见光图像融合方法 |
Non-Patent Citations (1)
| Title |
|---|
| "基于多尺度分解红外和可见光图像融合算法研究";王贤涛;《中国科学院大学(中国科学院长春光学精密机械与物理研究所)》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116543284A (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109033998B (zh) | 基于注意力机制卷积神经网络的遥感影像地物标注方法 | |
| CN106713697B (zh) | 用于扩展动态范围图像的引导颜色分级 | |
| US4384336A (en) | Method and apparatus for lightness imaging | |
| US20130120438A1 (en) | Methods and Apparatuses for Generating Co-Salient Thumbnails for Digital Images | |
| CN104011581A (zh) | 图像处理装置、图像处理系统、图像处理方法和图像处理程序 | |
| KR101377733B1 (ko) | 업-스케일링 | |
| Xu et al. | Semantic segmentation of panoramic images using a synthetic dataset | |
| US20120068996A1 (en) | Safe mode transition in 3d content rendering | |
| US20110144954A1 (en) | Geospatial modeling system using single optical images and associated methods | |
| US20060274079A1 (en) | Image processing apparatus, method of same, and program and storage medium of same | |
| US8478028B2 (en) | Method and system for converting at least one first-spectrum image into a second-spectrum image | |
| CN109934793A (zh) | 一种基于整数dct变换的实时图像融合方法 | |
| CN116543284B (zh) | 基于场景类的可见光红外双光融合方法和系统 | |
| CN113298177B (zh) | 夜间图像着色方法、装置、介质和设备 | |
| Salih et al. | Adaptive local exposure based region determination for non-uniform illumination and low contrast images | |
| Sun et al. | Fast single-image dehazing method for visible-light systems | |
| Qian et al. | Fast color contrast enhancement method for color night vision | |
| Guo et al. | Improving visibility and fidelity of underwater images using an adaptive restoration algorithm | |
| CN112805745A (zh) | 一种混合图层处理方法及装置 | |
| CN112927139B (zh) | 一种双目热成像系统及超分辨率图像获取方法 | |
| CN114125319A (zh) | 图像传感器、摄像模组、图像处理方法、装置和电子设备 | |
| CN114332356A (zh) | 一种虚实画面结合方法和装置 | |
| CN113034490A (zh) | 化学品库房的堆垛安全距离监测方法 | |
| CN114463164A (zh) | 一种车辆车队的立体视频融合方法 | |
| Qadir et al. | Enhancing thermal video using a public database of images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |