CN115311180A - 基于边缘特征的图像融合方法、装置、用户终端及介质 - Google Patents

基于边缘特征的图像融合方法、装置、用户终端及介质 Download PDF

Info

Publication number
CN115311180A
CN115311180A CN202210776367.7A CN202210776367A CN115311180A CN 115311180 A CN115311180 A CN 115311180A CN 202210776367 A CN202210776367 A CN 202210776367A CN 115311180 A CN115311180 A CN 115311180A
Authority
CN
China
Prior art keywords
image
visible light
matrix
infrared
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210776367.7A
Other languages
English (en)
Inventor
蔡伟明
胡明
刘鹏涛
陈闰
陈灵丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uni Trend Technology China Co Ltd
Original Assignee
Uni Trend Technology China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uni Trend Technology China Co Ltd filed Critical Uni Trend Technology China Co Ltd
Priority to CN202210776367.7A priority Critical patent/CN115311180A/zh
Priority to PCT/CN2022/104009 priority patent/WO2024007177A1/zh
Publication of CN115311180A publication Critical patent/CN115311180A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像融合技术领域，尤其涉及一种基于边缘特征的图像融合方法、装置、用户终端及介质，包括：获取目标物体的可见光图像及红外图像；对可见光图像及红外图像进行配准，生成可见光配准图像；分别对可见光配准图像及红外图像进行色彩空间分离；提取可见光配准图像的第一亮度分量，提取红外图像的第二亮度分量、第二红色分量及第二蓝色分量；根据第一亮度分量计算该可见光配准图像的边缘特征；融合边缘特征与第二亮度分量，生成第三亮度分量；合并第三亮度分量、第二红色分量及第二蓝色分量，生成红外融合图像。本申请的图像融合方法可以大幅提升红外图像的显示细节，并且能有效避免降低红外图像的品质和热透明度。

Description

基于边缘特征的图像融合方法、装置、用户终端及介质
技术领域
本申请涉及图像融合技术领域，特别涉及一种基于边缘特征的图像融合方法、一种基于边缘特征的图像融合装置、一种用户终端及一种存储介质。
背景技术
随着红外热成像技术的不断发展，红外热像仪在军事和民用等诸多领域获得了广泛应用，由于红外图像普遍存在边缘模糊、对比度低和噪声大等缺陷，红外图像的增强算法获得了广泛研究。
现在的红外热像仪一般采用像素级的融合方法对可见光图像与红外图像融合。像素级的融合方法虽然可以提高融合后的红外图像的细节显示效果，但是会降低红外图像的图像品质及热透明度。
因此，急需发明一种细节显示效果好、品质及热透明度高的图像融合方法。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成本领域普通技术人员已知的现有技术的信息。
发明内容
鉴于以上技术问题中的至少一项，本申请提供一种基于边缘特征的图像融合方法、装置、用户终端及介质，解决了现在的红外热像仪一般采用像素级的融合方法对可见光图像与红外图像融合。像素级的融合方法虽然可以提高融合后的红外图像的细节显示效果，但是会降低红外图像的图像品质及热透明度的问题。
本申请第一个方面的实施例提供一种基于边缘特征的图像融合方法，应用于红外热像仪，所述红外热像仪包括红外热成像摄像头及可见光摄像头，所述图像融合方法包括：
获取目标物体的可见光图像及红外图像；
对可见光图像及红外图像进行配准，生成可见光配准图像；
分别对可见光配准图像及红外图像进行色彩空间分离；
提取可见光配准图像的第一亮度分量，提取红外图像的第二亮度分量、第二红色分量及第二蓝色分量；
根据第一亮度分量计算该可见光配准图像的边缘特征；
融合边缘特征与第二亮度分量，生成第三亮度分量；
合并第三亮度分量、第二红色分量及第二蓝色分量，生成红外融合图像。
本申请具有如下技术效果：本申请的图像融合方法可以大幅提升红外图像的显示细节，并且能有效避免降低红外图像的品质和热透明度。
在一种实现方式中，所述的对可见光图像及红外图像进行配准，还包括：
获取可见光摄像头的第一旋转矩阵及第一平移矩阵；
获取红外热成像摄像头的第二旋转矩阵及第二平移矩阵；
根据第一旋转矩阵及第二旋转矩阵，并基于第一映射关系，生成旋转映射矩阵；
根据第一平移矩阵、第二平移矩阵及旋转映射矩阵，并基于第二映射关系，生成平移映射矩阵；
获取可见光摄像头的第一内参矩阵、红外热成像摄像头的第二内参矩阵、红外图像的横纵坐标；
根据旋转映射矩阵、平移映射矩阵、第一内参矩阵、第二内参矩阵及红外图像的横纵坐标，并基于第三映射关系，生成可见光图像的横纵坐标；
根据可见光图像的横纵坐标，生成可见光配准图像。
在一种实现方式中，所述第一映射关系为：
R＝vi_R×ir_R-1
其中，R为旋转映射矩阵，vi_R为第一旋转矩阵，ir_R为第二旋转矩阵。
在一种实现方式中，所述第二映射关系为：
T＝vi_T-R×ir_T
其中，T为平移映射矩阵，R为旋转映射矩阵，vi_T为第一平移矩阵，ir_R为第二平移矩阵。
在一种实现方式中，所述第三映射关系为：
Figure BDA0003727497460000031
其中，vi_u为可见光图像的横坐标，vi_u可见光图像的纵坐标，vi_K为第一内参矩阵，R为旋转映射矩阵，T为平移映射矩阵，ir_u为红外图像的横坐标，ir_v为红外图像的纵坐标，ir_K为第二内参矩阵。
在一种实现方式中，所述的根据第一亮度分量计算该可见光配准图像的边缘特征，包括：
根据第一亮度分量分别计算第一方向梯度值及第二方向梯度值；
根据第一方向梯度值及第二方向梯度值确定边缘特征。
在一种实现方式中，所述的根据第一方向梯度值及第二方向梯度值确定边缘特征之后，还包括：
基于第一公式调整边缘特征的饱和度及明亮度。
本申请第二个方面的实施例提供一种基于边缘特征的图像融合装置，包括：
获取模块，用于获取目标物体的可见光图像及红外图像；
配置模块，用于对可见光图像及红外图像进行配准，生成可见光配准图像；
分离模块，用于分别对可见光配准图像及红外图像进行色彩空间分离；
提取模块，提取可见光配准图像的第一亮度分量，提取红外图像的第二亮度分量、第二红色分量及第二蓝色分量；
计算模块，用于根据第一亮度分量计算该可见光配准图像的边缘特征；
融合模块，用于融合边缘特征与第二亮度分量，生成第三亮度分量；
合并模块，用于合并第三亮度分量、第二红色分量及第二蓝色分量，生成红外融合图像。
本申请第三个方面的实施例提供一种用户终端，包括储存器及处理器，所述储存器储存有计算机程序，所述处理器执行所述计算机程序时实现如本申请第一个方面的实施例所述的图像融合方法的步骤。
本申请第四个方面的实施例提供一种存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如本申请第一个方面的实施例所述的图像融合方法的步骤。
下面结合附图与实施例，对本发明进一步说明。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是图像融合方法的原理图；
图2是图像融合方法的流程图；
图3是对可见光图像及红外图像进行配准生成可见光配准图像的流程图；
图4是根据第一亮度分量计算可见光配准图像的边缘特征的流程图；
图5是图像融合装置的结构图；
图6是用户终端的结构图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似改进，因此本申请不受下面公开的具体实施例的限制。
如图1至图6所示，本申请第一个方面的实施例提供一种基于边缘特征的图像融合方法，应用于红外热像仪，所述红外热像仪包括红外热成像摄像头及可见光摄像头，所述图像融合方法包括：
步骤S100：获取目标物体的可见光图像及红外图像。
示例性的，红外热成像摄像头用于拍摄红外图像，可见光摄像头用于拍摄可见光图像。
步骤S200：对可见光图像及红外图像进行配准，生成可见光配准图像。
示例性的，对可见光图像及红外图像进行配准，如此，使可见光图像映射到红外图像上，也就是将可见光图像的横纵坐标映射到红外图像的横纵坐标上，并生成可见光配准图像，从而提高后续可见光配准图像的边缘特征与红外图像对应的准确性。
步骤S300：分别对可见光配准图像及红外图像进行色彩空间分离。
示例性的，分别对可见光配准图像、红外图像进行YCrCb分量分离，也就是YUV分量分离，其中，Y分量表示明亮度，也就是灰阶值；U分量及V分量表示的是色度。
采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量，那么这样表示的图像就是黑白灰度图像。
在本实施例中，将可见光配准图像与红外图像的明亮度及色度分离，有利于后续图像融合处理。
步骤S400：提取可见光配准图像的第一亮度分量，提取红外图像的第二亮度分量、第二红色分量及第二蓝色分量；
示例性的，提取可见光配准图像的第一亮度分量，即提取可见光配准图像的Y分量。提取红外图像的Y分量、U分量及V分量。
步骤S500：根据第一亮度分量计算该可见光配准图像的边缘特征；
示例性的，通过可见光配准图像的第一亮度，进而将可见光配准图像的边缘特征计算出来。由于可见光图像在清晰度上是要比红外图像清晰，从而有利于融合至红外图像上，提升红外图像的显示细节。
步骤S600：融合边缘特征与第二亮度分量，生成第三亮度分量；
示例性的，将可见光匹配图像的边缘特征与红外图像的第二亮度分量融合，生成第三亮度分量。
步骤S700：合并第三亮度分量、第二红色分量及第二蓝色分量，生成红外融合图像。
示例性的，将融合后的第三亮度分量与原本的红外图像的第二红色分量及第二蓝色分量合并，生成红外融合图像，进而提升红外图像的显示细节。
本申请的图像融合方法可以大幅提升红外图像的显示细节，并且能有效避免降低红外图像的品质和热透明度。
如图1至图6所示，所述的对可见光图像及红外图像进行配准，还包括：
步骤S210：获取可见光摄像头的第一旋转矩阵及第一平移矩阵；
步骤S220：获取红外热成像摄像头的第二旋转矩阵及第二平移矩阵；
步骤S230：根据第一旋转矩阵及第二旋转矩阵，并基于第一映射关系，生成旋转映射矩阵；
步骤S240：根据第一平移矩阵、第二平移矩阵及旋转映射矩阵，并基于第二映射关系，生成平移映射矩阵；
步骤S250：获取可见光摄像头的第一内参矩阵、红外热成像摄像头的第二内参矩阵、红外图像的横纵坐标；
步骤S260：根据旋转映射矩阵、平移映射矩阵、第一内参矩阵、第二内参矩阵及红外图像的横纵坐标，并基于第三映射关系，生成可见光图像的横纵坐标；
步骤S270：根据可见光图像的横纵坐标，生成可见光配准图像。
如图1至图6所示，所述第一映射关系为：
R＝vi_R×ir_R-1
其中，R为旋转映射矩阵，vi_R为第一旋转矩阵，ir_R为第二旋转矩阵。
如图1至图6所示，所述第二映射关系为：
T＝vi_T-R×ir_T
其中，T为平移映射矩阵，R为旋转映射矩阵，vi_T为第一平移矩阵，ir_R为第二平移矩阵。
如图1至图6所示，所述第三映射关系为：
Figure BDA0003727497460000071
其中，vi_u为可见光图像的横坐标，vi_u可见光图像的纵坐标，vi_K为第一内参矩阵，R为旋转映射矩阵，T为平移映射矩阵，ir_u为红外图像的横坐标，ir_v为红外图像的纵坐标，ir_K为第二内参矩阵。
示例性的，在步骤S270中：根据可见光图像的横纵坐标，生成可见光配准图像，具体生成过程如下：
第二公式：
vi_mappingX＝min(vi_u)
其中，vi_mappingX为可见光配准图像左上角的横坐标，vi_u为可见光图像的横坐标，min(vi_u)为可见光图像的横坐标的最小值。
第三公式：
vi_mappingY＝min(vi_v)
其中，vi_mappingY为可见光配准图像左上角的纵坐标，vi_v为可见光图像的纵坐标，min(vi_v)为可见光图像的纵坐标的最小值。
第四公式：
vi_mappingW＝max(vi_u)-vi_mappingX
其中，vi_mappingW为可见光配准图像的宽度，max(vi_u)为可见光图像的横坐标的最大值，vi_mappingX为可见光配准图像左上角的横坐标。
第五公式：
vi_mappingH＝max(vi_v)-vi_mappingY
其中，vi_mappingH为可见光配准图像的高度，max(vi_v)为可见光图像的纵坐标的最大值，vi_mappingY为可见光配准图像左上角的纵坐标。
通过计算出的vi_mappingX为可见光配准图像左上角的横坐标、vi_mappingY为可见光配准图像左上角的纵坐标、vi_mappingW为可见光配准图像的宽度、vi_mappingH为可见光配准图像的高度共同形成可见光配准图像。
如图1至图6所示，所述的根据第一亮度分量计算该可见光配准图像的边缘特征，包括：
步骤S510：根据第一亮度分量分别计算第一方向梯度值及第二方向梯度值；
在步骤S510中，根据第一亮度分量，并基于第六公式计算出第一方向梯度值，其中，第一方向为X方向。根据第一亮度分量，并基于第七公式计算出第二方向梯度值，其中，第二方向为Y方向。
第六公式：
Figure BDA0003727497460000091
其中，vi_Gx为第一方向梯度值，vi_Y为第一亮度分量。
第七公式：
Figure BDA0003727497460000092
其中，vi_Gy为第一方向梯度值，vi_Y为第一亮度分量。
步骤S520：根据第一方向梯度值及第二方向梯度值确定边缘特征。
在步骤S520中，通过第一方向梯度值、第二方向梯度值相加，得到可见光配准图像的边缘特征，如第八公式所示：
vi_G＝|vi_Gx|+|vi_Gy|
其中，vi_G为可见光配准图像的第一亮度分量的边缘特征。
如图1至图6所示，所述的根据第一方向梯度值及第二方向梯度值确定边缘特征之后，还包括：
基于第一公式调整边缘特征的饱和度及明亮度。
第一公式为：
vi_G＝vi_G*a+b
其中，vi_G为可见光配准图像的第一亮度分量的边缘特征，a为饱和度系数，b为亮度系数，Vi_G为经过调整后的可见光配准图像的第一亮度分量的边缘特征。
如图1至图6所示，本申请第二个方面的实施例提供一种基于边缘特征的图像融合装置，包括：
获取模块100，用于获取目标物体的可见光图像及红外图像；
配置模块200，用于对可见光图像及红外图像进行配准，生成可见光配准图像；
分离模块300，用于分别对可见光配准图像及红外图像进行色彩空间分离；
提取模块400，提取可见光配准图像的第一亮度分量，提取红外图像的第二亮度分量、第二红色分量及第二蓝色分量；
计算模块500，用于根据第一亮度分量计算该可见光配准图像的边缘特征；
融合模块600，用于融合边缘特征与第二亮度分量，生成第三亮度分量；
合并模块700，用于合并第三亮度分量、第二红色分量及第二蓝色分量，生成红外融合图像。
如图1至图6所示，本申请第三个方面的实施例提供一种用户终端，包括储存器及处理器，所述储存器储存有计算机程序，所述处理器执行所述计算机程序时实现如本申请第一个方面的实施例所述的图像融合方法的步骤。
本申请第三个方面的实施例的用户终端，可以参照根据本申请第一方面实施例具体描述的内容实现，并具有与根据本申请第一方面实施例的图像融合方法具有类似的有益效果，在此不再赘述。
如图6所示，用户终端10可作为通用计算设备的形式实现。用户终端10的组件可以包括但不限于：一个或者多个处理器或者处理单元11，系统存储器12，连接不同系统组件(包括系统存储器12和处理单元11)的总线13。
总线13表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(IndustryStandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro ChannelArchitecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(VideoElectronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
用户终端10典型地包括多种计算机系统可读介质。这些介质可以是任何能够被用户终端10访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器12可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)14和/或高速缓存15存储器。用户终端10可以进一步包括其它可移动/不可移动的、易失性/非易失性的计算机可读存储介质。仅作为举例，存储系统16可以用于读写不可移动的、非易失性磁介质(图中未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc ReadOnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc ReadOnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线13相连。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块17的程序/实用工具18，可以存储在例如存储器中，这样的程序模块17包括但不限于操作系统、一个或者多个应用程序、其它程序模块17以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块17通常执行本公开所描述的实施例中的功能和/或方法。
用户终端10也可以与一个或多个外部设备19(例如键盘、指向设备、显示器20等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器交互的设备通信，和/或与使得该计算机系统/服务器能与一个或多个其它用户终端10进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口21进行。并且，用户终端10还可以通过网络适配器22与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器22通过总线13与用户终端10的其它模块通信。要说明的是，尽管图中未示出，可以结合用户终端10使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元11、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统16等。
处理单元11通过运行存储在系统存储器12中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
本申请实施例的用户终端10可以是服务器，也可以有限算力的终端设备。
如图1至图6所示，本申请第四个方面的实施例提供一种存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如本申请第一个方面的实施例所述的图像融合方法的步骤。
一般来说，用于实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质，除了临时性地传播中的信号本身。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM14)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，特别是可以使用适于神经网络计算的Python语言和基于TensorFlow、PyTorch等平台框架。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。故凡是未脱离本申请技术方案的内容，依据本申请之形状、构造及原理所作的等效变化，均应涵盖于本申请的保护范围内。

Claims (10)

1.一种基于边缘特征的图像融合方法，应用于红外热像仪，所述红外热像仪包括红外热成像摄像头及可见光摄像头，其特征在于，所述图像融合方法包括：
获取目标物体的可见光图像及红外图像；
对可见光图像及红外图像进行配准，生成可见光配准图像；
分别对可见光配准图像及红外图像进行色彩空间分离；
提取可见光配准图像的第一亮度分量，提取红外图像的第二亮度分量、第二红色分量及第二蓝色分量；
根据第一亮度分量计算该可见光配准图像的边缘特征；
融合边缘特征与第二亮度分量，生成第三亮度分量；
合并第三亮度分量、第二红色分量及第二蓝色分量，生成红外融合图像。
2.根据权利要求1所述的基于边缘特征的图像融合方法，其特征在于，所述的对可见光图像及红外图像进行配准，还包括：
获取可见光摄像头的第一旋转矩阵及第一平移矩阵；
获取红外热成像摄像头的第二旋转矩阵及第二平移矩阵；
根据第一旋转矩阵及第二旋转矩阵，并基于第一映射关系，生成旋转映射矩阵；
根据第一平移矩阵、第二平移矩阵及旋转映射矩阵，并基于第二映射关系，生成平移映射矩阵；
获取可见光摄像头的第一内参矩阵、红外热成像摄像头的第二内参矩阵、红外图像的横纵坐标；
根据旋转映射矩阵、平移映射矩阵、第一内参矩阵、第二内参矩阵及红外图像的横纵坐标，并基于第三映射关系，生成可见光图像的横纵坐标；
根据可见光图像的横纵坐标，生成可见光配准图像。
3.根据权利要求2所述的基于边缘特征的图像融合方法，其特征在于，所述第一映射关系为：
R＝vi_R×ir_R-1
其中，R为旋转映射矩阵，vi_R为第一旋转矩阵，ir_R为第二旋转矩阵。
4.根据权利要求1所述的基于边缘特征的图像融合方法，其特征在于，所述第二映射关系为：
T＝vi_T-R×ir_T
其中，T为平移映射矩阵，R为旋转映射矩阵，vi_T为第一平移矩阵，ir_R为第二平移矩阵。
5.根据权利要求2所述的基于边缘特征的图像融合方法，其特征在于，所述第三映射关系为：
Figure FDA0003727497450000021
其中，vi_u为可见光图像的横坐标，vi_u可见光图像的纵坐标，vi_K为第一内参矩阵，R为旋转映射矩阵，T为平移映射矩阵，ir_u为红外图像的横坐标，ir_v为红外图像的纵坐标，ir_K为第二内参矩阵。
6.根据权利要求1所述的基于边缘特征的图像融合方法，其特征在于，所述的根据第一亮度分量计算该可见光配准图像的边缘特征，包括：
根据第一亮度分量分别计算第一方向梯度值及第二方向梯度值；
根据第一方向梯度值及第二方向梯度值确定边缘特征。
7.根据权利要求1所述的基于边缘特征的图像融合方法，其特征在于，所述的根据第一方向梯度值及第二方向梯度值确定边缘特征之后，还包括：
基于第一公式调整边缘特征的饱和度及明亮度。
8.一种基于边缘特征的图像融合装置，其特征在于，包括：
获取模块，用于获取目标物体的可见光图像及红外图像；
配置模块，用于对可见光图像及红外图像进行配准，生成可见光配准图像；
分离模块，用于分别对可见光配准图像及红外图像进行色彩空间分离；
提取模块，提取可见光配准图像的第一亮度分量，提取红外图像的第二亮度分量、第二红色分量及第二蓝色分量；
计算模块，用于根据第一亮度分量计算该可见光配准图像的边缘特征；
融合模块，用于融合边缘特征与第二亮度分量，生成第三亮度分量；
合并模块，用于合并第三亮度分量、第二红色分量及第二蓝色分量，生成红外融合图像。
9.一种用户终端，包括储存器及处理器，所述储存器储存有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权1至权7任一所述的图像融合方法的步骤。
10.一种存储介质，其存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权1至权7任一所述的图像融合方法的步骤。
CN202210776367.7A 2022-07-04 2022-07-04 基于边缘特征的图像融合方法、装置、用户终端及介质 Pending CN115311180A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210776367.7A CN115311180A (zh) 2022-07-04 2022-07-04 基于边缘特征的图像融合方法、装置、用户终端及介质
PCT/CN2022/104009 WO2024007177A1 (zh) 2022-07-04 2022-07-06 基于边缘特征的图像融合方法、装置、用户终端及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210776367.7A CN115311180A (zh) 2022-07-04 2022-07-04 基于边缘特征的图像融合方法、装置、用户终端及介质

Publications (1)

Publication Number Publication Date
CN115311180A true CN115311180A (zh) 2022-11-08

Family

ID=83856417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210776367.7A Pending CN115311180A (zh) 2022-07-04 2022-07-04 基于边缘特征的图像融合方法、装置、用户终端及介质

Country Status (2)

Country Link
CN (1) CN115311180A (zh)
WO (1) WO2024007177A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
CN102982518A (zh) * 2012-11-06 2013-03-20 扬州万方电子技术有限责任公司 红外与可见光动态图像的融合方法及装置
CN106548467B (zh) * 2016-10-31 2019-05-14 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN112767289B (zh) * 2019-10-21 2024-05-07 浙江宇视科技有限公司 图像融合方法、装置、介质及电子设备
CN111738970B (zh) * 2020-06-19 2024-10-15 无锡英菲感知技术有限公司 图像融合方法、装置及计算机可读存储介质
CN112614164B (zh) * 2020-12-30 2024-10-11 杭州海康微影传感科技有限公司 一种图像融合方法、装置、图像处理设备及双目系统
CN113159229B (zh) * 2021-05-19 2023-11-07 深圳大学 图像融合方法、电子设备及相关产品
CN114140366A (zh) * 2021-11-01 2022-03-04 西安电子科技大学 一种红外图像与可见光图像融合方法、系统、设备及终端

Also Published As

Publication number Publication date
WO2024007177A1 (zh) 2024-01-11

Similar Documents

Publication Publication Date Title
US11373275B2 (en) Method for generating high-resolution picture, computer device, and storage medium
CN112241933B (zh) 人脸图像处理方法、装置、存储介质及电子设备
CN112991180B (zh) 图像拼接方法、装置、设备以及存储介质
CN113126937A (zh) 一种显示终端调整方法及显示终端
CN109194878B (zh) 视频图像防抖方法、装置、设备和存储介质
WO2019029573A1 (zh) 图像虚化方法、计算机可读存储介质和计算机设备
WO2023226218A1 (zh) 轴对称光学成像并行仿真方法及装置
WO2020087434A1 (zh) 一种人脸图像清晰度评价方法及装置
CN113724175A (zh) 基于人工智能的图像处理方法、装置及电子设备
CN112541553A (zh) 目标对象的状态检测方法、装置、介质以及电子设备
WO2021184931A1 (zh) 适用于光学穿透式头戴显示器的颜色对比增强绘制方法、装置以及系统
CN110570441B (zh) 一种超高清低延时视频控制方法及系统
CN110310341B (zh) 颜色算法中默认参数的生成方法、装置、设备和存储介质
CN115311180A (zh) 基于边缘特征的图像融合方法、装置、用户终端及介质
CN111833262A (zh) 图像降噪方法、装置及电子设备
WO2023151210A1 (zh) 图像处理方法、电子设备及计算机可读存储介质
WO2023272495A1 (zh) 徽标标注方法及装置、徽标检测模型更新方法及系统、存储介质
JP4222013B2 (ja) 画像修正装置、文字認識方法及び画像修正プログラム
WO2021147316A1 (zh) 物体识别方法及装置
CN113824894A (zh) 曝光控制方法、装置、设备及存储介质
CN115690191A (zh) 光心确定方法、装置、电子设备及介质
US12062175B2 (en) Method for processing images, electronic device, and storage medium
CN112419217B (zh) 图像处理方法、装置、计算机设备及介质
CN115705614B (zh) 图像处理方法、装置、电子设备及存储介质
CN116309160B (zh) 图像分辨率修复方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination