CN117575931A - 一种超高清可见光与红外图像的匹配融合方法及装置 - Google Patents

一种超高清可见光与红外图像的匹配融合方法及装置 Download PDF

Info

Publication number
CN117575931A
CN117575931A CN202311701456.6A CN202311701456A CN117575931A CN 117575931 A CN117575931 A CN 117575931A CN 202311701456 A CN202311701456 A CN 202311701456A CN 117575931 A CN117575931 A CN 117575931A
Authority
CN
China
Prior art keywords
image
visible light
images
infrared
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311701456.6A
Other languages
English (en)
Inventor
宋小民
刘征
王正雄
王曼
王友全
余佳豪
李子清
李齐梦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Xinshi Chuangwei Ultra High Definition Technology Co ltd
Original Assignee
Sichuan Xinshi Chuangwei Ultra High Definition Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Xinshi Chuangwei Ultra High Definition Technology Co ltd filed Critical Sichuan Xinshi Chuangwei Ultra High Definition Technology Co ltd
Priority to CN202311701456.6A priority Critical patent/CN117575931A/zh
Publication of CN117575931A publication Critical patent/CN117575931A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种超高清可见光与红外图像的匹配融合方法及装置，属于可见光图像和红外图像融合技术领域。所述方法包括：获取多组图像；基于深度学习网络分别提取每组图像中可见光图像和红外图像的多维度特征；基于多维度特征计算每组图像中可见光图像和红外图像的最佳匹配结果；基于多组图像对应的最佳匹配结果确定最佳匹配坐标；根据最佳匹配坐标生成映射表；基于深度学习网络分别提取待融合的可见光图像和红外图像的多维度特征；基于多维度特征计算待融合的可见光图像和红外图像中对应位置的归一化相关系数；基于映射表，将小于预设值的归一化相关系数对应的位置进行图像融合。本发明的方法具有鲁棒性强、精度高的特点。

Description

一种超高清可见光与红外图像的匹配融合方法及装置
技术领域
本发明属于可见光图像和红外图像融合技术领域，特别是涉及一种超高清可见光与红外图像的匹配融合方法及装置。
背景技术
可见光与红外图像匹配融合方法目前多应用于2K分辨率及以下实现，主要原因在于图像分辨率增大后，现有基于传统图像处理技术的算法的匹配和融合效果会降低，尤其在匹配过程中，分辨率的增加使得匹配精度难以保证；其次，高分辨率图像使得计算量急剧增大不利于实际应用，但是高分辨图像具有更大的视野、更高清晰度、更丰富细节，因而实现超高清可见光与红外图像的匹配融合方法是十分有意义的。
发明内容
本发明的目的在于克服现有技术的不足，提供一种超高清可见光与红外图像的匹配融合方法及装置。
本发明的目的是通过以下技术方案来实现的：
本发明的第一方面公开了一种超高清可见光与红外图像的匹配融合方法，包括：
获取多组图像，每组图像包括在同一时刻采集的同一场景的可见光图像和红外图像；
基于深度学习网络分别提取每组图像中可见光图像和红外图像的多维度特征；
基于多维度特征计算每组图像中可见光图像和红外图像的最佳匹配结果；
基于多组图像对应的最佳匹配结果确定最佳匹配坐标；
根据最佳匹配坐标生成映射表；
基于深度学习网络分别提取待融合的可见光图像和红外图像的多维度特征；
基于多维度特征计算待融合的可见光图像和红外图像中对应位置的归一化相关系数；
基于映射表，将小于预设值的归一化相关系数对应的位置进行图像融合。
进一步地，所述可见光图像8K图像，所述红外图像为6K图像或4K图像。
进一步地，可见光图像和红外图像的多维度特征的提取方法包括：
将可见光图像或红外图像输入深度学习网络；
将深度学习网络中多个中间层输出的图像特征进行组合，得到可见光图像或红外图像的多维度特征。
进一步地，基于多维度特征计算每组图像中可见光图像和红外图像的最佳匹配结果，包括：
利用与红外图像的多维度特征相同大小的矩形框滑动遍历可见光图像的多维度特征，其中，矩形框位于每个位置时分别进行一次归一化相关系数的计算，在遍历完成后得到一个归一化相关系数矩阵；
将归一化相关系数矩阵中值最大的元素对应的矩形框的坐标确定为该组图像中可见光图像和红外图像的最佳匹配结果。
进一步地，基于多组图像对应的最佳匹配结果确定最佳匹配坐标，包括：
基于多组图像对应的最佳匹配结果，利用非极大值抑制方法选出最佳匹配坐标。
进一步地，基于多维度特征计算待融合的可见光图像和红外图像中对应位置的归一化相关系数，包括：
利用与红外图像的多维度特征相同大小的矩形框滑动遍历可见光图像的多维度特征，其中，矩形框位于每个位置时分别进行一次归一化相关系数的计算，在遍历完成后得到一个归一化相关系数矩阵。
进一步地，所述归一化相关系数的计算公式为：
其中，F为红外图像的多维度特征，M为可见光图像的多维度特征，为F在M上移动i,j后与F等大的区域的特征矩阵，i,j分别代表水平和垂直方向移动的像素位移。
本发明的第二方面公开了一种超高清可见光与红外图像的匹配融合装置，包括：
图像获取模块，用于获取多组图像以及待融合的可见光图像和红外图像，每组图像包括在同一时刻采集的同一场景的可见光图像和红外图像；
第一特征提取模块，用于基于深度学习网络分别提取每组图像中可见光图像和红外图像的多维度特征；
第一计算模块，用于基于多维度特征计算每组图像中可见光图像和红外图像的最佳匹配结果
匹配坐标确定模块，用于基于多组图像对应的最佳匹配结果确定最佳匹配坐标；
映射表生成模块，用于根据最佳匹配坐标生成映射表；
第二特征提取模块，用于基于深度学习网络分别提取待融合的可见光图像和红外图像的多维度特征；
第二计算模块，用于基于多维度特征计算待融合的可见光图像和红外图像中对应位置的归一化相关系数；
图像融合模块，用于基于映射表，将小于预设值的归一化相关系数对应的位置进行图像融合。
本发明的有益效果是：
(1)对于超高清图像(8k分辨率7680x4320)的匹配，由于图像分辨率巨大，传统方法匹配精度低慢，而如果缩小图像进行匹配，又会引入系统误差；本发明提出一种基于深度学习特征匹配的高分辨率图像匹配方法，相比于传统手动设计提取特征方法，具有鲁棒性强、精度高的特点；
(2)针对超高清可见光和红外图像融合计算量大的问题，本发明提出基于深度学习特征的动态区域融合方法，通过计算特征矩阵归一化相关性系数，找出可见光图像特征丢失的区域，最后仅对丢失特征的区域进行可见光和红外图像融合，避免对所有像素进行融合，极大的降低了计算量，使得超高分辨率的可见光和红外图像融合得以实现；
(3)本发明使用深度学习网络提取特征，既用于红外和可见光图像的匹配，还用于匹配过程确定需要融合的区域；相较于传统的计算特征相似性确定融合区域的方法，深度学习网络具有更强的特征提取能力，原因在于深度学习模型包含多种各个尺度的卷积核，多层卷积输出可保留不同尺度的特征，保留不同感受野下的特征信息，使得可见光和红外图像的匹配精度更高；而传统方法，一般只考虑2k以下分辨率的特征提取，使用的滤波器形式较为单一，不适合高分辨率图像特征提取。
附图说明
图1为本发明中匹配融合方法的一种流程框图；
图2为本发明中匹配融合方法的一种流程示意图；
图3为本发明中计算归一化相关系数的一种流程示意图；
图4为一个实施例中的可见光图像；
图5为一个实施例中的红外图像；
图6为图4和图5得到的融合图像。
具体实施方式
下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1至图6，本发明提供一种超高清可见光与红外图像的匹配融合方法及装置：
本实施例的第一方面公开了一种超高清可见光与红外图像的匹配融合方法，如图1和图2所示，所述匹配融合方法包括S100至S800。
S100.获取多组图像，每组图像包括在同一时刻采集的同一场景的可见光图像和红外图像。
具体的，每组图像包括一幅可见光图像和一幅红外图像，该可见光图像和该红外图像在同一时刻的同一场景下采集得到。
在一些实施例中，可见光图像8K图像，红外图像为6K图像或4K图像。
S200.基于深度学习网络分别提取每组图像中可见光图像和红外图像的多维度特征。
在一些实施例中，可见光图像和红外图像的多维度特征的提取方法包括：将可见光图像或红外图像输入深度学习网络；将深度学习网络中多个中间层输出的图像特征进行组合，得到可见光图像或红外图像的多维度特征。
本实施例中，将可见光图像和红外图像分别输入深度学习网络中进行特征提取，如图3所示，深度学习网络不是固定的，可以根据实际需求选择，例如，可以采用VGC、AlexNet、ResNet、Inception等经典网络，还可以根据实际需求更改这些典型网络或者手动设计网络。
本实施例借助图像超高分辨率的特点，将深度学习网络多个中间层的输出作为多维度特征进行组合，不同卷积层输出包含不同尺度下的图像特征。更丰富的特征有助于获得更精确和稳定的匹配结果。
S300.基于多维度特征计算每组图像中可见光图像和红外图像的最佳匹配结果。
在一些实施例中，基于多维度特征计算每组图像中可见光图像和红外图像的最佳匹配结果，包括：利用与红外图像的多维度特征相同大小的矩形框滑动遍历可见光图像的多维度特征，其中，矩形框位于每个位置时分别进行一次归一化相关系数的计算，在遍历完成后得到一个归一化相关系数矩阵；将归一化相关系数矩阵中值最大的元素对应的矩形框的坐标确定为该组图像中可见光图像和红外图像的最佳匹配结果。矩形框的坐标为矩形框的左上角水平和垂直方向的图像坐标值、右下角水平和垂直方向的图像坐标值，通常左上角坐标记为(x1，y1)，右下角坐标记为(x2，y2)。
本实施例中，在获得可见光图像和红外图像的多维度特征后，使用与红外图像的多维度特征相同大小的矩形框在可见光图像的多维度特征上滑动、遍历可见光图像的多维度特征，矩形框的滑动步长可以根据实际情况确定，步长越小则越精准，步长越大则计算速度越快，需要注意的是，步长的大小需保证完全遍历可见光图像的多维度特征。在遍历可见光图像的多维度特征的过程中，矩形框每移动一次便进行一次归一化相关系数的计算，在完成可见光图像的多维度特征的遍历后，得到一个归一化相关系数矩阵，归一化相关系数矩阵中元素的最大值对应的矩形框坐标即为该组图像中可见光图像和红外图像的最佳匹配结果。
归一化相关系数(normalized cross-correlation，简称NCC)的计算公式为：
其中，F为红外图像的多维度特征，M为可见光图像的多维度特征，为F在M上移动i,j后与F等大的区域的特征矩阵，i,j分别代表水平和垂直方向移动的像素位移。
S400.基于多组图像对应的最佳匹配结果确定最佳匹配坐标。
在一些实施例中，基于多组图像对应的最佳匹配结果确定最佳匹配坐标，包括：基于多组图像对应的最佳匹配结果，利用非极大值抑制方法选出最佳匹配坐标。
取归一化相关系数的最大值对应的坐标作为该组红外和可见光图像的最佳匹配结果，若有m组图像，则可获取m个坐标匹配结果。然后对m个坐标使用非极大值抑制(NMS)，每个匹配结果为一个矩形框，匹配结果对应的归一化相关系数作为矩形框的置信度。(注：NMS原理为筛选出一定区域内属于同一种类别得分最大的框)。
S500.根据最佳匹配坐标生成映射表。
本实施例中采用多组可见光图像和红外图像进行匹配，得到多个最佳匹配结果，提高了匹配结果的可靠性。然后基于多个匹配结果选出最佳匹配坐标，最终生成映射表。
S600.基于深度学习网络分别提取待融合的可见光图像和红外图像的多维度特征。
本实施例中待融合的可见光图像和红外图像在同一时刻的同一场景下采集得到。
在一些实施例中，将待融合的可见光图像和红外图像输入深度学习网络进行特征提取，得到待融合的可见光图像和红外图像的多维度特征，本步骤中提取多维度特征的方法与S200中提取多维度特征的方法相同。即，将可见光图像或红外图像输入深度学习网络；将深度学习网络中多个中间层输出的图像特征进行组合，得到可见光图像或红外图像的多维度特征。
S700.基于多维度特征计算待融合的可见光图像和红外图像中对应位置的归一化相关系数。
本步骤中归一化相关系数的计算与S300中归一化相关系数的计算方法相同，即，利用与红外图像的多维度特征相同大小的矩形框滑动遍历可见光图像的多维度特征，其中，矩形框位于每个位置时分别进行一次归一化相关系数的计算，在遍历完成后得到一个归一化相关系数矩阵。
归一化相关系数矩阵中每个元素的值代表了可见光图像和红外图像对应位置的相似程度，元素的值越大，则表明特征越相似，否则表明特征差异大，特征差异大说明可见光图像和红外图像在该元素对应位置区域存在由过度曝光、低照度等情况导致的信息丢失(信息丢失通常发生在可见光图像)。本实施例中，根据归一化相关系数矩阵的元素值可以判定哪些区域可见光图像信息丢失，而同时红外图像对应区域却有明显的特征表达。这样就能动态找出红外和可见光图像需要特征融合的区域。
S800.基于映射表，将小于预设值的归一化相关系数对应的位置进行图像融合。
本实施例中设置了一个归一化相关系数阈值(即预设值)，对小于该预设值的归一化相关系数对应的位置区域进行图像融合，大于等于该预设值的归一化相关系数对应的位置区域则不进行图像融合。由于本实施例中只对部分位置区域进行图像融合，使得图像融合的计算量大幅度降低，避免了超高清图像逐个像素融合的巨大计算量，从而实现了超高清图像融合，此外还可以选择使用一些融合精度高但速度慢的融合方法。
本实施例中，假定红外图像分辨率为4K，即3840x2160，对应的可见光图像的匹配区域也为4K。以VGG16网络为例，当网络输入为3840x2160时，多维度特征的第一个维度为1920x1080，剩余四个维度特征为960x540，480x270，240x135，120x68。对小于1920x1080的特征上采样到1920x1080即可。那么可见光图像和红外图像的多维度特征矩阵的大小均为1920x1080。计算归一化相关系数矩阵取2x2像素区域为计算单位。那么此处的归一化相关系数矩阵计算后大小为960x540，对应到原始图像的3840x2160分辨率，那么归一化相关系数矩阵每个元素对应的图像坐标为4x4像素大小。
在一些实施例中，图像融合时载入映射表至内存，硬件甲单元可直接根据映射表的坐标进行融合计算。
在一些实施例中，采用多尺度引导滤波融合方法(MGFF)进行图像融合，由于可见光图像和红外图像均为超高清，每个位置区域仍包含大量像素，采用MGFF进行融合使得细节融合效果更好。
图4为超高清可见光图像(图中的visible brightness表示可见亮度)，图5为超高清红外图像，图6为使用基于深度学习特征的动态区域MGFF融合方法的效果图。对比可以发现，在可见光图像上由于过曝光丢失细节信息的灯带区域，在融合后图像上丢失信息得以补偿。而其他区域因为可见光图像已包含足够细节特征，而并未进行无效的特征融合。
本实施例的第二方面公开了一种超高清可见光与红外图像的匹配融合装置，包括图像获取模块、第一特征提取模块、第一计算模块、匹配坐标确定模块、映射表生成模块、第二特征提取模块、第二计算模块和图像融合模块。
图像获取模块，用于获取多组图像以及待融合的可见光图像和红外图像，每组图像包括在同一时刻采集的同一场景的可见光图像和红外图像。
第一特征提取模块，用于基于深度学习网络分别提取每组图像中可见光图像和红外图像的多维度特征。
第一计算模块，用于基于多维度特征计算每组图像中可见光图像和红外图像的最佳匹配结果。
匹配坐标确定模块，用于基于多组图像对应的最佳匹配结果确定最佳匹配坐标。
映射表生成模块，用于根据最佳匹配坐标生成映射表。
第二特征提取模块，用于基于深度学习网络分别提取待融合的可见光图像和红外图像的多维度特征。
第二计算模块，用于基于多维度特征计算待融合的可见光图像和红外图像中对应位置的归一化相关系数。
图像融合模块，用于基于映射表，将小于预设值的归一化相关系数对应的位置进行图像融合。
需要说明的是，本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或者装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再重复描述。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种超高清可见光与红外图像的匹配融合方法，其特征在于，包括：
获取多组图像，每组图像包括在同一时刻采集的同一场景的可见光图像和红外图像；
基于深度学习网络分别提取每组图像中可见光图像和红外图像的多维度特征；
基于多维度特征计算每组图像中可见光图像和红外图像的最佳匹配结果；
基于多组图像对应的最佳匹配结果确定最佳匹配坐标；
根据最佳匹配坐标生成映射表；
基于深度学习网络分别提取待融合的可见光图像和红外图像的多维度特征；
基于多维度特征计算待融合的可见光图像和红外图像中对应位置的归一化相关系数；
基于映射表，将小于预设值的归一化相关系数对应的位置进行图像融合。
2.根据权利要求1所述的一种超高清可见光与红外图像的匹配融合方法，其特征在于，所述可见光图像8K图像，所述红外图像为6K图像或4K图像。
3.根据权利要求1所述的一种超高清可见光与红外图像的匹配融合方法，其特征在于，可见光图像和红外图像的多维度特征的提取方法包括：
将可见光图像或红外图像输入深度学习网络；
将深度学习网络中多个中间层输出的图像特征进行组合，得到可见光图像或红外图像的多维度特征。
4.根据权利要求1所述的一种超高清可见光与红外图像的匹配融合方法，其特征在于，基于多维度特征计算每组图像中可见光图像和红外图像的最佳匹配结果，包括：
利用与红外图像的多维度特征相同大小的矩形框滑动遍历可见光图像的多维度特征，其中，矩形框位于每个位置时分别进行一次归一化相关系数的计算，在遍历完成后得到一个归一化相关系数矩阵；
将归一化相关系数矩阵中值最大的元素对应的矩形框的坐标确定为该组图像中可见光图像和红外图像的最佳匹配结果。
5.根据权利要求1所述的一种超高清可见光与红外图像的匹配融合方法，其特征在于，基于多组图像对应的最佳匹配结果确定最佳匹配坐标，包括：
基于多组图像对应的最佳匹配结果，利用非极大值抑制方法选出最佳匹配坐标。
6.根据权利要求1所述的一种超高清可见光与红外图像的匹配融合方法，其特征在于，基于多维度特征计算待融合的可见光图像和红外图像中对应位置的归一化相关系数，包括：
利用与红外图像的多维度特征相同大小的矩形框滑动遍历可见光图像的多维度特征，其中，矩形框位于每个位置时分别进行一次归一化相关系数的计算，在遍历完成后得到一个归一化相关系数矩阵。
7.根据权利要求4或6所述的一种超高清可见光与红外图像的匹配融合方法，其特征在于，所述归一化相关系数的计算公式为：
其中，F为红外图像的多维度特征，M为可见光图像的多维度特征，为F在M上移动i,j后与F等大的区域的特征矩阵，i,j分别代表水平和垂直方向移动的像素位移。
8.一种超高清可见光与红外图像的匹配融合装置，其特征在于，包括：
图像获取模块，用于获取多组图像以及待融合的可见光图像和红外图像，每组图像包括在同一时刻采集的同一场景的可见光图像和红外图像；
第一特征提取模块，用于基于深度学习网络分别提取每组图像中可见光图像和红外图像的多维度特征；
第一计算模块，用于基于多维度特征计算每组图像中可见光图像和红外图像的最佳匹配结果；
匹配坐标确定模块，用于基于多组图像对应的最佳匹配结果确定最佳匹配坐标；
映射表生成模块，用于根据最佳匹配坐标生成映射表；
第二特征提取模块，用于基于深度学习网络分别提取待融合的可见光图像和红外图像的多维度特征；
第二计算模块，用于基于多维度特征计算待融合的可见光图像和红外图像中对应位置的归一化相关系数；
图像融合模块，用于基于映射表，将小于预设值的归一化相关系数对应的位置进行图像融合。
CN202311701456.6A 2023-12-11 2023-12-11 一种超高清可见光与红外图像的匹配融合方法及装置 Pending CN117575931A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311701456.6A CN117575931A (zh) 2023-12-11 2023-12-11 一种超高清可见光与红外图像的匹配融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311701456.6A CN117575931A (zh) 2023-12-11 2023-12-11 一种超高清可见光与红外图像的匹配融合方法及装置

Publications (1)

Publication Number Publication Date
CN117575931A true CN117575931A (zh) 2024-02-20

Family

ID=89860815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311701456.6A Pending CN117575931A (zh) 2023-12-11 2023-12-11 一种超高清可见光与红外图像的匹配融合方法及装置

Country Status (1)

Country Link
CN (1) CN117575931A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117935095A (zh) * 2024-03-21 2024-04-26 四川渔光物联技术有限公司 基于可见光图像实现红外光图像正射建图的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240602A (zh) * 2021-05-17 2021-08-10 Oppo广东移动通信有限公司 图像去雾方法及装置、计算机可读介质和电子设备
CN113379661A (zh) * 2021-06-15 2021-09-10 中国工程物理研究院流体物理研究所 红外与可见光图像融合的双分支卷积神经网络及融合方法
CN114066955A (zh) * 2021-11-19 2022-02-18 安徽大学 一种红外光图像配准到可见光图像的配准方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240602A (zh) * 2021-05-17 2021-08-10 Oppo广东移动通信有限公司 图像去雾方法及装置、计算机可读介质和电子设备
CN113379661A (zh) * 2021-06-15 2021-09-10 中国工程物理研究院流体物理研究所 红外与可见光图像融合的双分支卷积神经网络及融合方法
CN114066955A (zh) * 2021-11-19 2022-02-18 安徽大学 一种红外光图像配准到可见光图像的配准方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117935095A (zh) * 2024-03-21 2024-04-26 四川渔光物联技术有限公司 基于可见光图像实现红外光图像正射建图的方法及装置
CN117935095B (zh) * 2024-03-21 2024-06-11 四川渔光物联技术有限公司 基于可见光图像实现红外光图像正射建图的方法及装置

Similar Documents

Publication Publication Date Title
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
WO2022141178A1 (zh) 图像处理方法及装置
CN117575931A (zh) 一种超高清可见光与红外图像的匹配融合方法及装置
CN111626927B (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
CN112465889B (zh) 一种基于二维-三维集成的植株点云分割方法、系统和存储介质
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
CN111899295B (zh) 一种基于深度学习的单目场景深度预测方法
CN107633482A (zh) 一种基于序列图像的超分辨率重建方法
CN112085031A (zh) 目标检测方法及系统
CN117597703A (zh) 用于图像分析的多尺度变换器
CN104036468A (zh) 基于预放大非负邻域嵌入的单帧图像超分辨重建方法
CN114140623A (zh) 一种图像特征点提取方法及系统
CN107392211B (zh) 基于视觉稀疏认知的显著目标检测方法
CN117372706A (zh) 一种多尺度可变形的人物交互关系检测方法
CN117541629B (zh) 基于可穿戴头盔的红外图像和可见光图像配准融合方法
CN117456376A (zh) 一种基于深度学习的遥感卫星影像目标检测方法
CN111696167A (zh) 自范例学习引导的单张影像超分辨率重构方法
CN116469172A (zh) 一种多时间尺度下的骨骼行为识别视频帧提取方法及系统
CN110400250A (zh) 基于ai的智能图像预处理方法及系统
CN114565537B (zh) 一种基于局部信息熵的红外成像装置
CN113205005B (zh) 一种面向低光照低分辨率的人脸图像幻构方法
CN111985535A (zh) 一种通过神经网络优化人体深度图的方法及其装置
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN112053311A (zh) 一种基于膨胀卷积的图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination