CN112614164A - 一种图像融合方法、装置、图像处理设备及双目系统 - Google Patents

一种图像融合方法、装置、图像处理设备及双目系统 Download PDF

Info

Publication number
CN112614164A
CN112614164A CN202011601689.5A CN202011601689A CN112614164A CN 112614164 A CN112614164 A CN 112614164A CN 202011601689 A CN202011601689 A CN 202011601689A CN 112614164 A CN112614164 A CN 112614164A
Authority
CN
China
Prior art keywords
image
fusion
visible light
thermal imaging
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011601689.5A
Other languages
English (en)
Other versions
CN112614164B (zh
Inventor
金益如
张�浩
唐杰
潘永友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikmicro Sensing Technology Co Ltd
Original Assignee
Hangzhou Hikmicro Sensing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikmicro Sensing Technology Co Ltd filed Critical Hangzhou Hikmicro Sensing Technology Co Ltd
Priority to CN202011601689.5A priority Critical patent/CN112614164B/zh
Publication of CN112614164A publication Critical patent/CN112614164A/zh
Priority to PCT/CN2021/122842 priority patent/WO2022142570A1/zh
Priority to EP21913315.4A priority patent/EP4273794A4/en
Application granted granted Critical
Publication of CN112614164B publication Critical patent/CN112614164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明实施例提供了一种图像融合方法、装置、图像处理设备及双目系统，通过对可见光图像和热成像图像进行配准变换，自动根据配准变换后的可见光图像和热成像图像中的像素点亮度值获得融合亮度值，再根据每个像素点的融合亮度值确定出每个像素点的色彩值，获得能够适应不同环境亮度的融合图像，从而提高了可见光图像与热成像图像的融合效果。

Description

一种图像融合方法、装置、图像处理设备及双目系统
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像融合方法、装置、图像处理设备及双目系统。
背景技术
可见光图像是图像采集设备依据目标物体的光线反射所采集的图像，热成像图像是图像采集设备依据目标物体自身的辐射所采集的图像。可见光图像中含有丰富的细节信息，但易受照明条件、天气等因素影响，尤其在目标物体与背景色度差异较小的情况下，很难区分出目标物体。热成像图像中主要体现的是目标物体的热量信息，能够很好地显示的具有热量的目标物体，受照明条件与恶劣天气的影响较小，但是由于受成像原理的限制，热成像图像的对比度较低，目标物体的细节信息较差。将热成像图像与可见光图像进行融合，可以很好地弥补两种图像的不足，具有非常高的应用价值。
相应技术中，可见光图像和热成像图像的融合包括两种方案，一种是将可见光高频分量与热成像低频分量进行叠加，获得融合结果；一种是将可见光图像和热成像图像中的低频分量进行加权求和得到低频融合分量，然后将低频融合分量与高频分量进行叠加，获得最终的融合结果。
然而，低频分量和高频分量均易受环境亮度影响，导致上述方案得到的融合结果在不同亮度环境下的效果差异较大。
发明内容
本发明实施例的目的在于提供一种图像融合方法、装置、图像处理设备及双目系统，以提高可见光图像与热成像图像的融合效果。具体技术方案如下：
第一方面，本发明实施例提供了一种图像融合方法，该方法包括：
获取待融合的可见光图像和热成像图像；
利用预先获得的配准变换参数，对可见光图像和热成像图像进行配准变换，其中，配准变换是指以一个图像为基准，对另一个图像进行的变换操作；
根据配准变换后的可见光图像和热成像图像中同一位置的像素点在所述配准变换后的可见光图像和热成像图像中的亮度值，以及预先设置的亮度融合策略，确定各位置的融合像素点的融合亮度值；
根据各位置的融合像素点的融合亮度值，以及预先设置的亮度值与色彩值的对应关系，分别确定各所述融合像素点的色彩值，并基于所述融合像素点的色彩值，得到融合图像。
在一种可能的实施方式中，所述配准变换参数的获得方式，包括：
获取至少三个指定目标在可见光图像中的各第一坐标及在热成像图像中的各第二坐标；
根据各第一坐标和各第二坐标，利用预先设置的坐标变换模型，计算得到配准变换参数。
在一种可能的实施方式中，所述获取至少三个指定目标在可见光图像中的各第一坐标及在热成像图像中的各第二坐标，包括：
获取指定目标位于至少三个不同指定位置时的各可见光图像和各热成像图像，其中，采集各可见光图像的可见光镜头和采集各热成像图像的热成像镜头之间的相对位置不变；
确定所述指定目标在各可见光图像中的第一坐标和在各热成像图像中的第二坐标。
在一种可能的实施方式中，所述根据配准变换后的可见光图像和热成像图像中同一位置的像素点在所述配准变换后的可见光图像和热成像图像中的亮度值，以及预先设置的亮度融合策略，确定相应位置的融合像素点的融合亮度值的步骤，包括：
根据配准变换后的可见光图像和热成像图像中同一位置的像素点在所述配准变换后的可见光图像和热成像图像中的亮度值，按照第一预设映射关系，确定相应位置的融合像素点的融合亮度值，其中，所述第一预设映射关系为同一位置的像素点在所述可见光图像中的亮度值和在所述热成像图像中的亮度值与融合亮度值的对应关系。
在一种可能的实施方式中，所述第一预设映射关系中记录的融合亮度值是根据基于预设的权重模型计算得到的权重系数，对同一位置的像素点在所述可见光图像中的亮度值和在所述热成像图像中的亮度值进行加权得到，其中，所述权重模型基于所述可见光图像和所述热成像图像的亮度值大小关系设置。
在一种可能的实施方式中，所述根据各位置的融合像素点的融合亮度值，以及预先设置的亮度值与色彩值的对应关系，分别确定各所述融合像素点的色彩值的步骤，包括：
针对任一位置的融合像素点，基于该位置的融合像素点的融合亮度值，按照第二预设映射关系，确定该融合像素点的色彩值，其中，所述第二预设映射关系为融合亮度值与色彩值的一一对应关系。
第二方面，本发明实施例提供了一种图像融合装置，该装置包括：
获取模块，用于获取待融合的可见光图像和热成像图像；
配准模块，用于利用预先获得的配准变换参数，对可见光图像和热成像图像进行配准变换，其中，配准变换是指以一个图像为基准，对另一个图像进行的变换操作；
融合模块，用于根据配准变换后的可见光图像和热成像图像中同一位置的像素点在所述配准变换后的可见光图像和热成像图像中的亮度值，以及预先设置的亮度融合策略，确定各位置的融合像素点的融合亮度值；
色彩映射模块，用于根据各位置的融合像素点的融合亮度值，以及预先设置的亮度值与色彩值的对应关系，分别确定各所述融合像素点的色彩值，并基于所述融合像素点的色彩值，得到融合图像。
在一种可能的实施方式中，所述装置还包括：
坐标获取模块，用于获取至少三个指定目标在可见光图像中的各第一坐标及在热成像图像中的各第二坐标；
参数获得模块，用根据各第一坐标和各第二坐标，利用预先设置的坐标变换模型，计算得到配准变换参数。
在一种可能的实施方式中，所述坐标获取模块，具体用于：获取指定目标位于至少三个不同指定位置时的各可见光图像和各热成像图像，其中，采集各可见光图像的可见光镜头和采集各热成像图像的热成像镜头之间的相对位置不变；确定所述指定目标在各可见光图像中的第一坐标和在各热成像图像中的第二坐标。
在一种可能的实施方式中，所述融合模块，具体用于：根据配准变换后的可见光图像和热成像图像中同一位置的像素点在所述配准变换后的可见光图像和热成像图像中的亮度值，按照第一预设映射关系，确定相应位置的融合像素点的融合亮度值，其中，所述第一预设映射关系为同一位置的像素点在所述可见光图像中的亮度值和在所述热成像图像中的亮度值与融合亮度值的对应关系。
在一种可能的实施方式中，所述第一预设映射关系中记录的融合亮度值是根据基于预设的权重模型计算得到的权重系数，对同一位置的像素点在所述可见光图像中的亮度值和在所述热成像图像中的亮度值进行加权得到，其中，所述权重模型基于所述可见光图像和所述热成像图像的亮度值大小关系设置。
在一种可能的实施方式中，所述色彩映射模块，具体用于：针对任一位置的融合像素点，基于该位置的融合像素点的融合亮度值，按照第二预设映射关系，确定该融合像素点的色彩值，其中，所述第二预设映射关系为融合亮度值与色彩值的一一对应关系。
第三方面，本发明实施例提供了一种图像处理设备，包括处理器和存储器，其中，存储器存储有能够被处理器执行的机器可执行指令，机器可执行指令由处理器加载并执行，以实现本发明实施例第一方面提供的方法。
第四方面，本发明实施例提供了一种机器可读存储介质，机器可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现本发明实施例第一方面提供的方法。
第五方面，本发明实施例提供了一种双目系统，包括双目相机及图像处理设备；其中，双目相机包括图像传感器及红外传感器；图像传感器，用于采集可见光图像；红外传感器，用于采集热成像图像；
图像处理设备，用于接收双目相机发送的待融合的可见光图像和热成像图像；利用预先获得的配准变换参数，对可见光图像和热成像图像进行配准变换，其中，配准变换是指以一个图像为基准，对另一个图像进行的变换操作；根据配准变换后的可见光图像和热成像图像中同一位置的像素点在所述配准变换后的可见光图像和热成像图像中的亮度值，以及预先设置的亮度融合策略，确定各位置的融合像素点的融合亮度值；根据各位置的融合像素点的融合亮度值，以及预先设置的亮度值与色彩值的对应关系，分别确定各所述融合像素点的色彩值，并基于所述融合像素点的色彩值，得到融合图像。
在一种可能的实施方式中，所述图像处理设备，具体用于：获取至少三个指定目标在可见光图像中的各第一坐标及在热成像图像中的各第二坐标；根据各第一坐标和各第二坐标，利用预先设置的坐标变换模型，计算得到配准变换参数。
在一种可能的实施方式中，所述图像处理设备，具体用于：获取指定目标位于至少三个不同指定位置时的各可见光图像和各热成像图像，其中，采集各可见光图像的可见光镜头和采集各热成像图像的热成像镜头之间的相对位置不变；确定所述指定目标在各可见光图像中的第一坐标和在各热成像图像中的第二坐标。
在一种可能的实施方式中，所述图像处理设备，具体用于：根据配准变换后的可见光图像和热成像图像中同一位置的像素点在所述配准变换后的可见光图像和热成像图像中的亮度值，按照第一预设映射关系，确定相应位置的融合像素点的融合亮度值，其中，所述第一预设映射关系为同一位置的像素点在所述可见光图像中的亮度值和在所述热成像图像中的亮度值与融合亮度值的对应关系。
在一种可能的实施方式中，所述第一预设映射关系中记录的融合亮度值是根据基于预设的权重模型计算得到的权重系数，对同一位置的像素点在所述可见光图像中的亮度值和在所述热成像图像中的亮度值进行加权得到，其中，所述权重模型基于所述可见光图像和所述热成像图像的亮度值大小关系设置。
在一种可能的实施方式中，所述图像处理设备，具体用于：针对任一位置的融合像素点，基于该位置的融合像素点的融合亮度值，按照第二预设映射关系，确定该融合像素点的色彩值，其中，所述第二预设映射关系为融合亮度值与色彩值的一一对应关系。
本发明实施例提供的一种图像融合方法、装置、图像处理设备及双目系统，在获取到待融合的可见光图像和热成像图像后，利用预先获得的配准变换参数，对可见光图像和热成像图像进行配准变换，根据配准变换后的可见光图像和热成像图像中同一位置的像素点在配准变换后的可见光图像和热成像图像中的亮度值，以及预先设置的亮度融合策略，确定各位置的融合像素点的融合亮度值；根据各位置的融合像素点的融合亮度值，以及预先设置的亮度值与色彩值的对应关系，分别确定各融合像素点的色彩值，并基于融合像素点的色彩值，得到融合图像。通过对可见光图像和热成像图像进行配准变换，自动根据配准变换后的可见光图像和热成像图像中的像素点亮度值获得融合亮度值，再根据每个像素点的融合亮度值确定出每个像素点的色彩值，获得能够适应不同环境亮度的融合图像，从而提高了可见光图像与热成像图像的融合效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明实施例的图像融合方法的流程示意图；
图2为本发明实施例的图像处理设备中各模块的交互流程示意图；
图3为本发明实施例的标自动配准模块的执行流程示意图；
图4为本发明实施例的自适应融合系统的执行流程示意图；
图5为本发明实施例的图像融合装置的结构示意图；
图6为本发明实施例的图像处理设备的结构示意图；
图7为本发明实施例的双目系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高可见光图像与热成像图像的融合效果，本发明实施例提供了一种图像融合方法、装置、图像处理设备、机器可读存储介质及双目系统。下面，首先对本发明实施例所提供的图像融合方法进行介绍。
本发明实施例所提供的图像融合方法可以应用于图像处理设备，图像处理设备是指具有图像处理功能的电子设备。实现本发明实施例所提供的图像融合方法的方式可以为设置于图像处理设备中的软件、硬件电路和逻辑电路中的至少一种。
如图1所示，本发明实施例所提供的一种图像融合方法，可以包括如下步骤。
S101，获取待融合的可见光图像和热成像图像。
S102，利用预先获得的配准变换参数，对可见光图像和热成像图像进行配准变换，其中，配准变换是指以一个图像为基准，对另一个图像进行的变换操作。
S103，根据配准变换后的可见光图像和热成像图像中同一位置的像素点在配准变换后的可见光图像和热成像图像中的亮度值，以及预先设置的亮度融合策略，确定各位置的融合像素点的融合亮度值。
S104，根据各位置的融合像素点的融合亮度值，以及预先设置的亮度值与色彩值的对应关系，分别确定各融合像素点的色彩值，并基于融合像素点的色彩值，得到融合图像。
应用本发明实施例，在获取到待融合的可见光图像和热成像图像后，利用预先获得的配准变换参数，对可见光图像和热成像图像进行配准变换，根据配准变换后的可见光图像和热成像图像中同一位置的像素点在配准变换后的可见光图像和热成像图像中的亮度值，以及预先设置的亮度融合策略，确定各位置的融合像素点的融合亮度值；根据各位置的融合像素点的融合亮度值，以及预先设置的亮度值与色彩值的对应关系，分别确定各融合像素点的色彩值，并基于融合像素点的色彩值，得到融合图像。通过对可见光图像和热成像图像进行配准变换，自动根据配准变换后的可见光图像和热成像图像中的像素点亮度值获得融合亮度值，再根据每个像素点的融合亮度值确定出每个像素点的色彩值，获得能够适应不同环境亮度的融合图像，从而提高了可见光图像与热成像图像的融合效果。
待融合的可见光图像和热成像图像可以是一双目相机(包括图像传感器和红外传感器，其中，图像传感器用于采集可见光图像，红外传感器用于采集热成像图像)采集到的，也可以是分布排布的图像传感器和红外传感器对同一监控区域采集到的，当然，还可以是预先采集后存储在数据库中，从数据库中获取到的。
由于图像传感器和红外传感器是两个不同的传感器，所采集到的图像尺寸规则往往不统一，为了更好的对其进行融合，需要对可见光图像和热成像图像先进行配准变换，使得两个图像的尺寸规则统一，其中，配准变换是指以一个图像为基准，利用预先获得的配准变换参数，对另一个图像进行变换操作，例如，以可见光图像为基准，利用配准变换参数对热成像图像进行配准变换，或者，以热成像图像为基准，利用配准变换参数对可见光图像进行配准变换。具体的配准变换包括仿射变换、非线性变换、透视变换、刚体变换等，配准变换参数与图像传感器、红外传感器的安装位置、拍摄参数等相关，可以为变换矩阵。
在本发明实施例的一种实现方式中，配准变换参数的获得方式，具体可以包括如下步骤：
第一步，获取至少三个指定目标在可见光图像中的各第一坐标及在热成像图像中的各第二坐标。
第二步，根据各第一坐标和各第二坐标，利用预先设置的坐标变换模型，计算得到配准变换参数。
可以预先在空间中设置至少三个不同的指定目标(这些指定目标的外形可以相同)，然后利用双目相机拍摄包含这三个指定目标的可见光图像及热成像图像。在可见光图像中分别确定各指定目标的坐标，得到各第一坐标；在热成像图像中分别确定各指定目标的坐标，得到各第二坐标。一个例子中，上述获取至少三个指定目标在可见光图像中的各第一坐标及在热成像图像中的各第二坐标，包括：获取指定目标位于至少三个不同指定位置时的各可见光图像和各热成像图像，其中，采集各可见光图像的可见光镜头和采集各热成像图像的热成像镜头之间的相对位置不变；确定指定目标在各可见光图像中的第一坐标和在各热成像图像中的第二坐标
在确定配准变换参数时，首先需要根据可见光图像和热成像图像对视场中的指定目标(也称为靶标)进行定位，获取指定目标的坐标。具体的，将指定目标(可以是固定形状，例如矩形、正方形、圆形等)放置于固定场景中的不同指定位置(例如左上、左下、右下、右上等)，在可见光图像和热成像图像中确定出指定目标的坐标(具体可以是指定目标的中心点)。目标的中心点的算法可以参见相关技术中的中心点算法，一个例子中，可以通过计算机视觉技术，例如，前景目标与背景分割算法，或基于深度学习模型的目标识别算法等，得到指定目标在可见光图像和热成像图像中的区域，然后对该区域中各像素的横坐标及纵坐标分别取均值，从而得到指定目标的中心点的坐标。在其他可能的实施方式中，也可选取指定目标的关键点(具备明显视觉特征的点，例如多边形的角点，人脸的眼部关键点等)作为指定目标的坐标，关键点的确定方式可以参见相关技术中的关键点确定方式，此处不再赘述。
这样就可以确定出指定目标位于不同位置时的第一坐标(在可见光图像中的坐标)和第二坐标(在热成像图像中的坐标)，例如，指定位置为左上、左下、右上三个位置，则可以获取到三个第一坐标：(x1,y1)、(x2,y2)、(x3,y3)和三个第二坐标：(x1’,y1’)、(x2’,y2’)、(x3’,y3’)。
由于受安装位置、拍摄参数等因素的影响，可见光图像和热成像图像之间有一定的坐标变换关系，具体由坐标变换模型表示，例如，坐标变换模型可以为：
Figure BDA0002871275050000091
其中，θ是指热成像图像和可见光图像之间的角度关系，k为预设系数。根据上述确定出的各第一坐标、各第二坐标，对例如公式(1)所示的坐标变换模型进行求解，即可得到配准变换参数。
在利用配准变换参数，对可见光图像和热成像图像进行配准变换后，需要对可见光图像和热成像图像进行融合，在本发明实施例中，采用亮度值融合的方式，而不是提取可见光图像和热成像图像中的低频分量和高频分量进行融合的方式，通过根据可见光图像和热成像图像的亮度值获得自适应权重的融合策略，使相同物体在不同环境中呈现更好的融合效果，从而可以提高图像融合的适应性。针对配准变换后的可见光图像和热成像图像中的同一位置的像素点，根据该同一位置的像素点分别在配准变换后的可见光图像和热成像图像中的亮度值，以及预先设置的亮度融合策略，确定该位置的融合像素点的融合亮度值。其中，亮度融合策略可以是利用预先设置的融合计算公式(例如直接相加或者加权求和等)对同一位置的像素点在两个图像中的亮度值进行融合，也可以是通过查找预先设置的融合映射表得到融合亮度值。
一种可能的实施方式中，上述根据配准变换后的可见光图像和热成像图像中同一位置的像素点在上述配准变换后的可见光图像和热成像图像中的亮度值，以及预先设置的亮度融合策略，确定相应位置的融合像素点的融合亮度值的步骤，包括：根据配准变换后的可见光图像和热成像图像中同一位置的像素点在上述配准变换后的可见光图像和热成像图像中的亮度值，按照第一预设映射关系，确定相应位置的融合像素点的融合亮度值，其中，上述第一预设映射关系为同一位置的像素点在上述可见光图像中的亮度值和在上述热成像图像中的亮度值与融合亮度值的对应关系。
可选的，预设的权重模型可以表示为：
Figure BDA0002871275050000101
其中，A、B为预设参数，A、B可以根据实际情况自定义设置，并且可根据需要的效果进行调节，j表示可见光图像中相应像素点的亮度值，i表示热成像图像中相应像素点的亮度值。
基于公式(2)的权重模型，可以利用公式(3)计算融合亮度值：
Figure BDA0002871275050000102
其中，num(i,j)的结果即为最终的融合亮度值。
可以理解的是，权重模型也不限于公式(2)的形式，还可以是其他形式的与可见光图像的亮度值和热成像图像的亮度值有关的权重模型，例如，还可以采用差值形式表示，例如A+(j-i)B等；或均值形式表示，例如：(Ai+Bj)/2等；或方差形式表示，例如：
Figure BDA0002871275050000111
等；或采用多项式模型例如Ai+Bj+C、Ai2+Bj2等形式表示，均在本申请的保护范围内。A、B为预设参数，可根据需要的效果进行调节，j表示可见光图像中相应像素点的亮度值，i表示热成像图像中相应像素点的亮度值。
在计算融合亮度值的过程中，所采用的计算方式不限于公式(3)中的距离模型
Figure BDA0002871275050000112
也可以是其他与可见光图像的亮度值和热成像图像的亮度值有关的多项式模型例如ai+bj3等，此时的num(i,j)可以表示为：
Figure BDA0002871275050000113
融合亮度值的计算还采用范数模型例如|i|+|j|等，此时的num(i,j)可以表示为：
Figure BDA0002871275050000114
其中，M1、M2表示j>i及j≤i时对应的权重模型，例如当j>i时权重系数M1可以为A+(j-i)B，当j≤i时权重系数M2可以为A+(i-j)B。其中，a、b为模型的加权系数。
融合亮度值的计算还采用其他相关的模型进行计算，均在本申请的保护范围内。
在本发明实施例的一种实现方式中，为了保留可见光图像中尽可能多的细节信息及热成像图像中的温度分布信息，可以根据可见光图像和热成像图像中同一位置的像素点的亮度值的大小，将可见光图像和热成像图像的亮度值按比例融合。当目标物体在热成像图像中反应出的温度分布信息较小时，该目标物体更可能是背景，则可以通过使该目标物体在热成像图像中的融合权重增大，保留背景细节信息；而当目标物体在热成像图像中反应出的温度分布信息较大时，该目标物体更可能是关注的高温目标，则可以通过使该目标物体在可见光图像中的融合权重增大，保留该目标物体的细节信息。
在实际应用的过程中，如果每个像素点都使用权重模型计算融合亮度值，会给计算资源带来较大的处理压力，因此可以预先利用权重模型计算各种情况下的融合亮度值，并保存为第一预设映射关系。在本发明实施例的另一种实现方式中，S103具体可以为：根据配准变换后的可见光图像和热成像图像中同一位置的像素点在上述配准变换后的可见光图像和热成像图像中的亮度值，按照第一预设映射关系，确定相应位置的融合像素点的融合亮度值，其中，上述第一预设映射关系为同一位置的像素点在上述可见光图像中的亮度值和在上述热成像图像中的亮度值与融合亮度值的对应关系。一个例子中，第一预设映射关系可以为融合映射表，融合映射表中记录有与同一位置的像素点在可见光图像中的亮度值和在热成像图像中的亮度值对应的融合亮度值。
为了避免亮度值融合时的大量计算，提升运行效率，本发明实施例中，可以预先建立一个融合映射表，该融合映射表中记录有与同一位置的像素点在可见光图像中的亮度值和在热成像图像中的亮度值对应的融合亮度值，与同一位置的像素点在可见光图像中的亮度值和在热成像图像中的亮度值对应的融合亮度值可以是利用一些特定算法计算出来的。具体的，假设可见光的亮度值取值范围和热成像的亮度值取值范围均为[0,255]，则融合映射表可以是一个256*256的表格，该表格中的每一个元素记录的是与行号所示的亮度值和列号所示的亮度值对应的融合亮度值。
在具体应用中，在提取出同一位置的像素点在可见光图像中的亮度值yR和在热成像图像中的亮度值yV后，以上述融合映射表为查找表，融合映射表的横坐标表示热成像图像对应的亮度值i，纵坐标表示可见光图像对应的亮度值j，以(i,j)为坐标值，查找该映射表，找到的元素即为融合亮度值。
在本发明实施例的另一种实现方式中，上述第一预设映射关系中记录的融合亮度值是根据基于预设的权重模型计算得到的权重系数，对同一位置的像素点在上述可见光图像中的亮度值和在上述热成像图像中的亮度值进行加权得到，其中，上述权重模型基于上述可见光图像和上述热成像图像的亮度值大小关系设置。
如上述，为了保留可见光图像中尽可能多的细节信息及热成像图像中的温度分布信息，可以根据可见光图像和热成像图像中同一位置的像素点的亮度值所占的权重，来确定融合亮度值，则，第一预设映射关系中记录的融合亮度值具体可以根据基于预设的权重模型得到的预设权重系数对可见光图像的亮度值和热成像图像的亮度值加权得到。
假设同一位置的像素点在可见光图像中的亮度值为j、在热成像图像中的亮度值为i，如果等比例的融合同一位置的像素点在可见光图像中的亮度值和在热成像图像中的亮度值，融合后的融合亮度值为
Figure BDA0002871275050000131
但是，为了自适应融合结果，保留可见光图像中尽可能多的细节信息及热成像图像中的温度分布信息，比较同一位置的像素点在可见光图像中的亮度值和在热成像图像中的亮度值的取值大小，根据这两个亮度值的差值大小及相应的权重系数对亮度值进行融合，此时，可以采用的公式(3)计算得到融合亮度值。
在得到每个像素点的融合亮度值之后，可以根据预先设置的亮度值与色彩值的对应关系，确定出每个像素点的色彩值。色彩值是指在伪色彩空间下的取值，一般为RGB值，每一种色彩值和亮度值单一对应，根据融合亮度值对应到相应的色彩空间中，保留了原始的融合比例，而在此基础上叠加了色彩信息，在亮度值融合之后确定其对应的色彩值，因此，基于每个像素点的色彩值，得到的融合图像中色彩过渡自然，融合图像的效果自然。
在本发明实施例的另一种实现方式中，S104具体可以为：针对任一像素点，基于该像素点的融合亮度值，从预设的伪彩映射表中，查找该像素点的色彩值，其中，伪彩映射表中记录有与亮度值一一对应的色彩值。
为了避免色彩值确定时的大量计算，提升运行效率，本发明实施例中，可以预先建立伪彩映射表，该伪彩映射表中记录有与亮度值一一对应的色彩值，具体的，对融合图像中的每一点(m,n)，融合融合亮度值为yf，假设融合亮度值的取值范围为[0,255]，对应的伪彩映射表中，每个伪彩映射表的向量表示为[1,256,3]，因此，对每个获取的yf值，映射到伪彩映射表中的三通道色彩值(r,g,b)f。
通过上述实施例可知，能够自动化的生成融合图像，无需人工干预，且生成的融合图像色彩过渡自然，且保留了原有的温度变化。
为了便于理解，下面结合具体实例，本发明实施例所提供的图像融合方法进行介绍。在本实施例中，图像融合方法应用于图像处理设备，为了实现图像融合的功能，图像处理设备中主要包括靶标自动配准模块、自适应融合系统和伪彩映射模块，如图2所示，各模块的交互流程为：将热成像图像和可见光图像输入靶标自动配准模块，得到配准变换参数，将配准变换参数输入自适应融合系统得到每个像素点的融合亮度值，再将每个像素点的融合亮度值输入伪彩映射模块，最终输出融合图像。
其中，靶标自动配准模块的执行流程如图3所示，包括：S301，将待测摄像机放到测试工装；S302，根据靶标检测算法，获取靶标在热成像图像和可见光图像中的坐标；S303，求解配准变换参数；S304，根据配准变换参数得到变换后的可见光图像。
具体的，S302具体为：将设计的矩形靶标放置于固定场景中的左上、坐下、右上三个位置，且高度位置均可调，根据摄像机的焦距，放置相应的位置和高度，保证其均位于热成像图像和可见光图像中，利用算法检测热成像图像和可见光图像中的三个矩形框中心点位置，分别得到靶标在热成像图像和可见光图像中的坐标。
S303具体可以为：获取热成像图像中的3个坐标点(x1,y1)、(x2,y2)、(x3,y3)以及可见光图像中的3个坐标点(x1’,y1’)、(x2’,y2’)、(x3’,y3’)，按照仿射变换的性质建立仿射变换模型，仿射变换模型如下：
Figure BDA0002871275050000151
其中，θ是指热成像图像和可见光图像之间的角度关系，k为预设系数，m11、m12、tx、m21、m22、ty为配准变换参数。根据最小二乘法原则拟合计算配准变换参数，计算方法如下：
Figure BDA0002871275050000152
其中，
Figure BDA0002871275050000153
自适应融合系统的执行流程如图4所示，提取出输入的可见光图像、热成像图像各像素点的亮度值，查询融合映射表，查找对应的融合亮度值。融合映射表是基于融合公式建立的，融合公式为：
Figure BDA0002871275050000154
其中，A、B为预设参数，A、B可以根据实际情况自定义设置，并且可根据需要的效果进行调节，num(i,j)的结果即为最终的融合亮度值，同一位置的像素点在可见光图像中的亮度值为j、在热成像图像中的亮度值为i。假设可见光的亮度值取值范围和热成像的亮度值取值范围均为[0,255]，则融合映射表可以是一个256*256的表格，该表格中的每一个元素记录的是与行号所示的亮度值和列号所示的亮度值对应的融合亮度值。在提取出同一位置的像素点在可见光图像中的亮度值yR和在热成像图像中的亮度值yV后，以上述融合映射表为查找表，融合映射表的横坐标表示热成像图像对应的亮度值i，纵坐标表示可见光图像对应的亮度值j，以(i,j)为坐标值，查找该映射表，找到的元素即为融合亮度值num(i,j)。
在获取了每个像素点的融合亮度值后，由于伪彩色彩空间中的色彩值与亮度值一一对应，根据融合亮度值对应到相应的色彩空间中，保留了原始的融合比例，而在此基础上叠加了色彩信息，在亮度值融合之后确定其对应的色彩值，因此，基于每个像素点的色彩值，得到的融合图像中色彩过渡自然，融合图像的效果自然。具体的，对融合图像中的每一点(m,n)，融合融合亮度值为yf，假设融合亮度值的取值范围为[0,255]，对应的伪彩映射表中，每个伪彩映射表的向量表示为[1,256,3]，因此，对每个获取的yf值，映射到伪彩映射表中的三通道色彩值(r,g,b)f。
本实施例中，通过固定靶标的形式，自动利用配准变换获取配准变换参数，在经过配准变换后，自动根据可见光和热成像通道的亮度值获得自适应的融合亮度值，再将融合亮度值直接映射到不同的色彩空间中，获得色彩过渡自然，温度分布保持，细节丰富的融合图像。
相应于上述方法实施例，本发明实施例提供了一种图像融合装置，如图5所示，该装置可以包括：
获取模块510，用于获取待融合的可见光图像和热成像图像；
配准模块520，用于利用预先获得的配准变换参数，对可见光图像和热成像图像进行配准变换，其中，配准变换是指以一个图像为基准，对另一个图像进行的变换操作；
融合模块530，用于根据配准变换后的可见光图像和热成像图像中同一位置的像素点在所述配准变换后的可见光图像和热成像图像中的亮度值，以及预先设置的亮度融合策略，确定各位置的融合像素点的融合亮度值；
色彩映射模块540，用于根据各位置的融合像素点的融合亮度值，以及预先设置的亮度值与色彩值的对应关系，分别确定各所述融合像素点的色彩值，并基于所述融合像素点的色彩值，得到融合图像。
在一种可能的实施方式中，所述装置还包括：
坐标获取模块，用于获取至少三个指定目标在可见光图像中的各第一坐标及在热成像图像中的各第二坐标；
参数获得模块，用根据各第一坐标和各第二坐标，利用预先设置的坐标变换模型，计算得到配准变换参数。
在一种可能的实施方式中，所述坐标获取模块，具体用于：获取指定目标位于至少三个不同指定位置时的各可见光图像和各热成像图像，其中，采集各可见光图像的可见光镜头和采集各热成像图像的热成像镜头之间的相对位置不变；确定所述指定目标在各可见光图像中的第一坐标和在各热成像图像中的第二坐标。
在一种可能的实施方式中，所述融合模块，具体用于：根据配准变换后的可见光图像和热成像图像中同一位置的像素点在所述配准变换后的可见光图像和热成像图像中的亮度值，按照第一预设映射关系，确定相应位置的融合像素点的融合亮度值，其中，所述第一预设映射关系为同一位置的像素点在所述可见光图像中的亮度值和在所述热成像图像中的亮度值与融合亮度值的对应关系。
在一种可能的实施方式中，所述第一预设映射关系中记录的融合亮度值是根据基于预设的权重模型计算得到的权重系数，对同一位置的像素点在所述可见光图像中的亮度值和在所述热成像图像中的亮度值进行加权得到，其中，所述权重模型基于所述可见光图像和所述热成像图像的亮度值大小关系设置。
在一种可能的实施方式中，所述色彩映射模块，具体用于：针对任一位置的融合像素点，基于该位置的融合像素点的融合亮度值，按照第二预设映射关系，确定该融合像素点的色彩值，其中，所述第二预设映射关系为融合亮度值与色彩值的一一对应关系。
应用本发明实施例，通过对可见光图像和热成像图像进行配准变换，自动根据配准变换后的可见光图像和热成像图像中的像素点亮度值获得融合亮度值，再根据每个像素点的融合亮度值确定出每个像素点的色彩值，获得能够适应不同环境的融合图像，从而提高了可见光图像与热成像图像的融合效果。
本发明实施例提供了一种图像处理设备，如图6所示，包括处理器601和存储器602，其中，存储器602存储有能够被处理器601执行的机器可执行指令，机器可执行指令由处理器601加载并执行，以实现本发明实施例提供的图像融合方法。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(ApplicationSpecific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器602与处理器601之间可以通过有线连接或者无线连接的方式进行数据传输，并且图像处理设备与其他设备之间可以通过有线通信接口或者无线通信接口进行通信。图6所示的仅为通过总线进行数据传输的示例，不作为具体连接方式的限定。
应用本发明实施例，通过对可见光图像和热成像图像进行配准变换，自动根据配准变换后的可见光图像和热成像图像中的像素点亮度值获得融合亮度值，再根据每个像素点的融合亮度值确定出每个像素点的色彩值，获得能够适应不同环境的融合图像，从而提高了可见光图像与热成像图像的融合效果。
在本发明提供的又一实施例中，还提供了一种机器可读存储介质，机器可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现本发明实施例提供的图像融合方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当该计算机程序产品在平台服务器上运行时，使得平台服务器执行本发明实施例所提供的图像融合方法。
本发明实施例还提供了一种双目系统，如图7所示，包括双目相机710及图像处理设备720；其中，双目相机710包括图像传感器711及红外传感器712；图像传感器711，用于采集可见光图像；红外传感器712，用于采集热成像图像；
图像处理设备720，用于接收双目相机710发送的待融合的可见光图像和热成像图像；利用预先获得的配准变换参数，对可见光图像和热成像图像进行配准变换，其中，配准变换是指以一个图像为基准，对另一个图像进行的变换操作；根据配准变换后的可见光图像和热成像图像中同一位置的像素点在上述配准变换后的可见光图像和热成像图像中的亮度值，以及预先设置的亮度融合策略，确定各位置的融合像素点的融合亮度值；根据各位置的融合像素点的融合亮度值，以及预先设置的亮度值与色彩值的对应关系，分别确定各上述融合像素点的色彩值，并基于上述融合像素点的色彩值，得到融合图像。
在一种可能的实施方式中，所述图像处理设备，具体用于：获取至少三个指定目标在可见光图像中的各第一坐标及在热成像图像中的各第二坐标；根据各第一坐标和各第二坐标，利用预先设置的坐标变换模型，计算得到配准变换参数。
在一种可能的实施方式中，所述图像处理设备，具体用于：获取指定目标位于至少三个不同指定位置时的各可见光图像和各热成像图像，其中，采集各可见光图像的可见光镜头和采集各热成像图像的热成像镜头之间的相对位置不变；确定所述指定目标在各可见光图像中的第一坐标和在各热成像图像中的第二坐标。
在一种可能的实施方式中，所述图像处理设备，具体用于：根据配准变换后的可见光图像和热成像图像中同一位置的像素点在所述配准变换后的可见光图像和热成像图像中的亮度值，按照第一预设映射关系，确定相应位置的融合像素点的融合亮度值，其中，所述第一预设映射关系为同一位置的像素点在所述可见光图像中的亮度值和在所述热成像图像中的亮度值与融合亮度值的对应关系。
在一种可能的实施方式中，所述第一预设映射关系中记录的融合亮度值是根据基于预设的权重模型计算得到的权重系数，对同一位置的像素点在所述可见光图像中的亮度值和在所述热成像图像中的亮度值进行加权得到，其中，所述权重模型基于所述可见光图像和所述热成像图像的亮度值大小关系设置。
在一种可能的实施方式中，所述图像处理设备，具体用于：针对任一位置的融合像素点，基于该位置的融合像素点的融合亮度值，按照第二预设映射关系，确定该融合像素点的色彩值，其中，所述第二预设映射关系为融合亮度值与色彩值的一一对应关系。
一个例子中，图像处理设备还可以实现本发明中任一所述的图像融合方法。
应用本发明实施例，通过对可见光图像和热成像图像进行配准变换，自动根据配准变换后的可见光图像和热成像图像中的像素点亮度值获得融合亮度值，再根据每个像素点的融合亮度值确定出每个像素点的色彩值，获得能够适应不同环境的融合图像，从而提高了可见光图像与热成像图像的融合效果。
对于装置、图像处理器、机器可读存储介质、计算机程序产品及双目系统实施例而言，由于其涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、DSL(Digital Subscriber Line，数字用户线))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD(DigitalVersatile Disc，数字多功能光盘))、或者半导体介质(例如SSD(Solid State Disk，固态硬盘))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、图像处理器、机器可读存储介质、计算机程序产品及双目系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (14)

1.一种图像融合方法，其特征在于，所述方法包括：
获取待融合的可见光图像和热成像图像；
利用预先获得的配准变换参数，对所述可见光图像和所述热成像图像进行配准变换，其中，所述配准变换是指以一个图像为基准，对另一个图像进行的变换操作；
根据配准变换后的可见光图像和热成像图像中同一位置的像素点在所述配准变换后的可见光图像和热成像图像中的亮度值，以及预先设置的亮度融合策略，确定相应位置的融合像素点的融合亮度值；
根据各位置的融合像素点的融合亮度值，以及预先设置的亮度值与色彩值的对应关系，分别确定各所述融合像素点的色彩值，并基于所述融合像素点的色彩值，得到融合图像。
2.根据权利要求1所述的方法，其特征在于，所述配准变换参数的获得方式，包括：
获取至少三个指定目标在可见光图像中的各第一坐标及在热成像图像中的各第二坐标；
根据各第一坐标和各第二坐标，利用预先设置的坐标变换模型，计算得到配准变换参数。
3.根据权利要求2所述的方法，其特征在于，所述获取至少三个指定目标在可见光图像中的各第一坐标及在热成像图像中的各第二坐标，包括：
获取指定目标位于至少三个不同指定位置时的各可见光图像和各热成像图像，其中，采集各可见光图像的可见光镜头和采集各热成像图像的热成像镜头之间的相对位置不变；
确定所述指定目标在各可见光图像中的第一坐标和在各热成像图像中的第二坐标。
4.根据权利要求1所述的方法，其特征在于，所述根据配准变换后的可见光图像和热成像图像中同一位置的像素点在所述配准变换后的可见光图像和热成像图像中的亮度值，以及预先设置的亮度融合策略，确定相应位置的融合像素点的融合亮度值的步骤，包括：
根据配准变换后的可见光图像和热成像图像中同一位置的像素点在所述配准变换后的可见光图像和热成像图像中的亮度值，按照第一预设映射关系，确定相应位置的融合像素点的融合亮度值，其中，所述第一预设映射关系为同一位置的像素点在所述可见光图像中的亮度值和在所述热成像图像中的亮度值与融合亮度值的对应关系。
5.根据权利要求4所述的方法，其特征在于，所述第一预设映射关系中记录的融合亮度值是根据基于预设的权重模型计算得到的权重系数，对同一位置的像素点在所述可见光图像中的亮度值和在所述热成像图像中的亮度值进行加权得到，其中，所述权重模型基于所述可见光图像和所述热成像图像的亮度值大小关系设置。
6.根据权利要求1所述的方法，其特征在于，所述根据各位置的融合像素点的融合亮度值，以及预先设置的亮度值与色彩值的对应关系，分别确定各所述融合像素点的色彩值的步骤，包括：
针对任一位置的融合像素点，基于该位置的融合像素点的融合亮度值，按照第二预设映射关系，确定该融合像素点的色彩值，其中，所述第二预设映射关系为融合亮度值与色彩值的一一对应关系。
7.一种图像融合装置，其特征在于，所述装置包括：
获取模块，用于获取待融合的可见光图像和热成像图像；
配准模块，用于利用预先获得的配准变换参数，对所述可见光图像和所述热成像图像进行配准变换，其中，所述配准变换是指以一个图像为基准，对另一个图像进行的变换操作；
融合模块，用于根据配准变换后的可见光图像和热成像图像中同一位置的像素点在所述配准变换后的可见光图像和热成像图像中的亮度值，以及预先设置的亮度融合策略，确定各位置的融合像素点的融合亮度值；
色彩映射模块，用于根据各位置的融合像素点的融合亮度值，以及预先设置的亮度值与色彩值的对应关系，分别确定各所述融合像素点的色彩值，并基于所述融合像素点的色彩值，得到融合图像。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
坐标获取模块，用于获取至少三个指定目标在可见光图像中的各第一坐标及在热成像图像中的各第二坐标；
参数获得模块，用根据各第一坐标和各第二坐标，利用预先设置的坐标变换模型，计算得到配准变换参数。
9.根据权利要求8所述的装置，其特征在于，所述坐标获取模块，具体用于：获取指定目标位于至少三个不同指定位置时的各可见光图像和各热成像图像，其中，采集各可见光图像的可见光镜头和采集各热成像图像的热成像镜头之间的相对位置不变；确定所述指定目标在各可见光图像中的第一坐标和在各热成像图像中的第二坐标。
10.根据权利要求7所述的装置，其特征在于，所述融合模块，具体用于：
根据配准变换后的可见光图像和热成像图像中同一位置的像素点在所述配准变换后的可见光图像和热成像图像中的亮度值，按照第一预设映射关系，确定相应位置的融合像素点的融合亮度值，其中，所述第一预设映射关系为同一位置的像素点在所述可见光图像中的亮度值和在所述热成像图像中的亮度值与融合亮度值的对应关系。
11.根据权利要求10所述的装置，其特征在于，所述第一预设映射关系中记录的融合亮度值是根据基于预设的权重模型计算得到的权重系数，对同一位置的像素点在所述可见光图像中的亮度值和在所述热成像图像中的亮度值进行加权得到，其中，所述权重模型基于所述可见光图像和所述热成像图像的亮度值大小关系设置。
12.根据权利要求7所述的装置，其特征在于，所述色彩映射模块，具体用于：针对任一位置的融合像素点，基于该位置的融合像素点的融合亮度值，按照第二预设映射关系，确定该融合像素点的色彩值，其中，所述第二预设映射关系为融合亮度值与色彩值的一一对应关系。
13.一种图像处理设备，其特征在于，包括处理器和存储器，其中，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述机器可执行指令由所述处理器加载并执行，以实现权利要求1-6任一项所述的方法。
14.一种双目系统，其特征在于，包括双目相机及图像处理设备；所述双目相机包括图像传感器及红外传感器；所述图像传感器，用于采集可见光图像；所述红外传感器，用于采集热成像图像；
所述图像处理设备，用于接收所述双目相机发送的待融合的可见光图像和热成像图像；利用预先获得的配准变换参数，对所述可见光图像和所述热成像图像进行配准变换，其中，所述配准变换是指以一个图像为基准，对另一个图像进行的变换操作；根据配准变换后的可见光图像和热成像图像中同一位置的像素点在所述配准变换后的可见光图像和热成像图像中的亮度值，以及预先设置的亮度融合策略，确定各位置的融合像素点的融合亮度值；根据各位置的融合像素点的融合亮度值，以及预先设置的亮度值与色彩值的对应关系，分别确定各所述融合像素点的色彩值，并基于所述融合像素点的色彩值，得到融合图像。
CN202011601689.5A 2020-12-30 2020-12-30 一种图像融合方法、装置、图像处理设备及双目系统 Active CN112614164B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011601689.5A CN112614164B (zh) 2020-12-30 2020-12-30 一种图像融合方法、装置、图像处理设备及双目系统
PCT/CN2021/122842 WO2022142570A1 (zh) 2020-12-30 2021-10-09 一种图像融合方法、装置、图像处理设备及双目系统
EP21913315.4A EP4273794A4 (en) 2020-12-30 2021-10-09 IMAGE FUSION METHOD AND APPARATUS, IMAGE PROCESSING DEVICE AND BINOCULAR SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011601689.5A CN112614164B (zh) 2020-12-30 2020-12-30 一种图像融合方法、装置、图像处理设备及双目系统

Publications (2)

Publication Number Publication Date
CN112614164A true CN112614164A (zh) 2021-04-06
CN112614164B CN112614164B (zh) 2024-10-11

Family

ID=75249013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011601689.5A Active CN112614164B (zh) 2020-12-30 2020-12-30 一种图像融合方法、装置、图像处理设备及双目系统

Country Status (3)

Country Link
EP (1) EP4273794A4 (zh)
CN (1) CN112614164B (zh)
WO (1) WO2022142570A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095321A (zh) * 2021-04-22 2021-07-09 武汉菲舍控制技术有限公司 一种带式输送机的滚轮轴承测温及故障预警方法及装置
WO2022142570A1 (zh) * 2020-12-30 2022-07-07 杭州海康微影传感科技有限公司 一种图像融合方法、装置、图像处理设备及双目系统
CN116895094A (zh) * 2023-09-11 2023-10-17 杭州魔点科技有限公司 一种基于双目融合的暗环境成像方法、系统、装置及介质
WO2024007177A1 (zh) * 2022-07-04 2024-01-11 优利德科技(中国)股份有限公司 基于边缘特征的图像融合方法、装置、用户终端及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116090094B (zh) * 2022-12-27 2024-06-04 武汉理工大学 一种基于红外热成像的船体热模型建立方法、装置及设备
CN118229555B (zh) * 2024-05-23 2024-07-23 山东威高集团医用高分子制品股份有限公司 一种图像融合方法、装置、设备及计算机可读存储介质
CN118470465A (zh) * 2024-07-08 2024-08-09 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 图像处理模型训练方法及处理方法、系统、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN108765358A (zh) * 2018-05-22 2018-11-06 烟台艾睿光电科技有限公司 可见光和红外光的双光融合方法以及插件式热像仪系统
CN110363732A (zh) * 2018-04-11 2019-10-22 杭州海康威视数字技术股份有限公司 一种图像融合方法及其装置
CN111738970A (zh) * 2020-06-19 2020-10-02 无锡英菲感知技术有限公司 图像融合方法、装置及计算机可读存储介质
US20200342275A1 (en) * 2018-12-04 2020-10-29 SZ DJI Technology Co., Ltd. Target-image acquisition method, photographing device, and unmanned aerial vehicle

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443776A (zh) * 2019-08-07 2019-11-12 中国南方电网有限责任公司超高压输电公司天生桥局 一种基于无人机吊舱的数据配准融合方法
CN112614164B (zh) * 2020-12-30 2024-10-11 杭州海康微影传感科技有限公司 一种图像融合方法、装置、图像处理设备及双目系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548467A (zh) * 2016-10-31 2017-03-29 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN110363732A (zh) * 2018-04-11 2019-10-22 杭州海康威视数字技术股份有限公司 一种图像融合方法及其装置
CN108765358A (zh) * 2018-05-22 2018-11-06 烟台艾睿光电科技有限公司 可见光和红外光的双光融合方法以及插件式热像仪系统
US20200342275A1 (en) * 2018-12-04 2020-10-29 SZ DJI Technology Co., Ltd. Target-image acquisition method, photographing device, and unmanned aerial vehicle
CN111738970A (zh) * 2020-06-19 2020-10-02 无锡英菲感知技术有限公司 图像融合方法、装置及计算机可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022142570A1 (zh) * 2020-12-30 2022-07-07 杭州海康微影传感科技有限公司 一种图像融合方法、装置、图像处理设备及双目系统
CN113095321A (zh) * 2021-04-22 2021-07-09 武汉菲舍控制技术有限公司 一种带式输送机的滚轮轴承测温及故障预警方法及装置
WO2024007177A1 (zh) * 2022-07-04 2024-01-11 优利德科技(中国)股份有限公司 基于边缘特征的图像融合方法、装置、用户终端及介质
CN116895094A (zh) * 2023-09-11 2023-10-17 杭州魔点科技有限公司 一种基于双目融合的暗环境成像方法、系统、装置及介质
CN116895094B (zh) * 2023-09-11 2024-01-30 杭州魔点科技有限公司 一种基于双目融合的暗环境成像方法、系统、装置及介质

Also Published As

Publication number Publication date
EP4273794A4 (en) 2024-06-19
EP4273794A1 (en) 2023-11-08
CN112614164B (zh) 2024-10-11
WO2022142570A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
CN112614164B (zh) 一种图像融合方法、装置、图像处理设备及双目系统
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
US11398053B2 (en) Multispectral camera external parameter self-calibration algorithm based on edge features
EP2194725B1 (en) Method and apparatus for correcting a depth image
CN112102409B (zh) 目标检测方法、装置、设备及存储介质
CN106327461B (zh) 一种用于监测的图像处理方法及装置
WO2021259365A1 (zh) 一种目标测温方法、装置及测温系统
CN110910456B (zh) 基于Harris角点互信息匹配的立体相机动态标定方法
CN109934873B (zh) 标注图像获取方法、装置及设备
CN111787303A (zh) 三维图像的生成方法、装置、存储介质及计算机设备
CN105139401A (zh) 一种深度图中深度的可信度的评估方法
CN112730251B (zh) 一种用于屏幕颜色缺陷检测的装置及方法
CN104065863A (zh) 图像处理方法及处理装置
CN116310678A (zh) 固态激光雷达与热成像视觉融合的火源识别及定位方法
TWI848251B (zh) 圖像增強方法和圖像增強裝置
CN113379812B (zh) 异常像素的滤除方法及设备
CN110910379A (zh) 一种残缺检测方法及装置
CN112233161B (zh) 手部图像深度确定方法、装置、电子设备及存储介质
TWI738406B (zh) 物體偵測裝置及方法
CN115035168B (zh) 基于多约束的光伏面板多源图像配准方法、装置及系统
CN113766203A (zh) 一种图像白平衡处理方法
CN108269278B (zh) 一种场景建模的方法及装置
CN115620079A (zh) 样本标签的获取方法和镜头失效检测模型的训练方法
CN114067267A (zh) 一种基于地理视频的搏斗行为检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant