CN114399450A - 图像融合方法、目标特征识别方法、装置和电子设备 - Google Patents

图像融合方法、目标特征识别方法、装置和电子设备 Download PDF

Info

Publication number
CN114399450A
CN114399450A CN202111509547.0A CN202111509547A CN114399450A CN 114399450 A CN114399450 A CN 114399450A CN 202111509547 A CN202111509547 A CN 202111509547A CN 114399450 A CN114399450 A CN 114399450A
Authority
CN
China
Prior art keywords
image
fusion
target
region
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111509547.0A
Other languages
English (en)
Inventor
李潇
张东
邵一轶
卢二利
况璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111509547.0A priority Critical patent/CN114399450A/zh
Publication of CN114399450A publication Critical patent/CN114399450A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像融合方法、目标特征识别方法、装置和电子设备，图像融合方法包括：获取可见光图像和红外图像；对所述可见光图像进行目标识别，确定至少一个第一区域；对所述红外图像进行目标识别，确定至少一个第二区域；对所述可见光图像的第一区域和所述红外图像的第二区域进行区域同步，确定目标区域和非目标区域；对所述可见光图像和所述红外图像进行区域融合，在区域融合过程中基于第一融合方式融合所述目标区域，基于第二融合方式融合所述非目标区域，得到融合图像。通过本申请，不仅提高了目标区域的融合图像质量，也能避免非目标区域的颜色特征损失，提高了后续融合图像的目标特征识别率。

Description

图像融合方法、目标特征识别方法、装置和电子设备
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像融合方法、目标特征识别方法、装置和电子设备。
背景技术
图像融合是将来源于同一场景，且性质不同的两幅或多幅图像融合成一幅信息更完整、全面的图像，以便后续的图像分析、目标识别和跟踪。
随着安防市场不断扩张，面对不同目标、用户需求、多样的场景以及智能抓拍目标适应性提高，行业内主要是通过对不同场景，来对应不同图像参数以及程序逻辑来调整图像融合效果。然而现有的融合算法不具有目标性，区域划分不够精准，容易导致图像融合后目标的局部色彩丢失，导致后续目标特征智能识别错误，降低了识别率。
发明内容
本申请实施例提供了一种图像融合方法、目标特征识别方法、装置和电子设备，以至少解决相关技术中图像融合后识别率低的问题。
第一方面，本申请实施例提供了一种图像融合方法，包括：
获取可见光图像和红外图像；
对所述可见光图像进行目标识别，确定至少一个第一区域；
对所述红外图像进行目标识别，确定至少一个第二区域；
对所述可见光图像的第一区域和所述红外图像的第二区域进行区域同步，确定目标区域和非目标区域；
对所述可见光图像和所述红外图像进行区域融合，在区域融合过程中基于第一融合方式融合所述目标区域，基于第二融合方式融合所述非目标区域，得到融合图像。
在其中一些实施例中，获取红外图像包括：
识别拍摄目标对应的目标类型；
基于所述目标类型和预设的先验拍摄索引，确定对应所述拍摄目标的红外补光波段；
基于所述红外补光波段获取所述拍摄目标对应的红外图像。
在其中一些实施例中，对所述可见光图像的第一区域和所述红外图像的第二区域进行区域同步，确定目标区域和非目标区域包括：
对所述可见光图像和所述红外图像进行数据帧同步处理；
基于数据帧同步处理后所述可见光图像的第一区域和所述红外图像的第二区域的坐标信息，对所述第一区域和所述第二区域进行相互映射，得到目标区域；
根据所述目标区域，确定非目标区域。
在其中一些实施例中，所述第一融合方式对应的融合比例小于所述第二融合方式对应的融合比例，所述融合比例为可见光图像与红外图像的像素值融合比。
在其中一些实施例中，所述在区域融合过程中基于第一融合方式融合所述目标区域包括：
获取所述目标区域对应的目标类型；
基于所述目标类型和预设的先验融合索引，确定对应所述目标区域的第一融合比例；
基于所述第一融合比例进行目标区域融合。
在其中一些实施例中，所述在区域融合过程中基于第二融合方式融合所述非目标区域包括：
确定所述非目标区域对应的第二融合比例；
基于所述第二融合比例进行非目标区域融合。
第二方面，本申请实施例提供了一种目标特征识别方法，包括：
基于上述第一方面所述的图像融合方法进行图像融合，确定融合图像；
基于所述融合图像进行目标特征识别。
第三方面，本申请实施例提供了一种图像融合装置，包括：
图像获取单元，用于获取可见光图像和红外图像；
第一区域确定单元，用于取对所述可见光图像进行目标识别，确定至少一个第一区域；
第二区域确定单元，用于对所述红外图像进行目标识别，确定至少一个第二区域；
区域同步单元，用于对所述可见光图像的第一区域和所述红外图像的第二区域进行区域同步，确定目标区域和非目标区域；
图像融合单元，用于对所述可见光图像和所述红外图像进行区域融合，在区域融合过程中基于第一融合方式融合所述目标区域，基于第二融合方式融合所述非目标区域，得到融合图像。
第四方面，本申请实施例提供了一种目标特征识别装置，包括：
融合图像确定单元，用于基于上述第一方面所述的图像融合方法进行图像融合，确定融合图像；
目标特征识别单元，用于基于所述融合图像进行目标特征识别。
第五方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的图像融合方法或上述第二方面所述的目标特征识别方法。
相比于相关技术，本申请实施例提供的图像融合方法、目标特征识别方法、装置和电子设备，通过对所述可见光图像进行目标识别，确定至少一个第一区域；对所述红外图像进行目标识别，确定至少一个第二区域；对所述可见光图像的第一区域和所述红外图像的第二区域进行区域同步，确定目标区域和非目标区域；对所述可见光图像和所述红外图像进行区域融合，在区域融合过程中基于第一融合方式融合所述目标区域，基于第二融合方式融合所述非目标区域，得到融合图像，从而以智能目标识别为切入点，巧妙地利用了目标识别得到的区域特性进行区域划分，不仅提高了目标区域的融合图像质量，也能避免非目标区域的颜色特征损失，提高了后续融合图像的目标特征识别率。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请其中一个实施例中图像融合方法的流程示意图；
图2是本申请其中一个实施例中获取红外图像的流程示意图；
图3是本申请其中一个实施例中确定目标区域和非目标区域的流程示意图；
图4是本申请其中一个实施例中在区域融合过程中基于第一融合方式融合所述目标区域的流程示意图；
图5是本申请其中一个实施例中图像融合装置的结构框图；
图6是本申请其中一个实施例中目标特征识别装置的结构框图；
图7是本申请其中一个实施例中电子设备的结构示意图。
附图说明：301、图像获取单元；302、第一区域确定单元；303、第二区域确定单元；304、区域同步单元；305、图像融合单元；401、融合图像确定单元；402、目标特征识别单元；50、总线；51、处理器；52、存储器；53、通信接口。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
图像融合技术是由信息融合发展而来的，是一种先进的综合多个源图像的图像处理技术。其中，多源图像融合是对多个传感器采集到的关于同一场景或目标的多个源图像进行适当的融合处理，以获取同一场景的更为准确、更为全面、可靠的图像描述。一般情况下，由于受照明、环境条件、目标状态、目标位置以及传感器固有特性等因素的影响，不同传感器之间获取的图像信息是不同的，同一传感器不同时间、不同位置获取的图像信息也不同。图像融合能够充分利用多个待融合图像中包含的冗余信息和互补信息，依据一定的融合算法合成一幅满足某些需要的新图像，该融合图像更符合人或机器的视觉特性，以利于对图像的进一步分析、目标的检测、识别或跟踪。
本实施例提供的图像融合方法可以应用于任何同视角或不同视角的红外图像与可见光图像的融合过程中，本申请并不限定。下面以单帧融合图像的获取步骤为例进行说明。
本实施例提供了一种图像融合方法，可以应用于电子设备。图1是根据本申请实施例的图像融合方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，获取可见光图像和红外图像。
在本实施例中，所述电子设备可以是图像采集设备；也可以是不具有图像采集功能，但通信连接于图像采集设备的图像处理设备，其可以接收并处理由图像采集设备采集的图像。
在本实施例中，图像采集设备包括但不限于摄像机。具体的，可以通过可见光相机获取可见光图像，通过红外相机获取红外图像；也可以由红外热像仪等设备同时获取红外图像和可见光图像。本实施例中获取红外图像和可见光图像的方法可采用现有技术中相同的方式，在此就不再赘述。
步骤S102，对所述可见光图像进行目标识别，确定至少一个第一区域。
步骤S103，对所述红外图像进行目标识别，确定至少一个第二区域。
在本实施例中，需要对可见光图像和红外图像进行区域划分，以在图像融合过程中，分别对可见光图像和红外图像各个不同区域进行融合。
在本实施例中，可以通过对可见光图像进行目标识别，确定目标对象所在的第一区域。可选的，所述第一区域标识目标对象所在可见光图像中的矩形区域，可通过标注工具标定得到，该矩形区域覆盖所述目标对象。更为优选地，所述第一区域通过对识别得到的目标对象进行边缘检测，遍历图像上的每一个像素点，将所有检测得到的边缘点进行连接得到，本实施例在此并不限定。具体的，可以采用基于机器视觉的目标识别、基于深度学习的目标识别等，根据实际需要可以选用适合的目标检测算法，提高目标识别的准确率和识别效率。通过目标识别结果进行区域的智能划分，使第一区域的划分结果更加精准，可以最大程度地保留目标对象完整的颜色特征和纹理特征，提高图像融合效果，从而降低融合图像的特征提取难度。在一些实施例中，当识别所述可见光图像得到一个目标对象时，可以确定一个对应的第一区域；在其他实施例中，当识别所述可见光图像得到两个及以上的目标对象时，可以确定多个对应的第一区域。
同理，通过对红外图像进行目标识别，确定目标对象所在的第二区域。
步骤S104，对所述可见光图像的第一区域和所述红外图像的第二区域进行区域同步，确定目标区域和非目标区域。
在本实施例中，可以通过对可见光图像和红外图像进行配准，实现第一区域和第二区域的匹配，配准方式可以采用标定法、特征点法等。当区域同步后，在可见光图像中，目标区域即为第一区域，非目标区域即为其他区域；在红外图像中，目标区域即为第二区域，非目标区域即为其他区域。
步骤S105，对所述可见光图像和所述红外图像进行区域融合，在区域融合过程中基于第一融合方式融合所述目标区域，基于第二融合方式融合所述非目标区域，得到融合图像。
由于红外图像可以记录拍摄目标的红外辐射信息，红外图像对热目标的探测性能较好，但其对背景的亮度变化不敏感，成像分辨率低，不利于人眼判读。可见光图像分辨率较高，能够提供全面的边缘纹理和细节信息，但是对目标信息不敏感。
在本实施例中，通过对目标区域和非目标区域采用不同的融合方式进行区域融合，可以充分利用可见光和红外不同的工作特性，互为补充，提高目标区域的图像融合质量。
综上，本申请实施例提供的图像融合方法、目标特征识别方法、装置和电子设备，通过对所述可见光图像进行目标识别，确定至少一个第一区域；对所述红外图像进行目标识别，确定至少一个第二区域；对所述可见光图像的第一区域和所述红外图像的第二区域进行区域同步，确定目标区域和非目标区域；对所述可见光图像和所述红外图像进行区域融合，在区域融合过程中基于第一融合方式融合所述目标区域，基于第二融合方式融合所述非目标区域，得到融合图像，从而以智能目标识别为切入点，巧妙地利用了目标识别得到的区域特性进行区域划分，不仅提高了目标区域的融合图像质量，也能避免非目标区域的颜色特征损失，提高了后续融合图像的目标特征识别率。
下面通过优选实施例对本申请实施例进行描述和说明。
如图2所示，在上述实施例的基础上，在其中一些实施例中，获取红外图像包括：
步骤S1011，识别拍摄目标对应的目标类型。
在本实施例中，在不同的拍摄场景下，拍摄目标不尽相同。拍摄目标对应的目标类型包括但不限于人脸、车辆、车牌、动物、建筑、植物等。目标类型识别方法可采用现有技术，本申请在此不做赘述。
步骤S1012，基于所述目标类型和预设的先验拍摄索引，确定对应所述拍摄目标的红外补光波段。
在本实施例中，不同的目标类型对应不同的材料表面，不同的材料表面对不同波长的红外线具有不同的透过率、折射率和色散，因此在不同的红外波段下具有不同的红外反射效果。通过先验拍摄索引可以建立对应不同目标类型相匹配的红外补光波段，从而根据目标类型和预设的先验拍摄索引，可以自动确定对应所述拍摄目标的红外补光波段。其中，先验拍摄索引可以基于大量调研数据、实验数据建立得到。可以理解，对应不同目标类型匹配的红外补光波段可以是反射效果最优的波长值，也可以是较优波段区间，本申请在此并不限定。
示例性地，在a波段(750nm)车牌的字体和背景能够明显区分，在b波段(850nm)人脸的灰度表现更有层次感。对应的，先验拍摄索引包括：目标类型车辆对应的红外补光波段为a波段(750nm)；目标类型人脸对应的红外补光波段为b波段(850nm)。
步骤S1013，基于所述红外补光波段获取所述拍摄目标对应的红外图像。
在本实施例中，根据拍摄目标对应的目标类型，确定对应所述拍摄目标的红外补光波段后，可以自适应切换至对应的红外补光波段获取对应的红外图像，此时获取的红外图像中拍摄目标的红外反射效果最优。在一些实施例中，可以采用双红外补光灯、可变波长红外灯或者多个混光补光灯进行不同红外补光波段的切换。
如图3所示，在上述实施例的基础上，在其中一些实施例中，对所述可见光图像的第一区域和所述红外图像的第二区域进行区域同步，确定目标区域和非目标区域包括：
步骤S1041，对所述可见光图像和所述红外图像进行数据帧同步处理。具体的，可以通过帧间双路数据同步等方式将可见光图像和所述红外图像相互映射，确保图像融合之前所述可见光图像和所述红外图像处于同一时刻。
步骤S1042，基于数据帧同步处理后获取所述可见光图像的第一区域和所述红外图像的第二区域的坐标信息，对所述第一区域和所述第二区域进行相互映射，得到目标区域。
步骤S1043，根据所述目标区域，确定非目标区域。
在本实施例中，对可见光图像和所述红外图像进行数据帧同步处理后，将可见光图像的第一区域的坐标信息与红外图像的第二区域的坐标信息进行匹配，将匹配一致后的区域确定为目标区域，其他区域即为非目标区域。
如图4所示，在上述实施例的基础上，在其中一些实施例中，所述在区域融合过程中基于第一融合方式融合所述目标区域包括：
步骤S1051，获取所述目标区域对应的目标类型。具体的，对目标区域进行目标识别得到对应的目标类型。目标类型包括但不限于人脸、车辆、车牌、动物、建筑、植物等。
步骤S1052，基于所述目标类型和预设的先验融合索引，确定对应所述目标区域的第一融合比例。
相关技术中，图像融合时整幅图像采用偏向红外的同一融合比例，但如此会导致融合图像目标区域中目标对象中部分颜色特征丢失。
在本实施例中，采用局部区域融合，在区域融合过程中基于第一融合方式融合所述目标区域，基于第二融合方式融合所述非目标区域。所述融合比例为可见光图像与红外图像的像素值融合比。
对于不同的目标类型，在不同的融合比例下，可以产生不同的融合效果，为了实现在不同的目标类型下自适应切换不同的融合比例，可以通过先验融合索引建立对应不同目标类型相匹配的融合比例，从而根据目标类型和预设的先验融合索引，可以自动确定对应所述目标类型的第一融合比例。其中，先验融合索引可以基于大量调研数据、实验数据建立得到。
步骤S1053，基于所述第一融合比例进行目标区域融合。
在本实施例中，当确定第一融合比例后，对目标区域进行局部比例融合。即将目标区域的可见光像素值与第一融合比例的乘积作为目标区域的融合结果。
在上述实施例的基础上，在其中一些实施例中，所述在区域融合过程中基于第二融合方式融合所述非目标区域包括：
步骤S1054，确定所述非目标区域对应的第二融合比例。
步骤S1055，基于所述第二融合比例进行非目标区域融合。
在本实施例中，所述第一融合方式对应的融合比例小于所述第二融合方式对应的融合比例。即在目标区域采用偏向红外的第一融合比例，提高目标区域的红外图像融合比例，在非目标区域采用偏向可见光的第二融合比例。通过上述步骤，可提高目标区域的图像融合质量，同时最大程度地避免非目标区域的颜色特征损失。
示例性地，可以通过下式所示进行图像融合。其中，F为融合输出，Froi为对应目标区域的第一融合方式，Fout为对应非目标区域的第二融合方式，W1为第一融合比例，W2为第二融合比例。
F＝Froi(W1)+Fout(W2)
例如，第一融合比例为0.3/0.7＝3/7，即在目标区域通过可见光图像像素值与0.3的乘积加上红外图像像素值与0.7乘积，将可见光图像和红外图像进行融合；第二融合比例为0.6/0.4＝3/2，即在非目标区域通过可见光图像像素值与0.6的乘积加上红外图像像素值与0.4的乘积，将可见光图像和红外图像进行融合。
本实施例还提供了一种目标特征识别方法，其特征在于，包括以下步骤：
步骤S201，基于上述实施例所述的图像融合方法进行图像融合，确定融合图像。
步骤S201，基于所述融合图像进行目标特征识别。
在本实施例中，融合图像的确定方法具体的实现原理及产生的技术效果与上述实施例相同，为简要描述，本实施例在此不做赘述。然后可以采用基于深度学习的目标识别等方法进行目标特征识别。
通过上述步骤，巧妙地利用智能目标识别进行区域划分得到的目标区域和对应的目标类型特性，进行多波段红外切换和区域融合得到融合图像，提高了在各类目标识别场景下融合图像的目标特征识别率。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种图像融合装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的图像融合装置的结构框图，如图5所示，该装置包括：图像获取单元301、第一区域确定单元302、第二区域确定单元303、区域同步单元304和图像融合单元305。
图像获取单元301，用于获取可见光图像和红外图像；
第一区域确定单元302，用于取对所述可见光图像进行目标识别，确定至少一个第一区域；
第二区域确定单元303，用于对所述红外图像进行目标识别，确定至少一个第二区域；
区域同步单元304，用于对所述可见光图像的第一区域和所述红外图像的第二区域进行区域同步，确定目标区域和非目标区域；
图像融合单元305，用于对所述可见光图像和所述红外图像进行区域融合，在区域融合过程中基于第一融合方式融合所述目标区域，基于第二融合方式融合所述非目标区域，得到融合图像。
在其中一些实施例中，图像获取单元301包括：目标类型识别模块、红外补光波段确定模块和红外图像确定模块。
目标类型识别模块，用于识别拍摄目标对应的目标类型；
红外补光波段确定模块，用于基于所述目标类型和预设的先验拍摄索引，确定对应所述拍摄目标的红外补光波段；
红外图像确定模块，用于基于所述红外补光波段获取所述拍摄目标对应的红外图像。
在其中一些实施例中，区域同步单元304包括：帧同步处理模块、目标区域获取模块和非目标区域获取模块。
帧同步处理模块，用于对所述可见光图像和所述红外图像进行数据帧同步处理；
目标区域获取模块，用于基于数据帧同步处理后所述可见光图像的第一区域和所述红外图像的第二区域的坐标信息，对所述第一区域和所述第二区域进行相互映射，得到目标区域；
非目标区域获取模块，用于根据所述目标区域，确定非目标区域。
在其中一些实施例中，所述第一融合方式对应的融合比例小于所述第二融合方式对应的融合比例，所述融合比例为可见光图像与红外图像的像素值融合比。
在其中一些实施例中，图像融合单元305包括：目标类型确定模块、第一融合比例确定模块和目标区域融合模块。
目标类型确定模块，用于获取所述目标区域对应的目标类型；
第一融合比例确定模块，用于基于所述目标类型和预设的先验融合索引，确定对应所述目标区域的第一融合比例；
目标区域融合模块，用于基于所述第一融合比例进行目标区域融合。
在其中一些实施例中，图像融合单元305还包括：
第二融合比例确定模块，用于确定所述非目标区域对应的第二融合比例；
非目标区域融合模块，用于基于所述第二融合比例进行非目标区域融合。
图6是根据本申请实施例的目标特征识别装置的结构框图，如图6所示，该装置包括包括：融合图像确定单元401和目标特征识别单元402。
融合图像确定单元401，用于基于上述实施例所述的图像融合方法进行图像融合，确定融合图像；
目标特征识别单元402，用于基于所述融合图像进行目标特征识别。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外，结合本申请实施例的图像融合方法或目标特征识别方法可以由电子设备来实现。图7为根据本申请实施例的电子设备的硬件结构示意图。
电子设备可以包括处理器51以及存储有计算机程序指令的存储器52。
具体地，上述处理器51可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器52可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器52可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器52可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器52可在数据处理装置的内部或外部。在特定实施例中，存储器52是非易失性(Non-Volatile)存储器。在特定实施例中，存储器52包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器52可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器51所执行的可能的计算机程序指令。
处理器51通过读取并执行存储器52中存储的计算机程序指令，以实现上述实施例中的任意一种图像融合方法或目标特征识别方法。
在其中一些实施例中，电子设备还可包括通信接口53和总线50。其中，如图7所示，处理器51、存储器52、通信接口53通过总线50连接并完成相互间的通信。
通信接口53用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口53还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线50包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线50包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线50可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线50可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备可以基于获取到的程序指令，执行本申请实施例中的图像融合方法或目标特征识别方法。
另外，结合上述实施例中的图像融合方法或目标特征识别方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种图像融合方法或目标特征识别方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像融合方法，其特征在于，包括：
获取可见光图像和红外图像；
对所述可见光图像进行目标识别，确定至少一个第一区域；
对所述红外图像进行目标识别，确定至少一个第二区域；
对所述可见光图像的第一区域和所述红外图像的第二区域进行区域同步，确定目标区域和非目标区域；
对所述可见光图像和所述红外图像进行区域融合，在区域融合过程中基于第一融合方式融合所述目标区域，基于第二融合方式融合所述非目标区域，得到融合图像。
2.根据权利要求1所述的图像融合方法，其特征在于，获取红外图像包括：
识别拍摄目标对应的目标类型；
基于所述目标类型和预设的先验拍摄索引，确定对应所述拍摄目标的红外补光波段；
基于所述红外补光波段获取所述拍摄目标对应的红外图像。
3.根据权利要求1所述的图像融合方法，其特征在于，对所述可见光图像的第一区域和所述红外图像的第二区域进行区域同步，确定目标区域和非目标区域包括：
对所述可见光图像和所述红外图像进行数据帧同步处理；
基于数据帧同步处理后所述可见光图像的第一区域和所述红外图像的第二区域的坐标信息，对所述第一区域和所述第二区域进行相互映射，得到目标区域；
根据所述目标区域，确定非目标区域。
4.根据权利要求1所述的图像融合方法，其特征在于，所述第一融合方式对应的融合比例小于所述第二融合方式对应的融合比例，所述融合比例为可见光图像与红外图像的像素值融合比。
5.根据权利要求4所述的图像融合方法，其特征在于，所述在区域融合过程中基于第一融合方式融合所述目标区域包括：
获取所述目标区域对应的目标类型；
基于所述目标类型和预设的先验融合索引，确定对应所述目标区域的第一融合比例；
基于所述第一融合比例进行目标区域融合。
6.根据权利要求4所述的图像融合方法，其特征在于，所述在区域融合过程中基于第二融合方式融合所述非目标区域包括：
确定所述非目标区域对应的第二融合比例；
基于所述第二融合比例进行非目标区域融合。
7.一种目标特征识别方法，其特征在于，包括：
基于权利要求1-6任一项所述的图像融合方法进行图像融合，确定融合图像；
基于所述融合图像进行目标特征识别。
8.一种图像融合装置，其特征在于，包括：
图像获取单元，用于获取可见光图像和红外图像；
第一区域确定单元，用于取对所述可见光图像进行目标识别，确定至少一个第一区域；
第二区域确定单元，用于对所述红外图像进行目标识别，确定至少一个第二区域；
区域同步单元，用于对所述可见光图像的第一区域和所述红外图像的第二区域进行区域同步，确定目标区域和非目标区域；
图像融合单元，用于对所述可见光图像和所述红外图像进行区域融合，在区域融合过程中基于第一融合方式融合所述目标区域，基于第二融合方式融合所述非目标区域，得到融合图像。
9.一种目标特征识别装置，其特征在于，包括：
融合图像确定单元，用于基于权利要求1-6任一项所述的图像融合方法进行图像融合，确定融合图像；
目标特征识别单元，用于基于所述融合图像进行目标特征识别。
10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任一项所述的图像融合方法或权利要求7所述的目标特征识别方法。
CN202111509547.0A 2021-12-10 2021-12-10 图像融合方法、目标特征识别方法、装置和电子设备 Pending CN114399450A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111509547.0A CN114399450A (zh) 2021-12-10 2021-12-10 图像融合方法、目标特征识别方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111509547.0A CN114399450A (zh) 2021-12-10 2021-12-10 图像融合方法、目标特征识别方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN114399450A true CN114399450A (zh) 2022-04-26

Family

ID=81227996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111509547.0A Pending CN114399450A (zh) 2021-12-10 2021-12-10 图像融合方法、目标特征识别方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN114399450A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965843A (zh) * 2023-01-04 2023-04-14 长沙观谱红外科技有限公司 一种可见光和红外图像融合方法
CN116452484A (zh) * 2023-06-20 2023-07-18 深圳英美达医疗技术有限公司 不同医学图像的融合方法、装置、计算机设备和存储介质
CN116543378A (zh) * 2023-07-05 2023-08-04 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置、电子设备及存储介质
CN117237779A (zh) * 2023-11-15 2023-12-15 江西联创特种微电子有限公司 可见光图像和红外图像结合分析的图像识别方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965843A (zh) * 2023-01-04 2023-04-14 长沙观谱红外科技有限公司 一种可见光和红外图像融合方法
CN115965843B (zh) * 2023-01-04 2023-09-29 长沙观谱红外科技有限公司 一种可见光和红外图像融合方法
CN116452484A (zh) * 2023-06-20 2023-07-18 深圳英美达医疗技术有限公司 不同医学图像的融合方法、装置、计算机设备和存储介质
CN116452484B (zh) * 2023-06-20 2023-09-26 深圳英美达医疗技术有限公司 不同医学图像的融合方法、装置、计算机设备和存储介质
CN116543378A (zh) * 2023-07-05 2023-08-04 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置、电子设备及存储介质
CN116543378B (zh) * 2023-07-05 2023-09-29 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置、电子设备及存储介质
CN117237779A (zh) * 2023-11-15 2023-12-15 江西联创特种微电子有限公司 可见光图像和红外图像结合分析的图像识别方法及系统
CN117237779B (zh) * 2023-11-15 2024-02-09 江西联创特种微电子有限公司 可见光图像和红外图像结合分析的图像识别方法及系统

Similar Documents

Publication Publication Date Title
CN114399450A (zh) 图像融合方法、目标特征识别方法、装置和电子设备
CN107977940B (zh) 背景虚化处理方法、装置及设备
CA2969482C (en) Method and apparatus for multiple technology depth map acquisition and fusion
CN108716983B (zh) 光学元件检测方法和装置、电子设备、存储介质
CN112165573B (zh) 拍摄处理方法和装置、设备、存储介质
CN107835372A (zh) 基于双摄像头的成像方法、装置、移动终端和存储介质
WO2015195317A1 (en) Local adaptive histogram equalization
CN102959942B (zh) 立体观看用图像拍摄装置及其控制方法
CN109040746B (zh) 摄像头校准方法和装置、电子设备、计算机可读存储介质
CN108716982A (zh) 光学元件检测方法、装置、电子设备和存储介质
CN108804658A (zh) 图像处理方法和装置、存储介质、电子设备
CN108600740A (zh) 光学元件检测方法、装置、电子设备和存储介质
CN110213491B (zh) 一种对焦方法、装置及存储介质
CN110096995B (zh) 一种多光谱多目摄像头防伪识别方法及装置
WO2023273411A1 (zh) 一种多光谱数据的获取方法、装置及设备
US20230091865A1 (en) Face image verification method and apparatus, electronic device, and storage medium
WO2023142352A1 (zh) 一种深度图像的获取方法、装置、终端、成像系统和介质
CA3147418A1 (en) Living body detection method and system for human face by using two long-baseline cameras
CN108760245B (zh) 光学元件检测方法和装置、电子设备、可读存储介质
CN105657287A (zh) 一种逆光场景检测方法、装置以及成像装置
CN113591526A (zh) 人脸活体检测方法、装置、设备及计算机可读存储介质
Di Martino et al. Liveness detection using implicit 3D features
CN110770786A (zh) 基于摄像设备的遮挡检测修复装置及其遮挡检测修复方法
TWI542194B (zh) 立體影像處理系統、裝置與方法
CN110909696B (zh) 一种场景检测方法、装置、存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination