CN110796628B - 图像融合方法、装置、拍摄装置及存储介质 - Google Patents

图像融合方法、装置、拍摄装置及存储介质 Download PDF

Info

Publication number
CN110796628B
CN110796628B CN201910989591.2A CN201910989591A CN110796628B CN 110796628 B CN110796628 B CN 110796628B CN 201910989591 A CN201910989591 A CN 201910989591A CN 110796628 B CN110796628 B CN 110796628B
Authority
CN
China
Prior art keywords
image
pixel
value
threshold
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910989591.2A
Other languages
English (en)
Other versions
CN110796628A (zh
Inventor
王家琪
程敏
杨志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huagan Technology Co ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910989591.2A priority Critical patent/CN110796628B/zh
Publication of CN110796628A publication Critical patent/CN110796628A/zh
Application granted granted Critical
Publication of CN110796628B publication Critical patent/CN110796628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像融合方法、装置、拍摄装置及存储介质。该图像融合方法包括：获取对同一场景拍摄的第一图像和第二图像，第一图像和第二图像的成像波段不同，且第一图像为灰度图像；利用映射色表将第一图像转换为伪彩色的第三图像；利用第一图像的像素值统计值确定最大阈值和最小阈值；在最大阈值和最小阈值限定的第一范围内选择上阈值和下阈值；将第一图像中像素的像素值与上阈值和下阈值进行比较；根据比较结果确定对应的第二图像和第三图像中像素的色彩分量的权重；按照权重合成第二图像和第三图像的色彩分量得到合成图像的色彩分量。通过上述方式，本发明能够改善合成图像色彩偏亮偏淡的现象。

Description

图像融合方法、装置、拍摄装置及存储介质
技术领域
本申请涉及图像处理领域，特别是涉及一种图像融合方法、装置、拍摄装置及存储介质。
背景技术
近年，随着多频段摄像机的应用，对多频段摄像机输出的图像的融合也得到了广泛应用。图像融合的核心思想就是把工作于不同波长范围或者具有不同成像机理的各种图像传感器获取的同一场景的多种图像信息“融合”生成一副新的图像，融合后的图像将包含有更多的人类视觉系统(Human Visual System,HVS)敏感信息，从而更适合于人眼观测或者计算机监测、分类、识别等处理。
常见的图像融合是将红外图像和可见光图像进行融合。在相关技术中，采用的图像融合方案是将红外图像转换为伪彩色图像，然后对可见光图像和伪彩色图像的亮度分量进行融合得到合成图像的亮度分量，直接采用伪彩色图像的色彩分量作为合成图像的色彩分量。合成图像的色彩可以显示物体的热量信息，但由于合成图像中某些像素的亮度分量可能大于伪彩色图像中对应像素的亮度分量且差值较大，导致合成图像的色彩变淡偏亮，影响视觉效果。
发明内容
本申请提供一种图像融合方法、装置、拍摄装置及存储介质，能够解决现有技术中图像融合导致合成图像的色彩变淡偏亮的问题。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种图像融合方法，该方法包括：获取对同一场景拍摄的第一图像和第二图像，第一图像和第二图像的成像波段不同，且第一图像为灰度图像；利用映射色表将第一图像转换为伪彩色的第三图像；利用第一图像的像素值统计值确定最大阈值和最小阈值；在最大阈值和最小阈值限定的第一范围内选择上阈值和下阈值，上阈值大于或等于下阈值；将第一图像中像素的像素值与上阈值和下阈值进行比较；根据比较结果确定对应的第二图像和第三图像中像素的色彩分量的权重；按照权重合成第二图像和第三图像的色彩分量得到合成图像的色彩分量。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种图像融合装置，该图像融合装置包括处理器，处理器用于执行指令以实现前述的图像融合方法。
为解决上述技术问题，本申请采用的再一个技术方案是：提供一种拍摄装置，该拍摄装置包括摄像头和处理器，处理器耦接摄像头，处理器用于执行指令以实现前述的图像融合方法。
为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储介质，存储有指令，指令被执行时实现前述的图像融合方法。
本申请的有益效果是：通过利用第一图像的像素值统计值确定最大阈值和最小阈值；在最大阈值和最小阈值限定的第一范围内选择上阈值和下阈值；将第一图像中像素的像素值与上阈值和下阈值进行比较；根据比较结果确定对应的第二图像和第三图像中像素的色彩分量的权重；按照权重合成第二图像和第三图像的色彩分量得到合成图像的色彩分量；区别于现有技术，根据第一图像中像素的像素值与上阈值和下阈值的比较结果确定权重，合成图像中色彩过渡自然，且色彩偏亮偏淡的现象得到改善。
附图说明
图1是本发明图像融合方法一实施例的流程示意图；
图2是图1中S2的具体流程示意图；
图3是本发明图像融合方法另一具体实施例中计算融合率的流程示意图；
图4是本发明图像融合装置一实施例的结构示意图；
图5是本发明拍摄装置一实施例的结构示意图；
图6是本发明存储介质一实施例的的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
图1是本发明图像融合方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例包括：
S1：获取对同一场景拍摄的第一图像和第二图像。
第一图像和第二图像的成像波段不同。第一图像为灰度图像，即第一图像不包含色彩分量。例如，第一图像的成像波段为红外，可以是红外摄像头拍摄到的红外图像；第二图像的成像波段为可见光，可以是可见光摄像头拍摄到的可见光图像。
红外图像反映了目标和背景不可见红外辐射的空间分布情况，其辐射量度分布主要取决于被观测物体的温度和发射率，在红外图像中很容易看到低可视红外热目标。与红外图像相比，可见光图像则提供了更多的目标或者场景的细节信息，有利于人眼观察。
S2：利用映射色表将第一图像转换为伪彩色的第三图像。
由于相对于灰度，人眼对色彩更加敏感，可以将第一图像转换为伪彩色的第三图像以便观察。映射色表包括像素值与颜色之间的映射关系，颜色包括多个指定色以及相邻指定色之间的过渡色，指定色包括黑色、蓝色、青色、绿色、黄色、红色、白色、红棕色中的至少两个。
可选的，按照对应的像素值从小到大的顺序排列，指定色包括黑色、蓝色、青色、绿色、黄色、红色和白色。
可选的，按照对应的像素值从小到大的顺序排列，指定色包括黑色、蓝色、青色、绿色、黄色、红色和红棕色。
如图2所示，本发明图像融合方法一具体实施例中，S2具体包括：
S21：利用映射色表将第一图像转换为RGB或HSV空间的伪彩图像。
以8位图像为例，第一图像为红外图像，其每个像素的像素值反映了物体温度，像素值越大，温度越高。
转换到RGB空间的一种映射色标如表1所示：
表1
Figure BDA0002237811830000051
表1中的六种指定色按照对应像素值从小到大的顺序，依次为黑色-蓝色-青色-绿色-黄色-红色-红棕色。
转换到RGB空间的另一种映射色表如表2所示：
表2
Figure BDA0002237811830000052
表2中的六种指定色按照对应像素值从小到大的顺序，依次为黑色-蓝色-青色-绿色-黄色-红色-白色。
表1和表2中仅给出了指定色的排序，并未详细指定每个像素值与颜色之间的映射关系。指定色及其之间的过渡色的数量是大于第一图像中像素的像素值的数量(256)的。具体到每种像素值与颜色之间的映射关系可以是线性的，也可以是非线性的。可以选择表1和/或表2中的部分颜色组合形成新的映射色表。
类似的，转换到HSV空间的一种映射色标如表3所示：
表3
Figure BDA0002237811830000053
表1中的六种指定色按照对应像素值从小到大的顺序，依次为黑色-蓝色-青色-绿色-黄色-红色-红棕色。
转换到HSV空间的另一种映射色表如表4所示：
表4
Figure BDA0002237811830000061
表4中的六种指定色按照对应像素值从小到大的顺序，依次为黑色-蓝色-青色-绿色-黄色-红色-白色。
表3和表4中仅给出了指定色的排序，并未详细指定每个像素值与颜色之间的映射关系。指定色及其之间的过渡色的数量是大于第一图像中像素的像素值的数量(256)的。具体到每种像素值与颜色之间的映射关系可以是线性的，也可以是非线性的。可以选择表3和/或表4中的部分颜色组合形成新的映射色表。
映射色表1/2/3/4均具有较强视觉显著度，通过采用映射色表1/2/3/4进行伪彩色图像的转换，可以减少融合后的图像亮度突变，改善融合图像过亮或者过暗的现象。
S22：将伪彩图像转换为YUV空间的第三图像。
若伪彩图像为RGB格式，则根据RGB空间至YUV空间的转换公式将伪彩图像转换为第三图像，以便后续计算。
若伪彩图像为HSV格式，则根据HSV空间至YUV空间的转换公式将伪彩图像转换为第三图像，以便后续计算。
当然，在其他具体实施例中，可以直接将第一图像转换为YUV空间的第三图像。
S3：利用第一图像的像素值统计值确定最大阈值和最小阈值。
第一图像的像素值统计值是指第一图像中所有像素的像素值的统计值。
可选的，可以将第一图像的像素值的平均值作为最大阈值Vmax，并将第一图像的像素值的最小值或者0作为最小阈值Vmin。
可选的，可以将第一图像的像素值的中值作为最大阈值Vmax，并将第一图像的像素值的最小值作为最小阈值Vmin。第一图像的像素值的中值Im的计算公式如下所示：
Figure BDA0002237811830000071
其中I表示第一图像中所有像素的像素值组成的集合，max(I)表示第一图像的像素值的最大值，min(I)表示第一图像的像素值的最小值。
可选的，可以对第一图像的像素值进行动态范围扩展，然后将第一图像的像素值的中值作为最大阈值Vmax，并将0作为最小阈值Vmin。动态范围扩展后的中值恒定为第一图像的像素值的取值范围的中值，例如，第一图像为8bit时，动态范围扩展后的中值恒定为127或128。动态范围扩展的公式如下：
Figure BDA0002237811830000072
其中，Ii′表示动态范围扩展后的第一图像第i个像素的像素值，Ii表示动态范围扩展前的第一图像第i个像素的像素值，i＝1,…,N，N为第一图像中像素的总数。
S4：在最大阈值和最小阈值限定的第一范围内选择上阈值和下阈值。
第一范围为[Vmin,Vmax]，上阈值Vup大于或等于下阈值Vdown。第一图像中像素的像素值在上阈值Vup和下阈值Vdown之间的情况下，对应的第三图像的像素值的色彩分量参与融合。上阈值Vup和下阈值Vdown影响最终的色彩融合效果，可以根据需求来选择上阈值Vup和下阈值Vdown。
可选的，可以限定上阈值Vup等于最大阈值Vmax和/或下阈值Vdown等于最小阈值Vmin。即，上阈值Vup和下阈值Vdown满足以下条件之一：
①有且仅有Vup＝Vmax时，Vdown可以在第一范围[Vmin,Vmax]内任意取值。
②有且仅有Vdown＝Vmin时，Vup可以在第一范围[Vmin,Vmax]内任意取值。
如图3所示，在本发明另一具体实施例中，S4之后进一步包括：
S40：利用最大阈值、最小阈值、上阈值和下阈值计算融合率。
融合率δ的计算如下式：
Figure BDA0002237811830000081
其中，Vup表示上阈值，Vdown表示下阈值。
融合率体现形式为：当融合率为100％时，Vdown＝Vmin，Vup＝0，第三图像全图参与色彩融合；当融合率为50％时，第三图像有50％的部分参与色彩融合；当融合率为0％时，红外图像中大于最大阈值Vmax的部分参与色彩融合，其余部分不参与。
通过提出色彩融合中融合率的概念，用户可以通过调节融合率的方式对图像的融合效果进行调整，在不损失热源信息的同时选择指定比例的伪彩图像进行融合图像观察。
S5：将第一图像中像素的像素值与上阈值和下阈值进行比较。
若对第一图像中像素的像素值进行了动态扩展，则是将动态扩展之后的像素值与上阈值和上阈值进行比较。
S6：根据比较结果确定对应的第二图像和第三图像中像素的色彩分量的权重。
若ValueI<Vdown，则对应的第二图像中像素的色彩分量的权重WV＝1，对应的第三图像中像素的色彩分量的权重WI＝0，对应的合成图像中像素的色彩分量为第二图像中像素的色彩分量。
若Vdown≤ValueI≤Vup，则对应的第二图像中像素的色彩分量的权重
Figure BDA0002237811830000082
对应的第三图像中像素的色彩分量的权重
Figure BDA0002237811830000083
若ValueI>Vup，则对应的第二图像中像素的色彩分量的权重WV＝0，对应的第三图像中像素的色彩分量的权重WI＝1，对应的合成图像中像素的色彩分量为第三图像中像素的色彩分量。
其中ValueI表示第一图像中像素的像素值，Vdown表示下阈值，Vup表示上阈值。
S7：按照权重合成第二图像和第三图像的色彩分量得到合成图像的色彩分量。
合成图像中像素的U分量Uout＝WI×Uw+WV×Uv，合成图像中像素的V分量Vout＝WI×Vw+WV×Vv，其中Uw表示对应的第三图像中像素的U分量，Uv表示对应的第二图像中像素的U分量，Vw表示对应的第三图像中像素的V分量，Vv表示对应的第二图像中像素的V分量。
本实施例中以YUV空间为例说明了第二图像和第三图像的色彩分量的合成，在其他实施例中，可以采用其他亮度和色彩分离的颜色空间来对第二图像和第三图像的色彩分量进行合成。
通过本实施例的实施，利用第一图像的像素值统计值确定最大阈值和最小阈值；在最大阈值和最小阈值限定的第一范围内选择上阈值和下阈值；将第一图像中像素的像素值与上阈值和下阈值进行比较；根据比较结果确定对应的第二图像和第三图像中像素的色彩分量的权重；按照权重合成第二图像和第三图像的色彩分量得到合成图像的色彩分量。区别于现有技术，第一图像中像素的像素值小于下阈值时，此时第三图像的对应像素的亮度分量较小，合成图像的对应像素的亮度分量跳跃性增大的可能性较大，选择第二图像中对应像素的色彩分量作为合成图像中对应像素的色彩分量；第一图像中像素的像素值大于上阈值时，此时第三图像的对应像素的亮度分量较大，合成图像的对应像素的亮度分量跳跃性增大的可能性较小，选择第三图像中对应像素的色彩分量作为合成图像中对应像素的色彩分量；第一图像中像素的像素值在下阈值和上阈值之间时，将第二图像和第三图像中对应像素的色彩分量的加权和作为合成图像中对应像素的色彩分量。使得合成图像中色彩过渡自然，且色彩偏亮偏淡的现象得到改善，同时没有使用过于复杂的融合机制，计算资源占用小，计算速度快。
请参阅图4，图4为本发明图像融合装置一实施例的结构示意图。如图4所示，该图像融合装置20包括处理器21。
处理器21还可以称为CPU(Central Processing Unit，中央处理单元)。处理器21可能是一种集成电路芯片，具有信号的处理能力。处理器21还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
图像融合装置20可以进一步包括存储器(图中未示出)，用于存储处理器21运行所需的指令和数据。
处理器21用于执行指令以实现上述本发明图像融合方法任一实施例及任意不冲突的组合所提供的方法。
请参阅图5，图5为本发明拍摄装置一实施例的结构示意图。如图5所示，该拍摄装置30包括处理器31、第一摄像头32和第二摄像头33，处理器31耦接第一摄像头32和第二摄像头33。
处理器31还可以称为CPU(Central Processing Unit，中央处理单元)。处理器31可能是一种集成电路芯片，具有信号的处理能力。处理器31还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
第一摄像头32和第二摄像头33均用于采集图像，且二者的成像波段不同。例如，第一摄像头32可以为红外摄像头，第二摄像头33可以为可见光摄像头。第一摄像头32的成像波段可以包括短波红外和/或长波红外；第二摄像头33的成像波段可以包括正常亮度可见光、微光等各种照度可见光。
拍摄装置30可以进一步包括存储器(图中未示出)，用于存储处理器31运行所需的指令和数据。
处理器31用于执行指令以实现上述本发明图像融合方法任一实施例及任意不冲突的组合所提供的方法。
参阅图6，图6为本发明存储介质一实施例的结构示意图。本发明实施例的存储介质40存储有指令，该指令被执行时实现本发明图像融合方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令可以形成程序文件以软件产品的形式存储在上述存储介质中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (15)

1.一种图像融合方法，其特征在于，包括：
获取对同一场景拍摄的第一图像和第二图像，所述第一图像和所述第二图像的成像波段不同，且所述第一图像为灰度图像；
利用映射色表将所述第一图像转换为伪彩色的第三图像；
利用所述第一图像的像素值统计值确定最大阈值和最小阈值；
在所述最大阈值和所述最小阈值限定的第一范围内选择上阈值和下阈值，所述上阈值大于或等于所述下阈值；
将所述第一图像中像素的像素值与所述上阈值和所述下阈值进行比较；
根据比较结果确定对应的所述第二图像和所述第三图像中像素的色彩分量的权重；
按照所述权重合成所述第二图像和所述第三图像的色彩分量得到合成图像的色彩分量；
其中，所述第一图像中像素的像素值小于所述下阈值时，所述第二图像中的像素的色彩分量的权重大于所述第三图像的色彩分量的权重；
所述第一图像中像素的像素值大于所述上阈值时，所述第二图像中的像素的色彩分量的权重小于所述第三图像的色彩分量的权重；
所述第一图像中像素的像素值在所述下阈值和所述上阈值之间时，所述像素值越接近所述上阈值，所述第二图像中的像素的色彩分量的权重越小，所述第三图像的色彩分量的权重越大。
2.根据权利要求1所述的方法，其特征在于，
所述映射色表包括像素值与颜色之间的映射关系，所述颜色包括多个指定色以及相邻所述指定色之间的过渡色，所述指定色包括黑色、蓝色、青色、绿色、黄色、红色、白色、红棕色中的至少两个。
3.根据权利要求2所述的方法，其特征在于，
按照对应的所述像素值从小到大的顺序排列，所述指定色包括黑色、蓝色、青色、绿色、黄色、红色和白色。
4.根据权利要求2所述的方法，其特征在于，
按照对应的所述像素值从小到大的顺序排列，所述指定色包括黑色、蓝色、青色、绿色、黄色、红色和红棕色。
5.根据权利要求1所述的方法，其特征在于，
所述利用映射色表将所述第一图像转换为伪彩色的第三图像包括：
利用所述映射色表将所述第一图像转换为RGB或HSV空间的伪彩图像；
将所述伪彩图像转换为YUV空间的所述第三图像。
6.根据权利要求1所述的方法，其特征在于，
所述利用所述第一图像的像素值统计值确定最大阈值和最小阈值包括：
将所述第一图像的像素值的平均值作为所述最大阈值，并将所述第一图像的像素值的最小值或者0作为所述最小阈值；或
将所述第一图像的像素值的中值作为所述最大阈值，并将所述第一图像的像素值的最小值作为所述最小阈值；或
对所述第一图像的像素值进行动态范围扩展，然后将所述第一图像的像素值的中值作为所述最大阈值，并将0作为所述最小阈值。
7.根据权利要求1所述的方法，其特征在于，
所述上阈值等于所述最大阈值和/或所述下阈值等于所述最小阈值。
8.根据权利要求1所述的方法，其特征在于，
所述根据比较结果确定对应的所述第二图像和所述第三图像中像素的色彩分量的权重包括：
若ValueI＜Vdown，则对应的所述第二图像中像素的色彩分量的权重WV＝1，对应的所述第三图像中像素的色彩分量的权重WI＝0；
若Vdown≤ValueI≤Vup，则对应的所述第二图像中像素的色彩分量的权重
Figure FDA0003573944420000021
对应的所述第三图像中像素的色彩分量的权重
Figure FDA0003573944420000022
若ValueI＞Vup，则对应的所述第二图像中像素的色彩分量的权重WV＝0，对应的所述第三图像中像素的色彩分量的权重wI＝1；
其中ValueI表示所述第一图像中像素的像素值，Vdown表示所述下阈值，Vup表示所述上阈值。
9.根据权利要求8所述的方法，其特征在于，
所述合成图像中像素的U分量Uout＝WI×Uw+WV×Uv，所述合成图像中像素的V分量Vout＝WI×Vw+WV×Vv，其中Uw表示对应的所述第三图像中像素的U分量，Uv表示对应的所述第二图像中像素的U分量，Vw表示对应的所述第三图像中像素的V分量，Vv表示对应的所述第二图像中像素的V分量。
10.根据权利要求1所述的方法，其特征在于，
所述在所述最大阈值和所述最小阈值限定的第一范围内选择上阈值和下阈值之后进一步包括：
利用所述最大阈值、所述最小阈值、所述上阈值和所述下阈值计算融合率。
11.根据权利要求10所述的方法，其特征在于，
融合率δ的计算如下式：
Figure FDA0003573944420000031
其中，Vmax表示所述最大阈值，Vmin表示所述最小阈值，Vup表示所述上阈值，Vdown表示所述下阈值。
12.根据权利要求1所述的方法，其特征在于，
所述第一图像的成像波段为红外，所述第二图像的成像波段为可见光。
13.一种图像融合装置，其特征在于，所述图像融合装置包括处理器，
所述处理器用于执行指令以实现如权利要求1-12中任一项所述的方法。
14.一种拍摄装置，其特征在于，包括第一摄像头、第二摄像头和处理器，所述处理器耦接所述第一摄像头和第二摄像头，所述处理器用于执行指令以实现如权利要求1-12中任一项所述的方法。
15.一种存储介质，存储有指令，其特征在于，所述指令被执行时实现如权利要求1-12中任一项所述的方法。
CN201910989591.2A 2019-10-17 2019-10-17 图像融合方法、装置、拍摄装置及存储介质 Active CN110796628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910989591.2A CN110796628B (zh) 2019-10-17 2019-10-17 图像融合方法、装置、拍摄装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910989591.2A CN110796628B (zh) 2019-10-17 2019-10-17 图像融合方法、装置、拍摄装置及存储介质

Publications (2)

Publication Number Publication Date
CN110796628A CN110796628A (zh) 2020-02-14
CN110796628B true CN110796628B (zh) 2022-06-07

Family

ID=69439610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910989591.2A Active CN110796628B (zh) 2019-10-17 2019-10-17 图像融合方法、装置、拍摄装置及存储介质

Country Status (1)

Country Link
CN (1) CN110796628B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113785559A (zh) * 2020-03-11 2021-12-10 深圳市大疆创新科技有限公司 红外图像处理方法、处理设备、无人飞行器和存储介质
CN111784678A (zh) * 2020-07-03 2020-10-16 中煤航测遥感集团有限公司 基于热红外图像的温度获取方法、装置、设备及存储介质
CN112767291B (zh) * 2021-01-04 2024-05-28 浙江华感科技有限公司 可见光图像和红外图像融合方法、设备及可读存储介质
CN114418919B (zh) * 2022-03-25 2022-07-26 北京大甜绵白糖科技有限公司 图像融合方法及装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118466A (zh) * 2018-08-29 2019-01-01 电子科技大学 一种红外图像与可见光图像融合的处理方法
CN109309826A (zh) * 2017-07-27 2019-02-05 Tcl集团股份有限公司 一种图像色彩均衡方法及终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI537875B (zh) * 2015-04-08 2016-06-11 大同大學 影像合成方法與影像處理裝置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109309826A (zh) * 2017-07-27 2019-02-05 Tcl集团股份有限公司 一种图像色彩均衡方法及终端
CN109118466A (zh) * 2018-08-29 2019-01-01 电子科技大学 一种红外图像与可见光图像融合的处理方法

Also Published As

Publication number Publication date
CN110796628A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
CN110796628B (zh) 图像融合方法、装置、拍摄装置及存储介质
CN104796683B (zh) 一种校准图像色彩的方法和系统
CN107680056B (zh) 一种图像处理方法及装置
US8441544B2 (en) Electronic camera and medium storing image processing program for skin color correction
US11070749B2 (en) Image processing method and apparatus
US9979944B2 (en) Image processing device and auto white balancing method
CN104883504B (zh) 开启智能终端上高动态范围hdr功能的方法及装置
TWI660633B (zh) 基於膚色資訊的白平衡校正方法及其影像處理裝置
CN109688396B (zh) 图像的白平衡处理方法、装置和终端设备
US11321830B2 (en) Image detection method and apparatus and terminal
CN108024055A (zh) 白平衡处理的方法、装置、移动终端和存储介质
CN105409211A (zh) 用于图像处理的带皮肤色调校正的自动白平衡
CN105245863A (zh) 进行白平衡控制的图像处理装置及其控制方法和摄像设备
CN111953955B (zh) 白平衡补偿方法、装置及电子设备
JP2012165146A (ja) 画像処理装置及び方法
Yu et al. A false color image fusion method based on multi-resolution color transfer in normalization YCBCR space
CN114693580A (zh) 图像处理方法及其相关设备
CN113676715B (zh) 图像处理方法及装置
JP6977483B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
KR20150128168A (ko) 화이트 밸런싱 장치 및 이의 구동 방법
CN116309224A (zh) 图像融合方法、装置、终端及计算机可读存储介质
WO2022067761A1 (zh) 图像处理方法、装置、拍摄设备、可移动平台及计算机可读存储介质
WO2017179171A1 (ja) 画像処理装置及び画像処理方法
JP6398860B2 (ja) 色補正装置、色補正方法及び色補正プログラム
WO2017151366A2 (en) Device for measuring color difference, system, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230904

Address after: Room 201, Building A, Integrated Circuit Design Industrial Park, No. 858, Jianshe 2nd Road, Economic and Technological Development Zone, Xiaoshan District, Hangzhou City, Zhejiang Province, 311225

Patentee after: Zhejiang Huagan Technology Co.,Ltd.

Address before: No.1187 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd.