CN114429437B - 一种全场景亮度自适应的图像融合方法及装置 - Google Patents

一种全场景亮度自适应的图像融合方法及装置 Download PDF

Info

Publication number
CN114429437B
CN114429437B CN202210091494.3A CN202210091494A CN114429437B CN 114429437 B CN114429437 B CN 114429437B CN 202210091494 A CN202210091494 A CN 202210091494A CN 114429437 B CN114429437 B CN 114429437B
Authority
CN
China
Prior art keywords
image
fusion
brightness
optimal
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210091494.3A
Other languages
English (en)
Other versions
CN114429437A (zh
Inventor
沈峘
王对武
谭运生
张佩泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Hongzhong Electronic Technology Co ltd
Original Assignee
Nanjing Hongzhong Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Hongzhong Electronic Technology Co ltd filed Critical Nanjing Hongzhong Electronic Technology Co ltd
Priority to CN202210091494.3A priority Critical patent/CN114429437B/zh
Publication of CN114429437A publication Critical patent/CN114429437A/zh
Application granted granted Critical
Publication of CN114429437B publication Critical patent/CN114429437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种全场景亮度自适应的图像融合方法及装置，包括如下步骤：获取任意场景的源图像，对源图像中色彩、纹理丰富的主体区域进行识别，生成图像主体掩模；基于图像主体掩模，根据图像中像素的亮度高低、色彩和纹理的丰富性进行加权融合，得到基于主体区域权重的第一融合图像；选取最优的输入源图像，即最优待融合图像，然后将最优待融合图像与第一融合图像进行迭代融合，满足迭代终止条件则输出最优亮度自适应融合图像。本发明在不断融合过程中充分利用场景的原图信息，对融合图像进行自适应亮度调节与信息的补充，克服了目前因无法自适应各种场景的亮度条件，从而导致图像信息利用不充分，色彩与细节丢失，图像质量差的问题。

Description

一种全场景亮度自适应的图像融合方法及装置
技术领域
本发明涉及一种数字图像处理技术，尤其涉及一种全场景亮度自适应的图像融合方法及装置。
背景技术
适当的图像亮度能够给观看者带来更好的感官享受，而过亮或过暗都会降低图像在色彩和细节上的视觉呈现，从而影响人们对图像质量的评价。为了获得更优质的图像，通常可以利用高动态范围成像或图像融合技术对拍摄的图像的亮度进行调节，改善图像质量。然而，由于不同场景中物体的材质、颜色，物体间错综复杂的相对位置结构，产生了不同的光强、阴影，造成了图像亮度的巨大差异。现有技术需要针对各种亮度场景，采用合适的参数才能尽可能地调整图像亮度，但无法自适应所有场景的亮度条件，最终导致图像色彩、细节信息不足，影响了图像质量。
因此，上述问题亟需解决。
发明内容
发明目的：本发明的第一目的是提供一种全场景亮度自适应的图像融合方法，该方法可解决现有技术中无法自适应各种场景的亮度条件，导致图像色彩、细节信息不足，影响图像质量的问题。
本发明的第二目的是提供一种自适应全场景亮度自适应的图像融合装置，该装置可解决现有技术中无法自适应各种场景的亮度条件，导致图像色彩、细节信息不足，影响图像质量的问题。
技术方案：为实现以上目的，本发明公开一种全场景亮度自适应的图像融合方法，包括如下步骤：
(1)获取任意场景源图像，对源图像中图像色彩、纹理丰富的主体区域进行识别，生成图像主体掩模；
(2)基于图像主体掩模，根据图像中像素的亮度高低、色彩和纹理的丰富性进行加权融合，得到基于主体区域权重的第一融合图像；
(3)选取最优的输入源图像，即最优待融合图像，然后将最优待融合图像与第一融合图像进行迭代融合，满足迭代终止条件则输出最优融合图像。
其中，步骤(1)中生成图像主体掩模的具体方法包括如下步骤：
(1.1)获取待融合的2N+1张不同曝光条件下采集的源图像Si,i＝-N,…,-2,-1,0,1,2,…,N；2N+1张源图像的曝光时间随着i值的增大而增加，i为0时对应正常曝光；
(1.2)计算并获得源图像所对应的亮度图像Li,i＝-N,…,-2,-1,0,1,2,…,N；
(1.3)统计亮度图像Li的亮度均值meani，并利用该亮度均值meani对亮度图像中的每个像素pixel(x,y)进行显著性评估，(x,y)表示该像素在图像中的坐标，显著性评估规则为：pixel(x,y)与meani的差异越大，则越显著；通过显著性评估生成亮度图像的显著性得分图，然后对每一张得分图归一化，获得每张图像的亮度显著性图Sali,i＝-N,…,-2,-1,0,1,2,…,N；
(1.4)根据主体识别规则：当i小于0时，显著性图中大值部分为图像中感兴趣的主体部分，而当i大于0时，显著性图中的小值部分为图像中感兴趣的主体部分；对每一张亮度显著性图Sali进行二值化，生成各自对应的图像主体掩模Maski。
优选的，步骤(2)中第一融合图像加权融合的具体方法包括如下步骤：
(2.1)根据亮度图像的亮度特性设置最优亮度值，当图像中某一像素的亮度值等于最优亮度值时，表示该像素的亮度为最优亮度，评分最高；像素的亮度离最优亮度差异越大，则评分越低；根据像素亮度评分规则，遍历每一张亮度图像的像素，为每一张图亮度像生成各自的亮度评分图Ei,i＝-N,…,-2,-1,0,1,2,…,N；亮度评分最高为1，最低为0；
(2.2)获取亮度评分图Ei后，分别根据图像的色彩饱和度与纹理丰富性计算其色彩权重图Sati与纹理权重图Ci,i＝-N,…,-2,-1,0,1,2,…,N；其计算规则是：像素色彩饱和度越高，则色彩权重越大；像素与周围像素构成的纹理越清晰，则纹理权重越大；色彩权重和纹理权重的最大值均为1，最小值均为0；
(2.3)根据获得的色彩权重图与纹理权重图对亮度评分图Ei进行加权，得到加权后的亮度评分图E2i；加权方法如公式(1)所示：
(2.4)将各个源图像的主体掩模Maski与加权后的亮度评分图E2i相乘，再对其进行归一化，得到感兴趣的主体区域权重图Wi，具体过程如公式(2)所示：
其中，δ为用于防止计算时分母为零的常量；
(2.5)将各个源图像Si与感兴趣的主体区域权重图Wi进行加权融合得到第一融合图像F，具体融合过程如公式(3)所示：
再者，步骤(3)中迭代融合得到最优融合图像的具体方法包括如下步骤：
(3.1)先计算除第0张之外的源图像与第一融合图像之间的差值并取绝对值，获得第一差值图像Ri；再将第0张源图像的主体掩模取反得到非主体掩模通常，非主体掩模区域的图像为场景中过亮或者过暗的部分；然后，根据第非主体掩模色彩权重Sati与纹理权重Ci对第一差值图像进行加权，获得第一加权差值图像Ri'，如下公式(4)、(5)所示：
Ri＝|F-Si| …(4)
(3.2)统计加权后的差值R′i的均值Mi，选择最大均值MI对应的第i张图像作为待融合的最优源图像SI，将最优源图像与第一融合图像F1进行融合，调整第一融合图像高亮区域的亮度，得到第二融合图像F2，具体融合过程如公式(6)所示：
其中与是根据色彩权重与纹理权重的计算方法，对第一融合图像F1(x,y)与最优源图像SI进行亮度评分并进行色彩与纹理加权后得到的；
(3.3)迭代融合，得到第n融合图像Fn；
计算最优源图像SI第n融合图像Fn之间感兴趣区域的差，获得通过加权后的第n加权差值的均值其中第n差值图像和第n加权差值图像如下公式(8)、(9)所示：
若均值小于融合前的均值则将最优源图像与第n次融合图像进行再次融合，得到第n+1融合图像Fn+1；若均值满足终止条件则停止迭代，并输出第n-1次的融合结果Fn-1作为最终融合结果。
进一步，步骤(3.3)中终止条件为均值不小于融合前的均值或者终止条件为均值与初次融合时的差值均值MI相比减小到阀值百分比。
本发明公开了一种全场景亮度自适应的图像融合装置，包括主体识别模块，用于获取源图像，对源图像中图像色彩、纹理丰富的主体区域进行识别，生成图像主体掩模并输出图像主体掩模；
融合模块，用于接收图像主体掩模，基于图像主体掩模，根据图像中像素的亮度高低、色彩和纹理的丰富性进行加权融合，得到基于主体区域权重的第一融合图像并输出；
图像选择模块，用于接收第一融合图像，并选取最优的输入源图像，输出最优待融合图像；
迭代融合模块，用于接收最优待融合图像，并将最优待融合图像与第一融合图像进行加权迭代融合得到当前的第n融合图像和第n融合判断参数；将第n融合判断参数传输至过融合判断模块；不满足迭代终止条件则继续加权迭代融合，满足迭代终止条件则输出第n-1融合图像为最终融合结果；
过融合判断模块，用于接收第n融合判断参数，判断第n融合判断参数是否满足迭代终止条件，并将判断结果传输至迭代融合模块。
其中，主体识别模块包括获取源图像单元，用于获取待融合的2N+1张不同曝光条件下采集的源图像Si,i＝-N,…,-2,-1,0,1,2,…,N；2N+1张源图像的曝光时间随着i值的增大而增加，i为0时对应正常曝光；
计算亮度图像单元，用于计算并获得源图像所对应的亮度图像Li,i＝-N,…,-2,-1,0,1,2,…,N；
亮度显著性图单元，用于统计亮度图像Li的亮度均值meani，并利用该亮度均值meani对亮度图像中的每个像素pixel(x,y)进行显著性评估，(x,y)表示该像素在图像中的坐标，显著性评估规则为：pixel(x,y)与meani的差异越大，则越显著；通过显著性评估生成亮度图像的显著性得分图，然后对每一张得分图归一化，获得每张图像的亮度显著性图Sali,i＝-N,…,-2,-1,0,1,2,…,N；
图像主体掩模单元，用于根据主体识别规则：当i小于0时，显著性图中大值部分为图像中感兴趣的主体部分，而当i大于0时，显著性图中的小值部分为图像中感兴趣的主体部分；对每一张亮度显著性图Sali进行二值化，生成各自对应的图像主体掩模Maski。
优选的，融合模块包括亮度评分图单元，用于根据亮度图像的亮度特性设置最优亮度值，当图像中某一像素的亮度值等于最优亮度值时，表示该像素的亮度为最优亮度，评分最高；像素的亮度离最优亮度差异越大，则评分越低；根据像素亮度评分规则，遍历每一张亮度图像的像素，为每一张图亮度像生成各自的亮度评分图Ei,i＝-N,…,-2,-1,0,1,2,…,N；亮度评分最高为1，最低为0；
权重图单元，用于获取亮度评分图Ei后，分别根据图像的色彩饱和度与纹理丰富性计算其色彩权重图Sati与纹理权重图Ci,i＝-N,…,-2,-1,0,1,2,…,N；其计算规则是：像素色彩饱和度越高，则色彩权重越大；像素与周围像素构成的纹理越清晰，则纹理权重越大；色彩权重和纹理权重的最大值均为1，最小值均为0；
亮度评分图单元，用于根据获得的色彩权重图与纹理权重图对亮度评分图Ei进行加权，得到加权后的亮度评分图E2i；加权方法如公式(1)所示：
主体区域权重图单元，用于将各个源图像的主体掩模Maski与加权后的亮度评分图E2i相乘，再对其进行归一化，得到感兴趣的主体区域权重图Wi，具体过程如公式(2)所示：
其中，δ为用于防止计算时分母为零的常量；
第一融合图像单元，用于将各个源图像Si与感兴趣的主体区域权重图Wi进行加权融合得到第一融合图像F，具体融合过程如公式(3)所示：
再者，图像选择模块包括第一加权差值图像单元，用于先计算除第0张之外的源图像与第一融合图像之间的差值并取绝对值，获得第一差值图像Ri；再将第0张源图像的主体掩模取反得到非主体掩模通常，第非主体掩模区域的图像为场景中过亮或者过暗的部分；然后，根据非主体掩模色彩权重Sati与纹理权重Ci对第一差值图像进行加权，获得第一加权差值图像Ri'，如下公式(4)、(5)所示：
Ri＝|F-Si| …(4)
最优源图像单元，用于统计加权后的差值R′i(x,y)的均值Mi，选择最大均值MI对应的第i张图像作为待融合的最优源图像SI。
进一步，迭代融合模块，用于将最优源图像SI与第一融合图像F1进行融合，调整第一融合图像高亮区域的亮度，得到第二融合图像F2，具体融合过程如公式(6)所示：
其中与是根据色彩权重与纹理权重的计算方法，对第一融合图像F1(x,y)与最优源图像SI进行亮度评分并进行色彩与纹理加权后得到的；
迭代融合，得到第n融合图像Fn；
计算最优源图像SI第n融合图像Fn之间感兴趣区域的差，获得通过加权后的第n加权差值的均值均值为第n融合判断参数；其中第n差值图像和第n加权差值图像如下公式(8)、(9)所示：
过融合判断模块用于接收均值判断均值是否满足迭代终止条件，迭代终止条件为均值不小于融合前的均值或者终止条件为均值与初次融合时的差值均值MI相比减小到阀值百分比；并将判断结果传输至迭代融合模块；
迭代融合模块接收判断结果，若均值小于融合前的均值则迭代融合模块将最优源图像与第n次融合图像进行再次融合，得到第n+1融合图像Fn+1；若均值满足终止条件则停止迭代，并迭代融合模块输出第n-1次的融合结果Fn-1作为最终融合结果。
本发明公开了一种计算机可读存储介质，用于存储计算机程序，所述程序在被处理器执行时实现根据本发明第一方面的方法。
有益效果：与现有技术相比，本发明具有以下显著优点：
(1)、该融合方法首先获取源图像，对源图像中图像色彩、纹理丰富的场景主体区域进行识别，生成图像主体掩模；基于图像主体掩模，根据图像中像素的亮度高低、色彩和纹理的丰富性进行加权融合，得到基于主体区域权重的第一融合图像；选取最优的输入源图像，即最优待融合图像，然后将最优待融合图像与第一融合图像进行迭代融合，以自适应调整融合场景中过亮或者过暗的非主体区域的亮度得到最优融合图像；在不断的融合过程中充分利用原图信息，对融合图像进行亮度的自适应调节与信息的补充，从而克服现有技术中因无法自适应各种场景的亮度条件而导致图像信息利用不充分，色彩与细节丢失，图像质量差等问题；
(2)、该融合装置利用主体识别模块、融合模块、图像选择模块、迭代融合模块和过融合判断模块的相互作用，对图像迭代融合，在不断的融合过程中充分利用原图信息，对融合图像进行亮度的自适应调节与信息的补充，从而克服了现有技术中因无法自适应各种场景的亮度条件而导致图像信息利用不充分，色彩与细节丢失，图像质量差的问题。
附图说明
图1为本发明的方法流程图；
图2为本发明的系统示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1所示，本发明一种全场景亮度自适应的图像融合方法，包括如下步骤：
(1)获取源图像，对源图像中图像色彩、纹理丰富的主体区域进行识别，生成图像主体掩模；
其中生成图像主体掩模的具体方法包括如下步骤：
(1.1)获取待融合的2N+1张不同曝光条件下采集的源图像Si,i＝-N,…,-2,-1,0,1,2,…,N；2N+1张源图像的曝光时间随着i值的增大而增加，i为0时对应正常曝光；
(1.2)计算并获得源图像所对应的亮度图像Li,i＝-N,…,-2,-1,0,1,2,…,N；
(1.3)统计亮度图像Li的亮度均值meani，并利用该亮度均值meani对亮度图像中的每个像素pixel(x,y)进行显著性评估，(x,y)表示该像素在图像中的坐标，显著性评估规则为：pixel(x,y)与meani的差异越大，则越显著；通过显著性评估生成亮度图像的显著性得分图，然后对每一张得分图归一化，获得每张图像的亮度显著性图Sali,i＝-N,…,-2,-1,0,1,2,…,N；
(1.4)根据主体识别规则：当i小于0时，显著性图中大值部分为图像中感兴趣的主体部分，而当i大于0时，显著性图中的小值部分为图像中感兴趣的主体部分；对每一张亮度显著性图Sali进行二值化，生成各自对应的图像主体掩模Maski；
(2)基于图像主体掩模，根据图像中像素的亮度高低、色彩和纹理的丰富性进行加权融合，得到基于主体区域权重的第一融合图像；
其中第一融合图像加权融合的具体方法包括如下步骤：
(2.1)根据亮度图像的亮度特性设置最优亮度值，当图像中某一像素的亮度值等于最优亮度值时，表示该像素的亮度为最优亮度，评分最高；像素的亮度离最优亮度差异越大，则评分越低；根据像素亮度评分规则，遍历每一张亮度图像的像素，为每一张图亮度像生成各自的亮度评分图Ei,i＝-N,…,-2,-1,0,1,2,…,N；亮度评分最高为1，最低为0；
(2.2)获取亮度评分图Ei后，分别根据图像的色彩饱和度与纹理丰富性计算其色彩权重图Sati与纹理权重图Ci,i＝-N,…,-2,-1,0,1,2,…,N；其计算规则是：像素色彩饱和度越高，则色彩权重越大；像素与周围像素构成的纹理越清晰，则纹理权重越大；色彩权重和纹理权重的最大值均为1，最小值均为0；
(2.3)根据获得的色彩权重图与纹理权重图对亮度评分图Ei进行加权，得到加权后的亮度评分图E2i；加权方法如公式(1)所示：
(2.4)将各个源图像的主体掩模Maski与加权后的亮度评分图E2i相乘，再对其进行归一化，得到感兴趣的主体区域权重图Wi，具体过程如公式(2)所示：
其中，δ为用于防止计算时分母为零的常量，δ可取10-6；
(2.5)将各个源图像Si与感兴趣的主体区域权重图Wi进行加权融合得到第一融合图像F，具体融合过程如公式(3)所示：
(3)选取最优的输入源图像，即最优待融合图像，然后将最优待融合图像与第一融合图像进行迭代融合，以自适应调整融合图像中过亮或者过暗的非主体的亮度得到最优融合图像；
其中迭代融合得到最优融合图像的具体方法包括如下步骤：
(3.1)先计算除第0张之外的源图像与第一融合图像之间的差值并取绝对值，获得第一差值图像Ri；再将第0张源图像的主体掩模取反得到非主体掩模然后根据非主体掩模色彩权重Sati与纹理权重Ci对第一差值图像进行加权，获得第一加权差值图像Ri'，如下公式(4)、(5)所示：
Ri＝|F-Si| …(4)
(3.2)统计加权后的差值R′i的均值Mi，选择最大均值MI对应的第i张图像作为待融合的最优源图像SI，将最优源图像与第一融合图像F1进行融合，调整第一融合图像高亮区域的亮度，得到第二融合图像F2，具体融合过程如公式(6)所示：
其中与是根据色彩权重与纹理权重的计算方法，对第一融合图像F1(x,y)与最优源图像SI进行亮度评分并进行色彩与纹理加权后得到的；
(3.3)计算最优源图像SI与第二融合图像F2之间感兴趣区域的差，获得通过加权后的第二加权差值的均值若均值小于融合前的均值则将最优源图像SI与第二融合图像F2进行再次融合，得到第三融合图像F3；若均值满足终止条件则满足终止条件则停止迭代，并输出第1次的融合结果F1作为最终融合结果；
若一直迭代融合，当前迭代次数为n时得到第n融合图像Fn；
计算最优源图像SI第n融合图像Fn之间感兴趣区域的差，获得通过加权后的第n加权差值的均值其中第n差值图像和第n加权差值图像如下公式(8)、(9)所示：
若均值小于融合前的均值则将最优源图像与第n次融合图像进行再次融合，得到第n+1融合图像Fn+1；若均值满足终止条件则停止迭代，并输出第n-1次的融合结果Fn-1作为最终融合结果；终止条件为均值不小于融合前的均值或者终止条件为均值与初次融合时的差值均值MI相比减小到阀值百分比。
本发明通过上述过程的迭代，不断地将最优源图像与第n融合图像进行融合，即可进一步改善融合图像中过亮或者过暗的区域，且尽可能少地影响正常亮度区域。当最优源图像与第n融合图像之间感兴趣区域差值的均值较初次融合时的差值均值减小某一百分比时，即停止迭代。该阈值百分比可通过重复实验的经验值获得，通常当阈值百分比为30％时，即可取得较好的效果。本发明的融合方法首先获取源图像，对源图像中图像色彩、纹理丰富的主体区域进行识别，生成图像主体掩模；针对图像主体掩模，根据图像中像素的亮度高低、色彩和纹理的丰富性进行加权融合，得到基于主体区域权重的第一融合图像；选取最优的输入源图像，即最优待融合图像，然后将最优待融合图像与第一融合图像进行迭代融合，以自适应调整融合图像场景中过亮或者过暗的非主体区域的亮度得到最优融合图像；在不断的融合过程中充分利用原图信息，对融合图像进行亮度的自适应调节与信息的补充，从而克服现有技术中因无法自适应各种场景的亮度条件而导致图像信息融合不充分和图像质量差等问题。
如图2所示，本发明一种全场景亮度自适应的图像融合装置，包括主体识别模块，用于获取源图像，并对源图像中图像色彩、纹理丰富的主体区域进行识别，生成图像主体掩模并输出图像主体掩模；
其中主体识别模块包括获取源图像单元，用于获取待融合的2N+1张不同曝光条件下采集的源图像Si,i＝-N,…,-2,-1,0,1,2,…,N；2N+1张源图像的曝光时间随着i值的增大而增加，i为0时对应正常曝光；
计算亮度图像单元，用于计算并获得源图像所对应的亮度图像Li,i＝-N,…,-2,-1,0,1,2,…,N；
亮度显著性图单元，用于统计亮度图像Li的亮度均值meani，并利用该亮度均值meani对亮度图像中的每个像素pixel(x,y)进行显著性评估，(x,y)表示该像素在图像中的坐标，显著性评估规则为：pixel(x,y)与meani的差异越大，则越显著；通过显著性评估生成亮度图像的显著性得分图，然后对每一张得分图归一化，获得每张图像的亮度显著性图Sali,i＝-N,…,-2,-1,0,1,2,…,N；
图像主体掩模单元，用于根据主体识别规则：当i小于0时，显著性图中大值部分为图像中感兴趣的主体部分，而当i大于0时，显著性图中的小值部分为图像中感兴趣的主体部分；对每一张亮度显著性图Sali进行二值化，生成各自对应的图像主体掩模Maski；
融合模块，用于接收图像主体掩模，基于图像主体掩模，根据图像中像素的亮度高低、色彩和纹理的丰富性进行加权融合，得到基于主体区域权重的第一融合图像并输出；
其中融合模块包括亮度评分图单元，用于根据亮度图像的亮度特性设置最优亮度值，当图像中某一像素的亮度值等于最优亮度值时，表示该像素的亮度为最优亮度，评分最高；像素的亮度离最优亮度差异越大，则评分越低；根据像素亮度评分规则，遍历每一张亮度图像的像素，为每一张图亮度像生成各自的亮度评分图Ei,i＝-N,…,-2,-1,0，1,2,…,N；亮度评分最高为1，最低为0；
权重图单元，用于获取亮度评分图Ei后，分别根据图像的色彩饱和度与纹理丰富性计算其色彩权重图Sati与纹理权重图Ci,i＝-N,…,-2,-1,0,1,2,…,N；其计算规则是：像素色彩饱和度越高，则色彩权重越大；像素与周围像素构成的纹理越清晰，则纹理权重越大；色彩权重和纹理权重的最大值均为1，最小值均为0；
亮度评分图单元，用于根据获得的色彩权重图与纹理权重图对亮度评分图Ei进行加权，得到加权后的亮度评分图E2i；加权方法如公式(1)所示：
主体区域权重图单元，用于将各个源图像的主体掩模Maski与加权后的亮度评分图E2i相乘，再对其进行归一化，得到感兴趣的主体区域权重图Wi，具体过程如公式(2)所示：
其中，δ为用于防止计算时分母为零的常量；
第一融合图像单元，用于将各个源图像Si与感兴趣的主体区域权重图Wi进行加权融合得到第一融合图像F，具体融合过程如公式(3)所示：
图像选择模块，用于接收第一融合图像，并选取最优的输入源图像，输出最优待融合图像；其中图像选择模块包括第一加权差值图像单元，用于先计算除第0张之外的源图像与第一融合图像之间的差值并取绝对值，获得第一差值图像Ri；再将第0张源图像的主体掩模取反得到非主体掩模然后根据非主体掩模色彩权重Sati与纹理权重Ci对第一差值图像进行加权，获得第一加权差值图像Ri'，如下公式(4)、(5)所示：
Ri＝|F-Si| …(4)
最优源图像单元，用于统计加权后的差值R′i(x,y)的均值Mi，选择最大均值MI对应的第i张图像作为待融合的最优源图像SI。
迭代融合模块，用于接收最优待融合图像，并将最优待融合图像与第一融合图像进行加权迭代融合得到当前的第n融合图像和第n融合判断参数；将第n融合判断参数传输至过融合判断模块；不满足迭代终止条件则继续加权迭代融合，满足迭代终止条件则输出第n-1融合图像为最终融合结果；其中迭代融合模块，用于将最优源图像SI与第一融合图像F1进行融合，调整第一融合图像高亮区域的亮度，得到第二融合图像F2，具体融合过程如下公式(6)所示：
其中与是根据色彩权重与纹理权重的计算方法，对第一融合图像F1(x,y)与最优源图像SI进行亮度评分并进行色彩与纹理加权后得到的；
迭代融合，得到第n融合图像Fn；
计算最优源图像SI第n融合图像Fn之间感兴趣区域的差，获得通过加权后的第n加权差值的均值均值为第n融合判断参数；其中第n差值图像和第n加权差值图像如下公式(8)、(9)所示：
过融合判断模块，用于接收第n融合判断参数，判断第n融合判断参数是否满足迭代终止条件，并将判断结果传输至迭代融合模块；具体的过融合判断模块用于接收均值判断均值是否满足迭代终止条件，迭代终止条件为均值不小于融合前的均值或者终止条件为均值与初次融合时的差值均值MI相比减小到阀值百分比；并将判断结果传输至迭代融合模块；
迭代融合模块接收判断结果，若均值小于融合前的均值则迭代融合模块将最优源图像与第n次融合图像进行再次融合，得到第n+1融合图像Fn+1；若均值满足终止条件则停止迭代，并迭代融合模块输出第n-1次的融合结果Fn-1作为最终融合结果。
本发明的融合装置利用主体识别模块、融合模块、图像选择模块、迭代融合模块和过融合判断模块的相互作用，对图像迭代融合，在不断的融合过程中充分利用原图信息，对融合图像的中过亮或者过暗的非主体区域进行亮度的自适应调节与信息的补充，克服了现有技术中因无法自适应各种场景的亮度条件而导致图像信息利用不充分，色彩与细节丢失，图像质量差的问题。
实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中。在本发明的上下文中，所述计算机可读介质可以被认为是有形的且非暂时性的。非暂时性有形计算机可读介质的非限制性示例包括非易失性存储器电路(例如闪存电路、可擦除可编程只读存储器电路或掩膜只读存储器电路)、易失性存储器电路(例如静态随机存取存储器电路或动态随机存取存储器电路)、磁存储介质(例如模拟或数字磁带或硬盘驱动器)和光存储介质(例如CD、DVD或蓝光光盘)等。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。此外，虽然采用特定次序描绘了各操作，但是这并不应当理解为必须以所示出的特定次序执行。在一定环境下，多任务和并行处理可能是有利的，或者其中的一个或多个任务可以省略，或者以其他顺序执行。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本发明的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

Claims (3)

1.一种全场景亮度自适应的图像融合方法，其特征在于，包括如下步骤：
(1)获取任意场景源图像，对源图像中图像色彩、纹理丰富的主体区域进行识别，生成图像主体掩模；
所述步骤(1)中生成图像主体掩模的具体方法包括如下步骤：
(1.1)获取待融合的2N+1张不同曝光条件下采集的源图像
Si,i＝-N,…,-2,-1,0,1,2,…,N；2N+1张源图像的曝光时间随着i值的增大而增加，i为0时对应正常曝光；
(1.2)计算并获得源图像所对应的亮度图像Li,i＝-N,…,-2,-1,0,1,2,…,N；
(1.3)统计亮度图像Li的亮度均值meani，并利用该亮度均值meani对亮度图像中的每个像素pixel(x,y)进行显著性评估，(x,y)表示该像素在图像中的坐标，显著性评估规则为：pixel(x,y)与meani的差异越大，则越显著；通过显著性评估生成亮度图像的显著性得分图，然后对每一张得分图归一化，获得每张图像的亮度显著性图Sali,i＝-N,…，-2,-1,0,1,2,…,N；
(1.4)根据主体识别规则：当i小于0时，显著性图中大值部分为图像中感兴趣的主体部分，而当i大于0时，显著性图中的小值部分为图像中感兴趣的主体部分；对每一张亮度显著性图Sali进行二值化，生成各自对应的图像主体掩模Maski；
(2)基于图像主体掩模，根据图像中像素的亮度高低、色彩和纹理的丰富性进行加权融合，得到基于主体区域权重的第一融合图像；
所述步骤(2)中第一融合图像加权融合的具体方法包括如下步骤：
(2.1)根据亮度图像的亮度特性设置最优亮度值，当图像中某一像素的亮度值等于最优亮度值时，表示该像素的亮度为最优亮度，评分最高；像素的亮度离最优亮度差异越大，则评分越低；根据像素亮度评分规则，遍历每一张亮度图像的像素，为每一张图亮度像生成各自的亮度评分图Ei,i＝-N,…,-2,-1,0,1,2,…,N；亮度评分最高为1，最低为0；
(2.2)获取亮度评分图Ei后，分别根据图像的色彩饱和度与纹理丰富性计算其色彩权重图Sati与纹理权重图Ci,i＝-N,…,-2,-1,0,1,2,…,N；其计算规则是：像素色彩饱和度越高，则色彩权重越大；像素与周围像素构成的纹理越清晰，则纹理权重越大；色彩权重和纹理权重的最大值均为1，最小值均为0；
(2.3)根据获得的色彩权重图与纹理权重图对亮度评分图Ei进行加权，得到加权后的亮度评分图E2i；加权方法如公式(1)所示：
(2.4)将各个源图像的主体掩模Maski与加权后的亮度评分图E2i相乘，再对其进行归一化，得到感兴趣的主体区域权重图Wi，具体过程如公式(2)所示：
其中，δ为用于防止计算时分母为零的常量；
(2.5)将各个源图像Si与感兴趣的主体区域权重图Wi进行加权融合得到第一融合图像F，具体融合过程如公式(3)所示：
(3)选取最优的输入源图像，即最优待融合图像，然后将最优待融合图像与第一融合图像进行迭代融合，满足迭代终止条件则输出最优融合图像；
所述步骤(3)中迭代融合得到最优融合图像的具体方法包括如下步骤：
(3.1)先计算除第0张之外的源图像与第一融合图像之间的差值并取绝对值，获得第一差值图像Ri；再将第0张源图像的主体掩模取反得到非主体掩模然后根据非主体掩模色彩权重Sati与纹理权重Ci对第一差值图像进行加权，获得第一加权差值图像Ri'，如下公式(4)、(5)所示：
Ri＝|F-Si|…(4)
(3.2)统计加权后的差值Ri′的均值Mi，选择最大均值MI对应的第i张图像作为待融合的最优源图像SI，将最优源图像与第一融合图像F1进行融合，调整第一融合图像高亮区域的亮度，得到第二融合图像F2，具体融合过程如公式(6)所示：
其中与是根据色彩权重与纹理权重的计算方法，对第一融合图像F1与最优源图像SI进行亮度评分并进行色彩与纹理加权后得到的；
(3.3)迭代融合，得到第n融合图像Fn；
计算最优源图像SI与第n融合图像Fn之间感兴趣区域的差，获得通过加权后的第n加权差值的均值其中第n差值图像和第n加权差值图像如下公式(8)、(9)所示：
若均值小于融合前的均值则将最优源图像与第n次融合图像进行再次融合，得到第n+1融合图像Fn+1；若均值满足终止条件则停止迭代，并输出第n-1次的融合结果Fn-1作为最终融合结果。
2.根据权利要求1所述的一种全场景亮度自适应的图像融合方法，其特征在于：所述步骤(3.3)中终止条件为均值不小于融合前的均值或者终止条件为均值与初次融合时的差值均值MI相比减小到阀值百分比。
3.一种全场景亮度自适应的图像融合装置，其特征在于，包括主体识别模块，用于获取源图像，对源图像中图像色彩、纹理丰富的主体区域进行识别，生成图像主体并输出图像主体掩模；
所述主体识别模块包括获取源图像单元，用于获取待融合的2N+1张不同曝光条件下采集的源图像Si,i＝-N,…,-2,-1,0，1,2,…,N；2N+1张源图像的曝光时间随着i值的增大而增加，i为0时对应正常曝光；
计算亮度图像单元，用于计算并获得源图像所对应的亮度图像Li,i＝-N,…,-2,-1,0,1,2,…,N；
亮度显著性图单元，用于统计亮度图像Li的亮度均值meani，并利用该亮度均值meani对亮度图像中的每个像素pixel(x,y)进行显著性评估，(x,y)表示该像素在图像中的坐标，显著性评估规则为：pixel(x,y)与meani的差异越大，则越显著；通过显著性评估生成亮度图像的显著性得分图，然后对每一张得分图归一化，获得每张图像的亮度显著性图Sali,i＝-N,…,-2,-1,0,1,2,…,N；
图像主体掩模单元，用于根据主体识别规则：当i小于0时，显著性图中大值部分为图像中感兴趣的主体部分，而当i大于0时，显著性图中的小值部分为图像中感兴趣的主体部分；对每一张亮度显著性图Sali进行二值化，生成各自对应的图像主体掩模Maski；
融合模块，用于接收图像主体掩模，基于图像主体掩模，根据图像中像素的亮度高低、色彩和纹理的丰富性进行加权融合，得到基于主体区域权重的第一融合图像并输出；
融合模块包括亮度评分图单元，用于根据亮度图像的亮度特性设置最优亮度值，当图像中某一像素的亮度值等于最优亮度值时，表示该像素的亮度为最优亮度，评分最高；像素的亮度离最优亮度差异越大，则评分越低；根据像素亮度评分规则，遍历每一张亮度图像的像素，为每一张图亮度像生成各自的亮度评分图Ei,i＝-N,…,-2,-1,0,1,2,…,N；亮度评分最高为1，最低为0；
权重图单元，用于获取亮度评分图Ei后，分别根据图像的色彩饱和度与纹理丰富性计算其色彩权重图Sati与纹理权重图Ci,i＝-N,…,-2,-1,0,1,2,…,N；其计算规则是：像素色彩饱和度越高，则色彩权重越大；像素与周围像素构成的纹理越清晰，则纹理权重越大；色彩权重和纹理权重的最大值均为1，最小值均为0；
亮度评分图单元，用于根据获得的色彩权重图与纹理权重图对亮度评分图Ei进行加权，得到加权后的亮度评分图E2i；加权方法如公式(1)所示：
主体区域权重图单元，用于将各个源图像的主体掩模Maski与加权后的亮度评分图E2i相乘，再对其进行归一化，得到感兴趣的主体区域权重图Wi，具体过程如公式(2)所示：
其中，δ为用于防止计算时分母为零的常量；
第一融合图像单元，用于将各个源图像Si与感兴趣的主体区域权重图Wi进行加权融合得到第一融合图像F，具体融合过程如公式(3)所示：
图像选择模块，用于接收第一融合图像，并选取最优的输入源图像，输出最优待融合图像；
所述图像选择模块包括第一加权差值图像单元，用于先计算除第0张之外的源图像与第一融合图像之间的差值并取绝对值，获得第一差值图像Ri；再将第0张源图像的主体掩模取反得到非主体掩模然后根据非主体掩模色彩权重Sati与纹理权重Ci对第一差值图像进行加权，获得第一加权差值图像Ri'，如下公式(4)、(5)所示：
Ri＝|F-Si|…(4)
最优源图像单元，用于统计加权后的差值Ri′(x,y)的均值Mi，选择最大均值MI对应的第i张图像作为待融合的最优源图像SI；
迭代融合模块，用于接收最优待融合图像，并将最优待融合图像与第一融合图像进行加权迭代融合得到当前的第n融合图像和第n融合判断参数；将第n融合判断参数传输至过融合判断模块；不满足迭代终止条件则继续加权迭代融合，满足迭代终止条件则输出第n-1融合图像为最终融合结果；
所述迭代融合模块，用于将最优源图像SI与第一融合图像F1进行融合，调整第一融合图像高亮区域的亮度，得到第二融合图像F2，具体融合过程如公式(6)所示：
其中与是根据色彩权重与纹理权重的计算方法，对第一融合图像F1(x,y)与最优源图像SI进行亮度评分并进行色彩与纹理加权后得到的；
迭代融合，得到第n融合图像Fn；
计算最优源图像SI第n融合图像Fn之间感兴趣区域的差，获得通过加权后的第n加权差值的均值均值为第n融合判断参数；其中第n差值图像和第n加权差值图像如下公式(8)、(9)所示：
过融合判断模块用于接收均值判断均值是否满足迭代终止条件，迭代终止条件为均值不小于融合前的均值或者终止条件为均值与初次融合时的差值均值MI相比减小到阀值百分比；并将判断结果传输至迭代融合模块；
迭代融合模块接收判断结果，若均值小于融合前的均值则迭代融合模块将最优源图像与第n次融合图像进行再次融合，得到第n+1融合图像Fn+1；若均值满足终止条件则停止迭代，并迭代融合模块输出第n-1次的融合结果Fn-1作为最终融合结果；
过融合判断模块，用于接收第n融合判断参数，判断第n融合判断参数是否满足迭代终止条件，并将判断结果传输至迭代融合模块。
CN202210091494.3A 2022-01-26 2022-01-26 一种全场景亮度自适应的图像融合方法及装置 Active CN114429437B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210091494.3A CN114429437B (zh) 2022-01-26 2022-01-26 一种全场景亮度自适应的图像融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210091494.3A CN114429437B (zh) 2022-01-26 2022-01-26 一种全场景亮度自适应的图像融合方法及装置

Publications (2)

Publication Number Publication Date
CN114429437A CN114429437A (zh) 2022-05-03
CN114429437B true CN114429437B (zh) 2024-07-02

Family

ID=81313143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210091494.3A Active CN114429437B (zh) 2022-01-26 2022-01-26 一种全场景亮度自适应的图像融合方法及装置

Country Status (1)

Country Link
CN (1) CN114429437B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115554B (zh) * 2022-08-30 2022-11-04 腾讯科技（深圳）有限公司 基于增强图像的图像处理方法、装置和计算机设备
CN116678827A (zh) * 2023-05-31 2023-09-01 天芯电子科技(江阴)有限公司 一种大电流电源模块lga封装引脚检测系统
CN117939307B (zh) * 2024-03-19 2024-06-04 四川辰宇微视科技有限公司 一种适用于融合相机的自适应亮度调节方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754377A (zh) * 2018-12-29 2019-05-14 重庆邮电大学 一种多曝光图像融合方法
CN111340745A (zh) * 2020-03-27 2020-06-26 成都安易迅科技有限公司 一种图像生成方法、装置、存储介质及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411938B2 (en) * 2007-11-29 2013-04-02 Sri International Multi-scale multi-camera adaptive fusion with contrast normalization
CN113358063B (zh) * 2021-06-04 2022-03-18 华中科技大学 一种基于相位加权融合的面结构光三维测量方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754377A (zh) * 2018-12-29 2019-05-14 重庆邮电大学 一种多曝光图像融合方法
CN111340745A (zh) * 2020-03-27 2020-06-26 成都安易迅科技有限公司 一种图像生成方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN114429437A (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN114429437B (zh) 一种全场景亮度自适应的图像融合方法及装置
Zhang et al. Underwater image enhancement by attenuated color channel correction and detail preserved contrast enhancement
Huang et al. Shallow-water image enhancement using relative global histogram stretching based on adaptive parameter acquisition
US8396324B2 (en) Image processing method and apparatus for correcting distortion caused by air particles as in fog
US9542728B2 (en) Apparatus and method for processing color image using depth image
CN107408296B (zh) 用于高动态范围图像的实时噪声消除和图像增强的方法以及系统
JP5906188B2 (ja) 範囲情報を使用したデジタル画像の輝度調整
CN107172354B (zh) 视频处理方法、装置、电子设备及存储介质
CN110390643B (zh) 一种车牌增强方法、装置及电子设备
JP4456819B2 (ja) デジタル画像鮮鋭化装置
JP2003196653A (ja) イメージコンテンツに基づいて画像の特性を改善するための方法及びシステム
JP2011521521A (ja) 最適映像選択
US8594446B2 (en) Method for enhancing a digitized document
Qian et al. Video background replacement without a blue screen
CN110310231B (zh) 一种将第一动态范围视频转换为第二动态范围视频的设备及其方法
CN111340732B (zh) 一种低照度视频图像增强方法及装置
Mi et al. Multi-purpose oriented real-world underwater image enhancement
CN107659777B (zh) 一种自动曝光的方法及装置
US6323855B1 (en) Sharpening edge features in digital image providing high frequency edge enhancement
CN113450282B (zh) 美化图像的方法和系统
KR102136716B1 (ko) 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
US9536337B1 (en) Restoring digital image noise lost in a blur
Islam et al. Spatio-temporal colour correction of strongly degraded movies
Akai et al. Low-Artifact and Fast Backlit Image Enhancement Method Based on Suppression of Lightness Order Error
CN117151993A (zh) 一种全天候全照度视频图像质量提升方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant