CN108205796A - 一种多曝光图像的融合方法及装置 - Google Patents

一种多曝光图像的融合方法及装置 Download PDF

Info

Publication number
CN108205796A
CN108205796A CN201611169408.7A CN201611169408A CN108205796A CN 108205796 A CN108205796 A CN 108205796A CN 201611169408 A CN201611169408 A CN 201611169408A CN 108205796 A CN108205796 A CN 108205796A
Authority
CN
China
Prior art keywords
image
target
luminance
pixel points
mean value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611169408.7A
Other languages
English (en)
Other versions
CN108205796B (zh
Inventor
张锦涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Datang Telecommunication Science & Technology Co Ltd
Datang Telecom Technology Co Ltd
Leadcore Technology Co Ltd
Datang Semiconductor Design Co Ltd
Original Assignee
Datang Telecommunication Science & Technology Co Ltd
Leadcore Technology Co Ltd
Datang Semiconductor Design Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Datang Telecommunication Science & Technology Co Ltd, Leadcore Technology Co Ltd, Datang Semiconductor Design Co Ltd filed Critical Datang Telecommunication Science & Technology Co Ltd
Priority to CN201611169408.7A priority Critical patent/CN108205796B/zh
Publication of CN108205796A publication Critical patent/CN108205796A/zh
Application granted granted Critical
Publication of CN108205796B publication Critical patent/CN108205796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种多曝光图像的融合方法及装置。该方法包括：获取目标场景在多个曝光度下对应的多个图像；获取每个图像的亮度分量图以及每个图像对应的权值图；根据亮度分量图从多个图像中确定至少两个目标图像；根据目标图像的数量、目标像素点对应的亮度值均值以及至少一个亮度阈值，确定目标调整图像；在目标权值图中对目标像素点的权值进行调整，目标权值图为目标调整图像对应的权值图；根据调整后的权值图对多个图像进行融合。本发明实施例提供的技术方案，实现了融合的HDR图像明暗区域细节信息的增强，有效提高了HDR图像的融合质量。

Description

一种多曝光图像的融合方法及装置
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种多曝光图像融合方法及装置。
背景技术
近些年宽动态(High-Dynamic Range，HDR)拍照技术逐渐普及开来。其中，基于时域多次曝光融合技术成本最低，是目前最为可靠的方法。该方法无需增加硬件设备，主要通过软件后处理方法拓展传统相机的动态范围。谢骞等人基于时域多次曝光融合技术提出了YUV颜色空间法，将Y(亮度)分量和UV(对比度、饱和度)分量分离处理的HDR合成方法。嵌入式设备中普遍采用该类方法进行HDR图像合成，输入图像多为3幅。
但是，该类方法在许多场景下存在着不可忽视的缺点：明暗区域细节的缺失。Merten等人在计算曝光融合权重因子时考虑了三个影响因子：对比度、饱和度和曝光度，使用这三个影响因子进行多曝光融合可以得到比较理想的宽动态图像。
但是对合成图像的质量进行客观地衡量后可以发现，如果输入图像(以3幅为例)中存在某区域在其中两幅输入图像中曝光过度或欠曝光，则最终合成的HDR图像很有可能会对另一幅输入图像中正常曝光的该区域中富含的细节部分造成严重衰减甚至丢失。
发明内容
本发明实施例提供一种细节增强的多曝光融合方法及装置，以实现明暗区域细节信息的增强，从而提高HDR图像的融合质量。
第一方面，本发明实施例提供一种多曝光图像的融合方法，该方法包括：
获取目标场景在多个曝光度下对应的多个图像，每个图像与每个曝光度一一对应；
获取每个图像的亮度分量图以及每个图像对应的权值图；
根据所述亮度分量图从所述多个图像中确定至少两个目标图像，所述目标图像中存在至少一个目标像素点，所述至少两个目标图像的相同位置的目标像素点的亮度差值小于预设亮度差值；
根据所述目标图像的数量、所述目标像素点对应的亮度值均值以及至少一个亮度阈值，确定目标调整图像；
在目标权值图中对所述目标像素点的权值进行调整，所述目标权值图为所述目标调整图像对应的权值图；
根据调整后的权值图对所述多个图像进行融合。
第二方面，本发明实施例还提供了一种多曝光图像的融合装置，该装置包括：
图像获取模块，用于获取目标场景在多个曝光度下对应的多个图像，每个图像与每个曝光度一一对应；
亮度分量图及权值图获取模块，用于获取每个图像的亮度分量图以及每个图像对应的权值图；
目标图像确定模块，用于根据所述亮度分量图从所述多个图像中确定至少两个目标图像，所述目标图像中存在至少一个目标像素点，所述至少两个目标图像的相同位置的目标像素点的亮度差值小于预设亮度差值；
目标调整图像确定模块，用于根据所述目标图像的数量、所述目标像素点对应的亮度值均值以及至少一个亮度阈值，确定目标调整图像；
权值调整模块，用于在目标权值图中对所述目标像素点的权值进行调整，所述目标权值图为所述目标调整图像对应的权值图；
图像融合模块，用于根据调整后的权值图对所述多个图像进行融合。
本发明实施例提供的技术方案，解决了当输入图像中存在某区域在其中两幅或多幅图像中曝光过度或欠曝光时，最终合成的HDR图像会对其他图像中正常曝光的该区域中富含的细节部分造成严重衰减甚至丢失的问题，实现了融合的HDR图像明暗区域细节信息的增强，有效提高了HDR图像的融合质量。
附图说明
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1是本发明实施例一提供的一种多曝光图像的融合方法的流程图；
图2a是本发明实施例一提供的获取的目标场景的欠曝光的亮度图；
图2b是本发明实施例一提供的获取的目标场景的正常曝光的亮度图；
图2c是本发明实施例一提供的获取的目标场景的过曝光的亮度图；
图2d是本发明实施例一提供的经典多曝光融合方法获得的HDR融合效果图；
图2e为本发明实施例一提供的多曝光图像的融合方法获得的HDR融合效果图；
图3a是本发明实施例一提供的经典多曝光融合方法获得的HDR融合效果图与获取的目标场景的欠曝光的亮度图之间的SSIM值示意图；
图3b为本发明实施例一提供的多曝光图像的融合方法获得的HDR融合效果图与获取的目标场景的欠曝光的亮度图之间的SSIM值示意图；
图3c为本发明实施例一提供的经典多曝光融合方法获得的HDR融合效果图与获取的目标场景的过曝光的亮度图之间的SSIM值示意图；
图3d为本发明实施例一提供的多曝光图像的融合方法获得的HDR融合效果图与获取的目标场景的过曝光的亮度图之间的SSIM值示意图；
图4是本发明实施例二提供的一种多曝光图像的融合装置的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种多曝光图像的融合方法的流程图，本实施例可用于多曝光图像的融合，该方法可由多曝光图像的融合装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在任何具有图像处理功能的智能终端中，具体实现中，智能终端可包括：平板电脑、智能手机等移动终端，上述终端仅是举例，而非穷举，包含但不限于上述智能终端。
参见图1，所述多曝光图像的融合方法，包括：
S110、获取目标场景在多个曝光度下对应的多个图像，每个图像与每个曝光度一一对应。
在本实施例中，使用不同曝光时间对同一目标场景进行采样，获得目标场景在多个曝光度下对应的多个图像，每幅图像均包含有目标场景中的某些细节，并且图像大小相同，没有偏差。其中，至少包含两幅图像，每个图像与每个曝光度一一对应，即每个图像均对应着一个不同的曝光度。示例性的，获取的目标场景的图像个数为三个，分别为图像A、图像B和图像C，图像A、图像B和图像C分别为欠曝光图像、正常曝光图像和过曝光图像。
S120、获取每个图像的亮度分量图以及每个图像对应的权值图。
YUV色彩空间是一种被欧洲电视系统广泛使用的颜色编码，YUV中的Y代表亮度(Luminance、Luma)，也可以称为灰阶值，U和V表示色度和浓度(Chromiance、Chroma)。在YUV色彩空间中，Y的范围为0-255，U的范围为0-122，V的范围为0-135。每个图像分别对应着一个YUV分量。分离多个不同曝光度的图像的Y分量和UV分量，每个图像的Y分量构成与之对应的亮度分量图。
获取的目标场景在不同曝光度下的图像为N幅，用(i,j)表示像素点的坐标，第k幅图像的权值图Wk(i,j)，k＝1,…,N可以表示为：Wk(i,j)＝Ck(i,j)×Ek(i,j)，其中，Ck(i,j)表示图像的对比度，Ek(i,j)表示图像的色彩度。
S130、根据所述亮度分量图从所述多个图像中确定至少两个目标图像。
其中，所述目标图像中存在至少一个目标像素点，所述至少两个目标图像的相同位置的目标像素点的亮度差值小于预设亮度差值。
在获取的多幅图像中存在某区域在其中至少两幅图像中亮度相差不大，即均曝光过度或欠曝光，则称这两幅图像为目标图像。两个目标图像中，相同位置的目标像素点的亮度差值小于预设的亮度差值。由于不同标准和数据类型下亮度分量的数据范围存在变动，在本实施例中，可以先对亮度分量进行归一化处理。可选的，归一化处理后亮度分量的取值范围为(0,1)。示例性的，图像A和图像B为确定的两个目标图像，图像A和图像B在目标像素点处的亮度值分别为Sa和Sb，则|Sa-Sb|<diff_threshold，其中，diff_threshold表示预设亮度差值。预设亮度差值是用户根据需要预先设定的值，预设亮度差值为趋近于0的用来衡量亮度差的阈值，实际取值范围与应用领域有关，例如亮度分量归一化处理后的取值范围为(0,1)时，预设亮度差值的取值为diff_threshold＝0.1。本实施例中预设亮度差值的取值包括但不限于0.1。
S140、根据所述目标图像的数量、所述目标像素点对应的亮度值均值以及至少一个亮度阈值，确定目标调整图像。
可选的，所述目标图像的数量为三个，其中三个目标图像分别为图像A、图像B和图像C，所述图像A、所述图像B和所述图像C的曝光度依次升高；获取第一亮度均值，所述第一亮度均值为所述图像A中的目标像素点a和所述图像B中的目标像素点b的亮度均值，或所述第一亮度均值为所述图像B中的目标像素点b和所述图像C中的目标像素点c的亮度均值；如果所述第一亮度均值小于等于第一亮度阈值，则将所述图像A确定为目标调整图像；如果所述第一亮度均值大于所述第一亮度阈值小于第二亮度阈值，则将所述图像B确定为目标调整图像；如果所述第一亮度均值大于等于所述第二亮度阈值，则将所述图像C确定为目标调整图像。
可选的，如果所述第一亮度均值小于第一亮度阈值，则将所述图像A确定为目标调整图像；如果所述第一亮度均值大于等于所述第一亮度阈值小于等于第二亮度阈值，则将所述图像B确定为目标调整；如果所述第一亮度均值大于所述第二亮度阈值，则将所述图像C确定为目标调整图像。
示例性的，在图像A中的目标像素点a处的亮度值为S0，在图像B中的目标像素点b处的亮度值为S1，在图像C中的目标像素点c处的亮度值为S2，其中目标像素点a、b和c均为在对应图像中的相同位置的像素点。如果满足Sdiff<diff_threshold，其中Sdiff＝|S0-S1|，Sdiff表示图像A和图像B在目标像素点处的亮度差值，diff_threshold为预设亮度差值。第一亮度均值可以根据公式Savg＝(S0+S1)/2计算得到。第一亮度阈值和第二亮度阈值均为衡量第一亮度均值的阈值。第一亮度阈值可以用low_threshold表示，第二亮度阈值可以用high_threshold表示。如果Savg<low_threshold，则将图像A确定为目标调整图像；如果low_threshold<＝Savg<＝high_threshold，则将图像B确定为目标调整图像；如果Savg>high_threshold，则将图像C确定为目标调整图像。
如果满足Sdiff<diff_threshold，其中Sdiff＝|S1-S2|，Sdiff表示图像B和图像C在目标像素点处的亮度差值，diff_threshold为预设亮度差值。第一亮度均值可以根据公式Savg＝(S1+S2)/2计算得到。第一亮度阈值和第二亮度阈值均为衡量第一亮度均值的阈值。第一亮度阈值可以用low_threshold表示，第二亮度阈值可以用high_threshold表示。如果Savg<low_threshold，则将图像A确定为目标调整图像；如果low_threshold<＝Savg<＝high_threshold，则将图像B确定为目标调整图像；如果Savg>high_threshold，则将图像C确定为目标调整图像。
可选的，所述目标图像的数量为两个，其中两个目标图像分别为图像D、图像E，所述图像D小于所述图像E的曝光度；获取所述图像D中的目标像素点d和所述图像E中的目标像素点e的第二亮度均值；如果所述第二亮度均值小于第三亮度阈值，则将所述图像D确定为目标调整图像；如果所述第二亮度均值大于所述第三亮度阈值，则将所述图像E确定为目标调整图像。可选的，如果所述第二亮度均值小于等于第三亮度阈值，则将所述图像D确定为目标调整图像；如果所述第二亮度均值大于所述第三亮度阈值，则将所述图像E确定为目标调整图像。
示例性的，在图像D中的目标像素点d处的亮度值为S3，在图像E中的目标像素点e处的亮度值为S4，其中目标像素点d和e均为在对应图像中的相同位置的像素点。如果满足Sdiff<diff_threshold，其中Sdiff＝|S3-S4|，Sdiff表示图像D和图像E在目标像素点处的亮度差值，diff_threshold为预设亮度差值。第二亮度均值可以根据公式Savg＝(S3+S4)/2计算得到。第三亮度阈值为衡量第二亮度均值的阈值，第三亮度阈值可以用avg_threshold表示。如果Savg<avg_threshold，则将图像D确定为目标调整图像；如果Savg>avg_threshold，则将图像E确定为目标调整图像。
S150、在目标权值图中对所述目标像素点的权值进行调整。
其中，所述目标权值图为所述目标调整图像对应的权值图。
可选的，根据目标像素点亮度差值的绝对值、目标像素点亮度均值确定去重权重因子；根据所述去重权重因子在目标权值图中对所述目标像素点的权值进行降低。每个图像对应的权值图的权重因子的初始值均为1.0，当确定某图像为目标调整图像时候，根据公式P＝k*Sdiff*Savg*(1-Savg)计算得到去重权重因子，其中，P表示去重权重因子，Sdiff表示目标像素点亮度差值的绝对值，Savg表示目标像素点亮度均值，k表示系数因子。可选的，系数因子k＝4.0。
S160、根据调整后的权值图对所述多个图像进行融合。
可选的，基于拉普拉斯金字塔分解的多曝光图像融合方法，根据调整后的权值图对获取的多个图像进行融合。基于拉普拉斯金字塔分解的多曝光图像融合过程可以大致分为低通滤波、降采样、内插和带通滤波四个基本步骤。
首先，建立图像的高斯塔形分解：用Gk表示高斯金字塔的第k层,用G0表示源图像，同时作为高斯金字塔的最底层(第0层)，则Gk的构造方式如下：ω(m,n)是一个具有低通特性的5×5大小的窗函数，用这个低通滤波函数与Gk-1卷积，对得到的结果做隔行隔列的降采样，为简化书写，定义这一操作为Reduce算子，即：
其中N为金字塔最上层的层号，Ck是第k层的列数，Rk分别是第k层的行数。G0,G1,…,GN就构成了总层数为N+1的高斯金字塔。图像的高斯金字塔分解相当于对低层图像做低通滤波，再对滤波的结果进行降采样；
然后，建立图像的拉普拉斯金字塔：拉普拉斯金字塔建立在高斯金字塔的基础上。对应于Reduce算子，其逆算子Expand定义为：
其中：
由此建立拉普拉斯金字塔，与高斯金字塔类似的，用N表示顶层的层号，LPk为拉普拉斯金字塔分解的第k层图像，其表达式为：
最后，重建源图像：由图像的拉普拉斯金字塔分解过程可以逆推出源图像G0的建立过程。只需高斯金字塔的最高层GN及拉普拉斯金字塔的各层图像即可。定义：
GN,1＝Expand[Expand…[Expand(GN)]]
LPk,1＝Expand[Expand…[Expand(LPk)]]
则有又因为LPN＝GN,可写为LPN,N＝GN,N，所以上式可变为由此可知，G0可通过使用Expand算子将拉普拉斯金字塔各层图像逐步放大到源图像的尺寸后相加的方法实现精确重建。图像的拉普拉斯塔形分解是源图像的完整表示。
采用简化后的融合方法对多个图像的UV分量进行融合处理，具体的，Y分量与UV分量可以分离处理。由于不同标准和数据类型下UV值的数据范围存在变动，在本实施例中，可以先对UV进行归一化处理。示例性的，归一化处理后UV值的取值范围为(-0.5,0.5)，多曝光融合的UV值可以直接选取各个图像中在每个像素位置上色差分量(U值和V值)偏离0最大的U值和V值，作为融合图像的色差分量(即融合图像的U值和V值)。示例性的，获取的目标场景在不同曝光度下对应的图像为N幅，N≥2，则第i幅图像在某个像素位置上的U值和V值分别用Ui和Vi表示，则根据如下公式获得在该像素点处偏离0最大的U值和V值：
其中，U'和V'分别表示多曝光融合图像中偏离0最大的U值和V值的绝对值。当U'＝|Ui|i＝1,2,...,N时，相应地选取Ui作为最终融合图像中对应像素点的U值，同样的，当V'＝|Vi|i＝1,2,...,N时，相应地选取Vi作为最终融合图像中对应像素点的V值。
最后，同步Y和UV分量的处理结果，最终将YUV分量融合得到最后的融合图像。
示例性的，获取的目标场景在不同曝光度下对应的图像为三幅，图2a为获取的目标场景的欠曝光的亮度图，图2b为获取的目标场景的正常曝光的亮度图，图2c为获取的目标场景的过曝光的亮度图，图2d为经典多曝光融合方法获得的HDR融合效果图，图2e为本实施例提供的多曝光图像的融合方法获得的HDR融合效果图。通过对比很容易发现，本实施例提供的多曝光图像的融合方法，在合理提升暗区域(欠曝光区域)亮度的同时也有效地降低了亮区域(过曝光区域)的亮度，可以有效实现亮暗区域细节的增强。
为了更直观地体现本实施例提供的多曝光图像的融合方法对图像明暗区域细节保留的情况，分别对经典多曝光融合方法获得的HDR融合效果图和本实施例提供的多曝光图像的融合方法获得的HDR融合效果图与获取的目标场景的欠曝光的亮度图(图2a)，及获取的目标场景的过曝光的亮度图(图2c)之间的结构相似性(Structural Similarity,SSIM)进行计算。图3a为经典多曝光融合方法获得的HDR融合效果图与获取的目标场景的欠曝光的亮度图之间的SSIM值示意图(像素点越暗表示二者之间相似度越高)，图3b为本实施例提供的多曝光图像的融合方法获得的HDR融合效果图与获取的目标场景的欠曝光的亮度图之间的SSIM值示意图。很明显，本实施例提供的多曝光图像的融合方法获得的HDR融合效果图更多地保留了仅存在于获取的目标场景的欠曝光的亮度图中亮区域中的细节部分。图3c为经典多曝光融合方法获得的HDR融合效果图与获取的目标场景的过曝光的亮度图之间的SSIM值示意图(像素点越暗表示二者之间相似度越高)，图3d为本实施例提供的多曝光图像的融合方法获得的HDR融合效果图与获取的目标场景的过曝光的亮度图之间的SSIM值示意图。很明显，本实施例提供的多曝光图像的融合方法获得的HDR融合效果图更多地保留了仅存在于获取的目标场景的过曝光的亮度图中暗区域中的细节部分。显然，本实施例提供的多曝光图像的融合方法，在暗区域可以提高过曝光图像权重，在亮区域可以提高欠曝光图像权重，从而在亮暗区域都能够更好地保留细节特征，大大提高了HDR图像的融合质量。
本实施例提供的多曝光图像的融合方法，解决了当输入图像中存在某区域在其中两幅或多幅图像中曝光过度或欠曝光时，最终合成的HDR图像会对其他图像中正常曝光的该区域中富含的细节部分造成严重衰减甚至丢失的问题，实现了融合的HDR图像明暗区域细节信息的增强，有效提高了HDR图像的融合质量。
作为本实施例的一个优选实施方案，多曝光图像融合方法还包括：对所述多个图像进行分组，使每个分组中的图像数量为两个或三个。
示例性的，获取的目标场景在多个曝光度下对应的图像个数用N表示，当N大于4时，将N幅图像按曝光度的高低依次排序，并对N幅图像进行分组。当N为偶数时，将N幅图像分为N/2组，每组均包含两幅图像。依次确定每组图像是否为目标图像，当确定为目标图像时，依次对每组目标图像按照目标图像的数量为两个的情况确定目标调整图像，并对各目标调整图像对应的目标权值图中的目标像素点的权值进行调整。当N为奇数时，将N幅图像按曝光度从低到高的顺序两两分为一组，将剩下的三幅图分为一组依次确定每组图像是否为目标图像。当确定两两一组的图像为目标图像时，依次对每组目标图像按照目标图像的数量为两个的情况确定目标调整图像；当确定三幅图像为一组的图像为目标图像时，按照目标图像的数量为三个的情况确定目标调整图像。依次对目标调整图像对应的目标权值图中的目标像素点的权值进行调整。
本实施例提供的技术方案，不仅可以针对两幅或三幅图像实现融合的HDR图像明暗区域细节信息的增强，而且对的任意多幅图像均可有效提高HDR图像的融合质量。
实施例二
图4为本发明实施例提供的一种多曝光图像的融合装置的结构示意图，所示装置包括：图像获取模块210、亮度分量图及权值图获取模块220、目标图像确定模块230、目标调整图像确定模块240、权值调整模块250和图像融合模块260，下面对各模块进行具体说明。
图像获取模块210，用于获取目标场景在多个曝光度下对应的多个图像，每个图像与每个曝光度一一对应；
亮度分量图及权值图获取模块220，用于获取每个图像的亮度分量图以及每个图像对应的权值图；
目标图像确定模块230，用于根据所述亮度分量图从所述多个图像中确定至少两个目标图像，所述目标图像中存在至少一个目标像素点，所述至少两个目标图像的相同位置的目标像素点的亮度差值小于预设亮度差值；
目标调整图像确定模块240，用于根据所述目标图像的数量、所述目标像素点对应的亮度值均值以及至少一个亮度阈值，确定目标调整图像；
权值调整模块250，用于在目标权值图中对所述目标像素点的权值进行调整，所述目标权值图为所述目标调整图像对应的权值图；
图像融合模块260，用于根据调整后的权值图对所述多个图像进行融合。
优选的，所述目标调整图像确定模块，用于：
所述目标图像的数量为三个，其中三个目标图像分别为图像A、图像B和图像C，所述图像A、所述图像B和所述图像C的曝光度依次升高；
获取第一亮度均值,所述第一亮度均值为所述图像A中的目标像素点a和所述图像B中的目标像素点b的亮度均值，或所述第一亮度均值为所述图像B中的目标像素点b和所述图像C中的目标像素点c的亮度均值；
如果所述第一亮度均值小于第一亮度阈值，则将所述图像A确定为目标调整图像；
如果所述第一亮度均值大于所述第一亮度阈值小于第二亮度阈值，则将所述图像B确定为目标调整图像；
如果所述第一亮度均值大于所述第二亮度阈值，则将所述图像C确定为目标调整图像。
优选的，所述目标调整图像确定模块，用于：
所述目标图像的数量为两个，其中两个目标图像分别为图像D、图像E，所述图像D小于所述图像E的曝光度；
获取所述图像D中的目标像素点d和所述图像E中的目标像素点e的第二亮度均值；
如果所述第二亮度均值小于第三亮度阈值，则将所述图像D确定为目标调整图像；
如果所述第二亮度均值大于所述第三亮度阈值，则将所述图像E确定为目标调整图像。
优选的，所述权值调整模块，包括：
去重权重因子确定单元，用于根据目标像素点亮度差值的绝对值、目标像素点亮度均值确定去重权重因子；
权值降低单元，用于根据所述去重权重因子在目标权值图中对所述目标像素点的权值进行降低。
进一步的，还包括：
图像分组模块，用于对所述多个图像进行分组，使每个分组中的图像数量为两个或三个。
本实施例提供的多曝光图像的融合装置，解决了当输入图像中存在某区域在其中两幅或多幅图像中曝光过度或欠曝光时，最终合成的HDR图像会对其他图像中正常曝光的该区域中富含的细节部分造成严重衰减甚至丢失的问题，实现了融合的HDR图像明暗区域细节信息的增强，有效提高了HDR图像的融合质量。
本发明实施例所提供的多曝光图像的融合装置可执行本发明任意实施例所提供的多曝光图像的融合方法，具备执行方法相应的功能模块和有益效果。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种多曝光图像的融合方法，其特征在于，包括：
获取目标场景在多个曝光度下对应的多个图像，每个图像与每个曝光度一一对应；
获取每个图像的亮度分量图以及每个图像对应的权值图；
根据所述亮度分量图从所述多个图像中确定至少两个目标图像，所述目标图像中存在至少一个目标像素点，所述至少两个目标图像的相同位置的目标像素点的亮度差值小于预设亮度差值；
根据所述目标图像的数量、所述目标像素点对应的亮度值均值以及至少一个亮度阈值，确定目标调整图像；
在目标权值图中对所述目标像素点的权值进行调整，所述目标权值图为所述目标调整图像对应的权值图；
根据调整后的权值图对所述多个图像进行融合。
2.根据权利要求1所述的多曝光图像的融合方法，其特征在于，所述根据目标图像的数量、目标像素点对应的亮度值均值以及至少一个亮度阈值，确定目标调整图像，包括：
所述目标图像的数量为三个，其中三个目标图像分别为图像A、图像B和图像C，所述图像A、所述图像B和所述图像C的曝光度依次升高；
获取第一亮度均值,所述第一亮度均值为所述图像A中的目标像素点a和所述图像B中的目标像素点b的亮度均值，或所述第一亮度均值为所述图像B中的目标像素点b和所述图像C中的目标像素点c的亮度均值；
如果所述第一亮度均值小于第一亮度阈值，则将所述图像A确定为目标调整图像；
如果所述第一亮度均值大于所述第一亮度阈值小于第二亮度阈值，则将所述图像B确定为目标调整图像；
如果所述第一亮度均值大于所述第二亮度阈值，则将所述图像C确定为目标调整图像。
3.根据权利要求1所述的多曝光图像的融合方法，其特征在于，所述根据目标图像的数量、目标像素点对应的亮度值均值以及至少一个亮度阈值，确定目标调整图像，包括：
所述目标图像的数量为两个，其中两个目标图像分别为图像D、图像E，所述图像D小于所述图像E的曝光度；
获取所述图像D中的目标像素点d和所述图像E中的目标像素点e的第二亮度均值；
如果所述第二亮度均值小于第三亮度阈值，则将所述图像D确定为目标调整图像；
如果所述第二亮度均值大于所述第三亮度阈值，则将所述图像E确定为目标调整图像。
4.根据权利要求2或3所述的多曝光图像的融合方法，其特征在于，所述在目标权值图中对所述目标像素点的权值进行调整，包括：
根据目标像素点亮度差值的绝对值、目标像素点亮度均值确定去重权重因子；
根据所述去重权重因子在目标权值图中对所述目标像素点的权值进行降低。
5.根据权利要求1所述的多曝光图像的融合方法，其特征在于，还包括：
对所述多个图像进行分组，使每个分组中的图像数量为两个或三个。
6.一种多曝光图像的融合装置，其特征在于，包括：
图像获取模块，用于获取目标场景在多个曝光度下对应的多个图像，每个图像与每个曝光度一一对应；
亮度分量图及权值图获取模块，用于获取每个图像的亮度分量图以及每个图像对应的权值图；
目标图像确定模块，用于根据所述亮度分量图从所述多个图像中确定至少两个目标图像，所述目标图像中存在至少一个目标像素点，所述至少两个目标图像的相同位置的目标像素点的亮度差值小于预设亮度差值；
目标调整图像确定模块，用于根据所述目标图像的数量、所述目标像素点对应的亮度值均值以及至少一个亮度阈值，确定目标调整图像；
权值调整模块，用于在目标权值图中对所述目标像素点的权值进行调整，所述目标权值图为所述目标调整图像对应的权值图；
图像融合模块，用于根据调整后的权值图对所述多个图像进行融合。
7.根据权利要求6所述的多曝光图像的融合装置，其特征在于，所述目标调整图像确定模块，用于：
所述目标图像的数量为三个，其中三个目标图像分别为图像A、图像B和图像C，所述图像A、所述图像B和所述图像C的亮度值依次升高；
获取第一亮度均值,所述第一亮度均值为所述图像A中的目标像素点a和所述图像B中的目标像素点b的亮度均值，或所述第一亮度均值为所述图像B中的目标像素点b和所述图像C中的目标像素点c的亮度均值；
如果所述第一亮度均值小于第一亮度阈值，则将所述图像A确定为目标调整图像；
如果所述第一亮度均值大于所述第一亮度阈值小于第二亮度阈值，则将所述图像B确定为目标调整图像；
如果所述第一亮度均值大于所述第二亮度阈值，则将所述图像C确定为目标调整图像。
8.根据权利要求6所述的多曝光图像的融合装置，其特征在于，所述目标调整图像确定模块，用于：
所述目标图像的数量为两个，其中两个目标图像分别为图像D、图像E，所述图像D小于所述图像E的亮度值；
获取所述图像D中的目标像素点d和所述图像E中的目标像素点e的第二亮度均值；
如果所述第二亮度均值小于第三亮度阈值，则将所述图像D确定为目标调整图像；
如果所述第二亮度均值大于所述第三亮度阈值，则将所述图像E确定为目标调整图像。
9.根据权利要求7或8所述的多曝光图像的融合装置，其特征在于，所述权值调整模块，包括：
去重权重因子确定单元，用于根据目标像素点亮度差值的绝对值、目标像素点亮度均值确定去重权重因子；
权值降低单元，用于根据所述去重权重因子在目标权值图中对所述目标像素点的权值进行降低。
10.根据权利要求6所述的多曝光图像的融合装置，其特征在于，还包括：
图像分组模块，用于对所述多个图像进行分组，使每个分组中的图像数量为两个或三个。
CN201611169408.7A 2016-12-16 2016-12-16 一种多曝光图像的融合方法及装置 Active CN108205796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611169408.7A CN108205796B (zh) 2016-12-16 2016-12-16 一种多曝光图像的融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611169408.7A CN108205796B (zh) 2016-12-16 2016-12-16 一种多曝光图像的融合方法及装置

Publications (2)

Publication Number Publication Date
CN108205796A true CN108205796A (zh) 2018-06-26
CN108205796B CN108205796B (zh) 2021-08-10

Family

ID=62601671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611169408.7A Active CN108205796B (zh) 2016-12-16 2016-12-16 一种多曝光图像的融合方法及装置

Country Status (1)

Country Link
CN (1) CN108205796B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104578A (zh) * 2018-09-21 2018-12-28 维沃移动通信有限公司 一种图像处理方法及移动终端
CN109348088A (zh) * 2018-11-22 2019-02-15 Oppo广东移动通信有限公司 图像降噪方法、装置、电子设备及计算机可读存储介质
CN109685727A (zh) * 2018-11-28 2019-04-26 深圳市华星光电半导体显示技术有限公司 图像处理方法
CN110660039A (zh) * 2019-10-10 2020-01-07 杭州雄迈集成电路技术有限公司 一种多帧加权的宽动态图像处理方法
CN110751608A (zh) * 2019-10-23 2020-02-04 北京迈格威科技有限公司 一种夜景高动态范围图像融合方法、装置和电子设备
CN111182093A (zh) * 2018-11-12 2020-05-19 奇酷互联网络科技（深圳）有限公司 基于三摄像头的hdr拍照方法、移动终端和存储介质
WO2020143257A1 (zh) * 2019-01-11 2020-07-16 影石创新科技股份有限公司 一种抗运动伪影的hdr方法及便携式终端
CN111489320A (zh) * 2019-01-29 2020-08-04 华为技术有限公司 图像处理的方法和装置
CN111565261A (zh) * 2020-06-02 2020-08-21 厦门美图之家科技有限公司 图像处理方法、装置及电子设备
CN111770282A (zh) * 2020-06-28 2020-10-13 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质及终端设备
CN112258417A (zh) * 2020-10-28 2021-01-22 杭州海康威视数字技术股份有限公司 一种图像生成方法、装置及设备
CN112669438A (zh) * 2020-12-31 2021-04-16 杭州海康机器人技术有限公司 一种图像重建方法、装置及设备
CN112819699A (zh) * 2019-11-15 2021-05-18 北京金山云网络技术有限公司 视频处理方法、装置及电子设备
CN113284063A (zh) * 2021-05-24 2021-08-20 维沃移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN113538265A (zh) * 2021-07-06 2021-10-22 Oppo广东移动通信有限公司 图像去噪方法及装置、计算机可读介质、电子设备
CN114554106A (zh) * 2022-02-18 2022-05-27 瑞芯微电子股份有限公司 自动曝光方法、装置、图像获取方法、介质及设备
CN116704454A (zh) * 2022-02-23 2023-09-05 北京嘀嘀无限科技发展有限公司 场景识别方法、装置、服务器、存储介质和程序产品
US11887284B2 (en) 2019-04-15 2024-01-30 Zhejiang Dahua Technology Co., Ltd. Methods and systems for image combination

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103973958A (zh) * 2013-01-30 2014-08-06 阿里巴巴集团控股有限公司 图像处理方法及设备
CN104881854A (zh) * 2015-05-20 2015-09-02 天津大学 基于梯度和亮度信息的高动态范围图像融合方法
CN104899845A (zh) * 2015-05-10 2015-09-09 北京工业大学 一种基于lαβ空间场景迁移的多曝光图像融合方法
CN105872393A (zh) * 2015-12-08 2016-08-17 乐视移动智能信息技术（北京）有限公司 高动态范围图像的生成方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103973958A (zh) * 2013-01-30 2014-08-06 阿里巴巴集团控股有限公司 图像处理方法及设备
CN104899845A (zh) * 2015-05-10 2015-09-09 北京工业大学 一种基于lαβ空间场景迁移的多曝光图像融合方法
CN104881854A (zh) * 2015-05-20 2015-09-02 天津大学 基于梯度和亮度信息的高动态范围图像融合方法
CN105872393A (zh) * 2015-12-08 2016-08-17 乐视移动智能信息技术（北京）有限公司 高动态范围图像的生成方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KEDE MA等: "Perceptual Quality Assessment for Multi-Exposure Image Fusion", 《IEEE TRANSACTIONS ON IMAGE PROCESSING : A PUBLICATION OF THE IEEE SIGNAL PROCESSING SOCIETY》 *
张丽芳等: "利用多曝光对图像进行动态范围增强", 《数据采集与处理》 *
江燊煜等: "基于曝光适度评价的多曝光图像融合方法", 《浙江大学学报(工学版)》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104578B (zh) * 2018-09-21 2020-09-18 维沃移动通信有限公司 一种图像处理方法及移动终端
CN109104578A (zh) * 2018-09-21 2018-12-28 维沃移动通信有限公司 一种图像处理方法及移动终端
CN111182093A (zh) * 2018-11-12 2020-05-19 奇酷互联网络科技（深圳）有限公司 基于三摄像头的hdr拍照方法、移动终端和存储介质
CN109348088A (zh) * 2018-11-22 2019-02-15 Oppo广东移动通信有限公司 图像降噪方法、装置、电子设备及计算机可读存储介质
CN109685727B (zh) * 2018-11-28 2020-12-08 深圳市华星光电半导体显示技术有限公司 图像处理方法
CN109685727A (zh) * 2018-11-28 2019-04-26 深圳市华星光电半导体显示技术有限公司 图像处理方法
WO2020143257A1 (zh) * 2019-01-11 2020-07-16 影石创新科技股份有限公司 一种抗运动伪影的hdr方法及便携式终端
CN111489320A (zh) * 2019-01-29 2020-08-04 华为技术有限公司 图像处理的方法和装置
US11887284B2 (en) 2019-04-15 2024-01-30 Zhejiang Dahua Technology Co., Ltd. Methods and systems for image combination
CN110660039A (zh) * 2019-10-10 2020-01-07 杭州雄迈集成电路技术有限公司 一种多帧加权的宽动态图像处理方法
CN110660039B (zh) * 2019-10-10 2022-04-22 杭州雄迈集成电路技术股份有限公司 一种多帧加权的宽动态图像处理方法
CN110751608A (zh) * 2019-10-23 2020-02-04 北京迈格威科技有限公司 一种夜景高动态范围图像融合方法、装置和电子设备
CN110751608B (zh) * 2019-10-23 2022-08-16 北京迈格威科技有限公司 一种夜景高动态范围图像融合方法、装置和电子设备
CN112819699A (zh) * 2019-11-15 2021-05-18 北京金山云网络技术有限公司 视频处理方法、装置及电子设备
CN111565261A (zh) * 2020-06-02 2020-08-21 厦门美图之家科技有限公司 图像处理方法、装置及电子设备
CN111565261B (zh) * 2020-06-02 2022-05-31 厦门美图之家科技有限公司 图像处理方法、装置及电子设备
CN111770282A (zh) * 2020-06-28 2020-10-13 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质及终端设备
CN112258417A (zh) * 2020-10-28 2021-01-22 杭州海康威视数字技术股份有限公司 一种图像生成方法、装置及设备
CN112258417B (zh) * 2020-10-28 2023-02-28 杭州海康威视数字技术股份有限公司 一种图像生成方法、装置及设备
CN112669438A (zh) * 2020-12-31 2021-04-16 杭州海康机器人技术有限公司 一种图像重建方法、装置及设备
CN113284063A (zh) * 2021-05-24 2021-08-20 维沃移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN113538265A (zh) * 2021-07-06 2021-10-22 Oppo广东移动通信有限公司 图像去噪方法及装置、计算机可读介质、电子设备
CN114554106A (zh) * 2022-02-18 2022-05-27 瑞芯微电子股份有限公司 自动曝光方法、装置、图像获取方法、介质及设备
CN114554106B (zh) * 2022-02-18 2024-01-09 瑞芯微电子股份有限公司 自动曝光方法、装置、图像获取方法、介质及设备
CN116704454A (zh) * 2022-02-23 2023-09-05 北京嘀嘀无限科技发展有限公司 场景识别方法、装置、服务器、存储介质和程序产品

Also Published As

Publication number Publication date
CN108205796B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN108205796A (zh) 一种多曝光图像的融合方法及装置
Kou et al. Multi-scale exposure fusion via gradient domain guided image filtering
CN107534735B (zh) 终端的图像处理方法、装置和终端
CN104717432B (zh) 处理一组输入图像的方法、图像处理设备和数字照相机
CN103973958B (zh) 图像处理方法及设备
CN113992861B (zh) 一种图像处理方法及图像处理装置
DE102013017122B4 (de) Verfahren zum Herstellen automatischer Cinemagramme auf einer Bildgebungsvorrichtung
Phillips et al. Camera image quality benchmarking
WO2014099284A1 (en) Determining exposure times using split paxels
CN108702496A (zh) 用于实时色调映射的系统和方法
KR20150019985A (ko) 이미지의 동적 범위 향상을 위한 방법 및 장치
WO2019209924A1 (en) Systems and methods for image capture and processing
DE102011078662A1 (de) Erfassen und Erzeugen von Bildern mit hohem Dynamikbereich
CN107172370B (zh) 用于增强的高动态范围的系统和方法
CN110335221B (zh) 一种基于无监督学习的多曝光图像融合方法
CN113129391B (zh) 基于多曝光图像特征分布权重的多曝光融合方法
CN108234971A (zh) 白平衡参数确定方法、白平衡调整方法及装置、存储介质、终端
WO2014093048A1 (en) Determining an image capture payload burst structure
CN107977989A (zh) 一种确定图像偏移量的方法及设备
TWI273507B (en) Method and apparatus for image processing
WO2020210472A1 (en) High-dynamic-range image generation with pre-combination denoising
CN108305232A (zh) 一种单帧高动态范围图像生成方法
CN105654424B (zh) 图像的调整比例显示方法、显示系统、显示装置和终端
CN114862734A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
Vanmali et al. Low complexity detail preserving multi-exposure image fusion for images with balanced exposure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant