CN115471435A - 图像融合方法及装置、计算机可读介质和电子设备 - Google Patents

图像融合方法及装置、计算机可读介质和电子设备 Download PDF

Info

Publication number
CN115471435A
CN115471435A CN202211152447.1A CN202211152447A CN115471435A CN 115471435 A CN115471435 A CN 115471435A CN 202211152447 A CN202211152447 A CN 202211152447A CN 115471435 A CN115471435 A CN 115471435A
Authority
CN
China
Prior art keywords
image
exposure
fusion
brightness
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211152447.1A
Other languages
English (en)
Inventor
李海军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202211152447.1A priority Critical patent/CN115471435A/zh
Publication of CN115471435A publication Critical patent/CN115471435A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本公开提供一种图像融合方法及装置、计算机可读介质和电子设备，涉及图像拍摄技术领域。该方法包括：获取原始曝光图像，所述原始曝光图像包括属于同一曝光参数的第一曝光图像，以及属于不同曝光参数的第二曝光图像；对所述原始曝光图像进行配准对齐处理，得到配准对齐后的原始曝光图像；将所述配准对齐后的原始曝光图像进行图像融合，生成目标输出图像。本公开通过对不同曝光时间下采集的原始曝光图像进行配准对齐，然后进行图像融合，能够有效减少生成的目标输出图像中的拖影现象，提升目标输出图像中的纹理细节的清晰度，提高目标输出图像的显示质量。

Description

图像融合方法及装置、计算机可读介质和电子设备
技术领域
本公开涉及图像拍摄技术领域，具体涉及一种图像融合方法、图像融合装置、计算机可读介质和电子设备。
背景技术
高动态范围(High Dynamic Range)成像技术是用来实现比普通数位图像技术更大曝光动态范围(即更大的明暗差别)的一组技术。“动态范围”是一个用于定义相机可以在多大范围内捕捉图像的影调细节的术语，通常指由最低值到最高溢出值之间的范围。简单地说，它描述的是相机在单帧内可以记录的最亮和最暗影调之间的比率。动态范围越大，就能尽可能的保留这些高光区和阴影区的信息。
目前，相关技术中在对多张曝光图像进行融合时，较容易出现“鬼影”，即图像中的拖影现象，导致图像纹理细节丢失，图像质量较差。
发明内容
本公开的目的在于提供一种图像融合方法、图像融合装置、计算机可读介质和电子设备，进而至少在一定程度上减少目标输出图像中的拖影现象，提升纹理细节的清晰度，提高目标输出图像的图像质量。
根据本公开的第一方面，提供一种图像融合方法，包括：
获取原始曝光图像，所述原始曝光图像包括属于同一曝光参数的第一曝光图像，以及属于不同曝光参数的第二曝光图像；
对所述原始曝光图像进行配准对齐处理，得到配准对齐后的原始曝光图像；
将所述配准对齐后的原始曝光图像进行图像融合，生成目标输出图像。
根据本公开的第二方面，提供一种图像融合装置，包括：
图像获取模块，用于获取原始曝光图像，所述原始曝光图像包括属于同一曝光参数的第一曝光图像，以及属于不同曝光参数的第二曝光图像；
图像对齐模块，用于对所述原始曝光图像进行配准对齐处理，得到配准对齐后的原始曝光图像；
图像融合模块，用于将所述配准对齐后的原始曝光图像进行图像融合，生成目标输出图像。
根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。
根据本公开的第四方面，提供一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
本公开的一种实施例所提供的图像融合方法，可以先对获取的原始曝光图像进行配准对齐处理，得到配准对齐后的原始曝光图像，然后可以对配准对齐后的原始曝光图像进行图像融合，生成目标输出图像。在图像融合之前先对原始曝光图像进行配准对齐，可以保证原始曝光图像中相同位置处图像内容表达的准确性，能够有效减少图像融合后得到目标输出图像中的拖影现象，从而提升纹理细节的清晰度，提高目标输出图像的图像质量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示意性示出了本公开示例性实施例中的图像融合方法在应用时所处阶段的示意图；
图2示意性示出本公开示例性实施例中一种图像融合方法的流程示意图；
图3示意性示出本公开示例性实施例中一种对原始曝光图像进行配准对齐的流程示意图；
图4示意性示出本公开示例性实施例中一种统计亮度信息的原理示意图；
图5示意性示出本公开示例性实施例中一种通过局部图像转换矩阵进行重映射的原理示意图；
图6示意性示出本公开示例性实施例中一种对配准对齐后的原始曝光图像进行图像融合的流程示意图；
图7示意性示出本公开示例性实施例中一种对第一曝光图像进行图像融合的流程示意图；
图8示意性示出本公开示例性实施例中一种基于图像块类型实现图像融合的原理示意图；
图9示意性示出本公开示例性实施例中一种映射曲线的示意图；
图10示意性示出本公开示例性实施例中图像融合装置的组成示意图；
图11示出了可以应用本公开实施例的一种电子设备的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
通过HDR技术可以将几张不同曝光度(Exposure Value，EV)的图像合并到一起，找回大光比环境中的高光和阴影细节。例如，对于日落拍摄环境，单张拍摄一般会导致输出图像出现欠曝现象或者过曝现象；使用多曝光拍摄，通过后期HDR合成后，可以得到亮部和暗部都有细节的照片。虽然HDR可以记录下高光和阴影的细节，但是如果这些细节后期恢复的太多，就会造成图像失真，因此利用HDR技术获得高动态范围图像的关键在于，如何在多帧曝光图像融合时选择合适的亮度及细节。
相关技术中，HDR技术一般作用于经过数字图像信号处理(Image SingleProcess，ISP)流程的RGB颜色空间的图像，但是对RGB颜色空间图像进行高动态范围合成时，相比于Raw域数据，计算量较大，实时性较差；另外，在对多张曝光图像进行HDR合成时，相关技术直接对多张曝光图像进行图像融合，这种方案较容易出现拖影现象，导致图像纹理细节丢失，图像质量较差。
鉴于此，本公开首先提供了一种新的图像融合方法，以减少图像融合后得到的图像中的拖影现象，从而提升图像纹理细节的清晰度，提高输出图像的图像质量。
本公开实施方式的图像融合方法可以由电子设备实现，也就是说，电子设备可以执行下述图像融合方法的各个步骤，下述图像融合装置可以配置在该电子设备内。例如可以通过电子设备中配备的图像信号处理器来实现本公开的图像处理方案。另外，本公开对电子设备的类型不做限制，可以包括但不限于智能手机、平板电脑、智能可穿戴设备、个人计算机、服务器等。
可选的，本公开实施方式的图像融合方法也可以由服务器或者服务器集群实现，相应的图像融合装置可以设置在服务器或者服务器集群内。当然，本公开实施方式的图像融合方法还可以由电子设备以及服务器或者服务器集群构成的系统执行，如可以由电子设备采集原始曝光图像，然后上传到服务器或者服务器集群，服务器或者服务器集群通过本公开实施例中的图像融合方法生成目标输出图像后，将目标输出图像返回给电子设备，进行存储、展示以及后处理等，本示例实施例对于执行图像融合方法的方式不做特殊限定。
图1示意性示出了本公开示例性实施例中的图像融合方法在应用时所处阶段的示意图。参考图1所示，本公开实施方式中图像融合方法的输入图像可以是电子设备110的摄像模组中的图像传感器(Image Sensor)120，在不同曝光时间(也可以理解为曝光度EV)下采集的原始曝光图像130，原始曝光图像130可以是Raw域的图像数据。可以将原始曝光图像130输入到图像信号处理器中，图像信号处理器可以在图像信号处理管线140(ISPPipeline)中通过本公开实施例提供的图像融合方法，生成目标输出图像150。当然，图1中以原始曝光图像130为电子设备110实时采集为例进行说明，原始曝光图像130也可以是电子设备从外部(即其他设备)获取到的原始曝光图像，本公开对原始曝光图像的图像来源、图像内容、图像尺寸等均不做限制。
下面以电子设备执行该方法为例，对本公开示例性实施方式的图像融合方法和图像融合装置进行具体说明。
图2示出了本示例性实施方式中一种图像融合方法的流程示意图，可以包括以下步骤S210至步骤S230：
在步骤S210中，获取原始曝光图像，所述原始曝光图像包括属于同一曝光参数的第一曝光图像，以及属于不同曝光参数的第二曝光图像。
在一示例性实施例中，原始曝光图像可以是具有不同曝光参数的多帧图像数据，例如，曝光参数可以是曝光时间，原始曝光图像可以是不同曝光时间下采集的图像数据；当然，曝光参数也可以是曝光度或者光圈进光量，原始曝光图像可以是不同曝光度或者光圈进光量下采集的图像数据，本示例实施例对于控制进光量的曝光参数的类型不做特殊限定。
可以理解的，原始曝光图像可以包括属于不同曝光参数下的曝光图像，另外在同一曝光参数下，可以采集一帧曝光图像，也可以采集多帧曝光图像，即原始曝光图像也可以包括属于同一曝光参数的至少一帧曝光图像。
原始曝光图像可以是图像传感器实时采集的Raw域图像数据，容易理解的，原始曝光图像也可以是经过图像信号处理流程生成的RGB域图像数据或者YUV域图像数据等；以及，输入的原始曝光图像的图像位宽可以是8bit，也可以是10bit，当然，还可以是其他位宽的原始曝光图像，本示例实施例对此不做特殊限定。
可以通过电子设备的摄像模组实时采集原始曝光图像，也可以从其他电子设备以无线通信方式或者有线通信方式获取原始曝光图像，本实施例对于原始曝光图像的来源不做特殊限定。
在步骤S220中，对所述原始曝光图像进行配准对齐处理，得到配准对齐后的原始曝光图像。
在一示例性实施例中，配准对齐处理是指对不同曝光参数下的原始曝光图像进行图像内容对齐的处理过程，例如，配准对齐处理可以是对不同曝光参数下的原始曝光图像进行亮度对齐处理，实现将不同曝光参数下的原始曝光图像的亮度统一到相同级别；配准对齐处理也可以是对不同的原始曝光图像进行图像纹理对齐处理，实现将具有相同图像内容的原始曝光图像中的图像纹理在空间上进行对齐。当然，还可以采用其他类型的对齐方式对多帧原始曝光图像进行配准对齐，如，确定原始曝光图像中的感兴趣区域(如人脸区域)，进而可以根据感兴趣区域对多帧原始曝光图像进行对齐，本示例实施例对此不做任何特殊限定。
在步骤S230中，将所述配准对齐后的原始曝光图像进行图像融合，生成目标输出图像。
在一示例性实施例中，在将不同曝光参数下的原始曝光图像进行配准对齐后，对配准对齐后的原始曝光图像进行图像融合。可选的，可以对属于同一曝光参数的曝光图像进行图像融合，然后可以再对属于不同曝光参数的曝光图像进行图像融合；当然，也可以不通过曝光参数分开融合，而是直接对配准对齐后的原始曝光图像进行两两融合，本示例实施例对配准对齐后的原始曝光图像的图像融合方式不做特殊限定。
可以先对获取的原始曝光图像进行配准对齐处理，得到配准对齐后的原始曝光图像，然后可以对配准对齐后的原始曝光图像进行图像融合，可以保证原始曝光图像中相同位置处图像内容表达的准确性，能够有效减少图像融合后得到目标输出图像中的拖影现象，从而提升纹理细节的清晰度，提高目标输出图像的图像质量。
下面对步骤S210至步骤S230进行详细说明。
在一示例性实施例中，原始曝光图像可以包括属于同一曝光参数的第一曝光图像，以及属于不同曝光参数的第二曝光图像。当然，此处“第一曝光图像”、“第二曝光图像”中的“第一”、“第二”仅用于区分属于相同或者不同曝光参数的原始曝光图像，没有任何特殊含义，并不应对本示例实施例造成任何特殊限定。
举例而言，曝光参数可以是曝光度，采集原始曝光图像的曝光度组合列表可以是{EV0，EV0，EV0，EV+2，EV-2}，即控制摄像模组在曝光度EV0档下采集3帧原始曝光图像，控制摄像模组在曝光度EV+2档下采集1帧原始曝光图像，控制摄像模组在曝光度EV-2档下采集1帧原始曝光图像，曝光度EV0档下采集的3帧原始曝光图像即属于同一曝光参数的第一曝光图像，分别属于EV0档、EV+2档以及EV-2档下的曝光图像即属于不同曝光参数的第二曝光图像。
当然，不同的曝光参数下均可以采集多帧曝光图像，如EV+2档以及EV-2档也可以采集多帧原始曝光图像，例如可以在EV0档下采集4帧或者5帧原始曝光图像，可以EV+2档下采集4帧或者5帧原始曝光图像，在EV-2档下采集4帧或者5帧原始曝光图像，本示例实施例对此不做特殊限定。
可选的，本实施例中的各档位的曝光度EV0，EV+2，EV-2的图像亮度关系可以符合{EV+2：EV0：EV-2＝4:1:0.25}，当然，各档位的图像亮度关系还可以采用其他曝光亮度组合，本示例实施例不以此为限。
可以理解的，本实施例中的曝光度列表以及曝光度档位均是示意性的，例如，曝光度列表也可以是{EV0，EV0，EV0，EV-1，EV-2}，还可以是{EV+1，EV0，EV0，EV-1，EV-2}，本示例实施例对于曝光度组合不做任何特殊限定。
为便于说明，后续实施例均采用曝光度组合列表为{EV0，EV0，EV0，EV+2，EV-2}时采集的原始曝光图像进行举例说明。
在一示例性实施例中，可以通过图3中的步骤实现对原始曝光图像进行配准对齐处理，参考图3所示，具体可以包括：
步骤S310，对所述第二曝光图像进行亮度对齐处理，得到亮度对齐后的第二曝光图像；
步骤S320，对所述第一曝光图像以及所述亮度对齐后的第二曝光图像进行图像纹理对齐，得到目标曝光图像。
其中，第二曝光图像为属于不同曝光参数的原始曝光图像，可以第二曝光图像进行亮度对齐处理，使不同曝光参数下的原始曝光图像的亮度级别统一到相同水平，提升不同曝光参数下的原始曝光图像中的亮度信息的准确性。例如，第二曝光图像可以包括EV0档下的原始曝光图像、EV+2档下的原始曝光图像以及EV-2档下的原始曝光图像，可以确定不同曝光度下的原始曝光图像的亮度比例关系，进而可以通过该亮度比例关系将不同曝光度下的原始曝光图像的亮度信息映射到相同亮度级别。
通常相机在曝光时会将曝光信息以metadata的方式传递出来给算法端使用，但在实际相机曝光时，经常出现曝光比不准确的情况出现，不准确的曝光比下，图像的亮度关系匹配出错，会影响后续的运动检测及图像融合效果。因此，通过对属于不同曝光参数的第二曝光图像进行亮度对齐处理，可以有效保证不同曝光参数下曝光图像的曝光比的准确性，提升不同曝光参数下的原始曝光图像中的亮度信息的准确性，从而保证后续图像融合结果的准确性。
在得到亮度对齐后的第二曝光图像之后，可以将属于同一曝光参数的第一曝光图像以及亮度对齐后的第二曝光图像进行图像纹理对齐，保证第一曝光图像以及第二曝光图像中对于相同位置的图像内容的表达准确性，确保将第一曝光图像以及亮度对齐后的第二曝光图像融合后得到的融合结果中不会出现拖影现象，保证图像内容中的纹理细节的清晰度，提升图像质量。例如，可以通过检测各曝光图像中的图像特征点，并通过确定图像特征点对，对不同曝光图像中的像素点进行重映射，实现图像纹理对齐；当然，也可以通过在各曝光图像中确定感兴趣区域，通过确定感兴趣区域的对齐参数，进而通过该对齐参数对第一曝光图像以及亮度对齐后的第二曝光图像进行图像纹理对齐，本示例实施例对于实现图像纹理对齐的方式不做任何特殊限定。
在一示例性实施例中，可以通过以下步骤实现对第二曝光图像的亮度对齐处理：可以统计第二曝光图像对应的亮度信息；根据亮度信息确定各第二曝光图像之间的亮度映射数据；基于亮度映射数据对第二曝光图像进行亮度对齐处理，得到亮度对齐后的第二曝光图像。
其中，亮度信息是指第二曝光图像中所包含的与图像亮度相关的信息，例如，可以通过直方图统计方式统计第二曝光图像中各像素对应的亮度值得到图像亮度直方分布图，可以将该图像亮度直方分布图作为第二曝光图像对应的亮度信息；也可以通过其他能够计算图像亮度的方式确定第二曝光图像对应的亮度信息，本示例实施例对此不做特殊限定。
亮度映射数据可以根据亮度信息计算得到的用于平衡第二曝光图像之间的曝光比或者亮度比例的映射关系。例如，第二曝光图像可以包括EV0档下的原始曝光图像、EV+2档下的原始曝光图像以及EV-2档下的原始曝光图像，亮度映射数据可以包括EV+2档的原始曝光图像与EV0档的原始曝光图像之间的亮度因子A、以及EV-2档的原始曝光图像与EV0档的原始曝光图像之间的亮度因子B，其中，亮度因子A和亮度因子B的计算过程可以通过关系式(1)进行表示：
Figure BDA0003857472130000081
其中，A可以表示EV+2档的原始曝光图像与EV0档的原始曝光图像之间的亮度因子，B可以表示EV-2档的原始曝光图像与EV0档的原始曝光图像之间的亮度因子，REV+2可以表示EV+2档的原始曝光图像的亮度信息，REV0可以表示EV0档的原始曝光图像的亮度信息，REV-2可以表示EV-2档的原始曝光图像的亮度信息。
在确定亮度映射数据之后，可以将基于亮度映射数据对第二曝光图像进行亮度对齐处理，例如，可以根据亮度映射数据确定EV0档下的原始曝光图像、EV+2档下的原始曝光图像以及EV-2档下的原始曝光图像之间的对应关系，该对应关系可以通过关系式(2)表示：
Figure BDA0003857472130000082
其中，A可以表示EV+2档的原始曝光图像与EV0档的原始曝光图像之间的亮度因子，B可以表示EV-2档的原始曝光图像与EV0档的原始曝光图像之间的亮度因子，PEV+2可以表示EV+2档的原始曝光图像的像素点数据，PEV0可以表示EV0档的原始曝光图像的像素点数据，PEV-2可以表示EV-2档的原始曝光图像的像素点数据。可选的，可以选择任一曝光参数下作为基准亮度图像，例如，将EV0档的原始曝光图像作为基准亮度图像，然后通过EV0档的原始曝光图像的像素点数据PEV0、亮度因子A以及亮度因子B，计算EV-2档的原始曝光图像以及EV+2档的原始曝光图像中更新像素点数据，实现对第二曝光图像的亮度对齐。
通过对属于不同曝光参数的第二曝光图像进行亮度对齐处理，可以有效保证不同曝光参数下曝光图像的曝光比的准确性，提升不同曝光参数下的原始曝光图像中的亮度信息的准确性，从而保证后续图像融合结果的准确性。
可选的，本实施例中可以通过以下步骤统计第二曝光图像对应的亮度信息：可以获取预设的像素块数量，并根据像素块数量对第二曝光图像中的像素块进行划分；确定划分后的第二曝光图像中的目标像素块；计算目标像素块的亮度直方图，并根据亮度直方图确定第二曝光图像对应的亮度信息。
其中，第二曝光图像中的像素块是指曝光图像中由不同颜色通道构成的像素单位，例如，第二曝光图像可以是基于RGBG滤光样式的图像传感器采集的Raw域曝光图像，那么一个像素块可以是由一个RGBG块构成的像素单位；第二曝光图像也可以是基于RYYB滤光样式的图像传感器采集的Raw域曝光图像，那么一个像素块可以是由一个RYYB块构成的像素单位，本示例实施例对此不做特殊限定。
像素块数量是指预先设置的用于统计亮度信息的数量，例如，像素块数量可以是4，那么可以将第二曝光图像中4个像素块(如RGBG块)作为一个最小统计单位对第二曝光图像中的亮度信息进行统计。
目标像素块是指在划分后的像素块中筛选的部分用于统计第二曝光图像中的亮度信息的像素块。
可以通过跳块统计的方式确定目标像素块，例如，可以通过像素块数量划分得到多个4*4的像素块(4*RGBG块)，然后对这些4*4的像素块进行跳块统计，如，跳块步长可以是1，即每跳过一个4*4的像素块，将下一个4*4的像素块作为目标像素块，当然，跳块步长也可以是2、3等，本示例实施例对此不做特殊限定。
也可以通过检测过曝点的方式确定目标像素块，例如，可以通过像素块数量划分得到多个4*4的像素块(4*RGBG块)，然后检测这些4*4的像素块中是否存在过曝点，将存在过曝点的4*4像素块进行剔除，不参与统计亮度信息，遍历所有4*4像素块后，得到目标像素块。
还可以通过对跳块统计的方式确定的像素块进行进一步过曝点筛选，得到目标像素块，例如，可以在通过跳块统计确定一些像素块之后，可以在这些像素块中检测是否存在过曝点，将存在过曝点的像素块进行剔除，得到数量更少的目标像素块。
通过跳块统计能够有效降低目标像素块的数量，降低亮度信息的统计量，提升亮度信息的统计效率；通过过曝点筛选能够有效减少可能影响亮度信息的准确性的像素块，提升统计的亮度信息的准确性。
图4示意性示出本公开示例性实施例中一种统计亮度信息的原理示意图。
参考图4所示，对于第二曝光图像410，可以按照预设的像素块数量，如，像素块数量可以是4，即可以将4个RGBG块作为一个像素块420，可以得到16个像素块。可选的，可以设置跳块步长为1，可以通过跳块统计的方式在这16个像素块中确定目标像素块(如粗线框对应的像素块)，可以确定8个目标像素块，有效降低亮度信息的统计量，提升亮度信息的统计效率。
可选的，除了可以将统计得到的亮度直方图作为第二曝光图像对应的亮度信息，本实施例中可以通过以下步骤实现根据亮度直方图确定第二曝光图像对应的亮度信息：可以获取预设的亮度区间，并根据亮度区间在亮度直方图中筛选目标亮度数据；基于目标亮度数据确定第二曝光图像对应的亮度信息。
其中，亮度区间是指预先设置的用于筛选第二曝光图像中有效亮度信息的数据，例如，亮度区间可以是5％-15％(非饱和暗区)，即可以将亮度直方图中在5％-15％区间内的亮度数据作为目标亮度数据，可以理解的，可以将统计的亮度数据落在相同的亮度直方图中，如亮度直方图可以是0-255范围，可以取255*5％-255*15％这个区间内亮度信息作为目标亮度数据，继而可以将目标亮度数据作为第二曝光图像对应的亮度信息。亮度区间也可以是10％-20％，具体可以根据实际应用情况进行自定义设置，本示例实施例对此不做特殊限定。
通过亮度区间对亮度直方图中的亮度数据进行筛选，可以有效减少参与后续计算的数据量，提升亮度信息统计效率；同时，通过亮度区间对第二曝光图像中的亮度信息进行平滑处理，进一步提升亮度信息的准确性。
在一示例性实施例中，可以通过以下步骤实现对第一曝光图像以及亮度对齐后的第二曝光图像进行图像纹理对齐，得到目标曝光图像：可以在第一曝光图像或者亮度对齐后的第二曝光图像中筛选基准图像，并将第一曝光图像和亮度对齐后的第二曝光图像中除基准图像之外的曝光图像作为待配准图像；确定基准图像以及待配准图像之间的特征点对，并根据特征点对确定图像转换矩阵；根据图像转换矩阵对待配准图像中的像素点进行重映射，得到目标曝光图像。
其中，基准图像是指第一曝光图像以及亮度对齐后的第二曝光图像中图像内容表达相对比较准确的曝光图像，例如，对于在EV+2档下采集的1帧原始曝光图像，在EV0档下采集的3帧原始曝光图像，在EV-2档下采集的1帧原始曝光图像，这5帧原始曝光图像中可以选取EV0档下采集的第3帧原始曝光图像作为基准图像；也可以确定第一曝光图像以及亮度对齐后的第二曝光图像的图像清晰度，选取图像清晰度(常用图像锐度表征图像清晰度，最清晰的一帧意味着更少的运动模糊)最高的一帧曝光图像作为基准图像；还可以通过计算第一曝光图像以及亮度对齐后的第二曝光图像的图像梯度，选取图像梯度(图像梯度越大，则可以说明图像纹理越清晰)最大的一帧曝光图像作为基准图像。当然，还可以通过其他筛选方式确定基准图像，具体可以根据实际使用场景进行自定义设置，本示例实施例对此不做特殊限定。
特征点对是指基准图像以及待配准图像之间的图像特征点构成的点对，例如，可以通过加速稳健特征(Speeded Up Robust Features，SURF)算子检测基准图像以及待配准图像中的特征点；也可以通过尺度不变特征变换(Scale-invariant feature transform，SIFT)算子检测基准图像以及待配准图像中的特征点。当然，也可以采用其他方式确定基准图像以及待配准图像中的图像特征点，本示例实施例对此不做特殊限定。
可以将基准图像以及待配准图像中的像素值求平均，得到基准图像以及待配准图像的灰度图，可以在灰度图中确定基准图像以及待配准图像之间的特征点对，能够有效提升图像特征点的搜索效率以及图像特征点的准确性。
可以先在基准图像中确定图像特征点，例如，可以通过SURF算子在基准图像确定图像特征点，然后对于基准图像中每个检出的图像特征点位置，在待配准图像的相同位置做快速搜索匹配，快速搜索收敛到最佳匹配位置，算出匹配的特征点对。
在确定基准图像与待配准图像之间的特征点对之后，可以根据所有的特征点对计算图像转换矩阵(Homography)，例如，可以通过随机抽样一致算法(Ransac)计算图像转换矩阵，进而可以通过图像转换矩阵对待配准图像中的像素点进行重映射，得到目标曝光图像。
可选的，图像转换矩阵可以包括可以全局图像转换矩阵以及局部图像转换矩阵，可以通过以下步骤实现根据特征点对确定图像转换矩阵：可以获取预设的划分比例，并按照划分比例将基准图像和待配准图像划分为多个图像块；对特征点对进行随机抽样一致处理，得到全局图像转换矩阵；计算各图像块内的特征点对与全局图像转换矩阵的匹配误差；根据匹配误差确定所述图像块对应的误差权重，并对误差权重进行权重最小二乘法处理，得到图像块的局部图像转换矩阵。
其中，划分比例是指预先设置的用于对基准图像和待配准图像进行区域划分的数据，例如划分比例可以是16*16，即将基准图像和待配准图像的长和宽均匀分割为16份，得到16*16个图像块。划分比例也可以是20*20等，具体可以根据实际情况(如图像尺寸大小、电子设备计算能力等)进行自定义设置，本示例实施例对此不做特殊限定。
可以对整个图像中的特征点对进行随机抽样一致处理，得到全局图像转换矩阵，在得到全局图像转换矩阵之后，可以计算各图像块内的特征点对与全局图像转换矩阵的匹配误差，具体的，可以根据全局图像转换矩阵对各图像块内的特征点进行转换，得到转换像素点，可以将该转换像素点与真实像素点之间的坐标欧式距离，作为各图像块内的特征点对与全局图像转换矩阵的匹配误差。
可以获取匹配误差阈值，选择匹配误差小于匹配误差阈值的目标特征点对，进而可以根据目标特征点对的匹配误差确定目标特征点对对应的图像块的误差权重，该误差权重的意义在于衡量目标特征点对与全局图像转换矩阵的匹配程度，误差权重越高则说明越匹配；最后可以对误差权重进行权重最小二乘法处理，得到图像块的局部图像转换矩阵。
通过计算局部图像转换矩阵，进而通过局部图像转换矩阵对待配准图像中的像素点进行重映射，可以有效防止某图像块中的图像点对与全局图像转换矩阵的误差过大，提升图像纹理对齐结果的准确性。
可选的，可以通过以下步骤实现根据图像转换矩阵对待配准图像中的像素点进行重映射：可以获取待配准图像中各图像块对应的局部图像转换矩阵；基于当前像素点所在图像块的局部图像转换矩阵，以及当前像素点邻近图像块的局部图像转换矩阵，对当前像素点进行重映射，得到目标曝光图像。
图5示意性示出本公开示例性实施例中一种通过局部图像转换矩阵进行重映射的原理示意图。
参考图5所示，对于第四图像块内的当前像素点A(x，y)，经过当前像素点A的水平直线与左右边界交于B和C两点，第四图像块的长和宽分别为width和height，第一图像块对应的局部图像转换矩阵为HG1，第二图像块对应的局部图像转换矩阵为HG2，第三图像块对应的局部图像转换矩阵为HG3，第四图像块对应的局部图像转换矩阵为HG4。点B经过HG1进行转换得到点B1，点B经过HG3进行转换得到点B3，点C经过HG2进行转换得到点C2，点C经过HG4进行转换得到点C4，那么，当前像素点A经过重映射后得到的像素点可以表示为关系式(3)：
Figure BDA0003857472130000121
其中，Aw可以表示当前像素点A经过重映射后得到的像素点，W1、W2、W3和W4可以分别表示四个权重值。
通过当前像素点所在图像块的局部图像转换矩阵，以及邻近图像块的局部图像转换矩阵，对当前像素点进行重映射，即像素点的重映射由至少4个局部图像转换矩阵共同决定，能够有效防止图像块与图像块中的像素点在重映射之后出现重叠或者分离的现象，提升图像纹理对齐后的曝光图像的图像质量。
在一示例性实施例中，可以通过图6中的步骤实现将配准对齐后的原始曝光图像进行图像融合，参考图6所示，具体可以包括：
步骤S610，对所述第一曝光图像进行图像融合，生成目标融合图像；
步骤S620，将所述目标融合图像与所述第二曝光图像进行图像融合，生成目标输出图像。
其中，目标融合图像是指对同一曝光参数下的第一曝光图像进行图像融合后生成的图像，例如，对于在EV0档下采集的3帧原始曝光图像，可以对这3帧EV0档原始曝光图像进行融合，得到一帧EV0档的原始曝光图像，即目标融合图像。
可选的，可以通过图7中的步骤实现对第一曝光图像进行图像融合，参考图7所示，具体可以包括：
步骤S710，将所述第一曝光图像中除基准图像之外的曝光图像作为待融合图像；
步骤S720，获取预设的划分比例，并按照所述划分比例将所述基准图像和所述待融合图像划分为多个图像块；
步骤S730，计算所述基准图像与所述待融合图像中相对应的图像块之间的图像块差值；
步骤S740，根据所述图像块差值确定所述图像块的图像块类型；
步骤S750，基于所述图像块类型将所述第一曝光图像进行图像融合，生成目标融合图像。
其中，划分比例是指预先设置的用于对基准图像和待融合图像进行区域划分的数据，该划分比例可以与对基准图像和待配准图像进行区域划分的作用一样，可以将基准图像和待融合图像划分尺寸大小一致的多个图像块，便于图像融合。本实施例中的划分比例可以与将基准图像和待配准图像进行区域划分的划分比例保持一致，也可以不一致，本示例实施例对此不做特殊限定。
图像块差值是指基准图像与待融合图像中相对应的图像块之间的像素值差值，进而可以根据图像块差值确定图像块的图像块类型，例如，图像块类型可以是平滑图像块，平滑图像块可以表明基准图像和待配准图像之间的图像块差值较小，图像块中的图像内容属于静态场景；图像块类型也可以是运动图像块，运动图像块可以表明基准图像和待配准图像之间的图像块差值较大，图像块中的图像内容属于动态场景。当然，图像块类型还可以是其他的区分方式，本示例实施例对此不做特殊限定。
可以确定不同的图像块类型对图像块进行区分，并对不同图像块类型的图像块采用不同的融合方式，能够有效提升第一曝光图像的图像融合结果的准确性。
可选的，若确定图像块差值小于或者等于平滑阈值，则可以确定图像块差值对应的图像块为平滑图像块，并将各第一曝光图像的平滑图像块内当前位置的像素点的平均值，作为当前位置的融合像素点，基于融合像素点生成目标融合图像。
可选的，若确定图像块差值大于平滑阈值，则确定图像块差值对应的图像块为运动图像块，可以直接将基准图像中的运动图像块的像素点，作为第一曝光图像中的运动图像块的融合像素点，并基于融合像素点生成目标融合图像。
图8示意性示出本公开示例性实施例中一种基于图像块类型实现图像融合的原理示意图。
参考图8所示，以基准图像810与待融合图像820进行图像融合为例，可以先按照预设的划分比例，如划分比例可以是5*5，将基准图像810与待融合图像820划分为多个图像块，然后可以计算基准图像810与待融合图像820中相对应的图像块之间的图像块差值。例如，计算基准图像810中图像块1与待融合图像820中图像块1的图像块差值，若确定图像块1的图像块差值小于或者等于平滑阈值，则可以确定该图像块差值对应的图像块1为平滑图像块，进而可以将基准图像810中图像块1与待融合图像820中图像块1中像素点的平均值作为当前位置的融合像素点，得到融合后的图像块831；若确定图像块2的图像块差值大于平滑阈值，则可以确定该图像块差值对应的图像块2为运动图像块，进而可以直接将基准图像810中的图像块2的像素点，作为图像块2的融合像素点，得到融合后的图像块832。最后，可以根据得到的融合后的图像块831以及融合后的图像块832生成目标融合图像830。
在一示例性实施例中，可以通过以下步骤实现将目标融合图像与第二曝光图像进行图像融合：可以基于目标融合图像与第二曝光图像确定亮度权重以及差值权重；获取亮度映射数据，并根据亮度映射数据、亮度权重以及差值权重确定融合权重；通过融合权重将目标融合图像与第二曝光图像进行图像融合，生成目标输出图像。
其中，亮度权重以及差值权重是指基于待融合图像中的图像数据确定的权重数据，例如，可以根据待融合图像中较亮图像的像素数据确定亮度权重，可以根据待融合图像之间的像素数据差值确定差值权重。
可以根据亮度映射数据、亮度权重以及差值权重确定融合权重，进而根据融合权重将目标融合图像与第二曝光图像进行图像融合，生成目标输出图像。通过结合亮度映射数据、亮度权重以及差值权重的融合权重，能够进一步提升融合得到的目标输出图像中的纹理清晰度，有效提升目标输出图像的图像质量。
可选的，可以通过以下步骤实现基于目标融合图像与第二曝光图像确定亮度权重以及差值权重：可以将目标融合图像与第二曝光图像中曝光量较大的一方作为亮图像，以及将目标融合图像与第二曝光图像中曝光量较小的一方作为暗图像；对亮图像中的像素值进行取反操作，并通过映射曲线将像素值取反后的亮图像进行映射，得到亮度权重；确定亮图像与所述暗图像的像素差值，并通过映射曲线将像素差值进行映射，得到差值权重。
举例而言，对于在EV+2档下采集的1帧原始曝光图像，在EV0档下采集的3帧原始曝光图像，在EV-2档下采集的1帧原始曝光图像，可以先对EV0档下采集的3帧原始曝光图像(即属于同一曝光参数的第一曝光图像)进行图像融合，得到EV0档下的目标融合图像，进而可以将EV0档下的目标融合图像与EV-2档下的1帧原始曝光图像(第二曝光图像)、EV+2档下的1帧原始曝光图像(第二曝光图像)分别进行融合。
可以将EV0档下的目标融合图像先与EV+2档下的1帧原始曝光图像进行图像融合，然后再将两者的融合结果与EV-2档下的1帧原始曝光图像进行图像融合。
具体的，可以先进行EV0档下的目标融合图像先与EV+2档下的1帧原始曝光图像的图像融合：
可以先对EV0档下的目标融合图像以及EV+2档下的原始曝光图像分别做平滑处理，例如，可以通过5*5均值滤波窗口对EV0档下的目标融合图像以及EV+2档下的原始曝光图像作平滑处理，滤波窗口的可以自定义设置，此处不做特殊限定。
可以将平滑后的EV0档下的目标融合图像与EV+2档下的原始曝光图像中曝光量较大的一方作为亮图像，该步骤中可以将EV+2档下的原始曝光图像作为亮图像，EV0档下的目标融合图像作为暗图像。可以对EV+2档的亮图像的像素数据进行取反操作，即(MAX-PEV+2)，其中，MAX可以表示曝光图像的位宽最大范围，例如，曝光图像的位宽为8bit，那么MAX可以为256，曝光图像的位宽为10bit，那么MAX可以为1024；然后经过图9所示的映射曲线910将(MAX-PEV+2)映射至预设位宽(如8bit位宽)，得到亮度权重；然后可以确定EV+2档的亮图像与EV0档的暗图像的像素差值abs(PEV+2-A*PEV0)，并通过经过图9所示的映射曲线910将像素差值abs(PEV+2-A*PEV0)映射至预设位宽(如8bit位宽)，得到差值权重。
然后可以对融合得到的EV0档融合结果与EV-2档下的1帧原始曝光图像进行图像融合：
可以先对EV0档融合结果以及EV-2档下的原始曝光图像分别做平滑处理，例如，可以通过5*5均值滤波窗口对EV0档融合结果以及EV-2档下的原始曝光图像作平滑处理，滤波窗口的可以自定义设置，此处不做特殊限定。
可以将平滑后的EV0档融合结果与EV-2档下的原始曝光图像中曝光量较大的一方作为亮图像，该步骤中可以将EV0档融合结果作为亮图像，EV-2档下的原始曝光图像作为暗图像。可以对EV0档的亮图像的像素数据进行取反操作，即(MAX-PEV0)，其中，MAX可以表示曝光图像的位宽最大范围，例如，曝光图像的位宽为8bit，那么MAX可以为256，曝光图像的位宽为10bit，那么MAX可以为1024；然后经过经过图9所示的映射曲线910将(MAX-PEV0)映射至预设位宽(如8bit位宽)，得到亮度权重；然后可以确定EV0档的亮图像与EV-2档的暗图像的像素差值abs(PEV0-B*PEV-2)，并通过经过图9所示的映射曲线910将像素差值abs(PEV0-B*PEV-2)映射至预设位宽(如8bit位宽)，得到差值权重。
可以通过关系式(4)表示通用的融合权重的计算方式：
Wmix＝WLum*WDiff/(255*255) (4)
其中，Wmix可以表示融合权重，WLum可以表示亮度权重，WDiff可以表示差值权重。
可以通过关系式(5)表示通过的图像融合的过程：
Pmix＝PL*Wmix+PS*Ratio*(1-Wmix) (5)
其中，Pmix可以表示图像融合结果，Wmix可以表示融合权重，PL可以表示亮图像对应的像素数据，PS可以表示暗图像对应的像素数据，Ratio可以表示亮度映射数据，即亮度因子A以及亮度因子B，Ratio可以根据待融合图像进行确定，如，对于EV0档下的目标融合图像与EV+2档下的1帧原始曝光图像的图像融合，Ratio可以取亮度因子A；对于融合得到的EV0档融合结果与EV-2档下的1帧原始曝光图像的图像融合，Ratio可以取亮度因子B。
在一应用场景中，原始曝光图像可以是电子设备的摄像模组采集的Raw域图像数据，那么可以将配准对齐后的原始曝光图像进行图像融合，生成高动态范围图像HDR，然后可以由图像信号处理管线(ISP Pipeline)继续将高动态范围图像HDR进行提亮和色调映射等处理流程，生成最终可以输出到电子设备的显示屏幕上显示的目标输出图像。
综上所述，本示例性实施方式中，可以先对获取的原始曝光图像进行配准对齐处理，得到配准对齐后的原始曝光图像，然后可以对配准对齐后的原始曝光图像进行图像融合，生成目标输出图像。在图像融合之前先对原始曝光图像进行配准对齐，可以保证原始曝光图像中相同位置处图像内容表达的准确性，能够有效减少图像融合后得到目标输出图像中的拖影现象，从而提升纹理细节的清晰度，提高目标输出图像的图像质量。
需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图10所示，本示例的实施方式中还提供一种图像融合装置1000，可以包括图像获取模块1010、图像对齐模块1020和图像融合模块1030。其中：
图像获取模块1010用于获取原始曝光图像，所述原始曝光图像包括属于同一曝光参数的第一曝光图像，以及属于不同曝光参数的第二曝光图像；
图像对齐模块1020用于对所述原始曝光图像进行配准对齐处理，得到配准对齐后的原始曝光图像；
图像融合模块1030用于将所述配准对齐后的原始曝光图像进行图像融合，生成目标输出图像。
在一示例性实施例中，原始曝光图像可以包括属于同一曝光参数的第一曝光图像，以及属于不同曝光参数的第二曝光图像。
在一示例性实施例中，图像对齐模块1020可以包括：
亮度对齐单元，用于对所述第二曝光图像进行亮度对齐处理，得到亮度对齐后的第二曝光图像；
图像纹理对齐单元，用于对所述第一曝光图像以及所述亮度对齐后的第二曝光图像进行图像纹理对齐，得到目标曝光图像。
在一示例性实施例中，亮度对齐单元可以用于：
统计所述第二曝光图像对应的亮度信息；
根据所述亮度信息确定各所述第二曝光图像之间的亮度映射数据；
基于所述亮度映射数据对所述第二曝光图像进行亮度对齐处理，得到亮度对齐后的第二曝光图像。
在一示例性实施例中，亮度对齐单元可以用于：
获取预设的像素块数量，并根据所述像素块数量对所述第二曝光图像中的像素块进行划分；
确定划分后的第二曝光图像中的目标像素块；
计算所述目标像素块的亮度直方图，并根据所述亮度直方图确定所述第二曝光图像对应的亮度信息。
在一示例性实施例中，亮度对齐单元可以用于：
获取预设的亮度区间，并根据所述亮度区间在所述亮度直方图中筛选目标亮度数据；
基于所述目标亮度数据确定所述第二曝光图像对应的亮度信息。
在一示例性实施例中，图像纹理对齐单元可以用于：
在所述第一曝光图像或者所述亮度对齐后的第二曝光图像中筛选基准图像，并将所述第一曝光图像和所述亮度对齐后的第二曝光图像中除所述基准图像之外的曝光图像作为待配准图像；
确定所述基准图像以及所述待配准图像之间的特征点对，并根据所述特征点对确定图像转换矩阵；
根据所述图像转换矩阵对所述待配准图像中的像素点进行重映射，得到目标曝光图像。
在一示例性实施例中，图像纹理对齐单元可以用于：
获取预设的划分比例，并按照所述划分比例将所述基准图像和所述待配准图像划分为多个图像块；
对所述特征点对进行随机抽样一致处理，得到全局图像转换矩阵；
计算各所述图像块内的特征点对与所述全局图像转换矩阵的匹配误差；
根据所述匹配误差确定所述图像块对应的误差权重，并对所述误差权重进行权重最小二乘法处理，得到所述图像块的局部图像转换矩阵。
在一示例性实施例中，图像纹理对齐单元可以用于：
获取所述待配准图像中各图像块对应的局部图像转换矩阵；
基于当前像素点所在图像块的局部图像转换矩阵，以及所述当前像素点邻近图像块的局部图像转换矩阵，对所述当前像素点进行重映射，得到目标曝光图像。
在一示例性实施例中，图像融合模块1030可以包括：
第一融合单元，用于对所述第一曝光图像进行图像融合，生成目标融合图像；
第二融合单元，用于将所述目标融合图像与所述第二曝光图像进行图像融合，生成目标输出图像。
在一示例性实施例中，第一融合单元可以用于：
将所述第一曝光图像中除基准图像之外的曝光图像作为待融合图像；
获取预设的划分比例，并按照所述划分比例将所述基准图像和所述待融合图像划分为多个图像块；
计算所述基准图像与所述待融合图像中相对应的图像块之间的图像块差值；
根据所述图像块差值确定所述图像块的图像块类型；
基于所述图像块类型将所述第一曝光图像进行图像融合，生成目标融合图像。
在一示例性实施例中，第一融合单元可以用于：
若确定所述图像块差值小于或者等于平滑阈值，则确定所述图像块差值对应的图像块为平滑图像块；
将各所述第一曝光图像的所述平滑图像块内当前位置的像素点的平均值，作为所述当前位置的融合像素点；
基于所述融合像素点生成目标融合图像。
在一示例性实施例中，第一融合单元可以用于：
若确定所述图像块差值大于平滑阈值，则确定所述图像块差值对应的图像块为运动图像块；
将所述基准图像中的所述运动图像块的像素点，作为所述第一曝光图像中的所述运动图像块的融合像素点；
基于所述融合像素点生成目标融合图像。
在一示例性实施例中，第二融合单元可以用于：
基于所述目标融合图像与所述第二曝光图像确定亮度权重以及差值权重；
获取亮度映射数据，并根据所述亮度映射数据、所述亮度权重以及所述差值权重确定融合权重；
通过所述融合权重将所述目标融合图像与所述第二曝光图像进行图像融合，生成目标输出图像。
在一示例性实施例中，第二融合单元可以用于：
将所述目标融合图像与所述第二曝光图像中曝光量较大的一方作为亮图像，以及将所述目标融合图像与所述第二曝光图像中曝光量较小的一方作为暗图像；
对所述亮图像中的像素值进行取反操作，并通过映射曲线将像素值取反后的亮图像进行映射，得到所述亮度权重；
确定所述亮图像与所述暗图像的像素差值，并通过所述映射曲线将像素差值进行映射，得到所述差值权重。
在一示例性实施例中，图像融合模块1030可以用于：
将所述配准对齐后的原始曝光图像进行图像融合，生成高动态范围图像；
对所述高动态范围图像进行色调映射，生成目标输出图像。
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面以图11中的移动终端1100为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图11中的构造也能够应用于固定类型的设备。
如图11所示，移动终端1100具体可以包括：处理器1101、存储器1102、总线1103、移动通信模块1104、天线1、无线通信模块1105、天线2、显示屏1106、摄像模块1107、音频模块1108、电源模块1109与传感器模块1110。
处理器1101可以包括一个或多个处理单元，例如：处理器1101可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。
编码器可以对图像或视频进行编码(即压缩)，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据。移动终端1100可以支持一种或多种编码器和解码器，例如：JPEG(Joint PhotographicExperts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG10、H.1063、H.1064、HEVC(High Efficiency Video Coding，高效率视频编码)等视频格式。
处理器1101可以通过总线1103与存储器1102或其他部件形成连接。
存储器1102可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器1101通过运行存储在存储器1102的指令，执行移动终端1100的各种功能应用以及数据处理。存储器1102还可以存储应用数据，例如存储图像，视频等文件。
移动终端1100的通信功能可以通过移动通信模块1104、天线1、无线通信模块1105、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块1104可以提供应用在移动终端1100上3G、4G、5G等移动通信解决方案。无线通信模块1105可以提供应用在移动终端1100上的无线局域网、蓝牙、近场通信等无线通信解决方案。
显示屏1106用于实现显示功能，如显示用户界面、图像、视频等。摄像模块1107用于实现拍摄功能，如拍摄图像、视频等。音频模块1108用于实现音频功能，如播放音频，采集语音等。电源模块1109用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。
传感器模块1110可以包括一种或多种传感器，用于实现相应的感应检测功能。
本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (18)

1.一种图像融合方法，其特征在于，包括：
获取原始曝光图像，所述原始曝光图像包括属于同一曝光参数的第一曝光图像，以及属于不同曝光参数的第二曝光图像；
对所述原始曝光图像进行配准对齐处理，得到配准对齐后的原始曝光图像；
将所述配准对齐后的原始曝光图像进行图像融合，生成目标输出图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述原始曝光图像进行配准对齐处理，得到目标曝光图像，包括：
对所述第二曝光图像进行亮度对齐处理，得到亮度对齐后的第二曝光图像；
对所述第一曝光图像以及所述亮度对齐后的第二曝光图像进行图像纹理对齐，得到目标曝光图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述第二曝光图像进行亮度对齐处理，得到亮度对齐后的第二曝光图像，包括：
统计所述第二曝光图像对应的亮度信息；
根据所述亮度信息确定各所述第二曝光图像之间的亮度映射数据；
基于所述亮度映射数据对所述第二曝光图像进行亮度对齐处理，得到亮度对齐后的第二曝光图像。
4.根据权利要求3所述的方法，其特征在于，所述统计所述第二曝光图像对应的亮度信息，包括：
获取预设的像素块数量，并根据所述像素块数量对所述第二曝光图像中的像素块进行划分；
确定划分后的第二曝光图像中的目标像素块；
计算所述目标像素块的亮度直方图，并根据所述亮度直方图确定所述第二曝光图像对应的亮度信息。
5.根据权利要求4所述的方法，其特征在于，所述根据所述亮度直方图确定所述第二曝光图像对应的亮度信息，包括：
获取预设的亮度区间，并根据所述亮度区间在所述亮度直方图中筛选目标亮度数据；
基于所述目标亮度数据确定所述第二曝光图像对应的亮度信息。
6.根据权利要求2所述的方法，其特征在于，所述对所述第一曝光图像以及所述亮度对齐后的第二曝光图像进行图像纹理对齐，得到目标曝光图像，包括：
在所述第一曝光图像或者所述亮度对齐后的第二曝光图像中筛选基准图像，并将所述第一曝光图像和所述亮度对齐后的第二曝光图像中除所述基准图像之外的曝光图像作为待配准图像；
确定所述基准图像以及所述待配准图像之间的特征点对，并根据所述特征点对确定图像转换矩阵；
根据所述图像转换矩阵对所述待配准图像中的像素点进行重映射，得到目标曝光图像。
7.根据权利要求6所述的方法，其特征在于，所述根据所述特征点对确定图像转换矩阵，包括：
获取预设的划分比例，并按照所述划分比例将所述基准图像和所述待配准图像划分为多个图像块；
对所述特征点对进行随机抽样一致处理，得到全局图像转换矩阵；
计算各所述图像块内的特征点对与所述全局图像转换矩阵的匹配误差；
根据所述匹配误差确定所述图像块对应的误差权重，并对所述误差权重进行权重最小二乘法处理，得到所述图像块的局部图像转换矩阵。
8.根据权利要求7所述的方法，其特征在于，根据所述图像转换矩阵对所述待配准图像中的像素点进行重映射，得到目标曝光图像，包括：
获取所述待配准图像中各图像块对应的局部图像转换矩阵；
基于当前像素点所在图像块的局部图像转换矩阵，以及所述当前像素点邻近图像块的局部图像转换矩阵，对所述当前像素点进行重映射，得到目标曝光图像。
9.根据权利要求1所述的方法，其特征在于，所述将所述配准对齐后的原始曝光图像进行图像融合，生成目标输出图像，包括：
对所述第一曝光图像进行图像融合，生成目标融合图像；
将所述目标融合图像与所述第二曝光图像进行图像融合，生成目标输出图像。
10.根据权利要求9所述的方法，其特征在于，所述对所述第一曝光图像进行图像融合，生成目标融合图像，包括：
将所述第一曝光图像中除基准图像之外的曝光图像作为待融合图像；
获取预设的划分比例，并按照所述划分比例将所述基准图像和所述待融合图像划分为多个图像块；
计算所述基准图像与所述待融合图像中相对应的图像块之间的图像块差值；
根据所述图像块差值确定所述图像块的图像块类型；
基于所述图像块类型将所述第一曝光图像进行图像融合，生成目标融合图像。
11.根据权利要求10所述的方法，其特征在于，所述基于所述图像块类型将所述第一曝光图像进行图像融合，生成目标融合图像，包括：
若确定所述图像块差值小于或者等于平滑阈值，则确定所述图像块差值对应的图像块为平滑图像块；
将各所述第一曝光图像的所述平滑图像块内当前位置的像素点的平均值，作为所述当前位置的融合像素点；
基于所述融合像素点生成目标融合图像。
12.根据权利要求11所述的方法，其特征在于，所述基于所述图像块类型将所述第一曝光图像进行图像融合，生成目标融合图像，包括：
若确定所述图像块差值大于平滑阈值，则确定所述图像块差值对应的图像块为运动图像块；
将所述基准图像中的所述运动图像块的像素点，作为所述第一曝光图像中的所述运动图像块的融合像素点；
基于所述融合像素点生成目标融合图像。
13.根据权利要求9所述的方法，其特征在于，所述将所述目标融合图像与所述第二曝光图像进行图像融合，生成目标输出图像，包括：
基于所述目标融合图像与所述第二曝光图像确定亮度权重以及差值权重；
获取亮度映射数据，并根据所述亮度映射数据、所述亮度权重以及所述差值权重确定融合权重；
通过所述融合权重将所述目标融合图像与所述第二曝光图像进行图像融合，生成目标输出图像。
14.根据权利要求13所述的方法，其特征在于，所述基于所述目标融合图像与所述第二曝光图像确定亮度权重以及差值权重，包括：
将所述目标融合图像与所述第二曝光图像中曝光量较大的一方作为亮图像，以及将所述目标融合图像与所述第二曝光图像中曝光量较小的一方作为暗图像；
对所述亮图像中的像素值进行取反操作，并通过映射曲线将像素值取反后的亮图像进行映射，得到所述亮度权重；
确定所述亮图像与所述暗图像的像素差值，并通过所述映射曲线将像素差值进行映射，得到所述差值权重。
15.根据权利要求1所述的方法，其特征在于，所述将所述配准对齐后的原始曝光图像进行图像融合，生成目标输出图像，包括：
将所述配准对齐后的原始曝光图像进行图像融合，生成高动态范围图像；
对所述高动态范围图像进行色调映射，生成目标输出图像。
16.一种图像融合装置，其特征在于，包括：
图像获取模块，用于获取原始曝光图像，所述原始曝光图像包括属于同一曝光参数的第一曝光图像，以及属于不同曝光参数的第二曝光图像；
图像对齐模块，用于对所述原始曝光图像进行配准对齐处理，得到配准对齐后的原始曝光图像；
图像融合模块，用于将所述配准对齐后的原始曝光图像进行图像融合，生成目标输出图像。
17.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至15中任一项所述的方法。
18.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至15任一项所述的方法。
CN202211152447.1A 2022-09-21 2022-09-21 图像融合方法及装置、计算机可读介质和电子设备 Pending CN115471435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211152447.1A CN115471435A (zh) 2022-09-21 2022-09-21 图像融合方法及装置、计算机可读介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211152447.1A CN115471435A (zh) 2022-09-21 2022-09-21 图像融合方法及装置、计算机可读介质和电子设备

Publications (1)

Publication Number Publication Date
CN115471435A true CN115471435A (zh) 2022-12-13

Family

ID=84335418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211152447.1A Pending CN115471435A (zh) 2022-09-21 2022-09-21 图像融合方法及装置、计算机可读介质和电子设备

Country Status (1)

Country Link
CN (1) CN115471435A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117440253A (zh) * 2023-12-22 2024-01-23 荣耀终端有限公司 图像处理方法和相关装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117440253A (zh) * 2023-12-22 2024-01-23 荣耀终端有限公司 图像处理方法和相关装置

Similar Documents

Publication Publication Date Title
US8970722B2 (en) Image processing apparatus and method of controlling the same
CN109218628B (zh) 图像处理方法、装置、电子设备及存储介质
CN102741883B (zh) 高动态范围图像生成和渲染
CN102257531B (zh) 高动态范围图像组合
US8749699B2 (en) Method and device for video processing using a neighboring frame to calculate motion information
CN111064904A (zh) 一种暗光图像增强方法
US8675984B2 (en) Merging multiple exposed images in transform domain
CN108156369B (zh) 图像处理方法和装置
CN112767290B (zh) 图像融合方法、图像融合装置、存储介质与终端设备
CN110264473B (zh) 基于多帧图像的图像处理方法、装置及电子设备
CN112767295A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN113962859B (zh) 一种全景图生成方法、装置、设备及介质
CN111768351A (zh) 图像去噪方法、图像去噪装置、存储介质与电子设备
CN114820405A (zh) 图像融合方法、装置、设备及计算机可读存储介质
CN115471435A (zh) 图像融合方法及装置、计算机可读介质和电子设备
CN113259594A (zh) 图像处理方法及装置、计算机可读存储介质、终端
CN112419161B (zh) 图像处理方法及装置、存储介质及电子设备
CN115278189A (zh) 图像色调映射方法及装置、计算机可读介质和电子设备
CN115314617A (zh) 图像处理系统及方法、计算机可读介质和电子设备
CN115379128A (zh) 曝光控制方法及装置、计算机可读介质和电子设备
CN115330633A (zh) 图像色调映射方法及装置、电子设备、存储介质
CN115187487A (zh) 图像处理方法及装置、电子设备、存储介质
CN115205159A (zh) 图像处理方法及装置、电子设备、存储介质
CN113542864B (zh) 视频的花屏区域检测方法、装置、设备及可读存储介质
CN113658128A (zh) 图像模糊程度确定方法、数据集构建方法与去模糊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination