CN111462021B - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111462021B
CN111462021B CN202010342438.3A CN202010342438A CN111462021B CN 111462021 B CN111462021 B CN 111462021B CN 202010342438 A CN202010342438 A CN 202010342438A CN 111462021 B CN111462021 B CN 111462021B
Authority
CN
China
Prior art keywords
image
exposure
interpolation
frames
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010342438.3A
Other languages
English (en)
Other versions
CN111462021A (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010342438.3A priority Critical patent/CN111462021B/zh
Publication of CN111462021A publication Critical patent/CN111462021A/zh
Application granted granted Critical
Publication of CN111462021B publication Critical patent/CN111462021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种图像处理方法，包括：获取至少两种曝光类型不同的原始曝光图像帧；对相同曝光类型的至少两帧所述原始曝光图像帧进行插帧处理，得到插值图像帧；获取相位匹配且曝光类型不同的至少两帧待融合图像帧，其中，所述至少两帧待融合图像帧为所述原始曝光图像帧、所述插值图像帧中的至少一种；将至少两个所述待融合图像帧进行融合，得到目标图像。本申请还公开了一种图像处理装置、电子设备以及计算机可读存储介质。采用本申请的方式可提高图像帧的清晰度。

Description

图像处理方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。
背景技术
在传统的HDR(High-Dynamic Range，高动态范围)技术中，为了合成一幅高动态范围图像，采用的方法为，通过不同曝光时长形成曝光类型不同的多个图像帧，再对这些多帧进行融合。然而，传统的方法，融合后的图像存在一定程度的伪影问题。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，可以提高图像的清晰度。
一种图像处理方法，包括：
获取至少两种曝光类型不同的原始曝光图像帧；
对相同曝光类型的至少两帧所述原始曝光图像帧进行插帧处理，得到插值图像帧；
获取相位匹配且曝光类型不同的至少两帧待融合图像帧，其中，所述至少两帧待融合图像帧为所述原始曝光图像帧、所述插值图像帧中的至少一种；
将至少两个所述待融合图像帧进行融合，得到目标图像。
一种图像处理装置，包括：
第一获取模块，用于获取至少两种曝光类型不同的原始曝光图像帧；
插帧模块，用于对相同曝光类型的至少两帧所述原始曝光图像帧进行插帧处理，得到插值图像帧；
第二获取模块，用于获取相位匹配且曝光类型不同的至少两帧待融合图像帧，其中，所述至少两帧待融合图像帧为所述原始曝光图像帧、所述插值图像帧中的至少一种；
融合模块，用于将至少两个所述待融合图像帧进行融合，得到目标图像。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
获取至少两种曝光类型不同的原始曝光图像帧；
对相同曝光类型的至少两帧所述原始曝光图像帧进行插帧处理，得到插值图像帧；
获取相位匹配且曝光类型不同的至少两帧待融合图像帧，其中，所述至少两帧待融合图像帧为所述原始曝光图像帧、所述插值图像帧中的至少一种；
将至少两个所述待融合图像帧进行融合，得到目标图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取至少两种曝光类型不同的原始曝光图像帧；
对相同曝光类型的至少两帧所述原始曝光图像帧进行插帧处理，得到插值图像帧；
获取相位匹配且曝光类型不同的至少两帧待融合图像帧，其中，所述至少两帧待融合图像帧为所述原始曝光图像帧、所述插值图像帧中的至少一种；
将至少两个所述待融合图像帧进行融合，得到目标图像。
上述图像处理方法、装置、电子设备和计算机可读存储介质，获取至少两种曝光类型不同的原始曝光图像帧，对相同曝光类型的至少两个原始曝光图像帧进行插帧处理，得到插值图像帧，获取相位匹配且曝光类型不同的至少两帧待融合图像帧，进行融合，得到目标图像，即通过插帧的方式得到时间相位匹配且曝光类型不同的待融合图像帧，减小了待融合图像帧之间的时间差异，即减小了待融合图像帧之间的差异，能够解决伪影或者色偏等问题，提高了图像的清晰度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的流程图；
图2为一个实施例中插入插值帧的示意图；
图3为一个实施例中获取第二参考图像帧的流程示意图；
图4为一个实施例中得到待融合图像帧的示意图；
图5另一个实施例中得到待融合图像帧的示意图；
图6为再一个实施例中得到待融合图像帧的示意图；
图7为又一个实施例中得到待融合图像帧的示意图；
图8为一个实施例中得到目标视频的示意图；
图9为一个实施例中得到插值图像帧的流程示意图；
图10为一个实施例中前向运动矢量和后向运动矢量的示意图；
图10A为一个实施例中修正后的前向运动矢量和后向运动矢量示意图；
图11为一个实施例中前向映射运动矢量和后向映射运动矢量的示意图；
图12为一个实施例中图像处理系统的示意图；
图13为一个实施例的图像处理装置的结构框图；
图14为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个图像帧与另一个图像帧区分。举例来说，在不脱离本申请的范围的情况下，可以将第一插值图像帧称为第二插值图像帧，且类似地，可将第二插值图像帧称为第一插值图像帧。第一插值图像帧和第二插值图像帧两者都是插值图像帧，但其不是同一插值图像帧。
在一个实施例中，传统的高动态范围图像合成中，由于多个图像帧的拍摄是在不同的时间点完成的，所以每个帧之间会存在一定的差异性。这些差异性包括：拍摄前景的移动或形变等变化，背景的抖动，或以上两者的综合。在对多帧图像进行融合时，并没有考虑这些时间的差异性，而是直接进行紧相邻的多曝光类型的图像帧进行融合，最终导致融合后的高动态范围图像出现一定程度的伪影或色偏等明显的主观视觉问题。对以上原因，提出了本申请的图像处理方法。
图1为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于电子设备上为例进行描述。该电子设备可包含一个或多个摄像头。如图1所示，图像处理方法包括步骤102至步骤108。
步骤102，获取至少两种曝光类型不同的原始曝光图像帧。
其中，原始曝光图像帧是指电子设备拍摄的图像帧。曝光类型是指电子设备预设的且能够合成目标图像的曝光类型。例如，曝光类型可以包括长曝光、正常曝光和短曝光三种，也可以只包括长曝光和短曝光两种，或者长曝光和正常曝光两种…不限于此。
具体地，电子设备获取至少两种曝光类型不同的原始曝光图像帧，得到至少两帧原始曝光图像帧。电子设备拍摄至少两种曝光类型中每种曝光类型对应的原始曝光图像帧。每种曝光类型对应的原始曝光图像帧的数量不限。例如，至少两种曝光类型为长曝光和短曝光，那么电子设备拍摄得到长曝光图像帧和短曝光图像帧。
步骤104，对相同曝光类型的至少两帧原始曝光图像帧进行插帧处理，得到插值图像帧。
其中，相同曝光类型为至少两种曝光类型中至少一种，即相同曝光类型可以是曝光类型中任意一种，也可以是任意两种，也可以与该曝光类型的类型完全相同等，视情况而定。且相同曝光类型对应的至少两个原始曝光图像帧可以为时间顺序上的紧相邻帧，也可以为任意指定的相同曝光类型的帧。插值图像帧的数量为至少一个。
具体地，如图2所示，为一个实施例中插入插值帧的示意图。图2中的原始曝光类型即为长曝光、正常曝光和短曝光，包括长曝光原始图像帧0、正常曝光原始图像帧0、短曝光原始图像帧0、长曝光原始图像帧1、正常曝光原始图像帧1和短曝光原始图像帧1。其中，长曝光的曝光时长>正常曝光的曝光时长>短曝光的曝光时长。电子设备可根据长曝光图像帧0和长曝光图像帧1生成长曝光插值帧、根据正常曝光图像帧0和正常曝光图像帧1生成正常曝光插值帧、根据短曝光图像帧0和短曝光图像帧1生成短曝光插值帧中至少一种。即，电子设备可对任意一种、两种或三种类型的时间顺序紧相邻的原始曝光图像帧进行插帧处理。电子设备对相同曝光类型对应的至少两个原始曝光图像帧，基于运动补偿的方式插入相同曝光类型的插值图像帧。
步骤106，获取相位匹配且曝光类型不同的至少两帧待融合图像帧，其中，至少两帧待融合图像帧为原始曝光图像帧、插值图像帧中的至少一种。
其中，时间相位是指图像帧所对应的时间点。每个图像帧都有对应的时间点。相位匹配可以是指相位相同的，也可以是指两个相位之间的差值小于预设插值。曝光类型不同即包含至少两种曝光类型。同一种曝光类型的待融合图像帧的数量可以为至少一个。
具体地，待融合图像帧可以从插值图像帧和原始曝光图像帧中选取，也可以只从插值图像帧中选取。待融合图像帧中至少一帧为插值图像帧。电子设备可以获取原始曝光图像帧对应的原始时间相位、和插值图像帧对应的插值时间相位，根据原始时间相位和插值时间相位，从原始曝光图像帧和插值图像帧中获取相位匹配且曝光类型不同的至少两个待融合图像帧。
或者，电子设备可以获取插值图像帧对应的插值时间相位，根据插值时间相位，从插值图像中获取时间相位匹配且曝光类型不同的至少两个待融合图像帧。
步骤108，将至少两个待融合图像帧进行融合，得到目标图像。
其中，目标图像可以是HDR(High-Dynamic Range，高动态范围)图像。
具体地，电子设备可获取每个待融合图像帧中的每个像素点坐标的像素值，根据每个像素点坐标的像素值进行融合，得到目标图像。
本实施例中的图像处理方法，获取至少两种曝光类型不同的原始曝光图像帧，对相同曝光类型的至少两个原始曝光图像帧进行插帧处理，得到插值图像帧，获取相位匹配且曝光类型不同的至少两帧待融合图像帧，进行融合，得到目标图像，即通过插帧的方式得到时间相位匹配且曝光类型不同的待融合图像帧，减小了待融合图像帧之间的时间差异，即减小了待融合图像帧之间的差异，能够解决伪影或者色偏等问题，提高了图像的清晰度。
在一个实施例中，获取相位匹配且曝光类型不同的至少两帧待融合图像帧，包括：获取第一参考图像帧，以及第一参考图像帧对应的参考时间相位；获取与参考时间相位匹配、且与第一参考图像帧的曝光类型不同的第二参考图像帧；将第二参考图像帧和第一参考图像帧作为待融合图像帧。
其中，第一参考图像帧可以是原始曝光图像帧，也可以是插值图像帧。第一参考图像帧对应的时间相位称为参考时间相位。第一参考图像帧对应的时间相位，在前向图像所对应的前向时间相位和后向图像所对应的后向时间相位之间，前向图像和后向图像均是相同曝光类型对应的至少两个原始曝光图像帧中的图像帧。
具体地，电子设备从原始曝光图像帧、插值图像帧中的至少一种，任意选取一帧作为第一参考图像帧，获取第一参考图像帧对应的参考时间相位。电子设备再从原始曝光图像帧、插值图像帧中的至少一种中获取与参考时间相位匹配、且与第一参考图像帧的曝光类型不同的第二参考图像帧，将第二参考图像帧和第一参考图像帧作为待融合图像帧。例如，第一参考图像帧为长曝光插值图像帧，对应的相位为参考时间相位。那么电子设备可从插值图像帧和原始曝光图像帧中选取与参考时间相位匹配的短曝光插值图像帧、正常曝光插值图像帧、短曝光原始曝光图像帧、正常曝光原始曝光图像帧中至少一种。则电子设备可以不获取长曝光插值图像帧和长曝光原始曝光图像帧的时间相位。
本实施例中的图像处理方法，通过从原始曝光图像帧、插值图像帧中的至少一种中选取一帧作为第一参考图像帧，获取第一参考图像帧对应的参考时间相位，获取与参考时间相位匹配、且与第一参考图像帧的曝光类型不同的第二参考图像帧，将第二参考图像帧和第一参考图像帧作为待融合图像帧，通过选取第一参考图像帧的方式，则不需要获取与第一参考图像帧的曝光类型相同的图像帧的时间相位，能够提高图像处理效率。
在一个实施例中，获取相位匹配且曝光类型不同的至少两帧待融合图像帧，其中，至少两帧待融合图像帧为原始曝光图像帧、插值图像帧中的至少一种，包括：从插值图像帧中获取与参考时间相位匹配、且与第一参考图像帧的曝光类型不同的第二参考图像帧。
具体地，当第一参考图像帧为原始曝光图像帧中的一帧时，由于原始曝光图像帧之间的拍摄间隔时间比大多较长，因此需要从插值图像帧中获取与参考时间相位匹配的、且与第一参考图像帧的曝光类型不同的第二参考图像帧。而当第一参考图像帧为插值图像帧中的一帧时，难以从原始曝光图像帧中再获取到与参考时间相位匹配的、且与第一参考图像帧的曝光类型不同的第二参考图像帧，因此也采取从插值图像帧中获取与参考时间相位匹配的第二参考图像帧。
本实施例中的图像处理方法，通过仅从插值图像帧中获取第二参考图像帧，能够提高图像获取效率。
在一个实施例中，插值图像帧的数量为至少两个。如图3所示，为一个实施例中获取第二参考图像帧的流程示意图。获取与参考时间相位匹配、且与第一参考图像帧的曝光类型不同的第二参考图像帧，包括：
步骤302，从每个原始时间相位、每个插值时间相位至少一种中，确定与参考时间相位之间的差值最小的至少两个目标时间相位，其中，每个原始时间相位与每个原始曝光图像帧对应，每个插值时间相位与每个插值图像帧对应。
其中，原始曝光图像帧所对应的时间相位称为原始时间相位。插值图像帧所对应的时间相位称为插值时间相位。目标时间相位可以是原始时间相位中的一个，也可以是插值时间相位中的一个。
具体地，电子设备从每个原始时间相位、每个插值时间相位至少一种中，确定与参考时间相位之间的差值最小的至少两个目标时间相位。例如，原始时间相位可以与长曝光原始曝光图像帧对应，也可以与短曝光插值图像帧对应等不限于此。
步骤304，获取每个目标时间相位对应的、且与第一参考图像帧的曝光类型不同的第二参考图像帧，得到至少两个第二参考图像帧。
具体地，当第一参考图像帧为原始曝光图像帧中的一帧时，电子设备从插值图像帧中确定每个目标时间相位对应的、且与第一参考图像帧的曝光类型不同的第二参考图像帧，得到至少两个第二参考图像帧。当第一参考图像帧为插值图像帧中的一帧时，电子设备从插值图像帧、或者插值图像帧和原始曝光图像帧中，确定每个目标时间相位对应的、且与第一参考图像帧的曝光类型不同的第二参考图像帧，得到至少两个第二参考图像帧。
步骤306，将第一参考图像帧和至少两个第二参考图像帧作为待融合图像帧。
具体地，电子设备将第一参考图像帧和至少两个第二参考图像帧均作为待融合图像帧，即得到至少三个待融合图像帧。
本实施例中，如图4所示，为一个实施例中得到待融合图像帧的示意图。图4中包括长曝光原始图像帧0、短曝光原始图像帧0和长曝光原始图像帧1。在长曝光原始图像帧0和长曝光原始图像帧1之间插入长曝光插值图像帧A、长曝光插值图像帧B…长曝光插值图像帧N。设短曝光原始图像帧0为第一参考图像帧，对应的时间相位为参考时间相位。那么与参考时间相位之间的差值最小的至少两个目标时间相位，所对应的图像帧，即为长曝光插值图像帧A和长曝光插值图像帧B。则至少两个待融合图像帧402为短曝光原始图像帧0、长曝光插值图像帧A和长曝光插值图像帧B。那么由于离散采样后的时间相位，与原始曝光图像帧的时间相位可能存在一定差异，因此采用一个原始曝光图像帧，至少对应2个与原始曝光图像帧的曝光类型不同的图像帧进行融合的方式，以提高图像清晰度。
本实施例中的图像处理方法，从每个原始时间相位、每个插值时间相位至少一种中，确定与参考时间相位之间的差值最小的至少两个目标时间相位，从插值图像帧和原始曝光图像帧中，确定每个目标时间相位对应的且与第一参考图像帧的曝光类型不同的第二参考图像帧，得到至少两个第二参考图像帧，将至少两个第二参考图像帧和第一参考图像帧作为待融合图像帧，由于离散采样后的时间相位，与真正的时间相位存在一定差异，因此将第一参考图像帧与目标时间相位对应的且与第一参考图像帧的曝光类型不同的第二参考图像帧进行融合，进一步降低高动态范围图像的伪影问题，提高图像清晰度。
在一个实施例中，获取第一参考图像帧，以及第一参考图像帧对应的参考时间相位，包括：当第一参考图像帧为原始曝光图像帧中的一帧时，确定第一参考图像帧对应的参考曝光类型，获取第一参考图像帧对应的参考时间相位，该相同曝光类型与参考曝光类型不相同。获取与参考时间相位匹配、且与第一参考图像帧的曝光类型不同的第二参考图像帧，包括：从插值图像帧中，获取与参考时间相位匹配、且与第一参考图像帧的曝光类型不同的第二参考图像帧。
具体地，当第一参考图像帧为原始曝光图像帧的一帧时，电子设备确定第一参考图像帧对应的参考曝光类型，获取第一参考图像帧对应的参考时间相位。电子设备对相同曝光类型对应的至少两个原始曝光图像帧进行插帧处理，得到插值图像帧，其中，目标曝光类型与参考曝光类型不相同。电子设备从插值图像帧中，获取与参考时间相位匹配、且与第一参考图像帧的曝光类型不同的第二参考图像帧，将第二参考图像帧和第一参考图像帧作为待融合图像帧。
本实施例中的图像处理方法，当第一参考图像帧为原始曝光图像帧中的一帧时，确定第一参考图像帧对应的参考曝光类型，获取第一参考图像帧对应的参考时间相位，其中，目标曝光类型与参考曝光类型不相同，即当第一参考图像帧为原始曝光图像帧中的一帧时，只需要对与参考曝光类型不相同曝光类型、所对应的至少两个原始曝光图像帧进行插帧处理，得到插值图像帧，不需要再生成该参考曝光类型对应的插值图像帧，也只需要从插值图像帧中获取与参考时间相位匹配的第二参考图像帧即可，能够提高图像处理效率。
在一个实施例中，对相同曝光类型的至少两个原始曝光图像帧进行插帧处理，得到插值图像帧，包括：当第一参考图像帧是原始曝光图像帧中的一帧时，对相同曝光类型的至少两个原始曝光图像帧进行插帧处理，得到与参考时间相位匹配的、且与目标曝光类型的曝光类型相同的第三插值图像帧，其中，目标曝光类型与第一参考图像帧的曝光类型不相同。
具体地，当第一参考图像帧是原始曝光图像帧中的一帧时，对相同曝光类型对应的至少两个原始曝光图像帧，电子设备生成与参考时间相位匹配、且与目标曝光类型和第一参考图像帧的曝光类型不相同。如图5所示，为另一个实施例中得到待融合图像帧的示意图。短曝光原始图像帧0作为参考图像帧，则对相同的目标曝光类型对应的长曝光原始图像帧0和长曝光原始图像帧1进行插帧处理，得到与参考时间相位匹配的，且与目标曝光类型的曝光类型相同的第三插值图像帧，即长曝光插值图像帧Z。那么至少两个待融合图像帧502中包括短曝光原始图像帧0和长曝光插值图像帧Z。当原始曝光图像帧中包括正常曝光原始图像帧时，电子设备还可以生成与参考时间相位匹配的、且与目标曝光类型的曝光类型相同的正常曝光插值图像帧。
本实施例中的图像处理方法，当第一参考图像帧是原始曝光图像帧中的一帧时，对相同曝光类型对应的至少两个原始曝光图像帧进行插帧处理，得到与参考时间相位匹配的、且与目标曝光类型的曝光类型相同的第三插值图像帧，能够直接生成与参考时间相位匹配的、且与目标曝光类型的曝光类型相同的第三插值图像帧，提高高动态范围图像合成效率。
在一个实施例中，获取相位匹配且曝光类型不同的至少两帧待融合图像帧，其中，至少两帧待融合图像帧为原始曝光图像帧、插值图像帧中的至少一种，包括：获取每个插值图像帧对应的插值时间相位；根据插值时间相位，从插值图像帧中获取时间相位匹配且曝光类型不同的至少两个待融合图像帧。
其中，待融合图像帧中可以不包括原始曝光图像帧。
具体地，该相同曝光类型为至少两种，即表示每种相同曝光类型均有对应类型的插值图像帧。那么，电子设备获取每个插值图像帧对应的插值时间相位，根据插值时间相位，从插值图像帧中获取时间相位匹配且曝光类型不同的至少两个待融合图像帧。如图6所示，为再一个实施例中得到待融合图像帧的示意图。图6中包括长曝光原始图像帧0、短曝光原始图像帧0、长曝光原始图像帧1和短曝光原始图像帧1。根据长曝光原始图像帧0和长曝光原始图像帧1进行插帧处理，得到长曝光插值图像帧A、长曝光插值图像帧B…长曝光插值图像帧N。根据短曝光原始图像帧0和短曝光原始图像帧1进行插帧处理，得到短曝光插值图像帧A、短曝光插值图像帧B…短曝光插值图像帧N。那么根据插值时间相位，从长曝光插值图像帧A、长曝光插值图像帧B…长曝光插值图像帧N、短曝光插值图像帧A、短曝光插值图像帧B…短曝光插值图像帧N中，获取时间相位匹配且曝光类型不同的至少两个待融合图像帧。如至少两个待融合图像帧602为图中的长曝光插值帧B和短曝光插值图像帧A。
本实施例中的图像处理方法，获取每个插值图像帧对应的插值时间相位；根据插值时间相位，从插值图像帧中获取时间相位匹配且曝光类型不同的至少两个待融合图像帧，其中，目标曝光类型为至少两种原始曝光类型中的至少两种，即待融合图像均为插值图像帧，则不需要获取原始曝光图像帧的时间相位，仅根据插值图像帧也能得到相位匹配且曝光类型不同的待融合图像，解决图像的鬼影问题。
在一个实施例中，获取相位匹配且曝光类型不同的至少两帧待融合图像帧，其中，至少两帧待融合图像帧为原始曝光图像帧、插值图像帧中的至少一种，包括：获取每个原始曝光图像帧对应的原始时间相位，以及每个插值图像帧对应的插值时间相位；根据插值时间相位，从插值图像帧中获取与任一原始时间相位匹配、且曝光类型不同的第一插值图像帧，将相互匹配的原始时间相位所对应的原始曝光图像帧、以及第一插值图像帧作为待融合图像帧。
具体地，电子设备获取每个原始曝光图像帧对应的原始时间相位，以及每个插值图像帧对应的插值时间相位。电子设备根据插值时间相位，从插值图像帧中获取与任一原始时间相位匹配、且曝光类型不同的第一插值图像帧，将相互匹配的原始时间相位所对应的原始曝光图像帧、以及第一插值图像帧作为待融合图像帧。如图7所示，为又一个实施例中得到待融合图像帧的示意图。图7中包括长曝光原始图像帧0、短曝光原始图像帧0、长曝光原始图像帧1和短曝光原始图像帧1。根据长曝光原始图像帧0和长曝光原始图像帧1进行插帧处理，得到长曝光插值图像帧A、长曝光插值图像帧B…长曝光插值图像帧N。根据短曝光原始图像帧0和短曝光原始图像帧1进行插帧处理，得到短曝光插值图像帧A、短曝光插值图像帧B…短曝光插值图像帧N。那么，根据插值时间相位，从长曝光插值图像帧A、长曝光插值图像帧B…长曝光插值图像帧N、短曝光插值图像帧A、短曝光插值图像帧B…短曝光插值图像帧N中，获取与任一原始时间相位匹配、且曝光类型不同的第一插值图像帧，将相互匹配的原始时间相位所对应的原始曝光图像帧以及第一插值图像帧作为待融合图像帧。例如至少两个待融合图像帧702包括短曝光原始曝光图像帧0和长曝光插值图像帧B。可以理解的是，至少两个待融合图像帧702还可以包括短曝光图像帧A。
本实施例中的图像处理方法，获取每个原始曝光图像帧对应的原始时间相位，以及每个插值图像帧对应的插值时间相位；根据插值时间相位，从插值图像帧中获取与任一原始时间相位匹配、且曝光类型不同的第一插值图像帧，将相互匹配的原始时间相位所对应的原始曝光图像帧、以及第一插值图像帧作为待融合图像帧，将相互匹配的原始时间相位所对应的原始曝光图像帧作为待融合图像帧中的一种，能够使得合成的高动态范围图像更加逼真。
在一个实施例中，对相同曝光类型对应的至少两个原始曝光图像帧进行插帧处理，得到插值图像帧，包括：确定相同曝光类型对应的至少两个原始曝光图像帧中，每个原始曝光图像帧对应的原始时间相位，将其中一个原始时间相位作为起始时间相位，另一个原始时间相位作为终止时间相位；获取在起始时间相位和终止时间相位之间的预设数量个子时间相位；对预设数量个子时间相位、以及相同曝光类型对应的至少两个原始曝光图像帧进行插帧处理，得到曝光类型相同的、预设数量个插值图像帧。
具体地，预设数量为至少一个。子时间相位可以是为均匀时间相位，也可以进行自适应相位设定，或进行人工指定。自适应时间相位，包括插值帧的时间相位等于，需融合的其他曝光类型帧所在输入帧中的时间相位。电子设备确定相同曝光类型对应的至少两个原始曝光图像帧中，每个原始曝光图像帧对应的原始时间相位。电子设备将其中一个原始时间相位作为起始时间相位，另一个原始时间相位作为终止时间相位。电子设备获取在起始时间相位和终止时间相位之间的、预设数量个子时间相位。即子时间相位为，将两个原始时间相位之间的时间划分为N份，每一份即为一个子时间相位。
例如，起始时间相位为1，终止时间相位为10，那么子时间相位可以是1.5、2.5、3.7…不限于此。电子设备也可获取在起始时间和终止时间之间的、均分的预设数量个子时间相位。例如，起始时间相位为1，终止时间相位为10，那么子时间相位可以为2、3、4…不限于此。电子设备对预设数量个子时间相位、以及相同曝光类型对应的至少两个原始曝光图像帧进行插帧处理，得到与目标曝光类型的曝光类型相同的、预设数量个插值图像帧。例如，目标曝光类型为长曝光类型，那么电子设备生成子时间相位2对应的长曝光插值帧A、子时间相位3对应的长曝光插值帧B…不限于此。
本实施例中的图像处理方法，确定相同曝光类型对应的至少两个原始曝光图像帧中，每个原始曝光图像帧对应的原始时间相位，其中一个原始时间相位作为起始时间相位，另一个原始时间相位作为终止时间相位；获取在起始时间相位和终止时间相位之间的预设数量个子时间相位；对预设数量个子时间相位、以及相同曝光类型对应的至少两个原始曝光图像帧之间进行插帧处理，得到与目标曝光类型的曝光类型相同的、预设数量个插值图像帧，提高在插值图像帧和原始曝光图像帧中获取待融合图像帧的效率。
在一个实施例中，将至少两个待融合图像帧进行融合，得到目标图像，包括：
步骤(a1)，针对至少两个待融合图像帧，获取每个待融合图像帧中每个像素点对应的像素点坐标、像素点权重和像素值。
其中，每个像素点的权重可根据该像素点的像素值确定或者根据待融合图像帧的曝光类型确定等不限于此。
具体地，针对至少两个待融合图像帧，电子设备分别获取每个待融合图像帧中每个像素点对应的像素点坐标、像素点权重和像素值。例如，待融合图像帧中有100个像素点，那么这100个像素点中每个像素点均有对应的像素点坐标、像素点权重和像素值。
步骤(a2)，确定每个相同像素点坐标的像素值和对应的像素点权重的乘积。
具体地，电子设备确定每个相同像素点坐标的、像素值和对应的像素点权重的乘积。例如，每个待融合图像帧中均有相同像素点坐标(1，1)，电子设备确定每个待融合图像帧的(1，1)坐标所对应的像素值和像素点权重的乘积。
步骤(a3)，对每个相同像素点坐标对应的乘积进行求和处理，得到目标乘积之和。
具体地，电子设备对每个相同像素点坐标对应的乘积进行求和处理，得到目标乘积之和。例如，每个待融合图像帧的(1，1)坐标对应的像素值和像素点权重的乘积之和，则得到目标乘积之和。
步骤(a4)，根据每个像素点对应的像素点权重，确定相同像素点坐标的像素点权重之和。
其中，相同像素点坐标的像素点权重之和可以为1，也可以不为1。
具体地，电子设备根据每个像素点对应的像素点权重，确定相同像素点坐标的像素点权重之和。例如，(1，1)的像素点权重之和，即为待融合图像帧A的(1，1)对应的像素点权重，待融合图像帧B的(1，1)对应的像素点权重…的和。
步骤(a5)，确定目标乘积之和、和像素点权重之和的比值，得到相同像素点坐标对应的目标像素值。
具体地，电子设备确定相同像素点坐标对应的、目标乘积值之和和像素点权重之和的比值，得到相同像素点坐标对应的目标像素值。
步骤(a6)，根据每个相同像素点坐标的目标像素值得到目标图像。
具体地，电子设备根据每个相同像素点坐标的目标像素值，则得到目标图像。例如，电子设备根据(1，1)对应的目标像素值、(1，2)对应的目标像素值…得到目标图像。
例如，曝光类型为不同类型的原始曝光帧和不同类型的插值曝光帧，融合公式为：
其中，Fmerge为目标图像。INTP_k1,n1为第k1种曝光类型的第n1个插值图像帧，ORI_k2为第k2种曝光类型的原始曝光图像帧。针对每个待融合图像帧的像素点，其权重w可以不一样。i和j分别是图像帧的像素点横坐标和像素点纵坐标。Wth、hgt分别是像素点横坐标最大值和像素点纵坐标最大值。
本实施例中的图像处理方法，通过获取待融合图像帧中每个像素点对应的像素点坐标、像素点权重和像素值，进行处理后得到相同像素点对应的目标像素值，再根据每个相同像素点坐标的目标像素值得到目标图像，通过权重能够提高得到的目标图像的清晰度。
在一个实施例中，获取相位匹配且曝光类型不同的至少两帧待融合图像帧，其中，至少两帧待融合图像帧为原始曝光图像帧、插值图像帧中的至少一种，包括：获取每个原始曝光图像帧对应的原始时间相位；针对每个原始曝光图像帧，从插值图像帧中获取每个与原始时间相位匹配的、且与对应的原始曝光类型的曝光类型不同的第二插值图像帧，将相位匹配的原始曝光图像帧和对应的第二插值图像帧作为待融合图像帧。
在将至少两个待融合图像帧进行融合，得到目标图像之后，方法还包括：根据目标图像进行插帧处理，得到目标视频。
具体地，电子设备获取每个原始曝光图像帧对应的原始时间相位。对相同曝光类型对应的至少两个原始曝光图像帧进行插帧处理，得到插值图像帧，原始曝光类型与目标曝光类型的类型和数量均相同。例如，曝光类型包括长曝光、正常曝光和短曝光，那么相同曝光类型也为长曝光、正常曝光和短曝光。
针对每个原始曝光图像帧，电子设备从插值图像帧中获取每个与原始时间相位相同的、且与原始曝光类型的曝光类型不同的第二插值图像帧，将原始曝光图像帧和相位匹配的且曝光类型不同的第二插值图像帧作为待融合图像帧。电子设备根据每个原始曝光图像帧对应的高动态范围图像，得到目标视频。
如图8所示，为一个实施例中得到目标视频的示意图。图8中包括长曝光原始图像帧0、短曝光原始图像帧0、长曝光原始图像帧1和短曝光原始图像帧1。根据长曝光原始图像帧0和长曝光原始图像帧1进行插帧处理，得到长曝光插值图像帧A、长曝光插值图像帧B…长曝光插值图像帧N。根据短曝光原始图像帧0和短曝光原始图像帧1进行插帧处理，得到短曝光插值图像帧A、短曝光插值图像帧B…短曝光插值图像帧N。那么针对长曝光原始图像帧0，则获取相位匹配的短曝光插值图像帧A作为第一待融合图像帧802。针对短曝光原始图像帧0，则获取相位匹配的长曝光插值图像帧A作为第二待融合图像帧804。针对长曝光原始图像帧1,则获取相位匹配的短曝光插值图像帧N作为第三待融合图像帧806。针对短曝光原始图像帧1，这获取相位匹配的长曝光插值图像帧N作为第四待融合图像帧808。那么通过第一待融合图像帧802、第二待融合图像帧804、第三待融合图像帧806和第四待融合图像帧808可得到四个目标图像。即电子设备通过至少两个原始曝光图像帧中每个原始曝光图像帧对应的高动态范围图像，即可生成目标视频。可以理解的是，原始曝光图像帧的数量与高动态范围图像的数量相差不大，因此进行插帧处理，得到的视频的帧率损失较小几乎可以忽略不计。
本实施例中的图像处理方法，通过针对每个原始曝光图像帧，从插值图像帧中获取每个与原始时间相位匹配的、且与原始曝光类型的曝光类型不同的第二插值图像帧，将原始曝光图像帧和对应的第二插值图像帧作为待融合图像帧，进行融合后生成目标视频，能够去除高动态范围图像的伪影，使得高动态范围图像更加清晰，并且保证了目标视频的帧率，提高目标视频的流畅性。
在一个实施例中，如图9所示，为一个实施例中得到插值图像帧的流程示意图，步骤104包括：
步骤104A，从相同曝光类型对应的至少两个原始曝光图像帧中确定前向图像和后向图像，确定前向图像和后向图像对应的目标插值时间相位。
具体地，目标插值时间相位为对前向图像和后向图像中的前景变化幅度等分为N份，将其中的一份作为目标插值时间相位，如划分为10份，将3/10作为目标插值时间相位。
步骤104B，对前向图像和后向图像进行前向运动估计得到前向运动矢量，对前向图像和后向图像进行后向运动估计得到后向运动矢量。
具体地，对前向图像和后向图像进行分块，块大小可自定义，按块进行遍历，寻找前向图像中每个块在后向图像中的最佳匹配块，以确定前向图像每个块相对于后向图像的运动矢量，得到前向运动矢量。按块进行遍历，寻找后向图像中每个块在前向图像中的最佳匹配块，以确定后向图像每个块相对于前向图像的运动矢量，得到后向运动矢量。如图10所示，为一个实施例中前向运动矢量和后向运动矢量的示意图。在一个实施例中，可以对前向运动矢量和后向运动矢量进行修正，修正时可参考邻近块的运动矢量。如图10A所示，为一个实施例中修正后的前向运动矢量和后向运动矢量示意图。
步骤104C，根据目标插值时间相位对前向运动矢量和后向运动矢量进行映射和校正，得到插值图像中各个插值块对应的前向映射运动矢量和后向映射运动矢量。
具体地，前向映射运动矢量用于表示插值块相对于前向图像的运动矢量，后向映射运动矢量用于表示插值块相对于后向图像的运动矢量。如前向运动矢量是将前向图像中的块映射到后向图像中，在将第一前向运动矢量对应的前向图像中的块映射到后向图像的过程中会穿过插值图像，穿过插值图像中的第一插值块，则第一前向运动矢量是第一插值块对应的目标运动矢量，将第一插值块对应的目标运动矢量根据目标插值时间相位进行双向映射，得到第一插值块对应的前向映射运动矢量和后向映射运动矢量。如第一前向运动矢量为(3，-9)，目标插值时间相位为1/3，则进行映射和校正后，得到第一插值块对应的前向映射运动矢量和后向映射运动矢量分别为(1，-3)和(-1，3)。
同样，后向运动矢量是将后向图像中的块映射到前向图像中，在将第一后向运动矢量对应的后向图像中的块映射到前向图像的过程中会穿过插值图像，穿过插值图像中的第二插值块，则第一后向运动矢量是第二插值块对应的目标运动矢量，将第二插值块对应的目标运动矢量根据目标插值时间相位进行双向映射，得到第二插值块对应的前向映射运动矢量和后向映射运动矢量。如第二后向运动矢量为(-3，9)，目标插值时间相位为1/3，则进行映射和校正后，得到第二插值块对应的前向映射运动矢量和后向映射运动矢量分别为(1，-3)和(-1，3)。如图11所示，为一个实施例中前向映射运动矢量和后向映射运动矢量的示意图。
如果一个插值块有多个前向运动矢量和多个后面运动矢量穿过，则所有穿过的运动矢量进行映射和校正后得到的前向映射运动矢量和后向映射运动矢量，都作为这个插值块对应的候选的前向映射运动矢量和后向映射运动矢量。可以从候选的前向映射运动矢量和后向映射运动矢量中确定这个插值块对应的目标前向映射运动矢量和目标后向映射运动矢量，具体的筛选方法可自定义，如通过计算前向映射运动矢量和后向映射运动矢量对应的匹配块的匹配误差得到。
步骤104D，根据前向映射运动矢量和后向映射运动矢量得到各个插值块对应的插值像素值，根据各个插值块生成插值图像帧。
具体地，通过前向映射运动矢量得到插值块在前向图像中的第一插值像素值，通过后向映射运动矢量得到插值块在后向图像中的第二插值像素值，通过对第一插值像素值和第二插值像素值进行加权得到插值块的插值像素值，其中加权系数的确定可自定义，从而最终生成插值图像。
本实施例中的图像处理方法，通过前向运动估计和后面运动估计分别计算得到前向运动矢量和后向运动矢量，并根据目标插值时间相位对前向运动矢量和后向运动矢量进行映射和校正，得到各个插值块对应的前向映射运动矢量和后向映射运动矢量，能提高插值块运动矢量确定的准确性，提高插值图像的生成质量。
在一个实施例中，如图12所示，为一个实施例中图像处理系统的示意图。
该系统包含三个主要模块，策略制定模块，运动插帧模块，融合模块。三个模块的组合可指定，且每个模块的数量可以不止于1个，包括如下：
1.在策略制定模块中，制定统一的插帧和融合策略，不同曝光类型帧，根据策略依次先后进入运动插帧模块和融合模块，得到输出的HDR帧。
2.不同曝光类型的图像帧，每次都会先后串行进入策略制定模块，运动插帧模块和融合模块，且会根据每个HDR输出帧的不同，在策略制定模块中分别制定不同策略。
3.不同曝光类型的图像帧，每次都会先后串行进入策略制定模块，当策略制定完毕后，并行执行多个不同曝光类型帧的运动插帧模块，得到所有插值帧后，统一送入融合模块，且会根据每个HDR输出帧的不同，分别制定策略。
4.以上三种策略交叉组合进行，但不止于此。
应该理解的是，虽然图1、3和9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、3和9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图13为一个实施例的图像处理装置的结构框图。一种图像处理装置，包括第一获取模块1302、插帧模块1304、第二获取模块1306和融合模块1308，其中：
第一获取模块1302，用于获取至少两种曝光类型不同的原始曝光图像帧；
插帧模块1304，用于对相同曝光类型的至少两帧原始曝光图像帧进行插帧处理，得到插值图像帧；
第二获取模块1306，用于获取相位匹配且曝光类型不同的至少两帧待融合图像帧，其中，至少两帧待融合图像帧为原始曝光图像帧、插值图像帧中的至少一种；
融合模块1308，用于将至少两个待融合图像帧进行融合，得到目标图像。
本实施例中的图像处理装置，获取至少两种曝光类型不同的原始曝光图像帧，对相同曝光类型的至少两个原始曝光图像帧进行插帧处理，得到插值图像帧，获取相位匹配且曝光类型不同的至少两帧待融合图像帧，进行融合，得到目标图像，即通过插帧的方式得到时间相位匹配且曝光类型不同的待融合图像帧，减小了待融合图像帧之间的时间差异，即减小了待融合图像帧之间的差异，能够解决伪影或者色偏等问题，提高了图像的清晰度。
在一个实施例中，该图像处理装置还包括策略制定模块，策略制定模块用于制定插帧策略和融合策略；插帧模块还用于从策略制定模块中获取插帧策略，根据插帧策略对相同曝光类型的至少两帧原始曝光图像帧进行插帧处理，得到插值图像帧；融合模块还用于从策略制定模块中获取融合策略，根据融合策略将至少两个待融合图像帧进行融合，得到目标图像。
其中，插帧策略，该策略主要包括针对确定运动插帧模块的输入，插帧的数量和插帧所在的时间相位，多帧融合方式。对应的插帧方法可以为MEMC，光流法，神经网络或其他任意FRC技术。
融合策略是输入不同原始曝光图像帧和数量，进行融合，融合的方式为像素级，即每个像素均有自己的权重。帧类型分为：不同曝光类型的原始曝光图像帧和不同曝光类型的插值图像帧。
具体地，在策略制定模块中，制定统一的插帧策略和融合策略，不同的原始曝光类型帧，根据策略依次先后进入插帧模块和融合模块，得到输出的目标图像。
不同的原始曝光图像帧，每次都会先后串行进入策略制定模块、插帧模块和融合模块，且会根据每个目标图像的不同，在策略制定模块中分别制定不同策略。
不同的原始曝光图像帧，每次都会先后串行进入策略制定模块，当策略制定完毕后，并行执行多个不同原始曝光图像帧的运动插帧模块，得到所有插值图像帧后，统一送入融合模块，且会根据每个目标图像的不同，分别制定策略。
以上三种策略交叉组合进行，但不止于此。
本实施例中的图像处理装置，策略制定模块用于制定插帧策略和融合策略，可通过策略制定模块指定不同的策略供插帧模块和融合模块使用，提高图像处理的易用性。
在一个实施例中，第二获取模块1306用于获取第一参考图像帧，以及第一参考图像帧对应的参考时间相位；获取与参考时间相位匹配、且与第一参考图像帧的曝光类型不同的第二参考图像帧；将第二参考图像帧和第一参考图像帧作为待融合图像帧。
本实施例中的图像处理装置，通过从原始曝光图像帧、插值图像帧中的至少一种中选取一帧作为第一参考图像帧，获取第一参考图像帧对应的参考时间相位，获取与参考时间相位匹配、且与第一参考图像帧的曝光类型不同的第二参考图像帧，将第二参考图像帧和第一参考图像帧作为待融合图像帧，通过选取第一参考图像帧的方式，则不需要获取与第一参考图像帧的曝光类型相同的图像帧的时间相位，能够提高图像处理效率。
在一个实施例中，第二获取模块1306用于从插值图像帧中获取与参考时间相位匹配、且与第一参考图像帧的曝光类型不同的第二参考图像帧。本实施例中的图像处理装置，通过仅从插值图像帧中获取第二参考图像帧，能够提高图像获取效率。
在一个实施例中，插值图像帧的数量为至少两个。第二获取模块1306用于从每个原始时间相位、每个插值时间相位至少一种中，确定与参考时间相位之间的差值最小的至少两个目标时间相位，其中，每个原始时间相位与每个原始曝光图像帧对应，每个插值时间相位与每个插值图像帧对应；获取每个目标时间相位对应的、且与第一参考图像帧的曝光类型不同的第二参考图像帧，得到至少两个第二参考图像帧；将第一参考图像帧和至少两个第二参考图像帧作为待融合图像帧。
本实施例中的图像处理装置，从每个原始时间相位、每个插值时间相位至少一种中，确定与参考时间相位之间的差值最小的至少两个目标时间相位，从插值图像帧和原始曝光图像帧中，确定每个目标时间相位对应的且与第一参考图像帧的曝光类型不同的第二参考图像帧，得到至少两个第二参考图像帧，将至少两个第二参考图像帧和第一参考图像帧作为待融合图像帧，由于离散采样后的时间相位，与真正的时间相位存在一定差异，因此将第一参考图像帧与目标时间相位对应的且与第一参考图像帧的曝光类型不同的第二参考图像帧进行融合，进一步降低高动态范围图像的伪影问题，提高图像清晰度。
在一个实施例中，第二获取模块1306用于当第一参考图像帧为原始曝光图像帧中的一帧时，确定第一参考图像帧对应的参考曝光类型，获取第一参考图像帧对应的参考时间相位，该相同曝光类型与参考曝光类型不相同；从插值图像帧中，获取与参考时间相位匹配、且与第一参考图像帧的曝光类型不同的第二参考图像帧。
本实施例中的图像处理装置，当第一参考图像帧为原始曝光图像帧中的一帧时，确定第一参考图像帧对应的参考曝光类型，获取第一参考图像帧对应的参考时间相位，其中，目标曝光类型与参考曝光类型不相同，即当第一参考图像帧为原始曝光图像帧中的一帧时，只需要对与参考曝光类型不相同曝光类型、所对应的至少两个原始曝光图像帧进行插帧处理，得到插值图像帧，不需要再生成该参考曝光类型对应的插值图像帧，也只需要从插值图像帧中获取与参考时间相位匹配的第二参考图像帧即可，能够提高图像处理效率。
在一个实施例中，插帧模块1304用于当第一参考图像帧是原始曝光图像帧中的一帧时，对相同曝光类型的至少两个原始曝光图像帧进行插帧处理，得到与参考时间相位匹配的、且与目标曝光类型的曝光类型相同的第三插值图像帧，其中，目标曝光类型与第一参考图像帧的曝光类型不相同。
本实施例中的图像处理装置，当第一参考图像帧是原始曝光图像帧中的一帧时，对相同曝光类型对应的至少两个原始曝光图像帧进行插帧处理，得到与参考时间相位匹配的、且与目标曝光类型的曝光类型相同的第三插值图像帧，能够直接生成与参考时间相位匹配的、且与目标曝光类型的曝光类型相同的第三插值图像帧，提高高动态范围图像合成效率。
在一个实施例中，第二获取模块1306用于获取每个插值图像帧对应的插值时间相位；根据插值时间相位，从插值图像帧中获取时间相位匹配且曝光类型不同的至少两个待融合图像帧。
本实施例中的图像处理装置，获取每个插值图像帧对应的插值时间相位；根据插值时间相位，从插值图像帧中获取时间相位匹配且曝光类型不同的至少两个待融合图像帧，其中，目标曝光类型为至少两种原始曝光类型中的至少两种，即待融合图像均为插值图像帧，则不需要获取原始曝光图像帧的时间相位，仅根据插值图像帧也能得到相位匹配且曝光类型不同的待融合图像，解决图像的鬼影问题。
在一个实施例中，第二获取模块1306用于获取每个原始曝光图像帧对应的原始时间相位，以及每个插值图像帧对应的插值时间相位；根据插值时间相位，从插值图像帧中获取与任一原始时间相位匹配、且曝光类型不同的第一插值图像帧，将相互匹配的原始时间相位所对应的原始曝光图像帧、以及第一插值图像帧作为待融合图像帧。
本实施例中的图像处理装置，获取每个原始曝光图像帧对应的原始时间相位，以及每个插值图像帧对应的插值时间相位；根据插值时间相位，从插值图像帧中获取与任一原始时间相位匹配、且曝光类型不同的第一插值图像帧，将相互匹配的原始时间相位所对应的原始曝光图像帧、以及第一插值图像帧作为待融合图像帧，将相互匹配的原始时间相位所对应的原始曝光图像帧作为待融合图像帧中的一种，能够使得合成的高动态范围图像更加逼真。
在一个实施例中，插帧模块1304用于确定相同曝光类型对应的至少两个原始曝光图像帧中，每个原始曝光图像帧对应的原始时间相位，将其中一个原始时间相位作为起始时间相位，另一个原始时间相位作为终止时间相位；获取在起始时间相位和终止时间相位之间的预设数量个子时间相位；对预设数量个子时间相位、以及相同曝光类型对应的至少两个原始曝光图像帧进行插帧处理，得到曝光类型相同的、预设数量个插值图像帧。
本实施例中的图像处理装置，确定相同曝光类型对应的至少两个原始曝光图像帧中，每个原始曝光图像帧对应的原始时间相位，其中一个原始时间相位作为起始时间相位，另一个原始时间相位作为终止时间相位；获取在起始时间相位和终止时间相位之间的预设数量个子时间相位；对预设数量个子时间相位、以及相同曝光类型对应的至少两个原始曝光图像帧之间进行插帧处理，得到与目标曝光类型的曝光类型相同的、预设数量个插值图像帧，提高在插值图像帧和原始曝光图像帧中获取待融合图像帧的效率。
在一个实施例中，融合模块1308用于针对至少两个待融合图像帧，获取每个待融合图像帧中每个像素点对应的像素点坐标、像素点权重和像素值；确定每个相同像素点坐标的像素值和对应的像素点权重的乘积；对每个相同像素点坐标对应的乘积进行求和处理，得到目标乘积之和；根据每个像素点对应的像素点权重，确定相同像素点坐标的像素点权重之和；确定目标乘积之和、和像素点权重之和的比值，得到相同像素点坐标对应的目标像素值；根据每个相同像素点坐标的目标像素值得到目标图像。
本实施例中的图像处理装置，通过获取待融合图像帧中每个像素点对应的像素点坐标、像素点权重和像素值，进行处理后得到相同像素点对应的目标像素值，再根据每个相同像素点坐标的目标像素值得到高动态范围图像，通过权重能够提高得到的目标图像的清晰度。
在一个实施例中，第二获取模块1306用于获取每个原始曝光图像帧对应的原始时间相位；针对每个原始曝光图像帧，从插值图像帧中获取每个与原始时间相位匹配的、且与对应的原始曝光类型的曝光类型不同的第二插值图像帧，将相位匹配的原始曝光图像帧和对应的第二插值图像帧作为待融合图像帧。该图像处理装置还包括视频生成模块，用于根据目标图像生成目标视频。
本实施例中的图像处理装置，通过针对每个原始曝光图像帧，从插值图像帧中获取每个与原始时间相位匹配的、且与原始曝光类型的曝光类型不同的第二插值图像帧，将原始曝光图像帧和对应的第二插值图像帧作为待融合图像帧，进行融合后生成目标视频，能够去除高动态范围图像的伪影，使得高动态范围图像更加清晰，并且保证了目标视频的帧率，提高目标视频的流畅性。
在一个实施例中，插帧模块1304用于从相同曝光类型对应的至少两个原始曝光图像帧中确定前向图像和后向图像，确定前向图像和后向图像对应的目标插值时间相位；对前向图像和后向图像进行前向运动估计得到前向运动矢量，对前向图像和后向图像进行后向运动估计得到后向运动矢量；根据目标插值时间相位对前向运动矢量和后向运动矢量进行映射和校正，得到插值图像中各个插值块对应的前向映射运动矢量和后向映射运动矢量；根据前向映射运动矢量和后向映射运动矢量得到各个插值块对应的插值像素值，根据各个插值块生成插值图像。
本实施例中的图像处理装置，通过前向运动估计和后面运动估计分别计算得到前向运动矢量和后向运动矢量，并根据目标插值时间相位对前向运动矢量和后向运动矢量进行映射和校正，得到各个插值块对应的前向映射运动矢量和后向映射运动矢量，能提高插值块运动矢量确定的准确性，提高插值图像的生成质量。
上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图14为一个实施例中电子设备的内部结构示意图。如图14所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取至少两种曝光类型不同的原始曝光图像帧；
从相同的目标曝光类型对应的至少两个所述原始曝光图像帧中，确定前向图像和后向图像，确定所述前向图像和后向图像对应的目标插值时间相位；
对所述前向图像和后向图像进行前向运动估计得到前向运动矢量，对所述前向图像和后向图像进行后向运动估计得到后向运动矢量；
根据所述目标插值时间相位对所述前向运动矢量和后向运动矢量进行映射和校正，得到插值图像中各个插值块对应的前向映射运动矢量和后向映射运动矢量；
根据所述前向映射运动矢量和后向映射运动矢量得到各个插值块对应的插值像素值；根据各个插值块，得到多帧插值图像帧；
获取时间相位匹配且曝光类型不同的至少两帧待融合图像帧，其中，所述至少两帧待融合图像帧为所述插值图像帧；所述至少两帧待融合图像帧的时间相位相同，或所述至少两帧待融合图像帧的时间相位之间的差值小于预设差值阈值；
将至少两个所述待融合图像帧进行融合，得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述获取时间相位匹配且曝光类型不同的至少两帧待融合图像帧，包括：
获取第一参考图像帧，以及所述第一参考图像帧对应的参考时间相位；
获取与所述参考时间相位匹配、且与所述第一参考图像帧的曝光类型不同的第二参考图像帧；
将所述第二参考图像帧和所述第一参考图像帧作为待融合图像帧。
3.根据权利要求2所述的方法，其特征在于，所述插值图像帧的数量为至少两个；
所述获取与所述参考时间相位匹配、且与所述第一参考图像帧的曝光类型不同的第二参考图像帧，包括：
从每个插值时间相位中，确定与所述参考时间相位之间的差值最小的至少两个目标时间相位，其中，每个所述插值时间相位与每个所述插值图像帧对应；
获取每个所述目标时间相位对应的、且与所述第一参考图像帧的曝光类型不同的第二参考图像帧，得到至少两个第二参考图像帧；
所述将所述第二参考图像帧和所述第一参考图像帧作为待融合图像帧，包括：
将所述第一参考图像帧和至少两个所述第二参考图像帧作为待融合图像帧。
4.根据权利要求1所述的方法，其特征在于，所述获取时间相位匹配且曝光类型不同的至少两帧待融合图像帧，包括：
获取每个所述插值图像帧对应的插值时间相位；
根据所述插值时间相位，从所述插值图像帧中获取时间相位匹配且曝光类型不同的至少两个待融合图像帧。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
确定相同曝光类型对应的至少两个原始曝光图像帧中，每个所述原始曝光图像帧对应的原始时间相位，将其中一个原始时间相位作为起始时间相位，另一个原始时间相位作为终止时间相位；
获取在所述起始时间相位和所述终止时间相位之间的预设数量个子时间相位；
对预设数量个所述子时间相位、以及相同曝光类型对应的至少两个所述原始曝光图像帧进行插帧处理，得到曝光类型相同的、预设数量个插值图像帧。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述将至少两个所述待融合图像帧进行融合，得到目标图像，包括：
针对至少两个所述待融合图像帧，获取每个所述待融合图像帧中每个像素点对应的像素点坐标、像素点权重和像素值；
针对每个所述待融合图像帧，确定每个相同像素点坐标的所述像素值和对应的所述像素点权重的乘积；
对每个所述相同像素点坐标对应的所述乘积进行求和处理，得到目标乘积之和；
根据所述每个像素点对应的像素点权重，确定所述相同像素点坐标的像素点权重之和；
确定所述目标乘积之和、和所述像素点权重之和的比值，得到所述相同像素点坐标对应的目标像素值；
根据每个所述相同像素点坐标的所述目标像素值，得到目标图像。
7.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取至少两种曝光类型不同的原始曝光图像帧；
插帧模块，用于从相同的目标曝光类型对应的至少两个所述原始曝光图像帧中，确定前向图像和后向图像，确定所述前向图像和后向图像对应的目标插值时间相位；对所述前向图像和后向图像进行前向运动估计得到前向运动矢量，对所述前向图像和后向图像进行后向运动估计得到后向运动矢量；根据所述目标插值时间相位对所述前向运动矢量和后向运动矢量进行映射和校正，得到插值图像中各个插值块对应的前向映射运动矢量和后向映射运动矢量；根据所述前向映射运动矢量和后向映射运动矢量得到各个插值块对应的插值像素值；根据各个插值块，得到多帧插值图像帧；
第二获取模块，用于获取时间相位匹配且曝光类型不同的至少两帧待融合图像帧，其中，所述至少两帧待融合图像帧为所述插值图像帧；所述至少两帧待融合图像帧的时间相位相同，或所述至少两帧待融合图像帧的时间相位之间的差值小于预设差值阈值；
融合模块，用于将至少两个所述待融合图像帧进行融合，得到目标图像。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括策略制定模块，所述策略制定模块用于制定插帧策略和融合策略；
所述插帧模块还用于从所述策略制定模块中获取所述插帧策略，根据所述插帧策略对相同曝光类型的至少两帧所述原始曝光图像帧进行插帧处理，得到插值图像帧；
所述融合模块还用于从所述策略制定模块中获取所述融合策略，根据所述融合策略将至少两个所述待融合图像帧进行融合，得到目标图像。
9.一种电子设备，包括存储器及处理器，其特征在于，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的图像处理方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
CN202010342438.3A 2020-04-27 2020-04-27 图像处理方法、装置、电子设备和计算机可读存储介质 Active CN111462021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010342438.3A CN111462021B (zh) 2020-04-27 2020-04-27 图像处理方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010342438.3A CN111462021B (zh) 2020-04-27 2020-04-27 图像处理方法、装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111462021A CN111462021A (zh) 2020-07-28
CN111462021B true CN111462021B (zh) 2023-08-29

Family

ID=71683933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010342438.3A Active CN111462021B (zh) 2020-04-27 2020-04-27 图像处理方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111462021B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023070660A1 (zh) * 2021-11-01 2023-05-04 华为技术有限公司 处理图像的方法及装置
CN115118974A (zh) * 2022-06-22 2022-09-27 清华大学 视频生成方法、装置、系统、电子设备以及可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041519A (ja) * 2008-08-06 2010-02-18 Sharp Corp フレームレート変換装置、フレームレート変換方法、テレビジョン受像機、フレームレート変換プログラムおよび該プログラムを記録した記録媒体
JP2014036357A (ja) * 2012-08-09 2014-02-24 Olympus Corp 画像処理装置及び画像処理方法
CN104219533A (zh) * 2014-09-24 2014-12-17 苏州科达科技股份有限公司 一种双向运动估计方法和视频帧率上转换方法及系统
CN104639920A (zh) * 2013-11-13 2015-05-20 上海微锐智能科技有限公司 基于单帧双次曝光模式的宽动态融合方法
JP2015119409A (ja) * 2013-12-19 2015-06-25 日本放送協会 フレーム補間装置及びプログラム
CN104869320A (zh) * 2014-02-21 2015-08-26 三星电子株式会社 电子设备和控制电子设备操作方法
CN106303546A (zh) * 2016-08-31 2017-01-04 四川长虹通信科技有限公司 一种帧速率上转换方法及系统
CN110121882A (zh) * 2017-10-13 2019-08-13 华为技术有限公司 一种图像处理方法及装置
CN110430370A (zh) * 2019-07-30 2019-11-08 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
JP5333522B2 (ja) * 2011-06-06 2013-11-06 カシオ計算機株式会社 動画生成装置、動画生成方法、および、プログラム
JP2014086889A (ja) * 2012-10-24 2014-05-12 Toshiba Corp 固体撮像装置
TWI501639B (zh) * 2013-07-29 2015-09-21 Quanta Comp Inc 拍攝高動態範圍影片之方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041519A (ja) * 2008-08-06 2010-02-18 Sharp Corp フレームレート変換装置、フレームレート変換方法、テレビジョン受像機、フレームレート変換プログラムおよび該プログラムを記録した記録媒体
JP2014036357A (ja) * 2012-08-09 2014-02-24 Olympus Corp 画像処理装置及び画像処理方法
CN104639920A (zh) * 2013-11-13 2015-05-20 上海微锐智能科技有限公司 基于单帧双次曝光模式的宽动态融合方法
JP2015119409A (ja) * 2013-12-19 2015-06-25 日本放送協会 フレーム補間装置及びプログラム
CN104869320A (zh) * 2014-02-21 2015-08-26 三星电子株式会社 电子设备和控制电子设备操作方法
CN104219533A (zh) * 2014-09-24 2014-12-17 苏州科达科技股份有限公司 一种双向运动估计方法和视频帧率上转换方法及系统
CN106303546A (zh) * 2016-08-31 2017-01-04 四川长虹通信科技有限公司 一种帧速率上转换方法及系统
CN110121882A (zh) * 2017-10-13 2019-08-13 华为技术有限公司 一种图像处理方法及装置
CN110430370A (zh) * 2019-07-30 2019-11-08 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN111462021A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111402139B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110473159B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111028137B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US20210344826A1 (en) Image Acquisition Method, Electronic Device, andNon-Transitory Computer Readable Storage Medium
US8976280B2 (en) Distortion estimating image processing device, method, and non-transitory storage medium
CN109361855B (zh) 全景图像像素亮度校正方法、装置、全景相机和存储介质
CN110740247B (zh) 视频增稳方法、装置、计算机设备及存储介质
CN111586409B (zh) 插值帧的生成方法、装置、电子设备和存储介质
JP6326180B1 (ja) 画像処理装置
CN111951180B (zh) 图像抖动校正方法、装置、计算机设备和存储介质
CN114586337B (zh) 视频防抖优化处理方法和装置、电子设备
CN111462021B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN109413335B (zh) 一种双重曝光合成hdr图像的方法和装置
CN113674189B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
EP4089625A1 (en) Method and apparatus for generating super night scene image, and electronic device and storage medium
CN111586321B (zh) 视频生成方法、装置、电子设备和计算机可读存储介质
CN111614911B (zh) 图像生成方法和装置、电子设备及存储介质
CN111372000B (zh) 视频防抖方法和装置、电子设备及计算机可读存储介质
CN113781358A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN114691069A (zh) 图像显示调整的方法和装置、电子设备
CN113888429A (zh) 图像提亮方法和装置、电子设备
CN115375780A (zh) 色差计算方法、装置、电子设备和存储介质、产品
CN109963082A (zh) 图像拍摄方法、装置、电子设备、计算机可读存储介质
JP2019096049A (ja) 画像生成装置及び方法
CN115205168A (zh) 图像处理方法、装置、电子设备和存储介质、产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant