CN111489320A - 图像处理的方法和装置 - Google Patents

图像处理的方法和装置 Download PDF

Info

Publication number
CN111489320A
CN111489320A CN201910090768.5A CN201910090768A CN111489320A CN 111489320 A CN111489320 A CN 111489320A CN 201910090768 A CN201910090768 A CN 201910090768A CN 111489320 A CN111489320 A CN 111489320A
Authority
CN
China
Prior art keywords
image
fusion weight
region
mask
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910090768.5A
Other languages
English (en)
Inventor
刘梦莹
孙涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910090768.5A priority Critical patent/CN111489320A/zh
Publication of CN111489320A publication Critical patent/CN111489320A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像处理的方法，该方法包括：获取多帧图像，所述多帧图像包括第一图像和至少一个第二图像；获取所述第一图像中的目标的掩膜；根据所述掩膜，调整所述第一图像中第一区域的第一融合权重和所述第二图像中第二区域的第二融合权重，其中，所述第一区域为所述第一图像中所述目标的图像，所述第二区域分别为所述第二图像中所述目标的图像；根据所述第一融合权重和所述第二融合权重，对所述第一图像和所述第二图像进行融合，该方法能够使融合结果图中的目标图像效果与作为参考帧的第一图像中的对应区域效果一致，改善用户体验。

Description

图像处理的方法和装置
技术领域
本申请实施例涉及图像处理领域，并且更具体地，涉及一种图像处理的方法和装置。
背景技术
基于多帧曝光合成的高动态范围(high dynamic range，HDR)成像的研究已经非常成熟，在图像处理领域的应用比较广泛。例如，在消费市场上，越来越多的手机已经集成了HDR拍照功能。
以人像拍摄为例，当我们拍摄HDR场景时，人物作为被拍摄主体，一般预览时整个画面会根据人脸亮度进行提亮，导致背景过曝比较严重，表现为一片白色，无法观察到背景细节信息。传统HDR算法使用基于中心亮度的曝光融合方案，参与融合的三帧图像曝光分别设置为长曝光、正常曝光和短曝光。融合后的人脸亮度会比正常低，人像作为前置拍照的主体则显得发灰发暗、无光泽。可见，传统HDR算法无法兼顾背景细节与人脸亮度。
恢复背景细节，要求短曝光帧包含大量背景细节信息，这需要短曝光帧亮度很暗，会导致融合得到的HDR图像人脸亮度明显偏暗。而若要提高人脸亮度，则需要传统HDR短曝光帧亮度提高，这会导致融合结果图背景信息不够。
现有HDR技术中，可以先通过人脸识别技术识别出图像中的人脸框，然后根据识别出的人脸框对正常曝光帧人脸框部分的融合权重进行提升。即提高正常曝光帧人脸框范围内的融合权重，降低短曝光帧在人脸框范围内的融合权重，从而提升HDR融合结果图中的人脸亮度。
但根据人脸框提升人脸亮度的策略提升幅度非常有限，正常曝光帧人脸框范围内的融合权重不能提高过多，否则会在HDR融合结果图中引入明显的人脸框轮廓。
发明内容
本申请提供一种图像处理的方法和装置，能够使融合结果图中的目标图像效果与作为参考帧的第一图像中的对应区域效果一致，改善用户体验。
第一方面，提供了一种图像处理的方法，包括：获取多帧图像，所述多帧图像包括第一图像和至少一个第二图像；获取所述第一图像中的目标的掩膜；根据所述掩膜，调整所述第一图像中第一区域的第一融合权重和所述第二图像中第二区域的第二融合权重，其中，所述第一区域为所述第一图像中所述目标的图像，所述第二区域分别为所述第二图像中所述目标的图像；根据所述第一融合权重和所述第二融合权重，对所述第一图像和所述第二图像进行融合。
根据本申请实施例中图像处理的方法，根据所述掩膜，调整所述第一图像中第一区域的第一融合权重和所述第二图像中第二区域的第二融合权重，然后，根据所述第一融合权重和所述第二融合权重，对所述第一图像和所述第二图像进行融合，能够使融合结果图中的目标图像效果与作为参考帧的第一图像中的对应区域效果一致，改善用户体验。
在一些可能的实现方式中，所述目标为人像或天空。
在一些可能的实现方式中，所述第一图像与所述第二图像的曝光时长或色彩饱和度不同。
在一些可能的实现方式中，所述第一图像为正常曝光的参考帧，所述至少一个第二图像包括长曝光和/或短曝光。
在一些可能的实现方式中，所述调整所述第一图像中第一区域的第一融合权重和所述第二图像中第二区域的第二融合权重，包括：增大所述第一融合权重，减小所述第二融合权重。
在一些可能的实现方式中，所述增大所述第一融合权重和减小所述第二融合权重，包括：
将所述第一图像对应的融合权重图中的第一区域的灰度值设置为最大值，将所述第二图像对应的融合权重图中的第二区域的灰度值设置为最小值。
在一些可能的实现方式中，在所述对所述第一图像和所述第二图像进行融合之前，所述方法还包括：将所述第二图像中的所述第二区域替换为所述第一区域。
在一些可能的实现方式中，将所述第二图像中的所述第二区域替换为所述第一区域，包括：当所述第一区域与所述第二区域的亮度指标差值大于或等于预设的阈值时，将所述第二图像中的所述第二区域替换为所述第一区域，其中，所述指标差值包括亮度差值和/或色彩通道的差值。
在一些可能的实现方式中，所述获取所述第一图像中的目标的掩膜，包括：对所述第一图像进行图像分割，得到所述掩膜。
在一些可能的实现方式中，所述获取所述第一图像中的目标的掩膜，包括：对所述第一图像进行图像分割，得到所述第一图像中的所述目标的初始掩膜；对所述初始掩膜进行滤波，得到所述掩膜。
在一些可能的实现方式中，所述对所述初始掩膜进行滤波，包括：对所述初始掩膜进行导向滤波、盒子滤波或均值滤波。
第二方面，提供了一种图像处理的装置，包括：获取模块，用于获取多帧图像，所述多帧图像包括第一图像和至少一个第二图像；处理模块，用于获取所述第一图像中的目标的掩膜；所述处理模块，用于根据所述掩膜，调整所述第一图像中第一区域的第一融合权重和所述第二图像中第二区域的第二融合权重，其中，所述第一区域为所述第一图像中所述目标的图像，所述第二区域分别为所述第二图像中所述目标的图像；所述处理模块，用于根据所述第一融合权重和所述第二融合权重，对所述第一图像和所述第二图像进行融合。
根据本申请实施例中图像处理的装置，根据所述掩膜，调整所述第一图像中第一区域的第一融合权重和所述第二图像中第二区域的第二融合权重，然后，根据所述第一融合权重和所述第二融合权重，对所述第一图像和所述第二图像进行融合，能够使融合结果图中的目标图像效果与作为参考帧的第一图像中的对应区域效果一致，改善用户体验。
在一些可能的实现方式中，所述目标为人像或天空。
在一些可能的实现方式中，所述第一图像与所述第二图像的曝光时长或色彩饱和度不同。
在一些可能的实现方式中，所述第一图像为正常曝光的参考帧，所述第二图像为长曝光和/或短曝光。
在一些可能的实现方式中，所述处理模块具体用于：增大所述第一融合权重，减小所述第二融合权重。
在一些可能的实现方式中，所述处理模块具体用于：将所述第一图像对应的融合权重图中的第一区域的灰度值设置为最大值，将所述第二图像对应的融合权重图中的第二区域的灰度值设置为最小值。
在一些可能的实现方式中，所述处理模块还用于：将所述第二图像中的所述第二区域替换为所述第一区域。
在一些可能的实现方式中，所述处理模块具体用于：当所述第一区域与所述第二区域的指标差值大于或等于预设的阈值时，将所述第二图像中的所述第二区域替换为所述第一区域，其中，所述指标差值包括亮度差值和/或色彩通道的差值。
在一些可能的实现方式中，所述处理模块具体用于：对所述第一图像进行图像分割，得到所述掩膜。
在一些可能的实现方式中，所述处理模块具体用于：对所述第一图像进行图像分割，得到所述第一图像中的所述目标的初始掩膜；对所述初始掩膜进行滤波，得到所述掩膜。
在一些可能的实现方式中，所述处理模块具体用于：对所述初始掩膜进行导向滤波、盒子滤波或均值滤波。
第二方面中的装置包括的各个模块可以通过软件和/或硬件方式实现。
例如，第二方面中的装置包括的各个模块可以通过处理器实现，即第二方面中的装置可以包括处理器，该处理器用于执行程序指令，以实现该装置包括的各个模块能够实现的各个功能。
可选地，第二方面中的装置开可以包括存储器，用于存储处理器执行的程序指令，甚至用于存储各种数据。
可选地，第二方面中的装置可以是能够集成在智能设备中的芯片，此时，该装置还可以包括通信接口。
第三方面，本申请提供了一种计算机可读存储介质。该计算机可读存储介质中存储用于图像处理的装置执行的程序代码。该程序代码包括用于执行第一方面或其中任意一种可能的实现方式中的方法的指令。
第四方面，本申请提供了一种包含指令的计算机程序产品。当该计算机程序产品在图像处理的装置上运行时，使得该装置执行第一方面或其中任意一种可能的实现方式中的方法。
根据本申请实施例中图像处理的方法，根据所述掩膜，调整所述第一图像中第一区域的第一融合权重和所述第二图像中第二区域的第二融合权重，然后，根据所述第一融合权重和所述第二融合权重，对所述第一图像和所述第二图像进行融合，能够使融合结果图中的目标图像效果与作为参考帧的第一图像中的对应区域效果一致，改善用户体验。
附图说明
图1是本申请一个实施例的图像处理的方法的示意性流程图。
图2是本申请一个实施例的融合权重图的示例。
图3是本申请另一个实施例的融合权重图的示例。
图4是本申请另一个实施例的短曝光帧人像替换的示例。
图5是本申请另一个实施例的图像处理的方法的示意性流程图。
图6是本申请一个实施例的图像处理的装置的示意性结构图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
本申请实施例的技术方案可以应用于各种能够进行图像处理的终端设备或装置，该终端设备具体可以为照相机、智能手机或者其他能够进行图像处理的终端设备，也可以为能够进行图像处理的设备、装置或芯片等，本申请实施例对此并不限定。
在本申请实施例中，终端设备或装置包括硬件层、运行在硬件层之上的操作系统层，以及运行在操作系统层上的应用层。该硬件层包括中央处理器(central processingunit，CPU)、内存管理单元(memory management unit，MMU)和内存(也称为主存)等硬件。该操作系统可以是任意一种或多种通过进程(process)实现业务处理的计算机操作系统，例如，Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。该应用层包含浏览器、通讯录、文字处理软件、即时通信软件等应用。并且，本申请实施例并未对本申请实施例提供的方法的执行主体的具体结构特别限定，只要能够通过运行记录有本申请实施例的提供的方法的代码的程序，以根据本申请实施例提供的方法进行图像处理即可，例如，本申请实施例提供的方法的执行主体可以是终端设备或装置，或者，是终端设备或装置中能够调用程序并执行程序的功能模块。
另外，本申请的各个方面或特征可以实现成方法、装置或使用标准编程和/或工程技术的制品。本申请中使用的术语“制品”涵盖可从任何计算机可读器件、载体或介质访问的计算机程序。例如，计算机可读介质可以包括，但不限于:磁存储器件(例如，硬盘、软盘或磁带等)，光盘(例如，压缩盘(compact disc，CD)、数字通用盘(digital versatile disc，DVD)等)，智能卡和闪存器件(例如，可擦写可编程只读存储器(erasable programmableread-only memory，EPROM)、卡、棒或钥匙驱动器等)。另外，本文描述的各种存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可包括但不限于，无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
为了解决传统HDR无法兼顾背景细节与人脸亮度的问题，本发明提出了一种图像处理的方法，基于图像分割对多帧图像进行融合，能够使融合结果图中的目标图像效果与作为参考帧的第一图像中的对应区域效果一致。
为方便说明，下面以三帧不同程度曝光的图像进行融合为例进行描述。应理解，本申请中的方法不限于三帧图像融合，本申请实施例对参与融合的图像帧数并不限定。
图1是本申请一个实施例的图像处理的方法的示意性流程图。应理解，图1示出了通信方法的步骤或操作，但这些步骤或操作仅是示例，本申请实施例还可以执行其他操作或者图1中的各个操作的变形，或者，并不是所有步骤都需要执行，或者，这些步骤可以按照其他顺序执行。
S110，获取多帧图像，所述多帧图像包括第一图像和至少一个第二图像。
可选地，可以通过相机抓取Raw(Raw image format)数据，经过数字信号处理(image signal processing，ISP)后得到三帧图像。其中，所述图像可以为RGB格式或者YUV格式。为方便说明，本申请中以所述图像为YUV格式为例进行描述。
在本申请中，所述第一图像与所述第二图像的曝光时长或色彩饱和度可以不同。例如，所述第二图像可以包括多帧图像，所述多帧图像与所述第一图像的曝光时长不同。其中，所述第二图像中的多帧图像的曝光时长可以各不相同。
可选地，所述第一图像可以为正常曝光的参考帧，所述至少一个第二图像可以包括长曝光和/或短曝光。例如，所述第二图像可以包括两帧图像，其中一帧图像为长曝光图像，另一帧图像为短曝光图像。
S120，获取所述第一图像中的目标的掩膜(mask)。
在本申请中，所述第一图像中的目标可以为人像、天空等区域。可选地，所述第一图像中的目标也可以是其他需要保护亮度和/或色彩等的区域。
在本申请中，获取所述第一图像中的目标的掩膜的方法可以参考现有技术，这里不再赘述。
例如，可以对所述第一图像进行图像分割，得到所述掩膜。
再例如，可以先对所述第一图像进行图像分割，得到所述第一图像中的所述目标的初始掩膜；接下来，可以对所述初始掩膜进行滤波，得到所述掩膜。
具体地，可以对所述初始掩膜进行导向滤波(guided filter)、盒子滤波(boxfilter)或均值滤波。
可选地，还可以对所述掩膜进行腐蚀处理。
S130，根据所述掩膜，调整所述第一图像中第一区域的第一融合权重和所述第二图像中第二区域的第二融合权重，其中，所述第一区域为所述第一图像中所述目标的图像，所述第二区域分别为所述第二图像中所述目标的图像。
在本申请中，可以根据所述掩膜，确定所述第一图像中的第一区域，所述第一区域为所述第一图像中所述目标的图像。
以所述目标为人像为例，在S120中可以得到所述第一图像中的人像的掩膜；利用该掩膜，可以将所述第一图像分割为人像部分和背景部分。此时，该人像部分就是所述第一图像中的第一区域。
类似地，可以根据所述掩膜，确定所述第二图像中的第二区域，所述第二区域为所述第二图像中所述目标的图像。
通过上述图像分割处理，已经在所述第一图像中分割出第一区域及在所述第二图像中分割出第二区域，因此，可以较为灵活的调整所述第二图像中除所述第二区域外的区域的曝光值(exposure value，EV)补偿，从而能够获得更多的图像细节。
在本申请中，可以增大所述第一图像中第一区域的第一融合权重。或者，可以减小所述第二图像中第二区域的第二融合权重。或者，可以同时增大所述第一融合权重，并减小所述第二融合权重。
在本申请中，可以根据所述多帧图像计算出各图像对应的融合权重图。如图2所示为本申请实施例中融合权重图的一个示例，图2中从左到右依次为长曝光帧对应的融合权重图，正常曝光帧对应的融合权重图和短曝光帧对应的融合权重图。
可选地，可以通过融合权重图对所述多帧图像进行融合。比如，要想调整所述第一融合权重和所述第二融合权重，可以直接调整所述第一图像对应的融合权重图中的第一区域的融合权重，和/或所述第二图像对应的融合权重图中的第二区域的融合权重。
可选地，可以增大所述第一图像对应的融合权重图中的第一区域的融合权重，和/或减小所述第二图像对应的融合权重图中的第二区域的融合权重
可选地，可以将所述第一图像对应的融合权重图中的第一区域的灰度值设置为用于指示最大灰度的值，将所述第二图像对应的融合权重图中的第二区域的灰度值设置为用于指示最小灰度的值。
例如，可以将所述用于指示最大灰度的值设置为255，和/或将所述用于指示最小灰度的值设置为0。
再例如，可以将所述用于指示最大灰度的值归一化为1，和/或将所述用于指示最小灰度的值归一化为0。
调整后的融合权重图所述图3所示，图3中从左到右依次为长曝光帧对应的调整后的融合权重图，正常曝光帧对应的调整后的融合权重图和短曝光帧对应的调整后的融合权重图。
S140，根据所述第一融合权重和所述第二融合权重，对所述第一图像和所述第二图像进行融合。
可选地，在对所述第一图像和所述第二图像进行融合之前，可以将所述第二图像中的所述第二区域替换为所述第一区域。
以所述第一图像为正常曝光帧，所述第一区域为人像部分为例，也就是说，在对所述第一图像和所述第二图像进行融合之前，可以将所述第二图像中的人像部分替换为所述第一图像中正常曝光的人像部分。
例如，所述第二图像可以为短曝光帧。为了捕捉背景细节信息，短曝光帧的平均亮度通常较暗，此时，可以将所述第二图像中的第二区域(即人像部分)替换为所述第一区域(即所述第一图像中正常曝光的人像部分)，如图4所示，图4中左图为原始短曝光帧，图4中右图为人像替换后的短曝光帧。
在本申请中，当所述第一区域与所述第二区域的指标差值大于或等于预设的阈值时，将所述第二图像中的所述第二区域替换为所述第一区域，其中，所述指标差值包括亮度差值和/或色彩通道的差值。
在本申请中，根据所述第一融合权重和所述第二融合权重，可以对所述第一图像和所述第二图像进行金字塔融合。
根据本申请实施例中的方法，根据所述掩膜，调整所述第一图像中第一区域的第一融合权重和所述第二图像中第二区域的第二融合权重，然后，根据所述第一融合权重和所述第二融合权重，对所述第一图像和所述第二图像进行融合，能够使融合结果图中的目标图像效果与作为参考帧的第一图像中的对应区域效果一致，改善用户体验。
下面以所述目标为人像为例，对本申请实施例中方法进行描述。
图5是本申请另一个实施例的图像处理的方法的示意性流程图。应理解，图5示出了通信方法的步骤或操作，但这些步骤或操作仅是示例，本申请实施例还可以执行其他操作或者图5中的各个操作的变形，或者，并不是所有步骤都需要执行，或者，这些步骤可以按照其他顺序执行。
S510，获取多帧图像。
可选地，可以通过相机抓取Raw数据，经过ISP处理后得到多帧图像。其中，所述多帧图像可以包括正常曝光帧、长曝光帧及短曝光帧。
S520，对正常曝光帧进行分割，得到掩膜。
可选地，可以确定所述正常曝光帧中的待保护区域，对所述正常曝光帧进行图像分割，得到所述待保护区域对应的掩膜。
可选地，可以对所述掩膜进行腐蚀处理和滤波处理。其中，所述滤波处理可以包括向滤波、盒子滤波或均值滤波。
比如，当对所述掩膜进行导向滤波时，可以使用所述正常曝光帧的Y分量作为导向图像。
可选地，在S520之后，所述方法还可以包括S521。
S521，将短曝光帧的人像部分替换为正常曝光帧的人像部分。
可选地，可以根据所述掩膜，将所述短曝光帧的人像部分替换为所述正常曝光帧的人像部分。
比如，可以根据所述掩膜对所述短曝光帧进行图像分割，分割出所述短曝光帧中的人像部分，然后将所述短曝光帧的人像部分替换为所述正常曝光帧的人像部分。
S530，计算多帧图像对应的融合权重图。
可选地，可以根据所述多帧图像计算出各图像对应的融合权重图。
可选地，可以根据所述多帧图像计算出长曝光帧对应的融合权重图，正常曝光帧对应的融合权重图和短曝光帧对应的融合权重图。
例如，可以根据正常曝光帧各像素点的亮度值计算出长曝光帧对应的融合权重图，正常曝光帧对应的融合权重图和短曝光帧对应的融合权重图。
可选地，若所述短曝光帧的人像部分被替换为所述正常曝光帧的人像部分，则上述多帧图像中的短曝光帧为人像替换后的短曝光帧。也就是说，可以根据所述多帧图像计算出长曝光帧对应的融合权重图，正常曝光帧对应的融合权重图和人像替换后的短曝光帧对应的融合权重图。
S540，根据所述掩膜，调整所述融合权重图。
可选地，可以根据所述掩膜，增大所述正常曝光帧对应的融合权重图中人像部分的融合权重，减小所述长曝光帧对应的融合权重图中人像部分的融合权重及所述短曝光帧对应的融合权重图中人像部分的融合权重。
可选地，可以将所述正常曝光帧对应的融合权重图中的人像部分的灰度值设置为用于指示最大灰度的值，将所述长曝光帧对应的融合权重图中人像部分的融合权重设置为用于指示最小灰度的值，和/或将所述短曝光帧对应的融合权重图中人像部分的融合权重设置为用于指示最小灰度的值。
例如，可以将所述用于指示最大灰度的值设置为255，和/或将所述用于指示最小灰度的值设置为0。
再例如，可以将所述用于指示最大灰度的值归一化为1，和/或将所述用于指示最小灰度的值归一化为0。
S550，根据调整后的融合权重图，对所述多帧图像进行融合。
其中，若所述短曝光帧的人像部分被替换为所述正常曝光帧的人像部分，则上述融合权重图中短曝光帧对应的融合权重图为人像替换后的短曝光帧对应的融合权重图。相应地，参与融合的多帧图像中的短曝光帧为人像替换后的短曝光帧。
可选地，根据所述调整后的融合权重图，对所述多帧图像进行金字塔融合。
根据本申请实施例中的方法，基于图像分割对多帧图像进行融合，能够使融合结果图中的人像部分效果与正常曝光帧人像部分效果一致，改善用户体验。
图6是本申请实施例的图像处理的装置600的示意性框图。应理解，图像处理的装置600仅是一种示例。本申请实施例的装置还可以包括其他模块或单元，或者包括与图6中的各个模块的功能相似的模块，或者并非要包括图6中的所有模块。
获取模块610，用于获取多帧图像，所述多帧图像包括第一图像和至少一个第二图像；
处理模块620，用于获取所述第一图像中的目标的掩膜；
所述处理模块620，用于根据所述掩膜，调整所述第一图像中第一区域的第一融合权重和所述第二图像中第二区域的第二融合权重，其中，所述第一区域为所述第一图像中所述目标的图像，所述第二区域分别为所述第二图像中所述目标的图像；
所述处理模块620，用于根据所述第一融合权重和所述第二融合权重，对所述第一图像和所述第二图像进行融合。
可选地，所述目标为人像或天空。
可选地，所述第一图像与所述第二图像的曝光时长或色彩饱和度不同。
可选地，所述第一图像为正常曝光的参考帧，所述第二图像为长曝光和/或短曝光。
可选地，所述处理模块620具体用于：增大所述第一融合权重，减小所述第二融合权重。
可选地，所述处理模块620具体用于：将所述第一图像对应的融合权重图中的第一区域的灰度值设置为最大值，将所述第二图像对应的融合权重图中的第二区域的灰度值设置为最小值。
可选地，所述处理模块620还用于：将所述第二图像中的所述第二区域替换为所述第一区域。
可选地，所述处理模块620具体用于：当所述第一区域与所述第二区域的指标差值大于或等于预设的阈值时，将所述第二图像中的所述第二区域替换为所述第一区域，其中，所述指标差值包括亮度差值和/或色彩通道的差值。
可选地，所述处理模块620具体用于：对所述第一图像进行图像分割，得到所述掩膜。
可选地，所述处理模块620具体用于：对所述第一图像进行图像分割，得到所述第一图像中的所述目标的初始掩膜；对所述初始掩膜进行滤波，得到所述掩膜。
可选地，所述处理模块620具体用于：对所述初始掩膜进行导向滤波、盒子滤波或均值滤波。
应理解，本申请实施例中的处理器可以为中央处理单元(central processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random accessmemory，RAM)可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (24)

1.一种图像处理的方法，其特征在于，包括：
获取多帧图像，所述多帧图像包括第一图像和至少一个第二图像；
获取所述第一图像中的目标的掩膜；
根据所述掩膜，调整所述第一图像中第一区域的第一融合权重和所述第二图像中第二区域的第二融合权重，其中，所述第一区域为所述第一图像中所述目标的图像，所述第二区域分别为所述第二图像中所述目标的图像；
根据所述第一融合权重和所述第二融合权重，对所述第一图像和所述第二图像进行融合。
2.根据权利要求1所述的方法，其特征在于，所述目标为人像或天空。
3.根据权利要求1或2所述的方法，其特征在于，所述第一图像与所述第二图像的曝光时长或色彩饱和度不同。
4.根据权利要求3所述的方法，其特征在于，所述第一图像为正常曝光的参考帧，所述至少一个第二图像包括长曝光和/或短曝光。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述调整所述第一图像中第一区域的第一融合权重和所述第二图像中第二区域的第二融合权重，包括：
增大所述第一融合权重，减小所述第二融合权重。
6.根据权利要求5所述的方法，其特征在于，所述增大所述第一融合权重和减小所述第二融合权重，包括：
将所述第一图像对应的融合权重图中的第一区域的灰度值设置为最大值，将所述第二图像对应的融合权重图中的第二区域的灰度值设置为最小值。
7.根据权利要求1至6中任一项所述的方法，其特征在于，在所述对所述第一图像和所述第二图像进行融合之前，所述方法还包括：
将所述第二图像中的所述第二区域替换为所述第一区域。
8.根据权利要求7所述的方法，其特征在于，将所述第二图像中的所述第二区域替换为所述第一区域，包括：
当所述第一区域与所述第二区域的亮度指标差值大于或等于预设的阈值时，将所述第二图像中的所述第二区域替换为所述第一区域，其中，所述指标差值包括亮度差值和/或色彩通道的差值。
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述获取所述第一图像中的目标的掩膜，包括：
对所述第一图像进行图像分割，得到所述掩膜。
10.根据权利要求1至8中任一项所述的方法，其特征在于，所述获取所述第一图像中的目标的掩膜，包括：
对所述第一图像进行图像分割，得到所述第一图像中的所述目标的初始掩膜；
对所述初始掩膜进行滤波，得到所述掩膜。
11.根据权利要求10所述的方法，其特征在于，所述对所述初始掩膜进行滤波，包括：
对所述初始掩膜进行导向滤波、盒子滤波或均值滤波。
12.一种图像处理的装置，其特征在于，包括：
获取模块，用于获取多帧图像，所述多帧图像包括第一图像和至少一个第二图像；
处理模块，用于获取所述第一图像中的目标的掩膜；
所述处理模块，用于根据所述掩膜，调整所述第一图像中第一区域的第一融合权重和所述第二图像中第二区域的第二融合权重，其中，所述第一区域为所述第一图像中所述目标的图像，所述第二区域分别为所述第二图像中所述目标的图像；
所述处理模块，用于根据所述第一融合权重和所述第二融合权重，对所述第一图像和所述第二图像进行融合。
13.根据权利要求12所述的装置，其特征在于，所述目标为人像或天空。
14.根据权利要求12或13所述的装置，其特征在于，所述第一图像与所述第二图像的曝光时长或色彩饱和度不同。
15.根据权利要求14所述的装置，其特征在于，所述第一图像为正常曝光的参考帧，所述第二图像为长曝光和/或短曝光。
16.根据权利要求12至15中任一项所述的装置，其特征在于，所述处理模块具体用于：增大所述第一融合权重，减小所述第二融合权重。
17.根据权利要求16所述的装置，其特征在于，所述处理模块具体用于：将所述第一图像对应的融合权重图中的第一区域的灰度值设置为最大值，将所述第二图像对应的融合权重图中的第二区域的灰度值设置为最小值。
18.根据权利要求12至17中任一项所述的装置，其特征在于，所述处理模块还用于：将所述第二图像中的所述第二区域替换为所述第一区域。
19.根据权利要求18所述的装置，其特征在于，所述处理模块具体用于：当所述第一区域与所述第二区域的指标差值大于或等于预设的阈值时，将所述第二图像中的所述第二区域替换为所述第一区域，其中，所述指标差值包括亮度差值和/或色彩通道的差值。
20.根据权利要求12至19中任一项所述的装置，其特征在于，所述处理模块具体用于：对所述第一图像进行图像分割，得到所述掩膜。
21.根据权利要求12至19中任一项所述的装置，其特征在于，所述处理模块具体用于：对所述第一图像进行图像分割，得到所述第一图像中的所述目标的初始掩膜；对所述初始掩膜进行滤波，得到所述掩膜。
22.根据权利要求21所述的装置，其特征在于，所述处理模块具体用于：对所述初始掩膜进行导向滤波、盒子滤波或均值滤波。
23.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储用于图像处理的装置执行的程序代码，所述程序代码包括用于执行权利要求1至11中任一项所述的方法的指令。
24.一种计算机程序产品，其特征在于，所述计算机程序产品包括用于执行权利要求1至11中任一项所述的方法的指令。
CN201910090768.5A 2019-01-29 2019-01-29 图像处理的方法和装置 Pending CN111489320A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910090768.5A CN111489320A (zh) 2019-01-29 2019-01-29 图像处理的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910090768.5A CN111489320A (zh) 2019-01-29 2019-01-29 图像处理的方法和装置

Publications (1)

Publication Number Publication Date
CN111489320A true CN111489320A (zh) 2020-08-04

Family

ID=71796766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910090768.5A Pending CN111489320A (zh) 2019-01-29 2019-01-29 图像处理的方法和装置

Country Status (1)

Country Link
CN (1) CN111489320A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968134A (zh) * 2020-08-11 2020-11-20 影石创新科技股份有限公司 目标分割方法、装置、计算机可读存储介质及计算机设备
CN112381836A (zh) * 2020-11-12 2021-02-19 贝壳技术有限公司 图像处理方法和装置、计算机可读存储介质、电子设备
CN112528944A (zh) * 2020-12-23 2021-03-19 杭州海康汽车软件有限公司 一种图像识别方法、装置、电子设备及存储介质
CN112991208A (zh) * 2021-03-11 2021-06-18 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质和电子设备
CN113592726A (zh) * 2021-06-29 2021-11-02 北京旷视科技有限公司 高动态范围成像方法、装置、电子设备和存储介质
CN115115568A (zh) * 2021-03-23 2022-09-27 北京极感科技有限公司 图像融合处理方法、装置和电子系统
CN117710264A (zh) * 2023-07-31 2024-03-15 荣耀终端有限公司 图像的动态范围校准方法和电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103194A1 (en) * 2008-10-27 2010-04-29 Huawei Technologies Co., Ltd. Method and system for fusing images
CN102317978A (zh) * 2009-12-22 2012-01-11 松下电器产业株式会社 动作解析装置以及动作解析方法
US20130028509A1 (en) * 2011-07-28 2013-01-31 Samsung Electronics Co., Ltd. Apparatus and method for generating high dynamic range image from which ghost blur is removed using multi-exposure fusion
US20150350513A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Constant Bracket High Dynamic Range (cHDR) Operations
US20150350509A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Scene Motion Correction In Fused Image Systems
CN106056629A (zh) * 2016-05-31 2016-10-26 南京大学 通过运动物体检测和扩展去除鬼影的高动态范围成像方法
CN107767436A (zh) * 2016-08-19 2018-03-06 西门子保健有限责任公司 带有防止颜色渗色的分割的体绘制
CN108205796A (zh) * 2016-12-16 2018-06-26 大唐电信科技股份有限公司 一种多曝光图像的融合方法及装置
CN108668093A (zh) * 2017-03-31 2018-10-16 华为技术有限公司 Hdr图像的生成方法及装置
CN108805898A (zh) * 2018-05-31 2018-11-13 北京字节跳动网络技术有限公司 视频图像处理方法和装置
CN108989699A (zh) * 2018-08-06 2018-12-11 Oppo广东移动通信有限公司 图像合成方法、装置、成像设备、电子设备以及计算机可读存储介质
CN109167917A (zh) * 2018-09-29 2019-01-08 维沃移动通信（杭州）有限公司 一种图像处理方法及终端设备
CN109167931A (zh) * 2018-10-23 2019-01-08 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103194A1 (en) * 2008-10-27 2010-04-29 Huawei Technologies Co., Ltd. Method and system for fusing images
CN102317978A (zh) * 2009-12-22 2012-01-11 松下电器产业株式会社 动作解析装置以及动作解析方法
US20130028509A1 (en) * 2011-07-28 2013-01-31 Samsung Electronics Co., Ltd. Apparatus and method for generating high dynamic range image from which ghost blur is removed using multi-exposure fusion
US20150350513A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Constant Bracket High Dynamic Range (cHDR) Operations
US20150350509A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Scene Motion Correction In Fused Image Systems
CN106056629A (zh) * 2016-05-31 2016-10-26 南京大学 通过运动物体检测和扩展去除鬼影的高动态范围成像方法
CN107767436A (zh) * 2016-08-19 2018-03-06 西门子保健有限责任公司 带有防止颜色渗色的分割的体绘制
CN108205796A (zh) * 2016-12-16 2018-06-26 大唐电信科技股份有限公司 一种多曝光图像的融合方法及装置
CN108668093A (zh) * 2017-03-31 2018-10-16 华为技术有限公司 Hdr图像的生成方法及装置
CN108805898A (zh) * 2018-05-31 2018-11-13 北京字节跳动网络技术有限公司 视频图像处理方法和装置
CN108989699A (zh) * 2018-08-06 2018-12-11 Oppo广东移动通信有限公司 图像合成方法、装置、成像设备、电子设备以及计算机可读存储介质
CN109167917A (zh) * 2018-09-29 2019-01-08 维沃移动通信（杭州）有限公司 一种图像处理方法及终端设备
CN109167931A (zh) * 2018-10-23 2019-01-08 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梁晨: "基于动态场景的高动态图像合成研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968134A (zh) * 2020-08-11 2020-11-20 影石创新科技股份有限公司 目标分割方法、装置、计算机可读存储介质及计算机设备
CN111968134B (zh) * 2020-08-11 2023-11-28 影石创新科技股份有限公司 目标分割方法、装置、计算机可读存储介质及计算机设备
CN112381836A (zh) * 2020-11-12 2021-02-19 贝壳技术有限公司 图像处理方法和装置、计算机可读存储介质、电子设备
CN112528944A (zh) * 2020-12-23 2021-03-19 杭州海康汽车软件有限公司 一种图像识别方法、装置、电子设备及存储介质
CN112991208A (zh) * 2021-03-11 2021-06-18 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质和电子设备
CN112991208B (zh) * 2021-03-11 2024-05-07 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质和电子设备
CN115115568A (zh) * 2021-03-23 2022-09-27 北京极感科技有限公司 图像融合处理方法、装置和电子系统
CN113592726A (zh) * 2021-06-29 2021-11-02 北京旷视科技有限公司 高动态范围成像方法、装置、电子设备和存储介质
CN117710264A (zh) * 2023-07-31 2024-03-15 荣耀终端有限公司 图像的动态范围校准方法和电子设备

Similar Documents

Publication Publication Date Title
CN111489320A (zh) 图像处理的方法和装置
CN108335279B (zh) 图像融合和hdr成像
US9934438B2 (en) Scene recognition method and apparatus
CN110062160B (zh) 图像处理方法和装置
CN109068067B (zh) 曝光控制方法、装置和电子设备
US9451173B2 (en) Electronic device and control method of the same
US9407831B2 (en) Intelligent auto-exposure bracketing
US20200045219A1 (en) Control method, control apparatus, imaging device, and electronic device
US9344638B2 (en) Constant bracket high dynamic range (cHDR) operations
CN109068058B (zh) 超级夜景模式下的拍摄控制方法、装置和电子设备
CN111402135A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US20180109711A1 (en) Method and device for overexposed photography
CN108198152B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110213462B (zh) 图像处理方法、装置、电子设备、图像处理电路及存储介质
CN113012081A (zh) 图像处理方法、装置和电子系统
CN109618102B (zh) 对焦处理方法、装置、电子设备及存储介质
CN110443766B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN110956679A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110866486A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN115082350A (zh) 频闪图像处理方法、装置、电子设备和可读存储介质
CN109118427B (zh) 图像光效处理方法和装置、电子设备、存储介质
CN112565595B (zh) 图像抖动消除方法、装置、电子设备和存储介质
CN115272155A (zh) 图像合成方法、装置、计算机设备和存储介质
CN111340736B (zh) 图像处理方法、装置、存储介质及电子设备
CN110475044B (zh) 图像传输方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200804

RJ01 Rejection of invention patent application after publication