CN112785537A - 图像处理方法、装置以及存储介质 - Google Patents

图像处理方法、装置以及存储介质 Download PDF

Info

Publication number
CN112785537A
CN112785537A CN202110080892.0A CN202110080892A CN112785537A CN 112785537 A CN112785537 A CN 112785537A CN 202110080892 A CN202110080892 A CN 202110080892A CN 112785537 A CN112785537 A CN 112785537A
Authority
CN
China
Prior art keywords
image
reference frame
format
processing
rgb format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110080892.0A
Other languages
English (en)
Other versions
CN112785537B (zh
Inventor
汪涵默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Pinecone Electronic Co Ltd
Priority to CN202110080892.0A priority Critical patent/CN112785537B/zh
Publication of CN112785537A publication Critical patent/CN112785537A/zh
Priority to EP21188425.9A priority patent/EP4033750B1/en
Priority to US17/389,995 priority patent/US11989863B2/en
Application granted granted Critical
Publication of CN112785537B publication Critical patent/CN112785537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

本公开是关于一种图像处理方法、装置及存储介质，其中，该图像处理方法包括：获取同一目标对象的第一图像、第二图像和第三图像；其中，所述第一图像的曝光度小于所述第二图像的曝光度；所述第二图像的曝光度小于所述第三图像的曝光度；提升所述第一图像的亮度值，得到第四图像；以所述第四图像作为第一参考帧，对所述第二图像进行去鬼影处理得到第二参考帧；基于所述第二参考帧，对所述第三图像进行去鬼影处理得到第五图像。如此，通过亮度值提高的第一图像作为参考帧，对其他曝光度的图像进行去鬼影处理，可以有效地消除鬼影。

Description

图像处理方法、装置以及存储介质
技术领域
本公开涉及图像技术领域，尤其涉及一种图像处理方法、装置以及存储介质。
背景技术
在高动态场景中执行图像采集时，对于运动对象，如挥手或晃动的人，由于采集时各曝光帧之间的时间间隔，会使成片上运动对象所处的部分常常存在鬼影，影响整体观感。目前，去除鬼影的方式，要么在成片上贴合欠曝帧的信息来补充运动部分丢失的信息，这种方式往往存在图像模糊、丢失信息或噪声过大等问题；要么在检测到的运动部分丢掉一部分高光区域信息，这种方式虽然没有鬼影但是损失了很多的动态信息。
发明内容
本公开提供一种图像处理方法、装置以及存储介质。
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
获取同一目标对象的第一图像、第二图像和第三图像；其中，所述第一图像的曝光度小于所述第二图像的曝光度；所述第二图像的曝光度小于所述第三图像的曝光度；
提升所述第一图像的亮度值，得到第四图像；
以所述第四图像作为第一参考帧，对所述第二图像进行去鬼影处理得到第二参考帧；
基于所述第二参考帧，对所述第三图像进行去鬼影处理得到第五图像。
可选地，所述提升所述第一图像的亮度值，得到第四图像，包括：
对所述第一图像的亮度值进行调节，得到与所述第二图像的亮度差小于预设阈值的第四图像。
可选地，所述方法还包括：
根据所述第一图像和所述第二图像的曝光参数值，确定对所述第一图像进行亮度值调节的调节系数；其中，所述曝光参数值包括：曝光时长和/或曝光光圈尺寸值；
所述提升所述第一图像的亮度值，得到第四图像，包括：
根据所述调节系数提升所述第一图像的亮度值，得到第四图像。
可选地，所述以所述第四图像作为第一参考帧，对所述第二图像进行去鬼影处理得到第二参考帧，包括：
以所述第四图像作为第一参考帧，对第四图像和第二图像进行图像融合，得到第二参考帧；其中，所述第二参考帧中的目标对象的位置，与所述第一图像中的目标对象的位置相同；
所述基于所述第二参考帧，对所述第三图像进行去鬼影处理得到第五图像，包括：
对所述第二参考帧和第三图像进行图像融合，得到第五图像；其中，所述第五图像中的目标对象的位置，与所述第一图像中目标对象的位置相同。
可选地，所述方法还包括：
对RAW格式的所述第一图像、所述第二图像、所述第三图像和所述第四图像进行格式转换，得到YUV格式的第一图像、第二图像、第三图像和第四图像；
所述以第四图像作为第一参考帧，对第四图像和第二图像进行图像融合，得到第二参考帧，包括：
将所述YUV格式的第四图像和第二图像，转化为RGB格式的第四图像和第二图像；
对所述RGB格式的第四图像和第二图像的像素值进行处理，得到RGB格式的单通道差分图像；
确定所述单通道差分图像中各像素值的权重值；
基于所述权重值，对第四图像和第二图像进行图像融合，得到第二参考帧。
可选地，所述对所述RGB格式的第四图像和第二图像的像素值进行处理，得到RGB格式的单通道差分图像，包括：
对所述RGB格式的第四图像和第二图像中各位置对应的像素值进行对应相减，得到RGB格式的三通道差分图像；
提取所述三通道差分图像各像素值对应的最大的通道值，得到RGB格式的单通道差分图像。
可选地，所述对所述第二参考帧和第三图像进行图像融合，得到第五图像，包括：
将所述YUV格式的第二参考帧和第三图像，转化为RGB格式的第二参考帧和第三图像；
对所述RGB格式的第二参考帧和第三图像进行直方图匹配，并对匹配后的图像进行格式转换，得到亮度值提升的第二参考帧；
对所述亮度值提升的第二参考帧和第三图像进行图像融合，得到第五图像。
可选地，所述对所述RGB格式的第二参考帧和第三图像在各个颜色通道内进行直方图匹配，包括：
对所述RGB格式的第二参考帧进行直方图均衡化处理，得到第一均衡图像，以及对所述RGB格式的第三图像进行直方图均衡化处理，得到第二均衡图像；
确定所述第一均衡图像对应的第一累积分布函数和第二均衡图像对应的第二累积分布函数；
对所述第一累积分布函数和所述第二累积分布函数进行匹配。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
获取模块，用于获取同一目标对象的第一图像、第二图像和第三图像；其中，所述第一图像的曝光度小于所述第二图像的曝光度；所述第二图像的曝光度小于所述第三图像的曝光度；
提升模块，用于提升所述第一图像的亮度值，得到第四图像；
第一处理模块，用于以所述第四图像作为第一参考帧，对所述第二图像进行去鬼影处理得到第二参考帧；
第二处理模块，用于基于所述第二参考帧，对所述第三图像进行去鬼影处理得到第五图像。
可选地，所述提升模块，包括：
亮度提升模块，用于对所述第一图像的亮度值进行调节，得到与所述第二图像的亮度差小于预设阈值的第四图像。
可选地，所述装置还包括：
系数确定模块，用于根据所述第一图像和所述第二图像的曝光参数值，确定对所述第一图像进行亮度值调节的调节系数；其中，所述曝光参数值包括：曝光时长和/或曝光光圈尺寸值；
所述提升模块，还用于根据所述调节系数提升所述第一图像的亮度值，得到第四图像。
可选地，所述第一处理模块，包括：
第一融合模块，用于以所述第四图像作为第一参考帧，对第四图像和第二图像进行图像融合，得到第二参考帧；其中，所述第二参考帧中的目标对象的位置，与所述第一图像中的目标对象的位置相同；
所述第二处理模块，包括：
第二融合模块，用于对所述第二参考帧和第三图像进行图像融合，得到第五图像；其中，所述第五图像中的目标对象的位置，与所述第一图像中目标对象的位置相同。
可选地，所述装置还包括：
转换模块，用于对RAW格式的所述第一图像、所述第二图像、所述第三图像和所述第四图像进行格式转换，得到YUV格式的第一图像、第二图像、第三图像和第四图像；
所述第一融合模块，包括：
第一转换模块，用于将所述YUV格式的第四图像和第二图像，转化为RGB格式的第四图像和第二图像；
像素处理模块，用于对所述RGB格式的第四图像和第二图像的像素值进行处理，得到RGB格式的单通道差分图像；
权重确定模块，用于确定所述单通道差分图像中各像素值的权重值；
融合处理模块，用于基于所述权重值，对第四图像和第二图像进行图像融合，得到第二参考帧。
可选地，所述像素处理模块，还用于：
对所述RGB格式的第四图像和第二图像中各位置对应的像素值进行对应相减，得到RGB格式的三通道差分图像；
提取所述三通道差分图像各像素值对应的最大的通道值，得到RGB格式的单通道差分图像。
可选地，所述第二融合模块，包括：
第二转换模块，用于将所述YUV格式的第二参考帧和第三图像，转换为RGB格式的第二参考帧和第三图像；
匹配模块，用于对所述RGB格式的第二参考帧和第三图像进行直方图匹配，并对匹配后的图像进行格式转换，得到亮度值提升的第二参考帧；
第二融合子模块，用于对所述亮度值提升的第二参考帧和第三图像进行图像融合，得到第五图像。
可选地，所述匹配模块，还用于：
对所述RGB格式的第二参考帧进行直方图均衡化处理，得到第一均衡图像，以及对所述RGB格式的第三图像进行直方图均衡化处理，得到第二均衡图像；
确定所述第一均衡图像对应的第一累积分布函数和第二均衡图像对应的第二累积分布函数；
对所述第一累积分布函数和所述第二累积分布函数进行匹配。
根据本公开实施例的第三方面，提供一种图像处理装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行所述存储器中存储的可执行指令时，实现上述第一方面的任一项所述的方法。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述第一方面任一项提供的方法中的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例提供的图像处理方法，在获取目标对象的三张不同曝光度的图像后，通过对第一图像亮度值的提升来得到第四图像，以第四图像为参考帧来对第二图像进行去鬼影处理，并根据去除鬼影后的第二参考帧继续对第三图像进行去鬼影处理。这样，由于是以亮度值提升后的第一图像(即第四图像)来作为参考帧来执行去鬼影处理，可以将目标对象所在的运动区域均向一侧调整，去鬼影的效果更好。而以正常曝光度(第二图像)为参考帧的去鬼影处理中，在长爆光区域存在运动对象时，由于左右调整的方向偏差，仍是容易会出现鬼影。如此，本公开中方案可以更好地去除鬼影。并且，亮度值提升后的第一图像可以保留更多的图像细节，可以改善去鬼影处理中信息丢失的现状。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种图像处理方法的流程图一。
图2是出现了鬼影的手臂图像和未出现鬼影的手臂图像的对比示意图。
图3是根据一种去鬼影方法的流程示意图一。
图4是根据一示例性实施例示出的一种图像处理方法的流程图二。
图5是根据一示例性实施例示出的一种图像处理方法的流程图三。
图6是根据一示例性实施例示出的一种图像处理装置的结构示意图。
图7是根据一示例性实施例示出的一种图像处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，由于硬件的限制，很难用单张照片覆盖场景的所有亮度，比如逆光场景，拍摄主体通常显得很暗。为了解决大光比场景下拍摄的问题，在图像采集领域提供一种高动态范围(High Dynamic Range，HDR)采集机制，在HDR采集机制下，可以分别在不同曝光度下拍摄得到同一场景的不同亮度的低动态范围(Low-Dynamic Range，LDR)图像，进而合成这三帧LDR图像，得到HDR图像。高动态范围是指图像亮度值的最大值与最小值的比，动态范围越大表明图像显示的场景细节越多，视觉效果更逼真。
这样，在较亮的照片里可以看到暗部的细节，较暗的图像里可以看到亮区的内容，而正常亮度的图像保留了中间亮度区域的内容，合成后得到的HDR图像就可以更好的反映出真实环境中的视觉效果，提供更多的动态范围和图像细节。然而，当拍摄场景中存在运动对象时，由于每帧图像的获取时间之间存在时间差，导致在合成这些图像时，运动对象在合成图像中会产生鬼影，影响图像的观感和用户使用感受。
为了更好地消除鬼影，本公开实施例提供一种图像处理方法，图1是根据一示例性实施例示出的一种图像处理方法的流程图一，如图1所示，该图像处理方法包括以下步骤：
步骤101，获取同一目标对象的第一图像、第二图像和第三图像；其中，所述第一图像的曝光度小于所述第二图像的曝光度；所述第二图像的曝光度小于所述第三图像的曝光度；
步骤102，提升所述第一图像的亮度值，得到第四图像；
步骤103，以所述第四图像作为第一参考帧，对所述第二图像进行去鬼影处理得到第二参考帧；
步骤104，基于所述第二参考帧，对所述第三图像进行去鬼影处理得到第五图像。
需要说明的是，该图像处理方法可以应用于具备有图像采集装置的移动终端，该移动终端可以是：智能手机、平板电脑或者可穿戴式电子设备等。
该图像采集装置泛指移动终端中能够完成拍照功能的装置，包括摄像头、以及必要的处理模块和存储模块，以完成图像的获取、传输，还可以包含一些处理功能模块。
图像采集装置可以是照相机或摄像机等。
图像采集装置的拍摄参数包括：曝光光圈尺寸值、照相机或摄像机的感光度和曝光时长，当然还可以包括有其他的性能参数等。其中，曝光时长是指：快门打开到关闭的时间间隔。曝光时长越长，入光量就越多，适合光线条件比较差的情况。感光度是指：图像采集装置中的感光底片对于光的灵敏程度。对于不敏感的底片，需要更长的曝光时长以达到跟较敏感底片相同的成像效果。曝光光圈尺寸值可以通过曝光光圈的面积来表征，该面积用来控制光线透过镜头，进入图像采集装置内感光面的光量。
曝光时长、感光度和曝光光圈尺寸值，与图像采集装置的属性参数以及初始设置有关。
本公开实施例中，该目标对象可以是动态的对象，非静止不动的；即本公开实施例的图像处理方法所针对的图像是对运动的目标对象进行抓拍所获取的图像。
该目标对象可以是：人、动物或交通工具。
本公开实施例中，在执行上述图像处理方法之前，可以先确定获取的图像是否是对运动的目标进行抓拍所获取的图像。
这里，检测图像是否是对运动的目标进行抓拍所获取的图像的方式有很多种，例如，对采集的图像进行运动检测，分析图像，每隔x帧(间隔帧数x可调，x为正整数)检测一次，每次检测时对比当前检测帧图像与上一次检测帧图像之间的差异。具体可以将两个相邻帧图像采用相同的划分方式分别分成若干区域，如每个图像划分为64个区域，若出现一个或一个以上区域存在较大差异，则视为当前是对运动场景执行的图像采集。
本公开实施例中，当移动终端的图像采集装置处于抓拍模式时，接收到拍摄指令连续拍摄三张图像。步骤101即为在当前拍摄参数设置下，获取到拍摄获取的三张图像。
第一图像、第二图像和第三图像均为对同一目标对象进行图像采集时，得到的对应不同曝光度下的图像；其中，所述第一图像的曝光度小于所述第二图像的曝光度；所述第二图像的曝光度小于所述第三图像的曝光度。
需要说明的是，该第一图像、第二图像和第三图像为RAW格式的图像。
在一个实施例中，第一图像、第二图像和第三图像为同一个相机或摄像机连续采集的多张图像，例如，在相机开启HDR采集机制后连续采集的多张图像。
该RAW格式的图像是rawRGB数据，是传感器经过光电转换后通过ADC采样后直接输出的数据，属于未经处理过的数据，能够更好地反映图像特点。
需要说明的是，该第二图像可以是曝光度处于预设曝光范围的曝光图像。该曝光度处于预设曝光范围，表征图像中高光区域不会出现过量或过暗；如此，第二图像为正常曝光图像；进而第一图像即为欠曝光图像，第三图像为长曝光图像。
由于目标对象是动态存在的，那么对目标对象进行抓拍时，得到的三幅图像中该目标对象所处的位置会有偏差，如此造成视觉上的鬼影效果。例如，对晃动中的手臂进行拍摄得到的连续三幅图像帧中，一幅图像中该手臂的位置可能处于偏上的位置，一幅图像中该手臂的位置可能处于图像中间的位置，而另一幅图像中该手臂的位置可能处于偏下的位置。那么，融合三帧图像后所生成的成像图像中，就会存在鬼影。具体如图2所示，图2左图为未出现鬼影的手臂图像，而图2右图为出现了鬼影的手臂图像。
为了消除鬼影，需要把三帧图像中运动区域的位置调整成一样。当运动区域的位置在三帧图像中位置保持一致时，融合得到的目标图像在视觉上就不会存在鬼影。
这里，三帧图像中的运动区域为运动的目标对象所处的区域；例如，上述对晃动中的手臂进行图像采集所生成的图像中，手臂所在的区域就是运动区域。
具体地，在执行对三帧图像中运动区域的位置调整时，本公开将第一图像作为参考帧来实现对其他帧图像的去鬼影处理；即以第一图像中的运动区域的位置为参考，将其他图像中的位置调整成与第一图像中的运动区域的位置相同或大致相同时，合成的图像在视觉上就不会存在鬼影。
需要说明的是，由于正常曝光图像中的高光区域相对于欠曝光图像而言，可能也会存在过爆区域，如图3所示，图3是根据一种去鬼影方法的流程示意图一，在图3中在RAW域拍摄三帧不同曝光度的图像，将该三帧不同曝光度的图像分别经过相机的图像信号处理器(ISP)处理，得到对应的YUV格式的图像，以正常曝光图像ev0作为参考帧，分别对欠曝光图像ev-和长曝光图像ev+做鬼影消除操作。这种去鬼影方法，在ev0的过曝区域有运动物体的时候还是容易产生鬼影。在ev0的过曝区域有运动物体的时候还是容易产生鬼影。
那么，为了尽可能减少过爆区域的存在，本公开实施例将欠曝光图像(即第一图像)来作为参考帧来对三帧图像中目标对象的位置进行调整，当三帧图像中目标对象的位置一致时就可以消除鬼影，且此时出现过爆区域的可能性较小，图像观感会更好。
需要说明的是，第一图像由于是欠曝光图像，在亮度上与其他图像存在偏差。本公开实施例在通过第一图像对第二图像进行去鬼影处理之前，先第一图像的亮度值进行提升，得到第四图像，以第四图像作为第一参考帧对第二图像进行去鬼影处理。这样，一方面，亮度值提升后的图像来对第二图像进行去鬼影处理，在处理上更为方便，也更便于调节。另一方面，亮度值提高后的图像可以保留更多的图像细节。并且，在进行图像处理时，认为亮度较大的图像的噪声较弱，将此对第一图像进行提亮来作为参考图像，可以提高对齐的准确性。
这里，该去鬼影处理包括：融合处理，即将第四图像和第二图像进行融合处理，使得融合后的图像中不存在鬼影。
由于去鬼影操作就是将三帧图像中运动区域的位置调整成一样，那么，处理后的第二参考帧中运动区域的位置就与第一图像中运动区域的位置一致。
在对第二图像进行去鬼影处理得到第二参考帧后，继续基于第二参考帧，对所述第三图像进行去鬼影处理。这样，经过去鬼影操作后的第五图像中运动区域的位置就与第二参考帧中运动区域的位置一致，而第二参考帧中运动区域由于与第一图像中运动区域的位置一致，如此，就可以使得第二参考帧和第五图像中目标对象所处的位置，均与第一图像中目标对象所处的位置保持一致。
需要说明的是，本公开实施例中，基于去除鬼影后生成的第二参考帧来对第三图像进行去鬼影处理，可以基于第二参考帧的亮度值与第三图像更为贴近的特点，可以提升处理精度；并且使得在融合处理中，第五图像更贴近于第二参考帧，如此，三帧图像中目标对象的位置会更为贴近。
这样，由于是以亮度值提升后的第一图像(即第四图像)来作为参考帧来执行去鬼影处理，而第一图像是曝光度相对较低的图像，可以明显改善以正常曝光度为参考帧进行去鬼影处理时，在过爆区域存在运动对象时仍会出现鬼影的现象，实现有效地去除图像中的鬼影。并且，亮度值提升后的第一图像可以保留更多的图像细节，可以改善去鬼影处理中信息丢失的现状。
在一些实施例中，上述步骤102中所述提升所述第一图像的亮度值，得到第四图像，包括：
步骤1021，对所述第一图像的亮度值进行调节，得到与所述第二图像的亮度差小于预设阈值的第四图像。
本公开实施例中，由于是将亮度提升后得到的第四图像来作为第一参考帧，对第二图像进行去鬼影处理。为了提升去鬼影处理的便利度，可以将第一图像的亮度值提升至与第二图像亮度差小于预设阈值的程度。
这里，亮度值提升至与第二图像亮度差小于预设阈值的程度时，在视觉上第四图像和第二图像的亮度一致。如此，该预设阈值可以基于人眼感知情况确定。例如，当两幅图像的亮度差小于一个数时，人眼感知的亮度值一致。
当第四图像和第二图像的亮度值相差较小或相等时，在执行图像融合时，就可以只考虑单变量，减少图像融合的处理复杂度，或者说减少由于图像亮度的不同所带来的融合误差。
在一些实施例中，所述方法还包括：
步骤105，根据所述第一图像和所述第二图像的曝光参数值，确定对所述第一图像进行亮度值调节的调节系数；其中，所述曝光参数值包括：曝光时长和/或曝光光圈尺寸值。
所述提升所述第一图像的亮度值，得到第四图像，包括：
根据所述调节系数提升所述第一图像的亮度值，得到第四图像。
这里，根据所述调节系数提升所述第一图像的亮度值，得到第四图像，可以包括：基于所述调节系数对所述第一图像的亮度值进行调节，得到第四图像。
需要说明的是，上述第四图像与所述第二图像的亮度差可以小于预设阈值，但并不限于此。
本公开实施例中，为了使第一图像的亮度值可以调节至与第二图像一致或相差小于预设阈值的程度，可以通过第一图像和所述第二图像的曝光参数值来确定一个调节系数，通过该调节系数来对第一图像的亮度值进行调节，得到与所述第二图像的亮度差小于预设阈值的第四图像。
该曝光时长为快门打开到关闭的时间间隔，不同的曝光时长，对应的图像的曝光度不同。曝光时长越长，则图像采集中的入光亮越多，采集得到的图像的曝光度越大。对应的，曝光时长越短，则图像采集中的入光亮越少，采集得到的图像的曝光度越小。
曝光光圈尺寸值可以通过图像采集装置的光圈面积值来表征；曝光光圈尺寸值越大，则图像采集中的入光亮越多，采集得到图像的曝光度越大。对应的，曝光光圈尺寸值越小，则图像采集中的入光亮越少，采集得到的图像的曝光度越小。
这里，该根据所述第一图像和所述第二图像的曝光参数值，确定对所述第一图像进行亮度值调节的调节系数，包括：
根据所述第一图像和所述第二图像的曝光时长的比值，确定对所述第一图像进行亮度值调节的调节系数。
在一些实施例中，该调节系数x可以通过下式进行计算：
x＝Gain0*ExpTime0/(Gain_*ExpTime_)
其中，ExpTime0代表采集第二图像时的曝光时长；ExpTime_代表采集第一图像时的曝光时长。Gain0代表采集第二图像的图像采集装置的增益值；Gain_代表采集第一图像的图像采集装置的增益值；Gain0和Gain_为预先设置的值，可以根据图像采集装置的拍摄参数和拍摄场景确定，不同型号的图像采集装置对应的增益值不同，同一型号的图像采集装置在不同应用场景下也不同。
在确定出调节系数x后，基于所述调节系数对所述第一图像的亮度值进行调节，得到与所述第二图像的亮度差小于预设阈值的第四图像，可以包括：基于对第一图像中各个像素和该调节系数的乘积，得到第四图像。
由于提升了第一图像的亮度值，使得提亮后的图像可以保留更多图像细节。
在一些实施例中，所述以所述第四图像作为第一参考帧，对所述第二图像进行去鬼影处理得到第二参考帧，包括：
以所述第四图像作为第一参考帧，对第四图像和第二图像进行图像融合，得到第二参考帧；其中，所述第二参考帧中的目标对象的位置，与所述第一图像中的目标对象的位置相同。
这里，对目标对象进行抓拍时，得到的三幅图像中该目标对象所处的位置会有偏差，如此造成视觉上的鬼影效果。为了消除鬼影，需要把三帧图像中运动区域的位置调整成一样。当运动区域的位置在三帧图像中位置保持一致时，得到的目标图像在视觉上就不会存在鬼影。
那么，该去鬼影处理即为将第二图像中的目标对象的位置进行调整的操作。本公开实施例中，具体是通过图像融合，实现对图像中目标对象的位置的调整。
如此，该去鬼影处理包括：以所述第四图像作为第一参考帧，对第四图像和第二图像进行图像融合，得到第二参考帧。这样，融合后的所述第二参考帧中的目标对象的位置，与所述第一图像中的目标对象的位置相同。
所述基于所述第二参考帧，对所述第三图像进行去鬼影处理得到第五图像，包括：对所述第二参考帧和第三图像进行图像融合，得到第五图像；即以所述第二参考帧，对第三图像进行图像融合，得到第五图像；这样，融合后的所述第五图像中的目标对象的位置，与所述第一图像中的目标对象的位置相同。
这样，经过去鬼影操作后的第五图像中运动区域的位置就与第二参考帧中运动区域的位置一致，而第二参考帧中运动区域由于与第一图像中运动区域的位置一致，如此，去除鬼影后的第一图像、第二图像和第三图像中目标对象所处的位置就是相同的。
该图像融合包括：图像像素的对齐融合。该对齐融合可以通过测量待处理图像与参考图像的偏差量等方法来实现。这里，该参考图像为第四图像；待处理图像为第二图像和第三图像。
这里，基于待处理图像与参考图像的偏差量，获取差分图，进而基于该差分图确定像素的权重值；基于该权重值对待处理图像与参考图像进行图像融合。
下面对去鬼影处理的过程，即图像像素的对齐融合的过程进行详细介绍：
需要说明的是，在执行去鬼影处理之前，所述方法还包括：
步骤106，对RAW格式的所述第一图像、所述第二图像、所述第三图像和所述第四图像进行格式转换，得到YUV格式的第一图像、第二图像、第三图像和第四图像。
本公开实施例中，为了更方便执行图像处理，在YUV格式下执行该图像融合。如此，先对第一图像、所述第二图像、所述第三图像和所述第四图像进行格式转换，从RAW格式转化到YUV格式。
这里，该格式转换直接基于图像采集装置中的图像信号处理器(ISP)执行。
在转化为YUV格式后，所述以第四图像作为第一参考帧，对第四图像和第二图像进行图像融合，得到第二参考帧，包括：
将所述YUV格式的第四图像和第二图像，转化为RGB格式的第四图像和第二图像；
对所述RGB格式的第四图像和第二图像的像素值进行处理，得到RGB格式的单通道差分图像；
确定所述单通道差分图像中各像素值的权重值；
基于所述权重值，对第四图像和第二图像进行图像融合，得到第二参考帧。
本公开实施例中，根据确定的权重值，对第四图像和第二图像进行图像融合得到第二参考帧。具体地，先将YUV格式的第四图像和第二图像，转化为RGB格式的第四图像和第二图像；基于RGB格式的第四图像和第二图像来执行图像融合。
YUV格式的图像中，Y表示亮度，U和V表示色度。只有Y就是黑白图像，再加上UV就为彩色图像。RGB是在数字化领域表示颜色的标准，也称作一种色彩空间，RGB格式的图像中各像素值用R，G和B三个分量表示；通过用三原色R、G、B的不同的亮度值组合来表示某一种具体的颜色。若每个分量用8位，那么一个像素共用3*8＝24位表示。YUV和RGB都是用来表达颜色的；但YUV和RGB对颜色的描述思路和方法不同。RGB将一个颜色拆解为3个纯色的亮度组合，YUV将一个颜色分解为一个亮度和2个色度的组合。
该基于所述权重值对第四图像和第二图像进行图像融合，可以是将第二图像的RGB值，分别与第四图像的RGB值按比例混合，最后得到一个混合后的RGB值。如此，该基于所述权重值对第四图像和第二图像进行图像融合，得到第二参考帧，可以包括：
RGB1＝(w*RGB_)+(1-w)*RGB0
其中，该RGB1为第二参考帧，w为差分图像中各像素值的权重值，RGB_为第四图像，RGB0为第二图像。
这里，为了使融合后的第二参考帧更贴近第一图像，那么在融合中，第一图像中各像素值的权重值会更大，如此尽可能地保证在融合后的第二参考帧更贴近第一图像，进而第二图像和第一图像的运动区域尽可能保持一致。
这里，确定所述单通道差分图像中各像素值的权重值，包括：
基于预设的第一阈值和第二阈值，确定所述单通道差分图像中各像素值的权重值。
具体可以是：将单通道差分图像中各像素值与设定的第一阈值和第二阈值进行比较，根据比较的结果，确定单通道差分图像中各像素值的权重值。
例如，第一阈值为thre1，第二阈值为thre2，根据thre1和thre2确定所述单通道差分图像diff(x,y)中各像素值的权重值W(x,y)，可以是：
当diff(x,y)＜thre1时，权重值W(x,y)＝0；
当diff(x,y)>thre2时，权重值W(x,y)＝1；
当thre1≤diff(x,y)≤thre2时，
W(x,y)＝(diff(x,y)-thre1)/(thre2-thre1)。
这里，diff(x,y)为单通道差分图像中的(x,y)位置的像素值，第四图像和第二图像的图像矩阵中，各个像素的位置通过横纵坐标(x,y)来表征。W(x,y)为各像素值的权重值。例如，图像为3×2的矩阵，即包含6个像素值，则分别对6个像素值均确定权重值。
如此，通过两幅图像中，对应的权重值和图像中各位置像素值的乘积之和，即可融合得到第二参考帧。
在一些实施例中，所述对所述RGB格式的第四图像和第二图像的像素值进行处理，得到RGB格式的单通道差分图像，包括：
对所述RGB格式的第四图像和第二图像中各位置对应的像素值进行对应相减，得到RGB格式的三通道差分图像；
提取所述三通道差分图像各像素值对应的最大的通道值，得到RGB格式的单通道差分图像。
本公开实施例中，在RGB格式下生成三通道差分图像。
由于RGB格式包含三个颜色通道，当对第四图像和第二图像中各位置对应的像素值进行对应相减，确定三通道差分图像时，可以得到关于颜色通道的差分图像。此时，如果取三通道差分图像各像素值对应的最大的通道值生成单通道差分图像，就可以将图像向最大差异方向进行调整。
例如，假设三通道差分图像diff(x,y)-3包含3个像素值，其中，A像素值(155，120，200)、B像素值(20，60，223)，C像素值(89，120，100)，那么分别提取所述三通道差分图像各像素值对应的最大的通道值，得到的单通道差分图像diff(x,y)为包含3个像素值A(200)、B(223)和C(120)的图像。这样，通过将该单通道差分图像diff(x,y)中的像素值与预设的第一阈值和第二阈值进行比较，就可以为每个像素值确定待进行调整的权重值，该权重值表征将图像向最大差异方向进行调整的程度。
如此，可以基于该权重值实现融合处理，可以将第二图像中的目标对象调整至第一图像中目标对象的位置。
在一些实施例中，所述对所述第二参考帧和第三图像进行图像融合，得到第五图像，包括：
将所述YUV格式的第二参考帧和第三图像，转化为RGB格式的第二参考帧和第三图像；
对所述RGB格式的第二参考帧和第三图像进行直方图匹配，并对匹配后的图像进行格式转换，得到亮度值提升的第二参考帧；
对所述亮度值提升的第二参考帧和第三图像进行图像融合，得到第五图像。
这里，直方图匹配为通过指定直方图形状，将一幅图像的直方图变成指定形状直方图的图像增强方法。需要首先选定直方图形状，即选择一张图像的直方图作为匹配参考对象，然后通过映射函数，将目标图像与指定的参考对象匹配在一起，得到与参考对象直方图形状一致的直方图。
这里，通过直方图匹配，使得RGB格式的第二参考帧和第三图像的直方图近似，从而使两幅图像具有类似的色调和反差。
RGB格式的第二参考帧和第三图像的亮度不太一致，对RGB格式的第二参考帧和第三图像进行直方图匹配，可以消除亮度不一致的影响，使得两者亮度接近，进一步提升目标图像的效果。
在亮度达到一致或相似时，就基于该亮度值提升的第二参考帧和第三图像进行图像融合，得到第五图像。
这里，对所述亮度值提升的第二参考帧和第三图像进行图像融合，得到第五图像，包括：将所述YUV格式的亮度值提升的第二参考帧和第三图像，转化为RGB格式的亮度值提升的第二参考帧和第三图像；对所述RGB格式的亮度值提升的第二参考帧和第三图像的像素值进行处理，得到RGB格式的第二单通道差分图像；确定所述第二单通道差分图像中各像素值的权重值；基于所述权重值，对亮度值提升的第二参考帧和第三图像进行图像融合，得到第五图像。
需要说明的是，基于该亮度值提升的第二参考帧和第三图像进行图像融合，得到第五图像，与上述对第四图像和第二图像进行图像融合，得到第二参考帧的处理过程相同。具体处理过程不再赘述。
在一些实施例中，所述对所述RGB格式的第二参考帧和第三图像在各个颜色通道内进行直方图匹配，包括：
对所述RGB格式的第二参考帧进行直方图均衡化处理，得到第一均衡图像，以及对所述RGB格式的第三图像进行直方图均衡化处理，得到第二均衡图像；
确定所述第一均衡图像对应的第一累积分布函数和第二均衡图像对应的第二累积分布函数；
对所述第一累积分布函数和所述第二累积分布函数进行匹配。
这里，直方图可以描述各种不同的事物，如物体的色彩分布、物体的边缘梯度模板，以及表示目标位置的当前假设的概率分布。具体而言，直方图反映的是统计的信息，它反映了图像中像素值在特定范围内的像素个数。
通过直方图匹配，可以使得两幅图像保持完全一致或尽量一致。
将基于RGB格式的第二参考帧作为输入图像；将直方图序列中的RGB格式的第三图像作为目标对象；对输入图像执行转换，使得转换后的输入图像的灰度直方图与目标对象尽量一致，便于后续的融合处理。
对RGB格式的第二参考帧和RGB格式的第三图像进行直方图均衡化处理，使其变成归一化的均匀直方图。该均匀直方图起到媒介作用，再对第二参考帧做均衡化的逆运算即可实现直方图匹配。
在得到第一均衡图像和第二均衡图像后，确定第一均衡图像对应的第一累积分布函数和第二均衡图像对应的第二累积分布函数；并令第一累积分布函数等于第二累积分布函数，以得到第二累积分布函数对应的反变换函数；根据反变换函数即可得到匹配结果。
这里，累积分布函数(Cumulative Distribution Function，CDF)是概率密度函数的积分，能用于描述一个实随机变量x的概率分布。
对于所有实数x，累积分布函数F(x)＝P(x≤k)。
即累积分布函数F(x)表示：所有小于等于k的离散变量x的出现概率之和。
那么，基于累积分布函数的函数特性，确定出第一均衡图像对应的第一累积分布函数和第二均衡图像对应的第二累积分布函数后，可以将第一均衡图像和第二均衡图像的灰度值重新分配，例如，将某一区间的灰度值x1-x2映射至全灰度范围0-255。这样，得到的第一累积分布函数和第二累积分布函数在灰度上可以达到相同的映射范围，便于后续的匹配。
这里，对所述第一累积分布函数和所述第二累积分布函数进行匹配，得到匹配图像，而该匹配图像为RGB格式的图像，需要将其转换为YUV格式。
对所述第一累积分布函数和所述第二累积分布函数进行匹配，得到匹配图像，可以包括：将第一累积分布函数等于第二累积分布函数，得到第二累积分布函数对应的反变换函数；根据反变换函数得到匹配结果。这样，由于是以亮度值提升后的第一图像(即第四图像)来作为参考帧来执行去鬼影处理，而第一图像是曝光度相对较低的图像，可以明显改善以正常曝光度为参考帧进行去鬼影处理时，在过爆区域存在运动对象时仍会出现鬼影的现象，实现有效地去除图像中的鬼影。并且，亮度值提升后的第一图像可以保留更多的图像细节，可以改善去鬼影处理中信息丢失的现状。
本公开还提供以下实施例：
图4和图5是根据一示例性实施例示出的一种图像处理方法的流程图，如图4和图5所示，该图像处理方法，包括：
步骤401，输入同一目标对象的RAW格式的三帧图像；其中，所述三帧图像包括：第一图像(ev-)、第二图像(ev0)和第三图像(ev+)。
这里，第二图像为正常曝光图像ev0；第一图像是欠曝光图像ev-；第三图像是长曝光图像ev+。
步骤402，对RAW格式的第一图像进行提亮，得到提亮后的第四图像。
这里，在图像的RAW域对第一图像(ev-)进行提亮。
该提亮处理包括：对第一图像(ev-)的每个像素乘以调节系数x，得到提亮后的第四图像。其中，该调节系数x：
x＝Gain0*ExpTime0/(Gain_*ExpTime_)
其中，ExpTime0代表采集第二图像时的曝光时长；ExpTime_代表采集第一图像时的曝光时长；Gain0代表采集第二图像的图像采集装置的增益值；Gain_代表采集第一图像的图像采集装置的增益值。
步骤403，将提亮后的第四图像、RAW格式的ev-、ev0和ev+经过图像信号处理器(ISP)的处理，得到YUV格式的ev-、ev0、ev+和第四图像。
步骤404，将YUV格式的提亮后的第四图像，与YUV格式的ev0作为输入，进行去鬼影处理，得到去鬼影后的ev0。
这里，去鬼影后的ev0即为上述实施例中的第二参考帧。
步骤405，将去鬼影后的ev0和YUV域的ev+作为输入，进行去鬼影处理，得到去鬼影后的ev+。
这里，去鬼影后的ev+即为上述实施例中的第五图像。
步骤406，对去鬼影后的ev+、去鬼影后的ev0和YUV格式ev-进行融合处理，生成融合图像。
这里，去鬼影后的ev+、去鬼影后的ev0和YUV格式ev-，这三帧图像的运动区域一致，那么将这三帧图像作为输入进行后续的曝光融合，即可得到消除鬼影的图像。
如此，本公开实施例提供的图像处理方法，在获取目标对象的三张不同曝光度的图像后，通过对第一图像亮度值的提升来得到第四图像，以第四图像为参考帧来对第二图像进行去鬼影处理，并根据去除鬼影后的第二参考帧继续对第三图像进行去鬼影处理。这样，由于是以亮度值提升后的第一图像(即第四图像)来作为参考帧来执行去鬼影处理，而第一图像是曝光度相对较低的图像，可以明显改善以正常曝光度为参考帧进行去鬼影处理时，在过爆区域存在运动对象时仍会出现鬼影的现象，实现有效地去除图像中的鬼影。并且，亮度值提升后的第一图像可以保留更多的图像细节，可以改善去鬼影处理中信息丢失的现状。
本公开还提供一种图像处理装置，图6是根据一示例性实施例示出的一种图像处理装置的结构示意图，如图6所示，所述图像处理装置500，包括：
获取模块501，用于获取同一目标对象的第一图像、第二图像和第三图像；其中，所述第一图像的曝光度小于所述第二图像的曝光度；所述第二图像的曝光度小于所述第三图像的曝光度；
提升模块502，用于提升所述第一图像的亮度值，得到第四图像；
第一处理模块503，用于以所述第四图像作为第一参考帧，对所述第二图像进行去鬼影处理得到第二参考帧；
第二处理模块504，用于基于所述第二参考帧，对所述第三图像进行去鬼影处理得到第五图像。
在一些实施例中，所述提升模块，包括：
亮度提升模块，用于对所述第一图像的亮度值进行调节，得到与所述第二图像的亮度差小于预设阈值的第四图像。
在一些实施例中，所述装置还包括：
系数确定模块，用于根据所述第一图像和所述第二图像的曝光参数值，确定对所述第一图像进行亮度值调节的调节系数；其中，所述曝光参数值包括：曝光时长和/或曝光光圈尺寸值；
所述提升模块，还用于根据所述调节系数提升所述第一图像的亮度值，得到第四图像。
在一些实施例中，所述第一处理模块，包括：
第一融合模块，用于以所述第四图像作为第一参考帧，对第四图像和第二图像进行图像融合，得到第二参考帧；其中，所述第二参考帧中的目标对象的位置，与所述第一图像中的目标对象的位置相同；
所述第二处理模块，包括：
第二融合模块，用于对所述第二参考帧和第三图像进行图像融合，得到第五图像；其中，所述第五图像中的目标对象的位置，与所述第一图像中目标对象的位置相同。
在一些实施例中，所述装置还包括：
转换模块，用于对RAW格式的所述第一图像、所述第二图像、所述第三图像和所述第四图像进行格式转换，得到YUV格式的第一图像、第二图像、第三图像和第四图像；
所述第一融合模块，包括：
第一转换模块，用于将所述YUV格式的第四图像和第二图像，转化为RGB格式的第四图像和第二图像；
像素处理模块，用于对所述RGB格式的第四图像和第二图像的像素值进行处理，得到RGB格式的单通道差分图像；
权重确定模块，用于确定所述单通道差分图像中各像素值的权重值；
融合处理模块，用于基于所述权重值，对第四图像和第二图像进行图像融合，得到第二参考帧。
在一些实施例中，所述像素处理模块，还用于：
对所述RGB格式的第四图像和第二图像中各位置对应的像素值进行对应相减，得到RGB格式的三通道差分图像；
提取所述三通道差分图像各像素值对应的最大的通道值，得到RGB格式的单通道差分图像。
在一些实施例中，所述第二融合模块，包括：
第二转换模块，用于将所述YUV格式的第二参考帧和第三图像，转换为RGB格式的第二参考帧和第三图像；
匹配模块，用于对所述RGB格式的第二参考帧和第三图像进行直方图匹配，并对匹配后的图像进行格式转换，得到亮度值提升的第二参考帧；
第二融合子模块，用于对所述亮度值提升的第二参考帧和第三图像进行图像融合，得到第五图像。
在一些实施例中，所述匹配模块，还用于：
对所述RGB格式的第二参考帧进行直方图均衡化处理，得到第一均衡图像，以及对所述RGB格式的第三图像进行直方图均衡化处理，得到第二均衡图像；
确定所述第一均衡图像对应的第一累积分布函数和第二均衡图像对应的第二累积分布函数；
对所述第一累积分布函数和所述第二累积分布函数进行匹配。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种图像处理装置1800的框图。例如，装置1800可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图7，装置1800可以包括以下一个或多个组件：处理组件1802，存储器1804，电力组件1806，多媒体组件1808，音频组件1810，输入/输出(I/O)接口1812，传感器组件1814，以及通信组件1816。
处理组件1802通常控制装置1800的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件1802可以包括一个或多个处理器1820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1802还可以包括一个或多个模块，便于处理组件1802和其他组件之间的交互。例如，处理组件1802可以包括多媒体模块，以方便多媒体组件1808和处理组件1802之间的交互。
存储器1804被配置为存储各种类型的数据以支持在装置1800的操作。这些数据的示例包括用于在装置1800上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图像、视频等。存储器1804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。
电力组件1806为装置1800各种组件提供电力。电力组件1806可以包括：电源管理系统，一个或多个电源，及其他与为装置1800生成、管理和分配电力相关联的组件。
多媒体组件1808包括在所述装置1800和用户之间提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1808包括一个前置摄像头和/或后置摄像头。当装置1800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和/或后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1810被配置为输出和/或输入音频信号。例如，音频组件1810包括一个麦克风(MIC)，当装置1800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1804或经由通信组件1816发送。在一些实施例中，音频组件1810还包括一个扬声器，用于输出音频信号。
I/O接口1812为处理组件1802和外围接口模块之间提供接口，上述外围接口模块可以是键盘、点击轮、按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1814包括一个或多个传感器，用于为装置1800提供各个方面的状态评估。例如，传感器组件1814可以检测到装置1800的打开/关闭状态、组件的相对定位，例如所述组件为装置1800的显示器和小键盘，传感器组件1814还可以检测装置1800或装置1800一个组件的位置改变，用户与装置1800接触的存在或不存在，装置1800方位或加速/减速和装置1800的温度变化。传感器组件1814可以包括接近传感器，被配置为在没有任何的物理接触时检测附近物体的存在。传感器组件1814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1814还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件1816被配置为便于装置1800和其他设备之间有线或无线方式的通信。装置1800可以接入基于通信标准的无线网络，如WiFi、2G或3G，或它们的组合。在一个示例性实施例中，通信组件1816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术或其他技术来实现。
在示例性实施例中，装置1800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1804，上述指令可由装置1800的处理器1820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得能够执行上述方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种图像处理方法，其特征在于，包括：
获取同一目标对象的第一图像、第二图像和第三图像；其中，所述第一图像的曝光度小于所述第二图像的曝光度；所述第二图像的曝光度小于所述第三图像的曝光度；
提升所述第一图像的亮度值，得到第四图像；
以所述第四图像作为第一参考帧，对所述第二图像进行去鬼影处理，得到第二参考帧；
基于所述第二参考帧，对所述第三图像进行去鬼影处理，得到第五图像。
2.根据权利要求1所述的方法，其特征在于，所述提升所述第一图像的亮度值，得到第四图像，包括：
对所述第一图像的亮度值进行调节，得到与所述第二图像的亮度差小于预设阈值的第四图像。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述第一图像和所述第二图像的曝光参数值，确定对所述第一图像进行亮度值调节的调节系数；其中，所述曝光参数值包括：曝光时长和/或曝光光圈尺寸值；
所述提升所述第一图像的亮度值，得到第四图像，包括：
根据所述调节系数提升所述第一图像的亮度值，得到第四图像。
4.根据权利要求1所述的方法，其特征在于，所述以所述第四图像作为第一参考帧，对所述第二图像进行去鬼影处理得到第二参考帧，包括：
以所述第四图像作为第一参考帧，对第四图像和第二图像进行图像融合，得到第二参考帧；其中，所述第二参考帧中的目标对象的位置，与所述第一图像中的目标对象的位置相同；
所述基于所述第二参考帧，对所述第三图像进行去鬼影处理得到第五图像，包括：
对所述第二参考帧和第三图像进行图像融合，得到第五图像；其中，所述第五图像中的目标对象的位置，与所述第一图像中目标对象的位置相同。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
对RAW格式的所述第一图像、所述第二图像、所述第三图像和所述第四图像进行格式转换，得到YUV格式的第一图像、第二图像、第三图像和第四图像；
所述以所述第四图像作为第一参考帧，对第四图像和第二图像进行图像融合，得到第二参考帧，包括：
将所述YUV格式的第四图像和第二图像，转化为RGB格式的第四图像和第二图像；
对所述RGB格式的第四图像和第二图像的像素值进行处理，得到RGB格式的单通道差分图像；
确定所述单通道差分图像中各像素值的权重值；
基于所述权重值，对第四图像和第二图像进行图像融合，得到第二参考帧。
6.根据权利要求5所述的方法，其特征在于，所述对所述RGB格式的第四图像和第二图像的像素值进行处理，得到RGB格式的单通道差分图像，包括：
对所述RGB格式的第四图像和第二图像中各位置对应的像素值进行对应相减，得到RGB格式的三通道差分图像；
提取所述三通道差分图像各像素值对应的最大的通道值，得到RGB格式的单通道差分图像。
7.根据权利要求5所述的方法，其特征在于，所述对所述第二参考帧和第三图像进行图像融合，得到第五图像，包括：
将所述YUV格式的第二参考帧和第三图像，转化为RGB格式的第二参考帧和第三图像；
对所述RGB格式的第二参考帧和第三图像进行直方图匹配，并对匹配后的图像进行格式转换，得到亮度值提升的第二参考帧；
对所述亮度值提升的第二参考帧和第三图像进行图像融合，得到第五图像。
8.根据权利要求7所述的方法，其特征在于，所述对所述RGB格式的第二参考帧和第三图像在各个颜色通道内进行直方图匹配，包括：
对所述RGB格式的第二参考帧进行直方图均衡化处理，得到第一均衡图像，以及对所述RGB格式的第三图像进行直方图均衡化处理，得到第二均衡图像；
确定所述第一均衡图像对应的第一累积分布函数和第二均衡图像对应的第二累积分布函数；
对所述第一累积分布函数和所述第二累积分布函数进行匹配。
9.一种图像处理装置，其特征在于，包括：
获取模块，用于获取同一目标对象的第一图像、第二图像和第三图像；其中，所述第一图像的曝光度小于所述第二图像的曝光度；所述第二图像的曝光度小于所述第三图像的曝光度；
提升模块，用于提升所述第一图像的亮度值，得到第四图像；
第一处理模块，用于以所述第四图像作为第一参考帧，对所述第二图像进行去鬼影处理得到第二参考帧；
第二处理模块，用于基于所述第二参考帧，对所述第三图像进行去鬼影处理得到第五图像。
10.根据权利要求9所述的装置，其特征在于，所述提升模块，包括：
亮度提升模块，用于对所述第一图像的亮度值进行调节，得到与所述第二图像的亮度差小于预设阈值的第四图像。
11.根据权利要求9所述的装置，其特征在于，所述装置还包括：
系数确定模块，用于根据所述第一图像和所述第二图像的曝光参数值，确定对所述第一图像进行亮度值调节的调节系数；其中，所述曝光参数值包括：曝光时长和/或曝光光圈尺寸值；
所述提升模块，还用于根据所述调节系数提升所述第一图像的亮度值，得到第四图像。
12.根据权利要求9所述的装置，其特征在于，所述第一处理模块，包括：
第一融合模块，用于以所述第四图像作为第一参考帧，对第四图像和第二图像进行图像融合，得到第二参考帧；其中，所述第二参考帧中的目标对象的位置，与所述第一图像中的目标对象的位置相同；
所述第二处理模块，包括：
第二融合模块，用于对所述第二参考帧和第三图像进行图像融合，得到第五图像；其中，所述第五图像中的目标对象的位置，与所述第一图像中目标对象的位置相同。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：
转换模块，用于对RAW格式的所述第一图像、所述第二图像、所述第三图像和所述第四图像进行格式转换，得到YUV格式的第一图像、第二图像、第三图像和第四图像；
所述第一融合模块，包括：
第一转换模块，用于将所述YUV格式的第四图像和第二图像，转化为RGB格式的第四图像和第二图像；
像素处理模块，用于对所述RGB格式的第四图像和第二图像的像素值进行处理，得到RGB格式的单通道差分图像；
权重确定模块，用于确定所述单通道差分图像中各像素值的权重值；
融合处理模块，用于基于所述权重值，对第四图像和第二图像进行图像融合，得到第二参考帧。
14.根据权利要求13所述的装置，其特征在于，所述像素处理模块，还用于：
对所述RGB格式的第四图像和第二图像中各位置对应的像素值进行对应相减，得到RGB格式的三通道差分图像；
提取所述三通道差分图像各像素值对应的最大的通道值，得到RGB格式的单通道差分图像。
15.根据权利要求13所述的装置，其特征在于，所述第二融合模块，包括：
第二转换模块，用于将所述YUV格式的第二参考帧和第三图像，转换为RGB格式的第二参考帧和第三图像；
匹配模块，用于对所述RGB格式的第二参考帧和第三图像进行直方图匹配，并对匹配后的图像进行格式转换，得到亮度值提升的第二参考帧；
第二融合子模块，用于对所述亮度值提升的第二参考帧和第三图像进行图像融合，得到第五图像。
16.根据权利要求15所述的装置，其特征在于，所述匹配模块，还用于：
对所述RGB格式的第二参考帧进行直方图均衡化处理，得到第一均衡图像，以及对所述RGB格式的第三图像进行直方图均衡化处理，得到第二均衡图像；
确定所述第一均衡图像对应的第一累积分布函数和第二均衡图像对应的第二累积分布函数；
对所述第一累积分布函数和所述第二累积分布函数进行匹配。
17.一种图像处理装置，其特征在于，包括：
处理器和用于存储能够在所述处理器上运行的可执行指令的存储器，其中：
处理器用于运行所述可执行指令时，所述可执行指令执行上述权利要求1至8任一项提供的方法中的步骤。
18.一种非临时性计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述权利要求1至8任一项提供的方法中的步骤。
CN202110080892.0A 2021-01-21 2021-01-21 图像处理方法、装置以及存储介质 Active CN112785537B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110080892.0A CN112785537B (zh) 2021-01-21 2021-01-21 图像处理方法、装置以及存储介质
EP21188425.9A EP4033750B1 (en) 2021-01-21 2021-07-29 Method and device for processing image, and storage medium
US17/389,995 US11989863B2 (en) 2021-01-21 2021-07-30 Method and device for processing image, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110080892.0A CN112785537B (zh) 2021-01-21 2021-01-21 图像处理方法、装置以及存储介质

Publications (2)

Publication Number Publication Date
CN112785537A true CN112785537A (zh) 2021-05-11
CN112785537B CN112785537B (zh) 2024-07-30

Family

ID=75757808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110080892.0A Active CN112785537B (zh) 2021-01-21 2021-01-21 图像处理方法、装置以及存储介质

Country Status (3)

Country Link
US (1) US11989863B2 (zh)
EP (1) EP4033750B1 (zh)
CN (1) CN112785537B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117278865A (zh) * 2023-11-16 2023-12-22 荣耀终端有限公司 一种图像处理方法及相关装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111479072B (zh) * 2020-04-14 2021-12-17 深圳市道通智能航空技术股份有限公司 高动态范围图像合成方法、装置、图像处理芯片及航拍相机
CN117979171A (zh) * 2023-11-15 2024-05-03 国网江苏省电力有限公司淮安供电分公司 带电作业用机器人的图像获取方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027851A (zh) * 2015-03-30 2016-10-12 想象技术有限公司 基于图像梯度的图像滤波
CN106204513A (zh) * 2016-08-15 2016-12-07 厦门美图之家科技有限公司 图像处理的方法、装置和系统
CN109565547A (zh) * 2016-10-13 2019-04-02 松下知识产权经营株式会社 图像处理装置、图像处理方法以及图像处理电路
WO2019071613A1 (zh) * 2017-10-13 2019-04-18 华为技术有限公司 一种图像处理方法及装置
CN109671106A (zh) * 2017-10-13 2019-04-23 华为技术有限公司 一种图像处理方法、装置与设备
CN110060213A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
WO2019183813A1 (zh) * 2018-03-27 2019-10-03 华为技术有限公司 一种拍摄方法及设备
WO2020055196A1 (en) * 2018-09-11 2020-03-19 Samsung Electronics Co., Ltd. Apparatus and methods for generating high dynamic range media, based on multi-stage compensation of motion

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101306780B1 (ko) * 2011-09-28 2013-09-10 연세대학교 산학협력단 Ｈｄｒ 영상 시스템에서 영상 간의 노출 정도를 보정하기 위한 장치 및 그 방법
US9613408B2 (en) * 2014-09-25 2017-04-04 Intel Corporation High dynamic range image composition using multiple images
US11094039B1 (en) * 2018-09-11 2021-08-17 Apple Inc. Fusion-adaptive noise reduction
US11941791B2 (en) * 2019-04-11 2024-03-26 Dolby Laboratories Licensing Corporation High-dynamic-range image generation with pre-combination denoising
US10930054B2 (en) * 2019-06-18 2021-02-23 Intel Corporation Method and system of robust virtual view generation between camera views
US11669939B1 (en) * 2019-10-07 2023-06-06 Gopro, Inc. Burst deblurring with kernel estimation networks

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027851A (zh) * 2015-03-30 2016-10-12 想象技术有限公司 基于图像梯度的图像滤波
CN106204513A (zh) * 2016-08-15 2016-12-07 厦门美图之家科技有限公司 图像处理的方法、装置和系统
CN109565547A (zh) * 2016-10-13 2019-04-02 松下知识产权经营株式会社 图像处理装置、图像处理方法以及图像处理电路
WO2019071613A1 (zh) * 2017-10-13 2019-04-18 华为技术有限公司 一种图像处理方法及装置
CN109671106A (zh) * 2017-10-13 2019-04-23 华为技术有限公司 一种图像处理方法、装置与设备
WO2019183813A1 (zh) * 2018-03-27 2019-10-03 华为技术有限公司 一种拍摄方法及设备
CN111418201A (zh) * 2018-03-27 2020-07-14 华为技术有限公司 一种拍摄方法及设备
WO2020055196A1 (en) * 2018-09-11 2020-03-19 Samsung Electronics Co., Ltd. Apparatus and methods for generating high dynamic range media, based on multi-stage compensation of motion
CN110060213A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张登辉;霍永青;: "动态场景的高动态范围图像生成", 计算机辅助设计与图形学学报, no. 09, 15 September 2018 (2018-09-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117278865A (zh) * 2023-11-16 2023-12-22 荣耀终端有限公司 一种图像处理方法及相关装置

Also Published As

Publication number Publication date
EP4033750A1 (en) 2022-07-27
US11989863B2 (en) 2024-05-21
US20220230283A1 (en) 2022-07-21
CN112785537B (zh) 2024-07-30
EP4033750B1 (en) 2024-09-04

Similar Documents

Publication Publication Date Title
CN111418201B (zh) 一种拍摄方法及设备
CN109345485B (zh) 一种图像增强方法、装置、电子设备及存储介质
CN112785537B (zh) 图像处理方法、装置以及存储介质
KR101427660B1 (ko) 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법
CN110958401B (zh) 一种超级夜景图像颜色校正方法、装置和电子设备
CN106131441B (zh) 拍照方法及装置、电子设备
CN108932696B (zh) 信号灯的光晕抑制方法及装置
CN112614064B (zh) 图像处理方法、装置、电子设备及存储介质
CN108040204B (zh) 一种基于多摄像头的图像拍摄方法、装置及存储介质
CN105528765A (zh) 处理图像的方法及装置
CN105791790B (zh) 图像处理方法及装置
CN110047060B (zh) 图像处理方法、装置、存储介质及电子设备
CN115205172A (zh) 图像处理方法及装置、电子设备和存储介质
CN115239570A (zh) 图像处理方法、图像处理装置及存储介质
CN112651918A (zh) 图像处理方法及装置、电子设备、存储介质
CN108156381B (zh) 拍照方法及装置
CN107451972B (zh) 图像增强方法、装置及计算机可读存储介质
CN113055605B (zh) 图像色温调整方法、装置以及存储介质
CN116843603A (zh) 一种图像处理方法及装置、电子设备、存储介质
CN116866495A (zh) 图像获取方法、装置、终端设备及存储介质
CN114331852A (zh) 高动态范围图像的处理方法、装置及存储介质
US20240005521A1 (en) Photographing method and apparatus, medium and chip
CN116723409B (zh) 自动曝光方法与电子设备
WO2023077938A1 (zh) 生成视频帧的方法、装置、电子设备及存储介质
CN116805976A (zh) 视频处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant