CN112532855A - 一种图像处理方法和装置 - Google Patents

一种图像处理方法和装置 Download PDF

Info

Publication number
CN112532855A
CN112532855A CN201910877593.2A CN201910877593A CN112532855A CN 112532855 A CN112532855 A CN 112532855A CN 201910877593 A CN201910877593 A CN 201910877593A CN 112532855 A CN112532855 A CN 112532855A
Authority
CN
China
Prior art keywords
frame image
pixel
image
target
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910877593.2A
Other languages
English (en)
Other versions
CN112532855B (zh
Inventor
王卓群
王军
孔德颂
王世通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910877593.2A priority Critical patent/CN112532855B/zh
Publication of CN112532855A publication Critical patent/CN112532855A/zh
Application granted granted Critical
Publication of CN112532855B publication Critical patent/CN112532855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

公开了一种图像处理方法和装置，所述方法包括：获取在同一场景下拍摄多帧图像，所述多帧图像包括至少一个第一帧图像和至少一个第二帧图像，对至少一个第一帧图像进行降噪融合生成高动态的第三帧图像，在所述至少一个第二帧图像中选择一个作为目标第二帧图像；分别确定所述第三帧图像和所述目标第二帧图像中每个像素的权重值，其中在所述第三帧图像中偏色区域的像素的权重值小于目标第二帧图像中相同区域的权重值；根据所述权重值对第三帧图像和目标第二帧图像进行融合得到第四帧图像。本方法通过自适应的权重值能够有效地矫正夜景拍摄时由于高亮区域过曝产生的偏色，从而提高了一般用户夜景下拍摄的成像质量。

Description

一种图像处理方法和装置
技术领域
本申请涉及图像处理技术领域，尤其是涉及一种应用于终端在夜景高动态拍摄时产生过曝偏色的图像处理方法和装置。
背景技术
在夜景拍摄中为了更好的展现出场景信息，对于夜景中的高亮场景，通常手机或数码相机会采用高动态算法拍摄出高动态图像，而暗光场景下拍摄的图像容易因为发光物体(广告牌、霓虹灯等)过曝而产生颜色的偏离，这种现象称为偏色。例如，一般在暗光场景或夜景下，拍摄的红色广告牌发生偏色时会变得偏黄或偏白。
为了避免拍摄的图像发生偏色，一般的处理方式是，专业摄影师通过采集不同曝光的图像，然后对这些图像进行后期人工处理，以纠正拍摄画面中产生的偏色现象。但拍摄时的曝光技巧和后期处理技术显然不适用于普通的手机用户，所以不能解决用户普遍产生的图像过曝偏色的问题，因此，对于本领域技术人员来说，亟需解决用户拍摄夜景的高动态场景时产生的偏色问题。
发明内容
本申请实施例公开了一种图像处理方法，用于解决在用户拍摄夜景的高动态场景时产生的偏色问题。为了解决该技术问题，本申请公开了以下技术方案：
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：获取在同一场景下拍摄多帧图像，所述多帧图像包括至少一个第一帧图像和至少一个第二帧图像，且每个所述第二帧图像的曝光度小于所述第一帧图像的曝光度；对所述至少一个第一帧图像进行降噪融合生成高动态的第三帧图像，以及，在所述至少一个第二帧图像中选择一个作为目标第二帧图像；确定所述第三帧图像中每个像素的权重值和所述目标第二帧图像中每个像素的权重值，以及根据所述第三帧图像和所述目标第二帧图像的每个像素的权重值，对所述第三帧图像和所述目标第二帧图像进行融合得到第四帧图像。
其中，在所述第三帧图像中偏色区域的像素的权重值小于所述目标第二帧图像中相同区域的像素的权重值。
本实施例提供的方法，通过拍摄的曝光度较小的至少一个第二帧图像，来对曝光度较大第三帧图像进行像素融合，利用各自图像的自适应的权重值能够有效地矫正夜景拍摄时由于高亮区域过曝产生的偏色，从而提高一般用户夜景下拍摄的成像质量，使普通用户拍摄的图像更还原真实的景色。
结合第一方面，在第一方面的一种可能的实现方式中，确定所述第三帧图像中每个像素的权重值，包括：根据所述第三帧图像中每个像素的亮度值，以及每个所述亮度值与权重值之间的第一对应关系，确定所述第三帧图像中每个像素的权重值。
其中，所述第一对应关系为：当第一像素的亮度值小于等于第一阈值时，所述第一像素的权重值由高斯正态分布曲线确定；当所述第一像素的亮度值大于第一阈值时，所述第一像素的权重值为一常量；所述常量是所述高斯正态分布曲线中的最大概率值，所述第一像素为所述第三帧图像中的任一点的像素。
本实现方式中，通过预先建立亮度值与权重值之间的第一对应关系，且该第一对应关系中亮度值超过第一阈值时，亮度越大对应的权重值越低，从而在自适应地确定每个像素的权重时，能够确定出一个较小的权重值，从而为图像融合做准备。
结合第一方面，在第一方面的另一种可能的实现方式中，确定所述第三帧图像中每个像素的权重值，包括：根据所述第一对应关系确定每个所述亮度值所对应的第一权重值；如果所述第一权重值所对应的像素点位于所述偏色区域，则减小所述第一权重值的大小至第二权重值。
本实现方式中，通过对偏色区域的所有第一权重值进行调整，降低位于偏色区域的所有像素的第一权重值，间接增加了融合图像(目标第二帧图像)的第二权重值的比例，从而在利用目标第二帧图像的第二权重值进行权重加权平均时可避免亮度反转现象的发生，使得融合后的图像更接近原真实的景色。
结合第一方面，在第一方面的另一种可能的实现方式中，所述像素点位置坐标表示为(x,y)，所述方法还包括：判断所述第一权重值所对应的像素点(x,y)是否位于所述偏色区域；如果第一权重值所对应的像素点(x,y)的亮度值大于所述第一阈值，且所述像素点(x,y)的色调位于第一颜色区间内；和，如果所述像素点(x,y)在所述目标第二帧图像上的亮度值大于第二阈值，且所述像素点(x,y)的色调位于第二颜色区间内，则所述像素点(x,y)位于所述第三帧图像中偏色区域内。
可选的，所述第一颜色区间为橘黄色区间，所述第二颜色区间为红色区间。
本实现方式中，利用颜色信息，所述颜色信息包括HSV模型中每个像素的色调H和亮度V，从而能够准确地确定出图像中的偏色区域，并且再对该偏色区域的所有权重值进行调整，以避免发生亮度反转现象。
结合第一方面，在第一方面的又一种可能的实现方式中，在所述至少一个第二帧图像中选择一个作为目标第二帧图像，包括：根据筛选策略从所述至少一个第二帧图像中选择一个作为所述目标第二帧图像。
其中，所述筛选策略为：如果所述至少两个第二帧图像的高光区域的颜色一致，则选取所述高亮区域的亮度值最大的一个第二帧图像作为所述目标第二帧图像；如果所述至少两个第二帧图像的高光区域的颜色不一致，则选取所述高亮区域的亮度值最小的一个第二帧图像作为所述目标第二帧图像。
本实施方式中，通过筛选策略选择合适的第二帧图像作为目标图像，为补充第一帧图像的偏色区域做准备。
结合第一方面，在第一方面的又一种可能的实现方式中，根据所述第三帧图像和所述目标第二帧图像的每个像素的权重值，对所述第三帧图像和所述目标第二帧图像进行融合得到第四帧图像，包括：
将所述第三帧图像和所述目标第二帧图像的每个像素的权重值，得到自适应的所述第三帧图像的第一权重参数和所述目标第二帧图像的第二权重参数；根据所述第一权重参数和所述第二权重参数分别得到图像金字塔融合的第一权重曲线和第二权值曲线；分别利用所述第一权重曲线和所述第二权值曲线构建的高斯金字塔和拉普拉斯金字塔，对所述第三帧图像和所述目标第二帧图像进行融合，得到所述第四帧图像。
本实施方式中，在保持图像正常环境曝光的情况下，通过第一权重曲线和第二权重曲线对第三帧图像和目标第二帧图像进行融合，自适应权重计算得到的权重值能够有效地矫正夜景拍摄时由于高亮区域过曝产生的偏色，利用金字塔做图像融合生成更接近原真实景色的图像，不仅提高了成像质量，还能够适用于普通用户对夜景的拍摄，使普通用户也能够拍摄出清晰的图像。
第二方面，本申请实施例提供了一种图像处理装置，所述装置包括获取单元和处理单元，获取单元，用于获取在同一场景下拍摄多帧图像，所述多帧图像包括至少一个第一帧图像和至少一个第二帧图像，且每个所述第二帧图像的曝光度小于所述第一帧图像的曝光度；
处理单元，用于对所述至少一个第一帧图像进行降噪融合生成(高动态的)第三帧图像，以及，在所述至少一个第二帧图像中选择一个作为目标第二帧图像；确定所述第三帧图像中每个像素的权重值和所述目标第二帧图像中每个像素的权重值，以及，根据所述第三帧图像和所述目标第二帧图像的每个像素的权重值，对所述第三帧图像和所述目标第二帧图像进行融合得到第四帧图像；
其中在所述第三帧图像中偏色区域的像素的权重值小于所述目标第二帧图像中相同区域的像素的权重值。
结合第二方面，在第二方面的一种可能的实现方式中，所述处理单元，具体用于根据所述第三帧图像中每个像素的亮度值，以及每个所述亮度值与权重值之间的第一对应关系，确定所述第三帧图像中每个像素的权重值。
其中，所述第一对应关系为：当第一像素的亮度值小于等于第一阈值时，所述第一像素的权重值由高斯正态分布曲线确定；当所述第一像素的亮度值大于第一阈值时，所述第一像素的权重值为一常量；所述常量是所述高斯正态分布曲线中的最大概率值，所述第一像素为所述第三帧图像中的任一点的像素。
结合第二方面，在第二方面的另一种可能的实现方式中，所述处理单元具体用于根据所述第一对应关系确定每个所述亮度值所对应的第一权重值；如果所述第一权重值所对应的像素点位于所述偏色区域，则减小所述第一权重值的大小至第二权重值。
结合第二方面，在第二方面的又一种可能的实现方式中，所述像素点位置坐标表示为(x,y)，所述处理单元，还用于判断所述第一权重值所对应的像素点(x,y)是否位于所述偏色区域；如果第一权重值所对应的像素点(x,y)的亮度值大于所述第一阈值，且所述像素点(x,y)的色调位于第一颜色区间内；和，如果所述像素点(x,y)在所述目标第二帧图像上的亮度值大于第二阈值，且所述像素点(x,y)的色调位于第二颜色区间内，则所述像素点(x,y)位于所述第三帧图像中偏色区域内。
结合第二方面，在第二方面的又一种可能的实现方式中，所述处理单元具体用于根据筛选策略从所述至少一个第二帧图像中选择一个作为所述目标第二帧图像；所述筛选策略为：如果所述至少两个第二帧图像的高光区域的颜色一致，则选取所述高亮区域的亮度值最大的一个第二帧图像作为所述目标第二帧图像；如果所述至少两个第二帧图像的高光区域的颜色不一致，则选取所述高亮区域的亮度值最小的一个第二帧图像作为所述目标第二帧图像。
结合第二方面，在第二方面的又一种可能的实现方式中，所述处理单元，具体用于将所述第三帧图像和所述目标第二帧图像的每个像素的权重值，得到自适应的所述第三帧图像的第一权重参数和所述目标第二帧图像的第二权重参数；根据所述第一权重参数和所述第二权重参数分别得到图像金字塔融合的第一权重曲线和第二权值曲线；分别利用所述第一权重曲线和所述第二权值曲线构建的高斯金字塔和拉普拉斯金字塔，对所述第三帧图像和所述目标第二帧图像进行融合，得到所述第四帧图像。
第三方面，本申请实施例还提供了一种通信装置，所述通信装置包括处理器，所述处理器与存储器耦合，所述存储器用于存储指令；所述处理器用于执行所述存储器中的指令，使得所述通信装置执行前述第一方面以及第一方面各种实现方式中的图像处理方法。
可选的，所述通信装置包括硬件设备，例如终端设备。
可选的，所述通信装置为一种芯片。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有指令，当所述指令在计算机或处理器上运行时，用于执行前述第一方面以及第一方面各种实现方式中的图像处理方法。
第五方面，本申请实施例还提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，当所述指令被计算机或处理器执行时，可实现前述第一方面以及第一方面各种实现方式中的图像处理方法。
第六方面，本申请实施例还提供了一种芯片系统，所述芯片系统包括处理器和接口电路，所述接口电路与所述处理器耦合，所述处理器用于执行计算机程序或指令，以实现前述第一方面以及第一方面各种实现方式中的方法；所述接口电路用于与所述芯片系统之外的其它模块进行通信。
附图说明
图1为本申请实施例提供的一种图像处理方法的框架流程图；
图2为本申请实施例提供的一种生成第三帧图像的流程示意图；
图3为本申请实施例提供的一种筛选目标第二帧图像的流程示意图；
图4a为本申请实施例提供的一个像素的第三帧权重融合曲线的示意图；
图4b为本申请实施例提供的一个像素的目的第二帧权重融合曲线的示意图；
图5为本申请实施例提供的一种图像融合的流程图；
图6为本申请实施例提供的一种图像处理装置的结构示意图；
图7为本申请实施例提供的一种通信装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请实施例中的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中的技术方案作详细的说明。
在说明本申请实施例的技术方案之前，首先结合附图对本申请的技术场景和相关技术术语进行介绍。
本实施例的技术方案应用于图像处理技术领域，尤其涉及在夜景下拍摄的高动态图像中产生的偏色区域的解决方案。所述偏色是由于夜景下发光物体(广告牌、霓虹灯等)因过曝产生颜色的偏离，比如在有暗光场景以及夜景下红色广告牌过曝出现偏黄或偏白，造成图像失真。
本申请实施例提出一种补偿拍摄图像中的偏色区域的方法，该方法通过在成像阶段使用包围曝光来获取具有多级不同曝光量并包含真实颜色的多帧图像，在图像后处理阶段利用长-短曝光多帧融合方法，获得更高的动态范围以及补偿了原偏色区域的图像。
其中，本实施例提供的方法可通过终端设备来实现，进一步地，所述终端设备也可以称为终端(Terminal)、用户设备(user equipment，UE)、移动台(mobile station，MS)、移动终端(mobile terminal，MT)等。终端设备可以是手机(mobile phone)、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)终端设备、增强现实(AugmentedReality，AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、具有无线通信功能的智能电表、智能水表、环境感应器等。
下面对本实施例提供的方法进行详细介绍。
参见图1，为一实施例提供的一种图像处理方法的框架流程图，该方法包括：
步骤10：获取在同一场景下拍摄多帧图像，所述多帧图像包括至少一个第一帧图像和至少一个第二帧图像，且每个所述第二帧图像的曝光度小于所述第一帧图像的曝光度。
终端设备的相机传感器在自动曝光(auto exposure，AE)下拍摄所述多帧图像，具体地，如图2所示，步骤10包括：
步骤101：终端设备的相机系统当检测到当前拍摄为夜景时，进入夜景高动态模式。
当用户开启终端设备的相机功能时，终端设备的相机系统自动检测当前待拍摄图像的场景，当检测为夜间场景时，相机系统先估计该场景的动态范围。具体地，一种实施方式是，使用主相机(camera)的预览流做信息统计，估计场景动态范围。
步骤102：通过感光度ISO和曝光时间设定模块分别得到第一帧图像和第二帧图像的ISO和曝光时间。
步骤103：根据设定的ISO和曝光时间连续拍摄得到至少一个第一帧图像和至少一个第二帧图像。
其中，第一帧图像是在夜景的动态范围下拍摄的不存在大面积偏色区域的图像，对所述至少一个第一帧图像再降低曝光值(exposure value，EV)进行拍摄得到至少两个第二帧图像。比如将第一帧图像降低1～3个EV后拍摄得到第二帧图像。
可选的，所述第一帧图像为短帧图像，所述第二帧图像为超短帧图像，在所述夜景高动态模式终端设备的屏幕上预览的原始图像称为参考帧图像，且所述参考帧图像的曝光度大于所述第一帧图像的曝光度。
需要说明的是，在夜景高动态模式下，所述参考帧图像和第一帧图像由于曝光度(较亮)较高，所以可能存在过曝偏色区域；所述第二帧图像由于曝光度低于第二帧图像和参考帧图像，所以得到的多个第二帧图像中不存在曝光偏色区域，因此可以利用第二帧图像中的像素来补偿第一帧图像中过曝偏色区域。
步骤20：对所述至少一个第一帧图像进行降噪融合生成高动态的第三帧图像。
其中，所述高动态的第三帧图像是指高动态范围(High-Dynamic Range，HDR)图像，该HDR图像相比普通的图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的LDR(Low-Dynamic Range)图像，利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，以便能够更好地反映真实环境中的视觉场景。
具体地，如图3所示，步骤20包括：
步骤201：对至少一个第一帧图像进行降噪处理，降噪后对多帧做融合生成融合帧I1。
其中，所述降噪处理过程包括：图像配准、鬼影检测和变形矫正等。具体地，固定ISO和曝光时间，对同一个场景进行多次拍照，由于噪声在帧与帧之间是随机波动的，信号是固定的，如果每一帧的噪声方差为σ2，进行N帧平均后，结果帧的噪声方差降低为σ2/N。噪声标准差每降低一半，信噪比会提升6dB。所以，如果第一帧图像共有6帧，则这6帧图像做时域降噪处理时信噪比可能提升7.8dB。本实施例中使用6个第一帧图像来进行融合降噪。
如果拍摄多帧的过程中，发生了手持抖动或者场景内的物体发生了运动，时域平均可能会发生错位，引入鬼影或模糊，因此多帧时域平均前需要进行图像配准、鬼影检测和校正处理。
进一步地，在“图像配准”过程中，对输入的参考帧(frame 0)和待配准帧(frame1)进行特征提取，分别得到一系列的特征点，并对每个特征点进行特征描述。根据特征描述匹配两幅图像的特征点，得到一系列特征点对。在匹配得到的特征点对中求解得到两幅图像的变换矩阵，即投影变换，比如变换矩阵为一3x3的矩阵H。frame 1通过H矩阵得到与frame0对齐的图像。以同样方法得到frame 2与frame 0对齐的图像。其中，所述frame1和frame2都是多个所述第一帧图像中的一个，且除了参考帧frame 0之外的第一帧图像，比如frame1和frame 2都是可称为其他帧。
在“鬼影检测”过程中，参考帧(frame 0)与其他帧(frame1或frame 2)的配准结果求差，得到每个像素点的差异值，即区别(diff)图。对diff图像进行高斯平滑处理，目的是去除噪声影响。通过diff图与相应的鬼影阈值相比较，如果大于鬼影阈值则确定是鬼影点，然后对由所有确定的鬼影点形成的鬼影掩膜(Mask)做去噪处理，比如利用腐蚀膨胀消除其中的孤立点(所述孤立点可由噪声引起)，最后得到最终的鬼影Mask。
在“时域多帧降噪融合”过程中，判断鬼影检测过程的鬼影区域面积大小是否小于全图像的1/3；如果是，则根据鬼影Mask对每个像素点加权去除鬼影并输出融合结果，其中，鬼影Mask区域参考帧像素融合权重大于其他配准帧对应像素。如果否，则输出Frame 0的数据。
在步骤201中，是对先每一个第一帧图像进行空域去噪处理，然后再融合成I1帧。
步骤202：对所述融合帧I1进行色调映射。
步骤203：将色调映射后的图像从Raw域转换到YUV域，得到高动态的融合帧，即所述第三帧图像。
Raw域或称Raw格式，是指未经加工图像。进一步地，所述Raw图像可以理解为，就是相机的感光元件比如互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)或者电荷耦合器件(Charge-coupled Device，CCD)将捕捉到的光源信号转化为数字信号的原始数据。RAW文件是一种记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些元数据(Metadata，如感光度ISO(InternationalOrganization for Standardization，国际标准化组织)的设置、快门速度、光圈值、白平衡等)的文件。Raw域是未经处理、也未经压缩的格式。Raw格式的全称是RAW Image Format。
YUV是一种颜色编码方法，常使用在各个视频处理组件中。YUV在对照片或视频编码时，考虑到人类的感知能力，允许降低色度的带宽。YUV是编译true-color颜色空间(color space)的种类，Y'UV、YUV、YCbCr、YPbPr等专有名词都可以称为YUV，彼此有重叠。其中“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。
一般YUV分成两种格式，一种是：紧缩格式(packedformats)，将Y、U、V值存储成Macro Pixels数组，和RGB的存放方式类似。另一种是：平面格式(planarformats)，将Y、U、V的三个分量分别存放在不同的矩阵中。平面格式(planarformats)是指每Y分量，U分量和V分量都是以独立的平面组织的，也就是说所有的U分量都在Y分量后面，而V分量在所有的U分量后面，此一格式适用于采样(subsample)。
步骤203中，将色调映射后的图像从Raw格式转换到YUV格式得到高动态的第三帧图像。
可选的，所述第三帧图像又称为基础(base)帧图像。
步骤30：在所述至少一个第二帧图像中选择一个作为目标第二帧图像。
一种具体的实施方式是，根据筛选策略从多个第二帧图像中选择一个作为目标第二帧图像。其中所述筛选策略包括：
1)如果所述至少两个第二帧图像的高光区域的颜色一致，则选取所述高亮区域的亮度值最大的一个第二帧图像作为所述目标第二帧图像。因为亮度值(曝光量)大的第二帧图像相比亮度值(曝光量)低的第二帧图像拍摄的细节更多，亮度和第一帧图像更加接近，不容易发生亮度反转。
2)如果所述至少两个第二帧图像的高光区域的颜色不一致，则选取所述高亮区域的亮度值最小的一个第二帧图像作为所述目标第二帧图像。因为如果高光区域的颜色不一致，则说明至少两个第二帧图像中可能存在有发生偏色的图像，且所述偏色图像的偏色区域的亮度值较大，所以选择亮度值较小的图像作为目标的第二帧图像，因为亮度值较小图像上不会发送曝光偏色。
本实施方式中，通过筛选策略选择合适的第二帧图像作为目标图像，为补充第一帧图像的偏色区域做准备。
另一种实施方式是，如果只有一个第二帧图像，则将该第二帧图像作为所述目标第二帧图像。
其中，在筛选所述目标第二图像之前，步骤30还包括：先对所述至少一个第二帧图像进行空域去噪处理，然后将这些处理后的图像从Raw域转换到YUV域，最后再对目标帧图像进行选择。进一步地，空域去噪和域(格式)转换过程与前述对至少一个第一帧图像的处理过程相同，本实施例此处不再赘述。
步骤40：确定所述第三帧图像中每个像素的权重值和所述目标第二帧图像中每个像素的权重值，根据所述第三帧图像和所述目标第二帧图像的每个像素的权重值，对所述第三帧图像和所述目标第二帧图像进行融合得到第四帧图像。
其中，在所述第三帧图像中偏色区域的像素的权重值小于所述目标第二帧图像中相同区域的像素的权重值。
在一示例中，步骤40具体包括：根据第三帧图像中每个像素的亮度值，以及每个所述亮度值与权重值之间的第一对应关系，确定所述第三帧图像中每个像素的权重值。其中，所述第一对应关系为：当第一像素的亮度值小于等于第一阈值时，所述第一像素的权重值由高斯正态分布曲线确定；当所述第一像素的亮度值大于第一阈值时，所述第一像素的权重值为一常量；所述常量是所述高斯正态分布曲线中的最大概率值，所述第一像素为所述第三帧图像中的任一点的像素。
其中，所述高斯正态分布曲线为Gcenter,sigma(V)，表示最大值为中心点(center)位置，标准差为sigma的高斯曲线，其中V表示一个像素的亮度值，V的取值范围是0至255，且为正整数。本实施例可以通过高斯曲线来表示所述第一对应关系，具体地，如图4a所示，示出了一个像素的第三帧权重融合曲线，该曲线表示所述第一对应关系。
当亮度值V≤a时，a为第一阈值，所述第一阈值为高斯曲线的中心(center_base)，第三帧为base帧，则该base帧的权重值为W_base(V)＝Gcenter_base，sigma_base(a)，该权重值为一常量。
当亮度值V＞a时，则该base帧的权重值为W_base(V)＝Gcenter_base，sigma_base(V)。
同理地，对于目标第二帧图像，确定该目标第二帧图像中每个像素的权重值的方法与确定第三帧图像中每个像素的权重值的方法相似。具体地，如图4b所示，一个像素的目的第二帧权重融合曲线，该曲线表示第二对应关系，所述第二对应关系为目标第二帧图像中的一个像素的亮度值与权重值之间的对应关系，该对应关系也可以通过高斯曲线Gcenter,sigma(V)来表示。
其中，当亮度值V≤b时，b为第二阈值，所述第二阈值为高斯曲线的中心(center_short)，所述目标第二帧图像为超短帧，该超短帧的权重值为W_short(V)＝Gcenter_short，sigma_short(V)。
当亮度值V＞b时，该超短帧的权重值为W_short(V)＝Gcenter_short，sigma_short(b)，该权重值为一常量。
其中，亮度值V的取值范围是0至255。另外，可选的，所述第一阈值a小于第二阈值b。
可选的，在第三帧图像中，每个像素所对应的权重值为第一权重值；在目的第二帧图像中，每个像素所对应的权重值为第二权重值。
在曝光融合时会出现亮度反转的现象，或称伪像(artifacts)，所述亮度反转是指在进行图像融合时，将图像中未发生偏色的区域也进行权重融合，导致这部分未偏色的区域亮度变暗。产生亮度反转的原因是：图像融合过程中正常的高亮区域和发生偏色的高亮区域(比如灯牌)在HSV的V通道上处于同一个亮度范围，所以将目标第二帧图像融合到所述第三帧图像时会误伤未发生偏色的高亮区域。为了避免融合过程中产生亮度反转现象，需要对偏色区域上的第一权重值进行调整。
具体地，在本实施例的一种可能的实施方式中，在根据第一对应关系确定每个像素的第一权重值之后，所述方法还包括：自适应地调整第一权重值。进一步地，包括：判断每个第一权重值所对应的像素点是否位于偏色区域；如果是，则减小所述第一权重值的大小至第二权重值。如果否，则保持该第一权重值。
例如，以第三帧图像上的任一像素点为例，设该像素点位置坐标表示为(x,y)。判断该像素点(x,y)是否位于所述偏色区域包括：
如果第一权重值所对应的像素点(x,y)的亮度值大于第一阈值a，且所述像素点(x,y)的色调H位于第一颜色区间内；和，如果所述像素点(x,y)在所述目标第二帧图像上的亮度值大于第二阈值c，且所述像素点(x,y)的色调H位于第二颜色区间内，则所述像素点(x,y)位于所述第三帧图像中偏色区域内。否则，确定该像素点(x,y)不在所述偏色区域内。
本实施例中，通过颜色信息(色调H和亮度V)能够准确地确定出图像中的偏色区域，从而为后续对偏色区域的所有权重值进行调整做准备。
在确定所有位于偏色区域的像素位置之后，方法还包括：对所述偏色区域的每个像素的权重值进行调整，具体包括：根据所述第一对应关系确定像素点(x,y)的第一权重值为W，则将该第一权重值W减小为W′，W′＝α×W，且0＜α＜1，α为第一系数，W′为下调后的第一权重值。其中，α可以为固定值，也可以根据高斯权重曲线来设置取值，本实施例对此不进行限制。
本实施例通过对偏色区域的所有权重值进行调整，降低位于偏色区域的所有像素的权重值，间接增加了第二权重值的比例，从而在利用目标第二帧图像的第二权重值进行权重加权平均时可避免亮度反转现象的发生。
需要说明的是，所述第一颜色区间为橘黄色区间，所述第二颜色区间为红色区间。本实施例所述的第一颜色区间或第二颜色区间是指HSV(Hue,Saturation,Value)模型中的色调(H)，H表示色相或色调，S表示饱和度，V表示亮度，并且V的取值范围为0到255，V为正整数。其中，色调H可通过角度来度量，取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，橙色区间为22°～50°,黄色区间为52°～68°，所以本实施例中所述橙黄色区间为22°～68°；所述红色区间为0°～20°和312°～360°，均包括端值。
对于第三帧图像的每个像素，先将该图像从YUV域转换到RGB格式，然后再将RGB格式转换成HSV格式，最后利用HSV格式确定所述第三帧图像的权重图。本实施例中，根据每个像素的亮度信息(即亮度V)来确定各自对应的权重值；根据每个像素的色调H来判断该像素是否发生偏色。两者都确定之后生成所述第三帧图像的权重图，并在YUV域的每个通道上进行融合。在融合过程中，UV通道上融合的像素个数与Y通道可能不同。
一种融合方式是，对所述权重图进行等比例下采样，例如，设置UV像素个数分别是Y的四分之一，长和宽均是Y的二分之一，则生成的UV的权重图也相应的下采样为Y的权重图的长宽二分之一。融合完之后再进行重建图像，具体过程如下：在上述步骤40中，对第三帧图像和目标第二帧图像进行融合得到第四帧图像的过程，如图5所示，具体包括：
步骤501：将所述第三帧图像和所述目标第二帧图像的每个像素的权重值，得到自适应的所述第三帧图像的第一权重参数和所述目标第二帧图像的第二权重参数。具体地，该步骤中包括自适应权重计算。
所述第一权重参数包括所述第三帧图像中各个像素的权重值，所述第二权重参数包括所述目标第二帧图像中各个像素的权重值。
步骤502：根据所述第一权重参数和所述第二权重参数分别得到图像金字塔融合的第一权重曲线和第二权值曲线。具体地，该步骤中包括自适应权重计算。
应理解，所述自适应权重计算的过程包括至少一次对两帧图像(目标第二帧图像和第三帧图像)中各个权重值的计算和调整，以使待融合的目标第二帧图像的像素能够补充第三帧图像中的偏色区域，具体地，计算权重值和调整过程详见上述方法步骤40，此处不再赘述。
步骤503：分别利用所述第一权重曲线和所述第二权值曲线构建的高斯金字塔和拉普拉斯金字塔，对所述第三帧图像和所述目标第二帧图像进行融合，得到所述第四帧图像。
其中，图像金字塔主要用于图像的分解，是一种以多分辨率来解释图像的有效但概念简单的结构。具体地，图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。所述图像金字塔的底部是待处理图像的高分辨率表示，顶部是低分辨率的近似。其中层级越高，则图像越小，分辨率越低。
本实施例中采用高斯金字塔和拉普拉斯金字塔来进行图像处理。其中，高斯金字塔(Gaussianpyramid)，用于向下采样，是主要的图像金字塔。拉普拉斯金字塔(Laplacianpyramid)，用于从金字塔低层图像重建上层未采样图像，在数字图像处理中也即是预测残差，可以对图像进行最大程度的还原，配合高斯金字塔一起使用。
具体地，根据高斯金字塔和拉普拉斯金字塔来对所述第三帧图像和所述目标第二帧图像融合的过程，可以参加现有的图像融合方法，比如图像金字塔融合算法，本实施例对具体的融合过程不做详细描述。
实施例提供的方法，在保持图像正常环境曝光的情况下，通过第一权重曲线和第二权重曲线对第三帧图像和目标第二帧图像进行融合，自适应权重计算得到的权重值能够有效地矫正夜景拍摄时由于高亮区域过曝产生的偏色，从而提高一般用户夜景下拍摄的成像质量，使普通用户拍摄的图像更还原真实的景色。
此外，本申请上述实施例所述的方法，还可以通过软件模块来实现相应的功能。如图6所示提供了一种图像处理装置，该装置包括：获取单元610和处理单元620，此外还可以包括其它功能模块或单元，比如发送单元、存储单元等。
具体地，在一示例中，获取单元610用于获取在同一场景下拍摄多帧图像，所述多帧图像包括至少一个第一帧图像和至少一个第二帧图像，且每个所述第二帧图像的曝光度小于所述第一帧图像的曝光度；处理单元620用于对所述至少一个第一帧图像进行降噪融合生成高动态的第三帧图像，以及，在所述至少一个第二帧图像中选择一个作为目标第二帧图像；确定所述第三帧图像中每个像素的权重值和所述目标第二帧图像中每个像素的权重值，以及，根据所述第三帧图像和所述目标第二帧图像的每个像素的权重值，对所述第三帧图像和所述目标第二帧图像进行融合得到第四帧图像。
其中在所述第三帧图像中偏色区域的像素的权重值小于所述目标第二帧图像中相同区域的像素的权重值。
可选的，在本实施例的一种可能的具体的实施方式中，处理单元620具体用于根据所述第三帧图像中每个像素的亮度值，以及每个所述亮度值与权重值之间的第一对应关系，确定所述第三帧图像中每个像素的权重值。
其中，所述第一对应关系为：当第一像素的亮度值小于等于第一阈值时，所述第一像素的权重值由高斯正态分布曲线确定；当所述第一像素的亮度值大于第一阈值时，所述第一像素的权重值为一常量；所述常量是所述高斯正态分布曲线中的最大概率值，所述第一像素为所述第三帧图像中的任一点的像素。
同理地，处理单元620还用于根据所述目标第二帧图像中每个像素的亮度值，以及每个所述亮度值与权重值之间的第二对应关系，确定所述目标第二帧图像中每个像素的权重值。其中，所述第二对应关系为：当第二像素的亮度值小于等于第二阈值时，所述第二像素的权重值由高斯正态分布曲线确定；当所述第二像素的亮度值大于第二阈值时，所述第二像素的权重值为一常量；所述常量是所述高斯正态分布曲线中的最大概率值，所述第二像素为所述目标第二帧图像中的任一点的像素。
可选的，在本实施例的另一种可能的具体的实施方式中，处理单元620具体用于根据所述第一对应关系确定每个所述亮度值所对应的第一权重值；如果所述第一权重值所对应的像素点位于所述偏色区域，则减小所述第一权重值的大小至第二权重值。
可选的，在本实施例的又一种可能的具体的实施方式中，所述像素点位置坐标表示为(x,y)，所述处理单元620还用于判断所述第一权重值所对应的像素点(x,y)是否位于所述偏色区域；如果第一权重值所对应的像素点(x,y)的亮度值大于所述第一阈值，且所述像素点(x,y)的色调位于第一颜色区间内；和，如果所述像素点(x,y)在所述目标第二帧图像上的亮度值大于第二阈值，且所述像素点(x,y)的色调位于第二颜色区间内，则所述像素点(x,y)位于所述第三帧图像中偏色区域内。
可选的，在本实施例的又一种可能的具体的实施方式中，处理单元620具体用于根据筛选策略从所述至少一个第二帧图像中选择一个作为所述目标第二帧图像。
所述筛选策略为：如果所述至少两个第二帧图像的高光区域的颜色一致，则选取所述高亮区域的亮度值最大的一个第二帧图像作为所述目标第二帧图像；如果所述至少两个第二帧图像的高光区域的颜色不一致，则选取所述高亮区域的亮度值最小的一个第二帧图像作为所述目标第二帧图像。
可选的，在本实施例的又一种可能的具体的实施方式中，处理单元620具体用于将所述第三帧图像和所述目标第二帧图像的每个像素的权重值，得到自适应的所述第三帧图像的第一权重参数和所述目标第二帧图像的第二权重参数；根据所述第一权重参数和所述第二权重参数分别得到图像金字塔融合的第一权重曲线和第二权值曲线；分别利用所述第一权重曲线和所述第二权值曲线构建的高斯金字塔和拉普拉斯金字塔，对所述第三帧图像和所述目标第二帧图像进行融合，得到所述第四帧图像。
本实施例中，通过在成像阶段使用不同曝光度获取具有多级曝光量，并包含真实颜色的多个第二帧图像，并根据选帧策略选出颜色正常的目标第二帧图像，为了与第三帧图像融合做准备。在图像后处理阶段利用长短曝光多帧融合方法获得更高的动态范围和图像高亮区域更真实的颜色，以及利用颜色信息精准确定并生成自适应的权值曲线，以便能够有效地矫正夜景拍摄时产生的偏色区域，从而提高一般用户夜景下拍摄的成像质量，提升用户体验。
另外，本申请实施例还提供了一种通信装置，该通信装置可以是上述实施例中所涉及的图像处理装置的另一种结构，用于实现前述实施例所述的图像处理方法。
如图7所示，通信装置包括收发器710、处理器720和存储器730。此外，还可以包括其他器件或模块，比如摄像头、传感器、触摸屏等。其中，存储器730与处理器720耦合，存储器730中存储该通信装置必要的计算机程序。
例如，在一个实施例中，收发器710被配置为向处理器720发送在同一场景下拍摄多帧图像，所述多帧图像包括至少一个第一帧图像和至少一个第二帧图像，且每个所述第二帧图像的曝光度小于所述第一帧图像的曝光度。
处理器720用于对所述至少一个第一帧图像进行降噪融合生成高动态的第三帧图像，以及，在所述至少一个第二帧图像中选择一个作为目标第二帧图像；确定所述第三帧图像中每个像素的权重值和所述目标第二帧图像中每个像素的权重值，以及，根据所述第三帧图像和所述目标第二帧图像的每个像素的权重值，对所述第三帧图像和所述目标第二帧图像进行融合得到第四帧图像。
另外，处理器720具体用于根据上述实施例中关于图2描述的方式确定所述第三帧图像中每个像素的权重值。此处不再赘述。
在本实施例的一种具体的实施方式中，处理器720具体用于根据所述第一对应关系确定每个所述亮度值所对应的第一权重值；如果所述第一权重值所对应的像素点位于所述偏色区域，则减小所述第一权重值的大小至第二权重值。
在本实施例的另一种具体的实施方式中，所述像素点位置坐标表示为(x,y)，处理器720还用于判断所述第一权重值所对应的像素点(x,y)是否位于所述偏色区域；如果第一权重值所对应的像素点(x,y)的亮度值大于所述第一阈值，且所述像素点(x,y)的色调位于第一颜色区间内；和，如果所述像素点(x,y)在所述目标第二帧图像上的亮度值大于第二阈值，且所述像素点(x,y)的色调位于第二颜色区间内，则所述像素点(x,y)位于所述第三帧图像中偏色区域内。
在本实施例的又一种具体的实施方式中，处理器720具体还用于根据筛选策略从所述至少一个第二帧图像中选择一个作为所述目标第二帧图像。
在本实施例的又一种具体的实施方式中，处理器720具体还用于根据上述实施例中关于图5描述的方式确定对所述第三帧图像和所述目标第二帧图像进行融合得到第四帧图像。
具体地上述处理器720的实现过程参见上述实施例以及附图1、图2、图3和图5的描述，本实施例此处不再赘述。
在具体的硬件实现中，如图7所示，收发器710用于获取拍摄的至少一帧图像，以及还用于与网络中的其他设备(比如服务器等)进行数据传输。进一步地，收发器710可以包括接收机7101、发射机7102与天线7103等部件，或者还可以包括收发模块，比如蓝牙模块、基带(base band)模块等通信模块，射频模块等，并且可以支持直接内存存取(direct memoryaccess)。
处理器720为通信装置的控制中心，利用各种接口和线路连接整个通信装置的各个部分，通过运行或执行存储在存储器730内的软件程序和/或单元，以及调用存储在存储器730内的数据，以执行通信装置的各种功能和各种功能和/或图像处理。
进一步地，处理器720可以由集成电路(Integrated Circuit，IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器可以仅包括中央处理器(Central Processing Unit，CPU)，也可以是GPU、数字信号处理器(Digital Signal Processor，DSP)、及收发器中的控制芯片(例如基带芯片)的组合。处理器还可以进一步包括硬件芯片。所述硬件芯片可以是专用集成电路(applicationspecific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logicdevice，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。
存储器730可以包括易失性存储器(volatile memory)，例如随机存取内存(Random Access Memory，RAM)；还可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，硬盘(Hard Sisk Drive，HDD)或固态硬盘(Solid-StateDrive，SSD)；存储器还可以包括上述种类的存储器的组合。所述存储器中可以存储有程序或代码，处理器802通过执行所述程序或代码可以实现所述通信设备的功能。
在上述实施例中，可以全部或部分通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现，本实施例不予限制。例如，在前述图6所示装置实施例中的获取单元610的功能可以由收发器710来实现，或者由处理器720控制的收发器710实现；所述处理单元620所要实现的功能则可以由处理器720实现，所述存储单元的功能可以由存储器730实现。
可选的，所述通信装置为一种终端设备，比如UE、手机终端。
本申请还提供一种计算机程序产品，所述计算机程序产品包括一个或多个计算机程序指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请上述各个实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
所述计算机程序指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网络节点、计算机、服务器或数据中心通过有线或无线方式向另一个站点、计算机或服务器进行传输。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于图像处理装置和通信装置的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
另外，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (14)

1.一种图像处理方法，其特征在于，所述方法包括：
获取在同一场景下拍摄多帧图像，所述多帧图像包括至少一个第一帧图像和至少一个第二帧图像，且每个所述第二帧图像的曝光度小于所述第一帧图像的曝光度；
对所述至少一个第一帧图像进行降噪融合生成高动态的第三帧图像，以及，在所述至少一个第二帧图像中选择一个作为目标第二帧图像；
确定所述第三帧图像中每个像素的权重值和所述目标第二帧图像中每个像素的权重值，其中在所述第三帧图像中偏色区域的像素的权重值小于所述目标第二帧图像中相同区域的像素的权重值；
根据所述第三帧图像和所述目标第二帧图像的每个像素的权重值，对所述第三帧图像和所述目标第二帧图像进行融合得到第四帧图像。
2.根据权利要求1所述的方法，其特征在于，确定所述第三帧图像中每个像素的权重值，包括：
根据所述第三帧图像中每个像素的亮度值，以及每个所述亮度值与权重值之间的第一对应关系，确定所述第三帧图像中每个像素的权重值；
其中，所述第一对应关系为：当第一像素的亮度值小于等于第一阈值时，所述第一像素的权重值由高斯正态分布曲线确定；当所述第一像素的亮度值大于第一阈值时，所述第一像素的权重值为一常量；
所述常量是所述高斯正态分布曲线中的最大概率值，所述第一像素为所述第三帧图像中的任一点的像素。
3.根据权利要求2所述的方法，其特征在于，确定所述第三帧图像中每个像素的权重值，包括：
根据所述第一对应关系确定每个所述亮度值所对应的第一权重值；
如果所述第一权重值所对应的像素点位于所述偏色区域，则减小所述第一权重值的大小至第二权重值。
4.根据权利要求3所述的方法，其特征在于，所述像素点位置坐标表示为(x,y)，
所述方法还包括：判断所述第一权重值所对应的像素点(x,y)是否位于所述偏色区域；
如果第一权重值所对应的像素点(x,y)的亮度值大于所述第一阈值，且所述像素点(x,y)的色调位于第一颜色区间内；和，
如果所述像素点(x,y)在所述目标第二帧图像上的亮度值大于第二阈值，且所述像素点(x,y)的色调位于第二颜色区间内，则所述像素点(x,y)位于所述第三帧图像中偏色区域内。
5.根据权利要求1-4任一项所述的方法，其特征在于，在所述至少一个第二帧图像中选择一个作为目标第二帧图像，包括：
根据筛选策略从所述至少一个第二帧图像中选择一个作为所述目标第二帧图像；
所述筛选策略为：
如果所述至少两个第二帧图像的高光区域的颜色一致，则选取所述高亮区域的亮度值最大的一个第二帧图像作为所述目标第二帧图像；
如果所述至少两个第二帧图像的高光区域的颜色不一致，则选取所述高亮区域的亮度值最小的一个第二帧图像作为所述目标第二帧图像。
6.根据权利要求1-5任一项所述的方法，其特征在于，根据所述第三帧图像和所述目标第二帧图像的每个像素的权重值，对所述第三帧图像和所述目标第二帧图像进行融合得到第四帧图像，包括：
将所述第三帧图像和所述目标第二帧图像的每个像素的权重值，得到所述第三帧图像的第一权重参数和所述目标第二帧图像的第二权重参数；
根据所述第一权重参数和所述第二权重参数分别得到图像金字塔融合的第一权重曲线和第二权值曲线；
分别利用所述第一权重曲线和所述第二权值曲线构建的高斯金字塔和拉普拉斯金字塔，对所述第三帧图像和所述目标第二帧图像进行融合，得到所述第四帧图像。
7.一种图像处理装置，其特征在于，所述装置包括：
获取单元，用于获取在同一场景下拍摄多帧图像，所述多帧图像包括至少一个第一帧图像和至少一个第二帧图像，且每个所述第二帧图像的曝光度小于所述第一帧图像的曝光度；
处理单元，用于对所述至少一个第一帧图像进行降噪融合生成高动态的第三帧图像，以及，在所述至少一个第二帧图像中选择一个作为目标第二帧图像；确定所述第三帧图像中每个像素的权重值和所述目标第二帧图像中每个像素的权重值，以及，根据所述第三帧图像和所述目标第二帧图像的每个像素的权重值，对所述第三帧图像和所述目标第二帧图像进行融合得到第四帧图像；
其中在所述第三帧图像中偏色区域的像素的权重值小于所述目标第二帧图像中相同区域的像素的权重值。
8.根据权利要求7所述的装置，其特征在于，
所述处理单元，具体用于根据所述第三帧图像中每个像素的亮度值，以及每个所述亮度值与权重值之间的第一对应关系，确定所述第三帧图像中每个像素的权重值；
其中，所述第一对应关系为：当第一像素的亮度值小于等于第一阈值时，所述第一像素的权重值由高斯正态分布曲线确定；当所述第一像素的亮度值大于第一阈值时，所述第一像素的权重值为一常量；所述常量是所述高斯正态分布曲线中的最大概率值，所述第一像素为所述第三帧图像中的任一点的像素。
9.根据权利要求8所述的装置，其特征在于，
所述处理单元，具体用于根据所述第一对应关系确定每个所述亮度值所对应的第一权重值；如果所述第一权重值所对应的像素点位于所述偏色区域，则减小所述第一权重值的大小至第二权重值。
10.根据权利要求9所述的装置，其特征在于，所述像素点位置坐标表示为(x,y)，
所述处理单元，还用于判断所述第一权重值所对应的像素点(x,y)是否位于所述偏色区域；如果第一权重值所对应的像素点(x,y)的亮度值大于所述第一阈值，且所述像素点(x,y)的色调位于第一颜色区间内；和，如果所述像素点(x,y)在所述目标第二帧图像上的亮度值大于第二阈值，且所述像素点(x,y)的色调位于第二颜色区间内，则所述像素点(x,y)位于所述第三帧图像中偏色区域内。
11.根据权利要求7-10任一项所述的装置，其特征在于，
所述处理单元，具体用于根据筛选策略从所述至少一个第二帧图像中选择一个作为所述目标第二帧图像；
所述筛选策略为：如果所述至少两个第二帧图像的高光区域的颜色一致，则选取所述高亮区域的亮度值最大的一个第二帧图像作为所述目标第二帧图像；如果所述至少两个第二帧图像的高光区域的颜色不一致，则选取所述高亮区域的亮度值最小的一个第二帧图像作为所述目标第二帧图像。
12.根据权利要求7-11任一项所述的装置，其特征在于，
所述处理单元，具体用于将所述第三帧图像和所述目标第二帧图像的每个像素的权重值，得到所述第三帧图像的第一权重参数和所述目标第二帧图像的第二权重参数；根据所述第一权重参数和所述第二权重参数分别得到图像金字塔融合的第一权重曲线和第二权值曲线；分别利用所述第一权重曲线和所述第二权值曲线构建的高斯金字塔和拉普拉斯金字塔，对所述第三帧图像和所述目标第二帧图像进行融合，得到所述第四帧图像。
13.一种通信装置，包括处理器，所述处理器与存储器耦合，其特征在于，
所述存储器，用于存储指令；
所述处理器，用于执行所述存储器中的指令，使得所述通信装置执行如权利要求1至6中任一项所述的方法。
14.一种计算机可读存储介质，所述存储介质中存储有指令，其特征在于，
当所述指令被运行时，实现如权利要求1至6中任一项所述的方法。
CN201910877593.2A 2019-09-17 2019-09-17 一种图像处理方法和装置 Active CN112532855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910877593.2A CN112532855B (zh) 2019-09-17 2019-09-17 一种图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910877593.2A CN112532855B (zh) 2019-09-17 2019-09-17 一种图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN112532855A true CN112532855A (zh) 2021-03-19
CN112532855B CN112532855B (zh) 2022-04-29

Family

ID=74974792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910877593.2A Active CN112532855B (zh) 2019-09-17 2019-09-17 一种图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN112532855B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191935A (zh) * 2021-04-30 2021-07-30 华中科技大学 一种用于高斯金字塔构建的可重构硬件加速方法与系统
CN113284065A (zh) * 2021-05-26 2021-08-20 Oppo广东移动通信有限公司 视频图像的去噪方法、装置、电子设备和可读存储介质
CN113487497A (zh) * 2021-06-18 2021-10-08 维沃移动通信有限公司 图像处理方法、装置和电子设备
CN113610861A (zh) * 2021-06-21 2021-11-05 重庆海尔制冷电器有限公司 制冷设备内食材图像处理方法、制冷设备及可读存储介质
CN115314627A (zh) * 2021-05-08 2022-11-08 杭州海康威视数字技术股份有限公司 一种图像处理方法、系统及摄像机
CN115361533A (zh) * 2022-08-19 2022-11-18 深圳市汇顶科技股份有限公司 图像数据处理方法和电子设备
CN115767290A (zh) * 2022-09-28 2023-03-07 荣耀终端有限公司 图像处理方法和电子设备
CN115802183A (zh) * 2021-09-10 2023-03-14 荣耀终端有限公司 图像处理方法及其相关设备
CN117440253A (zh) * 2023-12-22 2024-01-23 荣耀终端有限公司 图像处理方法和相关装置
CN117710264A (zh) * 2023-07-31 2024-03-15 荣耀终端有限公司 图像的动态范围校准方法和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013031174A (ja) * 2011-07-28 2013-02-07 Samsung Electronics Co Ltd 多重露出フュージョン基盤でゴーストブラーを除去したｈｄｒ映像生成装置及び方法
CN110087003A (zh) * 2019-04-30 2019-08-02 深圳市华星光电技术有限公司 多曝光图像融合方法
CN110166711A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN110166709A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 夜景图像处理方法、装置、电子设备以及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013031174A (ja) * 2011-07-28 2013-02-07 Samsung Electronics Co Ltd 多重露出フュージョン基盤でゴーストブラーを除去したｈｄｒ映像生成装置及び方法
CN110087003A (zh) * 2019-04-30 2019-08-02 深圳市华星光电技术有限公司 多曝光图像融合方法
CN110166711A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN110166709A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 夜景图像处理方法、装置、电子设备以及存储介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191935A (zh) * 2021-04-30 2021-07-30 华中科技大学 一种用于高斯金字塔构建的可重构硬件加速方法与系统
CN115314627A (zh) * 2021-05-08 2022-11-08 杭州海康威视数字技术股份有限公司 一种图像处理方法、系统及摄像机
CN115314627B (zh) * 2021-05-08 2024-03-01 杭州海康威视数字技术股份有限公司 一种图像处理方法、系统及摄像机
CN113284065A (zh) * 2021-05-26 2021-08-20 Oppo广东移动通信有限公司 视频图像的去噪方法、装置、电子设备和可读存储介质
CN113487497A (zh) * 2021-06-18 2021-10-08 维沃移动通信有限公司 图像处理方法、装置和电子设备
CN113610861B (zh) * 2021-06-21 2023-11-14 重庆海尔制冷电器有限公司 制冷设备内食材图像处理方法、制冷设备及可读存储介质
CN113610861A (zh) * 2021-06-21 2021-11-05 重庆海尔制冷电器有限公司 制冷设备内食材图像处理方法、制冷设备及可读存储介质
CN115802183A (zh) * 2021-09-10 2023-03-14 荣耀终端有限公司 图像处理方法及其相关设备
CN115802183B (zh) * 2021-09-10 2023-10-20 荣耀终端有限公司 图像处理方法及其相关设备
CN115361533A (zh) * 2022-08-19 2022-11-18 深圳市汇顶科技股份有限公司 图像数据处理方法和电子设备
CN115361533B (zh) * 2022-08-19 2023-04-18 深圳市汇顶科技股份有限公司 图像数据处理方法和电子设备
CN115767290A (zh) * 2022-09-28 2023-03-07 荣耀终端有限公司 图像处理方法和电子设备
CN115767290B (zh) * 2022-09-28 2023-09-29 荣耀终端有限公司 图像处理方法和电子设备
CN117710264A (zh) * 2023-07-31 2024-03-15 荣耀终端有限公司 图像的动态范围校准方法和电子设备
CN117440253A (zh) * 2023-12-22 2024-01-23 荣耀终端有限公司 图像处理方法和相关装置

Also Published As

Publication number Publication date
CN112532855B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN112532855B (zh) 一种图像处理方法和装置
US11849224B2 (en) Global tone mapping
CN108353125B (zh) 彩色滤波阵列缩放器
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
RU2542928C2 (ru) Система и способ для обработки данных изображения с использованием процессора сигнала изображения, имеющего логику окончательной обработки
EP2368226B1 (en) High dynamic range image combining
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
US20120008005A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon
US8018504B2 (en) Reduction of position dependent noise in a digital image
US10521891B2 (en) Image processing apparatus, system, image processing method, and non-transitory recording medium
CN114693580B (zh) 图像处理方法及其相关设备
US8189066B2 (en) Image processing apparatus, image processing method, and computer-readable medium
WO2016086489A1 (zh) 图像降噪的方法及其装置
WO2019104047A1 (en) Global tone mapping
CN114820405A (zh) 图像融合方法、装置、设备及计算机可读存储介质
US9860456B1 (en) Bayer-clear image fusion for dual camera
JP2018112936A (ja) Ｈｄｒ画像処理装置および方法
JP5932392B2 (ja) 画像処理装置および画像処理方法
US9928575B2 (en) Method and system for processing a multi-channel image
WO2016167140A1 (ja) 撮像装置、撮像方法、並びにプログラム
WO2016200480A1 (en) Color filter array scaler
US11153467B2 (en) Image processing
JP7263018B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20240114251A1 (en) Server device and program
WO2015079481A1 (ja) 撮像方法及び撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant