CN111899197B

CN111899197B - 一种图像增亮去噪方法、装置、移动终端和存储介质

Info

Publication number: CN111899197B
Application number: CN202010780018.3A
Authority: CN
Inventors: 杨敏
Original assignee: Guangzhou Baiguoyuan Information Technology Co Ltd
Current assignee: Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date: 2020-08-05
Filing date: 2020-08-05
Publication date: 2024-04-30
Anticipated expiration: 2040-08-05
Also published as: CN111899197A

Abstract

本发明实施例公开了一种图像增亮去噪方法、装置、移动终端和存储介质，该方法包括：采集原始图像数据，原始图像数据中具有表示亮度的原始亮度图像数据；在降低对比度的条件下，对原始亮度图像数据进行滤波处理，获得原始光照图像数据；提高原始光照图像数据的亮度，获得目标光照图像数据；若原始图像数据为原始光照图像数据与反射图像数据之间的叠加，则将目标光照图像数据与反射图像数据合成为特征图像数据；参考目标光照图像数据，对特征图像数据进行去噪处理，获得目标图像数据。将增亮与去噪融合在同一个框架中，优化了整个处理流程，大大减少了计算量，降低占用的计算资源，在性能受限的情况下，可以实现实时性的超暗光增亮、去噪。

Description

一种图像增亮去噪方法、装置、移动终端和存储介质

技术领域

本发明实施例涉及计算机视觉的技术，尤其涉及一种图像增亮去噪方法、装置、移动终端和存储介质。

背景技术

随着移动互联网与移动终端的迅速发展，移动终端中的视频数据已成为人类活动中常用的信息载体，如直播、视频通话等，它们包含着物体的大量信息，成为人们获取外界原始信息的途径之一。

因传感器、传输、存储等因素，目前采集的视频数据多会出现噪声，在超暗光的环境下噪声尤其明显，使得用户主观对视频数据的质量评价下降。

其中，噪声可以理解为妨碍人们感觉器官对所接收的信源信息理解的因素，表现为视频数据中像素点的亮度或色彩随机变动。

并且，视频数据中的图像数据会呈现对比度差和可见度低等问题，进而会降低后续的图像处理的性能，如美颜、人脸检测，最后导致视频数据的质量严重下降。

由于超暗光的环境对于视频数据影响较大，目前处理方式是先去噪、再增亮，先去噪的原因是超暗光的环境下噪声明显，提亮后噪声会加重对画质的影响；增亮的过程主要是改善暗光视频数据对比度差的问题。

但是，去噪、增亮均是独立的过程，计算复杂度过大，性能开销较高，难以在诸如移动终端等性能受限的设备下部署。

发明内容

本发明实施例提供一种图像增亮去噪方法、装置、移动终端和存储介质，以解决独立去噪、增亮计算复杂度过大，性能开销较高的问题。

第一方面，本发明实施例提供了一种图像增亮去噪方法，包括：

采集原始图像数据，所述原始图像数据中具有表示亮度的原始亮度图像数据；

在降低对比度的条件下，对所述原始亮度图像数据进行滤波处理，获得原始光照图像数据；

提高所述原始光照图像数据的亮度，获得目标光照图像数据；

若所述原始图像数据为所述原始光照图像数据与反射图像数据之间的叠加，则将所述目标光照图像数据与所述反射图像数据合成为特征图像数据；

参考所述目标光照图像数据，对所述特征图像数据进行去噪处理，获得目标图像数据。

第二方面，本发明实施例还提供了一种图像增亮去噪装置，包括：

原始图像数据采集模块，用于采集原始图像数据，所述原始图像数据中具有表示亮度的原始亮度图像数据；

原始光照图像数据生成模块，用于在降低对比度的条件下，对所述原始亮度图像数据进行滤波处理，获得原始光照图像数据；

目标光照图像数据生成模块，用于提高所述原始光照图像数据的亮度，获得目标光照图像数据；

图像增亮模块，用于若所述原始图像数据为所述原始光照图像数据与反射图像数据之间的叠加，则将所述目标光照图像数据与所述反射图像数据合成为特征图像数据；

图像去噪模块，用于参考所述目标光照图像数据，对所述特征图像数据进行去噪处理，获得目标图像数据。

第三方面，本发明实施例还提供了一种移动终端，所述移动终端包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的图像增亮去噪方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的图像增亮去噪方法。

在本实施例中，采集原始图像数据，原始图像数据中具有表示亮度的原始亮度图像数据，在降低对比度的条件下，对原始亮度图像数据进行滤波处理，获得原始光照图像数据，提高原始光照图像数据的亮度，获得目标光照图像数据，若原始图像数据为原始光照图像数据与反射图像数据之间的叠加，则将目标光照图像数据与反射图像数据合成为特征图像数据，参考目标光照图像数据，对特征图像数据进行去噪处理，获得目标图像数据。通过对原始亮度图像数据进行滤波生成光照图像数据，计算量少，且质量较好，光照图像数据不仅可用于Retinex模型增亮，从而保证Retinex模型对原始图像数据的增亮效果，即改善图像数据的亮度与对比度，还可用于去噪处理，改善噪声对增亮的负向影响，将增亮与去噪融合在同一个框架中，优化了整个处理流程，增亮与去噪可复用光照图像数据，合并、简化部分操作，大大减少了计算量，降低占用的计算资源，可以保证计算速度，从而兼顾了增亮、去噪的性能与图像数据的质量，从而确保视频数据的质量，在诸如移动终端等性能受限的情况下，可以实现实时性的超暗光增亮、去噪，并且，图像数据、视频数据在增亮之后，为后续的图像处理提供一个较高的输入，从而保证后续的图像处理的质量。

附图说明

图1为本发明实施例一提供的一种图像增亮去噪方法的流程图；

图2为本发明实施例一提供的一种图像增亮去噪的架构示意图；

图3为本发明实施例一提供的一种Retinex的原理图；

图4是本发明实施例二提供的一种图像增亮去噪方法的流程图；

图5为本发明实施例二提供的一种图像增亮去噪的架构示意图；

图6为本发明实施例二提供的一种对数图；

图7是本发明实施例二提供的一种图像增亮去噪的效果对比图；

图8为本发明实施例三提供的一种图像增亮去噪装置的结构示意图；

图9为本发明实施例四提供的一种移动终端的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种图像增亮去噪方法的流程图，本实施例可适用于整合去噪、增亮至同一框架下的情况，该方法可以由图像增亮去噪装置来执行，该图像增亮去噪装置可以由软件和/或硬件实现，可配置在移动终端中，例如，手机、平板电脑、智能穿戴设备(如智能手表、智能眼镜等)，该方法具体包括如下步骤：

S101、采集原始图像数据。

在实际应用中，若在超暗光的环境中生成图像数据，图像数据的亮度较低，则采集这些图像数据等待增亮去噪，该图像数据可以称之为原始图像数据。

所谓超暗光的环境，可以指光线少(如光照在0-50lux)的环境，如夜晚的室外、透光较差的室内，等等。

在一种情况中，原始图像数据为在实时性的业务场景中所生成、传输或播放的视频数据中的图像数据。

一般情况下，在生成该视频数据的移动终端中对该视频数据进行去噪、增亮，此时，如图2所示，在S201中，开启移动终端的摄像头，在S202中，摄像头采集视频数据，在S203中，从视频数据中提取原始图像数据。

其中，S202中的视频数据为原始的视频数据，未经过其他图像处理，其原始图像数据处于第一颜色空间，具有表示亮度的原始亮度图像数据，还具有表示色度的原始色度图像数据，例如，视频数据为YUV格式，Y表示亮度(Luminance或Luma)，即灰度值，UV表示色度(Chrominance或Chroma)，即Y通道下的像素点组成原始亮度图像数据，U通道、V通道下的像素点组成原始色度图像数据。

当然，除了YUV格式之外，视频数据还可以为其他格式的数据，如HSL(H表示色相、S表示饱和度、L表示亮度)，即L通道下的像素点组成原始亮度图像数据，等等，本实施例对此不加以限制。

此外，除了在生成该视频数据的移动终端中对该视频数据进行增亮去噪之外，也可以在播放该视频数据的移动终端对该视频数据进行增亮去噪，本实施例对此亦不加以限制。

例如，在直播的业务场景中，等待增亮去噪的视频数据可以指用于承载直播内容的视频数据，主播用户所登录的移动终端产生视频数据，以及，将该视频数据通过直播平台分发到各个观众用户所登录的设备进行播放，此时，通常在主播用户所登录的移动终端对该视频数据进行增亮去噪。

又例如，在视频通话的业务场景中，等待增亮去噪的视频数据可以指用于承载通话内容的视频数据，发起通话的用户所登录的移动终端产生视频数据，以及，将该视频数据发送到各个被邀请通话的用户所登录的设备进行播放，此时，通常在发起通话的用户所登录的移动终端对该视频数据进行增亮去噪。

又例如，在视频会议的业务场景中，等待增亮去噪的视频数据可以指用于承载会议内容的视频数据，正在发言的用户所登录的移动终端产生视频数据，以及，将该视频数据发送到各个参与该会议的用户所登录的设备进行播放，此时，通常正在发言的用户所登录的移动终端对该视频数据进行增亮去噪。

除了直播、视频通话、视频会议等对实时性要求的视频数据之外，等待增亮去噪的视频数据也可以指在实时性要求较低的业务场景中所生成的视频数据，如短视频等，本实施例对此不加以限制。

S102、在降低对比度的条件下，对原始亮度图像数据进行滤波处理，获得原始光照图像数据。

在超暗光的环境下拍摄的原始图像数据，整体的亮度低，较难分辨出细节，在本实施例中，降低原始亮度图像数的对比度，即降低亮度的对比度，可以减少高灰度值部分的细节，从而强调低灰度部分。

如图2所示，在S204中，在降低亮度的对比度的情况下，对原始亮度图像数据进行滤波处理，从而保持边缘、降噪平滑，滤波处理之后的图像数据为Retina模型中的原始光照图像数据。

其中，滤波处理可以包括快速导向滤波(fast guide filter，FGF)、双边滤波(Bilateral Filters，BF)、边缘保留滤波(Edge Preserving Filter，EPF)，等等。

需要说明的是，降低亮度的对比度，是为了对原始亮度图像数据进行滤波处理，在完成对原始亮度图像数据进行滤波处理之后，恢复亮度的对比度。

S103、提高原始光照图像数据的亮度，获得目标光照图像数据。

在本实施例中，如图2所示，在S205中，可对原始光照图像数据进行增亮，从而提高原始光照图像数据的亮度，获得目标光照图像数据。

在Retinex模型的架构下，对原始光照图像数据增亮，可以实现在保证颜色真实的情况下，对低亮度的原始图像数据增亮。

S104、若原始图像数据为原始光照图像数据与反射图像数据之间的叠加，则将目标光照图像数据与反射图像数据合成为特征图像数据。

Retinex属于合成词，由Retina(视网膜)和Cortex(大脑皮层)组成，其建立在以下的基础之上：

一、真实世界是无颜色的，所感知的颜色是光与物质的相互作用的结果。

二、每一颜色区域由给定波长的红、绿、蓝三原色构成的。

三、三原色决定了每个单位区域的颜色。

在Retinex理论中，物体的颜色是由物体对长波(红)、中波(绿)和短波(蓝)光线的反射能力决定的，而不是由反射光强度的绝对值决定的，并且物体的色彩不受光照非均性的影响，具有一致性。

即Retinex理论是以色感一致性(颜色恒常性)为基础的，所谓一致性，是指人眼能够在不同亮度下仍能辨认物体本来颜色的能力。

如图3所示，在Retinex理论中，人眼得到的图像数据取决于入射光和物体表面对入射光的反射。先是由入射光照射，经由物体反射进入成像系统，形成所看到的图像数据。该过程中，反射率由物体本身决定，不受入射光影响，可以用如下公式表示：

L＝I·T

其中，L代表被观察或照相机接收到的原始图像数据，I代表环境光的照射分量，即光照图像数据，T表示携带图像细节信息的目标物体的反射分量，即反射图像数据。

在本实施例中，原始光照图像数据I决定了一帧原始图像数据中各个像素点能达到的动态范围，反射图像数据T决定了原始图像数据的内在性质，在确定了原始图像数据L中的原始光照图像数据I之后，如图2所示，在S206中，运行Retinex模型，参照原始光照图像数据，从原始图像数据中分解出反射图像数据，即，从原始图像数据L中抛开原始光照图像数据I的性质，从而分离出物体的本来面貌，即反射图像数据T，消除光照不均的影响。

原始图像数据处于第一颜色空间，而Retinex模型分解反射图像数据通常是在第二颜色空间，因此，可通过指定的转换关系式将原始图像数据从第一颜色空间转换至第二颜色空间。

为使本领域技术人员更好地理解本实施例，在本实施例中，将YUV颜色空间作为第一颜色空间的示例、RGB(R表示红、G表示绿、B表示蓝)颜色空间作为第二颜色空间的示例进行说明。

例如，通过如下转换关系式可以将原始图像数据从YUV颜色空间转换至RGB颜色空间：

R＝Y+1.4075*(V-128)

G＝Y-0.3455*(U-128)-0.7169*(V-128)

B＝Y+1.779*(U-128)

遍历原始图像数据与原始光照图像数据中的每一个像素点，针对同一位置的像素点，分别确定像素点在第二颜色空间表示的原始色彩分量、像素点在第一颜色空间表示的亮度值。

计算原始色彩分量与亮度值之间的比值，作为反射图像数据中像素点表示的反射色彩分量。

例如，反射图像数据中像素点表示的反射色彩分量R＇G＇B＇表示如下：

R＇＝R/Y

G＇＝G/Y

B＇＝B/Y

其中，RGB表示原始图像数据中的原始色彩分量，Y表示亮度值。

在本实施例中，如图2所示，在S207中，运行Retinex模型，合成提高亮度之后的目标光照图像数据与反射图像数据，获得特征图像数据，该过程表示如下：

I″＝I^γ

L＇＝I″·T

其中，I^γ表示对原始光照图像数据I进行增亮，I″表示增亮之后的目标光照图像数据，T表示反射图像数据，L＇表示特征图像数据。

此后，可通过指定的转换关系式将特征图像数据从第二颜色空间转换至第一颜色空间，以便于后续的处理。

例如，通过如下转换关系式可以将特征图像数据从RGB颜色空间转换至YUV颜色空间：

Y＝0.299*R+0.587*G+0.114*B

将特征图像数据转换成RGB等第二颜色空间，可以最大化保证增亮后的特征图像数据不产生色差。

S105、参考目标光照图像数据，对特征图像数据进行去噪处理，获得目标图像数据。

在本实施例中，如图2所示，在S208中，可以应用非深度学习的方法，以目标光照图像数据作为去噪处理的参照，通过滤波等方式对特征图像数据进行去噪处理，去噪处理之后的图像数据为目标图像数据。

进一步而言，在滤波的时候通过引导图像数据保边的操作来对特征图像数据进行保护，具体可以包括如下方式：

1、导向滤波

导向滤波利用引导图像数据I来对输入的特征图像数据P进行滤波，从而得到去噪后的图像数据Q，则导向滤波的数学公式表示为：

其中，i表示像素点，j表示滤波窗口，W_ij(I)表示由引导图像数据I来确定加权平均运算中所采用的权值，该引导图像数据I为从特征图像数据P分离并增亮的光照图像数据(即目标光照图像数据)。

2、联合双边滤波

联合双边滤波利用引导图像数据I来对输入的特征图像数据进行滤波，从而得到去噪后的图像数据J，如果当引导图像数据I为输入的特征图像数据分离并增亮的光照图像数据(即目标光照图像数据)，表达式如下所示：

其中，p表示像素点，q表示滤波窗口，f(·)为空间滤波器，利用当前像素点与周围像素点的距离来计算权重，g(·)为范围滤波器，表示有引导图像数据当前像素点与周围像素点的像素值的差距来计算权重。k_p是归一化参数，当距离和像素值相差很大的时候，两者乘积很小从而实现保边操作。

对于增亮、去噪之后的目标图像数据，可以根据业务场景进行后续的处理，本实施例对此不加以限制。

例如，如图2所示，在S209中，对增亮、去噪之后的目标图像数据进行其他图像处理，如人脸检测、美颜处理等，在S210中，将图像处理之后的目标图像数据显示在屏幕，以及，在S211中，对图像处理之后的目标图像数据进行编码，即对视频数据进行编码，如按照H.264的格式编码，并封装为FLV(Flash Video，流媒体)格式，等待发送至播放该视频数据的设备。

实施例二

图4为本发明实施例二提供的一种图像增亮去噪方法的流程图，本实施例以前述实施例为基础，进一步细化了增亮、去噪的处理操作，该方法具体包括如下步骤：

S401、采集原始图像数据。

如图5所示，在S501中，输入原始图像数据，该原始图像数据位于第一颜色空间(如YUV颜色空间)中，此时，原始图像数据中具有表示亮度的原始亮度图像数据(如Y)、表示色度的原始色度图像数据(如UV)。

S402、通过预设的凸曲线将原始亮度图像数据从实数域转换至目标域，以降低对比度。

在本实施例中，可预先设置凸曲线，该凸曲线以函数表示，如对数函数、多项式函数等。

原始亮度图像数据中各个像素点的亮度值处于实数域，将原始亮度图像数据中各个像素点的亮度值输入该凸曲线所表示的函数中，输出映射之后的亮度值，从而将原始亮度图像数据中各个像素点的亮度值从实数域映射到另一个域，作为目标域。

对于凸曲线，亮度图像数据中各个像素点的亮度值映射到中间的部分会比较集中，原始亮度图像数据中各个像素点的亮度值映射到两边的部分会比较稀疏，这样子，对于原始亮度图像数据而言，高灰度与低灰度则会区分开来，从而降低亮度的对比对。

在一个示例中，目标域包括对数域，则如图5所示，在S502中，可以对原始亮度图像数据中各个像素点的亮度值进行对数(LOG)转换，以将原始亮度图像数据从实数域转换至对数域。

对数转换可以将原始亮度图像数据的低灰度值部分扩展，显示出低灰度部分更多的细节，将其高灰度值部分压缩，减少高灰度值部分的细节，从而强调亮度图像数据中低灰度部分。

对数转换对原始亮度图像数据中低灰度部分细节增强，可参见如图6所示的不同的底数的对数图，其中，x轴为输入的强度等级(input intensity level)，y轴为输出的强度等级(output intensity level)。

x轴的0.4大约对应了y轴的0.8，即亮度图像数据上0～0.4的低灰度部分经过对数转换后扩展到0～0.8的部分，而整个0.4～1的高灰度部分被投影到只有0.8～1的区间，这样就达到了扩展和增强低灰度部分，压缩高灰度部分的值的功能。

需要说明的是，对于不同的底数，底数越大，对低灰度部分的扩展就越强，对高灰度部分的压缩也就越强，在本实施例中，底数可设置为2或自然数e。

S403、在目标域中，对原始亮度图像数据进行快速导向滤波处理，获得原始光照图像数据。

在本实施例中，原始亮度图像数据中各个像素点的亮度值处于目标域，此时，如图5所示，在S503中，可以使用快速导向滤波处理对原始亮度图像数据进行平滑处理，从而获得原始光照图像数据。

在快速导向滤波的过程中，是先进行下采样，然后滤波，最后对得到的参数进行上采样与原始亮度图像数据进行融合得到光照图像数据。

由于下采样采用的是双线性插值下采样的参数可以设置得稍大(即大于预设的阈值)，双线性差值可以近似为均值滤波，可以在一定程度上平滑亮度通道。

快速导向滤波的滤波半径可以采取中等滤波半径(半径一般为2-4的范围内，如5×5、9×9)，权衡对结构信息的保护和图像平滑程度的追求，结合LOG域的变化和快速导向滤波的特性，经由两个步骤后处理亮度通道后可以得到得到理想的光照图像数据。

S404、通过凸曲线将原始光照图像数据从目标域转换至实数域。

在生成光照图像数据之后，则可以将光照图像数据中各个像素点的亮度值输入凸曲线所表示的函数中，输出映射之后的亮度值，从而将光照图像数据中各个像素点的亮度值从目标域映射回实数域，便于后续的处理。

在一个示例中，如图5所示，在S504中，将原始光照图像数据中各个像素点的亮度值进行逆对数(LOG)转换，以将原始光照图像数据从对数域转换至实数域。

当然，除了对数之外，若凸曲线以其他函数表示，则可以通过相应的函数将光照图像数据从目标域转换至实数域，本实施例对此不加以限制。

S405、对原始光照图像数据进行伽马校正，以提高原始光照图像数据中各个像素点的亮度值，作为目标光照图像数据。

在具体实现中，如图5所示，在S505中，可对原始光照图像数据进行伽马(gamma)校正，以提高原始光照图像数据中各个像素点的亮度值，伽马校正之后的图像数据为目标光照图像数据。

其中，伽马校正就是对原始光照图像数据的伽马曲线进行编辑，以对原始光照图像数据进行非线性色调编辑，检出原始光照图像数据中的灰度多高的部分和灰度过低的部分，并使两者比例增大，从而提高原始光照图像数据的对比度，此时，目标光照图像数据I″＝I^γ，γ表示伽马校正的伽马系数，Y^γ表示伽马校正之后的亮度值。

γ值以1为分界，值越小，对原始光照图像数据低灰度部分的扩展作用就越强，值越大，对原始光照图像数据高灰度部分的扩展作用就越强，通过不同的γ值，就可以达到增强低灰度或高灰度部分细节的作用。

S406、确定转换关系。

S407、在第一颜色空间中，按照转换关系对原始图像数据进行处理，获得特征图像数据。

原始图像数据位于第一颜色空间(如YUV颜色空间)，而应用Retinex模型进行超暗光增亮是在第二颜色空间(如RGB颜色空间)，从第一颜色空间转换至第二颜色空间，再从第二颜色空间转换至第一颜色空间，颜色空间的转换对画质的存在一定的损耗，消耗一定的计算资源。

在本实施例中，如图5所示，在S506中，可以将在第二颜色空间应用Retinex模型进行超暗光增亮的操作映射至在第一颜色空间，即在第一颜色空间中对原始图像数据进行处理，等价于在第二颜色空间应用Retinex模型进行超暗光增亮，从而减少颜色空间之间的转换，为减少画质的损耗，减少计算量，从而减少对计算资源的消耗。

在具体实现中，可确定转换关系，该转换关系用于表示在第二颜色空间中执行目标操作映射至第一颜色空间的关系。

其中，目标操作为应用Retinex模型进行超暗光增亮，即参照原始光照图像数据，从原始图像数据中分解出反射图像数据；将目标光照图像数据与反射图像数据合成为特征图像数据。

在确定了转换关系之后，则可以在第一颜色空间中，将原始图像数据中各个像素点的分量(如原始亮度图像数据中的亮度分量Y、原始色度图像数据中的色度分量UV)输入该转换关系，得到执行目标操作之后的分量，作为特征图像数据。

例如，对于YUV颜色空间、RGB颜色空间，对执行目标操作的转换关系如下：

假设I′＝I^{γ-1}，其中，I表示原始光照图像数据，γ表示伽马系数，I′表示原始增强系数。

在RGB颜色空间中参考原始光照图像数据分离反射图像数据，将目标光照图像数据与反射图像数据合并得到特征图像数据，表示如下：

其中，I^γ为目标光照图像数据，R′G′B′为特征图像数据在RGB颜色空间的特征色彩分量。

一方面，参考从YUV颜色空间转换至RGB颜色空间的转换关系式：

R＝Y+1.4075*(V-128)

G＝Y-0.3455*(U-128)-0.7169*(V-128)

B＝Y+1.779*(U-128)

另一方面，参考从RGB颜色空间转换至YUV颜色空间的转换关系式：

Y＝0.299*R+0.587*G+0.114*B

可以得到如下转换关系：

Y′＝0.299*R′+0.587*G′+0.114*B′

＝(0.299*R+0.587*G+0.114*B)*I′

＝{0.299*[Y+1.4075*(V-128)]+0.587

*[Y-0.3455*(U-128)-0.7169*(V-128)]

+0.114*[Y+1.779*(U-128)]}

＝Y*I′

其中，Y′为特征图像数据在YUV空间中亮度通道下的目标亮度图像数据，U′V′为特征图像数据在YUV空间中色度通道下的目标色度图像数据。

上述转换关系化简如下：

I′＝I^γ-1

Y′＝Y·I′

U′＝(U-128)·downsmaple(I′)+128

V′＝(V-128)·downsmaple(I′)+128

其中，downsample()表示降采样，downsmaple(I′)表示目标增强系数。

则在本示例中，可计算将原始光照图像数据增亮为目标光照图像数据的系数，作为原始增强系数I′。

在一个示例中，可确定伽马校正中的伽马系数γ，伽马校正用于将原始光照图像数据增亮为目标光照图像数据。

计算原始光照图像数据的目标值次方，作为原始增强系数I^γ-1，其中，目标值为伽马系数γ减去一的差值。

将原始亮度图像数据Y与原始增强系数I′之间的第一乘积Y·I′，设置为特征图像数据中的目标亮度图像数据Y′。

对原始增强系数进行降采样，获得目标增强系数downsmaple(I′)。

将第二乘积与预设的第一参数(如128)之间的和值，设置为特征图像数据中的目标色度图像数据U′V′，第二乘积为原始色度图像数据UV减去第二参数(如128)之后，乘以目标增强系数downsmaple(I′)的乘积，即(U-128)·downsmaple(I′)、(V-128)·downsmaple(I′)。

当然，上述应用Retinex模型进行超暗光增亮的转换关系只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他转换关系，例如，在YUV颜色空间与RGB颜色空间之间使用其他转换关系时，可推导出其他应用Retinex模型进行超暗光增亮的转换关系，在HSL颜色空间与RGB颜色空间可以推导出其他应用Retinex模型进行超暗光增亮的转换关系，等等，本发明实施例对此不加以限制。另外，除了上述应用Retinex模型进行超暗光增亮的转换关系外，本领域技术人员还可以根据实际需要采用其它应用Retinex模型进行超暗光增亮的转换关系，本发明实施例对此也不加以限制。

S408、将目标光照图像数据设置为引导图像数据。

S409、响应于引导图像数据，参考目标光照图像数据的纹理特征，对特征图像数据进行导向滤波，获得目标图像数据。

在本实施例中，如图5所示，在S507、S508中，应用导向滤波对特征图像数据进行去噪处理，将目标光照图像数据设置为引导图像数据，输入特征图像数据，输出目标图像数据。导向滤波的目标是使得特征图像数据和目标图像数据尽可能相同，同时纹理部分和引导图像数据(目标光照图像数据)相似。

在具体实现中，可使用预设的滤波窗口|w|遍历引导图像数据I″与特征图像数据Y′，以在引导图像数据中、计算位于滤波窗口|w|中像素点的第一平均值μ_k、方差δ_k，在特征图像数据Y′中、计算位于滤波窗口|w|中像素点的第二平均值

针对同一位置的像素点，基于第一平均值μ_k、方差δ_k与第二平均值计算第一参考值a_k，表示如下：

其中，i表示滤波窗口|w|中的像素点，k为滤波窗口|w|的中点，p_i是遍历到的特征图像数据Y′中的像素点，I″_i为遍历到的引导图像数据I″中的像素点，∈为正则化参数、用于防止∈过大。

基于第二平均值第一参考值a_k与第一平均值μ_k计算第二参考值b_k，表示如下：

/>

以第一参考值a_k与第二参考值b_k作为系数，对引导图像数据进行线性调整，获得目标图像数据，表示如下：

其中，q_i表示目标图像数据中的像素点。

为使本领域技术人员更好地理解本发明实施例，以下通过具体的示例来说明本发明实施例中基于Retinex对图像数据的增亮方法。

如图7所示，用户在夜晚的室外进行视频通话，图像数据701为在低亮度的条件下进行美颜处理的图像数据，图像数据702为增亮后进行美颜处理的进行美颜处理后的图像数据，图像数据703为应用本实施例对图像数据增亮去噪后进行磨皮处理的图像数据。

针对图像数据701，可看出在超暗光的环境下，低亮度会明显影响其他图像处理的效果。

针对图像数据702，可看出单纯增亮而不进行去噪处理，噪声对于画质的影响会导致增亮效果变得负向。

针对图像数据703，可看出本实施例可同时改善低亮度对其他图像处理的影响、噪声对增亮效果的负向影响，使得在保证超暗光增亮的效果的同时融合去噪处理，考虑了计算复杂度，增加了少部分的计算量，使得应用在实时的视频通信或者是短视频采集过程中成为可能。

实施例三

图8为本发明实施例三提供的一种图像增亮去噪装置的结构示意图，该装置具体可以包括如下模块：

原始图像数据采集模块801，用于采集原始图像数据，所述原始图像数据中具有表示亮度的原始亮度图像数据；

原始光照图像数据生成模块802，用于在降低对比度的条件下，对所述原始亮度图像数据进行滤波处理，获得原始光照图像数据；

目标光照图像数据生成模块803，用于提高所述原始光照图像数据的亮度，获得目标光照图像数据；

图像增亮模块804，用于若所述原始图像数据为所述原始光照图像数据与反射图像数据之间的叠加，则将所述目标光照图像数据与所述反射图像数据合成为特征图像数据；

图像去噪模块805，用于参考所述目标光照图像数据，对所述特征图像数据进行去噪处理，获得目标图像数据。

在本发明的一个实施例中，所述原始光照图像数据生成模块802包括：

域转换子模块，用于通过预设的凸曲线将所述原始亮度图像数据从实数域转换至目标域，以降低对比度；

快速导向滤波处理子模块，用于在所述目标域中，对所述原始亮度图像数据进行快速导向滤波处理，获得原始光照图像数据；

域恢复子模块，用于通过所述凸曲线将所述原始光照图像数据从所述目标域转换至所述实数域。

在本发明的一个实施例中，所述目标域包括对数域；

所述域转换子模块包括：

对数转换单元，用于对所述原始亮度图像数据中各个像素点的亮度值进行对数转换，以将所述亮度图像数据从实数域转换至对数域；

所述域恢复子模块包括：

逆对数转换单元，用于将所述原始光照图像数据中各个像素点的亮度值进行逆对数转换，以将所述原始光照图像数据从所述对数域转换至所述实数域。

在本发明的一个实施例中，所述图像增亮模块804包括：

伽马校正子模块，用于对所述原始光照图像数据进行伽马校正，以提高所述原始光照图像数据中各个像素点的亮度值，作为目标光照图像数据。

在本发明的一个实施例中，所述原始图像数据位于第一颜色空间；

所述图像增亮模块804包括：

转换关系确定子模块，用于确定转换关系，所述转换关系用于表示在第二颜色空间中执行目标操作映射至所述第一颜色空间的关系；

转换处理子模块，用于在所述第一颜色空间中，按照所述转换关系对所述原始图像数据进行处理，获得特征图像数据；

其中，所述目标操作为参照所述原始光照图像数据，从所述原始图像数据中分解出反射图像数据；将所述目标光照图像数据与所述反射图像数据合成为特征图像数据。

在本发明的一个实施例中，在所述第一颜色空间中，所述原始图像数据中还具有表示色度的原始色度图像数据；

所述转换处理子模块包括：

原始增强系数计算单元，用于计算将所述原始光照图像数据增亮为所述目标光照图像数据的系数，作为原始增强系数；

目标亮度图像数据生成单元，用于将所述原始亮度图像数据与所述原始增强系数之间的第一乘积，设置为特征图像数据中的目标亮度图像数据；

降采样单元，用于对所述原始增强系数进行降采样，获得目标增强系数；

降采样生成单元，用于将第二乘积与预设的第一参数之间的和值，设置为特征图像数据中的目标色度图像数据，所述第二乘积为所述原始色度图像数据减去第二参数之后，乘以所述目标增强系数的乘积。

在本发明的一个实施例中，所述原始增强系数计算单元包括：

伽马系数确定子单元，用于确定伽马校正中的伽马系数，所述伽马校正用于将所述原始光照图像数据增亮为所述目标光照图像数据；

次方计算子单元，用于计算所述原始光照图像数据的目标值次方，作为原始增强系数，其中，所述目标值为所述伽马系数减去一的差值。

在本发明的一个实施例中，所述图像去噪模块805包括：

引导图像数据设置子模块，用于将所述目标光照图像数据设置为引导图像数据；

导向滤波子模块，用于响应于所述引导图像数据，参考所述目标光照图像数据的纹理特征，对所述特征图像数据进行导向滤波，获得目标图像数据。

在本发明的一个实施例中，所述导向滤波子模块包括：

滤波窗口遍历单元，用于使用预设的滤波窗口遍历所述引导图像数据与所述特征图像数据，以在所述引导图像数据中、计算位于所述滤波窗口中像素点的第一平均值、方差，在所述特征图像数据中、计算位于所述滤波窗口中像素点的第二平均值；

第一参考值计算单元，用于针对同一位置的像素点，基于所述第一平均值、所述方差与所述第二平均值计算第一参考值；

第二参考值计算单元，用于基于所述第二平均值、所述第一参考值与所述第一平均值计算第二参考值；

以所述第一参考值与所述第二参考值作为系数，对所述引导图像数据进行线性调整，获得目标图像数据。

本发明实施例所提供的图像增亮去噪装置可执行本发明任意实施例所提供的图像增亮去噪方法，具备执行方法相应的功能模块和有益效果。

实施例四

图9为本发明实施例四提供的一种移动终端的结构示意图。如图9所示，该移动终端包括处理器900、存储器901、通信模块902、输入装置903和输出装置904；移动终端中处理器900的数量可以是一个或多个，图9中以一个处理器900为例；移动终端中的处理器900、存储器901、通信模块902、输入装置903和输出装置904可以通过总线或其他方式连接，图9中以通过总线连接为例。

存储器901作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的图像增亮去噪方法对应的模块(例如，如图8所示的图像增亮去噪装置中的原始图像数据采集模块801、原始光照图像数据生成模块802、目标光照图像数据生成模块803、图像增亮模块804和图像去噪模块805)。处理器900通过运行存储在存储器901中的软件程序、指令以及模块，从而执行移动终端的各种功能应用以及数据处理，即实现上述的图像增亮去噪方法。

存储器901可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据移动终端的使用所创建的数据等。此外，存储器901可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器901可进一步包括相对于处理器900远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块902，用于与显示屏建立连接，并实现与显示屏的数据交互。

输入装置903可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。

输出装置904可以包括扬声器等音频设备。

需要说明的是，输入装置903和输出装置904的具体组成可以根据实际情况设定。

处理器900通过运行存储在存储器901中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的图像增亮去噪方法。

本实施例提供的移动终端，可执行本发明任一实施例提供的图像增亮去噪方法，具体相应的功能和有益效果。

实施例五

本发明实施例五还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现一种图像增亮去噪方法，该方法包括：

当然,本发明实施例所提供的计算机可读存储介质,其计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的图像增亮去噪方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述图像增亮去噪装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种图像增亮去噪方法，其特征在于，包括：

参考所述目标光照图像数据，对所述特征图像数据进行去噪处理，获得目标图像数据；

所述原始图像数据位于第一颜色空间；

所述若所述原始图像数据为所述原始光照图像数据与反射图像数据之间的叠加，则将所述目标光照图像数据与所述反射图像数据合成为特征图像数据，包括：

确定转换关系，所述转换关系用于表示在第二颜色空间中执行目标操作映射至所述第一颜色空间的关系；

在所述第一颜色空间中，按照所述转换关系对所述原始图像数据进行处理，获得特征图像数据；

2.根据权利要求1所述的方法，其特征在于，所述在降低对比度的条件下，对所述原始亮度图像数据进行滤波处理，获得原始光照图像数据，包括：

通过预设的凸曲线将所述原始亮度图像数据从实数域转换至目标域，以降低对比度；

在所述目标域中，对所述原始亮度图像数据进行快速导向滤波处理，获得原始光照图像数据；

通过所述凸曲线将所述原始光照图像数据从所述目标域转换至所述实数域。

3.根据权利要求2所述的方法，其特征在于，所述目标域包括对数域；

所述通过预设的凸曲线将所述原始亮度图像数据从实数域转换至目标域，包括：

对所述原始亮度图像数据中各个像素点的亮度值进行对数转换，以将所述亮度图像数据从实数域转换至对数域；

所述通过所述凸曲线将所述原始光照图像数据从所述目标域转换至所述实数域，包括：

将所述原始光照图像数据中各个像素点的亮度值进行逆对数转换，以将所述原始光照图像数据从所述对数域转换至所述实数域。

4.根据权利要求1所述的方法，其特征在于，所述提高所述原始光照图像数据的亮度，作为目标光照图像数据，包括：

对所述原始光照图像数据进行伽马校正，以提高所述原始光照图像数据中各个像素点的亮度值，作为目标光照图像数据。

5.根据权利要求4所述的方法，其特征在于，在所述第一颜色空间中，所述原始图像数据中还具有表示色度的原始色度图像数据；

所述在所述第一颜色空间中，按照所述转换关系对所述原始图像数据进行处理，获得特征图像数据，包括：

计算将所述原始光照图像数据增亮为所述目标光照图像数据的系数，作为原始增强系数；

将所述原始亮度图像数据与所述原始增强系数之间的第一乘积，设置为特征图像数据中的目标亮度图像数据；

对所述原始增强系数进行降采样，获得目标增强系数；

将第二乘积与预设的第一参数之间的和值，设置为特征图像数据中的目标色度图像数据，所述第二乘积为所述原始色度图像数据减去第二参数之后，乘以所述目标增强系数的乘积。

6.根据权利要求5所述的方法，其特征在于，所述计算将所述原始光照图像数据增亮为所述目标光照图像数据的系数，作为原始增强系数，包括：

确定伽马校正中的伽马系数，所述伽马校正用于将所述原始光照图像数据增亮为所述目标光照图像数据；

计算所述原始光照图像数据的目标值次方，作为原始增强系数，其中，所述目标值为所述伽马系数减去一的差值。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述参考所述目标光照图像数据，对所述特征图像数据进行去噪处理，获得目标图像数据，包括：

将所述目标光照图像数据设置为引导图像数据；

响应于所述引导图像数据，参考所述目标光照图像数据的纹理特征，对所述特征图像数据进行导向滤波，获得目标图像数据。

8.根据权利要求7所述的方法，其特征在于，所述响应于所述引导图像数据，参考所述目标光照图像数据的纹理特征，对所述特征图像数据进行导向滤波，获得目标图像数据，包括：

使用预设的滤波窗口遍历所述引导图像数据与所述特征图像数据，以在所述引导图像数据中、计算位于所述滤波窗口中像素点的第一平均值、方差，在所述特征图像数据中、计算位于所述滤波窗口中像素点的第二平均值；

针对同一位置的像素点，基于所述第一平均值、所述方差与所述第二平均值计算第一参考值；

基于所述第二平均值、所述第一参考值与所述第一平均值计算第二参考值；

9.一种图像增亮去噪装置，其特征在于，包括：

图像去噪模块，用于参考所述目标光照图像数据，对所述特征图像数据进行去噪处理，获得目标图像数据；

所述原始图像数据位于第一颜色空间；

所述图像增亮模块包括：

10.一种移动终端，其特征在于，所述移动终端包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的图像增亮去噪方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-8中任一所述的图像增亮去噪方法。