CN108335275B - 图像增强方法、装置、计算设备及存储介质 - Google Patents

图像增强方法、装置、计算设备及存储介质 Download PDF

Info

Publication number
CN108335275B
CN108335275B CN201810149722.1A CN201810149722A CN108335275B CN 108335275 B CN108335275 B CN 108335275B CN 201810149722 A CN201810149722 A CN 201810149722A CN 108335275 B CN108335275 B CN 108335275B
Authority
CN
China
Prior art keywords
window
image
processed image
value
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810149722.1A
Other languages
English (en)
Other versions
CN108335275A (zh
Inventor
赵永飞
郭治姣
汪亮
翟海昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810149722.1A priority Critical patent/CN108335275B/zh
Publication of CN108335275A publication Critical patent/CN108335275A/zh
Priority to EP19754702.9A priority patent/EP3754590B1/en
Priority to PCT/CN2019/074067 priority patent/WO2019157966A1/zh
Application granted granted Critical
Publication of CN108335275B publication Critical patent/CN108335275B/zh
Priority to US16/902,481 priority patent/US11263727B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/70—
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Abstract

本申请公开了图像增强方法、装置、计算设备及存储介质。其中，图像增强方法，包括：对原始图像进行保边滤波处理而得到第一处理图像；获取原始图像的细节特征；根据所述细节特征和所述第一处理图像，确定第二处理图像；将所述原始图像作为导向图，基于导向图滤波方式对所述第二处理图像进行处理而得到第三处理图像。

Description

图像增强方法、装置、计算设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及图像增强方法、装置、计算设备及存储介质。
背景技术
随着多媒体技术的发展，各个领域对视频有大量需求。为了提供高质量的视频，一些应用场景通常针对视频中图像帧序列进行图像增强。例如，一些图像处理应用可以采用平滑滤波等方式进行图像增强。然而，现有的图像增强方式的增强效果有待提高。
发明内容
本申请提出了一种图像增强方案，以提高图像增强效果。
根据本申请一个方面，提供一种图像增强方法，包括：对原始图像进行保边滤波处理而得到第一处理图像；获取所述原始图像的细节特征；根据所述细节特征和所述第一处理图像确定第二处理图像；将所述原始图像作为导向图，基于导向图滤波方式对所述第二处理图像进行处理而得到第三处理图像。
在一些实施例中，图像增强方法还包括：对所述第三处理图像进行保边滤波处理而得到第四处理图像。
在一些实施例中，所述对所述第三处理图像进行保边滤波处理而得到第四处理图像，包括：将所述第三处理图像作为导向图，基于所述导向图滤波方式对第三处理图像进行处理而得到所述第四处理图像。
在一些实施例中，所述对原始图像进行保边滤波处理而得到第一处理图像，包括：将所述原始图像作为导向图，基于所述导向图滤波方式对所述原始图像进行处理而得到所述第一处理图像。
在一些实施例中，所述获取所述原始图像的细节特征，包括：确定所述原始图像与所述第一处理图像之间的颜色差异，根据所述颜色差异确定所述细节特征。
在一些实施例中，所述确定所述原始图像与所述第一处理图像之间的颜色差异，包括：确定所述原始图像与所述第一处理图像在一个或多个颜色通道上的差值，并将所述差值作为所述颜色差异。
在一些实施例中，所述原始图像为灰度图像，所述确定所述原始图像与所述第一处理图像在一个或多个颜色通道上的差值，并将所述差值作为所述颜色差异，包括：确定所述原始图像与所述第一处理图像的灰度值差异，并将其作为所述颜色差异。
在一些实施例中，所述根据所述颜色差异确定所述细节特征，包括：按照调节系数增强所述颜色差异，以获取增强的颜色差异，并将所述增强的颜色差异作为所述细节特征。
在一些实施例中，所述根据所述颜色差异确定所述细节特征，包括：将所述颜色差异作为所述细节特征。
在一些实施例中，所述将所述原始图像作为导向图，基于导向图滤波方式对所述第二处理图像进行处理而得到第三处理图像，包括：对于所述导向图中每一第一像素点，确定包含该第一像素点的各第一窗口与所述第三处理图像中相应位置的第二窗口之间的第一线性关系，其中，各第一窗口的尺寸与相应位置的所述第二窗口的尺寸为第一尺寸；根据各第一窗口对应的所述第一线性关系，确定该第一像素点对应的第二线性关系，其中，所述第二线性关系用于描述该第一像素点与所述第三处理图像中相应位置像素点的线性关系；以及根据所述导向图中各第一像素点的颜色值和各第一像素点所对应的所述第二线性关系，确定所述第三处理图像中各像素点的颜色值。
在一些实施例中，所述确定包含该第一像素点的各第一窗口与所述第三处理图像中相应位置的第二窗口之间的第一线性关系，包括：确定所述第一窗口对应的方差；确定所述第一窗口与所述第二处理图像中相应位置的第三窗口的协方差；确定所述方差与正则化系数阈值之和；将所述协方差与所述和的比值作为所述第一窗口对应的代表所述第一线性关系的斜率。
在一些实施例中，所述确定包含该第一像素点的各第一窗口与所述第三处理图像中相应位置的第二窗口之间的第一线性关系，包括：确定所述第一窗口对应的方差；确定所述第一窗口与所述第二处理图像中相应位置的第二窗口的协方差；确定第一窗口的细节特征在所述第一处理图像中的权重值；确定正则化系数阈值与所述权重值的第一比值；将所述协方差与所述第一比值之和作为第一值，将所述方差与所述第一比值之和作为第二值，并将所述第一值与所述第二值的比值作为所述第一窗口对应的代表所述第一线性关系的斜率。
在一些实施例中，所述确定第一窗口的细节特征在所述第一处理图像中的权重值，包括：确定所述导向图中各第一像素点所对应的第一方差和所对应的第二方差，其中，所述第一方差表示以该第一像素点为中心且尺寸满足第二尺寸的窗口的方差，所述第二方差表示以该第一像素点为中心且尺寸满足所述第一尺寸的窗口的方差；确定所述第一窗口的中心点所对应的第一方差和所对应的第二方差之积，并将所述积的二分一次方作为第三值；确定所述导向图中各第一像素点所对应的第一方差和所对应的第二方差之积，并将所述各第一像素点对应的积的二分之一次方的平均值作为第四值；以及将所述第三值与所述第四值的比值作为所述权重值。
在一些实施例中，所述确定包含该第一像素点的各第一窗口与所述第三处理图像中相应位置的第二窗口之间的第一线性关系，包括：
根据下述公式确定代表所述第一线性关系的斜率：
其中，ak表示所述斜率，wk表示以像素点k为中心的所述第一窗口，Ii表示所述第一窗口中第i个像素点的颜色值，pi表示所述第三窗口中第i个像素点的颜色值，所述第三窗口为所述第二处理图像中与所述第一窗口位置对应的窗口，uk表示所述第一窗口中所有像素点的颜色均值，表示所述第三窗口中所有像素点的颜色均值，表示所述第一窗口中所有像素点的颜色值方差，ε表示正则化系数阈值，|w|表示所述第一窗口中像素点总数。
在一些实施例中，所述确定包含该第一像素点的各第一窗口与所述第三处理图像中相应位置的第二窗口之间的第一线性关系，包括：
根据下述公式确定代表所述第一线性关系的斜率：
其中，ak表示所述斜率，wk表示以像素点k为中心的所述第一窗口，Ii表示所述第一窗口中第i个像素点的颜色值，pi表示第三窗口中第i个像素点的颜色值，所述第三窗口为所述第二处理图像中与所述第一窗口位置对应的窗口，uk表示所述第一窗口中所有像素点的颜色均值，表示所述第三窗口中所有像素点的颜色均值，表示所述第一窗口中所有像素点的颜色值方差，ε表示正则化系数阈值，|w|表示所述第一窗口中像素点总数，所述weightk表示所述第一窗口的权重值；
其中，根据下述公式确定所述第一窗口的权重值：
其中，所述n表示所述第一窗口的窗口半径，σk|r＝n 2表示所述第一窗口中所有像素点的颜色值方差，σk|r＝1 2表示以所述像素点k为中心且半径为1的窗口中所有像素点的颜色值方差，σi|r＝1 2表示以所述第一窗口中第i个像素点为中心且半径为1的窗口中所有像素点的颜色值方差，σi|r＝n 2表示以所述像素点k为中心且半径为1的窗口中所有像素点的颜色值方差，I表示所述导向图，|wI|表示所述导向图中像素点总数。
根据本申请另一个方面，提供一种图像增强装置，包括：第一平滑单元，用于对原始图像进行保边滤波处理而得到第一处理图像；细节获取单元，用于获取所述原始图像的细节特征；图像叠加单元，用于根据所述细节特征和所述第一处理图像确定第二处理图像；图像增强单元，用于将所述原始图像作为导向图，基于导向图滤波方式对所述第二处理图像进行处理而得到第三处理图像。
在一些实施例中，图像增强装置还包括第二平滑单元，用于对所述第三处理图像进行保边滤波处理而得到第四处理图像。
在一些实施例中，第二平滑单元根据下述方式对第三处理图像进行保边滤波处理：将所述第三处理图像作为导向图，基于所述导向图滤波方式对第三处理图像进行处理而得到所述第四处理图像。
在一些实施例中，所述第一平滑单元根据下述方式对原始图像进行保边滤波处理而得到第一处理图像：将所述原始图像作为导向图，基于所述导向图滤波方式对所述原始图像进行处理而得到所述第一处理图像。
在一些实施例中，所述细节获取单元根据下述方式获取所述原始图像的细节特征：确定所述原始图像与所述第一处理图像之间的颜色差异，根据所述颜色差异确定所述细节特征。
在一些实施例中，所述细节获取单元根据下述方式确定所述原始图像与所述第一处理图像之间的颜色差异：确定所述原始图像与所述第一处理图像在一个或多个颜色通道上的差值，并将所述差值作为所述颜色差异。
在一些实施例中，所述原始图像为灰度图像。所述细节获取单元根据下述方式确定所述原始图像与所述第一处理图像在一个或多个颜色通道上的差值，并将所述差值作为所述颜色差异：确定所述原始图像与所述第一处理图像的灰度值差异，并将其作为所述颜色差异。
在一些实施例中，细节获取单元根据下述方式来根据所述颜色差异确定所述细节特征：按照调节系数增强所述颜色差异，以获取增强的颜色差异，并将所述增强的颜色差异作为所述细节特征。
在一些实施例中，细节获取单元根据下述方式来根据所述颜色差异确定所述细节特征：将所述颜色差异作为所述细节特征。
在一些实施例中，所述图像增强单元根据下述方式将所述原始图像作为导向图，基于导向图滤波方式对所述第二处理图像进行处理而得到第三处理图像：对于所述导向图中每一第一像素点，确定包含该第一像素点的各第一窗口与所述第三处理图像中相应位置的第二窗口之间的第一线性关系，其中，各第一窗口的尺寸与相应位置的所述第二窗口的尺寸为第一尺寸；根据各第一窗口对应的所述第一线性关系，确定该第一像素点对应的第二线性关系，其中，所述第二线性关系用于描述该第一像素点与所述第三处理图像中相应位置像素点的线性关系；根据所述导向图中各第一像素点的颜色值和各第一像素点所对应的所述第二线性关系，确定所述第三处理图像中各像素点的颜色值。
在一些实施例中，图像增强单元根据下述方式所述确定包含该第一像素点的各第一窗口与所述第三处理图像中相应位置的第二窗口之间的第一线性关系，包括：确定所述第一窗口对应的方差；确定所述第一窗口与所述第二处理图像中相应位置的第三窗口的协方差；确定所述方差与正则化系数阈值之和；将所述协方差与所述和的比值作为所述第一窗口对应的代表所述第一线性关系的斜率；。
在一些实施例中，图像增强单元根据下述方式确定包含该第一像素点的各第一窗口与所述第三处理图像中相应位置的第二窗口之间的第一线性关系：确定所述第一窗口对应的方差；确定所述第一窗口与所述第二处理图像中相应位置的第二窗口的协方差；确定第一窗口的细节特征在所述第一处理图像中的权重值；确定正则化系数阈值与所述权重值的第一比值；将所述协方差与所述第一比值之和作为第一值，将所述方差与所述第一比值之和作为第二值，并将所述第一值与所述第二值的比值作为所述第一窗口对应的代表所述第一线性关系的斜率。
在一些实施例中，图像增强单元根据下述方式确定第一窗口的细节特征在所述第一处理图像中的权重值：确定所述导向图中各第一像素点所对应的第一方差和所对应的第二方差，其中，所述第一方差表示以该第一像素点为中心且尺寸满足第二尺寸的窗口的方差，所述第二方差表示以该第一像素点为中心且尺寸满足所述第一尺寸的窗口的方差；确定所述第一窗口的中心点所对应的第一方差和所对应的第二方差之积，并将所述积的二分一次方作为第三值；确定所述导向图中各第一像素点所对应的第一方差和所对应的第二方差之积，并将所述各第一像素点对应的积的二分之一次方的平均值作为第四值；将所述第三值与所述第四值的比值作为所述权重值。
在一些实施例中，图像增强单元根据下述方式确定包含该第一像素点的各第一窗口与所述第三处理图像中相应位置的第二窗口之间的第一线性关系：根据下述公式确定代表所述第一线性关系的斜率：
其中，ak表示所述斜率，wk表示以像素点k为中心的所述第一窗口，Ii表示所述第一窗口中第i个像素点的颜色值，pi表示所述第三窗口中第i个像素点的颜色值，所述第三窗口为所述第二处理图像中与所述第一窗口位置对应的窗口，uk表示所述第一窗口中所有像素点的颜色均值，表示所述第三窗口中所有像素点的颜色均值，表示所述第一窗口中所有像素点的颜色值方差，ε表示正则化系数阈值，|w|表示所述第一窗口中像素点总数。
在一些实施例中，图像增强单元根据下述方式确定包含该第一像素点的各第一窗口与所述第三处理图像中相应位置的第二窗口之间的第一线性关系：根据下述公式确定代表所述第一线性关系的斜率：
其中，ak表示所述斜率，wk表示以像素点k为中心的所述第一窗口，Ii表示所述第一窗口中第i个像素点的颜色值，pi表示第三窗口中第i个像素点的颜色值，所述第三窗口为所述第二处理图像中与所述第一窗口位置对应的窗口，uk表示所述第一窗口中所有像素点的颜色均值，表示所述第三窗口中所有像素点的颜色均值，表示所述第一窗口中所有像素点的颜色值方差，ε表示正则化系数阈值，|w|表示所述第一窗口中像素点总数，所述weightk表示所述第一窗口的权重值；
其中，图像增强单元根据下述公式确定所述权重值：
其中，所述n表示所述第一窗口的窗口半径，σk|r＝n 2表示所述第一窗口中所有像素点的颜色值方差，σk|r＝1 2表示以所述像素点k为中心且半径为1的窗口中所有像素点的颜色值方差，σi|r＝1 2表示以所述第一窗口中第i个像素点为中心且半径为1的窗口中所有像素点的颜色值方差，σi|r＝n 2表示以所述像素点k为中心且半径为1的窗口中所有像素点的颜色值方差，I表示所述导向图，|wI|表示所述导向图中像素点总数。
根据本申请另一个方面，提供一种视频服务系统，包括：根据本申请的图像增强装置。
根据本申请另一个方面，提供一种终端设备，包括根据本申请的图像增强装置。
根据本申请另一个方面，提供一种计算设备，包括：一个或多个处理器、存储器以及一个或多个程序。一个或多个程序存储在该存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行本申请的图像增强方法的指令。
根据本申请另一个方面，提供一种存储介质，存储有一个或多个程序，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行本申请的图像增强方法。
综上，根据本申请的图像增强方案可以获取具有高平滑程度和增强的细节特征的第三处理图像。这里，图像增强方案通过提高图像的降噪程度和增强的细节特征，从而可以使得画面更加清晰、整体亮度更均匀、层次感更强、对比度更高和色彩更鲜艳等效果。
附图说明
为了更清楚地说明本申请实例中的技术方案，下面将对实例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1A示出了根据本申请一些实施例的应用场景的示意图；
图1B示出了根据本申请一些实施例的应用场景的示意图；
图2A示出了根据本申请一些实施例的图像增强方法200的流程图；
图2B和图2C分别示出了根据本申请一个实施例的原始图像和第一处理图像；
图2D示出了根据本申请一个实施例的第二处理图像；
图2E示出了根据本申请一个实施例的第三处理图像；
图2F示出图2E中区域Z2与图2B中Z1的对比图；
图3示出了根据本申请一些实施例的获取第三处理图像的方法300的流程图；
图4示出了根据本申请一些实施例的确定第一线性关系的斜率的方法400的流程图；
图5示出了根据本申请一些实施例的确定第一线性关系的斜率的方法500的流程图；
图6示出了根据本申请一些实施例的确定权重值的方法600的流程图；
图7示出了根据本申请一些实施例的图像增强方法700的流程图；
图8示出了根据本申请一些实施例的图像增强装置800的示意图；
图9示出了根据本申请一些实施例的图像增强装置900的示意图；以及
图10示出了一个计算设备的组成结构图。
具体实施方式
下面将结合本申请实例中的附图，对本申请实例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅是本申请一部分实例，而不是全部的实例。基于本申请中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本申请保护的范围。
图1A示出了根据本申请一些实施例的应用场景的示意图。如图1A所示，应用场景包括终端设备110和视频服务系统120。这里，终端设备110例如可以是台式计算机、移动电话、平板电脑、智能电视或膝上计算机等各种计算设备。终端设备110可以包括视频应用111，比如视频应用111可以下载安装在终端设备110上，也可以预装在终端设备110上等等。视频服务系统120例如可以包括一个或多个服务器。在一个实施例中，视频服务系统120可以存储视频内容。视频应用111可以通过网络130从视频服务系统120获取视频内容。视频应用111可以对来自本地或来自视频服务系统120的视频内容进行视频增强处理。视频应用111例如可以是视频播放客户端(例如腾讯视频客户端或爱奇艺视频客户端等)、社交应用或浏览器等各种包含视频播放功能的应用，本申请对此不做限制。
图1B示出了根据本申请一些实施例的应用场景的示意图。如图1B所示，应用场景包括终端设备140和视频服务系统150。视频服务系统150可以包括视频处理应用151。视频处理应用151可以对视频进行图像增强处理。终端设备140可以包括视频播放应用141。视频播放应用141例如是视频播放客户端、社交应用或者浏览器等个汇总包含视频播放功能的应用。视频播放应用141可以从视频服务系统150获取经过图像增强的视频并进行播放。
综上，终端设备110和视频服务系统140均可以用于对视频进行增强处理。另外需要说明的是，视频增强处理可以通过对视频中各图像帧进行图像增强处理而实现。下面结合图2对根据本申请的图像增强方式进行详细说明。
图2A示出了根据本申请一些实施例的图像增强方法200的流程图。图像增强方法200例如可以在视频应用111或者视频处理应用151中执行，但不限于此。如图2A所示，图像增强方法200可以包括步骤S201，对原始图像进行保边滤波(Edge-preserving Filtering)处理而得到第一处理图像。在一个实例中，步骤S201将原始图像作为导向图，基于导向图滤波(Guided Image Filtering)方式对原始图像进行处理而得到第一处理图像。在另一个实施例中，步骤S201可以采用中值滤波(The median filtering)、双边滤波(BilateralFiltering)、加权最小二乘法滤波(Weighted Least Square Filtering)等各种保边滤波方式进行处理。通过保边滤波处理，步骤S201可以对原始图像进行去噪处理。例如，图2B和图2C分别示出了一个实施例中的原始图像和第一处理图像。如图2B和图2C所示，第一处理图像比原始图像有更高的平滑度。
在步骤S202中，获取原始图像的细节特征。这里，细节特征例如可以包括边缘特征和纹理特征等。在一些实施例中，步骤S202可以首先确定原始图像与第一处理图像之间的颜色差异，然后根据颜色差异确定细节特征。在一些实施例中，步骤S202可以确定原始图像与第一处理图像在一个或多个颜色通道上的差值，并将差值作为颜色差异。
在一个实施例中，在原始图像为灰度图时，步骤S202可以确定原始图像与第一处理图像的灰度值差异，并将其作为颜色差异。
在另一个实施例中，原始图像可以包括多个颜色通道。步骤S202可以确定原始图像在多个颜色通道上与第一处理图像的差值，并将该差值作为颜色差异。例如，原始图像为红绿蓝(RGB)格式。相应地，步骤S202所获取的颜色差异可以包括红色通道的差值、绿色通道的差值和蓝色通道的差值。这里，步骤S202所确定的颜色差异例如可以包括原始图像中边缘和纹理等细节特征信息。
在确定颜色差异之后，步骤S202可以根据颜色差异确定原始图像的细节特征。例如，步骤S202可以将颜色差异直接作为细节特征。又例如，步骤S202可以按照调节系数增强颜色差异，以获取增强的颜色差异，并将增强的颜色差异作为原始图像的细节特征。这里，调节系数值越大，增强程度越高。另外说明的是，步骤S202也可以采用其他合适的方式获取原始图像的细节特征。
在步骤S202确定细节特征之后，图像增强方法200可以执行步骤S203。在步骤S203中，根据细节特征和第一处理图像，确定第二处理图像。例如，步骤S203可以将细节特征叠加到第一处理图像，而得到第二处理图像。另外，步骤S203也可以采用其他方式来利用细节特征和第一处理图像确定第二处理图像。这里，通过利用细节特征和第一处理图像确定第二处理图像，步骤S203可以使得第二处理图像保持与第一处理图像几乎一致的平滑程度(即降噪程度)，也可以使得第二处理图像具有叠加的细节特征。换言之，第二处理图像中细节更容易被区分。例如,图2D示出了对图2C中第一处理图像经过步骤S202而得到的第二处理图像。与图2C相比，图2D中第二处理图像细节更容易被区分。
在步骤S204中，将原始图像作为导向图，基于导向图滤波方式对第二处理图像进行处理而得到第三处理图像。这样，步骤S204可以对第二处理图像进行降噪，以便提高第三处理图像的降噪程度。另外，通过将原始图像作为导向图，步骤S204在第二处理图像进行平滑处理时，可以按照原始图像的细节特征模式而保留第二处理图像中细节特征。换言之，步骤S204通过利用原始图像作为导向图而对第二处理图像进行图像增强处理，可以使得第三处理图像中细节特征与原始图像的整体概貌更加一致。简言之，步骤S204可以使得第三处理图像中细节特征更加接趋向于原始图像的整体概貌，即细节与整体图像更加融合。例如图2E示出了对应于图2D中第二处理图像的第三处理图像。与图2D相比，图2E中图像具有图像增强效果。例如，图2F示出图2E中区域Z2与图2B中Z1的对比图。显然，与代表原始图像的Z1相比，代表第三处理图像的Z2画面更加清晰、整体亮度更均匀、层次感更强、对比度更高。应注意，图2D-2F为灰度图示例。实际上，步骤S204还可以使得彩色的第三处理图像的色彩更鲜艳。
综上，图像增强方法200通过上述步骤的组合，可以获取具有高平滑程度和增强的细节特征的第三处理图像。这里，图像增强方法200通过提高图像的降噪程度和增强的细节特征，从而可以使得画面更加清晰、整体亮度更均匀、层次感更强、对比度更高和色彩更鲜艳等效果。其中，对比度越高，图像的色阶越高，画面越饱满。特别说明的是，图像增强方法200通过上述步骤的组合，可以实现对图像内容的自适应处理，从而提高了对图像处理的鲁棒性。另外，图像增强方法200通过采用导向图滤波方式，可以使得第三处理图像的亮度更加均匀。
另外说明的是，上述步骤S201和步骤S204中涉及的导向图滤波方式均可以在各颜色通道(例如RGB)分别进行滤波处理。换言之，滤波处理的结果为各颜色通道处理结果的叠加结果。这样，图像增强方法200可以避免增强后图像出现色偏。下面以步骤S204的处理过程为例进一步对导向图滤波进行说明。图3示出了根据本申请一些实施例的获取第三处理图像的方法300的流程图。
首先说明的是，为了更好区分本实施例的导向图(即原始图像)、第二处理图像和第三处理图像中像素点，本实施例将导向图中像素点称为第一像素点，将第二处理图像中像素点称为第二像素点，以及将第三处理图像中像素点称为第三像素点。
如图3所示，获取第三处理图像的方法300可以包括步骤S301，对于导向图中每一第一像素点，确定包含该第一像素点的各第一窗口与第三处理图像中相应位置的第二窗口之间的第一线性关系。这里，各第一窗口对应的第一线性关系用于描述该第一窗口中各第一像素点与第二窗口中相应位置像素点的线性关系。其中，各第一窗口的尺寸与相应位置的第二窗口的尺寸均为第一尺寸。这里，第一尺寸用于描述窗口的边长。第一尺寸也可以用半径表示。例如，半径为r，第一尺寸可以表示为(2r+1)。相应地，满足第一尺寸的窗口可以包含(2r+1)*(2r+1)个像素点。
在一些实施例中，步骤S301所确定的第一线性关系可以表示为下述公式：
其中，wk表示导向图中以像素点k为中心的第一窗口，Ii表示第一窗口中第i个第一像素点，qi表示第三处理图像中与Ii位置对应的一个第三像素点，ak表示第一线性关系的斜率，bk表示截距。
在一个实施例中，步骤S301可以通过下述方法400确定与第一窗口对应代表第一线性关系的斜率。图4示出了根据本申请一些实施例的确定第一线性关系的斜率的方法400的流程图。
在步骤S401中，确定第一窗口对应的方差。
在步骤S402中，确定第一窗口与第二处理图像中相应位置的第三窗口的协方差。
在步骤S403中，确定方差与正则化系数阈值之和。其中，正则化系数阈值为一个非常小的正数。
在步骤S404中将步骤S402得到的协方差与步骤S403得到的和的比值作为斜率。
在另一个实施例中，步骤S301可以根据下述公式确定代表第一线性关系的斜率：
其中，ak表示斜率，wk表示以像素点k为中心的第一窗口，Ii表示第一窗口中第i个像素点的颜色值，pi表示第三窗口中第i个像素点的颜色值，第三窗口为第二处理图像中与第一窗口位置对应的窗口，uk表示第一窗口中所有像素点的颜色均值，表示第三窗口中所有像素点的颜色均值，表示第一窗口中所有像素点的颜色值方差，ε表示正则化系数阈值，|w|表示第一窗口中像素点总数。
在另一个实施例中，步骤S301可以通过下述方法500确定第一线性关系的斜率。图5示出了根据本申请一些实施例的确定第一线性关系的斜率的方法500的流程图。
如图5所示，确定第一线性关系的斜率的方法500可以执行步骤S501，确定第一窗口对应的方差。
在步骤S502中，确定第一窗口与第二处理图像中相应位置的第三窗口的协方差。
在步骤S503中，确定第一窗口的细节特征在第一处理图像中的权重值。在一个实施例中，步骤S503可以通过方法600来实施。图6示出了根据本申请一些实施例的确定权重值的方法600的流程图。在步骤S601中，确定导向图中各第一像素点所对应的第一方差和所对应的第二方差。其中，第一方差表示以该第一像素点为中心且尺寸满足第二尺寸的窗口的方差，第二方差表示以该第一像素点为中心且尺寸满足所述第一尺寸的窗口的方差。这里，第二尺寸例如可以表示图像处理过程所使用的最小窗口尺寸，例如为3，即半径为1，但不限于此。在步骤S602中，确定第一窗口的中心点所对应的第一方差和所对应的第二方差之积，并将该积的二分一次方作为第三值。在步骤S603中，确定导向图中各第一像素点所对应的第一方差和所对应的第二方差之积，并将各第一像素点对应的积的二分之一次方的平均值作为第四值。在步骤S604，将第三值与第四值的比值作为权重值。
在步骤S504中，确定正则化系数阈值与权重值的第一比值。
在步骤S505中，将步骤S502中协方差与步骤S504中第一比值之和作为第一值，将步骤S502中方差与步骤S504中第一比值之和作为第二值，并将第一值与第二值的比值作为所要确定的斜率。需要说明的是，方法500在确定权重值的过程中，通过使用第二方差(即，满足第二尺寸的窗口内颜色值的方差)确定权重值且利用权重值确定斜率。这样，图像增强方法200在利用与该斜率有关的第二线性关系获取第三处理图像时，可以使得第三处理图像始终保留原始图像中最强细节特征。这里，细节梯度值越大，细节强度越高。换言之，细节特征可以按照细节强度进行区分。图像增强方法200可以始终保留原始图像中最强的细节特征。
在另一个实施例中，步骤S301可以根据下述公式确定代表第一线性关系的斜率：
其中，ak表示斜率，wk表示以像素点k为中心的第一窗口，Ii表示第一窗口中第i个像素点的颜色值，pi表示第三窗口中第i个像素点的颜色值，第三窗口为第二处理图像中与所述第一窗口位置对应的窗口，uk表示第一窗口中所有像素点的颜色均值，表示第三窗口中所有像素点的颜色均值，表示第一窗口中所有像素点的颜色值方差，ε表示正则化系数阈值，|w|表示第一窗口中像素点总数，weightk表示第一窗口的权重值。
其中，步骤S301可以根据下述公式确定第一窗口的权重值：
其中，n表示第一窗口的窗口半径，σk|r＝n 2表示第一窗口中所有像素点的颜色值方差，σk|r＝1 2表示以像素点k为中心且半径为1的窗口中所有像素点的颜色值方差，σi|r＝1 2表示以第一窗口中第i个像素点为中心且半径为1的窗口中所有像素点的颜色值方差，σi|r＝n 2表示以像素点k为中心且半径为1的窗口中所有像素点的颜色值方差，I表示导向图，|wI|表示导向图中像素点总数。
步骤S301在确定包含一个第一像素点的各第一窗口对应的代表第一线性关系的斜率后，还可以根据该斜率确定该第一线性关系的截距。在一个实施例中，步骤S301可以根据下述公式确定截距：
其中，表示第二处理图像中与第一窗口位置相对的第三窗口中像素点的颜色均值，ak表示斜率，uk表示第一窗口中所有像素点的颜色均值。
在步骤S302中，根据各第一窗口对应的第一线性关系，确定该第一像素点对应的第二线性关系。其中，第二线性关系用于描述该第一像素点与第三处理图像中相应位置像素点的线性关系。这里，第二线性关系的斜率为各第一窗口对应的第一线性关系的斜率的均值。
在步骤S303中，根据导向图中各第一像素点的颜色值和各第一像素点所对应的第二线性关系，确定第三处理图像中各像素点的颜色值，即获取第三处理图像。在一个实施例中，步骤S303可以根据下述公式确定各像素点的颜色值：
其中，
其中，ak表示斜率，wk表示导向图中以像素点k为中心的第一窗口，Ii表示第一窗口中第i个像素点的颜色值，|w|表示第一窗口中像素点总数，bk表示一个第一窗口对应的第一线性关系的截距，qi表示第三处理图像中与第一窗口位置相对的第二窗口中第i个像素点的颜色值，表示包含像素点i的各第一窗口的斜率的均值，即第二线性关系的斜率，表示包含像素点i的各第一窗口的截距的均值，即第二线性关系的截距。
图7示出了根据本申请一些实施例的图像增强方法700的流程图。图像增强方法700例如可以在视频应用111或者视频处理应用151中执行，但不限于此。
如图7所示，图像增强方法700可以包括步骤S701至S704。这里，步骤S701至S704的实时方式分别与步骤S201-S204一致，这里不再赘述。
另外，图像增强方法700还可以包括步骤S705，对第三处理图像进行保边滤波处理而得到第四处理图像。在一个实施例中，步骤S705将第三处理图像作为导向图，基于导向图滤波方式对第三处理图像进行处理而得到第四处理图像。这样，步骤S705通过将第三处理图像自身作为导向图进行保边滤波处理，可以进一步提高降噪程度，从而提高图像增强的效果。
图8示出了根据本申请一些实施例的图像增强装置800的示意图。图像增强装置800例如可以驻留在视频应用111或者视频处理应用151中，但不限于此。视频应用111例如可以安装在终端设备110中，视频处理应用151例如可以安装在视频服务系统150中。
如图8所示，图像增强装置800可以包括第一平滑单元801、细节获取单元802、图像叠加单元803和图像增强单元804。
第一平滑单元801用于对原始图像进行保边滤波处理而得到第一处理图像。在一个实施例中，第一平滑单元801将原始图像作为导向图，基于导向图滤波方式对原始图像进行处理而得到第一处理图像。
细节获取单元802用于获取原始图像的细节特征。
在一些实施例中，细节获取单元802可以确定原始图像与第一处理图像之间的颜色差异，根据颜色差异确定细节特征。在一些实施例中，细节获取单元802可以确定原始图像与第一处理图像在一个或多个颜色通道上的差值，并将差值作为颜色差异。在一个实施例中，原始图像为灰度图像。细节获取单元802可以确定原始图像与第一处理图像的灰度值差异，并将其作为颜色差异。在另一个实施例中，细节获取单元802可以按照调节系数增强颜色差异，以获取增强的颜色差异，并将增强的颜色差异作为细节特征。在另一个实施例中，细节获取单元802可以将颜色差异作为细节特征。
图像叠加单元803用于根据细节特征和第一处理图像，确定第二处理图像。
图像增强单元804将原始图像作为导向图，基于导向图滤波方式对第二处理图像进行处理而得到第三处理图像。
在一些实施例中，对于导向图中每一第一像素点，图像增强单元804可以确定包含该第一像素点的各第一窗口与所述第三处理图像中相应位置的第二窗口之间的第一线性关系。其中，各第一窗口的尺寸与相应位置的第二窗口的尺寸为第一尺寸。
在一些实施例中，图像增强单元804可以确定第一窗口对应的方差。在此基础上，图像增强单元804可以确定方差与正则化系数阈值之和。另外，图像增强单元804还可以确定第一窗口与第二处理图像中相应位置的第三窗口的协方差。这样，图像增强单元804可以将协方差与上述和的比值作为第一窗口对应的第一线性关系的斜率。在一个实施例中，图像增强单元804可以根据下述公式确定代表第一线性关系的斜率：
其中，ak表示所述斜率，wk表示以像素点k为中心的所述第一窗口，Ii表示所述第一窗口中第i个像素点的颜色值，pi表示所述第三窗口中第i个像素点的颜色值，所述第三窗口为所述第二处理图像中与所述第一窗口位置对应的窗口，uk表示所述第一窗口中所有像素点的颜色均值，表示所述第三窗口中所有像素点的颜色均值，表示所述第一窗口中所有像素点的颜色值方差，ε表示正则化系数阈值，|w|表示所述第一窗口中像素点总数。另外，图像增强单元804也可以根据斜率确定第一线性关系的截距。
在另一些实施例中，图像增强单元804可以确定第一窗口对应的方差。图像增强单元804可以确定第一窗口与第二处理图像中相应位置的第二窗口的协方差。另外，图像增强单元804可以确定第一窗口的细节特征在第一处理图像中的权重值。
在一个实施例中，图像增强单元804可以确定导向图中各第一像素点所对应的第一方差和所对应的第二方差。其中，第一方差表示以该第一像素点为中心且尺寸满足第二尺寸的窗口的方差。第二方差表示以该第一像素点为中心且尺寸满足第一尺寸的窗口的方差。在此基础上，图像增强单元804可以确定第一窗口的中心点所对应的第一方差和所对应的第二方差之积，并将积的二分一次方作为第三值。另外，图像增强单元804可以确定导向图中各第一像素点所对应的第一方差和所对应的第二方差之积，并将各第一像素点对应的积的二分之一次方的平均值作为第四值。这样，图像增强单元804将第三值与第四值的比值作为权重值。
在上述基础上，图像增强单元804可以确定正则化系数阈值与权重值的第一比值。图像增强单元804可以将协方差与第一比值之和作为第一值，将方差与第一比值之和作为第二值。这样，图像增强单元804可以将第一值与第二值的比值作为第一窗口对应的第一线性关系的斜率。
在一个实施例中，图像增强单元804可以根据下述公式确定代表第一线性关系的斜率：
其中，ak表示所述斜率，wk表示以像素点k为中心的所述第一窗口，Ii表示所述第一窗口中第i个像素点的颜色值，pi表示第三窗口中第i个像素点的颜色值，所述第三窗口为所述第二处理图像中与所述第一窗口位置对应的窗口，uk表示所述第一窗口中所有像素点的颜色均值，表示所述第三窗口中所有像素点的颜色均值，表示所述第一窗口中所有像素点的颜色值方差，ε表示正则化系数阈值，|w|表示所述第一窗口中像素点总数，所述weightk表示所述第一窗口的权重值。
其中，图像增强单元804可以根据下述公式确定第一窗口的权重值：
其中，所述n表示所述第一窗口的窗口半径，σk|r＝n 2表示所述第一窗口中所有像素点的颜色值方差，σk|r＝1 2表示以所述像素点k为中心且半径为1的窗口中所有像素点的颜色值方差，σi|r＝1 2表示以所述第一窗口中第i个像素点为中心且半径为1的窗口中所有像素点的颜色值方差，σi|r＝n 2表示以所述像素点k为中心且半径为1的窗口中所有像素点的颜色值方差，I表示所述导向图，|wI|表示所述导向图中像素点总数。
在确定各第一窗口对应的所述第一线性关系之后，图像增强单元804可以根据各第一窗口对应的第一线性关系，而确定第一像素点对应的第二线性关系。其中，第二线性关系用于描述该第一像素点与第三处理图像中相应位置像素点的线性关系。
在上述基础上，图像增强单元804可以根据导向图中各第一像素点的颜色值和各第一像素点所对应的第二线性关系，确定第三处理图像中各像素点的颜色值。综上，图像增强装置800可以获取具有高平滑程度和增强的细节特征的第三处理图像。这里，图像增强装置800通过提高图像的降噪程度和增强的细节特征，从而可以使得画面更加清晰、整体亮度更均匀、层次感更强、对比度更高和色彩更鲜艳等效果。其中，对比度越高，图像的色阶越高，画面越饱满。特别说明的是，图像增强装置800可以实现对图像内容的自适应处理，从而提高了对图像处理的鲁棒性。另外，图像增强装置800通过采用导向图滤波方式，可以使得第三处理图像的亮度更加均匀。
图9示出了根据本申请一些实施例的图像增强装置900的示意图。图像增强装置900例如可以驻留在视频应用111或者视频处理应用151中，但不限于此。视频应用111例如可以安装在终端设备110中，视频处理应用151例如可以安装在视频服务系统150中。
如图9所示，图像增强装置900可以包括第一平滑单元901、细节获取单元902、图像叠加单元903和图像增强单元904。这里，第一平滑单元901、细节获取单元902、图像叠加单元903和图像增强单元904的实施方式分别与第一平滑单元801、细节获取单元802、图像叠加单元803和图像增强单元804一致，这里不再赘述。
另外，图像增强装置900还可以包括第二平滑单元905，用于对所第三处理图像进行保边滤波处理而得到第四处理图像。在一个实施例中，第二平滑单元905将第三处理图像作为导向图，基于导向图滤波方式对第三处理图像进行处理而得到第四处理图像。这样，通过将第三处理图像自身作为导向图进行保边滤波处理，图像增强装置900可以进一步提高降噪程度，从而提高图像增强的效果。
图10示出了一个计算设备的组成结构图。如图10所示，该计算设备包括一个或者多个处理器(CPU)1002、通信模块1004、存储器1006、用户接口1010，以及用于互联这些组件的通信总线1008。
处理器1002可通过通信模块1004接收和发送数据以实现网络通信和/或本地通信。
用户接口1010包括一个或多个输出设备1012，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口1010也包括一个或多个输入设备1014。用户接口1010例如可以接收遥控器的指令，但不限于此。
存储器1006可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。
存储器1006存储处理器1002可执行的指令集，包括：
操作系统1016，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；
应用1018，包括用于实现上述图像增强方法的各种程序，这种程序能够实现上述各实例中的处理流程，比如可以包括图8所示的图像增强装置800或图9所示的图像增强装置900。这样，图像增强装置可以获取具有高平滑程度和增强的细节特征的第三处理图像。这里，图像增强装置通过提高图像的降噪程度和增强的细节特征，从而可以使得画面更加清晰、整体亮度更均匀、层次感更强、对比度更高和色彩更鲜艳等效果。
另外，本申请的每一个实例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本申请。
此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本申请还公开了一种非易失性存储介质，其中存储有数据处理程序，该数据处理程序用于执行本申请上述应用图像增强方法的任意一种或部分实施例。
另外，本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述图像增强方法的硬件也可以构成本申请。
以上所述仅为本申请的较佳实例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (26)

1.一种图像增强方法，其特征在于，所述方法包括：
对原始图像进行保边滤波处理而得到第一处理图像；
确定所述原始图像与所述第一处理图像之间的颜色差异，根据所述颜色差异确定所述原始图像的细节特征；
将所述细节特征叠加到所述第一处理图像，而得到第二处理图像；以及
将所述原始图像作为导向图，基于导向图滤波方式对所述第二处理图像进行处理而得到第三处理图像，包括：
对于所述导向图中每一个第一像素点，确定包含该第一像素点的各第一窗口与所述第三处理图像中相应位置的第二窗口之间的第一线性关系，包括：确定所述第一窗口对应的方差，确定所述第一窗口与所述第二处理图像中相应位置的第二窗口的协方差，确定所述第一窗口的细节特征在所述第一处理图像中的权重值，确定正则化系数阈值与所述权重值的第一比值，以及将所述协方差与所述第一比值之和作为第一值，将所述方差与所述第一比值之和作为第二值，并将所述第一值与所述第二值的比值作为所述第一窗口对应的代表所述第一线性关系的斜率。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：对所述第三处理图像进行保边滤波处理而得到第四处理图像。
3.如权利要求2所述的方法，其特征在于，所述对所述第三处理图像进行保边滤波处理而得到第四处理图像，包括：
将所述第三处理图像作为导向图，基于所述导向图滤波方式对第三处理图像进行处理而得到所述第四处理图像。
4.如权利要求1所述的方法，其特征在于，所述对原始图像进行保边滤波处理而得到第一处理图像，包括：
将所述原始图像作为导向图，基于所述导向图滤波方式对所述原始图像进行处理而得到所述第一处理图像。
5.如权利要求1所述的方法，其特征在于，所述确定所述原始图像与所述第一处理图像之间的颜色差异，包括：
确定所述原始图像与所述第一处理图像在一个或多个颜色通道上的差值，并将所述差值作为所述颜色差异。
6.如权利要求5所述的方法，其特征在于，所述原始图像为灰度图像，所述确定所述原始图像与所述第一处理图像在一个或多个颜色通道上的差值，并将所述差值作为所述颜色差异，包括：
确定所述原始图像与所述第一处理图像的灰度值差异，并将其作为所述颜色差异。
7.如权利要求1所述的方法，其特征在于，所述根据所述颜色差异确定所述原始图像的细节特征，包括：
按照调节系数增强所述颜色差异，以获取增强的颜色差异，并将所述增强的颜色差异作为所述细节特征。
8.如权利要求1所述的方法，其特征在于，所述根据所述颜色差异确定所述原始图像的细节特征，包括：将所述颜色差异作为所述细节特征。
9.如权利要求1所述的方法，其特征在于，所述将所述原始图像作为导向图，基于导向图滤波方式对所述第二处理图像进行处理而得到第三处理图像，进一步包括：根据各第一窗口对应的所述第一线性关系，确定该第一像素点对应的第二线性关系，其中，所述第二线性关系用于描述该第一像素点与所述第三处理图像中相应位置像素点的线性关系；以及
根据所述导向图中各第一像素点的颜色值和各第一像素点所对应的所述第二线性关系，确定所述第三处理图像中各像素点的颜色值。
10.如权利要求1所述的方法，其特征在于，所述确定所述第一窗口的细节特征在所述第一处理图像中的权重值，包括：
确定所述导向图中各第一像素点所对应的第一方差和所对应的第二方差，其中，所述第一方差表示以该第一像素点为中心且尺寸满足第二尺寸的窗口的方差，所述第二方差表示以该第一像素点为中心且尺寸满足第一尺寸的窗口的方差，所述各第一窗口的尺寸与相应位置的所述第二窗口的尺寸为所述第一尺寸；
确定所述第一窗口的中心点所对应的第一方差和所对应的第二方差之积，并将所述积的二分一次方作为第三值；
确定所述导向图中各第一像素点所对应的第一方差和所对应的第二方差之积，并将所述各第一像素点对应的积的二分之一次方的平均值作为第四值；以及
将所述第三值与所述第四值的比值作为所述权重值。
11.如权利要求1所述的方法，其特征在于，所述确定包含该第一像素点的各第一窗口与所述第三处理图像中相应位置的第二窗口之间的第一线性关系，包括：
根据下述公式确定代表所述第一线性关系的斜率：
其中，ak表示所述斜率，wk表示以像素点k为中心的所述第一窗口，Ii表示所述第一窗口中第i个像素点的颜色值，pi表示第三窗口中第i个像素点的颜色值，所述第三窗口为所述第二处理图像中与所述第一窗口位置对应的窗口，uk表示所述第一窗口中所有像素点的颜色均值，表示所述第三窗口中所有像素点的颜色均值，表示所述第一窗口中所有像素点的颜色值方差，ε表示正则化系数阈值，|w|表示所述第一窗口中像素点总数，所述weightk表示所述第一窗口的权重值；
其中，根据下述公式确定所述第一窗口的权重值weightk：
其中，所述n表示所述第一窗口的窗口半径，σk|r＝n 2表示所述第一窗口中所有像素点的颜色值方差，σk|r＝1 2表示以所述像素点k为中心且半径为1的窗口中所有像素点的颜色值方差，σi|r＝1 2表示以所述第一窗口中第i个像素点为中心且半径为1的窗口中所有像素点的颜色值方差，σi|r＝n 2表示以所述像素点k为中心且半径为1的窗口中所有像素点的颜色值方差，I表示所述导向图，|wI|表示所述导向图中像素点总数。
12.一种图像增强装置，其特征在于，所述装置包括：
第一平滑单元，用于对原始图像进行保边滤波处理而得到第一处理图像；
细节获取单元，用于确定所述原始图像与所述第一处理图像之间的颜色差异，根据所述颜色差异确定所述原始图像的细节特征；
图像叠加单元，用于将所述细节特征叠加到所述第一处理图像，而得到第二处理图像；以及
图像增强单元，用于将所述原始图像作为导向图，基于导向图滤波方式对所述第二处理图像进行处理而得到第三处理图像，其中，对于所述导向图中每一个第一像素点，图像增强单元确定包含该第一像素点的各第一窗口与所述第三处理图像中相应位置的第二窗口之间的第一线性关系，其中，图像增强单元确定所述第一窗口对应的方差，确定所述第一窗口与所述第二处理图像中相应位置的第二窗口的协方差，确定所述第一窗口的细节特征在所述第一处理图像中的权重值，确定正则化系数阈值与所述权重值的第一比值，以及将所述协方差与所述第一比值之和作为第一值，将所述方差与所述第一比值之和作为第二值，并将所述第一值与所述第二值的比值作为所述第一窗口对应的代表所述第一线性关系的斜率。
13.如权利要求12所述的图像增强装置，其特征在于，还包括第二平滑单元，用于对所述第三处理图像进行保边滤波处理而得到第四处理图像。
14.如权利要求13所述的图像增强装置，其特征在于，所述第二平滑单元根据下述方式对第三处理图像进行保边滤波处理：
将所述第三处理图像作为导向图，基于所述导向图滤波方式对第三处理图像进行处理而得到所述第四处理图像。
15.如权利要求12所述的图像增强装置，其特征在于，所述第一平滑单元根据下述方式对原始图像进行保边滤波处理而得到第一处理图像：
将所述原始图像作为导向图，基于所述导向图滤波方式对所述原始图像进行处理而得到所述第一处理图像。
16.如权利要求12所述的图像增强装置，其特征在于，所述细节获取单元根据下述方式确定所述原始图像与所述第一处理图像之间的颜色差异：确定所述原始图像与所述第一处理图像在一个或多个颜色通道上的差值，并将所述差值作为所述颜色差异。
17.如权利要求16所述的图像增强装置，其特征在于，所述原始图像为灰度图像，所述细节获取单元根据下述方式确定所述原始图像与所述第一处理图像在一个或多个颜色通道上的差值，并将所述差值作为所述颜色差异：
确定所述原始图像与所述第一处理图像的灰度值差异，并将其作为所述颜色差异。
18.如权利要求12所述的图像增强装置，其特征在于，所述细节获取单元根据下述方式来根据所述颜色差异确定所述细节特征：按照调节系数增强所述颜色差异，以获取增强的颜色差异，并将所述增强的颜色差异作为所述细节特征。
19.如权利要求12所述的图像增强装置，其特征在于，细节获取单元根据下述方式来根据所述颜色差异确定所述细节特征：将所述颜色差异作为所述细节特征。
20.如权利要求12所述的图像增强装置，其特征在于，所述图像增强单元进一步用于：
根据各第一窗口对应的所述第一线性关系，确定该第一像素点对应的第二线性关系，其中，所述第二线性关系用于描述该第一像素点与所述第三处理图像中相应位置像素点的线性关系；
根据所述导向图中各第一像素点的颜色值和各第一像素点所对应的所述第二线性关系，确定所述第三处理图像中各像素点的颜色值。
21.如权利要求12所述的图像增强装置，其特征在于，所述图像增强单元根据下述方式确定第一窗口的细节特征在所述第一处理图像中的权重值：
确定所述导向图中各第一像素点所对应的第一方差和所对应的第二方差，其中，所述第一方差表示以该第一像素点为中心且尺寸满足第二尺寸的窗口的方差，所述第二方差表示以该第一像素点为中心且尺寸满足第一尺寸的窗口的方差，所述各第一窗口的尺寸与相应位置的所述第二窗口的尺寸为所述第一尺寸；
确定所述第一窗口的中心点所对应的第一方差和所对应的第二方差之积，并将所述积的二分一次方作为第三值；
确定所述导向图中各第一像素点所对应的第一方差和所对应的第二方差之积，并将所述各第一像素点对应的积的二分之一次方的平均值作为第四值；
将所述第三值与所述第四值的比值作为所述权重值。
22.如权利要求12所述的图像增强装置，其特征在于，所述图像增强单元根据下述方式确定包含该第一像素点的各第一窗口与所述第三处理图像中相应位置的第二窗口之间的第一线性关系：根据下述公式确定代表所述第一线性关系的斜率：
其中，ak表示所述斜率，wk表示以像素点k为中心的所述第一窗口，Ii表示所述第一窗口中第i个像素点的颜色值，pi表示第三窗口中第i个像素点的颜色值，所述第三窗口为所述第二处理图像中与所述第一窗口位置对应的窗口，uk表示所述第一窗口中所有像素点的颜色均值，表示所述第三窗口中所有像素点的颜色均值，表示所述第一窗口中所有像素点的颜色值方差，ε表示正则化系数阈值，|w|表示所述第一窗口中像素点总数，所述weightk表示所述第一窗口的权重值；
其中，图像增强单元根据下述公式确定所述权重值：
其中，所述n表示所述第一窗口的窗口半径，σk|r＝n 2表示所述第一窗口中所有像素点的颜色值方差，σk|r＝1 2表示以所述像素点k为中心且半径为1的窗口中所有像素点的颜色值方差，σi|r＝1 2表示以所述第一窗口中第i个像素点为中心且半径为1的窗口中所有像素点的颜色值方差，σi|r＝n 2表示以所述像素点k为中心且半径为1的窗口中所有像素点的颜色值方差，I表示所述导向图，|wI|表示所述导向图中像素点总数。
23.一种视频服务系统，其特征在于，所述系统包括：如权利要求12-22中任一项所述的图像增强装置。
24.一种终端设备，其特征在于，所述终端设备包括：如权利要求12-22中任一项所述的图像增强装置。
25.一种计算设备，其特征在于，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，存储在该存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1-11中任一项所述的图像增强方法的指令。
26.一种存储介质，存储有一个或多个程序，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1-11中任一项所述的图像增强方法。
CN201810149722.1A 2018-02-13 2018-02-13 图像增强方法、装置、计算设备及存储介质 Active CN108335275B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810149722.1A CN108335275B (zh) 2018-02-13 2018-02-13 图像增强方法、装置、计算设备及存储介质
EP19754702.9A EP3754590B1 (en) 2018-02-13 2019-01-31 Image enhancement method, data processing device, and storage medium
PCT/CN2019/074067 WO2019157966A1 (zh) 2018-02-13 2019-01-31 图像增强方法、数据处理设备及存储介质
US16/902,481 US11263727B2 (en) 2018-02-13 2020-06-16 Image enhancement method, data processing device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810149722.1A CN108335275B (zh) 2018-02-13 2018-02-13 图像增强方法、装置、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN108335275A CN108335275A (zh) 2018-07-27
CN108335275B true CN108335275B (zh) 2019-12-13

Family

ID=62929638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810149722.1A Active CN108335275B (zh) 2018-02-13 2018-02-13 图像增强方法、装置、计算设备及存储介质

Country Status (4)

Country Link
US (1) US11263727B2 (zh)
EP (1) EP3754590B1 (zh)
CN (1) CN108335275B (zh)
WO (1) WO2019157966A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335275B (zh) 2018-02-13 2019-12-13 腾讯科技（深圳）有限公司 图像增强方法、装置、计算设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102064796A (zh) * 2010-11-15 2011-05-18 中南大学 一种简化的具有负系数的加权重复伪中值滤波方法
CN107316279A (zh) * 2017-05-23 2017-11-03 天津大学 基于色调映射和正则化模型的弱光图像增强方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002131B2 (en) * 2011-09-18 2015-04-07 Forus Health Pvt. Ltd. Method and system for enhancing image quality
KR101401916B1 (ko) 2012-05-02 2014-06-10 민진식 회전 직립 자전거 거치대
KR101341616B1 (ko) * 2012-05-10 2013-12-13 중앙대학교 산학협력단 세부정보 추정에 의한 영상 개선 장치 및 방법
KR101736468B1 (ko) * 2012-12-24 2017-05-29 한화테크윈 주식회사 영상 처리 장치 및 방법
KR101760854B1 (ko) * 2013-03-22 2017-07-24 마벨 월드 트레이드 리미티드 유도 필터 기반의 디테일 강조
SG11201508430SA (en) * 2013-04-12 2015-11-27 Agency Science Tech & Res Method and system for processing an input image
CN103337061B (zh) * 2013-07-18 2016-02-17 厦门大学 一种基于多次引导滤波的图像去雨雪方法
JP6287100B2 (ja) * 2013-11-20 2018-03-07 株式会社リコー 画像処理装置、画像処理方法、プログラム及び記憶媒体
US9911179B2 (en) * 2014-07-18 2018-03-06 Dolby Laboratories Licensing Corporation Image decontouring in high dynamic range video processing
US9779491B2 (en) * 2014-08-15 2017-10-03 Nikon Corporation Algorithm and device for image processing
CN104318527A (zh) * 2014-10-21 2015-01-28 浙江工业大学 基于小波变换和引导滤波器的医学超声图像去噪方法
US20160241884A1 (en) * 2015-02-13 2016-08-18 Tandent Vision Science, Inc. Selective perceptual masking via scale separation in the spatial and temporal domains for use in data compression with motion compensation
LU92673B1 (en) * 2015-03-05 2016-09-06 Iee Int Electronics & Eng Sa Method and system for real-time noise removal and image enhancement of high-dynamic range images
JP6164238B2 (ja) * 2015-03-18 2017-07-19 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
US20170109867A1 (en) * 2015-10-16 2017-04-20 Motorola Mobility Llc Camera array for performing non-local means image processing over multiple sequential images
JP6635799B2 (ja) * 2016-01-20 2020-01-29 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10223772B2 (en) * 2016-03-22 2019-03-05 Algolux Inc. Method and system for denoising and demosaicing artifact suppression in digital images
US11113800B2 (en) * 2017-01-18 2021-09-07 Nvidia Corporation Filtering image data using a neural network
CN107481203B (zh) * 2017-08-14 2020-05-15 厦门美图之家科技有限公司 一种图像导向滤波方法及计算设备
CN108335275B (zh) * 2018-02-13 2019-12-13 腾讯科技（深圳）有限公司 图像增强方法、装置、计算设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102064796A (zh) * 2010-11-15 2011-05-18 中南大学 一种简化的具有负系数的加权重复伪中值滤波方法
CN107316279A (zh) * 2017-05-23 2017-11-03 天津大学 基于色调映射和正则化模型的弱光图像增强方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Analysis of noise power spectrum for linear and non-linear reconstruction algorithms for CT;Debashish Pal等;《2011 IEEE Nuclear Science Symposium Conference Record》;20120221;全文 *
基于多通道滤波技术的散斑条纹图正则化方法;李凯;《实验力学》;20101231;第25卷(第6期);全文 *

Also Published As

Publication number Publication date
US20200311880A1 (en) 2020-10-01
EP3754590A4 (en) 2021-03-24
EP3754590A1 (en) 2020-12-23
US11263727B2 (en) 2022-03-01
WO2019157966A1 (zh) 2019-08-22
CN108335275A (zh) 2018-07-27
EP3754590B1 (en) 2022-04-20

Similar Documents

Publication Publication Date Title
US10574537B2 (en) Method for enhancing quality of media transmitted via network
US11803947B2 (en) Brightness and contrast enhancement for video
US8780996B2 (en) System and method for encoding and decoding video data
US20210004962A1 (en) Generating effects on images using disparity guided salient object detection
US10198801B2 (en) Image enhancement using self-examples and external examples
US20170024852A1 (en) Image Processing System for Downscaling Images Using Perceptual Downscaling Method
US11908241B2 (en) Method for correction of the eyes image using machine learning and method for machine learning
KR102045538B1 (ko) 패치 기반 다중 노출 영상 융합 방법 및 장치
US11887280B2 (en) Method, system, and computer-readable medium for improving quality of low-light images
CN115115554B (zh) 基于增强图像的图像处理方法、装置和计算机设备
Su et al. Joint contrast enhancement and noise reduction of low light images via JND transform
CN108335275B (zh) 图像增强方法、装置、计算设备及存储介质
CN112819691B (zh) 图像处理方法、装置、设备及可读存储介质
US20240005563A1 (en) Encoders for Improved Image Dithering
US10992873B2 (en) Systems and methods for color matching for realistic flash images
CN114862729A (zh) 图像处理方法、装置、计算机设备和存储介质
WO2019090580A1 (en) System and method for image dynamic range adjusting
CN115953597B (zh) 图像处理方法、装置、设备及介质
CN110689478A (zh) 图像风格化处理方法、装置、电子设备及可读介质
US11308585B2 (en) Noise reduction method for high dynamic range videos
CN114511580A (zh) 图像处理方法、装置、设备及存储介质
AU2011200830B2 (en) Method, apparatus and system for modifying quality of an image
EP2958103A1 (en) Method and device for encoding a sequence of pictures
CN115731112A (zh) 图像降噪方法、装置、终端设备和可读存储介质
CN116503263A (zh) 渲染图降噪方法、模型渲染方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant