CN104067311A - 数字化妆 - Google Patents

Abstract

本发明的一些实施方式的一方面涉及一种用于处理人面部的图像的系统，该系统包括数据处理和分析工具，其包括：高通滤波模块，被配置用于接收指示图像的特征的输入图像数据并输出指示输入图像数据中的面部的边缘和轮廓中的至少一个的高通信号；至少一个带通滤波模块，被配置用于接收指示输入图像数据的数据并输出指示面部的低对比度的缓慢变化的定性特征的带通信号；低通滤波模块，被配置用于接收指示输入图像数据的数据并输出平滑低对比度区域且保留高对比度区域的低通信号；特征计算模块，被配置用于接收输入图像数据并针对图像的多个像素计算图像的局部特征；强度计算模块，被配置用于从特征计算模块接收局部特征，使用局部特征来确定局部操作数以确定高通滤波模块、带通滤波模块、低通滤波模块中的各滤波模块中使用的滤波器在所述多个像素处的强度，并将局部操作数传输至各个所述滤波模块；至少一个变换模块，被配置用于接收并改变高通信号、带通信号、和低通信号中的至少一个的至少一部分；以及加法模块，被配置用于在改变其所述至少一部分之后接收高通信号、带通信号、和低通信号，并将所接收的信号加在一起，由此产生指示改变的图像的特征的输出信号。

Description

数字化妆

技术领域

本发明属于图像处理领域，更具体地，属于处理人面部的图像的领域。

背景技术

已经开发出许多技术以改变人面部的图像，以便改善面部的外观。

在美国专利8,107,672中，公开了一种化妆模拟系统(makeupsimulation system)。该模拟系统将化妆应用于具有在其上捕获的用户的面部的图像的视频，并且特征在于：用于捕获用户的面部的图像并输出视频的图像捕获装置；用于接收从图像捕获装置输出的视频，对该视频执行图像处理并输出该视频的控制装置；以及用于显示从控制装置输出的视频的显示装置，其中，控制装置包括：用于基于预定跟踪点从视频中识别用户的面部的面部识别装置；以及基于跟踪点对包含在视频中的用户的面部施加预定化妆并将视频输出到显示装置的化妆处理装置。

美国专利6,502,583公开了一种方法，其包括确定想要校正照片或想要化妆的人请求的所请求的面部，并基于所请求面部通过执行图像处理，如这个人原始面部图像或面部的轮廓组合来创建校正或化妆的面部的图像。

发明内容

本领域需要一种改善面部的图像的新颖技术，而无需识别面部的特定区域，并且无需大量的处理能力。

上文提及的美国专利8,107,672和美国专利6,502,583描述了识别面部的局部特征(跟踪点)，并基于所识别的局部特征来处理图像的面部识别技术。

在美国专利5,442,462和美国专利5,799,111中所描述的其他一些已知的图像处理技术利用施加于图像的自适应平滑滤波器。自适应单向和双向处理用于基于逐个像素提取确定适用于像素信号和噪声特征的平滑处理过程的标准。更具体地，将要施加于给定像素的滤波器的参数(例如，强度)取决于图像的局部特征。例如，为了针对图像的给定像素确定滤波器的强度，计算第一序列中给定像素的值与相邻的前一个值的值之间的差。滤波器的强度根据该差来计算。因为自适应滤波器的参数针对各方向进行局部计算，所以美国专利5,442,462和美国专利5,799,111的技术可能涉及密集处理并且其执行可能是费时的。这可能使得其难以对图像进行实时或近实时改变，因此对数字化妆应用可能没有用。

所感知的人面部的美丽的外观众所周知包括多个基本因素，包括以下项：(a)面部特征敏锐和活力，(b)面部皮肤光泽、清晰度和肤色(tone)，以及(c)面部形态、结构和对齐。这些因素通常通过使用各种物质(例如，彩色透明液体、油和粉)以及工具(tool)(例如，刷、海绵、画线笔、气刷等)的美容化妆技术来改善。

就专业化妆来说，(a)活力通常利用眼线笔和唇线笔(例如经常为化妆铅笔和液体眼线笔)来实现，(b)皮肤光泽、清晰度和肤色通过涂抹粉底、遮瑕膏、腮红和粉来改善，(c)通过在特定的面部部位施加相应的高亮和阴影来改善形态和结构。

本发明是以本发明人对化妆过程的主要步骤的理解为基础，即打粉底、涂遮瑕膏、描线、形态(morphology)、打腮红、散粉。更具体地：

打粉底包括通过在整个面部涂抹透明粉底物质来平滑皮肤纹理，由此创建画布(cancas)的步骤，即平坦、均匀、发白的整个面部区域的表面，所有后续步骤都施加到该表面上。这有点类似于画家在平坦的白色画布上开始艺术创作。

涂遮瑕膏包括局部涂抹与皮肤颜色匹配的遮盖物质的步骤，该遮盖物质覆盖局部皮肤瑕疵和不规则，例如，暗疮、粉刺、炎症、红肿或变色区域、毛孔、胎记、斑点、雀斑、皱纹、褶皱、蛛网痣、眼睛下的黑眼圈、嘴唇周围的蓝绿区域等。这些不规则的每一个都可能需要不同的遮盖动作，例如，遮瑕膏摊开在将遮盖效果与附近的正常皮肤区域最好融合的方向上。例如，眼睛下的黑眼圈通常通过以下动作来遮盖：在一般部位涂遮瑕膏，然后在向侧面和向下(但不向上到眼睛)的多个方向上摊开该材料，接着在相对的方向上摊开遮瑕膏直到均匀并实现所期望的融合。

描线突出重要面部部位例如嘴唇和眼睛的轮廓和边缘，由此提高面部活力。

形态包括根据需要，通过在面部的特定区域施加阴影和高亮来重构面部的步骤。深色(阴影)遮光并使区域后退，例如脸颊、太阳穴、下巴、鼻子两侧的凹陷。浅色(高亮)使事物(例如颧骨、眼睛下方、眉骨和下巴中间)更突显出来。

打腮红包括给面部，在局部区域上或在整个面部上添加颜色和活力的步骤。

散粉包括在整个面部或在产生闪亮的面部或头部的特定区域添加散粉的步骤，闪亮通常取决于照明条件和角度。

本发明涉及一种用于改变人面部的图像的数字图像处理技术，即数字化妆(DM)。这个技术是基于本发明人认识到，许多上述化妆师动作可以由专门设计的算法进行逼真模仿。根据本发明，DM处理适用于包括人面部的整个图像，而不需要具体知道图像中面部的位置、面部结构、面部特征位置或面部皮肤的几何形状和边界的任何知识。DM处理通过以下算法来模拟化妆处理的上述一些主要步骤：通过平滑面部像素来模拟粉底的涂抹，通过检测局部的面部变化并将这些变化平滑为周围的肤色来模拟遮瑕膏的涂抹，通过提取面部边缘和轮廓，并保留或增强该面部边缘和轮廓来模拟描线的动作，通过识别极端高亮并使用图像变换进一步对这些变化进行平滑来模拟散粉，由此模仿海绵或刷的动作。任选地，腮红的涂抹可以通过以下操作来模仿，感测轻微颜色变化的图像区域并增强它们，和/或实现适用于彩色图像分量的全局非线性颜色直方图变换操作，由此增强主要影响面部区域的图像色彩饱和度。

上文在本发明中通过组合不同种类的数字滤波器(下面将定义)以构造一种改进的面部图像表示来实现。在本发明中，通过滤波器的输出之间各自的差分(其中滤波器的输入是指示原始面部图像的信号，或接收指示原始面部图像的信号的前一个滤波器的输出作为输入)，面部图像数据被分解成指示面部的定性特征(例如，细节和不同种类的瑕疵)的不同分量信号。该差分产生高通信号、至少一个带通信号和一个低通信号。相应的变换和/或滤波器被应用于分量信号的至少一个，以增加或减小所期望的面部定性特征的强度(例如，以便实现改善的数字化妆效果，打粉底、涂遮瑕膏、描线、打腮红和散粉)。最后，变换/滤波分量信号被相加在一起以形成输出信号，该输出信号可以被转换成输出图像。应该注意，在不同的面部定性特征经由本发明的多重滤波和差分技术(multiple-filtering-and-differencing)分成它们对应的分量信号之后，一些定性特征可以被加强并且另一些定性特征可以被平滑或衰减。例如，本发明的技术可以通过衰减不期望的定性特征(例如，皮肤纹理、皱纹、浮肿、粉刺、疤痕、斑点)并加强期望的定性特征(面部的细节，例如，轮廓和边缘)来改善面部的外观。然而，可以以相同的方式使用数字化妆，以便通过加强不期望的定性特征和/或衰减期望的定性特征来提供一种面部的外观劣化(例如，老化而不是抗老化)的输出图像。

任选地，本发明的技术可以被进一步修改以改善面部形态。这通常通过向特定的面部部位施加高亮和阴影来实现。为此，需要面部特征检测和/或面部皮肤检测/分割操作，因为这些高亮和阴影将相对于这些面部特征而被放置在特定位置(例如，眼睛、眉毛、嘴唇、鼻子、下巴、脸颊、颧骨、前额等)。在DM处理将被单独且选择性地施加到面部区域而不是施加于任何背景区域的情况下，需要这种面部检测和皮肤分割。本发明不需要针对其操作的这种面部检测和皮肤分割，但是可以使用此分割来进一步改善一些成像应用。

因此，本发明的一些实施方式的一方面涉及一种用于处理人面部的图像的系统，所述系统包括数据处理和分析工具(data processing andanalyzing utility)，其包括：高通滤波模块，被配置用于接收指示图像的特征的输入图像数据并输出指示输入图像数据中的面部的边缘和轮廓的至少一个的高通信号；至少一个带通滤波模块，被配置用于接收指示输入图像数据的数据并输出指示面部的低对比度的缓慢变化的定性特征的带通信号；低通滤波模块，被配置用于接收指示输入图像数据的数据并输出低对比度区域被平滑并且保留高对比度区域的低通信号；特征计算模块，被配置用于接收输入图像数据并针对图像的多个像素计算图像的局部特征；强度计算模块，被配置用于从特征计算模块接收所述局部特征，使用局部特征来确定局部操作数(localized operand)以确定所述多个像素处的高通滤波模块、带通滤波模块、低通滤波模块的各模块中使用的滤波器的强度，并将局部操作数传输至所述滤波模块的各模块；至少一个变换模块，被配置用于接收并改变高通信号、带通信号和低通信号的至少一个的至少一部分；以及加法模块，被配置用于在改变所述其至少一部分之后接收高通信号、带通信号和低通信号，并将所接收的信号加在一起，由此产生指示改变后的图像的特征的输出信号。

在一个变形中，高通滤波模块包括：第一滤波工具(filtering utility)，被配置用于接收输入图像数据，对其施加第一平滑滤波器，并输出第一平滑信号；以及第一减法工具(subtracting utility)，用于从输入图像数据中减去第一平滑信号，由此产生高通信号。

任选地，至少一个带通滤波设备包括：第二滤波工具，被配置用于接收输入图像数据，将第二平滑滤波器施加于此，并输出第二平滑信号；以及第二减法工具，用于从第一平滑信号中减去第二平滑信号，由此产生至少一个带通信号。

任选地，低通滤波模块包括第二滤波工具，第二平滑信号是低通信号。

在另一个变形中，至少一个带通滤波模块包括：第二滤波工具，被配置用于接收第一平滑信号，将第二平滑滤波器施加于第一平滑信号，并输出第二平滑信号；以及第二减法工具，用于从第一平滑信号中减去第二平滑信号，由此产生至少一个带通信号。

任选地，低通滤波模块包括第二滤波单元，第二平滑信号是低通信号。

在一个变形中，强度计算模块被配置用于确定局部操作数以确定多个像素处的平滑滤波器的强度，并将局部操作数传输至滤波工具。

在另一个变形中，滤波工具的至少一个被配置用于接收单独的全局参数(individual global parameter)，并使用全局参数和局部操作数来计算相应平滑滤波器的强度。

在又一个变形中，强度计算模块被配置用于确定多个局部操作数，每个局部操作数对应于相应滤波工具并指示相应平滑滤波器的强度；并且每个滤波工具被配置用于使用相应局部操作数来确定相应平滑滤波器的强度。

在进一步变形中，滤波工具的至少一个被配置用于将多维自适应平滑滤波器应施加于相应的接收信号。

在再一个变形中，滤波工具的至少一个被配置用于将线性平滑滤波器施加于相应的接收信号。任选地，第一滤波工具被配置用于施加线性平滑滤波器。

根据本发明的一些实施方式，上面定义的系统包括带通滤波模块的阵列，其中，每个带通滤波模块包括：相应的滤波工具，被配置用于接收指示输入图像数据的所述数据并对其施加相应的平滑滤波器，并输出相应的平滑信号；以及相应的减法工具，用于从由包括在前一个滤波模块中的前一个滤波工具输出的前一个平滑信号中减去相应的平滑信号，由此产生相应的带通信号。

任选地，低通滤波模块包括滤波工具，其是所述带通滤波模块的阵列中的最后带通滤波模块的一部分，以生成作为低通信号的最后平滑信号。

根据本发明的一些实施方式，提供了一种系统，包括：第一高通滤波模块，被配置用于接收指示图像的特征的输入图像数据并输出指示图像中的面部的至少边缘和/或轮廓的第一高通信号；抽取模块(decimatingmodule)，被配置用于接收输入图像数据，并处理所接收的图像数据以减小输入图像的尺寸从而产生第一抽取图像，并输出指示第一抽取图像的抽取信号；如上所述的滤波系统，被配置用于接收并处理第一抽取信号，并输出指示第一输出图像的第一输出信号；插值模块，被配置用于接收第一输出信号，并对第一输出信号进行插值以输出指示尺寸(size，大小)等于输入图像的尺寸的图像的插值信号；以及第一加法模块，被配置用于接收插值信号和第一输出信号，并将插值信号和第一输出信号加在一起，由此产生指示改变后的图像的特征的第二输出信号。

任选地，系统包括：第一变换模块，被配置用于改变第一高通信号的至少一部分以输出第一变换信号；第一加法模块，被配置用于接收插值信号和第一变换信号，并将其加在一起，由此产生指示改变后的图像的特征的第二输出信号。

在一个变形中，第一高通滤波模块包括：第二插值模块，被配置用于接收抽取信号并对抽取信号进行插值以输出第二插值信号，第一高通滤波模块被配置用于接收输入图像数据和第二插值信号；以及第一减法单元，被配置用于从输入图像数据中减去第二插值信号，由此产生第一高通信号。

在另一个变形中，系统包括第二抽取模块，被配置用于对第一抽取信号执行第二抽取以输出第二抽取信号，所述第二抽取信号由所述滤波系统接收并处理以输出第一输出信号。

本发明的一些实施方式的另一方面涉及一种用于处理指示人面部的图像的特征的输入信号的方法，所述方法由数据处理和分析工具实现并包括：

(i)对输入图像数据进行处理以针对图像的多个像素计算图像的局部特征；

(ii)使用局部特征来确定局部操作数；

(iii)将高通滤波器、至少一个带通滤波器和低通滤波器施加于指示输入图像数据的数据，由此生成高通分量信号、至少一个带通分量信号和低通分量信号，使得每个滤波器的强度取决于局部操作数；

(iv)将至少一个变换应用于高通分量信号、带通分量信号和低通分量信号的至少一个，以至少一个改变分量信号的至少一部分；

(v)在改变分量的至少一个之后将分量信号相加，由此产生指示改变后的图像的特征的输出信号。

根据本发明的一些实施方式，提供了一种用于处理指示人面部的图像的特征的输入信号的方法，所述方法包括：

将第一高通滤波器施加于输入图像数据以生成指示图像中的面部的至少边缘和/或轮廓的第一高通信号；

抽取输入图像数据以输出指示相对于输入图像尺寸减小的图像的抽取信号；

将上述步骤(i)至(v)应用于抽取信号并输出第一输出信号；

对第一输出信号进行插值以输出指示尺寸等于输入图像的尺寸的图像的插值信号；

将第一输出信号与插值信号相加，由此产生指示改变后的图像的特征的第二输出信号。

本发明的一些实施方式的又一方面涉及一种计算机可读介质，结合计算机使用并在其上存储有数据处理和分析工具，所述数据处理和分析工具被配置用于使计算机响应于输入图像数据执行以下各项：

对输入图像数据进行处理以针对图像的多个像素计算图像的局部特征；

使用局部特征来确定局部操作数；

将高通滤波器、至少一个带通滤波器和低通滤波器施加于指示输入图像数据的数据，由此生成高通分量信号、至少一个带通分量信号和低通分量信号，使得每个滤波器的强度取决于局部操作数；

将至少一个变换应用于高通分量信号、带通分量信号和低通分量信号的至少一个，以改变分量信号的至少一个信号的至少一部分；

在改变分量信号的至少一个之后将分量信号相加，由此产生指示改变后的图像的特征的输出信号。

附图说明

为了更好理解在本文中公开的主题并示例如何在实践中实施，现在将参照附图仅通过非限制性示例的方式来描述实施方式，其中：

图1a至图1b是示出了一般技术中已知的一些图像处理技术的附图；

图2a至图2d是示出了通过利用多个滤波器对图像进行滤波来改变输入图像中的面部的定性特征的本发明的技术的不同实施方式的附图，其中每个滤波器在每个像素处的特征取决于图像在每个像素的局部特征；

图3a至图3f是示出了根据本发明的一些实施方式的输入信号、由对输入信号施加不同滤波器产生的分量信号、和输出信号的实例的绘图；

图4a至图4c是示出了根据本发明的一些实施方式的将要施加在不同分量信号上的不同变换的实例的绘图；

图5a至图5c是示出了确定在本发明的一些实施方式中使用的不同平滑滤波器的强度的不同操作数的实例的绘图；

图6a至图6d是示出了本发明的用于处理输入的人面部的图像的系统300的框图，其中输入图像沿两条不同的路径进行处理，并且两条处理路径的输出被组合以产生输出图像；

图7a至图7b是描绘经常需要打阴影和高亮的面部和头部的特定区域，以及经由本发明的技术实施的阴影和高亮的附图；

图8a至图8d和图9a至图9c是示出了本发明的实例的框图，其中上述DM处理经由使用各种编解码器的视频压缩、和使用各种网络和平台的视频传输来执行；

图10和图11示出了根据本发明的一些实施方式的由不同滤波器产生的多个图像；

图12a至图12b是通过本发明的处理技术产生的输入图像和输出图像的照片，示出了粉底效果的实现；

图13a至图13b是通过本发明的处理技术产生的输入图像和输出图像的照片，示出了除皱效果的实现；

图14a至图14c是通过本发明的处理技术产生的输入图像和输出图像的照片，示出了粉刺遮盖效果的实现；

图15a至图15f示出了由本发明的系统的不同配置产生的不同输出图像；

图16a至图16f示出了当本技术在传输设备和接收设备之间通信的不同阶段应用时本发明的效果技术；

图17a至图17f表示用于以不同方式改变输入图像的本发明的技术的不同应用；

图18a至图18b是由本发明的处理技术产生的输入图像和输出图像的照片，示出了老化效果的实现；

图19a至图19b是表示输入信号和输出信号的绘图；

图20a至图20d和图21a至图21c比较了通过经由本领域中已知的处理技术对输入图像进行不同处理产生的输出与通过经由本发明的处理技术的实施方式对相同输入图像进行处理产生的输出；并且

图22a至图22f是示出了本发明的技术在现今的市场上常见的各种平台上实施的照片。

具体实施方式

在描述当前发明之前，要定义此后将使用的一些术语。

在图像处理中，“平滑滤波器”是施加于输入图像数据以便产生输出图像数据的处理/函数，其中相邻像素的特征的差与输入图像数据的相邻像素的特征的差相比被减小。通常，表征平滑滤波器的参数是滤波器的强度。滤波器越强(越粗糙)，相邻像素的特征之间的差就越小。较弱的(更精细的)滤波器在较小的程度上改变输入图像的像素，因此输出图像中的相邻像素的特征之间的差更接近输入图像数据的相邻像素的特征之间的差。

“自适应平滑滤波器”是根据由相邻像素的特征的差驱动的优化算法自我调节其参数(例如，强度)的平滑滤波器。在本发明中，像素的特征一般可以由像素的一个或多个光分量(例如，一种或多种颜色)的强度来表示。例如，自适应平滑滤波器可以根据两个相邻像素的强度之间的差来调节其强度。

“带通滤波器”是使具有所期望频带外部的特征的信号衰减，同时具有所期望频带内的特征的信号基本上不变的滤波器。在上文提及的美国专利5,442,462和美国专利5,799,111中，表明不同强度的平滑滤波器之间的差为带通滤波器。在美国专利申请2010/0158330中描述的另一种已知技术中，表明带通滤波器可以被确定为施加在相同输入上的自适应平滑滤波器之间的差，或施加在输入上的第一自适应平滑滤波器与施加在第一平滑滤波器的输出上的第二自适应平滑滤波器之间的差。出于本发明的目的，该特征可以是值或亮度。

“有限脉冲响应滤波器(FIR)”是使用输入信号的一个或多个特征以便产生输出的滤波器。“无限脉冲响应滤波器(IIR)”是使用输入信号的一个或多个特征以及通过同一滤波器作为输入信号的滤波的输出的信号的一个或多个特征的滤波器。

自适应IIR滤波器可以被定义为“方向自适应滤波器”。这意味着为了改变具有某一坐标(r，c)的给定像素，计算给定像素与前一个滤波像素之间的像素特征的差。再次针对位于由第一像素和第二像素定义的线上的下一个像素重复该过程。单向自适应滤波器(ODAF)的图示可以参见图1a。例如，自上而下的自适应滤波器(TTBAF)102使用输入像素I(r,c)的特征与输入像素上方的相邻像素处的同一滤波器的输出O(r-1,c)的特征之间的差。在同一个图中，示出了自下而上的自适应滤波器(BTTAF)100。BTTAF使用输入像素I(r,c)的特征与位于输入像素下方的相邻像素处的同一滤波器的输出O(r+1,c)的特征之间的差。

“多方向自适应滤波器(MDAF)”是通过考虑给定像素的特征与邻近给定像素的多个像素的特征之间的差来改变输入图像的给定像素的滤波器。多方向自适应滤波器可以以多种不同的方式来实现。在一个实例中，给定像素的输出特征可以根据输入像素的特征与周围滤波像素的特征之间的差的平均值来确定。

在另一个非限制性实例中，如图1a中所示，示出了IIR MDAF。为了计算具有给定输入特征I(r,c)的像素(r,c)的输出特征，表示为P(r,c)的给定像素的中间特征通过对来自前一个处理的行的三个ODAF进行加权来计算，

P(r,c)＝w₁·ODAF1(r,c)+w₂·ODAF2(r,c)+w₃·ODAF3(r,c) 等式1

w₁+w₂+w₃＝1 等式2

ODAF1(r,c)用标号106表示，ODAF2(r,c)用标号108表示，ODAF3(r,c)用标号110表示。给定的ODAF是给定像素的输入特征与前一个滤波的相邻像素的特征之间的差的函数。

ODAF₁(r,c)＝function[I(r,c)–O(r-1,c-1)] 等式3

ODAF₂(r,c)＝function[I(r,c)–O(r-1,c)] 等式4

ODAF₃(r,c)＝function[I(r,c)–O(r-1,c+1)] 等式5

O(r-1,c-1)是位于(r-1,c-1)的前一个滤波像素的特征。O(r-1,c)是位于(r-1,c)的前一个滤波像素的特征。O(r-1,c+1)是位于(r-1,c+1)的前一个滤波像素的特征。因此ODAF₁是差[I(r,c)–O(r-1,c-1)]的函数。任选地，O(r-1,c-1)＝TTBAF(r-1,c-1)，O(r-1,c)＝TTBAF(r-1,c)且O(r-1,c+1)＝TTBAF(r-1,c+1)。

中间特征P(r,c)以按前面所说的相同方式从侧面像素(r,c-1)和(r,c+1)进一步进行滤波。由于从(r-1,c-1)、(r-1,c)、(r-1,c+1)、(r,c-1)和(r,c+1)处的像素的滤波的平均方向向下，因此从五个方向的滤波的结果可以被视为TTBAF。

TTBAF(r,c)＝w₄·ODAF₄(r,c)+w₅·ODAF₅(r,c) 等式6

w₄+w₅＝1 等式7

ODAF4(r,c)用标号104表示，ODAF5(r,c)用标号112表示。

ODAF₄(r,c)＝function[P(r,c)–O(r,c-1)] 等式8

ODAF₅(r,c)＝function[P(r,c)–O(r-1,c)] 等式9

任选地，

ODAF₄(r,c)＝function[P(r,c)–ODAF₄(r,c-1)] 等式10

ODAF₅(r,c)＝function[P(r,c)–ODAF₄(r-1,c)] 等式11

利用单向滤波器116、118和120执行相同的预滤波处理，并且该结果经由侧面滤波器114和122进行滤波，以便获得BTTAF(r,c)。

最后，对TTBAF和BTTAF进行加权实现多方向和多维自适应滤波器(MDAF)的输出，

MDAF(r,c)＝w₆·TTBAF(r,c)+w₇·BTTAF(r,c) 等式12

w₆+w₇＝1 等式13

可以看出经由MDAF仅对一个像素进行滤波需要多次操作。即，对于每个方向，都要计算滤波器的强度，并且滤波器将被施加于所期望的像素，以便计算该像素的特征。该处理因此需要高处理能力和/或可能缓慢执行，并且对于数字化妆应用可能不是优选的，尤其是在将要执行实时数字化妆的时候。

另一种MDAF是被构造成FIR滤波器的MDAF，如图1b中所描述。在本领域中，这种滤波器被称为“双边滤波器”。在该非限制性实例中，每个像素处的对应MDAF取决于邻近像素的自适应加权函数，由此通过以下等式给出像素(r,c)处的MDAF的输出OP(r,c)：

$\mathrm{OP}(r,c)=\underset{i}{\mathrm{\Σ}}{w}_i\·{\mathrm{ODAF}}_i(r,c)$ 等式15

$\underset{i}{\mathrm{\Σ}}{w}_i=1$ 等式16

ODAF₁＝function[I(r,c)–I(r-1,c-1)] 等式17

ODAF₂＝function[I(r,c)–I(r-1,c)] 等式18

ODAF₃＝function[I(r,c)–I(r-1,c+1)] 等式19

ODAF₄＝function[I(r,c)–I(r,c-1)] 等式20

ODAF₅＝function[I(r,c)–I(r,c+1)] 等式21

ODAF₆＝function[I(r,c)–I(r+1,c-1)] 等式22

ODAF₇＝function[I(r,c)–I(r+1,c)] 等式23

ODAF₈＝function[I(r,c)–I(r+1,c+1)] 等式24

在本领域中，还具有另一种已知的基于FIR双边滤波器的技术，也称为“智能模糊”技术。在后一种技术中，对给定像素的特征与邻近像素的特征之间的差进行阈值处理，并且其相应的权重(例如，高斯权重)仅用于相应的差超过预定义阈值的这些邻近像素。由于在每个像素中不是所有高斯权重都可以被使用，因此需要进行重归一化以保持所述权重的和等于1。

现在参照图2a至图2d，示出了被配置用于且可操作用于改变输入图像数据中的面部特征以执行数字化妆的图像处理系统200。在系统200中，使用多个滤波器，其一起操作以将输入数据(表示输入图像)分解成多个输出信号，变换输出信号并一起相加以产生最终输出数据(输出图像)，其中滤波器被配置使得其强度取决于基于逐个像素计算的输入图像的局部特征。局部特征可以逐个像素地或针对不同的相邻像素组来确定。在后一种情况下，像素组可以形成根据所期望的图像结构取向的形状(例如，其可以沿边缘或轮廓取向)。像素组可以根据图像的亮度和/或色度进行选择。局部特征可以具有高分辨率(同一特征共用于少量的相邻像素)、低分辨率(同一特征共用于少量的相邻像素)、或介于其间的中间分辨率。

图2a至图2d的系统200用于改变原始面部图像(输入图像数据)。在本发明的一些实例中的改变一般涉及改善图像中的面部。然而，系统200可以用于劣化该图像，或用于以其他方式对其进行改变(例如，老化、模拟面彩或创建卡通类图像)，如下面在实例中所示的。

如图2a中所示，系统200一般是计算机系统，尤其包括：诸如数据输入和输出工具和存储器工具(没有具体示出)，以及数据处理和分析工具(软件和/或硬件)等工具。后者包括高通滤波模块、至少一个带通滤波模块、低通滤波模块、特征计算模块f、强度计算模块FI(x)、至少一个变换模块(这五个模块在本非限制性实例中示出)、以及加法模块Σ5。高通滤波模块被配置用于接收指示原始图像的特征的输入信号I(x)并输出指示图像中的面部的至少边缘和/或轮廓的高通信号。带通滤波模块被配置用于接收指示输入信号(即，输入信号I(x)自身或由通过一个或多个中间滤波器对输入信号进行滤波产生的其任何函数)的数据并输出指示面部的低对比度的缓慢变化的定性特征的带通信号。低通滤波模块被配置用于接收指示输入信号(即，输入信号I(x)自身或由通过一个或多个中间滤波器对输入信号进行滤波产生的其任何函数)的数据并输出平滑低对比度区域并保留高对比度区域的低通信号。特征计算模块被配置用于接收输入信号I(x)并针对图像的多个像素计算图像的局部特征。强度计算模块被配置用于接收由特征计算模块产生的局部特征，使用局部特征来确定局部操作数以确定多个像素处的滤波模块的强度，并将局部操作数传输至所述滤波模块。变换模块被配置用于改变以下信号的至少一个的至少一部分：高通信号、至少一个带通信号和低通信号。加法模块被配置用于在这些信号的至少一个的至少一部分被至少一个变换模块改变之后接收高通信号、至少一个带通信号和低通信号，并将所接收的信号加在一起，由此产生指示改变后的图像的特征的输出信号(图像数据)。

因此，系统200接收要被处理并指示包括人面部的至少一部分的图像的输入信号I(x)。系统操作以对旨在改变(例如，改善)面部图像的输入图像数据进行滤波。输入信号I(x)实际上处于由像素矩阵呈现的图像数据的形式并因此指示每个像素处的图像的特征。如上面所提及的，该特征可以是强度或值。

首先，通过特征计算模块f来分析输入信号，该特征计算模块f针对图像的每个像素(具有由行r和列c定义的位置)计算图像的局部特征f(r,c)。在非限制性实例中，局部特征可以是图像特征的梯度，或局部梯度的局部最大值。如果特征为强度(intensity)，则强度的梯度在对比度更高的区域中更大。然后将局部特征f(r,c)馈入强度计算模块FI(x)，其使用用于滤波操作的局部特征和自适应操作数[a]来计算控制每个像素上的平滑的强度的局部操作数F(r,c)。一般来说，局部操作数F(r,c)使得对比度高的区域被精细的平滑，而对比度更低的区域被更粗糙的平滑。如上面所提及的，对比度更高的图像区域是一般有助于面部图像的活力和敏锐度的轮廓和边缘的区域。

局部操作数F(r,c)被馈入高通滤波模块、一个或多个带通滤波模块、和低通滤波模块。在每个滤波模块中，局部操作数F(r,c)被用于计算相应的滤波模块将施加至输入图像的这些滤波器的各滤波器的参数。滤波模块将输入信号分解成分量信号S1(x)至S5(x)。在图2a的实例中，S1(x)是高通信号，S2(x)、S3(x)和S4(x)是带通信号，S5(x)是低通信号。信号S1(x)是保留了图像的精细细节的信号，即，信号S1(x)指示高对比度区域被保留，而其他区域被减弱的图像。每个带通滤波模块的输出都是指示保留面部的某些瑕疵，而平滑其他瑕疵的图像的信号。最后，S5(x)是低通(台形)信号，其保留图像的低频率基带信号，但这里的所有细节都是模糊的。

所计算的信号分量S1(x),…,S5(x)的至少一个由相应的变换模块(T1,…,T5)接收。每个变换模块都可以经由偏移(偏差)函数、增益(扩展)函数和/或阈值函数来改变相应的分量信号。任选地，这些函数是由预定运算符提供的恒定增益函数。可选地，这些函数取决于信号分量，并且可以经由信号分量S1(x),…,S5(x)的直方图分析(平均值、标准差、阈值水平例如尾端异常值、线性和非线性映射等)来确定。最后，所变换的分量信号被加法模块Σ5加在一起以提供输出信号O(x)。

在本发明的一些实施方式中，对高通信号S1(x)起作用的变换模块T1增加了信号S1相对于其他信号的权重。以这种方式，输出图像的特征在于活力更高，同时面部瑕疵衰减。

图2b至图2d示出了图2a的具有不同配置的滤波模块的系统200的不同实例。在这些图中，高通滤波模块由平滑滤波工具Fil1和减法器Σ1形成，该减法器Σ1从输入信号I(x)中减去第一平滑滤波工具Fil1的输出。每个带通滤波模块包括相应的平滑滤波工具和相应的减法器(Σ2，Σ3，Σ4)，该减法器从形成前一个滤波模块的前一个平滑滤波工具的输出中减去相应平滑滤波工具的输出。因此，例如，图2a的模块带通1包括图2b至图2d的滤波工具Fil 2。图2a的后继模块带通2包括图2b至图2d的滤波工具Fil 3。

最后，图2a的低通滤波器对应于图2b至图2d的最后一个滤波工具，其是最后一个带通滤波模块的滤波工具。在这些图的非限制性实例中，模块低通(Low-Pass)对应于滤波工具Fil 4。

在图2b中，局部操作数F(r,c)被馈入滤波工具Fil1、Fil 2、Fil 3和Fil 4中。每个滤波工具与各自指示由各个滤波工具施加的平滑滤波器函数的强度的对应单独全局参数(k1，k2，k3和k4)相关联，并修改局部操作数F(r,c)以确定每个像素处的每个平滑滤波器的强度。换句话说，由于局部操作数F(r,c)，所有滤波工具在低对比度区域中施加较粗糙平滑滤波器和在高对比度区域中施加更精细平滑滤波器。然而，不同滤波器在给定像素处的实际强度可以彼此不同，因为对于每个滤波器，局部操作数通过相应的全局参数(k1，k2，k3和k4)以不同的方式进行单独修改。

如下面所示，当全局参数被施加于每个像素中的操作数F(r,c)时，与局部操作数F(r,c)相比，复杂度更低。因此，使用全局参数来改变针对每个像素计算一次的局部操作数比针对每个像素计算每个滤波器的局部操作数需要的处理更少。以这种方式，加快确定多个滤波器在每个像素处的的强度的计算过程。

在本发明的一些实施方式中，信号I(x)被滤波工具的每一个接收并进行滤波。在本发明的一些实施方式中，滤波工具使用相应的MDAF以及非自适应有限脉冲响应(NAFIR)滤波器和/或自适应有限脉冲响应(AFIR)滤波器和/或IIR MDAF的任选不同组合，这取决于分离和处理所需的操作的类型或面部图像效果。因为滤波器被同时计算，所以本发明的该实施方式支持通过所有滤波工具进行并行处理，由此支持多处理器或多核处理器中最小延迟的更有效的实时实现。任选地，至少一些MDAF是IIR MDAF，如以上参照图1a所述执行每个像素的像素特征的计算。

在另一个非限制性实例中，在每个滤波工具中，每个像素处的MDAF取决于施加于此像素处的所有相应方向的局部特征。因此，不需要计算MDAF的各ODAF在多个方向上的滤波强度。相反，局部特征确定形成任何给定像素处的特定MDAF的所有ODAF的单个强度。

在这样一种情况下，局部特征f(r,c)通过识别所述像素(r,c)附近的N像素的尺寸的局部区域内的图像的这种特征的局部最大值(例如，像素(r,c)处的强度与周围像素的每一个的强度之间的绝对差的最大值)来确定。以这种方式，局部特征f(r,c)针对给定像素的所有方向计算一次，并且反过来又需要更少的操作并且较少变为处理器密集型，因此更快。

在本发明的一些实施方式中，连续的滤波工具提供日益增强的平滑(更强)的滤波器。例如，k1<k2<k3<k4。第一滤波工具Fil1的输出和输入信号I(x)由第一减法工具Σ1接收，该第一减法工具Σ1从输入信号I(x)中减去第一滤波工具Fil1的输出。该减法运算形成自适应高通滤波器，其产生分量信号S1(x)＝I(x)-MDAF₁(x)。信号S1是保留图像的精细细节的信号，即，信号S1指示保留高对比度区域，而其他区域被衰减的图像。类似地，额外的自适应带通(表面)滤波器可以通过由额外的减法工具Σ2、Σ3和Σ4实现的额外减法运算来实现。例如，减法工具Σ2接收来自滤波工具Fil1的MDAF₁(x)以及来自滤波工具Fil2的MDAF₂(x)，以产生分量信号S2(x)＝MDAF₁(x)-MDAF₂(x)。最后，S5(x)是退出(exiting)滤波工具Fil4的MDAF₄滤波器的低通(台形)信号分量。因此，每个带通滤波器的输出都是指示保留面部的某些瑕疵，而平滑其他瑕疵的图像的信号。任选地，工具Fil1应用非自适应FIR(NAFIR)滤波器，例如高斯平滑滤波器，其有效保留差分信号分量S1(x)中的边缘和轮廓高频图像细节。

一个或多个所计算的信号分量S1(x),…,S5(x)由相应的变换模块T1,…,T5接收。变换模块可以经由偏移(偏差)函数、增益(扩展)函数和/或阈值函数来改变相应的分量信号。任选地，这些函数是由预定运算符提供的恒定增益函数。可选地，这些函数取决于信号分量，并且可以经由信号分量S1(x),…,S5(x)的直方图分析(平均值、标准差、阈值水平例如尾端异常值、线性和非线性映射等)来确定。最后，所变换的分量信号被加法模块Σ5加在一起以提供输出信号O(x)。

在本发明的一些实施方式中，对高通信号S1(x)起作用的变换模块T1增加了信号S1相对于其他信号的权重。以这种方式，输出图像的特征在于活力更高，同时面部瑕疵被衰减。

在本发明的非限制性实例中，针对MDAF的每个ODAF，输出信号ODAF(r,c)可以表示如下：

ODAF(r,c)＝α(r,c)·I(r,c)+(1-α(r,c))·O(r-i,c-j) 等式25

i和j索引表示图像中ODAF的方向，而α(r,c)是反映特定滤波器的强度并取决于像素(r,c)的局部陡峭度或边缘结构的操作数。

如上面所提及的，在像素突变位置(高对比度区域)，ODAF将试图进行更少的平滑处理，而在光滑的图像区域中，ODAF将试图进行更多的平滑处理。

在非限制性实例中，自适应操作数α(x)可以表示如下：

F(r,c)＝exp(-f(r,c)/a) 等式26

α(r,c)＝Φ(F(r,c),k)，其中k在0<k<2的范围内 等式27

F(r,c)是每个图像像素中计算的特征，其中a(输入到强度计算单元FI(x)中的自适应操作数)是指示噪声电平或信号电平的恒定值，这取决于一个人是试图通过自适应平滑处理来克服噪声，还是试图分离表示混乱的局部信号振幅变化分量，感兴趣的图像纹理Φ(F(r,c),k)是F(r,c)和k的函数，并且在八个像素的邻域上

f(r,c)＝max[abs((I(r,c)-I(r-1,c-1))),abs((I(r,c)-I(r-1,c))),abs((I(r,c)-I(r-1,c+1))),abs((I(r,c)-I(r,c-1))),abs((I(r,c)-I(r,c+1))),abs((I(r,c)-I(r+1,c-1))),abs((I(r,c)-I(r+1,c))),abs((I(r,c)-I(r+1,c+1)))] 等式28

尽管在该实例中，f(r,c)在由形成正方形的九个像素构成的窗口中计算，但是可以使用更大和/或设计不同的窗口。窗口的非限制性实例是在各个方向(例如垂直方向、水平方向和+45度和-45度取向)上取向的窗口，由此针对每个取向对梯度单独求和，生成最大值的取向在最佳估计边缘特征的过程中针对此像素的f(r,c)进行选择。

所计算的f(r,c)值和a值用于确定指数函数F(r,c)＝exp(-f(r,c)/a)。该函数在计算上开销通常很高，并且可以针对所有可能的-f(r,c)/a值执行一次，然后任选将所有可能的值加载到查找表(LUT)上。接下来，针对图2b中的滤波器Fil1，Fil2，Fil3，Fil4的每一个，相应F1(r,c)，F2(r,c)，F3(r,c)，F4(r,c)(以及相应α1(r,c)，α2(r,c)，α3(r,c)，α4(r,c))值使用优选的分段线性变换来确定，该分段线性变换的复杂度比针对每个像素和每个滤波器重新计算指数函数要低得多。对于某个α1(r,c)，该变换计算如下(其他滤波器也同样类似)：

如果(F(r,c)<0.5)，

则F1(r,c)＝k1·F(r,c) 等式29

α1(r,c)＝1-F1(r,c) 等式30

否则，

F1(r,c)＝ΦI(F(r,c),k)＝(2-k1)·F(r,c)+k1-1 等式31

α1(r,c)＝1-F1(r,c) 等式32

k值在0<k<2的范围内。

因此，当k小于1时，自适应滤波器充当“更精细”的滤波器，其更快速地跟踪输入信号的边缘并对其进行更少的平滑。如果k大于1，则自适应滤波器起到“更粗糙”滤波器的作用，其缓慢地跟踪输入信号的边缘并对其进行更多的平滑。因此，对于所有滤波器和所有像素，自适应平滑操作数α1(r,c)，α2(r,c)，α3(r,c)，α4(r,c)被确定并用于确定相应的ODAF和相应的MDAF：

ODAF1(r,c)＝α1(r,c)·I(r,c)+(1-α1(r,c))·O(r-i,c-j) 等式33

ODAF2(r,c)＝α2(r,c)·I(r,c)+(1-α2(r,c))·O(r-i,c-j) 等式34

ODAF3(r,c)＝α3(r,c)·I(r,c)+(1-α3(r,c))·O(r-i,c-j) 等式35

ODAF4(r,c)＝α4(r,c)·I(r,c)+(1-α4(r,c))·O(r-i,c-j) 等式36

在本发明的另一个实施方式中，局部特征F(r,c)被设计使得在abs(f(r,c))<a的像素处，α(r,c)将较小，由此进行更强烈的滤波，当abs(f(r,c))>a时，α(r,c)将更大，由此进行不太强烈的滤波处理，由此提供α(r,c)参数的更突变自适应，这取决于f(r,c)的值是小于a还是大于a。此特征的实例如下：

F(r,c)＝(abs f(r,c)^m/(abs f(r,c)^m+a^m)＝(1+(a/abs(f(r,c)))^m) 等式37

α(r,c)＝F(r,c) 等式38

其中a和f(r,c)提供如上所述，m是所述函数的斜率因子，在0和a之间的范围内。在面部图像改善的情形中该函数的优点在于将对不易察觉的面部瑕疵进行更强烈的平滑处理，同时更有效地保留更强细节的清晰度。对于该实施方式，滤波器的每一个都接收增加的a因子，由此将相应滤波器的平滑过渡范围转变成为比前一个值更高的值f(r,c)，因此使相应的滤波器进行更强烈的平滑处理。

在另一个非限制性实例中，众所周知的梯度运算符和边缘检测滤波器可以用于根据其“边缘性”来对像素评分(score)(例如，索贝尔滤波器，其经常用于边缘检测)，并使用该度量来控制α(x)。图像分割技术也可以用于分割局部图像区域，由此确定这些相邻区域之间的过渡像素，并避免对其进行平滑处理。

现在参照图2c，示出了本发明的系统200的另一个实例，其中滤波单元串联连接。在图2c的系统中，滤波模块串联布置。因此，除了最后滤波模块之外，任何滤波模块的输出都要通过连续滤波模块来进行滤波。带通滤波器和低通滤波器通过将后继滤波器施加于前一个滤波器的输出，此后对其进行差分来实现。与图2b的实例相同，自适应高通分量信号为S1(x)＝I(x)-MDAF₁(x)。自适应带通(表面)分量信号不同于图2b。例如，

S2(x)＝MDAF₁(x)-MDAF₂(MDAF₁(x)) 等式39

退出滤波模块Fil4的低通(基带)分量信号为：

S5(x)＝MDAF₄(MDAF₃(MDAF₂(MDAF₁(x)))) 等式40

图2c中示例出的配置允许对所有MDAF滤波器进行流水线处理，从而允许利用多处理器或多核处理器进行有效的实时实现。然而，该配置可能带有一些延迟。尽管图2c的实施方式的优点在于k值可以根据需求和应用进行选择，但是不需要按递增值来排序。

现在参照图2d，示出了本发明的系统200的另一个实例，其中滤波模块的每个滤波器都取决于相应的局部特征。局部特征(F1(r,c)，F2(r,c)，F3(r,c)，F4(r,c))根据所期望的信号特征针对每个滤波器进行单独计算，所期望的信号特征使用相应的差分信号分量S1(x)、S2(x)、S3(x)和S4(x)来提取。在这些情况下，F(r,c)函数以及因式分解函数Φ(F(r,c),k)都可以按照S(x)信号分量进行定制，并在滤波工具Fil1至Fil4外侧进行计算。

应注意，尽管在图2b、图2c和图2d的实例中，存在四个滤波工具，但是本发明的范围不局限于该实例以及任何其他数量的滤波工具，并且一般可以使用两个或更多滤波工具。此外，上述实例的滤波工具将至少一个MDAF施加于所接收的信号。情况可能并非如此。实际上，在一些实施方式中，由滤波工具实现的滤波器可以包括MDAF和/或MDAIIR和/或NAFIR、AFIR等，这取决于分离和处理所需的操作类型或图像效果。例如，由滤波工具Fil1应用的滤波器MDAF₁可以用线性滤波器例如高斯滤波器或箱式滤波器来替换，使得S1(x)信号是线性高通分量信号。

如上面所指出的，系统200的元件(模块/工具)可以被实现为在处理器上运行相应算法的数据处理和分析工具的硬件和/或软件元件。

针对图2b，输出O(x)用以下等式表示：

O(x)＝T5[Fil4]+T4[Fil3-Fil4]+T3[Fil2-Fil3]+T2[Fil1-Fil2]+T1[I-Fil1]等式41

针对图2c和图2d，O(x)用以下等式表示：

O(x)＝T5[Fil4(Fil3(Fil2(Fil1)))]+T4[Fil3(Fil2(Fil1))-Fil4(Fil3(Fil2(Fil1)))]+T3[Fil2(Fil1)-Fil3(Fil2(Fil1))]+T2[Fil1-Fil2(Fil1)]+T1[I-Fil1] 等式42

在这两种情况下，当所有T变换为单位时(即，透明的)，结果为O(x)＝I(x)。至少一个分量信号的变换因此是必要的，以便改变输入图像。

为了更好理解系统200的操作，参照图3a至图3f、图4a至图4c和图5a至图5c，示出了输入信号被本发明的系统200的不同模块/工具处理的方式的实例。在这些图的实例中，考虑了具有两个平滑滤波工具的系统200。

图3a示出了输入图像I的强度(i)的面部图像信号轮廓实例作为沿图像的轴线(x)的位置的函数。在输入图像中，点x1与x2之间的区域A基本上是平坦区域，其通常要受摄像机噪声和/或改变的背景纹理的影响。点x2与x3之间的区域B是背景与对比度相对高的面部皮肤区域(相邻像素之间的亮度差)之间，相邻背景像素与面部皮肤像素之间的过渡区域。一般来说，在成像时，此过渡区域通常对应于成像物体的边缘和轮廓。点x3与x4之间的区域C是相对平坦的皮肤区域，其通常要受摄像机噪声与快速变化(高频)的皮肤纹理(例如，皱纹)的叠加的影响。点x4与x5之间的区域D是这样的皮肤区域，其通常要受摄像机噪声与缓慢变化(中频频率)的皮肤纹理(例如，阴影的皮肤褶皱、松弛皮肤)的叠加的影响。点x5与x6之间的区域E是这样的皮肤区域，其通常要受摄像机噪声与结构化的皮肤纹理(例如，斑点、粉刺、损伤)的叠加的影响。点x6与x7之间的区域F也是相对平坦的皮肤区域，其通常要受摄像机噪声与皮肤纹理(例如，毛孔)的叠加的影响。

图3b示出了沿着在将精细平滑滤波器例如NAFIR(或自适应FIR(AFIR)滤波器施加于输入I之后输出的图像的x轴线的“强度对位置”的绘图。例如，精细平滑NAFIR滤波器可以是高斯加权滤波器(标准差半径在0.5-2个像素的范围内)。NAFIR滤波器的输出I1被设计使得当执行如图3c中描述的减法运算I-I1＝(I-NAFIR(I))时，保留边缘/轮廓过渡和高频噪声和皱纹纹理。

图3d示出了沿着在将粗糙多方向自适应IIR(MDAIIR)平滑滤波器施加于NAFIR滤波输出之后输出的图像的x轴线的“强度对位置”的绘图(如上所述，参照图2c和图2d)。MDAIIR滤波器的输出I2被设计使得当执行如图3e中描述的减法运算I1-I2＝(FIR(I)-MDAIIR(FIR(I)))时，提取低对比度缓慢变化的皮肤纹理(例如，阴影的皮肤褶皱、松弛皮肤、斑点、粉刺、损伤)，并同时衰减高对比度。

上述混合(即，组合滤波FIR和IIR)图像表示的一般数学表达式如下：

O＝T3[I2]+T2[I1-I2]+T1[I-I1] 等式43

其中O是输出信号，T3、T2和T1分别是施加于低通(台形)信号分量[I2]和信号差分量[I1-I2]和[I-I1]的增益或查找表(LUT)变换。

通过将合适的变换施加于分量信号，输出信号可以根据用户的需求进行调整。在图3f中，示出了输出信号O(指示输出图像)，并与输入信号I比较。可以看出所变换的分量信号的加法产生了输出信号，其中噪声在A和F中被平滑，面部瑕疵在区域C至E中被平滑，同时保持并甚至增强高对比度区域B(可能指示面部或面部的特征的轮廓或边缘)。

图4a至图4c是示出了分别施加于如图3c至图3e中描述的低通分量信号I2、带通分量信号[I1-I2]和高通分量信号[I-I1]的变换T3、T2和T1的特性的曲线。当曲线的斜率小于45度时，变换使其相应的信号衰减(减小振幅)。当曲线的斜率大于45度时，变换增加其相应信号的振幅。

图4a示出了应用于低通台形信号I2的变换T3，并用于控制输出图像的动态范围，此强度映射由此提供相应的偏移和扩展。T3通常使信号I2的信号振幅小于第一阈值且大于第二阈值的部分衰减，同时其增加了在这两个阈值之间的范围内的信号的振幅。因此，变换T3导致对对比度最高的区域B的显示振幅进行控制，同时其使极低和极高值信号(接近零/截止和接近饱和)衰减。以这种方式，图像的活力/敏锐度被保留，同时避免驱动异常值信号进入另外的截止和饱和，导致损失图像细节信息和不需要的图像显示效果。此映射可以被设计为I2的值的直方图的函数。

图4b示出了应用于包括低对比度缓慢变化的皮肤纹理(例如，阴影的皮肤褶皱、松弛皮肤、斑点、粉刺、损伤)的差分分量信号[I1-I2]的示例性变换T2。在实例a中，映射函数恒定减少了所有振幅，因为绘图是线性的并且斜率小于45度。在实例b中，分量信号[I1-I2]的振幅被减少并被反向(reversed)，由此导致皮肤纹理瑕疵更明显地减少。

图4c示出了施加于包括边缘/轮廓过渡和高频噪声和皱纹纹理数据的差分信号分量[I-I1]的变换T1。非线性映射优选用于减少噪声和细小皱纹数据，同时保留甚至放大边缘和轮廓的更高振幅。

如果需要提取和进一步处理额外的皮肤效果，则额外的平滑滤波器和相应的差分操作可以施加在第一滤波工具的输出上。例如，当增设另一个平滑滤波器时，表达式如下：

O＝T4[I3]+T3[I2-I3]+T2[I1-I2]+T1[I-I1] 等式44

图5a至图5c是示出了由系统200的平滑滤波工具对相应的所接收的信号施加滤波器作为特征F(r,c)的函数的非限制性实例的绘图。

在图5a中，α1根据上述等式29至32进行计算。在a＝30，以及三个k值，即k＝0.4，1和1.6时对(f(r,c)/a)绘制的α1(r,c)。对于f(r,c)的相同值，α1(r,c)的值随k增加而减小。因此，作为f(r,c)函数的相应滤波器α特征对较低的k值变陡并且一般假设为更高的值(更精细的滤波，对突变过渡轮廓更敏感)，并且针对较高的k值变得不那么陡，一般假设更低的值(更粗糙的滤波，对相邻区域之间的非突变更平滑的不易察觉的过渡更敏感)。

在图5b中，α2根据上述等式37和38进行计算，在m的值＝4且值a＝30、50、70时针对(f(r,c)/a)绘制的α2(r,c)。注意，在α2(r,c)的实施方式中，滤波器的相应滤波强度是相应值a1,…,a4的函数，而在α1(r,c)的实施方式中，滤波器的相应滤波强度是相应值k1,…,k4的函数并且需要额外的与所述k分段变换有关的逐像素逐滤波器计算。

图5c中示出了与α1(r,c)相比α2(r,c)的额外优点。可以看出α2(r,c)在f(r,c)的较高值(对应于对比度的较高值)时大于α1(r,c)，并因此保留边缘和轮廓过渡位置中的细节。另一方面，α2(r,c)在f(r,c)的较低值(对应于更平滑、对比度更低且更敏感(sutble)的对比度值)时小于α1(r,c)，并因此对这些区域进行更强烈的平滑处理。

现在参照图6a至图6d，框图示出了根据本发明的另一个实施方式的用于处理人面部的图像的系统300的一些实例。在系统300中，输入图像沿两条不同的路径进行处理，这两条处理路径的输出被组合以产生输出图像。第一路径一般包括线性滤波器，而第二路径包括上述系统200。

在图6a中，指示输入图像的信号I(x)由抽取单元302接收，减小了图像的尺寸，并因此去除信号I(x)中包含的数据的一部分，以输出指示抽取图像的抽取信号ID(x)。然后在两条不同的线程/路线中对抽取信号进行处理。

在第一线程中，插值单元304被用于通过插值将抽取图像增加至输入图像原始尺寸。因此，由插值单元304输出的信号DI(x)指示具有输入图像的尺寸的插值图像。在插值图像中，丢失的数据事先所在的像素的特征(值或强度)根据周围像素的特征进行插值。因此，输入图像的抽取和插值产生了平滑图像。插值信号DI(x)和输入信号I(x)由减法模块Σ0接收，其中从I(x)中减去DI(x)以产生差分信号Sd(x)。任选地，差分信号穿过变换模块T0，其将变换施加于其上(类似于上述变换模块)，并作为变换差分信号SdT(x)输出。

在第二线程中，抽取信号ID(x)由上文参照图2a至图2d的任意一个描述的系统200处理，由此产生对应于信号O(x)的结果信号IDE(x)。信号IDE(x)然后由第二插值模块306插值，由此产生指示尺寸与输入图像相同的图像的插值信号Rt2(x)。任选地，通过加法模块Σ6对来自第一线程的信号Sdt(x)和来自第二线程的信号Rt2(x)求和，得到输出信号O2(x)，其可以被转换成输出图像。可选地，信号Sdt(x)可以进一步被滤波工具Fil0例如MDAIIR处理，由此进一步减少细节信号分量中的残余噪声，并产生信号Rt1(x)。在后一种情况下，通过加法模块Σ6对信号Rt1(x)和信号Rt2(x)求和，得到输出信号O2(x)。

抽取模块302和插值模块304和306进行的抽取(下采样)和插值(上采样)可以是双线性的或可以是更高阶的。

在系统300中，第一线程产生一般指示面部的细节(轮廓、边缘)而同时衰减图像的剩余部分的信号SdT(x)(或Rt1(x))。这是因为信号Sd(x)(信号SdT(x)和Rt1(x)从中推导出来)是指示输入图像的数据与指示平滑图像的数据之间的差，因此是高通信号。因此，第一线程是高通滤波器。在第二线程中，对待润色的面部信息进行处理。因此，在系统300中，细节信息以不同于待润色的面部信息的方式进行处理，因此，输出信号保留在第二线程的润色处理中可能另外丢失的敏锐度。

系统300可以提供处理加速，因为(a)系统200的密集处理应用于更小的图像，以及(b)在实时加速(例如，专用硬件)配置中，图像调整尺寸的操作(例如抽取器和插值器)在高级的处理器(例如，多核数字信号处理器(DSP))中实现，由此支持将由所述处理器的基于软件的DSP核处理更复杂的操作。同时，由于处理沿第一线程进行，因此仍然保持了图像的细节(并且甚至可以经由变换模块T0来加重)。

包含图像细节的信号分量Sd(x)在另一个实施方式中也可以使用如图6b中提供的简单的高通NAFIR滤波器模块310来有效提取，而不在第一线程中进行抽取和插值。图6c中还举例说明了本发明的又一个实施方式，其中，简单的低通NAFIR滤波器模块312在第一线程中用于(a)通过差分操作来生成高通细节滤波器，并且在第二线程中用于(b)通过额外子采样单元314来实现所述抽取操作。

现在参照图6d，框图示出了系统300的配置和操作的又一个实例，其中输入图像进行两次抽取。图6d的系统300被配置类似于图6a的实例的配置。实际上，图6d的第一线程与图6a的第一线程相同，在图6a中图像信号通过因子M进行抽取，然后通过同一个因子M进行插值。然而，图6d的实例中的系统的第二线程包括额外的抽取模块308，其通过因子N对信号ID(x)进行进一步抽取，以产生抽取信号IDD(x)。信号IDD(x)由包括上述系统200的线程/路径处理以产生信号IDDE(x)，并由通过因子M×N对信号IDDE进行插值的第二插值模块306来产生信号Rt2(x)，使其与SdT(x)或Rt1(x)相加以得出O2(x)。

图6d的实例的优点在于抽取因子M和N可以根据特定应用或情况来确定。M因子确定了在第一路线中被保留并被进一步处理的细节(例如，边缘和轮廓)信息。要保留的面部图像细节和敏锐度的特征通常在于对比度更高、突然过渡(即，窄过渡区域)。这可以通过较小的抽取/插值(DECINT)因子M(通常在1.1<M<2的范围内)，或可选地通过基于NAFIR高斯滤波器(高斯半径(GR)通常在0.5<GR<1的范围内)的较小高通滤波器来提取。如发明人所发现的，要遮盖和去除的面部皮肤瑕疵的特征通常在于对比度更低、看起来较好的皮肤区域与将受各种所述瑕疵影响的皮肤区域之间的过渡缓慢。因此，很大一部分瑕疵的信号被第二线程/路线有效地处理并且不保留在第一线程/路线中。

因为面部图像敏锐度和细节被保留在第一线程中，所以第二线程的处理强度可以作为特定受试者的实际面部瑕疵、照明条件等的函数随着图像敏锐度的潜在损失减少而增加。抽取因子N通常可以在2<N<4之间改变。此外，抽取因子N可以由给定应用和处理器中可用的处理资源来确定。如果这些处理资源较低，则因子N可以被增加到该处理实时运行的点。该特征在处理平台时尤其有用，所述平台为所述尺寸调整(抽取和插值)操作提供硬件/软件加速解决方案。

可能影响选择第一路线的抽取和插值因子(或可替代的高通NAFIR)的另一个关心的问题是与显示器的分辨率相比的输入图像分辨率。经常，在视频传输应用(例如，视频通话、视频会议)中，带宽限制限定了可以传输的压缩图像数据的量，在这些情况下压缩编解码器可以在降低视频帧速率之前动态地降低所传输的图像的分辨率。视频通话应用中通常使用的三种图像格式包括640X480像素、320X240像素和160X120像素。例如，假设接收端的显示分辨率为1280X960，通常所接收的图像动态地调整大小以与显示屏适配，使得视频通话应用中所显示的对象的尺寸和所显示的场景保持不变，而不管动态选择传输的图像的分辨率如何。

在图像被放大以便显示(例如，经由插值)的任何情况下，相应的图像像素被放大，并且可以观察到混叠现象(不同信号变得不可区分的效果)。在利用第一路线(细节)和第二路线(遮盖)处理的图6a至图6d的实施方式中，当被放大以便显示时来自第一路线的保留详细信号分量可以加剧边缘和轮廓附近的这种混叠效果。该效果可以随着显示放大增加而被变大。因此，例如，对于尺寸为640X480的像素的传输图像和尺寸为1280X960像素的显示器，放大因子较小(2X2)，该处理可以使用更高的抽取和插值因子，例如4(参照图6a)。这还减少了滤波系统的处理资源。随着传输图像的尺寸被减小至320X240像素，放大倍数增加(4X4)，并且处理应该使用更小的抽取和插值因子，例如因子为2(参照图6a)，由此避免过度加剧显示混叠，并且由于图像尺寸较小，因此建立在滤波系统所需的减少的处理资源上。随着传输图像的尺寸进一步减小至160X120像素，放大倍数增加(8X8)，并且处理根本不应该使用调整大小操作，由此避免过度加剧显示混叠，并且由于进一步减小了图像尺寸，因此建立在滤波系统所需的进一步减少的处理资源上。因此，在本发明的一些实施方式中，提供了一种用于作为传输图像的尺寸、显示器尺寸和计算资源的函数来控制这种抽取和插值因子的逻辑/控制工具。该逻辑工具可以是抽取模块或插值模块的一部分，或者该逻辑工具软件可以分布在抽取模块与插值模块之间。

在两个阶段使用因子M和N(参照图6d)执行抽取的实施方式在高分辨率图像的情况下可能尤其有用，由此选择第一路线抽取和插值因子M使得保留足够的图像细节，同时在用于进一步处理和遮盖的第二路线中保留足够的面部皮肤效果。因为保留图像细节需要相对较小的NAFIR滤波器，所以第一路线因子M可以选定为基本上较低。另一方面，第二路线包括更复杂的处理。因此，第二路线的因子N根据可用的处理资源来选择。以这种方式，第一路线的处理与第二路线的处理分开优化，使得每条路线影响显示的面部图像的不同方面(即，第一路线影响细节，而第二路线影响皮肤效果)。该实施方式还可以利用图6c中的两个NAFIR低通滤波器和子采样函数来实现，而较小的NAFIR用于第一路线，额外的较大的NAFIR在第二路线中的所述子采样函数之前或之后使用。因此，在一些实例中，系统包括如上文提供的用于控制这些抽取和插值因子的逻辑工具，作为传输图像的尺寸、显示器尺寸和计算资源的函数。

应注意，上述成像处理系统可以在不同的颜色表示(例如RGB、YCbCr、Lab等)中操作。因此，本发明的技术可以应用于在RGB颜色表示中捕获并显示彩色视频的成像系统，以及应用在具有不同的颜色分辨率(例如，4:2:2、4:2:0)的YCbCr中捕获并显示彩色视频的其他成像系统。

在DM的情形中，本发明的系统(例如，上述图中提供的系统200和300)的操作被设计成模仿化妆师的工作方式。一般来说，化妆过程包括五个主要步骤：打粉底、涂遮瑕膏、描线、打腮红、散粉。

在DM中，打粉底包括通过在整个面部涂抹透明粉底物质来平滑皮肤纹理，由此创建底妆，即涂平、均匀、使整个面部区域的表面发白，所有后续步骤都施加到该表面上。这有点类似于画家在平坦的白色画布上开始艺术创作。图2a至图2d的任意一个中的分量信号S5(x)替代DM中的打粉底步骤，因为信号S5(x)指示一般保留其平均颜色值的平滑、相对均匀的表面的图像。

在DM中，涂遮瑕膏包括局部涂上与皮肤颜色匹配的遮盖物质，该遮盖物质遮盖局部皮肤瑕疵和不规则，例如，暗疮、粉刺、炎症、发红或变色区域、毛孔、胎记、斑点、雀斑、皱纹、褶皱、蜘蛛痣、眼睛下的黑眼圈、嘴唇周围的蓝绿区域等。这些不规则的每一个都可能需要不同的遮盖行为，例如，遮瑕膏摊开在将遮盖效果与附近的正常皮肤区域最好融合的方向上。例如，眼睛下的黑眼圈通常通过以下动作来遮盖：在一般区域涂遮瑕膏，然后在向侧面和向下(但不向上到眼睛)的多个方向上摊开该材料，接着在相对的方向上摊开遮瑕膏直到均匀并实现所期望的融合。图2b、图2c和图2d中的信号分量S2(x),…,S4(x)的变换替代DM中的遮瑕膏要素涂抹，因为该图像中的不同区域可以利用不同的遮瑕膏进行涂抹。

在DM中，描线包括突出面部特征例如嘴唇和眼睛的轮廓和边缘，由此提高面部活力。描线探索面部边缘和轮廓并进一步使其增强。根据本发明，保留并通过图2b、图2c和图2d中的信号分量S1(x)和图6a至图6d中的第一路线来进一步突出这些边缘和轮廓。

在DM中，打腮红包括给面部(在局部区域上或在整个面部上或在整个图像上)添加颜色和活力。局部添加腮红通过以下操作来实现，感测轻微颜色变化的图像区域并增强它们，和/或实现适用于彩色图像分量的全局非线性颜色直方图变换操作，由此增强主要影响面部区域的图像色彩饱和度。例如，在图2b、图2c和图2d的实施方式中，利用实现MDAF的三个滤波工具，S2(x)和/或S3(x)分量信号可以表示输入图像的相应色差(例如，Cb和Cr，在YCbCr彩色空间中分别是蓝色差值和红色差值分量)。变换模块T2和/或T3根据要在输出图像上实现的所期望效果来放大相应信号中的特定颜色分量。变换可以取决于S2(x)和/或S3(x)图像分量的亮度(Y)和色度。例如，滤波工具可以操作以降低亮度并增加色度，由此将颜色添加至输入面部图像。

在DM中，扑粉涂抹步骤包括在整个面部或在面部或头部的产生提亮的特定区域添加哑光粉，提亮通常取决于照明条件和角度。例如，图2a至图2d的实施方式可以利用实现MDAF的三个滤波工具提供闪亮区域检测，其中表示亮度分量(例如，YCbCr彩色空间中的Y)的S3(x)信号可通过利用模块T3进行的变换来进行阈值处理。亮度(台形)分量S4(x)利用变换模块T4在其饱和度来进行阈值处理，并且信号S3(x)的阈值处理后的区域与S4(x)的阈值处理后的区域相关。阈值处理后的S4(x)信号中出现饱和并且在信号S3(x)中超过饱和阈值的区域被指定为高亮区域，并且其高亮可以通过经由变换模块T3和/或变换模块T4的衰减来降低。

在DM中，形态包括如果需要则通过在面部的特定区域打阴影和高亮来重新塑造面部。深色(阴影)遮光并使区域后退，例如脸颊、太阳穴、下巴、鼻子两侧的凹陷。浅色(高亮)使事物(例如颧骨、眼睛下方、眉骨和下巴中间)更突显出来。使用化妆改善的面部形态和结构通常通过向特定的面部部位打高亮和阴影来实现。为此，需要面部特征检测和/或面部皮肤检测/分割操作，因为这些高亮和阴影将相对于这些面部特征而被打在特定位置(例如，眼睛、眉毛、嘴唇、鼻子、下巴、脸颊、颧骨、前额等)。如果DM处理仅施加于面部区域并且不施加于任何背景区域，则需要此面部检测和皮肤分割。本发明不需要针对其操作的此面部检测和皮肤分割，但是可以使用此分割来进一步改善一些成像情况。

面部皮肤分割成上面提供的分量信号还可以结合图像(imagery)中的各种面部图像检测和跟踪，以及改善打阴影和打高亮的面部形态分析、面部肤色分析和基于此分析的相应图像显示优化来使用。

参照图7a至图7b，其描绘经常需要打阴影和高亮的面部和头部的特定区域。图7a示出了专业化妆师打的这种阴影和高亮的特定位置，专业化妆师在此之后将该物质与周围的皮肤进行融合。图7b中示出了根据本发明的数字化妆的融合结果。根据本发明的一些实施方式，执行自动化的面部和头部分析以便确定需要打阴影和高亮以改善形态和面部结构的区域，并且针对每个特定区域单独执行上述DM技术。应用上述DM技术因此取决于该区域是否需要打阴影或打高亮。

参照图8a至图8d和图9a至图9c，提供了本发明的实例，其中上述DM处理经由使用各种编解码器的视频压缩，和使用各种网络和平台的视频传输来执行，例如桌面和经由互联网、Wi-Fi和蜂窝网络的移动视频通话应用，视频通信中使用的视频编解码器(例如，H264，VP8，MPEG2，MPEG4)经常配备有用于降噪的预处理器和用于压缩伪影去除的后处理器。

在图8a至图8c中，框图使出了与编码器和解码器结合的预处理器和后处理器。图8d中示出了更具体的视频通话配置。

例如，在视频通话和视频会议中，DM技术(如上文在图2a至图2d和图6a至图6d中所述)可以被作为预处理器用于面部图像润色，在这之后压缩并传输图像。在高带宽应用中，图像细节和运动一般为接收侧上的显示图像的质量打基础，而在低带宽应用中，图像细节经常会被失去并且显示图像的质量被压缩伪影(例如，量化噪声、区块噪声、蚊式噪声)控制。

在图8a中，示例出通信系统400，其中提供了具有预处理和/或后处理实施方式的标准编码器-解码器。发送设备402包括：用于捕获面部图像的摄像机(在线模式)或其中存储由摄像机先前捕获的图像数据的存储设备(离线模式)，用于降低图像中的噪声的预处理器，以及用于编码图像以便传输的编码器。接收设备404包括：用于解码输入传输的解码器，以及用于在图像被显示在屏幕上之前降低图像中的噪声的后处理器。根据本发明的一些实施方式，面部瑕疵减少和图像改善可以在发送设备402上的预处理器中或在接收设备404上的后处理器中实现，或者本发明的系统的模块和工具分布在预处理器与后处理器之间。

在图8b中，通过发送设备402上的增强编码器执行预处理和编码功能。DM处理可以由发送设备402上的增强编码器实现，接收设备404上的后处理器由此评估解码后的图像质量和噪声/伪影，并向增强编码器传回应该应用什么水平的预处理，以在可用带宽、数据丢失(例如，数据包)等特定传输环境下提高图像质量。任选地，这种解码图像质量标准另外可以被接收设备404上的所述后处理器应用。

在图8c中，DM处理代替H.264编码和解码处理的运动补偿回路中的现有去块滤波器。此运动补偿回路是广泛使用的视频压缩标准所固有的，H.264编解码器中的当前去块滤波器由此是编码运动补偿回路和解码运动补偿回路中实现的处理特征。如果在此运动补偿回路中使用DM处理，则此编码器和解码器被认为是本发明的系统的一部分。以这种方式使用DM的主要优点是阻塞、噪声和压缩伪影的降低的改善，并因此由于信号冗余降低提高了编解码器的压缩能力。

现有去块滤波器可以在给定区块边缘的任意侧上的1-3个样本之间修改。在当前发明中，DM处理以类似的方式使用，只有其效果明显更强，因为其MDAF实现影响了区块伪边缘附近的更多像素。这是因为DMMDAF方法对图像数据进行递归处理，由此实现像素的等效空间整合的外延尺寸。

此外，当编码视频流时，去块滤波器强度可能需要适应由于量化步长和/或运动补偿误差导致的计算图像误差。基于像素的动态去块控制很容易通过DM实现。

在图8a至图8c的系统400中，DM处理可以由预处理器来执行以便进行自适应面部改变，并且还可以由后处理器来执行以便降低压缩伪影。因为DM处理降低了面部信号的可变性，所以通过本发明的数字化妆技术输出的面部图像中包括的数据随着其在空间上更加高度相关而被减少，并且可以实现5％-10％的带宽减小。实际带宽节省也可以取决于头部/面部相对于图像尺寸的尺寸。当在应用DM之后传输缩小图像时，可以实现更明显的10％-100％的带宽节省，由此避免当升频以在接收器端部显示时显示过量的面部伪影。结果是一种所显示的面部图像，其更令人赏心悦目并且适合用户，由此需要明显更少的带宽。

图8d示出了日常通信设备(例如计算机、平板计算机和蜂窝电话机)中的DM处理的整合。这些通信设备可以被用作面部图像的发射器和接收器。

现在参照图9a至9c，示出了已知的硬件/软件包中的DM处理的详细实现。

图9a描绘了利用本发明的视频通话软件/应用。在该实例中，应用访问摄像机图像(通过摄像机的驱动器)，DM进程库(通过其应用编程接口API)，显示器(通过显示器的驱动器)和编解码器(通过API)，并将用户定义的DM参数保存在ini文件中。图9b描绘了利用本发明的视频通话应用的实例，其中应用通过虚拟摄像机驱动器(VCD)来访问摄像机。VCD访问DM进程库，并且可以概括为通过相应的API来访问任何摄像机。此VCD也可以被实现为在摄像机设备中运行的嵌入式固件。VCD的优点在于所述VCD对所有视频通话应用来说都是通用的，而VCD被识别为摄像机设备，但是其实际上是通过软件实现的并对成像设备执行来自摄像机设备的实际视频访问。例如，移动智能电话和平板经常具有单个VCD可以选择的前置摄像头和后置摄像头，使得任何DM处理都可以被所有可用摄像机(例如，网络摄像头)上的单个VCD应用。图9c描绘了使用本发明的数字反射镜(Java实现)应用的实施方式，其中应用访问摄像机(通过摄像机驱动器或VCD)，将DM处理应用于输入视频流，并以并排的方式显示输入图像和处理后的图像结果。这使得用户可以看见模拟化妆前后的自己。在视频通话应用中，数字反射镜功能可以供用户用来在实际建立视频通话之前定义合适的DM处理参数(放置在ini文件中)。

DM处理还可以应用于工作室的数字TV广播和拍摄应用(例如，访谈节目、采访、新闻播报)。DM可以被实现为工作室TV摄像机或外部独立的后处理器。DM处理还可以在便携式摄像机、网络摄像头、编解码器和显示器的固件中实现。

以应用于视频流的类似方式，在图像压缩阶段(例如，JPEG)之前，或在其解码之后和显示或打印之前，DM处理还可以应用于静态照片。本发明中的DM处理可以应用于整个图像或(可选地)更加选择性地应用于图像的面部或皮肤区域，类似于上述DM形态功能所采用的方法。

应理解，本发明的系统，即，使用上述滤波模块的数据处理和分析工具，实际上可以被嵌入具有成像器(摄像机)的任何电子设备或能够接收来自外部成像器的图像数据的任何电子设备中。同样，本发明的数据处理和分析工具可以被实现为纯软件产品，该软件产品可以以API的形式被下载到电子设备例如手机设备、平板计算机、PC等中(例如，经由网络例如互联网)。

在本发明的实施方式中，可以手动指定包含面部和皮肤的图像区域。优选通过单次局部单击(“一触式”)触摸屏，例如智能手机和平板电脑上的触摸屏来实现。连续局部触摸可以激活可以向用户呈现中间分割结果的局部面部或皮肤分割，使得一旦该过程似乎分割了所期望的面部/皮肤区域，用户就停止连续触摸，在此之后应用DM处理。可选地，DM处理可以以批处理方式应用到多个图像上。DM还可以结合摄像机的自动增益控制(AGC)和动态范围压缩(DRC)使用。

如在上文中描述的且在下面的权利要求部分中要求保护的本发明的各个实施方式和方面在以下实例中找到实验支持。

现在参照以下实例，与上述描述一起以非限制性的方式示出了本发明的一些实施方式。

图10和图11示出了根据本发明的一些实施方式的由不同滤波器产生的多个图像。

图10描绘了根据图2c和图2d的实施方式的输入亮度图像(图像a)(8比特，256灰度级)的图像分解实例。在该实例中，八个MDAF滤波器被赋予以下a1,…,a8的值：a1＝10，a2＝20，a3＝30，a4＝40，a5＝50，a6＝60，a7＝70，a8＝80。因此，产生分量信号S1,…,S8作为MDAF滤波器之间的差值，其中S1(图像b)是高通信号(I-Fil1(I))，S2是带通信号(Fil1(I)-Fil2(Fil1(I))(图像c)，S3至S8(图像d至i)是带通信号，S9是低通(台形)信号。信号S1至S8的灰度级的标准差(STD)例如分别为STD1＝0.7，STD2＝0.8，STD3＝1.2，STD4＝1.5，STD5＝2，STD6＝2.6，STD7＝3.2，STD8＝3.8。由于信号S1至S8的STD较小，因此在图11b至i中出于显示目的，其可以通过直方图进行扩展显示。

图11表示相同输入图像的八个连续高斯(线性)滤波器的滤波。比较图10的图像b和图11的图像b，可以看出图10的图像b很详细地展示出皮肤纹理效果和摄像机噪声，而图11的图像b很详细地展示出面部的轮廓。随着滤波继续，图10中的分量S6(图像g)成功提取图像分量，与图11中的图像分量S6(图像g)相比其更好地描绘了面部的阴影效果。图10中的图像分量S4(图像e)成功提取图像分量，与图11中的对应图像相比其更好地描绘了面部的粉刺效果。与图11中的图像分量相比，图10中的图像分量成功避免了沿强边缘的过量伪影。

因此表明，通过使用MDAF滤波器(图10)，在带通信号中可以提取不同的面部瑕疵和面部效果。因此，使用相应的T1-T8变换，每个不同的瑕疵都可以以合适的方式单独进行处理。同时，应用高斯滤波器产生面部轮廓和边缘保存得很好的高通分量图像。因此，有利于组合高斯滤波器和一系列MDAF滤波器以便处理皮肤瑕疵，并同时保持面部边缘和轮廓。如上所述，实现该“混合”滤波处理的一种方式，图2b、图2c和图2d的滤波单元Fil1可以应用线性(高斯)滤波器，而其他滤波单元可以应用MDAF。单独处理皮肤效果和面部细节的另一种解决方案可以由图6a至图6d的系统300来执行，其中输入信号通过两条不同的路径。第一路径包括线性滤波器并产生面部细节被保留的高通信号。第二路径可以包括多个MDAF(串联或并联)，其对皮肤效果进行处理。

现在参照图12a至图12b，示出了由本发明技术实现的粉底效果。图12a描绘了前额皮肤具有纹理的输入图像。图12b示出了由图2b至图2d和图6a至图6d的任意一个系统200或300产生的输出图像。输出图像中的纹理被细化(平滑)，同时保留边缘并且相邻区域之间不会感知到间断。

现在参照图13a至图13b，示出了由本发明技术实现的除皱效果。通过经由本发明的DM技术对输入图像(图13a)进行处理，实现了输出图像(图13b)，其中减少了皱纹，同时保留了边缘并且相邻区域之间不会感知到间断。

现在参照图14a至图14c，示出了使用本发明的DM处理技术进行粉刺遮盖的实例。图14a是输入图像，其中示出了具有粉刺极性病例的受试者。图14b是临床(基于医学)治疗之后的同一受试者的照片。图14c是本发明的DM处理技术产生的输出图像(给出图14a的输入图像)。在本实例中，Cr彩色图像分量的相应S2信号通过较低阈值和较高阈值进行阈值处理，由此超过较高阈值的像素通过较高的k值进行滤波处理，同时超过较低阈值的像素是k的较低值，由此导致粉刺或皮肤不规则的可能性更高的像素进行更强烈的滤波处理，与图2b和图2c中描述的实施方式有关。羽化操作可以用于细化相邻区域之间的过渡区域。

图15a至图15f示出了由本发明的系统的不同配置产生的不同输出图像。

图15a是输入面部图像。图15b是通过经由本发明的DM技术处理输入图像实现的输出图像，其中使用α1(如上面定义的)，并将全局操作数a设为10。在该图中，滤波处理有点弱，因此一些皮肤瑕疵仍然可见。

图15c是通过经由本发明的DM技术处理输入图像实现的输出图像，其中使用α2(如上面定义的)，并将全局操作数a设为10。在该图中，皮肤滤波处理更强，因此仍然保持了细节。

图15d是通过经由本发明的DM技术处理输入图像实现的输出图像，其中使用α1(如上面定义的)，并将全局操作数a设为20。在该图中，滤波处理比图16b的滤波处理更强且比图16c的滤波处理更弱。仍然保持了细节。

图15e是通过经由本发明的DM技术处理输入图像实现的输出图像，其中使用α2(如上面定义的)，并将全局操作数a设为20。在该图中，滤波处理太强，因此会丢失很多细节。

图15f是通过经由本发明的DM技术处理输入图像实现的输出图像，其中第一MDAF滤波器使用α2和为20的全局操作数a，而第二MDAF滤波器使用α2和为10的全局操作数a，并且输出图像由此为：

O＝T3[S3]+T2[S2]+T1[S1]＝T3[MDAF2(α2,a＝20)]+T2[MDAF1(α2,a＝10)–MDAF2(α2,a＝20)]+T1[I–MDAF1(α2,a＝20)] 等式44

其中T3适应于台形信号S3的动态范围，T2是通常在～2-4之间的增益变换范围，类似于图4b(a)，T1是通常类似于图4c的变换。在去除面部瑕疵和伪影之后，差分信号S2捕获保留图像的对比度。差分信号S1进一步用于保持敏锐度，并同时去除摄像机噪声。因此，仍然保持了细节，同时处理大部分皮肤瑕疵。用于产生图15f的图像的处理类似于图2d中所示的技术，其中a的不同值用于确定不同滤波器的强度。

图16a至图16f示出了当DM处理在传输设备与接收设备(这些设备在图9a至图9d中示出)之间的不同通信阶段应用时的DM的效果。

图16a是输入图像。图16b是在编码和压缩之前的传输设备处的预处理图像。注意图16b中的DM效果。图16c是不进行预处理的解压(解码)图像，图16d是进行预处理的解压(解码)图像。图16e是进行预处理的解压图像，图16f是进行后处理和预处理的解压图像。注意，图16c和图16d的图像在视觉上是等效的，这意味着在本实例中，预处理是多余的，并且低比特率的图像质量只可以通过后处理来单独改善。此外，图16e和图16f的图像在视觉上也是等效的，这意味着在本实例中，图像质量改善只可以经由后处理来单独实现。

图17a至图17f表示本发明的技术的不同应用。图17a是输入图像。图17b是分割性质类似于皮肤的图像区域的输出图像。图17c描述了所分割的皮肤区域通过标志、标记、图形元素等叠加到图像上的输出图像。这可用于广告或娱乐等。图17d至图17f描述了相应输入图像的输出图像，其中加强细节，并且皮肤效果衰减至极限。以这种方式，输出图像以漫画或素描的形式存在。

现在参照图18a和图18b，示出了本发明的技术的实施方式，其中对面部的输入图像(图18a)进行处理以增加皮肤瑕疵(例如，皱纹)，以便产生面部看起来已经老化的输出图像(图18b)。

该处理通过选择突出显示皮肤瑕疵的一个或多个变换来执行，而不是通过衰减皮肤瑕疵来执行。

以下的图示出了本发明的技术与本领域中的不同噪声衰减技术之间的比较。

图19a示出了输入信号的强度对位置的表示。图19b示出了在处理输入信号之后产生的输出的相同表示。

在这些图中，i是输入图像，p是处理后的图像，C是对比度，1表示接近边界的上表面，2表示接近边界的下表面，μ代表平均值，σ是标准差，RSS表示根平方和(the sum of squares)。

图像清晰度的度量是针对输入和处理图像计算的对比度噪声比(CNR)，如下：

CNRi＝Ci/RSS(σi1,σi2) 等式45

CNRp＝Cp/RSS(σp1,σp2) 等式46

CNR改善率(CNRIR)测量处理图像和输入图像之间的图像改善(噪声衰减)。

CNRIR＝(CNRp-CNRi)/CNRi 等式47

图20a是含有噪声的输入图像，其中噪声σ_n～11.5 CNRi＝7.6。图10b是在经由中值3x3滤波器对输入信号进行处理之后产生的输出。在该图像中，σ_n～7.5且CNRp＝12.7。在该图像中，保留边缘，但存在不期望的斑点。中值滤波器的有限空间尺寸限制了其处理较大图像伪影并在平滑图像区域中提供连续性的能力。

图20c是在经由双边滤波器对输入信号进行处理之后产生的输出，运动半径＝3且阈值＝20。在该图像中，σ_n～2.9且CNRp＝22.6。在该图像中，保留边缘，但由于其有限的空间尺寸，同样由于当前像素附近的所有这种像素的比较步骤，而存在严重的量化效应。

图20d是在经由本发明的DM技术对输入信号进行处理之后产生的输出。在该图像中，σ_n～2.6(低于前一个滤波器的标准差)且CNRp＝26.9(高于前一个滤波器的对比度噪声比)。本发明的DM处理为保留边缘，但不引入量化效应。滤波器的尺寸不限制处理后的面部特征的尺寸。

现在参照图21a至图21c，示出了输入图像(图21a)的斑点噪声与通过输入图像的不同处理(图21b，21c)输出的图像的斑点噪声之间的比较。一般来说，斑点噪声纹理表示面部皮肤瑕疵(例如，毛孔粗大、皱纹、粉刺等)。在图21a中，噪声标准差为σ_n～2.86。在图21b中，通过双边滤波处理的图像产生σ_n～1.16的噪声标准差。在图21c中，通过本发明的DM技术处理的图像产生σ_n～0.73的噪声标准差。因此，与双边滤波器相比，斑点噪声纹理通过本发明的DM技术被更好地去除，都降低了σ_n(～60％)，并且几乎感知不到残余噪声纹理的斑点形态，同时保持过渡区域中的影像清晰度(sharpness)。

现在参照图22a至22f，示出了本发明的技术在现今的市场上常见的各种平台上实现。

图22a至22c示出了本发明的DM技术经由VCD实现如何应用到Skype视频通话上。VCD通过作为物理摄像机设备的Skype应用来实现，并支持选择相应的摄像机来访问、显示模式(例如，全处理的图像或并排处理对未处理的图像)、所期望的相应DM参数。VCD在PC和笔记本电脑上的视窗操作系统(例如，Windows XP，Windows 7，Windows 8)下工作，并且在移动设备操作系统(例如，Android，iOS，Windows 8RT)下工作。在图22a、22b和22c中，右边的图像是输入图像，左边的图像是通过经由本发明的DM技术处理相应输入图像而生成的输出图像。图22a描绘了在温暖的(灯丝)室内灯光下去除面部老化效果，例如松弛皮肤。图22b描绘了在组合的室内灯光和从右侧射出的阳光下去除面部老化效果例如松弛皮肤，由此使得面部左边阴影。图22c描绘了在阴凉霓虹灯室内光线下去除面部老化效果例如松弛皮肤。

图22d至图22f示出了本发明的技术在数字反射镜应用中实现，如图9c所述，其分别在三星GALAXY S2(GT-I9100T)手机、HTC OneX和三星平板电脑Galaxy Note 10.1(GT/N8013EA)上运行。左边的图像是输入图像，右边的图像是通过经由本发明的DM技术处理相应输入图像而生成的输出图像。

Claims (21)

1.一种用于处理人面部的图像的系统，所述系统包括数据处理和分析工具，所述数据处理和分析工具包括：

高通滤波模块，被配置用于接收指示所述图像的特征的输入图像数据并输出指示所述输入图像数据中的所述面部的边缘和轮廓中的至少一个的高通信号；

至少一个带通滤波模块，被配置用于接收指示所述输入图像数据的数据并输出指示所述面部的低对比度的缓慢变化的定性特征的带通信号；

低通滤波模块，被配置用于接收指示所述输入图像数据的数据并且输出平滑低对比度区域且保留高对比度区域的低通信号；

特征计算模块，被配置用于接收所述输入图像数据并且针对所述图像的多个像素计算所述图像的局部特征；

强度计算模块，被配置用于从所述特征计算模块接收所述局部特征，利用所述局部特征来确定局部操作数以确定所述高通滤波模块、所述带通滤波模块、所述低通滤波模块的各滤波模块中使用的滤波器在所述多个像素的强度，并将所述局部操作数传输至各个所述滤波模块；

至少一个变换模块，被配置用于接收并改变所述高通信号、所述带通信号、和所述低通信号中的至少一个信号的至少一部分；以及

加法模块，被配置用于接收在改变了所述至少一部分之后的所述高通信号、所述带通信号、和所述低通信号，并将所接收的信号加在一起，由此产生指示改变图像的特征的输出信号。

2.根据权利要求1所述的系统，其中，所述高通滤波模块包括：

第一滤波工具，被配置用于接收所述输入图像数据，对所述输入图像数据施加第一平滑滤波器，并输出第一平滑信号；以及

第一减法工具，用于从所述输入图像数据中减去所述第一平滑信号，由此产生所述高通信号。

3.根据权利要求2所述的系统，其中，所述至少一个带通滤波设备包括：

第二滤波工具，被配置用于接收所述输入图像数据，对所述输入图像数据施加第二平滑滤波器，并输出第二平滑信号；以及

第二减法工具，用于从所述第一平滑信号中减去所述第二平滑信号，由此产生所述至少一个带通信号。

4.根据权利要求3所述的系统，其中，所述低通滤波模块包括所述第二滤波工具，所述第二平滑信号是所述低通信号。

5.根据权利要求2所述的系统，其中，所述至少一个带通滤波模块包括：

第二滤波工具，被配置用于接收所述第一平滑信号，将第二平滑滤波器施加于所述第一平滑信号，并输出第二平滑信号；以及

第二减法工具，用于从所述第一平滑信号中减去所述第二平滑信号，由此产生所述至少一个带通信号。

6.根据权利要求5所述的系统，其中，所述低通滤波模块包括所述第二滤波单元，所述第二平滑信号是所述低通信号。

7.根据权利要求2至6中的任一项所述的系统，其中，所述强度计算模块被配置用于确定所述局部操作数以确定所述平滑滤波器在所述多个像素处的强度，并将所述局部操作数传输至所述滤波工具。

8.根据权利要求2至7中的任一项所述的系统，其中，所述滤波工具中的至少一个被配置用于接收单独的全局参数，并利用所述全局参数和所述局部操作数来计算相应的平滑滤波器的所述强度。

9.根据权利要求2至7中的任一项所述的系统，其中：

所述强度计算模块被配置用于确定多个局部操作数，每个局部操作数对应于相应滤波工具并指示所述相应的平滑滤波器的所述强度；并且

各滤波工具被配置用于利用相应的所述局部操作数来确定相应的平滑滤波器的所述强度。

10.根据权利要求2至9中的任一项所述的系统，其中，所述滤波工具中的至少一个被配置用于将多维自适应平滑滤波器施加于相应的接收的信号。

11.根据权利要求2至10中的任一项所述的系统，其中，所述滤波工具中的至少一个被配置用于将线性平滑滤波器施加于相应的接收的信号。

12.根据权利要求11所述的系统，其中，所述第一滤波工具被配置用于施加所述线性平滑滤波器。

13.根据权利要求2至12中的任一项所述的系统，包括：所述带通滤波模块的阵列，其中，各带通滤波模块包括：

相应的滤波工具，被配置用于接收指示所述输入图像数据的所述数据并对所述数据施加相应的平滑滤波器，并且输出相应的平滑信号；以及

相应的减法工具，用于从由在前滤波模块中包含的在前滤波工具输出的前一个平滑信号中减去相应的平滑信号，由此产生相应的带通信号。

14.根据权利要求13所述的系统，其中，所述低通滤波模块包括作为所述带通滤波模块的所述阵列中的最后带通滤波模块的一部分的滤波工具，以生成作为所述低通信号的最后平滑信号。

15.一种用于处理人面部的图像的系统，所述系统包括：

第一高通滤波模块，被配置用于接收指示所述图像的特征的输入图像数据并输出指示所述图像中的所述面部的至少边缘和/或轮廓的第一高通信号；

抽取模块，被配置用于接收所述输入图像数据，并处理所接收的所述图像数据用于减小所述输入图像的尺寸，以产生第一抽取图像，并输出指示所述第一抽取图像的抽取信号；

根据前述权利要求中的任一项所述的滤波系统，被配置用于接收并处理所述第一抽取信号，并输出指示第一输出图像的第一输出信号；

插值模块，被配置用于接收所述第一输出信号，并对所述第一输出信号进行插值以输出指示尺寸等于所述输入图像的尺寸的图像的插值信号；以及

第一加法模块，被配置用于接收所述插值信号和所述第一输出信号，并将所述插值信号和所述第一输出信号加在一起，由此产生指示改变的图像的特征的第二输出信号。

16.根据权利要求15所述的系统，包括：第一变换模块，被配置用于改变所述第一高通信号的至少一部分以输出第一变换信号，第一加法模块被配置用于接收所述插值信号和所述第一变换信号并将它们加在一起，由此产生指示改变的图像的特征的第二输出信号。

17.根据权利要求15或16所述的系统，其中，所述第一高通滤波模块包括：第二插值模块，被配置用于接收所述抽取信号并对所述抽取信号进行插值以输出第二插值信号，所述第一高通滤波模块被配置用于接收所述输入图像数据和所述第二插值信号；以及第一减法单元，被配置用于从所述输入图像数据中减去所述第二插值信号，由此产生所述第一高通信号。

18.根据权利要求17所述的系统，包括：第二抽取模块，被配置用于对所述第一抽取信号执行第二抽取以输出第二抽取信号，所述第二抽取信号由所述滤波系统接收并处理以输出第一输出信号。

19.一种用于处理指示人面部的图像的特征的输入信号的方法，所述方法由数据处理和分析工具实现并且包括：

(i)处理输入图像数据以针对所述图像的多个像素计算所述图像的局部特征；

(ii)利用所述局部特征来确定局部操作数；

(iii)将高通滤波器、至少一个带通滤波器、和低通滤波器施加于指示所述输入图像数据的数据，由此生成高通分量信号、至少一个带通分量信号、和低通分量信号，使得各滤波器的强度取决于所述局部操作数；

(iv)将至少一个变换施加于所述高通分量信号、所述带通分量信号、和所述低通分量信号中的至少一个，以改变所述分量信号的至少一个信号的至少一部分；

(v)在改变所述分量信号的至少一个信号的分量之后将所述分量信号相加，由此产生指示改变的图像的特征的输出信号。

20.一种用于处理指示人面部的图像的特征的输入信号的方法，所述方法包括：

将第一高通滤波器施加于输入图像数据以生成指示所述图像中的所述面部的至少边缘和/或轮廓的第一高通信号；

抽取所述输入图像数据以输出指示相对于输入图像减小尺寸的图像的抽取信号；

将权利要求19的步骤(i)至(v)应用于所述抽取信号并输出第一输出信号；

对所述第一输出信号进行插值以输出指示尺寸等于所述输入图像的尺寸的图像的插值信号；

将所述第一输出信号与所述插值信号相加，由此产生指示改变的图像的特征的第二输出信号。

21.一种与计算机结合使用的计算机可读介质，并且在所述计算机可读介质上存储有数据处理和分析工具，所述数据处理和分析工具被配置用于使计算机响应于输入图像数据执行以下各项：

处理输入图像数据以针对所述图像的多个像素计算所述图像的局部特征；

利用所述局部特征来确定局部操作数；

将高通滤波器、至少一个带通滤波器、和低通滤波器施加于指示所述输入图像数据的数据，由此生成高通分量信号、至少一个带通分量信号、和低通分量信号，使得各滤波器的强度取决于所述局部操作数；

将至少一个变换施加于所述高通分量信号、所述带通分量信号、和所述低通分量信号中的至少一个，以改变所述分量信号的至少一个信号的至少一部分；

在改变所述分量信号的至少一个信号的分量之后将所述分量信号相加，由此产生指示改变的图像的特征的输出信号。