CN108604293B

CN108604293B - 提高图像质量的装置和方法

Info

Publication number: CN108604293B
Application number: CN201680080275.8A
Authority: CN
Inventors: 约翰·W·格洛茨巴赫; 易卜拉欣·E·佩克库克森; 哈米德·拉希姆·谢赫
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2016-01-30
Filing date: 2016-12-14
Publication date: 2022-05-27
Anticipated expiration: 2036-12-14
Also published as: EP3384427B1; CN108604293A; US10783617B2; KR102175164B1; KR20180096816A; US10055821B2; WO2017131343A1; EP3384427A4; EP3384427A1; US20170221186A1; US20180330479A1

Abstract

描述了一种提高图像质量的方法。该方法包括接收图像；识别图像的具有皮肤的区域；在图像的具有皮肤的区域中执行运动分析；以及如果检测到运动，则控制图像的具有皮肤的区域中的混合，以避免皮肤中的纹理模糊。

Description

提高图像质量的装置和方法

技术领域

本发明的实施例总体上涉及集成电路装置，具体涉及提高图像质量的电路和方法。

背景技术

数字图像处理在许多领域已经变得非常常用和重要。数字图像处理从传感器获取图像并将图像转换为可观看的内容。然而，数字图像可能受到各种像差(aberration)的影响，并且必须进行处理以减少或消除像差。得到的处理后的图像应具有高质量，以尽可能地避免例如噪声和模糊等的伪影(artifact)。用于提高捕获的图像的质量的常规图像处理技术组合了多个帧。即，例如，可以使用多于一个的帧来去除通常在缩放操作期间会观察到的伪影。

发明内容

技术问题

数字成像的一个特别常见的应用是具有相机诸如数码相机的消费装置、包括智能手机的无线电话、平板电脑、或具有相机的其他计算机。诸如智能手机和平板电脑之类的消费装置的许多用户对人脸照片具有特定的兴趣。人脸在照片中是非常普遍的主题，因此在不引入像差的情况下重建面部是非常重要的。在数字监控领域，例如在商业或住宅安全系统中，重建人脸图像而不产生像差也是非常重要的。

因此，提高图像质量并且更具体地提供改善的图像而没有在数字图像中常见的像差的装置和方法是有益的。

附图说明

图1是用于提高图像的图像质量的装置的框图；

图2是示出用于提高图像的图像质量的在图1的装置中实现的处理块的框图；

图3是示出用于提高图像的图像质量的在图1的装置中实现的处理块的另一个框图；

图4是与图像相关联的一系列帧，并且示出了能够检测具有皮肤的图像的区域的运动的特征点和距离；

图5是示出面部局部化中值噪声滤波器的实现方式的框图；

图6是示出提高图像质量的方法的流程图；

图7是示出建立局部运动的层级以能够提高图像质量的方法的流程图；

图8是示出选择帧的肤色以能够提高图像质量的方法的流程图；

图9是示出转换与图像相关联的数据以能够对于与图像相关联的帧选择肤色的方法的流程图；

图10是示出通过应用与图像中的对象相关联的特定图像处理来提高图像质量的方法的流程图。

实施本发明的最佳方式

描述了一种提高图像质量的方法。该方法包括：接收图像；识别图像的具有皮肤的区域；在图像的具有皮肤的区域中执行运动分析；以及如果检测到运动，则控制在图像的具有皮肤的区域中的混合，以避免皮肤纹理模糊。

在另一方面，该方法包括：在参考帧中建立与图像的具有皮肤的区域相关联的特征点，其中，基于第二帧中的特征点的位置与参考帧中的特征点的位置的比较来检测运动。

在另一方面，该方法还包括：建立局部运动阈值，其中，如果运动超过局部运动阈值，则检测到局部运动。

在另一方面，该方法还包括：确定与多个帧中的帧相关联的全局运动。

在另一方面，该方法还包括：在图像的具有皮肤的区域中执行运动分析包括基于与全局运动相关联的矩阵将参考帧上的特征点映射到第二帧上的特征点。

在另一方面，该方法还包括：通过比较第二帧中的多个点的位置与参考帧中的多个点的位置来确定图像的区域中的多个点的误差。

在另一方面，该方法还包括：基于该误差建立权重因子以控制混合的灵敏度。

在另一方面，该方法还包括：将图像的具有皮肤的区域中的像素数据从第一格式转换为第二格式；将采用第二格式的像素数据与采用第二格式的多个肤色定义进行比较；以及选择多个肤色定义中的肤色定义。

在另一方面，该方法还包括：将图像的具有皮肤的区域中的像素数据从第二格式转换回第一格式。

在另一方面，该方法还包括：识别图像的具有皮肤的第二区域；以及选择与图像的具有皮肤的第二区域相关联的第二肤色定义，其中，为帧选择肤色定义包括基于所选择的肤色定义和所选择的第二肤色定义来选择肤色定义。

在另一方面，将图像的具有皮肤的区域中的像素数据从第一格式转换为第二格式包括将像素数据从亮度-色度表示转换为圆柱坐标表示。

在另一方面，将图像的具有皮肤的区域中的像素数据从第一格式转换为第二格式包括将像素数据转换为具有色调和饱和度分量的圆柱坐标表示。

在另一方面，该方法还包括基于所选择的肤色定义在图像的具有皮肤的区域中实现边缘增强。

在另一方面，该方法还包括：对图像的具有皮肤的区域应用特定噪声滤波器；以及在对图像的具有皮肤的区域应用特定噪声滤波器之后对图像的其余部分应用图像处理。

在另一方面，识别图像的具有皮肤的区域包括识别面部区域。

提高图像质量的另一方法包括：接收图像，其中图像的像素采用第一格式；识别图像的具有皮肤的区域；将图像的具有皮肤的区域中的像素数据从第一格式转换为第二格式；将采用第二格式的像素数据与采用第二格式的多个肤色定义进行比较；选择所述多个肤色定义中的肤色定义；以及将图像的具有皮肤的区域中的像素数据从第二格式转换回第一格式。

提高图像质量的另一方法包括：接收图像；识别图像的与图像中的对象相关联的区域；对图像中的对象应用第一图像处理；在对图像中的对象应用了特定处理之后，对图像的其余部分应用第二图像处理。

还描述了用于提高图像质量的装置。该装置包括处理器电路，该处理器电路被配置为：接收与图像相关联的帧的像素数据，其中像素数据采用第一格式；识别图像的具有皮肤的区域；将图像的具有皮肤的区域中的像素数据从第一格式转换为第二格式；将采用第二格式的像素数据与采用第二格式的多个肤色定义进行比较；选择多个肤色定义中的肤色定义；以及将图像的具有皮肤的区域中的像素数据从第二格式转换回第一格式。

还公开了一种具有存储在其中的数据的计算机可读存储介质，该数据表示可由计算机执行的用于提高图像质量的软件。该计算机可读存储介质包括用于：接收与图像相关联的帧的像素数据的指令，其中该像素数据采用第一格式；用于识别图像的具有皮肤的区域的指令；用于将图像的具有皮肤的区域中的像素数据从第一格式转换为第二格式的指令；用于将采用第二格式的像素数据与采用第二格式的多个肤色定义进行比较的指令；用于选择多个肤色定义中的肤色定义的指令；以及用于将图像的具有皮肤的区域中的像素数据从第二格式转换回第一格式的指令。

通过考虑以下详细描述和权利要求将了解到其他特征。

本发明的方式

尽管说明书包括限定了被视为新颖的本发明的一个或更多个实施方式的特征的权利要求，但相信通过结合附图考虑说明书将更好地理解电路和方法。虽然公开了各种电路和方法，但应该理解的是，电路和方法仅仅是可以以各种形式实施的本发明布置的示例。因此，本说明书中公开的具体结构和功能细节不应被解释为限制性的，而仅仅作为权利要求的基础且作为用于教导本领域技术人员以实际上任何适当的详细结构以不同方式应用本发明布置的代表性基础。此外，这里使用的术语和短语并不意图是限制性的，而是提供电路和方法的可理解的描述。

以下阐述的各种装置和方法应用特定处理以避免伪影并提高拍摄照片中的面部主体的质量。使用面部的知识作为场景中的主体，执行分析以记录肤色并识别应该应用特定处理的所有区域。在这些具有肤色的区域中，控制边缘提高操作和现有的噪声滤波器的参数以最小化伪影。例如，减小边缘提高，以避免提高面部区域内的噪声的伪影。此外，通过使用具有多个肤色选择的表格，可以使用更具体的肤色定义，这避免了在非面部区域中的处理。在多帧捕获使用实例期间，还可以应用特定处理来避免和去除捕获的图像中的伪影。也可以在面部区域中的帧之间执行局部运动分析。如果检测到局部运动，则控制混合参数以避免面部模糊。自定义噪声滤波器可能只适用于面部区域，以消除高振幅噪声，如果不对高振幅噪声加以控制，其会导致伪影。

首先转到图1，示出了用于提高图像的图像质量的装置的框图。具体地，装置100包括耦合到图像传感器104的处理器电路102。装置100可以是适合于捕获数字图像的任何类型的装置或者诸如装置或系统的集成电路的组件。图像传感器104可以是数码相机，或数码相机的任何部分，例如镜头或其他图像感测元件。处理器电路可以耦合到用于显示捕获的图像的显示器106，更具体地，显示具有提高的图像质量的数字图像。如下面将参考图2更详细地描述的，处理器电路单独或与其他元件组合可以生成具有提高的图像质量的数字图像。

处理器电路102还可以耦合到存储器108，存储器108能够存储与图像的各种帧有关的信息，或者产生具有提高的图像质量的数字图像。如众所周知的，存储器108可以被实现为处理器电路102的一部分，或者可以被实现为除了处理器的任何高速缓冲存储器之外。还示出了用户界面110，其可以与显示器分离，或者也可以是显示器的一部分或者对显示器作出响应。处理器电路102还可以耦合到接收输入或者能够捕获数字图像的其他元件。例如，惯性测量单元(IMU)112可以提供与装置100的运动或方位有关的各种信息。处理器电路102还可以通过耦合到天线118的输入/输出(I/O)端口114或收发器116来接收输入。电池120可以被实现为向装置100的处理器和其他元件提供电力。

在数码摄影中，保存人脸并重建人脸而不产生伪影对于消费者对图像质量的感知非常重要。即，诸如面部之类的图像中的皮肤像差会显着降低图像质量的感知。人脸的典型失真包括由于运动引起的模糊、残余噪声伪影以及这些噪声伪影的过度锐化。以下阐述的装置和方法能够减少或消除可能在面部上出现的失真，并因此提供提高的图像质量。

该装置和方法从相机系统获取图像以及面部检测的结果，并且控制噪声滤波和边缘提高参数，它们将应用在被检测为肤色的区域中。还提供了肤色的多个词典定义，以涵盖可能存在于图像中的各种可能的肤色。通过从词典中选择肤色定义，可以更好地控制噪声滤波器参数，以避免在非面部区域过度处理。在许多场景中，如果仅使用颜色作为鉴别器，则非面部区域容易与肤色混淆。分析被检测为面部区域的区域的颜色使得能够选择限定用于特定场景的皮肤的词典条目之一，因此防止对不具有皮肤的图像区域的不正确处理。

即使存在难以检测到的轻微运动，避免面部模糊的运动分析允许多个帧混合并保存面部的细节。即，如果面部轻微运动，则当组合帧时运动模糊减少方法能够避免引入运动模糊。特定的噪声滤波也仅在面部区域运行，并消除高振幅尖峰噪声，其是一种通常未被在图像处理过程中在其他地方运行的典型噪声滤波去除的噪声。通过去除面部区域中的这种高振幅尖峰噪声，其余噪声看起来更自然，并且不易受到锐化伪影的影响。仅在被识别为皮肤的区域(如面部区域)中应用特定的噪声滤波，使得处理更加稳健，以消除更多的伪影并提供更高质量的图像。

如图2所示，示出了在图1的装置中实现的用于提高图像的图像质量的处理块的框图。图2的处理布置的处理块可以在图1的一个或更多个元件(例如，处理器电路102、图像传感器104和存储器108)中实现。例如，可以从图像传感器104接收像素数据的图像生成块202能够生成像素数组，其中每个像素具有与一种或多种颜色(例如，红色、绿色和蓝色，或者众所周知的3种颜色(青色、品红色和黄色)或4种颜色(红色、蓝色、绿色和黄色)的其他组合)相关联的数据。对象检测块204和运动检测块206提供与图像有关的附加信息，其使得能够提高图像的质量。例如，对象检测块204能够检测诸如图像中的皮肤或面部的一部分的对象，而运动检测能够检测与对象相关联的局部运动，这将在下面更详细地描述。然后，图像处理块208可以提高图像的质量以消除像差，这也将在下面更详细地描述。尽管对由图像传感器捕获并作为具有提高质量的图像予以存储的图像的帧进行了参考，但应该理解的是，可以使用下面阐述的各种方法来提高数字图像(包括已被捕获并存储的多帧图像)的图像质量。

图2的电路且更具体地说图3的特定处理块实现了比现有装置和方法更稳健的多帧图像处理。人脸的典型失真包括由于运动引起的模糊、残余噪声伪影以及这些噪声伪影的过度锐化。通过消除具有皮肤的区域(如面部区域)中的噪声，其余噪声看起来更自然，并且不易受到锐化伪影的影响。如果面部轻微运动，则在组合帧时，运动模糊减少方法避免引入运动模糊。此外，即使有难以检测到的轻微运动，用于避免面部模糊的运动分析允许混合多个帧并保存面部细节。

现在转到图3，示出了在图1的装置中实现的用于提高图像(例如由数码相机捕获的图像)的图像质量的处理块的另一个框图。例如，图3的各种处理块可以在图1的装置中实现，例如在图1的处理器中实现。图像检测块302被耦合以将与图像相关联的帧以及与帧相关联的其他数据提供给皮肤检测块304和运动检测块306。与皮肤检测和运动检测相关联的信息被提供给图像处理块308，以基于捕获的图像生成提高的图像。

图像检测块302包括图像生成块310，其生成提供给皮肤检测块304和皮肤检测块312的图像帧。与图像相关联的每个帧可以包括与帧的多个像素相关联的像素数据，其中每个像素可以包括与该像素相关联的颜色信息。如将在下面更详细地描述的，像素数据可以以诸如RGB格式的第一格式存储并且被转换为诸如具有色调的格式的第二格式，以便于处理，更具体地便于音调检测。皮肤检测块312识别提供给皮肤检测块304和局部运动块306的各种处理块的与皮肤相关联的图像的一个或更多个区域。如图4所示，图像帧可以提供有表示图像中的检测到的面部的位置的矩形。即，应该注意的是，尽管参考的是皮肤，但面部是经常用于肤色确定和与皮肤区域相关的特定处理的皮肤区域。这些矩形区域内的颜色值被采样并组合以从肤色表的词典中挑选多个条目中的一个。更具体地，将图像的多个帧提供给皮肤检测块304的色度采样块314、肤色表选择块316、皮肤遮罩块318和皮肤区域中值滤波器320中的每一个。皮肤检测块304的每个处理块使用来自另一处理块的信息和图像本身来生成信息。

色度采样块314识别与图像的每个帧的像素相关联的色度值(例如，Cb和Cr)，并将色度值提供给肤色表选择块316。使用由皮肤检测块312提供的与皮肤区域相关联的坐标，从所有检测到的皮肤(例如面部)区域对Cb和Cr值进行采样。根据一个实施方式，这些值被转换成色调、饱和度和值(HSV)色彩空间中的色调值。限定肤色词典定义，每个定义具有覆盖特定肤色的不同色调中心。对每个采样的面部像素与这些词典定义中心之间的欧几里德距离进行计算并分类。最后，选择具有最小中值距离的词典定义作为特定帧的肤色。由于这些词典定义中的肤色与单个肤色图相比更紧密地被定义，所以非面部区域被更成功地拒绝。皮肤遮罩由皮肤遮罩块318生成，其中皮肤遮罩接收图像并识别具有与所选的肤色定义相匹配的颜色的图像的区域。皮肤区域中值滤波器320还接收皮肤遮罩以对具有皮肤的图像的部分执行特定的滤波操作。参照图5更详细地示出和描述了皮肤区域中值滤波器320的实现方式。

将与皮肤相关联的图像的部分提供给具有局部运动分析块322和局部/全局运动比较块324的运动检测块306。面部位置数据也用于指导这些区域中的运动分析，以确定是否有模糊的可能性。如果皮肤区域中的局部运动分析与在多帧捕捉系统中执行的全局运动分析不一致，则图像处理迫使混合对混合期间的误差更灵敏，这即使对于轻微的运动也具有抑制混合的效果。这防止了皮肤轻微运动时混合帧所造成的皮肤区域的模糊，其是不易检测到的。

局部/全局运动比较块324的包括灵敏度控制信号的输出被提供给多帧混合块326，多帧混合块326根据在皮肤区域中检测到的局部运动的层级来实现或防止皮肤区域的像素的混合。在多帧捕捉系统中，相机使用一个以上的图像帧来改善最终得到的图像的图像质量。在多帧捕捉系统中使用注册系统来将所有帧与参考帧对齐。一旦对齐后，使用运动灵敏处理来混合帧，以避免在包含运动的区域中引入虚幻伪影。通过将要混合的当前帧与参考帧进行比较并且当帧之间的差异小时对两个帧一起进行平均来进行混合。但是，当帧之间的差异大时，仅使用参考帧。在具有人脸的图像序列中，面部区域中的轻微运动不产生足以最终抑制混合的误差。因此，在当检测到面部中的局部运动时混合可能受到抑制的同时，但是如果局部运动被确定为足够小，则可以执行面部区域中的像素的混合。

例如，人脸具有能够检测到运动的多个特征，诸如眼睛、鼻子、嘴和头发。在这些高层特征之间，面部仅具有更多细微的特征，如皮肤纹理。如果在图像捕捉过程中面部正在移动，这些细微特征最终模糊在一起。即，皮肤纹理被去除，并且创建了不自然的图像。虽然诸如鼻子、眼睛和嘴之类的高层特征在存在运动时保持尖锐，但这些特征之间的区域可能会模糊，包括在头发区域内。这些低对比度区域的小差异不产生足以抑制这些帧的混合的误差。如将在下面更详细描述的，可以基于对皮肤区域的运动的分析来检测局部运动。避免面部模糊的运动分析使得：使用多帧混合块326，即使在存在难以检测到的轻微运动的情况下，要混合的多个帧也可以保存面部细节。

为了抑制面部区域中的混合，运动检测块检测与全局运动不同的面部区域中的运动。第一步是检测关键参考帧的面部区域内的特征点(x_r,y_r)，如图4所示，其中参考点是为人A指定的(x_A1,y_A1)眼睛。使用具有多个帧的捕获集的一个附加帧，跟踪这些特征点以使用除了参考帧之外的帧的点(x_i,y_i)来捕获面部区域内的局部运动。这两个帧的全局运动由仿射矩阵M描述，并用于计算输入帧中的位置以找到每个输出像素。即，仿射矩阵M表示帧之间的全局运动的估计。全局运动用于对齐帧。为了合并若干帧作为混合过程的一部分，但仍然保持清晰度，需要首先对齐帧。当评估用于局部运动的帧时，仿射矩阵M用于通过使用仿射矩阵M对帧进行变换来补偿全局运动。

将参考帧中的每个特征点(x_r,y_r)映射到非参考帧(xi’,yi’)中的点，如以下等式1所示：

[数学式1]

通过比较映射点(即，特征点的预期位置(x_i,y_i))与实际特征点位置(x_i’,y_i’)来计算每个点(x_i’,y_i’)的误差，如以下等式2所示：

[数学式2]

ε²＝(xi-xi′)²+(yi-yi′)²

面部区域中的所有特征点的平均误差与局部运动相关联，并用于确定抑制权重，其为0和1之间的值，如以下等式3所示：

[数学式3]

w＝MIN(MAX)((ε²-T)m，0)，1)

较低的值使混合对小误差更灵敏，接近1的值保持混合的默认灵敏度。权重w作为参数传递给多帧混合块326以控制混合的灵敏度。上述等式中的T和m是可调参数，以控制算法对面部运动量的灵敏度。举例来说，T可以等于2.5，m可以等于1.4。

如图4所示，一系列帧与图像相关联并示出了能够检测具有皮肤的图像的区域的运动的特征点和距离。可以基于面部的特征点的移动来确定与皮肤相关联的局部运动，诸如面部的一部分。即，可以跟踪表示诸如眼睛或鼻子之类的面部特征点的容易识别部分的运动，以通过跟踪特征点相对于如上所述在每个帧中指定为X_r1,Y_r1的固定点的移动来确定面部是否正在移动。可以在帧之间跟踪与面部相关联的特征点(由虚线框标识)以确定面部的移动是基于局部运动还是全局运动。例如，可以基于相机的移动来确定全局运动，其中图像的所有对象基于相机的移动而移动。即，全局运动可以通过图像中的多个对象相对于在图4中指定为(X_r1,Y_r1)的诸如建筑物的角落之类的对象的移动来确定。相比之下，局部运动是根据一个人的面部是否在独立于全局运动而移动来确定的。例如，可以跟踪由特征点(X_A1,Y_A1)指定的人A的眼睛的特征点的移动以确定局部运动。如上所述，诸如帧3的参考帧可以与一个或更多个其他帧进行比较以确定全局运动和局部运动。

再次参照图3，还基于所选择的肤色定义来执行滤波。参数控制块328还控制噪声滤波器块330和边缘提高块332的操作。针对面部重建而优化的噪声滤波器和边缘提高参数可应用于被检测为肤色的区域。例如，参数控制块328可以将阈值提供给噪声滤波器330并将强度值提供给边缘提高块332。应当注意的是，取决于场景和相机捕获参数，肤色趋于逐帧改变。如果肤色定义被保持为广泛的，从而覆盖了所有可能的面部区域，如在传统装置中所做的那样，则非面部区域也可以被包含，并且利用面部优化参数进行处理。为了避免包括非意图区域作为皮肤区域，实现了基于词典的面部区域选择，并且可以基于所选择的肤色定义来选择控制噪声滤波器块330和边缘提高块332的参数。

更具体地，图像中的高质量面部重建需要对由噪声滤波器控制的呈现的噪声类型进行良好的控制。虽然对于图像的所有部分都是如此，但消费者希望在面部区域获得干净的效果。在人脸区域，图像质量的各个方面可以作为折衷来控制。例如，高分辨率特征不太重要，但保留皮肤纹理非常重要。在这些目标下，具有阈值的中值噪声滤波器320用于去除面部区域中的高振幅尖峰噪声。高振幅尖峰噪声是有问题的，因为它不能被典型的噪声滤波器很好地处理，并且经常通过噪声滤波器输出图像。为了使用噪声滤波器去除面部的噪声，阈值将不得不设置得非常强，这将消除图像的所有其他部分中的太多细节。如果尖峰噪声由面部滤波器中的噪声保留，则系统中的边缘增强向尖峰噪声增加了附加增强。因此，在图像的其他部分进行噪声滤波和边缘增强之前，在关键的面部区域中去除这种类型的高振幅噪声将是更好的。

根据图3的实现方式，中值滤波器可以用在图像处理系统中以去除高振幅尖峰噪声。然而，中值滤波器存在去除大量细节的缺点，包括面部区域中的期望的皮肤纹理。因此，根据图3的实施方式引入阈值作为中值滤波器的可调参数，以避免去除面部区域中的皮肤纹理细节。在计算当前像素周围的小邻域中的中值之后，将中值与阈值进行比较。如果中值小于阈值，则不做改变，并且输出的像素被设置为输入像素的值。如果中值大于阈值，则输出的像素被设置为邻域的中值。中值滤波器使用阈值可防止滤波器去除面部区域中的关键皮肤纹理。对运行噪声滤波器的副作用的第二控制是将中值滤波器的操作限制为仅在被确定为包含皮肤的区域(例如人脸)中运行。

图5示出了面部局部化的中值噪声滤波器的示例，并且可以例如在皮肤区域中值滤波器320中实现。将输入图像和选定的皮肤定义提供给具有皮肤似然块504的皮肤检测部分502，其中可以分析与图像相关联的3x3像素块。皮肤似然块504的判定被提供给阈值块506，阈值块506将皮肤似然值与阈值进行比较以确定像素是否应被视为皮肤，因此确定哪些像素需要被替换。皮肤似然块504的定位路径计算每个邻域为皮肤或非皮肤的似然。在与区域相关联的二元判定作出之后，可以使用形态算子对这些判定进行滤波，包括腐蚀和膨胀。众所周知，腐蚀是腐蚀前景像素的区域的边界的操作，从而允许前景像素的区域在尺寸上减小。膨胀是将背景像素改变为前景的操作，这也是众所周知的。在这些过滤操作之后进行连接成分分析以在连接成分/斑点尺寸测试块510中识别皮肤区域的斑点。只有特定尺寸的斑点被保留为最终面部区域遮罩的一部分。例如，基于，图像的可能具有接近所选肤色的颜色的部分可以基于图像上的该部分的形状的尺寸而被拒绝。即，图像的一部分可能被确定为太小而不能成为面部，或者具有这样的形状，即，此形状不可能是面部或者面部的一部分，该部分中的特殊处理将是有益的。面部局部化中值噪声滤波器包括中值噪声滤波器512，其被配置为接收输入图像并生成滤波图像。基于皮肤检测部分502的结果，将滤波图像的所选部分与中值阈值块514中的中值阈值进行比较，其中，中值阈值块514生成输出图像。即，中值阈值块514计算当前像素周围的小邻域中的中值，将中值与阈值进行比较。如果中值小于阈值，则不对输入图像中的像素进行改变，并且输出像素将被设置为输入像素的值。如果中值大于阈值，则输出的像素被设置为邻域的中值。此外，通过中值阈值块514仅分析由皮肤检测部分502识别的区域中的那些像素。

现在转到图6，流程图显示了提高图像质量的方法。例如，图6的方法以及如下所述的图7-10的方法，尤其是图3的处理块，可以在图1的装置中实现。具体而言，在块602处处理多个帧的像素以生成图像。然后，在块604处确定像素是否在多个帧的一帧中的皮肤区域内。例如，该确定可以由皮肤检测块312进行。如果像素未被确定为处于皮肤区域中，则在块606处接收与下一个像素相关联的像素数据。如果像素数据被确定为与皮肤区域相关联，则在块608处确定皮肤区域是否被确定为正在移动。例如，该确定可以由运动检测块306进行。如果皮肤区域被确定为不移动，则在块610处混合皮肤区域中的像素。然后，可以在块612处仅在被识别为皮肤的区域中执行特定图像处理。例如，关于噪声滤波块330和边缘增强块332的操作来描述特定处理的示例。如果在块608处确定皮肤区域正在移动，则在块614处不混合皮肤区域中的像素，然后在块612处仅在被识别为皮肤的区域中执行特定图像处理。然后，在块616处确定是否需要分析其他像素以识别皮肤区域。如果是，则在块604处分析下一个像素。否则，在识别的皮肤区域之外的图像的其余部分中执行图像处理。

现在转到图7，流程图示出了建立局部运动层级以能够提高图像质量的方法。如上所述，可以根据运动检测块306来实现建立局部运动层级的方法。在块704处识别帧内的皮肤区域，并且在块706处将皮肤的局部运动与全局运动进行比较。如上所述，局部运动用于实现诸如混合的处理特征。

现在转到图8，流程图示出了为帧选择肤色从而能够提高图像质量的方法。具体而言，在块802处提供肤色定义词典中的多个肤色定义。在块804处在帧内识别一个或更多个皮肤区域。在块806处将检测到的区域的肤色与多个肤色定义进行比较。然后，在块808处确定在帧内是否识别出多个皮肤区域。如果是，则在块810处在该帧内识别要用于为该帧选择肤色定义的多个皮肤区域，并且在块812处基于该帧内的多个皮肤区域选择肤色定义。否则，在块814处选择最接近地对应于单个所识别的皮肤区域的肤色定义。

现在转到图9，流程图示出了转换与图像相关联的数据以便能够为帧选择肤色的方法。具体而言，在块902处，将图像的与肤色相关联的部分从第一格式转换为第二格式。在块904处，将图像的一部分内的像素的第二格式的像素数据与第二格式的词典中的定义进行比较。然后，在块906处确定是否已经比较了足够的像素以确定词典定义。如果是，则在块908处确定最接近第二格式的像素数据的词典定义。在块910处，将图像的与肤色相关联的部分从第二格式转换回第一格式。根据皮肤检测块304可以实现针对帧的肤色的选择。

现在转到图10，流程图示出了通过应用与图像中的对象相关联的特定图像处理来提高图像质量的方法。具体而言，在块1002处接收图像。在块1004处识别与图像中的对象相关联的图像的区域。在块1006处对图像中的对象应用第一图像处理。在块1008处，在对对象应用了特定噪声滤波器之后，对图像的其余部分应用第二图像处理。举例而言，图像中的一个或更多个对象可以是人或动物，其中对人或动物执行第一图像处理以向人或动物提供更高的分辨率。即，第一图像处理将为人或动物提供更清晰的图像，即使它们与图像的其他部分相比间隔一定距离并且通常小于图像中的其他对象。

因此，可以理解，已经描述了用于提高图像质量的新的装置和方法。本领域技术人员将理解，将领会到存在包含所公开的本发明的许多替代方案和等价物。因此，本发明不受限于前述实施例，而仅由以下权利要求来限定。

Claims

1.一种提高图像质量的方法，所述方法包括：

接收图像，其中，所述图像的像素数据采用第一格式；

识别所述图像的具有皮肤的区域；

基于对所识别的所述图像的具有皮肤的所述区域的局部运动分析来确定所述图像的具有皮肤的所述区域的运动；

基于所述确定的结果来控制所述图像的具有皮肤的所述区域的像素的混合；

将所述图像的具有皮肤的区域中的像素数据从第一格式转换为第二格式；

将采用第二格式的像素数据与采用第二格式的多个肤色定义进行比较；

选择所述多个肤色定义中的肤色定义；将所述图像的具有皮肤的区域中的像素数据从第二格式转换回第一格式；

使用所选择的肤色定义生成皮肤遮罩；和

使用所述皮肤遮罩对所述图像的具有皮肤的所述区域执行滤波操作。

2.根据权利要求1所述的方法，所述方法还包括：识别所述图像的具有皮肤的第二区域；以及选择与所述图像的具有皮肤的第二区域相关联的第二肤色定义。

3.根据权利要求1所述的方法，其中，将所述图像的具有皮肤的区域中的像素数据从第一格式转换为第二格式包括：将像素数据从亮度-色度表示转换为圆柱坐标表示。

4.根据权利要求1所述的方法，其中，将所述图像的具有皮肤的区域中的像素数据从第一格式转换为第二格式包括：将像素数据转换为具有色调和饱和度分量的圆柱坐标表示。

5.根据权利要求1所述的方法，所述方法还包括：在所述皮肤遮罩外的区域中处理帧的像素。

6.根据权利要求1所述的方法，所述方法还包括：执行所述局部运动分析，其中，在所述图像的具有皮肤的区域中多帧混合的层级是基于所确定的所述局部运动的层级来控制的。

7.根据权利要求1所述的方法，所述方法还包括：基于所选择的肤色定义在所述图像的具有皮肤的区域中实施噪声滤波和边缘增强。

8.根据权利要求1所述的方法，所述方法还包括：检测与所述图像的具有皮肤的区域相关联的所述局部运动，其中，如果检测到所述局部运动，则控制所述图像的具有皮肤的区域中的混合，以避免皮肤中的纹理模糊。

9.根据权利要求1所述的方法，所述方法还包括：选择多个肤色定义中的肤色定义，其中，采用第二格式的所述多个肤色定义采用包括色调和饱和度分量的圆柱坐标格式。

10.一种用于提高图像质量的装置，所述装置包括：

处理器电路，其被配置为：

接收与图像相关联的帧的像素数据，其中，所述像素数据采用第一格式，

识别所述图像的具有皮肤的区域，

基于对所识别的所述图像的具有皮肤的所述区域的局部运动分析来确定所述图像的具有皮肤的所述区域的运动，

基于所述确定的结果来控制所述图像的具有皮肤的所述区域的像素的混合，

将所述图像的具有皮肤的区域中的像素数据从第一格式转换为第二格式，

将采用第二格式的像素数据与采用第二格式的多个肤色定义进行比较，

选择所述多个肤色定义中的肤色定义，

将所述图像的具有皮肤的区域中的像素数据从第二格式转换回第一格式，

使用所选择的肤色定义生成皮肤遮罩，和

11.根据权利要求10所述的装置，其中，所述处理器电路还被配置为：识别所述图像的具有皮肤的第二区域；以及选择与所述图像的具有皮肤的第二区域相关联的第二肤色定义。

12.根据权利要求11所述的装置，其中，所述处理器电路还被配置为：基于所选择的肤色定义和所选择的第二肤色定义来为所述帧选择肤色定义。

13.根据权利要求10所述的装置，其中，所述处理器电路还被配置为：将所述帧的像素数据从亮度-色度表示转换为圆柱坐标表示。

14.根据权利要求10所述的装置，其中，所述处理器电路还被配置为：将所述帧的像素数据转换为具有色相和饱和度分量的圆柱坐标表示。

15.一种计算机可读存储介质，所述计算机可读存储介质中存储有数据，所述数据表示能够由计算机执行的用于提高图像质量的软件，所述计算机可读存储介质包括：

用于接收与图像相关联的帧的像素数据的指令，其中，所述像素数据采用第一格式；

用于识别所述图像的具有皮肤的区域的指令；

用于基于对所识别的所述图像的具有皮肤的所述区域的局部运动分析来确定所述图像的具有皮肤的所述区域的运动的指令；

用于基于所述确定的结果来控制所述图像的具有皮肤的所述区域的像素的混合的指令；

用于将所述图像的具有皮肤的区域中的像素数据从第一格式转换为第二格式的指令；

用于将采用第二格式的像素数据与采用第二格式的多个肤色定义进行比较的指令；

用于选择所述多个肤色定义中的肤色定义的指令；

用于将所述图像的具有皮肤的区域中的像素数据从第二格式转换回第一格式的指令；

用于使用所选择的肤色定义生成皮肤遮罩的指令；和

用于使用所述皮肤遮罩对所述图像的具有皮肤的所述区域执行滤波操作的指令。