CN106663314A - 实时皮肤平滑图像增强滤波器 - Google Patents

实时皮肤平滑图像增强滤波器 Download PDF

Info

Publication number
CN106663314A
CN106663314A CN201580044336.0A CN201580044336A CN106663314A CN 106663314 A CN106663314 A CN 106663314A CN 201580044336 A CN201580044336 A CN 201580044336A CN 106663314 A CN106663314 A CN 106663314A
Authority
CN
China
Prior art keywords
image data
pixel
value
input image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580044336.0A
Other languages
English (en)
Inventor
李相熙
S·李
朴珉济
T-H·金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106663314A publication Critical patent/CN106663314A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

用于即时捕获的图像数据增强的系统、装置、方法和计算机可读介质。利用滤波器与由相机模块生成图像或视频流并行地对所述流进行增强。在一个示例性实施例中，以30fps或更大的速率对HD图像帧进行滤波以便利用边缘保留平滑滤波器来提升人类肤色。在实施例中，所述平滑滤波器被应用于具有降低分辨率的图像表示，从而降低滤波器的计算开销。然后，对所述滤波图像进行上采样并且将其与识别边缘的图进行混合以便保持边缘质量与以全分辨率应用的平滑滤波器相当。一种包括相机模块并与示例性架构一致的设备平台可以甚至以低图像处理带宽提供增强型视频相机功能。

Description

实时皮肤平滑图像增强滤波器
优先权声明
本申请要求于2014年9月19日提交的题为“REAL TIME SKIN SMOOTHING IMAGEENHANCEMENT FILTER(实时皮肤平滑图像增强滤波器)”的美国专利申请序列号14/491,698的优先权，并且所述申请通过引用以其全文结合在此。
背景技术
数字相机是经常被包括在商用电子介质设备平台中的组件。数字相机现在以可穿戴形状因子可获得(例如，视频采集耳机、视频采集头戴装置、视频采集眼镜等)，并且嵌入在智能电话、平板计算机和笔记本式计算机等等之内。
对来自移动数字相机的流式视频的引入已经利用移动设备之间共享的前所未有的视频数据量开拓了一个时代。考虑用户佩戴一副装配有视频相机的眼镜的应用。所述相机捕获描绘一整天内用户活动的视频流。那些数据中的大多数将捕获人类受试者。由于数十年前引入了数字图像处理，因此为了视觉上更有吸引力的图像或视频，许多用户已经变得习惯于减少来自人类受试者的皱纹、雀斑、以及各种瑕疵。具有若干种商业图像处理软件包，利用所述商业图像处理软件包，用户可移除皱纹、雀斑等并调节色调。然而，这些图像处理软件包通常需要如此多的用户交互和时间以至于他们使用的人工分析难以处理现在正在生成的大量图像数据。
自动皮肤平滑图像增强技术尚未跟上需要的步伐，特别是在低成本、且低功率的包括可穿戴计算平台和移动通信手持装置的市场部门。已经具有相当多有关用于皮肤平滑的快速且自动方法的研究。一种当前流行的技术是被称作‘双边滤波器’的边缘保留滤波。然而，双边滤波器具有强大的CPU和GPU实时(例如，以每秒30+帧)处理高分辨率图像(例如，全HD)所必需的高计算成本/复杂度。由于在移动设备之间共享图像已经变得流行，因此强大的CPU和GPU不总是可用。因此，负责生成大多数的用户档案图像数据的平台中的许多平台因此在执行尖端图像处理时装备极其不良。
因此，可由超轻、低成本且低功率的平台利用以可能高帧速率(例如，30帧/秒或者更多)捕获的视频流来实时实现的自动图像数据增强是极其有利的。
附图说明
在附图中通过举例而非限制的方式展示了在此所描述的材料。为了图示的简明和清晰，图中所展示的元件不一定按比例绘制。例如，为清楚起见，某些元件的尺寸相对于其他元件可能被放大了。此外，在认为适当的情况下，在附图之间对参考标记加以重复以表示相应的或相似的元件。在附图中：
图1A是根据一个或多个实施例的实时(RT)皮肤平滑图像增强滤波系统；
图1B是根据实施例的包括RT皮肤平滑图像增强滤波系统的系统的功能框图；
图2是根据一个或多个实施例的展示了RT皮肤平滑图像增强方法的流程图；
图3A、3B、3C和3D展示了根据一个或多个皮肤平滑实施例滤波的输入图像数据帧的表示性分析结果；
图4是根据一个或多个实施例的RT皮肤平滑图像增强滤波器的功能框图；
图5展示了根据一个或多个实施例的RT皮肤平滑图像增强滤波平台；
图6是根据一个或多个实施例的采用RT皮肤平滑图像增强滤波架构的示例性超低功率系统的简图；以及
图7是根据一个或多个实施例安排的示例性移动手持平台的图。
具体实施方式
参照附图描述一个或多个实施例。虽然对特定配置和安排进行了详细的描绘和讨论，但应理解，这仅出于说明目的来进行。相关领域的技术人员将认识到，在不背离本描述的精神和范围的情况下其他配置和安排是可能的。将对相关领域的技术人员明显的是，本文描述的技术和/或安排可以在本文详细描述的系统和应用之外的各种各样的其他系统和应用中被采用。
在以下详细的说明书中对附图进行参考，这些附图形成说明书的一部分并且展示了示例性实施例。进一步地，应当理解，在不背离要求保护的主题的范围的情况下，可以利用其他实施例并且可以做出结构和/或逻辑改变。因此，以下详细说明不应以限制的含义来理解并且要求保护的主题的范围仅由所附权利要求书及其等效物来限定。
在以下描述中，陈述了许多细节，然而，将对本领域技术人员明显的是，实施例可以在没有限制特定细节的情况下被实践。以框图形式而非详细地示出了众所周知的方法和设备以避免模糊更显著的方面。贯穿本说明书对“实施例(an embodiment)”或“一个实施例(one embodiment)”的引用意味着在至少一个实施例中包括了与所述实施例结合描述的具体特征、结构、功能或特性。因此，贯穿本说明书在各处出现的短语“在实施例中(in anembodiment)”或在“在一个实施例中(in one embodiment)”并非必须指同一个实施例。此外，在实施例的上下文中描述的具体特征、结构、功能或特性可以用任何适当的方式组合在一个或多个实施例中。例如，第一实施例可以与第二实施例在任何地方进行组合，其中，与这两个实施例相关联的具体特征、结构、功能或特性不相互排斥。
如在示例性实施例和所附权利要求书的描述中使用的，除非上下文另外明确指示，否则单数形式“一个(a)”、“一个(an)”和“所述(the)”旨在同样包括复数形式。还将理解的是，如本文使用的术语“和/或”指代并且包括相关联的列举项的一个或多个项的任何和所有可能组合。
如贯穿说明书并且在权利要求书中使用的，由术语“的至少一个(at least oneof)”或“的一个或多个(one or more of)”联接的项列表可以意味着所例举的项的任意组合。例如，短语“A、B或C中的至少一项”可意指A；B；C；A和B；A和C；B和C；或A、B和C。
术语“耦合”和“连接”连同其衍生词在此可以用于描述部件之间的功能关系或结构关系。应当理解，这些术语并不意为彼此的同义词。相反，在具体实施例中，“连接”可以用于指示两个或更多个元件彼此直接进行物理的、光学的或电学的接触。“耦合”可以用于指示两个或更多个元件彼此进行直接的或间接的(在它们之间具有介入元件)物理的、光学的或电学的接触，和/或指示两个或更多个元件彼此合作或交互(例如，由于因果关系的原因)。
就对计算机存储器内的数据比特进行的操作的算法和符号表示而言，呈现在此提供的详细说明书的一些部分。如从以下讨论中明显的是，除非另外特别声明，否则应认识到，贯穿本说明书，使用如“运算(calculating)”、“计算(computing)”、“确定(determining)”、“估计(estimating)”、“存储(storing)”、“收集(collecting)”“显示(displaying)”、“接收(receiving)”、“合并(consolidating)”、“生成(generating)”、“更新(updating)”等术语的讨论是指计算机系统或类似电子计算设备的动作和过程，所述计算机系统或类似电子计算设备对表示为计算机系统的包括寄存器和存储器的电路中的物理(电子)量的数据进行操纵并且将其转换成类似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备中的物理量的其他数据。
虽然以下描述阐述可以在如例如片上系统(SoC)架构的架构中显现。在此描述的技术和/或安排的实现方式不局限于具体的架构和/或计算系统，并且出于类似目的可以由任何架构和/或计算系统实现。采用例如多个集成电路(IC)芯片和/或封装体、和/或各种计算设备和/或消费电子产品(CE)设备(如机顶盒、智能电话等)的各架构可以实现在此描述的技术和/或安排。此外，虽然以下描述可以阐述许多特定的细节(如逻辑实现、系统部件的类型和内在关系、逻辑划分/集成选择等)，但要求保护的主题可以在没有这些特定细节的情况下被实践。此外，可以不详细示出某些材料(如，例如，控制结构和完整的软件指令序列)，以便不模糊在此公开的材料。
在此公开的材料的某些部分可以是在硬件(例如，如图像处理器中的逻辑电路)中实现的。某些其他部分可以在硬件、固件、软件、或其任意组合中实现。在此公开的至少部分材料还可以被实现为存储于机器可读介质上的指令，这些指令可以被一个或多个处理器(图形处理器和/或中央处理器)读取或执行。机器可读介质可以包括用于存储或传输具有由机器(例如，计算设备)可读的形式的信息的任何介质和/或机制。例如，机器可读介质可以包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光学存储介质；闪存设备；电气、光学、声学或其他类似的非瞬态、有形介质。
以下描述了一种或多种用于实时图像增强的系统、装置、方法和计算机可读介质。在“实时”图像增强中，与逐帧生成图像数据(视频)流并行地逐帧增强所述流。增强算法可操作用于帧级，并且可以对每个连续图像帧或者帧子集(诸如关键帧)执行所述增强算法。对实时图像增强的速率要求是与CM相关联的帧速率的函数。如下所述，包括CM并且与示例性架构一致的设备平台可以为(视频)相机功能提供当前移动手持装置的典型功率和处理带宽约束内的实时图像增强。
图1A是根据一个或多个实施例的实时(RT)皮肤平滑图像增强滤波系统100。图像增强系统100包括接收输入图像数据(I_入)101并生成输出图像数据(I_出)的RT皮肤平滑图像增强滤波器102。输入图像数据101是以任何适当的颜色空间或图像文件格式提供的图像帧的表示。例如，输入图像数据101可以是存储在存储器中的图像的解码表示。在另一示例中，当从CM中的图像传感器读出输入图像数据100时，由CM将所述数据写入缓冲器中。输入图像数据101包括在图像帧内空间关联的多个像素值。图像数据的一个图像帧内的像素值的数量取决于输入图像分辨率，所述输入图像分辨率在进一步实施例中是本地CM的函数。虽然本文中的实施例适用于任何输入图像分辨率，但是在示例性实施例中，输入图像数据101是图像帧的1920×1080像素(2.1兆像素)的表示(即全HD)。在示例性实施例中，输入图像数据101处于YUV(亮度Y和色度U、V)颜色空间中。可能已经在系统100的上游对输入图像数据101进行了预处理以便从另一颜色空间(诸如RGB(红-绿-蓝)颜色空间、YPBPR(亮度、蓝色差色度YB、以及红色差色度PR)颜色空间、或YCBCR(亮度Y、蓝色差色度CB、以及红色差色度CR)颜色空间等)转换成YUV空间。
如在此进一步讨论的，RT皮肤平滑图像增强滤波器102用于执行对输入图像数据101的滤波。虽然滤波算法可以是图像处理领域中任何已知的，但是为了减小与滤波算法相关联的计算负荷，所述算法以小于输入图像分辨率的某个分辨率被实现。通过对滤波图像数据的权重进行调制的混合操作来减轻滤波图像数据中所产生的保真度的损失，从而使得输入图像数据中表示的边缘被保留在已经被滤波的空间区域周围。待滤波的区域可以基于某个肤色检测标准(可以是用户定义的配置)被检测、和/或从系统驱动器中被接收、和/或被设置为默认值等。RT皮肤平滑图像增强滤波器102生成作为输出图像数据103的混合像素值。在示例性实施例中，输出图像数据103还可以处于YUV颜色空间中。如在此进一步描述的，输出图像数据103是输入图像数据101和滤波输入图像像素值的混合。所述混合基于从像素分值确定的像素级混合系数。例如，当像素具有更高的分值时，输出像素值将是对滤波像素值进行比输入像素值更重的加权的混合，而具有更低分值的像素将被输出为对输入像素值进行更重加权的混合。所述混合可以应用于输入图像数据101的每个像素值以便生成保持输入图像分辨率的输出图像数据103。可以在系统100的下游将输出图像数据103存储到存储器中。可以进一步对输出图像数据103进行后处理、和/或将其呈现在显示器上。例如，输出图像数据103可以接收进一步的图像增强、和/或被编码成图像帧的压缩表示(例如，符合MPEG-4、H.264AVC编解码器等)。
图1B是包括视频数据流捕获设备115和显示设备199的系统110的功能框图。根据实施例，视频捕获设备115包括RT皮肤平滑图像增强滤波器102。在第一实施例中，捕获设备115包括耦合在视频捕获流水线120与视频编码器150之间的RT皮肤平滑图像增强滤波器102。视频捕获流水线120以帧速率(例如，30、60、120、240、480fps等)将连续曝光的视频数据帧流式传输到耦合至RT皮肤平滑图像增强滤波器102的输入端口的输出端口。视频流水线120包括可操作用于输出与符合任何已知的流传输协议(诸如MIPI或其他协议)的多个连续曝光的帧相关联的原始视频数据的传感器。在示例性实施例中，由任何已知的解码电路(未描述)将由视频流水线120输出的xvYCC像素数据转换成YUV(Cb、Cr)格式。RT皮肤平滑图像增强滤波器102的输出端口耦合至编码器150的输入端口。编码器150的输出端口耦合至存储器(存储设备)190的输入端口。从存储器190输出的增强图像帧的编码表示通过有线或无线通信信道耦合至显示设备199，所述显示设备在示例性实施例中通过云195中的后端服务器耦合至捕获设备115。在不存在云195的替代性实施例中，显示设备199通过本地有线或无线通信信道直接耦合至视频捕获设备115。在又其他实施例中，显示设备199集成到视频捕获设备115中(即这两个设备均为同一平台的一部分)。
图2是根据一个或多个实施例的展示了RT皮肤平滑图像增强滤波方法200的流程图。图2中所展示的操作中的每个操作可以被认为是方法200中的各个阶段，其中，有利地实时执行每个阶段以便以与所述阶段相关联的给定等待时间实时生成皮肤平滑的输出图像数据。图1A和图1B中所展示的RT皮肤平滑图像增强滤波器102可以例如实现自动的皮肤平滑方法200。图3A、3B、3C和3D展示了根据皮肤平滑方法200滤波的输入图像数据帧的表示性分析结果。
方法200在操作201处以接收输入图像数据开始。在示例性实施例中，在操作201处接收的输入图像数据是以上描述的输入图像数据101。在操作201处接收的输入图像数据包括以输入图像分辨率(诸如但不限于1920×1080)表示图像帧的像素值。图3A展示了包括多个像素的输入图像300。第一像素305在肤色区域303之内，而第二像素306在肤色区域303、304之外。通用区域301、302可以包括不是肤色区域的任何区域，诸如背景(例如，通用区域301)和衣服(例如，通用区域302)等。如下进一步讨论的，肤色区域303、304可以包括有资格作为基于肤色检测分值而对其色调进行调节的皮肤的任何区域。
在操作205处，基于滤波标准对图像帧内的个体像素值进行评分。在评分操作205处确定的像素分值最终指示随后在方法200中所采用的混合系数或混合权重。当帧内的每个像素接收分值时，所述像素分值统一指示由输入图像数据101表示的图像帧内的混合系数图。在实施例中，在操作205处确定的每个像素分值指示所述像素满足滤波标准的概率，所述滤波标准例如可以基于亮度和/色度分量目标或中心值(Uc、Vc)。在一个示例性实施例中，滤波标准是基于颜色的肤色测试，其中，接收肤色检测分值的每个像素指示所述像素为肤色的概率。当为输入图像数据101中的每个像素提供肤色检测分值时，在操作205处确定的所述肤色检测分值统一表示在由输入图像数据101表示的图像帧内空间关联的皮肤图。
在有利实施例中，所述肤色检测分值是在0与1之间(包括0和1)的与所述个体像素为肤色的概率成比例的连续值。作为一个示例，分值0可以指示所述像素为肤色像素的第一(例如，非常低)可能性，而分值1可以指示所述像素为肤色像素的第二(例如，非常高)可能性。当然，可以通过任何其他范围(诸如0至10、0至100等)提供肤色检测分值204。当像素分值的范围在0与1之间时，在随后的混合函数中可以直接采用在操作205处生成的像素分值。可替代地，可以执行中间映射以便将在操作205处确定的所述像素分值转换成适当的混合系数值。所述中间映射可以具有任何预定的默认值或用户可定义的映射函数。
在实施例中，基于与皮肤颜色(Uc、Vc)中心的比较来确定肤色检测分值。可以从外部源(例如，存储器、驱动器、或另一系统组件)接收皮肤颜色的中心。皮肤颜色的中心可以包括指示皮肤颜色中心的任何数据(例如，YUV颜色空间中的Uc、Vc)，从而使得具有匹配颜色的像素可能为肤色像素。例如，皮肤颜色的中心可以基于与输入图像帧的预期受试者相关联的肤色而在预定默认值之间变化。
可以基于预先学习的肤色模型来计算输入像素值的肤色概率。具有许多用于对像素为肤色的概率进行评估的基于像素的模型，并且本文中的实施例可以在操作205处采用任何这种技术。这些技术区别于面部识别技术，并且具有对非面部皮肤区域进行适当评分的优点。作为一个示例性，肤色模型可能需要将皮肤颜色的分布在统计上定义为3D YUV域中的集群，从而使得集群的中心被认为是“准确的”肤色值(例如，集群的中心可以是皮肤颜色Uc、Vc的中心)。如果像素与集群的中心相匹配，则所述像素为肤色像素的概率/可能性可能处于最大值。当像素值进一步移动远离自集群内的中心时，可能性降低。可以在集群之外将可能性进一步限定为零。任何技术可以用于判定输入像素值是否在集群内，并且用于基于与集群中心的接近度来确定其肤色检测分值。在一个示例性实施例中，集群在三个平面(例如，UV平面或VU平面、YV平面或VY平面、以及YU平面或UY平面)上的投影的交叉点被用于检测输入像素是否在集群内。作为一个示例，可以基于对输入像素与变换的/投射的集群中心之间的距离关系进行建模的函数来确定所述像素在UV平面中为肤色像素的可能性。所述函数可以计算当像素朝向皮肤颜色(例如，Uc、Vc)的中心移动时从零增加到一的可能性。
在进一步实施例中，操作205另外需要将像素分值图输入到在像素评分时减小噪声的空间平滑滤波器中。由检测算法(例如，肤色检测算法)输出的评分图是到平滑滤波器的输入。在操作205处可以使用已知的适用于这一目的的任何空间平滑滤波器，示例包括但不限于采用平滑掩膜(诸如高斯掩膜)的低通卷积滤波器。图3B展示了可在操作205之后被构建的简化皮肤图370。为了清楚起见，图3B仅描绘了在操作205处生成的最大像素分值和最小像素分值。在图3B中，具有肤色的最高概率的像素被表示为白色(例如，皮肤检测分值1)，而黑色表示具有肤色的最低概率(例如，皮肤检测分值0)的像素。虽然为了清楚起见未展示，但是图3B中展示的二进制级之间的任何数量的“灰度”级可以在操作205处进一步被生成。
方法200在操作210处继续。在一些实施例中，在至少阈值数量的像素具有指示在由输入图像数据表示的图像帧内存在肤色的至少阈值像素分值时，可以断定为执行操作210(以及后续的操作)。当不满足阈值标准(例如，最小肤色检测分值)时，可以在操作209处利用存储到存储器中的未经滤波的输入图像数据来终止方法200。所以，在不存在足够的肤色时，可以对自动的皮肤平滑方法200进行旁路。
响应于满足阈值标准(例如，检测到足够的皮肤区域)，在操作210处对输入图像数据101进行下采样以改变像素网格(即改变图像尺寸以包含更少的像素)。将输入图像数据下采样至图像帧的更低分辨率表示具有降低随后在方法200中执行的平滑操作的图像处理要求的优点。许多图像缩小算法是已知的(例如，柏生汉姆、最近邻、双三次内插)，并且相对于方法200中的其他操作，图像尺寸减小算法通常快速的且在计算时不是高度复杂的。因此，具有许多已知的适用于利用给定的图像和/或应用处理器对输入图像数据(例如，全HD)进行实时缩放(例如，30+FPS)的下采样滤波器。在示例性实施例中，下采样操作210采用像素负值和/或最近邻采样以便有利地使图像分辨率降低至少因子2且更理想地因子4或者更多。
方法200然后以操作215继续，其中，利用皮肤平滑滤波器来增强在操作210处生成的下采样图像。在操作215处，基于与输入像素相邻的下采样图像像素的值来平滑下采样图像的像素值。在实施例中，边缘保留平滑滤波器用于平滑下采样图像，从而在避免可能导致可见伪像的边缘的同时移除纹理。在一个有利实施例中，在操作210处采用双边滤波器。所述双边滤波器具有保留边缘的优点，但是相对于实时皮肤平滑方法200中的其他操作，所述滤波器实施时在计算上花费高/复杂。在基本形式中，双边滤波器是采用空间内核和范围内核两者以便用来自附近像素的强度值的加权平均值来替换图像中的每个像素处的强度值的非线性滤波器：
其中，If为滤波图像数据，I低分辨率为下采样输入图像数据，x为被滤波的像素的坐标，fr为用于强度平滑的范围内核并且gs为用于协调平滑的空间内核，并且Wp为保持总图像能量的标称项。对于许多双边滤波器实现方式，计算复杂度是维度(例如，D2)的多项式函数。因此，相对于以输入图像分辨率对输入图像数据进行滤波，使得对4x下采样图像进行双边滤波的复杂度降低大约因子16。在进一步实施例中，采用可进一步使得超低功率/带宽处理器能够实时实现皮肤平滑方法200的快速双边滤波器。所述快速双边滤波器有利地能够对颜色图像进行滤波并且在示例性实施例中需要递归实现所述双边滤波器。一些递归双边滤波器算法具有相对于通过域变换的应用的像素数量是线性的优点，并且因此显著地在计算上更高效。
尤其是，托管相机模块(例如，当前的手持装置)的许多移动设备的图像和/或应用处理器不能够甚至利用递归双边滤波算法对全HD图像帧进行实时滤波。然而，30+FPS滤波对于通过操作210输出的下采样图像变得可能。取决于平台的处理器的计算能力以及帧速率和输入图像数据的分辨率，可以按照需要改变下采样因子(例如，在2x与4x之间)以确保在操作215处的实时平滑。图3C展示了根据一个示例性实施例的下采样和平滑图像380，所述下采样和平滑图像可以从以下操作215可用的图像数据中被构建。
皮肤平滑方法200在操作220处继续，其中，将滤波的低分辨率图像数据上采样(尺寸增大)回至输入图像分辨率。放大操作220有效地增加了平滑滤波操作215的输出的尺寸/维度。上采样至更高的像素计数具有显著的计算复杂度/成本，并且因此，对放大算法的选择可以影响方法200的整体速率。在有利实施例中，在操作220处执行像素值的双线性内插。对于大多数移动设备(例如，手持装置)中的图像和/或应用处理器将甚至4x下采样图像实时上采样回至1920×1080(例如，以30+fps)，双线性内插具有在计算上足够简单的优点。
皮肤平滑方法200在操作230处继续，其中，对在操作201处接收的输入图像数据101与在操作220处生成的上采样的滤波图像数据进行混和。所述两者图像数据的混合是在操作205处确定的像素分值的函数。注意的是，即使边缘保留平滑滤波器模糊了边缘，但是使用在操作205处生成的皮肤图提高了可能以其他方式失真(被模糊)或丢失的期望边缘(例如，噪声、面部轮廓、眉毛等)的保留，特别是当以减小图像尺寸进行滤波时。如在图3B中展示的，皮肤图3B包含皮肤区域与非皮肤区域之间的尖锐边缘信息。在示例性实施例中，根据每个像素肤色检测分值，可通过对输入图像数据相对于单独的滤波图像数据的权重进行调制以便将这一边缘信息直接并入混合操作230中。
在示例性实施例中，在操作230处的混合需要基于像素的肤色检测分值在输入图像数据中的像素的值(例如，亮度分量或色度分量中的至少一项)与滤波图像数据中的那个像素的相应值之间进行内插。在有利实施例中，所述内插是线性的，其中，混合像素值是输入图像数据中的像素的值与滤波图像数据中的像素的值的加权和。肤色检测分值对所述两个像素值进行互补加权。例如，当像素具有指示所述像素为肤色的更大概率的更高分值时，输出像素值将是对滤波像素值进行比输入像素值更重的加权的混合，而具有指示所述像素为肤色的更低概率的更低分值的像素将被输出为对输入像素值进行更重加权的混合。图3D展示了具有瑕疵307存在于被平滑出的输入图像帧300中的示例性混合输出图像帧390。
返回至图2，对给定输入图像帧执行方法200的一次迭代在操作240处完成，其中，混合图像数据被存储到存储器中，例如作为增强型、皮肤平滑的输出图像数据103。可以进一步将混合图像数据输出至显示设备或编码器中的至少一项。
图4是根据一个或多个实施例的RT皮肤平滑图像增强滤波器102的功能框图。在示例性实施例中，对RT皮肤平滑图像增强滤波器102进行计算机化以便以自动方式执行皮肤平滑方法200。RT皮肤平滑图像增强滤波器102用于从缓冲器中接收或检索输入图像数据101，所述缓冲器存储有输入图像帧的解码表示或由相机硬件模块以输入图像分辨率曝光的捕获图像中的至少一者。在一个实施例中，输入图像数据101是由相机硬件模块以给定的视频帧速率写入缓冲器中的连续曝光的图像数据帧流。RT皮肤平滑图像增强滤波器102包括逻辑，所述逻辑用于至少以视频帧速率对每个连续曝光的视频数据帧执行如上所述的像素评分、图像数据下采样、图像数据上采样、图像数据滤波以及图像数据混合中的每一项以便使得输入图像帧缓冲器溢出无效。
如图4中进一步示出的，RT皮肤平滑图像增强滤波器102进一步包括被耦合以用于接收输入图像数据101的检测模块405。所述检测模块包括用于确定图像数据的个体像素的肤色检测分值的逻辑。在示例性实施例中，检测模块405用于使用以上描述的技术中的任何技术来确定与个体像素包括肤色的概率成比例的肤色检测分值(例如，在0与1之间)。在进一步实施例中，检测模块405进一步包括用于例如利用空间平滑滤波器对肤色检测分值进行降噪的逻辑。可以以肤色概率图406的形式对所述肤色检测分值进行输出。
如图4中进一步描绘的，下采样模块410也被耦合以用于接收输入图像数据101。下采样模块410包括用于例如使用以上描述的技术中的任何技术来将图像数据101下采样至图像帧的具有低于输入图像分辨率的降低分辨率的表示的逻辑。滤波器模块415被耦合以用于接收由下采样模块410输出的更低分辨率的下采样图像数据411。滤波模块415包括用于例如使用以上描述的平滑技术中的任何技术来平滑下采样图像数据的逻辑。在一个有利实施例中，滤波模块415包括用于对下采样图像中的个体像素值进行递归双边滤波的逻辑。
如图4中进一步展示的，RT皮肤平滑图像增强滤波器102进一步包括被耦合以用于接收由滤波模块415输出的经滤波的下采样图像数据416的图像上采样模块420。上采样模块包括用于使用以上描述的技术中的任何技术来将经滤波的下采样图像数据上采样回至输入图像分辨率的逻辑。混合模块430然后被耦合以用于接收输入图像数据101、由上采样模块420输出的高分辨率上采样的滤波图像数据421以及肤色概率图406。混合模块430包括用于根据肤色概率图406将输入图像数据101与上采样的滤波图像数据421进行混合的逻辑。在有利实施例中，混合模块430用于基于像素的肤色检测分值在输入图像数据中的像素的亮度值和/或色度值与滤波图像数据中的相应像素的亮度值和/或色度值之间进行线性内插。例如，可以确定输入图像数据中的像素的亮度值或色度值与滤波图像数据中的像素的亮度值或色度值之间的加权和以便通过肤色检测分值对所述两个亮度值或色度值进行互补加权。
图5展示了根据一个或多个实施例的RT皮肤平滑图像增强滤波平台。图5进一步展示了RT皮肤平滑图像增强滤波器102可以如何与移动视频捕获设备平台503的各个其他部件进行集成以便提供适合于高帧曝光速率和低图像处理开销两者的增强型视频相机输出。例如，移动计算设备可以指具有处理系统和移动电源或供电(诸如一个或多个电池)的任何设备。移动计算设备的示例可以包括膝上型计算机、平板机、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视、智能设备(例如，智能电话、平板机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备等。移动计算设备的示例还包括被配置成以由人穿戴的计算机和/或介质捕获/传输设备，诸如手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋计算机、服装计算机、以及其他可穿戴计算机。在各实施例中，例如移动计算设备可以被实现为能够执行计算机应用、以及语音通信和/或数据通信的智能电话。尽管一些实施例可以用作为示例实现为智能电话的移动计算设备描述，但应理解，其他实施例也可以使用其他无线移动计算设备实现。实施例并不局限于此上下文中。
平台503包括CM 570。在示例性实施例中，CM 570进一步包括相机传感器559。例如，传感器559可以是HD、FHD、QXGA、WQXGA或QSXGA格式的数字图像设备。相机传感器559可以提供10位的颜色分辨率(或每像素更多)，可操作用于逐渐捕获连续视频帧。传感器559可以具有170MHz的像素频率或更多。相机传感器559可以包括RGB拜耳滤色器、模拟放大器、A/D转换器、将入射光转换成与原始图像数据相对应的数字信号的其他组件。传感器559可以被控制为操作卷帘式快门或电子焦平面快门过程，在所述过程中，针对帧以线序方式逐渐读出像素。在示例性视频实施例中，传感器550输出多个连续曝光的帧。CM 570输出与符合任何已知的流传输协议(诸如MIPI)的连续曝光的帧相关联的原始数据。将流传输的原始视频数据输入至ISP 575。ISP 575用于在与CM 570相关联的水平和/或垂直消隐期过程中接收和分析原始视频数据572的帧。例如，在原始图像数据处理过程中，ISP 575可以执行颜色空间转换、降噪、像素线性化和遮蔽补偿中的一项或多项。
可以以FIFO方式对作为准备用于皮肤平滑图像增强的YUV输入图像数据101而进行排队的、由ISP 575输出的预处理视频数据进行缓存。在示例性实施例中，DSP 385和/或应用处理器(APU)550实现图4中描绘的皮肤平滑图像增强模块中的一个或多个模块。DSP385可以例如包括一个或多个固定函数、或用于执行以上所述的皮肤平滑方法200中的一个或多个阶段的半可编程逻辑电路。例如，固定函数模块可以用于实现空间图像滤波、图像缩小、图像放大、双向平滑或混合中的一项或多项。由APU 550实例化的操作系统(OS)的内核空间内的子系统驱动器515可以控制各种图像处理参数，诸如肤色检测分值映射、中心肤色、缩小因子、或双边滤波器内核。可以通过执行OS的用户空间的应用层来提供对皮肤平滑图像增强控制参数的访问。
采用固定函数逻辑的实施例很好地适用于以最小功率的高曝光帧速率的节奏来实现皮肤平滑方法200。然而，在替代性实施例中，任何已知的可编程处理器(包括APU 550的核)、图像处理器的执行单元、或其他类似的向量处理器用于实现RT皮肤平滑图像增强滤波器102的逻辑。针对这类实施例中，DSP 585无需实现与RT皮肤平滑图像增强滤波器102相关的固定函数电路(如通过图5中的虚线所指示的)。APU 550则仅负责从接收自ISP 575的输入图像数据101中生成混合输出图像数据103。有利地，这类基于软件的实现方式比固定函数逻辑电路更灵活。在一个示例性实施例中，通过APU 550的用户空间对皮肤平滑图像增强滤波算法555进行实例化。APU 550以足以实时执行皮肤平滑方法200与帧生成的速率来执行这些算法。可以利用存储在计算机可读介质上的指令对APU 550进行编程以使处理器执行皮肤平滑方法200的操作中的任何操作。
如图5中进一步展示的，混合输出图像数据103被输出至存储设备/显示器/传输流水线595。在一个示例性存储流水线实施例中，输出图像数据103被写入电子存储器520(例如，DDR等)中，所述电子存储器可以是单独的或者是APU 550可访问的主存储器510的一部分。可替代地或另外地，存储设备/显示器/传输流水线595用于传输视频捕获设备503的概要帧数据597。
图6是根据一个或多个实施例的采用RT皮肤平滑图像增强滤波器的示例性超低功率系统600的简图。尽管系统600不局限于此上下文，但系统600可以是移动设备。系统600可以并入可穿戴计算设备、膝上型计算机、平板机、触摸板、手持式计算机、掌上型计算机、蜂窝电话、智能设备(例如，智能电话、智能平板机或移动电视)、移动互联网设备(MID)、消息设备、数据通信设备等。系统600还可以是基础设施设备。例如，系统600可以并入大尺寸电视、机顶盒、台式计算机或其他家用或商用网络设备中。
系统600包括设备平台602，所述设备平台可以实现以上图1至图5的上下文中描述的各种RT皮肤平滑图像增强方法的全部或子集以及RT皮肤平滑图像增强系统中的任何系统。在各示例性实施例中，视频处理器615执行RT皮肤平滑图像增强。例如，如在本文其他地方所描述的，视频处理器615包括实现RT皮肤平滑图像增强系统201以便同时平滑图像的肤色经调节的区域以及从CM 570流传输的视频帧数据的逻辑电路。在一些实施例中，一个或多个计算机可读介质可以存储指令，所述指令当由CPU 610和/或视频处理器615执行时使(多个)处理器执行一种或多种RT皮肤平滑图像增强算法，诸如以上详细描述的那些算法中的任何算法。由CM 570曝光的一个或多个图像数据帧则可以作为增强型图像数据被存储到存储器612中。
在实施例中，设备平台602耦合至人类接口设备(HID)620。平台602可以利用CM570来收集原始图像数据，所述原始图像数据被处理并输出到HID 620。包括一个或多个导航特征的导航控制器650可以用于例如与设备平台602和/或HID 620进行交互。在实施例中，HID 620可以包括经由无线电618和/或网络660耦合至平台602的任何电视机类型的监测器或显示器。HID 620可以包括例如，计算机显示屏、触摸屏显示器、视频监视器、类似电视机的设备和/或电视机。
在一个或多个软件应用616的控制下，设备平台602可以在HID 620上显示用户界面622。可以通过指针、光标、聚焦环或在显示器上显示的其他视觉指示器的移动在显示器(例如，HID 620)上复制控制器650的导航特征的移动。在软件应用616的控制下，位于导航控制器650上的导航特征可以例如被映射至在用户界面622上显示的虚拟导航特征。
在实施例中，设备平台602可以包括CM 570、芯片组605、处理器610、615、存储器/存储设备612、应用616和/或无线电618的任意组合。芯片组605可以提供在处理器610、615、存储器612、视频处理器615、应用616、或无线电618之间的相互通信。
处理器610、615中的一个或多个处理器可以被实现为一个或多个复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核处理器或任何其他微处理器或中央处理器单元(CPU)。
存储器612可以被实现为易失性存储设备，如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、或静态RAM(SRAM)。存储器612还可以被实现为非易失性存储设备，诸如但不限于：闪存、电池备用SDRAM(异步DRAM)、磁性存储器、相变存储器等。
无线电618可以包括能够使用各种适当的无线通信技术发射并接收信号的一个或多个无线电。这些技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(WLAN)、无线个人局域网(WPAN)、无线城域网(WMAN)、蜂窝网和卫星网。在跨这类网络进行通信时，无线电618可以根据任何版本中的一个或多个可适用标准进行操作。
在实施例中，系统600可以被实现为无线系统、有线系统、或两者的组合。当被实现为无线系统时，系统600可以包括适合于通过如一个或多个天线、发送器、接收器、收发器、放大器、滤波器、控制逻辑等的无线共享介质进行通信的组件和接口。无线共享介质的示例可以包括无线光谱部分，如RF光谱等。当被实现为有线系统时，系统600可以包括适用于通过有线通信介质(如输入/输出(I/O)适配器、利用相应有线通信介质连接I/O适配器的物理连接器、网络接口卡(NIC)、光盘控制器、视频控制器、音频控制器等)进行通信的组件和接口。有线通信介质的示例可以包括导线、电缆、金属引线、印刷电路板(PCB)、背板、交换光纤、半导体材料、双绞线、同轴电缆、光纤等。
如本文描述的RT皮肤平滑图像增强系统及相关联的皮肤平滑过程可以用各种硬件架构、元件设计或“IP核”来实现。
如上所述，系统600可以用变化的物理风格或形成因子来体现。图7进一步展示了可以用其具体化系统600的移动手持设备700的实施例。在实施例中，例如，设备700可以被实现为具有无线能力的移动计算手持设备。如图7所示，移动手持设备700可以包括具有前面701和背面702的壳体。设备700包括显示器704、输入/输出(I/O)设备706、和集成天线708。设备700还可以包括导航特征712。显示器704可以包括适合于移动计算设备的用于显示信息的任何适当的显示单元。I/O设备706可以包括用于将信息输入移动计算设备中的任何适当的I/O设备。I/O设备706的示例可以包括字母数字键盘、数字小键盘、触摸板、输入建、按钮、开关、麦克风、扬声器、话音识别设备和软件等。信息还可以借助于麦克风(未示出)被输入设备700中或者可以由话音识别设备数字化。实施例并不局限于本上下文中。如在本文其他地方所描述的，集成到至少背面702的是相机705(例如，包括镜头、光圈和成像传感器)和闪光灯710，所述两者可以是流式视频通过其被曝光并输出至视频概要系统的CM的组件。
如以上例示的，可以使用硬件元件、软件元件或两者的组合实现本文描述的实施例。硬件元件或模块的示例包括：处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件元件或模块的示例包括：应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、数据字、值、符号、或其任意组合。判定是否是使用硬件元件和/或软件元件来实现实施例可以根据针对设计选择所考虑的任意数量的因数而变化，如但不限于：期望的计算速率、功率水平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其他设计或性能约束。
至少一个实施例的一个或多个方面可以由存储在机器可读存储介质上的代表性指令实现。这类指令在由机器对其进行执行的过程中可以完全地或至少部分地驻留在主存储器内和/或在处理器内，存储指令的主存储器和处理器部分然后还组成机器可读存储介质。可编程逻辑电路可以具有由实现计算机可读介质的处理器配置的寄存器、状态机等。这种如所编程的逻辑电路然后可以被理解为被物理地转换成落入本文描述的实施例的范围内的系统。表示处理器内的各逻辑的指令当由机器读取时还可以致使机器制造遵循本文描述的架构的逻辑和/或执行本文描述的技术。被称为元件设计或IP核的这种表示可以存储在有形的、机器可读的介质上或被供应至不同的消费者或制造设施以加载到实际上制造逻辑的制造机器或处理器中。
虽然已经参照实施例描述了本文阐述的某些特征，并不打算在限制性意义上解释本说明书。因此，本公开涉及的对本领域技术人员而言明显的对本文描述的实现方式以及其他实现方式的各种修改被视为是在本公开的精神和范围内。
以下段落简要描述了一些示例性实施例。
在一个或多个第一实施例中，一种增强图像的计算机实现的方法包括基于滤波标准对以输入图像分辨率表示图像帧的图像数据的个体像素值进行评分。所述方法包括：将所述图像数据下采样至所述图像帧的具有低于所述输入图像分辨率的降低分辨率的表示。所述方法包括：对所述下采样图像数据进行滤波。所述方法包括：将所述经滤波的下采样图像数据上采样回至所述输入图像分辨率。所述方法包括：根据所述像素评分将所述输入图像数据与所述上采样的滤波图像数据进行混合。
为促进所述第一实施例，将所述输入图像数据与所述滤波图像数据进行混合进一步包括：将所述输入图像数据中的个体像素的亮度值或色度值中的至少一项与所述上采样的滤波图像数据中的相应像素的所述亮度值或色度值进行混合。
为促进所述第一实施例，对所述图像帧内的像素进行评分进一步包括：确定所述输入图像的个体像素的肤色检测分值。根据所述像素评分将所述输入图像数据与所述滤波图像数据进行混合进一步包括：根据每个像素肤色检测分值对所述输入图像数据相对于所述个体像素的所述滤波图像数据的权重进行调制。
为促进上文刚刚描述的实施例，根据所述像素评分将所述输入图像数据与所述滤波图像数据进行混合进一步包括：基于所述像素的所述肤色检测分值在所述输入图像数据中的像素的值与所述滤波图像数据中的所述像素的值之间进行内插。
为促进上文刚刚描述的实施例，基于所述像素的所述肤色检测分值在所述输入图像数据中的像素的所述值与所述滤波图像数据中的所述像素的值之间进行线性内插进一步包括：确定所述输入图像数据中的所述像素的所述值与所述滤波图像数据中的所述像素的所述值的加权和，通过所述肤色检测分值对所述两个像素值进行互补加权。
为促进上文刚刚描述的实施例，所述肤色检测分值是在0与1之间的与所述个体像素包括肤色的概率成比例的值。
为促进所述第一实施例，对所述下采样图像数据进行滤波进一步包括：利用双边滤波器基于与正被平滑的所述像素相邻的所述下采样图像像素的值对所述下采样图像的像素值进行平滑。
为促进上文刚刚描述的实施例，对所述下采样图像数据进行滤波进一步包括对所述下采样图像中的像素值进行递归双边滤波。
为促进所述第一实施例，所述输入图像数据包括YUV颜色空间中的像素值。对所述图像数据进行下采样进一步包括：从所述输入图像分辨率的至少4x分辨率降低。对所述图像数据进行上采样进一步包括：从所述下采样图像分辨率的至少4x分辨率增加。
为促进所述第一实施例，所述方法进一步包括从缓冲器中检索所述输入图像数据，所述缓冲器存储有所述图像的解码表示或由相机模块以所述输入图像分辨率曝光的捕获图像中的至少一者。所述方法进一步包括：在对所述像素进行评分之前，将所述输入图像数据从RGB颜色空间转换到YUV颜色空间。所述方法进一步包括：将所述混合图像数据存储到存储器中。
为促进上文刚刚描述的实施例，所述方法进一步包括：将所述混合图像数据从所述存储器输出至显示设备或编码器中的至少一项。
为促进以上实施例，所述方法进一步包括：以视频帧速率将连续曝光的图像数据帧流从相机硬件模块(CM)写入所述缓冲器中。所述方法进一步包括：至少以所述视频帧速率对每个连续曝光的视频数据帧执行所述像素评分、图像数据下采样、图像数据放大、图像数据滤波以及图像数据混合中的每一项。
在一个或多个第二实施例中，一种计算机化的图像增强系统包括：检测模块，所述检测模块被耦合以用于接收以输入图像分辨率表示图像帧的输入图像数据，所述检测模块包括用于确定所述图像数据的个体像素的肤色检测分值的逻辑。所述系统包括：下采样模块，所述下采样模块被耦合以用于接收所述输入图像数据，所述下采样模块包括用于将所述图像数据下采样至所述图像帧的具有低于所述输入图像分辨率的降低分辨率的表示的逻辑。所述系统包括：滤波模块，所述滤波模块被耦合以用于接收所述下采样图像数据，所述滤波模块包括用于平滑所述下采样图像数据的逻辑；所述系统包括：上采样模块，所述上采样模块被耦合以用于接收所述经滤波的下采样图像数据，所述上采样模块包括用于将所述经滤波的下采样图像数据上采样回至所述输入图像分辨率的逻辑。所述系统包括：混合模块，所述混合模块被耦合以用于接收所述输入图像数据、所述肤色检测分值以及所述上采样的滤波图像数据，其中，所述混合模块包括用于根据所述肤色检测分值将所述输入图像数据与所述上采样的滤波图像数据进行混合的逻辑。
为促进所述第二实施例，所述检测模块用于确定与个体像素包括肤色的概率成比例的肤色检测分值。所述混合模块用于基于所述像素的所述肤色检测分值在所述输入图像数据中的像素的亮度值或色度值与所述滤波图像数据中的所述相应像素的亮度值或色度值之间进行内插。
为促进上文刚刚描述的实施例，所述滤波模块包括用于对所述下采样图像中的个体像素值进行双边滤波的逻辑。所述混合模块包括用于通过以下方式来在所述输入图像数据中的像素的亮度值或色度值与所述滤波图像数据中的所述相应像素的亮度值或色度值之间进行线性内插的逻辑：确定所述输入图像数据中的所述像素的所述亮度值或色度值与所述滤波图像数据中的所述像素的所述亮度值或色度值的加权和，通过所述肤色检测分值对所述两个亮度值或色度值进行互补加权。
为促进所述第二实施例，所述系统进一步包括：应用处理器，所述应用处理器包括用户空间和内核空间，所述应用处理器包括用于实现所述滤波模块和所述混合模块的逻辑电路。所述系统进一步包括：相机硬件模块(CM)，所述相机硬件模块耦合至所述应用处理器用于生成表示以所述输入图像分辨率曝光的时间连续图像帧的输入图像数据流。所述系统进一步包括：存储器，所述存储器耦合至所述应用处理器用于存储对从所述应用处理器输出的所述混合图像数据的表示。所述系统进一步包括以下各项中的至少一项：显示器，所述显示器耦合至所述存储器用于呈现所述混合图像数据；以及编码器，所述编码器耦合至所述存储器用于将所述混合图像数据编码成压缩表示。
为促进上文刚刚描述的实施例，所述检测模块进一步包括：固定功能逻辑电路，所述固定功能逻辑电路耦合至所述应用处理器用于将所述肤色检测分值输出至所述应用处理器。
在一个或多个第三实施例中，一种或多种计算机可读存储介质具有在其上存储的指令，所述指令当由处理器执行时使所述处理器执行包括以下步骤的方法：基于滤波标准对以输入图像分辨率表示图像帧的图像数据的个体像素值进行评分。所述指令进一步使所述处理器将所述图像数据下采样至所述图像帧的具有低于所述输入图像分辨率的降低分辨率的表示。所述指令进一步使所述处理器对所述下采样图像数据进行滤波。所述指令进一步使所述处理器将所述经滤波的下采样图像数据上采样回至所述输入图像分辨率。所述指令进一步使所述处理器根据所述像素评分将所述输入图像数据与所述上采样的滤波图像数据进行混合。
为促进所述第三实施例，所述介质进一步在其上存储有指令，所述指令当由处理器执行时使所述处理器通过确定在0与1之间的与所述个体像素包括肤色的概率成比例的肤色检测分值来对所述像素进行评分。所述指令进一步使所述处理器通过以下方式来对所述下采样图像数据进行滤波：基于与正被平滑的所述像素相邻的一个或多个下采样图像像素的值对所述下采样图像的像素值进行平滑。所述指令进一步使所述处理器通过以下方式将所述输入图像数据与所述上采样的滤波图像数据进行混合：将所述输入图像数据中的个体像素的亮度值或色度值中的至少一项与所述上采样的滤波图像数据中的相应像素的所述亮度值或色度值进行混合。
为促进所述第三实施例，所述介质进一步在其上存储有指令，所述指令当由处理器执行时使所述处理器通过以下方式将所述输入图像数据中的个体像素的亮度值或色度值中的至少一项与所述上采样的滤波图像数据中的相应像素的所述亮度值或色度值进行混合：确定所述输入图像数据中的所述像素的所述亮度值或色度值与所述滤波图像数据中的所述像素的所述亮度值或色度值的加权和，所述通过所述肤色检测分值对所述两个亮度值或色度值进行互补加权。
为促进上文刚刚描述的实施例，所述介质进一步在其上存储有指令，所述指令当由处理器执行时使所述处理器通过对所述下采样图像中的个体像素值进行双边滤波来平滑像素值。
为促进所述第三实施例，所述介质进一步在其上存储有指令，所述指令当由处理器执行时使所述处理器从缓冲器中检索所述输入图像数据，所述缓冲器存储有所述图像的解码表示或由相机模块以所述输入图像分辨率曝光的捕获图像中的至少一者。所述指令进一步使所述处理器在对所述像素进行评分之前将所述输入图像数据从RGB颜色空间转换到YUV颜色空间。所述指令进一步使所述处理器将所述混合图像数据存储到存储器中。
在一个或多个第四实施例中，一种或多种计算机可读存储介质具有存储在其上的指令，所述指令当由处理器执行时使所述处理器执行所述第一实施例中的任何一个实施例。
在一个或多个第五实施例中，视频相机平台包括用于执行所述第一实施例中的任何一个实施例的图像处理装置。所述平台进一步包括：相机硬件模块(CM)，所述相机硬件模块用于生成表示以所述输入图像分辨率曝光的时间连续图像帧的输入图像数据流。所述平台进一步包括用于存储所述混合图像数据的电子存储器。
为促进所述第五实施例，所述图像处理装置进一步包括：检测装置，所述检测装置用于接收以输入图像分辨率表示图像帧的输入图像数据，并且用于确定所述图像数据的个体像素的肤色检测分值。所述图像处理装置进一步包括：下采样装置，所述下采样装置用于接收所述输入图像数据，并且用于将所述图像数据下采样至所述图像帧的具有低于所述输入图像分辨率的降低分辨率的表示。所述图像处理装置进一步包括：滤波装置，所述滤波装置被耦合以用于接收所述下采样图像数据并且用于平滑所述下采样图像数据。所述图像处理装置进一步包括：上采样装置，所述上采样装置被耦合以用于接收所述经滤波的下采样图像数据并且用于将所述经滤波的下采样图像数据上采样回至所述输入图像分辨率。所述图像处理装置进一步包括：混合装置，所述混合装置被耦合以用于接收所述输入图像数据、所述肤色检测分值以及所述上采样的滤波图像数据，并且用于根据所述肤色检测分值将所述输入图像数据与所述上采样的滤波图像数据进行混合。
为促进上文刚刚描述的实施例，所述平台进一步包括：相机硬件模块(CM)，所述相机硬件模块耦合至所述应用处理器用于生成表示以所述输入图像分辨率曝光的时间连续图像帧的输入图像数据流。所述平台进一步包括：电子存储器，所述电子存储器用于存储从所述应用处理器输出的所述混合图像数据。所述平台进一步包括以下各项中的至少一项：显示器，所述显示器用于呈现所述混合图像数据；或者编码器，所述编码器用于将所述混合图像数据编码成压缩表示。
将认识到的是所述实施例并不局限于这些示例性实施例描述，但可以使用修饰和改变而不偏离在所附权利要求的范围。例如，以上实施例可以包括特征的特定组合。然而，以上实施例不局限于这个方面，并且在实施例中，以上实施例可以包括仅采取这类特征的子集、采取这类特征的不同顺序、采取这类特征的不同组合和/或采取除了明确例举的那些特征之外的附加特征。因此，范围连同被授予权利的这些权利要求书的等效物的全部范围应参照所附权利要求书来确定。

Claims (26)

1.一种增强图像的计算机实现的方法，所述方法包括：
基于滤波标准对以输入图像分辨率表示图像帧的图像数据的个体像素值进行评分；
将所述图像数据下采样至所述图像帧的具有低于所述输入图像分辨率的降低分辨率的表示；
对所述下采样图像数据进行滤波；
将所述经滤波的下采样图像数据上采样回至所述输入图像分辨率；以及
根据所述像素评分将所述输入图像数据与所述上采样的滤波图像数据进行混合。
2.如权利要求1所述的方法，其中，将所述输入图像数据与所述滤波图像数据进行混合进一步包括：将所述输入图像数据中的个体像素的亮度值或色度值中的至少一项与所述上采样的滤波图像数据中的相应像素的所述亮度值或色度值进行混合。
3.如权利要求1所述的方法，其中，
对所述图像帧内的像素进行评分进一步包括确定所述输入图像的个体像素的肤色检测分值；并且
根据所述像素评分将所述输入图像数据与所述滤波图像数据进行混合进一步包括根据每个像素肤色检测分值对所述输入图像数据相对于所述个体像素的所述滤波图像数据的权重进行调制。
4.如权利要求3所述的方法，其中，
根据所述像素评分将所述输入图像数据与所述滤波图像数据进行混合进一步包括基于所述像素的所述肤色检测分值在所述输入图像数据中的像素的值与所述滤波图像数据中的所述像素的值之间进行内插。
5.如权利要求4所述的方法，其中，基于所述像素的所述肤色检测分值在所述输入图像数据中的像素的所述值与所述滤波图像数据中的所述像素的值之间进行线性内插进一步包括：确定所述输入图像数据中的所述像素的所述值与所述滤波图像数据中的所述像素的所述值的加权和，所述两个像素值通过所述肤色检测分值来互补加权。
6.如权利要求5所述的方法，其中，所述肤色检测分值是在0与1之间的与所述个体像素包括肤色的概率成比例的值。
7.如权利要求1所述的方法，其中，对所述下采样图像数据进行滤波进一步包括：利用双边滤波器基于与正被平滑的所述像素相邻的所述下采样图像像素的值对所述下采样图像的像素值进行平滑。
8.如权利要求7所述的方法，其中，对所述下采样图像数据进行滤波进一步包括：对所述下采样图像中的像素值进行递归双边滤波。
9.如权利要求1所述的方法，其中，
所述输入图像数据包括YUV颜色空间中的像素值；
对所述图像数据进行下采样进一步包括从所述输入图像分辨率进行至少4x分辨率降低；并且
对所述图像数据进行上采样进一步包括从所述下采样图像分辨率进行至少4x分辨率增加。
10.如权利要求1所述的方法，进一步包括：
从缓冲器中检索所述输入图像数据，所述缓冲器存储有所述图像的解码表示或由相机模块以所述输入图像分辨率曝光的捕获图像中的至少一者；
在对所述像素进行评分之前，将所述输入图像数据从RGB颜色空间转换到YUV颜色空间；以及
将所述混合图像数据存储到存储器中。
11.如权利要求10所述的方法，进一步包括：将所述混合图像数据从所述存储器输出至显示设备或编码器中的至少一者。
12.如权利要求10所述的方法，进一步包括：
以视频帧速率将连续曝光的图像数据帧流从相机硬件模块(CM)写入所述缓冲器中；以及
至少以所述视频帧速率对每个连续曝光的视频数据帧执行所述像素评分、图像数据下采样、图像数据放大、图像数据滤波以及图像数据混合中的每一项。
13.一种计算机化的图像增强系统，包括：
检测模块，所述检测模块被耦合以用于接收以输入图像分辨率表示图像帧的输入图像数据，所述检测模块包括用于确定所述图像数据的个体像素的肤色检测分值的逻辑；
下采样模块，所述下采样模块被耦合以用于接收所述输入图像数据，所述下采样模块包括用于将所述图像数据下采样至所述图像帧的具有低于所述输入图像分辨率的降低分辨率的表示的逻辑；
滤波模块，所述滤波模块被耦合以用于接收所述下采样图像数据，所述滤波模块包括用于平滑所述下采样图像数据的逻辑；
上采样模块，所述上采样模块被耦合以用于接收所述经滤波的下采样图像数据，所述上采样模块包括用于将所述经滤波的下采样图像数据上采样回至所述输入图像分辨率的逻辑；以及
混合模块，所述混合模块被耦合以用于接收所述输入图像数据、所述肤色检测分值以及所述上采样的滤波图像数据，其中，所述混合模块包括用于根据所述肤色检测分值将所述输入图像数据与所述上采样的滤波图像数据进行混合的逻辑。
14.如权利要求13所述的系统，其中，
所述检测模块用于确定与个体像素包括肤色的概率成比例的肤色检测分值；
所述混合模块用于基于所述像素的所述肤色检测分值在所述输入图像数据中的像素的亮度值或色度值与所述滤波图像数据中的所述相应像素的亮度值或色度值之间进行内插。
15.如权利要求14所述的系统，其中，
所述滤波模块包括用于对所述下采样图像中的个体像素值进行双边滤波的逻辑；并且
所述混合模块包括用于通过以下方式来在所述输入图像数据中的像素的亮度值或色度值与所述滤波图像数据中的所述相应像素的亮度值或色度值之间进行线性内插的逻辑：确定所述输入图像数据中的所述像素的所述亮度值或色度值与所述滤波图像数据中的所述像素的所述亮度值或色度值的加权和，所述两个亮度值或色度值通过所述肤色检测分值来互补加权。
16.如权利要求13所述的系统，进一步包括：
应用处理器，所述应用处理器包括用户空间和内核空间，所述应用处理器包括用于实现所述滤波模块和所述混合模块的逻辑电路；
相机硬件模块(CM)，所述相机硬件模块耦合至所述应用处理器用于生成表示以所述输入图像分辨率曝光的时间连续图像帧的输入图像数据流；
存储器，所述存储器耦合至所述应用处理器，用于存储从所述应用处理器输出的所述混合图像数据的表示；以及
以下各项中的至少一项：
显示器，所述显示器耦合至所述存储器，用于呈现所述混合图像数据；以及
编码器，所述编码器耦合至所述存储器，用于将所述混合图像数据编码成压缩表示。
17.如权利要求16所述的系统，其中，所述检测模块进一步包括耦合至所述应用处理器的固定功能逻辑电路，所述固定功能逻辑电路用于将所述肤色检测分值输出至所述应用处理器。
18.一种或多种计算机可读存储介质，其上存储有指令，所述指令当由处理器执行时使所述处理器执行如权利要求1至12所述的方法中的任一种方法。
19.如权利要求18所述的介质，其上存储有指令，所述指令当由处理器执行时使所述处理器执行包括以下步骤的方法：
基于滤波标准对以输入图像分辨率表示图像帧的图像数据的个体像素值进行评分；
将所述图像数据下采样至所述图像帧的具有低于所述输入图像分辨率的降低分辨率的表示；
对所述下采样图像数据进行滤波；
将所述经滤波的下采样图像数据上采样回至所述输入图像分辨率；以及
根据所述像素评分将所述输入图像数据与所述上采样的滤波图像数据进行混合。
20.如权利要求19所述的介质，其上进一步存储有指令，所述指令当由处理器执行时使所述处理器进一步执行包括以下步骤的方法：
通过确定在0与1之间的与所述个体像素包括肤色的概率成比例的肤色检测分值来对所述像素进行评分；
通过基于与正被平滑的所述像素相邻的一个或多个下采样图像像素的值对所述下采样图像的像素值进行平滑来对所述下采样图像数据进行滤波；以及
通过将所述输入图像数据中的个体像素的亮度值或色度值中的至少一项与所述上采样的滤波图像数据中的相应像素的所述亮度值或色度值进行混合来将所述输入图像数据与所述上采样的滤波图像数据进行混合。
21.如权利要求19所述的介质，其上进一步存储有指令，所述指令当由处理器执行时使所述处理器进一步执行包括以下步骤的方法：
通过以下方式将所述输入图像数据中的个体像素的亮度值或色度值中的至少一项与所述上采样的滤波图像数据中的相应像素的所述亮度值或色度值进行混合：确定所述输入图像数据中的所述像素的所述亮度值或色度值与所述滤波图像数据中的所述像素的所述亮度值或色度值的加权和，所述两个亮度值或色度值通过所述肤色检测分值来互补加权。
22.如权利要求21所述的介质，其上进一步存储有指令，所述指令当由处理器执行时使所述处理器进一步执行包括以下步骤的方法：
通过对所述下采样图像中的个体像素值进行双边滤波来平滑所述下采样图像的像素值。
23.如权利要求21所述的介质，其上进一步存储有指令，所述指令当由处理器执行时使所述处理器进一步执行包括以下步骤的方法：
从缓冲器中检索所述输入图像数据，所述缓冲器存储有所述图像的解码表示或由相机模块以所述输入图像分辨率曝光的捕获图像中的至少一者；
在对所述像素进行评分之前，将所述输入图像数据从RGB颜色空间转换到YUV颜色空间；以及
将所述混合图像数据存储到存储器中。
24.一种视频相机平台，包括：
图像处理装置，所述图像处理装置用于执行如权利要求1至12所述的方法中的任一种方法；
相机硬件模块(CM)，所述相机硬件模块用于生成表示以所述输入图像分辨率曝光的时间连续图像帧的输入图像数据流；以及
存储器，所述存储器用于存储所述混合图像数据。
25.如权利要求24所述的视频相机平台，其中，所述图像处理装置进一步包括：
检测装置，所述检测装置用于接收以输入图像分辨率表示图像帧的输入图像数据，并且用于确定所述图像数据的个体像素的肤色检测分值；
下采样装置，所述下采样装置用于接收所述输入图像数据，并且用于将所述图像数据下采样至所述图像帧的具有低于所述输入图像分辨率的降低分辨率的表示；
滤波装置，所述滤波装置被耦合以用于接收所述下采样图像数据并且用于平滑所述下采样图像数据；
上采样装置，所述上采样装置被耦合以用于接收所述经滤波的下采样图像数据并且用于将所述经滤波的下采样图像数据上采样回至所述输入图像分辨率；以及
混合装置，所述混合装置被耦合以用于接收所述输入图像数据、所述肤色检测分值以及所述上采样的滤波图像数据，并且用于根据所述肤色检测分值将所述输入图像数据与所述上采样的滤波图像数据进行混合。
26.如权利要求25所述的平台，进一步包括：
相机硬件模块(CM)，所述相机硬件模块耦合至所述应用处理器用于生成表示以所述输入图像分辨率曝光的时间连续图像帧的输入图像数据流；
存储器，所述存储器用于存储从所述应用处理器输出的所述混合图像数据；以及
以下各项中的至少一项：
显示器，所述显示器用于呈现所述混合图像数据；以及
编码器，所述编码器用于将所述混合图像数据编码成压缩表示。
CN201580044336.0A 2014-09-19 2015-08-11 实时皮肤平滑图像增强滤波器 Pending CN106663314A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/491,698 US9390478B2 (en) 2014-09-19 2014-09-19 Real time skin smoothing image enhancement filter
US14/491,698 2014-09-19
PCT/US2015/044734 WO2016043872A1 (en) 2014-09-19 2015-08-11 Real time skin smoothing image enhancement filter

Publications (1)

Publication Number Publication Date
CN106663314A true CN106663314A (zh) 2017-05-10

Family

ID=55526193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580044336.0A Pending CN106663314A (zh) 2014-09-19 2015-08-11 实时皮肤平滑图像增强滤波器

Country Status (4)

Country Link
US (1) US9390478B2 (zh)
EP (1) EP3195588A4 (zh)
CN (1) CN106663314A (zh)
WO (1) WO2016043872A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766153A (zh) * 2018-07-27 2020-02-07 Tcl集团股份有限公司 神经网络模型训练方法、装置及终端设备
CN110879957A (zh) * 2018-09-06 2020-03-13 塔塔顾问服务有限公司 用于进行手分割的系统和方法
CN111353955A (zh) * 2020-02-28 2020-06-30 广州市百果园信息技术有限公司 一种图像处理方法、装置、设备和存储介质
WO2020192499A1 (zh) * 2019-03-28 2020-10-01 杭州海康威视数字技术股份有限公司 一种图像处理方法及设备

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3005288A4 (en) * 2013-05-24 2016-11-30 Intel Corp IMAGE-IMPROVED FOR SKIN TONE
KR101635309B1 (ko) * 2015-01-14 2016-07-01 포항공과대학교 산학협력단 패치 쉬프트를 이용한 텍스처 필터링 방법 및 장치
CN106611429B (zh) * 2015-10-26 2019-02-05 腾讯科技（深圳）有限公司 检测皮肤区域的方法和检测皮肤区域的装置
US10055821B2 (en) * 2016-01-30 2018-08-21 John W. Glotzbach Device for and method of enhancing quality of an image
US11176641B2 (en) * 2016-03-24 2021-11-16 Intel Corporation Skin map-aided skin smoothing of images using a bilateral filter
CN106485720A (zh) * 2016-11-03 2017-03-08 广州视源电子科技股份有限公司 图像处理方法和装置
CN108230331A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、计算机存储介质
KR20200068457A (ko) * 2018-12-05 2020-06-15 삼성전자주식회사 에지 보전 스무딩을 수행하는 이미지 프로세싱 장치 및 이의 이미지 프로세싱 방법
CN110969225B (zh) * 2019-04-04 2020-09-18 上海星地通讯工程研究所 自适应大数据处理方法及存储介质
US11328457B2 (en) * 2019-09-11 2022-05-10 Microsoft Technology Licensing, Llc System and method for tinting of computer-generated object(s)
CN115629698A (zh) * 2021-07-02 2023-01-20 祖玛视频通讯公司 视频通信系统中的动态弱光调节的方法
CN115631124A (zh) * 2021-07-02 2023-01-20 祖玛视频通讯公司 在视频通信系统中提供视频外观调整的方法
CN113923376B (zh) * 2021-12-14 2022-03-04 成都索贝数码科技股份有限公司 一种视频图像曝光度调节方法
US11818192B2 (en) * 2022-02-28 2023-11-14 Nvidia Corporation Encoding output for streaming applications based on client upscaling capabilities
CN114827567B (zh) * 2022-03-23 2024-05-28 阿里巴巴（中国）有限公司 视频质量分析方法、设备和可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100309336A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Skin tone aware color boost for cameras
CN102693527A (zh) * 2011-02-28 2012-09-26 索尼公司 用于对图像执行模糊渲染处理的方法和装置
CN103268475A (zh) * 2013-05-10 2013-08-28 中科创达软件股份有限公司 一种基于人脸、肤色检测的皮肤美容方法
US20130229549A1 (en) * 2008-07-30 2013-09-05 DigitalOptics Corporation Europe Limited Automatic Face and Skin Beautification Using Face Detection

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082211B2 (en) * 2002-05-31 2006-07-25 Eastman Kodak Company Method and system for enhancing portrait images
JP2006072770A (ja) 2004-09-02 2006-03-16 Sanyo Electric Co Ltd 顔検出装置および顔向き推定装置
US7599093B2 (en) * 2004-09-30 2009-10-06 Fujifilm Corporation Image processing apparatus, method and program
US7426312B2 (en) * 2005-07-05 2008-09-16 Xerox Corporation Contrast enhancement of images
US8594445B2 (en) * 2005-11-29 2013-11-26 Adobe Systems Incorporated Fast bilateral filtering using rectangular regions
US9143657B2 (en) * 2006-01-24 2015-09-22 Sharp Laboratories Of America, Inc. Color enhancement technique using skin color detection
US20080056566A1 (en) 2006-09-01 2008-03-06 Texas Instruments Incorporated Video processing
US7796787B2 (en) * 2007-02-03 2010-09-14 Arcsoft, Inc. Face component replacement
US8824831B2 (en) * 2007-05-25 2014-09-02 Qualcomm Technologies, Inc. Advanced noise reduction in digital cameras
US8111936B2 (en) * 2008-02-28 2012-02-07 Generic Imaging Ltd Method and device for processing of images using a digital filter
JP2009238009A (ja) 2008-03-27 2009-10-15 Toshiba Corp 画像処理装置、及び方法
US8254718B2 (en) * 2008-05-15 2012-08-28 Microsoft Corporation Multi-channel edge-aware chrominance noise reduction
US8194992B2 (en) * 2008-07-18 2012-06-05 Xerox Corporation System and method for automatic enhancement of seascape images
US8588541B2 (en) 2008-09-24 2013-11-19 Nikon Corporation Method and device for image deblurring using joint bilateral filtering
US8238654B2 (en) * 2009-01-30 2012-08-07 Sharp Laboratories Of America, Inc. Skin color cognizant GMA with luminance equalization
KR101590868B1 (ko) * 2009-07-17 2016-02-02 삼성전자주식회사 피부색을 보정하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 컴퓨터 판독가능 저장매체
US8285033B2 (en) * 2010-04-01 2012-10-09 Seiko Epson Corporation Bi-affinity filter: a bilateral type filter for color images
US8737735B2 (en) * 2012-06-15 2014-05-27 At&T Intellectual Property I, L.P. System and method of bilateral image filtering
KR20140071119A (ko) 2012-12-03 2014-06-11 현대모비스 주식회사 이미지 처리 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130229549A1 (en) * 2008-07-30 2013-09-05 DigitalOptics Corporation Europe Limited Automatic Face and Skin Beautification Using Face Detection
US20100309336A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Skin tone aware color boost for cameras
CN102693527A (zh) * 2011-02-28 2012-09-26 索尼公司 用于对图像执行模糊渲染处理的方法和装置
CN103268475A (zh) * 2013-05-10 2013-08-28 中科创达软件股份有限公司 一种基于人脸、肤色检测的皮肤美容方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHIH-WEI CHEN 等: "Automatic Skin Color Beautification", 《ARTS AND TECHNOLOGY: FIRST INTERNATIONAL CONFERENCE》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766153A (zh) * 2018-07-27 2020-02-07 Tcl集团股份有限公司 神经网络模型训练方法、装置及终端设备
CN110879957A (zh) * 2018-09-06 2020-03-13 塔塔顾问服务有限公司 用于进行手分割的系统和方法
CN110879957B (zh) * 2018-09-06 2023-08-04 塔塔顾问服务有限公司 用于进行手分割的系统和方法
WO2020192499A1 (zh) * 2019-03-28 2020-10-01 杭州海康威视数字技术股份有限公司 一种图像处理方法及设备
CN111353955A (zh) * 2020-02-28 2020-06-30 广州市百果园信息技术有限公司 一种图像处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
EP3195588A4 (en) 2018-04-11
WO2016043872A1 (en) 2016-03-24
US9390478B2 (en) 2016-07-12
US20160086316A1 (en) 2016-03-24
EP3195588A1 (en) 2017-07-26

Similar Documents

Publication Publication Date Title
CN106663314A (zh) 实时皮肤平滑图像增强滤波器
CN110070511B (zh) 图像处理方法和装置、电子设备及存储介质
WO2018205676A1 (zh) 用于卷积神经网络的处理方法和系统、和存储介质
CN107278314A (zh) 具有自适应有向空间滤波器的非局部均值图像去噪
US20190130208A1 (en) Local tone mapping to reduce bit depth of input images to high-level computer vision tasks
CN109472270A (zh) 图像风格转换方法、装置及设备
US7983511B1 (en) Methods and apparatus for noise reduction in digital images
WO2017041295A1 (en) Real-time face beautification features for video images
CN107004255A (zh) 使用自相似度驱动混合的带细节保留的非局部均值图像去噪
CN113066017B (zh) 一种图像增强方法、模型训练方法及设备
CN104915916B (zh) 使用选择性色彩变换的色彩压缩
CN107431770A (zh) 自适应线性亮度域视频流水线架构
CN104067311A (zh) 数字化妆
CN105339950B (zh) 使用差分图像的光学通信
CN107767380A (zh) 一种基于全局空洞卷积的高分辨率复合视野皮肤镜图像分割方法
CN111932463B (zh) 图像处理方法、装置、设备及存储介质
WO2022133382A1 (en) Semantic refinement of image regions
CN108885785A (zh) 用于时间噪声减少的运动自适应流处理
CN109416829A (zh) 并行计算机视觉和图像缩放架构
CN106575364A (zh) 使用定向滤波的目标检测
WO2023284401A1 (zh) 图像美颜处理方法、装置、存储介质与电子设备
CN112700368A (zh) 图像处理方法、装置及电子设备
CN104052942B (zh) 改进的图像传感器像素校正技术
Garg et al. LiCENt: Low-light image enhancement using the light channel of HSL
CN113724151B (zh) 一种图像增强方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510