CN1949822A - 面部图像补偿设备、介质和方法 - Google Patents

Abstract

一种面部图像补偿装置、介质和方法。所述面部图像补偿装置可包括：检测单元，在面部图像中检测眼部；提取单元，提取检测的眼部的特征信息；和补偿单元，根据提取的特征信息补偿检测的眼部。

Description

面部图像补偿设备、介质和方法

本申请要求于2005年10月14日提交到韩国知识产权局的第10-2005-0097156号韩国专利申请的优先权，该申请全部公开于此以资参考。

                        技术领域

本发明的实施例涉及一种补偿获得的面部图像的设备、介质和方法。更具体地讲，本发明的实施例涉及一种在图像的眼部内执行补偿的面部图像补偿设备、介质和方法。

                        背景技术

随着数字相机或相机电话已被广泛地接受，发现消费者以新的各种娱乐方式种对其进行使用数字相机或相机电话，诸如将合成图像设置为个人计算机的墙纸或通过博客或网站同其他人共享合成图像。由于相机功能已与蜂窝电话组合，因此频繁地经常发现消费者在日常生活中对他们的家庭成员、朋友和他们自己拍照。随着最近这种强调肖像的趋势，数字相机或相机电话的顾客像是更喜欢可以拍摄“看起来好看”的肖像的产品，其中，所述“看起来好看”的肖像即是可被认为是高质量图像的肖像，以及导致肖像中的对象看起来更吸引人的肖像。

响应这种趋势，制造图像拍摄装置的公司已集中开发各种用于生产这种高质量图像的方法。

作为示例，第2004-104464号日本未审查专利论述了一种数字相机和图像补偿方法，其通过将图像数据存储在数字相机内来在统计上分析只由数字相机拍摄的图像数据的亮度信号，并通过使用适当的补偿曲线和对这样的图像分类来自动补偿存储的图像数据的白平衡、灰度级和饱和度。以相似的方法，已经由韩国Pantech & Curitel公司商业化的相机系统PHS7000V通过调整亮度或通过对图像应用中值滤波器来去除椒盐噪声来提高图像的感知质量。

某些研究已经实现了通过修饰图片来提高拍摄图片的满意度。例如，第2004-0108021号韩国未审查专利论述了通过将真实面部图像和不同的饰品及发型合组合产生虚拟化身。

然而，如上所述的已知技术局限于通过集中于彩色补偿或通过将装饰元素添加到图像来改善图像的总体质量。因此，还没有提出美化对象的脸本身的方法。根据对心理学研究和体态吸引力的研究，以及在广播和广告业的经验知识，用于指示面部吸引力的关键特点是清澈、闪亮的眼睛和对称的面部形状，以及吸引人的发型或柔软的皮肤。更具体地讲，漫画家和专业摄影师凭经验认识到美化对象的眼睛重要性已经很长时间了。例如，当描绘漂亮女士时，许多漫画家使用绘制大眼睛和在眼睛里添加白点的技术。白点描绘反光，其诸如荧光灯的光源的镜面反射。摄影师也把闪亮的反光看作是拍摄肖像时美化的重要元素。他们可使用称为“眼神光”的技术，其通过使用闪光或反光镜在眼睛上光学地生成大而闪亮的反光。

因此，本发明的发明者已发现有必要克服这些传统的缺点。

                           发明内容

本发明实施例的一方面在于提供一种通过在面部图像的眼部处理虚拟特征来美化对象的面部图像补偿设备、介质和方法。

本发明另外的方面和/或优点将在接下来的描述中部分地阐述，部分地通过描述变得清楚，或者可以通过本发明的实施而得知。

为了实现上述和/或其他方面和优点，本发明的实施例包括一种图像修改设备，包括提取单元，从检测的图像的眼部提取特征信息；和补偿单元，根据提取的特征信息修改检测的眼部的像素值以选择性地加重检测的眼部的某些部分。

所述设备可还包括在面部图像中检测眼部的检测单元。

特征信息可包括关于在眼部中反光的信息。

此外，提取单元可基于眼部中各个像素的亮度值来确定眼部中是否存在反光。

此外，补偿单元可通过在眼部添加合成的反光和/或通过扩大现有反光来修改眼部。

这里，补偿单元可根据反射模型，通过编辑在眼部中的至少一个选择位置的各个像素的亮度值来将合成的反光添加到眼部。

此外，当扩大眼部的现有反光时，补偿单元可将现有反光的扩大部分盖写(overwrite)到眼部。

此外，补偿单元可包括根据眼部的大小的眼部的反光的合适数目和大小中的至少一个的信息。

此外，补偿单元可通过降低眼部暗区的各个像素的亮度值，和/或增加眼部亮区的各个像素的亮度值来扩大眼部中的动态范围。

为了实现上述和/或其他方面和优点，本发明的实施例包括一种面部图像补偿方法，包括：提取检测的图像的眼部的特征信息；和根据提取的特征信息修改检测的眼部的像素值，以选择性地加强检测的眼部的某些部分。

该方法还可包括在面部图像中检测眼部。

此外，所述提取可包括提取关于眼部中的反光的信息。

此外，所述提取可包括基于在眼部内的区域的各个像素的亮度值来确定眼部中是否存在反光。

所述修改还可包括通过在眼部添加合成的反光和/或通过扩大现有反光来修改眼部。

这里，所述修改可包括根据反射模型，通过编辑在眼部中的至少一个选择位置的各个像素的亮度值来将合成的反光添加到眼部。

此外，当扩大眼部的现有反光时，所述修改可包括将现有反光的扩大部分盖写到眼部。

此外，所述修改可还包括根据眼部的大小，确定至少为眼部的反光的合适数目或大小的信息。

所述修改可还包括通过降低眼部暗区的各个像素的亮度值，和/或增加眼部亮区的各个像素的亮度值来扩大眼部中的动态范围。

为了实现上述和/或其他方面和优点，本发明的实施例包括至少一种包括控制至少一个用于执行本发明实施例的处理部件的计算机可读代码的介质。

                         附图说明

通过下面结合附图对实施例进行的详细描述，本发明的这些和/或其他方面以及优点将会变得清楚和更加易于理解，其中：

图1示出根据本发明实施例的面部图像补偿装置；

图2示出根据本发明实施例的面部图像补偿方法；

图3A至图3C示出根据本发明实施例的检测面部区域和眼部的处理；

图4示出根据本发明实施例的在眼部的显著的发光的亮度特性；和

图5A至图5C示出根据本发明实施例的通过在眼部改变亮度值合成反光的处理。

                    具体实施方式

现在，详细描述本发明的实施例，其示例在附图中示出，其中，相同的标号始终表示相同的部件。除了下面的实施例，本发明也可以许多不同的形式来实现，并且不应解释为局限于这里列出的实施例。下面参照附图描述实施例以解释本发明。

图1示出根据本发明实施例的面部图像补偿装置。

如图所示，面部图像补偿装置100可包括：存储单元110，存储拍摄的原始图像；检测单元120，检测存储的图像的面部图像区域，并从检测的面部图像检测眼部；提取单元130，提取检测的眼部的视觉特征；补偿单元140，通过根据提取的特征信息处理眼部的视觉特征来补偿眼部；和输出单元150，显示、存储或发送补偿的面部图像，以上作为示例。

仅作为示例，存储单元110可以是嵌入诸如数字相机或内置相机的移动通信装置的摄影装置中的存储器，以便保存拍摄的图像，或者存储单元110可以是所述摄影装置的可移除存储卡，应注意到可替换的实施例同样可用。例如，存储在存储单元110的图像可仅包括面部图像或包括面部图像和背景图像。下面，在本发明实施例中，将进一步描述存储在存储单元110的图像包括面部图像和背景图像的情况。

此外，根据本发明的实施例，存储单元110可以是CMOS/CCD相机的图像缓冲器、RAM或闪存，也应该注意到本发明的实施例不限于此。

因此，检测单元120可检测眼部，例如从存储在存储单元110的图像检测眼部，所述检测诸如在例如，通过使用皮肤颜色和其他特征检测面部之后，在通过检测和定位眼部来最小化搜索空间的同时进行眼部检测。这只是一个示例，因为已在计算机视觉学术界提出了用于检测和定位眼部的不同方法。

仅作为示例，可使用公知的诸如Neven Vision有限责任公司的移动图书馆、日本的Oki Electrics的脸部检测引擎或日本的OMRON有限责任公司的OKAO的现成产品来容易地实现检测单元120。这里，检测单元120通常可确定眼部的中心点和边界点的位置。

提取单元130可从构成眼部图像(例如，由检测单元120所检测的)的像素值提取特征信息，并且如同本发明实施例中所实现的，反光可被提取作为特征信息，以上作为示例。

这里，视觉特征信息可以是合成和扩大反光，以使合成的反光看起来尽可能自然的所期望的任何种类的信息。视觉特征可包括在眼部的现有反光的位置、大小、和/或亮度和当拍照时使用的照明的特性。例如，提取单元130可通过查找诸如在YUV格式中的Y亮度的亮度信道中的峰值来分析反光，并可分割(分割)找到的反光。

这里，提取单元130可包括彩色空间转换单元131，例如，其用于简化在补偿单元140中检测和处理反光的算法和计算。例如，因为YNV和HSV彩色空间它们的格式的本质将与色度分离的亮度作为独立的带，并且因为可通过主要发生在亮度带的显著的彩色空间改变确认反光，所以可容易地处理在YUV或HSV彩色空间而不是RGB彩色空间中构成反光的像素。假设在白/亮照明的情况下，则可通过在这样的彩色空间进行处理来减少反光处理所需的操作的数目。

已经标准化这些彩色空间之间的彩色转换。例如，当给出RGB值时，可使用下面的等式1获得YUV值，并且当给出YUV值时，可通过等式1的逆运算获得RGB值。这里，等式1的系数遵循普通的转换等式，但是可根据图像装置的特征和外加场来改变所述系数。

等式1：

            Y＝0.299R+0.587G+0.114B

            U＝-0.147R-0.289G+0.436B

            V＝0.615R-0.515G-0.100B

如果将眼部的RGB值转换为YUV值，则作为示例提取单元130可仅通过检查YUV中的Y带来确定在眼部是否存在反光而不必检查RGB空间中三种不同的彩色带，这是因为作为由光源在眼的表面上反射生成的区域的反光的亮度远高于眼的其他区域。相似地，补偿单元140可在保持反光和眼部的颜色的同时处理反光和眼部的亮度。当然，在RGB空间中这种检测和处理也是可用的。

例如，如果提取单元130确定在眼部存在反光，则补偿单元140可添加反光(例如，基于当前现有反光的大小)或扩大现有反光的大小。如果没有在眼部检测到反光，则将适当大小的新反光添加到适当的位置(例如，可根据检测的眼部的大小预先定义所述位置)。这里，补偿单元140可再次将补偿的面部图像记录在存储单元110中，或通过输出单元150将此图像输出，应注意到可替换的实施例同样可用。

图2示出根据本发明实施例的面部图像补偿方法。这里，在实施例中，我们假设已经拍摄了包含脸的面部图像，并将其存储在诸如数字相机的图像装置中，应注意到可替换的实施例同样可用。

如图所示，在操作S110检测面部区域(例如，从存储在存储单元110的图像检测面部区域)。

这样，可在操作S120检测到面部区域的眼部。这里，还可以按与检测面部区域的方法相同的方式检测眼部，例如，如下所述。

如图3A所示，可通过上述面部区域检测方法从图像210(例如，存储在存储单元110中的图像)来检测面部区域220。根据本实施例，在图3B中进一步示出了检测的面部区域220，并且可从面部区域220进一步检测眼部230(例如，通过上述检测方法进行检测)。这里，可保存检测的眼部230的位置和大小(例如，通过检测单元120保存)。根据一实施例，因为补偿单元140可保存作为出厂设置或通过升级的关于适合于任何给定大小的眼部的反光的数目和大小的信息，所述更新例如，如果在检测的眼部不存在反光，则可确定并添加合适反光的数目和大小等。

然后，可在操作S130提取关于眼部(即，由检测单元120检测的)的特征信息。

具体地，可确定在眼部是否存在反光(例如，由提取单元130通过转换的YUV值来确定)。具体地，例如，如果转换单元131通过彩色空间转换将眼部230的像素值从RGB值转换为YUV值，则可以容易的处理亮度信号。如图4所示，可以看到在眼部230中反光的位置，相应的亮度变得非常高。因此，根据实施例，只作为示例，提取单元130可确定是否存在反光以及反光的数目和大小。这里，例如，如图3C中d1所示，参考大小表示反光的直径，应注意到可替换的实施例同样可用。

先前已通过诸如“Improved Video-based Eye-gaze Detection Method”Ebisawa et al，IEEE Tr.Instrumentation and Measurement，Vol.47，No.4，Aug.1998.的各种研究建立了反光的特征和用于在图像中定位反光的技术，。

在本发明的一实施例中，仅作为示例，将使用可预先存储关于适合于眼的大小(图3C中的d2)的反光的大小和数目的信息的情况来进一步说明补偿单元140的潜在操作。

作为确定结果，如果在操作S140中检测到反光，则可在S150的操作中确定在眼部的现有反光的数目和大小是否合适。这里，在一实施例中，因为已预先存储了关于合适反光的大小d1的信息，所以根据检测的眼部230的大小d2，可确定检测的反光的数目和大小是否合适(例如，通过补偿单元140确定)。这里，如果确定反光的数目和大小不合适，则可在操作S160添加新的反光或放大新的反光(例如，通过补偿单元140放大)。

仅作为示例，普通阴影算法可用于生成新的反光。基本上，如图5A所示，可将反光的像素描述为表面点的像素矢量以及彩色空间的照明矢量的和。例如，如果预定位置的RGB值为{35，40，45}，到达该位置的光的RGB值为{50，50，50}，则当排除漫反射和其他因素时，可预计反光点的RGB值为{85，90，95}。相似地，如果基于纯白光源使用简单模型，则可通过将光源的亮度值增加到预定的YUV像素值中的Y值来构成反光。如图5B和5C中简单示出的，可通过将照明值增加到亮度带中的表面像素值来容易地添加新的反光，应注意到可替换的实施例同样可用。这里，通过在亮度带进行处理，这个操作最小化了在眼部的色彩特性的恶化。

然而，例如，因为眼球是球形的，并与反射角成比例地进行反射光，所以，在通过眼表面的建模和用于合成自然反光照之后，可一起计算镜面反射和漫反射。在一实施例中，考虑到实现该算法的装置的操作的数目，可通过省略漫反射的计算和预先设置光照模型来简化该方法。仅作为示例，Phong模型(Bui-Tuong Phong，″Illumination for computer generated images″，Comm.ACM 18，6(June 1975)311-317)提出了使用少量计算合成自然镜面反射的经验模型。

根据实施例，扩大现有反光相对容易；其可通过在确定为反光的区域分割像素来执行，通过使用普通图像处理技术扩大分割的像素，然后将扩大的像素盖写在原来的位置。例如，即使已经存在现有反光，可通过添加新的反光以具有至少两个反光来期望更自然的效果。

在实施例中，如果补偿单元140确定在眼部没有反光，则在操作S170，可根据检测的眼部230的大小d1，确定合适反光240的大小d2和数目(如图3B和图3C所示)。此外，例如，可根据确定的反光240的大小和数目，在操作S180添加反光。

然后，根据确定的反光的大小和数目，可在操作S160在眼部执行反光的添加和补偿。

这样，可选地，通过在眼部扩大动态范围，可增加体态吸引力。可在操作S190通过降低诸如瞳孔或虹膜暗区的亮度，和/或通过增加眼部白/亮区的亮度来实现吸引力的增加。结合反光处理，这一操作通过增加高度对比度使眼睛更加闪亮。

同样，根据本发明实施例的面部图像补偿装置、介质和方法通过补偿作为增加面部吸引力的重要部分的眼部，可生成在感觉上满足用户的面部图像。

除了上述实施例，还可通过介质(例如，计算机可读介质)上的计算机可读代码/指令来实现本发明实施例，以控制至少一个处理部件来实现上述任何实施例。该介质可对应于允许计算机可读代码的存储和/或传输的任意介质。

例如，可以不同的方式在介质上记录/传送计算机可读代码，所述介质的实例包括：磁存储介质(例如，ROM、软盘、硬盘等)、光记录介质(例如，CD-ROM或DVD)以及诸如载波和通过互联网的存储/传输介质。这里，所述介质还可以是根据本发明实施例的诸如合成信号或比特流的信号。所述介质还可以是分布式网络，从而可以以分布式的方式存储/传送和执行计算机可读代码。此外，仅作为示例，处理组件可包括处理器或计算机处理器，并且处理组件可进行分布并/或包括在单个装置中。

此外，在根据本发明的实施例的面部图像补偿装置、介质和方法中，在任意实施例中使用的潜在术语“单元”可代表诸如FPGA或ASIC的硬件组件，“单元”执行特定的功能。相似地，“单元”在可寻址的存储介质中可被同样地执行，或者可在一个或多个处理器上执行。例如，单元可包含诸如软件组件、面向对象的软件组件、类组件、任务组件、进程、函数、属性、程序、电路、数据、数据库、数据结构、表、数组和变量。此外，在/由这些“单元”提供的组件和操作可组合为较少的组件和“单元”，或可被进一步分成另外的组件和“单元”。这里，尽管已描述了这些具体实施例，但本发明的实施例不应限于此。

这样，根据基于本发明的实施例的面部图像补偿装置、介质和方法，与诸如去除散粒(shot-gun)噪声或色调调谐的现有传统图像加强方式相比，可在处理本身不可识别的同时，通过加强决定体态吸引力的重要视觉特征和关键特征自然地美化图像中的对象。

以上，参照方框图和流程图的附图详细描述了本发明的实施例，以解释面部图像补偿装置、介质和方法。例如，可根据计算机可读代码实现流程图的每个方框和方框的组合。

此外，每个示出的方框可至少代表模块的一部分或部分代码，其包括一个或多个执行特定逻辑操作的可执行指令。还应注意，可以不同的顺序执行方框中提到的操作。例如，可同时执行两个连续方框，和/或可按相反的顺序执行方框。

尽管已经显示和描述了本发明的少数实施例，但是本领域的技术人员应该理解，在不脱离由权利要求及其等同物定义的本发明的范围的情况下，可对这些实施例进行改变。

Claims (19)

1、一种图像修改设备，包括：

提取单元，从检测的图像的眼部提取特征信息；

补偿单元，根据所述提取的特征信息修改检测的眼部的像素值，以选择性地加重检测的眼部的某些部分。

2、如权利要求1所述的设备，还包括在面部图像中检测眼部的检测单元。

3、如权利要求1所述的设备，其中，所述特征信息包括关于眼部中反光的信息。

4、如权利要求1所述的设备，其中，所述提取单元基于眼部中的各个像素的亮度值来确定眼部中是否存在反光。

5、如权利要求1所述的设备，其中，所述补偿单元通过在眼部添加合成的反光和/或通过扩大现有反光来修改眼部。

6、如权利要求5所述的设备，其中，所述补偿单元根据反射模型，通过编辑在眼部中的至少一个选择位置的各个像素的亮度值来将将合成的反光添加到眼部。

7、如权利要求5所述的设备，其中，当扩大眼部的现有反光时，补偿单元将当前现有反光的扩大部分盖写到眼部。

8、如权利要求1所述的设备，其中，补偿单元包括根据眼部的大小的眼部的反光的合适数目和大小中的至少一个的信息。

9、如权利要求1所述的设备，其中，补偿单元通过降低眼部暗区的相应像素的亮度值，和/或增加眼部亮区的各个像素的亮度值来扩大眼部中的动态范围。

10、一种面部图像补偿方法，包括：

提取检测的图像的眼部的特征信息；和

根据提取的特征信息修改检测的眼部的像素值，以选择性地加重检测的眼部的某些部分。

11、如权利要求10所述的方法，还包括在面部图像中检测眼部。

12、如权利要求10所述的方法，其中，所述提取包括提取关于眼部中的反光的信息。

13、如权利要求10所述的方法，其中，所述提取包括基于眼部内的区域的各个像素的亮度值来确定眼部中是否存在反光。

14、如权利要求10所述的方法，其中，所述修改包括通过在眼部添加合成的反光和/或通过扩大现有反光来修改眼部。

15、如权利要求14所述的方法，其中，所述修改包括根据反射模型，通过编辑在眼部中的至少一个选择位置的各个像素的亮度值来将合成的反光添加到眼部。

16、如权利要求14所述的方法，其中，当扩大眼部的现有反光时，所述修改包括将现有反光的扩大部分盖写到眼部。

17、如权利要求10所述的方法，其中，所述修改包括根据眼部的大小，确定至少为眼部的反光的合适数目或大小的信息。

18、如权利要求10所述的方法，其中，所述修改包括通过降低眼部暗区的各个像素的亮度值，和/或增加眼部亮区的各个像素的亮度值来扩大眼部中的动态范围。

19、至少一种包括用于控制至少一个处理部件执行权利要求10的方法的计算机可读代码的介质。

Images