CN201788344U - 用于检测和处理数字图像内红眼缺陷的系统及嵌入式图像采集和处理系统 - Google Patents

Abstract

本实用新型涉及用于检测和处理数字图像内红眼缺陷的系统以及嵌入式图像采集和处理系统，包括：图像采集部件，配置来采集包括一个或者多个人脸的含有红眼缺陷的图像；速度优化滤波器，配置来在第一阶段对候选红眼区域进行初始分割，以确定第一组确认红眼区域，并且产生第一红眼校正图像；存储器件，配置来记录该第一阶段被拒绝校正的拒绝候选红眼区域分组，而不做全面分析；分析优化滤波器，配置来在第二阶段重新分析该拒绝候选红眼区域分组，以确定第二组确认红眼区域；处理器，配置来校正该第二组确认红眼区域，产生第二红眼校正图像，并且利用电子方法存储、发送、进一步处理或者编辑、或者显示该第二红眼校正图像或它们的组合。

Description

用于检测和处理数字图像内红眼缺陷的系统及嵌入式图像采集和处理系统 

技术领域

本发明涉及数字图像处理，并且更具体地说，本发明涉及一种用于检测和校正所采集的数字图像中的红眼缺陷和其它赝象的方法和设备。 

背景技术

红眼是照相机在闪光灯照明情况下捕获的图像中出现的人的瞳孔有不自然微红色的表观。红眼是闪光灯发出的光被人的视网膜上的血管反射并返回照相机导致的。 

为了检测和校正彩色图像中的红眼，已经建议了大量图像处理技术。总之，这些技术通常是半自动或者自动的。半自动红眼检测技术取决于人的输入。例如，在某些半自动红眼减小系统中，在校正该缺陷之前，用户必须人工对该系统识别图像含有红眼的区域。 

许多自动红眼减小系统取决于检测红眼区域之前进行的初始人脸检测步骤。常规自动方法包括检测图像中的人脸，随后，检测每个被检测到的人脸上的眼睛。定位了眼睛后，根据对应于检测到的眼睛位置的图像区域的形状、色彩和亮度，识别红眼。总之，基于人脸检测的自动红眼减小技术对计算和存储资源都有高要求。此外，大多数人脸检测算法只能检测到竖式正视图方式取向的人脸；这些方法不能检测到相对于成像面面内(in-plane)或者非面内(out-of plane)旋转的人脸。 

图1(a)示出典型的现有技术红眼滤波处理。首先，在速 度优化红眼检测阶段100在像素级103分析输入图像，并且将该输入图像分割为候选红眼区域104。然后，进一步对该候选区域应用一系列虚假验证滤波器(falsing and verification filter)106，并因此确定一组确认的红眼区域108。接着，对确认的区域应用校正滤波器(像素调制器)102，然后，产生校正了红眼的最终图像112。 

典型的现有技术包括：美国专利6,407,777，被授予Deluca，它披露了在照相机内检测和校正采集的数字图像中的红眼像素；美国专利申请2002/0176623，被授予Steinberg，它披露了自动实时检测和校正对手持装置优化了的红眼缺陷；美国专利申请2005/0047655和2005/0047656，被授予Lou等人，它们分别披露了在数字图像中和嵌入式系统中检测和校正红眼。 

现在，众所周知，在诸如被嵌入典型数码照相机的图像采集子系统中，在进行图像采集时，存在峰值计算负载和资源的需要。一旦收到用户的图像采集请求，主嵌入处理系统必须改进像焦点和曝光，以实现最佳主采集图像；继而，必须从该照相机的主光学传感器卸载该图像，并且对它做进一步图像处理，以将它从其原始格式(例如，Bayer)变换为诸如RGB或者YCC的传统彩色空间。最后，在将该采集图像存储在诸如小型闪存卡或者多媒体存储卡的移动存储介质(removable storagemedium)上之前，必须压缩该采集图像。 

照相机从采集第一幅图像中恢复、并自身重新初始化来捕获第二幅图像所花费的时间在行业内被称为“两次拍摄(click-to-click)”时间间隔。由于这是用于比较和行销现代数字照相机的最重要参数之一，所以将所述“两次拍摄”时间间隔降到最小，对于制造商是至关重要的。因此，为了将其对 主系统的两次拍摄时间间隔的影响降到最小，应当对主图像采集链附加的诸如红眼滤波的任意附加图像处理进行高度优化，以便加速执行。 

显然，这种红眼滤波器必须根据检测红眼缺陷的精度和图像校正质量对其整体性能取折衷。一种选择是，等待，直到采集了主图像之后，并且在照相机可以执行作为背景处理的滤波后，执行红眼滤波，或者在台式个人计算机或者打印机上，与照相机脱机，执行红眼滤波。 

然而，这种方法存在一些缺陷。首先，图像在采集之后，具有未校正的红眼缺陷的图像会立即显示在采集装置上；然后，如果以重放方式访问图像，当在可以显示图像之前，对图像进行后处理时，存在进一步的延迟。 

此外，实际上，所有数码照相机都采用有损压缩技术存储图像，因为为了以重放模式或者背景模式，进行红眼检测和校正处理，必须对图像进行解压缩和重新压缩，所以还存在图像质量方面的附加缺陷。在后来用户希望打印图像之前，图像质量的这种损失也许不明显，而逆转此过程已经太晚了。 

如果直到图像被加载到诸如台式个人计算机或者打印机的另一个装置上时才执行红眼处理，则存在进一步的缺陷。首先，重要的与采集装置及其在采集图像时的状态相关的元数据不能用于红眼滤波处理。第二个缺陷是，后处理装置必须对整个图像进行红眼滤波；如果存在诸如打印机的嵌入式装置，就CPU循环和处理资源而言，它本身对于其基本后处理活动是相对受限的，因此，希望优化整个红眼滤波器的性能。 

发明内容

根据本发明第一方面，提供了一种配置来检测数字图像中的红眼缺陷的系统，包括：图像采集部件，配置来采集包括一个或者多个人脸的含有红眼缺陷的图像；速度优化滤波器，配置来在第一阶段对候选红眼区域进行初始分割，以确定指定为需要校正的第一组一个或者多个确认红眼区域，并且通过处理器来初始校正该第一组红眼区域，以产生第一红眼校正图像；存储器件，配置来在其中记录在该第一阶段被拒绝校正的拒绝候选红眼区域分组，而不做全面分析；分析优化滤波器，配置来在较后的第二阶段重新分析该拒绝候选红眼区域分组，以确定第二组确认红眼区域；处理器，配置来校正该第二组确认红眼区域，并且产生其中具有校正的该第一组和第二组确认红眼区域的第二红眼校正图像，并且配置来利用电子方法存储、发送、进一步处理或者编辑、或者显示该第二红眼校正图像，或者它们的组合。 

根据本发明的第二方面，提供了一种嵌入式图像采集与处理系统，包括：(a)图像采集子系统；(b)速度优化滤波器，其配置来在第一阶段对在采集的图像内检测到的候选红眼区域进行初始分割，以确定指定为需要校正的第一组一个或者多个确认红眼区域；(c)存储器件，配置来用于在其中记录在该第一阶段被拒绝校正的拒绝候选红眼区域分组，而不做全面分析；(d)分析优化滤波器，其配置来在较后的第二阶段确定指定为需要校正的第二组一个或者多个确认红眼区域；(e)处理器，配置来用于校正在该采集图像上包括该第一组和第二组确认红眼区域的红眼缺陷，并且产生红眼校正图像；以及配置来利用电子方法存储、发送、进一步处理或者编辑、或者显示该红眼校正图像，或者它们的组合。 

根据本发明第三方面，提供了一种配置来检测数字图像中的眼缺陷的系统，包括：图像采集部件，配置来采集包括一个或者多个人脸的含有红眼或者非红眼缺陷的图像；第一眼检测滤波器，配置来在第一阶段对候选红眼区域进行初始分割，以确定指定为需要校正的第一组一个或者多个确认红眼区域，并且配置来校正该第一组红眼区域，以产生第一红眼校正图像；第二眼检测滤波器，配置来在另外的第二阶段对候选金黄眼区域或者眼白区域、或者它们二者进行分割，以确定也被指定为需要校正的第二组一个或者多个确认的非红眼缺陷区域；处理器，配置来校正该第一红眼校正图像中的该第二组非红眼缺陷区域，并产生红眼和非红眼缺陷校正图像；以及配置来利用电子方法存储、发送、进一步处理或者编辑、或者显示该第二红眼校正图像，或者它们的组合。 

根据本发明第四方面，提供了一种嵌入式图像采集与处理系统，包括：(a)图像采集子系统；(b)第一眼检测滤波器，其配置来在第一阶段对在采集图像中检测到的候选红眼区域进行初始分割，以确定指定为需要校正的第一组一个或者多个确认红眼区域；(c)第二眼检测滤波器，其配置来在较后的第二阶段，确定指定为需要校正的第二组一个或者多个确认的非红眼区域；(d)一个或者多个处理器，配置来用于分别校正在该采集图像上包括该第一组和第二组确认红眼区域和非红眼区域的红眼缺陷和非红眼缺陷，并且产生红眼和非红眼校正图像；以及配置来利用电子方法存储、发送、进一步处理或者编辑、或者显示红眼和非红眼校正图像，或者它们的组合。 

根据本发明第五方面，提供了一种配置来处理数字图像的系统，包括：图像采集子系统，包括配置来获得所采集数字图 像的候选人脸区域的人脸检测器；第一速度优化滤波器，配置来产生第一组候选红眼区域；处理器，配置来编码该采集的数字图像的至少一部分；以及配置来存储与所述第一组候选红眼区域相关联的该采集数字图像的编码部分，用于较后对所述编码图像进行图像处理。 

根据本发明第六方面，提供了一种用于处理数字图像的系统，包括：图像采集子系统；人脸检测器，配置来用于获得采集数字图像的候选人脸区域；速度优化滤波器，配置来用于产生在采集数字图像内的第一组候选红眼区域；处理器，配置来用于编码该采集数字图像的至少一部分；以及配置来与所述第一组候选红眼区域相关地存储该采集数字图像的编码部分，用于较后对所述编码图像进行图像处理。 

对于嵌入式图像采集与处理系统，增强在数字图像中检测红眼缺陷。提供了两阶段红眼滤波处理，其中速度优化滤波器对候选红眼区域进行初始分割，并且可选择地应用速度优化的一组虚假验证滤波器，以确定要校正的第一组确认的红眼区域。在第二阶段，利用一组备选分析优化滤波器，记录并重新分析在第一阶段被拒绝的一些候选区域，以确定第二组确认的红眼区域。 

在另一个实施例中，该第一组确认的红眼区域可以通过两阶段分析优化滤波器。 

在另一个实施例中，该第二阶段滤波器可以包括增强型校正滤波器，可以选择对该第一组确认的红眼区域应用该增强型校正滤波器。 

应用两阶段红眼滤波器，其中速度优化的第一红眼滤波处理与精确图像分析优化的第二红眼处理组合。因此，在主图像 采集链内实现的红眼滤波器的优点与在背景模式/重放模式下实现的红眼滤波器的优点兼备，于是，通常可以消除这两种方法的缺点。 

对于慢速平台(如富士通公司(Fujitsu)为三星公司(Samsung)设计的)，在重放模式下，在图像显示在屏幕上后，并且优选地在图像显示在屏幕上后立即调用“RE lib”(例如，不等待用户命令)。该照相机可以是多任务的和/或者当需要做其它事情时，它可以迅速放弃背景任务。这样当执行RE功能时可以对用户提供瞬间或者实时效果。在图片上，例如在闪光区域内，可以保证存在RE。 

又提供了一种用于处理数字图像的技术。获得采集的数字图像的候选人脸区域。利用第一速度优化滤波器滤波该候选人脸区域，以产生第一组候选红眼区域。该采集的数字图像的至少一部分被编码。该采集的数字图像的编码部分与所述第一组候选红眼区域关联存储，用于较后对所述编码图像进行图像处理。 

可以应用一组速度优化的一个或者多个虚假验证滤波器。该第一组候选红眼区域可以通过分析优化滤波器。在该滤波、编码以及存储之后某个时间，被该滤波拒绝的候选人脸区域可以通过分析优化滤波器，以致可以将其一个或者多个确定为候选红眼区域。该第一速度优化滤波器可以应用于图像采集，并且，该分析优化滤波器可以应用于背景模式或者重放模式或者这两种模式中。 

这可以应用于诸如消除金黄眼(Golden Eye)的更复杂处理(例如，“两阶段”处理可以实时消除红眼和背景中的金黄眼)。两阶段处理可以包括采集链上的快速滤波器以及之后在照相机 空闲时应用的、或者甚至位于辅助装置上的慢速分析优化滤波器。这特别有助于慢速机器，并且这不仅可以预测重放，而且当照相机通常不拍摄照片时，这可以是背景处理。在显示器上可以有显示执行红眼消除(Red Eye)的图标和/或者闪光区域。 

附图说明

图1(a)示出典型现有技术的红眼处理； 

图1(b)示出根据实施例的红眼处理； 

图1(c)示出根据变换实施例的红眼处理； 

图2(a)示出数字图像采集装置中的本发明实施例； 

图2(b)示出本发明实施例，其中在初始采集装置的分离装置上应用分析优化红眼滤波器； 

图3(a)示出根据本发明实施例的处理，其中对部分压缩的DCT块图像应用速度优化红眼检测器； 

图3(b)是采用红眼DCT预滤波器的改进型照相机内红眼检测机构的说明性实施例的工作流程图； 

图3(c)是红眼DCT预滤波器的变换实施例的工作流程图； 

图3(d)示出红眼DCT预滤波器的分割步骤； 

图3(e)示出4-DCT块邻域； 

图4(a)示出映射到矩形栅格上的眼区域； 

图4(b)示出在将图4(a)所示图像变换到DCT域内后，由每个DCT块的DC系数记录的近似色彩； 

图4(c)、4(d)和4(e)示出图4(a)中、通过使用蕴含色确定滤波方法，分别利用红眼候选区域、眼白区域和肤色区域可以识别的DCT块； 

图5示出根据实施例修改的红眼滤波处理的功能实现原理 图； 

图6(a)示出存储在标题上的原始缺陷区域和应用于主图像主体的校正的缺陷区域的例子； 

图6(b)示出存储在标题上的校正缺陷区域以及该主图像主体上保留未校正的原始缺陷区域的例子； 

图6(c)示出原始缺陷区域和存储在标题上的至少一个备用校正缺陷区域以及最佳确定的应用于主图像主体的校正缺陷区域的例子；以及 

图7和8示出根据更进一步实施例的修改的红眼滤波处理的功能实现原理图。 

具体实施方式

对于嵌入式图像采集与处理系统，增强检测数字图像上的红眼缺陷。提供了两阶段红眼滤波处理，因此，速度优化滤波器对候选红眼区域进行初始分割，然后，选择应用一组速度优化的虚假验证滤波器，以确定要校正的第一组确认的红眼区域。在第二阶段，利用一组备用分析优化滤波器，记录并重新分析在第一阶段期间被拒绝的一些候选区域，以确定第二组确认的红眼区域。 

在另一个实施例中，第一组确认的红眼区域可以通过两阶段分析优化滤波器。 

在另一个实施例中，第二阶段滤波器可以包括增强型校正滤波器，该增强型校正滤波器可以选择性地应用于第一组确认的红眼区域。 

应用两阶段红眼滤波器，其中速度优化的第一红眼滤波处理与为了精确图像分析而优化的第二红眼处理组合。因此，在 主图像采集链中应用的红眼滤波器的优点与在背景/重放模式下应用的红眼滤波器的优点兼备，于是，通常可以消除这两种方法的缺点。 

图1(b)示出一种通用实施例。输入图像110由像素分析器103处理，分割为一组候选区域104，随后，通过一组虚假验证滤波器106。所有这些部件形成速度优化红眼检测滤波器100，它通常对应于图1(a)中的滤波器100，除了在该实施例中，修改滤波器100，以使候选红眼区域作为候选区域109存储，用于较后的优化分析101，现有技术中的速度优化红眼滤波器根据低于预定阈值的大小和概率将候选红眼区域最终分类为误判区(false positive)候选红眼区域。 

因此，在该实施例中，除了一组确认的红眼区域108，虚假验证滤波器106还产生一组二次候选区域109。这组二次候选区域可以包括原始候选区域组104的成员，速度优化红眼检测处理100既不确认也不排除该原始候选区域组104。它还可以包括互相非常接近的组合候选区域。 

根据实施的实施例，这组候选区域109或者被存储于RAM缓冲器中，或者被存储于非易失性存储器中。如果该数据存储于RAM(或者易失性)存储器中，则图像采集系统必须在关闭电源之前对该图像应用第二阶段红眼滤波器。优选的存储方式是存储在非易失性存储器中，或者存储在移动存储介质卡上。在其它实施例中，该数据可以存储在具有部分处理的自身图像的图像标题中。 

在该实施例中，接着，对该组二次候选区域109应用第二阶段分析优化红眼滤波器101。在分析优化检测处理101期间，优选地以高于速度优化处理期间的分辨率，进一步分析所保存的 候选区域109。因此，滤波器101包括一组分析优化虚假验证滤波器116，该组分析优化虚假验证滤波器116在其性质或者其工作参数方面与速度优化分析中使用的虚假验证滤波器106不同。然而，应当明白，以提高图像分辨率，执行优化分析的一个或者多个中间阶段是有用的。这取决于成像器材的硬件能力以及该成像器材的图像处理子系统中的可用资源。 

可以响应各种外部事件进行第二阶段分析。例如，用户可以启动导致应用该滤波器101的图像重放。作为一种选择，照相机可以显示它已经空闲了预定时间间隔，因此，可以启动背景红眼处理。如果照相机可以根据例如自动对焦数据确定其动作，可以设想当照相机空闲时，例如，图像焦点在预定时间间隔没有发生变化并且没有收到用户输入，则可以启动包括第二阶段红眼滤波的背景图像处理。 

由第二阶段红眼滤波器101确定了一组确认的红眼区域118后，应用校正滤波器(像素修改器)102，并且，使这些校正区域与初始校正图像112合并115，以产生最终校正图像113。 

图1(c)示出变换实施例，该变换实施例与图1(b)所示实施例的不同之处在于，在第二阶段红眼滤波器101之后，应用单个校正滤波器(像素修改器)102b，而不使初始校正图像112与第二阶段滤波器101确定的校正区域合并。滤波器102b既校正原始确认的红眼区域108，又校正第二阶段确认的红眼区域118，以产生最终校正图像113。 

图2(a)示出数字图像采集装置中的本发明实施例。速度优化红眼滤波器411可以包含检测411-1、411-2和411-4，并且可以选择性地包含411-3处理。同样，分析优化红眼滤波器412可以作为背景处理403工作，对速度优化滤波器411的初始确 定和校正执行其它改进。由在图像存储410中与采集图像410-2一起存储的红眼滤波元数据410-5，提供涉及这些初始确定的数据。 

图2(b)示出图2(a)所示实施例的变型，其中在初始采集装置的分离装置400上应用分析优化红眼滤波器。例如，这可以是台式个人计算机或者打印机。在其它实施例中，照相机可以直接连接到网络或者Web服务(web service)。图像数据传送机构404a、404b或者可以是位于两个装置之间的点到点通信链路，或者可以是在两个装置之间实际交换的移动存储介质；或者作为选择这两个装置都可以连接到诸如互联网的公共网络。在其它实施例中，通过对JPEG标题附加元数据，可以将红眼滤波元数据410-5并入主图像数据410-2，见图6。在原始采集装置400和分离装置400’上都可以运行背景红眼滤波器也是显而易见的。然而，我们注意到，支持其复杂性升高的多个红眼滤波器要求交换非常复杂、详细的元数据，并且该元数据与正在分析和校正的图像存储在一起。 

为了举例说明，关于在速度优化红眼滤波器411或者分析优化红眼滤波器412中存在的一些典型滤波器的非穷举清单，请参见第10/976,336号美国专利申请(请参考FN206US)。 

在上面的实施例中，速度优化红眼检测100优选应用于分抽样输入图像。该速度优化红眼检测100中的确认红眼区域108被送到红眼校正模块102/102a。在图像采集处理几乎瞬间对用户提供了红眼校正图像后，校正的红眼图像112可以立即显示在数字照相机的低分辨率显示屏幕(viewing screen)上。然而，尽管该初始校正图像112可以得到充分校正，例如，如果它是人像模式图像，其上的人脸占据大部分图像、或者其上存在大的 高概率红眼区域，但是对于包括一大群人、其候选红眼区域较小或者不确定的图像，它不能得到充分校正。因此，在图像采集之后，但在最终图像113显示在大取景器(viewer)上或者打印图像之前，执行第二分析优化红眼滤波处理101。我们注意到，本发明的一个优点是，可以延迟分析优化红眼检测处理101和分析优化红眼校正处理102，直到最终用户要求如此高清晰度观看或者打印。 

应当注意，在图2(a)和2(b)所示的实施例中，分抽样的主图像或者还未校正的全尺寸主图像可以由主图像采集装置硬件402直接提供，而无需明确地分抽样已解码的全尺寸主图像。 

与图1(c)所示的情况相同，可以看到，无需在采集链内对图像进行图像校正，并且实际上，可以在背景中对在采集链中对其进行了速度优化红眼检测的采集图像进行图像校正。通常在作为主图像采集链401一部分的硬件中进行图像压缩，这是许多图像采集器材的优点。在该实施例中，实际上，仅在采集链中执行检测处理。随后，在重放模式中，可以根据照相机中的预定设置，或者根据图像重放/查看时的用户选择，选择速度优化校正红眼滤波器或者全分析优化红眼滤波器。 

在图3(a)所示的实施例中，采集的原始图像402被部分处理404，然后，被送到DCT压缩模块408-1。该模块主要提供分抽样的采集图像，并且尽管未示出，但是可以将该分抽样的采集图像提供给图像存储410，如上所述。然后，对部分压缩的DCT块图像应用速度优化红眼检测器428和DCT红眼候选区域，并且输出校正的和被怀疑的未校正的区域，以在存储410中进行存储。在DCT块级，而非在像素级，应用速度优化校正的优点是， 不需要明确的图像分抽样步骤，此外，还保留了如在此引用的现有技术中所详述的对分抽样的图像应用红眼分析的好处。 

当图像随后由诸如背景滤波器模块426的滤波器校正时，由纳入主图像采集链401的DCT预滤波器428输出的区域可以有利于使许多DCT块流被旁路，而不被处理。这可以对被确定需要由分析优化红眼滤波器406处理的DCT块更快速或者更详细分析和滤波。本技术领域内的技术人员明白，可以设想更进一步的实施例，将位于主图像采集链401与背景红眼检测和校正处理426之间的DCT预滤波器和其它传统型红眼滤波器406两者分离。 

图3(b)更详细示出红眼DCT预滤波器428的运行过程。该特定例子示出DCT预滤波器如何与图3(a)所示的主图像采集、处理和压缩链402、404和408结合。首先，将要滤波的DCT图像装载到存储器902内，此后，应用主DCT预滤波器428。这具有三个主要步骤：首先，扫描该图像的DCT块904，并且提取相关DCT系数。基于滤波器的先进技术，在后续分析中，只有每个DCT块的DC分量可以被利用。作为一种选择，为了执行作为预滤波器操作一部分的某种纹理或者锐度/模糊确定，可以提取某些AC分量。 

在DCT预滤波器的第二基本阶段，根据在步骤904提取的系数确定的多个判据，DCT块被分割和分群906。最后，执行基于区域的分析907，以确定最终候选红眼群(final candidateredeye grouping)。接着，确定是否存在最终候选群908，不然的话，就重新开始常规JPEG压缩处理408-2。如果候选区域被确定908，则对每个候选区域确定包括各种眼区域特征的足够大的包围区域(bounding region)910，该各种眼区域特征可用作图3(a)所示现有技术主红眼滤波处理406的一部分。如果该 区域是闪光眼缺陷的确定性足够高，则将包围框区域(boundingboxregion)解压缩为位图格式912，并且应用速度优化红眼滤波器链914，以校正该主图像上的那个区域914。接着，位图空间中的校正区域被映射到整数个8×8块边界，并且被重新压缩918，随后，它被重写在DCT域上920。最后，常规JPEG压缩重新启动408-2。如上所述，输出每个校正的区域边界和被怀疑的区域边界，供较后分析优化检测和校正中使用。 

图3(c)更详细示出图3(b)所示的基于区域的分析907。首先，从临时存储器中的DCT图像中读取930DCT系数。然后，将这些系数预处理为一组判据表932。每个表实际上是大小为N×M的数值表，在被分析的图像上具有N×M个DCT块。例如，一个这种表会含有被归一化以强调与闪光眼缺陷相关的色彩范围，并且由每个DCT块的亮度(Y)分量和红色色度分量(C_r)的DC系数求得的红色色度分量。另一个表可以含有由相邻DCT块求得的并且在边缘检测中使用的微分值；又一个表可以含有通过一组相邻DCT块计算的方差值。本技术领域内的熟练技术人员明白，应用DCT预滤波器越来越复杂，因为在该算法中可以引入多个附加判据。 

完成了每个判据表所要求的计算932后，将它们拷贝到临时存储器933中，接着，该预滤波器算法对多个判据表中的每个判据表执行滤波与分割步骤907。下面的图3(d)进一步详细示出该特定步骤。现在，预滤波器根据多个判据表的分割分析，已确定了多组DCT块群。现在，需要分类和分析这些群，以确定一组最终闪光缺陷候选区域。 

基于区域的分析936包括本技术领域内的技术人员公知的大量备选技术。特别是，我们提到，区域可以以包含的、排除 的、以及不太频繁手动排除的组合中的两个来组合936-1；基于区域分析的备选方法采用模板匹配936-2，授予Nakano的、US 5,805,727披露的一个例子公开了，利用模板粗匹配技术和模板精匹配技术，根据该图像中的DCT块的DC系数，匹配DCT图像中的子区域。 

基于区域分析的重要部件是重新分割引擎92-6，它负责分析实际上可能是两个相异重叠区域的较大区域，或者实际上可能是单个较大区域的较小区域集群。然后，一旦完成基于区域的分析936，就可以得到包含确定的闪光缺陷候选区域的清单的最终LUT，并且它被写入系统内存。 

图3(d)更详细示出红眼DCT预滤波器的分割步骤907。首先，装载由分割处理所处理的下一个预处理判据表950，对用于区域分群处理的标号LUT进行初始化952。接着，对当前DCT块和DCT块邻域进行初始化954。 

图3(e)示出4-DCT块邻域992的图形表示，该图中利用浅灰色阴影表示它，它含有3个上部DCT块和位于当前DCT块994左侧的DCT块，该图中的深色阴影表示当前DCT块994。在该典型实施例的标号算法中，采用该四块邻域。定义查用表LUT，以保持相应标号。 

返回步骤954，我们看到，完成初始化后，图3(d)所示工作流的下一个步骤是开始从左上部到右下部以光栅扫描方式对当前判据表中的所有单元进行递归迭代。接着，工作流确定与当前DCT块相关的当前判据表值是否满足候选红眼区域的成员资格判据(membership criteria)958。本质上，这意味着，该当前判据表值具有与闪光眼缺陷一致的属性。如果当前判据表值满足分段的成员资格判据958，则该算法检验该4-块邻域 中的其它成员DCT块960。如果不存在其它成员块，则对该当前块赋予该当前表的成员资格980。然后，更新该LUT  982，并且递增当前标号值984。如果在4-块邻域中存在其它成员块960，则在具有最小标号值的分段中，对当前块赋予成员资格，并相应更新该LUT 516。该当前块被标号为闪光眼缺陷分段的一部分后962或者980，或者在步骤958，该当前块被分类为不作为候选缺陷区域成员后，执行检验，以确定它是不是该图像中的最终DCT块966。如果该当前块是该图像中的最终块，则执行对该LUT的最终更新970。否则，通过递增当前块指针968和返回步骤958，获得下一个判据表值，然后，以相同的方式处理该判据表值。一旦处理了该最终DCT块并完成最终LUT 970，则将具有分段成员资格的所有块存储到潜在眼缺陷分段的已标号分段表上972。然后，进行另一种检验，以确定这是否是要处理的最后判据表966，并且如果是此情况，则控制过程转移到图3(c)的所示的基于区域的分析步骤936。否则，块分段器返回步骤950，装载下一个判据表进行处理。 

许多传统技术可以方便地适用于红眼DCT预滤波器中。授予Delp的US 5,949,904披露了，在DCT块中查询图像色彩。特别是，它可以单独根据DCT的DC系数确定DCT块中的色彩。因此，仅由知道的DC系数，就可以应用色彩匹配。授予Sazzad等人的US6,621,867披露了，根据相邻DCT块中DC系数差，确定DCT块上存在边缘。 

现在，通过分析DCT块上的附加AC分量，可以确定诸如纹理和图像锐度/模糊的附加图像质量。授予Feng的第2004/0120598号美国专利申请和授予Schuhurke等人的第2004/0057623号美国专利申请描述了这种分析技术的例子。 

在其它实施例中，可以采用备选DCT块分割技术。有利的是，在特定变换实施例中，可以采用授予Deluca的现有技术专利US6,407,777和授予Steinberg的现有技术专利US 6,873,743以及授予Luo等人的美国专利申请2005/0047655和2005/0047656具体描述的技术。 

在图4中，我们示出了如何对红眼区域构造轮廓线色彩模板的例子。图4(a)示出映射到矩形栅格的眼区域。栅格201的每块对应于8×8像素块。主红眼缺陷204通常被虹膜区域203和附加眼白区域202以及由传统红眼滤波器确定的主红眼区域的边界206包围。 

接着，在图4(b)中，我们示出了，在将图4(a)中的图像变换到DCT域后，由每个DCT块的DC系数记录的近似色彩。如下是图4(b)所示色彩组合：R是表示闪光眼缺陷现象的微红色调；S是表示肤色的色调；W表示与眼白区域相关的稍白色彩；I是人与人可能显著不同的眼睛虹膜色彩；WS表示具有皮肤和眼白混合的块；RW是具有红眼和眼白混合的块；以及RI是红色和虹膜色彩混合的色调。现在，如果对这些图像块应用充分蕴含色彩滤波(sufficiently inclusive colour filtering)，则可能直接由DCT域图像的DC系数确定典型红眼的彩色图像。在图4(c)中，我们示出了，如果采用蕴含色彩滤波器，则可以确定为红色的区域。图4(d)和4(e)对于包围闪光眼缺陷区域的眼白和肤色区域示出此方法。例如，该数据可以用于对闪光眼缺陷区域建立一组色彩模板。利用其它传统技术，可以确定含有锐利边缘、或者在色彩区域之间的过渡的DCT块。这可以提供附加信息，以改善DCT预滤波器检测处理。 

图3(a)所示实施例的潜在缺陷是，为了执行第二步红眼 滤波处理，需要对整个图像解压缩。由于大多数照相机采用有损JPEG压缩，所以希望特定实施例实现可以在图像采集器材中应用两阶段红眼处理而不损失图像质量的无损实施例。 

因此，在图5中，我们提出了修改的红眼滤波处理的功能实现过程，该修改的滤波处理可以在重放模式下执行分析优化的红眼检测和校正，而不损失图像质量。它还可以在递增步骤执行复杂的后处理。因此，当照相机相对于用户动作是空闲的、而电源仍开启时，它可以装载并开始处理图像。当用户动作重新开始时，照相机可以在用户做出响应之前重新压缩和保存正被处理的图像。下面描述的实施例允许在照相机中无损保存和恢复图像，因此它有助于图像的递增处理，这不局限于红眼，并且它同样可以应用于诸如人脸检测或者识别的其它照相机内方法。 

本技术领域内的技术人员已知用于感测用户动作的各种机构。一种典型机构包括检测照相机运动，并且可以选择使这与诸如自动对焦子系统和用户界面子系统的其它照相机内功能相关。许多照相机还引入了省电模式，该省电模式确定照相机已经足够长时间不活动，可以关闭某个主要子系统。当由用户不动作激活这种模式时，无需用户对该器材使用进行干预，附加背景图像处理就可以开始。 

参考图5，我们示出了将速度优化红眼滤波器411纳入主图像采集链401中的本发明实施例。在该典型实施例中，通过应用组数最少的虚假验证滤波器，并且在主图像采集链上不应用校正处理，可以实现滤波器的速度优化。在变换实施例中，可以选择合并或者代替对于上面实施例描述的速度优化技术。 

由该速度优化红眼滤波器411分析了图像后，随后压缩427 -1和存储410该图像。此外，还记录涉及候选红眼区域的位置和误判区的数据，并使该数据与该存储图像相关。 

现在，如上所述，当照相机可以启动背景处理时，或者当用户进入重放模式并选择图像查看时，它将部分地从JPEG解压缩433为DCT块形式。由于该解压缩步骤是无损的，所以对于临时存储在内存中并被送到DCT区域解压缩器430的主图像质量没有损失。该DCT区域解压缩器利用存储的、与原始图像相关的数据，确定含有候选红眼区域和可以选择的误判区域的特定DCT块，如果有足够的时间和系统资源可用，则该误判区域可以从附加检测处理受益。 

然后，由一个或者多个红眼滤波器，对每个解压缩DCT区域进行递增滤波，以确定对所述DCT图像块应当应用的校正。 

在特定实施例中，可以将DCT块解压缩为位图格式并且作为像素块进行滤波。在其它实施例中，可以将相邻的非候选DCT块包括在解压缩430和滤波412处理中。一旦包括多个DCT块的、解压缩的DCT块区域由红眼滤波器校正412，校正的DCT图像分段就被送到DCT块匹配模块416，除了检验DCT块配准外，该DCT块匹配模块416还检验校正的DCT块在被部分解压缩并被临时存储的DCT块图像内的整合。当红眼滤波器分析中包括的全部候选DCT块和任意相邻DCT块已经被校正时，由DCT区域覆写器418模块将它们覆写在被部分解压缩并被临时存储的DCT块图像上。接着，将该部分解压缩并临时存储的DCT块图像送到DCT到JPEG图像压缩模块427-1，然后，将它无损压缩回到JPEG格式。 

要注意的是，这样，仅利用有损技术解压缩的图像的区域是图像采集链上由速度优化红眼滤波器411识别的区域。由于这些图像区域有待于校正，因此可以忽略有损解压缩和重新压缩 对它们的影响。 

可以设想本发明的几个变换实施例。这些实施例包括(i)在将包含图像缺陷的DCT块覆写在DCT图像的临时拷贝中之前，保存原始缺陷区域的拷贝。该变换实施例支持无损再现该原始图像。本技术领域内的技术人员明白，可以将保存的含有缺陷的原始DCT块区域存储在JPEG图像的标题内。这种技术的一种现有技术描述请参见授予Ratnakar等人的US 6,298,166，在US6,298,166中，将水印数据加入了该图像。因此，校正的图像可以包含任何原始未校正区域的拷贝；或者(ii)可以采用多种备选校正算法，可以临时拷贝它们，用以之后存储在JPEG标题中，以供最终用户之后通过照相机上的或者随后位于基于计算机的图像处理应用程序上的用户界面进行选择。请注意，在此，覆写步骤是可以选择的；如果采用它，则作为附加处理步骤，可以将特定图像分析判据或者在覆写之前立即应用，或者作为检测或者校正红眼或者它们的组合的整体部分应用。 

图6(a)-(c)示出这些实施例的更进一步方面，它们分别示出：图6(a)示出存储在标题504上的原始缺陷区域506和应用于主图像主体502的校正的缺陷区域508的例子；图6(b)示出存储在标题504上的校正缺陷区域508和主图像主体502内保持未校正的原始缺陷区域506的例子；图6(c)示出原始缺陷区域506和存储在标题504上的至少一个备选校正缺陷区域508-2以及应用于主图像主体502的最佳确定校正缺陷区域508-1的例子。请注意，图6中使用的“校正的”和“未校正的”眼区域的图形表示仅用于说明问题，本技术领域内的技术人员明白，每个眼区域图形实际上表示DCT系数的变换块。 

在其它实施例中，通过选择性地将它应用于采集图像中的 一组限定区域，可以进一步提高该快速红眼滤波器的性能。由于在主图像采集链中，进行广延图像分析通常是不切实际的，所以优选在开始主图像采集之前确定这些区域。 

用于预先确定其含有红眼候选区域的概率高的图像区域的一种传统方法是，对一组预览图像进行预处理。数字照相机通常可以包括能够采集，例如，以低于主图像采集提供的分辨率，以每秒15-30帧(fps)的视频速率捕获的这种图像流的部件。许多消费类照相机通常拍摄一组320×240、或者QVGA图像，并且通常可以在特定限度内调整该预览图像流的尺寸和帧速。 

在两个典型实施例中，如图7和8所示，数字照相机包括对预览图像流(410-3)工作的人脸检测器(600)。图7包括人脸检测器600，而图8示出人脸检测与跟踪器600，它包括在多个帧中跟踪检测到的人脸。图8还示出预览流采集子系统620，它包括图像感测子系统610和显示器605以及人脸检测与跟踪器600本身。 

人脸检测与跟踪通常涉及两种基本模式：(i)全图像搜索模式，用于检测(和确认)新候选人脸区域(601)；以及(ii)主跟踪模式，用于预测、并确认现有候选人脸在该图像流的后续帧中的新位置，以及编译与每个这种确认候选区域相关的统计信息。这两种模式可以采用各种新的和/或者传统的方法，这些方法涉及人脸检测，皮肤区域分割、包括眼区域和嘴部区域的特征检测、活动轮廓分析、甚至诸如定向语音的非图像输入的分析(例如，授予Rui等人的US 2005/0147278，它描述了一种利用多种线索自动检测和跟踪多个人的系统)。由于此后被称为“种籽模式(seeding mode)”的第一模式应用于整个图像，它计算强度更大并且只是被偶尔应用，通常，每30-60个图像 帧应用一次。如此，仍可以在几秒内检测到该图像中出现的新人脸，几秒时间对于大多数消费类应用足够了。第二模式优选应用于每个图像帧，但是不是所有的分析线索都可以应用于每个帧的。 

因此，在正常操作中，在预览图像流的每帧之后，只有人脸跟踪器算法的第二运行模式的(各)输出是可用的。该第二模式有三个基本输出：(i)被确认仍含有人脸的候选人脸区域清单；和/或者(ii)一组与每个这种确认人脸区域相关的数据，包括其在图像帧中的位置以及由对所述确认人脸区域的历史的统计分析确定的各种附加数据；和/或者(iii)每个这种确认人脸区域在预览图像流的下一帧中的预测位置。请注意，如果采用(ii)项，则(iii)项是可以选择的，因为对于确定预测位置，(ii)项提供了足够的数据。 

现在，可以看出，在我们的实施例中，预览人脸检测器(600)的这些输出，可以使速度优化红眼检测器411选择性地应用于预期存在红眼缺陷的人脸区域(601)。 

有利的是，人脸检测器可以在应用红眼滤波器之前首先应用于图像(请参见，例如，授予Lin等人的US 20020172419；授予Held等人的US 20020126893；授予Itagaki等人的US20050232490；以及授予Luo等人的US 20040037460，在此引用它们供参考)。正常情况下，在可运行于数字照相机上的主图像采集链中，通常没有足够时间可以在应用红眼滤波器之前应用人脸检测器。通过使用人脸跟踪器模块(600)的预测输出，本实施例克服了现有技术的该缺陷。尽管预测区域的尺寸通常大于相应人脸区域的尺寸，它仍是比整个图像的尺寸小得多。因此，在数字照相机或者嵌入式图像采集系统中，无需运行主图 像采集链中的人脸检测器(600)，就可以实现更快并更精确检测的优点。 

要注意的是，如果跟踪多个人脸候选区域(601)，则在特定实施例中，对多个预测区域应用速度优化红眼滤波器。 

仍参考图7和8，如图7所示，在利用人脸检测器/跟踪器600进行处理之前，可以采集、分抽样以及存储主图像，或者如图8所示，在存储之前或者与主图像采集并行，应用人脸检测器/跟踪器600。(未压缩)图像的单独“预览流”可以由主图像传感器传送，而与主采集无关，如图8所示。可以将该预览流送到照相机显示器605。在图8所示的实施例中，人脸跟踪器600可以对其操作的正是该预览流，并且由其提取候选人脸区域。在使用人脸跟踪器600中，由预览图像获得的人脸的预测位置，然后，将速度优化红眼滤波器应用于主采集图像(或者其分抽样拷贝)。 

尽管示出并描述了本发明的典型附图和具体实施例，但是应当明白，本发明的范围并不局限于所讨论的特定实施例。因此，应当认为该实施例是说明性的，而非限制性的，并且应当明白，在不脱离本发明范围的情况下，本技术领域内的技术人员可以对这些实施例进行修改。 

此外，在上面描述的、根据这里的优选实施例可以执行的方法中，以选择的排版顺序，描述了各操作。然而，选择该顺序并如此排定该顺序是为了排版方便，而无意暗示执行各操作的特定顺序，除非明确表示特定顺序，或者本技术领域内的技术人员必然理解为特定顺序。 

此外，在公开变换实施例时，在优选实施例的详细描述中，全部引用在此列举的所有参考文献和背景技术、发明内容、摘 要和附图说明以及第6,407,777、7,315,631和7,336,821号美国专利和第2005/0041121、2005/0031224、2005/0140801、2006/0204110、2006/0093212、2006/0120599、2007/0110305、2006/0140455和PCT/EP2006/008358号美国公开专利申请以及第60/773,714、60/804,546、60/865,375、60/865,622、60/829,127、60/829,127、60/821,165、60/892,882、60/945,558、60/915,669、10/772,767、11/554,539、11/464,083、11/462,035、11/282,954、11/027,001、10/842,244、11/024,046、11/233,513、11/753,098、11/753,397、11/766,674、11/769,206、11/772,427和11/460,218号美国专利申请供参考。 

Claims (23)

1.一种配置来检测数字图像中的红眼缺陷的系统，包括：

图像采集部件，配置来采集包括一个或者多个人脸的含有红眼缺陷的图像；

速度优化滤波器，配置来在第一阶段对候选红眼区域进行初始分割，以确定指定为需要校正的第一组一个或者多个确认红眼区域，并且通过处理器来初始校正该第一组红眼区域，以产生第一红眼校正图像；

存储器件，配置来在其中记录在该第一阶段被拒绝校正的拒绝候选红眼区域分组，而不做全面分析；

分析优化滤波器，配置来在较后的第二阶段重新分析该拒绝候选红眼区域分组，以确定第二组确认红眼区域；

处理器，配置来校正该第二组确认红眼区域，并且产生其中具有校正的该第一组和第二组确认红眼区域的第二红眼校正图像，并且配置来利用电子方法存储、发送、进一步处理或者编辑、或者显示该第二红眼校正图像，或者它们的组合。

2.根据权利要求1所述的系统，其中速度优化滤波器还配置来在该第一阶段应用一组速度优化的一个或者多个虚假验证滤波器。

3.根据权利要求1所述的系统，进一步包括显示器，配置来在进行该较后的第二阶段之前，在显示屏幕上，实时显示该第一红眼校正图像，而无需用户输入。

4.一种嵌入式图像采集与处理系统，包括： 

(a)图像采集子系统；

(b)速度优化滤波器，其配置来在第一阶段对在采集的图像内检测到的候选红眼区域进行初始分割，以确定指定为需要校正的第一组一个或者多个确认红眼区域；

(c)存储器件，配置来用于在其中记录在该第一阶段被拒绝校正的拒绝候选红眼区域分组，而不做全面分析；

(d)分析优化滤波器，其配置来在较后的第二阶段确定指定为需要校正的第二组一个或者多个确认红眼区域；

(e)处理器，配置来用于校正在该采集图像上包括该第一组和第二组确认红眼区域的红眼缺陷，并且产生红眼校正图像；以及配置来利用电子方法存储、发送、进一步处理或者编辑、或者显示该红眼校正图像，或者它们的组合。

5.根据权利要求4所述的系统，其中该速度优化滤波器还配置来应用一组速度优化的一个或者多个虚假验证滤波器。

6.根据权利要求4所述的系统，其中该分析优化滤波器还包括配置来分析该第一组一个或者多个确认红眼区域的增强校正滤波器。

7.根据权利要求4所述的系统，进一步包括“RE lib”部件，配置来用于在进行较后的第二阶段之前，在显示屏幕上，实时显示初始红眼校正图像，而无需用户输入。

8.一种配置来检测数字图像中的眼缺陷的系统，包括：

图像采集部件，配置来采集包括一个或者多个人脸的含有 红眼或者非红眼缺陷的图像；

第一眼检测滤波器，配置来在第一阶段对候选红眼区域进行初始分割，以确定指定为需要校正的第一组一个或者多个确认红眼区域，并且配置来校正该第一组红眼区域，以产生第一红眼校正图像；

第二眼检测滤波器，配置来在另外的第二阶段对候选金黄眼区域或者眼白区域、或者它们二者进行分割，以确定也被指定为需要校正的第二组一个或者多个确认的非红眼缺陷区域；

处理器，配置来校正该第一红眼校正图像中的该第二组非红眼缺陷区域，并产生红眼和非红眼缺陷校正图像；以及配置来利用电子方法存储、发送、进一步处理或者编辑、或者显示该第二红眼校正图像，或者它们的组合。

9.根据权利要求8所述的系统，进一步包括配置来在该第一阶段应用一组速度优化的一个或者多个虚假验证滤波器。

10.根据权利要求8所述的系统，进一步包括显示屏幕，配置来在进行较后的第二阶段之前，在显示屏幕上，实时显示该第一红眼校正图像，而无需用户输入。

11.一种嵌入式图像采集与处理系统，包括：

(a)图像采集子系统；

(b)第一眼检测滤波器，其配置来在第一阶段对在采集图像中检测到的候选红眼区域进行初始分割，以确定指定为需要校正的第一组一个或者多个确认红眼区域；

(c)第二眼检测滤波器，其配置来在较后的第二阶段，确 定指定为需要校正的第二组一个或者多个确认的非红眼区域；

(d)一个或者多个处理器，配置来用于分别校正在该采集图像上包括该第一组和第二组确认红眼区域和非红眼区域的红眼缺陷和非红眼缺陷，并且产生红眼和非红眼校正图像；以及配置来利用电子方法存储、发送、进一步处理或者编辑、或者显示红眼和非红眼校正图像，或者它们的组合。

12.根据权利要求11所述的系统，其中还包括一个或者多个虚假验证滤波器。

13.根据权利要求11所述的系统，其中还包括用于重新分析该第一组确认红眼区域的分析优化滤波器。

14.根据权利要求13所述的系统，其中该分析优化滤波器包括配置来重新分析该第一组一个或者多个确认红眼区域的增强校正滤波器。

15.根据权利要求11所述的系统，其中第一和第二眼检测滤波器配置来在采集该图像之时应用该速度优化滤波器，并且所述系统还包括配置来应用于背景模式或者重放模式或者这两种模式下的分析优化滤波器。

16.根据权利要求11所述的系统，进一步包括“RE lib”部件，配置来用于在进行较后的第二阶段之前，在显示屏幕上，实时显示初始红眼校正图像，而无需用户输入。 

17.一种配置来处理数字图像的系统，包括：

图像采集子系统，包括配置来获得所采集数字图像的候选人脸区域的人脸检测器；

第一速度优化滤波器，配置来产生第一组候选红眼区域；

处理器，配置来编码该采集的数字图像的至少一部分；以及配置来存储与所述第一组候选红眼区域相关联的该采集数字图像的编码部分，用于较后对所述编码图像进行图像处理。

18.根据权利要求17所述的系统，进一步包括一组速度优化的一个或者多个虚假验证滤波器。

19.根据权利要求17所述的系统，进一步包括，用于重新分析该第一组候选红眼区域的分析优化滤波器。

20.根据权利要求17所述的系统，进一步包括分析优化滤波器，配置来在执行初始滤波、编码和存储之后某个时间，重新分析被该初始滤波拒绝的候选人脸区域。

21.一种用于处理数字图像的系统，包括：

图像采集子系统；

人脸检测器，配置来用于获得采集数字图像的候选人脸区域；

速度优化滤波器，配置来用于产生在采集数字图像内的第一组候选红眼区域；

处理器，配置来用于编码该采集数字图像的至少一部分；以及配置来与所述第一组候选红眼区域相关地存储该采集数字 图像的编码部分，用于较后对所述编码图像进行图像处理。

22.根据权利要求21所述的系统，进一步包括分析优化滤波器，配置来用于对至少初步被拒绝的候选人脸区域进行滤波，以产生第二组候选红眼区域。

23.根据权利要求21所述的系统，进一步包括分析优化滤波器，配置来用于在速度优化滤波之后某个时间，确认一个或者多个第一组候选红眼区域。 

Images