CN102087702B - 图像处理设备和图像处理方法 - Google Patents

Abstract

公开一种图像处理设备、图像处理方法和程序。该图像处理设备包括提取面部区域的面部区域提取单元、获取用于识别面部区域中的面部的识别信息的识别信息获取单元以及进行整合处理的第一和第二整合处理单元。第一和第二整合处理单元基于估计的区域和正在跟踪的面部的位置之间的关系确定阈值，计算正在跟踪的面部和在要在预定存储时段中存储的图像中呈现的面部之间的相似度，并且确定正在跟踪的面部和所存储的面部图像是否同一人的面部。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种图像处理设备、图像处理方法和程序，尤其涉及一种能够根据使用目的来处理图像处理结果的图像处理设备、图像处理方法和程序。 

背景技术

在相关技术中，在显示器上显示视频广告的数字标识(signage)系统包括用于捕获正在观看显示器的人的面部的捕获设备，并且数字标识系统处理由捕获设备捕获的图像，在该图像上呈现的人的面部正被跟踪。此外，基于图像处理结果，数字标识系统可以计算观看者的分类(男性与女性的比例或按照年龄分组)，并且基于图像处理的结果调整视频广告的内容，或通过对每天的观看者的数量进行计数来计算广告的效果。 

然而，当正在跟踪的面部相对于显示器面对侧面时，在数字标识系统中，难以识别该面部，并且终止跟踪(丢失面部)。然后，如果相同的人开始观看显示器，则将面部检测为新的面部并且跟踪重新开始。因此，数字标识系统对同一人进行两次计数，从而广告效果的计算结果的可靠性劣化。 

例如，在日本未审专利申请2006-254274号公报中，公开了一种分析设备，其能够通过比较面部信息并确定是否同一人的面部信息，来计算高度可靠的观看者比率，使得能够确定视频广告的有效性。此外，在日本未审专利申请2009-48489号公报中，公开了能够以高速和恒定的准确度确定面部是否同一人的面部的图像处理设备。 

因此，数字标识系统可以确定面部是否同一人的面部，由此可以避免对同一人进行多于一次计数。 

发明内容

然而，在数字标识系统中，当基于计算的观看者的分类来调整视频广告的内容时，图像处理需要快速确定面部是否同一人的面部，且当计算广告的效果时，期望以提高确定可靠性的方式来处理图像。相似地，在数字标识系统中需要的图像处理可以根据图像处理结果的使用目的而不同，并应当对于相应的目的足够灵活。 

本发明用于解决这种情况，其足够适合根据使用的目的来处理图像处理结果。 

本发明第一实施例的图像处理设备包括：面部区域提取单元，被配置为在检测到在图像中呈现的面部之后提取包括面部的面部区域；识别信息获取单元，被配置为获取用于识别由面部区域提取单元提取的面部区域中的面部的识别信息；第一整合处理单元，被配置为通过下述操作来进行整合处理：基于所述识别信息，确定正在跟踪的面部和在从图像中消失之后的预定存储时段中存储的图像中呈现的面部是否同一人的面部；以及第二整合处理单元，被配置为通过下述操作来进行整合处理：以与第一整合处理单元的方式不同的方式，基于所述识别信息确定正在跟踪的面部和在从图像中消失之后的预定存储时段中存储的图像中呈现的面部是否同一人的面部，其中，第一整合处理单元基于预测在从图像中消失之后的预定存储时段中存储的图像中呈现的面部(下文中还仅称为“存储的面部图像”)要出现的估计区域和正在跟踪的面部的位置之间的关系确定阈值，计算正在跟踪的面部和所存储的面部图像之间的相似度，并且基于所计算的相似度和与在计算相似度时使用的所存储的面部图像相对应的阈值确定所述正在跟踪的面部和所存储的面部图像是否同一人的面部，以及第二整合处理单元针对多个面部方向计算正在跟踪的面部和所存储的面部图像之间的相似度，并且基于针对多个面部方向的所计算的相似度，确定正在跟踪的面部和所存储的面部图像是否同一人的面部。 

本发明第一实施例的图像处理方法或程序包括步骤：在检测到在图像中呈现的面部之后，提取包括面部的面部区域；获取用于识别所提取的面部区域中的面部的识别信息；通过下述操作来进行第一整合处理：基于识别信息，确定正在跟踪的面部和在从图像中消失之后的预定存储时段中存储的图像中呈现的面部是否同一人的面部；以及通过下述操作来进行第二整合处理：以与第一整合处理装置的方式不同的方式，基于识别信息，确定正在跟踪的面部和在从图像中消失之后的预定存储时段中存储的图像中呈现的面部是否同一人的面部，其中，第一整合处理基于预测出现所存储的面部图像的估计区域和正在跟踪的面部的位置之间的关系确定阈值， 计算正在跟踪的面部和存储的面部图像之间的相似度，并且基于所计算的相似度和与在计算相似度时使用的所存储的面部图像相对应的阈值，确定正在跟踪的面部和所存储的面部图像是否同一人的面部，以及第二整合处理针对多个面部方向计算正在跟踪的面部和所存储的面部图像之间的相似度，并且基于针对多个面部方向的所计算的相似度，确定正在跟踪的面部和所存储的面部图像是否同一人的面部。 

在本发明第一实施例中，在检测到在图像中呈现的面部之后提取包括面部的面部区域；获取用于识别所提取的面部区域中的面部的识别信息；通过下述操作来进行第一整合处理：基于识别信息，确定正在跟踪的面部和在从图像中消失之后的预定存储时段中存储的图像中呈现的面部是否同一人的面部；以及通过下述操作来进行第二整合处理：以与第一整合处理的方式不同的方式，基于识别信息，确定正在跟踪的面部和在从图像中消失之后的预定存储时段中存储的图像中呈现的面部是否同一人的面部，其中，第一整合处理基于预测出现所存储的面部图像的估计区域和正在跟踪的面部的位置之间的关系确定阈值，计算正在跟踪的面部和所存储的面部图像之间的相似度，并且基于所计算的相似度和与在计算相似度时使用的所存储的面部图像相对应的阈值，确定正在跟踪的面部和所存储的面部图像是否同一人的面部，以及第二整合处理针对多个面部方向计算正在跟踪的面部和所存储的面部图像之间的相似度，并且基于针对多个面部方向所计算的相似度，确定正在跟踪的面部和所存储的面部图像是否同一人的面部。 

本发明第二实施例的图像处理设备包括：面部区域提取单元，被配置为在检测到在图像中呈现的面部之后，提取包括面部的面部区域；识别信息获取单元，被配置为获取用于识别由面部区域提取单元提取的面部区域中的面部的识别信息；以及整合处理单元，被配置为通过下述操作来进行整合处理：基于识别信息，确定正在跟踪的面部和在从图像中消失之后的预定存储时段中存储的图像中呈现的面部是否同一人的面部；其中，整合处理单元基于预测出现所存储的面部图像的估计区域和正在跟踪的面部的位置之间的关系确定阈值，计算正在跟踪的面部和所存储的面部图像之间的相似度，并且基于所计算的相似度和与在计算相似度时使用的所存储的面部图像相对应的阈值，确定正在跟踪的面部和所存储的面部图像是否同一人的面部。 

本发明第二实施例的图像处理方法或程序包括步骤：在检测到在图像 中呈现的面部之后，提取包括面部的面部区域；获取用于识别所提取的面部区域中的面部的识别信息；以及通过下述操作来进行整合处理：基于识别信息，确定正在跟踪的面部和在从图像中消失之后的预定存储时段中存储的图像中呈现的面部是否同一人的面部；其中，整合处理基于预测出现所存储的面部图像的估计区域和正在跟踪的面部的位置之间的关系确定阈值，计算正在跟踪的面部和存储的面部图像之间的相似度，并且基于所计算的相似度和与在计算相似度时使用的所存储的面部图像相对应的阈值，确定正在跟踪的面部和所存储的面部图像是否同一人的面部。 

在本发明第二实施例中，在检测到在图像中呈现的面部之后，提取包括面部的面部区域；获取用于识别所提取的面部区域中的面部的识别信息；以及通过下述操作来进行整合处理：基于识别信息，确定正在跟踪的面部和在从图像中消失之后的预定存储时段中存储的图像中呈现的面部是否同一人的面部；其中，整合处理基于预测出现所存储的面部图像的估计区域和正在跟踪的面部的位置之间的关系确定阈值，计算正在跟踪的面部和所存储的面部图像之间的相似度，并且基于所计算的相似度和与在计算相似度时使用的所存储的面部图像相对应的阈值，确定正在跟踪的面部和所存储的面部图像是否同一人的面部。 

本发明第三实施例的图像处理设备包括：面部区域提取单元，被配置为在检测到在图像中呈现的面部之后，提取包括面部的面部区域；识别信息获取单元，被配置为获取用于识别由面部区域提取单元提取的面部区域中的面部的识别信息；以及整合处理单元，被配置为通过下述操作来进行整合处理：基于识别信息，确定正在跟踪的面部和在从图像中消失之后的预定存储时段中存储的图像中呈现的面部是否同一人的面部，其中，整合处理单元针对多个面部方向计算正在跟踪的面部和所存储的面部图像之间的相似度，并且基于针对多个面部方向所计算的相似度，确定正在跟踪的面部和所存储的面部图像是否同一人的面部。 

本发明第三实施例的图像处理方法或程序包括步骤：在检测到在图像中呈现的面部之后，提取包括面部的面部区域；获取用于识别所提取的面部区域中的面部的识别信息；以及通过下述操作来进行整合处理：基于识别信息，确定正在跟踪的面部和在从图像中消失之后的预定存储时段中存储的图像中呈现的面部是否同一人的面部，其中，整合处理针对多个面部方向计算正在跟踪的面部和存储的面部图像之间的相似度，并且基于针对多个面部方向所计算的相似度，确定正在跟踪的面部和所存储的面部图像 是否同一人的面部。 

在本发明第三实施例中，在检测到在图像中呈现的面部之后，提取包括面部的面部区域；获取用于识别所提取的面部区域中的面部的识别信息；以及通过下述操作来进行整合处理：基于识别信息，确定正在跟踪的面部和在从图像中消失之后的预定存储时段中存储的图像中呈现的面部是否同一人的面部，其中，整合处理针对多个面部方向计算正在跟踪的面部和所存储的面部图像之间的相似度，并且基于针对多个面部方向所计算的相似度，确定正在跟踪的面部和所存储的面部图像是否同一人的面部。 

根据本发明的第一至第三实施例中的任意一个，能够依据使用目的来处理图像处理结果。 

附图说明

图1是示出根据本发明实施例的数字标识系统的一个示例的结构的框图； 

图2是示出整合处理结果的图； 

图3是示出针对每个面部角度的相似度计算处理的图； 

图4是示出图像处理设备的结构的框图； 

图5是示出提取的面部的特征的组织的图； 

图6是示出针对面部外围区域中的多个区域计算多个直方图的计算过程的图； 

图7是示出在图像中呈现的面部的跟踪处理的流程图； 

图8是示出面部识别过程的流程图； 

图9是示出第一整合处理的流程图； 

图10是示出第二整合处理的流程图；以及 

图11是示出第二整合处理的效果的图。 

具体实施方式

下文中，参考附图详细描述本发明的实施例。 

图1是示出根据本发明实施例的数字标识系统的一个示例的结构的 框图。此外，在本说明书中，系统是指由多个装置构成的整个设备。 

在图1中，数字标识系统11包括：显示设备12、捕获设备13、图像处理设备14、存储设备15、通信设备16和控制设备17。 

显示设备12可以是LCD(液晶显示器)或有机EL(电致发光)，其根据控制设备17的控制显示可以是各种图像或文本信息的视频广告。 

捕获设备13包括：可以是镜头和光圈的光学系统，以及可以是CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)传感器的捕获单元。捕获设备13捕获由光学系统以预定帧速率在捕获单元的光感测部分上成像的光学被摄体的运动图片，并且将可以从中获取结果的图像数据提供到图像处理设备14。 

图像处理设备14包括具有多个电子部件或系统IC(集成电路)的电路板。图像处理设备14通过将在图像中呈现的面部识别为处理对象，顺序跟踪由捕获设备13捕获的运动图片的各个帧的图像(冻结帧)。 

例如，图像处理设备14通过基于诸如眼睛、鼻子和嘴的面部特征识别在图像中呈现的面部，并且对同一人的面部分配相同的ID(标识符)，来跟踪面部。然而，在捕获设备13中捕获的图像中的面部的一部分被隐藏的情况下，难以识别该面部。例如，如图1的下侧所示，如果正在跟踪的面部(ID＝1)面朝侧面，则面部被识别并且然后看不见(面部消失)。然后，当同一人的面部面朝前面时，图像处理设备14分配作为新检测到的面部的新ID(ID＝2)。 

因此，为了避免在面部临时消失时，作为新检测到的面部来处理同一人的面部，图像处理设备14在消失时间期间执行临时消失的面部的整合处理，下面将进行描述。另外，除了面部朝向侧面之外，面部在不被识别的情况下临时消失的其它示例是：物体横在捕获设备13和面部之间、相对于捕获设备13人移动到障碍物(诸如树)后面的位置或人移动出捕获设备13的捕获范围。 

存储设备15被配置为具有硬盘或非易失性存储器，且存储设备15存储登记了关于由图像处理设备14识别的面部的各种信息的数据库。此外，存储设备15存储在显示设备12上显示的图像、文本信息等。 

通信设备16包括网络接口，并提供经由诸如因特网的任何网络从用户接收的指令。此外，通信设备16根据控制设备17的控制将存储在存储设备15上的数据库经由网络发送到用户设备。 

控制设备17控制数字标识系统11的各设备。例如，控制设备17根据经由通信设备16接收的来自用户的指令，控制在图像处理设备14中进行的整合处理。另外，控制设备17根据由在存储设备15中积累的信息指定的观看者的分类，修改在显示设备12上显示的视频广告。 

接下来，参考图2，描述在图像处理设备14中进行的整合处理的结果。 

在图2的上部，示出了图像处理设备14中分配的面部的8个ID(跟踪ID＝01至08)，作为来自由捕获设备13捕获的图像的跟踪结果。图像处理设备14对这些面部进行整合处理，然后假设确定跟踪ID＝02的面部与跟踪ID＝05的面部是同一人的面部。与此类似，确定跟踪ID＝03的面部与跟踪ID＝08的面部是同一人的面部，且跟踪ID＝04的面部与跟踪ID＝06的面部是同一人的面部。 

在这种情况下，例如，可以获得如图2的下部所示的整合结果，图像处理设备14对跟踪ID＝02的面部和跟踪ID＝05的面部分配面部ID＝02，对跟踪ID＝03的面部和跟踪ID＝08的面部分配面部ID＝03，并且对跟踪ID＝04的面部和跟踪ID＝06的面部分配面部ID＝04。 

因此，整合具有相同面部ID的面部的信息作为同一人的面部。此外，对没有被确定为同一人的跟踪ID＝01的面部和跟踪ID＝07的面部分别分配跟踪ID＝01和跟踪ID＝05。 

在图像处理设备14中，识别作为在由捕获设备13捕获的图像中呈现面部的区域的面部区域(图2的各个图像中的矩形中的区域)，并且基于面部相似度判定面部是否同一人的面部。另外，图像处理设备14使用整个面部区域之外的特定区域被扩展的扩展面部区域中的面部外围区域(例如，在图2的各个图像中，包含围绕面部的、包括头、肩膀和胸部的区域的区域)的特征，来确定面部是否同一人的面部。 

此外，即使面部是同一人的面部，特征依据面部方向也可能不同，因此图像处理设备14通过积累多个方向的正在跟踪的面部的捕获图像，基于与面部角度相对应的面部之间的相似度，来确定面部是否同一人的面部。 

也就是说，如图3所示，例如，图像处理设备14在存储设备15(参见图1)中存储包括在面部消失之后的预定存储时段中呈现的面部的登记图像数据，当检测到新的面部时，图像处理设备14在预定时间通过将新 检测到的面部与在列表中登记的面部进行匹配，来确定在消失之后的预定存储时段内的面部中是否有与新面部相同的面部。 

在这种情况下，图像处理设备14拥有针对五个面部角度(+/-26度、+/-15度、0度)捕获的面部图像，将具有这些面部角度的面部图像登记在存储设备15的列表中。图像处理设备14还使用新检测到的面部和在列表中登记的面部计算具有相同面部角度的面部的相似度，例如，使用这些相似度的平均值来确定面部是否同一人的面部。 

接下来，图4是示出图像处理设备14的结构示例的框图。 

在图4中，图像处理设备14被配置为具有图像获取单元21、面部区域提取单元22、数据库管理单元23、操作单元24、面部识别单元25和数据整合单元26。此外，存储设备15存储两个数据库31和32。数据库31存储新面部列表33、稳定面部列表34和临时消失列表35，数据库32存储跟踪面部列表36、整合面部列表37和临时消失列表38。 

图像获取单元21从由图1的捕获设备13捕获的运动图片中顺序获取各个帧的图像(冻结帧)，并且在对每个帧分配帧号(与时间相对应的信息)之后，一次一帧地向面部区域提取单元22提供图像。 

面部区域提取单元22针对从图像获取单元21提供的图像的整个屏幕对在图像中呈现的面部进行搜索(整个屏幕搜索)。面部区域提取单元22生成表示通过整个屏幕搜索而搜索到的面部的面部区域(参见图2)的位置和大小的面部区域信息。 

此外，面部区域提取单元22通过从图像中切割包括面部区域的扩展面部区域(参见图2)，来获取扩展的面部区域图像。例如，在当前帧(正在处理的目标帧)上的图像中呈现多个面部的情况下，面部区域提取单元22针对每个面部获取面部区域信息和扩展的面部区域。此外，在对当前帧分配帧号之后，面部区域提取单元22将从该帧的图像获取的面部区域信息和扩展面部区域图像提供到数据库管理单元23。 

数据库管理单元23管理驻留在存储于存储设备15中的数据库31和32上的每个列表，包括新面部列表33、稳定面部列表34以及临时消失列表35，跟踪面部列表36、整合面部列表37以及临时消失列表38。 

在新面部列表33中登记关于新检测到的面部的信息，将关于登记到新面部列表33之后超过预定帧数的面部的信息传送到稳定面部列表34并登记在稳定面部列表34中。当关于登记在新面部列表33和稳定面部列 表34中的信息的面部消失时，将关于该面部的信息从新面部列表33或稳定面部列表34传送到临时消失列表35并登记在临时消失列表35中。此外，将登记在临时消失列表35中之后超过预定存储时段的信息从临时消失列表35中删除。 

此外，将所有关于正在跟踪的面部的信息登记到跟踪面部列表36。当与登记在跟踪面部列表36中的信息相关的面部消失时，将下述信息登记在整合面部列表37中：该信息是关于面部的信息，其中根据消失的面部和与登记在临时消失列表38中的信息相关的面部的比较结果上述信息所关于的面部进行了整合处理。当与登记在跟踪面部列表36中的信息相关的面部消失时，将关于该面部的信息从跟踪面部列表36传送到临时消失列表38并登记在临时消失列表38中。此外，将登记在临时消失列表38中之后超过预定存储时段的信息从临时消失列表38中删除。 

在存储设备15的每个列表中，使用相同的跟踪ID管理正在跟踪的面部。数据库管理单元23将从当前帧的图像获取的面部区域信息提供到操作单元24，并且通过基于由操作单元24计算的冗余确定面部是否正在跟踪的面部来分配跟踪ID。 

操作单元24临时积累关于在先前帧的图像中呈现的面部的面部区域信息，并基于当前帧的图像中的面部区域的位置和大小以及先前帧的图像中的面部区域的位置和大小，计算作为每个面部区域的交叠率的冗余。 

操作单元24将计算的冗余提供到数据库管理单元23，数据库管理单元23基于用于确定面部是否正在跟踪的面部的阈值，当冗余等于或大于阈值时，确定是正在跟踪的面部，然后，数据库管理单元23分配相同的跟踪ID，该跟踪ID是与对先前帧的图像的面部区域分配的跟踪ID相同的跟踪ID，其中针对从当前帧的图像获取的面部区域信息计算与该先前帧的图像的面部区域的冗余。另一方面，当冗余在阈值之下时，数据库管理单元23对当前帧的面部区域信息分配新跟踪ID作为新检测到的面部。另外，用于确定面部是否正在跟踪的面部的阈值是通过基于图像中的人可以在由捕获设备13捕获的帧之间移动多远而进行的计算或实验而确定的值。 

此外，针对数据库管理单元23中被确定为正在跟踪的面部的面部，操作单元24通过基于当前帧的图像中的面部区域的位置和先前帧的图像中的面部区域的位置以及帧速率计算面部的移动速度，将表示移动速度的信息提供到数据库管理单元23。此外，操作单元24基于先前帧的图像中 的面部区域的位置和移动速度估计当前帧的图像中的面部区域的位置，并且使用估计的位置和当前帧的图像中的面部区域的位置计算冗余。 

另外，数据库管理单元23将从当前帧的图像获取的扩展面部区域图像提供到面部识别单元25，以对面部识别进行处理。 

面部识别单元25包括属性估计单元41、特征提取单元42和直方图计算单元43。 

属性估计单元41通过基于来自数据库管理单元23的扩展面部区域图像中包括的面部区域中的面部特性估计关于面部的各种属性，而将表示属性的信息提供到数据库管理单元23。由属性估计单元41估计的面部的属性是性别(男性/女性)、年龄组(例如，10岁范围内的年龄组或儿童/青年/成年人)、人种(白人/黑人/黄种人)等。 

特征提取单元42基于来自数据库管理单元23的扩展面部区域图像中包括的面部区域中的面部特性，指定面部的面部角度和面部表情(微笑面部/非微笑面部)。此外，在满足提取特征的预定条件的情况下，特征提取单元42提取扩展面部区域图像中包括的面部区域中的表示面部特性的特征。 

例如，如图5所示，特征提取单元42针对五个侧面角度提取诸如每个面部角度(偏转)的微笑/非微笑面部的特征。在图5的示例中，假设前面部角度为0度，将面部角度划分为-22.5度的左侧面部角度、-22.5到-7.5度的面部角度、-7.5到7.5度的面部角度、7.5到22.5度的面部角度和22.5度的右侧面部角度。这样，特征提取单元42存储五个面部角度和2个面部表情的10个模式的面部特征。 

另外，特征提取单元42以不具有相同的模式的特征的方式提取特征。首先，当没有提取与作为要处理的目标的面部的面部表情和面部角度相对应的特征时，特征提取单元42提取面部的针对表情和面部角度的特征(在图5中，相应的框为空白)。 

第二，即使提取了与要处理的目标面部的表情和面部角度相对应的特征，当作为处理目标的面部的面部角度比提取特征的面部的面部角度更接近面部角度范围的中心时，特征提取单元42提取面部表情和面部角度的特征。例如，即使正在提取面部角度为-7.5到7.5度的特征，如果除已经提取的各特征的面部角度之外的当前面部角度更接近0度，则特征提取单元42也提取特征。 

第三，即使已经提取了与处理目标的面部表情和面部角度相对应的特征，如果除已经提取特征的面部的图像的模糊度之外的作为处理目标的面部的图像的模糊度更低，则特征提取单元42也提取这些面部特征。此外，将已经提取特征的面部的扩展面部区域图像与各特征一起存储在存储设备15中，且特征提取单元42参考扩展面部区域图像对模糊度进行比较。 

当满足上述三个条件中的一个条件时，特征提取单元42通过提取作为处理目标的面部的特征，向数据库管理单元23提供表示面部特征的信息。此外，在从数据库管理单元23提供了扩展面部区域图像时，更具体地，在面部区域提取单元22进行整个屏幕搜索时，特征提取单元42进行面部特征的提取。另外，通过利用上述条件提取特征，避免了相同模式的特征的重复，可以从具有能够提取更好的特征的面部角度和模糊度的图像中提取特征。 

另外，除了针对每个横向面部角度(偏转)提取面部特征之外，特征提取单元42还针对每个纵向面部角度(俯仰)提取面部特征。此外，当提取面部特征时，可以进一步划分为诸如生气或难过表情的非微笑面部。因此，进一步划分提取的面部特征使得能够提高稍后描述的整合处理的准确度。 

直方图计算单元43通过计算扩展面部区域图像的面部区域的多个区域中的每个区域的直方图(色直方图)，向数据库管理单元23提供表示直方图的信息。 

例如，如图6所示，直方图计算单元43通过计算与从数据库管理单元23提供的扩展面部区域图像的背景差异，并将背景从面部区域(存在背景之外的人的区域)分离，而删除扩展面部区域图像内的背景(例如，将其全部涂为特定颜色)。接下来，直方图计算单元43在面部外围区域中设置3个区域(上区域、左侧区域和右侧区域)，在面部区域下侧设置3个区域(右胸部区域、中间胸部区域和左胸部区域)，作为提取直方图的区域。直方图计算单元43从每个区域中提取RGB三维直方图。此外，直方图计算单元43将在跟踪面部期间针对每一帧计算的直方图提供到数据库管理单元23。 

这样，通过面部识别单元25进行面部识别处理，对于面部区域内的面部，从属性估计单元41输出表示面部属性的信息，从特征提取单元42输出表示面部特征的信息，并且从直方图计算单元43输出表示面部外围区域和胸部区域中的直方图的信息。数据库管理单元23将表示属性的信 息、表示特征的信息和表示直方图的信息(下文中，将该信息称为识别信息)与扩展面部区域图像一起登记到存储在存储设备15中的数据库31和32。 

例如，数据库管理单元23通过生成新的项，将分配新的跟踪ID的面部区域信息、与该面部区域信息相对应的扩展面部区域图像、表示属性的信息、表示特征的信息和表示直方图的信息登记在新面部列表33和跟踪面部列表36中。此外，数据库管理单元23将分配有与正在跟踪的面部相同的跟踪ID的面部区域信息登记(更新或计数)到该跟踪ID的项。 

根据图1的控制设备17的控制，数据整合单元26可以进行多个不同处理内容的整合处理，例如，数据整合单元26可以根据图像处理结果的使用目的选择整合处理，或根据并行的多个目的选择整合处理。 

在本发明的实施例中，数据整合单元26包括第一整合处理单元51和第二整合处理单元52。例如，第一整合处理单元51应对需要具有高响应的目的，并在检测到新面部之后经过了一到几帧时，对登记在数据库31中的数据进行整合处理。此外，第二整合处理单元52应对需要具有更准确的结果的目的，并在正在跟踪的面部消失时，对登记在数据库32中的数据进行整合处理。 

例如，在从新检测到的面部的帧开始过去了预定数量的帧(预定时段)时，数据库管理单元23从新面部列表33中读取关于面部的信息，并将其作为关于登记在新面部列表33中的面部的信息提供到第一整合处理单元51。后面将参考图9中的流程图描述由第一整合处理单元51进行的整合处理。 

此外，在正在跟踪的面部消失时，数据库管理单元23通过从跟踪面部列表36中读取关于面部的信息，将关于面部的信息提供到第二整合处理单元52。后面将参考图10中的流程图描述由第二整合处理单元52进行的整合处理。 

接下来，图7是示出由图4中的图像处理设备14进行的在图像中呈现的面部的跟踪处理的流程图。 

该处理以启动由图1中的数字标识系统11进行的视频广告的显示而开始，在步骤S11，图像获取单元21获取由捕获设备13捕获的运动图片的一个帧的图像(读取冻结帧的数据)，并将图像提供到面部区域提取单元22。 

在处理步骤S11之后，该过程进行到步骤S12，面部区域提取单元22对从图像获取单元21提供的图像进行整个屏幕搜索。此外，面部区域提取单元22生成表示面部区域的位置和大小的面部区域信息作为整个屏幕搜索的搜索结果，并且获取包括面部区域的扩展面部区域图像。面部区域提取单元22将面部区域信息和扩展面部区域图像提供到数据库管理单元23，并且该过程进行到步骤S13。 

在步骤S13，数据库管理单元23使用来自面部区域提取单元22的面部区域信息和扩展面部区域图像，与操作单元24和面部识别单元25一起进行面部识别处理(下面将描述的图8中的处理)，并且该过程进行到步骤S14。 

在步骤S14，数据库管理单元23参考驻留在存储装置15的数据库31中的新面部列表33，确定是否存在关于从检测到面部的帧起超过预定帧数的面部的信息。 

在步骤S14，如果数据库管理单元23确定存在关于从检测到面部的帧起超过预定帧数的面部的信息，则该过程进行到步骤S15，进行第一整合处理(后面将描述的图9中的处理)。在步骤S15的第一整合处理结束之后，该过程进行到步骤S16。 

另一方面，在步骤S14，如果数据库管理单元23确定不存在关于从检测到面部的帧起超过预定帧数的面部的信息，则该过程跳过步骤S15进行到步骤S16。 

在步骤S16，数据库管理单元23确定在当前帧的图像中是否存在从先前帧的图像中消失的面部。 

在步骤S16，如果数据库管理单元23确定在当前帧的图像中存在从先前帧的图像中消失的面部，则该过程进行到步骤S17，并进行第二整合处理(下面描述的图10中的处理)。在步骤S17的第二整合处理结束之后，该过程进行到步骤S18。 

在步骤S18，数据库管理单元23对关于当前帧的图像中的从先前帧的图像中消失的面部的信息进行处理。也就是说，数据库管理单元23将登记在数据库31的新面部列表33或稳定面部列表34中的关于消失的面部的信息传送到临时消失列表35。此外，数据库管理单元23将登记在数据库32的跟踪面部列表36中的关于消失的面部的信息传送到临时消失列表38。此时，数据库管理单元23将当前帧的帧号，添加到当传送到临时 消失列表35和临时消失列表38时的信息中，到表示消失时间的关于面部信息的信息中。在步骤S18的处理结束之后，该过程进行到步骤S19。 

另一方面，在步骤S16，如果数据库管理单元23确定在当前帧的图像中不存在从先前帧的图像中消失的面部，则该过程跳过步骤S17和S18，进行到步骤S19。 

在步骤S19，数据库管理单元23通过参考添加到登记在临时消失列表35和临时消失列表38中的关于面部的信息中的消失时间信息，删除关于从图像中消失之后超过预定存储时段的面部的信息，并且该过程进行到步骤S20。 

在步骤S20，数据库管理单元23判定是否存在要处理的另一帧，在确定存在要处理的另一帧的情况下，该过程返回到步骤S11，并重复步骤S11之后相同的处理。然而，如果数据库管理单元23判定不存在另一帧，则该过程结束。 

接下来，图8是描述图7的步骤S13中的面部识别处理的流程图。 

在步骤S31，数据库管理单元23从提取自当前帧的图像的面部区域信息中选择例如可以作为提取序列中的处理目标的面部区域信息，并且将其提供到操作单元24。 

在处理步骤S31之后，该过程进行到步骤S32，操作单元24计算与处理目标的面部区域信息相关的面部区域和与从先前帧的图像中提取的所有面部区域信息相关的面部区域之间的冗余，并且该过程进行到步骤S33。 

在步骤S33，数据库管理单元23确定在步骤S32由操作单元24计算的冗余是否等于或大于用于确定面部是否正在跟踪的面部的阈值。 

在步骤S33，如果数据库管理单元23判定由操作单元24计算的冗余低于阈值，则该过程进行到步骤S34。在步骤S34，数据库管理单元23对处理目标的面部区域信息分配新的跟踪ID。也就是说，在这种情况下，由于与处理目标的面部区域信息相关的面部区域远离基于从先前帧的图像中提取的面部区域信息的面部区域的任何部分，因此在当前帧的图像中，将与处理目标的面部区域信息相对应的面部确定为新检测到的面部。 

然而，在步骤S33，如果数据库管理单元23确定由操作单元24计算的冗余等于或大于阈值，则该过程进行到步骤S35。在步骤S35，数据库管理单元23对处理目标的面部区域信息分配与具有等于或大于阈值的值 的面部区域信息的跟踪ID相同的跟踪ID。换句话说，在这种情况下，将与处理目标的面部区域信息相关的面部确定为正在跟踪的面部。此外，当存在多个具有等于或大于阈值的值的面部区域信息记录时，对处理目标的面部区域信息分配具有最高冗余的面部区域信息的跟踪ID。 

在处理步骤S35之后，该过程进行到步骤S36，数据库管理单元23通知操作单元24对处理目标的面部区域信息分配的跟踪ID，同时，通知操作单元24被确定为正在跟踪的面部的面部区域信息。操作单元24基于处理目标的面部区域的位置和先前帧的图像中的面部区域的位置以及帧速率，计算被确定为正在跟踪的面部的面部的移动速度，并将表示移动速度的信息提供到数据库管理单元23。 

在处理步骤S36之后，该过程进行到步骤S37，数据库管理单元23将扩展面部区域图像提供到特征提取单元42。特征提取单元42指定包括在扩展面部区域图像中的面部区域中的面部的角度和表情，并且通过参考数据库31和32判定它们是否满足特征提取条件，更具体地，是否满足上面所述三个条件中的任意一个。 

在步骤S37，如果特征提取单元42判定满足特征提取条件，则该过程进行到步骤S38，且数据库管理单元23将扩展面部区域图像提供到属性估计单元41。属性估计单元41基于包含在扩展面部区域图像中的面部区域中的面部特性，估计关于面部的各种属性，并将表示属性的信息提供到数据库管理单元23，并且该过程进行到步骤S39。 

在步骤S39，特征提取单元42提取表示包含在扩展面部区域图像中的面部区域的面部特性的特征，将表示该特征的信息提供到数据库管理单元23，并且该过程进行到步骤S40。 

在步骤S40，数据库管理单元23将扩展面部区域图像提供到直方图计算单元43。直方图计算单元43通过从面部外围区域中的3个区域(上区域、右侧区域和左侧区域)和面部区域下侧的3个区域(右胸部区域、中间胸部区域和左胸部区域)中提取直方图，而将表示直方图的信息提供到数据库管理单元23。 

在处理步骤S40之后，或当在步骤S37特征提取单元42确定不满足特征提取条件时，该过程进行到步骤S41。在步骤S41，数据库管理单元23将处理目标的面部区域信息、扩展面部区域图像、示出移动速度的信息、表示属性的信息、表示特征的信息和表示直方图的信息登记到存储在 存储设备15上的数据库31和32中。这时，数据库管理单元23当在步骤S34中分配新的跟踪ID时生成并登记新的项，并且当在步骤S35分配了与正在跟踪的面部相同的跟踪ID时在已经生成的相应的项中进行登记。 

在处理步骤S41之后，该过程进行到步骤S42，数据库管理单元23判定是否已经处理从当前帧的图像中提取的整个面部区域信息，如果确定还未处理整个面部区域，则该过程返回到步骤S31，重复相同的处理。另一方面，如果数据库管理单元23判定已经处理了整个面部区域，则该过程结束。 

接下来，图9是描述图7的步骤S15中的第一整合处理的流程图。 

在步骤S51，从驻留在存储设备15的数据库31中的新面部列表31中，数据库管理单元23按照来自关于超过预定帧数的面部的信息的跟踪ID序列选择关于例如作为处理目标的面部的信息，并将其提供到第一整合处理单元51。 

在处理步骤S51之后，该过程进行到步骤S52，第一整合处理单元51通过请求估计范围，其中在该估计范围内登记在临时消失列表35中的面部的面部区域被预测为出现在当前帧的图像中，来确定用于确定处理目标的面部和同一人的面部是否登记在临时消失列表35中的阈值。 

关于登记在临时消失列表35中的面部的信息包括消失的面部的帧的帧号、表示何时面部消失的面部区域信息和表示移动速度的信息。第一整合处理单元51计算从消失的面部的帧到当前帧的时间(帧号的差×帧速率)，根据时间和移动速度估计移动距离，并且仅使用移动距离估计消失的面部出现在估计范围(例如，面部区域1.5倍的范围)中，该估计范围是进一步远离面部消失时的面部区域的位置。 

此外，第一整合处理单元51在正在处理的面部处于估计范围之外时，将用于确定哪些面部需要具有估计范围的阈值设定为高的值，而在正在处理的面部在估计范围之内时，将用于确定哪些面部需要具有估计范围的阈值设定为低的值。另外，除了使用估计位置改变阈值之外，第一整合处理单元51例如还估计面部区域的大小或面部方向，当使用那些估计值时，允许阈值为低。 

在处理步骤S52之后，该过程进行到步骤S53，第一整合处理单元51基于正在处理的面部的特征和登记在临时消失列表35中的面部的特征，计算面部之间的相似度。 

在步骤S53的处理之后，该过程进行到步骤S54，第一整合处理单元51判定与处理目标的面部为同一人的面部是否登记在临时消失列表35中。换句话说，第一整合处理单元51确定在步骤S53中计算的相似度是否等于或大于在步骤S52确定的阈值，如果存在等于或大于阈值的相似度，则确定与处理目标的面部为同一人的面部登记在临时消失列表35中。然而，在不存在等于或大于阈值的相似度的情况下，判定与处理目标的面部为同一人的面部没有登记在临时消失列表35中。 

在步骤S54，如果第一整合处理单元51确定与处理目标的面部为同一人的面部登记在临时消失列表35中，则该过程进行到步骤S55。在步骤S55，第一整合处理单元51将关于处理目标的面部的信息的跟踪ID与分配给登记在临时消失列表35中的信息中关于具有最高相似度的面部的信息的跟踪ID相关联，并且整合关于那些面部的信息。此外，数据库管理单元23将关联了跟踪ID的关于面部的信息登记到稳定面部列表34中，同时，删除登记在新面部列表33和临时消失列表35中的信息。 

然而，在步骤S54，如果第一整合处理单元51判定与处理目标的面部为同一人的面部没有登记在临时消失列表35中，则该过程进行到步骤S56。在步骤S56，数据库管理单元23将关于处理目标的面部的信息从新面部列表33传送到临时消失列表35。 

在处理步骤S55或S56之后，该过程进行到步骤S57，数据库管理单元23确定是否处理了关于超过预定帧数的每个面部的信息，如果判定还未处理关于超过预定帧数的每个面部的信息，则该过程返回到步骤S51，重复相同的处理。另一方面，如果数据库管理单元23判定处理了关于每个面部的信息，则该过程结束。 

这样，由于第一整合处理单元51基于预测出现消失的面部的估计范围，来确定用于判定处理目标的面部是否临时消失面部的阈值，因此与确定固定阈值相比，检测临时消失面部的准确度提高。此外，例如，可以对新检测到的面部的帧进行第一整合处理，这时，当预定帧数为1时，可以快速获得整合结果，由此可以改善实时性能。 

接下来，图10是描述图7的步骤S17中的第二整合处理的流程图。 

在步骤S61，数据库管理单元23从驻留在存储设备15的数据库32中的跟踪面部列表36中，例如按照当前帧的图像中的从关于自先前帧的图像中消失的面部的信息中的跟踪ID序列选择关于作为处理目标的面部 的信息，并将其提供到第二整合处理单元52。 

在处理步骤S61之后，该过程进行到步骤S62，第二整合处理单元52确定是否可以基于包括在关于面部所提供的信息中的扩展面部区域图像来计算有效面部相似度。 

例如，在包括在扩展面部区域图像中的面部区域的尺寸小，更具体地，该尺寸等于或小于40个像素的情况下，可能不能计算有效面部相似度。另外，当图像具有模糊性时，可能不能计算有效面部相似度。因此，当包含在扩展面部区域图像中的面部区域的尺寸等于或大于预定值，并且在图像中没有模糊时，第二整合处理单元52确定可以计算有效面部相似度。另一方面，当包括在扩展面部区域图像中的面部区域的尺寸低于预定值，并且在图像中存在模糊时，第二整合处理单元52确定可能不能计算有效面部相似度。 

在步骤S62，当第二整合处理单元52判定可以计算有效面部相似度时，该过程进行到步骤S63，且第二整合处理单元52基于处理目标的面部的特征和登记在临时消失列表38中的面部的特征，计算各个面部之间的相似度。这时，如在图3中所述，第二整合处理单元52针对5个面部方向中的每一个，计算各个相应的面部相似度。 

在处理步骤S63之后，该过程进行到步骤S64，且第二整合处理单元52确定在步骤S63计算的面部相似度是否等于或大于阈值。 

在步骤S64，如果第二整合处理单元52确定在步骤S63计算的面部相似度等于或大于阈值，则该过程进行到步骤S65。也就是说，在这种情况下，将处理目标的面部确定为临时消失的面部。 

在步骤S65，将登记在临时消失列表35中的信息中的关于具有所计算的最高相似度的面部的信息传送到整合面部列表37，同时，将关于作为处理目标的面部的信息从跟踪面部列表36传送到并登记在信息的面部ID的项中。 

另一方面，在步骤S64，如果第二整合处理单元52确定在步骤S63计算的面部相似度低于预定阈值，则该过程进行到步骤S66。也就是说，在这种情况下，将处理目标的面部确定为新检测到的面部，而不是临时消失的面部。 

在步骤S66，第二整合处理单元52对处理目标的面部分配新面部ID，在整合面部列表37中生成新的项，并将关于处理目标的面部的信息从跟 踪面部列表36传送到该项。 

然而，在步骤S62，如果第二整合处理单元52判定可能不能计算有效面部相似度，则该过程进行到步骤S67。在步骤S67，第二整合处理单元52基于从面部区域下侧的3个区域(右胸部区域、中间胸部区域和左胸部区域)中提取的直方图，以及包含在关于处理目标的面部的信息中的表示直方图的信息中的、与登记在临时消失列表38中的面部相对应的直方图，来计算胸部区域之间的相似度。 

在处理步骤S67之后，该过程进行到步骤S68，且第二整合处理单元52确定在步骤S67计算的胸部区域相似度是否等于或大于阈值。 

在步骤S68，如果第二整合处理单元52判定在步骤S67计算的胸部区域相似度等于或大于阈值，则该过程进行到步骤S69。在步骤S69，第二整合处理单元52基于包括在关于处理目标的面部的信息中的表示直方图的信息中的从面部外围区域的3个区域(上侧区域、右侧区域和左侧区域)中提取的直方图，以及与登记在临时消失列表38中的各面部中的具备具有等于或大于阈值的值的胸部相似度的面部相对应的直方图，计算胸部区域之间的相似度。 

在处理步骤S69之后，该过程进行到步骤S70，且第二整合处理单元52确定在步骤S69中计算的面部外围区域相似度是否等于或大于预定阈值。 

在步骤S70，如果第二整合处理单元52判定在步骤S69计算的面部外围区域相似度等于或大于预定阈值，则该过程进行到步骤S71。在步骤S71，第二整合处理单元52判定包括在关于处理目标的面部的信息中的表示属性的信息是否与登记在临时消失列表38中的各面部中的具备具有等于或大于阈值的值的面部外围区域相似度的面部属性一致。 

在步骤S71，如果第二整合处理单元52判定包括在关于处理目标的面部的信息中的表示属性的信息与表示登记在临时消失列表38中的面部的属性的信息一致，则该过程进行到步骤S72。换句话说，当确定胸部区域相似度等于或大于阈值，面部外围区域相似度等于或大于阈值并且属性一致时，将处理目标的面部确定为临时消失的面部。 

在步骤S72，第二整合处理单元52将关于在步骤S71中确定为属性一致的面部的信息传送到整合面部列表37，同时，将关于处理目标的面部的信息从跟踪面部列表36传送到信息的面部ID的项中，并将其登记在 该项中。 

然而，如果在步骤S68在步骤S67计算的胸部区域相似度低于预定阈值，如果在步骤S70确定在步骤S69计算的面部外围区域相似度低于预定阈值，或如果在步骤S71确定为表示属性的信息不一致，则该过程进行到步骤S73。 

在步骤S73，第二整合处理单元52对关于处理目标的面部的信息分配新的面部ID，在整合面部列表37中生成新的项，并且从跟踪面部列表36传送关于处理目标的面部的信息。 

在处理步骤S65、S66、S72或S73之后，该过程进行到步骤S74，数据库管理单元23确定是否已经作为处理目标处理了关于当前帧的图像中的从先前帧的图像中消失的每个面部的信息，如果判定还未作为处理目标处理关于每个面部的信息，则该过程返回到步骤S61，并重复相同的处理。另一方面，如果数据库管理单元23判定已经作为处理目标处理了关于每个面部的信息，则该过程结束。 

这样，由于第二整合处理单元52除了面部相似度之外，还使用胸部区域的相似度(例如衣物颜色)、面部外围区域的相似度(例如头发颜色或在适用的情况下帽子颜色)和属性来确定面部是否临时消失面部，因此与仅使用面部相似度相比，检测临时消失面部的准确度提高。 

此外，在图像中呈现的面部小或非常模糊的情况下，相似度判定的准确度可能劣化，且在这些情况下，期望以高准确度确定是否同一人。 

例如，参考图11，将不进行第二整合处理单元52的整合处理时(处理之前)的识别结果和进行第二整合处理单元52的整合处理时(处理之后)的识别结果进行比较。如图11所示，通过第二整合处理单元52的整合处理，抑制了再现性的劣化，并且显著改善了一致性(2倍)。这里，当A是指标记结果的集合，C是指识别结果的集合，且B是指A集合和B集合的积集合时，再现性是B/(A+B)的函数。此外，一致性是B/(C+B)的函数。此外，F值是调和平均值，且调和平均值可以通过第二整合处理单元52的整合处理来提高。 

此外，当确定面部是否临时消失的面部时，除了上述方法之外，例如，还可以在总相似度等于或大于阈值并且属性一致时确定面部是临时消失的面部，这里，总相似度可以使用这样的运算来计算：面部相似度×加权因子+胸部区域相似度×加权因子+面部外围区域相似度×加权因子。另外， 可以在面部相似度×加权因子等于或大于阈值，面部外围区域相似度×加权因子等于或大于阈值且胸部区域相似度×加权因子等于或大于阈值，并且属性一致时，判定面部是临时消失的面部。 

另外，除了使用具有固定值的阈值或加权因子之外，还可以采用作为从临时消失的面部消失到检测到新面部的时间的函数的阈值或加权因子。也就是说，当消失的时间短时，可以使用低的阈值来确定相似度。 

此外，对于面部相似度，可以使用Gabor特征向量的归一化相关。此外，对于胸部区域相似度和面部外围区域相似度，可以使用3维色直方图之间的转换。 

另外，当整合关于面部的信息时，除了存储所有信息之外，还可以仅存储最新的信息，仅存储最旧的信息，或仅存储最佳条件下的信息(具有最前视(the most forward looking)面部的信息或从具有最少模糊的图像中获取的信息)。此外，可以通过对信息的新旧度和信息的条件进行排序来存储预定数量的信息记录。 

另外，在本发明的实施例中，即使通过由直方图计算单元43根据图6所示的扩展面部区域中的各个区域计算直方图，确定了相似度，除了直方图之外，为了确定相似度，例如还可以通过获取边缘方向或纹理信息来使用边缘方向或纹理信息。这样，可以更准确地确定面部是否一致。此外，可以改变用于使用面部区域内的面部方向(面部角度)来计算直方图的区域的位置或大小。例如，当面部向左看时，通过扩展左侧区域和左胸部区域，可以计算根据具有更好的图像条件的区域的直方图，由此可以改善判定准确度。 

此外，面部区域提取单元22可以从提供自图像获取单元21的图像中一次几帧地进行面部区域的提取。这样，可以减小处理负荷，即使图像处理设备14的处理性能低，也可以进行面部识别处理或整合处理。此外，即使已经使用面部区域冗余来确定面部是否正在跟踪的面部，也可以通过请求面部特征来计算相似度，并且通过确定相似度高还是低来判定面部是否正在跟踪的面部。 

此外，即使在图4中的图像处理设备14中，数据整合单元26具有第一整合处理单元51和第二整合处理单元52，也可以将图像处理设备14配置为具有这两个整合处理单元中的任意一个。在这种情况下，仅将两个数据库31和32中的一个相应的数据库存储在存储设备15中。此外，除 了第一整合处理单元51和第二整合处理单元52并行进行整合处理之外，例如，还可以依据图像处理结果的使用目的，根据经由图1中的通信设备16来自用户的指令使用任意一个单元进行整合处理。 

上述一系列处理可以通过硬件或软件来执行。在使用软件来执行一系列处理的情况下，将驻留在软件中的程序安装在配备在专用硬件中的计算机或能够通过从程序记录介质安装各种程序来执行各种功能的通用个人计算机上。 

此外，计算机可执行程序可以是按照在说明书中描述的时间序列执行处理的程序以及并行或在诸如出现调用的时间的需要时间执行处理的程序。也就是说，不一定按照根据流程图中的顺序的时间序列，处理在上述流程图中描述的每个处理，而可以利用并行处理或单独处理(例如并行处理或按照对象进行处理)。此外，可以使用单个CPU或使用用来进行分布式处理的多个CPU来执行程序。 

本申请包含与2009年12月4日在日本专利局提交的日本在先专利申请JP 2009-277074中公开的主题有关的主题，其全部内容通过引用包含于此。 

本领域技术人员应当理解，可以依据设计要求和其它因素进行各种变形、组合、子组合和改变，只要其在所附权利要求或其等同物的范围内。 

Claims (9)

1.一种图像处理设备，包括：

面部区域提取装置，用于在检测到图像中呈现的面部之后，提取包括所述面部的面部区域；

识别信息获取装置，用于获取用于识别由所述面部区域提取装置提取的面部区域中的面部的识别信息；

临时消失存储装置，用于在图像中呈现的面部从所述图像中消失后将所述面部存储预定存储时段，并在经过所述预定存储时段后将所述面部删除；

第一整合处理装置，用于通过下述操作来进行整合处理：基于所述识别信息，确定正在跟踪的面部和所述临时消失存储装置中存储的面部图像是否同一人的面部；以及

第二整合处理装置，用于通过下述操作来进行整合处理：以与所述第一整合处理装置不同的方式，基于所述识别信息，确定正在跟踪的面部和所述临时消失存储装置中存储的面部图像是否同一人的面部，

其中，所述第一整合处理装置基于预测出现所存储的面部图像的估计区域和所述正在跟踪的面部的位置之间的关系确定阈值，

计算所述正在跟踪的面部和所存储的面部图像之间的相似度，以及

基于所计算的相似度和与在计算所述相似度时使用的所存储的面部图像相对应的阈值，确定所述正在跟踪的面部和所存储的面部图像是否同一人的面部，以及

所述第二整合处理装置针对多个面部方向计算所述正在跟踪的面部和所存储的面部图像之间的相似度，以及

基于针对所述多个面部方向所计算的相似度，确定所述正在跟踪的面部和所存储的面部图像是否同一人的面部。

2.一种图像处理方法，包括步骤：

在检测到图像中呈现的面部之后，提取包括所述面部的面部区域；

获取用于识别所提取的面部区域中的面部的识别信息；

在图像中呈现的面部从所述图像中消失后将所述面部存储预定存储时段，并在经过所述预定存储时段后将所述面部删除；

通过下述操作来进行第一整合处理：基于所述识别信息，确定正在跟踪的面部和存储的面部图像是否同一人的面部；以及

通过下述操作来进行第二整合处理：以与所述第一整合处理的方式不同的方式，基于所述识别信息，确定正在跟踪的面部和存储的面部图像是否同一人的面部，

其中，所述第一整合处理基于预测出现所存储的面部图像的估计区域和所述正在跟踪的面部的位置之间的关系确定阈值，

计算正在跟踪的面部和存储的面部图像之间的相似度，以及

基于所计算的相似度和与在计算所述相似度时使用的所存储的面部图像相对应的阈值，确定所述正在跟踪的面部和所存储的面部图像是否同一人的面部，以及

所述第二整合处理针对多个面部方向计算所述正在跟踪的面部和所存储的面部图像之间的相似度，以及

基于针对所述多个面部方向所计算的相似度，确定所述正在跟踪的面部和所存储的面部图像是否同一人的面部。

3.一种图像处理设备，包括：

面部区域提取装置，用于在检测到在图像中呈现的面部之后，提取包括所述面部的面部区域；

识别信息获取装置，用于获取用于识别由所述面部区域提取装置提取的面部区域中的面部的识别信息；

临时消失存储装置，用于在图像中呈现的面部从所述图像中消失后将所述面部存储预定存储时段，并在经过所述预定存储时段后将所述面部删除；以及

整合处理装置，用于通过下述操作来进行整合处理：基于所述识别信息，确定正在跟踪的面部和所述临时消失存储装置中存储的面部图像是否同一人的面部；

其中，所述整合处理装置基于预测出现所存储的面部图像的估计区域和所述正在跟踪的面部的位置之间的关系确定阈值，

计算所述正在跟踪的面部和所存储的面部图像之间的相似度，以及

基于所计算的相似度和与在计算所述相似度时使用的所存储的面部图像相对应的阈值，确定所述正在跟踪的面部和所存储的面部图像是否同一人的面部。

4.根据权利要求3所述的图像处理设备，其中，所述整合处理装置估计由所述面部区域提取装置提取的所述面部区域中的面部表情，以及

计算所述正在跟踪的面部和所述临时消失存储装置中存储的面部图像之间的相似度，所述两个面部具有相似的面部表情。

5.一种图像处理方法，包括步骤：

在检测到在图像中呈现的面部之后，提取包括所述面部的面部区域；

获取用于识别所提取的面部区域中的面部的识别信息；

在图像中呈现的面部从所述图像中消失后将所述面部存储预定存储时段，并在经过所述预定存储时段后将所述面部删除；以及

通过下述操作来进行整合处理：基于所述识别信息，确定正在跟踪的面部和所存储的面部图像是否同一人的面部；

其中，所述整合处理基于预测出现所存储的面部图像的估计区域和所述正在跟踪的面部的位置之间的关系确定阈值，

计算正在跟踪的面部和存储的面部图像之间的相似度，以及

基于所计算的相似度和与在计算所述相似度时使用的所存储的面部图像相对应的阈值，确定所述正在跟踪的面部和所存储的面部图像是否同一人的面部。

6.一种图像处理设备，包括：

面部区域提取装置，用于在检测到在图像中呈现的面部之后，提取包括所述面部的面部区域；

识别信息获取装置，用于获取用于识别由所述面部区域提取装置提取的所述面部区域中的面部的识别信息；

临时消失存储装置，用于在图像中呈现的面部从所述图像中消失后将所述面部存储预定存储时段，并在经过所述预定存储时段后将所述面部删除；以及

整合处理装置，用于通过下述操作来进行整合处理：基于所述识别信息，确定正在跟踪的面部和所述临时消失存储装置中存储的面部图像是否同一人的面部，

其中，所述整合处理装置针对多个面部方向计算所述正在跟踪的面部和所存储的面部图像之间的相似度，以及

基于针对所述多个面部方向的所计算的相似度，确定所述正在跟踪的面部和所存储的面部图像是否同一人的面部。

7.根据权利要求6所述的图像处理设备，其中，所述整合处理装置还计算所述正在跟踪的面部下方的胸部区域和所存储的面部图像下方的胸部区域之间的相似度，以及

基于所计算的胸部区域的相似度，确定所存储的面部图像是否同一人的面部。

8.根据权利要求6所述的图像处理设备，其中，所述整合处理装置还计算所述正在跟踪的面部的面部外围和所存储的面部图像的面部外围之间的相似度，并且基于所计算的面部外围区域的相似度，确定所存储的面部图像是否同一人的面部。

9.一种图像处理方法，包括步骤：

在检测到在图像中呈现的面部之后，提取包括所述面部的面部区域；

获取用于识别所提取的面部区域中的面部的识别信息；

在图像中呈现的面部从所述图像中消失后将所述面部存储预定存储时段，并在经过所述预定存储时段后将所述面部删除；以及

通过下述操作来进行整合处理：基于所述识别信息，确定正在跟踪的面部和所存储的面部图像是否同一人的面部，

其中，所述整合处理针对多个面部方向计算正在跟踪的面部和存储的面部图像之间的相似度，以及

基于针对所述多个面部方向的所计算的相似度，确定所述正在跟踪的面部和所存储的面部图像是否同一人的面部。

Images