CN101324954A - 图像处理设备、图像显示设备、成像设备、其图像处理方法和程序 - Google Patents

图像处理设备、图像显示设备、成像设备、其图像处理方法和程序 Download PDF

Info

Publication number
CN101324954A
CN101324954A CNA200810100456XA CN200810100456A CN101324954A CN 101324954 A CN101324954 A CN 101324954A CN A200810100456X A CNA200810100456X A CN A200810100456XA CN 200810100456 A CN200810100456 A CN 200810100456A CN 101324954 A CN101324954 A CN 101324954A
Authority
CN
China
Prior art keywords
image
face
standardization
evaluation information
attribute information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200810100456XA
Other languages
English (en)
Inventor
小川要
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101324954A publication Critical patent/CN101324954A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression

Abstract

本发明提供了一种图像处理设备、图像显示设备、成像设备、其图像处理方法和程序,其中,图像处理设备包括以下元件。评价信息存储装置存储用来确定被作为确定对象的图像是否为目标图像的多个评价信息组。图像输入装置输入图像。面部检测装置检测包括在所输入图像中的面部。标准化装置对作为包括所检测面部的图像片段的面部图像进行标准化,以使面部图像具有预定分辨率。特征提取装置提取标准化后的面部图像的特征量。属性信息生成装置基于所提取的特征量和存储在评价信息存储装置中的每个评价信息组,确定面部图像是否为与评价信息组相关联的目标图像,并且作为确定结果,生成关于包括在面部图像中的面部的属性信息块。

Description

图像处理设备、图像显示设备、成像设备、其图像处理方法和程序
相关参考的交叉申请
本发明包含于2007年6月11日向日本专利局提交的日本专利申请JP 2007-154386的主题,其全部内容结合于此作为参考。
技术领域
本发明涉及图像处理设备,更具体地,涉及一种被配置为检测包括在图像中的目标对象的图像处理设备、图像显示设备和成像设备、用于每种设备的图像处理的方法和使计算机执行该方法的程序。
背景技术
近年来,诸如数码摄像机和数码相机的成像设备已广泛普及。另外,存在一种图像处理设备,其能够检测包括在通过这种成像设备拍摄的图像中的人的面部,生成关于所检测面部的各种属性信息块,并使用属性信息块来以各种显示模式显示所检测面部。
例如,所检测面部经过诸如性别确定和面部表情(即,笑/不笑)确定的确定。可以基于确定的结果来生成关于所检测面部的各种属性信息块。例如,当显示了多个检测面部时,可以利用关于性别的属性信息块来显示一列女人的面部。
如上所述,为了生成与所检测面部有关的各种属性信息块,重要的是检测高精度的面部图像以增大每个属性信息块的精度。
日本未审查专利申请公开第2005-78376号披露了一种对象检测设备,用于检测输入图像中的面部候选,基于例如从该设备到每个面部候选的估计距离与从该设备到每个面部候选的测量距离之间的差的条件来从所检测面部候选中检测出非面部候选,并且从面部候选中除去非面部候选。
发明内容
根据上述现有技术,即使在输入图像中错误检测到除面部之外的对象时,仍将非面部候选从面部候选中除去。因此,可能降低不正确面部检测的可能性。因此,可以基于高精度的面部图像来生成关于面部的属性信息。
在这种情况下,为了生成与检测面部有关的多个属性信息块,例如,单独执行关于各种确定(例如,性别确定和笑/不笑确定)的多种处理。基于确定结果生成关于检测面部的多个属性信息块。不利地,关于面部的属性信息块的生成导致设备结构的复杂性增大以及属性信息块的生成时间增加。
因此,期望有效地生成关于包括在图像中的面部的多个属性信息块。
为了克服上述缺点作出本发明。根据本发明的第一实施例,图像处理设备包括以下元件。评价信息存储装置存储用来确定被作为确定对象的图像是否为目标图像的多个评价信息组。图像输入装置输入图像。面部检测装置检测包括在所输入图像中的面部。标准化(normalization,归一化)装置对作为包括所检测面部的图像片段(image segment)的面部图像进行标准化,以使面部图像具有预定分辨率。特征提取装置提取标准化后的面部图像的特征量。属性信息生成装置基于所提取的特征量和存储在评价信息存储装置中的每个评价信息组,确定面部图像是否为与评价信息组相关联的目标图像,并且作为确定结果,生成关于包括在面部图像中的面部的属性信息块。因此,第一实施例具有以下效果:使包括在输入图像中检测到的面部的图像片段(面部图像)标准化,基于标准化后的面部图像的特征量和每个评价信息组来确定面部图像是否为目标图像,以及作为确定结果,生成关于面部的属性信息块。
在该实施例中,优选地,每一个评价信息组均包括在被作为确定对象的图像中的位置和阈值的组合。属性信息生成装置可以基于与包括在每个评价信息组中的位置相对应的标准化后的面部图像的特征量和与该位置相关联的阈值,确定面部图像是否为与评价信息组相关联的目标图像。因此,该实施例具有以下效果:基于与包括在每个评价信息组中的位置相对应的特征量和与该位置相关联的阈值,确定面部图像是否为目标图像。
在该实施例中,优选地,每一个评价信息组均包括在被作为确定对象的图像中的两个位置和阈值的组合。属性信息生成装置可以计算对应于与包括在每个评价信息组中的组合相关联的两个位置的标准化后的面部图像的特征量之间的差,将计算出的差和与组合相关联的阈值进行比较,并且基于比较结果来确定面部图像是否为与评价信息组相关联的目标图像。因此,该实施例具有以下效果:计算在对应于与包括在每个评价信息组中的组合相关联的两个位置的特征量之间的差,将计算出的差和与该组合相关联的阈值的差进行比较,并基于比较结果来确定关于面部图像是否为目标图像。
在该实施例中,优选地,每一个评价信息组均包括每一个均包括被作为确定对象的图像中的两个位置和阈值的多个组合。属性信息生成装置可以计算对应于与包括在每个评价信息组中的每个组合相关联的两个位置的标准化后的面部图像的特征量之间的差,将计算出的差和与该组合相关联的阈值进行比较,并且基于比较结果来确定面部图像是否为与评价信息组相关联的目标图像。因此,该实施例具有以下效果:计算在对应于与包括在每个评价信息组中的每个组合相关联的两个位置的特征量之间的差,将计算出的差和与该组合相关联的阈值进行比较,并且基于比较结果来确定面部图像是否为目标图像。
在该实施例中,优选地,每一个评价信息组均包括每一个均包括被作为确定对象的图像中的两个位置、阈值和权重的多个组合。属性信息生成装置可以计算对应于与包括在每个评价信息组中的每个组合相关联的两个位置的标准化后的面部图像的特征量之间的差,将计算出的差和与该组合相关联的阈值进行比较,并且基于比较结果加上或减去权重以获得与包括在评价信息组中的组合相关联的值的和,并且基于该和来确定面部图像是否为与评价信息组相关联的目标图像。因此,该实施例具有以下作用:计算对应于与包括在每个评价信息组中的每个组合相关联的两个位置的特征量之间的差,将计算出的差和与该组合相关联的阈值进行比较,基于比较结果加上或减去权重以获得与包括在评价信息组中的组合相关联的值的和,并且基于该和来确定面部图像是否为与评价信息组相关联的目标图像。
在该实施例中,特征提取装置可以提取亮度作为标准化后的面部图像的特征量。因此,该实施例具有提取亮度作为标准化后的面部图像的特征量的效果。
在该实施例中,优选地,存储在评价信息存储装置中的多个评价信息组中的至少一个是用于确定标准化后的面部图像的标准化是否成功的一组标准化确定信息。属性信息生成装置可以基于存储在评价信息存储装置中的标准化确定信息组来确定标准化后的面部图像的标准化是否成功,并且作为确定结果,生成关于包括在面部图像中的面部的属性信息块。因此,该实施例具有以下效果:基于的标准化确定信息组来确定标准化后的面部图像的标准化是否成功,并且作为确定结果,生成关于包括在面部图像中的面部的属性信息块。
在该实施例中,当确定标准化后的面部图像的标准化不成功时,属性信息生成装置可以停止生成另外的关于包括在面部图像中的面部的属性信息块。因此,该实施例具有以下效果:当确定标准化后的面部图像的标准化不成功时,停止生成另外的关于包括在面部图像中的面部的属性信息块。
在该实施例中,该设备还可以包括用于检测包括在所检测面部中的至少一个特征的面部特征检测装置。标准化装置可以基于所检测特征的位置来对所检测面部的面部图像进行标准化。因此,该实施例具有检测包括在所检测面部中的特征并基于所检测特征的位置对所检测面部的面部图像进行标准化的效果。
在该实施例中,面部特征检测装置可以包括用于检测所检测面部的两只眼睛的眼睛检测装置。标准化装置可以基于所检测眼睛的位置对所检测面部的面部图像进行标准化。因此,该实施例具有检测所检测面部的眼睛并基于所检测眼睛的位置对所检测面部的面部图像进行标准化的效果。
在该实施例中,标准化装置可以基于所检测特征的位置来对所检测面部的面部图像执行仿射变换。因此,该实施例具有基于在面部中所检测特征的位置来对所检测面部的面部图像执行仿射变换的效果。
在该实施例中,优选地,通过属性信息生成装置生成的多个属性信息块包括关于面部的两只眼睛的位置、眼睛的睁开/闭合状态、面部表情、性别、世代、种族、面部摄影条件和面部朝向的至少两个信息块。因此,该实施例具有以下效果:生成属性信息块来作为关于面部的两只眼睛、眼睛的睁开/闭合状态、面部表情、性别、世代、种族、面部摄影条件和面部朝向的至少两个信息块。
根据本发明的第二实施例,图像显示设备包括以下元件。评价信息存储装置存储用来确定被作为确定对象的图像是否为目标图像的多个评价信息组。图像输入装置输入图像。面部检测装置检测包括在所输入图像中的面部。显示装置显示作为包括所检测面部的图像片段的面部图像。标准化装置对面部图像进行标准化以使面部图像具有预定分辨率。特征提取装置提取标准化后的面部图像的特征量。属性信息生成装置基于所提取的特征量和存储在评价信息存储装置中的每个评价信息组,确定关于面部图像是否为与评价信息组相关联的目标图像,并且作为确定结果,生成关于包括在面部图像中的面部的属性信息块。显示控制装置基于所生成的属性信息块来控制面部图像在显示装置上的显示。因此,该实施例具有以下效果:对包括在输入图像中检测到的面部的图像片段(面部图像)进行标准化,基于标准化后的面部图像的特征量和每个评价信息组来确定该面部图像是否为目标图像,作为确定结果生成关于面部的属性信息块,并且基于属性信息块来控制面部图像的显示。
根据本发明的第三实施例,成像设备包括以下元件。评价信息存储装置存储用来确定被作为确定对象的图像是否为目标图像的多个评价信息组。图像输入装置输入通过拍摄对象而获得的图像。面部检测装置检测包括在所输入图像中的面部。标准化装置对作为包括所检测面部的图像片段的面部图像进行标准化,以使面部图像具有预定分辨率。特征提取装置提取标准化后的面部图像的特征量。属性信息生成装置基于所提取的特征量和存储在评价信息存储装置中的每个评价信息组,确定面部图像是否为与评价信息组相关联的目标图像,并且作为确定结果,生成关于包括在面部图像中的面部的属性信息块。因此,该实施例具有以下作用:对包括在输入图像中检测到的面部的图像片段(面部图像)进行标准化,基于标准化后的面部图像的特征量和每个评价信息组来确定该面部图像是否为目标图像,并且作为确定结果,生成关于面部的属性信息块。
根据本发明的第四实施例,提供了一种关于图像处理设备的图像处理的方法,该图像处理设备包括用于存储用来确定被作为确定对象的图像是否为目标图像的多个评价信息组的评价信息存储装置。该方法包括以下步骤:输入图像;检测包括在所输入图像中的面部;对作为包括所检测面部的面部片段的面部图像进行标准化,以使面部图像具有预定分辨率;提取标准化后的面部图像的特征量;基于所提取的特征量和存储在评价信息存储装置中的每个评价信息组,确定该面部图像是否为与评价信息组相关联的目标图像,并且作为确定结果,生成关于包括在面部图像中的面部的属性信息块。
根据本发明的第五实施例,提供了一种使计算机执行关于图像处理设备的图像处理的方法的程序,该图像处理设备包括用于存储用来确定被作为确定对象的图像是否为目标图像的多个评价信息组的评价信息存储装置。该方法包括以下步骤:输入图像;检测包括在所输入图像中的面部;对作为包括所检测面部的面部片段的面部图像进行标准化以使面部图像具有预定分辨率;提取标准化后的面部图像的特征量;基于所提取的特征量和存储在评价信息存储装置中的每个评价信息组,确定该面部图像是否为与评价信息组相关联的目标图像;以及作为确定结果,生成关于包括在面部图像中的面部的属性信息块。
本发明的实施例的优点在于,可以有效地生成关于包括在图像中的面部的多个属性信息块。
附图说明
图1是根据本发明实施例的图像处理器100的功能结构的框图;
图2A和图2B是示出了面部图像的标准化实例的示图;
图3是示出了关于对标准化后的面部图像执行的各种确定的多个确定辞典的示图;
图4是示出了通过标准化单元140标准化的面部图像的示图;
图5A~图5C是示意性示出了由图像400生成的标准化后的面部图像的转变(transition)的示图,这些面部图像经过关于标准化是否成功的确定;
图6A示出标准化后的面部图像420和示出了关于标准化后的面部图像420的确定结果的一组属性信息块450;
图6B示出标准化后的面部图像440和示出了关于标准化后的面部图像440的确定结果的一组属性信息块460;
图7是示出了存储在属性信息存储单元240中的属性信息组500的示图;
图8是通过图像处理器100生成标准化后的面部图像的处理的流程图;
图9是通过图像处理器100生成关于面部的属性信息的处理的流程图;以及
图10是在图9的步骤S930中所执行的处理的流程图。
具体实施方式
以下,将参考附图描述本发明的实施例。
图1是根据本发明实施例的图像处理器100的功能结构的框图。图像处理器100包括图像输入单元110、面部检测单元120、眼睛检测单元130、标准化单元140、标准化模板保持单元145、操作接收单元150、特征提取单元160、图像确定单元170、显示控制单元180、显示单元190、面部图像存储单元210、标准化图像存储单元220、辞典存储单元230、工作存储器231和属性信息存储单元240。图像处理器100可以通过能够对通过例如数码摄像机或数码相机拍摄的图像执行各种图像处理的个人计算机来实现。
图像输入单元110输入或接收通过数码摄像机或数码相机拍摄的图像(诸如运动图像或静止图像),并将输入图像输出至面部检测单元120。
面部检测单元120检测包括在从图像输入单元110提供的输入图像中的面部,并将面部图像(作为包括输入图像中的所检测面部的图像片段)输出至眼睛检测单元130、标准化单元140和面部图像存储单元210。当从图像输入单元110提供的输入图像包括多个面部时,面部检测单元120检测这些面部。例如,当图像400如图5A所示包括两个人401和402的面部403和404时,检测面部403和404。将包括所检测面部403和404的面部图像410和430输出至眼睛检测单元130、标准化单元140和面部图像存储单元210。
眼睛检测单元130检测包括在从面部检测单元120输出的面部图像中的两只眼睛,并将关于在面部图像中的所检测眼睛的位置信息输出至标准化单元140。例如,在包括在图5B所示的面部图像410中的面部403中检测到由虚线十字411和412表示的眼睛位置。
标准化单元140基于关于面部图像中的两只眼睛的位置的信息,对从面部检测单元120输出的面部图像标准化,上述信息从眼睛检测单元130输出。标准化模板保持单元145保持在通过标准化单元140进行标准化时所使用的标准化模板。如图2A所示,例如,标准化模板可以包括面部图像中的两只眼睛的位置用作参考组的模板。标准化单元140改变从面部检测单元120输出的面部图像的分辨率并使面部图像旋转,以使通过眼睛检测单元130检测到的眼睛的位置与通过标准化模板保持单元145保持的标准化模板中的参考眼睛位置相匹配,从而对面部图像进行标准化。将准化后的面部图像被输出至标准化图像存储单元220并被存储在单元220中。随后,将参考图2A和图2B来描述面部图像的标准化和标准化模板。
操作接收单元150包括各种操作键。当通过那些键中的任意键接收操作输入时,操作接收单元150将表示接收到的操作输入的信息输出至图像确定单元170和显示控制单元180。例如,操作接收单元150包括关于生成有关面部的属性信息的指令的属性信息生成键和关于在显示单元190上显示存储在面部图像存储单元210中的面部图像的指令的面部图像显示键。可以将操作接收单元150结合到显示单元190中以实现触摸面板。
特征提取单元160提取各个部分的亮度来作为标准化面部图像的特征的量(下文中为特征量)并将所提取的亮度输出至图像确定单元170,该标准化面部图像已被标准化单元140标准化并被存储在标准化图像存储单元220中。
工作存储器231存储在辞典存储单元230中所存储的用于确定的辞典(下文中为确定辞典)中的一个并将所存储的确定辞典的内容输出至图像确定单元170。以下将参考图3描述存储在辞典存储单元230中的确定辞典。
图像确定单元170使用通过特征提取单元160提取的亮度和存储在工作存储器231中的一个确定辞典,确定已被标准化单元140标准化并被存储在标准化图像存储单元220中的标准化面部图像。图像确定单元170将作为关于面部的属性信息的确定结果输出至属性信息存储单元240。将参考图6A~图7来详细描述基于通过图像确定单元170得到的确定结果生成的关于面部的属性信息。
当操作接收单元150接收表示在显示单元190上显示面部图像的指令的操作输入时,显示控制单元180使用存储在属性信息存储单元240中的属性信息块来控制显示单元190以显示存储在面部图像存储单元210中的面部图像。
在显示控制单元180控制下,显示单元190显示存储在面部图像存储单元210中的面部图像。
面部图像存储单元210存储从面部检测单元120输出的面部图像并将所存储的面部图像输出至显示控制单元180。
标准化图像存储单元220存储从标准化单元140输出的标准化面部图像并将所存储的标准化面部图像输出至特征提取单元160。
辞典存储单元230存储用于对存储在标准化图像存储单元220中的任意标准化面部图像进行确定的多个确定辞典,该确定由图像确定单元170执行。将所存储的确定辞典顺序输出至工作存储器231。以下将参考图3来描述确定辞典。
属性信息存储单元240存储关于面部的属性信息,该信息由图像确定单元170生成。属性信息存储单元240将所存储的关于面部的属性信息块输出至显示控制单元180。以下,参考图6A~图7来详细描述关于面部的属性信息块。
图2A和图2B是示出了面部图像的标准化实例的示图。图2A示出了用于对面部图像进行标准化的标准化模板141。图2B示出了包括通过面部检测单元120检测到的面部251的面部图像250的转变。标准化模板141由标准化模板保持单元145保持并用于通过标准化单元140进行标准化。在标准化模板141中,定义了作为用于标准化的参考组的参考位置142和143。以下描述涉及改变面部图像的分辨率并旋转面部图像以使在面部图像中的通过眼睛检测单元130检测到的两只眼睛的位置与标准化模板141中的参考位置142和143相匹配的情况。
包括通过面部检测单元120检测到的面部251的面部图像250是输入至图像输入单元110的图像的图像片段。通过眼睛检测单元130检测在面部图像250中的两只眼睛的位置(下文中为眼睛位置252和253)。在本发明的该实施例中,假设每只眼睛的中心被设定为眼睛位置。在如上所述检测到面部图像250中的眼睛位置252和253的情况下,通过例如仿射变换来变换眼睛位置252和253,以使眼睛位置252和253与图2A中所示的参考位置142和143相匹配。例如,如图2B所示,当改变面部图像250的分辨率并旋转面部图像250时,对面部图像250进行标准化以生成标准化面部图像260。在标准化面部图像260中,眼睛位置262和263与图2A所示的标准化模板141中的各个参考位置142和143相匹配。在本发明的该实施例中,假设面部图像的分辨率被变为48×48像素,从而生成了标准化面部图像。
关于参考位置,可以使用除面部的眼睛之外的另外的特征的位置。例如,可以检测面部的鼻子,并且可以基于鼻子的位置来对面部图像进行标准化。面部特征的位置可以用作参考位置。例如,可以使用眼睛的位置和鼻子的位置。
图3示出了关于将对标准化面部图像执行的各个确定的多个确定辞典。那些确定辞典用作关于将对存储在标准化图像存储单元220中的标准化面部图像执行的各个确定的评价信息组,这些确定是通过图像确定单元170执行的。确定辞典被存储在辞典存储单元230中。在本发明的该实施例中,假设确定辞典包括标准化确定辞典310、性别确定辞典320、世代(成人/子女)确定辞典330和面部表情(笑/不笑)确定辞典340。
每个确定辞典存储数据元的t个组合。每个组合的数据元表示在标准化图像中的两个位置pix-1(x,y)和pix-2(x,y)、在位置pix-1(x,y)处和在位置pix-2(x,y)处的亮度之差的阈值θ、以及基于阈值θ与在位置pix-1(x,y)处和在位置pix-2(x,y)处的亮度之差的比较结果加上或减去的权重α。使用通过诸如AdaBoost的机器学习算法获得的数据元的最有效上面的100个组合来设定各个数据元的那些值。由于各个确定辞典具有与以上所述的结构相同的结构,所以可以根据相同的算法来执行多个确定。参考图3,在各个辞典中的数据元“pix-1(x,y)”、“pix-2(x,y)”、“θ”和“α”用不同的符号表示。例如,在标准化确定辞典310中,数据元“pix-1(x,y)”被表示为“pix-标准化-1(x,y)”,数据元“pix-2(x,y)”被表示为“pix-标准化-2(x,y)”,数据元“θ”被表示为“标准化θ”,以及数据元“α”被表示为“标准化α”。
现在,将参考图4来详细描述标准化面部图像经过使用确定辞典来进行确定的情况。
图4示出了作为通过标准化单元140标准化的面部图像的实例的标准化面部图像350。在该实例中,假设原点被限定在图4中的标准化面部图像350的左上角,横轴被设定为x轴,纵轴被设定为y轴,以及标准化面部图350经过利用标准化确定辞典310(参见图3)进行的确定。在标准化面部图像350中,例如,位置351被设定为与存储在标准化确定辞典310的第一行中的数据元“pix-标准化-1(x,y)”的值相对应的位置。位置352被设定为与存储在标准化确定辞典310的第一行中的数据元“pix-标准化-2(x,y)”的值相对应的位置。位置353被设定为与存储在标准化确定辞典310的第二行中的数据元“pix-标准化-1(x,y)”的值相对应的位置。位置354被设定为与存储在标准化确定辞典310的第二行中的数据元“pix-标准化-2(x,y)”的值相对应的位置。位置355被设定为与存储在标准化确定辞典310的第三行中的数据元“pix-标准化-1(x,y)”的值相对应的位置。位置356被设定为与存储在标准化确定辞典310的第三行中的数据元“pix-标准化-2(x,y)”的值相对应的位置。
首先,零被设定为用于确定的分数S的值,并且使用存储在标准化确定辞典310的第一行中的数据元的各个值来执行计算。具体地,提取在与存储在标准化确定辞典310的第一行中的数据元“pix-标准化-1(x,y)”的值相对应的位置351的亮度A(1)和在与存储在标准化确定辞典310的第一行中的数据元“pix-标准化-2(x,y)”的值相对应的位置352的亮度B(1)。使用以下表达式来计算所提取的亮度之间的差C(1)。
C(1)=A(1)-B(1)
随后,将计算出的亮度之间的差C(1)与表示存储在标准化确定辞典310的第一行中的阈值的数据元“标准化θ”的值进行比较。即,确定差C(1)的值是否小于阈值“标准化θ”的值。当差C(1)小于阈值“标准化θ”时,将表示存储在标准化确定辞典310的第一行中的权重的数据元“标准化α”的值加上到分数S中。另一方面,当差C(1)不小于阈值“标准化θ”时,从分数S中减去标准化确定辞典310的第一行中的权重“标准化α”。
在此之后,使用存储在标准化确定辞典310的第二行中的数据元的各个值来重复上述计算。具体地,提取在与存储在标准化确定辞典310的第二行中的数据元“pix-标准化-1(x,y)”的值相对应的位置353的亮度A(2)和在与存储在标准化确定辞典310的第二行中的数据元“pix-标准化-2(x,y)”的值相对应的位置354的亮度B(2)。使用以下表达式来计算所提取的亮度之间的差C(2)。
C(2)=A(2)-B(2)
随后,将计算出的亮度之间的差C(2)与表示存储在标准化确定辞典310的第二行中的阈值“标准化θ”的值进行比较。即,确定计算出的差C(2)的值是否小于阈值“标准化θ”。当差C(2)小于阈值“标准化θ”时,将存储在标准化确定辞典310的第二行中的权重“标准化α”加上到分数S中。另一方面,当差C(2)不小于阈值“标准化θ”时,从分数S中减去标准化确定辞典310的第二行中的权重“标准化α”。
在此之后,使用在标准化确定辞典310的第三~第t行中的每一行中的数据元的各个值来重复上述计算。
换句话说,为了使用标准化确定辞典310来对标准化面部图像350进行确定,使用存储在标准化确定辞典310的第一~第t行中的每一行中的数据元的各个值,用以下表达式(1)来计算差C(i)。确定计算出的差C(i)是否满足以下表达式(2)。在这种情况下,变量i是范围1~t的整数。
C(i)=A(i)-B(i)......(1)
C(i)<θ(i)......(2)
当计算出的差C(i)满足表达式(2)时,将权重α(i)加上到分数S中。当计算出的差C(i)不满足表达式(2)时,从分数S中减去权重α(i)。在这种情况下,假设A(i)为与存储在第i行的数据元“pix-标准化-1(x,y)”相对应的亮度,假设B(i)为与存储在第i行中数据元“pix-标准化-2(x,y)”相对应的亮度,假设θ(i)为存储在第i行的阈值“标准化θ”,以及假设α(i)为存储在第i行中的权重“标准化α”。
在使用存储在标准化确定辞典310的第t行中的数据元的各个值进行计算之后,确定分数S是否大于0。
例如,假定根据上述的机器学习算法,在成功的标准化确定时获得的学习样值(sample)被认为是正值,而在不成功的标准化确定时获得的学习样值被认为是负值。在完成了使用存储在标准化确定辞典310的第一至~t行中的数据元的各个值进行的计算之后,当分数S大于0时,将经过确定的标准化面部图像确定为目标图像。换句话说,在利用标准化确定辞典310进行确定的情况下,将经过确定的标准化面部图像确定为成功标准化的图像。这同样应用于其他的标准化辞典。例如,在利用性别确定辞典320进行确定时,假定在将面部成功地确定为男性面部的确定时获得的学习样值被认为是正值,当分数S大于0时,将包括在经过确定的标准化面部图像中的面部确定为男性面部。此外,在利用世代确定辞典330进行确定时,假设在将面部成功地确定为成人面部的确定时获得的学习样值被认为是正值,当分数S大于0时,将包括在经过确定的标准化面部图像中的面部确定为成人面部。另外,在利用面部表情确定辞典340进行确定时,假定在将面部的表情成功地确定为笑表情的确定时获得的学习样值被认为是正值,当分数S大于0时,包括在经过确定的标准化面部图像中的面部被确定为笑面部。
另一方面,假定根据上述的机器学习算法,在成功确定时获得的学习样值被认为是正值以及在不成功确定时获得的学习样值被认为是负值,当在完成了使用存储在确定辞典的第一~第t行中的数据元的各个值进行的计算之后分数S大于0时,将被作为确定对象的标准化面部图像确定为非目标图像。例如,在使用标准化确定辞典310进行确定时,假定成功标准化确定的学习样值被认为是正值,当分数S小于0时,将经过确定的标准化面部图像确定为不成功标准化的图像。另外,在使用性别确定辞典320进行确定时,假定成功男性确定的学习样值被认为是正值,当分数S小于0时,包括在经过确定的标准化面部图像中的面部被确定为女性面部。在使用世代确定辞典330进行确定时,假定成功成人确定的学习样值被认为是正值,当分数S小于0时,将包括在经过确定的标准化面部图像中的面部确定为子女面部。在使用面部表情确定辞典340进行确定时,假定成功笑确定的学习样值被认为是正值,当分数S小于0时,包括在经过确定的标准化面部图像中的面部被认为是不笑面部。在本发明的该实施例中,对在使用任一确定辞典进行确定时将分数S与0进行比较的情况进行说明。可以将除0之外的值用于进行确定。换句话说,可以适当地调整将要与分数S进行比较的值。
在这种情况下,在完成了使用存储在确定辞典的第一~第t行中的每一行中的数据元的各个值进行的计算之后获得的分数S可以被表示为以下等式。
S = Σ i = 1 t [ sign ( θ ( i ) - pix 1 ( i ) + pix 2 ( i ) ) × α ( i ) ]
上述等式表示当x>0时等于1而当x≤0时等于-1的函数s(x)。
如上所述,经过确定的标准化图像的分辨率被设定为同一值,以及用于确定的特征量被统一为在标准化图像的两个点处的亮度之差。因此,可以将确定辞典中的任一个转换为另一个。可以根据同一算法生成多个属性信息块。
图5A~图5C是示意性地示出了由图像400生成的标准化面部图像的转变的示图,这些图像经过了关于标准化是否成功的确定。假定图像400是通过例如数码相机拍摄的静止图像并包括两个人401和402。
图5A示出了包括人物401和402的图像400。参考图5A,包括在图像400中的人物401和402的面部403和404分别由正方形框围住。由各个框围住的图像片段用作面部图像410和430。假定人401和402都是成年男性并且他们在笑。
图5B示出了从图像400中提取的面部图像410和430。参考图5B,在面部图像410中检测到的眼睛的位置分别由虚线十字411和412标示。假定已正确检测到面部图像410中的眼睛位置(由虚线十字411和412标示)。此外,假定眼镜部分被错误地检测为面部图像430中的眼睛并且没有使用虚线十字431和432正确地标出眼睛的位置。
图5C示出了通过对图5B示出的面部410和430进行标准化而获得的标准化面部图像420和440。在图5C中,虚线十字421和422标示与在图5B中的面部图像410中检测到的眼睛位置相对应的各个位置,以及虚线十字441和442表示与在面部图像430中检测到的眼睛位置相对应的各个位置。参考图5C,由于正确地检测出面部图像410中的眼睛位置(由图5B中的虚线十字411和412标示),所以面部图像410被成功地标准化。然而,因为检测到不正确的眼睛位置(由图5B中的虚线十字431和432标示),所以面部图像430未被成功地标准化。如上所述,当正确地检测到面部图像中的两只眼睛时,面部图像的成功标准化的可能性高。然而,当错误检测到面部图像中的两只眼睛时,面部图像的不成功标准化的可能性高。
当使用标准化确定辞典310来确定图5C中的标准化面部图像420和440中的每一个的标准化是否成功时,将标准化面部图像420确定为成功标准化,以及将另一个标准化面部图像440确定为不成功标准化。对于确定为不成功标准化的标准化面部图像,可以中止其他确定,并且可以终止关于相关面部的另外的属性信息块的生成。
图6A和图6B示出了关于图5C中的标准化面部图像420和440的属性信息组450和460,属性信息组450和460包括使用标准化确定辞典310、性别确定辞典320、世代确定辞典330、和面部表示确定辞典340对各个面部图像进行确定的结果。属性信息组450和460中的每一个均包括作为关于面部的属性信息块的确定结果(确定类型为“标准化”、“性别”、“世代(成人/子女)”和“面部表情(笑/不笑)”)。
对于关于“标准化”的确定,存储了表示“OK”或“NG”的属性信息块。如图6A所示,例如,由于标准化面部图像420的标准化成功,所以将属性信息块“OK”存储作为使用标准化确定辞典310进行标准化确定的结果。然而,如图6B所示,由于标准化面部图像440的标准化不成功,所以将属性信息块“NG”存储作为使用标准化确定辞典310进行标准化确定的结果。
对于关于“性别”的确定,存储了表示“男”或“女”的属性信息块。如图6A所示,例如,由于标准化面部图像420的标准化成功,所以将属性信息块“男”存储作为使用性别确定辞典320进行性别确定的结果。另一方面,由于标准化面部图像440的标准化不成功,所以尽管对应于标准化面部图像440的人是男人,仍将属性信息块“女”存储作为使用性别确定辞典320进行性别确定的结果。
对于关于“世代(成人/子女)”的确定,存储了表示“成人”或“子女”的属性信息块。如图6A所示,例如,由于标准化面部图像420的标准化成功,所以将属性信息块“成人”存储作为使用世代确定辞典330进行世代确定的结果。另一方面,如图6B所示,虽然标准化面部图像440的标准化不成功,但是属性信息块“成人”被存储作为使用世代确定辞典330进行世代确定的结果。
对于关于“面部表示(笑/不笑)”的确定,存储了表示“笑”或“不笑”的属性信息块。例如,如图6A所示,由于标准化面部图像420的标准化成功,所以将属性信息块“笑”存储作为使用面部表情确定辞典340进行面部表情确定的结果。另一方面,由于标准化面部图像440的标准化不成功,所以尽管对应于标准化面部图像440的人物是笑的,但是仍将属性信息块“不笑”存储作为使用面部表情确定辞典340进行面部表情确定的结果。
如上所述,确定的精确性在成功的标准化中高。然而,在许多情况下,确定的精确性在不成功的标准化中低。因此,可以如下使用基于确定结果而生成的属性信息:当面部图像具有包括例如表示作为标准化确定的结果的“OK”的属性信息的属性信息组时,将属性信息组用于各种应用中,相反,当面部图像具有包括表示作为标准化确定的结果的“NG”的属性信息的属性信息组时,不将属性信息组用于各种应用中。另外,可以存储基于确定计算出的分数S的值,并且可以根据分数S改变属性信息组的使用。此外,可以与确定为不成功标准化的面部图像的标准化图像相对应的面部图像相关联地来存储表示低可靠性的标记。
图7是示出了存储在属性信息存储单元240中的属性信息组500的示图。如图6A和图6B所示,基于对每个标准化面部图像进行确定的结果来生成多个属性信息块。这些属性信息块与各个面部图像相关地存储在属性信息存储单元240中。例如,用于识别面部图像的面部识别(ID)号“001”~“005”被分配给各个面部图像。这些面部ID号和各个属性信息块被存储作为属性信息组500,以使每个面部ID号与关于对应的面部图像的属性信息块相关联。例如,假定面部ID号“001”被分配给与图5C和图6A所示的标准化面部图像420相对应的面部图像410,以及面部ID号“002”被分配给与图5C和6B所示的标准化面部图像440相对应的面部图像430。在这种情况下,将包括在图6A所示的属性信息组450中的相同确定结果存储在面部ID号“001”下面的各列中。另外,将包括在图6B所示的属性信息组460中的相同确定结果存储在面部ID号“002”下面的各列中。可以使用包括在属性信息组500中的信息块来执行各种应用。
例如,当操作接收单元150接收给出将一列女性面部图像显示在显示单元190上的指令的操作输入时,在显示控制单元180的控制下,使用关于“性别”的属性信息块(即,表示被作为属性信息组500存储的属性信息块之中的“男”或“女”)从存储在面部图像存储单元210中的面部图像中仅提取出女性面部图像,从而可以将一列女性面部图像显示在显示单元190上。例如,提取与面部ID号“002”、“003”和“004”相对应的面部图像并显示在显示单元190上。然而,包括在与面部ID号“002”相对应的面部图像430中的面部404是如图5A和5B所示的男性面部。在这种情况下,显示在显示单元190上的这列女性面部图像包括男性面部。
因此,在属性信息组500中,表示“标准化:NG”的属性信息块没有被使用,这是因为它是不可靠的。仅可以使用表示“标准化:OK”的属性信息块。
例如,当操作接收单元150接收给出将一列女性面部图像显示在显示单元190上的指令的操作输入时,使用表示与面部ID号“001”、“003”、“004”和“005”相关联的“标准化:OK“的属性信息块从存储在面部图像存储单元210中的面部图像中仅提取出女性面部图像,而不使用表示与属性信息组500中的面部ID号“002”相关联的“标准化:NG”的属性信息块。这列女性面部图像被显示在显示单元190上。因此,可以防止在显示单元190上显示的这列女性面部图像包括男性面部。此外,可以将在确定时计算出的分数S的值存储作为在属性信息组500中的关于“标准化”的属性信息块。可以根据分数S来改变每个图像的使用。
将参考图8~图10来描述根据本发明的该实施例的图像处理器100的操作。
图8是通过图像处理器100生成标准化面部图像的处理的流程图。
首先,输入图像(步骤S911)。随后,检测包括在所输入图像中的面部并将包括所检测面部的面部图像存储到面部图像存储单元210中(步骤S912)。检测包括在所检测面部中的眼睛(步骤S913)。基于所检测眼睛的位置对面部图像进行标准化(步骤S914)。例如,如图2B所示,通过对面部图像250进行标准化来生成标准化面部图像260。此后,将所生成的标准化面部图像存储到标准化图像存储单元220中(步骤S915)。
图9是通过图像处理器100生成关于面部的属性信息的处理的流程图。以下描述涉及当操作接收单元150接收与生成关于面部的属性信息的指令相对应的操作输入时进行确定的情况。另外,以下描述涉及所有的确定辞典都用于生成多个属性信息块的情况。响应于通过操作接收单元150接收到的操作输入,可以生成单独的属性信息块。
首先,确定是否给出关于生成关于面部的属性信息的指令(步骤S921)。当没有给出生成关于面部的属性信息的任何指令时(步骤S921中的否),终止生成关于面部的属性信息的处理。然而,当给出了生成关于面部的属性信息的指令时(步骤S921中的是),从标准化图像存储单元220中读取所存储的标准化面部图像(步骤S922)。随后,从所读取的标准化面部图像中提取亮度(步骤S923)。此后,将还没被用于进行确定的确定辞典从存储了多个确定辞典的辞典存储单元230载入到工作存储器231中(步骤S924)。例如,从图3所示的各个确定辞典中载入标准化确定辞典310。随后,使用所载入的确定辞典来进行确定(步骤S930)。之后将参考图10来详细描述确定。
将确定结果作为关于经过确定的面部的属性信息存储到属性信息存储单元240中(步骤S925)。随后,确定存储在辞典存储单元230中的确定辞典中的任何一个是否还没被用于确定(步骤S926)。当存在未使用的确定辞典(步骤S926中的是)时,处理返回至步骤S924,并且重复处理步骤(即,步骤S924~S926和S930)以生成关于同一面部的属性信息。然而,当不存在未使用的确定辞典(步骤S926中的否)时,终止生成关于面部的属性信息的处理。
图10是在通过图像处理器100生成关于面部的属性信息的处理中进行确定(图9中的步骤S930)的处理的流程图。将相对于标准化面部图像是否为目标图像的确定来描述对本发明的该实施例。
首先,将分数S初始化为“0”(步骤S931)。将变量i初始化为“1”(步骤S932)。随后,从在步骤S923(参考图9)中从标准化面部图像中提取的亮度中选出与在步骤S924(参考图9))中载入工作存储器231的确定辞典的第i行中的位置pix-1(x,y)和pix-2(x,y)相对应的亮度(步骤S933)。此后,使用表达式(1),利用所选出的两个亮度来计算差C(i)(步骤S934)。
随后,确定计算出的两个亮度之间的差C(i)是否小于阈值θ(i)(步骤S935)。当差C(i)小于阈值θ(i)时(在步骤S935中的是),将权重α(i)加上到分数S中(步骤S936)。相反,当差C(i)不小于阈值θ(i)时(在步骤S935中的否),从分数S中减去权重α(i)(步骤S937)。
此后,将值“1”加上到变量i中(步骤S938)。确定变量i是否大于上限t(步骤S939)。当变量i不大于上限t时(在步骤S939中的否),意味着使用在步骤S923(参考图9)中载入的确定辞典的每一行中的值进行的确定没有完成。因此,处理返回至步骤S933并且使用相同的确定辞典来重复步骤S933~S939。然而,当变量i大于上限t时(在步骤S939中的是),意味着使用在步骤S923(参考图9)中载入确定辞典的每一行中的值进行的确定完成。因此,处理前进至步骤S940。确定分数S是否大于0(步骤S940)。
当分数S大于0时(在步骤S940中的是),将经过确定的标准化面部图像确定为目标图像(步骤S941)。相反,当分数S不大于0时(在步骤S940中的否),将经过确定的标准化面部图像确定为非目标图像(步骤S942)。此后,处理返回至图9中的步骤S930。
如上所述,根据本发明的该实施例,存储在辞典存储单元230中的各个确定辞典具有相同的结构,标准化单元140对经过确定的面部图像进行标准化,以使标准化面部图像具有预定分辨率,并且用于确定的特征量被标准化为在标准化图像的两个点处的亮度之间的差。因此,可以将确定辞典中的任一个切换到另一个,并且可以根据相同的算法生成多个属性信息块。有利地,由于在图像确定单元170将确定辞典中的任一个切换到另一个的同时,可以生成关于所检测面部的多个属性信息块,所以可以简化设备,从而减少了用于生成属性信息块的计算时间。换句话说,可以有效生成关于包括在图像中的面部的属性信息块。此外,可以显著降低设备的成本。
另外,使用存储在辞典存储单元230中的标准化确定辞典310来确定标准化面部图像的标准化是否成功,并且可以与生成另一个属性信息块类似的方式,将确定的结果作为关于面部图像的属性信息块存储到属性信息存储单元240中。因此,例如,当存储在面部图像存储单元210中的面部图像显示在显示单元190时,可以仅基于表示“标准化:OK”的属性信息块来显示面部图像而无需使用表示“标准化:NG”的属性信息块,这是因为属性信息块“标准化:NG”是不可靠的。因此,可以使用更高精确度的属性信息块来显示面部图像。另外,当对标准化面部图像的标准化进行确定的结果是“NG”时,可以停止生成关于标准化面部图像的另一个属性信息块。有利地,可以快速生成高精确度的属性信息块。
已相对于与面部有关地生成关于“标准化”、“性别”、“世代(成人/子女)”和“面部表情(笑/不笑)”的属性信息块的情况描述本发明的该实施例。可以将本发明的该实施例应用于生成关于面部的另一个属性信息块的情况。例如,关于面部的其他属性信息块可包括面部的两只眼睛的位置、眼睛的睁开/闭合状态、面部表情、种族性、面部摄影条件和面部朝向。已相对于存储在辞典存储单元230中的各个确定辞典被用做关于确定标准化面部图像是否为目标图像的评价信息组的情况描述本发明的该实施例。可以使用另一个评价信息组来确定关于标准化面部图像是否为目标图像。
已相对于检测包括在图像中的人物的面部并生成关于所检测面部的多个属性信息块的情况描述本发明的该实施例。可以将本发明的该实施例应用于在图像中检测除人的面部之外的另一对象并生成关于所检测对象的多个属性信息块的情况。例如,除包括在图像中的人的面部之外的其他对象可以包括宠物(例如,猫或狗)的面部和动物(例如,马或牛)的面部。
已相对于图像处理器描述本发明的该实施例。可以将本发明的该实施例应用于图像显示设备(例如,便携式终端)和成像设备(例如,数码相机),它们都能够输入和显示诸如运动图像或静止图像的图像。
本发明的实施例是用于例示本发明的实例。虽然在权利要求的特征和本发明实施例中的具体元件之间存在对应关系,但是如后所述,本发明并不限于实施例。本领域的技术人员应理解,可以根据设计要求和其他因素进行各种修改、组合、子组合和改进,均应包含在本发明的权利要求或等同物的范围内。
换句话说,例如,图像处理器100对应于根据本发明第一实施例的图像处理设备。例如,图像处理器100也对应于根据本发明第二实施例的图像显示设备。例如,图像处理器100还对应于根据本发明第三实施例的成像设备。
例如,辞典存储单元230对应于根据本发明的第一~第五实施例中的每一个的评价信息存储装置。例如,图像输入单元110对应于根据本发明的第一~第五实施例中的每一个的图像输入装置。例如,面部检测单元120对应于根据本发明的第一~第五实施例中的每一个的面部检测装置。
例如,标准化单元140对应于根据本发明的第一~第五实施例中的每一个的标准化装置。
例如,特征提取单元160对应于根据本发明的第一~第五实施例中的每一个的特征提取装置。
例如,图像确定单元170对应于根据本发明的第一~第五实施例中的每一个的属性信息生成装置。
例如,眼睛检测单元130对应于根据本发明的第一实施例的面部特征检测装置。
例如,显示单元190对应于根据本发明第二实施例的显示装置。例如,显示控制单元180对应于根据本发明第二实施例的显示控制装置。
例如,步骤S911对应于根据本发明的第四和第五实施例中的每一个的图像输入步骤。例如,步骤S912对应于根据本发明的第四和第五实施例中的每一个的标准化步骤。步骤S923对应于根据本发明的第四和第五实施例中的每一个的特征提取步骤。步骤S930对应于根据本发明的第四和第五实施例中的每一个的属性信息生成步骤。
在本发明之前的实施例中所述的处理步骤可以被当作包括那些处理步骤的方法、使计算机执行那些处理步骤的程序或者存储该程序的记录介质。

Claims (19)

1.一种图像处理设备,包括:
评价信息存储装置,用于存储用来确定被作为确定对象的图像是否为目标图像的多个评价信息组;
图像输入装置,用于输入图像;
面部检测装置,用于检测包括在所输入图像中的面部;
标准化装置,用于对作为包括所检测面部的图像片段的面部图像进行标准化,以使所述面部图像具有预定分辨率;
特征提取装置,用于提取标准化后的面部图像的特征量;以及
属性信息生成装置,用于基于所提取的特征量和存储在所述评价信息存储装置中的每个评价信息组,确定所述面部图像是否为与所述评价信息组相关联的所述目标图像,并且作为确定结果,生成关于包括在所述面部图像中的所述面部的属性信息块。
2.根据权利要求1所述的设备,其中,
每一个所述评价信息组均包括在被作为确定对象的图像中的位置和阈值的组合,以及
所述属性信息生成装置基于与包括在每个评价信息组中的所述位置相对应的所述标准化后的面部图像的特征量和与所述位置相关联的所述阈值,确定所述面部图像是否为与所述评价信息组相关联的所述目标图像。
3.根据权利要求1所述的设备,其中,
每一个所述评价信息组均包括在被作为确定对象的图像中的两个位置和阈值的组合,以及
所述属性信息生成装置计算对应于与包括在每个评价信息组中的所述组合相关联的所述两个位置的所述标准化后的面部图像的特征量之间的差,将计算出的差和与所述组合相关联的所述阈值进行比较,并且基于比较结果来确定所述面部图像是否为与所述评价信息组相关联的所述目标图像。
4.根据权利要求1所述的设备,其中,
每一个所述评价信息组均包括每一个均包括被作为确定对象的图像中的两个位置和阈值的多个组合,以及
所述属性信息生成装置计算对应于与包括在每个评价信息组中的每个所述组合相关联的所述两个位置的所述标准化后的面部图像的特征量之间的差,将计算出的差和与所述组合相关联的所述阈值进行比较,并且基于比较结果来确定所述面部图像是否为与所述评价信息组相关联的所述目标图像。
5.根据权利要求1所述的设备,其中,
每一个所述评价信息组均包括每一个均包括被作为确定对象的图像中的两个位置、阈值和权重的多个组合;以及
所述属性信息生成装置计算对应于与包括在每个评价信息组中的每个所述组合相关联的两个位置的所述标准化后的面部图像的特征量之间的差,将计算出的差和与所述组合相关联的所述阈值进行比较,并且基于比较结果加上或减去所述权重以获得与包括在所述评价信息组中的所述组合相关联的值的和,并且基于所述和来确定所述面部图像是否为与所述评价信息组相关联的所述目标图像。
6.根据权利要求1所述的设备,其中,所述特征提取装置提取亮度作为所述标准化后的面部图像的特征量。
7.根据权利要求1所述的设备,其中,
存储在所述评价信息存储装置中的所述多个评价信息组中的至少一个是用于确定所述标准化后的面部图像的标准化是否成功的一组标准化确定信息,以及
所述属性信息生成装置基于存储在所述评价信息存储装置中的所述标准化确定信息组来确定所述标准化后的面部图像的所述标准化是否成功,并且作为确定结果,生成关于包括在所述面部图像中的所述面部的属性信息块。
8.根据权利要求7所述的设备,其中,当确定所述标准化面部图像的所述标准化不成功时,所述属性信息生成装置停止生成另外的关于包括在所述面部图像中的所述面部的属性信息块。
9.根据权利要求1所述的设备,还包括:
面部特征检测装置,用于检测包括在所述检测面部中的至少一个特征,其中,
所述标准化装置基于所检测特征的位置来对所述检测面部的所述面部图像进行标准化。
10.根据权利要求9所述的设备,其中,
所述面部特征检测装置包括用于检测所述检测面部的两只眼睛的眼睛检测装置,以及
所述标准化装置基于所检测眼睛的位置对所述检测面部的所述面部图像进行标准化。
11.根据权利要求9所述的设备,其中,所述标准化装置基于所检测特征的位置来对所述检测面部的所述面部图像执行仿射变换。
12.根据权利要求1所述的设备,其中,通过所述属性信息生成装置生成的多个属性信息块包括关于所述面部的两只眼睛的位置、眼睛的睁开/闭合状态、面部表情、性别、世代、种族、面部摄影条件和面部朝向的至少两个信息块。
13.一种图像显示设备,包括:
评价信息存储装置,用于存储用来确定被作为确定对象的图像是否为目标图像的多个评价信息组;
图像输入装置,用于输入图像;
面部检测装置,用于检测包括在所输入图像中的面部;
显示装置,用于显示作为包括所检测面部的图像片段的面部图像;
标准化装置,用于对所述面部图像进行标准化,以使所述面部图像具有预定分辨率;
特征提取装置,用于提取标准化后的面部图像的特征量;
属性信息生成装置,用于基于所提取的特征量和存储在所述评价信息存储装置中的每个评价信息组,确定所述面部图像是否为与所述评价信息组相关联的所述目标图像,并且作为确定结果,生成关于包括在所述面部图像中的所述面部的属性信息块;以及
显示控制装置,用于基于所生成的属性信息块来控制所述面部图像在所述显示装置上的显示。
14.一种成像设备,包括:
评价信息存储装置,用于存储用来确定被作为确定对象的图像是否为目标图像的多个评价信息组;
图像输入装置,用于输入通过拍摄对象而获得的图像;
面部检测装置,用于检测包括在所输入图像中的面部;
标准化装置,用于对作为包括所检测面部的图像片段的面部图像进行标准化,以使所述面部图像具有预定分辨率;
特征提取装置,用于提取标准化后的面部图像的特征量;
属性信息生成装置,用于基于所提取的特征量和存储在所述评价信息存储装置中的每个评价信息组,确定所述面部图像是否为与所述评价信息组相关联的所述目标图像,并且作为确定结果,生成关于包括在所述面部图像中的所述面部的属性信息块。
15.一种关于图像处理设备的图像处理的方法,所述图像处理设备包括用于存储用来确定被作为确定对象的图像是否为目标图像的多个评价信息组的评价信息存储装置,所述方法包括以下步骤:
输入图像;
检测包括在所输入图像中的面部;
对作为包括所检测面部的面部片段的面部图像进行标准化,以使所述面部图像具有预定分辨率;
提取标准化后的面部图像的特征量;以及
基于所提取的特征量和存储在所述评价信息存储装置中的每个评价信息组,确定所述面部图像是否为与所述评价信息组相关联的所述目标图像,并且作为确定结果,生成关于包括在所述面部图像中的所述面部的属性信息块。
16.一种使计算机执行关于图像处理设备的图像处理的方法的程序,所述图像处理设备包括用于存储用来确定被作为确定对象的图像是否为目标图像的多个评价信息组的评价信息存储装置,所述方法包括以下步骤:
输入图像;
检测包括在所输入图像中的面部;
对作为包括所检测面部的面部片段的面部图像进行标准化,以使所述面部图像具有预定分辨率;
提取标准化后的面部图像的特征量;以及
基于所提取的特征量和存储在所述评价信息存储装置中的每个评价信息组,确定所述面部图像是否为与所述评价信息组相关联的所述目标图像,并且作为确定结果,生成关于包括在所述面部图像中的所述面部的属性信息块。
17.一种图像处理设备,包括:
评价信息存储部,用于存储用来确定被作为确定对象的图像是否为目标图像的多个评价信息组;
图像输入部,用于输入图像;
面部检测部,用于检测包括在所输入图像中的面部;
标准化部,用于对作为包括所检测面部的图像片段的面部图像进行标准化,以使所述面部图像具有预定分辨率;
特征提取部,用于提取标准化后的面部图像的特征量;以及
属性信息生成部,用于基于所提取的特征量和存储在所述评价信息存储部中的每个评价信息组,确定所述面部图像是否为与所述评价信息组相关联的所述目标图像,并且作为确定结果,生成关于包括在所述面部图像中的所述面部的属性信息块。
18.一种图像显示设备,包括:
评价信息存储部,用于存储用来确定被作为确定对象的图像是否为目标图像的多个评价信息组;
图像输入部,用于输入图像;
面部检测部,用于检测包括在所输入图像中的面部;
显示部,用于显示作为包括所检测面部的图像片段的面部图像;
标准化部,用于对所述面部图像进行标准化,以使所述面部图像具有预定分辨率;
特征提取部,用于提取标准化后的面部图像的特征量;
属性信息生成部,用于基于所提取的特征量和存储在所述评价信息存储部中的每个评价信息组,确定所述面部图像是否为与所述评价信息组相关联的所述目标图像,并且作为确定结果,生成关于包括在所述面部图像中的所述面部的属性信息块;以及
显示控制部,用于基于所生成的属性信息块来控制所述面部图像在所述显示部上的显示。
19.一种成像设备,包括:
评价信息存储部,用于存储用来确定被作为确定对象的图像是否为目标图像的确定的多个评价信息组;
图像输入部,用于输入通过拍摄对象而获得的图像;
面部检测部,用于检测包括在所输入图像中的面部;
标准化部,用于对作为包括所检测面部的图像片段的面部图像进行标准化,以使所述面部图像具有预定分辨率;
特征提取部,用于提取标准化后的面部图像的特征量;
属性信息生成部,用于基于所提取的特征量和存储在所述评价信息存储部中的每个评价信息组,确定所述面部图像是否为与所述评价信息组相关联的所述目标图像,并且作为确定结果,生成关于包括在所述面部图像中的所述面部的属性信息块。
CNA200810100456XA 2007-06-11 2008-06-11 图像处理设备、图像显示设备、成像设备、其图像处理方法和程序 Pending CN101324954A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007154386A JP4434236B2 (ja) 2007-06-11 2007-06-11 画像処理装置、画像表示装置、撮像装置、これらの処理方法およびプログラム
JP2007154386 2007-06-11

Publications (1)

Publication Number Publication Date
CN101324954A true CN101324954A (zh) 2008-12-17

Family

ID=40095941

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA200810100456XA Pending CN101324954A (zh) 2007-06-11 2008-06-11 图像处理设备、图像显示设备、成像设备、其图像处理方法和程序

Country Status (4)

Country Link
US (1) US8085996B2 (zh)
JP (1) JP4434236B2 (zh)
CN (1) CN101324954A (zh)
TW (1) TW200917160A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840504A (zh) * 2009-01-09 2010-09-22 索尼公司 对象检测设备、图像拾取设备、对象检测方法和程序
CN102365645A (zh) * 2009-01-05 2012-02-29 苹果公司 通过关联面部来组织数字图像
CN102385437A (zh) * 2010-08-31 2012-03-21 索尼公司 信息处理设备、方法和程序
WO2012139268A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Gesture recognition using depth images
CN103186770A (zh) * 2011-12-27 2013-07-03 佳能株式会社 被摄体识别装置及词典数据登记方法
US9514355B2 (en) 2009-01-05 2016-12-06 Apple Inc. Organizing images by correlating faces
CN108009465A (zh) * 2016-10-31 2018-05-08 杭州海康威视数字技术股份有限公司 一种人脸识别方法及装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4663699B2 (ja) * 2007-09-27 2011-04-06 富士フイルム株式会社 画像表示装置、及び画像表示方法
US8532344B2 (en) * 2008-01-09 2013-09-10 International Business Machines Corporation Methods and apparatus for generation of cancelable face template
JP4966260B2 (ja) * 2008-06-25 2012-07-04 キヤノン株式会社 画像処理方法および画像処理装置、プログラム並びに、コンピュータ読み取り可能な記憶媒体
KR20100072772A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법
JP4710979B2 (ja) 2009-01-09 2011-06-29 ソニー株式会社 対象物検出装置、学習装置、対象物検出方法およびプログラム
US8326001B2 (en) * 2010-06-29 2012-12-04 Apple Inc. Low threshold face recognition
JP2012203613A (ja) 2011-03-25 2012-10-22 Sony Corp 画像処理装置および方法、記録媒体並びにプログラム
JP6280382B2 (ja) * 2013-03-08 2018-02-14 キヤノン株式会社 画像処理装置および画像処理方法
EP3063731B1 (en) 2013-10-28 2020-03-04 Google LLC Image cache for replacing portions of images
JP6624878B2 (ja) * 2015-10-15 2019-12-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN106951825B (zh) * 2017-02-13 2021-06-29 苏州飞搜科技有限公司 一种人脸图像质量评估系统以及实现方法
US10795979B2 (en) 2017-09-27 2020-10-06 International Business Machines Corporation Establishing personal identity and user behavior based on identity patterns
US10803297B2 (en) 2017-09-27 2020-10-13 International Business Machines Corporation Determining quality of images for user identification
US10776467B2 (en) 2017-09-27 2020-09-15 International Business Machines Corporation Establishing personal identity using real time contextual data
US10839003B2 (en) 2017-09-27 2020-11-17 International Business Machines Corporation Passively managed loyalty program using customer images and behaviors
US10565432B2 (en) * 2017-11-29 2020-02-18 International Business Machines Corporation Establishing personal identity based on multiple sub-optimal images
JP2019185384A (ja) * 2018-04-10 2019-10-24 キヤノン株式会社 画像認証装置、画像認証方法、コンピュータプログラムおよび記憶媒体
WO2023189195A1 (ja) * 2022-03-30 2023-10-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN114694186B (zh) * 2022-06-01 2022-08-26 南京优牧大数据服务有限公司 牛脸识别数据处理方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106887B2 (en) * 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
US7099510B2 (en) * 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
JP4675492B2 (ja) 2001-03-22 2011-04-20 本田技研工業株式会社 顔画像を使用した個人認証装置
US6895103B2 (en) * 2001-06-19 2005-05-17 Eastman Kodak Company Method for automatically locating eyes in an image
EP2955662B1 (en) * 2003-07-18 2018-04-04 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
JP2005078376A (ja) 2003-08-29 2005-03-24 Sony Corp 対象物検出装置、対象物方法、及びロボット装置
JP4517633B2 (ja) 2003-11-25 2010-08-04 ソニー株式会社 対象物検出装置及び方法
JP4217664B2 (ja) * 2004-06-28 2009-02-04 キヤノン株式会社 画像処理方法、画像処理装置
JP2006115406A (ja) * 2004-10-18 2006-04-27 Omron Corp 撮像装置
JP2007028555A (ja) 2005-07-21 2007-02-01 Sony Corp カメラシステム,情報処理装置,情報処理方法,およびコンピュータプログラム
JP4708948B2 (ja) * 2005-10-03 2011-06-22 富士フイルム株式会社 顔向き特定方法、顔判別方法および装置並びにプログラム
CN100397410C (zh) 2005-12-31 2008-06-25 北京中星微电子有限公司 基于视频的面部表情识别方法及装置
JP4532419B2 (ja) * 2006-02-22 2010-08-25 富士フイルム株式会社 特徴点検出方法および装置並びにプログラム
JP2007272685A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp 自動トリミング方法および装置ならびにプログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495583B2 (en) 2009-01-05 2016-11-15 Apple Inc. Organizing images by correlating faces
CN102365645A (zh) * 2009-01-05 2012-02-29 苹果公司 通过关联面部来组织数字图像
US9977952B2 (en) 2009-01-05 2018-05-22 Apple Inc. Organizing images by correlating faces
US9514355B2 (en) 2009-01-05 2016-12-06 Apple Inc. Organizing images by correlating faces
CN101840504A (zh) * 2009-01-09 2010-09-22 索尼公司 对象检测设备、图像拾取设备、对象检测方法和程序
CN102385437A (zh) * 2010-08-31 2012-03-21 索尼公司 信息处理设备、方法和程序
WO2012139268A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Gesture recognition using depth images
US8718327B2 (en) 2011-04-11 2014-05-06 Intel Corporation Gesture recognition using depth images
CN103477352A (zh) * 2011-04-11 2013-12-25 英特尔公司 使用深度图像的姿势识别
CN103186770B (zh) * 2011-12-27 2016-06-01 佳能株式会社 被摄体识别装置及词典数据登记方法
CN103186770A (zh) * 2011-12-27 2013-07-03 佳能株式会社 被摄体识别装置及词典数据登记方法
CN108009465A (zh) * 2016-10-31 2018-05-08 杭州海康威视数字技术股份有限公司 一种人脸识别方法及装置
CN108009465B (zh) * 2016-10-31 2021-08-27 杭州海康威视数字技术股份有限公司 一种人脸识别方法及装置

Also Published As

Publication number Publication date
US8085996B2 (en) 2011-12-27
US20080304749A1 (en) 2008-12-11
JP4434236B2 (ja) 2010-03-17
TW200917160A (en) 2009-04-16
JP2008305342A (ja) 2008-12-18

Similar Documents

Publication Publication Date Title
CN101324954A (zh) 图像处理设备、图像显示设备、成像设备、其图像处理方法和程序
Ko et al. Sign language recognition with recurrent neural network using human keypoint detection
CN108133238B (zh) 一种人脸识别模型训练方法和装置及人脸识别方法和装置
US10380414B2 (en) Method and system of facial expression recognition using linear relationships within landmark subsets
US8593452B2 (en) Face feature vector construction
Lubenko et al. Steganalysis with mismatched covers: Do simple classifiers help?
US20070122009A1 (en) Face recognition method and apparatus
CN111767883B (zh) 一种题目批改方法及装置
JP6003492B2 (ja) 文字認識装置及びプログラム
CN103168314A (zh) 用于基于面部动作单元识别个体的情绪的方法和设备
EP2717223A1 (en) Information processing device, information processing method, and information processing program
CN109189970A (zh) 图片相似度比对方法和装置
US20120195474A1 (en) Method and apparatus for evaluating human pose recognition technology
KR20220042335A (ko) 자동 수어 인식 방법 및 시스템
CN110503090B (zh) 基于受限注意力模型的字符检测网络训练方法、字符检测方法和字符检测器
CN113033271A (zh) 利用人工智能模块学习脸部辨识的处理方法
CN111008624A (zh) 光学字符识别方法和产生光学字符识别的训练样本的方法
Dhruva et al. Novel algorithm for image processing based hand gesture recognition and its application in security
CN113642639A (zh) 活体检测方法、装置、设备和存储介质
CN111062262B (zh) 发票识别方法以及发票识别装置
CN113689527A (zh) 一种人脸转换模型的训练方法、人脸图像转换方法
CN116310976A (zh) 学习习惯养成方法、装置、电子设备及存储介质
KR102476334B1 (ko) 딥러닝 기반 일기 생성 방법 및 장치
CN111860212B (zh) 人脸图像的超分方法、装置、设备及存储介质
Nagendrarajah et al. Recognition of expression variant faces-a principle component analysis based approach for access control

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20160323

C20 Patent right or utility model deemed to be abandoned or is abandoned