CN102422325A - 用于识别对象及另一低级别对象的模式识别装置及其方法 - Google Patents

用于识别对象及另一低级别对象的模式识别装置及其方法 Download PDF

Info

Publication number
CN102422325A
CN102422325A CN2010800210921A CN201080021092A CN102422325A CN 102422325 A CN102422325 A CN 102422325A CN 2010800210921 A CN2010800210921 A CN 2010800210921A CN 201080021092 A CN201080021092 A CN 201080021092A CN 102422325 A CN102422325 A CN 102422325A
Authority
CN
China
Prior art keywords
likelihood
characteristic quantity
calculation unit
predetermine
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800210921A
Other languages
English (en)
Other versions
CN102422325B (zh
Inventor
矢野光太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102422325A publication Critical patent/CN102422325A/zh
Application granted granted Critical
Publication of CN102422325B publication Critical patent/CN102422325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

在模式识别装置中,特征量计算单元计算如下的特征量,该特征量用于从输入模式中剪取的部分图像中识别期望的对象,似然性计算单元通过参照对象字典,根据由特征量计算单元计算出的特征量,来计算作为识别目标的对象的似然性,并且,对象确定单元基于由似然性计算单元计算出的对象的似然性,来确定该部分图像是否是作为识别目标的对象。似然性计算单元通过参照特定对象字典,根据由特征量计算单元计算出的特征量,来计算作为识别目标的对象的似然性。对象确定单元基于由似然性计算单元计算出的对象的似然性,来确定该部分图像是否是作为识别目标的特定对象。

Description

用于识别对象及另一低级别对象的模式识别装置及其方法
技术领域
本发明涉及一种模式识别装置及其方法,所述模式识别装置及其方法被配置为基于输入模式来识别预定对象,并且进一步识别级别比该预定对象的级别低的特定对象。
背景技术
在检测人物的面部时,可以利用基于图像来检测特定对象模式的图像处理方法。因此,能够在诸如电信会议、人机接口、安全系统和跟踪人物的面部的监视系统等的各种场合和技术领域,来使用该图像处理方法。
为了检测图像中的人物的面部,例如,可以使用在Yang et al,″Detecting Faces in Images:A Survey″,IEEE TRANSACTIONS ONPATTERN ANALYSIS AND MACHINE INTELLIGENCE,VOL.24,NO.1,JANUARY 2002中讨论的方法。这种方法基于几个显著特征(例如人物的面部的眼睛、嘴和鼻子)以及这些特征之间的几何位置关系,来检测人物的面部。
另外,Yang et al,″Detecting Faces in Images:A Survey″,IEEETRANSACTIONS ON PATTERN ANALYSIS AND MACHINEINTELLIGENCE,VOL.24,NO.1,JANUARY 2002讨论了如下的方法,即基于人物的面部的对称特征和人物的面部的颜色的特征,利用模板匹配方法和神经网络方法,来检测人物的面部。
近年来,期望有如下的方法,即除了简单地检测人物的面部之外,还能够基于检测到的人物的面部来区分并识别特定人物。更具体地说,如果能够从拍摄的多个人物的图像中区分并识别特定人物,则用于识别使用照相机在图像中拍摄的人物的面部、并且被配置为根据识别出的面部执行适当的曝光和聚焦控制的应用,能够执行适合于特定人物的控制。
然而,当前无法容易地实现对人物的面部和特定人物的面部的识别。更具体地说,日本专利申请特开第2007-115109号公报讨论了如下方法,即基于人物的肤色的特征来识别人物的面部,获取识别出的面部的关注区域,并且基于用作特征量的所获取的关注区域的位置来识别特定人物的面部。
这种方法分开执行对人物的面部的识别和对特定人物的面部的识别。如果简单地组合使用识别图像中的特定人物的面部的处理,则需要在各个处理中计算特征量并且执行面部识别。因此,在这种情况下,需要执行复杂的处理。
通常,不仅在组合执行面部识别和对特定人物的面部的识别时,而且在组合执行对高级别的对象和低级别的另一对象的识别时,都出现上述问题。
换句话说,期望面部识别应用能够在识别诸如人物的面部的高级别对象之后,识别诸如特定人物的面部的低级别对象。
此外,对于通过从大量图像之中识别动物的图像来搜索动物的图像的应用,期望搜索属于比动物图像的类别低的类别的狗的图像。另外,对于识别并强调在运行车辆的场景的视频中拍摄的交通标志和指示牌的车辆导航应用,期望区分并强调特定指示牌。
[引用文献列表]
[专利文献]
[PTL 1]
日本专利申请特开第2007-115109号公报
[非专利文献]
[NPL 1]
Yang et al,″Detecting Faces in Images:A Survey″,IEEETRANSACTIONS ON PATTERN ANALYSIS AND MACHINEINTELLIGENCE,VOL.24,NO.1,JANUARY 2002
[NPL 2]
Viola and Jones,″Rapid Object Detection using Boosted Cascade ofSimple Features″,Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition(CVPR′01)
发明内容
本发明旨在提供一种能够使用简单的配置来实现对高级别类别对象的识别和对属于低级别类别的特定对象的识别的模式识别装置。
根据本发明的一方面,提供了一种模式识别装置,该模式识别装置包括:特征量计算单元,被配置为计算输入模式的特征量;基于预定对象的特征量的分布而生成的对象字典;基于所述预定对象中的特定对象的特征量的分布而生成的特定对象字典;第一似然性计算单元,被配置为通过参照所述对象字典,基于由所述特征量计算单元计算出的特征量,来对于所述输入模式是否是所述预定对象的计算第一似然性;第一对象确定单元,被配置为基于所述第一似然性,来确定所述输入模式是否是所述预定对象的;第二似然性计算单元,被配置为如果所述第一对象确定单元确定所述输入模式是所述预定对象的,则通过参照所述特定对象字典,基于由所述特征量计算单元计算出的所述特征量,来对于所述输入模式是否是所述特定对象的计算第二似然性;以及第二对象确定单元,被配置为基于所述第二似然性,来确定所述输入模式是否是所述特定对象的。
从以下参照附图对示例性实施例的详细描述,本发明的其它特征和方面将变得清楚。
附图说明
包含在说明书中、构成说明书的一部分的附图,示出了本发明的示例性实施例、特征和方面,并且与文字说明一起,用于解释本发明的原理。
图1示出了模式识别装置的示例性配置。
图2是示出识别预定对象的方法的示例性处理流的流程图。
图3示出了在图像中搜索面部模式的方法的示例。
图4示出了人物的面部的特征量的示例。
图5示出了用于计算对象的似然性的参照表的示例。
图6示出了识别结果的输出的示例。
图7是示出执行用于识别特定对象的设置的方法的示例性处理流的流程图。
图8示出了用于计算特定对象的似然性的参照表的示例。
图9是示出识别特定对象的方法的示例性处理流的流程图。
图10示出了人物的面部和特定人物的面部的识别结果的输出的示例。
图11示出了模式识别装置的配置的另一示例。
具体实施方式
下面,将参照附图详细描述本发明的各种示例性实施例、特征和方面。
图1是示出根据本发明的示例性实施例的模式识别装置的示例性配置的框图。
参照图1,模式识别装置包括图像输入单元10、模式提取单元20、特征量计算单元30、似然性计算单元40、对象确定单元50、识别结果输出单元60、对象字典100、特定对象字典110和字典生成单元200。
图像输入单元10获取由照相机的摄像单元(未示出)拍摄的图像的数据。模式提取单元20从由图像输入单元10获取的图像数据中,剪取要进行模式识别的部分图像。
特征量计算单元30计算如下的特征量,该特征量用来从由模式提取单元20剪取的部分图像中识别期望的对象。似然性计算单元40基于由特征量计算单元30计算的特征量,计算作为识别目标的对象的似然性。
对象确定单元50基于由40计算的对象的似然性,来确定由模式提取单元20剪取的部分图像是否是要识别的对象。
识别结果输出单元60输出由对象确定单元50进行的识别的结果。更具体地说,如果对象确定单元50确定识别出的对象是期望的对象,则识别结果输出单元60以能够将部分图像区域与其它图像区域区分开来的方式,在模式识别装置的显示器上显示部分图像的区域。
对象字典100和特定对象字典110存储似然性计算单元40在计算似然性时使用的期望的识别目标对象的特征。可以基于多个对象的模式,通过机器学习事先生成对象字典100。
字典生成单元200生成用来基于由特征量计算单元30计算的特征量来识别特定对象的特定对象字典110。由模式识别装置的控制单元(未示出)控制这些单元中的各个的操作。
现在,将在下面详细描述具有上述配置的模式识别装置的操作。模式识别装置执行以下操作:
(1)使用事先存储的对象字典对预定对象的识别;
(2)用于执行对属于低级别类别的特定对象的识别的设置;以及
(3)对属于低级别类别的特定对象的识别。
现在,将在下面详细描述上述项目操作(1),即对预定对象的识别。
图2是示出使用事先存储的对象字典来识别预定对象的方法的示例性处理流的流程图。在本示例性实施例中,将描述识别图像中的人物的面部的方法。
参照图2,在步骤S101中,图像输入单元10获取由摄像单元(未示出)拍摄的图像的数据。图像数据包括包含8位像素的二维排列的数据。图像数据包括红色(R)、绿色(G)和蓝色(B)(RGB)图像平面。
更具体地说,图像输入单元10将RGB图像数据转换为亮度图像数据。将亮度图像数据存储在图像存储器(未示出)上,并在后续处理中使用。如果获取了YUV图像数据作为图像数据,则也可以将Y分量按原样用作亮度数据。
在步骤S102中,模式提取单元20从图像存储器加载在步骤S101中获取的图像数据,并且从图像数据中剪取作为对象识别的目标区域的部分图像。更具体地说,在步骤S102中,模式提取单元20依次在垂直方向和水平方向上扫描整个图像,如图3所示。由此,模式提取单元20从图像数据中检测人物的面部,并且确定剪取的位置(范围)。
此外,为了检测具有不同大小的面部,还可以如图3所示,将加载的图像数据依次以预定缩小比率缩小,并且以前述方式扫描用于面部检测的图像。通过上述处理剪取的部分图像,成为在稍后的阶段中执行的识别中的关于图像是否包括人物的面部的确定的目标。
在步骤S103中,特征量计算单元30计算如下的特征量,该特征量用来从由模式提取单元20剪取的部分图像中识别期望的对象。对于用来识别人物的面部的特征量,可以使用诸如眼睛之间的距离与从嘴到眼睛的高度(距离)的比率的面部的特征。
下面,参照图4,来描述获取眼睛之间的距离与从嘴到眼睛的距离的比率的方法。如图4所示,特征量计算单元30从由模式提取单元20所剪取的部分图像R中,提取亮度比周围部分的亮度暗的三个部分,作为眼睛和嘴的候选对象。此外,特征量计算单元30计算眼睛之间的距离L1和从眼睛到嘴的距离L2(图4)。另外,特征量计算单元30通过下面的表达式(1)计算用于面部区分的特征量f:
[数学式1]
f=L1/L2
在图4所示的示例中,部分图像R是人物的面部的图像(面部图像)。然而,如果部分图像R不是面部图像,则特征量计算单元30执行对眼睛和嘴的候选对象的三个部分的提取以及对特征量f的计算。
另外,通过使用指示人物的面部的多个特征量的组合,能够以高精度执行对人物的面部的识别。更具体地说,还可以利用Viola and Jones,″Rapid Object Detection using Boosted Cascade of Simple Features″,Proceedings of the IEEE Conference on Computer Vision and PatternRecognition(CVPR′01)讨论的、组合使用多个特征量的传统方法。在这种传统方法中,组合使用六千或更多个指示特定区域中的明度对比的特征量。
在步骤S104中,似然性计算单元40基于由特征量计算单元30计算的特征量,并且使用对象字典100,来计算作为识别目标的对象的似然性。
对象字典100(在本示例性实施例中,对象字典100是包括人物的面部的数据的字典)事先将与特征量f的值相对应的似然性(指示包括人物的面部的部分图像的似然性的值)存储为表。在本示例性实施例中,似然性计算单元40基于特征量f的值来确定用于参照的表的箱(bin),并且计算存储在所确定的箱中的值作为似然性。
图5示出了表的示例。参照图5,似然性在垂直轴C上取值。以如下方式来生成表。
提供要识别的对象(在本示例性实施例中为人物的面部的图像)的多个样本图像模式,以及识别目标对象之外的对象的多个样本图像模式。可以提供一万或更多个模式,作为识别目标样本模式和识别非目标样本模式中的各个。
此外,特征量计算单元30基于图像模式中的各个来计算特征量f。似然性计算单元40基于识别目标对象(面部)的所有图像模式之中的特征量f的值,确定用于参照的表的箱的位置。另外,似然性计算单元40计算特征量f的频率的分布,作为面部概率分布Pr(f|IF)。在本示例性实施例中,“IF”表示面部图像模式,而“Pr(f|IF)”表示面部图像模式的特征量f的概率分布。
另外,似然性计算单元40基于识别目标对象(面部)之外的对象的所有图像模式的特征量f的值,来确定用于参照的表的箱的位置,并且计算频率的分布,作为非面部概率分布Pr(f|INF)。在本示例性实施例中,“INF”表示非面部图像模式,而“Pr(f|INF)”表示非面部图像模式的特征量f的概率分布。可以由下面的表达式(2)计算面部似然性C:
[数学式2]
C=log[{Pr(f|IF)}/{Pr(f|INF)}]
因此,可以针对特征量f的各个箱,对对象字典设置通过表达式(2)计算的似然性C的值。
如前所述,通过组合使用人物的面部的特征的多个特征量,能够以高精度执行面部识别。在计算似然性时组合使用多个特征量时,似然性计算单元40计算多个特征量中的各个的似然性,并且将似然性值的总和设置为面部似然性。更具体地说,可以由下面的表达式(3)计算面部似然性C:
[数学式3]
C = Σ k Ck ( fk )
其中,“fk”表示第k个特征量,“Ck(fk)”表示与特征量fk相对应的似然性。
在步骤S105中,对象确定单元50基于在步骤S104中由似然性计算单元40计算的对象的似然性,来确定由模式提取单元20剪取的部分图像是否是识别目标对象。
更具体地说,如果确定在步骤S104中计算的面部似然性C大于预定阈值T,则确定要对照的部分图像模式是面部图像。另一方面,如果确定面部似然性C等于或小于预定阈值T,则确定要对照的部分图像模式是非面部图像。
在步骤S106中,如果确定部分图像是面部图像(步骤S105中的“是”),则对象确定单元50将部分图像的位置作为识别结果存储在存储单元(未示出)中。另一方面,如果对象确定单元50确定部分图像是非面部图像(步骤S105中的“否”),则处理返回到步骤S102。在如图3所示的图像内,依次重复执行步骤S102直到步骤S106中的处理。
在步骤S107中,识别结果输出单元60在显示器上显示存储在存储单元(未示出)上的识别结果(被确定是面部图像的部分图像的位置),如图6所示。图6所示的示例中的矩形部分指示重叠显示在输入图像上的面部识别的结果。
现在,将在下面详细描述上述操作(2),即用于识别属于低级别类别的特定对象的设置。
图7是示出执行用于识别属于低级别类别的特定对象的设置的处理的示例的流程图。在本示例性实施例中,将描述识别图像中的特定人物的面部的方法。
参照图7,在根据本示例性实施例的方法中,在步骤S101中,图像输入单元10获取由摄像单元拍摄的图像的数据。在本示例性实施例中,假设图像输入单元10获取特定人物(例如人物A)的面部的图像的数据。将图像数据存储在图像存储器(未示出)上。
在步骤S102中,模式提取单元20从图像存储器加载在步骤S101中获取的图像数据,并且从图像数据中剪取作为对象识别的目标区域的部分图像。在步骤S103中,特征量计算单元30计算用来从由模式提取单元20剪取的部分图像中识别特定人物的面部的特征量。
在步骤S201中,特征量计算单元30将计算的特征量值临时存储在存储单元(未示出)上。
在步骤S104中,似然性计算单元40基于由特征量计算单元30计算的特征量,并且使用对象字典100,来计算作为识别目标的对象的似然性。在步骤S105中,对象确定单元50基于在步骤S104中由似然性计算单元40计算的对象的似然性,来确定由模式提取单元20剪取的部分图像是否是识别目标对象。
如果对象确定单元50确定部分图像是面部图像(步骤S105中的“是”),则处理前进到步骤S202。在步骤S202中,字典生成单元200基于在步骤S201中临时存储的特征量来生成字典。另一方面,如果对象确定单元50确定部分图像是非面部图像(步骤S105中的“否”),则处理返回到步骤S102。在如图3所示的图像内依次重复执行步骤S102直到步骤S202中的处理。
如果被确定是非面部图像的部分图像或者在生成字典时使用的部分图像是图像的最后的部分图像,则处理返回到步骤S101。在步骤S101中,图像输入单元10获取拍摄了人物A的面部的另一图像,并且重复步骤S101直到步骤S202中的处理。
通过执行上述方法,本示例性实施例能够使用特定人物(人物A)的面部图像,来生成专门包括人物A的面部的图像的数据的字典。
更具体地说,似然性计算单元40使用基于在步骤S201中存储的人物A的面部图像模式而计算的特征量f,来确定用于参照的表的箱的位置。另外,似然性计算单元40计算人物A的面部的图像的特征量f的频率的分布,作为面部概率分布Pr(f|IFA)。
在本示例性实施例中,“IFA”表示人物A的面部图像模式,而“Pr(f|IFA)”表示面部图像模式的特征量f的概率分布。
可以通过下面的表达式(4)来计算人物A的面部似然性CA
[数学式4]
CA=log[{Pr(f|IFA)}/{Pr(f|INF)}]
其中,“Pr(f|INF)”表示非面部图像模式的特征量f的概率分布。因此,可以针对特征量f的各个箱,对对象字典设置通过表达式(4)计算的似然性CA的值。
在通过组合使用多个特征量来执行识别时,可以针对各个特征量生成针对特定人物的字典。通过获取并使用尽可能多的特定人物的样本图像,能够以高精度执行对特定人物的识别。
还可以对在步骤S105中被确定是面部图像的部分图像模式执行诸如校正预定量的图像位置偏移、变倍和亮度转换等的图像处理,基于一个部分面部图像来生成多个部分面部图像,并且计算并获取多个特征量。
然而,如果仅获取了少量的特征量的样本,则概率分布的精度无法变高。因此,还可以在生成字典时,使用利用如下的正态分布而进行了近似的概率分布,其中,所述正态分布是基于获取的特征量的值而计算的。
如果人物A的面部比一般人物的面部长,则指示特征量f的似然性的表还可以具有特征量f的如下分布,该分布与图5所示的面部图像表相比偏向小值,如图8所示。
在步骤S203中,控制单元将在步骤S202中生成的特定对象字典存储在特定对象字典110上。在执行上述处理之后,执行用于识别属于低级别类别的特定对象的设置的处理结束。
现在,将在下面详细描述操作(3),即识别属于低级别类别的特定对象的方法。
图9是示出根据针对属于低级别类别的特定对象的字典中的设置、来识别属于低级别类别的特定对象的处理的示例的流程图。
在图9所示的处理中,在步骤S101中,图像输入单元10获取由摄像单元(未示出)拍摄的图像的数据。在步骤S102中,模式提取单元20从图像存储器加载在步骤S101中获取的图像数据,并且从图像数据中剪取作为对象识别的目标区域的部分图像,作为输入模式。
在步骤S103中,特征量计算单元30计算如下的特征量,该特征量用来从由模式提取单元20剪取的部分图像中识别期望的对象。在步骤S201中,控制单元(未示出)将特征量计算单元30计算的特征量的值临时存储在存储单元(未示出)上。
在步骤S104中,似然性计算单元40基于由特征量计算单元30计算的特征量,并且使用事先存储的对象字典100,来计算作为识别目标的对象的似然性。在步骤S105中,对象确定单元50基于在步骤S104中由似然性计算单元40计算的对象的似然性,来确定由模式提取单元20剪取的部分图像是否是识别目标对象。更具体地说,对象确定单元50确定部分图像是否是人物的面部的图像。
如果对象确定单元50确定部分图像是面部图像(步骤S105中的“是”),则处理前进到步骤S106。在步骤S106中,控制单元(未示出)将面部图像的位置作为识别结果存储在存储单元(未示出)上。另一方面,如果对象确定单元50确定部分图像是非面部图像(步骤S105中的“否”),则处理返回到步骤S102。
在步骤S301中,似然性计算单元40使用特定对象字典110,基于在步骤S201中临时存储的特征量,来计算识别目标对象的似然性。
更具体地说,在步骤S301中,通过事先在特定对象字典110(在本示例性实施例中为针对人物A的面部的图像的字典)中设置与特征量f的值相对应的似然性作为表,似然性计算单元40根据特征量f的值确定用于参照的表的箱的位置,并且计算存储在所确定的箱中的值作为似然性。
在计算似然性时组合使用多个特征量时,似然性计算单元40计算多个特征量中的各个的似然性,并且将似然性值的总和设置为面部似然性。更具体地说,可以通过下面的表达式(5)来计算人物A的面部似然性CA
[数学式5]
CA = Σ A CAk ( fk )
其中,“fk”表示第k个特征量,“CAk(fk)”表示与特征量fk相对应的似然性。
还可以强调专门针对人物A计算的特征量,以与一般人物的面部的特征量的分布进行区别。在这种情况下,可以利用下面的表达式(6)并基于面部似然性,来对各个特征量的似然性分配权重:
[数学式6]
CA = Σ k wk * CAk ( fk )
其中,wk={w*Ck(fk)}-N,w和N是常数。
在步骤S302中,对象确定单元50根据由似然性计算单元40计算的特定对象的似然性,确定由模式提取单元20剪取的部分图像是否是特定对象的图像。
更具体地说,如果确定在步骤S301中计算的特定人物的面部的似然性CA大于预定阈值TA(步骤S302中的“是”),则确定要对照的部分图像的模式是人物A的面部的图像。另一方面,如果确定特定人物的面部的似然性CA等于或小于预定阈值TA(步骤S302中的“否”),则确定要对照的部分图像的模式不是人物A的面部的图像。
如果对象确定单元50确定部分图像是特定人物的面部的图像(步骤S302中的“是”),则处理前进到步骤S303。在步骤S303中,控制单元(未示出)将部分图像的位置作为识别结果存储在存储单元(未示出)上。另一方面,如果对象确定单元50确定部分图像不是特定人物的面部的图像(步骤S302中的“否”),则处理返回到步骤S102。对如图3所示的图像内的部分图像中的各个,执行步骤S102直到步骤S303中的处理。
在步骤S304中,识别结果输出单元60在显示器上显示在步骤S106中存储在存储单元(未示出)上的识别结果,如图10所示。
在图10所示的示例中,以细线绘制的矩形部分指示叠加显示在输入图像上的面部识别的结果,而以粗线绘制的矩形部分指示以叠加显示在输入图像上的识别特定人物(人物A)的面部的结果。
如果被确定是非面部图像的部分图像、被确定不是特定人物的面部的图像的部分图像或者存储了识别结果的部分图像是图像中的最后的部分图像,并且如果要处理另一图像,则处理返回到步骤S101。
如上所述,本示例性实施例在识别低级别类别对象时,共通地使用用于识别高级别类别对象的特征量。因此,本示例性实施例能够在不另外执行复杂的处理的情况下,容易地执行对高级别类别对象和低级别类别对象的识别。
根据本示例性实施例的模式识别系统不一定仅包括诸如照相机等的一个装置。更具体地说,根据本示例性实施例的模式识别系统还可以包括两个或更多个装置(包括照相机及计算机系统等)。
还可以由包括面部识别功能的照相机来拍摄特定人物的面部图像,并且将拍摄的特定人物的面部图像输出给包括识别功能和字典生成功能的系统。在这种情况下,可以将生成的字典存储在照相机上。
图11示出了模式识别系统的上述配置的示例。参照图11,模式识别系统包括照相机1和计算机系统2。
照相机1包括图像输入单元10、模式提取单元20、特征量计算单元30、似然性计算单元40、对象确定单元50、识别结果输出单元60、对象字典100和特定对象字典110。计算机系统2包括图像获取单元300、模式提取单元20、特征量计算单元30、似然性计算单元40、对象确定单元50、字典生成单元200、对象字典100和对象字典输出单元310。
照相机1和计算机系统2中的各个的特征量计算单元30计算用来识别人物的面部的图像的特征量。照相机1和计算机系统2中的各个的对象字典100存储作为面部识别的目标的对象的特征。
计算机系统2的图像获取单元300经由存储介质或通信介质等(未示出),从照相机1的图像输入单元10获取图像数据。对象字典输出单元310将存储在由字典生成单元200生成的对象字典中的信息,经由存储介质或通信介质等(未示出)输出给照相机1的特定对象字典110。模式识别系统的其它配置与图1所示的配置类似。
现在,将在下面详细描述具有上述配置的模式识别系统的操作。在执行用于识别特定人物的面部的处理的设置时,照相机1使用图像输入单元10获取特定人物的面部图像。将由照相机1拍摄的图像经由存储介质(例如压缩闪存(CF)卡)或者通信介质(例如诸如通用串行总线(USB)线缆等的数据通信线缆),发送给计算机系统2的图像获取单元300。
计算机系统2针对各个部分图像,使用模式提取单元20、特征量计算单元30、似然性计算单元40和对象确定单元50,来对获取的图像数据执行面部识别处理。
字典生成单元200基于被确定是特定人物的面部图像的部分图像的模式的特征量,来生成特定人物的面部的对象字典。
之后,对象字典输出单元310经由存储介质或者通信介质(未示出)输出生成的对象字典。将对象字典存储在照相机1的特定对象字典110上。
随后,照相机1基于存储在对象字典100上的面部图像的特征和存储在特定对象字典110上的特定人物的面部图像的特征,来执行识别处理。
在本发明的上述示例性实施例中,字典生成单元200生成用于识别低级别类别对象的特定对象字典110,并且,使用特定对象字典110执行特定对象的识别。然而,本发明不限于这种配置。
更具体地说,可以事先提供要用来识别特定对象的字典。在这种情况下,可以基于用于识别高级别类别对象的特征量,使用特定对象字典来计算似然性,以执行特定对象的识别。
利用上述配置,本发明通过尽可能共通地执行识别处理,还能够在不另外执行复杂的处理的情况下,执行高级别类别对象的识别和低级别类别对象的识别。
识别的目标不限于人物的面部。更具体地说,如果要识别人物的面部之外的对象,则本发明能够组合执行高级别类别对象的识别和低级别类别对象的识别。
在本发明的上述示例性实施例中,在确定输入图像的模式是否是特定对象的模式时,使用在识别作为高级别类别对象的预定对象时使用的特征量。因此,能够使用简单的配置来执行对高级别类别对象和低级别类别对象的识别。
以下参照附图详细描述本发明的各种示例性实施例、特征和方面。请注意,在这些实施例中叙述的构成要素的相对布置、数值表达式和数值,不旨在限制本发明的范围。
本发明的各方面还能够通过读出并执行记录在存储装置上的用于执行上述实施例的功能的程序的系统或设备的计算机(或诸如CPU或MPU的装置)、以及由系统或设备的计算机例如读出并执行记录在存储装置上的用于执行上述实施例的功能的程序来执行步骤的方法来实现。鉴于此,例如经由网络或者从用作存储装置的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。
虽然参照示例性实施例对本发明进行了说明,但是应当理解,本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释,以使所述范围涵盖所有变型、等同结构及功能。
本申请要求2009年5月11日提交的日本专利申请第2009-114897号公报的优先权,其全部内容通过引用,包含于此。

Claims (7)

1.一种模式识别装置,该模式识别装置包括:
特征量计算单元,被配置为计算输入模式的特征量;
基于预定对象的特征量的分布而生成的对象字典;
基于所述预定对象中的特定对象的特征量的分布而生成的特定对象字典;
第一似然性计算单元,被配置为通过参照所述对象字典,基于由所述特征量计算单元计算出的特征量,来对于所述输入模式是否是所述预定对象的计算第一似然性;
第一对象确定单元,被配置为基于所述第一似然性,来确定所述输入模式是否是所述预定对象的;
第二似然性计算单元,被配置为如果所述第一对象确定单元确定所述输入模式是所述预定对象的,则通过参照所述特定对象字典,基于由所述特征量计算单元计算出的所述特征量,来对于所述输入模式是否是所述特定对象的计算第二似然性;以及
第二对象确定单元,被配置为基于所述第二似然性,来确定所述输入模式是否是所述特定对象的。
2.根据权利要求1所述的模式识别装置,该模式识别装置还包括字典生成单元,该字典生成单元被配置为针对所述特定对象的多个输入模式,基于由所述特征量计算单元计算出的所述特征量的分布,来生成所述特定对象的字典。
3.根据权利要求1或权利要求2所述的模式识别装置,其中,
所述特征量计算单元被配置成基于所述输入模式,来计算多个特征量,
其中,所述第一似然性计算单元被配置成针对由所述特征量计算单元计算出的各个特征量,来对于所述输入模式是否是所述预定对象的计算似然性,并且,所述第一似然性计算单元被配置成基于针对各个特征量的似然性,来计算所述第一似然性,并且,
其中,所述第二似然性计算单元被配置成针对由所述特征量计算单元计算出的各个特征量,来对于所述输入模式是否是所述预定对象的计算似然性,并且,所述第二似然性计算单元被配置成基于针对各个特征量的似然性,来计算所述第二似然性。
4.根据权利要求1至权利要求3所述的模式识别装置,其中,所述预定对象是人物的面部,并且,所述特定对象是特定人物的面部。
5.一种用于模式识别的方法,该方法包括以下步骤:
计算输入模式的特征量;
通过参照基于预定对象的特征量的分布而生成的对象字典,基于所计算出的特征量,来对于所述输入模式是否是所述预定对象的计算第一似然性;
基于所述第一似然性,来确定所述输入模式是否是所述预定对象的;
如果确定所述输入模式是所述预定对象的,则通过参照基于所述预定对象中的特定对象的特征量的分布而生成的特定对象字典,基于所计算出的特征量,来对于所述输入模式是否是所述特定对象的计算第二似然性;以及
基于所述第二似然性,来确定所述输入模式是否是所述特定对象的。
6.一种计算机可执行程序,用于使计算机执行操作,所述操作包括:
计算输入模式的特征量;
通过参照基于预定对象的特征量的分布而生成的对象字典,基于所计算出的特征量,来对于所述输入模式是否是所述预定对象的计算第一似然性;
基于所述第一似然性,来确定所述输入模式是否是所述预定对象的;
如果确定所述输入模式是所述预定对象的,则通过参照基于所述预定对象中的特定对象的特征量的分布而生成的特定对象字典,基于所计算出的特征量,来对于所述输入模式是否是所述特定对象的计算第二似然性;以及
基于所述第二似然性,来确定所述输入模式是否是所述特定对象的。
7.一种计算机可读存储介质,其存储根据权利要求6所述的计算机可执行程序。
CN201080021092.1A 2009-05-11 2010-05-06 用于识别对象及另一低级别对象的模式识别装置及其方法 Active CN102422325B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-114897 2009-05-11
JP2009114897A JP5361524B2 (ja) 2009-05-11 2009-05-11 パターン認識システム及びパターン認識方法
PCT/JP2010/003106 WO2010131435A1 (en) 2009-05-11 2010-05-06 Pattern recognition apparatus and method therefor configured to recognize object and another lower-order object

Publications (2)

Publication Number Publication Date
CN102422325A true CN102422325A (zh) 2012-04-18
CN102422325B CN102422325B (zh) 2015-06-24

Family

ID=43084822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080021092.1A Active CN102422325B (zh) 2009-05-11 2010-05-06 用于识别对象及另一低级别对象的模式识别装置及其方法

Country Status (4)

Country Link
US (1) US8938117B2 (zh)
JP (1) JP5361524B2 (zh)
CN (1) CN102422325B (zh)
WO (1) WO2010131435A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105593901A (zh) * 2013-06-28 2016-05-18 日本电气株式会社 训练数据生成设备、方法和程序以及人群状态识别设备、方法和程序
CN105938622A (zh) * 2015-03-02 2016-09-14 佳能株式会社 检测运动图像中的物体的方法和装置
CN111465963A (zh) * 2017-10-10 2020-07-28 Cy游戏公司 用于确认对象物的获取的系统、服务器、程序和方法
CN113095119A (zh) * 2020-01-09 2021-07-09 北京君正集成电路股份有限公司 一种修正人脸裁剪框的人脸识别系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5800557B2 (ja) * 2011-04-20 2015-10-28 キヤノン株式会社 パターン認識装置、パターン認識方法及びプログラム
JP5895629B2 (ja) * 2012-03-15 2016-03-30 オムロン株式会社 画像処理装置、画像処理方法、制御プログラムおよび記録媒体
WO2016185557A1 (ja) 2015-05-19 2016-11-24 楽天株式会社 情報処理装置、情報処理方法、プログラム
JP6779641B2 (ja) * 2016-03-18 2020-11-04 株式会社Spectee 画像分類装置、画像分類システム及び画像分類方法
JP6629139B2 (ja) * 2016-05-30 2020-01-15 株式会社東芝 制御装置、制御方法およびプログラム
JP6172353B2 (ja) * 2016-07-13 2017-08-02 ソニー株式会社 端末装置、物体識別方法、情報処理装置、及びプログラム
FR3060170B1 (fr) * 2016-12-14 2019-05-24 Smart Me Up Systeme de reconnaissance d'objets base sur un modele generique 3d adaptatif
JP6989450B2 (ja) * 2018-06-21 2022-01-05 株式会社東芝 画像解析装置、画像解析方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1477588A (zh) * 2003-07-01 2004-02-25 �Ϻ���ͨ��ѧ 一种基于每人一幅图像的自动人脸识别方法
US20060204079A1 (en) * 2005-03-10 2006-09-14 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method
CN1839410A (zh) * 2003-07-18 2006-09-27 佳能株式会社 图像处理设备、摄像设备、图像处理方法
JP2009080522A (ja) * 2007-09-25 2009-04-16 Mitsubishi Electric Corp 物体画像認識装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3910267B2 (ja) 1997-09-10 2007-04-25 富士フイルム株式会社 画像処理方法および装置
JP3842006B2 (ja) * 2000-03-30 2006-11-08 グローリー工業株式会社 帳票類判別装置、帳票類判別方法、およびこれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
DE60213032T2 (de) * 2001-05-22 2006-12-28 Matsushita Electric Industrial Co. Ltd. Gerät zur Gesichtsdetektion, Gerät zur Detektion der Gesichtspose, Gerät zur Extraktion von Teilbildern und Verfahren für diese Geräte
EP3358501B1 (en) * 2003-07-18 2020-01-01 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
JP4743823B2 (ja) * 2003-07-18 2011-08-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
JP4511850B2 (ja) 2004-03-03 2010-07-28 学校法人早稲田大学 人物属性識別方法およびそのシステム
US7567715B1 (en) * 2004-05-12 2009-07-28 The Regents Of The University Of California System and method for representing and encoding images
JP2006023798A (ja) 2004-07-06 2006-01-26 Fuji Photo Film Co Ltd 画像データ処理装置および方法,ならびに画像データ処理プログラム
JP4686153B2 (ja) * 2004-09-10 2011-05-18 日立オムロンターミナルソリューションズ株式会社 情報処理装置、不正者検出方法および現金自動預け払い装置
JP4920592B2 (ja) 2004-10-21 2012-04-18 トムソン ライセンシング ブロック・ベースのフィルム・グレイン・パターンの適応的非ブロック化の手法
JP4267584B2 (ja) * 2005-02-28 2009-05-27 株式会社東芝 機器制御装置及びその方法
JP4653606B2 (ja) * 2005-05-23 2011-03-16 株式会社東芝 画像認識装置、方法およびプログラム
JP2007115109A (ja) 2005-10-21 2007-05-10 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
EP2030171A1 (en) * 2006-04-10 2009-03-04 Avaworks Incorporated Do-it-yourself photo realistic talking head creation system and method
US20070276776A1 (en) * 2006-05-24 2007-11-29 Vigilant Technology Ltd. User trainable detection apparatus and method
JP2008011202A (ja) 2006-06-29 2008-01-17 Toshiba Corp フィルムグレイン処理回路
JP4849988B2 (ja) * 2006-07-31 2012-01-11 三洋電機株式会社 撮像装置及び出力画像生成方法
JP4745207B2 (ja) * 2006-12-08 2011-08-10 株式会社東芝 顔特徴点検出装置及びその方法
EP2102805A1 (en) 2006-12-11 2009-09-23 Cinnafilm, Inc. Real-time film effects processing for digital video
JP2008243093A (ja) * 2007-03-29 2008-10-09 Toshiba Corp 辞書データの登録装置及び辞書データの登録方法
KR100886557B1 (ko) * 2007-05-03 2009-03-02 삼성전자주식회사 적응형 학습에 기반한 얼굴 인식 시스템 및 방법
JP4924264B2 (ja) * 2007-07-24 2012-04-25 セイコーエプソン株式会社 画像処理装置、画像処理方法、および、コンピュータプログラム
JP4720810B2 (ja) * 2007-09-28 2011-07-13 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5176572B2 (ja) * 2008-02-05 2013-04-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8213689B2 (en) * 2008-07-14 2012-07-03 Google Inc. Method and system for automated annotation of persons in video content
JP2010122879A (ja) * 2008-11-19 2010-06-03 Sony Ericsson Mobile Communications Ab 端末装置、表示制御方法および表示制御プログラム
JP4710979B2 (ja) * 2009-01-09 2011-06-29 ソニー株式会社 対象物検出装置、学習装置、対象物検出方法およびプログラム
JP5227888B2 (ja) * 2009-05-21 2013-07-03 富士フイルム株式会社 人物追跡方法、人物追跡装置および人物追跡プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1477588A (zh) * 2003-07-01 2004-02-25 �Ϻ���ͨ��ѧ 一种基于每人一幅图像的自动人脸识别方法
CN1839410A (zh) * 2003-07-18 2006-09-27 佳能株式会社 图像处理设备、摄像设备、图像处理方法
US20060204079A1 (en) * 2005-03-10 2006-09-14 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method
JP2009080522A (ja) * 2007-09-25 2009-04-16 Mitsubishi Electric Corp 物体画像認識装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776674B2 (en) 2013-06-28 2020-09-15 Nec Corporation Training data generating device, method, and program, and crowd state recognition device, method, and program
US11836586B2 (en) 2013-06-28 2023-12-05 Nec Corporation Training data generating device, method, and program, and crowd state recognition device, method, and program
US10223620B2 (en) 2013-06-28 2019-03-05 Nec Corporation Training data generating device, method, and program, and crowd state recognition device, method, and program
CN105593901A (zh) * 2013-06-28 2016-05-18 日本电气株式会社 训练数据生成设备、方法和程序以及人群状态识别设备、方法和程序
US10515294B2 (en) 2013-06-28 2019-12-24 Nec Corporation Training data generating device, method, and program, and crowd state recognition device, method, and program
CN105593901B (zh) * 2013-06-28 2020-06-12 日本电气株式会社 训练数据生成设备、方法和程序以及人群状态识别设备、方法和程序
US11132587B2 (en) 2013-06-28 2021-09-28 Nec Corporation Training data generating device, method, and program, and crowd state recognition device, method, and program
US10417773B2 (en) 2015-03-02 2019-09-17 Canon Kabushiki Kaisha Method and apparatus for detecting object in moving image and storage medium storing program thereof
CN105938622A (zh) * 2015-03-02 2016-09-14 佳能株式会社 检测运动图像中的物体的方法和装置
CN111465963A (zh) * 2017-10-10 2020-07-28 Cy游戏公司 用于确认对象物的获取的系统、服务器、程序和方法
CN111465963B (zh) * 2017-10-10 2023-11-24 Cy游戏公司 用于确认对象物的获取的系统、服务器、程序和方法
CN113095119A (zh) * 2020-01-09 2021-07-09 北京君正集成电路股份有限公司 一种修正人脸裁剪框的人脸识别系统
CN113095119B (zh) * 2020-01-09 2023-11-21 北京君正集成电路股份有限公司 一种修正人脸裁剪框的人脸识别系统

Also Published As

Publication number Publication date
US8938117B2 (en) 2015-01-20
WO2010131435A1 (en) 2010-11-18
CN102422325B (zh) 2015-06-24
US20120063674A1 (en) 2012-03-15
JP5361524B2 (ja) 2013-12-04
JP2010262601A (ja) 2010-11-18

Similar Documents

Publication Publication Date Title
CN102422325A (zh) 用于识别对象及另一低级别对象的模式识别装置及其方法
CN111310731B (zh) 基于人工智能的视频推荐方法、装置、设备及存储介质
US8781221B2 (en) Hand gesture recognition system
US20150193649A1 (en) Enhanced face detection using depth information
US10445602B2 (en) Apparatus and method for recognizing traffic signs
US20160314368A1 (en) System and a method for the detection of multiple number-plates of moving cars in a series of 2-d images
JP2013210968A (ja) 物体検出装置及びその方法、プログラム
US10846568B2 (en) Deep learning-based automatic gesture recognition method and system
US7548637B2 (en) Method for detecting objects in an image using pair-wise pixel discriminative features
CN111382637B (zh) 行人检测跟踪方法、装置、终端设备及介质
US7831068B2 (en) Image processing apparatus and method for detecting an object in an image with a determining step using combination of neighborhoods of a first and second region
CN102054165A (zh) 图像处理装置及图像处理方法
CN110838119A (zh) 人脸图像质量评估方法、计算机装置及计算机可读存储介质
Sadeghipour et al. Face recognition based on improved SIFT algorithm
JP2007025902A (ja) 画像処理装置、画像処理方法
KR101408344B1 (ko) 얼굴 검출 장치
JP2013218605A (ja) 画像認識装置、画像認識方法及びプログラム
Xiang et al. Face recognition based on LBPH and regression of local binary features
JP2006323779A (ja) 画像処理方法、画像処理装置
Silva et al. POEM-based facial expression recognition, a new approach
CN105512664A (zh) 图像识别方法及装置
Sharma et al. Study and implementation of face detection algorithm using Matlab
Xiaoxiao et al. A new method of digital number recognition for substation inspection robot
KR20130051680A (ko) 로봇에서의 사용자 얼굴 인식 장치 및 방법
Soni Face Detection by Image Discriminating

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant