CN103313018A - 登记确定装置及其控制方法、以及电子装置 - Google Patents

登记确定装置及其控制方法、以及电子装置 Download PDF

Info

Publication number
CN103313018A
CN103313018A CN2012105930065A CN201210593006A CN103313018A CN 103313018 A CN103313018 A CN 103313018A CN 2012105930065 A CN2012105930065 A CN 2012105930065A CN 201210593006 A CN201210593006 A CN 201210593006A CN 103313018 A CN103313018 A CN 103313018A
Authority
CN
China
Prior art keywords
image
registration
variance
characteristic quantity
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012105930065A
Other languages
English (en)
Other versions
CN103313018B (zh
Inventor
入江淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN103313018A publication Critical patent/CN103313018A/zh
Application granted granted Critical
Publication of CN103313018B publication Critical patent/CN103313018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Studio Devices (AREA)

Abstract

一种登记确定装置及其控制方法、以及电子装置,用以适当确定所获取的候选面部图像是否被登记。在该登记确定装置中,相似度计算单元计算由面部图像提取单元提取的候选面部图像与登记在存储单元中的登记面部图像之间的相似度。组内方差计算单元计算由登记者识别单元识别的登记者的相似度的组内方差,并且组间方差计算单元计算登记在存储单元中的每个登记者的相似度的组间方差。方差比计算单元计算组内方差与组间方差之间的方差比,并基于所计算的方差比,登记确定单元确定目标面部图像是否将被登记。

Description

登记确定装置及其控制方法、以及电子装置
技术领域
本发明涉及一种登记确定装置及其控制方法以及电子装置,为了进行某个目标的图像辨别,该登记确定装置用于确定是否将候选图像(即,目标图像的登记候选)登记为预先登记的登记图像。
背景技术
近些年,在各种领域中会用到对包含在拍摄图像中的诸如面部图像等目标图像的比对(collation)。过去,用户必须预先登记目标图像并删除已经登记的目标图像,其结果是,用户不得不做那些烦杂的工作。因此,期望能够自动执行上述登记处理和/或删除处理。
例如,在日本专利申请特许公开号2000-123178(公开于2000年4月28日)所描述的一种指纹比对装置中,首先,对于每一组而言,从指纹特征数据存储单元中提取出指纹特征数据。之后,从指纹图像输入装置输入的且特征经过计算的指纹特征数据与所提取的指纹特征数据相比较,并确定他们是否具有相似的数据。当具有相似的数据时,发出对一个组(而非待查(inquestion)组)作出登记的通知。
在日本专利号4705512(授权于2011年6月22日)所描述的面部图像比对装置中,首先,预先存储登记面部图像和候选面部图像。之后,当基于登记面部图像识别待查人员时,计算在三个或多个面部图像与输入的面部图像之间的相似度,并且当中度(既不是最大也不是最小)相似度大于更新的阈值时,输入的面部图像被相似度最小的候选面部图像代替。
在日本专利号4705511(授权于2011年6月22日)所描述的面部图像比对装置中,首先,预先存储登记面部图像和候选面部图像。之后,当基于登记面部图像识别待查人员时,对于三个或更多个候选面部图像中的每一个计算相互相似度,该相互相似度为该三个或更多个候选面部图像中的一个候选面部图像和其它候选面部图像的平均相似度,并识别相互相似度为最大的候选面部图像。随后,当所识别的候选面部图像与输入图像的相似度被确定为大于预定的更新阈值时,替换与输入的面部图像的相似度最小的候选面部图像。
在日本专利号3564984(授权于2004年6月18日)所描述的人员识别装置中,首先,预先存储被识别人的登记数据。之后,读取物理特征,并对所读取的物理特征和所存储的登记数据进行相互比较和比对,然后确定相似度。当所确定的相似度等于或大于预登记的确定条件水平(其被设定为相似度高于用于识别待查人员的辨识水平)时,预登记该登记数据。
在日本专利号4314016(授权于2009年5月22日)所描述的人员辨别装置中,首先,预先将作为辨别目标的多个人员的活体信息(living bodyinformation)保留为登记信息。之后,获取作为辨别目标的人员的活体信息,并将所获取的活体信息与多条已登记保留的登记信息中的每一条登记信息进行相互比对以获取多个相似度,然后基于所获取的多个相似度来辨别待查人员。随后,确定所获取的多个相似度之间的多个相似度差值是否等于或大于预定阈值,并在该差值被确定为等于或大于预定阈值时,基于所获取的活体信息更新所保留的登记信息。
在日本专利号4177629(授权于2008年8月29日)所描述的个人认证装置中,当存在被确定为登记者中的另一个人的输入数据时,输入个人识别信息,并且当拍摄的面部图像与跟输入的个人识别信息对应的面部数据之间的比对程度等于或大于预定值时,更新面部数据。
在日本专利申请特许公开号2004-046697(公布于2004年2月12日)所描述的个人认证装置中,使用登记者或非登记者计算用于面部认证的阈值。更具体而言,计算所有成对(登记者,非登记者)的计分数值(score value)的平均值和标准偏差值,并基于这些值确定阈值。
在日本专利申请特许公开号2004-302645(公布于2004年10月28日)所描述的面部登记装置中,作为对输入的面部图像是否匹配于任意一个登记面部图像进行辨识的结果,当登记面部图像被确认是待查人员时,在这个确认之前和之后的时间被采用为登记时间,在登记时间之间输入的输入面部图像被登记为登记面部图像。
然而,在日本专利申请特许公开号2000-123178中,不登记与分组登记者数据相似的新的登记者,因为这会导致错误的辨别。而且,不会参考在待查人员的数据内的数据相似性(方差(variance)),因此可能不会登记将其他人员和待查人员容易区别开的数据。
在日本专利号4705512、4705511、3564984、4314016以及4177629中,不会考虑在待查人员与其它人员之间的距离关系。为此,与另外的人员相似的面部图像可被登记,从而在这种情况下,可引起错误的辨别。在日本专利申请特许公开号2004-046697中,不会针对每个人获取数值,因此没有考虑到作为待查人员的可能性。在日本专利申请特许公开号2004-302645中,没有考虑其他人员的数据,因此不能登记可能是待查人员而不可能是其他人员的数据,结果是,可能会登记被误认是其他人员的数据。
发明内容
鉴于上述问题而构思本发明,本发明的一个目的是提供一种登记确定装置,其能够适当地登记所获取的目标图像。
根据本发明的一个方案,为了执行目标的图像辨别,根据本发明的登记确定装置用于确定是否将为目标图像的登记候选的候选图像登记为已预先被登记的登记图像的登记确定装置,所述登记确定装置包括:存储单元,被配置为与用于辨识该目标的辨识信息相关联地存储登记信息,其中所述登记信息为所述登记图像的特征量和图像数据的至少之一;候选获取部,被配置为获取所述候选图像;识别部,被配置为识别与由所述候选获取部获取的候选图像相对应的辨识信息;特征量计算部,被配置为计算由所述候选获取部所获取的所述候选图像的特征量;组内方差计算部,被配置为针对在所述候选图像与在同一组中与由所述识别部识别的辨识信息相对应的登记图像,计算由所述特征量计算部计算的所述候选图像的特征量与基于所述登记图像的所述登记信息的特征量的组内方差,或计算所述候选图像的特征量与所述登记图像的特征量之间的相似度的组内方差;组间方差计算部,被配置为针对在多个组中分别对应于多条辨识信息的登记图像,计算所述候选图像的特征量与基于所述登记图像的所述登记信息的所述登记图像的特征量的组间方差,或计算所述候选图像的特征量与所述登记图像的特征量之间的相似度的组间方差;方差比计算部,被配置为计算方差比,该方差比为由所述组内方差计算部计算的组内方差与由所述组间方差计算部计算的组间方差之间的比率;以及登记部,其中当由所述方差比计算部计算的方差比满足预定条件时,所述登记部以这样的方式将所述候选图像作为所述登记图像登记至所述存储单元,其中该方式是将所述登记图像的登记信息关联于由所述识别部识别的辨识信息。
根据本发明的另一个方案,为了进行目标的图像辨别,根据本发明的用于登记确定装置的控制方法用于确定是否将为目标图像的登记候选的候选图像登记为已预先被登记的登记图像的控制方法,所述控制方法包括:候选获取步骤,用于获取所述候选图像;识别步骤,用于识别与在所述候选获取步骤中所获取的所述候选图像对应的辨识信息;特征量计算步骤,用于计算在所述计算获取步骤中获取的所述候选图像的特征量;组内方差计算步骤,针对所述候选图像和在同一组中与所述识别步骤中识别的辨识信息相对应的登记图像,计算在所述特征量计算步骤中计算的所述候选图像的特征量与基于存储在所述存储单元中的所述登记图像的所述登记信息的特征量的组内方差,或计算在所述候选图像的所述特征量与所述登记图像的所述特征量之间的相似度的组内方差,其中所述存储单元与用于辨识每个目标的辨识信息相关联地存储登记信息,所述登记信息为所述登记图像的特征量和图像数据的至少之一;组间方差计算步骤,针对在多个组中分别对应于多条辨识信息的登记图像,计算所述候选图像的特征量与基于存储在所述存储单元中的所述登记图像的登记信息的所述登记图像的特征量的组间方差,或计算所述候选图像的特征量与所述登记图像的特征量之间的相似度的组间方差;方差比计算步骤,用于计算方差比,其为在所述组内方差计算步骤中计算的组内方差与在所述组间方差计算步骤中计算的所述组间方差之间的比率;以及登记步骤,在该登记步骤中,当在所述方差比计算步骤中计算的方差比满足预定条件时,以这样的方式将所述候选图像作为所述登记图像登记至所述存储单元,其中该方式是将所述登记图像的登记信息关联于在所述识别步骤中识别的所述辨识信息。
根据上述配置和上述方法,首先,获取候选图像,并且确认与所获取的候选图像相对应的辨识信息,另一方面,计算所获取的候选图像的特征量。随后,针对所述候选图像和在同一组中与所识别的辨识信息相对应的登记图像,计算在所述特征量计算步骤中计算的所述候选图像的特征量与基于存储在所述存储单元中的所述登记图像的登记信息的特征量的组内方差,或计算在所述候选图像的所述特征量与所述登记图像的所述特征量之间的相似度的组内方差。针对在多个组中分别对应于多条辨识信息的登记图像,计算特征量的组间方差或相似度的组间方差。随后,计算作为所计算的组内方差和所计算的组间方差之间的比率的方差比,并在所计算的方差比满足预定条件时,以这样的方式将所述候选图像作为所述登记图像登记至所述存储单元,其中该方式是将所述登记图像的登记信息关联于在所述识别步骤中识别的所述辨识信息。
因此,使用作为组内方差和组间方差之间的比率的方差比来确定候选图像是否将被登记为登记图像。更具体而言,根据候选图像与同一目标(组)的登记图像之间的关系以及候选图像与不同目标(组)的登记图像之间的关系,确定该候选图像是否被登记。其结果是,能够适当作出确定。
应注意到,特征量为矢量,而相似度为标量。例如,利用这种特征量,能够通过计算作为特征量的每个矢量的距离来获得组间方差和组内方差。
当存储单元存储登记图像的特征量时,从存储单元读取的登记图像的特征量可被用作基于登记图像的登记信息的特征量。另一方面,当存储单元存储登记图像的图像数据时,可基于从存储单元读取的登记图像的图像数据计算基于登记图像的登记信息的特征量。方差比可为组内方差/组间方差,或可为组间方差/组内方差。
登记确定装置还可包括操作单元,其被配置为接收来自用户的操作,其中所述识别部基于经由所述操作单元从用户所接收的操作识别与所述候选图像相对应的辨识信息。
可选地,所述识别部可通过对由所述候选获取部获取的所述候选图像与存储在所述存储单元中的登记图像进行比对来识别与所述候选图像相对应的辨识信息。在这种情况下,用户不必进行任何操作,因而可提高便利性。
在根据本发明的登记确定装置中,存储单元可与辨识信息相关联地预先存储登记图像。在这种情况下,即使在用户仅登记有一个目标的目标图像时,通过使用预先登记的登记图像,也能够计算组间方差,并且也能够计算方差比。因此,能够适当地确定候选图像是否被登记。
当存在与对应于候选图像的辨识信息相关联的一个登记图像或数个登记图像时,组内方差计算部优选使用默认组内方差来代替对组内方差的计算。在这种情况下,能够避免由于仅存在一个登记图像或数个登记图像而不能适当计算组内方差的问题。
在根据本发明的登记确定装置中,针对所述候选图像和在同一组中与由所述识别部识别的辨识信息相对应的所述登记图像,组内方差计算部可计算由所述特征量计算部计算的所述候选图像的特征量与基于所述登记图像的登记信息的特征量的组内方差,并且所述组间方差计算部计算与所述候选图像以及这样的登记图像有关的特征量的组间方差,其中所述登记图像是在同一组中与由所述识别部识别的辨识信息相对应的登记图像和在另一组中与其他辨识信息相对应的登记图像。在这种情况下,候选图像被认作是登记图像,并且通过计算作为组内方差与组间方差之间的比率的方差比来确定是否登记该候选图像。因此,能够进行关于候选图像的确定。
根据本发明的登记确定装置还可包括组合产生部,针对在多个组中分别对应于所述多条辨识信息的登记图像,该组合产生部被配置为在每个组中产生包括至少两个登记图像的组合;以及登记更新部,通过使用所述组内方差计算部、所述组间方差计算部以及所述方差比计算部,利用在这样的方差比中中满足预定条件的组合中的登记图像的登记信息来更新所述存储单元中的所述登记图像的登记信息,其中所述方差比是针对由所述组合产生部产生的每个组合而计算的对应于每个组的所述组内方差和所述组间方差之间的方差比。在这种情况下,能够从存储单元中删除不需要登记的登记图像,这能够避免资源的浪费。此外,能够产生最佳组合,并能够提高认证的准确性。
应注意的是,上述功能和效果能够使用具有如上配置的登记确定装置的电子装置得以实现。
控制程序能够使计算机执行登记确定装置的每个步骤。此外,通过将控制程序记录至计算机可读记录介质,能够在任何计算机上执行该控制程序。
如上所述,根据本发明的登记确定装置根据候选图像与同一目标的登记图像之间的关系以及该候选图像与不同目标的登记图像之间的关系确定该候选图像是否将被登记,因此,其优点是能够适当作出确定。
附图说明
图1为示出根据本发明一个实施例的数码相机中的控制单元和存储单元的示意性配置的方框图;
图2为示出该数码相机的示意性配置的方框图;
图3为示出根据该实施例的处理示例的概览图。
图4为示出由控制单元执行的处理流程的流程图;
图5为示出本发明的另一实施例中的处理示例的概览图;
图6为示出根据上述实施例的数码相机中的控制单元和存储单元的示意性配置的方框图;
图7为示出由根据上述实施例的控制单元执行的处理流程的流程图;
图8为示出本发明再一实施例中的处理示例的概览图;
图9为示出根据上述实施例的数码相机中的控制单元和存储单元的示意性配置的方框图;
图10为示出本发明又一实施例中的处理示例的概览图;
图11为示出根据上述实施例的数码相机中的控制单元和存储单元的示意性配置的方框图;
图12为示出由该控制单元执行的处理流程的流程图;
图13为示出根据上述实施例的改型的控制单元和存储单元的示意性配置的方框图;
图14为示出本发明的另一实施例中的处理示例的概览图;
图15为示出根据上述实施例的数码相机的控制单元和存储单元的示意性配置的方框图;以及
图16为示出由该控制单元执行的处理流程的流程图。
具体实施方式
第一实施例
下面将参考图1至图4阐释本发明的实施例。图2为示出本实施例的数码相机的示意性配置图。如该图所示,在数码相机(电子装置,登记确定装置)10中,通过图像拍摄单元11拍摄并由图像处理单元12处理的拍摄图像作为实时查看图像显示在显示单元13上。当用户按下操作单元14的快门按钮(未示出)时,数码相机10使由图像处理单元12处理的拍摄图像被图像压缩单元15压缩,之后,将该拍摄图像存储到图像记录单元16。
接下来,将阐释本实施例的数码相机10的细节。如上所述,数码相机10包括图像拍摄单元11、图像处理单元12、显示单元13、操作单元14、图像压缩单元15、图像记录单元16以及图像合成单元17。此外,如图2所示,数码相机10还包括控制单元20和存储单元21。
图像拍摄单元11拍摄物体的图像,并例如包括诸如透镜组、光圈调节器和图像拍摄装置等光学系统以及诸如放大器和A/D转换器等电路系统。图像拍摄装置的示例包括诸如CCD和CMOS(互补式金属氧化物半导体)等图像传感器。图像拍摄单元11通过拍摄图像生成拍摄图像,并将该图像转换为拍摄图像的数据,然后将该数据传送至图像处理单元12。
图像处理单元12对由图像拍摄单元11给出的拍摄图像的数据执行诸如矩阵操作、γ校正、白平衡调节等图像处理。图像处理单元12从所处理的拍摄图像的数据中产生用于显示、记录以及面部检测的拍摄图像的数据,并将它们每一个传送给显示单元13、图像压缩单元15以及控制单元20。用于显示和面部检测的拍摄图像的数据可以相同。
图像合成单元17通过将由控制单元20所给出的图像(例如,OSD(On-Screen Display,屏幕上显示)图像)与由图像处理单元12所给出的拍摄图像相组合来合成图像。图像合成单元17将作为组合图像的合成图像的数据传送给显示单元13。
显示单元13由诸如LCD(液晶显示装置)、EL有机(电致发光)显示器以及等离子显示器等显示装置制成。显示单元13基于由图像合成单元17所给出的合成图像的数据显示并输出诸如符号和图像等各种信息。
操作单元14被配置接收根据用户的操作由用户给出的各种输入,并由输入按钮、触摸屏以及其它输入装置制成。操作单元14将关于由用户执行的操作的信息转换为操作数据,并将该操作数据传送给控制单元20。输入装置的其它示例包括诸如键盘、数字键盘以及鼠标等指示(pointing)装置。
图像压缩单元15根据诸如JPEG(联合摄像专家组)以及MPEG(移动图片专家组)等方法压缩由图像处理单元12所给出的拍摄图像的数据。图像压缩单元15将拍摄图像的压缩数据记录至图像记录单元16。
图像记录单元16记录信息,并且尤其是,图像压缩单元15记录拍摄图像的压缩数据。图像记录单元16由诸如闪存和硬盘等非易失性存储装置构成。
控制单元20核心控制数码相机10中的各种配置的操作。控制单元20由诸如CPU(中央处理单元)的计算机和存储器构成。各种配置的操作控制通过使计算机执行控制程序而得以执行。这种程序例如可基于从记录程序的诸如闪存等可移动介质的读取而使用,或例如可基于从安装有该程序的硬盘的读取而使用。可选地,该程序可被下载和安装至硬盘等,并被执行。稍后将阐释控制单元20的细节。
存储单元21包括诸如闪存、ROM(只读存储器)等非易失性存储装置以及诸如RAM(随机存取存储器)等易失性存储装置。记录在非易失性存储装置中的内容包括控制程序、OS(操作系统)程序、各种其他程序、图像处理单元12的操作设定值以及已经输入的符号数据。图像处理单元12的操作设定值的示例包括在该装置发货(shiped)时或在该装置被维护时所设定的白平衡值、以及关于在调节拍摄图像的亮度时图像处理的各种参数值。另一方面,存储在易失性存储装置中的内容包括工作文件、临时文件等。稍后将阐释存储单元21的细节。
在这种情况下,将参考图3阐释由本实施例中的控制单元20执行的处理的具体示例。本实施例的控制单元20确定作为目标面部图像(目标图像)的登记候选的候选面部图像(候选图像)是否将被登记为预先登记的登记面部图像(已登记图像),以便于执行某个人(目标)的面部辨别(图像辨别)。图3为示出根据本实施例的控制单元20的处理示例的概览图。
如图3所示,多个人员的面部图像的数据作为登记面部图像的数据(登记信息)被登记至存储单元21。在图3的示例中,对于A先生、B先生以及C先生(登记者)这三个人中的每个人,四个登记面部图像的数据被登记至存储单元21。
首先,基于由用户给出的指令,确定用于成像的物体是否为已登记者中的任意一个。下文中,经识别后的登记者被称为被识别登记者。之后,当被识别登记者的新的面部图像被接收为候选面部图像时,首先计算所接收的候选面部图像与登记在存储单元21中的所有登记面部图像的每一个之间的相似度(认证计分)。在图3的示例中,对A先生与所有登记者的登记面部图像的每一个的相似度进行计算,因此,总共计算出12条相似度。
随后,基于由此计算出的相似度,计算关于被识别登记者的相似度的组内方差(in-class variance)σWi 2和关于所有登记者的相似度的组间方差(inter-class variance)σB 2。在这种情形中,组内方差σWi 2表示包含在同一组内的元素的弥散,并从下面的表达式(1)计算出。在本实施例中,用特征矢量x来代替相似度。
[数学式1]
σ wi 2 = 1 n i Σ x ∈ χ i ( x - m i ) t ( x - m i ) · · · ( 1 )
(这里,x表示特征矢量,mi表示第i组的平均矢量,xi表示第i组中的设定,ni表示第i组中的元素的数量)
组间方差σB 2表示组间的弥散,并从下面的表达式(2)计算出。
[数学式2]
σ B 2 = 1 n Σ i = 1 c n i ( m i - m ) t ( m i - m ) · · · ( 2 )
(这里,m表示所有组的平均矢量,n表示所有组的元素的数量)
在图3的示例中,从关于A先生的四条相似度中计算出组内方差σWi 2(=3125)。另一方面,从关于A、B以及C先生的十二条相似度中计算出组间方差σB 2
随后,使用下述表达式(3)计算方差比Jsigma。方差比Jsigma为所计算的组间方差σB 2相对于所计算的组内方差σWi 2的比率。在图3的示例中,方差比Jsigma
JsigmaB 2Wi 2...(3)
然后,基于所计算的方差比Jsigma和已经设定的标准来确定候选面部图像是否将被登记。当候选面部图像被确定将被登记时,候选面部图像的数据作为被识别登记者的登记面部图像的数据被登记至存储单元21。稍后将阐释用于确定的标准的细节。
可选地,σB 2Wi 2可被用作方差比。
因此,使用作为组间方差σB 2相对于组内σWi 2的比率的方差比,本实施例的数码相机10确定目标面部图像是否被登记为登记面部图像。更具体而言,根据目标面部图像与同一目标的登记面部图像的关系以及与不同目标的登记面部图像的关系来确定该目标面部图像是否将被登记。因此,能够适当地作出这种确定。
随后,将阐释控制单元20和存储单元21的细节。图1为示出在数码相机10中的控制单元20和存储单元21的示意性配置的方框图。如该图所示,控制单元20包括登记者识别单元(识别部)25、图像获取单元30、面部图像提取单元(候选获取部)31、相似度计算单元(特征量计算部)32、组内方差计算单元(组内方差计算部)33、组间方差计算单元(组间方差计算部)34、方差比计算单元(方差比计算部)35以及登记确定单元(登记部)36。存储单元21包括登记图像存储单元40。
登记图像存储单元40存储用于(分别)辨识多个登记者的每一个的登记者ID(辨识信息)以及登记面部图像的数据,这两者被彼此关联。
登记者识别单元25识别拍摄对象是哪个登记者。更具体而言,登记者识别单元25经由图像合成单元17和显示单元13显示并输出查询图像(inquiry image)给用户,由操作单元14从用户获取该查询的响应,并识别拍摄对象是哪个登记者。登记者识别单元25将所识别的登记者(被识别登记者)的登记者ID(辨识信息)输出至相似度计算单元32。
图像获取单元30从图像处理单元12获取拍摄图像的数据。当图像获取单元30获取拍摄图像的数据时,图像获取单元30将所获取的拍摄图像的数据传送至面部图像提取单元31。应注意到,图像获取单元30可经由通信网络(未示出)获取拍摄图像的数据,或可从图像记录单元16取数据。
当面部图像提取单元31从图像获取单元30接收拍摄图像的数据时,面部图像提取单元31提取被包含在拍摄图像中的面部图像。面部图像提取单元31将所提取的面部图像的数据作为候选面部图像的数据传送至相似度计算单元32。应注意到,面部图像提取单元31从拍摄图像提取面部图像的处理的具体示例是公知的。因此,省略了关于其的描述。面部图像提取单元31可基于所提取的面部图像的数据计算面部图像的特征量。
当相似度计算单元32从面部图像提取单元31中接收到候选面部图像的数据时,相似度计算单元32进一步计算所接收的候选面部图像与登记至登记图像存储单元40的每个登记面部图像之间的相似度。相似度计算单元32将所计算的相似度传送至组内方差计算单元33以及组间方差计算单元34。
更具体而言,相似度计算单元32对于每个登记者ID执行下述处理。更具体而言,基于来自面部图像提取单元31的候选面部图像的数据,相似度计算单元32计算候选面部图像的特征量,并从登记图像存储单元40中读取与登记者ID相对应的每个登记面部图像的数据,并且基于由此读取的每个登记面部图像的数据,相似度计算单元32计算每个登记面部图像的特征量。
特征量的示例包括亮度值、每个面部特征量(眼端点、嘴端点等)的坐标、边缘特征量、直方图(亮度值的直方图、颜色直方图等)、Gabor(伽柏)特征量、Haar-like(哈尔-近似)特征量、HOG(Histograms of Oriented Gradients,方向梯度直方图)、SIFT(Scale-Invariant Feature Transform,尺度不变特征转换)、SURF(Speeded Up Robust Features,加速鲁棒特征)、LBP(Local BinaryPattern,局部二元图)。
随后,相似度计算单元32计算所计算的候选面部图像的特征量以及每个登记面部图像的特征量之间的相似度,并将所计算的相似度传送至组间方差计算单元34。相似度的示例包括距离(欧氏距离(Euclidean distance),马氏距离(Mahalanobis distance)等)、内积以及归一化相关性(normalizedcorrelation)。
相似度计算单元32对每个登记者ID执行上述处理。此外,相似度计算单元32针对从登记者识别单元25接收到的被识别登记者的登记者ID而计算相似度并将其传送至组内方差计算单元33。
使用上述表达式(1),组内方差计算单元33计算与从相似度计算单元32接收到的被识别登记者的每个登记面部图像有关的相似度的组内方差σWi 2(第i组)。组内方差计算单元33将所计算的组内方差σWi 2传送至方差比计算单元35。
基于从相似度计算单元32中所接收的每个登记面部图像与候选面部图像之间的相似度,组内方差计算单元34使用上述表达式(2)计算相似度的组间方差σB 2。组间方差计算单元34将所计算的组间方差σB 2传送至方差比计算单元35。
更具体而言,组间方差计算单元34对于每个登记者ID(组)计算相似度平均值mi和关于登记者ID所计算的登记面部图像的数量ni。也计算所有相似度的平均值m。当这些值被代入到表达式(2)时,计算相似度的组间方差σB 2
方差比计算单元35使用从组内方差计算单元33接收到的关于被识别登记者的组内方差σWi 2以及从组间方差计算单元34接收的组间方差σB 2,以采用上述表达式(3)计算方差比Jsigma。方差比计算单元35将所计算的方差比Jsigma传送至登记确定单元36。
当登记确定单元36从方差比计算单元35接收方差比Jsigma时,登记确定单元36基于所接收的方差比Jsigma确定候选面部图像的数据是否将被登记。当登记确定单元36确定候选面部图像的数据将被登记时,登记确定单元36将候选面部图像的数据作为登记面部图像的数据关联于被识别登记者的登记者ID,并将他们登记至登记图像存储单元40,此外,显示关于这种结果的消息,并经由图像合成单元17和显示单元13而将其输出。
应注意到,登记确定单元36的确定标准包括下述内容:
(a)当方差比Jsigma高于某个阈值时,登记该数据。
(b)当方差比Jsigma等于或小于某个阈值时,登记该数据。
(c)当方差比Jsigma在两个阈值之间时,登记该数据。
(d)当方差比Jsigma不在两个阈值之间时,登记该数据。
在(a)情况下,登记与登记面部图像的数据相似的面部图像的数据。在(b)情况下,登记与候选面部图像的数据不同的条件数据。在(c)和(d)情况下,登记预定条件的数据。
登记确定单元36根据哪种面部图像的数据将被登记来选择(a)至(d)的任意一个。应注意到,阈值可被手动设定,或可被自动设定。例如,阈值可被自动设定如下:通过使用预先准备的面部图像的数据核对哪种阈值将被用于确定登记是否能够提高认证的准确性,来设定优选阈值。
可选地,(a)或(b)的选择可被自动设定。例如,通过使用预先准备的面部图像的数据核对较大或较小的方差比Jsigma中的哪一个能够提高认证的准确性,并设定他们中能够提高认证的准确性的那个,从而实现这种选择。
随后,将阐释由配置如上的控制单元20执行的处理操作。图4为示出由控制单元20执行的处理流程的流程图。如图所示,首先,登记者识别单元25询问用户哪个登记者是将被拍摄的对象,并识别登记者,以及采用该登记者作为被识别登记者(S10,识别步骤)。
随后,图像获取单元30获取拍摄图像(S11),并且面部图像提取单元31提取包含在由图像获取单元30所获取的拍摄图像中的面部图像,作为候选面部图像(S12,候选获取步骤),之后,相似度计算单元32对于每个登记者计算由面部图像提取单元31提取的候选面部图像以及由登记图像存储单元40登记的每个登记面部图像之间的相似度(S13,特征量计算步骤)。
随后,使用由相似度计算单元32所计算的相似度,组内方差计算单元33计算关于被识别登记者的组内方差σWi 2(S14,组内方差计算步骤),以及组间方差计算单元34计算组间方差σB 2(S14,组间方差计算步骤)。随后,方差比计算单元35使用由组内方差计算单元33所计算的关于被识别登记者的组内方差σWi 2以及由组间方差计算单元34所计算的组间方差σB 2,来计算方差比Jsigma(S14,方差比计算步骤)。
然后,当由方差比计算单元35所计算的方差比Jsigma满足已经设定的条件时(在S15中为“是”),登记确定单元36采用候选面部图像作为被识别登记者的登记面部图像,并将该数据关联于被识别登记者的登记者ID,然后将该数据登记至登记图像存储单元40(S16,登记步骤)。之后,终止该处理。另一方面,当方差比Jsigma不满足已经设定的条件时(在S15中为“否”),不登记候选面部图像就终止该处理。
[第二实施例]
随后,将参考图5至图7阐释本发明的另一个实施例。图5为示出根据本实施例的处理示例的概览图。如该图所示,本实施例相比于图3所示的实施例,其不同之处在于不知道从拍摄图像中提取的候选面部图像是哪个登记者。为此,在本实施例中,基于候选面部图像与每个登记面部图像之间的相似度执行面部辨别(比对),从而识别候选面部图像为哪个登记者。
在图5的示例中,在A先生、B先生以及C先生当中,A先生作为其相似度的最大值为最大的那个人,被识别为与候选面部图像有关的登记者。应注意到,每个登记者的相似度的最小值为最大的登记者也可被识别为与候选面部图像有关的登记者。
图6为示出本实施例的数码相机10中的控制单元20和存储单元21的示意性配置的方框图。本实施例的数码相机10与图1至图4所示的数码相机10相比,其不同之处在于控制单元20设置有面部辨别单元(识别部)37,来代替登记者识别单元25,除此之外其它配置与数码相机10相同。使用同样的附图标记来表示与上述实施例阐释的配置和处理相同的配置和处理,并省略其描述。
当面部辨别单元37从相似度计算单元32接收相似度时,面部辨别单元37基于接收到的相似度来辨别候选面部图像属于哪个登记者。面部辨别单元37将所辨别的登记者识别为被识别登记者,并将该登记者ID传送至相似度计算单元32。
更具体而言,面部辨别单元37针对每个登记者ID计算从相似度计算单元32接收到的相似度的平均值。随后,面部辨别单元37识别所计算的平均值为最大的那个登记者ID,并将该被识别登记者ID作为被识别登记者的登记者ID传送至相似度计算单元32。可使用诸如最大值或中间值等统计值来代替平均值。
图7为示出由本实施例的控制单元20执行的处理流程的流程图。在该图中所示的处理与图4中所示的处理相比,其不同之处在于步骤S20代替步骤S10被插入到步骤S13与步骤S14之间,并且除此之外其他的处理是相同的。
在步骤S20中,基于在步骤S13中由相似度计算单元32所计算的相似度,面部辨别单元37辨别(识别)候选面部图像是哪个登记者的面部图像,并采用该登记者作为被识别登记者(识别步骤)。
因此,当不知道从拍摄图像中提取出的候选面部图像是哪个登记者的面部图像时,本实施例的数码相机10执行面部辨别并能够识别登记者。其结果是,不需要用户识别登记者,这可提高用户的便利性。
[第三实施例]
接下来,参考图8至图9将阐释本发明的又一个实施例。图8为示出本实施例的处理示例的概览图。如该图所示,本实施例与图3所示的实施例相比,其不同之处在于在制造过程中,多个人的面部图像的数据作为登记面部图像被预先登记在存储单元21中。
因此,这些人为固定的登记者,面部图像为固定的登记面部图像。在图8的示例中,Y先生和Z先生为固定的登记者。Y先生的面部图像Y1至Y4与Z先生的面部图像Z1至Z4为固定的登记面部图像。应注意到,固定的登记者和登记面部图像可在制造商制造并发货该装置时预先被登记。可选地,销售代理商可在其销售该装置时预先登记该固定的登记者和登记者面部图像。可选地,用户可在其登记用户的面部图像之前预先登记固定的登记者和登记面部图像。
图9为示出本实施例的数码相机10中的控制单元10和存储单元21的示意性配置的方框图。本实施例的数码相机10与图1至图4所示的数码相机相比,其不同之处在于固定的登记图像存储单元41被添加至存储单元21,除此之外其他配置都与上述数码相机10相同。采用同样的附图标记表示与上述实施例中阐释的配置和处理操作相同的配置和处理操作,并将省略其描述。
固定的登记图像存储单元41存储用于区分多个固定登记者的每个的登记者ID以及固定的登记面部图像的数据,并将这两者彼此关联。应注意到,固定的登记面部图像可为人的实际面部图像,或可为从许多人的面部图像产生的平均-近似(average-like)图像或特征量,或可为根据其它方法产生的面部图像或特征量,或可为其组合。固定的登记图像存储单元41不需要存储登记面部图像的新数据。因此,固定的登记图像存储单元41可由ROM形成。
存储在固定的登记图像存储单元41中的固定的登记者ID和登记面部图像的数据被相似度计算单元32所用。更具体而言,相似度计算单元32计算从面部图像提取单元31接收到的候选面部图像与登记在登记图像存储单元40中的每个登记面部图像之间的相似度,并计算候选面部图像与登记在固定的登记图像存储单元41中的每个固定登记面部图像之间的相似度。
应注意到,由本实施例的控制单元20执行的处理与图4所示的处理相同,因此将省略其描述。
因此,在本实施例的数码相机10中,即使在仅有一个登记者(A先生)被登记时,固定的登记者(Y先生/Z先生)的登记面部图像也被使用,从而使得能够计算其他登记者的相似度,并且也能够计算组间方差。因此,能够确定候选面部图像是否能够被登记。
在本实施例中,当仅存在一条登记者的登记面部图像的数据时,仅存在一条候选面部图像与登记者的登记面部图像之间的相似度,因此与登记者有关的相似度的组内方差σWi 2为零。
因此,组内方差的默认值(固定值)可被预先存储在存储单元21中,并且当仅有一条被识别登记者的登记面部图像的数据存储在登记图像存储单元40中时,组内方差计算单元33可将默认值作为组内方差值传送至方差比计算单元35。因此,即使在上述情况下,可计算方差比Jsigma,并且能够确定候选面部图像是否能够被登记。
组内方差的默认值可为经验值以及从固定面部图像中获取的组内方差值。可在被识别登记者的登记面部图像的几条(数条,例如两条或三条)数据被登记在登记图像存储单元40中时使用默认值。
[第四实施例]
接下来,将参考图10至图12阐释本发明的再一个实施例。图10为示出本实施例的处理示例的概览图。如该图所示,本实施例与图3所示的实施例相比,其不同之处在于候选面部图像临时登记在被识别登记者的登记面部图像中。在图10的示例中,A先生的候选面部图像临时被登记为A先生的登记面部图像A5
本实施例与图3所示的实施例相比,其不同之处在于,作为对候选面部图像与登记面部图像之间的相似度的代替,方差值可从候选面部图像的特征量和登记面部图像的特征量中获得。因此,在本实施例中,从上述表达式(1)计算出关于被识别登记者的特征量的组内方差σWi 2,并从上述表达式(2)计算出所有登记者的特征量的组间方差σB 2。应注意到,特征量可为标量,其为一维特征量,或可为矢量,其为多维特征量。
接下来,使用上述表达式(3)计算方差比Jsigma。方差比Jsigma是所计算的组间方差σB 2相对于在该组内所计算的组内方差σWi 2的比率。然后,基于所计算的方差比Jsigma以及已经设定的标准,确定临时的登记面部图像(候选面部图像)是否将被登记。当临时的登记面部图像被确定为将被登记时,临时的登记面部图像的数据作为被识别登记者的登记面部图像的数据被登记至存储单元21。
图11为示出本实施例的数码相机10中的控制单元20和存储单元21的示意性配置的方框图。本实施例的数码相机10与图1至图4所示的数码相机10相比,其不同之处在于,控制单元20设置有特征量计算单元(特征量计算部)38来代替相似度计算单元32,除此之外其它配置与上述数码相机10相同。采用同样的附图标记表示与上述实施例中阐释的配置和处理操作相同的配置和处理操作,并将省略其描述。
当特征量计算单元38从面部图像提取单元31接收候选面部图像的数据时,特征量计算单元38计算接收到的候选面部图像的特征量,并分别计算登记在登记图像存储单元40中的多个登记面部图像的特征量。特征量计算单元38将所计算的特征量传送至组内方差计算单元33和组间方差计算单元34。
更具体而言,特征量计算单元38执行对从登记者识别单元25接收到的被识别登记者的登记者ID的下述处理。更具体而言,特征量计算单元38从登记图像存储单元40中读取与被识别登记者的登记者ID相对应的登记面部图像的每条数据,并基于已经读取的登记面部图像的每条数据计算每个登记面部图像的特征量。随后,特征量计算单元38基于由面部图像提取单元31所给出的候选面部图像的数据计算候选面部图像的特征量。
然后,特征量计算单元38将每个登记面部图像的特征量和已经被计算的候选面部图像的特征量传送至组内方差计算单元33和组间方差计算单元34,作为与被识别登记者的登记者ID有关的特征量。因此,以与被识别登记者的登记者ID相对应的登记面部图像同样的方式来处理候选面部图像,就好像其是临时登记在登记图像存储单元40中一样。
接下来,对于除被识别登记者之外的每个登记者的登记者ID(组)执行下述处理。更具体而言,特征量计算单元38从登记图像存储单元40中读取与登记者ID相对应的登记面部图像的每条数据,并基于已经读取的登记面部图像的数据来计算每个登记面部图像的特征量。然后,特征量计算单元38将所计算的每个登记面部图像的特征量传送至组间计算单元34,作为与登记者ID有关的特征量。
图12为示出由本实施例的控制单元20执行的处理流程的流程图。在该图中所示的本实施例与图4所示的流程相比,其不同之处在于设置步骤S21/S22以代替步骤S13/S14,除此之外其它的处理是相同的。
在步骤S21中,特征量计算单元38计算由面部图像提取单元31提取的被识别登记者的候选面部图像的特征量,并针对每个登记者计算登记在登记图像存储单元40中的每个登记面部图像的特征量(特征量计算步骤)。
在步骤S22中,使用每个登记面部图像的特征量和由特征计算单元38计算的与被识别登记者有关的候选面部图像的特征量,组内方差计算单元33计算与被识别登记者有关的组内方差σWi 2(组内方差计算步骤)。另一方面,使用每个登记面部图像的特征量和与被识别登记者有关的候选面部图像以及由特征量计算单元38针对每个其它登记者所计算的登记面部图像的特征量,组间方差计算单元34计算组间方差σB 2(组间方差计算步骤)。接下来,使用由组内方差计算单元33计算的与被识别登记者有关的组内方差σWi 2和由组间方差计算单元34计算的组间方差σB 2,方差比计算单元35计算方差比Jsigma(方差比计算步骤)。
因此,当候选面部图像临时被登记时,本实施例的数码相机10计算与特征量有关的方差比,并基于所计算的方差比确定是否能够进行登记。结果是,能够确定是否能够进行关于候选面部图像的登记。
在本实施例中,类似于图8和图9所示的实施例,特征量计算单元38可使用存储在固定的登记图像存储单元41中的固定的登记面部图像的数据来计算关于固定登记者的特征量。在这种情况下,即使在仅存在一个登记者时,也能够使用固定登记者的登记面部图像计算特征量的组间方差。因此,能够确定是否能够进行候选面部图像的登记。
在固定的登记面部图像的数据中,在组间方差计算单元34中仅使用固定登记者的特征量。因此,可考虑图13所示的改型示例。
图13为示出根据改型示例的控制单元20和存储单元21的示意性配置的方框图。如该图所示的改型与图11所示的配置相比,其不同之处在于,存储单元21设置有固定的登记特征量存储单元42,在该固定的登记特征量存储单元42中,关于固定登记者的固定特征量被登记,除此之外其它的配置是相同的。
在图13所示的改型示例的情况中,组间方差计算单元34可使用由特征量计算单元38计算的与被识别登记者有关的每个登记面部图像和候选面部图像的特征量以及存储在固定的登记图像存储单元41中的与固定登记者有关的固定特征量,计算组间方差σB 2。根据如该图中所示的改型,特征量计算单元38不需要计算与除被识别登记者之外的登记者有关的特征量,从而能够快速执行处理。
在本实施例中,当没有登记某个人的登记面部图像的数据时,仅存在那个人的候选面部图像的一个特征量。因此,组内方差σWi 2为零。
因此,组内方差的默认值(固定值)可预先被存储至存储单元21,并且当被识别登记者的登记面部图像的数据没有被存储在登记图像存储单元40中时,组内方差计算单元33可将默认值作为组内方差值传送至方差比计算单元35。因此,甚至也能够针对非登记者来计算方差比Jsigma,并且能够确定候选面部图像是否能够被登记。
[第五实施例]
接下来,将参考图14至图16阐释本发明的另一个实施例。图14为示出根据本实施例的处理示例的概览图。如该图所示,本实施例执行如图3所示的登记面部图像的维护。
如图14所示,首先生成包括每个登记者的至少两个登记面部图像的登记面部图像的组合。在如该图所示的示例中,产生1331个组合((24-(1+4))3=1331)。
接下来,对于某个组合,计算登记面部图像的特征量,并基于所计算的特征量,计算每个登记者的组内方差σWi 2和组间方差σB 2,并计算每个登记者的方差比。然后,对所有组合重复这种处理。
接下来,选择方差比为最大或最小的组合,并且使用在所选组合中的登记面部图像的数据来更新登记图像存储单元40。更具体而言,除所选组合的登记面部图像之外的登记面部图像从登记图像存储单元40中删除。因此,能够从登记图像存储单元40中删除不需要被登记的登记面部图像的数据,这能够避免资源浪费。此外,能够产生最佳组合,这能够提高认证的准确性。
当选择方差比最大的组合时,同一个人的登记面部图像是相似的,因此尽管计分(相似度)在不同条件的情况下是低的,但是也不太可能将其错误地确定为另外的一个人。另一方面,当选择方差比是最小的组合时,同一个人的登记面部图像在不同方式下是不同的,因此,尽管计分在条件不同时是高的,但是很可能错误地将其确定为另外一个人。对他们其中之一的选择取决于期望的是哪种面部辨别。
在图14的示例中,选择具有最大方差比Jsigma=30.5(A1至A4/B1至B4/C1/C2),并且用所选的登记面部图像的数据更新登记图像存储单元40。更具体而言,从登记图像存储单元40中删除登记面部图像C3/C4的数据。
图15为示出本实施例的数码相机10的控制单元20和存储单元21的示意性配置的方框图。本实施例的数码相机10与如图1至图4所示的数码相机10相比,其不同之处在于下述特征,除此之外的其它配置与上述数码相机10相同。使用同样的附图标记来表示与上述实施例阐释的配置和处理相同的配置和处理,并省略其描述。
更具体而言,控制单元20不具有登记者识别单元25、图像获取单元30以及面部图像提取单元31。作为对相似度计算单元32、方差比计算单元35以及登记确定单元36的代替,控制单元20设置有特征量计算单元(特征量计算部)51、方差比计算单元52以及登记更新单元(登记更新部)53,并且另外设置组合产生单元(组合产生部)50。此外,存储单元21另外包括组合DB(数据库)存储单元60。
对于每个组合,组合DB存储单元60包括关于登记面部图像和方差比的信息。
组合产生单元50从所有存储在登记图像存储单元40中的登记面部图像中产生包括每个登记者的至少两个登记面部图像的组合。组合产生单元50将所产生的关于该组合的信息存储至组合DB存储单元60。
对于存储在组合DB存储单元60中的每个组合,特征量计算单元51从登记图像存储单元40中读取包含在该组合中的登记面部图像,并计算特征量。特征量计算单元51将针对每个登记者ID计算的特征量传送至组内方差计算单元33和组间方差计算单元34。
基于从组内方差计算单元33接收到的组内方差σWi 2和从组间方差计算单元34接收到的组间方差σB 2,方差比计算单元52计算每个登记者的方差比Jsigma。方差比计算单元52将在所计算的每个组合中的每个登记者的方差比Jsigma存储至组合DB存储单元60。
对于每个组合,登记更新单元53读取存储在组合DB存储单元60中的每个登记者的方差比Jsigma,选择满足已经设定的条件的方差比Jsigma的组合,并用包含在所选组合中的登记面部图像的数据来更新登记图像存储单元40。
图16为示出由本实施例的控制单元20执行的处理流程的流程图。如该图所示,首先,组合产生单元50从存储在登记图像存储单元40中的所有登记面部图像中为每个登记者产生包括至少两个登记面部图像的组合(S30)。
接下来,特征量计算单元51选择某个组合,并计算包含在所选组合中的登记面部图像的特征量(S32)。接下来,基于所计算的特征量,组内方差计算单元33和组间方差计算单元34分别计算组内方差σWi 2和组间方差σB 2,方差比计算单元52计算每个登记者的方差比Jsigma,并将该方差比Jsigma传送至组合DB存储单元60(S33)。
接下来,确定是否已经执行所有的组合(S34)。当确定没有执行完所有组合时,特征量计算单元51选择另外的组合(S35),并返回到步骤S32重复该操作。当确定已经执行完所有组合时,登记更新单元53用包含在组合中的登记面部图像的数据(其为满足已经设定的条件的方差比Jsigma)更新登记图像存储单元40(S36)。之后,终止该处理。
本发明不限于上述阐释的每个实施例。本发明能够在权利要求所描述的范围内以各种方式加以改变。本发明的技术性范围也包含通过适当组合在每个不同实施例中所公开的技术手段而获得的实施例。
例如,在实施例中,从拍摄图像中检测并辨别人的面部图像。可选地,可检测人员上半身或人员整个身体的图像,或者可检测诸如球或车辆等其他物体的图像。更具体而言,本发明能够应用于对包含在所获取的拍摄图像中的任何给定目标图像进行的检测。
在实施例中,本发明被应用于数码相机10。可选地,本发明应用于任何具有图像拍摄单元的的电子装置,该电子装置例如为蜂窝电话、智能电话以及PDA(个人数字助理)。
在实施例中,登记图像存储单元40存储登记面部图像的图像数据作为登记信息。从登记面部图像中计算的特征量的数据可代替图像数据而存储,或者可与图像数据一起存储。在这种情况下,控制单元20不会计算任何登记面部图像的特征量。
最后,在数码相机10中,每个模块(即,特别是控制单元20)可由硬件逻辑构成,或通过使用如下阐释的CPU而用软件实现。
更具体而言,数码相机10包括:CPU,执行实现每个功能的控制程序的指令;存储装置(记录介质),例如为用来存储程序和各种数据的存储器(例如存储程序的ROM(只读存储器)、提取(extract)该程序的RAM(随机存取存储器))。进而,本发明的目的还能够通过给数码相机10设置下述记录介质并且使计算机(或CPU或MPU)读取并执行记录在记录介质中的程序代码而得以实现,其中该记录介质记录了作为实现上述功能的软件的数码相机10的控制程序的程序代码(执行格式程序、中间代码程序、源程序)。
记录介质的示例包括:磁带系统(例如为磁带和盒带),包括磁盘(例如软盘(注册商标)/硬盘)和光盘(如CD-ROM/MO/MD/DVD/CD-R)的磁盘系统,卡片系统(例如IC卡(包括存储卡)/光学卡),以及半导体存储器系统(例如掩模ROM/EPROM/EEPROM/闪存ROM)。
可选地,数码相机10可被配置为能够与通信网络连接,且可通过该通信网络提供程序代码。对这种通信网络没有特别限制。例如,互联网、内联网、外联网、LAN、ISDN、VAN、CATV通信网络,虚拟个人网络、电话网络、移动通信网络、以及卫星通信网络等都可被用作通信网络。对构成通信网络的传输介质没有特别限制。例如,该传输介质可以为有线介质,例如IEEE1394、USB、电力线通信(Power Line Communications)、有线TV网络、电话线和ADSL线。可选地,例如通过使用诸如IrDA和遥控器等的红外线通信、蓝牙(注册商标)、802.11无线网络、HDR、蜂窝电话网、卫星线路、以及地面数字网络等,该传输介质可通过无线实现。
如上所述,根据候选图像与同一目标的登记图像(作为登记图像)之间的关系以及候选图像与登记图像中不同目标的登记图像之间的关系,根据本发明的登记确定装置适当地确定该候选图像是否将被登记,因此,根据本发明的登记确定装置不仅能应用于面部辨别,而且也能应用于任何根据拍摄图像辨别目标的(例如指纹辨别)辨别装置。

Claims (9)

1.一种登记确定装置,为了执行对目标的图像辨别,该登记确定装置用于确定是否将作为目标图像的登记候选的候选图像登记为已预先被登记的登记图像,所述登记确定装置包括:
存储单元,被配置为与用于辨识该目标的辨识信息相关联地存储登记信息,其中所述登记信息为所述登记图像的特征量和图像数据的至少之一;
候选获取部,被配置为获取所述候选图像;
识别部,被配置为识别与由所述候选获取部获取的候选图像相对应的辨识信息;
特征量计算部,被配置为计算由所述候选获取部获取的所述候选图像的特征量;
组内方差计算部,针对所述候选图像与在同一组中与由所述识别部识别的辨识信息相对应的登记图像,该组内方差计算部被配置为计算由所述特征量计算部计算的所述候选图像的特征量与基于所述登记图像的所述登记信息的特征量的组内方差,或计算所述候选图像的特征量与所述登记图像的特征量之间的相似度的组内方差;
组间方差计算部,针对在多个组中分别对应于多条辨识信息的登记图像,该组间方差计算部被配置为计算所述候选图像的特征量与基于所述登记图像的所述登记信息的所述登记图像的特征量的组间方差,或计算所述候选图像的特征量与所述登记图像的特征量之间的相似度的组间方差;
方差比计算部,被配置为计算方差比,该方差比为由所述组内方差计算部计算的组内方差与由所述组间方差计算部计算的组间方差之间的比率;以及
登记部,其中当由所述方差比计算部计算的方差比满足预定条件时,所述登记部以这样的方式将所述候选图像作为所述登记图像登记至所述存储单元,其中该方式是将所述登记图像的登记信息关联于由所述识别部识别的辨识信息。
2.根据权利要求1所述的登记确定装置,还包括操作单元,被配置为接收来自用户的操作,其中所述识别部基于由所述操作单元从用户接收到的操作来识别与所述候选图像相对应的辨识信息。
3.根据权利要求1所述的登记确定装置,其中所述识别部通过对由所述候选获取部获取的所述候选图像与存储在所述存储单元中的所述登记图像进行比对来识别与所述候选图像相对应的辨识信息。
4.根据权利要求1-3的任一项所述的登记确定装置,其中所述存储单元与所述辨识信息相关联地预先存储所述登记图像。
5.根据权利要求1-3的任一项所述的登记确定装置,其中当存在与相应于所述候选图像的辨识信息相关联的一个登记图像或几个登记图像时,所述组内方差计算部使用默认的组内方差来代替对所述组内方差的计算。
6.根据权利要求1-3的任一项所述的登记确定装置,其中针对所述候选图像和在同一组中与由所述识别部识别的辨识信息相对应的所述登记图像,所述组内方差计算部计算由所述特征量计算部计算的所述候选图像的特征量与这样的特征量的组内方差,其中该特征量基于所述登记图像的所述登记信息而定,而所述组间方差计算部计算与所述候选图像以及这样的登记图像有关的特征量的组间方差,其中所述登记图像是在同一组中与由所述识别部识别的辨识信息相对应的登记图像和在另一组中与其他辨识信息相对应的登记图像。
7.根据权利要求1-3的任一项所述的登记确定装置,还包括:
组合产生部,针对在所述多个组中分别对应于所述多条辨识信息的登记图像,该组合产生部被配置为产生包括每个组中至少两个登记图像的组合;以及
登记更新部,通过使用所述组内方差计算部、所述组间方差计算部以及所述方差比计算部,该登记更新部利用在这样的方差比中满足预定条件的组合中的登记图像的登记信息来更新所述存储单元中的所述登记图像的登记信息,其中所述方差比是针对由所述组合产生部产生的每个组合而计算的对应于每个组的所述组内方差和所述组间方差之间的方差比。
8.一种电子装置,包括根据权利要求1-7的任一项所述的登记确定装置。
9.一种用于登记确定装置的控制方法,为了进行目标的图像辨别,该方法用于确定是否将作为目标图像的登记候选的候选图像登记为已预先被登记的登记图像,所述控制方法包括:
候选获取步骤,用于获取所述候选图像;
识别步骤,用于识别与在所述候选获取步骤中获取的候选图像对应的辨识信息;
特征量计算步骤,用于计算在所述计算获取步骤中获取的候选图像的特征量;
组内方差计算步骤,针对所述候选图像与在同一组中与所述识别步骤中识别的辨识信息相对应的登记图像,计算在所述特征量计算步骤中计算的所述候选图像的特征量与基于存储在所述存储单元中的所述登记图像的登记信息的特征量的组内方差,或计算在所述候选图像的特征量与所述登记图像的特征量之间的相似度的组内方差,其中所述存储单元与用于辨识每个目标的辨识信息相关联地存储登记信息,所述登记信息为所述登记图像的特征量和图像数据的至少之一;
组间方差计算步骤,针对在多个组中分别对应于多条辨识信息的登记图像,计算所述候选图像的特征量与基于存储在所述存储单元中的所述登记图像的登记信息的所述登记图像的特征量的组间方差,或计算所述候选图像的特征量与所述登记图像的特征量之间的相似度的组间方差;
方差比计算步骤,用于计算方差比,其为在所述组内方差计算步骤中计算的组内方差与在所述组间方差计算步骤中计算的所述组间方差之间的比率;以及
登记步骤,在该登记步骤中,当在所述方差比计算步骤中计算的方差比满足预定条件时,以这样的方式将所述候选图像作为所述登记图像登记至所述存储单元,其中该方式是将所述登记图像的登记信息关联于在所述识别步骤中识别的所述辨识信息。
CN201210593006.5A 2012-03-15 2012-12-31 登记确定装置及其控制方法、以及电子装置 Active CN103313018B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012058991A JP5900052B2 (ja) 2012-03-15 2012-03-15 登録判定装置、その制御方法および制御プログラム、並びに電子機器
JP2012-058991 2012-03-15

Publications (2)

Publication Number Publication Date
CN103313018A true CN103313018A (zh) 2013-09-18
CN103313018B CN103313018B (zh) 2016-12-28

Family

ID=47598625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210593006.5A Active CN103313018B (zh) 2012-03-15 2012-12-31 登记确定装置及其控制方法、以及电子装置

Country Status (5)

Country Link
US (1) US8958647B2 (zh)
EP (1) EP2639740A3 (zh)
JP (1) JP5900052B2 (zh)
KR (1) KR101424956B1 (zh)
CN (1) CN103313018B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810663A (zh) * 2013-11-18 2014-05-21 北京航天金盾科技有限公司 一种基于人像识别的人口数据清理方法
CN104657705A (zh) * 2013-11-15 2015-05-27 欧姆龙株式会社 图像识别装置及面向图像识别装置的数据登录方法
CN105635777A (zh) * 2014-11-20 2016-06-01 三星电子株式会社 用于登记用户命令的显示装置和方法
CN107430728A (zh) * 2015-04-30 2017-12-01 谷歌公司 经由面部识别识别交易中的消费者
CN107995382A (zh) * 2016-10-26 2018-05-04 佳能株式会社 登记用于控制作业的图像的图像形成装置及其控制方法
CN108831158A (zh) * 2018-08-20 2018-11-16 贵州宜行智通科技有限公司 违停监测方法、装置及电子终端
CN113508389A (zh) * 2019-03-04 2021-10-15 松下知识产权经营株式会社 面部认证登记装置以及面部认证登记方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140341443A1 (en) * 2013-05-16 2014-11-20 Microsoft Corporation Joint modeling for facial recognition
JP2015121874A (ja) * 2013-12-20 2015-07-02 富士通株式会社 生体認証装置、照合用データ検証方法及び照合用データ検証用コンピュータプログラム
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US9639742B2 (en) 2014-04-28 2017-05-02 Microsoft Technology Licensing, Llc Creation of representative content based on facial analysis
US9773156B2 (en) 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
JP6427973B2 (ja) * 2014-06-12 2018-11-28 オムロン株式会社 画像認識装置及び画像認識装置への特徴量データ登録方法
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US9460493B2 (en) 2014-06-14 2016-10-04 Microsoft Technology Licensing, Llc Automatic video quality enhancement with temporal smoothing and user override
US9373179B2 (en) 2014-06-23 2016-06-21 Microsoft Technology Licensing, Llc Saliency-preserving distinctive low-footprint photograph aging effect
CN104268153B (zh) * 2014-09-01 2017-09-26 北京航天金盾科技有限公司 一种人口数据查重方法和装置
US9405965B2 (en) * 2014-11-07 2016-08-02 Noblis, Inc. Vector-based face recognition algorithm and image search system
US10482336B2 (en) 2016-10-07 2019-11-19 Noblis, Inc. Face recognition and image search system using sparse feature vectors, compact binary vectors, and sub-linear search
JP7216491B2 (ja) * 2018-07-27 2023-02-01 シャープ株式会社 ユーザー選択補助装置、画像形成装置、ユーザー選択補助方法およびユーザー選択補助プログラム
KR20200110064A (ko) 2019-03-15 2020-09-23 삼성전자주식회사 변환 모델을 이용한 인증 방법 및 장치
US11711216B1 (en) * 2019-12-02 2023-07-25 T Stamp Inc. Systems and methods for privacy-secured biometric identification and verification
KR20230106977A (ko) * 2022-01-07 2023-07-14 한화비전 주식회사 재순위화를 통한 객체 검색

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1162566A2 (en) * 2000-06-06 2001-12-12 Matsushita Electric Industrial Co., Ltd. Methods and apparatuses for recognising or checking patterns
CN1374617A (zh) * 2001-03-05 2002-10-16 欧姆龙株式会社 生物体核对装置、系统、方法及登录数据的更新方法
US6697505B2 (en) * 1997-12-12 2004-02-24 Kabushiki Kaisha Toshiba Person recognizing apparatus which can reduce time and year changing effects and method therefor
CN1552041A (zh) * 2001-12-14 2004-12-01 日本电气株式会社 人脸元数据生成与人脸相似度计算
CN1924897A (zh) * 2005-08-29 2007-03-07 索尼株式会社 图像处理装置和方法以及程序
WO2012017589A1 (ja) * 2010-08-05 2012-02-09 パナソニック株式会社 顔画像登録装置および方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5161204A (en) * 1990-06-04 1992-11-03 Neuristics, Inc. Apparatus for generating a feature matrix based on normalized out-class and in-class variation matrices
JPH04177629A (ja) 1990-11-10 1992-06-24 Sharp Corp チップメモリ
JPH04314016A (ja) 1991-04-12 1992-11-05 Nippon Telegr & Teleph Corp <Ntt> 任意接続型マトリクス光スイッチ
JPH05210740A (ja) * 1992-01-31 1993-08-20 N T T Data Tsushin Kk パターン認識辞書作成システムおよびその追加パターン作成方法
JPH07262379A (ja) * 1994-03-18 1995-10-13 N T T Data Tsushin Kk 物品同定システム
JP3564984B2 (ja) 1997-12-02 2004-09-15 オムロン株式会社 本人特定装置及び本人特定方法
JP4255999B2 (ja) 1998-10-20 2009-04-22 三菱電機株式会社 指紋照合装置
JP3307354B2 (ja) 1999-01-29 2002-07-24 日本電気株式会社 人物識別方法及び装置と人物識別プログラムを記録した記録媒体
JP2004046697A (ja) 2002-07-15 2004-02-12 Omron Corp 個人認証装置
JP4177629B2 (ja) 2002-09-30 2008-11-05 株式会社東芝 個人認証装置、個人認証方法、入退出管理装置及び入退出管理方法
JP4314016B2 (ja) * 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
JP2004302645A (ja) 2003-03-28 2004-10-28 Sony Corp 顔登録装置、顔登録方法、記録媒体、及びロボット装置
EP1751689A1 (fr) * 2004-06-04 2007-02-14 France Telecom Procede pour la reconnaissance de visages, a analyse discriminante lineaire bidimensionnelle
JP4594176B2 (ja) 2005-06-22 2010-12-08 三菱電機株式会社 画像処理装置及び入退室管理システム
JP5017873B2 (ja) * 2006-02-07 2012-09-05 コニカミノルタホールディングス株式会社 個人照合装置及び個人照合方法
JP4705511B2 (ja) 2006-04-28 2011-06-22 セコム株式会社 顔画像照合装置
JP4705512B2 (ja) 2006-04-28 2011-06-22 セコム株式会社 顔画像照合装置
JP5247480B2 (ja) * 2009-01-13 2013-07-24 キヤノン株式会社 オブジェクト識別装置及びオブジェクト識別方法
JP2010213749A (ja) 2009-03-13 2010-09-30 Omron Corp 車両動作制御装置および方法、並びにプログラム
US8571273B2 (en) * 2009-05-22 2013-10-29 Nokia Corporation Method and apparatus for performing feature extraction using local primitive code
JP5451302B2 (ja) * 2009-10-19 2014-03-26 キヤノン株式会社 画像処理装置及び方法、プログラム及び記憶媒体
JP5554987B2 (ja) * 2009-12-28 2014-07-23 キヤノン株式会社 オブジェクト識別装置及びその制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697505B2 (en) * 1997-12-12 2004-02-24 Kabushiki Kaisha Toshiba Person recognizing apparatus which can reduce time and year changing effects and method therefor
EP1162566A2 (en) * 2000-06-06 2001-12-12 Matsushita Electric Industrial Co., Ltd. Methods and apparatuses for recognising or checking patterns
CN1374617A (zh) * 2001-03-05 2002-10-16 欧姆龙株式会社 生物体核对装置、系统、方法及登录数据的更新方法
CN1552041A (zh) * 2001-12-14 2004-12-01 日本电气株式会社 人脸元数据生成与人脸相似度计算
CN1924897A (zh) * 2005-08-29 2007-03-07 索尼株式会社 图像处理装置和方法以及程序
WO2012017589A1 (ja) * 2010-08-05 2012-02-09 パナソニック株式会社 顔画像登録装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHRISTOPHER M BISHOP: "《Pattern recognition and machine learning》", 1 January 2006 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657705A (zh) * 2013-11-15 2015-05-27 欧姆龙株式会社 图像识别装置及面向图像识别装置的数据登录方法
CN104657705B (zh) * 2013-11-15 2018-10-02 欧姆龙株式会社 图像识别装置及面向图像识别装置的数据登录方法
CN103810663B (zh) * 2013-11-18 2017-09-26 北京航天金盾科技有限公司 一种基于人像识别的人口数据清理方法
CN103810663A (zh) * 2013-11-18 2014-05-21 北京航天金盾科技有限公司 一种基于人像识别的人口数据清理方法
CN105635777B (zh) * 2014-11-20 2020-11-06 三星电子株式会社 用于登记用户命令的显示装置和方法
CN105635777A (zh) * 2014-11-20 2016-06-01 三星电子株式会社 用于登记用户命令的显示装置和方法
US11900939B2 (en) 2014-11-20 2024-02-13 Samsung Electronics Co., Ltd. Display apparatus and method for registration of user command
US11495228B2 (en) 2014-11-20 2022-11-08 Samsung Electronics Co., Ltd. Display apparatus and method for registration of user command
US10381004B2 (en) 2014-11-20 2019-08-13 Samsung Electronics Co., Ltd. Display apparatus and method for registration of user command
US10885916B2 (en) 2014-11-20 2021-01-05 Samsung Electronics Co., Ltd. Display apparatus and method for registration of user command
CN107430728A (zh) * 2015-04-30 2017-12-01 谷歌公司 经由面部识别识别交易中的消费者
CN107430728B (zh) * 2015-04-30 2021-10-29 谷歌有限责任公司 经由面部识别识别交易中的消费者
US10827088B2 (en) 2016-10-26 2020-11-03 Canon Kabushiki Kaisha Image forming apparatus which registers image to be used for controlling job and method for controlling image forming apparatus
CN107995382B (zh) * 2016-10-26 2021-04-02 佳能株式会社 登记用于控制作业的图像的图像形成装置及其控制方法
CN107995382A (zh) * 2016-10-26 2018-05-04 佳能株式会社 登记用于控制作业的图像的图像形成装置及其控制方法
CN108831158A (zh) * 2018-08-20 2018-11-16 贵州宜行智通科技有限公司 违停监测方法、装置及电子终端
CN113508389A (zh) * 2019-03-04 2021-10-15 松下知识产权经营株式会社 面部认证登记装置以及面部认证登记方法

Also Published As

Publication number Publication date
JP5900052B2 (ja) 2016-04-06
US8958647B2 (en) 2015-02-17
KR20130105285A (ko) 2013-09-25
EP2639740A3 (en) 2014-09-03
JP2013196008A (ja) 2013-09-30
US20130243328A1 (en) 2013-09-19
EP2639740A2 (en) 2013-09-18
CN103313018B (zh) 2016-12-28
KR101424956B1 (ko) 2014-08-01

Similar Documents

Publication Publication Date Title
CN103313018A (zh) 登记确定装置及其控制方法、以及电子装置
CN106446816B (zh) 人脸识别方法及装置
CN110362677B (zh) 文本数据类别的识别方法及装置、存储介质、计算机设备
US7006671B2 (en) Personal identification apparatus and method
CN109284675B (zh) 一种用户的识别方法、装置及设备
JP5710748B2 (ja) 生体認証システム
JPWO2010004958A1 (ja) 個人認証システム、個人認証方法
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
US9396407B2 (en) Image recognition device, recording medium, and image recognition method
AU2011252761B2 (en) Automatic identity enrolment
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
US11403875B2 (en) Processing method of learning face recognition by artificial intelligence module
KR100777922B1 (ko) 영상인식을 이용한 개인인증 및 전자서명 시스템 및 그방법
AU2011252761A1 (en) Automatic identity enrolment
CN110717407A (zh) 基于唇语密码的人脸识别方法、装置及存储介质
CN112101296B (zh) 人脸注册方法、人脸验证方法、装置及系统
CN107077617B (zh) 指纹提取方法及装置
CN113128278A (zh) 一种图像识别方法及装置
JP2009276937A (ja) 辞書作成装置、認識装置、認識方法及び認識プログラム
CN112766282B (zh) 图像识别方法、装置、设备及计算机可读介质
Villegas-Cortez et al. Interest points reduction using evolutionary algorithms and CBIR for face recognition
CN114913404A (zh) 模型训练、人脸图像活体检测方法、电子设备及存储介质
JP2019113959A (ja) 鼻紋照合システム、鼻紋照合方法及び鼻紋照合プログラム
CN109359616B (zh) 一种基于sift的伪拼接小尺寸指纹识别算法
CN116310763B (zh) 一种模板图像生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant