CN101295352B - 数位相机及摄影机用的人脸辨识及使用者界面系统 - Google Patents

数位相机及摄影机用的人脸辨识及使用者界面系统 Download PDF

Info

Publication number
CN101295352B
CN101295352B CN2008100917513A CN200810091751A CN101295352B CN 101295352 B CN101295352 B CN 101295352B CN 2008100917513 A CN2008100917513 A CN 2008100917513A CN 200810091751 A CN200810091751 A CN 200810091751A CN 101295352 B CN101295352 B CN 101295352B
Authority
CN
China
Prior art keywords
face
candidate
identification
arbitrarily
treats
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008100917513A
Other languages
English (en)
Other versions
CN101295352A (zh
Inventor
邓智生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mira Electronics Co Ltd
Original Assignee
Mira Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mira Electronics Co Ltd filed Critical Mira Electronics Co Ltd
Publication of CN101295352A publication Critical patent/CN101295352A/zh
Application granted granted Critical
Publication of CN101295352B publication Critical patent/CN101295352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明揭示一种数位相机及摄影机用的人脸辨识及使用者界面系统,其包含一脸孔辨识方法及相关装置。该揭示的方法经由使用者介入的导入而提供改良的脸孔比对正确性,当侦测被辨识的待辨识脸孔,产生一候选人名册,且使用者可经由所揭示的装置提供的一使用者界面输入一使用者输入,自候选人名册中主动选择出吻合的候选人脸孔。然后,待辨识脸孔资料自动地登记至资料库,其中该候选人脸孔资料被储存,以更新吻合候选人的资料。

Description

数位相机及摄影机用的人脸辨识及使用者界面系统
技术领域
本发明大体而言关于脸孔辨识方法及装置,特别是关于可使使用者介入的脸孔辨识方法。
背景技术
脸孔辨识由二部份组成,第一部分为脸孔侦测,侦测含一或多个人脸孔作为待辨识脸孔的影像。第二部份为经由比较脸部特征的相似性,比对经侦测的待辨识脸孔与其他储存脸孔。在经捕捉的影像中的脸孔辨识使用于许多领域,例如,可连结并组织相同身份而于不同时刻、地点及经由不同装置捕捉的所有影像。
然而,多数脸孔辨识演算经常错误且精确性通常相当低,辨识精确性受到成像条件的重大影响,例如影像捕捉装置的照明条件、拍摄角度及成像品质。此外,经由时间及其他因素,例如发型、化妆、皮肤颜色等人脸孔的变化可引起辨识结果的正确性降低。再者,脸孔辨识演算需要非常大量的计算,且大多数嵌入式或移动式影像捕捉装置不具有足够的计算力以高效率执行复杂的脸孔辨识。然而,适于嵌入式或移动式影像捕捉装置的低复杂性演算较不精确。
因此,就记算效率及辨识精确性而言,极需一种可于嵌入式或移动式影像捕捉装置中令人满意地执行的脸孔辨识程式。
发明内容
本发明的一特征为提供一种用于嵌入式或移动式影像及视讯捕捉装置的脸孔辨识方法。该所揭示的方法可以自动脸孔比对程式体现,其可比对当前所侦测的脸孔与在资料库中储存的脸孔,结果,使用者界面显示由最信赖候选人至较低信赖候选人的比对结果。若最信赖候选人吻合该侦测脸孔,则新侦测的脸孔影像会被记录,并联结资料库中吻合影像的身份而用于将来的比对及撷取。
本发明另一特征为提供一种经由使用者介入机制增进脸孔辨识精确性的方法。若对于侦测脸孔经由自动脸孔比对程式而辨识错误的候选人,使用者可核对并改变所辨识的候选人。
本发明另一特征为提供一种用于使用者介入机制的整合使用者界面装置。所揭示的整合使用者界面可使使用者在捕捉的影像中所有已侦测的脸孔中辨识及切换,核对并改变所辨识的候选人。
附图说明
本发明的图示合并并构成说明书的一部分,以阐明本发明的数个观点,并与发明说明一起作为解释该揭示的原理。在图示中:
图1A为根据本发明一具体实施例的脸孔辨识方法流程图;
图1B为根据本发明另一具体实施例的脸孔辨识方法流程图;
图2A为根据本发明另一具体实施例的脸孔辨识装置方框图;
图2B为根据本发明较佳实施例的脸孔辨识装置方框图;
图2C为根据本发明另一较佳实施例的脸孔辨识装置方框图;
图2D为根据本发明另一较佳实施例的脸孔辨识装置方框图;
图3A为说明以使用者界面型式体现本发明的电子影像撷取装置;
图3B为另一说明以使用者界面型式体现本发明的电子影像撷取装置;
图4为以一程式、一使用者界面及一装置,以记录模式运行,操作于影像撷取装置上,体现本发明的流程图;
图5为以一程式、一使用者界面及一装置,以播放及编辑模式运行,操作于影像撷取装置上,体现本发明的流程图;
图6为显示依据本发明实施例的确认及指定关键画面的一流程图;及
图7为显示依据本发明实施例,使用积分基础方法,于不同视讯画面间脸孔追踪的脸部特征选择的流程图。
具体实施方式
本发明的揭示可经由以下提供的具体实施例叙述。然而,必须理解,以下的具体实施例并非必然地限定本揭示,仅用于代表性实施本发明。
总结本发明的各观点,参照详细的本发明叙述,如于图式中说明。同时本发明将结合这些图式加以说明,但并无意图将其限制于本文中所揭示的具体实施例或具体实施例。相反地,其意图含盖所附权利要求所定义的本发明精神及范围中的所有选择、修正及等效物。
须注意的是,本文的图式已提供说明本发明具体实施例的某些特色及观点,由本文所提供的叙述将可察知,各种选择性具体实施例及实施可被理解,符合本发明的范围及精神。
亦须注意的是,本文的图式与一些尺寸并不相符,某些构件的一些尺寸与其他构件的尺寸并不相符,以便提供综合的叙述及突显本发明。
参照图1A,其为根据本发明一具体实施例的具有自动资料库更新机制的脸孔辨识方法的流程图100A。首先,提供一影像并侦测出现于显示影像范围内的人脸孔(101A、102A)。当多数脸孔可由影像侦测,在所侦测的脸孔中,待辨识脸孔将被限定(103A),例如,经由使用者。侦侧的待辨识脸孔具有一套撷取的待辨识脸部特征。然后,针对待辨识脸孔,产生含一或多个候选人脸孔的候选人名册(104A)。经由对照预先储存于脸孔资料库中的脸部特征记录,搜寻待辨识脸部特征而产生该候选人名册。候选人名册中,各候选人脸孔具有一套候选人自己的脸部特征。最后,待辨识脸部特征与上述候选人脸部特征比较,据此,吻合的候选人脸孔由候选人名册中决定出(105A)。一般而言,此吻合的候选人脸孔为候选人名册中最信赖候选人脸孔,然后,该储存于脸孔资料库中吻合的候选人脸孔的脸部特征依待辨识脸部特征更新(106A)。需注意的是,如先前所提及,可于单一影像中侦测多数脸孔,因此,在一较佳实例中,所揭示的方法进一步包括在所侦测的脸孔中转换至指定的待辨识脸孔,如图中虚线107A所表示的辨识/资料库-更新动作后,整个程序依此循环执行,直至影像中所有脸孔被分析。或者是,使用者可选择以终止此具有一些不吻合的侦测脸孔的循环程序。
参照图1B,其为根据本发明另一具体实施例的具有自动资料库更新机制的脸孔辨识方法的流程图100B。流程图100B所表示的方法不同于流程图100A所表示者,流程图100B进一步包含接收使用者输入,其指定一经使用者由候选人名册中选出的吻合候选人脸孔(108B)。若经使用者选择的吻合候选人脸孔完全相同于上述吻合候选人脸孔,即最信赖候选人脸孔,然后最信赖候选人脸孔脸部特征以待辨识脸部特征更新(106B)。然而,若经使用者选择吻合候选人脸孔不同于最信赖候选人脸孔,经使用者选择吻合候选人脸孔的脸部特征以待辨识脸部特征更新(106B)。
在一实例中,藉由修正至少一个由至少一程式表示的图形特征的外观,将上述使用者输入经一图形化的使用者界面输入。在另一实例中,经使用者选择的吻合候选人脸孔机制可在使用者的要求下略过,该使用者可经由提供一个输入指示主动地取消该机制。在此状况下,储存于资料库的最信赖候选人脸孔的候选人脸部特征将以待辨识脸部特征更新。
在对于资料库而言,待辨识脸孔实际上为新的且并无先前记录可比对的情况,该方法可进一步包含经由提供一使用者输入,使使用者指定候选人名册中至少一个候选人增加至资料库中。然后,在答复中,特定候选人脸孔及其候选人脸部特征将被增加至资料库,其中候选人脸部特征资料被储存。
除照片外,显示的影像可为自视讯撷取的画面,特别是当主题为追踪视讯中的特定脸孔。在此状况下,若以每一画面一一分析则是无效率的计算。为提供改善的视讯脸孔追踪,所揭示的方法进一步包含画面重估计机制,用以确认“关键画面”,其定义为与先前画面的追踪脸孔具有新的或非常不同的脸部特征的画面。因此,视讯被区分成数个有意义的脸部特征变化的关键画面。结果,在脸孔追踪期间仅检查关键画面;相似特征的画面将被跳过,大大的降低全面脸孔辨识计算时间。在本发明的一实施例中,经由以下程序提供影像:(1)自提供的视讯画面的某些画面位置(称为画面编号n)上侦测任意的待辨识脸孔,其在画面编号n具有一套任意的待辨识脸部特征;(2)自提供的视讯后续画面的画面编号n+1,侦测上述任意的待辨识脸孔,此时,其在画面编号n+1具有一套任意的待辨识脸部特征;(3)比较画面编号n与画面编号n+1的任意的待辨识脸部特征,当比较结果指出于画面编号n+1的任意的待辨识脸部特征为新的或不同于画面编号n者时,标记画面编号n+1的画面为影像以显示之,或是,标记画面编号n的画面为影像以显示之。需注意的是,任意的待辨识脸孔并不必然为上文所述受关注的待辨识脸孔。
此外,在视讯脸孔追踪中,连续视讯中的某些画面有着因为光线不足、突然移动、阴影、受限的成像角度等导致不清楚或无法辨识的待辨识脸部特征,而使成像条件太差的情况。为克服此点,在本发明一实施例中,所揭示的方法进一步包括确保用于分析的脸部特征的品质的特征评比机制,该机制首先在视讯的画面的某一画面位置(称为画面编号n)中侦测任意的待辨识脸孔,并撷取出一套任意的待辨识脸部特征用于画面编号n的特定任意的待辨识脸孔。然后,于画面编号n对于任意的待辨识脸孔评估积分。其次,于在后续视讯画面的画面编号n+1中,上述任意的待辨识脸孔再次被侦测,且于画面编号n+1撷取一套任意的待辨识脸部特征。然后,于画面编号n+1所撷取的任意的待辨识脸孔再次被评估积分。最后,比较二组经评估的积分,当比较结果指出于画面编号n+1的任意的待辨识脸孔的积分高于画面编号n者时,则画面编号n+1的任意的待辨识脸部特征将被标记为画面编号n的任意的待辨识脸部特征,且该待辨识脸部特征用于比对分析,或是,画面编号n的任意的待辨识脸部特征将被标记为画面编号n的任意的待辨识脸部特征,且该待辨识脸部特征用于比对分析。积分评估是根据例如脸孔定位、清晰度、外型、明暗条件、阴影及其他基准等指数,因此,高品质特征总是被选择用于分析,此可致使改进比对的正确性。应该注意的是,此机制也可同时监测该待辨识脸孔及背景脸孔。个别的脸孔可由影像至影像中出现及消失;想法是要确定什么时候脸孔被分析、用于分析的脸部特征是合适的。
参照图2A,其为本发明另一具体实施例的一脸孔辨识装置200A方框图。所揭示的脸孔辨识装置包含显示影像的显示模组210A、侦测模组220A、候选人名册产生模组230A、比较模组240A、使用者输入模组250A、补充比较模组260A、及资料库更新模组270A。显示模组210A可为一液晶显示器(LCD)、电浆显示器、发光二极体(例如有机发光二极体(OLED))显示器或任何形式的图像显示器。侦测模组220A电偶合于显示模组210A,以自显示的影像侦测待辨识脸孔,据此将指定的侦测待辨识脸孔产生侦测结果,其中该待辨识脸孔具有一套撷取的待辨识脸部特征。该候选人名册产生模组230A电性耦合于侦测模组220A、比较模组240A及储存媒体280A,候选人名册产生模组230A由侦测模组220A接收侦测结果,在比对待辨识脸孔上产生一或多个候选人脸孔的候选人名册,其中各候选人脸孔具有一套自己的候选人脸部特征,该候选人脸部特征资料被储存于储存媒体280A的资料库中。比较模组240A电偶合于候选人名册产生模组230A、补充比较模组260A及储存媒体280A,比较模组240A自候选人名册产生模组230A接收候选人名册,根据待辨识脸部特征及各候选人脸孔的候选人脸部特征,比较待辨识脸孔与各候选人脸孔,据此产生指出候选人名册中第一吻合候选人脸孔的第一比较结果。一般而言,此第一吻合候选人脸孔为最信赖候选人脸孔。使用者输入模组250A用于接收使用者输入,其为指定的第二人选、候选人名册中的使用者确定的吻合候选人脸孔。使用者输入模组250A可为一按钮、键盘、触控面板、声控装置或任何输入工具。补充比较模组260A电偶合于使用者输入模组250A、资料库更新模组270A及比较模组240A,用于自使用者输入模组250A及由比较模组240A的第一比较结果接收使用者输入。在应答中,其各根据第一及第二吻合候选人脸孔的候选人脸部特征,比较第一及第二吻合候选人脸孔,据此产生第二比较结果。资料库更新模组270A电偶合于侦测模组220A、补充比较模组260A及储存媒体280A。资料库更新模组270A由侦测模组220A接收待辨识脸部特征资料。此外,其由补充比较模组260A接收第二比较结果并应答,当第二比较结果指出第一及第二吻合候选人脸孔同一时,以待辨识脸部特征更新储存于资料库中第一吻合候选人脸孔的候选人脸部特征,不然,其以待辨识脸部特征更新储存于资料库中的第二吻合候选人脸孔的候选人脸部特征。
再次参照图2A,当侦测模组220A由显示影像中侦测一个以上的待辨识脸孔时,使用者输入模组250A可接收额外的使用者输入以从所侦测的脸孔中指出待辨识脸孔。然后,在应答中,该侦测模组220A相应地产生侦测结果,即,当经由额外的使用者输入指定,指出待辨识脸孔。
参照图2B,其为本发明较佳实施例的脸孔辨识装置200B方框图。如图所示,使用者输入模组250B电性耦合于资料库更新模组270B。在使用者决定的情况中,待辨识脸孔对于资料库而言是新的,且应增加至资料库用于进一步比对,使用者输入模组250B接收额外的使用者输入,该输入指定候选人名册中至少一候选人脸孔增加至资料库。在应答中,该资料库更新模组270B藉由增加至少一候选人脸孔于经额外的使用者输入指定的候选人名册更新资料库。
须注意的是,所揭示的装置经由提供一使用者输入可使使用者主动取消上述使用者选择功能。再次参照图2B,在此状况下,使用者输入模组250B接收进一步的使用者输入,该输入指定取消使用者选择功能,且第一吻合候选人脸孔以待辨识脸孔更新。在应答中,资料库更新模组270B以待辨识脸部特征更新第一吻合候选人脸孔的候选人脸部特征。
参照图2C,其为本发明另一较佳实施例的脸孔辨识装置200C方框图。如图所示,在与200A及200B比较下,脸孔辨识装置200C进一步包含一标记模组290C,其电偶合于显示模组210C、侦测模组220C及比较模组240C。如前言所述,在先前段落中有提及本发明揭示一种用于视讯中增快脸孔追踪的“关键画面”操作。当执行功能时,显示模组210C显示视讯,侦测模组220C自所提供视讯画面中某一画面位置(称为画面编号n)侦测任意的待辨识脸孔,并自所提供视讯后续画面中画面编号n+1侦测相同任意的待辨识脸孔,其中任意的待辨识脸孔于画面编号n及画面编号n+1各具有一套任意的待辨识脸部特征。然后,该比较模组240C比较画面编号n及画面编号n+1的任意的待辨识脸部特征,据此产生第三比较结果。标记模组290C自比较模组240C接收第三比较结果,当第三比较结果指出于画面编号n+1的任意的待辨识脸部特征不同于画面编号n的任意的标的特征时,标记模组290C标记该画面编号n+1画面作为影像,以提供至显示模组210C显示,或是,标记画面编号n+1的画面作为画面编号n的画面以被侦测模组220C侦测。需注意的是,任意的待辨识脸孔不需为先前段落中所述的待辨识脸孔。
参照图2D,其为符合本发明另一较佳实施例的脸孔辨识装置200D方框图。如先前段落中所述,本发明揭示一种特征评估机制,以确保在所有时间内皆有优质的脸部特征用于分析。如图中所示,与200A、200B及200C比较,脸孔辨识装置200D进一步包含特征评估模组292D,其电偶合于侦测模组220D及比较模组240D。此外,标记模组290D电性耦合于特征评估模组292D及比较模组240D。当执行功能时,显示模组210D显示一视讯,侦测模组220D侦测并自所提供视讯的影像中某一画面位置(称为画面编号n)撷取任意的待辨识脸孔的一套脸部特征,及自视讯的后续画面中画面编号n+1的相同任意的待辨识脸孔。应答侦测模组,特征评估模组292D于画面编号n对任意的待辨识脸孔评价积分,据此以产生第一特征积分,并于画面编号n+1对相同任意的待辨识脸部特征评价积分,据此以产生第二特征积分。然后,该比较模组240D自特征评估模组292D接收第一及第二积分,并在应答中,比较第一特征积分与第二特征积分,据此以产生第四比较结果。然后,标记模组290D接收第四比较结果,并应答,当第四比较结果指出,该第二特征积分高于第一特征积分时,标记该画面编号n+1任意的待辨识脸孔的脸部特征为在画面编号n的任意的待辨识脸部特征于特征评估模组292D,及该待辨识脸部特征于比较模组240D,或是,标记画面编号n任意的标的的脸部特征为画面编号n任意的待辨识脸部特征于特征评估模组292D,及该待辨识脸部特征于比较模组240D。积分评估是根据例如脸孔定位、清晰度、外型、明暗条件、阴影及其他基准的指数。
参照图3A,在本发明的第三具体实施例,揭示电子影像撷取装置300A以使用者界面的型式体现本发明。如图所示,所提及的系统300A包含一显示器310A及输入键361A、362A、363A、364A、及370A。当使用者捕捉一影像时,检查静止的影像或以电子影像撷取装置300A录制视讯,该使用者可启动本发明揭示的脸孔辨识程式,经由使用本发明亦所揭示的输入键361A、362A、363A、364A、及370A以启动使用者界面。一旦使用者界面程式启动,该使用者将可见到即时捕捉的影像320A于显示器310A的视窗右上方。脸孔侦测程式将侦测影像320A中一或多个出现的人脸孔,所侦测的脸孔将以醒目范围框(bounding box)321A及322A标识,其在一影像中将有一个主动选择侦测脸孔及各被动选择侦测脸孔。主动选择侦测脸孔将以具体范围框321A标识,且主动选择脸孔略图331A将显示于显示器310A底部平面的选择带330A上。经由按左右输入键362A及364A,使用者可选则不同的主动选择脸孔。
一旦使用者已选择主动选择脸孔,例如于选择带330A显示的各别略图331A的影像320A中具有具体范围框321A的脸孔,所揭示的脸孔辨识程式将比对主动选择脸孔影像与存于储存媒体资料库中所记录的脸孔。脸孔辨识程式将自资料库比对脸孔,以由高至低正确性的信赖程度,并依下降上升的顺序显示吻合的候选人于候选人带340A上。如图3A所示,总共2位候选人依下降的顺序显示。对于特定候选人,先前记录的略图影像将显示候选人带340A。较高信赖的候选人被标记于范围框341A,而随后是较低信赖的候选人342A。‘增加新的’输入343A被列于候选人带340A上,在此情况,该使用者决定所侦测脸孔对于资料库是新的,且无先前记录可吻合。
关于特定候选人,例如较高信赖的候选人341A,储存于资料库的相关脸孔略图将显示于相关的略图带350A,其邻近于候选人带340A。于候选人带340A上,相关脸孔略图事先被记录与现时选择的候选人所连结的相同身份的脸孔影像。若使用者使用上/下键361A及363A选择另一候选人以吻合主动选择脸孔,例如次一位候选人342A,则相关的略图带350A将显示代替的候选人342A相关脸孔略图。一旦使用者在候选人带340A上完成选择最佳候选人或创设一新的输入,则使用者可使用输入键370A以确认对于现时主动选择脸孔的选择,或可等待短暂的可程式时间以自动确认。然后该使用者可认可且经由使用左/右键362A及364A选择另一侦测脸孔作为主动选择脸孔,以比对其他检测脸孔,或经由使用其他使用者输入键以跳过现时捕捉影像的脸孔辨识程序。此外,例如一声音界面380A可供作声音输出模组,以指示该使用者作选择。及/或,声音界面380A可用于使用者执行声音输入模组,例如一麦克风,以进行声控。
参照图3B,其为当使用者使用左/右键362B及364B自选择带330B选择另一侦测脸孔332B作为主动选择脸孔时的一电子影像撷取装置300B的萤幕显示器320B。影像中个别脸孔将以具体范围框322B凸显,个别略图332B将显示于选择带330B上。再者,该脸孔辨识程序将于储存媒体所存的资料库中,比对影像与脸孔记录用于由最高正确性信赖程度至较低正确性信赖程度的潜在候选人,该候选人将对于此主动选择以下降或上升顺序显示于候选人带340B上。如图所示,仅一位候选人341B显示为主动选择脸孔332B。
参照图4,其为建议的脸孔辨识系统的流程图400,其包括以一程式体现的方法、一使用者界面及一以记录模式运行的装置,于数位相机、摄影机、行动电话或包括相机及处理系统的任何其他计算装置上操作。首先,经由使用者(410、420)开始视讯撷取操作。其次,若脸孔比对使用者界面被设定为开启(430),则该建议系统核对。若设定为开启,然后视讯将被记录(431),且将分析录制的影像以侦测及辨识出现于影像(432)的任何脸孔,这些吻合记录在操作后将被更新至资料库。若该使用者使用使用者界面以选择另一候选人来代替自动寻找的最信赖候选人,则系统将登记主动选择脸孔的脸部特征至所选择的候选人(433、434)。然后脸孔资料库将被记录并更新(435)。若该使用者选择增加新的脸孔身份输入,则该增加可以即时方式完成,或在随后时间依使用者排定(434、435)。若该使用者选择机制设定为关闭,则视讯将被记录(440),且录影的影像将被分析以寻找并辨识任何所侦测的脸孔(450)。视讯将被记录,但在此模式不会执行登记侦测脸孔记录于资料库中(460)。
参照图5,其为一建议脸孔辨识系统的流程图500,其包括将脸孔辨识方法体现的程式、一使用者界面及一以播放及编辑模式运行的装置,于数位相机、摄影机、行动电话或包括相机及处理系统的任何其他攫取装置上操作。首先,经使用者开始影像检查或视讯播放操作(510)。其次,若脸孔比对使用者界面被设定为开启,则该建议系统核对(520)。若设定为关闭,则使用者可重复各撷取影像,或该记录的视讯将被重放直至顺序终了(521、522)。若脸孔比对使用者界面设定为开启,如果操作于“关键画面比对模式”则系统将核对(530),关键画面比对模式将于下列详细描述。若系统不在关键画面比对模式下,则使用者可如同在记录模式一样,于播放模式期间执行该脸孔比对操作(531、532、533)。视讯影像将被分析以侦测并辨识影像中的任何侦测脸孔;若使用者使用使用者界面以选择另一位候选人取代自动寻找的最信赖候选人(531),则系统将登记该主动选择脸孔的脸部特征成为经选择候选人(532)。然后脸孔资料库将被记录并更新(533)。若使用者选择增加脸孔身份的新的输入,则该增加可以即时方式完成,或在随后时间依使用者排定(531、532、533)。视讯将持续重放直至顺序终了。若系统在关键画面比对模式下,则视讯顺序将以显示含新的或不同的脸孔特征的唯一关键画面的方式重放(540)。当关键画面如同在记录模式一样被播放,使用者可执行该脸孔比对操作(550、560、570)。随着视讯画面以相同或相似的脸部特征被跳过,更有效率及更快速的比对脸孔。
参照图6,其为显示依据本发明实施例的关键画面确认及指定的一流程图600,该方法以画面数目为基础体现。首先,视讯根据脸孔侦测及脸部特征撷取分析,视讯中的画面被指定一画面数目(610、620、630、640)。其次,该撷取的脸部特征被用于在关注画面中追踪对应的脸孔候选人(650)。若在追踪之下脸孔候选人的画面含新的或差异大的特征,则其将被选择以标记成具有某些关键画面序号的关键画面,且在追踪下的脸孔特征将以此新的关键画面登记(660、661、663)。若无新的或差异大的特征发生于关注画面中,此画面的特征将与现行具有某些关键画面数目的关键画面比较,以决定该关注画面是否符合置换此现行关键画面的条件(660、662、664、666)。
参照图7,其为显示依据本发明实施例,使用积分基础方法,于不同视讯画面间脸孔追踪的脸部特征选择流程图700,该方法以画面数目为基础体现。首先,视讯根据脸孔侦测及脸部特征撷取分析,在追踪二画面A及B下,脸孔的脸部特征被撷取(710、711、720、721)。同时,根据例如脸孔定位、清晰度、外型、明暗条件、阴影及其他基准的指数评估在追踪画面A及画面B下脸孔的积分(712、722)。其次,比较评估的积分(730),且较高积分画面的脸部特征将选择作为用于后续脸孔的特征(740、750~751、760~761)。
前述说明并非意图详尽或限制本发明于所揭示的形式,可按照上述技术而明显修正或改变。就此而言,选择及叙述具体实施例或所讨论的具体实施例以提供本发明原理及其实际应用的最佳说明,因此熟悉技术者能应用本发明于不同具体实施例及不同的修正适于所预期的特定用途。当解释时,其被公平合法的赋予将所有此类修正及变化皆包含于本发明权利要求所确定的范围内。
必须了解,许多修改、变化及替代欲包含于前述揭示中,且在本发明一些实例中,一些特征将无其他特征的对应使用下使用。因此,扩大并与本发明范围相符程度的方式解释权利要求是适当的。
主要符号名称列表
200A、200B、200C、200D    脸孔辨识装置
210A、210C                      显示模组
220A、220C、220D                侦测模组
230A                            候选人名册产生模组
240A、240C、240D                比较模组
250A、250B                      使用者输入模组
260A                            补充比较模组
270A、270B                      资料库更新模组
280A                            储存媒体
290C、290D                      标记模组
292D                            特征评估模组
300A、300B                      电子影像撷取装置
310A                            显示器
320A                            影像
320B                            萤幕显示器
321A、322A、321B、322B、323B    范围框
330A、330B                      选择带
331A、332A、331B、332B、333B    略图
340A、340B                      候选人带
341A、342A、341B                候选人
343A、342B                      新输入候选人
350A、350B                      略图带
361A、362A、363A、364A、370A、
361B、362B、363B、364B、370B    输入键
380A、380B                      声音界面

Claims (11)

1.一种脸孔辨识方法,其包含:
提供一影像;
自该影像界定一待辨识脸孔,该待辨识脸孔具有一套撷取待辨识脸部特征;
产生一含一或多个候选人脸孔的候选人名册,每一候选人脸孔具有其各自的一套候选人脸部特征;
根据该待辨识脸部特征及该候选人脸部特征,比较该待辨识脸孔与各该候选人脸孔,以自该候选人名册中决定出第一吻合候选人脸孔;
接收使用者输入,该使用者输入自该候选人名册中指定出一第二吻合候选人脸孔,其反映该使用者输入;
若该第一及第二吻合候选人为相同,以该待辨识脸部特征更新该第一吻合候选人脸孔的候选人脸部特征,或是,以该待辨识脸部特征更新该第二吻合候选人脸孔的候选人脸部特征。
2.如权利要求1所述的方法,其中界定该待辨识脸孔的步骤进一步包含:
自该影像侦测n个潜在待辨识脸孔,n为一自然数;及
接收一额外的使用者输入,该额外的使用者输入自该n个潜在待辨识脸孔中指定出待辨识脸孔;及
提供所指定的待辨识脸孔于后续程序。
3.如权利要求1所述的方法,其进一步包含:
接收一额外的使用者输入,在该候选人名册上指定出至少一个该候选人脸孔的该额外的使用者输入被增加至资料库,其中该候选人脸部特征资料被储存;及
增加该候选人名册上至少一个候选人脸孔的候选人特征于资料库,其中该候选人脸部特征资料被储存。
4.如权利要求1所述的方法,其进一步包含:
接收另一使用者输入,该另一使用者输入指定该第一吻合候选人脸孔以该待辨识脸孔更新;及
对于接收该另一使用者输入应答,该第一吻合候选人脸孔的候选人脸部特征以该待辨识脸部特征更新。
5.如权利要求1所述的方法,其中该影像以包含下列步骤的方法提供:
提供一视讯;
在该视讯的某一画面编号n中侦测任意的待辨识脸孔,该任意的待辨识脸孔于画面编号n具有一套任意的待辨识脸部特征;
于在该视讯后续的画面编号n+1中侦测该任意的待辨识脸孔,该任意的待辨识脸孔于画面编号n+1具有一套任意的待辨识脸部特征;及
对于侦测任意的待辨识脸孔应答,比较该画面编号n与画面编号n+1的任意的待辨识脸部特征,当比较结果指出,该画面编号n+1任意的待辨识脸部特征相异于该画面编号n任意的待辨识脸部特征,标记于画面编号n+1的画面为该影像以显示,或是,标记该画面编号n画面为该影像以显示。
6.如权利要求1所述的方法,其中该待辨识脸部特征以包含下列的方法决定:
提供一视讯;
对于该视讯的画面编号n中,侦测并评估该画面编号n任意的待辨识脸孔的积分,且对于该画面编号n任意的待辨识脸孔撷取一套画面编号n+1任意的待辨识脸部特征;
对于该视讯后续的画面编号n+1中,侦测并评估该画面编号n+1任意的待辨识脸孔的积分,且对于画面编号n+1该任意的待辨识脸孔撷取于画面编号n+1的该套任意的待辨识脸部特征;及
对于任意的待辨识脸孔的评估积分应答,比较该画面编号n与画面编号n+1任意的待辨识脸孔的该机分,当比较结果指出,该画面编号n+1任意的待辨识脸孔的积分高于画面编号n该任意的待辨识脸孔者,标记画面编号n+1该任意的待辨识脸部特征为画面编号n的该任意的待辨识脸部特征,且该待辨识脸部特征亦同,或者,标记画面编号n的该任意的待辨识脸部特征为画面编号n的该任意的待辨识脸部特征,且该待辨识脸部特征亦同。
7.如权利要求6所述的方法,其中该积分评估是根据各该画面编号n及画面编号n+1的任意的待辨识脸孔的脸孔定位、清晰度、外型、明暗条件及阴影。
8.一种电子影像撷取装置,其包含:
一显示器,用于呈现至少一视窗,其中
一第一视窗,显示一影像;
一第二视窗,显示一或多个第一脸孔略图,该第一脸孔略图为自该影像侦测的脸孔,其中的一待辨识脸孔被辨识;
一第三视窗,显示一或多个第二脸孔略图,该第二脸孔略图为在比对该待辨识脸孔上的候选人脸孔,该候选人脸孔之一为经使用者选择的候选人脸孔;
一第四视窗,显示一或多个第三脸孔略图,该第三脸孔略图为关于该经使用者选择候选人脸孔的脸孔或脸部特征;及
一使用者输入模组,用于接收至少一使用者输入,其中
一第一使用者输入自该第一脸孔略图中指定出该待辨识脸孔;及
一第二使用者输入自该第二脸孔略图中指定出该经使用者选择的候选人脸孔。
9.如权利要求8所述的电子影像撷取装置,其中:
该使用者输入模组还接收一第三使用者输入,该第三使用者输入指定该待辨识脸孔增加至一资料库,其中该脸部特征资料经选择该图像而储存。
10.如权利要求8所述的电子影像撷取装置,其中该显示器为液晶显示器、电浆显示器或发光二极体显示器。
11.如权利要求8所述的电子影像撷取装置,其中该使用者输入模组为按钮、键盘、触控面板及声控装置。
CN2008100917513A 2007-04-13 2008-04-14 数位相机及摄影机用的人脸辨识及使用者界面系统 Active CN101295352B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US91155907P 2007-04-13 2007-04-13
US60/911,559 2007-04-13

Publications (2)

Publication Number Publication Date
CN101295352A CN101295352A (zh) 2008-10-29
CN101295352B true CN101295352B (zh) 2012-06-13

Family

ID=39969574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100917513A Active CN101295352B (zh) 2007-04-13 2008-04-14 数位相机及摄影机用的人脸辨识及使用者界面系统

Country Status (3)

Country Link
US (1) US8285006B2 (zh)
CN (1) CN101295352B (zh)
TW (1) TWI395143B (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD609714S1 (en) * 2007-03-22 2010-02-09 Fujifilm Corporation Electronic camera
US8615112B2 (en) * 2007-03-30 2013-12-24 Casio Computer Co., Ltd. Image pickup apparatus equipped with face-recognition function
JP5043736B2 (ja) * 2008-03-28 2012-10-10 キヤノン株式会社 撮像装置及びその制御方法
CN103475837B (zh) 2008-05-19 2017-06-23 日立麦克赛尔株式会社 记录再现装置及方法
JP5164692B2 (ja) * 2008-06-27 2013-03-21 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
US20100071003A1 (en) * 2008-09-14 2010-03-18 Modu Ltd. Content personalization
JP5366676B2 (ja) * 2009-06-22 2013-12-11 キヤノン株式会社 撮像装置及びその制御方法とプログラム、記憶媒体
US8605956B2 (en) * 2009-11-18 2013-12-10 Google Inc. Automatically mining person models of celebrities for visual search applications
TWI466034B (zh) * 2009-12-23 2014-12-21 Altek Corp Methods to Improve Face Recognition
TWI487370B (zh) * 2010-02-24 2015-06-01 Ability Entpr Co Ltd 數位放大影像的方法及圖形使用者介面的操作方法
US8810684B2 (en) * 2010-04-09 2014-08-19 Apple Inc. Tagging images in a mobile communications device using a contacts list
US11393133B2 (en) * 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US8897816B2 (en) * 2010-06-17 2014-11-25 Nokia Corporation Method and apparatus for locating information from surroundings
TWI419548B (zh) * 2010-09-16 2013-12-11 Acer Inc 觀賞眼鏡及其影像光束調整方法
EP2453386B1 (en) * 2010-11-11 2019-03-06 LG Electronics Inc. Multimedia device, multiple image sensors having different types and method for controlling the same
US20120251078A1 (en) * 2011-03-31 2012-10-04 Microsoft Corporation Aggregated Facial Tracking in Video
US8949123B2 (en) 2011-04-11 2015-02-03 Samsung Electronics Co., Ltd. Display apparatus and voice conversion method thereof
JP2012244525A (ja) * 2011-05-23 2012-12-10 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
EP2573759A3 (en) * 2011-09-20 2013-09-25 Samsung Electronics Co., Ltd. Display apparatus and method
US11914674B2 (en) 2011-09-24 2024-02-27 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US11074495B2 (en) 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US11195057B2 (en) 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US8873813B2 (en) 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
US9286641B2 (en) * 2011-10-19 2016-03-15 Facebook, Inc. Automatic photo capture based on social components and identity recognition
CN103093177A (zh) * 2011-10-28 2013-05-08 台湾色彩与影像科技股份有限公司 人脸辨识监控管理方法
JP5000781B1 (ja) * 2011-11-09 2012-08-15 楽天株式会社 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体
TWI499289B (zh) * 2013-01-25 2015-09-01 Wistron Corp 媒體內容推薦方法及媒體播放系統
US9478056B2 (en) 2013-10-28 2016-10-25 Google Inc. Image cache for replacing portions of images
US9483997B2 (en) 2014-03-10 2016-11-01 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using infrared signaling
JP6626841B2 (ja) 2014-05-05 2019-12-25 シグニファイ ホールディング ビー ヴィSignify Holding B.V. カメラ及びスクリーンを備える装置
US9696414B2 (en) 2014-05-15 2017-07-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using sonic signaling
US10070291B2 (en) 2014-05-19 2018-09-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using low energy bluetooth
KR102209070B1 (ko) * 2014-06-09 2021-01-28 삼성전자주식회사 동영상의 썸네일 영상을 제공하는 장치 및 방법
CN104598878A (zh) * 2015-01-07 2015-05-06 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN104751136B (zh) * 2015-03-11 2018-04-27 西安理工大学 一种基于人脸识别的多相机视频事件回溯追踪方法
US9852543B2 (en) * 2015-03-27 2017-12-26 Snap Inc. Automated three dimensional model generation
EP3298506A1 (en) 2015-05-19 2018-03-28 Entit Software LLC Database comparison operation to identify an object
JP6683742B2 (ja) 2015-06-30 2020-04-22 エヌイーシー コーポレイション オブ アメリカ 顔認識システム
US11843597B2 (en) * 2016-05-18 2023-12-12 Vercrio, Inc. Automated scalable identity-proofing and authentication process
US10148649B2 (en) * 2016-05-18 2018-12-04 Vercrio, Inc. Automated scalable identity-proofing and authentication process
KR20170131101A (ko) * 2016-05-20 2017-11-29 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9805766B1 (en) 2016-07-19 2017-10-31 Compal Electronics, Inc. Video processing and playing method and video processing apparatus thereof
CN108337546B (zh) * 2017-01-20 2020-08-28 杭州海康威视数字技术股份有限公司 一种目标对象显示方法及装置
CN106851199A (zh) * 2017-02-07 2017-06-13 深圳云天励飞技术有限公司 一种视频处理方法及装置
WO2018165912A1 (en) * 2017-03-15 2018-09-20 SZ DJI Technology Co., Ltd. Imaging method and imaging control apparatus
CN109215055A (zh) * 2017-06-30 2019-01-15 杭州海康威视数字技术股份有限公司 一种目标特征提取方法、装置及应用系统
US10366279B2 (en) 2017-08-29 2019-07-30 Bank Of America Corporation System for execution of multiple events based on image data extraction and evaluation
JP7216491B2 (ja) * 2018-07-27 2023-02-01 シャープ株式会社 ユーザー選択補助装置、画像形成装置、ユーザー選択補助方法およびユーザー選択補助プログラム
CN111078804B (zh) * 2019-12-09 2024-03-15 武汉数文科技有限公司 一种信息关联方法、系统及计算机终端
CN111325139B (zh) * 2020-02-18 2023-08-04 浙江大华技术股份有限公司 一种唇语识别方法及装置
EP3886441B1 (en) * 2020-03-24 2022-07-06 Axis AB Video camera and method for analyzing a video stream
US11244169B2 (en) 2020-06-15 2022-02-08 Bank Of America Corporation System for executing multiple events based on video data extraction and evaluation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW420939B (en) * 1999-06-29 2001-02-01 Ind Tech Res Inst Human face detection method
US7245754B2 (en) * 2000-06-30 2007-07-17 Hitachi Medical Corporation image diagnosis supporting device
TW505892B (en) * 2001-05-25 2002-10-11 Ind Tech Res Inst System and method for promptly tracking multiple faces
US7558408B1 (en) * 2004-01-22 2009-07-07 Fotonation Vision Limited Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
TWI260556B (en) * 2004-12-10 2006-08-21 Kinpo Elect Inc Image recognition and authentication method for digital camera

Also Published As

Publication number Publication date
CN101295352A (zh) 2008-10-29
TW200912767A (en) 2009-03-16
US20080279425A1 (en) 2008-11-13
US8285006B2 (en) 2012-10-09
TWI395143B (zh) 2013-05-01

Similar Documents

Publication Publication Date Title
CN101295352B (zh) 数位相机及摄影机用的人脸辨识及使用者界面系统
US8312374B2 (en) Information processing apparatus and method and computer program
AU2010284736B2 (en) Metadata tagging system, image searching method and device, and method for tagging a gesture thereof
US7792678B2 (en) Method and device for enhancing accuracy of voice control with image characteristic
US20070051793A1 (en) Information processing apparatus, information recording system, information recording method, and computer-readable medium storing program
CN106357983A (zh) 拍摄参数调整方法及用户终端
CN105915782A (zh) 一种基于人脸识别的照片获取方法和移动终端
CN104995639B (zh) 终端和视频文件管理方法
JP2010509668A (ja) デジタル画像により取得されたオブジェクトを識別する方法及び装置
CN101427263A (zh) 选择性地拒绝数字图像的方法和设备
JP3895892B2 (ja) マルチメディア情報収集管理装置およびプログラムを格納した記憶媒体
CN109040605A (zh) 拍摄引导方法、装置及移动终端和存储介质
US8194935B2 (en) Image processing apparatus and method
CN112702521A (zh) 图像拍摄方法及装置、电子设备、计算机可读存储介质
CN107239207A (zh) 照片显示方法及装置
CN110334590B (zh) 图像采集引导方法以及装置
CN105975552A (zh) 一种智能设备的题目搜索方法和装置
JP2019092025A (ja) 編集システム
CN109756783A (zh) 海报的生成方法及装置
CN106095246A (zh) 光标颜色的调节方法及装置
CN104978389B (zh) 方法、系统、服务器和客户端
JP2001318898A (ja) 名刺交換装置、名刺交換方法及び記録媒体
CN105956078A (zh) 一种智能设备的题目搜索方法和装置
WO2018192244A1 (zh) 一种智能设备的拍摄引导方法
JP7131343B2 (ja) 画像処理装置、処理制御方法および処理制御プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant