CN1882953A - 用于从摄像机图片中提取面部以便在电子系统中表示的系统和方法 - Google Patents

用于从摄像机图片中提取面部以便在电子系统中表示的系统和方法 Download PDF

Info

Publication number
CN1882953A
CN1882953A CNA2004800345016A CN200480034501A CN1882953A CN 1882953 A CN1882953 A CN 1882953A CN A2004800345016 A CNA2004800345016 A CN A2004800345016A CN 200480034501 A CN200480034501 A CN 200480034501A CN 1882953 A CN1882953 A CN 1882953A
Authority
CN
China
Prior art keywords
image
target people
electronic system
people
facial parts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800345016A
Other languages
English (en)
Inventor
B·M·范德斯卢伊斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1882953A publication Critical patent/CN1882953A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Abstract

一种用于在电子系统中表示人的系统和方法。获得包括目标人图像的图像。处理所述图像或其数字表示以便识别在所述图像中与所述目标人相关联的面部特征。然后从所述图像中提取目标人的面部部分。经由与相同的或独立且不同的电子系统相关联的显示接口来显示所述提取的目标人的面部部分，以便当该目标人连接到该电子系统时表示所述目标人。用于捕获所获得图像的图像捕获装置适于在目标人微笑时或在目标人直视捕获装置时获取图像。可以产生包括所述提取的目标人的面部部分的图标，所述图标用于经由与电子系统相关联的显示接口来表示该目标人。

Description

用于从摄像机图片中提取面部 以便在电子系统中表示的系统和方法
本发明总体上涉及用于识别图像的计算机视觉技术，并且尤其涉及用于从图片中提取诸如人面部之类的图像以便在电子系统中表示的计算机视觉技术。
在现在及将来的电子系统中，人们能够在所谓的“虚拟空间”彼此在线见面，并且为了在此虚拟空间中标识他们自己，他们需要由个人图标来表示。例如，虚拟空间可以由任何P2P系统(例如全球联网)来实现。
在另一例子中，在办公楼的入口处，显示器可以示出所有房间的地图，包括当前在每个房间中的人的图片，即人像表示。问题在于怎样使这些种‘个人图标’可以易于被捕获并保持最新。
可以使用面部识别系统来确定图像中的面部。在美国专利号6,108,437中描述了典型的面部识别系统，其致力于特征提取系统，所述特征提取系统处理图像以便确定在图像中是否存在面部并且确定它在图像中的位置。在美国专利号5,781,650中描述了面部识别系统的一个应用，其致力于用于根据所提取的图像来确定面部特征以便根据人的图像来分类他/她的年龄的系统。题目为“Method andMeans for Detecting People in Image Sequences”的美国专利号5,987,154致力于用于在视频图像序列中定位人以便使视觉通信便于进行的系统。国际专利公开号WO 200310728是面部识别系统的另一应用，其目标在于隐私保护。其目的在于通过首先检测在图像中存在的人的个人识别特征，继而自动除去或替换那些特征来隐藏人/物体的身份。
大部分面部识别系统使用计算机视觉来识别人和物体的身份并且这些系统并不输出图像本身(一部分)。参考文献WO 200310728是唯一的例外，但是这里目的在于隐藏人的身份。
由于现有技术的计算机视觉系统都不能用来捕获并处理人的图像以便在另一系统(例如PCC或要求与人类和机器接口之类的系统)中使用所述图像来表示该人，所以这些系统都存在不足。因而，十分需要提供一种计算机视觉系统，其意在给出面部图像作为人在组织或系统中身份的表示。
本发明的目的在于提供一种计算机视觉系统和方法，用于给出面部图像作为人在组织或系统中身份的表示。依照此目的，该计算机视觉系统和方法解决了想要的图像的计时/选择问题。例如，可以选择其中目标人正在凝视摄像机或正在微笑等的图像。
据此，提供了一种计算机视觉系统和方法，其实现方式包括面部识别，用于捕获人的图片，所述人需要在另一例如使用或给出图像的电子系统中被表示并且从该图片提取或‘剪下’面部。所述系统和方法还能在人直视摄像机时甚至在人的脸部表情处于所要求状态(例如微笑)时获取快照，并且使得所提取的图像适合在另一电子系统中显示。因而，所发明的系统解决了所提取的想要图像的计时/选择问题。
还提供了一种用于执行本发明方法的计算机程序产品以及其中存储所述计算机程序产品的程序存储装置。所述计算机程序产品可以被实现为计算机可读介质或包含在多媒体流中。
结合下列描述、附加权利要求和附图将能够更好地理解本发明的设备和方法的这些及其它特征、方面和优点，其中：
图1图示了用于从摄像机输出(数字流)检测并提取图像的设备的实施例的示意图；
图2图示了用于使用所提取的人物肖像来把该人识别为在可经由WiFi网络连接的个人内容容器装置中的图标的一个应用。
表示人最自然的方式是通过人的面部图片来表示。然而，人们很难依照使图片具有肖像照片的适当属性的方式将自己定位在摄像机前面。现在参照图1，其中示出了用于在图像中检测人的设备10的示意性实施例。
依照本发明，第一步骤是处理图像以便(使用面部特征来)检查面部的存在。例如图1所示，适于产生静止图像或完整运动视频图像的摄像机装置15分别产生例如一个人或一组人的第一真实世界图像12或图像系列(图像序列)。此图像可以被数字化并转换为数字流18以便输入到图像识别处理器或之类的装置20中，其可以应用面部识别使得在提取之前从第一(较大)图像中捕获目标人面部的快照22。如通常为面部识别和计算机视觉领域的技术人员所知，可以分析图像或图像序列的数字流来在数据流中检测各个可能符合确定的子串特征即人脸的特征的子串。然后，利用计算机视觉技术来从可能较大的图片上“剪下”面部。可以理解的是，摄像机装置15和图像处理器20可以是独立的装置或被实现为单个的独立设备。
在一个实施例中，获取并接收静止图像/视频图像的时间可以被编程并且可以由计算机视觉来确定，诸如在人微笑时或直视摄像机装置时。也就是说，当图像中的面部正在微笑或完全面对摄像机时，图像序列可以提取目标人面部的快照22a。然后，把所提取的图像22a存储在存储装置系统或数据库25中，包括非易失性(或易失性)存储装置介质。所提取的图像可以连同上下文数据/元数据一起被存储，所述元数据诸如时间、地点、摄像机，以及该人的“个人ID”(如果知道的话)。最后依照本发明，所存储的图像22a以及相关联的上下文/元数据可以随后(或立即)被输入到相同的系统或第二个不同系统30中或从其中获取，所述系统用于执行需要人的视觉识别的任何应用。在一个例子中，例如图2中所描述，所存储的图像22a可以在例如移动电话50之类的电子系统30的屏幕显示45上被显示为图标22b。否则，可以在稍后的处理阶段把所提取的图像打印在纸上。
依照本发明，上述原理可以应用于各种摄像机/计算机视觉系统中：
1)智能安全摄像机，适于创建那些进入或离开特定建筑的人的‘肖像照片’的日志列表；
2)便携式“信息娱乐片”(用于信息或娱乐的内容)播放器，诸如便携式内容容器(Portable Content Container PCC)，可以支持在特别共享的情况中使用用户图标；
3)PC或TV摄影机，可以适于使用所提取的图像来创建用户图标，所述用户图标可以用来表示特定的人；例如，在虚拟社团空间中的表示(有益地是，其中所提取的照片是最新的)；
4)PC、TV或浴室镜子显示系统，可以适于包括用于制作人面部的每日快照的集成摄像机。这使得此人能够播放他/她面部的图像序列，以便看看他/她的面部随时间怎样变化；
5)装备有摄像机的移动电话，可以用来迅速地制作快照并且使用此图片来作为该人电话号码的表示(呼叫ID，通讯录等)。如果此人呼叫所述用户的电话，那么该图片会弹出；以及
6)在建筑或接待处入口处的摄像机，可以制作进入人的快照，使得可以在公司建筑的入口/接待处使用摄像机和计算机视觉来利用这些快照立即地制作访客证章。例如，可以使用‘面部扫描系统’来连续地扫描进入人的面部，以便看看他们是否是新到的，或者按照显式请求来制作快照。这特别适于需要用户标识证章的组织。即，如果可以立即打印具有照片的证章，并且特别是当将来的显示技术变得便宜并且使访客证章能够用访客或雇员最近的图片来电子更新时，此系统是尤为有用的。这意味着(理论上)可以每天更新雇员证章。
附加特征可以包括使用以下系统，所述系统被编程来频繁地捕获人的肖像图片以便面部识别系统可以保持最新，并且逐渐地修改识别模式以使得能够在很长时间内识别人。例如，本发明可以便于并能够维护目标用户的电子照片画面，可以用所述目标用户的最近图片来频繁地更新(例如，每天)所述电子照片画面。
那些本领域技术人员应当理解在其它系统中也可以有效地使用本发明，在所述系统中可以从第一图像获得面部图像并且随后依照有用形式输出以便在另一系统中作为独立的较小图像来表示。
虽然已经示出并描述了本发明的说明性实施例，然而当然应当理解，在不脱离本发明精神的前提下，可以容易地进行各种形式上或细节上的修改和改变。因此本发明并不意在局限于所描述和图示的确切形式，而应当被构造为覆盖了落入附加权利要求范围内的所有修改。

Claims (24)

1.一种用于在电子系统(30)中表示用户的系统(10)，包括：
用于获得包括目标人(22)的图像的图像(12)的装置(15)；
用于处理所述获得图像的装置(18，20)，所述装置用于识别在所述图像中与所述目标人(22)相关联的面部特征并且从所述图像提取该目标人的面部部分(22a)；
用于在电子系统显示装置中显示所述提取的目标人的面部部分的装置(45)，以便表示该目标人连接到所述电子系统(30)。
2.如权利要求1所述的系统，其中用于获得图像的装置包括诸如摄像机(15)之类的图像捕获装置，适于产生静止图像或完整运动图像序列。
3.如权利要求1所述的系统，其中用于处理的装置包括图像识别装置，其用于接收体现所述图像的数字流(18)并且应用面部识别技术来提取目标人的面部部分图像。
4.如权利要求2所述的系统，其中在目标人(22)微笑时或在目标人直视图像捕获装置时可确定用于从所述捕获装置获取图像的时间。
5.如权利要求3所述的系统，其中所述显示装置利用所述提取的目标人的面部部分(22a)作为图标(22b)，所述图标(22b)用于经由与所述电子系统(30)相关联的显示接口(45)来表示所述目标人。
6.如权利要求5所述的系统，其中包括所述提取的目标人的面部部分(22a)的图标(22b)被立即或随后输入到所述电子系统(30)。
7.如权利要求2所述的系统，还包括存储装置(25)，用于存储所述提取的目标人的面部部分图像(22a)以及与所述图像相关联的上下文数据。
8.如权利要求6所述的系统，其中所述上下文数据包括元数据，所述元数据包括时间、地点以及所实现的图像捕获装置。
9.一种用于在电子系统(30)中表示用户的方法，包括步骤：
a)获得包括目标人(22)的图像的图像(12)；
b)处理(20)所述获得图像，包括识别在所述图像中与所述目标人相关联的面部特征并且从所述图像提取该目标人的面部部分(22a)；并且
c)在电子系统(30)显示装置中显示(45)所述提取的目标人的面部部分，以便表示该目标人连接到所述电子系统。
10.如权利要求9所述的方法，其中获得图像的步骤a)包括实现适于产生静止图像或完整运动图像序列的图像捕获装置(15)，诸如摄像机。
11.如权利要求9所述的方法，其中处理步骤b)包括实现图像识别装置(20)以便接收体现所述图像的数字流(18)，并且应用面部识别技术来提取对应于所述目标人的面部部分(22a)的图像的步骤。
12.如权利要求10所述的方法，其中获得(15)图像的步骤a)包括把从所述捕获装置获取图像的时间设计为当目标人(22)微笑时或当目标人直视图像捕获装置时的步骤。
13.如权利要求11所述的方法，其中所述显示步骤包括利用所述提取的目标人的面部部分(22a)作为图标(22b)，所述图标(22b)用于经由与所述电子系统(30)相关联的显示接口(45)来表示所述目标人。
14.如权利要求13所述的方法，还包括立即或随后向所述电子系统(30)输入所述图标(22b)的步骤，所述图标(22b)包括所述提取的目标人的面部部分(22a)。
15.如权利要求10所述的方法，还包括把所述提取的目标人的面部部分图像以及与所述图像相关联的上下文数据存储在存储装置(25)中的步骤。
16.如权利要求14所述的方法，其中所述上下文数据包括元数据，所述元数据包括时间、地点以及所实现的图像捕获装置。
17.一种用于在电子系统(30)中表示用户的计算机程序产品，包括步骤：
a)获得包括目标人(22)的图像的图像(12)；
b)处理(20)所述获得图像，包括识别在所述图像中与所述目标人相关联的面部特征并且从所述图像提取该目标人的面部部分(22a)；并且
c)在电子系统(30)显示装置中显示(45)所述提取的目标人的面部部分，以便表示该目标人连接到所述电子系统。
18.如权利要求17所述的计算机程序产品，其中获得图像的步骤a)包括实现适于产生静止图像或完整运动图像序列的图像捕获装置(15)，使诸如摄像机。
19.如权利要求17所述的计算机程序产品，其中处理步骤b)包括实现图像识别装置(20)以便接收体现所述图像的数字流(18)，并且应用面部识别技术来提取对应于所述目标人的面部部分(22)的图像的步骤。
20.如权利要求18所述的计算机程序产品，其中获得(15)图像的步骤a)包括把从所述捕获装置获取图像的时间设计为当目标人(22)微笑时或当目标人直视图像捕获装置时的步骤。
21.如权利要求19所述的计算机程序产品，其中所述显示步骤包括利用所述提取的目标人的面部部分(22a)作为图标(22b)，所述图标(22b)用于经由与所述电子系统(30)相关联的显示接口(45)来表示所述目标人。
22.如权利要求21所述的计算机程序产品，还包括立即或随后向所述电子系统(30)输入所述图标(22b)的步骤，所述图标(22b)包括所述提取的目标人的面部部分(22a)。
23.如权利要求18所述的计算机程序产品，还包括把所述提取的目标人的面部部分图像以及与所述图像相关联的上下文数据存储在存储装置(25)中的步骤。
24.如权利要求22所述的计算机程序产品，其中所述上下文数据包括元数据，所述元数据包括时间、地点以及所实现的图像捕获装置。
CNA2004800345016A 2003-11-21 2004-11-15 用于从摄像机图片中提取面部以便在电子系统中表示的系统和方法 Pending CN1882953A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US52428003P 2003-11-21 2003-11-21
US60/524,280 2003-11-21

Publications (1)

Publication Number Publication Date
CN1882953A true CN1882953A (zh) 2006-12-20

Family

ID=34619633

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800345016A Pending CN1882953A (zh) 2003-11-21 2004-11-15 用于从摄像机图片中提取面部以便在电子系统中表示的系统和方法

Country Status (5)

Country Link
US (1) US20070147681A1 (zh)
EP (1) EP1687753A1 (zh)
JP (1) JP2007513410A (zh)
CN (1) CN1882953A (zh)
WO (1) WO2005050542A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110998573A (zh) * 2017-06-16 2020-04-10 康涅克斯康姆股份公司 用于终端的访问控制的计算机实现的方法和计算机程序产品

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006197248A (ja) * 2005-01-13 2006-07-27 Sony Corp 無線通信システム，データ送信装置および無線通信方法
JP4228320B2 (ja) * 2006-09-11 2009-02-25 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8855609B2 (en) * 2010-08-24 2014-10-07 Cisco Technology, Inc. User interface for selectively playing back content of a forwarded message
KR101945821B1 (ko) * 2015-05-14 2019-02-11 인하대학교 산학협력단 공간 컨텍스트 아다부스트를 이용한 얼굴 표식 위치 추정 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5432864A (en) * 1992-10-05 1995-07-11 Daozheng Lu Identification card verification system
US5550928A (en) * 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
CA2119327A1 (en) * 1993-07-19 1995-01-20 David Crawford Gibbon Method and means for detecting people in image sequences
US5781650A (en) * 1994-02-18 1998-07-14 University Of Central Florida Automatic feature detection and age classification of human faces in digital images
US5774129A (en) * 1995-06-07 1998-06-30 Massachusetts Institute Of Technology Image analysis and synthesis networks using shape and texture information
US5805745A (en) * 1995-06-26 1998-09-08 Lucent Technologies Inc. Method for locating a subject's lips in a facial image
US6142876A (en) * 1997-08-22 2000-11-07 Cumbers; Blake Player tracking and identification system
US6108437A (en) * 1997-11-14 2000-08-22 Seiko Epson Corporation Face recognition apparatus, method, system and computer readable medium thereof
EP1094657A1 (en) * 1999-10-18 2001-04-25 BRITISH TELECOMMUNICATIONS public limited company Mobile conferencing system and method
US20030001846A1 (en) * 2000-01-03 2003-01-02 Davis Marc E. Automatic personalized media creation system
US20020070858A1 (en) * 2000-12-12 2002-06-13 Philips Electronics North America Corporation Placement of camera in door for face recognition-based security systems
JP4177598B2 (ja) * 2001-05-25 2008-11-05 株式会社東芝 顔画像記録装置、情報管理システム、顔画像記録方法、及び情報管理方法
US6585521B1 (en) * 2001-12-21 2003-07-01 Hewlett-Packard Development Company, L.P. Video indexing based on viewers' behavior and emotion feedback
US7634138B2 (en) * 2002-12-20 2009-12-15 Eastman Kodak Company Method for generating an image of a detected subject

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110998573A (zh) * 2017-06-16 2020-04-10 康涅克斯康姆股份公司 用于终端的访问控制的计算机实现的方法和计算机程序产品

Also Published As

Publication number Publication date
WO2005050542A1 (en) 2005-06-02
JP2007513410A (ja) 2007-05-24
US20070147681A1 (en) 2007-06-28
EP1687753A1 (en) 2006-08-09

Similar Documents

Publication Publication Date Title
US11394708B2 (en) Account information obtaining method, terminal, server and system
CN108234591B (zh) 基于身份验证装置的内容数据推荐方法、装置和存储介质
CN105684038B (zh) 用于替换图像的部分的图像缓存
CN110263613A (zh) 监控视频处理方法及装置
CN108681390B (zh) 信息交互方法和装置、存储介质及电子装置
CN105912912B (zh) 一种终端用户身份登录方法和系统
CN104021398A (zh) 一种可穿戴智能设备及辅助身份识别的方法
US11704933B2 (en) Information processing apparatus, information processing method, and program
CN105825112A (zh) 移动终端的解锁方法及装置
CN112422817A (zh) 图像处理方法及装置
JP2002189724A (ja) 画像データ検索装置
KR100716422B1 (ko) 패턴인식을 이용한 매칭 서비스 시스템 및 방법
CN104049833A (zh) 基于个人生物特征的终端屏幕图像显示方法及装置
CN1882953A (zh) 用于从摄像机图片中提取面部以便在电子系统中表示的系统和方法
US20230359702A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
CN108024148B (zh) 基于行为特征的多媒体文件识别方法、处理方法及装置
CN112348077A (zh) 图像识别方法、装置、设备及计算机可读存储介质
CN116567349A (zh) 基于多摄像机的视频展示方法、装置及存储介质
JP2023075515A (ja) 情報処理装置、情報処理方法、およびプログラム
CN116189251A (zh) 实时人脸图像驱动方法、装置、电子设备及存储介质
CN117372441A (zh) 一种多对象分割方法及设备
CN111210828A (zh) 设备绑定方法和装置及系统、存储介质
CN101226524A (zh) 图像画面自动选取方法及其计算机系统
CN108256438A (zh) 基于后端人脸识别视频监控方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication