CN101990667B - 将自动人脸识别合并入数字图像集中的方法和装置 - Google Patents
将自动人脸识别合并入数字图像集中的方法和装置 Download PDFInfo
- Publication number
- CN101990667B CN101990667B CN2009801124564A CN200980112456A CN101990667B CN 101990667 B CN101990667 B CN 101990667B CN 2009801124564 A CN2009801124564 A CN 2009801124564A CN 200980112456 A CN200980112456 A CN 200980112456A CN 101990667 B CN101990667 B CN 101990667B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- similar group
- user
- data storehouse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 230000001815 facial effect Effects 0.000 claims abstract description 31
- 230000008676 import Effects 0.000 claims description 15
- 230000008878 coupling Effects 0.000 claims description 14
- 238000010168 coupling process Methods 0.000 claims description 14
- 238000005859 coupling reaction Methods 0.000 claims description 14
- 230000000295 complement effect Effects 0.000 claims description 4
- 239000012141 concentrate Substances 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims 2
- 238000010200 validation analysis Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了用于从数字图像集创建和更新面部图像数据库的方法和装置。将从数字图像集检测的人脸集合以及与其有关的数据存储在面部图像数据库中。计算用于第一集合中的每一个人脸的至少一个面部识别模板,并且根据面部识别模板将该集合中的图像聚组成相似组。另一个实施例是用于向在数字图像集中检测到的多个人脸分配名称的命名工具。面部图像数据库存储与在数字图像集的图像中检测到的面部图像有关的数据。另外,命名工具可以包括图形用户界面、检测数字图像集的图像中的人脸并且将与检测到的人脸有关的数据存储在面部图像数据库中的人脸检测模块、计算用于面部图像数据库中的每一个面部图像的至少一个面部识别模板的人脸识别模块、以及根据相应模板对在面部图像数据库中的面部图像进行聚组使得相似的面部图像属于一个相似组的相似聚组模块。
Description
技术领域
本发明总体上涉及数字图像集,更加具体地涉及在数字图像集内对自动人脸识别的使用。
背景技术
数码相机、便宜的数字存储以及通过因特网的广泛的网络连通性带来了在分布式照片集的数量、大小和访问方面的大幅增长。然而,随着数字照片和数字照片集的可用性的增长,搜索特定照片或包含特定特征的照片变得日益麻烦。
个人可以按相册名称或按日期将其数字照片集组织在文件夹中。然而,人们通常可能希望跨这些文件夹访问照片。例如,人们可能希望在集中找到特定个人的照片。为了便于基于照片的内容的这样的搜索行为,可以使用多种技术。一种这样的技术是以一个或多个关键词标记每一张照片。
通常,标记每一张照片由用户完成,所述用户人工提供标签或标签词。另外,可以从诸如日期、相册或文件夹信息的与每一张照片有关的信息取得这样的标签。然而,这些方法需要大量用户输入,并且通常不能很好地延展到大型数字照片集。使用自动人脸识别技术来自动标记照片是实现全面标记大型照片集的有前途的方法。
总的来说,自动人脸识别分两个阶段运行:人脸检测阶段和人脸识别阶段。前者可以通过基于一般面部特征自动挑选出照片中的人脸来完成。后者可以包括将检测到的人脸与先前已识别的面部图像中的一个或多个进行比较。第二阶段的准确度在存在可以将新近检测的人脸与之进行比较的特定人脸的多个已标识和确认的图像时提高。
由于不具有由用户标识和确认的每一个人的足够数量和种类的面部图像,以及由于错误标识,所以自动人脸识别在大型数字图像集中的效用可能是有限的。允许用户标识和确认在数字照片集中找到的人脸的目前可用界面试图使用户每次标识许多面部图像更容易。例如,一个界面可以向用户呈现按一行或多行排列的、潜在属于特定已标识的人的面部图像,并且要求用户确认或拒绝该系统生成的分类。另一个界面可以向用户呈现用于在照片中新近检测到的特定人脸的一个或多个命名选项。例如,在第一种情况下,用户的任务是删除不属于列出的集的每一个个体人脸。在第二种情况下,用户的任务是以名称标记每一个个体图像。在上面的两种情况中,仍然麻烦的是,清除图像以及为个体图像命名。需要对用户更友好和有效的方法以使每次标识多个图像的任务便利并有效,使得可以跨整个数字照片集运用自动人脸识别。
用户需要使大部分过程自动化的灵活能力。充分利用特定人的更多广泛的图像的自动人脸识别将更能对检测到的面部图像分类并排列以供用户确认,使得确认过程对用户更容易,从而便于标记大量的图像。
发明内容
本发明的实施例涉及将自动人脸识别集成入数字图像集的组织中。在一个实施例中,实现了一种用于从数字图像集创建以及更新面部图像数据库的方法。检测在来自数字图像集的图像中的面部图像。基于对于检测到的面部图像中的每一个计算的面部识别模板将检测到的面部图像聚组成相似组。将检测到的面部图像以相似组形式向用户显示,以及接收确认或拒绝显示的相似组中的每一个中的个体面部图像的用户输入。基于接收的用户输入来更新相似组中的每一个,并且将更新的相似组存储在面部图像数据库中。
在另一个实施例中,从用户接收诸如人名的主题名称。在与所检索的相似组相关联的名称与用户提供的主题名称基本上匹配的情况下,从存储在面部图像数据库中的面部图像的至少一个已命名的相似组检索面部图像的第一集合。从面部图像数据库中的没有相关联的名称并且具有与面部图像的第一集合的面部识别模板基本上匹配的面部识别模板的相似组检索面部图像的第二集合。在图形用户界面中以集群的形式显示第一集合和第二集合。接收确认或拒绝第二集合的显示的相似组中的个体面部图像的成员资格的用户输入,并且根据用户输入更新第二集合。在一个实施例中,将第一集合显示为集群,以及将每一个相似组作为集群来显示第二集合。在另一个实施例中,在图形用户界面的第一区域中显示第一集合,以及在第二区域中显示第二集合,其中按与第一集合相似的顺序排列图像。
另一个实施例包括用于向在数字图像集中检测到的多个人脸分配名称的命名工具。面部图像数据库存储与在数字图像集的图像中检测到的面部图像有关的数据。另外,命名工具可以包括图形用户界面、检测数字图像集的图像中的人脸并且将与检测到的人脸有关的数据存储在面部图像数据库中的人脸检测模块、对于面部图像数据库中的每一个面部图像计算至少一个面部识别模板的人脸识别模块、以及根据相应模板对在面部图像数据库中的面部图像进行聚组使得相似的面部图像属于一个相似组的相似聚组模块。
又一个实施例包括一种访问数字图像集的方法。系统获取主题名称、选择面部图像数据库中已被分配该主题名称的面部图像集合、以及从数字图像集找到与选择的面部图像相关联的数字图像。在一个实施例中,可以将找到的数字图像作为个性化幻灯片显示。
又另一个实施例包括一种利用多个源面部图像来搜索人的图像的方法。系统接收主题名称、从面部图像数据库选择已被分配该主题名称的面部图像集合、以及使用选择的源图像集合来以人脸识别搜索一个或多个数字图像集。
另一个实施例包括一种向数字图像集中的图像集合提供受限制的访问的方法。对访问已被分配主题名称的面部图像的用户进行验证。选择已被分配该主题名称的面部图像集合,并且允许用户访问图像集中的那些图像。
将在下面参照附图详细地描述本发明的进一步的实施例、特征和优势,以及本发明的各个实施例的结构和操作。
附图说明
图1:本发明的一个实施例的系统视图。
图2:在本发明的一个实施例中的一种以新近检测到的人脸更新面部图像数据库的方法。
图3:在一个实施例中的一种使用基于相册的查找来为人脸命名的方法。
图4:在一个实施例中的在基于相册的查找的基础上为人脸命名的图形用户界面(GUI)实例视图。
图5:在本发明的一个实施例中的一种向用户呈现以之命名相似组的最接近的名称选择的方法。
图6:根据本发明的一个实施例的可以用于为相似组中的面部图像命名的基于幻灯影片GUI的命名工具的实例视图。
图7:在一个实施例中的一种为由用户指定的主题的尚未命名的面部图像命名的方法。
图8:在一个实施例中的为由用户指定的主题名称的所有尚未命名的面部图像命名的GUI实例视图。
图9:在一个实施例中的一种在一个区域中查看并选择分配给主题的图像、以及在另一个区域中查看并选择待被命名的相似图像的方法。
图10:在一个实施例中的为由用户指定的主题名称的尚未命名的面部图像命名的另一个GUI实例视图。
图11:按照本发明的一个实施例的执行人工辅助人脸检测的GUI实例视图。
图12:按照本发明的一个实施例的一种执行人工辅助人脸检测的方法。
图13:根据本发明的一个实施例的一种显示个性化幻灯片的方法。
图14:根据本发明的一个实施例的一种在图像集中搜索主题的方法。
图15:根据本发明的一个实施例的一种方法,通过该方法用户在可能包含他的人脸的图像被添加到图像集时得到通知。
图16:根据本发明的一个实施例的一种限制用户对图像集的部分的访问的方法。
在协同附图进行时,本发明的特征和优势从下面阐述的详细描述将变得更加显而易见。在附图中,相同的参考数字通常指示相同的、功能上相似的和/或结构上相似的元素。通常,元素在其中首次出现的附图由对应的参考数字中的最左数字指示。
具体实施方式
虽然在此关于用于特定应用的说明性实施例描述了本发明,但是应当理解的是,本发明不限于此。本领域的技术人员使用在此的教导将认识到额外修改、应用和在本发明的范围以及本发明在其中将是大量利用的额外领域内的实施例。
图1是根据本发明的一个实施例的用于将自动人脸识别合并入数字图像集中的系统100的图。服务器101通过网络130连接到客户端120。服务器101可以包括软件模块102。这些可以包括用于人脸检测106、人脸识别105、创建和维护相似组104以及在服务器端的图像布局生成103的模块;面部图像数据库108;以及数字图像集107。在一个实施例中,服务器101可以是一个计算平台,以及软件模块102和数据库107-108可以在该同一平台上实现。
在另一个实施例中,服务器101可以包括由一个或多个网络互连的多个计算平台。软件模块102和数据库107-108可以分布在由之组成服务器101的计算平台上,以及在模块102和数据库107-108之间的通信可以使用例如HTTP、UDP、TCP、IP或以上的任何组合的某些消息机制来发生。例如,服务器101可以由下述组成:接收并响应来自web客户端或浏览器的请求的web服务器;启用用于用户的图像管理和自动人脸识别功能以及从web服务器接收命令的独立应用服务器;以及与应用服务器通信以启用数字图像集107和面部图像数据库108的一个或多个数据库服务器。组合web服务器、应用服务器和数据库服务器的使用的系统在本领域众所周知。
模块103-106表示在实现本发明的实施例中的功能。本领域的技术人员将理解的是,可以以软件形式实现比102中所示的更多或更少的模块来实现本发明的功能。模块103-106中的每一个可以使用一种计算机编程语言或计算机编程语言的组合来实现,所述计算机编程语言例如但不限制Java、C++和C。
在一些实施例中,每一个数据库107和108可以包括一个或多个互连的数据库。例如,数字图像集107可以包括多个分布式数字图像集的聚集,其中分布式集可以由同一或不同用户所有。例如,所述集可以包括一个或多个用户的数字照片相册。当前可用的示例可以是Google的基于PICASA web的数字照片服务中的用户相册集合。尽管在此被称为数据库,但是本领域的技术人员将理解的是,可以将数字图像集107实现为附有搜索和检索期望的图像的能力的存储数字图像的任何机制。
面部图像数据库108可以包括条目集合,其中每一个条目对应于在集107中的图像中检测到的人脸,所述人脸在此被称为面部图像。数据库108中的条目可以包括面部图像、指向集107中的在其中检测到所述面部图像的对应图像的指针、包括用于分配的名称的标签值的一个或多个标签值、一个或多个面部识别值以及相似组的标识。将在下面更详细地描述标签和相似组。
如在此所使用,“标签”是指用于标识或描述面部图像的词或短语或其它数据。“面部识别值”是被分配给面部图像中的单个面部界标的数值或基于包括个体面部界标的因素计算的总值。因此,数据库108的条目中的一个或多个面部识别值可以包括用于预定面部界标集合的个体数值和总值。在文献中描述的数个面部识别界标估计机制中的任何一个可以在将面部识别值分配给数据库108中的面部图像时使用。为了形成相似组,在这些面部图像条目中的每一个中的这些面部识别值中的一个或多个,例如个体界标面部识别值的总值可以被认作是每一个图像的代表。该代表值在下文被称为“面部识别模板”。在另一个实施例中,在每一个条目中的数个面部识别值可以被认作是值的向量,以及为向量计算的对应值可以被用作用于对应的面部图像的代表性面部识别模板。在又一个实施例中,面部识别模板自身可以是包括用于面部界标的个体面部识别值的向量。
在一些实施例中,面部图像数据库108中的条目可以不包含面部图像:替代地条目可以包含面部图像在集107中的各个图像内的位置参数。例如,可以使用包围所期望的面部图像的矩形的左下角和右上角的像素数来在二维中指定位置参数。可以以各种方式实现包括在数据库108的每一个条目中的、指向集107中的对应图像的指针。例如但不限于,指针可以是到集107的索引、到对应图像的存储器引用、或诸如到表的索引的间接引用,所述间接引用是到集107中的图像的哈希引用。
如在此使用的“相似组”为具有在预定范围内的人脸识别模板值的图像集合。例如,在两个面部图像之间的相似性可以由在两个对应的面部识别模板之间的欧几里得距离测量。使用对应的面部识别模板对面部图像的相似组的创建可以通过聚类过程来实现。例如,可以在创建相似组时使用诸如k-means聚类或c-means聚类的众所周知的聚类技术。相似组意在聚组单个人的面部图像。
人脸检测模块106可以使用例如C的许多编程语言中的一种以软件形式实现。模块106细查图像或用户指定的图像以检测那些图像内的人脸。例如,在一个实施例中,在用户将数字照片相册添加到集107时,人脸检测模块106可以细查在该相册中的每一张数字照片以检测人脸。在检测到人脸时,模块106可以制作包围检测到的人脸的区域—例如包围检测到的面部图像的矩形区域—的数字副本,以存储在面部图像数据库108的对应条目中。对于在集107中检测到的每一个新的人脸,人脸检测模块106可以在面部图像数据库108中创建或促使创建新的条目。在一些情况下,自动人脸检测可能未检测图像中的所有人脸。因此,在一些实施例中,用户可以特定地触发人脸检测模块106来处理指定图像。将在下面关于人工辅助人脸检测来描述这一点。
存在本领域描述的许多人脸检测技术。例如,如在美国专利NO.6,222,939中描述的弹性束图匹配(elastic bunch graph matching)、如在美国专利No.6,917,703中描述的使用关于gabor jets的神经网络(using neural networks on gabor jets)、以及如在美国专利No.7,099,510中描述的使用增强的原始特征的人脸检测(face detection using boostedprimitive features)为可以用于在此描述的目的的一些众所周知的人脸检测技术。本领域技术人员将理解的是,可以在模块106中使用数种这些技术中的任何一个来检测集107的图像中的人脸,而与本发明一致。
人脸识别模块105估计数据库108中的每一个面部图像以将面部识别值分配给预定面部界标集合。模块105还计算用于数据库108中的每一个面部图像的代表性面部识别模板。如前所述,人脸识别模板可以是单个值或值的向量。本领域描述了可以在本发明的实施例中使用的用于人脸识别的数个算法。例如,如在认知神经科学杂志第3卷第1,1991期第71-86页的M.Turk和A.Pentland的“Eigenfaces forRecognition(用于识别的特征脸)”中描述的,模板值可以通过将面部图像投影在由通过主要组分分析获取的特征脸定义的子空间中来生成。另一个示例技术如在美国专利No.6,301,370中描述的可以是创建由从面部图像的局部特征导出的gabor jets组成的模板。
相似组模块104包括对面部图像数据库108中的由人脸检测模块105分配了面部识别模板的面部图像的处理。模块104可以基于预定面部识别模板值或值的范围将具有分配的面部识别模板的面部图像聚组成相似组。相似组被设计为理想地将单个人的图像聚组在一起。实际上,相似组的效能很大程度上取决于包括面部识别模板的数个因素的准确度,并且受定义相似组的值的限制。
服务器端图像布局生成模块103包括在面部图像数据库108和图形用户界面(GUI)121之间的接口的服务器端组件。组合的客户端图像布局生成模块123和服务器端图像布局生成模块103可以包括便于用户输入、在客户端120和服务器101之间交换来自数据库108的面部图像和来自集107的图像的功能。另外,服务器端模块103可以包括从数据库108选择和检索面部图像、从集107检索在数据库108中的条目中引用的图像、以及与相似组模块104、人脸识别模块105和人脸检测模块106交互以启用在客户端120中期望的用户行为的功能。
客户端120可以包括GUI 121、一个或多个输入设备122以及客户端图像布局生成模块123。客户端120可以位于如服务器101相同的计算平台中或位于不同计算平台上。本领域技术人员还将认识到,可以在实现本发明的功能时利用在100中未示出的其它软件和硬件模块。GUI 121可以包括计算机监视器和相关联的显示软件和硬件。输入设备122可以包括键盘、鼠标或其它输入机制。客户端图像布局生成模块123除上述功能外可以包括处理来自数据库108的面部图像和来自集107的图像以在GUI 121中显示的功能,以及使GUI 121的性能和用户与GUI 121的交互最优化所需要的任何功能。
本领域技术人员将认识到,可以用数个编程语言中的一个,例如在客户端120支持Java功能的情况下用Java,来实现客户端图像布局生成模块123。如之前关于服务器软件模块102所述,也可以使用许多语言中的一个来实现服务器端图像布局生成模块,但是可以分别考虑便于客户端和服务器端图像布局生成模块123和103的交互来选择实现语言和软件平台。例如,在本发明可以包括交互式web应用的一个实施例中,可以用特别适于这样的应用的语言,例如异步JavaScript和XML(AJAX),来实现模块123和103。
图2是示出在一些实施例中的以新近检测到的人脸来更新面部图像数据库108的阶段的流程图200。通常在服务器101中执行流程图200定义的过程。在阶段201,人脸检测模块106处理新近添加到数字图像集107的图像。可以通过许多机制,例如通过实现每当新的数字照片相册被添加到集107时调用人脸检测模块108的软件触发器,来调用人脸检测模块106以处理新的图像。在上面关于包括人脸检测模块106的服务器软件模块102的功能进一步描述了人脸检测模块106。
在阶段202,在面部图像数据库108中为在集107的新图像中检测到的每一个人脸创建对应的条目。对这些条目的创建可以由人脸检测模块106软件来完成。如之前关于人脸检测模块106所解释的,数据库108中的条目可以或可以不包括检测到的面部图像的数字副本。
在阶段203,人脸识别模块105可以处理面部图像数据库108中的新近添加的面部图像。在上面关于包括人脸识别模块105的服务器端软件模块102详细解释了模块105的处理。在阶段203,人脸识别模块105的功能可以包括将值分配给预定面部界标集合,以及创建用于面部图像中的每一个的面部识别模板。
在阶段204,相似组模块104处理面部图像数据库108中的面部图像。在上面关于包括相似组模块104的服务器端软件模块102详细解释了模块104的处理。相似组意在聚组属于单个人的面部图像。为此,相似组模块104可以依赖面部识别模板中的预定范围,以及生成面部识别模板的准确度。在相似组模块104完成处理时,数据库108中的面部图像已被分配面部识别值、面部识别模板,以及进一步被分配聚组成相似组的暂定聚组。
在一些实施例中,使用户能够为面部图像命名可以大体上在两个方面进行:用户可以基于相册为人脸命名或用户可以通过指定人名为人脸命名。图3是示出在一个实施例中的在基于相册为面部图像命名阶段的流程图300。例如,在这个实施例中,用户选择了为在该相册中的每个图像中的每个人脸的面部图像命名。阶段301允许用户指定其希望处理的一个或多个相册,以为在那些图像中出现的人脸命名。在阶段301之前,可以存在在其中用户选择基于相册为人脸命名的一个或多个其它阶段(未示出),其中首先向用户呈现来自集107的可用相册的列表。在阶段302,基于在阶段301接收的输入,选择相册用于处理。例如,可以按用户指定的序列顺序处理相册。例如,在选择了相册后,模块103可以访问集107中的选择的相册,以及对于选择的相册中的每一个图像在数据库108中定位对应于该图像的面部图像。将为选择的相册中的图像因此定位的面部图像聚组成第一集合。阶段303-305表示与创建第一集合有关的行为。在处理用户指定的相册中的图像时重复阶段302-307,以创建面部图像的第一集合。在阶段307完成处理循环后作为结果的面部图像的第一集合包括在用户指定的相册中的检测到的人脸。
在阶段308,根据相似组对面部图像的第一集合进行分类。该分类理想地将用户在阶段301指定的相册中的任何图像中出现的单个人的面部图像聚组在一起。然而,如之前所述,对相似组的自动创建可能在将仅一个人的图像聚组成相似组时以及在将人的面部图像聚组在单个相似组中时不完全准确。
在阶段309-311,在GUI 121上通过相似组显示面部图像的第一集合。例如,可以将相似组显示一组到如图4中所示的行或框401,以及用户输入404启用。例如,可以启用用户输入来通过图4中所示的复选框403选择或取消选择属于所指示的相似组的每一个显示的面部图像。同样,可以通过也在图4中示出的前几个最接近的名称的下拉列表402来便于用于为每一个相似组命名的用户输入。例如,从其选择名称以标识所显示的相似组的最接近的名称列表可以通过比较面部识别模板值,从在与所显示的相似组接近范围内的相似组的已命名的面部图像取得。图5是在一个实施例中的如上所述的一种生成最接近的名称选择的列表的方法的流程图。将在下面更详细地描述图5中所示的过程。本领域技术人员将理解的是,许多其它技术可以用于生成这样的最接近名称的下拉列表。
在阶段312-313,收集用户输入以将所显示的面部图像中的每一个以及还有每一个所显示的相似组的名称包括在对应的相似组中。在阶段314,基于在阶段312-313收集的用户输入来更新面部图像数据库。在一些实施例中,对数据库108中的条目的更新可以包括更新面部识别模板。更新还可以包括对为某些面部图像分配的标签的改变,和/或对分配的相似组的改变。图6图示了图形用户界面600的另一个示例,在其中以幻灯影片形式601显示面部图像集合(或那些面部图像的缩略图提取)。以幻灯影片形式显示的面部图像可以包括面部图像的每一个组的代表性图像。可以在任一方向滚动幻灯影片以查看在选择的聚组级别中的所有可用的代表性面部图像。例如,如图6中所示,幻灯影片601可以显示在所有可用相册中的每一个相似组的代表性图像。可以按有意义的顺序排列在幻灯影片601中的缩略图图像。例如,可以通过显示带有待被确认的最多面部图像的集群的缩略图图像,然后按类似于首先显示的集群的顺序将其它缩略图放置在幻灯影片中来排列缩略图,以帮助用户命名和确认面部图像集群。用户然后可以选择幻灯影片601中的缩略图图像中的一个来显示在对应的相似组602中的面部图像。用户然后可以例如通过选取对应的框,诸如紧挨图6中的相似组602面部图像中的每一个下方的框,来确认将那些图像中的每一个放置在当前分配的相似组中。同样,如图6中所示,用户可以为相似组分配名称或确认当前分配的名称。另外,如图6中所示,可以呈现对命名选择的建议。建议603可以基于在面部图像数据库108中可用的已命名的面部图像。
在阶段314的最后,数据库108中的具有在集107中的用户指定的相册中的对应的图像的面部图像,关于其在特定相似组中的包括和标签名称被更新。具有用户确认的主题名称标签的面部图像在此被称为“已命名的”面部图像。
图5图示了为选择的相似组生成可能的名称列表的过程500。在阶段501,确定用于选择的相似组的人脸识别模板。如前所述,每一个相似组可以具有对应的面部识别模板。在阶段502,搜索包括在面部图像数据库108中可用的已命名的面部图像的相似组。具有在预定范围内的人脸识别模板的相似组可以用于从那些相似组中的已命名的图像获取名称。在阶段503,可以将在阶段502中获取的直到预定数量的名称列为用于选择的相似组的可能选择。可以根据多个标准,包括根据在选择的相似组和带有已命名的面部图像的各个相似组的人脸识别模板之间的不同来对列表排序。
用户可以选择来为面部图像命名的另一个方法是指定用户名,并且试图将指定集(例如,由系统初始选择的集107的子集)中的图像确认为属于指定用户。图7中的流程图700是在一个实施例中的通过其用户可以为属于单个人的面部图像命名的阶段的序列。
在阶段701,系统接收作为来自用户的输入的主题名称。例如,用户可以使用GUI 121来键入或从系统生成的列表选择其希望将面部图像命名为的主题的名称。例如,然后客户端图像布局模块123可以将用户指定的主题名称传递给服务器端图像布局生成模块103。例如,在接收主题名称后,如在阶段702,服务器端模块103可以创建在数据库108中的与用户指定的主题名称相匹配的已命名的面部图像的集合,在此被称为第二集合。此后,在阶段703,模块103可以确定与第二集合中的面部图像相对应的一个或多个面部识别模板值。例如,如在数据库108中的当前分类,尽管第二集合中的面部图像可以被分配单个主题名称,但是这些图像属于多个相似组。相似组中的每一个可以具有定义组的面部识别模板值的其自身范围。在阶段703,确定用于面部识别模板的范围集合。在阶段704使用在阶段703确定的面部识别模板的范围来选择在面部识别模板值上最接近在阶段703选择的那些值的尚未命名的面部图像的集合,被称为第三集合。此后,在阶段705,在GUI上排列第二集合中的面部图像(已命名的面部图像)和第三集合中的那些面部图像(未命名的面部图像)。例如,在一些实施例中,可以以图像的单个集群的形式布局第二集合,以及可以以多个集群的形式布局第三集合,其中每一个集群对应于相似组。在一些实施例中,可以在GUI上组织第三集合的集群,使得到第二集合的面部图像的集群的邻近度指示各个面部识别模板的接近度。图8是在一个实施例中的根据流程图700产生的GUI 800。例如,可以如图8中所示来布局具有第二集合中的图像的集群801和第三集合的集群802-808。在阶段707,接收用户输入,以将每一个显示的面部图像包括在指示的相似组中;还接收用户输入,以将每一个显示的面部图像包括在待以指定的主题名称更新的图像集合中。在阶段708,根据用户输入更新数据库108。例如,可以通过从条目分配或删除指定的主题名称来更新数据库108中的对应条目,以及还可以更新条目的相似组信息。
在另一个实施例中,图9的流程图900的过程可以用于允许用户基于主题名称对面部图像命名。阶段901-903对应于流程图700的阶段701-704以及适用类似的说明。在阶段901,创建已命名的面部图像的集合,在下文被称为第四集合。在阶段903,创建尚未命名的面部图像的另一个集合,在下文被称为第五集合。在阶段904,在GUI的一个区域显示第四集合。在阶段905,在GUI的分立区域显示第五集合,其中可以以与第四集合的相似度逐渐减少的方式排列个体面部图像。图10是在一个实施例中的根据流程图900的GUI的示例。在这个实施例中,在不同的标签页中显示面部图像的第四和第五集合,其中如图10中所见1001每次只能使一个标签可见。在阶段906,接收关于哪些个体面部图像应当被分配指定的主题名称的用户输入。在阶段907,根据用户输入更新数据库108。例如,现在可以以主题名称更新由用户选择的尚未命名的面部图像中的每一个。同样,对于已命名的面部图像的标签页中的每一个面部图像,可以更新对应的条目以移除主题名称,如果用户指示如此。图6是可以用于基于用户指定的一个或多个名称来显示并命名相似集群的用户界面的图示。
在一些情况下,对于某些人脸,人脸检测过程自身可能失败。例如,人脸检测模块106可能没有检测到集107中的图像中的一个或多个人脸。在这种情况下,在其实施例中的一个中,本发明提供人工辅助人脸检测过程的能力。图11是在一个实施例中的人工辅助人脸检测的GUI组件的图示。例如,使用户能够在其希望由系统检测并识别的每一个人脸四周绘制边界区域,在这个实例中为边界框1101。另外,如1102中所示,用户可以显示或输入额外的描述数据,例如用于这样的图像的主题名称。图12示出了图示过程的流程图1200。在阶段1201和1202,在GUI中示出来自集107的图像,以及用户可以在一个或多个人脸四周定义边界区域。在阶段1203,例如由人脸检测模块106处理有界区域。本领域技术人员将理解的是,只需进行微小的修改,可以在自动人脸检测以及人工辅助人脸检测中使用同一面部检测技术。例如,在人工辅助时,人脸检测软件可以仅将更大的权重附到在已定义的区域内标识的面部界标特征。在阶段1204检测到人脸后,阶段1205使用户能够提供额外的信息,例如待以其标记数据库108中的面部图像的主题名称。在阶段1206,以检测到的人脸信息以及包括可能的主题名称的用户提供的信息来更新面部数据库108。
在另一个实施例中,使用性别检测来辅助人脸识别和命名过程。在图像中性别检测的方法在本领域众所周知。性别检测可以用于确定已分配给集群的面部图像的性别。确定了集群中的面部图像的性别后,系统可以使用该信息来偏置对于新近添加的图像的人脸检测结果。例如,如果新的面部图像被添加到集群,并且新的图像和已在集群中的图像的性别不一致,则系统可以阻止或提醒用户。在集群中的图像已被标记的另一个实施例中,字典查找可以用于确定集群中的面部图像的性别。
在另一个实施例中,本发明提供了集成由不同实体维护的面部图像集的系统。在面部图像集由不同实体独立地维护时,特定人的面部图像可能在分立的集之间被分立地标记。例如,具有第一个集的用户可以将John Smith(约翰史密斯)的面部图像标记为“John Smith”,而具有第二个集的另一个用户可以将其John Smith的图像标记为“J.Smith”。然后对这两个集的简单聚集可能导致在聚集的集中同一个人在不同的标签下出现。本发明提供了通过在比较图像模板时比较额外信息元素来集成分立集的面部图像的方法。例如但不限于,可以在归并两个集时将下述信息元素中的一些或全部合并到图像模板:面部特征、从图像检测的性别、从字典搜索检测的性别、分配的名称/标签、年龄、种族、姿势、饰件、地理坐标和时间(如果可用)、以及与其它已知面部图像的同时出现。可以通过各种比较信息元素集合的方式来确定待被分配给集成的集中的面部图像的标签。例如,可以将数值分配给每一个信息元素,并且可以在匹配的信息元素超过预定的数字阈值的情况下自动决定标签,以及可以在匹配的信息元素未超过这样的阈值时以人工干预半自动决定标签。
示例应用
在其实施例中的一个中,本发明利用面部图像数据库108和有关信息来向用户提供个性化的服务。例如,图13示出了实现个性化幻灯片的流程图1300。在阶段1301,用户指定主题名称,之后在阶段1302,系统定位对应的面部图像。然后在阶段1303-1305,对于每一个定位的面部图像,系统定位集107中的对应的图像并且在GUI 121中向用户显示该对应的图像。使用流程图1300,用户可以显示集107中的具有对应于指定主题的面部图像的全部或一些图像。在一些实施例中,与集107中的每一个图像中的面部图像有关的信息可以用于在显示对应的图像时实现相对于那些面部图像的特殊效果。例如,可以在显示集107中的对应图像时使用存储在数据库108中的用于面部图像的位置参数,在不用在显示时额外计算以定位人脸的边界的情况下来放大或扩大图像的该区域。
在另一个实施例中,数据库108可以用于搜索用于可能包含指定人的人像的图像的外部图像集。图14是在阶段1401从用户接收主题名称,以及在阶段1402标识在数据库108中的已分配匹配的名称的面部图像集合的过程的流程图1400。同样在阶段1402,系统可以确定与选择的面部图像相对应的一个或多个面部识别模板,其可以在阶段1403的搜索中使用。在阶段1403,可以搜索外部图像集以标识包含就面部识别模板而言足以接近在阶段1402选择的面部图像中的一个的面部图像的任何图像。例如,搜索可以涉及对每一个图像的人脸检测,后跟确定用于预定面部界标集合的值的人脸识别,然后与在阶段1402选择的面部图像中的一个或多个的匹配过程。在一个实施例中,在找到匹配的面部图像时,可以通过包括自动生成的消息的一些装置来警示用户,所述自动生成的消息例如到用户的登记的联系地址的自动生成的电子邮件或文本消息。在另一个实施例中,可以将带有匹配的面部图像的图像包括在集107中。
在另一个实施例中,允许主体反对他的图像被显示和/或他的图像与诸如名称的标识信息一起显示。图15示出了在一个实施例中的在用户反对系统中的操作的示例流程图1500。在阶段1501,例如,关于称为主体X的一个用户的显示事件发生。显示事件可以包括将具有主体X的面部图像的图像添加到图像集107、和/或以主体X的信息标记图像。主体X可以预先登记以在带有预定特征的显示事件发生时接收通知。在阶段1502,基于包括主体X的偏好的配置信息,可以确定应当将显示事件通知主体X。在阶段1503,将通知发送给主体X。可以以任何形式传递通知,包括到主体X可用的地址的电子邮件消息,或到主体X可用的一个或多个地址的即时消息。消息可以包含链接,例如到网页的统一资源定位符(URL),预期主体X在此处获取进一步信息和/或登记其反对。
传送通知后,在阶段1504,可以从主体X接收响应。响应可以包括主体X访问在通知消息中发送的URL。在阶段1505,向主体X显示引起通知被发送的图像和/或标签,使得他具有作为他反对的基础的足够信息。例如,在一些实施例中,可以显示集107中的带有匹配主体X的标签的标签的所有图像,而一些其它实施例可以仅显示为触发到X的通知的显示事件的直接原因的图像和标签。在阶段1506,接收X的输入。主体X可以使用一系列复选框或使用其它输入装置来登记他的输入。
所接收的输入可以包括X的关于以下的选择:是否应当删除图像、是否显示指定的标签、任何标签修改、X是否希望通知讨论中的图像源、以及X是否希望接到讨论中的图像源的通知。在阶段1507,可以验证X的输入选择以确定他是否被授权或能够接收所请求的服务。例如,可以只允许满足预定标准集合的用户请求删除图像。如果对于请求删除图像或者删除或修改标签信息,X经过验证,则在阶段1508,这样的改变在集107和面部图像数据库108中生效。例如,如果授权X请求自动移除标记为他的图像,则可以从集107和/或数据库108移除图像和相关标签。取决于X的授权级别,他的对使图像被删除的请求,或可以导致日志条目被创建以由集107的所有者人工移除图像。同样,取决于X的授权,所请求的任何标签改变可以自动进行或被记入日志用于稍后考虑。在阶段1509,如果X具有适当的授权,则X可以接到位置的通知,其中从该位置获取讨论中的图像。最后在阶段1510,可以将X的反对通知讨论中的图像源。例如,可以自动生成到源的包含X的反对和讨论中的图像的电子邮件。
另一个实施例可以使用数据库108中的信息以向用户提供对图像集的受限制的访问。例如,用户可能仅有权访问集107中的具有他的面部图像的图像。替选地,用户可能获准访问包含他的面部图像的相册集、或一个或多个其他预定的人集合的面部图像。例如,在一个实施例中,可以基于共享密钥来控制相册,其中将密钥仅分发给满足预定标准集合的用户。图16的流程图1600示出了在一个实施例中的用于实现这样的受限制的访问的阶段。在阶段1601,可以授权用户访问具有他的面部图像的图像。类似地,在一些实施例中,可以授权用户访问一个或多个其他人的图像。用户的访问一个或多个其他人的图像的权限可以基于例如用户标识符、预定的用户组和/或按每相册、图像或主题名称设置的访问权限,在系统可访问的配置文件中定义。在阶段1602,可以检索数据库108中的带有匹配的主题名称的已命名的面部图像。在阶段1603,可以仅基于在阶段1602检索到的面部图像来访问集107。例如,每次用户试图访问集107中的图像时,通过确保在阶段1602检索到的面部图像引用集107中的选择的图像来验证该访问。
在另一个实施例中,本发明在用户将标签分配给面部图像时,使用户能够指定期望包含正被标记的人的面部图像的任何图像的曝露级别(即访问级别)、和/或是否显示为该人指定的一个或多个标签。在一些实施例中,可以将各个级别的许可设置为访问级别,使得可以向公众、向预定用户组或仅向图像的所有者显示图像集合。基于访问级别,同一图像可以与或不与选择的标签一起显示。同样,在图像被标记时,标记应用可以与其它应用交互以交换信息。例如,在标记一个或多个面部图像期间,标记应用可以与联系人列表应用或电子邮件系统交互以交换可能对一方或两方应用有用的信息。
应当理解,具体实施方式部分而不是发明内容和摘要部分意在用于解释权利要求。发明内容和摘要部分可以阐明发明人考虑的本发明的一个或多个而非所有的示例性实施例,因此发明内容和摘要部分并不意在以任何方式来限制本发明和所附的权利要求。
在上面借助于说明指定的功能及其关系的实现的功能构造块来描述了本发明。在此为了便于描述,任意地限定了这些功能构造块的边界。可以限定替选边界,只要所述指定的功能及其关系被适当地执行。
特定实施例的前述描述如此充分地揭示了本发明的一般特性,使得其他人可以在不背离本发明的一般思想的情况下,通过应用在本领域的技术内的知识而容易地修改和/或调整本发明的一般特性以用于这样的特定实施例的各种应用,而不用进行过度的实验。因此,基于在此提供的教导和指导,这样的调整和修改意在在所公开的实施例的等同物的含义和范围内。应当理解的是,在此的措词或术语用于描述而非限制的目的,因此本说明书的术语或措词应当由技术人员根据所述教导和指导来解释。
本发明的宽度和范围不应当由上述示例性实施例的任何一个限制,而是应当仅根据所附权利要求及其等同物来限定。
Claims (24)
1.一种用于从数字图像集创建以及更新面部图像数据库的方法,包括:
(a)检测来自所述数字图像集的图像中的面部图像的第一集合;
(b)将面部图像的所述第一集合聚组成相似组,其中在所述相似组的每一个中面部图像的面部识别模板在预定的范围内;
(c)在图形用户界面的单个显示视图中显示来自多个所述相似组的面部图像,其中在所述单个显示视图中分立地显示各个相似组;
(d)接收用户输入以确认或拒绝在所显示的相似组的一个或多个中的个体面部图像;以及
(e)根据所述用户输入更新所显示的相似组中的一个或多个。
2.如权利要求1所述的方法,进一步包括:
(f)将所更新的相似组存储在所述面部图像数据库中。
3.如权利要求2所述的方法,进一步包括:
(g)接收用于所显示的相似组中的一个或多个的主题名称;以及
(h)以所述主题名称更新所显示的相似组中的一个或多个。
4.如权利要求3所述的方法,其中步骤(g)包括:
使所述用户能够从条目列表选择用于所显示的相似组中的至少一个的名称,所述条目列表中的每一个条目具有名称和面部图像中的至少一个,其中所述每一个条目对应于与名称相关联的一个或多个面部图像,以及其中所述条目列表按照与所显示的相似组中的所述至少一个的相似度排序。
5.如权利要求1所述的方法,其中步骤(c)包括:
(i)以可选择的幻灯影片布局显示来自所述多个相似组中的每一个的代表性面部图像;
(ii)基于用户输入选择代表性面部图像;以及
(iii)显示至少一个相似组的与所选择的代表性面部图像相对应的面部图像。
6.一种从数字图像集更新面部图像数据库的方法,包括:
(a)从用户接收主题名称;
(b)从存储在所述面部图像数据库中的面部图像的至少一个已命名的相似组检索面部图像的第一集合,其中与所述至少一个相似组相关联的名称匹配所述主题名称;
(c)确定用于所述第一集合的第一面部识别模板;
(d)从所述面部图像数据库中的一个或多个未命名的相似组检索面部图像的第二集合,其中所述未命名的相似组没有相关联的名称,以及其中所述未命名的相似组的面部识别模板匹配所述第一面部识别模板;
(e)在图形用户界面中显示所述第一集合;
(f)在所述图形用户界面中显示所述第二集合;
(g)接收与所述第二集合相关联的用户输入;以及
(h)根据所述用户输入更新所述第二集合。
7.如权利要求6所述的方法,其中步骤(e)包括:
(i)在所述图形用户界面中显示以集群方式排列的所述第一集合。
8.如权利要求7所述的方法,其中步骤(f)包括:
(i)在所述图形用户界面中显示所述第二集合,其中所述第二集合的每一个相似组以分立集群形式排列。
9.如权利要求6所述的方法,其中步骤(g)进一步包括以下的一个或多个:
(i)基于所述用户输入拒绝一个或多个面部图像,其中所拒绝的一个或多个面部图像未被分配所述主题名称;
(ii)基于所述用户输入拒绝所述第二集合的一个或多个相似组,其中所拒绝的一个或多个相似组未被分配所述主题名称;以及
(iii)基于所述用户输入确认所述第二集合的一个或多个相似组。
10.如权利要求6所述的方法,其中步骤(h)进一步包括:
(i)基于所述用户输入将所述主题名称分配给所述第二集合的相似组的面部图像。
11.如权利要求6所述的方法,其中步骤(e)包括:
(i)在所述图形用户界面的第一区域内显示所述第一集合。
12.如权利要求11所述的方法,其中步骤(f)包括:
(i)在所述图形用户界面的第二区域中显示所述第二集合,所述第二集合按照与所述第一集合的相似度排序。
13.一种用于向在数字图像集中检测到的多个人脸分配名称的命名工具,包括:
(a)面部图像数据库,所述面部图像数据库被配置为存储与在来自所述数字图像集的图像中检测到的面部图像有关的数据;
(b)至少一个图形用户界面;
(c)至少一个用户输入设备,所述至少一个用户输入设备使得能够通过所述至少一个图形用户界面操纵所述数据和所述图像中的一个或两个;
(d)人脸检测模块,所述人脸检测模块被配置为检测所述数字图像集的图像中的人脸并且将与所检测到的人脸有关的数据存储在所述面部图像数据库中;
(e)人脸识别模块,所述人脸识别模块被配置为计算用于所述面部图像数据库中的每一个面部图像的至少一个面部识别模板;
(f)相似排名模块,所述相似排名模块被配置为根据相应面部识别模板对在所述面部图像数据库中的面部图像进行聚组,使得相似的面部图像属于一个相似组;以及
(g)显示布局生成模块,所述显示布局生成模块被配置为在所述图形用户界面的显示视图中显示来自多个所述相似组的面部图像,其中各个相似组被分立地显示在所述显示视图中,
其中所述至少一个用户输入设备、所述至少一个图形用户界面、所述数字图像集以及所述面部图像数据库通信地耦接到所述人脸检测模块、所述人脸识别模块、所述相似排名模块以及所述显示布局生成模块。
14.一种从数字图像集访问数字图像的方法,包括:
(a)接收主题名称;
(b)选择面部图像数据库中的面部图像的第一集合,其中所述第一集合中的面部图像已被分配所述主题名称;以及
(c)从所述数字图像集找到数字图像,其中包括所述数字图像的一个或多个相似组与包括面部图像的所述第一集合的相似组先前相关联,其中所述一个或多个相似组不具有相关联的主题名称,并且其中所述一个或多个相似组的面部识别模板与所述第一集合的面部识别模板相匹配。
15.如权利要求14所述的方法,进一步包括:
(d)显示所述数字图像;以及
(e)使用存储在所述面部图像数据库中的数据针对一个或多个所显示的数字图像中的至少一个人脸显示特殊效果。
16.如权利要求14所述的方法,进一步包括:
(d)授权用户访问已分配所述主题名称的面部图像;以及
(e)允许所述用户访问所述数字图像集中的与所述第一集合先前相关联的图像。
17.一种利用多个源图像搜索人的图像的方法,包括:
接收主题名称;
从存储在面部图像数据库中的面部图像的至少一个已命名的相似组检索面部图像的第一集合,其中与所述至少一个已命名的相似组相关联的名称与所述主题名称相匹配;
确定用于所述第一集合的第一面部识别模板;
从所述面部图像数据库中的面部图像的一个或多个未命名的相似组检索面部图像的第二集合,其中所述未命名的相似组不具有相关联的名称,并且其中所述未命名的相似组的面部识别模板与所述第一面部识别模板相匹配;以及
搜索一个或多个数字图像集,其中该搜索包括使用面部图像的所述第一集合或所述第二集合中的至少一个来进行自动人脸识别。
18.如权利要求17所述的方法,进一步包括:
在找到匹配的图像时生成警示,其中所述匹配的图像包括与面部图像的所述第一集合中的至少一个面部图像匹配的面部图像。
19.如权利要求18所述的方法,进一步包括:
将用户与所述主题名称相关联。
20.如权利要求19所述的方法,其中所述生成所述警示包括:
(i)找到匹配的图像,其中所述匹配的图像包括与面部图像的所述第一集合中的至少一个面部图像匹配的面部图像;
(ii)检测张贴的图像中的预定类型的显示事件中的至少一个,其中所述张贴的图像包括与所述至少一个面部图像匹配的匹配面部图像;
(iii)通知所述用户关于所述预定类型的显示事件中的所述至少一个;以及
(iv)从所述用户接收输入选择。
21.如权利要求20所述的方法,进一步包括:
基于所述输入选择从一个或多个位置自动删除所述张贴的图像。
22.如权利要求20所述的方法,进一步包括:
基于所述输入选择修改分配给所述张贴的图像的一个或多个标签。
23.如权利要求20所述的方法,进一步包括:
基于所述输入选择通知具有所述至少一个图像的一个或多个源。
24.如权利要求20所述的方法,其中找到匹配的图像包括:
(i)检测在所述至少一个图像中的面部图像;
(ii)确定所述面部图像来表示所述主题名称;以及
(iii)向所述至少一个图像分配与所述主题名称和所述用户中的一个或多个相关联的标签。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US4188308P | 2008-04-02 | 2008-04-02 | |
US61/041,883 | 2008-04-02 | ||
US5051408P | 2008-05-05 | 2008-05-05 | |
US61/050,514 | 2008-05-05 | ||
PCT/US2009/002014 WO2009123711A1 (en) | 2008-04-02 | 2009-04-01 | Method and apparatus to incorporate automatic face recognition in digital image collections |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101990667A CN101990667A (zh) | 2011-03-23 |
CN101990667B true CN101990667B (zh) | 2013-08-28 |
Family
ID=40886267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009801124564A Active CN101990667B (zh) | 2008-04-02 | 2009-04-01 | 将自动人脸识别合并入数字图像集中的方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (2) | US8358811B2 (zh) |
EP (3) | EP2618289A3 (zh) |
JP (2) | JP2011516966A (zh) |
KR (1) | KR101618735B1 (zh) |
CN (1) | CN101990667B (zh) |
WO (1) | WO2009123711A1 (zh) |
Families Citing this family (169)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8447077B2 (en) | 2006-09-11 | 2013-05-21 | Validity Sensors, Inc. | Method and apparatus for fingerprint motion tracking using an in-line array |
WO2006041780A1 (en) | 2004-10-04 | 2006-04-20 | Validity Sensors, Inc. | Fingerprint sensing assemblies comprising a substrate |
US8839094B2 (en) * | 2007-01-23 | 2014-09-16 | Jostens, Inc. | System and method for yearbook creation |
WO2009082814A1 (en) | 2007-12-31 | 2009-07-09 | Ray Ganong | Method, system, and computer program for identification and sharing of digital images with face signatures |
US9639740B2 (en) | 2007-12-31 | 2017-05-02 | Applied Recognition Inc. | Face detection and recognition |
US9721148B2 (en) | 2007-12-31 | 2017-08-01 | Applied Recognition Inc. | Face detection and recognition |
CN101990667B (zh) | 2008-04-02 | 2013-08-28 | 谷歌公司 | 将自动人脸识别合并入数字图像集中的方法和装置 |
CN103475837B (zh) | 2008-05-19 | 2017-06-23 | 日立麦克赛尔株式会社 | 记录再现装置及方法 |
US9141863B2 (en) * | 2008-07-21 | 2015-09-22 | Facefirst, Llc | Managed biometric-based notification system and method |
US20100115036A1 (en) * | 2008-10-31 | 2010-05-06 | Nokia Coporation | Method, apparatus and computer program product for generating a composite media file |
US8457366B2 (en) | 2008-12-12 | 2013-06-04 | At&T Intellectual Property I, L.P. | System and method for matching faces |
US9210313B1 (en) | 2009-02-17 | 2015-12-08 | Ikorongo Technology, LLC | Display device content selection through viewer identification and affinity prediction |
US10706601B2 (en) | 2009-02-17 | 2020-07-07 | Ikorongo Technology, LLC | Interface for receiving subject affinity information |
US9727312B1 (en) | 2009-02-17 | 2017-08-08 | Ikorongo Technology, LLC | Providing subject information regarding upcoming images on a display |
US20110052012A1 (en) * | 2009-03-31 | 2011-03-03 | Myspace Inc. | Security and Monetization Through Facial Recognition in Social Networking Websites |
JP2010259064A (ja) * | 2009-04-03 | 2010-11-11 | Olympus Imaging Corp | 表示装置及び撮像装置 |
US8768313B2 (en) * | 2009-08-17 | 2014-07-01 | Digimarc Corporation | Methods and systems for image or audio recognition processing |
US8649602B2 (en) * | 2009-08-18 | 2014-02-11 | Cyberlink Corporation | Systems and methods for tagging photos |
JP5503921B2 (ja) * | 2009-08-21 | 2014-05-28 | ソニーモバイルコミュニケーションズ, エービー | 情報端末、情報端末の情報制御方法及び情報制御プログラム |
US8503739B2 (en) * | 2009-09-18 | 2013-08-06 | Adobe Systems Incorporated | System and method for using contextual features to improve face recognition in digital images |
US20110148857A1 (en) * | 2009-12-23 | 2011-06-23 | Microsoft Corporation | Finding and sharing of digital images based on shared face models |
US8416997B2 (en) * | 2010-01-27 | 2013-04-09 | Apple Inc. | Method of person identification using social connections |
US8645287B2 (en) * | 2010-02-04 | 2014-02-04 | Microsoft Corporation | Image tagging based upon cross domain context |
US9465993B2 (en) * | 2010-03-01 | 2016-10-11 | Microsoft Technology Licensing, Llc | Ranking clusters based on facial image analysis |
US20110243397A1 (en) | 2010-03-30 | 2011-10-06 | Christopher Watkins | Searching digital image collections using face recognition |
US8495057B2 (en) | 2010-05-17 | 2013-07-23 | Microsoft Corporation | Image searching with recognition suggestion |
US8270684B2 (en) * | 2010-07-27 | 2012-09-18 | Google Inc. | Automatic media sharing via shutter click |
US20120030575A1 (en) * | 2010-07-27 | 2012-02-02 | Cok Ronald S | Automated image-selection system |
JP5653131B2 (ja) | 2010-08-25 | 2015-01-14 | キヤノン株式会社 | オブジェクト認識装置およびその認識方法 |
US8724910B1 (en) * | 2010-08-31 | 2014-05-13 | Google Inc. | Selection of representative images |
US8630494B1 (en) | 2010-09-01 | 2014-01-14 | Ikorongo Technology, LLC | Method and system for sharing image content based on collection proximity |
US8774528B2 (en) * | 2010-09-24 | 2014-07-08 | Kodak Alaris Inc. | Method of selecting important digital images |
US8824748B2 (en) * | 2010-09-24 | 2014-09-02 | Facebook, Inc. | Auto tagging in geo-social networking system |
KR101384446B1 (ko) * | 2010-09-30 | 2014-04-10 | 후지츠 프론테크 가부시키가이샤 | 컴퓨터 판독가능한 기록 매체, 등록 장치, 및 등록 방법 |
US8744196B2 (en) * | 2010-11-26 | 2014-06-03 | Hewlett-Packard Development Company, L.P. | Automatic recognition of images |
US20120328168A1 (en) * | 2011-01-31 | 2012-12-27 | Andrea Dailey | System and Method for Yearbook Creation |
WO2012112992A2 (en) * | 2011-02-18 | 2012-08-23 | Google Inc. | Facial recognition |
US9251854B2 (en) * | 2011-02-18 | 2016-02-02 | Google Inc. | Facial detection, recognition and bookmarking in videos |
US20120213404A1 (en) | 2011-02-18 | 2012-08-23 | Google Inc. | Automatic event recognition and cross-user photo clustering |
KR101770262B1 (ko) * | 2011-03-16 | 2017-08-22 | 엘지전자 주식회사 | 전자 기기 및 전자 기기의 제어 방법 |
US8782136B1 (en) | 2011-03-28 | 2014-07-15 | Google Inc. | System and method for providing access to data objects based on proximity |
US9317530B2 (en) | 2011-03-29 | 2016-04-19 | Facebook, Inc. | Face recognition based on spatial and temporal proximity |
US8631084B2 (en) | 2011-04-29 | 2014-01-14 | Facebook, Inc. | Dynamic tagging recommendation |
US9552376B2 (en) | 2011-06-09 | 2017-01-24 | MemoryWeb, LLC | Method and apparatus for managing digital files |
US20120314916A1 (en) * | 2011-06-13 | 2012-12-13 | Reagan Inventions, Llc | Identifying and tagging objects within a digital image |
US8831294B2 (en) | 2011-06-17 | 2014-09-09 | Microsoft Corporation | Broadcast identifier enhanced facial recognition of images |
US9195679B1 (en) | 2011-08-11 | 2015-11-24 | Ikorongo Technology, LLC | Method and system for the contextual display of image tags in a social network |
US9147047B1 (en) * | 2011-08-11 | 2015-09-29 | West Corporation | Image capture to enforce remote agent adherence |
US8548207B2 (en) | 2011-08-15 | 2013-10-01 | Daon Holdings Limited | Method of host-directed illumination and system for conducting host-directed illumination |
US8903138B1 (en) | 2011-09-06 | 2014-12-02 | Google Inc. | Face recognition using pre-templates |
US8593452B2 (en) * | 2011-12-20 | 2013-11-26 | Apple Inc. | Face feature vector construction |
US9135410B2 (en) * | 2011-12-21 | 2015-09-15 | At&T Intellectual Property I, L.P. | Digital rights management using a digital agent |
US20140133713A1 (en) * | 2011-12-29 | 2014-05-15 | Intel Corporation | Method, Apparatus, and Computer-Readable Recording Medium for Authenticating a User |
US9202105B1 (en) | 2012-01-13 | 2015-12-01 | Amazon Technologies, Inc. | Image analysis for user authentication |
CN103207870B (zh) * | 2012-01-17 | 2020-06-02 | 华为技术有限公司 | 一种照片分类管理方法、服务器、装置及系统 |
US20130198836A1 (en) * | 2012-01-31 | 2013-08-01 | Google Inc. | Facial Recognition Streamlined Login |
US8824750B2 (en) | 2012-03-19 | 2014-09-02 | Next Level Security Systems, Inc. | Distributive facial matching and notification system |
US8666123B2 (en) | 2012-04-26 | 2014-03-04 | Google Inc. | Creating social network groups |
US20140233811A1 (en) * | 2012-05-15 | 2014-08-21 | Google Inc. | Summarizing a photo album |
US8891883B2 (en) | 2012-05-15 | 2014-11-18 | Google Inc. | Summarizing a photo album in a social network system |
KR101964348B1 (ko) * | 2012-05-18 | 2019-04-01 | 삼성전자주식회사 | 미디어 기기에서의 콘텐츠 정렬 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체 |
US9483556B1 (en) | 2012-05-25 | 2016-11-01 | Google Inc. | Aggregating photos captured at an event |
US8855369B2 (en) | 2012-06-22 | 2014-10-07 | Microsoft Corporation | Self learning face recognition using depth based tracking for database generation and update |
US9665773B2 (en) * | 2012-06-25 | 2017-05-30 | Google Inc. | Searching for events by attendants |
US9391792B2 (en) | 2012-06-27 | 2016-07-12 | Google Inc. | System and method for event content stream |
JP6071288B2 (ja) | 2012-07-09 | 2017-02-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP6071287B2 (ja) | 2012-07-09 | 2017-02-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US20140056489A1 (en) * | 2012-08-22 | 2014-02-27 | Google Inc. | System and method for sharing media |
US8856541B1 (en) | 2013-01-10 | 2014-10-07 | Google Inc. | Liveness detection |
WO2014142835A1 (en) * | 2013-03-13 | 2014-09-18 | Intel Corporation | User authentication via image manipulation |
US9405771B2 (en) * | 2013-03-14 | 2016-08-02 | Microsoft Technology Licensing, Llc | Associating metadata with images in a personal image collection |
US9449216B1 (en) * | 2013-04-10 | 2016-09-20 | Amazon Technologies, Inc. | Detection of cast members in video content |
US10235508B2 (en) | 2013-05-08 | 2019-03-19 | Jpmorgan Chase Bank, N.A. | Systems and methods for high fidelity multi-modal out-of-band biometric authentication with human cross-checking |
US9721175B2 (en) * | 2013-05-08 | 2017-08-01 | Jpmorgan Chase Bank, N.A. | Systems and methods for high fidelity multi-modal out-of-band biometric authentication through vector-based multi-profile storage |
US9760785B2 (en) | 2013-05-08 | 2017-09-12 | Jpmorgan Chase Bank, N.A. | Systems and methods for high fidelity multi-modal out-of-band biometric authentication |
US10032091B2 (en) * | 2013-06-05 | 2018-07-24 | Emotient, Inc. | Spatial organization of images based on emotion face clouds |
CN105593901B (zh) | 2013-06-28 | 2020-06-12 | 日本电气株式会社 | 训练数据生成设备、方法和程序以及人群状态识别设备、方法和程序 |
US20150039703A1 (en) | 2013-08-01 | 2015-02-05 | Jp Morgan Chase Bank, N.A. | Systems and methods for electronic message prioritization |
US9892576B2 (en) | 2013-08-02 | 2018-02-13 | Jpmorgan Chase Bank, N.A. | Biometrics identification module and personal wearable electronics network based authentication and transaction processing |
US9910865B2 (en) | 2013-08-05 | 2018-03-06 | Nvidia Corporation | Method for capturing the moment of the photo capture |
US20150066941A1 (en) * | 2013-08-30 | 2015-03-05 | U-Me Holdings LLC | Photo cataloging, storage and retrieval using relationships between people |
US20150085146A1 (en) * | 2013-09-23 | 2015-03-26 | Nvidia Corporation | Method and system for storing contact information in an image using a mobile device |
US9829480B2 (en) | 2013-09-26 | 2017-11-28 | Alcohol Monitoring Systems, Inc. | Remote breath alcohol monitor |
CN103593650B (zh) * | 2013-10-28 | 2017-01-25 | 浙江大学 | 一种基于表情识别系统生成艺术图像的方法 |
US9569656B2 (en) | 2013-12-06 | 2017-02-14 | Google Inc. | Local real-time facial recognition |
KR101480256B1 (ko) * | 2013-12-13 | 2015-01-09 | 계명대학교 산학협력단 | 얼굴 영역의 위치를 고려한 화상 통신 장치 및 그 방법 |
CN103646199B (zh) * | 2013-12-26 | 2016-06-15 | 中国电子科技集团公司第三研究所 | 一种基于九宫格密码和人脸图像的身份验证方法 |
KR101534808B1 (ko) * | 2013-12-30 | 2015-07-08 | 주식회사 시어스랩 | 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템 |
US9635108B2 (en) | 2014-01-25 | 2017-04-25 | Q Technologies Inc. | Systems and methods for content sharing using uniquely generated idenifiers |
US10121060B2 (en) * | 2014-02-13 | 2018-11-06 | Oath Inc. | Automatic group formation and group detection through media recognition |
US9268793B2 (en) * | 2014-03-12 | 2016-02-23 | Google Inc. | Adjustment of facial image search results |
CN104933391B (zh) * | 2014-03-20 | 2018-08-10 | 联想(北京)有限公司 | 用于进行面部识别的方法和装置、以及电子设备 |
US9614724B2 (en) | 2014-04-21 | 2017-04-04 | Microsoft Technology Licensing, Llc | Session-based device configuration |
US9639742B2 (en) | 2014-04-28 | 2017-05-02 | Microsoft Technology Licensing, Llc | Creation of representative content based on facial analysis |
US9773156B2 (en) | 2014-04-29 | 2017-09-26 | Microsoft Technology Licensing, Llc | Grouping and ranking images based on facial recognition data |
US9519826B2 (en) * | 2014-05-08 | 2016-12-13 | Shutterfly, Inc. | Automatic image product creation for user accounts comprising large number of images |
US9384335B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content delivery prioritization in managed wireless distribution networks |
US10111099B2 (en) | 2014-05-12 | 2018-10-23 | Microsoft Technology Licensing, Llc | Distributing content in managed wireless distribution networks |
US9384334B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content discovery in managed wireless distribution networks |
US9430667B2 (en) | 2014-05-12 | 2016-08-30 | Microsoft Technology Licensing, Llc | Managed wireless distribution network |
US9874914B2 (en) | 2014-05-19 | 2018-01-23 | Microsoft Technology Licensing, Llc | Power management contracts for accessory devices |
US10037202B2 (en) | 2014-06-03 | 2018-07-31 | Microsoft Technology Licensing, Llc | Techniques to isolating a portion of an online computing service |
KR102223205B1 (ko) | 2014-06-11 | 2021-03-08 | 삼성전자주식회사 | 이미지 분류 장치, 이의 동작 방법 및 이를 포함하는 전자 시스템 |
US9367490B2 (en) | 2014-06-13 | 2016-06-14 | Microsoft Technology Licensing, Llc | Reversible connector for accessory devices |
US9460493B2 (en) | 2014-06-14 | 2016-10-04 | Microsoft Technology Licensing, Llc | Automatic video quality enhancement with temporal smoothing and user override |
US20150362989A1 (en) * | 2014-06-17 | 2015-12-17 | Amazon Technologies, Inc. | Dynamic template selection for object detection and tracking |
US9373179B2 (en) | 2014-06-23 | 2016-06-21 | Microsoft Technology Licensing, Llc | Saliency-preserving distinctive low-footprint photograph aging effect |
WO2015200350A1 (en) | 2014-06-24 | 2015-12-30 | Google Inc. | Ranking and selecting images for display from a set of images |
CA2902093C (en) | 2014-08-28 | 2023-03-07 | Kevin Alan Tussy | Facial recognition authentication system including path parameters |
US10803160B2 (en) | 2014-08-28 | 2020-10-13 | Facetec, Inc. | Method to verify and identify blockchain with user question data |
US10915618B2 (en) | 2014-08-28 | 2021-02-09 | Facetec, Inc. | Method to add remotely collected biometric images / templates to a database record of personal information |
US11256792B2 (en) | 2014-08-28 | 2022-02-22 | Facetec, Inc. | Method and apparatus for creation and use of digital identification |
US10614204B2 (en) | 2014-08-28 | 2020-04-07 | Facetec, Inc. | Facial recognition authentication system including path parameters |
US10698995B2 (en) | 2014-08-28 | 2020-06-30 | Facetec, Inc. | Method to verify identity using a previously collected biometric image/data |
CN104284252A (zh) * | 2014-09-10 | 2015-01-14 | 康佳集团股份有限公司 | 一种自动生成电子相册的方法 |
KR102024867B1 (ko) | 2014-09-16 | 2019-09-24 | 삼성전자주식회사 | 예제 피라미드에 기초하여 입력 영상의 특징을 추출하는 방법 및 얼굴 인식 장치 |
US20160092082A1 (en) * | 2014-09-29 | 2016-03-31 | Apple Inc. | Visualizing Relationships Between Entities in Content Items |
US10121056B2 (en) | 2015-03-02 | 2018-11-06 | International Business Machines Corporation | Ensuring a desired distribution of content in a multimedia document for different demographic groups utilizing demographic information |
US9507996B2 (en) | 2015-03-02 | 2016-11-29 | International Business Machines Corporation | Ensuring a desired distribution of images in a multimedia document utilizing facial signatures |
US10445391B2 (en) | 2015-03-27 | 2019-10-15 | Jostens, Inc. | Yearbook publishing system |
CN104852967B (zh) | 2015-04-21 | 2018-03-27 | 小米科技有限责任公司 | 图片共享方法及装置 |
US9448704B1 (en) | 2015-04-29 | 2016-09-20 | Dropbox, Inc. | Navigating digital content using visual characteristics of the digital content |
KR102638612B1 (ko) | 2015-07-15 | 2024-02-21 | 15 세컨즈 오브 페임, 인크. | 맥락형 비디오 스트림들에서 개인들을 식별하기 위한 얼굴 인식 및 비디오 분석을 위한 장치 및 방법들 |
CN106371551A (zh) * | 2015-07-20 | 2017-02-01 | 深圳富泰宏精密工业有限公司 | 人脸表情操作系统、方法及电子装置 |
CN106453209B (zh) * | 2015-08-07 | 2020-01-21 | 阿里巴巴集团控股有限公司 | 一种身份验证方法和装置 |
US10476827B2 (en) | 2015-09-28 | 2019-11-12 | Google Llc | Sharing images and image albums over a communication network |
CN105224838B (zh) * | 2015-09-28 | 2018-02-09 | 广东欧珀移动通信有限公司 | 一种基于人脸识别的用户权限控制方法和系统 |
US10320861B2 (en) | 2015-09-30 | 2019-06-11 | Google Llc | System and method for automatic meeting note creation and sharing using a user's context and physical proximity |
EP3365838A4 (en) | 2015-10-21 | 2019-08-28 | 15 Seconds Of Fame, Inc. | METHODS AND APPARATUS FOR MINIMIZING FALSE POSITIVES IN FACIAL RECOGNITION APPLICATIONS |
EP3413237A1 (en) | 2015-11-04 | 2018-12-12 | Shutterfly, Inc. | Automatic image product creation for user accounts comprising large number of images |
CN105426485A (zh) * | 2015-11-20 | 2016-03-23 | 小米科技有限责任公司 | 图像合并方法和装置、智能终端和服务器 |
CN105608425B (zh) * | 2015-12-17 | 2019-02-15 | 小米科技有限责任公司 | 对照片进行分类存储的方法及装置 |
SG10201601838TA (en) * | 2016-03-09 | 2017-10-30 | Trakomatic Pte Ltd | Method and system for visitor tracking at a pos area |
US10127945B2 (en) | 2016-03-15 | 2018-11-13 | Google Llc | Visualization of image themes based on image content |
US10198625B1 (en) | 2016-03-26 | 2019-02-05 | Videomining Corporation | Association of unique person to a mobile device using repeat face image matching |
USD987653S1 (en) | 2016-04-26 | 2023-05-30 | Facetec, Inc. | Display screen or portion thereof with graphical user interface |
WO2018015988A1 (ja) | 2016-07-19 | 2018-01-25 | 株式会社オプティム | 人物画特定システム、人物画特定方法及びプログラム |
US10083358B1 (en) | 2016-07-26 | 2018-09-25 | Videomining Corporation | Association of unique person to point-of-sale transaction data |
US9996773B2 (en) * | 2016-08-04 | 2018-06-12 | International Business Machines Corporation | Face recognition in big data ecosystem using multiple recognition models |
US10614436B1 (en) | 2016-08-25 | 2020-04-07 | Videomining Corporation | Association of mobile device to retail transaction |
WO2018045358A1 (en) | 2016-09-05 | 2018-03-08 | Google Llc | Generating theme-based videos |
JP2018081402A (ja) * | 2016-11-15 | 2018-05-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN110073347A (zh) * | 2016-12-06 | 2019-07-30 | 电子湾有限公司 | 锚定搜索 |
US11222227B2 (en) | 2017-01-25 | 2022-01-11 | Chaim Mintz | Photo subscription system and method using biometric identification |
US10095915B2 (en) | 2017-01-25 | 2018-10-09 | Chaim Mintz | Photo subscription system and method using biometric identification |
WO2018212815A1 (en) | 2017-05-17 | 2018-11-22 | Google Llc | Automatic image sharing with designated users over a communication network |
US11169661B2 (en) * | 2017-05-31 | 2021-11-09 | International Business Machines Corporation | Thumbnail generation for digital images |
US20190065834A1 (en) * | 2017-08-22 | 2019-02-28 | Incode Technologies, Inc. | Apparatus and method for configurable automated distribution of images |
CN109947965B (zh) * | 2017-09-04 | 2023-09-05 | 阿里巴巴集团控股有限公司 | 对象识别、数据集合的更新、数据处理方法与装置 |
CN108170750A (zh) * | 2017-12-21 | 2018-06-15 | 深圳英飞拓科技股份有限公司 | 一种人脸数据库更新方法、系统及终端设备 |
US11735018B2 (en) | 2018-03-11 | 2023-08-22 | Intellivision Technologies Corp. | Security system with face recognition |
WO2019206251A1 (en) * | 2018-04-27 | 2019-10-31 | Shanghai Truthvision Information Technology Co., Ltd. | Systems and methods for image archiving |
KR102102405B1 (ko) | 2018-06-08 | 2020-04-20 | 부산대학교 산학협력단 | 머신 러닝을 통한 영상 인식을 위한 장치 및 방법 |
CN109101542B (zh) * | 2018-07-02 | 2021-02-02 | 深圳市商汤科技有限公司 | 图像识别结果输出方法及装置、电子设备和存储介质 |
US10936856B2 (en) | 2018-08-31 | 2021-03-02 | 15 Seconds of Fame, Inc. | Methods and apparatus for reducing false positives in facial recognition |
CN111125390B (zh) * | 2018-11-01 | 2024-05-17 | 北京市商汤科技开发有限公司 | 数据库更新方法和装置、电子设备、计算机存储介质 |
CN111125391B (zh) * | 2018-11-01 | 2024-06-07 | 北京市商汤科技开发有限公司 | 数据库更新方法和装置、电子设备、计算机存储介质 |
US20200151453A1 (en) * | 2018-11-08 | 2020-05-14 | International Business Machines Corporation | Reducing overlap among a collection of photographs |
EP3871117A4 (en) * | 2018-12-07 | 2022-07-06 | Microsoft Technology Licensing, LLC | PROVIDING PRIVACY LABELED IMAGES |
CN109753920B (zh) * | 2018-12-29 | 2021-09-17 | 深圳市商汤科技有限公司 | 一种行人识别方法及装置 |
US10936178B2 (en) | 2019-01-07 | 2021-03-02 | MemoryWeb, LLC | Systems and methods for analyzing and organizing digital photos and videos |
US11010596B2 (en) | 2019-03-07 | 2021-05-18 | 15 Seconds of Fame, Inc. | Apparatus and methods for facial recognition systems to identify proximity-based connections |
US11283937B1 (en) | 2019-08-15 | 2022-03-22 | Ikorongo Technology, LLC | Sharing images based on face matching in a network |
US11341351B2 (en) | 2020-01-03 | 2022-05-24 | 15 Seconds of Fame, Inc. | Methods and apparatus for facial recognition on a user device |
CN114930324A (zh) * | 2020-01-06 | 2022-08-19 | 谷歌有限责任公司 | 用于对媒体内容进行搜索和编索引的共享嵌入的隐私控制 |
CN111797746B (zh) * | 2020-06-28 | 2024-06-14 | 北京小米松果电子有限公司 | 人脸识别方法、装置及计算机可读存储介质 |
CN112817503B (zh) * | 2021-01-18 | 2024-03-26 | 陈林斌 | 电子相框的智能显示方法、电子相框及可读存储介质 |
US11750666B2 (en) * | 2021-04-22 | 2023-09-05 | Bank Of America Corporation | Dynamic group session data access protocols |
WO2023129561A1 (en) * | 2021-12-28 | 2023-07-06 | Woods Jeremiah | Consumption of a video feed from a remotely located camera device |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1851713A (zh) * | 2006-05-29 | 2006-10-25 | 北京万网志成科技有限公司 | 基于多图像文本的图像检索及显示方法 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6222939B1 (en) | 1996-06-25 | 2001-04-24 | Eyematic Interfaces, Inc. | Labeled bunch graphs for image analysis |
US6301370B1 (en) | 1998-04-13 | 2001-10-09 | Eyematic Interfaces, Inc. | Face recognition from video images |
US7634662B2 (en) * | 2002-11-21 | 2009-12-15 | Monroe David A | Method for incorporating facial recognition technology in a multimedia surveillance system |
US6606398B2 (en) * | 1998-09-30 | 2003-08-12 | Intel Corporation | Automatic cataloging of people in digital photographs |
US7099510B2 (en) | 2000-11-29 | 2006-08-29 | Hewlett-Packard Development Company, L.P. | Method and system for object detection in digital images |
JP2002207741A (ja) * | 2001-01-12 | 2002-07-26 | Minolta Co Ltd | 画像データ検索装置、画像データ検索方法、画像データ検索プログラムおよび画像データ検索プログラムを記録したコンピュータ読み取り可能な記録媒体 |
US6917703B1 (en) | 2001-02-28 | 2005-07-12 | Nevengineering, Inc. | Method and apparatus for image analysis of a gabor-wavelet transformed image using a neural network |
US8086867B2 (en) * | 2002-03-26 | 2011-12-27 | Northrop Grumman Systems Corporation | Secure identity and privilege system |
US20030210808A1 (en) * | 2002-05-10 | 2003-11-13 | Eastman Kodak Company | Method and apparatus for organizing and retrieving images containing human faces |
AU2003282943A1 (en) * | 2002-10-11 | 2004-05-04 | Digimarc Corporation | Systems and methods for recognition of individuals using multiple biometric searches |
JP3809823B2 (ja) * | 2003-02-24 | 2006-08-16 | 日本電気株式会社 | 人物情報管理システムおよび人物情報管理装置 |
US7286723B2 (en) * | 2003-06-27 | 2007-10-23 | Hewlett-Packard Development Company, L.P. | System and method for organizing images |
US7274822B2 (en) * | 2003-06-30 | 2007-09-25 | Microsoft Corporation | Face annotation for photo management |
JP2005032163A (ja) * | 2003-07-11 | 2005-02-03 | Nec Commun Syst Ltd | 顔照合システム |
JP2005080216A (ja) * | 2003-09-03 | 2005-03-24 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びそのプログラム |
US7822233B2 (en) * | 2003-11-14 | 2010-10-26 | Fujifilm Corporation | Method and apparatus for organizing digital media based on face recognition |
WO2005055138A2 (en) * | 2003-11-26 | 2005-06-16 | Yesvideo, Inc. | Statical modeling of a visual image for use in determining similarity between visual images |
KR100601997B1 (ko) * | 2004-10-12 | 2006-07-18 | 삼성전자주식회사 | 인물기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 인물기반 디지털 사진 앨버밍 방법 및 장치 |
JP4267584B2 (ja) * | 2005-02-28 | 2009-05-27 | 株式会社東芝 | 機器制御装置及びその方法 |
JP2006244279A (ja) * | 2005-03-04 | 2006-09-14 | Mitsubishi Electric Corp | 画像分類装置 |
US7646895B2 (en) * | 2005-04-05 | 2010-01-12 | 3Vr Security, Inc. | Grouping items in video stream images into events |
US7809722B2 (en) * | 2005-05-09 | 2010-10-05 | Like.Com | System and method for enabling search and retrieval from image files based on recognized information |
JP2007026316A (ja) * | 2005-07-20 | 2007-02-01 | Yamaha Motor Co Ltd | 画像管理装置、ならびに画像管理用コンピュータプログラムおよびそれを記録した記録媒体 |
JP2007052646A (ja) * | 2005-08-18 | 2007-03-01 | Fujifilm Holdings Corp | 画像検索装置、画像プリント装置、プリント注文システム、店頭プリント端末装置、撮像装置、画像検索プログラム及び方法 |
US7920745B2 (en) * | 2006-03-31 | 2011-04-05 | Fujifilm Corporation | Method and apparatus for performing constrained spectral clustering of digital image data |
US7907755B1 (en) * | 2006-05-10 | 2011-03-15 | Aol Inc. | Detecting facial similarity based on human perception of facial similarity |
US7684651B2 (en) * | 2006-08-23 | 2010-03-23 | Microsoft Corporation | Image-based face search |
CN101990667B (zh) | 2008-04-02 | 2013-08-28 | 谷歌公司 | 将自动人脸识别合并入数字图像集中的方法和装置 |
US8036417B2 (en) * | 2008-06-11 | 2011-10-11 | Eastman Kodak Company | Finding orientation and date of hardcopy medium |
-
2009
- 2009-04-01 CN CN2009801124564A patent/CN101990667B/zh active Active
- 2009-04-01 WO PCT/US2009/002014 patent/WO2009123711A1/en active Application Filing
- 2009-04-01 KR KR1020107024606A patent/KR101618735B1/ko active IP Right Grant
- 2009-04-01 EP EP13164484.1A patent/EP2618289A3/en not_active Ceased
- 2009-04-01 US US12/416,632 patent/US8358811B2/en active Active
- 2009-04-01 EP EP13164485.8A patent/EP2618290A3/en not_active Ceased
- 2009-04-01 JP JP2011502952A patent/JP2011516966A/ja active Pending
- 2009-04-01 EP EP09727089A patent/EP2281248A1/en not_active Withdrawn
-
2012
- 2012-12-17 US US13/717,426 patent/US8897508B2/en active Active
-
2014
- 2014-06-24 JP JP2014128813A patent/JP5869054B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1851713A (zh) * | 2006-05-29 | 2006-10-25 | 北京万网志成科技有限公司 | 基于多图像文本的图像检索及显示方法 |
Non-Patent Citations (2)
Title |
---|
Automatic Face-based Image Grouping for Album;Madirakshi Das et al;《无》;20031231;3727-3731 * |
Madirakshi Das et al.Automatic Face-based Image Grouping for Album.《无》.2003,3727-3731. |
Also Published As
Publication number | Publication date |
---|---|
EP2281248A1 (en) | 2011-02-09 |
KR20100129783A (ko) | 2010-12-09 |
US8897508B2 (en) | 2014-11-25 |
EP2618289A3 (en) | 2014-07-30 |
JP2014222519A (ja) | 2014-11-27 |
EP2618290A2 (en) | 2013-07-24 |
US20130251217A1 (en) | 2013-09-26 |
JP5869054B2 (ja) | 2016-02-24 |
WO2009123711A1 (en) | 2009-10-08 |
KR101618735B1 (ko) | 2016-05-09 |
CN101990667A (zh) | 2011-03-23 |
US20090252383A1 (en) | 2009-10-08 |
EP2618290A3 (en) | 2014-08-06 |
US8358811B2 (en) | 2013-01-22 |
EP2618289A2 (en) | 2013-07-24 |
JP2011516966A (ja) | 2011-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101990667B (zh) | 将自动人脸识别合并入数字图像集中的方法和装置 | |
US12032623B2 (en) | Facial based image organization and retrieval method | |
US9721148B2 (en) | Face detection and recognition | |
US9639740B2 (en) | Face detection and recognition | |
US20180046855A1 (en) | Face detection and recognition | |
KR100803769B1 (ko) | 미디어 아이템들을 클러스터링 및 조회하기 위한 방법 | |
US8897485B2 (en) | Determining an interest level for an image | |
US8873851B2 (en) | System for presenting high-interest-level images | |
US9014509B2 (en) | Modifying digital images to increase interest level | |
US8473525B2 (en) | Metadata generation for image files | |
US20110182482A1 (en) | Method of person identification using social connections | |
US20140003716A1 (en) | Method for presenting high-interest-level images | |
US20140002644A1 (en) | System for modifying images to increase interestingness | |
CN102591868A (zh) | 用于拍照指南自动生成的系统和方法 | |
WO2007129474A1 (ja) | 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法 | |
US20150169207A1 (en) | Systems and methods for generating personalized account reconfiguration interfaces | |
CN104182459B (zh) | 用于将内容呈现给用户的系统和方法 | |
CN107209772A (zh) | 图像显示控制装置、图像显示控制方法、图像显示控制程序以及存放有该程序的记录介质 | |
JPWO2007004521A1 (ja) | マーカ特定装置及びマーカ特定方法 | |
KAYA | TAG BASED RECOMMENDATION SYSTEM OF A SOCIAL NETWORKING SITE | |
CN105917360A (zh) | 面部检测和识别 | |
Mehta | Spot that Bird: A Location Based Bird Game | |
CN117009628A (zh) | 内容推荐方法、装置、设备、存储介质及程序产品 | |
CN115116116A (zh) | 图像识别方法、装置、电子设备及可读存储介质 | |
Baulida | Semantic and Diverse Summarization of Egocentric Photo Events |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: American California Patentee after: Google limited liability company Address before: American California Patentee before: Google Inc. |
|
CP01 | Change in the name or title of a patent holder |