CN101281540B - 用于处理信息的设备、方法和计算机程序 - Google Patents

用于处理信息的设备、方法和计算机程序 Download PDF

Info

Publication number
CN101281540B
CN101281540B CN2008100911220A CN200810091122A CN101281540B CN 101281540 B CN101281540 B CN 101281540B CN 2008100911220 A CN2008100911220 A CN 2008100911220A CN 200810091122 A CN200810091122 A CN 200810091122A CN 101281540 B CN101281540 B CN 101281540B
Authority
CN
China
Prior art keywords
personage
characteristic quantity
model
content
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008100911220A
Other languages
English (en)
Other versions
CN101281540A (zh
Inventor
角田智弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101281540A publication Critical patent/CN101281540A/zh
Application granted granted Critical
Publication of CN101281540B publication Critical patent/CN101281540B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data

Abstract

用于产生指示人物和人物的面部图像之间的映射的数据库的信息处理设备,包括:列表产生单元,用于基于视频内容的元数据产生在视频内容中出现的人物的列表;检测单元,用于从视频内容中检测人物的面部图像;模型产生单元,用于产生指示所检测到的人物的面部图像的特征的特征量模型;和映射单元,用于将基于视频内容产生的特征量模型映射到在人物列表中包含的人物。

Description

用于处理信息的设备、方法和计算机程序
相关申请的交叉引用
本发明包含涉及于2007年4月4日向日本专利局提交的日本专利申请JP 2007-098567的主题,通过引用将其全部内容合并在此。
技术领域
本发明涉及信息处理设备、信息处理方法和计算机程序,特别地,本发明涉及用于基于诸如电视节目之类的视频内容产生指示人物和相应的面部图像之间的映射的数据库的信息处理设备、信息处理方法和计算机程序。
背景技术
例如,日本待审查专利申请公开No.2002-189724公开了在运动图片或静态图片中检测人脸并识别这是谁的面部的技术。
在现有技术中,参照记录有人物(人)和指示映射到人物的人物特征的特征量模型的数据库(下面称为DB),将所检测到的面部图像的特征量模型与数据库上的特征量模型进行比较,并且具有最高相关性的人物被识别为具有所检测到的面部图像的人物。
发明内容
手动构造已经记录有人物和映射到人物的面部的特征量模型的现有技术中的DB。如果例如使用计算机自动构造DB,则要存储在DB上的数据量(人物和人物的面部的特征量模型的数量)增加得比手动输入操作更迅速。因此,期望识别更多的人物。
现有技术的DB不能应付随年龄变老过程而产生的人面部的变化以及由于化妆或伪装造成的面部特征的变化。在这种情况下,DB还需要手动更新。
因此期望自动构造基于视频内容指示人物和面部的特征量模型之间的映射的数据库。
在根据本发明的一个实施例中,用于产生指示人物和人物的面部图像之间的映射的数据库的信息处理设备包括:列表产生单元,用于基于视频内容的元数据产生在视频内容中出现的人物的列表;检测单元,用于从视频内容中检测人物的面部图像;模型产生单元,用于产生指示所检测到的人物的面部图像的特征的特征量模型;和映射单元,用于将基于视频内容产生的特征量模型映射到在人物列表中包含的人物。
信息处理设备还可以包括分类单元,用于根据相似性将多个特征量模型分类成特征量模型组,并且产生代表在分类到每个特征量模型组中的多个特征量模型的代表性模型。映射单元将代表性模型映射到在人物列表中包含的人物。
映射单元可以包括:确定单元,用于确定目标人物;获取(retrieval)单元,用于根据人物列表搜索目标人物出现的视频内容,并且获取从所搜索到的视频内容产生的特征量模型;确定单元,用于从获取的特征量模型中确定相互具有高相关性的多个特征量模型;和映射产生单元,用于产生用作被确定为相互具有高相关性的多个特征量模型的中心的中心模型,并且将该中心模型映射到目标人物。
列表产生单元可以基于视频内容的元数据产生包括由多个人物组成的组的人物列表。
检测单元可以从视频内容检测人物的面部图像,而不管其视面角如何,并且映射单元可以将基于以不同视面角检测到的面部图像产生的多个特征量模型映射到同一人物。
在根据本发明的一个实施例中,用于产生指示人物和人物的面部图像之间的映射的数据库的信息处理设备的信息处理方法包括步骤:基于视频内容的元数据产生在视频内容中出现的人物的列表;从视频内容中检测人物的面部图像;产生指示所检测到的人物的面部图像的特征的特征量模型;和将基于视频内容产生的特征量模型映射到在人物列表中包含的人物。
在根据本发明的一个实施例中,用于使计算机产生指示人物和人物的面部图像之间的映射的数据库的计算机程序包括步骤:基于视频内容的元数据产生在视频内容中出现的人物的列表;从视频内容中检测人物的面部图像;产生指示所检测到的人物的面部图像的特征的特征量模型;和将基于视频内容产生的特征量模型映射到在人物列表中包含的人物。
在根据本发明的一个实施例中,基于视频内容的元数据产生在视频内容中出现的人物的列表;从视频内容中检测人物的面部图像;产生指示所检测到的人物的面部图像的特征的特征量模型;和将从视频内容中产生的特征量模型映射到在人物列表中包含的人物。
在根据本发明的实施例中,基于视频内容,自动构造指示人物和人物的面部图像之间的映射的数据库。
附图说明
图1是图解根据本发明一个实施例的信息提供系统的方框图;
图2是图解根据本发明一个实施例的人物和特征量模型数据库(DB)产生器的方框图;
图3图解图2的内容DB;
图4图解图2的人物相关信息型DB;
图5图解图2的人物列表;
图6图解图2的人物和特征量模型DB;
图7是图解图2的映射部件的方框图;
图8是图解准备处理的流程图;
图9是图解人物和特征量模型DB产生处理的流程图;和
图10是图解计算机的方框图。
具体实施方式
在描述本发明的实施例之前,在下面论述了本发明的特征与在本发明的说明书或附图中公开的实施例之间的对应关系。该声明意欲确保在该说明书或附图中描述了支持所要求保护的发明的实施例。因此,即使在说明书或附图中描述了实施例,但是在这里没有描述为与本发明的特征有关,这也不必然表示该实施例与本发明的特征无关。相反地,即使这里将实施例描述为与本发明的特定特征有关,这也不必然表示该实施例与本发明的其它特征无关。
在根据本发明的一个实施例中,用于产生指示人物和人物的面部图像之间的映射的数据库的信息处理设备(例如图2的人物和特征内容模型DB产生器20)包括:列表产生单元(例如,图2的人物列表产生器28),用于基于视频内容的元数据产生在视频内容中出现的人物的列表;检测单元(例如,图2的面部图像检测器24),用于从视频内容中检测人物的面部图像;模型产生单元(例如,图2的特征量模型提取器25),用于产生指示所检测到的人物的面部图像的特征的特征量模型;和映射单元(例如,图2的映射部件29),用于将基于视频内容产生的特征量模型映射到在人物列表中包含的人物。
信息处理设备还可以包括分类单元(例如图2的特征量分类器26),用于根据相似性将从视频内容中产生的多个特征量模型分类到特征量模型组,并且产生代表分类到每个特征量模型组中的多个特征量模型的代表性模型。
映射单元可以包括确定单元(例如,图7的目标人物确定器41),用于确定目标人物;获取单元(例如,图7的目标人物搜索器42和代表性模型组获取器43),用于根据人物列表搜索目标人物出现的视频内容,并且获取基于所搜索到的视频内容产生的特征量模型;确定单元(例如,图7的相关性确定器44),用于从获取的特征量模型中确定相互具有高相关性的多个特征量模型;和映射产生单元(例如,图7中的中心模型产生器45),用于产生用作被确定为相互具有高相关性的多个特征量模型的中心的中心模型,并且将中心模型映射到目标人物。
在根据本发明的一个实施例中,用于产生指示人物和人物的面部图像之间的映射的数据库的信息处理设备的信息处理方法和计算机程序之一,包括步骤:基于视频内容的元数据产生在视频内容中出现的人物的列表(例如,图8的步骤S5);从视频内容中检测人物的面部图像(例如,图8的步骤S2);产生指示所检测到的人物的面部图像的特征的特征量模型(例如,图8的步骤S3);和将基于视频内容产生的特征量模型映射到在人物列表中包含的人物(例如,图8的步骤S16)。
在下面将参照附图描述本发明的实施例。
在下面参照图1描述本发明的一个实施例的信息提供系统10。该信息提供系统10包括人物和特征量模型数据库(DB)产生器。在信息提供系统10中使用人物和特征内容模型DB。
信息提供系统10包括信息提供设备11、人物相关信息DB 23和人物和特征量模型DB 30。信息提供设备11接收面部照片和面部合成图画(facialcomposite drawing),并且向用户提供关于与输入的面部照片对应的人物(人)的信息。人物相关信息DB 23存储在视频内容中出现的人物(诸如娱乐界人士、知识分子、运动员、政客)的人物信息以及映射到人物的人物相关信息。人物和特征量模型DB 30存储人物信息和指示映射到人物信息的每个人物的特征的特征量模型。
信息提供设备11产生指示从操作者输入的面部照片和面部合成图画的特征的特征量模型,通过参照人物和特征量模型DB 30来搜索具有与所产生的特征量模型最高相关性的特征量模型,并且识别匹配该搜索结果的人物。信息提供设备11从人物相关信息DB 23获取所识别的人物的人物相关信息,并且将所获取的信息提供给操作者。
事先准备人物相关信息DB 23(在后面详细描述)。由图2的人物和特征量模型DB产生器20构造人物和特征量模型DB 30。
将参照图2描述根据本发明的一个实施例的人物和特征量模型DB产生器20。人物和特征量模型DB产生器20构造人物和特征量模型DB 30。
人物和特征量模型DB产生器20包括内容DB 21、元数据DB 22、人物相关信息DB 23、面部图像检测器24、特征量模型提取器25、特征量模型分类器26、特征量模型DB 27、人物列表产生器28和映射部件29。内容DB 21存储视频内容。元数据DB 22存储与在内容DB 21上存储的视频内容对应的元数据。人物相关信息DB 23存储人物相关信息。面部图像检测器24从视频内容中检测面部图像。特征量模型提取器25产生指示所检测到的面部图像的特征的特征量模型。特征量模型分类器26根据相似性将大量产生的特征量模型分类。特征量模型DB 27存储特征量模型。人物列表产生器28基于视频内容的元数据产生在视频内容中出现的人物的人物列表31。映射部件29将特征量模型映射到在人物列表31中包含的人物。
视频内容包含诸如电视节目之类的运动图像和诸如新闻照片或影印图片之类的静态图像。如图3所示,内容DB 21存储内容ID((标识),即,标识视频内容的唯一标识信息)以及指示具有映射到位置信息的内容ID的视频内容(运动图像数据、静态图像数据等)的实际数据的存储位置的位置信息。内容DB21根据所存储的位置信息获取视频内容的实际数据,并且将实际数据输出到面部图像检测器24和映射部件29的每一个。内容DB 21可以存储视频内容的实际数据。
元数据DB 22存储在内容DB21上存储的视频内容的元数据以及映射到元数据的内容ID。如果视频内容是电视节目,则元数据包括诸如节目名称、广播日期和时间、频道、报幕(casting)、节目内容之类的EPG(电子节目指南)。在不是电视节目的情况下,元数据是包括在视频内容中出现的人物的名称的一般属性信息。元数据DB 22存储人物列表31和映射到人物列表31的内容ID。由人物列表产生器28产生人物列表31。
人物相关信息DB 23存储与在视频内容中出现的人物(诸如娱乐界人士、知识分子、运动员、政客)有关的人物信息以及映射到人物的人物相关信息。
图4图解存储在人物相关信息DB 23上的人物相关信息中的条目。人物相关信息包括人物名称、名称的发音指南、名称的字母表示、家乡、生日、登场时间、相关人物ID、人物的官方主页的URL(统一资源定位符)以及其它信息,每一条目映射到人物ID。
可以将人物ID分配给由多个人物组成的组。如果组的每个成员在视频内容中分别出现,则该成员分配有其自身的人物ID。映射到组的成员的人物相关信息的相关人物ID包括组的人物ID和该组的另一成员的人物ID。每一组记录有相互映射到其的组成员。即使在人物列表中描述组名称,也映射每一独立组成员的面部。
人物相关信息DB 23还可以包含视频内容的内容ID和人物在视频内容中出现的时间的时间信息。
参照图2,从内容DB 21获取视频内容,并且检测在所获取的视频内容的视频中的人物面部。面部图像检测器24不仅以正面(full face),而且以各种不同角度观看人物面部的时候(例如从前向向右转10度,或从前向向左转45度)检测人物图像。还可以从各种方向拍摄作为主体的人物。面部图像检测器24将检测结果输出到特征量模型提取器25。如果视频内容是运动图像,则即使单个人物在视频内容中表演,也能检测多个面部图像。如果在连续的场景中以不同角度检测面部图像,则在许多情况下该面部图像可能来自同一人。然后作为后续元件的特征量模型分类器26存储指示连续检测的信息,使得所检测到的多个面部图像被识别为来自同一人。
特征量模型提取器25产生指示所检测到的人物面部图像的特征的特征量模型。该特征量模型提取器25还检测所检测到的面部的视面角,并且将特征量模型和面部角度输出到特征量模型分类器26和特征量模型DB 27中的每一个。逐面部角度地产生特征量模型是完全可以接受的。替代地,可以针对所检测到的正面产生特征量模型,并且可以基于所产生的正面特征量模型产生针对另一面部角度的特征量模型。
例如,在日本待审查专利申请公开No.2002-189724中公开的技术可以应用于面部图像检测器24和特征量模型提取器25。
特征量模型分类器26计算具有从单个视频内容产生的同一面部角度的多个特征量模型的相似性,并且将特征量模型分类成特征量模型组,使得每个特征量模型组由类似的特征量模型组成。将分在同一特征量模型组中的多个特征量模型认为与同一人对应。特征量模型分类器26产生每个特征量模型组的平均模型(下面称为代表性模型),并且将代表性模型输出到特征量模型DB 27。如果人物面部不像,则产生大于人物数的代表性模型数。如果产生不同面部角度的特征量模型,则由此针对同一人物产生不同角度的代表性模型。
从单一视频内容产生的多个代表性模型称为代表性模型组32。更具体地,代表性模型组32包含在单个视频内容中表演的每个人物的代表性模型。代替产生代表性模型,可以将作为特征模型的分类结果的特征量模型组输出到特征量模型DB 27中。然而,代表性模型的产生允许在后面的元件中的计算量减少。
特征量模型DB 27存储由特征量模型提取器25产生的特征量模型以及由特征量模型分类器26产生的代表性模型。特征量模型DB 27还可以存储由特征量模型分类器26分类的特征量模型组。
基于视频内容的元数据,人物列表产生器28产生在视频内容中表演的人物的人物列表31,并且将所产生的人物列表31输出到元数据DB 22。如图5所示,人物列表31包含在每一个均映射到内容ID的元数据(从人物相关信息DB 23中获取)、报幕(男演员、女演员、制片人、作者)和显示顺序(在元数据中(特别在EPG中))中描述的人物的人物ID的列表。在后面组成部分中的映射部件29使用元数据中的显示顺序作为与每个人物的表演的时间长度和人物重要程度有关的信息。
映射部件29确定操作者希望映射特征量模型的人物(下面称为目标人物)。映射部件29识别目标人物表演的多个视频内容,将人物列表31与每一个对应于所识别的视频内容的代表性模型组32进行比较以进行映射,产生与目标人物对应的特征量模型(中心模型),并且将中心模型输出到人物和特征量模型DB 30以进行存储。当识别多个视频内容时,可以将相同系列的视频内容处理为单一的视频内容。可以基于仅与单一视频内容对应的代表性模型组32将人物和代表性模型组32相互映射。
响应于来自映射部件29的输出,人物和特征量模型DB 30存储人物ID和映射到人物ID的特征量模型。图6图解人物和特征量模型DB 30的数据结构。每个人物ID包含在视频内容中观看面部图像的视面角(例如,正面或向右转45度)、拍摄日期(年和日期)、指示特殊化妆和伪装(正常、化妆1、化妆2等)的类型、作为特征量模型的标识信息的特征量模型ID、指示人物和特征量模型之间的映射的精确度的概率和指示手动校正的历史和每一条目的更新的手动更新历史,在它们之间相互映射。如果具有不同拍摄日期的特征量模型中的变化小,则可以合并这些数据。以这种方式,控制人物和特征量模型DB 30的数据尺寸的过度增加。
人物和特征量模型DB 30存储映射到单一人物的多个特征量模型。更具体地,可以记录具有同一人物ID但在其它条目具有不同值的人物。以这种方式,如果视频内容中的人物因年龄、化妆或伪装而面部发生变化,则将每个状态中的特征量模型映射到同一人物ID,并且识别为针对同一人物的特征量模型。
随着人物在更多视频内容中出现,更频繁地检测面部图像,并且概率变得更高。例如,如果人物A和B二者在每个视频内容中总是一起表演,则特征量模型a和b被分别映射到人物A和B。将人物A映射到特征量模型a、将人物A映射到特征量模型b、将人物B映射到特征量模型a和将人物B映射到特征量模型b的每一个映射概率是50%。
图7图解映射部件29的结构。
映射部件29包括目标人物确定器41、目标人物搜索器42、代表性模型组获取器43、相关性确定器44、中心模型产生器45和记录器46。目标人物确定器41确定目标人物。基于元数据DB 22上的人物列表31,目标人物搜索器42识别目标人物表演的多个视频内容。代表性模型组获取器43从特征量模型DB 27获取与所识别的多个视频内容对应的代表性模型组32。相关性确定器44基于在多个代表性模型组32中包含的代表性模型的相关性来选择与目标人物对应的多个代表性模型。中心模型产生器45从所选择的多个代表性模型中产生中心模型。记录器46使人物和特征量模型DB 30存储所产生的、目标人物被映射到其的中心模型。
当准备处理(在后面描述)结束,同时将新视频内容添加到内容DB 21时,目标人物确定器41通过在视频内容中顺序地选择人物来确定目标人物。除了其中不同于目标人物的人物也始终一起表演的视频内容之外,目标人物搜索器42还识别显示目标人物的多个视频。
相关性确定器44计算多个所获取的代表性模型组32中的代表性模型的相关性,并且在代表性模型组中选择具有最高相关性的代表性模型的组合。替代选择具有最高相关性的代表性模型组,也可以选择具有高于阈值的相关性的代表性模型。如果计算代表性模型组的所有代表性模型的相关性,则计算量变得非常大。在这种情况下,可以计算在人物列表31中的高显示顺序范围内的数个人物的相关性。利用这种安排迅速选择要被选择的代表性模型,并且减少相关性的计算量。
中心模型产生器45产生具有与多个所选择的代表性模型的每一个大致相等的相关性的特征量模型作为中心模型。
下面参照图8的流程图描述用于产生人物和特征量模型DB 30的准备处理。
在准备处理中,针对每个视频内容产生人物列表31和代表性模型组32。例如,当将新视频内容添加到内容DB 21时,对所添加的视频内容执行准备处理。
在步骤S1中,面部图像检测器24从内容DB 21获取要被处理的视频内容,检测在所获取的视频内容的视频中的人物面部,并且将人物面部输出到特征量模型提取器25。在步骤S2中,特征量模型提取器25产生指示所检测到的人物面部的特征的特征量模型。特征量模型提取器25检测所检测到的面部的面部角度,并且将特征量模型以及面部角度输出到特征量模型分类器26和特征量模型DB 27中的每一个。
从整个视频内容完成面部检测,并且产生每个所检测到的面部的特征量模型,并将其存储在特征量模型DB 27中。处理前进到步骤S3。
在步骤S3,特征量模型分类器26计算从要被处理的视频内容产生的在同一面部角度上的多个特征量的相似性。特征量模型分类器26将所产生的类似的特征量模型分类到同一特征量模型组中。在步骤S4,特征量模型分类器26产生标识每个特征量模型组的代表性模型,并且将由所产生的多个代表性模型组成的代表性模型组32输出到特征量模型DB 27。特征量模型DB 27将映射到其中的内容ID与输入的代表性模型组32存储在一起。
在步骤S5,人物列表产生器28从元数据DB 22获取要被处理的视频内容的元数据。基于所获取的元数据,人物列表产生器28产生与要被处理的视频内容相关的人物的人物列表31,并且将所产生的人物列表31输出到元数据DB 22。元数据DB 22将映射到其中的内容ID与输入的人物列表31存储在一起。
可以以相反顺序或同时执行在产生代表性模型组32的步骤S1到S4中的处理以及在产生人物列表31的步骤S5中的处理。
已经描述了要被处理的视频内容的准备处理。
下面参照图9的流程图描述产生人物和特征量模型DB 30的人物和特征量模型产生处理。
在已经积累了每一个都具有人物列表31和代表性模型组32的特定数量的视频内容之后执行人物和特征量模型产生处理。更具体地,积累至少两个视频内容,在整个视频内容中,期望被映射到特征量模型的人物(目标人物)不与连续地伴随目标人物的其它人物一起表演。
在步骤S11中,目标人物确定器41从元数据DB 22获取包含添加到内容DB 21的新视频内容CA的人物列表31,并且顺序地选择在人物列表31中列出的人物。由此,目标人物确定器41确定目标人物α。
在步骤S12中,目标人物搜索器42参照元数据DB 22上的人物列表31来识别目标人物α始终不与出现的其它人物一起表演的视频内容。从元数据DB 22中获取与所识别的视频内容对应的人物列表31。
除了视频内容CA,现在可以识别视频内容CB和CC。与视频内容CA、CB和CC中的每一个对应的代表性模型组32包含指示目标人物α的面部的特征的代表性模型。基于这些模型具有高相关性的假设执行下面的处理。
在步骤S13中,代表性模型组获取器43从特征量模型DB 27获取与视频内容CA、CB和CC中的每一个对应的代表性模型组32,并且将代表性模型组32输出到相关性确定器44。
在步骤S14,相关性确定器44计算在多个所获取的代表性模型组32中的代表性模型的相关性,在代表性模型中选择具有最高相关性的代表性模型的组合,并且将所选择的代表性的组合输出到中心模型产生器45。假设Aα代表从视频内容CA中的代表性模型组中选择的代表性模型,假设Bα代表从视频内容CB中的代表性模型组中选择的代表性模型,而假设Cα代表从视频内容CC中的代表性模型组中选择的代表性模型。
在步骤S15中,中心模型产生器45产生具有与所选择的代表性模型Aα、Bα和Cα中的每一个大致相等相关性的中心模型Mα,然后将该中心模型Mα输出到记录器46。在步骤S16中,记录器46将特征量模型ID附加到输入的中心模型Mα,然后将中心模型Mα记录在人物和特征量模型DB 30上。记录器46使人物和特征量模型DB 30将目标人物α的人物ID与映射到其中的中心模型的特征量模型ID记录在一起。除了中心模型Mα的特征量模型ID之外,还记录了包含面部角度、拍摄日期、类型和概率的信息。
由此完成人物和特征量模型产生处理。通过重复该人物和特征量模型产生处理,关于人物和特征量模型DB 30同一人物的特征量模型的精确度提高,并且增加了特征量模型数。
可以校正、更新和修改因此构造的人物和特征量模型DB 30。例如,可以在因特网上公开人物和特征量模型DB 30以希望由观看者指出错误。如果由数量高于预定阈值的观看者指出相同的错误,则可以校正特征量模型DB30。
图1的包括所产生的人物和特征量模型DB 30的信息提供系统10从操作者接收面部图像和面部合成图画,并且输出对应人物的人物相关信息。信息提供系统10还可以显示这样的网页,用户可以从该网页购买与该人物有关的产品(诸如紧凑盘(CD)、紧凑多功能盘(DVD)或书籍)或由人物出版的产品。信息提供系统10可以找出其它应用程序。例如,通过输入任何人的面部图像,可以搜索具有相似面部的女演员,并且可以学习该女演员的化妆技术。通过输入视频内容和人物,可以输出在视频内容中表演的场景。通过输入一个视频场景,可以输出该视频场景的对应视频内容的内容ID和时间信息(时间标签)。
可以使用图2的硬件和软件之一执行上述一系列处理步骤。如果使用软件执行处理步骤,从程序记录介质将形成软件的程序安装到计算机内置专用硬件或通用目的计算机,其利用安装在其上的各种程序执行各种功能。
图10是图解执行上述处理步骤的计算机的硬件结构的方框图。
在计算机中,中央处理单元(CPU)101、只读存储器(ROM)102和随机存取存储器(RAM)103经由总线104互连。
总线104还连接到输入-输出接口105。输入-输出接口105连接到包括键盘、鼠标和麦克风的输入单元106、包括显示器和扬声器的输出单元107、包括硬盘和非易失性存储器的存储器108、包括网络接口的通信单元109和驱动诸如磁盘、光盘、磁光盘和半导体存储器之一的记录介质111的驱动器110。
当CPU 101经由输入-输出接口105和总线104将存储在存储器108上的程序加载到RAM 103并执行所加载的程序时,由此构造的计算机执行上述处理步骤。
可以以上述处理步骤的顺序执行程序。替代地,可以并行或在调用发生的定时执行程序的处理步骤。
可以由单个计算机或多个计算机执行程序。可以将程序传送到远程计算机来执行。
在说明书中的术语“系统”可以指包括多个设备的系统。
本领域技术人员应该理解,根据设计需要和其它因素可以有各种修改、组合、子组合和改变,其落入所附权利要求或其等效物的范围内。

Claims (5)

1.一种用于产生指示人物和人物的面部图像之间的映射的数据库的信息处理设备,包括:
列表产生装置,用于基于内容数据的元数据产生在内容数据中出现的人物的列表;
检测装置,用于从内容数据中检测人物的面部图像;
模型产生装置,用于产生指示所检测到的人物的面部图像的特征的特征量模型;和
映射装置,用于将基于内容数据产生的特征量模型映射到在人物列表中包含的人物,
其中映射装置包括:
确定装置,用于确定目标人物;
获取装置,用于根据人物列表搜索目标人物出现的内容数据,并且获取从所搜索到的内容数据产生的特征量模型;
判定装置,用于从获取的特征量模型中确定相互具有高相关性的多个特征量模型;和
映射产生装置,用于产生用作被确定为相互具有高相关性的多个特征量模型的中心的中心模型,并且将该中心模型映射到目标人物。
2.如权利要求1所述的信息处理设备,还包括分类装置,用于根据相似性将从内容数据产生的多个特征量模型分类成特征量模型组,并且产生代表分类到在每个特征量模型组中的多个特征量模型的代表性模型,
其中映射装置将代表性模型映射到在人物列表中包含的人物。
3.如权利要求1所述的信息处理设备,其中列表产生装置基于内容数据的元数据产生包括由多个人物组成的组的人物列表。
4.如权利要求1所述的信息处理设备,其中检测装置从内容数据检测人物的面部图像,而不管其视面角如何,以及
其中映射装置将从以不同视面角检测的面部图像产生的多个特征量模型映射到同一个人物。
5.一种用于产生指示人物和人物的面部图像之间的映射的数据库的信息处理设备的信息处理方法,包括步骤:
基于内容数据的元数据产生在内容数据中出现的人物的列表;
从内容数据中检测人物的面部图像;
产生指示所检测到的人物的面部图像的特征的特征量模型;和
将基于内容数据产生的特征量模型映射到在人物列表中包含的人物,
其中映射步骤包括:
确定目标人物;
根据人物列表搜索目标人物出现的内容数据,并且获取从所搜索到的内容数据产生的特征量模型;
从获取的特征量模型中确定相互具有高相关性的多个特征量模型;和
产生用作被确定为相互具有高相关性的多个特征量模型的中心的中心模型,并且将该中心模型映射到目标人物。
CN2008100911220A 2007-04-04 2008-04-07 用于处理信息的设备、方法和计算机程序 Expired - Fee Related CN101281540B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP098567/07 2007-04-04
JP2007098567A JP4337064B2 (ja) 2007-04-04 2007-04-04 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN101281540A CN101281540A (zh) 2008-10-08
CN101281540B true CN101281540B (zh) 2011-05-18

Family

ID=39826936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100911220A Expired - Fee Related CN101281540B (zh) 2007-04-04 2008-04-07 用于处理信息的设备、方法和计算机程序

Country Status (3)

Country Link
US (1) US8107689B2 (zh)
JP (1) JP4337064B2 (zh)
CN (1) CN101281540B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4337064B2 (ja) * 2007-04-04 2009-09-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP5224360B2 (ja) * 2008-11-10 2013-07-03 日本電気株式会社 電子広告装置、電子広告方法及びプログラム
JP2010152744A (ja) * 2008-12-25 2010-07-08 Toshiba Corp 再生装置
JP5075924B2 (ja) * 2010-01-13 2012-11-21 株式会社日立製作所 識別器学習画像生成プログラム、方法、及びシステム
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US8320644B2 (en) * 2010-06-15 2012-11-27 Apple Inc. Object detection metadata
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US9560406B2 (en) 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US8994716B2 (en) * 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
US8947511B2 (en) 2010-10-01 2015-02-03 At&T Intellectual Property I, L.P. Apparatus and method for presenting three-dimensional media content
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
US9304992B2 (en) * 2012-07-11 2016-04-05 Cellco Partnership Story element indexing and uses thereof
CN103258012A (zh) * 2013-04-16 2013-08-21 广东欧珀移动通信有限公司 一种获取图片信息的方法及装置
CN103984931B (zh) * 2014-05-27 2017-11-07 联想(北京)有限公司 一种信息处理方法及第一电子设备
WO2016001929A1 (en) * 2014-07-03 2016-01-07 Adience Ser Ltd. System and method of predicting whether a person in an image is an operator of an imager capturing the image
CN105426829B (zh) * 2015-11-10 2018-11-16 深圳Tcl新技术有限公司 基于人脸图像的视频分类方法和装置
JP6159491B1 (ja) * 2016-07-19 2017-07-05 株式会社オプティム 人物画特定システム、人物画特定方法及びプログラム
JP6161224B1 (ja) * 2016-12-28 2017-07-12 アンバス株式会社 人物情報表示装置、人物情報表示方法及び人物情報表示プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1341401A (zh) * 2001-10-19 2002-03-27 清华大学 基于部件主分量分析的多模式人脸识别方法
CN1595427A (zh) * 2004-07-05 2005-03-16 南京大学 基于选择性多本征空间集成的数字人脸图像识别方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661906B1 (en) * 1996-12-19 2003-12-09 Omron Corporation Image creating apparatus
JPH10326278A (ja) * 1997-03-27 1998-12-08 Minolta Co Ltd 情報処理装置及び方法並びに情報処理プログラムを記録した記録媒体
JP2001167110A (ja) * 1999-12-08 2001-06-22 Matsushita Electric Ind Co Ltd 画像検索方法及びその装置
JP3575679B2 (ja) * 2000-03-31 2004-10-13 日本電気株式会社 顔照合方法と該照合方法を格納した記録媒体と顔照合装置
US6671391B1 (en) * 2000-05-26 2003-12-30 Microsoft Corp. Pose-adaptive face detection system and process
JP2002189724A (ja) 2000-12-20 2002-07-05 Victor Co Of Japan Ltd 画像データ検索装置
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
JP2006522411A (ja) * 2003-03-06 2006-09-28 アニメトリックス,インク. 複数の特徴を含むオブジェクトの画像データベースの生成
JP4586446B2 (ja) * 2004-07-21 2010-11-24 ソニー株式会社 コンテンツ記録再生装置、コンテンツ記録再生方法及びそのプログラム
WO2006025272A1 (ja) * 2004-09-01 2006-03-09 Nec Corporation 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム
JP2006080803A (ja) * 2004-09-08 2006-03-23 Toshiba Corp 番組記録装置および出演者リスト作成方法
US7580952B2 (en) * 2005-02-28 2009-08-25 Microsoft Corporation Automatic digital image grouping using criteria based on image metadata and spatial information
JP4591215B2 (ja) * 2005-06-07 2010-12-01 株式会社日立製作所 顔画像データベース作成方法及び装置
JP4595750B2 (ja) * 2005-08-29 2010-12-08 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20070080967A1 (en) * 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
JP4696857B2 (ja) * 2005-11-02 2011-06-08 オムロン株式会社 顔照合装置
JP4334545B2 (ja) * 2006-01-31 2009-09-30 シャープ株式会社 記憶装置およびコンピュータ読取り可能な記録媒体
JP4337064B2 (ja) * 2007-04-04 2009-09-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1341401A (zh) * 2001-10-19 2002-03-27 清华大学 基于部件主分量分析的多模式人脸识别方法
CN1595427A (zh) * 2004-07-05 2005-03-16 南京大学 基于选择性多本征空间集成的数字人脸图像识别方法

Also Published As

Publication number Publication date
JP4337064B2 (ja) 2009-09-30
JP2008257460A (ja) 2008-10-23
US8107689B2 (en) 2012-01-31
US20080247610A1 (en) 2008-10-09
CN101281540A (zh) 2008-10-08

Similar Documents

Publication Publication Date Title
CN101281540B (zh) 用于处理信息的设备、方法和计算机程序
US11693902B2 (en) Relevance-based image selection
CN108304512B (zh) 一种视频搜索引擎粗排序方法、装置及电子设备
Choi et al. Spatio-temporal pyramid matching for sports videos
CN106326391B (zh) 多媒体资源推荐方法及装置
CN110798752A (zh) 用于生成视频摘要的方法和系统
CN107633023B (zh) 一种图像去重方法和装置
CN112163122A (zh) 确定目标视频的标签的方法、装置、计算设备及存储介质
CN109508406B (zh) 一种信息处理方法、装置及计算机可读存储介质
CN112464100B (zh) 信息推荐模型训练方法、信息推荐方法、装置及设备
CN107247919A (zh) 一种视频情感内容的获取方法及系统
CN107885852A (zh) 一种基于app使用记录的app推荐方法及系统
Abdul-Rashid et al. Shrec’18 track: 2d image-based 3d scene retrieval
Münzer et al. lifexplore at the lifelog search challenge 2018
Ivanov et al. Object-based tag propagation for semi-automatic annotation of images
CN109063080B (zh) 一种视频推荐方法及装置
US20230230378A1 (en) Method and system for selecting highlight segments
Tommasi et al. Beyond metadata: searching your archive based on its audio-visual content
JP2012194691A (ja) 識別器の再学習方法、再学習のためのプログラム、及び画像認識装置
CN110188277B (zh) 一种资源的推荐方法及装置
WO2020071216A1 (ja) 画像検索装置、画像検索方法及び画像検索用プログラム
Yang et al. Lecture video browsing using multimodal information resources
Rossetto et al. Multimodal video retrieval with the 2017 IMOTION system
CN108153863B (zh) 一种视频信息的表示方法及装置
CN111797765A (zh) 图像处理方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110518

Termination date: 20150407

EXPY Termination of patent right or utility model