CN103686235A - 将音频和/或图像与脸部特征和表情相关的系统和方法 - Google Patents

将音频和/或图像与脸部特征和表情相关的系统和方法 Download PDF

Info

Publication number
CN103686235A
CN103686235A CN201310393418.9A CN201310393418A CN103686235A CN 103686235 A CN103686235 A CN 103686235A CN 201310393418 A CN201310393418 A CN 201310393418A CN 103686235 A CN103686235 A CN 103686235A
Authority
CN
China
Prior art keywords
content
beholder
suggestion
expression
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310393418.9A
Other languages
English (en)
Other versions
CN103686235B (zh
Inventor
S·萨姆帕特库马朗
洪承郁
H·纽曼恩
E·加姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103686235A publication Critical patent/CN103686235A/zh
Application granted granted Critical
Publication of CN103686235B publication Critical patent/CN103686235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data

Abstract

本发明涉及一种将音频和/或图像与脸部特征和表情相关的系统和方法。一种计算机包括至少一个处理器和可由处理器访问的至少一个计算机可读存储介质。该介质承载可由处理器执行以使得处理器接收其上呈现内容的显示器的至少一个观看者的至少一个图像的指令。该指令还使得处理器基于观看者的图像产生代表观看者在呈现内容的时间处或该时间前后做出的至少一个表情的信号，并且还接收标识内容的元数据。该指令然后使得处理器将标识内容的元数据与观看者的至少一个表情关联。

Description

将音频和/或图像与脸部特征和表情相关的系统和方法
技术领域
本发明一般涉及将呈现给用户的内容与用户观看内容时的面部表情相关。
背景技术
诸如电视网络、广告商、视频网站（例如，YouTube）之类的内容提供商，通常希望了解观看者对他们提供的内容的反应和/或感觉。举例来说，尼尔森公司（Nielsen）的收视率调查和“收视率周评级”用于为网络电视站提供估计他们提供的节目的受欢迎程度的度量。此类度量为内容提供商提供提高他们的节目和使观看者更满意的方法。
发明内容
本原理认识到，可为内容提供商提供更有效的手段以确定他们提供的内容是否使观看者满意和/或确定观看者对他们的内容的反应的种类。本原理还认识到，照相机与诸如计算机和电视机（TV）的整合已经为内容提供商提供了利用此整合实现诸如此类目的的机会，此类目的包括有针对性的广告投放、提高观看者对节目的满意度等等。
据此，一方面，一种计算机包括至少一个处理器和至少一个该处理器可访问的计算机可读存储介质。该介质承载可该处理器执行的指令以使该处理器接收其上呈现内容的显示器的至少一个观看者的至少一个图像。这些指令还使该处理器基于观看者的图像产生代表观看者在内容被呈现的时间点或该时间前后做出的至少一个表情的信号，以及接收标识该内容的元数据。然后，指令使处理器将标识内容的元数据与观看者的至少一个表情关联。
如果需要，在接收观看者的至少一个图像之前，指令可使处理器提供内容给观看者。此外如果需要，在将标识内容的元数据与观看者的一种表情关联以后，指令可使处理器访问至少一个数据库，并在该数据库中填入多个观看者中的每个观看者关于呈现给观看者的内容的至少一个意见。每个意见可例如使用将意见与表情关联的表，从每个观看者的至少一个表情导出。
此外在示范性实施例中，可以填入数据库以使得关于内容的有利意见被聚集在一起并且关于内容的不利意见被聚集在一起。甚至更进一步，该处理器可以填入数据库以便还包括关于内容的有利意见的计数和关于内容的不利意见的计数。此外，可以填入数据库以使得它是可基于诸如观看者人口统计和/或意见类型搜索的。
在另一方面，一种方法包括接收其上呈现内容的显示器的至少一个观看者的至少一个图像，并基于观看者的图像产生代表观看者在内容被呈现的时间点或该时间前后做出的至少一个表情的信号。除了接收至少一个图像或作为接收至少一个图像的替代，该方法包括接收代表从观看者的至少一个图像导出的观看者在内容被呈现的时间点或该时间前后的做出的至少一个表情的信号。在这两种情况中，该方法然后包括检测标识内容的元数据并将标识内容的元数据与观看者的至少一个表情关联。
在又一方面，一个设备包括至少一个处理器和至少一个该处理器可访问的计算机可读存储介质。该介质承载可由该处理器执行的指令以使该处理器将标识内容的元数据与至少一个观看者在内容被观看的时间点或该时间前后做出的至少一个表情关联。
附图说明
本发明的细节，关于它的结构和操作二者，可以参考附图得到最好的理解，其中相似的参考数字指代相似的部分，并且其中：
图1是根据本原理的非限制示例系统的框图；
图2是根据本原理的将内容与内容的观看者的至少一个表情关联的示例逻辑的流程图；
图3是根据本原理的确定和组织观看相同内容的观看者的意见和/或情绪的示例逻辑的流程图；
图4是根据本原理的标识呈现给观看者的内容的示范性索引；
图5是根据本原理的将意见与表情关联的示范性索引；
图6和7是根据本原理的可呈现给内容的观看者的示范性用户界面（UI）；
图8和9是根据本原理的可呈现给内容提供商的示范性用户界面（UI）；和
图10和11是根据本原理的观看内容的特定片段的观看者的意见/情绪的示范性报告。
具体实施方式
首先参考图1示出的示范性实施例，示出了通常指定为10的系统。系统10包括消费电子设备12和服务器14。举例来说，消费电子（CE）设备可是桌上型计算机、膝上型计算机、平板计算机、智能电话机、或诸如高清晰度电视、智能电视、和/或可使用因特网的电视之类的电视机。因而，在一些实施例中，CE设备12可以但不限于是索尼公司制造的索尼Bravia高清晰度电视
在示出的示范性实施例中，CE设备12包括用于呈现诸如用户界面、视频、和/或图像之类的显示器16，并可以是高清晰度和/或触摸屏显示器。该CE设备还包括处理器18、诸如以磁盘为基础的存储装置或固态存储装置之类的有形的计算机可读存储介质20、TV调谐器22、和用来通过例如HDMI连接与诸如机顶盒、数字化视频光盘（DVD）播放器、或视频游戏控制台之类的其他设备通信的音频/视频接口24。CE设备12还包括用于通过诸如因特网的网络进行通信的网络接口26，其可以是例如有线或无线调制解调器或路由器、或诸如无线电话收发器之类的其他适当的接口。因而，网络接口26提供到服务器14的连接，应理解服务器14也具有网络接口（稍后描述）以方便连接。
除前述事项之外，CE设备12包括一个或多个用于输出音频信号的扬声器28。因而，CE设备12可从包括诸如因特网、有线电视提供商、和卫星电视提供商之类的多个源接收音频-视频节目和/或其他内容，并在处理器18的控制之下通过显示器16和扬声器28将之呈现。此外，应理解观看者对处理器18的命令可接收自一个或多个诸如鼠标、键盘、键区、远程控制器、触摸板、触摸屏等之类的输入设备30。最后，需注意CE设备12还包括照相机32，其可以为如热成像照相机、如网络摄像头的数字照相机、和/或集成在电视中的照相机。无论如何，应理解，根据本原理，照相机32可由处理器18控制以获取在CE设备12上呈现的内容的观看者的图片/图像和视频。
如上所述，图1中还示出了服务器14。服务器14包括处理器34和诸如以磁盘为基础的存储装置或固态存储装置之类的有形的计算机可读存储介质36。如上面所指出的，服务器14还包括通过诸如因特网的网络进行通信的网络接口38，其可以是例如有线或无线调制解调器或路由器、或诸如无线电话收发器之类的其他适当的接口。因而，网络接口38允许通过如网络接口26在诸如因特网的网络上与CE设备12进行通信，在图1中通常指定因特网为40。
在描述图2中示出的逻辑之前，需注意，应理解例如处理器34能够执行下面所讨论的承担本原理的逻辑的全部或部分，尽管在一些实施例中，处理器18可执行下面所讨论的逻辑的一些或全部。此外，实现本逻辑的可由诸如处理器18和处理器34执行的软件代码可存储在一个或多个示出的介质上（计算机可读存储介质20和36）以承担本原理。
现参考图2，示出了根据本原理的由服务器或其他合适的计算机中的处理器（例如，上面描述的处理器34）执行的用于将内容与该内容的观看者的至少一个表情关联的示例逻辑的流程图。需注意，该内容可以是音频内容、图像、视频内容、和/或音频-视频内容，如商业节目或网络电视节目。无论如何，逻辑开始于方框50。在方框50，服务器通过如因特网或卫星电视网络之类的网络为如CE设备12之类的CE设备提供内容。当提供内容时，服务器还可以向CE设备提供诸如使用CE设备上的照相机在内容被呈现的时候获取图片的指令和/或命令，尽管应理解CE设备的观看者可以可选地指令CE设备的处理器使用CE设备上的照相机获取图片并发送图片到服务器/内容提供商。
无论如何，重点是在方框50服务器为CE设备提供内容之后，在方框52，服务器接收返回的正在使用CE设备的内容观看者的图像/图片/视频。在方框52接收到图像之后，逻辑移动到方框54，其中基于图像/图片/视频产生代表观看者做出的至少一个表情的信号，应理解，在图像中捕获的表情是在内容被呈现在CE设备上的时间或该时间前后做出的。然而，需注意，在其他的示范性实施例中，信号可以在CE设备处产生而不是在服务器处产生，并因此服务器可以仅仅接收该信号而不是图像本身。虽然如此，应理解该信号可包括如关于观看者的面部表情的元数据。
此外，应理解表情是基于观看者的图像的并可使用诸如索尼公司的运动图片浏览器和/或eFace引擎之类的人脸识别软件/技术产生，但不限于此。更进一步，应理解脸人脸识别软件可用来检测人和人脸整体，而是可以用于检测诸如年龄、性别、种族、特征颜色（如，眼睛颜色、皮肤色调、毛发颜色）、高度、重量等之类的人的特定特征和/或属性，并基于此呈现元数据和/或其他信息。还应理解，人脸识别软件用于检测面部维度，并且与本原理特别相关地，检测观看者做出的特定面部表情，并基于其呈现元数据和/或其他信息。因而，应理解，人脸识别软件可检测诸如微笑、迷茫的神色、皱眉头、扬起眉毛、失意的神色、扮鬼脸、轻蔑的神色、大笑、被激怒的神色、好奇的神色、惊奇的神色、"面无表情"和/或不置可否的神色、默然的神色等之类的面部表情，但是不限于以上例子。
还需注意，在一些实施例中，人脸识别软件可产生可由诸如社交网络服务/网站、广告商、媒体内容提供商、电视广播、视频和图像档案库、数字服务供应商等使用的可搜索的和/或可组织的数据结构/索引。因而，接下来披露的实体/服务之一可以搜索这样的索引或数据结构以发现人和/或他们的图像，使用如"红头发"、"绿眼睛"、"人正在大笑"、"人皱眉头"、"光头男人"、"紧张观看的年轻人"等的搜索参数，以返回诸如满足搜索参数的人的列表之类的结果。
继续参考图2，如上面阐述的在方框54接收/产生信号之后，逻辑移动到方框56，其中逻辑也接收和/或检测标识呈现给观看者的内容、因而在获取观看者的图像的时间或该时间前后所呈现给观看者的内容的元数据。需注意，在示范性实施例中，标识内容的元数据可从CE设备接收、和/或可在服务器上作为与提供给CE设备的内容关联的特定元数据在本地识别/检测到。无论如何，示范性逻辑在方框58结束，其中该逻辑使用例如在本领域中已知的关联原理将标识内容的元数据与观看者的至少一个面部表情关联。
继续参考图3的详细描述，示出了根据本原理的为了确定和组织观看相同内容的观看者的意见和/或情绪的由服务器或其他适合的计算机中的处理器（例如，服务器14的处理器34）执行的示例逻辑的流程图。从方框60开始，如上文所述产生的代表观看者做出的至少一个表情的信号可以由图3的逻辑使用来基于该表情确定和/或推导出观看者的意见和/或情绪。该意见/情绪使用诸如表、数据结构、和/或索引来确定，在下面参考图5描述其示例。
无论如何，在基于表情确定至少一个意见和/或情绪以后，逻辑移动到方框62，在此处将至少一个意见/情绪填入到通过服务器访问的数据库中，和/或集合或聚集在数据结构或索引中以存储在存储介质（如服务器的存储介质）上。因而，应理解，数据库和/或数据结构可以包括观看相同的内容片段的多个个人的意见/情绪。进而，应理解，意见/情绪可基于如观看者人口统计和/或意见类型集合在一起和/或填入到数据库中。举例来说，关于内容的有利意见可集合在一起而关于内容的不利意见可集合在一起，但是应理解也可指定其他意见。意见类型将在下面进行讨论。
图3在方框64结束，除上述讨论的填入和/或集合之外，逻辑可对每个由内容引起的每个特定意见或情绪的总数目计数并将此数据填入到数据库中和/或将此数据包括在数据结构中。因而，诸如对内容有利的意见的总数目的计数和对内容的不利的意见的总数目的计数可填入到数据库中和/或包括在数据结构中。此外，如果需要，可在方框64产生其他统计量并也填入或包括，将在下面讨论其示例。
进一步讨论，如上文所指出的，元数据可用来标识呈现给观看者的内容。可使用诸如表、索引、或关系数据库来标识内容。相应地，图4示出了标识呈现给观看者的内容的示范性索引。图4中示出的索引70包括第一列72，第一列72包括来自元数据的内容标识数字，尽管应理解在相同或其他实施例中，元数据可以包括如与内容相关联的标题和/或内容自身的名字。
无论如何，索引还包括标识与元数据的内容标识数字相关联的内容的第二列74。从图4中应理解，索引70包括针对内容和相关联的标识数字的多个条目，如软饮料广告、汽车广告、YouTube因特网视频、网络电视节目和辩论节目。注意，该索引可以不仅包括针对整个节目的条目，而且还包括对节目的特定片段的条目，此点可以从标识数字11和12以及与其相关联的内容得到理解。因而，举例来说，根据本原理可以不仅确定观看者对整个网络电视的电视剧或辩论节目的意见和情绪，也可以确定观看者对连续剧或辩论节目的特定片段的意见和情绪。这些片段可基于如商业广告间断或内容提供者商来建立。
因此，举例来说，给观看者提供辩论节目的内容提供商可基于辩论节目上的哪些特定的小组正在发言而将节目分成片段，以使得内容提供商可以确定观看者对特定小组的反应。举例来说，如果第一个小组发言30秒而紧接其后另一个小组发言32秒，则可以将片段分割成相应的30秒和32秒的部分，即使两者之间没有商业广告间断，因此内容提供商可以按照此处阐述的原理辨别观看者对每个小组的意见和/或情绪（举例来说，可基于如上所述填入到数据库的信息产生报告，或可检查包括意见的数据结构的可打印的版本）。
现参考图5，示出根据本原理的将意见和表情关联的示范性表/索引。如上所述，如示出的示范性的表/索引可以用于通过观看者做出的表情推导出观看者的意见或情绪，应理解该表情是使用如上所述的人脸识别软件从图像中检测出来的。
相应地，图5示出表/索引80。表80包括第一列82、第二列84和第三列86，其中第一列82包括一个或多个表情，第二列84包括一个或多个意见，第三列86包括一个或多个情绪。在示范性实施例中，表情、意见和情绪，以及如何将它们彼此关联是可以预定义的。
因而，举例来说，针对大笑表情的预定义的关联包括在表中，其中大笑与关于内容的有利意见以及由内容引出的非常高兴的情绪关联。当执行如上所述的逻辑的处理器产生和/或接收代表大笑的信号时，处理器可使用如图5所示的关系表将大笑与关于内容的有利意见关联和/或将大笑与非常高兴的情绪关联，例如以将其包括诸如在此处描述的数据结构中。
参考图6继续详细描述，示出根据本原理的可呈现给内容的观看者以请求观看者与服务器分享他或她的图像的示范性用户界面（UI）。相应地，图6示出具有照相机92和显示器94的电视机90，在其上呈现由诸如服务器或有线电视提供商提供的内容。还示出一种示范性UI/提示96，其请求观看者授予与内容提供商分享诸如由照相机92收集的观看者的图像之类的信息的许可。然而，应理解也可定义其他隐私设置。还需注意用户界面96被示出为呈现在显示器94上的内容下方，但是用户界面96也可以其他方式呈现，例如，被呈现为叠加在内容的一部分上的弹出框。
现参考图7，示出根据本原理的可呈现给内容的观看者的请求观看者总是与服务器分享他或她的图像的另一种示范性用户界面。相应地，图7示出具有照相机102和显示器104的电视机100，在其上呈现由服务器或有线电视提供商提供的内容。还示出了示范性用户界面106，用户界面106请求观看者授权如下许可：自动地与内容提供商分享诸如由照相机102收集的观看者的图像之类的信息，以使得不需要针对每个内容片段向观看者呈现如图6所示出的用户界面和/或提示。
需注意，该"自动"与诸如服务器的分享可针对以下情况建立，该点之前曾经呈现在显示器上的全部内容、来自某个内容提供商的全部内容、在每天的特定时间或每周的特定天期间呈现的全部内容、向由TV100中的处理器使用人脸识别软件识别的和/或由内容提供商（如，服务器）的处理器识别的特定观看者或观看者群体呈现的全部内容、当观看者相对TV100处于某个特定位置时呈现的全部内容、在照相机102处于开启状态过程中呈现的全部内容、和/或提供的特定类型的内容或特定节目（如，全部棒球比赛、全部戏剧、任何下午十点的新闻节目、全部运动图片/电影、任何分类为喜剧的节目、和仅仅诸如Seinfeld之类的特定节目）、当房间中有使用照相机102收集图像的足够的光线时提供的全部内容等等。
进一步应理解，可由诸如服务器14（或访问服务器的计算机）之类的计算机输出报告、声明、概要等，其存储有与观看者对特定内容片段的意见和/或情绪有关的信息（如，此处描述的数据结构）。因而，举例来说，内容提供商或第三方可以辨别一组观看者对特定内容片段的有利或不利感觉的程度，以及能够辨别由内容引出的特定情绪。例如广告商可使用这些信息细化他们的目标广告策略，或者电视工作室可使用这些信息细化他们的节目或写作以更好地满足观看者。
因而，图8示出一种示范性用户界面110，其可呈现在诸如使用软件程序访问存储在例如服务器上的包括观看者的意见/情绪的数据库、数据结构、索引等的计算机的显示器上。应理解软件程序还包括自动地（例如，当接收到信息时）和/或应诸如内容提供商的请求产生关于意见/情绪的报告的代码。相应地，该用户界面110包括针对特定内容片段产生报告的选项，该选项包括"是"单选按钮112，"否"单选按钮114，和"提交"按钮116。
图9中示出另一个示范性用户界面，其可在选择图8中的"是"单选按钮112并选择"提交"按钮之后呈现。然而，应理解图9中的用户界面可在不首先呈现图8的用户界面110的情况下呈现。
无论如何，图9示出可呈现在例如计算机的显示器上的用户界面120。如图9所示，该示范性用户界面120可包括各种参数，选择这些参数时不仅可驱动如上所述的软件程序产生不仅例如列出有利的和不利的意见以及有利的和不利的意见的总数的计数，还列出基于这些参数的附加的明细。因而，如可从图9理解的，可产生包括基于诸如特定观看者人口统计、仅仅特定类型的意见和/或情绪、每天观看内容的时间、和/或提供内容的频道/网络的情绪和/或意见的明细的报告（例如，商业广告可在各种网络上运行，并且因此目标广告商可基于观看者对网络上的广告的情绪和/或意见确定哪些网络最适合广播特定广告以最大化该广告的吸引力）。
此外，尽管未在图9中示出，但是应理解用户界面120上还包括其他可选择的参数以使软件程序产生特定的报告。例如，其他参数可包括在报告的独立区域中分组特定的情绪、为内容提供商业化的评级（例如，节目的尼尔森评级）、提供节目被分享和/或重新发布在博客、社交网络等上的次数、指定观看内容的设备类型（例如，每种类型设备的计数、和/或包括紧跟在报告中列出的每个特定意见/情绪之后的设备类型）、指定观看内容的位置（例如、住宅、工作场所环境、诸如饭店，咖啡店，公园等等的公共场所)、指定内容在观看过程中是否曾经暂停，快进，或倒带过、指定内容在呈现过程中是否有过从窗口视图或较小的视图切换到全屏幕视图、指定内容观看者在观看内容之后是否访问与内容相关联的网站（例如，做广告的公司的网站）（例如，使用诸如跟踪cookie来确定）、指定呈现或叠加在内容之上的链接是否被选择、指定提供和/或观看的内容的图像质量（例如，是否观看内容的高清晰度版本）、指定在内容呈现期间观看内容的设备的音量是否增大或减小、指定在内容呈现期间是否有频道改变和/或内容被导航离开、指定在内容呈现期间观看内容的设备是否曾经关闭、指定在内容呈现期间是否选择过"信息"按钮（例如，在遥控装置上或Youtube的用户界面上）从而呈现与正在观看的内容有关的附加信息、指定内容是否被使用诸如数字视频记录仪之类的设备记录和/或重放过、指定观看者的特定年龄人口统计等等。
现参考图10，示出可根据本原理产生的针对特定内容片段的示范性报告。图10中示出了报告130，其包括基于特定观看者对与该报告有关的特定内容片段的意见是有利的还是不利的而集合起来的特定观看者的列表。因而，第一列132单独地列出每个观看者、第二列134列出表明他们的意见是有利的（通过字母"F"标明）还是不利的（通过字母"U"标明）的指示符、和第三列136列出由内容引出的观看者的特定情绪。第三列136还可选地在括号中包括由其推导出意见和情绪的特定表情。
图11示出可根据本原理针对特定内容片段产生的另一种示范性报告，但是应理解如果需要可以组合图10和11示出的报告。因而，报告140包括对内容的有利的意见的总数的计数、对内容的不利的意见的总数的计数、观看者中白种人的百分比、观看者中非洲裔美国人的百分比、观看者中在年龄人口统计18-49岁之间的百分比、观看者中年龄在18岁以下的百分比、观看者中年龄在49岁以上的百分比、观看者中在内容呈现期间大笑过的百分比、和观看者中在内容呈现期间微笑过的百分比。需注意，可以基于诸如使用图9中的用户界面120选择的参数将其他条目包括在报告中。
需注意，根据上面阐述的原理，该报告可被打印、呈现在显示器屏幕上、在电子邮件中发送等。此外，需注意，在其他实施例中，诸如数据结构本身可被简单地观看、打印等之类，而不是由其产生报告。还需注意，如果需要，服务器接收到的观看者的图像/视频可以被存储/包含在数据库中、数据结构中等。如果需要，如图10的报告中还可以在紧跟每个观看者之后包括观看者的图像/视频，和/或观看者的图像/视频是以其他方式可搜索的。
应理解上面提供的图和描述一般性地示出与此处公开的设备结合的方法步骤。
虽然此处示出和详细描述了用于将呈现给用户的音频和/或图像与用户的脸部特征和表情相关的系统和方法，但是应理解本发明涵盖的主题仅由权利要求书限制。

Claims (20)

1.一种计算机，包括：
至少一个处理器；
至少一个计算机可读存储介质，其可由处理器访问并承载可由处理器执行以使得处理器执行以下操作的指令：
接收其上呈现内容的显示器的至少一个观看者的至少一个图像；
基于观看者的图像产生代表观看者在呈现内容的时间处或该时间前后做出的至少一个表情的信号；
接收标识内容的元数据；以及
将标识内容的元数据与观看者的至少一个表情关联。
2.如权利要求1所述的计算机，其中在接收观看者的至少一个图像之前，所述指令使得处理器提供内容给观看者。
3.如权利要求1所述的计算机，其中所述指令进一步使得处理器访问至少一个数据库，并将多个观看者中的每一个针对呈现给观看者的内容的至少一个意见填入该数据库，其中每个观看者的至少一个意见是从每个观看者的至少一个表情导出的。
4.如权利要求3所述的计算机，其中每个观看者的至少一个意见是使用将意见与表情关联的表、从每个观看者的至少一个表情导出的。
5.如权利要求3所述的计算机，其中填入数据库以使得关于内容的有利的意见的数据集合在一起，并且关于内容的不利的意见的数据集合在一起。
6.如权利要求3所述的计算机，其中处理器进一步向数据库填入以包括关于内容的有利的意见的计数和关于内容的不利的意见的计数。
7.如权利要求3所述的计算机，其中填入数据库以使得该数据库是可基于人口统计搜索的和/或组织的。
8.如权利要求3所述的计算机，其中填入数据库以使得该数据库是可基于意见的类型搜索的和/或组织的。
9.一种方法，包括：
接收其上呈现内容的显示器的至少一个观看者的至少一个图像，并基于观看者的图像产生代表观看者在呈现内容的时间处或该时间前后做出的至少一个表情的信号，和/或接收从观看者的至少一个图像导出的代表至少一个观看者在呈现内容的时间处或该时间前后做出的至少一个表情的信号；
检测标识该内容的元数据；以及
将标识该内容的元数据与观看者的至少一个表情关联。
10.如权利要求9所述的方法，其中在接收至少一个图像和/或接收该信号之前，该方法包括提供内容给观看者。
11.如权利要求9所述的方法，其中该方法进一步包括：访问至少一个数据库，并将多个观看者中的每一个针对呈现给观看者的内容的至少一个意见填入该数据库，其中每个观看者的至少一个意见是从每个观看者做出的至少一个表情导出的。
12.如权利要求11所述的方法，其中每个观看者的至少一个意见是使用将意见与表情关联的表、从每个观看者的至少一个表情导出的。
13.如权利要求11所述的方法，其中填入数据库以使得关于内容的有利的意见的数据集合在一起，并且关于内容的不利的意见的数据集合在一起。
14.如权利要求9所述的方法，其中该方法进一步包括：访问至少一个数据库并将多个观看者关于内容的有利的意见的计数和多个观看者关于内容的不利的意见的计数填入该数据库，其中所述意见是从每个观看者做出的至少一个表情导出的。
15.如权利要求11所述的方法，其中填入数据库以使得该数据库是可基于人口统计和/或意见的类型搜索的。
16.一种设备，包括：
至少一个处理器；
至少一个计算机可读存储介质，可由处理器访问并承载可由处理器执行以使得处理器执行以下操作的指令：
将标识内容的元数据与内容的至少一个观察者在观察内容的时间处或在该时间前后做出的至少一个表情关联。
17.如权利要求16所述的设备，其中由在观看内容的时间处或该时间前后获取的观看者的至少一个图像中产生代表看者的至少一个观表情的信号。
18.如权利要求16所述的设备，其中所述指令进一步使得处理器生成数据结构，所述数据结构包括由内容引出的多个观察者中的每一个的至少一个情绪，其中每个观察者的至少一个情绪是从每个观察者的至少一个表情导出的。
19.如权利要求18所述的设备，其中每个观察者的至少一个情绪是使用将情绪与表情关联的表、从每个观察者的至少一个表情导出的。
20.如权利要求16所述的设备，其中所述指令进一步使得处理器生成数据结构，所述数据结构包括对由内容引出的特定情绪的计数，其中情绪是从多个观察者做出的表情导出的。
CN201310393418.9A 2012-09-26 2013-09-03 将音频和/或图像与脸部特征和表情相关的系统和方法 Active CN103686235B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/627,466 2012-09-26
US13/627,466 US9232247B2 (en) 2012-09-26 2012-09-26 System and method for correlating audio and/or images presented to a user with facial characteristics and expressions of the user

Publications (2)

Publication Number Publication Date
CN103686235A true CN103686235A (zh) 2014-03-26
CN103686235B CN103686235B (zh) 2017-04-12

Family

ID=50322313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310393418.9A Active CN103686235B (zh) 2012-09-26 2013-09-03 将音频和/或图像与脸部特征和表情相关的系统和方法

Country Status (2)

Country Link
US (1) US9232247B2 (zh)
CN (1) CN103686235B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019037217A1 (zh) * 2017-08-25 2019-02-28 歌尔科技有限公司 摄像头模组和社交系统
CN112074804A (zh) * 2018-05-09 2020-12-11 索尼公司 信息处理系统、信息处理方法和记录介质
CN112486929A (zh) * 2019-08-21 2021-03-12 脸谱公司 与教育群组管理相关的系统、方法和计算机可读介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140095149A1 (en) * 2012-10-03 2014-04-03 Kanjoya, Inc. Emotion identification system and method
US9721010B2 (en) * 2012-12-13 2017-08-01 Microsoft Technology Licensing, Llc Content reaction annotations
US9160933B2 (en) * 2013-03-08 2015-10-13 Intel Corporation Luminance based image capturing methods and apparatus
CA2983339C (en) * 2015-05-27 2018-05-08 Idk Interactive Inc. Display systems using facial recognition for viewership monitoring purposes
US9525912B1 (en) * 2015-11-20 2016-12-20 Rovi Guides, Inc. Systems and methods for selectively triggering a biometric instrument to take measurements relevant to presently consumed media
WO2020185973A1 (en) 2019-03-11 2020-09-17 doc.ai incorporated System and method with federated learning model for medical research applications
US20200342987A1 (en) * 2019-04-26 2020-10-29 doc.ai, Inc. System and Method for Information Exchange With a Mirror
US11177960B2 (en) 2020-04-21 2021-11-16 Sharecare AI, Inc. Systems and methods to verify identity of an authenticated user using a digital health passport
CN113727171A (zh) * 2021-08-27 2021-11-30 维沃移动通信（杭州）有限公司 视频处理方法、装置和电子设备
CN114501103B (zh) * 2022-01-25 2023-05-23 腾讯科技（深圳）有限公司 基于直播视频的互动方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050071865A1 (en) * 2003-09-30 2005-03-31 Martins Fernando C. M. Annotating meta-data with user responses to digital content
US20060206371A1 (en) * 2001-09-07 2006-09-14 Hill Daniel A Method of facial coding monitoring for the purpose of gauging the impact and appeal of commercially-related stimuli
CN1942970A (zh) * 2004-04-15 2007-04-04 皇家飞利浦电子股份有限公司 生成对用户具有特定情绪影响的内容项的方法
CN102591912A (zh) * 2006-10-06 2012-07-18 联合视频制品公司 在交互媒体导引应用程序中获得、分类以及传送媒体的系统和方法
US20120222058A1 (en) * 2011-02-27 2012-08-30 El Kaliouby Rana Video recommendation based on affect

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781650A (en) * 1994-02-18 1998-07-14 University Of Central Florida Automatic feature detection and age classification of human faces in digital images
US5676138A (en) * 1996-03-15 1997-10-14 Zawilinski; Kenneth Michael Emotional response analyzer system with multimedia display
US20020178447A1 (en) * 2001-04-03 2002-11-28 Plotnick Michael A. Behavioral targeted advertising
US6585521B1 (en) * 2001-12-21 2003-07-01 Hewlett-Packard Development Company, L.P. Video indexing based on viewers' behavior and emotion feedback
US7137070B2 (en) 2002-06-27 2006-11-14 International Business Machines Corporation Sampling responses to communication content for use in analyzing reaction responses to other communications
US20050289582A1 (en) * 2004-06-24 2005-12-29 Hitachi, Ltd. System and method for capturing and using biometrics to review a product, service, creative work or thing
US7848548B1 (en) * 2007-06-11 2010-12-07 Videomining Corporation Method and system for robust demographic classification using pose independent model from sequence of face images
US8462996B2 (en) * 2008-05-19 2013-06-11 Videomining Corporation Method and system for measuring human response to visual stimulus based on changes in facial expression
US20110188713A1 (en) 2008-07-16 2011-08-04 Imprezzeo Pty Ltd Facial image recognition and retrieval
US9342594B2 (en) 2008-10-29 2016-05-17 International Business Machines Corporation Indexing and searching according to attributes of a person
US9672332B2 (en) * 2010-02-18 2017-06-06 Nokia Technologies Oy Method and apparatus for preventing unauthorized use of media items
US8320644B2 (en) 2010-06-15 2012-11-27 Apple Inc. Object detection metadata
US8438590B2 (en) * 2010-09-22 2013-05-07 General Instrument Corporation System and method for measuring audience reaction to media content
AU2012236891A1 (en) 2011-04-01 2013-11-21 Votini Llc Systems and methods for capturing event feedback
US9077458B2 (en) * 2011-06-17 2015-07-07 Microsoft Technology Licensing, Llc Selection of advertisements via viewer feedback

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060206371A1 (en) * 2001-09-07 2006-09-14 Hill Daniel A Method of facial coding monitoring for the purpose of gauging the impact and appeal of commercially-related stimuli
US7113916B1 (en) * 2001-09-07 2006-09-26 Hill Daniel A Method of facial coding monitoring for the purpose of gauging the impact and appeal of commercially-related stimuli
US20050071865A1 (en) * 2003-09-30 2005-03-31 Martins Fernando C. M. Annotating meta-data with user responses to digital content
CN1942970A (zh) * 2004-04-15 2007-04-04 皇家飞利浦电子股份有限公司 生成对用户具有特定情绪影响的内容项的方法
CN102591912A (zh) * 2006-10-06 2012-07-18 联合视频制品公司 在交互媒体导引应用程序中获得、分类以及传送媒体的系统和方法
US20120222058A1 (en) * 2011-02-27 2012-08-30 El Kaliouby Rana Video recommendation based on affect

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019037217A1 (zh) * 2017-08-25 2019-02-28 歌尔科技有限公司 摄像头模组和社交系统
CN112074804A (zh) * 2018-05-09 2020-12-11 索尼公司 信息处理系统、信息处理方法和记录介质
CN112486929A (zh) * 2019-08-21 2021-03-12 脸谱公司 与教育群组管理相关的系统、方法和计算机可读介质

Also Published As

Publication number Publication date
US20140089954A1 (en) 2014-03-27
CN103686235B (zh) 2017-04-12
US9232247B2 (en) 2016-01-05

Similar Documents

Publication Publication Date Title
US20210274007A1 (en) Methods and systems for recommending media content
CN103686235B (zh) 将音频和/或图像与脸部特征和表情相关的系统和方法
US20230035097A1 (en) Methods and systems for determining media content to download
US20210314413A1 (en) Systems and methods for resolving ambiguous terms in social chatter based on a user profile
US11100292B2 (en) Systems and methods for disambiguating a term based on static and temporal knowledge graphs
US20140052696A1 (en) Systems and methods for visual categorization of multimedia data
US20150234820A1 (en) Methods and systems for recommending concept clusters based on availability
US9762945B2 (en) Methods and systems for recommending a display device for media consumption
US20160088352A1 (en) Methods and systems for updating user profiles
US11671658B2 (en) Systems and methods for automatically identifying a user preference for a participant from a competition event
US20160345062A1 (en) Systems and methods for determining temporally popular content for presentation on a common display
US20160227283A1 (en) Systems and methods for providing a recommendation to a user based on a user profile and social chatter
JP2021048611A (ja) メディアアセット推奨モデルにおける正確度を向上させるためのシステムおよび方法
US20150244972A1 (en) Methods and systems for determining lengths of time for retaining media assets
US20150382068A1 (en) Methods and systems for providing objects that describe media assets
US20160179803A1 (en) Augmenting metadata using commonly available visual elements associated with media content
US20160192016A1 (en) Methods and systems for identifying media assets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant