CN104410911B - 基于视频情感标注辅助识别面部表情的方法 - Google Patents

基于视频情感标注辅助识别面部表情的方法 Download PDF

Info

Publication number
CN104410911B
CN104410911B CN201410844985.6A CN201410844985A CN104410911B CN 104410911 B CN104410911 B CN 104410911B CN 201410844985 A CN201410844985 A CN 201410844985A CN 104410911 B CN104410911 B CN 104410911B
Authority
CN
China
Prior art keywords
video
expression
information
user
expression data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410844985.6A
Other languages
English (en)
Other versions
CN104410911A (zh
Inventor
付鹏
卢学裕
白雪
吴凯凯
吴鑫
姚键
潘柏宇
卢述奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Youku Network Technology Beijing Co Ltd
Original Assignee
1Verge Internet Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 1Verge Internet Technology Beijing Co Ltd filed Critical 1Verge Internet Technology Beijing Co Ltd
Priority to CN201410844985.6A priority Critical patent/CN104410911B/zh
Publication of CN104410911A publication Critical patent/CN104410911A/zh
Application granted granted Critical
Publication of CN104410911B publication Critical patent/CN104410911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25883—Management of end-user data being end-user demographical data, e.g. age, family status or address
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种基于视频情感标注辅助识别面部表情的方法，通过客户端采集不同的视频播放过程中的用户一侧的表情信息；利用人脸识别技术对所述表情信息进行分类处理，转换为表情数据；将得出的所述表情数据，与所述视频建立映射关系，作为该视频的标签信息或更新该视频的标签信息；将不同的视频的标签信息根据预置的用户标签的属性进行分类处理，并将不同的视频的标签信息与用户的用户标签属性相同的相关联。本发明解决了无法实现的从时间到空间上降低成本，更易于了解用户的性格及表达习惯的技术问题。

Description

基于视频情感标注辅助识别面部表情的方法
技术领域
本发明属于用户行为领域，具体的说，是涉及一种基于视频情感标注辅助识别面部表情的方法。
背景技术
随着数字技术的发展，视频数据也开始呈现快速增长的趋势，电视、电影摄像设备正在不断地提供更多的视频数据。在这种背景下，利用计算机从庞大的视频数据信息中挖掘特定的信息成为一个热点问题。视频的情感分析指的是利用计算机自动分析视频可能给观众情感上带来的主观反应。比如区分影片中恐怖的、紧张激烈的、浪漫的或开心的等不同的感情元素。对视频的情感属性的分析不仅可以帮助观众快速的从视频据库中找到自己感兴趣的视频，满足不同观众对视频多样化的要求，还可以深入了解用户的性格及表达习惯，对理解用户有很大意义。
现有技术中，在针对个体用户进行情感及心理分析时，需要对受访者进行面对面的沟通，以问答的方式进行，从而了解用户的性格及表达习惯，这种方式从时间到空间上成本都很高，因此难以被广泛接受，受众覆盖也很有限；而现有技术中的面部表情的识别方法，主要是基于可见光图像的人脸识别，但这种方式有着难以克服的缺陷，尤其在环境光照发生变化时，识别效果会急剧下降，无法满足实际系统的需要；另外，解决光照问题的方案有三维图像人脸识别，和热成像人脸识别，但这两种技术的识别效果不尽人意。
专利文件201310413648.7提供了一种基于表情识别的人机情感交互系统及方法；系统包括图像采集模块、图像处理模块、表情识别模块、人机交互模块和统计与存储模块；通过图像采集模块采集人脸图像，利用图像处理模块对所采集的人脸图像进行灰度化及尺寸调节等处理，利用表情识别方法识别人脸图像的表情，人机交互模块根据人脸表情提供回应给使用者；利用统计与存储模块分析得到人物此时的心理状态并进行记录，同时提供统计查询功能给使用者，但是，这种方法的计算复杂，步骤繁多，成本高且不易于实施等。
因此，如何研发一种基于视频情感标注辅助识别面部表情的方法，解决上述问题，便成为亟待解决的技术问题。
发明内容
本申请解决的主要问题是提供一种基于视频情感标注辅助识别面部表情的方法，以解决无法实现的从时间到空间上降低成本，更易于了解用户的性格及表达习惯的技术问题。
为了解决上述技术问题，本发明公开了一种基于视频情感标注辅助识别面部表情的方法，其特征在于，包括：
通过客户端采集不同的视频播放过程中的用户一侧的表情信息；
利用人脸识别技术对所述表情信息进行分类处理，转换为表情数据；
将得出的所述表情数据，与所述视频建立映射关系，作为该视频的标签信息或更新该视频的标签信息；
将不同的视频的标签信息根据预置的用户标签的属性进行分类处理，并将不同的视频的标签信息与用户的用户标签属性相同的相关联。
优选地，其中，所述将得出的所述表情数据，与所述视频建立映射关系，作为该视频的标签信息或更新该视频的标签信息，进一步为：
当判断该视频已建立的映射关系中不包含该表情数据，则在该视频的映射关系中添加该表情数据并建立映射关系，并作为该视频的标签信息或更新该视频的标签信息；
当判断该视频已建立的映射关系中包含该表情数据，则退出。
优选地，其中，利用人脸识别技术对所述表情信息进行分类处理，转换为表情数据，进一步的，所述表情信息，包括：愤怒、厌恶、恐惧、喜悦、中性、悲哀和惊讶，
利用人脸识别技术将愤怒、厌恶、恐惧和惊讶归类为惊悚剧表情信息，转换为惊悚类表情数据；
利用人脸识别技术将喜悦归类为喜剧表情信息，转换为喜剧表情数据；
利用人脸识别技术将中性归类为情节剧表情信息，转换为情节剧表情数据；
利用人脸识别技术将悲哀归类为悲剧表情信息，转化为悲剧表情数据。
优选地，其中，通过客户端采集不同的视频播放过程中的用户一侧的表情信息，进一步为：
通过客户端中设置的摄像装置采集不同的视频播放过程中的用户一侧的表情信息,所述客户端为移动终端和/或非移动终端。
优选地，其中，所述预置的用户标签的属性，包括：惊悚剧、喜剧、情节剧或悲剧。
与现有技术相比，本申请所述的基于视频情感标注辅助识别面部表情的方法，达到了如下效果：
1）本发明利用人脸识别技术，将视频播放过程中的面部表情转换为表情数据，归类后得到用户对视频的表情反应，还能够得出用户的兴趣爱好，整个采集过程从时间到空间上成本极大降低，更易于实施。
2）通过本发明的基于视频情感标注辅助识别面部表情的方法，能够帮助观众快速的从视频据库中找到自己感兴趣的视频，满足不同观众对视频多样化的要求，还可以深入了解用户的性格及表达习惯，对理解用户有很大意义。
3）颠覆之前对用户心理数据采集的模式，充分利用移动设备的优点，同时用户可以不主动参与，用户不受打扰。本发明的方法不但可以用于移动终端，还可以用于非移动终端，应用广泛。
4）目前在医学及心理学方面，研究的采样样本都很有限，而本发明通过采集海量个体数据，能这帮助这些方面的科研工作更有效的开展。
5）本发明中基于对用户表情信息的采集，配合不同视频的表情倾向描述特征做性格方面的聚类，得出在特定情境下表现不同的用户的性格倾向，进而在后续对不同类用户的产品策略上可以更有针对性的去做。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例一所述的基于视频情感标注辅助识别面部表情的方法的流程图。
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。
以下结合附图对本申请作进一步详细说明，但不作为对本申请的限定。
实施例一：
结合图1，本实施例提供了一种基于视频情感标注辅助识别面部表情的方法，该方法包括以下步骤：
步骤101：通过客户端采集不同的视频播放过程中的用户一侧的表情信息；
本实施例中的客户端设有摄像装置，通过客户端中设置的摄像装置采集不同的视频播放过程中的用户一侧的表情信息，当然这里的客户端可以为移动终端，还可以为非移动终端，本实施例中的客户端为手机，手机设有前置摄像头，可以用来采集表情信息。
本实施例中的表情信息包括：愤怒、厌恶、恐惧、喜悦、中性、悲哀和惊讶，当然还可以为其它具有感情色彩的表情信息，这里不做具体限定。
步骤102：利用人脸识别技术对所述表情信息进行分类处理，转换为表情数据；
具体的，利用人脸识别技术将愤怒、厌恶、恐惧和惊讶归类为惊悚剧表情信息，转换为惊悚类表情数据；
利用人脸识别技术将喜悦归类为喜剧表情信息，转换为喜剧表情数据；
利用人脸识别技术将中性归类为情节剧表情信息，转换为情节剧表情数据；
利用人脸识别技术将悲哀归类为悲剧表情信息，转化为悲剧表情数据。
本步骤中的人脸识别技术主要是现有技术中的人脸识别技术的应用，例如本实施例中手机的前置摄像头采集或捕捉到的人脸，首先捕捉到头部，然后判断眼睛和嘴巴等头部特征，通过特征库的比对，确认是人面部，完成面部捕捉，然后根据嘴角的上弯程度和眼睛的下弯程度，判断是否是微笑或大笑等，如果是微笑则归类为喜悦的表情信息，转换为喜悦的表情数据。
步骤103：将得出的所述表情数据，与所述视频建立映射关系，作为该视频的标签信息或更新该视频的标签信息；
这里所述的建立映射关系是指所述表情数据与所述视频中包含的表情数据是一一对应的关系，本实施例中播放的视频为《唐伯虎点秋香》，这是一部喜剧，其中包含的表情数据为喜剧表情数据，如果步骤102中得出的表情数据同样为喜剧表情数据，那么就将喜剧定义为该《唐伯虎点秋香》的标签，或者将《唐伯虎点秋香》的标签更新为喜剧。当然这里播放的视频不止一个，有多个不同的视频，需要一一的确定标签信息，这里不一一举例。
步骤104：将不同的视频的标签信息根据预置的用户标签的属性进行分类处理，并将不同的视频的标签信息与用户的用户标签属性相同的相关联。
需要说明的是这里的预置的用户标签的属性，包括：惊悚剧、喜剧、情节剧或悲剧。步骤103中得出的视频标签根据这几个属性进行分类处理，如《唐伯虎点秋香》的标签为喜剧，那么就归类到用户标签喜剧这一类中，并且将这些不同的视频的标签信息与用户的用户标签属性相同的相关联起来了，这样做的目的是能够精准的知道用户的兴趣爱好，以便在实际播放视频的过程中做出精准推送，增强用户体验，便于了解用户的性格及表达习惯。能够帮助观众快速的从视频据库中找到自己感兴趣的视频，满足不同观众对视频多样化的要求，还可以深入了解用户的性格及表达习惯，对理解用户有很大意义。
实施例二：
结合图1，本实施例提供了一种基于视频情感标注辅助识别面部表情的方法，该方法包括以下步骤：
步骤101：通过客户端采集不同的视频播放过程中的用户一侧的表情信息；
本实施例中的客户端设有摄像装置，通过客户端中设置的摄像装置采集不同的视频播放过程中的用户一侧的表情信息，当然这里的客户端可以为移动终端，还可以为非移动终端，本实施例中的客户端为手机，手机设有前置摄像头，可以用来采集表情信息。本发明中播放的视频取自现有的视频库当中，对这些视频进行过筛选，预选出会引发强烈情感共鸣的视频，比如一部喜剧，用户看到后就会忍不住的笑，这样的视频作为播放视频。
本实施例中的表情信息包括：愤怒、厌恶、恐惧、喜悦、中性、悲哀和惊讶，当然还可以为其它具有感情色彩的表情信息，如“微笑，专注，悲伤，哭”等等，这里不做具体限定。
步骤102：利用人脸识别技术对所述表情信息进行分类处理，转换为表情数据；
具体的，利用人脸识别技术将愤怒、厌恶、恐惧和惊讶归类为惊悚剧表情信息，转换为惊悚类表情数据；
利用人脸识别技术将喜悦归类为喜剧表情信息，转换为喜剧表情数据；
利用人脸识别技术将中性归类为情节剧表情信息，转换为情节剧表情数据；
利用人脸识别技术将悲哀归类为悲剧表情信息，转化为悲剧表情数据。
本步骤中的人脸识别技术主要是现有技术中的人脸识别技术的应用，例如本实施例中手机的前置摄像头采集或捕捉到的人脸，首先捕捉到头部，然后判断眼睛和嘴巴等头部特征，通过特征库的比对，确认是人面部，完成面部捕捉，然后根据嘴角的上弯程度和眼睛的下弯程度，判断是否是微笑或大笑等，如果是微笑则归类为喜悦的表情信息，转换为喜悦的表情数据。
步骤103：将得出的所述表情数据，与所述视频建立映射关系，作为该视频的标签信息或更新该视频的标签信息；
这里所述的建立映射关系是指所述表情数据与所述视频中包含的表情数据是一一对应的关系，本实施例中播放的视频为《唐伯虎点秋香》，这是一部喜剧，其中包含的表情数据为喜剧表情数据，如果步骤102中得出的表情数据同样为喜剧表情数据，那么就将喜剧定义为该《唐伯虎点秋香》的标签，或者将《唐伯虎点秋香》的标签更新为喜剧。当然这里播放的视频不止一个，有多个不同的视频，需要一一的确定标签信息，这里不一一举例。
步骤104：将不同的视频的标签信息根据预置的用户标签的属性进行分类处理，并将不同的视频的标签信息与用户的用户标签属性相同的相关联。
需要说明的是这里的预置的用户标签的属性，包括：惊悚剧、喜剧、情节剧或悲剧。步骤103中得出的视频标签根据这几个属性进行分类处理，如《唐伯虎点秋香》的标签为喜剧，那么就归类到用户标签喜剧这一类中，并且将这些不同的视频的标签信息与用户的用户标签属性相同的相关联起来了，这样做的目的是能够精准的知道用户的兴趣爱好，以便在实际播放视频的过程中做出精准推送，增强用户体验，便于了解用户的性格及表达习惯。能够帮助观众快速的从视频据库中找到自己感兴趣的视频，满足不同观众对视频多样化的要求，还可以深入了解用户的性格及表达习惯，对理解用户有很大意义。
在具体实施过程中，选取搞笑精选类视频，通过评论等数据的分析，确定用户对其观看之后的初步反应，如确实认为搞笑，则作为播放视频，采集用户通过手机客户端播放该视频的行为，采集用户的表情信息，利用人脸识别技术对所述表情进行分类处理看，迭代选择更多视频，统计每个用户在各视频播放中的表现，判断哪些用户喜欢笑，大笑或微笑，哪些用户没有感觉等。
其中步骤101：所述将得出的所述表情数据，与所述视频建立映射关系，作为该视频的标签信息或更新该视频的标签信息，进一步包括两种情况：
1）当判断该视频已建立的映射关系中不包含该表情数据，则在该视频的映射关系中添加该表情数据并建立映射关系，并作为该视频的标签信息或更新该视频的标签信息；
例如，当判断《博物馆奇妙夜》这个视频已经建立的映射关系中不包括惊悚剧表情数据，那么在这个视频的映射关系中添加惊悚剧表情数据，并将该《博物馆奇妙夜》的标签更新为惊悚剧。
2）当判断该视频已建立的映射关系中包含该表情数据，则退出。进行下一步骤的操作。
当然本发明中还包括步骤：向用户推荐与用户的用户标签属相相同的具有视频标签信息的视频，这里不做具体限定。
与现有技术相比，本申请所述的基于视频情感标注辅助识别面部表情的方法，达到了如下效果：
1）本发明利用人脸识别技术，将视频播放过程中的面部表情转换为表情数据，归类后得到用户对视频的表情反应，还能够得出用户的兴趣爱好，整个采集过程从时间到空间上成本极大降低，更易于实施。
2）通过本发明的基于视频情感标注辅助识别面部表情的方法，能够帮助观众快速的从视频据库中找到自己感兴趣的视频，满足不同观众对视频多样化的要求，还可以深入了解用户的性格及表达习惯，对理解用户有很大意义。
3）颠覆之前对用户心理数据采集的模式，充分利用移动设备的优点，同时用户可以不主动参与，用户不受打扰。本发明的方法不但可以用于移动终端，还可以用于非移动终端，应用广泛。
4）目前在医学及心理学方面，研究的采样样本都很有限，而本发明通过采集海量个体数据，能帮助这些方面的科研工作更有效的开展。
5）本发明中基于对用户表情信息的采集，配合不同视频的表情倾向描述特征做性格方面的聚类，得出在特定情境下表现不同的用户的性格倾向，进而在后续对不同类用户的产品策略上可以更有针对性的去做。
上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。

Claims (4)

1.一种基于视频情感标注辅助识别面部表情的方法，其特征在于，包括：
通过客户端采集不同的视频播放过程中的用户一侧的表情信息；
利用人脸识别技术对所述表情信息进行分类处理，转换为表情数据；
将得出的所述表情数据，与所述视频建立映射关系，作为该视频的标签信息或更新该视频的标签信息；
将不同的视频的标签信息根据预置的用户标签的属性进行分类处理，并将不同的视频的标签信息与用户的用户标签属性相同的相关联；
其中，所述利用人脸识别技术对所述表情信息进行分类处理，转换为表情数据，进一步的，所述表情信息，包括：愤怒、厌恶、恐惧、喜悦、中性、悲哀和惊讶，
利用人脸识别技术将愤怒、厌恶、恐惧和惊讶归类为惊悚剧表情信息，转换为惊悚类表情数据；
利用人脸识别技术将喜悦归类为喜剧表情信息，转换为喜剧表情数据；
利用人脸识别技术将中性归类为情节剧表情信息，转换为情节剧表情数据；
利用人脸识别技术将悲哀归类为悲剧表情信息，转化为悲剧表情数据。
2.根据权利要求1所述的基于视频情感标注辅助识别面部表情的方法，其特征在于，所述将得出的所述表情数据，与所述视频建立映射关系，作为该视频的标签信息或更新该视频的标签信息，进一步为：
当判断该视频已建立的映射关系中不包含该表情数据，则在该视频的映射关系中添加该表情数据并建立映射关系，并作为该视频的标签信息或更新该视频的标签信息；
当判断该视频已建立的映射关系中包含该表情数据，则退出。
3.根据权利要求1所述的基于视频情感标注辅助识别面部表情的方法，其特征在于，通过客户端采集不同的视频播放过程中的用户一侧的表情信息，进一步为：
通过客户端中设置的摄像装置采集不同的视频播放过程中的用户一侧的表情信息,所述客户端为移动终端和/或非移动终端。
4.根据权利要求1所述的基于视频情感标注辅助识别面部表情的方法，其特征在于，所述预置的用户标签的属性，包括：惊悚剧、喜剧、情节剧或悲剧。
CN201410844985.6A 2014-12-31 2014-12-31 基于视频情感标注辅助识别面部表情的方法 Active CN104410911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410844985.6A CN104410911B (zh) 2014-12-31 2014-12-31 基于视频情感标注辅助识别面部表情的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410844985.6A CN104410911B (zh) 2014-12-31 2014-12-31 基于视频情感标注辅助识别面部表情的方法

Publications (2)

Publication Number Publication Date
CN104410911A CN104410911A (zh) 2015-03-11
CN104410911B true CN104410911B (zh) 2015-12-09

Family

ID=52648495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410844985.6A Active CN104410911B (zh) 2014-12-31 2014-12-31 基于视频情感标注辅助识别面部表情的方法

Country Status (1)

Country Link
CN (1) CN104410911B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951304B (zh) * 2015-06-16 2017-12-26 长春理工大学 面部表情捕获数据的转存与发送方法
CN108140020A (zh) * 2015-07-30 2018-06-08 英特尔公司 情感增强型化身动画化
CN105868686A (zh) * 2015-12-31 2016-08-17 乐视网信息技术（北京）股份有限公司 视频分类方法及装置
CN105721620B (zh) * 2016-05-09 2019-05-10 百度在线网络技术（北京）有限公司 视频信息推送方法和装置及视频信息展示方法和装置
CN106792170A (zh) * 2016-12-14 2017-05-31 合网络技术（北京）有限公司 视频处理方法及装置
CN106878809B (zh) * 2017-02-15 2019-06-28 腾讯科技（深圳）有限公司 一种视频收藏方法、播放方法、装置、终端及系统
CN106951137A (zh) * 2017-03-02 2017-07-14 合网络技术（北京）有限公司 多媒体资源的分类方法及装置
CN107679449B (zh) * 2017-08-17 2018-08-03 平安科技（深圳）有限公司 嘴唇动作捕捉方法、装置及存储介质
CN107786896A (zh) * 2017-10-30 2018-03-09 广东欧珀移动通信有限公司 信息的推送方法、装置、终端设备和存储介质
CN107818160A (zh) * 2017-10-31 2018-03-20 上海掌门科技有限公司 表情标签更新和实现表情获取的方法、设备及系统
CN107948732B (zh) 2017-12-04 2020-12-01 京东方科技集团股份有限公司 视频的播放方法、视频播放装置及系统
CN108632671A (zh) * 2018-03-29 2018-10-09 北京恒信彩虹信息技术有限公司 一种推荐方法及系统
CN110267086B (zh) * 2018-05-16 2022-02-25 腾讯数码（天津）有限公司 主播标签建立方法和装置、直播网络界面引擎接口和介质
US10990812B2 (en) * 2018-06-20 2021-04-27 Agora Lab, Inc. Video tagging for video communications
CN109902606B (zh) * 2019-02-21 2021-03-12 维沃移动通信有限公司 一种操作方法及终端设备
CN110704680B (zh) * 2019-08-20 2022-10-04 咪咕文化科技有限公司 标签生成方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101472133A (zh) * 2007-12-28 2009-07-01 鸿富锦精密工业（深圳）有限公司 影像校正装置及影像校正方法
CN102263999A (zh) * 2011-08-03 2011-11-30 Tcl集团股份有限公司 基于人脸识别对电视节目自动分类的方法及其系统
CN102495873A (zh) * 2011-11-30 2012-06-13 北京航空航天大学 一种基于视频情感特征与会话模型的视频推荐方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5482206B2 (ja) * 2010-01-06 2014-05-07 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101472133A (zh) * 2007-12-28 2009-07-01 鸿富锦精密工业（深圳）有限公司 影像校正装置及影像校正方法
CN102263999A (zh) * 2011-08-03 2011-11-30 Tcl集团股份有限公司 基于人脸识别对电视节目自动分类的方法及其系统
CN102495873A (zh) * 2011-11-30 2012-06-13 北京航空航天大学 一种基于视频情感特征与会话模型的视频推荐方法

Also Published As

Publication number Publication date
CN104410911A (zh) 2015-03-11

Similar Documents

Publication Publication Date Title
CN104410911B (zh) 基于视频情感标注辅助识别面部表情的方法
US20240338968A1 (en) Method for identifying, ordering, and presenting images according to expressions
US9202251B2 (en) System and method for granular tagging and searching multimedia content based on user reaction
Zafeiriou et al. Aff-wild: valence and arousal'In-the-Wild'challenge
Yu et al. Artificial intelligence-generated virtual influencer: Examining the effects of emotional display on user engagement
US10799168B2 (en) Individual data sharing across a social network
US10289898B2 (en) Video recommendation via affect
JP6662876B2 (ja) アバター選択機構
US8154615B2 (en) Method and apparatus for image display control according to viewer factors and responses
US9106958B2 (en) Video recommendation based on affect
TW201404127A (zh) 多媒體評價系統、其裝置以及其方法
US20170251262A1 (en) System and Method for Segment Relevance Detection for Digital Content Using Multimodal Correlations
US20170095192A1 (en) Mental state analysis using web servers
US20130169680A1 (en) Social system and method used for bringing virtual social network into real life
US20140003652A1 (en) Individualizing generic communications
US20130288212A1 (en) System and A Method for Analyzing Non-verbal Cues and Rating a Digital Content
CN107818180A (zh) 视频关联方法、视频显示方法、装置及存储介质
US20160241533A1 (en) System and Method for Granular Tagging and Searching Multimedia Content Based on User's Reaction
WO2014004864A1 (en) Determining how interested a particular person is in an image
US10638197B2 (en) System and method for segment relevance detection for digital content using multimodal correlations
US11430561B2 (en) Remote computing analysis for cognitive state data metrics
US20140032331A1 (en) Method for interacting with customers at a point of sale for goods or services
CN106055707A (zh) 弹幕显示方法及装置
CN106126632A (zh) 推荐方法及装置
CN107423441A (zh) 一种图片关联方法及其装置、电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Patentee after: Youku network technology (Beijing) Co.,Ltd.

Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Patentee before: 1VERGE INTERNET TECHNOLOGY (BEIJING) Co.,Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20200323

Address after: 310020 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Alibaba (China) Co.,Ltd.

Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Patentee before: Youku network technology (Beijing) Co.,Ltd.

TR01 Transfer of patent right