CN109040842A - 视频观众情绪信息采集分析方法、装置、系统和存储介质 - Google Patents

视频观众情绪信息采集分析方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN109040842A
CN109040842A CN201810935364.7A CN201810935364A CN109040842A CN 109040842 A CN109040842 A CN 109040842A CN 201810935364 A CN201810935364 A CN 201810935364A CN 109040842 A CN109040842 A CN 109040842A
Authority
CN
China
Prior art keywords
video
spectators
emotional information
analysis method
capturing analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810935364.7A
Other languages
English (en)
Inventor
李扬堃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN201810935364.7A priority Critical patent/CN109040842A/zh
Publication of CN109040842A publication Critical patent/CN109040842A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种视频观众情绪信息采集分析方法、装置、系统和计算机可读存储介质，属于互联网技术领域。采用了该发明的视频观众情绪信息采集分析方法，其在播放视频的同时利用面部识别技术采集观众面部数据，进而可将观众面部数据转换为与视频对应的观众情绪信息，以该信息来直观表示观众在观看该视频时的情绪，从而可以客观评价视频内容对观众情绪的影响，为其他观众在选择时提供重要的参考信息。且本发明的视频观众情绪信息采集分析方法的实现方式简单，相应的装置、系统和计算机可读存储介质使用成本低廉，应用范围也相当广泛。

Description

视频观众情绪信息采集分析方法、装置、系统和存储介质
技术领域
本发明涉及互联网技术领域，特别涉及网络视频技术领域，具体是指一种视频观众情绪信息采集分析方法、装置、系统和计算机可读存储介质。
背景技术
随时互联网技术的不断发展，网络视频服务的内容越来越多。观众在选择观看前都希望对视频有个大致的了解以作为选择的依据。
目前各网络视频服务提供商的视频、电影、动画都有内容向的标签，表明视频的内容，但是不同的人对于描述性语言的定义不同，对于内容的接受程度也不同，文字说明的标签很难让所有人直观的感受到视频内容给人带来的情感体验。另外，这些文字与图片的标签信息均由视频提供者编辑，主观性较强，有时难免对视频的评价不够客观。因此，如何提供一种更为客观，且可直观表示观众对于视频的感受的方法，成为本领域亟待解决的问题。
另一方面，人脸识别系统的研究始于20世纪60年代，80年代后随着计算机技术和光学成像技术的发展得到提高，而真正进入初级的应用阶段则在90年后期，并且以美国、德国和日本的技术实现为主；目前苹果公司的iphoneX已经集成了FaceID功能，在移动端的面部识别已经成熟。WEB端也有Facerig等软件会进行人脸识别和定位，从而可以获取人脸面部信息。从而为基于人脸识别技术实现上述的表示观众感受的方法成为了可能。
发明内容
本发明的目的是克服了上述现有技术中的缺点，提供一种基于人脸识别技术，在播放视频的同时采集观众的面部表情信息，进而产生与视频对应的观众情绪信息，用于直观表达观众在观看该视频时的情绪，从而可以客观评价视频内容的视频观众情绪信息采集分析方法、装置、系统和计算机可读存储介质。
为了实现上述的目的，本发明的视频观众情绪信息采集分析方法包括以下步骤：
(1)在播放视频的同时利用面部识别技术采集观众面部数据；
(2)将所述的观众面部数据转换为与视频对应的观众情绪信息。
该视频观众情绪信息采集分析方法中，所述的步骤(1)具体包括以下步骤：
(11)在开始视频播放的同时开启观众面部数据采集功能；
(12)判断是否符合观众面部数据采集的条件，若是则进入步骤(13)，若否则给出提示并退出本方法；
(13)在视频播放过程中持续利用面部识别技术采集观众面部数据。
该视频观众情绪信息采集分析方法中，所述的是否符合观众面部数据采集的条件，至少包括以下条件：
a、环境亮度是否满足所述的面部识别技术的要求；
b、是否识别到人脸。
该视频观众情绪信息采集分析方法中，所述的步骤(2)具体包括以下步骤：
(21)分析一个单位时间内所述的观众面部数据，将其转换为多个表情选项在该单位时间内所占的时长；
(22)选择时长最长的一个表情选项代表该单位时间的观众情绪信息。
该视频观众情绪信息采集分析方法中，所述的表情选项包括开心、惊讶、难过、木讷和愤怒。
该视频观众情绪信息采集分析方法中，所述的步骤(2)还包括以下步骤：
(23)将视频对应的所有单位时间的观众情绪信息汇总的占比数据作为视频情绪信息。
该视频观众情绪信息采集分析方法还包括以下步骤：
(3)在获取多个观众对于同一视频的观众情绪信息后，将各个观众的观众情绪信息汇总为该视频的视频情绪信息。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述的视频观众情绪信息采集分析方法。
本发明还提供一种视频观众情绪信息采集分析装置，其包括处理器和存储器，所述的存储器上存储有计算机程序，该计算机程序被所述的处理器执行时，实现上述的视频观众情绪信息采集分析方法。
本发明还提供一种视频观众情绪信息采集分析系统，其包括上述的装置以及连接该装置的服务器，所述的服务器用以获取各所述的装置产生的与视频对应的观众情绪信息，汇总为该视频的视频情绪信息后，存储并展示该视频的视频情绪信息。
采用了该发明的视频观众情绪信息采集分析方法、装置、系统和计算机可读存储介质，该方法中，在播放视频的同时利用面部识别技术采集观众面部数据，进而可将观众面部数据转换为与视频对应的观众情绪信息，以该信息来直观表示观众在观看该视频时的情绪，从而可以客观评价视频内容对观众情绪的影响，为其他观众在选择时提供重要的参考信息。且本发明的视频观众情绪信息采集分析方法的实现方式简单，相应的装置、系统和计算机可读存储介质使用成本低廉，应用范围也相当广泛。
附图说明
图1为本发明的视频观众情绪信息采集分析方法的步骤流程图。
图2为本发明的视频观众情绪信息采集分析方法中的表情选项示意图。
图3为利用本发明的视频观众情绪信息采集分析方法获得的在某一时刻的用户表情占比示意图。
图4为利用本发明的视频观众情绪信息采集分析方法汇总多个观看用户的表情后给予用户的观众情绪信息汇总示意图。
图5为利用本发明的视频观众情绪信息采集分析方法汇总多个观看用户的表情后给予视频提供者的观众情绪信息汇总示意图。
具体实施方式
为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。
请参阅图1所示，为本发明的视频观众情绪信息采集分析方法的步骤流程图。
在一种实施方式中，该视频观众情绪信息采集分析方法包括以下步骤：
(1)在播放视频的同时利用面部识别技术采集观众面部数据；
(2)将所述的观众面部数据转换为与视频对应的观众情绪信息。
在较优选的实施方式中，所述的步骤(1)具体包括以下步骤：
(11)在开始视频播放的同时开启观众面部数据采集功能；
(12)判断是否符合观众面部数据采集的条件，若是则进入步骤(13)，若否则给出提示并退出本方法；
(13)在视频播放过程中持续利用面部识别技术采集观众面部数据。
其中，所述的是否符合观众面部数据采集的条件，至少包括以下条件：
a、环境亮度是否满足所述的面部识别技术的要求；
b、是否识别到人脸。
在另一较优选的实施方式中，所述的步骤(2)具体包括以下步骤：
(21)分析一个单位时间内所述的观众面部数据，将其转换为多个表情选项在该单位时间内所占的时长，所述的表情选项可以包括如图2所示的开心、惊讶、难过、木讷、愤怒等等；
(22)选择时长最长的一个表情选项代表该单位时间的观众情绪信息。
在进一步优选的实施方式中，所述的步骤(2)还包括以下步骤：
(23)将视频对应的所有单位时间的观众情绪信息汇总的占比数据作为视频情绪信息。
在更优选的实施方式中，该方法还包括以下步骤：
(3)在获取多个观众对于同一视频的观众情绪信息后，将各个观众的观众情绪信息汇总为该视频的视频情绪信息。
本发明还提供一种视频观众情绪信息采集分析装置及一种计算机可读存储介质，该装置包括处理器和存储器，该存储器即为计算机可读存储介质，所述的存储器上存储有计算机程序，该计算机程序被所述的处理器执行时，实现权利要求上述实施方式所述的视频观众情绪信息采集分析方法。
本发明还提供一种视频观众情绪信息采集分析系统，其包括通过网络连接的客户端和服务器，客户端即为上述的视频观众情绪信息采集分析装置。该系统还包括连接该装置的服务器，所述的服务器用以获取各所述的装置产生的与视频对应的观众情绪信息，汇总为该视频的视频情绪信息后，存储并展示该视频的视频情绪信息。
在实际应用中，本发明的整体实现流程为：在获得用户同意后，通过面部识别技术采集用户在观看视频时的情绪变化，并且对于情绪的时长进行记录，最终将视频全长中出现的用户情绪的种类和时长进行记录，在视频的详情页中进行展示，让观看此视频的用户能够有一个直观的真实的情绪预知。
以下通过各实施例具体说明本发明的实现方式。
实施例1
以观众利用手机客户端观看视频为例。首先观众可以设定情绪信息采集功能的开关。此功能会增加手机能耗，一般默认设置为关闭，在设置中可以开启此功能。
打开该功能后，在用户进入视频观看的时候开启面部识别，实时检测用户面部变化；此时需要判断用户观看场景光线是否充足，如果光线过暗，则会提示将不进行情绪监测。如果系统无法识别的用户面部同样会给出提示。
单个用户收集观看时长内的面部变化，按照时间轴进行记录；面部表情定义为如图2所示的几种种类(开心/惊讶/难过/木讷/愤怒)。如图3所示，为在某一时刻的用户表情占比示意图。多个用户观看同一个视频的面部变化统一按照时间轴进行陈列；同一个视频中的某一秒，开启采集的用户总数中如果有超过50％的用户是表情A，则将这一秒标记为表情A。由此实现根据视频时长进行用户面部信息的采集和分析。
完成情绪信息采集后，将采集到的信息进行整理，展示给进入视频详情页的用户进行参考，信息可以展示给观看的用户、其它潜在观众和视频提供者等等。给到用户的信息可以如图4所示，为“百分之xx的用户观看此视频时为表情A”。给到视频上传人员的信息可以如图5所示，为以视频时间为X轴，表情比例为Y轴的图标，告知视频上传人员视频的实际反馈。
实施例2
与实施例1的区别在于，本发明还可以应用于电视直播、网络直播等应用场合，在直播的同时，本发明的方法可以实时将采集到的观众表情信息提供给直播的主播和观众。
实施例3
与上述实施例的区别在于，本发明的方法还可以应用于剧场、影院等场所，对于同一场所内的多个观众进行同步的情绪信息采集，并形成相应的数据。
实施例4
在采用本发明的系统中，本发明和其他应用面部识别的发明的区别是将面部识别之后的信息，作为一个标签附着在视频作品上，增加用户判别内容优劣的一个维度。也就是当有观众想观看一个视频时，可以根据其情绪信息作为选择的参考。这种参考可以是以上述实施例1中所述的表情百分比数值的形式来提供数据。也可以在数值的基础上，提供用户基于观众表情数据的排序和筛选。例如观众想看喜剧，希望挑选到更好笑的视频，就可以利用本发明的方法选择开心表情的时长百分比进行排序，找到最好笑的视频。
采用了该发明的视频观众情绪信息采集分析方法、装置、系统和计算机可读存储介质，该方法中，在播放视频的同时利用面部识别技术采集观众面部数据，进而可将观众面部数据转换为与视频对应的观众情绪信息，以该信息来直观表示观众在观看该视频时的情绪，从而可以客观评价视频内容对观众情绪的影响，为其他观众在选择时提供重要的参考信息。且本发明的视频观众情绪信息采集分析方法的实现方式简单，相应的装置、系统和计算机可读存储介质使用成本低廉，应用范围也相当广泛。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (10)

1.一种视频观众情绪信息采集分析方法，其特征在于，包括以下步骤：
(1)在播放视频的同时利用面部识别技术采集观众面部数据；
(2)将所述的观众面部数据转换为与视频对应的观众情绪信息。
2.根据权利要求1所述的视频观众情绪信息采集分析方法，其特征在于，所述的步骤(1)具体包括以下步骤：
(11)在开始视频播放的同时开启观众面部数据采集功能；
(12)判断是否符合观众面部数据采集的条件，若是则进入步骤(13)，若否则给出提示并退出本方法；
(13)在视频播放过程中持续利用面部识别技术采集观众面部数据。
3.根据权利要求2所述的视频观众情绪信息采集分析方法，其特征在于，所述的是否符合观众面部数据采集的条件，至少包括以下条件：
a、环境亮度是否满足所述的面部识别技术的要求；
b、是否识别到人脸。
4.根据权利要求1所述的视频观众情绪信息采集分析方法，其特征在于，所述的步骤(2)具体包括以下步骤：
(21)分析一个单位时间内所述的观众面部数据，将其转换为多个表情选项在该单位时间内所占的时长；
(22)选择时长最长的一个表情选项代表该单位时间的观众情绪信息。
5.根据权利要求4所述的视频观众情绪信息采集分析方法，其特征在于，所述的表情选项包括开心、惊讶、难过、木讷和愤怒。
6.根据权利要求4所述的视频观众情绪信息采集分析方法，其特征在于，所述的步骤(2)还包括以下步骤：
(23)将视频对应的所有单位时间的观众情绪信息汇总的占比数据作为视频情绪信息。
7.根据权利要求1至6中任一项所述的视频观众情绪信息采集分析方法，其特征在于，还包括以下步骤：
(3)在获取多个观众对于同一视频的观众情绪信息后，将各个观众的观众情绪信息汇总为该视频的视频情绪信息。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现权利要求1至7中任一项所述的视频观众情绪信息采集分析方法。
9.一种视频观众情绪信息采集分析装置，其包括处理器和存储器，所述的存储器上存储有计算机程序，其特征在于，该计算机程序被所述的处理器执行时，实现权利要求1至7中任一项所述的视频观众情绪信息采集分析方法。
10.一种视频观众情绪信息采集分析系统，其包括权利要求9所述的装置，还包括连接该装置的服务器，其特征在于，所述的服务器用以获取各所述的装置产生的与视频对应的观众情绪信息，汇总为该视频的视频情绪信息后，存储并展示该视频的视频情绪信息。
CN201810935364.7A 2018-08-16 2018-08-16 视频观众情绪信息采集分析方法、装置、系统和存储介质 Pending CN109040842A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810935364.7A CN109040842A (zh) 2018-08-16 2018-08-16 视频观众情绪信息采集分析方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810935364.7A CN109040842A (zh) 2018-08-16 2018-08-16 视频观众情绪信息采集分析方法、装置、系统和存储介质

Publications (1)

Publication Number Publication Date
CN109040842A true CN109040842A (zh) 2018-12-18

Family

ID=64631754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810935364.7A Pending CN109040842A (zh) 2018-08-16 2018-08-16 视频观众情绪信息采集分析方法、装置、系统和存储介质

Country Status (1)

Country Link
CN (1) CN109040842A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191554A (zh) * 2019-12-24 2020-05-22 中国科学院软件研究所 一种基于隐喻地图的视频情感分析与可视化方法与系统
CN111401198A (zh) * 2020-03-10 2020-07-10 广东九联科技股份有限公司 观众情绪识别方法、装置及系统
CN111639511A (zh) * 2019-09-26 2020-09-08 窦翠云 舞台效果现场识别系统及方法
CN111666793A (zh) * 2019-03-08 2020-09-15 阿里巴巴集团控股有限公司 视频处理方法、视频处理装置和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120243751A1 (en) * 2011-03-24 2012-09-27 Zhihong Zheng Baseline face analysis
CN103826160A (zh) * 2014-01-09 2014-05-28 广州三星通信技术研究有限公司 获取视频的信息的方法及设备及播放视频的方法及设备
CN103914676A (zh) * 2012-12-30 2014-07-09 杭州朗和科技有限公司 一种在人脸识别中使用的方法和装置
CN105847976A (zh) * 2016-03-04 2016-08-10 乐视网信息技术（北京）股份有限公司 一种根据面部特征跳过广告的方法和装置
CN106792170A (zh) * 2016-12-14 2017-05-31 合网络技术（北京）有限公司 视频处理方法及装置
CN107016755A (zh) * 2017-03-24 2017-08-04 新疆习美人工智能科技有限公司 一种门禁装置及快速人脸识别认证通行方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120243751A1 (en) * 2011-03-24 2012-09-27 Zhihong Zheng Baseline face analysis
CN103914676A (zh) * 2012-12-30 2014-07-09 杭州朗和科技有限公司 一种在人脸识别中使用的方法和装置
CN103826160A (zh) * 2014-01-09 2014-05-28 广州三星通信技术研究有限公司 获取视频的信息的方法及设备及播放视频的方法及设备
CN105847976A (zh) * 2016-03-04 2016-08-10 乐视网信息技术（北京）股份有限公司 一种根据面部特征跳过广告的方法和装置
CN106792170A (zh) * 2016-12-14 2017-05-31 合网络技术（北京）有限公司 视频处理方法及装置
CN107016755A (zh) * 2017-03-24 2017-08-04 新疆习美人工智能科技有限公司 一种门禁装置及快速人脸识别认证通行方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666793A (zh) * 2019-03-08 2020-09-15 阿里巴巴集团控股有限公司 视频处理方法、视频处理装置和电子设备
CN111639511A (zh) * 2019-09-26 2020-09-08 窦翠云 舞台效果现场识别系统及方法
CN111191554A (zh) * 2019-12-24 2020-05-22 中国科学院软件研究所 一种基于隐喻地图的视频情感分析与可视化方法与系统
CN111401198A (zh) * 2020-03-10 2020-07-10 广东九联科技股份有限公司 观众情绪识别方法、装置及系统
CN111401198B (zh) * 2020-03-10 2024-04-23 广东九联科技股份有限公司 观众情绪识别方法、装置及系统

Similar Documents

Publication Publication Date Title
CN109040842A (zh) 视频观众情绪信息采集分析方法、装置、系统和存储介质
WO2021196890A1 (zh) 多媒体处理方法、装置、电子设备、存储介质
US9715901B1 (en) Video preview generation
CN103024521B (zh) 节目筛选方法、系统及具有该系统的电视
KR101944469B1 (ko) 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체
CN104798346B (zh) 用于补充与广播媒体相关的电子消息的方法和计算系统
CN102893625B (zh) 选择性内容呈现引擎
CN105868259A (zh) 一种基于人脸识别的视频推荐方法和装置
Jiang et al. Live: an integrated production and feedback system for intelligent and interactive tv broadcasting
CN103686344A (zh) 增强视频系统及方法
US20140032331A1 (en) Method for interacting with customers at a point of sale for goods or services
WO2008156953A1 (en) Method and system for media-based event generation
CN109688475A (zh) 视频播放跳转方法、系统及计算机可读存储介质
KR101670824B1 (ko) 광고 영상 감독과 광고주 중개방법
CN108197336B (zh) 一种视频查找的方法及装置
CN109672935A (zh) 基于用户情绪的视频推送系统及方法
CN108737903B (zh) 一种多媒体处理系统及多媒体处理方法
CN106202226A (zh) 一种资源推荐方法及装置
CN111417024A (zh) 一种基于场景识别的节目推荐方法、系统及存储介质
US9152707B2 (en) System and method for creating and providing media objects in a navigable environment
CN103475911B (zh) 基于视频特征的电视信息提供方法及系统
CN113542833A (zh) 基于人脸识别的视频播放方法、装置、设备及存储介质
CN109462765A (zh) 一种推荐页面下发和显示方法及装置
CN109388737A (zh) 一种内容项的曝光数据的发送方法、装置及存储介质
US20140012792A1 (en) Systems and methods for building a virtual social network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181218

RJ01 Rejection of invention patent application after publication