CN110519617A - 视频评论处理方法、装置、计算机设备及存储介质 - Google Patents

视频评论处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110519617A
CN110519617A CN201910651935.9A CN201910651935A CN110519617A CN 110519617 A CN110519617 A CN 110519617A CN 201910651935 A CN201910651935 A CN 201910651935A CN 110519617 A CN110519617 A CN 110519617A
Authority
CN
China
Prior art keywords
comment data
target
comment
video
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910651935.9A
Other languages
English (en)
Other versions
CN110519617B (zh
Inventor
康昕煜
陈爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910651935.9A priority Critical patent/CN110519617B/zh
Publication of CN110519617A publication Critical patent/CN110519617A/zh
Application granted granted Critical
Publication of CN110519617B publication Critical patent/CN110519617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25891Management of end-user data being end-user preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种视频评论处理方法、装置、计算机设备及存储介质,该方法包括:获取客户端播放原始视频的同时采集到的用户的录制视频,每一待识别图像的录制时间戳与一原始视频图像的播放时间戳关联;若接收到视频评论指令,基于接收到视频评论指令的系统时间和预设时间段,确定目标评论时间,获取目标评论时间内的携带情绪标签的已评论数据;采用微表情识别模型对目标评论时间对应的待识别图像进行微表情识别,获取目标情绪类型;将与目标情绪类型相匹配的情绪标签对应的已评论数据作为推荐评论数据,在客户端的评论界面上显示推荐评论数据;基于推荐评论数据获取并发表目标评论数据。该方法可实现快速获取相应的评论信息并进行分享。

Description

视频评论处理方法、装置、计算机设备及存储介质
技术领域
本发明涉及微表情识别技术领域,尤其涉及一种视频评论处理方法、装置、计算机设备及存储介质。
背景技术
在移动互联网中,视频(尤其是网络视频)是各类移动数据流量中规模最大、发展最快的一类。所谓网络视频,是指由网络视频服务商提供的、以流媒体为播放格式的、可以在线直播或点播的声像文件。网络视频一般需要独立的播放器,文件格式主要是基于P2P(Peer to Peer,点对点网络)技术占用客户端资源较少的FLV(Flash Video,流媒体)格式。
对于智能手机用户,既可以在移动网络环境下,也可以在Wi-Fi环境下收看视频流、电影、电视节目、用户自己制作的剪辑片段以及视频通话等。在用户浏览视频过程中会产品一些感想,并对视频内容进行评论以抒发自己的感想,此时视频播放终端会获取用户的评论信息,并将该评论信息发送给服务器,以完成对视频内容的评论。当用户对视频内容进行评论时,用户可通过键盘或触控屏等输入工具向视频播放终端输入文字信息,并将该文字信息作为用户的评论信息,将该评论信息发送给服务器,使该用户的评论信息显示在视频播放终端的评论页面中,以使评论信息显示在用户本人和其他正在观看该视频的人内容的视频播放终端的显示界面,从而达到分享用户的评论信息。当前,由于用户往往需要花费很长时间才能输入一段文字信息,如此导致用户对视频内容的评论效率较低,影响对其他视频内容的观看。
发明内容
本发明实施例提供一种视频评论处理方法、装置、计算机设备及存储介质,以解决当前评论效率较低的问题。
一种视频评论处理方法,包括:
获取客户端播放原始视频的同时采集到的用户的录制视频,所述原始视频包括至少一帧原始视频图像,所述录制视频包括至少一帧待识别图像,每一所述待识别图像的录制时间戳与一所述原始视频图像的播放时间戳关联;
若接收到视频评论指令,基于接收到所述视频评论指令的系统时间和预设时间段,确定目标评论时间,获取所述目标评论时间内的携带情绪标签的已评论数据;
采用微表情识别模型对所述目标评论时间对应的所述待识别图像进行微表情识别,获取目标情绪类型;
将与所述目标情绪类型相匹配的情绪标签对应的已评论数据作为推荐评论数据,在所述客户端的评论界面上显示所述推荐评论数据;
基于所述推荐评论数据获取目标评论数据,并发表所述目标评论数据。
一种视频评论处理装置,包括:
录制视频获取模块,用于获取客户端播放原始视频的同时采集到的用户的录制视频,所述原始视频包括至少一帧原始视频图像,所述录制视频包括至少一帧待识别图像,每一所述待识别图像的录制时间戳与一所述原始视频图像的播放时间戳关联;
已评论数据获取模块,若接收到视频评论指令,基于接收到所述视频评论指令的系统时间和预设时间段,确定目标评论时间,获取所述目标评论时间内的携带情绪标签的已评论数据;
目标情绪类型获取模块,采用微表情识别模型对所述目标评论时间对应的所述待识别图像进行微表情识别,获取目标情绪类型;
推荐评论数据确定模块,用于将与所述目标情绪类型相匹配的情绪标签对应的已评论数据作为推荐评论数据,在所述客户端的评论界面上显示所述推荐评论数据;
目标评论数据获取模块,用于基于所述推荐评论数据获取目标评论数据,并发表所述目标评论数据。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述视频评论处理方法。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述视频评论处理方法。
本实施例所提供的视频评论处理方法、装置、计算机设备及存储介质,播放原始视频的同时采集到的用户的录制视频,以使每一待识别图像的录制时间戳与一原始视频图像的播放时间戳关联,以保证对原始视频进行微表情分析的客观性。在接收到视频评论指令之后,基于系统时间和预设时间段确定目标评论时间,从而获取该目标评论时间对应的携带情绪标签的已评论数据,并采用微表情识别模型对目标评论时间对应的待识别图像进行微表情识别,以获取目标情绪类型,从而保证视频评论处理的客观性。将与目标情绪类型相匹配的情绪标签对应的已评论数据作为推荐评论数据,基于推荐评论数据获取目标评论数据,并发表目标评论数据,从而实现快速获取相应的评论信息并进行分享,提高视频评论的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中视频评论处理方法的一应用环境示意图;
图2是本发明一实施例中视频评论处理方法的一流程图;
图3是本发明一实施例中视频评论处理方法的另一流程图;
图4是本发明一实施例中视频评论处理方法的另一流程图;
图5是本发明一实施例中视频评论处理方法的另一流程图;
图6是本发明一实施例中视频评论处理方法的另一流程图;
图7是本发明一实施例中视频评论处理方法的另一流程图;
图8是本发明一实施例中视频评论处理方法的另一流程图;
图9是本发明一实施例中视频评论处理装置的一示意图;
图10是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种视频评论处理方法,该视频评论处理方法可应用如图1所示的应用环境中。具体地,该视频评论处理方法应用在视频播放系统中,该视频播放系统包括如图1所示的客户端和服务器,客户端与服务器通过网络进行通信,通过对客户端对应的拍摄模块录制用户观看原始视频的至少一帧待识别图像进行微表情分析,根据微表情类型快速获取相应的评论信息并进行分享。其中,客户端又称为用户端,是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种视频评论处理方法,以该方法应用在图1中的服务器为例进行说明,包括如下步骤:
S201:获取客户端播放原始视频的同时采集到的用户的录制视频,原始视频包括至少一帧原始视频图像,录制视频包括至少一帧待识别图像,每一待识别图像的录制时间戳与一原始视频图像的播放时间戳关联。
其中,原始视频是指用户的手机和电脑等终端设备所安装的视频播放程序(即客户端)所播放的视频,用于供用户观看。录制视频是指通过安装视频播放程序的终端设备的拍摄模块(如内置摄像头)实时拍摄用户观看该原始视频的同时,用户面部表情变化的视频。原始视频包括至少一帧原始视频图像,该原始视频图像为形成原始视频的单帧图像,即原始视频中最小单位的单幅影像画面。每一原始视频图像携带有一播放时间戳,该播放时间戳为原始视频图像在原始视频中的时间戳,例如,10min的原始视频中第100s的原始视频图像的播放时间戳为100s。录制视频包括至少一帧待识别图像,该待识别图像为形成录制视频的单帧图像,即录制视频中最小单位的单幅影像画面。每一待识别图像对应一录制时间戳,该录制时间戳为待识别图像在录制视频中的时间戳,例如,10min的录制视频中第100s的待识别图像的播放时间戳为100s。该录制时间戳与原始视频图像携带的播放时间戳相关联,以使待识别图像与原始视频图像一一对应,便于精准捕捉、确定用户观看原始视频时所作出的交互动作。
具体地,每一原始视频携带有唯一的视频标识,该视频标识用于唯一识别对应的原始视频,例如《XX》第XX集对应的原始视频,携带有唯一的视频标识XX0001,以使服务器根据该视频标识XX0001,可获取其对应的《XX》第XX集对应的原始视频。每一原始视频图像携带的播放时间戳为原始视频图像在原始视频中的时间戳。在本实施例中,服务器接收到客户端播放同一原始视频的同时,获取通过安装在客户端的终端设备的拍摄模块(如内置摄像头)实时拍摄所有用户观看该原始视频的表情变化对应的录制视频,该录制视频包括至少一帧待识别图像,每一待识别图像对应一录制时间戳,该录制时间戳与原始视频图像携带的播放时间戳相关联。可以理解地,通过用户观看该原始视频时的录制视频,获取该用户的目标交互动作,以更好的确定该用户是否想对原始视频进行评论,从而有助于实现根据微表情快速获取相应的评论信息并进行分享,以快速、便捷地获取视频评论信息。
在一具体实施方式中,获取客户端播放原始视频的同时采集到的用户的录制视频,包括:(1)控制客户端播放原始视频,使原始视频中的每一原始视频图像的播放时间戳与系统时间关联。(2)获取客户端播放原始视频的同时采集到的用户的录制视频,使录制视频中的每一待识别图像的录制时间戳与系统时间关联。(3)基于系统时间,使每一待识别图像的录制时间戳与一原始视频图像的播放时间戳关联。其中,系统时间为任一时刻系统的当前时间,如可通过System类中的currentTimeMillis方法来获取系统时间。一般来说,若原始视频的播放与录制视频的录制的时间同步,则原始视频的播放时间戳与录制视频的录制时间戳相对应,即第1帧原始视频图像对应第1帧待识别图像,以使该待识别图像可反映该用户观看对应的原始视频图像时的微表情。相应地,若原始视频的播放与录制视频的录制的时间不同步,则需通过系统时间关联原始视频的播放时间戳与录制视频的录制时间戳,以使存在关联关系的待识别图像可反映该用户观看对应的原始视频图像时的微表情。例如,在播放原始视频的第1min后,若用户同意并开始拍摄录制视频,则原始视频的播放与录制视频的录制的时间通过系统时间关联,即若在10点5分10秒时播放第1000帧原始视频图像,且在10点5分10秒时录制第10帧待识别图像,则第1000帧原始视频图像的播放时间戳与第10帧待识别图像的录制时间戳关联。
一般来说,在任一视频播放系统中,客户端设置有可采集并录制用户观看原始视频过程中的录制视频的功能选项,用户可通过对该功能选项的配置页面进行自主配置,以决定是否需要实时采集观看原始视频过程中的录制视频,并且可在该配置页面上配置相应的标准交互动作表,以便后续根据用户自主设置的目标交互动作控制录制视频的开始或者结束;也可以直接在客户端的播放界面上设置有开始录制和结束录制的按键,用户可通过点击相应的按键实现录制视频的开始或者结束控制。
同样地,用户也可以在配置页面中确定是否需要显示并保留所客户端采集的录制视频;如需播放录制视频,则在客户端播放原始视频的播放界面上悬浮一小屏幕,用于播放录制视频,以将实时拍摄到的录制视频呈现给用户观看。一般来说,这种需要播放录制视频的过程,通常应用在视频直播或者其他交互场景下。
S202:若接收到视频评论指令,基于接收到视频评论指令的系统时间和预设时间段,确定目标评论时间,获取目标评论时间内的携带情绪标签的已评论数据。
其中,视频评论指令是用于触发对原始视频的视频内容进行评论的指令,可以理解为用户想对当前观看的原始视频的视频内容进行评论并采用相应的操作(如点击评论按钮)而使服务器获知这一信息所形成的指令。
预设时间段是预先设置的时间段,可以根据实际需求自主确定,例如可设置为1分钟。目标评论时间是指观看原始视频的用户对与录制时间戳对应的原始视频进行评论的时间,可以设置为服务器接收到该视频评论指令的系统时间之前的预设时间段。由于用户对客户端正在播放的原始视频发表评论,一般是基于已经看过的原始视频进行评论,而不是对还未观看到的视频片段进行评论,因此在接收到视频评论指令后,需基于该视频评论指令的系统时间和预设时间段确定目标评论时间。
例如,若用户在录制时间戳为第10分钟时,系统时间为10:20时想对原始视频进行评论从而触发视频评论指令,则目标评论时间是系统时间之前的预设时间段,即系统时间为10:19-10:20这一时间段。由于系统时间与每一待识别图像的录制时间戳和每一原始视频图像的播放时间戳关联,因此,要根据该目标评论数据确定对应的播放时间戳所形成的待评论视频片段,并确定对应的录制时间戳所形成的待分析视频片段。其中,待评论视频片段是指播放时间戳与目标评论时间相对应的原始视频中截取的片段,例如,可将系统时间为10:19-10:20这一时间段中原始视频所播放的内容形成的片段确定为待评论视频片段。待分析视频片段是指录制时间戳与目标评论时间相对应的录制视频中截取的片段,是可用于分析每一帧待识别图像的微表情,从而确定其情绪变化的片段,例如,可将系统时间为10:19-10:20这一时间段中录制视频所对应的内容形成的片段确定为待评论视频片段。
已评论数据是观看同一原始视频的用户对目标评论时间内的待评估视频片段发表的感想。由于不同观众观看到的同一原始视频的感想不同,其所评论的内容一般与其情绪相对应,因此,服务器在获取每一已评论数据之后,需依据该已评论数据的内容分析其对应的情绪,以使每一已评论数据携带一情绪标签。
具体地,服务器基于接收到视频评论指令的系统时间和预设时间段,确定目标评论时间之后,可获取该目标评论时间相对应的待评论视频片段,进而获取其他用户对待评论视频片段进行评论的已评论数据,对已评论数据进行内容分析以确定其对应的情绪,并对该情绪进行标注以获取与已评论数据相对应的情绪标签。
S203:采用微表情识别模型对目标评论时间对应的待识别图像进行微表情识别,获取目标情绪类型。
其中,微表情识别模型是用于识别待识别图像中人脸微表情的模型。本实施例中,微表情识别模型是通过捕捉待识别图像中的用户脸部的局部特征,并根据局部特征确定待识别图像中人脸的各个目标面部动作单元,再根据所识别出的目标面部动作单元确定其微表情的模型。微表情识别模型可以是基于深度学习的神经网络识别模型,也可以是基于分类的局部识别模型,还可以是基于局部二值模式(Local Binary Pattern,LBP)的局部情绪识别模型。其中,微表情识别模型是基于分类的局部识别模型,微表情识别模型预先进行训练时,通过预先收集大量的训练图像数据,训练图像数据中包含每一面部动作单元的正样本和面部动作单元的负样本,通过分类算法对训练图像数据进行训练,获取微表情识别模型。本实施例中,可以是通过SVM分类算法对大量的训练图像数据进行训练,以获取到与多个面部动作单元对应的SVM分类器。例如,可以是39个面部动作单元对应的39个SVM分类器,也可以是54个面部动作单元对应的54个SVM分类器,进行训练的训练图像数据中包含的不同面部动作单元的正样本和负样本越多,则获取到的SVM分类器数量越多。可以理解地,通过多个SVM分类器以形成微表情识别模型中,其获取到的SVM分类器越多,则形成的微表情识别模型所识别出的微表情类型越精准。以54个面部动作单元对应的SVM分类器所形成的微表情识别模型为例,采用这一微表情识别模型可识别出54种微表情类型,例如可识别出包含爱、感兴趣、惊喜、期待……攻击性、冲突、侮辱、怀疑和恐惧等54种微表情类型。
目标情绪类型是指采用微表情识别模型对目标评论时间对应的待识别图像进行识别并分析之后确定的与该目标评论时间相对应的情绪类型。
由于每一目标评论时间对应一待分析视频片段和待评论视频片段,一般可以理解为该待分析视频片段是用户在目标评论时间内观看待评论视频片段的过程中实时采集到的视频片段。服务器采用微表情识别模型对目标评论时间对应的待识别图像进行微表情识别,具体是指采用微表情识别模型对该目标评论时间对应的待分析视频片段中的每一待识别图像进行微表情分析,以确定每一待识别图像对应的单帧情绪类型,并对该目标评论时间对应的所有待识别图像的单帧情绪类型进行汇总分析,从而确定其对应的目标情绪类型。可以理解地,采用微表情识别模型对目标评论时间对应的待识别图像进行微表情识别,使得其分析出现的目标情绪类型具有较强的客观性。
S204:将与目标情绪类型相匹配的情绪标签对应的已评论数据作为推荐评论数据,在客户端的评论界面上显示推荐评论数据。
其中,该评论界面是用于供用户进行评论操作的界面。推荐评论数据是指显示在评论界面上以供用户进行选择或修改的数据。服务器根据微表情识别模型确定该用户在观看待评论视频片段过程形成的待分析视频片段对应的目标情绪类型,然后获取携带有与该目标情绪类型对应的情绪标签的已评论视频作为推荐评论数据,以显示在客户端的评论界面上,以供用户进行参考修改。
进一步地,在获取目标评论时间内的携带情绪标签的已评论数据之后,服务器还执行如下步骤:对已评论数据进行表情评论清洗和去重清洗处理,以使所获取的已评论数据均为文本评论数据,避免在客户端的显示界面显示无用或重复的推荐评论数据,有助于提高用户评论的效率。其中,表情评论清洗是指对以表情形式显示的已评论数据进行清洗,以避免这一已评论数据作为推荐评论数据显示在显示界面上,对用户造成干扰。去重清洗处理是用于去除重复的已评论数据的过程。可以理解地,服务器可以采用文本相似度算法对比任意两个已评论数据的相似度,若相似度大于预设值,则仅保留其中一个,以达到去重清洗处理的效果,以避免这一已评论数据作为推荐评论数据显示在显示界面上,对用户造成干扰。
S205:基于推荐评论数据获取目标评论数据,并发表目标评论数据。
本实施例中,基于推荐评论数据获取目标评论数据的过程包括如下情况:其一是,若用户对评论界面显示的推荐评论数据比较认同,可直接将该推荐评论数据作为目标评论数据发表;其二是,若用户想对评论界面显示的推荐评论数据进行修改,则可输入评论修改指令以进入评论修改界面,在评论修改界面上显示推荐评论数据并供用户进行修改,将修改后的推荐评论数据作为目标评论数据发表。可以理解地,基于推荐评论数据获取目标评论数据的过程可以将与用户观看待评论视频片段过程中具有同感的推荐评语数据(即情绪标签与目标情绪类型相匹配的已评论数据)作为评论的部分数据,以供用户进行选择或修改,从而可以有效加快评论数据的输入速度,提高评论效率。
在一种实施方式中,用户可通过点击客户端上相应的按钮(如发表按钮或修改按钮)以输入相应的控制指令,从而确定和发表目标评论数据。在另一种实施方式中,若用户双手操作不方便时,可通过客户端实时采集到的动作检测片段进行检测识别,以确定相应的控制指令,以解放用户双手,并达到快速发表评论的目的。具体地,在每一推荐评论数据对应的显示期限内,对获取客户端实时录制的动作检测片段,并对该动作检测片段进行检测,获取相应的目标交互动作,根据该目标交互动作查询标准交互动作表,以确定该目标交互动作对应的控制指令。该目标交互动作是对动作检测片段中用户动作变化进行检测识别后确定的动作。
若目标交互动作为评论发表动作,则根据该目标交互动作查询标准交互动作表,确定对应的控制指令为评论发表指令,可直接将推荐评论数据确定为目标评论数据。可以理解地,在每一推荐评论数据的显示期限内(如3秒内),若用户认同这一推荐评论数据的内容,也想发表同样的想法,则可通过预先设置的标准交互动作表中预设的评论发表动作,进行头部或眼部进行相应的操作,以将某一推荐评论数据确定为目标评论数据,无需用户手动输出相应的目标评论数据,以提高目标评论数据的输入效率。
若目标交互动作为评论修改动作,则根据该目标交互动作查询标准交互动作表,确定对应的控制指令为评论修改指令,可基于评论修改指令进入评论修改界面,获取客户端上传的基于推荐评论数据进行修改的目标评论数据。可以理解地,在客户端上传的推荐评论数据中包括与用户当前目标情绪类型相匹配的推荐评论数据,用户可通过对该推荐评论数据进行修改,以加快目标评论数据的输入效率。
若目标交互动作为评论输入动作,则根据该目标交互动作查询标准交互动作表,确定对应的控制指令为评论输入指令,可基于评论修改指令进入评论输入界面,该评论输入界面没有显示推荐评论数据,可由用户自主输入相应的目标评论数据。
进一步地,在基于评论修改指令进入评论输入界面之后,服务器可获取用户通过客户端输入的输入方式选择指令;根据输入方式选择指令,采用与输入方式选择指令相对应的信息采集接口获取用户输入的目标评论数据。可以理解地,在获取输入方式选择指令之后,客户端显示多种输入方式选择界面,以便用户自主选择其所需的输入方式。例如,客户端可获取输入方式选择指令具体为除了微表情之外,还包括语音输入方式、文字输入方式和表情输入方式等,可根据用户不同的输入方式获取相对应的目标评论数据,以实现获取多种形式的目标评论数据的目的。
在一实施例中,在原始视频为电影或电视等视频类型时,用户更倾向于获取文本形式的评论数据,但为了提高评论输入效率,可采用语音评论的方式先输入评论,再通过服务器后台转换成文本形式的评论数据,可提高用户评论的效率。这种方式具体包括如下步骤:(1)获取客户端采集到的语音评论数据和用户帐号。(2)采用目标语音静态解码网络对语音评论数据进行评论,获取文本评论数据。(3)根据用户帐号查询数据库,获取与用户帐号相对应的用户画像信息。(4)基于用户画像信息,获取与用户画像信息相对应的评论模板,并基于目标情绪类型获取相应的目标色调。(5)将文本评论数据填充在评论模板中,获取原始评论数据,采用目标色调对原始评论数据进行处理,获取目标评论数据。
其中,语音评论数据是用户采用语音方式输入的评论数据。用户帐号是在该视频播放系统中唯一识别用户身份的标识。目标语音静态解码网络是预先采用训练文本数据和对应的训练语音数据进行模型训练后获取到的用于识别语音中文本内容的静态解码网络。由于静态解码网络已经把搜索空间全部展开,因此其在进行文本翻译时,解码速度非常快,从而可快速获取文本评论数据。该文本评论数据是采用目标语音静态解码网络对语音评论数据进行识别后,获取到的以文本形式存在的数据。评论模板是服务器预先设置的不同用户画像信息相对应的用于评论的模板,该评论模板中可配置有与该用户画像信息相对应的表情图形或者其他模式内容。例如,可根据用户画像信息中的年龄和性别,选择与其匹配的评论模板。目标色调是与目标情绪类型相对应的色调,例如,在目标情绪类型为悲哀时,其目标色调偏灰白色,以便基于该目标色调调整其原始评论数据,以使获得的目标评论数据与用户当前的情绪相匹配,使得其发表评论时更能反映其情绪。
在另一实施例中,在原始视频为直播等视频类型时,采用语音形式的评论更具有代入感,但针对聋哑人或者其他有语言障碍的用户而言,其无法直接采用语言评论的方式对原始视频进行评论,因此,可先采用文本评论的方式先输入评论,再通过服务器后台转换成语音形式的评价数据,可保证用户评论的输入方式的多样性。这种方式具体包括如下步骤:
(1)获取客户端采集到的文本评论数据和用户帐号。(2)根据用户帐号查询数据库,获取与用户帐号相对应的用户画像信息。(3)基于用户画像信息,获取与用户画像信息相对应的语音转换模式。(4)采用TTS技术,对文本评论数据进行语音转换,获取与语音转换模式相对应的语音评论数据。(5)基于目标情绪类型获取相应的目标音量,采用目标音量对语音评论数据进行处理,获取目标评论数据。
其中,文本评论数据是指用户采用文本方式输入的评论数据。语音转换模式是服务器预先设置的不同用户画像信息相对应的语音输入的模式,该语音转换模式中可配置有与该用户画像信息相对应的音量或音色。例如,可根据用户画像信息中的性别为女性,年龄为20,则采用与该性别和年龄相匹配的年轻女性对应的语音转换模式。然后,采用TTS(TextTo Speech,即从文本到语音)技术,对文本评论数据进行语音转换,获取与语音转换模式相对应的语音评论数据。基于目标情绪类型获取相应的目标音量,采用目标音量对语音评论数据进行处理,获取目标评论数据。例如该原始视频内容比较悲伤,则用户对应的目标情绪类型是悲,此时对应的目标音量应该比较低沉,以使目标评论数据可以反应用户的情绪。
本实施例所提供的视频评论处理方法中,在播放原始视频的同时采集到的用户的录制视频,以使每一待识别图像的录制时间戳与一原始视频图像的播放时间戳关联,以保证对原始视频进行微表情分析的客观性。在接收到视频评论指令之后,基于系统时间和预设时间段确定目标评论时间,从而获取该目标评论时间对应的携带情绪标签的已评论数据,并采用微表情识别模型对目标评论时间对应的待识别图像进行微表情识别,以获取目标情绪类型,从而保证视频评论处理的客观性。将与目标情绪类型相匹配的情绪标签对应的已评论数据作为推荐评论数据,基于推荐评论数据获取目标评论数据,并发表目标评论数据,从而实现快速获取相应的评论信息并进行分享,提高视频评论的效率。
在一实施例中,如图3所示,在步骤S202中的若接收到视频评论指令,具体包括如下步骤:
S301:基于每一待识别图像的录制时间戳形成动作检测片段。
其中,动作检测片段是从录制视频中确定的需要进行动作检测识别的片段。具体地,服务器预先设置构建动作检测片段对应的采集帧数为N(如可以设置30帧),可根据每一待识别图像的录制时间戳,选择连续30帧待识别图像形成动作检测片段,以便检测该动作检测片段是否存在需控制客户端进行视频评论、音量调整、进度调整或者其他动作的交互动作。
S302:对动作检测片段进行检测,获取目标交互动作。
其中,目标交互动作是指用于根据动作检测片段检测识别出来的动作。具体地,服务器可采用预先设置的动作检测模型对动作检测片段中的用户动作进行识别,以确定该动作检测模型对应的目标交互动作。
在一具体实施方式中,对动作检测片段进行检测,获取目标交互动作,具体包括如下步骤:(1)将待识别图像输入到人脸特征点检测模型进行识别,获取人脸特征点。该人脸特征点包括左眼、右眼、鼻尖、左嘴角和右嘴角等五个特征点。(2)基于人脸特征点,对待识别图像中头部区域进行裁剪,获取目标头部图像。(3)将目标头部图像输入到头部姿态检测模型进行识别,获取至少一个头部姿态偏移方向的偏移概率,选取偏移概率最大的头部姿态偏移方向确定为该待识别图像的目标头部姿态。(4)根据动作检测片段中每一待识别图像的目标头部姿态,确定动作检测片段对应的检测动作。(5)基于检测动作查询头部交互动作表,获取对应的目标交互动作。在本实施例中,采用人脸特征点检测模型进行识别待识别图像,以获取用户的目标头部图像,从而精准确定动作检测片段对应的目标交互动作,可以理解地,将动作检测片段的动作检测过程转换为对用户的头部区域进行识别,采用头部姿态检测模型进行识别,降低其泛化性,从而提高模型识别的准确性。
在一具体实施方式中,对动作检测片段进行检测,获取目标交互动作,具体包括如下步骤:(1)将待识别图像输入到人脸特征点检测模型进行识别,获取人脸特征点。该人脸特征点包括左眼、右眼、鼻尖、左嘴角和右嘴角等五个特征点。(2)基于人脸特征点,对待识别图像中眼部区域进行裁剪,获取目标眼部图像。(3)将动作检测片段中所有的目标眼部图像输入到眨眼检测模型进行识别,以获取动作检测片段内的眨眼次数。(4)将动作检测片段中所有的目标眼部图像输入到虹膜边缘检测模型进行识别,以获取动作检测片段内的眼睛转动情况。(5)根据动作检测片段内的眨眼次数和眼睛转动情况,查询眼部交互动作表,获取对应的目标交互动作。在本实施例中,采用人脸特征点检测模型进行识别待识别图像,以获取用户的目标眼部图像,从而精准确定动作检测片段对应的目标交互动作,可以理解地,将动作检测片段的动作检测过程转换为对用户的眼部区域进行识别,采用眨眼检测模型和虹膜边缘检测模型进行识别,降低其泛化性,从而提高模型识别的准确性。
S303:基于目标交互动作查询标准交互动作表,若目标交互动作为视频评论动作,则接收到视频评论指令。
具体地,服务器预先配置标准交互动作表,该标准交互动作表中配置每一交互动作对应的头部动作或者眼部动作。例如,若在2秒之内摇头或者点头2次这一目标交互动作为视频评论动作,说明用户想对视频进行评论,因此可认定服务器接收到视频评论指令;或者在2秒之内眨眼3次代表这一目标交互动作为视频评论动作,说明用户想对视频进行评论,因此可认定服务器接收到视频评论指令。相应地,该标准交互动作表包括头部交互动作表或者眼部交互动作表。
本实施例所提供的视频评论处理方法中,通过对动作检测片段进行检测,以确定目标交互动作,然后查询标准交互动作表以确定该目标交互动作是否为视频评论动作,以判断是否接收视频评论指令的过程,可以解放用户双手,无需通过双手操作视频播放系统即可输入相应的视频评论指令,提高视频评论指令输入的效率和应用性。
在一实施例中,如图4所示,在步骤S203中,采用微表情识别模型对目标评论时间对应的待识别图像进行微表情识别,获取目标情绪类型,包括:
S401:采用微表情识别模型对目标评论时间对应的每一待识别图像进行微表情识别,获取至少一种识别表情类型对应的瞬时概率。
其中,识别表情类型是指采用微表情识别模型对待识别图像进行识别时,识别到其属于预先配置的某一种微表情类型的模型。
具体地,服务器预先训练好的微表情识别模型中包括多个SVM分类器,每一SVM分类器用于识别一种面部动作单元。本实施例中,微表情识别模型中包含54个SVM分类器,建立面部动作单元编号映射表,每个面部动作单元用一个预先规定的编号表示。例如,AU1为内眉上扬,AU2为外眉上扬,AU5为上眼睑上扬和AU26为下颚张开等。每个面部动作单元有训练好对应的SVM分类器。例如,通过内眉上扬对应的SVM分类器可识别出内眉上扬的局部特征属于内眉上扬的概率值,通过外眉上扬对应的SVM分类器可识别出外眉上扬的局部特征属于外眉上扬的概率值等。
本实施例中,服务器采用预先训练好的微表情识别模型对目标评论时间对应的待识别图像进行识别时,可先对每一待识别图像进行人脸关键点检测和特征提取等,以获取待识别图像的局部特征。其中,目标评论时间对应的待识别图像具体是指该目标评论时间对应的待分析视频片段中的待识别图像。本实施例中,可采用但不限于Ensemble ofRegression Tress(简称ERT)算法、SIFT(scale-invariant feature transform)算法,SURF(Speeded Up Robust Features)算法,LBP(Local Binary Patterns)算法和HOG(Histogram of Oriented Gridients)算法等人脸关键点算法对待识别图像进行人脸关键点检测。可采用但不限于CNN(Convolutional Neural Network,卷积神经网)算法等特征提取算法进行特征提取。再将该局部特征输入到多个SVM分类器中,通过多个SVM分类器对的输入的所有局部特征进行识别,获取多个SVM分类器输出的与该面部动作单元对应的概率值,将概率值大于预设阈值的SVM分类器对应的面部动作单元确定为目标面部动作单元。其中,目标面部动作单元是指根据微表情识别模型对待识别图像进行识别,获取到的面部动作单元(Action Unit,AU)。概率值具体可以是0-1之间的值,若输出的概率值为0.6,预设阈值为0.5,那么概率值0.6大于预设阈值0.5,则将0.6对应的面部动作单元,作为待识别图像的目标面部动作单元。最后,将所获取到的所有目标面部动作单元进行综合评估,获取其属于微表情识别模型预先配置的微表情类型对应的概率,即属于每一种识别表情类型的瞬时概率。将所获取到的所有目标面部动作单元进行综合评估具体是指基于所有目标面部动作单元的组合,获取这一组合属于预先配置的微表情类型的概率,以确定其识别表情类型的瞬时概率。
S402:将瞬时概率最大的识别表情类型确定为待识别图像的微表情类型。
具体地,在识别到每一待识别图像属于至少一种识别表情类型的瞬时概率之后,需将瞬时概率最大的识别表情类型确定为待识别图像对应的微表情类型。例如,在识别到其该待识别图像属于“爱”这一识别表情类型的瞬时概率为0.9,而属于“怀疑”和“宁静”这两个识别表情类型的瞬时概率分别为0.05,则将瞬时概率为0.9对应的识别表情类型确定为该待识别图像的微表情类型,以保证所识别出的微表情类型的准确性。
S403:基于微表情类型查询情绪值对照表,获取待识别图像的瞬时情绪值。
其中,情绪值对照表是预先设置的用于记录每一种微表情类型对应的情绪属性的数据表。在情绪值对照表中,存储有微表情类型和情绪值的关联关系。服务器在获取到待识别图像所属的微表情类型后,基于该微表情类型查询情绪值对照表,获取相对应的瞬时情绪值。其中,瞬时情绪值是[-1,1]之间的数值,数值越大,反映用户越喜好该待识别图像关联的录制时间戳对应的原始视频图像;数据越小,反映用户越厌恶该待识别图像关联的录制时间戳对应的原始视频图像。例如,为了便于后续计算,可将微表情识别模型识别出的54种微表情类型对应的瞬时情绪值分别设置为1、0.8、0.5、0.3、0、-0.3、-0.5、-0.8和-1中的任一个。
S404:依据待识别图像的瞬时情绪值进行情绪分类,获取待识别图像对应的单帧情绪类型。
具体地,服务器预先设置有不同情绪类型,每一种情绪类型对应一情绪值范围,服务器根据每一待识别图像的瞬时情绪值确定其所属的情绪值范围,以将该情绪值范围对应的情绪类型确定为该待识别图像的单帧情绪值。例如,依据待识别图像的瞬时情绪值,将该待识别图像对应的情绪划分为喜、怒、哀和乐等情绪类型中的一种,确定该待识别图像对应的情绪类型,以基于该情绪分类获取对应的每一待识别图像的单帧情绪类型。
S405:对目标评论时间对应的所有待识别图像的单帧情绪类型的数量进行统计,将数量最多的单帧情绪类型确定为目标情绪类型。
具体地,将目标评论时间对应的待分析视频片段中所有待识别图像对应的单帧情绪类型的数量进行统计,将数量最多的单帧情绪类型确定为目标情绪类型,以使所确定的目标情绪类型数量客观、更准确。
本实施例所提供的视频评论处理方法中,对目标评论时间对应的每一待识别图像进行微表情识别,获取该待识别图像的瞬时情绪值,将最大瞬时情绪值的识别表情类型确定为待识别图像的微表情类型,以保证所识别出的微表情类型的准确性。再对该待识别图像的瞬时情绪值进行划分,获取每一待识别图像的单帧情绪类型,以实现将所有待识别图像划分成不同情绪类型,以便于统计分析。再统计目标评论时间对应的所有待识别图像的单帧情绪类型的数量,将数量最多的单帧情绪类型确定为目标情绪类型,以便客观、准确地获取到目标情绪类型,提高目标情绪类型的准确性和客观性。
在一实施例中,如图5所示,在步骤S204中将与目标情绪类型相匹配的情绪标签对应的已评论数据作为推荐评论数据,具体包括如下步骤:
S501:获取与目标情绪类型相匹配的情绪标签对应的已评论数据,统计已评论数据的评论数量,判断评论数量是否大于预设数量。
其中,预设数量是预先设置的数量。具体地,服务器在获取目标情绪类型后,查询所有带有与该目标情绪类型对应的情绪标签的已评论数据,统计已评论数据的评论数量。该评论数量可以反映所有用户对目标评论时间对应的待评论视频片段进行评论所形成的已评论数据中,其情绪标签与用户的目标情绪类型相匹配的数量,可以理解为与用户有同感的评论数量。
S502:若评论数量大于预设数量,则采用预设的筛选规则对已评论数据进行筛选排序,将预设数量的已评论数据作为推荐评论数据。
其中,筛选规则是指预先设置,用于对已评论数据进行筛选排序,以按照顺序显示在客户的显示界面上的规则,确保显示在客户端的显示界面上的已评论数据更加贴近客户的喜好。具体地,若评论数量大于预设数量,则说明已评论数据的评论数量较多,需要采用预设的筛选规则对已评论数据进行筛选排序,将预设数量的已评论数据作为推荐评论数据以显示在客户端的显示界面上,以便快速获取推荐评论数据。例如,可依据已评论数据的系统时间的先后顺序或者依据已评论数据的字数多少顺序进行排序,将系统时间在后的与预设数量相对应的已评论数据作为推荐评论数据,或者,将字数较多的与预设数量相对应的已评论数据作为推荐评论数据。
S503:若评论数量不大于预设数量,则将获取预先配置的与目标情绪类型相对应的模板评论数据,将数量总和为预设数量的模板评论数据和已评论数据作为推荐评论数据。
具体地,若评论数量不大于预设数量,则说明已评论数据的评论数量较少,此时,需要将获取预先配置的与目标情绪类型相对应的模板评论数据,将数量总和为预设数量的模板评论数据和已评论数据作为推荐评论数据,以便推荐更多的评论数据给用户,以供用户进行选择修改。
本实施例所提供的视频评论处理方法中,获取与目标情绪类型相匹配的情绪标签对应的已评论数据,统计已评论数据的评论数量,根据评论数量与预设数量进行对比,以获取推荐评论数据,以确保推荐评论数据的数量较多且符合用户的喜好。
在一实施例中,在当前视频播放系统播放原始视频过程中,显示的已评论数据过多可能影响其观看原始视频或者显示与用户认同感不同的已评论数据,从而影响用户的观看体验。因此,如图6所示,在基于推荐评论数据获取目标评论数据,并发表目标评论数据之后,视频评论处理方法还包括:
S601:获取评论播放配置指令,评论播放配置指令包括播放数量、播放类型和同步方式。
该评论播放配置指令是用于配置客户端的显示界面上显示评论的相关信息的指令。其中,该配置参数具体包括播放数量(即在一视频页面同时播放的评论数量)、播放类型和同步方式。其中,播放数量是指可在客户端的显示界面上同时显示的评论数量。播放类型包括全类型播放和情绪播放类型,该情绪播放类型包括相同情绪类型播放和不同情绪类型播放,其中,全类型播放是指无需匹配目标情绪类型进行播放;相同情绪类型播放是指对与用户的目标情绪类型相匹配的评论数据进行播放;不同情绪类型播放是指对与用户的目标情绪类型相反的评论数据进行播放。同步方式具体包括实时同步方式和历史同步方式,其中,实时同步方式是指获取与用户观看原始视频的系统时间同步的评论数据;历史同步方式是指用户观看原始视频的系统时间不同步但与原始视频播放的时间戳同步的方式。例如,用户在10月20日20:00-20:30这一目标评论时间内观看到A待评论视频片段,则实时获取其他用户在系统时间为10月20日20:00-20:30这一时间段内发表的评论数据为实时同步方式,即实时同步方式是以系统时间为同步标准的同步方式;又如,若获取其他用户在对10月20日20:00-20:30这一目标评论时间对应的待评论视频片段A的所有评论数据为历史同步方式,即历史同步方式是以原始视频的播放时间戳为同步标准的同步方式。
S602:基于同步方式查询数据库,获取与同步方式相匹配的第一显示评论数据,每一第一显示评论数据携带一情绪标签。
其中,数据库是指预先存储有该原始视频对应的所有评论数据的数据库,每一评论数据对应一系统时间和关联的播放时间戳,以便根据同步方式确定需要显示的第一显示评论数据。该第一显示评论数据是指符合同步方式的可以进行显示的已评论数据。本实施例中,若评论播放配置指令中的同步方式为实时同步方式,则获取与用户观看原始视频的系统时间同步的第一显示评论数据。若若评论播放配置指令中的同步方式为历史同步方式,则获取与用户观看原始视频的播放时间戳同步的第一显示评论数据,以便根据用户自主选择的同步方式查询数据库,为用户提供更多可选择的数据。由于观看同一原始视频的同一待评论视频片段的用户的观感不同,因此每一第一显示评论数据携带一情绪标签,以便基于该情绪标签分享给具有相同的情绪标签的用户。
S603:依据播放数量和播放类型,对第一显示评论数据进行处理,获取目标显示评论数据,并在客户端上显示目标显示评论数据。
其中,目标显示评论数据是指最终以弹幕形式显示在客户端的显示界面上的数据。具体地,依据播放数量和播放类型对第一显示评论数据进行处理,以使所获取的目标显示评论数据的播放数量和播放类型符合用户的需求,从而快速地为用户匹配目标显示评论数据,提高用户的满意度。
本实施例所提供的视频评论处理方法中,获取到获取评论播放配置指令,以便为用户提供更加智能的评论播放方式,避免评论数据以弹幕形式播放时覆盖屏幕,影响用户的观看体验。基于同步方式查询数据库,获取与同步方式相匹配的第一显示评论数据,每一第一显示评论数据携带一情绪标签,以便根据同步方式查询数据库,获取符合用户需求的第一显示评论数据。依据播放数量和播放类型,对第一显示评论数据进行处理,获取目标显示评论数据,并在客户端上显示目标显示评论数据,从而快速地为用户匹配目标显示评论数据,既使屏幕上显示的目标评论数据的数量得到控制,又使所显示的目标评论数据满足用户特定的情感需求。
在一实施例中,如图7所示,步骤S603,即依据播放数量和播放类型,对第一显示评论数据进行处理,获取目标显示评论数据,包括:
S701:若播放类型为全类型播放,获取第一显示评论数据的数量。
具体地,若用户在评论播放配置指令中设置的播放类型为全类型播放时,则统计数据库中所有第一显示评论数据(即符合评论播放配置中的同步方式的已评论数据)的数量,以便根据该第一显示评论数据的数量进行相应的调整,从而为用户提供更全面的相关评论信息。
S702:若第一显示评论数据的数量小于或等于播放数量,将第一显示评论数据确定为目标显示评论数据。
具体地,播放数量是指可在客户端的显示界面上同时显示的评论数量。可以理解地,为避免显示评论数据时将显示界面掩盖,以使最终显示的显示界面上的目标显示评论数据的数量可控,因此需要将第一显示评论数据与播放数量进行对比,若第一显示评论数据的数量小于或等于播放数量,服务器将第一显示评论数据确定为目标显示评论数据,并显示在客户端的显示界面上。
S703:若第一显示评论数据的数量大于播放数量,依据播放数量和第一显示评论数据的数量确定播放比例。
具体地,若第一显示评论数据的数量大于播放数量,则需要依据播放数量和第一显示评论数据的数量确定播放比例,以对显示的目标显示评论数据的数量进行控制,以避免评论数据覆盖用户的显示界面,影响用户的观看效果。例如,若播放数量为每秒播放100条已评论数据,而所获取到的第一显示评论数据有500条,此时可以设置该播放比例为20%,即仅播放其中的100条已评论数据。
S704:对第一显示评论数据的情绪标签进行情绪划分,获取每一种情绪类型对应的第一显示评论数据的实际数量。
具体地,由于第一显示评论数据的数量较多,为了给用户提供更多不同类型的观看感受,此时可以将第一显示评论数据所携带的情绪标签进行划分,以获取每一种情绪类型对应的第一显示评论数据的实际数量,从而播放按不同的情绪标签的播放比例和实际数量,确定该情绪类型对应的目标显示评论数据,既使最终确定的目标显示评论数据的数量可按,又使最终的目标显示评论数据的情感倾向比例没有变化,在一定程度上更具有真实性。
S705:基于实际数量和播放比例,确定每一种情绪类型对应的目标数量,从与情绪类型相对应的第一显示评论数据中随机获取目标数量,获取目标显示评论数据。
具体地,根据每一种情绪类型对应的实际数量和播放比例,将实际数量和播放比例的乘积确定为每一种情绪类型对应的目标数量,进一步从第一显示评论数据中获取与每一种情绪类型的目标数量相匹配的第一显示评论数据确定为目标显示评论数据。
本实施例所提供的视频评论处理方法中,若播放类型为全类型播放,获取第一显示评论数据的数量,并与播放数量进行比较,若第一显示评论数据的数量小于或等于播放数量,则将第一显示评论数据确定为目标显示评论数据。若第一显示评论数据的数量大于播放数量,先依据播放数量和第一显示评论数据的数量确定播放比例,然后获取每一种情绪类型对应的第一显示评论数据的实际数量,从而确定每一种情绪类型对应的目标数量,从而获取目标显示评论数据。在本实施例中,若播放类型为全类型播放,根据第一显示评论数据的数量确定目标显示评论数据的方式,以控制显示界面上的目标显示评论数据的数量,且按不同的情绪标签对应的播放比例进行显示,既使最终确定的目标显示评论数据的数量可按,又使最终的目标显示评论数据的情感倾向比例没有变化,在一定程度上更具有真实,使其更加容易引起用户的同感。
在一实施例中,如图8所示,步骤S603,即依据播放数量和播放类型,对第一显示评论数据进行处理,获取目标显示评论数据,包括:
S801:若播放类型为情绪播放类型时,获取与目标情绪类型相对应的所有第一显示评论数据确定为第二显示评论数据。
其中,该情绪播放类型可以是相同情绪类型播放或者不同情绪类型播放,相同情绪类型播放是指对与用户的目标情绪类型相匹配的评论数据进行播放;不同情绪类型播放是指对与用户的目标情绪类型相反的评论数据进行播放。本实施例中,若用户用户在评论播放配置指令中设置的播放类型为情绪播放类型时,则将数据库中与目标情绪类型相对应的所有第一显示评论数据确定为第二显示评论数据,以使用户观看原始视频的同时可根据自己的喜好习惯获取相关的评论数据,从而为用户提供与用户喜好习惯相契合的评论数据。其中,与目标情绪类型相对应的所有第一显示评论数据包括携带有与目标情绪类型相同的情绪标签对应的第一显示评论数据,或者携带有与目标情绪标签不相同的情绪标签对应的第一显示评论数据。
S802:若第二显示评论数据的数量小于或等于播放数量,则将第二显示评论数据确定为目标显示评论数据。
若第二显示评论数据的数量小于或等于播放数量,则将第二显示评论数据确定为目标显示评论数据,此时数量较少的第二显示评论数据不存在覆盖显示界面的可能性,直接将第二显示评论数据确定为目标显示评论数据。
S803:若第二显示评论数据的数量大于播放数量,从第二显示评论数据获取与播放数量相匹配的目标显示评论数据。
若第二显示评论数据的数量大于播放数量,此时数量较多的第二显示评论数据存在覆盖显示界面的可能性,因此,需要对从第二显示评论数据中随机获取与该播放数量相对应的目标显示评论数据,以避免目标显示评论数据覆盖显示界面,给用户提供感观较好的显示界面,以便提高用户的观看体验,吸引用户。
本实施例中,若用户预先设置播放类型是情绪播放类型,则将与目标情绪类型相对应的第一显示评论数据确定为第二显示评论数据,使得该第二显示评论数据更容易引起用户的同感;将第二显示评论数据与播放数量进行对应,以获取目标显示评论数据,从而控制控制显示界面上的目标显示评论数据,使其显示界面良好,使其更加容易引起用户的同感和提高观看体验。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种视频评论处理装置,该视频评论处理装置与上述实施例中视频评论处理方法一一对应。如图9所示,该视频评论处理装置包括录制视频获取模块901、已评论数据获取模块902、目标情绪类型获取模块903、推荐评论数据确定模块904和目标评论数据获取模块905。
录制视频获取模块901,用于获取客户端播放原始视频的同时采集到的用户的录制视频,原始视频包括至少一帧原始视频图像,录制视频包括至少一帧待识别图像,每一待识别图像的录制时间戳与一原始视频图像的播放时间戳关联;
已评论数据获取模块902,若接收到视频评论指令,基于接收到视频评论指令的系统时间和预设时间段,确定目标评论时间,获取目标评论时间内的携带情绪标签的已评论数据;
目标情绪类型获取模块903,采用微表情识别模型对目标评论时间对应的待识别图像进行微表情识别,获取目标情绪类型;
推荐评论数据确定模块904,用于将与目标情绪类型相匹配的情绪标签对应的已评论数据作为推荐评论数据,在客户端的评论界面上显示推荐评论数据;
目标评论数据获取模块905,用于基于推荐评论数据获取目标评论数据,并发表目标评论数据。
优选地,已评论数据获取模块902包括:动作检测片段形成单元、目标交互动作获取单元、视频评论指令接收单元。
动作检测片段形成单元,用于基于每一所述待识别图像的录制时间戳形成动作检测片段。
目标交互动作获取单元,用于对动作检测片段进行检测,获取目标交互动作。
视频评论指令接收单元,用于基于目标交互动作查询标准交互动作表,若目标交互动作为视频评论动作,则接收到视频评论指令。
优选地,目标情绪类型获取模块903包括:瞬时概率获取单元、微表情类型确定单元、瞬时情绪值获取单元、单帧情绪类型获取单元和目标情绪类型确定单元。
瞬时概率获取单元,用于采用微表情识别模型对所述目标评论时间对应的每一所述待识别图像进行微表情识别,获取至少一种识别表情类型对应的瞬时概率。
微表情类型确定单元,用于将所述瞬时概率最大的识别表情类型确定为所述待识别图像的微表情类型。
瞬时情绪值获取单元,用于基于所述微表情类型查询情绪值对照表,获取所述待识别图像的瞬时情绪值。
单帧情绪类型获取单元,用于依据所述待识别图像的瞬时情绪值进行情绪分类,获取所述待识别图像对应的单帧情绪类型。
目标情绪类型确定单元,用于对所述目标评论时间对应的所有所述待识别图像的单帧情绪类型的数量进行统计,将数量最多的单帧情绪类型确定为目标情绪类型。
优选地,推荐评论数据确定模块904包括:评论数量统计单元、第一判断单元和第二判断单元。
评论数量统计单元,用于获取与目标情绪类型相匹配的情绪标签对应的已评论数据,统计已评论数据的评论数量,判断评论数量是否大于预设数量。
第一判断单元,用于若评论数量大于预设数量,则采用预设的筛选规则对已评论数据进行筛选排序,将预设数量的已评论数据作为推荐评论数据。
第二判断单元,用于若评论数量不大于预设数量,则将获取预先配置的与目标情绪类型相对应的模板评论数据,将数量总和为预设数量的模板评论数据和已评论数据作为推荐评论数据。
优选地,在目标评论数据获取模块905之后,视频评论处理装置还包括:评论播放配置指令获取单元、第一显示评论数据获取单元和目标显示评论数据获取单元。
评论播放配置指令获取单元,用于获取评论播放配置指令,评论播放配置指令包括播放数量、播放类型和同步方式。
第一显示评论数据获取单元,用于基于同步方式查询数据库,获取与同步方式相匹配的第一显示评论数据,每一第一显示评论数据携带一情绪标签。
目标显示评论数据获取单元,用于依据播放数量和播放类型,对第一显示评论数据进行处理,获取目标显示评论数据,并在客户端上显示目标显示评论数据。
优选地,目标显示评论数据获取单元,包括:全类型播放子单元、第一目标显示评论数据子单元、播放比例确定子单元、实际数量获取子单元和第一目标数量确定子单元。
全类型播放子单元,用于若播放类型为全类型播放,获取第一显示评论数据的数量。
第一目标显示评论数据子单元,用于若第一显示评论数据的数量小于或等于播放数量,将第一显示评论数据确定为目标显示评论数据。
播放比例确定子单元,用于若第一显示评论数据的数量大于播放数量,依据播放数量和第一显示评论数据的数量确定播放比例。
实际数量获取子单元,用于对第一显示评论数据的情绪标签进行情绪划分,获取每一种情绪类型对应的第一显示评论数据的实际数量。
第一目标数量确定子单元,用于基于实际数量和播放比例,确定每一种情绪类型对应的目标数量,从与情绪类型相对应的第一显示评论数据中随机获取目标数量,获取目标显示评论数据。
优选地,目标显示评论数据获取单元,包括:情绪播放类型子单元、第一判断子单元和第二判断子单元。
情绪播放类型子单元,用于若播放类型为情绪播放类型时,获取与目标情绪类型相对应的所有第一显示评论数据确定为第二显示评论数据。
第一判断子单元,若第二显示评论数据的数量小于或等于播放数量,则将第二显示评论数据确定为目标显示评论数据。
第二判断子单元,若第二显示评论数据的数量大于播放数量,从第二显示评论数据中获取与播放数量相匹配的目标显示评论数据。
关于视频评论处理装置的具体限定可以参见上文中对于视频评论处理方法的限定,在此不再赘述。上述视频评论处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行上述基于视频评论处理方法过程中采用或者生成的数据,如第二显示评论数据的数量。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频评论处理方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中视频评论处理方法,例如图2所示的步骤S201-S205,或者图3至图8中所示的步骤,为避免重复,这里不再赘述。或者,处理器执行计算机程序时实现视频评论处理装置这一实施例中的各模块/单元的功能,例如图9所示的录制视频获取模块901、已评论数据获取模块902、目标情绪类型获取模块903、推荐评论数据确定模块904和目标评论数据获取模块905的功能,为避免重复,这里不再赘述。
在一实施例中,提供一计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中视频评论处理方法,例如图2所示的步骤S201-S205,或者图3至图8中所示的步骤,为避免重复,这里不再赘述。或者,该计算机程序被处理器执行时实现上述视频评论处理装置这一实施例中的各模块/单元的功能,例如图9所示的录制视频获取模块901、已评论数据获取模块902、目标情绪类型获取模块903、推荐评论数据确定模块904和目标评论数据获取模块905的功能,为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频评论处理方法,其特征在于,包括:
获取客户端播放原始视频的同时采集到的用户的录制视频,所述原始视频包括至少一帧原始视频图像,所述录制视频包括至少一帧待识别图像,每一所述待识别图像的录制时间戳与一所述原始视频图像的播放时间戳关联;
若接收到视频评论指令,基于接收到所述视频评论指令的系统时间和预设时间段,确定目标评论时间,获取所述目标评论时间内的携带情绪标签的已评论数据;
采用微表情识别模型对所述目标评论时间对应的所述待识别图像进行微表情识别,获取目标情绪类型;
将与所述目标情绪类型相匹配的情绪标签对应的已评论数据作为推荐评论数据,在所述客户端的评论界面上显示所述推荐评论数据;
基于所述推荐评论数据获取目标评论数据,并发表所述目标评论数据。
2.如权利要求1所述的视频评论处理方法,其特征在于,所述若接收到视频评论指令,包括:
基于每一所述待识别图像的录制时间戳形成动作检测片段;
对所述动作检测片段进行检测,获取目标交互动作;
基于所述目标交互动作查询标准交互动作表,若所述目标交互动作为视频评论动作,则接收到视频评论指令。
3.如权利要求1所述的视频评论处理方法,其特征在于,所述采用微表情识别模型对所述目标评论时间对应的所述待识别图像进行微表情识别,获取目标情绪类型,包括:
采用微表情识别模型对所述目标评论时间对应的每一所述待识别图像进行微表情识别,获取至少一种识别表情类型对应的瞬时概率;
将所述瞬时概率最大的识别表情类型确定为所述待识别图像的微表情类型;
基于所述微表情类型查询情绪值对照表,获取所述待识别图像的瞬时情绪值;
依据所述待识别图像的瞬时情绪值进行情绪分类,获取所述待识别图像对应的单帧情绪类型;
对所述目标评论时间对应的所有所述待识别图像的单帧情绪类型的数量进行统计,将数量最多的单帧情绪类型确定为目标情绪类型。
4.如权利要求1所述的视频评论处理方法,其特征在于,所述将与所述目标情绪类型相匹配的情绪标签对应的已评论数据作为推荐评论数据,包括:
获取与所述目标情绪类型相匹配的情绪标签对应的已评论数据,统计所述已评论数据的评论数量,判断所述评论数量是否大于预设数量;
若所述评论数量大于所述预设数量,则采用预设的筛选规则对所述已评论数据进行筛选排序,将预设数量的已评论数据作为推荐评论数据;
若所述评论数量不大于所述预设数量,则将获取预先配置的与目标情绪类型相对应的模板评论数据,将数量总和为预设数量的所述模板评论数据和所述已评论数据作为推荐评论数据。
5.如权利要求1所述的视频评论处理方法,其特征在于,在所述基于所述推荐评论数据获取目标评论数据,并发表所述目标评论数据之后,所述视频评论处理方法还包括:
获取评论播放配置指令,所述评论播放配置指令包括播放数量、播放类型和同步方式;
基于所述同步方式查询数据库,获取与所述同步方式相匹配的第一显示评论数据,每一所述第一显示评论数据携带一情绪标签;
依据所述播放数量和所述播放类型,对所述第一显示评论数据进行处理,获取目标显示评论数据,并在所述客户端上显示所述目标显示评论数据。
6.如权利要求5所述的视频评论处理方法,其特征在于,所述依据所述播放数量和所述播放类型,对所述第一显示评论数据进行处理,获取目标显示评论数据,包括:
若所述播放类型为全类型播放,获取所述第一显示评论数据的数量;
若所述第一显示评论数据的数量小于或等于所述播放数量,将所述第一显示评论数据确定为目标显示评论数据;
若所述第一显示评论数据的数量大于所述播放数量,依据所述播放数量和所述第一显示评论数据的数量确定播放比例;
对所述第一显示评论数据的情绪标签进行情绪划分,获取每一种情绪类型对应的第一显示评论数据的实际数量;
基于所述实际数量和所述播放比例,确定每一种所述情绪类型对应的目标数量,从与所述情绪类型相对应的第一显示评论数据中随机获取目标数量,获取目标显示评论数据。
7.如权利要求5所述的视频评论处理方法,其特征在于,所述依据所述播放数量和所述播放类型,对所述第一显示评论数据进行处理,获取目标显示评论数据,包括:
若所述播放类型为情绪播放类型时,获取与目标情绪类型相对应的所有第一显示评论数据确定为第二显示评论数据;
若所述第二显示评论数据的数量小于或等于所述播放数量,则将所述第二显示评论数据确定为目标显示评论数据;
若所述第二显示评论数据的数量大于所述播放数量,从第二显示评论数据中获取与所述播放数量相匹配的目标显示评论数据。
8.一种视频评论处理装置,其特征在于,包括:
录制视频获取模块,用于获取客户端播放原始视频的同时采集到的用户的录制视频,所述原始视频包括至少一帧原始视频图像,所述录制视频包括至少一帧待识别图像,每一所述待识别图像的录制时间戳与一所述原始视频图像的播放时间戳关联;
已评论数据获取模块,若接收到视频评论指令,基于接收到所述视频评论指令的系统时间和预设时间段,确定目标评论时间,获取所述目标评论时间内的携带情绪标签的已评论数据;
目标情绪类型获取模块,采用微表情识别模型对所述目标评论时间对应的所述待识别图像进行微表情识别,获取目标情绪类型;
推荐评论数据确定模块,用于将与所述目标情绪类型相匹配的情绪标签对应的已评论数据作为推荐评论数据,在所述客户端的评论界面上显示所述推荐评论数据;
目标评论数据获取模块,用于基于所述推荐评论数据获取目标评论数据,并发表所述目标评论数据。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述视频评论处理方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述视频评论处理方法。
CN201910651935.9A 2019-07-18 2019-07-18 视频评论处理方法、装置、计算机设备及存储介质 Active CN110519617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910651935.9A CN110519617B (zh) 2019-07-18 2019-07-18 视频评论处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910651935.9A CN110519617B (zh) 2019-07-18 2019-07-18 视频评论处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110519617A true CN110519617A (zh) 2019-11-29
CN110519617B CN110519617B (zh) 2023-04-07

Family

ID=68623087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910651935.9A Active CN110519617B (zh) 2019-07-18 2019-07-18 视频评论处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110519617B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111258435A (zh) * 2020-01-15 2020-06-09 北京达佳互联信息技术有限公司 多媒体资源的评论方法、装置、电子设备及存储介质
CN112906399A (zh) * 2021-02-20 2021-06-04 北京百度网讯科技有限公司 确定情绪状态的方法、装置、设备和存储介质
CN113038280A (zh) * 2019-12-09 2021-06-25 上海幻电信息科技有限公司 视频互动方法、装置及存储介质
CN113127628A (zh) * 2021-04-23 2021-07-16 北京达佳互联信息技术有限公司 用于生成评论的方法、装置、设备及计算机可读存储介质
CN113449170A (zh) * 2020-03-24 2021-09-28 北京沃东天骏信息技术有限公司 异常账号识别方法及装置、存储介质、电子设备
CN113542844A (zh) * 2021-07-28 2021-10-22 北京优酷科技有限公司 视频数据处理方法、装置及存储介质
CN113553421A (zh) * 2021-06-22 2021-10-26 北京百度网讯科技有限公司 评论文本的生成方法、装置、电子设备和存储介质
CN113656638A (zh) * 2021-08-16 2021-11-16 咪咕数字传媒有限公司 一种观看直播的用户信息处理方法、装置及设备
CN113747250A (zh) * 2021-08-18 2021-12-03 咪咕数字传媒有限公司 新形态留言的实现方法、装置及计算设备
CN113783997A (zh) * 2021-09-13 2021-12-10 北京字跳网络技术有限公司 一种视频发布方法、装置、电子设备及存储介质
CN113905125A (zh) * 2021-09-08 2022-01-07 维沃移动通信有限公司 视频显示方法、装置及电子设备
CN114065027A (zh) * 2021-11-08 2022-02-18 杭州网易云音乐科技有限公司 评论推荐方法、介质、装置和计算设备
CN114205666A (zh) * 2021-11-19 2022-03-18 北京快乐茄信息技术有限公司 视频图像处理方法、装置、终端及存储介质
US11375282B2 (en) * 2019-11-29 2022-06-28 Beijing Dajia Internet Information Technology Co., Ltd. Method, apparatus, and system for displaying comment information
CN116912947A (zh) * 2023-08-25 2023-10-20 东莞市触美电子科技有限公司 智能屏幕、屏幕控制方法、装置、设备及其存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215279A1 (en) * 2012-02-17 2013-08-22 Alejandro Rivas-Micoud System and Method for Creating and Displaying Points of Interest in Video Test Results
US20140007149A1 (en) * 2012-07-02 2014-01-02 Wistron Corp. System, apparatus and method for multimedia evaluation
CN107277643A (zh) * 2017-07-31 2017-10-20 合网络技术(北京)有限公司 弹幕内容的发送方法及客户端
CN107592255A (zh) * 2017-09-19 2018-01-16 上海掌门科技有限公司 信息展示方法和设备
CN108509033A (zh) * 2018-03-13 2018-09-07 广东欧珀移动通信有限公司 信息处理方法及相关产品
CN108924658A (zh) * 2018-06-05 2018-11-30 上海哔哩哔哩科技有限公司 弹幕联想输入方法、装置及计算机可读存储介质
CN109309878A (zh) * 2017-07-28 2019-02-05 Tcl集团股份有限公司 弹幕的生成方法及装置
CN109474845A (zh) * 2018-09-14 2019-03-15 咪咕音乐有限公司 弹幕控制方法、弹幕处理服务器以及计算机可读存储介质
CN109767787A (zh) * 2019-01-28 2019-05-17 腾讯科技(深圳)有限公司 情绪识别方法、设备及可读存储介质
CN109819325A (zh) * 2019-01-11 2019-05-28 平安科技(深圳)有限公司 热点视频标注处理方法、装置、计算机设备及存储介质
CN109885770A (zh) * 2019-02-20 2019-06-14 杭州威佩网络科技有限公司 一种信息推荐方法、装置、电子设备及存储介质
CN109951742A (zh) * 2019-03-05 2019-06-28 浙江强脑科技有限公司 弹幕发送方法、终端及计算机可读存储介质
CN110019804A (zh) * 2017-12-15 2019-07-16 西安比卓电子科技有限公司 一种评论推荐的方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215279A1 (en) * 2012-02-17 2013-08-22 Alejandro Rivas-Micoud System and Method for Creating and Displaying Points of Interest in Video Test Results
US20140007149A1 (en) * 2012-07-02 2014-01-02 Wistron Corp. System, apparatus and method for multimedia evaluation
CN109309878A (zh) * 2017-07-28 2019-02-05 Tcl集团股份有限公司 弹幕的生成方法及装置
CN107277643A (zh) * 2017-07-31 2017-10-20 合网络技术(北京)有限公司 弹幕内容的发送方法及客户端
CN107592255A (zh) * 2017-09-19 2018-01-16 上海掌门科技有限公司 信息展示方法和设备
CN110019804A (zh) * 2017-12-15 2019-07-16 西安比卓电子科技有限公司 一种评论推荐的方法及装置
CN108509033A (zh) * 2018-03-13 2018-09-07 广东欧珀移动通信有限公司 信息处理方法及相关产品
CN108924658A (zh) * 2018-06-05 2018-11-30 上海哔哩哔哩科技有限公司 弹幕联想输入方法、装置及计算机可读存储介质
CN109474845A (zh) * 2018-09-14 2019-03-15 咪咕音乐有限公司 弹幕控制方法、弹幕处理服务器以及计算机可读存储介质
CN109819325A (zh) * 2019-01-11 2019-05-28 平安科技(深圳)有限公司 热点视频标注处理方法、装置、计算机设备及存储介质
CN109767787A (zh) * 2019-01-28 2019-05-17 腾讯科技(深圳)有限公司 情绪识别方法、设备及可读存储介质
CN109885770A (zh) * 2019-02-20 2019-06-14 杭州威佩网络科技有限公司 一种信息推荐方法、装置、电子设备及存储介质
CN109951742A (zh) * 2019-03-05 2019-06-28 浙江强脑科技有限公司 弹幕发送方法、终端及计算机可读存储介质

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11601724B2 (en) * 2019-11-29 2023-03-07 Beijing Dajia Internet Information Technology Co., Ltd. Method, apparatus, and system for displaying comment information
US20220286749A1 (en) * 2019-11-29 2022-09-08 Beijing Dajia Internet Information Technology Co., Ltd. Method, apparatus, and system for displaying comment information
US11375282B2 (en) * 2019-11-29 2022-06-28 Beijing Dajia Internet Information Technology Co., Ltd. Method, apparatus, and system for displaying comment information
CN113038280A (zh) * 2019-12-09 2021-06-25 上海幻电信息科技有限公司 视频互动方法、装置及存储介质
CN111258435B (zh) * 2020-01-15 2024-05-07 北京达佳互联信息技术有限公司 多媒体资源的评论方法、装置、电子设备及存储介质
CN111258435A (zh) * 2020-01-15 2020-06-09 北京达佳互联信息技术有限公司 多媒体资源的评论方法、装置、电子设备及存储介质
CN113449170A (zh) * 2020-03-24 2021-09-28 北京沃东天骏信息技术有限公司 异常账号识别方法及装置、存储介质、电子设备
CN112906399A (zh) * 2021-02-20 2021-06-04 北京百度网讯科技有限公司 确定情绪状态的方法、装置、设备和存储介质
CN112906399B (zh) * 2021-02-20 2023-11-10 北京百度网讯科技有限公司 确定情绪状态的方法、装置、设备和存储介质
CN113127628B (zh) * 2021-04-23 2024-03-19 北京达佳互联信息技术有限公司 用于生成评论的方法、装置、设备及计算机可读存储介质
CN113127628A (zh) * 2021-04-23 2021-07-16 北京达佳互联信息技术有限公司 用于生成评论的方法、装置、设备及计算机可读存储介质
CN113553421A (zh) * 2021-06-22 2021-10-26 北京百度网讯科技有限公司 评论文本的生成方法、装置、电子设备和存储介质
CN113542844A (zh) * 2021-07-28 2021-10-22 北京优酷科技有限公司 视频数据处理方法、装置及存储介质
CN113656638B (zh) * 2021-08-16 2024-05-07 咪咕数字传媒有限公司 一种观看直播的用户信息处理方法、装置及设备
CN113656638A (zh) * 2021-08-16 2021-11-16 咪咕数字传媒有限公司 一种观看直播的用户信息处理方法、装置及设备
WO2023020509A1 (zh) * 2021-08-16 2023-02-23 咪咕数字传媒有限公司 一种观看直播的用户信息处理方法、装置及设备
CN113747250A (zh) * 2021-08-18 2021-12-03 咪咕数字传媒有限公司 新形态留言的实现方法、装置及计算设备
CN113747250B (zh) * 2021-08-18 2024-02-02 咪咕数字传媒有限公司 新形态留言的实现方法、装置及计算设备
CN113905125A (zh) * 2021-09-08 2022-01-07 维沃移动通信有限公司 视频显示方法、装置及电子设备
WO2023036294A1 (zh) * 2021-09-13 2023-03-16 北京字跳网络技术有限公司 视频发布方法、装置、电子设备及存储介质
CN113783997B (zh) * 2021-09-13 2022-08-23 北京字跳网络技术有限公司 一种视频发布方法、装置、电子设备及存储介质
CN113783997A (zh) * 2021-09-13 2021-12-10 北京字跳网络技术有限公司 一种视频发布方法、装置、电子设备及存储介质
CN114065027A (zh) * 2021-11-08 2022-02-18 杭州网易云音乐科技有限公司 评论推荐方法、介质、装置和计算设备
CN114205666B (zh) * 2021-11-19 2024-03-15 北京快乐茄信息技术有限公司 视频图像处理方法、装置、终端及存储介质
CN114205666A (zh) * 2021-11-19 2022-03-18 北京快乐茄信息技术有限公司 视频图像处理方法、装置、终端及存储介质
CN116912947A (zh) * 2023-08-25 2023-10-20 东莞市触美电子科技有限公司 智能屏幕、屏幕控制方法、装置、设备及其存储介质
CN116912947B (zh) * 2023-08-25 2024-03-12 东莞市触美电子科技有限公司 智能屏幕、屏幕控制方法、装置、设备及其存储介质

Also Published As

Publication number Publication date
CN110519617B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110519617A (zh) 视频评论处理方法、装置、计算机设备及存储介质
CN111310019B (zh) 信息推荐方法、信息处理方法、系统及设备
CN108769823B (zh) 直播间显示方法、装置、设备
Doughty et al. Who's better? who's best? pairwise deep ranking for skill determination
US10810409B2 (en) Identifying facial expressions in acquired digital images
CN109819325B (zh) 热点视频标注处理方法、装置、计算机设备及存储介质
US8208694B2 (en) Method and system for image and video analysis, enhancement and display for communication
US10474875B2 (en) Image analysis using a semiconductor processor for facial evaluation
CN103760968B (zh) 数字标牌显示内容选择方法和装置
Abd El Meguid et al. Fully automated recognition of spontaneous facial expressions in videos using random forest classifiers
Lovato et al. Faved! biometrics: Tell me which image you like and I'll tell you who you are
CN110263642A (zh) 用于替换图像的部分的图像缓存
Bao et al. Your reactions suggest you liked the movie: Automatic content rating via reaction sensing
CN109783656B (zh) 音视频数据的推荐方法、系统及服务器和存储介质
CN108227950A (zh) 一种输入方法和装置
US11521013B2 (en) Systems and methods for providing personalized product recommendations using deep learning
WO2010133661A1 (en) Identifying facial expressions in acquired digital images
US11263436B1 (en) Systems and methods for matching facial images to reference images
CN105979366A (zh) 智能电视及其内容推荐的方法、装置
Sharma et al. Audio-visual automatic group affect analysis
CN113127628B (zh) 用于生成评论的方法、装置、设备及计算机可读存储介质
Georgakis et al. The conflict escalation resolution (confer) database
Doughty et al. Who’s better, who’s best: Skill determination in video using deep ranking
CN115130493A (zh) 基于图像识别的面部形变推荐方法、装置、设备和介质
JP7206741B2 (ja) 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant