CN109819325B - 热点视频标注处理方法、装置、计算机设备及存储介质 - Google Patents

热点视频标注处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN109819325B
CN109819325B CN201910025355.9A CN201910025355A CN109819325B CN 109819325 B CN109819325 B CN 109819325B CN 201910025355 A CN201910025355 A CN 201910025355A CN 109819325 B CN109819325 B CN 109819325B
Authority
CN
China
Prior art keywords
video
emotion
image
hot
original video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910025355.9A
Other languages
English (en)
Other versions
CN109819325A (zh
Inventor
刘建华
徐小方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910025355.9A priority Critical patent/CN109819325B/zh
Publication of CN109819325A publication Critical patent/CN109819325A/zh
Priority to PCT/CN2019/088957 priority patent/WO2020143156A1/zh
Application granted granted Critical
Publication of CN109819325B publication Critical patent/CN109819325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种热点视频标注处理方法、装置、计算机设备及存储介质，该方法包括：获取客户端播放原始视频的同时采集到的用户的录制视频，原始视频包括至少一帧原始视频图像，录制视频包括至少一帧待识别图像，采用微表情识别模型对每一待识别图像进行识别，获取待识别图像对应的瞬时情绪值。依据瞬时情绪值，确定播放时间戳对应的原始视频图像的激烈情绪概率，若激烈情绪概率大于第一概率阈值，则将原始视频图像确定为热点视频图像，基于热点视频图像对原始视频进行热点标注，获取热点视频片段。该方法可实现自动标注热点视频片段，提高标注热点视频片段的效率。

Description

热点视频标注处理方法、装置、计算机设备及存储介质
技术领域
本发明涉及微表情识别技术领域，尤其涉及一种热点视频标注处理方法、装置、计算机设备及存储介质。
背景技术
在移动互联网中，视频(尤其是网络视频)是各类移动数据流量中规模最大且发展最快的一类。所谓网络视频，是指由网络视频服务商(例如，百度爱奇艺)提供的、以流媒体为播放格式的、可以在线直播或点播的声像文件。网络视频一般需要独立的播放器，文件格式主要是基于P2P(Peer to Peer，对等网络)技术占用客户端资源较少的FLV(FlashVideo，流媒体)格式。
对于智能手机用户，既可以在移动网络环境下，也可以在Wi-Fi环境下收看视频流、电影、电视节目、用户自己制作的剪辑片段以及视频通话等。而为了保持视频用户的粘性，大多视频应用都增加了社交元素、地理信息和基于个性化推荐的业务形态。现有技术中，用户在观看视频过程标注热点标注，实现对用户观看视频内容的实时点评及分享，这种需要人工标注热点标注的方式，效率比较低。随着终端技术以及视频网站设计技术的不断发展，使得人们对于视频的要求变得更高，为满足人们在观看视频过程中，日益增强的个性化和便捷化的需求。传统的网络视频服务商通常需配置专门的编辑人员，给影视作品进行不同片段人工标注属性标签，并依据属性标签进行编辑和推送。这种人工标注原始视频片段的属性标签并推送的方式，效率较低且推送精确率不够，远远无法满足个性化和便捷化的需求。
发明内容
本发明实施例提供一种热点视频标注处理方法、装置、计算机设备及存储介质，以解决当前人工标注原始视频片段属性过程中存在的效率低的问题。
一种热点视频标注处理方法，包括：
获取客户端播放原始视频的同时采集到的用户的录制视频，所述原始视频包括至少一帧原始视频图像，所述录制视频包括至少一帧待识别图像，每一所述待识别图像的录制时间戳与一所述原始视频图像的播放时间戳关联；
采用微表情识别模型对每一所述待识别图像进行识别，获取所述待识别图像对应的瞬时情绪值；
依据与同一播放时间戳关联的所有录制时间戳对应的待识别图像的瞬时情绪值，确定所述播放时间戳对应的原始视频图像的激烈情绪概率；
若所述激烈情绪概率大于第一概率阈值，则将所述原始视频图像确定为热点视频图像；
基于所述热点视频图像对所述原始视频进行热点标注，获取热点视频片段。
一种热点视频标注处理装置，包括：
录制视频获取模块：用于获取客户端播放原始视频的同时采集到的用户的录制视频，所述原始视频包括至少一帧原始视频图像，所述录制视频包括至少一帧待识别图像，每一所述待识别图像的录制时间戳与一所述原始视频图像的播放时间戳关联；
瞬时情绪值获取模块：用于采用微表情识别模型对每一所述待识别图像进行识别，获取所述待识别图像对应的瞬时情绪值；
激烈情绪概率确定模块：用于依据与同一播放时间戳关联的所有录制时间戳对应的待识别图像的瞬时情绪值，确定所述播放时间戳对应的原始视频图像的激烈情绪概率；
热点视频图像确定模块：用于若所述激烈情绪概率大于第一概率阈值，则将所述原始视频图像确定为热点视频图像；
热点视频片段获取模块：基于所述热点视频图像对所述原始视频进行热点标注，获取热点视频片段。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述热点视频标注处理方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述热点视频标注处理方法。
上述热点视频标注处理方法、装置、计算机设备及存储介质，在播放原始视频的同时采集到的用户的录制视频，以使每一待识别图像的录制时间戳与一原始视频图像的播放时间戳关联，以保证对原始视频进行微表情分析的客观性。再采用微表情识别模型对待识别图像进行识别，通过微表情识别模型可以快速识别用户观看原始视频中某一原始视频图像时的微表情，以获取用户观看原始视频的激烈情绪值，以便基于该激烈情绪值实现热点视频标注，从而保证热点视频片段标注的客观性。然后，基于同一播放时间戳关联的所有录制时间戳对应的待识别图像的瞬时情绪值，确定该播放时间戳对应的原始视频图像的激烈情绪概率，以便确定是否为热点视频图像，以实现将原始视频的热点标注细分到对原始视频图像进行热点分析，以保证热点分析的客观性和准确性。最后，基于热点视频图像对原始视频进行热点标注，获取热点视频片段计算得到用户观看原始视频时的情绪激烈概率，以便服务器获取热点视频片段，从而实现自动标注热点视频片段，提高标注热点视频片段的效率及精确度，为用户提供更好的观看体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中热点视频标注处理方法的一应用环境示意图；
图2是本发明一实施例中热点视频标注处理方法的一流程图；
图3是本发明一实施例中热点视频标注处理方法的另一流程图；
图4是本发明一实施例中热点视频标注处理方法的另一流程图；
图5是本发明一实施例中热点视频标注处理方法的另一流程图；
图6是本发明一实施例中热点视频标注处理方法的另一流程图；
图7是本发明一实施例中热点视频标注处理方法的另一流程图；
图8是本发明一实施例中热点视频标注处理方法的另一流程图；
图9是本发明一实施例中热点视频标注处理方法的另一流程图；
图10是本发明一实施例中热点视频标注处理方法的另一流程图；
图11是本发明一实施例中热点视频标注处理装置的一示意图；
图12是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的热点视频标注处理方法，该热点视频标注处理方法可应用如图1所示的应用环境中。具体地，该热点视频标注处理方法应用在视频播放系统中，该视频播放系统包括如图1所示的客户端和服务器，客户端与服务器通过网络进行通信，用于实现原始视频进行热点视频片段自动标注，提高热点视频片段标注的效率，并实现热点视频片段个性化推荐和排序显示。其中，客户端又称为用户端，是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种热点视频标注处理方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S201：获取客户端播放原始视频的同时采集到的用户的录制视频，原始视频包括至少一帧原始视频图像，录制视频包括至少一帧待识别图像，每一待识别图像的录制时间戳与一原始视频图像的播放时间戳关联。
其中，原始视频是指用户的手机和电脑等终端设备所安装的视频播放程序(即客户端)所播放的视频，用于供用户观看。录制视频是指通过安装视频播放程序的终端设备的拍摄模块(如内置摄像头)实时拍摄用户观看该原始视频的同时，用户面部表情变化的视频。原始视频包括至少一帧原始视频图像，该原始视频图像为形成原始视频的单帧图像，即原始视频中最小单位的单幅影像画面。每一原始视频图像携带有一播放时间戳，该播放时间戳为原始视频图像在原始视频中的时间戳，例如，10min的原始视频中第100s的原始视频图像的播放时间戳为100s。录制视频包括至少一帧待识别图像，该待识别图像为形成录制视频的单帧图像，即录制视频中最小单位的单幅影像画面。每一待识别图像对应一录制时间戳，该录制时间戳为待识别图像在录制视频中的时间戳，例如，10min的录制视频中第100s的待识别图像的播放时间戳为100s。该录制时间戳与原始视频图像携带的播放时间戳相关联，以使待识别图像与原始视频图像一一对应，便于精准确定用户观看原始视频时的情绪。
具体地，每一原始视频携带有唯一的视频标识，该视频标识用于唯一识别对应的原始视频，例如《XX》第XX集对应的原始视频，携带有唯一的视频标识XX0001，以使服务器根据该视频标识XX0001，可获取其对应的《XX》第XX集对应的原始视频。每一原始视频图像携带的播放时间戳为原始视频图像在原始视频中的时间戳。在本实施例中，服务器接收到客户端播放同一原始视频的同时，获取通过安装在客户端的终端设备的拍摄模块(如内置摄像头)实时拍摄所有用户观看该原始视频的表情变化对应的录制视频，该录制视频包括至少一帧待识别图像，每一待识别图像对应一录制时间戳，该录制时间戳与原始视频图像携带的播放时间戳相关联。可以理解地，通过收集不同的用户观看该原始视频时的录制视频，可以更好的确定该原始视频是否吸引观众，从而有助于实现对原始视频中的热点视频片段进行自动标注，提高热点视频片段标注的效率。
在一具体实施方式中，获取客户端播放原始视频的同时采集到的用户的录制视频，包括：(1)控制客户端播放原始视频，使原始视频中的每一原始视频图像的播放时间戳与当前系统时间关联。(2)获取客户端播放原始视频的同时采集到的用户的录制视频，使录制视频中的每一待识别图像的录制时间戳与当前系统时间关联。(3)基于当前系统时间，使每一待识别图像的录制时间戳与一原始视频图像的播放时间戳关联。其中，当前系统时间为任一时刻系统的当前时间，如可通过System类中的currentTimeMillis方法来获取当前系统时间。一般来说，若原始视频的播放与录制视频的录制的时间同步，则原始视频的播放时间戳与录制视频的录制时间戳相对应，即第1帧原始视频图像对应第1帧待识别图像，以使该待识别图像可反映该用户观看对应的原始视频图像时的微表情。相应地，若原始视频的播放与录制视频的录制的时间不同步，则需通过当前系统时间关联原始视频的播放时间戳与录制视频的录制时间戳，以使存在关联关系的待识别图像可反映该用户观看对应的原始视频图像时的微表情。例如，在播放原始视频的第1min后，若用户同意并开始拍摄录制视频，则原始视频的播放与录制视频的录制的时间通过当前系统时间关联，即若在10点5分10秒时播放第1000帧原始视频图像，且在10点5分10秒时录制第10帧待识别图像，则第1000帧原始视频图像的播放时间戳与第10帧待识别图像的录制时间戳关联。
S202：采用微表情识别模型对每一待识别图像进行识别，获取待识别图像对应的瞬时情绪值。
其中，微表情识别模型是用于识别待识别图像中人脸微表情的模型。本实施例中，微表情识别模型是通过捕捉待识别图像中的用户脸部的局部特征，并根据局部特征确定待识别图像中人脸的各个目标面部动作单元，再根据所识别出的目标面部动作单元确定其微表情的模型。待识别图像对应的瞬时情绪值是采用微表情识别模型识别出某一待识别图像中人脸微表情类型对应的情绪值。具体地，服务器先采用微表情识别模型对每一待识别图像进行微表情识别，以确定其对应的微表情类型，然后，根据该微表情类型查询情绪值对照表，以获取待识别图像对应的瞬时情绪值。该微表情类型包括但不限于本实施例提及的爱、感兴趣、惊喜、期待……攻击性、冲突、侮辱、怀疑和恐惧等微表情类型。基于微表情类型，获取待识别图像中人脸的瞬时情绪值。利用微表情识别模型可以快速地获取不同用户观看同一原始视频中每一原始视频图像时的瞬时情绪值，以便基于该瞬时情绪值进行热点视频片段分析，从而达到热点视频片段自动标注的目的。
具体地，微表情识别模型可以是基于深度学习的神经网络识别模型，也可以是基于分类的局部识别模型，还可以是基于局部二值模式(Local Binary Pattern，LBP)的局部情绪识别模型。其中，微表情识别模型是基于分类的局部识别模型，微表情识别模型预先进行训练时，通过预先收集大量的训练图像数据，训练图像数据中包含每一面部动作单元的正样本和面部动作单元的负样本，通过分类算法对训练图像数据进行训练，获取微表情识别模型。本实施例中，可以是通过SVM分类算法对大量的训练图像数据进行训练，以获取到与多个面部动作单元对应的SVM分类器。例如，可以是39个面部动作单元对应的39个SVM分类器，也可以是54个面部动作单元对应的54个SVM分类器，进行训练的训练图像数据中包含的不同面部动作单元的正样本和负样本越多，则获取到的SVM分类器数量越多。可以理解地，通过多个SVM分类器以形成微表情识别模型中，其获取到的SVM分类器越多，则形成的微表情识别模型所识别出的微表情类型越精准。以54个面部动作单元对应的SVM分类器所形成的微表情识别模型为例，采用这一微表情识别模型可识别出54种微表情类型，例如可识别出包含爱、感兴趣、惊喜、期待……攻击性、冲突、侮辱、怀疑和恐惧等54种微表情类型。
S203：依据与同一播放时间戳关联的所有录制时间戳对应的待识别图像的瞬时情绪值，确定播放时间戳对应的原始视频图像的激烈情绪概率。
其中，激烈情绪概率是用于评估观看同一原始视频的不同待识别图像的激励情绪的概率。可以理解地，若激烈情绪概率高，则说明用户观看该原始视频的情绪波动较大，该原始视频对用户具有较强的吸引力。具体地，服务器先根据每一原始视频图像对应的播放时间戳，获取与该播放时间戳关联的所有录制时间戳对应的待识别图像的瞬时情绪值，从而获取所有观看到该播放时间戳对应的原始视频图像的用户的瞬时情绪值，基于每一待识别图像的瞬时情绪值确定其是否为激烈情绪，从而分析出所有用户观看该原始视频图像时的激烈情绪概率，使得该激烈情绪概率可客观反映观看同一原始视频的用户对该原始视频的喜爱程度或者引起共鸣的程度。
S204：若激烈情绪概率大于第一概率阈值，则将原始视频图像确定为热点视频图像。
其中，第一概率阈值是预先设定的用于评估原始视频是否为热点视频图像的概率阈值。本实施例中，该预设概率阈值可以设置为60％。若激烈情绪概率大于第一概率阈值，则说明所有观看到该原始视频图像的用户中，有较大比例(即大于第一概率阈值)的用户在观看该原始视频图像中引起强烈的情绪波动(即其瞬时情绪值对应的情绪为激烈情绪)，对用户的吸引力较高，因此可将原始视频图像确定为热点视频图像。
S205：基于热点视频图像对原始视频进行热点标注，获取热点视频片段。
具体地，服务器在获取原始视频中所有的热点视频图像后，可基于任意两个热点视频图像形成原始视频片段，再基于原始视频片段中所有原始视频图像的总帧数与预先设置的帧数阈值进行比较，从而确定所形成的原始视频片段是否为热点视频片段，自动将与热点视频图像对应的原始视频图像进行标记，并在原始视频中标注热点视频片段，以实现对原始视频中的热点视频片段的自动标注，提高热点视频片段的标注效率。
本实施例所提供的热点视频标注处理方法，在播放原始视频的同时采集到的用户的录制视频，以使每一待识别图像的录制时间戳与一原始视频图像的播放时间戳关联，以保证对原始视频进行微表情分析的客观性。再采用微表情识别模型对待识别图像进行识别，通过微表情识别模型可以快速识别用户观看原始视频中某一原始视频图像时的微表情，以获取用户观看原始视频的激烈情绪值，以便基于该激烈情绪值实现热点视频标注，从而保证热点视频片段标注的客观性。然后，基于同一播放时间戳关联的所有录制时间戳对应的待识别图像的瞬时情绪值，确定该播放时间戳对应的原始视频图像的激烈情绪概率，以便确定是否为热点视频图像，以实现将原始视频的热点标注细分到对原始视频图像进行热点分析，以保证热点分析的客观性和准确性。最后，基于热点视频图像对原始视频进行热点标注，获取热点视频片段计算得到用户观看原始视频时的情绪激烈概率，以便服务器获取热点视频片段，从而实现自动标注热点视频片段，提高标注热点视频片段的效率及精确度，为用户提供更好的观看体验。
在一实施例中，如图3所示，在步骤S202中，采用微表情识别模型对每一待识别图像进行识别，获取待识别图像对应的瞬时情绪值，包括：
S301:采用微表情识别模型对每一待识别图像进行识别，获取至少一种识别表情类型对应的瞬时概率。
其中，识别表情类型是指采用微表情识别模型对待识别图像进行识别时，识别到其属于预先配置的某一种微表情类型的模型。
具体地，服务器预先训练好的微表情识别模型中包括多个SVM分类器，每一SVM分类器用于识别一种面部动作单元。本实施例中，微表情识别模型中包含54个SVM分类器，建立面部动作单元编号映射表，每个面部动作单元用一个预先规定的编号表示。例如，AU1为内眉上扬，AU2为外眉上扬，AU5为上眼睑上扬和AU26为下颚张开等。每个面部动作单元有训练好对应的SVM分类器。例如，通过内眉上扬对应的SVM分类器可识别出内眉上扬的局部特征属于内眉上扬的概率值，通过外眉上扬对应的SVM分类器可识别出外眉上扬的局部特征属于外眉上扬的概率值等。
本实施例中，服务器采用预先训练好的微表情识别模型对待识别图像进行识别时，可先对每一待识别图像进行人脸关键点检测和特征提取等，以获取待识别图像的局部特征。其中，人脸关键点算法可以是但不限于Ensemble of Regression Tress(简称ERT)算法、SIFT(scale-invariant feature transform)算法，SURF(Speeded Up RobustFeatures)算法，LBP(Local Binary Patterns)算法和HOG(Histogram of OrientedGridients)算法。特征提取算法可以CNN(Convolutional Neural Network，卷积神经网)算法。再将该局部特征输入到多个SVM分类器中，通过多个SVM分类器对的输入的所有局部特征进行识别，获取多个SVM分类器输出的与该面部动作单元对应的概率值，将概率值大于预设阈值的SVM分类器对应的面部动作单元确定为目标面部动作单元。其中，目标面部动作单元是指根据微表情识别模型对待识别图像进行识别，获取到的面部动作单元(ActionUnit，AU)。概率值具体可以是0-1之间的值，若输出的概率值为0.6，预设阈值为0.5，那么概率值0.6大于预设阈值0.5，则将0.6对应的面部动作单元，作为待识别图像的目标面部动作单元。最后，将所获取到的所有目标面部动作单元进行综合评估，获取其属于微表情识别模型预先配置的微表情类型对应的概率，即属于每一种识别表情类型的瞬时概率。将所获取到的所有目标面部动作单元进行综合评估具体是指基于所有目标面部动作单元的组合，获取这一组合属于预先配置的微表情类型的概率，以确定其识别表情类型的瞬时概率。
S302:将瞬时概率最大的识别表情类型确定为待识别图像的微表情类型。
具体地，在识别到每一待识别图像属于至少一种识别表情类型的瞬时概率之后，需将瞬时概率最大的识别表情类型确定为待识别图像对应的微表情类型。例如，在识别到其该待识别图像属于“爱”这一识别表情类型的瞬时概率为0.9，而属于“怀疑”和“宁静”这两个识别表情类型的瞬时概率分别为0.05，则将瞬时概率为0.9对应的识别表情类型确定为该待识别图像的微表情类型，以保证所识别出的微表情类型的准确性。
S303:基于微表情类型查询情绪值对照表，获取待识别图像的瞬时情绪值。
其中，情绪值对照表是预先设置的用于记录每一种微表情类型对应的情绪属性的数据表。在情绪值对照表中，存储有微表情类型和情绪值的关联关系。服务器在获取到待识别图像所属的微表情类型后，基于该微表情类型查询情绪值对照表，获取相对应的瞬时情绪值。其中，瞬时情绪值是[-1,1]之间的数值，数值越大，反映用户越喜好该待识别图像关联的录制时间戳对应的原始视频图像；数据越小，反映用户越厌恶该待识别图像关联的录制时间戳对应的原始视频图像。例如，为了便于后续计算，可将微表情识别模型识别出的54种微表情类型对应的瞬时情绪值分别设置为1、0.8、0.5、0.3、0、-0.3、-0.5、-0.8和-1中的任一个。
本实施例所提供的热点视频标注处理方法，先采用微表情识别模型对待识别图像进行识别，以快速获取至少一种识别表情类型对应的瞬时概率，并选取瞬时概率最大的识别表情类型确定待识别图像的微表情类型，以保证所识别出的微表情类型的准确性。再基于微表情类型查询情绪值对照表获取待识别图像的瞬时情绪值，以确保待识别图像的瞬时情绪值的获取效率。
进一步地，在获取每一待识别图像对应的瞬时情绪值之后，服务器可基于该瞬时情绪值查询数据库，获取与瞬时情绪值相对应的标准音量或标准色调；并获取客户端当前播放该待识别图像时的当前音量或当前色调，基于标准音量或标准色调对当前音量和当前色调分别进行自动化调整，以使播放该待识别图像的当前音量和当前色调与用户当前情绪相匹配，即可使视频的音量或色调与用户当时的心情相匹配，更容易引起同感，从而提高原始视频对用户的吸引力。
在一实施例中，如图4所示，在步骤S203中，即依据与同一播放时间戳关联的所有录制时间戳对应的待识别图像的瞬时情绪值，确定播放时间戳对应的原始视频图像的激烈情绪概率的步骤，包括：
S401：统计与同一播放时间戳关联的所有录制时间戳对应的待识别图像的图像总数量。
其中，该图像总数量为服务器采集到所有观看过该原始视频图像对应的用户对应的待识别图像的总和。具体地，在对任一原始视频进行热点视频片段标注时，需获取所有观看该原始视频对应的录制视频，统计同一原始视频图像相对应的播放时间戳关联的所有录制时间戳对应的待识别图像的数量，确定为图像总数量。例如，对于视频标识为XX0001的原始视频中，某一原始视频图像是播放时间戳为原始视频中第10秒的原始视频图像，则与第10秒原始视频图像关联的所有待识别图像的数量为图像总数量。
S402：若待识别图像对应的瞬时情绪值的绝对值大于预设情绪阈值，则待识别图像的情绪属性为激烈情绪。
其中，预设情绪阈值是预先设置的用于评估瞬时情绪值是否为激烈情绪的阈值。该预设情绪阈值可以设置为0.6或其他值。具体地，服务器将待识别图像对应的瞬时情绪值的绝对值与预设情绪阈值进行比较，若该绝对值大于预设情绪阈值，则待识别图像的情绪属性为激烈情绪；反之，若该绝对值不大于预设情绪阈值，则待识别图像的情绪属性为平淡情绪。即微表情识别模型识别出每一待识别图像对应的瞬时情绪值是[-1,1]之间的数值，该瞬时情绪值的绝对值越接近1，则说明用户对所观看的原始视频中的原始视频图像的喜好程度或厌恶程度越大，可认定其微表情情绪为激烈情绪，这种激烈情绪容易引起用户的共鸣，具有较强的吸引力。相应地，若该瞬时情绪值的绝对值接近0，则说明用户对所观看的原始视频中的原始视频图像的喜好程度或厌恶程度越小，说明该原始视频图像没有引起用户的共鸣，其对用户的吸引力越低，可认定其微表情情绪为平淡情绪。
S403：统计与同一播放时间戳关联的所有录制时间戳对应的待识别图像中，情绪属性为激烈情绪的待识别图像的数量为激烈情绪数量。
具体地，服务器从统计出的与同一播放时间戳关联的所有录制时间戳对应的待识别图像中，情绪情绪为激烈情绪值的所有待识别图像的数量，将该数量确定为激烈情绪数量。例如，100名用户同时观看同一个原始视频中的某一个播放时间戳对应的原始视频图像，则获取与同一播放时间戳关联的所有录制时间戳对应的100待识别图像，采用微表情识别模型识别所有100张待识别图像的瞬时情绪值，并基于该瞬时情绪值确定其是否为激烈情绪，并将情绪属性为激烈情绪的待识别图像的数量确定为激烈情绪数量，此时激烈情绪数量为0-100之间的数值。
S404：采用激烈情绪概率公式对图像总数量和激烈情绪数量进行计算，确定播放时间戳对应的原始视频图像的激烈情绪概率，激烈情绪概率公式为L＝A/B，L为激烈情绪概率，A为激烈情绪数量，B为图像总数量。
具体地，服务器在获取任一原始视频图像的图像总数量和激烈情绪数量之后，可采用激烈情绪概率公式快速计算出其激烈情绪概率。该激烈情绪概率反映观看该原始视频图像的所有用户中，对该原始视频图像引起强烈的情绪波动的概率，可以很好地反映该原始视频图像对用户的吸引力或者引起用户的共鸣程度。
本实施例所提供的热点视频标注处理方法中，先获取与同一播放时间戳相对应的所有待识别图像的图像总数量，并从同一播放时间戳相对应的待识别图像中确定情绪属性为激烈情绪的激烈情绪数量，利用激烈情绪概率公式计算激烈情绪概率，使得激烈情绪概率的获取更具客观性可以直观地表现出原始视频图像对用户的吸引力。
在一实施例中，如图5所示，在步骤S205中，即基于热点视频图像对原始视频进行热点标注，获取热点视频片段，包括：
S501：统计任意两个热点视频图像之间形成的原始视频片段的帧数，确定为视频片段帧数。
其中，视频片段帧数是指两个热点视频图像之间形成的原始视频片段的帧数的总和。在本实施例中，获取热点视频图像后，统计任意两个热点视频图像之间形成的原始视频片段的帧数，确定为视频片段帧数，由于该原始视频片段包含两个热点视频图像，因此该视频片段帧数为至少两个。例如，原始视频中第20帧原始视频图像和第40帧原始视频图像为热点视频图像，则确定这两个热点视频图像之间形成的原始视频片段的视频片段帧数为21帧。
S502：若视频片段帧数小于或等于第一帧数阈值，则将原始视频片段确定为热点视频片段。
其中，第一帧数阈值是指预先设定好的用于判断原始视频片段是否为热点视频片段的时间间隔的最小值的阈值。该第一帧数阈值是自主设定的，其数值一般比较小。例如，该第一帧数阈值设置为120帧，而原始视频播放的帧率一般为24帧/秒，因此，其可确定的原始视频片段为5秒的原始视频片段。若视频片段帧数小于第一帧数阈值，则说明相邻两个热点视频图像的原始视频片段的间隔时间较短，该原始视频片段在短时间内引起用户的激烈情绪值，吸引用户的关注，则将该原始视频片段确定为热点视频片段。
S503：若视频片段帧数大于第一帧数阈值，且小于或者等于第二帧数阈值，则基于原始视频片段对应的播放时间戳，获取原始视频片段对应的波动情绪概率。
其中，第二帧数阈值是指预先设定的用于判断片段视频是否为热点视频片段的时间间隔的最大值的阈值。一般第二帧数阈值设置的较大，例如，第一帧数阈值设为120帧时，第二帧数阈值可设置为1200帧，若原始视频的播放帧率为24帧/秒，因此，其可确定的两个热点视频图像之间形成的原始视频片段为50秒的原始视频片段。根据50秒的原始视频片段中每一原始视频图像对应的播放时间戳，获取与该播放时间戳关联的待识别图像的情绪波动概率；若情绪波动概率较大，则说明该原始视频片段引起用户的激烈情绪的可能性较大；反之，若情绪波动概率较小，则说明该原始视频片段引起用户的激烈情绪的可能性较小。其中，情绪波动概率是指用户观看原始视频片段过程中引起较大情绪波动的概率，此处的较大情绪波动可以理解地从大喜到大悲或者其他情绪变化过程。
S504：若波动情绪概率大于第二概率阈值，则将原始视频片段确定为热点视频片段。
其中，第二概率阈值是用于基于波动情绪概率评估热点视频片段所设置的与概率相关的阈值。可以理解地，若某一原始视频片段的波动情绪概率大于第二概率阈值，则说明该原始视频片段引起用户较强的情绪波动，吸引用户的注意力，可将其确定为热点视频片段。
本实施例所提供的热点视频标注处理方法中，先获取两个热点视频图像之间形成的原始视频片段的视频片段帧数，如果视频片段帧数小于或者等于第一帧数阈值，则直接将该视频片段帧数为热点视频片段。如果视频片段帧数大于第一帧数阈值，且小于或者等于第二帧数阈值，则需获取该原始视频片段的波动情绪概率，再该片段视频的波动情绪概率与第二概率阈值的比较结果确定该原始视频片段是否为热点视频片段。本实施例中，通过两个热点视频图像之间形成的原始视频片段的视频片段帧数和波动情绪概率，确定其是否为热点视频片段，从而实现对原始视频中热点视频片段的自动标注，并保证所标注出的热点视频片段的客观性。
在一个实施例中，如图6所示，步骤S503，即基于原始视频片段对应的播放时间戳，获取原始视频片段对应的波动情绪概率，包括：
S601：基于原始视频片段对应的播放时间戳，从与原始视频相对应的录制视频中截取与播放时间戳对应的录制视频片段。
具体地，服务器根据原始视频片段的播放时间戳，从与该原始视频相对应的录制视频，截取该录制视频中与播放时间戳关联的录制视频片段，以便识别该录制视频片段的待识别图像。例如，若一原始视频中原始视频片段的播放时间戳为第10-50秒，则从与该原始视频相应的录制视频中，截取录制时间戳与第10-50秒这一播放时间戳相对应的录制视频片段，以使录制视频片段中的每一待识别图像均可反映用户观看原始视频片段时的面部表情变化。
S602：获取录制视频片段中每一待识别图像对应的瞬时情绪值。
由于步骤S202中，已经采用微表情识别模型对所有录制视频中的每一待识别图像进行识别，并获取其对应的瞬时情绪值，因此，本步骤可直接获取录制视频片段中每一待识别图像对应的瞬时情绪值，无需重新进行识别，以提高瞬时情绪值的获取效率。
S603：采用标准差公式对录制视频片段中所有待识别图像对应的瞬时情绪值进行计算，获取情绪值标准差；标准差公式为
Figure BDA0001942286980000121
其中，SN为录制视频片段的情绪值标准差，N为录制视频片段中待识别图像的数量，xi为每一待识别图像的瞬时情绪值，
Figure BDA0001942286980000122
为录制视频片段中所有瞬时情绪值xi的均值。
其中，情绪值标准差是指用户观看原始视频片段中所有待识别图像时的瞬时情绪值的标准差，可客观反映用户观看原始视频片段时的情绪波动情况。可以理解地，若采用每个用户的瞬时情绪值计算情绪值标准差，将该情绪值标准差大于预设标准差所确定的热点视频片段为该用户所关注的热点视频片段。若采用观看过这一段原始视频片段的所有用户的平均情绪值计算情绪值标准差，则基于该情绪值标准差大于预设标准差所确定的热点视频片段为该所有用户共同关注的热点视频片段。
S604：若情绪值标准差大于标准差阈值，则录制视频片段为情绪波动视频片段。
其中，标准差阈值是服务器预先设定好的值，标准差阈值可由用户根据需求自主设置。本实施例中，若某一原始视频片段的情绪值标准差大于标准差阈值，则说明用户观看该段原始视频片段时情绪波动较大，可能是从大喜转到大悲，或者从大悲转到大喜，则录制视频片段为情绪波动视频片段。这种情绪波动情况通过情绪值标准差来体现，可客观反映用户在观看原始视频片段过程中情绪变化。
S605：采用波动情绪概率公式对情绪波动视频片段的数量和录制视频片段的数量进行计算，获取原始视频片段的波动情绪概率，波动情绪概率公式为P＝C/D，P为波动情绪概率，C为情绪波动视频片段的数量，D为录制视频片段的数量。
具体地，通过波动情绪概率可以直观表现出用户观看原始视频片段时的情绪波动情况，若用户观看原始视频时，情绪波动视频片段数量越多，波动情绪概率越大，则说明该原始视频片段能够引起用户情绪的共鸣。上述波动情绪概率中，录制视频片段的数量D为从所有用户对应的录制视频中，截取出观看同一原始视频片段的录制视频片段的数量，可以理解为所有观看该原始视频片段并被录制到用户面部表情变化的用户数量。情绪波动视频片段的数量C为录制视频片段的数量D中，情绪值标准差大于标准差阈值的录制视频片段的数量。
本实施例所提供的热点视频标注处理方法中，获取录制视频片段中每一待识别图像对应的瞬时情绪值，采用标准差公式计算得出情绪值标准差，从而确定每一录制视频片段是否为情绪波动视频片段，以确定可引发强烈的情绪波动的情绪波动视频片段；再对情绪波动视频片段的数量和录制视频片段的数量进行计算得出原始视频片段的波动情绪概率，以实现通过波动情绪概率反映所有用户观看该原始视频片段的情绪波动情况。
在一实施例中，如图7所示，每一录制视频与一用户ID关联，该用户ID是用于唯一识别用户在视频播放系统中的身份的标识。在步骤S205之后，热点视频标注处理方法还包括：
S701：基于热点视频片段对应的播放时间戳，从与用户ID相对应的录制视频中截取与播放时间戳对应的目标视频片段。
其中，目标视频片段是用户ID对应的录制视频与热点视频片段的播放时间戳对应的录制视频片段。具体地，服务器根据热点视频片段对应的播放时间戳，获取用户ID对应的录制视频中，录制时间戳与热点视频片段的播放时间戳相对应的录制视频片段，将所获取的录制视频片段确定为的目标视频片段。
S702：获取目标视频片段中每一待识别图像对应的瞬时情绪值。
由于步骤S202中，已经采用微表情识别模型对所有录制视频中的每一待识别图像进行识别，并获取其对应的瞬时情绪值，因此，本步骤可直接获取目标视频片段中每一待识别图像对应的瞬时情绪值，无需重新进行识别，以提高瞬时情绪值的获取效率。
S703：基于瞬时情绪值查询情绪标签对照表，获取待识别图像对应的单帧情绪标签。
其中，情绪标签对照表是预先设置好的用于记录每一种瞬时情绪值对应的情绪标签的对照表。由于瞬时情绪值分别设置为1、0.8、0.5、0.3、0、-0.3、-0.5、-0.8和-1中的任一个，而每一瞬时情绪值可对应至少一种微表情类型，因此，可以依据每一个瞬时情绪值确定一个情绪标签，也可以依据瞬时情绪值的大小，与预先设置情绪标签划分规则，使得每一瞬时情绪值对应一情绪标签。例如，该情绪标签可以划分为喜、怒、……哀和乐等情绪标签，也可以依据情绪标签划分规则(如情绪值由大到小)划分为1级情绪、2级情绪……M级情绪，每一级情绪对应一情绪值范围。单帧情绪标签指一帧待识别图像对应的瞬时情绪值在情绪标签对照表的情绪标签。即可根据每一待识别图像中用户的瞬时情绪值，在情绪标签对照表中，查询到瞬时情绪值对应的单帧情绪标签，以便确定根据该单帧情绪标签确定用户对相应的原始视频图像的喜好程度。
S704：基于待识别图像对应的单帧情绪标签，获取目标视频片段对应的片段情绪标签。
其中，由于目标视频片段中的待识别图像是用户观看热点视频片段时所拍摄的实时图像，每一待识别图像对应的单帧情绪标签可反应出该用户观看目标视频片段中每一原始视频图像的情绪标签，获取目标视频片段中所有待识别图像对应的单帧情绪标签后，即可获取用户观看目标视频片段时的片段情绪标签。具体地，可从所有待识别图像的单帧情绪标签中，选取数量最多的一个单帧情绪标签确定为片段情绪标识。
S705：若片段情绪标签为预设情绪标签，则基于用户ID查询用户画像数据库，获取与用户ID相对应的用户标签，基于用户标签确定目标用户，将热点视频片段推送给目标用户对应的客户端。
其中，该用户标签是基于用户ID查询用户画像数据库，所获取到与用户ID相对应的性别、年龄、职业、兴趣或其他用户画像数据库中预设的标签。目标用户是指服务器获取到的与用户ID的对原始视频具有相同喜好的用户。具体地，可基于用户ID查询用户画像数据库，获取与用户ID相对应的用户标签，再基于用户标签可快速获取到目标用户，以便于推送该目标用户喜爱的热点视频片段。
其中，预设情绪标签是预先设置的可进行视频推送时的标签。例如，若预设情绪标签为喜标签或者1级标签，服务器识别到某一目标视频片段的片段情绪标签为1级标签，则认定对应的热点视频片段对用户ID对应的用户的吸引力较高，可对与用户ID对应的用户具有相同用户标签(即喜好相同)的目标用户进行热点视频片段推送，以保证热点视频片段对目标用户的吸引力。
本实施例所提供的热点视频标注处理方法中，先从录制视频中截取与热点视频片段的播放时间戳相对应的目标视频片段，获取其中每一待识别图像对应的单帧情绪标签，从而确定目标视频片段对应的片段情绪标签，该片段情绪标签可反映用户ID对应的用户在观看热点视频片段过程中的喜好情况。然后，基于用户ID查询该用户画像数据库，获取该用户的用户标签，以便确定与用户ID对应的用户具有的相同用户标签的目标用户，以使目标用户与用户ID对应的用户具有相同喜好。在片段情绪标签为预设情绪标签时，向目标用户推送热点视频片段，以提高热点视频片段对应目标用户的吸引力，从而提高热点视频片段甚至是或者包含该热点视频片段的原始视频的播放量。
在一实施例中，每一录制视频与一用户ID关联，该用户ID是用于唯一识别用户在视频播放系统中的身份的标识。如图8所示，在步骤S205之后，热点视频标注处理方法还包括：
S801：基于热点视频片段对应的播放时间戳，从与用户ID相对应的录制视频中截取与播放时间戳对应的目标视频片段。
其中，步骤S801的具体实现过程与步骤S701相同，为避免赘述，此处不一一详述。
S802：获取目标视频片段中每一待识别图像对应的瞬时情绪值。
其中，步骤S802的具体实现过程与步骤S702相同，为避免赘述，此处不一一详述。
S803：基于瞬时情绪值查询情绪标签对照表，获取待识别图像对应的单帧情绪标签。
其中，步骤S803的具体实现过程与步骤S703相同，为避免赘述，此处不一一详述。
S804：基于待识别图像对应的单帧情绪标签，获取目标视频片段对应的片段情绪标签。
其中，步骤S804的具体实现过程与步骤S704相同，为避免赘述，此处不一一详述。
S805：若片段情绪标签为预设情绪标签，则基于热点视频片段对应的播放时间戳，查询视频数据库，获取与热点视频片段相对应的内容标签，将与内容标签相对应的热点视频片段确定为推荐视频片段，将推荐视频片段推送给用户ID对应的客户端。
其中，内容标签是指对原始视频中播放内容的标签，其内容可能是搞笑、美食、时尚、旅游、娱乐、生活、资讯、亲子、知识、游戏、汽车、财经、萌宠、运动、音乐、动漫、科技和健康等分类标签，也可以是对视频内容的具体描述进行细分的其他标签。具体地，服务器在确定目标视频片段的片段情绪标签为预设情绪标签，确定该热点视频片段为用户ID对应的用户比较关注的视频类型的视频片段，此时，基于热点视频片段对应的播放时间戳查询视频数据库，获取与该热点视频片段对应的内容标签。由于用户ID对应的用户比较关注该热点视频片段，类推认定该用户会关注该热点视频片段对应的内容标签所对应的所有热点视频片段。
其中，推荐视频片段是基于内容标签确定的可推荐给用户ID对应的用户的热点视频片段。具体地，服务器根据内容标签查询视频数据库，获取与内容标签相应的其他热点视频片段，该热点视频片段确定为推荐视频片段，并将该推荐视频片段推荐给用户ID的客户端，实现自动推荐与内容标签相同的热点视频片段给用户ID对应的用户。
本实施例所提供的热点视频标注处理方法中，先从录制视频中截取与热点视频片段的播放时间戳相对应的目标视频片段，获取其中每一待识别图像对应的单帧情绪标签，从而确定目标视频片段对应的片段情绪标签，该片段情绪标签可反映用户ID对应的用户在观看热点视频片段过程中的喜好情况。然后，基于热点视频片段的播放时间戳，查询视频数据库，以确定该热点视频片段预先配置的内容标签，以便将服务器存储的与该内容标签相对应的其他热点视频片段确定为推荐视频片段，并将推荐视频片段推荐给用户ID对应的客户端，以使推荐视频片段更容易迎合用户ID对应的用户的喜好，提高用户ID对应的用户对推荐视频片段的吸引力。
在一实施例中，如图9所示，在步骤S205之后，热点视频标注处理方法还包括：
S901：基于热点视频片段，统计原始视频对应的热点视频帧率。
其中，热点视频帧率是指一个原始视频中所有的热点视频片段的帧数占整个原始视频的帧数的概率。具体地，服务器获取一个原始视频的帧数，然后统计该原始视频中的所有热点视频片段的帧数，利用所有热点视频片段的帧数除以原始视频的帧数，即可得到原始视频对应的热点视频帧率。例如，原始视频的帧数为10000，即原始视频中包含10000帧原始视频图像，而第一个热点视频片段的帧数为1000，第二个热点视频片段的帧数为2000，第三个热点视频片段的帧数为3000，则该原始视频对应的热点视频帧率为(1000+2000+3000)/10000＝60％,说明该原始视频中有60％的原始视频图像为热点视频片段中的原始视频图像，可客观反映该原始视频对用户的吸引力。
S902：基于原始视频对应的热点视频帧率，对原始视频进行排序，并依据排序结果在客户端上显示。
其中，服务器依据热点视频帧率从高到低的顺序，对原始视频在客户端的显示位置进行排序，以便用户观看热点视频帧率较高的原始视频，以使用户可根据热点视频帧率进行选择观看，从而提高用户对该视频播放系统所显示的原始视频的播放量。
本实施例所提供的热点视频标注处理方法中，获取每一原始视频的热点视频帧率后对原始视频进行排序并显示在该用户的客户端上，使得用户可选择性观看更具吸引力的原始视频以提高视频播放系统显示的原始视频的播放量。
在一实施例中，如图10所示，步骤S901，基于热点视频片段，统计原始视频对应的热点视频帧率，包括：
S1001：统计每一热点视频片段中原始视频图像的数量，确定为热点视频片段的片段总帧数。
其中，热点视频片段的片段总帧数是指同一个原始视频中所有的热点视频片段的总的帧数。例如，一个原始视频中的具有6个热点视频片段，此时，服务器统计这6个热点视频片段的帧数之和作为热点视频片段的片段总帧数。
S1002：统计原始视频中原始视频图像的数量，确定为原始视频的视频总帧数。
具体地，服务器统计原始视频中原始视频图像的数量，确定为原始视频的视频总帧数，即该视频总帧数为原始视频中所有原始视频图像的数量。具体地，在播放帧率确定的前提下，可根据播放帧率与原始视频的播放时长的乘积确定原始视频的视频总帧数，以便快速确定原始视频的总帧数，
S1003：采用热点视频帧率公式对热点视频片段的片段总帧数和原始视频的视频总帧数进行计算，获取原始视频对应的热点视频帧率，热点视频帧率公式为
Figure BDA0001942286980000171
其中，Z为热点视频帧率，wj为第j个热点视频片段的片段总帧数，m为热点视频片段的数量，K为原始视频的视频总帧数。
其中，服务器可在确定热点视频片段的片段总帧数和原始视频的视频总帧数之后，可采用热点视频帧率公式快速计算得到热点视频帧率，基于热点视频帧率对客户端显示的原始视频进行排序，以便用户选择性观看热点视频帧率较高的原始视频，提高原始视频的播放量。
本实施例所提供的热点视频标注处理方法中，获取热点视频片段的片段总帧数及原始视频的视频总帧数，采用热点视频帧率公式计算得出原始视频对应的热点视频帧率，以便依据热点视频帧率反映原始视频对用户的吸引力，从而进行排序，以提高原始视频的播放量。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种热点视频标注处理装置，该热点视频标注处理装置与上述实施例中热点视频标注处理方法一一对应。如图11所示，该热点视频标注处理装置包括录制视频获取模块1101、瞬时情绪值获取模块1102、激烈情绪概率确定模块1103、热点视频图像确定模块1104和热点视频片段获取模块1105。各功能模块详细说明如下：
录制视频获取模块1101，用于获取客户端播放原始视频的同时采集到的用户的录制视频，原始视频包括至少一帧原始视频图像，录制视频包括至少一帧待识别图像，每一待识别图像的录制时间戳与一原始视频图像的播放时间戳关联。
瞬时情绪值获取模块1102，用于采用微表情识别模型对每一待识别图像进行识别，获取待识别图像对应的瞬时情绪值。
激烈情绪概率确定模块1103，用于依据与同一播放时间戳关联的所有录制时间戳对应的待识别图像的瞬时情绪值，确定播放时间戳对应的原始视频图像的激烈情绪概率。
热点视频图像确定模块1104，用于若激烈情绪概率大于第一概率阈值，则将原始视频图像确定为热点视频图像。
热点视频片段获取模块1105，用于基于热点视频图像对原始视频进行热点标注，获取热点视频片段。
优选地，瞬时情绪值获取模块1102包括瞬时概率获取单元、微表情类型确定单元和瞬时情绪值获取单元。
瞬时概率获取单元，用于采用微表情识别模型对每一待识别图像进行识别，获取至少一种识别表情类型对应的瞬时概率。
微表情类型确定单元，用于将瞬时概率最大的识别表情类型确定为待识别图像的微表情类型。
瞬时情绪值获取单元，用于基于微表情类型查询情绪值对照表，获取待识别图像的瞬时情绪值。
优选地，激烈情绪概率确定模块1103包括图像总数量统计单元、激烈情绪判断单元、激烈情绪数量统计单元和激烈情绪概率确定单元。
图像总数量统计单元，用于统计与同一播放时间戳关联的所有录制时间戳对应的待识别图像的图像总数量。
激烈情绪判断单元，用于若待识别图像对应的瞬时情绪值的绝对值大于预设情绪阈值，则待识别图像的情绪属性为激烈情绪。
激烈情绪数量统计单元，用于统计与同一播放时间戳关联的所有录制时间戳对应的待识别图像中，情绪属性为激烈情绪的待识别图像的数量为激烈情绪数量。
激烈情绪概率确定单元，用于采用激烈情绪概率公式对图像总数量和激烈情绪数量进行计算，确定播放时间戳对应的原始视频图像的激烈情绪概率，激烈情绪概率公式为L＝A/B，L为激烈情绪概率，A为激烈情绪数量，B为图像总数量。
优选地，热点视频片段获取模块1105包括视频片段帧数统计单元、第一热点视频片段确定单元、波动情绪概率获取单元和第二热点视频片段确定单元。
视频片段帧数统计单元，用于统计任意两个热点视频图像之间形成的原始视频片段的帧数，确定为视频片段帧数。
第一热点视频片段确定单元，用于若视频片段帧数小于或等于第一帧数阈值，则将原始视频片段确定为热点视频片段。
波动情绪概率获取单元，用于若视频片段帧数大于第一帧数阈值，且小于或者等于第二帧数阈值，则基于原始视频片段对应的播放时间戳，获取原始视频片段对应的波动情绪概率。
第二热点视频片段确定单元，用于若波动情绪概率大于第二概率阈值，则将原始视频片段确定为热点视频片段。
优选地,波动情绪概率获取单元包括录制视频片段截取子单元、瞬时情绪值获取子单元、情绪值标准差获取子单元、情绪波动视频片段确定子单元和波动情绪概率计算子单元。
录制视频片段截取子单元，用于基于原始视频片段对应的播放时间戳，从与原始视频相对应的录制视频中截取与播放时间戳对应的录制视频片段。
瞬时情绪值获取子单元，用于获取录制视频片段中每一待识别图像对应的瞬时情绪值。
情绪值标准差获取子单元，用于采用标准差公式对录制视频片段中所有待识别图像对应的瞬时情绪值进行计算，获取情绪值标准差，标准差公式为
Figure BDA0001942286980000201
其中，SN为录制视频片段的情绪值标准差，N为录制视频片段中待识别图像的数量，xi为每一待识别图像的瞬时情绪值，
Figure BDA0001942286980000202
为录制视频片段中所有瞬时情绪值xi的均值。
情绪波动视频片段确定子单元，用于若情绪值标准差大于标准差阈值，则录制视频片段为情绪波动视频片段。
波动情绪概率计算子单元，用于采用波动情绪概率公式对情绪波动视频片段的数量和录制视频片段的数量进行计算，获取原始视频片段的波动情绪概率，波动情绪概率公式为P＝C/D，P为波动情绪概率，C为情绪波动视频片段的数量，D为录制视频片段的数量。
优选地，每一录制视频与一用户ID关联；在热点视频片段获取模块1105之后，热点视频标注处装置还包括目标视频片段截取模块、目标情绪值获取模块、单帧情绪标签获取模块、片段情绪标签获取模块、目标用户确定模块和热点视频片段推送模块。
目标视频片段截取模块，用于基于热点视频片段对应的播放时间戳，从与用户ID相对应的录制视频中截取与播放时间戳对应的目标视频片段。
目标情绪值获取模块，用于获取目标视频片段中每一待识别图像对应的瞬时情绪值。
单帧情绪标签获取模块，用于基于瞬时情绪值查询情绪标签对照表，获取待识别图像对应的单帧情绪标签。
片段情绪标签获取模块，用于基于待识别图像对应的单帧情绪标签，获取目标视频片段对应的片段情绪标签。
第一视频片段推送模块，用于若片段情绪标签为预设情绪标签，则基于用户ID查询用户画像数据库，获取与用户ID相对应的用户标签，基于用户标签确定目标用户，将热点视频片段推送给目标用户对应的客户端。
第二视频片段推送模块，用于若片段情绪标签为预设情绪标签，则基于热点视频片段对应的播放时间戳，查询视频数据库，获取与热点视频片段相对应的内容标签，将与内容标签相对应的热点视频片段确定为推荐视频片段，将推荐视频片段推送给用户ID对应的客户端。
优选地，在热点视频片段获取模块1105之后，热点视频标注处理装置还包括热点视频帧率统计模块和原始视频排序模块。
热点视频帧率统计模块，用于基于热点视频片段，统计原始视频对应的热点视频帧率。
原始视频排序模块，用于基于原始视频对应的热点视频帧率，对原始视频进行排序，并依据排序结果在客户端上显示。
优选地，热点视频帧率统计模块包括片段总帧数确定单元、视频总帧数确定单元和热点视频帧率获取单元。
片段总帧数确定单元，用于统计每一热点视频片段中原始视频图像的数量，确定为热点视频片段的片段总帧数。
视频总帧数确定单元，用于统计原始视频中原始视频图像的数量，确定为原始视频的视频总帧数。
热点视频帧率获取单元，用于采用热点视频帧率公式对热点视频片段的片段总帧数和原始视频的视频总帧数进行计算，获取原始视频对应的热点视频帧率，热点视频帧率公式为
Figure BDA0001942286980000211
其中，Z为热点视频帧率，wj为第j个热点视频片段的片段总帧数，m为热点视频片段的数量，K为原始视频的视频总帧数。
关于热点视频标注处理装置的具体限定可以参见上文中对于热点视频标注处理方法的限定，在此不再赘述。上述热点视频标注处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行上述基于热点视频标注处理方法过程中采用或者生成的数据，如原始视频图像的数量。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种热点视频标注处理方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中热点视频标注处理方法，例如图2所示的步骤S201-S205，或者图3至图10中所示的步骤，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现热点视频标注处理装置这一实施例中的各模块/单元的功能，例如图11所示的录制视频获取模块1101、瞬时情绪值获取模块1102、激烈情绪概率确定模块1103、热点视频图像确定模块1104和热点视频片段获取模块1105的功能，为避免重复，这里不再赘述。
在一实施例中，提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中热点视频标注处理方法，例如图2所示的步骤S201-S205，或者图3至图10中所示的步骤，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现上述热点视频标注处理装置这一实施例中的各模块/单元的功能，例如图11所示的录制视频获取模块1101、瞬时情绪值获取模块1102、激烈情绪概率确定模块1103、热点视频图像确定模块1104和热点视频片段获取模块1105的功能，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (9)

1.一种热点视频标注处理方法，其特征在于，包括：
获取客户端播放原始视频的同时采集到的用户的录制视频，所述原始视频包括至少一帧原始视频图像，所述录制视频包括至少一帧待识别图像，每一所述待识别图像的录制时间戳与一所述原始视频图像的播放时间戳关联；
采用微表情识别模型对每一所述待识别图像进行识别，获取所述待识别图像对应的瞬时情绪值；
依据与同一播放时间戳关联的所有录制时间戳对应的待识别图像的瞬时情绪值，确定所述播放时间戳对应的原始视频图像的激烈情绪概率；
若所述激烈情绪概率大于第一概率阈值，则将所述原始视频图像确定为热点视频图像；
基于所述热点视频图像对所述原始视频进行热点标注，获取热点视频片段；
其中，所述依据与同一播放时间戳关联的所有录制时间戳对应的待识别图像的瞬时情绪值，确定所述播放时间戳对应的原始视频图像的激烈情绪概率，包括：
统计与同一播放时间戳关联的所有录制时间戳对应的待识别图像的图像总数量；
若所述待识别图像对应的瞬时情绪值的绝对值大于预设情绪阈值，则所述待识别图像的情绪属性为激烈情绪；
统计与同一播放时间戳关联的所有录制时间戳对应的待识别图像中，情绪属性为激烈情绪的待识别图像的数量为激烈情绪数量；
采用激烈情绪概率公式对所述图像总数量和所述激烈情绪数量进行计算，确定所述播放时间戳对应的原始视频图像的激烈情绪概率，所述激烈情绪概率公式为L＝A/B，L为所述激烈情绪概率，A为所述激烈情绪数量，B为所述图像总数量。
2.如权利要求1所述的热点视频标注处理方法，其特征在于，所述采用微表情识别模型对每一所述待识别图像进行识别，获取所述待识别图像对应的瞬时情绪值，包括：
采用微表情识别模型对每一所述待识别图像进行识别，获取至少一种识别表情类型对应的瞬时概率；
将所述瞬时概率最大的识别表情类型确定为所述待识别图像的微表情类型；
基于所述微表情类型查询情绪值对照表，获取所述待识别图像的瞬时情绪值。
3.如权利要求1所述的热点视频标注处理方法，其特征在于，所述基于所述热点视频图像对所述原始视频进行热点标注，获取热点视频片段，包括：
统计任意两个热点视频图像之间形成的原始视频片段的帧数，确定为视频片段帧数；
若所述视频片段帧数小于或等于第一帧数阈值，则将所述原始视频片段确定为热点视频片段；
若所述视频片段帧数大于第一帧数阈值，且小于或者等于第二帧数阈值，则基于所述原始视频片段对应的播放时间戳，获取所述原始视频片段对应的波动情绪概率；
若所述波动情绪概率大于第二概率阈值，则将所述原始视频片段确定为热点视频片段。
4.如权利要求3所述的热点视频标注处理方法，其特征在于，所述基于所述原始视频片段对应的播放时间戳，获取所述原始视频片段对应的波动情绪概率，包括：
基于所述原始视频片段对应的播放时间戳，从与所述原始视频相对应的录制视频中截取与所述播放时间戳对应的录制视频片段；
获取所述录制视频片段中每一所述待识别图像对应的瞬时情绪值；
采用标准差公式对所述录制视频片段中所有待识别图像对应的瞬时情绪值进行计算，获取情绪值标准差；所述标准差公式为
Figure FDA0003122364270000021
其中，SN为录制视频片段的情绪值标准差，N为录制视频片段中待识别图像的数量，xi为每一待识别图像的瞬时情绪值，
Figure FDA0003122364270000022
为录制视频片段中所有瞬时情绪值xi的均值；
若所述情绪值标准差大于标准差阈值，则所述录制视频片段为情绪波动视频片段；
采用波动情绪概率公式对所述情绪波动视频片段的数量和所述录制视频片段的数量进行计算，获取所述原始视频片段的波动情绪概率，所述波动情绪概率公式为P＝C/D，P为所述波动情绪概率，C为所述情绪波动视频片段的数量，D为所述录制视频片段的数量。
5.如权利要求1所述的热点视频标注处理方法，其特征在于，每一所述录制视频与一用户ID关联；
在所述获取热点视频片段之后，所述热点视频标注处理方法还包括：
基于所述热点视频片段对应的播放时间戳，从与所述用户ID相对应的录制视频中截取与所述播放时间戳对应的目标视频片段；
获取所述目标视频片段中每一所述待识别图像对应的瞬时情绪值；
基于所述瞬时情绪值查询情绪标签对照表，获取所述待识别图像对应的单帧情绪标签；
基于所述待识别图像对应的单帧情绪标签，获取目标视频片段对应的片段情绪标签；
若所述片段情绪标签为预设情绪标签，基于所述用户ID查询用户画像数据库，获取与所述用户ID相对应的用户标签，基于所述用户标签确定目标用户，将所述热点视频片段推送给所述目标用户对应的客户端；
或者，若所述片段情绪标签为预设情绪标签，则基于所述热点视频片段对应的播放时间戳，查询视频数据库，获取与所述热点视频片段相对应的内容标签，将与所述内容标签相对应的热点视频片段确定为推荐视频片段，将所述推荐视频片段推送给所述用户ID对应的客户端。
6.如权利要求1所述的热点视频标注处理方法，其特征在于，在所述获取热点视频片段之后，所述热点视频标注处理方法还包括：
基于所述热点视频片段，统计所述原始视频对应的热点视频帧率；
基于所述原始视频对应的热点视频帧率，对所述原始视频进行排序，并依据排序结果在所述客户端上显示。
7.一种热点视频标注处理装置，其特征在于，包括：
录制视频获取模块，用于获取客户端播放原始视频的同时采集到的用户的录制视频，所述原始视频包括至少一帧原始视频图像，所述录制视频包括至少一帧待识别图像，每一所述待识别图像的录制时间戳与一所述原始视频图像的播放时间戳关联；
瞬时情绪值获取模块，用于采用微表情识别模型对每一所述待识别图像进行识别，获取所述待识别图像对应的瞬时情绪值；
激烈情绪概率确定模块，用于依据与同一播放时间戳关联的所有录制时间戳对应的待识别图像的瞬时情绪值，确定所述播放时间戳对应的原始视频图像的激烈情绪概率；
热点视频图像确定模块，用于若所述激烈情绪概率大于第一概率阈值，则将所述原始视频图像确定为热点视频图像；
热点视频片段获取模块，基于所述热点视频图像对所述原始视频进行热点标注，获取热点视频片段；
其中，所述激烈情绪概率确定模块，包括：
图像总数量统计单元，用于统计与同一播放时间戳关联的所有录制时间戳对应的待识别图像的图像总数量；
激烈情绪判断单元，用于若所述待识别图像对应的瞬时情绪值的绝对值大于预设情绪阈值，则所述待识别图像的情绪属性为激烈情绪；
激烈情绪数量统计单元，用于统计与同一播放时间戳关联的所有录制时间戳对应的待识别图像中，情绪属性为激烈情绪的待识别图像的数量为激烈情绪数量；
激烈情绪概率确定单元，用于采用激烈情绪概率公式对所述图像总数量和所述激烈情绪数量进行计算，确定所述播放时间戳对应的原始视频图像的激烈情绪概率，所述激烈情绪概率公式为L＝A/B，L为所述激烈情绪概率，A为所述激烈情绪数量，B为所述图像总数量。
8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述热点视频标注处理方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述热点视频标注处理方法。
CN201910025355.9A 2019-01-11 2019-01-11 热点视频标注处理方法、装置、计算机设备及存储介质 Active CN109819325B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910025355.9A CN109819325B (zh) 2019-01-11 2019-01-11 热点视频标注处理方法、装置、计算机设备及存储介质
PCT/CN2019/088957 WO2020143156A1 (zh) 2019-01-11 2019-05-29 热点视频标注处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910025355.9A CN109819325B (zh) 2019-01-11 2019-01-11 热点视频标注处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN109819325A CN109819325A (zh) 2019-05-28
CN109819325B true CN109819325B (zh) 2021-08-20

Family

ID=66604271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910025355.9A Active CN109819325B (zh) 2019-01-11 2019-01-11 热点视频标注处理方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN109819325B (zh)
WO (1) WO2020143156A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109819325B (zh) * 2019-01-11 2021-08-20 平安科技（深圳）有限公司 热点视频标注处理方法、装置、计算机设备及存储介质
CN110401847B (zh) * 2019-07-17 2021-08-06 咪咕文化科技有限公司 云dvr视频的压缩存储方法、电子设备及系统
CN110418204B (zh) * 2019-07-18 2022-11-04 平安科技（深圳）有限公司 基于微表情的视频推荐方法、装置、设备和存储介质
CN110519617B (zh) * 2019-07-18 2023-04-07 平安科技（深圳）有限公司 视频评论处理方法、装置、计算机设备及存储介质
CN110353705B (zh) * 2019-08-01 2022-10-25 秒针信息技术有限公司 一种识别情绪的方法及装置
CN110647812B (zh) * 2019-08-19 2023-09-19 平安科技（深圳）有限公司 摔倒行为检测处理方法、装置、计算机设备及存储介质
CN110826471B (zh) * 2019-11-01 2023-07-14 腾讯科技（深圳）有限公司 视频标签的标注方法、装置、设备及计算机可读存储介质
CN111343483B (zh) * 2020-02-18 2022-07-19 北京奇艺世纪科技有限公司 媒体内容片段的提示方法和装置、存储介质、电子装置
CN111447505B (zh) * 2020-03-09 2022-05-31 咪咕文化科技有限公司 视频剪辑方法、网络设备及计算机可读存储介质
CN111629222B (zh) * 2020-05-29 2022-12-20 腾讯科技（深圳）有限公司 一种视频处理方法、设备及存储介质
CN111860302B (zh) * 2020-07-17 2024-03-01 北京百度网讯科技有限公司 一种图像标注方法、装置、电子设备及存储介质
CN112291589B (zh) * 2020-10-29 2023-09-22 腾讯科技（深圳）有限公司 视频文件的结构检测方法、装置
CN112699774B (zh) * 2020-12-28 2024-05-24 深延科技(北京)有限公司 视频中人物的情绪识别方法及装置、计算机设备及介质
CN113127576B (zh) * 2021-04-15 2024-05-24 微梦创科网络科技（中国）有限公司 一种基于用户内容消费分析的热点发现方法及系统
CN114445896B (zh) * 2022-01-28 2024-04-05 北京百度网讯科技有限公司 视频中人物陈述内容可置信度的评估方法及装置
CN116386060B (zh) * 2023-03-23 2023-11-14 浪潮智慧科技有限公司 一种水尺数据自动标注方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104681048A (zh) * 2013-11-28 2015-06-03 索尼公司 多媒体读取控制装置、曲线获取装置、电子设备、曲线提供装置及方法
CN106341712A (zh) * 2016-09-30 2017-01-18 北京小米移动软件有限公司 多媒体数据的处理方法及装置
CN106792170A (zh) * 2016-12-14 2017-05-31 合网络技术（北京）有限公司 视频处理方法及装置
CN107809673A (zh) * 2016-09-09 2018-03-16 索尼公司 根据情绪状态检测处理视频内容的系统和方法
CN107968961A (zh) * 2017-12-05 2018-04-27 吕庆祥 基于情感曲线剪辑视频的方法及装置
CN108093297A (zh) * 2017-12-29 2018-05-29 厦门大学 一种影片片段自动采集的方法及系统
CN109151576A (zh) * 2018-06-20 2019-01-04 新华网股份有限公司 多媒体信息剪辑方法和系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101644421B1 (ko) * 2008-12-23 2016-08-03 삼성전자주식회사 사용자의 관심 정도에 기반한 컨텐츠 제공장치 및 방법
CN102693739A (zh) * 2011-03-24 2012-09-26 腾讯科技（深圳）有限公司 视频片段生成方法及系统
US9026678B2 (en) * 2011-11-30 2015-05-05 Elwha Llc Detection of deceptive indicia masking in a communications interaction
CN103873492B (zh) * 2012-12-07 2019-01-15 联想(北京)有限公司 一种电子设备及数据传输方法
CN105615902A (zh) * 2014-11-06 2016-06-01 北京三星通信技术研究有限公司 情绪监控方法和装置
CN105022801B (zh) * 2015-06-30 2018-06-22 北京奇艺世纪科技有限公司 一种热门视频挖掘方法和装置
CN107888947A (zh) * 2016-09-29 2018-04-06 法乐第(北京)网络科技有限公司 一种视频播放方法与装置
CN107257509B (zh) * 2017-07-13 2020-11-17 浙报融媒体科技(浙江)有限责任公司 一种视频内容的过滤方法及装置
CN109819325B (zh) * 2019-01-11 2021-08-20 平安科技（深圳）有限公司 热点视频标注处理方法、装置、计算机设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104681048A (zh) * 2013-11-28 2015-06-03 索尼公司 多媒体读取控制装置、曲线获取装置、电子设备、曲线提供装置及方法
CN107809673A (zh) * 2016-09-09 2018-03-16 索尼公司 根据情绪状态检测处理视频内容的系统和方法
CN106341712A (zh) * 2016-09-30 2017-01-18 北京小米移动软件有限公司 多媒体数据的处理方法及装置
CN106792170A (zh) * 2016-12-14 2017-05-31 合网络技术（北京）有限公司 视频处理方法及装置
CN107968961A (zh) * 2017-12-05 2018-04-27 吕庆祥 基于情感曲线剪辑视频的方法及装置
CN108093297A (zh) * 2017-12-29 2018-05-29 厦门大学 一种影片片段自动采集的方法及系统
CN109151576A (zh) * 2018-06-20 2019-01-04 新华网股份有限公司 多媒体信息剪辑方法和系统

Also Published As

Publication number Publication date
CN109819325A (zh) 2019-05-28
WO2020143156A1 (zh) 2020-07-16

Similar Documents

Publication Publication Date Title
CN109819325B (zh) 热点视频标注处理方法、装置、计算机设备及存储介质
US10924800B2 (en) Computerized system and method for automatically detecting and rendering highlights from streaming videos
CN110519617B (zh) 视频评论处理方法、装置、计算机设备及存储介质
US10999623B2 (en) Providing visual content editing functions
CN109547814B (zh) 视频推荐方法、装置、服务器及存储介质
JP5795580B2 (ja) タイムベースメディアにおけるソーシャルインタレストの推定および表示
US9471936B2 (en) Web identity to social media identity correlation
CN111310019B (zh) 信息推荐方法、信息处理方法、系统及设备
US20170289619A1 (en) Method for positioning video, terminal apparatus and cloud server
CN111258435B (zh) 多媒体资源的评论方法、装置、电子设备及存储介质
US11605402B2 (en) Video-log production system
US20140255003A1 (en) Surfacing information about items mentioned or presented in a film in association with viewing the film
CN109783656B (zh) 音视频数据的推荐方法、系统及服务器和存储介质
US10104429B2 (en) Methods and systems of dynamic content analysis
CN111382281B (zh) 基于媒体对象的内容的推荐方法、装置、设备和存储介质
CN113407772A (zh) 视频推荐模型的生成方法、视频推荐方法、装置
CN110929771B (zh) 图像样本分类方法及装置、电子设备、可读存储介质
TWM551710U (zh) 用戶資料蒐集系統
US11983925B2 (en) Detecting synthetic media

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant