CN107948732A - 视频的播放方法、视频播放装置及系统 - Google Patents

视频的播放方法、视频播放装置及系统 Download PDF

Info

Publication number
CN107948732A
CN107948732A CN201711260443.4A CN201711260443A CN107948732A CN 107948732 A CN107948732 A CN 107948732A CN 201711260443 A CN201711260443 A CN 201711260443A CN 107948732 A CN107948732 A CN 107948732A
Authority
CN
China
Prior art keywords
video
user
mood classification
field picture
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711260443.4A
Other languages
English (en)
Other versions
CN107948732B (zh
Inventor
张丽杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201711260443.4A priority Critical patent/CN107948732B/zh
Publication of CN107948732A publication Critical patent/CN107948732A/zh
Priority to US16/046,130 priority patent/US10560749B2/en
Application granted granted Critical
Publication of CN107948732B publication Critical patent/CN107948732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45457—Input to filtering algorithms, e.g. filtering a region of the image applied to a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Social Psychology (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Neurosurgery (AREA)
  • Psychiatry (AREA)
  • Developmental Disabilities (AREA)
  • Medical Informatics (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种视频的播放方法、视频播放装置及系统，属于显示技术领域。本发明的视频的播放方法，包括：根据预先存储的用户的情绪类别与视频内容的对应关系，将待显示的视频划分成多个视频片段，并将所述情绪类别作为所述视频片段的标签；根据所述视频片段的标签，控制该视频片段是否播放。本发明的视频播放方法可以对待显示的视频的内容进行选择性的播放，因此，可以达到提升用户体验的目的。

Description

视频的播放方法、视频播放装置及系统
技术领域
本发明属于显示技术领域，具体涉及一种视频的播放方法、视频播放装置及系统。
背景技术
在电视以及网络视频播放器中播放的不同视频内容都有不同的观看群体。不同的内容其观看用户会随着不同时间段的情绪差异而呈现出不同的观看体验。目前传统的视频播放方式都是采用用户选择的方式进行播放，然而用户在不清楚所观看内容的情况下通常会观看到自己不喜欢甚至是厌恶的视频片段，严重影响了用户的观看体验。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提供一种根据用户喜好对视频进行播放的视频的播放方法、视频播放装置及系统。
解决本发明技术问题所采用的技术方案是一种视频的播放方法，包括：
根据预先存储的用户的情绪类别与视频内容的对应关系，将待显示的视频划分成多个视频片段，并将所述情绪类别作为所述视频片段的标签；
根据所述视频片段的标签，控制该视频片段是否播放。
优选的是，视频的播放方法，其特征在于，包括：
根据预先存储的用户的情绪类别与视频内容的对应关系，将待显示的视频划分成多个视频片段，并将所述情绪类别作为所述视频片段的标签；
根据所述视频片段的标签，控制该视频片段是否播放。
进一步优选的是，所述情绪类别与视频内容的对应关系为第二神经网络；其中，
所述第二神经网络通过对视频内容样本和所述第一神经网络输出的情绪类别样本进行训练的到。
进一步优选的是，所述获取用户的体征参数的步骤，包括：
采集用户的表情以及生理参数，以用户的表情以及生理参数表征用户的情绪。
进一步优选的是，所述生理参数包括：心率、血压、血氧中的至少一种。
优选的是，所述视频内容为一帧图像或者视频片段。
进一步优选的是，所述视频内容为一帧图像，所述根据预先存储的用户的情绪类别与视频内容的对应关系，将待显示的视频划分成多个视频片段，并将所述情绪类别作为所述视频片段的标签的步骤，具体包括：
根据预先存储的用户的情绪类别与视频内容的对应关系，获取与待显示的视频中部分帧图像的对应用户的情绪类别；
将所获取的取待显示的视频中每一帧图像，以及该帧图像的前、后各预设帧图像划分为一个视频片段；并将所获取的取待显示的视频中每一帧图像的所对应用户的情绪类别，作为与该帧图像对应的视频片段的标签；其中，各个视频片段时长不等，且视频片段内容无重叠。
解决本发明技术问题所采用的技术方案是一种视频播放装置，其包括：
视频切分模块，用于根据预先存储的用户的情绪类别与视频内容的对应关系，将待显示的视频划分成多个视频片段，并将所述情绪类别作为所述视频片段的标签；
视频播放控制模块，用于根据所述视频片段的标签，控制该视频片段是否播放。
优选的是，第一神经网络和获取模块；其中，
所述获取模块，用于获取用户的体征参数；
所述第一神经网络被配置为根据用户的体征参数获取相应的所述情绪类别。
进一步优选的是，所述情绪类别与视频内容的对应关系为第二神经网络；其中，
所述第二神经网络通过对视频内容样本和所述第一神经网络输出的情绪类别样本进行训练的到。
进一步优选的是，所述获取模块包括：
人脸采集单元，用于采集用户的表情；
生理参数单元，用于采集用户生理参数。
进一步优选的是，所述生理参数单元包括智能手环。
进一步优选的是，所述生理参数包括：心率、血压、血氧中的至少一种。
优选的是，所述视频内容为一帧图像或者视频片段。
进一步优选的是，所述视频内容为一帧图像；
所述视频切分模块具体用于，根据预先存储的用户的情绪类别与视频内容的对应关系，获取与待显示的视频中部分帧图像的对应用户的情绪类别；
将所获取的取待显示的视频中每一帧图像，以及该帧图像的前、后各预设帧图像划分为一个视频片段；并将所获取的取待显示的视频中每一帧图像的所对应用户的情绪类别，作为与该帧图像对应的视频片段的标签；其中，各个视频片段时长不等，且视频片段内容无重叠。
解决本发明技术问题所采用的技术方案是一种视频播放系统，其包括上述的视频播放装置。
优选的是，所述视频播放装置包括第一神经网络；所述视频播放系统，还包括：第一离线训练单元，用于通过对用户的体征参数和情绪类别进行训练，生成第一神经网络。
进一步优选的是，所述情绪类别与视频内容的对应关系为第二神经网络；所述视频播放系统还包括第二离线训练装置，用于通过对视频内容样本和所述第一神经网络输出的情绪类别样本进行训练，生成第二神经网络。
本发明具有如下有益效果：
由于本发明中视频的播放方法，将待显示的视频首先根据预先存储的用户的情绪类别与视频内容的对应关系，划分成多个视频片段，并将情绪类别作为视频片段的标签；之后根据视频片段的标签，控制该视频片段是否进行播放，也即对待显示的视频的内容进行选择性的播放，因此，可以达到提升用户体验的目的。
附图说明
图1为本发明的实施例1的视频的播放方法的流程图；
图2为本发明的实施例2的视频的播放方法的流程图；
图3和4为本发明的实施例3的视频播放装置的示意图；
图5为本发明的实施例2-3中获取第一神经网络的示意图；
图6为本发明的实施例2-3中获取第二神经网络的示意图；
图7为本发明的实施例4的视频播放系统的示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。
实施例1：
如图1所示，本实施例提供一种视频的播放方法，包括：根据预先存储的用户的情绪类别与视频内容的对应关系，将待显示的视频划分成多个视频片段，并将情绪类别作为视频片段的标签；以及，根据视频片段的标签，控制该视频片段是否播放的步骤。
在此需要说明的是，本实施例中所谓的“视频片段”是指，在一段视频中具有一定时长的视频数据；而本实施例中的“视频内容”可以是视频片段，也可以是视频中的一帧图像。
由于本实施例中视频的播放方法，将待显示的视频首先根据预先存储的用户的情绪类别与视频内容的对应关系，划分成多个视频片段，并将情绪类别作为视频片段的标签；之后根据视频片段的标签，控制该视频片段是否进行播放，也即对待显示的视频的内容进行选择性的播放，例如，将用户的情绪类别为喜欢时，该视频片段才会进行播放，因此，可以达到提升用户体验的目的。
为了更清楚的理解本实施例的视频的播放方法，具体的结合以下实施例对此进行说明。
实施例2：
如图2、5-6所示，本实施例提供一种视频的播放方法，其具体包括如下过程：
一、通过第一神经网络，对用户的情绪类别进行分析。
具体的，通过对用户的体征参数样本和情绪类别进行训，练获取第一神经网络。其中，用户的体征参数可以包括通过摄像头等人脸识别单元所获取的用户的表情，以及通过智能手环等功能模块所获取的血压、心率、血氧等生理参数。用户的情绪类别包括1-5，共5个类别，其中，1表示用户感受到厌恶，5表示用户感受到喜欢，中间值则是过渡。
二、通过情绪类别与视频内容的对应关系，对视频内容进行分析。
具体的，情绪类别与视频内容的对应关系可以为第二神经网络；第二神经网络通过对视频内容样本和所述第一神经网络输出的情绪类别样本进行训练的到。
对第二神经网络的获得进行举例说明。
首先，采集样本，获取用户在观看某一视频内容时，该视频内容样本，以及获取该用户在视频内容时的体征参数，并将该体征参数输入至第一神经网络，得带该用户观看该视频内容时情绪类别，此时该情绪类别则与该视频样本对应的情绪类别样本。按照此方法，获取多组视频内容样本和情绪类别样本。
之后，通过对视频内容样本和情绪类别样本进行训练，生成第二神经网络。
在此需要说明的是，在此也是只将第二神经网络作为一种建立用户的情绪类别与视频内容的对应关系的模型为例，当然，也可以采用映射表等其他形式作为用户的情绪类别与视频内容的对应关系。
三、对待显示的视频进行切分。
具体的，首先，对用户的身份进行识别；之后，获取该用户对应的第二神经网络；最后，根据所获取的第二神经网络，将待显示的视频划分成多个视频片段，并将所述情绪类别作为所述视频片段的标签。
其中，视频内容可以为一帧图像，也可以为视频片段。假若视频内容为一帧图像，根据第二神经网络，将待显示的视频划分成多个视频片段，并将所述情绪类别作为所述视频片段的标签的步骤，具体包括：
根据第二神经网络，获取与待显示的视频中部分帧图像的对应用户的情绪类别。
将所获取的取待显示的视频中每一帧图像，以及该帧图像的前、后各预设帧图像划分为一个视频片段；并将所获取的取待显示的视频中每一帧图像的所对应用户的情绪类别，作为与该帧图像对应的视频片段的标签；其中，各个视频片段时长不等，且视频片段内容无重叠。
四、视频的播放。
根据待显示的视频中的视频片段的标签，控制该视频片段是否播放。
具体的，若视频片段上的标签代表用户喜欢，也即该视频片段对应的用户的情绪类别为用户喜欢，此时则控制该视频片段保留；若视频片段上的标签代表用户厌恶，也即该视频片段对应的用户的情绪类别为用户厌恶，此时则控制该视频片段剔除。最后，按照最终剩余的视频片段进行播放。
在此需要说明的是，本实施例的视频的播放方法中的过程一和二可以不包含在该视频的播放方法中，也即第一神经网络和第二神经网络可以预先离线训练得到。
由于本实施例中视频的播放方法，将待显示的视频首先根据预先存储的第二神经网络，划分成多个视频片段，并将情绪类别作为视频片段的标签；之后根据视频片段的标签，控制该视频片段是否进行播放，也即对待显示的视频的内容进行选择性的播放，例如，将用户的情绪类别为喜欢时，该视频片段才会进行播放，因此，可以达到提升用户体验的目的。
实施例3：
如图3和4所示，本实施例中提供了一种视频播放装置，其包括：视频切分模块和视频控制播放模块；其中，视频切分模块用于根据预先存储的用户的情绪类别与视频内容的对应关系，将待显示的视频划分成多个视频片段，并将情绪类别作为视频片段的标签；视频播放控制模块用于根据视频片段的标签，控制该视频片段是否播放。
由于本实施例中视频播放装置中的视频切分模块根据预先存储的用户的情绪类别与视频内容的对应关系，将待显示的视频划分成多个视频片段，并将情绪类别作为视频片段的标签；这样以来，视频播放控制模块根据视频片段的标签，控制该视频片段是否播放，也即本实施例中的视频播放装置可以对待显示的视频的内容进行选择性的播放，例如，将用户的情绪类别为喜欢时，该视频片段才会进行播放，因此，可以达到提升用户体验的目的。
其中，如图5所示，本实施例中的视频播放装置还可以包括第一神经网络和获取模块；获取模块用于获取用户的体征参数；第一神经网络被配置为根据用户的体征参数获取相应的所述情绪类别。
具体的，获取模块包括：人脸采集单元和生理参数单元；其中，人脸采集单元用于采集用户的表情；生理参数单元用于采集用户生理参数，生理参数包括：心率、血压、血氧中的至少一种。。该生理参数单元包括智能手环。
由于本实施例中的将用户的表情、生理参数包括：心率、血压、血氧中的至少一种作为用户的体征参数，使得第一神经网络对用户的情绪类别分析的更加精准。
具体的，如图6所示，本实施例情绪类别与视频内容的对应关系为第二神经网络；其中，第二神经网络通过对视频内容样本和所述第一神经网络输出的情绪类别样本进行训练的到。
其中，对第二神经网络的获得进行举例说明。首先，采集样本，获取用户在观看某一视频内容时，该视频内容样本，以及获取该用户在视频内容时的体征参数，并将该体征参数输入至第一神经网络，得带该用户观看该视频内容时情绪类别，此时该情绪类别则与该视频样本对应的情绪类别样本。按照此方法，获取多组视频内容样本和情绪类别样本。之后，通过对视频内容样本和情绪类别样本进行训练，生成第二神经网络。
其中，本实施例中的视频内容可以为一帧图像，也可以为视频片段。当视频内容为一帧图像；视频切分模块具体用于根据预先存储的用户的情绪类别与视频内容的对应关系，获取与待显示的视频中部分帧图像的对应用户的情绪类别；将所获取的取待显示的视频中每一帧图像，以及该帧图像的前、后各预设帧图像划分为一个视频片段；并将所获取的取待显示的视频中每一帧图像的所对应用户的情绪类别，作为与该帧图像对应的视频片段的标签；其中，各个视频片段时长不等，且视频片段内容无重叠。
在此需要说明的是，当视频内容为视频片段时，将待显示的视频划分出的视频片段的长度也是不等长的，而采用情绪类别与视频内容的对应关系，也即第二神经网络对待显示的视频进行划分，大大的提高了视频的划分速度。
实施例4：
如图7所示，本实施例中提供了一种视频播放系统其不仅包括实施例3中的视频播放装置，其还包括第一离线训练单元和第二离线训练单元。其中，第一离线训练单元用于通过对用户的体征参数和情绪类别进行训练，生成第一神经网络。第二离线训练装置用于通过对视频内容样本和所述第一神经网络输出的情绪类别样本进行训练，生成第二神经网络。
本实施例中的视频播放系统采用第一离线训练单元生成第一神经网络，采用第二离线训练单元生成第二神经网络，并将第一神经网络和第二神经网络应用至视频播放装置中，对待显示的视频的内容进行选择性的播放，例如，将用户的情绪类别为喜欢时，该视频片段才会进行播放，因此，可以达到提升用户体验的目的。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (18)

1.一种视频的播放方法，其特征在于，包括：
根据预先存储的用户的情绪类别与视频内容的对应关系，将待显示的视频划分成多个视频片段，并将所述情绪类别作为所述视频片段的标签；
根据所述视频片段的标签，控制该视频片段是否播放。
2.根据权利要求1所述的视频的播放方法，其特征在于，所述情绪类别采用预先生成的第一神经网络获取；其中，
所述第一神经网络被配置为根据用户的体征参数获取相应的所述情绪类别。
3.根据权利要求2所述的视频的播放方法，其特征在于，所述情绪类别与视频内容的对应关系为第二神经网络；其中，
所述第二神经网络通过对视频内容样本和所述第一神经网络输出的情绪类别样本进行训练的到。
4.根据权利要求2所述的视频的播放方法，其特征在于，所述获取用户的体征参数的步骤，包括：
采集用户的表情以及生理参数，以用户的表情以及生理参数表征用户的情绪。
5.根据权利要求4所述的视频的播放方法，其特征在于，所述生理参数包括：心率、血压、血氧中的至少一种。
6.根据权利要求1或2所述的视频的播放方法，其特征在于，所述视频内容为一帧图像或者视频片段。
7.根据权利要求6所述的视频的播放方法，其特征在于，所述视频内容为一帧图像，所述根据预先存储的用户的情绪类别与视频内容的对应关系，将待显示的视频划分成多个视频片段，并将所述情绪类别作为所述视频片段的标签的步骤，具体包括：
根据预先存储的用户的情绪类别与视频内容的对应关系，获取与待显示的视频中部分帧图像的对应用户的情绪类别；
将所获取的取待显示的视频中每一帧图像，以及该帧图像的前、后各预设帧图像划分为一个视频片段；并将所获取的取待显示的视频中每一帧图像的所对应用户的情绪类别，作为与该帧图像对应的视频片段的标签；其中，各个视频片段时长不等，且视频片段内容无重叠。
8.一种视频播放装置，其特征在于，包括：
视频切分模块，用于根据预先存储的用户的情绪类别与视频内容的对应关系，将待显示的视频划分成多个视频片段，并将所述情绪类别作为所述视频片段的标签；
视频播放控制模块，用于根据所述视频片段的标签，控制该视频片段是否播放。
9.根据权利要求8所述的视频播放装置，其特征在于，所述视频播放装置还包括第一神经网络和获取模块；其中，
所述获取模块，用于获取用户的体征参数；
所述第一神经网络被配置为根据用户的体征参数获取相应的所述情绪类别。
10.根据权利要求9所述的视频播放装置，其特征在于，所述情绪类别与视频内容的对应关系为第二神经网络；其中，
所述第二神经网络通过对视频内容样本和所述第一神经网络输出的情绪类别样本进行训练的到。
11.根据权利要求9所述的视频播放装置，其特征在于，所述获取模块包括：
人脸采集单元，用于采集用户的表情；
生理参数单元，用于采集用户生理参数。
12.根据权利要求11所述的视频播放装置，其特征在于，所述生理参数单元包括智能手环。
13.根据权利要求11所述的视频播放装置，其特征在于，所述生理参数包括：心率、血压、血氧中的至少一种。
14.根据权利要求8或9所述的视频播放装置，其特征在于，所述视频内容为一帧图像或者视频片段。
15.根据权利要求14所述的视频播放装置，其特征在于，所述视频内容为一帧图像；
所述视频切分模块具体用于，根据预先存储的用户的情绪类别与视频内容的对应关系，获取与待显示的视频中部分帧图像的对应用户的情绪类别；
将所获取的取待显示的视频中每一帧图像，以及该帧图像的前、后各预设帧图像划分为一个视频片段；并将所获取的取待显示的视频中每一帧图像的所对应用户的情绪类别，作为与该帧图像对应的视频片段的标签；其中，各个视频片段时长不等，且视频片段内容无重叠。
16.一种视频播放系统，其特征在于，包括权利要求8-15中任一项所述的视频播放装置。
17.根据权利要求16所述的视频播放系统，其特征在于，所述视频播放装置包括第一神经网络；所述视频播放系统，还包括：第一离线训练单元，用于通过对用户的体征参数和情绪类别进行训练，生成第一神经网络。
18.根据权利要求17所述的视频播放系统，其特征在于，所述情绪类别与视频内容的对应关系为第二神经网络；所述视频播放系统还包括第二离线训练装置，用于通过对视频内容样本和所述第一神经网络输出的情绪类别样本进行训练，生成第二神经网络。
CN201711260443.4A 2017-12-04 2017-12-04 视频的播放方法、视频播放装置及系统 Active CN107948732B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711260443.4A CN107948732B (zh) 2017-12-04 2017-12-04 视频的播放方法、视频播放装置及系统
US16/046,130 US10560749B2 (en) 2017-12-04 2018-07-26 Video playing method, video playing device, video playing system, apparatus and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711260443.4A CN107948732B (zh) 2017-12-04 2017-12-04 视频的播放方法、视频播放装置及系统

Publications (2)

Publication Number Publication Date
CN107948732A true CN107948732A (zh) 2018-04-20
CN107948732B CN107948732B (zh) 2020-12-01

Family

ID=61947442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711260443.4A Active CN107948732B (zh) 2017-12-04 2017-12-04 视频的播放方法、视频播放装置及系统

Country Status (2)

Country Link
US (1) US10560749B2 (zh)
CN (1) CN107948732B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101942A (zh) * 2018-08-27 2018-12-28 苏州健雄职业技术学院 一种智能现实互动交流传递机器人表情模拟方法及系统
CN109151615A (zh) * 2018-11-02 2019-01-04 湖南双菱电子科技有限公司 视频处理方法、计算机设备和计算机存储介质
CN109275047A (zh) * 2018-09-13 2019-01-25 周昕 视频信息处理方法及装置、电子设备、存储介质
CN109474845A (zh) * 2018-09-14 2019-03-15 咪咕音乐有限公司 弹幕控制方法、弹幕处理服务器以及计算机可读存储介质
CN110225398A (zh) * 2019-05-28 2019-09-10 腾讯科技（深圳）有限公司 多媒体对象播放方法、装置和设备及计算机存储介质
CN110505502A (zh) * 2019-08-12 2019-11-26 咪咕视讯科技有限公司 一种视频处理方法、设备及计算机可读存储介质
CN111209440A (zh) * 2020-01-13 2020-05-29 腾讯科技（深圳）有限公司 一种视频播放方法、装置和存储介质
CN113795882A (zh) * 2019-09-27 2021-12-14 华为技术有限公司 基于情绪的多媒体内容概括

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11380359B2 (en) 2020-01-22 2022-07-05 Nishant Shah Multi-stream video recording system using labels
US11677905B2 (en) 2020-01-22 2023-06-13 Nishant Shah System and method for labeling networked meetings and video clips from a main stream of video
CN113194349B (zh) * 2021-04-25 2023-06-13 腾讯科技（深圳）有限公司 视频播放方法、评论方法、装置、设备及存储介质
CN115250377B (zh) * 2021-04-27 2024-04-02 深圳市帧彩影视科技有限公司 视频处理方法、处理平台、电子设备及存储介质
US11457270B1 (en) * 2021-05-20 2022-09-27 At&T Intellectual Property I, L.P. Content processing workflow that alters objectionable content segments to enhance customer viewing experience
WO2023003928A1 (en) 2021-07-20 2023-01-26 Nishant Shah Context-controlled video quality camera system
CN114125521A (zh) * 2021-11-30 2022-03-01 深圳Tcl数字技术有限公司 设备控制方法、装置、存储介质及电子设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693739A (zh) * 2011-03-24 2012-09-26 腾讯科技（深圳）有限公司 视频片段生成方法及系统
CN103714130A (zh) * 2013-12-12 2014-04-09 深圳先进技术研究院 视频推荐系统及方法
CN103826160A (zh) * 2014-01-09 2014-05-28 广州三星通信技术研究有限公司 获取视频的信息的方法及设备及播放视频的方法及设备
CN104410911A (zh) * 2014-12-31 2015-03-11 合一网络技术(北京)有限公司 基于视频情感标注辅助识别面部表情的方法
US20160066036A1 (en) * 2014-08-27 2016-03-03 Verizon Patent And Licensing Inc. Shock block
CN105872763A (zh) * 2015-12-09 2016-08-17 乐视网信息技术（北京）股份有限公司 设备控制方法及装置
CN106792170A (zh) * 2016-12-14 2017-05-31 合网络技术（北京）有限公司 视频处理方法及装置
CN106878809A (zh) * 2017-02-15 2017-06-20 腾讯科技（深圳）有限公司 一种视频收藏方法、播放方法、装置、终端及系统
CN107105320A (zh) * 2017-03-07 2017-08-29 上海交通大学 一种基于用户情绪的在线视频热度预测方法及系统
CN107145326A (zh) * 2017-03-28 2017-09-08 浙江大学 一种基于目标面部表情采集的音乐自动播放系统及方法
CN107169409A (zh) * 2017-03-31 2017-09-15 北京奇艺世纪科技有限公司 一种情感识别方法及装置
CN107241622A (zh) * 2016-03-29 2017-10-10 北京三星通信技术研究有限公司 视频定位处理方法、终端设备及云端服务器
CN107257509A (zh) * 2017-07-13 2017-10-17 上海斐讯数据通信技术有限公司 一种视频内容的过滤方法及装置
CN107423727A (zh) * 2017-08-14 2017-12-01 河南工程学院 基于神经网络的人脸复杂表情识别方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693739A (zh) * 2011-03-24 2012-09-26 腾讯科技（深圳）有限公司 视频片段生成方法及系统
CN103714130A (zh) * 2013-12-12 2014-04-09 深圳先进技术研究院 视频推荐系统及方法
CN103826160A (zh) * 2014-01-09 2014-05-28 广州三星通信技术研究有限公司 获取视频的信息的方法及设备及播放视频的方法及设备
US20160066036A1 (en) * 2014-08-27 2016-03-03 Verizon Patent And Licensing Inc. Shock block
CN104410911A (zh) * 2014-12-31 2015-03-11 合一网络技术(北京)有限公司 基于视频情感标注辅助识别面部表情的方法
CN105872763A (zh) * 2015-12-09 2016-08-17 乐视网信息技术（北京）股份有限公司 设备控制方法及装置
CN107241622A (zh) * 2016-03-29 2017-10-10 北京三星通信技术研究有限公司 视频定位处理方法、终端设备及云端服务器
CN106792170A (zh) * 2016-12-14 2017-05-31 合网络技术（北京）有限公司 视频处理方法及装置
CN106878809A (zh) * 2017-02-15 2017-06-20 腾讯科技（深圳）有限公司 一种视频收藏方法、播放方法、装置、终端及系统
CN107105320A (zh) * 2017-03-07 2017-08-29 上海交通大学 一种基于用户情绪的在线视频热度预测方法及系统
CN107145326A (zh) * 2017-03-28 2017-09-08 浙江大学 一种基于目标面部表情采集的音乐自动播放系统及方法
CN107169409A (zh) * 2017-03-31 2017-09-15 北京奇艺世纪科技有限公司 一种情感识别方法及装置
CN107257509A (zh) * 2017-07-13 2017-10-17 上海斐讯数据通信技术有限公司 一种视频内容的过滤方法及装置
CN107423727A (zh) * 2017-08-14 2017-12-01 河南工程学院 基于神经网络的人脸复杂表情识别方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101942B (zh) * 2018-08-27 2021-06-04 苏州健雄职业技术学院 一种智能现实互动交流传递机器人表情模拟方法及系统
CN109101942A (zh) * 2018-08-27 2018-12-28 苏州健雄职业技术学院 一种智能现实互动交流传递机器人表情模拟方法及系统
CN109275047A (zh) * 2018-09-13 2019-01-25 周昕 视频信息处理方法及装置、电子设备、存储介质
CN109275047B (zh) * 2018-09-13 2021-06-29 周昕 视频信息处理方法及装置、电子设备、存储介质
CN109474845B (zh) * 2018-09-14 2021-11-16 咪咕音乐有限公司 弹幕控制方法、弹幕处理服务器以及计算机可读存储介质
CN109474845A (zh) * 2018-09-14 2019-03-15 咪咕音乐有限公司 弹幕控制方法、弹幕处理服务器以及计算机可读存储介质
CN109151615A (zh) * 2018-11-02 2019-01-04 湖南双菱电子科技有限公司 视频处理方法、计算机设备和计算机存储介质
CN109151615B (zh) * 2018-11-02 2022-01-25 湖南双菱电子科技有限公司 视频处理方法、计算机设备和计算机存储介质
CN110225398A (zh) * 2019-05-28 2019-09-10 腾讯科技（深圳）有限公司 多媒体对象播放方法、装置和设备及计算机存储介质
CN110225398B (zh) * 2019-05-28 2022-08-02 腾讯科技（深圳）有限公司 多媒体对象播放方法、装置和设备及计算机存储介质
CN110505502A (zh) * 2019-08-12 2019-11-26 咪咕视讯科技有限公司 一种视频处理方法、设备及计算机可读存储介质
CN113795882A (zh) * 2019-09-27 2021-12-14 华为技术有限公司 基于情绪的多媒体内容概括
CN113795882B (zh) * 2019-09-27 2022-11-25 华为技术有限公司 基于情绪的多媒体内容概括
CN111209440A (zh) * 2020-01-13 2020-05-29 腾讯科技（深圳）有限公司 一种视频播放方法、装置和存储介质
CN111209440B (zh) * 2020-01-13 2023-04-14 深圳市雅阅科技有限公司 一种视频播放方法、装置和存储介质

Also Published As

Publication number Publication date
US20190174189A1 (en) 2019-06-06
CN107948732B (zh) 2020-12-01
US10560749B2 (en) 2020-02-11

Similar Documents

Publication Publication Date Title
CN107948732A (zh) 视频的播放方法、视频播放装置及系统
CN107809673B (zh) 根据情绪状态检测处理视频内容的系统和方法
CN101969841B (zh) 修改对象的心理生理状态
CN105045115B (zh) 一种控制方法及智能家居设备
CN101286196B (zh) 图像存储处理装置和方法、图像搜索装置和方法
CN108304458A (zh) 根据用户情绪的多媒体内容推送方法和系统
US20150082167A1 (en) Intelligent device mode shifting based on activity
CN107341333A (zh) 一种辅助心理咨询的vr设备和方法
WO2001067752A3 (en) Method and apparatus for displaying television program recommendations
CN104284254B (zh) 调整视频播放参数的显示设备及其方法
CN108078574A (zh) 一种区别人与智能机器的方法
CN107272900A (zh) 一种自主式可穿戴音乐播放器
CN106861012A (zh) Vr体验场景下基于智能手环的用户情绪调节方法
CN104778953A (zh) 一种基于alljoyn技术的音乐播放方法及系统
US10797902B2 (en) Control of network-connected devices in accordance with group preferences
CN107004285A (zh) 用于管理用户界面的颜色的方法和图形处理器
CN105872632A (zh) 一种个性化节目定制播放方法和装置
CN105771223A (zh) 一种基于心率的运动健身方法
CN107403138A (zh) 演示农作物生产长过程的处理方法、处理系统
Zimmermann et al. Intra-individual behavioural and neural signatures of audience effects and interactions in a mirror-game paradigm
CN109062399A (zh) 多媒体信息的评测方法和系统
CN112784069B (zh) 一种iptv内容智能推荐系统以及方法
CN116741343A (zh) 记忆力训练方法、装置、电子设备及计算机可读存储介质
KR102087514B1 (ko) 건강 및 복지 데이터에 기초하여 시청각 장치를 조정하기 위한 시스템
DE102022202385A1 (de) Proaktive aktionen basierend auf audio und körperbewegung

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant