CN114697715A - 视频播放方法、装置、设备及存储介质 - Google Patents
视频播放方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114697715A CN114697715A CN202210301069.2A CN202210301069A CN114697715A CN 114697715 A CN114697715 A CN 114697715A CN 202210301069 A CN202210301069 A CN 202210301069A CN 114697715 A CN114697715 A CN 114697715A
- Authority
- CN
- China
- Prior art keywords
- video
- playing
- shot
- information
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 abstract description 5
- 230000008859 change Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010420 art technique Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/411—Peripherals receiving signals from specially adapted client devices having similar hardware or software capabilities as the client device itself, e.g. a first STB connected to a second STB
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明涉及视频处理技术领域,其公开了视频播放方法、装置、设备及存储介质,本发明对待播放视频的视频内容进行解析和理解,得到待播放视频的信息量,并将信息量与用户的偏好进行结合,将不同镜头设置不同的播放倍速,并将相邻镜头的第一播放倍速序列中的最后一个播放倍速与第二播放倍速序列中的首个播放倍速的差值小于阈值,使精彩镜头播放速度变慢,拖沓镜头播放速度变快,并避免出现播放突兀的情况,提高用户的整体观感体验。
Description
技术领域
本发明涉及视频处理技术领域,尤其涉及一种视频播放方法、装置、设备及存储介质。
背景技术
用户在观察影视剧的过程中,常会遇到一些剧情冗杂的电视剧,或者特别关注的情节和任务场景,现有技术多是通过提供用户快速跳过视频片段的交互方法,让用户手动控制视频播放速度,也出现了通过手动设定播放倍速(如2倍速、3倍速等)或者基于用户兴趣点自动设置视频片段倍速的方式来节约时间的视频播放方法。
现有方案导致用户来回切换视频播放进度和位置寻找影片的精彩片段或关注的内容情节,从而影响用户的观影体验。
发明内容
本发明的主要目的在于提出一种视频播放方法、装置、设备及存储介质,旨在解决如何提高用户的观影体验技术问题。
为实现上述目的,本发明提供一种视频播放方法,所述视频播放方法包括以下步骤:
对待播放视频进行识别,获取所述待播放视频中每个镜头的镜头信息以及对应的视频内容标签;
根据当前用户的内容偏好标签、所述镜头信息以及所述视频内容标签得到所述待播放视频中每个镜头的信息量;
根据所述信息量确定每个镜头的播放倍速序列,基于所述每个镜头的播放倍速序列播放所述待播放视频,其中,第一播放倍速序列中的最后一个播放倍速与第二播放倍速序列中的首个播放倍速的差值小于阈值,所述第一播放倍速序列为相邻镜头中的前一镜头的播放倍速序列,所述第二播放倍速序列为所述相邻镜头中的后一镜头的播放倍速序列。
可选地,所述根据所述信息量确定每个镜头的播放倍速序列,包括:
根据所述信息量确定每个镜头的参考播放倍速;
根据所述镜头信息确定相邻镜头;
从所述参考播放倍速中获取所述相邻镜头的参考播放倍速;
根据所述参考播放倍速以及镜头窗口基数确定所述相邻镜头的播放倍速;
将所述相邻镜头的参考播放倍速调整为所述相邻镜头的播放倍速,得到每个镜头的播放倍速序列。
可选地,所述根据所述信息量确定每个镜头的参考播放倍速,包括:
提取所述信息量中的最大信息量以及最小信息量;
获取用户设置的目标播放倍数以及默认播放倍数;
根据所述目标播放倍数、默认播放倍数、最大信息量以及最小信息量,确定每个镜头的参考播放倍速。
可选地,所述根据当前用户的内容偏好标签、所述镜头信息以及所述视频内容标签得到所述待播放视频中每个镜头的信息量,包括:
将所述当前用户的内容偏好标签与所述视频内容标签进行匹配,得到所述视频内容标签中与所述内容偏好标签匹配的视频贡献度标签;
根据所述视频贡献度标签以及所述镜头信息,得到所述待播放视频中每个镜头的信息量。
可选地,所述根据所述视频贡献度标签以及所述镜头信息,得到所述待播放视频中每个镜头的信息量,包括:
根据所述视频贡献度标签以及所述镜头信息得到视频贡献度标签概率;
根据所述视频贡献度标签概率得到所述待播放视频中每个镜头的信息量。
可选地,所述根据所述视频贡献度标签以及所述镜头信息得到视频贡献度标签概率,包括:
对所述视频贡献度标签进行统计,得到视频贡献度标签数量;
根据所述视频贡献度标签,确定对应的贡献度镜头;
根据所述视频贡献度标签数量、所述贡献度镜头以及所述镜头信息,得到视频贡献度标签概率。
可选地,所述根据所述视频贡献度标签数量、所述贡献度镜头以及所述镜头信息,得到视频贡献度标签概率,包括:
将所述贡献度镜头与所述镜头信息进行比对,得到所述贡献度镜头与所述镜头信息匹配的次数;
将所述视频贡献度标签与所述视频内容标签进行比对,得到所述视频贡献度标签与所述视频内容标签匹配的次数;
根据所述视频贡献度标签数量、所述贡献度镜头与所述镜头信息匹配的次数以及所述视频贡献度标签与所述视频内容标签匹配的次数,得到视频贡献度标签概率。
此外,为实现上述目的,本发明还提出一种视频播放装置,所述视频播放装置包括:
获取模块,用于对待播放视频进行识别,获取所述待播放视频中每个镜头的镜头信息以及对应的视频内容标签;
所述获取模块,还用于根据当前用户的内容偏好标签、所述镜头信息以及所述视频内容标签得到所述待播放视频中每个镜头的信息量;
所述获取模块,还用于根据所述信息量确定每个镜头的播放倍速序列,基于所述每个镜头的播放倍速序列播放所述待播放视频,其中,第一播放倍速序列中的最后一个播放倍速与第二播放倍速序列中的首个播放倍速的差值小于阈值,所述第一播放倍速序列为相邻镜头中的前一镜头的播放倍速序列,所述第二播放倍速序列为所述相邻镜头中的后一镜头的播放倍速序列。
此外,为实现上述目的,本发明还提出一种视频播放设备,所述视频播放设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频播放程序,所述视频播放程序配置为实现如上文所述的视频播放方法。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有视频播放程序,所述视频播放程序被处理器执行时实现如上文所述的视频播放方法。
本发明提出的视频播放方法,通过对待播放视频进行识别,获取所述待播放视频中每个镜头的镜头信息以及对应的视频内容标签,根据当前用户的内容偏好标签、所述镜头信息以及所述视频内容标签得到所述待播放视频中每个镜头的信息量,根据所述信息量确定每个镜头的播放倍速序列,基于所述每个镜头的播放倍速序列播放所述待播放视频,其中,第一播放倍速序列中的最后一个播放倍速与第二播放倍速序列中的首个播放倍速的差值小于阈值,所述第一播放倍速序列为相邻镜头中的前一镜头的播放倍速序列,所述第二播放倍速序列为所述相邻镜头中的后一镜头的播放倍速序列,从而对待播放视频的视频内容进行解析和理解,得到待播放视频的信息量,并将信息量与用户的偏好进行结合,自动得到符合用户需求的播放倍速,将不同镜头设置不同的播放倍速,使精彩镜头播放速度变慢,拖沓镜头播放速度变快,并避免出现播放突兀的情况,提高用户的整体观感体验,避免用户通过手动以及自动设定的播放倍速。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的视频播放设备结构示意图;
图2为本发明视频播放方法第一实施例的流程示意图;
图3为本发明视频播放方法第二实施例的流程示意图;
图4为本发明视频播放方法一实施例的视频播放系统的模块示意图;
图5为本发明视频播放方法第三实施例的流程示意图;
图6为本发明视频播放装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
如图1所示,该设备可以包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如按键,可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的视频播放设备结构并不构成对视频播放设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视频播放方法程序。
在图1所示的视频播放设备中,网络接口1004主要用于连接服务器,与服务器进行数据通信;用户接口1003主要用于连接用户终端,与终端进行数据通信;本发明视频播放设备通过处理器1001调用存储器1005中存储的视频播放方法程序,并执行本发明实施例提供的视频播放方法。
基于上述硬件结构,提出本发明视频播放方法实施例。
参照图2,图2为本发明视频播放方法第一实施例的流程示意图。
在第一实施例中,所述视频播放方法包括以下步骤:
步骤S10,对待播放视频进行识别,获取所述待播放视频中每个镜头的镜头信息以及对应的视频内容标签。
需要说明的是,本实施例的执行主体可为视频播放服务器,视频播放服务器设有视频播放程序,还可为其他可实现相同或相似功能的设备,本实施例对此不作限制,还可为视频播放在本实施例中,以视频播放服务器为例进行说明,在视频播放服务器上设有视频播放程序,可根据视频播放程序自动得到符合用户需求的播放倍速。
可以理解的是,本实施例可应用于用户通过视频播放平台进行视屏播放的应用场景,还可进一步应用于短视频制作业务场景中,通过视频精彩镜头识别,将视频剪辑成精彩短视频,即一键成片,其中,在基于用户通过视频播放平台进行视屏播放的应用场景中,所述待播放视频可为用户通过视频播放平台选择的待播放视频,还可为用户通过视频播放器上传的待播放视频,还可为其他形式获取待播放视频,本实施例对此不做限制,在本实施例中,以用户通过视频播放平台选择的待播放视频为例进行说明。
在本实施例中,视频镜头分割识别是由于镜头出现切换引起的,镜头切换简单地可分为突变与渐变两大类。突变是一个镜头直接转换为下一个镜头,中间没有时间延迟,渐变包括叠换、淡入与淡出以及扫换等几类。对于给定视频内容,结合现有技术识别出视频中镜头和关键内容标签,包括关键人物、关键人物出场次数、场景等,其中识别技术包括但不限于像素法、直方图法、X2直方图法、X2直方图分块法、边缘轮廓变化率法以及深度学习方法。
在得到关键视频内容标签后,建立该视频索引库信息,包括:视频镜头序号(1,2,...,X)、镜头开始时间ti-start、镜头结束时间ti-end、视频内容标签{T1,T2,...,TC},并将以上所有信息记录在视频内容索引中进行管理,因此,镜头信息包括视频镜头序号、镜头开始时间以及镜头结束时间等,通过镜头信息以及视频内容建立标签,实现对视频内容的管理,以便于对视频内容的准确识别以及后续的视频播放倍速的计算。
步骤S20,根据当前用户的内容偏好标签、所述镜头信息以及所述视频内容标签得到所述待播放视频中每个镜头的信息量。
需要说明的是,为了获取用户内容偏好标签,通过结合用户的历史观影行为获取用户内容偏好标签(包括:战争、爱情、演员、导演等){T1,T2,...,TM},并记录在系统用户偏好库中,从而得到用户偏好标签,每个用户有对应的用户偏好标签,在获取每个用户的内容偏好标签时,可根据用户在视频播放平台的账号进行管理,建立用户账号与用户内容偏好标签的对应关系,根据用户的登录账号查找对应关系,得到对应的内容偏好标签,还可通过其他形式的用户标识得到内容偏好标签,本实施例对此不做限制。
在本实施例中,用户在通过视频播放平台选择观看的视频时,可获取用户登录视频播放平台的账号信息,根据账号信息在用户偏好标签的对应关系中得到对应的当前用户偏好标签,从而结合用户偏好对视频播放倍速进行调整,以提高观感体验。
步骤S30,根据所述信息量确定每个镜头的播放倍速序列,基于所述每个镜头的播放倍速序列播放所述待播放视频,其中,第一播放倍速序列中的最后一个播放倍速与第二播放倍速序列中的首个播放倍速的差值小于阈值,所述第一播放倍速序列为相邻镜头中的前一镜头的播放倍速序列,所述第二播放倍速序列为所述相邻镜头中的后一镜头的播放倍速序列。
在具体实现中,在确定播放倍速之后,通过前端视频播放器请求镜头播放倍速,根据视频播放倍速播放视频内容,从而用户设置好视频播放倍速之后,系统将自动根据用户选择的倍速,结合视频精彩内通片段判定和用户偏好对不同场景的镜头设置的不同的播放速度,精彩镜头播放速度变慢,拖沓镜头速度变快,满足了用户观感体验提升,并对相邻镜头进行平滑处理,使相邻镜头中第一播放倍速序列中的最后一个播放倍速与第二播放倍速序列中的首个播放倍速的差值小于阈值,避免出现播放突兀的情况。
在本实施例中,通过对待播放视频进行识别,获取所述待播放视频中每个镜头的镜头信息以及对应的视频内容标签,根据当前用户的内容偏好标签、所述镜头信息以及所述视频内容标签得到所述待播放视频中每个镜头的信息量,根据所述信息量确定每个镜头的播放倍速序列,基于所述每个镜头的播放倍速序列播放所述待播放视频,其中,第一播放倍速序列中的最后一个播放倍速与第二播放倍速序列中的首个播放倍速的差值小于阈值,所述第一播放倍速序列为相邻镜头中的前一镜头的播放倍速序列,所述第二播放倍速序列为所述相邻镜头中的后一镜头的播放倍速序列,从而对待播放视频的视频内容进行解析和理解,得到待播放视频的信息量,并将信息量与用户的偏好进行结合,自动得到符合用户需求的播放倍速,将不同镜头设置不同的播放倍速,使精彩镜头播放速度变慢,拖沓镜头播放速度变快,并避免出现播放突兀的情况,提高用户的整体观感体验,避免用户通过手动以及自动设定的播放倍速。
在一实施例中,如图3所示,基于第一实施例提出本发明视频播放方法第二实施例,所述步骤S30,包括:
步骤S301,根据所述信息量确定每个镜头的参考播放倍速。
在具体实现中,通过提取所述信息量中的最大信息量以及最小信息量,并获取用户设置的目标播放倍数以及默认播放倍数,根据所述目标播放倍数、默认播放倍数、最大信息量以及最小信息量,确定每个镜头的参考播放倍速。
在本实施例中,对所有镜头下的标签含有的信息量进行排序获得最大信息量ymax,最小值ymin。
可以理解的是,目标播放倍数为用户设置的最大播放倍速,用户根据自己观影需求设置视频播放倍速v,视频APP会将用户设置视频播放倍速传输到后端服务器,将用户设置的视频播放倍速v作为最大播放倍速,即目标播放倍数。
为了根据所述目标播放倍数、默认播放倍数、最大信息量以及最小信息量,确定每个镜头的参考播放倍速。
在具体实现中,所述目标播放倍数、默认播放倍数、最大信息量以及最小信息量通过以下公式确定每个镜头的参考播放倍速。
其中:vmax为用户设置的最大播放倍速,vmin为系统默认的播放倍速,初始可设置为1,根据用户体验或经验值设置,yn为信息量,vn为参考播放倍速。
进一步计算获得每个镜头的播速序列{v1,v2,...vX}。
在本实施例中,还提供了一种可以结合用户对不同视频内容题材的兴趣偏好进行倍速播放的系统,如图4所示,系统包含主要组件包括:
视频内容前端播放控制模块,负责管理和控制用户输入,即播放控制、倍速设置、视频内通呈现以及与后端的指令交互。
视频内容后端播放控制模块,负责接收前端请求,准备视频流内容,并与视频内容索引数据库以及用户内容偏好存储模型交互,提供基于视频内容镜头粒度的播放倍速控制。
视频内容索引数据模块,负责存储视频内容镜头信息,包括:镜头序号(1,2,...,X)、镜头开始时间ti-start、镜头结束时间ti-end、视频内容标签{T1,T2,...,TC}。
用户内容偏好存储模块,负责存储用户内容偏好标签(包括:战争、爱情、演员、导演等)。
在本实施例中,通过提取所述信息量中的最大信息量以及最小信息量,获取用户设置的目标播放倍数以及默认播放倍数,根据所述目标播放倍数、默认播放倍数、最大信息量以及最小信息量,确定每个镜头的参考播放倍速,从而根据信息量自动得到符合用户需求的参考播放倍速,将不同镜头设置不同的播放倍速,使精彩镜头播放速度变慢,拖沓镜头播放速度变快,提高用户的整体观感体验,避免用户通过手动以及自动设定的播放倍速。
步骤S302,根据所述镜头信息确定当前镜头的相邻镜头。
在本实施例中,由于自动倍速场景下没有考虑相邻镜头(或片段)播放倍速差异较大给用户带来的视觉违和感,导致用户来回切换视频播放进度和位置寻找影片的精彩片段或关注的内容情节,从而影响用户的观影体验,因此对相邻镜头的播放倍数进行平滑处理,从而提高用户的观影体验。
在具体实现中,由于镜头信息包括视频镜头序号、镜头开始时间以及镜头结束时间等,通过视频镜头序号可以得到当前镜头的相邻镜头,从而可对相邻镜头的播放倍速进行调整,以实现平滑均衡处理。
步骤S303,从所述参考播放倍速中获取所述相邻镜头的参考播放倍速。
步骤S304,根据所述参考播放倍速以及镜头窗口基数确定所述相邻镜头的播放倍速。
步骤S305,将所述相邻镜头的参考播放倍速调整为所述相邻镜头的播放倍速,得到每个镜头的播放倍速序列。
在具体实现中,基于相邻镜头倍速窗口对相邻镜头播放倍速进行平滑均衡处理,避免了相邻镜头(或片段)播放倍速差异较大给用户带来的视觉违和感,即根据所述参考播放倍速以及镜头窗口基数通过以下公式确定所述相邻镜头的播放倍速。
其中:n为镜头序号,M为镜头窗口基数,镜头窗口基数指的是所在平滑镜头前后平滑镜头步长,可通过人工检验或者训练学习获取,默认值为3,vn为每个镜头的平滑前播放倍速,xn为每个镜头的平滑后播放倍速。
进一步计算获得每个镜头的播速序列{x1,x2,...xX},然后在前端视频播放器请求时,根据目标播放倍速播放视频内容,从而实现相邻镜头的平滑处理,避免出现播放突兀的情况,提高用户的观感体验。
在本实施例中,用户设置好视频播放倍速之后,根据用户选择的倍速,结合视频精彩内容片段判定和用户偏好对不同场景的镜头设置的不同的播放速度,精彩镜头播放速度变慢,拖沓镜头速度变快,同时对相邻镜头(或片段)窗口播放倍速进行平滑均衡处理,提升用户整体的观感体验。
在一实施例中,如图5所示,基于第一实施例提出本发明视频播放方法第三实施例,所述步骤S20,包括:
步骤S201,将所述当前用户的内容偏好标签与所述视频内容标签进行匹配,得到所述视频内容标签中与所述内容偏好标签匹配的视频贡献度标签。
在本实施例中,结合用户的内容偏好和视频镜头标签,构造视频内容信息量模型,基于倍速设置确定视频各个镜头的播放速度,对当前用户内容偏好标签{T1,T2,...,TM}和所有视频内容标签取交集,获得当前视频的用户视频贡献度标签序列{T1,T2,...,Tm}。
步骤S202,根据所述视频贡献度标签以及所述镜头信息,得到所述待播放视频中每个镜头的信息量。
根据视频贡献度标签基于信息量模型计算每个镜头的信息量,在每个镜头中计算视频贡献度标签信息量,然后再计算所有镜头的信息量,从而根据视频贡献度标签确定信息量,以实现视频内容的有效理解的分析,可结合视频内容的分析得到与视频内容匹配的视频播放倍速。
在一实施例中,所述根据所述视频贡献度标签以及所述镜头信息,得到所述待播放视频中每个镜头的信息量,包括:
根据所述视频贡献度标签以及所述镜头信息得到视频贡献度标签概率;
根据所述视频贡献度标签概率得到所述待播放视频中每个镜头的信息量。
其中,m为视频贡献度标签数量,X为视频镜头数,n={1,...,X},yn为第n个镜头的信息量。
最后,计算获得全部X个镜头的信息量值序列{y1,y2,...yX}。
在一实施例中,所述根据所述视频贡献度标签以及所述镜头信息得到视频贡献度标签概率,包括:
对所述视频贡献度标签进行统计,得到视频贡献度标签数量,根据所述视频贡献度标签,确定对应的贡献度镜头,根据所述视频贡献度标签数量、所述贡献度镜头以及所述镜头信息,得到视频贡献度标签概率。
在具体实现中,所述根据所述视频贡献度标签数量、所述贡献度镜头以及所述镜头信息,得到视频贡献度标签概率,包括:
将所述贡献度镜头与所述镜头信息进行比对,得到所述贡献度镜头与所述镜头信息匹配的次数,即视频贡献度标签i在第n个镜头出现的次数;
将所述视频贡献度标签与所述视频内容标签进行比对,得到所述视频贡献度标签与所述视频内容标签匹配的次数;
根据所述视频贡献度标签数量、所述贡献度镜头与所述镜头信息匹配的次数以及所述视频贡献度标签与所述视频内容标签匹配的次数,得到视频贡献度标签概率,即视频贡献度标签i在整个视频中出现的总的次数。
所述视频贡献度标签数量、所述贡献度镜头与所述镜头信息匹配的次数以及所述视频贡献度标签与所述视频内容标签匹配的次数通过以下公式得到视频贡献度标签概率。
首先,每个镜头信息量基于视频贡献度标签概率获取,以第n个镜头为例,该镜头下视频贡献度标签i概率计算方式如下:
其中,m为视频贡献度标签数量,i={1,2,...,m},UCi为视频贡献度标签i在第n个镜头出现的次数,Ci为视频贡献度标签i在整个视频中出现的总的次数。
进一步,计算该镜头下(第n个镜头)视频贡献度标签概率序列:{p1,p2,...,pm}。
在本实施例中,将所述当前用户的内容偏好标签与所述视频内容标签进行匹配,得到所述视频内容标签中与所述内容偏好标签匹配的视频贡献度标签,根据所述视频贡献度标签以及所述镜头信息,得到所述待播放视频中每个镜头的信息量,从而得到通过对播放视频的分析,得到体现播放视频内容的信息量,根据信息量确定视频播放倍速,以通过播放视频的实际内容进行播放倍速的确定,更融合了播放内容的特征,使播放倍速更贴合播放的视频,提升用户整体的观感体验。
本发明进一步提供一种视频播放装置。
参照图6,图6为本发明视频播放装置第一实施例的功能模块示意图。
本发明视频播放装置第一实施例中,该视频播放装置包括:
获取模块10,用于对待播放视频进行识别,获取所述待播放视频中每个镜头的镜头信息以及对应的视频内容标签。
可以理解的是,本实施例可应用于用户通过视频播放平台进行视屏播放的应用场景,还可进一步应用于短视频制作业务场景中,通过视频精彩镜头识别,将视频剪辑成精彩短视频,即一键成片,其中,在基于用户通过视频播放平台进行视屏播放的应用场景中,所述待播放视频可为用户通过视频播放平台选择的待播放视频,还可为用户通过视频播放器上传的待播放视频,还可为其他形式获取待播放视频,本实施例对此不做限制,在本实施例中,以用户通过视频播放平台选择的待播放视频为例进行说明。
在本实施例中,视频镜头分割识别是由于镜头出现切换引起的,镜头切换简单地可分为突变与渐变两大类。突变是一个镜头直接转换为下一个镜头,中间没有时间延迟,渐变包括叠换、淡入与淡出以及扫换等几类。对于给定视频内容,结合现有技术识别出视频中镜头和关键内容标签,包括关键人物、关键人物出场次数、场景等,其中识别技术包括但不限于像素法、直方图法、X2直方图法、X2直方图分块法、边缘轮廓变化率法以及深度学习方法。
在得到关键视频内容标签后,建立该视频索引库信息,包括:视频镜头序号(1,2,...,X)、镜头开始时间ti-start、镜头结束时间ti-end、视频内容标签{T1,T2,...,TC},并将以上所有信息记录在视频内容索引中进行管理,因此,镜头信息包括视频镜头序号、镜头开始时间以及镜头结束时间等,通过镜头信息以及视频内容建立标签,实现对视频内容的管理,以便于对视频内容的准确识别以及后续的视频播放倍速的计算。
所述获取模块10,还用于根据当前用户的内容偏好标签、所述镜头信息以及所述视频内容标签得到所述待播放视频中每个镜头的信息量。
需要说明的是,为了获取用户内容偏好标签,通过结合用户的历史观影行为获取用户内容偏好标签(包括:战争、爱情、演员、导演等){T1,T2,...,TM},并记录在系统用户偏好库中,从而得到用户偏好标签,每个用户有对应的用户偏好标签,在获取每个用户的内容偏好标签时,可根据用户在视频播放平台的账号进行管理,建立用户账号与用户内容偏好标签的对应关系,根据用户的登录账号查找对应关系,得到对应的内容偏好标签,还可通过其他形式的用户标识得到内容偏好标签,本实施例对此不做限制。
在本实施例中,用户在通过视频播放平台选择观看的视频时,可获取用户登录视频播放平台的账号信息,根据账号信息在用户偏好标签的对应关系中得到对应的当前用户偏好标签,从而结合用户偏好对视频播放倍速进行调整,以提高观感体验。
所述获取模块10,还用于根据所述信息量确定每个镜头的播放倍速序列,基于所述每个镜头的播放倍速序列播放所述待播放视频,其中,第一播放倍速序列中的最后一个播放倍速与第二播放倍速序列中的首个播放倍速的差值小于阈值,所述第一播放倍速序列为相邻镜头中的前一镜头的播放倍速序列,所述第二播放倍速序列为所述相邻镜头中的后一镜头的播放倍速序列。
在具体实现中,在确定播放倍速之后,通过前端视频播放器请求镜头播放倍速,根据视频播放倍速播放视频内容,从而用户设置好视频播放倍速之后,系统将自动根据用户选择的倍速,结合视频精彩内通片段判定和用户偏好对不同场景的镜头设置的不同的播放速度,精彩镜头播放速度变慢,拖沓镜头速度变快,满足了用户观感体验提升,并对相邻镜头进行平滑处理,使相邻镜头中第一播放倍速序列中的最后一个播放倍速与第二播放倍速序列中的首个播放倍速的差值小于阈值,避免出现播放突兀的情况。
在本实施例中,通过对待播放视频进行识别,获取所述待播放视频中每个镜头的镜头信息以及对应的视频内容标签,根据当前用户的内容偏好标签、所述镜头信息以及所述视频内容标签得到所述待播放视频中每个镜头的信息量,根据所述信息量确定每个镜头的播放倍速序列,基于所述每个镜头的播放倍速序列播放所述待播放视频,其中,第一播放倍速序列中的最后一个播放倍速与第二播放倍速序列中的首个播放倍速的差值小于阈值,所述第一播放倍速序列为相邻镜头中的前一镜头的播放倍速序列,所述第二播放倍速序列为所述相邻镜头中的后一镜头的播放倍速序列,从而对待播放视频的视频内容进行解析和理解,得到待播放视频的信息量,并将信息量与用户的偏好进行结合,自动得到符合用户需求的播放倍速,将不同镜头设置不同的播放倍速,使精彩镜头播放速度变慢,拖沓镜头播放速度变快,并避免出现播放突兀的情况,提高用户的整体观感体验,避免用户通过手动以及自动设定的播放倍速。
在一实施例中,所述获取模块10,还用于根据所述镜头信息确定当前镜头的相邻镜头;
根据所述信息量确定每个镜头的参考播放倍速;
根据所述镜头信息确定相邻镜头;
从所述参考播放倍速中获取所述相邻镜头的参考播放倍速;
根据所述参考播放倍速以及镜头窗口基数确定所述相邻镜头的播放倍速;
将所述相邻镜头的参考播放倍速调整为所述相邻镜头的播放倍速,得到每个镜头的播放倍速序列。
在一实施例中,所述获取模块10,还用于提取所述信息量中的最大信息量以及最小信息量;
获取用户设置的目标播放倍数以及默认播放倍数;
根据所述目标播放倍数、默认播放倍数、最大信息量以及最小信息量,确定每个镜头的参考播放倍速。
在一实施例中,所述获取模块10,还用于将所述当前用户的内容偏好标签与所述视频内容标签进行匹配,得到所述视频内容标签中与所述内容偏好标签匹配的视频贡献度标签;
根据所述视频贡献度标签以及所述镜头信息,得到所述待播放视频中每个镜头的信息量。
在一实施例中,所述获取模块10,还用于根据所述视频贡献度标签以及所述镜头信息得到视频贡献度标签概率;
根据所述视频贡献度标签概率得到所述待播放视频中每个镜头的信息量。
在一实施例中,所述获取模块10,还用于对所述视频贡献度标签进行统计,得到视频贡献度标签数量;
根据所述视频贡献度标签,确定对应的贡献度镜头;
根据所述视频贡献度标签数量、所述贡献度镜头以及所述镜头信息,得到视频贡献度标签概率。
在一实施例中,所述获取模块10,还用于将所述贡献度镜头与所述镜头信息进行比对,得到所述贡献度镜头与所述镜头信息匹配的次数;
将所述视频贡献度标签与所述视频内容标签进行比对,得到所述视频贡献度标签与所述视频内容标签匹配的次数;
根据所述视频贡献度标签数量、所述贡献度镜头与所述镜头信息匹配的次数以及所述视频贡献度标签与所述视频内容标签匹配的次数,得到视频贡献度标签概率。
此外,为实现上述目的,本发明还提出一种视频播放服务器,所述视频播放服务器包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频播放程序,所述视频播放程序配置为实现如上文所述的视频播放方法。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有视频播放程序,所述视频播放程序被处理器执行时实现如上文所述的视频播放方法。
由于本存储介质采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台智能终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种视频播放方法,其特征在于,所述视频播放方法包括:
对待播放视频进行识别,获取所述待播放视频中每个镜头的镜头信息以及对应的视频内容标签;
根据当前用户的内容偏好标签、所述镜头信息以及所述视频内容标签得到所述待播放视频中每个镜头的信息量;
根据所述信息量确定每个镜头的播放倍速序列,基于所述每个镜头的播放倍速序列播放所述待播放视频,其中,第一播放倍速序列中的最后一个播放倍速与第二播放倍速序列中的首个播放倍速的差值小于阈值,所述第一播放倍速序列为相邻镜头中的前一镜头的播放倍速序列,所述第二播放倍速序列为所述相邻镜头中的后一镜头的播放倍速序列。
2.如权利要求1所述的视频播放方法,其特征在于,所述根据所述信息量确定每个镜头的播放倍速序列,包括:
根据所述信息量确定每个镜头的参考播放倍速;
根据所述镜头信息确定相邻镜头;
从所述参考播放倍速中获取所述相邻镜头的参考播放倍速;
根据所述参考播放倍速以及镜头窗口基数确定所述相邻镜头的播放倍速;
将所述相邻镜头的参考播放倍速调整为所述相邻镜头的播放倍速,得到每个镜头的播放倍速序列。
3.如权利要求2所述的视频播放方法,其特征在于,所述根据所述信息量确定每个镜头的参考播放倍速,包括:
提取所述信息量中的最大信息量以及最小信息量;
获取用户设置的目标播放倍数以及默认播放倍数;
根据所述目标播放倍数、默认播放倍数、最大信息量以及最小信息量,确定每个镜头的参考播放倍速。
4.如权利要求1所述的视频播放方法,其特征在于,所述根据当前用户的内容偏好标签、所述镜头信息以及所述视频内容标签得到所述待播放视频中每个镜头的信息量,包括:
将所述当前用户的内容偏好标签与所述视频内容标签进行匹配,得到所述视频内容标签中与所述内容偏好标签匹配的视频贡献度标签;
根据所述视频贡献度标签以及所述镜头信息,得到所述待播放视频中每个镜头的信息量。
5.如权利要求4所述的视频播放方法,其特征在于,所述根据所述视频贡献度标签以及所述镜头信息,得到所述待播放视频中每个镜头的信息量,包括:
根据所述视频贡献度标签以及所述镜头信息得到视频贡献度标签概率;
根据所述视频贡献度标签概率得到所述待播放视频中每个镜头的信息量。
6.如权利要求5所述的视频播放方法,其特征在于,所述根据所述视频贡献度标签以及所述镜头信息得到视频贡献度标签概率,包括:
对所述视频贡献度标签进行统计,得到视频贡献度标签数量;
根据所述视频贡献度标签,确定对应的贡献度镜头;
根据所述视频贡献度标签数量、所述贡献度镜头以及所述镜头信息,得到视频贡献度标签概率。
7.如权利要求6所述的视频播放方法,其特征在于,所述根据所述视频贡献度标签数量、所述贡献度镜头以及所述镜头信息,得到视频贡献度标签概率,包括:
将所述贡献度镜头与所述镜头信息进行比对,得到所述贡献度镜头与所述镜头信息匹配的次数;
将所述视频贡献度标签与所述视频内容标签进行比对,得到所述视频贡献度标签与所述视频内容标签匹配的次数;
根据所述视频贡献度标签数量、所述贡献度镜头与所述镜头信息匹配的次数以及所述视频贡献度标签与所述视频内容标签匹配的次数,得到视频贡献度标签概率。
8.一种视频播放装置,其特征在于,所述视频播放装置包括:
获取模块,用于对待播放视频进行识别,获取所述待播放视频中每个镜头的镜头信息以及对应的视频内容标签;
所述获取模块,还用于根据当前用户的内容偏好标签、所述镜头信息以及所述视频内容标签得到所述待播放视频中每个镜头的信息量;
所述获取模块,还用于根据所述信息量确定每个镜头的播放倍速序列,基于所述每个镜头的播放倍速序列播放所述待播放视频,其中,第一播放倍速序列中的最后一个播放倍速与第二播放倍速序列中的首个播放倍速的差值小于阈值,所述第一播放倍速序列为相邻镜头中的前一镜头的播放倍速序列,所述第二播放倍速序列为所述相邻镜头中的后一镜头的播放倍速序列。
9.一种视频播放设备,其特征在于,所述视频播放设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频播放程序,所述视频播放程序配置为实现如权利要求1至7中任一项所述的视频播放方法。
10.一种存储介质,其特征在于,所述存储介质上存储有视频播放程序,所述视频播放程序被处理器执行时实现如权利要求1至7中任一项所述的视频播放方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210301069.2A CN114697715B (zh) | 2022-03-25 | 视频播放方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210301069.2A CN114697715B (zh) | 2022-03-25 | 视频播放方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114697715A true CN114697715A (zh) | 2022-07-01 |
CN114697715B CN114697715B (zh) | 2024-07-16 |
Family
ID=
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111327967A (zh) * | 2020-03-27 | 2020-06-23 | 深圳市酷开网络科技有限公司 | 视频智能倍速播放方法、系统及存储介质 |
CN111683292A (zh) * | 2020-06-19 | 2020-09-18 | 北京奇艺世纪科技有限公司 | 一种视频播放方法及装置 |
CN113596520A (zh) * | 2021-02-08 | 2021-11-02 | 腾讯科技(深圳)有限公司 | 视频的播放控制方法、装置及电子设备 |
CN113825019A (zh) * | 2020-06-19 | 2021-12-21 | 北京字节跳动网络技术有限公司 | 视频变速播放方法、装置、电子设备及计算机可读介质 |
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111327967A (zh) * | 2020-03-27 | 2020-06-23 | 深圳市酷开网络科技有限公司 | 视频智能倍速播放方法、系统及存储介质 |
CN111683292A (zh) * | 2020-06-19 | 2020-09-18 | 北京奇艺世纪科技有限公司 | 一种视频播放方法及装置 |
CN113825019A (zh) * | 2020-06-19 | 2021-12-21 | 北京字节跳动网络技术有限公司 | 视频变速播放方法、装置、电子设备及计算机可读介质 |
CN113596520A (zh) * | 2021-02-08 | 2021-11-02 | 腾讯科技(深圳)有限公司 | 视频的播放控制方法、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11625920B2 (en) | Method for labeling performance segment, video playing method, apparatus and system | |
US10200748B2 (en) | System and method for commercial detection in digital media environments | |
CN112511854B (zh) | 一种直播视频精彩片段生成方法、装置、介质和设备 | |
US7362950B2 (en) | Method and apparatus for controlling reproduction of video contents | |
US8856636B1 (en) | Methods and systems for trimming video footage | |
EP1182584A2 (en) | Method and apparatus for video skimming | |
US8103149B2 (en) | Playback system, apparatus, and method, information processing apparatus and method, and program therefor | |
WO2022052624A1 (zh) | 一种视频数据处理方法、装置、计算机设备及存储介质 | |
CN113613065B (zh) | 视频编辑方法、装置、电子设备以及存储介质 | |
CN112312142B (zh) | 视频播放控制方法、装置和计算机可读存储介质 | |
CN110545475B (zh) | 一种视频播放方法、装置及电子设备 | |
CN111512635A (zh) | 用于选择性跳过媒体内容的方法和系统 | |
CN112291634A (zh) | 视频处理方法及装置 | |
RU2609071C2 (ru) | Навигация по видеопоследовательности через местоположение объекта | |
CN104581224A (zh) | 切换播放内容的方法、装置及终端 | |
JP2001119649A (ja) | 映像の要約方法及び装置 | |
CN112287771A (zh) | 用于检测视频事件的方法、装置、服务器和介质 | |
CN114245229B (zh) | 一种短视频制作方法、装置、设备以及存储介质 | |
CN115065871B (zh) | 一种视频播放控制方法、装置及电子设备 | |
CN114697715A (zh) | 视频播放方法、装置、设备及存储介质 | |
CN108012164B (zh) | 一种视频播放方法、装置及电子设备 | |
CN114697715B (zh) | 视频播放方法、装置、设备及存储介质 | |
CN115080792A (zh) | 一种视频关联方法、装置、电子设备及存储介质 | |
US11099811B2 (en) | Systems and methods for displaying subjects of an audio portion of content and displaying autocomplete suggestions for a search related to a subject of the audio portion | |
US20210089781A1 (en) | Systems and methods for displaying subjects of a video portion of content and displaying autocomplete suggestions for a search related to a subject of the video portion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |