CN116112740A - 一种视频播放方法、装置、电子设备及存储介质 - Google Patents

一种视频播放方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116112740A
CN116112740A CN202310090381.6A CN202310090381A CN116112740A CN 116112740 A CN116112740 A CN 116112740A CN 202310090381 A CN202310090381 A CN 202310090381A CN 116112740 A CN116112740 A CN 116112740A
Authority
CN
China
Prior art keywords
video
resolution
video segment
strategy
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310090381.6A
Other languages
English (en)
Inventor
张磊
郭昊天
崔来中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202310090381.6A priority Critical patent/CN116112740A/zh
Publication of CN116112740A publication Critical patent/CN116112740A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种视频播放方法、装置、电子设备及存储介质。该方法包括:在视频播放过程中,获取当前的客户端相关参数,基于偏移惩罚框架和当前的客户端相关参数确定待传输视频段对应的偏移惩罚值,基于偏移惩罚值确定待传输视频段的视频处理策略;其中,视频处理策略包括下载策略和增强策略;基于下载策略对待传输视频段进行下载处理,得到第一分辨率的下载视频段;基于增强策略对第一分辨率的下载视频进行增强处理,得到第二分辨率的目标视频段,第二分辨率大于第一分辨率;在当前视区内播放目标视频段。本发明通过偏移惩罚框架动态的决策视频处理策略,权衡下载和增强之间的开销关系,以达到最大的质量收益,提高了用户的观看质量。

Description

一种视频播放方法、装置、电子设备及存储介质
技术领域
本发明涉及视频处理技术领域,尤其涉及一种视频播放方法、装置、电子设备及存储介质。
背景技术
近年来,全景视频(沉浸式视频、360度视频)因其可以为用户提供身临其境的观看体验等特点,越来越受用户与视频网站的喜爱。
目前,由于全景视频的观看区域有限,针对全景视频提出了一种基于图块的传输方法。该方法将视频每一帧切分为更小的非重叠矩形区域,称为图块,每个图块都可以独立传输并进行编解码,客户端可以只选择并下载用户视区内的图块就可以保证用户的体验质量,同时也可以大幅的节省带宽并降低移动终端的资源消耗。
现有的基于图块的全景视频传输方法是仅做出下载决策,或者简单的利用计算资源解耦下载和增强图块,然而,基于图块的全景视频传输过程中,由于每个视频段开始播放的时间都是严格明确的,这就意味着视频传输和增强之间存在冲突,现有技术无法针对传输和增强之间的冲突关系为图块决策出最优的下载以及增强策略,用户观看质量较低。
发明内容
本发明提供了一种视频播放方法、装置、电子设备及存储介质,以提高用户观看质量。
根据本发明的一方面,提供了一种视频播放方法,其特征在于,包括:
在视频播放过程中,获取当前的客户端相关参数,基于偏移惩罚框架和所述当前的客户端相关参数确定待传输视频段对应的偏移惩罚值,基于所述偏移惩罚值确定所述待传输视频段的视频处理策略;其中,所述视频处理策略包括下载策略和增强策略;
基于所述下载策略对待传输视频段进行下载处理,得到第一分辨率的下载视频段;基于所述增强策略对所述第一分辨率的下载视频进行增强处理,得到第二分辨率的目标视频段,所述第二分辨率大于所述第一分辨率;
在当前视区内播放所述目标视频段。
根据本发明的另一方面,提供了一种视频播放装置,其特征在于,包括;
视频处理策略确定模块,用于在视频播放过程中,获取当前的客户端相关参数,基于偏移惩罚框架和所述当前的客户端相关参数确定待传输视频段对应的偏移惩罚值,基于所述偏移惩罚值确定所述待传输视频段的视频处理策略;其中,所述视频处理策略包括下载策略和增强策略;
视频处理模块,用于基于所述下载策略对待传输视频段进行下载处理,得到第一分辨率的下载视频段;基于所述增强策略对所述第一分辨率的下载视频进行增强处理,得到第二分辨率的目标视频段,所述第二分辨率大于所述第一分辨率;
视频播放模块,用于在当前视区内播放所述目标视频段。
根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的视频播放方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的视频播放方法。
本发明实施例的技术方案,通过偏移惩罚框架动态的决策待传输视频段的视频处理策略,进而基于下载策略对待传输视频段进行下载处理,得到第一分辨率的下载视频段,基于增强策略对第一分辨率的下载视频段进行增强处理,得到第二分辨率的目标视频段,并在当前视区内播放该目标视频;权衡下载以及增强之间的开销关系,以达到最大的质量收益,提高了用户的观看质量。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种视频播放方法的流程图;
图2是本发明实施例一提供的一种待传输视频段的播放示意图;
图3是本发明实施例一提供的一种增强视频质量评估方法的流程图;
图4是本发明实施例二提供的一种视频播放装置的结构示意图;
图5是本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1是本发明实施例一提供的一种视频播放方法的流程图,本实施例可适用于基于全景视频的图块进行自适应下载和增强的情况,该方法可以由视频播放装置来执行,该视频播放装置可以采用硬件和/或软件的形式实现,该视频播放装置可配置于客户端中。如图1所示,该方法包括:
S110、在视频播放过程中,获取当前的客户端相关参数,基于偏移惩罚框架和所述当前的客户端相关参数确定待传输视频段对应的偏移惩罚值,基于所述偏移惩罚值确定所述待传输视频段的视频处理策略;其中,所述视频处理策略包括下载策略和增强策略。
其中,当前的客户端相关参数是指待传输视频段传输时客户端的相关参数,具体的,当前的客户端相关参数包括但不限于待传输视频段传输时客户端的当前网络带宽、当前缓冲区大小等,这里不做限定。
偏移惩罚框架包括Lyapunov函数和体验质量(Quality of Experience,QoE)模型,具体的,在客户端的播放队列上建立Lyapunov队列,基于Lyapunov函数和QoE模型建立惩罚偏移框架。
本实施例中,在当前客户端播放全景视频的过程中,获取当前的客户端相关参数,具体的,可以是测量并记录客户端的当前网络带宽、当前缓冲区大小;基于偏移惩罚框架和当前的客户端相关参数确定待传输视频段对应的偏移惩罚值,并通过最小化偏移惩罚值确定待传输视频段的视频处理策略;其中,视频处理策略包括下载策略和增强策略,具体的,下载策略为应以何种分辨率下载待传输视频段,增强策略为应将待传输视频段增强为何种分辨率。
在一些实施例中,服务器将全景视频分为不同分辨率的待传输视频段,并将各待传输视频段切分为不相交且等大小的基础图块,其中,各待传输视频段的长度相同;也就是说,待传输视频段是由待传输视频段的基础图块组成的,待传输视频段是基于图块在服务器与客户端之间进行传输的。
在上述实施例的基础上,可选的,所述基于偏移惩罚框架和当前的客户端相关参数确定待传输视频段对应的偏移惩罚值,包括:基于所述当前的客户端相关参数和所述Lyapunov函数确定所述待传输视频段对应的缓冲区偏移量;基于所述体验质量模型确定所述待传输视频段对应的惩罚项;基于所述缓冲区偏移量和所述惩罚项确定所述待传输视频段对应的偏移惩罚值。
具体的,将Lyapunov队列建立在客户端的缓冲区上,根据当前缓冲区大小定义Lyapunov函数,进而根据定义的Lyapunov函数得到待传输视频段对应的缓冲区偏移量;示例性的,Lyapunov函数可以定义为:
Figure BDA0004070202570000051
那么,待传输视频段对应的缓冲区偏移量可以定义为:
Figure BDA0004070202570000052
其中,Ci表示客户端下载待传输视频段i时的缓冲区大小(即当前缓冲区大小)。
本实施例中,影响QoE模型的因素包括视频质量、帧内质量波动和帧间质量差异,具体的,视频质量为待传输视频段增强后的视频质量,示例性的,待传输视频段增强后的视频质量可以定义为:
Figure BDA0004070202570000061
其中,Ui表示第i个视频段增强后的视频质量,ri,j表示第i个待传输视频段中第j个图块的下载分辨率,
Figure BDA0004070202570000068
表示第i个待传输视频段中第j个图块的增强分辨率,
Figure BDA0004070202570000062
表示第i个视频段第j个图块由分辨率ri,j增强至
Figure BDA0004070202570000063
后的质量,Wi,j表示第i个待传输视频段播放时第j个图块的权重。
本实施例中,帧内的质量波动主要是由视区内不同图块之间的质量差异导致的,示例性的,帧内的质量波动可以定义为
Figure BDA0004070202570000064
其中,
Figure BDA0004070202570000065
表示表示帧间质量波动,Pthreadhold表示图块是否出现在视口中的概率阈值,其余字符所表示的含义与上述公式相同,这里不再赘述。
在一些实施例中,可以根据视口预测算法的准确率动态调整Pthreshold,若视口预测算法性能较差,则减小Pthreshold的值,增大预测的用户视区范围,反之则增大Pthreshold的值。
本实施例中,帧间质量差异主要是由相邻两视频段之间的质量差异引起的,示例性的,帧间质量差异可以定义为:
Figure BDA0004070202570000066
其中,
Figure BDA0004070202570000067
表示帧间质量差异,Ui表示第i个待传输视频段增强后的质量,Ui-1第i-1个待传输视频段增强后的质量。
在上述实施例的基础上,可选的,所述基于所述体验质量模型确定所述待传输视频段对应的惩罚项,包括:基于所述待传输视频段的增强视频质量、帧内质量波动和帧间质量差异确定所述待传输视频段对应的惩罚项。
本实施例中,根据待传输视频段增强后的增强视频质量、帧内质量波动和帧间质量差异定义QoE模型的计算公式,将待传输视频段对应的QoE作为待传输视频段对应的惩罚项。
示例性的,QoE模型的计算公式可以定义为:
Figure BDA0004070202570000071
则QoE的优化目标为:
Figure BDA0004070202570000072
并且,上述QoE优化目标需满足如下限制条件:
Figure BDA0004070202570000073
其中,α和β表示权重系数,Gi表示第i个待传输视频段的增强时延,Di表示第i个待传输视频段的下载时延,M表示待传输视频段的数量,N表示待传输视频段中基础图块的数量,其余字符所表示的含义与上述公式相同,这里不再赘述。
本实施例中,将缓冲区偏移量和惩罚项的加权和作为待传输视频段对应的偏移惩罚值;示例性的,偏移惩罚值可以表示为:ΔL(Ci)-γ*Qi,其中,ΔL(Ci)表示待传输视频段i对应的缓冲区偏移量,Qi表示待传输视频段i对应的惩罚项,γ为Lyapunov参数,用于权衡视频QoE与Lyapunov队列的波动程度。
在一些实施例中,待传输视频段的增强时延与用于增强该待传输视频段中图块的超分辨率模型的推理复杂度相关,其中,影响超分辨率模型的推理复杂度的因素包括模型输入输出大小、需要推理的图块数量和用于推理图块的线程数量,因此,可以通过构建超分辨率模型的解析模型得到增强时延;示例性的,超分辨率的解析模型可以构建为;
Figure BDA0004070202570000074
其中,G表示图块数量为tilenumber、超分辨率模型输入输出分别为r1,r2、用于增强图块的线程数量为threadnumber时的增强时间,
Figure BDA0004070202570000075
表示超分辨率模型输入输出像素点个数分别为r1,r2时增强单个图块质量的复杂度,G(2)(tilenumber)表示图块数量为tilenumber时增强图块质量的复杂度,G(3)(threadnumber)表示用于增强图块的线程数量为threadnumber时增强图块的复杂度。
相应的,待传输视频段的增强时延的计算公式可以定义为:
Figure BDA0004070202570000081
其中,Gi表示第i个待传输视频段的增强时延,
Figure BDA0004070202570000082
为指示ri,j
Figure BDA0004070202570000083
是否相等的指示函数,若不相等,其值为1,反之为0;N表示需要进行增强的图块的数量
Figure BDA0004070202570000084
其余字符所表示的含义与上述公式相同,这里不再赘述。
在一些实施例中,可以基于待传输视频段中图块的下载分辨率和当前网络带宽确定待传输视频段的下载时延;示例性的,待传输视频段的下载时延的计算公式为:
Figure BDA0004070202570000085
其中,Di表示第i个待传输视频段的下载时延,f(ri,j)表示图块的下载分辨率和大小之间的映射函数,Bi表示下载待传输视频段i时的网络带宽(即当前网络带宽),m表示超分辨率模型的大小,且定期更新;其余字符所表示的含义与上述公式相同,这里不再赘述。
需要说明的是,预先训练的超分辨率模型存储于服务器中,下载待传输视频段的同时需要下载对应的超分辨率模型,以对下载的图块进行增强处理,因此,超分辨率模型为一种微模型,以减小对带宽的压力。
在一些实施例中,图2是本发明实施例一提供的一种待传输视频段的播放示意图,如图2所示,待传输视频段在播放之前需要经过下载时延以及增强时延,由于待传输视频段的播放时刻是固定的,因此,待传输视频段的下载与增强之间存在着竞争关系,下载更高分辨率的视频会为增强留下较小的空间。可以根据当前缓冲区大小、下载时延和增强时延确定下一待传输视频段的缓冲区大小;示例性的,下一待传输视频段的缓冲区大小的计算公式为:
Ci+1=max(Ci-Di-Gi,0)+L
其中,Ci为移动客户端开始下载待传输视频段i时的缓冲区大小,Di与Gi分别为第i个视频段的下载时延以及增强时延,L是第i个待传输视频段的长度。
可以理解的是,当缓冲区耗尽时,视频的播放就会被暂停,从而影响视频播放的流畅度。待传输视频段i在播放时的暂停时间可以被计算为max(Di+Gi-Ci,0)。
在上述实施例的基础上,可选的,所述增强视频的质量评估方法,包括:确定基准视频以及基准视频分辨率;将所述基准视频分辨率与增强视频的分辨率进行比对,若所述增强视频的分辨率与所述基准视频分辨率不同,则基于预设插值算法对增强视频进行插值处理,得到与所述基准视频分辨率相同的目标增强视频;基于客观评价指标和所述基准视频对所述目标增强视频进行质量评估,得到增强视频质量。
其中,基准视频是选定的用于评估增强视频的参考视频,相应的,基准视频分辨率是该基准视频的分辨率。本实施例中,选定一个基准视频,具体的,可以将可选分辨率集合中分辨率最高的视频选定为基准视频,基准视频的分辨率即为基准视频分辨率;将基准视频分辨率与增强视频的分辨率进行比对,若增强视频的分辨率与基准视频分辨率不同,则基于预设插值算法对增强视频进行插值处理,得到与基准视频分辨率相同的增强视频;以基准视频为参考,基于客观评价指标对插值后的目标增强视频进行质量评估,得到增强视频质量;其中,预设插值算法包括但不限于最近邻插值法、双线性插值法、三次内插法等,这里不做限定;客观评价指标包括但不限于峰值信噪比、结构相似性、平均结构相似性等,这里不做限定。
示例性的,图3是本发明实施例一提供的一种增强视频质量评估方法的流程图,如图3所示,将可选分辨率集合中分辨率最高的视频选定为基准视频,判断增强视频分辨率与基准视频分辨率是否相同,若增强视频分辨率与基准视频分辨率不同,则使用预设插值算法将增强视频插值至分辨率与基准视频分辨率相同,进而以基准视频为参考,使用客观评价指标对插值后的增强视频进行质量评估,得到增强视频质量;若增强视频分辨率与基准视频分辨率相同,则以基准视频为参考,使用客观评价指标对增强视频进行质量评估,得到增强视频质量。
在上述实施例的基础上,可选的,所述基于所述偏移惩罚值确定所述待传输视频段的视频处理策略,包括:对所述偏移惩罚值进行最小化处理,得到最小偏移惩罚值;在所述最小偏移惩罚值满足预设视频处理策略确定条件的情况下,将所述最小偏移惩罚值对应的视频处理策略作为所述待传输视频段的视频处理策略。
本实施例中,对偏移惩罚值进行最小化处理,即最小化缓冲区偏移量与惩罚项的加权和,得到最小偏移惩罚值;示例性的,最小偏移惩罚值可以表示为:Minimum:ΔL(Ci)-γ*Qi;在最小偏移惩罚值满足预设视频处理策略确定条件的情况下,将最小偏移惩罚值对应的待传输视频段中图块的下载分辨率和增强分辨率作为待传输视频段的视频处理策略。
示例性的,预设视频处理策略确定条件可以是:
Figure BDA0004070202570000101
其中,Λ表示
Figure BDA0004070202570000102
的上边界,QoE*为最优QoE的平均值,其余字符所表示的含义与上述公式相同,这里不再赘述。
S120、基于所述下载策略对待传输视频段进行下载处理,得到第一分辨率的下载视频段;基于所述增强策略对所述第一分辨率的下载视频段进行增强处理,得到第二分辨率的目标视频段;所述第二分辨率大于所述第一分辨率。
其中,第一分辨率是指待传输视频段的下载分辨率,相应的,第二分辨率是指待传输视频段增强后的分辨率。本实施例中,基于下载策略确定下载分辨率,基于下载分辨率下载待传输视频段,得到第一分辨率的下载视频段;基于增强策略确定增强分辨率,对下载视频段进行增强处理,将第一分辨率的下载视频段增强为第二分辨率的目标视频段;其中,第二分辨率大于第一分辨率,即增强分辨率大于下载分辨率。
在上述实施例的基础上,可选的,所述待传输视频段由所述待传输视频段的基础图块组成;相应的,所述基于所述下载策略对待传输视频段进行下载处理,得到第一分辨率的下载视频,包括:基于所述下载策略对所述待传输视频段的各基础图块进行下载处理,得到第一分辨率的下载视频段;所述下载视频段包括第一分辨率的下载图块。
本实施例中,待传输视频段是由待传输视频段切分后的基础图块组成的,在下载待传输视频段时,根据下载策略中各图块的下载分辨率下载待传输视频段中对应的基础图块,得到第一分辨率的下载视频段,该下载视频段包括第一分辨率的下载图块。
在上述实施例的基础上,可选的,所述基于所述增强策略对所述第一分辨率的下载视频进行增强处理,得到第二分辨率的目标视频,包括:基于所述增强策略和预先训练的超分辨率模型对所述对所述第一分辨率的下载图块进行增强处理,得到第二分辨率的目标视频段。
本实施例中,将下载视频段中的下载图块输入至对应的预先训练的超分辨率模型进行增强处理,得到第二分辨率的增强图块;根据第二分辨率的增强图块确定第二分辨率的目标视频段;其中,预先训练的超分辨率模型存储于服务器中,是由服务器以切分后低分辨率的基础图块为超分辨率模型的输入,以对应的高分辨率的基础图块为训练标签,训练得到的超分辨率模型。
在一些实施例中,可以根据图块的权重为图块进行分类,同一类的图块赋予相同的下载分辨率以及增强分辨率以减少算法的搜索空间。
S130、在当前视区内播放所述目标视频段。
本实施例中,在基于视频处理策略对待传输视频段处理得到目标视频段之后,在客户端的当前视区内播放内播放目标视频段。
在一些实施例中,若当前视频播放出现卡段,并且造成卡顿的原因是视区内图块的确实,则以最低分辨率下载确实的图块;若当前视频播放发生卡顿,且造成卡顿的原因是图块增强的不及时,则停止视频的增强并直接播放下载的视频。
本实施例的技术方案,通过偏移惩罚框架动态的决策待传输视频段的视频处理策略,进而基于下载策略对待传输视频段进行下载处理,得到第一分辨率的下载视频段,基于增强策略对第一分辨率的下载视频段进行增强处理,得到第二分辨率的目标视频段,并在当前视区内播放该目标视频;权衡下载以及增强之间的开销关系,以达到最大的质量收益,提高了用户的观看质量。
实施例二
图4是本发明实施例二提供的一种视频播放装置的结构示意图。如图4所示,该装置包括:
视频处理策略确定模块410,用于在视频播放过程中,获取当前的客户端相关参数,基于偏移惩罚框架和所述当前的客户端相关参数确定待传输视频段对应的偏移惩罚值,基于所述偏移惩罚值确定所述待传输视频段的视频处理策略;其中,所述视频处理策略包括下载策略和增强策略;
视频处理模块420,用于基于所述下载策略对待传输视频段进行下载处理,得到第一分辨率的下载视频段;基于所述增强策略对所述第一分辨率的下载视频进行增强处理,得到第二分辨率的目标视频段,所述第二分辨率大于所述第一分辨率;
视频播放模块430,用于在当前视区内播放所述目标视频段。
本实施例的技术方案,通过偏移惩罚框架动态的决策待传输视频段的视频处理策略,进而基于下载策略对待传输视频段进行下载处理,得到第一分辨率的下载视频段,基于增强策略对第一分辨率的下载视频段进行增强处理,得到第二分辨率的目标视频段,并在当前视区内播放该目标视频;权衡下载以及增强之间的开销关系,以达到最大的质量收益,提高了用户的观看质量。
在上述实施例的基础上,可选的,所述偏移惩罚框架包括Lyapunov函数和体验质量模型;视频处理策略确定模块410包括偏移惩罚值确定单元,用于基于所述当前的客户端相关参数和所述Lyapunov函数确定所述待传输视频段对应的缓冲区偏移量;基于所述体验质量模型确定所述待传输视频段对应的惩罚项;基于所述缓冲区偏移量和所述惩罚项确定所述待传输视频段对应的偏移惩罚值。
在上述实施例的基础上,可选的,偏移惩罚值确定单元包括惩罚项确定子单元,具体用于基于所述待传输视频段的增强视频质量、帧间质量波动和帧间质量差异确定所述待传输视频段对应的惩罚项。
在上述实施例的基础上,可选的,该装置还包括增强视频质量评估模块,用于确定基准视频以及基准视频分辨率;将所述基准视频分辨率与增强视频的分辨率进行比对,若所述增强视频的分辨率与所述基准视频分辨率不同,则基于预设插值算法对增强视频进行插值处理,得到与所述基准视频分辨率相同的目标增强视频;基于客观评价指标和所述基准视频对所述目标增强视频进行质量评估,得到增强视频质量。
在上述实施例的基础上,可选的,视频处理策略确定模块410还包括视频处理策略确定单元,用于对所述偏移惩罚值进行最小化处理,得到最小偏移惩罚值;在所述最小偏移惩罚值满足预设视频处理策略确定条件的情况下,将所述最小偏移惩罚值对应的视频处理策略作为所述待传输视频段的视频处理策略。
在上述实施例的基础上,可选的,所述待传输视频段由所述待传输视频段的基础图块组成;视频处理模块420包括视频下载单元,用于基于所述下载策略对所述待传输视频段的基础图块进行下载处理,得到第一分辨率的下载视频段;所述下载视频段包括第一分辨率的下载图块。
在上述实施例的基础上,可选的,视频处理模块420包括视频增强单元,用于基于所述增强策略和预先训练的超分辨率模型对所述第一分辨率的下载图块进行增强处理,得到第二分辨率的目标视频段。
本发明实施例所提供的视频播放装置可执行本发明任意实施例所提供的视频播放方法,具备执行方法相应的功能模块和有益效果。
实施例三
图5是本发明实施例三提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如视频播放方法。
在一些实施例中,视频播放方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的视频播放方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行视频播放方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的视频播放方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
实施例四
本发明实施例四还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使处理器执行一种视频播放方法,该方法包括:
在视频播放过程中,获取当前的客户端相关参数,基于偏移惩罚框架和当前的客户端相关参数确定待传输视频段对应的偏移惩罚值,基于偏移惩罚值确定待传输视频段的视频处理策略;其中,视频处理策略包括下载策略和增强策略;基于下载策略对待传输视频段进行下载处理,得到第一分辨率的下载视频段;基于增强策略对第一分辨率的下载视频段进行增强处理,得到第二分辨率的目标视频段,第二分辨率大于第一分辨率;在当前视区内播放目标视频段。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (10)

1.一种视频播放方法,其特征在于,包括:
在视频播放过程中,获取当前的客户端相关参数,基于偏移惩罚框架和所述当前的客户端相关参数确定待传输视频段对应的偏移惩罚值,基于所述偏移惩罚值确定所述待传输视频段的视频处理策略;其中,所述视频处理策略包括下载策略和增强策略;
基于所述下载策略对待传输视频段进行下载处理,得到第一分辨率的下载视频段;基于所述增强策略对所述第一分辨率的下载视频段进行增强处理,得到第二分辨率的目标视频段,所述第二分辨率大于所述第一分辨率;
在当前视区内播放所述目标视频段。
2.根据权利要求1所述的方法,其特征在于,所述偏移惩罚框架包括Lyapunov函数和体验质量模型;所述基于偏移惩罚框架和所述当前的客户端相关参数确定待传输视频段对应的偏移惩罚值,包括:
基于所述当前的客户端相关参数和所述Lyapunov函数确定所述待传输视频段对应的缓冲区偏移量;
基于所述体验质量模型确定所述待传输视频段对应的惩罚项;
基于所述缓冲区偏移量和所述惩罚项确定所述待传输视频段对应的偏移惩罚值。
3.根据权利要求2所述的方法,其特征在于,所述基于所述体验质量模型确定所述待传输视频段对应的惩罚项,包括:
基于所述待传输视频段的增强视频质量、帧间质量波动和帧间质量差异确定所述待传输视频段对应的惩罚项。
4.根据权利要求3所述的方法,其特征在于,所述增强视频的质量评估方法,包括:
确定基准视频以及基准视频分辨率;
将所述基准视频分辨率与增强视频的分辨率进行比对,若所述增强视频的分辨率与所述基准视频分辨率不同,则基于预设插值算法对增强视频进行插值处理,得到与所述基准视频分辨率相同的目标增强视频;
基于客观评价指标和所述基准视频对所述目标增强视频进行质量评估,得到增强视频质量。
5.根据权利要求2所述的方法,其特征在于,所述基于所述偏移惩罚值确定所述待传输视频段的视频处理策略,包括:
对所述偏移惩罚值进行最小化处理,得到最小偏移惩罚值;
在所述最小偏移惩罚值满足预设视频处理策略确定条件的情况下,将所述最小偏移惩罚值对应的视频处理策略作为所述待传输视频段的视频处理策略。
6.根据权利要求1所述的方法,其特征在于,所述待传输视频段由所述待传输视频段的基础图块组成;
相应的,所述基于所述下载策略对待传输视频段进行下载处理,得到第一分辨率的下载视频段,包括:
基于所述下载策略对所述待传输视频段的基础图块进行下载处理,得到第一分辨率的下载视频段;所述下载视频段包括第一分辨率的下载图块。
7.根据权利要求6所述的方法,其特征在于,所述基于所述增强策略对所述第一分辨率的下载视频段进行增强处理,得到第二分辨率的目标视频段,包括:
基于所述增强策略和预先训练的超分辨率模型对所述第一分辨率的下载图块进行增强处理,得到第二分辨率的目标视频段。
8.一种视频播放装置,其特征在于,包括;
视频处理策略确定模块,用于在视频播放过程中,获取当前的客户端相关参数,基于偏移惩罚框架和所述当前的客户端相关参数确定待传输视频段对应的偏移惩罚值,基于所述偏移惩罚值确定所述待传输视频段的视频处理策略;其中,所述视频处理策略包括下载策略和增强策略;
视频处理模块,用于基于所述下载策略对待传输视频段进行下载处理,得到第一分辨率的下载视频段;基于所述增强策略对所述第一分辨率的下载视频进行增强处理,得到第二分辨率的目标视频段,所述第二分辨率大于所述第一分辨率;
视频播放模块,用于在当前视区内播放所述目标视频段。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的视频播放方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的视频播放方法。
CN202310090381.6A 2023-01-19 2023-01-19 一种视频播放方法、装置、电子设备及存储介质 Pending CN116112740A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310090381.6A CN116112740A (zh) 2023-01-19 2023-01-19 一种视频播放方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310090381.6A CN116112740A (zh) 2023-01-19 2023-01-19 一种视频播放方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116112740A true CN116112740A (zh) 2023-05-12

Family

ID=86261279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310090381.6A Pending CN116112740A (zh) 2023-01-19 2023-01-19 一种视频播放方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116112740A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2557753A1 (en) * 2011-08-09 2013-02-13 Alcatel Lucent Method for streaming video content, edge node and client entity realizing such a method
US8977588B1 (en) * 2011-03-31 2015-03-10 Rockwell Collins, Inc. Detection of physiological changes
CN104994150A (zh) * 2015-06-29 2015-10-21 中国人民解放军国防科学技术大学 一种面向云视频服务的请求分配方法
WO2018049221A1 (en) * 2016-09-09 2018-03-15 Vid Scale, Inc. Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming
CN107852515A (zh) * 2015-05-12 2018-03-27 弗劳恩霍夫应用研究促进协会 视频流传输概念
CN110430440A (zh) * 2019-06-19 2019-11-08 鹏城实验室 视频传输方法、系统、计算机设备和存储介质
WO2020067592A1 (ko) * 2018-09-28 2020-04-02 한국과학기술원 컨텐츠 인지 신경망을 이용하여 실시간으로 적응형 비디오를 전송하는 방법 및 장치
WO2021012945A1 (zh) * 2019-07-25 2021-01-28 北京达佳互联信息技术有限公司 视频码率控制方法、装置、电子设备及存储介质
CN112291620A (zh) * 2020-09-22 2021-01-29 北京邮电大学 视频播放方法、装置、电子设备及存储介质
WO2022037228A1 (zh) * 2020-08-19 2022-02-24 鹏城实验室 一种基于智能边缘的svc视频的传输方法及智能边缘
US20220132139A1 (en) * 2019-07-24 2022-04-28 Beijing Dajia Internet Information Technology Co., Ltd. Method and apparatus for determining video bit rate, and electronic device
KR20220104862A (ko) * 2021-01-19 2022-07-26 연세대학교 산학협력단 리아푸노프 지수를 이용한 발전원 배치 방법 및 이를 수행하기 위한 컴퓨팅 장치
CN115052190A (zh) * 2022-06-08 2022-09-13 上海哔哩哔哩科技有限公司 视频播放方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977588B1 (en) * 2011-03-31 2015-03-10 Rockwell Collins, Inc. Detection of physiological changes
EP2557753A1 (en) * 2011-08-09 2013-02-13 Alcatel Lucent Method for streaming video content, edge node and client entity realizing such a method
CN107852515A (zh) * 2015-05-12 2018-03-27 弗劳恩霍夫应用研究促进协会 视频流传输概念
CN104994150A (zh) * 2015-06-29 2015-10-21 中国人民解放军国防科学技术大学 一种面向云视频服务的请求分配方法
WO2018049221A1 (en) * 2016-09-09 2018-03-15 Vid Scale, Inc. Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming
WO2020067592A1 (ko) * 2018-09-28 2020-04-02 한국과학기술원 컨텐츠 인지 신경망을 이용하여 실시간으로 적응형 비디오를 전송하는 방법 및 장치
CN110430440A (zh) * 2019-06-19 2019-11-08 鹏城实验室 视频传输方法、系统、计算机设备和存储介质
WO2020253664A1 (zh) * 2019-06-19 2020-12-24 鹏城实验室 视频传输方法、系统和存储介质
US20220132139A1 (en) * 2019-07-24 2022-04-28 Beijing Dajia Internet Information Technology Co., Ltd. Method and apparatus for determining video bit rate, and electronic device
WO2021012945A1 (zh) * 2019-07-25 2021-01-28 北京达佳互联信息技术有限公司 视频码率控制方法、装置、电子设备及存储介质
WO2022037228A1 (zh) * 2020-08-19 2022-02-24 鹏城实验室 一种基于智能边缘的svc视频的传输方法及智能边缘
CN112291620A (zh) * 2020-09-22 2021-01-29 北京邮电大学 视频播放方法、装置、电子设备及存储介质
KR20220104862A (ko) * 2021-01-19 2022-07-26 연세대학교 산학협력단 리아푸노프 지수를 이용한 발전원 배치 방법 및 이를 수행하기 위한 컴퓨팅 장치
CN115052190A (zh) * 2022-06-08 2022-09-13 上海哔哩哔哩科技有限公司 视频播放方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HANGJING ZHANG: "RESOURCE ALLOCATION FOR MULTIUSER VIDEO STREAMING IN UAV RELAY NETWORKS", 2019 11TH INTERNATIONAL CONFERENCE ON WIRELESS COMMUNICATIONS AND SIGNAL PROCESSING (WCSP), 31 December 2019 (2019-12-31) *
唐成: "QoE驱动的沉浸式全景视频多播模型和资源分配算法研究", 中国优秀硕士毕业论文, 16 January 2019 (2019-01-16) *
谭东程;薛薇;张妹;刘世龙;: "基于PMSM混沌系统的保密视频通信系统的FPGA设计与实现", 天津科技大学学报, no. 02, 27 November 2018 (2018-11-27) *

Similar Documents

Publication Publication Date Title
CN108174276B (zh) 一种弹幕显示方法及显示装置
CN110392306B (zh) 一种数据处理方法以及设备
CN113163002B (zh) 一种服务器切换方法、装置及存储介质
CN112069977A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN114827662B (zh) 视频分辨率自适应调节方法、装置、设备和存储介质
CN115103210B (zh) 信息处理方法、装置、终端和存储介质
WO2022000298A1 (en) Reinforcement learning based rate control
CN114257815A (zh) 一种视频转码方法、装置、服务器和介质
CN113810773B (zh) 视频下载方法及装置、电子设备和存储介质
US20240098316A1 (en) Video encoding method and apparatus, real-time communication method and apparatus, device, and storage medium
CN116112740A (zh) 一种视频播放方法、装置、电子设备及存储介质
CN114501084B (zh) 播放器的起播方法、装置、设备和介质
CN112350998A (zh) 一种基于边缘计算的视频流传输方法
CN116567246A (zh) Avc编码方法和装置
US20230018087A1 (en) Data coding method and apparatus, and computer-readable storage medium
CN113988294A (zh) 训练预测网络的方法、图像处理方法和装置
CN113794887A (zh) 一种游戏引擎中视频编码的方法及相关设备
CN113409199A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN117459671A (zh) 一种音视频通话方法、装置、电子设备及存储介质
WO2023087177A1 (en) Method and system of video coding with fast low-latency bitstream size control
CN117615137B (zh) 一种视频处理方法、装置、设备以及存储介质
WO2024109138A1 (zh) 视频编码方法、装置及存储介质
CN111179246B (zh) 一种像素位移量确认方法、装置、电子设备及存储介质
Thai et al. A hybrid remote display scheme for interactive applications in band-limited environment
CN117354526A (zh) 一种图像编码方法、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination