CN111031347A - 一种视频处理的方法及装置、电子设备、存储介质 - Google Patents

一种视频处理的方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN111031347A
CN111031347A CN201911205959.8A CN201911205959A CN111031347A CN 111031347 A CN111031347 A CN 111031347A CN 201911205959 A CN201911205959 A CN 201911205959A CN 111031347 A CN111031347 A CN 111031347A
Authority
CN
China
Prior art keywords
video
determining
code rate
experience quality
target video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911205959.8A
Other languages
English (en)
Inventor
石磊
刘丽
朱敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Baiguoyuan Information Technology Co Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN201911205959.8A priority Critical patent/CN111031347A/zh
Publication of CN111031347A publication Critical patent/CN111031347A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例提供了一种视频处理的方法及装置、电子设备、存储介质，所述方法包括：在视频播放的过程中，确定待播放的一个或多个目标视频段，并确定每个目标视频段对应的一个或多个可选视频码率；分别确定一个或多个目标视频段对应的第一体验质量指标；结合所有的目标视频段对应的第一体验质量指标，确定一个或多个第二体验质量指标，并确定最优的第二体验质量指标对应的目标视频码率组合；采用目标视频码率组合，控制视频播放。通过本申请实施例，实现了对视频码率的控制，通过对用户体验参数归一化，为播放器选择合适码率的视频，且不限制于当前视频码率的选择，通过视频码率组合兼顾未来带宽状态的变化，提升了视频的体验质量。

Description

一种视频处理的方法及装置、电子设备、存储介质
技术领域
本申请涉及视频处理领域，特别是涉及一种视频处理的方法及装置、电子设备、存储介质。
背景技术
随着科学技术的发展，语音、文字已难以满足用户需求，视频成为用户沟通和娱乐的重要方式，而高清晰视频带来的高清画质倍受用户喜爱。
由于高清晰视频数据量大，而实际网络状况较为复杂，如不同地区的网络带宽不同、不同时间的网络带宽不同，且还经常出现抢占网络带宽的情况，网络带宽的情况影响着高清晰视频的使用。
若在带宽不足时选择高清画质，则会导致视频画面持续卡顿，若在带宽充足时选择不清晰画质，则会导致带宽浪费，影响视频的体验质量。
发明内容
鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种视频处理的方法及装置、电子设备、存储介质，包括：
一种视频处理的方法，所述方法包括：
在视频播放的过程中，确定待播放的一个或多个目标视频段，并确定每个目标视频段对应的一个或多个可选视频码率；
分别确定所述一个或多个目标视频段对应的第一体验质量指标；其中，每个可选视频码率对应一第一体验质量指标；
结合所有的目标视频段对应的第一体验质量指标，确定一个或多个第二体验质量指标，并确定最优的第二体验质量指标对应的目标视频码率组合；
采用所述目标视频码率组合，控制视频播放。
一种视频处理的装置，所述装置包括：
可选视频码率确定模块，用于在视频播放的过程中，确定待播放的一个或多个目标视频段，并确定每个目标视频段对应的一个或多个可选视频码率；
第一体验质量指标确定模块，用于分别确定所述一个或多个目标视频段对应的第一体验质量指标；其中，每个可选视频码率对应一第一体验质量指标；
目标视频码率组合确定模块，用于结合所有的目标视频段对应的第一体验质量指标，确定一个或多个第二体验质量指标，并确定最优的第二体验质量指标对应的目标视频码率组合；
视频播放控制模块，用于采用所述目标视频码率组合，控制视频播放。
一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的视频处理的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的视频处理的方法的步骤。
本申请实施例具有以下优点：
在本申请实施例中，通过在视频播放的过程中，确定待播放的一个或多个目标视频段，并确定每个目标视频段对应的一个或多个可选视频码率，然后分别确定一个或多个目标视频段对应的第一体验质量指标，结合所有的目标视频段对应的第一体验质量指标，确定一个或多个第二体验质量指标，并确定最优的第二体验质量指标对应的目标视频码率组合，采用目标视频码率组合，控制视频播放，实现了对视频码率的控制，通过对用户体验参数归一化，为播放器选择合适码率的视频，且不限制于当前视频码率的选择，通过视频码率组合兼顾未来带宽状态的变化，提升了视频的体验质量。
附图说明
为了更清楚地说明本申请的技术方案，下面将对本申请的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种视频处理的方法的步骤流程图；
图2是本申请一实施例提供的另一种视频处理的方法的步骤流程图；
图3是本申请一实施例提供的一种视频处理的装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参照图1，示出了本申请一实施例提供的一种视频处理的方法的步骤流程图，具体可以包括如下步骤：
步骤101，在视频播放的过程中，确定待播放的一个或多个目标视频段，并确定每个目标视频段对应的一个或多个可选视频码率；
其中，一个或多个目标视频段为未缓存的视频段。
在直播、点播、视频通信等过程中，响应于用户操作，播放器可以获取确定当前视频，进而可以将目标视频划分为一个或多个视频段，例如，按照预设时长(如10秒)进行视频段划分，在播放某一视频段的过程中，可以按照时间顺序从视频服务器中缓存未播放的视频段。
对于未缓存的视频段，可以从中确定一个或多个目标视频段，即可以将最近一个未缓存的视频段作为目标视频段，为了反映网络变化趋势，也可以将最近N(N为大于1的整数)个未缓存的视频段作为目标视频段。
为了适应当前网络环境，在视频段缓存的过程中，可以采用不同的视频码率进行缓存，则在确定目标视频段后，可以进一步确定每个目标视频段对应的一个或多个可选视频码率。
步骤102，分别确定所述一个或多个目标视频段对应的第一体验质量指标；其中，每个可选视频码率对应一第一体验质量指标；
在具体实现中，可以对用户的体验质量(QoE，Quality of Experience)进行建模，通过体验质量指标对用户体验参数进行归一化，然后可以基于MPC(Model PredictionControl，模型预测控制)来遍历可选视频码率，获得第一体验质量指标，以求取最大化体验质量。
对于每一个目标视频段，可以确定每个可选视频码率对应的第一体验质量指标，具体可以根据可选视频码率、预测的播放卡顿情况，以及预测的码率切换情况来确定第一体验质量指标。
步骤103，结合所有的目标视频段对应的第一体验质量指标，确定一个或多个第二体验质量指标，并确定最优的第二体验质量指标对应的目标视频码率组合；
其中，目标视频码率组合包括目标视频段与目标视频码率的对应关系。
当仅存在一个目标视频段时，则直接将目标视频段对应的一个或多个第一体验质量指标作为第二体验质量指标，选择最优的第二体验质量指标，进而确定最优的第二体验质量指标对应的视频码率，作为目标视频码率。
当存在多个目标视频段时，则对所有的目标视频段对应的第一体验质量指标进行组合，得到一个或多个第二体验质量指标，从中确定最优的第二体验质量指标，进而确定最优的第二体验质量指标对应的目标视频码率组合。
在本申请一实施例中，步骤103可以包括如下子步骤：
子步骤11，分别从每个目标视频段对应的第一体验质量指标中，选取一第一体验质量指标进行组合计算，得到一个或多个第二体验质量指标；
由于第一体验质量指标与可选视频码率对应，每个目标视频段存在一个或多个可选视频码率，则存在一个或多个第一体验质量指标。
对于每个目标视频段，可以从中选取一个第一体验质量指标，则可以得到一个或多个第一体验质量指标组合，进而分别对每个组合中第一体验质量指标进行累加，得到一个或多个第二体验质量指标。
子步骤12，确定最优的第二体验质量指标；
在确定一个或多个第二体验质量指标后，可以从中选取出最优的第二体验质量指标，如最大化的第二体验质量指标。
子步骤13，对于每个目标视频段，确定组成所述最优的第二体验质量指标的第一体验质量指标对应的可选视频码率，得到目标视频码率组合。
在确定最优的第二体验质量指标后，可以确定组成该第二体验质量指标的第一体验质量指标，则可以确定该第一体验质量指标对应的可选视频码率，作为该第一体验质量指标对应的目标视频段的目标可选视频码率，进而得到所有目标视频段的目标视频码率组合。
具体如下公式所示：
Figure BDA0002296932980000051
其中，R0为目标视频码率组合，QoEk为第一体验质量指标，n为目标视频段的数量，Rij为在第j个目标视频段中的可选视频码率，则通过遍历每个目标视频段中可选视频码率，得到最大化的第二体验质量指标，进而可以确定最大化的第二体验质量指标对应的目标视频码率组合。
步骤104，采用所述目标视频码率组合，控制视频播放。
在获得目标视频码率组合后，对于每个目标视频段，可以采用目标视频码率组合中对应的目标视频码率，控制目标视频的视频播放，以获得最优的第二体验质量指标。
在本申请实施例中，通过在视频播放的过程中，确定待播放的一个或多个目标视频段，并确定每个目标视频段对应的一个或多个可选视频码率，然后分别确定一个或多个目标视频段对应的第一体验质量指标，结合所有的目标视频段对应的第一体验质量指标，确定一个或多个第二体验质量指标，并确定最优的第二体验质量指标对应的目标视频码率组合，采用目标视频码率组合，控制视频播放，实现了对视频码率的控制，通过对用户体验参数归一化，为播放器选择合适码率的视频，且不限制于当前视频码率的选择，通过视频码率组合兼顾未来带宽状态的变化，提升了视频的体验质量。
参照图2，示出了本申请一实施例提供的另一种视频处理的方法的步骤流程图，具体可以包括如下步骤：
步骤201，在视频播放的过程中，确定待播放的一个或多个目标视频段，并确定每个目标视频段对应的一个或多个可选视频码率；
步骤202，分别确定所述一个或多个可选视频码率对应的正面收益；
对于每一个目标视频段，在确定一个或多个可选视频码率后，可以采用可选视频码率，确定正面收益，正面收益可以与可选视频码率正相关。
步骤203，对于每个可选视频码率，预测播放卡顿情况对应的第一负面收益；
对于每一个目标视频段，由于所处的网络带宽的限制，在选择不同的可选视频码率时，可以出现不同的播放卡顿情况，则可以预测播放卡顿情况对应的第一负面收益。
在本申请一实施例中，步骤203可以包括如下子步骤：
子步骤21，确定带宽预测值，并确定在采用所述带宽预测值时下载所述目标视频段所需的下载时长；
在具体实现中，可以获取历史带宽观测值bwi,i＝1,2,..m，然后可以采用EWMA(Exponentially Weighted Moving Average，指数移动加权平均)，计算得到目标视频段对应的带宽预测值。
对于最近一个目标视频段的带宽预测值bwe0，可以采用如下公式：
bwe0＝fewma(bwm)
对于未来的目标视频段的带宽预测值bwej，则可以采用如下公式：
bwej＝fewma(bwej-1),j＝1,2,..n
在确定带宽预测值后，可以确定目标视频段的视频段时长l，进而可以结合带宽预测值bwej和视频段时长l，计算下载可选视频码率Rj对应的目标视频段所需的下载时长tj，可以采用如下公式：
Figure BDA0002296932980000061
子步骤22，确定剩余视频缓存的缓存时长；
对于最近一个目标视频段，则可以直接确定播放器剩余视频缓存的缓存时长，对于未来的目标视频段对应的缓存时长Bj+1，则可以上一个目标视频段的缓存时长和下载时间进行计算，可以采用如下公式：
Bj+1＝max{0,Bj-tj}+l
子步骤23，结合所述缓存时长和所述下载时长，确定卡顿时长；
在确定缓存时长Bj和下载时长tj后，则可以确定卡顿时长Zj，可以采用如下公式：
Zj＝max{0，tj-Bj}
子步骤24，采用所述卡顿时长，确定播放卡顿情况对应的第一负面收益；
在确定卡段时长后，则可以采用卡顿时长，确定播放卡顿情况对应的第一负面收益，第一负面收益可以与卡顿时长正相关。
步骤204，在与所述目标视频段的前一视频段的视频码率不同时，预测码率切换情况对应的第二负面收益；
在可选视频码率与目标视频段的前一视频段的视频码率不同时，则存在码率切换情况，则可以预测预测码率切换情况对应的第二负面收益。
在本申请一实施例中，步骤204可以包括如下子步骤：
子步骤31，确定所述可选视频码率与所述前一视频段的视频码率的视频码率差；
在具体实现中，可以确定可选视频码率Rj+1与前一视频段的视频码率Rj的视频码率差Cj+1，可以采用如下公式：
Cj+1＝Rj+1-Rj
子步骤32，采用所述视频码率差，确定码率切换情况对应的第二负面收益；其中，所述第二负面收益与所述视频码率差正相关。
在确定视频码率差后，可以采用视频码率差，确定码率切换情况对应的第二负面收益，第二负面收益可以与视频码率差正相关。
步骤205，结合所述正面收益、所述第一负面收益，以及所述第二负面收益，确定所述可选视频码率对应的第一体验质量指标；
在确定收益情况后，可以采用正面收益减去第一负面收益和第二负面收益，得到可选视频码率对应的第一体验质量指标。
在一示例中，正向收益可以为可选视频Ri，第一负向收益可以为卡顿时长Zi，第二负向收益可以为视频码率差Ci，则第一体验质量指标QoEi，可以采用如下公式：
QoEi＝Ri-Zi-Ci
在本申请一实施例中，步骤205可以包括如下子步骤：
子步骤41，分别确定所述正面收益、所述第一负面收益，以及所述第二负面收益对应的权重系数，并采用所述权重系数进行加权；
由于用户对质量体验指标的偏好不同，则可以分别确定正面收益、第一负面收益，以及第二负面收益对应的权重系数，并采用权重系数进行加权。
子步骤42，对于任一可选视频码率，结合所述加权后的正面收益、所述加权后的第一负面收益，以及所述加权后的第二负面收益，确定与所述可选视频码率对应的第一体验质量指标。
在进行加权后，采用加权后的正面收益减去加权后的第一负面收益，以及加权后的第二负面收益，得到可选视频码率对应的第一体验质量指标。
步骤206，结合所有的目标视频段对应的第一体验质量指标，确定一个或多个第二体验质量指标，并确定最优的第二体验质量指标对应的目标视频码率组合；
在确定收益情况后，可以采用加权后的正面收益减去加权后的第一负面收益和加权后的第二负面收益，得到第一体验质量指标。
步骤207，采用所述目标视频码率组合，控制视频播放。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
参照图3，示出了本申请一实施例提供的一种视频处理的装置的结构示意图，具体可以包括如下模块：
可选视频码率确定模块301，用于在视频播放的过程中，确定待播放的一个或多个目标视频段，并确定每个目标视频段对应的一个或多个可选视频码率；
第一体验质量指标确定模块302，用于分别确定所述一个或多个目标视频段对应的第一体验质量指标；其中，每个可选视频码率对应一第一体验质量指标；
目标视频码率组合确定模块303，用于结合所有的目标视频段对应的第一体验质量指标，确定一个或多个第二体验质量指标，并确定最优的第二体验质量指标对应的目标视频码率组合；
视频播放控制模块304，用于采用所述目标视频码率组合，控制视频播放。
在本申请一实施例中，所述第一体验质量指标确定模块302包括：
正面收益确定子模块，用于分别确定所述一个或多个可选视频码率对应的正面收益；
第一负面收益预测子模块，用于对于每个可选视频码率，预测播放卡顿情况对应的第一负面收益；
第二负面收益预测子模块，用于在与所述目标视频段的前一视频段的视频码率不同时，预测码率切换情况对应的第二负面收益；
结合收益确定质量子模块，用于结合所述正面收益、所述第一负面收益，以及所述第二负面收益，确定所述可选视频码率对应的第一体验质量指标。
在本申请一实施例中，所述第一负面收益预测子模块包括：
带宽和下载时长确定单元，用于确定带宽预测值，并确定在采用所述带宽预测值时下载所述目标视频段所需的下载时长；
缓存时长确定单元，用于确定剩余视频缓存的缓存时长；
卡顿时长确定单元，用于结合所述缓存时长和所述下载时长，确定卡顿时长；
卡顿确定收益单元，用于采用所述卡顿时长，确定播放卡顿情况对应的第一负面收益；其中，所述第一负面收益与所述卡顿时长正相关。
在本申请一实施例中，所述第二负面收益预测子模块包括：
视频码率差确定单元，用于确定所述可选视频码率与所述前一视频段的视频码率的视频码率差；
码率差确定收益单元，用于采用所述视频码率差，确定码率切换情况对应的第二负面收益；其中，所述第二负面收益与所述视频码率差正相关。
在本申请一实施例中，所述正面收益与所述可选视频码率正相关。
在本申请一实施例中，所述结合收益确定质量子模块包括：
加权单元，用于分别确定所述正面收益、所述第一负面收益，以及所述第二负面收益对应的权重系数，并采用所述权重系数进行加权；
加权结合单元，用于对于任一可选视频码率，结合所述加权后的正面收益、所述加权后的第一负面收益，以及所述加权后的第二负面收益，确定与所述可选视频码率对应的第一体验质量指标。
在本申请一实施例中，所述目标视频码率组合确定模块303包括：
第二体验质量指标得到子模块，用于分别从每个目标视频段对应的第一体验质量指标中，选取一第一体验质量指标进行组合计算，得到一个或多个第二体验质量指标；
最优指标确定子模块，用于确定最优的第二体验质量指标；
目标视频码率组合得到子模块，用于对于每个目标视频段，确定组成所述最优的第二体验质量指标的第一体验质量指标对应的可选视频码率，得到目标视频码率组合。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请一实施例还提供了一种电子设备，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上视频处理的方法的步骤。
本申请一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上视频处理的方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种视频处理的方法及装置、电子设备、存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种视频处理的方法，其特征在于，所述方法包括：
在视频播放的过程中，确定待播放的一个或多个目标视频段，并确定每个目标视频段对应的一个或多个可选视频码率；
分别确定所述一个或多个目标视频段对应的第一体验质量指标；其中，每个可选视频码率对应一第一体验质量指标；
结合所有的目标视频段对应的第一体验质量指标，确定一个或多个第二体验质量指标，并确定最优的第二体验质量指标对应的目标视频码率组合；
采用所述目标视频码率组合，控制视频播放。
2.根据权利要求1所述的方法，其特征在于，所述分别确定所述一个或多个目标视频段对应的第一体验质量指标的步骤包括：
分别确定所述一个或多个可选视频码率对应的正面收益；
对于每个可选视频码率，预测播放卡顿情况对应的第一负面收益；
以及，在与所述目标视频段的前一视频段的视频码率不同时，预测码率切换情况对应的第二负面收益；
结合所述正面收益、所述第一负面收益，以及所述第二负面收益，确定所述可选视频码率对应的第一体验质量指标。
3.根据权利要求2所述的方法，其特征在于，所述对于每个可选视频码率，预测播放卡顿情况对应的第一负面收益的步骤包括：
确定带宽预测值，并确定在采用所述带宽预测值时下载所述目标视频段所需的下载时长；
确定剩余视频缓存的缓存时长；
结合所述缓存时长和所述下载时长，确定卡顿时长；
采用所述卡顿时长，确定播放卡顿情况对应的第一负面收益；其中，所述第一负面收益与所述卡顿时长正相关。
4.根据权利要求2或3所述的方法，其特征在于，所述在与所述目标视频段的前一视频段的视频码率不同时，预测与码率切换情况对应的第二负面收益的步骤包括：
确定所述可选视频码率与所述前一视频段的视频码率的视频码率差；
采用所述视频码率差，确定码率切换情况对应的第二负面收益；其中，所述第二负面收益与所述视频码率差正相关。
5.根据权利要求4所述的方法，其特征在于，所述正面收益与所述可选视频码率正相关。
6.根据权利要求1或2或3所述的方法，其特征在于，所述结合所述正面收益、所述第一负面收益，以及所述第二负面收益，确定所述可选视频码率对应的第一体验质量指标的步骤包括：
分别确定所述正面收益、所述第一负面收益，以及所述第二负面收益对应的权重系数，并采用所述权重系数进行加权；
对于任一可选视频码率，结合所述加权后的正面收益、所述加权后的第一负面收益，以及所述加权后的第二负面收益，确定与所述可选视频码率对应的第一体验质量指标。
7.根据权利要求1或2或3所述的方法，其特征在于，所述结合所有的目标视频段对应的第一体验质量指标，确定一个或多个第二体验质量指标，并确定最优的第二体验质量指标对应的目标视频码率组合的步骤包括：
分别从每个目标视频段对应的第一体验质量指标中，选取一第一体验质量指标进行组合计算，得到一个或多个第二体验质量指标；
确定最优的第二体验质量指标；
对于每个目标视频段，确定组成所述最优的第二体验质量指标的第一体验质量指标对应的可选视频码率，得到目标视频码率组合。
8.一种视频处理的装置，其特征在于，所述装置包括：
可选视频码率确定模块，用于在视频播放的过程中，确定待播放的一个或多个目标视频段，并确定每个目标视频段对应的一个或多个可选视频码率；
第一体验质量指标确定模块，用于分别确定所述一个或多个目标视频段对应的第一体验质量指标；其中，每个可选视频码率对应一第一体验质量指标；
目标视频码率组合确定模块，用于结合所有的目标视频段对应的第一体验质量指标，确定一个或多个第二体验质量指标，并确定最优的第二体验质量指标对应的目标视频码率组合；
视频播放控制模块，用于采用所述目标视频码率组合，控制视频播放。
9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的视频处理的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的视频处理的方法的步骤。
CN201911205959.8A 2019-11-29 2019-11-29 一种视频处理的方法及装置、电子设备、存储介质 Pending CN111031347A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911205959.8A CN111031347A (zh) 2019-11-29 2019-11-29 一种视频处理的方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911205959.8A CN111031347A (zh) 2019-11-29 2019-11-29 一种视频处理的方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN111031347A true CN111031347A (zh) 2020-04-17

Family

ID=70203899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911205959.8A Pending CN111031347A (zh) 2019-11-29 2019-11-29 一种视频处理的方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN111031347A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113784216A (zh) * 2021-08-24 2021-12-10 咪咕音乐有限公司 视频卡顿识别方法、装置、终端设备以及存储介质
WO2023134524A1 (zh) * 2022-01-14 2023-07-20 百果园技术(新加坡)有限公司 一种视频编码配置方法、系统、设备及存储介质
CN117560525A (zh) * 2024-01-11 2024-02-13 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备以及可读存储介质
CN118042197A (zh) * 2024-04-09 2024-05-14 牡丹江师范学院 一种音乐视频的自动切换方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120151009A1 (en) * 2010-06-18 2012-06-14 Nokia Corporation Method and Apparatus for Generating and Handling Streaming Media Quality-of-Experience Metrics
US20150023404A1 (en) * 2013-07-16 2015-01-22 Cisco Technology, Inc. Quality Optimization with Buffer and Horizon Constraints in Adaptive Streaming
US20170026713A1 (en) * 2015-03-26 2017-01-26 Carnegie Mellon University System and Method for Dynamic Adaptive Video Streaming Using Model Predictive Control
CN106375790A (zh) * 2016-09-23 2017-02-01 西安交通大学 一种QoE驱动的多频道HAS码率自适应调度方法
US20180041788A1 (en) * 2015-02-07 2018-02-08 Zhou Wang Method and system for smart adaptive video streaming driven by perceptual quality-of-experience estimations
CN108833996A (zh) * 2018-07-03 2018-11-16 湖北大学 分布式dash系统中服务节点选择、更新和码率自适应方法
CN108924667A (zh) * 2018-08-03 2018-11-30 阳雨哲 一种支持QoE最大化的可用带宽自适应视频分片请求方法
CN109040855A (zh) * 2018-09-03 2018-12-18 重庆邮电大学 一种无线dash流媒体码率平滑自适应传输方法
CN110087110A (zh) * 2019-06-12 2019-08-02 深圳市大数据研究院 应用深度搜索动态调控视频播放的方法及装置
CN110178377A (zh) * 2016-11-14 2019-08-27 瑞典爱立信有限公司 用于视频传送会话的初始比特率选择
CN110248247A (zh) * 2019-06-12 2019-09-17 深圳市大数据研究院 基于网络吞吐量的嵌入式动态视频播放控制方法及装置
CN110300315A (zh) * 2019-07-24 2019-10-01 北京达佳互联信息技术有限公司 一种视频码率确定方法、装置、电子设备及存储介质
CN110312143A (zh) * 2019-07-25 2019-10-08 北京达佳互联信息技术有限公司 视频码率控制方法、装置、电子设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120151009A1 (en) * 2010-06-18 2012-06-14 Nokia Corporation Method and Apparatus for Generating and Handling Streaming Media Quality-of-Experience Metrics
US20150023404A1 (en) * 2013-07-16 2015-01-22 Cisco Technology, Inc. Quality Optimization with Buffer and Horizon Constraints in Adaptive Streaming
US20180041788A1 (en) * 2015-02-07 2018-02-08 Zhou Wang Method and system for smart adaptive video streaming driven by perceptual quality-of-experience estimations
US20170026713A1 (en) * 2015-03-26 2017-01-26 Carnegie Mellon University System and Method for Dynamic Adaptive Video Streaming Using Model Predictive Control
CN106375790A (zh) * 2016-09-23 2017-02-01 西安交通大学 一种QoE驱动的多频道HAS码率自适应调度方法
CN110178377A (zh) * 2016-11-14 2019-08-27 瑞典爱立信有限公司 用于视频传送会话的初始比特率选择
CN108833996A (zh) * 2018-07-03 2018-11-16 湖北大学 分布式dash系统中服务节点选择、更新和码率自适应方法
CN108924667A (zh) * 2018-08-03 2018-11-30 阳雨哲 一种支持QoE最大化的可用带宽自适应视频分片请求方法
CN109040855A (zh) * 2018-09-03 2018-12-18 重庆邮电大学 一种无线dash流媒体码率平滑自适应传输方法
CN110087110A (zh) * 2019-06-12 2019-08-02 深圳市大数据研究院 应用深度搜索动态调控视频播放的方法及装置
CN110248247A (zh) * 2019-06-12 2019-09-17 深圳市大数据研究院 基于网络吞吐量的嵌入式动态视频播放控制方法及装置
CN110300315A (zh) * 2019-07-24 2019-10-01 北京达佳互联信息技术有限公司 一种视频码率确定方法、装置、电子设备及存储介质
CN110312143A (zh) * 2019-07-25 2019-10-08 北京达佳互联信息技术有限公司 视频码率控制方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOQI YIN,ABHISHEK JINDAL,VYAS SEKAR,BRUNO SINOPOLI: "A Control-Theoretic Approach for Dynamic Adaptive Video Streaming over HTTP", 《PROCEEDINGS OF THE 2015 ACM CONFERENCE ON SPECIAL INTEREST GROUP ON DATA COMMUNICATION》 *
韩煦等: "基于SVC与多网络接口的DASH调度算法", 《计算机工程》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113784216A (zh) * 2021-08-24 2021-12-10 咪咕音乐有限公司 视频卡顿识别方法、装置、终端设备以及存储介质
CN113784216B (zh) * 2021-08-24 2024-05-31 咪咕音乐有限公司 视频卡顿识别方法、装置、终端设备以及存储介质
WO2023134524A1 (zh) * 2022-01-14 2023-07-20 百果园技术(新加坡)有限公司 一种视频编码配置方法、系统、设备及存储介质
CN117560525A (zh) * 2024-01-11 2024-02-13 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备以及可读存储介质
CN117560525B (zh) * 2024-01-11 2024-04-19 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备以及可读存储介质
CN118042197A (zh) * 2024-04-09 2024-05-14 牡丹江师范学院 一种音乐视频的自动切换方法及系统

Similar Documents

Publication Publication Date Title
CN111031347A (zh) 一种视频处理的方法及装置、电子设备、存储介质
US11425394B2 (en) Method and apparatus for determining video bit rate, and electronic device
CN111314772B (zh) 一种视频下载码率的确定方法、装置、终端和存储介质
CN109618565B (zh) 流式视频用户体验质量的自动测量方法和系统
CN107613330B (zh) 一种视频码率自适应方法
US20210105517A1 (en) Method and system for adaptive data transmission
CN107135411B (zh) 一种调整视频码率的方法及电子设备
CN112953922A (zh) 一种自适应流媒体控制方法、系统、计算机设备及应用
CN111327865B (zh) 视频传输方法、装置及设备
CN110312143B (zh) 视频码率控制方法、装置、电子设备及存储介质
CN112887795B (zh) 视频播放方法、装置、设备和介质
CN110022498B (zh) 一种实现码率切换的方法及装置
KR102417732B1 (ko) 적응형 멀티미디어 스트리밍의 품질 추정
CN105245562A (zh) 操作高速缓存器的方法以及对应的高速缓存器
CN113691859A (zh) 一种视频缓存方法、装置、设备及介质
Tran et al. A cumulative quality model for HTTP adaptive streaming
CN112714315A (zh) 基于全景视频的分层缓冲方法及系统
CN114245196B (zh) 一种录屏推流方法、装置、电子设备及存储介质
JP2019016961A (ja) 動画品質制御装置、ビットレート選択方法、及びプログラム
Begen et al. Adaptive streaming of content-aware-encoded videos in dash. js
CA3168479C (en) Method for playing on a player of a client device a content streamed in a network
EP4005175B1 (en) Dynamic behavior modification for content download and playback
CN114040257A (zh) 一种自适应视频流传输播放方法、装置、设备及存储介质
CN112929700A (zh) 一种基于云手机的视频流动态切换方法
CN115052190B (zh) 视频播放方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200417

RJ01 Rejection of invention patent application after publication