CN117615171A - 基于历史解码性能的初始视频档位设置方法及系统 - Google Patents

基于历史解码性能的初始视频档位设置方法及系统 Download PDF

Info

Publication number
CN117615171A
CN117615171A CN202311507391.1A CN202311507391A CN117615171A CN 117615171 A CN117615171 A CN 117615171A CN 202311507391 A CN202311507391 A CN 202311507391A CN 117615171 A CN117615171 A CN 117615171A
Authority
CN
China
Prior art keywords
decoding performance
historical
gear
video
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311507391.1A
Other languages
English (en)
Inventor
许雅筑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Bigo Technology Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bigo Technology Pte Ltd filed Critical Bigo Technology Pte Ltd
Priority to CN202311507391.1A priority Critical patent/CN117615171A/zh
Publication of CN117615171A publication Critical patent/CN117615171A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例公开了一种基于历史解码性能的初始视频档位设置方法及系统。本申请实施例提供的技术方案，通过在目标客户端进入当前直播间的情况下，获取当前直播间各个视频档位的初始视频流属性信息、历史视频流属性信息及对应的历史解码性能信息；将各个视频档位的初始视频流属性信息、历史视频流属性信息和历史解码性能信息输入预先训练的解码性能预测模型，输出各个视频档位的初始视频流属性信息对应的解码性能预测信息；基于各个视频档位的解码性能预测信息设置目标客户端在当前直播间的初始视频档位。采用上述技术手段，可以通过解码性能预测精准设置目标客户端在当前直播间的初始视频档位，提升用户的观看体验，保障视频画质稳定输出。

Description

基于历史解码性能的初始视频档位设置方法及系统
技术领域
本申请实施例涉及视频处理技术领域，尤其涉及一种基于历史解码性能的初始视频档位设置方法及系统。
背景技术
目前，在网络直播场景中，为了适应多样的用户需求，用户观看的在线视频一般会提供多种档位可选，如超清、高清、低清等。不同视频档位之间的编码类型、码率、分辨率、帧率等各有不同。为了提高用户在线观看时的体验，在用户进入一个直播间时，会根据用户端的历史解码性能信息设置用户初始视频档位。基于初始视频档位下发视频流之后，系统以实时视频流单位时间内的解码帧数作为解码性能，进而决策用户端后续的视频档位。
但是，由于不同直播间之间的视频流编码类型、解码分辨率等均有所差异，简单根据用户端的历史解码性能决策用户端的初始视频档位，会影响用户端进入新的直播间时的初始视频档位决策精度，导致初始视频档位下的视频清晰度相对偏低，且会增大视频档位切换的频率，影响用户的观看体验。
发明内容
本申请实施例提供一种基于历史解码性能的初始视频档位设置方法及系统，能够提升初始视频档位的设置精准度，减少视频档位切换频率，提升用户观看体验，解决直播间初始视频档位的设置误差问题。
在第一方面，本申请实施例提供了一种基于历史解码性能的初始视频档位设置方法，包括：
在目标客户端进入当前直播间的情况下，获取当前直播间各个视频档位的初始视频流属性信息、历史视频流属性信息及对应的历史解码性能信息；
将各个视频档位的初始视频流属性信息、历史视频流属性信息和历史解码性能信息输入预先训练的解码性能预测模型，输出各个视频档位的初始视频流属性信息对应的解码性能预测信息，解码性能预测模型基于历史视频流属性信息、历史解码性能信息以及初始视频流属性信息与对应的初始解码性能信息之间的映射关系构建；
基于各个视频档位的解码性能预测信息设置目标客户端在当前直播间的初始视频档位。
在第二方面，本申请实施例提供了一种基于历史解码性能的初始视频档位设置系统，包括：
获取模块，配置为在目标客户端进入当前直播间的情况下，获取当前直播间各个视频档位的初始视频流属性信息、历史视频流属性信息及对应的历史解码性能信息；
预测模块，配置为将各个视频档位的初始视频流属性信息、历史视频流属性信息和历史解码性能信息输入预先训练的解码性能预测模型，输出各个视频档位的初始视频流属性信息对应的解码性能预测信息，解码性能预测模型基于历史视频流属性信息、历史解码性能信息以及初始视频流属性信息与对应的初始解码性能信息之间的映射关系构建；
设置模块，配置为基于各个视频档位的解码性能预测信息设置目标客户端在当前直播间的初始视频档位。
在第三方面，本申请实施例提供了一种基于历史解码性能的初始视频档位设置设备，包括：
存储器以及一个或多个处理器；
所述存储器，配置为存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于历史解码性能的初始视频档位设置方法。
在第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由计算机处理器执行时配置为执行如第一方面所述的基于历史解码性能的初始视频档位设置方法。
在第五方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品中包含有指令，当指令在计算机或处理器上运行时，使得计算机或处理器执行如第一方面所述的基于历史解码性能的初始视频档位设置方法。
本申请实施例通过在目标客户端进入当前直播间的情况下，获取当前直播间各个视频档位的初始视频流属性信息、历史视频流属性信息及对应的历史解码性能信息；将各个视频档位的初始视频流属性信息、历史视频流属性信息和历史解码性能信息输入预先训练的解码性能预测模型，输出各个视频档位的初始视频流属性信息对应的解码性能预测信息；基于各个视频档位的解码性能预测信息设置目标客户端在当前直播间的初始视频档位。采用上述技术手段，可以通过预测不同视频档位的初始视频流的解码性能，进而结合解码性能选择当前直播间最合适的初始视频档位，以通过解码性能预测精准设置目标客户端在当前直播间的初始视频档位，避免初始视频档位设置偏高导致解码卡顿和设置偏低导致视频清晰度偏低的情况，使初始档位的选择更贴近用户设备性能，同时符合场景需求，提高用户观看清晰度和流畅度，提升用户的观看体验，有利于提高直播间用户留存率、提高人均观看时长。同时通过精准设置初始视频档位，也可以减少后续视频档位的切换频率，保障视频画质稳定输出。
附图说明
图1是本申请实施例提供的一种基于历史解码性能的初始视频档位设置方法的流程图；
图2是本申请实施例中初始视屏档位的决策流程图；
图3是本申请实施例中基于解码性能预测信息设置初始视频档位的流程图；
图4是本申请实施例提供的一种基于历史解码性能的初始视频档位设置系统的结构示意图；
图5是本申请实施例提供的一种基于历史解码性能的初始视频档位设置设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的基于历史解码性能的初始视频档位设置方法，旨在通过预构建的解码性能预测模型预测当前直播间各个档位初始视频流的解码性能预测信息，以通过解码性能预测精准设置目标客户端在当前直播间的初始视频档位，保障进入直播间的初始时刻的视频画质稳定输出。
在视频直播场景中，为了适应不同用户的设备性能和网络状况，会将主播的源视频转码成多种不同的档位，每种档位的码率、分辨率、编码类型等属性信息都有所不同。在实际观看过程中，根据搜集到的用户网络情况、用户设备运行状态等等实时调整用户观看的视频档位，可以保证用户观看的流畅度和清晰度。这一根据网络情况调整档位的方法一般称之为ABR(Adaptive Bitrate Streaming，自适应码率技术)算法，其主要关注用户的带宽和视频缓冲区大小，能够在网络波动的场景下为用户提供具有最佳流畅性和清晰度的视频档位。为了提高用户体验，现有的选档算法也会将用户自身的设备性能纳入考虑，在播放过程中获取用户解码性能，在性能不足的时候及时下调档位，避免出现因解码性能不足造成的播放卡顿。这些算法一般采用单位时间内解码帧数作为解码性能，然而这种方法也有许多不足之处。一方面，这类信息无法应用于初始档位的选择，因为用户在刚进入直播间时，还未产生过解码动作，其性能此时是未知的；另一方面，不同直播间之间视频流编码方式、分辨率等属性信息均有所差异，即使记录了历史解码性能也无法直接利用于用户下一场观看的初始档位设置。另外，使用平均解码帧数计算解码性能的计算方式，对于采用异步解码方式的设备，其计算出的解码性能误差较大。
由于视频帧有多种不同种类，不同帧解码所需时间不同，而视频帧的组成与视频画面相关，无法预测视频帧的排列，因此要获得视频帧解码耗时，一般通过统计一段时间内解码帧数来获取一个相对可靠的均值。然而这会导致用户刚进入直播间时无法获取有效解码信息，若用户解码性能被高估，推送分辨率过高的档位则会引发卡顿和丢帧；若用户解码性能被低估，推送分辨率过低的视频流，则会影响用户观看体验。对于手机用户而言，许多直播间的停留时间只有数秒，用户在滑动直播间时，如果初始画面播放卡顿或模糊，则极大影响用户观感，因此及时获取准确的解码性能，决策合适的初始档位至关重要。基于此，提供本申请实施例的一种基于历史解码性能的初始视频档位设置方法，以解决直播间初始视频档位的设置误差问题。
实施例：
图1给出了本申请实施例提供的一种基于历史解码性能的初始视频档位设置方法的流程图，本实施例中提供的基于历史解码性能的初始视频档位设置方法可以由基于历史解码性能的初始视频档位设置设备执行，该基于历史解码性能的初始视频档位设置设备可以通过软件和/或硬件的方式实现，该基于历史解码性能的初始视频档位设置设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该基于历史解码性能的初始视频档位设置设备可以是视频直播系统用于推送直播视频流给观众客户端的服务器。
下述以服务器为执行基于历史解码性能的初始视频档位设置方法的主体为例，进行描述。参照图1，该基于历史解码性能的初始视频档位设置方法具体包括：
S110、在目标客户端进入当前直播间的情况下，获取当前直播间各个视频档位的初始视频流属性信息、历史视频流属性信息及对应的历史解码性能信息。
本申请为了精准决策初始视频档位，在观众客户端进入当前直播间时，通过预测当前直播间各个不同视频档位的解码性能，进而根据解码性能精准决策初始视频档位。其中，定义当前观众客户端为目标客户端，在目标客户端进入当前直播间的初始时刻，服务器触发进行初始视频档位的决策，通过预测各个视频档位初始视频流的解码性能，进而基于预测到的解码性能设置初始视频档位，使用初始视频档位向目标客户端下发第一组视频帧。之后即可以实时视频流单位时间内的解码帧数作为解码性能，进而决策用户端后续的视频档位。
在预测各个视频档位的解码性能时，通过获取当前直播间各个视频档位的初始视频流属性信息、历史视频流属性信息及对应的历史解码性能信息，以进行初始视频流的解码性能预测。
由于在目标客户端刚进入直播间时，还未产生观看数据，用于参考的信息十分有限，因此需要对历史观看信息进行记录，在进入新直播间时参考历史信息来设置初始视频档位。通过将目标客户端的历史观看信息传给服务器端，服务器端基于该历史观看信息获取历史视频流属性信息及对应的历史解码性能信息，结合当前直播间各个视频档位的初始视频流的属性信息，即可进行各个视频档位初始视频流的解码性能预测。
S120、将各个视频档位的初始视频流属性信息、历史视频流属性信息和历史解码性能信息输入预先训练的解码性能预测模型，输出各个视频档位的初始视频流属性信息对应的解码性能预测信息，解码性能预测模型基于历史视频流属性信息、历史解码性能信息以及初始视频流属性信息与对应的初始解码性能信息之间的映射关系构建。
具体地，初始视频流属性信息包括对应初始视频流的编码类型、解码分辨率和解码帧率，历史视频流属性信息包括对应历史视频流的编码类型、历史解码分辨率和历史解码帧率。
假设当前直播间的一个视频档位的初始视频流的属性信息为x＝(x1,x2,…)，其中xi可以代表初始视频流的解码帧率、解码分辨率、编码类型等，其解码性能为g(x)；用户历史观看的视频流的属性信息为xˊ＝(x1ˊ,x2ˊ,…)，其解码性能为g(xˊ)，由于设备的解码性能与设备的硬件配置息息相关，同样的硬件配置下对于同样的视频流用户解码性能较为相似，因此可以从一台设备的历史解码性能推测其对于其他视频流的解码性能，即两者有如下映射关系：
g(x)＝f(x,xˊ,g(xˊ))
则基于上述映射关系，通过预先构建一个解码性能预测模型，解码性能预测模型以实际测验的初始视频流属性信息、历史视频流属性信息及对应的历史解码性能信息为模型输入，以实际测验的初始视频流的初始解码性能信息作为模型输出，通过确定模型输入与模型输出的映射关系，构建解码性能预测模型。对于不同的编码类型，可以构建不同的解码性能预测模型，以此即可通过获取上述各个视频档位的初始视频流属性信息、历史视频流属性信息及对应的历史解码性能信息，精准预测出初始视频流的解码性能。
训练好的模型通过接入服务器辅助初始档位决策，在用户登录当前直播间时，会随登录包携带目标客户端的相关历史信息发送给服务器。同时，服务器可获得转码服务器发送的初始视频流信息，进而分别获取各个视频档位的初始视频流属性信息、历史视频流属性信息及对应的历史解码性能信息输入预测模型，则每一可观看的视频档位的初始视频流都可获得对应的解码性能预测信息，根据解码性能预测信息即可对初始视频档位进行设置。
进一步地，在进行解码性能预测时，首先确定设备解码性能的测量标准，使用该测量标准测量历史解码性能信息。其中，历史解码性能信息基于对应历史视频流的解码丢帧数和/或解码速度确定。除了使用单位时间内设备解码的平均帧数，本申请还引入了另一度量标准，即实际解码过程中的解码丢帧数。可以理解的是，当解码性能不足，解码队列堆积了过多的帧，解码器会进行丢帧。因此是否有丢帧、丢帧数量的多少一定程度反应了解码性能是否足够。当解码性能不足时，很快会产生丢帧，即便是进房只有数秒，也能采集到有效的数据。基于此，本申请实施例在确定历史解码性能信息时，可以通过历史视频流的解码丢帧数和/或解码速度确定。历史解码性能信息可以为基于解码丢帧数和/或解码速度换算得到的评分值。在结合解码丢帧数和解码速度两个指标确定解码性能时，可以根据两者对解码性能的影响程度设置相应的影响系数，进而使用相应的影响系数计算该历史解码性能对应的评分值。
由于为了训练和使用dnn网络，需要采集的信息包括：初始视频流属性信息、历史视频流属性信息及对应的历史解码性能信息。而为了避免性能受限，会将dnn网络配置在线上服务器，使用时客户端将相应的历史信息随登录包发送给服务器，服务器再从中获取相应的历史视频流属性信息及对应的历史解码性能信息。因此需要将使用的信息尽量压缩，避免登录时间过长。由于与解码性能相关性最大的视频流属性信息为解码分辨率、解码帧率以及编码类型，因此本申请会使用的初始视频流属性信息和历史视频流属性信息主要包含解码分辨率、解码帧率以及编码类型等信息。实际应用中，选用的属性信息还可以包含网络带宽、抖动等信息。本申请对具体的属性信息不做固定限制，在此不一一赘述。
可选地，历史视频流属性信息包含目标客户端视频档位最高的设定数量个历史视频流的属性信息。考虑到直播种类繁多，主播设备各色各样，生成的视评分辨率种类十分多样，而本申请的目标是在解码性能允许的范围下选择尽可能高的视频档位，且分辨率越高对解码性能要求越高，因此在获取历史视频流属性信息及对应的历史解码性能信息时，可以选择性获取最高两个档位的历史视频流属性信息及对应的历史解码性能信息。可以理解的是，若高分辨率下解码性能足够，则设备性能也足以解码低分辨率；若最高两个档位存在解码性能不足的情况，仍可以根据两档分辨率下解码性能的差异对低分辨率的解码性能进行预测。基于此，通过适应性筛选最高两个档位的历史视频流属性信息及对应的历史解码性能信息用于模型预测，确保不会因为记载过多的信息导致用户登录加载时间增加并且又能准确的表征设备的解码性能，同时采用了dnn模型作为解码性能预测器，使历史信息能较好地映射为实际观看视频的解码性能，并通过引入解码评分机制辅助更好的选择初始档位。
示例性地，参照图2，通过在目标客户端登录直播间时，通过获取目标客户端相应的历史视频流属性信息和历史解码性能信息(即历史解码性能评分)，对超清档位、高清档位和低清档位三个视频档位进行解码性能预测，获取对应档位视频流的解码性能评分，进而根据解码性能评分即可进行初始视频档位决策，选择当前目标客户端最合适的视频档位。
至此，通过引入合适的解码性能测量标准，筛选出合适的历史视频流属性信息及对应的历史解码性能信息，并通过使用dnn网络(深度神经网络)拟合上述函数f，获取从历史视频流属性信息、对应的历史解码性能信息以及初始视频流属性信息到解码评分的映射作为解码性能预测器。从而在用户进入新直播间时，预测其设备解码不同视频流时的性能，以利用预测到的解码性能选择出最贴近设备性能、观看体验最佳的初始视频档位，并通过调节解码评分的组成以适应不同的使用场景。
可选地，解码性能预测信息基于预设定的视频流卡顿指标拟合生成。视频流卡顿指标包括解码卡顿时长、解码卡顿次数以及对应的影响系数。
其中，对于预测模型输出的解码性能预测信息，可以直接采用平均解码帧率等与历史观看解码性能同样的指标拟合生成对应的性能评分，也可根据采集到的用户实时播放结果拟合，即根据需要选择不同的变量进行拟合。例如，若希望选出流畅度最高档位，可采用卡顿指标拟合，拟合公式表示为：
Q＝-q1*解码卡顿时长-q2*解码卡顿次数(q1>0,q2>0)
其中，Q为表示解码性能预测信息的评分，q1、q2为对应的影响系数。利用此指标进行模型训练，则得到的解性能码评分越高，可能造成的卡顿越小。后续在根据解码性能评分选择初始视频流档位时，根据视频流卡顿需求，即可适应性选择解性能码评分高的视频档位。具体的拟合公式的形式、拟合系数、拟合方式等可根据实际场景需求进行调整，本申请实施例对此不进行固定限制。
S130、基于各个视频档位的解码性能预测信息设置目标客户端在当前直播间的初始视频档位。
最终，基于上述预测到的各个视频档位的解码性能预测信息，可以直接选择解码性能预测信息(即解码性能评分)最佳的视频档位作为初始视频档位，也可以结合各个视频档位的分辨率、码率进行综合决策。
可选地，参照图3，基于各个视频档位的解码性能预测信息设置目标客户端在当前直播间的初始视频档位，包括：
S1301、筛除低于设定评分阈值的解码性能预测信息；
S1302、根据剩余的解码性能预测信息以及对应视频档位的解码分辨率和解码码率设置目标客户端在当前直播间的初始视频档位。
由于分辨率越低，用户解码压力越小，获得的解码评分也会越高，因此可以通过设定最低评分阈值，将解码评分小于评分阈值的视频档位进行排除，再采用原有的abr算法进行选择。也可先采用abr算法排除不符合带宽条件的档位，再结合分辨率、码率和解码评分加权计算档位综合得分，选择综合得分最高的档位进行下发，至此完成本申请基于解码性能预测的初始档位设置。
上述，通过在目标客户端进入当前直播间的情况下，获取当前直播间各个视频档位的初始视频流属性信息、历史视频流属性信息及对应的历史解码性能信息；将各个视频档位的初始视频流属性信息、历史视频流属性信息和历史解码性能信息输入预先训练的解码性能预测模型，输出各个视频档位的初始视频流属性信息对应的解码性能预测信息；基于各个视频档位的解码性能预测信息设置目标客户端在当前直播间的初始视频档位。采用上述技术手段，可以通过预测不同视频档位的初始视频流的解码性能，进而结合解码性能选择当前直播间最合适的初始视频档位，以通过解码性能预测精准设置目标客户端在当前直播间的初始视频档位，避免初始视频档位设置偏高导致解码卡顿和设置偏低导致视频清晰度偏低的情况，使初始档位的选择更贴近用户设备性能，同时符合场景需求，提高用户观看清晰度和流畅度，提升用户的观看体验，有利于提高直播间用户留存率、提高人均观看时长。同时通过精准设置初始视频档位，也可以减少后续视频档位的切换频率，保障视频画质稳定输出。
在上述实施例的基础上，图4为本申请提供的一种基于历史解码性能的初始视频档位设置系统的结构示意图。参考图4，本实施例提供的基于历史解码性能的初始视频档位设置系统具体包括：获取模块21、预测模块22和设置模块23。
其中，获取模块21配置为在目标客户端进入当前直播间的情况下，获取当前直播间各个视频档位的初始视频流属性信息、历史视频流属性信息及对应的历史解码性能信息；
预测模块22配置为将各个视频档位的初始视频流属性信息、历史视频流属性信息和历史解码性能信息输入预先训练的解码性能预测模型，输出各个视频档位的初始视频流属性信息对应的解码性能预测信息，解码性能预测模型基于历史视频流属性信息、历史解码性能信息以及初始视频流属性信息与对应的初始解码性能信息之间的映射关系构建；
设置模块23配置为基于各个视频档位的解码性能预测信息设置目标客户端在当前直播间的初始视频档位。
具体地，历史解码性能信息基于对应历史视频流的解码丢帧数和/或解码速度确定。
初始视频流属性信息包括对应初始视频流的编码类型、解码分辨率和解码帧率，历史视频流属性信息包括对应历史视频流的编码类型、历史解码分辨率和历史解码帧率。
历史视频流属性信息包含目标客户端视频档位最高的设定数量个历史视频流的属性信息。
具体地，解码性能预测信息基于预设定的视频流卡顿指标拟合生成。
视频流卡顿指标包括解码卡顿时长、解码卡顿次数以及对应的影响系数。
具体地，基于各个视频档位的解码性能预测信息设置目标客户端在当前直播间的初始视频档位，包括：
筛除低于设定评分阈值的解码性能预测信息；
根据剩余的解码性能预测信息以及对应视频档位的解码分辨率和解码码率设置目标客户端在当前直播间的初始视频档位。
上述，通过在目标客户端进入当前直播间的情况下，获取当前直播间各个视频档位的初始视频流属性信息、历史视频流属性信息及对应的历史解码性能信息；将各个视频档位的初始视频流属性信息、历史视频流属性信息和历史解码性能信息输入预先训练的解码性能预测模型，输出各个视频档位的初始视频流属性信息对应的解码性能预测信息；基于各个视频档位的解码性能预测信息设置目标客户端在当前直播间的初始视频档位。采用上述技术手段，可以通过预测不同视频档位的初始视频流的解码性能，进而结合解码性能选择当前直播间最合适的初始视频档位，以通过解码性能预测精准设置目标客户端在当前直播间的初始视频档位，避免初始视频档位设置偏高导致解码卡顿和设置偏低导致视频清晰度偏低的情况，使初始档位的选择更贴近用户设备性能，同时符合场景需求，提高用户观看清晰度和流畅度，提升用户的观看体验，有利于提高直播间用户留存率、提高人均观看时长。同时通过精准设置初始视频档位，也可以减少后续视频档位的切换频率，保障视频画质稳定输出。
本申请实施例提供的基于历史解码性能的初始视频档位设置系统可以配置为执行上述实施例提供的基于历史解码性能的初始视频档位设置方法，具备相应的功能和有益效果。
在上述实际上例的基础上，本申请实施例还提供了一种基于历史解码性能的初始视频档位设置设备，参照图5，该基于历史解码性能的初始视频档位设置设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。存储器作为一种计算机可读存储介质，可配置为存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的基于历史解码性能的初始视频档位设置方法对应的程序指令/模块(例如，基于历史解码性能的初始视频档位设置系统中的获取模块、预测模块和设置模块)。通信模块配置为进行数据传输。处理器通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于历史解码性能的初始视频档位设置方法。输入装置可配置为接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置可包括显示屏等显示设备。上述提供的基于历史解码性能的初始视频档位设置设备可配置为执行上述实施例提供的基于历史解码性能的初始视频档位设置方法，具备相应的功能和有益效果。
在上述实施例的基础上，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由计算机处理器执行时配置为执行一种基于历史解码性能的初始视频档位设置方法，存储介质可以是任何的各种类型的存储器设备或存储设备。当然，本申请实施例所提供的一种计算机可读存储介质，其计算机可执行指令不限于如上所述的基于历史解码性能的初始视频档位设置方法，还可以执行本申请任意实施例所提供的基于历史解码性能的初始视频档位设置方法中的相关操作。
在上述实施例的基础上，本申请实施例还提供一种计算机程序产品，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机程序产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备、移动终端或其中的处理器执行本申请各个实施例所述基于历史解码性能的初始视频档位设置方法的全部或部分步骤。

Claims (11)

1.一种基于历史解码性能的初始视频档位设置方法，其特征在于，包括：
在目标客户端进入当前直播间的情况下，获取当前直播间各个视频档位的初始视频流属性信息、历史视频流属性信息及对应的历史解码性能信息；
将各个视频档位的初始视频流属性信息、历史视频流属性信息和历史解码性能信息输入预先训练的解码性能预测模型，输出各个视频档位的初始视频流属性信息对应的解码性能预测信息，所述解码性能预测模型基于历史视频流属性信息、历史解码性能信息以及初始视频流属性信息与对应的初始解码性能信息之间的映射关系构建；
基于各个视频档位的解码性能预测信息设置所述目标客户端在当前直播间的初始视频档位。
2.根据权利要求1所述的基于历史解码性能的初始视频档位设置方法，其特征在于，所述历史解码性能信息基于对应历史视频流的解码丢帧数和/或解码速度确定。
3.根据权利要求1所述的基于历史解码性能的初始视频档位设置方法，其特征在于，所述初始视频流属性信息包括对应初始视频流的编码类型、解码分辨率和解码帧率，所述历史视频流属性信息包括对应历史视频流的编码类型、历史解码分辨率和历史解码帧率。
4.根据权利要求1-3任一所述的基于历史解码性能的初始视频档位设置方法，其特征在于，所述历史视频流属性信息包含所述目标客户端视频档位最高的设定数量个历史视频流的属性信息。
5.根据权利要求1所述的基于历史解码性能的初始视频档位设置方法，其特征在于，所述解码性能预测信息基于预设定的视频流卡顿指标拟合生成。
6.根据权利要求5所述的基于历史解码性能的初始视频档位设置方法，其特征在于，所述视频流卡顿指标包括解码卡顿时长、解码卡顿次数以及对应的影响系数。
7.根据权利要求1所述的基于历史解码性能的初始视频档位设置方法，其特征在于，所述基于各个视频档位的解码性能预测信息设置所述目标客户端在当前直播间的初始视频档位，包括：
筛除低于设定评分阈值的所述解码性能预测信息；
根据剩余的所述解码性能预测信息以及对应视频档位的解码分辨率和解码码率设置所述目标客户端在当前直播间的初始视频档位。
8.一种基于历史解码性能的初始视频档位设置系统，其特征在于，包括：
获取模块，配置为在目标客户端进入当前直播间的情况下，获取当前直播间各个视频档位的初始视频流属性信息、历史视频流属性信息及对应的历史解码性能信息；
预测模块，配置为将各个视频档位的初始视频流属性信息、历史视频流属性信息和历史解码性能信息输入预先训练的解码性能预测模型，输出各个视频档位的初始视频流属性信息对应的解码性能预测信息，所述解码性能预测模型基于历史视频流属性信息、历史解码性能信息以及初始视频流属性信息与对应的初始解码性能信息之间的映射关系构建；
设置模块，配置为基于各个视频档位的解码性能预测信息设置所述目标客户端在当前直播间的初始视频档位。
9.一种基于历史解码性能的初始视频档位设置设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，配置为存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的基于历史解码性能的初始视频档位设置方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由计算机处理器执行时配置为执行如权利要求1-7任一所述的基于历史解码性能的初始视频档位设置方法。
11.一种计算机程序产品，其特征在于，所述计算机程序产品中包含有指令，当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1-7任一所述的基于历史解码性能的初始视频档位设置方法。
CN202311507391.1A 2023-11-13 2023-11-13 基于历史解码性能的初始视频档位设置方法及系统 Pending CN117615171A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311507391.1A CN117615171A (zh) 2023-11-13 2023-11-13 基于历史解码性能的初始视频档位设置方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311507391.1A CN117615171A (zh) 2023-11-13 2023-11-13 基于历史解码性能的初始视频档位设置方法及系统

Publications (1)

Publication Number Publication Date
CN117615171A true CN117615171A (zh) 2024-02-27

Family

ID=89957046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311507391.1A Pending CN117615171A (zh) 2023-11-13 2023-11-13 基于历史解码性能的初始视频档位设置方法及系统

Country Status (1)

Country Link
CN (1) CN117615171A (zh)

Similar Documents

Publication Publication Date Title
US20220232222A1 (en) Video data processing method and apparatus, and storage medium
TWI684358B (zh) 用於基於編碼器提示以演現及預編碼負載估計的系統及方法
EP3637770A1 (en) Code rate adjustment method and device for encoding process
Duanmu et al. A knowledge-driven quality-of-experience model for adaptive streaming videos
Yao et al. Bitrate-based no-reference video quality assessment combining the visual perception of video contents
Tran et al. A novel quality model for HTTP adaptive streaming
Rehman et al. Perceptual experience of time-varying video quality
CN113784118A (zh) 视频质量评估方法及装置、电子设备和存储介质
Pal et al. A No‐Reference Modular Video Quality Prediction Model for H. 265/HEVC and VP9 Codecs on a Mobile Device
EP3522544A1 (en) Estimating video quality of experience
Rao et al. Avqbits—adaptive video quality model based on bitstream information for various video applications
Wang et al. No-reference hybrid video quality assessment based on partial least squares regression
CN116634151A (zh) 视频处理方法、装置、计算机设备、存储介质及程序产品
CN117599412A (zh) 一种基于云游戏业务质量检测的自适应渲染系统及方法
CN115174919B (zh) 一种视频处理方法、装置、设备及介质
CN117615171A (zh) 基于历史解码性能的初始视频档位设置方法及系统
JP4802200B2 (ja) 映像品質推定装置、方法、およびプログラム
Zou et al. Modeling the perceptual quality for viewport-adaptive omnidirectional video streaming considering dynamic quality boundary artifact
Van den Ende et al. Towards content-aware coding: User study
KR101083063B1 (ko) 비디오 체감 품질을 측정하는 방법 및 장치
Wilk et al. The content-aware video adaptation service for mobile devices
JP4740967B2 (ja) 映像品質推定装置、方法、およびプログラム
CN115379248B (zh) 一种视频源流替换方法、系统、设备及存储介质
Changbi et al. Research on video quality evaluation of sparring motion based on BPNN perception
Shi et al. A user-perceived video quality assessment metric using inter-frame redundancy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination