CN114827668B - 基于解码能力的视频档位选择方法、装置及设备 - Google Patents

基于解码能力的视频档位选择方法、装置及设备 Download PDF

Info

Publication number
CN114827668B
CN114827668B CN202210295671.XA CN202210295671A CN114827668B CN 114827668 B CN114827668 B CN 114827668B CN 202210295671 A CN202210295671 A CN 202210295671A CN 114827668 B CN114827668 B CN 114827668B
Authority
CN
China
Prior art keywords
gear
video
decoding
information
decoding capability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210295671.XA
Other languages
English (en)
Other versions
CN114827668A (zh
Inventor
许雅筑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Bigo Technology Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bigo Technology Pte Ltd filed Critical Bigo Technology Pte Ltd
Priority to CN202210295671.XA priority Critical patent/CN114827668B/zh
Publication of CN114827668A publication Critical patent/CN114827668A/zh
Application granted granted Critical
Publication of CN114827668B publication Critical patent/CN114827668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例公开了一种基于解码能力的视频档位选择方法、装置及设备，该方法包括：获取用户设备的硬件信息和解码能力信息；根据所述硬件信息确定第一选择档位，根据所述解码能力信息确定第二选择档位；根据所述第一选择档位和所述第二选择档位确定视频档位选择信息，用于所述用户设备进行视频档位的选择。本方案使得视频档位的选择更加合理，有利于提高用户观看视频的流畅度，提升了用户的观看体验。

Description

基于解码能力的视频档位选择方法、装置及设备
技术领域
本申请实施例涉及视频处理技术领域，尤其涉及一种基于解码能力的视频档位选择方法、装置及设备。
背景技术
为了适应多样的用户需求，用户观看的在线视频一般会提供多种档位可选，如源流、高清、标清、低清等等，档位之间的编码方式、码率、分辨率、帧率等各有不同。为了提高用户在线观看时的体验，一般会提供自动选档的功能，自动为用户选择合适的档位，保证观看的流畅度和清晰度。
相关技术中，自适应选档算法主要分为基于带宽、基于缓冲区大小和二者的混合模式三种。基于带宽的算法，主要选档依据为播放过程中采集、预测的带宽值；基于缓冲区大小的算法，主要选档依据为客户端缓存的数据大小；混合算法则是综合参考带宽值和缓存数据。这些算法的共同特点为，其切换档位时关注的是档位的码率，即自适应选档算法适用于用户网络状况有差异和存在波动的情况，能够为网络差的用户提供流畅的视频，而为网络良好的用户提供更加清晰的视频。然而，该种视频档位选择方式仅适用于涉及网络环境变化的情况，对于其它情形并不适用，需要改进。
发明内容
本申请实施例提供了一种基于解码能力的视频档位选择方法、装置及设备，使得视频档位的选择更加合理，有利于提高用户观看视频的流畅度，提升了用户的观看体验。
第一方面，本申请实施例提供了一种基于解码能力的视频档位选择方法，该方法包括：
获取用户设备的硬件信息和解码能力信息；
根据所述硬件信息确定第一选择档位，根据所述解码能力信息确定第二选择档位；
根据所述第一选择档位和所述第二选择档位确定视频档位选择信息，用于所述用户设备进行视频档位的选择。
第二方面，本申请实施例还提供了一种基于解码能力的视频档位选择装置，包括：
信息获取模块，配置为获取用户设备的硬件信息和解码能力信息；
视频档位确定模块，配置为根据所述硬件信息确定第一选择档位以及根据所述解码能力信息确定第二选择档位，根据所述第一选择档位和所述第二选择档位确定视频档位选择信息。
第三方面，本申请实施例还提供了一种基于解码能力的视频档位选择设备，该设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；所述处理器执行所述计算机程序时，实现如本申请实施例所述的基于解码能力的视频档位选择方法。
第四方面，本申请实施例还提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本申请实施例所述的基于解码能力的视频档位选择方法。
第五方面，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行本申请实施例所述的基于解码能力的视频档位选择方法。
本申请实施例中，通过获取用户设备的硬件信息和解码能力信息，并对应地确定第一选择档位和第二选择档位，最终确定视频档位选择信息，使得用户设备接收到合理的可选择的视频档位，能够排除超过用户设备无法流畅播放的视频档位，有利于提高用户观看在线视频的流畅度，提升用户的观看体验。
附图说明
图1为本申请实施例提供的一种基于解码能力的视频档位选择方法的流程图；
图2为本申请实施例提供的另一种基于解码能力的视频档位选择方法的流程图；
图3为本申请实施例提供的另一种基于解码能力的视频档位选择方法的流程图；
图4为本申请实施例提供的另一种基于解码能力的视频档位选择方法的流程图；
图5为本申请实施例提供的另一种基于解码能力的视频档位选择方法的流程图；
图6为本申请实施例提供的一种基于解码能力的视频档位选择的示意框图；
图7为本申请实施例提供的一种基于解码能力的视频档位选择装置的结构框图；
图8为本申请实施例提供的一种基于解码能力的视频档位选择设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请实施例，而非对本申请实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请实施例相关的部分而非全部结构。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
在相关技术中，在观众观看在线视频或直播时，自适应选档控制器可根据收集到的用户网络条件来调整用户观看的档位清晰度，保证用户能顺利收到视频文件，从而使用户有流畅的观看体验。然而除了带宽等外在网络条件，用户设备的硬件性能也是卡顿生成的原因之一。对于设备性能较差的用户，即使其网络状况良好、及时收到了完整的视频文件，若不能及时将视频文件解码，也会导致播放的过程出现卡顿。因此，本申请提出一种基于解码能力的视频档位选择方法，通过参考用户设备的硬件条件、解码能力，避免接收超过其设备可接受范围的视频档位，有利于提高用户观看的流畅度，提高用户的观看体验。
下面结合附图对本申请实施例作进一步阐述。
图1为本申请实施例提供的一种基于解码能力的视频档位选择方法的流程图，可用于对直播或在线视频进行视频档位选择，该方法可以由涉及视频档位选择的计算设备如服务器、智能终端、笔记本电脑、平板电脑等来执行，即本申请的方法可以在服务器端实现，也可以在终端实现，具体包括如下步骤：
步骤S101、获取用户设备的硬件信息和解码能力信息。
其中，硬件信息为描述用户设备硬件情况的信息，其表征了用户设备的计算处理能力。在一个实施例中，用户设备的硬件信息包括用户设备的CPU(Central ProcessingUnit，中央处理器)型号、CPU核数、内存大小和内存占用大小等设备情况，其中，在以用户设备为执行主体进行硬件信息的获取时，可以是通过预留的硬件信息获取接口或者通过获取硬件设备驱动信息等得到。在以服务器为执行主体时，服务器记录有各个用户设备的硬件信息，可选的，该硬件信息可以是用户设备登录服务器根据登录信息确定出的用户设备的CPU型号、CPU核数、内存大小和内存占用大小等。
其中，用户设备的解码能力信息用于描述用户设备对视频流数据的解码能力，可选的，该解码能力信息可以以解码能力表的形式记录。在解码能力表中记录了用户设备在不同编码类型中不同视频分辨率下的解码能力。
步骤S102、根据硬件信息确定第一选择档位，根据解码能力信息确定第二选择档位。
在一个实施例中，根据硬件信息确定第一选择档位，可以根据硬件信息确定可用的档位，或着根据硬件信息确定禁止的档位。同样地，根据解码能力信息确定第二选择档位，可以根据解码能力信息确定可用的档位，或者根据解码能力信息确定禁止的档位。其中，该第一选择档位和该第二选择档位可均包含多个具体的不同档位，第一选择档位和第二选择档位可以存在某些重合的档位。不同的档位分别对应记录该档位下的码率、分辨率、帧率和编码类型。
步骤S103、根据第一选择档位和第二选择档位确定视频档位选择信息。
在一个实施例中，第一选择档位和第二选择档位均表示为确定可用的档位，则根据第一选择档位和第二选择档位能够确定用户设备可选用的档位，可以是根据第一选择档位将视频档位进行初步筛选，再根据第二选择档位对视频档位进行再次筛选，从而得到满足用户设备能够流畅播放在线视频或直播的视频的档位。
其中，该视频档位选择信息用于用户设备对视频档位进行选择，例如，经过第一选择档位和第二选择档位的筛选，用户可选用档位的视频档位即视频选择信息还包括对应于720p分辨率的第二视频档位、对应于540p分辨率的第三视频档位和对应于360p分辨率的第四视频档位，用户设备如智能终端等可以根据视频档位选择信息在直播界面或视频界面生成用户可选的视频档位，如第二视频档位、第三视频档位和第四视频档位，便于用户对视频档位进行选择。
由上述方案可知，通过获取硬件信息和解码能力信息，根据硬件信息、解码能力信息分别确定第一选择档位和第二选择档位，根据第一选择档位和第二选择档位确定用于用户设备进行选择视频档位的视频档位选择信息，由此使得视频档位的选择更加合理，有利于提高用户观看视频的流畅度，提升了用户的观看体验。
图2为本申请实施例提供的另一种基于解码能力的视频档位选择方法的流程图，给出了一种具体的确定第一选择档位的过程，如图2所示，具体包括：
步骤S201、获取用户设备的硬件信息和解码能力信息。
步骤S202、根据硬件信息以及记录的不同硬件设备阈值确定第一选择档位，根据解码能力信息确定第二选择档位。
在一个实施例中，根据硬件信息确定第一选择档位是，基于记录的不同硬件设备阈值进行确定。可选的，对于硬件设备阈值，该阈值可以记录在服务器上或者记录在设备本地，如当硬件设备阈值记录在服务器，则当用户使用设备观看直播并登入直播间时，用户设备从服务器端拉取硬件设备阈值；如当硬件设备阈值记录在设备本地，可以理解的是，硬件设备阈值可以是用户将观看直播的软件下载至设备本地的过程中，同时将硬件设备阈值下载至本地。用户设备可以根据硬件信息以及设备阈值确定第一选择档位，如根据硬件信息以及设备阈值确定可用的档位或禁止的档位。
例如，硬件信息包括CPU型号、CPU核数、内存大小和内存占用情况等，硬件设备阈值包括CPU核数和内存，对应的阈值分别为双核和4g。当用户设备的CPU核数小于2且内存小于4g，则确定的第一选择档位包括禁止的1080p分辨率及其以上分辨率的视频档位，即用户设备根据第一选择档位禁止1080p分辨率及其以上分辨率的视频档位。
步骤S203、根据第一选择档位和第二选择档位确定视频档位选择信息。
由上述可知，通过设置的硬件设备阈值进行第一选择档位的确定，使得最终确定出的视频档位综合考虑了设备的硬件情况，使得确定出的档位更加合理。
图3为本申请实施例提供的另一种基于解码能力的视频档位选择方法的流程图，给出了一种具体的确定第二视频档位的方法的过程，如图3所示，具体包括：
步骤S301、获取用户设备的硬件信息，根据硬件信息确定第一选择档位。
步骤S302、获取用户设备的实时解码数据，基于实时解码数据对存储的解码能力表进行更新得到解码能力信息。
步骤S303、根据更新后的解码能力信息确定第二选择档位，根据第一选择档位和第二选择档位确定视频档位选择信息。
在一个实施例中，解码能力表存储在用户设备本地，用户设备获取实时解码数据，并对基于实时解码数据对解码能力表进行更新，得到更新后的解码能力信息，从而确定第二选择档位，可以理解的是，用户设备获取的实时解码数据包括实时记录的用户设备解码每帧图像所需的时间，由此可以得到相应的FPS(Frames Per Second，每秒传输帧数)，而且更新后的解码能力表包括有更新的解码能力信息，通过更新后的解码能力信息，用户设备能够对确定可选用的档位或者确定应当禁用的档位。
在一个实施例中，在自适应选档控制器部署在服务器上时，可以在用户登录时如登入直播间或者在线视频页面时将解码能力表发送给服务器，还实时解码数据传送至服务器，在服务器上对解码能力表进行更新，并且服务器定期将更新后的解码能力表发送至用户设备，便于用户设备存档。需要说明的是，服务器可以以一段时间间隔来发送解码能力表，如每次间隔10分钟则发送一次；服务器还可以在用户每次登出直播间或在线视频页面时发送解码能力表，服务器定期发送解码能力表可以根据实际需要进行设置。
在一个实施例中，实时解码数据包括实时记录的在视频分辨率、编码类型和解码类型不变时用户设备解码每帧图像所需的时间，则可以根据上述时间能够得到相应的每秒传输帧数(即帧率)，可以理解的是，在分辨率、编码类型和解码类型不变的视频下，用户解码每帧图像所需的时间被实时记录下，可以取解码一个GOP(Group of picture，画面组)的平均时间作为帧率，GOP以I帧开头，一个GOP的间隔可以理解为两个I帧之间的间隔，其中I帧指的是帧内编码图像帧。示例性的，在720p分辨率以及H264编码类型和解码类型的视频中，两个I帧之间包括30帧图像，即一个GOP包括30帧图像，根据实时记录的解码每帧所需的时间，可以得到解码一个GOP所需的时间，如解码一个GOP所需的时间为2秒，则对应的帧率为15fps。
在一个实施例中，还可以是，取解码多个GOP的平均值作为帧率，示例性的，在720p分辨率以及H264编码类型的视频中，取三个GOP的平均值为帧率，三个GOP包括90帧图像，而三个GOP所需要的时间为6秒，则对应的帧率为15fps。
在一个实施例中，对于解码能力表的更新，根据实时解码数据，解码能力表进行更新，如对解码能力表中的项目进行添加、删除和修改操作中的至少一种操作，且项目的内容包括解码类型、视频分辨率和编码类型。
可选的，实时解码数据包括视频分辨率、编码类型和帧率的信息，而对于解码能力表，其项目的内容可以照解码类型、视频分辨率进行记录，即根据实时解码数据对解码能力表中的项目机型添加、删除和修改中的至少一种操作，其中，解码类型可以由用户端解码方式和视频的编码方式决定，用户端解码方式包括软解和硬解等，视频的编码方式包括H264标准和H265标准等编码方式。
示例性的，在解码能力表的一个项目中，该项目包括H264、720p、15fps，该项目用于表示一用户设备在编码方式为H264标准的情况下，观看分辨率为720p的视频时每秒能够解码15帧。当实时解码数据中包括用户设备在编码方式为H264标准的情况下，观看分辨率为720p的视频时每秒能够解码20帧的信息，则对解码能力表中的项目进行修改，可以想到的是，当实时解码数据中包括了当前解码能力表中尚未保存的信息，则增添一个新的项目。
由上述可知，在进行视频档位的选择时，综合考量用户设备的解码能力，使得最终确定的视频档位更加合理。
图4是本申请实施例提供的另一种基于解码能力的视频档位选择方法的流程图，进一步对第二选择档位的确定进行了优化，如图4所示，具体包括：
步骤S401、获取用户设备的硬件信息和解码能力信息，根据硬件信息确定第一选择档位。
步骤S402、获取设置的帧率缓冲阈值，根据帧率缓冲阈值以及最大解码帧率确定可选视频帧率，根据可选视频帧率确定第二选择档位。
在一个实施例中，解码能力信息记录有最大解码帧率，最大解码帧率为当前视频帧率下的用户设备解码帧率，而帧率缓冲阈值则用于结合最大解码帧率确定可选视频帧率，可以想到的是，根据不同的视频分辨率设置不同的帧率缓冲阈值。
示例性的，对于第二选择档位的确定，可以设置确定条件，如当满足最大解码帧率与帧率缓冲阈值之和小于视频帧率的情况，即可选视频帧率小于视频帧率，禁止该分辨率对应的视频档位，确定可选用的视频档位。例如，对于1080p分辨率、视频帧率为30fps的在线视频，对应的帧率缓冲阈值为10fps，而在该分辨率下的用户设备的最大解码帧率为20fps，则可选视频帧率为30fps，可选视频帧率不小于视频帧率，因此，该视频帧率对应的档位可选。而当帧率缓冲阈值为5fps，则可选视频帧率为25fps，满足确定条件，则该视频帧率对应的档位不可选。因此，通过不断获取不同分辨率下的可选视频帧率，从而对比确定不同的视频档位是否满足要求，进而选出用户设备能够流畅播放的视频档位。
步骤S403、根据第一选择档位和第二选择档位确定视频档位选择信息。
由上述方案可知，本申请通过帧率缓冲阈值以及最大解码帧率确定可选视频帧率，进而确定第二选择档位，能够避免由于视频档位清晰度过低影响用于体验，且能够较好地平衡用户对清晰度和流畅度的需求。
在一个实施例中，在获取设置的帧率缓冲阈值之前，还包括：根据获取到的线上用户观看数据确定帧率缓冲阈值。而线上用户数据包括线上用户观看直播视频时记录的用户设备的平均解码能力数据、直播视频的视频帧率、直播观看时长以及设备卡顿率，而视频分辨率越高，则对应的帧率缓冲阈值越低。
其中，对于线上用户观看数据，用户设备可以从服务器拉取，即线上用户观看数据是由服务器实时记录的，在用户设备实现本申请的方法时，则用户设备通过从服务器端获得。可以通过计算平均解码能力数据中对应的解码帧率和直播视频的视频帧率的差值，根据直播观看时长和/或设备卡顿率，确定对应的差值为帧率缓冲阈值，例如，取对应于直播观看时长最长的差值作为帧率缓冲阈值。示例性的，对于分辨率为720p且帧率为30fps的直播视频，当前有用户A、用户B和用户C在观看，且根据用户A、用户B和用户C的平均解码能力数据，得到对应的解码帧率为28fps、25fps、35fps，用户A的观看时长最长，则对应的差值为2，即帧率缓冲阈值为2。
需要说明的是，由于解码帧率存在差异，对应的，用户的观看时长也会有差异，如解码帧率高于视频帧率时，用户会选择更高的分辨率以及视频帧率的视频档位；如解码帧率低于视频帧率且相差过多，直播视频会有卡顿，用户会选择更低的分辨率以及视频帧率的视频档位。
在一个实施例中，第一选择档位包括第一禁止档位，第二选择档位包括第二禁止档位，根据第一禁止档位和第二禁止档位，确定用户设备播放视频时的禁止档位，其中，不同的视频档位记录有对应档位下的码率值、分辨率值、帧率值和编码类型。需要说明的是，第一禁止档位和第二禁止档位中可以包括一个或多个视频档位。
图5为本申请实施例提供的另一种基于解码能力的视频档位选择方法的流程图，对视频档位选择最终的选择过程进行了进一步优化，引入了对网络状况的参考，如图5所示，具体包括：
步骤S501、获取用户设备的硬件信息和解码能力信息，根据硬件信息确定第一选择档位，根据解码能力信息确定第二选择档位。
步骤S502、根据第一选择档位和第二选择档位确定视频档位选择信息。
步骤S503、获取用户设备当前的网络环境信息，根据网络环境信息对视频档位选择信息进行调整。
在一个实施例中，在确定视频档位选择信息后，还获取用户设备当前的网络环境信息，可以理解的是，网络环境信息包括网络带宽和下载带宽，在确定视频档位选择信息后，根据用户设备的网络带宽和下载带宽来对视频档位选择信息进行调整，如禁用用户设备在当前网络条件下不能流畅播放的视频档位。示例性的，对于分辨率为1080p的视频档位，下载带宽为5Mbps才能确保流畅播放，对于分辨率为720p的视频档位，下载带宽为4Mbps才能确保流畅播放，而用户设备当前的下载带宽为4Mbps，则对应地禁止分辨率为1080p的视频档位，选取720p及以下分辨率的视频档位，从而实现对视频档位选择信息的调整。
需要说明的是，用户设备获取到视频档位选择信息，能够自动跳转至适应于用户设备的硬件和解码能力的视频档位，从而流畅地观看在线视频，提升用户的观看体验，值得注意的是，对于使得用户设备不能流畅播放的视频档位，用户可以根据自身需要进行选择。
示例性的，图6为本申请实施例提供的一种基于解码能力的视频档位选择的示意框图，如图所示，包括优化控制器和自适应选档控制器，硬件信息和解码能力表存储在优化控制器中，其中，更新后的解码能力表替换优化控制器内原有的解码能力表，优化控制器可以根据硬件信息与硬件设备阈值，通过对比硬件信息和硬件设备阈值，如以硬件信息中包括CPU核数为例，则硬件设备阈值包括CPU核数为2，当用户设备的CPU核数小于2，则禁止1080p及以上的视频档位，第一选择档位可以包括禁止的1080p及其以上的视频档位；第一选择档位还可以包括1080p以下的视频档位(其中不包括1080p对应的档位)。
而对于解码能力表，可以按照直播视频或者在线视频的编码类型进行分类，例如，直播视频或者在线视频的编码类型为H264标准和H265标准，则按照上述的类型分类记录用户设备在不同分辨率下的解码帧率，示例性的，可以采用H264、720p、15fps，用于记录：对于H264编码类型的视频，用户设备在720p分辨率的视频档位下的解码帧率为15fps。优化控制器可以根据上述信息确定第二选择档位。
优化控制器根据第一选择档位和第二选择档位确定视频档位选择信息，自适应选档控制器根据视频档位选择信息和网络环境信息，确定用户能够流畅观看的视频档位，如3M，720p，30fps，H265，用于表示：用户设备可选择的在3Mbps下载带宽下能流畅播放的视频档位，该档位的编码类型为H265标准，分辨率为720p，视频帧率为30fps。
需要说明的是，优化控制器和自适应选档控制器可以布置在终端或服务器，当优化控制器位于终端时，则将解码能力表发送至服务器，还需要获取更新后的解码能力表，并存储在优化控制器上；当优化控制器位于服务器时，需要获取来自终端的解码能力表，而对于更新后的解码能力表，需要定时发送至终端。
图7为本申请实施例提供的一种基于解码能力的视频档位选择装置的结构框图，该装置用于执行上述实施例提供的基于解码能力的视频档位选择方法，具备执行方法对应的功能模块和有益效果。如图7所示，该装置具体包括：信息获取模块101和视频档位确定模块102，其中，信息获取模块101，配置为获取用户设备的硬件信息和解码能力信息；视频档位确定模块102配置为根据硬件信息确定第一选择档位以及根据解码能力信息确定第二选择档位。
由上述方案可知，通过获取用户设备的硬件信息和解码能力信息，并对应地确定第一选择档位和第二选择档位，最终确定视频档位选择信息，使得用户设备接收到可流畅观看的视频档位，排除了超过用户设备可接收范围的视频档位，有利于提高用户观看在线视频的流畅度，提升用户的观看体验。
在一个实施例中，视频档位确定模块102配置为：
根据硬件信息以及记录的不同硬件设备阈值确定第一选择档位。
在一个实施例中，信息获取模块101配置为：
获取用户设备的实时解码数据。视频档位确定模块102配置为基于实时解码数据对存储的解码能力表进行更新，得到解码能力信息；根据更新后的解码能力信息确定第二选择档位。
在一个实施例中，信息获取模块101配置为：
实时解码数据包括实时记录的在视频分辨率、编码类型和解码类型不变时用户设备解码每帧图像所需的时间。
在一个实施例中，视频档位确定模块102配置为：
基于实时解码数据对存储的解码能力表进行更新，包括：根据实时解码数据，对解码能力表中的项目进行添加、删除和修改操作中的至少一种操作，项目的内容包括解码类型、视频分辨率和编码类型。
在一个实施例中，视频档位确定模块102配置为：
根据解码能力信息确定第二选择档位，包括：获取设置的帧率缓冲阈值，根据帧率缓冲阈值以及最大解码帧率确定可选视频帧率；根据可选视频帧率确定第二选择档位。
在一个实施例中，视频档位确定模块102配置为：
在获取设置的帧率缓冲阈值之前，还包括：根据获取到的线上用户观看数据确定帧率缓冲阈值，线上用户观看数据包括线上用户观看直播视频时记录的用户设备的平均解码能力数据、直播视频的视频帧率、直播观看时长以及设备卡顿率，其中，视频分辨率越高对应设置的帧率缓冲阈值越低。
在一个实施例中，视频档位确定模块102配置为：
根据第一禁止档位和第二禁止档位确定用户设备播放视频时的禁止档位，其中，不同的视频档位记录有对应档位下的码率值、分辨率值、帧率值和编码类型。
在一个实施例中，视频档位确定模块102配置为：
获取用户设备当前的网络环境信息；根据网络环境信息对视频档位选择信息进行调整。
图8为本申请实施例提供的一种基于解码能力的视频档位选择设备的结构示意图，如图8所示，该设备包括处理器201、存储器202、信息收发装置203和输出装置204；设备中处理器201的数量可以是一个或多个，图中以一个处理器201为例；设备中的处理器201、存储器202和信息收发装置203可以通过总线或其他方式连接，图中以通过总线连接为例。存储器202作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的基于解码能力的视频档位选择方法对应的程序指令/模块。处理器201通过运行存储在存储器202中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于解码能力的视频档位选择方法。信息收发装置203，用于接收用于输入的数字或字符信息，以及发送处理后的输出信息。输出装置204可以包括显示屏等显示设备。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种上述的基于解码能力的视频档位选择方法，具体包括：
获取用户设备的硬件信息和解码能力信息；根据硬件信息确定第一选择档位，根据解码能力信息确定第二选择档位；根据第一选择档位和第二选择档位确定视频档位选择信息，用于用户设备进行视频档位的选择。
值得注意的是，上述视频档位选择装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请实施例的保护范围。
在一些可能的实施方式中，本申请提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行本申请实施例所记载的基于解码能力的视频档位选择方法。所述程序产品可以采用一个或多个可读介质的任意组合实现。

Claims (12)

1.基于解码能力的视频档位选择方法，其特征在于，包括：
获取用户设备的硬件信息和解码能力信息；
根据所述硬件信息确定第一选择档位，根据所述解码能力信息确定第二选择档位；
根据所述第一选择档位和所述第二选择档位确定视频档位选择信息，用于所述用户设备进行视频档位的选择，所述第一选择档位和所述第二选择档位包括重合的档位，每个档位包括对应的码率值、分辨率值、帧率值和编码类型。
2.根据权利要求1所述的基于解码能力的视频档位选择方法，其特征在于，所述根据所述硬件信息确定第一选择档位，包括：
根据所述硬件信息以及记录的不同硬件设备阈值确定第一选择档位。
3.根据权利要求1所述的基于解码能力的视频档位选择方法，其特征在于，所述根据所述解码能力信息确定第二选择档位，包括：
获取所述用户设备的实时解码数据，基于所述实时解码数据对存储的解码能力表进行更新，得到解码能力信息；
根据更新后的解码能力信息确定第二选择档位。
4.根据权利要求3所述的基于解码能力的视频档位选择方法，其特征在于，所述实时解码数据包括：实时记录的在视频分辨率、编码类型和解码类型不变时所述用户设备解码每帧图像所需的时间。
5.根据权利要求3所述的基于解码能力的视频档位选择方法，其特征在于，所述基于所述实时解码数据对存储的解码能力表进行更新，包括：
根据所述实时解码数据，对所述解码能力表中的项目进行添加、删除和修改操作中的至少一种操作，所述项目的内容包括解码类型、视频分辨率和编码类型。
6.根据权利要求1所述的基于解码能力的视频档位选择方法，其特征在于，所述解码能力信息包括最大解码帧率，所述根据所述解码能力信息确定第二选择档位，包括：
获取设置的帧率缓冲阈值，根据所述帧率缓冲阈值以及所述最大解码帧率确定可选视频帧率；
根据所述可选视频帧率确定第二选择档位。
7.根据权利要求6所述的基于解码能力的视频档位选择方法，其特征在于，在获取设置的帧率缓冲阈值之前，还包括：
根据获取到的线上用户观看数据确定帧率缓冲阈值，所述线上用户观看数据包括线上用户观看直播视频时记录的用户设备的平均解码能力数据、直播视频的视频帧率、直播观看时长以及设备卡顿率，其中，视频分辨率越高对应设置的帧率缓冲阈值越低。
8.根据权利要求1-7中任一项所述的基于解码能力的视频档位选择方法，其特征在于，所述第一选择档位包括第一禁止档位，所述第二选择档位包括第二禁止档位，所述根据所述第一选择档位和所述第二选择档位确定视频档位选择信息，包括：
根据所述第一禁止档位和所述第二禁止档位确定所述用户设备播放视频时的禁止档位。
9.根据权利要求1-7中任一项所述的基于解码能力的视频档位选择方法，其特征在于，在根据所述第一选择档位和所述第二选择档位确定视频档位选择信息之后，还包括：
获取所述用户设备当前的网络环境信息；
根据所述网络环境信息对所述视频档位选择信息进行调整。
10.一种基于解码能力的视频档位选择装置，其特征在于，包括：
信息获取模块，配置为获取用户设备的硬件信息和解码能力信息；
视频档位确定模块，配置为根据所述硬件信息确定第一选择档位以及根据所述解码能力信息确定第二选择档位，根据所述第一选择档位和所述第二选择档位确定视频档位选择信息，所述第一选择档位和所述第二选择档位包括重合的档位，每个档位包括对应的码率值、分辨率值、帧率值和编码类型。
11.一种基于解码能力的视频档位选择设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1-9任一项所述的基于解码能力的视频档位选择方法。
12.一种存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-9任一项所述的基于解码能力的视频档位选择方法。
CN202210295671.XA 2022-03-23 2022-03-23 基于解码能力的视频档位选择方法、装置及设备 Active CN114827668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210295671.XA CN114827668B (zh) 2022-03-23 2022-03-23 基于解码能力的视频档位选择方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210295671.XA CN114827668B (zh) 2022-03-23 2022-03-23 基于解码能力的视频档位选择方法、装置及设备

Publications (2)

Publication Number Publication Date
CN114827668A CN114827668A (zh) 2022-07-29
CN114827668B true CN114827668B (zh) 2024-02-13

Family

ID=82530118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210295671.XA Active CN114827668B (zh) 2022-03-23 2022-03-23 基于解码能力的视频档位选择方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114827668B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534434A (zh) * 2009-04-15 2009-09-16 深圳市融创天下科技发展有限公司 一种视频无线传输中的码流动态调节方法
CN102802138A (zh) * 2011-05-25 2012-11-28 腾讯科技（深圳）有限公司 一种视频文件的处理方法和系统、视频代理系统
CN103533342A (zh) * 2013-09-26 2014-01-22 上海华为技术有限公司 一种移动视频质量检测方法和装置
CN103702061A (zh) * 2013-12-23 2014-04-02 上海网达软件股份有限公司 一种智能终端视频通话分辨率自动调节方法
CN107454445A (zh) * 2016-05-31 2017-12-08 北京风行在线技术有限公司 一种用于进行视频播放调度的方法和装置
CN110868625A (zh) * 2019-11-22 2020-03-06 北京金山云网络技术有限公司 一种视频播放方法、装置、电子设备及存储介质
CN110881136A (zh) * 2019-11-14 2020-03-13 腾讯科技（深圳）有限公司 视频帧率控制方法、装置、计算机设备及存储介质
CN113542795A (zh) * 2020-04-21 2021-10-22 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN113891155A (zh) * 2021-09-29 2022-01-04 百果园技术(新加坡)有限公司 视频播放档位确定方法、视频播放方法及相关装置
CN114040230A (zh) * 2021-11-08 2022-02-11 北京达佳互联信息技术有限公司 视频码率确定方法、装置、电子设备及其存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971416B2 (en) * 2011-05-05 2015-03-03 Vixs Systems, Inc Video decoder with vector processor and methods for use therewith
US10051202B2 (en) * 2015-02-24 2018-08-14 Newtek, Inc. Method and apparatus for adaptively mixing video source signals

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534434A (zh) * 2009-04-15 2009-09-16 深圳市融创天下科技发展有限公司 一种视频无线传输中的码流动态调节方法
CN102802138A (zh) * 2011-05-25 2012-11-28 腾讯科技（深圳）有限公司 一种视频文件的处理方法和系统、视频代理系统
CN103533342A (zh) * 2013-09-26 2014-01-22 上海华为技术有限公司 一种移动视频质量检测方法和装置
CN103702061A (zh) * 2013-12-23 2014-04-02 上海网达软件股份有限公司 一种智能终端视频通话分辨率自动调节方法
CN107454445A (zh) * 2016-05-31 2017-12-08 北京风行在线技术有限公司 一种用于进行视频播放调度的方法和装置
CN110881136A (zh) * 2019-11-14 2020-03-13 腾讯科技（深圳）有限公司 视频帧率控制方法、装置、计算机设备及存储介质
CN110868625A (zh) * 2019-11-22 2020-03-06 北京金山云网络技术有限公司 一种视频播放方法、装置、电子设备及存储介质
CN113542795A (zh) * 2020-04-21 2021-10-22 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN113891155A (zh) * 2021-09-29 2022-01-04 百果园技术(新加坡)有限公司 视频播放档位确定方法、视频播放方法及相关装置
CN114040230A (zh) * 2021-11-08 2022-02-11 北京达佳互联信息技术有限公司 视频码率确定方法、装置、电子设备及其存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deploying Fused Sharable Video Interaction Channels in Mobile Cloud;X. Wang et al.;《GLOBECOM 2020 - 2020 IEEE Global Communications Conference》;第1-6页 *
智能骑行台软件训练系统的设计与开发;邱怀宇;《中国优秀硕士学位论文全文数据库信息科技辑》(2017年第06期);全文 *

Also Published As

Publication number Publication date
CN114827668A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
US10250664B2 (en) Placeshifting live encoded video faster than real time
US8831108B2 (en) Low latency rate control system and method
US7925097B2 (en) Image display method, image coding apparatus, and image decoding apparatus
US20080205389A1 (en) Selection of transrate and transcode processes by host computer
US8510763B2 (en) Changing streaming media quality level based on current device resource usage
US10199074B2 (en) Techniques for selecting frames for decode in media player
CN110662114B (zh) 视频处理方法、装置、电子设备及存储介质
JP6463041B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5549681B2 (ja) 動画像符号化データの表示方法、装置及び通信システム
US20180077385A1 (en) Data, multimedia & video transmission updating system
JP2002524982A (ja) 情報分散システムの可変ビットレ−ト情報を処理する方法および装置
US10219038B2 (en) Handling disruption in content streams received at a player from a content retransmitter
MX2013004481A (es) Ajuste de configuracion de codigo dinamico.
EP3322189B1 (en) Method and system for controlling video transcoding
CN111182300B (zh) 编码参数的确定方法、装置、设备及存储介质
JP2011019068A (ja) 品質制御装置、品質制御システム、品質制御方法およびプログラム
CN110956683A (zh) 信息处理系统、终端装置及计算机可读介质
CN110012315A (zh) 一种视频播放方法、装置及电子设备
JP2008109434A (ja) ストリームデータ再生システム、ストリームデータ再生システム用送信装置、ストリームデータ再生システム用受信装置及びストリームデータ再生システム用プログラム
CN114827668B (zh) 基于解码能力的视频档位选择方法、装置及设备
JP4586328B2 (ja) 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
JP2011192229A (ja) サーバ装置および情報処理方法
US9467691B2 (en) Video system for displaying image data, method and computer program
CN116962613A (zh) 数据传输方法及装置、计算机设备、存储介质
US20160065977A1 (en) Image processing apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant