CN115379291A - 一种码表更新方法、装置、设备及存储介质 - Google Patents

一种码表更新方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115379291A
CN115379291A CN202210855856.1A CN202210855856A CN115379291A CN 115379291 A CN115379291 A CN 115379291A CN 202210855856 A CN202210855856 A CN 202210855856A CN 115379291 A CN115379291 A CN 115379291A
Authority
CN
China
Prior art keywords
video
code
code table
code rate
preference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210855856.1A
Other languages
English (en)
Other versions
CN115379291B (zh
Inventor
王帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Bigo Technology Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bigo Technology Pte Ltd filed Critical Bigo Technology Pte Ltd
Priority to CN202210855856.1A priority Critical patent/CN115379291B/zh
Publication of CN115379291A publication Critical patent/CN115379291A/zh
Priority to PCT/CN2023/106919 priority patent/WO2024017106A1/zh
Application granted granted Critical
Publication of CN115379291B publication Critical patent/CN115379291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例提供了一种码表更新方法、装置、设备及存储介质。本申请实施例提供的技术方案通过将源流视频数据输入到偏好感知模型中，由偏好感知模型对源流视频数据进行分析得到视频质量分布表，可根据视频质量分布表中记录的不同第二视频码率和第二视频分辨率的组合对应的预测偏好概率，对码表中记录的不同视频档位的第一视频码率和第一视频分辨率的组合进行更新，得到码率和分辨率的组合更适配当前源流视频数据的码表，提高码表确定的灵活性，有效保证用户视频播放体验。

Description

一种码表更新方法、装置、设备及存储介质
技术领域
本申请实施例涉及视频处理技术领域，尤其涉及一种码表更新方法、装置、设备及存储介质。
背景技术
随着信息技术的飞速发展，直播、点播、短视频等视频应用已经深入大众的生活。由于不同的视频源可能采用不同的编码标准，而视频服务商的用户群体又非常庞大，不同的用户拥有不同的终端(例如手机、机顶盒等)处理能力以及不同的网络带宽状况，因此视频服务厂商往往会对视频源进行转码以满足不同用户群体的需求。
视频转码是指将已经压缩编码的视频流按照另一种(或多种)编码格式重新压缩的过程，转码会涉及视频分辨率、码率、帧率、帧结构等参数的改变，使得视频能够满足不同用户群体的要求。目前传统的视频转码通常采用“一转多”的方式，即按照一套固定的码表将源视频转码为一系列不同码率、分辨率的视频，然后根据用户的终端设备和网络情况下发对应档位的视频。固定码表能够保证大多数视频内容在码率受限的情况下获得较好的质量，但是固定码表方案的灵活性较低，容易导致码率和分辨率不适配，影响用户视频播放体验的情况。
发明内容
本申请实施例提供一种码表更新方法、装置、设备及存储介质，以解决现有技术中固定码表方案的灵活性较低，导致码率和分辨率不适配，影响用户视频播放体验的技术问题，提高码表确定的灵活性，提高用户视频播放体验。
在第一方面，本申请实施例提供了一种码表更新方法，包括：
获取源流视频数据；
将所述源流视频数据输入至训练好的偏好感知模型，由所述偏好感知模型对所述源流视频数据进行分析并输出视频质量分布表，所述视频质量分布表中记录有不同第二视频码率和第二视频分辨率的组合对应的预测偏好概率；
基于所述视频质量分布表更新码表，所述码表记录有不同视频档位的第一视频码率和第一视频分辨率的组合。
在第二方面，本申请实施例提供了一种码表更新装置，包括数据获取模块、数据分析模块和码表更新模块，其中：
所述数据获取模块，配置为获取源流视频数据；
所述数据分析模块，配置为将所述源流视频数据输入至训练好的偏好感知模型，由所述偏好感知模型对所述源流视频数据进行分析并输出视频质量分布表，所述视频质量分布表中记录有不同第二视频码率和第二视频分辨率的组合对应的预测偏好概率；
所述码表更新模块，配置为基于所述视频质量分布表更新码表，码表记录有不同视频档位的第一视频码率和第一视频分辨率的组合。
在第三方面，本申请实施例提供了一种码表更新设备，包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的码表更新方法。
在第四方面，本申请实施例提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的码表更新方法。
在第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，设备的至少一个处理器从计算机可读存储介质读取并执行计算机程序，使得设备执行如第一方面所述的码表更新方法。
本申请实施例通过将源流视频数据输入到偏好感知模型中，由偏好感知模型对源流视频数据进行分析得到视频质量分布表，可根据视频质量分布表中记录的不同第二视频码率和第二视频分辨率的组合对应的预测偏好概率，对码表中记录的不同视频档位的第一视频码率和第一视频分辨率的组合进行更新，得到码率和分辨率的组合更适配当前源流视频数据的码表，提高码表确定的灵活性，有效保证用户视频播放体验。
附图说明
图1是本申请实施例提供的一种码表更新方法的流程图；
图2是本申请实施例提供的一种残差结构示意图；
图3是本申请实施例提供的一种偏好感知模型的网络结构示意图；
图4是本申请实施例提供的另一种码表更新方法的流程图；
图5是本申请实施例提供的一种码率行确定流程示意图；
图6是本申请实施例提供的一种码表更新装置的结构示意图；
图7是本申请实施例提供的一种码表更新设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时上述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。上述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1给出了本申请实施例提供的一种码表更新方法的流程图，本申请实施例提供的码表更新方法可以由码表更新装置来执行，该码表更新装置可以通过硬件和/或软件的方式实现，并集成在码表更新设备(例如编码服务器)中。
下述以码表更新装置执行码表更新方法为例进行描述。参考图1，该码表更新方法包括：
S101：获取源流视频数据。
其中，源流视频数据为转码前的视频数据，在按照码表对源流视频数据进行视频转码(Video Transcoding)后将得到多个视频档位(不同的视频档位对应不同的视频码率和视频分辨率的组合)的转码视频数据。其中。原始的码表可由编解码服务器(CS，codecserver)根据用户所在的区域进行下发得到。
视频转码可理解为将已经压缩编码的视频流按照另一种(或多种)编码格式重新压缩的过程，例如将H.264格式的码流转码为HEVC格式。视频转码还涉及视频码率和视频分辨率等参数的改变，使得视频能够满足不同的视频播放要求。例如降低源流视频的视频分辨率，将高清视频转码为低清视频，以适应低端手机的解码能力，或者是降低源流视频的码率，减小视频流的体积，以适应网络带宽受限的传输场景。
在相关技术中，对源流视频数据进行视频转码是基于固定的码表进行的，即将源流视频数据按照码表中固定的码率和分辨率的组合将源流视频转码成多个固定视频档位的转码视频数据，然后根据用户的终端设备和网络情况来决定分发给用户的视频档位。固定码表往往是由开发人员凭借经验制定的，可保证大多数视频内容在码率受限的情况下获得较好的视频质量。但是固定码表受应用场景的限制较大，基于固定码表转码得到的视频数据并不能满足不同用户的视频观看需求。例如对于带有严重颗粒噪声的高清视频，使用较高的码率(例如5800k)转码得到的视频依然会存在编码块效应，并不能实现较好的观看体验。而对于简单的视频(例如卡通动画)，不需要较高的码率即可编码一个质量极高的视频(例如1080P的视频)了，而是用较高的码率会造成较大的码率浪费。在相关技术中，还存在通过穷举的方法获取一系列既定分辨率下的率失真曲线(RD曲线)，通过多个率失真曲线的包络线得到最佳码表的per-title编码方案，但是这种编码方案对于实时性要求高的服务(例如直播转码)来说，由于高实时性要求的服务对时效要求较高，无法使用穷举法得到码表，可操作性差，并且这种编码方案使用的是峰值信噪比(PSNR)作为衡量视频质量的指标，然而峰值信噪比并不能准确反映用户的主观质量感受，难以保证用户的视频观看体验。
为了解决上述技术问题，本方案提供视频内容相关的偏好感知模型，对码表进行动态更新，减少了固定码表方案下固定视频码率和视频分辨率的模式，更符合视频内容和用户感受，保证用户视频观看体验。同时，使用深度学习的偏好感知模型来对不同视频码率下的最优视频分辨率进行预测，可以实时更新码表，不需要使用穷举法进行多次编码，可操作性更高。并且基于用户的主观视频质量感受预测对应视频内容下不同视频码率对视频分辨率的偏好，码表的更新更符合用户的实际观看体验。
示例性的，编解码服务器将初始的码表提供给视频服务器VS(video server)，转码服务器中的码表更新装置从视频服务器获取码表，并按照码表实时对终端设备(例如视频直播场景中的主播端)提供的源流视频数据进行视频转码得到多个视频档位(例如超清、高清、全高清)的转码视频数据。码表更新装置按照设定周期获取源流视频数据(满足分辨率要求的源流视频数据，例如达到720p的源流视频数据)，获取的源流视频数据将提供给偏好感知模型进行分析以确定各个视频档位最优的视频分辨率。本方案按照设定周期获取源流视频数据进行码表的更新，保证在高实时性要求场景下，在用户切换场景(例如视频直播切换场景)时能及时动态更新码表，保证用户的观看体验。
S102：将源流视频数据输入至训练好的偏好感知模型，由偏好感知模型对源流视频数据进行分析并输出视频质量分布表，视频质量分布表中记录有不同第二视频码率和第二视频分辨率的组合对应的预测偏好概率。
本方案提供的偏好感知模型用于对输入的视频数据进行分析并输出对应的视频质量分布表，视频质量分布表中记录有不同第二视频码率和第二视频分辨率的组合对应的预测偏好概率，其中预测偏好概率可理解为用户对输入的视频数据在不同视频码率和视频分辨率的组合下的偏好概率的预测值。
偏好感知模型可通过卷积神经网络提取视频特征，并通过收集好的样本数据(例如不同用户在不同视频内容下，对不同视频码率和视频分辨率的组合的转码视频的偏好概率)对偏好感知模型进行训练，并将训练好的偏好感知模型配置在码表更新装置中。
示例性的，在按设定周期获取源流视频数据后，将源流视频数据输入到训练好的偏好感知模型中。偏好感知模型在接收到源流视频数据后，对源流视频数据进行数据分析并输出视频质量分布表，该视频质量分布表反映了当前内容类型的源流视频数据中，用户对不同第二视频码率和第二视频分辨率的组合对应的偏好概率的预测值。
在一个可能的实施例中，本方案提供的偏好感知模型基于不同内容类型的样本视频数据对应的感知数据集进行训练得到，即以感知数据集中的样本视频数据为输入，对应的视频质量分布(样本偏好概率分布)作为输出对偏好感知模型进行训练。其中感知数据集基于人眼对不同内容类型的视频在分辨率维度的偏好程度的分布律来构建，并且感知数据集记录有对应样本视频数据在不同第三视频码率和第三视频分辨率的组合对应的样本偏好概率。样本视频数据的内容类型可以是室内直播、室外直播、游戏直播、录屏文字、动画、录屏文字、无意义视频(例如静止场景、色调单一、缺乏细节的视频)等。
示例性的，定义一系列视频码率梯度B和视频分辨率梯度R，即B＝{B0,B1,…,BM}，R＝{R0,R1,…,RN}。获取多个内容类型的视频源集V(例如直播内容视频源)，对视频源集V中的每一个视频源，采用视频码率Bi∈B，视频分辨率Rj∈R的编码参数进行视频转码，遍历所有可能的参数组{Bi,Rj}得到转码视频集VT。并让多个测试用户(例如普通视频用户、非专业人士)基于刺激-比较法(SCACJ，Stimulus Comparison Adjectival CategoricalJudgement)对转码视频集VT中的转码视频进行主观质量评价，让测试用户从每个参数组{Bi,R0～N}中挑选质量最好的一个(或多个)转码视频，并记录其对应的视频分辨率。示例性的，在第三视频码率梯度B＝{200kbps,300kbps,…,1800kbps}，第三视频分辨率梯度为R＝{360p,480p,540p,720p}情况下，样本偏好概率分布如下表所示：
Figure BDA0003754091070000061
最后汇总所有测试用户的评价结果，计算特定视频码率Bi下各个视频分辨率被选择的偏好频率
Figure BDA0003754091070000062
从而确定测试用户对该组视频源的主观质量感知分布。其中偏好频率越大(越接近1)，就代表测试用户越偏好该视频分辨率的转码视频。因此对于任意的视频源Vk∈V，最终感知数据集中视频质量分布(样本偏好概率分布)的标签为
Figure BDA0003754091070000063
可以理解的是，对于不同内容类型的转码视频，用户在不同码率下对不同分辨率的主观感受也是不同的。例如对于室内直播，随着视频码率由低到高，用户的偏好的视频档位也从低清档变为高清档；对于无意义直播，用户在多种视频码率下对视频档位的偏好并不明显；而对于有大量文字的录屏直播，用户更偏向于高清档的视频档位。
在一个可能的实施例中，本方案提供的偏好感知模型基于残差结构进行搭建得到，通过残差结构可提取视频数据更深层次的特征，对不同第三视频码率和第三视频分辨率的组合下的偏好概率的预测更准确。并且本方案提供的偏好感知模型的全连接层按照设定尺寸将样本视频数据的视频特征向量进行映射，设定尺寸基于样本视频数据在不同第三视频码率和第三视频分辨率的组合对应的分布表尺寸进行确定。如图2提供的一种残差结构示意图所示，残差结构在多个卷积层堆叠结构的基础上，采用“短路连接”的方式，将输入和输出进行求和，使得偏好感知模型在训练过程中的网络学习的是视频数据的残差特征，偏好感知模型的视频特征学习相比于直接学习视频数据的原始特征更加容易，提高偏好感知模型的训练效率。如图3提供的一种偏好感知模型的网络结构示意图所示，偏好感知模型对于输入的一系列样本视频数据，先经过一个卷积层(包括卷积函数conv+批量归一化函数bn+激活函数relu)挖掘样本视频数据每个样本视频帧(可按照设定时间间隔从样本视频数据中抽取进行特征提取的样本视频数帧)的浅层特征，并通过最大池化层(max pool)进行池化操作。然后经过若干个堆叠的残差结构(残差结构0～N)，提取样本视频帧更深层次的特征，经过平均池化层(avg pool)进行池化操作后得到512维的特征向量。至此，偏好感知模型的卷积神经网络提取的是视频二维空间上的语义特征，为了进一步挖掘视频时间域的特征，特征向量会在均值计算层(mean by frame)中进行在帧维度上的平均值计算，计算得到的均值将作为样本视频数据对应的整个视频片段的特征向量。最终，特征向量会经过全连接层(FC层)映射为长度为(M+1)×(N+1)的向量，恰好对应(M+1)种第三视频码率和(N+1)种第三视频分辨率的组合，对特征向量进行重新排列和映射操作(softmax操作)后即得到预测的视频质量分布表。
在一个可能的实施例中，本方案在对偏好感知模型进行训练时，偏好感知模型利用KL散度损失函数作为模型损失函数，并基于随机梯度下降算法对偏好感知模型进行优化。与通用的分类网络使用交叉熵作为损失函数相比，本方案采用KL散度来衡量预测分布和真实分布之间的差异，偏好感知模型对视频质量分布表的预测更接近真实值。例如，假设第三视频码率Bi下偏好感知模型网络预测的视频质量分布QBi＝{q0,q1,…,qN}，真实的视频质量分布PBi＝{p0,p1,…,pN}，则KL散度为：
Figure BDA0003754091070000081
对应的，偏好感知模型的总损失为：
Figure BDA0003754091070000082
其中qi为第三视频码率Bi对应的第i个第三视频分辨率对应的预测偏好概率，pi为真实的视频码率对应的第i个视频分辨率对应的真实偏好概率。在偏好感知模型的总损失在设定的损失阈值时，认为偏好感知模型训练完成，并将偏好感知模型配置到码表更新装置中。
S103：基于视频质量分布表更新码表，码表记录有不同视频档位的第一视频码率和第一视频分辨率的组合。
示例性的，在确定源流视频数据对应的视频质量分布表后，根据视频质量分布表更新码表，以对码表中记录的不同视频档位的第一视频码率和第一视频分辨率的组合进行更新。
在一个可能的实施例中，在更新码表后，若码表中第一视频码率和第一视频分辨率的组合与之前码表中的第一视频码率和第一视频分辨率的组合发生了变化，则重启转码服务器中的编码器，并利用更新后的码表进行视频转码。即由偏好感知模型预测出各视频档位对应视频码率的最优视频分辨率，如果该视频分辨率与原码表中的第一视频分辨率不同，则替换掉原码表中第一视频码率对应的第一视频分辨率，重启编码器并采用新的第一视频分辨率进行转码；否则仍采用原码表并返回，等候下一次获取源流视频数据并由偏好感知模型输出视频质量分布表，再次判断是否需要更新码表。
上述，通过将源流视频数据输入到偏好感知模型中，由偏好感知模型对源流视频数据进行分析得到视频质量分布表，可根据视频质量分布表中记录的不同第二视频码率和第二视频分辨率的组合对应的预测偏好概率，对码表中记录的不同视频档位的第一视频码率和第一视频分辨率的组合进行更新，得到码率和分辨率的组合更适配当前源流视频数据的码表，提高码表确定的灵活性，有效保证用户视频播放体验。同时，通过不同内容类型的样本视频数据对应的感知数据集对偏好感知模型进行训练，训练得到内容自适应的偏好感知模型，可灵活地对不同的视频内容输出对应的视频质量分布表，准确预测用户对不同内容类型的视频的主观感受，码表的更新更加贴合用户的实际体验。
在上述实施例的基础上，图4给出了本申请实施例提供的另一种码表更新方法的流程图，该码表更新方法是对上述码表更新方法的具体化。参考图4，该码表更新方法包括：
S201：获取源流视频数据。
S202：将源流视频数据输入至训练好的偏好感知模型，由偏好感知模型对源流视频数据进行分析并输出视频质量分布表，视频质量分布表中记录有不同第二视频码率和第二视频分辨率的组合对应的预测偏好概率。
S203：遍历码表中各个视频档位，在视频质量分布表中确定与码表中各个视频档位对应的码率行，码率行包括在第二视频码率下的不同第二视频分辨率下对应的预测偏好概率。
其中，本方案提供的码表记录有不同视频档位的第一视频码率和第一视频分辨率的组合。示例性的，在获取偏好感知模型输出的视频质量分布表后，遍历当前的码表中的各个视频档位，并在上述视频质量分布表中确定当前的码表中的各个视频档位中的第一码率所对应的码率行。
其中码率行记录有在视频质量分布表中，对应第二视频码率下的不同第二视频分辨率下对应的预测偏好概率，并且在同一码率行的所有第二视频分辨率下对应的预测偏好概率的和为设定值(例如1或100％)。
在一个可能的实施例中，与码表中各个视频档位对应的码率行的确定可以是确定码表中与第一视频码率一致的第二视频码率，或者与与第一视频码率最接近的第二视频码率。基于此，如图5提供的一种码率行确定流程示意图所示，本方案在视频质量分布表中确定与码表中各个视频档位对应的码率行时，包括：
S2031：确定视频质量分布表中是否存在码表中的第一视频码率一致的第二视频码率。
S2032：在视频质量分布表中存在码表中的第一视频码率一致的第二视频码率时，将第二视频码率的码率行确定为视频档位对应的码率行。
S2033：在视频质量分布表中不存在码表中的第一视频码率一致的第二视频码率时，将与视频档位对应的第一视频码率最接近的第二视频码率的码率行确定为视频档位对应的码率行。
示例性的，在获取偏好感知模型输出的视频质量分布表后，遍历当前码表中各个视频档位对应的第一视频码率，确定每个视频码率在视频质量分布表中是否存在与其一致的第二视频码率。
对于一个视频档位，若在视频质量分布表中存在与第一视频码率一致的第二视频码率，则直接将该第二视频码率对应的码率行确定为该视频档位对应的码率行。若在视频质量分布表中不存在与第一视频码率一致的第二视频码率，则将与该视频档位对应的第一视频码率最接近的第二视频码率的码率行确定为视频档位对应的码率行。即遍历当前码表中的每个视频档位下的第一视频码率和第一视频分辨率的集合{Bold,Rold}；选取视频质量分布表中对应的码率行
Figure BDA0003754091070000101
若Bold∈B，则
Figure BDA0003754091070000102
若
Figure BDA0003754091070000104
则取B中与Bold最接近的码率行，即
Figure BDA0003754091070000103
S204：基于对应的码率行更新码表中不同视频档位的第一视频码率和第一视频分辨率的组合。
示例性的，在确定码表中不同视频档位对应的码率行后，根据码率行中各个第二视频分辨率对应的预测偏好概率对码表中不同视频档位的第一视频码率和第一视频分辨率的组合进行更新。例如将码率行中最大预测偏好概率对应的第二视频分辨率替换掉码表中对应的第一视频分辨率，使得码表中对应视频档位的第一视频码率和第一视频分辨率的组合更符合用户的视频观看感受。
在一个可能的实施例中，可基于码率行中占主导地位的预测偏好概率对第一视频分辨率进行更新，得到更符合用户主观感受的第一视频分辨率。基于此，本方案在基于对应的码率行更新码表中不同视频档位的第一视频码率和第一视频分辨率的组合时，包括：对于码表中不同视频档位，确定对应的码率行是否存在符合编码参数更新条件的第二视频分辨率；响应于存在符合编码参数更新条件的第二视频分辨率，利用第二视频分辨率更新码表中对应视频档位的第一视频分辨率。
示例性的，对于当前码表中的各个视频档位，在对应的码率行中确定是否存在符合编码参数更新条件的第二视频分辨率。其中，码率行中是否存在符合编码参数更新条件的第二视频分辨率可基于码率行中的最大预测偏好概率进行判断，即在码率行各个第二视频分辨率的预测偏好概率中确定最大预测偏好概率，并确定最大预测偏好概率是否达到设定概率阈值。在最大预测偏好概率达到设定概率阈值时，可确定该码率行存在符合编码参数更新条件的第二视频分辨率。本方案通过设定概率阈值控制码表更新算法的保守程度，更灵活的适应多种不同的应用场景，灵活性更强。
在码率行中存在符合编码参数更新条件的第二视频分辨率时，利用该码率行中最大预测偏高概率对应的第二视频分辨率更新码表中对应视频档位的第一视频分辨率。其中，在，利用该码率行中最大预测偏高概率对应的第二视频分辨率更新码表中对应视频档位的第一视频分辨率时，先判断最大预测偏高概率对应的第二视频分辨率是否与对应视频档位的第一视频分辨率一致，若一致则不需要对第一视频分辨率进行修改，若不一致则将对应视频档位的第一视频分辨率修改为最大预测偏高概率对应的第二视频分辨率。而在码率行中不存在符合编码参数更新条件的第二视频分辨率时，不需要对该视频档位的第一视频码率和第一视频分辨率进行修改。在完成对码表全部视频档位的更新后，若码表中存在修改的第一视频分辨率，则重启编码器，基于更新后的码表对源流视频数据进行转码，若码表中的第一视频分辨率均未修改，则保持当前的编码器和码表，等待下一次获取源流视频数据分析是否需要更新码表。
上述，通过将源流视频数据输入到偏好感知模型中，由偏好感知模型对源流视频数据进行分析得到视频质量分布表，可根据视频质量分布表中记录的不同第二视频码率和第二视频分辨率的组合对应的预测偏好概率，对码表中记录的不同视频档位的第一视频码率和第一视频分辨率的组合进行更新，得到码率和分辨率的组合更适配当前源流视频数据的码表，提高码表确定的灵活性，有效保证用户视频播放体验。同时，灵活地确定码表中每个第一视频码率对应的码率行，根据码表中每个第一视频码率对应的码率行对第一视频分辨率进行动态更新，更精细地动态确定每个视频档位对应的第一视频码率和第一视频分辨率的组合，提高了视频转码的灵活度和视频主观质量。并基于最大预测偏好概率与设定概率阈值的比较情况确定符合编码参数更新条件的第二视频分辨率，实现最优的编码分辨率决策，对直播转码码表中的分辨率参数进行优化，在带宽不变的前提下提高线上视频的主观质量，为用户带来更好的视频观看体验。
图6是本申请实施例提供的一种码表更新装置的结构示意图。参考图6，该码表更新装置包括数据获取模块61、数据分析模块62和码表更新模块63。
其中，数据获取模块61，配置为获取源流视频数据；数据分析模块62，配置为将源流视频数据输入至训练好的偏好感知模型，由偏好感知模型对源流视频数据进行分析并输出视频质量分布表，视频质量分布表中记录有不同第二视频码率和第二视频分辨率的组合对应的预测偏好概率；码表更新模块63，配置为基于视频质量分布表更新码表，码表记录有不同视频档位的第一视频码率和第一视频分辨率的组合。
上述，通过将源流视频数据输入到偏好感知模型中，由偏好感知模型对源流视频数据进行分析得到视频质量分布表，可根据视频质量分布表中记录的不同第二视频码率和第二视频分辨率的组合对应的预测偏好概率，对码表中记录的不同视频档位的第一视频码率和第一视频分辨率的组合进行更新，得到码率和分辨率的组合更适配当前源流视频数据的码表，提高码表确定的灵活性，有效保证用户视频播放体验。
在一个可能的实施例中，码表更新模块63具体配置为：
遍历码表中各个视频档位，在视频质量分布表中确定与码表中各个视频档位对应的码率行，码率行包括在第二视频码率下的不同第二视频分辨率下对应的预测偏好概率；
基于对应的码率行更新码表中不同视频档位的第一视频码率和第一视频分辨率的组合。
在一个可能的实施例中，码表更新模块63在视频质量分布表中确定与码表中各个视频档位对应的码率行时，配置为：
在视频质量分布表中存在码表中的第一视频码率一致的第二视频码率时，将第二视频码率的码率行确定为视频档位对应的码率行；
在视频质量分布表中不存在码表中的第一视频码率一致的第二视频码率时，将与视频档位对应的第一视频码率最接近的第二视频码率的码率行确定为视频档位对应的码率行。
在一个可能的实施例中，码表更新模块63在基于对应的码率行更新码表中不同视频档位的第一视频码率和第一视频分辨率的组合时，配置为：
对于码表中不同视频档位，确定对应的码率行是否存在符合编码参数更新条件的第二视频分辨率；
响应于存在符合编码参数更新条件的第二视频分辨率，利用第二视频分辨率更新码表中对应视频档位的第一视频分辨率。
在一个可能的实施例中，在码率行中的最大预测偏好概率达到设定概率阈值时，码率行存在符合编码参数更新条件的第二视频分辨率。
在一个可能的实施例中，偏好感知模型基于不同内容类型的样本视频数据对应的感知数据集进行训练得到，感知数据集记录有对应样本视频数据在不同第三视频码率和第三视频分辨率的组合对应的样本偏好概率。
在一个可能的实施例中，偏好感知模型基于残差结构进行搭建得到，偏好感知模型利用KL散度损失函数作为模型损失函数，并基于随机梯度下降算法对偏好感知模型进行优化，偏好感知模型的全连接层按照设定尺寸将样本视频数据的视频特征向量进行映射，设定尺寸基于样本视频数据在不同第三视频码率和第三视频分辨率的组合对应的分布表尺寸进行确定。
值得注意的是，上述码表更新装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
本申请实施例还提供了一种码表更新设备，该码表更新设备可集成本申请实施例提供的码表更新装置。图7是本申请实施例提供的一种码表更新设备的结构示意图。参考图7，该码表更新设备包括：输入装置73、输出装置74、存储器72以及一个或多个处理器71；存储器72，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器71执行，使得一个或多个处理器71实现如上述实施例提供的码表更新方法。上述提供的码表更新装置、设备和计算机可用于执行上述任意实施例提供的码表更新方法，具备相应的功能和有益效果。
本申请实施例还提供一种存储计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的码表更新方法。当然，本申请实施例所提供的一种存储计算机可执行指令的存储介质，其计算机可执行指令不限于如上提供的码表更新方法，还可以执行本申请任意实施例所提供的码表更新方法中的相关操作。上述实施例中提供的码表更新装置、设备及存储介质可执行本申请任意实施例所提供的码表更新方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的码表更新方法。
在一些可能的实施方式中，本公开提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当上述程序产品在计算机设备上运行时，程序代码用于使上述计算机设备执行本说明书上述描述的根据本公开各种示例性实施方式的方法中的步骤，例如，计算机设备可以执行本公开实施例所记载的码表更新方法。其中，程序产品可以采用一个或多个可读介质的任意组合。

Claims (11)

1.一种码表更新方法，其特征在于，包括：
获取源流视频数据；
将所述源流视频数据输入至训练好的偏好感知模型，由所述偏好感知模型对所述源流视频数据进行分析并输出视频质量分布表，所述视频质量分布表中记录有不同第二视频码率和第二视频分辨率的组合对应的预测偏好概率；
基于所述视频质量分布表更新码表，所述码表记录有不同视频档位的第一视频码率和第一视频分辨率的组合。
2.根据权利要求1所述的码表更新方法，其特征在于，所述基于所述视频质量分布表更新码表，包括：
遍历码表中各个视频档位，在所述视频质量分布表中确定与所述码表中各个视频档位对应的码率行，所述码率行包括在第二视频码率下的不同第二视频分辨率下对应的预测偏好概率；
基于对应的所述码率行更新所述码表中不同视频档位的第一视频码率和第一视频分辨率的组合。
3.根据权利要求2所述的码表更新方法，其特征在于，所述在所述视频质量分布表中确定与所述码表中各个视频档位对应的码率行，包括：
在所述视频质量分布表中存在所述码表中的第一视频码率一致的第二视频码率时，将所述第二视频码率的码率行确定为所述视频档位对应的码率行；
在所述视频质量分布表中不存在所述码表中的第一视频码率一致的第二视频码率时，将与所述视频档位对应的第一视频码率最接近的第二视频码率的码率行确定为所述视频档位对应的码率行。
4.根据权利要求2所述的码表更新方法，其特征在于，所述基于对应的所述码率行更新所述码表中不同视频档位的第一视频码率和第一视频分辨率的组合，包括：
对于所述码表中不同视频档位，确定对应的所述码率行是否存在符合编码参数更新条件的第二视频分辨率；
响应于存在符合编码参数更新条件的第二视频分辨率，利用所述第二视频分辨率更新所述码表中对应视频档位的第一视频分辨率。
5.根据权利要求4所述的码表更新方法，其特征在于，在所述码率行中的最大预测偏好概率达到设定概率阈值时，所述码率行存在符合编码参数更新条件的第二视频分辨率。
6.根据权利要求1所述的码表更新方法，其特征在于，所述偏好感知模型基于不同内容类型的样本视频数据对应的感知数据集进行训练得到，所述感知数据集记录有对应样本视频数据在不同第三视频码率和第三视频分辨率的组合对应的样本偏好概率。
7.根据权利要求6所述的码表更新方法，其特征在于，所述偏好感知模型基于残差结构进行搭建得到，所述偏好感知模型利用KL散度损失函数作为模型损失函数，并基于随机梯度下降算法对所述偏好感知模型进行优化，所述偏好感知模型的全连接层按照设定尺寸将所述样本视频数据的视频特征向量进行映射，所述设定尺寸基于样本视频数据在不同第三视频码率和第三视频分辨率的组合对应的分布表尺寸进行确定。
8.一种码表更新装置，其特征在于，包括数据获取模块、数据分析模块和码表更新模块，其中：
所述数据获取模块，配置为获取源流视频数据；
所述数据分析模块，配置为将所述源流视频数据输入至训练好的偏好感知模型，由所述偏好感知模型对所述源流视频数据进行分析并输出视频质量分布表，所述视频质量分布表中记录有不同第二视频码率和第二视频分辨率的组合对应的预测偏好概率；
所述码表更新模块，配置为基于所述视频质量分布表更新码表，码表记录有不同视频档位的第一视频码率和第一视频分辨率的组合。
9.一种码表更新设备，其特征在于，包括：存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一项所述的码表更新方法。
10.一种存储计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一项所述的码表更新方法。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的码表更新方法。
CN202210855856.1A 2022-07-19 2022-07-19 一种码表更新方法、装置、设备及存储介质 Active CN115379291B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210855856.1A CN115379291B (zh) 2022-07-19 2022-07-19 一种码表更新方法、装置、设备及存储介质
PCT/CN2023/106919 WO2024017106A1 (zh) 2022-07-19 2023-07-12 一种码表更新方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210855856.1A CN115379291B (zh) 2022-07-19 2022-07-19 一种码表更新方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115379291A true CN115379291A (zh) 2022-11-22
CN115379291B CN115379291B (zh) 2023-12-26

Family

ID=84062724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210855856.1A Active CN115379291B (zh) 2022-07-19 2022-07-19 一种码表更新方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN115379291B (zh)
WO (1) WO2024017106A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024017106A1 (zh) * 2022-07-19 2024-01-25 广州市百果园信息技术有限公司 一种码表更新方法、装置、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175210A (zh) * 2006-10-30 2008-05-07 中国科学院计算技术研究所 用于视频预测残差系数解码的熵解码方法及熵解码装置
US20120062791A1 (en) * 2010-09-13 2012-03-15 Srisakul Thakolsri Method and an apparatus for transferring a video stream
US20120314760A1 (en) * 2011-06-10 2012-12-13 Research In Motion Limited Method and system to reduce modelling overhead for data compression
US20150319468A1 (en) * 2014-04-30 2015-11-05 Snu R&Db Foundation System, apparatus, and method for recommending tv program based on content
US20160366204A1 (en) * 2014-06-30 2016-12-15 Boe Technology Group Co., Ltd. Video information playing system and method
US20180014053A1 (en) * 2016-07-09 2018-01-11 N. Dilip Venkatraman Method and system for recommending dynamic, adaptive and non-sequentially assembled videos
CN110719457A (zh) * 2019-09-17 2020-01-21 北京达佳互联信息技术有限公司 一种视频编码方法、装置、电子设备及存储介质
WO2020062789A1 (zh) * 2018-09-27 2020-04-02 中兴通讯股份有限公司 视频业务质量评估方法、装置、设备、及可读存储介质
CN111107395A (zh) * 2019-12-31 2020-05-05 广州市百果园网络科技有限公司 一种视频转码的方法、装置、服务器和存储介质
CN111327865A (zh) * 2019-11-05 2020-06-23 杭州海康威视系统技术有限公司 视频传输方法、装置及设备
CN111669627A (zh) * 2020-06-30 2020-09-15 广州市百果园信息技术有限公司 一种视频码率的确定方法、装置、服务器和存储介质
US20210006477A1 (en) * 2018-03-21 2021-01-07 Huawei Technologies Co., Ltd. Data processing method and client
US20210360233A1 (en) * 2020-05-12 2021-11-18 Comcast Cable Communications, Llc Artificial intelligence based optimal bit rate prediction for video coding

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150036757A1 (en) * 2013-07-31 2015-02-05 Divx, Llc Systems and methods for adaptively applying a deblocking filter
CN109660807A (zh) * 2017-10-10 2019-04-19 优酷网络技术（北京）有限公司 一种视频图像转码方法及装置
CN109286825B (zh) * 2018-12-14 2021-04-30 北京百度网讯科技有限公司 用于处理视频的方法和装置
CN115379291B (zh) * 2022-07-19 2023-12-26 百果园技术(新加坡)有限公司 一种码表更新方法、装置、设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175210A (zh) * 2006-10-30 2008-05-07 中国科学院计算技术研究所 用于视频预测残差系数解码的熵解码方法及熵解码装置
US20120062791A1 (en) * 2010-09-13 2012-03-15 Srisakul Thakolsri Method and an apparatus for transferring a video stream
US20120314760A1 (en) * 2011-06-10 2012-12-13 Research In Motion Limited Method and system to reduce modelling overhead for data compression
US20150319468A1 (en) * 2014-04-30 2015-11-05 Snu R&Db Foundation System, apparatus, and method for recommending tv program based on content
US20160366204A1 (en) * 2014-06-30 2016-12-15 Boe Technology Group Co., Ltd. Video information playing system and method
US20180014053A1 (en) * 2016-07-09 2018-01-11 N. Dilip Venkatraman Method and system for recommending dynamic, adaptive and non-sequentially assembled videos
US20210006477A1 (en) * 2018-03-21 2021-01-07 Huawei Technologies Co., Ltd. Data processing method and client
WO2020062789A1 (zh) * 2018-09-27 2020-04-02 中兴通讯股份有限公司 视频业务质量评估方法、装置、设备、及可读存储介质
CN110719457A (zh) * 2019-09-17 2020-01-21 北京达佳互联信息技术有限公司 一种视频编码方法、装置、电子设备及存储介质
CN111327865A (zh) * 2019-11-05 2020-06-23 杭州海康威视系统技术有限公司 视频传输方法、装置及设备
CN111107395A (zh) * 2019-12-31 2020-05-05 广州市百果园网络科技有限公司 一种视频转码的方法、装置、服务器和存储介质
US20210360233A1 (en) * 2020-05-12 2021-11-18 Comcast Cable Communications, Llc Artificial intelligence based optimal bit rate prediction for video coding
CN111669627A (zh) * 2020-06-30 2020-09-15 广州市百果园信息技术有限公司 一种视频码率的确定方法、装置、服务器和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李振波;杨晋琪;岳峻;: "基于协同回归模型的矩阵分解推荐", 图学学报, no. 06 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024017106A1 (zh) * 2022-07-19 2024-01-25 广州市百果园信息技术有限公司 一种码表更新方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2024017106A1 (zh) 2024-01-25
CN115379291B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN111277826B (zh) 一种视频数据处理方法、装置及存储介质
CN111263154B (zh) 一种视频数据处理方法、装置及存储介质
CN101189882B (zh) 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
CN101401434B (zh) 用于改变视频图像序列的时间频率的方法和装置
KR102050780B1 (ko) 신경망을 이용한 컨텐츠 인지 기반 컨텐츠 전송 서버 장치 및 방법
CN103493481A (zh) 基于场景的适应性比特率控制
CN112584119B (zh) 一种基于强化学习的自适应全景视频传输方法及系统
CN101924943B (zh) 一种实时的基于h.264的低比特率视频转码方法
CN110072119A (zh) 一种基于深度学习网络的内容感知视频自适应传输方法
CN113556544B (zh) 基于场景自适应的视频编码方法和装置、设备及存储介质
CN114554211A (zh) 内容自适应视频编码方法、装置、设备和存储介质
CN109688407A (zh) 编码单元的参考块选择方法、装置、电子设备及存储介质
CN114900692A (zh) 视频流帧率调整方法及其装置、设备、介质、产品
CN111277827B (zh) 一种视频数据处理方法、装置、设备以及可读存储介质
CN115379291B (zh) 一种码表更新方法、装置、设备及存储介质
US9787985B2 (en) Reduction of spatial predictors in video compression
CN113452996B (zh) 一种视频编码、解码方法及装置
Micó-Enguídanos et al. Per-title and per-segment CRF estimation using DNNs for quality-based video coding
CN116708934B (zh) 一种视频编码处理方法及装置
CN110381315A (zh) 码率控制方法及装置
Lebreton et al. Quitting ratio-based bitrate ladder selection mechanism for adaptive bitrate video streaming
Usman et al. Exploiting the spatio-temporal attributes of HD videos: A bandwidth efficient approach
CN103596012B (zh) 一种实时的基于avs的视频帧率转码中帧间宏块类型选择方法
CN115379248B (zh) 一种视频源流替换方法、系统、设备及存储介质
EP3322188A1 (en) Method and device for generating a signal comprising video transcoding hints

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant