CN113938689A - 量化参数确定方法和装置 - Google Patents

量化参数确定方法和装置 Download PDF

Info

Publication number
CN113938689A
CN113938689A CN202111464369.4A CN202111464369A CN113938689A CN 113938689 A CN113938689 A CN 113938689A CN 202111464369 A CN202111464369 A CN 202111464369A CN 113938689 A CN113938689 A CN 113938689A
Authority
CN
China
Prior art keywords
frame
current
offset
predetermined video
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111464369.4A
Other languages
English (en)
Other versions
CN113938689B (zh
Inventor
谷嘉文
闻兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202111464369.4A priority Critical patent/CN113938689B/zh
Publication of CN113938689A publication Critical patent/CN113938689A/zh
Application granted granted Critical
Publication of CN113938689B publication Critical patent/CN113938689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种量化参数确定方法和装置，所述量化参数确定方法包括：基于输入视频中的当前B帧与前向参考帧之间的距离、前向参考帧的帧级别QP、当前B帧与后向参考帧之间的距离以及后向参考帧的帧级别QP，确定当前B帧的基准QP；基于由预定视频的最近参考距离的取值范围内的各个取值分别对应的各个QP偏移构成的QP偏移数组以及多个编码器参数，确定所述输入视频中的当前B帧在所述多个编码器参数中的当前编码器参数下的QP偏移；以及基于所述输入视频中的当前B帧的基准QP和在当前编码器参数下的QP偏移来确定当前B帧在当前编码器参数下的帧级别QP。

Description

量化参数确定方法和装置
技术领域
本申请涉及视频编解码领域，更具体地，涉及一种量化参数(QP)确定方法和装置。
背景技术
在视频编解标准中，通常会根据不同功能和压缩效率将帧分为三种帧类型，即，帧内预测(I)帧、帧间预测(P)帧和双向预测(B)帧。此外，在最新的视频编码标准中，为了更进一步提升P帧的压缩效率，提出了一种特殊的B帧(即，广义P和B画面(GPB)帧)来取代P帧。
为了能够增加视频的压缩效率，现阶段大多数离线场景和视频编码标准中采用不同帧类型的组合的方式进行编码。例如，在高效视频编码(HEVC)标准中，通常会采用较为固定的帧类型的组合结构，诸如，可将第一帧编码为I帧，后续帧会按照固定15帧B帧和1帧GPB帧的结构进行编码。而由于各种帧类型的重要性不同，不同位置的B帧的量化参数(QP)，会在GPB帧的基础上加上固定的QP偏移，以获取较高的编码性能。
然而，对于复杂和实际的应用场景而言，往往会存在以下两个问题：第一，实际过程的复杂场景下，由于编码的内容不同，通常会采用自适应而非固定的帧结构路径以获取更高的编码性能，而标准中并未针对这种非固定结构下的量化偏移参数给出方案；第二，标准中的方案仅针对给定的标准视频序列给出了最优QP偏移参数，而事实上，这组参数对很多视频序列而言并非最优。
发明内容
根据本发明的示例性实施例，提供了一种量化参数确定方法，包括：基于输入视频中的当前双向预测(B)帧与前向参考帧之间的距离，以及当前B帧与后向参考帧之间的距离来确定当前B帧的最近参考距离；基于所述输入视频中的当前B帧与前向参考帧之间的距离、前向参考帧的帧级别QP、当前B帧与后向参考帧之间的距离、后向参考帧的帧级别QP以及最近参考距离，确定当前B帧的基准QP；基于由预定视频的最近参考距离的取值范围内的各个取值分别对应的各个QP偏移构成的QP偏移数组以及多个编码器参数，确定所述输入视频中的当前B帧在所述多个编码器参数中的当前编码器参数下的QP偏移，其中，所述预定视频的最近参考距离的取值范围取决于所述预定视频的连续B帧的最大数量；以及基于所述输入视频中的当前B帧的基准QP和在当前编码器参数下的QP偏移来确定当前B帧在当前编码器参数下的帧级别QP。
前向参考帧可以为帧内预测(I)帧、帧间预测(P)帧或广义PB画面(GPB)帧，后向参考帧可以为帧内预测I帧、帧间预测P帧或广义PB画面GPB帧。
确定所述输入视频中的当前B帧在所述多个编码器参数中的当前编码器参数下的QP偏移的步骤可以包括：获取所述预定视频的斜率和偏移以及当前编码器参数；基于所述预定视频的斜率和偏移以及当前编码器参数来确定所述输入视频中的当前B帧在当前编码器参数下的QP偏移。
获取所述预定视频的斜率和偏移的步骤可以包括：设置QP偏移数组的初始值，并确定与QP偏移数组的初始值相应的在所述多个编码器参数中的每个编码器参数下所述预定视频的多个压缩指标的值；分别针对每个编码器参数，基于当前编码器参数下所述预定视频的所述多个压缩指标的值来调整QP偏移数组，以确定当前编码器参数的最优QP偏移数组；基于所述多个编码器参数以及相应的多个最优QP偏移数组，通过线性拟合来确定所述预定视频的斜率和偏移。
确定当前编码器参数的最优QP偏移数组可包括以下步骤：基于包括与QP偏移数组的初始值相应的在每个编码器参数下所述预定视频的所述多个压缩指标的值的压缩指标组来确定所述预定视频的优化目标值；执行循环过程直至满足预设条件，所述循环过程包括：基于所述预定视频的优化目标值来确定QP偏移数组的调整值，确定与QP偏移数组的调整值相应的在当前编码器参数下所述预定视频的所述多个压缩指标的新值，并使用所述多个压缩指标的新值替换压缩指标组中的值来构成新压缩指标组，其中，所述值为与QP偏移数组的初始值相应的在当前编码器参数下所述预定视频的所述多个压缩指标的值，以及基于新压缩指标组来重新确定所述预定视频的优化目标值；确定所述预定视频的最小的优化目标值所对应的QP偏移数组，作为当前编码器参数的最优QP偏移数组，其中，所述预设条件是所述预定视频的最小的优化目标值被确定。
所述预定视频的优化目标值可以为所述预定视频的多个
Figure BDA0003390702010000031
率失真比率(BD-rate)或多个同质量比特率比率(Bitrate for the Same Quality rate，BSQ-rate)的加权和，其中，所述预定视频的多个BD-rate或多个BSQ-rate是基于在当前编码器参数下所述预定视频的所述多个压缩指标而被确定的。
QP偏移数组的调整值可以通过单纯型(Nelder-Mead)算法而被确定。
所述预定视频可以为所述输入视频或预定测试视频。
根据本发明的示例性实施例，提供了一种量化参数确定装置，包括：最近参考距离确定单元，被配置为基于输入视频中的当前B帧与前向参考帧之间的距离，以及当前B帧与后向参考帧之间的距离来确定当前B帧的最近参考距离；基准QP确定单元，被配置为基于所述输入视频中的当前B帧与前向参考帧之间的距离、前向参考帧的帧级别QP、当前B帧与后向参考帧之间的距离、后向参考帧的帧级别QP以及最近参考距离，确定当前B帧的基准QP；QP偏移确定单元，被配置为基于由预定视频的最近参考距离的取值范围内的各个取值分别对应的各个QP偏移构成的QP偏移数组以及多个编码器参数，确定所述输入视频中的当前B帧在所述多个编码器参数中的当前编码器参数下的QP偏移，其中，所述预定视频的最近参考距离的取值范围取决于所述预定视频的连续B帧的最大数量；以及帧级别QP确定单元，被配置为基于所述输入视频中的当前B帧的基准QP和在当前编码器参数下的QP偏移来确定当前B帧在当前编码器参数下的帧级别QP。
前向参考帧可以为帧内预测(I)帧、帧间预测(P)帧或广义P和B画面(GPB)帧，后向参考帧可以为帧内预测I帧、帧间预测P帧或广义PB画面GPB帧。
QP偏移确定单元还可以被配置为进行以下操作：获取所述预定视频的斜率和偏移以及当前编码器参数；基于所述预定视频的斜率和偏移以及当前编码器参数来确定所述输入视频中的当前B帧在当前编码器参数下的QP偏移。
QP偏移确定单元还可以被配置为进行以下操作：设置QP偏移数组的初始值，并确定与QP偏移数组的初始值相应的在所述多个编码器参数中的每个编码器参数下所述预定视频的多个压缩指标的值；分别针对每个编码器参数，基于当前编码器参数下所述预定视频的所述多个压缩指标的值来调整QP偏移数组，以确定当前编码器参数的最优QP偏移数组；基于所述多个编码器参数以及相应的多个最优QP偏移数组，通过线性拟合来确定所述预定视频的斜率和偏移。
QP偏移确定单元还可以被配置为进行以下操作：基于包括与QP偏移数组的初始值相应的在每个编码器参数下所述预定视频的所述多个压缩指标的值的压缩指标组来确定所述预定视频的优化目标值；执行循环过程直至满足预设条件，所述循环过程包括：基于所述预定视频的优化目标值来确定QP偏移数组的调整值，确定与QP偏移数组的调整值相应的在当前编码器参数下所述预定视频的所述多个压缩指标的新值，并使用所述多个压缩指标的新值替换压缩指标组中的值来构成新压缩指标组，其中，所述值为与QP偏移数组的初始值相应的在当前编码器参数下所述预定视频的所述多个压缩指标的值，以及基于新压缩指标组来重新确定所述预定视频的优化目标值；确定所述预定视频的最小的优化目标值所对应的QP偏移数组，作为当前编码器参数的最优QP偏移数组，其中，所述预设条件是所述预定视频的最小的优化目标值被确定。
所述预定视频的优化目标值可以为所述预定视频的多个
Figure BDA0003390702010000041
率失真比率(BD-rate)或多个同质量比特率比率(BSQ-rate)的加权和，其中，所述预定视频的多个BD-rate或多个BSQ-rate是基于在当前编码器参数下所述预定视频的所述多个压缩指标而被确定的。
QP偏移数组的调整值可以通过单纯型(Nelder-Mead)算法而被确定。
所述预定视频可以为所述输入视频或预定测试视频。
根据本发明的示例性实施例，提供了一种电子设备，包括存储器和处理器，存储器上存储有计算机可执行指令，当所述指令由处理器执行时，执行前述的量化参数确定方法。
根据本发明的示例性实施例，提供了一种计算机可读介质，其上存储有计算机可执行指令，当执行所述指令时，执行前述的量化参数确定方法。
根据本发明的示例性实施例，提供了一种计算机程序产品，包括计算机指令，所述计算机指令被至少一个处理器执行时实现前述的量化参数确定方法。
根据本发明的示例性实施例，可通过B帧帧级别QP偏移参数的训练方案针对当前视频获得较佳的B帧帧级别QP偏移调整，从而可提供非固定结构下的QP偏移参数以及针对当前视频的最优QP偏移参数；此外，可不受限于帧结构的大小并提升视频编码的压缩性能。
附图说明
通过下面结合附图进行的详细描述，本发明的上述和其它目的和特点将会变得更加清楚，其中：
图1是示出根据本发明示例性实施例的QP确定方法的流程图；
图2是示出根据本发明示例性实施例的获取预定视频的斜率和偏移的步骤的流程图；
图3是示出根据本发明示例性实施例的QP确定装置的框图；
图4是示出根据本发明示例性实施例的电子设备的框图；
图5是示出根据本发明示例性实施例的服务器的示图。
具体实施方式
现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指示相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。
图1是示出根据本发明示例性实施例的QP确定方法的流程图。
参照图1，在步骤S110，可基于输入视频中的当前B帧与前向参考帧之间的距离，以及当前B帧与后向参考帧之间的距离来确定当前B帧的最近参考距离。这里，前向参考帧可表示前向最邻近的参考帧，后向参考帧可表示后向最邻近的参考帧。更具体地，可通过将当前B帧与前向参考帧之间的距离以及与后向参考帧之间的距离求和来获得当前B帧的最近参考距离。这里，仅作为示例而非限制，前向参考帧可以为I帧、P帧或GPB帧，后向参考帧可以为I帧、P帧或GPB帧。
在步骤S120，可基于所述输入视频中的当前B帧与前向参考帧之间的距离、前向参考帧的帧级别QP、当前B帧与后向参考帧之间的距离、后向参考帧的帧级别QP以及最近参考距离，确定当前B帧的基准QP。更具体地，可基于以下等式1来确定当前B帧的基准QP。
[等式1]
QPbase＝(Q0*dt1+Q1*dt0)/DT
其中，QPbase为当前B帧的基准QP，Q0为前向参考帧的帧级别QP，Q1为后向参考帧的帧级别QP，dt0为当前B帧与前向参考帧之间的距离，dt1为当前B帧与后向参考帧之间的距离，DT为最近参考距离。
在步骤S130，可基于由预定视频的最近参考距离的取值范围内的各个取值分别对应的各个QP偏移构成的QP偏移数组以及多个编码器参数，确定所述输入视频中的当前B帧在所述多个编码器参数中的当前编码器参数下的QP偏移，其中，所述预定视频的最近参考距离的取值范围取决于所述预定视频的连续B帧的最大数量。更具体地，对于连续B帧的最大数量为N的帧结构(例如，HEVC中的帧结构为连续15个B帧和1个P/GPB帧，最大连续B帧为15，即N＝15)，帧结构中的当前B帧的最近参考距离的取值范围可以为[2，N+1]，共N个取值，可假设这N个取值分别对应N个偏移QPOffset0、QPOffset1、…、QPOffsetN-1，这N个偏移可构成QP偏移数组。这里，所述预定视频可以为所述输入视频或预定测试视频。此外，仅作为示例而非限制，所述多个编码器参数可包括固定量化值(CQP)模式下的QP、固定码率系数(CRF)模式下的CRF值、以及码率控制中的目标码率等等，所述多个编码器参数可由本领域技术人员按照实际需要进行设置，编码器会按照设置的编码器参数来进行编码。
此外，步骤S130中的确定所述输入视频中的当前B帧在所述多个编码器参数中的当前编码器参数下的QP偏移的步骤可包括：获取所述预定视频的斜率和偏移以及当前编码器参数，并基于所述预定视频的斜率和偏移以及当前编码器参数来确定所述输入视频中的当前B帧在当前编码器参数下的QP偏移。更具体地，对于任意的Qi，可基于以下等式2来确定当前B帧在Qi下的QP偏移。
[等式2]
QPOffseti,j＝Clip3(QPmin(j),QPmax(j),scaleQP(j)*Qi+OffsetQ(j))其中，0≤j≤N-1
其中，QPOffseti,j表示QP偏移，Clip3表示按照最小值0和最大值3做截断，scaleQP(j)表示斜率，OffsetQ(j)表示偏移，Qi表示编码器参数，QPmin(j)和QPmax(j)分别表示QPOffseti,j的上限和下限，用于限定QP偏移的范围，可根据实际需要设定。此外，这里的QPOffseti,j也即等式2中的QPOffsetDT。
也就是说，这里可以直接使用预先利用预定测试视频作为所述预定视频来计算得到并存储的斜率和偏移，以进一步确定QP偏移；此外，也可以使用输入视频作为所述预定视频来计算得到斜率和偏移，以进一步确定QP偏移。
后面将参照图2详细描述获取预定视频的斜率和偏移的步骤。
在步骤S140，可基于所述输入视频中的当前B帧的基准QP和在当前编码器参数下的QP偏移来确定当前B帧在当前编码器参数下的帧级别QP。更具体地，可基于以下等式3来确定当前B帧在当前编码器参数下的帧级别QP。
[等式3]
QP＝QPbase+QPOffsetDT
其中，QP为当前B帧在当前编码器参数下的帧级别QP，QPbase为当前B帧的基准QP，QPOffsetDT为在当前编码器参数下的QP偏移。
图2是示出根据本发明示例性实施例的获取预定视频的斜率和偏移的步骤的流程图。
参照图2，在步骤S210，可设置QP偏移数组(例如，如上所述QPOffset0、QPOffset1、…、QPOffsetN-1)的初始值，并确定与QP偏移数组的初始值相应的在所述多个编码器参数(设为Q0、Q1、…、QT，其中，T+1≥4且T为整数，即，多个编码器参数的数量为至少四个)中的每个编码器参数下所述预定视频的多个压缩指标的值。这里，仅作为示例而非限制，所述多个压缩指标可包括相应码率下的峰值信噪比(PSNR)、结构相似性(SSIM)、视频多方法评估融合(VMAF)和扩展感知加权(XPSNR)中的至少两个。
在步骤S220，可分别针对每个编码器参数Qi(其中，0≤i≤T且i为整数)，基于当前编码器参数下所述预定视频的所述多个压缩指标的值来调整QP偏移数组，以确定当前编码器参数的最优QP偏移数组。更具体地，确定当前编码器参数的最优QP偏移数组可包括以下步骤：
1)可基于包括与QP偏移数组的初始值相应的在每个编码器参数下所述预定视频的所述多个压缩指标的值的压缩指标组来确定所述预定视频的优化目标值。这里，仅作为示例而非限制，所述预定视频的优化目标值可以为所述预定视频的多个
Figure BDA0003390702010000071
率失真比率(BD率失真比率，BD-rate)或多个同质量比特率比率(BSQ-rate)的加权和，其中，所述预定视频的多个BD-rate或多个BSQ-rate是基于在当前编码器参数下所述预定视频的所述多个压缩指标而被确定的。更具体地，可基于以下等式4来确定所述预定视频的优化目标值。
[等式4]
Target＝a0*BD/BSQRate-Metric0+a1*BD/BSQRate-Metric1+a2*BD/BSQ Rate-Metric2+…+aM*BD/BSQRate-MetricM其中，M≥2且M为整数
其中，Target为优化目标值，ai(0≤i≤M)为预定加权系数，BD/BSQRate-Metrici(0≤i≤M)为基于在当前编码器参数下所述预定视频的所述多个压缩指标确定的所述预定视频的BD-rate或BSQ-rate。这里，本领域技术人员可根据实际需要来设置预定加权系数ai的值。例如，仅作为示例而非限制，期望综合考虑PSNR和SSIM的结果，如果更看重SSIM的性能，则可以用0.7*BD/BSQRate-SSIM+0.3*BD/BSQRate-PSNR进行加权。
随后，执行循环过程直至满足预设条件，所述循环过程包括如下步骤2)～4)：
2)可基于所述预定视频的优化目标值来确定QP偏移数组的调整值。这里，仅作为示例而非限制，QP偏移数组的调整值可通过单纯型(Nelder-Mead)算法而被确定。
3)可确定与QP偏移数组的调整值相应的在当前编码器参数下所述预定视频的所述多个压缩指标的新值，并使用所述多个压缩指标的新值替换压缩指标组中的值来构成新压缩指标组，其中，所述值为与QP偏移数组的初始值相应的在当前编码器参数下所述预定视频的所述多个压缩指标的值。
4)可基于新压缩指标组来重新确定所述预定视频的优化目标值。
5)确定所述预定视频的最小的优化目标值所对应的QP偏移数组，作为当前编码器参数的最优QP偏移数组，其中，所述预设条件是所述预定视频的最小的优化目标值被确定。
这里，仅作为示例而非限制，以下给出步骤1)～5)的示例作为参考。
假设QP偏移数组的初始值为Offset0，所述多个编码器参数CRF＝19、24、29、34，可分别得到四组多个压缩指标：
Offset0 CRF 19->BR0 PSNR0 SSIM0 VMAF0
Offset0 CRF 24->BR1 PSNR1 SSIM1 VMAF1
Offset0 CRF 29->BR2 PSNR2 SSIM2 VMAF2
Offset0 CRF 34->BR3 PSNR3 SSIM3 VMAF3
可通过这四组多个压缩指标来计算获得优化目标值。随后，基于该优化目标值将QP偏移数组的调整为Offset1，针对CRF＝19下的QP偏移数组，可以得到一组多个压缩指标的新值：
Offset1 CRF 19->BR4 PSNR4 SSIM4 VMAF4
使用该新值替换上面的四组多个压缩指标中的Q0下的多个压缩指标，从而获得四组多个压缩指标的新值：
Offset1 CRF 19->BR4 PSNR4 SSIM4 VMAF4
Offset0 CRF 24->BR1 PSNR1 SSIM1 VMAF1
Offset0 CRF 29->BR2 PSNR2 SSIM2 VMAF2
Offset0 CRF 34->BR3 PSNR3 SSIM3 VMAF3
可通过这四组多个压缩指标的新值来重新计算获得优化目标值，并重复上面的步骤来确定当前编码器参数的最优QP偏移数组。
在步骤S230，可基于所述多个编码器参数以及相应的多个最优QP偏移数组，通过线性拟合来确定预定视频的斜率和偏移。更具体地，假设Qi(其中，0≤i≤T)对应的QP偏移数组为QPOffseti,0、QPOffset i,1、…、QPOffset i,N-1，可基于以下等式5通过线性拟合来求解斜率和偏移。
[等式5]
QPOffseti,j＝scaleQP(j)*Qi+OffsetQ(j)其中，0≤j≤N-1且j为整数
其中，QPOffseti,j表示QP偏移，scaleQP(j)表示斜率，OffsetQ(j)表示偏移，Qi表示编码器参数。
应了解，图2中的所述预定视频可以为所述输入视频或另外的预定测试视频，也就是说，可以对当前视频进行图2的流程以确定斜率和偏移进而确定帧级别QP，也可以使用预定测试视频预先获得斜率和偏移，随后直接使用该预先获得的斜率和偏移来确定当前视频的帧级别QP。
此外，通过图2所示的示例性实施例来计算斜率和偏移，可在即使当前编码器参数不为整数时也可基于当前编码器参数以及所述斜率和所述偏移来获取相应的QP偏移。
图3是示出根据本发明示例性实施例的QP确定装置的框图。
参照图3，根据本发明示例性实施例的QP确定装置300可包括最近参考距离确定单元310、基准QP确定单元320、QP偏移确定单元330和帧级别QP确定单元340。
最近参考距离确定单元310可被配置为基于输入视频中的当前B帧与前向参考帧之间的距离，以及当前B帧与后向参考帧之间的距离来确定当前B帧的最近参考距离。这里，仅作为示例而非限制，前向参考帧和后向参考帧可以为I帧、P帧或GPB帧。
基准QP确定单元320可被配置为基于所述输入视频中的当前B帧与前向参考帧之间的距离、前向参考帧的帧级别QP、当前B帧与后向参考帧之间的距离、后向参考帧的帧级别QP以及最近参考距离，确定当前B帧的基准QP。
QP偏移确定单元330可被配置为基于由预定视频的最近参考距离的取值范围内的各个取值分别对应的各个QP偏移构成的QP偏移数组以及多个编码器参数，确定所述输入视频中的当前B帧在所述多个编码器参数中的当前编码器参数下的QP偏移，其中，所述预定视频的最近参考距离的取值范围取决于所述预定视频的连续B帧的最大数量。这里，所述预定视频可以为所述输入视频或预定测试视频。
QP偏移确定单元330还可被配置为进行以下操作：获取所述预定视频的斜率和偏移以及当前编码器参数；基于所述预定视频的斜率和偏移以及当前编码器参数来确定所述输入视频中的当前B帧在当前编码器参数下的QP偏移。更具体地，QP偏移确定单元330还可被配置为进行以下操作：设置QP偏移数组的初始值，并确定与QP偏移数组的初始值相应的在所述多个编码器参数中的每个编码器参数下所述预定视频的多个压缩指标的值；分别针对每个编码器参数，基于当前编码器参数下所述预定视频的所述多个压缩指标的值来调整QP偏移数组，以确定当前编码器参数的最优QP偏移数组；基于所述多个编码器参数以及相应的多个最优QP偏移数组，通过线性拟合来确定所述预定视频的斜率和偏移。更具体地，QP偏移确定单元330可被配置为执行以下操作：基于包括与QP偏移数组的初始值相应的在每个编码器参数下所述预定视频的所述多个压缩指标的值的压缩指标组来确定所述预定视频的优化目标值；执行循环过程直至满足预设条件，所述循环过程包括：基于所述预定视频的优化目标值来确定QP偏移数组的调整值，确定与QP偏移数组的调整值相应的在当前编码器参数下所述预定视频的所述多个压缩指标的新值，并使用所述多个压缩指标的新值替换压缩指标组中的值来构成新压缩指标组，其中，所述值为与QP偏移数组的初始值相应的在当前编码器参数下所述预定视频的所述多个压缩指标的值，以及基于新压缩指标组来重新确定所述预定视频的优化目标值；确定所述预定视频的最小的优化目标值所对应的QP偏移数组，作为当前编码器参数的最优QP偏移数组，其中，所述预设条件是所述预定视频的最小的优化目标值被确定。这里，仅作为示例而非限制，所述预定视频的优化目标值可以为所述预定视频的多个BD-rate或多个BSQ-rate的加权和，其中，所述预定视频的多个BD-rate或多个BSQ-rate是基于在当前编码器参数下所述预定视频的所述多个压缩指标而被确定的，QP偏移数组的调整值可通过Nelder-Mead算法而被确定。
帧级别QP确定单元340可被配置为基于所述输入视频中的当前B帧的基准QP和在当前编码器参数下的QP偏移来确定当前B帧在当前编码器参数下的帧级别QP。
图4是示出根据本发明示例性实施例的电子设备的框图。该电子设备400例如可以是：智能手机、平板电脑、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，电子设备400包括有：处理器401和存储器402。
处理器401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器401可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器401可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器401还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器401所执行以实现如图1所示的方法实施例提供的QP确定方法。
在一些实施例中，电子设备400还可选包括有：外围设备接口403和至少一个外围设备。处理器401、存储器402和外围设备接口403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口403相连。具体地，外围设备包括：射频电路404、触摸显示屏405、摄像头406、音频电路407、定位组件408和电源409中的至少一种。
外围设备接口403可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器401和存储器402。在一些实施例中，处理器401、存储器402和外围设备接口403被集成在同一芯片或电路板上；在一些其他实施例中，处理器401、存储器402和外围设备接口403中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路404用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路404将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路404包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路404还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。
显示屏405用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏405是触摸显示屏时，显示屏405还具有采集在显示屏405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器401进行处理。此时，显示屏405还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏405可以为一个，设置在电子设备400的前面板；在另一些实施例中，显示屏405可以为至少两个，分别设置在电子设备400的不同表面或呈折叠设计；在再一些实施例中，显示屏405可以是柔性显示屏，设置在电子设备400的弯曲表面上或折叠面上。甚至，显示屏405还可以设置成非矩形的不规则图形，也即异形屏。显示屏405可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
摄像头组件406用于采集图像或视频。可选地，摄像头组件406包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件406还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器401进行处理，或者输入至射频电路404以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器401或射频电路404的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路407还可以包括耳机插孔。
定位组件408用于定位电子设备400的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件408可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源409用于为电子设备400中的各个组件进行供电。电源409可以是交流电、直流电、一次性电池或可充电电池。当电源409包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，电子设备400还包括有一个或多个传感器410。该一个或多个传感器410包括但不限于：加速度传感器411、陀螺仪传感器412、压力传感器413、指纹传感器414、光学传感器415以及接近传感器416。
加速度传感器411可以检测以电子设备400建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器411可以用于检测重力加速度在三个坐标轴上的分量。处理器401可以根据加速度传感器411采集的重力加速度信号，控制触摸显示屏405以横向视图或纵向视图进行用户界面的显示。加速度传感器411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器412可以检测电子设备400的机体方向及转动角度，陀螺仪传感器412可以与加速度传感器411协同采集用户对电子设备400的3D动作。处理器401根据陀螺仪传感器412采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器413可以设置在电子设备400的侧边框和/或触摸显示屏405的下层。当压力传感器413设置在电子设备400的侧边框时，可以检测用户对电子设备400的握持信号，由处理器401根据压力传感器413采集的握持信号进行左右手识别或快捷操作。当压力传感器413设置在触摸显示屏405的下层时，由处理器401根据用户对触摸显示屏405的压力操作，实现对UI上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器414用于采集用户的指纹，由处理器401根据指纹传感器414采集到的指纹识别用户的身份，或者，由指纹传感器414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器401授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器414可以被设置电子设备400的正面、背面或侧面。当电子设备400上设置有物理按键或厂商Logo时，指纹传感器414可以与物理按键或厂商Logo集成在一起。
光学传感器415用于采集环境光强度。在一个实施例中，处理器401可以根据光学传感器415采集的环境光强度，控制触摸显示屏405的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏405的显示亮度；当环境光强度较低时，调低触摸显示屏405的显示亮度。在另一个实施例中，处理器401还可以根据光学传感器415采集的环境光强度，动态调整摄像头组件406的拍摄参数。
接近传感器416，也称距离传感器，通常设置在电子设备400的前面板。接近传感器416用于采集用户与电子设备400的正面之间的距离。在一个实施例中，当接近传感器416检测到用户与电子设备400的正面之间的距离逐渐变小时，由处理器401控制触摸显示屏405从亮屏状态切换为息屏状态；当接近传感器416检测到用户与电子设备400的正面之间的距离逐渐变大时，由处理器401控制触摸显示屏405从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图4中示出的结构并不构成对电子设备400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图5是示出根据本发明示例性实施例的服务器的示图。参照图5，服务器500包括一个或多个处理处理器510以及存储器520。存储器520可以包括用于执行如上参照图1和图2所述的方法的一个或一个以上的程序。服务器500还可以包括一个电源组件530被配置为执行服务器500的电源管理，一个有线或无线网络接口540被配置为将服务器500连接到网络，和一个输入输出(I/O)接口550。服务器500可以操作基于存储在存储器520的操作系统，例如Windows ServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM或类似。
根据本发明的示例性实施例，还可提供一种计算机可读存储介质，其中，当计算机可读存储介质中的指令被至少一个处理器运行时，促使至少一个处理器执行根据本发明示例性实施例的QP确定方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
根据本公开的示例性实施例，还可提供一种计算机程序产品，包括计算机指令，该计算机指令可由至少一个处理器执行以完成根据本发明示例性实施例的QP确定方法。
根据本发明的示例性实施例，可通过B帧帧级别QP偏移参数的训练方案针对当前视频获得较佳的B帧帧级别QP偏移调整，从而可提供非固定结构下的QP偏移参数以及针对当前视频的最优QP偏移参数；此外，可不受限于帧结构的大小并提升视频编码的压缩性能。
虽然已经参照特定示例性实施例示出和描述了本发明，但是本领域的技术人员将理解，在不脱离范围由权利要求及其等同物限定的本发明的精神和范围的情况下可作出形式和细节上的各种改变。

Claims (10)

1.一种量化参数确定方法，包括：
基于输入视频中的当前B帧与前向参考帧之间的距离，以及当前B帧与后向参考帧之间的距离来确定当前B帧的最近参考距离；
基于所述输入视频中的当前B帧与前向参考帧之间的距离、前向参考帧的帧级别量化参数QP、当前B帧与后向参考帧之间的距离、后向参考帧的帧级别QP以及最近参考距离，确定当前B帧的基准QP；
基于由预定视频的最近参考距离的取值范围内的各个取值分别对应的各个QP偏移构成的QP偏移数组以及多个编码器参数，确定所述输入视频中的当前B帧在所述多个编码器参数中的当前编码器参数下的QP偏移，其中，所述预定视频的最近参考距离的取值范围取决于所述预定视频的连续B帧的最大数量；以及
基于所述输入视频中的当前B帧的基准QP和在当前编码器参数下的QP偏移来确定当前B帧在当前编码器参数下的帧级别QP。
2.如权利要求1所述的量化参数确定方法，其特征在于，前向参考帧为帧内预测I帧、帧间预测P帧或广义PB画面GPB帧，后向参考帧为帧内预测I帧、帧间预测P帧或广义PB画面GPB帧。
3.如权利要求1所述的量化参数确定方法，其特征在于，确定所述输入视频中的当前B帧在所述多个编码器参数中的当前编码器参数下的QP偏移的步骤包括：
获取所述预定视频的斜率和偏移以及当前编码器参数；
基于所述预定视频的斜率和偏移以及当前编码器参数来确定所述输入视频中的当前B帧在当前编码器参数下的QP偏移。
4.如权利要求3所述的量化参数确定方法，其特征在于，获取所述预定视频的斜率和偏移的步骤包括：
设置QP偏移数组的初始值，并确定与QP偏移数组的初始值相应的在所述多个编码器参数中的每个编码器参数下所述预定视频的多个压缩指标的值；
分别针对每个编码器参数，基于当前编码器参数下所述预定视频的所述多个压缩指标的值来调整QP偏移数组，以确定当前编码器参数的最优QP偏移数组；
基于所述多个编码器参数以及相应的多个最优QP偏移数组，通过线性拟合来确定所述预定视频的斜率和偏移。
5.如权利要求4所述的量化参数确定方法，其特征在于，确定当前编码器参数的最优QP偏移数组包括以下步骤：
基于包括与QP偏移数组的初始值相应的在每个编码器参数下所述预定视频的所述多个压缩指标的值的压缩指标组来确定所述预定视频的优化目标值；
执行循环过程直至满足预设条件，所述循环过程包括：
基于所述预定视频的优化目标值来确定QP偏移数组的调整值，
确定与QP偏移数组的调整值相应的在当前编码器参数下所述预定视频的所述多个压缩指标的新值，并使用所述多个压缩指标的新值替换压缩指标组中的值来构成新压缩指标组，其中，所述值为与QP偏移数组的初始值相应的在当前编码器参数下所述预定视频的所述多个压缩指标的值，以及
基于新压缩指标组来重新确定所述预定视频的优化目标值；
确定所述预定视频的最小的优化目标值所对应的QP偏移数组，作为当前编码器参数的最优QP偏移数组，其中，所述预设条件是所述预定视频的最小的优化目标值被确定。
6.如权利要求5所述的量化参数确定方法，其特征在于，所述预定视频的优化目标值为所述预定视频的多个
Figure FDA0003390700000000021
率失真比率BD-rate或多个同质量比特率比率BSQ-rate的加权和，其中，所述预定视频的多个BD-rate或多个BSQ-rate是基于在当前编码器参数下所述预定视频的所述多个压缩指标而被确定的。
7.一种量化参数确定装置，包括：
最近参考距离确定单元，被配置为基于输入视频中的当前B帧与前向参考帧之间的距离，以及当前B帧与后向参考帧之间的距离来确定当前B帧的最近参考距离；
基准量化参数QP确定单元，被配置为基于所述输入视频中的当前B帧与前向参考帧之间的距离、前向参考帧的帧级别QP、当前B帧与后向参考帧之间的距离、后向参考帧的帧级别QP以及最近参考距离，确定当前B帧的基准QP；
QP偏移确定单元，被配置为基于由预定视频的最近参考距离的取值范围内的各个取值分别对应的各个QP偏移构成的QP偏移数组以及多个编码器参数，确定所述输入视频中的当前B帧在所述多个编码器参数中的当前编码器参数下的QP偏移，其中，所述预定视频的最近参考距离的取值范围取决于所述预定视频的连续B帧的最大数量；以及
帧级别QP确定单元，被配置为基于所述输入视频中的当前B帧的基准QP和在当前编码器参数下的QP偏移来确定当前B帧在当前编码器参数下的帧级别QP。
8.一种电子设备，包括存储器和处理器，存储器上存储有计算机可执行指令，当所述指令由处理器执行时，执行前述权利要求1～6中任一项所述的量化参数确定方法。
9.一种计算机可读介质，其上存储有计算机可执行指令，当执行所述指令时，执行前述权利要求1～6中任一项所述的量化参数确定方法。
10.一种计算机程序产品，包括计算机指令，所述计算机指令被至少一个处理器执行时实现如权利要求1～6中任一项所述的量化参数确定方法。
CN202111464369.4A 2021-12-03 2021-12-03 量化参数确定方法和装置 Active CN113938689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111464369.4A CN113938689B (zh) 2021-12-03 2021-12-03 量化参数确定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111464369.4A CN113938689B (zh) 2021-12-03 2021-12-03 量化参数确定方法和装置

Publications (2)

Publication Number Publication Date
CN113938689A true CN113938689A (zh) 2022-01-14
CN113938689B CN113938689B (zh) 2023-09-26

Family

ID=79288703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111464369.4A Active CN113938689B (zh) 2021-12-03 2021-12-03 量化参数确定方法和装置

Country Status (1)

Country Link
CN (1) CN113938689B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03139772A (ja) * 1989-10-25 1991-06-13 Nec Corp 距離画像取得方法及び装置
CN102450014A (zh) * 2009-03-31 2012-05-09 拜特移动网络公司 用于质量感知视频优化的框架
GB201217461D0 (en) * 2012-09-28 2012-11-14 Canon Kk Method and devices for encoding an image of pixels into a video bitstream and decoding the corresponding video bitstream
US20190320175A1 (en) * 2017-11-21 2019-10-17 Tencent Technology (Shenzhen) Company Limited Video coding method, computer device, and storage medium
CN111742554A (zh) * 2018-02-01 2020-10-02 联发科技股份有限公司 具有视频数据自适应量化的视频编码或解码方法和装置
CN111901597A (zh) * 2020-08-05 2020-11-06 杭州当虹科技股份有限公司 一种基于视频复杂度的cu级qp分配算法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03139772A (ja) * 1989-10-25 1991-06-13 Nec Corp 距離画像取得方法及び装置
CN102450014A (zh) * 2009-03-31 2012-05-09 拜特移动网络公司 用于质量感知视频优化的框架
GB201217461D0 (en) * 2012-09-28 2012-11-14 Canon Kk Method and devices for encoding an image of pixels into a video bitstream and decoding the corresponding video bitstream
US20190320175A1 (en) * 2017-11-21 2019-10-17 Tencent Technology (Shenzhen) Company Limited Video coding method, computer device, and storage medium
CN111742554A (zh) * 2018-02-01 2020-10-02 联发科技股份有限公司 具有视频数据自适应量化的视频编码或解码方法和装置
CN111901597A (zh) * 2020-08-05 2020-11-06 杭州当虹科技股份有限公司 一种基于视频复杂度的cu级qp分配算法

Also Published As

Publication number Publication date
CN113938689B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
JP7026260B2 (ja) ビデオ符号化方法、ビデオ符号化装置およびコンピュータプログラム
CN112118450B (zh) 预测模式的解码、编码方法及装置
CN108391127B (zh) 视频编码方法、装置、存储介质及设备
WO2023087637A1 (zh) 视频编码方法和装置、电子设备和计算机可读存储介质
CN110166776B (zh) 视频编码方法、装置及存储介质
CN112533065B (zh) 发布视频的方法、装置、电子设备和存储介质
CN114302137B (zh) 用于视频的时域滤波方法、装置、存储介质及电子设备
CN113192519B (zh) 音频编码方法和装置以及音频解码方法和装置
CN113938689B (zh) 量化参数确定方法和装置
CN111698262B (zh) 带宽确定方法、装置、终端及存储介质
CN114332709A (zh) 视频处理方法、装置、存储介质以及电子设备
CN113038124B (zh) 视频编码方法、装置、存储介质及电子设备
CN113891090A (zh) 视频编码方法、装置、存储介质及电子设备
CN114422782B (zh) 视频编码方法、装置、存储介质及电子设备
CN114268797B (zh) 用于视频的时域滤波的方法、装置、存储介质及电子设备
CN117676170A (zh) 块效应检测的方法、装置、设备和存储介质
CN114360555A (zh) 音频处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant