CN112655212B - 视频编码优化方法、装置及计算机存储介质 - Google Patents

视频编码优化方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN112655212B
CN112655212B CN201880097309.3A CN201880097309A CN112655212B CN 112655212 B CN112655212 B CN 112655212B CN 201880097309 A CN201880097309 A CN 201880097309A CN 112655212 B CN112655212 B CN 112655212B
Authority
CN
China
Prior art keywords
level
block
image frame
value
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880097309.3A
Other languages
English (en)
Other versions
CN112655212A (zh
Inventor
周益民
黄航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN112655212A publication Critical patent/CN112655212A/zh
Application granted granted Critical
Publication of CN112655212B publication Critical patent/CN112655212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频编码优化方法、装置及计算机存储介质，所述方法包括：获取待编码图像帧中至少一个像素点对应的像素失真值，其中，所述像素失真值用于表征所述待编码图像帧编码质量的优劣程度(S101)；根据所述像素失真值以及对所述待编码图像帧的块级划分，获取所述待编码图像帧的块级优化因子，其中，所述块级优化因子用于表征块级编码质量提升所需参数的调整程度(S102)；基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理(S103)。

Description

视频编码优化方法、装置及计算机存储介质
技术领域
本申请实施例涉及视频编解码技术领域，尤其涉及一种视频编码优化方法、装置及计算机存储介质。
背景技术
视频图像的采集形式多种多样。通常来讲，较为静止的摄像机位获取的视频图像具有背景较为固定、前景人物或者物体运动的情景。多数的视频编码器能够将背景部分的质量保持得比较好，呈现视觉质量较高的特点；而对于运动的前景部分，由于率-失真优化(Rate Distortion Optimization，RDO)技术的广泛引入，编码器为了节省比特率常常选择恢复质量较差的模式进行编码，这就导致了重构后的视频图像在运动区域常常出现块现象，甚至模糊拖影等低质量情况。
在实际应用中，人们观看视频图像，往往重点都放在了对运动区域的关注和追踪；与此同时，背景部分的图像内容常常被人们忽略。当前主流的编码器都倾向于投入比特率编码较好的背景像素，节省比特率编码较差的前景像素，这与人们的主观感受相违背。虽然从编码器的客观性能统计上提升了平均质量；但是引起了运动区域，即前景部分的质量下降，使得图像的视觉质量并没有达到预期效果。
发明内容
有鉴于此，本申请实施例期望提供一种视频编码优化方法、装置及计算机存储介质，可以有效地提升图像运动区域的编码质量，客观上使得前景内容和背景内容的质量误差缩小，整体达到主观质量改善和提高的目的。
本申请实施例的技术方案可以如下实现：
第一方面，本申请实施例提供了一种视频编码优化方法，所述方法包括：
获取待编码图像帧中至少一个像素点对应的像素失真值；其中，所述像素失真值用于表征所述待编码图像帧编码质量的优劣程度；
根据所述像素失真值以及对所述待编码图像帧的块级划分，获取所述待编码图像帧的块级优化因子；其中，所述块级优化因子用于表征块级编码质量提升所需参数的调整程度；
基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理。
在上述方案中，在所述获取待编码图像帧中至少一个像素点对应的像素失真值之后，所述方法还包括：
对所述待编码图像帧中所有像素点对应的像素失真值进行均值计算，得到所述待编码图像帧对应的第一像素失真均值；
基于所述待编码图像帧中各个像素点对应的像素失真值以及所述第一像素失真均值，得到所述待编码图像帧中至少一个像素点的离差值。
在上述方案中，所述根据所述像素失真值以及对所述待编码图像帧的块级划分，获取所述待编码图像帧的块级优化因子，包括：
根据所述离差值，计算所述待编码图像帧的帧级离差概率分布函数；并基于对所述待编码图像帧的块级划分，计算所述待编码图像帧的块级离差概率分布函数；
根据所述帧级离差概率分布函数和所述块级离差概率分布函数的偏离程度，获取所述待编码图像帧的块级优化因子。
在上述方案中，所述根据所述像素失真值以及对所述待编码图像帧的块级划分，获取所述待编码图像帧的块级优化因子，包括：
将所述像素失真值与预设失真阈值进行比较；
当所述像素失真值大于预设失真阈值时，得到第一失真集合；其中，所述第一失真集合用于表征像素失真值大于预设失真阈值所对应的像素失真值集合；
对所述第一失真集合中的像素失真值进行均值计算，得到所述待编码图像帧对应的第二像素失真均值；
基于所述第一失真集合中的像素失真值以及所述第二像素失真均值，确定所述待编码图像帧的块级划分以及所述待编码图像帧的块级优化因子。
在上述方案中，所述基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理，包括：
根据所述块级优化因子，对块级拉格朗日乘子进行优化调整；
基于拉格朗日乘子与量化参数之间的对应关系，根据优化调整后的块级拉格朗日乘子得到优化调整后的块级量化参数；
基于优化调整后的块级拉格朗日乘子和优化调整后的块级量化参数，对所述待编码图像帧进行块级编码处理。
在上述方案中，所述获取待编码图像帧中至少一个像素点对应的像素失真值，，包括：
获取所述待编码图像帧中各个像素点对应的重构像素值和原始像素值；
通过对所述重构像素值和所述原始像素值进行计算，得到所述待编码图像帧中各个像素点对应的像素失真值。
在上述方案中，所述根据所述离差值，计算所述待编码图像帧的帧级离差概率分布函数，包括：
对所述离差值进行绝对值处理，得到所述待编码图像帧中至少一个像素点对应的离差绝对值；
根据得到的离差绝对值，统计不同的离差绝对值分别对应的概率值；
根据所述得到的离差绝对值以及分别与其对应的概率值，计算出所述待编码图像帧的帧级离差概率分布函数。
在上述方案中，所述根据所述帧级离差概率分布函数和所述块级离差概率分布函数的偏离程度，获取所述待编码图像帧的块级优化因子，包括：
对所述帧级离差概率分布函数和所述块级离差概率分布函数进行差值积分，得到所述待编码图像帧划分的块级与帧级之间的偏离程度值，将所述偏离程度值作为所述块级优化因子。
在上述方案中，所述根据所述块级优化因子，对块级拉格朗日乘子进行优化调整，包括：
若所述待编码图像帧是P帧，则记录所述块级优化因子，并将所述块级优化因子作为B帧的块级优化因子参考值；
若所述待编码图像帧是B帧，则根据所述块级优化因子参考值对块级拉格朗日乘子进行优化调整；其中，所述块级优化因子参考值是根据P帧对应位置的块级优化因子得到的。
在上述方案中，在所述基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理之后，所述方法还包括：
判断所述待编码图像帧是否为尾帧；
若所述待编码图像帧不是尾帧，则继续执行下一帧图像的视频编码优化方法的流程；
若所述待编码图像帧是尾帧，则结束所述视频编码优化方法的流程。
第二方面，本申请实施例提供了一种视频编码优化装置，所述视频编码优化装置包括：获取单元和编码单元，
所述获取单元，配置为获取待编码图像帧中至少一个像素点对应的像素失真值；其中，所述像素失真值用于表征所述待编码图像帧编码质量的优劣程度；
所述获取单元，还配置为根据所述像素失真值以及对所述待编码图像帧的块级划分，获取所述待编码图像帧的块级优化因子；其中，所述块级优化因子用于表征块级编码质量提升所需参数的调整程度；
所述编码单元，配置为基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理。
在上述方案中，所述视频编码优化装置还包括计算单元，配置为对所述待编码图像帧中所有像素点对应的像素失真值进行均值计算，得到所述待编码图像帧对应的第一像素失真均值；以及基于所述待编码图像帧中各个像素点对应的像素失真值以及所述第一像素失真均值，得到所述待编码图像帧中至少一个像素点的离差值。
在上述方案中，所述计算单元，还配置为根据所述离差值，计算所述待编码图像帧的帧级离差概率分布函数；并基于对所述待编码图像帧的块级划分，计算所述待编码图像帧的块级离差概率分布函数；
所述获取单元，配置为根据所述帧级离差概率分布函数和所述块级离差概率分布函数的偏离程度，获取所述待编码图像帧的块级优化因子。
在上述方案中，所述获取单元，还配置为将所述像素失真值与预设失真阈值进行比较；以及当所述像素失真值大于预设失真阈值时，得到第一失真集合；其中，所述第一失真集合用于表征像素失真值大于预设失真阈值所对应的像素失真值集合；
所述计算单元，还配置为对所述第一失真集合中的像素失真值进行均值计算，得到所述待编码图像帧对应的第二像素失真均值；
所述获取单元，还配置为基于所述第一失真集合中的像素失真值以及所述第二像素失真均值，确定所述待编码图像帧的块级划分以及所述待编码图像帧的块级优化因子。
在上述方案中，所述视频编码优化装置还包括调整单元，配置为根据所述块级优化因子，对块级拉格朗日乘子进行优化调整；以及基于拉格朗日乘子与量化参数之间的对应关系，根据优化调整后的块级拉格朗日乘子得到优化调整后的块级量化参数；
所述编码单元，配置为基于优化调整后的块级拉格朗日乘子和优化调整后的块级量化参数，对所述待编码图像帧进行块级编码处理。
在上述方案中，所述获取单元，还配置为获取所述待编码图像帧中至少一个像素点对应的重构像素值和原始像素值；以及通过对所述重构像素值和所述原始像素值进行计算，得到所述待编码图像帧中至少一个像素点对应的像素失真值。
在上述方案中，所述计算单元，还配置为对所述离差值进行绝对值处理，得到所述待编码图像帧中至少一个像素点对应的离差绝对值；以及根据得到的离差绝对值，统计不同的离差绝对值分别对应的概率值；以及根据所述得到的离差绝对值以及分别与其对应的概率值，计算出所述待编码图像帧的帧级离差概率分布函数。
在上述方案中，所述计算单元，还配置为对所述帧级离差概率分布函数和所述块级离差概率分布函数进行差值积分，得到所述待编码图像帧划分的块级与帧级之间的偏离程度值，将所述偏离程度值作为所述块级优化因子。
在上述方案中，所述视频编码优化装置还包括比较单元，配置为若所述待编码图像帧是P帧，则记录所述块级优化因子，并将所述块级优化因子作为B帧的块级优化因子参考值；以及若所述待编码图像帧是B帧，则根据所述块级优化因子参考值对块级拉格朗日乘子进行优化调整；其中，所述块级优化因子参考值是根据P帧对应位置的块级优化因子得到的。
在上述方案中，所述比较单元，还配置为判断所述待编码图像帧是否为尾帧；以及若所述待编码图像帧不是尾帧，则继续执行下一帧图像的视频编码优化方法的流程；以及若所述待编码图像帧是尾帧，则结束所述视频编码优化方法的流程。
第三方面，本申请实施例提供了一种视频编码优化装置，所述视频编码优化装置包括：存储器和处理器；
所述存储器，用于存储能够在所述处理器上运行的计算机程序；
所述处理器，用于在运行所述计算机程序时，执行如第一方面中任一项所述方法的步骤。
第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有视频编码优化程序，所述视频编码优化程序被至少一个处理器执行时实现如第一方面中任一项所述方法的步骤
本申请实施例提供了一种视频编码优化方法、装置及计算机存储介质，通过获取待编码图像帧中至少一个像素点对应的像素失真值，再根据所述像素失真值以及对所述待编码图像帧的块级划分，获取所述待编码图像帧的块级优化因子；由于像素失真值用于表征所述待编码图像帧编码质量的优劣程度，从而可以获取到用于表征块级编码质量提升所需参数调整的块级优化因子；最后基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理；这样，通过块级优化因子对待编码图像帧进行块级编码优化处理，可以提升待编码图像帧中前景运动区域质量，以使得前景运动区域质量逼近背景静止区域质量，进而使得前景内容和背景内容的质量误差缩小，具有非常重要的应用价值。
附图说明
图1为本申请实施例提供的一种视频编码优化方法的流程示意图；
图2为本申请实施例提供的一种离差概率密度函数的直方图示意图；
图3为本申请实施例提供的另一种离差概率密度函数的直方图示意图；
图4为本申请实施例提供的一种离差概率分布曲线的结构示意图；
图5为本申请实施例提供的一种块级离差概率分布曲线和帧级离差概率分布曲线的结构示意图；
图6为本申请实施例提供的一种视频编码优化方法的详细流程示意图；
图7为本申请实施例提供的一种块级编码优化处理的详细流程示意图；
图8为本申请实施例提供的一种视频编码优化装置的结构示意图；
图9为本申请实施例提供的另一种视频编码优化装置的结构示意图；
图10为本申请实施例提供的又一种视频编码优化装置的结构示意图；
图11为本申请实施例提供的再一种视频编码优化装置的结构示意图；
图12为本申请实施例提供的一种视频编码优化装置的具体硬件结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
随着数字媒体时代的发展，通过网络传输连续的媒体数据已经成为大势所趋，同时越来越多的用户希望用个人计算机(Personal Computer，PC)和非PC设备通过互联网和无线网络来进行视频通信和服务，这种随时随地的视频通信和服务对当前视频编码技术提出了更大的挑战。
目前的视频编码利用分割技术，把图像的空间区域划分为互不交叠的小块作为编码的基本单元，然后再对其进行编码。主流的编码器，比如H.264、H.265、H.266等，对于确定的一帧图像，它划分的每一个编码单元(Coding Unit，CU)一般采用相同的参数进行编码，该参数可以包括量化参数(Quantization Parameter，QP)和拉格朗日乘子(Lambda，λ)。而通过引入的率失真优化(Rate Distortion Optimization，RDO)技术对于块级编码模式进行抉择，这时候为了平衡质量和比特率，将会导致编码器抉择出的图像质量在一帧图像中呈现出差异非常大的特点。虽然从失真的均值统计角度来看，视频编码的效率有所提升，但是从图像的视觉质量角度来看，图像质量并没有达到预期。因此，如何有效控制一帧图像的最差质量比提升其均值更为有意义。
然而，目前主流的视频编码优化技术都把目标放在了如何节省码率、如何降低像素的平均失真方面，并没有考虑到视频编码中最差部分的质量，也即失真最大部分的质量控制。例如，在广电网络关于视频压缩效率的评价中，并不是以客观的峰值信噪比(PeakSignal to Noise Ratio，PSNR)均值来进行质量评价，而是以人眼的视觉效果进行质量评价；其中，人眼通常关注的是图像中运动的物体和内容，常常忽略背景的质量。由于目前主流的编码器优化工具的主要特点就是将码字提供给了背景内容以换取质量提升，节省了编码运动物体的码字，达到了客观平均质量提升的目的；但是引起了图像运动区域，也就是前景部分的质量下降问题。
为了解决上述技术问题，本申请实施例的基本思想是通过调节待编码图像帧中的块级优化因子，达到待编码图像帧在失真区域的质量平滑。具体地，本申请实施例提供了一种视频编码优化方法，通过获取待编码图像帧中至少一个像素点对应的像素失真值；再根据所述像素失真值以及对所述待编码图像帧的块级划分，获取所述待编码图像帧的块级优化因子；最后基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理；这样，通过块级优化因子对待编码图像帧进行块级编码优化处理，可以提升待编码图像帧中前景运动区域质量，以使得前景运动区域质量逼近背景静止区域质量，从而缩小前景内容和背景内容的质量误差，可以达到编码后的整帧图像质量趋于平滑的目的，具有非常重要的应用价值。下面将结合附图对本申请各实施例进行详细描述。
参见图1，其示出了本申请实施例提供的一种视频编码优化方法的流程示意图，该方法可以包括：
S101：获取待编码图像帧中至少一个像素点对应的像素失真值；其中，所述像素失真值用于表征所述待编码图像帧编码质量的优劣程度；
S102：根据所述像素失真值以及对所述待编码图像帧的块级划分，获取所述待编码图像帧的块级优化因子；其中，所述块级优化因子用于表征块级编码质量提升所需参数的调整程度；
S103：基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理。
需要说明的是，在视频编码中，块级编码质量提升所需参数至少包括块级拉格朗日乘子λCU和块级量化参数QPCU。在获取到待编码图像帧之后，对待编码图像帧进行块级划分，可以得到多个CU，然后以CU为单位进行编码。这样，根据获取的块级优化因子对λCU和QPCU进行优化调整，可以更好地达到控制块级编码质量的目的。
基于图1所示的技术方案，在一种可能的实现方式中，所述获取待编码图像帧中至少一个像素点对应的像素失真值，包括：
获取所述待编码图像帧中至少一个像素点对应的重构像素值和原始像素值；
通过对所述重构像素值和所述原始像素值进行计算，得到所述待编码图像帧中至少一个像素点对应的像素失真值。
需要说明的是，待编码图像帧的像素值是数字化的图像信号。其中，重构像素值表示待编码图像帧编码后所对应的重构图像帧中各个像素点的重构值，原始像素值表示待编码图像帧编码前所对应的原始图像帧中各个像素点的原始值；这样，重构像素值与原始像素值之间的像素差值是用于刻画待编码图像帧在编码前后的信息丢失程度，通常称之为失真。
在视频编码中，YUV表示一种色彩空间，基于YUV的颜色编码是流媒体的常用编码方式；其中，“Y”表示明亮度(Luminance，Y)，“U”表示色度(Chrominance，U)，“V”表示浓度(Chroma，V)。下面以YUV视频图像为例，像素失真值可以根据式(1)进行计算；根据式(1)可以看出，像素失真值是由重构像素值和原始像素值之间的像素差值的绝对值得到的。
D(p，q)＝|Crec(p，q)-Csrc(p，q)|    (1)
其中，p和q表示像素点在待编码图像帧中第p行第q列的位置；C表示YUV视频图像某一分量的色彩空间，C＝Y或者C＝U或者C＝V；Crec(p，q)表示待编码图像帧编码后所对应的重构图像帧中第p行第q列对应的重构像素值，Csrc(p，q)表示待编码图像帧编码前所对应的原始图像帧中第p行第q列对应的原始像素值；D(p，q)表示待编码图像帧中第p行第q列对应的像素失真值。
还需要说明的是，像素差值表示重构像素值距离原始像素值之间的差距，正负意义相同；因此，像素差值的绝对值用于表示待编码图像帧编码前后的失真程度，即，像素失真值可以用像素差值的绝对值表示。在本申请实施例中，除了可以用像素失真值来判断CU的运动/失真属性之外，还可以用其他特征值进行判断，本申请实施例不作具体限定。
可以理解地，在获取到待编码图像帧所有像素点对应的像素失真值之后，可以进一步获取待编码图像帧各个像素点对应的离差值；因此，基于图1所示的技术方案，在一种可能的实现方式中，在所述获取待编码图像帧中至少一个像素点对应的像素失真值之后，所述方法还包括：
对所述待编码图像帧中所有像素点对应的像素失真值进行均值计算，得到所述待编码图像帧对应的像素失真均值；
基于所述待编码图像帧中各个像素点对应的像素失真值以及所述像素失真均值，得到所述待编码图像帧中至少一个像素点的离差值。
需要说明的是，在获取到待编码图像帧所有像素点对应的像素失真值之后，针对这些所有像素失真值求取平均值，可以得到待编码图像帧对应的像素失真均值，具体地，根据下述的式(2)进行计算，
Figure GPA0000301610720000081
其中，W表示待编码图像帧所有像素点的宽度，H表示待编码图像帧所有像素点的高度，
Figure GPA0000301610720000083
表示待编码图像帧对应的像素失真均值，p＝1，2，...，W，q＝1，2，...，H。
这样，待编码图像帧中任意一个像素点失真的离差值可以根据下述的式(3)得出，
Figure GPA0000301610720000082
其中，Dev(p，q)表示待编码图像帧中第p行第q列像素点对应的离差值。
还需要说明的是，离差值的大小刻画了像素失真值与平均值之间的差距，同时反映了数据的离散程度。在本申请实施例中，像素值的变化范围根据实际情况进行具体设定，比如0到1023之间的整数，本申请实施例对此不作具体限定。假如待编码图像帧以10bit视频为例，设定像素值的变化范围为0到1023之间的整数，那么D(p，q)的取值范围为0到1023之间的整数；再根据式(2)计算得到像素失真均值
Figure GPA0000301610720000091
之后，式(3)中D(p，q)相对于
Figure GPA0000301610720000092
的偏移大小决定了离差强度。这样，当D(p，q)的最小值为0时，表示了重构图像的重构像素值与原始图像的原始像素值是相同的，此时Dev(p，q)会得到最小值，即
Figure GPA0000301610720000095
在上述实现方式中，具体地，所述根据所述像素失真值以及对所述待编码图像帧的块级划分，获取所述待编码图像帧的块级优化因子，包括：
根据所述离差值，计算所述待编码图像帧的帧级离差概率分布函数；并基于对所述待编码图像帧的块级划分，计算所述待编码图像帧的块级离差概率分布函数；
根据所述帧级离差概率分布函数和所述块级离差概率分布函数的偏离程度，获取所述待编码图像帧的块级优化因子。
在上述具体实现方式中，更具体地，所述根据所述离差值，计算所述待编码图像帧的帧级离差概率分布函数，包括：
对所述离差值进行绝对值处理，得到所述待编码图像帧中至少一个像素点对应的离差绝对值；
根据得到的离差绝对值，统计不同的离差绝对值分别对应的概率值；
根据所述得到的离差绝对值以及分别与其对应的概率值，计算出所述待编码图像帧的帧级离差概率分布函数。
需要说明的是，概率密度函数用于描述随机变量的取值在某个确定值附近的概率情况。这样，在获取到待编码图像帧中至少一个像素点对应的离差值之后，概率密度函数能够形象地刻画出Dev(p，q)的概率分布情况；其中，Dev(p，q)表示离散型随机变量，下述的式(4)表示Dev(p，q)的分布律，而pk是根据式(5)计算得到的。
Figure GPA0000301610720000093
Figure GPA0000301610720000094
其中，Devk表示离差值为k的像素点个数，N表示待编码图像帧的总像素点个数，即N＝W·H，pk表示离差值为k所对应的概率值。
还需要说明的是，假定将离差值Dev(p，q)作为统计样本的随机变量xk，根据式(4)和式(5)进行统计，可以分别得出xk所对应的概率pk；根据xk与pk之间的对应关系，可以绘制出离差概率密度函数的直方图如图2所示。参见图2，其示出了本申请实施例提供的一种离差概率密度函数的直方图示意图；一般情况下，在离差值为0的左右区域，离差值对应的概率较大，随着离差值增大，概率会降低至0；靠近离差值为0的区域的概率值，表示了视频质量好的比例；反之，离差值越大的区域的概率值，也就表示了视频质量差的比例；从图2所示的直方图可以看出，视频质量差的区域的比例不容忽视。本申请实施例的目的就是为了实现减小拖尾，即减小离差值较大时的概率，尽可能使得离差值较大时的概率趋于0，从而能够提升前景运动区域质量以逼近背景静止区域质量。
可以理解地，如果对Dev(p，q)进行绝对值处理，可以得到|Dev(p，q)|；那么根据|Dev(p，q)|所绘制出离差概率密度函数的直方图如图3所示。参见图3，其示出了本申请实施例提供的另一种离差概率密度函数的直方图示意图；图3所示的直方图是根据图2所示的直方图经过绝对值运算得到的，从图3所示的直方图可以看出，离差值≤8的区域，反映了离差值较小的区域的概率值，该区域的概率较大，而且相对集中；而离差值在10～35范围内的区域，反映了离差值较大的区域的概率值，该区域的概率较低，而且存在较长拖尾；可见，图3所示的直方图进一步表明本申请实施例的目的就是为了实现减小拖尾，即减小离差值较大时的概率，尽可能使得离差值较大时的概率趋于0。
由于Dev(p，q)的取值范围在
Figure GPA0000301610720000104
到1023之间的整数，绝对值处理之后|Dev(p，q)|的取值范围为0到1023之间的整数；而针对|Dev(p，q)|的离差概率分布曲线，可以根据式(6)得出，
Figure GPA0000301610720000101
需要说明的是，以图3所示的直方图为例，结合式(6)提供的离差概率分布函数，图4给出了与图3相对应的离差概率分布曲线的结构示意图；其中，横坐标x表示离差值，纵坐标F(x)表示累积概率，即F(x)为离差值小于等于x所对应的概率累加值。由于目前主流的视频编码标准都是采用基于块的混合编码框架，一帧图像可以被划分为多个块，也即被划分为多个CU，然后编码以CU为单位进行。这样，块级失真离差统计与帧级失真离差统计的关系可以看做为样本与总体的关系；仍以图3所示的直方图为例，可以分别计算出块级离差概率分布曲线和帧级离差概率分布曲线，如图5所示本申请实施例提供的一种块级离差概率分布曲线和帧级离差概率分布曲线的结构示意图；其中，横坐标x表示离差值，纵坐标F(x)表示累积概率；从图5中可以看出，块级离差概率分布曲线和帧级离差概率分布曲线之间的偏离程度，以便根据两者的偏离程度对块级拉格朗日乘子和块级量化参数进行优化调整，从而达到控制编码质量的目的。
在上述具体实现方式中，更具体地，所述根据所述帧级离差概率分布函数和所述块级离差概率分布函数的偏离程度，获取所述待编码图像帧的块级优化因子，包括：
对所述帧级离差概率分布函数和所述块级离差概率分布函数进行差值积分，得到所述待编码图像帧划分的块级与帧级之间的偏离程度值，将所述偏离程度值作为所述块级优化因子。
需要说明的是，在获取到帧级离差概率分布函数Fframe(x)和块级离差概率分布函数FCU(x)之后，通过计算比较块级与帧级的离差概率分布情况，得到它们之间的偏离程度。偏离程度值是根据帧级离差概率分布函数Fframe(x)和块级离差概率分布函数FCU(x)的差值积分得到的，具体地，根据下述的式(7)进行计算，
Figure GPA0000301610720000102
其中，Fframe(x)表示帧级离差概率分布函数，FCU(x)表示块级离差概率分布函数，S表示两者的偏离程度值，具体为两者围出的面积，比如图5所示的帧级离差概率分布函数和块级离差概率分布函数以及两者围出的面积。
进一步地，S的离散计算过程，可以根据式(8)进行，
Figure GPA0000301610720000103
还需要说明的是，S可以看作帧内划分出块的块级离差概率分布与帧级离差概率分布的偏离程度，一般来说，S尽可能的小，以使得样本和总体之间趋于一致。这样，当S为正值时，表明当前CU块的图像质量较差。即块级样本质量低于帧级总体质量；当S为负值时，表明当前CU块的图像质量较好，即块级样本质量高于帧级总体质量。
基于图1所示的技术方案，在一种可能的实现方式中，所述根据所述像素失真值以及对所述待编码图像帧的块级划分，获取所述待编码图像帧的块级优化因子，包括：
将所述像素失真值与预设失真阈值进行比较；
当所述像素失真值大于预设失真阈值时，得到第一失真集合；其中，所述第一失真集合用于表征像素失真值大于预设失真阈值所对应的像素失真值集合；
对所述第一失真集合中的像素失真值进行均值计算，得到所述待编码图像帧对应的第二像素失真均值；
基于所述第一失真集合中的像素失真值以及所述第二像素失真均值，确定所述待编码图像帧的块级划分以及所述待编码图像帧的块级优化因子。
需要说明的是，预设失真阈值表示用于衡量待编码图像帧中的像素失真值是否作为统计样本的一个判定值；在实际应用中，预设失真阈值根据具体情况进行设定，本申请实施例不作具体限定。例如，以预设失真阈值为分界线，可以将大于预设失真阈值的这部分像素失真值作为统计样本，即第一失真集合；然后通过对第一失真集合中的像素失真值进行均值计算，可以得到第二像素失真均值；最后根据第一失真集合中的像素失真值以及第二像素失真均值进行待编码图像帧的块级划分，并确定出待编码图像帧的块级优化因子。
基于图1所示的技术方案，在一种可能的实现方式中，所述基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理，包括：
根据所述块级优化因子，对块级拉格朗日乘子进行优化调整；
基于拉格朗日乘子与量化参数之间的对应关系，根据优化调整后的块级拉格朗日乘子得到优化调整后的块级量化参数；
基于优化调整后的块级拉格朗日乘子和优化调整后的块级量化参数，对所述待编码图像帧进行块级编码处理。
需要说明的是，在视频编码中，通常采用的是调整CU编码参数来达到控制编码质量的目的。率失真优化技术中的拉格朗日乘子用于抉择编码模式，是十分重要和灵敏的一个编码参数。为了避免拉格朗日乘子的调整过于偏大或者偏小，本申请实施例中λCU的优化调整可以由式(9)给出，
λCU＝λsys×2-ρ×S    (9)
其中，λCU表示分配的为块级拉格朗日乘子，λsys表示为编码器系统默认的拉格朗日乘子，ρ表示常量参数。
进一步地，在视频编码中，拉格朗日乘子与量化参数之间具有一一对应关系，也就是说，块级拉格朗日乘子λCU与块级量化参数QPCU之间具有一一对应关系；其中，λCU可以为浮点数，用于小幅度调整；但是QPCU只能为整数，用于大幅度调整；如果降低QPCU值，λCU随之减小，此时图像质量会变好；反之，如果增加QPCU值，λCU随之增大，此时图像质量会变差。一帧图像可以被划分为多个块，针对每一个CU，具有自身分配的λCU和QPCU；CU的不同，其对应的λCU和QPCU也可以不同。在本申请实施例中，在得到优化调整后的λCU之后，为了简化QPCU的计算，减少编码复杂度，可以根据λCU与QPCU之间的对应关系，如式(10)所示，直接求取优化调整后的QPCU。
QPCU＝a×ln(λCU)+b    (10)
其中，a和b均为常量参数；经过大量样本训练之后，a的取值一般为4.2005，b的取值一般为13.7122。在实际应用中，对于不同内容的视频图像，a和b还可以自适应取值，本申请实施例不作限定。
需要说明的是，除了根据上述优化方法计算得到λCU和QPCU之外，如果基于经验模型获取到部分CU的块级量化参数QPCU，此时还可以根据上述的式(10)所示的λCU与QPCU之间的对应关系，进行反算得到λCU，从而根据所得到的λCU和QPCU对待编码图像帧进行块级编码优化处理；本申请实施例对此不作具体限定。
还需要说明的是，为了使得待编码图像帧的失真区域质量平滑，本申请实施例除了可以通过帧级离差概率分布函数和块级离差概率分布函数之间的偏离程度来对块级优化因子(λCU和QPCU)进行调整之外，本申请实施例还可以通过像素失真均值或者能量值(即像素失真值与图像运动距离的平方作乘积)来对块级优化因子(λCU和QPCU)进行调整；甚至还可以是先通过帧级离差概率分布函数和块级离差概率分布函数之间的偏离程度来确定待编码图像帧的块级划分，然后再针对划分之后的块级优化因子(λCU和QPCU)进行调整；本申请实施例对此不作具体限定。
在上述实现方式中，具体地，所述根据所述块级优化因子，对块级拉格朗日乘子进行优化调整，包括：
若所述待编码图像帧是P帧，则记录所述块级优化因子，并将所述块级优化因子作为B帧的块级优化因子参考值；
若所述待编码图像帧是B帧，则根据所述块级优化因子参考值对块级拉格朗日乘子进行优化调整；其中，所述块级优化因子参考值是根据P帧对应位置的块级优化因子得到的。
需要说明的是，待编码图像帧可以包括I帧、P帧和B帧；其中，I帧表示帧内预测帧，P帧表示单向预测帧(也称之为前向预测帧)，B帧表示双向预测帧；从数量上看，B帧数量远多于P帧，P帧数量远多于I帧。在本申请实施例中，前述技术方案中的块级优化因子是根据P帧进行的，但是所计算得到的块级优化因子则是应用于对B帧的块级编码优化处理；而对于I帧和P帧而言，本申请实施例不干预其编码处理。在整个视频图像中，质量最差的是B帧运动区域，因此，本申请实施例通过块级优化因子对B帧进行块级编码优化处理，可以有效提升图像运动区域的编码质量，整体上达到主观质量改善和提高的目的。
基于图1所示的技术方案，在一种可能的实现方式中，在所述基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理之后，所述方法还包括：
判断所述待编码图像帧是否为尾帧；
若所述待编码图像帧不是尾帧，则继续执行下一帧图像的视频编码优化方法的流程；
若所述待编码图像帧是尾帧，则结束所述视频编码优化方法的流程。
需要说明的是，当待编码图像帧执行过块级编码优化处理后，需要判断该待编码图像帧是否为尾帧，如果是尾帧，代表整个视频编码优化流程的结束；如果不是尾帧，则进入下一帧，重新执行视频编码优化的流程。
本实施例提供了一种视频编码优化方法，通过获取待编码图像帧中至少一个像素点对应的像素失真值；其中，所述像素失真值用于表征所述待编码图像帧编码质量的优劣程度；根据所述像素失真值以及对所述待编码图像帧的块级划分，获取所述待编码图像帧的块级优化因子；其中，所述块级优化因子用于表征块级编码质量提升所需参数的调整程度；基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理；这样通过块级优化因子对待编码图像帧进行块级编码优化处理，可以提升待编码图像帧中前景运动区域质量，以使得前景运动区域质量逼近背景静止区域质量，进而使得前景内容和背景内容的质量误差缩小，具有非常重要的应用价值。
基于前述实施例相同的发明构思，参见图6，其示出了本申请实施例提供的一种视频编码优化方法的详细流程示意图，该详细流程可以包括：
S601：读取当前帧图像所对应的原始图像帧和重构图像帧，获取各个像素点分别对应的原始像素值和重构像素值；
S602：通过对所述重构像素值和所述原始像素值进行计算，得到各个像素点对应的像素失真值；并基于所述像素失真值的均值计算，得到所述当前帧图像中至少一个像素点的离差值；
S603：根据所述离差值，拟合得到帧级离差概率分布函数和块级离差概率分布函数；
S604：对所述当前帧图像进行块级编码优化处理；
S605：判断所述当前帧图像是否为尾帧；
S606：若所述当前帧图像不是尾帧，则载入下一帧图像，并返回步骤S601；
S607：若所述当前帧图像是尾帧，则结束流程。
需要说明的是，在步骤S605之后，若所述当前帧图像不是尾帧，则执行步骤S606；若所述当前帧图像是尾帧，则执行步骤S607。
还需要说明的是，对于步骤S604来说，参见图7，其示出了本申请实施例提供的一种块级编码优化处理的详细流程示意图，该详细流程可以包括：
S701：对当前帧图像对应的帧级离差概率分布函数和块级离差概率分布函数进行差值积分，得到当前帧图像划分的块级与帧级之间的偏离程度值，将所述偏离程度值作为块级优化因子；
S702：判断当前帧图像是否为P帧；
S703：若当前帧图像是P帧，则记录所述块级优化因子，并结束流程；
S704：判断当前帧图像是否为B帧；
S705：若当前帧图像是B帧，则根据块级优化因子参考值对块级拉格朗日乘子进行优化调整；其中，所述块级优化因子参考值是根据P帧对应位置的块级优化因子得到的；
S706：若当前帧图像不是B帧，则结束流程。
需要说明的是，在步骤S702之后，若当前帧图像是P帧，则执行步骤S703；若当前帧图像不是P帧，则执行步骤S704；在步骤S704之后，若当前帧图像是B帧，则执行步骤S705；若当前帧图像也不是B帧，则执行步骤S706，直接结束流程。
在本申请实施例中，假如大家重点统计视频图像中失真最大区域，可以得到极差情况下的视频重构质量，也就相当于建立了视频观看时的最差基线；这里，质量越差，代表着视频图像中运动越剧烈的图像内容。举例来说，假设分别统计重构图像中最差的1％、2％、4％、8％、16％区域的PSNR，然后采用行业通用的BD-Rate计算工具，以质量增强(Quality Enhancement，QE)为例，从而可以计算出本申请实施例的性能增益情况；其中，BD-Rate的百分数值表示在同等质量下，比特率的节省比值。参见表1，其示出了本申请实施例提供的一种随机访问(Random Access，RA)模式下BD-Rate性能的示意表；RA模式除了I帧和P帧之外，还存在B帧，待测序列以联合视频研究组(Joint Video Exploration Team，JVET)所制定的部分10bit 4K序列为例，如表1所示，QE disable表示不采用本申请的技术方案，QE enable表示采用本申请的技术方案，PSNR(1％)表示统计质量为1％区域的PSNR，PSNR(2％)表示统计质量为2％区域的PSNR，依次类推。从表1中可以看出，本申请的技术方案能够在图像运动区域部分即人们关注内容取得较好的增益，比如在最差1％区域的PSNR统计下，采用本申请的技术方案可以得到BD-Rate值为-3.23％，也就表示了本申请的技术方案可以节省码率3.23％。
表1
Figure GPA0000301610720000131
Figure GPA0000301610720000141
上述实施例对前述实施例的具体实现进行了详细阐述，从中可以看出，通过前述实施例的技术方案，可以有效地提升图像运动区域的编码质量，客观上使得前景内容和背景内容的质量误差缩小，整体达到主观质量改善和提高的目的，具有非常重要的应用价值。
基于前述实施例相同的发明构思，参见图8，其示出了本申请实施例提供的一种视频编码优化装置80的组成，所述视频编码优化装置80可以包括：获取单元801和编码单元802，其中，
所述获取单元801，配置为获取待编码图像帧中至少一个像素点对应的像素失真值；其中，所述像素失真值用于表征所述待编码图像帧编码质量的优劣程度；
所述获取单元801，还配置为根据所述像素失真值以及对所述待编码图像帧的块级划分，获取所述待编码图像帧的块级优化因子；其中，所述块级优化因子用于表征块级编码质量提升所需参数的调整程度；
所述编码单元802，配置为基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理。
在上述方案中，参见图9，所述视频编码优化装置80还包括计算单元803，配置为对所述待编码图像帧中所有像素点对应的像素失真值进行均值计算，得到所述待编码图像帧对应的第一像素失真均值；以及基于所述待编码图像帧中各个像素点对应的像素失真值以及所述第一像素失真均值，得到所述待编码图像帧中至少一个像素点的离差值。
在上述方案中，所述计算单元803，还配置为根据所述离差值，计算所述待编码图像帧的帧级离差概率分布函数；并基于对所述待编码图像帧的块级划分，计算所述待编码图像帧的块级离差概率分布函数；
所述获取单元801，配置为根据所述帧级离差概率分布函数和所述块级离差概率分布函数的偏离程度，获取所述待编码图像帧的块级优化因子。
在上述方案中，所述获取单元801，还配置为将所述像素失真值与预设失真阈值进行比较；以及当所述像素失真值大于预设失真阈值时，得到第一失真集合；其中，所述第一失真集合用于表征像素失真值大于预设失真阈值所对应的像素失真值集合；
所述计算单元803，还配置为对所述第一失真集合中的像素失真值进行均值计算，得到所述待编码图像帧对应的第二像素失真均值；
所述获取单元801，还配置为基于所述第一失真集合中的像素失真值以及所述第二像素失真均值，确定所述待编码图像帧的块级划分以及所述待编码图像帧的块级优化因子。
在上述方案中，参见图10，所述视频编码优化装置80还包括调整单元804，配置为根据所述块级优化因子，对块级拉格朗日乘子进行优化调整；以及基于拉格朗日乘子与量化参数之间的对应关系，根据优化调整后的块级拉格朗日乘子得到优化调整后的块级量化参数；
所述编码单元802，配置为基于优化调整后的块级拉格朗日乘子和优化调整后的块级量化参数，对所述待编码图像帧进行块级编码处理。
在上述方案中，所述获取单元801，还配置为获取所述待编码图像帧中至少一个像素点对应的重构像素值和原始像素值；以及通过对所述重构像素值和所述原始像素值进行计算，得到所述待编码图像帧中至少一个像素点对应的像素失真值。
在上述方案中，所述计算单元803，还配置为对所述离差值进行绝对值处理，得到所述待编码图像帧中至少一个像素点对应的离差绝对值；以及根据得到的离差绝对值，统计不同的离差绝对值分别对应的概率值；以及根据所述得到的离差绝对值以及分别与其对应的概率值，计算出所述待编码图像帧的帧级离差概率分布函数。
在上述方案中，所述计算单元803，还配置为对所述帧级离差概率分布函数和所述块级离差概率分布函数进行差值积分，得到所述待编码图像帧划分的块级与帧级之间的偏离程度值，将所述偏离程度值作为所述块级优化因子。
在上述方案中，参见图11，所述视频编码优化装置80还包括比较单元805，配置为若所述待编码图像帧是P帧，则记录所述块级优化因子，并将所述块级优化因子作为B帧的块级优化因子参考值；以及若所述待编码图像帧是B帧，则根据所述块级优化因子参考值对块级拉格朗日乘子进行优化调整；其中，所述块级优化因子参考值是根据P帧对应位置的块级优化因子得到的。
在上述方案中，所述比较单元805，还配置为判断所述待编码图像帧是否为尾帧；以及若所述待编码图像帧不是尾帧，则继续执行下一帧图像的视频编码优化方法的流程；以及若所述待编码图像帧是尾帧，则结束所述视频编码优化方法的流程。
可以理解地，在本实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
因此，本实施例提供了一种计算机存储介质，该计算机存储介质存储有视频编码优化程序，所述视频编码优化程序被至少一个处理器执行时实现前述实施例中所述视频编码优化方法的步骤。
基于上述视频编码优化装置80的组成以及计算机存储介质，参见图12，其示出了本申请实施例提供的视频编码优化装置80的具体硬件结构，可以包括：网络接口1201、存储器1202和处理器1203；各个组件通过总线系统1204耦合在一起。可理解，总线系统1204用于实现这些组件之间的连接通信。总线系统1204除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图12中将各种总线都标为总线系统1204。其中，网络接口1201，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；
存储器1202，用于存储能够在处理器1203上运行的计算机程序；
处理器1203，用于在运行所述计算机程序时，执行：
获取待编码图像帧中至少一个像素点对应的像素失真值；其中，所述像素失真值用于表征所述待编码图像帧编码质量的优劣程度；
根据所述像素失真值以及对所述待编码图像帧的块级划分，获取所述待编码图像帧的块级优化因子；其中，所述块级优化因子用于表征块级编码质量提升所需参数的调整程度；
基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理。
可以理解，本申请实施例中的存储器1202可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本文描述的系统和方法的存储器1202旨在包括但不限于这些和任意其它适合类型的存储器。
而处理器1203可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1203中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1203可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1202，处理器1203读取存储器1202中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地，作为另一个实施例，处理器1203还配置为在运行所述计算机程序时，执行前述实施例中所述视频编码优化方法的步骤。
需要说明的是：本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
工业实用性
本申请实施例中，通过获取待编码图像帧中至少一个像素点对应的像素失真值；其中，所述像素失真值用于表征所述待编码图像帧编码质量的优劣程度；再根据所述像素失真值以及对所述待编码图像帧的块级划分，获取所述待编码图像帧的块级优化因子；其中，所述块级优化因子用于表征块级编码质量提升所需参数的调整程度；基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理；这样，通过块级优化因子对待编码图像帧进行块级编码优化处理，可以提升待编码图像帧中前景运动区域质量，以使得前景运动区域质量逼近背景静止区域质量，进而使得前景内容和背景内容的质量误差缩小，具有非常重要的应用价值。

Claims (18)

1.一种视频编码优化方法，其中，所述方法包括：
获取待编码图像帧中至少一个像素点对应的像素失真值；其中，所述像素失真值用于表征所述待编码图像帧编码质量的优劣程度；
根据所述像素失真值以及对所述待编码图像帧的块级划分，获取所述待编码图像帧的块级优化因子；其中，所述块级优化因子用于表征块级编码质量提升所需参数的调整程度；
基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理；
其中，在所述获取待编码图像帧中至少一个像素点对应的像素失真值之后，所述方法还包括：
对所述待编码图像帧中所有像素点对应的像素失真值进行均值计算，得到所述待编码图像帧对应的第一像素失真均值；
基于所述待编码图像帧中各个像素点对应的像素失真值以及所述第一像素失真均值，得到所述待编码图像帧中至少一个像素点的离差值；
根据所述离差值，计算所述待编码图像帧的帧级离差概率分布函数；并基于对所述待编码图像帧的块级划分，计算所述待编码图像帧的块级离差概率分布函数；
根据所述帧级离差概率分布函数和所述块级离差概率分布函数的偏离程度，获取所述待编码图像帧的块级优化因子。
2.根据权利要求1所述的方法，其中，所述根据所述像素失真值以及对所述待编码图像帧的块级划分，获取所述待编码图像帧的块级优化因子，包括：
将所述像素失真值与预设失真阈值进行比较；
当所述像素失真值大于预设失真阈值时，得到第一失真集合；其中，所述第一失真集合用于表征像素失真值大于预设失真阈值所对应的像素失真值集合；
对所述第一失真集合中的像素失真值进行均值计算，得到所述待编码图像帧对应的第二像素失真均值；
基于所述第一失真集合中的像素失真值以及所述第二像素失真均值，确定所述待编码图像帧的块级划分以及所述待编码图像帧的块级优化因子。
3.根据权利要求1所述的方法，其中，所述基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理，包括：
根据所述块级优化因子，对块级拉格朗日乘子进行优化调整；
基于拉格朗日乘子与量化参数之间的对应关系，根据优化调整后的块级拉格朗日乘子得到优化调整后的块级量化参数；
基于优化调整后的块级拉格朗日乘子和优化调整后的块级量化参数，对所述待编码图像帧进行块级编码处理。
4.根据权利要求1所述的方法，其中，所述获取待编码图像帧中至少一个像素点对应的像素失真值，包括：
获取所述待编码图像帧中至少一个像素点对应的重构像素值和原始像素值；
通过对所述重构像素值和所述原始像素值进行计算，得到所述待编码图像帧中至少一个像素点对应的像素失真值。
5.根据权利要求1所述的方法，其中，所述根据所述离差值，计算所述待编码图像帧的帧级离差概率分布函数，包括：
对所述离差值进行绝对值处理，得到所述待编码图像帧中至少一个像素点对应的离差绝对值；
根据得到的离差绝对值，统计不同的离差绝对值分别对应的概率值；
根据所述得到的离差绝对值以及分别与其对应的概率值，计算出所述待编码图像帧的帧级离差概率分布函数。
6.根据权利要求1所述的方法，其中，所述根据所述帧级离差概率分布函数和所述块级离差概率分布函数的偏离程度，获取所述待编码图像帧的块级优化因子，包括：
对所述帧级离差概率分布函数和所述块级离差概率分布函数进行差值积分，得到所述待编码图像帧划分的块级与帧级之间的偏离程度值，将所述偏离程度值作为所述块级优化因子。
7.根据权利要求3所述的方法，其中，所述根据所述块级优化因子，对块级拉格朗日乘子进行优化调整，包括：
若所述待编码图像帧是P帧，则记录所述块级优化因子，并将所述块级优化因子作为B帧的块级优化因子参考值；
若所述待编码图像帧是B帧，则根据所述块级优化因子参考值对块级拉格朗日乘子进行优化调整；其中，所述块级优化因子参考值是根据P帧对应位置的块级优化因子得到的。
8.根据权利要求1至7任一项所述的方法，其中，在所述基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理之后，所述方法还包括：
判断所述待编码图像帧是否为尾帧；
若所述待编码图像帧不是尾帧，则继续执行下一帧图像的视频编码优化方法的流程；
若所述待编码图像帧是尾帧，则结束所述视频编码优化方法的流程。
9.一种视频编码优化装置，其中，所述视频编码优化装置包括：获取单元和编码单元，
所述获取单元，配置为获取待编码图像帧中至少一个像素点对应的像素失真值；其中，所述像素失真值用于表征所述待编码图像帧编码质量的优劣程度；
所述获取单元，还配置为根据所述像素失真值以及对所述待编码图像帧的块级划分，获取所述待编码图像帧的块级优化因子；其中，所述块级优化因子用于表征块级编码质量提升所需参数的调整程度；
所述编码单元，配置为基于所述块级优化因子，对所述待编码图像帧进行块级编码优化处理；
其中，所述视频编码优化装置还包括计算单元，配置为对所述待编码图像帧中所有像素点对应的像素失真值进行均值计算，得到所述待编码图像帧对应的第一像素失真均值；以及基于所述待编码图像帧中各个像素点对应的像素失真值以及所述第一像素失真均值，得到所述待编码图像帧中至少一个像素点的离差值；根据所述离差值，计算所述待编码图像帧的帧级离差概率分布函数；并基于对所述待编码图像帧的块级划分，计算所述待编码图像帧的块级离差概率分布函数；
所述获取单元，还配置为根据所述帧级离差概率分布函数和所述块级离差概率分布函数的偏离程度，获取所述待编码图像帧的块级优化因子。
10.根据权利要求9所述的视频编码优化装置，其中，所述获取单元，还配置为将所述像素失真值与预设失真阈值进行比较；以及当所述像素失真值大于预设失真阈值时，得到第一失真集合；其中，所述第一失真集合用于表征像素失真值大于预设失真阈值所对应的像素失真值集合；
所述计算单元，还配置为对所述第一失真集合中的像素失真值进行均值计算，得到所述待编码图像帧对应的第二像素失真均值；
所述获取单元，还配置为基于所述第一失真集合中的像素失真值以及所述第二像素失真均值，确定所述待编码图像帧的块级划分以及所述待编码图像帧的块级优化因子。
11.根据权利要求9所述的视频编码优化装置，其中，所述视频编码优化装置还包括调整单元，配置为根据所述块级优化因子，对块级拉格朗日乘子进行优化调整；以及基于拉格朗日乘子与量化参数之间的对应关系，根据优化调整后的块级拉格朗日乘子得到优化调整后的块级量化参数；
所述编码单元，配置为基于优化调整后的块级拉格朗日乘子和优化调整后的块级量化参数，对所述待编码图像帧进行块级编码处理。
12.根据权利要求9所述的视频编码优化装置，其中，所述获取单元，还配置为获取所述待编码图像帧中至少一个像素点对应的重构像素值和原始像素值；以及通过对所述重构像素值和所述原始像素值进行计算，得到所述待编码图像帧中至少一个像素点对应的像素失真值。
13.根据权利要求9所述的视频编码优化装置，其中，所述计算单元，还配置为对所述离差值进行绝对值处理，得到所述待编码图像帧中至少一个像素点对应的离差绝对值；以及根据得到的离差绝对值，统计不同的离差绝对值分别对应的概率值；以及根据所述得到的离差绝对值以及分别与其对应的概率值，计算出所述待编码图像帧的帧级离差概率分布函数。
14.根据权利要求9所述的视频编码优化装置，其中，所述计算单元，还配置为对所述帧级离差概率分布函数和所述块级离差概率分布函数进行差值积分，得到所述待编码图像帧划分的块级与帧级之间的偏离程度值，将所述偏离程度值作为所述块级优化因子。
15.根据权利要求11所述的视频编码优化装置，其中，所述视频编码优化装置还包括比较单元，配置为若所述待编码图像帧是P帧，则记录所述块级优化因子，并将所述块级优化因子作为B帧的块级优化因子参考值；以及若所述待编码图像帧是B帧，则根据所述块级优化因子参考值对块级拉格朗日乘子进行优化调整；其中，所述块级优化因子参考值是根据P帧对应位置的块级优化因子得到的。
16.根据权利要求9至15任一项所述的视频编码优化装置，其中，所述比较单元，还配置为判断所述待编码图像帧是否为尾帧；以及若所述待编码图像帧不是尾帧，则继续执行下一帧图像的视频编码优化方法的流程；以及若所述待编码图像帧是尾帧，则结束所述视频编码优化方法的流程。
17.一种视频编码优化装置，其中，所述视频编码优化装置包括：存储器和处理器；
所述存储器，用于存储能够在所述处理器上运行的计算机程序；
所述处理器，用于在运行所述计算机程序时，执行如权利要求1至8任一项所述方法的步骤。
18.一种计算机存储介质，其中，所述计算机存储介质存储有视频编码优化程序，所述视频编码优化程序被至少一个处理器执行时实现如权利要求1至8任一项所述方法的步骤。
CN201880097309.3A 2018-11-28 2018-11-28 视频编码优化方法、装置及计算机存储介质 Active CN112655212B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/118012 WO2020107288A1 (zh) 2018-11-28 2018-11-28 视频编码优化方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN112655212A CN112655212A (zh) 2021-04-13
CN112655212B true CN112655212B (zh) 2023-04-04

Family

ID=70854257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880097309.3A Active CN112655212B (zh) 2018-11-28 2018-11-28 视频编码优化方法、装置及计算机存储介质

Country Status (2)

Country Link
CN (1) CN112655212B (zh)
WO (1) WO2020107288A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022021422A1 (zh) * 2020-07-31 2022-02-03 Oppo广东移动通信有限公司 视频编码方法、编码器、系统以及计算机存储介质
CN114554224B (zh) * 2021-09-10 2023-10-27 电子科技大学 基于核心参考帧的块级拉格朗日乘子优化方法
WO2023240618A1 (zh) * 2022-06-17 2023-12-21 Oppo广东移动通信有限公司 一种滤波方法、解码器、编码器及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104093022A (zh) * 2014-06-25 2014-10-08 华为技术有限公司 一种率失真优化方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1830573A1 (en) * 2006-03-02 2007-09-05 Thomson Licensing Method and apparatus for determining in picture signal encoding the bit allocation for groups of pixel blocks in a picture
CN101945275B (zh) * 2010-08-18 2012-10-24 镇江唐桥微电子有限公司 一种基于感兴趣区域的视频编码方法
KR20120084168A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 비디오 인코딩 모드 선택 방법 및 이를 수행하는 비디오 인코딩 장치
GB2495469B (en) * 2011-09-02 2017-12-13 Skype Video coding
CN102300094B (zh) * 2011-09-06 2013-04-03 中国科学院计算技术研究所 一种视频编码方法
CN102780886B (zh) * 2012-07-23 2016-02-03 深圳广晟信源技术有限公司 一种率失真优化方法
CN104994382B (zh) * 2015-04-30 2017-12-19 西安电子科技大学 一种感知率失真的优化方法
KR102390162B1 (ko) * 2015-10-16 2022-04-22 삼성전자주식회사 데이터 인코딩 장치 및 데이터 인코딩 방법
CN105812805A (zh) * 2016-01-31 2016-07-27 西安电子科技大学 一种用于视频图像的编码方法和装置
CN107846593B (zh) * 2016-09-21 2020-01-03 中国移动通信有限公司研究院 一种率失真优化方法及装置
CN109246407B (zh) * 2017-04-28 2020-09-25 微软技术许可有限责任公司 图像编码

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104093022A (zh) * 2014-06-25 2014-10-08 华为技术有限公司 一种率失真优化方法及装置

Also Published As

Publication number Publication date
WO2020107288A1 (zh) 2020-06-04
CN112655212A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
US11363264B2 (en) Sample adaptive offset control
US10123015B2 (en) Macroblock-level adaptive quantization in quality-aware video optimization
WO2021244341A1 (zh) 图像编码方法及装置、电子设备及计算机可读存储介质
CN112655212B (zh) 视频编码优化方法、装置及计算机存储介质
US20140376619A1 (en) Sample adaptive offset control
US20220312006A1 (en) Cross-component adaptive loop filter for chroma
US10873763B2 (en) Video compression techniques for high dynamic range data
JP2008503918A (ja) ビデオ・コーデック量子化のための方法および装置
US11792399B2 (en) Systems and methods for quantization of video content
US20160353107A1 (en) Adaptive quantization parameter modulation for eye sensitive areas
Wei et al. Visual saliency based perceptual video coding in HEVC
US20140269944A1 (en) Method and apparatus for vision and network guided prefiltering
Menon et al. ETPS: Efficient Two-Pass Encoding Scheme for Adaptive Live Streaming
CN115428451A (zh) 视频编码方法、编码器、系统以及计算机存储介质
JP2018137542A (ja) 符号化装置、符号化方法、及び、プログラム
WO2022198465A1 (zh) 一种编码方法及装置
US11825088B2 (en) Adaptively encoding video frames based on complexity
WO2020258052A1 (zh) 图像分量预测方法、装置及计算机存储介质
Yang et al. Content adaptive spatial-temporal rescaling for video coding optimization
WO2020125649A1 (zh) 数据处理方法、装置及存储介质
JP2023124387A (ja) ビットレート決定装置、符号化装置、およびプログラム
CN117714729A (zh) 直播视频编码方法、装置、计算机设备及存储介质
JP2024073510A (ja) サンプルアダプティブオフセット制御
CN118055234A (zh) 视频帧编码方法、装置、设备、介质和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant