CN114786008A - 帧内预测模式的选择方法、装置、存储介质及电子设备 - Google Patents

帧内预测模式的选择方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN114786008A
CN114786008A CN202210225632.2A CN202210225632A CN114786008A CN 114786008 A CN114786008 A CN 114786008A CN 202210225632 A CN202210225632 A CN 202210225632A CN 114786008 A CN114786008 A CN 114786008A
Authority
CN
China
Prior art keywords
coefficient
intra
code rate
mode
frame prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210225632.2A
Other languages
English (en)
Inventor
张鹏
刘星宇
向国庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Original Assignee
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Institute of Information Technology AIIT of Peking University, Hangzhou Weiming Information Technology Co Ltd filed Critical Advanced Institute of Information Technology AIIT of Peking University
Priority to CN202210225632.2A priority Critical patent/CN114786008A/zh
Publication of CN114786008A publication Critical patent/CN114786008A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种帧内预测模式的选择方法、装置、存储介质及电子设备。其中，上述方法包括：基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，编码系数预估码率为采用预设的线性模型对编码单元中的多个变换单元的系数组的预估码率求和得到；根据预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式。本发明解决了相关技术中RMD率失真代价计算的准确性较低的技术问题。

Description

帧内预测模式的选择方法、装置、存储介质及电子设备
技术领域
本发明图像处理技术领域，具体而言，涉及一种帧内预测模式的选择方法、装置、存储介质及电子设备。
背景技术
音视频编码标准(Audio Video coding Standard，AVS)是《信息技术先进音视频编码》系列标准的简称，是数字音视频产业的共性基础标准，AVS3视频编码标准属于第三代AVS标准，其主要在编解码复杂度控制上做出显著优化和大幅度性能提升。
目前，AVS3的帧内预测中编码单元(coding unit，CU)的复杂划分、帧内预测模式的增加、帧内编码工具的使用都将增加其编码时间。其中，帧内预测模式确定过程中，粗模式决策(Rough Mode Decision，RMD)的选择，需要从33种帧内预测模式中选出若干种模式进入率失真优化阶段，然后在帧内模式决定(mode decision，MD)过程中选择出最优的预测模式。对于RMD候选列表中的帧内预测模式，在候选列表的前面被选中为最优帧内预测模式的概率越大，但是RMD过程计算的是模式粗糙代价，使用SATD为绝对转换误差和，表示模式失真代价的预估值，仅使用编码帧内预测模式需要的码率来计算码率代价，这样使得RMD选出来的模式排序不准确，使得最优模式不在最终帧内候选列表中，RMD失真代价计算的准确性较低。
发明内容
本发明实施例提供了一种帧内预测模式的选择方法、装置、存储介质及电子设备，以至少解决相关技术中RMD率失真代价计算的准确性较低的技术问题。
根据本发明实施例的一个方面，提供了一种帧内预测模式的选择方法，包括：基于和方差模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式。
根据本发明实施例的另一方面，还提供了一种帧内预测模式的选择装置，包括：获取单元，用于基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；第一确定单元，用于根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；第二确定单元，用于根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；第三确定单元，用于将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的帧内预测模式的选择方法。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述帧内预测模式的选择方法。
在本发明实施例中，采用了基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式的方法，在上述方法中，由于不仅考虑帧内模式使用的码率，还增加了系数部分的码率预估，可提升RMD中的码率代价的准确性，进而解决了相关技术中RMD率失真代价计算的准确性较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的帧内预测模式的选择方法的应用环境的示意图；
图2是根据本发明实施例的另一种可选的帧内预测模式的选择方法的应用环境的示意图；
图3是根据本发明实施例的一种可选的帧内预测模式的选择方法的流程示意图；
图4是根据本发明实施例的另一种可选的RMD预测过程示意图；
图5是根据本发明实施例的一种可选的标准参考代码中率失真代价的获取过程示意图；
图6是根据本发明实施例的一种RMD率失真代价的获取过程示意图；
图7是根据本发明实施例的一种可选的帧内预测模式的选择装置的结构示意图；
图8是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种帧内预测模式的选择方法，可选地，作为一种可选地实施方式，上述帧内预测模式的选择方法可以但不限于应用于如图1所示的应用环境中。该应用环境中包括：与用户进行人机交互的终端设备102、网络104、服务器106。用户108与终端设备102之间可以进行人机交互，终端设备102中运行有帧内预测模式的选择应用程序。上述终端设备102中包括人机交互屏幕1022，处理器1024及存储器1026。人机交互屏幕1022用于呈现视频帧对应的帧内预测模式；处理器1024用于获取视频帧中的编码单元。存储器1026用于存储上述当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价，以及目标帧内预测模式。
此外，服务器106中包括数据库1062及处理引擎1064，数据库1062中用于存储上述当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价，以及目标帧内预测模式。处理引擎1064用于基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式；将上述目标帧内预测模式发送至上述终端设备102的客户端。
在一个或多个实施例中，本申请上述帧内预测模式的选择方法可以应用于图2所示的应用环境中。如图2所示，用户202与用户设备204之间可以进行人机交互。用户设备204中包含有存储器206和处理器208。本实施例中用户设备204可以但不限于参考执行上述终端设备102所执行的操作，以输出上述目标帧内预测模式。
可选地，上述终端设备102和用户设备204包括但不限于以下至少之一：手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile InternetDevices，移动互联网设备)、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络104可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器106可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
作为一种可选地实施方式，如图3所示，本发明实施例提供了一种帧内预测模式的选择方法，包括如下步骤：
S302，基于和方差模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D。
在本发明实施例中，对于RMD模式选择过程来说，其作用是通过一种有效的预选算法，对多个帧内预测模式进行一轮粗选。具体来说，在AVS3标准参考代码实现过程中，主要针对亮度预测过程，如图4所示，在当前编码单元的每种预测划分模式下，可以通过RMD最终选择N种预测模式，即从33种预测模式中选择N种候选预测模式进入后续率失真优化(RateDistortion Optimized，RDO)过程。
如图5所示，为了得到每种预测划分模式对应的N种候选预测模式，RMD采用的判决决策依据如以下公式：
JRMD＝DRMD+λRMD·R
其中，DRMD表示RMD预测失真，通过当前编码单元减去预测单元获得残差单元，并对残差单元进行Hadamard变换后对所有变换系数进行累加得到的绝对值误差SATD值。λRMD是RMD决策过程中的拉格朗日乘子，用以平衡预测失真代价DRMD和R，其中R表示每种预测模式所需的，不同帧内预测模式下R的取值等于Rmode，Rmode具体取值如表1。
表1
帧内预测模式 Rmode取值
0-1模式 1
2-3模式 2
4-7模式 3
8-15模式 4
16-31模式 5
32模式 6
衡量图像的失真常用的有三种模型：和方差Sum of Square Error，SSE)、绝对变换差值之和SATD以及绝对差值之和(Sum of Absolute Differences，SAD)；SSE是原始像素值与重建像素值对应点的误差的平方和，SAD是原始像素与预测值之间作差后得到残差矩阵求绝对值后的累加和，公式如下：
Figure BDA0003535553470000071
Figure BDA0003535553470000072
其中，Orig(i，j)表示原始图像的像素值，Reco(i，j)表示预测后的重建像素值。在三种评价模型中，SSE模型的精确度最高，SATD的计算结果接近SSE。
在本发明实施例中，采用SSE模型来获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D。
S304，根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到。
在本发明实施例中，粗模式选择下每种帧内预测模式对应的目标预估码率R包括但不限于将每种预测模式对应的原始码率和编码系数预估码率进行加权得到的结果，或者将二者进行求和得到的结果。这里，原始码率可以为上述表1中的Rmode。
S306，根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价。
在本发明实施例中，通过以下公式获取不同帧内预测模式各自对应的率失真代价：
JRMD＝D+λRMD·R
其中，JRMD为率失真代价，λRMD为RMD决策过程中的拉格朗日乘子。
S308，将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式。
具体地，例如，率失真代价小于预设阈值的帧内预测模式有5个，那么将这5个帧内预测模式作为目标帧内预测模式，从而能够为决策出最优帧内预测模式提供依据。
在本发明实施例中，采用了基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式的方法，在上述方法中，由于不仅考虑帧内模式使用的码率，还增加了系数部分的码率预估，可提升RMD中的码率代价的准确性，进而解决了相关技术中RMD率失真代价计算的准确性较低的技术问题。如图6所示，本发明实施例无需经过范量化，反变换和重建过程，即可得到预测失真值D。
在一个或多个实施例中，上述基于平方差之和SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D，包括：
基于和方差SSE模型，将当前编码单元中变换单元的每个量化系数的量化失真值di进行求和得到上述预测失真值D。
在本发明实施例中，计算SSE时不需要经过反变换和反量化，通过将当前编码单元中变换单元的每个量化系数的量化失真值di进行求和得到上述预测失真值D，能够精准的得到预测失真值D。
在一个或多个实施例中，通过公式(1)获取上述量化失真值di，通过公式(2)获取上述预测失真值D；
Figure BDA0003535553470000091
D＝sΣdi(i＝0…N2-1) (2)
其中，f为偏移值，
Figure BDA0003535553470000092
为变换系数T的低
Figure BDA0003535553470000093
位的系数值，T为视频编码中的量化的变换系数，qBits为量化中使用的常数，Qscale为量化步长相关的缩放常数，N为变换单元的宽，s为变换单元的个数。
在一个或多个实施例中，确定粗模式选择下每种帧内预测模式对应的目标预估码率R之前，包括：
通过公式(3)获取上述编码系数预估码率；
RQT＝ΣRCG (3)
其中，RQT表示上述编码系数预估码率，RCG表示上述编码单元中变换单元的每个系数组的残差系数预估码率，每个编码单元的系数组个数n＝N*N/16，N为变换单元的宽；
每个系数组的残差系数预估码率RCG通过公式(4)获取；
RCG＝WkjLij (4)
其中，Wkj表示权重系数，Lij表示变换单元中第i个系数组CG中的第j个量化系数的绝对值，i表示变换单元中系数组CG的位置，j表示系数组CG中的当前系数的位置，k表示系数组CG的划分类别，Wkj表示第k类系数组CG的第j个系数的权重值。这里，上述CG为系数组(Coefficient Group，CG)。
在本发明实施例中，每种系数组的Wkj不同，这里Wkj可以根据统计各种编码序列，并对获取到的各种编码序列进行聚类而得到。
在一个或多个实施例中，上述i的取值范围为1至N*N/16，上述j的取值为范围为0至15；其中，上述N为变换单元的宽。
具体地，例如，变换单元的大小为8*8，那么N等于8，因此i的取值范围为1至4，上述j的取值为范围为0至15；也就是说当前变换单元中包含4个系数组CG，每个系数组包含16个系数。
在一个或多个实施例中，上述根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价，包括：
根据公式(5)和公式(6)确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；
J＝D+λ·R (5)
R＝Rmode+RQT (6)
其中，J为帧内预测模式对应的率失真代价，λ为拉格朗日乘子，Rmode为当前帧内预测模式对应的原始预估码率，RQT为当前帧内预测模式对应的编码系数预估码率。
在视频编码中，编码失真D的来源主要包括三个部分：量化过程造成的失真(DQ)、变换Clip操作带来的失真(DC)、和由于变换矩阵的非正交带来的失真(DT)。相比于DC和DT，量化造成的失真DQ是编码失真D的要来源。大部分的失真预估算法均将量化造成的失真DQ直接作为编码失真D。
相关技术中，对于RMD模式选择过程来说，其作用是通过一种有效的预选算法，对多个帧内预测模式进行一轮粗选。具体来说，在AVS3标准参考代码实现过程中，主要针对亮度预测过程，如图4所示，在当前编码单元的每种预测划分模式下，可以通过RMD最终选择N种预测模式，即从33种预测模式中选择N种候选预测模式进入后续率失真优化(RateDistortion Optimized，RDO)过程。
如图5所示，为了得到每种预测划分模式对应的N种候选预测模式，RMD采用的判决决策依据如以下公式：
JRMD＝DRMD+λRMD·R
其中，DRMD表示RMD预测失真，通过当前编码单元减去预测单元获得残差单元，并对残差单元进行Hadamard变换后对所有变换系数进行累加得到的绝对值误差SATD值。λRMD是RMD决策过程中的拉格朗日乘子，用以平衡预测失真代价DRMD和R，其中R表示每种预测模式所需的，不同帧内预测模式下R的取值等于Rmode，Rmode具体取值如表11。
表11
帧内预测模式 Rmode取值
0-1模式 1
2-3模式 2
4-7模式 3
8-15模式 4
16-31模式 5
32模式 6
RMD预测粗选过程中使用公式SATD来表示失真代价DRMD，SATD计算如下：
DiffT(i，j)＝H*Diff(i，j)*H
Figure BDA0003535553470000111
其中，H是Hadamard变换矩阵，Diff(i,j)是原始像素与预测点的差值。在HEVC编码中使用了两种的哈达玛计算SATD，其中H4对应4阶哈达玛H8对应8阶哈达玛，变换矩阵如下所示：
Figure BDA0003535553470000121
衡量图像的失真常用的有三种模型：和方差(Sum of Square Error，SSE)、绝对变换差值之和SATD以及绝对差值之和(Sum of Absolute Differences，SAD)；SSE是原始像素与重建值误差的平方和，SAD是原始像素与预测值之间作差后得到残差矩阵求绝对值后的累加和，公式如下：
Figure BDA0003535553470000122
Figure BDA0003535553470000123
其中，Orig(i，j)表示原始图像的像素值，Reco(i，j)表示预测后的重建像素的像素值。在三种评价模型中，SSE模型的精确度最高，SATD的计算结果接近SSE。
在一应用实施例中，上述帧内预测模式的选择方法包括：
在视频编码中，失真D主要来源于量化过程。量化公式如公式(11)所示：
QT＝(T×Qscale+f)＞＞qBits (11)
其中，T为变换系数，QT为量化后的变换系数，Qscale为量化步长相关的缩放常数，f为偏移值，qBits为量化中使用的常数。
而量化造成的失真如式(22)所示。
Figure BDA0003535553470000124
其中，
Figure BDA0003535553470000125
为变换系数T的低
Figure BDA0003535553470000126
位的系数值。
公式(33)只求得变换块中一个系数的失真值d；对变换单元中的所有系数的量化失真di进行求和即可得到整个块预估的失真D，如下式(3)所示，N为变化单元的宽。
D＝sΣdi(i＝0…N2-1) (33)
其中，N为变换单元的宽，s为变换单元的个数。
通过上述技术手段来获取失真代价D等于SSE，提高了RMD的失真代价的计算准确性，且基本不会增加系统计算复杂度。
本发明实施例除了考虑帧内模式编码所需要的码率，还会增加残差系数所需的码率估计，具体估计如下：
R＝Rmode+RQT
Rmode为原始算法中的帧内模式的预估码率值(上述表11中的Rmode)，RQT表示编码系数预估码率.
码率模型采用线性模型如下，具体估计如下：
RQT＝ΣRCG
其中，RQT表示上述编码系数预估码率，RCG表示上述编码单元中变换单元的每个系数组的残差系数预估码率，每个编码单元的系数组个数n＝N*N/16，N为变换单元的宽；
每个系数组的残差系数预估码率RCG通过公式(44)获取；
RCG＝WkjLij (44)
其中，Wkj表示权重系数，Lij表示变换单元中第i个系数组CG中的第j个量化系数的绝对值，i表示变换单元中系数组CG的位置，j表示系数组CG中的当前系数的位置，k表示系数组CG的划分类别，Wkj表示第k类系数组CG的第j个系数的权重值。
本发明实施例还具有以下有益效果：由于RMD计算的是粗糙代价，使得RMD过程的计算代价不够准确，本发明实施例在提高RMD的预测准确性同时不会增加计算复杂度。通过使用预估量化过程造成的失真损失得到最终的失真来代替RMD的SATD值，基于该失真D的预估算法，不需要经过反量化和反变换过程，且本算法获取的最终失真D和原始(RateDistortion optimization，RDO)过程的失真D一致，准确性较高。码率代价中只考虑了帧内模式的码率，没有考虑残差系数所占的码率与真实的码率相差较大，本发明实施例中在RMD的码率代价中增加了残差系数的码率估计，进一步提升RMD代价计算的准确性。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述帧内预测模式的选择方法的帧内预测模式的选择装置。如图7所示，该装置包括：
第一获取单元702，用于基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；
第一确定单元704，用于根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；
第二确定单元706，用于根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；
第三确定单元708，用于将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式。
在本发明实施例中，采用了基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式的方法，在上述方法中，由于不仅考虑帧内模式使用的码率，还增加了系数部分的码率预估，可提升RMD中的码率代价的准确性，进而解决了相关技术中RMD率失真代价计算的准确性较低的技术问题。
在一个或多个实施例中，上述获取单元702具体包括：
获取模块，用于基于和方差SSE模型，将当前编码单元中变换单元的每个量化系数的量化失真值di进行求和得到上述预测失真值D。
在一个或多个实施例中，通过公式(1)获取上述量化失真值di，通过公式(2)获取上述预测失真值D；
Figure BDA0003535553470000151
D＝sΣdi(i＝0…N2-1) (2)
其中，f为偏移值，
Figure BDA0003535553470000152
为变换系数T的低
Figure BDA0003535553470000153
位的系数值，T为视频编码中的量化的变换系数，qBits为量化中使用的常数，Qscale为量化步长相关的缩放常数，N为变换单元的宽，s为变换单元的个数。
在一个或多个实施例中，上述帧内预测模式的选择装置还包括：
第二获取单元，用于通过公式(3)获取上述编码系数预估码率；
RQT＝ΣRCG (3)
其中，RQT表示上述编码系数预估码率，RCG表示上述编码单元中变换单元的每个系数组的残差系数预估码率，每个编码单元的系数组个数n＝N*N/16，N为变换单元的宽；
每个系数组的残差系数预估码率RCG通过公式(4)获取；
RCG＝WkjLij (4)
其中，Wkj表示权重系数，Lij表示变换单元中第i个系数组CG中的第j个量化系数的绝对值，i表示变换单元中系数组CG的位置，j表示系数组CG中的当前系数的位置，k表示系数组CG的划分类别，Wkj表示第k类系数组CG的第j个系数的权重值。
在一个或多个实施例中，上述i的取值范围为1至N*N/16，上述j的取值为范围为0至15；其中，上述N为变换单元的宽。
在一个或多个实施例中，上述第二确定单元706，具体包括：
确定模块，用于根据公式(5)和公式(6)确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；
J＝D+λ·R (5)
R＝Rmode+RQT (6)
其中，J为帧内预测模式对应的率失真代价，λ为拉格朗日乘子，Rmode为当前帧内预测模式对应的原始预估码率，RQT为当前帧内预测模式对应的编码系数预估码率。
根据本发明实施例的又一个方面，还提供了一种用于实施上述帧内预测模式的选择方法的电子设备，该电子设备可以是图8所示的终端设备或服务器。本实施例以该电子设备为终端为例来说明。如图8所示，该电子设备包括存储器802和处理器804，该存储器802中存储有计算机程序，该处理器804被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；
S2，根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；
S3，根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；
S4，将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式。
可选地，本领域普通技术人员可以理解，图8所示的结构仅为示意，电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图8其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图8中所示更多或者更少的组件(如网络接口等)，或者具有与图8所示不同的配置。
其中，存储器802可用于存储软件程序以及模块，如本发明实施例中的帧内预测模式的选择方法和装置对应的程序指令/模块，处理器804通过运行存储在存储器802内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的帧内预测模式的选择方法。存储器802可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器802可进一步包括相对于处理器804远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器802具体可以但不限于用于存储帧内预测模式等信息。作为一种示例，如图8所示，上述存储器802中可以但不限于包括上述帧内预测模式的选择装置中的第一获取单元702、第一确定单元704、第二确定单元706与第三确定单元708。此外，还可以包括但不限于上述帧内预测模式的选择装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置806包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置806为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器808，用于显示上述目标帧内预测模式；和连接总线810，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述帧内预测模式的选择方法，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；
S2，根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；
S3，根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；
S4，将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种帧内预测模式的选择方法，其特征在于，包括：
基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；
根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，所述编码系数预估码率为采用预设的线性模型对所述编码单元中的多个变换单元的系数组的预估码率求和得到；
根据所述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；
将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式。
2.根据权利要求1所述的方法，其特征在于，所述基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D，包括：
基于和方差SSE模型，将当前编码单元中变换单元的每个量化系数的量化失真值di进行求和得到所述预测失真值D。
3.根据权利要求2所述的方法，其特征在于，通过公式(1)获取所述量化失真值di，通过公式(2)获取所述预测失真值D；
Figure FDA0003535553460000011
D＝sΣdi(i＝0…N2-1) (2)
其中，f为偏移值，LqBit为变换系数T的低qBits位的系数值，T为视频编码中的量化的变换系数，qBits为量化中使用的常数，Qscale为量化步长相关的缩放常数，N为变换单元的宽，s为变换单元的个数。
4.根据权利要求1所述的方法，其特征在于，确定粗模式选择下每种帧内预测模式对应的目标预估码率R之前，包括：
通过公式(3)获取所述编码系数预估码率；
RQT＝ΣRCG (3)
其中，RQT表示所述编码系数预估码率，RCG表示所述编码单元中变换单元的每个系数组的残差系数预估码率，每个编码单元的系数组个数n＝N*N/16，N为变换单元的宽；
每个系数组的残差系数预估码率RCG通过公式(4)获取；
RCG＝WkjLij (4)
其中，Wkj表示权重系数，Lij表示变换单元中第i个系数组CG中的第j个量化系数的绝对值，i表示变换单元中系数组CG的位置，j表示系数组CG中的当前系数的位置，k表示系数组CG的划分类别，Wkj表示第k类系数组CG的第j个系数的权重值。
5.根据权利要求4所述的方法，其特征在于，所述i的取值范围为1至N*N/16，所述j的取值为范围为0至15；其中，所述N为变换单元的宽。
6.根据权利要求1所述的方法，其特征在于，所述根据所述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价，包括：
根据公式(5)和公式(6)确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；
J＝D+λ·R (5)
R＝Rmode+RQT (6)
其中，J为帧内预测模式对应的率失真代价，λ为拉格朗日乘子，Rmode为当前帧内预测模式对应的原始预估码率，RQT为当前帧内预测模式对应的编码系数预估码率。
7.一种帧内预测模式的选择装置，其特征在于，包括：
第一获取单元，用于基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；
第一确定单元，用于根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，所述编码系数预估码率为采用预设的线性模型对所述编码单元中的多个变换单元的系数组的预估码率求和得到；
第二确定单元，用于根据所述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；
第三确定单元，用于将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式。
8.根据权利要求7所述的装置，其特征在于，所述获取单元具体包括：
获取模块，用于基于和方差SSE模型，将当前编码单元中变换单元的每个量化系数的量化失真值di进行求和得到所述预测失真值D。
9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至6中任一项所述的方法。
10.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至6任一项中所述的方法。
CN202210225632.2A 2022-03-07 2022-03-07 帧内预测模式的选择方法、装置、存储介质及电子设备 Pending CN114786008A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210225632.2A CN114786008A (zh) 2022-03-07 2022-03-07 帧内预测模式的选择方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210225632.2A CN114786008A (zh) 2022-03-07 2022-03-07 帧内预测模式的选择方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN114786008A true CN114786008A (zh) 2022-07-22

Family

ID=82423336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210225632.2A Pending CN114786008A (zh) 2022-03-07 2022-03-07 帧内预测模式的选择方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN114786008A (zh)

Similar Documents

Publication Publication Date Title
CN110178373B (zh) 用于训练分类器以及用于编码和解码视频帧的方法和装置
CN111950653B (zh) 视频处理方法和装置、存储介质及电子设备
US7142599B2 (en) Method and device for selecting a transcoding method from a set of transcoding methods
US11956447B2 (en) Using rate distortion cost as a loss function for deep learning
US9615101B2 (en) Method and apparatus for signal encoding producing encoded signals of high fidelity at minimal sizes
CN110248189B (zh) 一种视频质量预测方法、装置、介质和电子设备
KR20200003888A (ko) 비디오 압축에서의 엔트로피 코딩을 위한 선택적 혼합
CN104602030B (zh) 一种编码方法、编码装置及服务器
CN114389975A (zh) 网络带宽预估方法、装置、系统、电子设备及存储介质
CN114861790B (zh) 联邦学习压缩通信的优化方法、系统及装置
WO2022143215A1 (zh) 一种帧间预测方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN112104867B (zh) 一种视频处理方法、视频处理装置、智能设备及存储介质
CN101472182A (zh) 视觉无损视频数据压缩
CN114786008A (zh) 帧内预测模式的选择方法、装置、存储介质及电子设备
CN115442617A (zh) 一种基于视频编码的视频处理方法和装置
CN115278225A (zh) 色度编码模式的选择方法、装置和计算机设备
US9699462B2 (en) System and method for estimating view synthesis distortion
US9661331B2 (en) Method and apparatus for signal encoding realizing optimal fidelity
Krivenko et al. Prediction of Introduced Distortions Parameters in Lossy Image Compression
US11503292B2 (en) Method and apparatus for encoding/decoding video signal by using graph-based separable transform
CN110636293A (zh) 视频编码、解码方法和装置、存储介质及电子装置
CN113747162B (zh) 视频处理方法和装置、存储介质和电子装置
CN113747255B (zh) 视频处理方法和装置、存储介质和电子装置
CN112672159B (zh) 视频质量的比较方法及装置、存储介质、电子设备
CN114205642B (zh) 一种视频图像的处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination