CN111918058B - 硬件友好的帧内预测模式快速确定方法、设备及存储介质 - Google Patents

硬件友好的帧内预测模式快速确定方法、设备及存储介质 Download PDF

Info

Publication number
CN111918058B
CN111918058B CN202010629951.0A CN202010629951A CN111918058B CN 111918058 B CN111918058 B CN 111918058B CN 202010629951 A CN202010629951 A CN 202010629951A CN 111918058 B CN111918058 B CN 111918058B
Authority
CN
China
Prior art keywords
prediction mode
intra
distortion cost
hardware
frame prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010629951.0A
Other languages
English (en)
Other versions
CN111918058A (zh
Inventor
高伟
蔡占元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN202010629951.0A priority Critical patent/CN111918058B/zh
Publication of CN111918058A publication Critical patent/CN111918058A/zh
Application granted granted Critical
Publication of CN111918058B publication Critical patent/CN111918058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种硬件友好的帧内预测模式快速确定方法、设备及存储介质，该方法包括步骤：通过获取预设帧内预测模式决策参数，修改所述预设帧内预测模式决策参数，得到修改后帧内预测模式决策参数，以减少帧内预测模式决策相关的硬件资源开销；获取视频帧数据，并基于所述视频帧数据和所述修改后帧内预测模式决策参数，构建帧内预测模式对应的预测块；基于预设率失真代价算法，计算所述预测块的残差的率失真代价，并基于所述率失真代价，确定目标帧内预测模式。本发明减少了计算率失真代价时的硬件资源开销，从而减少了帧内预测模式决策相关的硬件资源开销。

Description

硬件友好的帧内预测模式快速确定方法、设备及存储介质
技术领域
本发明涉及视频编码技术领域，尤其涉及一种硬件友好的帧内预测模式快速确定方法、设备及存储介质。
背景技术
在视频编码中，需要将视频帧基于像素划分为一定数量的像素块，以对各像素块进行编码，而由于各相邻像素块之间存在空间冗余度，在对像素块进行编码时，需要去除该空间冗余度，以更为有效地对像素块进行编码，从而对视频更为有效地压缩，去除该空间冗余度的方法为使用帧内预测模式进行视频帧空间域上的预测。
对于新一代视频编码标准AVS(Audio Video coding Standard，音视频编码标准)3，其帧内预测模式的数量为65。编码时，为快速选出最佳帧内预测模式，AVS3标准引入经典的三阶段快速模式决策方案，即RMD(Rough Mode Decision，粗模式决策)；生成帧内预测模式候选列表；从帧内预测模式候选列表中选出成本较低的3种帧内预测模式进行RDO(RateDistortion Optimization，率失真优化)，以获得最优的帧内预测模式。
三阶段快速模式决策方案降低了帧内预测的复杂性，但是，帧内预测的计算负担仍然很高，基于传统帧内预测模式快速决策方案实现的硬件架构难易满足4K/8K超高清视频实时编码器的需求。
由此可知，目前用于帧内预测模式快速模式决策的方案硬件资源开销大。
发明内容
本发明的主要目的在于提供一种硬件友好的帧内预测模式快速确定方法、设备及存储介质，旨在解决现有的帧内预测模式快速模式决策硬件资源开销大的技术问题。
为实现上述目的，本发明提供一种硬件友好的帧内预测模式快速确定方法，所述硬件友好的帧内预测模式快速确定方法包括步骤：
获取预设帧内预测模式决策参数，修改所述预设帧内预测模式决策参数，得到修改后帧内预测模式决策参数，以减少帧内预测模式决策相关的硬件资源开销；
获取视频帧数据，并基于所述视频帧数据和所述修改后帧内预测模式决策参数，构建帧内预测模式对应的预测块；
基于预设率失真代价算法，计算所述预测块的残差的率失真代价，并基于所述率失真代价，确定目标帧内预测模式。
优选地，所述预设率失真代价算法包括基于梯度法的纹理复杂度TCG，所述基于预设率失真代价算法，计算所述预测块的残差的率失真代价，包括：
计算所述残差的TCG，并使用所述TCG近似率失真代价。
优选地，所述预设率失真代价算法还包括绝对差和SAD，所述基于预设率失真代价算法，计算所述预测块的残差的率失真代价，包括：
计算所述残差的SAD，并使用所述SAD近似率失真代价。
优选地，所述基于所述率失真代价，确定目标帧内预测模式，包括：
基于所述率失真代价和预设筛选算法，筛选出预设数量的帧内预测模式；
基于所述预设数量的帧内预测模式和预设帧内预测模式，生成帧内预测模式候选表；
确定所述帧内预测模式候选表中成本最低的帧内预测模式为目标帧内预测模式。
优选地，所述基于所述率失真代价，确定目标帧内预测模式，包括：
确定各率失真代价中最小的率失真代价；
将所述最小的率失真代价对应的帧内预测模式作为目标帧内预测模式。
优选地，获取所述残差的过程，包括：
基于采样点法，对所述预测块进行残差采样。
优选地，所述硬件友好的帧内预测模式快速确定方法，还包括：
各预测块对应的采样点法使用统一的采样规则。
优选地，所述构建帧内预测模式对应的预测块的过程，和所述基于预设率失真代价算法、计算所述预测块的残差的率失真代价的过程，使用并行计算方案。
此外，为实现上述目的，本发明还提供一种硬件友好的帧内预测模式快速确定设备，所述硬件友好的帧内预测模式快速确定设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的硬件友好的帧内预测模式快速确定程序，所述硬件友好的帧内预测模式快速确定程序被所述处理器执行时实现如上所述的硬件友好的帧内预测模式快速确定方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有硬件友好的帧内预测模式快速确定程序，所述硬件友好的帧内预测模式快速确定程序被处理器执行时实现如上所述的硬件友好的帧内预测模式快速确定方法的步骤。
本发明通过获取预设帧内预测模式决策参数，修改所述预设帧内预测模式决策参数，得到修改后帧内预测模式决策参数，以减少帧内预测模式决策相关的硬件资源开销；获取视频帧数据，并基于所述视频帧数据和所述修改后帧内预测模式决策参数，构建帧内预测模式对应的预测块；基于预设率失真代价算法，计算所述预测块的残差的率失真代价，并基于所述率失真代价，确定目标帧内预测模式。本发明实现了通过以减少帧内预测模式决策相关的硬件资源开销为目的的修改预设帧内预测模式决策参数的过程，得到修改后帧内预测模式决策参数，并以此构建预测块和计算率失真代价，从而减少了计算率失真代价时的硬件资源开销，进而减少了帧内预测模式决策相关的硬件资源开销。
附图说明
图1是本发明硬件友好的帧内预测模式快速确定方法第一实施例的流程示意图；
图2是本发明硬件友好的帧内预测模式快速确定方法的一帧内预测模式示意图；
图3是本发明实施例中所采用的AVS3标准的65种帧内预测模式示意图；
图4是本发明实施例中所述SAD和TCG与SATD相比，在Y、U、V三个分量的BD-rate的增减变化数据图；
图5是本发明实施例中所述SAD、TCG和SATD的硬件资源消耗示意图；
图6是本发明实施例中并行计算所述构建帧内预测模式对应的预测块与计算所述预测块的残差的率失真代价的流程；
图7是本发明实施例中一采样示意图；
图8是本发明实施例中另一采样示意图；
图9是本发明实施例方案涉及的硬件运行环境的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种硬件友好的帧内预测模式快速确定方法，参照图1，图1为本发明硬件友好的帧内预测模式快速确定方法第一实施例的流程示意图。
本发明实施例提供了硬件友好的帧内预测模式快速确定方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。为了便于描述，以下省略执行主体描述硬件友好的帧内预测模式快速确定方法的各个步骤。硬件友好的帧内预测模式快速确定方法包括：
步骤S10，获取预设帧内预测模式决策参数，修改所述预设帧内预测模式决策参数，得到修改后帧内预测模式决策参数，以减少帧内预测模式决策相关的硬件资源开销。
具体地，获取HPM(High-Performance Model，高性能模型)6.0编码工具的预设帧内预测模式决策参数，该预设帧内预测模式决策参数包括以下至少一种：PB(PredictionBlock,预测块)划分设置参数、在RMD阶段调用熵编码模块和在RDO阶段进行多次预编码；修改上述预设帧内预测模式决策参数包括以下至少一种：修改PB划分设置参数为不划分、在RMD阶段不调用熵编码模块(在RMD阶段不进行熵编码)和在RDO阶段不进行预编码而直接进行实际编码，并将上述修改后的预设帧内预测模式决策参数作为修改后帧内预测模式决策参数。上述修改预设帧内预测模式决策参数的目的为面向硬件加速实现友好的帧内预测模式快速决策，以减少帧内预测模式决策过程相关的硬件资源开销。
需要说明的是，对于编码参数中的最小CU(Coding Unit，编码单元)尺寸设置参数，可以将最小CU尺寸设置参数由4修改为更大尺寸(例如最小CU尺寸设置为8)，以进一步减少视频编码过程中的硬件资源开销。
需要说明的是，PB也称为PU(Prediction Unit，预测单元)，为视频帧内预测任务的最小单位；预编码为对若干种候选帧内预测模式进行变换、量化、反量化、逆变换、熵编码和重建的过程。
步骤S20，获取视频帧数据，并基于所述视频帧数据和所述修改后帧内预测模式决策参数，构建帧内预测模式对应的预测块。
具体地，获取视频帧数据，并基于该视频帧数据和该修改后帧内预测模式决策参数，构建帧内预测模式对应的预测块。
需要说明的是，在存储该视频帧数据时，为节约码率，需要对该视频帧数据进行编码处理，如压缩，压缩的原理为以变化值代替原始值进行存储，一般地，视频帧包含大量的像素点，例如，一个视频帧由64x64个像素点组成，压缩过程则是将该视频帧分割为多个像素块(如8x8个像素点)并以预设处理规则对各像素块进行存储。其中，变化值所需存储空间小于原始值，变化值由原始值计算而来，具体为原始值与预测值之间的差值，称为残差；预测值由参考值计算而来，参考值由已编码块提供，其计算公式由帧内预测模式决定，例如，参照图2，图2为一种帧内预测模式，其中各方块代表一个像素点，“灰色块”为8x8像素的预测块，像素点A，B，……，Q为该预测块的相邻像素点(已编码块中的部分像素点)，箭头代表预测块中该列像素点的参考值和预测值均为该列像素点对应的相邻像素点的像素值(如像素点A的像素值)，可以理解的是，此时预测值和参考值的计算公式为预测值等于参考值。
步骤S30，基于预设率失真代价算法，计算所述预测块的残差的率失真代价，并基于所述率失真代价，确定目标帧内预测模式。
具体地，基于预设率失真代价算法，计算该预测块的残差的率失真代价，并基于该率失真代价，确定目标帧内预测模式。需要说明的是，现有技术中，使用的率失真代价算法为SATD(Sum of Absolute Transformed Difference,变换后绝对差和)。
进一步地，所述预设率失真代价算法包括基于梯度法的纹理复杂度TCG，所述基于预设率失真代价算法，计算所述预测块的残差的率失真代价，包括：
计算所述残差的TCG(Textural Complexity based on Gradient，基于梯度法的纹理复杂度)，并使用所述TCG近似率失真代价。
进一步地，所述预设率失真代价算法还包括绝对差和SAD，所述基于预设率失真代价算法，计算所述预测块的残差的率失真代价，包括：
计算所述残差的SAD(Sum of Absolute Differences，绝对差和)，并使用所述SAD近似率失真代价。
具体地，无论是经过预设帧内预测模式决策参数修改，还是未经过预设帧内预测模式决策参数修改，使用SATD都难以满足4K\8K超高清视频的实时编码器需求，通过仿真发现，在计算残差的SATD时，硬件资源消耗太大。
需要说明的是，在计算TCG或SAD后，通过Hadamard代价近似率失真代价。
对于通过TCG近似率失真代价，计算残差的TCG的公式为：
Figure BDA0002567633320000061
其中，pi,j表示残差块(由待编码块(与原始值对应)和参考块(与参考值对应)进行残差计算得到)第j行、第i列的像素值，W和H分别表示残差块的宽和高。
在RMD阶段，由于不再进行熵编码，Hadamard代价计算公式为：
HCost＝DTCG；
其中，HCost表示Hadamard代价，DTCG表示残差的TCG。
对于通过SAD近似率失真代价，计算残差的SAD的公式为：
Figure BDA0002567633320000062
其中，pi,j表示残差块第j行、第i列的像素值，W和H分别表示残差块的宽和高。
在RMD阶段，由于不再进行熵编码，Hadamard代价计算公式为：
HCost＝DSAD；
其中，HCost表示Hadamard代价，DSAD表示残差的SAD。
进一步地，所述基于所述率失真代价，确定目标帧内预测模式，包括：
步骤S31，基于所述率失真代价和预设筛选算法，筛选出预设数量的帧内预测模式。
具体地，基于率失真代价和预设筛选算法，筛选出预设数量的帧内预测模式。具体地，参照图3，在AVS3标准中，帧内预测模式分为4类，包括特殊帧内预测模式0，1，2；4倍角帧内预测模式(图中箭头指向Zone1和Zone2的部分)；2倍角帧内预测模式(图中箭头指向Zone3的部分)；1倍角帧内预测模式(图中虚线箭头部分)。
此外，在筛选预设数量的帧内预测模式时，首先，计算特殊帧内预测模式和4倍角帧内预测模式对应的Hadamard代价，将该Hadamard代价近似为率失真代价，并将率失真代价按从小到大的顺序排序，将排在前十位的率失真代价对应的帧内预测模式作为最优的10个帧内预测模式，若此时该10个帧内预测模式的前两位为图2中的帧内预测模式DC和Plane，则将排在前三位的率失真代价对应的帧内预测模式作为预设数量的帧内预测模式，否则对上述10个帧内预测模式计算相邻两个2倍角帧内预测模式(如4倍角帧内预测模式4的相邻两个2倍角帧内预测模式分别为3和5)对应的Hadamard代价，通过与上述特殊帧内预测模式和4倍角帧内预测模式对应的排序方式相同的排序方式，得到最优的6个帧内预测模式，最后对该6个帧内预测模式计算相邻两个1倍角帧内预测模式对应的Hadamard代价，通过与上述特殊帧内预测模式和4倍角帧内预测模式对应的排序方式相同的排序方式，得到最优的3个帧内预测模式。将该3个帧内预测模式作为预设数量的帧内预测模式。
步骤S32，基于所述预设数量的帧内预测模式和预设帧内预测模式，生成帧内预测模式候选表。
具体地，基于上述预设数量的帧内预测模式和预设帧内预测模式，生成帧内预测模式候选表，其中，预设帧内预测模式为MPM(Most Possible Mode，最可能模式)，该MPM来自于相邻的已编码块，具体地，参照图2，MPM来自于左侧的像素I(或J，……，P)所在已编码块，和上侧的像素A(或B，……，H)所在已编码块。
需要说明的是，生成帧内预测模式候选表的过程为预设帧内预测模式与预设数量的帧内预测模式合并，而并非叠加，例如，预设帧内预测模式包括两个帧内预测模式，预设数量为三，则最终生成的帧内预测模式候选表中帧内预测模式数量为三，而非五，同样地，合并的以及还是通过Hadamard代价选出最优的三个帧内预测模式。
步骤S33，确定所述帧内预测模式候选表中成本最低的帧内预测模式为目标帧内预测模式。
具体地，确定该帧内预测模式候选表中成本最低的帧内预测模式为目标帧内预测模式，由该目标帧内预测模式对待编码块进行实际编码，所得到的编码后像素块对应的码率最小。
此外，参照图4，在编码配置为全I帧编码结构，四个QP(QuantizationParameter，量化参数)点为27、32、38和45，帧率为30fps，最小CU尺寸为8，测试序列为8K超高清视频的前提下，对于解码端，相比于使用SATD的方案，使用TCG的方案在Y(亮度感知)、U(色相)、V(色饱和度)三个分量的BD-rate(Bjontegaard-Delta rate，Bjontegaard增量率)分别增加0.06％、0.16％和0.96％，使用SAD的方案在Y、U、V三个分量的BD-rate分别增加0.14％、0.06％和0.81％。
参照图5，在仿真帧内预测模式快速决策模块时，输入为8x8的PB、上方一行相邻像素和左侧一列相邻像素，输出为决策出的帧内预测模式。使用SAD的方案和使用TCG的方案，其相应的计算单元(Cal SAD Unit、Cal TCG Unit)所消耗的各硬件(如DSP48E)资源相对于各硬件总资源的占比远小于使用SATD的方案中计算单元(Cal SATD Unit)所消耗的各硬件资源相对于各硬件总资源的占比。例如，对于硬件资源LUT，使用SATD的方案中计算单元(Cal SATD Unit)的消耗为53313，可使用的LUT为2532960，使用比例约为2.1％；使用TCG的方案中计算单元(Cal TCG Unit)的消耗为1099，可使用的LUT为2532960，使用比例约为0.04％，其远小于2.1％。
因此，实验数据表明，在基本不影响编码RD(Rate Distortion，率失真)性能的前提下，使用TCG或SAD的方案相比与使用SATD的方案，硬件资源消耗大大减少。
进一步地，所述构建帧内预测模式对应的预测块的过程，和所述基于预设率失真代价算法、计算所述预测块的残差的率失真代价的过程，使用并行计算方案。
具体地，对上述构建帧内预测模式对应的预测块的过程，和基于预设率失真代价算法、计算该预测块的残差的率失真代价的过程，使用并行计算方案。需要说明的是，并行计算需要占用大量的硬件资源，而由于采用TCG或SAD近似率失真代价，大大减少了硬件资源开销，为并行计算提供了硬件资源基础。参照图6，以TCG近似率失真代价为例，并行计算过程为构建预测块的模块和TCG计算单元并行计算，其中，各虚线箭头对应各帧内预测模式，以得到目标帧内预测模式，并通过该目标帧内预测模式对待编码块进行残差计算，以得到残差块。
本实施例中，通过获取预设帧内预测模式决策参数，修改所述预设帧内预测模式决策参数，得到修改后帧内预测模式决策参数，以减少帧内预测模式决策相关的硬件资源开销；获取视频帧数据，并基于所述视频帧数据和所述修改后帧内预测模式决策参数，构建帧内预测模式对应的预测块；基于预设率失真代价算法，计算所述预测块的残差的率失真代价，并基于所述率失真代价，确定目标帧内预测模式，实现了通过以减少帧内预测模式决策相关的硬件资源开销为目的的修改预设帧内预测模式决策参数的过程，得到修改后帧内预测模式决策参数，并以此构建预测块和计算率失真代价，从而减少了计算率失真代价时的硬件资源开销，进而减少了帧内预测模式决策相关的硬件资源开销。
进一步地，基于本发明硬件友好的帧内预测模式快速确定方法第一实施例，提出第二实施例，所述基于所述率失真代价，确定目标帧内预测模式，包括：
步骤A10，确定各率失真代价中最小的率失真代价；
步骤A20，将所述最小的率失真代价对应的帧内预测模式作为目标帧内预测模式。
具体地，遍历所有帧内预测模式，并对该所有帧内预测模式构建预测块，计算各预测块对应的残差的TCG或SAD，以TCG为例，以TCG近似率失真代价，对该率失真代价按大小进行排序，选择出最小的率失真代价，并将该最小的率失真代价对应的帧内预测模式作为目标帧内预测模式。
本实施例中，通过遍历所有帧内预测模式，以从所有帧内预测模式中选出最合适的帧内预测模式，使用该最合适的帧内预测模式进行视频编码，减小了该视频的码率。
进一步地，基于本发明硬件友好的帧内预测模式快速确定方法第一实施例，提出第三实施例，获取所述残差的过程，包括：
步骤A30，基于采样点法，对所述预测块进行残差采样。
具体地，基于采样点法，对预测块进行残差采样。需要说明的是，采样点法为对预测块中的像素点对应的残差进行采样，例如，参照图7，其采样率为1/2，对于8x8的预测块，其存在64个像素点，相应地，存在64个残差，通过采用点法选取32个残差作为样本(灰色方块部分)，丢弃其他32个残差(白色方块部分)；例如，参照图8，其采样率为1/3，对于8x8的预测块，其存在64个像素点，相应地，存在64个残差，通过采用点法选取22个残差作为样本(灰色方块部分)，丢弃其他42个残差(白色方块部分)。
当然，该采样点法对采样起始像素点的位置不作要求，例如，从图8的第一行第二个像素点开始采样，但是，这样采样会造成样本数减少为21，而样本数的多少会直接影响到率失真代价的准确性，因此，优选地，如图8所示，从第一行第一个像素点开始采样，以尽量多采集样本。
进一步地，所述硬件友好的帧内预测模式快速确定方法还包括：
步骤A40，各预测块对应的采样点法使用统一的采样规则。
具体地，对于各帧内预测模式对应的预测块以及其他CU的各帧内预测模式对应的预测块，其对应的采样点法使用统一的采样规则。以避免增加额外的控制逻辑信号，从而避免增加帧内预测模式决策过程中的计算负担。
本实施例中，使用采样点法对残差进行采样，以减少计算率失真代价的次数，从而达到进一步减少硬件资源开销的目的。
此外，本发明还提供一种硬件友好的帧内预测模式快速确定装置，所述硬件友好的帧内预测模式快速确定装置包括：
获取模块10，用于获取预设帧内预测模式决策参数；
修改模块20，用于修改所述预设帧内预测模式决策参数，得到修改后帧内预测模式决策参数，以减少帧内预测模式决策相关的硬件资源开销；
所述获取模块还用于获取视频帧数据；
构建模块30，用于基于所述视频帧数据和所述修改后帧内预测模式决策参数，构建帧内预测模式对应的预测块；
计算模块40，用于基于预设率失真代价算法，计算所述预测块的残差的率失真代价；
确定模块50，用于基于所述率失真代价，确定目标帧内预测模式。
进一步地，所述计算模块40包括：
计算单元，用于计算所述残差的TCG，并使用所述TCG近似率失真代价。
所述计算单元还用于计算所述残差的SAD，并使用所述SAD近似率失真代价。
进一步地，所述确定模块50包括：
筛选单元，用于基于所述率失真代价和预设筛选算法，筛选出预设数量的帧内预测模式；
生成单元，用于基于所述预设数量的帧内预测模式和预设帧内预测模式，生成帧内预测模式候选表；
第一确定单元，用于确定所述帧内预测模式候选表中成本最低的帧内预测模式为目标帧内预测模式。
进一步地，所述确定模块50还包括：
第二确定单元，用于确定各率失真代价中最小的率失真代价；将所述最小的率失真代价对应的帧内预测模式作为目标帧内预测模式。
进一步地，所述硬件友好的帧内预测模式快速确定方法还包括：
采样模块，用于基于采样点法，对所述预测块进行残差采样。
本发明硬件友好的帧内预测模式快速确定装置具体实施方式与上述硬件友好的帧内预测模式快速确定方法各实施例基本相同，在此不再赘述。
此外，本发明还提供一种硬件友好的帧内预测模式快速确定设备。如图9所示，图9是本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是，图9即可为硬件友好的帧内预测模式快速确定设备的硬件运行环境的结构示意图。
如图9所示，该硬件友好的帧内预测模式快速确定设备可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，硬件友好的帧内预测模式快速确定设备还可以包括RF(RadioFrequency，射频)电路，传感器、音频电路、WiFi模块等等。
本领域技术人员可以理解，图9中示出的硬件友好的帧内预测模式快速确定设备结构并不构成对硬件友好的帧内预测模式快速确定设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图9所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及硬件友好的帧内预测模式快速确定程序。其中，操作系统是管理和控制硬件友好的帧内预测模式快速确定设备硬件和软件资源的程序，支持硬件友好的帧内预测模式快速确定程序以及其它软件或程序的运行。
在图9所示的硬件友好的帧内预测模式快速确定设备中，用户接口1003主要用于连接终端，与终端进行数据通信，如接收终端发送的视频图像帧数据；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的硬件友好的帧内预测模式快速确定程序，并执行如上所述的硬件友好的帧内预测模式快速确定方法的步骤。
本发明硬件友好的帧内预测模式快速确定设备具体实施方式与上述硬件友好的帧内预测模式快速确定方法各实施例基本相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有硬件友好的帧内预测模式快速确定程序，所述硬件友好的帧内预测模式快速确定程序被处理器执行时实现如上所述的硬件友好的帧内预测模式快速确定方法的步骤。
本发明计算机可读存储介质具体实施方式与上述硬件友好的帧内预测模式快速确定方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，设备，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种硬件友好的帧内预测模式快速确定方法，其特征在于，所述硬件友好的帧内预测模式快速确定方法包括以下步骤：
获取预设帧内预测模式决策参数，修改所述预设帧内预测模式决策参数，得到修改后帧内预测模式决策参数，以减少帧内预测模式决策相关的硬件资源开销；
获取视频帧数据，并基于所述视频帧数据和所述修改后帧内预测模式决策参数，构建帧内预测模式对应的预测块；
基于预设率失真代价算法计算所述预测块的残差的率失真代价，并基于所述率失真代价，确定目标帧内预测模式；
所述修改所述预设帧内预测模式决策参数，包括：
在粗模式决策RMD阶段不进行熵编码；或，
在率失真优化RDO阶段不进行预编码而直接进行实际编码；或，
修改预测块PB划分设置参数为不划分和在RMD阶段不进行熵编码；或，
在RMD阶段不进行熵编码、和在RDO阶段不进行预编码而直接进行实际编码；或，
修改PB划分设置参数为不划分和在RDO阶段不进行预编码而直接进行实际编码；或，
修改PB划分设置参数为不划分、在RMD阶段不进行熵编码、和在RDO阶段不进行预编码而直接进行实际编码。
2.如权利要求1所述的硬件友好的帧内预测模式快速确定方法，其特征在于，所述预设率失真代价算法包括基于梯度法的纹理复杂度TCG，所述基于预设率失真代价算法计算所述预测块的残差的率失真代价，包括：
计算所述残差的TCG，并使用所述TCG近似率失真代价。
3.如权利要求1所述的硬件友好的帧内预测模式快速确定方法，其特征在于，所述预设率失真代价算法还包括绝对差和SAD，所述基于预设率失真代价算法计算所述预测块的残差的率失真代价，包括：
计算所述残差的SAD，并使用所述SAD近似率失真代价。
4.如权利要求2或3所述的硬件友好的帧内预测模式快速确定方法，其特征在于，所述基于所述率失真代价，确定目标帧内预测模式，包括：
基于所述率失真代价和预设筛选算法，筛选出预设数量的帧内预测模式；
基于所述预设数量的帧内预测模式和预设帧内预测模式，生成帧内预测模式候选表；
确定所述帧内预测模式候选表中成本最低的帧内预测模式为目标帧内预测模式。
5.如权利要求2或3所述的硬件友好的帧内预测模式快速确定方法，其特征在于，所述基于所述率失真代价，确定目标帧内预测模式，包括：
确定各率失真代价中最小的率失真代价；
将所述最小的率失真代价对应的帧内预测模式作为目标帧内预测模式。
6.如权利要求3所述的硬件友好的帧内预测模式快速确定方法，其特征在于，获取所述残差的过程，包括：
对所述预测块中的像素点对应的残差进行采样。
7.如权利要求6所述的硬件友好的帧内预测模式快速确定方法，其特征在于，包括：
在对各帧内预测模式对应的预测块中的像素点对应的残差进行采样时，使用统一的采样规则。
8.如权利要求1所述的硬件友好的帧内预测模式快速确定方法，其特征在于，所述构建帧内预测模式对应的预测块的过程，和所述基于预设率失真代价算法计算所述预测块的残差的率失真代价的过程，使用并行计算方案。
9.一种硬件友好的帧内预测模式快速确定设备，其特征在于，所述硬件友好的帧内预测模式快速确定设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的硬件友好的帧内预测模式快速确定程序，所述硬件友好的帧内预测模式快速确定程序被所述处理器执行时实现如权利要求1至8中任一项所述的硬件友好的帧内预测模式快速确定方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有硬件友好的帧内预测模式快速确定程序，所述硬件友好的帧内预测模式快速确定程序被处理器执行时实现如权利要求1至8中任一项所述的硬件友好的帧内预测模式快速确定方法的步骤。
CN202010629951.0A 2020-07-02 2020-07-02 硬件友好的帧内预测模式快速确定方法、设备及存储介质 Active CN111918058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010629951.0A CN111918058B (zh) 2020-07-02 2020-07-02 硬件友好的帧内预测模式快速确定方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010629951.0A CN111918058B (zh) 2020-07-02 2020-07-02 硬件友好的帧内预测模式快速确定方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111918058A CN111918058A (zh) 2020-11-10
CN111918058B true CN111918058B (zh) 2022-10-28

Family

ID=73227315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010629951.0A Active CN111918058B (zh) 2020-07-02 2020-07-02 硬件友好的帧内预测模式快速确定方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111918058B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113630596A (zh) * 2021-06-25 2021-11-09 杭州未名信科科技有限公司 Avs3帧内预测模式粗选方法、系统及介质
CN116114245A (zh) 2021-09-02 2023-05-12 辉达公司 在视频编码过程中视频帧的并行处理

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141649A (zh) * 2007-07-31 2008-03-12 北京大学 用于视频编码的帧内预测编码最佳模式的选取方法及装置
CN102647593A (zh) * 2012-04-18 2012-08-22 北京大学 一种avs帧内模式决策方法和装置
CN102932642A (zh) * 2012-11-13 2013-02-13 北京大学 一种帧间编码快速模式选择方法
CN103384326A (zh) * 2013-03-20 2013-11-06 张新安 一种avs-m视频编码快速帧内预测模式选择方法
CN103581682A (zh) * 2013-08-14 2014-02-12 北京交通大学 一种hevc帧内编码的快速模式决策算法及其应用
CN104023234A (zh) * 2014-06-24 2014-09-03 华侨大学 一种适用于hevc的快速帧间预测方法
CN104052994A (zh) * 2014-04-14 2014-09-17 嘉兴职业技术学院 分级自适应的hevc帧内预测模式快速决策方法
CN104378643A (zh) * 2014-12-04 2015-02-25 南京理工大学 一种3d视频深度图像帧内预测模式选择方法及系统
CN104539970A (zh) * 2014-12-21 2015-04-22 北京工业大学 一种3d-hevc帧间编码合并模式快速决策方法
CN105120291A (zh) * 2015-08-07 2015-12-02 中山大学 一种基于方差的自适应快速视频编码方法
CN106028047A (zh) * 2016-05-24 2016-10-12 西安电子科技大学 一种基于Hadamard变换的帧内预测的快速模式选择和PU划分的方法
CN106131547A (zh) * 2016-07-12 2016-11-16 北京大学深圳研究生院 视频编码中帧内预测模式的快速决策方法
CN107396130A (zh) * 2017-07-28 2017-11-24 天津大学 基于dct的hevc快速帧内模式决策算法
WO2018117334A1 (ko) * 2016-12-21 2018-06-28 전자부품연구원 고효율 비디오 부호화 모드 결정방법 및 결정장치
CN109068142A (zh) * 2018-09-06 2018-12-21 北方工业大学 基于纹理特征的360度视频帧内预测快速决策
CN109660794A (zh) * 2018-11-07 2019-04-19 北京达佳互联信息技术有限公司 帧内预测模式的决策方法、决策装置和计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170072637A (ko) * 2015-12-17 2017-06-27 한국전자통신연구원 영상 부호화/복호화 방법 및 그 장치
US10721468B2 (en) * 2016-09-12 2020-07-21 Nec Corporation Intra-prediction mode determination method, intra-prediction mode determination device, and storage medium for storing intra-prediction mode determination program

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141649A (zh) * 2007-07-31 2008-03-12 北京大学 用于视频编码的帧内预测编码最佳模式的选取方法及装置
CN102647593A (zh) * 2012-04-18 2012-08-22 北京大学 一种avs帧内模式决策方法和装置
CN102932642A (zh) * 2012-11-13 2013-02-13 北京大学 一种帧间编码快速模式选择方法
CN103384326A (zh) * 2013-03-20 2013-11-06 张新安 一种avs-m视频编码快速帧内预测模式选择方法
CN103581682A (zh) * 2013-08-14 2014-02-12 北京交通大学 一种hevc帧内编码的快速模式决策算法及其应用
CN104052994A (zh) * 2014-04-14 2014-09-17 嘉兴职业技术学院 分级自适应的hevc帧内预测模式快速决策方法
CN104023234A (zh) * 2014-06-24 2014-09-03 华侨大学 一种适用于hevc的快速帧间预测方法
CN104378643A (zh) * 2014-12-04 2015-02-25 南京理工大学 一种3d视频深度图像帧内预测模式选择方法及系统
CN104539970A (zh) * 2014-12-21 2015-04-22 北京工业大学 一种3d-hevc帧间编码合并模式快速决策方法
CN105120291A (zh) * 2015-08-07 2015-12-02 中山大学 一种基于方差的自适应快速视频编码方法
CN106028047A (zh) * 2016-05-24 2016-10-12 西安电子科技大学 一种基于Hadamard变换的帧内预测的快速模式选择和PU划分的方法
CN106131547A (zh) * 2016-07-12 2016-11-16 北京大学深圳研究生院 视频编码中帧内预测模式的快速决策方法
WO2018117334A1 (ko) * 2016-12-21 2018-06-28 전자부품연구원 고효율 비디오 부호화 모드 결정방법 및 결정장치
CN107396130A (zh) * 2017-07-28 2017-11-24 天津大学 基于dct的hevc快速帧内模式决策算法
CN109068142A (zh) * 2018-09-06 2018-12-21 北方工业大学 基于纹理特征的360度视频帧内预测快速决策
CN109660794A (zh) * 2018-11-07 2019-04-19 北京达佳互联信息技术有限公司 帧内预测模式的决策方法、决策装置和计算机可读存储介质

Also Published As

Publication number Publication date
CN111918058A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
JP5782169B2 (ja) 動画像符号化装置及び動画像符号化方法
US8913661B2 (en) Motion estimation using block matching indexing
US10277896B2 (en) Intra-frame prediction systems and methods
US9516320B2 (en) Method of generating image data
Kim et al. Low-complexity macroblock mode selection for H. 264-AVC encoders
US20170230656A1 (en) Sample adaptive offset systems and methods
CN103428497A (zh) 用于增强层视频编码的适应性量化
WO2011101449A1 (en) Data compression for video
CN111918058B (zh) 硬件友好的帧内预测模式快速确定方法、设备及存储介质
US20110235715A1 (en) Video coding system and circuit emphasizing visual perception
CN107231557B (zh) 用于在视频编码中的高级帧内预测的递归块分区中的智能重排的编、解码方法及装置
KR20130112374A (ko) 고속 인트라 예측을 위한 영상 부호화 방법 및 장치
US10368068B2 (en) Encoder and method for video processing
US20100040143A1 (en) Video coding apparatus and method
CN113489976A (zh) 预测编码方法、装置和电子设备
CN112839224B (zh) 一种预测模式选择方法、装置、视频编码设备及存储介质
KR100771640B1 (ko) 고속 모드 결정 기능을 구비한 ｈ.２６４ 인코더
CN100452881C (zh) 一种基于合并处理的反量化方法及其装置
US20160057429A1 (en) Coding apparatus, method, computer product, and computer system
KR100771641B1 (ko) Ｈ.２６４ 고속 모드 결정 방법
WO2012121575A2 (ko) 인트라 예측 방법 및 그 장치
CN114079769A (zh) 视频编码方法、装置、设备及计算机可读存储介质
JP2017050744A (ja) 画像符号化装置、画像符号化方法、及びプログラム
JP2012023609A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US20120230425A1 (en) Encoding apparatus and method of conversion block for increasing video compression efficiency

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant