CN113259670A - Avs3的模式决策电路结构、模式决策方法及电子设备 - Google Patents

Avs3的模式决策电路结构、模式决策方法及电子设备 Download PDF

Info

Publication number
CN113259670A
CN113259670A CN202110762807.9A CN202110762807A CN113259670A CN 113259670 A CN113259670 A CN 113259670A CN 202110762807 A CN202110762807 A CN 202110762807A CN 113259670 A CN113259670 A CN 113259670A
Authority
CN
China
Prior art keywords
processing circuit
circuit
mode
binary tree
avs3
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110762807.9A
Other languages
English (en)
Other versions
CN113259670B (zh
Inventor
张鹏
向国庆
卢东东
严伟
贾惠柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Original Assignee
Advanced Institute of Information Technology AIIT of Peking University
Hangzhou Weiming Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Institute of Information Technology AIIT of Peking University, Hangzhou Weiming Information Technology Co Ltd filed Critical Advanced Institute of Information Technology AIIT of Peking University
Priority to CN202110762807.9A priority Critical patent/CN113259670B/zh
Publication of CN113259670A publication Critical patent/CN113259670A/zh
Application granted granted Critical
Publication of CN113259670B publication Critical patent/CN113259670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种AVS3的模式决策电路结构、模式决策方法及电子设备。该电路结构包括a阶处理电路和比较电路；其中，a为非负整数；a阶处理电路用于在AVS3下直接处理尺寸为（2an）×（2an）的最大编码单元，得到至少一个率失真优化值；其中，基本编码单元的尺寸为n×n，n为正整数；比较电路用于比较所述至少一个率失真优化值，确定代价值最小的率失真优化值以及所述代价值最小的率失真优化值所对应的模式。本申请针对不同尺寸电路设计了模式决策处理电路，通过将不同尺寸的电路进行不同程度并行和串行处理，充分考虑到了每个尺寸处理的时间和数据特性，同时节省电路和存储面积，兼顾电路尺寸与处理速度，可以很好地满足实际应用中对二者的需求。

Description

AVS3的模式决策电路结构、模式决策方法及电子设备
技术领域
本申请涉及视频处理技术领域，具体涉及一种AVS3的模式决策电路结构、模式决策方法及电子设备。
背景技术
在视频编码标准中，一般支持众多的编码模式划分，包括CU(Coding Unit，编码单元)、PU(Prediction Unit，预测单元)等。比如AVS2、HEVC等标标准支持CU/PU的尺寸范围为4x4、8x8、16x16、32x32以及64x64，包括对应的部分非正方形划分。特别的，除了AVS2中四叉树划分模式之外，在最新AVS3视频编码标准中引入了更多的划分模式，包括二叉树划分以及扩展四叉树划分模式。为了在每个尺寸诸多划分模式中，得到最终的最优划分模式，引入MD(Mode Decision，模式决策)模块。该模块一般是各个视频编码器的核心处理单元，该实现通过对帧内和帧间多个候选模式通过率失真优化(RDO)过程选择编码性能最优的编码单元的划分模式和预测模式，实现最佳的编码质量和性能。通常MD模块是编码器中复杂度最高、数据结构依赖性最强的模块，也是编码器速度和性能的瓶颈。因此MD模块电路设计在硬件编码器设计过程中通常也是最具有挑战的环节，特别在AVS3标准中由于更加复杂的候选模式，硬件设计面临更多问题。
在视频编码标准参考软件中，如AVS2视频编码的参考软件RD17等，MD模块的功能通常是对每个编码尺寸按照串行的方式，分别进行RDO(Rate Distortion Optimization，率失真优化)过程。每一种PU/CU决策得到RDO代价后都会与其他的候选模式进行比较，最终得到最优结果数据。这种串行处理方式显然时间复杂度高、并行粒度低，不利于硬件实现实时编码器。在面对硬件编码器时，也有技术方案考虑到对不同尺寸电路并行处理，比如针对HEVC标准中帧内编码MD处理过程，提出在251MHz主频下的不同尺寸并行和流水处理电路，其中4x4采用单独MD电路，其他尺寸采用串行单路。
视频编码标准参考软件中的MD实现方案显然不适合硬件编码器，同时虽然有一些针对HEVC标准的MD硬件电路，但是考虑到编码工具、性能、主频等目标和因素不同，所涉及的方案和背景并不能直接适用于AVS3硬件编码器。
发明内容
本申请的目的是提供一种AVS3的模式决策电路结构、模式决策方法及电子设备。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
根据本申请实施例的一个方面，提供一种AVS3的模式决策电路结构，包括a阶处理电路和比较电路；其中，a为非负整数；
所述a阶处理电路用于在AVS3下直接处理尺寸为（2an）×（2an）的最大编码单元，得到至少一个率失真优化值；其中，基本编码单元的尺寸为n×n，n为正整数；
所述比较电路用于比较所述至少一个率失真优化值，确定代价值最小的率失真优化值以及所述代价值最小的率失真优化值所对应的模式。
进一步地，所述AVS3的模式决策电路结构还包括色度处理电路，所述色度处理电路用于处理当前最大编码单元的上一个最大编码单元的色度信息；所述当前最大编码单元为所述a阶处理电路当前所正在处理的最大编码单元。
进一步地，根据a≥2，所述a阶处理电路包括互相平行的a阶四叉树划分模式处理电路和a阶串行处理电路；
所述a阶串行处理电路包括串联的第一非划分模式处理电路、第一二叉树水平划分模式处理电路和第一二叉树垂直划分模式处理电路；
所述a阶四叉树划分模式处理电路包括用于进行四次调用的（a-1）级处理电路，所述（a-1）级处理电路的（a-1）级四叉树划分模式处理电路包括用于进行四次调用的（a-2）级处理电路，依次类推；
所述第一非划分模式处理电路、所述第一二叉树水平划分模式处理电路和所述第一二叉树垂直划分模式处理电路分别依次用于对所述最大编码单元进行第一非划分模式处理、第一二叉树水平划分模式处理和第一二叉树垂直划分模式处理，得到至少一个第一率失真优化值；
所述a阶四叉树划分模式处理电路用于通过四次调用（a-1）级处理电路处理所述最大编码单元，得到至少一个第二率失真优化值；
所述比较电路用于比较所述至少一个第一率失真优化值和所述至少一个第二率失真优化值，确定其中代价值最小的率失真优化值，并确定所述其中代价值最小的率失真优化值所对应的模式。
进一步地，根据a=1，a阶处理电路包括用于进行四次调用的0阶处理电路；
所述0阶处理电路包括并行的第二非划分模式处理电路、第二二叉树水平划分模式处理电路和第二二叉树垂直划分模式处理电路；
所述第二非划分模式处理电路、所述第二二叉树水平划分模式处理电路和所述第二二叉树垂直划分模式处理电路用于分别对所述基本编码单元进行第二非划分模式处理、第二二叉树水平划分模式处理和第二二叉树垂直划分模式处理；
所述a阶处理电路用于通过四次调用所述0阶处理电路得到至少一个第三率失真优化值；
所述比较电路用于比较通过四次调用所述0阶处理电路所得到所述第三率失真优化值，确定代价值最小的第三率失真优化值，并确定所述代价值最小的第三率失真优化值所对应的模式。
进一步地，根据a=0，所述a阶处理电路为0阶处理电路；
所述0阶处理电路包括并行的第二非划分模式处理电路、第二二叉树水平划分模式处理电路和第二二叉树垂直划分模式处理电路；所述第二非划分模式处理电路、所述第二二叉树水平划分模式处理电路和所述第二二叉树垂直划分模式处理电路用于分别对所述基本编码单元进行第二非划分模式处理、第二二叉树水平划分模式处理和第二二叉树垂直划分模式处理，分别得到至少一个第四率失真优化值；
所述比较电路用于比较通过所述0阶处理电路所得到的所述第四率失真优化值，确定代价值最小的第四率失真优化值，并确定所述代价值最小的第四率失真优化值所对应的模式。
进一步地，所述第一二叉树水平划分模式处理电路和/或所述第二二叉树水平划分模式处理电路包括扩展四叉树水平划分模式处理电路。
进一步地，所述第一二叉树垂直划分模式处理电路和/或所述第二二叉树水平划分模式处理电路包括扩展四叉树垂直划分模式处理电路。
根据本申请实施例的另一个方面，提供一种AVS3的模式决策方法，通过上述任一项所述的AVS3的模式决策电路结构实现；
所述AVS3的模式决策方法，包括：
所述a阶处理电路在AVS3下直接处理尺寸为（2an）×（2an）的最大编码单元，得到至少一个率失真优化值；
所述比较电路对所述至少一个率失真优化值进行比较，确定代价值最小的率失真优化值以及所述代价值最小的率失真优化值所对应的模式。
进一步地，所述AVS3的模式决策电路结构还包括色度处理电路；所述AVS3的模式决策方法还包括：
所述色度处理电路处理当前最大编码单元的上一个最大编码单元的色度信息；所述当前最大编码单元为所述a阶处理电路当前所正在处理的最大编码单元。
根据本申请实施例的另一个方面，提供一种电子设备，包括上述任一项的AVS3的模式决策电路结构。
本申请实施例的其中一个方面提供的技术方案可以包括以下有益效果：
本申请实施例提供的AVS3的模式决策电路结构，针对不同尺寸电路设计了模式决策处理电路，通过将不同尺寸的电路进行不同程度并行和串行处理，充分考虑到了每个尺寸处理的时间和数据特性，最终满足实时处理需求，同时节省电路和存储面积，兼顾电路尺寸与处理速度，可以很好地满足实际应用中对二者的需求。
本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，部分特征和优点可以从说明书中推知或毫无疑义地确定，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了编码单元的六种划分模式示意图；
图2示出了本申请一个实施例的AVS3的模式决策电路结构的框图；
图3示出了a阶串行处理电路的结构框图；
图4示出了0阶处理电路的结构框图；
图5示出了顶层为8x8的模式决策电路结构的示意图；
图6(a)示出了顶层为16x16的一级尺寸模式决策电路结构的示意图；
图6(b)示出了顶层为16x8的二级尺寸模式决策电路结构的示意图；
图6(c)示出了顶层为8x16的二级尺寸模式决策电路结构的示意图；
图6(d)示出了顶层为16x4的三级尺寸模式决策电路结构的示意图；
图6(e)示出了顶层为4x16的三级尺寸模式决策电路结构的示意图；
图7(a)示出了顶层为32x32的一级尺寸模式决策电路结构的示意图；
图7(b)示出了顶层为32x16的二级尺寸模式决策电路结构的示意图；
图7(c)示出了顶层为16x32的二级尺寸模式决策电路结构的示意图；
图7(d)示出了顶层为32x8的三级尺寸模式决策电路结构的示意图；
图7(e)示出了顶层为8x32的三级尺寸模式决策电路结构的示意图；
图7(f)示出了顶层为32x4的四级尺寸模式决策电路结构的示意图；
图7(g)示出了顶层为4x32的四级尺寸模式决策电路结构的示意图；
图7(h)示出了顶层为32x32的EQT内部尺寸模式决策电路结构的示意图；
图8(a)示出了顶层为64x64的一级尺寸模式决策电路结构的示意图；
图8(b)示出了顶层为64x64的其他内部尺寸模式决策电路结构的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本申请做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本申请实施例针对AVS3视频编码标准，提供了满足支持100M下FPGA环境中1920x1080@60fps处理能力的高性能、高效的模式决策电路。具体来说，针对AVS3视频编码标准，本申请实施例提供了支持8x4/4x8到64x64的所有帧间和帧内正方形和非正方形CU/PU模式的高清实时处理电路，并且同时能够尽可能保持编码器的高性能。本申请实施例提供了能够对不同尺寸的模式处理数量进行预判的高效模式决策处理电路。
在视频编码率失真优化中，每个尺寸通常会有多种候选模式，分别需要在帧内和帧间进行遍历处理。比如AVS3标准参考软件HPM4.0中每个尺寸帧内最多支持5种RDO模式，而帧间根据预测像素来源不同，可能支持多达40多种RDO模式。如果这些模式都进行硬件处理，一方面处理时间复杂度高，一方面对电路资源消耗大。事实上，适当地减少不同尺寸的候选模式数量并不会对性能有太大的影响，同时也有助于减少硬件面积和降低设复杂度。
本文中的各英文缩写所代表的含义为：MD：Mode Decision，模式决策；CU：CodingUnit，编码单元；RDO：Rate Distortion Optimization，率失真优化；NS：No Split，AVS3标准中的不划分模式；BTH：Binary Tree Horizontal，AVS3标准中的二叉树水平划分模式；BTV：Binary Tree Vertical，AVS3标准中的二叉树垂直划分模式；ChromaPrev：PreviousChroma，色度处理电路；QT：Quad Tree，AVS3标准中四叉树模式；EQTH：Extended Quad TreeHorizontal，AVS3标准中扩展四叉树水平划分模式； EQTV：Extended Quad TreeVertical，AVS3标准中扩展四叉树垂直划分模式；CUMD：Coding Unit Mode Decision，编码单元模式决策电路，也称为比较电路。
如图1所示，对于一个CU，其划分方式包括NS、BTH、BTV、EQTH、EQTV和QT六种模式。本申请实施例中，针对AVS3视频编码标准，对每个尺寸MD过程对每个尺寸帧内和帧间模式数量分别限制为不超过5种。为满足实际硬件编码器时序需求，对MD过程各模块函数电路需要单独综合或设计，以实现不同层电路、不同功能函数之间并行或者流水调度硬件结构。
如图2至图4所示，本申请的一个实施例提供了一种AVS3的模式决策电路结构，包括a阶处理电路和比较电路；其中，a为非负整数；
a阶处理电路用于在AVS3下直接处理尺寸为（2an）×（2an）的最大编码单元，得到至少一个率失真优化值；其中，基本编码单元的尺寸为n×n，n为正整数；
比较电路用于比较至少一个率失真优化值，确定代价值最小的率失真优化值以及代价值最小的率失真优化值所对应的模式。
AVS3的模式决策电路结构还包括色度处理电路，色度处理电路用于处理当前最大编码单元的上一个最大编码单元的色度信息；当前最大编码单元为a阶处理电路当前所正在处理的最大编码单元。
在某些实施方式中，当a≥2时，a阶处理电路包括互相平行的a阶四叉树划分模式处理电路和a阶串行处理电路；
a阶串行处理电路包括串联的第一非划分模式处理电路、第一二叉树水平划分模式处理电路和第一二叉树垂直划分模式处理电路；
a阶四叉树划分模式处理电路包括用于进行四次调用的（a-1）级处理电路，（a-1）级处理电路的（a-1）级四叉树划分模式处理电路包括用于进行四次调用的（a-2）级处理电路，依次类推；
第一非划分模式处理电路、第一二叉树水平划分模式处理电路和第一二叉树垂直划分模式处理电路分别依次用于对最大编码单元进行第一非划分模式处理、第一二叉树水平划分模式处理和第一二叉树垂直划分模式处理，得到至少一个第一率失真优化值；
a阶四叉树划分模式处理电路用于通过四次调用（a-1）级处理电路处理最大编码单元，得到至少一个第二率失真优化值；
比较电路用于比较至少一个第一率失真优化值和至少一个第二率失真优化值，确定其中代价值最小的率失真优化值，并确定其中代价值最小的率失真优化值所对应的模式。
在某些实施方式中，当a=1时，a阶处理电路包括用于进行四次调用的0阶处理电路；
0阶处理电路包括并行的第二非划分模式处理电路、第二二叉树水平划分模式处理电路和第二二叉树垂直划分模式处理电路；
第二非划分模式处理电路、第二二叉树水平划分模式处理电路和第二二叉树垂直划分模式处理电路用于分别对基本编码单元进行第二非划分模式处理、第二二叉树水平划分模式处理和第二二叉树垂直划分模式处理；
a阶处理电路用于通过四次调用0阶处理电路得到至少一个第三率失真优化值；
比较电路用于比较通过四次调用0阶处理电路所得到第三率失真优化值，确定代价值最小的第三率失真优化值，并确定代价值最小的第三率失真优化值所对应的模式。
在某些实施方式中，当a=0时，a阶处理电路为0阶处理电路；
0阶处理电路包括并行的第二非划分模式处理电路、第二二叉树水平划分模式处理电路和第二二叉树垂直划分模式处理电路；第二非划分模式处理电路、第二二叉树水平划分模式处理电路和第二二叉树垂直划分模式处理电路用于分别对基本编码单元进行第二非划分模式处理、第二二叉树水平划分模式处理和第二二叉树垂直划分模式处理，分别得到至少一个第四率失真优化值；
比较电路用于比较通过0阶处理电路所得到的第四率失真优化值，确定代价值最小的第四率失真优化值，并确定代价值最小的第四率失真优化值所对应的模式。
在某些实施方式中，第一二叉树水平划分模式处理电路和/或第二二叉树水平划分模式处理电路包括扩展四叉树水平划分模式处理电路。
在某些实施方式中，第一二叉树垂直划分模式处理电路和/或第二二叉树水平划分模式处理电路包括扩展四叉树垂直划分模式处理电路。
当a=1时，a阶处理电路包括用于进行四次调用的0阶处理电路。
当a=2时，a阶四叉树划分模式处理电路包括用于进行四次调用的1阶处理电路。
当a=3时，a阶四叉树划分模式处理电路包括用于进行四次调用的2阶处理电路，2阶处理电路包括用于进行四次调用的1阶处理电路，1阶处理电路包括用于进行四次调用的0阶处理电路。
即3阶处理电路包括用于进行四次调用的2阶处理电路，2阶处理电路包括用于进行四次调用的1阶处理电路，1阶处理电路包括用于进行四次调用的0阶处理电路。
例如，可以取n=8，基本编码单元的尺寸为8×8，以此为例，对各处理电路的技术方案进行说明。
（1）顶层为8x8的模式决策电路结构
对于8x8的编码单元CU，在本申请实施例的技术方案中，涉及8x4处理电路、4x8处理电路和8x8处理电路。本申请实施例提出将三者进行并行处理。如图5所示，NS8x8（相当于上述的第二非划分模式处理电路）代表将8x8CU作为整体单元进行处理，BTH8x8（相当于上述的第二二叉树水平划分模式处理电路）表示将8x8CU按照水平二叉树划分模式划分后进行处理。BTV8x8（相当于上述的第二二叉树垂直划分模式处理电路）表示将8x8CU按照垂直二叉树划分模式划分后进行处理。CUMD表示将3种划分组合处理后的结果数据进行代价比较，并将最优结果数据保存起来用于后续比较。NS8x8、BTH8x8和BTV8x8构成0阶处理电路，1阶处理电路的1阶四叉树划分模式处理电路在处理16x16的最大编码单元时对上述的0阶处理电路进行四次调用。
ChromaPrev8x8代表处理当前8x8尺寸亮度模式决策时，可以同时处理前一个8x8的色度电路。另外，图5中虚线下方数字表示分析和理论得到的硬件处理时间时钟周期（cycle）数。可以看到完成一组4个8x8处理电路时间为520个周期（cycle），符合设计要求。
（2）顶层为16x16的模式决策电路结构
对于16x16编码单元CU，在本申请实施例的技术方案中，涉及16x16处理电路、8x8处理电路、16x8处理电路、8x16处理电路、16x4处理电路以及4x16处理电路。本申请实施例提出将三种顶层尺寸电路进行串行处理，可以节省电路面积，并将内部部分尺寸电路进行串行或并行处理，保持运行速度。如图6（a）至图6（e）所示，，NS16x16代表将16x16CU作为整体单元进行处理，BTH16x16表示将16x16CU按照水平二叉树划分模式划分后进行处理。BTV16x16分别表示将16x16CU按照垂直二叉树划分模式划分后进行处理。CUMD表示3种划分组合处理后，进行代价比较，并将最优结果数据保存起来用于后续参考。2阶处理电路的2阶四叉树划分模式处理电路在处理32x32的最大编码单元时对上述的1阶处理电路进行四次调用。
ChromaPrev16x16代表处理当前16x16尺寸亮度模式决策时，可以同时处理前一个16x16的色度电路。本申请实施例提出对16x8和8x16两种二级顶层尺寸电路采用NS/BTH/BTV并行处理，且BTH/BTV内部复用电路串行的方式处理，最终能够满足速度要求，且能够节省电路面积。除此之外，本申请实施例支持对16x4和4x16尺寸三级尺寸进一步划分处理电路，可以划分为NS/BTH或BS/BTV并行处理方式，并采用并行处理保证处理速度。
需要说明的是，QT16x16表示16x16按照四叉树划分为8x8进行处理，而每个8x8的处理方式如图5所示。可以看到图6（a）中虚线下方数字显示完成一组4个8x8处理电路时间与16x16其他尺寸处理时间同步完成，然后进入CUMD进行比较，4组16x16顶层完成后的时间为2224cycle，符合设计要求。
（3）顶层为32x32的模式决策电路结构
对于32x32 CU编码单元，在本申请实施例的技术方案中，涉及32x32处理电路、32x16处理电路、16x32处理电路、16x16处理电路、32x8处理电路以及8x32处理电路。本申请实施例提出将三种顶层尺寸电路进行串行处理，可以节省电路面积，并将内部部分尺寸电路进行串行或并行处理，保持运行速度。如图7（a）至图7（h）所示，NS32x32代表32x32作为整体单元处理，BTH32x32和BTV32x32分别表示32x32可以按照水平和垂直二叉树划分后进行处理。CUMD表示3种划分组合处理后，进行代价比较，并将最优结果数据保存起来用于后续参考。ChromaPrev32x32代表处理当前32x32尺寸亮度模式决策时，可以同时处理前一个32x32的色度电路。
第一，本申请实施例提出对32x16和16x32两种二级顶层尺寸电路采用NS/EQTH/EQTV并行，使用完电路后对BTH和BTV采用复用电路串行的方式处理，最终能够满足速度要求，且能够节省一些电路面积。
第二，对32x8和8x32为顶层的三级尺寸处理电路，本申请实施例采用NS/BTH/BTV并行，并在BTH/BTV中两个部分串行处理方式。
第三，对32x4和4x32为顶层的四级尺寸处理电路，本申请实施例采用NS/BTH或BS/BTV并行处理方式。图中剩余尺寸电路处理方式保持与图5和图6(a)- 图6（e）中的技术方案一致。
最后，对于32x16EQTH/EQTV或16x32EQTH/EQTV以及32x8EQTH/EQTV的内部尺寸划分，本方案经过研究，均采用电路复用的串行处理方式，满足速度要求，可以节省电路面积。
需要说明的是，QT32x32表示32x32按照四叉树划分为16x16进行处理，而每个16x16的处理方式如图6（a）-图6（e）所示。可以看到图7（a）中虚线下方数字显示完成4个16x16处理电路时间与32x32其他尺寸处理时间同步完成，然后进入CUMD进行比较，4组16x16顶层完成后的时间为9096时钟周期，符合设计要求。
（4）顶层为64x64的模式决策电路结构
对于64x64编码单元CU，在本申请实施例的技术方案中，涉及64x32处理电路、32x64处理电路、32x32处理电路、64x16处理电路、16x64处理电路以及内部尺寸处理电路。
在图8(a)至图8（b）中，本申请实施例提出将三种顶层尺寸电路进行串行处理，并对内部不同级别尺寸采用串行或并行处理方案。如图8(b)，对二级尺寸64x32和32x64的处理电路，本实施例提出64x32和两个64x16并行或32x64与两个16x64并行，且后者两个串行。当完成处理后，电路交付给对应尺寸的EQTH或EQTV进行处理。针对内部尺寸电路如图8(b)所示，与32x32顶层电路相关尺寸处理方案类似，不再单独说明。图中剩余尺寸电路处理方式保持与图5、图6(a)-图6(e)以及图7(a)-图7（h）中的方案一致。同样地，ChromaPrev64x64色度电路也是单独处理前一级电路。
需要说明的是，QT64x64表示将64x64CU按照四叉树划分为32x32进行处理，而每个32x32的处理方式如图7(a)-图7（h）所示。可以看到图4中虚线下方数字显示完成4个32x32处理电路时间与64x64其他尺寸处理时间同步完成，然后进入CUMD进行比较，最终处理时间为9172时钟周期（cycle），符合设计要求。
最后，需要说明的是，本申请实施例的技术方案中，每个尺寸的帧内和帧间RDO决策可以采用并行处理，这样帧内帧间分别最多可以5种，达到最好的编码性能；当然，为了节省面积，可以约束帧内帧间总共RDO模式为5种，可以满足速度要求。
1阶处理电路的1阶四叉树划分模式处理电路在处理16x16的最大编码单元时对上述的0阶处理电路进行四次调用。
2阶处理电路的2阶四叉树划分模式处理电路在处理32x32的最大编码单元时对上述的1阶处理电路进行四次调用。
3阶处理电路的3阶四叉树划分模式处理电路在处理64x64的最大编码单元时对上述的2阶处理电路进行四次调用。
本申请实施例的技术方案针对AVS3视频编码标准，设计满足支持FPAG环境下1920x1080@60fps的高性能、高效硬件处理结构，充分考虑到了性能和结构。
在本申请实施例的技术方案中，针对不同尺寸电路设计了合理的并行MD处理电路，通过将8x8、16x16、32x32以及64x64顶层电路进行不同程度并行和串行处理，并在使用单独色度处理电路，可以在处理当前亮度电路时，并行处理前一级尺寸色度电路。本申请实施例的技术方案充分考虑到了每个尺寸处理的时间和数据特性，最终满足实时处理需求，同时节省电路和存储面积。
本申请的另一个实施例提供了一种AVS3的模式决策方法，通过上述任一实施方式的AVS3的模式决策电路结构实现；
AVS3的模式决策方法，包括：
a阶处理电路在AVS3下直接处理尺寸为（2an）×（2an）的最大编码单元，得到至少一个率失真优化值；
比较电路对上述的至少一个率失真优化值进行比较，确定代价值最小的率失真优化值以及代价值最小的率失真优化值所对应的模式。
在某些实施方式中，AVS3的模式决策电路结构还包括色度处理电路；AVS3的模式决策方法还包括：
色度处理电路处理当前最大编码单元的上一个最大编码单元的色度信息；当前最大编码单元为a阶处理电路当前所正在处理的最大编码单元。
本申请的另一个实施例提供了一种电子设备，包括上述任一实施方式的AVS3的模式决策电路结构。
需要说明的是：
术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。还应理解的是，虽然术语“第一”、“第二”、“第三”等在文本中在一些本申请实施例中用来描述各种对象，但是这些对象不应该受到这些术语的限制。这些术语仅用于区分各种对象，而非用于限制各种对象。
以上所述实施例仅表达了本申请的实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种AVS3的模式决策电路结构，其特征在于，包括a阶处理电路和比较电路；其中，a为非负整数；
所述a阶处理电路用于在AVS3下直接处理尺寸为（2an）×（2an）的最大编码单元，得到至少一个率失真优化值；其中，基本编码单元的尺寸为n×n，n为正整数；
所述比较电路用于比较所述至少一个率失真优化值，确定代价值最小的率失真优化值以及所述代价值最小的率失真优化值所对应的模式。
2.根据权利要求1所述的AVS3的模式决策电路结构，其特征在于，所述AVS3的模式决策电路结构还包括色度处理电路，所述色度处理电路用于处理当前最大编码单元的上一个最大编码单元的色度信息；所述当前最大编码单元为所述a阶处理电路当前所正在处理的最大编码单元。
3.根据权利要求1所述的AVS3的模式决策电路结构，其特征在于，根据a≥2，所述a阶处理电路包括互相平行的a阶四叉树划分模式处理电路和a阶串行处理电路；
所述a阶串行处理电路包括串联的第一非划分模式处理电路、第一二叉树水平划分模式处理电路和第一二叉树垂直划分模式处理电路；
所述a阶四叉树划分模式处理电路包括用于进行四次调用的（a-1）级处理电路，所述（a-1）级处理电路的（a-1）级四叉树划分模式处理电路包括用于进行四次调用的（a-2）级处理电路，依次类推；
所述第一非划分模式处理电路、所述第一二叉树水平划分模式处理电路和所述第一二叉树垂直划分模式处理电路分别依次用于对所述最大编码单元进行第一非划分模式处理、第一二叉树水平划分模式处理和第一二叉树垂直划分模式处理，得到至少一个第一率失真优化值；
所述a阶四叉树划分模式处理电路用于通过四次调用（a-1）级处理电路处理所述最大编码单元，得到至少一个第二率失真优化值；
所述比较电路用于比较所述至少一个第一率失真优化值和所述至少一个第二率失真优化值，确定其中代价值最小的率失真优化值，并确定所述其中代价值最小的率失真优化值所对应的模式。
4.根据权利要求1所述的AVS3的模式决策电路结构，其特征在于，根据a=1，a阶处理电路包括用于进行四次调用的0阶处理电路；
所述0阶处理电路包括并行的第二非划分模式处理电路、第二二叉树水平划分模式处理电路和第二二叉树垂直划分模式处理电路；
所述第二非划分模式处理电路、所述第二二叉树水平划分模式处理电路和所述第二二叉树垂直划分模式处理电路用于分别对所述基本编码单元进行第二非划分模式处理、第二二叉树水平划分模式处理和第二二叉树垂直划分模式处理；
所述a阶处理电路用于通过四次调用所述0阶处理电路得到至少一个第三率失真优化值；
所述比较电路用于比较通过四次调用所述0阶处理电路所得到所述第三率失真优化值，确定代价值最小的第三率失真优化值，并确定所述代价值最小的第三率失真优化值所对应的模式。
5.根据权利要求1所述的AVS3的模式决策电路结构，其特征在于，根据a=0，所述a阶处理电路为0阶处理电路；
所述0阶处理电路包括并行的第二非划分模式处理电路、第二二叉树水平划分模式处理电路和第二二叉树垂直划分模式处理电路；所述第二非划分模式处理电路、所述第二二叉树水平划分模式处理电路和所述第二二叉树垂直划分模式处理电路用于分别对所述基本编码单元进行第二非划分模式处理、第二二叉树水平划分模式处理和第二二叉树垂直划分模式处理，分别得到至少一个第四率失真优化值；
所述比较电路用于比较通过所述0阶处理电路所得到的所述第四率失真优化值，确定代价值最小的第四率失真优化值，并确定所述代价值最小的第四率失真优化值所对应的模式。
6.根据权利要求3-5任一项所述的AVS3的模式决策电路结构，其特征在于，所述第一二叉树水平划分模式处理电路和/或所述第二二叉树水平划分模式处理电路包括扩展四叉树水平划分模式处理电路。
7.根据权利要求3-5任一项所述的AVS3的模式决策电路结构，其特征在于，所述第一二叉树垂直划分模式处理电路和/或所述第二二叉树水平划分模式处理电路包括扩展四叉树垂直划分模式处理电路。
8.一种AVS3的模式决策方法，其特征在于，通过权利要求1-5中任一项所述的AVS3的模式决策电路结构实现；
所述AVS3的模式决策方法，包括：
所述a阶处理电路在AVS3下直接处理尺寸为（2an）×（2an）的最大编码单元，得到至少一个率失真优化值；
所述比较电路对所述至少一个率失真优化值进行比较，确定代价值最小的率失真优化值以及所述代价值最小的率失真优化值所对应的模式。
9.根据权利要求8所述的AVS3的模式决策方法，其特征在于，所述AVS3的模式决策电路结构还包括色度处理电路；所述AVS3的模式决策方法还包括：
所述色度处理电路处理当前最大编码单元的上一个最大编码单元的色度信息；所述当前最大编码单元为所述a阶处理电路当前所正在处理的最大编码单元。
10.一种电子设备，其特征在于，包括如权利要求1-5中任一所述的AVS3的模式决策电路结构。
CN202110762807.9A 2021-07-06 2021-07-06 Avs3的模式决策电路结构、模式决策方法及电子设备 Active CN113259670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110762807.9A CN113259670B (zh) 2021-07-06 2021-07-06 Avs3的模式决策电路结构、模式决策方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110762807.9A CN113259670B (zh) 2021-07-06 2021-07-06 Avs3的模式决策电路结构、模式决策方法及电子设备

Publications (2)

Publication Number Publication Date
CN113259670A true CN113259670A (zh) 2021-08-13
CN113259670B CN113259670B (zh) 2021-11-02

Family

ID=77190712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110762807.9A Active CN113259670B (zh) 2021-07-06 2021-07-06 Avs3的模式决策电路结构、模式决策方法及电子设备

Country Status (1)

Country Link
CN (1) CN113259670B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246221A (zh) * 2020-01-22 2020-06-05 中山大学 一种avs3帧内快速划分方法、系统及存储介质
WO2020248715A1 (zh) * 2019-06-13 2020-12-17 深圳市中兴微电子技术有限公司 基于高效率视频编码的编码管理方法及装置
CN113038125A (zh) * 2021-05-28 2021-06-25 杭州博雅鸿图视频技术有限公司 帧内预测模式选择方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020248715A1 (zh) * 2019-06-13 2020-12-17 深圳市中兴微电子技术有限公司 基于高效率视频编码的编码管理方法及装置
CN111246221A (zh) * 2020-01-22 2020-06-05 中山大学 一种avs3帧内快速划分方法、系统及存储介质
CN113038125A (zh) * 2021-05-28 2021-06-25 杭州博雅鸿图视频技术有限公司 帧内预测模式选择方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113259670B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN103460699B (zh) 环路滤波方法及其设备
CN105141952B (zh) 增强的帧内预测模式信令
RU2581553C2 (ru) Способ кодирования видео с использованием регулирований смещения согласно классификации пикселов и устройство для этого, способ и устройство декодирования видео для этого
CN103748877B (zh) 帧内预测方法和装置
CN102857764B (zh) 帧内预测模式处理的方法和装置
US8867606B2 (en) Multi-core image encoding processing device and image filtering method thereof
CN106851300A (zh) 基于最可能模式的帧内预测模式的方法及装置
CN103299634A (zh) 高效率视频编码约束分区大小的方法和装置
CN105959699B (zh) 一种基于运动估计和时空域相关性的快速帧间预测方法
CN103220529A (zh) 一种视频编解码环路滤波的实现方法
CN104796693A (zh) 一种hevc快速cu深度划分编码方法
KR20140016385A (ko) 인코딩 및 디코딩 방법 및 장치
Fu et al. Two-stage fast multiple transform selection algorithm for VVC intra coding
CN104363453A (zh) 用于hevc的帧内色度模式信令的码字空间缩减
CN104954787B (zh) Hevc帧间预测模式选择方法及装置
CN101115207B (zh) 基于预测点间相关性的帧内预测实现的方法及装置
CN113038125B (zh) 帧内预测模式选择方法、装置、设备及存储介质
CN102143361A (zh) 一种视频编码方法和装置
CN104333755B (zh) HEVC中B帧的基于SKIP/Merge RD Cost的CU提前终止方法
CN113259670B (zh) Avs3的模式决策电路结构、模式决策方法及电子设备
CN101252691A (zh) 一种多处理器并行实现高分辨率图像滤波的方法
CN114885172A (zh) 一种针对h.266/vvc帧内预测编码的快速编码单元划分方法
CN101605263B (zh) 帧内预测的方法和装置
CN104539954A (zh) 一种加速hevc编码速度的级联方法
Lai et al. Design of an intra predictor with data reuse for high-profile H. 264 applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210813

Assignee: Zhejiang smart video security Innovation Center Co.,Ltd.

Assignor: Institute of Information Technology, Zhejiang Peking University

Contract record no.: X2022330000930

Denomination of invention: AVS3 Mode Decision Circuit Structure, Mode Decision Method and Electronic Equipment

Granted publication date: 20211102

License type: Common License

Record date: 20221229