CN114501035A - 视频编解码滤波处理方法、系统、设备及存储介质 - Google Patents

视频编解码滤波处理方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN114501035A
CN114501035A CN202210095661.1A CN202210095661A CN114501035A CN 114501035 A CN114501035 A CN 114501035A CN 202210095661 A CN202210095661 A CN 202210095661A CN 114501035 A CN114501035 A CN 114501035A
Authority
CN
China
Prior art keywords
boundary
coding tree
tree unit
filtering
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210095661.1A
Other languages
English (en)
Other versions
CN114501035B (zh
Inventor
要瑞宵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Bigo Technology Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bigo Technology Pte Ltd filed Critical Bigo Technology Pte Ltd
Priority to CN202210095661.1A priority Critical patent/CN114501035B/zh
Publication of CN114501035A publication Critical patent/CN114501035A/zh
Application granted granted Critical
Publication of CN114501035B publication Critical patent/CN114501035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例公开了一种视频编解码滤波处理方法、系统、设备及存储介质。本申请实施例提供的技术方案,通过确定各个编码树单元的滤波处理边界,滤波处理边界包括第一边界待执行去块滤波操作的子边界,以及第二边界中待执行去块滤波操作的子边界,在完成一个编码树单元的去块滤波操作之后,执行对应的编码树单元的样点自适应补偿操作。采用上述技术手段,通过延伸编码树单元进行去块滤波操作的边界,可以确保编码树单元完整执行去块滤波操作,使得样点自适应补偿操作能够在编码树单元完成去块滤波操作后立即执行,以此来缩短样点自适应补偿操作的耗时,提升视频帧图像滤波处理的时效。

Description

视频编解码滤波处理方法、系统、设备及存储介质
技术领域
本申请实施例涉及视频编解码技术领域,尤其涉及一种视频编解码滤波处理方法、系统、设备及存储介质。
背景技术
目前,在HEVC标准的编解码过程中,需要涉及到视频帧的去块滤波操作(Deblock)和样点自适应补偿操作(SAO,Sample Adaptive Offset)。其中,去块滤波操作用于去除重建视频帧图像中因分块编码造成的块效应。样点自适应补偿用于去除因高频分量丢失造成的振铃效应。在进行去块滤波操作时,对于视频帧图像的各个编码树单元(CTU,codingtree unit),由于一个编码树单元又分成了若干个编码单元(CU)、预测单元(PU)和变换单元(TU),因此需要确定其中哪些小单元的边界需要进行去块滤波操作,并且会将编码树单元的右边界和下边界留给相邻的编码树单元处理,以避免两个编码树单元的边界重复进行去块滤波操作。在完成编码树单元的去块滤波操作之后,方能够执行样点自适应补偿操作。
但是,由于编码树单元没有完整执行去块滤波操作,样点自适应补偿操作需要等到该编码树单元的右边界和下边界完成去块滤波操作之后方能够执行,因此会延长视频帧图像的滤波处理时长,进而影响视频编解码效率。
发明内容
本申请实施例提供一种视频编解码滤波处理方法、系统、设备及存储介质,能够提升视频帧图像的滤波处理效率,解决视频帧图像滤波处理低时效的技术问题。
在第一方面,本申请实施例提供了一种视频编解码滤波处理方法,包括:
确定各个编码树单元的滤波处理边界,滤波处理边界包括第一边界待执行去块滤波操作的子边界,以及第二边界中待执行去块滤波操作的子边界,第一边界包括编码树单元中各个子单元之间的子边界,第二边界包括沿编码树单元中对应子单元的第一指定滤波方向和/或第二指定滤波方向向外延伸设定边界长度的子边界;
基于滤波处理边界执行各个编码树单元的去块滤波操作;
在完成一个编码树单元的去块滤波操作之后,执行对应的编码树单元的样点自适应补偿操作。
在第二方面,本申请实施例提供了一种视频编解码滤波处理系统,包括:
确定模块,用于确定各个编码树单元的滤波处理边界,滤波处理边界包括第一边界待执行去块滤波操作的子边界,以及第二边界中待执行去块滤波操作的子边界,第一边界包括编码树单元中各个子单元之间的子边界,第二边界包括沿编码树单元中对应子单元的第一指定滤波方向和/或第二指定滤波方向向外延伸设定边界长度的子边界;
滤波模块,用于基于滤波处理边界执行各个编码树单元的去块滤波操作;
补偿模块,用于在完成一个编码树单元的去块滤波操作之后,执行对应的编码树单元的样点自适应补偿操作。
在第三方面,本申请实施例提供了一种视频编解码滤波处理设备,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的视频编解码滤波处理方法。
在第四方面,本申请实施例提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的视频编解码滤波处理方法。
本申请实施例通过确定各个编码树单元的滤波处理边界,滤波处理边界包括第一边界待执行去块滤波操作的子边界,以及第二边界中待执行去块滤波操作的子边界,第一边界包括编码树单元中各个子单元之间的子边界,第二边界包括沿编码树单元中对应子单元的第一指定滤波方向和/或第二指定滤波方向向外延伸设定边界长度的子边界;基于滤波处理边界执行各个编码树单元的去块滤波操作;在完成一个编码树单元的去块滤波操作之后,执行对应的编码树单元的样点自适应补偿操作。采用上述技术手段,通过延伸编码树单元进行去块滤波操作的边界,可以确保编码树单元完整执行去块滤波操作,使得样点自适应补偿操作能够在编码树单元完成去块滤波操作后立即执行,以此来缩短样点自适应补偿操作的耗时,提升视频帧图像滤波处理的时效。
附图说明
图1是本申请实施例提供的一种视频编解码滤波处理方法的流程图;
图2是本申请实施例中边界单元的拆分示意图;
图3是本申请实施例视频帧图像中各个位置编码树单元的分布示意图;
图4是本申请实施例中对应视频帧图像A位置编码树单元的去块滤波示意图;
图5是本申请实施例中对应视频帧图像B位置编码树单元的去块滤波示意图;
图6是本申请实施例中对应视频帧图像C位置编码树单元的去块滤波示意图;
图7是本申请实施例中对应视频帧图像D位置编码树单元的去块滤波示意图;
图8是本申请实施例提供的一种视频编码滤波处理系统的结构示意图;
图9是本申请实施例提供的一种视频编解码滤波处理设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的一种视频编码滤波处理方法,旨在进行视频帧图像各个编码树单元的去块滤波过程中,沿编码树单元的指定滤波方向延伸滤波处理边界,以使得编码树单元能够完整进行去块滤波处理,编码树单元的样点自适应补偿操作能够在编码树单元执行一次去块滤波操作后立即执行,以此来提升视频编码滤波处理的效率,优化视频解码时效。对于传统的视频滤波处理方式,其在进行滤波操作时,对于一个重建完成的视频帧图像中的各个编码树单元,会从视频帧图像的开始位置到结束位置依次进行去块滤波操作。然后对视频帧图像中的编码树单元从帧的开始位置到结束位置依次进行样点自适应补偿操作,至此获取解码帧。去块滤波在执行时,若以编码树单元为单位依次按从左到右、从上到下的光栅扫描顺序推进,则每次去块滤波操作均无法完成一个独立编码树单元的去块滤波,会将编码树单元的右边界和下边界留给相邻的编码树单元处理,这样两个编码树单元的边界不会重复进行去块滤波操作。
由于编码树单元的样点自适应补偿操作需要在编码树单元所有边界完成去块滤波操作之后方能够执行,则如果当前编码树单元要进行样点自适应补偿操作,需要等到当前编码树单元右方、下方以及右下方位置的边界完成去块滤波操作,即当前编码树单元右方、下方以及右下方位置的对应编码树单元执行一次去块滤波操作之后,当前编码树单元方能够执行样点自适应补偿操。这样无疑会增大样点自适应补偿操作的时延,减慢视频编解码的速度。
而如若采用对编码树单元中一次已完成去块滤波操作的区域单独执行样点自适应补偿,则会导致一个编码树单元需要多次对应不同区域执行样点自适应补偿操作。并且一次样点自适应补偿操作需要跨越不同编码树单元的区域,以此会增加指令的汇编难度,同时也会导致视频帧图像的滤波处理操作变复杂。
基于此,提供本申请实施例一种视频编解码滤波处理方法,以解决现有视频帧图像滤波处理低时效的技术问题。
实施例:
图1给出了本申请实施例提供的一种视频编解码滤波处理方法的流程图,本实施例中提供的视频编解码滤波处理方法可以由视频编解码滤波处理设备执行,该视频编解码滤波处理设备可以通过软件和/或硬件的方式实现,该视频编解码滤波处理设备可以是两个或多个物理实体构成,也可以是一个物理实体构成。一般而言,该视频编解码滤波处理设备可以是视频编解码服务器、电脑,手机,平板等处理设备。
下述以该视频编解码滤波处理设备为执行视频编解码滤波处理方法的主体为例,进行描述。参照图1,该视频编解码滤波处理方法具体包括:
S110、确定各个编码树单元的滤波处理边界,滤波处理边界包括第一边界待执行去块滤波操作的子边界,以及第二边界中待执行去块滤波操作的子边界,第一边界包括编码树单元中各个子单元之间的子边界,第二边界包括沿编码树单元中对应子单元的第一指定滤波方向和/或第二指定滤波方向向外延伸设定边界长度的子边界;
S120、基于滤波处理边界执行各个编码树单元的去块滤波操作;
S130、在完成一个编码树单元的去块滤波操作之后,执行对应的编码树单元的样点自适应补偿操作。
具体地,本申请实施例在进行视频帧图像的滤波处理时,通过确定视频帧图像的滤波处理边界,滤波处理边界即为编码树单元中各个子单元所有需要进行去块滤波处理的边界。并且,该滤波处理边界还包含了沿编码树单元中对应子单元的第一指定滤波方向和/或第二指定滤波方向向外延伸设定边界长度的子边界,以此可以确保对应一个编码树单元的一次去块滤波操作能够完整覆盖编码树单元所有需要进行去块滤波处理的边界,无需等到其他相邻编码树单元完成去块滤波处理后才完整覆盖编码树单元所有需要进行去块滤波处理的边界。以此可将一个编码树单元的样点自适应补偿操作提前,在编码树单元完成一次去块滤波操作之后即可执行样点自适应补偿操作,进而提升视频帧图像滤波处理操作的时效。
示例性地,以包含8x8=64个子单元的编码树单元为例,其编码树区块的边长为64x64,每一个子单元的规格为8x8。对每一个子单元,当其边界是编码单元(CU)、预测单元(PU)和变换单元(TU)的边界时,就需要根据其边界特征决策其是否需要进行去块滤波。
本申请实施例在执行一个编码树单元的去块滤波操作过程中,首先确定当前编码树单元内各个子单元之间的子边界,定义这部分边界为第一边界。可以理解的是,由于这部分边界里面包含了编码单元(CU)、预测单元(PU)和变换单元(TU)的边界,因此需要确定这部分边界是否需要进行滤波处理。
此外,根据视频帧图像各个编码树单元的滤波方向,对编码树单元中处于对应滤波方向边界处的子单元,将其子边界向外延伸设定边界长度,定义这部分延伸的子边界为第二边界。可以理解的是,通过对第二边界中需要进行去块滤波处理的子边界进行去块滤波,以此可以完成当前编码树单元与滤波方向上各个相邻编码树单元边界的去块滤波。无需由相邻编码树单元对这部分边界进行去块滤波,以此可以通过当前编码树单元的一次去块滤波操作,即可完整覆盖编码树单元所有需要进行去块滤波处理的边界,以便于后续样点自适应补偿操作的执行。
基于上述第一边界和第二边界,需要从中确定出待执行去块滤波操作的子边界,作为滤波处理边界。其中,在确定各个编码树单元的滤波处理边界时,根据编码树单元内两个相邻子单元的边界特征确定第一边界中待执行去块滤波操作的子边界。可以理解的是,对于编码树单元中的各个子单元直接构成的边界,当其边界特征满足设定的滤波条件时,则需要对该子边界进行去块滤波操作。边界特征的设定可以有多种方式,本申请对边界特征满足哪种设定滤波条件不做固定限制,在此不多赘述。
可选地,判断一个子边界是否需要进行去块滤波时,将两个相邻子单元的像素特征信息作为边界特征,根据两边的像素特征判断是否需要进行去块滤波。可以理解的是,若边界两边子单元的像素特征差异较大,则边界可能本就是图像中的内容,则不需要执行该边界的去块滤波操作,以确保图像中本就存在的内容内容不被破坏。因此,本申请实施例根据两个子单元像素特征进行比对,若两者差异达到某个设定阈值,则确定两者差异较大,不需要进行去块滤波操作。
例如,对于左右两个子单元中间部分的竖直边界经过决策后需要进行去块滤波操作,则会根据边界两侧像素的特点对竖直边界两侧的像素进行滤波操作。对一个编码树单元实际进行去块滤波时,可能某些边界并非编码单元(CU)、预测单元(PU)和变换单元(TU)的边界,甚至某些边界即便是编码单元(CU)、预测单元(PU)和变换单元(TU)的边界,但边界两侧像素特征使边界不具备滤波的条件,也需要跳过这部分边界的滤波操作。
而对于编码树单元沿滤波方向向外延伸的第二边界,则通过确定编码树单元与第一指定滤波方向和第二指定滤波方向上相邻编码树单元的各个相邻子边界,从相邻子边界中确定第二边界中待执行去块滤波操作的子边界。对于边界处的子单元,其向外延伸子边界后,要覆盖这部分子边界的去块滤波操作,则参照上述基于边界特征进行滤波策略的判断方式,确定各个相邻子边界两边的边界特征,然后根据边界特征即可判断各个相邻子边界是否需要执行去块滤波操作。
本申请实施中,一个编码树单元执行去块滤波操作时,会将当前编码树单元内所有需要滤波的边界都滤波完成,同时将部分同属于滤波方向上相邻编码树单元的边界也执行一部分去块滤波操作。以使一次编码树单元的去块滤波操作能够完整覆盖编码树单元的所有边界。
可选地,本申请在基于滤波处理边界执行各个编码树单元的去块滤波操作时,对视频帧图像的各个编码树单元,从上至下逐行依次进行去块滤波操作;则对应的,第一指定滤波方向为编码树单元的右方,第二指定滤波方向为编码树单元的下方。
基于上述指定滤波方向,在进行一个编码树单元的去块滤波时,将滤波处理边界向右方和下方延伸,以对同属于当前编码树单元右方、下方和右下方的相邻编码树单元的边界执行部分去块滤波操作。以此类推,对每一个编码树单元,均执行上述去块滤波方式,则可以使每一个编码树单元的一次去块滤波操作都能够完整覆盖编码树单元的所有边界。
可选地,在确定各个编码树单元的滤波处理边界时,还通过确定各个编码树单元对应的视频帧图像的图像边界,将图像边界筛除。可以理解的是,图像边界无需进行去块滤波操作,则在确定滤波处理边界时,需要将图像边界筛除,以避免错误的去块滤波操作。
对于一个编码树单元,其在进行去块滤波操作时,会以设定边界长度作为一个边界单元,逐个边界单元对滤波处理边界进行去块滤波操作。如图2所示,子单元P和子单元Q中间的竖直边界D在去块滤波操作时,又会分成两半(d1和d2)分别执行去块滤波。对水平方向的边界的滤波也是类似,且水平边界的滤波一般会在竖直边界的滤波之后。由于一个子单元的边界长度为8,则分成两半的边界长度值为4,定义这个边界长度为一个边界单元,以一个边界单元为单位执行编码树单元内所有滤波处理边界的去块滤波操作。则在一个长度64x64的编码树单元中,共有(8x2)x(8x2)=256个边界单元需要考虑是否进行去块滤波。需要说明的是,编码树单元在延伸边界长度时,同样延伸一个边界单元并判断是否进行去块滤波操作。
进一步地,由于每一个编码树单元都会向外延伸执行一部分边界,并从中确定选择子边界执行去块滤波操作。且视频帧图像中各个子单元的边界为图像边界的部分,无需执行去块滤波操作。基于此,对于一张视频帧图像的不同位置处编码树单元,其具体需要考虑是否执行去块滤波操作的边界有所不同。
示例性地,参照图3,提供本申请视频帧图像中各个位置编码树单元的分布示意图。以3×3编码树单元的视频帧图像为例,各个编码树单元在确定滤波处理边界时,需要首先筛除图像边界,并且对于滤波位置已经到达图像边界的编码树单元,则无需向图像边界外延伸子边界。因此,对于视频帧图像中的各个子单元,其延伸边界可能是右方和/或下方,也可能不需要延伸,即图3中的I区域,由于编码树单元右边界和下边界到达图像边界,需要筛除这部分边界的去块滤波,因此无需向外延伸边界。下面参照图3所示的视频帧图像各个编码树单元的分布位置,对各个位置编码树单元的去块滤波进行描述。
具体地,对视频帧图像中处于最左上角的编码树单元A,在执行竖直边界的滤波时,参照图4,每一条竖直边界会对8x2+1=17个边界单元判断是否进行去块滤波,如图4中的8条加粗的竖直滤波处理边界b所示。最右边一条竖直边界b同属于编码树单元A右边的另一个编码树单元,因此对该边界的滤波需要考虑当前编码树单元A中靠近边界的那些子单元的参数和右边编码树单元中靠近边界的那些子单元的参数(如像素特征),以便于进行去块滤波。在执行滤波处理边界的水平边界a的滤波时,每一条水平边界a会对8x2+1=17个边界单元判断是否进行滤波,如图4中的8条加粗的水平边界a所示。最下边一条水平边界a同属于编码树单元A下边的编码树单元,因此对该边界的滤波需要考虑当前编码树单元中靠近边界的子单元的参数和下边编码树单元中靠近边界的那些子单元的参数。而对于最右的竖直边界b和最下方水平边界a的交叉处的一个竖直边界单元和一个水平边界单元(即图4中n处)在滤波时,也需要将编码树单元A右下方的编码树单元的相邻子单元的参数考虑进来。可以理解的是,由于编码树单元需要沿编码树单元中对应子单元的第一指定滤波方向和/或第二指定滤波方向向外延伸设定边界长度的子边界进行去块滤波,因此在进行去块滤波时,编码树单元在自身边界内部的去块滤波基础上,除非已到达图像边界,否则需要在对应滤波方向上延伸一个边界单元进行去块滤波处理。如图3所示,水平边界和竖直边界b都向外延伸一个边界单元。另外,由于视频帧图像的边界不需要滤波,因此如图4中编码树单元A的最上边的水平边界、最左边的竖直边界不需要执行滤波操作。
同理,对视频帧图像中处于上边界处的编码树单元B,参照图5,在执行竖直边界的滤波时,每一条竖直边界a会对8x2+1=17个边界单元判断是否进行滤波,如图5中的8条加粗的竖直边界b所示。由于编码树单元B左边的编码树单元A在对竖直边界滤波时,已将该编码树单元B的最左边竖直边界进行滤波,因此对当前编码树单元B的竖直边界进行滤波时,最左边的竖直边界不再需要重复操作,因此图5中最左边的竖直边界没有加粗,表示这部分边界无需执行去块滤波。同样的,在执行水平边界的滤波时,每一条水平边界a会对8x2=16个边界单元判断是否进行滤波,如图5中的8条加粗的水平边界所示。因左边编码树单元滤波时已将当前编码树单元的部分水平边界进行滤波,因此编码树单元B靠近左边界的部分边界单元无需考虑是否进行去块滤波操作。同样的,对于编码树单元C,也采用上述同样的处理方式。并且,由于此时编码树单元C的右边界已经达到视频帧图像边界,因此编码树单元C无需向右方延伸一个边界单元。
对视频帧图像中处于左边界处的编码树单元D,如图6所示,在执行水平边界的滤波时,每一条水平边界会对8x2+1=17个边界单元判断是否进行滤波,如图中的8条加粗的水平边界a所示。因上边编码树单元对水平边界滤波时已将该编码树单元B的最上边水平边界进行滤波,因此对当前编码树单元D的水平边界进行滤波时,最上边的水平边界不再需要重复操作,因此图6中最上边的水平边界没有加粗,表示无需考虑是否进行去块滤波。在执行竖直边界的滤波时,每一条竖直边界会对8x2=16个边界单元判断是否进行滤波,如图6中的8条加粗的竖直边界b所示。因上边编码树单元滤波时已将当前编码树单元上边界处的边界单元进行滤波,因此如图6中的竖直边界b没有覆盖编码树单元D上边界处的边界单元。同样的,对于编码树单元G,也采用上述同样的处理方式。并且,由于此时编码树单元C的下边界已经达到视频帧图像边界,因此编码树单元G无需向下方延伸一个边界单元。
对视频帧图像处于中间位置处的编码树单元E,在执行竖直边界的滤波时,每一条竖直边界会对8x2=16个边界单元判断是否进行滤波,如图7中的8条加粗的竖直边界b所示。因左边编码树单元对竖直边界滤波时已将该编码树单元的最左边竖直边界进行滤波,因此对当前编码树单元E的竖直边界进行滤波时,最左边的竖直边界不再需要重复操作,因此图7中最左边的竖直边界没有加粗,表示无需考虑是否进行去块滤波。同理最上边的水平边界不再需要重复操作。因上边和左边编码树单元滤波时已将当前编码树单元E上边界处和左边界处的边界单元进行滤波,因此如图7中的竖直边界b没有覆盖编码树单元E上边界处的边界单元,水平边界a没有覆盖编码树单元E左边界处的边界单元。
同样地,对视频帧图像中处于右边界处的编码树单元F,下边界处的编码树单元H,因其右边界或者下边界达到图像边界,因此只需延伸一个滤波方向额边界单元进行去块滤波。对于视频帧图像中处于右下边界位置处的编码树单元I,因其右边界和下边界达到图像边界,因此无需延伸边界单元。
需要说明的是,上述视频帧图像的编码树单元分布形式仅为本申请实施例的一种实施方式,根据实际的编码树单元分布,需要适应性变化各个编码树单元判断进行去块滤波的边界单元的覆盖范围。
进一步地,本申请实施例在完成一个编码树单元的去块滤波后,由于编码树单元内部的各边界均已完成滤波操作,且紧邻该编码树单元的右侧、下侧、右下侧的一个边界单元范围内均已完成去块滤波。表明当前去块滤波操作已经完整覆盖编码树单元的所有边界,此时该编码树单元的样点自适应补偿操作所需要依赖的右边编码树单元、下边编码树单元、右下边编码树单元的相关去块滤波后的像素信息均已准备完成。因此可以在编码树单元完成去块滤波操作后,直接对该编码树单元执行样点自适应补偿操作,无需跨编码树单元或者等到相邻其他编码树单元执行完去块滤波才进行样点自适应补偿操作。
样点自适应补偿操作发生在去块滤波操作之后,每一个编码树单元具有一个样点自适应补偿类型,如边带补偿,边界补偿等,编码树单元也可以选择不补偿。对一个需要补偿的编码树单元,其操作单位是像素,即当前像素与周围像素满足设定条件时,在该重建像素上加上一个偏移值作为该像素的最终解码值。以此来提升视频帧图像的滤波处理效率,使得滤波处理操作没有行级延时,对算法指令的汇编也更加友好。
上述,通过确定各个编码树单元的滤波处理边界,滤波处理边界包括第一边界待执行去块滤波操作的子边界,以及第二边界中待执行去块滤波操作的子边界,第一边界包括编码树单元中各个子单元之间的子边界,第二边界包括沿编码树单元中对应子单元的第一指定滤波方向和/或第二指定滤波方向向外延伸设定边界长度的子边界;基于滤波处理边界执行各个编码树单元的去块滤波操作;在完成一个编码树单元的去块滤波操作之后,执行对应的编码树单元的样点自适应补偿操作。采用上述技术手段,通过延伸编码树单元进行去块滤波操作的边界,可以确保编码树单元完整执行去块滤波操作,使得样点自适应补偿操作能够在编码树单元完成去块滤波操作后立即执行,以此来缩短样点自适应补偿操作的耗时,提升视频帧图像滤波处理的时效。
在上述实施例的基础上,图8为本申请提供的一种视频编解码滤波处理系统的结构示意图。参考图8,本实施例提供的视频编解码滤波处理系统具体包括:确定模块21、滤波模块22和补偿模块23。
其中,确定模块21用于确定各个编码树单元的滤波处理边界,滤波处理边界包括第一边界待执行去块滤波操作的子边界,以及第二边界中待执行去块滤波操作的子边界,第一边界包括编码树单元中各个子单元之间的子边界,第二边界包括沿编码树单元中对应子单元的第一指定滤波方向和/或第二指定滤波方向向外延伸设定边界长度的子边界;
滤波模块22用于基于滤波处理边界执行各个编码树单元的去块滤波操作;
补偿模块23用于在完成一个编码树单元的去块滤波操作之后,执行对应的编码树单元的样点自适应补偿操作。
具体地,确定模块21用于根据编码树单元内两个相邻子单元的边界特征确定第一边界中待执行去块滤波操作的子边界。其中,将两个相邻子单元的像素特征信息作为边界特征。
确定编码树单元与第一指定滤波方向和第二指定滤波方向上相邻编码树单元的各个相邻子边界,从相邻子边界中确定第二边界中待执行去块滤波操作的子边界。
确定各个编码树单元对应的视频帧图像的图像边界,将图像边界筛除。
滤波模块22用于对视频帧图像的各个编码树单元,从上至下逐行依次进行去块滤波操作;
对应的,第一指定滤波方向为编码树单元的右方,第二指定滤波方向为编码树单元的下方。
以设定边界长度作为一个边界单元,逐个边界单元对滤波处理边界进行去块滤波操作。
上述,通过确定各个编码树单元的滤波处理边界,滤波处理边界包括第一边界待执行去块滤波操作的子边界,以及第二边界中待执行去块滤波操作的子边界,第一边界包括编码树单元中各个子单元之间的子边界,第二边界包括沿编码树单元中对应子单元的第一指定滤波方向和/或第二指定滤波方向向外延伸设定边界长度的子边界;基于滤波处理边界执行各个编码树单元的去块滤波操作;在完成一个编码树单元的去块滤波操作之后,执行对应的编码树单元的样点自适应补偿操作。采用上述技术手段,通过延伸编码树单元进行去块滤波操作的边界,可以确保编码树单元完整执行去块滤波操作,使得样点自适应补偿操作能够在编码树单元完成去块滤波操作后立即执行,以此来缩短样点自适应补偿操作的耗时,提升视频帧图像滤波处理的时效。
本申请实施例提供的视频编解码滤波处理系统可以用于执行上述实施例提供的视频编解码滤波处理方法,具备相应的功能和有益效果。
在上述实际上例的基础上,本申请实施例还提供了一种视频编解码滤波处理设备,参照图9,该视频编解码滤波处理设备包括:处理器31、存储器32、通信模块33、输入装置34及输出装置35。存储器32作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请任意实施例所述的视频编解码滤波处理方法对应的程序指令/模块(例如,视频编解码滤波处理系统中的确定模块、滤波模块和补偿模块)。通信模块33用于进行数据传输。处理器31通过运行存储在存储器中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的视频编解码滤波处理方法。输入装置34可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。上述提供的视频编解码滤波处理设备可用于执行上述实施例提供的视频编解码滤波处理方法,具备相应的功能和有益效果。
在上述实施例的基础上,本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种视频编解码滤波处理方法,存储介质可以是任何的各种类型的存储器设备或存储设备。当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的视频编解码滤波处理方法,还可以执行本申请任意实施例所提供的视频编解码滤波处理方法中的相关操作。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种视频编解码滤波处理方法,其特征在于,包括:
确定各个编码树单元的滤波处理边界,所述滤波处理边界包括第一边界待执行去块滤波操作的子边界,以及第二边界中待执行去块滤波操作的子边界,所述第一边界包括所述编码树单元中各个子单元之间的子边界,所述第二边界包括沿所述编码树单元中对应子单元的第一指定滤波方向和/或第二指定滤波方向向外延伸设定边界长度的子边界;
基于所述滤波处理边界执行各个所述编码树单元的去块滤波操作;
在完成一个所述编码树单元的去块滤波操作之后,执行对应的所述编码树单元的样点自适应补偿操作。
2.根据权利要求1所述的视频编解码滤波处理方法,其特征在于,所述基于所述滤波处理边界执行各个所述编码树单元的去块滤波操作,包括:
对视频帧图像的各个所述编码树单元,从上至下逐行依次进行去块滤波操作;
对应的,所述第一指定滤波方向为所述编码树单元的右方,所述第二指定滤波方向为所述编码树单元的下方。
3.根据权利要求1所述的视频编解码滤波处理方法,其特征在于,所述确定各个编码树单元的滤波处理边界,包括:
根据所述编码树单元内两个相邻子单元的边界特征确定所述第一边界中待执行去块滤波操作的子边界。
4.根据权利要求3所述的视频编解码滤波处理方法,其特征在于,所述根据所述编码树单元内两个相邻子单元的边界特征确定所述第一边界中待执行去块滤波操作的子边界,包括:
将所述两个相邻子单元的像素特征信息作为所述边界特征。
5.根据权利要求1所述的视频编解码滤波处理方法,其特征在于,所述确定各个编码树单元的滤波处理边界,还包括:
确定所述编码树单元与所述第一指定滤波方向和所述第二指定滤波方向上相邻编码树单元的各个相邻子边界,从所述相邻子边界中确定所述第二边界中待执行去块滤波操作的子边界。
6.根据权利要求1所述的视频编解码滤波处理方法,其特征在于,所述基于所述滤波处理边界执行各个所述编码树单元的去块滤波操作,包括:
以所述设定边界长度作为一个边界单元,逐个边界单元对所述滤波处理边界进行去块滤波操作。
7.根据权利要求1所述的视频编解码滤波处理方法,其特征在于,所述确定各个编码树单元的滤波处理边界,还包括:
确定各个编码树单元对应的视频帧图像的图像边界,将所述图像边界筛除。
8.一种视频编解码滤波处理系统,其特征在于,包括:
确定模块,用于确定各个编码树单元的滤波处理边界,所述滤波处理边界包括第一边界待执行去块滤波操作的子边界,以及第二边界中待执行去块滤波操作的子边界,所述第一边界包括所述编码树单元中各个子单元之间的子边界,所述第二边界包括沿所述编码树单元中对应子单元的第一指定滤波方向和/或第二指定滤波方向向外延伸设定边界长度的子边界;
滤波模块,用于基于所述滤波处理边界执行各个所述编码树单元的去块滤波操作;
补偿模块,用于在完成一个所述编码树单元的去块滤波操作之后,执行对应的所述编码树单元的样点自适应补偿操作。
9.一种视频编解码滤波处理设备,其特征在于,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7任一所述的视频编解码滤波处理方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的视频编解码滤波处理方法。
CN202210095661.1A 2022-01-26 2022-01-26 视频编解码滤波处理方法、系统、设备及存储介质 Active CN114501035B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210095661.1A CN114501035B (zh) 2022-01-26 2022-01-26 视频编解码滤波处理方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210095661.1A CN114501035B (zh) 2022-01-26 2022-01-26 视频编解码滤波处理方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114501035A true CN114501035A (zh) 2022-05-13
CN114501035B CN114501035B (zh) 2024-02-13

Family

ID=81476782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210095661.1A Active CN114501035B (zh) 2022-01-26 2022-01-26 视频编解码滤波处理方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114501035B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024114432A1 (zh) * 2022-12-01 2024-06-06 百果园技术(新加坡)有限公司 视频编码中的样点自适应补偿方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102948146A (zh) * 2010-04-13 2013-02-27 三星电子株式会社 基于树结构的编码单元执行去块滤波的视频编码方法和视频编码设备以及视频解码方法和视频解码设备
US20140307772A1 (en) * 2013-04-12 2014-10-16 Sony Corporation Image processing apparatus and image processing method
US20160241881A1 (en) * 2015-02-13 2016-08-18 Mediatek Inc. Method and Apparatus of Loop Filters for Efficient Hardware Implementation
CN108028920A (zh) * 2015-09-14 2018-05-11 联发科技(新加坡)私人有限公司 视频编解码中高级去块滤波的方法以及装置
CN112514390A (zh) * 2020-03-31 2021-03-16 深圳市大疆创新科技有限公司 视频编码的方法和装置
CN113196783A (zh) * 2019-01-17 2021-07-30 华为技术有限公司 去块效应滤波自适应的编码器、解码器及对应方法
US20210274223A1 (en) * 2018-06-28 2021-09-02 Electronics And Telecommunications Research Institute Video encoding/decoding method and device, and recording medium for storing bitstream

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102948146A (zh) * 2010-04-13 2013-02-27 三星电子株式会社 基于树结构的编码单元执行去块滤波的视频编码方法和视频编码设备以及视频解码方法和视频解码设备
US20140307772A1 (en) * 2013-04-12 2014-10-16 Sony Corporation Image processing apparatus and image processing method
US20160241881A1 (en) * 2015-02-13 2016-08-18 Mediatek Inc. Method and Apparatus of Loop Filters for Efficient Hardware Implementation
CN108028920A (zh) * 2015-09-14 2018-05-11 联发科技(新加坡)私人有限公司 视频编解码中高级去块滤波的方法以及装置
US20210274223A1 (en) * 2018-06-28 2021-09-02 Electronics And Telecommunications Research Institute Video encoding/decoding method and device, and recording medium for storing bitstream
CN113196783A (zh) * 2019-01-17 2021-07-30 华为技术有限公司 去块效应滤波自适应的编码器、解码器及对应方法
CN112514390A (zh) * 2020-03-31 2021-03-16 深圳市大疆创新科技有限公司 视频编码的方法和装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GAOXING CHEN; ZHENYU PEI; ZHENYU LIU; TAKESHI IKENAGA: "Deblocking strength prediction based CTU-level SAO category determination in HEVC encoder", 《2015 VISUAL COMMUNICATIONS AND IMAGE PROCESSING (VCIP)》 *
GAOXING CHEN;ZHENYU PEI;ZHENYU LIU;TAKESHI IKENAGA: "Hardware Oriented Enhanced Category Determination Based on CTU Boundary Deblocking Strength Prediction for SAO in HEVC Encoder", 《 IEICE TRANSACTIONS ON FUNDAMENTALS OF ELECTRONICS, COMMUNICATIONS AND COMPUTER SCIENCES》, vol. 99, no. 4, pages 788 - 797 *
SINGHADIA ASHISH;MINHAZUDDIN MD; MAMILLAPALLI MEGHAN;CHAKRABARTI INDRAJIT: "A fast integrated deblocking filter and sample-adaptive-offset parameter estimation architecture for HEVC", 《MICROPROCESSORS AND MICROSYSTEMS》, vol. 85, pages 1 - 13 *
李毅: "基于多核处理平台的HEVC解码核心模块并行处理的算法设计与实现", 《中国学位论文全文数据库》 *
王超;张德学;韩学森;张存生;冀贞贤;杜飞飞: "基于parallella多核处理器的去块滤波并行处理", 《中国集成电路》, vol. 26, no. 12, pages 52 - 55 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024114432A1 (zh) * 2022-12-01 2024-06-06 百果园技术(新加坡)有限公司 视频编码中的样点自适应补偿方法及装置

Also Published As

Publication number Publication date
CN114501035B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CA2805722C (en) Method and apparatus of region-based adaptive loop filtering
EP3057320A1 (en) Method and apparatus of loop filters for efficient hardware implementation
US8861617B2 (en) Method and apparatus of region-based adaptive loop filtering
US10306246B2 (en) Method and apparatus of loop filters for efficient hardware implementation
CN103947208B (zh) 减少解块滤波器的方法及装置
CN104702963A (zh) 一种自适应环路滤波的边界处理方法及装置
US11272176B2 (en) Encoding processing method and device, decoding processing method and device, encoder, and decoder
KR20210132708A (ko) 루프 필터링 구현 방법, 장치 및 컴퓨터 저장 매체
JP2018534870A (ja) ビデオ符号化のためのサンプルの適応フィルタリングの方法および装置
CA3208670A1 (en) Image encoding method, image decoding method, encoder, decoder and storage medium
KR20100067125A (ko) 전반적인 블로키니스 보정
WO2011014633A2 (en) System and method of compressing video content
CN1981533A (zh) 用于进行解块滤波的方法和系统
CN109587491A (zh) 一种帧内预测方法、装置及存储介质
CN114501035B (zh) 视频编解码滤波处理方法、系统、设备及存储介质
CN112514390B (zh) 视频编码的方法和装置
WO2024098821A1 (zh) Av1的滤波方法及装置
EP2890124B1 (en) Coding method and device applied to hevc-based 3dvc
CN111083486A (zh) 一种确定编码单元的色度信息的方法和装置
WO2022077490A1 (zh) 一种帧内预测方法、编码器、解码器及存储介质
US20140056363A1 (en) Method and system for deblock filtering coded macroblocks
CN111372084B (zh) 面向神经网络编解码工具的并行推理方法及系统
CN111866506B (zh) 图像编码方法、装置、设备及可读存储介质
EP3571844A1 (en) Apparatus and method for de-blocking filtering
CN114584790B (zh) 一种视频亮度滤波方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant