CN108989803B - 用于编码/解码图像信息的方法和装置 - Google Patents

用于编码/解码图像信息的方法和装置 Download PDF

Info

Publication number
CN108989803B
CN108989803B CN201810743897.5A CN201810743897A CN108989803B CN 108989803 B CN108989803 B CN 108989803B CN 201810743897 A CN201810743897 A CN 201810743897A CN 108989803 B CN108989803 B CN 108989803B
Authority
CN
China
Prior art keywords
block
deblocking filtering
boundary
filtering
deblocking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810743897.5A
Other languages
English (en)
Other versions
CN108989803A (zh
Inventor
朴胜煜
林宰显
全勇俊
金哲瑾
金廷宣
朴奈利
亨得利·亨得利
全柄文
朴俊永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN108989803A publication Critical patent/CN108989803A/zh
Application granted granted Critical
Publication of CN108989803B publication Critical patent/CN108989803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration

Abstract

本发明涉及用于编码/解码图像信息的方法和装置。本发明涉及去块滤波方法,用于导出关于其的bS(边界强度)的方法,和使用其用于编码/解码的方法和装置。本发明的用于导出bS的方法包括步骤:导出作为用于应用去块滤波的单元块的去块滤波单元块的边界;和根据在去块滤波单元块内的每个bS设置单元块设置bS,其中bS设置步骤能够设置目标边界的bS值,该目标边界对应于作为bS设置单元块的边界的去块滤波单元块的边界。

Description

用于编码/解码图像信息的方法和装置
本申请是于2014年5月9日进入中国国家阶段的、PCT申请号为PCT/KR2012/007468、国际申请日为2012年9月18日、中国申请号为201280055187.4、发明名称为“用于编码/解码图像信息的方法和装置”的申请的分案申请。
技术领域
本发明涉及视频信息压缩技术,尤其是,涉及应用去块滤波器作为环内滤波器的方法。
背景技术
近来,对高分辨率和高质量视频的需要已经在各种应用领域中增长。随着图像具有更高的分辨率和更高的质量,有关视频的数据量进一步增长。
因此,当使用介质,诸如现有的有线或者无线宽带线路传送图像数据,或者视频数据存储在现有的存储介质中的时候,信息传送成本和信息存储成本增长。
高效率的视频压缩技术能够用于有效地传送、存储和再现有关高分辨率和高质量视频的信息。
帧间预测和帧内预测能够被用于提高视频压缩效率。在帧间预测中,当前图片的像素值使用其它的图片的信息来预测。在帧内预测中,该像素值使用在相同的图片中的像素间关系来预测。
用于使视频等同于原始视频的各种方法能够被应用于预测的图片的处理单元,例如,块。因此,解码器能够更加准确地解码视频(更加接近于原始视频),并且编码器能够编码视频以更加准确地重建视频。
发明内容
技术问题
本发明的一个目的是提供一种方法和装置,其能够通过在去块滤波的应用中有效地除去去块伪影而重建接近于原始图像的图像。
本发明的另一个目的是提供一种方法和装置,其能够通过在去块滤波的应用中降低复杂度而提高压缩效率。
本发明的再一个目的是提供一种方法和装置,其能够通过在去块滤波的应用中有效地设置用于判定bS(边界强度)值的单元块来降低复杂度。
本发明的再一个目的是提供一种方法和装置,其能够通过在去块滤波的应用中有效地设置bS值来降低复杂度。
技术解决方案
根据本发明的一个方面,提供了一种边界强度(bS)推导方法,包括步骤:推导去块滤波单元块的边界,去块滤波单元块是在其上执行去块滤波的单元块;和在去块滤波单元块中对于每个bS设置单元块设置bS,其中设置bS的步骤包括设置目标边界的bS值,该目标边界对应于作为bS设置单元块的边界的去块滤波单元块的边界。
设置bS的步骤可以包括在以目标边界作为边界的两个块的至少一个被帧内编译的情形下,将目标边界的bS值设置为bS2;在目标边界是去块滤波目标的情形下,并且不在以目标边界具有作为边界的两个块的至少一个被帧内编译的情形下,将目标边界的bS值设置为bS1;以及在目标边界不是去块滤波目标的情形下,将目标边界的bS值设置为bS0,并且bS0、bS1和bS2的值满足bS0<bS1<bS2的关系。
bS被设置为bS1的情形可以不是以目标边界作为边界的两个块的至少一个被帧内编译的情形,并且可以包括:以目标边界作为边界的两个块的至少一个包括除0以外的变换系数的情形;和以目标边界作为边界的两个块具有不同的参考图片或者不同的运动矢量的情形。
推导去块滤波单元块的边界的步骤和设置bS的步骤可以首先在包括去块滤波单元块的图片中的垂直边缘上执行,并且然后可以在包括去块滤波单元块的图片中的水平边缘上执行。
去块滤波单元块可以是编译块、变换块、预测块,和8×8像素块的任何一个。bS设置单元块可以是4×4像素块。
根据本发明的另一个方面,提供了一种去块滤波方法,包括步骤:由bS设置单元块设置目标边界的边界强度(bS);和由去块滤波单元块对目标边界应用去块滤波,其中设置bS的步骤包括设置目标边界的bS值,该目标边界对应于作为bS设置单元块的边界的去块滤波单元块的边界。
设置bS的步骤可以包括在以目标边界作为边界的两个块的至少一个被帧内编译的情形下,将目标边界的bS值设置为bS2;在目标边界是去块滤波目标的情形下,并且不在以目标边界作为边界的两个块的至少一个被帧内编译的情形下,将目标边界的bS值设置为bS1;和当目标边界不是去块滤波目标的时候,将目标边界的bS值设置为bS0,并且bS0、bS1和bS2的值满足bS0<bS1<bS2的关系。
bS被设置为bS1的情形可以不是以目标边界作为边界的两个块的至少一个被帧内编译的情形,并且可以包括:以目标边界作为边界的两个块的至少一个包括除0以外的变换系数的情形;和以目标边界作为边界的两个块具有不同的参考图片或者不同的运动矢量的情形。
推导去块滤波单元块的边界的步骤和设置bS的步骤可以首先在包括去块滤波单元块的图片中的垂直边缘上执行,并且然后可以在包括去块滤波单元块的图片中的水平边缘上执行。
当对于目标边界设置的bS值大于bS0并且在其上执行去块滤波时,可以确定应当执行强滤波和弱滤波中的哪个。
关于应当执行强滤波和弱滤波中的哪个的确定可以是基于以目标边界作为边界的两个块的采样执行的,当目标边界是垂直边缘的时候,可以基于在以目标边界作为边界的采样行中的采样之中要经历去块滤波的采样执行的,并且当目标边界是水平边缘的时候,可以基于在以目标边界作为边界的采样列中的采样之中要经历去块滤波的采样执行的。
当确定应当执行弱滤波的时候,可以对从要经历去块滤波的采样中选择的采样执行滤波。
去块滤波单元块可以是编译块、变换块、预测块,和8×8像素块的任何一个。bS设置单元块可以是4×4像素块。
有益效果
根据本发明的多个方面,能够通过在去块滤波的应用中有效地除去去块伪影来重建接近于原始图像的图像。
根据本发明的多个方面,能够通过降低去块滤波应用中的复杂度来提高压缩效率。
根据本发明的多个方面,能够通过在去块滤波的应用中有效地设置用于判定bS(边界强度)值的单元块来降低复杂度。根据本发明的多个方面,也能够通过在去块滤波的应用中有效地设置bS值来降低复杂度。
附图说明
图1是示意地图示根据本发明的一个实施例的编码装置(视频编码器)的框图。
图2是示意地图示根据本发明的一个实施例的视频解码器的框图。
图3是示意地图示根据本发明的应用去块滤波器的方法的流程图。
图4是示意地图示根据本发明的去块滤波的细节的示意图。
图5是图示示意地图示bS判定方法示例的流程图。
图6是图示当去块滤波器单元块是8×8像素块,并且bS设置单元块是4×4像素块的时候,去块滤波的目标边界的示意图。
图7是示意地图示在其上执行去块滤波的单元块中判定代表性bS值的方法的示例的示意图。
图8是示意地图示在其上执行去块滤波的单元块中判定代表性bS值的方法的另一个示例的示意图。
图9是示意地图示bS判定方法的另一个示例的流程图。
图10是示意地图示bS判定方法的另一个示例的流程图。
图11是示意地图示作为用于应用OMBC的bS判定树的示例的bS判定方法的流程图。
图12是示意地图示作为用于应用OMBC的bS判定树的另一个示例的bS判定方法的流程图。
图13是示意地图示判定bS和应用去块滤波的方法的示例的示意图。
图14是示意地图示判定bS和应用去块滤波的方法的另一个示例的示意图。
图15和16是示意地图示判定代表性bS的方法的示例的流程图。
图17是示意地图示根据本发明的视频编码方法的流程图。
图18是示意地图示根据本发明的视频解码方法的流程图。
具体实施方式
本发明能够以各种形式不同地修改,并且其特定的实施例将被描述并在附图中示出。但是,实施例不意欲限制本发明。在以下的描述中使用的术语仅仅用于描述特定的实施例,而不意欲限制本发明。单数的表示包括复数表示,只要其清楚不同地解读。诸如“包括”和“具有”的术语,意欲指示存在在后续的描述中使用的特点、数目、步骤、操作、元件、部件,或者其组合,并且因此,应该理解,不排除存在或者增加一个或多个不同的特点、数目、步骤、操作、元件、部件,或者其组合的可能性。
另一方面,在本发明描述的附图中的元件是为了便于解释在视频编码/解码装置中的不同特定功能的目的而独立地绘制,并且不意味着元件由单独的硬件或者单独的软件实施。例如,元件中的两个或更多个元件可以组合以形成单个元件,或者一个元件可以被分成多个元件。在不脱离本发明的概念的情况下,元件被组合和/或分割的实施例属于本发明的范围。
在下文中,将参考附图详细描述本发明的示例性实施例。在附图中相同的组成将由相同的附图标记引用,并且不会重复地描述。
图1是示意地图示根据本发明的一个实施例的编码装置(视频编码器)的框图。参考图1,视频编码装置100包括图片分割模块105、预测模块110、变换模块115、量化模块120、重新排列模块125、熵编码模块130、去量化模块135、反变换模块140、滤波器模块145,和存储器150。
图片分割模块105能够将输入图片分割为至少一个处理单元块。在这里,作为处理单元的块可以是预测单元(在下文中,称为“PU”),变换单元(在下文中,称为“TU”),或者编译单元(在下文中,称为“CU”)。
如稍后描述的,预测模块110包括执行帧间预测处理的帧间预测模块,和执行帧内预测处理的帧内预测模块。预测模块110对由图片分割模块105分割的图片的处理单元执行预测处理以产生预测块。在预测模块110中,图片的处理单元可以是CU、TU或者PU。预测模块110能够确定对于对应的处理单元执行的预测是帧间预测还是帧内预测,并且那个确定预测方法的特定细节(例如,预测模式)。经历预测处理的处理单元可以不同于确定预测方法和特定细节的处理单元。例如,预测方法和预测模式可以以PU为单位确定,并且预测处理可以以TU为单位执行。
在帧间预测中,预测处理基于有关当前图片的先前的图片和/或后续的图片的至少一个的信息来执行以产生预测块。在帧内预测中,预测处理基于当前图片的像素信息执行以产生预测块。
在帧间预测中,能够使用跳跃模式、合并模式、MVP(运动矢量预测)模式等等。在帧间预测中,参考图片被选择用于PU,并且具有与PU相同大小的参考块能够通过整数像素采样来选择。然后,产生预测块,在预测块中来自当前PU的残留信号被减到最小,并且运动矢量幅值被减到最小。
预测块可以以整数像素采样为单位,或者以小于整数像素的像素采样,诸如,1/2像素采样和1/4像素采样为单位产生。在这里,运动矢量也能够以小于整数像素的像素采样为单位表示。例如,亮度像素能够以1/4像素为单位表示,并且色度像素能够以1/8像素为单位表示。
通过帧间预测所选择的信息,诸如索引、运动矢量(例如,运动矢量预测器),和参考图片的残留信号被熵编码,并且发送给解码器。当应用跳跃模式的时候,预测块能够用作重建的块,并且因此,残留信号可能根本不产生、变换、量化,和发送。
当执行帧内预测的时候,预测模式能够以PU为单位确定,并且预测处理能够以PU为单位执行。或者,预测模式可以以PU为单位确定,并且该帧间预测可以以TU为单位执行。
在帧内预测中,预测模式包括33个方向预测模式,和至少2个无方向模式。无方向模式包括DC预测模式和平面模式。
在帧内预测中,在将滤波器应用于参考采样之后,能够产生预测块。此时,取决于当前块的帧内预测模式和/或大小,能够确定是否应当将滤波器应用于参考采样。
PU具有各种大小和形状。例如,在帧间预测的情况下,PU可以是具有诸如2N×2N、2N×N、N×2N和N×N(这里N是整数)大小的块。在帧内预测的情况下,PU可以是具有诸如2N×2N和N×N(这里N是整数)大小的块。具有N×N大小的PU能够被设置为仅仅应用于特定的情形。例如,具有N×N大小的PU能够被设置为仅仅用于最小的CU,或者能够被设置为仅仅用于帧内预测。除了具有以上提及的大小的PU之外,诸如N×mN块、mN×N块、2N×mN块和mN×2N块(这里m<1)的PU可以另外定义和使用。
在产生的预测块和原始块之间的残留值(残留块或者残留信号)被输入给变换模块115。用于预测的预测模式信息、运动矢量信息等等通过熵编码模块130与残留值一起被编码,并且发送给解码器。
变换模块115以TU为单位对残留块执行变换处理,并且产生变换系数。在变换模块115中的变换单元可以是TU,并且可以具有四树结构。变换单元的大小能够在预先确定的最大和最小的大小范围内确定。变换模块115能够使用DCT(离散余弦变换)和/或DST(离散正弦变换)变换残留块。
量化模块120能够量化由变换模块115变换的残留值,并且能够产生量化系数。由量化模块120计算的值能够提供给去量化模块135和重新排列模块125。
重新排列模块125能够重新排列从量化模块120提供的量化系数。通过重新排列量化系数,能够提高在熵编码模块130中的编码效率。重新排列模块125能够通过使用系数扫描方法以二维块的形式到一维矢量的形式重新排列量化系数。重新排列模块125能够基于从量化模块120发送的系数的随机统计通过改变系数扫描的顺序提高在熵编码模块130中的熵编码效率。
熵编码模块130对通过重新排列模块125重新排列的量化系数执行熵编码处理。熵编码方法的示例包括指数golomb方法、CAVLC(上下文自适应可变长度编码)方法,和CABAC(上下文自适应二进制算术编码)方法。熵编码模块130能够编码各种信息,诸如从重新排列模块125和预测模块110发送的编译单元的残留系数信息和块类型信息、预测模式信息、分割单元信息、预测单元信息、传送单元信息、运动矢量信息、参考图片信息、块内插信息,和滤波信息。
熵编码模块130必要时可以对要发送的参数集或者语法给予预先确定的变化。
去量化模块135去量化由量化模块120量化的值。反变换模块140反向地变换由去量化模块135反量化的值。由去量化模块135和反变换模块140产生的残留值可以与由预测模块110预测的预测块合并以产生重建的块。
在图1中,残留块和预测块通过加法器相加以产生重建的块。此时,加法器可以被认为是产生重建的块的特定的模块(重建块创建模块)。
滤波器模块145对重建的图片应用去块滤波器、ALF(自适应环路滤波器)、SAO(采样自适应偏移)。
去块滤波器除去在重建的图片中在块之间的边界处产生的块失真。ALF基将原始图片与于其块被去块滤波器滤波的重建的图片比较的结果值执行滤波处理。只有当需要高效率时可以使用ALF。SAO重建在已经对其应用去块滤波器的残留块和原始图片之间的偏移差值,并且以带偏移、边缘偏移等等的形式应用。
另一方面,滤波器模块145可以不对用于帧间预测的重建的块执行滤波处理。
存储器150存储由滤波器模块145计算的图片或者重建的块。存储在存储器150中的重建的块或者图片被提供给执行帧间预测的预测模块110。
图2是示意地图示根据本发明的一个实施例的视频解码装置的框图。参考图2,视频解码装置200包括熵解码模块210、重新排列模块215、去量化模块220、反变换模块225、预测模块230、滤波器模块235,和存储器240。
当视频比特流被从视频编码装置输入的时候,输入的比特流被基于视频编码装置处理视频信息的顺序而解码。
例如,当图像编码设备使用可变长度编译(在下文中,称为“VLC”)方法,诸如CAVLC去执行熵编码处理的时候,视频解码模块210能够实现与在视频编码设备中使用的相同的VLC表,并且能够执行熵解码处理。当视频编码设备使用CABAC执行熵编码处理的时候,熵解码模块210能够使用与其其对应的CABAC执行熵解码处理。
在由熵解码模块210解码的信息之中用于创建预测块的信息被提供给预测模块230,并且由熵解码模块熵解码的残留值被输入给重新排列模块215。
重新排列模块215基于在视频编码设备中的重新排列方法重新排列由熵解码模块210熵解码的比特流。重新排列模块215将以一维矢量的形式表示的系数重建和重新排列为二维块形式的系数。重新排列模块215被提供有与由编码模块执行的系数扫描相关联的信息,并且能够基于由对应的编码模块执行的扫描的扫描顺序使用反向扫描系数的方法执行重新排列。
去量化模块220基于从编码器提供的量化参数和块的重新排列的系数值执行去量化。
反变换模块225对来自视频编码设备的量化结果执行已经由视频编码设备的变换模块执行的DCT和DST的反DCT和反DST。反变换基于由视频编码设备确定的图片的传送单元或者分割单元执行。视频编码设备的变换模块取决于多个信息元素,诸如预测方法、当前块的大小和预测方向有选择地执行DCT和DST,并且视频解码设备的反变换模块225基于有关由视频编码设备的变换模块执行的变换的变换信息执行反变换。
预测模块230基于从熵解码模块210提供的预测块创建信息,和从存储器240提供的预先解码的块和/或图片信息产生预测块。
在当前PU的预测模式是帧内预测模式(帧内模式)的时候,能够基于在当前图片中的像素信息执行创建预测块的帧内预测处理。
在当前PU的预测模式是帧间预测模式(帧间模式)的时候,能够基于在当前图片的先前图片或者后续图片的至少一个中包括的信息对当前PU执行帧间预测处理。此时,对于从视频编码装置提供的当前PU的帧间预测所必需的运动信息,例如,有关运动矢量、参考图片索引等等的信息能够从编码器接收的跳越标记、合并标记等等中推导出。
使用由预测模块230产生的预测块和从反变换模块225提供的残留块产生重建的块。在图2中,预测块和残留块通过加法器相加以产生重建的块。此时,加法器可以被认为是产生重建的块的特定模块(重建块创建模块)。
当应用跳跃模式的时候,可以不发送残留块,并且预测块能够用作重建的块。
重建的块和/或图片被提供给滤波器模块235。滤波器模块235对重建的块和/或图片执行去块滤波处理、SAO(采样自适应偏移)处理,和/或自适应环路滤波处理。
存储器240存储用作为参考图片或者参考块的重建的图片或者块,并且将重建的图片供应给输出模块。
另一方面,如上所述,编码器和解码器的滤波器模块能够将去块滤波器、ALF(自适应环路滤波器),或者SAO(采样自适应偏移)作为环内滤波器来应用。
去块滤波器除去由于以块为单位的预测、变换、量化导致的在块之间的伪影。去块滤波器被应用于预测单元边缘或者变换单元边缘,并且预先确定的最小的块大小能够设置用于去块滤波器的应用。
为了应用去块滤波器,首先确定水平或者垂直滤波器边界的边界强度(BS)。然后,基于BS确定是否应当以块为单位执行滤波。当确定应当执行滤波的时候,确定应当应用什么滤波器。要应用的滤波器能够从弱滤波器和强滤波器中选择。滤波器模块将所选择的滤波器应用于对应块的边界。
在执行稍后描述的SAO之后,可以执行ALF(自适应环路滤波)。ALF起到使用维纳(Wiener)滤波器补偿编码错误的作用,并且不同于SAO,被全局地应用于片。可以仅仅在HE(高效率)的情况下执行ALF。
SAO是以像素为单位重建已经经历去块滤波的图像与原始图像的偏移差别的过程。能够通过SAO补偿编译错误,并且编译错误可以基于量化等。SAO被分类为带偏移和边缘偏移两个类型。
如上所述,当图像(图片)被以块(例如,CU、PU和TU)为单位重建的时候,可能在重建的块之间的边界出现块失真。能够应用去块滤波器防止块失真。去块滤波器能够有选择地应用于相同的图像或者图片中可能出现块失真的位置,和不太可能出现块失真的位置。例如,去块滤波器能够以不同的方法应用于可能出现块失真的位置,和不太可能出现块失真的位置。
为了这个目的,在块之间的边界的边界强度(在下文中,称为“bS”)能够取决于在块之间的边界是否对应于对其应用去块滤波器的边界,相邻块是否是是已经对其应用帧内编译的块等等来确定,并且能够基于确定的bS来应用去块滤波。
另一方面,当CU是I_PCM CU的时候,也就是说,当CU是应当对其应用帧内预测的PCM(脉冲编译调制)的时候,不执行去块滤波。由于I_PCM模式不需要量化和变换处理,所以与原始数据相同的值被重建。
因此,为了重建最好的图像质量(原始图像质量),环内滤波器不被应用于I_PCM模式的CU(I_PCM CU)。例如,在去块滤波处理中,通过将I_PCM CU的量化参数qP设置为0(零),防止去块滤波器被应用于I_PCM CU。
图3是示意地图示根据本发明应用去块滤波器方法的流程图。在图3中示出的去块滤波能够由编码器和解码器执行。例如,在图1和2中示出的滤波器模块能够执行在图3中示出的去块滤波处理。
去块滤波首先被应用于当前图片中的块之间的垂直边缘,并且然后被应用于当前图片中的块之间的水平边缘。去块滤波被应用于具有通过垂直边缘的去块滤波而修改的采样的当前图片中的水平边缘。
因此,在图3中图示的去块滤波过程能够首先应用于当前图片中的垂直边缘,然后能够应用于当前图片中的水平边缘。
参考3,对于在块之间的边缘,为了去块滤波的应用而推导出块边界(S310)。
滤波器模块设置当前编译块或者当前LCU(最大编译单元)(在下文中,为了解释便利的目的,在本说明书中编译块包括LCU)的大小,并且确定当前编译块的边界是否是当前图片的边界,当前编译块的边界是否是作为区块的边界对其应用去块滤波器的边界,以及当前编译块的边界是否是作为片的边界对其应用去块滤波器的边界。
例如,当去块滤波器应用于垂直边缘,并且当前编译块的左边界是当前图片的左边界的时候,当前编译块的左边界能够从去块滤波的目标中除去。在当前编译块的左边界是当前区块的左边界,并且滤波器被确定不应用于当前区块的边缘的时候,或者在当前编译块的左边界是当前片的左边界,并且滤波器被确定不应用于当前片的边缘的时候,当前编译块的左边界能够从去块滤波的目标中除去。因此,否则,在将去块滤波应用于垂直边缘时,去块滤波能够应用于当前编译块的左边界。
当去块滤波器被应用于水平边缘,并且当前编译块的顶边界是当前图片的顶边界的时候,当前编译块的顶边界能够从去块滤波的目标中除去。在当前编译块的顶边界是当前区块的顶边界,并且滤波器被确定不应用于当前区块的边缘的时候,或者在当前编译块的顶边界是当前片的顶边界,并且滤波器被确定不应用于当前片的边缘的时候,当前编译块的顶边界能够从去块滤波的目标中除去。否则,在将去块滤波应用于水平边缘时,去块滤波能够应用于当前编译块的顶边界。
在本说明书中将滤波应用于边界指的是对位于边界两侧上的预先确定的采样执行滤波。
当去块滤波应用于图片的垂直边缘的时候,滤波器模块能够推导出变换块和预测块的垂直边缘的块边界,并且当去块滤波应用于图片的水平边缘的时候,能够推导出变换块和预测块的水平边缘的块边界。
当变换块的边缘是编译块的边缘的时候,取决于是否应当将去块滤波应用于对应的边缘,对于对应的边缘能够推导出变换块的边界。当变换块被分割的时候,能够推导出分割的块的边界。
滤波器模块能够推导出预测块的每个分区的边界。例如,当预测块的分区是2N×N像素块、N×N像素块、2N×nU像素,或者2N×nD像素块(这里N、U和D是对应于像素数目的整数,并且n是对应于在编译块中的预测块数目的整数)的时候,能够推导出关于每个分区的边缘。随后,推导出应对其应用去块滤波器的块边界的bS(S320)。对于当前编译块中的每个边缘确定bS。当去块滤波被应用于在图片中的垂直边缘的时候,对于每个垂直边缘推导出bS,并且当去块滤波被应用于在图片中的水平边缘的时候,对于每个水平边缘推导出bS。
能够对于每个预先确定的单元执行bS的推导。例如,bS可以对于变换块的每个边缘推导出,或者可以对于预测块的每个边缘推导出。bS可以以具有预先确定大小的块为单位,例如,以8×8像素块或者4×4像素块为单位推导出。
此外,bS可以对于当前编译块中的变换块、预测块和预先确定大小的块之中满足特定条件块的边缘推导出。例如,bS可以对于变换块(例如,TU)和预测块(例如,PU)中的较小块与预先确定大小的块(例如,8×8像素块)中的较大块的每一个推导出。
换句话说,bS能够以与作为用于判定在要经历去块滤波的块的边界处的bS的单元的块的大小相对应的像素为单位(例如,当bS判定单元是L×L像素块(L是整数)的时候,L个像素单位)来确定。稍后将描述bS的特定的推导。
随后,基于bS对块边界执行滤波处理(S330)。
例如,在亮度采样的情况下,当对于目标边缘的bS等于或者小于预先确定的参考bS,例如,bSth1的时候,去块滤波可以不应用于对应的边缘。在色度采样的情况下,当对于目标边缘的bS等于或者小于预先确定的参考bS,例如,bSth2的时候,去块滤波可以不应用于对应的边缘。参考bS值bSth1和bSth2可以被设置为相等或者相互不同。
为了有效地应用去块滤波,可以设置额外的阈值(为了解释便利的目的,称为Th1)。例如,当参考bS值被设置为0,并且对于目标边缘的bS值大于0的时候,在块的级别上去块滤波的开启/关闭能够使用Th1来确定。例如,当从目标边缘推导出的值大于Th1的时候,去块滤波可以被应用于目标边缘。
将首先描述去块滤波被应用于图片中的垂直边缘的示例。作为为了与Th1比较的目的而从目标垂直边缘中推导出的值,能够考虑在特定的采样行中在以垂直边缘作为边界的两个块中的滤波目标采样之间的差。例如,在第k个采样行(这里k是整数)的采样之中,在垂直边缘的左块中,在相邻于垂直边缘的滤波目标采样之间的差的总和DLk(例如,当来自垂直边缘的三个采样应当经历滤波的时候,在来自垂直边缘的第一采样和来自垂直边缘的第二采样之间的差,与在来自垂直边缘的第三采样和来自垂直边缘的第二采样之间的差的总和)能够被计算,并且在垂直边缘的右块中,在相邻于垂直边缘的滤波目标采样之间的差的总和DRk(例如,当来自垂直边缘的三个采样经历滤波的时候,在来自垂直边缘的第一采样和来自垂直边缘的第二采样之间的差,与在来自垂直边缘的第三采样和来自垂直边缘的第二采样之间的差的总和)能够被推导出。DLk和DRk的总和Dk能够与Th1比较,并且当Dk小于Th1的时候,去块滤波能够被应用于垂直边缘。当Dk小于Th1的时候,能够认为垂直边界不是对其而言基于量化参数应用去块滤波没有效的边界(例如,在原始图片中实际的图像边界),并且能够确定图片通过应用去块滤波被重建地更接近于原始图片。
此时,在以垂直边缘作为边界的两个块中,在多个采样行中的邻接滤波目标采样之间差的总和能够被考虑以代替考虑在仅仅一个采样行中的邻接滤波目标采样之间差的总和。例如,在以垂直边缘作为边界的两个块中,当在第k个采样行中的滤波目标采样之间的差的总和DK,和在第(k+j)个采样行(这里k是整数)中的滤波目标采样之间的差的总和Dk+j的总和D(=DK+Dk+j)小于阈值Th1的时候,能够确定去块滤波器应当用于垂直边缘。
下面将描述在两个采样行之间的差j被设置为3的示例。当关于第二个采样行和第五个采样行的D(=D2+D5)小于Th1的时候,去块滤波器可以应用于对应的垂直边缘。当在二个采样行之间的差j被设置为3,并且关于第零个采样行和第三个采样行的总和D(=D0+D3)小于Th1的时候,去块滤波器可以应用于对应的垂直边缘。
此时,为了有效地反映每个块和每个采样行的特征,可以推导出D值,其是在用于每个采样行和每个块的滤波目标采样间的差之间的总和的绝对值。在这种情况下,关于以垂直边缘作为边界的左块(L)和右块(R)的第k个采样行和第(k+j)个采样行的D值能够通过表达式1推导出。
表达式1
D=abs(DLk)+abs(DLk+j)+abs(DRk)+abs(DRk+j)
如上所述,DLK是在左块的第k个采样行中,在相邻于垂直边缘的滤波目标采样之间的差的总和。例如,当相邻于垂直边缘的三个采样是去块滤波的应用目标的时候,DLK能够通过在垂直边缘的左块的第k个采样行中,在来自垂直边缘的第一采样和来自垂直边缘的第二采样之间的差,与在来自垂直边缘的第三采样和来自垂直边缘的第二采样之间的差的总和推导出。DRK是在右块的第k个采样行中,在相邻于垂直边缘的滤波目标采样之间的差的总和。例如,当相邻于垂直边缘的三个采样是去块滤波的应用目标的时候,DRK能够通过在垂直边缘的右块的第k个采样行中,在来自垂直边缘的第一采样和来自垂直边缘的第二采样之间的差,与在来自垂直边缘的第三采样和来自垂直边缘的第二采样之间的差的总和推导出。
当如上所述考虑多个采样行的相邻的滤波目标采样之间的差的总和时,通过考虑到在每个采样行中相邻的滤波目标采样之间的差的总和,去块滤波能够更加有效地被应用。例如,Dk能够通过参考表达式1并且仅考虑第k个采样行如由表达式2表示的那样定义。
表达式2
Dk=abs(DLk)+abs(DRk)
例如,当对于如上所述的垂直边缘考虑第k个采样行和第(k+3)个采样行,并且D小于Th1,以及关于第k个采样行的Dk和关于第(k+3)个采样行的Dk+3每个都小于Th1的一半(Th1/2)的时候,强滤波能够被应用于垂直边缘。另一方面,当D小于Th1,但是Dk不小于Th1/2,或者Dk+3不小于Th1/2的时候,弱滤波能够被应用于垂直边缘。
当应用弱滤波的时候,滤波能够仅仅应用于在滤波目标采样之中的特定的采样。在这种情况下,不同于在强滤波中的滤波系数可以被应用。例如,当滤波目标采样是位于垂直边缘的左侧和右侧上的六个采样(在左侧上的三个采样和在右侧上的三个采样)的时候,强滤波能够应用于所有滤波目标采样,并且弱滤波能够应用于位于目标边缘的左侧上的两个采样和位于目标边缘的右侧上的两个采样。此时,强滤波和弱滤波的滤波系数能够相互不同。
将首先描述去块滤波应用于图片中的水平边缘的示例。作为为了与Th1比较的目的而从目标水平边缘中推导出的值,能够考虑在特定的采样列中在以水平边缘作为边界的两个块中的滤波目标采样之间的差。如在关于水平边缘的示例中描述的,在第k个采样列(这里k是整数)的采样之中,在水平边缘的顶块中,在相邻于水平边缘的滤波目标采样之间的差的总和DTk(例如,当来自水平边缘的三个采样应当经历滤波的时候,在来自水平边缘的第一采样和来自水平边缘的第二采样之间的差,与在来自水平边缘的第三采样和来自水平边缘的第二采样之间的差的总和)能够被计算,并且在水平边缘的底块中,在相邻于水平边缘的滤波目标采样之间的差的总和DBk(例如,当来自水平边缘的三个采样应当经历滤波的时候,在来自水平边缘的第一采样和来自水平边缘的第二采样之间差,与在来自水平边缘的第三采样和来自水平边缘的第二采样之间的差的总和)能够被推导出。DLk和DRk的总和Dk能够与Th1比较,并且当Dk小于Th1的时候,去块滤波能够应用于水平边缘。
此时,在以水平边缘作为边界的两个块中,在多个采样列中的邻近滤波目标采样之间的差的总和可以被考虑。例如,在以水平边缘作为边界的两个块中,当在第k个采样列中的滤波目标采样之间的差的总和Dk,与在第(k+j)个采样列(这里k是整数)中的滤波目标采样之间的差的总和Dk+j的总和D(=Dk+Dk+j)小于阈值Th1的时候,可以确定去块滤波器应当应用于水平边缘。
下面将描述在两个采样列之间的差j被设置为3的示例。当关于第二个采样列和第五个采样列的D(=D2+D5)小于Th1的时候,去块滤波器可以应用于对应的水平边缘。当在两个采样列之间的差j被设置为3,并且关于第零个采样列和第三个采样列的总和D(=D0+D3)小于Th1的时候,去块滤波器可以应用于对应的水平边缘。
对于垂直边缘考虑的采样行和对于水平边缘考虑的采样列可以是相互对应的采样行和采样列。例如,当对于垂直边缘考虑第零个采样行和第三个采样行的时候,对于水平边缘可以考虑第零个采样列和第三个采样列。
类似于垂直边缘,为了有效地反映每个块和每个采样列的特征,在用于每个采样列和每个块的滤波目标采样间的差之间总和的绝对值可以被考虑。在这种情况下,关于以水平边缘作为边界的顶块(T)和底块(B)的第k个采样列和第(k+j)个采样列的D值能够通过表达式3推导出。
表达式3
D=abs(DTk)+abs(DTk+j)+abs(DBk)+abs(DBk+j)
如上所述,DTK是在顶块的第k个采样列中,在相邻于水平边缘的滤波目标采样之间的差的总和。例如,当相邻于水平边缘的三个采样是去块滤波的应用目标的时候,DTK能够通过在水平边缘的顶块的第k个采样列中,在来自水平边缘的第一采样和来自水平边缘的第二采样之间的差,与在来自水平边缘的第三采样和来自水平边缘的第二采样之间的差的总和推导出。DBK是在底块的第k个采样列中,在相邻于水平边缘的滤波目标采样之间的差的总和。例如,当相邻于水平边缘的三个采样是去块滤波的应用目标的时候,DBK能够通过在水平边缘的底块的第k个采样列中,在来自水平边缘的第一采样和来自水平边缘的第二采样之间的差,与在来自水平边缘的第三采样和来自水平边缘的第二采样之间的差的总和推导出。
如在关于垂直边缘的示例中描述的,通过考虑在每个采样列中在相邻的滤波目标采样之间差的总和,去块滤波能够更加有效地应用。例如,DK能够通过参考表达式3并且仅考虑第k个采样列如由表达式4表示的那样定义。
表达式4
Dk=abs(DTk)+abs(DBk)
例如,当如上所述对于水平边缘考虑第k个采样列和第(k+3)个采样列,并且D小于Th1,以及关于第k个采样列的DK和关于第(k+3)个采样列的Dk+3每个都小于Th1的一半(Th1/2)的时候,强滤波能够应用于水平边缘。另一方面,当D小于Th1,但是DK不小于Th1/2,或者Dk+3不小于Th1/2的时候,弱滤波能够应用于水平边缘。
当应用弱滤波的时候,滤波能够仅仅应用于在滤波目标采样之中的特定的采样。在这种情况下,不同于在强滤波中的滤波系数可以被应用。例如,当滤波目标采样是位于水平边缘的顶侧和底侧上的六个采样(在顶侧的三个采样和在底侧的三个采样)的时候,强滤波能够应用于所有滤波目标采样,并且弱滤波能够应用于位于目标边缘的顶侧的两个采样,和位于目标边缘的底侧的两个采样。此时,强滤波和弱滤波的滤波系数能够相互不同。
强滤波和弱滤波可以使用相同的方法(例如,相同的滤波系数或者偏移)应用于垂直边缘和水平边缘。
如上所述,当确定是否应当应用去块滤波,应当应用强滤波和弱滤波哪个,和弱滤波应当应用到哪个采样的时候,滤波器模块能够基于预先确定的方法(例如,相同的滤波系数或者偏移)应用去块滤波器。如上所述,去块滤波能够首先应用于在图片中的垂直边缘,然后,去块滤波能够应用于在图片中的水平边缘。
图3以粗略的步骤示出应用去块滤波步骤的方法,诸如块边界推导步骤(S310)、bS推导步骤(S320),和滤波应用步骤(S330),但是从bS判定到滤波应用的以上提及的细节能够被分成详细的步骤。
例如,对于在图片中的垂直边缘上的水平去块滤波能够执行以下步骤:(1)判定在编译块(其可以是LCU)中的垂直边缘的bS,其中bS判定目标边缘可以是TU和PU中的较小块的边缘,可以是预先确定的单元块(例如,8×8像素块)的边缘,或者可以是TU和PU中的较小单元块与预先确定的单元块中的较大块的边缘;(2)对于其bS大于0的边缘,以块等级确定去块滤波的开启/关闭,其中在边界(边缘)的两侧上在块中预先确定的采样行(例如,第二采样行和第五采样行)能够用于如上所述的这个目的;(3)确定强滤波和弱滤波的哪个应当被应用于其中开启滤波的区域;(4)当应用弱滤波的时候,确定附加滤波的开启/关闭,其中附加滤波的开启/关闭包括确定对于如上所述的每个特定的采样的滤波的开启/关闭;和(5)对在当前图片中的下一个编译块(包括LCU)重复地执行以上提及的步骤,其中对在该图片中的所有垂直边缘执行去块滤波处理。
例如,对于在图片中的水平边缘上的垂直去块滤波能够执行以下步骤:(1)判定在编译块(其可以是LCU)中水平边缘的bS,其中bS判定目标边缘可以是TU和PU中的较小块的边缘,可以是预先确定的单元块(例如,8×8像素块)的边缘,或者可以是TU和PU中的较小单元块与预先确定的单元块中的较大块的边缘;(2)对于其bS大于0的边缘以块等级确定去块滤波的开启/关闭,其中在边界(边缘)的两侧上在块中预先确定的采样列(例如,第二采样列和第五采样列)能够用于如上所述的这个目的;(3)确定强滤波和弱滤波的哪个应当应用于其中开启滤波的区域;(4)当应用弱滤波的时候,确定附加滤波的开启/关闭,其中附加滤波的开启/关闭包括确定对于如上所述的每个特定的采样的滤波的开启/关闭;和(5)对在当前图片中的下一个编译块(包括LCU)重复执行以上提及的步骤,其中对在该图片中的所有水平边缘执行去块滤波处理。
图4是示意地图示根据本发明的去块滤波的细节的示意图。参考图4,以编译块(例如,LCU)为单位,在编译块的边缘上执行去块滤波(401)。如上所述,在整个当前图片上执行对于垂直边缘的去块滤波(水平滤波),然后在整个当前图片上执行对于水平边缘的去块滤波(垂直滤波)。
图5是示意地图示bS计算方法示例的流程图。
为了解释便利的目的,在本说明书中,在去块滤波中的当前块由Q表示,并且相邻于当前块并且比当前块更早编码/解码的块由P表示。例如,当在垂直边缘上执行去块滤波的时候,垂直边缘的左块由P表示,并且其右块由Q表示。当在水平边缘上执行去块滤波的时候,水平边缘的顶块由P表示,并且其底块由Q表示。
参考图5,为了确定bS,确定P和/或Q是否被帧内编译(S510)。
当P和/或Q被帧内编译的时候,确定在P和Q之间的边界是否是CU的边界(S520)。此时,CU的边界可以是LCU的边界。
当在步骤S520中确定在P和Q之间的边界是CU的边界的时候,在P和Q之间的边界的bS值被确定为4(S530)。
当在步骤S520中确定在P和Q之间的边界不是CU的边界的时候,在P和Q之间的边界的bS值被确定为3(S540)。
当P和/或Q没有被帧内编译的时候,确定P和/或Q是否包括除0以外的系数(变换系数)(S550)。此时,滤波器模块能够基于尚未去量化的变换系数确定是否存在除0以外的变换系数。滤波器模块可以基于已经去量化的变换系数确定是否存在除0以外的变换系数。
当在步骤S550中确定P和/或Q包括系数(除0以外的变换系数)的时候,在P和Q之间的边界的bS值被确定为2(S560)。
当在步骤S550中确定P和/或Q不包括系数(除0以外的变换系数)的时候,确定是P和Q否具有不同的参考图片或者不同的运动矢量(S570)。
当在步骤S570中确定P和Q具有不同的参考图片或者不同的运动矢量的时候,在P和Q之间的边界的bS值被确定为1(S580)。
否则,也就是说,当不应当执行去块滤波的时候,在P和Q之间的边界的bS值被被设置为0(S590)。在图5中,以上提及的条件根本不满足的情形被示出为不应用bS的示例。
另一方面,对于去块滤波所必需的系数的值可以取决于bS值设置。
在图5中示出的参数TC偏移能够作为一个示例提及。TC偏移是由用户设置,以便确定对于图像特征优化的TC值的参数。TC是用于通过量化对应于量化度的块伪影确定与去块滤波相关联的参数的阈值的一个。
图5图示当bS值是0、1或者2的时候,TC偏移被设置为0,并且当bS值是3或者4的时候,TC偏移被设置为2的示例。
另一方面,为了有效地应用去块滤波,已经参考图3和5描述的用于判定bS值的单元块和判定方法可以被修改和应用。
bS值能够通过等于或者小于实际的去块滤波单元块的单元来确定。
例如,当以8×8像素为单位对亮度采样执行实际的去块滤波的时候,bS值能够以4×4像素为单位确定。以这种方法,当去块滤波单元块的大小大于bS判定单元块的大小的时候,在bS判定单元块的边界(边缘)之中仅仅对应于去块滤波单元块的边界(边缘)的边界的bS值能够被确定。换句话说,当bS通过L×L像素块(这里L是整数)确定的时候,去块滤波单元块的边界的bS值以L个像素为单位确定。
具体地,在其中确定bS的块单元是4×4像素块,并且以8×8像素块为单位执行实际的去块滤波。也就是说,对于作为去块滤波单元块的8×8像素的边界,以4个像素为单位确定bS值。因此,在作为去块滤波单元块的8×8像素块中的4×4像素块的边缘的bS值不必确定。
图6是图示当去块滤波单元块是8×8像素块,并且bS判定单元块是4×4像素块的时候,用于去块滤波的目标边界的示意图。
如图所示,在bS判定单元块的边界之中位于去块滤波单元块内部的边界的bS值可以不被确定。
为了简化bS判定处理和减少复杂度,去块滤波单元块的边界的代表性bS值可以被确定。
图7是示意地图示判定去块滤波单元块的代表性bS值的方法示例的示意图。图7示出去块滤波单元块700是8×8像素块,并且bS判定单元块是4×4像素块的示例。
参考图7,作为去块滤波单元块700的边界的垂直边缘和水平边缘,作为4×4像素块的边界(边缘)存在,该4×4像素块是在去块滤波单元块700中的bS判定单元块。
将描述垂直边缘作为示例。其bS应被确定的二个垂直边缘710和720存在于去块滤波单元块700中。在图7示出的示例中,第一垂直边缘710的bS值和第二垂直边缘720的bS值中的较大的bS值被确定作为去块滤波单元块700的垂直边缘的代表性bS值。
例如,当第一垂直边缘710的bS值是1,并且第二垂直边缘720的bS值是2的时候,第二垂直边缘720的bS值,2,能够确定为作为去块滤波单元块700的左边界的垂直边缘的代表性bS值。
在图7中,为了解释便利的目的,描述垂直边缘作为示例,但是,相同的方法可以应用于水平边缘。例如,作为去块滤波单元块700中4×4像素块的顶边界的两个边缘的bS值被作为去块滤波单元块700的顶边界推导出,并且较大的bS值能够被确定为作为去块滤波单元块700的顶边界水平边缘的代表性bS值。
当在图7示出的示例中的两个bS值相等的时候,两个bS值的任何一个可以用作代表性bS值。
为了简化bS判定过程以减少复杂度和增强去块滤波效果,可以考虑仅仅推导在去块滤波单元块的边界之中的一个边缘的bS值的方法。
图8是示意地图示在去块滤波单元块中判定代表性bS值的方法的另一个示例的示意图。图8示出去块滤波单元块800是8×8像素块,并且bS判定单元块是4×4像素块的示例。
参考图8,与在图7示出的示例不同,在去块滤波单元块800中其bS值应当被确定的两个垂直边缘810和820之中的第零个边缘810的bS值被确定。换句话说,对于每个去块单元,块仅仅第零个bS判定单元块的垂直边缘和水平边缘的bS值被确定,并且计算的bS值用作对应的去块滤波单元块的代表性bS值。例如,当去块滤波单元块是8×8像素块,并且bS判定单元块是4×4像素块的时候,四个bS判定单元块存在于去块滤波单元块中。仅仅第零个块(左上块)的垂直边缘和水平边缘的bS值能够被确定,并且能够用作去块滤波单元块的代表性bS值。
当bS值被如图8所示确定的时候,bS判定处理能够被简化,bS值能够通过对应于现有处理的1/4的处理来确定,并且用于存储bS值的存储容量能够减少1/4。
另一方面,除了考虑到bS判定单元块简化bS判定处理的方法之外,bS判定处理可以考虑到在图5中示出的bS判定过程(bS判定树)而被简化。甚至当bS值如在图5中示出的示例被细分成0至4时,去块滤波处理可以不使用分割的bS值。例如,可以确定是否满足bS>0,满足bS>1,或者满足bS>2。
因此,在图5中示出的bS判定树可以被进一步简化以执行去块滤波。
图9是示意地图示bS判定方法的另一个示例的流程图。
参考图9,确定P和/或Q是否被帧内编译(S910)。
当P和/或Q被帧内编译的时候,确定在P和Q之间的边界是否被确定为bS3(S920)。
当不是P和/或Q被帧内编译情形的时候,确定P和/或Q是否包括系数(除0以外的变换系数)(S930)。此时,变换系数可以是尚未去量化的变换系数,或者可以是已经去量化的变换系数。
当在步骤S930中确定P和/或Q包括系数(除0以外的变换系数)的时候,在P和Q之间的边界的bS值被确定为bS2(S940)。
当在步骤S930中确定的情形不是P和/或Q包括系数(除0以外的变换系数)情形的时候,确定P和Q是否具有不同的参考图片或者不同的运动矢量(S950)。
当在步骤S950中确定P和Q具有不同的参考图片或者不同的运动矢量的时候,在P和Q之间的边界的bS值被确定为bS1(S960)。
换句话说,也就是说,当不应当执行去块滤波的时候,在P和Q之间的边界的bS值被设置为bS0(S970)。
在这里,在步骤S920、S940、S960和S970中确定的bS值由bS3、bS2、bS1和bS0表示,这意图是用于解释便利的目的。当考虑在图9示出的示例中bS值被分类为四个类型的时候,值bS0至bS3能够如图9所示被设置为bS0=0、bS1=1、bS2=2,和bS3=3/4(3和4)。在图9示出的示例中,在步骤S920中bS3被确定为是3/4(3和4),这意图是容易地理解,在图5示出的示例中3和4的bS值在图9示出的示例中被确定为单个值(例如,3)的bS3。
为去块滤波所必需的参数的值可以使用bS判定树来设置。图9示出TC偏移对于最大的bS值被设置为特定的值(例如,2),并且对于其它的bS值被设置为0的示例。
除在图9的示例中描述的之外,可以考虑进一步降低判定支路数目的方法。在这种情况下,bS值的数目能够被降低为三个(bS0、bS1和bS2),而不是如在图9中的四个(bS0、bS1、bS2和bS3)以执行去块滤波。
在这种情况下,当P和/或Q被帧内编译的时候,bS值被确定为是最大的bS2,当除bS2的情形之外还能够应用去块滤波的时候,bS值被确定为bS1,并且当不能应用去块滤波的时候,bS值被确定为bS0。考虑到三个bS值的推导,bS0、bS1和bS2的值能够被设置为bS0=0、bS1=1和bS2=2。
图10是示意地图示将bS值设置为如上所述的三个值的任何一个的方法的流程图。
参考图10,确定P和/或Q是否被帧内编译(S1110)。
当P和/或Q被帧内编译的时候,在P和Q之间的边界的bS被确定为bS2(S1020)。bS2对应于在图5的示例中bS值是3和4(bS=3/4)的情形。由于三个bS值的最大的值是bS2,所以值bS2例如能够被设置为2。
当不是P和/或Q被帧内编译情形的时候,确定P和Q是否包括除0以外的系数(变换系数),P和Q是否具有不同的参考图片,或者P和Q是否具有不同的运动矢量等等(S1030)。此时,变换系数可以是尚未去量化的变换系数,或者可以是已经去量化的变换系数。
当在步骤S1030中确定P和Q包括除0以外的系数(变换系数),P和Q具有不同的参考图片,或者P和Q具有不同的运动矢量的时候,在P和Q之间的边界的bS被设置为bS1(S1040)。当P和Q没有被帧内编译,并且应用去块滤波器的时候,bS1的值是bS值,并且对应于在图5示出的示例中bS值是1和2(bS=1/2)的情形。由于三个bS值的中间值是bS1,所以bS1的值例如能够被设置为1。
否则,也就是说,当不执行去块滤波的时候,bS值被设置为bS0(S1050)。当不应用去块滤波器的时候,bS0的值是bS值,并且对应于在图5示出的示例中bS值是0(bS=0)的情形。由于三个bS值的最小的值是bS0,所以bS0的值例如能够被设置为0。
为去块滤波所必需的参数的值可以使用bS判定树设置。图10示出TC偏移对于最大的bS值被设置为特定的值(例如,2),并且对于其它的bS值被设置为0的示例。
另一方面,基于块的运动补偿是用于在块边界中导致分块伪影的一个主要的理由。为了克服这个问题,能够使用OBMC(重叠的块运动补偿)。
当使用OBMC的时候,以上提及的bS判定过程需要被修改以适合于OBMC。例如,当运动信息在块之间变化的时候,分块伪影可能增加。因此,运动信息的相似性能够说是用于将0和1确定为bS值的一个参考。但是,当使用OBMC技术的时候,在其上执行运动补偿的区域的边界处的分块伪影被降低。因此,不必要的去块滤波能够被降低,但是,考虑到这一点bS判定处理(bS判定树)需要被修改。
图11是示意地图示作为在应用OBMC的时候应用的bS判定树的示例的bS判定方法的流程图。
参考图11,首先确定P和/或Q是否被帧内编译(S1100)。
当P和/或Q被帧内编译的时候,确定Q的边界,也就是说,在P和Q之间的边界是否是编译块的边界(S1110)。此时,编译块包括CU和LCU。
当在步骤S1110中确定在P和Q之间的边界是编译块的边界的时候,在P和Q之间的边界的bS值被确定为bS4(S1120)。
当在步骤S1110中确定在P和Q之间的边界不是编译块的边界的时候,在P和Q之间的边界的bS值被确定为bS3(S1130)。
当在步骤S1100中确定P和Q没有被帧内编译的时候,确定P和Q是否存在于单个编译块(例如,CU)中的长方形或者不对称的分区内部(S1140)。
当在步骤S1140中确定P和Q不存在于单个编译块(例如,CU)中的长方形或者不对称分区内部的时候,确定P和/或Q是否包括系数(除0以外的变换系数)(S1150)。此时,变换系数可以是尚未去量化的变换系数,或者可以是已经去量化的变换系数。
当在步骤S1150中确定P和/或Q包括系数(除0以外的变换系数)的时候,在P和Q之间的边界的bS被确定为bS2(S1160)。
当在步骤S1150中确定P和/或Q不包括系数(除0以外的变换系数)的时候,确定P和Q是否具有不同的参考图片或者不同的运动矢量(S1170)。
当在步骤1170中确定P和Q具有不同的参考图片或者运动矢量的时候,在P和Q之间的边界的bS被确定为bS1(S1180)。
否则,也就是说,当不执行去块滤波的时候,bS值被设置为bS0(S1190)。当在步骤S1140中确定P和Q不存在于单个编译块(例如,CU)中的长方形或者不对称分区内部的时候,或者当在步骤S1170中确定P和Q不具有不同的参考图片或者运动矢量的时候,bS被设置为bS0。
在图11示出的示例中,类似于bS判定方法的以上提及的示例,维持bS4>bS3>bS2>bS1>bS0的关系。因此,bS0至bS4的值能够被设置为bS4=4,bS3=3,bS2=2,bS1=1,以及bS0=0,如图所示。
类似于以上提及的示例,为去块滤波所必需的参数的值可以使用bS判定树设置。图11示出TC偏移对于最大的两个bS值被设置为特定的值(例如,2),并且对于其它的bS值被设置为0的示例。
在图11示出的示例中,当P和Q存在于单个编译块(例如,CU)中,并且存在于长方形分区(例如,预测块和PU)内部,或者存在于不对称分区(例如,预测块和PU)中的时候,在P和Q之间的边界的bS值能够被确定为0。
否则,当P和Q存在于单个编译块(例如,CU)中,并且存在于长方形分区(例如,预测块和PU)内部,或者存在于不对称分区(例如,预测块和PU)中,但是在P的运动信息和Q的运动信息之间存在大的差异的时候,在P和Q之间的边界的bS值可以被确定为1。当在P的运动信息和Q的运动信息之间存在小的差异的时候,在P和Q之间的边界的bS值可以被确定为0。
图12是示意地图示作为在应用OBMC的时候应用的bS判定树的另一个示例的bS判定方法的流程图。
参考图12,首先确定P和/或Q是否被帧内编译(S1200)。
当P和/或Q被帧内编译的时候,确定Q的边界,也就是说,在P和Q之间的边界是否是编译块的边界(S1210)。此时,编译块包括CU和LCU。
当在步骤S1210中确定在P和Q之间的边界是编译块的边界的时候,在P和Q之间的边界的bS值被确定为bS4(S1220)。
当在步骤S1230中确定在P和Q之间的边界不是编译块的边界的时候,在P和Q之间的边界的bS值被确定为bS3(S1230)。
当在步骤S1200中确定P和Q没有被帧内编译的时候,确定P和Q是否存在于单个编译块(例如,CU)中的长方形或者不对称的分区中(S1240)。
当P和Q不存在于单个编译块(例如,CU)中的长方形或者不对称分区内部的时候,确定P和/或Q是否包括系数(除0以外的变换系数)(S1250)。此时,变换系数可以是尚未去量化的变换系数,或者可以是已经去量化的变换系数。
当在步骤S1250中确定P和/或Q包括系数(除0以外的变换系数)的时候,在P和Q之间的边界的bS值被确定为bS2(S1260)。
当在步骤S1240中确定P和Q存在于单个编译块(例如,CU)中的长方形或者不对称分区内部的时候,或者当在步骤S1250中确定P和/或Q不包括系数(除0以外的变换系数)的时候,确定P和Q是否具有不同的参考图片或者运动矢量(S1270)。
当在步骤S1270中确定P和Q具有不同的参考图片或者运动矢量的时候,在P和Q之间的边界的bS值被确定为bS1(S1280)。
否则,也就是说,当不应当执行去块滤波的时候,bS值被设置为bS0(S1290)。
在图12示出的示例中,类似于bS判定方法的以上提及的示例,维持bS4>bS3>bS2>bS1>bS0的关系。因此,bS0至bS4的值能够被设置为bS4=4,bS3=3,bS2=2,bS1=1,以及bS0=0,如图所示。
如上所述,在图12示出的示例中,甚至当P和Q存在于单个编译块(例如,CU)中,并且存在在长方形分区(例如,预测块和PU)或者在不对称分区(例如,预测块和PU)内部时,在P和Q之间的边界的bS值能够被确定为bS1(例如,bS1=1)。
类似于以上提及的示例,为去块滤波所必需的参数的值可以使用bS判定树设置。图12示出TC偏移对于最大的两个bS值被设置为特定的值(例如,2),并且对于其它的bS值被设置为0的示例。
另一方面,当P和/或Q被帧内编译的时候,bS值可以不必分割。例如,如在图5、11或者12中示出的示例,假设确定在I片(帧内编译的片)中的目标边界是否是编译块(例如,CU)的边界,当确定结果是肯定的时候,bS值被确定为4,并且当确定结果是否定的时候,bS值被确定为3。在这种情况下,在所有I片中的bS值是3或者4。
在这方面,当如图10所示应用修改bS判定树以降低复杂度的方法的时候,取决于是否bS值大于0或者大于1或者2,bS值可以简单地应用。因此,3或者4的bS值可以不必区别。
图13是示意地图示判定bS值以应用去块滤波的方法示例的示意图。
参考图13,bS值被确定为应用去块滤波(S1310),基于块的滤波的开启/关闭基于确定的bS值而确定(S1320),确定是强滤波器还是弱滤波器应当应用于预先确定的bS值(S1330),并且然后在此基础上执行滤波操作(S1340)。
在图13示出的示例中,应用去块滤波的方法与参考图3描述的方法相同或者类似。
在bS判定步骤(S1310)中,如图5、11或者12所示,当P和/或Q被帧内编译的时候,bS值可以通过确定目标边界是否是编译块的边界来确定。
图14是示意地图示判定bS值以应用去块滤波的方法的另一个示例的示意图。在图14中,与在图13示出的示例不同,当P和/或Q被帧内编译(I片)的时候,bS值不另外区别和确定。
参考图14,确定P和/或Q是否被帧内编译(I片)以便应用去块滤波(S1410)。
当P和/或Q没有被帧内编译的时候,执行如图13所示的常规bS判定步骤(S1420)。
当P和/或Q被帧内编译(I片)的时候,bS值被确定为与在图13中示出的示例不同的单个值(例如,4)(S1430)。
随后,基于块的滤波的开启/关闭基于确定的bS值被确定(S1440),确定是强滤波器还是弱滤波器应当应用于预先确定的bS值(S1450),并且然后在此基础上执行滤波操作(S1460)。
除了在图14中示出的示例之外,作为修改应用以上提及的去块滤波方法的另一个方法,使用在图7示出的示例中描述的代表性bS值的方法可以被修改以执行去块滤波。
在图7示出的示例中,当去块滤波由8×8像素块执行的时候,以4×4像素块为单位确定的两个bS值的较大的bS值用作代表性bS值。
图15是示意地图示判定代表性bS值的方法示例的流程图。
参考图15,在去块滤波单元块中的bS1和bS2的幅值被比较以选择代表性bS值(S1510)。
当在步骤S1510中确定bS1大于bS2的时候,代表性bS值被设置为bS1(S1520)。另一方面,当在步骤S1510中确定bS2大于bS1的时候,代表性bS值被设置为bS2(S1530)。
在这里,bS1和bS2可以是在去块滤波单元块中的两个垂直边缘的bS值,或者可以是两个水平边缘的bS值。在图15中示出的方法可以在去块滤波处理中对垂直边缘执行以确定垂直边缘的代表性bS值,并且然后可以在去块滤波处理中对水平边缘执行以确定水平边缘的代表性bS值。
滤波器模块能够使用确定的代表性bS值执行去块滤波。
在图15示出的示例示出较大的bS值被用作代表性bS值,如在图7示出的示例那样。另外,判定代表性bS值的方法可以改变以减少过多的去块滤波并且降低计算负荷。
图16是示意地图示判定代表性bS值的方法的另一个示例的流程图。
参考图16,在去块滤波单元块中的bS1和bS2的幅值被比较来选择代表性bS值(S1610)。
当在步骤S1610中确定bS1小于bS2的时候,代表性bS值被设置为bS1(S1620)。另一方面,当在步骤S1610中确定bS2小于bS1的时候,代表性bS值被设置为bS2(S1630)。
在这里,bS1和bS2可以是在去块滤波单元块中的两个垂直边缘的bS值,或者可以是两个水平边缘的bS值。在图16中示出的方法也可以在去块滤波处理中对垂直边缘执行以确定垂直边缘的代表性bS值,并且然后可以在去块滤波处理中对水平边缘执行以确定水平边缘的代表性bS值。
滤波器模块能够使用确定的代表性bS值执行去块滤波。
图17是示意地图示根据本发明的视频编码方法的流程图。
参考图17,在编码方法中,编码器分割输入图片,并且对当前块执行预测操作(S1710)。能够由编码器的预测模块执行对当前块的预测操作。预测模块可以对当前块执行帧内预测或者帧间预测。考虑到RDO(速率失真优化)等等,能够确定应当执行帧内预测和帧间预测的哪个。
当不应用跳跃模式的时候,预测模块产生预测信号和产生残留信号,残留信号是在原始信号和预测信号之间的差。
编码器变换和量化残留信号(S1720)。残留信号的变换能够由变换模块执行,并且变换信号(例如,变换系数)的量化能够由量化模块执行。
变换和量化的信号在经历熵编码处理之后被发送。
编码器去量化和反变换变换和量化的信号以重建当前块(S1730)。去量化和反变换的信号被添加到残留信号以重建原始信号。
编码器能够对重建的信号应用去块滤波(S1740)。重建的信号能够通过去块滤波被重建为接近于原始信号的信号。去块滤波能够由滤波器模块执行。滤波器模块可以在应用去块滤波器之后应用SAO(采样自适应偏移)。
去块滤波具体的细节与如上参考附图所述的相同。
已经对其应用去块滤波的信号可以以诸如DPB(解码图片缓存器)的方法存储,并且可以被参考用于预测其它的块或者其它的图片。
在此处已经描述了残留信号通过预测产生并且被发送,但是,当应用跳跃模式的时候,残留信号不被产生/发送。
图18是示意地图示根据本发明的视频解码方法的流程图。
参考图18,解码器对接收的比特流执行熵解码操作,并且对当前块执行预测操作(S1810)。对当前块的预测处理能够由解码器的预测模块执行。预测模块基于从编码器用信号发送的信息对当前块执行帧间预测或者帧内预测。预测模块通过预测产生当前块的预测信号(预测块)。
解码器基于当前块的预测重建当前块(S1820)。解码器通过使用去量化/反变换从编码器接收的比特流中产生残留信号(残留块),并且将预测信号(预测块)与残留信号(残留块)相加以重建重建的信号(重建块)。当应用跳跃模式的时候,残留信号不被发送,并且预测信号可以用作重建的信号。
解码器对重建的信号(重建块)执行去块滤波(S1830)。去块滤波能够由解码器的滤波器模块执行。滤波器模块对重建的块应用去块滤波以将重建块修改为更接近于原始块。
去块滤波的具体细节与如上参考附图所述的相同。
滤波器模块可以在应用去块滤波器之后基于从编码器接收的信息将SAO(采样自适应偏移)应用于重建的块。
由滤波器模块重建的信号可以以诸如DPB(解码图片缓存器)的方法存储,并且可以被参考用于预测其它的块或者其它的图片,或者可以作为重建的图像输出。
应当注意到,为了容易理解本发明的目的,图17和18被提供来示意地图示将根据本发明的去块滤波应用于编码/解码处理,并且参考附图详细描述的编码/解码处理能够与之共同地执行。
虽然已经基于包括一系列的步骤或者块的流程图描述了在以上提及的示例性系统中的方法,但是本发明不局限于步骤的顺序,并且某个步骤可以以与如上所述不同的顺序或者在上述相同的时间执行。以上提及的实施例能够包括各种示例。因此,本发明包括属于所附权利要求的所有的替换、修正和改进。
当在上面提及元件“连接到”或者“耦合到”另一元件的时候,应该理解,再一个元件可以插入在其间,以及该元件可以直接连接或者耦合到另一元件。相反地,当提及元件“直接连接到”或者“直接耦合到”另一元件的时候,应该理解,没有再一个元件插入在其间。

Claims (9)

1.一种由解码装置执行的去块滤波方法,包括步骤:
推导重建的图片中的去块滤波单元块的边界,其中所述去块滤波单元块是在其上执行去块滤波的单元块;
设置所述去块滤波单元块的边界中的目标边界的边界强度(bS),
使用在所述去块滤波单元块的边界中用于所述目标边界的两个bS对所述去块滤波单元块的边界应用去块滤波;
其中,应用去块滤波包括:
基于跨越所述目标边界的预定采样行或采样列,确定当针对所述目标边界设置的bS值大于0时是否应用所述去块滤波;
当确定应用所述去块滤波时,确定应用强滤波还是弱滤波;以及
基于所确定的强滤波或弱滤波,对与所述去块滤波单元块的边界邻接的采样进行滤波,
其中,所述去块滤波单元块对应于变换块、预测块或8×8像素块,
其中,设置了所述bS的所述目标边界的长度为4像素,
其中,分别使用一个目标边界bS,对所述去块滤波单元块的边界中对应的4像素目标边界进行滤波,并且
其中,当所述变换块和所述预测块小于所述8×8像素块时,所述去块滤波单元块对应于所述8×8像素块。
2.根据权利要求1所述的去块滤波方法,其中设置所述bS的步骤包括在面对所述目标边界作为边界的两个块的至少一个被帧内编译的情形下,将所述目标边界的bS值设置为2;在所述目标边界是去块滤波目标的情形下,并且不在以所述目标边界作为边界的两个块的至少一个被帧内编译的情形下,将所述目标边界的bS值设置为1;以及在所述目标边界不是去块滤波目标的情形下,将所述目标边界的bS值设置为0。
3.根据权利要求2所述的去块滤波方法,其中,所述bS被设置为1的情形不是以所述目标边界作为边界的两个块的至少一个被帧内编译的情形,并且包括:
以所述目标边界作为边界的两个块的至少一个包括除0以外的变换系数的情形;以及
以所述目标边界作为边界的两个块具有不同的参考图片或者不同的运动矢量的情形。
4.根据权利要求1所述的去块滤波方法,
其中,当所述目标边界为垂直边缘时,基于预定采样行来确定是否应用所述去块滤波,
其中,当所述目标边界为水平边缘时,基于预定采样列来确定是否应用所述去块滤波。
5.根据权利要求1所述的去块滤波方法,其中,所述bS是3种情形值中的一个,所述3种情形值包括0、1和2。
6.一种执行去块滤波的解码装置,包括:
滤波器模块,用于推导重建的图片中的去块滤波单元块的边界,其中所述去块滤波单元块是在其上执行去块滤波的单元块;用于设置所述去块滤波单元块的边界中的目标边界的边界强度(bS);以及使用在所述去块滤波单元块的边界中用于所述目标边界的两个bS对所述去块滤波单元块的边界应用去块滤波,
其中,为了应用所述去块滤波,所述滤波器模块执行:基于跨越所述目标边界的预定采样行或采样列,确定当针对所述目标边界设置的bS值大于0时是否应用所述去块滤波;当确定应用所述去块滤波时,确定应用强滤波还是弱滤波;以及基于所确定的强滤波或弱滤波,对与所述去块滤波单元块的边界邻接的采样进行滤波,
其中,所述去块滤波单元块对应于变换块、预测块或8×8像素块,
其中,设置了所述bS的所述目标边界的长度为4像素,
其中,分别使用一个目标边界bS,对所述去块滤波单元块的边界中对应的4像素目标边界进行滤波,并且
其中,当所述变换块和所述预测块小于所述8×8像素块时,所述去块滤波单元块对应于所述8×8像素块。
7.一种由编码装置执行的去块滤波方法,包括步骤:
推导重建的图片中的去块滤波单元块的边界,其中所述去块滤波单元块是在其上执行去块滤波的单元块;以及
设置所述去块滤波单元块的边界中的目标边界的边界强度(bS),
使用在所述去块滤波单元块的边界中用于所述目标边界的两个bS对所述去块滤波单元块的边界应用去块滤波;
其中,应用去块滤波包括:
基于跨越所述目标边界的预定采样行或采样列,确定当针对所述目标边界设置的bS值大于0时是否应用所述去块滤波;
当确定应用所述去块滤波时,确定应用强滤波还是弱滤波;以及
基于所确定的强滤波或弱滤波,对与所述去块滤波单元块的边界邻接的采样进行滤波,
其中,所述去块滤波单元块对应于变换块、预测块或8×8像素块,
其中,设置了所述bS的所述目标边界的长度为4像素,
其中,分别使用一个目标边界bS,对所述去块滤波单元块的边界中对应的4像素目标边界进行滤波,并且
其中,当所述变换块和所述预测块小于所述8×8像素块时,所述去块滤波单元块对应于所述8×8像素块。
8.根据权利要求7所述的去块滤波方法,其中,所述bS是3种情形值中的一个,所述3种情形值包括0、1和2。
9.一种执行去块滤波的编码装置,包括:
滤波器模块,用于推导重建的图片中的去块滤波单元块的边界,其中所述去块滤波单元块是在其上执行去块滤波的单元块;用于设置所述去块滤波单元块的边界中的目标边界的边界强度(bS);以及使用在所述去块滤波单元块的边界中用于所述目标边界的两个bS对所述去块滤波单元块的边界应用去块滤波,
其中,为了对所述目标边界应用所述去块滤波,所述滤波器模块执行:基于跨越所述目标边界的预定采样行或采样列,确定当针对所述目标边界设置的bS值大于0时是否应用所述去块滤波;当确定应用所述去块滤波时,确定应用强滤波还是弱滤波;以及基于所确定的强滤波或弱滤波,对与所述去块滤波单元块的边界邻接的采样进行滤波,
其中,所述去块滤波单元块对应于变换块、预测块或8×8像素块,
其中,设置了所述bS的所述目标边界的长度为4像素,
其中,分别使用一个目标边界bS,对所述去块滤波单元块的边界中对应的4像素目标边界进行滤波,并且
其中,当所述变换块和所述预测块小于所述8×8像素块时,所述去块滤波单元块对应于所述8×8像素块。
CN201810743897.5A 2011-09-20 2012-09-18 用于编码/解码图像信息的方法和装置 Active CN108989803B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161537029P 2011-09-20 2011-09-20
US61/537,029 2011-09-20
US201161545594P 2011-10-11 2011-10-11
US61/545,594 2011-10-11
CN201280055187.4A CN103947203B (zh) 2011-09-20 2012-09-18 用于编码/解码图像信息的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280055187.4A Division CN103947203B (zh) 2011-09-20 2012-09-18 用于编码/解码图像信息的方法和装置

Publications (2)

Publication Number Publication Date
CN108989803A CN108989803A (zh) 2018-12-11
CN108989803B true CN108989803B (zh) 2021-05-28

Family

ID=47914614

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201280055187.4A Active CN103947203B (zh) 2011-09-20 2012-09-18 用于编码/解码图像信息的方法和装置
CN201810743871.0A Active CN108989806B (zh) 2011-09-20 2012-09-18 用于编码/解码图像信息的方法和装置
CN201810743691.2A Active CN108696752B (zh) 2011-09-20 2012-09-18 用于编码/解码图像信息的方法和装置
CN201810743897.5A Active CN108989803B (zh) 2011-09-20 2012-09-18 用于编码/解码图像信息的方法和装置
CN201810744566.3A Active CN108696753B (zh) 2011-09-20 2012-09-18 用于编码/解码图像信息的方法和装置

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201280055187.4A Active CN103947203B (zh) 2011-09-20 2012-09-18 用于编码/解码图像信息的方法和装置
CN201810743871.0A Active CN108989806B (zh) 2011-09-20 2012-09-18 用于编码/解码图像信息的方法和装置
CN201810743691.2A Active CN108696752B (zh) 2011-09-20 2012-09-18 用于编码/解码图像信息的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810744566.3A Active CN108696753B (zh) 2011-09-20 2012-09-18 用于编码/解码图像信息的方法和装置

Country Status (5)

Country Link
US (7) US8971419B2 (zh)
EP (1) EP2750385A4 (zh)
KR (7) KR102219231B1 (zh)
CN (5) CN103947203B (zh)
WO (1) WO2013042923A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8625914B2 (en) 2013-02-04 2014-01-07 Sony Corporation Image processing system, image processing method and program
KR102219231B1 (ko) * 2011-09-20 2021-02-23 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
CA2844761C (en) 2011-10-31 2016-11-29 Mediatek Singapore Pte. Ltd. Method and apparatus of deblocking filter with simplified boundary strength decision
KR102350071B1 (ko) * 2011-11-04 2022-01-11 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
US9565451B1 (en) * 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
WO2016200115A1 (ko) * 2015-06-07 2016-12-15 엘지전자(주) 디블록킹 필터링을 수행하는 방법 및 장치
CN115134608A (zh) * 2015-06-11 2022-09-30 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
US11695958B2 (en) * 2016-02-01 2023-07-04 Lg Electronics Inc. Method and apparatus for encoding/decoding video signal by using edge-adaptive graph-based transform
WO2017175898A1 (ko) * 2016-04-07 2017-10-12 엘지전자(주) 인트라 예측 필터링을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
KR20230054495A (ko) * 2016-12-28 2023-04-24 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
CN107181953B (zh) * 2017-03-31 2019-09-17 北京奇艺世纪科技有限公司 一种边界滤波强度的确定方法及装置
KR20230079466A (ko) * 2017-04-11 2023-06-07 브이아이디 스케일, 인크. 면 연속성을 사용하는 360 도 비디오 코딩
US10645408B2 (en) * 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
CN112119639B (zh) 2018-03-29 2024-03-12 艾锐势有限责任公司 用于对hdr内容进行去方块的系统和方法
JP7294322B2 (ja) * 2018-03-29 2023-06-20 ソニーグループ株式会社 画像処理装置、及び画像処理方法
CN110675401B (zh) * 2018-07-02 2023-07-11 浙江大学 一种全景图像像素块滤波方法及装置
WO2020073904A1 (en) * 2018-10-08 2020-04-16 Huawei Technologies Co., Ltd. An image processing device and method for performing deblocking
NZ777166A (en) * 2018-12-07 2022-11-25 Huawei Tech Co Ltd An encoder, a decoder and corresponding methods of boundary strength derivation of deblocking filter
CN117676169A (zh) * 2019-01-02 2024-03-08 Lg 电子株式会社 使用去块滤波的图像编译方法和装置
JP7351908B2 (ja) 2019-01-17 2023-09-27 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応するブロック解除フィルタ適応の方法
US11418811B2 (en) 2019-03-12 2022-08-16 Apple Inc. Method for encoding/decoding image signal, and device therefor
CN109905709B (zh) * 2019-03-21 2021-05-07 南京威翔科技有限公司 一种基于流水线重组方式的去方块滤波方法
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
US11432015B2 (en) * 2019-07-11 2022-08-30 Qualcomm Incorporated Adaptive loop filtering across raster-scan slices
WO2021015513A1 (ko) * 2019-07-19 2021-01-28 엘지전자 주식회사 필터링을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN114270848A (zh) 2019-08-23 2022-04-01 北京字节跳动网络技术有限公司 在去方块滤波中使用边界强度
WO2021194155A1 (ko) * 2020-03-25 2021-09-30 엘지전자 주식회사 경계 강도를 결정하여 디블록킹 필터링을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101106713A (zh) * 2007-07-27 2008-01-16 武汉大学 一种快速计算h.264视频标准中去块滤波边界强度值的方法
JP2009246432A (ja) * 2008-03-28 2009-10-22 Toshiba Corp 動画像復号化装置および動画像復号化方法
EP2323404A1 (en) * 2009-11-17 2011-05-18 Research In Motion Limited Additional information for in-loop video deblocking

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US6931063B2 (en) 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
US7551793B2 (en) * 2004-01-14 2009-06-23 Samsung Electronics Co., Ltd. Methods and apparatuses for adaptive loop filtering for reducing blocking artifacts
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US8638862B2 (en) 2005-03-18 2014-01-28 Sharp Laboratories Of America, Inc. Methods and systems for upsampling filter design
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US8175168B2 (en) 2005-03-18 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for picture up-sampling
US7953161B2 (en) * 2005-04-27 2011-05-31 Broadcom Corporation System and method for overlap transforming and deblocking
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
KR100819289B1 (ko) * 2006-10-20 2008-04-02 삼성전자주식회사 영상 데이터의 디블록킹 필터링 방법 및 디블록킹 필터
US20080193024A1 (en) * 2007-02-14 2008-08-14 Samsung Electronics Co., Ltd. Apparatus and method for deblock filtering in a digital moving picture processing system
US8204129B2 (en) * 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
US20080298472A1 (en) * 2007-06-04 2008-12-04 Texas Instruments Incorporated Throughput Performance When Applying Deblocking Filters On Reconstructed Image Frames
CN101321277A (zh) * 2007-06-09 2008-12-10 华为技术有限公司 去块效应的方法及装置
KR100968027B1 (ko) * 2007-06-27 2010-07-07 티유미디어 주식회사 가변블록 기반의 디블록킹 필터링 방법 및 장치와, 이에적용되는 디블록킹 필터
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength
CN101472173B (zh) * 2007-12-29 2012-07-25 安凯(广州)微电子技术有限公司 一种去块滤波方法、系统及去块滤波器
US20090245351A1 (en) 2008-03-28 2009-10-01 Kabushiki Kaisha Toshiba Moving picture decoding apparatus and moving picture decoding method
US8995559B2 (en) * 2008-03-28 2015-03-31 Qualcomm Incorporated Signaling message transmission in a wireless communication network
EP2263381A1 (en) * 2008-04-11 2010-12-22 Thomson Licensing Deblocking filtering for displaced intra prediction and template matching
CN101754010A (zh) * 2008-12-18 2010-06-23 北京中星微电子有限公司 视频数据编码的环路滤波方法和滤波器
TWI413415B (zh) * 2009-06-17 2013-10-21 Novatek Microelectronics Corp 以h264解方塊為基礎的多源過濾器以及多源過濾方法
CN101651829A (zh) * 2009-06-29 2010-02-17 北京中星微电子有限公司 一种环路滤波的方法、装置及一种移动多媒体终端芯片
KR20110014000A (ko) 2009-08-04 2011-02-10 광운대학교 산학협력단 영상 데이터의 디블록킹 필터링 장치 및 방법과 이를 이용한 영상 복호화 장치 및 방법
KR101051871B1 (ko) * 2009-08-24 2011-07-25 성균관대학교산학협력단 디블록킹 필터에서의 경계면 세기 계수 판단 장치 및 방법
CN102098501B (zh) * 2009-12-09 2013-05-08 中兴通讯股份有限公司 一种视频图像去块效应的方法和装置
US9185430B2 (en) * 2010-03-15 2015-11-10 Mediatek Singapore Pte. Ltd. Deblocking filtering method and deblocking filter
US8805100B2 (en) * 2010-06-03 2014-08-12 Sharp Kabushiki Kaisha Filter device, image decoding device, image encoding device, and filter parameter data structure
US10070152B2 (en) * 2011-08-24 2018-09-04 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
KR102219231B1 (ko) * 2011-09-20 2021-02-23 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
KR102350071B1 (ko) * 2011-11-04 2022-01-11 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
WO2013108689A1 (ja) * 2012-01-19 2013-07-25 ソニー株式会社 画像処理装置および方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101106713A (zh) * 2007-07-27 2008-01-16 武汉大学 一种快速计算h.264视频标准中去块滤波边界强度值的方法
JP2009246432A (ja) * 2008-03-28 2009-10-22 Toshiba Corp 動画像復号化装置および動画像復号化方法
EP2323404A1 (en) * 2009-11-17 2011-05-18 Research In Motion Limited Additional information for in-loop video deblocking

Also Published As

Publication number Publication date
CN108989806B (zh) 2021-07-27
KR102590030B1 (ko) 2023-10-17
KR20200090972A (ko) 2020-07-29
CN108696753B (zh) 2021-07-27
US20180242022A1 (en) 2018-08-23
US10298962B2 (en) 2019-05-21
CN103947203B (zh) 2018-08-07
US20220038694A1 (en) 2022-02-03
KR20220057643A (ko) 2022-05-09
KR102219231B1 (ko) 2021-02-23
US20150156516A1 (en) 2015-06-04
KR20190130677A (ko) 2019-11-22
KR20230003458A (ko) 2023-01-05
KR102392019B1 (ko) 2022-04-28
KR20210119556A (ko) 2021-10-05
US20190246145A1 (en) 2019-08-08
KR102047491B1 (ko) 2019-11-21
US9986263B2 (en) 2018-05-29
EP2750385A4 (en) 2015-11-25
CN108696752B (zh) 2021-07-27
CN108989803A (zh) 2018-12-11
US20200260121A1 (en) 2020-08-13
CN108696752A (zh) 2018-10-23
KR102138260B1 (ko) 2020-07-28
KR20140071437A (ko) 2014-06-11
US20150156489A1 (en) 2015-06-04
US20140204999A1 (en) 2014-07-24
CN108696753A (zh) 2018-10-23
US11172234B2 (en) 2021-11-09
KR102305587B1 (ko) 2021-09-28
US9264739B2 (en) 2016-02-16
US10666983B2 (en) 2020-05-26
CN108989806A (zh) 2018-12-11
EP2750385A1 (en) 2014-07-02
KR102482777B1 (ko) 2022-12-29
US8971419B2 (en) 2015-03-03
KR20210021139A (ko) 2021-02-24
CN103947203A (zh) 2014-07-23
WO2013042923A1 (ko) 2013-03-28

Similar Documents

Publication Publication Date Title
CN108989803B (zh) 用于编码/解码图像信息的方法和装置
JP7234322B2 (ja) 映像情報符号化/復号方法及び装置
WO2013077714A1 (ko) 영상 정보 인코딩/디코딩 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant