CN118042164A - 滤波方法、设备及存储介质 - Google Patents
滤波方法、设备及存储介质 Download PDFInfo
- Publication number
- CN118042164A CN118042164A CN202211426315.3A CN202211426315A CN118042164A CN 118042164 A CN118042164 A CN 118042164A CN 202211426315 A CN202211426315 A CN 202211426315A CN 118042164 A CN118042164 A CN 118042164A
- Authority
- CN
- China
- Prior art keywords
- filtering
- sample
- samples
- authority
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 573
- 238000000034 method Methods 0.000 title claims abstract description 133
- 239000000523 sample Substances 0.000 claims description 240
- 239000013074 reference sample Substances 0.000 claims description 102
- 230000008569 process Effects 0.000 claims description 42
- 230000003044 adaptive effect Effects 0.000 claims description 37
- 238000005070 sampling Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 4
- 239000010749 BS 2869 Class C1 Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 239000010750 BS 2869 Class C2 Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种滤波方法、设备及存储介质,属于图像处理技术领域。本发明通过确定当前滤波单元对应的滤波策略和所处的权限区域;根据所述权限区域的权限等级确定所述当前滤波单元内样本的权限等级;根据所述样本的权限等级对所述当前滤波单元内的样本进行分类;根据所述滤波策略和分类结果对所述当前滤波单元执行相应的滤波操作,根据滤波策略对各个权限区域内不同权限等级的样本执行不同的滤波操作,实现了对权限区域进行有约束的滤波操作,提升了图像的主客观质量。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种滤波方法、设备及存储介质。
背景技术
编码图像中的不同区域拥有不同权限,这种权限可以是一种保密等级或者其他访问权限的等级。对于拥有最高权限的用户,可以看到所有区域的正确内容。对于拥有最低权限的用户,只能看到与自身权限相等的区域的正确内容,无法看到比自身权限更高的区域的正确内容,例如,这些高权限区域呈现给低权限用户的是带马赛克的或者被遮蔽的内容。权限区域的一种应用场景是为拥有不同权限的用户呈现不同范围的正确图像,原则上,权限越高的用户所看到的正确图像范围越大,被遮蔽的图像范围越小。
现有的方案对权限区域不进行滤波,会影响图像的主客观质量。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种滤波方法、设备及存储介质,旨在解决现有技术对权限区域不进行滤波,会影响图像的主客观质量的技术问题。
为实现上述目的,本发明提供了一种滤波方法,所述滤波方法包括以下步骤:
确定当前滤波单元对应的滤波策略和所处的权限区域,所述权限区域为图像中具有权限等级的图像区域;
根据所述权限区域的权限等级确定所述当前滤波单元内样本的权限等级;
根据所述样本的权限等级对所述当前滤波单元内的样本进行分类;
根据所述滤波策略和分类结果对所述当前滤波单元执行相应的滤波操作。
可选地,所述滤波策略由从码流中解析出的标志信息确定,所述标志信息用于在序列级、图像级、Slice级、Tile级或滤波单元级传输。
可选地,所述权限区域包含至少一个滤波单元,所述当前滤波单元允许跨越多个权限区域,所述滤波单元包括至少一个样本;
所述根据所述权限区域的权限等级确定所述当前滤波单元内样本的权限等级,包括:
所述当前滤波单元内的样本的权限等级与样本所在的权限区域一致。
可选地,所述当前滤波单元为滤波过程中的基本单元且不同的滤波单元允许执行不同的滤波操作;
所述根据所述滤波策略和分类结果对所述当前滤波单元执行相应的滤波操作,包括:
对所述当前滤波单元内的第一样本不执行滤波操作,并对所述当前滤波单元内的第二样本执行滤波操作;
或,
对所述当前滤波单元内的所有样本均执行滤波操作;
或,
对所述当前滤波单元内的所有样本均不执行滤波操作。
可选地,所述第一样本为不可滤波样本,所述第二样本为可滤波样本。
可选地,所述对所述当前滤波单元内的所有样本均执行滤波操作,包括:
通过推导参考块或参考样本的信息将所述当前滤波单元内的不可滤波样本转换为可滤波样本,并对所有可滤波样本均执行滤波操作,所述推导参考块或参考样本的信息是通过所述权限区域内部及周围的可得块或可得样本推导出的,或者是通过预设信息推导出的;
其中,所述可得块或可得样本为权限低于或等于所述不可滤波样本的权限,并且已解码或已编码的块或样本。
可选地,包括以下至少一项:
将所述当前滤波单元内在滤波过程中需要使用参考块信息,且至少一个参考块不可得的样本作为不可滤波样本;
将所述当前滤波单元内在滤波过程中需要参考样本,且至少一个参考样本不可得的样本作为不可滤波样本;
将所述当前滤波单元内在滤波过程中需要参考样本,且所有参考样本都不可得的样本作为不可滤波样本;
将所述当前滤波单元内在滤波过程中需要参考样本,且在所有参考样本中不可得参考样本的占比大于或等于预设值的样本作为不可滤波样本。
可选地,所述滤波方法还包括:
根据预设滤波方式确定所述当前滤波单元内的样本在滤波过程中是否需要使用参考块信息;
通过所述样本的权限与所述参考块的权限判断所述参考块是否可得。
可选地,所述参考块是进行滤波决策和/或实施滤波操作所需要的块,所述参考块包括至少一个样本,所述参考块的权限为所述参考块内所有样本的最高权限。
可选地,所述通过所述样本的权限与所述参考块的权限判断所述参考块是否可得,包括:
若参考块的权限低于或等于所述样本的权限,且至少满足以下预设条件中的一项,则确定所述参考块可得;
所述预设条件包括:
所述参考块已解码或已编码;
所述参考块与所述样本位于同一个Slice或Tile;
所述参考块与所述样本位于不同的Slice或Tile,且允许对Slice或Tile的边界进行滤波。
可选地,所述若参考块的权限低于或等于所述样本的权限,且至少满足以下预设条件中的一项,则确定所述参考块可得之后,还包括:
通过不可得参考块周围权限低于或等于所述样本的权限的已解码块或已编码块推导参考块信息,和/或,通过预设信息推导参考块信息;
通过推导的参考块信息替换所述不可得参考块的信息,以使所述不可得参考块转换为可得参考块。
可选地,所述滤波方法还包括:
根据预设滤波方式获取所述当前滤波单元内任一样本对应的参考样本;
通过所述样本的权限与所述参考样本的权限判断所述参考样本是否可得。
可选地,所述参考样本是进行滤波决策和/或实施滤波操作所需要的样本。
可选地,所述通过所述样本的权限与所述参考样本的权限判断所述参考样本是否可得,包括:
若参考样本的权限低于或等于所述样本的权限,且至少满足以下预设条件中的一项,则确定所述参考样本可得;
所述预设条件包括:
所述参考样本已解码或已编码;
所述参考样本与所述样本位于同一个Slice或Tile;
所述参考样本与所述样本位于不同的Slice或Tile,且允许对Slice或Tile的边界进行滤波。
可选地,所述若参考样本的权限低于或等于所述样本的权限,且至少满足以下预设条件中的一项,则确定所述参考样本可得之后,还包括:
通过不可得参考样本周围权限低于或等于所述样本的权限的已解码样本或已编码样本推导参考样本信息,和/或通过预设信息推导参考样本信息;
通过推导的参考样本信息替换所述不可得参考样本的信息,以使所述不可得参考样本转换为可得参考样本。
可选地,所述预设滤波方式包括以下至少一项:
去块滤波;
样点自适应补偿;
增强样点自适应补偿;
跨分量样点自适应补偿;
自适应环路滤波。
此外,为实现上述目的,本发明还提出一种滤波设备,所述滤波设备包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行的滤波程序,所述滤波程序配置为实现如上文所述的滤波方法。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有滤波程序,所述滤波程序被处理器执行时实现如上文所述的滤波方法。
此外,为实现上述目的,本发明还提出一种滤波装置,所述滤波装置包括:
获取模块,用于确定当前滤波单元对应的滤波策略和所处的权限区域,所述权限区域为图像中具有权限等级的图像区域;
识别模块,用于根据所述权限区域的权限等级确定所述当前滤波单元内样本的权限等级;
分类模块,用于根据所述样本的权限等级对所述当前滤波单元内的样本进行分类;
滤波模块,用于根据所述滤波策略和分类结果对所述当前滤波单元执行相应的滤波操作。
本发明通过确定当前滤波单元对应的滤波策略和所处的权限区域;根据所述权限区域的权限等级确定所述当前滤波单元内样本的权限等级;根据所述样本的权限等级对所述当前滤波单元内的样本进行分类;根据所述滤波策略和分类结果对所述当前滤波单元执行相应的滤波操作,根据滤波策略对各个权限区域内不同权限等级的样本执行不同的滤波操作,实现了对权限区域进行有约束的滤波操作,提升了图像的主客观质量。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的滤波设备的结构示意图;
图2为本发明滤波方法第一实施例的流程示意图;
图3为本发明滤波方法一实施例中视频编码框架结构示意图;
图4为本发明滤波方法第二实施例的流程示意图;
图5为本发明滤波方法一实施例中去块滤波方式的参考样本示意图;
图6为本发明滤波方法一实施例中去块滤波方式对应的垂直边界和水平边界的示意图;
图7为本发明滤波方法一实施例中样点自适应补偿方式的一种参考样本示意图;
图8为本发明滤波方法一实施例中样点自适应补偿方式的一种参考块示意图;
图9为本发明滤波方法一实施例中增强样点自适应补偿方式的参考样本示意图;
图10为本发明滤波方法一实施例中跨分量样点自适应补偿方式的参考样本示意图;
图11为本发明滤波方法一实施例中自适应环路滤波方式的一种参考样本示意图;
图12为本发明滤波方法一实施例中自适应环路滤波方式的另一种参考样本示意图;
图13为本发明滤波方法第三实施例的流程示意图;
图14为本发明滤波装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的滤波设备结构示意图。
如图1所示,该滤波设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对滤波设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及滤波程序。
在图1所示的滤波设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明滤波设备中的处理器1001、存储器1005可以设置在滤波设备中,所述滤波设备通过处理器1001调用存储器1005中存储的滤波程序,并执行本发明实施例提供的滤波方法。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的,或意味着任一个或任何组合。例如,“包括以下至少一个:A、B、C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”,再如,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
应该理解的是,虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
需要说明的是,在本文中,采用了诸如S10、S20等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行S20后执行S10等,但这些均应在本申请的保护范围之内。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本发明实施例提供了一种滤波方法,参照图2,图2为本发明一种滤波方法第一实施例的流程示意图,该滤波方法可以适用于处理视频数据的解码方法流程中,也可以适用于处理视频数据的编码方法流程中。
本实施例中,所述滤波方法包括以下步骤:
步骤S10:确定当前滤波单元对应的滤波策略和所处的权限区域,所述权限区域为图像中具有权限等级的图像区域。
本实施例的执行主体可为滤波设备,滤波设备可以以各种形式来实施。例如本申请中描述的滤波设备可以包括诸如平板电脑、笔记本电脑、掌上电脑、摄像机、等移动终端或智能终端,以及诸如台式计算机等固定终端设备,这些设备均具备图像处理的功能,后续描述中将以滤波设备为例进行说明。
参照图3,其为一种视频编码框架,该视频编码框架包括预测、变换、量化、熵编码和滤波等模块,其中:预测模块包括帧内预测和帧间预测,帧内预测是利用当前块周围的重建像素进行预测,去除空间冗余;帧间预测是利用时域参考帧上的重建像素进行预测,去除时间冗余。变换模块是将空域的残差信息线性映射到变换域(如频域)上,目标是使能量更集中,去除信号的频域相关性。理论上的变换矩阵是可逆的,不会带来信号损失。量化模块是一个“多对一”的映射过程,不可逆,会带来信号损失;好处是能够大幅度缩减信号的取值范围,使得编码器能够用少量的符号给出原始信号的很好的近似,从而提高压缩率。熵编码模块是基于信息熵原理的无损编码方式,把一系列用来表示视频序列的元素符号(如变换系数和模式信息等)转变为一个二进制码流,去除这些视频元素符号的统计冗余。滤波模块会对重建图像进行增强,目标是使重建图像更接近原始图像,同时削减块效应和振铃效应的影响,提升重建图像的质量。
在一种可选的实施例中,本实施例中滤波操作针对的是编码图像的滤波操作,而码图像中的不同区域拥有不同权限,这种权限可以是一种保密等级或者其他访问权限的等级。对于拥有最高权限的用户,可以看到所有区域的正确内容。对于拥有最低权限的用户,只能看到与自身权限相等的区域的正确内容,无法看到比自身权限更高的区域的正确内容,例如,这些高权限区域呈现给低权限用户的是带马赛克的或者被遮蔽的内容。权限区域的一种应用场景是为拥有不同权限的用户呈现不同范围的正确图像,权限越高的用户所看到的正确图像范围越大,被遮蔽的图像范围越小。
但是目前的滤波方式对权限区域内的样本不进行滤波,会极大影响图像的主客观质量。本实施例中为了解决上述技术问题,根据滤波操作以及权限区域的权限等级,对不同权限等级的权限区域进行有约束的滤波操作,例如对于高权限区域的滤波不做限制,因为周围的参考样本信息都可获取;对于低权限区域的滤波,若参考样本不可得(例如参考样本位于高权限区域),则要进行有约束的滤波操作。
本实施例中在对图像进行滤波时,是以滤波单元作为滤波过程中的基本单元进行滤波的,在进行滤波时,可以对每一个滤波单元进行依次滤波操作,也可以对多个滤波单元同时进行滤波操作,每一个滤波单元对应于图像中的一个图像子区域。而相对的,权限区域则是具有权限等级的图像区域,针对单个图像来说,该图像具有多个滤波单元,同时也具有多个权限区域,滤波单元的数量与权限区域的数量之间并不具有对应的关系。一个权限区域内可以包含多个滤波单元,例如权限区域X内可以包含一个滤波单元A,也可以同时包含两个滤波单元A和B。进一步地,一个滤波单元也可以处于多个不同的权限区域内,例如滤波单元C可以处于权限区域X内,也可以同时跨权限区域X和Y。
滤波单元在水平和垂直方向将图像划分成多个图像区域,本实施例中还可以将图像按照色度和亮度划分为色度分量以及亮度分量,这两个分量中所包含的滤波单元是对应的。一个滤波单元可以包含上述两个分量,一个分量也可以包含多个滤波单元,本实施例中以滤波单元为例对整个图像的滤波过程进行说明。本实施例中单个图像所划分的滤波单元的数量和大小以及权限区域的数量以及大小可以根据实际图像处理需求进行相应地设置,本实施例中对此不加以限制。
在一种可选的实施例中,在对滤波单元进行滤波操作时,是按照对应的滤波策略执行的,而每一个滤波单元可以允许执行不同的滤波策略,以当前滤波单元为例,也即当前滤波单元所执行的滤波策略可以与其他滤波单元的滤波策略相同,也可以与其他滤波单元的滤波策略不同。本实施例中滤波策略是由标志信息所决定的,标志信息可以在序列级(或为SPS级)、或图像级(或为PPS级或帧级)、或Slice级、或Tile级、或滤波单元级(或为CTU/CTB/LCU/LCB级)传输,该标志信息是从码流中解析出来的,基于解析出的标志信息即可确定每一个滤波单元所对应的滤波策略,所述滤波策略的级别还可以是patch级。其中,用于管理或控制若干个图像的语法可以称为序列级;用于管理或控制单帧图像的语法可以称为图像级;用于管理或控制包括若干个编码单元的并行单元(即图像区域)的语法可以称为Slice级、或Tile级、或Patch级;用于管理或控制最大编码单元的语法可以称为LCU级;用于管理或控制滤波单元的语法可以称为滤波单元级。一个滤波单元可以包括多个最大编码单元,一个最大编码单元也可以包括多个滤波单元。
步骤S20:根据所述权限区域的权限等级确定所述当前滤波单元内样本的权限等级。
在一种可选的实施例中,每一个滤波单元内都包括至少一个样本,该样本为像素的色度样本或亮度样本,滤波单元内各个样本的权限等级由滤波单元所处的权限区域的权限等级决定,权限等级可以是保密等级或者其他访问权限的等级。
由于本实施例中滤波单元可以处于一个权限区域内,也可以同时处于多个权限区域内,因此滤波单元内各个样本的权限等级并非都是相同的,本实施例中针对上述两种情况分别进行说明。针对第一种情况,也即滤波单元处于一个权限区域内时,在这种情况下,滤波单元内各个样本也全部处于该权限区域内,此时滤波单元内各个样本的权限等级与该权限区域的权限等级一致,例如当前滤波单元处于权限区域X内时,当前滤波单元所有样本的权限等级均为权限区域X所具有的权限等级。针对第二情况,也即滤波单元处于多个权限区域内时,在这种情况下,滤波单元内的样本也相应的处于不同的权限区域内,滤波单元内样本的权限与所在权限区域的权限等级一致,例如当前滤波单元同时处于权限区域X和Y内时,此时当前滤波单元内的一部分样本处于权限区域X内,另一部分样本处于权限区域Y内,处于权限区域X内的样本的权限等级为权限区域X所具有的权限等级,处于权限区域Y内的样本的权限等级为权限区域Y所具有的权限等级。
步骤S30:根据所述样本的权限等级对所述当前滤波单元内的样本进行分类。
在一种可选的实施例中,在确定当前滤波单元内各个样本的权限等级之后,本实施例中可以根据各个样本的权限等级为当前滤波单元内的所有样本进行分类,本实施例中针对各个样本的权限等级可以将当前滤波单元内的所有样本划分成第一样本和第二样本,本实施例中针对当前滤波单元内的样本进行分类的具体过程可以按照如下方式实现。
本实施例中提供一种实现方式,具体为根据各个样本的权限等级可以确定当前滤波单元内高权限等级的样本以及低权限等级的样本,根据样本权限等级的高低对当前滤波单元内的所有样本进行分类,可选地,可以将高权限等级的样本作为第一样本,将低权限等级的样本作为第二样本。
本实施例中进一步提供另一种实现方式,具体为当前滤波单元内在滤波过程中需要使用参考块信息,并且将样本的权限等级判断参考块的权限等级进行比较,基于比较结果对当前滤波单元内的所有样本进行分类,可选地,可以将权限等级低于或等于参考块的权限等级的样本作为第一样本,将权限等级高于参考块的权限等级的样本作为第二样本。
本实施例中进一步提供另一种实现方式,具体为当前滤波单元内在滤波过程中需要参考样本,并将样本的权限等级判断参考样本的权限等级进行比较,基于比较结果对当前滤波单元内的所有样本进行分类,可选地,可以将权限等级低于或等于参考样本的权限等级的样本作为第一样本,将权限等级高于参考样本的权限等级的样本作为第二样本。
上述方式仅为举例说明,实际滤波过程中还可以选择上述方式之外的其他方式,本实施例中对此不加以限制。
在一种可选的实施例中,第一样本可为不可滤波样本,第二样本可为可滤波样本。
步骤S40:根据所述滤波策略和分类结果对所述当前滤波单元执行相应的滤波操作。
在一种可选的实施例中,本实施例中针对各个样本的权限等级可以将当前滤波单元内的所有样本划分成可滤波样本和不可滤波样本,其中,可滤波样本为可以直接进行滤波操作的样本,不可滤波样本为无法直接进行滤波操作的样本。
在一种可选的实施例中,码流中解析出的标志信息用于确定当前滤波单元所对应的滤波策略,权限等级用于对当前滤波单元内的样本进行分类,由于滤波单元内样本分类情况的不同,即使两个滤波单元具有相同的滤波策略,最后在执行滤波操作之后的结果也可能是不同的。例如假设滤波策略为部分滤波,部分滤波策略为对滤波单元内的第一样本(也即不可滤波样本)不执行滤波操作,对滤波单元内的第二样本(也即可滤波样本)执行滤波操作,由于滤波单元内样本分类情况的不同,导致每一个滤波单元内的第一样本以及第二样本的数量也不同,因此最终滤波结果也是不同的。
在一种可选的实施例中,滤波策略至少包括全滤波、部分滤波以及全不滤波三种方式,基于样本的分类结果可以确定当前滤波单元的样本至少包括存在至少一个不可滤波样本和/或存在至少一个可滤波样本的情况。其中,全滤波为当存在至少一个可滤波样本时,对当前滤波单元内的所有样本均进行滤波操作,部分滤波为对当前滤波单元内的不可滤波样本不进行滤波操作,对可滤波样本进行滤波操作,全不滤波为当存在至少一个不可滤波样本时,对当前滤波单元的所有样本均不执行滤波操作。
在一种可选的实施例中,在对样本进行滤波操作时采取的是预设滤波方式,本实施例中的预设滤波方式包括去块滤波、样点自适应补偿、增强样点自适应补偿、跨分量样点自适应补偿以及自适应环路滤波中的至少一项,然后按照对应的方式对样本进行滤波操作即可。与现有的对权限区域内样本均不执行滤波操作不同的是,本实施例中是在预设滤波方式的基础上结合权限区域中样本的权限等级执行滤波操作,实现了对不同权限等级的权限区域进行有约束的滤波,从而提升图像的主客观质量。
本实施例通过确定当前滤波单元对应的滤波策略和所处的权限区域;根据所述权限区域的权限等级确定所述当前滤波单元内样本的权限等级;根据所述样本的权限等级对所述当前滤波单元内的样本进行分类;根据所述滤波策略和分类结果对所述当前滤波单元执行相应的滤波操作,根据滤波策略对各个权限区域内不同权限等级的样本执行不同的滤波操作,实现了对权限区域进行有约束的滤波操作,提升了图像的主客观质量。
参考图4,图4为本发明一种滤波方法第二实施例的流程示意图。
基于上述第一实施例,本实施例滤波方法中进一步包括:
步骤S301:将所述当前滤波单元内在滤波过程中需要使用参考块信息,且至少一个参考块不可得的样本作为不可滤波样本。
在一种可选的实施例中,本实施例中可以基于参考块相关的信息对当前滤波单元内的可滤波样本和不可滤波样本进行判断。具体地,针对当前滤波单元内的某一个样本来讲,首先需要判断该样本在滤波过程中需要使用参考块信息,如果需要用到参考块信息,则进一步判断是否存在至少一个参考块不可得,若同时满足上述两个条件,则可以确定该样本即为不可滤波样本。其中,参考块是进行滤波决策和/或实施滤波操作所需要的块。反之,如果不使用参考块信息;或者使用参考块信息,且所有参考块信息均可得,无法直接断定该样本是否可滤波,需要进一步根据参考样本的情况判断该样本是否可滤波。
在一种可选的实施例中,针对当前滤波单元内的样本在滤波过程中是否需要使用参考块信息本实施例中可以根据预设滤波方式确定,其中,预设滤波方式包括去块滤波、样点自适应补偿、增强样点自适应补偿、跨分量样点自适应补偿以及自适应环路滤波中的至少一项。
本实施例中先以预设滤波方式为去块滤波进行说明。参照图5,按照去块滤波方式在计算边界强度时需要用到的边界两侧的P块和Q块,去块滤波过程中会用到参考块的编码信息,包括预测方式、非零变换系数、参考图像以及运动矢量等信息,采取这种滤波方式对样本进行滤波时,样本会用到参考块信息,并且所需要用到的为P块和Q块两个参考块。
本实施例中进一步再以预设滤波方式为样点自适应补偿的滤波方式进行说明,样点自适应补偿的滤波方式包括多种不同的模式,例如边界补偿、边带补偿以及参数融合等模式,以参数融合模式为例,参照图8,参数融合模式是指对于一个SAO(Sample AdaptiveOffset,样点自适应补偿)滤波单元来讲,其SAO参数直接使用相邻滤波单元(左边或上边)的SAO参数,其参考块是左侧或上侧的SAO滤波单元。A、B、C均表示SAO滤波单元,当C块进行SAO参数决策时,可以有3种情况:(a)直接使用A块的参数;(b)直接使用B块的参数;(c)通过分析自身像素块的特点,选择不同于A块和B块的参数。采取这种滤波方式对样本进行滤波时,样本会用到参考块信息,并且以C块进行SAO参数决策时为例,所需要用到的为A块和B块两个参考块。上述为针对不同滤波方式是否需要用到参考块信息的举例说明,在具体实施中,还可以按照其他方式判断样本在滤波过程中是否需要用到参考块信息,本实施例中对此不加以限制。
在一种可选的实施例中,本实施例中可以通过样本的权限与参考块的权限进一步判断样本所需要的参考块是否可得。具体地,针对当前滤波单元内的某一个样本来讲,需要获取该样本的权限以及该样本所需要用到的参考块的权限,可以通过样本所在的权限区域确定对应的权限,参考块内也包括有多个样本,参考块的权限为参考块内所有样本的最高权限,例如参考块内有样本Q、W以及E,假设样本Q的权限最高,则参考块的权限与样本Q的权限一致。然后先将参考块的权限与样本的权限进行比较,如果参考块的权限低于或等于所述样本的权限,则进一步判断是否满足以下预设条件。预设条件可以为参考块已解码或已编码,也即针对编码端,还需要保证参考块已编码,或者针对解码端,还需要保证参考块已解码。预设条件还可以为参考块与样本位于同一个Slice或Tile。预设条件还可以为参考块与样本位于不同的Slice或Tile,且允许对Slice或Tile的边界进行滤波。如果同时满足权限高低的判断条件以及预设条件中的任一项,则认定该参考块可得。
在一种可选的实施例中,本实施例中在判断不可得参考块之后,还可以通过推导的参考块信息替换不可得参考块的信息,从而将不可得参考块转换为可得参考块。本实施例中针对推导的参考块信息提供一种实现方式,具体为针对编码端,通过不可得参考块周围的已编码块推导参考块信息,针对解码端,通过不可得参考块周围的已解码块推导参考块信息,并且需要强调的是,由于不可得参考块的权限通常高于样本的权限,因此本实施例中这些已解码块或已编码块的权限需要低于或等于样本的权限。
本实施例中还提供另一种实现方式,具体为通过预设信息推导参考块信息,其中,预设信息包括默认的滤波参数、预测方式、非零变换系数、参考图像以及运动矢量等信息。
步骤S302:将所述当前滤波单元内在滤波过程中需要参考样本,且至少一个参考样本不可得的样本作为不可滤波样本。
步骤S303:将所述当前滤波单元内在滤波过程中需要参考样本,且所有参考样本都不可得的样本作为不可滤波样本。
步骤S304:将所述当前滤波单元内在滤波过程中需要参考样本,且在所有参考样本中不可得参考样本的占比大于或等于预设值的样本作为不可滤波样本。
在一种可选的实施例中,本实施例中还可以根据参考样本信息对当前滤波单元内的可滤波样本和不可滤波样本进行判断,其中,参考样本是进行滤波决策和/或实施滤波操作所需要的样本。
在一种可选的实施例中,针对当前滤波单元内的某一个样本来讲,需要先获取该样本的参考样本,在确定参考样本之后,进一步判断参考样本是否可得,最终基于参考样本是否可得的判断结果确定该样本是否为不可滤波样本,具体的判断过程可以按照如下方式实现。
本实施例中提供一种实现方式,在确定需要使用参考样本且存在至少一个参考样本不可得时,则认定该样本为不可滤波样本。例如当前滤波单元内样本S对应的参考样本为S1、S2以及S3,假设S1、S2以及S3中至少有一个为不可得参考样本时,则可以认定该样本S即为不可滤波样本。
本实施例中提供另一种实现方式,在确定需要使用参考样本且所有的参考样本均不可得时,则认定该样本为不可滤波样本。例如当前滤波单元内样本S对应的参考样本为S1、S2以及S3,假设S1、S2以及S3全部为不可得参考样本,则可以认定样本S即为不可滤波样本。
本实施例中提供另一种实现方式,在确定需要使用参考样本且不可的参考样本的占比大于或等于预设值时,则认定该样本为不可滤波样本。例如当前滤波单元内样本S对应的参考样本为S1、S2以及S3,假设S1和S2为不可得参考样本,S3为可得参考样本,此时可以计算出不可得参考样本的占比为2/3,又假设占比得预设值为50%,则通过可以确定不可得参考样本的占比大于预设值,此时则可以认定样本S即为不可滤波样本。其中,预设值可以根据实际滤波需求进行相应地设置,本实施例中对此不加以限制。
进一步地,本实施例中可以基于预设滤波方式的不同,确定样本所对应的参考样本,本实施例中进一步针对各种不同的滤波方式进行举例说明。
在一种可选的实施例中,以滤波方式为去块滤波进行说明。去块滤波模块需要对所有PU和TU边界中的8x8块边界进行处理,包括两个环节:滤波决策和滤波操作。首先进行滤波决策,以得到边界的滤波强度(不滤波、弱滤波或强滤波)以及滤波参数。然后进行滤波操作,即根据所选择的滤波强度及滤波参数对像素进行相应的修正。去块滤波算法对不同的视频内容及不同的编码参数具有自适应能力,即不同的块边界自适应选择是否滤波及滤波强度。例如,对平滑区域的不连续边界做强滤波,对纹理丰富区域做弱滤波或不滤波。另外,在片级允许根据不同视频序列的个体特征调节滤波参数(即β和tc),即对滤波参数增加偏移值进行微调,如此就可增加或减少滤波强度,优化解码视频质量,获得比默认值更好的效果。值得注意的是,虽然去块滤波的最小单元是8x8块边界,但是实际是将8x8块边界分成两部分独立进行去块滤波,如图5和图6所示,垂直边界以8x4为基本单位,水平边界以4x8为基本单位。进一步以垂直边界的去块滤波方式为例进行说明,参照图5所示,针对这种滤波方式,参考样本可以为滤波过程中所需要用到的样本,也即参考样本是计算边界强度和实施滤波操作所需要的样本。具体地,根据不同的滤波操作,例如亮度强滤波、亮度弱滤波和色度滤波,参考样本可以为图5中所有样本或部分样本。进一步地,去块滤波还可以水平边界进行操作,水平边界的去块滤波如图6所示,同样地,根据不同的滤波操作,参考样本可以为图6中P块和Q块的所有样本或部分样本。
在一种可选的实施例中,以滤波方式为样点自适应补偿进行说明。样点自适应补偿以CTB(Coding Tree Block)为基本单位,通过选择一个合适的分类器将重建像素划分类别,然后对不同类别像素使用不同的补偿值,可以有效提高视频的主客观质量。SAO包括两大类的补偿形式,分别是边界补偿(Edge Offset,EO)和边带补偿(Band Offset,BO),此外为了节省编码参数的码率,还引入了参数融合技术。边界补偿技术是通过比较当前像素值与相邻像素值的大小对当前像素进行分类,然后对同类像素补偿相同的数值,不同类像素的补偿值可以不同。根据选取的相邻像素的位置差异,边界补偿共分为4种模式:水平方向(EO_0)、垂直方向(EO_1)、135度方向(EO_2)和45度方向(EO_3),如图7所示,其中c表示当前像素,a和b表示相邻像素。参照图7,针对这种滤波方式,可以通过将当前滤波单元内任一样本周围预设数量的样本作为参考样本。如图7所示,参考样本为当前样本周围的2个样本,例如c为当前样本,则a和b即为参考样本。进一步地,边带补偿是根据像素强度值进行分类,将像素范围等分成32条边带,对每条边带根据自身特点进行补偿,且同一边带使用相同的补偿值。例如,对于8比特图像,像素值的范围是[0,255],分成32条边带,每条边带包含8个像素值,边带的索引范围是[0,31]。参数融合模式是指对于一个CTB来讲,其SAO参数直接使用相邻块(左边或上边)的SAO参数,而这一模式不涉及参考样本,可以见上文所述的参考块的获取过程。
在一种可选的实施例中,以滤波方式为增强样点自适应补偿进行说明。在采取增强样点自适应补偿方式时,对于亮度样本,首先分别按照两个维度将所有像素分成C1和C2个种类,然后将两个维度的类别做笛卡尔积,得到最终的分类结果Ct=C1×C2。对于色度样本,只采用第二维度进行分类(即C2),通过查表得到最终的分类结果Ct。每一个类别的样本都有一个偏移值,在码流中传输。ESAO同时支持图像级控制开关和LCU(Largest CodingUnit)级控制开关。对于第一个维度的C1类,分类模板如图所示。对于当前像素,初始类别设置为cx=0,然后从左往右、从上往下依次和周围8个像素比较大小,如果周围像素比当前像素大,则cx加1;否则,cx减1(第二种方法是cx不变),遍历完成后就得到了当前像素的最终类别。由此可知,cx取值范围是[-8,8](第二种方法是[0,8]),所以C1=17(第二种方法是9)。两种方法采用哪种由编码端决定,在图像头传输标识信息。图9C1类的分类模板对于第二个维度的C2类,将[0,(1<<bitdepth)-1]范围的像素值按照大小间隔均匀划分为C2个类,C2的大小由编码端决定,并在图像头传输。不妨设当前像素值为y,则分类公式为cy=(y*C2)>>bitdepth,其中cy是处于[0,C2]之间的一个具体类别。参照图9,针对这种滤波方式,也可以通过将当前滤波单元内任一样本周围预设数量的样本作为参考样本。如图9所示,参考样本为当前样本周围的8个样本,例如图9中阴影部分为当前样本,阴影部分周围的8个非阴影部分即为该当前样本的参考样本。
在一种可选的实施例中,以滤波方式为跨分量样点自适应补偿进行说明。跨分量样点自适应补偿是根据对应的亮度样本值来对当前的色度样本进行分类,然后按照类别叠加一个偏移值,该技术只支持BO(Band Offset)的分类方法。具体做法是,将亮度样本的取值范围均匀划分为BandNum个条带,每个条带为一个类别,将当前色度样本对应的亮度样本值落入的条带类别作为当前色度样本的类别,然后为色度样本叠加上该类别对应的偏移值。参照图10,针对这种滤波方式,也可以通过将当前滤波单元内任一样本周围预设数量的样本作为参考样本。这种滤波方式中样本与参考样本处于不同的分量,例如当前的色度样本的参考样本是周围的9个亮度样本之一,如图10所示,c为当前色度样本,0~8为周围的9个亮度样本,从这9个亮度样本选择一个亮度样本作为当前色度样本的参考样本。
在一种可选的实施例中,以滤波方式为自适应环路滤波进行说明。自适应环路滤波中对于亮度分量,将一帧图像划分为4x4个系数区域(如图14所示),同一个系数区域内的像素采用同一组滤波系数。按照系数区域的扫描顺序,相邻的两个系数区域可以合并为一个新的区域,合并后的区域可以继续和其相邻的区域进行合并,直到整帧图像都为一个系数区域。因此,一帧图像的滤波器系数组数等于合并后的系数区域个数,取值范围是[1,16]。码流中需要传输本帧图像的滤波器系数组数(即合并后的系数区域个数),每个区域的大小(即合并后的每个区域分别包含了几个原始系数区域),以及每一组滤波器系数。对于色度分量,一帧图像使用一个滤波器(即整帧图像对应一个系数区域和一组滤波器系数),Cb和Cr分量有各自的滤波器。参照图11和图12,其中,自适应环路滤波滤波器形状如图11所示,增强型自适应环路滤波滤波器形状如图12所示,针对这种滤波方式,可以当前样本为中心的、滤波器覆盖范围内的周围样本作为参考样本,图11和图12所示即为滤波器覆盖范围内的周围样本,也即参考样本。其中,滤波器覆盖范围可以基于不同标准进行设置,本实施例中对此不加以限制。
在确定参考样本之后,本实施例中可以通过样本的权限与参考样本的权限进一步判断样本所需要的参考样本是否可得。具体地,针对当前滤波单元内的某一个样本来讲,需要获取该样本的权限以及该样本所需要用到的参考样本的权限,可以通过样本所在的权限区域以及参考样本所在的权限区域确定对应的权限,然后先将参考样本的权限与样本的权限进行比较,如果参考样本的权限低于或等于所述样本的权限,则进一步判断是否满足以下预设条件。预设条件可以为参考样本已解码或已编码,也即针对编码端,还需要保证参考样本已编码,或者针对解码端,还需要保证参考样本已解码。预设条件还可以为参考样本与样本位于同一个Slice或Tile。预设条件还可以为参考样本与样本位于不同的Slice或Tile,且允许对Slice或Tile的边界进行滤波。如果同时满足权限高低的判断条件以及预设条件中的任一项,则认定该参考样本可得。
进一步地,本实施例中在判断不可得参考样本之后,还可以通过推导的参考样本信息替换不可得参考样本的信息,从而将不可得参考样本转换为可得参考样本。本实施例中针对推导的参考样本信息提供一种实现方式,具体为针对编码端,通过不可得参考样本周围的已编码样本推导参考样本信息,针对解码端,通过不可得参考样本周围的已解码样本推导参考样本信息,并且需要强调的是,由于不可得参考样本的权限通常高于样本的权限,因此本实施例中这些已解码样本或已编码样本的权限需要低于或等于样本的权限。
本实施例中还提供另一种实现方式,具体为通过预设信息推导参考样本信息,其中,预设信息包括默认的样本值。
本实施例通过参考块信息或者参考样本信息对当前滤波单元内的不可滤波样本和可滤波样本进行分类,同时还能够将不可得参考块或者不可得参考样本转换为可得参考块或可得参考样本,通过上述方式能够准确识别出不可滤波样本和可滤波样本,然后再执行相应的滤波策略,能够有效提升图像的主客观质量。
参考图13,图13为本发明一种滤波方法第二实施例的流程示意图。
基于上述第一实施例,本实施例滤波方法中进一步包括:
步骤S401:对所述当前滤波单元内的第一样本不执行滤波操作,并对所述当前滤波单元内的第二样本执行滤波操作。
本实施例中的预设滤波方式包括去块滤波、样点自适应补偿、增强样点自适应补偿、跨分量样点自适应补偿以及自适应环路滤波中的至少一项,滤波操作的具体过程可以按照如下方式实现。
在一种可选的实施例中,当滤波策略为部分滤波时,无论当前滤波单元内不可滤波样本以及可滤波样本的数量为多少,所执行的滤波操作均为对滤波单元内的第一样本(不可滤波样本)不执行滤波操作,对滤波单元内的第二样本(可滤波样本)执行滤波操作。假设当前滤波单元内不可滤波样本为N个,可滤波样本为M个,对这N个不可滤波样本不执行滤波操作,对这M个可滤波样本执行滤波操作。
在一种可选的实施例中,为当滤波策略为全不滤波时,这种情况下,需要先判断当前滤波单元内是否存在不可滤波样本,如果存在不可滤波样本,则对当前滤波单元内所有的样本均不执行滤波操作。假设当前滤波单元内不可滤波样本为N个,可滤波样本为M个,对当前滤波单元内的所有样本也即M+N个样本均不执行滤波操作。
在一种可选的实施例中,为当滤波策略为全滤波时,这种情况下,需要先判断当前滤波单元内是否存在可滤波样本,如果存在可滤波样本,则对当前滤波单元内所有的样本均执行滤波操作。进一步地,当前滤波单元内是否存在可滤波样本包含两种情况,第一种情况为当前滤波单元内全部为可滤波样本,例如当前滤波单元内包含N个样本,且这N个样本均为可滤波操作,则可以对这N个可滤波样本执行滤波操作。第二种情况为当前滤波单元存在不可滤波样本,针对这种情况,在执行全滤波策略时,需要先将当前滤波单元内的不可滤波样本全部转换为可滤波样本,最后再对所有的可滤波样本执行滤波操作,例如当前滤波单元内包含N个可滤波样本和M个不可滤波样本,先将这M个不可滤波样本转换为M个可滤波样本,最后再对N+M个可滤波样本执行滤波操作。
在一种可选的实施例中,可以通过推导参考块或参考样本的信息将当前滤波单元内的不可滤波样本转换为可滤波样本,其中,参考块是指在样本滤波过程中所需要用到的相邻块,参考样本是指在样本滤波过程中所需要用到的周围样本。本实施例中针对推导参考块或参考样本的信息的获取方式提供一种实现方式,具体为通过所述权限区域内部及周围的可得块或可得样本推导参考块或参考样本的信息,可得块或可得样本可与不可滤波样本处于同一权限区域,也可以处于不同的权限区域,本实施例中对此不加以限制。其中,可得块或可得样本的权限需要低于或等于不可滤波样本的权限,针对解码端,可得块或可得样本为已解码的块或样本,针对编码端,可得块或可得样本为已编码的块或样本。
本实施例中针对推导参考块或参考样本的信息的获取方式提供另一种实现方式,具体为通过预设信息推导参考块或参考样本的信息,其中,预设信息包括默认的样本值、滤波参数、预测方式、非零变换系数、参考图像以及运动矢量等信息。
本实施例通过根据滤波策略对各个权限区域内不同权限等级的样本执行不同的滤波操作,实现了对权限区域进行有约束的滤波操作,提升了图像的主客观质量。
参照图14,图14为本发明滤波装置第一实施例的结构框图。
如图14所示,本发明实施例提出的滤波装置包括:
获取模块10,用于确定当前滤波单元对应的滤波策略和所处的权限区域,所述权限区域为图像中具有权限等级的图像区域。
识别模块20,用于根据所述权限区域的权限等级确定所述当前滤波单元内样本的权限等级。
分类模块30,用于根据所述样本的权限等级对所述当前滤波单元内的样本进行分类。
滤波模块40,用于根据所述滤波策略和分类结果对所述当前滤波单元执行相应的滤波操作。
本实施例通过确定当前滤波单元对应的滤波策略和所处的权限区域;根据所述权限区域的权限等级确定所述当前滤波单元内样本的权限等级;根据所述样本的权限等级对所述当前滤波单元内的样本进行分类;根据所述滤波策略和分类结果对所述当前滤波单元执行相应的滤波操作,根据滤波策略对各个权限区域内不同权限等级的样本执行不同的滤波操作,实现了对权限区域进行有约束的滤波操作,提升了图像的主客观质量。
在一实施例中,所述滤波策略由从码流中解析出的标志信息确定,所述标志信息用于在序列级、图像级、Slice级、Tile级或滤波单元级传输。
在一实施例中,所述权限区域包含至少一个滤波单元,所述当前滤波单元允许跨越多个权限区域,所述滤波单元包括至少一个样本;
所述识别模块20,还用于所述当前滤波单元内的样本的权限等级与样本所在的权限区域一致。
在一实施例中,所述当前滤波单元为滤波过程中的基本单元且不同的滤波单元允许执行不同的滤波操作;
所述滤波模块40,还用于对所述当前滤波单元内的第一样本不执行滤波操作,并对所述当前滤波单元内的第二样本执行滤波操作;或,对所述当前滤波单元内的所有样本均执行滤波操作;或,对所述当前滤波单元内的所有样本均不执行滤波操作。
在一实施例中,所述第一样本为不可滤波样本,所述第二样本为可滤波样本。
在一实施例中,所述滤波模块40,还用于通过推导参考块或参考样本的信息将所述当前滤波单元内的不可滤波样本转换为可滤波样本,并对所有可滤波样本均执行滤波操作,所述推导参考块或参考样本的信息是通过所述权限区域内部及周围的可得块或可得样本推导出的,或者是通过预设信息推导出的;其中,所述可得块或可得样本为权限低于或等于所述不可滤波样本的权限,并且已解码或已编码的块或样本。
在一实施例中,所述分类模块30,还用于将所述当前滤波单元内在滤波过程中需要使用参考块信息,且至少一个参考块不可得的样本作为不可滤波样本;将所述当前滤波单元内在滤波过程中需要参考样本,且至少一个参考样本不可得的样本作为不可滤波样本;将所述当前滤波单元内在滤波过程中需要参考样本,且所有参考样本都不可得的样本作为不可滤波样本;将所述当前滤波单元内在滤波过程中需要参考样本,且在所有参考样本中不可得参考样本的占比大于或等于预设值的样本作为不可滤波样本。
在一实施例中,所述分类模块30,还用于根据预设滤波方式确定所述当前滤波单元内的样本在滤波过程中是否需要使用参考块信息;通过所述样本的权限与所述参考块的权限判断所述参考块是否可得。
在一实施例中,所述参考块是进行滤波决策和/或实施滤波操作所需要的块,所述参考块包括至少一个样本,所述参考块的权限为所述参考块内所有样本的最高权限。
在一实施例中,所述分类模块30,还用于若参考块的权限低于或等于所述样本的权限,且至少满足以下预设条件中的一项,则确定所述参考块可得;所述预设条件包括:所述参考块已解码或已编码;所述参考块与所述样本位于同一个Slice或Tile;所述参考块与所述样本位于不同的Slice或Tile,且允许对Slice或Tile的边界进行滤波。
在一实施例中,所述滤波装置还包括转换模块;
所述转换模块,用于通过不可得参考块周围权限低于或等于所述样本的权限的已解码块或已编码块推导参考块信息,和/或,通过预设信息推导参考块信息;通过推导的参考块信息替换所述不可得参考块的信息,以使所述不可得参考块转换为可得参考块。
在一实施例中,所述分类模块30,还用于根据预设滤波方式获取所述当前滤波单元内任一样本对应的参考样本;通过所述样本的权限与所述参考样本的权限判断所述参考样本是否可得。
在一实施例中,所述参考样本是进行滤波决策和/或实施滤波操作所需要的样本。
在一实施例中,所述分类模块30,还用于若参考样本的权限低于或等于所述样本的权限,且至少满足以下预设条件中的一项,则确定所述参考样本可得;所述预设条件包括:所述参考样本已解码或已编码;所述参考样本与所述样本位于同一个Slice或Tile;所述参考样本与所述样本位于不同的Slice或Tile,且允许对Slice或Tile的边界进行滤波。
在一实施例中,所述滤波装置还包括转换模块;
所述转换模块,用于通过不可得参考样本周围权限低于或等于所述样本的权限的已解码样本或已编码样本推导参考样本信息,和/或通过预设信息推导参考样本信息;通过推导的参考样本信息替换所述不可得参考样本的信息,以使所述不可得参考样本转换为可得参考样本。
在一实施例中,所述预设滤波方式包括以下至少一项:去块滤波;样点自适应补偿;增强样点自适应补偿;跨分量样点自适应补偿;自适应环路滤波。
此外,为实现上述目的,本发明还提出一种滤波设备,所述滤波设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的滤波程序,所述滤波程序配置为实现如上文所述的滤波方法。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有滤波程序,所述滤波程序被处理器执行时实现如上文所述的滤波方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的滤波方法,此处不再赘述。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (19)
1.一种滤波方法,其特征在于,所述滤波方法包括:
确定当前滤波单元对应的滤波策略和所处的权限区域,所述权限区域为图像中具有权限等级的图像区域;
根据所述权限区域的权限等级确定所述当前滤波单元内样本的权限等级;
根据所述样本的权限等级对所述当前滤波单元内的样本进行分类;
根据所述滤波策略和分类结果对所述当前滤波单元执行相应的滤波操作。
2.如权利要求1所述的滤波方法,其特征在于,所述滤波策略由从码流中解析出的标志信息确定,所述标志信息用于在序列级、图像级、Slice级、Tile级或滤波单元级传输。
3.如权利要求1所述的滤波方法,其特征在于,所述权限区域包含至少一个滤波单元,所述当前滤波单元允许跨越多个权限区域,所述滤波单元包括至少一个样本;
所述根据所述权限区域的权限等级确定所述当前滤波单元内样本的权限等级,包括:
所述当前滤波单元内的样本的权限等级与样本所在的权限区域一致。
4.如权利要求3所述的滤波方法,其特征在于,所述当前滤波单元为滤波过程中的基本单元且不同的滤波单元允许执行不同的滤波操作;
所述根据所述滤波策略和分类结果对所述当前滤波单元执行相应的滤波操作,包括:
对所述当前滤波单元内的第一样本不执行滤波操作,并对所述当前滤波单元内的第二样本执行滤波操作;
或,
对所述当前滤波单元内的所有样本均执行滤波操作;
或,
对所述当前滤波单元内的所有样本均不执行滤波操作。
5.如权利要求4所述的滤波方法,其特征在于,所述第一样本为不可滤波样本,所述第二样本为可滤波样本。
6.如权利要求4所述的滤波方法,其特征在于,所述对所述当前滤波单元内的所有样本均执行滤波操作,包括:
通过推导参考块或参考样本的信息将所述当前滤波单元内的不可滤波样本转换为可滤波样本,并对所有可滤波样本均执行滤波操作,所述推导参考块或参考样本的信息是通过所述权限区域内部及周围的可得块或可得样本推导出的,或者是通过预设信息推导出的;
其中,所述可得块或可得样本为权限低于或等于所述不可滤波样本的权限,并且已解码或已编码的块或样本。
7.如权利要求5所述的滤波方法,其特征在于,包括以下至少一项:
将所述当前滤波单元内在滤波过程中需要使用参考块信息,且至少一个参考块不可得的样本作为不可滤波样本;
将所述当前滤波单元内在滤波过程中需要参考样本,且至少一个参考样本不可得的样本作为不可滤波样本;
将所述当前滤波单元内在滤波过程中需要参考样本,且所有参考样本都不可得的样本作为不可滤波样本;
将所述当前滤波单元内在滤波过程中需要参考样本,且在所有参考样本中不可得参考样本的占比大于或等于预设值的样本作为不可滤波样本。
8.如权利要求7所述的滤波方法,其特征在于,所述滤波方法还包括:
根据预设滤波方式确定所述当前滤波单元内的样本在滤波过程中是否需要使用参考块信息;
通过所述样本的权限与所述参考块的权限判断所述参考块是否可得。
9.如权利要求8所述的滤波方法,其特征在于,所述参考块是进行滤波决策和/或实施滤波操作所需要的块,所述参考块包括至少一个样本,所述参考块的权限为所述参考块内所有样本的最高权限。
10.如权利要求8所述的滤波方法,其特征在于,所述通过所述样本的权限与所述参考块的权限判断所述参考块是否可得,包括:
若参考块的权限低于或等于所述样本的权限,且至少满足以下预设条件中的一项,则确定所述参考块可得;
所述预设条件包括:
所述参考块已解码或已编码;
所述参考块与所述样本位于同一个Slice或Tile;
所述参考块与所述样本位于不同的Slice或Tile,且允许对Slice或Tile的边界进行滤波。
11.如权利要求10所述的滤波方法,其特征在于,所述若参考块的权限低于或等于所述样本的权限,且至少满足以下预设条件中的一项,则确定所述参考块可得之后,还包括:
通过不可得参考块周围权限低于或等于所述样本的权限的已解码块或已编码块推导参考块信息,和/或,通过预设信息推导参考块信息;
通过推导的参考块信息替换所述不可得参考块的信息,以使所述不可得参考块转换为可得参考块。
12.如权利要求7所述的滤波方法,其特征在于,所述滤波方法还包括:
根据预设滤波方式获取所述当前滤波单元内任一样本对应的参考样本;
通过所述样本的权限与所述参考样本的权限判断所述参考样本是否可得。
13.如权利要求12所述的滤波方法,其特征在于,所述参考样本是进行滤波决策和/或实施滤波操作所需要的样本。
14.如权利要求12所述的滤波方法,其特征在于,所述通过所述样本的权限与所述参考样本的权限判断所述参考样本是否可得,包括:
若参考样本的权限低于或等于所述样本的权限,且至少满足以下预设条件中的一项,则确定所述参考样本可得;
所述预设条件包括:
所述参考样本已解码或已编码;
所述参考样本与所述样本位于同一个Slice或Tile;
所述参考样本与所述样本位于不同的Slice或Tile,且允许对Slice或Tile的边界进行滤波。
15.如权利要求14所述的滤波方法,其特征在于,所述若参考样本的权限低于或等于所述样本的权限,且至少满足以下预设条件中的一项,则确定所述参考样本可得之后,还包括:
通过不可得参考样本周围权限低于或等于所述样本的权限的已解码样本或已编码样本推导参考样本信息,和/或通过预设信息推导参考样本信息;
通过推导的参考样本信息替换所述不可得参考样本的信息,以使所述不可得参考样本转换为可得参考样本。
16.如权利要求8或12所述的滤波方法,其特征在于,所述预设滤波方式包括以下至少一项:
去块滤波;
样点自适应补偿;
增强样点自适应补偿;
跨分量样点自适应补偿;
自适应环路滤波。
17.一种滤波设备,其特征在于,所述滤波设备包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行的滤波程序,所述滤波程序配置为实现如权利要求1至15中任一项所述的滤波方法。
18.一种存储介质,其特征在于,所述存储介质上存储有滤波程序,所述滤波程序被处理器执行时实现如权利要求1至15任一项所述的滤波方法。
19.一种滤波装置,其特征在于,所述滤波装置包括:
获取模块,用于确定当前滤波单元对应的滤波策略和所处的权限区域,所述权限区域为图像中具有权限等级的图像区域;
识别模块,用于根据所述权限区域的权限等级确定所述当前滤波单元内样本的权限等级;
分类模块,用于根据所述样本的权限等级对所述当前滤波单元内的样本进行分类;
滤波模块,用于根据所述滤波策略和分类结果对所述当前滤波单元执行相应的滤波操作。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211426315.3A CN118042164A (zh) | 2022-11-14 | 2022-11-14 | 滤波方法、设备及存储介质 |
PCT/CN2024/072131 WO2024104506A1 (zh) | 2022-11-14 | 2024-01-12 | 滤波方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211426315.3A CN118042164A (zh) | 2022-11-14 | 2022-11-14 | 滤波方法、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118042164A true CN118042164A (zh) | 2024-05-14 |
Family
ID=90994026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211426315.3A Pending CN118042164A (zh) | 2022-11-14 | 2022-11-14 | 滤波方法、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN118042164A (zh) |
WO (1) | WO2024104506A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006129178A (ja) * | 2004-10-29 | 2006-05-18 | Victor Co Of Japan Ltd | 映像監視システム及びそれに用いる撮像装置 |
CN115442596A (zh) * | 2017-10-20 | 2022-12-06 | 韩国电子通信研究院 | 图像编码、解码方法以及存储比特流的记录介质 |
CN110971915B (zh) * | 2018-09-28 | 2022-07-01 | 杭州海康威视数字技术股份有限公司 | 滤波方法和设备 |
CN114640846A (zh) * | 2021-02-23 | 2022-06-17 | 杭州海康威视数字技术股份有限公司 | 滤波方法、装置及设备 |
-
2022
- 2022-11-14 CN CN202211426315.3A patent/CN118042164A/zh active Pending
-
2024
- 2024-01-12 WO PCT/CN2024/072131 patent/WO2024104506A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024104506A1 (zh) | 2024-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7055230B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び符号化ビットストリームを記録した記録媒体 | |
EP2777255B1 (en) | Method and device for optimizing encoding/decoding of compensation offsets for a set of reconstructed samples of an image | |
KR101433501B1 (ko) | 비디오 코딩을 위한 적응적 오프셋 복원 장치 및 방법 | |
RU2577320C1 (ru) | Устройство декодирования изображений, устройство кодирования изображений, способ декодирования изображений и способ кодирования изображений | |
US11956477B2 (en) | System and method for deblocking HDR content | |
CN114640847B (zh) | 编解码方法、装置及其设备 | |
CN114125445B (zh) | 解码方法、装置、设备及机器可读存储介质 | |
CN110741642B (zh) | 使用拟合平面和参考样本进行定向帧内预测的装置和方法 | |
US8369423B2 (en) | Method and device for coding | |
CN118042164A (zh) | 滤波方法、设备及存储介质 | |
JPWO2019187412A1 (ja) | 画像処理装置、及び画像処理方法 | |
CN113132724B (zh) | 编码、解码方法、装置及其设备 | |
CN114097236A (zh) | 一种视频编码、解码方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |