CN103957425B - 图像处理方法及系统 - Google Patents

Abstract

本发明实施例涉及图像处理技术领域，公开了一种图像处理方法及系统。其中，该方法包括：将图像的宏块划分为多个子块；根据子块的各边界两侧的第一类像素值确定需要滤波的边界；计算需要滤波的边界的滤波强度参数；根据所述滤波强度参数对所述需要滤波的边界两侧的第一类像素值进行修改；所述第一类像素值包括：垂直边界两侧的像素值p₀、p₁、q₀、q₁，或水平边界两侧的像素值m₀、m₁、n₀、n₁。本发明实施例提供的图像处理方法可以去除环路滤波方法中相邻边界的数据相关性，使得相邻的边界和相邻的宏块都可以进行同时滤波。

Description

图像处理方法及系统

技术领域

本发明涉及图像处理技术领域，具体涉及一种图像处理方法及系统。

背景技术

H.264在视频质量、压缩效率和数据包恢复等方面均优于现有的MPEG2、MPEG4及H.263等视频编码标准。在相同的重建图像质量下，H.264比H.263可节约50％左右的码率。然而，H.264获得的优越性能是以增加计算复杂度为代价的，其计算量相当于H.263的三倍。因此如何提高H.264中各模块的计算效率以达到实时处理成为重要的研究课题。

环路滤波(也称为去方块滤波)是H.264标准中的关键处理环节之一，在编码器和解码器中均包括环路滤波环节，用于对重构后的图像进行滤波以去除马赛克(方块)效应，例如在H.264解码器中，环路滤波环节的计算耗时占整个解码过程的1/3以上，因此如何提高环路滤波算法的计算效率是实现H.264实时处理的关键问题之一。

现有技术中规定了环路滤波需要按照规定的顺序对边界依次滤波，后一个边界的滤波需要依赖前一个边界的滤波结果，使得相邻的边界和相邻的宏块无法进行同时滤波，导致滤波处理速度较慢。

发明内容

本发明实施例所要解决的技术问题是提供一种图像处理方法及系统，用于去除在滤波过程中相邻边界的数据相关性，使得相邻的边界和相邻的宏块都可以进行同时滤波。

本发明第一方面提供一种图像处理方法，包括：

将图像的宏块划分为多个子块；

根据所述子块的边界两侧的第一类像素值确定需要滤波的边界；

计算需要滤波的边界的滤波强度参数；

根据所述滤波强度参数对所述需要滤波的边界两侧的第一类像素值进行修改；所述第一类像素值包括：垂直边界两侧的像素值p₀、p₁、q₀、q₁，或水平边界两侧的像素值m₀、m₁、n₀、n₁；其中，所述p₀表示垂直边界左方的第一个像素值，所述p₁表示所述p₀左方的第一个像素值，所述q₀表示垂直边界右方的第一个像素值，所述q₁表示所述q₀右方的第一个像素值，所述m₀表示水平边界上方的第一个像素值，所述m₁表示所述m₀上方的第一个像素值，所述n₀表示水平边界下方的第一个像素值，所述n₁表示所述n₀下方的第一个像素值。。

在第一种可能的实施方式中，所述根据所述子块边界两侧的第一类像素值确定需要滤波的边界包括：

判断垂直边界两侧的第一类像素值是否满足第一条件，满足所述第一条件的边界为需要滤波的边界；

所述第一条件为：|p₀-q₀|<α,|p₁-p₀|<β,|q₁-q₀|<β；其中α、β均是预先设定的常数。

在第二种可能的实施方式中，所述根据所述子块的边界两侧的第一类像素值确定需要滤波的边界包括：

判断水平边界两侧的第一类像素值是否满足第二条件，满足所述第二条件的水平边界为需要滤波的水平边界；

所述第二条件为：|m₀-n₀|<α,|m₁-m₀|<β,|n₁-n₀|<β；其中α、β均是预先设定的常数。

结合第一种或第二种可能的实施方式，在第三种可能的实施方式中，所述计算需要滤波的边界的滤波强度参数包括：

A1、判断所述边界两侧的子块是否都不是帧内编码，如果都不是，执行A3，否则执行A2；

A2、判断所述边界是否是宏块的边界，如果是，执行A5，否则执行A6；

A3、判断所述边界两侧的子块的残差变换系数是否都为0，如果都为0，执行A4，否则执行A7；

A4、判断所述边界两侧的子块的参考帧和运动矢量是否都相同，如果都相同，执行A9，否则执行A8；

A5、确定所述边界的滤波强度系数为4；结束流程；

A6、确定所述边界的滤波强度系数为3；结束流程；

A7、确定所述边界的滤波强度系数为2；结束流程；

A8、确定所述边界的滤波强度系数为1；结束流程；

A9、确定所述边界的滤波强度系数为0。

结合第三种可能的实施方式，在第四种可能的实施方式中，所述根据所述滤波强度参数对所述需要滤波的边界两侧所述的第一类像素值进行修改包括：

按照预定的第一规则对滤波强度参数等于4的垂直边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改所述垂直边界两侧的第一类像素值；

按照预定的第二规则对对滤波强度参数大于0且小于4的垂直边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改所述垂直边界两侧的第一类像素值；

所述第二类像素值包括p₀、p₁、p₂、q₀、q₁、q₂，所述p₂表示所述p₁左方的第一个像素值，所述q₂表示所述q₁右方的第一个像素值。

结合第四种可能的实施方式，在第五种可能的实施方式中，所述根据所述滤波强度参数对所述需要滤波的边界两侧所述的第一类像素值进行修改包括：

按照预定的第三规则对对滤波强度参数等于4的水平边界的第二类像素值进行加权平均，使用加权平均后得到的像素值修改所述水平边界两侧的第一类像素值；

按照预定的第四规则对对滤波强度参数大于0且小于4的水平边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改所述水平边界两侧的第一类像素值；

所述第二类像素值还包括m₀、m₁、m₂、n₀、n₁、n₂，所述m₂表示所述m₁上方的第一个像素值，所述n₂表示所述n₁下方的第一个像素值。

本发明第二方面提供一种图像处理系统，包括：

子块划分单元，用于将图像的宏块划分为多个子块；

确定单元，用于根据子块的边界两侧的第一类像素值确定需要滤波的边界；

计算单元，用于计算需要滤波的边界的滤波强度参数；

修改单元，用于根据所述滤波强度参数对所述需要滤波的边界两侧的第一类像素值进行修改；所述第一类像素值包括：垂直边界两侧的像素值p₀、p₁、q₀、q₁，或水平边界两侧的像素值m₀、m₁、n₀、n₁；其中，所述p₀表示垂直边界左方的第一个像素值，所述p₁表示所述p₀左方的第一个像素值，所述q₀表示垂直边界右方的第一个像素值，所述q₁表示所述q₀右方的第一个像素值，所述m₀表示水平边界上方的第一个像素值，所述m₁表示所述m₀上方的第一个像素值，所述n₀表示水平边界下方的第一个像素值，所述n₁表示所述n₀下方的第一个像素值。

在第一种可能的实施方式中，所述确定单元包括：

第一判断子单元，用于判断垂直边界两侧的第一类像素值是否满足第一条件；

第一确定子单元，用于确定满足所述第一条件的垂直边界为需要滤波的边界；

所述第一条件为：|p₀-q₀|<α,|p₁-p₀|<β,|q₁-q₀|<β；其中α、β均是预先设定的常数。

在第二种可能的实施方式中，所述确定单元包括：

第二判断子单元，用于判断水平边界两侧的第一类像素值是否满足第二条件；

第二确定子单元，用于确定满足所述第二条件的水平边界为需要滤波的边界；

所述第二条件为：|m₀-n₀|<α,|m₁-m₀|<β,|n₁-n₀|<β；其中α、β均是预先设定的常数。

结合第二方面的第一种或第二种可能的实施方式，在第三种可能的实施方式中，所述计算单元具体包括：

第三判断子单元，用于判断所述边界两侧的子块是否都不是帧内编码；

第四判断子单元，用于当所述第三判断子单元的判断结果为否时，判断所述边界是否是宏块的边界；

第五判断子单元，用于当所述第四判断子单元的判断结果为是时，判断所述边界两侧的子块的残差变换系数是否都为0；

第六判断子单元，用于当所述第五判断子单元的判断结果为是时，判断所述边界两侧的子块的参考帧或者运动矢量是否相同；

第三确定子单元，用于当所述第四判断子单元的判断结果为是时，确定所述边界的滤波强度系数为4；

第四确定子单元，用于当所述第四判断子单元的判断结果为否时，确定所述边界的滤波强度系数为3；

第五确定子单元，用于当所述第五判断子单元的判断结果为否时，确定所述边界的滤波强度系数为2；

第六确定子单元，用于当所述第六判断子单元的判断结果为否时，确定所述边界的滤波强度系数为1；

第七确定子单元，用于当所述第六判断子单元的判断结果为是时，确定所述边界的滤波强度系数为0。

结合第二方面的第三种可能的实施方式，在第四种可能的实施方式中，所述修改单元包括：

第一修改子单元，用于按照预定的第一规则对滤波强度参数等于4的垂直边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改所述垂直边界两侧的第一类像素值；

第二修改子单元，用于按照预定的第二规则对滤波强度参数大于0且小于4的垂直边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改所述垂直边界两侧的第一类像素值；

所述第二类像素值包括p₀、p₁、p₂、q₀、q₁、q₂，所述p₂表示所述p₁左方的第一个像素值，所述q₂表示所述q₁右方的第一个像素值。

结合第二方面的第四种可能的实施方式，在第五种可能的实施方式中，所述修改单元还包括：

第三修改子单元，用于按照预定的第三规则对滤波强度参数等于4的水平边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改所述水平边界两侧的第一类像素值；

第四修改子单元，用于按照预定的第四规则对滤波强度参数大于0且小于4的水平边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改所述水平边界两侧的第一类像素值；

所述第二类像素值还包括m₀、m₁、m₂、n₀、n₁、n₂，所述m₂表示所述m₁上方的第一个像素值，所述n₂表示所述n₁下方的第一个像素值。

本发明实施例中提供的图像处理方法及系统，采用边界两侧的第一类像素值来判断边界是否需要滤波，在进行滤波时，也仅对边界两侧的第一类像素值进行修改，相比现有技术，去除了相邻边界的数据相关性，使得相邻边界或相邻宏块的滤波可以同时进行，克服了现有技术存在的缺陷。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是现有技术中的环路滤波顺序的示意图；

图2是本发明实施例中子块的垂直边界和水平边界的示意图；

图3是本发明实施例提供的一种图像处理方法的流程第一示意图；

图4是本发明实施例提供的一种图像处理方法的流程第二示意图；

图5是本发明实施例提供的一种图像处理方法的流程第三示意图；

图6是本发明实施例提供的一种图像处理系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

现有的H.264标准中，环路滤波是以宏块为基础，以16×16亮度宏块为例，对宏块内的16个4×4子块的所有垂直边界(如图1中的边界a、b、c、d)和水平边界(图1中的边界e、f、g、h)分别进行滤波处理，在对各个边界进行滤波时须按规定的顺序，从左至右、从上至下(如图1中按照字母顺序从a至l)依次针对每个宏块先对垂直边界滤波再对水平边界滤波，滤波的速度较慢，计算耗时较长。

请参考图2，图2是16×16的宏块中16个4×4子块的垂直边界和水平边界的示意图。图2中p₀表示垂直边界左方的第一个像素值，p₁表示p₀左方的第一个像素值，p₂表示p₁左方的第一个像素值，p₃表示p₂左方的第一个像素值；q₀表示上述垂直边界右方的第一个像素值，q₁表示q₀右方的第一个像素值，q₂表示q₁右方的第一个像素值，q₃表示q₂右方的第一个像素值。图3中m₀表示水平边界上方的第一个像素值，m₁表示m₀上方的第一个像素值，m₂表示m₁上方的第一个像素值，m₃表示m₂上方的第一个像素值；n₀表示水平边界下方的第一个像素值，n₁表示n₀下方的第一个像素值，n₂表示n₁下方的第一个像素值，n₃表示n₂下方的第一个像素值。

另外，由于现有技术中规定了环路滤波需要按照规定的顺序对边界依次滤波，各个边界的滤波存在数据上的依赖性：

现有的H.264标准中，当对需要滤波的边界进行滤波时，如果垂直边界的滤波强度系数为4，需要对p₀、p₁、p₂、q₀、q₁、q₂的像素值进行修改；

例如，在对垂直边界b滤波之后，垂直边界b两侧的像素值为滤波之后的像素值，垂直边界b右侧的q₁、q₂像素值均已经被修改；

当按照顺序再对垂直边界c进行判断是否需要滤波或进行滤波时，垂直边界c左侧的像素值实际上已经经过了滤波(垂直边界c左侧的p₁即为垂直边界b右侧的q₂，垂直边界c左侧的p₂即为垂直边界b右侧的q₁)，即是采用已经过滤波处理的像素值来判断是否需要对边界进行滤波，在进行相应的滤波时，也可能会对已经经过滤波处理的像素值进行再次修改，即下一个边界的滤波依赖于上一个边界的滤波的结果；

由于存在上述数据上的依赖性，相邻的边界不能够同时进行滤波，相邻的宏块也不能同时进行滤波。

本发明将提供一种新的图像处理方法和系统，可除去在现有技术中的环路滤波过程中相邻边界的数据相关性，使得相邻的边界和相邻的宏块都可以进行同时滤波。

请参阅图3，图3是本发明实施例提供一种图像处理方法的流程示意图。如图3所示，该方法可以包括：

301、将图像的宏块划分为多个子块；

本实施例中，可以将图像的各个宏块按照预定的子块大小划分为多个子块，上述预定的子块大小优选为4×4，当然子块的大小也可以为其它大小，例如8×8等大小，在此不对子块大小做具体的限制；

302、根据子块的边界两侧的第一类像素值确定需要滤波的边界；

本实施例中，对于垂直边界，第一类像素值包括p₀、p₁、q₀、q₁；对于水平边界，第一类像素值包括m₀、m₁、n₀、n₁；

303、计算需要滤波的边界的滤波强度参数BS(Boundary Strength)；

304、根据上述滤波强度参数对上述需要滤波的边界两侧上述的第一类像素值进行修改。

上述的图像处理方法，采用边界两侧的第一类像素值来确定边界是否需要滤波，在进行滤波时，也仅对边界两侧的第一类像素值进行修改，由于第一类像素值不包括p₂、q₂、m₂、n₂，即相比现有技术去除了对p₂、q₂、m₂、n₂像素值的修改，从而去除了相邻边界的数据相关性，使得相邻边界或相邻宏块的滤波可以同时进行，克服了现有技术存在的缺陷。

在一种可选的实施方式中，如果上述边界为垂直边界，上述302可包括：

判断垂直边界两侧的第一类像素值是否满足预定的第一条件，满足上述第一条件的边界是需要滤波的边界，不满足上述第一条件的边界为不需要滤波的边界；

举例来说，上述第一条件可为：|p₀-q₀|<α,|p₁-p₀|<β,|q₁-q₀|<β；

在一种可选的实施方式中，如果上述边界为水平边界，上述302可包括：

判断水平边界两侧的第一类像素值是否满足预定的第二条件，满足预定的第二条件的水平边界为需要滤波的水平边界，不满足第二条件的水平边界则为不需要滤波的边界；

举例来说，上述第二条件可为：|m₀-n₀|<α,|m₁-m₀|<β,|n₁-n₀|<β。

其中α、β均是预先设定的常数，是可以根据量化参数QP(QuantizationParameter)查表获得的滤波门限值。下面示例性的介绍α、β的获取方法：

预先设定的门限值α、β包含在上面的表中，分别是α，β表，α表记录了块边界两边像素的差值的门限，β表记录了块内部两个点的差值的门限；

以水平边界为例，对于不是帧内编码类型的亮度块，m块或n块，记其包含m₀、n₀的宏块量化参数QP分别为QP_m，QP_n(为0-51之间的整数，包含0-51)；

计算QP_av＝(QP_m+QP_n+1)>>1；

得到两个索引值：α_Index＝β_index＝QP_av，然后可根据这两个索引值在下面的α，β表中找出相应的α，β值作为判别的门限值。

举例来说，如图4所示，上述303可以包括：

303A1、判断边界两侧的子块是否都不是帧内编码，如果都不是帧内编码，执行303A3，否则执行303A2；

帧内编码可以是指在子块的编码方式不依赖于前一帧图像或后一帧图像，相关内容属于现有技术，在此不再赘述；

303A2、判断上述边界是否是宏块的边界，如果是，执行步骤303A5，否则执行303A6；

303A3、判断上述边界两侧的子块的残差变换系数是否都为0，如果都为0，执行303A4，否则执行303A7；

303A4、判断上述边界两侧的子块的参考帧和运动矢量是否都相同，如果都相同，执行303A9，否则执行303A8；

303A5、确定上述边界的滤波强度系数为4；结束流程；

303A6、确定上述边界的滤波强度系数为3；结束流程；

303A7、确定上述边界的滤波强度系数为2；结束流程；

303A8、确定上述边界的滤波强度系数为1；结束流程；

303A9、确定上述边界的滤波强度系数为0。

上述303A1-303A9给出了一种示例性的边界的滤波强度系数的求取方法，可用于对任意一个边界的滤波强度系数的求取。

举例来说，如图5所示，上述304可以包括：

304A、对滤波强度参数等于4的垂直边界进行滤波：

按照预定的第一规则对滤波强度参数等于4垂直边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改上述垂直边界两侧的第一类像素值(p₀、p₁、q₀及q₁)；

其中，对于垂直边界，上述第二类像素值可包括：p₀、p₁、p₂、q₀、q₁、q₂；

304B、对滤波强度参数大于0且小于4的垂直边界进行滤波：

按照预定的第二规则对滤波强度参数大于0且小于4的垂直边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改上述垂直边界两侧的第一类像素值(p₀、p₁、q₀及q₁)；

需要说明的是，上述304A和304B并无固定的执行顺序，也可以是同时执行的；

举例来说，上述304还可包括：

304C、对滤波强度参数等于4的水平边界进行滤波：

按照预定的第三规则对滤波强度参数等于4的水平边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改上述水平边界两侧的第一类像素值(m₀、m₁、n₀及n₁)；

其中，对于水平边界，上述第二类像素值可包括m₀、m₁、m₂、n₀、n₁、n₂；

304D、对滤波强度参数大于0且小于4的水平边界进行滤波：

按照预定的第二规则对大于0且小于4的水平边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改上述水平边界两侧的第一类像素值m₀、m₁、n₀及n₁；

需要说明的是，上述304C和304D并无固定的执行顺序，也可以是同时执行的。

相比现有技术，本实施例提供的滤波方法不对边界两侧的p₂、q₂、m₂、n₂像素值进行修改，可以去除相邻边界和相邻宏块之间的数据依赖性。

举例来说，上述304A可以具体包括：

当垂直边界两侧的像素值满足|p₀-q₀|<α/4+2和|p₂-q₀|<β时，则修改p₀、p₁的值为： 以及当垂直边界两侧的像素值满足|q₀-p₀|<α/4+2和|q₂-p₀|<β时，则修改q₀、q₁的值为：

优选地，如果垂直边界两侧的像素值不满足|p₀-q₀|<α/4+2或|p₂-q₀|<β，则可不对p₀、p₁的值进行修改，如果垂直边界两侧的像素值不满足|q₀-p₀|<α/4+2或|q₂-p₀|<β，则可不对q₀、q₁的值进行修改；

举例来说，上述304B可以具体包括：

修改p₀和q₀点的值为:

p₀′＝p₀+△₀，q₀′＝_q0-△₀，其中，△₀由对计算得到的△_0i进行限幅得到，

△_0i＝(4(p_0-q₀)+p_1-q₁+4)/8；其中c₁是预先设定的常数，可根据H.264建议书查表获得；

当垂直边界两侧像素值满足|p₂-q₀|<β和|q₂-p₀|<β时，修改p₁、q₁的值为：

p₁′＝p₁+△_p1，q₁′＝q₁+△_q1；其中，△_p1由对计算得到的△_p1i进行限幅获得，△_q1由对计算得到的△_q1i进行限幅获得，

△_p1i＝(p₂+(p₀+q₀+1)/2-2p₁)/2，△_q1i＝(q₂+(q₀+p₀+1)/2-2q₁)/2；其中c₂、c₃是预先设定的常数，可根据H.264建议书查表获得；

优选地，如果当垂直边界两侧像素值不满足|p₂-q₀|<β和|q₂-p₀|<β，则可不对p₁、q₁的值进行修改。

需要说明的是，对于滤波强度参数等于0的边界，可以不对其进行滤波。

举例来说，上述304C可以具体包括：

当水平边界两侧的像素值满足|m₀-n₀|<α/4+2和|m₂-n₀|<β时，则修改m₀、m₁的值为： 以及当水平边界两侧的像素值满足|n₀-m₀|<α/4+2和|n₂-m₀|<β时，则修改n₀、n₁的值为：

优选地，如果水平边界两侧的像素值不满足|m₀-n₀|<α/4+2或|m₂-n₀|<β，则不对m₀、m₁的值进行修改，如果水平边界两侧的像素值不满足|m₀-m₀|<α/4+2或|n₂-m₀|<β，则不对n₀、n₁的值进行修改；

举例来说，上述304D可以具体包括：

修改m₀和n₀点的值为:

m₀′＝m₀+Ω₀，n₀′＝n₀-Ω₀，其中Ω₀由对计算得到的Ω_0i进行限幅得到，

Ω_0i＝(4(m₀-n₀)+m₁-n₁+4)/8；其中d₁是预先设定的常数，可与上述c₁相等，可根据H.264建议书查表获得；

当水平边界两侧像素值满足|m₂-n₀|<β或|n₂-m₀|<β时，修改m₁、n₁的值为：

m₁′＝m₁+Ω_m1，n₁′＝n₁+Ω_n1；其中，

Ω_p1i＝(m₂+(m₀+n₀+1)/2-2m₁)/2，Ω_q1i＝(n₂+(n₀+m₀+1)/2-2n₁)/2；其中d₂、d₃是预先设定的常数，可与上述c₂、c₃相等，可根据H.264建议书查表获得；

优选地，如果水平边界两侧像素值不满足|m₂-n₀|<β或|n₂-m₀|<β，则可不对m₁、n₁的值进行修改。

由于本实施例提供的滤波方法去除了相邻边界(子块)和相邻宏块之间的数据依赖性，使得可以对各个边界进行同时滤波，优选地，本实施例中，还可以对各需要滤波的边界进行并行的滤波：

上述303可以具体包括：

并行的计算各个子块的需要滤波的垂直边界的滤波强度参数；和/或

并行的计算各个子块的需要滤波的水平边界的滤波强度参数。

通过并行的计算垂直边界和/或水平边界的滤波强度参数，可以提高计算效率。

上述304可以具体包括：

根据上述滤波强度参数并行的对需要滤波的垂直边界两侧的第一类像素值进行修改；和/或

根据上述滤波强度参数并行的对需要滤波的水平边界两侧的第一类像素值进行修改。

通过并行的对各垂直边界进行滤波，以及并行的对各水平边界进行滤波，可以大幅度提高滤波效率。

以上对本发明提供的图像处理方法进行了详细的介绍，本发明提供的图像处理方法对现有技术中的环路滤波方法进行了改进，去除了相邻边界在数据上的依赖性，因此可实现对图像中各子块的各个垂直边界进行并行的滤波，也可对图像中各子块的各个水平边界进行并行的滤波，与现有技术中的环路滤波的方案相比，可以大幅提高环路滤波的效率，从而提高H26.4编解码的计算效率。

请参考图6，图6是本发明提供的一种图像处理系统的结构示意图。如图6所示，该图像处理系统可包括：

子块划分单元601，用于将图像的宏块划分为多个子块；

本实施例中，可以将图像的各个宏块按照预定的子块大小划分为多个子块，上述预定的子块大小优选为4×4，当然子块的大小也可以为其它大小，例如8×8等大小，在此不对子块大小做具体的限制；

确定单元602，用于根据子块的边界两侧的第一类像素值确定需要滤波的边界；

其中，对于垂直边界，第一类像素值包括p₀、p₁、q₀、q₁；对于水平边界，第一类像素值包括m₀、m₁、n₀、n₁；

计算单元603，用于计算需要滤波的边界的滤波强度参数；

修改单元604，用于根据上述滤波强度参数对上述需要滤波的边界两侧的第一类像素值进行修改。

上述的图像处理系统，采用边界两侧的第一类像素值来确定边界是否需要滤波，在进行滤波时，也仅对边界两侧的第一类像素值进行修改，由于第一类像素值不包括p₂、q₂、m₂、n₂，即相比现有技术去除了对p₂、q₂、m₂、n₂像素值的修改，从而去除了相邻边界的数据相关性，使得相邻边界或相邻宏块的滤波可以同时进行，克服了现有技术存在的缺陷。

在一种可选的实施方式中，如果上述边界为垂直边界，确定单元602可包括：

第一判断子单元，用于判断垂直边界两侧的第一类像素值是否满足第一条件；

第一确定子单元，用于确定满足所述第一条件的垂直边界为需要滤波的边界，不满足上述第一条件的垂直边界为不需要滤波的边界；

其中，第一条件为：|p₀-q₀|<α,|p₁-p₀|<β,|q₁-q₀|<β。

在一种可选的实施方式中，如果上述边界为水平边界，上述确定单元602还可包括：

第二判断子单元，用于判断水平边界两侧的第一类像素值是否满足第二条件；

第二确定子单元，用于确定满足上述第二条件的水平边界为需要滤波的边界，不满足上述第二条件的水平边界为不需要滤波的边界；

所述第二条件为：|m₀-n₀|<α,|m₁-m₀|<β,|n₁-n₀|<β。

其中α、β均是预先设定的常数，是可以根据量化参数Qp查表获得的滤波门限值，α、β的具体获取方法可参考前述实施例的描述。

举例来说，计算单元603可以根据边界两侧的像素值的梯度和子块的编码方式来计算边界的滤波强度参数，计算单元603可以具体包括：

第三判断子单元，用于判断上述边界两侧的子块是否都不是帧内编码；

第四判断子单元，用于当上述第三判断子单元的判断结果为否时，判断上述边界是否是宏块的边界；

第五判断子单元，用于当上述第三判断子单元的判断结果为是时，判断上述边界两侧的子块的残差变换系数是否都为0；

第六判断子单元，用于当上述第五判断子单元的判断结果为是时，判断上述边界两侧的子块的参考帧和运动矢量是否都相同；

第三确定子单元，用于当上述第四判断子单元的判断结果为是时，确定上述边界的滤波强度系数为4；

第四确定子单元，用于当上述第四判断子单元的判断结果为否时，确定上述边界的滤波强度系数为3；

第五确定子单元，用于当上述第五判断子单元的判断结果为否时，确定上述边界的滤波强度系数为2；

第六确定子单元，用于当上述第六判断子单元的判断结果为否时，确定上述边界的滤波强度系数为1；

第七确定子单元，用于当上述第六判断子单元的判断结果为是时，确定上述边界的滤波强度系数为0。

举例来说，修改单元604可以包括第一修改子单元、第二修改子单元、

第三修改子单元、第四修改子单元，其中，

第一修改子单元可用于对滤波强度参数等于4的垂直边界进行滤波：

按照预定的第一规则对对滤波强度参数等于4的垂直边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改上述垂直边界两侧的第一类像素值(p₀、p₁、q₀及q₁)；

其中，对于垂直边界，上述第二类像素值可包括：p₀、p₁、p₂、q₀、q₁、q₂；

第二修改子单元可用于对滤波强度参数大于0且小于4的垂直边界进行滤波：

按照预定的第二规则对滤波强度参数大于0且小于4的垂直边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改上述垂直边界两侧的第一类像素值(p₀、p₁、q₀及q₁)；

第三修改子单元可用于对滤波强度参数等于4的水平边界进行滤波：

按照预定的第三规则对滤波强度参数等于4的水平边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改上述水平边界两侧的第一类像素值(m₀、m₁、n₀及n₁)；

其中，对于水平边界，上述第二类像素值可包括m₀、m₁、m₂、n₀、n₁、n₂；第四修改子单元可用于对滤波强度参数大于0且小于4的垂直边界进行滤波：

按照预定的第二规则对滤波强度参数大于0且小于4水平边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改上述水平边界两侧的第一类像素值(m₀、m₁、n₀及n₁)。

举例来说，上述第一修改子单元，可以具体用于：

当垂直边界两侧的像素值满足|p₀-q₀|<α/4+2和|p₂-q₀|<β时，则修改p₀、p₁的值为： 以及当垂直边界两侧的像素值满足|q₀-p₀|<α/4+2和|q₂-p₀｜<β时，则修改q₀、q₁的值为：

优选地，如果垂直边界两侧的像素值不满足｜p₀-q₀|<α/4+2或|p₂-q₀|<β，则第一修改子单元可不对p₀、p₁的值进行修改，如果垂直边界两侧的像素值不满足|q₀-p₀|<α/4+2或|q₂-p₀|<β，则第一修改子单元可不对q₀、q₁的值进行修改；

举例来说，上述第二修改子单元可以具体用于：

修改p₀和q₀点的值为:

p₀′＝p₀+△₀，_q0′＝_q0-△₀，其中，△₀由对计算得到的△_0i进行限幅得到，

△_0i＝(4(p₀-q₀)+p₁-q₁+4)/8；其中c₁是预先设定的常数，可根据H.264建议书查表获得；

当垂直边界两侧像素值满足|p₂-q₀|<β和|q₂-p₀|<β时，修改p₁、q₁的值为：p₁′＝p₁+△_p1，q₁′＝q₁+△_q1；其中，

△_p1i＝(p₂+(p₀+q₀+1)/2-2p₁)/2，△_q1i＝(q₂+(q₀+p₀+1)/2-2q₁)/2；其中c₂、c₃是预先设定的常数，可根据H.264建议书查表获得；

优选地，如果当垂直边界两侧像素值不满足|p₂-q₀|<β和|q₂-p₀|<β，则第二修改子单元可不对p₁、q₁的值进行修改。

需要说明的是，对于滤波强度参数等于0的垂直边界，可以不对其进行滤波。

举例来说，上述第三修改子单元可以具体用于：

当水平边界两侧的像素值满足|m₀-n₀|<α/4+2和|m₂-n₀|<β时，则修改m₀、m₁的值为： 以及当水平边界两侧的像素值满足|n₀-m₀|<α/4+2和|n₂-m₀|<β时，则修改n₀、n₁的值为：

优选地，如果水平边界两侧的像素值不满足|m₀-n₀|<α/4+2或|m₂-n₀|<β，则第三修改子单元可不对m₀、m₁的值进行修改，如果水平边界两侧的像素值不满足|n₀-m₀|<α/4+2或|n₂-m₀|<β，则第三修改子单元可不对n₀、n₁的值进行修改；

举例来说，上述第四修改子单元可以具体用于：

修改m₀和n₀点的值为:

m₀′＝m₀+Ω₀，n′₀＝n₀-Ω₀，其中，Ω₀由对计算得到的Ω_0i进行限幅得到，

Ω_0i＝(4(m₀-n₀)+m₁-n₁+4)/8；其中d₁是预先设定的常数，可根据H.264建议书查表获得；

当水平边界两侧像素值满足|m₂-n₀|<β或|n₂-m₀|<β时，修改m₁、n₁的值为：

m₁′＝m₁+Ω_m1，n₁′＝n₁+Ω_n1；其中，Ω_m1由对计算得到的Ω_m1i进行限幅获得，Ω_n1由对计算得到的Ω_n1i进行限幅获得，

Ω_p1i＝(m₂+(m₀+n₀+1)/2-2m₁)/2，Ω_q1i＝(n₂+(n₀+m₀+1)/2-2n₁)/2；其中d₂、d₃是预先设定的常数，可根据H.264建议书查表获得；

优选地，如果水平边界两侧像素值不满足|m₂-n₀|<β或|n₂-m₀|<β，则第四修改子单元可不对m₁、n₁的值进行修改。

需要说明的是，对于滤波强度参数等于0的水平边界，可以不对其进行滤波。

由于本实施例提供的图像处理系统去除了相邻边界(子块)和相邻宏块之间的数据依赖性，使得可以对各个边界进行同时滤波，优选地，本实施例中，上述图像处理系统还可以对各需要滤波的边界进行并行的滤波：

计算单元603可以具体用于：

并行的计算各个子块的需要滤波的垂直边界的滤波强度参数；和/或

并行的计算各个子块的需要滤波的水平边界的滤波强度参数。

修改单元604可以具体用于：

根据上述滤波强度参数并行的对需要滤波的垂直边界两侧的第一类像素值进行修改；和/或

根据上述滤波强度参数并行的对需要滤波的水平边界两侧的第一类像素值进行修改。

以上对本发明提供的环路滤波系统进行了详细的介绍，本发明提供的滤波系统对现有技术中的环路滤波方案进行了改进，去除了相邻边界在数据上的依赖性，因此可实现对图像中各子块的各个垂直边界进行并行的滤波，也可对图像中各子块的各个水平边界进行并行的滤波，与现有技术中的环路滤波的方案相比，可以大幅提高环路滤波的效率，从而提高H26.4编解码的计算效率。

下面通过一个具体的实例来说明本发明实施例提供的图像处理方法及系统：

以1080p视频图像为例，其分辨率为1920×1080，宏块的大小为16×16，，子块的大小为4×4。对各子块的垂直边界进行并行滤波，以及对各子块的水平边界进行并行滤波，并行粒度N最大可为1920×1080/16＝129600；

设计一个并行的环路滤波方案，其中以CPU为Host(主机)，GPU为Device(设备)，应用CUDA(Compute Unified Device Architecture，统一计算设备架构)编程模型，二者协同工作。可开设三个CUDA内核函数，分别用于实施滤波强度参数的并行计算，垂直边界的并行滤波和水平边界的并行滤波。在CPU端为每个内核函数进行参数配置，各个内核函数在GPU上以多线程(Thread)方式并行执行。

(1)、Bs值的计算：为实施该项并行计算任务，在此内核函数中可最多开设N＝129600个线程(Thread)、675个线程块(Block)，每个线程块中分配192个线程，每个线程负责一个子块的Bs值的计算。

该内核函数的并行粒度为N＝129600，可有效地实施全部子块滤波强度参数的并行计算，显著提高该环节的计算效率。

(2)、实施垂直边界并行滤波算法的CUDA内核函数的设计与实施方案：

该内核函数用于完成N个4×4子块的垂直边界的并行滤波处理。

在该内核函数中采用上述并行的环路滤波方法对各个子块的垂直边界进行并行滤波。由于对各个子块的每条垂直边界上所包含的4个边界点的滤波算法是完全相同的，而且不存在数据相关性，故可同时对这4个边界点同时进行处理，因此可以针对每条垂直边界分配4个线程实施并行处理。

为实施该并行计算，本内核函数可最多开设2025个线程块，每个线程块中设置256个线程。其中每4个线程完成一个子块上4个垂直边界点的滤波，每64个线程同时处理一个16×16的宏块数据、一个线程块同时处理4个宏块。

该内核函数可共包括518400个线程，并行粒度为N＝518400，可有效地实施全部垂直边界的并行滤波处理，显著提高该环节的计算效率。

(3)、实施水平边界并行滤波算法的CUDA内核函数的设计与实施方案

该内核函数用于完成N个4×4子块的水平边界的并行滤波处理。

该内核函数的设计与前面(2)中上述的实施垂直边界并行滤波算法的CUDA内核函数的设计思路完全相同，只是在具体计算操作中，不同之处在于该内核函数是针对各个子块的水平边界进行滤波，而且是针对经过垂直边界滤波处理后的重构帧数据进行处理。因此，为实施该滤波过程，仍像实施垂直边界并行滤波算法那样，在该内核函数中可最多开设2025个线程块，每个线程块中设置256个线程。每4个线程完成一个子块上4个水平边界点的滤波，每64个线程同时处理一个16×16的宏块数据、一个线程块同时处理4个宏块。

该内核函数共包括518400个线程，并行粒度为N＝518400，可有效地实施全部水平边界的并行滤波处理，显著提高计算效率。

需要说明的是，以上实施例描述的并行滤波方法和系统是以16×16亮度宏块的并行滤波进行说明，对8×8色度宏块并行滤波的方法与之相同，在此不再赘述。在对图像滤波时，可以先对亮度宏块进行滤波，然后再对色度宏块进行滤波。

需要说明的是，以上各实施例均属于同一发明构思，各实施例的描述各有侧重，在个别实施例中描述未详尽之处，可参考其他实施例中的描述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。

以上对本发明实施例所提供的图像处理方法和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

将图像的宏块划分为多个子块；

根据所述子块的边界两侧的第一类像素值确定需要滤波的边界；

计算需要滤波的边界的滤波强度参数；

根据所述滤波强度参数对所述需要滤波的边界两侧的第一类像素值进行修改；所述第一类像素值包括：垂直边界两侧的像素值p₀、p₁、q₀、q₁，或水平边界两侧的像素值m₀、m₁、n₀、n₁；其中，所述p₀表示垂直边界左方的第一个像素值，所述p₁表示所述p₀左方的第一个像素值，所述q₀表示垂直边界右方的第一个像素值，所述q₁表示所述q₀右方的第一个像素值，所述m₀表示水平边界上方的第一个像素值，所述m₁表示所述m₀上方的第一个像素值，所述n₀表示水平边界下方的第一个像素值，所述n₁表示所述n₀下方的第一个像素值；

所述计算需要滤波的边界的滤波强度参数包括：

A1、判断所述边界两侧的子块是否都不是帧内编码，如果都不是，执行A3，否则执行A2；

A2、判断所述边界是否是宏块的边界，如果是，执行A5，否则执行A6；

A3、判断所述边界两侧的子块的残差变换系数是否都为0，如果都为0，执行A4，否则执行A7；

A4、判断所述边界两侧的子块的参考帧和运动矢量是否都相同，如果都相同，执行A9，否则执行A8；

A5、确定所述边界的滤波强度参数为4；结束流程；

A6、确定所述边界的滤波强度参数为3；结束流程；

A7、确定所述边界的滤波强度参数为2；结束流程；

A8、确定所述边界的滤波强度参数为1；结束流程；

A9、确定所述边界的滤波强度参数为0。

2.根据权利要求1所述的方法，其特征在于，所述根据所述子块边界两侧的第一类像素值确定需要滤波的边界包括：

判断垂直边界两侧的第一类像素值是否满足第一条件，满足所述第一条件的垂直边界为需要滤波的边界；

所述第一条件为：|p₀-q₀|<α,|p₁-p₀|<β,|q₁-q₀|<β；其中α、β均是预先设定的常数。

3.根据权利要求1所述的方法，其特征在于，所述根据所述子块的边界两侧的第一类像素值确定需要滤波的边界包括：

判断水平边界两侧的第一类像素值是否满足第二条件，满足所述第二条件的水平边界为需要滤波的水平边界；

所述第二条件为：|m₀-n₀|<α,|m₁-m₀|<β,|n₁-n₀|<β；其中α、β均是预先设定的常数。

4.根据权利要求1所述的方法，其特征在于，所述根据所述滤波强度参数对所述需要滤波的边界两侧的第一类像素值进行修改包括：

按照预定的第一规则对滤波强度参数等于4的垂直边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改所述垂直边界两侧的第一类像素值；

按照预定的第二规则对滤波强度参数大于0且小于4的垂直边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改所述垂直边界两侧的第一类像素值；

所述第二类像素值包括p₀、p₁、p₂、q₀、q₁、q₂，所述p₂表示所述p₁左方的第一个像素值，所述q₂表示所述q₁右方的第一个像素值。

5.根据权利要求4所述的方法，其特征在于，所述根据所述滤波强度参数对所述需要滤波的边界两侧的第一类像素值进行修改包括：

按照预定的第三规则对滤波强度参数等于4的水平边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改所述水平边界两侧的第一类像素值；

按照预定的第四规则对滤波强度参数大于0且小于4的水平边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改所述水平边界两侧的第一类像素值；

所述水平边界两侧的第二类像素值包括m₀、m₁、m₂、n₀、n₁、n₂，所述m₂表示所述m₁上方的第一个像素值，所述n₂表示所述n₁下方的第一个像素值。

6.一种图像处理系统，其特征在于，包括：

子块划分单元，用于将图像的宏块划分为多个子块；

确定单元，用于根据所述子块的边界两侧的第一类像素值确定需要滤波的边界；

计算单元，用于计算需要滤波的边界的滤波强度参数；

修改单元，用于根据所述滤波强度参数按对所述需要滤波的边界两侧的第一类像素值进行修改；所述第一类像素值包括：垂直边界两侧的像素值p₀、p₁、q₀、q₁，或水平边界两侧的像素值m₀、m₁、n₀、n₁；其中，所述p₀表示垂直边界左方的第一个像素值，所述p₁表示所述p₀左方的第一个像素值，所述q₀表示垂直边界右方的第一个像素值，所述q₁表示所述q₀右方的第一个像素值，所述m₀表示水平边界上方的第一个像素值，所述m₁表示所述m₀上方的第一个像素值，所述n₀表示水平边界下方的第一个像素值，所述n₁表示所述n₀下方的第一个像素值；

所述计算单元具体包括：

第三判断子单元，用于判断所述边界两侧的子块是否都不是帧内编码；

第四判断子单元，用于当所述第三判断子单元的判断结果为否时，判断所述边界是否是宏块的边界；

第五判断子单元，用于当所述第三判断子单元的判断结果为是时，判断所述边界两侧的子块的残差变换系数是否都为0；

第六判断子单元，用于当所述第五判断子单元的判断结果为是时，判断所述边界两侧的子块的参考帧和运动矢量是否都相同；

第三确定子单元，用于当所述第四判断子单元的判断结果为是时，确定所述边界的滤波强度参数为4；

第四确定子单元，用于当所述第四判断子单元的判断结果为否时，确定所述边界的滤波强度参数为3；

第五确定子单元，用于当所述第五判断子单元的判断结果为否时，确定所述边界的滤波强度参数为2；

第六确定子单元，用于当所述第六判断子单元的判断结果为否时，确定所述边界的滤波强度参数为1；

第七确定子单元，用于当所述第六判断子单元的判断结果为是时，确定所述边界的滤波强度参数为0。

7.根据权利要求6所述的系统，其特征在于，所述确定单元包括：

第一判断子单元，用于判断垂直边界两侧的第一类像素值是否满足第一条件；

第一确定子单元，用于确定满足所述第一条件的垂直边界为需要滤波的边界；

所述第一条件为：|p₀-q₀|<α,|p₁-p₀|<β,|q₁-q₀|<β；其中α、β均是预先设定的常数。

8.根据权利要求6所述的系统，其特征在于，所述确定单元包括：

第二判断子单元，用于判断水平边界两侧的第一类像素值是否满足第二条件；

第二确定子单元，用于确定满足所述第二条件的水平边界为需要滤波的边界；

所述第二条件为：|m₀-n₀|<α,|m₁-m₀|<β,|n₁-n₀|<β；其中α、β均是预先设定的常数。

9.根据权利要求6所述的系统，其特征在于，所述修改单元包括：

第一修改子单元，用于按照预定的第一规则对滤波强度参数等于4的垂直边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改所述垂直边界两侧的第一类像素值；

第二修改子单元，用于按照预定的第二规则对滤波强度参数大于0且小于4的垂直边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改所述垂直边界两侧的第一类像素值；

所述第二类像素值包括p₀、p₁、p₂、q₀、q₁、q₂，所述p₂表示所述p₁左方的第一个像素值，所述q₂表示所述q₁右方的第一个像素值。

10.根据权利要求9所述的系统，其特征在于，所述修改单元还包括：

第三修改子单元，用于按照预定的第三规则对滤波强度参数等于4的水平边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改所述水平边界两侧的第一类像素值；

第四修改子单元，用于按照预定的第四规则对滤波强度参数大于0且小于4的水平边界两侧的第二类像素值进行加权平均，使用加权平均后得到的像素值修改所述水平边界两侧的第一类像素值；

所述水平边界两侧的第二类像素值包括m₀、m₁、m₂、n₀、n₁、n₂，所述m₂表示所述m₁上方的第一个像素值，所述n₂表示所述n₁下方的第一个像素值。