发明内容
本发明的目的在于提供一种级联滤波器及其标定去噪强度的动态设定方法,能够均衡各级滤波器的去噪强度以获得更好的整体去噪效果。
为解决上述技术问题,本发明的实施方式提供了一种级联滤波器标定去噪强度的动态设定方法,该级联滤波器至少包括前后级联的第一滤波器和第二滤波器,方法包括以下步骤:
根据第一滤波器的去噪结果对第一滤波器去噪能力进行估计;
根据第一滤波器的标定去噪强度和估计得到的第一滤波器去噪能力,设定第二滤波器的标定去噪强度。
本发明的实施方式还提供了一种级联滤波器,至少包括前后级联的第一滤波器和第二滤波器,还包括:
估计单元,用于根据第一滤波器的去噪结果对第一滤波器去噪能力进行估计;
标定单元,用于根据第一滤波器的标定去噪强度和估计得到的第一滤波器去噪能力,设定第二滤波器的标定去噪强度。。
本发明实施方式与现有技术相比,主要区别及其效果在于:
对前一级滤波器去噪能力进行估计,用前一级滤波器的标定去噪强度减去估计结果得到差值,再根据该差值设定后一级滤波器的标定去噪强度,可以针对不同的输入图像象实现后一级滤波器去噪强度的自适应调整,从而均衡级联的各级滤波器的去噪强度以获得更好的整体去噪效果。如果针对某个图像,前一级滤波器去噪强度较高,后一级滤波器的去噪强度就会自动减弱一些;如果针对另一个图像,前一级滤波去噪强度较低,后一级滤波器就自动加大去噪强度,从而使级联滤波器的整体去噪效果更为接近预先设定的标定值。
进一步地,将前一级滤波器的标定去噪强度与其去噪能力估计值的差值,结合视频运动信息、历史视频信息、图像局部纹理信息中的一项或多项,共同计算得到后一级滤波器的标定去噪强度,可以进一步提高级联滤波器的整体去噪效果。
进一步地,在动态调整标定去噪强度的基础上,将级联滤波器设置成时域滤波器和空域滤波器的混合配置,可以进一步提高去噪的整体效果。有一些噪声比较适合在时域过滤,有一些噪声比较适合在空域过滤,搭配使用时域滤波器和空域滤波器,可以有更好的去噪效果。在此基础上,在级联的不同类型的滤波器之间使用动态的方法设定标定去噪强度是本专利的一个创新。例如,对于前一级是时域滤波器,后一级是空域滤波器的情况,如果前一级估计下来去噪能力不高,说明在时域去噪效果不佳,则使用本专利的技术方案可以自动为后一级的空域滤波器设定较高的标定去噪强度,在空域加大去噪强度,往往可以达到较好的效果。如果前一级估计下来去噪能力较高,则根据本专利的技术方案对后一级自动设定较低的标定去噪强度,以免滤波过度。
进一步地,时空域滤波器成本较高或需要占用较多的资源,使用一个时空域滤波器搭配时间或空域滤波器,在较低成本或较少资源的前提下,也能达到较好的整体效果。
具体实施方式
在以下的叙述中,为了使读者更好地理解本申请而提出了许多技术细节。但是,本领域的普通技术人员可以理解,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保护的技术方案。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明第一实施方式涉及一种级联滤波器标定去噪强度的动态设定方法。该级联滤波器标定去噪强度的动态设定方法该级联滤波器至少包括前后级联的第一滤波器和第二滤波器。
为了更容易理解本发明的技术方案,本发明的各实施方式大都以两个滤波器进行说明,但实际上可以方便地扩展到更多个相互级联的滤波器,只要在每两个相邻滤波器之间都采用本发明的技术方案即可,两个滤波器可以是相邻的,也可以两者之间存在间隔。
如果级联滤波器中只有两个滤波器,则在前的是第一滤波器,在后的是第二滤波器。当然,级联滤波器中也可以包括更多的滤波器,如三个、四个、五个等等,此时本实施方式中只是描述其中任意两个相邻滤波器之间的标定去噪强度的动态设定方法。知道了两个相邻滤波器之间的动态设定方法,就可以方便地类推到各个滤波器。例如,滤波器A、B、C、D组成一个级联滤波器,则A和B之间,B和C之间,C和D之间分别采用本发明实施方式所公开的动态设定方法。在A和B之间,A是第一滤波器,B是第二滤波器。在B和C之间,B是第一滤波器,C是第二滤波器。在C和D之间,C是第一滤波器,D是第二滤波器。
可以是每两个滤波器之间都采用本发明实施方式中的动态设定方法,也可以只是级联滤波器中的部分滤波器之间采用本发明实施方式中的动态设定方法。
图1是该级联滤波器标定去噪强度的动态设定方法的流程示意图。
在步骤101中,根据第一滤波器的去噪结果对第一滤波器去噪能力进行估计。
可以根据输入第一滤波器的噪声图像和第一滤波器输出的去噪图像估计第一滤波器的去噪能力。噪声图像是真正意义上的一整幅图像,或者整幅图像中的局部数据块。当然,在特定场景下,也可以采用特殊的算法仅根据第一滤波器的输出图像来估计第一滤波器的去噪能力。
下面例举两种前一级滤波器(即第一滤波器)去噪能力的估计方法,方法一称为作差求SAD法,方法二称为FIR算子提取法。FIR是指有限冲激响应滤波器(Finite Impulse Response)。并以图像的局部数据块为例说明前一级滤波器去噪能力估计模块的操作。假设前一级滤波器去噪的图像局部块数据为I1,去噪后的输出图像局部块数据为I2,若采用SAD法,前一级滤波器去噪能力表示为L=||I1-I2||1/N,N为I1和I2局部数据块像素的个数;若采用FIR算子提取法,前一级滤波器去噪能力表示为L=|F*(I1-I2)|,F为FIR算子,*表示卷积,图2给出了一种FIR算子的例子。
FIR算子提取法中采用的算子具有和噪声特性类似的频域响应即可,并不限于本发明实施方式提供的FIR算子。并且前一级滤波器去噪能力估计方法也不限于此,任何能够估计出滤波器去噪能力的方法都可以被采用。
此后进入步骤102,使用第一滤波器的标定去噪强度减去估计得到的第一滤波器去噪能力,得到差值。本发明各实施方式中所称的“标定去噪强度”可以是一个表示对整幅图像整体去噪的强度的标量,也可以是一个表示图像局部去噪强度的矩阵。
本实施方式中,采用第一滤波器的标定去噪强度以及估计得到的第一滤波器去噪能力的差值作为第二滤波器的标定去噪强度的估计值。并且第二滤波器的标定去噪强度的估计方法也不限于此,任何能够估计出第二滤波器的标定去噪强度的方法都可以被采用。
此后进入步骤103,根据差值设定第二滤波器的标定去噪强度。可以是直接将差值作为第二滤波器的标定去噪强度,也可以根据该差值进行特定的运算,将运算结果作为第二滤波器的标定去噪强度。
所述步骤102和103是根据第一滤波器的标定去噪强度和步骤101中估计得到的第一滤波器去噪能力,设定第二滤波器的标定去噪强度的一种具体方式。除了这种实现方式之外,还可以有多种等同效果的实现方式,例如,计算K=估计得到的第一滤波器去噪能力/第一滤波器的标定去噪强度,第二滤波器的标定去噪强度=(1-K)*第一滤波器去噪能力,等等。
在本发明的一个优选实例中,根据差值和参考因素共同决定第二滤波器的标定去噪强度,其中参考因素是以下各项因素中的任意一项或任意组合:
视频运动信息、历史视频信息、图像局部纹理信息。
当然,也可以不用参考因素,只凭该前一级滤波器的标定去噪强度与其去噪能力估计值的差值设定后一级滤波器(第二滤波器)的标定去噪强度。
对前一级滤波器去噪能力进行估计,用前一级滤波器的标定去噪强度减去估计结果得到差值,再根据该差值设定后一级滤波器的标定去噪强度,可以针对不同的输入图像实现后一级滤波器去噪强度的自适应调整,从而均衡级联的各级滤波器的去噪强度以获得更好的整体去噪效果。如果针对某个图像,前一级滤波器去噪强度较高,后一级滤波器的去噪强度就会自动减弱一些。如果针对另一个图像,前一级滤波去噪强度较低,后一级滤波器就会自动加大去噪强度,从而使级联滤波器的整体去噪效果更为接近预先设定的标定值。
将前一级滤波器的标定去噪强度与其去噪能力估计值的差值,结合视频运动信息、历史视频信息、图像局部纹理信息中的一项或多项,共同计算得到后一级滤波器的标定去噪强度,可以进一步提高级联滤波器的整体去噪效果。
在本发明的一个优选例子中,级联滤波器中至少包括一个时域滤波器和一个空域滤波器。
在动态调整标定去噪强度的基础上,将级联滤波器设置成时域滤波器和空域滤波器的混合配置,可以进一步提高去噪的整体效果。有一些噪声比较适合在时域过滤,有一些噪声比较适合在空域过滤,搭配使用时域滤波器和空域滤波器,可以有更好的去噪效果。在此基础上,在级联的不同类型的滤波器之间使用动态的方法设定标定去噪强度是本专利的一个创新。例如,对于前一级是时域滤波器,后一级是空域滤波器的情况,如果前一级估计下来去噪能力不高,说明在时域去噪效果不佳,则使用本专利的技术方案可以自动为后一级的空域滤波器设定较高的标定去噪强度,在空域加大去噪强度,往往可以达到较好的效果。如果前一级估计下来去噪能力较高,则根据本专利的技术方案对后一级自动设定较低的标定去噪强度,以免滤波过度。对于前一级是空域滤波器,后一级是时域滤波器的情况分析也是类似。
本发明的另一个优选例子中,级联滤波器中包括一个时空域滤波器,其它为时域滤波器或空域滤波器。
时空域滤波器成本较高或需要占用较多的资源,使用一个时空域滤波器搭配时间或空域滤波器,在较低成本或较少资源的前提下,也能达到较好的整体效果。
此外,可以理解,级联滤波器中也可以包括多个时空域滤波器,甚至都由时空域滤波器组成。
当然,如果级联滤波器中都是同一种类型的滤波器,例如都是时域滤波器、都是空域滤波器、或者都是时空域滤波器,也可以使用本发明的技术方案。
本发明第二实施方式涉及一种级联滤波器标定去噪强度的动态设定方法。图3是该级联滤波器标定去噪强度的动态设定方法的流程示意图。
第二实施方式在第一实施方式的基础上进行了改进,主要改进之处在于:在计算第二滤波器的标定去噪强度时,考虑了视频运动信息。
在步骤301中,计算图像局部块的运动信息m。
此后进入步骤302,由图像局部块的运动信息m从运动标定表T中查取运动标定系数k。运动标定表T是一张表,用于标定运动大小与去噪强度的关系。
此后进入步骤303,根据第一滤波器的去噪结果对第一滤波器去噪能力L进行估计。
此后进入步骤304,使用第一滤波器的标定去噪强度sigma1减去估计得到的第一滤波器去噪能力L,得到差值(sigma1-L)。
此后进入步骤305,根据差值设定第二滤波器的标定去噪强度。具体地说,将运动标定系数k与差值(sigma1-L)的乘积作为第二滤波器的标定去噪强度sigma2。
因为是针对图像局部块进行标定去噪强度的动态设定,如果图像不同区域具有不同的噪声水平,利用本技术方案可以自适应地对局部加强或减弱标定去噪强度,防止有些区域去噪不足,而有些区域又过于平滑的问题,提高整体去噪效果。
本发明第三实施方式涉及一种级联滤波器标定去噪强度的动态设定方法。图4是该级联滤波器标定去噪强度的动态设定方法的流程示意图。
第三实施方式也考虑了视频运动信息,并在第二实施方式基础上采用统计的方法以得到更为准确的标定去噪强度。
在步骤401中,计算图像局部块的运动信息。
此后进入步骤402,由图像局部块的运动信息从运动标定表中查取运动标定系数,该运动标定表用于标定运动大小与去噪强度的关系。
此后进入步骤403,根据第一滤波器的去噪结果对第一滤波器去噪能力进行估计。
此后进入步骤404,使用第一滤波器的标定去噪强度减去估计得到的第一滤波器去噪能力,得到差值。
此后进入步骤405,将运动标定系数与差值的乘积作为第二滤波器标定的图像局部块的去噪强度。
此后进入步骤406,统计第二滤波器所有标定的图像局部块的去噪强度,采用其均值作为第二滤波器的标定去噪强度。当然,也可以不采用均值,而是其它的算法(如取中值)来计算第二滤波器的标定去噪强度。
上述步骤405和406相当于步骤103根据差值设定第二滤波器的标定去噪强度的子步骤。
本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现,指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的,易失性的或者非易失性的,固态的或者非固态的,固定的或者可更换的介质等等)。同样,存储器可以例如是可编程阵列逻辑(Programmable Array Logic,简称“PAL”)、随机存取存储器(Random Access Memory,简称“RAM”)、可编程只读存储器(Programmable Read Only Memory,简称“PROM”)、只读存储器(Read-Only Memory,简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM,简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc,简称“DVD”)等等。
本发明第四实施方式涉及一种级联滤波器。图5是该级联滤波器的结构示意图。该级联滤波器至少包括前后级联的第一滤波器和第二滤波器,在第一和第二滤波器之间还包括:
估计单元,用于根据第一滤波器的去噪结果对第一滤波器去噪能力进行估计。
标定单元,用于根据第一滤波器的标定去噪强度和所述估计得到的第一滤波器去噪能力,设定第二滤波器的标定去噪强度。
在本发明的一个优选实例中,该标定单元可以进一步包括:
差值计算子单元:用于使用第一滤波器的标定去噪强度减去估计单元输出的第一滤波器去噪能力,得到差值,
标定强度计算和设置子单元,用于根据差值计算子单元计算得到的差值设定第二滤波器的标定去噪强度。
当然,标定单元还可以有其它的实现方式,例如,计算K=估计得到的第一滤波器去噪能力/第一滤波器的标定去噪强度,第二滤波器的标定去噪强度=(1-K)*第一滤波器去噪能力,等等。
级联滤波器中可以是一个时域滤波器和一个空域滤波器,也可以是一个时空域滤波器,其它为时域滤波器或空域滤波器。
本技术方案包括两个基本单元,其一为前一级滤波器(第一滤波器)去噪能力的估计单元(估计单元),其二为下一级滤波器(第二滤波器)去噪强度的标定单元(标定单元)。标定的去噪强度可以是一个表示对整幅图像整体去噪的强度的标量,也可以是一个表示图像局部去噪强度的矩阵。该技术方案不依赖于前一级滤波器和下一级滤波器的具体实现方式(无论是时域滤波器、空域滤波器还是时空域滤波器皆可),并且各级滤波器的输入和输出可以是任意视频格式,例如RGB、YUV、Bayer等。这种技术方案可以用在视频去噪中,实时地估计出级联滤波器组中的滤波器图像的整体噪声强度或者局部噪声强度,且有利于级联滤波器组的滤波器的灵活设计,有利于滤波器根据图像局部噪声强度调节去噪强弱,从而均衡各级滤波器的去噪并获得更好的整体去噪效果。
估计单元至少利用包含前一级滤波器的含噪声输入图像和前一级滤波器去噪后输出图像的信息。该单元的目的是合理有效地估计出前一级滤波器的实际去噪能力,并为下一级滤波器去噪强度的标定提供依据和参考;根据前后滤波器噪声传递的方式不同,此单元的输出是一个表示对整幅图像整体去噪的能力的标量,或者是一个表示图像局部去噪能力的矩阵。
标定单元利用估计单元估计的前一级滤波器的实际去噪能力以及前一级滤波器的标定去噪强度,并配合辅助的可选的视频运动信息、历史视频信息以及图像局部纹理信息等中的一项或几项信息,标定出下一级滤波器需要的去噪强度,以此做为下一级滤波器的去噪强度。同理,该单元输出的标定去噪强度也可以是一个表示对整幅图像整体去噪的强度的标量,或者是一个表示图像局部去噪强度的矩阵。
如图4所示,第一滤波器和第二滤波器级联去噪,其间采用由估计单元和标定单元组成的噪声传递模块提高各滤波器的去噪能力。在本实施例中,输入第一滤波器的噪声图像和第一滤波器的去噪后输出的去噪图像共同作为估计单元的输入,以此计算第一滤波器去噪的能力,需要特别说明的是噪声图像和去噪图像可以是真正意义上的一整幅图像,也可以是图像中的局部数据块。并且图像可以是任意数据格式,例如RGB、YUV、Bayer、单通道灰度图像等等。
第一、第二和第三实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第一、第二和第三实施方式互相配合实施。第一、第二和第三实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一、第二和第三实施方式中。
需要说明的是,本发明各设备实施方式中提到的各单元都是逻辑单元,在物理上,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现,这些逻辑单元本身的物理实现方式并不是最重要的,这些逻辑单元所实现的功能的组合是才解决本发明所提出的技术问题的关键。此外,为了突出本发明的创新部分,本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,这并不表明上述设备实施方式并不存在其它的单元。
虽然通过参照本发明的某些优选实施方式,已经对本发明进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。