CN106027854B - 一种应用于相机中适于fpga实现的联合滤波降噪方法 - Google Patents

Abstract

本发明公开了一种应用于相机中适于FPGA实现的联合滤波降噪方法,包括：根据均值滤波窗口和引导滤波窗口，确定联合滤波窗口大小；逐帧获取含噪图像原数据，判断FPGA是否接收到降噪使能命令，如果是，则开始对当前帧含噪图像原数据联合滤波降噪；先使用均值滤波窗口对当前帧含噪图像原数据降噪，确定待滤波数据，再确定当前帧含噪图像原数据的引导数据，使用引导数据对待滤波数据降噪，得到联合滤波降噪数据。上述联合滤波降噪算法，利用均值滤波的平滑优点与引导滤波的保边优点相结合，根据含噪图像的信噪比确定联合滤波窗口的大小，获得较佳整体降噪效果。均值滤波和引导滤波的主要运算核心都是简单均值运算，适于在FPGA上实现。

Description

一种应用于相机中适于FPGA实现的联合滤波降噪方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种应用于相机中适于FPGA实现的联合滤波降噪方法。

背景技术

图像是人们获取信息的重要途径之一，图像需要经过采集和处理过程才能被呈现，但在采集图像过程中，图像常常会因为受到不希望出现的信号的干扰，导致呈现的图像不清晰从而影响图像质量，这些干扰图像质量的信号叫做图像噪声。例如在低照度下通过相机摄取图像时，由于光照太暗，造成摄取的图像往往不会太清晰。若想获得较清晰的图像，可以通过提高曝光时间和增益实现，但是这样做又会导致图像中出现大量的随机噪声。所述随机噪声会降低图像的质量和精度。

为了实现对含噪图像进行降噪，现有技术中对图像降噪的方法统称降噪算法，目前的降噪算法常见的有均值滤波算法，是一种逐像素点运算的方法，均值滤波对含噪图像的平坦区域降噪效果显著(平滑效果好)，但同时也令图像的边缘严重模糊，整体降噪效果不佳。降噪算法可以通过软件或硬件来实现，一般情况下，基于PC软件的降噪算法可以做的复杂一些，但基于硬件平台，如FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)，考虑到其硬件特点和资源消耗等问题，实现的算法较为简单。上述均值滤波算法较为简单，便于在FPGA实现，但是降噪效果不佳。比均值降噪算法整体降噪效果好的有小波降噪算法，但代价是运算复杂，对运行该算法的硬件资源的要求较高，导致上述小波降噪算法在FPGA上实现比较困难。

对于相机中的降噪算法的而言，因为降噪算法的实现硬件平台主要是FPGA，所以如何兼顾降噪效果和便于FPGA实现是需要解决的问题。

发明内容

本发明实施例中提供了一种应用于相机中适于FPGA实现的联合滤波降噪方法，以提供一种在相机中，既能兼顾降噪效果又能便于在FPGA上实现的降噪算法。

为了解决上述技术问题，本发明实施例公开了如下技术方案：

一种应用于相机中适于FPGA实现的联合滤波降噪方法,包括以下步骤：

确定适于FPGA降噪所用的均值滤波窗口和引导滤波窗口的大小，所述均值滤波窗口为ω_m，所述引导滤波窗口为ω_g，其中ω_m的大小为m×m，ω_g的大小为g×g；

根据所述均值滤波窗口和引导滤波窗口，确定适于所述FPGA降噪所用的联合滤波窗口，所述联合滤波窗口为ω，其中ω的大小为(m+g-1)×(m+g-1)；

逐帧获取含噪图像原数据，所述当前帧含噪图像的大小为row×col；

判断FPGA是否接收到降噪使能命令，如果是，则开始对当前帧含噪图像原数据联合滤波降噪；其中，

所述联合滤波降噪包括：先使用所述均值滤波窗口对所述当前帧含噪图像原数据降噪，确定待滤波数据，再确定所述当前帧含噪图像原数据的引导数据，使用所述引导数据在所述引导滤波窗口内对所述待滤波数据降噪，得到联合滤波降噪数据。

优选的，在上述应用于相机中适于FPGA实现的联合滤波降噪方法中，所述均值滤波窗口ω_m的半径小于所述引导滤波窗口ω_g的半径。

优选的，在上述应用于相机中适于FPGA实现的联合滤波降噪方法中，所述均值滤波窗口ω_m的半径为3-7个像素，所述引导滤波窗口ω_g的半径为5-30个像素。

优选的，在上述应用于相机中适于FPGA实现的联合滤波降噪方法中，所述确定当前帧含噪图像原数据的引导数据包括：

在所述当前帧含噪图像数据的所有像素点中，逐像素点移动所述联合滤波窗口，判断当前像素点是否位于所述当前联合滤波窗口的中心，如果是，则将所述当前滤波窗口的中心像素点数据作为所述当前联合滤波窗口的第一引导数据；

逐像素点确定所述当前帧含噪图像的所有联合滤波窗口的第一引导数据，将所述所有联合滤波窗口的第一引导数据的集合，作为所述当前帧含噪图像原数据的第一引导数据。

优选的，在上述应用于相机中适于FPGA实现的联合滤波降噪方法中，所述确定当前帧含噪图像原数据的引导数据还包括：

确定前一帧含噪图像数据的联合滤波降噪数据，作为所述当前帧含噪图像的第二引导数据。

优选的，在上述应用于相机中适于FPGA实现的联合滤波降噪方法中，所述先使用所述均值滤波窗口对所述当前帧含噪图像原数据降噪，确定待滤波数据包括，

使用所述均值滤波窗口，对所述联合滤波窗口内的像素点数据做均值滤波降噪，得到所述待滤波数据。

优选的，在上述应用于相机中适于FPGA实现的联合滤波降噪方法中，在所述确定所述待滤波数据之后，还包括：

使用所述第一引导数据或第二引导数据，对所述待滤波数据做引导滤波降噪，得到联合滤波降噪数据。

优选的，在上述应用于相机中适于FPGA实现的联合滤波降噪方法中，所述待滤波数据为Im(m,n),

其中，(m,n)表示所述联合滤波窗口的中心，ωm表示所述均值滤波窗口，i、j表示像素索引，I(i,j)表示当前帧含噪图像在均值滤波窗口内第i行第j列的原数据。

优选的，在上述应用于相机中适于FPGA实现的联合滤波降噪方法中，所述联合降噪数据为Q(m,n),

Q(m,n)＝a(m,n)I(m,n)+b(m,n)

其中，a(m,n)、b(m,n)为引导滤波数据的系数，μ(m,n)表示I(i,j)在窗口ω_m+ω_g-1中的平均值，σ²(m,n)表示I(i,j)在窗口ω_m+ω_g-1中的方差，|ω_m+ω_g-1|表示窗口ω_m+ω_g-1中像素的数目，是待滤波数据Im(m,n)在窗口ω_m+ω_g-1中的均值。

本发明提出一种应用于相机中适于FPGA实现的联合滤波降噪算法，对于含躁图像数据的噪声过滤过程,是基于FPGA硬件实现的，采用联合了均值滤波和引导滤波这两种降噪算法实现。降噪过程是先对这一帧含噪数据做均值滤波，得到待滤波数据，再做引导滤波，得到联合降噪数据。引导滤波是用引导数据对上述待滤波数据进行滤波处理的过程，其中，均值滤波令含噪图像的平坦区域平滑，同时也令边缘严重模糊，引导滤波降噪的效果会受含噪图像的信噪比影响，因其“保边”特点使得低信噪比图像中的噪点也被部分保留，令降噪效果大打折扣。同一帧含噪图像数据的均值滤波窗口大小和引导滤波窗口大小不同的话，得到的联合降噪数据是不同的。

本发明提供的应用于相机中适于FPGA实现的联合滤波降噪算法，能够利用均值滤波的平滑优点与引导滤波的保边优点相结合，根据含噪图像的信噪比合理确定联合滤波窗口的大小，使得对于同一帧含噪数据而言，相比起现有的降噪方法在降噪效果和边缘保持两个矛盾点上得到这一帧含噪图像的较佳整体降噪效果。另外，均值滤波和引导滤波的主要运算核心都是简单的均值运算，适宜在FPGA上实现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种应用于相机中适于FPGA实现的联合滤波降噪方法的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例一

参见图1，为本发明实施例提供的一种应用于相机中适于FPGA实现的联合滤波降噪方法的流程示意图。如图1所示,包括以下步骤：

在步骤S01中，确定适于FPGA降噪所用的均值滤波窗口和引导滤波窗口的大小，均值滤波窗口为ω_m，引导滤波窗口为ω_g，其中ω_m的大小为m×m，ω_g的大小为g×g。确定上述两个窗口大小的原则是，依据含噪图像的信噪比大小。信噪比是描述信号中有效成分与噪声成分的比例关系的参数，信噪比高的含噪图像噪声小，信噪比低的含噪图像噪声大。对信噪比高的含噪图像，使用较小的均值滤波和引导滤波窗口。为了清楚简单的说明本方案，现具体举例说明。例如，均值滤波窗口的大小为3×3，即该窗口为3行3列，引导滤波窗口的大小为5×5，即5行5列。

在步骤S02中，根据均值滤波窗口和引导滤波窗口，确定基于FPGA降噪所用的联合滤波窗口，联合滤波窗口为ω，其中ω的大小为(m+g-1)×(m+g-1)；即确定出一个7×7列的联合滤波窗口，下述步骤中联合滤波算法是针对这样大小的窗口内的去噪过程而言，具体操作中，是在相机的硬件FPGA上对采集的图像数据做降噪处理，使用7×7的联合降噪窗口，是指实时缓存7行当前图像数据，并逐次取7列得到7×7窗口的图像数据，然后进入下个步骤S03。

在步骤S03中，逐帧获取含噪图像原数据，当前帧含噪图像的大小为row×col，例如是10×10,10行10列。当前帧含噪图像原数据为以一个像素大小为单位的各行各列数据的集合，联合降噪窗口的子窗口对此帧含噪图像原数据进行降噪处理时，每个子窗口均缓存有一个7×7像素大小的当前帧含噪图像原数据。其中，含噪图像数据可以是噪声图像数据或噪声视频数据。

上述三个步骤，是开始联合滤波算法前的前序步骤，此后进入以下步骤，开始在FPGA上运行联合降噪的数据处理步骤。

在步骤S04中，判断FPGA是否接收到降噪使能命令，如果是，则进入步骤S05，开始对当前帧含噪图像原数据联合滤波降噪；步骤S04也可以在本实施例提供的步骤S01-S03中的任一步骤前执行。

然后进入步骤S06，使用均值滤波窗口对当前帧含噪图像原数据降噪，确定待滤波数据。

最后进入步骤S07，确定当前帧含噪图像原数据的引导数据，再使用引导数据在引导滤波窗口内对待滤波数据降噪，得到联合滤波降噪数据。按照上述步骤S06和S07降噪，完成当前帧的联合滤波降噪后，重复上述步骤S04-S07开始下一帧含噪图像数据的降噪处理。

由本实施例提供的上述步骤可知，引导滤波是用引导数据对上述待滤波数据进行滤波的过程，其中，引导数据可以根据含噪图像的信噪比进行选择，若信噪比较高，则可以选含噪图像原数据作为引导数据，若信噪比较低，则可以选前一帧图像的联合降噪数据作为引导数据。本实施例提供的联合降噪方法，对含噪图像原数据做了两次降噪处理。均值滤波降低含噪图像的噪声的同时，也令图像边缘模糊。相反的，引导滤波却因其“保边”特点，使得图像边缘处的噪点也被部分保留，令整体降噪效果大打折扣。故将均值滤波的平滑优点与引导滤波的保边优点相结合，再加之合理确定联合滤波窗口的大小，原含噪图像的信噪比无论高还是低，得到的降噪图像在平滑图像的基础上均能较好的保留图像的细节信息，相比起现有的降噪方法得到较佳整体降噪效果。另外，均值滤波和引导滤波的主要运算都是简单的均值运算，算法复杂度低，适宜在FPGA上实现。

实施例二

均值滤波的核心就是均值运算，过程是指求取均值滤波窗口内所有像素值的总和除以窗口内的像素点数目。均值滤波窗口越大，对图像的平滑效果越强，即降噪后的图像越模糊。不过，这种降噪结果是针对只用单一的均值滤波算法而言是准确的，对于实施例一种使用的联合降噪方法而言，确实不一定准确的。这是因为联合降噪方法，降噪结果是受均值滤波窗口大小和引导滤波窗口大小共同决定的。例如，对于含噪图像A和含噪图像B，前者的信噪比小于后者的信噪比，即前者噪音大。对含噪图像A先使用4×4的均值滤波窗口，再使用5×5的引导滤波，对含噪图像B先使用3×3的均值滤波窗口，再使用5×5或4×4的引导滤波窗口，两个含噪图像得到的降噪结果均是较好的。如果反过来的话，就会造成含噪图像A降噪后不够平滑，而含噪图像B降噪后过于模糊。尤其是含噪图像的信噪比较高的情况下，本发明提供的联合滤波降噪方法的优势更为明显，即降噪效果越好。

但是，考虑到均值滤波和引导滤波均有平滑作用，但在同等大小的滤波窗口内，均值滤波的平滑程度要大于引导滤波的保边效果，为了平衡图像平滑和边缘保持两者的关系，保证每个含噪图像的最终降噪结果，优选均值滤波窗口的半径小于引导滤波窗口的半径。在相机的FPGA上实现的联合滤波降噪方法，对于含噪图像的降噪是逐帧进行的，如果对于当前帧的最终降噪结果不满意，则可以适当选取更大的均值滤波窗口和相应的更大的引导滤波窗口，同时还应该满足均值滤波窗口的半径小于引导滤波窗口的半径。例如，对于上述含噪图像A,如果对最终降噪结果不满意，可以选取5×5的均值滤波窗口，7×7的引导滤波窗口。此时，在FPGA上实时缓存的含噪图像A的大小就从8×8变成了11×11，实时处理的数据量变多，对于同样大小的含噪图像，逐像素点降噪的次数减少，变化前后在FPGA实时降噪的运行速率也不相同。根据实际运行经验，均值滤波窗口的半径可以为3-7个像素，相应的，引导滤波窗口的半径可以为5-30个像素，在这些范围内的滤波半径，能够兼顾降噪效果和联合降噪方法的运行效率。

本发明提供的联合降噪方法的第一次降噪过程是对含噪图像做均值滤波得到待滤波图像的降噪过程，第二次降噪过程，是使用引导数据对待滤波数据做引导滤波，得到联合滤波降噪数据的降噪过程。在均值滤波窗口大小和引导滤波窗口大小相同的情况下，可见不同的引导数据得到的联合滤波降噪数据一定不同，引导数据的确定过程如上所述。

但是在实际实施中，根据引导图像的不同，可以分成2D联合滤波降噪和3D联合滤波降噪方法，区别在于前者的引导图像为含噪图像本身，后者的引导图像为前一帧含噪图像的第二次降噪数据组成的图像。若噪声轻微选择2D降噪，可以直接将原图作为引导图像，这样既可以去除轻微噪声，又不会令图像发生较大变化；若噪声严重选择3D降噪，则将前一帧图像的联合降噪结果作为引导图像，因为前一帧图像的联合降噪结果比含噪图像自身的信噪比高，也可以选择与含噪图像大小一致、信噪比高的其他图像做引导图像。3D降噪算法体现在FPGA实现中，需要存储前一帧降噪处理后的图像，可以将其存储在DDR(Double DataRate，双倍速率同步动态随机存储器)中。

在2D降噪时，若含噪图像为黑白图像，则直接进行处理即可，若含噪图像为彩色图像，为了保持图像色彩的恒常性，首先将RGB图像转为YUV图像，联合降噪算法只对图像的Y分量做处理，U分量和V分量不做处理，然后将处理完的Y分量和原始的U、V分量转成RGB图像即可。

在确定了引导数据或引导图像之后，进入上述步骤S06中，使用与联合滤波窗口相对应的均值滤波窗口，对联合滤波窗口内的像素点数据做均值滤波降噪，得到待滤波数据。具体降噪运算过程为：

其中，I^m(m,n)为待滤波数据,(m,n)表示联合滤波窗口的中心，ω_m表示均值滤波窗口，i，j表示像素索引，I(i,j)表示当前帧含噪图像在均值滤波窗口内第i行第j列的原数据。可见，主要运算是求均值，即主要做加法，可以说对FPGA的逻辑资源消耗比较小，便于在FPGA上运行。另外，算法的复杂度低，运算时间短，可以做到实时处理。

在确定了待滤波数据之后和引导数据后，进入步骤S07，使用第一引导数据或第二引导数据，对待滤波数据做引导滤波降噪，得到联合滤波降噪数据。具体是指得到下述联合降噪数据为Q(m,n),

Q(m,n)＝a(m,n)I(m,n)+b(m,n) (2)

其中，a(m,n)、b(m,n)为引导滤波数据的系数，μ(m,n)表示I(i,j)在窗口ω_m+ω_g-1中的平均值，σ²(m,n)表示I(i,j)在窗口ω_m+ω_g-1中的方差，|ω_m+ω_g-1|表示窗口ω_m+ω_g-1中像素的数目，是待滤波数据I^m(m,n)在窗口ω_m+ω_g-1中的均值。

上述计算联合降噪数据的计算是简化版，主要是使用的系数a、b均为简化后的系数，简化前的系数应该是系数a、b均取均值，再使用这两个均值计算得到Q(m,n)，这里简化的根据是：假定窗口ω的中心位置k(i,j)处的像素点被其他中心位置的子窗口包围计算得到的系数权重为0，只有在以该像素点为中心位置的窗口计算得到的系数权重为1。而且，通过实验验证，简化算法的降噪效果与原算法的降噪效果相差不大，为了减小FPGA运算量，故采用简化版算法。通过对算法变形、简化，使其更适宜FPGA实现，实现在FPGA上实现对含噪图像实时降噪处理。

通过以上的方法实施例的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件或者通用硬件平台的方式来实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种应用于相机中适于FPGA实现的联合滤波降噪方法,其特征在于,包括以下步骤：

确定适于FPGA降噪所用的均值滤波窗口和引导滤波窗口的大小，所述均值滤波窗口为ω_m，所述引导滤波窗口为ω_g，其中ω_m的大小为m×m，ω_g的大小为g×g；

根据所述均值滤波窗口和引导滤波窗口，确定适于所述FPGA降噪所用的联合滤波窗口，所述联合滤波窗口为ω，其中ω的大小为(m+g-1)×(m+g-1)；

逐帧获取含噪图像原数据，当前帧含噪图像的大小为row×col；

判断FPGA是否接收到降噪使能命令，如果是，则开始对当前帧含噪图像原数据进行联合滤波降噪；其中，

所述联合滤波降噪包括：先使用所述均值滤波窗口对所述当前帧含噪图像原数据降噪，确定待滤波数据，再确定所述当前帧含噪图像原数据的引导数据，使用所述引导数据在所述引导滤波窗口内对所述待滤波数据降噪，得到联合滤波降噪数据，其中，

所述确定当前帧含噪图像原数据的引导数据包括：

在所述当前帧含噪图像数据的所有像素点中，逐像素点移动所述联合滤波窗口，判断当前像素点是否位于当前联合滤波窗口的中心，如果是，则将当前滤波窗口的中心像素点数据作为所述当前联合滤波窗口的第一引导数据；

逐像素点确定所述当前帧含噪图像的所有联合滤波窗口的第一引导数据，将所述所有联合滤波窗口的第一引导数据的集合，作为所述当前帧含噪图像原数据的第一引导数据。

2.根据权利要求1所述的应用于相机中适于FPGA实现的联合滤波降噪方法，其特征在于，所述均值滤波窗口ω_m的半径小于所述引导滤波窗口ω_g的半径。

3.根据权利要求1所述的应用于相机中适于FPGA实现的联合滤波降噪方法，其特征在于，所述均值滤波窗口ω_m的半径为3-7个像素，所述引导滤波窗口ω_g的半径为5-30个像素。

4.根据权利要求1所述的应用于相机中适于FPGA实现的联合滤波降噪方法，其特征在于，所述确定当前帧含噪图像原数据的引导数据还包括：

确定前一帧含噪图像数据的联合滤波降噪数据，作为所述当前帧含噪图像的第二引导数据。

5.根据权利要求1或4所述的应用于相机中适于FPGA实现的联合滤波降噪方法，其特征在于，所述先使用所述均值滤波窗口对所述当前帧含噪图像原数据降噪，确定待滤波数据包括，

使用所述均值滤波窗口，对所述联合滤波窗口内的像素点数据做均值滤波降噪，得到所述待滤波数据。

6.根据权利要求5所述的应用于相机中适于FPGA实现的联合滤波降噪方法，其特征在于，在所述确定所述待滤波数据之后，还包括：

使用所述第一引导数据或第二引导数据，对所述待滤波数据做引导滤波降噪，得到联合滤波降噪数据。

7.根据权利要求5所述的应用于相机中适于FPGA实现的联合滤波降噪方法，其特征在于，所述待滤波数据为I^m(m,n),

其中，(m,n)表示所述联合滤波窗口的中心，ω_m表示所述均值滤波窗口，i、j表示像素索引，I(i,j)表示当前帧含噪图像在均值滤波窗口内第i行第j列的原数据。

8.根据权利要求7所述的应用于相机中适于FPGA实现的联合滤波降噪方法，其特征在于，联合降噪数据为Q(m,n),

Q(m,n)＝a(m,n)I(m,n)+b(m,n)

其中，a(m,n)、b(m,n)为引导滤波数据的系数，μ(m,n)表示I(i,j)在窗口ω_m+ω_g-1中的平均值，σ²(m,n)表示I(i,j)在窗口ω_m+ω_g-1中的方差，|ω_m+ω_g-1|表示窗口ω_m+ω_g-1中像素的数目，是待滤波数据I^m(m,n)在窗口ω_m+ω_g-1中的均值。