CN115829956A - 一种基于fpga的低照度视频增强硬件实现方法 - Google Patents

Abstract

本发明公开了一种基于FPGA的低照度视频增强硬件实现方法，包括：RGB和HSV空间相互转换；对于V通道，得到输入这一帧图像的像素个数和总灰度值；亮度评价模块，依据图像的平均亮度值对图像的低照度情况定量评价并划分层级，并加入阻尼系数防止参数突变；根据低照度的评价确定合适的限幅值，对一帧图像的直方图信息统计和存储；对统计结果归一化得到映射表；双线性插值，消除分块直方图均衡的块效应；判断像素点运动强度，区分前景和背景；对背景用双边滤波算法空域去噪；对前景时域去噪。本发明利用CLAHE算法保持颜色不失真的同时提高低照度图像亮度和对比度，并且能根据场景实时变化增强程度，再通过视频3D去噪算法提升成像质量。

Description

一种基于FPGA的低照度视频增强硬件实现方法

技术领域

本发明属于图像处理技术领域，具体为一种基于FPGA的低照度视频增强硬件实现方法。

背景技术

FPGA由于其并行计算和可编程的特性，越来越多地用于视频或图像处理的实现。在低照度环境下，对于夜间采集的图像，由于夜间的低照度条件和夜间照明的特殊性，会存在拍摄亮度低，对比度下降，并伴随大量噪声的问题，图像传感器得到的视频流在采集、处理和传输过程中也会不可避免收到噪声的影响；或存在光照分布不均匀，只有局部光照充足，其他区域细节可见度下降，噪声分布也更为复杂；还有夜间大部分情况下非白光照明导致的物体颜色偏差。直方图均衡化是使用非常多的一种增强图像对比度的方法，但是存在局部过曝，部分区域增强效果不好的问题，改进的CLAHE算法增强效果有明显改善，但是复杂度高，迭代次数多，难以做到实时处理，增强强度也无法自动调节。视频去噪的方法目前主流是视频3D去噪方法，即空域去噪和时域去噪相结合的方法，但是空域去噪的方法会破坏图像细节，方法的选择对去噪效果影响较大，而时域去噪忽略空间相关性，会受到运动物体影响，且复杂度高，资源消耗大，不太适合在FPGA平台上实现。

发明内容

本发明的目的在于提供一种基于FPGA的低照度图像增强硬件实现方法，可移植进相机中，能根据环境场景自适应增强视频对比度、亮度，改善视觉效果，保持颜色不失真，并减少噪声的影响，使用的算法都进行并行化处理，提升了算法速度。

实现本发明目的的技术方案为：一种基于FPGA的低照度视频增强硬件实现方法，具体步骤为：

步骤1：在FPGA内部构建RGB转HSV色彩空间模块，得到V通道图像明度信息；

步骤2：统计V通道信息，计算帧平均亮度，将平均亮度经过阻尼系数的处理，根据处理结果判断是否为低照度图像，如果是，计算限幅值，进行下一步，如果否，直接输出原图像；

步骤3：在FPGA内部构建分块直方图统计模块，并采用减少ram读写的逻辑设计获得图像各块的直方图信息；

步骤4：在FPGA内部构建归一化计算和插值模块，对图像各块进行直方图均衡化操作，块与块之间双线性插值映射；

步骤5：在FPGA内部构建滤波模块，对图像进行双边滤波去噪；

步骤6：在FPGA内部构建运动估计模块，将上一帧图像与当前帧差分，并通过中值滤波处理滤除椒盐噪声，使用阻尼系数处理后的平均亮度和阈值对结果二值化使前景和背景分离，并加入形态学滤波处理构建一个背景和前景的掩膜，对没有被判定为运动点的像素进行时域滤波。

优选地，RGB转HSV色彩空间模块进行色彩空间转换的实现方法为：

依据公式得到H、S、V三个通道数据：

max＝max(R,G,B)；

min＝min(R,G,B)；

V＝max(R,G,B)；

得到H、S、V三个通道数据，其中R，G，B分别为R，G，B三个颜色通道的灰度值。

优选地，统计V通道信息，得到输入图像的整体亮度情况的具体方法为：

当图像数据写入读取像素值时，设置两个29bit位宽的寄存器，保存当前时刻输入像素的个数和累加和，每个周期进行更新，一帧数据过后即得到此图像帧的像素累计个数与V通道数据累加和；使用除法器得到平均值average，即为当前帧平均亮度。

优选地，对亮度信息进行阻尼系数处理的具体公式为：

g(n)＝(1-s)*g(n-1)+s*g

其中，g为需要收敛到的值，即average值，n为当前帧数，g(n-1)为上一帧处理后的数值，g(n)为当前帧处理后的数值，s为阻尼系数。

优选地，根据处理结果判断是否为低照度图像，如果是，计算限幅值的具体方法为：

当求得的g(n)小于等于设定阈值时，判定为低照度图像，求限幅值，具体为：

根据平均值的大小确定限幅值，具体为：

其中，up为限幅值大小，y为亮度信息，这里为g(n)。

优选地，获得图像各块的直方图信息的具体方法为：

例化一个RAM作为统计结果的保存，数据位宽为12bit，数据深度16384，即14地址线，其中高六位为行选址、列选址，低八位为像素数据；

对图像分为6行8列，每一块区域都有独立的地址；

设置一个写入使能和计数器，当某一时刻写入数据和上一时刻读出数据相同时，写入的使能拉低，计数器加1，相同的像素数据在计数器上统计，最后一并写入RAM，并且对于大于up设置数值的像素，用up数值代替写入RAM，并且存储这种像素的个数；

设置状态和转移情况，具体为：设置一个IDLE复位状态，得到场信号下降沿信号，进入直方图统计状态，得到场信号上升沿信号，说明有效像素输入完毕，进入计算裁剪值状态，把超出幅度的总个数，平均分摊到每一个像素灰度级，多余部分优先分摊到低像素级，即使用除法器计算商和余数；根据指示信号进入RAM2清零模块，RAM2即是保存累计分布直方图的存储器，对RAM2每一位地址遍历写入0，用计数器计算时间，等待清零结束进入累加状态；累加状态将每个灰度级前面的数据相加，再加上前面裁剪的商和余数，得到限制对比度的累计分布直方图，存入RAM2；同样使用计数器计算时间，完成后进入RAM1即直方图统计的RAM的清零，清零结束后进入等待状态，等待下一帧图像数据到来。

优选地，双线性插值的公式为：

x，y，r，s分别为该图像块中像素点到左右上下分割子块边界的距离，map_(i-1,j-1)，map_(i,j-1)，map_(i-1,j)，map_(i,j)分别为像素点所在子块四个邻近图像块的映射函数，P_out为插值后像素点值。

优选地，在FPGA内部构建滤波模块，对图像进行双边滤波去噪的具体方法为：在matlab上计算好3*3的值域和空间域滤波核，数据初始化在vivado的ROM中，数据进入时直接从ROM读出数据得到双边滤波卷积核，运算后得到结果。

优选地，中值滤波处理滤除椒盐噪声的具体方法为：例化4个深度为一行数据大小的FIFO作为行缓存，4行缓存数据和读写进来的数据共同组成5*5大小的卷积核，对25个数据分组排序，得到中值代替卷积核中心的数值。

优选地，对中值滤波处理后的结果二值化使前景和背景分离，并加入形态学滤波处理构建一个背景和前景的掩膜，对没有被判定为运动点的像素进行时域滤波的具体方法为：

对处理后的帧差图像，计算每个像素点3*3邻域的均值作为运动判断参数P，对当前帧计算像素点噪声强度，具体公式为：

其中N为噪声强度，w(i,j)为3*3领域中第i行第j列的像素数据，avr为均值。P和N比较，如果P大于N则该像素被判定为运动像素点，将像素灰度值置为255，否则置为0，由此得到二值化图像；

二值化图像经过闭运算的形态学滤波处理后得到运动点的掩膜图像；

根据掩膜图像信息，对运动点不处理，对非运动点时域滤波，时域滤波具体公式为：

其中g(x,y)为处理结果，f(x,y)为当前帧，

为参考帧。

优选地，二值化图像经过闭运算的形态学滤波处理后得到运动点的掩膜图像的具体方法为：对二值图像先膨胀运算后腐蚀运算，膨胀方法为该像素3*3邻域值若存在灰度值为255的点则整个邻域灰度值都置为255，腐蚀方法为该像素3*3邻域内若存在灰度值为0的点则整个邻域灰度值都置为0。

本发明与现有的技术相比，其显著优点为：(1)在HSV色彩空间对彩色图像的增强处理，保持了图像的饱和度，防止颜色失真。(2)通过对图像信息统计，实时调节对比度限幅，对不同照度场景的图像都有良好的效果。(3)运动判断时使用动态阈值的方法，对每一个像素点都有不同的阈值，对运动点判断的掩膜图像加入了中值滤波和形态学滤波等预处理，提高了区域划分的准确度(4)选用的双边滤波空域滤波，和时域滤波方法去噪效果良好，对边缘和细节信息也有较好保留。(5)将算法移植在了FPGA上实现，有良好的通用性，提高了实时性。

下面结合附图对本发明作进一步详细说明。

附图说明

图1是本发明总体结构框架。

图2是HSV色彩空间的V通道图。

图3是未插值前直方图均衡处理的图。

图4是插值后消除块效应的图。

图5是视频3D去噪具体逻辑结构图。

图6是增强后去噪前图像。

图7是增强后去噪后图像。

具体实施方式

如图1所示，是本发明低照度图像增强硬件实现方法的总体框图，分为增强和去噪两大模块。

如图2所示，HSV色彩通道的V通道体现了图像的明度信息，对其进行增强不会影响图像原本的颜色和色彩饱和度信息。

如图3所示，进行分块直方图处理之后，图像各块都进行了不同程度的增强，较亮区域和较暗区域增强效果不同，但是产生了明显的块效应。图4为插值消除后的效果。

如图5所示，为视频3D去噪数据流的结构，具体分为得到帧差图、帧差图预处理和空域、时域滤波。

一种基于FPGA的低照度图像增强硬件实现方法，针对于小型智能相机在低照度条件下对成像效果改善的方案，对软件串行的相关算法进行硬件上并行计算的移植，有效发挥FPGA的速度和资源优势。并且改进算法，使相机成像可以依据环境自适应改变相关参数和效果，去噪部分合理设置并且，并且根据每个像素点运动情况设置不同的阈值，较准确地划分出运动点和非运动点，并加入各种预处理方法得到一个较好的运动区域掩膜图像。具体步骤为：

步骤1：在FPGA内部构建RGB转HSV色彩空间模块，得到V通道图像明度信息。色彩空间转换的实现方法为：依据公式：

max＝max(R,G,B)；

min＝min(R,G,B)；

V＝max(R,G,B)；

得到H、S、V三个通道数据，其中R，G，B分别为R，G，B三个颜色通道的灰度值，V通道输入到接下来的模块做进一步处理。H通道和S通道保存在寄存器中打拍等待V通道处理完毕，再重新转换到RGB空间，

步骤2：统计V通道信息，得到输入图像的整体亮度情况。当图像数据写入，一个个读取像素值时，设置两个29bit位宽的寄存器，保存当前时刻输入像素的个数和累加和，每个周期进行更新，一帧数据过后即得到此图像帧的像素累计个数与V通道数据累加和。使用除法器得到平均值average，即为当前帧平均亮度。再使用阻尼系数处理防止跳变，阻尼系数处理公式：

g(n)＝(1-s)*g(n-1)+s*g

其中g为需要收敛到的值，n为当前帧数，g(n-1)为上一帧处理后的数值，g(n)为当前帧处理后的数值。s为阻尼系数，这里可以设定为0.2。1-s的三十次方为0.001基本可以忽略，所以可以说处理三十次后g(n)收敛到g。这里将average值代入g，则g(n)经过30帧后收敛到average。判断是否为低照度图像方法：当g(n)大于120时，判定为正常光照图像，输出原图像不经过本文方法处理，否则继续进行下面所有步骤。根据g(n)的大小确定接下来直方图统计模块的限幅值。具体为：

其中up为限幅值大小。

步骤3：在FPGA内部构建分块直方图统计模块，获得图像各块的直方图信息。直方图统计的具体方法为：例化一个RAM作为统计结果的保存，数据位宽为12bit，数据深度16384，即14地址线，其中高六位为行选址、列选址，低八位为像素数据。对图像分为6行8列，每一块区域都有独立的地址。常规存储方法是图像数据到来，相应地址上数据加1，每一个像素都要进行一次数据读取和写入。但是低照度情况下，很多像素数据区间集中在很小的范围内，必然会有大量像素数据重复，所以设置一个写入使能和计数器，当某一时刻写入数据和上一时刻读出数据相同时，写入的使能拉低，计数器加1，这样相同的像素数据就会在计数器上统计，最后一并写入RAM，减少了RAM读写次数，减少错误发生的可能。并且对于大于up设置数值的像素，用up数值代替写入RAM，并且存储这种像素的个数。设置的状态和转移情况，具体为：设置一个IDLE复位状态，得到场信号下降沿信号，进入直方图统计状态，得到场信号上升沿信号，说明有效像素输入完毕，进入计算裁剪值状态，把超出幅度的总个数，平均分摊到每一个像素灰度级，多余部分优先分摊到低像素级，即使用除法器计算商和余数。除法结束后，根据指示信号进入RAM2清零模块，RAM2即是保存累计分布直方图的存储器，对RAM2每一位地址遍历写入0，用计数器计算时间，等待清零结束进入累加状态；累加状态将每个灰度级前面的数据相加，再加上前面裁剪的商和余数，就得到了限制对比度的累计分布直方图，存入RAM2。同样使用计数器计算时间，完成后进入RAM1即直方图统计的RAM的清零，清零结束后进入等待状态，等待下一帧图像数据到来。

步骤4：在FPGA内部构建归一化计算和插值模块，对图像各块进行直方图均衡化操作，块与块之间双线性插值映射。对累计分布直方图数据读取之后，除以每块总像素个数，就得到了灰度变换映射表。但是由于是对图像分块均衡，结果会产生明显的块效应，如图3所示。解决办法为实现双线性插值，每一个图像块像素的映射值由邻近的图像块映射值插值得到。具体插值公式为：

x，y，r，s分别为该图像块中像素点到左右上下分割子块边界的距离，map_(i-1,j-1)，map_(i,j-1)，map_(i-1,j)，map_(i,j)分别为像素点所在子块四个邻近图像块的映射函数，P_out为插值后像素点值。由于需要同时用到四个图像块的映射值，累计分布直方图结果需要存入四个RAM中，编写调用的地址逻辑，让插值模块同时调用，其中i、j、s、r参数，根据输入数据逐像素逐行的特点以及所在区域的不同，系数i可以设置为240，在除了左边界和有边界的子块内随图像输入每个周期递减，左边界恒为240，有边界恒为0；同理系数s初始值180，上下边界递减，上边界区域保持180，下边界为0。区域的识别同样采用计数方法设置flag信号标识区域种类。之后计算j和r的值，i和s打拍同步后，在四个周期内做插值处理。对于角块使用原映射值，对于图像边缘的用相邻两块图像块做一维线性插值。插值处理后得到图4所示的图像，可以看到块效应消失，图像块之间过渡平滑，视觉效果较好。

步骤5：在FPGA内部构建滤波模块，对图像进行双边滤波去噪。在FPGA上实现简化后的双边滤波。预先在matlab上计算好3*3的值域和空间域滤波核，通过实验增加数据上下限，并通过扩大1024倍定点化处理，初始化在vivado的ROM中，数据进入时直接从ROM读出数据得到双边滤波卷积核，运算后得到结果。

步骤6：在FPGA内部构建运动估计模块，将上一帧图像与当前帧差分，并通过中值滤波处理滤除椒盐噪声，使用合适的阈值对结果二值化使前景和背景分离，并加入形态学滤波处理构建一个背景和前景的掩膜。没有被判定为运动点的像素进行时域滤波。本发明使用DDR3来视频帧缓存，例化vivado的MIG 7IP核，编写读写控制逻辑，实现多通道缓存数据读写。视频帧传输到来时，同步地选择读取上一帧的视频数据，进行差分运算，得到了相邻两帧的数据差异情况，为了避免脉冲噪声对差分结果的影响，选择使用5*5窗口大小的中值滤波处理结果，方法为例化4个深度为一行数据大小的FIFO作为行缓存，4行缓存数据和读写进来的数据共同组成了5*5大小的卷积核，对25个数据分组排序，最终得到中值，代替卷积核中心的数值大小。对处理后的帧差图像，计算每个像素点3*3邻域的均值作为运动判断参数P，其中邻域的选取与中值滤波类似，用2个FIFO缓存两行数据得到3*3窗口。与此同时，对当前帧计算像素点噪声强度，具体方法为计算3*3邻域的平均值，并计算3*3邻域内每个数据与均值的差并求和，最后取平均。表达式为：

其中N为噪声强度，w(i,j)为3*3领域中第i行第j列的像素数据，avr为均值。P和N比较，如果P大于N则该像素被判定为运动像素点，将像素灰度值置为255，否则置为0，由此得到二值化图像。二值化图像再经过闭运算等形态学滤波处理后得到运动点的掩膜图像。具体方法为先膨胀运算后腐蚀运算，膨胀方法为该像素3*3邻域值若存在灰度值为255的点则整个邻域灰度值都置为255，腐蚀方法为该像素3*3邻域内若存在灰度值为0的点则整个邻域灰度值都置为0。根据掩膜图像信息，对运动点不处理，只进行延迟打拍，对非运动点时域滤波，最后共同组成视频3D去噪结果。时域滤波具体公式为：

其中g(x,y)为处理结果，f(x,y)为当前帧，

为参考帧。最终处理结果如图7，可以看到与图6相比去噪效果明显，细节保留较好。

Claims (10)

1.一种基于FPGA的低照度视频增强硬件实现方法，其特征在于，具体步骤为：

步骤1：在FPGA内部构建RGB转HSV色彩空间模块，得到V通道图像明度信息；

步骤2：统计V通道信息，计算帧平均亮度，将平均亮度经过阻尼系数的处理，根据处理结果判断是否为低照度图像，如果是，计算限幅值，进行下一步，如果否，直接输出原图像；

步骤3：在FPGA内部构建分块直方图统计模块，并采用减少ram读写的逻辑设计获得图像各块的直方图信息；

步骤4：在FPGA内部构建归一化计算和插值模块，对图像各块进行直方图均衡化操作，块与块之间双线性插值映射；

步骤5：在FPGA内部构建滤波模块，对图像进行双边滤波去噪；

步骤6：在FPGA内部构建运动估计模块，将上一帧图像与当前帧差分，并通过中值滤波处理滤除椒盐噪声，使用阻尼系数处理后的平均亮度和阈值对结果二值化使前景和背景分离，并加入形态学滤波处理构建一个背景和前景的掩膜，对没有被判定为运动点的像素进行时域滤波。

2.根据权利要求1所述的基于FPGA的低照度视频增强硬件实现方法，其特征在于，RGB转HSV色彩空间模块进行色彩空间转换的实现方法为：

依据公式得到H、S、V三个通道数据：

max＝max(R,G,B)；

min＝min(R,G,B)；

V＝max(R,G,B)；

得到H、S、V三个通道数据，其中R，G，B分别为R，G，B三个颜色通道的灰度值。

3.根据权利要求1所述的基于FPGA的低照度视频增强硬件实现方法，其特征在于，统计V通道信息，得到输入图像的整体亮度情况的具体方法为：

当图像数据写入读取像素值时，设置两个29bit位宽的寄存器，保存当前时刻输入像素的个数和累加和，每个周期进行更新，一帧数据过后即得到此图像帧的像素累计个数与V通道数据累加和；使用除法器得到平均值average，即为当前帧平均亮度。

4.根据权利要求3所述的基于FPGA的低照度视频增强硬件实现方法，其特征在于，对亮度信息进行阻尼系数处理的具体公式为：

g(n)＝(1-s)*g(n-1)+s*g

其中，g为需要收敛到的值，即average值，n为当前帧数，g(n-1)为上一帧处理后的数值，g(n)为当前帧处理后的数值，s为阻尼系数。

5.根据权利要求4所述的基于FPGA的低照度视频增强硬件实现方法，其特征在于，根据处理结果判断是否为低照度图像，如果是，计算限幅值的具体方法为：

当求得的g(n)小于等于设定阈值时，判定为低照度图像，求限幅值，具体为：

根据平均值的大小确定限幅值，具体为：

其中，up为限幅值大小，y为亮度信息，这里为g(n)。

6.根据权利要求1所述的基于FPGA的低照度视频增强硬件实现方法，其特征在于，获得图像各块的直方图信息的具体方法为：

例化一个RAM作为统计结果的保存，数据位宽为12bit，数据深度16384，即14地址线，其中高六位为行选址、列选址，低八位为像素数据；

对图像分为6行8列，每一块区域都有独立的地址；

设置一个写入使能和计数器，当某一时刻写入数据和上一时刻读出数据相同时，写入的使能拉低，计数器加1，相同的像素数据在计数器上统计，最后一并写入RAM，并且对于大于up设置数值的像素，用up数值代替写入RAM，并且存储这种像素的个数；

设置状态和转移情况，具体为：设置一个IDLE复位状态，得到场信号下降沿信号，进入直方图统计状态，得到场信号上升沿信号，说明有效像素输入完毕，进入计算裁剪值状态，把超出幅度的总个数，平均分摊到每一个像素灰度级，多余部分优先分摊到低像素级，即使用除法器计算商和余数；根据指示信号进入RAM2清零模块，RAM2即是保存累计分布直方图的存储器，对RAM2每一位地址遍历写入0，用计数器计算时间，等待清零结束进入累加状态；累加状态将每个灰度级前面的数据相加，再加上前面裁剪的商和余数，得到限制对比度的累计分布直方图，存入RAM2；同样使用计数器计算时间，完成后进入RAM1即直方图统计的RAM的清零，清零结束后进入等待状态，等待下一帧图像数据到来。

7.根据权利要求1所述的基于FPGA的低照度视频增强硬件实现方法，其特征在于，双线性插值的公式为：

x，y，r，s分别为该图像块中像素点到左右上下分割子块边界的距离，map_(i-1,j-1)，map_(i,j-1)，map_(i-1,j)，map_(i,j)分别为像素点所在子块四个邻近图像块的映射函数，P_out为插值后像素点值。

8.根据权利要求1所述的基于FPGA的低照度视频增强硬件实现方法，其特征在于，在FPGA内部构建滤波模块，对图像进行双边滤波去噪的具体方法为：在matlab上计算好3*3的值域和空间域滤波核，数据初始化在vivado的ROM中，数据进入时直接从ROM读出数据得到双边滤波卷积核，运算后得到结果。

9.根据权利要求1所述的基于FPGA的低照度视频增强硬件实现方法，其特征在于，中值滤波处理滤除椒盐噪声的具体方法为：例化4个深度为一行数据大小的FIFO作为行缓存，4行缓存数据和读写进来的数据共同组成5*5大小的卷积核，对25个数据分组排序，得到中值代替卷积核中心的数值。

10.根据权利要求1所述的基于FPGA的低照度视频增强硬件实现方法，其特征在于，对中值滤波处理后的结果二值化使前景和背景分离，并加入形态学滤波处理构建一个背景和前景的掩膜，对没有被判定为运动点的像素进行时域滤波的具体方法为：

对处理后的帧差图像，计算每个像素点3*3邻域的均值作为运动判断参数P，对当前帧计算像素点噪声强度，具体公式为：

其中N为噪声强度，w(i,j)为3*3领域中第i行第j列的像素数据，avr为均值。P和N比较，如果P大于N则该像素被判定为运动像素点，将像素灰度值置为255，否则置为0，由此得到二值化图像；

二值化图像经过闭运算的形态学滤波处理后得到运动点的掩膜图像；

根据掩膜图像信息，对运动点不处理，对非运动点时域滤波，时域滤波具体公式为：

其中g(x,y)为处理结果，f(x,y)为当前帧，

为参考帧。

Images