CN110047052A

CN110047052A - 一种基于fpga的强光抑制夜视增强方法

Info

Publication number: CN110047052A
Application number: CN201910341110.7A
Authority: CN
Inventors: 任广辉; 熊阿龙; 何胜阳; 任路铭; 韩易伸; 魏俊杰
Original assignee: Harbin Institute of Technology
Current assignee: Harbin Institute of Technology
Priority date: 2019-04-25
Filing date: 2019-04-25
Publication date: 2019-07-23

Abstract

一种基于FPGA的强光抑制夜视增强方法，属于图像处理领域。现有对夜间可见光视频图像的处理存在不能同时对黑暗处和强光处的图像进行处理的技术缺陷，以及图像处理计算量大，不适用在FPGA中实现的问题。一种基于FPGA的强光抑制夜视增强方法，搭建基于核心处理器FPGA的硬件视频处理平台，并利用图像传感器获取当前场景的视频图像；对采集得到的视频图像，在FPGA中对夜间图像通过黑暗处图像增强、强光照抑制和bayer类型的视频图像转为RGB格式彩色视频图像输出的算法进行改进；对经过FPGA处理后的bayer数据进行彩色变换，得到RGB格式的彩色图像。本发明能够同时对图像中的黑暗处进行增强和对强光处进行抑制处理，从而提升整体视频图像的质量和视觉效果。

Description

一种基于FPGA的强光抑制夜视增强方法

技术领域

本发明涉及一种基于FPGA的强光抑制夜视增强方法。

背景技术

在传统的视频监控或车载视频中，在夜晚的条件下受到场景环境的影响很大，当画面中有车灯或路灯等强光出现，或是整幅图像中光照分布不均匀时，会造成拍摄的视频中强光十分突显，而很多我们实际关心的图像细节内容却非常的黑暗，视觉上无法分辨出更多的有用信息。针对现有的夜间视频存在的问题，如何将黑暗环境中的强光照的部分进行一直，并同时将较暗部分的图像内容进行增强恢复，成为了目前实际研究的重点和难点。FPGA(Field Programmable Gate Array)，即现场可编程门阵列，是具有高并行度、可定制、可重构的一种高性能计算芯片，常用于各类信号处理、数据计算等应用当中。在视频图像处理中，FPGA由于其自身并行的高速计算特性，可以大大降低视频处理的延迟，达到时时视频处理输出的效果，有着显著的优势。动态视频处理的即时性，数据量大对硬件要求较高，也是目前的难点与解决重点，所以FPGA的巧妙结合与应用则尤为重要。

发明内容

本发明的目的是为了解决现有的监控视频在夜间受强光源影响，画面中黑暗处的细节信息丢失，而现有的图像处理方法不能同时兼顾黑暗处和强光处的图像的问题，而提出一种基于FPGA的强光抑制夜视增强方法，并通过一定的夜视增强算法，在抑制强光的同时提高黑暗处的图像细节，使整体视频画面质量提高，并可以实时显示。

一种基于FPGA的强光抑制夜视增强方法，所述的增强方法包括以下步骤：

步骤一、搭建基于核心处理器FPGA的硬件视频处理平台：利用图像传感器获取当前场景的视频图像，并以bayer的数据格式将视频图像输入到核心处理器FPGA中，以进行处理；

步骤二、对步骤一中采集得到的视频图像的像素值进行光强度的判断，当像素值小于等于设定的阈值T时，则认为此像素位置为较暗处，需要对图像的内容细节进行增强；

步骤三、对步骤一中采集得到的视频图像的像素值进行光强度的判断，若像素值大于设定的阈值T时则对其进行压制，降低强光影响；

步骤四、对经过步骤二和步骤三处理后的bayer数据进行彩色变换，得到RGB格式的彩色图像；

步骤五、将经过核心处理器FPGA处理后的视频图像，由HDMI接口输出，用于在具有HDMI接口的显示器上进行显示，且可以选择彩色或灰度的形式进行输出。

本发明的有益效果为：

本发明针对夜间可见光视频图像视觉效果差，尤其在存在强光时图像内容被光晕遮挡严重，暗处图像内容难以分辨的现状出发，设计出针对此现象的完整硬件及算法解决方案并具有良好的实验效果，以FPGA为计算核心，结合适合硬件实现的曲线变换算法，对图像中的黑暗处细节进行增强，同时完成对强光处的抑制，从而提升整体视频图像的质量和视觉效果。

现有的大多数夜间增强方法和算法大多数都没有考虑到强光这一较大的影响因素，仅从增强黑暗处的角度出发，去提升暗处图像内容。一旦图像中出现强光，这类算法会进一步扩大强光对图像的影响。此外，大部分算法都考虑了较多的全局图像信息，离不开卷积和滤波操作，计算量骤增，且很不利于在FPGA中实现。再考虑到需要低延迟实时处理，如每秒输出30帧图像的速度，则大部分方法均无法完成这样的性能要求。本发明中设计的硬件平台，采用的FPGA是ALTERA中性能中下等的芯片，价格也比较低，也不需要大容量的内存，大大降低了硬件成本，即用更小的成本，从问题的本质出发结合合适的算法解决了问题。

本发明所利用的曲线函数变换方法，在FPGA的实现中有着独到的优势。对数函数在计算时过程复杂，并且需要一定的精度保留，如若将每一输入的像素值逐一代入公式计算，则会大大增加计算开销，导致无法完成实时处理。本发明结合FPGA并行处理的特点，利用查找表对应的方式完成函数映射，即首先将变换函数的曲线取值存在内存当中，把输入的像素值作为查找表的地址进行查找，得到变换后的函数值输出。为了适应不同的环境场景亮度，可以提前存入多个不同增强参数的曲线，根据环境来判断如何选择变换曲线。

附图说明

图1为本发明方法总体硬件结构框图；

图2为本发明方法总体算法步骤流程图；

图3为本发明中对数变换曲线函数分布图；

图4为本发明中分段函数变换曲线分布图；

图5为黑暗场景1中未处理的原始图像；

图6为黑暗场景1经过暗处增强和强光抑制算法处理后的仿真结果图；

图7为黑暗场景2中未处理的原始图像；

图8为黑暗场景2经过暗处增强和强光抑制算法处理后的仿真结果图；

图9为黑暗场景3中未处理的原始图像；

图10为黑暗场景3经过暗处增强和强光抑制算法处理后的仿真结果图；

图11为本发明彩色变换时常用的bayer格式分布图。

具体实施方式

具体实施方式一：

本实施方式的一种基于FPGA的强光抑制夜视增强方法，所述方法包括以下步骤：

步骤一、搭建基于核心处理器FPGA的硬件视频处理平台，整体结构如图1所示：利用图像传感器获取当前场景的视频图像，并以bayer的数据格式将视频图像输入到核心处理器FPGA中，以进行处理；

步骤二、对步骤一中采集得到的视频图像的像素值进行光强度的判断，当像素值小于设定的用于判断强光的阈值T时，则认为此像素位置为较暗处，需要对图像的内容细节进行增强；

步骤三、对步骤一中采集得到的视频图像的像素值进行光强度的判断，若像素值大于设定的用于判断强光的阈值T时，则对其进行压制，降低强光影响；

步骤五、将经过核心处理器FPGA处理后的视频图像，由HDMI接口输出，用于在具有HDMI接口的显示器(如电视)上进行显示，且可以选择彩色或灰度的形式进行输出。

具体实施方式二：

与具体实施方式一不同的是，本实施方式的一种基于FPGA的强光抑制夜视增强方法，

所述的步骤一中，搭建基于核心处理器FPGA的硬件视频处理平台，整体结构如图1所示：利用图像传感器获取当前场景的视频图像，并以bayer的数据格式将视频图像输入到核心处理器FPGA中，以进行处理的过程具体为：

所述的图像传感器选用索尼的CMOS图像传感器，对场景的视频图像进行采集。CMOS比CCD传感器体积更小，集成度更高且成本相对较低，适合于单板硬件平台使用，对于本发明所解决的问题也更加适合。获取到的视频图像的数据格式为bayer类型，其常见的一种数据分布格式如图5所示。

具体实施方式三：

与具体实施方式一或二不同的是，本实施方式的一种基于FPGA的强光抑制夜视增强方法，所述的步骤二中，对步骤一中采集得到的视频图像的像素值进行光强度的判断，当像素值小于设定的用于判断强光的阈值T时，则认为此像素位置为较暗处，需要对图像的内容细节进行增强的过程是指，将变换函数f(x)的曲线存入长为256的查找表中，将输入的像素值小于T的较暗像素值的作为地址进行查找映射的过程，具体为：

步骤二一、在夜间视频图像的黑暗处，人眼难以看清图像细节，造成内容信息丢失。设一帧视频图像为I，位于图像中(x,y)处的图像像素值为I(x,y)，从CMOS输入的是串行像素输入，所以采用对每一个输入的像素进行单独处理的方式进行处理，通过曲线拉伸变换方法，使暗处像素值能得到大幅度增强，提高暗处像素值和拉伸较暗区域的像素值分布，从而恢复暗处的图像细节内容，曲线拉伸变换公式为：

En(x,y)＝f(I(x,y)) (1)

式中，f(I(x,y))表示对像素I进行处理的变换函数，En(x,y)表示增强后像素；

步骤二二、对于变换函数的选择有很多种，其中不同函数的计算复杂度也差别较大。考虑到需要在FPGA中对变换算法函数进行功能实现，且硬件语言(如verilog HDL等)对复杂迭代函数的实现困难很大，于是从适合硬件实现的角度出发，筛选出两种易于本发明设计的硬件平台实现的变换函数，且实验效果符合实际要求。选择变换函数，包括以下两种：

第一种，采用对数函数的变形，其变换特点是在曲线起始处斜率大，而随着自变量增加逐渐变得平缓，符合对暗处低像素值增强，强光处高像素值抑制的基本要求，变换后有着较好的效果，如图3所示；

第二种，采用分段变化函数，第一段为直线增强函数，同时完成对图像亮度和对比度的改变，第二段为对数曲线函数，完成强光的抑制，如图4所示；

f₁(I(x,y))＝A log(I(x,y)/k)/log(I(x,y)/255+k) (2)

式中，A表示增强幅度，控制变换后的像素值分布处于0到255之间；k表示控制曲线变换的参数，根据需要增强的程度来调整；

其中，a₁表示控制增强的斜率，并且和b₁一起控制图像对比度，B₂为分段函数的分段点；且在分段点处的函数值保持连续；b₁为直线的截距；分段函数有一处需要特别注意，且在分段点处的函数值保持连续，否则在图像中会出现断层现象。

具体实施方式四：

与具体实施方式三不同的是，本实施方式的一种基于FPGA的强光抑制夜视增强方法，所述的步骤三中，对步骤一中采集得到的视频图像的像素值进行光强度的判断，若像素值大于设定的阈值(用于判断强光)T时则对其进行压制，降低强光影响的过程为：在夜间视频图像的强光处，光源及其周围光晕会对人眼视觉造成较大刺激，导致视觉效应上也容易忽略图像其他的黑暗处内容。为了消除强光的影响，于是在增强时不能对原本的强光处二次增强，而是要对其进行抑制。对步骤一中采集得到的视频图像的像素值进行光强度的判断，若像素值大于设定的用于判断强光的阈值T时则认为此像素位置为强光照处，需要对其进行压制，以减小光晕对图像质量和视觉效果的影响，将强光像素值减去固定参数值，对其像素值进行抑制，从而降低强光影响：

En(x,y)＝I(x,y)-p (4)

其中，强光阈值T的设定可根据环境实际情况进行设置，p表示最强光抑制程度的大小，为一固定值，以降低强光处的视觉感受。

具体实施方式五：

与具体实施方式四不同的是，本实施方式的一种基于FPGA的强光抑制夜视增强方法，所述的步骤四中，对经过步骤二和步骤三处理后的bayer数据进行彩色变换，得到RGB格式的彩色图像，具体为：

利用3*3邻域的线性插值，将bayer格式图像转换为RGB彩色图像，当bayer格式为RGGB时，即奇数行为RGRG，偶数行为GBGB，插值公式如下：

式中，等号左边的下标表示此位置处原本的像素类型，而变量名则是要恢复的通道类型，在进行线性插值后，再利用简单的白平衡调节图像颜色，即可达到彩色恢复的效果。

具体实施方式六：

与具体实施方式五不同的是，本实施方式的一种基于FPGA的强光抑制夜视增强方法，所述的步骤二和步骤三中，设定的阈值T的选择根据现场实地实验经验确定，较亮环境下T在[180,200]之间，在较暗环境下T在[150，180]之间。

具体实施方式七：

与具体实施方式六不同的是，本实施方式的一种基于FPGA的强光抑制夜视增强方法，所述的p的值为50-100之间的固定值。

具体实施方式八：

与具体实施方式七不同的是，本实施方式的一种基于FPGA的强光抑制夜视增强方法，所述的p的值为100之间的固定值。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.一种基于FPGA的强光抑制夜视增强方法，其特征在于：所述的增强方法包括以下步骤：

2.根据权利要求1所述的一种基于FPGA的强光抑制夜视增强方法，其特征在于：所述的步骤一中，搭建基于核心处理器FPGA的硬件视频处理平台利用图像传感器获取当前场景的视频图像，并以bayer的数据格式将视频图像输入到核心处理器FPGA中，以进行处理的过程具体为：

所述的图像传感器选用CMOS图像传感器，对场景的视频图像进行采集，采集获取到的视频图像的数据格式为bayer类型。

3.根据权利要求2所述的一种基于FPGA的强光抑制夜视增强方法，其特征在于：所述的步骤二中，对步骤一中采集得到的视频图像的像素值进行光强度的判断，当像素值小于等于设定的阈值T时，则认为此像素位置为较暗处，需要对图像的内容细节进行增强的过程是指，将变换函数f(x)的曲线存入长为256的查找表中，将输入的像素值小于T的较暗像素值的作为地址进行查找映射的过程，具体为：

步骤二一、设一帧视频图像为I，位于图像中(x,y)处的图像像素值为I(x,y)，采用对每一个输入的像素进行单独处理的方式进行处理，通过曲线拉伸变换方法，使暗处像素值能得到大幅度增强，提高暗处像素值和拉伸较暗区域的像素值分布，恢复暗处的图像细节内容，曲线拉伸变换公式为：

En(x,y)＝f(I(x,y)) (1)

步骤二二、选择变换函数，包括以下两种：

第一种，采用对数函数的变形，对暗处低像素值增强，强光处高像素值抑制，变换后有着较好的效果；

第二种，采用分段变化函数，第一段为直线增强函数，同时完成对图像亮度和对比度的改变，第二段为对数曲线函数，完成强光的抑制；

f₁(I(x,y))＝Alog(I(x,y)/k)/log(I(x,y)/255+k) (2)

其中，a₁表示控制增强的斜率，并且和b₁一起控制图像对比度，B₂为分段函数的分段点；且在分段点处的函数值保持连续；b₁为直线的截距。

4.根据权利要求3所述的一种基于FPGA的强光抑制夜视增强方法，其特征在于：所述的步骤三中，对步骤一中采集得到的视频图像的像素值进行光强度的判断，若像素值大于设定的阈值T时则对其进行压制，降低强光影响的过程为：对步骤一中采集得到的视频图像的像素值进行光强度的判断，若像素值大于设定的阈值T时则将强光像素值减去固定参数值，对其像素值进行抑制：

En(x,y)＝I(x,y)-p (4)

其中，强光阈值T的设定可根据环境实际情况进行设置，p表示最强光抑制程度的大小，为一固定值。

5.根据权利要求4所述的一种基于FPGA的强光抑制夜视增强方法，其特征在于：所述的步骤四中，对经过步骤二和步骤三处理后的bayer数据进行彩色变换，得到RGB格式的彩色图像，具体为：

6.根据权利要求5所述的一种基于FPGA的强光抑制夜视增强方法，其特征在于：所述的步骤二和步骤三中，设定的阈值T的选择根据现场实地实验经验确定，较亮环境下T在[180,200]之间，在较暗环境下T在[150，180]之间。

7.根据权利要求6所述的一种基于FPGA的强光抑制夜视增强方法，其特征在于：所述的p的值为50-100之间的固定值。