CN105023250A - 一种基于fpga的实时图像自适应增强系统及方法 - Google Patents

Abstract

一种基于FPGA的实时图像自适应增强系统及方法，输入图像分两路进行处理，第一路先进行Y分量变换，再统计五区域直方图，根据区域直方图自动产生比例系数；第二路先进行位宽变换、数据缓存，然后通过存储器接口驱动模块把图像存入外部存储器中，最后读出图像数据进行图像插值、YUV变换；第一路处理后产生的比例系数和第二路处理后的YUV图像数据，共同作为分段线性变换模块的输入，分段线性变换模块对Y分量进行分段线性变换，输出变换后的YUV图像数据。本发明采用了五段线性变换，首次将五区域直方图与五区域比例系数关联在一起，具有适应范围广，增强效果好的优点。

Description

一种基于FPGA的实时图像自适应增强系统及方法

技术领域

本发明涉及一种基于FPGA的实时图像自适应增强系统及方法。属于图像增强处理领域。

背景技术

近年来，图像增强技术广泛用于生物医学、机器视觉、遥感航天领域。其中，获得高品质的实时图像是一个难点，主要因素有：在图像的产生过程中，不可避免的由于环境、光照、运动、曝光等因素，影响图像的质量；随着图像分辨率和帧频的提高，图像数据量越来越大，图像的实时性处理难度增加。因此，频率域图像增强方法，这些需要存在域之间变换和反变换、计算复杂的方法难以满足实时性要求。

针对实时图像自适应增强，比较常用方法有直方图均衡化和分段线性变换法。直方图均衡法的优点是能自动地增强整个图像的对比度，但它的具体增强效果不易控制，往往在增强目标的同时，也增强了背景和噪声，并且可能出现大量灰度合并的现象。而分段线性变换法算法简单，它的形式可以任意组合，适应性强。但是分段线性变换法需要较多的用户输入，以便确定分段区域、比例系数，获得最佳增强效果。

目前国内，针对分段线性变换法，发表的文献有《红外技术》的《基于FPGA的红外图像自适应分段线性增强算法》和《光电子技术》的《一种红外测量图像自适应分段线性灰度变换方法》。此类技术主要采用三段线性增强方法，把一幅图像分成三部分，灰度级较高的目标、灰度较低的背景和介于背景和目标的过渡区域，对目标区域进行拉伸，对背景区域进行压缩，对过渡区域不拉伸。此类方法对红外图像取得了较好的效果，但是对可见光等其它类型图像，适应性不好，况且如果图像目标区域已经很亮，继续采用此类方法，对目标区域进行拉伸，效果将变差。

发明内容

本发明的技术解决问题是：针对现有技术中，一幅图像采用，对目标区域进行拉伸，对背景区域进行压缩，对过渡区域不拉伸。这种三段线性增强方法适应性不强，对过亮区域处理失效的问题，提供了一种基于FPGA的实时图像自适应增强系统及方法，不仅能够对不同类型图像进行有效增强，而且对偏暗图像进行增强，对偏亮图像进行减弱，达到了自适应增强效果。

本发明的技术解决方案是：一种基于FPGA的实时图像自适应增强系统，包括Y分量变换模块、统计直方图模块、计算比例系数模块、数据转换模块、图像插值模块、YUV变换模块、缓存延时模块、分段线性变换模块，在FPGA中能实现。

外部传感器将采集的Bayer格式图像数据，包括多比特数据、1bit场同步信号和1bit行同步信号，分别送至数据转换模块和Y分量变换模块；

Y分量变换模块，根据1bit场同步信号和1bit行同步信号，将外部传感器采集的Bayer格式图像以2x2像素为单元，进行Y分量变换，得到Y分量、Y分量变换后的场同步信号、Y分量变换后的行同步信号，变换公式如下：

Y＝0.299×R+0.587G+0.114B

式中的R为2x2像素中的一个红Red分量，G为2x2像素中两个绿Green分量的均值，B为2x2像素中的一个蓝Blue分量；

将Y分量变换后得到的Y分量、Y分量变换后的场同步信号、Y分量变换后的行同步信号，送至统计直方图模块；

统计直方图模块，根据Y分量变换后的场同步信号、Y分量变换后的行同步信号，把Y分量变换后的Y分量的灰度值分成5段区域，分别是[0,50]、(50,100]、(100,150]、(150,200]、(200,255]，统计[0,50]区域的Y分量像素个数为R1，统计(50,100]区域的Y分量像素个数为R2，统计(100,150]区域的Y分量像素个数为R3，统计(150,200]区域的Y分量像素个数为R4，统计(200,255]区域的Y分量像素个数为R5，然后把[0,50]区域的Y分量像素个数为R1、(50,100]区域的Y分量像素个数为R2、(100,150]区域的Y分量像素个数为R3、(150,200]区域的Y分量像素个数为R4、(200,255]区域的Y分量像素个数为R5，送至计算比例系数模块；

计算比例系数模块，根据[0,50]区域的Y分量像素个数为R1、(50,100]区域的Y分量像素个数为R2、(100,150]区域的Y分量像素个数为R3、(150,200]区域的Y分量像素个数为R4、(200,255]区域的Y分量像素个数为R5，按照线性比例关系，产生[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，线性比例关系公式如下：

$Kn=\frac{20(1-b)}{H*V}\×Rn+b$ 其中0≤b＜1，n＝1,2…5

式中H、V分别是Bayer格式图像水平方向和垂直方向上的像素个数，b是可以调节的参数，通过改变该参数来控制增强强度；

产生的[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，送至分段线性变换模块；

数据转换模块，根据外部传感器采集的Bayer格式图像数据中的1bit行同步信号和1bit场同步信号，将外部传感器采集的Bayer格式图像数据中的多比特数据进行位宽转换并通过存储器接口驱动模块存储至外部存储器；同时数据转换模块，通过存储器驱动接口模块，从外部存储器中按行读出Bayer格式图像数据，同时产生按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号，并将按行读出的Bayer格式图像数据、按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号送至图像插值模块；

图像插值模块，根据按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号，对按行读出的Bayer格式图像数据进行插值，插成三基色RGB彩色图像，该三基色RGB彩色图像包括R分量、G分量、B分量、三基色RGB彩色图像的行同步信号、三基色RGB彩色图像的场同步信号，送至YUV变换模块；

YUV变换模块，根据三基色RGB彩色图像的行同步信号、三基色RGB彩色图像的场同步信号，对三基色RGB彩色图像进行YUV变换，得到变换后的YUV图像、YUV图像的场同步信号、YUV图像的行同步信号，变换公式如下：

$\left[\begin{array}{c}Y\\ U\\ V\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.148& -0.289& 0.437\\ 0.615& -0.515& -0.100\end{array}\right].\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

变换后的YUV图像包括Y分量、U分量、V分量；

将该YUV图像的U分量、V分量，送至缓存延时模块；

将YUV图像的Y分量、YUV图像的场同步信号、YUV图像的行同步信号，送至分段线性变换模块；

分段线性变换模块，根据YUV图像的场同步信号、YUV图像的行同步信号，对YUV图像的Y分量按照[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，进行分段线性变换，公式如下：

$y=\left\{\begin{array}{cc}K1*x& x\∈\[0,50\]\\ K2*(x-50)+50*K1& x\∈(50,100\]\\ K3*(x-100)+50*(K1+K2)& x\∈(100,150]\\ K4*(x-150)+50*(K1+K2+K3)& x\∈(150,200\]\\ K5*(x-200)+50*(K1+K2+K3+K4)& x\∈(200,255]\end{array}\right.$

式中x为分段线性变换模块输入的Y分量像素值，y为分段线性变换模块输出的Y分量像素值，分段线性变换后输出分段线性变换后的Y分量、分段线性变换后的场同步信号、分段线性变换后的行同步信号；

缓存延时模块，对YUV图像的U分量、V分量进行缓存延时，使缓存延时后的U分量、缓存延时后的V分量与分段线性变换后的Y分量、分段线性变换后的场同步信号、分段线性变换后的行同步信号保持同步后，输出缓存延时后的U分量、缓存延时后的V分量。

所述图像插值模块，根据Bayer格式图像的行同步信号、Bayer格式图像的场同步信号，对按行读出的Bayer格式图像数据进行插值，插成三基色RGB彩色图像采用双线性内插法。

基于上述系统的一种基于FPGA的实时图像自适应增强方法，步骤如下：

(1)外部传感器将采集的Bayer格式图像数据，包括多比特数据、1bit场同步信号和1bit行同步信号，分别送至数据转换模块和Y分量变换模块；

(2)Y分量变换模块，根据步骤(1)1bit场同步信号和1bit行同步信号，对步骤(1)将外部传感器采集的Bayer格式图像以2x2像素为单元，进行Y分量变换，得到Y分量、Y分量变换后的场同步信号、Y分量变换后的行同步信号，变换公式如下：

Y＝0.299×R+0.587G+0.114B

式中的R为2x2像素中的一个红Red分量，G为2x2像素中两个绿Green分量的均值，B为2x2像素中的一个蓝Blue分量；

将Y分量变换后得到的Y分量、Y分量变换后的场同步信号、Y分量变换后的行同步信号，送至统计直方图模块；

(3)统计直方图模块，根据步骤(2)Y分量变换后的场同步信号、Y分量变换后的行同步信号，把步骤(2)Y分量变换后的Y分量的灰度值分成5段区域，分别是[0,50]、(50,100]、(100,150]、(150,200]、(200,255]，统计[0,50]区域的Y分量像素个数为R1，统计(50,100]区域的Y分量像素个数为R2，统计(100,150]区域的Y分量像素个数为R3，统计(150,200]区域的Y分量像素个数为R4，统计(200,255]区域的Y分量像素个数为R5，然后把[0,50]区域的Y分量像素个数为R1、(50,100]区域的Y分量像素个数为R2、(100,150]区域的Y分量像素个数为R3、(150,200]区域的Y分量像素个数为R4、(200,255]区域的Y分量像素个数为R5，送至计算比例系数模块；

(4)计算比例系数模块，根据步骤(3)[0,50]区域的Y分量像素个数为R1、(50,100]区域的Y分量像素个数为R2、(100,150]区域的Y分量像素个数为R3、(150,200]区域的Y分量像素个数为R4、(200,255]区域的Y分量像素个数为R5，按照线性比例关系，产生[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，线性比例关系公式如下：

$Kn=\frac{20(1-b)}{H*V}\×Rn+b$ 其中0≤b＜1，n＝1,2…5

式中H、V分别是Bayer格式图像水平方向和垂直方向上的像素个数，b是可以调节的参数，通过改变该参数来控制增强强度；

产生的[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，送至分段线性变换模块；

(5)数据转换模块，根据步骤(1)外部传感器采集的Bayer格式图像数据中的1bit行同步信号和1bit场同步信号，将步骤(1)外部传感器采集的Bayer格式图像数据中的多比特数据进行位宽转换并通过存储器接口驱动模块存储至外部存储器；同时数据转换模块，通过存储器驱动接口模块，从外部存储器中按行读出Bayer格式图像数据，同时产生按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号，并将按行读出的Bayer格式图像数据、按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号送至图像插值模块；

(6)图像插值模块，根据步骤(5)按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号，对步骤(5)按行读出的Bayer格式图像数据进行插值，插成三基色RGB彩色图像，该三基色RGB彩色图像包括R分量、G分量、B分量、三基色RGB彩色图像的行同步信号、三基色RGB彩色图像的场同步信号，送至YUV变换模块；

(7)YUV变换模块，根据步骤(6)三基色RGB彩色图像的行同步信号、三基色RGB彩色图像的场同步信号，对步骤(6)三基色RGB彩色图像进行YUV变换，得到变换后的YUV图像、YUV图像的场同步信号、YUV图像的行同步信号，变换公式如下：

$\left[\begin{array}{c}Y\\ U\\ V\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.148& -0.289& 0.437\\ 0.615& -0.515& -0.100\end{array}\right].\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

变换后的YUV图像包括Y分量、U分量、V分量；

将该YUV图像的U分量、V分量，送至缓存延时模块；

将YUV图像的Y分量、YUV图像的场同步信号、YUV图像的行同步信号，送至分段线性变换模块；

(8)分段线性变换模块，根据步骤(7)YUV图像的场同步信号、YUV图像的行同步信号，对步骤(7)YUV图像的Y分量按照[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，进行分段线性变换，公式如下：

$y=\left\{\begin{array}{cc}K1*x& x\∈\[0,50\]\\ K2*(x-50)+50*K1& x\∈(50,100\]\\ K3*(x-100)+50*(K1+K2)& x\∈(100,150]\\ K4*(x-150)+50*(K1+K2+K3)& x\∈(150,200\]\\ K5*(x-200)+50*(K1+K2+K3+K4)& x\∈(200,255]\end{array}\right.$

式中x为分段线性变换模块输入的Y分量像素值，y为分段线性变换模块输出的Y分量像素值，分段线性变换后输出分段线性变换后的Y分量、分段线性变换后的场同步信号、分段线性变换后的行同步信号；

(9)缓存延时模块，对步骤(7)YUV图像的U分量、V分量进行缓存延时，使缓存延时后的U分量、缓存延时后的V分量与步骤(8)分段线性变换后的Y分量、分段线性变换后的场同步信号、分段线性变换后的行同步信号保持同步后，输出缓存延时后的U分量、缓存延时后的V分量。

本发明相对于现有技术的有益效果是：

(1)本发明根据统计直方图模块方案，采用五段区域直方图统计，简化了算法的复杂度；

(2)本发明根据分段线性变换模块方案，采用五段线性变换，可以适应不同类型图像，提高了系统的适应性；

(3)本发明根据计算比例系数模块方案，区域线性比例系数自动产生，由区域像素个数决定，提高了系统的自适应性；

(4)、本发明通过统计直方图模块方案、计算比例系数模块方案和分段线性变换模块方案，对像素个数多的区域进行拉伸，对像素个数少的区域进行压缩，实现了对偏暗图像进行增强，对偏亮图像进行减弱；

(5)本发明根据方法(2)、(3)和(4)步骤与方法(5)步骤并行运行，在对图像缓存的同时，对图像进行区域直方图统计和区域比例系数计算等操作，减少延时，提高实时性。

附图说明

图1为本发明的方法流程图；

图2为本发明的系统框图；

图3的(A)为第一状态五区域直方图与五区域比例系数的对应关系示意图；图3的(B)为第二状态五区域直方图与五区域比例系数的对应关系示意图；图3的(C)为第三种状态五区域直方图与五区域比例系数的对应关系示意图；图3的(D)为第四种状态五区域直方图与五区域比例系数的对应关系示意图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图2所示，一种基于FPGA的实时图像自适应增强系统框图，特征在于：

外部传感器将采集的Bayer格式图像数据，包括多比特数据、1bit场同步信号和1bit行同步信号，分别送至数据转换模块和Y分量变换模块；

Y分量变换模块，根据1bit场同步信号和1bit行同步信号，将外部传感器采集的Bayer格式图像以2x2像素为单元，进行Y分量变换，得到Y分量、Y分量变换后的场同步信号、Y分量变换后的行同步信号，变换公式如下：

Y＝0.299×R+0.587G+0.114B   (1)

式中的R为2x2像素中的一个红Red分量，G为2x2像素中两个绿Green分量的均值，B为2x2像素中的一个蓝Blue分量；

Y分量变换后的Y分量像素个数为：

$Ypn=\frac{H*V}{2\×2}---\left(2\right)$

式中H、V分别是Bayer格式图像水平方向和垂直方向上的像素个数。例如图像分辨率为1920*1080的Bayer格式图像，H＝1920，V＝1080。

将Y分量变换后得到的Y分量、Y分量变换后的场同步信号、Y分量变换后的行同步信号，送至统计直方图模块；Y分量变换模块不是必须的，因为统计直方图模块的输入信号，可以来自Y分量变换模块，也可以来自YUV变换模块，之所以有Y分量变换模块是因为可以减少延时，提供系统的实时性。

统计直方图模块，根据Y分量变换后的场同步信号、Y分量变换后的行同步信号，把Y分量变换后的Y分量的灰度值分成5段区域，分别是[0,50]、(50,100]、(100,150]、(150,200]、(200,255]，统计[0,50]区域的Y分量像素个数为R1，统计(50,100]区域的Y分量像素个数为R2，统计(100,150]区域的Y分量像素个数为R3，统计(150,200]区域的Y分量像素个数为R4，统计(200,255]区域的Y分量像素个数为R5，满足公式：

R1+R2+R3+R4+R5＝Ypn   (3)

然后把[0,50]区域的Y分量像素个数为R1、(50,100]区域的Y分量像素个数为R2、(100,150]区域的Y分量像素个数为R3、(150,200]区域的Y分量像素个数为R4、(200,255]区域的Y分量像素个数为R5，送至计算比例系数模块；

统计直方图模块采用五段区域直方图统计，通过每个区域的直方图信息，即像素个数，自适应的产生该区域的比例系数，简化了算法的复杂度。

计算比例系数模块，根据[0,50]区域的Y分量像素个数为R1、(50,100]区域的Y分量像素个数为R2、(100,150]区域的Y分量像素个数为R3、(150,200]区域的Y分量像素个数为R4、(200,255]区域的Y分量像素个数为R5，按照线性比例关系，产生[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，线性比例关系公式推导如下：

K1～K5与R1～R5成线性比例关系，满足公式：

Kn＝k×Rn+b  其中k＞0，n＝1,2…5   (4)

比例系数K1～K5满足式(5)所示关系：

K1+K2+K3+K4+K5＝5   (5)

式(4)代入式(5)得：

k×(R1+R2+R3+R4+R5)+5b＝5   (6)

式(3)式(2)代入式(6)得：

$k=\frac{5(1-b)}{Ypn}=\frac{20(1-b)}{H*V}$ 其中0≤b＜1   (7)

式(7)代入式(4)得：

$Kn=\frac{20(1-b)}{H*V}\×Rn+b$ 其中0≤b＜1，n＝1,2…5   (8)

式(8)中b是可以调节的参数，通过改变该参数来控制增强强度，b值越小增强强度越大，反之则越小。

例如b＝0.5，H＝1920，V＝1080，如果R1＝518400，则K1＝3；如果R1＝103680，则K1＝1；如果R1＝0，则K1＝0.5；

产生的[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，送至分段线性变换模块；

计算比例系数模块，区域线性比例系数自动产生，由区域像素个数决定，提高了系统的自适应性；

如图3的(A)、(B)、(C)、(D)所示，区域直方图信息，能够反映出该区域的信息量是否丰富，如果该区域的像素个数多，那么该区域的信息量大，这样对应的比例系数也大，通过线性变换对该区域像素进行拉伸；如果该区域的像素个数少，那么该区域的信息量少，对应的比例系数也小，通过线性变换对该区域像素进行压缩。

如图3所示，五区域直方图与五区域比例系数的对应关系示意图。图3中分(A)(B)(C)(D)四个子图，每个子图左侧坐标系中水平坐标Yi是分段线性变换前Y分量的灰度值，垂直坐标是Y分量的像素个数；右侧坐标系中水平坐标Yi是分段线性变换前的Y分量灰度值，垂直坐标Yo是分段线性变化后的Y分量灰度值。K1、K2、K3、K4和K5是五区域比例系数。

如图3所示，给出了四种典型的对应关系图，(A)中直方图分布对应的比例系数关系，使图像增强类似于S曲线拉伸的效果；(C)(D)中直方图分布对应的比例系数关系，使图像增强类似于γ校正的效果，(B)中直方图分布对应的比例系数关系，使图像增强具有不同于其它算法特征的效果。由此可以看出本发明的系统及方法兼具其它算法的优势，同时具有其它算法不具有的优势，因此适应性更强，增强效果更好。

数据转换模块，根据外部传感器采集的Bayer格式图像数据中的1bit行同步信号和1bit场同步信号，将外部传感器采集的Bayer格式图像数据中的多比特数据进行位宽转换并通过存储器接口驱动模块存储至外部存储器；同时数据转换模块，通过存储器驱动接口模块，从外部存储器中按行读出Bayer格式图像数据，同时产生按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号，并将按行读出的Bayer格式图像数据、按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号送至图像插值模块；

图像插值模块，根据按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号，对按行读出的Bayer格式图像数据进行插值，插成三基色RGB彩色图像，该三基色RGB彩色图像包括R分量、G分量、B分量、三基色RGB彩色图像的行同步信号、三基色RGB彩色图像的场同步信号，送至YUV变换模块；

YUV变换模块，根据三基色RGB彩色图像的行同步信号、三基色RGB彩色图像的场同步信号，对三基色RGB彩色图像进行YUV变换，得到变换后的YUV图像、YUV图像的场同步信号、YUV图像的行同步信号，变换公式如下：

$\left[\begin{array}{c}Y\\ U\\ V\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.148& -0.289& 0.437\\ 0.615& -0.515& -0.100\end{array}\right].\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(9\right)$

变换后的YUV图像包括Y分量、U分量、V分量；

将该YUV图像的U分量、V分量，送至缓存延时模块；

将YUV图像的Y分量、YUV图像的场同步信号、YUV图像的行同步信号，送至分段线性变换模块；

分段线性变换模块，根据YUV图像的场同步信号、YUV图像的行同步信号，对YUV图像的Y分量按照[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，进行分段线性变换，公式如下：

$y=\left\{\begin{array}{cc}K1*x& x\∈\[0,50\]\\ K2*(x-50)+50*K1& x\∈(50,100\]\\ K3*(x-100)+50*(K1+K2)& x\∈(100,150]\\ K4*(x-150)+50*(K1+K2+K3)& x\∈(150,200\]\\ K5*(x-200)+50*(K1+K2+K3+K4)& x\∈(200,255]\end{array}\right.---\left(10\right)$

式中x为分段线性变换模块输入的Y分量像素值，y为分段线性变换模块输出的Y分量像素值，分段线性变换后输出分段线性变换后的Y分量、分段线性变换后的场同步信号、分段线性变换后的行同步信号；

分段线性变换模块，对Y分量进行五段线性变换，可以适应不同类型图像，提高了系统的适应性。

通过统计直方图模块、计算比例系数模块和分段线性变换模块，对像素个数多的区域进行拉伸，对像素个数少的区域进行压缩，实现了对偏暗图像进行增强，对偏亮图像进行减弱。

缓存延时模块，对YUV图像的U分量、V分量进行缓存延时，使缓存延时后的U分量、缓存延时后的V分量与分段线性变换后的Y分量、分段线性变换后的场同步信号、分段线性变换后的行同步信号保持同步后，输出缓存延时后的U分量、缓存延时后的V分量。

如图1所示，一种基于FPGA的实时图像自适应增强方法的流程，步骤如下：

(1)外部传感器将采集的Bayer格式图像数据，包括多比特数据、1bit场同步信号和1bit行同步信号，分别送至数据转换模块和Y分量变换模块；

(2)Y分量变换模块，根据步骤(1)1bit场同步信号和1bit行同步信号，对步骤(1)将外部传感器采集的Bayer格式图像以2x2像素为单元，进行Y分量变换，得到Y分量、Y分量变换后的场同步信号、Y分量变换后的行同步信号，变换公式如下：

Y＝0.299×R+0.587G+0.114B

式中的R为2x2像素中的一个红Red分量，G为2x2像素中两个绿Green分量的均值，B为2x2像素中的一个蓝Blue分量；

将Y分量变换后得到的Y分量、Y分量变换后的场同步信号、Y分量变换后的行同步信号，送至统计直方图模块；

(3)统计直方图模块，根据步骤(2)Y分量变换后的场同步信号、Y分量变换后的行同步信号，把步骤(2)Y分量变换后的Y分量的灰度值分成5段区域，分别是[0,50]、(50,100]、(100,150]、(150,200]、(200,255]，统计[0,50]区域的Y分量像素个数为R1，统计(50,100]区域的Y分量像素个数为R2，统计(100,150]区域的Y分量像素个数为R3，统计(150,200]区域的Y分量像素个数为R4，统计(200,255]区域的Y分量像素个数为R5，然后把[0,50]区域的Y分量像素个数为R1、(50,100]区域的Y分量像素个数为R2、(100,150]区域的Y分量像素个数为R3、(150,200]区域的Y分量像素个数为R4、(200,255]区域的Y分量像素个数为R5，送至计算比例系数模块；

(4)计算比例系数模块，根据步骤(3)[0,50]区域的Y分量像素个数为R1、(50,100]区域的Y分量像素个数为R2、(100,150]区域的Y分量像素个数为R3、(150,200]区域的Y分量像素个数为R4、(200,255]区域的Y分量像素个数为R5，按照线性比例关系，产生[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，线性比例关系公式如下：

$Kn=\frac{20(1-b)}{H*V}\×Rn+b$ 其中0≤b＜1，n＝1,2…5

式中H、V分别是Bayer格式图像水平方向和垂直方向上的像素个数，b是可以调节的参数，通过改变该参数来控制增强强度；

产生的[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，送至分段线性变换模块；

方法(2)、(3)和(4)步骤与方法(5)步骤并行运行，在对图像缓存的同时，对图像进行区域直方图统计和区域比例系数计算等操作，减少延时，提高实时性。

(5)数据转换模块，根据步骤(1)外部传感器采集的Bayer格式图像数据中的1bit行同步信号和1bit场同步信号，将步骤(1)外部传感器采集的Bayer格式图像数据中的多比特数据进行位宽转换并通过存储器接口驱动模块存储至外部存储器；同时数据转换模块，通过存储器驱动接口模块，从外部存储器中按行读出Bayer格式图像数据，同时产生按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号，并将按行读出的Bayer格式图像数据、按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号送至图像插值模块；

(6)图像插值模块，根据步骤(5)按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号，对步骤(5)按行读出的Bayer格式图像数据进行插值，插成三基色RGB彩色图像，该三基色RGB彩色图像包括R分量、G分量、B分量、三基色RGB彩色图像的行同步信号、三基色RGB彩色图像的场同步信号，送至YUV变换模块；

(7)YUV变换模块，根据步骤(6)三基色RGB彩色图像的行同步信号、三基色RGB彩色图像的场同步信号，对步骤(6)三基色RGB彩色图像进行YUV变换，得到变换后的YUV图像、YUV图像的场同步信号、YUV图像的行同步信号，变换公式如下：

$\left[\begin{array}{c}Y\\ U\\ V\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.148& -0.289& 0.437\\ 0.615& -0.515& -0.100\end{array}\right].\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

变换后的YUV图像包括Y分量、U分量、V分量；

将该YUV图像的U分量、V分量，送至缓存延时模块；

将YUV图像的Y分量、YUV图像的场同步信号、YUV图像的行同步信号，送至分段线性变换模块；

(8)分段线性变换模块，根据步骤(7)YUV图像的场同步信号、YUV图像的行同步信号，对步骤(7)YUV图像的Y分量按照[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，进行分段线性变换，公式如下：

$y=\left\{\begin{array}{cc}K1*x& x\∈\[0,50\]\\ K2*(x-50)+50*K1& x\∈(50,100\]\\ K3*(x-100)+50*(K1+K2)& x\∈(100,150]\\ K4*(x-150)+50*(K1+K2+K3)& x\∈(150,200\]\\ K5*(x-200)+50*(K1+K2+K3+K4)& x\∈(200,255]\end{array}\right.$

式中x为分段线性变换模块输入的Y分量像素值，y为分段线性变换模块输出的Y分量像素值，分段线性变换后输出分段线性变换后的Y分量、分段线性变换后的场同步信号、分段线性变换后的行同步信号；

(9)缓存延时模块，对步骤(7)YUV图像的U分量、V分量进行缓存延时，使缓存延时后的U分量、缓存延时后的V分量与步骤(8)分段线性变换后的Y分量、分段线性变换后的场同步信号、分段线性变换后的行同步信号保持同步后，输出缓存延时后的U分量、缓存延时后的V分量。

以上结合附图对本发明的具体实施方式作了说明，但这些说明不能被理解为限制本发明的范围，本发明的保护范围由随附的权利要求书限定，任何在本发明权利要求基础上的改动都是本发明的保护范围。

Claims (3)

1.一种基于FPGA的实时图像自适应增强系统，其特征在于：包括Y分量变换模块、统计直方图模块、计算比例系数模块、数据转换模块、存储器接口驱动模块、图像插值模块、YUV变换模块、缓存延时模块、分段线性变换模块，在FPGA中能实现。

外部传感器将采集的Bayer格式图像数据，包括多比特数据、1bit场同步信号和1bit行同步信号，分别送至数据转换模块和Y分量变换模块；

Y分量变换模块，根据1bit场同步信号和1bit行同步信号，将外部传感器采集的Bayer格式图像以2x2像素为单元，进行Y分量变换，得到Y分量、Y分量变换后的场同步信号、Y分量变换后的行同步信号，变换公式如下：

Y＝0.299×R+0.587G+0.114B

式中的R为2x2像素中的一个红Red分量，G为2x2像素中两个绿Green分量的均值，B为2x2像素中的一个蓝Blue分量；

将Y分量变换后得到的Y分量、Y分量变换后的场同步信号、Y分量变换后的行同步信号，送至统计直方图模块；

统计直方图模块，根据Y分量变换后的场同步信号、Y分量变换后的行同步信号，把Y分量变换后的Y分量的灰度值分成5段区域，分别是[0,50]、(50,100]、(100,150]、(150,200]、(200,255]，统计[0,50]区域的Y分量像素个数为R1，统计(50,100]区域的Y分量像素个数为R2，统计(100,150]区域的Y分量像素个数为R3，统计(150,200]区域的Y分量像素个数为R4，统计(200,255]区域的Y分量像素个数为R5，然后把[0,50]区域的Y分量像素个数为R1、(50,100]区域的Y分量像素个数为R2、(100,150]区域的Y分量像素个数为R3、(150,200]区域的Y分量像素个数为R4、(200,255]区域的Y分量像素个数为R5，送至计算比例系数模块；

计算比例系数模块，根据[0,50]区域的Y分量像素个数为R1、(50,100]区域的Y分量像素个数为R2、(100,150]区域的Y分量像素个数为R3、(150,200]区域的Y分量像素个数为R4、(200,255]区域的Y分量像素个数为R5，按照线性比例关系，产生[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，线性比例关系公式如下：

其中0≤b＜1，n＝1,2…5

式中H、V分别是Bayer格式图像水平方向和垂直方向上的像素个数，b是可以调节的参数，通过改变该参数来控制增强强度；

产生的[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，送至分段线性变换模块；

数据转换模块，根据外部传感器采集的Bayer格式图像数据中的1bit行同步信号和1bit场同步信号，将外部传感器采集的Bayer格式图像数据中的多比特数据进行位宽转换并通过存储器接口驱动模块存储至外部存储器；同时数据转换模块，通过存储器驱动接口模块，从外部存储器中按行读出Bayer格式图像数据，同时产生按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号，并将按行读出的Bayer格式图像数据、按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号送至图像插值模块；

图像插值模块，根据按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号，对按行读出的Bayer格式图像数据进行插值，插成三基色RGB彩色图像，该三基色RGB彩色图像包括R分量、G分量、B分量、三基色RGB彩色图像的行同步信号、三基色RGB彩色图像的场同步信号，送至YUV变换模块；

YUV变换模块，根据三基色RGB彩色图像的行同步信号、三基色RGB彩色图像的场同步信号，对三基色RGB彩色图像进行YUV变换，得到变换后的YUV图像、YUV图像的场同步信号、YUV图像的行同步信号，变换公式如下：

$\left[\begin{array}{c}Y\\ U\\ V\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.148& -0.289& 0.437\\ 0.615& -0.515& -0.100\end{array}\right].\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

变换后的YUV图像包括Y分量、U分量、V分量；

将该YUV图像的U分量、V分量，送至缓存延时模块；

将YUV图像的Y分量、YUV图像的场同步信号、YUV图像的行同步信号，送至分段线性变换模块；

分段线性变换模块，根据YUV图像的场同步信号、YUV图像的行同步信号，对YUV图像的Y分量按照[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，进行分段线性变换，公式如下：

$y=\left\{\begin{array}{cc}K1*x& x\∈\[0,50\]\\ K2*(x-50)+50*K1& x\∈(50,100\]\\ K3*(x-100)+50*(K1+K2)& x\∈(100,150\]\\ K4*(x-150)+50*(K1+K2+K3)& x\∈(150,200\]\\ K5*(x-200)+50*(K1+K2+K3+K4)& x\∈(200,255\]\end{array}\right.$

式中x为分段线性变换模块输入的Y分量像素值，y为分段线性变换模块输出的Y分量像素值，分段线性变换后输出分段线性变换后的Y分量、分段线性变换后的场同步信号、分段线性变换后的行同步信号；

缓存延时模块，对YUV图像的U分量、V分量进行缓存延时，使缓存延时后的U分量、缓存延时后的V分量与分段线性变换后的Y分量、分段线性变换后的场同步信号、分段线性变换后的行同步信号保持同步后，输出缓存延时后的U分量、缓存延时后的V分量。

2.根据权利要求1所述的一种基于FPGA的实时图像自适应增强系统，其特征在于：所述图像插值模块，根据Bayer格式图像的行同步信号、Bayer格式图像的场同步信号，对按行读出的Bayer格式图像数据进行插值，插成三基色RGB彩色图像采用双线性内插法。

3.一种基于FPGA的实时图像自适应增强方法，其特征在于，步骤如下：

(1)外部传感器将采集的Bayer格式图像数据，包括多比特数据、1bit场同步信号和1bit行同步信号，分别送至数据转换模块和Y分量变换模块；

(2)Y分量变换模块，根据步骤(1)1bit场同步信号和1bit行同步信号，对步骤(1)将外部传感器采集的Bayer格式图像以2x2像素为单元，进行Y分量变换，得到Y分量、Y分量变换后的场同步信号、Y分量变换后的行同步信号，变换公式如下：

Y＝0.299×R+0.587G+0.114B

式中的R为2x2像素中的一个红Red分量，G为2x2像素中两个绿Green分量的均值，B为2x2像素中的一个蓝Blue分量；

将Y分量变换后得到的Y分量、Y分量变换后的场同步信号、Y分量变换后的行同步信号，送至统计直方图模块；

(3)统计直方图模块，根据步骤(2)Y分量变换后的场同步信号、Y分量变换后的行同步信号，把步骤(2)Y分量变换后的Y分量的灰度值分成5段区域，分别是[0,50]、(50,100]、(100,150]、(150,200]、(200,255]，统计[0,50]区域的Y分量像素个数为R1，统计(50,100]区域的Y分量像素个数为R2，统计(100,150]区域的Y分量像素个数为R3，统计(150,200]区域的Y分量像素个数为R4，统计(200,255]区域的Y分量像素个数为R5，然后把[0,50]区域的Y分量像素个数为R1、(50,100]区域的Y分量像素个数为R2、(100,150]区域的Y分量像素个数为R3、(150,200]区域的Y分量像素个数为R4、(200,255]区域的Y分量像素个数为R5，送至计算比例系数模块；

(4)计算比例系数模块，根据步骤(3)[0,50]区域的Y分量像素个数为R1、(50,100]区域的Y分量像素个数为R2、(100,150]区域的Y分量像素个数为R3、(150,200]区域的Y分量像素个数为R4、(200,255]区域的Y分量像素个数为R5，按照线性比例关系，产生[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，线性比例关系公式如下：

其中0≤b＜1，n＝1,2…5

式中H、V分别是Bayer格式图像水平方向和垂直方向上的像素个数，b是可以调节的参数，通过改变该参数来控制增强强度；

产生的[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，送至分段线性变换模块；

(5)数据转换模块，根据步骤(1)外部传感器采集的Bayer格式图像数据中的1bit行同步信号和1bit场同步信号，将步骤(1)外部传感器采集的Bayer格式图像数据中的多比特数据进行位宽转换并通过存储器接口驱动模块存储至外部存储器；同时数据转换模块，通过存储器驱动接口模块，从外部存储器中按行读出Bayer格式图像数据，同时产生按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号，并将按行读出的Bayer格式图像数据、按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号送至图像插值模块；

(6)图像插值模块，根据步骤(5)按行读出Bayer格式图像的行同步信号、按行读出Bayer格式图像的场同步信号，对步骤(5)按行读出的Bayer格式图像数据进行插值，插成三基色RGB彩色图像，该三基色RGB彩色图像包括R分量、G分量、B分量、三基色RGB彩色图像的行同步信号、三基色RGB彩色图像的场同步信号，送至YUV变换模块；

(7)YUV变换模块，根据步骤(6)三基色RGB彩色图像的行同步信号、三基色RGB彩色图像的场同步信号，对步骤(6)三基色RGB彩色图像进行YUV变换，得到变换后的YUV图像、YUV图像的场同步信号、YUV图像的行同步信号，变换公式如下：

$\left[\begin{array}{c}Y\\ U\\ V\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.148& -0.289& 0.437\\ 0.615& -0.515& -0.100\end{array}\right].\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

变换后的YUV图像包括Y分量、U分量、V分量；

将该YUV图像的U分量、V分量，送至缓存延时模块；

将YUV图像的Y分量、YUV图像的场同步信号、YUV图像的行同步信号，送至分段线性变换模块；

(8)分段线性变换模块，根据步骤(7)YUV图像的场同步信号、YUV图像的行同步信号，对步骤(7)YUV图像的Y分量按照[0,50]区域的比例系数K1、(50,100]区域的比例系数K2、(100,150]区域的比例系数K3、(150,200]区域的比例系数K4、(200,255]区域的比例系数K5，进行分段线性变换，公式如下：

$y=\left\{\begin{array}{cc}K1*x& x\∈\[0,50\]\\ K2*(x-50)+50*K1& x\∈(50,100\]\\ K3*(x-100)+50*(K1+K2)& x\∈(100,150\]\\ K4*(x-150)+50*(K1+K2+K3)& x\∈(150,200\]\\ K5*(x-200)+50*(K1+K2+K3+K4)& x\∈(200,255\]\end{array}\right.$

式中x为分段线性变换模块输入的Y分量像素值，y为分段线性变换模块输出的Y分量像素值，分段线性变换后输出分段线性变换后的Y分量、分段线性变换后的场同步信号、分段线性变换后的行同步信号；

(9)缓存延时模块，对步骤(7)YUV图像的U分量、V分量进行缓存延时，使缓存延时后的U分量、缓存延时后的V分量与步骤(8)分段线性变换后的Y分量、分段线性变换后的场同步信号、分段线性变换后的行同步信号保持同步，输出缓存延时后的U分量、缓存延时后的V分量。