CN105611256B - 一种基于梯度的Bayer格式插值方法及基于FPGA的显示装置 - Google Patents

Abstract

本发明公开了一种基于梯度的Bayer格式图像插值方法及基于FPGA的显示装置，针对红蓝像素点的颜色恢复，在双线性插值上做出改进，不再简单的对像素进行一种平均化的插值处理，而是先根据索贝尔算子计算像素水平、垂直梯度和左、右对角线梯度，再根据水平、垂直梯度的比值关系和左、右对角线梯度的比值关系确定水平、垂直加权系数和左、右对角线加权系数，从而得到红蓝像素的插值结果。本发明中显示装置采用FPGA作为核心平台，充分利用了其并行处理和模块化设计的优势，减少了图形画面生成、视频图像数据的采集、颜色插值处理、图形叠加和显示等模块功能的实现时间，满足了机载显示装置大分辨率，高速率图形图像的显示要求。

Description

一种基于梯度的Bayer格式插值方法及基于FPGA的显示装置

技术领域

本发明涉及一种基于梯度的Bayer格式插值方法及基于FPGA的显示装置，特别是涉及一种基于FPGA的将Bayer格式图像插值还原成24位真彩色图像的方法，适合要求需要高集成度、高分辨率、高速率和图形叠加的视频显示装置。

背景技术

当下的计算机技术发展惊人，但由于计算机只是一种高级的工具，需要受到人的控制和管理，因此人机交互技术得以发展。人机交互技术就是研究如何通过有效的方式实现人与计算机对话的技术。人机交互通常包括了计算机通过输出或显示设备给人提供大量信息及提示等，以及人通过输入设备向计算机输入有关信息等。而图像显示装置则是在人机交互装置中的重要组成部分。一个完整的图像显示装置的设计主要涉及了硬件和软件两个部分。传感器，显示器和中央处理器组成了硬件架构，软件设计模块则主要实现了信号的采集、处理，存储以及输出显示这几个功能。目前，图像显示装置己被广泛应用于许多领域。比如汽车电子，医疗设备，工业检测，航空电子等领域中显示装置都起着举足轻重的作用。

现有的图像显示装置通常是采用CMOS或CCD传感器采集原始的Bayer阵列图像。为了得到24位真彩色的图像，需要进行颜色插值操作，但多数效果较好的颜色插值算法都是非线性的，一般是基于二阶Laplacian变换得到，因此必须基于DSP来实现，处理速度往往受限于CPU的运算能力。因此充分利用FPGA的并行运算优势，选择适用的算法，成为了当今图像处理领域的一个发展趋势^[4]。在当前FPGA平台上通常会直接采用2x2插值或双线性插值算法，但前者会导致图像分辨率的缩小，后者会导致图像边缘细节上的模糊。虽然可以引入梯度方向的判断对双线性插值算法进行优化^[5]，但效果仍不尽如人意。在存储方面，目前的装置为了实现视频图像和参数图形画面的缓存，通常使用多片外载存储器进行存储，使得装置读写控制变得复杂。种种因素的集合意味着显示装置还有着提升的空间。

当应用于航空电子领域中时，显示装置作为机载电子装置的重要组成部分，在飞行过程中，可以显示飞机四周的外景实况和当前飞行的参数，能使座舱的显示变得更加直观、方便和灵活三种，但也因此对装置的集成度，图像分辨率，和仪表的清晰、实时的叠加显示提出了更高的要求。

当前比较常用的机载显示装置多是采用FPGA作为协从处理器配合主处理器DSP进行数据的采集和运算，这样的组合会造成装置的结构变得复杂，不易于对装置进行升级和移植^[1]。比如北京航空航天大学针对视频图像采集与处理的应用要求，提出了基于双核DSP搭配FPGA的构架设计^[2]，DSP作为主处理器，通过其专用的PPI视频接口配合DMA控制器控制视频图像的采集、存储。FPGA作为协处理器，完成对视频图像的预处理中并为DSP提供部分寄存器扩展。该方案实现了视频图像的实时采集与处理,具有良好的实时性，但装置集成度不高，设计过程复杂。北京中科院同样设计了一种基于DSP和FPGA的硬件平台^[3]，平台采用DSP协同两片FPGA芯片同时工作的方式实现如视频采集模块、输入缓存模块、视频处理模块、视频输出缓存模块和视频图像链路传输模块的功能，并在这个平台上实现了一种彩色视频图像增强算法。缺点是装置复杂度较高，运算时间较长。

发明内容

本发明所要解决的技术问题是提供一种基于梯度的Bayer格式插值方法及装置，本发明的方法在插值效果上比一般的线性算法更好，同时在算法的复杂度上没有太多提升；设计的显示装置可以根据不同的要求快速，稳定的采集并清晰显示叠加了参数图形的视频图像且结构简单，集成度高，具有较高的可移植性和实用价值。

本发明为解决上述技术问题采用以下技术方案：

一方面，本发明提供一种基于梯度的Bayer格式插值方法，包括以下具体步骤：

步骤1，获取5x5像素模板，该模板包括待插值的目标像素点及其5x5邻域内的其他像素点；

步骤2，若目标像素点为绿色分量即其行列地址奇偶性相同，则采用双线性插值法得到目标像素点插值处理后的RGB颜色值，进入步骤6；若目标像素点为红色或蓝色分量即其行列地址奇偶性不同，则进入步骤3；

步骤3，计算目标像素点3x3邻域内每个像素点的水平、垂直梯度以及左、右对角线梯度，并根据水平、垂直梯度的比值关系和左、右对角线梯度的比值关系得到每个像素点的2个方向标志flag1和flag2；

步骤4，计算目标像素点3x3邻域内所有像素点的方向标志flag1之和与flag2之和，从而得到目标像素点的水平、垂直加权系数以及左、右对角线加权系数；

步骤5，根据步骤4中目标像素点的水平、垂直加权系数以及左、右对角线加权系数得到目标像素点插值处理后的RGB值；

步骤6，判断是否为最后一个待插值的目标像素点，若是则结束插值，若否则返回步骤1。

作为本发明的进一步优化方案，步骤1中5x5像素模板的获取方法为：首先，使用5个移位寄存器依次缓存5行视频图像数据；其次，读取5行视频图像数据并组合即得到5x5像素模板。

作为本发明的进一步优化方案，步骤2中若目标像素点为绿色分量即其行列地址奇偶性相同，采用双线性插值法得到目标像素点插值处理后的RGB颜色值，具体为：

若目标像素点的行列地址均为奇数，则根据公式1进行插值处理：

式中，(R,G,B)为目标像素点插值处理后的RGB颜色值，R₃₂为5x5像素模板中第三行第二列像素点的R颜色值，R₃₄为5x5像素模板中第三行第四列像素点的R颜色值，G₃₃为5x5像素模板中目标像素点的G颜色值，B₂₃为5x5像素模板中第二行第三列像素点的B颜色值，B₄₃为5x5像素模板中第四行第三列像素点的B颜色值；

若目标像素点的行列地址均为偶数，则根据公式2进行插值处理：

式中，R₂₃为5x5像素模板中第二行第三列像素点的R颜色值，R₄₃为5x5像素模板中第四行第三列像素点的R颜色值，B₃₂为5x5像素模板中第三行第二列像素点的B颜色值，B₃₄为5x5像素模板中第三行第四列像素点的B颜色值。

作为本发明的进一步优化方案，步骤3中根据水平、垂直梯度的比值关系和左、右对角线梯度的比值关系得到每个像素点的2个方向标志flag1和flag2，其中，各个像素点水平、垂直梯度的比值关系和左、右对角线梯度的比值关系与flag1和flag2的对应关系如下：

式中，Δh₁、Δv₁分别为水平梯度和垂直梯度，Δh₂、Δv₂分别为左、右对角线梯度。

作为本发明的进一步优化方案，步骤4中目标像素点的水平、垂直加权系数和左、右对角线加权系数，具体为：

式中，α、β分别为水平、垂直加权系数，γ、δ分别为左、右对角线加权系数，flag_total1、flag_total2分别为目标像素点3x3邻域内所有像素点的方向标志flag1之和、flag2之和。

作为本发明的进一步优化方案，步骤5中根据步骤4中目标像素点的水平加权系数和垂直加权系数得到目标像素点插值处理后的RGB值，具体为：

若目标像素点为红色分量即其为奇数行偶数列，则目标像素点R₃₃处的RGB颜色值：

式中，(R,G,B)为目标像素点插值处理后的RGB颜色值，R₃₃为5x5像素模板中目标像素点的R颜色值，G₃₂为5x5像素模板中第三行第二列像素点的G颜色值，G₃₄为5x5像素模板中第三行第四列像素点的G颜色值，G₂₃为5x5像素模板中第二行第三列像素点的G颜色值，G₄₃为5x5像素模板中四行第三列像素点的G颜色值，B₄₂为5x5像素模板中第四行第二列像素点的B颜色值，B₂₄为5x5像素模板中第二行第四列像素点的B颜色值，B₂₂为5x5像素模板中第二行第二列像素点的B颜色值，B₄₄为5x5像素模板中第四行第四列像素点的B颜色值；

若目标像素点为蓝色分量即其为偶数行奇数列，则目标像素点B₃₃处的RGB颜色值：

式中，R₄₂为5x5像素模板中第四行第二列像素点的R颜色值，R₂₄为5x5像素模板中第二行第四列像素点的R颜色值，R₂₂为5x5像素模板中第二行第二列像素点的R颜色值，R₄₄为5x5像素模板中第四行第四列像素点的R颜色值。

另一方面，本发明提供基于FPGA的显示装置，包括图像传感器、显示器、上位机、存储器以及在FPGA内部实现的图像传感器配置模块、图像数据采集模块、图像颜色插值模块、指令参数读取模块、图形画面绘制模块、存储器控制模块、图形图像叠加模块、VGA控制模块，其中，图像传感器配置模块、图像传感器、图像数据采集模块、图像颜色插值模块、存储器控制模块、图形图像叠加模块、VGA控制模块、显示器依次连接，上位机、指令参数读取模块、图形画面绘制模块、存储器控制模块依次连接，存储器控制模块与存储器连接；

指令参数读取模块读取上位机的指令并传输至图形画面绘制模块，图形画面绘制模块根据接收到的指令绘制图形；

图像传感器配置模块对图像传感器进行配置，使其输出所需分辨率和帧速率的视频图像数据，图像数据采集模块对图像传感器输出的视频图像数据进行采集和行列地址的计数，以便在图像颜色插值模块中对图像数据的地址进行奇偶性判断；图像颜色插值模块采用如权利要求1所述的图像插值方法对图像数据采集模块的图像数据进行插值；

存储器控制模块对图形画面绘制模块输出的图形数据、图像颜色插值模块输出的图像数据的读写设立不同的中断优先级，并传输至存储器中进行存储；

图形图像叠加模块读取存储器中的图形、图像数据进行像素值的混合计算，得到最终显示的图像RGB数据；

VGA控制模块根据图像传感器配置的分辨率大小选择不同的驱动时序，将最终显示的图像RGB数据传输至显示器进行显示。

作为本发明的进一步优化方案，存储器控制模块设立的中断优先级由高到低分别为：图像输出读请求中断、图形输出读请求中断、图像输入写请求中断、图形生成写请求中断。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1)本发明中提出了一种Bayer格式颜色插值方法，主要是针对红蓝像素点的颜色恢复，其原理上是在双线性插值上做出改进，不再简单的对像素进行一种平均化的插值处理，而是先根据索贝尔算子计算像素水平、垂直梯度和左、右对角线梯度，再根据水平、垂直梯度的比值关系和左、右对角线梯度的比值关系确定水平、垂直加权系数和左、右对角线加权系数从而得到红蓝像素的插值结果。在实现过程中引入了方向标志的概念回避了方法中的除法运算，使得新方法可以在基于FPGA的硬件平台上实现，方法复杂度没有太多提升，满足了显示装置的实时性和可实现性。本发明的插值方法考虑了图像的边缘信息和通道之间的相关性，提高了恢复后图像的清晰度，保留了图像的边缘处的细节信息，插值效果得到了明显提升；

2)本发明中的图像显示装置采用FPGA作为核心平台，充分利用了其并行处理和模块化设计的优势，减少了图形画面生成、视频数据的采集、颜色插值处理、图形叠加和显示等模块功能的实现时间，满足了机载显示装置大分辨率，高速率图形图像的显示要求；

3)本发明的图像显示装置仅采用一片DDR2 SDRAM存储器作为装置的外载存储器，通过设立不同的读写中断优先级和使用异步双端口RAM来实现图形和图像的乒乓读写，使得装置的硬件结构变得简单，使用的资源变少，具有较高的可移植性和实用价值；

4)本发明的图像显示装置支持多种分辨率的视频输出。采用了流水线的技术对图形和图像的像素颜色值进行叠加混合操作，减少了处理的时间，提高了显示实时性。

附图说明

图1是Bayer格式5x5像素模板获取示意图。

图2是Bayer格式5x5像素模板的4种分布情况，其中，(a)是目标像素点为奇数行奇数列；(b)是目标像素点为偶数行偶数列；(c)是目标像素点为奇数行偶数列；(d)是目标像素点为偶数行奇数列。

图3是本发明的方法流程图。

图4是本发明的装置结构图。

图5是本发明装置中帧存控制示意图。

图6是本发明中视频图像和图形叠加示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

如图1所示，本发明中的图像颜色插值模块首先使用5个移位寄存器依次缓存5行视频图像数据，分别为SHIFT_R1、SHIFT_R2、SHIFT_R3、SHIFT_R4、SHIFT_R5，每个移位寄存器缓存1行视频图像数据。即当第一行视频图像数据从SHIFT_R1中流出时，SHIFT_R5、SHIFT_R4、SHIFT_R3、SHIFT_R2各自缓存了第5行、第4行、第3行、第2行的视频图像数据，此时同时从各个移位寄存器的输出端读取并暂存5个数据，即得到Bayer格式视频图像5x5的像素邻域模板。

如图2所示，根据5x5的像素模板的中心像素的行列地址奇偶性将模板分成两大类4种情况。针对不同情况，本文的方法执行流程如图3所示。

其中在图2中(a)和(b)中的中心像素为绿色分量G，因此这两种情况可以分为一类，其红蓝的颜色值只需按照一般双线性插值进行计算即可，为了减少运算次数，提高处理时间，不必将5x5的模板中所有的像素都代入计算，只需取中心的3x3模板即可，具体如式1和2所示，其中，式1和2分别为图2中(a)和(b)中目标像素点插值处理后的RGB颜色值的计算公式。

式中，(R,G,B)为目标像素点插值处理后的RGB颜色值，R₃₂为5x5像素模板中第三行第二列像素点的R颜色值，R₃₄为5x5像素模板中第三行第四列像素点的R颜色值，G₃₃为5x5像素模板中目标像素点的G颜色值，B₂₃为5x5像素模板中第二行第三列像素点的B颜色值，B₄₃为5x5像素模板中第四行第三列像素点的B颜色值；R₂₃为5x5像素模板中第二行第三列像素点的R颜色值，R₄₃为5x5像素模板中第四行第三列像素点的R颜色值，B₃₂为5x5像素模板中第三行第二列像素点的B颜色值，B₃₄为5x5像素模板中第三行第四列像素点的B颜色值。

在图2中(c)和(d)中目标像素分别是红色分量R和蓝色分量B，这两种情况像素分布规律相似，因此可以分为另一大类，同时也是本发明中的Bayer格式插值方法的主要操作对象。

当对图2中(c)中目标像素进行插值处理时，首先利用索贝尔算子矩阵 计算出目标像素领域3x3模板内9个像素点的水平、垂直梯度Δh₁、Δv₁，再根据逆时针旋转45度后的索贝尔算子矩阵计算出目标像素领域3x3模板内9个像素点的左、右对角线梯度Δh₂、Δv₂。

以目标像素点R₃₃为例，Δh₁、Δv₁和Δh₂、Δv₂的计算公式如式3所示：

式中，B₄₂为5x5像素模板中第四行第二列像素点的B颜色值，B₂₄为5x5像素模板中第二行第四列像素点的B颜色值，B₂₂为5x5像素模板中第二行第二列像素点的B颜色值，B₄₄为5x5像素模板中第四行第四列像素点的B颜色值；G₃₂为5x5像素模板中第三行第二列像素点的G颜色值，G₃₄为5x5像素模板中第三行第四列像素点的G颜色值，G₂₃为5x5像素模板中第二行第三列像素点的G颜色值，G₄₃为5x5像素模板中四行第三列像素点的G颜色值。

当计算出像素点R₃₃处的水平、垂直梯度和左、右对角线梯度后，判断水平、垂直梯度和左、右对角线梯度各自的的比值关系，综合考虑计算量和插值效果等因素，进行大小比对的倍数关系取1,2,4,8,16。

此时引入像素点的方向标志flag的概念，使用flag的大小来量化水平、垂直梯度和左、右对角线梯度的比值关系。2个方向标志flag1和flag2与水平、垂直梯度的比值和左、右对角线梯度的比值对应关系如式4所示。

至此，可以确定3x3邻域模板中一个像素点的2个方向标志flag1和flag2的大小，且从上式可以看出flag1和flag2是在[0，10]内的正整数。

当计算出以当前像素为中心的3x3邻域模板中所有像素的方向标志flag1之和、flag2之和，即flag_total1、flag_total2，从flag1和flag2的取值范围可以得出flag_total1和flag_total2是在[0,90]内的正整数，此时可以根据式5得到目标像素点的水平、垂直加权系数α、β和左、右对角线加权系数γ、δ：

最后，根据式6可以得到图2(c)中目标像素点R₃₃处的RGB颜色值：

同理，亦可以根据式7得出图2中(d)中目标像素点B₃₃处的RGB颜色值：

式中，R₄₂为5x5像素模板中第四行第二列像素点的R颜色值，R₂₄为5x5像素模板中第二行第四列像素点的R颜色值，R₂₂为5x5像素模板中第二行第二列像素点的R颜色值，R₄₄为5x5像素模板中第四行第四列像素点的R颜色值。

如图4所示，本发明还提供一种基于FPGA的显示装置，以FPGA作为装置的核心处理器，采用模块化的编程方式实现装置中的各个功能，主要包括指令参数读取、图形画面绘制、图像传感器配置、图像数据采集、图像颜色插值、存储器读写控制、图形图像叠加以及VGA控制等模块。

以500万像素(2592×1944)分辨率的CMOS图像传感器为例，这样的传感器体积小，功耗低，适合应用于此领域，并且对机载显示可以达到很好的效果。

本发明中，图像传感器控制模块使用I²C总线对图像传感器进行参数配置，使其输出所需分辨率和帧率的视频图像数据。图像传感器还可根据FPGA的控制要求对采集的视频图像数据进行分辨率调节。可以通过在图像传感器控制模块中引入信号IMAGE_CONTROL来控制写入内部寄存器值的大小，就可以实现对采集的视频图像数据进行分辨率的调节。

如图5所示，显示装置采用DDR2 SDRAM作为系统外部存储器，其大存储容量，高读写速度可以满足装置在数据读写缓存上的要求。图形和视频图像数据输入到DDR2时是通过乒乓存储的方式写入2帧画面，而数据输出时则将一帧图形数据和一帧视频图像数据看作一组同时输出，分做两组同样做乒乓读写操作。

由于图形的背景为纯色，实际需要存储的数据较小，发明装置中使用了多个FPGA内部的异步双端口BLOCK RAM作为不同类型图形数据的缓冲区。如直线结果缓冲区，用于存放要输出的直线数据；字符结果缓冲区，用于存放字符图形数据；圆/圆弧结果缓冲区，用于存放圆/圆弧等图形数据。各个缓冲区的数据信息由像素点的帧标志位、行列地址和颜色值组成。经插值处理后的视频图像数据同样也经过异步双端口BLOCK RAM构成的图像输入缓冲区再写入到DDR2 SDRAM中。

为了解决数据存储的读写冲突，本发明通过设计一种快速的中断处理机制，将不同的数据读写请求设成不同的中断优先级，中断优先级由高到低分别为：图像输出读请求中断、图形输出读请求中断、图像输入写请求中断、图形生成写请求中断。

处理图像输出读请求中断是从DDR2中读出待输出的视频图像数据和图形数据并分别输出到各自的输出缓冲区，其处理过程可分为三个步骤：从DDR2中读取4行视频图像数据写到图像输出模块的视频图像缓冲区中、从DDR2中读取4行图形数据写到输出模块的图形缓冲区中、清空DDR2图形缓冲区中刚读出的4行图形数据。

图形生成写请求中断将图形缓冲区里的结果写入DDR2中。其执行过程可分为三个步骤：将直线结果缓冲区写入DDR2中、将字符结果缓冲区写入DDR2中、将圆/圆弧结果缓冲区写入DDR2中。与前几个中断处理有所不同的是在图形生成写请求中断处理过程中，如果收到其它更高优先级的中断，会转到其它中断处理程序，处理结束后，再返回到图形生成写请求中断过程中继续将缓存区中的结果读写到DDR2中；对于其它中断，在中断处理过程中不会转入别的中断处理程序。

如图6所示，图形和视频图像数据从各自的缓冲区输出时可以根据select信号判断是否进行视频图像和图形的叠加。图形数据在经过叠加之前需要经过区域填充的计算。图形和视频图像数据同时按照一帧画面的行列地址顺序依次输出，显然进行叠加操作的像素在图形和视频图像中的地址是一样的。本发明中采用的叠加公式如式8所示：

式中，I_out为叠加后输出的颜色，I_a为近景图形画面中像素点的颜色，I_b为视频图像中像素点的颜色，I_c表示图形的背景色。θ为叠加的权值，θ∈[0,1]，通过θ可以控制图形在视频图像上的叠加程度。

图形和视频图像中的各个像素点按照流水线的方式依次进行叠加混合操作，叠加混合的结果能够源源不断的计算并得出，不会占用太多额外显示时间，保证了画面的刷新频率。

最后的VGA控制模块可以根据图像传感器控制模块中的信号IMAGE_CONTROL来确定不同分辨率画面的时序参数，保证经过叠加混合后输出的画面数据能够正常的显示输出。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种基于梯度的Bayer格式图像插值方法，其特征在于，包括以下具体步骤：

步骤1，获取5x5像素模板，该模板包括待插值的目标像素点及其5x5邻域内的其他像素点；

步骤2，若目标像素点为绿色分量，则采用双线性插值法得到目标像素点插值处理后的RGB颜色值，进入步骤6；若目标像素点为红色或蓝色分量，则进入步骤3；

步骤3，计算目标像素点3x3邻域内每个像素点的水平、垂直梯度以及左、右对角线梯度，并根据水平、垂直梯度的比值关系和左、右对角线梯度的比值关系得到每个像素点的2个方向标志flag1和flag2；

步骤4，计算目标像素点3x3邻域内所有像素点的方向标志flag1之和与flag2之和，从而得到目标像素点的水平、垂直加权系数以及左、右对角线加权系数；

步骤5，根据步骤4中目标像素点的水平、垂直加权系数以及左、右对角线加权系数得到目标像素点插值处理后的RGB值；

步骤6，判断是否为最后一个待插值的目标像素点，若是则结束插值，若否则返回步骤1。

2.根据权利要求1所述的一种基于梯度的Bayer格式图像插值方法，其特征在于，步骤1中5x5像素模板的获取方法为：首先，使用5个移位寄存器依次缓存5行视频图像数据；其次，读取5行视频图像数据并组合即得到5x5像素模板。

3.根据权利要求1所述的一种基于梯度的Bayer格式图像插值方法，其特征在于，步骤2中若目标像素点为绿色分量，采用双线性插值法得到目标像素点插值处理后的RGB颜色值，具体为：

若目标像素点的行列地址均为奇数，则根据公式1进行插值处理：

$\left\{\begin{array}{c}R=\frac{R_{32}+R_{34}}{2}\\ G=G_{33}\\ B=\frac{B_{23}+B_{43}}{2}\end{array}\right.---\left(1\right)$

式中，(R,G,B)为目标像素点插值处理后的RGB颜色值，R₃₂为5x5像素模板中第三行第二列像素点的R颜色值，R₃₄为5x5像素模板中第三行第四列像素点的R颜色值，G₃₃为5x5像素模板中目标像素点的G颜色值，B₂₃为5x5像素模板中第二行第三列像素点的B颜色值，B₄₃为5x5像素模板中第四行第三列像素点的B颜色值；

若目标像素点的行列地址均为偶数，则根据公式2进行插值处理：

$\left\{\begin{array}{c}R=\frac{R_{23}+R_{43}}{2}\\ G=G_{33}\\ B=\frac{B_{32}+B_{34}}{2}\end{array}\right.---\left(2\right)$

式中，R₂₃为5x5像素模板中第二行第三列像素点的R颜色值，R₄₃为5x5像素模板中第四行第三列像素点的R颜色值，B₃₂为5x5像素模板中第三行第二列像素点的B颜色值，B₃₄为5x5像素模板中第三行第四列像素点的B颜色值。

4.根据权利要求1所述的一种基于梯度的Bayer格式图像插值方法，其特征在于，步骤3中根据水平、垂直梯度的比值关系和左、右对角线梯度的比值关系得到每个像素点的2个方向标志flag1和flag2，其中，各个像素点水平、垂直梯度的比值关系和左、右对角线梯度的比值关系与flag1和flag2的对应关系如下：

$\begin{array}{cc}\left\{\begin{array}{cc}{\mathrm{\&Delta;h}}_1<{\mathrm{\&Delta;v}}_1/16& flag1=10\\ {\mathrm{\&Delta;v}}_1/16\&le;{\mathrm{\&Delta;h}}_1<{\mathrm{\&Delta;v}}_1/8& flag1=9\\ {\mathrm{\&Delta;v}}_1/8\&le;{\mathrm{\&Delta;h}}_1<{\mathrm{\&Delta;v}}_1/4& flag1=8\\ {\mathrm{\&Delta;v}}_1/4\&le;{\mathrm{\&Delta;h}}_1<{\mathrm{\&Delta;v}}_1/2& flag1=7\\ {\mathrm{\&Delta;v}}_1/2\&le;{\mathrm{\&Delta;h}}_1<{\mathrm{\&Delta;v}}_1& flag1=6\\ {\mathrm{\&Delta;h}}_1={\mathrm{\&Delta;v}}_1& flag1=5\\ {\mathrm{\&Delta;v}}_1<{\mathrm{\&Delta;h}}_1\&le;2{\mathrm{\&Delta;v}}_1& flag1=4\\ 2{\mathrm{\&Delta;v}}_1<{\mathrm{\&Delta;h}}_1\&le;4{\mathrm{\&Delta;v}}_1& flag1=3\\ 4{\mathrm{\&Delta;v}}_1<{\mathrm{\&Delta;h}}_1\&le;8{\mathrm{\&Delta;v}}_1& flag1=2\\ 8{\mathrm{\&Delta;v}}_1<{\mathrm{\&Delta;h}}_1\&le;16{\mathrm{\&Delta;v}}_1& flag1=1\\ 16{\mathrm{\&Delta;v}}_1<{\mathrm{\&Delta;h}}_1& flag1=0\end{array}\right.& \left\{\begin{array}{cc}{\mathrm{\&Delta;h}}_2<{\mathrm{\&Delta;v}}_2/16& flag2=10\\ {\mathrm{\&Delta;v}}_2/16\&le;{\mathrm{\&Delta;h}}_2<{\mathrm{\&Delta;v}}_2/8& flag2=9\\ {\mathrm{\&Delta;v}}_2/8\&le;{\mathrm{\&Delta;h}}_2<{\mathrm{\&Delta;v}}_2/4& flag2=8\\ {\mathrm{\&Delta;v}}_2/4\&le;{\mathrm{\&Delta;h}}_2<{\mathrm{\&Delta;v}}_2/2& flag2=7\\ {\mathrm{\&Delta;v}}_2/2\&le;{\mathrm{\&Delta;h}}_2<{\mathrm{\&Delta;v}}_2& flag2=6\\ {\mathrm{\&Delta;h}}_2={\mathrm{\&Delta;v}}_2& flag2=5\\ {\mathrm{\&Delta;v}}_2<{\mathrm{\&Delta;h}}_2\&le;2{\mathrm{\&Delta;v}}_2& flag2=4\\ 2{\mathrm{\&Delta;v}}_2<{\mathrm{\&Delta;h}}_2\&le;4{\mathrm{\&Delta;v}}_2& flag2=3\\ 4{\mathrm{\&Delta;v}}_2<{\mathrm{\&Delta;h}}_2\&le;8{\mathrm{\&Delta;v}}_2& flag2=2\\ 8{\mathrm{\&Delta;v}}_2<{\mathrm{\&Delta;h}}_2\&le;16{\mathrm{\&Delta;v}}_2& flag2=1\\ 16{\mathrm{\&Delta;v}}_2<{\mathrm{\&Delta;h}}_2& flag2=0\end{array}\right.\end{array}$

式中，Δh₁、Δv₁分别为水平梯度和垂直梯度，Δh₂、Δv₂分别为左、右对角线梯度。

5.根据权利要求4所述的一种基于梯度的Bayer格式图像插值方法，其特征在于，步骤4中目标像素点的水平、垂直加权系数和左、右对角线加权系数，具体为：

$\begin{array}{cc}\left\{\begin{array}{c}\mathrm{\&alpha;}=flag\_total1/90\\ \mathrm{\&beta;}=1-\mathrm{\&alpha;}\end{array}\right.& \left\{\begin{array}{c}\mathrm{\&gamma;}=flag\_total2/90\\ \mathrm{\&delta;}=1-\mathrm{\&gamma;}\end{array}\right.\end{array}$

式中，α、β分别为水平、垂直加权系数，γ、δ分别为左、右对角线加权系数，flag_total1、flag_total2分别为目标像素点3x3邻域内所有像素点的方向标志flag1之和、flag2之和。

6.根据权利要求5所述的一种基于梯度的Bayer格式图像插值方法，其特征在于，步骤5中根据步骤4中目标像素点的水平加权系数和垂直加权系数得到目标像素点插值处理后的RGB值，具体为：

若目标像素点为红色分量，则目标像素点R₃₃处的RGB颜色值：

$\left\{\begin{array}{c}R=R_{33}\\ G=\frac{\mathrm{\&alpha;}(G_{32}+G_{34})+\mathrm{\&beta;}(G_{23}+G_{43})}{2}\\ B=\frac{\mathrm{\&gamma;}(B_{42}+B_{24})+\mathrm{\&delta;}(B_{22}+B_{44})}{2}\end{array}\right.$

式中，(R,G,B)为目标像素点插值处理后的RGB颜色值，R₃₃为5x5像素模板中目标像素点的R颜色值，G₃₂为5x5像素模板中第三行第二列像素点的G颜色值，G₃₄为5x5像素模板中第三行第四列像素点的G颜色值，G₂₃为5x5像素模板中第二行第三列像素点的G颜色值，G₄₃为5x5像素模板中四行第三列像素点的G颜色值，B₄₂为5x5像素模板中第四行第二列像素点的B颜色值，B₂₄为5x5像素模板中第二行第四列像素点的B颜色值，B₂₂为5x5像素模板中第二行第二列像素点的B颜色值，B₄₄为5x5像素模板中第四行第四列像素点的B颜色值；

若目标像素点为蓝色分量，则目标像素点B₃₃处的RGB颜色值：

$\left\{\begin{array}{c}R=\frac{\mathrm{\&gamma;}(R_{42}+R_{24})+\mathrm{\&delta;}(R_{22}+R_{44})}{2}\\ G=\frac{\mathrm{\&alpha;}(G_{32}+G_{34})+\mathrm{\&beta;}(G_{23}+G_{43})}{2}\\ B=B_{33}\end{array}\right.$

式中，R₄₂为5x5像素模板中第四行第二列像素点的R颜色值，R₂₄为5x5像素模板中第二行第四列像素点的R颜色值，R₂₂为5x5像素模板中第二行第二列像素点的R颜色值，R₄₄为5x5像素模板中第四行第四列像素点的R颜色值。

7.一种基于FPGA的显示装置，其特征在于，包括图像传感器、显示器、上位机、存储器以及在FPGA内部实现的图像传感器配置模块、图像数据采集模块、图像颜色插值模块、指令参数读取模块、图形画面绘制模块、存储器控制模块、图形图像叠加模块、VGA控制模块，其中，图像传感器配置模块、图像传感器、图像数据采集模块、图像颜色插值模块、存储器控制模块、图形图像叠加模块、VGA控制模块、显示器依次连接，上位机、指令参数读取模块、图形画面绘制模块、存储器控制模块依次连接，存储器控制模块与存储器连接；

指令参数读取模块读取上位机的指令并传输至图形画面绘制模块，图形画面绘制模块根据接收到的指令绘制图形；

图像传感器配置模块对图像传感器进行配置，使其输出所需分辨率和帧速率的视频图像数据，图像数据采集模块对图像传感器输出的视频图像数据进行采集和行列地址的计数，以便在图像颜色插值模块中对图像数据的地址进行奇偶性判断；图像颜色插值模块采用如权利要求1所述的图像插值方法对图像数据采集模块的图像数据进行插值；

存储器控制模块对图形画面绘制模块输出的图形数据、图像颜色插值模块输出的图像数据的读写设立不同的中断优先级，并传输至存储器中进行存储；

图形图像叠加模块读取存储器中的图形、图像数据进行像素值的混合计算，得到最终显示的图像RGB数据；

VGA控制模块根据图像传感器配置的分辨率大小选择不同的驱动时序，将最终显示的图像RGB数据传输至显示器进行显示。

8.根据权利要求7所述的一种基于FPGA的显示装置，其特征在于，存储器控制模块设立的中断优先级由高到低分别为：图像输出读请求中断、图形输出读请求中断、图像输入写请求中断、图形生成写请求中断。