CN116668874A - 一种基于fpga的数字图像采集方法和装置 - Google Patents

Abstract

本发明提供一种基于FPGA的图像处理方法，属于图像处理领域，所述的图像处理方法包括图像采集步骤、FPGA主控设计步骤、图像存储步骤、图像输出步骤，图像采集步骤用以对图像信号的捕捉，以产生原始RGB数据，FPGA主控设计步骤对原产RGB图像处理运算并且控制各个外设模块工作状态，以产生新的RGB数据，图像存储步骤对产生的RGB数据进行存储，为显示模块填充FIFO，图像输出步骤，以RGB数据为基准转换成TMDS信号进行输出；整体系统利用ZYNQ的流水线处理和AXI4协议，降低整体系统延迟、设计复杂度和成本。

Description

一种基于FPGA的数字图像采集方法和装置

技术领域

本发明属于数字图像处理领域，涉及到一种实时硬件采集系统，特别涉及基于FPGA的硬件图像采集处理方法。

背景技术

随着计算机硬件的快速发展，数字图像早已进入日常生活中。不管是消费电子，智能家居，还是工业医疗等各个领域，都已经离不开数字图像处理。

人们对实时图像质量的要求越来越高。而高清实时性图像的质量越好，所需要的数据量也越大，处理难度也就越大。现有数字图像采集系统基本能实现目标显像，但也存在图像数据存取速度低、系统耗费资源大、体积较大、系统内部逻辑或控制算法复杂度高、设计系统外部接口通用性较低等情况。如使用DSP作为主控模块则成本较高，DSP硬件设计一旦确定后不能修改、灵活性不足、不容易进行维护等缺点。为了实现图像处理多任务和实时性，嵌入式图像采集处理器逐渐由单核转变为由ARM核、DSP核以及加速辅助处理器集成的多核。根据不同的图像采集处理任务，指派擅长该任务的核心去处理。在实现多任务并行处理时，这个异构集成的处理器先将每一帧图像存储到内存后再读取图像进行处理，因此，系统会存在滞后一帧图像的状况，从而不满足实时性处理的要求。如何降低处理时的延迟是本领域的重要技术课题之一。

FPGA与前面两种处理器相比有较大的优势，FPGA可以实现所有的数字电路以及可以根据客户需求来定制自己所需的数字处理模块。同时FPGA具有视频像素多级流水、并行处理特性，图像数据采集和处理可以同步进行，不需要先采集一帧再处理，图像处理滞后的延时更短。因此，FPGA能够精确灵活控制图像处理时长，满足图像采集的处理时间要求确定性高的应用场景。

发明内容

本发明提供一种基于FPGA的数字图像采集方法和装置，以降低图像在采集处理过程中的延迟。

在根据本公开的实施例中，所述FPGA的数字图像采集方法和装置包括图像采集装置、FPGA主控装置、图像存储装置、图像输出装置。图像采集装置采用CMOS OV5640图像传感器，采用通信总线类似IIC，具有SCCB接口的相机模组，将电信息所承载的图像信息准确地呈现出来。FPGA主控装置采用Xilinx Zynq-7000系列芯片为核心，实现相机输入数据格式的转换，DDR读写控制以及HDMI显示等模块逻辑设计。图像存储模块采用Hynix公司DDR3SDRAM型号的H5TQ4G63AFR-PBC芯片对采集到的图像数据进行存储。图像输出装置采用RGB数据转成TMDS数据再应用差分方式通过HDMI发送端输出，完成图像采集和显示系统的搭建。

在根据本公开的实施例中，所述的FPGA的数字图像采集方法包括：图像采集模块、FPGA主控模块、图像处理模块、图像输出模块。图像采集模块将采集到的图像信息转化成1280×720 30fps的图像信号，通过SCCB总线传入Zynq-7000芯片的PS端。FPGA主控模块，它主要是用来进行图像数据的存储与发送、数据处理，对于较复杂的计算过程采用流水线设计方法来提升运算速度。图像处理模块将从图像传感器读出的图像数据进行白平衡、色彩矫正、伽马矫正等处理将视频数据送入DDR3存储器中。图像输出模块将输出缓冲区的数据通过并行编码转换成HDMI可输出的数据送入显示端。

基于上述，本公开诸实施例所述的图像数据采集、处理、显示等功能通过FPGA的流水线操作，使得降低图像处理的延迟时间。因为数据FPGA内部并行处理，所以数字图像处理的过程中实时性有明显提升。

附图说明

图1是依照本公开的一实施例的系统整体框架示意图；

图2是依照本公开的一实施例的系统数字图像处理流程示意图；

图3是依照本公开的一实施例的图像数据通过DMA写入DDR3示意图；

图4是依照本公开的一实施例的图像数据通过DMA从DDR3读出到HDMI驱动示意图；

图5是依照本公开的一实施例的图像数据发送示意图。

具体实施方式

现将详细地参考本公开的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在附图和描述中就可以用来表示相同或相似部分。下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

如图1所示，本发明的一种基于FPGA的图像处理系统，本系统由信号为xc7z020clg400的FPGA芯片、COMS OV5640图像传感器、显示器构成的采集显示系统。其中前段有输出图像分辨率为1280×720(720p)的模拟感光矩阵，经过A/D处理和A/D转换(ADC)后，模拟信号转换为数字信号。后端经过数字处理后输出符合AXI4协议标准的图像数据，本发明是RGB565转换成RGB888。在FPGA内部，采集到的图像数据先通过一个FIFO，将原本与25MHz时钟同步的数据流转换成与FPGA内部100MHz同步。接着将这个数据再送入写DDR3缓存的异步FIFO中，数据一旦达到一定数量，就会通过DDR3控制器IP，将数据写入DDR3内存中。与此同时，使用异步的AXI_RD_FIFO缓存DDR3中读出图像数据；HDMI驱动模块不断地发出读图像数据的请求给到这个FIFO，从中读取图像数据并处理送给显示器显示。

如图2所示，系统的数字图像处理流程，COMS传感器阵列采集的图像是由一行RGRG...和一行BGBG…交错排列而成的Bayer图像排列，根据计算所需，建立两个深度为2048×8bit的FIFO用于建立3×3矩阵，对数据进行双FIFO流水线操作，根据奇偶排列实现RGB各个分量的差值运算。运算公式如下：

其中R₁₁中的数字代表1行1列以此类推，相关RGB数据按照位置计算其对应的值。编写Verilog文件后添加到硬件设计中进行数据的运算，得到完整的RGB数据后，为了让人眼看到的图片信息更加符合人类的视觉习惯，所得到的数据再经过伽马(Gamma)矫正处理，本发明中Gamma值选取为2.2所以计算公式如下：

其中V_in是原始像素值，V_out是映射后的像素值。在Matlab中编辑完成公式后生成脚本文件gamma.m用于生成Gamma矫正数据，这256个点的数据以Vivado中可用的ROM初始化文件形式保存下来。上一个模块产生的RGB数据被Gamma模块读取再产生新的图像数据。为了图像数据显示出来有更精准的白色，插入白平衡处理模块去矫正图像的偏光。首先我们先要计算出当前图像的色温值，去计算新的RGB数据，计算公式入下：

其中R_i、G_i、B_i是由伽马矫正后的RGB数据，R_o、G_o、B_o是白平衡处理后的RGB数据，VIO_R、VIO_G、VIO_B是白平衡调整后色彩的最大值。先推断各个色彩最大值的比例关系在与其相乘就获得归一化的色彩值。在每个通道计算过程中，需要用到一次乘法和除法，启用Xlinx官方提供的除法器IP和乘法器IP来进行乘除法运算。在运算期间产生的3周期延时通过设置valid信号来同步输出数据时钟，为了匹配通讯协议两个IP都设置成AXI协议，输出方式采用余数模式。

如图3所示，数据写入DDR3模块接口及其信号示意图。从图像运算模块结束得到的新RGB数据，通过ZYNQ提供的DMA存储方式将其写入DDR3内存。低速的通讯协议无法为大量的图像数据提供快速读写，利用AXI4协议去建立ZYNQ中的PS和PL端的连接，在硬件设计时打开ZYNQ的AXI_HP(high-performance purpose)高性能接口来建立数据与控制端和存储端之间的连接。本系统是在像素时钟域进行图像数据的运算，在AXI_CLK时钟域读写图像数据，然而AXI4协议无法在任意时刻写入数据，需要异步FIFO对图像数据进行缓冲。当fv帧同步脉冲信号和hv行有效信号依次高有效时，使能异步FIFO的写有效信号(WR_vild)将RGB数据写入其中。若异步FIFO中缓冲大于一次猝发长度(AXI猝发长度256)的数据，启动猝发写入DDR3中，循环操作直到数据缓存完毕。

如图4所示，描述读数据到显示端的示意图。最终是以HDMI的显示方式输出，即该模块根据HDMI的720p驱动时序去实现读视频数据设计。在HDMI显示端和DDR3之间加入由DDR3控制IP管理的FIFO。为了满足显示端的数据需求，就要保证FIFO内永远数据不空，在显示期间始终保持从FIFO中读取图像数据。其设计逻辑如下，当FIFO中不足1行数据时，从DDR3内存中读取图像数据填充FIFO，HDMI显示端发出指令判断FIFO中是否存在大于等于1行图像像素，如果满足条件就启动HDMI显示驱动时序，持续按照HDMI扫描时序读取FIFO中图像数据，并利用AXI4的传输协议保证DDR读出的数据填充FIFO效率大于HDMI显示端读取的效率，重复以上步骤就可以实现数据始终在等待读取，HDMI接收端的就可以流畅显示。

Claims (4)

1.一种基于FPGA的数字图像采集方法和装置，其特征在于，所述的采集方法和装置包括：

图像采集装置，用以对图像的采集和信号的产生，将采集到的模拟信号转换成数字图像数据传送至FPGA内尽心运算处理；

图像运算方法，对所述数字图像数据经运算产生新的数据传送至存储芯片以便数据读取显示；

图像输出装置，对所述经运算产生的新图像数据进行串转并操作令数据转换成可输出的模式。

2.根据权利要求1所述的FPGA的数字图像采集方法和装置，其特征在于，所述图像采集装置包括：CMOS OV5640图像传感器，采用通信总线IIC，具有SCCB接口的相机模组，将电信息所承载的图像信息转化成1280×720 30fps的图像信号。

3.根据权利要求1或2所述的FPGA的数字图像采集方法和装置，其特征在于，所述图像运算步骤包括：将从图像传感器读出的图像数据进行白平衡、色彩矫正、伽马矫正等图像运算将运算所得的图像数据送入DDR3存储器中存储，再利用DDR3控制IP完成图像数据的读写操作。

4.根据权利要求3所述的FPGA的数字图像采集方法和装置，其特征在于，所述图像输出步骤包括：将输出缓冲区的数据通过并行编码转换成HDMI可输出的串行差分数据送入显示端。