CN116456093B - 一种基于Zynq的图像帧率可控模拟器和方法 - Google Patents

Abstract

本发明公开了一种基于Zynq的图像帧率可控模拟器和方法，所述模拟器包括存储器、Zynq芯片和内存；所述Zynq芯片包括PS和PL；所述存储器，用来为PS提供图像数据；所述PS，用来读取存储器中的图像数据，并将所述图像数据存储在内存中；所述PL，用来控制图像的帧率，根据所需帧率，将内存中的数据进行读取以及输出。本发明采用zynq芯片，zynq芯片内部集成了cpu和FPGA，减少片外互联之间的链路不稳定性，更具有可靠性，更加小型化，轻量化，便于携带，降低开发难度，增加了扩展数据库的功能。

Description

一种基于Zynq的图像帧率可控模拟器和方法

技术领域

本发明涉及航空测试数据模拟领域，尤其涉及一种基于Zynq的图像帧率可控模拟器和方法。

背景技术

随着航空技术的快速发展，航空相机的需求也随之加大，不同的图像算法也井喷式发展，在开发阶段为了验证算法的可行性，需要有和真实相机输出一致的模拟源对识别设备进行数据输入，图像模拟器就在其中发挥了巨大的作用。目前的图像模拟器存在以下几点的不足：1.采用FPGA和CPU分离的方式，模拟器的体积大，功耗高，两者之间物理链接容易受环境干扰，2.目前分离式的方式，在CPU测和FPGA测均会使用内存，造成成本高，延时大等问题，3.缺少图像帧率控制的方式，无法满足特定条件下的需求，4.缺少图像数据库更新的扩展功能，5.部分专利会将辅助数据和图片数据分开存放，造成资源开销大，开发难度大等问题。

发明内容

针对现有技术的不足，本发明提供一种基于Zynq的图像帧率可控模拟器和方法。

本发明的目的通过如下的技术方案来实现：一种基于Zynq的图像帧率可控模拟器，所述模拟器包括存储器、Zynq芯片和内存；所述Zynq芯片包括PS和PL；

所述存储器，用来为PS提供图像数据；

所述PS，用来读取存储器中的图像数据，并将所述图像数据存储在内存中；

所述PL，用来控制图像的帧率，根据所需帧率，将内存中的数据进行读取以及输出。

进一步地，所述PS设置有USB接口和以太网接口；

所述USB接口用来连接外部的存储设备；

所述以太网接口用来更新外部存储其中的图像数据；用于远程控制；用于对PL进行程序更新。

进一步地，所述内存与PS连接；所述内存为DDR内存。

进一步地，所述PL设置有寄存器、FIFO和输出接口；

所述寄存器用来存储帧率控制参数和图片数量参数；

所述FIFO用来缓存PL读取的每一行图像数据；所述FIFO至少设置两个；

所述输出接口用来将图像数据输出；

所述输出接口为采用FPGA的GT接口或通用的IO口。

进一步地，PL与PS之间通过AXI总线进行互联，PS通过AXI总线设置PL的寄存器，PL通过AXI总线访问PS的内存，读取内存图像数据。

一种上述的模拟器的图像帧率可控方法，包括：

(1)根据所需要的帧率以及所需发送的图片数量，PS通过AXI接口将帧率参数和图片数量参数传输给PL；

(2)PS从存储器读取图像数据，将图像数据存储在内存中；

(3)当PS读取完一张图片后，通过AXI接口通知PL，开始读取数据，PS继续存图片；

(4)PL从内存中读取数据，PL每读取一行数据，放在FIFO缓存中，通过乒乓操作的方式，根据帧率向外输出数据；

(5)PL读取完一张图片后对PS发送中断，PS接收中断后往内存开始存储下一张图片；

(6)重复步骤(2)、步骤(3)、步骤(4)和步骤(5)，直至所需发送的图片全部输出。

进一步地，所述图像数据包含辅助数据和图片数据；

所述帧率参数是通过AXI-Lite总线进行数据传输，在传输过程中PS作为主机，帧率参数包含消隐时钟个数，图像的长和宽，PL接收到帧率参数和图片数量参数存储在寄存器中，在数据输出时对图像的传输进行控制，以达到模拟器所需的时序与帧率。

进一步地，PS往内存写的图像数量需比PL读取的数量多一张，即当PS往内存写的图像编号为N时，PL读取的图像编号为N-1，从而保证图像的连续性，同时当PS将图像编号为N的图片存储完成时，将停止下一个图像的存储，直到PL读取完图像编号为N-1的图像后，PL读取完图像后是通过中断的方式通知PS图像读取完成；

进一步地，PS和PL共用一个内存，内存放置与PS端；内存利用CMA技术，开辟内存空间供PS和PL进行图像的写入与读取，所需图像存储在CMA分配的连续内存中；在PL读取内存中的数据时，PL作为主机，从内存中将数据搬运到PL的FIFO缓存中。

进一步地，PL访问内存时，采用背压技术，通过握手信号对内存读取的速率进行控制，同时采用乒乓操作，对输出信号进行控制，确保每行之间的所需时间相同。

本发明的有益效果是：本发明提供了一种新的图像模拟器，且提供了一种帧率控制的方法，对比现有技术中采用CPU与FPGA分离方式处理的设计，本发明采用zynq芯片，zynq芯片内部集成了cpu和FPGA，两者之间的数据交互是片内交互减少片外互联之间的链路不稳定性，更具有可靠性，更加小型化，轻量化，便于携带，降低开发难度，增加了扩展数据库的功能。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明模拟器的示意图；

图2为PS和PL图像传输的时间说明图；

图3为本发明的流程图；

图4为模拟器帧率控制流程图；

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

下面结合附图，对本发明进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。

首先给出技术术语解释：

(1)FPGA：Field Programmable Gate Array现场可编程门阵列；

(2)CPU：Central Processing Unit中央处理器；

(3)PL：Progarmmable Logic可编程逻辑；

(4)PS：Processing System处理系统；

(5)CMA：Contiguous Memory Allocator连续内存分配器；

(6)FIFO：First In First Out先进先出数据缓存器。

本发明的一种基于Zynq的图像帧率可控模拟器，如图1所示，该模拟器包括存储器、Zynq芯片和内存；Zynq芯片包含PS和PL；

存储器，用来为PS提供图像数据；

PS，用来读取存储器中的图像数据，并将所述图像数据存储在内存中；PS设置有USB接口和以太网接口；USB接口用来连接外部的存储设备，例如U盘等，将外部的图片数据集拷入，以达到不同场景下的相机模拟图片要求，该设计方便数据集的更新；以太网接口有三个作用：1、用来更新外部存储其中的图像数据2、用于远程控制；3、用于对PL进行程序更新。

PL用来图像帧率控制，根据所需帧率，将内存中的数据进行读取以及输出；PL设置有寄存器、FIFO和输出接口；其中，寄存器用来存储帧率参数和图片数量参数；FIFO用来缓存PL读取的每一行图像数据，且FIFO至少设置两个，用来进行兵兵操作；输出接口用来将图像数据输出；输出接口为采用FPGA的GT接口和通用的IO口；其中，采用FPGA的GT接口，支持3.125Gbps的速率，采用8b/10b编码；

内存用来存储PL需要输出的图像数据。

内存与PS连接；内存为DDR内存。

PL与PS之间通过AXI总线进行互联，PS通过AXI总线设置PL的寄存器，PL通过AXI总线访问PS的内存，读取内存图像数据。

其中Zynq芯片集成了ARM和FPGA在体积与功耗上具有一定的优势，且两者的通信时片内通信，可靠性高；采用在PS端挂DDR内存，加内存共享给PL端，解决了在CPU测和FPGA测同时使用内存的问题；通过USB来实现对图像数据库扩展功能；根据设置的帧率，通过控制图像的输出速率以及图像输出的空闲时间来实现帧率的控制，模拟真实条件下相机的输出。

本发明的一种图像帧率可控方法，如图3所示，包括以下步骤：

S1、根据所需要的帧率以及所需发送的图片数量，PS通过AXI接口将帧率参数和图片数量参数传输给PL；

所述帧率参数包含消隐时钟个数和图像的长和宽；PL接收到帧率参数和图片数量参数存储在寄存器中，在数据输出时对图像的传输进行控制，以达到模拟所需的时序与帧率。所述帧率参数中消隐时钟的个数是通过图像的帧率，图像的长和宽以及PL每个时钟传输的像素个数计算得到。所述帧率，图像长度以及PL每个时钟传输的像素个数是通过可执行程序通过参数进行输入的，例如用户需求每秒发送一张图片(即帧率为1帧/秒)，则可将1作为帧率输入参数进行输入，图像长度，PL每个时钟传输的像素个数和图片数量也是如此。S2、PS从存储器读取图像数据，将图像数据存储在内存中；

所述图像数据包含辅助数据和图片数据；

S3、当PS读取完一张图片后，通过AXI接口通知PL，开始读取数据，PS继续存图片；

具体地，参见图2，PS将存储器中的图片一张一张地搬运到CMA分配好的内存中，PL读取完PS存储在内存的第一张图片后，PS才往内存写入第二张图片，如此循环，当PL读取完PS存储在内存的第n-1张图片后，PS才往内存写入第n+1张图片；其中，内存是利用CMA技术，开辟内存空间供PS和PL进行图像的写入与读取，所需图像存储在CMA分配的连续内存中；在PL读取内存中的数据时，PL作为主机，从内存中将数据搬运到PL的FIFO缓存中。

S4、PL从内存中读取数据，PL每读取一行数据，放在FIFO缓存中，通过乒乓操作的方式，根据帧率向外输出数据；

具体地，PL访问内存时，采用背压技术，通过握手信号对内存读取的速率进行控制，同时采用乒乓操作，对输出信号进行控制，确保每行之间的所需时间相同。

S5、PL读取完一张图片后对PS发起一次中断，PS接收中断后往内存开始存储下一张图片。

S6、重复步骤S2、步骤S3、步骤S4和步骤S5，直至所需发送的图片全部输出。

下面以一个具体的实施例对本发明的方法予以解释和说明。

本实施案例中图像的尺寸为8424*6000，每个像素点的位宽为16bit，帧率设置为2帧/秒，采用xilinx的Zynq ultrasacle+的开发板ZCU102，PS端采用DDR4内存，内存大小为4GB，使用CMA分配1GB内存用于共享内存，PL端读取DDR内存的位宽采用128bit，时钟为100MHz，输出接口采用GT接口，速率为3.125Gbps，采用8b/10b编码，其中对FPGA内部的时钟为78.125MH在，数据位宽为32bit。

步骤1：根据帧率设置，计算每行的消隐时钟个数，图像长为h，宽为v，每个时钟传输两个像素，则传输完一张图像所需时钟为h*v/2，即25272000个时钟，根据传输时钟频率78.125MHz，即每秒有78125000个时钟，通过计算78125000-2527000得知需要传输52853000的无效数据，每行为52853000/6000，取整为8808个时钟，最后一行将补齐少的时钟5000个，即8808*6000+5000＝52853000，计算完后，将消隐的时钟个数以及图像尺寸通过AXI发送给PL，PL通过四个寄存器A，寄存器B，寄存器C，寄存器D，分别用于保存8808个消隐时钟，8808+5000个最后一行的消隐时钟，8424图像的长，6000图像的宽；

步骤2：选取相应的场景，例如飞行高度为3000米的图像数据集，PS按顺序将图像存储至CMA分配的内存空间中，第一张存储的起始地址为address_0；

步骤3：PS存储完一张图片后，通过AXI发送一条指令，通知PL进行数据读取，PS将存储地址跳至address_1，并开始存储第二张图片，由于内存的带宽远大于帧率所需的带宽，PS存储数据的时间将小于PL读取数据的时间，当PS的存储完下一张图片后，PL实际上还没完成前一张图片的读取，此时PS将停止存储再下一张图片，直到PL将前一张的图片读取完成，当PL读取完成后，将通过中断通知PS完成图片的读取，此时再次开启PS图片的存储功能；

步骤4：PL从起始地址为address_0的地址中将图像的一行读取至FIFO1，然后通过GT接口的时钟从FIFO1中将数据读取，在数据读取的同时，PL将下一行的数据缓存至FIFO2，由于内存的带宽远大于GT口的带宽，当下一行数据读取完成时，FIFO1实际上还没读完，此时进行等待，直到FIFO1的数据读取完成后，开始发送空闲包，根据上述计算为8808个时钟，完成一行数据和空闲包后，列计数器进行加1操作，此时开始读取FIFO2的数据，同时FIFO1开始存第三行的数据，如此反复，直到列计数器计数到最后一行，最后一行的消隐时间将是8808+5000，在输出最后一行数据的同时需要进行下一张图片的读取；

步骤5：完成一张图片读取后，对PS产生一次中断，PS得到中断后，开始往下一次地址开始写图像数据。

具体帧率控制，参见图4，PS从存储器将第一张图片写入至内存，PL根据帧率设定速率读取第一张图片，此时PS同时将第二张图片写入内存。由于PS的写入速度大于PL的读取速度，在PS写完第二张图片时，PL还未读取完第一张图片，此时PS停止写入图片，进入等待状态，直到PL完成第一张图片读取。PL完成第一张图片读取后开始第二张图片读取，PS开始第三张图片的写入，如此反复进行后续操作，直到完成设定图片数量的输出。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。

Claims (10)

1.一种图像帧率可控方法，其特征在于，包括：

（1）根据所需要的帧率以及所需发送的图片数量，PS通过AXI接口将帧率参数和图片数量参数传输给PL；

（2）PS从存储器读取图像数据，将图像数据存储在内存中；

（3）当PS读取完一张图片后，通过AXI接口通知PL，开始读取数据，PS继续存图片；

（4）PL从内存中读取数据，PL每读取一行数据，放在FIFO缓存中，通过乒乓操作的方式，根据帧率向外输出数据；

（5）PL读取完一张图片后对PS发送中断，PS接收中断后往内存开始存储下一张图片；

（6）重复步骤（2）、步骤（3）、步骤（4）和步骤（5），直至所需发送的图片全部输出。

2.如权利要求1所述的一种图像帧率可控方法，其特征在于，所述图像数据包含辅助数据和图片数据；

所述帧率参数是通过AXI-Lite总线进行数据传输，在传输过程中PS作为主机，帧率参数包含消隐时钟个数，图像的长和宽，PL接收到帧率参数和图片数量参数存储在寄存器中，在数据输出时对图像的传输进行控制，以达到模拟器所需的时序与帧率。

3.如权利要求1所述的一种图像帧率可控方法，其特征在于，PS往内存写的图像数量需比PL读取的数量多一张，即当PS往内存写的图像编号为N时，PL读取的图像编号为N-1，从而保证图像的连续性，同时当PS将图像编号为N的图片存储完成时，将停止下一个图像的存储，直到PL读取完图像编号为N-1的图像后，PL读取完图像后是通过中断的方式通知PS图像读取完成。

4.如权利要求1所述的一种图像帧率可控方法，其特征在于，PS和PL共用一个内存，内存放置与PS端；内存利用CMA技术，开辟内存空间供PS和PL进行图像的写入与读取，所需图像存储在CMA分配的连续内存中；在PL读取内存中的数据时，PL作为主机，从内存中将数据搬运到PL的FIFO缓存中。

5.如权利要求1所述的一种图像帧率可控方法，其特征在于，PL访问内存时，采用背压技术，通过握手信号对内存读取的速率进行控制，同时采用乒乓操作，对输出信号进行控制，确保每行之间的所需时间相同。

6.一种基于Zynq的图像帧率可控模拟器，其特征在于，用于实现权利要求1-5任一项所述的图像帧率可控方法；所述模拟器包括存储器、Zynq芯片和内存；所述Zynq芯片包括PS和PL；

所述存储器，用来为PS提供图像数据；

所述PS，用来读取存储器中的图像数据，并将所述图像数据存储在内存中；

所述PL，用来控制图像的帧率，根据所需帧率，将内存中的数据进行读取以及输出；

所述PL设置有FIFO；所述FIFO用来缓存PL读取的每一行图像数据。

7.如权利要求6所述的一种基于Zynq的图像帧率可控模拟器，其特征在于，所述PS设置有USB接口和以太网接口；

所述USB接口用来连接外部的存储设备；

所述以太网接口用来更新外部存储其中的图像数据；用于远程控制；用于对PL进行程序更新。

8.如权利要求6所述的一种基于Zynq的图像帧率可控模拟器，其特征在于，所述内存与PS连接；所述内存为DDR内存。

9.如权利要求6所述的一种基于Zynq的图像帧率可控模拟器，其特征在于，所述FIFO至少设置两个；所述PL设置有寄存器和输出接口；

所述寄存器用来存储帧率控制参数和图片数量参数；

所述输出接口用来将图像数据输出；

所述输出接口为采用FPGA的GT接口或通用的IO口。

10.如权利要求6所述的一种基于Zynq的图像帧率可控模拟器，其特征在于，PL与PS之间通过AXI总线进行互联，PS通过AXI总线设置PL的寄存器，PL通过AXI总线访问PS的内存，读取内存图像数据。