CN112699059B - 一种数据缓存和上传装置及数据缓存和上传方法 - Google Patents

Abstract

本发明公开了一种数据缓存和上传装置及数据缓存和上传方法，属于数据采集处理领域，本发明通过在FPGA中设计FIFO控制器、DDR4控制器、多包控制机制、DMA传输控制单元等电路，实现了高速大数据的缓存和上传，硬件电路设计简单，可移植性强，可重构性强，满足大数据传输的要求。FIFO控制器用来实现数据的缓存和上传，DDR4控制器用来实现DDR4存储器的控制和多用户访问控制，多包控制机制控制上传数据的长度和包数，以及上传数据长度的校验功能。

Description

一种数据缓存和上传装置及数据缓存和上传方法

技术领域

本发明属于数据采集处理领域，具体涉及一种数据缓存和上传装置及数据缓存和上传方法。

背景技术

在移动通信、数据分析测量系统等大数据采集传输领域，面对海量数据的高速处理，对硬件电路的设计提出了苛刻的要求。大数据处理通常采用动态存储器+FPGA+工控机方案，存在数据流长，电路连接复杂，高速传输易受到干扰等问题。在本案中，采用DDR4存储器+嵌入式FPGA架构，通过采用集成微处理器内核的FPGA，设计FIFO控制器，支持多包传输机制，即可实现大数据的DMA传输，通过DMA传输控制单元上传到微处理器的循环缓存区，总体电路设计简单，兼容性和可移植性强，可以完全满足大数据的高速处理要求。

发明内容

针对现有技术中存在的上述技术问题，本发明提出了一种数据缓存和上传装置及数据缓存和上传方法，设计合理，克服了现有技术的不足，具有良好的效果。

为了实现上述目的，本发明采用如下技术方案：

一种数据缓存和上传装置，包括DDR4存储器和嵌入式FPGA；嵌入式FPGA包括微处理器、大数据单元模块、DDR4控制器、FIFO控制器、多包控制机制、DMA传输控制单元和微处理器缓存区；

微处理器，被配置为用于启动上传命令，并检测缓存状态是否结束，只有检测到缓存状态结束时，才能启动上传命令；

大数据单元模块，被配置为用于将输入的高速数据流进行降速和提取；

DDR4存储器，被配置为用于缓存数据；

DDR4控制器，被配置为用于集成DDR4接口控制电路和多用户接口电路，实现对DDR4存储器的控制，支持多个用户访问DDR4存储器；

FIFO控制器，被配置为用于实现数据的缓存和上传；包括数据缓存FIFO控制器和数据上传FIFO控制器；

数据缓存FIFO控制器，被配置为用于实现采集数据的实时搬运，完成到DD4存储器的数据缓存；

数据上传FIFO控制器，被配置为用于从DDR4控制器读取数据，将读取的DDR4缓存数据上传到DMA传输控制单元；

多包控制机制，被配置为用于对上传数据的长度和包数进行控制，以及对上传数据的长度进行校验，既支持单包上传也支持多包连续上传；

DMA传输控制单元，被配置为用于通过内部总线实现数据快速和嵌入式微处理器通信；

微处理器缓存区，被配置为用于存储上传数据；

微处理器、大数据单元模块、数据缓存FIFO控制器、DDR4控制器、DDR4存储器、数据上传FIFO控制器、DMA传输控制单元、微处理器缓存区通过线路连接；微处理器缓存区通过线路与微处理器连接；多包控制机制分别与数据上传FIFO控制器和DMA传输控制单元通过线路连接；

大数据单元模块将输入的高速数据流进行降速和提取后，对数据缓存FIFO控制器进行请求，数据缓存FIFO控制器将处理后的数据缓存到DDR4控制器，DDR4控制器将输入控制进行归一化处理，并且能够根据缓存数据的大小、读写逻辑，优化时序设计和接口电路设计，实现数据的正确缓存，实现对DDR4存储器的控制，支持多个用户访问DDR4存储器；微处理器启动上传命令时，检测到缓存状态结束时，启动上传命令；数据上传主要由数据上传FIFO控制器来完成，微处理器预先预置好上传数据长度、上传包数和上传包头，由多包控制机制实现对上传数据的长度和包数进行控制，以及对上传数据的长度进行校验；数据上传FIFO控制器从DDR4控制器读取数据，将读取的DDR4缓存数据上传到DMA传输控制单元；DMA传输控制单元通过内部总线实现数据快速和嵌入式微处理器通信；通过DMA通道将上传数据直接存入微处理器缓存区。

优选地，DDR4接口控制电路，被配置为用于实现对DDR4存储器的访问控制，包括时钟驱动电路、数据访问控制电路和地址累加器；

时钟驱动电路，被配置为用于实现单端到差分时钟转换，差分驱动外部存储器；

数据访问控制电路，被配置为用于控制对存储器的读写，包括激活、预充、刷新和读写命令仲裁判断；

地址累加器，被配置为用于自动跟踪输入地址变化，自动累加，根据触发模式进行累加步进的自动递增；

多用户接口电路，被配置为用于实现多用户对DDR4存储器的访问，解决访问冲突，提高访问效率，当多用户访问时采取先到先得策略，只有当前用户访问结束才响应其它访问请求。

优选地，多包控制机制，能够根据微处理器缓存区的大小，自动设置包长、包数和包头；包长给出一次传输数据的大小，由单个缓存区的大小决定；包数给出能够传输多少包数据，匹配缓存区的数量，包数控制采用循环控制模式，自动累加，直到设置包数传输完毕；包头用于进行实现数据校验，解决传输容错问题，为微处理器的正确读取数据提供导引。

优选地，DMA传输控制单元，通过AXI总线将数据上传到微处理器缓存区，AXI总线作为控制总线，采用时分复用技术解决总线竞争问题，针对繁忙级别设计优先级，如果上传数据量大，设置上传为高优先级，如果下发命令紧急，通过设置控制参数优先发送，中断上传响应，通过采用优先级排序策略解决总线竞争问题。

此外，本发明还提到一种数据缓存方法，该方法采用如上所述的数据缓存和上传装置，具体包括如下步骤：

步骤S01：大数据单元模块首先发出访问请求，同时将第一个数据准备好，当数据缓存FIFO控制器检测到访问请求时，复位数据缓存FIFO控制器中的FIFO存储单元数据指针到零，同时将相关控制寄存器复位到初始状态，等待接收数据，准备好之后发出请求响应，当大数据单元模块检测到请求响应之后，开始传输数据，由于第一个数据已经准备好，数据缓存FIFO控制器发出响应请求后，同时启动写数据缓存FIFO控制器中的FIFO存储单元使能信号，写数据缓存FIFO控制器的数据流为100Msps，总线宽度为128位；

步骤S02：当半满后，启动对DDR4控制器的访问请求，总线宽度为32位，数据流为400msps，当DDR4控制器处于空闲状态时，发出请求响应，数据缓存FIFO控制器开始传输数据，同时启动地址累计，正常传输时，DDR4控制器一直处于响应状态，如果在传输过程，DDR4控制器出现忙状态，数据传送无效，立即响应，中止传输，等待DDR4控制器空闲状态，才能从新开始缓存数据，每次传输长度为FIFO存储单元的一半数据；

步骤S03：最后一个数据传输，当大数据单元模块传输结束后，数据缓存FIFO控制器存储数据结束，并发出响应无效命令，同时启动数据缓存FIFO控制器中的FIFO存储单元最后一帧数据的传输，将FIFO存储单元内所有的数据传输完毕，本次响应请求结束，当数据缓存FIFO控制器的空标志变高时，最后一个数据传输完毕。

此外，本发明还提到一种数据上传方法，该方法采用如上所述的数据缓存和上传装置，具体包括如下步骤：

步骤S11：微处理器发出上传数据控制命令，数据上传FIFO控制器检测到命令有效后，通过DDR4控制器启动从DDR4存储器读取数据指令，同时将数据上传FIFO控制器中的FIFO存储单元清空，指针复位到起始位置，准备接受数据，当DDR4存储器接收到上传命令后，从DDR4存储器开始读取数据，同时给出数据有效命令；

步骤S12：数据上传FIFO控制器接受到数据信息后，启动其内的地址累加器和反压机制，数据暂时不上传，当半满后开始启动上传，首先上传的是包头信息，告诉微处理器一包传输开始，每次从DDR4存储器读取数据长度为数据上传FIFO控制器中的FIFO存储单元的一半空间，保证数据上传FIFO控制器中的FIFO存储单元不会溢出；

步骤S13：DMA传输控制单元检测到数据上传FIFO控制器发出的请求传输后，立即进行总线优先级的仲裁，如果总线空闲，将发出响应请求，释放总线给数据上传FIFO控制器，保证数据上传的有效性，在数据传输过程，DMA传输控制单元会时刻中止传输，数据上传FIFO控制器能够立即响应，不再上传数据；数据上传FIFO控制器一直保持请求状态，直到DMA传输控制单元空闲，将继续上传数据；

步骤S14：当DDR4控制器总线出现忙状态，中断数据传输，数据上传FIFO控制器立即响应，结束当前读取状态；当DMA传输控制单元不能响应，需要中断传输时，数据上传FIFO控制器立即响应，结束上传命令；

步骤S15：在多包传输过程中，当数据上传FIFO控制器启动上传时，首先给出包头信息，并启动包计数和包长计数，包长计数器控制数据上传FIFO控制器连续读取数据的长度，包长计数器控制数据上传FIFO控制器连续传输的包数，一包传完之后，多包控制机制会自动累加，向数据上传FIFO控制器发出上传数据指令；

步骤S16：数据上传FIFO控制器接受微处理器的启动指令和多包控制机制的指令，在多包传输中，当一包传输结束，将会向多包控制机制发出结束传输命令，同时等待开始指令。

本发明所带来的有益技术效果：

本发明采用DDR4存储器+嵌入式FPGA架构，DDR4控制器、FIFO控制器、DMA传输控制单元、微处理系统等核心电路和软件系统设计都是在FPGA中完成，只需外接高速DDR4存储器，外部电路设计简单，总体架构移植方便，抗干扰性强，可重构性强。

附图说明

图1为基于FIFO控制器实现大数据缓存和上传电路的原理框图。

图2为基于FIFO控制器的大数据缓存电路框图。

图3为基于FIFO控制器的大数据上传电路框图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

图1给出了基于FIFO实现大数据缓存和上传的硬件电路组成，主要包括DDR4控制器、数据缓存FIFO控制器、数据上传FIFO控制器、多包控制机制等部分组成。大数据经过缓存FIFO控制器，和DDR4控制器的多用户接口电路相连，多用户接口电路处理缓存和上传的地址、控制命令、数据的切换，将数据、控制命令、地址总线对齐后输出到DDR4接口控制电路，进一步转换为DDR4存储器的命令输出。

缓存FIFO控制器主要实现大数据到存储器的传输，解决异步、数据总线宽度匹配等问题，图2给出了大数据缓存FIFO控制器的工作原理，下面介绍具体实施方法：

(1)大数据单元模块首先发出访问请求，同时将第一个数据准备好，当缓存FIFO控制器检测到访问请求时，复位FIFO存储单元数据指针到零，同时将相关控制寄存器复位到初始状态，等待接收数据，准备好之后发出请求响应，当大数据单元模块检测到请求响应之后，开始传输数据，由于第一个数据已经准备好，缓存FIFO控制器发出响应请求后，同时启动写FIFO存储单元使能信号，写FIFO数据流为100Msps，总线宽度为128位。

(2)当半满后，启动对DDR4控制器的访问请求，总线宽度32位，数据流为400msps,解决数据流不一致问题，当DDR4控制器处于空闲状态时，发出请求响应，缓存FIFO控制器开始传输数据，同时启动地址累计，正常传输时，DDR4控制器一直处于响应状态，如果在传输过程，DDR4控制器出现忙状态，数据传送无效，这时候必须立即响应，中止传输，等待DDR4控制器空闲状态，才能从新开始缓存数据，每次传输长度为FIFO存储单元的一半数据。

(3)最后一个数据传输，当大数据单元传输结束后，缓存FIFO控制器存储数据结束，并发出响应无效命令。同时启动FIFO存储单元最后一帧数据的传输，只有将FIFO存储单元内所有的数据传输完毕，本次响应请求才算结束。当FIFO空标志变高的时候，最后一个数据传输完毕。

通过采用上述方法实现了低速数据流到高速数据流的无缝切换，解决了DDR4控制器响应等待、异步复位等问题。

上传FIFO控制器主要用来实现大数据从存储器到缓存区的传输，解决高速数据流到低速数据流的转换，实现DMA传输的灵活控制，时分复用、紧急响应、多包传输策略，为微处理器控制提供了便利，优化了电路结构。图3给出了上传FIFO控制器、多包控制机制等的原理，下面介绍具体实施方法：

(1)微处理器发出上传数据控制命令，上传FIFO控制器检测到命令有效后，通过DDR4控制器启动从DDR4存储器读取数据指令，同时将FIFO存储单元清空，指针复位到起始位置，准备接受数据，当DDR4存储器接收到上传命令后，从DDR4存储器开始读取数据，同时给出数据有效命令。

(2)上传FIFO控制器接受到数据信息后，启动累加计数器和反压机制，数据暂时不上传，当半满后开始启动上传，首先上传的是包头信息，告诉微处理器一包传输开始，每次从DDR4存储器读取数据长度为FIFO存储单元的一半空间，保证FIFO存储单元不会溢出。

(3)DMA传输控制单元检测到上传FIFO控制器发出的请求传输后，立即进行总线优先级的仲裁，如果总线空闲，将发出响应请求，释放总线给上传FIFO控制器，保证数据上传的有效性，在数据传输过程，DMA传输控制单元会时刻中止传输，上传FIFO控制器必须能够立即响应，不在上传数据。上传FIFO控制器可以一直保持请求状态，直到DMA传输控制单元空闲，将继续上传数据。

(4)上传FIFO控制器必须解决立即响应，及时反馈的问题，当DDR4控制器总线出现忙状态，中断数据传输，上传FIFO控制器必须立即响应，结束当前读取状态；当DMA传输控制单元不能响应，需要中断传输时，也要能够做到立即响应，结束上传命令。这对上传FIFO控制器的设计是一个严峻的挑战，要同时能够立即响应两种请求。

(5)多包控制机制是为了匹配微处理器的缓存区而设计，可以满足各种缓存大小的设计，支持一包和多包数据的重复传输，在多包传输过程中，当FIFO控制器启动上传时，首先给出包头信息，并启动包计数和包长计数，包长计数控制上传FIFO控制器连续读取数据的长度，包计数器控制上传FIFO控制器连续传输的包数，一包传完之后，多包控制机制会自动累加，向上传FIFO控制器发出上传数据指令，不需要微处理器发指令，提高了传输效率。

(6)FIFO控制器接受微处理器的启动指令和多包控制机制的指令，在多包传输中，当一包传输结束，将会向多包处理机制发出结束传输命令，同时等待开始指令。

上传FIFO控制器通过解决读取和上传中断的立即响应问题，确保了传输过程数据不丢失，DMA传输控制单元通过采用时分复用策略，有效地解决了总线竞争问题，多包控制机制匹配微处理器缓存区数据长度，支持多包传输的控制策略，提高了传输效率，同时降低了数据传输过程误码率的发生。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (6)

1.一种数据缓存和上传装置，其特征在于：包括DDR4存储器和嵌入式FPGA；嵌入式FPGA包括微处理器、大数据单元模块、DDR4控制器、FIFO控制器、多包控制机制、DMA传输控制单元和微处理器缓存区；

微处理器，被配置为用于启动上传命令，并检测缓存状态是否结束，只有检测到缓存状态结束时，才能启动上传命令；

大数据单元模块，被配置为用于将输入的高速数据流进行降速和提取；

DDR4存储器，被配置为用于缓存数据；

DDR4控制器，被配置为用于集成DDR4接口控制电路和多用户接口电路，实现对DDR4存储器的控制，支持多个用户访问DDR4存储器；

FIFO控制器，被配置为用于实现数据的缓存和上传；包括数据缓存FIFO控制器和数据上传FIFO控制器；

数据缓存FIFO控制器，被配置为用于实现采集数据的实时搬运，完成到DD4存储器的数据缓存；

数据上传FIFO控制器，被配置为用于从DDR4控制器读取数据，将读取的DDR4缓存数据上传到DMA传输控制单元；

多包控制机制，被配置为用于对上传数据的长度和包数进行控制，以及对上传数据的长度进行校验，既支持单包上传也支持多包连续上传；

DMA传输控制单元，被配置为用于通过内部总线实现数据快速和嵌入式微处理器通信；

微处理器缓存区，被配置为用于存储上传数据；

微处理器、大数据单元模块、数据缓存FIFO控制器、DDR4控制器、DDR4存储器、数据上传FIFO控制器、DMA传输控制单元、微处理器缓存区通过线路连接；微处理器缓存区通过线路与微处理器连接；多包控制机制分别与数据上传FIFO控制器和DMA传输控制单元通过线路连接；

大数据单元模块将输入的高速数据流进行降速和提取后，对数据缓存FIFO控制器进行请求，数据缓存FIFO控制器将处理后的数据缓存到DDR4控制器，DDR4控制器将输入控制进行归一化处理，并且能够根据缓存数据的大小、读写逻辑，优化时序设计和接口电路设计，实现数据的正确缓存，实现对DDR4存储器的控制，支持多个用户访问DDR4存储器；微处理器启动上传命令时，检测到缓存状态结束时，启动上传命令；数据上传主要由数据上传FIFO控制器来完成，微处理器预先预置好上传数据长度、上传包数和上传包头，由多包控制机制实现对上传数据的长度和包数进行控制，以及对上传数据的长度进行校验；数据上传FIFO控制器从DDR4控制器读取数据，将读取的DDR4缓存数据上传到DMA传输控制单元；DMA传输控制单元通过内部总线实现数据快速和嵌入式微处理器通信；通过DMA通道将上传数据直接存入微处理器缓存区。

2.根据权利要求1所述的数据缓存和上传装置，其特征在于：DDR4接口控制电路，被配置为用于实现对DDR4存储器的访问控制，包括时钟驱动电路、数据访问控制电路和地址累加器；

时钟驱动电路，被配置为用于实现单端到差分时钟转换，差分驱动外部存储器；

数据访问控制电路，被配置为用于控制对存储器的读写，包括激活、预充、刷新和读写命令仲裁判断；

地址累加器，被配置为用于自动跟踪输入地址变化，自动累加，根据触发模式进行累加步进的自动递增；

多用户接口电路，被配置为用于实现多用户对DDR4存储器的访问，解决访问冲突，提高访问效率，当多用户访问时采取先到先得策略，只有当前用户访问结束才响应其它访问请求。

3.根据权利要求1所述的数据缓存和上传装置，其特征在于：多包控制机制，能够根据微处理器缓存区的大小，自动设置包长、包数和包头；包长给出一次传输数据的大小，由单个缓存区的大小决定；包数给出能够传输多少包数据，匹配缓存区的数量，包数控制采用循环控制模式，自动累加，直到设置包数传输完毕；包头用于进行实现数据校验，解决传输容错问题，为微处理器的正确读取数据提供导引。

4.根据权利要求1所述的数据缓存和上传装置，其特征在于：DMA传输控制单元，通过AXI总线将数据上传到微处理器缓存区，AXI总线作为控制总线，采用时分复用技术解决总线竞争问题，针对繁忙级别设计优先级，如果上传数据量大，设置上传为高优先级，如果下发命令紧急，通过设置控制参数优先发送，中断上传响应，通过采用优先级排序策略解决总线竞争问题。

5.一种数据缓存方法，其特征在于：采用如权利要求1所述的数据缓存和上传装置，具体包括如下步骤：

步骤S01：大数据单元模块首先发出访问请求，同时将第一个数据准备好，当数据缓存FIFO控制器检测到访问请求时，复位数据缓存FIFO控制器中的FIFO存储单元数据指针到零，同时将相关控制寄存器复位到初始状态，等待接收数据，准备好之后发出请求响应，当大数据单元模块检测到请求响应之后，开始传输数据，由于第一个数据已经准备好，数据缓存FIFO控制器发出响应请求后，同时启动写数据缓存FIFO控制器中的FIFO存储单元使能信号，写数据缓存FIFO控制器的数据流为100Msps，总线宽度为128位；

步骤S02：当半满后，启动对DDR4控制器的访问请求，总线宽度为32位，数据流为400msps，当DDR4控制器处于空闲状态时，发出请求响应，数据缓存FIFO控制器开始传输数据，同时启动地址累计，正常传输时，DDR4控制器一直处于响应状态，如果在传输过程，DDR4控制器出现忙状态，数据传送无效，立即响应，中止传输，等待DDR4控制器空闲状态，才能从新开始缓存数据，每次传输长度为FIFO存储单元的一半数据；

步骤S03：最后一个数据传输，当大数据单元模块传输结束后，数据缓存FIFO控制器存储数据结束，并发出响应无效命令，同时启动数据缓存FIFO控制器中的FIFO存储单元最后一帧数据的传输，将FIFO存储单元内所有的数据传输完毕，本次响应请求结束，当数据缓存FIFO控制器的空标志变高时，最后一个数据传输完毕。

6.一种数据上传方法，其特征在于：采用如权利要求1所述的数据缓存和上传装置，具体包括如下步骤：

步骤S11：微处理器发出上传数据控制命令，数据上传FIFO控制器检测到命令有效后，通过DDR4控制器启动从DDR4存储器读取数据指令，同时将数据上传FIFO控制器中的FIFO存储单元清空，指针复位到起始位置，准备接受数据，当DDR4存储器接收到上传命令后，从DDR4存储器开始读取数据，同时给出数据有效命令；

步骤S12：数据上传FIFO控制器接受到数据信息后，启动其内的地址累加器和反压机制，数据暂时不上传，当半满后开始启动上传，首先上传的是包头信息，告诉微处理器一包传输开始，每次从DDR4存储器读取数据长度为数据上传FIFO控制器中的FIFO存储单元的一半空间，保证数据上传FIFO控制器中的FIFO存储单元不会溢出；

步骤S13：DMA传输控制单元检测到数据上传FIFO控制器发出的请求传输后，立即进行总线优先级的仲裁，如果总线空闲，将发出响应请求，释放总线给数据上传FIFO控制器，保证数据上传的有效性，在数据传输过程，DMA传输控制单元会时刻中止传输，数据上传FIFO控制器能够立即响应，不再上传数据；数据上传FIFO控制器一直保持请求状态，直到DMA传输控制单元空闲，将继续上传数据；

步骤S14：当DDR4控制器总线出现忙状态，中断数据传输，数据上传FIFO控制器立即响应，结束当前读取状态；当DMA传输控制单元不能响应，需要中断传输时，数据上传FIFO控制器立即响应，结束上传命令；

步骤S15：在多包传输过程中，当数据上传FIFO控制器启动上传时，首先给出包头信息，并启动包计数和包长计数，包长计数器控制数据上传FIFO控制器连续读取数据的长度，包长计数器控制数据上传FIFO控制器连续传输的包数，一包传完之后，多包控制机制会自动累加，向数据上传FIFO控制器发出上传数据指令；

步骤S16：数据上传FIFO控制器接受微处理器的启动指令和多包控制机制的指令，在多包传输中，当一包传输结束，将会向多包控制机制发出结束传输命令，同时等待开始指令。

Images