CN104834484B - 基于嵌入式可编程逻辑阵列的数据处理系统及处理方法 - Google Patents

Abstract

本发明涉及集成电路技术领域，尤其涉及一种基于嵌入式可编程逻辑阵列的数据处理系统及处理方法，通过在主控制器芯片中集成有控制器和嵌入式可编程逻辑阵列，当控制器接收来自主机的数据处理指令后，被预先配置成特定功能的嵌入式可编程逻辑阵列对存储设备中的数据进行处理操作，并通过控制器将加速处理后的数据信息传输至主机中，因此通过使用嵌入式可编程逻辑阵列来加速进行数据处理，缓解了由于存储设备的读写速度瓶颈问题，减轻了占用主机处理器的时间，降低了功耗，高度可定制化的嵌入式可编程逻辑阵列亦可满足不同应用功能的需求，从而实现系统在功耗、面积和速度上的优化配置以达到更高的使用效率。

Description

基于嵌入式可编程逻辑阵列的数据处理系统及处理方法

技术领域

本发明涉及集成电路技术领域，尤其涉及一种基于嵌入式可编程逻辑阵列的数据处理系统及处理方法。

背景技术

随着科技的不断发展，越来越多的大企业的数据集以及创建需要的一切技术，包括存储、网络、分析、归档和检索等，这些被认为是海量数据。海量数据处理的三个主要因素：大容量数据(TB级、PB级甚至EB级)、多格式数据和速度。而新的海量数据分析引擎已经出现，如Apache的Hadoop、LexisNexis的HPCC系统和1010data(托管、海量数据分析的平台供应商)的以云计算为基础的分析服务。例如，Hadoop将海量数据分解成较小的更易访问的批量数据并分发到多台服务器来分析再处理查询。无论哪一种分析引擎，都是将海量数据传输至服务器内存中，也就是说服务器不得不面临存储器的带宽瓶颈问题。

一种系统处理数据密集型应用程序的方法如图1所示，在存储网络和主系统之间增加了FPGA(Field Programmable Gate Array，现场可编程门阵列)硬件部分，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物，并作为专用集成电路(ASIC)领域中的一种半定制电路出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。FPGA采用了逻辑单元阵列LCA的概念，内部包括可配置逻辑模块CLB，输入输出模块IOB和内部连线三个部分。目前，商用的FPGA的结构优化能够适应各种各样的应用程序，从与网络相关的和数字信号的处理到实现软核处理器。

该FPGA作为存储系统的智能引擎，被编程为查询器，从而能够处理主系统的查询请求，通过FPGA对存储网络中数据进行预处理，再将处理过的数据传输至主机系统，从而降低了主机系统CPU占有率，降低从存储网络导入主机系统的数据量，提高了性能，降低了功耗。显然，使用额外的硬件结构增加了系统的成本，改变了系统结构，实现较为困难。

发明内容

针对上述存在的问题，本发明公开了一种基于嵌入式可编程逻辑阵列的数据处理系统及处理方法。

本发明为解决上述问题所采用的技术方案为：

一种基于嵌入式可编程逻辑阵列的数据处理系统，其中，所述数据处理系统包括：

存储设备，包括有主控制器芯片和存储介质，且该存储介质中存储有数据信息；

主机，通过所述主控制器芯片与所述存储介质进行数据交互，以读取和写入所述数据信息；

其中，所述主控制器芯片集成有控制器和嵌入式可编程逻辑阵列，所述控制器接收并根据所述主机发送的数据处理指令控制所述嵌入式可编程逻辑阵列对所述数据信息进行处理操作。

较佳的，上述的基于嵌入式可编程逻辑阵列的数据处理系统，其中，所述存储设备为磁盘、固态存储器、磁盘阵列或网络附属存储服务器。

较佳的，上述的基于嵌入式可编程逻辑阵列的数据处理系统，其中，用户通过对所述嵌入式可编程逻辑阵列进行配置，以使所述嵌入式可编程逻辑阵列对所述数据信息具有处理操作功能。

较佳的，上述的基于嵌入式可编程逻辑阵列的数据处理系统，其中，所述嵌入式可编程逻辑阵列对所述存储介质中存储的所述数据信息进行处理操作包括数据信息转移、数据信息复制、数据信息查询以及数据信息运算的任意一种或多种操作。

一种数据处理方法，其中，所述数据处理方法包括：

提供一主机以及与所述主机连接的存储设备，所述存储设备包括有主控制器芯片和存储介质，所述存储介质中存储有数据信息，所述主控制器芯片集成有控制器和嵌入式可编程逻辑阵列；

用户对所述嵌入式可编程逻辑阵列进行配置，以使所述嵌入式可编程逻辑阵列对所述数据信息具有处理操作功能；

当所述主机向所述存储设备发送数据处理指令后，所述控制器判断所述嵌入式可编程逻辑阵列是否能够对该数据处理指令进行处理；

若是，则所述嵌入式可编程逻辑阵列对所述存储介质中存储的数据信息进行处理操作，并通过所述控制器将处理后的所述数据信息传输至所述主机中。

较佳的，上述的数据处理方法，其中，还包括：

若所述嵌入式可编程逻辑阵列无法对该数据处理指令进行处理，所述控制器直接将所述存储介质中存储的数据信息传输至所述主机中，所述嵌入式可编程逻辑阵列处于非工作状态。

较佳的，上述的数据处理方法，其中，所述嵌入式可编程逻辑阵列对所述数据信息具有数据信息转移、数据信息复制、数据信息查询以及数据信息运算的任意一种或多种处理操作功能。

上述技术方案具有如下优点或有益效果：

通过使用嵌入式可编程逻辑阵列来实现在存储设备内进行数据处理的方法，缓解了由于存储设备的读写速度瓶颈问题，减轻了占用主机处理器的时间，降低了功耗，高度可定制化的嵌入式可编程逻辑阵列亦可满足不同应用功能的需求，从而实现系统在功耗、面积和速度上的优化配置以达到更高的使用效率。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明及其特征、外形和优点将会变得更加明显。在全部附图中相同的标记指示相同的部分。并未可以按照比例绘制附图，重点在于示出本发明的主旨。

图1是现有技术中FPGA实现数据处理的系统结构示意图；

图2是本发明中嵌入式可编程逻辑阵列的结构示意图；

图3是本发明中存储区域网的结构示意图；

图4是现有技术中存储网络中的存储设备结构示意图；

图5是现有技术中网络附属存储服务器的结构示意图；

图6是本发明中嵌入式可编程逻辑阵列的数据处理系统的结构示意图；

图7是本发明中基于嵌入式可编程逻辑阵列数据处理系统的数据处理方法的流程示意图；

图8是本发明中嵌入式可编程逻辑阵列的固态硬盘结构示意图。

具体实施方式

下面结合附图和具体的实施例对本发明作进一步的说明，但是不作为本发明的限定。

针对现有技术中的缺陷，本发明提供一种基于嵌入式可编程逻辑阵列的数据处理系统，该数据处理系统通过使用嵌入式可编程逻辑阵列来实现在存储设备内进行数据处理的方法，缓解由于存储设备的读写速度瓶颈问题，减轻占用主机处理器的时间，降低了功耗。

嵌入式可编程逻辑阵列作为一种可配置的器件，相比通用的FPGA其考虑的可提供的资源需求要窄得多。因此嵌入式可编程逻辑阵列可被配置编程用于某些特定的应用功能并在功耗、面积和速度上进行优化配置从而达到更高的效率，一种嵌入式可编程逻辑阵列的结构如图2所示，它包括多种可编程逻辑陈列，具体由嵌入式自定义模块(embeddedCustom Block，简称eCB)、嵌入式存储模块(embedded Memory Block，简称eMB)、嵌入式逻辑模块(embedded Logic Block，简称eLB)、输入输出寄存器组(I/O Bank)、互联线和输入输出端口(Config I/O)组成，藉由该互联线将该各种模块实现电连接。

在实现逻辑功能时，嵌入式可编程逻辑阵列有如下优势：(1)可实现软硬IP核；(2)与工艺无关；(3)很容易集成到系统级芯片(SoC)中；(4)紧凑的嵌入式可编程逻辑阵列可在低功耗下实现更高的逻辑密度；(5)目标应用程序的高度可定制化。

对于日益庞大的数据系统来说，处理器处理数据的速率瓶颈是存储网络不断向主机的服务器内存中导入海量数据，如图3所示，存储区域网(Storage Area Network，SAN)是主机访问存储设备的专用网络(即该主机通过存储区域网与存储设备的控制器进行连接)，从而实现高速传输。存储网络中的设备，无论是传统的磁盘、固态硬盘，或独立磁盘冗余阵列(Redundant Array of Independent Disks，简称RAID，让多个独立的磁盘通过不同方式组合成一个磁盘组，磁盘组的性能较单个磁盘在性能上有大幅度的提升)，以及网络附属存储(Network Attached Storage，简称NAS，一种专用的数据存储服务器，其存储设备可以是多个RIAD磁盘阵列)，其访问速度要远远小于主机对其内存的访问速度，当主机需要从存储设备中读取大量数据时，容易造成主机等待时间过长，性能下降。

传统的存储网络中的存储设备的结构如图4所示，其硬件主要组成部分即主控制器芯片和存储介质。当存储设备从上级系统(主机)接收到数据处理指令，主控制器芯片访问存储介质并进行数据操作，然后再通过输入输出端口将所需数据传输至上一级系统中。所述存储设备可以是磁盘(HDD，Hard Disk Drive)，可以是固态硬盘(SSD，Solid StateDrive)，可以是磁盘阵列(RAID)，也可以是网络附属存储(NAS)服务器等。例如网络附属存储服务器的结构如图5所示，其包含N个独立磁盘冗余阵列。

本发明提供一种基于嵌入式可编程逻辑阵列的数据处理系统及处理方法，其嵌入式可编程逻辑阵列可集成在任意存储设备中的主控制器芯片上，构成一块系统级芯片，大大降低了成本，从而实现在存储器内部进行数据的处理，实现系统的性能的提升。基于嵌入式可编程逻辑阵列的数据处理系统的结构如图6所示，主要包括有主机和存储设备，存储设备包括有存储介质和主控制器芯片，存储介质中存储有数据信息(即数据)，主控制器芯片中集成有控制器和嵌入式可编程逻辑阵列，主机通过主控制器芯片与存储介质进行数据交互，以读取和写入数据信息。

在进行数据处理时，控制器接收并根据主机发送的数据处理指令控制嵌入式可编程逻辑阵列对数据信息进行处理操作。

该存储设备可以是磁盘，固态存储器例如NAND闪存、相变存储器、铁电存储器、磁存储器、电阻式存储器等，磁盘阵列或者多个磁盘阵列构成的网络附属存储服务器等。本发明基于嵌入式可编程逻辑阵列的功能可由用户配置，通过硬件处理方式实现系统性能的提升。传统方式下，主机系统发送数据处理指令至存储设备，存储设备中的主控制器芯片将主机系统所需的所有原始数据(未进行处理操作的数据信息)从存储介质中取出并传输至主机中，存储设备本身并不对这些数据做任何处理。本发明采用基于嵌入式可编程逻辑阵列实现存储设备内数据处理，用户通过配置嵌入式可编程逻辑阵列，使之能够完成一些特定的数据处理操作。当主机向存储设备发送该数据处理指令时，且该数据处理指令可被嵌入式可编程逻辑阵列进行处理，则嵌入式可编程逻辑阵列对数据信息(未进行处理操作的原始数据)进行处理操作(一种加速处理操作)，进一步通过本发明嵌入式可编程逻辑阵列处理后，再将处理后的数据信息(指经处理后的数据)传输至主机。其中，嵌入式可编程逻辑阵列可提高系统性能表现在：(1)数据信息经嵌入式可编程逻辑阵列处理后，可降低由存储设备向上一级存储系统或主机导入的数据量，功耗也会降低，缓解了由大量数据传输造成的速度瓶颈问题；(2)嵌入式可编程逻辑阵列用户配置的数据处理操作，减轻主机处理器的负担，从而提升系统性能；(3)嵌入式可编程逻辑阵列的功能可由用户配置，适用于不同的应用处理，通过优化配置使系统性能达到最佳。

当然嵌入式可编程逻辑门阵列可以与磁盘或固态硬盘中的控制器集成到同一块芯片内，那么当主机向固态硬盘或磁盘发送数据处理指令时，嵌入式可编程逻辑阵列可以在磁盘或固态硬盘内部对数据信息进行处理操作，然后将处理过后的数据信息传输至主机中。同样，嵌入式可编程逻辑阵列可与磁盘阵列(RAID)中的控制器集成到同一块芯片，在磁盘阵列内部数据处理操作。

优选的，上述的嵌入式可编程逻辑阵列对存储设备中存储介质中存储的数据信息进行处理操作包括有数据信息转移、数据信息复制、数据信息查询或数据信息运算等任意一种或多种操作。

本发明的基于嵌入式可编程逻辑阵列在存储设备内部实现数据处理操作，并不影响数据传输的吞吐率。更重要的是，嵌入式可编程逻辑阵列的高度可定制化可满足不同应用程序需求，从而实现系统在功耗、面积和速度上的优化配置以达到更高的效率。当然，该嵌入式可编程逻辑阵列来实现的功能无需十分强大，能够处理一些并不需要附图1中主机系统大量参与的任务，例如数据的转移或复制，数据查询，简单的数据运算以及执行一些简单算法等。

传统情况下，主机向存储设备发送数据处理指令，存储设备会将主机所需的所有数据导入主机内存中，从而容易造成数据传输拥堵，尤其是在对海量数据的处理，因此本发明提供的基于嵌入式可编程逻辑阵列数据处理系统可以处理该些问题，其具体的处理方法如图7所示。

在基于上述系统中，用户配置本发明中的嵌入式可编程逻辑阵列，并更新存储设备中主控制器芯片的固件程序，控制使能本发明嵌入式可编程逻辑阵列，使之能够完成一些特殊的数据处理操作，如数据信息转移、数据信息复制、数据信息查询或数据信息运算的任意一种或多种处理操作功能；优选的，用户对嵌入式可编程逻辑阵列进行配置。

当主机向该存储设备发送数据处理指令后，控制器判断嵌入式可编程逻辑阵列是否能够对该数据处理指令进行处理：如果是，控制器控制嵌入式可编程逻辑阵列会在存储设备内部对主机所需数据即存储介质中存储的数据信息进行处理操作，例如数据的查询、搜索、合并等操作，处理之后，控制器再将处理后的数据信息传输至主机中；如果不是，那么控制器直接将系统所需原始数据传输至主机中，本发明用户可配置的嵌入式可编程逻辑阵列不工作。可见，嵌入式可编程逻辑阵列在处理数据时，能够减轻主机的负担，并且用户可对嵌入式可编程逻辑阵列进行重配置以使系统性能更加优化，速度更快。

其中，嵌入式可编程逻辑阵列的不同的处理操作功能一一对应于不同的数据处理指令。如该数据处理指令为对数据信息进行查询的指令，因嵌入式可编程逻辑阵列具有数据信息查询的处理操作功能，故嵌入式可编程逻辑阵列可对该指令进行处理，从而可以实现对存储的数据信息进行处理操作。

下面举具体实施例对本发明作进一步阐述。

实施例一：

假设所配置的嵌入式可编程逻辑阵列能够对主机的数据信息查询的指令进行数据预查询处理。例如，主机用户想查询关于新型存储器方面的信息，假设某存储设备中存储了与新型存储器相关的数据为500G大小，传统方式下，所有的500G数据会从存储设备传输至主机内存中，然后主机处理器会在内存中查询有关新型存储器的数据。而在这500G中或许只有50M的数据是查询结果，可见，主机消耗了大量的时间和功耗将数据从存储设备导入内存中，而大部分数据均是系统用户不需要的。本发明基于嵌入式可编程逻辑阵列能够显著改善这种情况。具体的操作过程如下：第一步，主机发送数据处理指令至存储设备，存储设备判断该指令在嵌入式可编程逻辑阵列的处理范围内，那么嵌入式可编程逻辑阵列在存储设备内部进行数据的预查询操作，查找关于新型存储器相关的数据，此时主机处理器可以去执行其他操作，不占用其工作周期；或者进入低功耗省电模式。嵌入式可编程逻辑阵列处理完毕后仅需将相关的用户真正所需的50M数据传输至主机系统或者200M中间预查询数据传输至主机中，之后让主机再从200M数据中找出最后的50M内容。本发明基于嵌入式可编程逻辑阵列在存储器内部进行数据操作处理的方法与传统方式的对比图，如下表1所示，可见，本发明这种方法能够明显提高系统的性能，降低数据处理功耗。

表1

实施例二：

一种基于嵌入式可编程逻辑阵列的固态硬盘结构如图8所示。固态硬盘中存储了大量的实验数据，当主机启动某应用程序时，应用程序开始对这些实验数据进行计算并得出结果。传统方式下，存储在固态硬盘中的数据必须通过外部IO端口传输至主机的内存中，然后处理器对内存中的数据进行计算并得出相应的计算结果。显然，数据量越大，CPU总线上的数据通信量也会增加，对系统CPU的占有率就越高，处理功耗也就越高。应用本发明嵌入式可编程逻辑阵列即可实现在固态硬盘内对数据进行计算处理，用户通过配置嵌入式可编程逻辑阵列使其能够实现简单的数据计算，当主机发送数据处理指令时，主控制器芯片判断该指令可由嵌入式可编程逻辑阵列来完成，本发明的嵌入式可编程逻辑阵列在固态硬盘内对闪存颗粒中的数据进行计算处理，处理完后再将计算结果传输至主机中，不占用主机处理器，大大减少了数据传输量，降低了功耗，性能大大提高。本发明的基于嵌入式可编程逻辑阵列的数据处理系统及数据处理方法可适用于在处理海量数据的服务器领域内，可显著提高系统性能。

综上所述，本发明提供一种基于嵌入式可编程逻辑阵列的数据处理系统和数据处理方法，该系统主要由主机和存储设备构成，存储设备包括有存储介质和主控制器芯片，存储介质中存储有数据信息，主控制器芯片中集成有控制器和嵌入式可编程逻辑阵列，存储介质连接主控制器芯片，主控制器芯片连接主机，当主控制器芯片接收来自主机的数据处理指令后，可编程逻辑阵列对存储介质中存储的数据信息进行处理操作，并通过控制器将处理后的数据信息传输至主机中，因此通过使用嵌入式可编程逻辑阵列来实现在存储设备内进行数据处理的方法，缓解了由于存储设备的读写速度瓶颈问题，减轻了占用主机处理器的时间，降低了功耗，高度可定制化的嵌入式可编程逻辑阵列亦可满足不同应用功能的需求，从而实现系统在功耗、面积和速度上的优化配置以达到更高的使用效率。

本领域技术人员应该理解，本领域技术人员在结合现有技术以及上述实施例可以实现所述变化例，在此不做赘述。这样的变化例并不影响本发明的实质内容，在此不予赘述。

以上对本发明的较佳实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (4)

1.一种基于嵌入式可编程逻辑阵列的数据处理系统，其特征在于，所述数据处理系统包括：

存储设备，包括有主控制器芯片和存储介质，且该存储介质中存储有数据信息；

主机，通过所述主控制器芯片与所述存储介质进行数据交互，以读取和写入所述数据信息；

其中，所述主控制器芯片集成有控制器和嵌入式可编程逻辑阵列，用户可通过对所述嵌入式可编程逻辑阵列进行配置，以使所述嵌入式可编程逻辑阵列对所述数据信息具有处理操作功能，且所述控制器接收并根据所述主机发送的数据处理指令控制所述嵌入式可编程逻辑阵列对所述数据信息进行处理操作，其中，处理操作发生于存储设备内部且为不需要主机大量参与的操作，包括数据信息转移、数据信息复制、数据信息查询以及数据信息运算的任意一种或多种操作。

2.如权利要求1所述的基于嵌入式可编程逻辑阵列的数据处理系统，其特征在于，所述存储设备为磁盘、固态存储器、磁盘阵列或网络附属存储服务器。

3.一种数据处理方法，其特征在于，所述数据处理方法包括：

提供一主机以及与所述主机连接的存储设备，所述存储设备包括有主控制器芯片和存储介质，所述存储介质中存储有数据信息，所述主控制器芯片集成有控制器和嵌入式可编程逻辑阵列；

用户对所述嵌入式可编程逻辑阵列进行配置，以使所述嵌入式可编程逻辑阵列对所述数据信息具有处理操作功能；

当所述主机向所述存储设备发送数据处理指令后，所述控制器判断所述嵌入式可编程逻辑阵列是否能够对该数据处理指令进行处理；

若是，则所述嵌入式可编程逻辑阵列对所述存储介质中存储的数据信息进行处理操作，并通过所述控制器将处理后的所述数据信息传输至所述主机中；

其中，处理操作发生于存储设备内部且为不需要主机大量参与的操作，包括数据信息转移、数据信息复制、数据信息查询以及数据信息运算的任意一种或多种操作。

4.如权利要求3所述的数据处理方法，其特征在于，还包括：

若所述嵌入式可编程逻辑阵列无法对该数据处理指令进行处理，所述控制器直接将所述存储介质中存储的数据信息传输至所述主机中，所述嵌入式可编程逻辑阵列处于非工作状态。