CN206757592U - 一种数据处理系统 - Google Patents
一种数据处理系统 Download PDFInfo
- Publication number
- CN206757592U CN206757592U CN201720486458.1U CN201720486458U CN206757592U CN 206757592 U CN206757592 U CN 206757592U CN 201720486458 U CN201720486458 U CN 201720486458U CN 206757592 U CN206757592 U CN 206757592U
- Authority
- CN
- China
- Prior art keywords
- data
- request
- data processing
- hardware circuits
- process module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本实用新型公开了一种数据处理系统，包括CPU、存储器，还包括一硬件电路处理模块；所述CPU，用于接收用户输入的处理指令，根据所述处理指令从存储器中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块；硬件电路处理模块，用于接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理，并将数据处理结果返回给存储器；存储器，用于将硬件电路处理模块返回的数据处理结果存储到目标地址；其中，第一数据处理请求为压缩请求、解压缩请求或备份请求。本实用新型通过外加的硬件电路处理模块对数据进行压缩、解压缩和备份处理，大大地提高大数据处理的处理效率，节省了大量的CPU资源，省时、省电。
Description
技术领域
本实用新型涉及数据处理技术领域，尤其涉及一种数据处理系统。
背景技术
在互联网的大规模数据处理中，数据的压缩、解压缩、备份是非常重要且常用的手段，当前数据处理系统处理数据压缩、解压缩、备份一般通过软件算法进行处理，一般的流程为：1)应用软件下达指令；2)CPU(Central Processing Unit，中央处理器)响应该指令，去存储器中指定的地方(如Flash、硬盘(Hard Disk)等)获取数据；3)CPU进行压缩、解压缩、或备份处理；4)将处理结果储存到目标地址。
这种传统的数据处理系统采用软件算法利用CPU对数据进行处理，且CPU搬移数据采单突发(single burst)形式，传统的数据处理系统具有以下缺点：1)消耗大量的CPU及总线(BUS)的资源；2)消耗大量的CPU及总线的资源必将消耗更多的电量；3)消耗大量的CPU及总线的资源必将消耗更多的时间。总的来说目前采用软件算法进行数据处理需要占用大量的CPU资源，处理效率比较低，特别是在处理大量数据时，软件算法的缺点将更加明显。
实用新型内容
本实用新型所要解决的技术问题在于提出一种数据处理系统，大大地提高了大数据处理的处理效率。
为解决上述技术问题，本实用新型采用以下技术方案：
一种数据处理系统，包括CPU和存储器，还包括有一硬件电路处理模块；
所述CPU，用于接收用户输入的处理指令，根据所述处理指令从存储器中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块；
所述硬件电路处理模块，用于接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理，并将数据处理结果返回给存储器；
所述存储器，用于将硬件电路处理模块返回的数据处理结果存储到目标地址；
其中，所述第一数据处理请求为压缩请求、解压缩请求或备份请求。
其中，还包括搜索引擎和主机；
CPU还用于根据所述处理指令向搜索引擎发送第二数据处理请求；硬件电路处理模块还用于将数据处理结果发送给搜索引擎；
搜索引擎用于根据所述第二数据处理请求对数据处理结果进行处理，并将处理结果发送给主机；
所述第二数据处理请求为搜索请求或不处理请求。
其中，所述存储器为Flash。
其中，所述存储器为硬盘。
其中，所述硬件电路处理模块基于DSP实现。
其中，所述源数据和所述数据处理结果通过多突发的形式进行传输。
与现有技术相比，本实用新型的有益效果为：本实用新型通过外加的硬件电路处理模块对数据进行压缩、解压缩和备份处理，大大地提高大数据处理的处理效率，节省了大量的CPU资源，也达到了省时、省电的效果。
附图说明
为了更清楚地说明本实用新型实施例中的技术方案，下面将对本实用新型实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本实用新型实施例的内容和这些附图获得其他的附图。
图1是本实用新型具体实施方式提供的一种数据处理系统的实施例的结构框图。
图2是本实用新型具体实施方式提供的一种数据处理系统的另一实施例的结构框图。
图3是本实用新型具体实施方式提供的一种数据处理方法的实施例的方法流程图。
图4是本实用新型具体实施方式提供的一种数据处理方法的另一实施例的方法流程图。
具体实施方式
为使本实用新型解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本实用新型实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。
下面结合附图1～2对本实用新型实施例提供的数据处理系统作进一步的详细描述。请参考图1，其是本实用新型具体实施方式中提供的一种数据处理系统的实施例的结构框图，如图1所示，在一些实施例中，该数据处理系统包括CPU(Central Processing Unit，中央处理器)10、存储器20和一硬件电路处理模块30；CPU 10，用于接收用户输入的处理指令，根据所述处理指令从存储器20中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块30；硬件电路处理模块30，用于接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理，并将数据处理结果返回给存储器20；存储器20，用于将硬件电路处理模块30返回的数据处理结果存储到目标地址；其中，所述第一数据处理请求为压缩请求、解压缩请求或备份请求。
在一些优选的实施例中，源数据和所述数据处理结果在总线(BUS)上通过多突发(multi burst)的形式进行传输，而不采用传统的单突发(sigle burst)的形式进行传输，节省了总线资源。CPU 10、存储器20、和硬件电路处理模块30之间通过总线进行通信。存储器20为辅助存储器，即外存，在一些优选的实施例中，存储器20为Flash(闪存，即FlashMemory)或硬盘等外存，源数据和数据处理结果(包括压缩数据、解压缩数据和备份数据)都将存储在存储器20中的对应的位置，数据处理结果则将存储在目标地址中。
本实用新型实施例提供的数据处理系统通过外加的硬件电路处理模块对数据进行压缩、解压缩和备份等处理，不像传统的方式——数据处理都由CPU执行，特别是针对大数据处理，能提高大数据处理的处理效率，节省了大量的CPU资源，由于占用的CPU资源和总线资源少了，则对应的无需再消耗大量的电量和时间，达到了省时、省电的效果。
图2是本实用新型具体实施方式中提供的一种数据处理系统的另一实施例的结构框图，如图2所示，在一些优选的实施例中，该数据处理系统还包括搜索引擎40和主机50；CPU 10还用于根据所述处理指令向搜索引擎40发送第二数据处理请求；硬件电路处理模块30还用于将数据处理结果发送给搜索引擎40；搜索引擎40用于根据所述第二数据处理请求对数据处理结果进行处理，并将处理结果发送给主机50；所述第二数据处理请求为搜索请求或不处理请求。
如图2所示，若用户要对压缩数据进行搜索处理，则CPU将根据所述处理指令从存储器20中获取源数据，并将所述源数据和解压缩请求发送给硬件电路处理模块30、向搜索引擎40发送搜索请求；硬件电路处理模块30对压缩数据进行解压缩处理，并将解压缩处理之后的得到的解压缩数据发送给搜索引擎40；搜索引擎40根据搜索请求对解压缩数据进行搜索，并把搜索结果发送给主机50，这样用户只需给CPU发送一次指令便可完成对压缩数据的搜索，而无需给CPU发送一次解压缩指令，再针对解压缩之后得到的解压缩数据发送一次搜索指令，简化了用户的操作，提高了用户体验。若用户只需要对压缩数据进行解压缩处理，则CPU将根据所述处理指令从存储器20中获取源数据，并将所述源数据和解压缩请求发送给硬件电路处理模块30、向搜索引擎40发送不处理请求；硬件电路处理模块30对压缩数据进行解压缩处理，并将解压缩处理之后的得到的解压缩数据通过总线发送给搜索引擎40；搜索引擎40根据不处理请求不对解压缩数据进行处理，直接通过总线发送给主机。本实用新型实施例提供的数据处理系统减少了用户操作，能直接对压缩的数据进行搜索，提高了用户体验。需要说明的是，硬件电路处理模块30除了总线也可通过专属路径把数据处理结果发送搜索引擎40。
在一些优选的实施例中，硬件电路处理模块30基于DSP(Digital SignalProcessor，数字信号处理)实现。DSP是一种独特的微处理器，是以数字信号来处理大量信息的器件，硬件电路处理模块30基于DSP实现，有利于提高数据处理的效率，也有利于提高系统的稳定性。硬件电路处理模块30也可以基于FPGA(Field－Programmable Gate Array，现场可编程门阵列)、MCU(MicrocontrollerUnit，微控制单元)等实现，在FPGA或MCU中写入数据处理的演算法，结合周边的辅助电子元器件构成硬件电路处理模块30，对数据进行压缩、解压缩和备份等处理。
本实用新型实施例提供的数据处理系统通过外加的硬件电路处理模块对数据进行压缩、解压缩和备份处理，不像传统方式数据处理都由CPU执行，节省了大量的CPU资源，采用多突发的形式代替传统的单突发的形式对数据进行传输，节省了大量的总线资源，提高了数据处理效率，由于占用的CPU资源和总线资源少了，则对应的无需再消耗大量的电量和时间，达到了省时、省电的效果。而由于压缩、解压缩和备份等数据处理由硬件电路处理模块进行处理，因此系统可有效地进行多功能运算。
本实用新型具体实施方式还提供了一种数据处理方法，下面结合附图3和4对本实用新型实施例提供的数据处理方法作进一步的详细描述。请参考图3，其是本实用新型具体实施方式中提供的一种数据处理系统的实施例的方法流程图，如图3所示，在一些实施例中，该数据处理方法包括：
步骤S101：CPU接收用户输入的处理指令，根据所述处理指令从存储器中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块。其中，所述第一数据处理请求为压缩请求、解压缩请求或备份请求。
步骤S102：硬件电路处理模块接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理，并将数据处理结果返回给存储器。
步骤S103：存储器将硬件电路处理模块返回的数据处理结果存储到目标地址。
在一些优选的实施例中，源数据和所述数据处理结果在总线(BUS)上通过多突发(multi burst)的形式进行传输，而不采用传统的单突发(sigle burst)的形式进行传输，节省了总线资源。
图4是本实用新型具体实施方式中提供的一种数据处理方法的另一实施例的方法流程图，如图4所示，在一些优选的实施例中，该数据处理方法包括步骤S201～S204，具体如下：
步骤S201：CPU接收用户输入的处理指令，根据所述处理指令从存储器中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块；根据所述处理指令向搜索引擎发送第二数据处理请求。其中，所述第一数据处理请求为压缩请求、解压缩请求或备份请求；所述第二数据处理请求为搜索请求或不处理请求。
步骤S202：硬件电路处理模块接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理，并将数据处理结果返回给存储器和发送给搜索引擎。
步骤S203：存储器将硬件电路处理模块返回的数据处理结果存储到目标地址。
步骤S204：搜索引擎根据所述第二数据处理请求对数据处理结果进行处理，并将处理结果发送给主机。其中，步骤S203与步骤S204没有一定的先后顺序，它们为并列关系。
如图4所示，若用户要对压缩数据进行搜索处理，则CPU根据所述处理指令从存储器中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块、向搜索引擎发送搜索请求；硬件电路处理模块对压缩数据进行解压缩处理，并将解压缩处理之后的得到的解压缩数据发送给存储器和搜索引擎；存储器将硬件电路处理模块返回的数据处理结果存储到目标地址；搜索引擎根据搜索请求对解压缩数据进行搜索，并把搜索结果发送给主机。这样用户只需给CPU发送一次指令便可完成对压缩数据的搜索，而无需给CPU发送一次解压缩指令，再针对解压缩之后得到的解压缩数据发送一次搜索指令，简化了用户的操作，提高了用户体验。若用户只需要对压缩数据进行解压缩处理，则CPU将向存储器发送数据获取请求、向硬件电路处理模块发送解压缩请求、向搜索引擎发送不处理请求；存储器把压缩数据发送给硬件电路处理模块；硬件电路处理模块对压缩数据进行解压缩处理，并将解压缩处理之后的得到的解压缩数据通过总线发送给搜索引擎；存储器将硬件电路处理模块返回的数据处理结果存储到目标地址；搜索引擎根据不处理请求不对解压缩数据进行处理，直接通过总线发送给主机。本实用新型实施例提供的数据处理方法减少了用户操作，能直接对压缩的数据进行搜索，提高了用户体验。
本实用新型实施例提供的数据处理方法CPU根据用户输入的处理指令从存储设备中获取源数据并发送给外加的硬件电路处理模块进行压缩、解压缩和备份等处理，不像传统的方式——数据处理都由CPU执行，特别是针对大数据处理时，能大大地提高数据的处理效率，节省了大量的CPU资源，采用多突发的形式代替传统的单突发的形式对数据进行传输，节省了大量的总线资源，由于占用的CPU资源和总线资源少了，则对应的无需再消耗大量的电量和时间，达到了省时、省电的效果。
以上结合具体实施例描述了本实用新型的技术原理。这些描述只是为了解释本实用新型的原理，而不能以任何方式解释为对本实用新型保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本实用新型的其它具体实施方式，这些方式都将落入本实用新型的保护范围之内。
Claims (6)
1.一种数据处理系统，包括CPU和存储器，其特征在于，还包括有一硬件电路处理模块；
所述CPU，用于接收用户输入的处理指令，根据所述处理指令从存储器中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块；
所述硬件电路处理模块，用于接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理，并将数据处理结果返回给存储器；
所述存储器，用于将硬件电路处理模块返回的数据处理结果存储到目标地址；
其中，所述第一数据处理请求为压缩请求、解压缩请求或备份请求。
2.根据权利要求1所述的一种数据处理系统，其特征在于，所述数据处理系统还包括一搜索引擎和一主机；
CPU还用于根据所述处理指令向搜索引擎发送第二数据处理请求；硬件电路处理模块还用于将数据处理结果发送给搜索引擎；
搜索引擎，用于根据所述第二数据处理请求对数据处理结果进行处理，并将处理结果发送给主机；
所述第二数据处理请求为搜索请求或不处理请求。
3.根据权利要求1所述的一种数据处理系统，其特征在于，所述存储器为Flash。
4.根据权利要求1所述的一种数据处理系统，其特征在于，所述存储器为硬盘。
5.根据权利要求1所述的一种数据处理系统，其特征在于，所述硬件电路处理模块基于DSP实现。
6.根据权利要求1所述的一种数据处理系统，其特征在于，所述源数据和所述数据处理结果通过多突发的形式进行传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201720486458.1U CN206757592U (zh) | 2017-05-04 | 2017-05-04 | 一种数据处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201720486458.1U CN206757592U (zh) | 2017-05-04 | 2017-05-04 | 一种数据处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN206757592U true CN206757592U (zh) | 2017-12-15 |
Family
ID=60615614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201720486458.1U Active CN206757592U (zh) | 2017-05-04 | 2017-05-04 | 一种数据处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN206757592U (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108509568A (zh) * | 2018-03-26 | 2018-09-07 | 深圳大普微电子科技有限公司 | 一种数据存储管理方法及装置 |
-
2017
- 2017-05-04 CN CN201720486458.1U patent/CN206757592U/zh active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108509568A (zh) * | 2018-03-26 | 2018-09-07 | 深圳大普微电子科技有限公司 | 一种数据存储管理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022062537A1 (zh) | 数据压缩方法、装置及计算机可读存储介质 | |
| CN105204781B (zh) | 压缩方法、装置和设备 | |
| CN112214462B (zh) | 压缩文件的多层解压缩方法、电子设备及存储介质 | |
| CN103593424A (zh) | 一种软硬件压缩可配置的大数据处理系统 | |
| US10992312B2 (en) | Semiconductor device and operating method of matching hardware resource to compression/decompression algorithm | |
| CN115880132B (zh) | 图形处理器、矩阵乘法任务处理方法、装置及存储介质 | |
| CN111008230A (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
| CN114116635A (zh) | 压缩数据流的并行解压缩 | |
| CN102521299B (zh) | 资源描述框架数据的处理方法 | |
| CN109451317A (zh) | 一种基于fpga的图像压缩系统及方法 | |
| CN110766155A (zh) | 一种基于混合精度存储的深度神经网络加速器 | |
| CN206757592U (zh) | 一种数据处理系统 | |
| CN103209328A (zh) | 多源卫星图像实时在线处理技术方法及装置 | |
| CN113411380B (zh) | 基于fpga可编程会话表的处理方法、逻辑电路和设备 | |
| CN103997648A (zh) | 一种基于dsp的jpeg2000标准图像快速解压缩系统及方法 | |
| CN111694692B (zh) | 一种数据存储纠删方法、装置、设备及可读存储介质 | |
| CN103955585B (zh) | 一种适用于低功耗容错电路的fir滤波器结构 | |
| CN107133102A (zh) | 一种数据处理系统和方法 | |
| US20150220362A1 (en) | Multi-core processor system, electrical power control method, and computer product for migrating process from one core to another | |
| CN116467235B (zh) | 一种基于dma的数据处理方法、装置、电子设备及介质 | |
| CN103299298A (zh) | 处理业务的方法和系统 | |
| WO2016095377A1 (zh) | 一种瘦客户端的图像显示方法、装置及电子设备 | |
| CN103577160A (zh) | 一种面向大数据的特征提取并行处理方法 | |
| CN105894440A (zh) | 一种图像多层数据处理方法和装置 | |
| US20200242467A1 (en) | Calculation method and calculation device for sparse neural network, electronic device, computer readable storage medium, and computer program product |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant |