CN103593437A - 一种基于dma的数据压缩芯片结构及其实现方法 - Google Patents

一种基于dma的数据压缩芯片结构及其实现方法 Download PDF

Info

Publication number
CN103593437A
CN103593437A CN201310564780.8A CN201310564780A CN103593437A CN 103593437 A CN103593437 A CN 103593437A CN 201310564780 A CN201310564780 A CN 201310564780A CN 103593437 A CN103593437 A CN 103593437A
Authority
CN
China
Prior art keywords
data
dma
module
compression
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310564780.8A
Other languages
English (en)
Inventor
王恩东
胡雷钧
李仁刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201310564780.8A priority Critical patent/CN103593437A/zh
Priority to PCT/CN2014/071244 priority patent/WO2015070539A1/zh
Publication of CN103593437A publication Critical patent/CN103593437A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bus Control (AREA)

Abstract

本发明涉及计算机系统设计领域和集成电路设计领域，具体是涉及一种芯片结构及其实现方法，特别涉及一种基于DMA的数据压缩芯片结构及其实现方法。本发明的结构设计采用基于DMA的数据压缩芯片，对大数据进行压缩处理，并且采用带宽匹配的DMA技术，配合多个压缩算法核心，共同实现大数据的压缩处理和存储，提高系统存储资源的利用率。

Description

一种基于DMA的数据压缩芯片结构及其实现方法
技术领域
本发明涉及计算机系统设计领域和集成电路设计领域，具体是涉及一种芯片结构及其实现方法，特别涉及一种基于DMA的数据压缩芯片结构及其实现方法。
背景技术
随着计算机技术的飞速发展，为了满足各领域的应用需求，高性能、高存储能力越来越成为计算机系统的基本特征，不断的增加存储设备会使设备成本极高，并且占用大量的机房面积，代价极高，这就需要采用新型的处理设备，高效的实施大数据的压缩处理。但是另一方面也陷入了因额外的数据处理所带来的性能损耗和CPU计算资源损耗，因此采用满足带宽匹配的DMA（Direct Memory Access，直接内存存取）技术，可以有效提高系统性能，并且尽可能的节约CPU的计算资源，保障数据处理导致的系统性能影响至最低。
对存储数据进行压缩处理，可以节约1倍以上的存储设备资源，根据不同的应用环境设备节约的效果也不同，在数据冗余度较高的应用环境中，存储空间节约可达数十倍。额外的数据压缩处理势必会造成系统性能的降低，在不采用性能分析优化的条件下，其性能损耗代价难以接受，因此压缩芯片采用DMA技术提高系统数据的处理效率，DMA技术采用带宽匹配的设计方法，配合多个压缩算法核心共同完成数据的压缩处理和存储操作。
发明内容
为了解决现有技术的问题，本发明提供了一种基于DMA的数据压缩芯片结构及其实现方法，其采用基于DMA原理的数据压缩芯片，对大数据进行压缩处理，并且采用带宽匹配的DMA技术，配合多个压缩算法核心，共同实现大数据的压缩处理和存储，提高系统存储资源的利用率。
本发明所采用的技术方案如下：
一种基于DMA的数据压缩芯片结构，包括系统到设备DMA模块、设备到系统DMA模块、发送端仲裁模块、数据存储模块接口模块和压缩算法核心模块，其中，
系统到设备DMA模块采用描述符DMA和数据DMA两种方式提高系统效率，即描述符信息和传输数据均采用DMA传输的方式；
设备到系统DMA模块采用描述符DMA和数据DMA两种方式提高系统效率，即描述符信息和传输数据均采用DMA传输的方式；
发送端仲裁模块采用给予优先级分析、判定、生成的方式控制发送报文的仲裁机制，用于解决多报文发送传输的冲突问题；
数据存储模块接口模块采用高并行多组存储阵列的方式实现数据缓存；
压缩算法核心模块采用数据通路带宽匹配的方法，配置多个压缩算法核心。
一种基于DMA的数据压缩芯片结构的实现方法，是通过PCI-E接口与系统进行通信，通过DMA技术实现系统和设备的数据传输，分别设计系统到设备和设备到系统的DMA引擎，在发送端设计仲裁逻辑实现发送数据的高效传输，在两个方向的DMA模块中分别实现描述符DMA和数据DMA以提高数据传输效率，接收到的数据通过接口存储模块与数据压缩算法模块进行连接，数据在压缩模块进行压缩处理，压缩后的数据再经由DMA完成到系统的传输。
本发明的实现方法具体包括以下步骤：
A、系统发起读请求，数据压缩芯片通过其发送端发送读请求和读命令，并通过PCI-E端口发送至系统，在接收端，接收系统发送来的描述符信息，该信息通过系统到设备描述符DMA方式控制传输，即描述符的起止地址信息，并通过DMA的方式传输，最终写入描述符寄存器，位于系统到设备描述符，通过系统到设备DMA引擎控制对应描述符信息的数据传输；
B、接收到的DMA数据通过系统到设备接口传输到数据存储接口模块，以便压缩算法核心模块进行数据压缩应用，数据存储模块是一个高并行的分组存储器阵列，可支持多个数据压缩核心并行读写操作；
C、压缩算法核心模块从数据存储接口模块读取数据，进行数据压缩操作，并收集数据信息进行压缩控制，以提高压缩效率，数据压缩过程中的数据匹配信息由匹配信息模块保存，以供压缩模块使用；
D、根据PCI-E接口、DMA传输能力、数据存储接口、压缩核心模块能力系统的各个接口和模块的带宽确定压缩算法核心模块的核心数；各个压缩算法核心模块是完全独立的并行工作； 
E、压缩后的压缩数据经由数据存储接口模块，由设备到系统DMA模块控制完成设备到系统的数据传输；同样由设备到系统描述符DMA方式控制多个描述符信息的传输，以提高系统性能，传输的描述符信息寄存在设备到系统描述符寄存器中，由设备到系统DMA方式传输；
F、在发送端数据发送时，由发送端仲裁模块控制多个报文数据发送时的优先级控制，避免了多个报文同时发送时的冲突问题，最后数据由PCI-E接口完成向系统的发送传输。
在系统工作过程中，内部中断和外部中断由终端模块控制并实现向系统的传输。
本发明的技术方案中，系统到设备DMA的特性，主要是指压缩芯片通过DMA的方式接收来自系统的数据，包括描述符DMA和数据DMA，其中数据DMA又包括DMA描述符和DMA引擎，描述符DMA是将系统的描述符信息采用DMA的方式进行传递，达到提高性能的目的，DMA描述符是指描述符寄存器，DMA引擎是指采用DMA的方式进行数据搬运。
设备到系统DMA的特性，主要是指压缩芯片通过DMA的方式向系统发送压缩后的数据，包括描述符DMA和数据DMA，其中数据DMA又包括DMA描述符和DMA引擎，描述符DMA是将系统的描述符信息采用DMA的方式进行传递，达到提高性能的目的，DMA描述符是指描述符寄存器，DMA引擎是指采用DMA的方式进行数据搬运；
发送端仲裁的特性，主要是指采用优先级生成的仲裁方式，控制和解决多个报文同时发送时的冲突问题；
数据存储模块接口的特性，主要是指采用可配的分组存储阵列，形成高并行存储的数据缓冲区，为多个压缩算法核心存储系统到设备的数据和设备到系统的压缩数据；
压缩算法核心的特性，主要是指多组压缩算法核心，使各个模块以及接口的带宽匹配，保障资源的利用率，从而达到提高系统性能的目的，其中压缩算法核心模块包括数据压缩模块、压缩控制模块、匹配信息模块，数据压缩模块主要实现数据的压缩功能，压缩控制模块主要接收控制信息，并生成压缩控制信息，控制压缩模块工作，匹配信息模块主要存储压缩过程中的匹配信息，供压缩模块使用。
本发明的一种基于DMA的数据压缩芯片结构及其实现方法，其结构设计所具有的上述优点，使得其弥补了传统软件数据压缩设计结构严重影响系统CPU计算资源的不足，在不显著影响系统性能的条件下，使其所带来的可配置性、硬件资源节约、压缩算法核心灵活扩展等诸多特性，使其更适用于大数据存储、分析系统，因而具有非常广阔的发展前景，具有很高的技术价值。
附图说明
图1为本发明的一种基于DMA的数据压缩芯片结构及其实现方法的逻辑结构图；
图2为本发明的一种基于DMA的数据压缩芯片结构及其实现方法的发送端仲裁逻辑结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
一种基于DMA的数据压缩芯片结构，包括系统到设备DMA模块、设备到系统DMA模块、发送端仲裁模块、数据存储模块接口模块和压缩算法核心模块，其中，
系统到设备DMA模块采用描述符DMA和数据DMA两种方式提高系统效率，即描述符信息和传输数据均采用DMA传输的方式；
设备到系统DMA模块采用描述符DMA和数据DMA两种方式提高系统效率，即描述符信息和传输数据均采用DMA传输的方式；
发送端仲裁模块采用给予优先级分析、判定、生成的方式控制发送报文的仲裁机制，用于解决多报文发送传输的冲突问题；
数据存储模块接口模块采用高并行多组存储阵列的方式实现数据缓存；
压缩算法核心模块采用数据通路带宽匹配的方法，配置多个压缩算法核心。
实施例二
一种基于DMA的数据压缩芯片结构的实现方法，是通过PCI-E接口与系统进行通信，通过DMA技术实现系统和设备的数据传输，分别设计系统到设备和设备到系统的DMA引擎，在发送端设计仲裁逻辑实现发送数据的高效传输，在两个方向的DMA模块中分别实现描述符DMA和数据DMA以提高数据传输效率，接收到的数据通过接口存储模块与数据压缩算法模块进行连接，数据在压缩模块进行压缩处理，压缩后的数据再经由DMA完成到系统的传输。
本发明的实现方法具体包括以下步骤：
A、系统发起读请求，数据压缩芯片通过其发送端发送读请求和读命令，并通过PCI-E端口发送至系统，在接收端，接收系统发送来的描述符信息，该信息通过系统到设备描述符DMA方式控制传输，即描述符的起止地址信息，并通过DMA的方式传输，最终写入描述符寄存器，位于系统到设备描述符，通过系统到设备DMA引擎控制对应描述符信息的数据传输；
B、接收到的DMA数据通过系统到设备接口传输到数据存储接口模块，以便压缩算法核心模块进行数据压缩应用，数据存储模块是一个高并行的分组存储器阵列，可支持多个数据压缩核心并行读写操作；
C、压缩算法核心模块从数据存储接口模块读取数据，进行数据压缩操作，并收集数据信息进行压缩控制，以提高压缩效率，数据压缩过程中的数据匹配信息由匹配信息模块保存，以供压缩模块使用；
D、根据PCI-E接口、DMA传输能力、数据存储接口、压缩核心模块能力系统的各个接口和模块的带宽确定压缩算法核心模块的核心数；各个压缩算法核心模块是完全独立的并行工作； 
E、压缩后的压缩数据经由数据存储接口模块，由设备到系统DMA模块控制完成设备到系统的数据传输；同样由设备到系统描述符DMA方式控制多个描述符信息的传输，以提高系统性能，传输的描述符信息寄存在设备到系统描述符寄存器中，由设备到系统DMA方式传输；
F、在发送端数据发送时，由发送端仲裁模块控制多个报文数据发送时的优先级控制，避免了多个报文同时发送时的冲突问题，最后数据由PCI-E接口完成向系统的发送传输。
在系统工作过程中，内部中断和外部中断由终端模块控制并实现向系统的传输。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于DMA的数据压缩芯片结构，包括系统到设备DMA模块、设备到系统DMA模块、发送端仲裁模块、数据存储模块接口模块和压缩算法核心模块，其中，
系统到设备DMA模块采用描述符DMA和数据DMA两种方式提高系统效率，即描述符信息和传输数据均采用DMA传输的方式；
设备到系统DMA模块采用描述符DMA和数据DMA两种方式提高系统效率，即描述符信息和传输数据均采用DMA传输的方式；
发送端仲裁模块采用给予优先级分析、判定、生成的方式控制发送报文的仲裁机制，用于解决多报文发送传输的冲突问题；
数据存储模块接口模块采用高并行多组存储阵列的方式实现数据缓存；
压缩算法核心模块采用数据通路带宽匹配的方法，配置多个压缩算法核心。
2.一种基于DMA的数据压缩芯片结构的实现方法，是通过PCI-E接口与系统进行通信，通过DMA技术实现系统和设备的数据传输，分别设计系统到设备和设备到系统的DMA引擎，在发送端设计仲裁逻辑实现发送数据的高效传输，在两个方向的DMA模块中分别实现描述符DMA和数据DMA以提高数据传输效率，接收到的数据通过接口存储模块与数据压缩算法模块进行连接，数据在压缩模块进行压缩处理，压缩后的数据再经由DMA完成到系统的传输。
3.根据权利要求2所述的一种基于DMA的数据压缩芯片结构的实现方法，其具体包括以下步骤：
A、系统发起读请求，数据压缩芯片通过其发送端发送读请求和读命令，并通过PCI-E端口发送至系统，在接收端，接收系统发送来的描述符信息，该信息通过系统到设备描述符DMA方式控制传输，即描述符的起止地址信息，并通过DMA的方式传输，最终写入描述符寄存器，位于系统到设备描述符，通过系统到设备DMA引擎控制对应描述符信息的数据传输；
B、接收到的DMA数据通过系统到设备接口传输到数据存储接口模块，以便压缩算法核心模块进行数据压缩应用，数据存储模块是一个高并行的分组存储器阵列，可支持多个数据压缩核心并行读写操作；
C、压缩算法核心模块从数据存储接口模块读取数据，进行数据压缩操作，并收集数据信息进行压缩控制，以提高压缩效率，数据压缩过程中的数据匹配信息由匹配信息模块保存，以供压缩模块使用；
D、根据PCI-E接口、DMA传输能力、数据存储接口、压缩核心模块能力系统的各个接口和模块的带宽确定压缩算法核心模块的核心数；
E、压缩后的压缩数据经由数据存储接口模块，由设备到系统DMA模块控制完成设备到系统的数据传输；同样由设备到系统描述符DMA方式控制多个描述符信息的传输，以提高系统性能，传输的描述符信息寄存在设备到系统描述符寄存器中，由设备到系统DMA方式传输；
F、在发送端数据发送时，由发送端仲裁模块控制多个报文数据发送时的优先级控制，避免了多个报文同时发送时的冲突问题，最后数据由PCI-E接口完成向系统的发送传输。
4.根据权利要求3所述的一种基于DMA的数据压缩芯片结构的实现方法，其在系统工作过程中，内部中断和外部中断由终端模块控制并实现向系统的传输。
5.根据权利要求3所述的一种基于DMA的数据压缩芯片结构的实现方法，所述步骤D中，各个压缩算法核心模块是完全独立的并行工作。
CN201310564780.8A 2013-11-14 2013-11-14 一种基于dma的数据压缩芯片结构及其实现方法 Pending CN103593437A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310564780.8A CN103593437A (zh) 2013-11-14 2013-11-14 一种基于dma的数据压缩芯片结构及其实现方法
PCT/CN2014/071244 WO2015070539A1 (zh) 2013-11-14 2014-01-23 一种基于dma的数据压缩芯片结构及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310564780.8A CN103593437A (zh) 2013-11-14 2013-11-14 一种基于dma的数据压缩芯片结构及其实现方法

Publications (1)

Publication Number Publication Date
CN103593437A true CN103593437A (zh) 2014-02-19

Family

ID=50083578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310564780.8A Pending CN103593437A (zh) 2013-11-14 2013-11-14 一种基于dma的数据压缩芯片结构及其实现方法

Country Status (2)

Country Link
CN (1) CN103593437A (zh)
WO (1) WO2015070539A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108292277A (zh) * 2015-11-06 2018-07-17 图芯芯片技术有限公司 用于存储器存取命令的传送描述符
CN110178344A (zh) * 2017-02-07 2019-08-27 欧姆龙株式会社 控制装置以及通信装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197773A (zh) * 2007-10-25 2008-06-11 华为技术有限公司 基于多链路的报文压缩发送和接收解压缩方法及系统
CN102946570A (zh) * 2012-09-21 2013-02-27 上海交通大学 一种自适应网络带宽的多流流媒体传输系统与传输方法
US20130286029A1 (en) * 2010-10-28 2013-10-31 Amichay Amitay Adjusting direct memory access transfers used in video decoding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5845151A (en) * 1996-04-08 1998-12-01 Vlsi Technology, Inc. System using descriptor and having hardware state machine coupled to DMA for implementing peripheral device bus mastering via USB controller or IrDA controller
US6874039B2 (en) * 2000-09-08 2005-03-29 Intel Corporation Method and apparatus for distributed direct memory access for systems on chip
CN100593161C (zh) * 2008-06-11 2010-03-03 南京磐能电力科技股份有限公司 一种点到多点数据分配dma控制器实现方法
CN101937406B (zh) * 2009-06-29 2012-08-22 研祥智能科技股份有限公司 一种VxWorks操作系统中实现驱动1394设备的方法和系统
TW201339842A (zh) * 2012-03-20 2013-10-01 Copystar Backup & Storage Corp 協同式匯流排仲裁多工架構及依該架構所進行之資料存取仲裁方法
CN102650976B (zh) * 2012-04-01 2014-07-09 中国科学院计算技术研究所 一种支持单根io虚拟化用户级接口控制装置及其方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197773A (zh) * 2007-10-25 2008-06-11 华为技术有限公司 基于多链路的报文压缩发送和接收解压缩方法及系统
US20130286029A1 (en) * 2010-10-28 2013-10-31 Amichay Amitay Adjusting direct memory access transfers used in video decoding
CN102946570A (zh) * 2012-09-21 2013-02-27 上海交通大学 一种自适应网络带宽的多流流媒体传输系统与传输方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘博: "基于PCIExpress总线的高速DMA传输系统的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王继良: "无线传感器网络中的小波数据压缩算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108292277A (zh) * 2015-11-06 2018-07-17 图芯芯片技术有限公司 用于存储器存取命令的传送描述符
CN108292277B (zh) * 2015-11-06 2021-08-17 图芯芯片技术有限公司 用于存储器存取命令的传送描述符
CN110178344A (zh) * 2017-02-07 2019-08-27 欧姆龙株式会社 控制装置以及通信装置
US11068423B2 (en) 2017-02-07 2021-07-20 Omron Corporation Control device and communication device
CN110178344B (zh) * 2017-02-07 2021-11-26 欧姆龙株式会社 控制装置以及通信装置

Also Published As

Publication number Publication date
WO2015070539A1 (zh) 2015-05-21

Similar Documents

Publication Publication Date Title
CN108132897B (zh) 一种基于zynq平台软核的srio控制器
CN108107827B (zh) 一种基于zynq平台软核的srio控制方法
CN102724035B (zh) 一种加密卡的加解密方法
CN103714024A (zh) 一种基于SoC FPGA的多串口并行处理架构
WO2014086085A1 (zh) 多通道闪存卡控制装置及其控制方法
CN106533872A (zh) 用于提高fc‑ae‑1553总线传输效率的系统
CN112035388B (zh) 一种基于PCI-e通道的高性能加解密方法
CN109656851B (zh) 一种时间确定的包括多路高速总线通道及共享接口的系统
CN103336745A (zh) 一种基于ssd缓存的fc hba及其设计方法
CN114662136B (zh) 一种基于pcie通道的多算法ip核的高速加解密系统及方法
CN103207846A (zh) 内存控制器及控制方法
CN109992543A (zh) 一种基于zyzq-7000的pci-e数据高效传输方法
CN103713543A (zh) 一种基于fpga的多串口并行处理架构
CN104699641A (zh) 一种多核dsp系统中edma控制器并行控制的方法
CN106662895A (zh) 计算机设备和计算机设备数据读写的方法
KR102367359B1 (ko) 직렬 시스템 버스 인터페이스 및 직접메모리액세스 컨트롤러를 갖는 전자 시스템 및 그 동작 방법
CN101430739B (zh) 一种集成芯片参数配置的系统及方法
CN103593437A (zh) 一种基于dma的数据压缩芯片结构及其实现方法
CN102279728A (zh) 数据存储设备及数据计算方法
CN115883022B (zh) Dma传输控制方法、装置、电子设备及可读存储介质
CN104714832A (zh) 一种用于机载数据网络异步数据交互区的缓冲管理方法
CN109145397B (zh) 一种支持并行流水访问的外存仲裁系统
CN203950307U (zh) 基于高性能bw100芯片的sar并行处理装置
CN110765046A (zh) 一种动态可重构高速串行总线的dma传输装置与方法
CN114547663B (zh) 基于usb接口的高速芯片实现数据加解密及读取的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140219

WD01 Invention patent application deemed withdrawn after publication