CN112559812B - 一种基于cpu+fpga的大数据输出方法及系统 - Google Patents

一种基于cpu+fpga的大数据输出方法及系统 Download PDF

Info

Publication number
CN112559812B
CN112559812B CN202011552004.2A CN202011552004A CN112559812B CN 112559812 B CN112559812 B CN 112559812B CN 202011552004 A CN202011552004 A CN 202011552004A CN 112559812 B CN112559812 B CN 112559812B
Authority
CN
China
Prior art keywords
data
module
bloom
filter
state transition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011552004.2A
Other languages
English (en)
Other versions
CN112559812A (zh
Inventor
桑成伟
郑波
杨军
武筠
罗永富
张利达
周友龙
杨阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
722th Research Institute of CSIC
China State Shipbuilding Corp Ltd
Original Assignee
722th Research Institute of CSIC
China State Shipbuilding Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 722th Research Institute of CSIC, China State Shipbuilding Corp Ltd filed Critical 722th Research Institute of CSIC
Priority to CN202011552004.2A priority Critical patent/CN112559812B/zh
Publication of CN112559812A publication Critical patent/CN112559812A/zh
Application granted granted Critical
Publication of CN112559812B publication Critical patent/CN112559812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90344—Query processing by using string matching techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于CPU+FPGA的大数据输出方法及系统，其利用CPU构建状态转移树、状态转移表和Bloom－Filter数据结构，利用FPGA接收Bloom－Filter的比特向量并进行缓存，利用FPGA构建模式识别模块、报文分发模块、与多个模式串样本一一对应的多个AC自动机和状态转移表管理模块，接收待编辑的业务数据流，状态转移表管理模块调用并解析缓存的Bloom－Filter的比特向量数据以实现对多个AC自动机的设置，使得多个AC自动机依据对应的状态转移表的设置并行处理接收的数据串，FPGA依据待编辑的业务数据流的接收时序有序输出AC自动机处理后的业务数据流。

Description

一种基于CPU+FPGA的大数据输出方法及系统
技术领域
本发明属于数据通信技术领域，更具体地，涉及一种基于CPU+FPGA的大数据输出方法及系统。
背景技术
目前内容过滤技术可分为精确的字符匹配技术和支持模糊匹配的正则表达式匹配技术，在大量规则模式时，基于自动机的多模式匹配算法通过一次遍历，即可完成模式集中所有模式串的匹配工作，效率较高。基于自动机的多模式匹配技术可以在通用计算机CPU、网络专用处理器NPU、ASIC器件或FPGA器件上实现。
然而，由于CPU和NPU硬件架构的局限性，通常情况下实现多模式匹配的内容过滤性能一般无法达到10Gbps的数据带宽，因此，采用硬件加速模块来对多模式匹配技术进行硬件加速。目前多模式匹配的硬件加速技术主要有基于CAM结构的加速技术、基于TCAM器件的加速技术、由于CAM预译码的设计复杂度很高，且每次更改模式集均需要进行大量复杂的重新设计工作，维护性较差；高性能TCAM器件难以国产自主可控，进口器件具有存在后门漏洞的安全隐患，且功耗大，价格昂贵等缺点；而采用国产FPGA基于AC自动机方式实现内容过滤，在大量规则集且模式变更频繁环境下，由于步长字符树构造逻辑复杂且变更频繁，不利于FPGA进行实现。
发明内容
针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于CPU+FPGA的大数据输出方法及系统，旨在解决如何实现大量规则集且模式变更频繁环境下的高速内容过滤传输的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于CPU+FPGA的大数据输出方法，该方法包括：
利用CPU构建状态转移树、状态转移表和Bloom－Filter数据结构，具体地，
利用模式串样本集合构建状态转移树，利用状态转移树进行模式串样本的模式识别；
遍历模式串样本，提取模式串样本的当前状态、当前输入、下一状态、规则号等模式转换信息以构建状态转移表；
构造与模式串样本一一对应的Bloom－Filter数据结构，利用Bloom－Filter数据结构将模式串样本对应的状态转移表的地址进行压缩，将多位宽的状态转移表地址压缩至Bloom－Filter的比特向量；
CPU将Bloom－Filter的比特向量输出给FPGA；
利用FPGA接收Bloom－Filter的比特向量并进行缓存，利用FPGA构建模式识别模块、报文分发模块、与多个模式串样本一一对应的多个AC自动机和状态转移表管理模块，具体地，
模式识别模块接收待编辑的业务数据流，依据接收时序依次对数据串进行模式识别，并将模式识别结果输出给报文分发模块；
报文分发模块依据模式识别结果和接收时序将数据串发送给对应的AC自动机；
状态转移表管理模块调用并解析缓存的Bloom－Filter的比特向量数据，以实现对多个AC自动机的设置，使得多个AC自动机依据对应的状态转移表的设置并行处理接收的数据串；FPGA依据待编辑的业务数据流的接收时序有序输出AC自动机处理后的业务数据流。
作为本发明的进一步改进，业务数据流为依据时序发送的多个数据串集合，数据串按照一定的模式编辑得到。
作为本发明的进一步改进，模式识别模块基于预设的数据协议和帧格式进行数据串帧头的初步判断，将符合用户设置的数据串以数据流的形式送入报文分发模块，将不符合的数据进行报警输出提示。
作为本发明的进一步改进，AC自动机依据状态转移表的设置对接收的数据串依次进行模式转换和数据压缩，以实现数据的并行处理和AC-TRIE状态跳转。
作为本发明的进一步改进，AC自动机先通过Bloom－Filter数据结构将数据串进行运算，AC自动机的Bloom－Filter数据结构与CPU设置的Bloom－Filter数据结构一致，以得到代表状态转移表索引地址的位置向量，通过状态转移表管理模块索引位置向量，读取SRAM中对应的地址的数据以进行数据比较，并根据数据中下一个状态的指示信号控制AC自动机的Bloom－Filter完成状态跳转。
为实现上述目的，按照本发明的另一个方面，提供了一种基于CPU+FPGA的大数据输出系统，CPU包括状态转移树模块、状态转移表模块、Bloom－Filter数据结构模块和第一输出模块，FPGA包括模式识别模块、报文分发模块、与多个模式串样本一一对应的多个AC自动机、状态转移表管理模块、缓存模块和第二输出模块，第一输出模块与缓存模块连接，
状态转移树模块用于利用模式串样本集合构建状态转移树，利用状态转移树进行模式串样本的模式识别；
状态转移表模块用于遍历模式串样本，提取模式串样本的当前状态、当前输入、下一状态、规则号等模式转换信息以构建状态转移表；
Bloom－Filter数据结构模块用于构造与模式串样本一一对应的Bloom－Filter数据结构，利用Bloom－Filter数据结构将模式串样本对应的状态转移表的地址进行压缩，将多位宽的状态转移表地址压缩至Bloom－Filter的比特向量；
第一输出模块用于将Bloom－Filter的比特向量输出给缓存模块；
模式识别模块用于接收待编辑的业务数据流，依据接收时序依次对数据串进行模式识别，并将模式识别结果输出给报文分发模块；
报文分发模块用于依据模式识别结果和接收时序将数据串发送给对应的AC自动机；
状态转移表管理模块用于调用并解析缓存的Bloom－Filter的比特向量数据，以实现对多个AC自动机的设置，使得多个AC自动机依据对应的状态转移表的设置并行处理接收的数据串；
第二输出模块用于依据待编辑的业务数据流的接收时序有序输出AC自动机处理后的业务数据流。
作为本发明的进一步改进，业务数据流为依据时序发送的多个数据串集合，所述数据串按照一定的模式编辑得到。
作为本发明的进一步改进，模式识别模块基于预设的数据协议和帧格式进行数据串帧头的初步判断，将符合用户设置的数据串以数据流的形式送入报文分发模块，将不符合的数据进行报警输出提示。
作为本发明的进一步改进，AC自动机依据状态转移表的设置对接收的数据串依次进行模式转换和数据压缩，以实现数据的并行处理和AC-TRIE状态跳转。
作为本发明的进一步改进，AC自动机先通过Bloom－Filter数据结构将数据串进行运算，AC自动机的Bloom－Filter数据结构与CPU设置的Bloom－Filter数据结构一致，以得到代表状态转移表索引地址的位置向量，通过状态转移表管理模块索引位置向量，读取SRAM中对应的地址的数据以进行数据比较，并根据数据中下一个状态的指示信号控制AC自动机的Bloom－Filter完成状态跳转。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本发明提供的一种基于CPU+FPGA的大数据输出方法及系统，其基于CPU实现步长字符树构建，综合利用CPU的复杂业务逻辑处理能力对步长书进行构造，以支持数据串规模频繁变更，利用FPGA实现多步导航并行AC自动机内容过滤，利用FPGA的并发和快速处理能力对内容进行高速过滤，便于实现大量规则集且模式变更频繁环境下的高速内容过滤。
附图说明
图1是本发明实施例提供的一种确定加速寿命试验中加速因子的方法的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明相关术语解释如下：
Bloom－Filter：一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合(false positive)。
一种基于CPU+FPGA的大数据输出方法，其包括如下步骤：
利用CPU构建状态转移树、状态转移表和Bloom－Filter数据结构，具体地，利用模式串样本集合构建状态转移树，利用状态转移树进行模式串样本的模式识别；遍历模式串样本，提取模式串样本的当前状态、当前输入、下一状态、规则号等模式转换信息以构建状态转移表，利用待处理数据对应的模式和状态转移表进行待处理数据的模式转换；构造与模式串样本一一对应的Bloom－Filter数据结构，利用Bloom－Filter数据结构将模式串样本对应的状态转移表的地址进行压缩，将多位宽的状态转移表地址压缩至Bloom－Filter的比特向量；CPU将Bloom－Filter的比特向量发送给FPGA；
利用FPGA接收Bloom－Filter的比特向量并进行缓存，利用FPGA构建模式识别模块、报文分发模块、与多个模式串样本一一对应的多个AC自动机和状态转移表管理模块；
状态转移表管理模块调用并解析缓存的Bloom－Filter的比特向量数据，以实现对多个AC自动机的设置；
模式识别模块接收待编辑的业务数据流，该业务数据流为依据时序发送的多个数据串集合，每个数据串按照一定的模式编辑得到；模式识别模块依据接收时序依次对数据串进行模式识别，并将模式识别结果发送给报文分发模块；优选的，模式识别模块，其基于用户设置将需要进行内容过滤或透传的数据协议和帧格式完成帧头的初步判断，将符合用户设置的数据以数据流的形式送入报文分发模块，将不符合的数据进行报警输出提示；
报文分发模块依据模式识别结果将数据串发送给对应的AC自动机；具体地，将对于用户透传的数据不经AC自动机进行直接透传，对于需进行内容过滤和协议识别的数据发送至AC自动机，在进行报文分发时按照数据时钟并行分发偏差一个字节依次输入数据到各AC自动机中；
多个AC自动机并行处理数据串，即依据状态转移表的设置对接收的数据串依次进行模式转换和数据压缩，以实现数据的并行处理和AC-TRIE状态跳转任务；优选的，AC自动机的数量为8个，Bloom－Filter数据结构具有8组，分别对应多步长AC自动机1、2…、8；当有8个字节数据送入到AC自动机1时，数据先通过Bloom－Filter数据结构进行运算，Bloom－Filter数据结构与AC-TRIE构造模块中的Bloom－Filter数据结构一致，从而能够得到代表状态转移表索引地址的位置向量，数据对比与状态转移引擎将位置向量发送至状态转移管理表，状态转移管理表读取SRAM中对应的地址的数据反馈给数据对比与状态转移引擎进行数据比较，并根据数据中下一个状态的指示信号控制Bloom－Filter完成状态跳转；根据片上ram中数据标志判断该索引地址是否为有效状态转移的索引地址，若为有效索引地址，则状态转移表管理模块读取各个QDRII-SRAM中的对应地址的数据，根据数据中下一个状态的指示信号，完成AC-TRIE的状态跳转。
依据发送时序有序输出AC自动机处理后的业务数据流，具体地，串行数据经过多个AC自动机并行处理后存在乱序的问题，对多个AC自动机的输出数据进行缓存后，排序进行按序输出。采用流水的思想将多步长AC自动机(多个AC自动机的组合)中顺序运行的各个模块进行流水设计，保证所有模块一旦空闲开始运行，而非等待一次匹配过程完成后再开始运行，从而提高了多步长AC自动机的匹配速率。
图1是本发明实施例提供的一种基于CPU+FPGA的大数据输出系统的示意图。如图1所示一种基于CPU+FPGA的大数据输出系统，CPU包括状态转移树模块、状态转移表模块、Bloom－Filter数据结构模块和第一输出模块，FPGA包括模式识别模块、报文分发模块、与多个模式串样本一一对应的多个AC自动机、状态转移表管理模块、缓存模块和第二输出模块，第一输出模块与缓存模块连接，
状态转移树模块用于利用模式串样本集合构建状态转移树，利用状态转移树进行模式串样本的模式识别；
状态转移表模块用于遍历模式串样本，提取模式串样本的当前状态、当前输入、下一状态、规则号等模式转换信息以构建状态转移表；
Bloom－Filter数据结构模块用于构造与模式串样本一一对应的Bloom－Filter数据结构，利用Bloom－Filter数据结构将模式串样本对应的状态转移表的地址进行压缩，将多位宽的状态转移表地址压缩至Bloom－Filter的比特向量；
第一输出模块用于将Bloom－Filter的比特向量输出给缓存模块；
模式识别模块用于接收待编辑的业务数据流，依据接收时序依次对数据串进行模式识别，并将模式识别结果输出给报文分发模块；
报文分发模块用于依据模式识别结果和接收时序将数据串发送给对应的AC自动机；
状态转移表管理模块用于调用并解析缓存的Bloom－Filter的比特向量数据，以实现对多个AC自动机的设置，使得多个AC自动机依据对应的状态转移表的设置并行处理接收的数据串；
第二输出模块用于依据待编辑的业务数据流的接收时序有序输出AC自动机处理后的业务数据流。该系统的实现原理、技术效果与上述方法类似，此处不再赘述。
本实施例还提供了一种电子设备，其包括至少一个处理器、以及至少一个存储器，其中，存储器中存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行实施例中的基于CPU+FPGA的大数据输出方法的步骤，具体步骤参见实施例，此处不再赘述；本实施例中，处理器和存储器的类型不作具体限制，例如：处理器可以是微处理器、数字信息处理器、片上可编程逻辑系统等；存储器可以是易失性存储器、非易失性存储器或者它们的组合等。
该电子设备也可以与一个或多个外部设备(如键盘、指向终端、显示器等)通信，还可与一个或者多个使得用户能与该电子设备交互的终端通信，和/或与使得该电子设备能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。
本实施例还提供了一种计算机可读介质，其存储有可由电子设备执行的计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行实施例中的基于CPU+FPGA的大数据输出方法的步骤。计算机可读介质的类型包括但不限于SD卡、U盘、固定硬盘、移动硬盘等存储介质。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于CPU+FPGA的大数据输出方法，其特征在于，该方法包括：
利用CPU构建状态转移树、状态转移表和Bloom－Filter数据结构，具体地，
利用模式串样本集合构建状态转移树，利用状态转移树进行模式串样本的模式识别；
遍历模式串样本，提取模式串样本的当前状态、当前输入、下一状态、规则号等模式转换信息以构建状态转移表；
构造与模式串样本一一对应的Bloom－Filter数据结构，利用Bloom－Filter数据结构将模式串样本对应的状态转移表的地址进行压缩，将多位宽的状态转移表地址压缩至Bloom－Filter的比特向量；
CPU将Bloom－Filter的比特向量输出给FPGA；
利用FPGA接收Bloom－Filter的比特向量并进行缓存，利用FPGA构建模式识别模块、报文分发模块、与多个模式串样本一一对应的多个AC自动机和状态转移表管理模块，具体地，
模式识别模块接收待编辑的业务数据流，依据接收时序依次对数据串进行模式识别，并将模式识别结果输出给报文分发模块；
报文分发模块依据模式识别结果和接收时序将数据串发送给对应的AC自动机；
状态转移表管理模块调用并解析缓存的Bloom－Filter的比特向量数据，以实现对多个AC自动机的设置，使得多个AC自动机依据对应的状态转移表的设置并行处理接收的数据串；FPGA依据待编辑的业务数据流的接收时序有序输出AC自动机处理后的业务数据流。
2.如权利要求1所述的一种基于CPU+FPGA的大数据输出方法，其中，所述业务数据流为依据时序发送的多个数据串集合，所述数据串按照一定的模式编辑得到。
3.如权利要求1所述的一种基于CPU+FPGA的大数据输出方法，其中，模式识别模块基于预设的数据协议和帧格式进行数据串帧头的初步判断，将符合用户设置的数据串以数据流的形式送入报文分发模块，将不符合的数据进行报警输出提示。
4.如权利要求1所述的一种基于CPU+FPGA的大数据输出方法，其中，AC自动机依据状态转移表的设置对接收的数据串依次进行模式转换和数据压缩，以实现数据的并行处理和AC-TRIE状态跳转。
5.如权利要求4所述的一种基于CPU+FPGA的大数据输出方法，其中，AC自动机先通过Bloom－Filter数据结构将数据串进行运算，AC自动机的Bloom－Filter数据结构与CPU设置的Bloom－Filter数据结构一致，以得到代表状态转移表索引地址的位置向量，通过状态转移表管理模块索引位置向量，读取SRAM中对应的地址的数据以进行数据比较，并根据数据中下一个状态的指示信号控制AC自动机的Bloom－Filter完成状态跳转。
6.一种基于CPU+FPGA的大数据输出系统，其特征在于，CPU包括状态转移树模块、状态转移表模块、Bloom－Filter数据结构模块和第一输出模块，FPGA包括模式识别模块、报文分发模块、与多个模式串样本一一对应的多个AC自动机、状态转移表管理模块、缓存模块和第二输出模块，第一输出模块与缓存模块连接，
状态转移树模块用于利用模式串样本集合构建状态转移树，利用状态转移树进行模式串样本的模式识别；
状态转移表模块用于遍历模式串样本，提取模式串样本的当前状态、当前输入、下一状态、规则号等模式转换信息以构建状态转移表；
Bloom－Filter数据结构模块用于构造与模式串样本一一对应的Bloom－Filter数据结构，利用Bloom－Filter数据结构将模式串样本对应的状态转移表的地址进行压缩，将多位宽的状态转移表地址压缩至Bloom－Filter的比特向量；
第一输出模块用于将Bloom－Filter的比特向量输出给缓存模块；
模式识别模块用于接收待编辑的业务数据流，依据接收时序依次对数据串进行模式识别，并将模式识别结果输出给报文分发模块；
报文分发模块用于依据模式识别结果和接收时序将数据串发送给对应的AC自动机；
状态转移表管理模块用于调用并解析缓存的Bloom－Filter的比特向量数据，以实现对多个AC自动机的设置，使得多个AC自动机依据对应的状态转移表的设置并行处理接收的数据串；
第二输出模块用于依据待编辑的业务数据流的接收时序有序输出AC自动机处理后的业务数据流。
7.如权利要求6所述的一种基于CPU+FPGA的大数据输出系统，其中，所述业务数据流为依据时序发送的多个数据串集合，所述数据串按照一定的模式编辑得到。
8.如权利要求6所述的一种基于CPU+FPGA的大数据输出系统，其中，模式识别模块基于预设的数据协议和帧格式进行数据串帧头的初步判断，将符合用户设置的数据串以数据流的形式送入报文分发模块，将不符合的数据进行报警输出提示。
9.如权利要求6所述的一种基于CPU+FPGA的大数据输出系统，其中，AC自动机依据状态转移表的设置对接收的数据串依次进行模式转换和数据压缩，以实现数据的并行处理和AC-TRIE状态跳转。
10.如权利要求9所述的一种基于CPU+FPGA的大数据输出系统，其中，AC自动机先通过Bloom－Filter数据结构将数据串进行运算，AC自动机的Bloom－Filter数据结构与CPU设置的Bloom－Filter数据结构一致，以得到代表状态转移表索引地址的位置向量，通过状态转移表管理模块索引位置向量，读取SRAM中对应的地址的数据以进行数据比较，并根据数据中下一个状态的指示信号控制AC自动机的Bloom－Filter完成状态跳转。
CN202011552004.2A 2020-12-24 2020-12-24 一种基于cpu+fpga的大数据输出方法及系统 Active CN112559812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011552004.2A CN112559812B (zh) 2020-12-24 2020-12-24 一种基于cpu+fpga的大数据输出方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011552004.2A CN112559812B (zh) 2020-12-24 2020-12-24 一种基于cpu+fpga的大数据输出方法及系统

Publications (2)

Publication Number Publication Date
CN112559812A CN112559812A (zh) 2021-03-26
CN112559812B true CN112559812B (zh) 2022-03-08

Family

ID=75033617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011552004.2A Active CN112559812B (zh) 2020-12-24 2020-12-24 一种基于cpu+fpga的大数据输出方法及系统

Country Status (1)

Country Link
CN (1) CN112559812B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425746A (zh) * 2013-07-18 2013-12-04 大连理工大学 基于fpga的实时金融指数行情并行计算方法
CN106776456A (zh) * 2017-01-18 2017-05-31 中国人民解放军国防科学技术大学 基于fpga+npu的高速正则表达式匹配混合系统及方法
CN110674364A (zh) * 2019-08-30 2020-01-10 北京浩瀚深度信息技术股份有限公司 一种利用fpga实现的滑动字符串匹配的方法
CN110865970A (zh) * 2019-10-08 2020-03-06 西安交通大学 一种基于fpga平台的压缩流量模式匹配引擎及模式匹配方法
CN111382327A (zh) * 2020-05-29 2020-07-07 湖南戎腾网络科技有限公司 一种字符串匹配装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425746A (zh) * 2013-07-18 2013-12-04 大连理工大学 基于fpga的实时金融指数行情并行计算方法
CN106776456A (zh) * 2017-01-18 2017-05-31 中国人民解放军国防科学技术大学 基于fpga+npu的高速正则表达式匹配混合系统及方法
CN110674364A (zh) * 2019-08-30 2020-01-10 北京浩瀚深度信息技术股份有限公司 一种利用fpga实现的滑动字符串匹配的方法
CN110865970A (zh) * 2019-10-08 2020-03-06 西安交通大学 一种基于fpga平台的压缩流量模式匹配引擎及模式匹配方法
CN111382327A (zh) * 2020-05-29 2020-07-07 湖南戎腾网络科技有限公司 一种字符串匹配装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Decision Mechanism of Password Recovery Based on Bloom Filter in;Quanquan Xie;《2nd Workshop on Advanced Research and Technology in Industry Applications》;20160131;全文 *
FPGA-Enhanced Data Processing System Using;LI Gezi;《Chinese Journal of Electronics》;20200731;全文 *

Also Published As

Publication number Publication date
CN112559812A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
US10902013B2 (en) Method and apparatus for accelerated record layout detection
US10133802B2 (en) Method and apparatus for accelerated record layout detection
CN107123047B (zh) 基于债券交易的数据采集系统及其数据采集方法
CN110287247B (zh) 基于银联系统的数据存储方法、装置、设备及存储介质
CN101853301A (zh) 正则表达式匹配的方法和系统
CN105573711B (zh) 一种数据缓存方法及装置
CN109753517A (zh) 一种信息查询的方法、装置、计算机存储介质及终端
CN106664100A (zh) 用于进行有效的基于lz77的数据解压缩的技术
US20230056760A1 (en) Method and apparatus for processing graph data, device, storage medium, and program product
CN116737482A (zh) 一种芯片测试数据的实时收集方法、装置及电子设备
CN101866277A (zh) 数据排序方法和装置
CN112559812B (zh) 一种基于cpu+fpga的大数据输出方法及系统
CN116755637B (zh) 交易数据存储方法、装置、设备及介质
CN107871055A (zh) 一种数据分析方法和装置
CN113282854A (zh) 数据请求响应方法、装置、电子设备及存储介质
CN112052248A (zh) 一种审计大数据处理方法及系统
CN112596851A (zh) 仿真平台的多源异构数据批量抽取方法和分析方法
CN116775575A (zh) 一种文件合并方法、装置、电子设备及存储介质
CN108694041A (zh) 数据转换方法、装置及服务终端
CN116243869A (zh) 数据处理方法、装置及电子设备
CN115632866A (zh) 基于fpga实现的报文脱敏方法、装置、设备及介质
CN109241058A (zh) 一种向b+树批量插入键值对的方法和装置
CN112187935B (zh) 信息识别方法与只读内存
WO2018136371A1 (en) Compressed encoding for bit sequence
CN110032523B (zh) 柴油机装配试验基于地址位动态定义的寄存器存储方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant