CN110737678B - 一种数据查找方法、装置、设备和存储介质 - Google Patents

一种数据查找方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN110737678B
CN110737678B CN201911013637.3A CN201911013637A CN110737678B CN 110737678 B CN110737678 B CN 110737678B CN 201911013637 A CN201911013637 A CN 201911013637A CN 110737678 B CN110737678 B CN 110737678B
Authority
CN
China
Prior art keywords
data packet
keyword
module
filtering
split
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911013637.3A
Other languages
English (en)
Other versions
CN110737678A (zh
Inventor
李俊华
谢永恒
周汉川
余勇
孙辛
暴宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruian Technology Co Ltd
Original Assignee
Beijing Ruian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruian Technology Co Ltd filed Critical Beijing Ruian Technology Co Ltd
Priority to CN201911013637.3A priority Critical patent/CN110737678B/zh
Publication of CN110737678A publication Critical patent/CN110737678A/zh
Application granted granted Critical
Publication of CN110737678B publication Critical patent/CN110737678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了一种数据查找方法、装置、设备和存储介质，其中该方法包括：获取原始数据包；通过可编程逻辑器中的预处理装置对原始数据包进行第一关键字的预过滤，得到目标数据包，其中预处理装置包括哈希运算模块、数据包拆分模块、随机存储器和过滤剔除模块；对目标数据包进行第二关键字的查找，第一关键字与第二关键字组成目标关键字。本发明实施例的技术方案，通过在可编程逻辑器中增加一个预处理装置，可以利用可编程逻辑器的现有资源，实现目标关键字中一部分关键字的预处理，减轻后续查询工作量，当原有查找带宽增大时，不需要升级硬件设备，可以在节约成本的基础上提高数据查找的效率。

Description

一种数据查找方法、装置、设备和存储介质
技术领域
本发明实施例涉及数字通信技术领域，尤其涉及一种数据查找方法、装置、设备和存储介质。
背景技术
随着互联网行业的迅速发展，基于各行各业的数据分析需求越来越多，对于解析系统的指标要求也越来越高，而这类系统的核心功能之一是关键字查找。
现有技术中，对于关键字查找的查询功能模块，一般的系统架构是由固定功能芯片(Application Specific Integrated Circuit，ASIC)和外部查询设备组成，一旦系统升级，例如超过查询功能模块的带宽流量，就需要更换ASIC或外部查询设备，并且更改硬件设计，即查询带宽越大，使用的查询设备成本越高。这种方案不仅不适合系统升级和维护，而且关键字查找的效率也不能满足需求。
发明内容
本发明实施例提供一种数据查找方法、装置、设备和存储介质，可以在降低成本的基础上提高数据查找的效率。
第一方面，本发明实施例提供了一种数据查找方法，包括：
获取原始数据包；
通过可编程逻辑器中的预处理装置对所述原始数据包进行第一关键字的预过滤，得到目标数据包，其中所述预处理装置包括哈希运算模块、数据包拆分模块、随机存储器和过滤剔除模块；
对所述目标数据包进行第二关键字的查找，所述第一关键字与所述第二关键字组成目标关键字。
第二方面，本发明实施例还提供了一种数据查找装置，包括：
数据获取模块，用于获取原始数据包；
预过滤模块，用于通过可编程逻辑器中的预处理装置对所述原始数据包进行第一关键字的预过滤，得到目标数据包，其中所述预处理装置包括哈希运算模块、数据包拆分模块、随机存储器和过滤剔除模块；
查找模块，用于对所述目标数据包进行第二关键字的查找，所述第一关键字与所述第二关键字组成目标关键字。
进一步的，所述装置还包括：
配置模块，用于在所述获取原始数据包之前，对所述预处理装置进行所述第一关键字的位宽和内容的配置，所述第一关键字的位宽小于或等于所述可编程逻辑器的当前位宽。
进一步的，所述配置模块具体用于：
对所述预处理装置进行所述第一关键字的位宽和内容的配置之后，通过所述哈希运算模块对所述第一关键字进行迭代计算，确定所述随机存储器中的第一写入地址，并将所述第一关键字写入所述第一写入地址。
进一步的，所述预过滤模块包括：
拆分单元，用于根据所述第一关键字的位宽，通过所述数据包拆分模块逐一拆分所述原始数据包中的每个数据包，得到拆分数据包，所述拆分数据包的数量为至少两个，所述原始数据包中包括至少一个数据包；
地址单元，用于通过所述哈希运算模块对各所述拆分数据包进行迭代计算，得到对应的第二写入地址；
写入结果单元，用于根据所述第一关键字在各所述拆分数据包中的匹配结果，确定各所述拆分数据包在对应的所述第二写入地址的写入结果；
过滤单元，用于根据各所述拆分数据包的写入结果，通过所述过滤剔除模块对各所述原始数据包进行过滤，得到所述目标数据包。
进一步的，所述写入结果单元具体用于：
若所述拆分数据包的数据与所述第一关键字的内容相同，则确定写入结果为已写入，否则确定所述写入结果为未写入。
进一步的，所述过滤单元具体用于：
通过所述过滤剔除模块，将所述原始数据包中各所述拆分数据包的写入结果均为未写入的数据包丢弃，得到所述目标数据包。
进一步的，所述随机存储器为双口随机存储器。
第三方面，本发明实施例还提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的数据查找方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的数据查找方法。
本发明实施例通过获取原始数据包，通过预处理装置对原始数据包进行第一关键字的预过滤，得到目标数据包，其中预处理装置包括哈希运算模块、数据包拆分模块、随机存储器和过滤剔除模块，对目标数据包进行第二关键字的查找，第一关键字与第二关键字组成目标关键字。本发明实施例的技术方案，通过在可编程逻辑器中增加一个预处理装置，可以利用可编程逻辑器的现有资源，实现目标关键字中一部分关键字的预处理，减轻后续查询工作量，当原有查找带宽增大时，不需要升级硬件设备，可以在节约成本的基础上提高数据查找的效率。
附图说明
图1为本发明实施例一中提供的一种数据查找方法的流程图；
图2为本发明实施例一中提供的一种预处理装置的结构示意图；
图3为本发明实施例一中提供的一种数据包时序图；
图4为本发明实施例二中提供的一种数据查找方法的流程图；
图5为本发明实施例三中提供的一种数据查找装置的结构示意图；
图6为本发明实施例四中提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中提供的一种数据查找方法的流程图，本实施例可适用于通过可编程逻辑器进行数据查找的情况，该方法可以由数据查找装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于可编程逻辑器中或设备中，可以控制可编程逻辑器实现本实施例中的数据查找方法，例如该设备可以为手机、电脑或平板电脑等。
图2为本发明实施例一中提供的一种预处理装置的结构示意图，本实施例中的预处理装置可以设置于可编程逻辑器中。如图2所示，该预处理装置可以包括哈希运算模块101、数据包拆分模块102、随机存储器103和过滤剔除模块103，其中哈希运算模块101的数量为至少一个，图中仅标注了一个，具体数量可以根据实际情况进行设定。图2中箭头为数据流走向，通过该预处理装置可以接收数据包，进行目标关键字中一部分关键字的预过滤，并将预过滤之后的数据包输出给外部查询设备进行目标关键字中另外一部分关键字的查询。
如图1所示，该方法具体可以包括：
S110、获取原始数据包。
其中，原始数据包为等待进行目标关键字查询的数据包，本实施例中的对原始数据包中包括的数据包的数量和类型不作限定。图3为本发明实施例一中提供的一种数据包时序图，图中为原始数据包的输入格式的示意图，原始数据包按照图中所示的格式输入可编程逻辑器中。
具体的，通过可编程逻辑器中的数据传输接口可以获取需要进行目标关键字查询的原始数据包，其中目标关键字为用户需要查询的数据，目标关键字的数据类型和位宽可以根据实际情况进行设定，例如目标关键字可以为特征码。
S120、通过可编程逻辑器中的预处理装置对原始数据包进行第一关键字的预过滤，得到目标数据包，其中预处理装置包括哈希运算模块、数据包拆分模块、随机存储器和过滤剔除模块。
其中，预处理装置为用于实现对原始数据包进行预处理的新增装置，该预处理装置可以配置于可编程逻辑器中。预处理装置可以包括哈希(Hash)运算模块、数据包拆分模块、随机存储器(Random Access Memory，RAM)和过滤剔除模块，其中哈希运算模块的数量可以为多个。哈希运算模块用于通过对关键字进行迭代计算，使得不同位宽的关键字可以最终迭代成固定宽度的存储地址。数据包拆分模块用于进行数据包的拆分。随机存储器用于存储数据，本实施例中的随机存储器可以为双口随机存储器。过滤剔除模块用于对原始数据包中包括的数据包进行保留或丢弃处理。
第一关键字为目标关键字中的一部分，具体位宽不限，可以根据可编辑逻辑器的当前资源(即内存)进行设置。位宽是指内存或显存中一次能传输的数据量。
具体的，通过可编程逻辑器中的预处理装置对原始数据包进行第一关键字的预过滤，得到目标数据包，可以包括：根据第一关键字的位宽，通过数据包拆分模块逐一拆分原始数据包中的每个数据包，得到拆分数据包，拆分数据包的数量为至少两个，原始数据包中包括至少一个数据包；通过哈希运算模块对各拆分数据包进行迭代计算，得到对应的第二写入地址；根据第一关键字在各拆分数据包中的匹配结果，确定各拆分数据包在对应的第二写入地址的写入结果；根据各拆分数据包的写入结果，通过过滤剔除模块对各原始数据包进行过滤，得到目标数据包。
其中，第一关键字的位宽为预先通过配置寄存器进行配置的。参见图2，原始数据包中每个数据包逐一输入数据包拆分模块之后，可以将该数据包拆分为多个拆分数据包，每个拆分数据包的位宽与第一关键字的位宽均相同。将各个拆分数据包通过对应的哈希运算模块进行迭代计算，可以得到对应的在随机存储器中的第二写入地址。将第一关键字的内容在与各拆分数据包中的数据进行匹配，根据匹配结果确定各拆分数据包在对应的第二写入地址是否写入，即确定写入结果。将各拆分数据包的写入结果发送给过滤剔除模块，通过该过滤剔除模块根据写入结果对原始数据包进行过滤，得到目标数据包。
进一步的，根据第一关键字在各拆分数据包中的匹配结果，确定各拆分数据包在对应的第二写入地址的写入结果，可以包括：若拆分数据包的数据与第一关键字的内容相同，则确定写入结果为已写入，否则确定写入结果为未写入。具体的，逐一将第一关键字的内容与各拆分数据包的数据进行比对，若相同，则匹配成功，写入结果为已写入，若不同，则匹配失败，写入结果为未写入。该写入结果还可以通过结果标识进行表示，具体结果标识的类型可以根据实际情况进行设定，例如参见图2，结果标识可以通过数字进行设置，写入结果为已写入时，结果标识为1，写入结果为未写入时，结果标识为0。各拆分数据包中只要有一个写入结果为已写入，则原始数据包中包括第一关键字。
进一步的，根据各拆分数据包的写入结果，通过过滤剔除模块对原始数据包进行过滤，得到目标数据包，包括：通过过滤剔除模块，将原始数据包中各拆分数据包的写入结果均为未写入的数据包丢弃，得到目标数据包。具体的，将各拆分数据包的写入结果输入过滤剔除模块之后，若各拆分数据包的写入结果均为未写入，则说明各拆分数据包对应的数据包中不包括第一关键字，通过过滤剔除模块将原始数据包中该数据包丢弃；若至少一个拆分数据包的写入结果为已写入，则保留原始数据包中的该数据包。由于原始数据包中可以包括多个数据包，将原始数据包中过滤之后保留下来的数据包的集合确定为目标数据包。目标数据包中数据包的数量可以为零，也可以为至少一个。
S130、对目标数据包进行第二关键字的查找，第一关键字与第二关键字组成目标关键字。
其中，第二关键字也为目标关键字的一部分，第一关键字和第二关键字可以组成目标关键字。
具体的，通过可编程逻辑器中的预处理装置对原始数据包进行第一关键字的预过滤，得到目标数据包之后，可以将该目标数据包发送至下游的外部查询设备进行第二关键字的查找。其中本实施例中对外部查询设备不作限定，例如外部查询设备可以为三态内容寻址存储器(Ternary Content Addressable Memory，TCAM)。由于可编程器件的资源有限，第一关键字的位宽可以根据剩余的逻辑资源和成本预算进行设置。
示例性的，若目标关键字为8字节数据“abcd12345678……”，第一关键字可以设置为“abcd”，通过上述预处理装置进行预过滤之后，得到的目标数据包中包括第一关键字“abcd”，之后再通过外部查询设备进行第二关键字“12345678……”的查询。
输入的原始数据包带宽已经对外设查询设备的冲击达到极限时，新增图2所示的预处理装置，可以使得输入的原始数据包的带宽大于外设查询设备查找带宽的极限值，不更改任何原有系统的情况下，提高了查询带宽。
本实施例的技术方案，通过获取原始数据包，通过预处理装置对原始数据包进行第一关键字的预过滤，得到目标数据包，其中预处理装置包括哈希运算模块、数据包拆分模块、随机存储器和过滤剔除模块，对目标数据包进行第二关键字的查找，第一关键字与第二关键字组成目标关键字。本发明实施例的技术方案，通过在可编程逻辑器中增加一个预处理装置，可以利用可编程逻辑器的现有资源，实现目标关键字中一部分关键字的预处理，减轻后续查询工作量，当原有查找带宽增大时，不需要升级硬件设备，可以在节约成本的基础上提高数据查找的效率。
实施例二
图4为本发明实施例二中提供的一种数据查找方法的流程图。本实施例在上述实施例的基础上，进一步优化了上述数据查找方法。相应的，本实施例的方法具体包括：
S210、对预处理装置进行第一关键字的位宽和内容的配置。
具体的，通过连接可编程逻辑器件的外部控制接口，可以对预处理装置配置第一关键字的位宽和内容，第一关键字的位宽小于或等于可编程逻辑器的当前位宽。通过外部控制接口，可以对预处理装置进行寄存器配置，从而可以设置第一关键字的位宽，如设置为2BYTE或4BYTE浮动关键字；并且，也可以对预处理装置的初始化配置模块进行刷新配置，从而可以设置第一关键字的内容，如将原有的关键字“0xAAAA”变更为“0xBBBB”，“0xBBBB”为第一关键字的内容。
S220、通过哈希运算模块对第一关键字进行迭代计算，确定随机存储器中的第一写入地址，并将第一关键字写入第一写入地址。
具体的，将第一关键字写入随机存储器的第一写入地址中，以备后续进行第一关键字的预过滤。
S230、获取原始数据包。
S240、通过可编程逻辑器中的预处理装置对原始数据包进行第一关键字的预过滤，得到目标数据包。
其中预处理装置可以包括哈希运算模块、数据包拆分模块、随机存储器和过滤剔除模块。
具体的，通过可编程逻辑器中的预处理装置对原始数据包进行第一关键字的预过滤，得到目标数据包，可以包括：根据第一关键字的位宽，通过数据包拆分模块逐一拆分原始数据包中的每个数据包，得到拆分数据包，拆分数据包的数量为至少两个，原始数据包中包括至少一个数据包；通过哈希运算模块对各拆分数据包进行迭代计算，得到对应的第二写入地址；根据第一关键字在各拆分数据包中的匹配结果，确定各拆分数据包在对应的第二写入地址的写入结果；根据各拆分数据包的写入结果，通过过滤剔除模块对各原始数据包进行过滤，得到目标数据包。
进一步的，根据第一关键字在各拆分数据包中的匹配结果，确定各拆分数据包在对应的第二写入地址的写入结果，可以包括：若拆分数据包的数据与第一关键字的内容相同，则确定写入结果为已写入，否则确定写入结果为未写入。
进一步的，根据各拆分数据包的写入结果，通过过滤剔除模块对原始数据包进行过滤，得到目标数据包，包括：通过过滤剔除模块，将原始数据包中各拆分数据包的写入结果均为未写入的数据包丢弃，得到目标数据包。
S250、对目标数据包进行第二关键字的查找，第一关键字与第二关键字组成目标关键字。
具体的，通过可编程逻辑器中的预处理装置对原始数据包进行第一关键字的预过滤，得到目标数据包之后，可以将该目标数据包发送至下游的外部查询设备进行第二关键字的查找。
本发明实施例通过获取原始数据包，通过预处理装置对原始数据包进行第一关键字的预过滤，得到目标数据包，其中预处理装置包括哈希运算模块、数据包拆分模块、随机存储器和过滤剔除模块，对目标数据包进行第二关键字的查找，第一关键字与第二关键字组成目标关键字。本发明实施例的技术方案，通过在可编程逻辑器中增加一个预处理装置，可以利用可编程逻辑器的现有资源，实现目标关键字中一部分关键字的预处理，减轻后续查询工作量，当原有查找带宽增大时，不需要升级硬件设备，可以在节约成本的基础上提高数据查找的效率。
实施例三
图5为本发明实施例三中提供的一种数据查找装置的结构示意图，本实施例可适用于通过可编程逻辑器进行数据查找的情况。本发明实施例所提供的数据查找装置可执行本发明任意实施例所提供的数据查找方法，具备执行方法相应的功能模块和有益效果。
该装置具体包括数据获取模块310、预过滤模块320和查找模块330，其中：
数据获取模块310，用于获取原始数据包；
预过滤模块320，用于通过可编程逻辑器中的预处理装置对原始数据包进行第一关键字的预过滤，得到目标数据包，其中预处理装置包括哈希运算模块、数据包拆分模块、随机存储器和过滤剔除模块；
查找模块330，用于对目标数据包进行第二关键字的查找，第一关键字与第二关键字组成目标关键字。
本发明实施例通过获取原始数据包，通过预处理装置对原始数据包进行第一关键字的预过滤，得到目标数据包，其中预处理装置包括哈希运算模块、数据包拆分模块、随机存储器和过滤剔除模块，对目标数据包进行第二关键字的查找，第一关键字与第二关键字组成目标关键字。本发明实施例的技术方案，通过在可编程逻辑器中增加一个预处理装置，可以利用可编程逻辑器的现有资源，实现目标关键字中一部分关键字的预处理，减轻后续查询工作量，当原有查找带宽增大时，不需要升级硬件设备，可以在节约成本的基础上提高数据查找的效率。
进一步的，该装置还包括：
配置模块，用于在获取原始数据包之前，对预处理装置进行第一关键字的位宽和内容的配置，第一关键字的位宽小于或等于可编程逻辑器的当前位宽。
进一步的，配置模块具体用于：
对预处理装置进行第一关键字的位宽和内容的配置之后，通过哈希运算模块对第一关键字进行迭代计算，确定随机存储器中的第一写入地址，并将第一关键字写入第一写入地址。
进一步的，预过滤模块320包括：
拆分单元，用于根据第一关键字的位宽，通过数据包拆分模块逐一拆分原始数据包中的每个数据包，得到拆分数据包，拆分数据包的数量为至少两个，原始数据包中包括至少一个数据包；
地址单元，用于通过哈希运算模块对各拆分数据包进行迭代计算，得到对应的第二写入地址；
写入结果单元，用于根据第一关键字在各拆分数据包中的匹配结果，确定各拆分数据包在对应的第二写入地址的写入结果；
过滤单元，用于根据各拆分数据包的写入结果，通过过滤剔除模块对各原始数据包进行过滤，得到目标数据包。
进一步的，写入结果单元具体用于：
若拆分数据包的数据与第一关键字的内容相同，则确定写入结果为已写入，否则确定写入结果为未写入。
进一步的，过滤单元具体用于：
通过过滤剔除模块，将原始数据包中各拆分数据包的写入结果均为未写入的数据包丢弃，得到目标数据包。
进一步的，随机存储器为双口随机存储器。
本发明实施例所提供的数据查找装置可执行本发明任意实施例所提供的数据查找方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例四中提供的一种设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性设备412的框图。图6显示的设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，设备412以通用设备的形式表现。设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储装置428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
设备412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信，还可与一个或者多个使得用户能与该设备412交互的终端通信，和/或与使得该设备412能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器420通过总线418与设备412的其它模块通信。应当明白，尽管图中未示出，可以结合设备412使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的数据查找方法，该方法包括：
获取原始数据包；
通过可编程逻辑器中的预处理装置对原始数据包进行第一关键字的预过滤，得到目标数据包，其中预处理装置包括哈希运算模块、数据包拆分模块、随机存储器和过滤剔除模块；
对目标数据包进行第二关键字的查找，第一关键字与第二关键字组成目标关键字。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的数据查找方法，该方法包括：
获取原始数据包；
通过可编程逻辑器中的预处理装置对原始数据包进行第一关键字的预过滤，得到目标数据包，其中预处理装置包括哈希运算模块、数据包拆分模块、随机存储器和过滤剔除模块；
对目标数据包进行第二关键字的查找，第一关键字与第二关键字组成目标关键字。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (6)

1.一种数据查找方法，其特征在于，包括：
获取原始数据包；
通过可编程逻辑器中的预处理装置对所述原始数据包进行第一关键字的预过滤，得到目标数据包，其中所述预处理装置包括哈希运算模块、数据包拆分模块、随机存储器和过滤剔除模块；
对所述目标数据包进行第二关键字的查找，所述第一关键字与所述第二关键字组成目标关键字；
其中，在所述获取原始数据包之前，还包括：
对所述预处理装置进行所述第一关键字的位宽和内容的配置，所述第一关键字的位宽小于或等于所述可编程逻辑器的当前位宽；
其中，对所述预处理装置进行所述第一关键字的位宽和内容的配置之后，还包括：
通过所述哈希运算模块对所述第一关键字进行迭代计算，确定所述随机存储器中的第一写入地址，并将所述第一关键字写入所述第一写入地址；
其中，所述通过可编程逻辑器中的预处理装置对所述原始数据包进行第一关键字的预过滤，得到目标数据包，包括：
根据所述第一关键字的位宽，通过所述数据包拆分模块逐一拆分所述原始数据包中的每个数据包，得到拆分数据包，所述拆分数据包的数量为至少两个，所述原始数据包中包括至少一个数据包，每个所述拆分数据包的位宽与所述第一关键字的位宽均相同；
通过所述哈希运算模块对各所述拆分数据包进行迭代计算，得到对应的第二写入地址；
根据所述第一关键字在各所述拆分数据包中的匹配结果，确定各所述拆分数据包在对应的所述第二写入地址的写入结果；
根据各所述拆分数据包的写入结果，通过所述过滤剔除模块对各所述原始数据包进行过滤，得到所述目标数据包；
所述根据各所述拆分数据包的写入结果，通过所述过滤剔除模块对各所述原始数据包进行过滤，得到所述目标数据包，包括：
通过所述过滤剔除模块，将所述原始数据包中各所述拆分数据包的写入结果均为未写入的数据包丢弃，得到所述目标数据包。
2.根据权利要求1所述的方法，其特征在于，根据所述第一关键字在各所述拆分数据包中的匹配结果，确定各所述拆分数据包在对应的所述第二写入地址的写入结果，包括：
若所述拆分数据包的数据与所述第一关键字的内容相同，则确定写入结果为已写入，否则确定所述写入结果为未写入。
3.根据权利要求1-2中任一所述的方法，其特征在于，所述随机存储器为双口随机存储器。
4.一种数据查找装置，其特征在于，包括：
数据获取模块，用于获取原始数据包；
预过滤模块，用于通过可编程逻辑器中的预处理装置对所述原始数据包进行第一关键字的预过滤，得到目标数据包，其中所述预处理装置包括哈希运算模块、数据包拆分模块、随机存储器和过滤剔除模块；
查找模块，用于对所述目标数据包进行第二关键字的查找，所述第一关键字与所述第二关键字组成目标关键字；
其中，所述装置还包括：
配置模块，用于在所述获取原始数据包之前，对所述预处理装置进行所述第一关键字的位宽和内容的配置，所述第一关键字的位宽小于或等于所述可编程逻辑器的当前位宽；
其中，所述配置模块具体用于：
对所述预处理装置进行所述第一关键字的位宽和内容的配置之后，通过所述哈希运算模块对所述第一关键字进行迭代计算，确定所述随机存储器中的第一写入地址，并将所述第一关键字写入所述第一写入地址；
其中，所述预过滤模块包括：
拆分单元，用于根据所述第一关键字的位宽，通过所述数据包拆分模块逐一拆分所述原始数据包中的每个数据包，得到拆分数据包，所述拆分数据包的数量为至少两个，所述原始数据包中包括至少一个数据包，每个所述拆分数据包的位宽与所述第一关键字的位宽均相同；
地址单元，用于通过所述哈希运算模块对各所述拆分数据包进行迭代计算，得到对应的第二写入地址；
写入结果单元，用于根据所述第一关键字在各所述拆分数据包中的匹配结果，确定各所述拆分数据包在对应的所述第二写入地址的写入结果；
过滤单元，用于根据各所述拆分数据包的写入结果，通过所述过滤剔除模块对各所述原始数据包进行过滤，得到所述目标数据包；
所述过滤单元具体用于：通过所述过滤剔除模块，将所述原始数据包中各所述拆分数据包的写入结果均为未写入的数据包丢弃，得到所述目标数据包。
5.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一所述的数据查找方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的数据查找方法。
CN201911013637.3A 2019-10-23 2019-10-23 一种数据查找方法、装置、设备和存储介质 Active CN110737678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911013637.3A CN110737678B (zh) 2019-10-23 2019-10-23 一种数据查找方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911013637.3A CN110737678B (zh) 2019-10-23 2019-10-23 一种数据查找方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110737678A CN110737678A (zh) 2020-01-31
CN110737678B true CN110737678B (zh) 2023-08-04

Family

ID=69271053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911013637.3A Active CN110737678B (zh) 2019-10-23 2019-10-23 一种数据查找方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN110737678B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591888B (zh) * 2020-04-30 2024-09-06 上海禾赛科技有限公司 用于激光雷达的点云数据标注网络系统及标注方法
CN112380169A (zh) * 2020-11-20 2021-02-19 北京灵汐科技有限公司 存储装置、数据处理方法、装置、设备、介质和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102232219A (zh) * 2010-01-26 2011-11-02 华为技术有限公司 关键字存储、查找的方法及装置
CN104778197A (zh) * 2014-12-30 2015-07-15 北京锐安科技有限公司 一种数据查找方法及装置
CN107818151A (zh) * 2017-10-24 2018-03-20 湖南恒茂高科股份有限公司 数据查找方法、装置、计算机设备和存储介质
CN110020040A (zh) * 2017-08-17 2019-07-16 北京京东尚科信息技术有限公司 查询数据的方法、装置和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8180958B2 (en) * 2007-04-18 2012-05-15 Marvell Israel (Misl) Ltd. Key selection device and process for content-addressable memory
US8990192B2 (en) * 2012-12-14 2015-03-24 International Business Machines Corporation Search engine optimization using a find operation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102232219A (zh) * 2010-01-26 2011-11-02 华为技术有限公司 关键字存储、查找的方法及装置
CN104778197A (zh) * 2014-12-30 2015-07-15 北京锐安科技有限公司 一种数据查找方法及装置
CN110020040A (zh) * 2017-08-17 2019-07-16 北京京东尚科信息技术有限公司 查询数据的方法、装置和系统
CN107818151A (zh) * 2017-10-24 2018-03-20 湖南恒茂高科股份有限公司 数据查找方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN110737678A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN111090628B (zh) 一种数据处理方法、装置、存储介质及电子设备
CN109194736B (zh) 消息去重方法、装置、电子设备、介质和无人车
CN110737678B (zh) 一种数据查找方法、装置、设备和存储介质
CN111694866A (zh) 数据搜索及存储方法、数据搜索系统、装置、设备及介质
CN109376173A (zh) 一种数据查询方法、装置、电子设备及存储介质
CN111079408A (zh) 一种语种识别方法、装置、设备及存储介质
CN111737564A (zh) 一种信息查询方法、装置、设备及介质
CN113760839A (zh) 日志数据压缩处理方法、装置、电子设备和存储介质
CN109033456B (zh) 一种条件查询方法、装置、电子设备和存储介质
CN115495212A (zh) 任务队列处理方法、装置、设备、存储介质及程序产品
CN115408391A (zh) 一种数据库表变更方法、装置、设备和存储介质
CN113050987B (zh) 一种接口文档的生成方法、装置、存储介质及电子设备
CN113760242B (zh) 一种数据处理方法、装置、服务器和介质
CN112883088B (zh) 一种数据处理方法、装置、设备及存储介质
CN115242861B (zh) 一种rte层通信数据映射配置文件的生成方法及系统、计算机可读存储介质、电子设备
CN107992457B (zh) 一种信息转换方法、装置、终端设备及存储介质
CN112291212B (zh) 静态规则的管理方法、装置、电子设备和存储介质
CN110085237B (zh) 交互过程的恢复方法、装置及设备
CN114385891A (zh) 数据搜索方法、装置、电子设备及存储介质
CN113807056A (zh) 一种文档名称序号纠错方法、装置和设备
CN112364268A (zh) 资源获取方法、装置、电子设备及存储介质
CN111459819A (zh) 软件测试方法及装置、电子设备、计算机可读介质
CN113407375B (zh) 数据库删除数据的恢复方法、装置、设备和存储介质
EP4375823A1 (en) Object computing and storage system, data processing method, and client and storage medium
WO2022236973A1 (zh) 数据回填方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant