CN113656448A - 一种报文处理方法、装置、设备及可读存储介质 - Google Patents

一种报文处理方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN113656448A
CN113656448A CN202110910039.7A CN202110910039A CN113656448A CN 113656448 A CN113656448 A CN 113656448A CN 202110910039 A CN202110910039 A CN 202110910039A CN 113656448 A CN113656448 A CN 113656448A
Authority
CN
China
Prior art keywords
message
characteristic
time
timestamp
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110910039.7A
Other languages
English (en)
Other versions
CN113656448B (zh
Inventor
李佳
党向磊
张良
胡燕林
云晓春
陈训逊
吴昊
李瑞轩
李鼎
刘慧君
李忠志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Byzoro Networks Ltd
Chang'an Communication Technology Co ltd
National Computer Network and Information Security Management Center
Original Assignee
Byzoro Networks Ltd
Chang'an Communication Technology Co ltd
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Byzoro Networks Ltd, Chang'an Communication Technology Co ltd, National Computer Network and Information Security Management Center filed Critical Byzoro Networks Ltd
Priority to CN202110910039.7A priority Critical patent/CN113656448B/zh
Publication of CN113656448A publication Critical patent/CN113656448A/zh
Application granted granted Critical
Publication of CN113656448B publication Critical patent/CN113656448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G06F16/2315—Optimistic concurrency control
    • G06F16/2322—Optimistic concurrency control using timestamps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种报文处理方法、装置、设备及可读存储介质，所述方法包括：获取报文；将所述报文获取的时间作为所述报文的第一时间戳，并基于所述报文的内容计算所述报文的第一特征值；以所述第一特征值为索引，查找特征表中是否存在所述第一特征值，得到查找结果，所述特征表包括第二特征值和每个所述第二特征值所对应的第二时间戳；根据所述查找结果、所述特征表和所述第一时间戳判断所述报文是否为重复报文，得到判断结果，根据所述判断结果对所述报文进行对应的处理。本发明中时间戳标记可以实现微秒级的报文接收时间记录，同时时间差阈值也是微秒级单位，因此也就可以进行微秒级的报文时间间隔判定，进而实现精确的网络报文去重。

Description

一种报文处理方法、装置、设备及可读存储介质
技术领域
本发明涉及报文技术领域，具体而言，涉及一种报文处理方法、装置、设备及可读存储介质。
背景技术
在网络安全、协议分析等多种应用场景下，需要对不同链路采集到的、重复的网络报文进行去重以保证业务系统的正常工作。报文去重功能是指在一定时间间隔内，对于内容完全一致的报文，只转发其中的第一个报文而丢弃其余报文。时间间隔的精确判定对去重效果有着重要的影响，时间间隔判定不精确，将无法充分满足业务应用的需求，目前，报文去重的方法无法实现精确的报文时间间隔判定，也无法实现微秒级的阈值设定，进而也就不能充分满足业务应用的需求。
发明内容
本发明的目的在于提供一种报文处理方法、装置、设备及可读存储介质，以改善上述问题。
为了实现上述目的，本申请实施例提供了如下技术方案：
一方面，本申请实施例提供了一种报文处理方法，所述方法包括：
获取报文；
将所述报文获取的时间作为所述报文的第一时间戳，并基于所述报文的内容计算所述报文的第一特征值；
以所述第一特征值为索引，查找特征表中是否存在所述第一特征值，得到查找结果，所述特征表包括第二特征值和每个所述第二特征值所对应的第二时间戳；
根据所述查找结果、所述特征表和所述第一时间戳判断所述报文是否为重复报文，得到判断结果，根据所述判断结果对所述报文进行对应的处理。
可选的，所述根据所述查找结果、所述特征表和所述第一时间戳判断所述报文是否为重复报文，得到判断结果，根据所述判断结果对所述报文进行对应的处理，包括：
分析所述查找结果，若所述查找结果为未在所述特征表中查找到所述第一特征值，则判断所述报文不是重复报文，并转发所述报文；
将所述第一特征值和所述第一时间戳进行组合，组合后写入所述特征表。
可选的，所述根据所述查找结果、所述特征表和所述第一时间戳判断所述报文是否为重复报文，得到判断结果，根据所述判断结果对所述报文进行对应的处理，包括：
分析所述查找结果，若所述查找结果为在所述特征表中已查找到与所述第一特征值相同的所述第二特征值，则获取第一时间差阈值和计算与所述第一特征值相同的所述第二特征值所对应的所述第二时间戳与所述第一时间戳之间的差值，得到第一差值计算结果；
将所述第一差值计算结果与所述第一时间差阈值进行比较，若所述第一差值计算结果大于所述第一时间差阈值，则将所述报文转发，若所述第一差值计算结果小于等于所述第一时间差阈值，则将所述报文丢弃。
可选的，所述根据所述查找结果、所述特征表和所述第一时间戳判断所述报文是否为重复报文，得到判断结果，根据所述判断结果对所述报文进行对应的处理后，还包括：
获取第二时间差阈值；
启动轮询定时器，当当前时间为所定的时间时，遍历读取所述特征表中包含的每一个所述第二特征值，计算每一个所述第二特征值对应的所述第二时间戳与所述当前时间的差值，得到第二差值计算结果；
将所述第二差值计算结果与所述第二时间差阈值进行比较，若所述第二差值计算结果大于所述第二时间差阈值则删除对应的所述第二特征值，若小于等于则不做任何处理，直到遍历完所有所述第二特征值。
可选的，所述根据所述查找结果、所述特征表和所述第一时间戳判断所述报文是否为重复报文，得到判断结果，根据所述判断结果对所述报文进行对应的处理后，还包括：
启动轮询定时器，当当前时间为所定的时间时，将所述特征表中的所述第二时间戳按照时间先后的顺序进行排序，得到排序后的所述第二时间戳；
获取输入信息，所述输入信息包括工作人员输入的截取时间；
响应所述输入信息，将排序后的所述第二时间戳中位于所述截取时间后的所述第二时间戳删除，得到清理之后的所述特征表。
可选的，所述根据所述查找结果、所述特征表和所述第一时间戳判断所述报文是否为重复报文，得到判断结果，根据所述判断结果对所述报文进行对应的处理后，还包括：
获取特征值数量阈值；
计算所述特征表中所包含的所述第二特征值的数量；
将所述第二特征值的数量与所述特征值数量阈值进行比较，若所述第二特征值的数量大于所述特征值数量阈值，则按照所述第二时间戳的先后顺序删除所述第二时间戳所对应的所述第二特征值，直到所述第二特征值的数量等于所述特征值数量阈值。
第二方面，本申请实施例提供了一种报文处理装置，所述装置包括第一获取模块、第一计算模块、查找模块和处理模块。
所述第一获取模块，用于获取报文；
所述第一计算模块，用于将所述报文获取的时间作为所述报文的第一时间戳，并基于所述报文的内容计算所述报文的第一特征值；
所述查找模块，用于以所述第一特征值为索引，查找特征表中是否存在所述第一特征值，得到查找结果，所述特征表包括第二特征值和每个所述第二特征值所对应的第二时间戳；
所述处理模块，用于根据所述查找结果、所述特征表和所述第一时间戳判断所述报文是否为重复报文，得到判断结果，根据所述判断结果对所述报文进行对应的处理。
可选的，所述处理模块，包括：
第一分析单元，用于分析所述查找结果，若所述查找结果为未在所述特征表中查找到所述第一特征值，则判断所述报文不是重复报文，并转发所述报文；
组合单元，用于将所述第一特征值和所述第一时间戳进行组合，组合后写入所述特征表。
可选的，所述处理模块，包括：
第二分析单元，用于分析所述查找结果，若所述查找结果为在所述特征表中已查找到与所述第一特征值相同的所述第二特征值，则获取第一时间差阈值和计算与所述第一特征值相同的所述第二特征值所对应的所述第二时间戳与所述第一时间戳之间的差值，得到第一差值计算结果；
比较单元，用于将所述第一差值计算结果与所述第一时间差阈值进行比较，若所述第一差值计算结果大于所述第一时间差阈值，则将所述报文转发，若所述第一差值计算结果小于等于所述第一时间差阈值，则将所述报文丢弃。
可选的，所述装置，还包括：
第二获取模块，用于获取第二时间差阈值；
第一启动模块，用于启动轮询定时器，当当前时间为所定的时间时，遍历读取所述特征表中包含的每一个所述第二特征值，计算每一个所述第二特征值对应的所述第二时间戳与所述当前时间的差值，得到第二差值计算结果；
第一比较模块，用于将所述第二差值计算结果与所述第二时间差阈值进行比较，若所述第二差值计算结果大于所述第二时间差阈值则删除对应的所述第二特征值，若小于等于则不做任何处理，直到遍历完所有所述第二特征值。
可选的，所述装置，还包括：
第二启动模块，用于启动轮询定时器，当当前时间为所定的时间时，将所述特征表中的所述第二时间戳按照时间先后的顺序进行排序，得到排序后的所述第二时间戳；
第三获取模块，用于获取输入信息，所述输入信息包括工作人员输入的截取时间；
响应模块，用于响应所述输入信息，将排序后的所述第二时间戳中位于所述截取时间后的所述第二时间戳删除，得到清理之后的所述特征表。
可选的，所述装置，还包括：
第四获取模块，用于获取特征值数量阈值；
第二计算模块，用于计算所述特征表中所包含的所述第二特征值的数量；
第二比较模块，用于将所述第二特征值的数量与所述特征值数量阈值进行比较，若所述第二特征值的数量大于所述特征值数量阈值，则按照所述第二时间戳的先后顺序删除所述第二时间戳所对应的所述第二特征值，直到所述第二特征值的数量等于所述特征值数量阈值。
第三方面，本申请实施例提供了一种报文处理设备，所述设备包括存储器和处理器。存储器用于存储计算机程序；处理器用于执行所述计算机程序时实现上述报文处理方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述报文处理方法的步骤。
本发明的有益效果为：
1、本发明中时间戳标记可以实现微秒级的报文接收时间记录，即每个报文所对应的时间戳均是微秒级单位的时间戳，同时时间差阈值也是微秒级单位，因此也就可以进行微秒级的报文时间间隔判定，进而实现精确的网络报文去重。
2、本发明提供了多种清理特征表的方法，可以扩大本发明的适用范围，也可以提高用户使用的灵活性，以便于用户找到最符合自身需求的清理方法，并且通过清理特征表可以避免特征表中表项老化带来的软硬件资源占用的问题。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例中所述的一种报文处理方法流程示意图；
图2是本发明实施例中所述的一种报文处理装置结构示意图；
图3是本发明实施例中所述的一种报文处理设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号或字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
如图1所示，本实施例提供了一种报文处理方法，该方法包括步骤S1、步骤S2、步骤S3和步骤S4。
步骤S1、获取报文；
步骤S2、将所述报文获取的时间作为所述报文的第一时间戳，并基于所述报文的内容计算所述报文的第一特征值；
步骤S3、以所述第一特征值为索引，查找特征表中是否存在所述第一特征值，得到查找结果，所述特征表包括第二特征值和每个所述第二特征值所对应的第二时间戳；
步骤S4、根据所述查找结果、所述特征表和所述第一时间戳判断所述报文是否为重复报文，得到判断结果，根据所述判断结果对所述报文进行对应的处理。
在本实施例中，所述报文的时间戳的单位设定为微秒级单位，具体为所述报文的时间戳为系统启动至接收到所述报文的微秒数，时间戳长度为4字节32位，为正整数；
所述特征表的构建规则为：当系统还未启动时，所述特征表中的不包含特征值和每个特征值所对应的时间戳，当系统启动时，获取到第一个报文，计算出第一个报文的特征值和第一个报文所对应的时间戳，将第一个报文的特征值和第一个报文所对应的时间戳进行组合后放入所述特征表中，得到第一特征表；当获取到第二个报文时，计算出第二个报文的特征值和第二个报文所对应的时间戳，并查找所述第一特征表是否存在与第二个报文的特征值相同的特征值，若不存在则将第二个报文的特征值和第二个报文所对应的时间戳进行组合后放入所述第一特征表中，按照此种规则构建所述特征表；同时在本实施例中，使用本领域常规的技术手段来计算所述报文的第一特征值；
本实施例中时间戳标记可以实现微秒级的报文接收时间记录，即每个报文所对应的时间戳均是微秒级单位的时间戳，因此也就可以进行微秒级的报文时间间隔判定，进而实现精确的网络报文去重。
在本公开的一种具体实施方式中，所述步骤S4，还可以包括步骤S41和步骤S42。
步骤S41、分析所述查找结果，若所述查找结果为未在所述特征表中查找到所述第一特征值，则判断所述报文不是重复报文，并转发所述报文；
步骤S42、将所述第一特征值和所述第一时间戳进行组合，组合后写入所述特征表。
在本实施例中，当未在所述特征表中查找到所述第一特征值，则说明所述第一特征值在特征表中不存在，也就是未收到内容相同的报文，则可以将所述报文进行转发。
在本公开的一种具体实施方式中，所述步骤S4，还可以包括步骤S43和步骤S44。
步骤S43、分析所述查找结果，若所述查找结果为在所述特征表中已查找到与所述第一特征值相同的所述第二特征值，则获取第一时间差阈值和计算与所述第一特征值相同的所述第二特征值所对应的所述第二时间戳与所述第一时间戳之间的差值，得到第一差值计算结果；
步骤S44、将所述第一差值计算结果与所述第一时间差阈值进行比较，若所述第一差值计算结果大于所述第一时间差阈值，则将所述报文转发，若所述第一差值计算结果小于等于所述第一时间差阈值，则将所述报文丢弃。
在本实施例中，所述第一时间差阈值可以根据需要进行不同的设定，本实施例中所述第一时间差阈值的取值范围为0-100万微秒，即用户可以根据自身需求在0-100万微秒任选一个数值作为所述第一时间差阈值；
本实施例判断报文是否为重复报文时，既判定报文特征值是否与所述特征表中包含的特征值相同，也判定报文时间戳标记T1与特征表中的时间戳标记T2(时间戳标记T2所对应的特征值与报文的特征值相同)的差值是否大于第一时间差阈值，通过双重去重判断可以精确的判断网络报文是否为重复报文。
本实施例中时间戳标记可以实现微秒级的报文接收时间记录，即每个报文所对应的时间戳均是微秒级单位的时间戳，同时时间差阈值也是微秒级单位，因此也就可以进行微秒级的报文时间间隔判定，进而实现精确的网络报文去重。
在本公开的一种具体实施方式中，所述方法，还可以包括步骤S5、步骤S6和步骤S7。
步骤S5、获取第二时间差阈值；
步骤S6、启动轮询定时器，当当前时间为所定的时间时，遍历读取所述特征表中包含的每一个所述第二特征值，计算每一个所述第二特征值对应的所述第二时间戳与所述当前时间的差值，得到第二差值计算结果；
步骤S7、将所述第二差值计算结果与所述第二时间差阈值进行比较，若所述第二差值计算结果大于所述第二时间差阈值则删除对应的所述第二特征值，若小于等于则不做任何处理，直到遍历完所有所述第二特征值。
在本实施例中，特征表如果不进行定期老化清理，特征表将持续增大对软硬件资源的占用，因此需要实现特征表的老化机制。在本实施例中，所述第二时间差阈值A的取值范围为10-300s，用户可以根据自身需求在10-300s中任选一个数值作为所述第二时间差阈值A；
同时可以在系统中自定义多个定时时间，定时时间到时会遍历读取特征表的每一个表项，并同时计算定时时间与每个表项中的时间戳之间的差值，差值记为D，比较D和A，如果D大于A，则删掉此表项，否则不做任何处理，遍历所有表项后重新等待定时器时间到。
在本公开的一种具体实施方式中，所述方法，还可以包括步骤S8、步骤S9和步骤S10。
步骤S8、启动轮询定时器，当当前时间为所定的时间时，将所述特征表中的所述第二时间戳按照时间先后的顺序进行排序，得到排序后的所述第二时间戳；
步骤S9、获取输入信息，所述输入信息包括工作人员输入的截取时间；
步骤S10、响应所述输入信息，将排序后的所述第二时间戳中位于所述截取时间后的所述第二时间戳删除，得到清理之后的所述特征表。
本实施例中，还提供了一种清理特征表的方法，通过提供多种特征表的清理方法，可以扩大本发明的适用范围，也可以提高用户使用的灵活性，以便于用户找到最符合自身需求的清理方法。
在本公开的一种具体实施方式中，所述方法，还可以包括步骤S11、步骤S12和步骤S13。
步骤S11、获取特征值数量阈值；
步骤S12、计算所述特征表中所包含的所述第二特征值的数量；
步骤S13、将所述第二特征值的数量与所述特征值数量阈值进行比较，若所述第二特征值的数量大于所述特征值数量阈值，则按照所述第二时间戳的先后顺序删除所述第二时间戳所对应的所述第二特征值，直到所述第二特征值的数量等于所述特征值数量阈值。
在本实施例中，可以根据用户需求自定义特征值数量阈值，同时在本实施例中按照第二时间戳的先后顺序对第二特征值进行排序，若特征值数量阈值为100，同时第二特征值的个数大于100，那么从第一个第二特征值开始删除，当特征表中剩余的第二特征值的数量为100个，此时停止删除第二特征值。本实施例中设置的方法灵活简单，可以提高用户在使用过程中的便捷性，同时也可以避免表项老化带来的软硬件资源占用的问题。
实施例2
如图2所示，本实施例提供了一种报文处理装置，所述装置包括第一获取模块701、第一计算模块702、查找模块703和处理模块704。
所述第一获取模块701，用于获取报文；
所述第一计算模块702，用于将所述报文获取的时间作为所述报文的第一时间戳，并基于所述报文的内容计算所述报文的第一特征值；
所述查找模块703，用于以所述第一特征值为索引，查找特征表中是否存在所述第一特征值，得到查找结果，所述特征表包括第二特征值和每个所述第二特征值所对应的第二时间戳；
所述处理模块704，用于根据所述查找结果、所述特征表和所述第一时间戳判断所述报文是否为重复报文，得到判断结果，根据所述判断结果对所述报文进行对应的处理。
本实施例中时间戳标记可以实现微秒级的报文接收时间记录，即每个报文所对应的时间戳均是微秒级单位的时间戳，因此也就可以进行微秒级的报文时间间隔判定，进而实现精确的网络报文去重。
在本公开的一种具体实施方式中，所述处理模块704还包括第一分析单元7041和组合单元7042。
所述第一分析单元7041，用于分析所述查找结果，若所述查找结果为未在所述特征表中查找到所述第一特征值，则判断所述报文不是重复报文，并转发所述报文；
所述组合单元7042，用于将所述第一特征值和所述第一时间戳进行组合，组合后写入所述特征表。
在本公开的一种具体实施方式中，所述处理模块704还包括第二分析单元7043和比较单元7044。
所述第二分析单元7043，用于分析所述查找结果，若所述查找结果为在所述特征表中已查找到与所述第一特征值相同的所述第二特征值，则获取第一时间差阈值时间差阈值和计算与所述第一特征值相同的所述第二特征值所对应的所述第二时间戳与所述第一时间戳之间的差值，得到第一差值计算结果；
所述比较单元7044，用于将所述第一差值计算结果与所述第一时间差阈值时间差阈值进行比较，若所述第一差值计算结果大于所述第一时间差阈值时间差阈值，则将所述报文转发，若所述第一差值计算结果小于等于所述第一时间差阈值时间差阈值，则将所述报文丢弃。
在本公开的一种具体实施方式中，所述装置还包括第二获取模块705、第一启动模块706和第一比较模块707。
所述第二获取模块705，用于获取第二时间差阈值；
所述第一启动模块706，用于启动轮询定时器，当当前时间为所定的时间时，遍历读取所述特征表中包含的每一个所述第二特征值，计算每一个所述第二特征值对应的所述第二时间戳与所述当前时间的差值，得到第二差值计算结果；
所述第一比较模块707，用于将所述第二差值计算结果与所述第二时间差阈值进行比较，若所述第二差值计算结果大于所述第二时间差阈值则删除对应的所述第二特征值，若小于等于则不做任何处理，直到遍历完所有所述第二特征值。
在本公开的一种具体实施方式中，所述装置还包括第二启动模块708、第三获取模块709和响应模块710。
所述第二启动模块708，用于启动轮询定时器，当当前时间为所定的时间时，将所述特征表中的所述第二时间戳按照时间先后的顺序进行排序，得到排序后的所述第二时间戳；
所述第三获取模块709，用于获取输入信息，所述输入信息包括工作人员输入的截取时间；
所述响应模块710，用于响应所述输入信息，将排序后的所述第二时间戳中位于所述截取时间后的所述第二时间戳删除，得到清理之后的所述特征表。
在本公开的一种具体实施方式中，所述装置还包括第四获取模块711、第二计算模块712和第二比较模块713。
所述第四获取模块711，用于获取特征值数量阈值；
所述第二计算模块712，用于计算所述特征表中所包含的所述第二特征值的数量；
所述第二比较模块713，用于将所述第二特征值的数量与所述特征值数量阈值进行比较，若所述第二特征值的数量大于所述特征值数量阈值，则按照所述第二时间戳的先后顺序删除所述第二时间戳所对应的所述第二特征值，直到所述第二特征值的数量等于所述特征值数量阈值。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3
相应于上面的方法实施例，本公开实施例还提供了一种报文处理设备，下文描述的一种报文处理设备与上文描述的一种报文处理方法可相互对应参照。
图3是根据一示例性实施例示出的一种报文处理设备800的框图。如图3所示，该报文处理设备800可以包括：处理器801，存储器802。该报文处理设备800还可以包括多媒体组件803，输入/输出(I/O)接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该报文处理设备800的整体操作，以完成上述的报文处理方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该报文处理设备800的操作，这些数据例如可以包括用于在该报文处理设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该报文处理设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(NearFieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，该报文处理设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的报文处理方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的报文处理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由该报文处理设备800的处理器801执行以完成上述的报文处理方法。
实施例4
相应于上面的方法实施例，本公开实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种报文处理方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的报文处理方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种报文处理方法，其特征在于，包括：
获取报文；
将所述报文获取的时间作为所述报文的第一时间戳，并基于所述报文的内容计算所述报文的第一特征值；
以所述第一特征值为索引，查找特征表中是否存在所述第一特征值，得到查找结果，所述特征表包括第二特征值和每个所述第二特征值所对应的第二时间戳；
根据所述查找结果、所述特征表和所述第一时间戳判断所述报文是否为重复报文，得到判断结果，根据所述判断结果对所述报文进行对应的处理。
2.根据权利要求1所述的报文处理方法，其特征在于，所述根据所述查找结果、所述特征表和所述第一时间戳判断所述报文是否为重复报文，得到判断结果，根据所述判断结果对所述报文进行对应的处理，包括：
分析所述查找结果，若所述查找结果为未在所述特征表中查找到所述第一特征值，则判断所述报文不是重复报文，并转发所述报文；
将所述第一特征值和所述第一时间戳进行组合，组合后写入所述特征表。
3.根据权利要求1所述的报文处理方法，其特征在于，所述根据所述查找结果、所述特征表和所述第一时间戳判断所述报文是否为重复报文，得到判断结果，根据所述判断结果对所述报文进行对应的处理，包括：
分析所述查找结果，若所述查找结果为在所述特征表中已查找到与所述第一特征值相同的所述第二特征值，则获取第一时间差阈值和计算与所述第一特征值相同的所述第二特征值所对应的所述第二时间戳与所述第一时间戳之间的差值，得到第一差值计算结果；
将所述第一差值计算结果与所述第一时间差阈值进行比较，若所述第一差值计算结果大于所述第一时间差阈值，则将所述报文转发，若所述第一差值计算结果小于等于所述第一时间差阈值，则将所述报文丢弃。
4.根据权利要求1所述的报文处理方法，其特征在于，所述根据所述查找结果、所述特征表和所述第一时间戳判断所述报文是否为重复报文，得到判断结果，根据所述判断结果对所述报文进行对应的处理后，还包括：
获取第二时间差阈值；
启动轮询定时器，当当前时间为所定的时间时，遍历读取所述特征表中包含的每一个所述第二特征值，计算每一个所述第二特征值对应的所述第二时间戳与所述当前时间的差值，得到第二差值计算结果；
将所述第二差值计算结果与所述第二时间差阈值进行比较，若所述第二差值计算结果大于所述第二时间差阈值则删除对应的所述第二特征值，若小于等于则不做任何处理，直到遍历完所有所述第二特征值。
5.一种报文处理装置，其特征在于，包括：
第一获取模块，用于获取报文；
第一计算模块，用于将所述报文获取的时间作为所述报文的第一时间戳，并基于所述报文的内容计算所述报文的第一特征值；
查找模块，用于以所述第一特征值为索引，查找特征表中是否存在所述第一特征值，得到查找结果，所述特征表包括第二特征值和每个所述第二特征值所对应的第二时间戳；
处理模块，用于根据所述查找结果、所述特征表和所述第一时间戳判断所述报文是否为重复报文，得到判断结果，根据所述判断结果对所述报文进行对应的处理。
6.根据权利要求5所述的报文处理装置，其特征在于，所述处理模块，包括：
第一分析单元，用于分析所述查找结果，若所述查找结果为未在所述特征表中查找到所述第一特征值，则判断所述报文不是重复报文，并转发所述报文；
组合单元，用于将所述第一特征值和所述第一时间戳进行组合，组合后写入所述特征表。
7.根据权利要求5所述的报文处理装置，其特征在于，所述处理模块，包括：
第二分析单元，用于分析所述查找结果，若所述查找结果为在所述特征表中已查找到与所述第一特征值相同的所述第二特征值，则获取第一时间差阈值和计算与所述第一特征值相同的所述第二特征值所对应的所述第二时间戳与所述第一时间戳之间的差值，得到第一差值计算结果；
比较单元，用于将所述第一差值计算结果与所述第一时间差阈值进行比较，若所述第一差值计算结果大于所述第一时间差阈值，则将所述报文转发，若所述第一差值计算结果小于等于所述第一时间差阈值，则将所述报文丢弃。
8.根据权利要求5所述的报文处理装置，其特征在于，所述装置，还包括：
第二获取模块，用于获取第二时间差阈值；
第一启动模块，用于启动轮询定时器，当当前时间为所定的时间时，遍历读取所述特征表中包含的每一个所述第二特征值，计算每一个所述第二特征值对应的所述第二时间戳与所述当前时间的差值，得到第二差值计算结果；
第一比较模块，用于将所述第二差值计算结果与所述第二时间差阈值进行比较，若所述第二差值计算结果大于所述第二时间差阈值则删除对应的所述第二特征值，若小于等于则不做任何处理，直到遍历完所有所述第二特征值。
9.一种报文处理设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述报文处理方法的步骤。
10.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述报文处理方法的步骤。
CN202110910039.7A 2021-08-09 2021-08-09 一种报文处理方法、装置、设备及可读存储介质 Active CN113656448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110910039.7A CN113656448B (zh) 2021-08-09 2021-08-09 一种报文处理方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110910039.7A CN113656448B (zh) 2021-08-09 2021-08-09 一种报文处理方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113656448A true CN113656448A (zh) 2021-11-16
CN113656448B CN113656448B (zh) 2023-12-26

Family

ID=78478626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110910039.7A Active CN113656448B (zh) 2021-08-09 2021-08-09 一种报文处理方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113656448B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201951A (zh) * 2011-06-15 2011-09-28 杭州华三通信技术有限公司 一种源地址重复性检测方法和设备
CN104717105A (zh) * 2015-02-11 2015-06-17 西安航天自动化股份有限公司 一种基于ISA100.11a标准的工业传感网数据重复检测方法
CN105024863A (zh) * 2015-08-10 2015-11-04 上海斐讯数据通信技术有限公司 网络告警的处理方法、告警服务器和网络告警处理系统
CN107147721A (zh) * 2017-05-17 2017-09-08 北京天地和兴科技有限公司 一种分布式部署的审计数据去重系统
CN107547293A (zh) * 2016-06-29 2018-01-05 新华三技术有限公司 一种流路径探测方法和装置
CN108777680A (zh) * 2018-05-28 2018-11-09 中国石油大学(华东) 一种在物联网中基于多点防御的ssdp反射攻击的防御方法与防御装置
CN111200586A (zh) * 2018-11-20 2020-05-26 西门子股份公司 功能安全的连接识别方法
CN111563721A (zh) * 2020-04-21 2020-08-21 上海爱数信息技术股份有限公司 一种适用于不同标签分布场合的邮件分类方法
CN111770023A (zh) * 2020-06-28 2020-10-13 湖南有马信息技术有限公司 基于fpga的报文去重方法、装置及fpga芯片
CN112673602A (zh) * 2018-09-14 2021-04-16 华为技术有限公司 一种避免广播风暴的方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201951A (zh) * 2011-06-15 2011-09-28 杭州华三通信技术有限公司 一种源地址重复性检测方法和设备
CN104717105A (zh) * 2015-02-11 2015-06-17 西安航天自动化股份有限公司 一种基于ISA100.11a标准的工业传感网数据重复检测方法
CN105024863A (zh) * 2015-08-10 2015-11-04 上海斐讯数据通信技术有限公司 网络告警的处理方法、告警服务器和网络告警处理系统
CN107547293A (zh) * 2016-06-29 2018-01-05 新华三技术有限公司 一种流路径探测方法和装置
CN107147721A (zh) * 2017-05-17 2017-09-08 北京天地和兴科技有限公司 一种分布式部署的审计数据去重系统
CN108777680A (zh) * 2018-05-28 2018-11-09 中国石油大学(华东) 一种在物联网中基于多点防御的ssdp反射攻击的防御方法与防御装置
CN112673602A (zh) * 2018-09-14 2021-04-16 华为技术有限公司 一种避免广播风暴的方法和装置
CN111200586A (zh) * 2018-11-20 2020-05-26 西门子股份公司 功能安全的连接识别方法
CN111563721A (zh) * 2020-04-21 2020-08-21 上海爱数信息技术股份有限公司 一种适用于不同标签分布场合的邮件分类方法
CN111770023A (zh) * 2020-06-28 2020-10-13 湖南有马信息技术有限公司 基于fpga的报文去重方法、装置及fpga芯片

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴波: "多联机大数据管理系统的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 5, pages 138 - 660 *

Also Published As

Publication number Publication date
CN113656448B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
US20200242419A1 (en) Systems and methods for inferential sharing of photos
CN106649063B (zh) 用于监测程序运行时耗时数据的方法及系统
CN108874904B (zh) 语音消息搜索方法、装置、计算机设备及存储介质
CN107678800B (zh) 后台应用清理方法、装置、存储介质及电子设备
CN108595520B (zh) 一种生成多媒体文件的方法和装置
CN108446389B (zh) 语音消息搜索显示方法、装置、计算机设备及存储介质
CN107102744B (zh) 一种输入词汇的推荐方法和电子设备
CN111400361A (zh) 数据实时存储方法、装置、计算机设备和存储介质
CN113505272B (zh) 基于行为习惯的控制方法和装置、电子设备和存储介质
CN108092872B (zh) 通讯方法及装置
WO2017107679A1 (zh) 一种历史信息展示方法及装置
CN106301979B (zh) 检测异常渠道的方法和系统
CN107066536B (zh) 评论确定方法及装置
CN111782728A (zh) 一种数据同步方法、装置、电子设备及介质
CN108923967B (zh) 一种去重流量记录方法、装置、服务器及存储介质
CN106358220B (zh) 异常联系人信息的检测方法、装置及系统
CN111310224B (zh) 日志脱敏方法、装置、计算机设备及计算机可读存储介质
CN113656448A (zh) 一种报文处理方法、装置、设备及可读存储介质
CN111835623A (zh) 未读消息的展示方法、装置及电子设备
CN114741594A (zh) 一种信息推送方法、装置、计算机设备及存储介质
CN110674330B (zh) 表情管理的方法、装置、电子设备及存储介质
CN110674386B (zh) 资源推荐方法、装置及存储介质
JP2019032666A (ja) 情報処理プログラム、情報処理方法及び情報処理装置
CN110717109A (zh) 推荐数据的方法、装置、电子设备及存储介质
CN112463746A (zh) 一种文件存储、生成方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant