CN106407400A - 一种面向流式数据的实时摘要生成方法 - Google Patents

一种面向流式数据的实时摘要生成方法 Download PDF

Info

Publication number
CN106407400A
CN106407400A CN201610839140.7A CN201610839140A CN106407400A CN 106407400 A CN106407400 A CN 106407400A CN 201610839140 A CN201610839140 A CN 201610839140A CN 106407400 A CN106407400 A CN 106407400A
Authority
CN
China
Prior art keywords
data
strong
cryptographic hash
real
hash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610839140.7A
Other languages
English (en)
Other versions
CN106407400B (zh
Inventor
郑超
李响
刘庆云
李舒
杨威
张成伟
汤琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN201610839140.7A priority Critical patent/CN106407400B/zh
Publication of CN106407400A publication Critical patent/CN106407400A/zh
Priority to US16/331,587 priority patent/US11546372B2/en
Priority to PCT/CN2017/100676 priority patent/WO2018054217A1/zh
Application granted granted Critical
Publication of CN106407400B publication Critical patent/CN106407400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/145—Countermeasures against malicious traffic the attack involving the propagation of malware through the network, e.g. viruses, trojans or worms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/08—Randomization, e.g. dummy operations or using noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Biomedical Technology (AREA)
  • Virology (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Power Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种面向流式数据的实时摘要生成方法，采用存储中间计算结果的方法进行流式数据摘要计算，能够处理数据缺损、乱序和重叠的情况，并且采用矩阵的乘法运算作为强哈希算法减少内存占用，使得本发明能够使用较少的内存实时计算流式数据摘要。

Description

一种面向流式数据的实时摘要生成方法
技术领域
本发明涉及数据流识别领域，是一种面向流式数据的实时摘要生成方法。
背景技术
随着网络流量不断增加，识别流量中的数据对于数据防泄漏(Data LeakageProtection，DLP)、安全防御等需求越来越重要。例如从网络流量中识别木马、病毒、色情视频和内部文件等，如果能够在传输过程中进行识别，可以在早期进行审计和处置。
要识别流量中的数据，一般方法是对网络中的数据生成摘要。但是网络流量中存在大量复杂的应用协议处理情况，如在线视频播放、网盘文件下载等，这种数据存在大量乱序以及不完整捕获的情况。
当前对数据生成摘要的方法，例如MD5、SHA算法等，由于在数据发生改变的时候会产生雪崩效应，因此无法应用于识别相似文件的场景。
传统的模糊哈希算法采用分片哈希的思想，用一个弱哈希函数(rolling hash，rh)计算一定长度的连续字节的哈希值(计算长度称为分片计算窗口，以下用window表示)，当弱哈希值满足分片条件时，就在这个位置对数据进行分片。
分片条件决定了平均分片数量，计算方法如公式1,2所示，bmin取3，n为数据长度，S取64
rh％binit＝binit-1 公式2
之后再使用一个强哈希函数(mapping hash或strong hash)对每个分片计算一个哈希值，这样文件局部发生变化只会影响一两个分片的哈希值，而不会导致整个文件的哈希值完全发生改变。实践上，可以利用其模糊哈希值的编辑距离，度量文件的相似度。
传统的模糊哈希算法(Identifying almost identical files using contexttriggered piecewise hashing，2006)适用于离线数据的处理，但是对于正在传输的流式数据，由于其存在数据缺损、乱序和重叠的情况，不能进行应用。
发明内容
鉴于此，本发明提出了一种面向流式数据的实时摘要生成方法，是一种可以处理缺损、乱序、重叠的流式数据的摘要生成方法，即在数据缺损、乱序、重叠的情况下仍然能够实时生成摘要，该方法适用于从网络流量中检测文件，可应用于病毒检测、入侵检测、数据防泄露、网络内容审查、数字取证、数字版权保护等领域。
由于本发明的方法是面向流式数据的，因此发明人将本发明中涉及到的算法简称为流式模糊哈希(Stream Fuzzy Hash，简称SFH)算法，对应地，该算法处理的文件对象中的一个数据分片则称为流式模糊哈希计算上下文(以下简称计算上下文)。
为了实现上述目的，本发明采用以下技术方案：
一种面向流式数据的实时摘要生成方法，包括：
1)更新流式输入的每个数据块左邻的计算上下文，如果数据块没有左邻，则将其作为初始化的计算上下文，将更新后的计算上下文保存到区间索引；
2)在区间索引中查找已输入数据的计算上下文，对相邻的计算上下文进行合并；
3)遍历区间索引，将其中的摘要值进行拼接并输出。
进一步地，步骤1)中所述区间索引是指可以对数据偏移量进行查找的数据结构，可以用任意常见查找结构实现，比如区间树、链表、数组、堆、红黑树等。
进一步地，步骤1)中更新流式输入的每个数据块左邻的计算上下文的步骤包括：
1-1)保留数据块的前w-1个字节到缓冲区中，其中w为弱哈希函数的滑动窗口值(可设置为1字节以上)，所述数据块的起始位置记为s；
1-2)计算数据块每一个字节的弱哈希值和强哈希值；
1-3)当步骤1-2)计算得到的弱哈希值满足分片条件，则找到重置点(resetpoint)，
i.如果是上下文中的第一个重置点，则s至重置点之间的部分称为左截断数据，计算它的强哈希值，记为部分强哈希值pshv；
ii.如果不是第一个，则新划分出一个分片，记为该分片的强哈希值；
iii.更新s为分片结束后的下一字节，回到步骤1-2)；
1-4)当当次输入数据中所有数据块计算结束，将最后一个重置点到数据块结束位置之间的数据称为右截断数据，该部分的强哈希值称为强哈希状态，记为shs。
进一步地，步骤1-2)中，使用矩阵乘法运算作为强哈希函数计算强哈希值，优选伽罗华域(Galois Field)的矩阵乘法运算。
进一步地，步骤1-2)中可以使用Rolling Hash算法计算弱哈希值，步骤1-3)中分片条件可以让弱哈希值满足公式(2)，也可以是特定末位数、特定数值等其它预设条件。
进一步地，根据上述计算方法，二进制流数据的强哈希值可以表示为以每位或特定位数为单位，映射成n阶矩阵，并将映射后的矩阵按照在数据流中出现的顺序相乘。
进一步地，步骤2)中如果计算上下文的数据区间的左右值连续则判断两个计算上下文相邻(比如[0:100]和[101:102])。
进一步地，步骤2)中，对两个相邻的计算上下文进行合并的方法包括以下步骤：
a)对计算上下文p和其右邻n保存在缓冲区中的w-1个字节，执行更新操作(即上述步骤1-2)至1-4))；
b)计算p的强哈希状态值shs和n的部分强哈希值pshv的矩阵乘积；
c)如果p中不包含重置点，则用该矩阵乘积更新p的强哈希状态值shs，否则，用该矩阵乘积更新n的部分强哈希状态值pshv；
e)使用矩阵乘法拼接经步骤c)更新后的p和n的强哈希值。
进一步地，步骤3)中，将摘要值进行拼接的步骤包括：每个分片的强哈希值是一个n阶矩阵，矩阵中的每个元素是一个m bit数值，将这个矩阵的n*n个元素进行拼接，形成一个n*n*m bit的值，再通过截取或映射成为一个或多个字节的字符。
本发明主要从以下两个方面对模糊哈希算法进行改进：
1)流式摘要方法。将乱序的流式数据块，转化为可独立处理的计算上下文，并用区间索引组织起来，实现对乱序数据的实时计算。
2)对内存占用的改进。使用矩阵乘法运算作为强哈希函数，来减少原始文件缓存。因其具有满足结合律但不满足交换律的性质，可以将分片前的数据的计算为矩阵乘积的方式，既减少内存，又降低了哈希冲突率。由于矩阵乘法满足结合律，在window取值为7的实施例中，因此可以只保存前6个字节作为左边界值mbuffer[window size-1]，将第7个字节到第一个重置点的强哈希值作为左中间状态值LFS(Left State)保存下来，这和直接缓存原始数据相比，大大减少了内存。
因此，本发明主要具备以下四个优点：
1)能够对流式数据进行实时摘要，将原本只能适用于完整数据的模糊哈希算法，引入多个中间状态和区间数据索引，满足实时计算乱序、重叠的数据块的能力；
2)能够对缺损(即不完整)的数据进行摘要，保留与完整数据的相关性；
3)计算中几乎不需要缓存数据，降低内存占用；
4)只需要对数据进行一次计算就能够生成长度合适的摘要值。
综上，本发明采用存储中间计算结果的方法进行流式数据摘要计算，能够处理数据缺损、乱序和重叠的情况，并且矩阵乘法运算作为强哈希算法减少内存占用，使得本发明能够在内存集约的情况下实时计算流式数据摘要。
附图说明
图1表示本发明流式数据处理结构示意图。
图2表示本发明流式模糊哈希摘要生成示意图。
具体实施方式
在SFH算法中，一个输入的数据块，如图1所示可能被分割成3个部分:
1)分片，是两个重置点间的数据，可以直接计算出该分片的模糊哈希值；
2)左截断数据，是从数据块起始到第一个重置点之间的数据，不能直接计算出模糊哈希值，需要保留前w-1个字节的数据在缓冲区中，可以计算剩余字节的矩阵乘积(leftstate)；
3)右截断数据，是从数据块中最后一个重置点到数据结束位置之间的数据，它是尚未到完全到达的分片的一部分，不能直接计算出模糊哈希值，可以计算出部分矩阵乘积(mapping hash state)；
完整的处理流程主要包含以下几个基本操作(下文中的乘法、乘积均指矩阵乘法)：
1)更新操作，输入是一个数据块和其左邻的计算上下文，如果数据块没有左邻(当偏移量为0或乱序时)，则是一个刚初始化的计算上下文。
对于一个输入数据块，s为数据块起始位置，具体过程如下：
a)保留前w-1个字节到缓冲区中；
b)对数据块的每一个字节，计算其弱哈希值和强哈希值；
c)当弱哈希值满足分片条件(公式2)，则找到重置点。
i.如果是上下文中的第一个重置点，记为部分强哈希值(partial strong hashvalue，缩写为pshv)；
ii.如果不是第一个，则新划分出一个分片，记为该分片的强哈希值(strong hashvalue of slices)；
iii.更新s为分片结束后的下一字节，回到步骤b)；
d)当当次输入数据中所有数据块计算结束，将最后一个重置点到数据块结束位置之间的数据称为右截断数据，该部分的强哈希值记为强哈希状态(strong hash state，缩写为shs)。
采用矩阵乘法运算作为强哈希函数计算强哈希值时，二进制流数据流的哈希值可以强哈希值可以表示为以每位或特定位数为单位，映射成n阶矩阵，并将映射后的矩阵按照在数据流中出现的顺序相乘。
所述数据流中重置点的判断条件为，每w个字节计算一个弱哈希值，当得出的弱哈希值满足分片条件后，即为重置点(reset point)。
2)合并操作，对区间索引判断为相邻的两个相邻的计算上下文，p和p的右
邻n进行合并。具体过程如下：
a)对p和n保存在缓冲区中的w-1个字节，执行更新操作；
b)计算p的强哈希状态值shs和n的部分强哈希值pshv的矩阵乘积；
c)如果p中不包含重置点，则用该矩阵乘积更新p的强哈希状态值shs；否则，用该矩阵乘积更新p的部分强哈希状态值pshv；
d)使用矩阵乘法拼接经步骤c)更新后的p和n的强哈希值。
3)生成最终摘要值
当满足计算结束条件时，遍历区间索引，将其中的摘要值进行拼接并输出，如图2所示，其中，Seg1，Seg2…Segn中每一个Seg代表一个计算上下文，[l1,r1]，[l2,r2]…[ln,rn]中的每一个代表区间索引里面的一个区间。每个分片的强哈希值是一个n阶矩阵，矩阵中的每个元素是一个m bit数值，将这个矩阵的n*n个元素进行拼接，形成一个n*n*m bit的值，再通过截取或映射成为一个或多个字节的字符，输出形式类似abcd1234[0:30000]，方括号内为计算摘要的数据的偏移量信息。
上述步骤中的1)和2)是本发明的核心点，对于每一个Segi，逐字节计算其弱哈希值和强哈希值，将原始数据转化成存储在区间索引中的上下文。
以总大小149GB，包含7998个文件的数据集为例。经测试本发明在乱序输入和顺序输入两种情况下，计算出的摘要结果一致。顺序计算时，花费52min，速度约为47.75MB/s，内存占用峰值1.25kB；乱序计算时，花费57min，速度约为43.8MB/s，内存占用峰值310kB。总体满足实际的应用需求。

Claims (10)

1.一种面向流式数据的实时摘要生成方法，包括：
1)更新流式输入的每个数据块左邻的计算上下文，如果数据块没有左邻，则将其作为初始化的计算上下文，将更新后的计算上下文保存到区间索引；
2)在区间索引中查找已输入数据的计算上下文，对相邻的计算上下文进行合并；
3)遍历区间索引，将其中的摘要值进行拼接并输出。
2.如权利要求1所述的面向流式数据的实时摘要生成方法，其特征在于，步骤1)中所述区间索引是指可以对数据区间进行查找的数据结构。
3.如权利要求1所述的面向流式数据的实时摘要生成方法，其特征在于，步骤1)中所述区间索引包括区间树，链表，数组，堆或红黑树。
4.如权利要求1所述的面向流式数据的实时摘要生成方法，其特征在于，步骤1)中更新流式输入的每个数据块左邻的计算上下文的步骤包括：
1-1)保留数据块的前w-1个字节到计算上下文的缓冲区中，其中w为弱哈希函数的滑动窗口值，所述数据块的起始位置记为s；
1-2)计算数据块每一个字节的弱哈希值和强哈希值；
1-3)当步骤1-2)计算得到的弱哈希值满足分片条件，则找到重置点，
i.如果是上下文中的第一个重置点，则s至重置点之间的部分称为左截断数据，计算它的强哈希值，记为部分强哈希值pshv；
ii.如果不是第一个，则新划分出一个分片，记为该分片的强哈希值；
iii.更新s为分片结束后的下一字节，回到步骤1-2)；
1-4)当当次输入数据中所有数据块计算结束，将最后一个重置点到数据块结束位置之间的数据称为右截断数据，该部分的强哈希值称为强哈希状态，记为shs。
5.如权利要求4所述的面向流式数据的实时摘要生成方法，其特征在于，步骤1-2)中，使用矩阵乘法运算作为强哈希函数计算强哈希值。
6.如权利要求5所述的面向流式数据的实时摘要生成方法，其特征在于，所述流式数据为二进制流数据时，其强哈希值表示为以每位或特定位数为单位，映射成n阶矩阵，并将映射后的矩阵按照在数据流中出现的顺序相乘。
7.如权利要求4所述的面向流式数据的实时摘要生成方法，其特征在于，步骤2)中，对两个相邻的计算上下文进行合并的方法包括以下步骤：
a)对计算上下文p和其右邻n保存在缓冲区中的w-1个字节，执行更新操作；
b)计算p的强哈希状态值shs和n的部分强哈希值pshv的矩阵乘积；
c)如果p中不包含重置点，则用该矩阵乘积更新p的强哈希状态值shs，否则，用该乘积更新n的部分强哈希状态值pshv；
e)使用矩阵乘法拼接经步骤c)更新后的p和n的强哈希值。
8.如权利要求5-7任一所述的面向流式数据的实时摘要生成方法，其特征在于，所述矩阵乘法为伽罗华域的矩阵乘法。
9.如权利要求1所述的面向流式数据的实时摘要生成方法，其特征在于，步骤2)中如果计算上下文的数据区间的左右值连续则判断两个计算上下文相邻。
10.如权利要求1所述的面向流式数据的实时摘要生成方法，其特征在于，步骤3)中，将摘要值进行拼接的步骤包括：每个分片的强哈希值是一个n阶矩阵，矩阵中的每个元素是一个m bit数值，将这个矩阵的n*n个元素进行拼接，形成一个n*n*m bit的值，再通过截取或映射成为一个或多个字节的字符。
CN201610839140.7A 2016-09-21 2016-09-21 一种面向流式数据的实时摘要生成方法 Active CN106407400B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610839140.7A CN106407400B (zh) 2016-09-21 2016-09-21 一种面向流式数据的实时摘要生成方法
US16/331,587 US11546372B2 (en) 2016-09-21 2017-09-06 Method, system, and apparatus for monitoring network traffic and generating summary
PCT/CN2017/100676 WO2018054217A1 (zh) 2016-09-21 2017-09-06 一种摘要生成与网络流量检测的方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610839140.7A CN106407400B (zh) 2016-09-21 2016-09-21 一种面向流式数据的实时摘要生成方法

Publications (2)

Publication Number Publication Date
CN106407400A true CN106407400A (zh) 2017-02-15
CN106407400B CN106407400B (zh) 2019-08-06

Family

ID=57997163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610839140.7A Active CN106407400B (zh) 2016-09-21 2016-09-21 一种面向流式数据的实时摘要生成方法

Country Status (3)

Country Link
US (1) US11546372B2 (zh)
CN (1) CN106407400B (zh)
WO (1) WO2018054217A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018054217A1 (zh) * 2016-09-21 2018-03-29 中国科学院信息工程研究所 一种摘要生成与网络流量检测的方法、系统及设备
CN108268243A (zh) * 2018-01-30 2018-07-10 深圳职业技术学院 一种基于查找的复合域乘法装置
CN110363000A (zh) * 2019-07-10 2019-10-22 深圳市腾讯网域计算机网络有限公司 识别恶意文件的方法、装置、电子设备及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885576B (zh) * 2019-03-06 2020-12-01 珠海金山网络游戏科技有限公司 一种哈希表创建方法及系统、计算设备及存储介质
CN111459799B (zh) * 2020-03-03 2023-03-10 西北大学 一种基于Github的软件缺陷检测模型建立、检测方法及系统
CN113342530A (zh) * 2021-06-23 2021-09-03 海光信息技术股份有限公司 数据杂凑处理方法、装置、cpu、系统及电子设备
CN113590487B (zh) * 2021-08-03 2024-04-09 北京安天网络安全技术有限公司 流量解析程序的校验方法、装置、计算设备及存储介质
CN114257637B (zh) * 2021-12-14 2023-12-08 优默网络科技(深圳)有限公司 任务执行方法、装置、终端设备和可读存储介质
CN114629970B (zh) * 2022-01-14 2023-07-21 华信咨询设计研究院有限公司 一种tcp/ip流量还原方法
CN116801267B (zh) * 2023-08-25 2023-11-07 中化学交通建设集团运营管理(山东)有限公司 一种结合楼宇功能分区的弱电优化部署方法
CN117951704B (zh) * 2024-03-27 2024-06-07 宁波和利时信息安全研究院有限公司 可执行文件的哈希计算方法、装置、电子设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159003A (zh) * 2007-11-16 2008-04-09 中国科学院软件研究所 数据库恶意事务处理方法及其系统
US7774290B2 (en) * 2006-03-09 2010-08-10 Evolveware, Inc. Pattern abstraction engine
CN103678520A (zh) * 2013-11-29 2014-03-26 中国科学院计算技术研究所 一种基于云计算的多维区间查询方法及其系统
CN104685874A (zh) * 2012-07-27 2015-06-03 摩托罗拉移动有限责任公司 用于在高效率视频编解码中处理分区模式的设备和方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7363278B2 (en) * 2001-04-05 2008-04-22 Audible Magic Corporation Copyright detection and protection system and method
JP4350682B2 (ja) * 2005-06-15 2009-10-21 キヤノン株式会社 監視装置
US20080027895A1 (en) * 2006-07-28 2008-01-31 Jean-Christophe Combaz System for searching, collecting and organizing data elements from electronic documents
US7941435B2 (en) * 2006-08-01 2011-05-10 Cisco Technology, Inc. Substring search algorithm optimized for hardware acceleration
US8620877B2 (en) * 2008-04-30 2013-12-31 International Business Machines Corporation Tunable data fingerprinting for optimizing data deduplication
US20090276245A1 (en) 2008-05-05 2009-11-05 General Electric Company Automated healthcare image registration workflow
CN103049263B (zh) * 2012-12-12 2015-06-10 华中科技大学 一种基于相似性的文件分类方法
US10515214B1 (en) * 2013-09-30 2019-12-24 Fireeye, Inc. System and method for classifying malware within content created during analysis of a specimen
CN103761483A (zh) * 2014-01-27 2014-04-30 百度在线网络技术（北京）有限公司 恶意代码的检测方法及装置
US20160191678A1 (en) * 2014-12-27 2016-06-30 Jesse C. Brandeburg Technologies for data integrity of multi-network packet operations
US9794263B2 (en) * 2014-12-27 2017-10-17 Intel Corporation Technologies for access control
WO2016209426A1 (en) * 2015-06-26 2016-12-29 Mcafee, Inc. Systems and methods for routing data using software-defined networks
US10606844B1 (en) * 2015-12-04 2020-03-31 Ca, Inc. Method and apparatus for identifying legitimate files using partial hash based cloud reputation
CN106407400B (zh) * 2016-09-21 2019-08-06 中国科学院信息工程研究所 一种面向流式数据的实时摘要生成方法
EP3746891A4 (en) * 2018-01-31 2020-12-23 Aon Risk Consultants, Inc. SYSTEM AND PROCEDURES FOR EVALUATING THE VULNERABILITY AND PROVIDING RELATED SERVICES AND PRODUCTS FOR EFFICIENT RISK REDUCTION
US10965694B2 (en) * 2018-12-11 2021-03-30 Bank Of America Corporation Network security intrusion detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7774290B2 (en) * 2006-03-09 2010-08-10 Evolveware, Inc. Pattern abstraction engine
CN101159003A (zh) * 2007-11-16 2008-04-09 中国科学院软件研究所 数据库恶意事务处理方法及其系统
CN104685874A (zh) * 2012-07-27 2015-06-03 摩托罗拉移动有限责任公司 用于在高效率视频编解码中处理分区模式的设备和方法
CN103678520A (zh) * 2013-11-29 2014-03-26 中国科学院计算技术研究所 一种基于云计算的多维区间查询方法及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张目: ""IP数据流摘要方法和技术研究"", 《万方学位论文》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018054217A1 (zh) * 2016-09-21 2018-03-29 中国科学院信息工程研究所 一种摘要生成与网络流量检测的方法、系统及设备
US11546372B2 (en) 2016-09-21 2023-01-03 Institute Of Information Engineering, Chinese Academy Of Sciences Method, system, and apparatus for monitoring network traffic and generating summary
CN108268243A (zh) * 2018-01-30 2018-07-10 深圳职业技术学院 一种基于查找的复合域乘法装置
CN108268243B (zh) * 2018-01-30 2021-06-04 深圳职业技术学院 一种基于查找的复合域乘法装置
CN110363000A (zh) * 2019-07-10 2019-10-22 深圳市腾讯网域计算机网络有限公司 识别恶意文件的方法、装置、电子设备及存储介质
CN110363000B (zh) * 2019-07-10 2023-11-17 深圳市腾讯网域计算机网络有限公司 识别恶意文件的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US11546372B2 (en) 2023-01-03
WO2018054217A1 (zh) 2018-03-29
CN106407400B (zh) 2019-08-06
US20190253436A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
CN106407400B (zh) 一种面向流式数据的实时摘要生成方法
US20160048585A1 (en) Bloom filter with memory element
KR100834570B1 (ko) 실시간 상태 기반 패킷 검사 방법 및 이를 위한 장치
DE60308260T2 (de) Verfahren und Vorrichtung zum effizienten Vergleich von Antworten auf vorher vermittelte Anforderungen durch einen Netzknoten
CN110191428B (zh) 一种基于智能云平台的数据分配方法
US20100266215A1 (en) Variable-stride stream segmentation and multi-pattern matching
CN108491822A (zh) 一种基于嵌入式设备有限缓存的人脸检测去重方法
WO2014094441A1 (zh) 病毒检测方法及设备
Lee et al. Name prefix matching using bloom filter pre-searching for content centric network
CN113709110A (zh) 一种软硬结合的入侵检测系统及方法
CN102420771B (zh) 高速网络环境中提高tcp并发连接速度的方法
CN101316232B (zh) 基于网络协议版本6的分片重组方法
CN109660517B (zh) 异常行为检测方法、装置及设备
US7783688B2 (en) Method and apparatus to scale and unroll an incremental hash function
CN101026576A (zh) 兼顾匹配策略的处理分段报文串模式匹配的方法及装置
CN105407096A (zh) 基于流管理的报文数据检测方法
JP4297345B2 (ja) マスメイル検出方式およびメイルサーバ
KR102014741B1 (ko) Fpga 기반 고속 스노트 룰과 야라 룰 매칭 방법
CN103095718B (zh) 一种基于Hadoop的应用层协议特征提取方法
CN105721627B (zh) 一种ip网络流数据在线匿名化方法
CN104657383A (zh) 一种基于关联特性的重复视频检测方法与系统
CN113676379B (zh) 一种dns隧道检测方法、装置、系统及计算机存储介质
Sun et al. Rscam: Cloud-based anti-malware via reversible sketch
CN106656815A (zh) 用于处理虚拟网络报文的方法与设备
CN110868388B (zh) 用于操作联网设备的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant