CN105302851B - 一种基于文件序列化的自动机远程分发和初始化方法 - Google Patents

一种基于文件序列化的自动机远程分发和初始化方法 Download PDF

Info

Publication number
CN105302851B
CN105302851B CN201510572332.1A CN201510572332A CN105302851B CN 105302851 B CN105302851 B CN 105302851B CN 201510572332 A CN201510572332 A CN 201510572332A CN 105302851 B CN105302851 B CN 105302851B
Authority
CN
China
Prior art keywords
automatic machine
file
memory
end server
serializing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510572332.1A
Other languages
English (en)
Other versions
CN105302851A (zh
Inventor
何清林
马秀娟
孙昊良
吴昊
张良
王大伟
汪立东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Computer Network and Information Security Management Center
Original Assignee
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Computer Network and Information Security Management Center filed Critical National Computer Network and Information Security Management Center
Priority to CN201510572332.1A priority Critical patent/CN105302851B/zh
Publication of CN105302851A publication Critical patent/CN105302851A/zh
Application granted granted Critical
Publication of CN105302851B publication Critical patent/CN105302851B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供一种基于文件序列化的自动机远程分发和初始化方法，将位于内存的自动机序列化成本地文件，然后将序列化后的文件进行分发和快速部署，以替代原有的基于规则和特征的分发和部署方式。该方法包括步骤：S1.配置后端服务器，将特征和规则进行初始化生成自动机；S2.在所述后端服务器上将自动机序列化到本地，以文件形式存储；S3.配置分发网络和n台处理机，所述后端服务器将文件形式存在的自动机通过分发网络发送给所有需要进行匹配处理的处理机；S4.每台处理机都接收文件形式存在的自动机，并初始化到内存；S5.处理机根据新生成自动机进行特征的匹配和检测处理。

Description

一种基于文件序列化的自动机远程分发和初始化方法
技术领域
本发明涉及大规模分布式特征实时检测和匹配技术领域，尤其涉及到使用自动机匹配技术进行多模式子串匹配的分布式检测系统。
背景技术
互联网的飞速发展伴随着大量的网络攻击和恶意代码的传播，如何从海量的互联网流量中检测出这些攻击特征和恶意代码成为一个巨大的挑战。基于知名的开源引擎如SNORT，BRO等而形成的分布式特征检测与匹配系统是解决这个挑战的主要技术之一。而在这些分布式系统中，特征检测和匹配算法是其中的关键技术，基于自动机的匹配算法是众多匹配算法中的使用比较广泛的一种特征匹配算法。
原来自动机匹配算法的实现方式是先将所有的规则和特征分发到每一台处理机上，各自根据规则和特征初始化生成匹配自动机，然后基于自动机进行特征匹配。这种方式使得特征和规则暴露在所有的处理机上，形成安全隐患，而且每一台处理机都要进行同样的初始化过程，系统开销较大。
发明内容
本发明要解决的技术问题是提供一种基于文件序列化的自动机远程分发和初始化方法，将位于内存的自动机序列化成本地文件，然后将序列化后的文件进行分发和快速部署，以替代原有的基于规则和特征的分发和部署方式。
一种基于文件序列化的自动机远程分发和初始化方法，该方法包括步骤：
S1.配置后端服务器，将特征和规则进行初始化生成自动机；
S2.在所述后端服务器上将自动机序列化到本地，以文件形式存储；
S3.配置分发网络和n台处理机，所述后端服务器将文件形式存在的自动机通过分发网络发送给所有需要进行匹配处理的处理机；
S4.每台处理机都接收文件形式存在的自动机，并初始化到内存；
S5.处理机根据新生成自动机进行特征的匹配和检测处理。
本发明的有益效果：
本发明提供了一种可靠的自动机序列化方法，将位于内存的自动机序列化成本地文件，然后将序列化后的文件进行分发和快速部署，以替代原有的基于规则和特征的分发和部署方式。
具体实施方式
本发明提供了一种基于文件序列化的自动机远程分发和初始化方法，该方法包括步骤：
S1.配置后端服务器，将特征和规则进行初始化生成自动机；
S2.在后端服务器上将自动机序列化到本地，以文件形式存储；
S3.配置分发网络和n台处理机，后端服务器将文件形式存在的自动机通过分发网络发送给所有需要进行匹配处理的处理机；
S4.每台处理机都接收文件形式存在的自动机，并初始化到内存；
S5.处理机根据新生成自动机进行特征的匹配和检测处理；
其中，步骤S1之前还包括步骤：
A1.启动异步消息网络系统；
其中，步骤S1还包括步骤：
S1.1后端服务器在自动机算法实现时将其数据结构分成两类，一类是纯指针，一类是纯数据；所有的指针都指向纯数据部分的内存地址；
S1.2后端服务器开辟两块连续的内存，一块用来存放纯指针，一块用来存放纯数据；
S1.3后端服务器按照前面两点进行自动机的构建和初始化工作。
其中，步骤S2还包括步骤：
S2.1以下所有操作都在后端服务器上完成；
S2.2将存贮纯数据的内存内容直接以字符格式原样写出到文件file1里面，并在file1文件中记录下字符的总长度len1；这块内存的起始地址记为p0；
S2.3存储指针数据的内存起始地址为记为p1，对每一个指针i，其中0≤i<len2，计算偏移量offset[i]＝p1[i]–p0,将每一个偏移量以32位整数格式写入到文件file2中，并在file2记录下总偏移量的个数len2；
S2.4将file1和file2按照一定的格式封装，形成完整的自动机序列化后的文件。
其中，步骤S4还包括步骤：
S4.1以下所有操作都在处理机上完成；
S4.2收到自动机序列化文件后，首先从文件中获取len1的值，在内存中开辟len1长度的空间，将file1的字符内容原样写入到内存，并记录下这块内存的起始地址p2；
S4.3从自动机文件中获取len2的值，在内存开辟len2个连续的指针；从自动机文件中获取偏移量offset[i]，其中0≤i<len2，对每一个指针重新赋值offset[i]+p2；
S4.4至此，处理机上的自动机初始化工作完成。

Claims (4)

1.一种基于文件序列化的自动机远程分发和初始化方法，其特征在于，包括步骤：
S1.配置后端服务器，将特征和规则进行初始化生成自动机；
步骤S1还包括步骤：
S1.1后端服务器在自动机算法实现时将其数据结构分成两类，一类是纯指针，一类是纯数据；所有的指针都指向纯数据部分的内存地址；
S1.2后端服务器开辟两块连续的内存，一块用来存放纯指针，一块用来存放纯数据；
S1.3后端服务器按照前面两点进行自动机的构建和初始化工作；
S2.在所述后端服务器上将自动机序列化到本地，以文件形式存储；
S3.配置分发网络和n台处理机，所述后端服务器将文件形式存在的自动机通过分发网络发送给所有需要进行匹配处理的处理机；
S4.每台处理机都接收文件形式存在的自动机，并初始化到内存；
S5.处理机根据新生成自动机进行特征的匹配和检测处理。
2.如权利要求1所述的一种基于文件序列化的自动机远程分发和初始化方法，其特征在于，其中，步骤S1之前还包括步骤：
A1.启动异步消息网络系统。
3.如权利要求1所述的一种基于文件序列化的自动机远程分发和初始化方法，其特征在于，其中，步骤S2还包括步骤：
S2.1以下所有操作都在后端服务器上完成；
S2.2将存贮纯数据的内存内容直接以字符格式原样写出到文件file1里面，并在file1文件中记录下字符的总长度len1；这块内存的起始地址记为p0；
S2.3存储指针数据的内存起始地址为记为p1，对每一个指针i，其中0≤i<len2，计算偏移量offset[i]＝p1[i]–p0,将每一个偏移量以32位整数格式写入到文件file2中，并在file2记录下总偏移量的个数len2；
S2.4将file1和file2按照一定的格式封装，形成完整的自动机序列化后的文件。
4.如权利要求3所述的一种基于文件序列化的自动机远程分发和初始化方法，其特征在于，其中，步骤S4还包括步骤：
S4.1以下所有操作都在处理机上完成；
S4.2收到自动机序列化文件后，首先从文件中获取len1的值，在内存中开辟len1长度的空间，将file1的字符内容原样写入到内存，并记录下这块内存的起始地址p2；
S4.3从自动机文件中获取len2的值，在内存开辟len2个连续的指针；从自动机文件中获取偏移量offset[i]，其中0≤i<len2，对每一个指针重新赋值offset[i]+p2；
S4.4至此，处理机上的自动机初始化工作完成。
CN201510572332.1A 2015-09-10 2015-09-10 一种基于文件序列化的自动机远程分发和初始化方法 Expired - Fee Related CN105302851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510572332.1A CN105302851B (zh) 2015-09-10 2015-09-10 一种基于文件序列化的自动机远程分发和初始化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510572332.1A CN105302851B (zh) 2015-09-10 2015-09-10 一种基于文件序列化的自动机远程分发和初始化方法

Publications (2)

Publication Number Publication Date
CN105302851A CN105302851A (zh) 2016-02-03
CN105302851B true CN105302851B (zh) 2018-12-21

Family

ID=55200123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510572332.1A Expired - Fee Related CN105302851B (zh) 2015-09-10 2015-09-10 一种基于文件序列化的自动机远程分发和初始化方法

Country Status (1)

Country Link
CN (1) CN105302851B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038026A (zh) * 2017-02-28 2017-08-11 中国科学院信息工程研究所 一种增量式的自动机更新方法与系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255752A (zh) * 2011-06-30 2011-11-23 北京新媒传信科技有限公司 一种服务器集群的配置管理系统和方法
CN104036189A (zh) * 2014-05-16 2014-09-10 北京奇虎科技有限公司 页面篡改检测方法及黑链数据库生成方法
CN104134039A (zh) * 2014-07-24 2014-11-05 北京奇虎科技有限公司 病毒查杀方法、客户端、服务器以及病毒查杀系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8214977B2 (en) * 2008-05-21 2012-07-10 Symantec Corporation Centralized scanner database with optimal definition distribution using network queries

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255752A (zh) * 2011-06-30 2011-11-23 北京新媒传信科技有限公司 一种服务器集群的配置管理系统和方法
CN104036189A (zh) * 2014-05-16 2014-09-10 北京奇虎科技有限公司 页面篡改检测方法及黑链数据库生成方法
CN104134039A (zh) * 2014-07-24 2014-11-05 北京奇虎科技有限公司 病毒查杀方法、客户端、服务器以及病毒查杀系统

Also Published As

Publication number Publication date
CN105302851A (zh) 2016-02-03

Similar Documents

Publication Publication Date Title
US10686589B2 (en) Combining hashes of data blocks
KR20190099053A (ko) 블록체인에서 블록 데이터를 검증하기 위한 방법 및 장치
EP3534288A3 (en) Methods and systems for token-based anchoring of a physical object in a distributed ledger environment
CN104408381B (zh) 云存储中数据完整性保护方法
US10645105B2 (en) Network attack detection method and device
Gayoso Martínez et al. State of the art in similarity preserving hashing functions
CN111159697B (zh) 一种密钥检测方法、装置及电子设备
CN106712968B (zh) 密钥获取方法、数字签名方法和装置
Naik et al. A ransomware detection method using fuzzy hashing for mitigating the risk of occlusion of information systems
CN105468965A (zh) 一种动态堆栈内存管理方法
CN105302851B (zh) 一种基于文件序列化的自动机远程分发和初始化方法
US8909897B2 (en) Method for generating a delta for compressed data
CN109858249A (zh) 移动恶意软件大数据的快速智能比对和安全检测方法
CN110737633B (zh) 一种基于云管平台的资源管理方法及系统
CN108494759B (zh) 一种访问请求处理方法、系统、设备和存储介质
CN108256327B (zh) 一种文件检测方法及装置
Saini A survey on watermarking web contents for protecting copyright
Li et al. Practical analysis framework for software-based attestation scheme
CN105279434B (zh) 恶意程序样本家族命名方法及装置
US10514979B2 (en) Method and device for processing data
US10496377B1 (en) Method and system generating string based random permutation
Kishore et al. Faster file imaging framework for digital forensics
CN112861189A (zh) 签名的生成方法和验证方法、装置、设备和介质
Sankhyan et al. PDS-Phishing Detection Systems
CN112685740A (zh) 一种压缩包安全检测方法、装置、终端及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181221

Termination date: 20210910