CN117312707A - 一种基于动静特征结合的网站指纹生成方法 - Google Patents
一种基于动静特征结合的网站指纹生成方法 Download PDFInfo
- Publication number
- CN117312707A CN117312707A CN202311139298.XA CN202311139298A CN117312707A CN 117312707 A CN117312707 A CN 117312707A CN 202311139298 A CN202311139298 A CN 202311139298A CN 117312707 A CN117312707 A CN 117312707A
- Authority
- CN
- China
- Prior art keywords
- website
- website fingerprint
- dynamic
- static
- fingerprint generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003068 static effect Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 230000008846 dynamic interplay Effects 0.000 claims abstract description 6
- 230000004044 response Effects 0.000 claims description 23
- 235000014510 cooky Nutrition 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 abstract description 7
- 238000013461 design Methods 0.000 abstract description 6
- 238000010801 machine learning Methods 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013145 classification model Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002898 library design Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
- G06F16/986—Document structures and storage, e.g. HTML extensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种基于动静特征结合的网站指纹生成方法，具体步骤包括：基于黑盒测试，通过有限次查询的网站指纹识别方法，提取目标网站动态和静态特征；通过动态交互与静态匹配的网站指纹识别模型，生成网站指纹的特征值；将网站指纹特征值与专家网站指纹进行比较评估本发明通过对网站指纹本身的生成，可以将传统的基于网络安全专家人工的网站指纹设计与人工智能算法的网站指纹识别结合起来。有效提高网络安全专家对网站指纹的设计效率，并可以通过机器学习模型与特征提取算法不断优化迭代。
Description
技术领域
本发明属于网络空间安全技术领域，涉及一种基于动静特征结合的网站指纹生成方法。
背景技术
Web框架网站指纹识别是目前Web安全中的一个重要研究方向，准确地识别目标网站的Web框架是对目标资产进行渗透测试或对网络空间进行测绘的重要方法之一。因为大多数Web框架存在不同程度的安全风险，通过识别目标站点的Web框架并使用特殊的攻击手段，可以高效地获取网站高级权限或敏感信息。同时，网站监管者与运营者也可以通过Web框架网站指纹识别技术，及时修复存在已知安全漏洞的站点。由于Web框架大多数并不会主动提供自己的网站指纹或者标签，因此网络安全研究者需要研究网站页面或网站行为，并从中找到该框架与众不同的特征。
为了实现高效的Web框架网站指纹识别，研究者通常会采用多种技术手段。其中一种比较常见的方式是通过分析HTTP响应中的特定信息来进行判断。此外，还可以通过分析网站的HTML结构、CSS文件以及JavaScript代码等来获取更准确的信息。除了传统的手动识别方法外，近年来也涌现出了各种自动化的Web框架网站指纹识别工具。这些工具通常基于机器学习、深度学习等领域的算法，能够自动从网站中提取特征，并通过预训练好的模型进行分类和判断。
然而，国内外已有的Web框架网站指纹识别库存在网站指纹选取不合理、识别库设计方案缺少优化、研究者需要投入更多的时间和精力去探索框架深度的特征以及部分网站指纹存在时效性等多种问题，导致Web框架网站指纹信息识别不全面、调用不方便且扫描效率较低且很少进行后续迭代更新。本发明尝试通过基于动静特征结合的方式，提出一种自动化生成Web框架网站指纹识别库的设计和实现方法。该方法综合考虑静态特征和动态特征两方面，旨在获取更全面、高效、准确的Web框架网站指纹信息。同时，在网站指纹选取方面，本发明结合传统网站指纹识别算法与机器学习模型等技术，优化网站指纹的选取流程，从海量网站中提取出更具代表性、稳定性的网站指纹信息。
发明内容
针对已有的Web框架网站指纹识别库存在网站指纹选取不合理、识别库设计方案缺少优化、研究者需要投入更多的时间和精力去探索框架深度的特征以及部分网站指纹存在时效性等情况，本发明阐述出一种自动化生成Web框架网站指纹识别库的设计和实现方案。相对已有的网站网站指纹识别，该方案将综合考虑静态特征和动态特征两方面，旨在获取更全面、高效、准确的Web框架网站指纹信息。它的实现步骤分为：基于黑盒测试，提取网站动静态特征；结合动态过滤扫描模型生成网站指纹；生成式网站指纹与专家网站指纹比较并评估其网站指纹生成效果。
为了达到上述目的，本发明提供如下技术方案：
一种自动化生成Web框架网站指纹识别库的设计和实现方案包括以下步骤：
(1)基于黑盒测试，通过有限次查询的网站指纹识别方法，提取目标网站动态和静态特征，从报文头与网站HTML内容中获取Web框架特征。
(2)使用步骤(1)中的动静态特征提取过程，通过动态交互与静态匹配的网站指纹识别模型，生成网站指纹的特征值。
(3)将步骤(2)生成的网站指纹特征值与专家网站指纹进行比较评估。
进一步地，所述步骤(1)具体包括如下子步骤：
(1.1)动态特征主要为报文的响应头特征与Cookie值特征。在对响应头的内容结构提取特征时，通过对响应头的标签关系赋予优先级与特征权重，可以快速获得响应头特征。
(1.2)对于Cookie，通过分析其名称、值、过期时间(Expires/Max-Age)、路径、域名等属性以确定是否可作为目标网站指纹特征。本方案主要采集Cookie名称，利用预设的特殊Cookie名对Web框架进行准确识别。
(1.3)提取静态特征时，首先从关键位置提取存在作为关键词可能性的字符串。之后根据关键词对象的类型，主要将统计对象分为两类：资源特征与文本。
(1.4)通过对引用资源的路径分析，利用莱文斯坦距离与最长公共子串算法，并利用词袋模型将相似性较高且出现率较高的关键路径作为网站指纹特征。
(1.5)在网站文本信息的分析中，考虑到不同语种的词法差异，此方案有针对性地构建了分词模型并使用TF-IDF与词袋模型筛选网站文本中有代表性的词汇作为关键词特征。
进一步地，所述步骤(1.1)具体包括如下子步骤：
(1.1.1)对响应头内容数据主要提取三类特征：关系特征、间接特征和直接特征。
在关系特征中，两个内容数据di,dj，对标签A的权重计算为：
在间接特征中，两个内容数据di,dj，对类别B，即标签Server所代表的所有服务器类型的权重计算如下，其中k为对所有服务器类型的枚举：
Bi,j＝(∑di＝＝dj,k∈B)
对于直接特征则直接记录在待选Web框架类型中。
(1.1.2)响应头内容特征提取时按照直接特征，间接特征，关系特征的顺序依次选择。对于直接特征我们仅考虑是否存在，若存在则直接作为响应头特征，反之，通过计算强调间接特征。D为关系特征中标签的总数，Ci,j,k为内容数据i，j在服务器类别k下的特征权重，Sk为服务器类别k的总权重。选择权重最高的服务器类别作为响应头特征。
进一步地，所述步骤(1.4)具体包括如下子步骤：
(1.4.1)在比较不同Web站点间的相似性时，对链接进行了预处理，去除了版本信息、参数等与特征提取关系较小的内容，以避免无效字符影响相似性检测。
(1.4.2)计算字符串a，b之间的莱文斯坦距离lev(a,b)，表示将一个字符串更改为另一个字符串所需的最小字符编辑(插入、删除或者替换)次数。
(1.4.3)计算字符串a,b的最长公共字符串长度LCS(a,b)。
(1.4.4)对步骤(1.4.2)得到的莱文斯坦距离设置相似度，Sim(a,b)代表两个有效文本之间的相似度，值域为[0,1]，越接近1表示两个文本越相似，有效文本定义为对于字符串a,b的最长公共子串长度大于某个固定值。将阈值设置为0.70，固定值设置为8，统计大于此数值的最长公共子串。利用词袋模型统计出现次数最多的复数个子串，并记录为资源引用类型的关键词。从参考公式为：
进一步地，所述步骤(1.5)具体包括如下子步骤：
(1.5.1)对HTML中的文本信息提取后，将特殊变量名、网站框架声明和文本关键词作为网站指纹关键词。首先需要对中文文本在自然语言分析后进行分词处理。
(1.5.2)之后利用TF-IDF算法对所有中英文词汇进行分析。使用TF(词频)来量化某个词在文章中出现的次数，再使用一个语料库模拟语言，来量化某个词在的实际使用环境下的出现频率，将两个频率数值相乘获得TF-IDF数值，数值越大，代表该单词越能作为所属文档的特征关键词。
(1.5.3)由于TF-IDF对短文本的关键词可能存在一定的误判现象，此方案对样本较少的网站文本使用词袋模型进行统计，将文本表示为一个稀疏的向量，其中向量的每个维度代表一个单词，而向量中的值则是该单词在文本中出现的次数。通过向量值选择向量值最高的几个词汇作为关键词。
进一步地，所述步骤(2)具体包括如下子步骤：
(2.1)相比传统的动态扫描模型，此方案增加了过滤模块，在对网站进行网站指纹匹配之前，首先会载入过滤器，当网站满足过滤器条件之后，再载入具体的网站指纹规则进行匹配。通过使用过滤器，将传统的遍历搜索改变为基于过滤条件的启发式搜索。
(2.2)对步骤(2.1)中满足过滤器条件的网站，使用步骤(1)提取的动态和静态特征值进行静态数据匹配。
(2.3)对步骤(2.2)的匹配结果进行短路匹配后返回结果，同时利用短路匹配结果选择下一个网站路径。
进一步地，所述步骤(3)具体包括如下子步骤：
(3.1)将步骤(2)得到的特征值作为假设性网站指纹，按照选择的网站指纹模板规则生成网站指纹。
(3.2)将步骤(3.2)中生成式网站指纹与网站对应的安全专家网站指纹识别结果进行比较，计算生成式网站指纹的识别准确率，计算方法为：
TP表示使用生成式网站指纹与安全专家网站指纹认为目标网站为某Web框架的数量，FP表示使用生成式网站指纹未识别出目标网站未某Web框架，但使用安全专家网站指纹识别出该网站为目标框架，FP表示使用生成式网站指纹识别出目标网站为某Web框架，但使用安全专家网站指纹未识别出，TN表示使用生成式网站指纹与专家网站指纹同时未识别出目标网站为某Web框架。
与现有技术相比，本发明具有如下优点和有益效果：
(1)在网站匹配过程中，可以减少查询次数，降低网站指纹匹配算法的计算量。
(2)只需要通过少量的人工审查工作，就能够使生成式网站指纹的识别准确率非常接近使用网络安全专家所设计的Web框架网站指纹对网站的识别结果。
附图说明
图1为响应头特征提取算法流程。
图2为文本关键词特征提取流程。
图3为中文分词处理算法流程。
图4为传统动态扫描模型(左)动态过滤扫描模型(右)对比。
图5为在采集的10000个网络链接中对有效链接的Web框架识别准确率。
图6为网站指纹生成的主要流程。
具体实施：
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明提出了一种基于动静特征结合的网站指纹生成模型的实现方法，实现步骤如图6所示，包括三个部分，第一部分为黑盒测试，具体内容为通过有限次查询的网站指纹识别方法，提取目标网站动态和静态特征，从报文头与网站HTML内容中获取Web框架特征。第二部分为机器网站指纹的生成，黑盒测试中的动静态特征提取过程，通过动态交互与静态匹配的网站指纹识别模型，生成网站网站指纹的特征值。第三部分为将生成的网站指纹特征值与专家网站指纹进行比较评估。
具体地说，本发明有以下步骤：
(1)基于黑盒测试，通过有限次查询的网站指纹识别方法，提取目标网站动态和静态特征，从报文头与网站HTML内容中获取Web框架特征。
本步骤的具体过程如下：
(1.1)动态特征主要为报文的响应头特征与Cookie值特征。在对响应头的内容结构提取特征时，通过对响应头的标签关系赋予优先级与特征权重，可以快速获得响应头特征，具体过程如下：
(1.1.1)对响应头内容数据主要提取三类特征：关系特征、间接特征和直接特征。
在关系特征中，两个内容数据di,dj，对标签A的权重计算为：
在间接特征中，两个内容数据di,dj，对类别B，即标签Server所代表的所有服务器类型的权重计算如下，其中k为对所有服务器类型的枚举：
Bi,j＝(∑di＝＝dj,k∈B)
对于直接特征则直接记录在待选Web框架类型中。
(1.1.2)响应头内容特征提取时按照直接特征，间接特征，关系特征的顺序依次选择。对于直接特征我们仅考虑是否存在，若存在则直接作为响应头特征，反之，通过计算强调间接特征。D为关系特征中标签的总数，Ci,j,k为内容数据i，j在服务器类别k下的特征权重，Sk为服务器类别k的总权重。选择权重最高的服务器类别作为响应头特征。
(1.2)对于Cookie，通过分析其名称、值、过期时间(Expires/Max-Age)、路径、域名等属性以确定是否可作为目标网站指纹特征。本方案主要采集Cookie名称，利用预设的特殊Cookie名对Web框架进行准确识别。
(1.3)提取静态特征时，首先从关键位置提取存在作为关键词可能性的字符串。之后根据关键词对象的类型，主要将统计对象分为两类：资源特征与文本。
(1.4)通过对引用资源的路径分析，利用莱文斯坦距离与最长公共子串算法，并利用词袋模型将相似性较高且出现率较高的关键路径作为网站网站指纹特征，具体过程如下：
(1.4.1)在比较不同Web站点间的相似性时，对链接进行了预处理，去除了版本信息、参数等与特征提取关系较小的内容，以避免无效字符影响相似性检测。
(1.4.2)计算字符串a，b之间的莱文斯坦距离lev(a,b)，表示将一个字符串更改为另一个字符串所需的最小字符编辑(插入、删除或者替换)次数。
(1.4.3)计算字符串a,b的最长公共字符串长度LCS(a,b)。
(1.4.4)对步骤(1.4.2)得到的莱文斯坦距离设置相似度，Sim(a,b)代表两个有效文本之间的相似度，值域为[0,1]，越接近1表示两个文本越相似，有效文本定义为对于字符串a,b的最长公共子串长度大于某个固定值。将阈值设置为0.70，固定值设置为8，统计大于此数值的最长公共子串。利用词袋模型统计出现次数最多的复数个子串，并记录为资源引用类型的关键词。从参考公式为：
(1.5)在网站文本信息的分析中，考虑到不同语种的词法差异，此方案有针对性地构建了分词模型并使用TF-IDF与词袋模型筛选网站文本中有代表性的词汇作为关键词特征，具体过程如下：
(1.5.1)对HTML中的文本信息提取后，将特殊变量名、网站框架声明和文本关键词作为网站指纹关键词。首先需要对中文文本在自然语言分析后进行分词处理。
(1.5.2)之后利用TF-IDF算法对所有中英文词汇进行分析。使用TF(词频)来量化某个词在文章中出现的次数，再使用一个语料库模拟语言，来量化某个词在的实际使用环境下的出现频率，将两个频率数值相乘获得TF-IDF数值，数值越大，代表该单词越能作为所属文档的特征关键词。
(1.5.3)由于TF-IDF对短文本的关键词可能存在一定的误判现象，此方案对样本较少的网站文本使用词袋模型进行统计，将文本表示为一个稀疏的向量，其中向量的每个维度代表一个单词，而向量中的值则是该单词在文本中出现的次数。通过向量值选择向量值最高的几个词汇作为关键词。
(2)使用步骤(1)中的动静态特征提取过程，通过动态交互与静态匹配的网站指纹识别模型，生成网站网站指纹的特征值。
本步骤具体包含以下过程：
(2.1)相比传统的动态扫描模型，此方案增加了过滤模块，在对网站进行网站指纹匹配之前，首先会载入过滤器，当网站满足过滤器条件之后，再载入具体的网站指纹规则进行匹配。通过使用过滤器，将传统的遍历搜索改变为基于过滤条件的启发式搜索。
(2.2)对步骤(2.1)中满足过滤器条件的网站，使用步骤(1)提取的动态和静态特征值进行静态数据匹配。
(2.3)对步骤(2.2)的匹配结果进行短路匹配后返回结果，同时利用短路匹配结果选择下一个网站路径。
(3)将步骤(2)生成的网站指纹特征值与专家网站指纹进行比较评估。
本步骤具体包含以下过程：
(3.1)将步骤(2)得到的特征值作为假设性网站指纹，按照选择的网站指纹模板规则生成网站指纹。
(3.2)将步骤(3.2)中生成式网站指纹与网站对应的安全专家网站指纹识别结果进行比较，计算生成式网站指纹的识别准确率，计算方法为：
TP表示使用生成式网站指纹与安全专家网站指纹认为目标网站为某Web框架的数量，FP表示使用生成式网站指纹未识别出目标网站未某Web框架，但使用安全专家网站指纹识别出该网站为目标框架，FP表示使用生成式网站指纹识别出目标网站为某Web框架，但使用安全专家网站指纹未识别出，TN表示使用生成式网站指纹与专家网站指纹同时未识别出目标网站为某Web框架。
在评估实验中，从开源项目与平台上获取到了2118种Web框架简洁的网站指纹信息，并选其中20个样本数据充足且网站指纹特征能很好覆盖所有网站指纹类型的Web框架系统，并通过FOFA采集可能为对应应用框架的网站信息，通过FOFA平台我们采集了100000个网站链接，其中有效的大概有60000个，之后通过使用大规模网站分类模型对所有的网站进行数据分类并筛选出不同类型框架的有效URL数据条目，参考表4.2，然后使用网站指纹生成算法对根据有效数据生成表格中的Web框架网站指纹用于后续评估验证。最后，通过迭代循环运行大规模网站分类模型——网站指纹生成算法——网站指纹评估模块——大规模网站分类模型……，最终获得了每一个Web框架的识别准确率与总准确率。每一个Web框架的识别准确率是根据机器网站指纹与安全专家网站指纹对比，以安全专家网站指纹为参照，假设安全专家网站指纹的识别结果一定是正确的，来得出识别准确率。
从数据中我们可以很明显地能看出Web框架网站指纹系统能够有效地生成识别准确率很高的网站指纹数据，对于每种框架，生成的网站指纹准确率皆高于99％。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (7)
1.一种基于动静特征结合的网站指纹生成方法，其特征在于，包括如下步骤：
(1)开发基于动态特征的网站指纹生成技术；
(2)开发基于静态特征的网站指纹生成技术；
(3)基于动态过滤扫描器结构，运用步骤(1)和步骤(2)的网站指纹生成技术，得到一个动态交互与静态匹配的网站指纹生成模型。
2.根据权利要求1所述的基于动静特征结合的网站指纹生成方法，其特征在于，所述步骤(1)具体包括如下子步骤：
(1.1)响应头特征提取；
(1.2)Cookies特征提取。
3.根据权利要求2所述的基于动静特征结合的网站指纹生成方法，其特征在于，所述步骤(1.1)具体包括如下子步骤：
(1.1.1)获取响应头内容特征，包括关系特征、间接特征和直接特征三类；
对于关系特征，计算报文头中是否存在该标签，标签的权重计算公式为：
对于间接特征建立字典，记录其所对应的具体标签并编码，权重计算公式为：
Bi,j＝(∑di＝＝dj,k∈B)
对于直接特征，直接记录在待选Web框架类型中；
(1.1.2)获取响应头结构特特征，记录响应头标签数据的顺序特征和不同协议下HTTP请求的状态码定义值，为(1.1.1)的间接特征即Server标签提供数据支撑；
(1.1.3)综合考虑(1.1.1)和(1.1.2)的结果，直接特征存在时将其直接作为响应头特征，反之则通过计算获得响应头特征，计算公式为：
4.根据权利要求2所述的基于动静特征结合的网站指纹生成方法，其特征在于，所述步骤(1.2)具体要求为：
采集网站的Cookie名称作为主要特征，并利用预设的特殊Cookie名对不同的Web框架进行准确识别。
5.根据权利要求1所述的基于动静特征结合的网站指纹生成方法，其特征在于，所述步骤(2)具体包括如下步骤：
(2.1)关键词特征提取。
6.根据权利要求5所述的基于动静特征结合的网站指纹生成方法，其特征在于，所述步骤(2.1)具体包括如下子步骤：
(2.1.1)获取关键词位置特征：从关键位置提取存在作为关键词可能性的字符串；
(2.1.2)获取资源引用字符串特征：使用莱文斯距离lev和最长公共子串lcs来计算资源引用字符串之间的相似度，a、b两个有效文本之间的相似度计算公式为：
并利用词袋模型统计出相似度高于设定阈值且出现次数最多的复数个子串，作为资源引用类型的关键词；
(2.1.3)获取网页文本信息特征，包括特殊变量名、网站框架声明和文本关键词三类：
对于特殊变量名特征，通过建立保留词和常用词名单，去除对识别无效的字符串和特殊字符后记录关键词；
对于网站框架声明特征，直接记录关键词；
对于高频文本关键词特征，利用TF-IDF和词袋模型，提取英文文本和经过基于前缀词典的DAG路径分词算法处理后的中文文本的关键词特征并记录。
7.根据权利要求1所述的基于动静特征结合的网站指纹生成方法，其特征在于，所述步骤(3)具体包括如下子步骤：
(3.1)网站指纹模板设计：针对动静特征结合的网站指纹生成技术，指定满足在网站指纹识别中对动静态信息的匹配的网站指纹模板；
(3.2)过滤器配置：根据网站指纹生成的具体要求制定过滤条件，对每一个路径使用过滤器；
(3.3)网站指纹生成：以(3.2)的结果为网站指纹模板，对于满足(3.2)过滤器条件的网站，运用步骤(1)和步骤(2)的动静态网站指纹生成技术，生成针对该网站的动态交互与静态匹配的网站指纹特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311139298.XA CN117312707A (zh) | 2023-09-05 | 2023-09-05 | 一种基于动静特征结合的网站指纹生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311139298.XA CN117312707A (zh) | 2023-09-05 | 2023-09-05 | 一种基于动静特征结合的网站指纹生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117312707A true CN117312707A (zh) | 2023-12-29 |
Family
ID=89254506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311139298.XA Pending CN117312707A (zh) | 2023-09-05 | 2023-09-05 | 一种基于动静特征结合的网站指纹生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117312707A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597490A (zh) * | 2020-05-21 | 2020-08-28 | 深圳前海微众银行股份有限公司 | Web指纹识别方法、装置、设备及计算机存储介质 |
| CN112261645A (zh) * | 2020-10-16 | 2021-01-22 | 北京锐驰信安技术有限公司 | 一种基于分组分域的移动应用指纹自动化提取方法及系统 |
| CN114154043A (zh) * | 2021-12-07 | 2022-03-08 | 深信服科技股份有限公司 | 网站指纹的计算方法、系统、存储介质和终端 |
| US20220188699A1 (en) * | 2017-08-24 | 2022-06-16 | Bombora, Inc. | Machine learning techniques for web resource fingerprinting |
| CN114826671A (zh) * | 2022-03-18 | 2022-07-29 | 中国人民解放军国防科技大学 | 一种基于指纹的分层匹配的网络资产识别方法及装置 |
| CN115437930A (zh) * | 2022-08-31 | 2022-12-06 | 武汉思普崚技术有限公司 | 网页应用指纹信息的识别方法及相关设备 |
| CN115858878A (zh) * | 2022-10-24 | 2023-03-28 | 《中华医学杂志》社有限责任公司 | 一种分层机构名称多维匹配方法、装置、设备及存储介质 |
| CN115941280A (zh) * | 2022-11-10 | 2023-04-07 | 北京源堡科技有限公司 | 基于web指纹信息的渗透方法、装置、设备及介质 |
-
2023
- 2023-09-05 CN CN202311139298.XA patent/CN117312707A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220188699A1 (en) * | 2017-08-24 | 2022-06-16 | Bombora, Inc. | Machine learning techniques for web resource fingerprinting |
| CN111597490A (zh) * | 2020-05-21 | 2020-08-28 | 深圳前海微众银行股份有限公司 | Web指纹识别方法、装置、设备及计算机存储介质 |
| CN112261645A (zh) * | 2020-10-16 | 2021-01-22 | 北京锐驰信安技术有限公司 | 一种基于分组分域的移动应用指纹自动化提取方法及系统 |
| CN114154043A (zh) * | 2021-12-07 | 2022-03-08 | 深信服科技股份有限公司 | 网站指纹的计算方法、系统、存储介质和终端 |
| CN114826671A (zh) * | 2022-03-18 | 2022-07-29 | 中国人民解放军国防科技大学 | 一种基于指纹的分层匹配的网络资产识别方法及装置 |
| CN115437930A (zh) * | 2022-08-31 | 2022-12-06 | 武汉思普崚技术有限公司 | 网页应用指纹信息的识别方法及相关设备 |
| CN115858878A (zh) * | 2022-10-24 | 2023-03-28 | 《中华医学杂志》社有限责任公司 | 一种分层机构名称多维匹配方法、装置、设备及存储介质 |
| CN115941280A (zh) * | 2022-11-10 | 2023-04-07 | 北京源堡科技有限公司 | 基于web指纹信息的渗透方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108416034B (zh) | 基于金融异构大数据的信息采集系统及其控制方法 | |
| CN111881398B (zh) | 页面类型确定方法、装置和设备及计算机存储介质 | |
| CN109948154B (zh) | 一种基于邮箱名的人物获取及关系推荐系统和方法 | |
| CN111460803B (zh) | 基于工业物联网设备Web管理页面的设备识别方法 | |
| CN111339457B (zh) | 用于从网页抽取信息的方法和设备及存储介质 | |
| CN113254601A (zh) | 面向知识产权的科技资源画像构建方法、装置和存储介质 | |
| US8606810B2 (en) | Information analyzing device, information analyzing method, information analyzing program, and search system | |
| CN115718792A (zh) | 一种基于自然语义处理和深度学习的敏感信息提取方法 | |
| CN115759071A (zh) | 基于大数据的政务敏感信息识别系统和方法 | |
| CN106372232B (zh) | 基于人工智能的信息挖掘方法和装置 | |
| Wang et al. | Multi-modal transformer using two-level visual features for fake news detection | |
| CN108829898B (zh) | Html内容页发布时间提取方法和系统 | |
| CN113111645B (zh) | 一种媒体文本相似性检测方法 | |
| CN115801455B (zh) | 一种基于网站指纹的仿冒网站检测方法及装置 | |
| KR102483004B1 (ko) | 유해 url 탐지 방법 | |
| Feng et al. | Detecting phishing webpages via homology analysis of webpage structure | |
| CN114238735B (zh) | 一种互联网数据智能采集方法 | |
| CN117312707A (zh) | 一种基于动静特征结合的网站指纹生成方法 | |
| Pu et al. | A vision-based approach for deep web form extraction | |
| Gkotsis et al. | Self-supervised automated wrapper generation for weblog data extraction | |
| CN109597879B (zh) | 一种基于“引文关系”数据的业务行为关系抽取方法及装置 | |
| CN113157857A (zh) | 面向新闻的热点话题检测方法、装置及设备 | |
| Ge et al. | Webpage Matching Based on Visual Similarity. | |
| CN115587364B (zh) | 基于前后端关联性分析的固件漏洞输入点定位方法及装置 | |
| CN114598526B (zh) | 结构化查询语言注入检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |