CN116108880A - 随机森林模型的训练方法、恶意网站检测方法及装置 - Google Patents
随机森林模型的训练方法、恶意网站检测方法及装置 Download PDFInfo
- Publication number
- CN116108880A CN116108880A CN202310383191.3A CN202310383191A CN116108880A CN 116108880 A CN116108880 A CN 116108880A CN 202310383191 A CN202310383191 A CN 202310383191A CN 116108880 A CN116108880 A CN 116108880A
- Authority
- CN
- China
- Prior art keywords
- website
- malicious
- training
- random forest
- forest model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 76
- 238000007637 random forest analysis Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000010606 normalization Methods 0.000 claims abstract description 14
- 238000002372 labelling Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 abstract description 8
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000003068 static effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 241000700605 Viruses Species 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
- H04L63/1483—Countermeasures against malicious traffic service impersonation, e.g. phishing, pharming or web spoofing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开的实施例提供了一种随机森林模型的训练方法、恶意网站检测方法及装置，涉及数据处理领域。所述方法包括：获取恶意网站数据集中样本的网站特征参数；对各样本网站特征参数的内容进行归一化处理并进行特征拼接；根据归一化处理及特征拼接后的网站特征参数以及样本对应的标签，生成训练集；利用所述训练集对随机森林模型进行训练。以此方式，可以实现从多个维度上对恶意网站进行分析预测，并通过随机森林模型实现针对恶意网站的准确预测和分类。
Description
技术领域
本公开涉及数据处理领域，尤其涉及一种随机森林模型的训练方法、恶意网站检测方法及装置。
背景技术
恶意网站指故意在计算机系统上执行恶意任务的病毒、蠕虫和特洛伊木马等的非法网站。这类网站通常都有一个共同特点，他们通常情况下是以某种网页形式可以让人们正常浏览页面内容，同时非法获取电脑里面的各种数据。
恶意网站严重影响人们日常对计算机的使用，目前，面对互联网中每日激增的恶意网站事件，迫切需要一种能够有效检测出包含钓鱼网站等恶意链接的方法。
发明内容
本公开提供了一种随机森林模型的训练方法、恶意网站检测方法及装置。
根据本公开的第一方面，提供了一种随机森林模型的训练方法，该方法包括：
获取恶意网站数据集中样本的网站特征参数；
对各样本网站特征参数的内容进行归一化处理并进行特征拼接；
根据归一化处理及特征拼接后的网站特征参数以及样本对应的标签，生成训练集；
利用所述训练集对随机森林模型进行训练。
在第一方面的一些实现方式中，所述网站特征是根据恶意网站数据集中对样本的标签，以及各样本在对应特征的参数分布情况，从多个特征中确定的。
在第一方面的一些实现方式中，所述根据恶意网站数据集中对样本的标签，以及各样本在对应特征的参数分布情况，从多个特征中确定包括：
分别将标签为恶意的样本和标签为正常的样本以可以区分的参数标注方式在各特征中进行可视化标注；
根据标签为恶意的样本和标签为正常的样本在数值上是否有显著性差异确定对应特征是否为网站特征，若有，则确定对应特征为网站特征，若没有，则舍弃对应特征。
在第一方面的一些实现方式中，所述网站特征包括：
基于地址的功能、基于异常的特征、基于HTML源码的特性、基于领域的特性中的一个或多个。
在第一方面的一些实现方式中，还包括标注网站特征参数，包括：
对于只需判定是或否的具体特征，用0或1标注，其中，0为正常，1为恶意；其余网站特征参数中，数值越高则恶意程度越高。
在第一方面的一些实现方式中，还包括：当恶意网站数据集中标签为恶意的样本和标签为正常的样本数量不平衡时，对少数标签对应的样本根据已知样本进行过采样。
根据本公开的第二方面，提供了一种恶意网站检测方法，该方法包括：
将待检测网站的网站特征参数输入采用上述随机森林模型的训练方法训练得到的随机森林模型，根据随机森林模型输出的标签判断是否为恶意网站。
在第二方面的一些实现方式中，还包括更新训练集样本，包括：
当随机森林模型无法输出特征时，标记对应网站的网站特征参数，并对对应网站加标签，将对应的网站特征参数及标签存入训练集。
根据本公开的第三方面，提供了一种随机森林模型的训练装置，该装置包括：
获取单元，用于获取恶意网站数据集中样本的网站特征参数；
参数处理单元，用于对各样本网站特征参数的内容进行归一化处理并进行特征拼接；
训练集生成单元，用于根据归一化处理及特征拼接后的网站特征参数以及样本对应的标签，生成训练集；
模型训练单元，用于利用所述训练集对随机森林模型进行训练。
根据本公开的第四方面，提供了一种恶意网站检测装置，该装置包括：
模型生成单元，用于采用上述随机森林模型的训练方法训练随机森林模型；
检测单元，用于将待检测网站的网站特征参数输入训练后的随机森林模型，根据随机森林模型输出的标签判断是否为恶意网站。
本公开将各样本网站特征参数的内容进行归一化处理并进行特征拼接生成训练集，以此训练随机森林模型，实现从多个维度上对恶意网站进行分析预测。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。附图用于更好地理解本方案，不构成对本公开的限定。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1是本公开实施例提供的一种随机森林模型的训练方法的流程图；
图2是本公开实施例提供的网站特征标注示意图；
图3是本公开实施例提供的一种恶意网站检测方法的流程图；
图4是本公开实施例提供的一种随机森林模型的训练装置的框图；
图5是本公开实施例提供的一种恶意网站检测装置的框图；
图6是本公开实施例提供的一种示例性电子设备的方框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
目前，恶意网站严重影响人们日常对计算机的使用，而现有技术中还没有一种能够准确识别恶意网站的方式。且恶意网站形式变化多样，机器难以识别。为此，本公开将恶意网站与正常网站的静态特征进行对比，并将对比结果生成训练集对随机森林模型进行训练，使随机森林模型能够准确识别恶意网站，实现从多个维度上对恶意网站进行分析预测。
图1是本公开实施例提供的一种随机森林模型的训练方法100的流程图。
如图1所示，所述随机森林模型的训练方法100包括：
S101: 获取恶意网站数据集中样本的网站特征参数；
所述恶意网站数据集即收集有正常网站及恶意网站的数据集，所述恶意网站数据集对正常网站和恶意网站均标有标签，在本公开一些实施例中，选用UCI的开源恶意网站数据集。
本公开中，所述网站特征的含义为：针对网站的各种判断标准，以下简称为特征。
所述网站特征参数的含义为：网站各种判断标准下的得分，以下简称为参数。
在一些实施例中，所述网站特征是根据恶意网站数据集中对样本的标签，以及各样本在对应特征的参数分布情况，从多个特征中确定的。
可以理解的是，恶意网站数据集中的样本及对应标签来自于用户上传或开发者自行收集，用户上传或开发者收集时，判断恶意网站的方式为在网站中发现了病毒、蠕虫和特洛伊木马等。
然而，随机森林模型无法查找网站中的病毒，因此本公开针对网站中明显的静态特征进行分析，以此区分正常网站或恶意网站，但正常网站和恶意网站之间可能有许多特征是相似的，因此，仅仅观察其中一个特征并不能够分辨正常网站与恶意网站，需要对网站进行多维度分析，因此，所述多个特征应当能够从不同角度反映网站的特征，如网站长度、特殊字符等。
根据本公开的实施例，由于网站特征是从多个特征中确定的，因此从多维度反映了恶意网站的特征，便于随机森林模型从不同维度进行学习，从而精准识别恶意网站。
在一些实施例中，所述根据恶意网站数据集中对样本的标签，以及各样本在对应特征的参数分布情况，从多个特征中确定包括：
分别将标签为恶意的样本和标签为正常的样本以可以区分的参数标注方式在各特征中进行可视化标注；
根据标签为恶意的样本和标签为正常的样本在数值上是否有显著性差异确定对应特征是否为网站特征，若有，则确定对应特征为网站特征，若没有，则舍弃对应特征。
其中，图2是本公开实施例提供的网站特征标注示意图。
如图2所示，各图分别对应一个特征，如第一行自左向右为网站中点数、子域级别，纵坐标为正常网站与恶意网站分别对应的特征参数，此过程即为可视化标注。
然后根据标签为恶意的样本和标签为正常的样本在数值上是否有明显的分界确定对应特征是否为网站特征。以路径级别为例，从图2中可以看出，无论是正常网站还是恶意网站，路径级别分布都呈现正态分布，且数值范围相等，因此，正常网站与恶意网站在该特征上没有明显分界，即根据路径级别无法判断正常网站或恶意网站，应当舍弃该特征。再以网址长度为例，从图2中可以看出，正常网站的点数大多数在75个字符以内，恶意网站则在75个字符以上，因此，正常网站与恶意网站在该特征上有明显分界，即根据网址长度可以判断正常网站或恶意网站，应当保留该特征。可以看出，在图2中，由于横坐标轴对应的是特征，因此，所述标签为恶意的样本和标签为正常的样本在数值上是否有明显的分界，其实是看横坐标轴上是否有明显的分界。可以理解的是，除了本公开图2中的可视化标注方式，其余能够区分恶意与正常网站的可视化标注方式也是本公开可以接受的，其余可视化标注方式包括但不限于：横纵坐标转换，折线图标注，饼图标注。
在一些实施例中，还可以采用聚类算法辅助分类，如将样本生成向量，然后采用余弦相似度公式计算标签为正常的样本和标签为恶意的样本的相似度，按照相似度判断是否应当保留对应特征，具体的，可以设置阈值，若相似度大于等于阈值，则舍弃对应特征，若相似度小于阈值，则保留对应特征。
根据本公开的实施例，将无法区分正常与恶意网站的特征剔除，可以大大减少随机森林模型的运算量，提高学习效率，同时提高分辨准确度。
在一些实施例中，所述网站特征包括：
基于地址的功能、基于异常的特征、基于HTML源码的特性、基于领域的特性中的一个或多个。
所述基于地址的功能包括但不限于：IP地址是否用作域名、URL长度统计、“//”重定向位置判定、分隔符“-”是否存在、“.”符号数量统计、域名注册有效期。
其中，在基于地址的功能中，本公开出于便于静态分析等原因，将一部分特征舍弃，如：
是否存在URL压缩，该特征的意义即查找利用短链接跳转长URL页面的方式进行伪装的恶意网站，显然该特征需要在点击的动态分析情况下进行，因此该特征不适用于静态数据集，故舍弃。
“@”符号是否存在，恶意链接可能被伪装在“@”后，但“@”符号出现在URL中的意图明显，攻击者大多不采用此方法，且在数据集中显示的统计参数均为正常，故本公开将此特征舍弃。
favicon是否在URL中加载，此图标字段需要动态加载验证网页内容，从而判定是否存在被钓鱼的可能，但本公开的方法是基于静态特征分析，无法进行动态验证，故将此特征舍弃。
另外，基于异常的特征，此类特征源自网页请求、各类表单及数据库。其中，由于whois针对恶意网站的每日查询次数极少，故舍弃whois记录的特征。
基于HTML源码的特性，通过HTML的“iframe”标签将当前网页显示的内容重定向为其他网页内容，使用了此标签记录则标记为恶意参数，未使用则标记为正常参数。
基于领域的特性，选用数据集中的网页排名和前50名IP地址这两项特征，判定恶意网站需经此两类属性与URL匹配。
根据本公开的实施例，所选择的网站特征从不同方面反映了网站的特点，使其能够区分恶意网站与正常网站，且所选择的网站特征均为可以静态分析的特征，适合随机森林模型训练使用。
在一些实施例中，还包括标注网站特征参数，包括：
对于只需判定是或否的具体特征，用0或1标注，其中，0为正常，1为恶意；其余网站特征参数中，数值越高则恶意程度越高。
如，所述基于地址的功能标注网站特征参数包括：
IP地址是否用作域名，若用作域名则可能存在信息被窃取的风险，此时对应数据值为1，反之为0。
URL长度统计，直接标注字符数。
“//”重定向位置判定，此特征静态分析是否存在恶意重定向，URL多为HTTP、HTTPS协议，按位置判定“//”的出现位置为第几位；
分隔符“-”是否存在，分隔符可用来伪装合法搜索链接，用户不易察觉，遵循0，1判定。
“.”符号数量统计，此特征省略主域部分“www.”，统计后续URL内容中的“.”符号数量。
域名注册有效期，直接标注有效期时间。
根据本公开的实施例，标注网站特征参数，将网站特征数值化，便于对恶意网站数据集中的样本进行分类统计以及随机森林模型学习。
S102: 对各样本网站特征参数的内容进行归一化处理并进行特征拼接。
由于本公开数据集中值均为数字类型存储，所以数据预处理阶段采用归一化的方式，将值阈范围控制在[0,1]范围，即为归一化处理。如：
URL长度统计，一般URL长度<75个字符，超过则返回1，不超过为0。
“//”重定向位置判定，按位置判定“//”正常网站的出现位置应在第六或第七位，故超过七位则标记为恶意，数字对应1，否则为0。
域名注册有效期，恶意网站经常变更，有效期较短，因此将不超过一年有效期的对应特征值为1，否则为0。
最终将筛选出的多项特征进行拼接。
根据本公开的实施例，将多维特征进行归一化并拼接，使多维特征评判标准统一，使多维特征能够在同一维度上进行比较并分析。
S103: 根据归一化处理及特征拼接后的网站特征参数以及样本对应的标签，生成训练集。
特征拼接的集合通常分为70%训练集和30%测试集，用于模型训练阶段和分类预测阶段。
根据本公开的实施例，使用特征拼接后的网站特征参数及其样本对随机森林模型进行训练，使训练后的随机森林模型能够从多个维度对网站进行分析，从而识别恶意网站与正常网站。
在一些实施例中，还包括：当恶意网站数据集中标签为恶意的样本和标签为正常的样本数量不平衡时，对少数标签对应的样本根据已知样本进行过采样。
可以理解的是，当样本数目不平衡，会导致少数类样本训练不足，模型训练准确度下降。所述样本数目不平衡可以设定阈值，如，设置一组样本低于另一组样本数目的20%时，认定样本数量不平衡。
具体的，对少数标签对应的样本根据已知样本进行过采样可以采用SMOTE过采样算法（Borderline-SMOTE），针对少数类计算欧氏距离寻找k近邻，在k近邻中随机选择若干样本，输出新的合成样例。更具体的，加入恶意样本为少数类，数目为5，针对恶意样本进行过采样，即可以将3个样本合成1个新样本，然后对新样本进行分析，观察新样本是否为恶意样本，若是，则保留，然后恶意样本数目为6，再合成新的样本，若不是，则舍弃，直至恶意样本与正常样本数目平衡。
根据本公开的实施例，当样本不平衡时，对少数类样本进行过采样，避免少数类样本训练不足，导致模型训练准确度下降，无法准确识别恶意网站。
S104: 利用所述训练集对随机森林模型进行训练。
采用随机森林训练，利用网格搜索和控制变量的方法进行参数寻优。此过程通过准确率、误报率和查全率评定最优参数，完成预测模型的构建阶段。最终，通过测试集检验预测分类效果，通过准确率、误报率和查全率评估指标直观判定分类结果的可靠性。
图3是本公开实施例提供的一种恶意网站检测方法300的流程图。
如图3所示，所述恶意网站检测方法300包括：
S301: 将待检测网站的网站特征参数输入采用上述随机森林模型的训练方法训练得到的随机森林模型；
S302: 根据随机森林模型输出的标签判断是否为恶意网站。
在一些实施例中，还包括更新训练集样本，包括：
当随机森林模型无法输出特征时，标记对应网站的网站特征参数，并对对应网站加标签，将对应的网站特征参数及标签存入训练集。
可以理解的是，当随机森林模型无法输出特征时，显然对应的特征拼接样本是之前没有经过训练的新特征拼接样本，将其存入训练集使随机森林模型根据对应的特征拼接样本进行补充训练。
根据本公开的实施例，时时更新训练集样本可以识别未出现过的特征行为，同时对训练集更新、存储，使随机森林模型的更新速度与恶意网站的变换速度相适应，实现快速且有效地检测网站是否为恶意网站。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。
图4示出了本公开实施例提供的一种随机森林模型的训练装置400的框图。
如图4所示，所述随机森林模型的训练装置400包括：
获取单元401，用于获取恶意网站数据集中样本的网站特征参数；
参数处理单元402，用于对各样本网站特征参数的内容进行归一化处理并进行特征拼接；
训练集生成单元403，用于根据归一化处理及特征拼接后的网站特征参数以及样本对应的标签，生成训练集；
模型训练单元404，用于利用所述训练集对随机森林模型进行训练。
图5示出了本公开实施例提供的一种恶意网站检测装置500的框图。
如图5所示，所述恶意网站检测装置500包括：
模型生成单元501，用于采用上述随机森林模型的训练方法训练随机森林模型；
检测单元502，用于将待检测网站的网站特征参数输入训练后的随机森林模型，根据随机森林模型输出的标签判断是否为恶意网站。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
电子设备600包括计算单元601，其可以根据存储在只读存储器（ROM）602中的计算机程序或者从存储单元608加载到随机访问存储器（RAM）603中的计算机程序，来执行各种适当的动作和处理。在随机访问存储器603中，还可存储电子设备600操作所需的各种程序和数据。计算单元601、只读存储器602以及随机访问存储器603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。
电子设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如方法100或方法300。例如，在一些实施例中，方法100或方法300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由只读存储器602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到随机访问存储器603并由计算单元601执行时，可以执行上文描述的方法100或方法300的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行方法100或方法300。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (10)
1.一种随机森林模型的训练方法，其特征在于，包括：
获取恶意网站数据集中样本的网站特征参数；
对各样本网站特征参数的内容进行归一化处理并进行特征拼接；
根据归一化处理及特征拼接后的网站特征参数以及样本对应的标签，生成训练集；
利用所述训练集对随机森林模型进行训练。
2.根据权利要求1所述的随机森林模型的训练方法，其特征在于，所述网站特征是根据恶意网站数据集中对样本的标签，以及各样本在对应特征的参数分布情况，从多个特征中确定的。
3.根据权利要求2所述的随机森林模型的训练方法，其特征在于，所述根据恶意网站数据集中对样本的标签，以及各样本在对应特征的参数分布情况，从多个特征中确定包括：
分别将标签为恶意的样本和标签为正常的样本以可以区分的参数标注方式在各特征中进行可视化标注；
根据标签为恶意的样本和标签为正常的样本在数值上是否有显著性差异确定对应特征是否为网站特征，若有，则确定对应特征为网站特征，若没有，则舍弃对应特征。
4.根据权利要求1所述的随机森林模型的训练方法，其特征在于，所述网站特征包括：
基于地址的功能、基于异常的特征、基于HTML源码的特性、基于领域的特性中的一个或多个。
5.根据权利要求1所述的随机森林模型的训练方法，其特征在于，还包括标注网站特征参数，包括：
对于只需判定是或否的具体特征，用0或1标注，其中，0为正常，1为恶意；其余网站特征参数中，数值越高则恶意程度越高。
6.根据权利要求1所述的随机森林模型的训练方法，其特征在于，还包括：当恶意网站数据集中标签为恶意的样本和标签为正常的样本数量不平衡时，对少数标签对应的样本根据已知样本进行过采样。
7.一种恶意网站检测方法，其特征在于，包括：
将待检测网站的网站特征参数输入采用权利要求1-6任一项所述的随机森林模型的训练方法训练得到的随机森林模型，根据随机森林模型输出的标签判断是否为恶意网站。
8.根据权利要求7所述的恶意网站检测方法，其特征在于，还包括更新训练集样本，包括：
当随机森林模型无法输出特征时，标记对应网站的网站特征参数，并对对应网站加标签，将对应的网站特征参数及标签存入训练集。
9.一种随机森林模型的训练装置，其特征在于，包括：
获取单元，用于获取恶意网站数据集中样本的网站特征参数；
参数处理单元，用于对各样本网站特征参数的内容进行归一化处理并进行特征拼接；
训练集生成单元，用于根据归一化处理及特征拼接后的网站特征参数以及样本对应的标签，生成训练集；
模型训练单元，用于利用所述训练集对随机森林模型进行训练。
10.一种恶意网站检测装置，其特征在于，包括：
模型生成单元，用于采用权利要求1-6任一项所述的随机森林模型的训练方法训练随机森林模型；
检测单元，用于将待检测网站的网站特征参数输入训练后的随机森林模型，根据随机森林模型输出的标签判断是否为恶意网站。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310383191.3A CN116108880A (zh) | 2023-04-12 | 2023-04-12 | 随机森林模型的训练方法、恶意网站检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310383191.3A CN116108880A (zh) | 2023-04-12 | 2023-04-12 | 随机森林模型的训练方法、恶意网站检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116108880A true CN116108880A (zh) | 2023-05-12 |
Family
ID=86265876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310383191.3A Pending CN116108880A (zh) | 2023-04-12 | 2023-04-12 | 随机森林模型的训练方法、恶意网站检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116108880A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116527373A (zh) * | 2023-05-18 | 2023-08-01 | 清华大学 | 针对恶意url检测系统的后门攻击方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190102337A1 (en) * | 2017-10-02 | 2019-04-04 | Cisco Technology, Inc. | Scalable training of random forests for high precise malware detection |
| CN113051500A (zh) * | 2021-03-25 | 2021-06-29 | 武汉大学 | 一种融合多源数据的钓鱼网站识别方法及系统 |
| CN113344562A (zh) * | 2021-08-09 | 2021-09-03 | 四川大学 | 基于深度神经网络的以太坊钓鱼诈骗账户检测方法与装置 |
| CN114363019A (zh) * | 2021-12-20 | 2022-04-15 | 北京华云安信息技术有限公司 | 钓鱼网站检测模型的训练方法、装置、设备及存储介质 |
| CN114553591A (zh) * | 2022-03-21 | 2022-05-27 | 北京华云安信息技术有限公司 | 随机森林模型的训练方法、异常流量检测方法及装置 |
-
2023
- 2023-04-12 CN CN202310383191.3A patent/CN116108880A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190102337A1 (en) * | 2017-10-02 | 2019-04-04 | Cisco Technology, Inc. | Scalable training of random forests for high precise malware detection |
| CN113051500A (zh) * | 2021-03-25 | 2021-06-29 | 武汉大学 | 一种融合多源数据的钓鱼网站识别方法及系统 |
| CN113344562A (zh) * | 2021-08-09 | 2021-09-03 | 四川大学 | 基于深度神经网络的以太坊钓鱼诈骗账户检测方法与装置 |
| CN114363019A (zh) * | 2021-12-20 | 2022-04-15 | 北京华云安信息技术有限公司 | 钓鱼网站检测模型的训练方法、装置、设备及存储介质 |
| CN114553591A (zh) * | 2022-03-21 | 2022-05-27 | 北京华云安信息技术有限公司 | 随机森林模型的训练方法、异常流量检测方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116527373A (zh) * | 2023-05-18 | 2023-08-01 | 清华大学 | 针对恶意url检测系统的后门攻击方法和装置 |
| CN116527373B (zh) * | 2023-05-18 | 2023-10-20 | 清华大学 | 针对恶意url检测系统的后门攻击方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11727114B2 (en) | Systems and methods for remote detection of software through browser webinjects | |
| US10862907B1 (en) | Techniques for detecting domain threats | |
| US10050986B2 (en) | Systems and methods for traffic classification | |
| US10484424B2 (en) | Method and system for security protection of account information | |
| US9130988B2 (en) | Scareware detection | |
| CN109768992B (zh) | 网页恶意扫描处理方法及装置、终端设备、可读存储介质 | |
| CN107888606B (zh) | 一种域名信誉度评估方法及系统 | |
| CN114363019B (zh) | 钓鱼网站检测模型的训练方法、装置、设备及存储介质 | |
| Liu et al. | An efficient multistage phishing website detection model based on the CASE feature framework: Aiming at the real web environment | |
| CN113098887A (zh) | 一种基于网站联合特征的钓鱼网站检测方法 | |
| CN104143008A (zh) | 基于图片匹配检测钓鱼网页的方法及装置 | |
| CN104462985A (zh) | bat漏洞的检测方法以及装置 | |
| CN111371778A (zh) | 攻击团伙的识别方法、装置、计算设备以及介质 | |
| CN116108880A (zh) | 随机森林模型的训练方法、恶意网站检测方法及装置 | |
| US11423099B2 (en) | Classification apparatus, classification method, and classification program | |
| CN111177719A (zh) | 地址类别判定方法、装置、计算机可读存储介质及设备 | |
| CN113360895A (zh) | 站群检测方法、装置及电子设备 | |
| CN115801455B (zh) | 一种基于网站指纹的仿冒网站检测方法及装置 | |
| CN114697066A (zh) | 网络威胁检测方法和装置 | |
| WO2017080183A1 (zh) | 网络小说章节列表评估方法及装置 | |
| CN109064067B (zh) | 基于互联网的金融风险运营主体判定方法及装置 | |
| CN115643044A (zh) | 数据处理方法、装置、服务器及存储介质 | |
| JP2020109611A (ja) | コンピュータシステム内の悪意のあるアクティビティの源を検出するシステムおよび方法 | |
| CN114978674B (zh) | 一种爬虫识别增强的方法及装置、存储介质及电子设备 | |
| CN116611065B (zh) | 脚本的检测方法、深度学习模型的训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230512 |