CN111866004A - 安全评估方法、装置、计算机系统和介质 - Google Patents

安全评估方法、装置、计算机系统和介质 Download PDF

Info

Publication number
CN111866004A
CN111866004A CN202010735301.4A CN202010735301A CN111866004A CN 111866004 A CN111866004 A CN 111866004A CN 202010735301 A CN202010735301 A CN 202010735301A CN 111866004 A CN111866004 A CN 111866004A
Authority
CN
China
Prior art keywords
text
malicious
server
tested
malicious text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010735301.4A
Other languages
English (en)
Other versions
CN111866004B (zh
Inventor
周京
程佩哲
金驰
张�诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010735301.4A priority Critical patent/CN111866004B/zh
Publication of CN111866004A publication Critical patent/CN111866004A/zh
Application granted granted Critical
Publication of CN111866004B publication Critical patent/CN111866004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种安全评估方法，涉及信息安全领域，该方法包括：构造恶意文本样本；将恶意文本样本发送至待测服务器；基于待测服务器针对所述恶意文本样本的响应结果，确定恶意文本样本针对待测服务器的攻击状态；以及，基于上述攻击状态，确定待测服务器针对恶意文本的安全防护等级。本公开还提供了一种安全评估装置、计算机系统和介质。

Description

安全评估方法、装置、计算机系统和介质
技术领域
本公开涉及信息安全领域，更具体地，涉及一种安全评估方法、装置、计算机系统和介质。
背景技术
随着互联网和智能设备的飞速发展，以机器学习、深度学习为基础的自然语言处理技术已广泛应用于文本分类、语言建模、机器翻译、问答系统等多个业务场景中，大大提高了信息处理的效率。与此同时，针对这些应用场景的恶意文本攻击也逐渐增加，攻击者在网络文本交互内容中掺杂大量辱骂文本、色情文本、涉政暴恐内容、各种垃圾广告等，用于吸引大众注意、骗取用户点击进而实施钓鱼或诈骗，对互联网内容安全与生态健康造成了较大影响。
虽然政府监管的日渐严格，各网站及平台逐步将文本内容安全检测纳入安全管理工作。但由于各方采取的防护方法各不相同，防护等级也参差不齐，目前暂无针对此类恶意文本攻击防护能力的系统评估方法。
发明内容
本公开的一个方面提供了一种安全评估方法，包括：构造恶意文本样本；将恶意文本样本发送至待测服务器；基于待测服务器针对所述恶意文本样本的响应结果，确定恶意文本样本针对待测服务器的攻击状态；以及，基于上述攻击状态，确定待测服务器针对恶意文本的安全防护等级。
可选地，上述构造恶意文本样本包括：构造第1个恶意文本样本集合至第M个恶意文本样本集合，第1个恶意文本样本集合至第M个恶意文本样本集合的文本复杂度依次递增，M为大于1的整数。上述将恶意文本样本发送至待测服务器包括：将第i个恶意文本样本集合中的每个恶意文本样本发送至待测服务器；以及，在确定第i个恶意文本样本集合针对待测服务器的攻击状态为失败时，将第i+1个恶意文本样本集合中的每个恶意文本样本发送至待测服务器。其中，i为大于等于1且小于M的整数。
可选地，上述基于待测服务器针对恶意文本样本的响应结果，确定恶意文本样本针对待测服务器的攻击状态包括：针对第i个恶意文本样本集合中的第j个恶意文本样本，计算待测服务器针对第j个恶意文本样本的第一响应结果与待测服务器针对一个正常文本的第二响应结果之间的第一相似度，并在第一相似度大于等于第一阈值时，确定第j个恶意文本样本攻击成功，j为大于等于1的整数；计算第i个恶意文本样本集合中攻击成功的恶意文本样本的占比；当所述占比大于第二阈值时，确定第i个恶意文本样本集合针对待测服务器的攻击状态为成功；以及，当所述占比小于等于第二阈值时，确定第i个恶意文本样本集合针对待测服务器的攻击状态为失败。
可选地，上述方法还包括：在上述构造第1个恶意文本样本集合至第M个恶意文本样本集合之前，获取原始文本集合；利用预先训练的分类器对原始文本集合进行分类，以确定恶意文本集合和正常文本集合；基于恶意文本集合，建立恶意文本库，恶意文本库包括多个恶意文本；以及，基于正常文本集合，建立正常文本库和正常文本字典库，正常文本库包括多个正常文本，正常文本字典库包括多个汉字。
可选地，上述建立正常文本字典库包括：将多个正常文本中的汉字全量提取后，得到多个汉字，并由该多个汉字构成正常文本字典库。
可选地，上述方法还包括：在上述利用预先训练的分类器对原始文本集合进行分类之前，对所述原始文本集合进行预处理；所述对所述原始文本集合进行预处理包括：针对所述原始文本集合中的每个原始文本，对所述原始文本进行分词处理以得到分词处理文本，对所述分词处理结果进行数据清洗操作以得到清洗后文本，并对所述清洗后文本进行特征提取以得到所述原始文本的特征向量。上述利用预先训练的分类器对原始文本集合进行分类包括：利用预先训练的分类器对原始文本集合中的每个原始文本的特征向量进行分类，以确定每个原始文本的类别，所述类别包括：正常文本类别或恶意文本类别。
可选地，上述清洗后文本包括N个汉字，N为大于1的整数。上述对清洗后文本进行特征提取以得到原始文本的特征向量包括：针对清洗后文本中的第k个汉字，确定第k个汉字的音码和形码，并由音码和形码构成第k个汉字的特征向量，k为大于等于1且小于等于N的整数；以及，基于清洗后文本中的N个汉字各自的特征向量，构成该原始文本的特征向量。
可选地，M为3。上述构造第1个恶意文本样本集合至第M个恶意文本样本集合包括：利用随机抽样算法从恶意文本库中随机抽取第一数量个恶意文本以作为第一数量个第一恶意文本样本，并由第一数量个第一恶意文本样本构成第1个恶意文本样本集合。
可选地，上述构造第1个恶意文本样本集合至第M个恶意文本样本集合还包括：利用随机抽样算法从恶意文本库中随机抽取第二数量个恶意文本；针对第二数量个恶意文本中的每个恶意文本，计算该恶意文本中的第m个汉字分别与正常文本字典库中的多个汉字之间的第二相似度，基于第二相似度从正常文本字典库中确定一个候选汉字，并利用该候选汉字替换该恶意文本中的第m个汉字，以得到针对该恶意文本的第二恶意文本样本，m大于等于1的整数；以及，由针对第二数量个恶意文本的第二数量个第二恶意文本样本，构成第2个恶意文本样本集合。
可选地，上述基于第二相似度从正常文本字典库中确定一个候选汉字包括：当正常文本字典库中存在第二相似度大于第三阈值的汉字时，选取正常文本字典库中第二相似度最大的汉字作为候选汉字。
可选地，上述构造第1个恶意文本样本集合至第M个恶意文本样本集合还包括：构造生成对抗网络，所述生成对抗网络包括生成模型和判别模型；利用随机抽样算法从恶意文本库中随机抽取多个恶意文本，并从正常文本库中随机抽取多个正常文本；利用多个恶意文本和多个正常文本对生成对抗网络进行训练，直至生成模型和判别模型的损失值之和达到最小，以得到训练完成的生成模型；以及，利用该训练完成的生成模型生成第3个恶意文本样本集合。
可选地，上述基于恶意文本样本针对待测服务器的攻击状态，确定待测服务器针对恶意文本的安全防护等级包括：当第1个恶意文本样本集合针对待测服务器的攻击状态为成功时，确定待测服务器针对恶意文本的安全防护等级为第一等级；当第2个恶意文本样本集合针对待测服务器的攻击状态为成功时，确定待测服务器针对恶意文本的安全防护等级为第二等级；当第3个恶意文本样本集合针对待测服务器的攻击状态为成功时，确定待测服务器针对恶意文本的安全防护等级为第三等级；以及，当第1个恶意文本样本集合至第3个恶意文本样本集合针对待测服务器的攻击状态均为失败时，确定待测服务器针对恶意文本的安全防护等级为第四等级。其中，第一等级、第二等级、第三等级和第四等级的安全程度依次递增。
本公开的另一方面提供了一种安全评估装置，包括：攻击构造模块和防护评估模块。攻击构造模块用于构造恶意文本样本。防护评估模块用于将恶意文本样本发送至待测服务器；基于待测服务器针对恶意文本样本的响应结果，确定所述恶意文本样本针对待测服务器的攻击状态；并且，基于上述攻击状态，确定待测服务器针对恶意文本的安全防护等级。
本公开的另一方面提供了一种计算机系统，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
根据本公开实施例的安全评估方法通过模拟恶意文本攻击并根据待测服务器的动态响应来评估待测服务器针对恶意文本攻击的安全防护能力。具体地，构造恶意文本样本并发送至待测服务器，基于待测服务器针对恶意文本样本的反馈来确定恶意文本样本针对待测服务器的攻击状态，进而可以确定待测服务器针对恶意文本攻击的安全防护等级。上述过程基于待测服务器针对恶意本文攻击的动态行为特征来进行安全评估，具有较高的准确性和效率。根据本公开的实施例，可以及时发现待测服务器的安全防护漏洞，从而及时提升待测服务器的文本内容安全检测模型性能，提高待测服务器的健壮性。
附图说明
为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了根据本公开实施例的应用安全评估方法和装置的示例性系统架构；
图2示意性示出了根据本公开实施例的安全评估方法的流程图；
图3示意性示出了根据本公开另一实施例的安全评估方法的示例原理图；
图4示意性示出了根据本公开另一实施例的安全评估方法的示例流程图；
图5示意性示出了根据本公开另一实施例的安全评估方法的示例原理图；
图6示意性示出了根据本公开另一实施例的安全评估方法的示例流程图；
图7示意性示出了根据本公开实施例的安全评估装置的框图；
图8示意性示出了根据本公开另一实施例的安全评估装置的框图；以及
图9示意性示出了根据本公开实施例的计算机系统的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的实施例提供了一种安全评估方法和装置。该安全评估方法可以包括攻击构造过程和防护评估过程。在攻击构造过程中，构造恶意文本样本，并将恶意文本样本发送至待测服务器。在防护评估过程中，基于待测服务器针对恶意文本样本的响应结果，确定恶意文本样本针对待测服务器的攻击状态，并基于上述攻击状态，确定待测服务器针对恶意文本的安全防护等级。
随着互联网和智能设备的飞速发展，以机器学习、深度学习为基础的自然语言处理技术已广泛应用于文本分类、语言建模、机器翻译、问答系统等多个业务场景中，大大提高了信息处理的效率。与此同时，针对这些应用场景的恶意文本攻击也逐渐增加，攻击者在网络文本交互内容中掺杂大量辱骂文本、色情文本、涉政暴恐内容、各种垃圾广告等，用于吸引大众注意、骗取用户点击进而实施钓鱼或诈骗，对互联网内容安全与生态健康造成了较大影响。
虽然政府监管的日渐严格，各网站及平台逐步将文本内容安全检测纳入安全管理工作，例如各网站及平台的服务器部署有文本内容安全检测模型，以实现针对恶意文本攻击的识别和防护。但由于各方采取的防护方法各不相同，防护等级也参差不齐，目前暂无针对此类恶意文本攻击防护能力的系统评估方法，使得不法分子有了可乘之机。为提升对恶意文本检测和防护的时效性和准确性，本公开实施例提供了一种安全评估方法和装置，请参阅图1。
图1示意性示出了根据本公开实施例的可以应用安全评估方法和装置的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括监控服务器110，网络120和多个服务器/服务器集群130。网络120用以在监控服务器110和服务器/服务器集群130之间提供通信链路的介质。
监控服务器110上可以安装有安全评估软件。监控服务器110可以通过各种安全评估软件与任一服务器/服务器集群130进行安全评估，以获知任一服务器/服务器集群130针对各种攻击行为的安全防护等级。
示例性地，本公开实施例所提供的安全评估方法可以由监控服务器110执行。相应地，本公开实施例所提供的安全评估装置可以设置于监控服务器110中。例如，监控服务器110可以针对任一服务器/服务器集群130模拟文本攻击行为，再根据该服务器/服务器集群130的响应结果来确定其所模拟的文本攻击行为对该服务器/服务器集群130所造成的影响程度，进而可以确定该服务器/服务器集群130针对恶意文本攻击的安全防护能力。在发现服务器/服务器集群130的防护能力较差的情况下，可以及时对服务器/服务器集群130的文本内容安全检测模型进行更新和改进，可以尽量避免实际恶意文本攻击可能带来的影响和损失。
应该理解，图1中的监控服务器、网络和服务器/服务器集群的数目仅仅是示意性的。根据实际需要，可以具有任意数目的监控服务器、网络和服务器/服务器集群。
根据本公开的实施例，提供了一种安全评估方法。下面结合附图进行示例性说明。应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。
图2示意性示出了根据本公开实施例的安全评估方法的流程图，该方法例如可以由如图1所示的监控服务器110执行，可以将如图1所示的任一服务器/服务器集群130作为待测服务器。
如图2所示，该安全评估方法可以包括操作S201～S204。
在操作S201，构造恶意文本样本。
示例性地，恶意文本样本为包含辱骂文本、色情文本、涉政暴恐内容、各种垃圾广告等不良内容的文本样本。
在操作S202，将恶意文本样本发送至待测服务器。
在操作S203，基于待测服务器针对恶意文本样本的响应结果，确定恶意文本样本针对待测服务器的攻击状态。
其中，恶意文本样本针对待测服务器的攻击状态能够表征恶意文本样本对待测服务器的影响程度。
例如，表征恶意文本样本对待测服务器的文本内容安全检测模型所造成的干扰程度。如果响应结果表示恶意文本样本对文本内容安全检测模型未造成干扰，说明待测服务器的文本内容安全检测模型未识别出该恶意文本样本与正常文本之间的差异，则表示恶意文本样本针对待测服务器的攻击状态为成功。如果响应结果表示恶意文本样本对文本内容安全检测模型造成干扰，说明待测服务器的文本内容安全检测模型可以识别出该恶意文本样本与正常文本之间的差异，则表示恶意文本样本针对待测服务器的攻击状态为失败。
在操作S204，基于恶意文本样本针对待测服务器的攻击状态，确定待测服务器针对恶意文本的安全防护等级。
本领域技术人员可以理解，根据本公开实施例的安全评估方法通过模拟恶意文本攻击并根据待测服务器的动态响应来评估待测服务器针对恶意文本攻击的安全防护能力。具体地，构造恶意文本样本并发送至待测服务器，基于待测服务器针对恶意文本样本的反馈来确定恶意文本样本针对待测服务器的攻击状态，进而可以确定待测服务器针对恶意文本攻击的安全防护等级。上述过程基于待测服务器针对恶意本文攻击的动态行为特征来进行安全评估，具有较高的准确性和效率。根据本公开的实施例，可以及时发现待测服务器的安全防护漏洞，从而及时提升待测服务器的文本内容安全检测模型性能，提高待测服务器的健壮性。
为了更加细粒度地评估待测服务器的安全防护能力，本公开可以构造不同复杂度的恶意文本样本来模拟不同威胁程度的恶意文本攻击，并根据待测服务器针对不同威胁程度的恶意文本攻击的反馈情况来更精细地评估待测服务器的安全防护等级。
图3示意性示出了根据本公开另一实施例的安全评估方法的示例原理图，用于示例性地说明模拟恶意文本攻击的实施过程。
如图3所示，上述操作S201构造恶意文本样本的过程可以包括：构造多个恶意文本样本集合，第i个恶意文本样本集合可标示为31i，每个恶意文本样本集合可以包括一个或多个恶意文本样本31i1。示例性地，可以构造第1个恶意文本样本集合311至第M个恶意文本样本集合31M，在图3的例子中，M具体为大于2的整数。同一恶意文本样本集合中的恶意文本样本具有相同的文本复杂度，不同的恶意文本样本集合具有不同的文本复杂度。例如，从第1个恶意文本样本集合311至第M个恶意文本样本集合31M的文本复杂度依次递增。
在图3所示的例子中，上述操作S202将恶意文本样本发送至待测服务器320的过程可以包括：将第i个恶意文本样本集合31i中的每个恶意文本样本31i1发送至待测服务器320。在确定第i个恶意文本样本集合31i针对待测服务器320的攻击状态为失败时，将第i+1个恶意文本样本集合31(i+1)中的每个恶意文本样本31(i+1)1发送至待测服务器320。其中，i为大于等于1且小于M的整数。以此类推，直至某个恶意文本样本集合针对待测服务器320的攻击状态为成功，或者，直至第M个恶意文本样本集合31M中的各恶意文本样本31M1被发送至待测服务器320。
可以理解，上述过程按照文本复杂度从低至高的顺序向待测服务器发送恶意文本样本。在待测服务器无法防御文本复杂度较低的恶意文本样本的情况下，可直接确定待测服务器的安全防护能力，无需再将文本复杂度更高的恶意文本样本发送至待测服务器进行评测。从而可以提高安全评估效率。
下面对操作S203基于待测服务器针对恶意文本样本的响应结果，确定恶意文本样本针对待测服务器的攻击状态的过程进行示例性说明。
示例性地，可以按照如下实施方式来确定恶意文本样本针对待测服务器的攻击状态。以第i个恶意文本样本集合为例，假设第i个恶意文本样本集合包括X个恶意文本样本，X为正整数。针对第i个恶意文本样本集合中的任一恶意文本样本(例如第j个恶意文本样本，j为大于等于1且小于等于X的整数)，可以执行如图4所示的操作流程。
图4示意性示出了根据本公开另一实施例的安全评估方法的示例流程图，用于示例性地说明确定恶意文本样本针对待测服务器的攻击状态的实施过程，可以包括如下操作。
如图4所示，在操作S401，将第j个恶意文本样本发送至待测服务器。
在操作S402，接收待测服务器针对该第j个恶意文本样本的响应结果，本例中可称为第一响应结果。
然后，在操作S403，计算该第一响应结果与预先获取的待测服务器针对一个正常文本的第二响应结果之间的第一相似度。
示例性地，可以分别提取第一响应结果和第二响应结果各自的特征向量，并基于各种相似度算法(例如余弦相似度(cosine)、曼哈顿距离(Manhattan Distance)、欧式距离(Euclidean Distance)等之一)来计算而二者的特征向量之间的第一相似度。
在操作S404，确定第一相似度是否大于等于第一阈值。如果是，执行操作S405，确定第j个恶意文本样本攻击成功。如果否，执行操作S406，确定第j个恶意文本样本攻击失败。
其中，在第一相似度大于等于第一阈值时，说明待测服务器针对第j个恶意文本样本的反馈与针对正常文本的反馈基本相同，即待测服务器未能检测出该恶意文本样本，故可以确定第j个恶意文本样本攻击成功。反之，在第一相似度小于第一阈值时，说明待测服务器针对第j个恶意文本样本的反馈与针对正常文本的反馈存在较大差异，即待测服务器可以检测出该恶意文本样本，故可以确定第j个恶意文本样本攻击失败。
基于上述逻辑，可以确定第i个恶意文本样本集合中的每个恶意文本样本针对待测服务器是否攻击成功。接着在操作S407，计算第i个恶意文本样本集合中攻击成功的恶意文本样本的数量相对于第i个恶意文本样本集合中的恶意文本样本的总数量的占比，例如可称为第一占比。
在操作S408，确定第一占比是否大于第二阈值。如果是，执行操作S409，确定第i个恶意文本样本集合针对待测服务器的攻击状态为成功。如果否，执行操作S410，确定第i个恶意文本样本集合针对待测服务器的攻击状态为失败。
同理地，基于上述逻辑可以确定所构造的任一恶意文本样本集合针对待测服务器的攻击状态。在模拟恶意文本攻击过程结束后，可以根据所发送的恶意文本样本集合的文本复杂度和攻击状态来较为精确地确定待测服务器的安全防护等级。也就是说，可以精确地确定出待测服务器当前无法防御的最低文本复杂度，基于该最低文本复杂度可以对待测服务器中的文本内容安全检测模型进行更为精确的优化和调整。
图5示意性示出了根据本公开另一实施例的安全评估方法的示例原理图。
如图5所示，在上述构造第1个恶意文本样本集合至第M个恶意文本样本集合之前，可以获取原始文本集合510，该原始文本集合510可以包括大量原始文本。数据来源一般可以包括以下两类：一、第三方语料库，例如维基百科(Wiki)的语料库。二、利用爬虫获取网络数据。如果研究面向某个特定的领域，对数据有一定要求，开放语料库无法满足需求时，可利用Pyspider、Scrapy等框架编写爬虫，从互联网爬取社交媒体发布内容、新闻、报告等原始文本。
示例性地，利用预先训练的分类器520对原始文本集合510进行分类，以确定恶意文本集合511和正常文本集合512。基于恶意文本集合511，建立恶意文本库530。并且，基于正常文本集合512，建立正常文本库540和正常文本字典库550。例如，将多个正常文本中的汉字全量提取后，得到多个汉字，并由该多个汉字构成正常文本字典库550。其中，恶意文本库530包括多个恶意文本，正常文本库540包括多个正常文本，正常文本字典库550包括多个汉字。
基于上述恶意文本库530、正常文本库540和正常文本字典库550中的至少一项，可以构造不同文本复杂度的恶意文本样本集合560。
下面参考图6，结合具体例子对根据本公开实施例的安全评估方法进行示例性说明。图6示意性示出了根据本公开另一实施例的安全评估方法的示例流程图。
如图6所示，开始进行安全评估后，在操作S601，从互联网爬取社交媒体发布内容、新闻、报告等原始文本，以构成原始文本集合。原始文本集合获取方式上文中已说明，在此不再赘述。
在操作S602，对原始文本集合进行预处理，例如进行分词处理、数据清洗和特征提取。
示例性地，在得到每个原始文本后，去除文本非关键信息，对文本进行分词与数据清洗，将原始文本转化为可分析、可建模特征向量。例如在分词处理过程中，将连续的字序列按照一定的规范重新组合成词序列。中文分词由于语言特性，需要考虑特殊的分词思路，使用分词工具将文本根据词性拆分后重新组合为词序列。例如，可使用jieba分词工具(结巴分词工具，一种基于Python语言的中文分词组件)将文本按照词性拆分后重新组合为词序列。例如，短文本“我们学习人工智能”，经过分词工具后输出分词处理文本为“我们，学习，人工智能”。接着可以针对分词处理文本进行清洗操作，以得到清洗后文本。
清洗操作的主要作用是去除文本中的干扰信息，从而更有效地进一步挖掘出其中包含的重要信息。大多数情况下，获取的原始文本里都有许多无效部分，例如爬取来的一些HTML(超文本标记语言)代码，CSS(层叠样式表)标签、标点符号、中文停用词(Stop Word)等。示例性地，清洗操作主要可以包括：一、去除非中文部分标签。可通过正则表达式或预定工具(例如Beautiful Soup库，为基于Python语言的一个HTML或XML(可扩展标记语言)的解析库)去除文本中标签、标点符号、特殊字符等非中文部分。二、去除停用词。为节省存储空间和提高搜索效率，搜索引擎在索引页面或处理搜索请求时会自动忽略某些字或词，这些字或词可被称为停用词。通常意义上，中文停用词主要包括语气助词、副词、介词、连接词等，如常见的“的”、“在”之类。接着可以针对清洗后文本进行特征提取，以得到特征向量。
特征提取的主要作用为提取文本特征，生成对应的特征向量。本申请可以根据汉字音形码将单个汉字编码转换为10位数字或字母的序列，即10维特征向量。在其他例子中，也可以是其他数量维度的特征向量，在此不做限制。文本中每个汉字的音形码的第一部分为音码。例如，通过自定义的简单替换规则，将单个汉字的韵母、声母、补码以及声调这4个特征分别进行编码，构成向量前4个维度。每个汉字的音形码的第二部分为形码，构成向量后6个维度。例如，第5维特征为结构位，标识汉字结构类型；第6至9维是四角编码，描述汉字形态；第10维特征为汉字笔画数。如“狼”字的音形码为：F70214323A。
同理地，针对每个清洗后文本，依据上述逻辑可以确定该清洗后文本中的任一汉字的音形码，基于清洗后文本中的各个汉字各自的特征向量，构成该清洗后文本的特征向量，即针对该清洗后文本的原始文本的特征向量。
在操作S603，将原始文本进行初步分类，构造正常文本库和恶意文本库。
示例性地，利用预先训练的分类器对原始文本集合中的每个原始文本的特征向量进行分类，以确定每个原始文本的类别，该类别包括：正常文本类别或恶意文本类别。也就是说，可以使用简单分类器将原始文本分类，标记为正常文本与恶意文本。将标记为恶意的文本汇总后建立恶意文本库，将标记为正常的文本汇总后建立正常文本库，将正常文本中的文字全量提取后建立正常文本字典库。
在操作S604，构造恶意文本样本对待测服务器进行攻击。
示例性地，可以构造3个不同文本复杂度的恶意文本样本集合。第1个恶意文本样本集合的文本复杂度为简单，第2个恶意文本样本集合的文本复杂度为一般，第3个恶意文本样本集合的文本复杂度为复杂。下面分别举例加以说明。
第1个恶意文本样本集合中的多个恶意文本样本均可称为第一恶意文本样本。第一恶意文本样本为简单恶意文本样本，即未做任何特殊变形的恶意文本。例如可以采用随机抽样算法从恶意文本库中随机抽取恶意文本作为简单恶意文本样本，以构成第1个恶意文本样本集合。
第2个恶意文本样本集合中的多个恶意文本样本均可称为第二恶意文本样本。第二恶意文本样本为一般恶意文本样本，一般恶意文本样本可以指利用字音、字形等相似的正常文本对恶意文本进行简单替换后的文本。例如可以先采用随机抽样算法从恶意文本库中随机抽取恶意文本，再使用根据音形码构造的特征向量计算恶意文本中每个字与正常文本字典库中的字之间的第二相似度。
例如，一个恶意文本中的任一汉字与正常文本字典库中的任一汉字之间的第二相似度d可以按照公式(1)计算。
d＝α×P+β×S 公式(1)
其中，P为二者之间音码相似度，S为二者之间的形码相似度。P可以按照公式(2)计算。
Figure BDA0002604252980000151
其中，pi为汉字的音形码中第i位音码的值，由于本例中单个汉字的特征向量为10维，且音码占前4位。故本例中i的取值为1、2、3和4之一。当两个汉字的第i位音码的值相同时，
Figure BDA0002604252980000152
当两个汉字的第i位音码的值相同时，
Figure BDA0002604252980000153
wi为第i位音码的权重，可以根据需要进行设置。
S可以按照公式(3)计算。
Figure BDA0002604252980000154
其中，sj为汉字的音形码中第j位形码的值，sj’为汉字的音形码中第j位形码的值经预定算法转换后的值，由于本例中单个汉字的特征向量为10维，且形码占后6位。故本例中j的取值为1、2、3、4、5和6之一。γ1为结构位权重，γ2为四角编码权重，γ3为笔画数权重，可以根据需要进行设置。
Figure BDA0002604252980000155
为字符比较运算，例如若两个汉字的第j位形码的值相同，则
Figure BDA0002604252980000156
为1；若若两个汉字的第j位形码的值不同，则
Figure BDA0002604252980000157
为0。
针对一个恶意文本，计算该恶意文本中的第m个汉字分别与正常文本字典库中的多个汉字之间的第二相似度。基于第二相似度从正常文本字典库中确定一个针对该第m个汉字的候选汉字，并利用该候选汉字替换该恶意文本中的第m个汉字，以得到针对该恶意文本的第二恶意文本样本，其中m大于等于1的整数。由针对第二数量个恶意文本的第二数量个第二恶意文本样本，构成第2个恶意文本样本集合。示例性地，确定针对恶意文本中一个汉字的候选汉字的过程可以按照如下方式实施：如果该恶意文本中的一个汉字与正常文本字典库中的汉字之间的第二相似度大于第三阈值，则选择正常文本字典库中第二相似度最高的字替换恶意文本中的对应字，生成一般恶意文本样本。例如：恶意文本为“ABCDE”，首先计算字“A”与正常文本字典库中各个字之间的第二相似度后，选择第二相似度最大并大于第三阈值的正常文字“X”，将文本替换为“XBCDE”。同理地，“B”、“C”、“D”、“E”使用类似方法计算相似度并替换，生成一般恶意文本样本。
复杂构造单元404负责构造复杂攻击文本供攻击请求单元501进行攻击，所谓复杂攻击文本为：对正常文本进行微小扰动后生成的恶意攻击文本，此类文本肉眼看上去与正常文本相似，却可以使得机器学习模型判定错误或失效，从而绕过审核实现钓鱼链接发布等攻击。
第3个恶意文本样本集合中的多个恶意文本样本均可称为第三恶意文本样本。第三恶意文本样本为复杂恶意文本样本，复杂恶意文本样本的构造基于生成对抗网络(Generative Adversarial Networks，GAN)技术。GAN技术可以生成具备正常文本特征的恶意攻击样本，包含生成模型和判别模型两部分。生成模型从本质上是一种极大似然估计，用于产生指定分布数据的模型，生成模型的作用是捕捉恶意攻击文本的分布，将输入的样本分布情况经过极大似然估计中参数的转化，来将训练偏向转换为正常文本分布的样本，生成模型使用的是包含文本上下文信息的深度学习序列模型，如双向LSTM模型(bi-direction LSTM)、有注意力机制的LSTM模型(attention based LSTM)等。判别模型实际上是个二分类，会对生成模型生成的文本进行判断，判断其是否是攻击文本，一般使用简单的分类模型如fastText(快速文本分类算法)等实现。
在GAN的训练阶段，可以接收来自正常文本库的正常文本的特征向量和来自恶意文本库的恶意文本的特征向量，送入GAN中进行训练。由生成模型生成近似正常文本的恶意文本，由判别模型判断新生成的文本是否为恶意文本，两个模型彼此博弈、互相优化，直至判别模型无法分辨生成模型生成的文本是否为攻击文本，GAN整体的损失值达到最小，训练完成。可以将最终的生成模型用于复杂恶意文本样本的构造。
在操作S605，分析响应结果，判断每个恶意文本样本集合针对待测服务器的攻击状态是否成功。上文中已经对攻击状态的判断过程进行示例性说明，在此不再赘述。在攻击状态为失败的情况下，重复执行操作S604，直至某类攻击成功，或全部攻击尝试都已完成。
根据本公开的实施例，在图6所示的操作执行完毕后，可以基于恶意文本样本集合针对待测服务器的攻击状态，确定待测服务器针对恶意文本的安全防护等级。示例性地，当第1个恶意文本样本集合针对待测服务器的攻击状态为成功时，确定待测服务器针对恶意文本的安全防护等级为第一等级；当第2个恶意文本样本集合针对待测服务器的攻击状态为成功时，确定待测服务器针对恶意文本的安全防护等级为第二等级；当第3个恶意文本样本集合针对待测服务器的攻击状态为成功时，确定待测服务器针对恶意文本的安全防护等级为第三等级；以及，当第1个恶意文本样本集合至第3个恶意文本样本集合针对待测服务器的攻击状态均为失败时，确定待测服务器针对恶意文本的安全防护等级为第四等级。其中，第一等级、第二等级、第三等级和第四等级的安全程度依次递增，例如，第一等级为低等级，第二等级为中等级，第三等级为高等级，第四等级为极高等级。
可以理解，本公开实施例提出一种针对恶意文本攻击防护能力的安全评估方法，建立以恶意文本反馈为基础的恶意文本攻击防护能力检测体系，基于正常文本利用多种方法自动构造不同复杂度的恶意文本，将恶意文本发送至待测应用服务器进行攻击尝试。基于待测系统针对恶意文本的动态反馈结果，判断攻击是否成功干扰模型输出结果，从而评估待测系统的恶意文本攻击防护能力，为互联网内容安全防护提供有力参考，整体过程的测试准确性高，测试效率高。
图7示意性示出了根据本公开实施例的安全评估装置的框图，可以应用于如图1所示的监控服务器，或者其他可以用于安全评估的各种类型的计算机系统。
如图7所示，该安全评估装置700可以包括：攻击构造模块710和防护评估模块720。
攻击构造模块710用于构造恶意文本样本。
防护评估模块720用于将恶意文本样本发送至待测服务器；基于待测服务器针对恶意文本样本的响应结果，确定所述恶意文本样本针对待测服务器的攻击状态；并且，基于上述攻击状态，确定待测服务器针对恶意文本的安全防护等级。
图8示意性示出了根据本公开另一实施例的安全评估装置的框图。
如图8所示，该安全评估装置800可以包括：攻击构造模块810、防护评估模块820和文本提取模块830。其中攻击构造模块810、防护评估模块820分别与攻击构造模块710和防护评估模块720具有相同的功能，重复的部分不再赘述。
文本提取模块830用于收集原始文本并对其进行预处理。例如，得到原始文本后，去除文本非关键信息，对文本进行分词与数据清洗，将原始文本转化为可分析、可建模特征向量。以上过程在上文中均已说明，在此不再赘述。文本提取模块830可以包括文本收集单元、文本分词单元、文本清洗单元和特征提取单元。
根据本公开的实施例，攻击构造模块810可以包括文本标记单元、简单构造单元、一般构造单元和复杂构造单元。上文实施例中涉及到针对原始文本集合进行分类、构造简单恶意文本样本、构造一般恶意文本样本、构造复杂恶意文本样本的过程由攻击构造模块810中的各单元实施，实施方式上文中已说明，在此不再赘述。
根据本公开的实施例，防护评估模块820可以包括攻击请求单元和响应分析单元，上文实施例中涉及到向待测服务器发送恶意文本样本、对待测服务器的响应结果进行分析等过程由防护评估模块820中的各单元实施，实施方式上文中已说明，在此不再赘述。
需要说明的是，装置部分实施例中各模块/单元/子单元等的实施方式、解决的技术问题、实现的功能、以及达到的技术效果分别与方法部分实施例中各对应的步骤的实施方式、解决的技术问题、实现的功能、以及达到的技术效果相同或类似，在此不再赘述。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，攻击构造模块810、防护评估模块820和文本提取模块830中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，攻击构造模块810、防护评估模块820和文本提取模块830中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，攻击构造模块810、防护评估模块820和文本提取模块830中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图9示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。图9示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，根据本公开实施例的计算机系统900包括处理器901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。处理器901例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器901还可以包括用于缓存用途的板载存储器。处理器901可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 903中，存储有系统900操作所需的各种程序和数据。处理器901、ROM 902以及RAM 903通过总线904彼此相连。处理器901通过执行ROM 902和/或RAM 903中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 902和RAM 903以外的一个或多个存储器中。处理器901也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，系统900还可以包括输入/输出(I/O)接口905，输入/输出(I/O)接口905也连接至总线904。系统900还可以包括连接至I/O接口905的以下部件中的一项或多项：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被处理器901执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (15)

1.一种安全评估方法，包括：
构造恶意文本样本；
将所述恶意文本样本发送至待测服务器；
基于所述待测服务器针对所述恶意文本样本的响应结果，确定所述恶意文本样本针对所述待测服务器的攻击状态；以及
基于所述攻击状态，确定所述待测服务器针对恶意文本的安全防护等级。
2.根据权利要求1所述的方法，其中，所述构造恶意文本样本包括：
构造第1个恶意文本样本集合至第M个恶意文本样本集合，所述第1个恶意文本样本集合至第M个恶意文本样本集合的文本复杂度依次递增，M为大于1的整数；
所述将所述恶意文本样本发送至待测服务器包括：
将第i个恶意文本样本集合中的每个恶意文本样本发送至所述待测服务器；以及
在确定所述第i个恶意文本样本集合针对所述待测服务器的攻击状态为失败时，将第i+1个恶意文本样本集合中的每个恶意文本样本发送至待测服务器，其中，i为大于等于1且小于M的整数。
3.根据权利要求2所述的方法，其中，所述基于所述待测服务器针对所述恶意文本样本的响应结果，确定所述恶意文本样本针对所述待测服务器的攻击状态包括：
针对所述第i个恶意文本样本集合中的第j个恶意文本样本，计算所述待测服务器针对所述第j个恶意文本样本的第一响应结果与所述待测服务器针对一个正常文本的第二响应结果之间的第一相似度，并在所述第一相似度大于等于第一阈值时，确定所述第j个恶意文本样本攻击成功，j为大于等于1的整数；
计算所述第i个恶意文本样本集合中攻击成功的恶意文本样本的占比；
当所述占比大于第二阈值时，确定所述第i个恶意文本样本集合针对所述待测服务器的攻击状态为成功；以及
当所述占比小于等于第二阈值时，确定所述第i个恶意文本样本集合针对所述待测服务器的攻击状态为失败。
4.根据权利要求2所述的方法，还包括：
在所述构造第1个恶意文本样本集合至第M个恶意文本样本集合之前，
获取原始文本集合；
利用预先训练的分类器对所述原始文本集合进行分类，以确定恶意文本集合和正常文本集合；
基于所述恶意文本集合，建立恶意文本库，所述恶意文本库包括多个恶意文本；以及
基于所述正常文本集合，建立正常文本库和正常文本字典库，所述正常文本库包括多个正常文本，所述正常文本字典库包括多个汉字。
5.根据权利要求4所述的方法，其中，建立正常文本字典库包括：
将所述多个正常文本中的汉字全量提取后，得到所述多个汉字；以及
由所述多个汉字构成所述正常文本字典库。
6.根据权利要求4所述的方法，还包括：在所述利用预先训练的分类器对所述原始文本集合进行分类之前，对所述原始文本集合进行预处理；
所述对所述原始文本集合进行预处理包括：
针对所述原始文本集合中的每个原始文本，对所述原始文本进行分词处理以得到分词处理文本，对所述分词处理结果进行数据清洗操作以得到清洗后文本，并对所述清洗后文本进行特征提取以得到所述原始文本的特征向量；
所述利用预先训练的分类器对所述原始文本集合进行分类包括：利用预先训练的分类器对所述原始文本集合中的每个原始文本的特征向量进行分类，以确定所述每个原始文本的类别，所述类别包括：正常文本类别或恶意文本类别。
7.根据权利要求6所述的方法，其中，所述清洗后文本包括N个汉字，N为大于1的整数；
所述对所述清洗后文本进行特征提取以得到所述原始文本的特征向量包括：
针对所述清洗后文本中的第k个汉字，确定所述第k个汉字的音码和形码，并由所述音码和形码构成所述第k个汉字的特征向量，k为大于等于1且小于等于N的整数；以及
基于所述清洗后文本中的N个汉字各自的特征向量，构成所述原始文本的特征向量。
8.根据权利要求4所述的方法，其中，M为3，所述构造第1个恶意文本样本集合至第M个恶意文本样本集合包括：
利用随机抽样算法从所述恶意文本库中随机抽取第一数量个恶意文本以作为第一数量个第一恶意文本样本，并由所述第一数量个第一恶意文本样本构成所述第1个恶意文本样本集合。
9.根据权利要求8所述的方法，其中，所述构造第1个恶意文本样本集合至第M个恶意文本样本集合还包括：
利用随机抽样算法从所述恶意文本库中随机抽取第二数量个恶意文本；
针对所述第二数量个恶意文本中的每个恶意文本，计算所述恶意文本中的第m个汉字分别与正常文本字典库中的多个汉字之间的第二相似度，基于所述第二相似度从所述正常文本字典库中确定一个候选汉字，并利用所述候选汉字替换所述恶意文本中的所述第m个汉字，以得到针对所述恶意文本的第二恶意文本样本，m大于等于1的整数；以及
由针对所述第二数量个恶意文本的第二数量个第二恶意文本样本，构成第2个恶意文本样本集合。
10.根据权利要求9所述的方法，其中，所述基于所述第二相似度从所述正常文本字典库中确定一个候选汉字包括：
当所述正常文本字典库中存在第二相似度大于第三阈值的汉字时，选取所述正常文本字典库中第二相似度最大的汉字作为候选汉字。
11.根据权利要求8所述的方法，其中，所述构造第1个恶意文本样本集合至第M个恶意文本样本集合还包括：
构造生成对抗网络，所述生成对抗网络包括生成模型和判别模型；
利用随机抽样算法从所述恶意文本库中随机抽取多个恶意文本，并从所述正常文本库中随机抽取多个正常文本；
利用所述多个恶意文本和所述多个正常文本对所述生成对抗网络进行训练，直至所述生成模型和所述判别模型的损失值之和达到最小，以得到训练完成的生成模型；以及
利用所述训练完成的生成模型生成第3个恶意文本样本集合。
12.根据权利要求8所述的方法，其中，所述基于所述攻击状态，确定所述待测服务器针对恶意文本的安全防护等级包括：
当所述第1个恶意文本样本集合针对所述待测服务器的攻击状态为成功时，确定所述待测服务器针对恶意文本的安全防护等级为第一等级；
当所述第2个恶意文本样本集合针对所述待测服务器的攻击状态为成功时，确定所述待测服务器针对恶意文本的安全防护等级为第二等级；
当所述第3个恶意文本样本集合针对所述待测服务器的攻击状态为成功时，确定所述待测服务器针对恶意文本的安全防护等级为第三等级；以及
当所述第1个恶意文本样本集合至所述第3个恶意文本样本集合针对所述待测服务器的攻击状态均为失败时，确定所述待测服务器针对恶意文本的安全防护等级为第四等级，
其中，所述第一等级、所述第二等级、所述第三等级和所述第四等级的安全程度依次递增。
13.一种安全评估装置，包括：
攻击构造模块，用于构造恶意文本样本；以及
防护评估模块，用于将所述恶意文本样本发送至待测服务器；基于所述待测服务器针对所述恶意文本样本的响应结果，确定所述恶意文本样本针对所述待测服务器的攻击状态；以及，基于所述攻击状态，确定所述待测服务器针对恶意文本的安全防护等级。
14.一种计算机系统，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时用于实现如权利要求1～12任一项所述的方法。
15.一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如权利要求1～12任一项所述的方法。
CN202010735301.4A 2020-07-27 2020-07-27 安全评估方法、装置、计算机系统和介质 Active CN111866004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010735301.4A CN111866004B (zh) 2020-07-27 2020-07-27 安全评估方法、装置、计算机系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010735301.4A CN111866004B (zh) 2020-07-27 2020-07-27 安全评估方法、装置、计算机系统和介质

Publications (2)

Publication Number Publication Date
CN111866004A true CN111866004A (zh) 2020-10-30
CN111866004B CN111866004B (zh) 2022-09-27

Family

ID=72947866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010735301.4A Active CN111866004B (zh) 2020-07-27 2020-07-27 安全评估方法、装置、计算机系统和介质

Country Status (1)

Country Link
CN (1) CN111866004B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111833A (zh) * 2021-04-23 2021-07-13 中国科学院深圳先进技术研究院 人工智能系统的安全性检测方法、装置及终端设备
CN113222074A (zh) * 2021-06-15 2021-08-06 百度在线网络技术（北京）有限公司 评估目标检测模型的方法及装置
CN113591464A (zh) * 2021-07-28 2021-11-02 百度在线网络技术（北京）有限公司 变体文本检测方法、模型训练方法、装置及电子设备
CN114401135A (zh) * 2022-01-14 2022-04-26 国网河北省电力有限公司电力科学研究院 基于LSTM-Attention用户和实体行为分析技术的内部威胁检测方法
CN115981877A (zh) * 2023-03-21 2023-04-18 航天万源云数据河北有限公司 数据中心的数据安全运行方法、装置、服务器和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492582A (zh) * 2018-11-09 2019-03-19 杭州安恒信息技术股份有限公司 一种基于算法对抗性攻击的图像识别攻击方法
CN110222831A (zh) * 2019-06-13 2019-09-10 百度在线网络技术（北京）有限公司 深度学习模型的鲁棒性评估方法、装置及存储介质
US20190318099A1 (en) * 2018-04-16 2019-10-17 International Business Machines Corporation Using Gradients to Detect Backdoors in Neural Networks
CN110363243A (zh) * 2019-07-12 2019-10-22 腾讯科技（深圳）有限公司 分类模型的评估方法和装置
CN110851835A (zh) * 2019-09-23 2020-02-28 平安科技（深圳）有限公司 图像模型检测方法、装置、电子设备及存储介质
CN110933104A (zh) * 2019-12-11 2020-03-27 成都卫士通信息产业股份有限公司 恶意命令检测方法、装置、设备及介质
CN111310829A (zh) * 2020-02-14 2020-06-19 中国人民解放军国防科技大学 基于混淆矩阵的分类结果检测方法、装置及存储介质
CN111343203A (zh) * 2020-05-18 2020-06-26 国网电子商务有限公司 一种样本识别模型训练方法、恶意样本提取方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190318099A1 (en) * 2018-04-16 2019-10-17 International Business Machines Corporation Using Gradients to Detect Backdoors in Neural Networks
CN109492582A (zh) * 2018-11-09 2019-03-19 杭州安恒信息技术股份有限公司 一种基于算法对抗性攻击的图像识别攻击方法
CN110222831A (zh) * 2019-06-13 2019-09-10 百度在线网络技术（北京）有限公司 深度学习模型的鲁棒性评估方法、装置及存储介质
CN110363243A (zh) * 2019-07-12 2019-10-22 腾讯科技（深圳）有限公司 分类模型的评估方法和装置
CN110851835A (zh) * 2019-09-23 2020-02-28 平安科技（深圳）有限公司 图像模型检测方法、装置、电子设备及存储介质
CN110933104A (zh) * 2019-12-11 2020-03-27 成都卫士通信息产业股份有限公司 恶意命令检测方法、装置、设备及介质
CN111310829A (zh) * 2020-02-14 2020-06-19 中国人民解放军国防科技大学 基于混淆矩阵的分类结果检测方法、装置及存储介质
CN111343203A (zh) * 2020-05-18 2020-06-26 国网电子商务有限公司 一种样本识别模型训练方法、恶意样本提取方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINFENG LI, ET AL: "TEXTBUGGER: Generating Adversarial Text Against Real-world Applications", 《 26TH ANNUAL NETWORK AND DISTRIBUTED SYSTEM SECURITY SYMPOSIUM (NDSS)》 *
刘晓琴等: "一种多强度攻击下的对抗逃避攻击集成学习算法", 《计算机科学》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111833A (zh) * 2021-04-23 2021-07-13 中国科学院深圳先进技术研究院 人工智能系统的安全性检测方法、装置及终端设备
CN113111833B (zh) * 2021-04-23 2022-11-25 中国科学院深圳先进技术研究院 人工智能系统的安全性检测方法、装置及终端设备
CN113222074A (zh) * 2021-06-15 2021-08-06 百度在线网络技术（北京）有限公司 评估目标检测模型的方法及装置
CN113222074B (zh) * 2021-06-15 2023-08-22 百度在线网络技术（北京）有限公司 评估目标检测模型的方法及装置
CN113591464A (zh) * 2021-07-28 2021-11-02 百度在线网络技术（北京）有限公司 变体文本检测方法、模型训练方法、装置及电子设备
CN113591464B (zh) * 2021-07-28 2022-06-10 百度在线网络技术（北京）有限公司 变体文本检测方法、模型训练方法、装置及电子设备
CN114401135A (zh) * 2022-01-14 2022-04-26 国网河北省电力有限公司电力科学研究院 基于LSTM-Attention用户和实体行为分析技术的内部威胁检测方法
CN115981877A (zh) * 2023-03-21 2023-04-18 航天万源云数据河北有限公司 数据中心的数据安全运行方法、装置、服务器和介质

Also Published As

Publication number Publication date
CN111866004B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN111866004B (zh) 安全评估方法、装置、计算机系统和介质
CN108737406B (zh) 一种异常流量数据的检测方法及系统
US20230385409A1 (en) Unstructured text classification
CN111694937A (zh) 基于人工智能的面试方法、装置、计算机设备及存储介质
CN111177367B (zh) 案件分类方法、分类模型训练方法及相关产品
CN112100377B (zh) 文本分类方法、装置、计算机设备和存储介质
CN109325125B (zh) 一种基于cnn优化的社交网络谣言检测方法
CN113726730A (zh) 基于深度学习算法的dga域名检测方法及系统
CN117272142A (zh) 一种日志异常检测方法、系统及电子设备
Bharathi et al. Machine Learning Based Approach for Sentiment Analysis on Multilingual Code Mixing Text.
Rajesh et al. Fraudulent news detection using machine learning approaches
CN113343235A (zh) 基于Transformer的应用层恶意有效负载检测方法、系统、设备及介质
CN114118398A (zh) 目标类型网站的检测方法、系统、电子设备及存储介质
CN114417883B (zh) 一种数据处理方法、装置及设备
CN113886529B (zh) 一种面向网络安全领域的信息抽取方法及其系统
CN110472243B (zh) 一种中文拼写检查方法
CN113836297A (zh) 文本情感分析模型的训练方法及装置
CN118138382B (zh) 恶意域名的生成方法、装置、设备及介质
CN117828072B (zh) 一种基于异构图神经网络的对话分类方法和系统
US12079326B2 (en) Password discovery system using a generative adversarial network
Adam et al. VishingDefender: An Advanced Vishing Defence System Against Vishing Attacks
Amoah Building a framework for detecting smishing messages
Liang et al. Enhancing Neural Text Detector Robustness with µAttacking and RR-Training. Electronics 2023, 12, 1948
CN116561309A (zh) 基于自动机器学习的自适应文本分类方法及装置
CN116719919A (zh) 文本处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant