CN112437460B - Ip地址黑灰名单分析方法、服务器、终端及存储介质 - Google Patents

Ip地址黑灰名单分析方法、服务器、终端及存储介质 Download PDF

Info

Publication number
CN112437460B
CN112437460B CN202011324252.1A CN202011324252A CN112437460B CN 112437460 B CN112437460 B CN 112437460B CN 202011324252 A CN202011324252 A CN 202011324252A CN 112437460 B CN112437460 B CN 112437460B
Authority
CN
China
Prior art keywords
gray list
address black
list analysis
address
analysis scheme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011324252.1A
Other languages
English (en)
Other versions
CN112437460A (zh
Inventor
王智明
徐雷
陶冶
于城
边林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202011324252.1A priority Critical patent/CN112437460B/zh
Publication of CN112437460A publication Critical patent/CN112437460A/zh
Application granted granted Critical
Publication of CN112437460B publication Critical patent/CN112437460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/06—Testing, supervising or monitoring using simulated traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供一种基于DQN的IP地址黑灰名单分析方法、服务器、终端设备及存储介质，其中所述方法包括：接收用户的IP地址黑灰名单分析请求；基于DQN算法对所述IP地址黑灰名单分析请求进行分析，得到初始IP地址黑灰名单分析方案；对所述初始IP地址黑灰名单分析方案进行分析，得到最终的IP地址黑灰名单分析方案；从所述用户的IP数据源中获取用户IP数据；以及，基于所述最终的IP地址黑灰名单分析方案对所述用户IP数据进行分析，得到IP地址黑灰名单。本公开实施例至少可以解决目前用户IP地址黑灰名单识别过程中响应延迟高、准确率低及覆盖率低等问题。

Description

IP地址黑灰名单分析方法、服务器、终端及存储介质
技术领域
本公开涉及通信技术领域，尤其涉及一种基于DQN的IP地址黑灰名单分析方法、一种IP地址黑灰名单分析服务器、一种终端设备以及一种计算机可读存储介质。
背景技术
随着人5G(5th-Generation，第五代通信技术)网络的快速发展，目前所采用的IP地址黑灰名单识别方式已逐渐无法适应日益增长的IP网络攻击速度更快、破坏力更大的需求，其产生的响应延迟高、准确率低、覆盖率低等问题日益突出。
发明内容
本公开提供了一种基于DQN的IP地址黑灰名单分析方法、IP地址黑灰名单分析服务器、终端设备及计算机可读存储介质，以至少解决上述问题。
根据本公开实施例的一方面，提供一种基于DQN的IP地址黑灰名单分析方法，包括：
接收用户的IP地址黑灰名单分析请求；
基于DQN算法对所述IP地址黑灰名单分析请求进行分析，得到初始IP地址黑灰名单分析方案；
对所述初始IP地址黑灰名单分析方案进行分析，得到最终的IP地址黑灰名单分析方案；
从所述用户的IP数据源中获取用户IP数据；以及，
基于所述最终的IP地址黑灰名单分析方案对所述用户IP数据进行分析，得到IP地址黑灰名单。
在一种实施方式中，所述方法还包括：
确定所述IP地址黑灰名单分析请求的优化参数；
所述基于DQN算法对所述IP地址黑灰名单分析请求进行分析，得到初始IP地址黑灰名单分析方案，包括：
针对所述优化参数基于DQN算法对所述IP地址黑灰名单分析请求进行分析，得到初始IP地址黑灰名单分析方案；
所述对所述初始IP地址黑灰名单分析方案进行分析，得到最终的IP地址黑灰名单分析方案，包括：
针对所述优化参数对所述初始IP地址黑灰名单分析方案进行分析，得到最终的IP地址黑灰名单分析方案。
在一种实施方式中，所述优化参数包括覆盖率、准确率及响应延迟率；
所述针对所述优化参数基于DQN算法对所述IP地址黑灰名单分析请求进行分析，得到初始IP地址黑灰名单分析方案，根据以下公式得到：
Figure BDA0002793839030000021
式中，
Figure BDA0002793839030000022
表示初始IP地址黑灰名单分析方案，其中k为迭代次数；i、j和t为维度，且i∈[1,m],j∈[1,n],t∈[1,q]，m、n、q分别表示维度最大值；/>
Figure BDA0002793839030000023
为第k次迭代时的梯度；
Figure BDA0002793839030000024
为第k次迭代时的覆盖率；/>
Figure BDA0002793839030000025
为第k次迭代时的准确率；/>
Figure BDA0002793839030000026
为第k次迭代时的响应延迟率，σ为常数。
在一种实施方式中，针对所述优化参数对所述初始IP地址黑灰名单分析方案进行分析，得到最终的IP地址黑灰名单分析方案，包括：
设置迭代初始参数和最大迭代次数；
针对所述优化参数对所述初始IP地址黑灰名单分析方案进行深度分析，得到匹配度最优的中间IP地址黑灰名单分析方案；
判断所述匹配度最优的中间IP地址黑灰名单分析方案是否满足预设的评估条件；
若满足预设的评估条件，则选择所述匹配度最优的中间IP地址黑灰名单分析方案作为最终的IP地址黑灰名单分析方案；
若不满足预设的评估条件，则判断当前迭代次数是否不大于所述最大迭代次数；
若不大于所述最大迭代次数，则对所述初始IP地址黑灰名单分析方案进行深度无监督学习，得到迭代次数加1后的初始IP地址黑灰名单分析方案，返回执行针对所述优化参数对所述初始IP地址黑灰名单分析方案进行深度分析的步骤；
若大于所述最大迭代次数，则选择所述匹配度最优的中间IP地址黑灰名单分析方案作为最终的IP地址黑灰名单分析方案。
在一种实施方式中，针对所述优化参数对所述初始IP地址黑灰名单分析方案进行深度分析，得到匹配度最优的中间IP地址黑灰名单分析方案，根据以下公式得到：
Figure BDA0002793839030000031
式中，Min ZK表示第k次迭代时得到匹配度最优的中间IP地址黑灰名单分析方案，CGmax表示历史最高准确率，EGmin表示历史最低响应延迟率、WGmax表示历史最大覆盖率。
在一种实施方式中，判断所述匹配度最优的中间IP地址黑灰名单分析方案是否满足预设的评估条件，根据以下公式得到：
Figure BDA0002793839030000032
式中，
Figure BDA0002793839030000033
表示第k次迭代时的准确率乘积概率，/>
Figure BDA0002793839030000034
表示第k次迭代时的响应延迟率乘积概率，/>
Figure BDA0002793839030000035
表示第k次迭代时的覆盖率乘积概率。
在一种实施方式中，对所述初始IP地址黑灰名单分析方案进行深度无监督学习，得到迭代次数加1后的初始IP地址黑灰名单分析方案，根据以下公式得到：
Figure BDA0002793839030000041
Figure BDA0002793839030000042
式中，
Figure BDA0002793839030000043
表示迭代次数为第k+1次时的初始IP地址黑灰名单分析方案，包含
Figure BDA0002793839030000044
三方面的信息向量，/>
Figure BDA0002793839030000045
表示迭代次数为第k+1次时的准确率，/>
Figure BDA0002793839030000046
表示迭代次数为第k+1次时的响应延迟率，/>
Figure BDA0002793839030000047
表示迭代次数为第k+1次时覆盖率，/>
Figure BDA0002793839030000048
表示迭代次数为第k+1次时的深度无监督学习加强因子；
其中，深度无监督学习加强因子
Figure BDA0002793839030000049
根据以下公式得到：
Figure BDA00027938390300000410
式中，CGmax表示历史最高准确率，EGmin表示历史最低响应延迟率、WGmax表示历史最大覆盖率。
根据本公开实施例的另一方面，提供一种IP地址黑灰名单分析服务器，包括：
接收模块，其设置为接收用户的IP地址黑灰名单分析请求；
第一分析模块，其设置为基于DQN算法对所述IP地址黑灰名单分析请求进行分析，得到初始IP地址黑灰名单分析方案；
第二分析模块，其设置为对所述初始IP地址黑灰名单分析方案进行分析，得到最终的IP地址黑灰名单分析方案；
获取模块，其设置为从所述用户的IP数据源中获取用户IP数据；以及，
第三分析模块，其设置为基于所述最终的IP地址黑灰名单分析方案对所述用户IP数据进行分析，得到IP地址黑灰名单。
根据本公开实施例的又一方面，提供一种终端设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行所述的基于DQN算法的IP地址黑灰名单分析方法。
根据本公开实施例的再一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，所述处理器执行所述的基于DQN算法的IP地址黑灰名单分析方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例提供的基于DQN的IP地址黑灰名单分析方法，通过接收用户的IP地址黑灰名单分析请求；基于DQN算法对所述IP地址黑灰名单分析请求进行分析，得到初始IP地址黑灰名单分析方案；对所述初始IP地址黑灰名单分析方案进行分析，得到最终的IP地址黑灰名单分析方案；从所述用户的IP数据源中获取用户IP数据；以及，基于所述最终的IP地址黑灰名单分析方案对所述用户IP数据进行分析，得到IP地址黑灰名单。本公开实施例至少可以解决目前用户IP地址黑灰名单识别过程中响应延迟高、准确率低及覆盖率低等问题。
本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本公开技术方案的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。
图1为本公开实施例提供的一种基于DQN的IP地址黑灰名单分析方法的流程示意图；
图2为IP地址黑灰名单识别场景图的场景示意图；
图3为本公开实施例初始IP地址黑灰名单分析方案以三维向量的形式存储的示意图；
图4为步骤S102的流程示意图；
图5为本公开实施例卷积神经元网络的示意图；
图6为本公开实施例针对所述优化参数对所述IP地址黑灰名单分析方案进行深度分析的流程示意图；
图7为本公开实施例提供的一种IP地址黑灰名单分析服务器的结构示意图；
图8为本公开实施例提供的一种终端设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序；并且，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互任意组合。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本公开的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
随着5G网路的迅猛发展，5G网络所指的就是在移动通信网络发展中的第五代网络，与之前的四代移动网络相比较而言，5G网络在实际应用过程中表现出更加强化的功能，并且理论上其传输速度每秒钟能够达到数10GB，这种速度是4G移动网络的几百倍。对于5G网络而言，其在实际应用过程中表现出更加明显的优势及更加强大的功能，同时，传统的IP地址黑灰名单识别方式已逐渐无法适应日益增长的IP网络攻击速度更快、破坏力更大的需求，其产生的其产生的响应延迟高、准确率低、覆盖率低等问题日益突出，为解决上述问题，本公开实施例提出一种基于DQN的IP地址黑灰名单分析方法。
请参照图1，图1为本公开实施例提供的一种基于DQN的IP地址黑灰名单分析方法的流程示意图，包括步骤S101-S105。
在步骤S101中，接收用户的IP地址黑灰名单分析请求。
结合图2所示，图2为基于马尔科夫决策过程(与累积回报的)IP地址黑灰名单识别场景图，主要分为三个层面部分：1)资源层，包含：各用户方(内部用户、外部用户及公众用户)的IP数据源，主要实现IP数据的获取及反馈。2)分析层，包含：IP地址黑灰名单分析服务器，实现IP地址黑灰名单的分析。3)开放层，包含：内部用户、外部用户、公众用户等，实现用户IP地址黑灰名单分析请求接入及反馈。
具体地，开放层中内部用户、外部用户、公众用户首先将用户IP地址黑灰名单分析请求发送给分析层中IP地址黑灰名单分析服务器；分析层中IP地址黑灰名单分析服务器提供IP地址黑灰名单分析服务；分析层中IP地址黑灰名单先基于IP地址黑灰名单分析请求生成IP地址黑灰名单分析方案，然后调取各方IP数据，各方IP数据源将IP数据返回给IP地址黑灰名单分析服务器；IP地址黑灰名单分析服务器最后根据所生成的分析方案分析IP地址并将分析结果反馈给开放层中内部用户、外部用户、公众用户。
在步骤S102中，基于DQN算法对所述IP地址黑灰名单分析请求进行分析，得到初始IP地址黑灰名单分析方案。
DQN(Deep Q Network，深Q网络)算法，使用神经网络来近似值函数，本实施例利用DQN算法对所述IP地址黑灰名单分析请求进行分析，主要针对基于秒变次数和在线时长的特征分析，即用户账号上线时间IP变化次数，通过用户发出的分析请求，基于DQN算法进行强化学习生成初始IP地址黑灰名单分析方案，以降低响应延迟、提高准确率低及覆盖率为目标进行强化。
具体地，所述方法还包括以下步骤：确定所述IP地址黑灰名单分析请求的优化参数；
所述步骤S102，具体为：
针对所述优化参数基于DQN算法对所述IP地址黑灰名单分析请求进行分析，得到初始IP地址黑灰名单分析方案；
其中，所述优化参数包括覆盖率、准确率及响应延迟率；
所述针对所述优化参数基于DQN算法对所述IP地址黑灰名单分析请求进行分析，得到初始IP地址黑灰名单分析方案，根据以下公式得到：
Figure BDA0002793839030000081
式中，
Figure BDA0002793839030000082
表示初始IP地址黑灰名单分析方案，其中k为迭代次数；i、j和t为维度，且i∈[1,m],j∈[1,n],t∈[1,q]，m、n、q分别表示维度最大值；/>
Figure BDA0002793839030000083
表示第k次迭代时的梯度，/>
Figure BDA0002793839030000084
为第k次迭代时的覆盖率；/>
Figure BDA0002793839030000085
为第k次迭代时的准确率；/>
Figure BDA0002793839030000086
为第k次迭代时的响应延迟率，σ为常数，是可变尺度参数。
可以理解的是，上述公式为DQN算法中似然梯度下降算法，利用上述算法使生成的初始IP地址黑灰名单分析方案向较优的覆盖率、准确率、响应延迟率的方向强化。
本实施例采用稀疏矩阵以三维向量的形式存储初始IP地址黑灰名单分析方案，
Figure BDA0002793839030000087
其中i、j和t为维度。如图3所示，/>
Figure BDA0002793839030000088
所对应的i，j，t(即m、n、q坐标上的任意取值)的维度位置中存储各个优化参数。在一些实施例中，结合卷积神经元网络实现对IP地址黑灰名单分析方案的覆盖率、准确率及响应延迟率的优化。
为便于理解，每次迭代中的多层神经元、数据处理、DQN等策略思想为:在1,2，Lh多维空间中，多个深度分析(基于秒变次数和在线时长的特征分析)方案根据多层神经元、数据处理、DQN等策略方式向最优化任务优先方案确定的方向迁移。如图4所示，IP数据经过请求输入，多层神经元、数据处理、DQN分析后输出相应分析结果，如图5所示，多层神经元网络包含：覆盖率W(＝分析出的黑灰账户总数量/实际黑灰账户总量)、响应延迟率E(＝单位时间内黑灰账户分析无效占用时间量/单位时间总量)、准确率C(＝分析出的实际黑灰账户数量/分析出的黑灰账户总数量)。输出量包含：IP地址黑灰名单初始分析方案的预推荐信息。
在步骤S103中，对所述初始IP地址黑灰名单分析方案进行分析，得到最终的IP地址黑灰名单分析方案；
针对所述优化参数对所述初始IP地址黑灰名单分析方案进行分析，得到最终的IP地址黑灰名单分析方案。
在步骤S104中，从所述用户的IP数据源中获取用户IP数据；以及，
在步骤S105中，基于所述最终的IP地址黑灰名单分析方案对所述用户IP数据进行分析，得到IP地址黑灰名单。
进一步地，针对所述优化参数对所述初始IP地址黑灰名单分析方案进行分析，得到最终的IP地址黑灰名单分析方案，如图6所示，包括以下步骤：
a、设置迭代初始参数和最大迭代次数；
b、针对所述优化参数对所述初始IP地址黑灰名单分析方案进行深度分析，得到匹配度最优的中间IP地址黑灰名单分析方案；
c、判断所述匹配度最优的中间IP地址黑灰名单分析方案是否满足预设的评估条件，若满足预设的评估条件，则执行步骤d，若不满足预设的评估条件，则执行步骤e；
d、选择所述匹配度最优的中间IP地址黑灰名单分析方案作为最终的IP地址黑灰名单分析方案；
e、判断当前迭代次数是否不大于所述最大迭代次数，若不大于所述最大迭代次数，则执行f，否则，返回步骤d选择所述匹配度最优的中间IP地址黑灰名单分析方案作为最终的IP地址黑灰名单分析方案。
f、对所述初始IP地址黑灰名单分析方案进行深度无监督学习，得到迭代次数加1后的初始IP地址黑灰名单分析方案，返回执行针对所述优化参数对所述初始IP地址黑灰名单分析方案进行深度分析的步骤。
需要说明的是，本实施例对IP地址黑灰名单分析方案以迭代循环的方式进行深度分析，其中，可以设置最大迭代参数为50，为避免无限迭代优化，在迭代次数达到50次时，默认为该方案已满足评估条件。
在一种实施方式中，针对所述优化参数对所述初始IP地址黑灰名单分析方案进行深度分析，得到匹配度最优的中间IP地址黑灰名单分析方案，根据以下公式得到：
Figure BDA0002793839030000101
式中，Min ZK表示第k次迭代时得到匹配度最优的中间IP地址黑灰名单分析方案，CGmax表示历史最高准确率，EGmin表示历史最低响应延迟率、WGmax表示历史最大覆盖率。
具体地，通过对初始IP地址黑灰名单分析方案进行深度分析，根据上述公式在第k次迭代选择出历史最高准确率，历史最低响应延迟率、历史最大覆盖率的方案作为匹配度最优的中间IP地址黑灰名单分析方案。
在一种实施方式中，判断所述匹配度最优的中间IP地址黑灰名单分析方案是否满足预设的评估条件，根据以下公式得到：
Figure BDA0002793839030000102
式中，
Figure BDA0002793839030000103
表示第k次迭代时的准确率乘积概率，/>
Figure BDA0002793839030000104
表示第k次迭代时的响应延迟率乘积概率，/>
Figure BDA0002793839030000105
表示第k次迭代时的覆盖率乘积概率。
在一种实施方式中，对所述初始IP地址黑灰名单分析方案进行监督学习，得到迭代次数加1后的初始IP地址黑灰名单分析方案，根据以下公式得到：
Figure BDA0002793839030000106
Figure BDA0002793839030000107
式中，
Figure BDA0002793839030000108
表示迭代次数为第k+1次时的初始IP地址黑灰名单分析方案，包含
Figure BDA0002793839030000109
三方面的信息向量，/>
Figure BDA00027938390300001010
表示迭代次数为第k+1次时的准确率，/>
Figure BDA0002793839030000111
表示迭代次数为第k+1次时的响应延迟率，/>
Figure BDA0002793839030000112
表示迭代次数为第k+1次时覆盖率，/>
Figure BDA0002793839030000113
表示迭代次数为第k+1次时的深度无监督学习加强因子；
其中，深度无监督学习加强因子
Figure BDA0002793839030000114
根据以下公式得到：
Figure BDA0002793839030000115
式中，CGmax表示历史最高准确率，EGmin表示历史最低响应延迟率、WGmax表示历史最大覆盖率。
基于相同的技术构思，本公开实施例提供一种IP地址黑灰名单分析服务器，如图7所示，所述服务器包括：
接收模块71，其设置为接收用户的IP地址黑灰名单分析请求；
第一分析模块72，其设置为基于DQN算法对所述IP地址黑灰名单分析请求进行分析，得到初始IP地址黑灰名单分析方案；
第二分析模块73，其设置为对所述初始IP地址黑灰名单分析方案进行分析，得到最终的IP地址黑灰名单分析方案；
获取模块74，其设置为从所述用户的IP数据源中获取用户IP数据；以及，
第三分析模块75，其设置为基于所述最终的IP地址黑灰名单分析方案对所述用户IP数据进行分析，得到IP地址黑灰名单。
基于相同的技术构思，本公开实施例相应会提供一种终端设备，如图8所示，所述终端设备包括存储器81和处理器82，所述存储器81中存储有计算机程序，当所述处理器82运行所述存储器81存储的计算机程序时，所述处理器82执行所述的基于DQN算法的IP地址黑灰名单分析方法。
基于相同的技术构思，本公开实施例相应还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，所述处理器执行所述的基于DQN算法的IP地址黑灰名单分析方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEQROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (6)

1.一种基于深Q网络DQN的IP地址黑灰名单分析方法，其特征在于，包括：
接收用户的IP地址黑灰名单分析请求；
确定所述IP地址黑灰名单分析请求的优化参数，所述优化参数包括覆盖率、准确率及响应延迟率；
针对所述优化参数基于DQN算法对所述IP地址黑灰名单分析请求进行分析，得到初始IP地址黑灰名单分析方案；
针对所述优化参数对所述初始IP地址黑灰名单分析方案进行分析，得到最终的IP地址黑灰名单分析方案；
从所述用户的IP数据源中获取用户IP数据；以及，
基于所述最终的IP地址黑灰名单分析方案对所述用户IP数据进行分析，得到IP地址黑灰名单；
所述针对所述优化参数基于DQN算法对所述IP地址黑灰名单分析请求进行分析，得到初始IP地址黑灰名单分析方案，根据以下公式得到：
Figure FDA0004253567840000011
式中，
Figure FDA0004253567840000012
表示初始IP地址黑灰名单分析方案，其中k为迭代次数；i、j和t为维度，且i∈[1,m],j∈[1,n],t∈[1,q]，m、n、q分别表示维度最大值；/>
Figure FDA0004253567840000013
为第k次迭代时的梯度；/>
Figure FDA0004253567840000014
为第k次迭代时的覆盖率；/>
Figure FDA0004253567840000015
为第k次迭代时的准确率；/>
Figure FDA0004253567840000016
为第k次迭代时的响应延迟率，σ为常数；
所述针对所述优化参数对所述初始IP地址黑灰名单分析方案进行分析，得到最终的IP地址黑灰名单分析方案，包括：
设置迭代初始参数和最大迭代次数；
针对所述优化参数对所述初始IP地址黑灰名单分析方案进行深度分析，得到匹配度最优的中间IP地址黑灰名单分析方案，根据以下公式得到：
Figure FDA0004253567840000021
式中，Min ZK表示第k次迭代时得到匹配度最优的中间IP地址黑灰名单分析方案，CGmax表示历史最高准确率，EGmin表示历史最低响应延迟率、WGmax表示历史最大覆盖率；
判断所述匹配度最优的中间IP地址黑灰名单分析方案是否满足预设的评估条件；
若满足预设的评估条件，则选择所述匹配度最优的中间IP地址黑灰名单分析方案作为最终的IP地址黑灰名单分析方案；
若不满足预设的评估条件，则判断当前迭代次数是否不大于所述最大迭代次数；
若不大于所述最大迭代次数，则对所述初始IP地址黑灰名单分析方案进行深度无监督学习，得到迭代次数加1后的初始IP地址黑灰名单分析方案，返回执行针对所述优化参数对所述初始IP地址黑灰名单分析方案进行深度分析的步骤；
若大于所述最大迭代次数，则选择所述匹配度最优的中间IP地址黑灰名单分析方案作为最终的IP地址黑灰名单分析方案。
2.根据权利要求1所述的方法，其特征在于，判断所述匹配度最优的中间IP地址黑灰名单分析方案是否满足预设的评估条件，根据以下公式得到：
Figure FDA0004253567840000022
式中，
Figure FDA0004253567840000023
表示第k次迭代时的准确率乘积概率，/>
Figure FDA0004253567840000024
表示第k次迭代时的响应延迟率乘积概率，/>
Figure FDA0004253567840000025
表示第k次迭代时的覆盖率乘积概率。
3.根据权利要求1所述的方法，其特征在于，对所述初始IP地址黑灰名单分析方案进行深度无监督学习，得到迭代次数加1后的初始IP地址黑灰名单分析方案，根据以下公式得到：
Figure FDA0004253567840000031
Figure FDA0004253567840000032
式中，
Figure FDA0004253567840000033
表示迭代次数为第k+1次时的初始IP地址黑灰名单分析方案，包含
Figure FDA0004253567840000034
三方面的信息向量，/>
Figure FDA0004253567840000035
表示迭代次数为第k+1次时的准确率，/>
Figure FDA0004253567840000036
表示迭代次数为第k+1次时的响应延迟率，/>
Figure FDA0004253567840000037
表示迭代次数为第k+1次时覆盖率，/>
Figure FDA0004253567840000038
表示迭代次数为第k+1次时的深度无监督学习加强因子；
其中，深度无监督学习加强因子
Figure FDA0004253567840000039
根据以下公式得到：
Figure FDA00042535678400000310
式中，CGmax表示历史最高准确率，EGmin表示历史最低响应延迟率、WGmax表示历史最大覆盖率。
4.一种IP地址黑灰名单分析服务器，其特征在于，包括：
接收模块，其设置为接收用户的IP地址黑灰名单分析请求；
确定模块，其设置为确定所述IP地址黑灰名单分析请求的优化参数，所述优化参数包括覆盖率、准确率及响应延迟率；
第一分析模块，其设置为针对所述优化参数基于DQN算法对所述IP地址黑灰名单分析请求进行分析，得到初始IP地址黑灰名单分析方案；
第二分析模块，其设置为针对所述优化参数对所述初始IP地址黑灰名单分析方案进行分析，得到最终的IP地址黑灰名单分析方案；
获取模块，其设置为从所述用户的IP数据源中获取用户IP数据；以及，
第三分析模块，其设置为基于所述最终的IP地址黑灰名单分析方案对所述用户IP数据进行分析，得到IP地址黑灰名单；
所述第一分析模块根据以下公式得到初始IP地址黑灰名单分析方案：
Figure FDA0004253567840000041
式中，
Figure FDA0004253567840000042
表示初始IP地址黑灰名单分析方案，其中k为迭代次数；i、j和t为维度，且i∈[1,m],j∈[1,n],t∈[1,q]，m、n、q分别表示维度最大值；/>
Figure FDA0004253567840000043
为第k次迭代时的梯度；/>
Figure FDA0004253567840000044
为第k次迭代时的覆盖率；/>
Figure FDA0004253567840000045
为第k次迭代时的准确率；/>
Figure FDA0004253567840000046
为第k次迭代时的响应延迟率，σ为常数；
所述第二分析模块具体设置为：
设置迭代初始参数和最大迭代次数；
针对所述优化参数对所述初始IP地址黑灰名单分析方案进行深度分析，得到匹配度最优的中间IP地址黑灰名单分析方案，根据以下公式得到：
Figure FDA0004253567840000047
式中，Min ZK表示第k次迭代时得到匹配度最优的中间IP地址黑灰名单分析方案，CGmax表示历史最高准确率，EGmin表示历史最低响应延迟率、WGmax表示历史最大覆盖率；
判断所述匹配度最优的中间IP地址黑灰名单分析方案是否满足预设的评估条件；
若满足预设的评估条件，则选择所述匹配度最优的中间IP地址黑灰名单分析方案作为最终的IP地址黑灰名单分析方案；
若不满足预设的评估条件，则判断当前迭代次数是否不大于所述最大迭代次数；
若不大于所述最大迭代次数，则对所述初始IP地址黑灰名单分析方案进行深度无监督学习，得到迭代次数加1后的初始IP地址黑灰名单分析方案，返回执行针对所述优化参数对所述初始IP地址黑灰名单分析方案进行深度分析的步骤；
若大于所述最大迭代次数，则选择所述匹配度最优的中间IP地址黑灰名单分析方案作为最终的IP地址黑灰名单分析方案。
5.一种终端设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据权利要求1至3中任一项所述的基于深Q网络DQN的IP地址黑灰名单分析方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，所述处理器执行根据权利要求1至3中任一项所述的基于深Q网络DQN的IP地址黑灰名单分析方法。
CN202011324252.1A 2020-11-23 2020-11-23 Ip地址黑灰名单分析方法、服务器、终端及存储介质 Active CN112437460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011324252.1A CN112437460B (zh) 2020-11-23 2020-11-23 Ip地址黑灰名单分析方法、服务器、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011324252.1A CN112437460B (zh) 2020-11-23 2020-11-23 Ip地址黑灰名单分析方法、服务器、终端及存储介质

Publications (2)

Publication Number Publication Date
CN112437460A CN112437460A (zh) 2021-03-02
CN112437460B true CN112437460B (zh) 2023-07-04

Family

ID=74693687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011324252.1A Active CN112437460B (zh) 2020-11-23 2020-11-23 Ip地址黑灰名单分析方法、服务器、终端及存储介质

Country Status (1)

Country Link
CN (1) CN112437460B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109450842A (zh) * 2018-09-06 2019-03-08 南京聚铭网络科技有限公司 一种基于神经网络的网络恶意行为识别方法
CN109936560A (zh) * 2018-12-27 2019-06-25 上海银行股份有限公司 恶意软件防护方法及装置
CN111125563A (zh) * 2018-10-31 2020-05-08 安碁资讯股份有限公司 评估网域名称的方法及其伺服器
CN111435507A (zh) * 2019-01-11 2020-07-21 腾讯科技（北京）有限公司 广告反作弊方法、装置、电子设备及可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11196746B2 (en) * 2018-07-04 2021-12-07 Microsoft Technology Licensing, Llc Whitelisting of trusted accessors to restricted web pages
US20200184043A1 (en) * 2018-12-11 2020-06-11 Avago Technologies International Sales Pte. Limited Multimedia content recognition with local and cloud-assisted machine learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109450842A (zh) * 2018-09-06 2019-03-08 南京聚铭网络科技有限公司 一种基于神经网络的网络恶意行为识别方法
CN111125563A (zh) * 2018-10-31 2020-05-08 安碁资讯股份有限公司 评估网域名称的方法及其伺服器
CN109936560A (zh) * 2018-12-27 2019-06-25 上海银行股份有限公司 恶意软件防护方法及装置
CN111435507A (zh) * 2019-01-11 2020-07-21 腾讯科技（北京）有限公司 广告反作弊方法、装置、电子设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于动态IP黑名单的入侵防御系统模型;卢先锋 等;《计算机工程与设计》;全文 *

Also Published As

Publication number Publication date
CN112437460A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
Elgendy et al. Joint computation offloading and task caching for multi-user and multi-task MEC systems: reinforcement learning-based algorithms
CN112181666A (zh) 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质
CN113242568A (zh) 一种不确定网络环境中的任务卸载和资源分配方法
CN113095512A (zh) 联邦学习建模优化方法、设备、介质及计算机程序产品
EP3767549A1 (en) Delivery of compressed neural networks
CN113568727A (zh) 一种基于深度强化学习的移动边缘计算任务分配方法
CN108833227B (zh) 一种基于边缘计算的智能家居通信优化调度系统及方法
Lei et al. Learning-based resource allocation: Efficient content delivery enabled by convolutional neural network
US20230004776A1 (en) Moderator for identifying deficient nodes in federated learning
CN113961204A (zh) 一种基于多目标强化学习的车联网计算卸载方法及系统
CN113962163A (zh) 一种实现无源微波器件高效设计的优化方法、装置和设备
CN112437460B (zh) Ip地址黑灰名单分析方法、服务器、终端及存储介质
CN110489955B (zh) 应用于电子设备的图像处理、装置、计算设备、介质
CN112364365A (zh) 工业数据加密方法、边缘服务器及计算机可读存储介质
CN112491863B (zh) Ip地址黑灰名单分析方法、服务器、终端及存储介质
CN112511521B (zh) 基于ddpg算法的ip地址黑灰名单分析方法及服务器
CN114449536B (zh) 一种基于深度强化学习的5g超密集网络多用户接入选择方法
CN115499876A (zh) Msde场景下基于dqn算法的计算卸载策略
CN116644783A (zh) 模型训练方法、对象处理方法及装置、电子设备、介质
CN114926701A (zh) 一种模型训练方法、目标检测方法、以及相关设备
CN114065913A (zh) 模型量化方法、装置及终端设备
CN112543481A (zh) 一种边缘节点算力负载均衡的方法、装置及系统
CN116957067B (zh) 公共安全事件预测模型的强化联邦学习方法及装置
CN114697974B (zh) 网络覆盖优化方法、装置、电子设备及存储介质
CN115696296B (zh) 一种基于社区发现和加权联邦学习的主动边缘缓存方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant