CN116614395A - 一种基于人工智能的数据传输异常监管系统及方法 - Google Patents
一种基于人工智能的数据传输异常监管系统及方法 Download PDFInfo
- Publication number
- CN116614395A CN116614395A CN202310575898.4A CN202310575898A CN116614395A CN 116614395 A CN116614395 A CN 116614395A CN 202310575898 A CN202310575898 A CN 202310575898A CN 116614395 A CN116614395 A CN 116614395A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- node
- data
- transmission
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 193
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 19
- 230000002159 abnormal effect Effects 0.000 claims abstract description 260
- 239000013598 vector Substances 0.000 claims abstract description 68
- 238000011835 investigation Methods 0.000 claims abstract description 47
- 238000000926 separation method Methods 0.000 claims abstract description 26
- 238000011156 evaluation Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 33
- 238000004891 communication Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 16
- 230000005856 abnormality Effects 0.000 claims description 7
- 238000011157 data evaluation Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000013523 data management Methods 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0677—Localisation of faults
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Algebra (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于人工智能的数据传输异常监管系统及方法，通采集数据传输节点的历史运行记录，对历史运行进行分类，得到若干个异常数据传输类型，提取每种异常数据传输类型影响范围的特征向量，采集目标节点的运行数据，对所述运行数据进行分析，得到目标节点的第一关联节点，设置各个第一关联节点的第一权重值，计算目标节点连接内容数据流的信息熵，计算分离信息熵，分离信息熵对应的节点设置为第二关联节点，设置各个第二关联节点的第二权重值，汇集第一关联节点和第二关联节点中所有节点，组成目标排查节点集合，设置风险值评估函数，计算节点风险值，给管理人员排查建议。
Description
技术领域
本发明涉及网络数据检测技术领域，具体为一种基于人工智能的数据传输异常监管系统及方法。
背景技术
数据传输就是按照一定的规程，通过一条或者多条数据链路，将数据从数据源传输到数据终端，它的主要作用就是实现点与点之间的信息传输与交换。网络节点是指有独立地址和具有传送或接收数据功能的网络相连。网络节点可以是工作站、客户、网络用户或个人计算机，还可以是服务器、打印机和其他网络连接的设备。随着互联网技术，物联网技术等网络技术的飞速发展，网络节点不仅数量不断增多，而且承载的业务趋于多样化。在一个通信网络中，某个网络节点检测出异常数据，产生异常数据的源节点可能不是当前节点，这种异常数据的产生有一定隐蔽性，需要管理人员对节点进行深入排查。在通信网络的实际运行过程中，网络节点产生同一异常数据的原因也可能不同。因此，网络节点出现异常数据后，管理人员排查产生异常数据的原因的难度也越来越大。
公开号CN104993960A名称为一种网络节点故障的定位方法的中国专利提供了一种网络节点故障的定位方法。该方法采用遍历计算机网络中所有产生告警节点的方法，筛选出故障节点。若计算机网络中同时产生大量告警信息，对监管系统造成运算负担，导致排查故障节点的效率降低，大量用于遍历计算的数据进入计算机网络也会降低计算机网络的运行效率，对计算机网络造成二次破坏。
发明内容
本发明的目的在于提供一种基于人工智能的数据传输异常监管系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于人工智能的数据传输异常监管方法，方法包括：
步骤S100：从通信网络的历史运行日志中采集各个数据传输节点的历史运行记录，将存在数据传输异常的历史运行记录记为异常传输记录，每条异常传输记录包括若干个运行参数项，将异常传输记录中各运行参数项的值归一化处理后，记入异常运传输记录集B；
步骤S200：对异常运传输记录集B中异常传输记录进行分类，得到若干个异常数据传输类型，提取各个异常数据传输类型影响范围的特征，得到每种异常数据传输类型影响范围的特征向量；
步骤S300：检测当前通信网络中的异常数据传输信息，将检测到异常传输数据的数据传输节点设置为目标节点，采集目标节点的运行数据，对所述运行数据进行分析，得到目标节点的运行数据与异常数据传输类型影响范围的对应关系，进一步得到目标节点的第一关联节点，设置各个第一关联节点的第一权重值；
步骤S400：提取目标节点出现异常传输数据前T时间段内的连接内容数据流信息，计算连接内容数据流的信息熵，设置节点影响阈值，计算分离信息熵，分离信息熵对应的节点设置为第二关联节点，根据与目标节点通信的信息熵大小，设置各个第二关联节点的第二权重值；
步骤S500：汇集第一关联节点和第二关联节点中所有节点，组成目标排查节点集合，设置风险值评估函数，计算节点风险值，给管理人员排查建议，若管理人员在目标排查节点集合中未检出产生异常数据的节点，则设置与目标节点逻辑距离最长的节点作为新目标节点，返回步骤S300中进行循环，再次给出新的排查建议。
进一步的，步骤S200包括：
步骤S201：将异常传输记录投影为空间中的点，异常传输记录中运行参数项个数对应空间维度，计算各个异常传输记录对应点之间的欧式距离；
步骤S202：在所述异常传输记录中评选核心数据，设置核心数据评价阈值α，核心数据评价半径r1，在异常传输记录投影的空间中，用x表示某条异常传输记录，当距x欧式距离小于r1的异常传输记录个数大于α，则设置x为核心数据，在以x为中心r1为半径的范围中所有异常传输记录构成一个异常数据传输类型；
在一定的范围内，出现若干个异常传输记录，说明这个范围是产生异常数据传输时，节点异常传输记录分布可能性较大的范围，比起传统对运行参数值一一对应的监管方式，通过总结历史数据的分布规律，用数据范围替代数据本身的值，可以比对出符合历史数据分布规律但与历史数据中不完全一致的数据，进一步提高监管效果；
步骤S203：设置核心数据影响半径r2，以核心数据为中心，r2为半径的范围设置为核心数据影响范围；
可以通过设置核心数据影响半径不同数值划定不同的核心数据影响范围，可以部署不同的核心数据管理策略，对异常数据传输的管理方法更加灵活；
步骤S204：从通信网络的运维记录中，提取发生异常数据传输后，检查出的产生异常数据的节点，所述产生异常数据的节点与所述历史运行日志对应，提取产生异常数据的节点与异常传输记录对应关系，提取核心数据对应的一个节点或多个产生异常数据节点的组合；
步骤S205：设置历史运行日志中一种异常数据的节点组合形式为一种异常事件，其中一个异常事件中包括k个核心数据；
在通信网络中一个节点或多个产生异常数据节点产生的异常数据，会对若干个数据传输节点造成影响，提取的若干种核心数据代表一个节点或多个产生异常数据节点对通信网络造成的影响；
步骤S206：计算所述异常事件的异常事件影响范围D，其中D＝C1∪C2∪C3∪…∪Ck，分别用C1，C2，C3，…Ck表示所述事件影响范围D包括的第1，第2，第3，……第k个核心数据影响范围；
步骤S207：汇集所有异常事件的异常影响范围，记为第一异常影响范围，计算第一异常影响范围中各个异常事件影响范围的特征向量；
所述特征向量为表示出各个异常事件影响范围特征的向量。
进一步的，步骤S300包括：
步骤S301：将当前检测到异常传输数据的数据传输节点设置为目标节点，采集目标节点出现异常数据传输时的运行数据，采集的运行数据至少包括一个运行参数项；
步骤S302：将采集到的告警运行数据归一化处理后，设置为异常传输状态向量；
步骤S303：将异常传输状态向量和第一异常影响总范围特征向量投影到同一维度空间，计算异常传输状态向量和第一异常影响总范围特征向量的夹角θ；
步骤S304：计算异常传输状态向量和第一异常影响总范围特征向量夹角的余弦函数值gcos；
步骤S305：提取gcos中大于0的值，记gcos中大于0的个数有u个，根据异常事件与一组产生异常数据节点的对应关系，提取所有u种异常事件对应的产生异常数据节点，记入第一关联节点V1；
步骤S306：设置第一关联节点V1中各个节点的第一权重值P，第一权重值为改节点所在第一异常影响总范围特征向量与运行数据向量夹角的余弦值；
通过计算告警运行数据向量与第一异常影响总范围特征向量夹角的余弦值可以得出运行数据向量与各个造成数据异常传输时运行参数的接近程度，向量夹角越小说明运行数据向量与对应异常事件时的运行状态约接近，通信网络中发生的该异常原因的可能性越大；
在向量夹角范围[0，2π]的范围内，余弦函数值单调递减，计算结果在[-1,1]的范围内，提取计算结果中大于0的部分，即提取[0,1]范围内的计算结果，这些计算结果具有归一性，有利于后续步骤中的运算，向量夹角的余弦值大于0说明运行数据向量与对应第一异常影响总范围特征向量具有一致性。
进一步的，步骤S400包括：
步骤S401：提取目标节点在产生异常传输数据告警前T时间段内的连接内容数据流信息，连接内容数据流信息包括目标节点连接内容的传输路径信息，且连接内容数据流信息包括m个参数项，其中m≥1；
步骤S402：设置T时间段内有向目标节点发送数据行为的节点为发送数据节点，选取连接内容数据流信息参数项中其中一个参数项，计算该项的目标节点连接内容数据流信息联合熵和各个发送数据节点的信息熵，用H(x)表示目标节点连接内容数据流中所述参数项的信息联合熵；
随机变量X的连续熵定义为H(X)＝-∫xf(x)lnf(x)dx，其中f(x)是随机变量X的概率密度函数，随机变量X和随机变量Y的联合熵定义为H(X,Y)＝-∫∫x,yf(x,y)lnf(x,y)dxdt，其中f(x,y)是随机变量X和随机变量Y的联合概率密度，将与目标节点在T时间段内有过通信记录的节点作为随机变量节点，为了计算简便，认为各个随机变量节点在T时间段内与目标节点的通信行为是相互独立的，那么联合熵不小于其中任意变量的熵，H(X1,X2,X3,…,Xn)≥max(H(X1),H(X2),H(X3),……H(Xn))，其中用X1,X2,X3,…,Xn，分别表示第1，第2，第3，……，第n个随机变量节点，H(X1),H(X2),H(X3),……H(Xn)，分别表示第1，第2，第3，……，第n个随机变量节点T时间段内的信息熵；
步骤S403：设置节点影响阈值ω，分离出n个信息熵大于阈值ω的分离信息熵，分别用H(X1),H(X2),H(X3),……H(Xn)表示第1，第2，第3，……，第n个发送数据节点发送所述参数项的分离信息熵，每个分离信息熵对应一个分离数据传输节点；
步骤S404：计算该连接内容数据流信息参数项的第二权重影响值F，其中 其中Fs表示n个发送数据节点中第s个节点的第二权重影响值，H(Xs)表示第s个分离信息熵，minH(X)表示n个分离信息熵中的最小值，用maxH(X)表示n个分离信息熵中的最大值；
步骤S405：计算有连接内容数据流信息参数项的第二权重影响值，汇集各个分离数据传输节点的第二权重影响值，将所有存在第二权重影响值的节点汇入第二关联节点V2，将第二关联节点中各个节点的第二权重影响值归一化，得到各个第二关联节点的第二权重值Q。
进一步的，步骤S500包括：
步骤S501：汇集第一关联节点V1和第二关联节点V2中各个节点，组成目标排查节点集合W，其中W＝V1∪V2，目标排查节点集合中每个目标节点对应有第一权重值，第二权重值或第一权重值和第二权重值的组合；
步骤S502：设置第一目标排查系数λ和第二目标排查系数μ，计算目标排查节点集合各个节点的风险值γ，其中γ＝λPw+μQw，Pw为W中一个目标排查节点w对应的第一权重值，Qw为w对应的第二权重值；
当标排查节点集合W中存在节点没有第一权重值时，将Pw＝0带入公式＝λPw+μQw进行运算，当标排查节点集合W中存在节点没有第二权重值时，将Qw＝0带入公式＝λPw+μQw进行运算；
步骤S503：设置通信网络中产生异常数据的节点为异常数据源节点，将W中各个节点风险值γ从高到低排列，根据风险值由高至低的顺序，给节点管理人员排查建议，经对应节点管理人员检查后，反馈异常数据源节点；
步骤S504：设置通信网络中各个节点间的逻辑距离DL，其中DL＝Lmin+1，Lmin表示两个节点间路径上最少节点的个数，节点与自身的逻辑距离DL＝0；
步骤S505：若管理人员在目标排查节点集合中未检出出现异常的源节点，则设置与目标节点逻辑距离最长的节点作为新目标节点，进入步骤S301开始循环，再次计算得到目标排查节点集合。
为更好实现上述方法，还提出一种基于人工智能的数据异常传输系统包括：历史运行数据预处理模块、权重值计算模块和异常的源节点排查模块，历史运行数据预处理模块用于从历史运行日志中采集各个数据传输节点历史运行数据，计算出各个异常影响范围对应的特征向量，权重值计算模块用于计算第权重值和第二权重值，数据传输节点管理模块用于对节点的风险值进行评估与排查反馈异常数据源节点。
进一步的，历史运行数据预处理模块包括：异常传输记录提取单元、异常数据的节点提取单元、异常传输记录分类单元、核心数据提取单元、核心数据影响范围计算单元、异常影响范围计算单元和异常影响范围特征向量计算单元，异常传输记录提取单元用于提取异常传输记录，异常数据的节点提取单元用于提取产生异常数据的节点，异常传输记录分类单元用于根据不同的异常事件对异常传输记录进行分类，核心数据提取单元用于提取核心数据，异常影响范围计算单元用于计算核心数据的异常影响范围，异常影响范围特征向量计算单元用于计算异常影响范围的特征向量。
进一步的，权重值计算模块包括：异常传输状态向量提取单元、向量夹夹角余弦值计算单元，第一关联节点提取单元、第一权重值计算单元、连接内容数据流信息提取单元、信息联合熵计算单元、信息熵分离单元、源节点影响阈值判定单元和第二权重值计算单元，异常传输状态向量提取单元用于生成异常传输状态向量，向量夹夹角余弦值计算单元用于计算异常传输状态向量和第一异常影响总范围特征向量夹角的余弦值，第一关联节点提取单元用于提取第一关联节点，第一权重值计算单元用于计算第一权重值，连接内容数据流信息提取单元用于提取目标节点在产生异常传输数据告警前T时间段内的连接内容数据流信息，信息联合熵计算单元用于计算连接内容数据流信息参数项的信息联合熵，信息熵分离单元用于计算发送数据节点发送参数项的分离信息熵，源节点影响阈值判定单元用于判定第二关联节点，第二权重值计算单元用于计算第二权重值。
进一步的，数据传输节点管理模块包括：目标排查节点提取单元、节点风险值计算单元、节点风险值排序单元、逻辑距离计算单元和异常数据源节点输出单元，目标排查节点提取单元用于提取目标排查节点，节点风险值计算单元用于计算目标排查节点的风险值，节点风险值排序单元用于对目标排查节点的风险值排序，逻辑距离计算单元用于计算数据传输节点间的逻辑距离，异常数据源节点输出单元用于输出异常数据源节点信息。
与现有技术相比，本发明所达到的有益效果是：本发明通过分析异常数据对通信网络各个节点造成的影响，结合产生异常数据传输前，目标节点的通信连接内容数据流信息的信息熵分量，有方向性地给产生异常数据的节点进行定位，为管理人员提供排查产生异常数据节点的参考信息，提高管理人员对通信网络运行维护的效率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于人工智能的数据传输异常监管系统的结构示意图；
图2是本发明一种基于人工智能的数据传输异常监管方法的流程示意图；
图3是本发明一种基于人工智能的数据传输异常监管方法的核心数据评价方法示意图；
图4是本发明一种基于人工智能的数据传输异常监管方法的一种异常事件影响范围生成方式示意图；
图5是本发明一种基于人工智能的数据传输异常监管方法的另一种异常事件影响范围生成方式示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1、图2、图3、图4和图5，本发明提供技术方案：
步骤S100：从通信网络的历史运行日志中采集各个数据传输节点的历史运行记录，将存在数据传输异常的历史运行记录记为异常传输记录，每条异常传输记录包括若干个运行参数项，将异常传输记录中各运行参数项的值归一化处理后，记入异常运传输记录集B。
步骤S200：对异常运传输记录集B中异常传输记录进行分类，得到若干个异常数据传输类型，提取各个异常数据传输类型影响范围的特征，得到每种异常数据传输类型影响范围的特征向量；
其中，步骤S200包括：
步骤S201：将异常传输记录投影为空间中的点，异常传输记录中运行参数项个数对应空间维度，计算各个异常传输记录对应点之间的欧式距离；
步骤S202：在所述异常传输记录中评选核心数据，设置核心数据评价阈值α，核心数据评价半径r1，在异常传输记录投影的空间中，用x表示某条异常传输记录，当距x欧式距离小于r1的异常传输记录个数大于α，则设置x为核心数据，在以x为中心r1为半径的范围中所有异常传输记录成一个异常数据传输类型；
步骤S203：设置核心数据影响半径r2，以核心数据为中心，r2为半径的范围设置为核心数据影响范围；
参考图3，提供了一种对提取的异常传输记录中核心数据进行评选的方式；
可以通过设置核心数据影响半径不同数值划定不同的核心数据影响范围，可以部署不同的核心数据管理策略，对异常数据传输的管理方法更加灵活；
步骤S204：从通信网络的运维记录中，提取发生异常数据传输后，检查出的产生异常数据的节点，所述产生异常数据的节点与所述历史运行日志对应，提取产生异常数据的节点与异常传输记录对应关系，提取核心数据对应的一个节点或多个产生异常数据节点的组合；
步骤S205：设置历史运行日志中一种异常数据的节点组合形式为一种异常事件，其中一个异常事件中包括k个核心数据；
在通信网络中一个节点或多个产生异常数据节点产生的异常数据，会对若干个数据传输节点造成影响，提取的若干种核心数据代表一个节点或多个产生异常数据节点对通信网络造成的影响；
步骤S206：计算所述异常事件的异常事件影响范围D，其中D＝C1∪C2∪C3∪…∪Ck，分别用C1，C2，C3，…Ck表示所述事件影响范围D包括的第1，第2，第3，……第k个核心数据影响范围；
参考图4，提供了一种r2＞r1的异常事件影响范围生成方式；
参考图5，提供了一种r2＜r1的异常事件影响范围生成方式；
步骤S207：汇集所有异常事件的异常影响范围，记为第一异常影响范围，计算第一异常影响范围中各个异常事件影响范围的特征向量。
步骤S300：检测当前通信网络中的异常数据传输信息，将检测到异常传输数据的数据传输节点设置为目标节点，采集目标节点的运行数据，对所述运行数据进行分析，得到目标节点的运行数据与异常数据传输类型影响范围的对应关系，进一步得到目标节点的第一关联节点，设置各个第一关联节点的第一权重值；
其中，步骤S300包括：
步骤S301：将当前检测到异常传输数据的数据传输节点设置为目标节点，采集目标节点出现异常数据传输时的运行数据，采集的运行数据至少包括一个运行参数项；
步骤S302：将采集到的告警运行数据归一化处理后，设置为异常传输状态向量；
步骤S303：将异常传输状态向量和第一异常影响总范围特征向量投影到同一维度空间，计算异常传输状态向量和第一异常影响总范围特征向量的夹角θ；
步骤S304：计算异常传输状态向量和第一异常影响总范围特征向量夹角的余弦函数值gcos；
步骤S305：提取gcos中大于0的值，记gcos中大于0的个数有u个，根据异常事件与一组产生异常数据节点的对应关系，提取所有u种异常事件对应的产生异常数据节点，记入第一关联节点V1；
步骤S306：设置第一关联节点V1中各个节点的第一权重值P，第一权重值为改节点所在第一异常影响总范围特征向量与运行数据向量夹角的余弦值。
步骤S400：提取目标节点出现异常传输数据前T时间段内的连接内容数据流信息，计算连接内容数据流的信息熵，设置节点影响阈值，计算分离信息熵，分离信息熵对应的节点设置为第二关联节点，根据与目标节点通信的信息熵大小，设置各个第二关联节点的第二权重值：
其中，步骤S400包括：
步骤S401：提取目标节点在产生异常传输数据告警前T时间段内的连接内容数据流信息，连接内容数据流信息包括目标节点连接内容的传输路径信息，且连接内容数据流信息包括m个参数项，其中m≥1；
步骤S402：设置T时间段内有向目标节点发送数据行为的节点为发送数据节点，选取连接内容数据流信息参数项中其中一个参数项，计算该项的目标节点连接内容数据流信息联合熵和各个发送数据节点的信息熵，用H(x)表示目标节点连接内容数据流中所述参数项的信息联合熵；
步骤S403：设置节点影响阈值ω，分离出n个信息熵大于阈值ω的分离信息熵，分别用H(X1),H(X2),H(X3),……H(Xn)表示第1，第2，第3，……，第n个发送数据节点发送所述参数项的分离信息熵，每个分离信息熵对应一个分离数据传输节点；
作为分离信息熵的常用算法，快速独立成分分析FastICA(fast independentcomponent analysis)通过设置盲源估计个数，迭代增加随机变量估计个数,随着个数的增加,分离的信号会越来越纯净,进而随机变量的平均信息熵越来越低，其中平均信息熵为
采用FastICA分析算法时，节点影响阈值ω的设置方法为：其中/>表示m个随机变量的平均信息熵；
步骤S404：计算该连接内容数据流信息参数项的第二权重影响值F，其中 其中Fs表示n个发送数据节点中第s个节点的第二权重影响值，H(Xs)表示第s个分离信息熵，minH(X)表示n个分离信息熵中的最小值，用maxH(X)表示n个分离信息熵中的最大值；
步骤S405：计算有连接内容数据流信息参数项的第二权重影响值，汇集各个分离数据传输节点的第二权重影响值，将所有存在第二权重影响值的节点汇入第二关联节点V2，将第二关联节点中各个节点的第二权重影响值归一化，得到各个第二关联节点的第二权重值Q。
步骤S500：汇集第一关联节点和第二关联节点中所有节点，组成目标排查节点集合，设置风险值评估函数，计算节点风险值，给管理人员排查建议，若管理人员在目标排查节点集合中未检出产生异常数据的节点，则设置与目标节点逻辑距离最长的节点作为新目标节点，返回步骤S300中进行循环，再次给出新的排查建议；
其中，步骤S500包括：
步骤S501：汇集第一关联节点V1和第二关联节点V2中各个节点，组成目标排查节点集合W，其中W＝V1∪V2，目标排查节点集合中每个目标节点对应有第一权重值，第二权重值或第一权重值和第二权重值的组合；
步骤S502：设置第一目标排查系数λ和第二目标排查系数μ，计算目标排查节点集合各个节点的风险值γ，其中γ＝λPw+μQw，Pw为W中一个目标排查节点w对应的第一权重值，Qw为w对应的第二权重值；
步骤S503：设置通信网络中产生异常数据的节点为异常数据源节点，将W中各个节点风险值γ从高到低排列，根据风险值由高至低的顺序，给节点管理人员排查建议，经对应节点管理人员检查后，反馈异常数据源节点；
步骤S504：设置通信网络中各个节点间的逻辑距离DL，其中DL＝Lmin+1，Lmin表示两个节点间路径上最少节点的个数，节点与自身的逻辑距离DL＝0；
步骤S505：若管理人员在目标排查节点集合中未检出出现异常的源节点，则设置与目标节点逻辑距离最长的节点作为新目标节点，进入步骤S301开始循环，再次计算得到目标排查节点集合。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于人工智能的数据传输异常监管方法，其特征在于，方法包括以下步骤：
步骤S100：从通信网络的历史运行日志中采集各个数据传输节点的历史运行记录，将存在数据传输异常的历史运行记录记为异常传输记录，每条异常传输记录包括若干个运行参数项，将异常传输记录中各运行参数项的值归一化处理后，记入异常运传输记录集B；
步骤S200：对异常运传输记录集B中异常传输记录进行分类，得到若干个异常数据传输类型，提取各个异常数据传输类型影响范围的特征，得到每种异常数据传输类型影响范围的特征向量；
步骤S300：检测当前通信网络中的异常数据传输信息，将检测到异常传输数据的数据传输节点设置为目标节点，采集目标节点的运行数据，对所述运行数据进行分析，得到目标节点的运行数据与异常数据传输类型影响范围的对应关系，进一步得到目标节点的第一关联节点，设置各个第一关联节点的第一权重值；
步骤S400：提取目标节点出现异常传输数据前T时间段内的连接内容数据流信息，计算连接内容数据流的信息熵，设置节点影响阈值，计算分离信息熵，分离信息熵对应的节点设置为第二关联节点，根据与目标节点通信的信息熵大小，设置各个第二关联节点的第二权重值；
步骤S500：汇集第一关联节点和第二关联节点中所有节点，组成目标排查节点集合，设置风险值评估函数，计算节点风险值，给管理人员排查建议，若管理人员在目标排查节点集合中未检出产生异常数据的节点，则设置与目标节点逻辑距离最长的节点作为新目标节点，返回步骤S300中进行循环，再次给出新的排查建议。
2.根据权利要求1所述的一种基于人工智能的数据传输异常监管方法，其特征在于：步骤S200中，对异常运传输记录集B中异常传输记录进行分类的步骤包括：
步骤S201：将异常传输记录投影为空间中的点，异常传输记录中运行参数项个数对应空间维度，计算各个异常传输记录对应点之间的欧式距离；
步骤S202：在所述异常传输记录中评选核心数据，设置核心数据评价阈值α，核心数据评价半径r1，在异常传输记录投影的空间中，用x表示某条异常传输记录，当距x欧式距离小于r1的异常传输记录个数大于α，则设置x为核心数据，在以x为中心r1为半径的范围中所有异常传输记录构成一个异常数据传输类型。
3.根据权利要求2所述的一种基于人工智能的数据传输异常监管方法，其特征在于：步骤S200中，计算每种运行数据特征范围的特征向量的步骤包括：
步骤S203：设置核心数据影响半径r2，以核心数据为中心，r2为半径的范围设置为核心数据影响范围；
步骤S204：从通信网络的运维记录中，提取发生异常数据传输后，检查出的产生异常数据的节点，所述产生异常数据的节点与所述历史运行日志对应，提取产生异常数据的节点与异常传输记录对应关系，提取核心数据对应的一个节点或多个产生异常数据节点的组合；
步骤S205：设置历史运行日志中一种异常数据的节点组合形式为一种异常事件，其中一个异常事件中包括k个核心数据；
步骤S206：计算所述异常事件的异常事件影响范围D，其中D＝C1∪C2∪C3∪…∪Ck，分别用C1，C2，C3，…Ck表示所述事件影响范围D包括的第1，第2，第3，……第k个核心数据影响范围；
步骤S207：汇集所有异常事件的异常影响范围，记为第一异常影响范围，计算第一异常影响范围中各个异常事件影响范围的特征向量。
4.根据权利要求3所述的一种基于人工智能的数据传输异常监管方法，其特征在于：步骤S300包括：
步骤S301：将当前检测到异常传输数据的数据传输节点设置为目标节点，采集目标节点出现异常数据传输时的运行数据，采集的运行数据至少包括一个运行参数项；
步骤S302：将采集到的告警运行数据归一化处理后，设置为异常传输状态向量；
步骤S303：将异常传输状态向量和第一异常影响总范围特征向量投影到同一维度空间，计算异常传输状态向量和第一异常影响总范围特征向量的夹角θ；
步骤S304：计算异常传输状态向量和第一异常影响总范围特征向量夹角的余弦函数值gcos；
步骤S305：提取gcos中大于0的值，记gcos中大于0的个数有u个，根据异常事件与一组产生异常数据节点的对应关系，提取所有u种异常事件对应的产生异常数据节点，记入第一关联节点V1；
步骤S306：设置第一关联节点V1中各个节点的第一权重值P，第一权重值为改节点所在第一异常影响总范围特征向量与运行数据向量夹角的余弦值。
5.根据权利要求4所述的一种基于人工智能的数据传输异常监管方法，其特征在于：步骤S400包括：
步骤S401：提取目标节点在产生异常传输数据告警前T时间段内的连接内容数据流信息，连接内容数据流信息包括目标节点连接内容的传输路径信息，且连接内容数据流信息包括m个参数项，其中m≥1；
步骤S402：设置T时间段内有向目标节点发送数据行为的节点为发送数据节点，选取连接内容数据流信息参数项中其中一个参数项，计算该项的目标节点连接内容数据流信息联合熵和各个发送数据节点的信息熵，用H(x)表示目标节点连接内容数据流中所述参数项的信息联合熵；
步骤S403：设置节点影响阈值ω，分离出n个信息熵大于阈值ω的分离信息熵，分别用H(X1),H(X2),H(X3),……H(Xn)表示第1，第2，第3，……，第n个发送数据节点发送所述参数项的分离信息熵，每个分离信息熵对应一个分离数据传输节点；
步骤S404：计算该连接内容数据流信息参数项的第二权重影响值F，其中 其中Fs表示n个发送数据节点中第s个节点的第二权重影响值，H(Xs)表示第s个分离信息熵，minH(X)表示n个分离信息熵中的最小值，用maxH(X)表示n个分离信息熵中的最大值；
步骤S405：计算有连接内容数据流信息参数项的第二权重影响值，汇集各个分离数据传输节点的第二权重影响值，将所有存在第二权重影响值的节点汇入第二关联节点V2，将第二关联节点中各个节点的第二权重影响值归一化，得到各个第二关联节点的第二权重值Q。
6.根据权利要求5所述的一种基于人工智能的数据传输异常监管方法，其特征在于：步骤S500包括：
步骤S501：汇集第一关联节点V1和第二关联节点V2中各个节点，组成目标排查节点集合W，其中W＝V1∪V2，目标排查节点集合中每个目标节点对应有第一权重值，第二权重值或第一权重值和第二权重值的组合；
步骤S502：设置第一目标排查系数λ和第二目标排查系数μ，计算目标排查节点集合各个节点的风险值γ，其中γ＝λPw+μQw，Pw为W中一个目标排查节点w对应的第一权重值，Qw为w对应的第二权重值；
步骤S503：设置通信网络中产生异常数据的节点为异常数据源节点，将W中各个节点风险值γ从高到低排列，根据风险值由高至低的顺序，给节点管理人员排查建议，经对应节点管理人员检查后，反馈异常数据源节点；
步骤S504：设置通信网络中各个节点间的逻辑距离DL，其中DL＝Lmin+1，Lmin表示两个节点间路径上最少节点的个数，节点与自身的逻辑距离DL＝0；
步骤S505：若管理人员在目标排查节点集合中未检出出现异常的源节点，则设置与目标节点逻辑距离最长的节点作为新目标节点，进入步骤S301开始循环，再次计算得到目标排查节点集合。
7.一种用于权利要求1-6中任意一项所述的一种基于人工智能的数据传输异常监管方法的数据传输异常监管系统，其特征在于，所述系统包括以下模块：历史运行数据预处理模块、权重值计算模块和异常的源节点排查模块，历史运行数据预处理模块用于从历史运行日志中采集各个数据传输节点历史运行数据，计算出各个异常影响范围对应的特征向量，权重值计算模块用于计算第权重值和第二权重值，数据传输节点管理模块用于对节点的风险值进行评估与排查反馈异常数据源节点。
8.根据权利要求7所述的数据传输异常监管系统，其特征在于：所述历史运行数据预处理模块包括：异常传输记录提取单元、异常数据的节点提取单元、异常传输记录分类单元、核心数据提取单元、核心数据影响范围计算单元、异常影响范围计算单元和异常影响范围特征向量计算单元，异常传输记录提取单元用于提取异常传输记录，异常数据的节点提取单元用于提取产生异常数据的节点，异常传输记录分类单元用于根据不同的异常事件对异常传输记录进行分类，核心数据提取单元用于提取核心数据，异常影响范围计算单元用于计算核心数据的异常影响范围，异常影响范围特征向量计算单元用于计算异常影响范围的特征向量。
9.根据权利要求7所述的数据传输异常监管系统，其特征在于：所述权重值计算模块包括：异常传输状态向量提取单元、向量夹夹角余弦值计算单元，第一关联节点提取单元、第一权重值计算单元、连接内容数据流信息提取单元、信息联合熵计算单元、信息熵分离单元、源节点影响阈值判定单元和第二权重值计算单元，异常传输状态向量提取单元用于生成异常传输状态向量，向量夹夹角余弦值计算单元用于计算异常传输状态向量和第一异常影响总范围特征向量夹角的余弦值，第一关联节点提取单元用于提取第一关联节点，第一权重值计算单元用于计算第一权重值，连接内容数据流信息提取单元用于提取目标节点在产生异常传输数据告警前T时间段内的连接内容数据流信息，信息联合熵计算单元用于计算连接内容数据流信息参数项的信息联合熵，信息熵分离单元用于计算发送数据节点发送参数项的分离信息熵，源节点影响阈值判定单元用于判定第二关联节点，第二权重值计算单元用于计算第二权重值。
10.根据权利要求7所述的数据传输异常监管系统，其特征在于：所述数据传输节点管理模块包括：目标排查节点提取单元、节点风险值计算单元、节点风险值排序单元、逻辑距离计算单元和异常数据源节点输出单元，目标排查节点提取单元用于提取目标排查节点，节点风险值计算单元用于计算目标排查节点的风险值，节点风险值排序单元用于对目标排查节点的风险值排序，逻辑距离计算单元用于计算数据传输节点间的逻辑距离，异常数据源节点输出单元用于输出异常数据源节点信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310575898.4A CN116614395A (zh) | 2023-05-22 | 2023-05-22 | 一种基于人工智能的数据传输异常监管系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310575898.4A CN116614395A (zh) | 2023-05-22 | 2023-05-22 | 一种基于人工智能的数据传输异常监管系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116614395A true CN116614395A (zh) | 2023-08-18 |
Family
ID=87675967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310575898.4A Pending CN116614395A (zh) | 2023-05-22 | 2023-05-22 | 一种基于人工智能的数据传输异常监管系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116614395A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117217740A (zh) * | 2023-11-09 | 2023-12-12 | 江苏德琛常工新能源科技创新有限公司 | 一种基于人工智能的氢能设备故障数据传输系统及方法 |
-
2023
- 2023-05-22 CN CN202310575898.4A patent/CN116614395A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117217740A (zh) * | 2023-11-09 | 2023-12-12 | 江苏德琛常工新能源科技创新有限公司 | 一种基于人工智能的氢能设备故障数据传输系统及方法 |
| CN117217740B (zh) * | 2023-11-09 | 2024-02-06 | 江苏德琛常工新能源科技创新有限公司 | 一种基于人工智能的氢能设备故障数据传输系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11336669B2 (en) | Artificial intelligence cyber security analyst | |
| CN108566364B (zh) | 一种基于神经网络的入侵检测方法 | |
| CN110336827B (zh) | 一种基于异常字段定位的Modbus TCP协议模糊测试方法 | |
| Shirazi et al. | Evaluation of anomaly detection techniques for scada communication resilience | |
| CN111309565B (zh) | 告警处理方法、装置、电子设备以及计算机可读存储介质 | |
| CN112015153B (zh) | 一种无菌灌装生产线异常检测系统和方法 | |
| CN111898647B (zh) | 一种基于聚类分析的低压配电设备误告警识别方法 | |
| CN115643035A (zh) | 基于多源日志的网络安全态势评估方法 | |
| KR20210115991A (ko) | 시계열 데이터 분석을 이용한 네트워크 이상징후 탐지 방법 및 장치 | |
| CN116614395A (zh) | 一种基于人工智能的数据传输异常监管系统及方法 | |
| CN113904881B (zh) | 一种入侵检测规则误报处理方法和装置 | |
| CN114143037A (zh) | 一种基于进程行为分析的恶意加密信道检测方法 | |
| CN112671767B (zh) | 一种基于告警数据分析的安全事件预警方法及装置 | |
| CN113918367A (zh) | 一种基于注意力机制的大规模系统日志异常检测方法 | |
| CN115237717A (zh) | 一种微服务异常检测方法和系统 | |
| CN115022908A (zh) | 一种核心网与基站传输网络异常预测及定位的方法 | |
| CN114168374A (zh) | 基于集成异常检测器与根因分析结合的异常数据定位方法 | |
| CN116866012A (zh) | 电力设施管理平台的网络风险监测方法及系统 | |
| CN117148045A (zh) | 配电网运行状态的故障研判管理系统 | |
| CN113676343A (zh) | 电力通信网故障源定位方法及装置 | |
| CN113612625A (zh) | 一种网络故障定位方法及装置 | |
| Khoshgoftaar et al. | Detecting noisy instances with the rule-based classification model | |
| Tian et al. | A transductive scheme based inference techniques for network forensic analysis | |
| CN111740998A (zh) | 一种基于堆叠自编码器的网络入侵检测方法 | |
| CN116302809A (zh) | 边缘端数据分析计算装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |