CN114978976B - SRv6融合网络的数据异常检测方法及装置 - Google Patents

SRv6融合网络的数据异常检测方法及装置 Download PDF

Info

Publication number
CN114978976B
CN114978976B CN202210390198.3A CN202210390198A CN114978976B CN 114978976 B CN114978976 B CN 114978976B CN 202210390198 A CN202210390198 A CN 202210390198A CN 114978976 B CN114978976 B CN 114978976B
Authority
CN
China
Prior art keywords
data
key value
value pair
srv6
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210390198.3A
Other languages
English (en)
Other versions
CN114978976A (zh
Inventor
刘江
王冰清
吴畏虹
李思佳
黄韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202210390198.3A priority Critical patent/CN114978976B/zh
Publication of CN114978976A publication Critical patent/CN114978976A/zh
Application granted granted Critical
Publication of CN114978976B publication Critical patent/CN114978976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/34—Source routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种SRv6融合网络的数据异常检测方法及装置，方法包括：基于数据处理范式对自SRv6融合网络中获取的目标遥测数据进行数据处理，得到综合特征键值对；并确定目标遥测数据对应的分组特征键值对；将这两个键值对输入数据异常检测多重模型，若输出的综合特征键值对所对应的流量特征预估值显示目标遥测数据为异常数据，则继续基于输出的分组特征键值确定异常数据的异常类型。本申请能够解决复杂场景中不同流量特征与不同承载协议之间的数据差异问题，实现对复杂场景的SRv6融合网络中的多维度遥测数据的处理，支持从多角度判断网络异常的类别，能够有效提高针对SRv6融合网络的数据异常检测过程的精度与检测结果的粒度。

Description

SRv6融合网络的数据异常检测方法及装置
技术领域
本申请涉及SRv6融合网络技术领域，尤其涉及SRv6融合网络的数据异常检测方法及装置。
背景技术
由软件定义网络SDN架构和基于IPv6转发平面的段路由SRv6技术结合得到的SRv6融合网络，能够实现大规模网络的管理和灵活配置，但是针对复杂的网络情况，需要网络遥测技术提供更多的网络状态信息数据作为数据管控的支撑。因此，为了保证大规模复杂网络的可靠运行，需要针对SRv6融合网络进行异常检测。
目前，现有的针对SRv6融合网络的异常检测研究已有部分方案采用带内遥测数据进行检测，虽然带内遥测采集的数据能够支持全网流量状态可视化与网络状态异常检测，但大多受到应用场景与协议兼容性等因素的限制，并不具有通用性。基于带内遥测数据的异常检测方案所面临的问题主要包括：异常检测存在只针对单一特定场景的局限性问题，对于跨域网络、融合网络或部署了多种协议的网络场景，现有的异常检测方案并不支持对网络场景中的多维遥测数据进行数据处理；异常检测精度低且难以确认异常类型，面对融合网络中的复杂场景，控制平面无法保证网络异常状态感知的精度及粒度，无法有效支撑控制与调度策略。
发明内容
鉴于此，本申请实施例提供了SRv6融合网络的数据异常检测方法及装置，以消除或改善现有技术中存在的一个或更多个缺陷。
本申请的一个方面提供了一种SRv6融合网络的数据异常检测方法，包括：
基于预设的数据处理范式，对当前自SRv6融合网络的业务流量中提取的目标遥测数据进行数据处理，得到该目标遥测数据对应的一维的综合特征键值对；并确定所述目标遥测数据对应的分组特征键值对；
将所述综合特征键值对和分组特征键值对输入预设的数据异常检测多重模型，若该数据异常检测多重模型输出的所述综合特征键值对所对应的流量特征预估值显示所述目标遥测数据为异常数据，则继续基于所述数据异常检测多重模型输出的所述分组特征键值对所对应的异常类型投票结果确定所述异常数据所属的异常类型。
在本申请的一些实施例中，还包括：
基于预设的数据处理范式对所述SRv6融合网络真实的各个遥测数据分别进行数据处理，得到各个所述遥测数据各自对应的综合特征键值对；并确定各个所述遥测数据对应的分组特征键值对；
根据各个所述综合特征键值对和各个所述分组特征键值对分别训练预设的机器学习模型，以得到用于进行遥测数据异常判断及数据异常类型确定的数据异常检测多重模型。
在本申请的一些实施例中，所述数据异常检测多重模型包括：基于所述SRv6融合网络真实的各个遥测数据各自应的综合特征键值对训练得到的综合预测模型，以及，基于所述SRv6融合网络真实的各个遥测数据各自应的分组特征键值对训练得到的分类模型。
在本申请的一些实施例中，所述基于预设的数据处理范式对所述SRv6融合网络真实的各个遥测数据分别进行数据处理，得到各个所述遥测数据各自对应的综合特征键值对，包括：
针对所述SRv6融合网络真实的每一个遥测数据的各维度的特征信息，采用不同的预处理方式进行处理，得到各个遥测数据各自对应的预处理后的各项数据；
对各个遥测数据各自对应的预处理后的各项数据分别进行加权计算处理，以得到降维后的各个所述遥测数据各自对应的综合特征键值对，其中，所述综合特征键值对包括：时间戳及遥测数据对应的综合特征值。
在本申请的一些实施例中，所述确定各个所述遥测数据对应的分组特征键值对，包括：
分别对各个遥测数据各自对应的预处理后的各项数据添加标签及权重，以形成中间数据；
根据所述中间数据对应的各个分类，遍历所述中间数据，通过预设的循环标签检索与加权计算的方式生成各个所述遥测数据对应的分组特征键值对，其中，所述分组特征键值对包括：时间戳及遥测数据对应的分组结果值。
在本申请的一些实施例中，所述将所述综合特征键值对和分组特征键值对输入预设的数据异常检测多重模型，若该数据异常检测多重模型输出的所述综合特征键值对所对应的流量特征预估值显示所述目标遥测数据为异常数据，则继续基于所述数据异常检测多重模型输出的所述分组特征键值对所对应的异常类型投票结果确定所述异常数据所属的异常类型，包括：
将所述综合特征键值对输入所述综合预测模型，以使该综合预测模型输出所述目标遥测数据对应的流量特征预估值，判断该流量特征预估值是否超过预设的偏差值，若是，则判定所述综合特征键值对应的遥测数据为异常数据；
将所述分组特征键值对输入所述分类模型，以使该分类模型输出所述目标遥测数据对应的各个分组预测结果值，并基于预设的投票规则生成所述目标遥测数据所属的异常类型判定结果。
在本申请的一些实施例中，还包括：
若所述异常类型判定结果显示所述目标遥测数据存在任一异常类型，则直接输出该异常类型；
若所述异常类型判定结果显示所述目标遥测数据中存在多个异常类型，则生成并输出第一告知消息，其中，该第一告知消息用于表示：当前网络异常状态复杂，需要操作者进一步排查；
若所述异常类型判定结果显示所述目标遥测数据存在异常类型，但异常类型的投票结果显示该异常类型不存在，则生成并输出第二告知消息，其中，该第二告知消息用于表示：检测到未知异常，请进一步排查，并更新异常分类。
本申请的另一个方面提供了一种SRv6融合网络的数据异常检测装置，包括：
数据处理模块，用于基于预设的数据处理范式，对当前自SRv6融合网络的业务流量中提取的目标遥测数据进行数据处理，得到该目标遥测数据对应的一维的综合特征键值对；并确定所述目标遥测数据对应的分组特征键值对；
异常检测及类型划分模块，用于将所述综合特征键值对和分组特征键值对输入预设的数据异常检测多重模型，若该数据异常检测多重模型输出的所述综合特征键值对所对应的流量特征预估值显示所述目标遥测数据为异常数据，则继续基于所述数据异常检测多重模型输出的所述分组特征键值对所对应的异常类型投票结果确定所述异常数据所属的异常类型。
本申请的另一个方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的SRv6融合网络的数据异常检测方法。
本申请的另一个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的SRv6融合网络的数据异常检测方法。
本申请提供的SRv6融合网络的数据异常检测方法，基于预设的数据处理范式，对当前自SRv6融合网络的业务流量中提取的目标遥测数据进行数据处理，得到该目标遥测数据对应的一维的综合特征键值对；并确定所述目标遥测数据对应的分组特征键值对；将所述综合特征键值对和分组特征键值对输入预设的数据异常检测多重模型，若该数据异常检测多重模型输出的所述综合特征键值对所对应的流量特征预估值显示所述目标遥测数据为异常数据，则继续基于所述数据异常检测多重模型输出的所述分组特征键值对所对应的异常类型投票结果确定所述异常数据所属的异常类型；通过设置通用的数据处理范式，能够实现对SRv6融合网络中的多维度遥测数据的处理，有效适用于SRv6融合网络，能够解决复杂场景中的不同流量特征与不同承载协议之间的数据差异问题，进而能够有效解决现有异常检测方式只针对单一特定场景的局限性问题；通过基于综合特征键值对和分组特征键值对，采用数据异常检测多重模型，以支持从多个角度判断网络异常的类别，提高异常检测方案的判别能力与判别精度，支撑融合网络场景下更好的管理与控制策略，进而能够有效提高针对SRv6融合网络的数据异常检测过程的精度与检测结果的粒度。
本申请的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本申请的实践而获知。本申请的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本申请实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本申请能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，并不构成对本申请的限定。附图中的部件不是成比例绘制的，而只是为了示出本申请的原理。为了便于示出和描述本申请的一些部分，附图中对应部分可能被放大，即，相对于依据本申请实际制造的示例性装置中的其它部件可能变得更大。在附图中：
图1为本申请一实施例中的SRv6融合网络的数据异常检测方法的总流程示意图。
图2为本申请一实施例中的SRv6融合网络的数据异常检测方法的一种具体流程示意图。
图3为本申请一实施例中的SRv6融合网络的数据异常检测方法的另一种具体流程示意图。
图4为本申请另一实施例中的SRv6融合网络的数据异常检测装置的结构示意图。
图5为本申请应用实例提供的SRv6融合网络的数据异常检测方法的实现框架示意图。
图6为本申请应用实例提供的数据中标签(分类)与参数(特征)的对应关系示意图。
图7为本申请应用实例提供的综合计算或分组计算结果举例可视化示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本申请做进一步详细说明。在此，本申请的示意性实施方式及其说明用于解释本申请，但并不作为对本申请的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本申请，在附图中仅仅示出了与根据本申请的方案密切相关的结构和/或处理步骤，而省略了与本申请关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本申请的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
如今，我们处于云计算和大数据时代，随着融合网络的发展，每天产生的数据规模呈指数上升，网络设备需要满足数十亿台设备之间的连接。传统网络已经无法满足如此庞大的设备连接和数据操作。网络的多样性、动态性和数据爆炸式增长给大数据时代的云计算和网络架构设计带来了巨大挑战，因此，新时代的网络发展需要探求更智能、更强大、更高效、更安全、更可靠、更具可伸缩性的网络架构，以满足多样性和动态特性的要求，软件定义网络SDN和SRv6技术可以帮助我们应对这些挑战。
SDN架构为新的网络应用带来了抽象的网络状态集中视图，可以带来更好的网络容量利用率并改善延迟和流量损失，为段路由(segment routing,SR)的控制平面提供了分布式或集中式的管理方式，将段路由与SDN结合，可以实现在数据转发层采用段路由的方式进行转发。SRv6是在IPv6数据平面上实现的段路由，段路由的优点是可以在包头中添加状态信息，避免或尽量减少要在内部节点中配置实现网络服务需要的信息，改为在网络边缘的数据包中添加状态信息，大大减少了需要重新配置的内部网络节点，提高了基于SR的服务的可扩展性，并允许更简单、更快的服务设置和重新配置。特别是在SRv6中，可以借助IPv6实现无连接转发技术，并获得与MPLS相同的灵活性和控制程度。基于上述优势，SRv6可以支持IPv6骨干网和数据中心中的流量工程、服务功能链和虚拟专用网等服务。
虽然SDN架构和SRv6技术的结合可以实现大规模网络的管理和灵活配置，但是针对复杂的网络情况，也就需要网络遥测技术提供更多的网络状态信息数据作为数据管控的支撑。因此，需要面向SRv6融合网络的通用带内遥测方式，提供基于SRv6遥测数据的异常检测方法。
可以理解的是，带内遥测技术是近几年兴起的一种混合测量方法，通过路径中间交换节点对数据包依次插入元数据(Measure metadata)的方式完成网络状态采集。相较于传统网络测量方案，带内测量能够对网络拓扑、网络性能和网络流量实现更细粒度的测量。INT是一种带内网络遥测主要实现方案，它允许在不需要网络控制平面干预的情况下，在可编程数据平面中实现数据包级别的端到端监控。在INT中，源节点(如应用程序、终端主机的网络设备、网卡、TOR)可以使用封装协议将监控指令或信息嵌入到数据包或单独的探测包中，当这些数据包经过中间设备时，这些遥测指令会告诉具备网络遥测功能的中间设备应该收集并写入何种网络状态信息，INT接收器可以使用(并有选择地报告)根据网络分析指令收集的这些信息。
在带内遥测的应用方面，已有研究人员将带内网络遥测从有线网络拓展到无线网络场景中，针对工业无线传感器网络提出了一种带内网络遥测方案INT in 6TiSCH。该方案以最小化资源消耗和通信开销作为设计目标，能够处理6TiSCH网络功能异常监测、拥塞控制、集中路由和调度管理等场景和用例。还有学者提出了网络遥测即服务的概念，并设计了带内网络遥测平台NetVision。NetVision主动发送与网络状态和遥测任务相匹配的适当数量和格式的探针数据包，降低了遥测开销，提高了网络遥测的覆盖性和可扩展性。
另外，机器学习是计算机科学的一个子领域，目标是对机器进行编程，使它们能够具备学习的能力。从某种意义上说，机器学习可以被视为人工智能(人工智能)的一个分支。机器学习中的用来训练的部分通常是随机生成的数据，学习者的任务是处理这些随机生成的例子，以得出适合于选择这些例子的环境的结论。机器学习基于计算机执行学习的过程，因此在机器学习中，算法设计发挥了主要作用。研究者开发了算法来执行学习任务，并通过调整它们的计算效率来实现算法的优化。机器学习在利用算法和数学模型来增强系统的智能运行能力已经被证明在众多领域有很大的用途，包括图像和视频识别、自然语言和文本分析、机器人技术、自动驾驶汽车等。
通过机器学习可以实现对网络规模和流量的预测。已经有记载提出了四种用于物联网数据的数据挖掘模型，分别是基于数据收集层、数据管理层、事件处理模型和数据挖掘服务层的多层模型、分布式数据挖掘模型、基于网格的数据挖掘模型和从多技术集成的角度出发的数据挖掘模型。部分学者使用深度学习来检测在智能电网中注入的虚假数据，利用了数据读数之间隐藏的相关性,，并评估数据的可信度。还有研究人员通过在工业物联网中使用移动设备，分析了这些移动设备上的恶意软件检测。他们分析了不同数据集、特征提取技术和分类模型的优点和局限性。还有学者使用机器学习模拟了物联网中僵尸网络的攻击活动，通过聚集攻击者来识别僵尸网络的活动模式和结构。
带内遥测是近年来兴起的一种新的数据采集技术，该技术极大地扩展了数据采集的多样性，带内遥测采集的数据能够支持全网流量状态可视化与网络状态异常检测。现有的异常检测研究已有部分方案采用带内遥测数据进行检测，但大多受到应用场景与协议兼容性等因素的限制，并不具有通用性。基于带内遥测数据的异常检测方案所面临的问题主要体现在以下三个方面：
1)异常检测只针对特定场景的局限性
在传统网络中，因为不同场景所具有的流量特征不同，且受限于不同传输协议之间的字段设计差异，现有的异常检测技术大多只针对特定场景、需求设计与开发。因此，对于跨域网络、融合网络或部署了多种协议的网络场景，现有的异常检测方案并不支持对网络场景中的多维遥测数据进行数据处理。而随着网络的发展、网络融合技术的创新，融合网络中的承载协议种类增多，扩展性增强，单一场景下异常检测方案的局限性愈加明显。
2)异常检测数据需要大量资源进行预处理
异常检测技术通过对历史遥测数据进行处理、计算，得到当前场景的网络流量预测模型，以支持对未来数据的异常情况分析。历史数据一般包含两部分内容：网络正常状态数据和网络异常状态数据，部分检测技术还需要对异常状态进行细粒度的分类，如A类攻击、B类异常等。一些使用机器学习技术的异常检测方案，还需要给数据集的异常数据加标签，以支持有监督的机器学习过程。以上数据分类通常需要投入大量的人力物力，这在规模愈发庞大的融合网络中是难以实现的。同时，现有的异常检测技术在不同规律性的数据集上测试时，会在性能上产生较大波动。
3)异常检测精度低且难以确认异常类型
现有的异常检测技术通常只提供网络日常情况下的性能监控功能，少数系统具有故障定界的能力，但随着网络规模增大，管控策略的层级提高，面对融合网络中的复杂场景，控制平面需要网络异常状态感知的精度更高、粒度更精细，才能更好的支撑控制与调度策略。
可以理解的是，本申请需要网络基于SRv6融合网络构建，并且支持SRv6可编程性扩展。
本申请主要面向SRv6融合网络中数据的异常检测问题，为了充分利用资源，实施更灵活的网络管控和更加准确的故障诊断，考虑了融合网络中数据特征多样、需要灵活配置的需求，使用带内遥测技术，将遥测信息嵌入业务流量进行传输，获取网络中流量与节点的状态参数信息。
带内遥测可以在获取网络状态信息(如，带宽、时延、抖动、丢包率等)的同时保留信息时序性，本申请从对网络状态信息建模出发，实现基于时序异常检测的网络故障诊断。具体来说，在对遥测数据预处理后，通过机器学习建模的方法，将具有时序的状态参数建立为故障检测模型，该模型可以对网络流量与网络节点的状态进行评价。当新的遥测信息到达时，使用该模型判断当前检测数据是否出现异常，并进一步确定异常分类，实现高效精准低耗的故障诊断。
本申请具体解决以下问题：
1)突破现有异常检测方法的场景局限性并降低数据处理规模：面向融合网络中多维度的遥测数据，设计数据处理方式，以隔离复杂场景中的不同流量特征与不同承载协议之间的数据差异；支持使用真实网络数据构建模型，减少对大规模数据进行建模时的资源消耗。
2)提高异常检测过程的精度与检测结果的粒度：设计通用型标签的数据结构，提高异常检测方案的可扩展性与可配置性。针对异常状态检测过程，设计多重检测模型，以支持从多个角度判断网络异常的类别，提高异常检测方案的判别能力与判别精度，支撑融合网络场景下更好的管理与控制策略。
基于此，本申请实施例提供一种SRv6融合网络的数据异常检测方法，参见图1，所述SRv6融合网络的数据异常检测方法具体包含有如下内容：
步骤100：基于预设的数据处理范式，对当前自SRv6融合网络的业务流量中提取的目标遥测数据进行数据处理，得到该目标遥测数据对应的一维的综合特征键值对；并确定所述目标遥测数据对应的分组特征键值对。
在步骤100中，针对所述SRv6融合网络中的目标遥测数据的各维度的特征信息，采用不同的预处理方式进行处理，得到目标遥测数据对应的预处理后的各项数据；对目标遥测数据对应的预处理后的各项数据分别进行加权计算处理，以得到降维后的目标遥测数据对应的综合特征键值对，其中，所述综合特征键值对包括：时间戳及遥测数据对应的综合特征值。
以及，分别对目标遥测数据各自对应的预处理后的各项数据添加标签及权重，以形成目标中间数据；根据所述目标中间数据对应的各个分类，遍历所述目标中间数据，通过预设的循环标签检索与加权计算的方式生成目标遥测数据对应的分组特征键值对，其中，所述分组特征键值对包括：时间戳及遥测数据对应的分组结果值。
步骤200：将所述综合特征键值对和分组特征键值对输入预设的数据异常检测多重模型，若该数据异常检测多重模型输出的所述综合特征键值对所对应的流量特征预估值显示所述目标遥测数据为异常数据，则继续基于所述数据异常检测多重模型输出的所述分组特征键值对所对应的异常类型投票结果确定所述异常数据所属的异常类型。
可以理解的是，数据异常检测多重模型可以包含综合预测模型和分类模型，所述综合预测模型用于根据所述综合特征键值对计算对应的流量特征预估值，并判断该流量特征预估值是否超过预设的偏差值，若是，则判定所述综合特征键值对应的遥测数据为异常数据；所述分类模型用于计算被认定为异常数据的遥测数据对应的各个所述分组特征键值分别对应的分组预测结果值，并基于预设的投票规则生成被认定为异常数据的遥测数据所属的异常类型判定结果。
从上述描述可知，本申请实施例提供的SRv6融合网络的数据异常检测方法，通过设置通用的数据处理范式，能够实现对SRv6融合网络中的多维度遥测数据的处理，有效适用于SRv6融合网络，能够解决复杂场景中的不同流量特征与不同承载协议之间的数据差异问题，进而能够有效解决现有异常检测方式只针对单一特定场景的局限性问题；通过基于综合特征键值对和分组特征键值对，采用数据异常检测多重模型，以支持从多个角度判断网络异常的类别，提高异常检测方案的判别能力与判别精度，支撑融合网络场景下更好的管理与控制策略，进而能够有效提高针对SRv6融合网络的数据异常检测过程的精度与检测结果的粒度。
为了进一步减少对大规模数据进行建模时的资源消耗，在本申请实施例提供的一种SRv6融合网络的数据异常检测方法中，参见图2，所述SRv6融合网络的数据异常检测方法中的步骤200之前或者其他步骤执行前后还具体包含有如下内容：
步骤010：基于预设的数据处理范式对所述SRv6融合网络真实的各个遥测数据分别进行数据处理，得到各个所述遥测数据各自对应的综合特征键值对；并确定各个所述遥测数据对应的分组特征键值对。
步骤020：根据各个所述综合特征键值对和各个所述分组特征键值对分别训练预设的机器学习模型，以得到用于进行遥测数据异常判断及数据异常类型确定的数据异常检测多重模型。
可以理解的是，步骤010和步骤020在步骤200之前执行以训练得到可在线应用的数据异常检测多重模型。当然，步骤010和步骤020在其他步骤前后执行能够更新、优化数据异常检测多重模型，并将在线应用的原始数据异常检测多重模型更新为优化后的数据异常检测多重模型以进一步提高SRv6融合网络的数据异常检测的准确性及有效性。
从上述描述可知，本申请实施例提供的SRv6融合网络的数据异常检测方法，基于所述SRv6融合网络真实的各个遥测数据训练数据异常检测多重模型，使得本申请支持使用真实网络数据构建模型，能够有效减少对大规模数据进行建模时的资源消耗；同时无需在模型训练阶段人工区分采集网络正常状态数据和网络异常状态数据，采用从综合计算与分组计算角度分别计算新数据的统计特征的手段，能够有效节省大量的人力及时间成本，这在规模愈发庞大的融合网络中是难以实现的。
为了进一步提高网络状态异常检测精度，在本申请实施例提供的一种SRv6融合网络的数据异常检测方法中，所述SRv6融合网络的数据异常检测方法中的所述数据异常检测多重模型包括：基于所述SRv6融合网络真实的各个遥测数据各自应的综合特征键值对训练得到的综合预测模型，以及，基于所述SRv6融合网络真实的各个遥测数据各自应的分组特征键值对训练得到的分类模型。
可以理解的是，所述综合预测模型用于根据所述综合特征键值对计算对应的流量特征预估值，并判断该流量特征预估值是否超过预设的偏差值，若是，则判定所述综合特征键值对应的遥测数据为异常数据。
可以理解的是，所述分类模型用于计算被认定为异常数据的遥测数据对应的各个所述分组特征键值分别对应的分组预测结果值，并基于预设的投票规则生成被认定为异常数据的遥测数据所属的异常类型判定结果。
从上述描述可知，本申请实施例提供的SRv6融合网络的数据异常检测方法，在流量分类计算与投票判别过程中构建了两类数据检测模型。其中综合预测模型负责异常状态计算与判断，输出结果表示当前数据是否异常；分类模型负责异常类型计算与判断，输出结果为当前数据对应每种分类的投票结果，若属于一种事件的票数过半，则判定属于该类异常事件，进而提高网络状态异常检测精度，提高异常检测类别的可辨识性与可扩展性。
为了进一步解决复杂场景中的不同流量特征与不同承载协议之间的数据差异问题，在本申请实施例提供的一种SRv6融合网络的数据异常检测方法中，参见图3，所述SRv6融合网络的数据异常检测方法中的步骤010具体包含有如下内容：
步骤011：针对所述SRv6融合网络真实的每一个遥测数据的各维度的特征信息，采用不同的预处理方式进行处理，得到各个遥测数据各自对应的预处理后的各项数据。
具体来说，需要对遥测数据进行处理，但考虑到遥测数据不同来源可能具有不同的数据结构，数据处理方法具有不同的推导原理，本申请提出了数据处理范式，而不面向具体的遥测方案与处理模型。该范式定义了通用化的数据处理方法与处理后的数据输出格式。
其中，遥测数据预处理：读取遥测信息时序信息、五元组信息和状态参数并进行不同形式的预处理，以支持后续模块的计算，其中，五元组信息因信息本身不具有数值意义，所以考虑其具有的数据混乱程度，分别对源\目的IP地址、源\目的端口号，协议类型代码做熵值计算处理。从地址、端口等的熵值增减程度对网络流量状态变化进行评估。
状态参数一般为数据流的包数、字节数、时延等初级参数，基于时序对基础信息进行基本运算后可以得到高级性能指标，如周期内的丢包率、单双向时延、时延抖动等。从丢包情况、时延波动对流量状态变化进行评估。
步骤012：对各个遥测数据各自对应的预处理后的各项数据分别进行加权计算处理，以得到降维后的各个所述遥测数据各自对应的综合特征键值对，其中，所述综合特征键值对包括：时间戳及遥测数据对应的综合特征值。
可以理解的是，统计特征计算：对预处理得到的各项数据进行的加权计算操作。在对流量整体进行建模时，考虑到各项参数的变化均会对流量状态评估造成影响，因此该部分对多维特征参数进行降维处理。现阶段已有较多降低数据维度的研究，如线性映射方法中的主成分分析算法(PCA)、线性判别分析(LCA)，非线性映射方法中的基于核的非线性降维、流形学习等，因此本申请不面向具体的数据降维方式。只定义数据由“五元组信息、状态参数信息等多维特征描述的数据流”降维处理得到“‘时间戳—综合特征值’键值对描述的数据流”。
完成数据预处理后，还需要根据数据波动情况得出数据偏差值，偏差值概念与3σ原则(又称拉依达准则)类似，其中，拉依达准则是指先假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间，认为凡超过这个区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除。但本申请不针对特定的流量模型数学分布，因此对偏差值定义两种配置方式：
1)通过历史流量数据计算，确定流量模型的数学分布，得到μ，σ等统计值，考虑到网络稳定运行波动较小，因此定义偏差值缺省值为±σ；
2)操作者可以根据网络情况，灵活设定偏差值。网络长期未进行功能性更新时，流量情况稳定，可设置较低偏差值；网络中部署新业务或功能更新时，可设置较高偏差值，以提高检测精准度，降低误报率。
从上述描述可知，本申请实施例提供的SRv6融合网络的数据异常检测方法，通过采用降维的预处理方式以及统计特征计算方式，能够突破现有异常检测方法的场景局限性并降低数据处理规模，有效适用于SRv6融合网络，能够解决复杂场景中的不同流量特征与不同承载协议之间的数据差异问题，能够有效生成综合特征键值对，进而能够训练数据异常检测多重模型，从综合特征生成用于根据所述综合特征键值对计算对应的流量特征预估值，并判断该流量特征预估值是否超过预设的偏差值的综合预测模型。
为了进一步提高训练数据异常检测多重模型的可靠性及有效性，在本申请实施例提供的一种SRv6融合网络的数据异常检测方法中，参见图3，所述SRv6融合网络的数据异常检测方法中的步骤010还具体包含有如下内容：
步骤013：分别对各个遥测数据各自对应的预处理后的各项数据添加标签及权重，以形成中间数据。
可以理解的是，标签的数据结构定义为{Type n；Weight w，n∈{1,2,…,n},w∈(0，1]}。
Type n：表示分类，每种参数上可以选择并设置其属于多个分类，即参数与分类可以有不同的组合方式：一对一、一对多、多对多等，组合的实际意义(对应哪种异常情况)由操作者定义。
Weight w：表示权重，属于同一分类(如异常类型A)的各参数具有不同权重，表示该参数在后续计算中的重要程度，重要程度由该参数的波动程度与事件“异常类型A发生”的相关性决定。
步骤014：根据所述中间数据对应的各个分类，遍历所述中间数据，通过预设的循环标签检索与加权计算的方式生成各个所述遥测数据对应的分组特征键值对，其中，所述分组特征键值对包括：时间戳及遥测数据对应的分组结果值。
可以理解的是，接收来自数据处理范式的中间数据，循环的进行标签检索与加权计算。具体对应关系由操作者自主选择、配置，该模块收到中间数据后，操作流程按照以下步骤进行：
1、对传入的数据进行解析；
2、读取所有分类，记为Type 1～n，初始化Type n的值为Type 1；
3、初始化Type 1的结果值R＝0；
4、循环遍历所有特征，将第一个携带有Type 1的特征对应数值取出，读取Type 1对应的标签，格式应为{Type 1；xx％}；
5、加权计算所有携带有Type 1的特征，并将结果赋值给R，如果所有特征均已检索完毕，则执行步骤6；否则，再次遍历所有特征，直到检索完毕所有携带了Type 1的特征；
6、输出结果值R1，Type n的值自增1，若Type n+1存在，跳转到步骤3，完成Type n+1的加权计算过程；否则结束处理，等待下一次分类计算。
从上述描述可知，本申请实施例提供的SRv6融合网络的数据异常检测方法，通过标签选择与设置，能够在各项参数完成预处理后，根据操作者设定的标签配置，逐一完成标签配置操作；通过异常分类计算，能够接收来自数据处理范式的中间数据，循环的进行标签检索与加权计算，能够有效生成分组特征键值对，进而能够训练数据异常检测多重模型，从分组特征角度生成用于计算被认定为异常数据的遥测数据对应的各个所述分组特征键值分别对应的分组预测结果值，并基于预设的投票规则生成被认定为异常数据的遥测数据所属的异常类型判定结果的分类模型。
为了进一步提高异常检测方案的判别能力与判别精度，在本申请实施例提供的一种SRv6融合网络的数据异常检测方法中，参见图3，所述SRv6融合网络的数据异常检测方法中的步骤200还具体包含有如下内容：
步骤210：若所述异常类型判定结果显示所述目标遥测数据存在任一异常类型，则直接输出该异常类型；
步骤220：将所述综合特征键值对输入所述综合预测模型，以使该综合预测模型输出所述目标遥测数据对应的流量特征预估值，判断该流量特征预估值是否超过预设的偏差值，若是，则判定所述综合特征键值对应的遥测数据为异常数据；
步骤230：将所述分组特征键值对输入所述分类模型，以使该分类模型输出所述目标遥测数据对应的各个分组预测结果值，并基于预设的投票规则生成所述目标遥测数据所属的异常类型判定结果。
从上述描述可知，本申请实施例提供的SRv6融合网络的数据异常检测方法，通过在流量分类计算与投票判别过程中采用两类数据检测模型，其中综合预测模型负责异常状态计算与判断，输出结果表示当前数据是否异常；分类模型负责异常类型计算与判断，输出结果为当前数据对应每种分类的投票结果，能够支持从多个角度判断网络异常的类别，提高异常检测方案的判别能力与判别精度，支撑融合网络场景下更好的管理与控制策略，进而能够有效提高针对SRv6融合网络的数据异常检测过程的精度与检测结果的粒度。
为了进一步提高SRv6融合网络的数据异常检测结果输出的有效性及针对性，在本申请实施例提供的一种SRv6融合网络的数据异常检测方法中，参见图3，所述SRv6融合网络的数据异常检测方法中的步骤200之后还具体包含有如下内容：
步骤310：若所述异常类型判定结果显示所述目标遥测数据中存在多个异常类型，则生成并输出第一告知消息，其中，该第一告知消息用于表示：当前网络异常状态复杂，需要操作者进一步排查。
步骤320：若所述异常类型判定结果显示所述目标遥测数据存在异常类型，但异常类型的投票结果显示该异常类型不存在，则生成并输出第二告知消息，其中，该第二告知消息用于表示：检测到未知异常，请进一步排查，并更新异常分类。
从上述描述可知，本申请实施例提供的SRv6融合网络的数据异常检测方法，通过提供一种具体的异常判定流程，能够有效提高SRv6融合网络的数据异常检测结果输出的有效性及针对性，使得技术人员能够基于不同的异常告知消息对SRv6融合网络采取不同的处理方式，进而能够进一步提高SRv6融合网络的数据异常检测过程的智能化程度，提供SRv6融合网络的运行稳定性。
从软件层面来说，本申请还提供一种用于执行所述SRv6融合网络的数据异常检测方法中全部或部分内的SRv6融合网络的数据异常检测装置，参见图4，所述SRv6融合网络的数据异常检测装置具体包含有如下内容：
数据处理模块10，用于基于预设的数据处理范式，对当前自SRv6融合网络的业务流量中提取的目标遥测数据进行数据处理，得到该目标遥测数据对应的一维的综合特征键值对；并确定所述目标遥测数据对应的分组特征键值对。
异常检测及类型划分模块20，用于将所述综合特征键值对和分组特征键值对输入预设的数据异常检测多重模型，若该数据异常检测多重模型输出的所述综合特征键值对所对应的流量特征预估值显示所述目标遥测数据为异常数据，则继续基于所述数据异常检测多重模型输出的所述分组特征键值对所对应的异常类型投票结果确定所述异常数据所属的异常类型。
本申请提供的SRv6融合网络的数据异常检测装置的实施例具体可以用于执行上述实施例中的SRv6融合网络的数据异常检测方法的实施例的处理流程，其功能在此不再赘述，可以参照上述SRv6融合网络的数据异常检测方法实施例的详细描述。
所述SRv6融合网络的数据异常检测装置进行SRv6融合网络的数据异常检测的部分可以在服务器中执行，而在另一种实际应用情形中，也可以所有的操作都在客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器，用于SRv6融合网络的数据异常检测的具体处理。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
上述服务器与所述客户端设备端之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。
从上述描述可知，本申请实施例提供的SRv6融合网络的数据异常检测装置，通过设置通用的数据处理范式，能够实现对SRv6融合网络中的多维度遥测数据的处理，有效适用于SRv6融合网络，能够解决复杂场景中的不同流量特征与不同承载协议之间的数据差异问题，进而能够有效解决现有异常检测方式只针对单一特定场景的局限性问题；通过基于综合特征键值对和分组特征键值对，采用数据异常检测多重模型，以支持从多个角度判断网络异常的类别，提高异常检测方案的判别能力与判别精度，支撑融合网络场景下更好的管理与控制策略，进而能够有效提高针对SRv6融合网络的数据异常检测过程的精度与检测结果的粒度。
为了进一步说明本方案，本申请还提供一种SRv6融合网络的数据异常检测方法的具体应用实例，在传统的融合网络中，大多通过操作者进行主动的日志信息分析来实现网络状态的异常检测。例如，定期对网络连通状态进行检查、定期通过北向接口调用网络转发模块的转发日志进行可视化分析等，或是在网络出现故障时，调用网络节点状态信息，进行故障诊断等操作。而在融合网络中，由于网络规模大，跨越地域广，边缘设备多，通过频繁、大量的南北交互来完成故障诊断会产生极大的管控开销，给链路带来额外的负载，并且也会对业务流量造成影响。因此，本申请应用实例提出的方法着眼于智能化数据处理、分组计算，设计异常分类模块与投票判决模块，以实现降低交互开销、提高异常检测精度的目标，并能够对异常原因进行类别判断。
本应用实例具有以下的条件限制：
1、方案不涉及业务流量的处理与部分机器学习求解的详细过程：方案不涉及遥测数据的实际解析处理，仅对于流量各项遥测数据处理方式进行定义，对如何进行遥测数据获取和使用机器学习技术构建流量预测模型方案不做涉及。
2、SRv6与SRv6可编程性支持：方案需要网络基于SRv6融合网络构建，并且支持SRv6可编程性扩展。
参见图5，所述SRv6融合网络的数据异常检测方法对应的实现框架具体包含三个核心模块：数据处理范式、异常分类计算模块、投票判别模块，其中，数据处理范式用以对遥测数据进行归一化、熵值计算等处理，并给处理后的每个参数类型添加标签；异常分类计算模块根据中间数据所带标签分组进行计算；投票判决模块接受来自数据处理范式和异常分类计算模块的计算结果，并对结果进行统计，最终输出异常判断结果。
相对应的，所述SRv6融合网络的数据异常检测方法包含有如下内容：
(一)数据处理范式
本申请应用实例需要对遥测数据进行处理，但考虑到遥测数据不同来源可能具有不同的数据结构，数据处理方法具有不同的推导原理，本申请应用实例提出了数据处理范式，而不面向具体的遥测方案与处理模型。该范式定义了通用化的数据处理方法与处理后的数据输出格式。在数据处理方面包含3个类型：遥测数据预处理、统计特征计算、标签选择与设置。
1、遥测数据预处理：
读取遥测信息时序信息、五元组信息和状态参数并进行不同形式的预处理，以支持后续模块的计算，其中：
五元组信息因信息本身不具有数值意义，所以考虑其具有的数据混乱程度，分别对源\目的IP地址、源\目的端口号，协议类型代码做熵值计算处理。从地址、端口等的熵值增减程度对网络流量状态变化进行评估。
状态参数一般为数据流的包数、字节数、时延等初级参数，基于时序对基础信息进行基本运算后可以得到高级性能指标，如周期内的丢包率、单双向时延、时延抖动等。从丢包情况、时延波动对流量状态变化进行评估。
2、统计特征计算：
对预处理得到的各项数据进行的加权计算操作。在对流量整体进行建模时，考虑到各项参数的变化均会对流量状态评估造成影响，因此该部分对多维特征参数进行降维处理。现阶段已有较多降低数据维度的研究，如线性映射方法中的主成分分析算法(PCA)、线性判别分析(LCA)，非线性映射方法中的基于核的非线性降维、流形学习等，因此本申请应用实例不面向具体的数据降维方式。只定义数据由“五元组信息、状态参数信息等多维特征描述的数据流”降维处理得到“‘时间戳—综合特征值’键值对描述的数据流”。
完成数据预处理后，还需要根据数据波动情况得出数据偏差值，偏差值概念与3σ原则(又称拉依达准则)类似，其中，拉依达准则是指先假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间，认为凡超过这个区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除。但本申请应用实例不针对特定的流量模型数学分布，因此对偏差值定义两种配置方式：
1)通过历史流量数据计算，确定流量模型的数学分布，得到μ，σ等统计值，考虑到网络稳定运行波动较小，因此定义偏差值缺省值为±σ；
2)操作者可以根据网络情况，灵活设定偏差值。网络长期未进行功能性更新时，流量情况稳定，可设置较低偏差值；网络中部署新业务或功能更新时，可设置较高偏差值，以提高检测精准度，降低误报率。
3、标签选择与设置：
标签的数据结构定义为{Type n；Weight w，n∈{1,2,…,n},w∈(0，1]}。
Type n：表示分类，每种参数上可以选择并设置其属于多个分类，即参数与分类可以有不同的组合方式：一对一、一对多、多对多等，组合的实际意义(对应哪种异常情况)由操作者定义。
Weight w：表示权重，属于同一分类(如异常类型A)的各参数具有不同权重，表示该参数在后续计算中的重要程度，重要程度由该参数的波动程度与事件“异常类型A发生”的相关性决定。
各项参数完成预处理后，根据操作者设定的标签配置，逐一完成标签配置操作，然后发送给异常分类计算模块。
(二)异常分类计算模块
异常分类计算模块用以进行标签查询与分组计算操作。异常分类计算模块接收来自数据处理范式的中间数据，循环的进行标签检索与加权计算。
参见图6，数据中标签与参数有多种对应关系：
具体对应关系由操作者自主选择、配置，该模块收到中间数据后，操作流程按照以下步骤进行：
1)对传入的数据进行解析；
2)读取所有分类，记为Type 1～n，初始化Type n的值为Type 1；
3)初始化Type 1的结果值R＝0；
4)循环遍历所有特征，将第一个携带有Type 1的特征对应数值取出，读取Type 1对应的标签，格式应为{Type 1；xx％}；
5)加权计算所有携带有Type 1的特征，并将结果赋值给R，如果所有特征均已检索完毕，则执行步骤6)；否则，再次遍历所有特征，直到检索完毕所有携带了Type 1的特征；
6)输出结果值R1，Type n的值自增1，若Type n+1存在，跳转到步骤3)，完成Type n+1的加权计算过程；否则结束处理，等待下一次分类计算。
举例：
假设Type2的输出结果可以判断网络中是否发生了DDoS攻击特征相关的异常。“特征1：{Type2；20％}、特征2：{Type2；30％}、特征3：{Type2；50％}”每个特征的权重可由用户自行定义，依据为该特征的数值波动程度与事件“DDoS发生”的相关性。
首先遍历所有特征，特征1携带有Type2的标签，R＝R+特征1的数值*20％；特征2携带有Type2的标签，R＝R+特征2的数值*30％；特征3携带有Type2的标签，R＝R+特征3的数值*50％，得到结果值R，最后将结果值与时间戳组成键值对，发送给投票判别模块。
(三)投票判别模块
投票判别模块用以进行分组计算结果处理与异常类型判别操作。投票判别模块接收来自异常分类计算模块的“时间戳-加权计算结果值”键值对，在不指定具体机器模型的前提下，投票判别模块基于机器学习等建模技术，完成数据处理、模型构建。
数据处理范式中得到的综合数据与异常分类计算模块得到的分组数据数据结构相同，所以处理方式相同：数据集分为两部分导入机器学习模型，一部分作为训练集、另一部分作为测试集，最终得出当前数据集的流量预测模型。(模型输入:“时间-一维特征”键值对；模型输出：未来某个时间节点的流量特征预估值)。再结合数据处理范式传入的偏差值，作为数值波动区间的上下边界，认为凡是超出这个区间的数值，属于异常数据，模型输出结果为1，否则为0。参见图7所示的综合计算或分组计算结果举例。
计算结果处理完成后，投票判别模块中的综合预测模型和分组预测模型均已构建完成，当新数据到达时，从综合计算与分组计算角度分别计算新数据的统计特征，并将该数据代入预测模型，与预测值进行比较，若在预测区间内，则认定为正常数据；否则判定为异常数据。
具体异常判定流程按照以下步骤进行：
1)读取综合预测模型输出结果值，若为0，流程结束，等待下次判断；若为1，则判定当前数据异常，进入下一步；
2)读取各分组预测模型结果，检索每个Type输出值，为1则表示投一票，检查该Type属于哪种异常事件类型，统计属于该类型下的Type输出值为1的个数，即统计票数，若投票超过半数，则输出检测可能存在该类型异常；
3)若多个事件类型均上报异常，则输出当前网络异常状态复杂，需要操作者进一步排查；
4)若综合输出值为1，但各分组投票均未超过半数，则输出检测到未知异常，请进一步排查，并更新异常检测分类。
综上所述，本申请应用实例的提出了一种面向SRv6融合网络的数据异常检测方法，利用该方法可以优化融合网络中带内遥测数据的处理与建模方案。通过此方法，我们可以提高网络状态异常检测精度，提高异常检测类别的可辨识性与可扩展性。该应用实例的技术关键点主要为：
1)提取遥测信息中的统计信息特征过程中，考虑了数据的多维性与各项特征之间的相关性，使用将多维数据降维的方式对遥测信息进行建模。操作者监测需求确定的异常类型，设定分类与特征权重，给每个特征加上标签。同时，为不同情况提供了灵活设定偏差值的方法。
2)流量分类计算与投票判别过程中，构建了两类数据检测模型。其中综合模型负责异常状态计算与判断，输出结果表示当前数据是否异常；分类模型负责异常类型计算与判断，输出结果为当前数据对应每种分类的投票结果，若属于一种事件的票数过半，则判定属于该类异常事件。
本申请实施例还提供了一种计算机设备(也即电子设备)，该计算机设备可以包括处理器、存储器、接收器及发送器，处理器用于执行上述实施例提及的SRv6融合网络的数据异常检测方法，其中处理器和存储器可以通过总线或者其他方式连接，以通过总线连接为例。该接收器可通过有线或无线方式与处理器、存储器连接。所述计算机设备与SRv6融合网络的数据异常检测装置之间通信连接，以自所述无线多媒体传感器网络中的传感器接收实时运动数据，并自所述视频采集装置接收原始视频序列。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的SRv6融合网络的数据异常检测方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的SRv6融合网络的数据异常检测方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器中，当被所述处理器执行时，执行实施例中的SRv6融合网络的数据异常检测方法。
在本申请的一些实施例中，用户设备可以包括处理器、存储器和收发单元，该收发单元可包括接收器和发送器，处理器、存储器、接收器和发送器可通过总线系统连接，存储器用于存储计算机指令，处理器用于执行存储器中存储的计算机指令，以控制收发单元收发信号。
作为一种实现方式，本申请中接收器和发送器的功能可以考虑通过收发电路或者收发的专用芯片来实现，处理器可以考虑通过专用处理芯片、处理电路或通用芯片实现。
作为另一种实现方式，可以考虑使用通用计算机的方式来实现本申请实施例提供的服务器。即将实现处理器，接收器和发送器功能的程序代码存储在存储器中，通用处理器通过执行存储器中的代码来实现处理器，接收器和发送器的功能。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述SRv6融合网络的数据异常检测方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本申请中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域的技术人员来说，本申请实施例可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种SRv6融合网络的数据异常检测方法，其特征在于，包括：
针对当前自SRv6融合网络的业务流量中提取的目标遥测数据的各维度的特征信息，采用不同的预处理方式进行处理，得到目标遥测数据对应的预处理后的各项数据；对目标遥测数据对应的预处理后的各项数据分别进行加权计算处理，以得到降维后的目标遥测数据对应的一维的综合特征键值对；其中，所述综合特征键值对包括：时间戳及所述目标遥测数据对应的综合特征值；以及，分别对所述目标遥测数据各自对应的预处理后的各项数据添加标签及权重，以形成目标中间数据；根据所述目标中间数据对应的各个分类，遍历所述目标中间数据，通过预设的循环标签检索与加权计算的方式生成目标遥测数据对应的分组特征键值对，其中，所述分组特征键值对包括：时间戳及遥测数据对应的分组结果值；
将所述综合特征键值对和分组特征键值对输入预设的数据异常检测多重模型，若该数据异常检测多重模型输出的所述综合特征键值对所对应的流量特征预估值显示所述目标遥测数据为异常数据，则继续基于所述数据异常检测多重模型输出的所述分组特征键值对所对应的异常类型投票结果确定所述异常数据所属的异常类型。
2.根据权利要求1所述的SRv6融合网络的数据异常检测方法，其特征在于，还包括：
基于预设的数据处理范式对所述SRv6融合网络真实的各个遥测数据分别进行数据处理，得到各个所述遥测数据各自对应的综合特征键值对；并确定各个所述遥测数据对应的分组特征键值对；
根据各个所述综合特征键值对和各个所述分组特征键值对分别训练预设的机器学习模型，以得到用于进行遥测数据异常判断及数据异常类型确定的数据异常检测多重模型。
3.根据权利要求1或2所述的SRv6融合网络的数据异常检测方法，其特征在于，所述数据异常检测多重模型包括：基于所述SRv6融合网络真实的各个遥测数据各自应的综合特征键值对训练得到的综合预测模型，以及，基于所述SRv6融合网络真实的各个遥测数据各自应的分组特征键值对训练得到的分类模型。
4.根据权利要求2所述的SRv6融合网络的数据异常检测方法，其特征在于，所述基于预设的数据处理范式对所述SRv6融合网络真实的各个遥测数据分别进行数据处理，得到各个所述遥测数据各自对应的综合特征键值对，包括：
针对所述SRv6融合网络真实的每一个遥测数据的各维度的特征信息，采用不同的预处理方式进行处理，得到各个遥测数据各自对应的预处理后的各项数据；
对各个遥测数据各自对应的预处理后的各项数据分别进行加权计算处理，以得到降维后的各个所述遥测数据各自对应的综合特征键值对，其中，所述综合特征键值对包括：时间戳及遥测数据对应的综合特征值。
5.根据权利要求4所述的SRv6融合网络的数据异常检测方法，其特征在于，所述确定各个所述遥测数据对应的分组特征键值对，包括：
分别对各个遥测数据各自对应的预处理后的各项数据添加标签及权重，以形成中间数据；
根据所述中间数据对应的各个分类，遍历所述中间数据，通过预设的循环标签检索与加权计算的方式生成各个所述遥测数据对应的分组特征键值对，其中，所述分组特征键值对包括：时间戳及遥测数据对应的分组结果值。
6.根据权利要求3所述的SRv6融合网络的数据异常检测方法，其特征在于，所述将所述综合特征键值对和分组特征键值对输入预设的数据异常检测多重模型，若该数据异常检测多重模型输出的所述综合特征键值对所对应的流量特征预估值显示所述目标遥测数据为异常数据，则继续基于所述数据异常检测多重模型输出的所述分组特征键值对所对应的异常类型投票结果确定所述异常数据所属的异常类型，包括：
将所述综合特征键值对输入所述综合预测模型，以使该综合预测模型输出所述目标遥测数据对应的流量特征预估值，判断该流量特征预估值是否超过预设的偏差值，若是，则判定所述综合特征键值对应的遥测数据为异常数据；
将所述分组特征键值对输入所述分类模型，以使该分类模型输出所述目标遥测数据对应的各个分组预测结果值，并基于预设的投票规则生成所述目标遥测数据所属的异常类型判定结果。
7.根据权利要求6所述的SRv6融合网络的数据异常检测方法，其特征在于，还包括：
若所述异常类型判定结果显示所述目标遥测数据存在任一异常类型，则直接输出该异常类型；
若所述异常类型判定结果显示所述目标遥测数据中存在多个异常类型，则生成并输出第一告知消息，其中，该第一告知消息用于表示：当前网络异常状态复杂，需要操作者进一步排查；
若所述异常类型判定结果显示所述目标遥测数据存在异常类型，但异常类型的投票结果显示该异常类型不存在，则生成并输出第二告知消息，其中，该第二告知消息用于表示：检测到未知异常，请进一步排查，并更新异常分类。
8.一种SRv6融合网络的数据异常检测装置，其特征在于，包括：
数据处理模块，用于针对当前自SRv6融合网络的业务流量中提取的目标遥测数据的各维度的特征信息，采用不同的预处理方式进行处理，得到目标遥测数据对应的预处理后的各项数据；对目标遥测数据对应的预处理后的各项数据分别进行加权计算处理，以得到降维后的目标遥测数据对应的一维的综合特征键值对；其中，所述综合特征键值对包括：时间戳及所述目标遥测数据对应的综合特征值；以及，分别对所述目标遥测数据各自对应的预处理后的各项数据添加标签及权重，以形成目标中间数据；根据所述目标中间数据对应的各个分类，遍历所述目标中间数据，通过预设的循环标签检索与加权计算的方式生成目标遥测数据对应的分组特征键值对，其中，所述分组特征键值对包括：时间戳及遥测数据对应的分组结果值；
异常检测及类型划分模块，用于将所述综合特征键值对和分组特征键值对输入预设的数据异常检测多重模型，若该数据异常检测多重模型输出的所述综合特征键值对所对应的流量特征预估值显示所述目标遥测数据为异常数据，则继续基于所述数据异常检测多重模型输出的所述分组特征键值对所对应的异常类型投票结果确定所述异常数据所属的异常类型。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的SRv6融合网络的数据异常检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的SRv6融合网络的数据异常检测方法。
CN202210390198.3A 2022-04-14 2022-04-14 SRv6融合网络的数据异常检测方法及装置 Active CN114978976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210390198.3A CN114978976B (zh) 2022-04-14 2022-04-14 SRv6融合网络的数据异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210390198.3A CN114978976B (zh) 2022-04-14 2022-04-14 SRv6融合网络的数据异常检测方法及装置

Publications (2)

Publication Number Publication Date
CN114978976A CN114978976A (zh) 2022-08-30
CN114978976B true CN114978976B (zh) 2023-04-18

Family

ID=82977639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210390198.3A Active CN114978976B (zh) 2022-04-14 2022-04-14 SRv6融合网络的数据异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN114978976B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115766552B (zh) * 2022-11-04 2024-05-31 西安电子科技大学 基于SRv6与INT的网络测量方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118224A (zh) * 2021-11-02 2022-03-01 中国运载火箭技术研究院 一种基于神经网络的全系统遥测参数异常检测系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109714343B (zh) * 2018-12-28 2022-02-22 北京天融信网络安全技术有限公司 一种网络流量异常的判断方法及装置
US20200349045A1 (en) * 2019-05-01 2020-11-05 Johan Gerard Van De Groenendaal Technology For Providing Out-Of-Band Processor Telemetry
US11361077B2 (en) * 2020-05-04 2022-06-14 Dell Products L.P. Kernel-based proactive engine for malware detection
US11388042B2 (en) * 2020-08-12 2022-07-12 Cisco Technology, Inc. Anomaly detection triggered proactive rerouting for software as a service (SaaS) application traffic
CN113554094A (zh) * 2021-07-23 2021-10-26 清华大学 网络异常检测方法、装置、电子设备及存储介质
CN114050994B (zh) * 2021-11-11 2023-07-25 东南大学 一种基于SRv6的网络遥测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118224A (zh) * 2021-11-02 2022-03-01 中国运载火箭技术研究院 一种基于神经网络的全系统遥测参数异常检测系统

Also Published As

Publication number Publication date
CN114978976A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
KR102028093B1 (ko) 네트워크에 대한 이상행위 탐지 방법 및 이를 이용한 장치
CN111177095A (zh) 日志分析方法、装置、计算机设备及存储介质
US11348023B2 (en) Identifying locations and causes of network faults
CN113645232B (zh) 一种面向工业互联网的智能化流量监测方法、系统及存储介质
CN113612763B (zh) 基于网络安全恶意行为知识库的网络攻击检测装置和方法
CN112367303B (zh) 分布式自学习异常流量协同检测方法及系统
CN114978976B (zh) SRv6融合网络的数据异常检测方法及装置
Sankaranarayanan et al. SVM-based traffic data classification for secured IoT-based road signaling system
CN114401516B (zh) 一种基于虚拟网络流量分析的5g切片网络异常检测方法
Duan et al. ByteIoT: A practical IoT device identification system based on packet length distribution
Ma et al. BOND: Exploring hidden bottleneck nodes in large-scale wireless sensor networks
Fan et al. AutoIoT: Automatically updated IoT device identification with semi-supervised learning
CN112769620B (zh) 一种网络部署方法、设备和计算机可读存储介质
CN114138680A (zh) 数据构建、数据查询和测试方法、电子设备以及存储介质
Guo et al. FullSight: A feasible intelligent and collaborative framework for service function chains failure detection
Killeen Knowledge-based predictive maintenance for fleet management
CN112055007A (zh) 一种基于可编程节点的软硬件结合威胁态势感知方法
Zhang et al. Automating rapid network anomaly detection with in-band network telemetry
Ritzkal et al. K-nearest neighbor algorithm analysis for path determination in network simulation using software defined network
Widanapathirana et al. Intelligent automated diagnosis of client device bottlenecks in private clouds
US11552867B1 (en) System, device, and method of classifying encrypted network communications
Muthukumar et al. Denoising internet delay measurements using weak supervision
Priovolos et al. Using anomaly detection techniques for securing 5G infrastructure and applications
CN111654413B (zh) 一种网络流量有效测量点的选取方法、设备及存储介质
CN110544182A (zh) 一种基于机器学习技术的配电通信网融合控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant