CN111343105B - 基于深度学习的断流识别方法及装置 - Google Patents

基于深度学习的断流识别方法及装置 Download PDF

Info

Publication number
CN111343105B
CN111343105B CN202010422740.XA CN202010422740A CN111343105B CN 111343105 B CN111343105 B CN 111343105B CN 202010422740 A CN202010422740 A CN 202010422740A CN 111343105 B CN111343105 B CN 111343105B
Authority
CN
China
Prior art keywords
flow
data
information
characteristic
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010422740.XA
Other languages
English (en)
Other versions
CN111343105A (zh
Inventor
杨贻宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Feiqi Network Technology Co ltd
Original Assignee
Shanghai Feiqi Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Feiqi Network Technology Co ltd filed Critical Shanghai Feiqi Network Technology Co ltd
Priority to CN202010422740.XA priority Critical patent/CN111343105B/zh
Publication of CN111343105A publication Critical patent/CN111343105A/zh
Application granted granted Critical
Publication of CN111343105B publication Critical patent/CN111343105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例提供一种基于深度学习的断流识别方法及装置，通过从数据流统计记录中获取存在断流状态的数据断流记录对应的断流节点和断流业务类型，并根据断流业务类型所对应的特征提取策略提取数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息后进行深度学习，由此对每个业务转发过程中的数据流进行识别，提升断流识别准确率，进而有效改善资源配置效率，提升用户服务体验。

Description

基于深度学习的断流识别方法及装置
技术领域
本申请涉及大数据人工智能深度学习技术领域，具体而言，涉及一种基于深度学习的断流识别方法及装置。
背景技术
在数据流的转发过程中，通常会存在断流现象，即数据流在某个节点未进行业务转发，通过断流检测到的结果可以对后续的网络资源进行针对性的配置优化，从而实现网络资源的优化配置。
然而，传统的断流检测方案通常只是从时间特征的维度来判断是否存在断流情况，例如通过检测某个预设时间段的流量转发情况，当几乎不存在流量转发时判定其存在断流情况。但是在实际场景中，断流可能会受到诸多网络环境的延迟影响导致检测不准确的情况。
发明内容
有鉴于此，本申请的目的在于提供一种基于深度学习的断流识别方法及装置，通过深度学习每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息，由此对每个业务转发过程中的数据流进行识别，提升断流识别准确率，进而有效改善资源配置效率，提升用户服务体验。
根据本申请的第一方面，提供一种基于深度学习的断流识别方法，应用于服务器，所述方法包括：
获取数据流统计记录，并从所述数据流统计记录中获取存在断流状态的数据断流记录对应的断流节点和断流业务类型，所述断流业务类型用于表示转发数据段所对应的业务类型下的断流业务标识；
根据所述断流业务类型所对应的特征提取策略提取所述数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息，其中，所述第一特征信息和所述第二特征信息分别包括各自对应的IP地址信息、通信协议类型信息、流量大小信息中的一种或者多种组合；
根据每个第一特征信息、每个第一特征信息所对应的第二特征信息训练深度学习网络模型，得到断流识别模型；
根据所述断流识别模型对每个业务转发过程中的数据流进行识别，得到表示所述业务转发过程中的数据流是否存在断流情况的识别结果；
从所述数据流统计记录中获取存在断流状态的数据断流记录对应的断流节点和断流业务类型的步骤，包括：
根据预先配置的断流标记字段从所述数据流统计记录中匹配存在断流状态的数据断流记录；
检测所述数据断流记录中存在流量异常的异常数据记录段，并获取所述异常数据记录段在对应的业务转发过程中的转发节点作为所述断流节点；
根据所述异常数据记录段中头信息所表征的业务转发类型和所述异常数据记录段中的异常数据项目，确定所述数据断流记录对应的断流业务类型。
在第一方面的一种可能的实施方式中，根据所述异常数据记录段中头信息所表征的业务转发类型和所述异常数据记录段中的异常数据项目，确定所述数据断流记录对应的断流业务类型的步骤，包括：
根据所述异常数据记录段中头信息所表征的业务转发类型，获取该业务转发类型所对应的预设断流决策数据库，所述预设断流决策数据库包括不同的异常数据项目以及每个异常数据项目对应的断流业务类型；
根据所述预设断流决策数据库确定所述异常数据记录段中的异常数据项目对应的断流业务类型。
在第一方面的一种可能的实施方式中，根据所述断流业务类型所对应的特征提取策略提取所述数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息的步骤，包括：
从所述断流业务类型所对应的特征提取策略中获得多个特征提取类型的特征提取单元；
确定每个特征提取单元对应的特征提取字段的字段类型信息，并根据每个特征提取单元对应的特征提取字段的字段类型信息提取所述数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息。
在第一方面的一种可能的实施方式中，根据每个特征提取单元对应的特征提取字段的字段类型信息提取所述数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息的步骤，包括：
根据每个特征提取单元对应的特征提取字段的字段类型信息从所述数据断流记录中提取每个断流节点的多个第一特征字段和每个第一特征字段的断流交互信息表，其中，每个第一特征字段与一个字段类型一一对应，所述断流交互信息表用于表征该第一特征字段在断流时的交互记录；
分别提取所述多个第一特征字段和每个第一特征字段的断流交互信息表的特征向量构成的向量序列，以得到每个断流节点的第一特征信息；以及
根据每个特征提取单元对应的特征提取字段的字段类型信息从所述数据断流记录中提取与每个断流节点相关联的数据转发节点的多个第二特征字段和每个第二特征字段的转发交互信息表，其中，每个第二特征字段与一个字段类型一一对应，所述转发交互信息表用于表征该第二特征字段对应的第一特征字段在断流时的交互记录；
分别提取所述多个第二特征字段和每个第二特征字段的转发交互信息表的特征向量构成的向量序列，以得到每个断流节点的第二特征信息。
在第一方面的一种可能的实施方式中，根据每个第一特征信息、每个第一特征信息所对应的第二特征信息训练深度学习网络模型，得到断流识别模型的步骤，包括：
通过所述深度学习网络模型分别提取每个第一特征信息的第一深度特征图谱以及每个第一特征信息所对应的第二特征信息的第二深度特征图谱；
将所述第一深度特征图谱和所述第二深度特征图谱进行级联得到级联深度特征图谱，并将所述级联深度特征图谱输入到所述深度学习网络模型的分类层进行分类得到对应的分类结果，其中，所述深度学习网络模型为卷积神经网络模型；
根据所述分类结果对所述深度学习网络模型的网络参数进行更新后，迭代进行训练，当训练得到的所述深度学习网络模型满足预设条件时，得到所述断流识别模型。
在第一方面的一种可能的实施方式中，根据所述断流识别模型对每个业务转发过程中的数据流进行识别，得到表示所述业务转发过程中的数据流是否存在断流情况的识别结果的步骤，包括：
根据所述断流识别模型对每个业务转发过程中的数据流进行识别，获取所述数据流在断流分类标签下的置信度；
当数据流在断流分类标签下的置信度大于设定置信度时，判定所述业务转发过程中的数据流存在断流情况，否则判定所述业务转发过程中的数据流不存在断流情况。
根据本申请实施例的第二方面，还提供一种基于深度学习的断流识别装置，应用于服务器，所述装置包括：
获取模块，用于获取数据流统计记录，并从所述数据流统计记录中获取存在断流状态的数据断流记录对应的断流节点和断流业务类型，所述断流业务类型用于表示转发数据段所对应的业务类型下的断流业务标识；
提取模块，用于根据所述断流业务类型所对应的特征提取策略提取所述数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息，其中，所述第一特征信息和所述第二特征信息分别包括各自对应的IP地址信息、通信协议类型信息、流量大小信息中的一种或者多种组合；
训练模块，用于根据每个第一特征信息、每个第一特征信息所对应的第二特征信息训练深度学习网络模型，得到断流识别模型；
识别模块，用于根据所述断流识别模型对每个业务转发过程中的数据流进行识别，得到表示所述业务转发过程中的数据流是否存在断流情况的识别结果；
从所述数据流统计记录中获取存在断流状态的数据断流记录对应的断流节点和断流业务类型的方式，包括：
根据预先配置的断流标记字段从所述数据流统计记录中匹配存在断流状态的数据断流记录；
检测所述数据断流记录中存在流量异常的异常数据记录段，并获取所述异常数据记录段在对应的业务转发过程中的转发节点作为所述断流节点；
根据所述异常数据记录段中头信息所表征的业务转发类型和所述异常数据记录段中的异常数据项目，确定所述数据断流记录对应的断流业务类型。
基于上述任一方面，本申请通过从数据流统计记录中获取存在断流状态的数据断流记录对应的断流节点和断流业务类型，并根据断流业务类型所对应的特征提取策略提取数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息后进行深度学习，由此对每个业务转发过程中的数据流进行识别，进而提升断流识别准确率，进而有效改善资源配置效率，提升用户服务体验。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的基于深度学习的断流识别系统的应用场景示意图；
图2示出了本申请实施例所提供的基于深度学习的断流识别方法的流程示意图；
图3示出了本申请实施例所提供的基于深度学习的断流识别装置的功能模块示意图；
图4示出了本申请实施例所提供的用于执行上述的基于深度学习的断流识别方法的服务器的组件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。
图1示出了本申请实施例所提供的基于深度学习的断流识别系统10的应用场景示意图。本实施例中，基于深度学习的断流识别系统10可以包括服务器100以及与服务器100通信连接的业务转发设备200。业务转发设备200中可以是指用于执行某些业务数据的收发的网络设备，例如路由器、交换机设备等，在此不作具体限定。
在其它可行的实施例中，该基于深度学习的断流识别系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
在一些实施例中，服务器100可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据，以执行本申请中描述的一个或多个功能。处理器可以包括一个或多个处理核（例如，单核处理器或多核处理器）。
前述的数据库可以存储数据和/或指令。在一些实施例中，数据库可以存储向业务转发设备200分配的数据。在一些实施例中，数据库可以存储在本申请中描述的示例性方法的数据和/或指令。在一些实施例中，数据库可以包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器等，或其任意组合。
在一些实施例中，数据库可以连接到网络以与基于深度学习的断流识别系统10（例如，服务器100，业务转发设备200等）中的一个或多个组件通信。基于深度学习的断流识别系统10中的一个或多个组件可以经由网络访问存储在数据库中的数据或指令。在一些实施例中，数据库可以直接连接到基于深度学习的断流识别系统10中的一个或多个组件（例如，服务器100，业务转发设备200等）；或者，在一些实施例中，数据库也可以是服务器100的一部分。
图2示出了本申请实施例提供的基于深度学习的断流识别方法的流程示意图，本实施例中，该基于深度学习的断流识别方法可以由图1中所示的服务器100执行。应当理解，在其它实施例中，本实施例的基于深度学习的断流识别方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该基于深度学习的断流识别方法的详细步骤介绍如下。
步骤S110，获取数据流统计记录，并从数据流统计记录中获取存在断流状态的数据断流记录对应的断流节点和断流业务类型。
步骤S120，根据断流业务类型所对应的特征提取策略提取数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息。
步骤S130，根据每个第一特征信息、每个第一特征信息所对应的第二特征信息训练深度学习网络模型，得到断流识别模型。
步骤S140，根据断流识别模型对每个业务转发过程中的数据流进行识别，得到识别结果。
本实施例中，各个业务转发设备在进行业务转发过程中，服务器可以记录每个业务转发过程中的数据流统计记录，数据流统计记录可以包括在每次进行业务转发（例如移动交流信息业务、多媒体业务等）时的数据交互记录。
本实施例中，断流节点可以用于表示当发生断流情况时相关联的转发数据段，断流业务类型可以用于表示上述转发数据段所对应的业务类型下的断流业务标识，例如在使用业务类型A的数据转发功能时，该业务类型A在运行过程中可能会存在多种断流情况，具体可以预先进行配置。示例性地，上述的断流节点和断流业务类型的确定可以由人为进行确定后记录，以便于后续特征提取和深度训练。
本实施例中，所述第一特征信息和所述第二特征信息可分别包括各自对应的IP地址信息、通信协议类型信息、流量大小信息中的一种或者多种组合。
本实施例中，识别结果可以用于表示业务转发过程中的数据流是否存在断流情况，由此可以便于对后续的网络资源进行针对性的配置优化，从而实现网络资源的优化配置。
基于上述步骤，为了解决前述背景技术所获知的技术问题，本申请发明人在考虑到断流节点的基础上，进一步考虑到了相关联的其它数据转发节点，从而通过从数据流统计记录中获取存在断流状态的数据断流记录对应的断流节点和断流业务类型，并根据断流业务类型所对应的特征提取策略提取数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息后进行深度学习，由此对每个业务转发过程中的数据流进行识别，进而提升断流识别准确率，进而有效改善资源配置效率，提升用户服务体验。
在一种可能的实施方式中，针对步骤S110，为了提高数据读取效率，本实施例可以根据预先配置的断流标记字段从数据流统计记录中匹配存在断流状态的数据断流记录。其中，当断流现象发生之后，服务器可以自动生成相应的断流标记字段，这样可以通过断流标记字段进行自动匹配存在断流状态的数据断流记录。
在此基础上，进一步检测数据断流记录中存在流量异常的异常数据记录段，并获取异常数据记录段在对应的业务转发过程中的转发节点作为断流节点，然后根据异常数据记录段中头信息所表征的业务转发类型和异常数据记录段中的异常数据项目，确定数据断流记录对应的断流业务类型。
例如，可以根据异常数据记录段中头信息所表征的业务转发类型，获取该业务转发类型所对应的预设断流决策数据库。示例性地，该预设断流决策数据库可以包括不同的异常数据项目以及每个异常数据项目对应的断流业务类型。由此，即可根据预设断流决策数据库确定异常数据记录段中的异常数据项目对应的断流业务类型。
在一种可能的实施方式中，进一步针对步骤S120，考虑到在特征提取的过程中，为了提高后续的训练效果，通常不仅仅是提取单一维度的特征信息，而是提取多个维度的特征信息，基于此，可以从断流业务类型所对应的特征提取策略中获得多个特征提取类型的特征提取单元，不同的特征提取类型可以根据实际需求进行设置，在此不作详细介绍。例如，可以包括通信协议类型的特征提取类型、流量大小的特征提取类型等。
在此基础上，可以确定每个特征提取单元对应的特征提取字段的字段类型信息，并根据每个特征提取单元对应的特征提取字段的字段类型信息提取数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息。
例如，在一种可能的示例中，可以根据每个特征提取单元对应的特征提取字段的字段类型信息从数据断流记录中提取每个断流节点的多个第一特征字段和每个第一特征字段的断流交互信息表。
其中，值得说明的是，每个第一特征字段与一个字段类型一一对应，断流交互信息表可以用于表征该第一特征字段在断流时的交互记录，例如具体交互的地址信息、交互过程中的网络协议信息等，在此不做具体限定。
然后，分别提取多个第一特征字段和每个第一特征字段的断流交互信息表的特征向量构成的向量序列，以得到每个断流节点的第一特征信息。
呈上，同样地，可以根据每个特征提取单元对应的特征提取字段的字段类型信息从数据断流记录中提取与每个断流节点相关联的数据转发节点的多个第二特征字段和每个第二特征字段的转发交互信息表。
其中，值得说明的是，每个第二特征字段与一个字段类型一一对应，转发交互信息表可以用于表征该第二特征字段对应的第一特征字段在断流时的交互记录，例如具体交互的地址信息、交互过程中的网络协议信息等，在此不做具体限定。
然后，分别提取多个第二特征字段和每个第二特征字段的转发交互信息表的特征向量构成的向量序列，以得到每个断流节点的第二特征信息。
如此，采用上述设计，可以准确提取出数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息后，以便于后续进行深度学习网络模型的训练。
在一种可能的实施方式中，深度学习网络模型可以采用卷积神经网络模型、深度信任网络模型、堆栈自编码网络模型等，在此不作具体限定。在具体选择时，为了提高训练速度和后续的断流识别速度，本领域技术人员可以根据自身计算量的需求对选定的深度学习网络模型的模型结构进行调整。
由此，本实施例可以通过深度学习网络模型分别提取每个第一特征信息的第一深度特征图谱以及每个第一特征信息所对应的第二特征信息的第二深度特征图谱，然后将第一深度特征图谱和第二深度特征图谱进行级联得到级联深度特征图谱，并将级联深度特征图谱输入到深度学习网络模型的分类层进行分类得到对应的分类结果。在根据分类结果对深度学习网络模型的网络参数进行更新后，迭代进行训练，当训练得到的深度学习网络模型满足预设条件时，得到断流识别模型。
例如，可以计算该分类结果与实际断流分类标签之间的LOSS值，并根据LOSS值对深度学习网络模型的网络参数进行更新后，迭代进行训练，当训练得到的深度学习网络模型满足预设条件时，得到断流识别模型。
其中，上述的预设条件可以根据实际设计需求进行个性化设置，例如，为了减少计算量，可以将该预设条件设置为当迭代训练次数达到设定次数时，终止训练；又例如，为了保证训练效果，可以将该预设条件设置为当LOSS值低于设定值时，终止训练，或者LOSS值不再继续下降，或者下降幅度低于设定幅度时，终止训练。
可以理解的是，本领域技术人员可以根据实际需求选择上述示例性的设定条件中的一种或者多种组合，在此不做具体限定。
在一种可能的实施方式中，针对步骤S140，本实施例可以根据断流识别模型对每个业务转发过程中的数据流进行识别，获取数据流在断流分类标签下的置信度，当数据流在断流分类标签下的置信度大于设定置信度时，判定业务转发过程中的数据流存在断流情况，否则判定业务转发过程中的数据流不存在断流情况。
基于同一发明构思，请参阅图3，示出了本申请实施例提供的基于深度学习的断流识别装置110的功能模块示意图，本实施例可以根据上述方法实施例对基于深度学习的断流识别装置110进行功能模块的划分。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。比如，在采用对应各个功能划分各个功能模块的情况下，图3示出的基于深度学习的断流识别装置110只是一种装置示意图。其中，基于深度学习的断流识别装置110可以包括获取模块111、提取模块112、训练模块113以及识别模块114，下面分别对该基于深度学习的断流识别装置110的各个功能模块的功能进行详细阐述。
获取模块111，用于获取数据流统计记录，并从数据流统计记录中获取存在断流状态的数据断流记录对应的断流节点和断流业务类型。可以理解，该获取模块111可以用于执行上述步骤S110，关于该获取模块111的详细实现方式可以参照上述对步骤S110有关的内容。
提取模块112，用于根据断流业务类型所对应的特征提取策略提取数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息，其中，第一特征信息和第二特征信息分别包括各自对应的IP地址信息、通信协议类型信息、流量大小信息中的一种或者多种组合。可以理解，该提取模块112可以用于执行上述步骤S120，关于该提取模块112的详细实现方式可以参照上述对步骤S120有关的内容。
训练模块113，用于根据每个第一特征信息、每个第一特征信息所对应的第二特征信息训练深度学习网络模型，得到断流识别模型。其中，深度学习网络模型为卷积神经网络模型。可以理解，该训练模块113可以用于执行上述步骤S130，关于该训练模块113的详细实现方式可以参照上述对步骤S130有关的内容。
识别模块114，用于根据断流识别模型对每个业务转发过程中的数据流进行识别，得到表示业务转发过程中的数据流是否存在断流情况的识别结果。可以理解，该识别模块114可以用于执行上述步骤S140，关于该识别模块114的详细实现方式可以参照上述对步骤S140有关的内容。
在一种可能的实施方式中，获取模块111可以通过以下方式从数据流统计记录中获取存在断流状态的数据断流记录对应的断流节点和断流业务类型：
根据预先配置的断流标记字段从数据流统计记录中匹配存在断流状态的数据断流记录；
检测数据断流记录中存在流量异常的异常数据记录段，并获取异常数据记录段在对应的业务转发过程中的转发节点作为断流节点；
根据异常数据记录段中头信息所表征的业务转发类型和异常数据记录段中的异常数据项目，确定数据断流记录对应的断流业务类型。
在一种可能的实施方式中，获取模块111可以通过以下方式确定数据断流记录对应的断流业务类型：
根据异常数据记录段中头信息所表征的业务转发类型，获取该业务转发类型所对应的预设断流决策数据库，预设断流决策数据库包括不同的异常数据项目以及每个异常数据项目对应的断流业务类型；
根据预设断流决策数据库确定异常数据记录段中的异常数据项目对应的断流业务类型。
在一种可能的实施方式中，提取模块112可以通过以下方式提取数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息：
从断流业务类型所对应的特征提取策略中获得多个特征提取类型的特征提取单元；
确定每个特征提取单元对应的特征提取字段的字段类型信息，并根据每个特征提取单元对应的特征提取字段的字段类型信息提取数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息。
在一种可能的实施方式中，提取模块112可以通过以下方式提取数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息：
根据每个特征提取单元对应的特征提取字段的字段类型信息从数据断流记录中提取每个断流节点的多个第一特征字段和每个第一特征字段的断流交互信息表，其中，每个第一特征字段与一个字段类型一一对应，断流交互信息表用于表征该第一特征字段在断流时的交互记录；
分别提取多个第一特征字段和每个第一特征字段的断流交互信息表的特征向量构成的向量序列，得到每个断流节点的第一特征信息；以及
根据每个特征提取单元对应的特征提取字段的字段类型信息从数据断流记录中提取与每个断流节点相关联的数据转发节点的多个第二特征字段和每个第二特征字段的转发交互信息表，其中，每个第二特征字段与一个字段类型一一对应，转发交互信息表用于表征该第二特征字段对应的第一特征字段在断流时的交互记录；
分别提取多个第二特征字段和每个第二特征字段的转发交互信息表的特征向量构成的向量序列，得到每个断流节点的第二特征信息。
在一种可能的实施方式中，训练模块113可以通过以下方式训练深度学习网络模型，得到断流识别模型：
通过深度学习网络模型分别提取每个第一特征信息的第一深度特征图谱以及每个第一特征信息所对应的第二特征信息的第二深度特征图谱；
将第一深度特征图谱和第二深度特征图谱进行级联得到级联深度特征图谱，并将级联深度特征图谱输入到深度学习网络模型的分类层进行分类得到对应的分类结果；
根据分类结果对深度学习网络模型的网络参数进行更新后，迭代进行训练，当训练得到的深度学习网络模型满足预设条件时，得到断流识别模型。
在一种可能的实施方式中，识别模块114可以通过以下方式对每个业务转发过程中的数据流进行识别，得到表示业务转发过程中的数据流是否存在断流情况的识别结果：
根据断流识别模型对每个业务转发过程中的数据流进行识别，获取数据流在断流分类标签下的置信度；
当数据流在断流分类标签下的置信度大于设定置信度时，判定业务转发过程中的数据流存在断流情况，否则判定业务转发过程中的数据流不存在断流情况。
基于同一发明构思，请参阅图4，示出了本申请实施例提供的用于执行上述基于深度学习的断流识别方法的服务器100的结构示意框图，该服务器100可以包括基于深度学习的断流识别装置110、机器可读存储介质120和处理器130。
本实施例中，机器可读存储介质120与处理器130均位于服务器100中且二者分离设置。然而，应当理解的是，机器可读存储介质120也可以是独立于服务器100之外，且可以由处理器130通过总线接口来访问。可替换地，机器可读存储介质120也可以集成到处理器130中，例如，可以是高速缓存和/或通用寄存器。
处理器130是该服务器100的控制中心，利用各种接口和线路连接整个服务器100的各个部分，通过运行或执行存储在机器可读存储介质120内的软件程序和/或模块，以及调用存储在机器可读存储介质120内的数据，执行该服务器100的各种功能和处理数据，从而对服务器100进行整体监控。可选地，处理器130可包括一个或多个处理核心；例如，处理器130可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
其中，处理器130可以是一个通用的中央处理器(Central Processing Unit，CPU)，微处理器，特定应用集成电路(Application-Specific Integrated Circuit，ASIC)，或一个或多个用于控制上述方法实施例提供的基于深度学习的断流识别方法的程序执行的集成电路。
机器可读存储介质120可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmabler-Only MEMory，EEPROM)、只读光盘(Compactdisc Read-Only MEMory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。机器可读存储介质120可以是独立存在，通过通信总线与处理器130相连接。机器可读存储介质120也可以和处理器集成在一起。其中，机器可读存储介质120用于存储执行本申请方案的机器可执行指令。处理器130用于执行机器可读存储介质120中存储的机器可执行指令，以实现前述方法实施例提供的基于深度学习的断流识别方法。
基于深度学习的断流识别装置110可以包括存储在机器可读存储介质120的软件功能模块（例如图3中所示的获取模块111、提取模块112、训练模块113以及识别模块114），当处理器130执行基于深度学习的断流识别装置110中的软件功能模块时，以实现前述方法实施例提供的基于深度学习的断流识别方法。
由于本申请实施例提供的服务器100是上述服务器100执行的方法实施例的另一种实现形式，且服务器100可用于执行上述方法实施例提供的基于深度学习的断流识别方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。
进一步地，本申请实施例还提供一种包含计算机可执行指令的可读存储介质，计算机可执行指令在被执行时可以用于实现上述方法实施例提供的基于深度学习的断流识别方法。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的方法操作，还可以执行本申请任意实施例所提供的基于深度学习的断流识别方法中的相关操作。
本申请实施例是参照根据本申请实施例的方法、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种基于深度学习的断流识别方法，其特征在于，应用于服务器，所述方法包括：
获取数据流统计记录，并从所述数据流统计记录中获取存在断流状态的数据断流记录对应的断流节点和断流业务类型，所述断流业务类型用于表示转发数据段所对应的业务类型下的断流业务标识；
根据所述断流业务类型所对应的特征提取策略提取所述数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息，其中，所述第一特征信息和所述第二特征信息分别包括各自对应的IP地址信息、通信协议类型信息、流量大小信息中的一种或者多种组合；
根据每个第一特征信息、每个第一特征信息所对应的第二特征信息训练深度学习网络模型，得到断流识别模型；
根据所述断流识别模型对每个业务转发过程中的数据流进行识别，得到表示所述业务转发过程中的数据流是否存在断流情况的识别结果；
从所述数据流统计记录中获取存在断流状态的数据断流记录对应的断流节点和断流业务类型的步骤，包括：
根据预先配置的断流标记字段从所述数据流统计记录中匹配存在断流状态的数据断流记录；
检测所述数据断流记录中存在流量异常的异常数据记录段，并获取所述异常数据记录段在对应的业务转发过程中的转发节点作为所述断流节点；
根据所述异常数据记录段中头信息所表征的业务转发类型和所述异常数据记录段中的异常数据项目，确定所述数据断流记录对应的断流业务类型。
2.根据权利要求1所述的基于深度学习的断流识别方法，其特征在于，根据所述异常数据记录段中头信息所表征的业务转发类型和所述异常数据记录段中的异常数据项目，确定所述数据断流记录对应的断流业务类型的步骤，包括：
根据所述异常数据记录段中头信息所表征的业务转发类型，获取该业务转发类型所对应的预设断流决策数据库，所述预设断流决策数据库包括不同的异常数据项目以及每个异常数据项目对应的断流业务类型；
根据所述预设断流决策数据库确定所述异常数据记录段中的异常数据项目对应的断流业务类型。
3.根据权利要求1所述的基于深度学习的断流识别方法，其特征在于，根据所述断流业务类型所对应的特征提取策略提取所述数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息的步骤，包括：
从所述断流业务类型所对应的特征提取策略中获得多个特征提取类型的特征提取单元；
确定每个特征提取单元对应的特征提取字段的字段类型信息，并根据每个特征提取单元对应的特征提取字段的字段类型信息提取所述数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息。
4.根据权利要求3所述的基于深度学习的断流识别方法，其特征在于，根据每个特征提取单元对应的特征提取字段的字段类型信息提取所述数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息的步骤，包括：
根据每个特征提取单元对应的特征提取字段的字段类型信息从所述数据断流记录中提取每个断流节点的多个第一特征字段和每个第一特征字段的断流交互信息表，其中，每个第一特征字段与一个字段类型一一对应，所述断流交互信息表用于表征该第一特征字段在断流时的交互记录；
分别提取所述多个第一特征字段和每个第一特征字段的断流交互信息表的特征向量构成的向量序列，得到每个断流节点的第一特征信息；以及
根据每个特征提取单元对应的特征提取字段的字段类型信息从所述数据断流记录中提取与每个断流节点相关联的数据转发节点的多个第二特征字段和每个第二特征字段的转发交互信息表，其中，每个第二特征字段与一个字段类型一一对应，所述转发交互信息表用于表征该第二特征字段对应的第一特征字段在断流时的交互记录；
分别提取所述多个第二特征字段和每个第二特征字段的转发交互信息表的特征向量构成的向量序列，得到每个断流节点的第二特征信息。
5.根据权利要求1-4中任意一项所述的基于深度学习的断流识别方法，其特征在于，根据每个第一特征信息、每个第一特征信息所对应的第二特征信息训练深度学习网络模型，得到断流识别模型的步骤，包括：
通过所述深度学习网络模型分别提取每个第一特征信息的第一深度特征图谱以及每个第一特征信息所对应的第二特征信息的第二深度特征图谱；其中，所述深度学习网络模型为卷积神经网络模型；
将所述第一深度特征图谱和所述第二深度特征图谱进行级联得到级联深度特征图谱，并将所述级联深度特征图谱输入到所述深度学习网络模型的分类层进行分类得到对应的分类结果；
根据所述分类结果对所述深度学习网络模型的网络参数进行更新后，迭代进行训练，当训练得到的所述深度学习网络模型满足预设条件时，得到所述断流识别模型。
6.根据权利要求1-4中任意一项所述的基于深度学习的断流识别方法，其特征在于，根据所述断流识别模型对每个业务转发过程中的数据流进行识别，得到表示所述业务转发过程中的数据流是否存在断流情况的识别结果的步骤，包括：
根据所述断流识别模型对每个业务转发过程中的数据流进行识别，获取所述数据流在断流分类标签下的置信度；
当数据流在断流分类标签下的置信度大于设定置信度时，判定所述业务转发过程中的数据流存在断流情况，否则判定所述业务转发过程中的数据流不存在断流情况。
7.一种基于深度学习的断流识别装置，其特征在于，应用于服务器，所述装置包括：
获取模块，用于获取数据流统计记录，并从所述数据流统计记录中获取存在断流状态的数据断流记录对应的断流节点和断流业务类型，所述断流业务类型用于表示转发数据段所对应的业务类型下的断流业务标识；
提取模块，用于根据所述断流业务类型所对应的特征提取策略提取所述数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息，其中，所述第一特征信息和所述第二特征信息分别包括各自对应的IP地址信息、通信协议类型信息、流量大小信息中的一种或者多种组合；
训练模块，用于根据每个第一特征信息、每个第一特征信息所对应的第二特征信息训练深度学习网络模型，得到断流识别模型；
识别模块，用于根据所述断流识别模型对每个业务转发过程中的数据流进行识别，得到表示所述业务转发过程中的数据流是否存在断流情况的识别结果；
从所述数据流统计记录中获取存在断流状态的数据断流记录对应的断流节点和断流业务类型的方式，包括：
根据预先配置的断流标记字段从所述数据流统计记录中匹配存在断流状态的数据断流记录；
检测所述数据断流记录中存在流量异常的异常数据记录段，并获取所述异常数据记录段在对应的业务转发过程中的转发节点作为所述断流节点；
根据所述异常数据记录段中头信息所表征的业务转发类型和所述异常数据记录段中的异常数据项目，确定所述数据断流记录对应的断流业务类型。
8.根据权利要求7所述的基于深度学习的断流识别装置，其特征在于，提取模块用于通过以下方式提取所述数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息：
从所述断流业务类型所对应的特征提取策略中获得多个特征提取类型的特征提取单元；
确定每个特征提取单元对应的特征提取字段的字段类型信息，并根据每个特征提取单元对应的特征提取字段的字段类型信息提取所述数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息。
9.根据权利要求8所述的基于深度学习的断流识别装置，其特征在于，提取模块用于通过以下方式提取所述数据断流记录中每个断流节点的第一特征信息以及与每个断流节点相关联的数据转发节点的第二特征信息：
根据每个特征提取单元对应的特征提取字段的字段类型信息从所述数据断流记录中提取每个断流节点的多个第一特征字段和每个第一特征字段的断流交互信息表，其中，每个第一特征字段与一个字段类型一一对应，所述断流交互信息表用于表征该第一特征字段在断流时的交互记录；
分别提取所述多个第一特征字段和每个第一特征字段的断流交互信息表的特征向量构成的向量序列，以得到每个断流节点的第一特征信息；以及
根据每个特征提取单元对应的特征提取字段的字段类型信息从所述数据断流记录中提取与每个断流节点相关联的数据转发节点的多个第二特征字段和每个第二特征字段的转发交互信息表，其中，每个第二特征字段与一个字段类型一一对应，所述转发交互信息表用于表征该第二特征字段对应的第一特征字段在断流时的交互记录；
分别提取所述多个第二特征字段和每个第二特征字段的转发交互信息表的特征向量构成的向量序列，以得到每个断流节点的第二特征信息。
CN202010422740.XA 2020-05-19 2020-05-19 基于深度学习的断流识别方法及装置 Active CN111343105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010422740.XA CN111343105B (zh) 2020-05-19 2020-05-19 基于深度学习的断流识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010422740.XA CN111343105B (zh) 2020-05-19 2020-05-19 基于深度学习的断流识别方法及装置

Publications (2)

Publication Number Publication Date
CN111343105A CN111343105A (zh) 2020-06-26
CN111343105B true CN111343105B (zh) 2020-08-07

Family

ID=71187573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010422740.XA Active CN111343105B (zh) 2020-05-19 2020-05-19 基于深度学习的断流识别方法及装置

Country Status (1)

Country Link
CN (1) CN111343105B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948687B (zh) * 2021-03-25 2023-05-02 重庆高开清芯智联网络科技有限公司 一种基于名片文件特征的节点消息推荐方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103582512A (zh) * 2013-02-04 2014-02-12 华为技术有限公司 特征提取装置、网络流量识别方法、装置和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101267353B (zh) * 2008-04-24 2011-12-21 北京大学 一种载荷无关的检测网络滥用行为的方法
CN108256536B (zh) * 2016-12-28 2021-10-29 全球能源互联网研究院 一种基于地理位置关系的电力网络态势感知方法和装置
US10454780B2 (en) * 2017-12-07 2019-10-22 Cisco Technology, Inc. Optimizing source routing using machine learning
CN109842521A (zh) * 2019-01-28 2019-06-04 西安科技大学 一种移动终端宕机预测系统及方法
CN110224930B (zh) * 2019-05-30 2021-10-29 国网福建省电力有限公司 一种基于逻辑级联失效模型的电力通信网业务恢复方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103582512A (zh) * 2013-02-04 2014-02-12 华为技术有限公司 特征提取装置、网络流量识别方法、装置和系统

Also Published As

Publication number Publication date
CN111343105A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN106656932B (zh) 一种业务处理方法及装置
CN112184872B (zh) 基于大数据和云计算的游戏渲染优化方法及云端计算中心
CN111586071B (zh) 一种基于循环神经网络模型的加密攻击检测方法及装置
CN109800560B (zh) 一种设备识别方法和装置
JP6780655B2 (ja) ログ分析システム、方法およびプログラム
CN111163072B (zh) 机器学习模型中特征值的确定方法、装置及电子设备
CN110995745B (zh) 一种物联网非法机卡分离识别的方法及装置
EP3905084A1 (en) Method and device for detecting malware
CN111563560A (zh) 基于时序特征学习的数据流分类方法及装置
CN110807068A (zh) 换设备用户的识别方法、装置、计算机设备和存储介质
CN108521402B (zh) 一种输出标签的方法、装置及设备
CN111343105B (zh) 基于深度学习的断流识别方法及装置
CN106301979B (zh) 检测异常渠道的方法和系统
CN111091068B (zh) 一种密度估计模型训练方法、装置、存储介质及电子设备
CN114943307A (zh) 一种模型训练的方法、装置、存储介质以及电子设备
CN113923002A (zh) 计算机网络入侵防御方法、装置、存储介质及处理器
CN111090401B (zh) 存储设备性能预测方法及装置
CN113010785A (zh) 用户推荐方法及设备
CN109039695B (zh) 业务故障处理方法、装置及设备
CN107193721B (zh) 一种生成日志的方法和装置
CN111064977B (zh) 网络综艺节目备案在线监控的方法、系统及可读存储介质
CN106776623B (zh) 一种用户行为分析方法和设备
CN111385342B (zh) 一种物联网行业识别方法、装置、电子设备及存储介质
CN113098884A (zh) 基于大数据的网络安全监控方法、云平台系统及介质
CN112084349B (zh) 知识库的扩充方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant