CN114821169A - 微服务架构下的方法级无侵入调用链路追踪方法 - Google Patents

微服务架构下的方法级无侵入调用链路追踪方法 Download PDF

Info

Publication number
CN114821169A
CN114821169A CN202210433035.9A CN202210433035A CN114821169A CN 114821169 A CN114821169 A CN 114821169A CN 202210433035 A CN202210433035 A CN 202210433035A CN 114821169 A CN114821169 A CN 114821169A
Authority
CN
China
Prior art keywords
feature
feature map
classification
time point
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210433035.9A
Other languages
English (en)
Inventor
梁浩
程莉红
杨伟伟
刘祯
李舒婷
王辉华
周劼翀
黄健
谭兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CNNC Fujian Nuclear Power Co Ltd
Original Assignee
CNNC Fujian Nuclear Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CNNC Fujian Nuclear Power Co Ltd filed Critical CNNC Fujian Nuclear Power Co Ltd
Priority to CN202210433035.9A priority Critical patent/CN114821169A/zh
Publication of CN114821169A publication Critical patent/CN114821169A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种微服务架构下的方法级无侵入调用链路追踪方法、系统和电子设备，其通过基于上下文的编码器和时序编码器来获取在时序维度上各个服务器的日志数据之间的隐含关联特征以及各个服务器的日志数据在各个时间点之间的关联特征，以得到第一特征图和第二特征图，并进一步计算这两个特征图之间的特征流形维度分布相似性因数损失函数值来训练模型参数，可以通过高维特征分布的几何相似性的约束来优化特征流形之间具有关联的局部特征描述，以使得融合后的特征图能够减轻由于高维特征空间的空间复杂性导致的融合后特征稀疏度，从而增强融合后的所述特征图的分类能力。这样，就可以对所述微服务架构是否被入侵进行准确地检测。

Description

微服务架构下的方法级无侵入调用链路追踪方法
技术领域
本申请涉及微服务架构领域，且更为具体地，涉及一种微服务架构下的方法级无侵入调用链路追踪方法、系统和电子设备。
背景技术
随着微服务架构的流行，各个服务被解耦拆分的更加细致，一次请求往往需要涉及到多个服务的执行结果。而且这些服务可能是由不同的团队使用不同的编程语言来实现，并且部署在多台服务器，横跨多个不同数据中心，这些使得分布式系统变得日趋庞大与复杂。因此，当需要对系统性能、容量、调用依赖进行分析时，将会变得异常困难，同时，一旦客户端发起的请求失败，也很难定位到具体哪个服务出现问题。
但是，传统的解决方案为通过介入各服务所在的服务器，通过肉眼观测压测时当前服务器性能指标，并且通过海量日志分析，进行问题定位。然而，这种方案存在以下几个缺陷：需要多个部门同时配合，协调工作难度大；问题定位需要从源头一个服务一个服务往下分析，耗时耗力。
因此，期待一种优化的微服务架构下的调用链路追踪方案来实现无侵入的问题服务器检测。
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
近年来，深度学习以及神经网络的发展为微服务架构下的方法级无侵入调用链路追踪提供了新的解决思路和方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种微服务架构下的方法级无侵入调用链路追踪方法、系统和电子设备，其通过基于上下文的编码器和时序编码器来获取在时序维度上各个服务器的日志数据之间的隐含关联特征以及各个服务器的日志数据在各个时间点之间的关联特征，以得到第一特征图和第二特征图，并进一步计算这两个特征图之间的特征流形维度分布相似性因数损失函数值来训练模型参数，可以通过高维特征分布的几何相似性的约束来优化特征流形之间具有关联的局部特征描述，以使得融合后的特征图能够减轻由于高维特征空间的空间复杂性导致的融合后特征稀疏度，从而增强融合后的所述特征图的分类能力。这样，就可以对所述微服务架构是否被入侵进行准确地检测。
根据本申请的一个方面，提供了一种微服务架构下的方法级无侵入调用链路追踪方法，其包括：
训练阶段，包括：
获取微服务架构中各个服务器在各个预定时间点的日志数据；
将各个时间点的所有所述服务器的日志数据通过包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量；
将各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以获得第一特征图；
将各个所述服务器在各个预定时间点的日志数据通过包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量；
将各个所述服务器的第二特征向量进行二维排列为特征矩阵后通过第二卷积神经网络以获得第二特征图；
计算所述第一特征图和所述第二特征图之间的特征流形维度分布相似性因数损失函数值，所述特征流形维度分布相似性因数损失函数值为以所述第一特征图和所述第二特征图之间的余弦距离除以所述第一特征图和所述第二特征图之间的欧式距离之商的一半的负值为幂的自然指数函数值；
融合所述第一特征图和所述第二特征图以获得分类特征图；
将所述分类特征图通过分类器以获得分类损失函数值；以及
计算所述分类损失函数值和所述特征流形维度分布相似性因数损失函数值之间的加权和作为损失函数值来训练所述上下文编码器、所述时序编码器、所述第一卷积神经网络和所述第二卷积神经网络；以及
推断阶段，包括：
获取微服务架构中各个服务器在各个预定时间点的日志数据；
将各个时间点的所有所述服务器的日志数据通过经训练阶段训练完成的所述包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量；
将各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图；
将各个所述服务器在各个预定时间点的日志数据通过经训练阶段训练完成的所述包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量；
将各个所述服务器的第二特征向量进行二维排列为特征矩阵后通过经训练阶段训练完成的所述第二卷积神经网络以获得第二特征图；
融合所述第一特征图和所述第二特征图以获得分类特征图；以及将所述分类特征图通过分类器以获得分类结果，其中，所述分类结果用于表示所述微服务架构是否被入侵。
根据本申请的另一方面，提供了一种微服务架构下的方法级无侵入调用链路追踪系统，其包括：
训练模块，包括：
日志数据获取单元，用于获取微服务架构中各个服务器在各个预定时间点的日志数据；
上下文编码单元，用于将所述日志数据获取单元获得的所述各个服务器在各个预定时间点的日志数据通过包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量；
第一特征提取单元，用于将所述上下文编码单元获得的所述各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以获得第一特征图；
时序编码单元，用于将各个所述日志数据获取单元获得的所述服务器在各个预定时间点的日志数据通过包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量；
第二特征提取单元，用于将所述时序编码单元获得的所述各个所述服务器的第二特征向量进行二维排列为特征矩阵后通过第二卷积神经网络以获得第二特征图；
相似性因数损失函数值计算单元，用于计算所述第一特征提取单元获得的所述第一特征图和所述第二特征提取单元获得的所述第二特征图之间的特征流形维度分布相似性因数损失函数值，所述特征流形维度分布相似性因数损失函数值为以所述第一特征图和所述第二特征图之间的余弦距离除以所述第一特征图和所述第二特征图之间的欧式距离之商的一半的负值为幂的自然指数函数值；
融合单元，用于融合所述第一特征提取单元获得的所述第一特征图和所述第二特征提取单元获得的所述第二特征图以获得分类特征图；
分类损失函数值计算单元，用于将所述融合单元获得的所述分类特征图通过分类器以获得分类损失函数值；
训练单元，用于计算所述分类损失函数值计算单元获得的所述分类损失函数值和所述相似性因数损失函数值计算单元获得的所述特征流形维度分布相似性因数损失函数值之间的加权和作为损失函数值来训练所述上下文编码器、所述时序编码器、所述第一卷积神经网络和所述第二卷积神经网络；以及
推断模块，包括：
推断数据获取单元，用于获取微服务架构中各个服务器在各个预定时间点的日志数据；
第一特征向量生成单元，用于将所述推断数据获取单元获得的所述各个服务器在各个预定时间点的日志数据通过经训练阶段训练完成的所述包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量；
第一特征图生成单元，用于将所述第一特征向量生成单元获得的所述各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图；
第二特征向量生成单元，用于将所述推断数据获取单元获得的所述各个所述服务器在各个预定时间点的日志数据通过经训练阶段训练完成的所述包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量；
第二特征图生成单元，用于将各个所述第二特征向量生成单元获得的所述服务器的第二特征向量进行二维排列为特征矩阵后通过经训练阶段训练完成的所述第二卷积神经网络以获得第二特征图；
分类特征图生成单元，用于融合所述第一特征图生成单元获得的所述第一特征图和所述第二特征图生成单元获得的所述第二特征图以获得分类特征图；以及
分类单元，用于将所述分类特征图生成单元获得的所述分类特征图通过分类器以获得分类结果，其中，所述分类结果用于表示所述微服务架构是否被入侵。
根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的微服务架构下的方法级无侵入调用链路追踪方法。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的微服务架构下的方法级无侵入调用链路追踪方法。
根据本申请提供的微服务架构下的方法级无侵入调用链路追踪方法、系统和电子设备，其通过基于上下文的编码器和时序编码器来获取在时序维度上各个服务器的日志数据之间的隐含关联特征以及各个服务器的日志数据在各个时间点之间的关联特征，以得到第一特征图和第二特征图，并进一步计算这两个特征图之间的特征流形维度分布相似性因数损失函数值来训练模型参数，可以通过高维特征分布的几何相似性的约束来优化特征流形之间具有关联的局部特征描述，以使得融合后的特征图能够减轻由于高维特征空间的空间复杂性导致的融合后特征稀疏度，从而增强融合后的所述特征图的分类能力。这样，就可以对所述微服务架构是否被入侵进行准确地检测。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1A为根据本申请实施例的微服务架构下的方法级无侵入调用链路追踪方法中训练阶段的流程图。
图1B为根据本申请实施例的微服务架构下的方法级无侵入调用链路追踪方法中推断阶段的流程图。
图2A为根据本申请实施例的微服务架构下的方法级无侵入调用链路追踪方法中训练阶段的架构示意图。
图2B为根据本申请实施例的微服务架构下的方法级无侵入调用链路追踪方法中推断阶段的架构示意图。
图3为根据本申请实施例的微服务架构下的方法级无侵入调用链路追踪系统的框图。
图4为根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如前所述，随着微服务架构的流行，各个服务被解耦拆分的更加细致，一次请求往往需要涉及到多个服务的执行结果。而且这些服务可能是由不同的团队使用不同的编程语言来实现，并且部署在多台服务器，横跨多个不同数据中心，这些使得分布式系统变得日趋庞大与复杂。因此，当需要对系统性能、容量、调用依赖进行分析时，将会变得异常困难，同时，一旦客户端发起的请求失败，也很难定位到具体哪个服务出现问题。
但是，传统的解决方案为通过介入各服务所在的服务器，通过肉眼观测压测时当前服务器性能指标，并且通过海量日志分析，进行问题定位。然而，这种方案存在以下几个缺陷：需要多个部门同时配合，协调工作难度大；问题定位需要从源头一个服务一个服务往下分析，耗时耗力。
因此，期待一种优化的微服务架构下的调用链路追踪方案来实现无侵入的问题服务器检测。
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
近年来，深度学习以及神经网络的发展为微服务架构下的方法级无侵入调用链路追踪提供了新的解决思路和方案。
应可以理解，在考虑哪个服务器出现问题时，不仅仅要考虑在时序维度上各个服务器的日志数据之间的隐含关联(也就是，各个节点的日志数据在时间维度上的隐含关联模式)，例如，在某两个时刻，日志数据中每个指标突然出现跃迁；还需要考虑各个服务器的日志数据在各个时间点之间的关联，也就是，全局性关联。而这本质上是一个分类的问题，也就是，通过在时序维度上各个服务器的日志数据之间的隐含关联特征以及各个服务器的日志数据在各个时间点之间的关联特征来综合获得微服务架构是否被入侵的分类结果。
具体地，在本申请的方案中，首先获取微服务架构中各个预定时间点的各个服务器的日志数据，并将各个时间点的所有服务器的日志数据通过基于上下文的编码器模型以获得具有全局性日志数据关联信息的多个特征向量。这样就可以将多个特征向量级联为对应于各个时间点的所有所述服务器的第一特征向量，以进一步将各个时间点的第一特征向量进行二维排列为特征矩阵后通过卷积神经网络中进行处理，以提取出各个服务器在各个预定时间点的日志数据的高维关联特征，从而以获得第一特征图。
将各个服务器在各个预定时间点的日志数据通过时序编码器中进行编码处理，以提取出各个服务器在各个预定时间点的日志数据在时间维度上的隐含关联特征信息，从而获得对应于各个所述服务器的第二特征向量。然后，将各个服务器的第二特征向量进行二维排列为特征矩阵后通过卷积神经网络中进行处理，以提取出各个服务器的样本维度的高维关联特征，从而获得第二特征图。
进一步地，融合第一特征图和第二特征图以获得分类特征图。然后，将所述分类特征图通过分类器以获得用于表示所述微服务架构是否被入侵的分类结果。
但是，本申请的发明人考虑到针对第一特征图所表示的浅维样本维度特征编码和深维样本-时间关联特征提取的第一特征工程范式(feature engineering paradigm)，和第二特征图所表示的浅维时间维度特征编码和深维时间-样本关联特征提取的第二特征工程范式，如何在高维特征空间内补偿特征工程范式所带来的差异以更好地融合第一特征图和第二特征图是需要解决的问题。
因此，针对第一特征图和第二特征图，使用其间的特征流形维度分布相似性因数作为损失函数来训练编码器模型和卷积神经网络模型，该特征流形维度分布相似性因数损失函数表示为：
Figure BDA0003611378380000081
其中cos(F1,F2)表示第一特征图F1与第二特征图F2之间的余弦距离，具体为：
Figure BDA0003611378380000082
其中第一特征图F1与第二特征图F2具有相同的尺度W×H×C
d(F1,F2)表示第一特征图F1与第二特征图F2之间的欧式距离，具体为：
Figure BDA0003611378380000083
进而，以该损失函数与分类损失函数的加权和来训练模型参数。
应可以理解，特征流形维度分布相似性因数可以用于描述特征流形在高维特征空间内的不同维度视角(dimension perspective)下观察的分布相似性，从而在更高维特征空间内的特征描述层面上来对不同的特征工程模式的维度视角下的差异，包括维度深浅、维度顺序、维度主次等。这样，通过以该损失函数来训练模型参数，可以通过高维特征分布的几何相似性的约束来优化特征流形之间具有关联的局部特征描述，以使得融合后的特征图能够减轻由于高维特征空间的空间复杂性导致的融合后特征稀疏度，从而增强融合后的特征图的分类能力。
基于此，本申请提出了一种微服务架构下的方法级无侵入调用链路追踪方法，其包括训练阶段，包括：获取微服务架构中各个服务器在各个预定时间点的日志数据；将各个时间点的所有所述服务器的日志数据通过包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量；将各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以获得第一特征图；将各个所述服务器在各个预定时间点的日志数据通过包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量；将各个所述服务器的第二特征向量进行二维排列为特征矩阵后通过第二卷积神经网络以获得第二特征图；计算所述第一特征图和所述第二特征图之间的特征流形维度分布相似性因数损失函数值，所述特征流形维度分布相似性因数损失函数值为以所述第一特征图和所述第二特征图之间的余弦距离除以所述第一特征图和所述第二特征图之间的欧式距离之商的一半的负值为幂的自然指数函数值；融合所述第一特征图和所述第二特征图以获得分类特征图；将所述分类特征图通过分类器以获得分类损失函数值；以及，计算所述分类损失函数值和所述特征流形维度分布相似性因数损失函数值之间的加权和作为损失函数值来训练所述上下文编码器、所述时序编码器、所述第一卷积神经网络和所述第二卷积神经网络；以及，推断阶段，包括：获取微服务架构中各个服务器在各个预定时间点的日志数据；将各个时间点的所有所述服务器的日志数据通过经训练阶段训练完成的所述包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量；将各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图；将各个所述服务器在各个预定时间点的日志数据通过经训练阶段训练完成的所述包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量；将各个所述服务器的第二特征向量进行二维排列为特征矩阵后通过经训练阶段训练完成的所述第二卷积神经网络以获得第二特征图；融合所述第一特征图和所述第二特征图以获得分类特征图；以及，将所述分类特征图通过分类器以获得分类结果，其中，所述分类结果用于表示所述微服务架构是否被入侵。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图1A图示了根据本申请实施例的微服务架构下的方法级无侵入调用链路追踪方法中训练阶段的流程图。图1B图示了根据本申请实施例的微服务架构下的方法级无侵入调用链路追踪方法中推断阶段的流程图。如图1A所示，根据本申请实施例的微服务架构下的方法级无侵入调用链路追踪方法，包括：训练阶段，包括：S110，获取微服务架构中各个服务器在各个预定时间点的日志数据；S120，将各个时间点的所有所述服务器的日志数据通过包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量；S130，将各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以获得第一特征图；S140，将各个所述服务器在各个预定时间点的日志数据通过包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量；S150，将各个所述服务器的第二特征向量进行二维排列为特征矩阵后通过第二卷积神经网络以获得第二特征图；S160，计算所述第一特征图和所述第二特征图之间的特征流形维度分布相似性因数损失函数值，所述特征流形维度分布相似性因数损失函数值为以所述第一特征图和所述第二特征图之间的余弦距离除以所述第一特征图和所述第二特征图之间的欧式距离之商的一半的负值为幂的自然指数函数值；S170，融合所述第一特征图和所述第二特征图以获得分类特征图；S180，将所述分类特征图通过分类器以获得分类损失函数值；以及，S190，计算所述分类损失函数值和所述特征流形维度分布相似性因数损失函数值之间的加权和作为损失函数值来训练所述上下文编码器、所述时序编码器、所述第一卷积神经网络和所述第二卷积神经网络。
如图1B所示，根据本申请实施例的微服务架构下的方法级无侵入调用链路追踪方法，还包括：推断阶段，包括：S210，获取微服务架构中各个服务器在各个预定时间点的日志数据；S220，将各个时间点的所有所述服务器的日志数据通过经训练阶段训练完成的所述包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量；S230，将各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图；S240，将各个所述服务器在各个预定时间点的日志数据通过经训练阶段训练完成的所述包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量；S250，将各个所述服务器的第二特征向量进行二维排列为特征矩阵后通过经训练阶段训练完成的所述第二卷积神经网络以获得第二特征图；S260，融合所述第一特征图和所述第二特征图以获得分类特征图；以及，S270，将所述分类特征图通过分类器以获得分类结果，其中，所述分类结果用于表示所述微服务架构是否被入侵。
图2A图示了根据本申请实施例的微服务架构下的方法级无侵入调用链路追踪方法中训练阶段的架构示意图。如图2A所示，在训练阶段中，在该网络架构中，首先，将获得的各个时间点的所有所述服务器的日志数据(例如，如图2A中所示意的P1)通过包含嵌入层的上下文编码器(例如，如图2A中所示意的E1)以获得多个特征向量(例如，如图2A中所示意的VF1)，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量(例如，如图2A中所示意的VF2)；接着，将各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵(例如，如图2A中所示意的MF1)后通过第一卷积神经网络(例如，如图2A中所示意的CNN1)以获得第一特征图(例如，如图2A中所示意的F1)；然后，将各个所述服务器在各个预定时间点的日志数据通过包含一维卷积层和全连接层的时序编码器(例如，如图2A中所示意的E2)以获得对应于各个所述服务器的第二特征向量(例如，如图2A中所示意的VF3)；接着，将各个所述服务器的第二特征向量进行二维排列为特征矩阵(例如，如图2A中所示意的VF4)后通过第二卷积神经网络(例如，如图2A中所示意的CNN2)以获得第二特征图(例如，如图2A中所示意的F2)；然后，
图2B图示了根据本申请实施例的微服务架构下的方法级无侵入调用链路追踪方法中推断阶段的架构示意图。如图2B所示，在推断阶段中，在该网络结构中，首先，将获得的各个时间点的所有所述服务器的日志数据(例如，如图2B中所示意的P)通过经训练阶段训练完成的所述包含嵌入层的上下文编码器(例如，如图2B中所示意的E3)以获得多个特征向量(例如，如图2B中所示意的VF1)，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量(例如，如图2B中所示意的VF2)；接着，将各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵(例如，如图2B中所示意的MF1)后通过经训练阶段训练完成的所述第一卷积神经网络(例如，如图2B中所示意的CN1)以获得第一特征图(例如，如图2B中所示意的F1)；然后，将各个所述服务器在各个预定时间点的日志数据通过经训练阶段训练完成的所述包含一维卷积层和全连接层的时序编码器(例如，如图2B中所示意的E4)以获得对应于各个所述服务器的第二特征向量(例如，如图2B中所示意的VF3)；接着，将各个所述服务器的第二特征向量进行二维排列为特征矩阵(例如，如图2B中所示意的VF4)后通过经训练阶段训练完成的所述第二卷积神经网络(例如，如图2B中所示意的CN2)以获得第二特征图(例如，如图2B中所示意的F2)；然后，融合所述第一特征图和所述第二特征图以获得分类特征图(例如，如图2B中所示意的F)；以及，最后，将所述分类特征图通过分类器(例如，如图2B中所示意的分类器)以获得分类结果，其中，所述分类结果用于表示所述微服务架构是否被入侵。
更具体地，在训练阶段中，在步骤S110和步骤S120中，获取微服务架构中各个服务器在各个预定时间点的日志数据，并将各个时间点的所有所述服务器的日志数据通过包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量。如前所述，应可以理解，在考虑哪个服务器出现问题时，不仅仅要考虑在时序维度上所述各个服务器的日志数据之间的隐含关联，也就是，所述各个节点的日志数据在时间维度上的隐含关联模式，例如，在某两个时刻，日志数据中每个指标突然出现跃迁；还需要考虑所述各个服务器的日志数据在各个时间点之间的关联，也就是，全局性关联。而这本质上是一个分类的问题，也就是，通过在时序维度上所述各个服务器的日志数据之间的隐含关联特征以及所述各个服务器的日志数据在各个时间点之间的关联特征来综合得到微服务架构是否被入侵的分类结果。
也就是，具体地，在本申请的方案中，首先从微服务架构中获取各个服务器在各个预定时间点的日志数据，并将各个时间点的所有服务器的日志数据通过基于上下文的编码器模型中进行上下文编码处理，以获得具有全局性日志数据关联信息的多个特征向量。这样就可以将多个特征向量级联为对应于各个时间点的所有所述服务器的第一特征向量。
具体地，在本申请实施例中，将各个时间点的所有所述服务器的日志数据通过包含嵌入层的上下文编码器以获得多个特征向量的过程，包括：首先，使用所述包含嵌入层的上下文编码器的嵌入层分别将各个时间点的所有所述服务器的日志数据转化为输入向量以获得输入向量的序列。然后，使用所述基于上下文的编码器模型的转换器对所述输入向量的序列进行基于全局的上下文语义编码以获得所述多个特征向量。应可以理解，由于基于转换器的编码器模型能够基于上下文对所述输入向量进行编码，因此所获得的所述特征向量能够具有全局性的所述各个预定时间点的所有服务器的日志数据的关联特征信息。
更具体地，在训练阶段中，在步骤S130中，将各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以获得第一特征图。也就是，在本申请的技术方案中，在得到所述对应于各个时间点的所有所述服务器的第一特征向量后，进一步再将所述各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵，这样再将其通过第一卷积神经网络中进行处理，以提取出在时序维度上各个服务器的日志数据之间的隐含关联特征，从而获得第一特征图。
具体地，在本申请实施例中，将各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以获得第一特征图的过程，包括：首先，将各个时间点的所有所述服务器的第一特征向量按时间维度进行二维排列为特征矩阵。然后，使用所述第一卷积神经网络以如下公式从所述特征矩阵获取所述第一特征图；所述公式为：h＝f(w1*x+b),其中，*表示卷积运算，f(.)表示激活函数，w1为outputc×inputc×kw1×kh1，outputc，inputc，kw1，kh1分别表示输出通道数，输入通道数，卷积核宽度，卷积核高度。
更具体地，在训练阶段中，在步骤S140和步骤S150中，将各个所述服务器在各个预定时间点的日志数据通过包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量，并将各个所述服务器的第二特征向量进行二维排列为特征矩阵后通过第二卷积神经网络以获得第二特征图。应可以理解，在考虑哪个服务器出现问题时，不仅仅要考虑在时序维度上所述各个服务器的日志数据之间的隐含关联，还需要考虑所述各个服务器的日志数据在各个时间点之间的关联，也就是，全局性关联。
因此，在本申请的技术方案中，还需要进一步将所述各个服务器在各个预定时间点的日志数据通过包含一维卷积层和全连接层的时序编码器中进行编码处理，以提取出所述各个服务器在各个预定时间点的日志数据在时间维度上的隐含关联特征信息，从而获得对应于所述各个所述服务器的第二特征向量。然后，将所述各个服务器的第二特征向量进行二维排列为特征矩阵后通过卷积神经网络中进行处理，以提取出所述各个服务器的样本维度的高维关联特征，从而获得第二特征图。
具体地，在本申请实施例中，将各个所述服务器在各个预定时间点的日志数据通过包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量的过程，包括：首先，将各个所述服务器在各个预定时间点的日志数据按照时间维度排列为对应于各个所述服务器的一维的输入向量；然后，使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：
Figure BDA0003611378380000143
其中X是输入向量，Y是输出向量，W是权重矩阵，B是偏置向量，
Figure BDA0003611378380000142
表示矩阵乘；最后，使用时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的关联的高维隐含关联特征，其中，所述公式为：
Figure BDA0003611378380000141
其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。
更具体地，在训练阶段中，在步骤S160中，计算所述第一特征图和所述第二特征图之间的特征流形维度分布相似性因数损失函数值，所述特征流形维度分布相似性因数损失函数值为以所述第一特征图和所述第二特征图之间的余弦距离除以所述第一特征图和所述第二特征图之间的欧式距离之商的一半的负值为幂的自然指数函数值。应可以理解，在本申请的技术方案中，针对所述第一特征图所表示的浅维样本维度特征编码和深维样本-时间关联特征提取的第一特征工程范式，和所述第二特征图所表示的浅维时间维度特征编码和深维时间-样本关联特征提取的第二特征工程范式，如何在高维特征空间内补偿所述特征工程范式所带来的差异以更好地融合所述第一特征图和所述第二特征图是需要解决的问题。因此，在本申请的技术方案中，针对所述第一特征图和所述第二特征图，使用其间的特征流形维度分布相似性因数作为损失函数来训练所述编码器模型和所述卷积神经网络模型。也就是，在一个具体示例中，进一步计算所述第一特征图和所述第二特征图之间的特征流形维度分布相似性因数损失函数值，以便于后续对所述上下文编码器、所述时序编码器、所述第一卷积神经网络和所述第二卷积神经网络进行训练。
应可以理解，所述特征流形维度分布相似性因数可以用于描述特征流形在高维特征空间内的不同维度视角(dimension perspective)下观察的分布相似性，从而在更高维特征空间内的特征描述层面上来对不同的特征工程模式的维度视角下的差异，包括维度深浅、维度顺序、维度主次等。这样，通过以该所述损失函数来训练模型参数，可以通过高维特征分布的几何相似性的约束来优化特征流形之间具有关联的局部特征描述，以使得融合后的特征图能够减轻由于高维特征空间的空间复杂性导致的融合后特征稀疏度，从而增强融合后的所述特征图的分类能力。
具体地，在本申请实施例中，计算所述第一特征图和所述第二特征图之间的特征流形维度分布相似性因数损失函数值的过程，包括：以如下公式计算所述第一特征图和所述第二特征图之间的特征流形维度分布相似性因数损失函数值；
其中，所述公式为：
Figure BDA0003611378380000151
其中cos(F1,F2)表示所述第一特征图F1与所述第二特征图F2之间的余弦距离，具体为：
Figure BDA0003611378380000152
其中所述第一特征图F1与所述第二特征图F2具有相同的尺度W×H×C；
d(F1,F2)表示所述第一特征图F1与所述第二特征图F2之间的欧式距离，具体为：
Figure BDA0003611378380000153
更具体地，在训练阶段中，在步骤S170和步骤S180中，融合所述第一特征图和所述第二特征图以获得分类特征图，并将所述分类特征图通过分类器以获得分类损失函数值。也就是，在本申请的技术方案中，还需要融合所述第一特征图和所述第二特征图中的特征信息，从而获得分类特征图。相应地，在一个具体示例中，以如下公式来计算所述第一特征图和所述第二特征图的加权和以获得所述分类表特征图；Fs＝αFa+βFg。然后，将所述分类特征图通过分类器以获得用于训练的分类损失函数值。
具体地，在本申请实施例中，将所述分类特征图通过分类器以获得分类损失函数值的过程，包括：所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project(F)表示将所述分类特征图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵；以及，计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。
更具体地，在训练阶段中，在步骤S190中，计算所述分类损失函数值和所述特征流形维度分布相似性因数损失函数值之间的加权和作为损失函数值来训练所述上下文编码器、所述时序编码器、所述第一卷积神经网络和所述第二卷积神经网络。应可以理解，通过所述分类损失函数值和所述特征流形维度分布相似性因数损失函数值之间的加权和作为损失函数值来训练所述上下文编码器、所述时序编码器、所述第一卷积神经网络和所述第二卷积神经网络，可以通过高维特征分布的几何相似性的约束来优化特征流形之间具有关联的局部特征描述，以使得融合后的所述特征图能够减轻由于高维特征空间的空间复杂性导致的融合后特征稀疏度，从而增强融合后的所述特征图的分类能力。
在训练完成后，进入推断阶段。也就是，在训练完成后，将训练完成后的所述上下文编码器、所述时序编码器、所述第一卷积神经网络和所述第二卷积神经网络用于实际的推断阶段中。进而得到用于分类的分类特征图，以分类器获得用于表示微服务架构是否被入侵的分类结果。
具体地，在推断阶段中，首先，获取微服务架构中各个服务器在各个预定时间点的日志数据。接着，将各个时间点的所有所述服务器的日志数据通过经训练阶段训练完成的所述包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量。然后，将各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图。接着，将各个所述服务器在各个预定时间点的日志数据通过经训练阶段训练完成的所述包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量。然后，将各个所述服务器的第二特征向量进行二维排列为特征矩阵后通过经训练阶段训练完成的所述第二卷积神经网络以获得第二特征图。接着，融合所述第一特征图和所述第二特征图以获得分类特征图。最后，将所述分类特征图通过分类器以获得分类结果，其中，所述分类结果用于表示所述微服务架构是否被入侵。
特别地，在一个具体示例中，响应于整体被入侵的情况下，还需要从对应于各个所述服务器的第二特征向量中提取待预测服务器的第二特征向量；然后，将所述第二特征向量与所述分类特征图进行矩阵相乘以获得分类特征向量；最后，将所述分类特征向量通过分类器以获得用于表示所述待预测服务器是否被入侵的分类结果。也就是，应可以理解，这是一个二阶段的分类，先分类结果看看整体是否被入侵；在响应于整体被入侵的情况下，再对各个服务器节点进行分类，以确定哪个节点出了问题。
综上，基于本申请实施例的微服务架构下的方法级无侵入调用链路追踪方法被阐明，其通过基于上下文的编码器和时序编码器来获取在时序维度上各个服务器的日志数据之间的隐含关联特征以及各个服务器的日志数据在各个时间点之间的关联特征，以得到第一特征图和第二特征图，并进一步计算这两个特征图之间的特征流形维度分布相似性因数损失函数值来训练模型参数，可以通过高维特征分布的几何相似性的约束来优化特征流形之间具有关联的局部特征描述，以使得融合后的特征图能够减轻由于高维特征空间的空间复杂性导致的融合后特征稀疏度，从而增强融合后的所述特征图的分类能力。这样，就可以对所述微服务架构是否被入侵进行准确地检测。
示例性系统
图3图示了根据本申请实施例的微服务架构下的方法级无侵入调用链路追踪系统的框图。如图3所示，根据本申请实施例的微服务架构下的方法级无侵入调用链路追踪系统400，包括：训练模块410和推断模块420。
如图3所示，所述训练模块410，包括：日志数据获取单元411，用于获取微服务架构中各个服务器在各个预定时间点的日志数据；上下文编码单元412，用于将所述日志数据获取单元411获得的所述各个服务器在各个预定时间点的日志数据通过包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量；第一特征提取单元413，用于将所述上下文编码单元412获得的所述各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以获得第一特征图；时序编码单元414，用于将各个所述日志数据获取单元411获得的所述服务器在各个预定时间点的日志数据通过包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量；第二特征提取单元415，用于将所述时序编码单元414获得的所述各个所述服务器的第二特征向量进行二维排列为特征矩阵后通过第二卷积神经网络以获得第二特征图；相似性因数损失函数值计算单元416，用于计算所述第一特征提取单元413获得的所述第一特征图和所述第二特征提取单元415获得的所述第二特征图之间的特征流形维度分布相似性因数损失函数值，所述特征流形维度分布相似性因数损失函数值为以所述第一特征图和所述第二特征图之间的余弦距离除以所述第一特征图和所述第二特征图之间的欧式距离之商的一半的负值为幂的自然指数函数值；融合单元417，用于融合所述第一特征提取单元413获得的所述第一特征图和所述第二特征提取单元415获得的所述第二特征图以获得分类特征图；分类损失函数值计算单元418，用于将所述融合单元417获得的所述分类特征图通过分类器以获得分类损失函数值；训练单元419，用于计算所述分类损失函数值计算单元418获得的所述分类损失函数值和所述相似性因数损失函数值计算单元416获得的所述特征流形维度分布相似性因数损失函数值之间的加权和作为损失函数值来训练所述上下文编码器、所述时序编码器、所述第一卷积神经网络和所述第二卷积神经网络。
如图3所示，所述推断模块420，包括：推断数据获取单元421，用于获取微服务架构中各个服务器在各个预定时间点的日志数据；第一特征向量生成单元422，用于将所述推断数据获取单元421获得的所述各个服务器在各个预定时间点的日志数据通过经训练阶段训练完成的所述包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量；第一特征图生成单元423，用于将所述第一特征向量生成单元422获得的所述各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图；第二特征向量生成单元424，用于将所述推断数据获取单元421获得的所述各个所述服务器在各个预定时间点的日志数据通过经训练阶段训练完成的所述包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量；第二特征图生成单元425，用于将各个所述第二特征向量生成单元424获得的所述服务器的第二特征向量进行二维排列为特征矩阵后通过经训练阶段训练完成的所述第二卷积神经网络以获得第二特征图；分类特征图生成单元426，用于融合所述第一特征图生成单元423获得的所述第一特征图和所述第二特征图生成单元425获得的所述第二特征图以获得分类特征图；以及，分类单元427，用于将所述分类特征图生成单元426获得的所述分类特征图通过分类器以获得分类结果，其中，所述分类结果用于表示所述微服务架构是否被入侵。
在一个示例中，在上述微服务架构下的方法级无侵入调用链路追踪系统400中，所述上下文编码单元412，进一步用于：使用所述包含嵌入层的上下文编码器的嵌入层分别将各个时间点的所有所述服务器的日志数据转化为输入向量以获得输入向量的序列；以及，使用所述基于上下文的编码器模型的转换器对所述输入向量的序列进行基于全局的上下文语义编码以获得所述多个特征向量。
在一个示例中，在上述微服务架构下的方法级无侵入调用链路追踪系统400中，所述第一特征提取单元413，进一步用于：将各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵；以及，所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行基于二维卷积核的卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述第一特征图，其中，所述第一卷积神经网络的第一层的输入为所述特征矩阵。
在一个示例中，在上述微服务架构下的方法级无侵入调用链路追踪系统400中，所述时序编码单元414，进一步用于：将各个所述服务器在各个预定时间点的日志数据按照时间维度排列为对应于各个所述服务器的一维的输入向量；使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：
Figure BDA0003611378380000201
其中X是输入向量，Y是输出向量，W是权重矩阵，B是偏置向量，
Figure BDA0003611378380000202
表示矩阵乘；使用时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的关联的高维隐含关联特征，其中，所述公式为：
Figure BDA0003611378380000203
其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。
在一个示例中，在上述微服务架构下的方法级无侵入调用链路追踪系统400中，所述相似性因数损失函数值计算单元416，进一步用于：以如下公式计算所述第一特征图和所述第二特征图之间的特征流形维度分布相似性因数损失函数值；其中，所述公式为：
Figure BDA0003611378380000204
其中cos(F1,F2)表示所述第一特征图F1与所述第二特征图F2之间的余弦距离，d(F1,F2)表示第一特征图F1与第二特征图F2之间的欧式距离。
在一个示例中，在上述微服务架构下的方法级无侵入调用链路追踪系统400中，所述融合单元417，进一步用于：以如下公式来计算所述第一特征图和所述第二特征图的加权和以获得所述分类表特征图；
Fs＝αFa+βFg。
在一个示例中，在上述微服务架构下的方法级无侵入调用链路追踪系统400中，所述分类损失函数值计算单元418，进一步用于：所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project)F)表示将所述分类特征图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵；以及，计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。
在一个示例中，在上述微服务架构下的方法级无侵入调用链路追踪系统400中，进一步包括：从对应于各个所述服务器的第二特征向量中提取待预测服务器的第二特征向量；将所述第二特征向量与所述分类特征图进行矩阵相乘以获得分类特征向量；以及，将所述分类特征向量通过分类器以获得用于表示所述待预测服务器是否被入侵的分类结果。
这里，本领域技术人员可以理解，上述微服务架构下的方法级无侵入调用链路追踪系统400中的各个单元和模块的具体功能和操作已经在上面参考图1到图2B的微服务架构下的方法级无侵入调用链路追踪方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的微服务架构下的方法级无侵入调用链路追踪系统400可以实现在各种终端设备中，例如微服务架构下的方法级无侵入调用链路追踪算法的服务器等。在一个示例中，根据本申请实施例的微服务架构下的方法级无侵入调用链路追踪系统400可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该微服务架构下的方法级无侵入调用链路追踪系统400可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该微服务架构下的方法级无侵入调用链路追踪系统400同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该微服务架构下的方法级无侵入调用链路追踪系统400与该终端设备也可以是分立的设备，并且该微服务架构下的方法级无侵入调用链路追踪系统400可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面，参考图4来描述根据本申请实施例的电子设备。如图4所示，电子设备10包括一个或多个处理器11和存储器12。所述处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的微服务架构下的方法级无侵入调用链路追踪方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如第一特征图、分类特征图等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图4中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的微服务架构下的方法级无侵入调用链路追踪方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的微服务架构下的方法级无侵入调用链路追踪方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种微服务架构下的方法级无侵入调用链路追踪方法，其特征在于，包括：
训练阶段，包括：
获取微服务架构中各个服务器在各个预定时间点的日志数据；
将各个时间点的所有所述服务器的日志数据通过包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量；
将各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以获得第一特征图；
将各个所述服务器在各个预定时间点的日志数据通过包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量；
将各个所述服务器的第二特征向量进行二维排列为特征矩阵后通过第二卷积神经网络以获得第二特征图；
计算所述第一特征图和所述第二特征图之间的特征流形维度分布相似性因数损失函数值，所述特征流形维度分布相似性因数损失函数值为以所述第一特征图和所述第二特征图之间的余弦距离除以所述第一特征图和所述第二特征图之间的欧式距离之商的一半的负值为幂的自然指数函数值；
融合所述第一特征图和所述第二特征图以获得分类特征图；
将所述分类特征图通过分类器以获得分类损失函数值；以及
计算所述分类损失函数值和所述特征流形维度分布相似性因数损失函数值之间的加权和作为损失函数值来训练所述上下文编码器、所述时序编码器、所述第一卷积神经网络和所述第二卷积神经网络；以及
推断阶段，包括：
获取微服务架构中各个服务器在各个预定时间点的日志数据；
将各个时间点的所有所述服务器的日志数据通过经训练阶段训练完成的所述包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量；
将各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图；
将各个所述服务器在各个预定时间点的日志数据通过经训练阶段训练完成的所述包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量；
将各个所述服务器的第二特征向量进行二维排列为特征矩阵后通过经训练阶段训练完成的所述第二卷积神经网络以获得第二特征图；
融合所述第一特征图和所述第二特征图以获得分类特征图；以及
将所述分类特征图通过分类器以获得分类结果，其中，所述分类结果用于表示所述微服务架构是否被入侵。
2.根据权利要求1所述的微服务架构下的方法级无侵入调用链路追踪方法，其中，将各个时间点的所有所述服务器的日志数据通过包含嵌入层的上下文编码器以获得多个特征向量，包括：
使用所述包含嵌入层的上下文编码器的嵌入层分别将各个时间点的所有所述服务器的日志数据转化为输入向量以获得输入向量的序列；以及
使用所述基于上下文的编码器模型的转换器对所述输入向量的序列进行基于全局的上下文语义编码以获得所述多个特征向量。
3.根据权利要求2所述的微服务架构下的方法级无侵入调用链路追踪方法，其中，将各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以获得第一特征图，包括：
将各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵；以及
所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行基于二维卷积核的卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述第一特征图，其中，所述第一卷积神经网络的第一层的输入为所述特征矩阵。
4.根据权利要求3所述的微服务架构下的方法级无侵入调用链路追踪方法，其中，将各个所述服务器在各个预定时间点的日志数据通过包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量，包括：
将各个所述服务器在各个预定时间点的日志数据按照时间维度排列为对应于各个所述服务器的一维的输入向量；
使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：
Figure FDA0003611378370000031
其中X是输入向量，Y是输出向量，W是权重矩阵，B是偏置向量，
Figure FDA0003611378370000032
表示矩阵乘；
使用时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的关联的高维隐含关联特征，其中，所述公式为：
Figure FDA0003611378370000033
其中，a为卷积核在x方向上的宽度、F为卷积核参数向量、G为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。
5.根据权利要求4所述的微服务架构下的方法级无侵入调用链路追踪方法，其中，计算所述第一特征图和所述第二特征图之间的特征流形维度分布相似性因数损失函数值，包括：
以如下公式计算所述第一特征图和所述第二特征图之间的特征流形维度分布相似性因数损失函数值；
其中，所述公式为：
Figure FDA0003611378370000034
其中cos(F1,F2)表示所述第一特征图F1与所述第二特征图F2之间的余弦距离，d(F1,F2)表示第一特征图F1与第二特征图F2之间的欧式距离。
6.根据权利要求5所述的微服务架构下的方法级无侵入调用链路追踪方法，其中，融合所述第一特征图和所述第二特征图以获得分类特征图，包括：
以如下公式来计算所述第一特征图和所述第二特征图的加权和以获得所述分类表特征图；
Fs＝αFa+βFg。
7.根据权利要求6所述的微服务架构下的方法级无侵入调用链路追踪方法，其中，将所述分类特征图通过分类器以获得分类损失函数值，包括：
所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project(F)表示将所述分类特征图投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵；以及
计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。
8.根据权利要求7所述的微服务架构下的方法级无侵入调用链路追踪方法，进一步包括：
从对应于各个所述服务器的第二特征向量中提取待预测服务器的第二特征向量；
将所述第二特征向量与所述分类特征图进行矩阵相乘以获得分类特征向量；以及
将所述分类特征向量通过分类器以获得用于表示所述待预测服务器是否被入侵的分类结果。
9.一种微服务架构下的方法级无侵入调用链路追踪系统，其特征在于，包括：
训练模块，包括：
日志数据获取单元，用于获取微服务架构中各个服务器在各个预定时间点的日志数据；
上下文编码单元，用于将所述日志数据获取单元获得的所述各个服务器在各个预定时间点的日志数据通过包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量；
第一特征提取单元，用于将所述上下文编码单元获得的所述各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以获得第一特征图；
时序编码单元，用于将各个所述日志数据获取单元获得的所述服务器在各个预定时间点的日志数据通过包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量；
第二特征提取单元，用于将所述时序编码单元获得的所述各个所述服务器的第二特征向量进行二维排列为特征矩阵后通过第二卷积神经网络以获得第二特征图；
相似性因数损失函数值计算单元，用于计算所述第一特征提取单元获得的所述第一特征图和所述第二特征提取单元获得的所述第二特征图之间的特征流形维度分布相似性因数损失函数值，所述特征流形维度分布相似性因数损失函数值为以所述第一特征图和所述第二特征图之间的余弦距离除以所述第一特征图和所述第二特征图之间的欧式距离之商的一半的负值为幂的自然指数函数值；
融合单元，用于融合所述第一特征提取单元获得的所述第一特征图和所述第二特征提取单元获得的所述第二特征图以获得分类特征图；
分类损失函数值计算单元，用于将所述融合单元获得的所述分类特征图通过分类器以获得分类损失函数值；
训练单元，用于计算所述分类损失函数值计算单元获得的所述分类损失函数值和所述相似性因数损失函数值计算单元获得的所述特征流形维度分布相似性因数损失函数值之间的加权和作为损失函数值来训练所述上下文编码器、所述时序编码器、所述第一卷积神经网络和所述第二卷积神经网络；以及
推断模块，包括：
推断数据获取单元，用于获取微服务架构中各个服务器在各个预定时间点的日志数据；
第一特征向量生成单元，用于将所述推断数据获取单元获得的所述各个服务器在各个预定时间点的日志数据通过经训练阶段训练完成的所述包含嵌入层的上下文编码器以获得多个特征向量，并将所述多个特征向量进行级联以获得对应于各个时间点的所有所述服务器的第一特征向量；
第一特征图生成单元，用于将所述第一特征向量生成单元获得的所述各个时间点的所有所述服务器的第一特征向量进行二维排列为特征矩阵后通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图；
第二特征向量生成单元，用于将所述推断数据获取单元获得的所述各个所述服务器在各个预定时间点的日志数据通过经训练阶段训练完成的所述包含一维卷积层和全连接层的时序编码器以获得对应于各个所述服务器的第二特征向量；
第二特征图生成单元，用于将各个所述第二特征向量生成单元获得的所述服务器的第二特征向量进行二维排列为特征矩阵后通过经训练阶段训练完成的所述第二卷积神经网络以获得第二特征图；
分类特征图生成单元，用于融合所述第一特征图生成单元获得的所述第一特征图和所述第二特征图生成单元获得的所述第二特征图以获得分类特征图；以及
分类单元，用于将所述分类特征图生成单元获得的所述分类特征图通过分类器以获得分类结果，其中，所述分类结果用于表示所述微服务架构是否被入侵。
10.一种电子设备，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-8中任一项所述的微服务架构下的方法级无侵入调用链路追踪方法。
CN202210433035.9A 2022-04-23 2022-04-23 微服务架构下的方法级无侵入调用链路追踪方法 Pending CN114821169A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210433035.9A CN114821169A (zh) 2022-04-23 2022-04-23 微服务架构下的方法级无侵入调用链路追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210433035.9A CN114821169A (zh) 2022-04-23 2022-04-23 微服务架构下的方法级无侵入调用链路追踪方法

Publications (1)

Publication Number Publication Date
CN114821169A true CN114821169A (zh) 2022-07-29

Family

ID=82507978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210433035.9A Pending CN114821169A (zh) 2022-04-23 2022-04-23 微服务架构下的方法级无侵入调用链路追踪方法

Country Status (1)

Country Link
CN (1) CN114821169A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116658492A (zh) * 2023-07-28 2023-08-29 新疆塔林投资(集团)有限责任公司 智能动力猫道及其方法
CN116702156A (zh) * 2023-06-20 2023-09-05 安徽百方云科技有限公司 信息安全风险评价系统及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020140386A1 (zh) * 2019-01-02 2020-07-09 平安科技（深圳）有限公司 基于TextCNN知识抽取方法、装置、计算机设备及存储介质
US20210058424A1 (en) * 2019-08-21 2021-02-25 Nokia Solutions And Networks Oy Anomaly detection for microservices
CN113139751A (zh) * 2021-05-14 2021-07-20 杭州贺鲁科技有限公司 基于大数据的微服务用户业务类型确定方法
CN113485829A (zh) * 2021-07-02 2021-10-08 深圳万顺叫车云信息技术有限公司 用于微服务集群的数据增量步段的标识值生成方法
CN113778718A (zh) * 2021-09-15 2021-12-10 深圳万顺叫车云信息技术有限公司 基于动态路由的微服务资源管理方法、系统和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020140386A1 (zh) * 2019-01-02 2020-07-09 平安科技（深圳）有限公司 基于TextCNN知识抽取方法、装置、计算机设备及存储介质
US20210058424A1 (en) * 2019-08-21 2021-02-25 Nokia Solutions And Networks Oy Anomaly detection for microservices
CN113139751A (zh) * 2021-05-14 2021-07-20 杭州贺鲁科技有限公司 基于大数据的微服务用户业务类型确定方法
CN113485829A (zh) * 2021-07-02 2021-10-08 深圳万顺叫车云信息技术有限公司 用于微服务集群的数据增量步段的标识值生成方法
CN113778718A (zh) * 2021-09-15 2021-12-10 深圳万顺叫车云信息技术有限公司 基于动态路由的微服务资源管理方法、系统和电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116702156A (zh) * 2023-06-20 2023-09-05 安徽百方云科技有限公司 信息安全风险评价系统及其方法
CN116702156B (zh) * 2023-06-20 2024-04-09 任丽娜 信息安全风险评价系统及其方法
CN116658492A (zh) * 2023-07-28 2023-08-29 新疆塔林投资(集团)有限责任公司 智能动力猫道及其方法
CN116658492B (zh) * 2023-07-28 2023-10-27 新疆塔林投资(集团)有限责任公司 智能动力猫道及其方法

Similar Documents

Publication Publication Date Title
CN108959246B (zh) 基于改进的注意力机制的答案选择方法、装置和电子设备
Shi et al. Represent, compare, and learn: A similarity-aware framework for class-agnostic counting
Li et al. Neural architecture search for lightweight non-local networks
CN115796173B (zh) 针对监管报送需求的数据处理方法和系统
CN113902926A (zh) 一种基于自注意力机制的通用图像目标检测方法和装置
CN114821169A (zh) 微服务架构下的方法级无侵入调用链路追踪方法
Park et al. Probabilistic representations for video contrastive learning
CN114782882B (zh) 基于多模态特征融合的视频目标行为异常检测方法和系统
Wang et al. TRC‐YOLO: A real‐time detection method for lightweight targets based on mobile devices
CN115982736B (zh) 用于计算机网络信息的数据加密方法及系统
CN115373813A (zh) 云计算环境中基于gpu虚拟化的调度方法、系统和电子设备
CN115186673A (zh) 科技信息管理系统及其管理方法
CN116152611B (zh) 一种多级多尺度点云补全方法、系统、设备及存储介质
Nakamura et al. Deep learning-based topological optimization for representing a user-specified design area
CN115994177A (zh) 基于数据湖的知识产权管理方法及其系统
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN115471216A (zh) 智慧实验室管理平台的数据管理方法
CN115620303A (zh) 人事档案智慧管理系统
CN114884772A (zh) 裸机vxlan的部署方法、系统和电子设备
CN113778718A (zh) 基于动态路由的微服务资源管理方法、系统和电子设备
CN115269882A (zh) 基于语义理解的知识产权检索系统及其方法
CN115951883A (zh) 分布式微服务架构的服务组件管理系统及其方法
CN113255752A (zh) 基于特征聚类的固体材料一致性分选方法
CN117115706A (zh) 基于多尺度时空注意力网络的视频场景图生成方法
Trask et al. Unsupervised physics-informed disentanglement of multimodal data for high-throughput scientific discovery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination