CN115208797A - 一种基于服务网格技术的接口流量检测方法 - Google Patents

一种基于服务网格技术的接口流量检测方法 Download PDF

Info

Publication number
CN115208797A
CN115208797A CN202211125249.6A CN202211125249A CN115208797A CN 115208797 A CN115208797 A CN 115208797A CN 202211125249 A CN202211125249 A CN 202211125249A CN 115208797 A CN115208797 A CN 115208797A
Authority
CN
China
Prior art keywords
interface
flow
image
segmentation
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211125249.6A
Other languages
English (en)
Inventor
马洪喜
周朋
陈晓露
谢开芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Cloudtogo Innovation Technology Co ltd
Original Assignee
Shenzhen Cloudtogo Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Cloudtogo Innovation Technology Co ltd filed Critical Shenzhen Cloudtogo Innovation Technology Co ltd
Priority to CN202211125249.6A priority Critical patent/CN115208797A/zh
Publication of CN115208797A publication Critical patent/CN115208797A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/067—Generation of reports using time frame reporting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于服务网格技术的接口流量检测方法，包括如下步骤：S1、将用于训练的流量特征矩阵输入预设的检测学习模型，以得到输出结果；S2、利用损失函数对上述预设的检测学习模型的参数进行重复更新，直至损失函数小于预定阈值，从而得到经过训练的检测学习模型；S3、获取待检测接口的流量数据，并根据流量数据绘制接口访问图像；S4、通过检测学习模型进行监测。本发明能有效的生成表征待检测接口在不同时间段与接口流量之间对应关系的接口访问图像，通过对接口访问图像进行分割，得到图像点的过程所形成的分割路径，基于该分割路径能有效的区分不同图像点之间被孤立的难易程度，从而对接口应时间段内的流量是否异常进行判断。

Description

一种基于服务网格技术的接口流量检测方法
技术领域
本发明属于网络接口流量检测领域，更具体地说，尤其涉及一种基于服务网格技术的接口流量检测方法。
背景技术
快速发展的IP网络技术促使大量新兴的商业应用、服务涌现。这些新兴的服务以及需求促使用户们对网络带宽、性能、服务质量、安全性提出了更高的要求。汇聚层交换机，需要对大量的用户报文做转发，合理的分配带宽，监控网络数据流显得尤为关键。
通过数据流量的分类、分析可以有效的检测设备状态以及用户信息，根据这些统计信息，网管可以用来规划网络和应用资源来满足客户的需求，同时，可以侦测用户状态，获取到详细的客户所使用的网络和应用资源；实现对数据流的实时识别和分类；防止DOS攻击，病毒和网络蠕虫等，这些数据有助于了解和反馈安全事故，因此，我们提出了一种基于服务网格技术的接口流量检测方法。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于服务网格技术的接口流量检测方法，监测网络接口数据流量，维护用户计算机网络安全。
为实现上述目的，本发明提供如下技术方案：
一种基于服务网格技术的接口流量检测方法，包括如下步骤：
S1、将用于训练的流量特征矩阵输入预设的检测学习模型，以得到输出结果，利用所述输出结果和用于训练的流量特征矩阵的标签计算相应的损失函数；
S2、利用所述损失函数对上述预设的检测学习模型的参数进行重复更新，直至所述损失函数小于预定阈值，从而得到经过训练的检测学习模型；
S3、获取待检测接口的流量数据，并根据所述流量数据绘制接口访问图像，所述接口访问图像包括所述流量数据中不同时间段与对应接口流量之间所形成的图像点，同时将接口的流量峰值数据转换为相对应的密度分布图；
S4、通过检测学习模型进行监测，若任一图像点对应的指数大于检测学习模型阈值，则判定所述待检测接口在所述图像点对应时间段内的流量是异常流量。
优选的，步骤S3中，所述密度分布图确定相对应的接口流量特征向量，其中所述接口流量特征向量包括对应密度分布图中的波峰个数、波谷个数、n个最大值和n个最小值，其中n为预设的流量分析参数；利用所述接口流量特征向量构建流量特征矩阵；将所述流量特征矩阵输入经过训练的检测学习模型，以识别出指定接口的异常流量。
步骤S3中，所述根据所述流量数据绘制接口访问图像，具体为：
1）根据预设时间间隔对所述流量数据中的时间参数进行分割，得到不同时间段，并分别获取不同日期中相同所述时间段对应的所述接口流量；
2）针对同一所述时间段，将对应获取到的所述接口流量为纵坐标值、所述接口流量对应的日期为横坐标值进行坐标点绘制，得到所述图像点。
优选的，步骤S4检测学习模型进行监测时需要对所述接口访问图像进行分割，直至每个所述图像点均被孤立，得到每个所述图像点对应的分割路径，所述分割路径的长度用于表征孤立对应所述图像点的难易程度。
优选的，所述接口访问图像进行分割具体为：
1）计算所述待检测接口的接口总流量，所述接口总流量为所述待检测接口在不同日期中相同所述时间段之间对应接口流量的和；
2）根据所述接口总流量计算所述时间段对应的流量平均值；
3）根据所述流量平均值生成所述接口访问图像的图像分割线，并根据所述图像分割线对所述接口访问图像进行图像分割，得到访问分割图像。
优选的，步骤S4所述的通过检测学习模型进行监测，还包括：
1）分别计算访问分割图像中不同时间段对应接口流量的和，并根据访问分割图像中不同时间段对应接口流量的和计算访问分割图像的流量平均值；
2）根据访问分割图像的流量平均值生成对应访问分割图像中的图像分割线，并根据访问分割图像中的图像分割线对访问分割图像进行图像分割，得到分割子图像。
优选的，本方法还包括：
1）建立流量警戒库，将超过的计算机网络接口处的数据流量和对应的检测时间储存到流量警戒库中；
2）设置探索单元，探索单元用于当出现计算机网络接口处的数据流量超过数据流量警戒线时，生成探索信号，并对探索信号进行追踪，探索信号随网络接口处的数据流进行传输。
优选的，所述探索单元包括：
捕获单元，捕获单元用于当出现计算机网络接口处的数据流量超过数据流量警戒线时，对超过数据流量警戒线的网络接口处的数据流进行捕获，对捕获的数据流进行分析，并将分析结果储存到流量警戒库中对应的位置。
本发明的技术效果和优点：本发明提供的一种基于服务网格技术的接口流量检测方法，与传统的方法相比，本发明能有效的生成表征待检测接口在不同时间段与接口流量之间对应关系的接口访问图像，通过对接口访问图像进行分割，得到图像点的过程所形成的分割路径，基于该分割路径能有效的区分不同图像点之间被孤立的难易程度，从而对接口应时间段内的流量是否异常进行判断。
附图说明
图1为本发明基于服务网格技术的接口流量检测方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了如图1的一种基于服务网格技术的接口流量检测方法，包括如下步骤：
S1、将用于训练的流量特征矩阵输入预设的检测学习模型，以得到输出结果，利用所述输出结果和用于训练的流量特征矩阵的标签计算相应的损失函数；
S2、利用所述损失函数对上述预设的检测学习模型的参数进行重复更新，直至所述损失函数小于预定阈值，从而得到经过训练的检测学习模型；
S3、获取待检测接口的流量数据，并根据所述流量数据绘制接口访问图像，所述接口访问图像包括所述流量数据中不同时间段与对应接口流量之间所形成的图像点，同时将接口的流量峰值数据转换为相对应的密度分布图；
步骤S3中，所述密度分布图确定相对应的接口流量特征向量，其中所述接口流量特征向量包括对应密度分布图中的波峰个数、波谷个数、n个最大值和n个最小值，其中n为预设的流量分析参数；利用所述接口流量特征向量构建流量特征矩阵；将所述流量特征矩阵输入经过训练的检测学习模型，以识别出指定接口的异常流量；
步骤S3中，所述根据所述流量数据绘制接口访问图像，具体为：
1）根据预设时间间隔对所述流量数据中的时间参数进行分割，得到不同时间段，并分别获取不同日期中相同所述时间段对应的所述接口流量；
2）针对同一所述时间段，将对应获取到的所述接口流量为纵坐标值、所述接口流量对应的日期为横坐标值进行坐标点绘制，得到所述图像点；
S4、通过检测学习模型进行监测，若任一图像点对应的指数大于检测学习模型阈值，则判定所述待检测接口在所述图像点对应时间段内的流量是异常流量；
步骤S4检测学习模型进行监测时需要对所述接口访问图像进行分割，直至每个所述图像点均被孤立，得到每个所述图像点对应的分割路径，所述分割路径的长度用于表征孤立对应所述图像点的难易程度；
所述接口访问图像进行分割具体为：
1）计算所述待检测接口的接口总流量，所述接口总流量为所述待检测接口在不同日期中相同所述时间段之间对应接口流量的和；
2）根据所述接口总流量计算所述时间段对应的流量平均值；
3）根据所述流量平均值生成所述接口访问图像的图像分割线，并根据所述图像分割线对所述接口访问图像进行图像分割，得到访问分割图像；
步骤S4所述的通过检测学习模型进行监测，还包括：
1）分别计算访问分割图像中不同时间段对应接口流量的和，并根据访问分割图像中不同时间段对应接口流量的和计算访问分割图像的流量平均值；
2）根据访问分割图像的流量平均值生成对应访问分割图像中的图像分割线，并根据访问分割图像中的图像分割线对访问分割图像进行图像分割，得到分割子图像。
本方法还包括：
1）建立流量警戒库，将超过的计算机网络接口处的数据流量和对应的检测时间储存到流量警戒库中；
2）设置探索单元，探索单元用于当出现计算机网络接口处的数据流量超过数据流量警戒线时，生成探索信号，并对探索信号进行追踪，探索信号随网络接口处的数据流进行传输，所述探索单元包括：
捕获单元，捕获单元用于当出现计算机网络接口处的数据流量超过数据流量警戒线时，对超过数据流量警戒线的网络接口处的数据流进行捕获，对捕获的数据流进行分析，并将分析结果储存到流量警戒库中对应的位置。
本发明能有效的生成表征待检测接口在不同时间段与接口流量之间对应关系的接口访问图像，通过对接口访问图像进行分割，得到图像点的过程所形成的分割路径，基于该分割路径能有效的区分不同图像点之间被孤立的难易程度，从而对接口应时间段内的流量是否异常进行判断。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于服务网格技术的接口流量检测方法，其特征在于，包括如下步骤：
S1、将用于训练的流量特征矩阵输入预设的检测学习模型，以得到输出结果，利用所述输出结果和用于训练的流量特征矩阵的标签计算相应的损失函数；
S2、利用所述损失函数对上述预设的检测学习模型的参数进行重复更新，直至所述损失函数小于预定阈值，从而得到经过训练的检测学习模型；
S3、获取待检测接口的流量数据，并根据所述流量数据绘制接口访问图像，所述接口访问图像包括所述流量数据中不同时间段与对应接口流量之间所形成的图像点，同时将接口的流量峰值数据转换为相对应的密度分布图；
S4、通过检测学习模型进行监测，若任一图像点对应的指数大于检测学习模型阈值，则判定所述待检测接口在所述图像点对应时间段内的流量是异常流量。
2.根据权利要求1所述的一种基于服务网格技术的接口流量检测方法，其特征在于：步骤S3中，所述密度分布图确定相对应的接口流量特征向量，其中所述接口流量特征向量包括对应密度分布图中的波峰个数、波谷个数、n个最大值和n个最小值，其中n为预设的流量分析参数；利用所述接口流量特征向量构建流量特征矩阵；将所述流量特征矩阵输入经过训练的检测学习模型，以识别出指定接口的异常流量。
3.根据权利要求1所述的一种基于服务网格技术的接口流量检测方法，其特征在于：步骤S3中，所述根据所述流量数据绘制接口访问图像，具体为：
1）根据预设时间间隔对所述流量数据中的时间参数进行分割，得到不同时间段，并分别获取不同日期中相同所述时间段对应的所述接口流量；
2）针对同一所述时间段，将对应获取到的所述接口流量为纵坐标值、所述接口流量对应的日期为横坐标值进行坐标点绘制，得到所述图像点。
4.根据权利要求1所述的一种基于服务网格技术的接口流量检测方法，其特征在于：步骤S4检测学习模型进行监测时需要对所述接口访问图像进行分割，直至每个所述图像点均被孤立，得到每个所述图像点对应的分割路径，所述分割路径的长度用于表征孤立对应所述图像点的难易程度。
5.根据权利要求4所述的一种基于服务网格技术的接口流量检测方法，其特征在于：所述接口访问图像进行分割具体为：
1）计算所述待检测接口的接口总流量，所述接口总流量为所述待检测接口在不同日期中相同所述时间段之间对应接口流量的和；
2）根据所述接口总流量计算所述时间段对应的流量平均值；
3）根据所述流量平均值生成所述接口访问图像的图像分割线，并根据所述图像分割线对所述接口访问图像进行图像分割，得到访问分割图像。
6.根据权利要求1所述的一种基于服务网格技术的接口流量检测方法，其特征在于：步骤S4所述的通过检测学习模型进行监测，还包括：
1）分别计算访问分割图像中不同时间段对应接口流量的和，并根据访问分割图像中不同时间段对应接口流量的和计算访问分割图像的流量平均值；
2）根据访问分割图像的流量平均值生成对应访问分割图像中的图像分割线，并根据访问分割图像中的图像分割线对访问分割图像进行图像分割，得到分割子图像。
7.根据权利要求1所述的一种基于服务网格技术的接口流量检测方法，其特征在于：本方法还包括：
1）建立流量警戒库，将超过的计算机网络接口处的数据流量和对应的检测时间储存到流量警戒库中；
2）设置探索单元，探索单元用于当出现计算机网络接口处的数据流量超过数据流量警戒线时，生成探索信号，并对探索信号进行追踪，探索信号随网络接口处的数据流进行传输。
8.根据权利要求7所述的一种基于服务网格技术的接口流量检测方法，其特征在于：所述探索单元包括：
捕获单元，捕获单元用于当出现计算机网络接口处的数据流量超过数据流量警戒线时，对超过数据流量警戒线的网络接口处的数据流进行捕获，对捕获的数据流进行分析，并将分析结果储存到流量警戒库中对应的位置。
CN202211125249.6A 2022-09-16 2022-09-16 一种基于服务网格技术的接口流量检测方法 Pending CN115208797A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211125249.6A CN115208797A (zh) 2022-09-16 2022-09-16 一种基于服务网格技术的接口流量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211125249.6A CN115208797A (zh) 2022-09-16 2022-09-16 一种基于服务网格技术的接口流量检测方法

Publications (1)

Publication Number Publication Date
CN115208797A true CN115208797A (zh) 2022-10-18

Family

ID=83572934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211125249.6A Pending CN115208797A (zh) 2022-09-16 2022-09-16 一种基于服务网格技术的接口流量检测方法

Country Status (1)

Country Link
CN (1) CN115208797A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112383554A (zh) * 2020-11-16 2021-02-19 平安科技（深圳）有限公司 接口流量异常检测方法、装置、终端设备及存储介质
CN112637104A (zh) * 2019-09-24 2021-04-09 中国电信股份有限公司 异常流量检测方法和系统
CN113988183A (zh) * 2021-10-29 2022-01-28 深圳市光网世纪科技有限公司 一种计算机网络数据流量监测系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637104A (zh) * 2019-09-24 2021-04-09 中国电信股份有限公司 异常流量检测方法和系统
CN112383554A (zh) * 2020-11-16 2021-02-19 平安科技（深圳）有限公司 接口流量异常检测方法、装置、终端设备及存储介质
CN113988183A (zh) * 2021-10-29 2022-01-28 深圳市光网世纪科技有限公司 一种计算机网络数据流量监测系统及方法

Similar Documents

Publication Publication Date Title
CN109271793B (zh) 物联网云平台设备类别识别方法及系统
CN108965340B (zh) 一种工业控制系统入侵检测方法及系统
CN109218321A (zh) 一种网络入侵检测方法及系统
CN106130806B (zh) 数据层实时监控方法
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN113037567B (zh) 一种用于电网企业的网络攻击行为仿真系统的仿真方法
CN112478483B (zh) 一种危化品常压储罐自动化监测预警方法及系统
CN111669384A (zh) 融合深度神经网络和层级注意力机制的恶意流量检测方法
CN112001443A (zh) 网络行为数据的监控方法、装置、存储介质及电子设备
CN114915575B (zh) 一种基于人工智能的网络流量检测装置
CN110895811B (zh) 一种图像篡改检测方法和装置
CN115269438A (zh) 针对图像处理算法的自动化测试方法及装置
CN110149303B (zh) 一种党校的网络安全预警方法及预警系统
CN114222163A (zh) 一种营业厅智能视频分析系统
CN115208797A (zh) 一种基于服务网格技术的接口流量检测方法
CN110647831A (zh) 一种庭审巡查方法和系统
CN106530199B (zh) 基于窗口式假设检验的多媒体综合隐写分析方法
CN115375886A (zh) 一种基于云计算服务的数据采集方法及系统
CN112511360B (zh) 一种多源业务平台数据安全组件监控方法及系统
CN110544182B (zh) 一种基于机器学习技术的配电通信网融合控制方法及系统
CN113378222A (zh) 一种基于数据内容识别的文件标密方法及系统
CN114241401A (zh) 异常判定方法、装置、设备、介质及产品
CN113225319A (zh) 软件定义网络异常流量检测方法
CN113537087A (zh) 一种智慧交通信息处理方法、装置及服务器
CN112153464A (zh) 一种智慧城市管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20221018