CN111741120A - 一种流量镜像方法、装置及设备 - Google Patents
一种流量镜像方法、装置及设备 Download PDFInfo
- Publication number
- CN111741120A CN111741120A CN202010625137.1A CN202010625137A CN111741120A CN 111741120 A CN111741120 A CN 111741120A CN 202010625137 A CN202010625137 A CN 202010625137A CN 111741120 A CN111741120 A CN 111741120A
- Authority
- CN
- China
- Prior art keywords
- data
- mirror
- flow data
- mirror image
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 127
- 238000012545 processing Methods 0.000 claims abstract description 72
- 238000007405 data analysis Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims description 71
- 230000004044 response Effects 0.000 claims description 52
- 238000004891 communication Methods 0.000 claims description 26
- 238000001914 filtration Methods 0.000 claims description 7
- 238000009530 blood pressure measurement Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 9
- 238000013075 data extraction Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000006798 recombination Effects 0.000 description 5
- 238000005215 recombination Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 102100033121 Transcription factor 21 Human genes 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 101150109289 tcf21 gene Proteins 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/2876—Pairs of inter-processing entities at each side of the network, e.g. split proxies
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本说明书实施例提供了一种流量镜像方法、装置和设备，其中，该方法包括：从目标数据平面代理的业务扩展实现层获取流量数据，流量数据包括请求流量数据和/或响应流量数据，根据流量数据，确定流量数据对应的目标镜像策略，并基于确定的流量数据对应的目标镜像策略，对流量数据进行镜像处理，生成流量数据对应的镜像数据，然后，将流量数据对应的镜像数据转发至镜像管道，以使数据分析服务器从镜像管道获取镜像数据，并对镜像数据进行分析处理。
Description
技术领域
本文件涉及计算机技术领域，尤其涉及一种流量镜像方法、装置及设备。
背景技术
目前，对流量数据进行镜像获得的镜像数据进行分析，在业务安全风险洞察，系统安全漏洞和入侵检测，数据安全资产流动的监控等方面起着非常重要的作用。
然而，由于上述获取流量数据的过程中，往往会出现数据重组还原难度大、业务数据提取难度大、加密通信情况下无法解析等情况，从而导致上述获取流量数据的过程中计算资源消耗过大。因此，需要提供一种在获取流量数据时计算资源消耗更少的技术方案。
发明内容
本说明书实施例的目的是提供一种流量镜像方法、装置及设备，以提供一种在获取流量数据时计算资源消耗更少的技术方案。
为了解决上述技术问题，本说明书实施例是这样实现的：
第一方面，本说明书实施例提供了一种流量镜像方法，包括：从目标数据平面代理的业务扩展实现层获取流量数据，所述流量数据包括请求流量数据和/或响应流量数据。根据所述流量数据，确定所述流量数据对应的目标镜像策略。基于确定的所述流量数据对应的目标镜像策略，对所述流量数据进行镜像处理，生成所述流量数据对应的镜像数据。将所述流量数据对应的镜像数据转发至镜像管道，以使数据分析服务器从所述镜像管道获取所述镜像数据，并对所述镜像数据进行分析处理。
第二方面，本说明书实施例提供了一种流量镜像装置，包括：数据获取模块，从目标数据平面代理的业务扩展实现层获取流量数据，所述流量数据包括请求流量数据和/或响应流量数据。策略确定模块，根据所述流量数据，确定所述流量数据对应的目标镜像策略。数据生成模块，基于确定的所述流量数据对应的目标镜像策略，对所述流量数据进行镜像处理，生成所述流量数据对应的镜像数据。数据转发模块，将所述流量数据对应的镜像数据转发至镜像管道，以使数据分析服务器从所述镜像管道获取所述镜像数据，并对所述镜像数据进行分析处理。
第三方面，本说明书实施例提供了一种流量镜像设备，所述流量镜像设备包括：处理器。以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：从目标数据平面代理的业务扩展实现层获取流量数据，所述流量数据包括请求流量数据和/或响应流量数据。根据所述流量数据，确定所述流量数据对应的目标镜像策略。基于确定的所述流量数据对应的目标镜像策略，对所述流量数据进行镜像处理，生成所述流量数据对应的镜像数据。将所述流量数据对应的镜像数据转发至镜像管道，以使数据分析服务器从所述镜像管道获取所述镜像数据，并对所述镜像数据进行分析处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的流量镜像方法的第一种流程示意图；
图2为本说明书实施例提供的数据平面代理代理应用程序间的请求的处理过程示意图；
图3为本说明书实施例提供的数据平面代理的工作原理示意图；
图4为本说明书实施例提供的流量镜像方法的实现原理示意图；
图5为本说明书实施例提供的流量镜像方法的第二种流程示意图；
图6为本说明书实施例提供的流量镜像方法的第三种流程示意图；
图7为本说明书实施例提供的流量镜像方法的第四种流程示意图；
图8为本说明书实施例提供的流量镜像装置的模块组成示意图；
图9为本说明书实施例提供的流量镜像设备的结构示意图。
具体实施方式
为了实现本说明书的目的，本说明书实施例提供了一种流量镜像方法、装置及设备，通过从目标数据平面代理的业务扩展实现层获取流量数据，流量数据包括请求流量数据和/或响应流量数据，根据流量数据，确定流量数据对应的目标镜像策略，然后，基于确定的流量数据对应的目标镜像策略，对流量数据进行镜像处理，生成流量数据对应的镜像数据，并将流量数据对应的镜像数据转发至镜像管道，以使数据分析服务器从镜像管道获取镜像数据，并对镜像数据进行分析处理，这样，通过从目标数据平面代理的业务扩展实现层获取流量数据，避免了上述获取流量数据的过程中，存在数据重组还原难度大，业务数据提取难度大，加密通信情况下无法解析，从而减少了获取流量数据的过程中计算资源的消耗。
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
如图1所示，本说明书实施例提供一种流量镜像方法，该方法的执行主体可以为是挂载在MOSN上Proxy层处理链路上的mirror filter，而且，该mirror filter可以从目标数据平面代理的业务扩展实现层获取流量数据等。该方法可以从目标数据平面代理的业务扩展实现层获取流量数据，对上述流量数据进行镜像处理，生成流量数据对应的镜像数据，将流量数据对应的镜像数据转发至镜像管道。该方法具体可以包括以下步骤：
在步骤S102中，从目标数据平面代理的业务扩展实现层获取流量数据，流量数据包括请求流量数据和/或响应流量数据。
其中，上述目标数据平面代理可以为采用某种编程语言开发的数据平面代理，如采用Golang编程语言开发的Service Mesh数据平面代理(MOSN，Modular ObservableSmart Network)等,该数据平面代理的功能和定位可以类似于Envoy，旨在提供分布式，模块化，可观察，智能化的代理能力。上述业务扩展实现层可以为根据实际情况设定的一种针对某业务的业务扩展实现层，具体可以如代理Proxy层。如果目标数据平面代理为采用Golang编程语言开发的Service Mesh数据平面代理，业务扩展实现层为代理Proxy层，则上述数据平面代理可以以sidecar的方式和应用程序部署在同一个容器中，完成应用程序间RPC(Remote Procedure Call Protocol，远程过程调用协议)通信透明代理。上述目标数据平面代理和应用程序之间可以进行本地通信，不同的应用程序之间可以通过数据平面代理进行网络通信。上述目标数据平面代理可以为本说明书实施例中提供流量数据的数据平面代理，上述目标数据平面代理可以与服务方应用进程位于同一个容器中，或者也可以与请求方应用进程位于同一个容器中，本说明书实施例对上述目标数据平面代理与哪个应用进程设置于同一容器中不做具体限定。
在实施中，可以预先通过预定的编程语言(如Golang编程语言或C语言等)编写目标数据平面代理和业务扩展实现层的实现逻辑，编写完成后，可以对目标数据平面代理的业务扩展实现层投入使用。通过目标数据平面代理的业务扩展实现层可以进行流量数据的采集和处理。当需要对流量数据进行镜像处理时，可以从目标数据平面代理的业务扩展实现层获取流量数据。
为了更好的说明上述处理过程，以下以目标数据平面代理为采用Golang编程语言开发的Service Mesh数据平面代理，业务扩展实现层为代理Proxy层为例，进行详细说明。如图2所示，图2为本说明书实施例提供过的数据平面代理MOSN代理应用程序间的请求的处理过程，数据平面代理MOSN本质是一个4-7层代理，它可以以独立进程的形式作为sidecar与用户程序部署在相同的物理机或者VM(Virtual Machine，虚拟机器)中，或者也可以以独立网关的形式单独运行在一台主机或者虚拟机中。
如图2所示，MOSN 1可以与用户端应用进程(如caller application process)部署在同一个pod1中，MOSN2可以与服务方应用进程(如target application process)部署在同一个pod2中，当用户端向服务方发送请求消息时，一个正向的请求链路可以包括如下步骤：caller application process可以通过本地通信将请求信息发送给MOSN1。MOSN1可以代理上述caller application process的服务发现、路由、负载均衡等能力，通过协议转换，转发caller application process的请求信息到上游的MOSN2(如与targetapplication process部署在同一个pod2中的MOSN2)，上游MOSN2将接收到的请求通过协议转换，发送到代理的target application on process上。反向链路类似，通过上述的代理流程，数据平面代理MOSN代理了caller application process与target applicationprocess之间的请求。
如图3所示，数据平面代理MOSN为了转发数据，MOSN将整体功能分为四层，即NetworkNetwork(网络通信层)，Protocol(协议处理层)，Stream(会话流处理层)和Proxy(业务扩展实现层)，每一层可用于完成独立的功能，且层与层之间可相互配合实现完整的Proxy转发。
具体的，如图3所示，MOSN工作过程可以包括以下处理过程：步骤A：当MOSN从应用进程接收到数据后，即数据到达MOSN时，MOSN可以在Network层读取数据，然后通过readfilter将数据发送到Protocol层进行解码；步骤B：Protocol层可以将经过解码后的数据回调到stream层进行数据创建和封装处理；步骤C：Stream层将经过创建和封装处理后的数据回调到Proxy层；步骤D：Proxy层可以将接收到的数据发送到stream层进行处理；步骤E：stream层将处理后得到的数据发送至与上述数据的协议相对应的Protocol层，对数据重新做编码；步骤F：Protocol层将经过编码后的数据通过write filter发送至Network层，并通过Network层将数据发送出去。
MOSN提供Stream Filter的扩展机制，本说明书实施例中对获取到的流量数据进行镜像处理的过程可以在MOSN的Proxy层，通过Stream filter扩展机制来实现，上述Stream filter扩展机制可以在服务端开启，或者，也可以在客户端开启，通过在Proxy层处理链路上挂载mirror filter对获取到的流量数据进行镜像处理，然后将经过镜像处理后得到的镜像数据转发给消息队列，以使分析中台可以从上述消息队列中获取镜像数据，并对镜像数据进行分析处理。
在实施中，目前，对流量数据进行镜像获得的镜像数据进行分析，在业务安全风险洞察，系统安全漏洞和入侵检测，数据安全资产流动的监控等方面起着非常重要的作用。然而，由于上述获取流量数据的过程中，采用主机系统级的流量镜像方法中，通过在主机网络接口数据抓包，存在数据重组还原难度大，业务数据提取难度大，加密通信情况下无法解析，对主机计算资源消耗过大的问题。而采用应用网关级的流量镜像方法中，七层网络流量镜像，存在局限于网关接入协议的业务数据，对内部调用和流转的业务数据无法支持的问题。采用通信设备级的流量镜像方法中，四层网络流量镜像，物理层/网络层/传输层数据包交换时数据镜像，数据重组还原难度大，业务数据提取难度大，加密通信情况下无法解析，对设备计算资源消耗巨大的问题。因此，需要提供一种在获取流量数据时计算资源消耗更少的技术方案，具体可以参见下述内容。
在具体的实施过程中，以客户端向服务器发送请求，服务器响应客户端为例，可以在客户端和服务器分别部署MOSN1和MOSN2，如图4所示，可以将MOSN1以sidecar的方式和用户应用进程(如调用方应用进程caller application process)部署在同一个pod1中，将MOSN2以sidecar的方式和服务方应用进程(如target application process)部署在同一个pod2中。其中，目标数据平面代理可以为MOSN1，或者也可以为MOSN2。在本实施例中，以与服务方应用进程部署在同一个pod2中的MOSN2为目标数据平面代理，通过Stream filter扩展机制，在MOSN2中的Proxy层处理链路上挂载mirror filter，通过mirror filter获取MOSN2中的Proxy层上的流量数据，流量数据包括请求流量数据和/或响应流量数据，其中，如图4所示，上述mirror filter中包括receiver filter和sender filter，receiverfilter可以用于接收请求流量数据，sender filter可以接收响应流量数据。
具体的，如图4所示，以客户端向服务器发送请求为例，部署在客户端上的调用方应用进程(caller application process)可以向服务方应用进程(target applicationprocess)发送一个订单查询请求，该订单查询请求中携带有待查询订单的订单ID，调用方应用进程将该订单查询请求通过本地通信发送至与调用方应用进程部署在同一个pod中的MOSN1，MOSN1接收到该订单查询请求后，执行上述如图3所示的处理过程，将经过步骤F处理后的数据通过MOSN1的Network层发送至MOSN2的Network层，当到达MOSN2的Network层的订单请求信息经过图3所示的处理过程，即经过MOSN2的Network层、protocol(协议处理层)，Stream(会话流处理层)，到达Proxy(业务扩展实现层)后，一方面，挂载在Proxy层处理链路上的mirror filter可以通过receiver filter获取到请求流量数据(如调用方发送的订单查询请求)。另一方面。在上述订单查询请求到达Proxy(业务扩展实现层)后，沿着向下的方向，即依次经过Proxy(业务扩展实现层)、Stream(会话流处理层)、protocol(协议处理层)的处理，直到MOSN2的Network(网络通信层)，然后通过MOSN2的Network(网络通信层)将调用方发送的订单查询请求发送至服务方应用进程。
服务方应用进程在接收到调用方应用进程发送的订单查询请求后，查找该订单请求对应的订单详情，然后将查找到的订单详情作为响应信息通过本地通信发送至与服务方应用进程部署在同一个pod中的MOSN2，MOSN2接收到响应信息后，执行上述如图3所示的处理过程，将该响应信息依次经过Network(网络通信层)，protocol(协议处理层)，Stream(会话流处理层)的处理到达Proxy(业务扩展实现层)，在响应信息到达MOSN2的Proxy(业务扩展实现层)之后，一方面，挂载在Proxy层处理链路上的mirror filter可以通过senderfilter获取到响应流量数据(如服务方发送的订单详情)。另一方面，在上述响应信息到达Proxy(业务扩展实现层)后，响应信息将沿着向下的方向，即从Proxy(业务扩展实现层)依次经过Stream(会话流处理层)、Protocol(协议处理层)的处理，发送至MOSN2的Network(网络通信层)，然后通过MOSN2的Network(网络通信层)将服务方发送的响应信息发送至MOSN1，最终，通过MOSN1将响应信息发送至调用方应用进程。
在步骤S104中，根据流量数据，确定流量数据对应的目标镜像策略。
其中，上述目标镜像策略可以是预先针对流量数据的协议类型、数据类型、流量轨迹标识、调用方应用名称、服务方应用名称、应用接口名称、流量数据源IP地址、流量数据目标IP地址、源端口、目标端口、请求/响应头、请求/响应体、请求/响应尾中的一个或多个属性制定的镜像策略。例如，上述目标镜像策略可以为流量数据的协议类型为A1、调用方应用名称为B1、服务方应用名称为C1、应用接口名称为D1、流量数据源IP地址为E1、流量数据目标IP地址为G1的请求流量数据和响应流量数据进行镜像的策略。
在实施中，挂载在MOSN2上Proxy层处理链路上的mirror filter通过上述S102的处理从目标数据平面代理的业务扩展实现层获取流量数据，可以根据获取到的流量数据的协议类型、数据类型、流量轨迹标识、调用方应用名称、服务方应用名称、应用接口名称、流量数据源IP地址、流量数据目标IP地址、源端口、目标端口、请求/响应头、请求/响应体、请求/响应尾等信息，确定流量数据对应的目标镜像策略。
在步骤S106中，基于确定的流量数据对应的目标镜像策略，对流量数据进行镜像处理，生成流量数据对应的镜像数据。
在实施中，挂载在MOSN2上Proxy层处理链路上的mirror filter通过上述S104的处理根据流量数据，确定流量数据对应的目标镜像策略，可以基于确定的流量数据对应的目标镜像策略，对流量数据进行镜像处理，生成流量数据对应的镜像数据。
具体的，例如，针对流量数据的协议类型为A1、调用方应用名称为B1、服务方应用名称为C1、应用接口名称为D1、流量数据源IP地址为E1、流量数据目标IP地址为G1的请求流量数据，确定的目标镜像策略为X1。针对流量数据的协议类型为A1、调用方应用名称为B1、服务方应用名称为C1、应用接口名称为D1、流量数据源IP地址为E、流量数据目标IP地址为G1的响应流量数据，确定的目标镜像策略为X2。针对流量数据的协议类型为A2、调用方应用名称为B2、服务方应用名称为C2、应用接口名称为D2、流量数据源IP地址为E2、流量数据目标IP地址为G2的请求流量数据，确定的目标镜像策略为X3。则可以基于上述确定的流量数据对应的目标镜像策略，对上述流量数据进行镜像处理，生成流量数据对应的镜像数据。
在步骤S108中，将流量数据对应的镜像数据转发至镜像管道，以使数据分析服务器从镜像管道获取镜像数据，并对镜像数据进行分析处理。
其中，上述镜像管道可以是消息队列，或者，也可以是日志管道。
在实施中，如图4所示，挂载在MOSN2上Proxy层处理链路上的mirror filter通过上述S106的处理生成流量数据对应的镜像数据后，可以将上述流量数据对应的镜像数据转发至镜像管道，以使数据分析服务器或分析中台从镜像管道获取镜像数据，数据分析服务器或分析中台可以对获取的镜像数据进行flink流式数据预处理，将处理后得到的数据用于业务/系统/数据安全分析检测。
由以上本说明书实施例提供的技术方案可见，本说明书实施例通过从目标数据平面代理的业务扩展实现层获取流量数据，流量数据包括请求流量数据和/或响应流量数据，根据流量数据，确定流量数据对应的目标镜像策略，然后，基于确定的流量数据对应的目标镜像策略，对流量数据进行镜像处理，生成流量数据对应的镜像数据，并将流量数据对应的镜像数据转发至镜像管道，以使数据分析服务器从镜像管道获取镜像数据，并对镜像数据进行分析处理，这样，通过从目标数据平面代理的业务扩展实现层获取流量数据，避免了上述获取流量数据的过程中，存在数据重组还原难度大，业务数据提取难度大，加密通信情况下无法解析，从而减少了获取流量数据的过程中计算资源的消耗。
其中，如图5所示，上述S104的具体处理方式可以多种多样，以下再提供一种可选的处理方式，具体可以参见下述S1042-S1046的处理。
在步骤S1042中，提取流量数据中包含的关键词。
其中，上述关键词可以为流量数据的协议类型、流量数据类型、调用方应用名称、服务方应用名称、应用接口名称、流量数据源IP地址、流量数据目标IP地址、源端口、目标端口、请求头或响应头、请求体或响应体、请求尾或响应尾等。
在步骤S1044中，将关键词与预定的镜像策略集中的镜像策略包括的预设关键词进行匹配。
其中，上述预定的镜像策略集可以是预先根据数据分析需求，对需要镜像的流量数据制定的镜像策略所构成的镜像策略集合。上述预定的镜像策略集合中可以包括至少一个镜像策略。例如，上述镜像策略集中可以包括X镜像策略、Y镜像策略、Z镜像策略，其中，上述X镜像策略可以是针对接口A的请求进行镜像的策略，Y镜像策略可以是针对接口B的响应进行镜像的策略，Z镜像策略可以是针对接口C的响应进行镜像的策略等，本实施例中的镜像策略集中的镜像策略还可以包括将上述镜像策略集中的X镜像策略、Y镜像策略和Z镜像策略进行组合后，按照策略执行的优先级顺序形成的E镜像策略，如该E镜像策略可以为先执行X镜像策略，然后执行Y镜像策略，最后执行Z镜像策略等。
上述预设关键词可以包括与上述镜像数据的协议类型、镜像数据类型、调用方应用名称、服务方应用名称、应用接口名称、镜像数据源IP地址、镜像数据目标IP地址、源端口、目标端口、请求头或响应头、请求体或响应体、请求尾或响应尾等。
上述预定的镜像策略集中的镜像策略的策略属性可以包括镜像对象、镜像类型、镜像模式、镜像协议中的一个或多个。上述镜像对象可以包括镜像应用、镜像接口和镜像方法中的一个或多个。镜像类型可以包括支持请求流量数据镜像，或，支持响应流量数据镜像，或，支持请求流量数据和响应流量数据成对镜像等。镜像模式可以包括按照预设时间周期内镜像流量的数量模式进行镜像，或者，可以按照预设流量比例进行随机镜像。镜像协议可以包括http rpc或者是自定义rpc协议等。镜像策略属性还可以包括镜像单条流量的大小上限值。
在实施中，挂载在MOSN2上Proxy层处理链路上的mirror filter通过上述S1042提取流量数据中包含的关键词后，可以将上述提取的关键词与预定的镜像策略集中的镜像策略包括的预设关键词进行匹配。
在步骤S1046中，将与关键词相匹配的预设关键词所对应的镜像策略，确定为流量数据对应的目标镜像策略。
在实施中，若挂载在MOSN2上Proxy层处理链路上的mirror filter通过上述S1042提取流量数据中包含的关键词为流量数据的协议类型为A1、调用方应用名称为B1、服务方应用名称为C1、应用接口名称为D1、流量数据源IP地址为E1、流量数据目标IP地址为G1。预定的镜像策略集中的某镜像策略X1包括的预设关键词为镜像数据的协议类型为A1、调用方应用名称为B1、服务方应用名称为C1、应用接口名称为D1、镜像数据源IP地址为E1、镜像数据目标IP地址为G1，则可以确定该镜像策略X1为上述流量数据对应的目标镜像策略。
进一步的，上述目标镜像策略包括按照预设时间内镜像流量数据数量对应的镜像策略和按照预设镜像流量数量占所述流量数据总量的预设比值对应的镜像策略。其中，如图6所示，上述S106的具体处理方式可以多种多样，以下再提供一种可选的处理方式，具体可以参见下述S1062的处理。
在步骤S1062中，基于预设时间内镜像流量数据数量对应的镜像策略，或者，按照预设镜像流量数量占所述流量数据总量的预设比值对应的镜像策略，对所述流量数据进行镜像，生成镜像数据。
其中，上述挂载在MOSN2上Proxy层处理链路上的mirror filter中还可以包括统计模块，该统计模块可以用于统计进入mirror filter中的请求流量数量和响应流量数量，以及被镜像的请求流量数量和被镜像的响应流量数量。
在实施中，可以根据上述统计模块统计出的预设时间段内进入mirror filter中的请求流量数量和响应流量数量，以及被镜像的请求流量数量和被镜像的响应流量数量，设置预定时间内镜像请求流量数量对应的镜像策略，或者，也可以设置预定时间内镜像响应流量数量对应的镜像策略，或者，还可以设置预定时间内随机镜像流量数量对应的镜像策略，上述随机镜像流量数量可以是随机镜像请求流量和或响应流量对应的镜像策略，然后，按照上述镜像策略，对上述流量数据进行镜像，生成镜像数据。
在实施中，还可以根据上述统计模块统计出的预设时间段内进入mirror filter中的请求流量数量和响应流量数量，以及被镜像的请求流量数量和被镜像的响应流量数量，可以按照预设镜像流量数量占所述流量数据总量的预设比值设置对应的镜像策略，然后，按照上述镜像策略，对上述流量数据进行镜像，生成镜像数据。
进一步的，如图7所示，在上述步骤S1042之前，还可以包括下述S110-S112的处理过程。
在步骤S110中，检测是否存在预定的镜像策略集，且预定的镜像策略集中包括至少一个镜像策略。
在步骤S112中，在存在预定的镜像策略集的情况下，对流量数据进行过滤处理，以将流量数据中的仿真流量和/或压测流量的流量数据滤除，得到过滤后的流量数据。
由以上本说明书实施例提供的技术方案可见，本说明书实施例通过从目标数据平面代理的业务扩展实现层获取流量数据，流量数据包括请求流量数据和/或响应流量数据，根据流量数据，确定流量数据对应的目标镜像策略，然后，基于确定的流量数据对应的目标镜像策略，对流量数据进行镜像处理，生成流量数据对应的镜像数据，并将流量数据对应的镜像数据转发至镜像管道，以使数据分析服务器从镜像管道获取镜像数据，并对镜像数据进行分析处理，这样，通过从目标数据平面代理的业务扩展实现层获取流量数据，避免了上述获取流量数据的过程中，存在数据重组还原难度大，业务数据提取难度大，加密通信情况下无法解析，从而减少了获取流量数据的过程中计算资源的消耗。
对应上述实施例提供的流量镜像方法，基于相同的技术构思，本发明实施例还提供了一种流量镜像装置，图5为本发明实施例提供的流量镜像装置的第一种模块组成示意图，该流量镜像装置用于执行图1至图4描述的流量镜像方法，如图8所示，该流量镜像装置包括：
数据获取模块801，从目标数据平面代理的业务扩展实现层获取流量数据，所述流量数据包括请求流量数据和/或响应流量数据；
策略确定模块802，根据所述流量数据，确定所述流量数据对应的目标镜像策略；
数据生成模块803，基于确定的所述流量数据对应的目标镜像策略，对所述流量数据进行镜像处理，生成所述流量数据对应的镜像数据；
数据转发模块804，将所述流量数据对应的镜像数据转发至镜像管道，以使数据分析服务器从所述镜像管道获取所述镜像数据，并对所述镜像数据进行分析处理。
可选地，所述策略确定模块，包括：
提取单元，提取所述流量数据中包含的关键词；
匹配单元，将所述关键词与预定的镜像策略集中的镜像策略包括的预设关键词进行匹配；
确定单元，将与所述关键词相匹配的所述预设关键词所对应的镜像策略，确定为所述流量数据对应的目标镜像策略。
可选地，所述目标镜像策略包括按照预设时间内镜像流量数据数量对应的镜像策略和按照预设镜像流量数量占所述流量数据总量的预设比值对应的镜像策略；
所述数据生成模块，基于预设时间内镜像流量数据数量对应的镜像策略，或者，按照预设镜像流量数量占所述流量数据总量的预设比值对应的镜像策略，对所述流量数据进行镜像，生成镜像数据。
可选地，所述目标数据平面代理以sidecar的方式和应用程序部署在同一容器中。
可选地，所述目标数据平面代理与所述应用程序之间进行本地通信，不同应用程序之间通过所述目标数据平面代理进行网络通信。
可选地，所述装置还包括：
策略检测模块，在所述提取所述镜像数据的关键词之前，检测是否存在预定的镜像策略集，且所述预定的镜像策略集中包括至少一个镜像策略；
过滤处理模块，在存在所述预定的镜像策略集的情况下，对所述流量数据进行过滤处理，以将流量数据中的仿真流量和/或压测流量的流量数据滤除，得到过滤后的流量数据。
可选地，所述目标数据平面代理为采用Golang编程语言开发的Service Mesh数据平面代理，所述业务扩展实现层为代理Proxy层。
可选地，所述预定的镜像策略集中的镜像策略的策略属性包括镜像对象、镜像类型、镜像模式、镜像协议中的一个或多个。
由以上本说明书实施例提供的技术方案可见，本说明书实施例通过从目标数据平面代理的业务扩展实现层获取流量数据，流量数据包括请求流量数据和/或响应流量数据，根据流量数据，确定流量数据对应的目标镜像策略，然后，基于确定的流量数据对应的目标镜像策略，对流量数据进行镜像处理，生成流量数据对应的镜像数据，并将流量数据对应的镜像数据转发至镜像管道，以使数据分析服务器从镜像管道获取镜像数据，并对镜像数据进行分析处理，这样，通过从目标数据平面代理的业务扩展实现层获取流量数据，避免了上述获取流量数据的过程中，存在数据重组还原难度大，业务数据提取难度大，加密通信情况下无法解析，从而减少了获取流量数据的过程中计算资源的消耗。
本说明书实施例提供的流量镜像装置能够实现上述流量镜像方法对应的实施例中的各个过程，为避免重复，这里不再赘述。
需要说明的是，本说明书实施例提供的流量镜像装置与本说明书实施例提供的流量镜像方法基于同一发明构思，因此该实施例的具体实施可以参见前述流量镜像方法的实施，重复之处不再赘述。
对应上述实施例提供的流量镜像方法，基于相同的技术构思，本发明实施例还提供了一种流量镜像设备，如图9所示。图9为本发明实施例提供的流量镜像设备的硬件结构示意图，该流量镜像设备用于执行图1-图7描述的流量镜像方法，所述的流量镜像设备可以为上述实施例提供服务方应用服务器或请求方应用服务器。
流量镜像设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器901和存储器902，存储器902中可以存储有一个或一个以上存储应用程序或数据。其中，存储器902可以是短暂存储或持久存储。存储在存储器902的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对任务的分配设备中的一系列计算机可执行指令。更进一步地，处理器901可以设置为与存储器902通信，在流量镜像设备上执行存储器902中的一系列计算机可执行指令。流量镜像设备还可以包括一个或一个以上电源903，一个或一个以上有线或无线网络接口904，一个或一个以上输入输出接口905，一个或一个以上键盘906。
具体在本实施例中，流量镜像设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对任务的分配设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
从目标数据平面代理的业务扩展实现层获取流量数据，所述流量数据包括请求流量数据和/或响应流量数据；
根据所述流量数据，确定所述流量数据对应的目标镜像策略；
基于确定的所述流量数据对应的目标镜像策略，对所述流量数据进行镜像处理，生成所述流量数据对应的镜像数据；
将所述流量数据对应的镜像数据转发至镜像管道，以使数据分析服务器从所述镜像管道获取所述镜像数据，并对所述镜像数据进行分析处理。
可选地，所述根据所述流量数据，确定所述流量数据对应的目标镜像策略，包括：
提取所述流量数据中包含的关键词；
将所述关键词与预定的镜像策略集中的镜像策略包括的预设关键词进行匹配；
将与所述关键词相匹配的所述预设关键词所对应的镜像策略，确定为所述流量数据对应的目标镜像策略。
可选地，所述目标镜像策略包括按照预设时间内镜像流量数据数量对应的镜像策略和按照预设镜像流量数量占所述流量数据总量的预设比值对应的镜像策略，所述基于确定的所述流量数据对应的目标镜像策略，对所述流量数据进行镜像处理，生成所述流量数据对应的镜像数据，包括：
基于预设时间内镜像流量数据数量对应的镜像策略，或者，按照预设镜像流量数量占所述流量数据总量的预设比值对应的镜像策略，对所述流量数据进行镜像，生成镜像数据。
可选地，所述目标数据平面代理以sidecar的方式和应用程序部署在同一容器中。
可选地，所述目标数据平面代理与所述应用程序之间进行本地通信，不同应用程序之间通过所述目标数据平面代理进行网络通信。
可选地，在所述提取所述镜像数据的关键词之前，还包括：
检测是否存在预定的镜像策略集，且所述预定的镜像策略集中包括至少一个镜像策略；
在存在所述预定的镜像策略集的情况下，对所述流量数据进行过滤处理，以将流量数据中的仿真流量和/或压测流量的流量数据滤除，得到过滤后的流量数据。
可选地，所述目标数据平面代理为采用Golang编程语言开发的Service Mesh数据平面代理，所述业务扩展实现层为代理Proxy层。
可选地，所述预定的镜像策略集中的镜像策略的策略属性包括镜像对象、镜像类型、镜像模式、镜像协议中的一个或多个。
由以上本说明书实施例提供的技术方案可见，本说明书实施例通过从目标数据平面代理的业务扩展实现层获取流量数据，流量数据包括请求流量数据和/或响应流量数据，根据流量数据，确定流量数据对应的目标镜像策略，然后，基于确定的流量数据对应的目标镜像策略，对流量数据进行镜像处理，生成流量数据对应的镜像数据，并将流量数据对应的镜像数据转发至镜像管道，以使数据分析服务器从镜像管道获取镜像数据，并对镜像数据进行分析处理，这样，通过从目标数据平面代理的业务扩展实现层获取流量数据，避免了上述获取流量数据的过程中，存在数据重组还原难度大，业务数据提取难度大，加密通信情况下无法解析，从而减少了获取流量数据的过程中计算资源的消耗。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书的实施例是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (13)
1.一种流量镜像方法，所述方法包括：
从目标数据平面代理的业务扩展实现层获取流量数据，所述流量数据包括请求流量数据和/或响应流量数据；
根据所述流量数据，确定所述流量数据对应的目标镜像策略；
基于确定的所述流量数据对应的目标镜像策略，对所述流量数据进行镜像处理，生成所述流量数据对应的镜像数据；
将所述流量数据对应的镜像数据转发至镜像管道，以使数据分析服务器从所述镜像管道获取所述镜像数据，并对所述镜像数据进行分析处理。
2.根据权利要求1所述的方法，所述根据所述流量数据，确定所述流量数据对应的目标镜像策略，包括：
提取所述流量数据中包含的关键词；
将所述关键词与预定的镜像策略集中的镜像策略包括的预设关键词进行匹配；
将与所述关键词相匹配的所述预设关键词所对应的镜像策略，确定为所述流量数据对应的目标镜像策略。
3.根据权利要求1所述的方法，所述目标镜像策略包括按照预设时间内镜像流量数据数量对应的镜像策略和按照预设镜像流量数量占所述流量数据总量的预设比值对应的镜像策略，所述基于确定的所述流量数据对应的目标镜像策略，对所述流量数据进行镜像处理，生成所述流量数据对应的镜像数据，包括：
基于预设时间内镜像流量数据数量对应的镜像策略，或者，按照预设镜像流量数量占所述流量数据总量的预设比值对应的镜像策略，对所述流量数据进行镜像，生成镜像数据。
4.根据权利要求1所述的方法，所述目标数据平面代理以sidecar的方式和应用程序部署在同一容器中。
5.根据权利要求4所述的方法，所述目标数据平面代理与所述应用程序之间进行本地通信，不同应用程序之间通过所述目标数据平面代理进行网络通信。
6.根据权利要求2所述的方法，在所述提取所述镜像数据的关键词之前，还包括：
检测是否存在预定的镜像策略集，且所述预定的镜像策略集中包括至少一个镜像策略；
在存在所述预定的镜像策略集的情况下，对所述流量数据进行过滤处理，以将流量数据中的仿真流量和/或压测流量的流量数据滤除，得到过滤后的流量数据。
7.根据权利要求1所述的方法，所述目标数据平面代理为采用Golang编程语言开发的Service Mesh数据平面代理，所述业务扩展实现层为代理Proxy层。
8.根据权利要求2所述的方法，所述预定的镜像策略集中的镜像策略的策略属性包括镜像对象、镜像类型、镜像模式、镜像协议中的一个或多个。
9.一种流量镜像装置，所述装置包括：
数据获取模块，从目标数据平面代理的业务扩展实现层获取流量数据，所述流量数据包括请求流量数据和/或响应流量数据；
策略确定模块，根据所述流量数据，确定所述流量数据对应的目标镜像策略；
数据生成模块，基于确定的所述流量数据对应的目标镜像策略，对所述流量数据进行镜像处理，生成所述流量数据对应的镜像数据；
数据转发模块，将所述流量数据对应的镜像数据转发至镜像管道，以使数据分析服务器从所述镜像管道获取所述镜像数据，并对所述镜像数据进行分析处理。
10.根据权利要求9所述的装置，所述策略确定模块，包括：
提取单元，提取所述流量数据中包含的关键词；
匹配单元，将所述关键词与预定的镜像策略集中的镜像策略包括的预设关键词进行匹配；
确定单元，将与所述关键词相匹配的所述预设关键词所对应的镜像策略，确定为所述流量数据对应的目标镜像策略。
11.根据权利要求9所述的装置，所述目标镜像策略包括按照预设时间内镜像流量数据数量对应的镜像策略和按照预设镜像流量数量占所述流量数据总量的预设比值对应的镜像策略；
所述数据生成模块，基于预设时间内镜像流量数据数量对应的镜像策略，或者，按照预设镜像流量数量占所述流量数据总量的预设比值对应的镜像策略，对所述流量数据进行镜像，生成镜像数据。
12.根据权利要求10所述的装置，所述装置还包括：
策略检测模块，在所述提取所述镜像数据的关键词之前，检测是否存在预定的镜像策略集，且所述预定的镜像策略集中包括至少一个镜像策略；
过滤处理模块，在存在所述预定的镜像策略集的情况下，对所述流量数据进行过滤处理，以将流量数据中的仿真流量和/或压测流量的流量数据滤除，得到过滤后的流量数据。
13.一种流量镜像设备，所述流量镜像设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
从目标数据平面代理的业务扩展实现层获取流量数据，所述流量数据包括请求流量数据和/或响应流量数据；
根据所述流量数据，确定所述流量数据对应的目标镜像策略；
基于确定的所述流量数据对应的目标镜像策略，对所述流量数据进行镜像处理，生成所述流量数据对应的镜像数据；
将所述流量数据对应的镜像数据转发至镜像管道，以使数据分析服务器从所述镜像管道获取所述镜像数据，并对所述镜像数据进行分析处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010625137.1A CN111741120A (zh) | 2020-07-01 | 2020-07-01 | 一种流量镜像方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010625137.1A CN111741120A (zh) | 2020-07-01 | 2020-07-01 | 一种流量镜像方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111741120A true CN111741120A (zh) | 2020-10-02 |
Family
ID=72652461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010625137.1A Pending CN111741120A (zh) | 2020-07-01 | 2020-07-01 | 一种流量镜像方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111741120A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112437124A (zh) * | 2020-11-09 | 2021-03-02 | 北京金山云网络技术有限公司 | 流量镜像请求的处理方法、装置及负载均衡服务器 |
| CN113542437A (zh) * | 2021-09-16 | 2021-10-22 | 阿里云计算有限公司 | 网络系统、网络代理方法及设备 |
| CN115033495A (zh) * | 2022-08-02 | 2022-09-09 | 荣耀终端有限公司 | 一种压测模型创建方法及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140280211A1 (en) * | 2013-03-15 | 2014-09-18 | Enterasys Networks, Inc. | Device and related method for application identification |
| CN109981789A (zh) * | 2019-04-03 | 2019-07-05 | 山东浪潮云信息技术有限公司 | 一种基于代理模式的微服务引擎 |
| CN110401696A (zh) * | 2019-06-18 | 2019-11-01 | 华为技术有限公司 | 一种去中心化处理的方法、通信代理、主机以及存储介质 |
| CN110554856A (zh) * | 2019-09-06 | 2019-12-10 | 航天科工广信智能技术有限公司 | 一种微服务治理系统 |
| US20200204636A1 (en) * | 2018-12-20 | 2020-06-25 | Ebay Inc. | Traffic mirroring |
-
2020
- 2020-07-01 CN CN202010625137.1A patent/CN111741120A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140280211A1 (en) * | 2013-03-15 | 2014-09-18 | Enterasys Networks, Inc. | Device and related method for application identification |
| US20200204636A1 (en) * | 2018-12-20 | 2020-06-25 | Ebay Inc. | Traffic mirroring |
| CN109981789A (zh) * | 2019-04-03 | 2019-07-05 | 山东浪潮云信息技术有限公司 | 一种基于代理模式的微服务引擎 |
| CN110401696A (zh) * | 2019-06-18 | 2019-11-01 | 华为技术有限公司 | 一种去中心化处理的方法、通信代理、主机以及存储介质 |
| CN110554856A (zh) * | 2019-09-06 | 2019-12-10 | 航天科工广信智能技术有限公司 | 一种微服务治理系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112437124A (zh) * | 2020-11-09 | 2021-03-02 | 北京金山云网络技术有限公司 | 流量镜像请求的处理方法、装置及负载均衡服务器 |
| CN113542437A (zh) * | 2021-09-16 | 2021-10-22 | 阿里云计算有限公司 | 网络系统、网络代理方法及设备 |
| CN115033495A (zh) * | 2022-08-02 | 2022-09-09 | 荣耀终端有限公司 | 一种压测模型创建方法及电子设备 |
| CN115033495B (zh) * | 2022-08-02 | 2022-12-20 | 荣耀终端有限公司 | 一种压测模型创建方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210081950A1 (en) | Method and apparatus for identifying identity information | |
| CN113766035B (zh) | 一种业务受理及共识的方法及装置 | |
| CN111756550B (zh) | 一种区块链共识方法及装置 | |
| CN111741120A (zh) | 一种流量镜像方法、装置及设备 | |
| CN111767143B (zh) | 交易数据处理方法、装置、设备及系统 | |
| CN108600326B (zh) | 通信方法、装置及设备 | |
| US10261829B2 (en) | Generating differences for tuple attributes | |
| JP7360395B2 (ja) | 入力および出力スキーママッピング | |
| CN107463434B (zh) | 一种分布式任务处理方法与设备 | |
| Da et al. | Kalimucho: middleware for mobile applications | |
| US9262499B2 (en) | Context-based graphical database | |
| WO2020001110A1 (zh) | 一种信息的处理方法、装置、设备及系统 | |
| CN113495797B (zh) | 一种消息队列及消费者动态创建方法及系统 | |
| CN110046187B (zh) | 数据处理系统、方法及装置 | |
| CN112560022B (zh) | 一种系统接口调用的检测方法及装置 | |
| US20150074684A1 (en) | Techniques for enabling inter-process communication (ipc) among multiple personas in a mobile technology platform | |
| CN110457132B (zh) | 一种功能对象的创建方法、装置和终端设备 | |
| CN112181542A (zh) | 功能调用方法、装置、电子设备及存储介质 | |
| US9819759B2 (en) | Inter-site integration platform for communication between social networking sites | |
| CN111552580A (zh) | 分布式微服务决策方法、装置、设备及计算机存储介质 | |
| CN111597058A (zh) | 一种数据流处理方法及系统 | |
| CN115994156A (zh) | 用于实时分析数据流的方法和系统 | |
| CN110391952B (zh) | 一种性能分析方法、装置及其设备 | |
| CN111324778B (zh) | 数据、业务处理方法、装置及电子设备 | |
| CN114915837B (zh) | 视频渲染的触发方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201002 |
|
| RJ01 | Rejection of invention patent application after publication |