CN114598622B - 数据监控方法及装置、存储介质、计算机设备 - Google Patents

Abstract

本发明公开了一种数据监控方法及装置、存储介质、计算机设备，涉及数据处理技术领域，主要目的在于解决现有数据监控的准确性差的问题。包括：当接收到数据流监控请求后，基于在微服务监控子系统中所配置的跟踪链路生成链路数据；从全链路调用数据库中调取与所述链路数据匹配的关联数据，所述全链路调用数据库中记录有不同链路数据在不同跟踪链路中所产生的关联数据，所述关联数据包括流量数据、数据库存储信息、消息队列调用信息；获取流控子系统中解析所述关联数据得到的链路调用关系，并提取通过所述微服务监控子系统对所述链路调用关系进行整合得到的整合链路；按照监控需求对所述整合链路中的数据流进行监控，得到监控结果。

Description

数据监控方法及装置、存储介质、计算机设备

技术领域

本发明涉及一种数据处理技术领域，特别是涉及一种数据监控方法及装置、存储介质、计算机设备。

背景技术

随着大数据时代的到来，数据安全越来越收到企业的重视。尤其是对敏感数据的安全性，需要建立数据传输过程中的监控，以确保敏感数据的安全。

目前，现有对敏感数据进行监控通常采用openresty+nginx方式进行数据流监控，其中，Openresty是一个基于NGINX和Lua的高性能Web平台，从而分析各个数据系统之间数据流的调用，实现数据传输过程中对敏感数据的监控。但是，由于无法获取企业的流量以及数据库和消息队列的调用，仅仅基于openresty+nginx方式大大降低了对数据监控的准确性。

发明内容

有鉴于此，本发明提供一种数据监控方法及装置、存储介质、计算机设备，主要目的在于解决现有数据监控的准确性差的问题。

依据本发明一个方面，提供了一种数据监控方法，包括：

当接收到数据流监控请求后，基于在微服务监控子系统中所配置的跟踪链路生成链路数据；

从全链路调用数据库中调取与所述链路数据匹配的关联数据，所述全链路调用数据库中记录有不同链路数据在不同跟踪链路中所产生的关联数据，所述关联数据包括流量数据、数据库存储信息、消息队列调用信息；

获取流控子系统中解析所述关联数据得到的链路调用关系，并提取通过所述微服务监控子系统对所述链路调用关系进行整合得到的整合链路；

按照监控需求对所述整合链路中的数据流进行监控，得到监控结果。

进一步地，所述基于在微服务监控子系统中所配置的跟踪链路生成链路数据之前，所述方法还包括：

当检测到各应用程序触发的至少一个访问请求，指示所述微服务监控子系统基于所述应用程序的跟踪对象以及所述访问请求的请求参数确定跟踪节点、跟踪跨度；

获取所述微服务监控子系统基于所述跟踪对象、所述跟踪节点、所述跟踪跨度配置跟踪链路，所述跟踪链路为不同业务数据在各应用程序之间进行数据流转的传输路径。

进一步地，所述指示所述微服务监控子系统基于所述应用程序的跟踪对象确定跟踪节点、跟踪跨度之前，所述方法还包括：

向所述流控子系统发送所述访问请求中携带的所述应用程序的跟踪对象，以指示所述流控子系统对所述跟踪对象进行去重处理；

指示所述流控子系统对所述访问请求中的请求参数进行填补处理，将所述流控子系统进行去重处理后的跟踪对象、以及填补处理后的请求参数发送至所述微服务监控子系统中，以基于所述请求参数、所述跟踪对象确定跟踪节点、跟踪跨度。

进一步地，所述获取流控子系统中解析所述关联数据得到的链路调用关系之前，所述方法还包括：

指示所述流控子系统按照所述跟踪节点、所述跟踪跨度、所述跟踪对象对所述关联数据进行解析，得到各应用程序之间的链路调用关系，所述链路调用关系中包括各应用程序之间的http请求的参数、数据库操作、消息队列数据的调用关系。

进一步地，所述提取通过所述微服务监控子系统对所述链路调用关系进行整合得到的整合链路包括：

若所述链路调用关系中的起始调用点未记录于所述微服务监控子系统中，则将所述微服务监控子系统中生成的第一目标关系确定为第一整合链路；

若所述链路调用关系中的起始调用点所对应的关联调用关系记录于所述微服务监控子系统中，则将所述微服务监控子系统中生成的第二目标关系增加至所述链路调用关系中，得到第二整合链路；

若所述链路调用关系中的起始调用点记录于所述微服务监控子系统中，则指示所述微服务监控子系统调用所述流控子系统中的请求参数对所述链路调用关系进行调整，得到整合后的第三整合链路。

进一步地，所述按照监控需求对所述整合链路中的数据流进行监控，得到监控结果包括：

解析所述监控需求中的监控对象、监控业务，从所述整合链路中提取与所述监控对象、所述监控业务匹配的数据流，所述数据流包括传输于各应用程序中预先确定的敏感数据；

若所述数据流符合预设应用程序敏感白名单，则确定所述数据流为安全数据；

若所述数据流不符合预设应用程序敏感白名单，则确定所述数据流为异常数据，并进行上报。

进一步地，所述方法还包括：

当接收到网页端触发的监控处理请求时，解析所述监控处理请求中的监控目标链路，调取与所述监控目标链路匹配的整合链路，并输出所述整合链路中的全部调用记录点，以对所述调用记录点中的数据流进行监控查询。

依据本发明另一个方面，提供了一种数据监控装置，包括：

生成模块，用于当接收到数据流监控请求后，基于在微服务监控子系统中所配置的跟踪链路生成链路数据；

调取模块，用于从全链路调用数据库中调取与所述链路数据匹配的关联数据，所述全链路调用数据库中记录有不同链路数据在不同跟踪链路中所产生的关联数据，所述关联数据包括流量数据、数据库存储信息、消息队列调用信息；

获取模块，用于获取流控子系统中解析所述关联数据得到的链路调用关系，并提取通过所述微服务监控子系统对所述链路调用关系进行整合得到的整合链路；

监控模块，用于按照监控需求对所述整合链路中的数据流进行监控，得到监控结果。

进一步地，所述装置还包括：指示模块，

所述指示模块，用于当检测到各应用程序触发的至少一个访问请求，指示所述微服务监控子系统基于所述应用程序的跟踪对象以及所述访问请求的请求参数确定跟踪节点、跟踪跨度；

所述获取模块，还用于获取所述微服务监控子系统基于所述跟踪对象、所述跟踪节点、所述跟踪跨度配置跟踪链路，所述跟踪链路为不同业务数据在各应用程序之间进行数据流转的传输路径。

进一步地，所述装置还包括：发送模块，

所述发送模块，用于向所述流控子系统发送所述访问请求中携带的所述应用程序的跟踪对象，以指示所述流控子系统对所述跟踪对象进行去重处理；

所述发送模块，还用于指示所述流控子系统对所述访问请求中的请求参数进行填补处理，将所述流控子系统进行去重处理后的跟踪对象、以及填补处理后的请求参数发送至所述微服务监控子系统中，以基于所述请求参数、所述跟踪对象确定跟踪节点、跟踪跨度。

进一步地，所述指示模块，还用于指示所述流控子系统按照所述跟踪节点、所述跟踪跨度、所述跟踪对象对所述关联数据进行解析，得到各应用程序之间的链路调用关系，所述链路调用关系中包括各应用程序之间的http请求的参数、数据库操作、消息队列数据的调用关系。

进一步地，所述获取模块包括：

确定单元，用于若所述链路调用关系中的起始调用点未记录于所述微服务监控子系统中，则将所述微服务监控子系统中生成的第一目标关系确定为第一整合链路；

生成单元，还用于若所述链路调用关系中的起始调用点所对应的关联调用关系记录于所述微服务监控子系统中，则将所述微服务监控子系统中生成的第二目标关系增加至所述链路调用关系中，得到第二整合链路；

指示单元，还用于若所述链路调用关系中的起始调用点记录于所述微服务监控子系统中，则指示所述微服务监控子系统调用所述流控子系统中的请求参数对所述链路调用关系进行调整，得到整合后的第三整合链路。

进一步地，所述监控模块包括：

解析单元，用于解析所述监控需求中的监控对象、监控业务，从所述整合链路中提取与所述监控对象、所述监控业务匹配的数据流，所述数据流包括传输于各应用程序中预先确定的敏感数据；

第一确定单元，用于若所述数据流符合预设应用程序敏感白名单，则确定所述数据流为安全数据；

第二确定单元，用于若所述数据流不符合预设应用程序敏感白名单，则确定所述数据流为异常数据，并进行上报。

进一步地，所述装置还包括：

输出模块，用于当接收到网页端触发的监控处理请求时，解析所述监控处理请求中的监控目标链路，调取与所述监控目标链路匹配的整合链路，并输出所述整合链路中的全部调用记录点，以对所述调用记录点中的数据流进行监控查询。

根据本发明的又一方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述数据监控方法对应的操作。

根据本发明的再一方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述数据监控方法对应的操作。

借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：

本发明提供了一种数据监控方法及装置、存储介质、计算机设备，与现有技术相比，本发明实施例通过当接收到数据流监控请求后，基于在微服务监控子系统中所配置的跟踪链路生成链路数据；从全链路调用数据库中调取与所述链路数据匹配的关联数据，所述全链路调用数据库中记录有不同链路数据在不同跟踪链路中所产生的关联数据，所述关联数据包括流量数据、数据库存储信息、消息队列调用信息；获取流控子系统中解析所述关联数据得到的链路调用关系，并提取通过所述微服务监控子系统对所述链路调用关系进行整合得到的整合链路；按照监控需求对所述整合链路中的数据流进行监控，得到监控结果，大大提高了各应用程序之间进行数据流监控的效率，满足对流量、数据库、消息队列调用的监控需求，结合流控子系统与微服务监控子系统来实现对数据进行监控的有效性，从而提高对各个微服务应用程序之间调用过程中数据监控的效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种数据监控方法流程图；

图2示出了本发明实施例提供的另一种数据监控方法流程图；

图3示出了本发明实施例提供的又一种数据监控方法流程图；

图4示出了本发明实施例提供的再一种数据监控方法流程图；

图5示出了本发明实施例提供的一种数据监控装置组成框图；

图6示出了本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

针对对敏感数据进行监控通常采用openresty+nginx方式进行数据流监控，其中，Openresty是一个基于NGINX和Lua的高性能Web平台，从而分析各个数据系统之间数据流的调用，实现数据传输过程中对敏感数据的监控。但是，由于无法获取企业的流量以及数据库和消息队列的调用，仅仅基于openresty+nginx方式大大降低了对数据监控的准确性本发明实施例提供了一种数据监控方法，如图1所示，该方法包括：

101、当接收到数据流监控请求后，基于在微服务监控子系统中所配置的跟踪链路生成链路数据。

本发明实施例中，当前执行主体为作为对数据进行监控的服务端，与微服务监控子系统、流控子系统形成一个数据监控系统，当前执行端接收用户或不同服务系统对数据请求监控的数据流监控请求，此时，当前执行端从微服务器监控子系统中获取配置的跟踪链路生成链路数据。其中，微服务监控子系统为一个分布式系统，记录并存储各个应用程序(微服务)之间的数据流转内容，此时，记录跟踪各个应用程序(微服务)之间的数据流转内容包括但不限于数据流转于数据库、消息队列的调用情况，如PinPoint系统，在基于PinPoint系统作为微服务监控子系统的系统结构中，代理处理器Agent部署在安装微服务应用程序的终端上，用于收集数据，并通过Agent采集数据后传输到控制器Collector上，Collector收集Agent传来的数据，并保存到Hbase数据库中，Hbase中存储全链路调用的数据，此时，用户产生一次数据访问请求，则将对应的调用数据存储于Hbase中，以便微服务监控子系统中所配置的跟踪链路，使得在当前执行端接收到数据流监控请求后，基于跟踪链路生成链路数据。

需要说明的是，跟踪链路为微服务监控子系统中所配置的，可以为基于链路关系图形式存储，也可以为链路关系对应列表形式存储，跟踪链路为不同业务数据在各应用程序之间进行数据流转的传输路径，例如，跟踪链路为从第一微服务应用程序到第二微服务应用程序之间的调用路径，此时，当前执行端基于此跟踪链路生成链路数据，链路数据包括但不限于此跟踪链路所对应的全部调用数据以及调用路径信息，本发明实施例不做具体限定。

102、从全链路调用数据库中调取与所述链路数据匹配的关联数据。

本发明实施例中，当前执行端在生成链路数据后，基于存储在当前执行端中预先存储的全链路调用数据库调取与链路数据匹配的关联数据。其中，所述全链路调用数据库中记录有不同链路数据在不同跟踪链路中所产生的关联数据，关联数据为与一个访问请求的全链路所对应的全部数据内容，通常有几千或者上万条，关联数据包括但不限于流量数据、数据库存储信息、消息队列调用信息，本发明实施例不做具体限定。

103、获取流控子系统中解析所述关联数据得到的链路调用关系，并提取通过所述微服务监控子系统对所述链路调用关系进行整合得到的整合链路。

本发明实施例中，流控子系统为用于对不同应用程序进行数据流监控的系统，此时，流控子系统中记录有不同数据在不同应用程序中流转、调用的链路调用关系，因此，当前执行端在调取到关联数据后，从流控子系统中获取解析关联数据得到的链路调用关系。其中，链路调用关系为结合关联数据可以匹配到的被访问数据所流转的整个调用链路，例如，链路数据为访问视频1，对应的关联数据包括经过应用程序a到应用程序b所需流量数据x，流控子系统解析关联数据得到链路调用关系为应用程序a调用应用程序b。此时，由于关联数据解析得到的链路调用关系可以包含多个，为了避免相同或者重叠的链路调用，通过微服务端监控子系统对链路调用关系进行整合，从而得到一个完整且无重复的调用链路，作为整合链路。

需要说明的是，本发明实施例中，当前执行端在获取链路调用关系以及提取整合链路前，由于步骤102的关联数据是从当前执行端中的全链路调用数据库中调取的，因此，当前执行端将关联数据发送至流控子系统中进行解析，然后将当前执行端从流控子系统中获取到的链路调用关系发送至微服务监控子系统，以在微服务监控子系统中对链路调用关系进行整合得到的整合链路，使得在不同的服务端执行不同的数据处理流程，实现分布式高效的数据监控。

本发明实施例中，对于微服务监控子系统对链路调用关系进行整合得到整合链路，即为基于一个跟踪对象将全部具有链路调用关系的应用程序之间调用路径整合为一个，并同时过滤掉其他跟踪对象在本路径中的路径内容，从而作为一个跟踪对象的整合链路。

104、按照监控需求对所述整合链路中的数据流进行监控，得到监控结果。

本发明实施例中，当获取到整合链路时，当前执行端对整合链路中的数据流进行监控，从而得到监控结果。此时，整合链路中包含数据被不同微服务应用程序所调用的完整链路，从而有效且具有针对性的监控。其中，监控需求用于表示不同监控对象处于不同监控业务中的监控内容，监控需求包括但不限于敏感数据在保险业务中的安全性存储位置、流量数据在视频应用程序中的流量限制内容等，本发明实施例不做具体限定。

在另一个本发明实施例中，为了进一步限定及说明，如图2所示，步骤101基于在微服务监控子系统中所配置的跟踪链路生成链路数据之前，所述方法还包括：

201、当检测到各应用程序触发的至少一个访问请求，指示所述微服务监控子系统基于所述应用程序的跟踪对象以及所述访问请求的请求参数确定跟踪节点、跟踪跨度；

202、获取所述微服务监控子系统基于所述跟踪对象、所述跟踪节点、所述跟踪跨度配置跟踪链路。

为了实现对数据在不同微服务应用程序之间的调用关系的跟踪，当前执行端在检测到各个应用程序中用户触发访问请求时，以此为数据跟踪的时间节点，指示微服务监控子系统确定应用程序的跟踪对象，以及基于访问请求的请求参数确定跟踪节点、以及跟踪跨度，从而使得微服务监控子系统基于跟踪对象、跟踪节点、跟踪跨度配置跟踪链路。其中，所述跟踪链路为不同业务数据在各应用程序之间进行数据流转的传输路径，跟踪对象为与一个访问请求在应用程序中请求数据处理的对象，即一个跟踪对象为在用户对特定应用程序中触发访问请求的起始阶段生成的一个全局traceid，在一个完整访问请求经过多个应用程序时，此全局traceid在每个应用程序中均相同，从而通过将全局traceid串联起来得到完整的链路。跟踪节点为记录跟踪对象的节点，跟踪跨度为跟踪对象在不同跟踪节点之间的跨度，对于每个应用程序，在进行请求访问时通过记录与作为跟踪对象的全局traceid对应的跟踪节点parentid以及跟踪跨度spanid，以确定每一条跟踪链路的调用关系，其中，对于起始跨度spanid配置为root。本发明实施例中，微服务监控子系统中实时记录有不同应用程序的跟踪对象与访问请求的请求参数所对应的跟踪节点、跟踪跨度，即通过记录内容来确定与请求参数、跟踪对象所对应的跟踪节点、跟踪跨度，本发明实施例不做具体限定。

需要说明的是，本发明实施例中，微服务监控子系统生成一个全局跟踪traceid是通过创建一个trace基类，设置traceid属性，从而跟踪对象、跟踪节点、跟踪跨度配置跟踪链路，traceid具体表现形式三部分组成：agentid+时间戳+随机生成数字组，本发明实施例不做具体限定。此时，配置的跟踪链路中记载有完整的访问请求所串联的链路内容，即配置的跟踪链路中包含此跟踪对象在不同跟踪节点所对应的跟踪跨度。

在另一个本发明实施例中，为了进一步限定及说明，如图3所示，步骤201指示所述微服务监控子系统基于所述应用程序的跟踪对象确定跟踪节点、跟踪跨度之前，所述方法还包括：

301、向所述流控子系统发送所述访问请求中携带的所述应用程序的跟踪对象；

302、指示所述流控子系统对所述访问请求中的请求参数进行填补处理，将所述流控子系统进行去重处理后的跟踪对象、以及填补处理后的请求参数发送至所述微服务监控子系统中。

本发明实施例中，由于用户在访问应用程序时，可能存在多次访问的情况，为了避免在跟踪的重复性，提高跟踪链路的配置有效性，当前执行端将跟踪对象发送至流控子系统中，由于流控子系统中存储有不同数据在不同应用程序中流转、调用的链路调用关系，因此，当前执行端发送跟踪节点后，指示流控子系统对所述跟踪对象进行去重处理。其中，作为跟踪对象的全局traceid会通过访问各个应用程序生成一条链路形式的数据，并存储于kafka数据库中，因此，流控子系统对存储在kafka数据库中的每一个访问请求所对应的全局traceid进行去重。

同时，为了避免微服务监控子系统PinPoint中部分请求之间缺少请求参数，如缺少http请求的参数，因此，流控子系统获取各个访问请求所对应的参数，并从微服务监控子系统PinPoint中获取各个访问请求的请求参数进行填补处理，即对请求参数中的应用内容、数据库、mqcp、kafka、外部应用等进行填补，从而将流控子系统进行去重处理后的跟踪对象、以及填补处理后的请求参数发送至微服务监控子系统中，以使微服务监控子系统基于请求参数、跟踪对象确定跟踪节点、跟踪跨度。

在另一个本发明实施例中，为了进一步限定及说明，步骤获取流控子系统中解析所述关联数据得到的链路调用关系之前，所述方法还包括：指示所述流控子系统按照所述跟踪节点、所述跟踪跨度、所述跟踪对象对所述关联数据进行解析，得到各应用程序之间的链路调用关系。

本发明实施例中，由于是通过流控子系统中解析关联数据，从而得到链路调用关系，因此，当前执行端指示流控子系统按照跟踪节点、跟踪快点、跟踪对象对关联数据进行解析，得到数据流转所经过的各个应用程序之间的链路调用关系。其中，由于关联数据为与一个访问请求的全链路所对应的全部数据内容，为了确定链路调用关系，流控子系统按照跟踪节点、跟踪跨度对关联数据进行解析，即解析出在哪个跟踪节点，表示对应的跟踪traceid处调用了哪些数据，此时处于哪个跟踪跨度，从而建立各个应用程序之间的链路调用关系。具体的，所述链路调用关系中包括各应用程序之间的http请求的参数、数据库操作、消息队列数据的调用关系，例如，某条链路调用关系可以为应用A到应用B的调用链路关系，此时，解析得到的链路调用关系可以通过包含多个应用程序以及调用关系边的全链路调用关系图，在此全链路调用关系图中每条边表示为一个链路调用关系，本发明实施例不做具体限定。

在另一个本发明实施例中，为了进一步限定及说明，步骤103提取通过所述微服务监控子系统对所述链路调用关系进行整合得到的整合链路包括：

若所述链路调用关系中的起始调用点未记录于所述微服务监控子系统中，则将所述微服务监控子系统中生成的第一目标关系确定为第一整合链路；

若所述链路调用关系中的起始调用点所对应的关联调用关系记录于所述微服务监控子系统中，则将所述微服务监控子系统中生成的第二目标关系增加至所述链路调用关系中，得到第二整合链路；

若所述链路调用关系中的起始调用点记录于所述微服务监控子系统中，则指示所述微服务监控子系统调用所述流控子系统中的请求参数对所述链路调用关系进行调整，得到整合后的第三整合链路。

本发明实施例中，由于整合得到的整合链路是基于微服务监控子系统中得到的，因此，具体的在进行整合时，针对表征为一条关系边的链路调用关系而言，可以判断起点调用点与终点调用点是否记录于微服务监控子系统中，从而确定如何进行整合。其中，分别判断链路调用关系中的起始调用点、以及起始调用点所对应的关联调用关系是否记录于微服务监控子系统中，从而确定整合链路。若链路调用关系中的起始调用点所对应的关联调用关系记录于微服务监控子系统中，则将微服务监控子系统中生成的第一目标关系确定为第一整合链路。例如，对于起始调用点都不在微服务监控子系统PinPoint的链路调用关系图中，则生成两条链路调用关系边，第一条：USER->应用A，第二条：应用A->应用B，即作为第一目标关系，确定为整合后的链路调用关系：USER->应用A->应用B。若链路调用关系中的起始调用点所对应的关联调用关系记录于微服务监控子系统中，则将微服务监控子系统中生成的第二目标关系增加至链路调用关系中，得到第二整合链路。例如，对于起始调用点至终点调用点中某条链路调用关系边存在微服务监控子系统PinPoint的链路调用关系图中，则新建应用A->应用B的链路调用关系，即作为第二目标关系，增加至链路条用关系中。若链路调用关系中的起始调用点记录于所述微服务监控子系统中，则指示微服务监控子系统调用流控子系统中的请求参数对链路调用关系进行调整，得到整合后的第三整合链路。例如，对于起始调用点都存在于微服务监控子系统PinPoint的关系图中，则调用流控子系统中的请求参数对链路调用关系进行调整，即为结合流控子系统和微服务监控子系统PinPoint中的数据进行整合，互相弥补。同时，由于流控子系统中记载有完整且全面的请求参数，而微服务监控子系统PinPoint中数据覆盖范围较大，可关联数据库，消息队列等信息，对于的指示微服务监控子系统调用流控子系统中的请求参数对链路调用关系进行调整的内容包括但不限于http的请求参数、数据库的表名、库名以及执行的语句、还有消息队列的topic和消息内容等内容，本发明实施例不做具体限定。另外，链路调用关系图中包含被跟踪的应用程序，数据库等信息，对应的每条链路调用关系边上记录有对应详细的url和请求参数，从而形成完整的一个链路调用关系图。

在另一个本发明实施例中，为了进一步限定及说明，如图4所示，步骤按照监控需求对所述整合链路中的数据流进行监控，得到监控结果包括：

401、解析所述监控需求中的监控对象、监控业务，从所述整合链路中提取与所述监控对象、所述监控业务匹配的数据流；

402、若所述数据流符合预设应用程序敏感白名单，则确定所述数据流为安全数据；

403、若所述数据流不符合预设应用程序敏感白名单，则确定所述数据流为异常数据，并进行上报。

本发明实施例中，为了实现对数据的有效，监控当前执行端在进行数据监控过程中，具体的按照监控需求中的监控对象、监控业务从整合链路中提取与所述监控对象、所述监控业务匹配的数据流，从而对数据流进行监控。其中，所述数据流包括传输于各应用程序中预先确定的敏感数据，监控需求用于表示不同监控对象处于不同监控业务中的监控内容，监控需求包括但不限于敏感数据在保险业务中的安全性存储位置、流量数据在视频应用程序中的流量限制内容，监控对象包括但不限于任意数据内容，监控业务包括但不限于保险业务、医疗业务、交易业务等，此时，从整合链路中提取与监控对象、监控业务匹配的数据流，判断是否符合预设应用程序敏感白名单。若数据流符合预设应用程序敏感白名单，则确定所述数据流为安全数据；若数据流不符合预设应用程序敏感白名单，则确定数据流为异常数据，并进行上报，其中，预设应用程序敏感白名单为预先配置不同应用程序敏感数据的安全名单，从而实现对数据流中的敏感数据进行监控。

在另一个本发明实施例中，为了进一步限定及说明，方法还包括：当接收到网页端触发的监控处理请求时，解析所述监控处理请求中的监控目标链路，调取与所述监控目标链路匹配的整合链路，并输出所述整合链路中的全部调用记录点，以对所述调用记录点中的数据流进行监控查询。

为了实现对数据监控的及时查询处理，提高数据监控的效率，当前执行端还连接有网页端，即通过web子系统连接至网页端，当用户通过web子系统触发网页端的监控处理请求后，当前执行端对监控处理请求中携带的监控目标链路进行解析，调取与监控目标链路匹配的整合链路。此时，即为对于链路调用关系图中整合链路的链路调用关系关系边的选取，例如，用户通过选取链路调用关系中的一个监控目标链路边，则当前执行端基于此监控目标链路边调取与此监控目标链路边对应的全部调用记录点进行显示，以对调用记录点中的数据流进行监控查询，从而满足对不同跟踪调用关系所对应的数据进行自由监控的需求。

本发明实时提供了一种数据监控方法，与现有技术相比，本发明实施例通过当接收到数据流监控请求后，基于在微服务监控子系统中所配置的跟踪链路生成链路数据；从全链路调用数据库中调取与所述链路数据匹配的关联数据，所述全链路调用数据库中记录有不同链路数据在不同跟踪链路中所产生的关联数据，所述关联数据包括流量数据、数据库存储信息、消息队列调用信息；获取流控子系统中解析所述关联数据得到的链路调用关系，并提取通过所述微服务监控子系统对所述链路调用关系进行整合得到的整合链路；按照监控需求对所述整合链路中的数据流进行监控，得到监控结果，大大提高了各应用程序之间进行数据流监控的效率，满足对流量、数据库、消息队列调用的监控需求，结合流控子系统与微服务监控子系统来实现对数据进行监控的有效性，从而提高对各个微服务应用程序之间调用过程中数据监控的效率。

进一步的，作为对上述图1所示方法的实现，本发明实施例提供了一种数据监控装置，如图5所示，该装置包括：

生成模块51，用于当接收到数据流监控请求后，基于在微服务监控子系统中所配置的跟踪链路生成链路数据；

调取模块52，用于从全链路调用数据库中调取与所述链路数据匹配的关联数据，所述全链路调用数据库中记录有不同链路数据在不同跟踪链路中所产生的关联数据，所述关联数据包括流量数据、数据库存储信息、消息队列调用信息；

获取模块53，用于获取流控子系统中解析所述关联数据得到的链路调用关系，并提取通过所述微服务监控子系统对所述链路调用关系进行整合得到的整合链路；

监控模块54，用于按照监控需求对所述整合链路中的数据流进行监控，得到监控结果。

进一步地，所述装置还包括：指示模块，

所述指示模块，用于当检测到各应用程序触发的至少一个访问请求，指示所述微服务监控子系统基于所述应用程序的跟踪对象以及所述访问请求的请求参数确定跟踪节点、跟踪跨度；

所述获取模块，还用于获取所述微服务监控子系统基于所述跟踪对象、所述跟踪节点、所述跟踪跨度配置跟踪链路，所述跟踪链路为不同业务数据在各应用程序之间进行数据流转的传输路径。

进一步地，所述装置还包括：发送模块，

所述发送模块，用于向所述流控子系统发送所述访问请求中携带的所述应用程序的跟踪对象，以指示所述流控子系统对所述跟踪对象进行去重处理；

所述发送模块，还用于指示所述流控子系统对所述访问请求中的请求参数进行填补处理，将所述流控子系统进行去重处理后的跟踪对象、以及填补处理后的请求参数发送至所述微服务监控子系统中，以基于所述请求参数、所述跟踪对象确定跟踪节点、跟踪跨度。

进一步地，所述指示模块，还用于指示所述流控子系统按照所述跟踪节点、所述跟踪跨度、所述跟踪对象对所述关联数据进行解析，得到各应用程序之间的链路调用关系，所述链路调用关系中包括各应用程序之间的http请求的参数、数据库操作、消息队列数据的调用关系。

进一步地，所述获取模块包括：

确定单元，用于若所述链路调用关系中的起始调用点未记录于所述微服务监控子系统中，则将所述微服务监控子系统中生成的第一目标关系确定为第一整合链路；

生成单元，还用于若所述链路调用关系中的起始调用点所对应的关联调用关系记录于所述微服务监控子系统中，则将所述微服务监控子系统中生成的第二目标关系增加至所述链路调用关系中，得到第二整合链路；

指示单元，还用于若所述链路调用关系中的起始调用点记录于所述微服务监控子系统中，则指示所述微服务监控子系统调用所述流控子系统中的请求参数对所述链路调用关系进行调整，得到整合后的第三整合链路。

进一步地，所述监控模块包括：

解析单元，用于解析所述监控需求中的监控对象、监控业务，从所述整合链路中提取与所述监控对象、所述监控业务匹配的数据流，所述数据流包括传输于各应用程序中预先确定的敏感数据；

第一确定单元，用于若所述数据流符合预设应用程序敏感白名单，则确定所述数据流为安全数据；

第二确定单元，用于若所述数据流不符合预设应用程序敏感白名单，则确定所述数据流为异常数据，并进行上报。

进一步地，所述装置还包括：

输出模块，用于当接收到网页端触发的监控处理请求时，解析所述监控处理请求中的监控目标链路，调取与所述监控目标链路匹配的整合链路，并输出所述整合链路中的全部调用记录点，以对所述调用记录点中的数据流进行监控查询。

本发明实时提供了一种数据监控装置，与现有技术相比，本发明实施例通过当接收到数据流监控请求后，基于在微服务监控子系统中所配置的跟踪链路生成链路数据；从全链路调用数据库中调取与所述链路数据匹配的关联数据，所述全链路调用数据库中记录有不同链路数据在不同跟踪链路中所产生的关联数据，所述关联数据包括流量数据、数据库存储信息、消息队列调用信息；获取流控子系统中解析所述关联数据得到的链路调用关系，并提取通过所述微服务监控子系统对所述链路调用关系进行整合得到的整合链路；按照监控需求对所述整合链路中的数据流进行监控，得到监控结果，大大提高了各应用程序之间进行数据流监控的效率，满足对流量、数据库、消息队列调用的监控需求，结合流控子系统与微服务监控子系统来实现对数据进行监控的有效性，从而提高对各个微服务应用程序之间调用过程中数据监控的效率。

根据本发明一个实施例提供了一种存储介质，所述存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的数据监控方法。

图6示出了根据本发明一个实施例提供的一种计算机设备的结构示意图，本发明具体实施例并不对计算机设备的具体实现做限定。

如图6所示，该计算机设备可以包括：处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。

其中：处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。

通信接口604，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器602，用于执行程序610，具体可以执行上述数据监控方法实施例中的相关步骤。

具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。

处理器602可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序610具体可以用于使得处理器602执行以下操作：

当接收到数据流监控请求后，基于在微服务监控子系统中所配置的跟踪链路生成链路数据；

从全链路调用数据库中调取与所述链路数据匹配的关联数据，所述全链路调用数据库中记录有不同链路数据在不同跟踪链路中所产生的关联数据，所述关联数据包括流量数据、数据库存储信息、消息队列调用信息；

获取流控子系统中解析所述关联数据得到的链路调用关系，并提取通过所述微服务监控子系统对所述链路调用关系进行整合得到的整合链路；

按照监控需求对所述整合链路中的数据流进行监控，得到监控结果。显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种数据监控方法，其特征在于，包括：

当接收到数据流监控请求后，基于在微服务监控子系统中所配置的跟踪链路生成链路数据；

从全链路调用数据库中调取与所述链路数据匹配的关联数据，所述全链路调用数据库中记录有不同链路数据在不同跟踪链路中所产生的关联数据，所述关联数据包括流量数据、数据库存储信息、消息队列调用信息；

获取流控子系统中解析所述关联数据得到的链路调用关系，并提取通过所述微服务监控子系统对所述链路调用关系进行整合得到的整合链路；

按照监控需求对所述整合链路中的数据流进行监控，得到监控结果。

2.根据权利要求1所述的方法，其特征在于，所述基于在微服务监控子系统中所配置的跟踪链路生成链路数据之前，所述方法还包括：

当检测到各应用程序触发的至少一个访问请求，指示所述微服务监控子系统基于所述应用程序的跟踪对象以及所述访问请求的请求参数确定跟踪节点、跟踪跨度；

获取所述微服务监控子系统基于所述跟踪对象、所述跟踪节点、所述跟踪跨度配置跟踪链路，所述跟踪链路为不同业务数据在各应用程序之间进行数据流转的传输路径。

3.根据权利要求2所述的方法，其特征在于，所述指示所述微服务监控子系统基于所述应用程序的跟踪对象确定跟踪节点、跟踪跨度之前，所述方法还包括：

向所述流控子系统发送所述访问请求中携带的所述应用程序的跟踪对象，以指示所述流控子系统对所述跟踪对象进行去重处理；

指示所述流控子系统对所述访问请求中的请求参数进行填补处理，将所述流控子系统进行去重处理后的跟踪对象、以及填补处理后的请求参数发送至所述微服务监控子系统中，以基于所述请求参数、所述跟踪对象确定跟踪节点、跟踪跨度。

4.根据权利要求3所述的方法，其特征在于，所述获取流控子系统中解析所述关联数据得到的链路调用关系之前，所述方法还包括：

指示所述流控子系统按照所述跟踪节点、所述跟踪跨度、所述跟踪对象对所述关联数据进行解析，得到各应用程序之间的链路调用关系，所述链路调用关系中包括各应用程序之间的http请求的参数、数据库操作、消息队列数据的调用关系。

5.根据权利要求1所述的方法，其特征在于，所述提取通过所述微服务监控子系统对所述链路调用关系进行整合得到的整合链路包括：

若所述链路调用关系中的起始调用点未记录于所述微服务监控子系统中，则将所述微服务监控子系统中生成的第一目标关系确定为第一整合链路；

若所述链路调用关系中的起始调用点所对应的关联调用关系记录于所述微服务监控子系统中，则将所述微服务监控子系统中生成的第二目标关系增加至所述链路调用关系中，得到第二整合链路；

若所述链路调用关系中的起始调用点记录于所述微服务监控子系统中，则指示所述微服务监控子系统调用所述流控子系统中的请求参数对所述链路调用关系进行调整，得到整合后的第三整合链路。

6.根据权利要求1所述的方法，其特征在于，所述按照监控需求对所述整合链路中的数据流进行监控，得到监控结果包括：

解析所述监控需求中的监控对象、监控业务，从所述整合链路中提取与所述监控对象、所述监控业务匹配的数据流，所述数据流包括传输于各应用程序中预先确定的敏感数据；

若所述数据流符合预设应用程序敏感白名单，则确定所述数据流为安全数据；

若所述数据流不符合预设应用程序敏感白名单，则确定所述数据流为异常数据，并进行上报。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当接收到网页端触发的监控处理请求时，解析所述监控处理请求中的监控目标链路，调取与所述监控目标链路匹配的整合链路，并输出所述整合链路中的全部调用记录点，以对所述调用记录点中的数据流进行监控查询。

8.一种数据监控装置，其特征在于，包括：

生成模块，用于当接收到数据流监控请求后，基于在微服务监控子系统中所配置的跟踪链路生成链路数据；

调取模块，用于从全链路调用数据库中调取与所述链路数据匹配的关联数据，所述全链路调用数据库中记录有不同链路数据在不同跟踪链路中所产生的关联数据，所述关联数据包括流量数据、数据库存储信息、消息队列调用信息；

获取模块，用于获取流控子系统中解析所述关联数据得到的链路调用关系，并提取通过所述微服务监控子系统对所述链路调用关系进行整合得到的整合链路；

监控模块，用于按照监控需求对所述整合链路中的数据流进行监控，得到监控结果。

9.一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的数据监控方法对应的操作。

10.一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的数据监控方法对应的操作。

Images