CN110868335B - 端到端的业务监控方法和装置 - Google Patents

Abstract

本发明实施例公开了一种端到端的业务监控方法和装置。该方法包括：确定业务的属性信息以及属性信息的校验码；其中属性信息包括如下至少一种：业务信息、应用信息和会话信息；对业务的属性信息进行清洗，以得到业务的新属性信息；根据业务的新属性信息和属性信息的校验码，确定业务的属性标识码，并将业务的属性标识码和业务的新属性信息进行关联，用于显示新属性信息。本发明实施例通过对确定的业务的属性信息进行清洗处理，并根据得到的业务的新属性信息和属性信息的校验码，确定业务的属性标识码，用以区分业务的新属性信息，能够通过业务的属性标识码准确的与业务的新属性信息实行关联，实现对应用的端到端业务全链路性能的监控。

Description

端到端的业务监控方法和装置

技术领域

本发明实施例涉及计算机应用领域，尤其涉及一种端到端的业务监控方法和装置。

背景技术

近年来，由于计算机技术、网络技术的迅猛发展，互联网应用构建在不同的软件模块上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能部署在了上千台服务器，横跨多个不同的数据中心。它需要在不同系统、平台、中间件以及操作系统的协作下，才能顺利完成一个业务的流转。这种跨平台、跨系统的业务运作机制增加了业务监控的难度，难以满足业务监控的需要。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

传统的监控系统，主要监控一些系统资源性能指标，这些监控指标是孤立的、分散的、无序的，是单一节点的监控数据，不能有序地反馈业务链条中每一节点的关联关系，无法从整体上查看业务的运作情况。

发明内容

本发明实施例提供一种端到端的业务监控方法和装置，可以实时监控端到端之间的业务信息。

第一方面，本发明实施例提供了一种端到端的业务监控方法，所述方法包括：

确定业务的属性信息以及属性信息的校验码；其中属性信息包括如下至少一种：业务信息、应用信息和会话信息；

对所述业务的属性信息进行清洗，以得到业务的新属性信息；

根据业务的新属性信息和属性信息的校验码，确定业务的属性标识码，并将业务的属性标识码和业务的新属性信息进行关联，用于显示所述新属性信息。

第二方面，本发明实施例提供了一种端到端的业务监控装置，所述装置包括：

确定模块，用于确定业务的属性信息以及属性信息的校验码；其中属性信息包括如下至少一种：业务信息、应用信息和会话信息；

清洗模块，用于对所述业务的属性信息进行清洗，以得到业务的新属性信息；

显示模块，用于根据业务的新属性信息和属性信息的校验码，确定业务的属性标识码，并将业务的属性标识码和业务的新属性信息进行关联，用于显示所述新属性信息。

本发明实施例通过对确定的业务的属性信息进行清洗处理，并根据得到的业务的新属性信息和预先确定出的属性信息的校验码，确定业务的属性标识码，用以区分不同业务的新属性信息，能够通过业务的属性标识码准确的与业务的新属性信息实行关联，实现对应用的端到端业务全链路性能的监控。

附图说明

图1是本发明实施例一中的端到端的业务监控方法的流程示意图；

图2是本发明实施例二中的端到端的业务监控方法的流程示意图；

图3是本发明实施例三中的端到端的业务监控装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一中的端到端的业务监控方法的流程示意图。本实施例可适用于对业务信息进行监控的情况。该方法可由一种端到端的业务监控装置来执行，该装置可采用硬件/或软件的方式来实现，可配置于电子设备中。该方法具体包括如下：

S110、确定业务的属性信息以及属性信息的校验码；其中属性信息包括如下至少一种：业务信息、应用信息和会话信息。

在本实施例中，业务的属性信息与属性信息的校验码是一一对应的，对于不同的属性信息，系统会分配特定的校验码，用以表示所属业务的不同属性信息。具体的，可以通过探针加载业务的配置信息，并按照配置信息采集业务的属性信息；其中，业务的配置信息可以包括校验码和如下至少一项：采集范围、采集频率、采集深度、压缩比例、上传地址以及上报策略信息；业务信息可以为如下至少一项：时间信息、硬件设备信息、操作系统信息和运行信息；应用信息可以为如下至少一项：应用名称和版本信息；会话信息为应用运行过程中产生的数据。例如，可以通过探针跟随应用系统，分布在不同机器的不同应用系统里，采用埋码技术，嗅探真实用户对应用的访问来采集业务的属性信息。

时间信息为采集业务的属性信息的系统时间，包括时区信息；硬件设备信息可以为如下至少一项：硬件名称和设备ID(Identity document，标识码)信息；操作系统信息可以为如下至少一项：操作系统名称、系统版本和序列号信息；运行信息为执行该业务信息所需时间或者消耗内存等信息。

在本实施例中，由于业务的属性信息所包含的数据量较大，因此，在对业务的属性信息进行清洗之前，还需通过对业务的属性信息进行处理；例如可以采用探针对业务的属性信息进行打包压缩处理，并按照约定策略上传；约定策略中定义了上传的频率、上传数据包长度、可上传时的网络状态以及断网弱时的数据保存策略。其中，在探针的网络状况为断网、弱网时，则通过检查本地的存储空间，确定数据包的存储方式；若本地存储空间不足，则选择直接丢弃采集到的数据信息；如果本地存储空间足够，则把采集到的数据信息保存至本地存储空间中，待本地网络恢复后，再上传并删除本地存储空间中的数据信息。

S120、对业务的属性信息进行清洗，以得到业务的新属性信息。

在本申请实施例中，接收到业务的属性信息后，通过清洗入库服务对业务的属性信息进行清洗处理。其中，清洗处理可以包括校验时区和去重。在互联网快速发展下，某些业务的处理环节往往会发生在不同的时区，为了后续对业务的属性信息进行统一处理，则需要将业务处理环节下所采集到的不同时区转换成同一个时区。部分业务的属性信息在采集、压缩打包以及传输过程中有可能出现字节位置编排处理错乱产生乱码现象或者存在非法信息，在清洗入库前需要对这些信息进行去重操作，即去掉业务的属性信息中的乱码信息以及非法信息，保证入库信息的安全性。

S130、根据业务的新属性信息和属性信息的校验码，确定业务的属性标识码，并将业务的属性标识码和业务的新属性信息进行关联，用于显示新属性信息。

在本实施例中，通过信息入库服务产生的属性信息是无序的，需要将接收到的这些属性信息进行归类，以保证属性信息的可视化性。具体的，可以通过业务信息名称和业务信息的校验码计算业务标识码；根据应用信息名称和应用信息的校验码计算应用标识码；根据会话信息名称和会话信息的校验码计算会话标识码。例如，可以通过MD5(MessageDigest Algorithm MD5，消息摘要算法)，计算出业务属性的标识码。

随着应用系统的不断接入，接入的应用会越来越多，导致应用系统名称、业务名称以及会话名称重名的概率大大增加。如果没有一种机制来保障采集到的属性信息能够得到精准的区分，就会导致信息保存混乱。例如，第一会话的信息出现在第二会话的信息里面，第一业务的信息混淆在第二业务的信息里面，第一应用的信息杂合在第二应用的信息里面，从而难以精准的判断业务状态。应用系统引入时为每个应用分配了单独的应用信息的校验码、业务信息的校验码以及会话信息的校验码。挖据服务通过对应用名称、业务名称、会话名称以及校验码的加权处理，使得命名具备唯一性，从而保障属性信息的唯一性。

通过计算出的业务属性标识码对新属性信息进行分类，然后按照上传时间将分类后的新属性信息排序，例如，可以按照上传时间与当前时间的时间间隔从大到小进行排序；然后把相同业务标识码、业务标识码和会话标识码的记录聚合在一起，就可以清晰地了解同一个业务会话事务在不同应用中处理的启动时间和处理时长等信息。本实施例构建了一个端对端的分布式协作机制，跟踪业务请求的处理过程，完成对应用系统在前后端处理和服务端调用的性能消耗跟踪，将跨平台以及跨系统的业务数据按照约定关联起来，提供可视化的界面来展示对跟踪数据的分析，能够有效满足业务监控的需要。

本发明实施例通过对确定的业务的属性信息进行清洗处理，并根据得到的业务的新属性信息和预先确定出的属性信息的校验码，确定业务的属性标识码，用以区分不同业务的新属性信息，能够通过业务的属性标识码准确的与业务的新属性信息实行关联，实现对应用的端到端业务全链路性能的监控。

实施例二

图2是本发明实施例二中的端到端的业务监控方法的流程示意图。本实施例是在上述实施例的基础上进一步扩展与优化，并可与上述技术方案中任意可选方案组合。如图2所示，该方法包括：

S210、确定业务的属性信息以及属性信息的校验码；其中属性信息包括如下至少一种：业务信息、应用信息和会话信息。

S220、通过采集接口将业务的属性信息推送至分布式队列。

在本实施例中，采集接口通过基于超文本传输协议HTTP协议的接口集群，接收来自探针上传的上传请求，首先对上传请求中携带的业务的属性信息进行校验，验证接收的业务的属性信息是否被篡改；若接收到的业务的属性信息未被篡改，则向分布式队列发送入列请求，待接收到分布式队列的入列请求通知后，将业务的属性信息推送至分布式队列，以供分布式队列将业务的属性信息发送至清洗入库服务进行清洗处理。若接收到的业务的属性信息被篡改，则通过采集接口将该业务的属性信息返回至探针，并提示业务的属性信息与探针发送的业务的属性信息不符。

S230、通过清洗入库服务获取分布式队列推送的属性信息，并对属性信息进行清洗。

在本实施例中，清洗入库服务启动时，会注册到分布式队列中。分布式队列有新的属性信息入列时，会通知清洗入库服务清洗入库服务。清洗入库服务接收到通知后，向分布式队列发出出列请求；清洗入库服务接收到分布式队列出列请求时，获取分布式队列的属性信息，以供清洗入库服务根据接收到的分布式队列的属性信息实行清洗处理。

S240、根据业务的新属性信息和属性信息的校验码，确定业务的属性标识码，并将业务的属性标识码和业务的新属性信息进行关联，用于显示新属性信息。

可选的，在通过采集接口将业务的属性信息推送至分布式队列之前，还可以包括：

通过采集接口，根据属性信息的数据标识对属性信息进行分类；

通过采集接口，根据属性信息的分类结果，将属性信息推送至所属类别的分布式队列。

在本实施例中，由于属性信息包含的数据量较为庞大，且属性信息相互独立，无关联性，为了提高清洗入库服务的清洗效率，在将属性信息推送至分布式队列之前，需要对属性信息进行归类，以实现属性信息准确的所属性。具体的，可以通过属性信息的数据所属ID，对属性信息进行分类，并按照分类保存的具有相同数据所属ID的属性信息推送至所属类别的分布式队列。其中，分布式队列是根据处理数据的所属ID对分布式队列的所属类别实现区分。

可选的，还可以包括：

若通过调度中心监控到任一分布式队列的长度大于长度阈值，则重新启动新的清洗入库服务，用于通过原清洗入库服务和新的清洗入库服务对该分布式队列中的属性信息进行清洗。

在本实施例中，为了保证清洗入库服务对接收到的属性信息的处理效率，需要在分布式队列中对属性信息所在的分布式队列的长度进行限定，可通过调度中心监控分布式队列的队列长度。分布式队列通过调度中心对注册到队列的属性信息清洗入库服务进行统一的动态调度，根据各个服务的实时状态分发任务。数据清洗入库服务接收到分布式队列的出列通知后，从分布式队列中拉取任务，提高了数据流转的效率，扩展性好，有效提高任务处理能力。

示例性的，若清洗入库服务的清洗处理分布式队列的队列长度最大值为100个字符，且接收的当前分布式队列的队列长度为120个字符，则当前分布式队列中的前100个字符由当前清洗入库服务处理，剩下的20个字符需要启动新的清洗入库服务按预设长度进行处理；例如，新的清洗入库服务的处理预设长度为5个字符，则通过新的清洗入库服务首先清洗第101个字符到105个字符，待第101个字符至105个字符清洗完成后，再继续清洗106个字符至110个字符，以五个字符为一次清洗进行循环处理，直至完成对所有字符的清洗，则可实现对当前分布式队列中剩余长度的属性信息的清洗处理。

本实施例中，在将业务的属性信息推送至分布式队列之前，根据属性信息的数据标识对属性信息进行分类，使得进入同一分布式队列的属性信息具有一定的关联性；在清洗入库服务接收分布式队列推送的属性信息后，能够有效提高清洗入库服务的处理效率。

实施例三

图3是本发明实施例三中的端到端的业务监控装置的结构示意图，本实施例可适用于对业务信息进行监控的情况。该装置配置于电子设备中，可实现本申请任意实施例所述的端到端的业务监控方法。该装置具体包括如下：

确定模块310，用于确定业务的属性信息以及属性信息的校验码；其中属性信息包括如下至少一种：业务信息、应用信息和会话信息；

清洗模块320，用于对所述业务的属性信息进行清洗，以得到业务的新属性信息；

显示模块330，用于根据业务的新属性信息和属性信息的校验码，确定业务的属性标识码，并将业务的属性标识码和业务的新属性信息进行关联，用于显示所述新属性信息。

可选的，在上述装置的基础上，所述清洗模块320，具体用于：

通过采集接口将所述业务的属性信息推送至分布式队列；

通过清洗入库服务获取所述分布式队列推送的属性信息，并对所述属性信息进行清洗。

可选的，在上述装置的基础上，所述装置还包括：

分类模块340，用于通过采集接口，根据所述属性信息的数据标识对所述属性信息进行分类；

推送模块350，用于通过采集接口，根据属性信息的分类结果，将属性信息推送至所属类别的分布式队列。

可选的，在上述装置的基础上，所述装置还包括：

启动模块360，用于若通过调度中心监控到任一分布式队列的长度大于长度阈值，则重新启动新的清洗入库服务，用于通过原清洗入库服务和新的清洗入库服务对该分布式队列中的属性信息进行清洗。

通过本发明实施例三的一种端到端的业务监控装置，能够通过业务的属性标识码准确的与业务的新属性信息实行关联，实现对应用的端到端业务全链路性能的监控。

本发明实施例所提供的端到端的业务监控装置可执行本发明任意实施例所提供的端到端的业务监控方法，具备执行方法相应的功能模块和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (6)

1.一种端到端的业务监控方法，其特征在于，包括：

确定分布在不同应用系统中的业务的属性信息以及属性信息的校验码；其中属性信息包括如下至少一种：业务信息、应用信息和会话信息；

对所述业务的属性信息进行清洗，以得到业务的新属性信息；

根据业务的新属性信息和属性信息的校验码，确定业务的属性标识码，并将业务的属性标识码和业务的新属性信息进行关联，用于显示所述新属性信息；

其中，所述对所述业务的属性信息进行清洗，包括：

通过采集接口将所述业务的属性信息推送至分布式队列；

通过清洗入库服务获取所述分布式队列推送的属性信息，并对所述属性信息进行清洗。

2.根据权利要求1所述的方法，其特征在于，通过采集接口将所述业务的属性信息推送至分布式队列之前，还包括：

通过采集接口，根据所述属性信息的数据标识对所述属性信息进行分类；

通过采集接口，根据属性信息的分类结果，将属性信息推送至所属类别的分布式队列。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若通过调度中心监控到任一分布式队列的长度大于长度阈值，则重新启动新的清洗入库服务，用于通过原清洗入库服务和新的清洗入库服务对该分布式队列中的属性信息进行清洗。

4.一种端到端的业务监控装置，其特征在于，包括：

确定模块，用于确定分布在不同应用系统中的业务的属性信息以及属性信息的校验码；其中属性信息包括如下至少一种：业务信息、应用信息和会话信息；

清洗模块，用于对所述业务的属性信息进行清洗，以得到业务的新属性信息；

显示模块，用于根据业务的新属性信息和属性信息的校验码，确定业务的属性标识码，并将业务的属性标识码和业务的新属性信息进行关联，用于显示所述新属性信息；

其中，所述清洗模块，具体用于：

通过采集接口将所述业务的属性信息推送至分布式队列；

通过清洗入库服务获取所述分布式队列推送的属性信息，并对所述属性信息进行清洗。

5.根据权利要求4所述的装置，其特征在于，所述装置还包括：

分类模块，用于通过采集接口，根据所述属性信息的数据标识对所述属性信息进行分类；

推送模块，用于通过采集接口，根据属性信息的分类结果，将属性信息推送至所属类别的分布式队列。

6.根据权利要求4所述的装置，其特征在于，所述装置还包括：

启动模块，用于若通过调度中心监控到任一分布式队列的长度大于长度阈值，则重新启动新的清洗入库服务，用于通过原清洗入库服务和新的清洗入库服务对该分布式队列中的属性信息进行清洗。

Images