CN109120461B - 一种业务性能端到端监控方法、系统及装置 - Google Patents
一种业务性能端到端监控方法、系统及装置 Download PDFInfo
- Publication number
- CN109120461B CN109120461B CN201811147907.5A CN201811147907A CN109120461B CN 109120461 B CN109120461 B CN 109120461B CN 201811147907 A CN201811147907 A CN 201811147907A CN 109120461 B CN109120461 B CN 109120461B
- Authority
- CN
- China
- Prior art keywords
- data
- business
- analysis
- parsing
- traversed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0677—Localisation of faults
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种业务性能端到端监控方法、系统及装置，方法包括：采集和解析业务系统网络流量的镜像数据，对解析得到的数据进行关联分析，展示关联分析的结果。系统包括采集解析模块、分析模块和展示模块。装置包括至少一个储存器和至少一个处理器。本发明通过采集和解析业务系统网络流量的镜像数据，能够在不影响原有业务系统的前提下，实现对业务系统的无入侵式的监控；通过业务详单组合关联分析实现了对业务系统全过程的关联分析，从而找出业务过程中的问题；通过业务端到端关联分析对端到端之间的请求关联分析，从而定位出请求中故障环节。本发明可广泛应用于数据监控领域。
Description
技术领域
本发明涉及数据监控领域，尤其是一种业务性能端到端监控方法、系统及装置。
背景技术
随着IT技术的快速发展，涉及领域广泛，大部分企业都需要用到高效智能的IT技术支撑所有业务系统正常运行，例如移动运用商、电力、金融、邮政及税务等领域的企业。同时业务系统本身的架构也越来越复杂，涉及的环节和相关人员也越来越多，然而各业务系统健康稳定的运行将成为企业发展的重要保障。所以通过高效智能的技术手段完成对业务系统运行全方位的监控将变得尤为重要，对于监控手段的要求也将越来越高，难度也越来越大。
在这样大的技术背景下，目前企业级的大型业务系统所面临的监控要求如下：
业务整体定位:现有的监控系统都偏底层，只能分析到整体网络是否正常，或者某台服务器运行是否正常，但是在大型的分布式系统环境下，网络很少会出现大面积的瘫痪，服务器也不会出现大批量的异常，就算偶尔的网络抖动，或者极个别的服务器短时间的运行异常，业务系统一样正常运行。反过来，业务系统中某个业务突然办理成功率降低，但是此时网络和服务器运行都正常，不知道问题出现的原因，就会出现信息的不对称，很难快速和真实有效地反映业务过程办理中的操作点(操作步骤)所遇到的细节问题。所以就需要更加偏向于业务层面乃至业务过程中各操作点的监控手段。
各端环节定位：在一个业务过程中，为了完成一个完整的操作点，各端(客户端、负载均衡端、WEB端、中间件端和数据库端)之间请求或调用可能是多个的，所以就会存在多个数据传输的环节。现有的监控系统中，一旦出现故障，很难快速找到问题出在各端之间的哪个环节，都只孤立地看一个环节是否正常。所以就需要通过有效的监控方法将端与端之间的环节描述清楚，并对数据请求的路径还原出来，从而定位问题所在。
无入侵监控:现有的监控方法中，会对系统产生一定的影响，例如需要改变现有系统的代码，需要重启现有的业务系统，或增加现有系统的负荷等，进而影响效率。
综上所述，现有的监控方法，一般通过流量采集、日志、插码和拨测等手段实现，很难较好地同时满足以上业务整体定位、各端环节定位及无入侵监控这三点监控要求。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种业务性能端到端监控方法、系统和装置。
本发明所采取的第一技术方案是：
一种业务性能端到端监控方法，包括以下步骤：
采集和解析业务系统网络流量的镜像数据；
对解析得到的数据进行关联分析；
展示关联分析的结果；
其中，所述对解析得到的数据进行关联分析包括对解析得到的数据进行业务详单组合关联分析和对解析得到的数据进行业务端到端关联分析；
所述业务详单组合关联分析，通过对业务办理过程中产生的首端数据进行关联分析，还原业务过程；
所述业务端到端关联分析，通过对业务办理过程中产生的端到端请求的相关数据进行关联分析，还原端到端之间请求的IT路径。
进一步，所述对解析得到的数据进行业务详单组合关联分析这一步骤，具体包括：
根据用户标识对解析得到的数据进行分组和排序；
根据分组和排序的结果，获取首端数据中的操作点数据及其对应的业务操作步骤配置数据；
根据获取的业务操作步骤配置数据对对应的操作点数据进行依次遍历，生成完整的业务详单并插入至数据库；
其中，所述业务详单，是指对首端数据进行关联分析后得到的结果数据。
进一步，所述根据获取的业务操作步骤配置数据对对应的操作点数据进行依次遍历，生成完整的业务详单并插入至数据库这一步骤，具体包括：
S1、启动对操作点数据进行依次遍历的流程；
S2、根据所述业务操作步骤配置数据，判断当前遍历的操作点数据是否属于一个业务的第一个操作步骤，若是，则创建新的业务详单，然后执行步骤S4，反之，则执行步骤S3；
S3、根据所述业务操作步骤配置数据，判断当前遍历的操作点数据是否属于已有业务详单的同一个业务，若是，则将该操作点的数据添加至对应的业务详单中，并更新该业务详单的相关信息，反之，则继续对未遍历的操作点数据进行遍历；
S4、根据所述业务操作步骤配置数据，判断当前遍历的操作点数据是否属于一个业务的最后一个操作步骤，若是，则生成一个完整的业务详单插入至数据库，反之，则继续对未遍历的操作点数据进行遍历；
S5、判断对操作点数据进行依次遍历的流程是否完成，若是，则结束对操作点数据进行依次遍历的流程，反之，则继续对未遍历的操作点数据进行遍历。
进一步，所述对解析得到的数据进行业务端到端关联分析这一步骤，具体包括：
从解析得到的数据中，获取首端数据和调用关系配置数据；
对首端数据进行遍历，并结合关联条件将首端数据依次关联各级后端数据；
其中，所述关联条件包括各服务端之间请求的开始时间和结束时间、调用关系配置数据以及用户标识。
进一步，所述对首端数据进行遍历，并结合关联条件将首端数据依次关联各级后端数据这一步骤，具体包括：
从首端数据中选择任一数据作为当前遍历的数据；
根据当前遍历的数据和关联条件，查询各级后端数据；
根据查询的结果，将当前遍历的数据关联与其对应的下一级后端数据；
根据关联得到的下一级后端数据，依次关联当前遍历的数据对应的所有后端数据中其余各级后端数据；
从首端数据中选择下一个数据作为当前遍历的数据，然后返回根据当前遍历的数据和关联条件，查询各级后端数据这一步骤，直到首端数据的所有数据遍历结束为止。
进一步，所述对首端数据进行遍历，并结合关联条件将首端数据依次关联各级后端数据这一步骤，还具体包括以下步骤：
分别对首端数据及当前遍历的数据关联得到的下一级后端数据进行缓存。
进一步，所述采集和解析业务系统网络流量的镜像数据这一步骤，具体包括：
对业务系统网络流量的镜像数据进行采集；
存储采集得到的镜像数据；
对采集得到的数据进行解码和数据指标回填，得到关联分析所需的数据。
进一步，所述对解析得到的数据进行关联分析还包括：对解析得到的数据进行基线统计分析、对解析得到的数据进行数据统计聚合分析和对解析得到的数据进行智能告警分析。
本发明所采取的第二技术方案是：
一种业务性能端到端监控系统，包括：
采集解析模块，用于采集和解析业务系统网络流量的镜像数据；
分析模块，用于对解析得到的数据进行关联分析；
展示模块，用于展示关联分析的结果；
其中，所述对解析得到的数据进行关联分析包括对解析得到的数据进行业务详单组合关联分析和对解析得到的数据进行业务端到端关联分析；
所述业务详单组合关联分析，通过对业务办理过程中产生的首端数据进行关联分析，还原业务过程；
所述业务端到端关联分析，通过对业务办理过程中产生的端到端请求的相关数据进行关联分析，还原端到端之间请求的IT路径。
本发明所采取的第三技术方案是
一种业务性能端到端监控装置，包括：
至少一个储存器，用于存放程序；
至少一个处理器，用于加载所述程序以执行如本发明第一技术方案所述的一种业务性能端到端监控方法。
本发明的有益效果是：先采集和解析业务系统网络流量的镜像数据，然后对解析得到的数据进行关联分析，通过采集和解析业务系统网络流量的镜像数据，能够在不影响原有业务系统的前提下，实现对业务系统的无入侵式的监控；通过业务详单组合关联分析实现了对业务系统全过程的关联分析，从而找出业务过程中的问题；通过业务端到端关联分析实现了对端到端之间的请求关联分析，从而定位出请求中故障环节。
附图说明
图1是本发明一种业务性能端到端监控方法的整体流程图；
图2是本发明端到端数据交互关系示意图；
图3是本发明实施例业务性能端到端监控系统的模块框图；
图4是本发明端到端之间请求的时间关系示意图；
图5是本发明实施例业务详单组合关联分析的数据处理流程图；
图6是本发明实施例业务端到端关联分析的数据处理流程图；
图7是本发明实施例监控系统自组网的网络链路拓扑图；
图8是本发明实施例硬件探针采集模块的数据处理流程图。
具体实施方式
参考图2和图4，业务系统由各服务端(例如客户端、负载均衡端、WEB端、中间件端和数据库端)组成。在业务系统中一笔完整的业务办理过程，是首先由首端(业务系统最前端的服务端，如客户端)发出一个或者多个操作点的请求，而每个操作点又包括由各服务端之间的端到端请求。因此，业务办理过程会直接产生首端数据以及相关的业务操作步骤配置数据，再由首端数据会间接产生与各服务端对应的各级后端数据以及相关的调用关系配置数据。
其中，所述首端数据包括操作点数据，而操作点数据是指首端中每个操作点的相关数据，例如各操作点之间的人工操作间隔时间，每个操作点的URL、请求开始时间、请求响应耗时、网络耗时和服务端耗时，用户标识(例如电话号、身份证号和ID号等)，以及返回码。
所述业务操作步骤配置数据，是用于描述操作点的URL与业务中操作点的递属关系的相关数据，例如，某个操作点的URL属于某个业务的第几个操作点。
所述各级后端数据，是指各服务端之间请求的相关数据等，例如，各服务端之间请求的开始时间与结束时间，端到端之间的网络传输耗时和各端自身的请求处理耗时等。
所述调用关系配置数据，是用于描述各服务端之间、调用关系的相关数据。例如，调用关系配置数据是用于描述各服务端之间的URL与API与SQL的调用关系的数据，具体地，调用关系配置数据用于描述端到端之间某次请求数据的URL会调用哪些API接口，而这些API接口又会调用哪些SQL数据库等调用关系的相关数据。
参考图1，本发明提供一种业务性能端到端监控方法，包括以下步骤：
采集和解析业务系统网络流量的镜像数据；
对解析得到的数据进行关联分析；
展示关联分析的结果；
其中，所述对解析得到的数据进行关联分析包括对解析得到的数据进行业务详单组合关联分析和对解析得到的数据进行业务端到端关联分析；
所述业务详单组合关联分析，通过对业务办理过程中产生的首端数据进行关联分析，还原业务过程；
优选地，业务详单组合关联分析，可以是将属于同一用户操作的同一个业务的每个操作点数据进行关联分析，并对该业务办理过程中每个操作点的数据进行还原，再将属于一个业务的关联分析结果数据组合起来。例如，计算一笔业务办理的总共花了多长时间；或者，在一个业务办理的过程中，计算每个操作点的请求响应耗时、网络耗时与服务端耗时等，以及每个操作点之间的人工操作间隔时间。
所述业务端到端关联分析，通过对业务办理过程中产生的端到端请求的相关数据进行关联分析，还原端到端之间请求的IT路径。例如，在业务办理过程的一个操作点中，对端到端之间的URL(位于客户端与负载均衡端之间，以及负载均衡端与WEB端之间)、API(位于WEB端和中间件端之间)和SQL(位于中间件端和数据库端之间)的请求数据做关联分析，还原所述URL、API和SQL的IT路径，这样就可以知道一次请求慢在那个环节，出错在那个环节，从而定位故障问题所在。
本发明通过对网络流量的镜像数据进行采集和解析，能够在不影响原有业务系统的前提下，实现对业务系统的无入侵式的监控；通过对解析得到的数据进行业务详单组合关联分析，实现对业务系统全过程的关联分析，并还原了业务全过程，从而找出业务全过程中的问题；通过对解析得到的数据进行业务端到端关联分析，实现了对端到端之间的请求的关联分析，并还原了端到端之间请求的IT路径，从而定位请求中故障环节。本发明能快速和有效地定位故障问题，能够在不影响原有业务系统的前提下，实现对业务系统的无入侵式的监控。
进一步作为优选的实施方式，所述对解析得到的数据进行业务详单组合关联分析这一步骤，具体包括：
根据用户标识对解析得到的数据进行分组和排序；
根据分组和排序的结果，获取首端数据中的操作点数据及其对应的业务操作步骤配置数据；
根据获取的业务操作步骤配置数据对对应的操作点数据(即首端数据中的操作点数据)进行依次遍历，生成完整的业务详单并插入至数据库；
其中，所述业务详单，是指对首端数据进行关联分析后得到的结果数据。
具体地，对首端数据中的操作点数据进行依次遍历是为了将各操作点数据与业务过程相关联，生成业务详单。
进一步作为优选的实施方式，所述根据获取的业务操作步骤配置数据对对应的操作点数据进行依次遍历，生成完整的业务详单并插入至数据库这一步骤，具体包括：
S1、启动对操作点数据进行依次遍历的流程；
S2、根据所述业务操作步骤配置数据，判断当前遍历的操作点数据是否属于一个业务的第一个操作步骤，若是，则创建新的业务详单，然后执行步骤S4，反之，则执行步骤S3；
S3、根据所述业务操作步骤配置数据，判断当前遍历的操作点数据是否属于已有业务详单的同一个业务，若是，则将该操作点的数据添加至对应的业务详单中，并更新该业务详单的相关信息，反之，则继续对未遍历的操作点数据进行遍历；
S4、根据所述业务操作步骤配置数据，判断当前遍历的操作点数据是否属于一个业务的最后一个操作步骤，若是，则生成一个完整的业务详单插入至数据库，反之，则继续对未遍历的操作点数据进行遍历；
S5、判断对操作点数据进行依次遍历的流程是否完成，若是，则结束对操作点数据进行依次遍历的流程，反之，则继续对未遍历的操作点数据进行遍历。
进一步作为优选的实施方式，所述对解析得到的数据进行业务端到端关联分析这一步骤，具体包括：
从解析得到的数据中，获取首端数据和调用关系配置数据；
对首端数据进行遍历，并结合关联条件将首端数据依次关联各级后端数据；
其中，所述关联条件包括各服务端之间请求的开始时间和结束时间、调用关系配置数据以及用户标识。
进一步作为优选的实施方式，所述对首端数据进行遍历，并结合关联条件将首端数据依次关联各级后端数据这一步骤，具体还包括：
从首端数据中选择任一数据作为当前遍历的数据；
根据当前遍历的数据和关联条件，查询各级后端数据；
根据查询的结果，将当前遍历的数据关联与其对应的下一级后端数据；
根据关联得到的下一级后端数据，依次关联当前遍历的数据对应的所有后端数据中其余各级后端数据；
从首端数据中选择下一个数据作为当前遍历的数据，然后返回根据当前遍历的数据和关联条件，查询各级后端数据这一步骤，直到首端数据的所有数据遍历结束为止。
其中，所述下一级后端数据，是指与当前遍历的数据(缓存中的首端数据)对应的下一级的服务端请求的相关数据，例如，在由客户端、负载均衡端、WEB端、中间件端和数据库端组成的业务系统中，若当前遍历的数据为首端数据(即客户端数据请求的相关数据)，则其对应的下一级后端数据是负载均衡端请求的相关数据，如图4所示。
下面对所述根据关联得到的下一级后端数据，依次关联当前遍历的数据对应的所有后端数据中其余各级后端数据这一步骤进行举例说明：
参考图2和图4，在由客户端、负载均衡端、WEB端、中间件端和数据库端组成的业务系统中，由首端(客户端)数据关联得到的下一级后端数据为负载均衡端请求的相关数据时，根据负载均衡端请求的相关数据关联得到其对应的再下一级后端数据则为WEB端请求的相关数据，这样，再继续依次关联中间件端和数据库端请求的相关数据，从而完成一次完整的业务端到端关联分析过程(即从前端客户端开始，逐级关联负载均衡端、WEB端、中间件端和数据库端)。
进一步作为优选的实施方式，所述对首端数据进行遍历，并结合关联条件将首端数据依次关联各级后端数据这一步骤，还具体包括以下步骤：
分别对首端数据及当前遍历的数据关联得到的下一级后端数据进行缓存。
本发明的业务详单组合关联分析将关联上的数据放入缓存，以便下次取出来继续关联后端数据，可以多个线程同时提取数据进行关联，提高效率。
进一步作为优选的实施方式，所述采集和解析业务系统网络流量的镜像数据这一步骤，具体包括：
对业务系统网络流量的镜像数据进行采集；
存储采集得到的镜像数据；
对采集得到的数据进行解码和数据指标回填，得到关联分析所需的数据。
进一步作为优选的实施方式，所述对解析得到的数据进行关联分析还包括：对解析得到的数据进行基线统计分析、对解析得到的数据进行数据统计聚合分析和对解析得到的数据进行智能告警分析。
与图1的方法相对应，本发明一种业务性能端到端监控系统，包括：
采集解析模块，用于采集和解析业务系统网络流量的镜像数据；
分析模块，用于对解析得到的数据进行关联分析；
展示模块，用于展示关联分析的结果；
其中，所述对解析得到的数据进行关联分析包括对解析得到的数据进行业务详单组合关联分析和对解析得到的数据进行业务端到端关联分析；
所述业务详单组合关联分析，通过对业务办理过程中产生的首端数据进行关联分析，还原业务过程；
所述业务端到端关联分析，通过对业务办理过程中产生的端到端请求的相关数据进行关联分析，还原端到端之间请求的IT路径。
与图1的方法相对应，本发明一种业务性能端到端监控装置，包括：
至少一个储存器，用于存放程序；
至少一个处理器，用于加载所述程序以执行如本发明所述的一种业务性能端到端监控方法。
下面结合说明书附图和具体实施例对本发明作进一步解释和说明：
为了实现对业务系统无入侵的端到端的监控，本发明提供一种业务性能端到端监控系统，其与业务系统间的链路拓扑图如图7所示。该系统的自组网组成部分包括若干交换机、硬件采集探针服务器集群、数据分析服务器集群、数据库服务器集群和监控呈现WEB服务器等。
防火墙与负载之间、负载与WEB服务器集群之间、WEB服务器集群与中间应用服务器集群之间以及中间应用服务器集群与数据服务器集群之间共经过4个交换机流量接入点，通过网线直连的方式接入至硬件采集探针服务器。在这种方式下，可通过交换机流量镜像至硬件采集探针服务器，不再需要通过业务系统的网络进行数据传输，不对业务系统网络产生任何冲击。
所述业务性能端到端监控系统的软件架构如图3所示，包括采集层、数据处理层和展示层。
采集层包括分布式的多点硬件探针采集模块；数据处理层包括分布式的数据接收模块、数据关联分析模块、监控信息服务模块和数据存储模块；展示层包括应用呈现模块。
其中，硬件探针采集模块用于采集交换机流量的镜像数据，以供数据处理层进行数据监控与分析。
参考图8，优选地，硬件探针采集模块包括采集、存储、解码和输出四大功能模块。硬件探针采集模块工作在OSI模型的传输层到应用层，具有高数据处理能力，能够对网络锁承载的业务数据进行识别提取，可部署在网络骨干层、城域网和企业内部的网络数据包采集设备上。
所述采集模块可采用DPDK驱动技术，能够绕过Linux内核协议栈，直接将数据包拷贝到用户层，从而减少数据拷贝，以拥有更高性能数据采集能力。利用存储模块，可将采集的数据包存储到磁盘，方便回溯。然后，通过解码模块多线程的并发解码，对数据包的7层协议进行深度解析，提取数据处理层所需的数据指标回填至解码后的数据流。最后，通过输出模块向数据处理层多线程地发送，以便数据处理层对数据进行下一步的分析。
数据处理层包括分布式的数据接收模块、数据关联分析模块、监控信息服务模块和数据存储模块。该数据处理层对探针采集模块推送过来的数据进行识别、存储、分析处理以及监控。
其中，数据接收模块接收探针采集模块推送过来的数据，并发现识别出应用之间交互所需要的数据，然后根据数据存储模块中配置库的配置模型，按照数据的特征回填相应的属性，例如系统名称、网段名称、业务名称等，以获得回填属性后的数据。最后，将回填属性后的数据放进数据存储模块的指定数据库中相应的表里面，供数据关联分析模块对数据进行提取以及分析处理。
数据存储模块，包括配置库和数据库。配置库，用于数据接收模块根据配置库的配置模型，对探针采集模块推送的数据进行识别后，按照数据的特征回填相应的属性；数据库，用于存储和调用监控分析所需要的数据。
数据关联分析模块，用于通过动态的任务调度引擎，灵活地调度关联分析任务，对经过数据接收模块识别、清洗及回填属性后得到各种数据，进行各种维度的关联分析和统计。关联分析任务包括业务详单组合关联分析、业务端到端关联分析、基线统计分析、智能告警分析和数据聚合统计分析。下面对各关联分析任务的功能进行具体的说明：
参考图2和图4，业务系统由各服务端(例如客户端、负载均衡端、WEB端、中间件端和数据库端)组成。在业务系统中一笔完整的业务办理过程，是首先由首端(业务系统最前端的服务端，如客户端)发出一个或者多个操作点的请求，而每个操作点又包括由各服务端之间的端到端请求。因此，业务办理过程会直接产生首端数据以及相关的业务操作步骤配置数据，由首端数据会间接产生与各服务端对应的各级后端数据以及相关的调用关系配置数据。
其中，所述首端数据包括操作点数据，而操作点数据是指首端中每个操作点的相关数据，例如各操作点之间的人工操作间隔时间，每个操作点的URL、请求开始时间、请求响应耗时、网络耗时和服务端耗时，用户标识(例如电话号、身份证号和ID号等)，以及返回码。
所述业务操作步骤配置数据，是用于描述操作点的URL与业务中操作点的递属关系的相关数据，例如，某个操作点的URL属于某个业务的第几个操作点。
所述各级后端数据，是指各服务端之间请求的相关数据等，例如，各服务端之间请求的开始时间与结束时间，端到端之间的网络传输耗时和各端自身的请求处理耗时等。
所述调用关系配置数据，是用于描述各服务端之间、调用关系的相关数据。例如，调用关系配置数据是用于描述各服务端之间的URL与API与SQL的调用关系的数据，具体地，调用关系配置数据用于描述端到端之间某次请求数据的URL会调用哪些API接口，而这些API接口又会调用哪些SQL数据库等调用关系的相关数据。
而业务详单组合关联分析，则是通过将属于同一用户操作的同一个业务的每个操作点数据进行关联分析，对该业务全过程以及该过程中每个操作点数据进行还原，并将属于一个业务的关联分析结果数据组合起来。例如，计算一个业务的一笔办理总共花了多长时间；或者，在用户办理一个业务的过程中，计算每个操作点的请求响应耗时、网络耗时与服务端耗时等，以及每个操作点之间的人工操作间隔时间。
参考图5，所述业务详单组合关联分析的数据处理流程如下：
S101、从数据库中，查询一段时间的首端数据，并且按照其用户标识，对不同用户的首端数据进行分组，以及按照首端数据中操作点数据的请求开始时间，对同一用户的首端数据进行升序排列；
S102、判断是否获取到同一用户的首端数据中的操作点数据和相关的业务操作步骤配置数据，若是，则进行步骤S103，反之，结束数据处理流程；
S103、对获取到的操作点数据进行依次遍历；
S104、根据业务操作步骤配置数据和当前遍历的操作点数据，判断当前遍历的操作点数据是否属于一个业务的第一个操作步骤，若是，则执行步骤S105，反之，则执行步骤S106；
S105、创建一个新的业务详单，初始化详单的相关信息，并添加当前遍历的操作点数据至该业务详单中，然后执行步骤S108；
S106、根据操作点的业务特征，判断当前遍历的操作点数据是否属于当前业务详单中的同一个业务，若是，则执行步骤S107，反之，则返回步骤S103，对未遍历的操作点数据继续进行遍历；
S107、将当前遍历的操作点数据添加到对应的业务详单中，并更新该详业务单的相关指标信息，然后执行步骤S108；
S108、根据业务操作步骤配置数据，判断当前遍历的操作点数据是否为所属业务的最后一个步骤，若是，则生成一个对应的完整的业务详单插入至对应的数据库中；
S109、判断对操作点数据的遍历是否已完成，若是，则结束业务详单组合关联分析的数据处理流程，反之，则返回步骤S103，继续对未遍历的操作点数据进行遍历。
其中，所述业务详单，是指对首端数据进行关联分析后得到的结果数据。
所述业务特征，是指操作点数据的URL字段结合业务操作步骤配置数据，以判断操作点属于当前业务详单中的同一个业务的数据特征。
参考图2和图4，业务端到端关联分析，则是通过对业务办理过程中产生的端到端请求的相关数据进行关联分析，还原端到端之间请求的IT路径。例如，在业务办理过程的一个操作点中，对端到端之间的URL(位于客户端与负载均衡端之间，以及负载均衡端与WEB端之间)、API(位于WEB端和中间件端之间)和SQL(位于中间件端和数据库端之间)的请求数据做关联分析，还原所述URL、API和SQL的IT路径，这样就可以知道一次请求慢在那个环节，出错在那个环节，从而定位故障问题所在。
参考图6，所述业务端到端关联分析的数据处理流程如下：
S201、从数据库中，查询一段时间内的首端数据；
S202、判断是否获取到首端数据和相关的调用关系配置数据，若是，则进行步骤S203，反之，结束业务端到端关联分析的数据处理流程；
S203、将首端数据存储至数据缓存；
S204、启动对数据缓存中的数据进行遍历的流程；
S205、从数据缓存中提取并选择任意一条数据为当前遍历的数据，并根据关联条件(各服务端之间请求的开始时间和结束时间、所述调用关系配置数据以及用户标识)查询各级后端数据：
S206、根据当前遍历的数据，判断是否查询到其对应的下一级后端数据，若是，则执行步骤S207，反之，则执行步骤S209；
S207、将当前遍历的数据关联其对应的下一级后端数据，并将当前遍历的数据的后端关联状态更新为成功，以及为其对应的下一级后端数据添加当前遍历的数据的数据ID，然后将对应的下一级后端数据存储至数据缓存中；
S208、从数据缓存中提取关联得到的下一级后端数据，再根据关联得到的下一级后端数据，依次关联当前遍历的数据对应的所有后端数据中其余各级后端数据，然后执行步骤S210；
S209、将当前遍历的数据的后端关联状态更新为失败；
S210、从数据缓存中提取并选择下一个数据作为当前遍历的数据，然后返回步骤S206，直到首端数据的所有数据遍历结束为止。
其中，所述下一级后端数据，是指与当前遍历的数据(缓存中的首端数据)对应的下一级的服务端请求的相关数据，例如，在由客户端、负载均衡端、WEB端、中间件端和数据库端组成的业务系统中，若当前遍历的数据为首端数据(即客户端数据请求的相关数据)，则其对应的下一级后端数据是负载均衡端请求的相关数据。
以下对步骤S208举例进行说明：
参考图2和图4，在由客户端、负载均衡端、WEB端、中间件端和数据库端组成的业务系统中，由首端(客户端)数据关联得到的下一级后端数据为负载均衡端请求的相关数据时，根据负载均衡端请求的相关数据关联得到其对应的再下一级后端数据则为WEB端请求的相关数据，这样，再继续依次关联中间件端和数据库端请求的相关数据，从而完成一次完整的业务端到端关联分析过程(从前端客户端开始，逐级关联负载均衡端、WEB端、中间件端和数据库端)。
基线统计分析，是指将不同维度的数据在一定时间的范围内，按照一定的时间粒度做数据迭代的分析，得出一定的趋势。
智能告警分析，是指将人工配置计算公式再跟结果的阀值做比较得出想要的告警数据，例如配置一个系统健康度的计算公式：正常的样本数/除以总样本数*100，再跟配置的健康度阀值进行比较，以确定是否进行告警。
数据聚合统计分析，是指按照不同维度不同时间粒度对数据进行统计，以方便监控信息服务模块获取，供应用展示模块进行多维度不同粒度的监控结果展示。
监控信息服务模块，是供展示层获取所要展示的监控数据的服务接口。该模块包括用户操作信息、业务监控信息、应用监控信息、网络流量信息、异常告警信息和监控配置信息。
展示层，负责对不同信息的展示以及操作。该层中的应用呈现模块是把获取到的不同监控对象的数据，按照不同维度和粒度通过图表的形式直观地展示出来，其功能包括用户体验展示、业务性能展示、应用性能展示、网络流量监控和系统管理展示。
该监控系统各层之间的各模块采用松耦合的方式，通过配置API接口进行交互，能够适应不同的监控场景。
相比于现有技术，本发明一种业务性能端到端监控方法、系统及装置具有以下优点：
1、通过对业务系统中的首端数据进行业务详单组合关联分析，能够快速和有效地反映及定位办理业务全过程及过程中细至每个操作点所遇到的问题，形成偏向于业务层面乃至业务过程中每个操作点的监控手段。
2、通过对业务系统中端到端之间请求的相关数据进行业务端到端关联分析，将端到端之间请求或调用等数据交互的关键环节描述清楚，并将该环节的IT路径还原出来，快速和有效地反映故障问题出在哪一个环节。另外，该关联分析处数据理流程中，将首端数据和关联上的下一级后端数据放入缓存，以便下次取出来关联后端数据，在程序设计时方便控制线程的数量，同时实现多个线程同时提取数据进行关联，提高效率。
3、在监控系统中，使用了智能旁路数据采集技术，通过硬件采集探针模块对交换机流量的镜像数据进行采集，不通过业务系统的网络进行数据传输，不再对业务系统网络产生任何冲击，也无需在应用服务器和用户端安装插件，不会对原有的业务系统造成任何影响，实现了无入侵式的监控。
4、硬件探针采集模块采用DPDK驱动技术，能够绕过Linux内核协议栈，直接将数据包拷贝到用户层，从而减少数据的拷贝，以获取更高性能数据采集能力。
5、在监控系统各层之间的各模块采用松耦合的方式，通过配置API接口进行交互，抽象出了统一的监控配置模型。面对不同的监控系统和场景所需不同的监控数据，只需通过修改配置即可实现想要的监控效果，灵活性强。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (9)
1.一种业务性能端到端监控方法，其特征在于：包括以下步骤：
采集和解析业务系统网络流量的镜像数据；
对解析得到的数据进行关联分析；
展示关联分析的结果；
其中，所述对解析得到的数据进行关联分析包括对解析得到的数据进行业务详单组合关联分析和对解析得到的数据进行业务端到端关联分析；
所述业务详单组合关联分析，通过对业务办理过程中产生的首端数据进行关联分析，还原业务过程；
所述业务端到端关联分析，通过对业务办理过程中产生的端到端请求的相关数据进行关联分析，还原端到端之间请求的IT路径；
所述对解析得到的数据进行业务详单组合关联分析这一步骤，具体包括：
根据用户标识对解析得到的数据进行分组和排序；
根据分组和排序的结果，获取首端数据中的操作点数据及其对应的业务操作步骤配置数据；
根据获取的业务操作步骤配置数据对对应的操作点数据进行依次遍历，生成完整的业务详单并插入至数据库；
其中，所述业务详单，是指对首端数据进行关联分析后得到的结果数据。
2.根据权利要求1所述的一种业务性能端到端监控方法，其特征在于：所述根据获取的业务操作步骤配置数据对对应的操作点数据进行依次遍历，生成完整的业务详单并插入至数据库这一步骤，具体包括：
S1、启动对操作点数据进行依次遍历的流程；
S2、根据所述业务操作步骤配置数据，判断当前遍历的操作点数据是否属于一个业务的第一个操作步骤，若是，则创建新的业务详单，然后执行步骤S4，反之，则执行步骤S3；
S3、根据所述业务操作步骤配置数据，判断当前遍历的操作点数据是否属于已有业务详单的同一个业务，若是，则将该操作点的数据添加至对应的业务详单中，并更新该业务详单的相关信息，反之，则继续对未遍历的操作点数据进行遍历；
S4、根据所述业务操作步骤配置数据，判断当前遍历的操作点数据是否属于一个业务的最后一个操作步骤，若是，则生成一个完整的业务详单插入至数据库，反之，则继续对未遍历的操作点数据进行遍历；
S5、判断对操作点数据进行依次遍历的流程是否完成，若是，则结束对操作点数据进行依次遍历的流程，反之，则继续对未遍历的操作点数据进行遍历。
3.根据权利要求1所述的一种业务性能端到端监控方法，其特征在于：所述对解析得到的数据进行业务端到端关联分析这一步骤，具体包括：
从解析得到的数据中，获取首端数据和调用关系配置数据；
对首端数据进行遍历，并结合关联条件将首端数据依次关联各级后端数据；
其中，所述关联条件包括各服务端之间请求的开始时间和结束时间、调用关系配置数据以及用户标识。
4.根据权利要求3所述的一种业务性能端到端监控方法，其特征在于：所述对首端数据进行遍历，并结合关联条件将首端数据依次关联各级后端数据这一步骤，具体包括：
从首端数据中选择任一数据作为当前遍历的数据；
根据当前遍历的数据和关联条件，查询各级后端数据；
根据查询的结果，将当前遍历的数据关联与其对应的下一级后端数据；
根据关联得到的下一级后端数据，依次关联当前遍历的数据对应的所有后端数据中其余各级后端数据；
从首端数据中选择下一个数据作为当前遍历的数据，然后返回根据当前遍历的数据和关联条件，查询各级后端数据这一步骤，直到首端数据的所有数据遍历结束为止。
5.根据权利要求4所述的一种业务性能端到端监控方法，其特征在于：所述对首端数据进行遍历，并结合关联条件将首端数据依次关联各级后端数据这一步骤，还具体包括以下步骤：
分别对首端数据及当前遍历的数据关联得到的下一级后端数据进行缓存。
6.根据权利要求1所述的一种业务性能端到端监控方法，其特征在于：所述采集和解析业务系统网络流量的镜像数据这一步骤，具体包括：
对业务系统网络流量的镜像数据进行采集；
存储采集得到的镜像数据；
对采集得到的数据进行解码和数据指标回填，得到关联分析所需的数据。
7.根据权利要求1-6任意一项所述的一种业务性能端到端监控方法，其特征在于：所述对解析得到的数据进行关联分析还包括：对解析得到的数据进行基线统计分析、对解析得到的数据进行数据统计聚合分析和对解析得到的数据进行智能告警分析。
8.一种业务性能端到端监控系统，其特征在于：包括：
采集解析模块，用于采集和解析业务系统网络流量的镜像数据；
分析模块，用于对解析得到的数据进行关联分析；
展示模块，用于展示关联分析的结果；
其中，所述对解析得到的数据进行关联分析包括对解析得到的数据进行业务详单组合关联分析和对解析得到的数据进行业务端到端关联分析；
所述业务详单组合关联分析，通过对业务办理过程中产生的首端数据进行关联分析，还原业务过程；
所述业务端到端关联分析，通过对业务办理过程中产生的端到端请求的相关数据进行关联分析，还原端到端之间请求的IT路径；
所述分析模块对解析得到的数据进行业务详单组合关联分析时，具体用于执行以下操作：
根据用户标识对解析得到的数据进行分组和排序；
根据分组和排序的结果，获取首端数据中的操作点数据及其对应的业务操作步骤配置数据；
根据获取的业务操作步骤配置数据对对应的操作点数据进行依次遍历，生成完整的业务详单并插入至数据库；
其中，所述业务详单，是指对首端数据进行关联分析后得到的结果数据。
9.一种业务性能端到端监控装置，其特征在于：包括：
至少一个储存器，用于存放程序；
至少一个处理器，用于加载所述程序以执行如权利要求1-6任意一项所述的一种业务性能端到端监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811147907.5A CN109120461B (zh) | 2018-09-29 | 2018-09-29 | 一种业务性能端到端监控方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811147907.5A CN109120461B (zh) | 2018-09-29 | 2018-09-29 | 一种业务性能端到端监控方法、系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109120461A CN109120461A (zh) | 2019-01-01 |
| CN109120461B true CN109120461B (zh) | 2019-05-21 |
Family
ID=64857521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811147907.5A Active CN109120461B (zh) | 2018-09-29 | 2018-09-29 | 一种业务性能端到端监控方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109120461B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109951326B (zh) * | 2019-02-28 | 2022-07-12 | 北京互金新融科技有限公司 | 数据处理方法、装置、存储介质及处理器 |
| CN111740871A (zh) * | 2019-03-25 | 2020-10-02 | 华为技术有限公司 | 一种数据采集方法及装置 |
| CN111669295B (zh) * | 2020-06-22 | 2023-09-19 | 南方电网数字电网研究院有限公司 | 业务管理方法和装置 |
| CN112162999A (zh) * | 2020-10-08 | 2021-01-01 | 翁海坤 | 基于交互式云计算的大数据处理方法及人工智能服务器 |
| CN112492021B (zh) * | 2020-11-25 | 2023-12-01 | 北京宝兰德软件股份有限公司 | 基于网络数据的业务服务调用关系路径检测方法 |
| CN112532611B (zh) * | 2020-11-25 | 2022-12-06 | 中盈优创资讯科技有限公司 | 一种实时越线流量拓扑数据生成方法及装置 |
| CN115037656B (zh) * | 2022-05-19 | 2024-02-20 | 无线生活（杭州）信息科技有限公司 | 告警方法及装置 |
| CN117793764A (zh) * | 2023-12-27 | 2024-03-29 | 广东宜通衡睿科技有限公司 | 5g专网软探针拨测数据完整性校验和补全方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106301971A (zh) * | 2016-11-17 | 2017-01-04 | 国家电网公司 | 基于流量分析的电力应用性能监控系统 |
| CN107342809A (zh) * | 2016-05-03 | 2017-11-10 | 中国移动通信集团四川有限公司 | 一种业务性能监测与故障定位方法及装置 |
| CN107623629A (zh) * | 2016-07-15 | 2018-01-23 | 华为技术有限公司 | 一种流转发路径的还原方法及设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101754253B (zh) * | 2008-12-02 | 2012-07-25 | 中国移动通信集团甘肃有限公司 | 一种gprs端到端性能分析方法及系统 |
| CN105488396B (zh) * | 2015-12-02 | 2017-12-29 | 江苏省电力公司淮安供电公司 | 一种基于数据流关联分析技术的智能电网业务安全网关系统 |
-
2018
- 2018-09-29 CN CN201811147907.5A patent/CN109120461B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107342809A (zh) * | 2016-05-03 | 2017-11-10 | 中国移动通信集团四川有限公司 | 一种业务性能监测与故障定位方法及装置 |
| CN107623629A (zh) * | 2016-07-15 | 2018-01-23 | 华为技术有限公司 | 一种流转发路径的还原方法及设备 |
| CN106301971A (zh) * | 2016-11-17 | 2017-01-04 | 国家电网公司 | 基于流量分析的电力应用性能监控系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109120461A (zh) | 2019-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109120461B (zh) | 一种业务性能端到端监控方法、系统及装置 | |
| US11194552B1 (en) | Assisted visual programming for iterative message processing system | |
| US11113353B1 (en) | Visual programming for iterative message processing system | |
| US10775976B1 (en) | Visual previews for programming an iterative publish-subscribe message processing system | |
| US11886440B1 (en) | Guided creation interface for streaming data processing pipelines | |
| US11775501B2 (en) | Trace and span sampling and analysis for instrumented software | |
| US10984013B1 (en) | Tokenized event collector | |
| US11829381B2 (en) | Data source metric visualizations | |
| CN106445817B (zh) | 测试数据的处理方法、装置和系统 | |
| US8443078B2 (en) | Method of determining equivalent subsets of agents to gather information for a fabric | |
| US8533279B2 (en) | Method and system for reconstructing transactions in a communication network | |
| US11237813B1 (en) | Model driven state machine transitions to configure an installation of a software program | |
| US11663172B2 (en) | Cascading payload replication | |
| CN111782672B (zh) | 多领域数据管理方法及相关装置 | |
| CN109308290A (zh) | 一种基于cim的高效数据清洗转换方法 | |
| CN106446289B (zh) | 基于Pinpoint的信息查询方法和装置 | |
| CN101681362B (zh) | 存储优化方法 | |
| US11216352B2 (en) | Method for automatically analyzing bottleneck in real time and an apparatus for performing the method | |
| CN112579552A (zh) | 日志存储及调用方法、装置及系统 | |
| CN112819176B (zh) | 一种适用于机器学习的数据管理方法和数据管理装置 | |
| WO2022261249A1 (en) | Distributed task assignment, distributed alerts and supression management, and artifact life tracking storage in a cluster computing system | |
| CN108574957A (zh) | 演进分组核心网设备智能巡检服务器、巡检系统及方法 | |
| US11755453B1 (en) | Performing iterative entity discovery and instrumentation | |
| CN114666231B (zh) | 一种多云环境下可视化运维管理方法、系统及存储介质 | |
| CN110083442A (zh) | 一种用户任务的操作方法、服务器及可存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: 510000 Room 1004, No. 10 Guanhong Road, Luogang District, Guangzhou City, Guangdong Province Patentee after: GUANGZHOU U&D TECHNOLOGY CO., LTD. Address before: 510000 Room 1004, No. 10 Guanhong Road, Luogang District, Guangzhou City, Guangdong Province Patentee before: GUANGZHOU U&D TECHNOLOGY CO., LTD. |