CN109951326B - 数据处理方法、装置、存储介质及处理器 - Google Patents

Abstract

本申请公开了一种数据处理方法、装置、存储介质及处理器。该方法包括：采集执行业务的过程中产生的业务数据，其中，业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，前端系统、客户端以及后端系统配合以执行业务；保存采集到的业务数据；在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况。通过本申请，解决了相关技术中客户端及后端系统越来越多，难以对业务的整体执行情况进行监控和跟踪的问题。

Description

数据处理方法、装置、存储介质及处理器

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种数据处理方法、装置、存储介质及处理器。

背景技术

互联网爆炸时代,随着业务迅速发展，为了满足业务需求,app会快速迭代，新版本发布迅速，为了支撑日益增长的庞大业务量，app的后端系统会不断新增,并对对应的服务器进行整合、拆分，使服务不仅能通过集群部署抵挡流量的冲击，又能得以灵活地扩展。但这就造成后端系统的数量和所属服务器的数量也爆炸式增长，一次业务请求少则经过三四次服务器调用得以完成，多则跨越几十个甚至是上百个服务节点，系统间调用链复杂。

为了监测每个系统及服务器，在发现问题后定位问题进行告警，并从业务维度查看业务的完整生命周期，相关技术中主要有以下解决方法：

在监测问题和告警方面，在发现异常的情况下,猜测出现问题的服务器，手动去各台服务器搜索日志,查看异常，该方式准确性低，随着服务量增大，定位问题缓慢，效率低下，而且是被动的发现问题,无法主动做预防。

关于查看业务的生命周期，相关技术中大多是对请求维度进行追踪，串联起单个请求在各个系统的流转，由于一次业务可能包含多次请求，比如一笔支付订单可能包含多次业务请求，在请求维度进行分析并不能满足从业务维度查看业务的完整生命周期的需求。

针对相关技术中客户端及后端系统越来越多，难以对业务的整体执行情况进行监控和跟踪的问题，目前尚未提出有效的解决方案。

发明内容

本申请提供一种数据处理方法、装置、存储介质及处理器，以解决相关技术中客户端及后端系统越来越多，难以对业务的整体执行情况进行监控和跟踪的问题。

根据本申请的一个方面，提供了一种数据处理方法。该方法包括：采集执行业务的过程中产生的业务数据，其中，业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，前端系统、客户端以及后端系统配合以执行业务；保存采集到的业务数据；在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况。

进一步地，采集执行业务的过程中产生的业务数据包括：后端系统对应的服务器上部署的采集模块将服务器上产生的业务数据采集至消息队列，其中，消息队列用于在数据传输的过程中保存数据；前端系统通过http协议将前端系统上产生的业务数据实时发送至消息队列；客户端通过http协议定期将客户端上产生的业务数据发送至消息队列。

进一步地，保存采集到的业务数据包括：将业务数据从消息队列保存至本地存储器；创建业务数据的索引数据，并将索引数据保存至目标搜索服务器，其中，索引数据用于索引业务数据。

进一步地，在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况包括：调取包含目标ID的业务数据，其中，目标ID为请求执行目标业务的ID；分析包含目标ID的业务数据中是否存在异常数据；在包含目标ID的业务数据中存在异常数据的情况下，确定异常数据所属的业务环节发生异常。

进一步地，该方法还包括：分析消息队列中保存的业务数据中是否存在异常数据，其中，异常数据为不符合预设规则的数据；在消息队列中保存的业务数据中存在异常数据的情况下，确定执行业务的过程中发生异常。

进一步地，在确定执行业务的过程中发生异常之后，该方法还包括：确定异常业务，其中，异常业务为执行业务的过程中发生异常的业务；向目标对象发送异常业务的告警信息。

根据本申请的另一方面，提供了一种数据处理装置。该装置包括：采集单元，用于采集执行业务的过程中产生的业务数据，其中，业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，前端系统、客户端以及后端系统配合以执行业务；保存单元，用于保存采集到的业务数据；调取单元，用于在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况。

进一步地，采集单元包括：采集模块，用于后端系统对应的服务器上部署的采集模块将服务器上产生的业务数据采集至消息队列，其中，消息队列用于在数据传输的过程中保存数据；发送模块，用于前端系统通过http协议将前端系统上产生的业务数据实时发送至消息队列；客户端通过http协议定期将客户端上产生的业务数据发送至消息队列。

为了实现上述目的，根据本申请的另一方面，提供了一种存储介质，存储介质包括存储的程序，其中，程序执行上述任意一种数据处理方法。

为了实现上述目的，根据本申请的另一方面，提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一种数据处理方法。

通过本申请，采用以下步骤：采集执行业务的过程中产生的业务数据，其中，业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，前端系统、客户端以及后端系统配合以执行业务；保存采集到的业务数据；在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况，解决了相关技术中客户端及后端系统越来越多，难以对业务的整体执行情况进行监控和跟踪的问题。通过从业务关联的客户端的前端系统、后端系统以及服务器采集业务数据，进而达到了在客户端的系统及服务器越来越多，也能对客户端相关的目标业务的执行情况进行有效监控和跟踪的效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的数据处理方法的流程图；以及

图2是根据本申请实施例提供的数据处理装置的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请的实施例，提供了一种数据处理方法。

图1是根据本申请实施例的数据处理方法的流程图。如图1所示，该方法包括以下步骤：

步骤S101，采集执行业务的过程中产生的业务数据，其中，业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，前端系统、客户端以及后端系统配合以执行业务。

需要说明的是，用户在执行一项业务时可能通过多个客户端来实现，例如，用户在购物APP上购买商品，付款时会跳转到支付APP输密码进行支付，则该项购买业务关联的客户端为购物APP和支付APP。由于在客户端上进行操作时，通过客户端的前端系统输入指令，客户端的后端系统基于指令进行数据处理，在处理的过程中通过协议将数据发送给后端系统对应的服务器，服务器执行并得到执行结果，由于执行业务中数据要经过客户端的前端系统、后端系统以及后端系统对应的服务器，因而，在这些位置均进行数据的采集，从而为后续业务的分析、监测与告警提供全面的数据基础。

由于客户端的系统及服务器的属性不同，业务数据的采集方式不同，可选地，在本申请实施例提供的数据处理方法中，采集执行业务的过程中产生的业务数据包括：后端系统对应的服务器上部署的采集模块将服务器上产生的业务数据采集至消息队列，其中，消息队列用于在数据传输的过程中保存数据；前端系统通过http协议将前端系统上产生的业务数据实时发送至消息队列；客户端通过http协议定期将客户端上产生的业务数据发送至消息队列。

具体地，前端系统和客户端由第三方开发，难以部署采集模块，均采用http协议发送数据，对于前端系统，例如html、js以及css，会主动把埋点数据通过http的方式实时发送到后端系统中；对于客户端，会先将埋点数据累积在客户端上，累积到一定数量后发送到后端系统；而后端系统的多台服务器均有日志文件.可以在每台服务器上部署采集程序，以采集日志文件。需要说明的是，数据通过消息队列的方式传输，也即，在传输的过程中数据被暂时保存在消息队列中。

需要说明的是，客户端的前端系统和后端系统由第三方开发，难以部署采集模块，前端系统和后端系统主动采用http协议发送数据的方式发送业务数据至数据中心，对于后端系统的服务器，部署采集模块将数据采集至数据中心，需要说明的是，将数据传输至数据中心的过程中，数据被暂时保存在消息队列中。

步骤S102，保存采集到的业务数据。

可选地，保存采集到的业务数据包括：将业务数据从消息队列保存至本地存储器；创建业务数据的索引数据，并将索引数据保存至目标搜索服务器，其中，索引数据用于索引业务数据。

具体地，将原始日志形式的业务数据保存在本地磁盘、分布式文件存储系统或Hbase上，由于原始日志数量居多，为了便于索引到相应的日志，可以为各个原始日志建立索引，并将索引数据保存在目标搜索服务器中，例如，Elasticsearch中，从而基于索引数据快速索引到对应的原始日志数据，对日志数据进行查看，提高了数据查找的效率。

步骤S103，在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况。

需要说明的是，保存的业务数据为多个业务在执行的工程中产生的众多数据，可以从保存的业务数据中调取关注的业务的数据，从而对关注的业务进行全面的分析。

可选地，在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况包括：调取包含目标ID的业务数据，其中，目标ID为请求执行目标业务的ID；分析包含目标ID的业务数据中是否存在异常数据；在包含目标ID的业务数据中存在异常数据的情况下，确定异常数据所属的业务环节发生异常。

例如，目标业务为一笔支付订单，目标ID为该支付订单的订单号,该订单业务在app收银台上的行为,包含在前端系统进入收银台,点击切换支付方式，弹出中间页，点击支付按钮等,再到各个后端系统上的行为,例如，在风控系统检测该笔订单是否有风险,在有风险的情况下拦截支付，在会员系统检测是否是会员身份,在是会员身份的情况下采用会员特权，在支付系统检查是否支付成功，是否存在多次支付的情况，在多次支付的情况下进行退款，在网关系统查看支付通道限额，切换支付方式等，这些行为均可以通过该支付订单的订单号串联起来。在完成该笔支付订单的过程中，产生的业务数据均携带订单号标识，在后续要查看该笔订单的情况时，在保存的业务数据中调取携带该订单标识的数据，从而得到执行该订单的过程中产生的数据，对调取的数据进行分析判断，存在异常数据的情况下，追溯该异常数据所属的支付环节，确定该支付环节发生异常

除了调取保存的数据进行分析，还可以实时分析业务数据，可选地，该方法还包括：分析消息队列中保存的业务数据中是否存在异常数据，其中，异常数据为不符合预设规则的数据；在消息队列中保存的业务数据中存在异常数据的情况下，确定执行业务的过程中发生异常。

需要说明的是，在采集业务数据的过程中先将业务数据暂存在消息队列中，再对消息队列中的数据进行保存，可以实时对消息队列中的进行分析检测，判断是否存在异常数据，从而及时发现执行业务过程中是否发生异常。

可选地，在确定执行业务的过程中发生异常之后，该方法还包括：确定异常业务，其中，异常业务为执行业务的过程中发生异常的业务；向目标对象发送异常业务的告警信息。

例如，确定在某笔支付业务中发生异常，可以通过支付APP给账号主发消息进行异常告警，也可以通过短信的方式给账号主的手机号码发送异常告警，从而使得支付执行人及时得知支付异常，采取相应的应对措施。

本申请实施例提供的数据处理方法，通过采集执行业务的过程中产生的业务数据，其中，业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，前端系统、客户端以及后端系统配合以执行业务；保存采集到的业务数据；在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况，解决了相关技术中客户端及后端系统越来越多，难以对业务的整体执行情况进行监控和跟踪的问题。通过从业务关联的客户端的前端系统、后端系统以及服务器采集业务数据，进而达到了在客户端的系统及服务器越来越多，也能对客户端相关的目标业务的执行情况进行有效监控和跟踪的效果。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种数据处理装置，需要说明的是，本申请实施例的数据处理装置可以用于执行本申请实施例所提供的用于数据处理方法。以下对本申请实施例提供的数据处理装置进行介绍。

图2是根据本申请实施例的数据处理装置的示意图。如图2所示，该装置包括：采集单元10、保存单元20和调取单元30。

具体地，采集单元10，用于采集执行业务的过程中产生的业务数据，其中，业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，前端系统、客户端以及后端系统配合以执行业务。

保存单元20，用于保存采集到的业务数据。

调取单元30，用于在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况。

可选地，在本申请实施例提供的数据处理装置中，采集单元10包括：采集模块，用于基于后端系统对应的服务器上部署的采集模块将服务器上产生的业务数据采集至消息队列，其中，消息队列用于在数据传输的过程中保存数据；第一发送模块，用于基于前端系统通过http协议将前端系统上产生的业务数据发送至消息队列；第二发送模块，用于基于后端系统通过http协议将后端系统上产生的业务数据发送至消息队列。

可选地，在本申请实施例提供的数据处理装置中，保存单元20包括：第一保存模块，用于将业务数据从消息队列保存至本地存储器；第二保存模块，用于创建业务数据的索引数据，并将索引数据保存至目标搜索服务器，其中，索引数据用于索引业务数据。

可选地，在本申请实施例提供的数据处理装置中，调取单元30包括：调取模块，用于调取包含目标ID的业务数据，其中，目标ID为请求执行目标业务的ID；分析模块，用于分析包含目标ID的业务数据中是否存在异常数据；确定模块，用于在包含目标ID的业务数据中存在异常数据的情况下，确定异常数据所属的业务环节发生异常。

可选地，在本申请实施例提供的数据处理装置中，该装置还包括：分析单元，用于分析消息队列中保存的业务数据中是否存在异常数据，其中，异常数据为不符合预设规则的数据；第一确定单元，用于在消息队列中保存的业务数据中存在异常数据的情况下，确定执行业务的过程中发生异常。

可选地，在本申请实施例提供的数据处理装置中，该装置还包括：第二确定单元，用于在确定执行业务的过程中发生异常之后，确定异常业务，其中，异常业务为执行业务的过程中发生异常的业务；发送单元，用于向目标对象发送异常业务的告警信息。

本申请实施例提供的数据处理装置，通过采集单元10采集执行业务的过程中产生的业务数据，其中，业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，前端系统、客户端以及后端系统配合以执行业务；保存单元20保存采集到的业务数据；调取单元30在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况，解决了相关技术中客户端及后端系统越来越多，难以对业务的整体执行情况进行监控和跟踪的问题，通过从业务关联的客户端的前端系统、后端系统以及服务器采集业务数据，进而达到了在客户端的系统及服务器越来越多，也能对客户端相关的目标业务的执行情况进行有效监控和跟踪的效果。

所述数据处理装置包括处理器和存储器，上述采集单元10、保存单元20和调取单元30等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决相关技术中客户端及后端系统越来越多，难以对业务的整体执行情况进行监控和跟踪的问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述数据处理方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述数据处理方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：采集执行业务的过程中产生的业务数据，其中，业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，前端系统、客户端以及后端系统配合以执行业务；保存采集到的业务数据；在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况。

采集执行业务的过程中产生的业务数据包括：后端系统对应的服务器上部署的采集模块将服务器上产生的业务数据采集至消息队列，其中，消息队列用于在数据传输的过程中保存数据；前端系统通过http协议将前端系统上产生的业务数据实时发送至消息队列；客户端通过http协议定期将客户端上产生的业务数据发送至消息队列。

保存采集到的业务数据包括：将业务数据从消息队列保存至本地存储器；创建业务数据的索引数据，并将索引数据保存至目标搜索服务器，其中，索引数据用于索引业务数据。

在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况包括：调取包含目标ID的业务数据，其中，目标ID为请求执行目标业务的ID；分析包含目标ID的业务数据中是否存在异常数据；在包含目标ID的业务数据中存在异常数据的情况下，确定异常数据所属的业务环节发生异常。

该方法还包括：分析消息队列中保存的业务数据中是否存在异常数据，其中，异常数据为不符合预设规则的数据；在消息队列中保存的业务数据中存在异常数据的情况下，确定执行业务的过程中发生异常。

在确定执行业务的过程中发生异常之后，该方法还包括：确定异常业务，其中，异常业务为执行业务的过程中发生异常的业务；向目标对象发送异常业务的告警信息。本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：采集执行业务的过程中产生的业务数据，其中，业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，前端系统、客户端以及后端系统配合以执行业务；保存采集到的业务数据；在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况。

采集执行业务的过程中产生的业务数据包括：后端系统对应的服务器上部署的采集模块将服务器上产生的业务数据采集至消息队列，其中，消息队列用于在数据传输的过程中保存数据；前端系统通过http协议将前端系统上产生的业务数据实时发送至消息队列；客户端通过http协议定期将客户端上产生的业务数据发送至消息队列。

保存采集到的业务数据包括：将业务数据从消息队列保存至本地存储器；创建业务数据的索引数据，并将索引数据保存至目标搜索服务器，其中，索引数据用于索引业务数据。

在保存的业务数据中调取目标业务关联的业务数据，并基于目标业务关联的业务数据分析目标业务的执行情况包括：调取包含目标ID的业务数据，其中，目标ID为请求执行目标业务的ID；分析包含目标ID的业务数据中是否存在异常数据；在包含目标ID的业务数据中存在异常数据的情况下，确定异常数据所属的业务环节发生异常。

该方法还包括：分析消息队列中保存的业务数据中是否存在异常数据，其中，异常数据为不符合预设规则的数据；在消息队列中保存的业务数据中存在异常数据的情况下，确定执行业务的过程中发生异常。

在确定执行业务的过程中发生异常之后，该方法还包括：确定异常业务，其中，异常业务为执行业务的过程中发生异常的业务；向目标对象发送异常业务的告警信息。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (4)

1.一种数据处理方法，其特征在于，包括：

采集执行业务的过程中产生的业务数据，其中，所述业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，所述前端系统、所述客户端以及所述后端系统配合以执行业务；

保存采集到的所述业务数据；

在保存的所述业务数据中调取目标业务关联的业务数据，并基于所述目标业务关联的业务数据分析所述目标业务的执行情况；

采集执行业务的过程中产生的业务数据包括：

所述后端系统对应的服务器上部署的采集模块将所述服务器上产生的业务数据采集至消息队列，其中，所述消息队列用于在数据传输的过程中保存数据；

所述前端系统通过http协议将所述前端系统上产生的业务数据实时发送至所述消息队列；

所述客户端通过http协议定期将所述客户端上产生的业务数据发送至所述消息队列；

分析所述消息队列中保存的业务数据中是否存在异常数据，其中，所述异常数据为不符合预设规则的数据；

在所述消息队列中保存的业务数据中存在异常数据的情况下，确定执行业务的过程中发生异常；

保存采集到的所述业务数据包括：将所述业务数据从所述消息队列保存至本地存储器；创建所述业务数据的索引数据，并将所述索引数据保存至目标搜索服务器，其中，所述索引数据用于索引所述业务数据；

在保存的所述业务数据中调取目标业务关联的业务数据，并基于所述目标业务关联的业务数据分析所述目标业务的执行情况包括：调取包含目标ID的业务数据，其中，所述目标ID为请求执行所述目标业务的ID；分析所述包含目标ID的业务数据中是否存在异常数据；在所述包含目标ID的业务数据中存在异常数据的情况下，确定所述异常数据所属的业务环节发生异常。

2.根据权利要求1所述的方法，其特征在于，在确定执行业务的过程中发生异常之后，所述方法还包括：

确定异常业务，其中，所述异常业务为执行业务的过程中发生异常的业务；

向目标对象发送所述异常业务的告警信息。

3.一种数据处理装置，其特征在于，包括：

采集单元，用于采集执行业务的过程中产生的业务数据，其中，所述业务数据至少从以下之一的位置采集：前端系统、客户端以及后端系统，其中，所述前端系统、所述客户端以及所述后端系统配合以执行业务；

保存单元，用于保存采集到的所述业务数据；

调取单元，用于在保存的所述业务数据中调取目标业务关联的业务数据，并基于所述目标业务关联的业务数据分析所述目标业务的执行情况；

其中，所述采集单元包括：

采集模块，用于基于所述后端系统对应的服务器上部署的采集模块将所述服务器上产生的业务数据采集至消息队列，其中，所述消息队列用于在数据传输的过程中保存数据；

第一发送模块，用于基于所述前端系统通过http协议将所述前端系统上产生的业务数据实时发送至所述消息队列；

第二发送模块，用于基于所述客户端通过http协议定期将所述客户端上产生的业务数据发送至所述消息队列；

分析单元，用于分析所述消息队列中保存的业务数据中是否存在异常数据，其中，所述异常数据为不符合预设规则的数据；

第一确定单元，用于在所述消息队列中保存的业务数据中存在异常数据的情况下，确定执行业务的过程中发生异常；

所述保存单元包括：第一保存模块，用于将业务数据从消息队列保存至本地存储器；第二保存模块，用于创建业务数据的索引数据，并将索引数据保存至目标搜索服务器，其中，索引数据用于索引业务数据；

所述调取单元包括：调取模块，用于调取包含目标ID的业务数据，其中，目标ID为请求执行目标业务的ID；分析模块，用于分析包含目标ID的业务数据中是否存在异常数据；确定模块，用于在包含目标ID的业务数据中存在异常数据的情况下，确定异常数据所属的业务环节发生异常。

4.一种存储介质，其特征在于，所述存储介质存储有程序，其中，所述程序被处理器执行时实现权利要求1至2中任意一项所述的数据处理方法。

Images