CN113282431B - 异常数据处理方法及装置、存储介质及电子设备 - Google Patents

Abstract

本公开提供了一种异常数据处理方法、装置、电子设备及存储介质，涉及计算机技术领域。该方法包括：接收业务系统发送的异常数据；根据所述异常数据中的异常标识确定处理方式标识，进而基于所述处理方式标识生成处理指令；查询操作权限表以确定与所述处理指令对应的操作节点，进而为所述操作节点开启处理权限，以使所述操作节点基于所述处理指令调用所述业务系统中的处理流程对所述异常数据进行处理。该方法可以简化异常数据的处理过程，提高处理效率，从而提升用户体验。

Description

异常数据处理方法及装置、存储介质及电子设备

技术领域

本公开涉及计算机技术领域，尤其涉及一种异常数据处理方法及装置、存储介质及电子设备。

背景技术

在计算机技术支持的业务场景中，一项业务的处理常常需要多个业务系统协同作业共同完成；当业务处理过程中出现异常信息时，需要联动上下游系统一起排查解决。

相关技术中，操作人员常常需要登录多个不同部门的系统进行一系列操作以处理异常，具体过程为：需要先根据异常信息进行筛查，根据筛查结果通知相关的操作人员，使操作人员基于异常信息找到并登录相关系统、再在系统中申请操作权限，之后下达处理指令对异常信息进行处理。相关技术中异常信息的处理过程繁琐、处理效率低下，导致了用户体验较差。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种异常数据处理方法、装置、电子设备及存储介质，以解决系统异常处理效率低的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种异常数据处理方法，包括：

接收业务系统发送的异常数据；根据所述异常数据中的异常标识确定处理方式标识，进而基于所述处理方式标识生成处理指令；查询操作权限表以确定与所述处理指令对应的操作节点，进而为所述操作节点开启处理权限，以使所述操作节点基于所述处理指令调用所述业务系统中的处理流程对所述异常数据进行处理。

在本公开一个实施例中，在所述接收业务系统发送的异常数据之前，还包括：利用消息平台为所述业务系统配置数据接口；以及，所述接收业务系统发送的异常数据包括：通过所述数据接口接收所述异常数据。

在本公开一个实施例中，在所述接收业务系统发送的异常数据之后，还包括：生成所述异常数据的处理日志；基于所述数据接口，将所述异常数据和所述处理日志存储至预设数据库集群的相应分库分表中。

在本公开一个实施例中，在所述操作节点基于所述处理指令调用所述业务系统中的处理流程对所述异常数据进行处理之后，还包括：记录对所述异常数据进行处理的执行信息，并更新所述处理日志；其中，所述执行信息包括：处理方式标识、操作节点信息、操作时间信息、执行状态信息。

在本公开一个实施例中，在根据所述异常数据中的异常标识确定处理方式标识之前，还包括：基于所述业务系统中对所述异常数据的处理流程，注册用于处理所述异常数据的异常处理服务，并将所述处理流程的处理方式标识存储至与所述业务系统对应的异常池中；以及，根据所述异常数据中的异常标识确定处理方式标识，包括：根据所述异常数据中的业务标识确定异常池，进而根据所述异常数据中的异常标识从所述异常池中确定处理方式标识。

在本公开一个实施例中，在查询操作权限表以确定与所述处理指令对应的操作节点之前，还包括：获取所述业务系统中所述处理流程与相应操作节点的对应关系；将所述对应关系存储至所述操作权限表。

在本公开一个实施例中，为所述操作节点开启处理权限，使所述操作节点基于所述处理指令调用所述业务系统中的处理流程对所述异常数据进行处理，包括：为所述操作节点开启处理权限，使所述操作节点基于所述处理指令调用相应的异常处理服务，进而基于所述异常处理服务调用所述业务系统中的处理流程对所述异常数据进行处理。

根据本公开的另一个方面，提供一种异常数据处理装置，包括：

接收模块，用于接收业务系统发送的异常数据；

生成指令模块，用于根据所述异常数据中的异常标识确定处理方式标识，进而基于所述处理方式标识生成处理指令；

执行模块，用于查询操作权限表以确定与所述处理指令对应的操作节点，进而为所述操作节点开启处理权限，以使所述操作节点基于所述处理指令调用所述业务系统中的处理流程对所述异常数据进行处理。

在本公开一个实施例中，所述接收模块在接收业务系统发送的异常数据之前，还用于：利用消息平台为所述业务系统配置数据接口；以及，所述接收模块接收业务系统发送的异常数据，包括：通过所述数据接口接收所述异常数据。

在本公开一个实施例中，所述接收模块在接收业务系统发送的异常数据之后，还用于：生成所述异常数据的处理日志；基于所述数据接口，将所述异常数据和所述处理日志存储至预设数据库集群的相应分库分表中。

在本公开一个实施例中，在所述操作节点基于所述处理指令调用所述业务系统中的处理流程对所述异常数据进行处理之后，所述执行模块还用于：记录对所述异常数据进行处理的执行信息，并更新所述处理日志；其中，所述执行信息包括：处理方式标识、操作节点信息、操作时间信息、执行状态信息。

在本公开一个实施例中，上述异常数据处理装置还包括：注册模块；所述注册模块用于：在根据所述异常数据中的异常标识确定处理方式标识之前，基于所述业务系统中对所述异常数据的处理流程，注册用于处理所述异常数据的异常处理服务，并将所述处理流程的处理方式标识存储至与所述业务系统对应的异常池中；以及，所述生成指令模块根据所述异常数据中的异常标识确定处理方式标识，包括：根据所述异常数据中的业务标识确定异常池，进而根据所述异常数据中的异常标识从所述异常池中确定处理方式标识。

在本公开一个实施例中，所述执行模块在查询操作权限表以确定与所述处理指令对应的操作节点之前，还用于：获取所述业务系统中所述处理流程与相应操作节点的对应关系；将所述对应关系存储至所述操作权限表。

在本公开一个实施例中，，所述执行模块为所述操作节点开启处理权限，使所述操作节点基于所述处理指令调用所述业务系统中的处理流程对所述异常数据进行处理，包括：为所述操作节点开启处理权限，使所述操作节点基于所述处理指令调用相应的异常处理服务，进而基于所述异常处理服务调用所述业务系统中的处理流程对所述异常数据进行处理。

根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的异常数据处理方法。

根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的异常数据处理方法。

本公开的实施例所提供的异常数据处理方法，能够统一收集不同业务系统产生的异常数据，并利用集成好的不同业务系统中对异常数据处理方式的调度功能以及权限信息，自动通知操作节点并为操作节点开启处理权限，进而使操作节点能够仅使用本申请提供的装置及方法调度相应处理方式对异常数据进行处理，从而简化异常数据的处理过程，提高处理效率。

进一步，本公开实施例提供的异常数据处理方法还可以生成对异常数据的处理日志，处理日志可用于导出、归档、查询、分析，可以为追溯异常产生的原因以及减缓异常的产生提供数据支持。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本公开实施例的异常数据处理方法的示例性系统架构的示意图；

图2示出了本公开一个实施例的异常数据处理方法的流程图；

图3示出了本公开一个实施例的计费系统异常数据处理示意图；

图4示出了本公开一个实施例的异常数据处理方法中注册处理服务的流程图；

图5示出了本公开一个实施例的异常数据处理方法的流程图；

图6示出了本公开一个实施例的实现异常数据处理的系统架构示意图；

图7示出了本公开一个实施例的实现异常数据处理的技术架构示意图；

图8示出了本公开一个实施例的异常数据处理装置的框图；

图9示出了本公开实施例中一种异常数据处理计算机设备的结构框图；和

图10所示了根据本发明实施方式的用于实现上述方法的程序产品。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

针对上述相关技术中存在的技术问题，本公开实施例提供了一种接口测试方法，以用于至少解决上述技术问题中的一个或者全部。

图1示出了可以应用本公开实施例的异常数据处理方法的示例性系统架构的示意图；如图1所示：

该系统架构可以包括服务器101、网络102和客户端103。网络102用以在客户端103和服务器101之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

服务器101可以是提供各种服务的服务器，例如对用户利用客户端203所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对业务系统发送的异常数据进行统一接收、基于异常数据生成处理指令等处理，并将处理结果反馈给客户端103。

客户端103可以是手机、游戏主机、平板电脑、电子书阅读器、智能眼镜、智能家居设备、AR(Augmented Reality，增强现实)设备、VR(Virtual Reality，虚拟现实)设备等移动终端，或者，客户端103也可以是个人计算机，比如膝上型便携计算机和台式计算机等等。

在一些可选的实施例中，服务器101可以在接收到异常数据后新建处理日志，以及根据异常数据生成处理指令、查询操作权限表以确定与处理指令对应的操作节点，进而为所述操作节点开启处理权限；操作节点上的操作人员可以通过客户端103的界面，基于已开启的处理权限调用业务系统中的处理流程对异常数据进行处理，客户端103可以将操作人员对异常数据的处理结果发送至服务器101；服务器101可以根据获取到的处理结果更新上述处理日志。

客户端103还可以为操作人员提供数据查询、数据导出、数据分析等功能，操作人员通过客户端103将上述操作请求发送至服务器101后，服务器101可以基于已存储的处理日志执行查询、导出、分析等操作，以及对操作结果进行加工以用于在客户端103的界面中展示，进而方便异常数据的统计和推动、以及异常数据的预警。

应该理解，图1中的客户端、网络和服务器的数目仅仅是示意性的，服务器101可以是一个实体的服务器，还可以为多个服务器组成的服务器集群，还可以是云端服务器，根据实际需要，可以具有任意数目的客户端、网络和服务器。

下面，将结合附图及实施例对本公开示例实施例中的接口测试方法的各个步骤进行更详细的说明。

图2示出了本公开一个实施例的异常数据处理方法的流程图。本公开实施例提供的方法可以由如图1所示的服务器或客户端中执行，但本公开并不限定于此。

在下面的举例说明中，以服务器集群201为执行主体进行示例说明。

如图2所示，本公开实施例提供的异常数据处理方法可以包括以下步骤：

步骤S201、接收业务系统发送的异常数据；

步骤S202、根据所述异常数据中的异常标识确定处理方式标识，进而基于所述处理方式标识生成处理指令；

步骤S203、查询操作权限表以确定与所述处理指令对应的操作节点，进而为所述操作节点开启处理权限，以使所述操作节点基于所述处理指令调用所述业务系统中的处理流程对所述异常数据进行处理。

在本公开实施例可以适用于与处理业务相关的场景。其中，业务系统可以是与处理业务相关的、存在数据交互的系统；如对于线上购物的计费场景，业务系统可以是接单平台、计价引擎、店铺会员系统等。

在步骤S201中，可以以一定的方式自动接入外部业务系统中的异常数据，在一些实施例中，可以利用消息平台为所述业务系统配置数据接口；进而可以通过配置好的数据接口接收异常数据。如：可以利用JMQ消息平台(Jingdong Message Queue，京东消息中间件)提供的标准JMQ接入方式，增加适配层以接收来自各业务系统的异常数据。

在步骤S202中，异常数据中可以指示异常标识，处理方式标识可以与业务系统中真实的处理流程相对应，进而可以根据异常标识确定处理异常数据的处理方式标识，再基于处理方式标识生成处理异常数据的处理指令，用于调用业务系统中真实的处理流程。例如，在计费场景中，异常数据可以是：接单异常下沉、计费要素缺失、计费策略不匹配等问题产生的异常数据，在本实施例中可以分别为这些异常数据设置异常标识，并设置对应的处理方式标识，如：对于“计费要素缺失”的问题，处理流程可以是“非标导入处理”，在本方法中可以为“计费要素缺失”产生的异常数据设置异常标识，为“非标导入处理”的处理流程设置处理方式标识。

在步骤S203中，可以查询操作权限表以确定与所述处理指令对应的操作节点，并为所述操作节点开启处理权限；操作节点上可以配置操作人员或自动化的操作程序，进而使得操作人员或操作程序可以基于所述处理指令调用所述业务系统中的处理流程，实现对异常数据的处理。

通过本实施例中提供的方法，可以统一收集不同业务系统产生的异常数据，并利用集成好的不同业务系统中对异常数据处理方式的调度功能以及权限信息，自动通知操作节点并为操作节点开启处理权限，进而使操作节点能够仅使用本申请提供的装置及方法调度相应处理方式对异常数据进行处理。本实施例提供的方法可以简化异常数据的处理过程，提高处理效率，从而提升用户体验。

在一些实施例中，在接收业务系统发送的异常数据之后，还包括：生成所述异常数据的处理日志；基于所述数据接口，将所述异常数据和所述处理日志存储至预设数据库集群的相应分库分表中。

可以为不同业务系统中的异常数据设置独立的存储空间，方便后续的查询、导出、归档等操作；其中，使用分库分表的存储方式可以保证数据库较高的处理性能。

在一些实施例中，在所述操作节点基于所述处理指令调用所述业务系统中的处理流程对所述异常数据进行处理之后，还包括：记录对所述异常数据进行处理的执行信息，并更新所述处理日志；其中，所述执行信息包括：处理方式标识、操作节点信息、操作时间信息、执行状态信息。

通过上述方法生成的处理日志可用于导出、归档、查询、分析，可以为追溯异常产生的原因以及减缓异常的产生提供数据支持。

下面以计费场景中异常数据为异常单据为例进行说明，本公开提供的异常数据处理方法也适用于其他业务场景中的业务数据，本公开对此不做限制。

图3示出了示出了本公开一个实施例的计费系统异常数据处理示意图，如图3所示，在计费场景下，可以构建异常工作台实现本申请中的异常数据处理方法。具体包括：

当计费系统301产生接单异常下沉、计费要素缺失等异常单据时，可以通过技术手段(如：利用JMQ消息平台提供的标准JMQ接入方式)将此类单据接入到异常工作台302中，异常工作台可以提供相应的查询、导出和异常处理的调度能力，后续的所有异常的处理都可以在异常工作台的计费异常模块进行统一的操作。针对计费场景可以提供重新计费、调账、非标导入处理以及申请打标不计费处理等处理方式，这些方式的处理方式标识可以统一存储于异常工作台中的计费场景异常池中，从计费场景异常池中确定好与异常单据对应的一个或多个处理方式标识后，异常工作台可以基于处理方式标识生成一个或多个处理指令，并向外发出；业务系统接收到处理指令后，通过预置的业务处理流程进行系统内闭环的处理；当按照对异常数据的处理流程处理完毕后，可以通知异常工作台该条处理指令处理完成，并由异常工作台记录处理时间、操作节点(处理人员)以及处理方式标识等日志流水，根据日志流水生成各种离线报表303。相对应的还可以基于离线报表303做到不同系统、业务条线的异常推送、异常统计和异常处理率的分析，以在后续过程中减缓异常的产生。

在一些实施例中，在根据所述异常数据中的异常标识确定处理方式标识之前，还包括：基于所述业务系统中对所述异常数据的处理流程，注册用于处理所述异常数据的异常处理服务，并将所述处理流程的处理方式标识存储至与所述业务系统对应的异常池中；以及，根据所述异常数据中的异常标识确定处理方式标识，包括：根据所述异常数据中的业务标识确定异常池，进而根据所述异常数据中的异常标识从所述异常池中确定处理方式标识。

图4示出了本公开一个实施例的异常数据处理方法中注册处理服务的流程图，如图4所示，包括：

步骤S401、获取业务系统中对异常数据的处理流程；

步骤S402、基于处理流程在异常工作台中注册用于处理异常数据的异常处理服务；

步骤S403、将处理流程的处理方式标识存储至与业务系统对应的异常池中。

通过上述方法，可以预先获取业务系统中对所述异常数据的处理流程，将各种处理异常的服务注册在实现本公开中异常数据处理方法的异常工作台中，并在异常池中存储相应的处理方式标识，用于在后续步骤中调用服务。其中，异常池可与业务系统相对应，为业务系统注册异常处理服务时，可将同一业务涉及的业务系统所能提供的服务注册在同一业务池中，使得管理有序，方便快速查询得到处理异常数据的处理方式标识。通过上述处理方式的服务注册可以实现自助对接，所注册的服务可以看做是一种约定(例如接口处理定义)，当异常工作台中的异常单据被选择某一类处理方式后，异常工作台的异常处理的调度任务会自动调用相关约定的服务进行处理，而具体的服务处理仍在在原有业务系统中实现，从而使得在本申请中无需编写额外的实现方式，通过调用即可在同一平台(如：实现本申请方法的异常工作台)上实现对各种业务场景下各类异常数据的处理。

在一些实施例中，在查询操作权限表以确定与所述处理指令对应的操作节点之前，还包括：获取所述业务系统中所述处理流程与相应操作节点的对应关系；将所述对应关系存储至所述操作权限表。

进一步地，在一些实施例中，为所述操作节点开启处理权限，使所述操作节点基于所述处理指令调用所述业务系统中的处理流程对所述异常数据进行处理，包括：为所述操作节点开启处理权限，使所述操作节点基于所述处理指令调用相应的异常处理服务，进而基于所述异常处理服务调用所述业务系统中的处理流程对所述异常数据进行处理。

可以先获取各个系统中处理异常数据的操作节点以及操作节点可操作的权限，统一记录在一张操作权限表中，进而可以在生成处理指令后，通过调用操作权限表进行查询，确定可处理上述异常数据的操作节点，为其开启权限并作出通知，以使操作节点上的操作人员或操作程序实现对异常数据的处理。

图5示出了本公开一个实施例的异常数据处理方法的流程图，如图5所示，包括：

步骤S501、接收业务系统发送的异常数据；

步骤S502、根据异常数据中的业务标识确定异常池；

步骤S503、根据异常数据中的异常标识从异常池中确定处理方式标识；

步骤S504、基于处理方式标识生成处理指令；

步骤S505、查询操作权限表以确定与处理指令对应的操作节点，为操作节点开启处理权限；

步骤S506、在操作节点上基于处理指令调用相应的异常处理服务，进而基于异常处理服务调用业务系统中的处理流程，以对异常数据进行处理。

图6以计费场景为例，示出了本公开一个实施例的实现异常数据处理的系统架构示意图。如图6所示，本实施例中的架构可以包括：计费系统601、异常工作台602、报表与监控603。其中，计费系统可以是外部的业务系统；异常工作台602可以是本申请实现异常数据处理方法的系统，异常工作台602中可以包括计费异常池604；报表与监控603可以是与异常数据产生的处理日志相关的功能系统。

计费系统是异常工作台数据来源之一，在计费场景中可以是财务域中的接单、定价、计费环节中的系统(如：可以是接单平台、各种计价引擎等)，后续可以持续接入结算、核算环节，也可以承接其他业务域中的异常数据。

异常工作台可以为操作节点上的操作人员服务，使得异常的处理更聚焦，在一个平台系统中就可以完成对所有计费域中异常的处理。异常工作台可以实现数据的接入、数据预处理、数据存储、查询展示、导出等和异常处理服务的调度功能，是一个异构后的异常视角的数据处理平台；针对来源系统和异常环节的异常种类不同，后续还可以扩展不同的处理能力，这些处理能力均来自来源业务系统。异常工作台还可以接入统一权限管理系统，权限管理系统中可以维护上述操作权限表，解决了操作人员原来在各个业务系统中的权限申请的问题。

报表与监控可以为其他管理层面服务，可以提供对异常数据的处理日志的离线分析的加工和处理，方便异常处理的统计和推动，以及对异常数据的预警。

图7以计费场景为例，示出了本公开一个实施例的实现异常数据处理的技术架构示意图。如图7所示，可以包括：计费系统701、异常工作台702；其中，异常工作台702还可以包括以下部分：适配层703、存储层704、服务层705、应用层706；

在图7所示的技术架构示意图中，可以包括接入方案、存储方案、性能优化方案、高可用设计方案、服用可扩展性等方面的设计。

对于接入方案，具体可以包括：

接入方式：可以为计费环节增加一层适配层，如：可以采用标准JMQ接入，后续可以考虑JSF(Jingdong Service Framework，京东服务框架，也称杰夫系统框架)接口和其他的接入方式，也可以扩展成数据接入的注册中心，如：针对异常处理服务也可以扩展成异常服务配置接入，支持JSF泛化调用，可以降低后续维护成本；

存储方式：存储可以采用MySql分库分表集群，通过ES集群支持复杂查询和二级索引，还可以支持将导出和上传的文件存储到JSS平台，使用大数据平台归档、监控、备份；

边界实现：可以对异常处理服务进行集中管理，相关的异常数据处理可以调用计费场景中的外部业务系统，保证业务系统中的异常处理仍然可以闭环，而本申请中的异常工作台可以只提供异常可视化和异常处理调度的功能。

对于存储方案，具体可以包括：

分库分表：可以采用MySql数据库对不同业务场景产生的异常数据进行分库分表的存储；可以根据雪花生成器或其他序号生成方式进行异常表主键的生成，且以之作为分库分表的key，如：可以分成4个库，每个库32个异常单据。还可以根据防重表实现业务防重限制。在一些实际应用中，异常单据每天可能达到二十万左右的增长，单表难以持续支撑，分库分表后的128个异常表可以保证单表数据控制在200W内，进而保证了数据库的处理性能，也可以降低数据库瓶颈带来的问题；

数据归档：考虑到异常中心初建且冷热分布明显，可以按照“已处理”单据通过数据归档平台进行归档处理，进而充分利用数据库存储资源。如：可以使用DPOT平台(京东自行开发的数据归档平台，可以支持数据归档和数据拉回)进行实现。

对于性能优化方案，具体可以包括：

接入：可以采用JMQ的接入方式，在应用和数据库瓶颈范围内可以通过调整JMQ消费分片提高消费吞吐量，在一些实际应用中，该方式可以支持2.5w/s的高消费能力，同时JSF查询服务可以达到QPS:2k/s的高吞吐量，进而满足大多数的使用场景；

单表性能：对异常单据进行分库分表存储以及使用热分离的技术，可以将异常单据表的数据量单表控制在百万以内，进而提高每个表的操作性能；

复杂查询：可以采用ES集群支持分库分表的复杂查询和导出，如：可以直接查询ES服务，也可以改造ES只做热点数据或基于ES做查询二级索引，再根据数据库主键进行从库的查询和导出；在一些实际应用中，该方式能够支持百万级别数据导出。

对于高可用设计方案，具体可以包括：

分组隔离：服务部署可以分为消费分组、JSF服务分组、异步任务分组，从而保证数据接入、服务提供和异步任务隔离，互不影响，避免因消息接入或异步处理的压力过大而导致外部服务不可用；

读写分离：数据库的查询和导出可以采用从库查询的方式，避免对主库造成负载压力而导致正常业务不可用；

ES降级：可以使用蜂巢以支持海量数据的同步，且不易丢失数据；在一些实际应用中，即使ES集群出现问题，仍然可以通过蜂巢快速切换ES集群，并在分钟级恢复，保证了数据的可用性和安全性；

AB机房：服务隔离部署，采用双机房AB备份，保证机器有问题的时候能够快速切换；

核心监控：可以为消费和核心调用接口均接入UMP监控，保证处理流程出现问题时能够及时发现、定位并解决；

服务限流：可以通过JSF限流方式，避免服务调用方超过预计调用频次而造成对系统的瞬间请求压力；

服务缓存：可以基于redis做热点数据的缓存，避免大量数据请求到数据库，降低数据库压力。

对于服用可扩展性，具体可以包括：

关于统一接入：在一些实际应用中，可以在数据接入的设计上增加消息层级的顶层设计，用以区分来源系统和异常环节，还可以在消息体不不变更的情况下接入独立条线，进而无需二次开发，只需要扩展开发新增业务处理逻辑即可。

需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

图8示出本公开第五实施例中一种异常数据处理装置800的框图；如图8所示，包括：

接收模块801，用于接收业务系统发送的异常数据；

生成指令模块802，用于根据所述异常数据中的异常标识确定处理方式标识，进而基于所述处理方式标识生成处理指令；

执行模块803，用于查询操作权限表以确定与所述处理指令对应的操作节点，进而为所述操作节点开启处理权限，以使所述操作节点基于所述处理指令调用所述业务系统中的处理流程对所述异常数据进行处理。

在一些实施例中，异常数据处理装置还可以包括：注册模块804；所述注册模块可以用于：在根据所述异常数据中的异常标识确定处理方式标识之前，基于所述业务系统中对所述异常数据的处理流程，注册用于处理所述异常数据的异常处理服务，并将所述处理流程的处理方式标识存储至与所述业务系统对应的异常池中。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

图9示出本公开实施例中一种异常数据处理计算机设备的结构框图。需要说明的是，图9示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

下面参照图9来描述根据本发明的这种实施方式的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元910可以执行如图2中所示的步骤S201、接收业务系统发送的异常数据；步骤S202、根据所述异常数据中的异常标识确定处理方式标识，进而基于所述处理方式标识生成处理指令；步骤S203、查询操作权限表以确定与所述处理指令对应的操作节点，进而为所述操作节点开启处理权限，以使所述操作节点基于所述处理指令调用所述业务系统中的处理流程对所述异常数据进行处理。

存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)9201和/或高速缓存存储单元9202，还可以进一步包括只读存储单元(ROM)9203。

存储单元920还可以包括具有一组(至少一个)程序模块9205的程序/实用工具9204，这样的程序模块9205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备900也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

参考图10所示，根据本发明实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (8)

1.一种异常数据处理方法，其特征在于，包括：

接收业务系统发送的异常数据；

基于所述业务系统中对所述异常数据的处理流程，注册用于处理所述异常数据的异常处理服务，并将所述处理流程的处理方式标识存储至与所述业务系统对应的异常池中；

根据所述异常数据中的业务标识确定异常池，进而根据所述异常数据中的异常标识从所述异常池中确定处理方式标识，进而基于所述处理方式标识生成处理指令；

查询操作权限表以确定与所述处理指令对应的操作节点，进而为所述操作节点开启处理权限，使所述操作节点基于所述处理指令调用相应的异常处理服务，进而基于所述异常处理服务调用所述业务系统中的处理流程对所述异常数据进行处理。

2.根据权利要求1所述的方法，其特征在于，在所述接收业务系统发送的异常数据之前，还包括：

利用消息平台为所述业务系统配置数据接口；以及，

所述接收业务系统发送的异常数据包括：通过所述数据接口接收所述异常数据。

3.根据权利要求2所述的方法，其特征在于，在所述接收业务系统发送的异常数据之后，还包括：

生成所述异常数据的处理日志；

基于所述数据接口，将所述异常数据和所述处理日志存储至预设数据库集群的相应分库分表中。

4.根据权利要求3所述的方法，其特征在于，在所述操作节点基于所述处理指令调用所述业务系统中的处理流程对所述异常数据进行处理之后，还包括：

记录对所述异常数据进行处理的执行信息，并更新所述处理日志；其中，所述执行信息包括：处理方式标识、操作节点信息、操作时间信息、执行状态信息。

5.根据权利要求1所述的方法，其特征在于，在查询操作权限表以确定与所述处理指令对应的操作节点之前，还包括：

获取所述业务系统中所述处理流程与相应操作节点的对应关系；

将所述对应关系存储至所述操作权限表。

6.一种异常数据处理装置，其特征在于，包括：

接收模块，用于接收业务系统发送的异常数据；

注册模块，用于基于所述业务系统中对所述异常数据的处理流程，注册用于处理所述异常数据的异常处理服务，并将所述处理流程的处理方式标识存储至与所述业务系统对应的异常池中；

生成指令模块，用于根据所述异常数据中的业务标识确定异常池，进而根据所述异常数据中的异常标识从所述异常池中确定处理方式标识，进而基于所述处理方式标识生成处理指令；

执行模块，用于查询操作权限表以确定与所述处理指令对应的操作节点，进而为所述操作节点开启处理权限，使所述操作节点基于所述处理指令调用相应的异常处理服务，进而基于所述异常处理服务调用所述业务系统中的处理流程对所述异常数据进行处理。

7.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1至5任一项所述的异常数据处理方法。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至5任一项所述的异常数据处理方法。