CN114938391B - 数据处理方法、装置、设备及介质 - Google Patents

Abstract

本申请提供一种数据处理方法、装置、设备及介质。该方法包括：接收报文发起系统发送的调用请求报文，并且获取调用请求报文中的调用请求信息；根据调用请求信息，确定调用请求报文对应的报文权重；根据报文权重确定待存储报文信息以及对应的存储位置，并且将待存储报文信息存储到对应的存储位置中。本申请的方法，根据权重对报文信息进行多级过滤，将报文按照不同的信息维度、不同的数据库进行存储，实现报文数据的有效存储，可以节省报文的存储空间，从而提高报文的检索效率。

Description

数据处理方法、装置、设备及介质

技术领域

本申请涉及数据处理领域，尤其涉及一种数据处理方法、装置、设备及介质。

背景技术

随着互联网技术的发展和社会的进步，方便数据调用的中台越来越受到各大企业的欢迎和普及。

中台指的是将数据处理以后封装成的一个公共的数据服务系统，中台包括多个数据中心。中台的不同数据中心可以提供不同的能力，也分别存储有不同的数据。中台与中台之间、同一中台的不同数据中心之间均可以进行相互的数据调用。当工作人员通过数据中心A办理某项业务时，数据中心A会向与该业务相关的其他数据中心发送请求报文以调用相关的数据，这些数据中心也会通过返回报文将相关数据发送至数据中心A，以便数据中心A完成整项业务的办理。在此过程中，各数据中心之间会通过接口进行报文的交互，同时，这些报文也会存储在对应的在线数据库中，以便后续数据调用过程出现错误时可以通过相关报文查询调用错误的原因。

但是，同一项业务的办理可能需要多个数据中心提供能力协助，进行数据调用，这就造成了各中心之间接口交互频繁，产生的报文体量极大，使得报文占用了大量的存储空间，数据调用错误时相关报文检索效率低。

发明内容

本申请提供一种数据处理方法、装置、设备及介质，用以解决现有接口交互产生的报文占据存储空间大，检索效率低的问题。

第一方面，本申请提供一种数据处理方法，包括：

接收报文发起系统发送的调用请求报文，并且获取所述调用请求报文中的调用请求信息；

根据所述调用请求信息，确定所述调用请求报文对应的报文权重；

根据所述报文权重确定待存储报文信息以及对应的存储位置，并且将所述待存储报文信息存储到对应的存储位置中。

在一种可能的实施方式中，所述根据所述调用请求信息，确定所述调用请求报文对应的报文权重，具体包括：

确定所述调用请求信息中的每一子信息各自对应的子权重；

根据每一子信息各自对应的子权重确定所述调用请求报文对应的报文权重。

在一种可能的实施方式中，所述调用请求信息包括：所述调用请求报文的报文发起系统、所述调用请求报文的报文接收系统、商品名称、产品名称、操作对象编码、所述操作对象编码的归属地以及报文接口名称中的一种或多种。

在一种可能的实施方式中，所述根据所述报文权重确定待存储报文信息以及对应的存储位置，并且将所述待存储报文信息存储到对应的存储位置中，具体包括：

判断所述报文权重是否小于权重阈值；

若是，则在接收到所述报文接收系统发送的返回报文之后，将所述返回报文转存至对应的离线数据库中；

若否，则确定所述报文权重所在的权重区间，根据所述权重区间确定所述报文权重对应的待存储报文信息，并将所述待存储报文信息存储至对应的在线数据库中。

在一种可能的实施方式中，所述待存储报文信息包括：所述报文发起系统、所述报文接收系统、接收到所述调用请求报文的时间、接收到所述返回报文的时间、流水编码、调用操作应答编码、调用耗时时长、所述操作对象编码的归属地、报文接口名称、所述调用请求报文以及所述返回报文中的一种或多种。

在一种可能的实施方式中，还包括：

周期地获取所述报文接口名称对应的调用操作应答编码；

根据所述调用操作应答编码确定所述报文接口的调用报错率是否大于或等于报错率阈值；

若是，则增大所述报文接口名称对应的子权重，并且根据所述调用操作应答编码为错误的第一调用请求报文调整每一子信息对应的子权重；

若否，则减小所述报文接口名称对应的子权重，直至所述子权重为所述报文接口名称对应的初始子权重。

在一种可能的实施方式中，所述根据所述调用操作应答编码为错误的第一调用请求报文调整每一子信息对应的子权重，具体包括：

确定每一子信息在各第一调用请求报文对应的调用请求信息中重复出现的重复频率；

判断是否存在所述重复频率大于频率阈值的子信息；

若是，则增大所述子信息对应的子权重；

若否，则减小每一子信息对应的子权重，直至每一子信息对应的子权重为各子信息对应的初始子权重。

第二方面，本申请提供一种数据处理装置，包括：

信息获取模块，用于接收报文发起系统发送的调用请求报文，并且获取所述调用请求报文中的调用请求信息；

权重确定模块，用于根据所述调用请求信息，确定所述调用请求报文对应的报文权重；

报文存储模块，用于根据所述报文权重确定待存储报文信息以及对应的存储位置，并且将所述待存储报文信息存储到对应的存储位置中。

第三方面，本申请提供一种数据处理设备，包括：处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现上述的方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述的方法。

本申请提供的数据处理方法，可以接收报文发起系统发送的调用请求报文，并且获取调用请求报文中的调用请求信息；根据调用请求信息，确定调用请求报文对应的报文权重；根据报文权重确定待存储报文信息以及对应的存储位置，并且将待存储报文信息存储到对应的存储位置中。本申请的方法，首先，可以根据调用请求报文中的调用请求信息确定该报文的报文权重，不同的报文权重可以表示报文之后被检索调用的可能性的大小。之后，可以根据不同的报文权重设置不同的待存储报文信息以及对应的存储位置对报文进行存储。通过对不同的报文设置不同的报文权重，并且根据不同的报文权重设置不同的信息存储纬度以及数据存储位置，使得报文可以根据重要程度实现分级存储。一方面，不同报文权重的报文存储到不同的数据库中，不再全部存储到性能较好的在线数据库中，大大减小了报文占据的在线存储空间。另一方面，不同报文权重的报文存储不同维度的信息，不再存储全部信息，大大减小了报文存储的数据量，进一步减小了报文占据的存储空间。通过这样的设置，实现报文数据的有效存储，不仅可以节省报文的存储空间，从而提高报文的检索效率，也尽最大可能的存储可能会出现问题的有效数据，而不影响调用出现问题时查找相关报文以解决问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为现有某一报文处理的系统架构图；

图2为本申请一实施例的系统架构图；

图3为本申请一实施例的数据处理方法的流程图；

图4为本申请另一实施例的数据处理方法的流程图；

图5为本申请一实施例的数据处理装置的结构示意图；

图6为本申请一实施例的数据处理设备的结构示意图。

附图标记：1、报文发送系统；2、服务器；21、报文传输单元；22、报文存储单元；221、在线存储单元；222、离线存储单元；23、权重配置单元；24、应答监控单元；3、报文接收系统；51、信息获取模块；52、权重确定模块；53、报文存储模块。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

首先对本申请所涉及的名词进行解释：

报文，指的是网络中交换与传输的数据单元，即站点一次性要发送的数据块。报文包含了将要发送的完整的数据信息，其长短很不一致，长度不限且可变。

接口，指的是API接口(Application Programming Interface，应用程序编程接口)，是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件的以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。

由于具备操作便捷等优点，中台越来越受到各大企业的欢迎和普及。中台指的是将数据处理以后封装成的一个公共的数据服务系统，中台包括多个数据中心。中台的不同数据中心可以提供不同的能力，也分别存储有不同的数据。中台与中台之间、同一中台的不同数据中心之间均可以进行相互的数据调用。例如，当工作人员通过数据中心A办理某项业务时，数据中心A会通过报文传输装置向与该业务相关的其他数据中心发送请求报文以调用相关的数据，这些数据中心也会通过报文传输装置向数据中心A发送返回报文，以将相关数据反馈给数据中心A，以便数据中心A完成整项业务的办理。在此过程中，各数据中心之间会通过报文传输装置中的接口进行报文的交互，同时，报文传输装置也会这些请求报文和返回报文存储到该报文传输装置对应的在线数据库中，以便后续数据调用过程出现错误时工作人员可以通过相关报文查询调用错误的原因。

图1为现有某一报文处理的系统架构图，如图1所示，1为报文发送系统，2为服务器，21为报文传输单元，22为报文存储单元，3为报文接收系统。报文发送系统1将请求报文发送至服务器2的报文传输单元21，报文传输单元21将请求报文发送至报文接收系统3，报文接收系统3根据请求报文查找调用的数据，据此生成返回报文，并将返回报文发送至报文传输单元21，报文传输单元21将返回报文发送至报文发送系统1。在报文传输过程中，报文传输单元21将所有报文相关信息、请求报文以及返回报文存储到报文存储单元22中。

但是，同一项业务的办理可能需要多个数据中心提供能力协助，进行数据调用，这就造成了各中心之间接口交互频繁，产生的报文体量极大，使得报文占用了大量的存储空间，数据调用错误时相关报文检索效率低。

本申请提供的数据处理方法，旨在解决现有技术的如上技术问题。该方法可以接收报文发起系统发送的调用请求报文，并且获取调用请求报文中的调用请求信息；根据调用请求信息，确定调用请求报文对应的报文权重；根据报文权重确定待存储报文信息以及对应的存储位置，并且将待存储报文信息存储到对应的存储位置中。本申请的方法，首先，可以根据调用请求报文中的调用请求信息确定该报文的报文权重，不同的报文权重可以表示报文之后被检索调用的可能性的大小。之后，可以根据不同的报文权重设置不同的待存储报文信息以及对应的存储位置对报文进行存储。通过对不同的报文设置不同的报文权重，并且根据不同的报文权重设置不同的信息存储纬度以及数据存储位置，使得报文可以根据重要程度实现分级存储。一方面，不同报文权重的报文存储到不同的数据库中，不再全部存储到性能较好的在线数据库中，大大减小了报文占据的在线存储空间。另一方面，不同报文权重的报文存储不同维度的信息，不再存储全部信息，大大减小了报文存储的数据量，进一步减小了报文占据的存储空间。通过这样的设置，实现报文数据的有效存储，不仅可以节省报文的存储空间，从而提高报文的检索效率，也尽最大可能的存储可能会出现问题的有效数据，而不影响调用出现问题时查找相关报文以解决问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2是本申请一实施例的系统架构图，如图2所示，1为报文发送系统，2为服务器，21为报文传输单元，22为报文存储单元，221为在线存储单元，222为离线存储单元，23为权重配置单元，24为应答监控单元，3为报文接收系统。报文发送系统1将请求报文发送至服务器2的报文传输单元21，报文传输单元21将请求报文发送至报文接收系统3，同时获取调用请求报文中的调用请求信息，并且根据调用请求信息以及权重配置单元23中预存的权重对应关系表确定报文权重，根据报文权重确定报文的待存储报文信息以及对应的存储位置。

报文接收系统3根据请求报文查找调用的数据，据此生成返回报文，并将返回报文发送至报文传输单元21，报文传输单元21将返回报文发送至报文发送系统1。报文传输单元21接收到返回报文后确定待存储报文信息，并将待存储报文信息存储到相应的存储位置(在线存储单元221或者离线存储单元222)。

应答监控单元24周期地监控报文传输单元21传输的报文对应的数据调用操作的应答情况，并根据操作应答情况反馈给权重配置单元23，以使权重配置单元23调整权重对应关系表。

实施例一

图3是本申请一实施例提供的数据处理方法的流程图，本申请实施例提供的数据处理方法的执行主体可以是数据处理装置，也可以是服务器，本实施例以执行主体为服务器对该数据处理方法进行说明。如图3所示，该数据处理方法可以包括以下步骤：

S101：接收报文发起系统发送的调用请求报文，并且获取调用请求报文中的调用请求信息。

在本实施例中，报文发起系统指的是发起数据调用的一方，需要调用其他能力系统的数据。报文发起系统会将调用请求报文发送至服务器，服务器在接收到调用请求报文后会将调用请求报文转发至报文接收系统。

在一个可能的实施方式中，调用请求信息可以包括：调用请求报文的报文发起系统、调用请求报文的报文接收系统、商品名称、产品名称、操作对象编码、操作对象编码的归属地以及报文接口名称中的一种或多种。

在本实施方式中，操作对象编码可以是操作工号，也可以说是该调用操作所服务的用户。操作对象编码的归属地可以是该调用操作所服务的用户的归属地，即用户所在省、地、市等。报文接口名称指的是服务器中该调用请求报文实现数据交互的接口的名称。

优选的，调用请求信息是否包括商品名称和产品名称是可选的，可以包括，也可以不包括，因为这二者与数据调用错误的原因关系不大。但是，剩余的调用请求报文的报文发起系统、调用请求报文的报文接收系统、操作对象编码、操作对象编码的归属地以及报文接口名称是必选的，因为这几个方面出现故障均可能会导致数据调用出现错误。

在本实施方式中，调用请求信息可以包括可能会导致数据调用出现错误的上述几个信息维度，以便后续根据调用请求信息确定报文权重，使得报文权重可以充分表征数据调用出现问题的可能性的大小。

S102：根据调用请求信息，确定调用请求报文对应的报文权重。

在一个可能的实施方式中，上述步骤S102根据调用请求信息，确定调用请求报文对应的报文权重，可以包括：确定调用请求信息中的每一子信息各自对应的子权重；根据每一子信息各自对应的子权重确定调用请求报文对应的报文权重。

在本实施方式中，可以根据各子信息的重要程度预先设置不同的子信息与子权重之间的对应关系表，当获取到调用请求报文中的调用请求信息之后，可以首先确定该调用请求信息中的子信息，然后根据对应关系表查找这些子信息对应的子权重，最后将所有子权重的加和作为调用请求报文对应的报文权重。

示例性的，子信息与子权重的对应关系如下表1所示：

表1

子信息	子权重
		报文发起系统	5-30
报文接收系统	15-60
		商品名称	0-5
产品名称	0-5
		操作对象编码	30-60
操作对象编码的归属地-省	0-10
		操作对象编码的归属地-地市	0-30
报文接口名称	0-30

需要说明的是，上表1只是给出了各子信息的子权重区间，具体的子信息的子权重可以在对应的子权重区间内根据实际灵活设置。

在本实施方式中，各子信息对应的子权重本领域技术人员可以根据实际灵活设置，在此不做任何限制。优选的，由于调用操作对象以及报文接收系统是最容易引发数据调用错误的原因，因此调用操作对象以及报文接收系统这两个子信息对应的子权重最大值最大；由于商品名称以及产品名称是最不容易引发数据调用错误的原因，因此商品名称以及产品名称这两个子信息对应的子权重最大值最小。

示例性的，某调用请求报文中的调用请求信息为该调用请求报文的报文发起系统A，该调用请求报文的报文接收系统B、操作工号1001、该操作工号的归属地X省Y市、报文接口M。根据预设的对应关系表可知，系统A的权重为10，系统B的权重为20，操作工号1001的权重为50，X省Y市的权重为3，报文接口M的权重为10，则该调用请求报文的报文权重为10+20+50+3+10＝93。

在本实施方式中，可以确定调用请求信息中的每一子信息各自对应的子权重，并且将所有子权重的加和作为最终的报文权重，使得子权重能够与实际的子信息相对应，也使报文权重能够累加各子信息出现问题的可能性，充分表征该报文的数据调用出现问题的可能性的大小。

S103：根据报文权重确定待存储报文信息以及对应的存储位置，并且将待存储报文信息存储到对应的存储位置中。

在本实施例中，报文权重能够表征该报文的数据调用出现问题的可能性的大小，若某报文的报文权重越大，说明该报文所对应的数据调用出现错误的可能性越大，该报文后续被检索调用的可能性越大，即该报文使有效报文，其需要保存的信息越全面，并且报文的存储位置性能越好。若某报文的报文权重越小，说明该报文所对应的数据调用出现错误的可能性越小，该报文后续被检索调用的可能性越小，即该报文使无效报文，其需要保存的信息不需要很多，并且报文的存储位置性能不需要太好。通过这样的设置，实现报文的有效存储，减小报文存储空间。

在一个可能的实施方式中，待存储报文信息可以包括：报文发起系统、报文接收系统、接收到调用请求报文的时间、接收到返回报文的时间、流水编码、调用操作应答编码、调用耗时时长、操作对象编码的归属地、报文接口名称、调用请求报文以及返回报文中的一种或多种。

在本实施方式中，接收到调用请求报文的时间指的是服务器接收到报文发起系统发送的调用请求报文的时间；接收到返回报文的时间指的是服务器接收到报文接收系统发送的返回报文的时间。

流水编码指的是调用请求报文和返回报文对应的调用操作的唯一识别编码；调用操作应答编码指的是调用操作应答成功或者应答失败各自对应的编码，通过识别调用操作应答编码可以知道调用操作是否成功。

调用耗时时长指的是服务器接收到调用请求报文的时间与服务器接收到返回报文的时间之间的时间差，其可以认为是调用操作应答时长。

操作对象编码可以是操作工号，也可以说是该调用操作所服务的用户。操作对象编码的归属地可以是该调用操作所服务的用户的归属地，即用户所在省、地、市等。报文接口名称指的是服务器中该调用请求报文实现数据交互的接口的名称。

在本实施方式中，报文发起系统、报文接收系统、接收到调用请求报文的时间、接收到返回报文的时间、流水编码、调用操作应答编码、调用耗时时长、操作对象编码的归属地和报文接口名称，这几个维度的信息所占空间较小，可以一起作为基础报文信息，而调用请求报文以及返回报文很大，需要占据较大的存储空间。

在本实施方式中，上述几个信息维度的待存储报文信息基本包括了调用操作产生的报文的全部信息，也是调用操作出现问题时需要查找的全部信息，保证出现错误时有据可查、有因可寻。确定全部待存储报文信息之后即可根据具体的报文权重确定报文的待存储报文信息对应的信息维度。

在一个可能的实施方式中，上述步骤S103根据报文权重确定待存储报文信息以及对应的存储位置，并且将待存储报文信息存储到对应的存储位置中，可以包括：判断报文权重是否小于权重阈值；若是，则在接收到报文接收系统发送的返回报文之后，将返回报文转存至对应的离线数据库中；若否，则确定报文权重所在的权重区间，根据权重区间确定报文权重对应的待存储报文信息，并将待存储报文信息存储至对应的在线数据库中。

在本实施方式中，若报文权重小于权重阈值，说明该报文所对应的数据调用出现错误的可能性较小，该报文后续被检索调用的可能性也较小，即该报文使无效报文，则不需要将报文存储至性能较好的在线数据库，存储至性能较差的离线数据库中即可。并且，由于该报文后续被检索调用的可能性较小，不需要将全部维度的待存储报文信息进行存储，只存储返回报文即可。在存储部分报文信息以保证后续检索时有据可依的同时，减少报文存储占据的空间。

此外，若报文权重不小于权重阈值，说明该报文所对应的数据调用出现错误的可能性较大，该报文后续被检索调用的可能性也较大，为了便于后续数据调用出现问题时检索相应报文以查找错误原因，可以将待存储报文信息存储至性能较好的在线数据库中。当然，在报文权重不小于权重阈值的基础上，还可以确定报文权重具体所在的权重区间，根据权重区间确定相应的待存储报文信息，报文权重越大，待存储报文信息越全面，报文权重越小，待存储报文信息越少，从而减少报文存储占据的空间。

在本实施方式中，通过上述设置，根据权重对报文信息进行多级过滤，将报文按照不同的信息维度、不同的数据库进行存储，只存储有效报文，在保证后续检索时有据可依的前提下，尽最大可能的减少报文存储占据的空间。

在本实施方式中，离线数据库可以设置为按天记录，每天存储的报文均记录在一个数据表中，离线数据库可以存储三个月内的报文，当然，也可以存储其他时长的报文，在此不做任何限制。

在本实施方式中，本领域技术人员可以根据实际灵活设置权重阈值和权重区间，例如，权重阈值可以为60，相应的，权重区间可以为(60，70]、(70，80]、(80，90]、＞90；或者，权重阈值可以为50，相应的，权重区间可以为(50，60]、(60，90]、＞90，当然，也可以是其他数值，在此不做任何限制。

示例性的，权重阈值为60，各报文权重对应的待存储报文信息以及对应的存储位置如下表2所示：

表2

报文权重(A)	待存储报文信息	存储位置
			A＜60	返回报文	离线数据库
60≤A＜70	基础报文信息	在线数据库
			70≤A＜90	基础报文信息+调用请求报文或返回报文	在线数据库
A≥90	全部信息	在线数据库

上述基础报文信息为报文发起系统、报文接收系统、接收到调用请求报文的时间、接收到返回报文的时间、流水编码、调用操作应答编码、调用耗时时长、操作对象编码的归属地和报文接口名称。

在本实施例中，首先，可以根据调用请求报文中的调用请求信息确定该报文的报文权重，不同的报文权重可以表示报文之后被检索调用的可能性的大小。之后，可以根据不同的报文权重设置不同的待存储报文信息以及对应的存储位置对报文进行存储。通过对不同的报文设置不同的报文权重，并且根据不同的报文权重设置不同的信息存储纬度以及数据存储位置，使得报文可以根据重要程度实现分级存储。一方面，不同报文权重的报文存储到不同的数据库中，不再全部存储到性能较好的在线数据库中，大大减小了报文占据的在线存储空间。另一方面，不同报文权重的报文存储不同维度的信息，不再存储全部信息，大大减小了报文存储的数据量，进一步减小了报文占据的存储空间。通过这样的设置，实现报文数据的有效存储，不仅可以节省报文的存储空间，从而提高报文的检索效率，也尽最大可能的存储可能会出现问题的有效数据，而不影响调用出现问题时查找相关报文以解决问题。

上述的调用请求信息中的每一子信息各自对应的子权重都是可以根据实际调用情况进行调整的，以使每一子信息各自对应的子权重均与子信息的实际应用情况相符，下面以具体的实施例二对子权重调整的具体实施方式进行详细阐述。

实施例二

图4是本申请一实施例提供的数据处理方法的流程图，本申请实施例提供的数据处理方法的执行主体可以是数据处理装置，也可以是服务器，本实施例以执行主体为服务器对该数据处理方法进行说明。如图4所示，该数据处理方法可以包括以下步骤：

S201：周期地获取报文接口名称对应的调用操作应答编码。

在本实施例中，报文接口名称对应的调用操作应答编码指的是，通过该报文接口名称所在的接口传输的报文对应的数据调用操作的应答成功编码或者应答失败编码，如果是应答成功编码则说明数据调用操作成功，如果是应答失败编码则说明数据调用操作出现错误。

调用操作应答编码的获取周期本领域技术人员可以灵活设置，例如，可以是5min，也可以是10min，当然，也可以是其他时长，在此不做任何限制。

S202：根据调用操作应答编码确定报文接口的调用报错率是否大于或等于报错率阈值。

在本实施例中，获取到一个周期内的调用操作应答编码之后，就可以根据该周期内的应答失败编码占据所有应答编码的百分比，确定该周期内该报文接口的调用报错率。

在本实施例中，报错率阈值本领域技术人员可以灵活设置，例如，报错率阈值可以是1％，也可以是2％，当然，也可以是其他数值，在此不做任何限制。

S203：若是，则增大报文接口名称对应的子权重，并且根据调用操作应答编码为错误的第一调用请求报文调整每一子信息对应的子权重。

在本实施例中，若报文接口的调用报错率大于或等于报错率阈值，则说明该报文接口传输的报文对应的数据调用操作出现错误的概率较高，该报文接口可能存在问题，即增大该报文接口名称对应的子权重，以提高后续对该报文接口传输的报文的关注。

在本实施例中，子信息指的是上述实施例一的调用请求信息的各子信息，即调用请求报文的报文发起系统、调用请求报文的报文接收系统、商品名称、产品名称、操作对象编码、操作对象编码的归属地以及报文接口名称中的一种或多种。

在一个可能的实施方式中，上述步骤S203根据调用操作应答编码为错误的第一调用请求报文调整每一子信息对应的子权重，可以包括：确定每一子信息在各第一调用请求报文对应的调用请求信息中重复出现的重复频率；判断是否存在重复频率大于频率阈值的子信息；若是，则增大子信息对应的子权重；若否，则减小每一子信息对应的子权重，直至每一子信息对应的子权重为各子信息对应的初始子权重。

在本实施方式中，当报文接口的调用报错率大于或等于报错率阈值时，不仅是因为该接口报文传输出现问题的可能性较高，也可能是其他信息引起的。因此，可以首先确定调用操作应答编码为错误的第一调用请求报文，并且获取各第一调用请求报文的各子信息，若某子信息在第一调用请求报文中出现的重复频率大于频率阈值，说明可能是该子信息引起的调用错误，则增大该子信息对应的子权重，以提高后续对含有该子信息的报文的关注。若重复频率不大于频率阈值，说明该子信息引起调用错误的可能性不大，则减小该子信息对应的子权重，以降低后续对含有该子信息的报文的关注。

在本实施方式中，初始子权重指的是还未根据调用报错率调整子权重之前，用户或者工作人员凭借经验设置的初始值，随之接口报文的传输，可以不断根据接口的调用报错率对初始子权重进行调整，以使各子权重均与对应的子信息的实际情况相符。

在本实施方式中，所有子信息可以仅对应一个频率阈值，也可以是不同的子信息各自对应一个频率阈值，在此不做任何限制。此外，具体的频率阈值本领域技术人员也可以灵活设置。

在本实施方式中，当报文接口的调用报错率大于或等于报错率阈值时，通过确定每一子信息在各第一调用请求报文对应的调用请求信息中重复出现的重复频率，可以进一步判断引发数据调用错误的子信息，从而对子信息的子权重进行调整，使得子信息的子权重始终与各子信息的实际情况相符，从而提高报文权重的准确性，以准确根据报文权重确定待存储报文信息以及对应的存储位置。

S204：若否，则减小报文接口名称对应的子权重，直至子权重为报文接口名称对应的初始子权重。

在本实施例中，若报文接口的调用报错率小于报错率阈值，则说明该报文接口传输的报文对应的数据调用操作出现错误的概率较小，基本不需要关注该报文接口传输的报文，则可以减小该报文接口名称对应的子权重，直至减小到该报文接口名称对应的初始子权重。

在本实施例中，增大子权重时的增大值本领域技术人员可以灵活设置，例如，增大值可以为1，也可以为2，当然，也可以是其他数值，在此不做任何限制。同样的，减小子权重时的减小值本领域技术人员也可以灵活设置，例如，减小值可以为1，也可以为2，当然，也可以是其他数值，在此不做任何限制。

在一个可能的实施方式中，若报文权重小于第一权重阈值，则该报文权重对应的子信息的子权重均为初始子权重。第一权重阈值可以是50，当然，也可以是其他数值。

示例性的，某报文的报文权重为40，小于第一权重阈值50，此时报文权重较小，说明形成该报文权重对应的子信息基本都不会造成数据调用错误，后续均不需要提高关注，则各子信息的子权重可以均保持为初始子权重，不再调整。

在本实施例中，通过周期地获取报文接口名称对应的调用操作应答编码，可以不断监控报文接口传输的报文对应的数据调用操作的应答情况，确定该报文接口对应的调用报错率，并且根据调用报错率不断调整报文接口名称以及其他子信息对应的子权重，使得子信息的子权重始终与各子信息的实际情况相符，从而提高根据子权重得到的报文权重的准确性，以准确根据报文权重确定报文的待存储报文信息以及对应的存储位置。

下面以一个具体的实施例对本申请的数据处理方法进行阐述。

实施例三

在一个具体的实施例中，工作人员想要某中台的数据中心A办理某项业务，在此过程中还需要调用数据中心B的一些数据，具体的数据处理方法如下：

第一步，数据中心A向服务器发送调用请求报文，服务器在接收到数据中心A发送的调用请求报文之后，将该调用请求报文通过接口1发送给数据中心B。

第二步，服务器在接收到数据中心A发送的调用请求报文之后，还获取调用请求报文中的调用请求信息。

第三步，服务器分别确定调用请求信息中的每一子信息各自对应的子权重，分别为5、15、30、1、1、10，并将所有子权重的加和62作为报文权重。

第四步，服务器确定报文权重62大于权重阈值60，并且位于(60，70]这个区间，则待存储报文信息仅为基础报文信息，存储位置为在线数据库。

第五步，服务器将报文发起系统、报文接收系统、接收到调用请求报文的时间、接收到返回报文的时间、流水编码、调用操作应答编码、调用耗时时长、操作对象编码的归属地和报文接口名称这几个基础报文信息存储到接口1对应的在线数据库中。

图5为本申请一实施例的数据处理装置的结构示意图，如图5所示，该数据处理装置包括：信息获取模块51、权重确定模块52和报文存储模块53。信息获取模块51用于接收报文发起系统发送的调用请求报文，并且获取调用请求报文中的调用请求信息。权重确定模块52用于根据调用请求信息，确定调用请求报文对应的报文权重。报文存储模块53用于根据报文权重确定待存储报文信息以及对应的存储位置，并且将待存储报文信息存储到对应的存储位置中。一个实施方式中，数据处理装置具体实现功能的描述可以参见实施例一中的步骤S101-S103，在此不做赘述。

图6为本申请一实施例的数据处理设备的结构示意图，如图6所示，该数据处理设备包括：处理器101，以及与处理器101通信连接的存储器102；存储器102存储计算机执行指令；处理器101执行存储器102存储的计算机执行指令，实现上述各方法实施例中数据处理方法的步骤。

该数据处理设备可以是独立的，也可以是服务器的一部分，该处理器101和存储器102可以采用服务器现有的硬件。

在上述数据处理设备中，存储器102和处理器101之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线连接。存储器102中存储有实现数据访问控制方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储器102中的软件功能模块，处理器101通过运行存储在存储器102内的软件程序以及模块，从而执行各种功能应用以及数据处理。

存储器102可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，简称：EEPROM)等。其中，存储器102用于存储程序，处理器101在接收到执行指令后，执行程序。进一步地，上述存储器102内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。

处理器101可以是一种集成电路芯片，具有信号的处理能力。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本申请的一实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现本申请各方法实施例的步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由所附的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (8)

1.一种数据处理方法，其特征在于，包括：

接收报文发起系统发送的调用请求报文，并且获取所述调用请求报文中的调用请求信息；所述调用请求信息包括：所述调用请求报文的报文发起系统、所述调用请求报文的报文接收系统、商品名称、产品名称、操作对象编码、所述操作对象编码的归属地以及报文接口名称中的一种或多种；

根据所述调用请求信息，确定所述调用请求报文对应的报文权重；

判断所述报文权重是否小于权重阈值；

若是，则在接收到所述报文接收系统发送的返回报文之后，将所述返回报文转存至对应的离线数据库中；

若否，则确定所述报文权重所在的权重区间，根据所述权重区间确定所述报文权重对应的待存储报文信息，并将所述待存储报文信息存储至对应的在线数据库中。

2.根据权利要求1所述的方法，其特征在于，所述根据所述调用请求信息，确定所述调用请求报文对应的报文权重，具体包括：

确定所述调用请求信息中的每一子信息各自对应的子权重；

根据每一子信息各自对应的子权重确定所述调用请求报文对应的报文权重。

3.根据权利要求1所述的方法，其特征在于，所述待存储报文信息包括：所述报文发起系统、所述报文接收系统、接收到所述调用请求报文的时间、接收到所述返回报文的时间、流水编码、调用操作应答编码、调用耗时时长、所述操作对象编码的归属地、报文接口名称、所述调用请求报文以及所述返回报文中的一种或多种。

4.根据权利要求3所述的方法，其特征在于，还包括：

周期地获取所述报文接口名称对应的调用操作应答编码；

根据所述调用操作应答编码确定所述报文接口的调用报错率是否大于或等于报错率阈值；

若是，则增大所述报文接口名称对应的子权重，并且根据所述调用操作应答编码为错误的第一调用请求报文调整每一子信息对应的子权重；

若否，则减小所述报文接口名称对应的子权重，直至所述子权重为所述报文接口名称对应的初始子权重。

5.根据权利要求4所述的方法，其特征在于，所述根据所述调用操作应答编码为错误的第一调用请求报文调整每一子信息对应的子权重，具体包括：

确定每一子信息在各第一调用请求报文对应的调用请求信息中重复出现的重复频率；

判断是否存在所述重复频率大于频率阈值的子信息；

若是，则增大所述子信息对应的子权重；

若否，则减小每一子信息对应的子权重，直至每一子信息对应的子权重为各子信息对应的初始子权重。

6.一种数据处理装置，包括：

信息获取模块，用于接收报文发起系统发送的调用请求报文，并且获取所述调用请求报文中的调用请求信息；所述调用请求信息包括：所述调用请求报文的报文发起系统、所述调用请求报文的报文接收系统、商品名称、产品名称、操作对象编码、所述操作对象编码的归属地以及报文接口名称中的一种或多种；

权重确定模块，用于根据所述调用请求信息，确定所述调用请求报文对应的报文权重；

报文存储模块，用于根据所述报文权重确定待存储报文信息以及对应的存储位置，并且将所述待存储报文信息存储到对应的存储位置中；

所述报文存储模块，具体用于判断所述报文权重是否小于权重阈值；若是，则在接收到所述报文接收系统发送的返回报文之后，将所述返回报文转存至对应的离线数据库中；若否，则确定所述报文权重所在的权重区间，根据所述权重区间确定所述报文权重对应的待存储报文信息，并将所述待存储报文信息存储至对应的在线数据库中。

7.一种数据处理设备，包括处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至5中任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至5中任一项所述的方法。