CN105989532A - 数据处理方法及装置 - Google Patents

Abstract

本发明揭示了一种数据处理方法及装置，其中，所述方法包括：将当前接收到的系统间交互文件解析为字符串；通过消息摘要算法将所述字符串计算为摘要字符串；判断所述摘要字符串和以往的任一交互文件通过相同消息摘要算法计算出的已存摘要字符串是否相同，若是，则所述摘要字符串所对应的交互文件为重复数据，若否，则存储所述摘要字符串。本发明通过消息摘要算法将数据计算为摘要字符串，并可通过比对摘要字符串识别不同数据是否重复，以避免对相同数据的后续业务处理，节约计算机资源，且无须人工介入，省时省力。

Description

数据处理方法及装置

技术领域

本发明涉及计算机领域，尤其是涉及一种数据处理方法及装置。

背景技术

系统之间进行数据交互时，可能会产生重复数据交互的情况，如此，对重复数据进行后续业务处理将会额外占用计算机资源。

例如，支付平台和第三方金融机构交互时，会不时地出现第三方金融机构重复返回资金清算文件的情况，而重复的资金清算会导致支付平台系统内出现大量的多账，占用计算机存储和计算资源，且需要人工介入查证对账不平的原因，费时费力。

发明内容

本发明的目的在于提供一种数据处理方法及装置。

为实现上述发明目的之一，本发明一实施方式提供了一种数据处理方法，所述方法包括：

将当前接收到的系统间交互文件解析为字符串；

通过消息摘要算法将所述字符串计算为摘要字符串；

判断所述摘要字符串和以往的任一交互文件通过相同消息摘要算法计算出的已存摘要字符串是否相同，若是，则所述摘要字符串所对应的交互文件为重复数据，若否，则存储所述摘要字符串。

作为本发明一实施方式的进一步改进，所述消息摘要算法为MD5算法，或CRC算法，或SHA算法。

作为本发明一实施方式的进一步改进，所述交互文件为资金清算文件，每一个资金清算文件内包括与多笔业务记录对应的多组资金清算数据，每一组资金清算数据均包括订单信息、用户信息、处理时间、业务类型、业务金额。

为实现上述发明目的之一，本发明另一实施方式提供了一种数据处理方法，所述方法包括：

将接收到的系统间交互文件内与一笔业务记录对应的一组数据解析为一串字符串；

通过消息摘要算法将所述字符串计算为摘要字符串；

判断所述摘要字符串和所述交互文件内任一组数据对应的已通过相同消息摘要算法计算出的已存摘要字符串是否相同，若是，则所述摘要字符串对应的数据为重复数据，若否，则存储所述摘要字符串。

作为本发明一实施方式的进一步改进，所述消息摘要算法为MD5算法，或CRC算法，或SHA算法。

作为本发明一实施方式的进一步改进，所述数据为资金清算数据，每一组资金清算数据包括订单信息、用户信息、处理时间、业务类型、业务金额。

为实现上述发明目的之一，本发明一实施方式提供了一种数据处理装置，所述装置包括：

解析模块，用于将当前接收到的系统间交互文件解析为字符串；

计算模块，用于通过消息摘要算法将所述字符串计算为摘要字符串；

处理模块，用于判断所述摘要字符串和以往的任一交互文件通过相同消息摘要算法计算出的已存摘要字符串是否相同，若是，则所述摘要字符串所对应的交互文件为重复数据，若否，则存储所述摘要字符串。

作为本发明一实施方式的进一步改进，所述消息摘要算法为MD5算法，或CRC算法，或SHA算法。

作为本发明一实施方式的进一步改进，所述交互文件为资金清算文件，每一个资金清算文件内包括与多笔业务记录对应的多组资金清算数据，每一组资金清算数据均包括订单信息、用户信息、处理时间、业务类型、业务金额。

为实现上述发明目的之一，本发明一实施方式提供了一种数据处理装置，所述装置包括：

解析模块，用于将接收到的系统间交互文件内与一笔业务记录对应的一组数据解析为一串字符串；

计算模块，用于通过消息摘要算法将所述字符串计算为摘要字符串；

处理模块，用于判断所述摘要字符串和所述交互文件内任一组数据对应的已通过相同消息摘要算法计算出的已存摘要字符串是否相同，若是，则所述摘要字符串对应的数据为重复数据，若否，则存储所述摘要字符串。

作为本发明一实施方式的进一步改进，所述消息摘要算法为MD5算法，或CRC算法，或SHA算法。

作为本发明一实施方式的进一步改进，所述数据为资金清算数据，每一组资金清算数据包括订单信息、用户信息、处理时间、业务类型、业务金额。

相对于现有技术，本发明的技术效果在于：本发明通过消息摘要算法将数据计算为摘要字符串，并可通过比对摘要字符串识别不同数据是否重复，以避免对相同数据的后续业务处理，节约计算机资源，且无须人工介入，省时省力。

附图说明

图1是本发明一实施方式中数据处理方法的流程图；

图2是本发明另一实施方式中数据处理方法的流程图；

图3是本发明一实施方式中数据处理方法的模块图。

具体实施方式

以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

现有在业务处理过程中，对重复数据识别一般是通过文件名来判断，系统间交互文件出现相同文件名时，即判断相同文件名的数据为重复数据，然而，对于具有相同内容，而文件名不同的情况，现有的方案是识别不出其为重复数据的。

如图1所示，在本发明一实施方式中，所述数据处理方法包括：

将当前接收到的系统间交互文件解析为字符串；

通过消息摘要算法将所述字符串计算为摘要字符串；

判断所述摘要字符串和以往的任一交互文件通过相同消息摘要算法计算出的已存摘要字符串是否相同，若是，则所述摘要字符串所对应的交互文件为重复数据，若否，则存储所述摘要字符串。

以下将以支付平台和第三方金融机构的系统间文件交互举例说明，当然，本发明的数据处理方法的使用场景可不局限于支付平台和第三方金融机构的系统间文件交互，这里只为方便理解而举例说明。

一般地，第三方金融机构与支付平台系统间交互的文件为资金清算文件，每一个资金清算文件内包括与多笔业务记录对应的多组资金清算数据，每一组资金清算数据均包括订单信息、用户信息、处理时间、业务类型、业务金额。例如，资金清算文件的文件明细以行为单位，一行即代表了一组资金清算数据，也代表了一个业务操作，如第三方金融机构返回的清算文件的一组数据如下：

"825437422"，"04Mar 13 09:28"，"Withdraw"，"Merchant Refund"，"38"，"processed"，"141969.689319"，"2012090334206727"，"38"，"USD"，"712193235"，"WLT。

其中，"825437422"为用户信息，"04Mar 13 09:28"为处理时间，"Withdraw"为业务类型，"141969.689319"、"USD"为金额信息，"2012090334206727"和"712193235"分别为支付平台和第三方金融机构的订单信息。

在本实施方式中，一开始，支付平台系统可将当前接收到的资金清算文件内所有的资金清算数据解析成一串字符串，并将所述字符串通过消息摘要算法生成摘要字符串。其中，该消息摘要算法为MD5算法，或CRC算法，或SHA算法等。如此，在生成摘要字符串后，可将该摘要字符串存储至支付平台系统内的数据库或者其他存储介质中。

当然，在存储至数据库或者其他存储介质中前，还可先判断以往是否存在与上述摘要字符串相同的已存摘要字符串，若是，则表示该摘要字符串所对应的文件为重复文件。这里，我们假设该步骤是重复数据识别的第一次运行，即在之前并未存储有已存摘要字符串，此时，可执行上述判断步骤，亦可不执行上述判断步骤直接将所述摘要字符串存储，以在之后用作已存摘要字符串。

当支付平台系统接收到下一个资金清算文件时，此时，该资金清算文件为当前的资金清算文件，同样，支付平台系统可将该资金清算文件内所有的资金清算数据解析成一串字符串，并将该字符串通过与上述相同的消息摘要算法生成摘要字符串。

然后，将该摘要字符串在支付平台系统内的数据库或者其他存储介质中查找，判断是否能够查找到与之相同的已存摘要字符串，若是，则表示当前用于查找的摘要字符串所对应的交互文件与以往的交互文件重复，不需要进行业务逻辑处理；若否，则将该摘要字符串存储，以便后续查找。

如此，无论资金清算文件的文件名是否一致，均可识别当前资金清算文件是否与以往的资金清算文件重复。

如图2所示，在本发明另一实施方式中，所述数据处理方法包括：

将接收到的系统间交互文件内与一笔业务记录对应的一组数据解析为一串字符串；

通过消息摘要算法将所述字符串计算为摘要字符串；

判断所述摘要字符串和所述交互文件内任一组数据对应的已通过相同消息摘要算法计算出的已存摘要字符串是否相同，若是，则所述摘要字符串对应的数据为重复数据，若否，则存储所述摘要字符串。

对于一个交互文件内可能存在的数据重复情况，需要对每一组数据是否重复进行判断。

仍然以上述支付平台和第三方金融机构的系统间交互文件为例，第三方金融机构系统向支付平台发送的资金清算文件，每一个资金清算文件内包括与多笔业务记录对应的多组资金清算数据，每一组资金清算数据均包括订单信息、用户信息、处理时间、业务类型、业务金额。例如，资金清算文件的文件明细以行为单位，一行即代表了一组资金清算数据，也代表了一个业务操作，如第三方金融机构返回的清算文件的一组数据如下：

"825437422"，"04Mar 13 09:28"，"Withdraw"，"Merchant Refund"，"38"，"processed"，"141969.689319"，"2012090334206727"，"38"，"USD"，"712193235"，"WLT。

其中，"825437422"为用户信息，"04Mar 13 09:28"为处理时间，"Withdraw"为业务类型，"141969.689319"、"USD"为金额信息，"2012090334206727"和"712193235"分别为支付平台和第三方金融机构的订单信息。

在本实施方式中，支付平台系统可将当前接收到的资金清算文件内一组资金清算数据解析成一串字符串，并将所述字符串通过消息摘要算法生成摘要字符串。其中，该消息摘要算法为MD5算法，或CRC算法，或SHA算法等。如此，在生成摘要字符串后，可将该摘要字符串存储至支付平台系统内的数据库或者其他存储介质中。

当然，在存储至数据库或者其他存储介质中前，还可先判断所述摘要字符串和所述交互文件内其他任一组数据对应的已通过相同消息摘要算法计算出的已存摘要字符串是否相同，若是，则表示该摘要字符串所对应的资金清算数据为重复数据。这里，我们假设该步骤是重复数据识别的第一次运行，即在之前并未存储有已存摘要字符串，此时，可执行上述判断步骤，亦可不执行上述判断步骤直接将所述摘要字符串存储，以在之后用作已存摘要字符串。

当支付平台系统读取下一组资金清算数据后，同样，支付平台系统可将该资金清算数据解析成一串字符串，并将该字符串通过与上述相同的消息摘要算法生成摘要字符串。

然后，将该摘要字符串在支付平台系统内的数据库或者其他存储介质中查找，判断是否能够查找到与之相同的已存摘要字符串，若是，则表示当前用于查找的摘要字符串所对应的资金清算数据与以往的资金清算数据重复，不需要进行业务逻辑处理；若否，则将该摘要字符串存储，以便后续查找。

如此，可对一个交互文件内的重复数据进行识别，避免对相同数据的重复处理。

可以看出，本申请上述实施例以在支付平台的业务处理中，如何避免重复业务的处理时，通过对相同数据的识别，可以避免对相同业务数据的重复处理。实际应用中，可不限于支付业务场景，在其它场景下的业务处理中也可具有相同或类似的处理过程，以避免对重复业务的重复处理。

如图3所示，在本发明一实施方式中，所述数据处理装置可对应于上述第一种数据处理方法，其包括：

解析模块100，用于将当前接收到的系统间交互文件解析为字符串；

计算模块200，用于通过消息摘要算法将所述字符串计算为摘要字符串；

处理模块300，用于判断所述摘要字符串和以往的任一交互文件通过相同消息摘要算法计算出的已存摘要字符串是否相同，若是，则所述摘要字符串所对应的交互文件为重复数据，若否，则存储所述摘要字符串。

以下将以支付平台和第三方金融机构的系统间文件交互举例说明，当然，本发明的数据处理方法的使用场景可不局限于支付平台和第三方金融机构的系统间文件交互，这里只为方便理解而举例说明。

一般地，第三方金融机构与支付平台系统间交互的文件为资金清算文件，每一个资金清算文件内包括与多笔业务记录对应的多组资金清算数据，每一组资金清算数据均包括订单信息、用户信息、处理时间、业务类型、业务金额。例如，资金清算文件的文件明细以行为单位，一行即代表了一组资金清算数据，也代表了一个业务操作，如第三方金融机构返回的清算文件的一组数据如下：

"825437422"，"04Mar 13 09:28"，"Withdraw"，"Merchant Refund"，"38"，"processed"，"141969.689319"，"2012090334206727"，"38"，"USD"，"712193235"，"WLT。

其中，"825437422"为用户信息，"04Mar 13 09:28"为处理时间，"Withdraw"为业务类型，"141969.689319"、"USD"为金额信息，"2012090334206727"和"712193235"分别为支付平台和第三方金融机构的订单信息。

在本实施方式中，一开始，支付平台系统可通过解析模块100将当前接收到的资金清算文件内所有的资金清算数据解析成一串字符串，并通过计算模块200将所述字符串通过消息摘要算法生成摘要字符串。其中，该消息摘要算法为MD5算法，或CRC算法，或SHA算法等。如此，在生成摘要字符串后，可将该摘要字符串存储至支付平台系统内的数据库或者其他存储介质中。

当然，在存储至数据库或者其他存储介质中前，还可通过处理模块300先判断以往是否存在与上述摘要字符串相同的已存摘要字符串，若是，则表示该摘要字符串所对应的文件为重复文件。这里，我们假设该步骤是重复数据识别的第一次运行，即在之前并未存储有已存摘要字符串，此时，可执行上述判断步骤，亦可不执行上述判断步骤直接将所述摘要字符串存储，以在之后用作已存摘要字符串。

当支付平台系统接收到下一个资金清算文件时，此时，该资金清算文件为当前的资金清算文件，同样，支付平台系统可通过解析模块100将该资金清算文件内所有的资金清算数据解析成一串字符串，并通过计算模块200将该字符串通过与上述相同的消息摘要算法生成摘要字符串。

然后，通过处理模块300将该摘要字符串在支付平台系统内的数据库或者其他存储介质中查找，判断是否能够查找到与之相同的已存摘要字符串，若是，则表示当前用于查找的摘要字符串所对应的交互文件与以往的交互文件重复，不需要进行业务逻辑处理；若否，则将该摘要字符串存储，以便后续查找。

如此，无论资金清算文件的文件名是否一致，均可识别当前资金清算文件是否与以往的资金清算文件重复。

在本发明一实施方式中，所述数据处理装置可对应于上述第二种数据处理方法，其包括：

解析模块100，用于将接收到的系统间交互文件内与一笔业务记录对应的一组数据解析为一串字符串；

计算模块200，用于通过消息摘要算法将所述字符串计算为摘要字符串；

处理模块300，用于判断所述摘要字符串和所述交互文件内任一组数据对应的已通过相同消息摘要算法计算出的已存摘要字符串是否相同，若是，则所述摘要字符串对应的数据为重复数据，若否，则存储所述摘要字符串。

对于一个交互文件内可能存在的数据重复情况，需要对每一组数据是否重复进行判断。

仍然以上述支付平台和第三方金融机构的系统间交互文件为例，第三方金融机构系统向支付平台发送的资金清算文件，每一个资金清算文件内包括与多笔业务记录对应的多组资金清算数据，每一组资金清算数据均包括订单信息、用户信息、处理时间、业务类型、业务金额。例如，资金清算文件的文件明细以行为单位，一行即代表了一组资金清算数据，也代表了一个业务操作，如第三方金融机构返回的清算文件的一组数据如下：

"825437422"，"04Mar 13 09:28"，"Withdraw"，"Merchant Refund"，"38"，"processed"，"141969.689319"，"2012090334206727"，"38"，"USD"，"712193235"，"WLT。

其中，"825437422"为用户信息，"04Mar 13 09:28"为处理时间，"Withdraw"为业务类型，"141969.689319"、"USD"为金额信息，"2012090334206727"和"712193235"分别为支付平台和第三方金融机构的订单信息。

在本实施方式中，支付平台系统可通过解析模块100将当前接收到的资金清算文件内一组资金清算数据解析成一串字符串，并通过计算模块200将所述字符串通过消息摘要算法生成摘要字符串。其中，该消息摘要算法为MD5算法，或CRC算法，或SHA算法等。如此，在生成摘要字符串后，可将该摘要字符串存储至支付平台系统内的数据库或者其他存储介质中。

当然，在存储至数据库或者其他存储介质中前，还可通过处理模块300先判断所述摘要字符串和所述交互文件内其他任一组数据对应的已通过相同消息摘要算法计算出的已存摘要字符串是否相同，若是，则表示该摘要字符串所对应的资金清算数据为重复数据。这里，我们假设该步骤是重复数据识别的第一次运行，即在之前并未存储有已存摘要字符串，此时，可执行上述判断步骤，亦可不执行上述判断步骤直接将所述摘要字符串存储，以在之后用作已存摘要字符串。

当支付平台系统读取下一组资金清算数据后，同样，支付平台系统可通过解析模块100将该资金清算数据解析成一串字符串，并通过计算模块200将该字符串通过与上述相同的消息摘要算法生成摘要字符串。

然后，通过处理模块300将该摘要字符串在支付平台系统内的数据库或者其他存储介质中查找，判断是否能够查找到与之相同的已存摘要字符串，若是，则表示当前用于查找的摘要字符串所对应的资金清算数据与以往的资金清算数据重复，不需要进行业务逻辑处理；若否，则将该摘要字符串存储，以便后续查找。

如此，可对一个交互文件内的重复数据进行识别，避免对相同数据的重复处理。

综上所述，本发明通过消息摘要算法将数据计算为摘要字符串，并可通过比对摘要字符串识别不同数据是否重复，以避免对相同数据的后续业务处理，节约计算机资源，且无须人工介入，省时省力。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，装置和模块的具体工作过程，可以参考前述方法实施方式中的对应过程，在此不再赘述。

在本发明所提供的几个实施方式中，应该理解到，所揭露的装置，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施方式方案的目的。

另外，在本发明各个实施方式中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以2个或2个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(processor)执行本发明各个实施方式所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施方式仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施方式技术方案的精神和范围。

Claims (12)

1.一种数据处理方法，其特征在于，所述方法包括：

将当前接收到的系统间交互文件解析为字符串；

通过消息摘要算法将所述字符串计算为摘要字符串；

判断所述摘要字符串和以往的任一交互文件通过相同消息摘要算法计算出的已存摘要字符串是否相同，若是，则所述摘要字符串所对应的交互文件为重复数据，若否，则存储所述摘要字符串。

2.根据权利要求1所述的数据处理方法，其特征在于，所述消息摘要算法为MD5算法，或CRC算法，或SHA算法。

3.根据权利要求1所述的数据处理方法，其特征在于，所述交互文件为资金清算文件，每一个资金清算文件内包括与多笔业务记录对应的多组资金清算数据，每一组资金清算数据均包括订单信息、用户信息、处理时间、业务类型、业务金额。

4.一种数据处理方法，其特征在于，所述方法包括:

将接收到的系统间交互文件内与一笔业务记录对应的一组数据解析为一串字符串；

通过消息摘要算法将所述字符串计算为摘要字符串；

判断所述摘要字符串和所述交互文件内任一组数据对应的已通过相同消息摘要算法计算出的已存摘要字符串是否相同，若是，则所述摘要字符串对应的数据为重复数据，若否，则存储所述摘要字符串。

5.根据权利要求4所述的数据处理方法，其特征在于，所述消息摘要算法为MD5算法，或CRC算法，或SHA算法。

6.根据权利要求4所述的数据处理方法，其特征在于，所述数据为资金清算数据，每一组资金清算数据包括订单信息、用户信息、处理时间、业务类型、业务金额。

7.一种数据处理装置，其特征在于，所述装置包括：

解析模块，用于将当前接收到的系统间交互文件解析为字符串；

计算模块，用于通过消息摘要算法将所述字符串计算为摘要字符串；

处理模块，用于判断所述摘要字符串和以往的任一交互文件通过相同消息摘要算法计算出的已存摘要字符串是否相同，若是，则所述摘要字符串所对应的交互文件为重复数据，若否，则存储所述摘要字符串。

8.根据权利要求7所述的数据处理装置，其特征在于，所述消息摘要算法为MD5算法，或CRC算法，或SHA算法。

9.根据权利要求7所述的数据处理装置，其特征在于，所述交互文件为资金清算文件，每一个资金清算文件内包括与多笔业务记录对应的多组资金清算数据，每一组资金清算数据均包括订单信息、用户信息、处理时间、业务类型、业务金额。

10.一种数据处理装置，其特征在于，所述装置包括:

解析模块，用于将接收到的系统间交互文件内与一笔业务记录对应的一组数据解析为一串字符串；

计算模块，用于通过消息摘要算法将所述字符串计算为摘要字符串；

处理模块，用于判断所述摘要字符串和所述交互文件内任一组数据对应的已通过相同消息摘要算法计算出的已存摘要字符串是否相同，若是，则所述摘要字符串对应的数据为重复数据，若否，则存储所述摘要字符串。

11.根据权利要求10所述的数据处理装置，其特征在于，所述消息摘要算法为MD5算法，或CRC算法，或SHA算法。

12.根据权利要求10所述的数据处理装置，其特征在于，所述数据为资金清算数据，每一组资金清算数据包括订单信息、用户信息、处理时间、业务类型、业务金额。