CN109587202A - 文件校验和数据处理之间的协同处理方法、装置及系统 - Google Patents

Abstract

本发明公开一种文件校验和数据处理之间的协同处理方法、装置及系统，涉及数据处理领域，解决了文件校验中心和数据处理中心之间数据传输的安全性和时效性问题。该方法包括：文件校验中心对源数据进行处理生成中间结果，将中间结果存储于第一信息列表；获取数据协调中心的第二信息列表；根据第一信息列表与第二信息列表的比较结果，对数据协调中心的中间结果及第二信息列表进行更新；数据协调中心向数据处理中心发送获取中间结果的通知；数据处理中心根据通知查看文件校验中心向数据协调中心同步的中间结果的第二信息列表；根据数据处理中心保存的中间结果的第三信息列表与第二信息列表的比较结果对数据处理中心的中间结果及第三信息列表进行更新。

Description

文件校验和数据处理之间的协同处理方法、装置及系统

技术领域

本发明涉及数据处理领域，特别是涉及一种文件校验和数据处理之间的协同处理方法、装置及系统。

背景技术

随着信息技术的发展，对数据信息的处理应用也变得越来越重要。因此，如何充分有效地处理各类数据信息，是进行科学研究和决策管理的前提条件。在众多类型的数据中，日志数据是一类十分重要的数据，也称之为日志文件。操作系统有操作系统日志文件，数据库系统有数据库系统日志文件，等等。不同的日志文件记载不同的信息，例如，在数据库中用事务日志文件记录数据的修改操作，每条日志用于记录所执行的逻辑操作或者记录已修改数据的前像和后像，前像是操作执行前的数据复本，后像是操作执行后的数据复本。

基于数据信息具有数据量巨大且复杂的特点，在处理数据时往往需要先进行原始日志文件的校验再进行数据的处理。因此，现有的情况是将日志文件校验和数据处理设计成两个独立的系统，这两个系统在执行上有先后关系。通常情况下日志文件校验和数据处理分布在不同的地方，它们之间的数据沟通就需要网络传输，但是网络传输本身具有不稳定因素，时常会导致数据在传输过程中丢失，这种情况下通常会进行重传操作。然而，基于网络通信原因一旦重传完成信息无法及时传送给文件校验中心，则文件校验中心由于无法确认重传是否成功，又可能出现文件重复的情况。因此，如何保证文件校验和数据处理之间数据传输的安全性和时效性，成为数据处理过程中亟待解决的技术问题。

发明内容

为了解决文件校验中心和数据处理中心之间数据传输的安全性和时效性问题，本发明提供一种文件校验和数据处理之间的协同处理方法、装置及系统，用以保证数据在文件校验中心向数据处理中心的传输过程中不丢失、不重复，并且保证文件校验和数据处理这两步操作衔接的时效性。

第一方面，本发明提供一种文件校验和数据处理之间的协同处理方法，所述方法包括：

文件校验中心对源数据进行处理生成中间结果，并将所述中间结果存储于第一信息列表；

文件校验中心连接数据协调中心，并获取数据协调中心的第二信息列表，所述第二信息列表用于存储所述文件校验中心向所述数据协调中心同步的中间结果；

文件校验中心根据第一信息列表与第二信息列表的比较结果，对所述数据协调中心的中间结果及所述第二信息列表进行更新；

数据协调中心连接数据处理中心，并向数据处理中心发送获取中间结果的通知；

数据处理中心接收数据协调中心发送的获取中间结果的通知；

数据处理中心根据通知，查看文件校验中心向所述数据协调中心同步的中间结果的第二信息列表；

数据处理中心根据所述数据处理中心保存的中间结果的第三信息列表与所述第二信息列表的比较结果，对所述数据处理中心的中间结果及所述第三信息列表进行更新，以便对同步成功的中间结果进行处理生成最终结果。

第二方面，本发明提供了一种文件校验和数据处理之间的协同处理方法，该方法应用于文件校验中心，包括：

文件校验中心对源数据进行处理生成中间结果，并将所述中间结果存储于第一信息列表；

获取数据协调中心的第二信息列表，所述第二信息列表用于存储所述文件校验中心向所述数据协调中心同步的中间结果；

根据第一信息列表与第二信息列表的比较结果，对所述数据协调中心的中间结果及所述第二信息列表进行更新，以便所述数据协调中心向数据处理中心发送获取中间结果的通知。

可选的，文件校验中心对源数据进行处理生成中间结果，并将所述中间结果存储于第一信息列表，包括：

将对源数据进行处理生成的中间结果保存在自身的数据存储区中；

为每一条中间结果生成唯一标识和校验码、记录数据来源并初始化数据状态；

将每一条中间结果的唯一标识、校验码、数据来源及初始化的数据状态作为所述中间结果的基本信息保存在所述第一信息列表中，所述第一信息列表存储于上述数据存储区中。

可选的，根据第一信息列表与第二信息列表的比较结果，对所述数据协调中心的中间结果及所述第二信息列表进行更新，包括：

若确定第一信息列表中的唯一标识未在第二信息列表中出现，则接收所述数据协调中心发送的数据同步请求，用以在所述数据协调中心中同步所述唯一标识对应的中间结果以及所述中间结果在第二信息列表中的基本信息；

或者，

若确定所述第一信息列表中的唯一标识在第二信息列表中出现，则查看第二信息列表中的所述唯一标识对应的中间结果的校验状态；

若所述校验状态为校验失败，则接收所述数据协调中心发送的数据同步请求，用以在所述数据协调中心中同步所述唯一标识对应的中间结果以及所述中间结果在第二信息列表中的基本信息；

若所述校验状态为校验成功，则在第一信息列表中将所述唯一标识对应的中间结果的数据状态进行更新，用以表示所述唯一标识对应的中间结果已经成功同步至所述数据协调中心的数据存储区；

若所述校验状态为未校验，则不进行处理，用以等待所述文件校验中心再次将第一信息列表与第二信息列表进行比较；

或者，

若确定第二信息列表中的唯一标识未在第一信息列表中出现，则查看第二信息列表中的所述唯一标识对应的中间结果的校验状态；

若所述校验状态为校验成功或校验失败，则不进行处理；

若所述校验状态为未校验，则所述文件校验中心根据所述唯一标识对应的数据来源重新生成中间结果。

可选的，接收所述数据协调中心发送的数据同步请求，包括：

所述文件校验中心接收数据同步请求后，将所述唯一标识对应的中间结果的基本信息同步到第二信息列表中，并将其校验状态更新为校验失败，同时将所述文件校验中心的数据存储区中保存的所述唯一标识对应的中间结果同步到所述数据协调中心的数据存储区；

根据预设校验规则生成所述唯一标识对应的中间结果的校验码，比较生成的校验码与所述唯一标识对应的中间结果在第二信息列表中的校验码是否相同，若相同，则在第二信息列表中更新所述唯一标识对应的中间结果的校验状态为校验成功，否则更新为未校验；

当在第二信息列表中更新所述唯一标识对应的中间结果的校验状态为校验成功之后，在第一信息列表中将所述唯一标识对应的中间结果的数据状态进行更新，用以表示所述唯一标识对应的中间结果已经成功同步至所述数据协调中心的数据存储区。

可选的，所述方法还包括：

为文件校验中心和/或数据协调中心的中间结果设定周期，当所述中间结果的存在时长超过所述周期时，删除所述中间结果及其在第一信息列表中的基本信息和/或删除所述中间结果及其在第二信息列表中的基本信息。

第三方面，本发明提供了一种文件校验和数据处理之间的协同处理方法，该方法应用于数据处理中心，包括：

数据处理中心接收数据协调中心发送的获取中间结果的通知；

连接所述数据协调中心查看文件校验中心向所述数据协调中心同步的中间结果的第二信息列表；

根据所述数据处理中心保存的中间结果的第三信息列表与所述第二信息列表的比较结果，对所述数据处理中心的中间结果及所述第三信息列表进行更新，以便数据处理中心对同步成功的中间结果进行处理生成最终结果。

可选的，所述第二信息列表和所述第三信息列表分别包含中间结果的基本信息，所述基本信息包括：唯一标识、校验码、数据来源及数据状态。

可选的，根据所述数据处理中心保存的中间结果的第三信息列表与所述第二信息列表的比较结果，对所述数据处理中心的中间结果及所述第三信息列表进行更新，包括：

若确定所述第二信息列表中的唯一标识未在所述第三信息列表中出现，则向所述数据协调中心发送数据同步请求，用以在所述数据处理中心同步所述唯一标识对应的中间结果以及所述中间结果在第三信息列表中的基本信息；

或者，

若确定所述第二信息列表中的唯一标识在所述第三信息列表中出现，则查看第三信息列表中的所述唯一标识对应的中间结果的校验状态；

若所述校验状态为校验失败，则向所述数据协调中心发送数据同步请求，用以在所述数据处理中心同步所述唯一标识对应的中间结果以及所述中间结果在第三信息列表中的基本信息；

若所述校验状态为校验成功，则根据预设校验规则生成所述唯一标识对应的中间结果的校验码，比较生成的校验码与所述唯一标识对应的中间结果在第三信息列表中的校验码是否相同，若相同，则表示第三信息列表中所述唯一标识对应的中间结果校验成功，否则更新为未校验；

若所述校验状态为未校验，则不进行处理，用以等待所述数据处理中心再次将第三信息列表与第二信息列表进行比较；

或者，

若确定第三信息列表中的唯一标识未在第二信息列表中出现，则查看第三信息列表中的所述唯一标识对应的中间结果的校验状态；

若所述校验状态为校验成功或校验失败，则不进行处理；

若所述校验状态为未校验，则在第二信息列表中添加所述唯一标识对应的中间结果的基本信息，其中，添加的基本信息为所述唯一标识对应的中间结果在文件校验中心的第一信息列表中的基本信息。

可选的，向所述数据协调中心发送数据同步请求，包括：

在所述数据协调中心接收同步请求后，将所述唯一标识对应的中间结果的基本信息同步到第三信息列表中，并将所述数据协调中心的数据存储区中保存的所述唯一标识对应的中间结果同步到所述数据处理中心的数据存储区；

根据预设校验规则生成所述唯一标识对应的中间结果的校验码，比较生成的校验码与所述唯一标识对应的中间结果在第三信息列表中的校验码是否相同，若相同，则在第三信息列表中更新所述唯一标识对应的中间结果的校验状态为校验成功，否则更新为未校验。

可选的，在对所述数据处理中心的中间结果及所述第三信息列表进行更新之后，所述方法还包括：

数据处理中心将所述唯一标识对应的中间结果的基本信息反馈给数据协调中心，以便数据协调中心将第二信息列表中的所述唯一标识对应的中间结果的数据状态进行更新，用以表示所述唯一标识对应的中间结果已经成功同步至数据处理中心的数据存储区中；

数据协调中心将第二信息列表中更新后的所述唯一标识对应的中间结果的基本信息反馈给文件校验中心，以便文件校验中心将第一信息列表中的所述唯一标识对应的中间结果的数据状态进行更新，用以表示所述唯一标识对应的中间结果已经成功同步至数据处理中心的数据存储区。

可选的，所述方法还包括：

为数据协调中心和/或数据处理中心的中间结果设定周期，当所述中间结果的存在时长超过所述周期时，删除所述中间结果及其在第二信息列表中的基本信息和/或删除所述中间结果及其在第三信息列表中的基本信息。

第四方面，本发明提供了一种文件校验和数据处理之间的协同处理装置，配置于文件校验中心，所述装置包括：

处理单元，用于文件校验中心对源数据进行处理生成中间结果，并将所述中间结果存储于第一信息列表；

获取单元，用于获取数据协调中心的第二信息列表，所述第二信息列表用于存储所述文件校验中心向所述数据协调中心同步的中间结果；

更新单元，用于根据第一信息列表与第二信息列表的比较结果，对所述数据协调中心的中间结果及所述第二信息列表进行更新，以便所述数据协调中心向数据处理中心发送获取中间结果的通知。

可选的，所述处理单元包括：

第一存储模块，将对源数据进行处理生成的中间结果保存在自身的数据存储区中；

生成模块，用于为所述存储模块存储的每一条中间结果生成唯一唯一标识和校验码、记录数据来源并初始化数据状态；

第二存储模块，用于将所述生成模块生成的每一条中间结果的唯一标识、校验码、数据来源及初始化的数据状态作为所述中间结果的基本信息保存在第一信息列表中，所述第一信息列表存储于上述数据存储区中。

可选的，所述更新单元包括：

第一发送模块，用于当确定第一信息列表中的唯一标识未在第二信息列表中出现时，接收所述数据协调中心发送的数据同步请求，用以在所述数据协调中心中同步所述唯一标识对应的中间结果以及所述中间结果在第二信息列表中的基本信息；

第一查看模块，用于当确定所述第一信息列表中的唯一标识在第二信息列表中出现时，查看第二信息列表中的所述唯一标识对应的中间结果的校验状态；

接收模块，用于当所述校验状态为校验失败时，接收所述数据协调中心发送的数据同步请求，用以在所述数据协调中心中同步所述唯一标识对应的中间结果以及所述中间结果在第二信息列表中的基本信息；

第一更新模块，用于当所述第一查看模块确定所述校验状态为校验成功时，在第一信息列表中将所述唯一标识对应的中间结果的数据状态进行更新，用以表示所述唯一标识对应的中间结果已经成功同步至所述数据协调中心的数据存储区；

第一处理模块，用于当所述第一查看模块确定所述校验状态为未校验时，不进行处理，用以等待所述文件校验中心再次将第一信息列表与第二信息列表进行比较。

可选的，所述更新单元，还包括：

第二查看模块，用于当确定第二信息列表中的唯一标识未在第一信息列表中出现时，查看第二信息列表中的所述唯一标识对应的中间结果的校验状态；

第二处理模块，用于当所述第二查看模块确定所述校验状态为校验成功或校验失败时，不进行处理；

生成模块，用于当所述第二查看模块确定所述校验状态为未校验时，所述文件校验中心根据所述唯一标识对应的数据来源重新生成一条中间结果。

可选的，所述更新单元还包括：

第一同步模块，用于在所述文件校验中心接收数据同步请求后，将所述唯一标识对应的中间结果的基本信息同步到第二信息列表中；

第二更新模块，用于将第二信息列表的校验状态更新为校验失败，同时将所述文件校验中心的数据存储区中保存的所述唯一标识对应的中间结果同步到所述数据协调中心的数据存储区；

第三处理模块，用于根据预设校验规则生成所述唯一标识对应的中间结果的校验码，比较生成的校验码与所述唯一标识对应的中间结果在第二信息列表中的校验码是否相同，若相同，则在第二信息列表中更新所述唯一标识对应的中间结果的校验状态为校验成功，否则更新为未校验；

第三更新模块，用于当在第二信息列表中更新所述唯一标识对应的中间结果的校验状态为校验成功之后，在第一信息列表中将所述唯一标识对应的中间结果的数据状态进行更新，用以表示所述唯一标识对应的中间结果已经成功同步至所述数据协调中心的数据存储区。

可选的，所述装置还包括：

第一设定单元，用于为文件校验中心和/或数据协调中心的中间结果设定周期；

第一删除单元，用于当所述中间结果的存在时长超过所述第一设定单元设定的所述周期时，删除所述中间结果及其在第一信息列表中的基本信息和/或删除所述中间结果及其在第二信息列表中的基本信息。

第五方面，本发明提供了一种文件校验和数据处理之间的协同处理装置，配置于数据处理中心，所述装置包括：

接收单元，用于接收数据协调中心发送的获取中间结果的通知；

查看单元，用于连接数据协调中心查看文件校验中心向所述数据协调中心同步的中间结果的第二信息列表；

处理单元，用于根据所述数据处理中心保存的中间结果的第三信息列表与所述第二信息列表的比较结果，对所述数据处理中心的中间结果及所述第三信息列表进行更新，以便数据处理中心对同步成功的中间结果进行处理生成最终结果。

可选的，第二信息列表和第三信息列表分别包含中间结果的基本信息，所述基本信息包括：唯一标识、校验码、数据来源及数据状态。

可选的，所述处理单元包括：

第二发送模块，用于当确定所述第二信息列表中的唯一标识未在所述第三信息列表中出现时，向所述数据协调中心发送数据同步请求，用以在所述数据处理中心同步所述唯一标识对应的中间结果以及所述中间结果在第三信息列表中的基本信息；

第三查看模块，用于当确定第二信息列表中的唯一标识在第三信息列表中出现时，查看第三信息列表中的所述唯一标识对应的中间结果的校验状态；

第三发送模块，用于当所述第三查看模块确定所述校验状态为校验失败时，向所述数据协调中心发送数据同步请求，用以在所述数据处理中心同步所述唯一标识对应的中间结果以及所述中间结果在第三信息列表中的基本信息；

生成模块，用于当所述第三查看模块确定所述校验状态为校验成功时，根据预设校验规则生成所述唯一标识对应的中间结果的校验码；

第四处理模块，用于比较所述生成模块生成的校验码与所述唯一标识对应的中间结果在第三信息列表中的校验码是否相同，若相同，则表示第三信息列表中所述唯一标识对应的中间结果校验成功，否则更新为未校验；

第五处理模块，用于当所述第三查看模块确定所述校验状态为未校验是，不进行处理，用以等待所述数据处理中心再次将第三信息列表与第二信息列表进行比较。

可选的，所述处理单元包括：

第四查看模块，用于当确定第三信息列表中的唯一标识未在第二信息列表中出现时，查看第三信息列表中的所述唯一标识对应的中间结果的校验状态；

第六处理模块，用于当所述第四查看模块确定所述校验状态为校验成功或校验失败时，不进行处理；

添加模块，用于当所述第四查看模块确定所述校验状态为未校验时，在第二信息列表中添加所述唯一标识对应的中间结果的基本信息，其中，添加的基本信息为所述唯一标识对应的中间结果在文件校验中心的第一信息列表中的基本信息。

可选的，所述处理单元还包括：

第二同步模块，用于在所述数据协调中心接收同步请求后，将所述唯一标识对应的中间结果的基本信息同步到第三信息列表中；

第三同步模块，用于将所述数据协调中心的数据存储区中保存的所述唯一标识对应的中间结果同步到所述数据处理中心的数据存储区；

第七处理模块，用于根据预设校验规则生成所述唯一标识对应的中间结果的校验码，比较生成的校验码与所述唯一标识对应的中间结果在第三信息列表中的校验码是否相同，若相同，则在第三信息列表中更新所述唯一标识对应的中间结果的校验状态为校验成功，否则更新为未校验。

可选的，所述装置还包括：

第一反馈单元，用于对数据处理中心的中间结果及其第三信息列表进行更新之后，数据处理中心将所述唯一标识对应的中间结果的基本信息反馈给数据协调中心，以便数据协调中心将第二信息列表中的所述唯一标识对应的中间结果的数据状态进行更新，用以表示所述唯一标识对应的中间结果已经成功同步至数据处理中心的数据存储区中；

第二反馈单元，用于数据协调中心将第二信息列表中更新后的所述唯一标识对应的中间结果的基本信息反馈给文件校验中心，以便文件校验中心将第一信息列表中的所述唯一标识对应的中间结果的数据状态进行更新，用以表示所述唯一标识对应的中间结果已经成功同步至数据处理中心的数据存储区。

可选的，所述装置还包括：

第二设定单元，用于为数据协调中心和/或数据处理中心的中间结果设定周期；

第二删除单元，用于当所述中间结果的存在时长超过所述第二设定单元设定的所述周期时，删除所述中间结果及其在第二信息列表中的基本信息和/或删除所述中间结果及其在第三信息列表中的基本信息。

第六方面，本发明提供了一种文件校验和数据处理之间的协同处理系统，所述系统包括：文件校验中心、数据协调中心及数据处理中心；其中，

所述文件校验中心，用于文件校验中心对源数据进行处理生成中间结果，并将所述中间结果存储于第一信息列表，连接数据协调中心获取向数据协调中心同步的中间结果的第二信息列表，根据第一信息列表与第二信息列表的比较结果，对所述数据协调中心的中间结果及所述第二信息列表进行更新，以便所述数据协调中心向数据处理中心发送获取中间结果的通知；

所述数据处理中心，用于接收数据协调中心发送的获取中间结果的通知；连接数据协调中心获取文件校验中心向数据协调中心同步的中间结果的第二信息列表，根据所述数据处理中心保存的中间结果的第三信息列表与所述第二信息列表的比较结果，对所述数据处理中心的中间结果及所述第三信息列表进行更新，以便数据处理中心对同步成功的中间结果进行处理生成最终结果。

第七方面，本发明提供一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述第一方面中任意一项所述的文件校验和数据处理之间的协同处理方法；

或者，在所述程序运行时控制所述存储介质所在设备执行上述第二方面中任意一项所述的文件校验和数据处理之间的协同处理方法；

或者，在所述程序运行时控制所述存储介质所在设备执行上述第三面中任意一项所述的文件校验和数据处理之间的协同处理方法。

第八方面，本发明还提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述第一方面中任意一项所述的文件校验和数据处理之间的协同处理方法；

或者所述程序运行时执行上述第二方面中任意一项所述的文件校验和数据处理之间的协同处理方法；

或者，在所述程序运行时控制所述存储介质所在设备执行上述第三面中任意一项所述的文件校验和数据处理之间的协同处理方法。

采用本发明的文件校验和数据处理之间的协同处理方法、装置及系统，通过数据协调中心将文件校验中心与数据处理中心之间的中间结果进行同步，在同步过程中通过比较中间结果的基本信息的差异来及时对中间结果进行更新处理。因此，与现有技术中由文件校验中心向数据处理中心同步数据时出现的传送失败或重复传送的缺陷相比，本发明能够保证数据在文件校验中心向数据处理中心的传输过程中不丢失、不重复，并且保证文件校验和数据处理这两步操作衔接的时效性。

附图说明

图1示出了本发明实施例中的一种文件校验和数据处理之间的协同处理方法的流程示意图；

图2示出了本发明实施例中的另一种文件校验和数据处理之间的协同处理方法的流程示意图；

图3示出了本发明实施例中的一种文件校验和数据处理之间的协同处理装置的组成框图；

图4示出了本发明实施例中的第一种文件校验和数据处理之间的协同处理装置的组成框图；

图5示出了本发明实施例中的第二种文件校验和数据处理之间的协同处理系统的示意图；

图6示出了本发明实施例中的第三种文件校验和数据处理之间的协同处理装置的组成框图；

图7示出了本发明实施例中的第四种文件校验和数据处理之间的协同处理系统的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了解决现有技术中由文件校验中心向数据处理中心同步数据时出现的传送失败或重复传送的缺陷，本发明实施例提供了一种文件校验和数据处理之间的协同处理方法，包括：

文件校验中心对源数据进行处理生成中间结果，并将所述中间结果存储于第一信息列表；

文件校验中心连接数据协调中心，并获取数据协调中心的第二信息列表，所述第二信息列表用于存储所述文件校验中心向所述数据协调中心同步的中间结果；

文件校验中心根据第一信息列表与第二信息列表的比较结果，对所述数据协调中心的中间结果及所述第二信息列表进行更新；

数据协调中心连接数据处理中心，并向数据处理中心发送获取中间结果的通知；

数据处理中心接收数据协调中心发送的获取中间结果的通知；

数据处理中心根据通知，查看文件校验中心向所述数据协调中心同步的中间结果的第二信息列表；

数据处理中心根据所述数据处理中心保存的中间结果的第三信息列表与所述第二信息列表的比较结果，对所述数据处理中心的中间结果及所述第三信息列表进行更新，以便对同步成功的中间结果进行处理生成最终结果。

后续实施例中，将分别对文件校验中心-数据协调中心-数据处理中心之间的数据协同处理方法。

如图1所示，本发明实施例提供一种文件校验和数据处理之间的协同处理方法，该方法应用于文件校验中心，包括以下步骤：

101、文件校验中心对源数据进行处理生成中间结果，并将所述中间结果存储于第一信息列表。

在数据处理过程中，由于需要处理的数据量大且复杂，因此在处理数据时通常不直接进行处理，而是需要先对待处理的数据进行校验，经过校验后再进行最终处理，从而一定程度避免数据处理时的错误。尤其是对日志数据也称为日志文件这一类常用且十分重要的数据而言，在整个处理过程中通常需要分为两步，先进行原始的日志文件的校验，再进行数据处理。基于此，为了进行日志文件的校验，本发明技术方案提供了文件校验中心，用以对源数据进行处理，生成中间结果及其第一信息列表。其中，文件校验中心对源数据的处理包含了数据校验的过程，并且第一信息列表中记录的是关于生成的中间结果的基本信息，这些基本信息可以唯一标识中间结果及其来源、状态等。

102、获取数据协调中心的第二信息列表，所述第二信息列表用于存储所述文件校验中心向所述数据协调中心同步的中间结果。

为了对文件校验中心生成的中间结果进行最终处理生成最终结果，本发明技术方案提供了数据处理中心，并且为了避免文件校验中心向数据处理中心同步数据时出现的传送失败或重复传送的缺陷，本发明技术方案还提供了数据协调中心。当步骤101生成中间结果及其第一信息列表之后，由文件校验中心连接或定时连接数据协调中心，从而查看文件校验中心向数据协调中心同步的中间结果的第二信息列表。同样的，第二信息列表中记录的也是关于中间结果的基本信息，这些基本信息可以唯一标识中间结果及其来源、状态等。第一信息列表和第二信息列表中记录的基本信息的相同与否，一定程度上可以表示中间结果在文件校验中心和数据协调中心的同步成功与否。

103、根据第一信息列表与第二信息列表的比较结果，对所述数据协调中心的中间结果及所述第二信息列表进行更新，以便所述数据协调中心向数据处理中心发送获取中间结果的通知。

当在步骤102中查看了数据协调中心同步的中间结果的第二信息列表之后，文件校验中心就可以对第一信息列表和第二信息列表进行比较，确认中间结果的基本信息在第二信息列表中是否存在重复或者缺失等情况，并根据比较结果对数据协调中心的中间结果及其第二信息列表进行更新，删除重复的或者添加缺失的中间结果及其基本信息。当数据协调中心的中间结果及其第二信息列表完成更新，即数据协调中心的中间结果同步成功以后，数据协调中心就可以向数据处理中心发送获取中间结果的通知。

与图1所示的方法相呼应，本发明实施例还提供了一种文件校验和数据处理之间的协同处理方法，如图2所示，该方法应用于数据处理中心，包括以下步骤：

201、数据处理中心接收数据协调中心发送的获取中间结果的通知。

由于经过文件校验中心和数据协调中心之间的交互已经成功将中间结果同步至数据协调中心，并且数据协调中心向数据处理中心发送了获取中间结果的通知，因此对于数据处理中心而言，就需要接收数据协调中心发送的获取中间结果的通知，从而启动数据处理中心的中间结果的同步。

202、连接数据协调中心查看文件校验中心向数据协调中心同步的中间结果的第二信息列表。

当数据处理中心接收到获取中间结果的通知后，启动连接数据协调中心，从而查看数据协调中心同步的中间结果的第二信息列表。

203、根据数据处理中心保存的中间结果的第三信息列表与第二信息列表的比较结果，对数据处理中心的中间结果及其第三信息列表进行更新，以便数据处理中心对同步成功的中间结果进行处理生成最终结果。

当通过步骤202查看了数据协调中心同步的中间结果的第二信息列表之后，数据处理中心就可以将自身保存的中间结果的第三信息列表与第二信息列表进行比较。同样的，第三信息列表中记录的也是关于中间结果的基本信息，这些基本信息可以唯一标识中间结果及其来源、状态等。第三信息列表和第二信息列表中记录的基本信息的相同与否，一定程度上可以表示中间结果在文件校验中心和数据协调中心的同步成功与否。数据处理中心通过比较可以确认中间结果的基本信息在第三信息列表中是否存在重复或者缺失等情况，并根据比较结果对自身的中间结果及其第三信息列表进行更新，删除重复的或者添加缺失的中间结果及其基本信息。当数据处理中心的中间结果及其第三信息列表完成更新，即数据处理中心的中间结果同步成功以后，数据处理中心就可以对同步成功的中间结果进行处理生成最终结果。

本发明的文件校验和数据处理之间的协同处理方法，通过数据协调中心将文件校验中心与数据处理中心之间的中间结果进行同步，在同步过程中通过比较中间结果的基本信息的差异来及时对中间结果进行更新处理。因此，与现有技术中由文件校验中心向数据处理中心同步数据时出现的传送失败或重复传送的缺陷相比，本发明能够保证数据在文件校验中心向数据处理中心的传输过程中不丢失、不重复，并且保证文件校验和数据处理这两步操作衔接的时效性。

这里需要说明的是，图1和图2所示的示意图仅是本发明的实施方式可以在其中得以实现的一个示例，本发明实施方式的适用范围不受到该示意图任何方面的限制。例如，对于上述方案中的文件校验中心、数据协调中心和数据处理中心而言，一个数据协调中心可以对接多个文件校验中心和/或数据处理中心，对接数量需要根据实际的数据处理压力和性能来确定。

为了方便描述本发明技术方案的实施过程，以下实施例将以数据协调中心对接一个文件校验中心和一个数据处理中心为例，来详细说明本发明的各种可能的实施方式。

由于在处理数据时需要先对待处理的数据进行校验，经过校验后再进行最终处理，因此在本发明实施例中，文件校验中心先对源数据进行处理生成中间结果及其第一信息列表。具体的，由文件校验中心处理源数据生成中间结果，将中间结果保存在文件校验中心的数据存储区中；并给各个中间结果生成用以相互区分的唯一唯一标识、按照预设校验规则为各个中间结果生成校验码、记录各个中间结果的数据来源、同时初始化这些数据状态。其中，中间结果的唯一标识、校验码、数据来源及数据状态可以作为中间结果的基本信息保存在第一信息列表中。可选的，生成的校验码可以是MD5编码，初始化的数据状态可以表示为Da，用以表示中间结果已经成功存储到文件校验中心的数据存储区Da中。

当文件校验中心执行完上述处理过程之后，就可以连接或定时连接数据协调中心，用来查看文件校验中心向数据协调中心同步的中间结果的第二信息列表，第二信息列表中也记录有同步在数据协调中心的中间结果的基本信息。此时，文件校验中心开始比对自身记录的第一信息列表和数据协调中心的第二信息列表，并根据比较结果的具体情况继续进行不同的处理。

第一信息列表和第二信息列表的比较结果，通常包含三种情况。其一，第一信息列表中的唯一标识未在第二信息列表中出现；其二、第一信息列表中的唯一标识在第二信息列表中出现；其三、第二信息列表中的唯一标识未在第一信息列表中出现。由于不同的比较结果对应不同的处理方式，因此以下实施例将根据三种比较结果对数据协调中心的中间结果及其第二信息列表的更新也就是同步过程进行说明。

实施例一，当文件校验中心确定第一信息列表中的唯一标识未在第二信息列表中出现时，说明在文件校验中心中的所述唯一标识对应的中间结果没有同步到数据协调中心，因此数据协调中心会向文件校验中心发送一条同步请求，用以在数据协调中心同步所述唯一标识对应的中间结果以及所述中间结果在第二信息列表中的基本信息。

实施例二，当文件校验中心确定第一信息列表中的唯一标识在第二信息列表中出现时，虽然说明在文件校验中心中的所述唯一标识对应的中间结果已经同步到数据协调中心，然而是否是成功的同步则还需要通过校验状态进行确认，因此还需要查看第二信息列表中的所述唯一标识对应的中间结果的校验状态。其中，校验状态可以用0、1、-1来表示，-1表示未校验、1表示校验成功，0表示校验失败。

若校验状态为校验0，则数据协调中心需要向文件校验中心发送一条同步请求，用以在数据协调中心同步所述唯一标识对应的中间结果以及所述中间结果在第二信息列表中的基本信息；

若校验状态为1，则说明在文件校验中心中的所述唯一标识对应的中间结果已经成功的同步到数据协调中心，因此文件校验中心需要在第一信息列表中将所述唯一标识对应的中间结果的数据状态进行更新，即将第一信息列表中的所述唯一标识对应的中间结果的数据状态更新为Dc，用以表示所述唯一标识对应的中间结果已经成功同步至数据协调中心的数据存储区Dc中。

若校验状态为-1，则说明所述唯一标识对应的中间结果的同步已经开始，但是还没有开始校验，此时不进行处理，用以等待文件校验中心再次将第一信息列表与第二信息列表进行比较即可。

实施例三，当文件校验中心确定第二信息列表中的唯一标识未在第一信息列表中出现，则查看第二信息列表中的所述唯一标识对应的中间结果的校验状态；

若校验状态为校验成功或校验失败，则不进行处理；若校验状态为未校验，则文件校验中心根据所述唯一标识对应的中间结果的数据来源重新生成一条中间结果，并在后续的处理过程中再次同步给数据协调中心。

在上述实施例一和实施例二中，数据协调中心向文件校验中心发送一条同步请求，用以在数据协调中心同步所述唯一标识对应的中间结果以及所述中间结果在第二信息列表中的基本信息，具体包括：

文件校验中心接收同步请求，将所述唯一标识对应的中间结果的基本信息同步到第二信息列表中，并将其校验状态更新为0，同时将文件校验中心的数据存储区Da中保存的所述唯一标识对应的中间结果同步到数据协调中心的数据存储区Dc中；

然后根据预设校验规则生成所述唯一标识对应的中间结果的校验码，比较生成的校验码与所述唯一标识对应的中间结果在第二信息列表中的校验码是否相同，若相同，则在第二信息列表中将所述唯一标识对应的中间结果的校验状态更新为1，表示校验成功，否则更新为-1；

最后当在第二信息列表中更新所述唯一标识对应的中间结果的校验状态为1之后，需要把校验成功的消息反馈给文件校验中心，以便文件校验中心在第一信息列表中将所述唯一标识对应的中间结果的数据状态更新为Dc，用以表示所述唯一标识对应的中间结果已经成功同步至数据协调中心的数据存储区Dc。

经过上述处理，文件校验中心的中间结果会被成功同步至数据协调中心，并且文件校验中心以及数据协调中心的中间结果的数据状态都会更新为Dc，表示文件校验中心的中间结果成功保存在数据协调中心的数据存储区Dc中，使得文件校验中心不会重复向数据协调中心重传中间结果，保证了数据传输过程中的不丢失和不重复。

当文件校验中心的中间结果被成功同步至数据协调中心，并且文件校验中心和数据协调中心的中间结果的数据状态都更新为Dc之后，数据协调中心会向数据处理中心发送获取中间结果的通知。以下实施例将对数据协调中心向数据处理中心进行中间结果的同步过程进行说明。

当数据协调中心向数据处理中心发送获取中间结果的通知之后，数据处理中心会接收数据协调中心发送的获取中间结果的通知，如果数据处理中心处于空闲状态，则实时启动连接数据协调中心，用来查看文件校验中心向数据协调中心同步的中间结果的第二信息列表；然后数据处理中心将自身保存的中间结果的第三信息列表与第二信息列表进行比较，并根据比较结果的具体情况继续进行不同的处理。其中，第三信息列表中也记录有数据处理中心的中间结果的唯一标识、校验码、数据来源及数据状态这些基本信息。

第三信息列表和第二信息列表的比较结果，通常包含三种情况。其一，第二信息列表中的唯一标识未在第三信息列表中出现；其二、第二信息列表中的唯一标识在第三信息列表中出现；其三、第三信息列表中的唯一标识未在第二信息列表中出现。由于不同的比较结果对应不同的处理方式，因此以下实施例将根据三种比较结果对数据处理中心的中间结果及其第三信息列表的更新也就是同步过程进行说明。

实施例四，当数据协调中心确定第二信息列表中的唯一标识未在第三信息列表中出现时，说明在数据协调中心中的所述唯一标识对应的中间结果没有同步到数据处理中心，因此数据处理中心会向数据协调中心发送一条同步请求，用以在数据处理中心同步所述唯一标识对应的中间结果以及所述中间结果在第三信息列表中的基本信息。

实施例五，当数据协调中心确定第二信息列表中的唯一标识在第三信息列表中出现时，虽然说明在数据协调中心中的所述唯一标识对应的中间结果已经同步到数据处理中心，然而是否是成功的同步则还需要通过校验状态进行确认，因此还需要查看第三信息列表中的所述唯一标识对应的中间结果的校验状态。同样的，校验状态可以用0、1、-1来表示，-1表示未校验、1表示校验成功，0表示校验失败。

若校验状态为0，则数据处理中心需要向数据协调中心发送一条同步请求，用以在数据处理中心同步所述唯一标识对应的中间结果以及所述中间结果在第三信息列表中的基本信息。

若校验状态为1，则为了进一步确认中间结果是否成功同步至数据处理中心，此时数据处理中心需要根据预设校验规则生成所述唯一标识对应的中间结果的校验码，并将生成的校验码与所述唯一标识对应的中间结果在第三信息列表中的校验码进行比较。若相同，则表示数据协调中心的中间结果成功同步至数据处理中心并且校验成功，否则更新为未校验。

若校验状态为-1，则说明所述唯一标识对应的中间结果的同步已经开始，但是还没有开始校验，此时不进行处理，用以等待数据处理中心再次将第三信息列表与第二信息列表进行比较。

实施例六，当数据处理中心确定第三信息列表中的唯一标识未在第二信息列表中出现，则查看第三信息列表中的所述唯一标识对应的中间结果的校验状态；若校验状态为1或0，则不进行处理；若校验状态为-1，则需要在第二信息列表中添加所述唯一标识对应的中间结果的基本信息，其中，添加的基本信息为所述唯一标识对应的中间结果在文件校验中心的第一信息列表中的基本信息，并且添加在第二信息列表中的所述唯一标识对应的中间结果的校验状态也为-1，只有这样，才能在文件校验中心再次比较第一信息列表和第二信息列表时，跳转至实施例三的执行流程中，从而确保在数据协调中心重新同步所述唯一标识对应的中间结果。

在上述实施例四和实施例五中，数据处理中心向数据协调中心发送一条同步请求，用以在数据处理中心同步所述唯一标识对应的中间结果以及所述中间结果在第三信息列表中的基本信息，具体包括：

数据协调中心接收到数据处理中心发送的同步请求后，将所述唯一标识对应的中间结果的基本信息同步到第三信息列表中，并将数据协调中心的数据存储区Dc中保存的所述唯一标识对应的中间结果同步到数据处理中心的数据存储区Db中；

然后由数据处理中心根据预设校验规则生成所述唯一标识对应的中间结果的校验码，比较生成的校验码与所述唯一标识对应的中间结果在第三信息列表中的校验码是否相同，若相同，则在第三信息列表中更新所述唯一标识对应的中间结果的校验状态为1，否则更新为-1。

在对数据处理中心的中间结果及其第三信息列表进行更新之后，为了确保文件校验中心以及数据协调中心不会向数据处理中心错误的重传数据，还要执行以下处理：

首先数据处理中心将所述唯一标识对应的中间结果的基本信息反馈给数据协调中心，以便数据协调中心将第二信息列表中的所述唯一标识对应的中间结果的数据状态更新为Db，用以表示所述唯一标识对应的中间结果已经成功同步至数据处理中心的数据存储区中；

然后数据协调中心将第二信息列表中更新后的所述唯一标识对应的中间结果的基本信息反馈给文件校验中心，以便文件校验中心将第一信息列表中的所述唯一标识对应的中间结果的数据状态更新为Db，用以表示所述唯一标识对应的中间结果已经成功同步至数据处理中心的数据存储区中。

经过上述处理，文件校验中心的中间结果经过数据协调中心的协助被成功同步至数据处理中心，并且文件校验中心、数据协调中心以及数据处理中心的中间结果的数据状态都会更新为Db，表示文件校验中心、数据协调中心的中间结果成功保存在数据处理中心的数据存储区Db中，使得文件校验中心和数据协调中心不会重复向数据处理中心重传中间结果，保证了数据传输过程中的不丢失和不重复。

当文件校验中心的中间结果经过数据协调中心的协助被成功同步至数据处理中心之后，数据处理中心就可以将全部同步成功的中间结果进行处理生成最终结果。

这里需要说明的是，为了保证文件校验中心、数据协调中心和/或数据处理中心的性能以及减少存储压力，本发明实施例还可以为文件校验中心、数据协调中心和/或数据处理中心的中间结果设定周期，当所述中间结果的存在时长超过所述周期时，删除文件校验中心、数据协调中心和/或数据处理中心的所述中间结果及其基本信息。

根据本发明上述实施例的实施方式，不仅协调了文件校验中心和数据处理中心在分布式环境下的安全通信以及中间结果的传递，而且能够有效防止数据丢失，提高数据安全性和时效性。

作为对上述图1所示方法的应用，本发明实施例还提供了一种文件校验和数据处理之间的协同处理装置，位于文件校验中心，如图3所示，所述装置包括：

处理单元31，用于文件校验中心对源数据进行处理生成中间结果，并将所述中间结果存储于第一信息列表；

获取单元32，用于获取数据协调中心的第二信息列表，所述第二信息列表用于存储所述文件校验中心向所述数据协调中心同步的中间结果；

更新单元33，用于根据第一信息列表与第二信息列表的比较结果，对所述数据协调中心的中间结果及所述第二信息列表进行更新，以便所述数据协调中心向数据处理中心发送获取中间结果的通知。

进一步的，如图4所示，所述处理单元31包括：

第一存储模块311，将对源数据进行处理生成的中间结果保存在自身的数据存储区中；

生成模块312，用于为所述存储模块存储的每一条中间结果生成唯一唯一标识和校验码、记录数据来源并初始化数据状态；

第二存储模块313，用于将所述生成模块生成的每一条中间结果的唯一标识、校验码、数据来源及初始化的数据状态作为所述中间结果的基本信息保存在第一信息列表中，所述第一信息列表存储于上述数据存储区中。

进一步的，所述更新单元33包括：

第一发送模块331，用于当确定第一信息列表中的唯一标识未在第二信息列表中出现时，接收所述数据协调中心发送的数据同步请求，用以在所述数据协调中心中同步所述唯一标识对应的中间结果以及所述中间结果在第二信息列表中的基本信息；

第一查看模块332，用于当确定第一信息列表中的唯一标识在第二信息列表中出现时，查看第二信息列表中的所述唯一标识对应的中间结果的校验状态；

接收模块333，用于当所述校验状态为校验失败时，接收所述数据协调中心发送的数据同步请求，用以在所述数据协调中心中同步所述唯一标识对应的中间结果以及所述中间结果在第二信息列表中的基本信息；

第一更新模块334，用于当所述第一查看模块332确定所述校验状态为校验成功时，在第一信息列表中将所述唯一标识对应的中间结果的数据状态进行更新，用以表示所述唯一标识对应的中间结果已经成功同步至所述数据协调中心的数据存储区；

第一处理模块335，用于当所述第一查看模块332确定所述校验状态为未校验时，不进行处理，用以等待所述文件校验中心再次将第一信息列表与第二信息列表进行比较。

进一步的，如图4所示，所述更新单元33，还包括：

第二查看模块336，用于当确定第二信息列表中的唯一标识未在第一信息列表中出现时，查看第二信息列表中的所述唯一标识对应的中间结果的校验状态；

第二处理模块337，用于当所述第二查看模块336确定所述校验状态为校验成功或校验失败时，不进行处理；

生成模块338，用于当所述第二查看模块335确定所述校验状态为未校验时，所述文件校验中心根据所述唯一标识对应的数据来源重新生成一条中间结果。

进一步的，如图4所示，所述更新单元还包括：

第一同步模块339，在所述文件校验中心接收数据同步请求后，将所述唯一标识对应的中间结果的基本信息同步到第二信息列表中；

第二更新模块3310，将第二信息列表的校验状态更新为校验失败，同时将所述文件校验中心的数据存储区中保存的所述唯一标识对应的中间结果同步到所述数据协调中心的数据存储区；

第三处理模块3311，用于根据预设校验规则生成所述唯一标识对应的中间结果的校验码，比较生成的校验码与所述唯一标识对应的中间结果在第二信息列表中的校验码是否相同，若相同，则在第二信息列表中更新所述唯一标识对应的中间结果的校验状态为校验成功，否则更新为未校验；

第三更新模块3312，用于当在第二信息列表中更新所述唯一标识对应的中间结果的校验状态为校验成功之后，在第一信息列表中将所述唯一标识对应的中间结果的数据状态进行更新，用以表示所述唯一标识对应的中间结果已经成功同步至所述数据协调中心的数据存储区。

进一步的，如图4所示，所述装置还包括：

第一设定单元34，用于为文件校验中心和/或数据协调中心的中间结果设定周期；

第一删除单元35，用于当所述中间结果的存在时长超过所述第一设定单元设定的所述周期时，删除所述中间结果及其在第一信息列表中的基本信息和/或删除所述中间结果及其在第二信息列表中的基本信息。

作为对上述图2所示方法的应用，本发明实施例还提供了一种文件校验和数据处理之间的协同处理装置，位于数据处理中心，如图5所示，所述装置包括：

接收单元41，用于接收数据协调中心发送的获取中间结果的通知；

查看单元42，用于连接数据协调中心查看文件校验中心向所述数据协调中心同步的中间结果的第二信息列表；

处理单元43，用于根据所述数据处理中心保存的中间结果的第三信息列表与所述第二信息列表的比较结果，对所述数据处理中心的中间结果及所述第三信息列表进行更新，以便数据处理中心对同步成功的中间结果进行处理生成最终结果

可选的，第二信息列表和第三信息列表分别包含中间结果的基本信息，所述基本信息包括：唯一标识、校验码、数据来源及数据状态。

进一步的，所述处理单元43包括：

第二发送模块431，用于当确定所述第二信息列表中的唯一标识未在所述第三信息列表中出现时，向所述数据协调中心发送数据同步请求，用以在所述数据处理中心同步所述唯一标识对应的中间结果以及所述中间结果在第三信息列表中的基本信息；

进一步的，如图6所示，所述处理单元43包括：

第三查看模块432，用于当确定第二信息列表中的唯一标识在第三信息列表中出现时，查看第三信息列表中的所述唯一标识对应的中间结果的校验状态；

第三发送模块433，用于当所述第三查看模块确定所述校验状态为校验失败时，向所述数据协调中心发送数据同步请求，用以在所述数据处理中心同步所述唯一标识对应的中间结果以及所述中间结果在第三信息列表中的基本信息；

生成模块434，用于当所述第三查看模块确定所述校验状态为校验成功时，根据预设校验规则生成所述唯一标识对应的中间结果的校验码；

第四处理模块435，用于比较所述生成模块生成的校验码与所述唯一标识对应的中间结果在第三信息列表中的校验码是否相同，若相同，则表示第三信息列表中所述唯一标识对应的中间结果校验成功，否则更新为未校验；

第五处理模块436，用于当所述第三查看模块确定所述校验状态为未校验是，不进行处理，用以等待所述数据处理中心再次将第三信息列表与第二信息列表进行比较。

进一步的，如图6所示，所述处理单元43包括：

第四查看模块437，用于当确定第三信息列表中的唯一标识未在第二信息列表中出现时，查看第三信息列表中的所述唯一标识对应的中间结果的校验状态；

第六处理模块438，用于当所述第四查看模块确定所述校验状态为校验成功或校验失败时，不进行处理；

添加模块439，用于当所述第四查看模块确定所述校验状态为未校验时，在第二信息列表中添加所述唯一标识对应的中间结果的基本信息，其中，添加的基本信息为所述唯一标识对应的中间结果在文件校验中心的第一信息列表中的基本信息。

进一步的，如图6所示，所述处理单元43还包括：

第二同步模块4310，用于在所述数据协调中心接收同步请求后，将所述唯一标识对应的中间结果的基本信息同步到第三信息列表中；

第三同步模块4311，用于将所述数据协调中心的数据存储区中保存的所述唯一标识对应的中间结果同步到所述数据处理中心的数据存储区；

第七处理模块4312，用于根据预设校验规则生成所述唯一标识对应的中间结果的校验码，比较生成的校验码与所述唯一标识对应的中间结果在第三信息列表中的校验码是否相同，若相同，则在第三信息列表中更新所述唯一标识对应的中间结果的校验状态为校验成功，否则更新为未校验。

进一步的，如图6所示，所述装置还包括：

第一反馈单元44，用于对数据处理中心的中间结果及其第三信息列表进行更新之后，数据处理中心将所述唯一标识对应的中间结果的基本信息反馈给数据协调中心，以便数据协调中心将第二信息列表中的所述唯一标识对应的中间结果的数据状态进行更新，用以表示所述唯一标识对应的中间结果已经成功同步至数据处理中心的数据存储区中；

第二反馈单元45，用于数据协调中心将第二信息列表中更新后的所述唯一标识对应的中间结果的基本信息反馈给文件校验中心，以便文件校验中心将第一信息列表中的所述唯一标识对应的中间结果的数据状态进行更新，用以表示所述唯一标识对应的中间结果已经成功同步至数据处理中心的数据存储区。

进一步的，如图6所示，所述装置还包括：

第二设定单元46，用于为数据协调中心和/或数据处理中心的中间结果设定周期；

第二删除单元47，用于当所述中间结果的存在时长超过所述第二设定单元设定的所述周期时，删除所述中间结果及其在第二信息列表中的基本信息和/或删除所述中间结果及其在第三信息列表中的基本信息。

本发明的文件校验和数据处理之间的协同处理装置，通过数据协调中心将文件校验中心与数据处理中心之间的中间结果进行同步，在同步过程中通过比较中间结果的基本信息的差异来及时对中间结果进行更新处理。因此，与现有技术中由文件校验中心向数据处理中心同步数据时出现的传送失败或重复传送的缺陷相比，本发明能够保证数据在文件校验中心向数据处理中心的传输过程中不丢失、不重复，并且保证文件校验和数据处理这两步操作衔接的时效性。

作为对上述图1和图2所示方法的实现以及上述图3和图4所示装置的应用，本发明实施例还提供一种文件校验和数据处理之间的协同处理系统，如图7所示，该系统包括：文件校验中心51、数据协调中心52及数据处理中心53；其中，

文件校验中心51，用于文件校验中心51对源数据进行处理生成中间结果，并将所述中间结果存储于第一信息列表，连接数据协调中心52获取向数据协调中心52同步的中间结果的第二信息列表，根据第一信息列表与第二信息列表的比较结果，对所述数据协调中心52的中间结果及所述第二信息列表进行更新，以便所述数据协调中心52向数据处理中心53发送获取中间结果的通知；

数据处理中心53，用于接收数据协调中心52发送的获取中间结果的通知；连接数据协调中心52获取文件校验中心51向数据协调中心52同步的中间结果的第二信息列表，根据所述数据处理中心53保存的中间结果的第三信息列表与所述第二信息列表的比较结果，对所述数据处理中心53的中间结果及所述第三信息列表进行更新，以便数据处理中心53对同步成功的中间结果进行处理生成最终结果。

本发明的文件校验和数据处理之间的协同处理系统，通过数据协调中心将文件校验中心与数据处理中心之间的中间结果进行同步，在同步过程中通过比较中间结果的基本信息的差异来及时对中间结果进行更新处理。因此，与现有技术中由文件校验中心向数据处理中心同步数据时出现的传送失败或重复传送的缺陷相比，本发明能够保证数据在文件校验中心向数据处理中心的传输过程中不丢失、不重复，并且保证文件校验和数据处理这两步操作衔接的时效性。

所述文件校验和数据处理之间的协同处理装置包括处理器和存储器，上述处理单元、查看单元、更新单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数用以保证数据在文件校验中心向数据处理中心的传输过程中不丢失、不重复，并且保证文件校验和数据处理这两步操作衔接的时效性。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述文件校验和数据处理之间的协同处理方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述文件校验和数据处理之间的协同处理方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：

文件校验中心对源数据进行处理生成中间结果，并将所述中间结果存储于第一信息列表；

文件校验中心连接数据协调中心，并获取数据协调中心的第二信息列表，所述第二信息列表用于存储所述文件校验中心向所述数据协调中心同步的中间结果；

文件校验中心根据第一信息列表与第二信息列表的比较结果，对所述数据协调中心的中间结果及所述第二信息列表进行更新；

数据协调中心连接数据处理中心，并向数据处理中心发送获取中间结果的通知；

数据处理中心接收数据协调中心发送的获取中间结果的通知；

数据处理中心根据通知，查看文件校验中心向所述数据协调中心同步的中间结果的第二信息列表；

数据处理中心根据所述数据处理中心保存的中间结果的第三信息列表与所述第二信息列表的比较结果，对所述数据处理中心的中间结果及所述第三信息列表进行更新，以便对同步成功的中间结果进行处理生成最终结果。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：

文件校验中心对源数据进行处理生成中间结果，并将所述中间结果存储于第一信息列表；

文件校验中心连接数据协调中心，并获取数据协调中心的第二信息列表，所述第二信息列表用于存储所述文件校验中心向所述数据协调中心同步的中间结果；

文件校验中心根据第一信息列表与第二信息列表的比较结果，对所述数据协调中心的中间结果及所述第二信息列表进行更新；

数据协调中心连接数据处理中心，并向数据处理中心发送获取中间结果的通知；

数据处理中心接收数据协调中心发送的获取中间结果的通知；

数据处理中心根据通知，查看文件校验中心向所述数据协调中心同步的中间结果的第二信息列表；

数据处理中心根据所述数据处理中心保存的中间结果的第三信息列表与所述第二信息列表的比较结果，对所述数据处理中心的中间结果及所述第三信息列表进行更新，以便对同步成功的中间结果进行处理生成最终结果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种文件校验和数据处理之间的协同处理方法，其特征在于，所述方法包括：

文件校验中心对源数据进行处理生成中间结果，并将所述中间结果存储于第一信息列表；

文件校验中心连接数据协调中心，并获取数据协调中心的第二信息列表，所述第二信息列表用于存储所述文件校验中心向所述数据协调中心同步的中间结果；

文件校验中心根据第一信息列表与第二信息列表的比较结果，对所述数据协调中心的中间结果及所述第二信息列表进行更新；

数据协调中心连接数据处理中心，并向数据处理中心发送获取中间结果的通知；

数据处理中心接收数据协调中心发送的获取中间结果的通知；

数据处理中心根据通知，查看文件校验中心向所述数据协调中心同步的中间结果的第二信息列表；

数据处理中心根据所述数据处理中心保存的中间结果的第三信息列表与所述第二信息列表的比较结果，对所述数据处理中心的中间结果及所述第三信息列表进行更新，以便对同步成功的中间结果进行处理生成最终结果。

2.一种文件校验和数据处理之间的协同处理方法，其特征在于，所述方法包括：

文件校验中心对源数据进行处理生成中间结果，并将所述中间结果存储于第一信息列表；

获取数据协调中心的第二信息列表，所述第二信息列表用于存储所述文件校验中心向所述数据协调中心同步的中间结果；

根据第一信息列表与第二信息列表的比较结果，对所述数据协调中心的中间结果及所述第二信息列表进行更新，以便所述数据协调中心向数据处理中心发送获取中间结果的通知。

3.根据权利要求2所述的方法，其特征在于，文件校验中心对源数据进行处理生成中间结果，并将所述中间结果存储于第一信息列表，包括：

文件校验中心将对源数据进行处理生成的中间结果保存在自身的数据存储区中；

为每一条中间结果生成唯一标识和校验码、记录数据来源并初始化数据状态；

将每一条中间结果的唯一标识、校验码、数据来源及初始化的数据状态作为所述中间结果的基本信息保存在所述第一信息列表中，所述第一信息列表存储于上述数据存储区中。

4.根据权利要求3所述的方法，其特征在于，根据第一信息列表与第二信息列表的比较结果，对所述数据协调中心的中间结果及所述第二信息列表进行更新，包括：

若确定第一信息列表中的唯一标识未在第二信息列表中出现，则接收所述数据协调中心发送的数据同步请求，用以在所述数据协调中心中同步所述唯一标识对应的中间结果以及所述中间结果在第二信息列表中的基本信息；

或者，

若确定所述第一信息列表中的唯一标识在第二信息列表中出现，则查看第二信息列表中的所述唯一标识对应的中间结果的校验状态；

若所述校验状态为校验失败，则接收所述数据协调中心发送的数据同步请求，用以在所述数据协调中心中同步所述唯一标识对应的中间结果以及所述中间结果在第二信息列表中的基本信息；

若所述校验状态为校验成功，则在第一信息列表中将所述唯一标识对应的中间结果的数据状态进行更新，用以表示所述唯一标识对应的中间结果已经成功同步至所述数据协调中心的数据存储区；

若所述校验状态为未校验，则不进行处理，用以等待所述文件校验中心再次将第一信息列表与第二信息列表进行比较；

或者，

若确定第二信息列表中的唯一标识未在第一信息列表中出现，则查看第二信息列表中的所述唯一标识对应的中间结果的校验状态；

若所述校验状态为校验成功或校验失败，则不进行处理；

若所述校验状态为未校验，则所述文件校验中心根据所述唯一标识对应的数据来源重新生成中间结果。

5.根据权利要求4所述的方法，其特征在于，在接收所述数据协调中心发送的数据同步请求之后，包括：

在所述文件校验中心接收数据同步请求后，将所述唯一标识对应的中间结果的基本信息同步到第二信息列表中，并将所述唯一标识对应的中间结果的校验状态更新为校验失败，同时将所述文件校验中心的数据存储区中保存的所述唯一标识对应的中间结果同步到所述数据协调中心的数据存储区；

根据预设校验规则生成所述唯一标识对应的中间结果的校验码，比较生成的校验码与所述唯一标识对应的中间结果在第二信息列表中的校验码是否相同，若相同，则在第二信息列表中更新所述唯一标识对应的中间结果的校验状态为校验成功，否则更新为未校验；

当在第二信息列表中更新所述唯一标识对应的中间结果的校验状态为校验成功之后，在第一信息列表中将所述唯一标识对应的中间结果的数据状态进行更新，用以表示所述唯一标识对应的中间结果已经成功同步至所述数据协调中心的数据存储区。

6.一种文件校验和数据处理之间的协同处理方法，其特征在于，所述方法包括：

数据处理中心接收数据协调中心发送的获取中间结果的通知；

连接所述数据协调中心查看文件校验中心向所述数据协调中心同步的中间结果的第二信息列表；

根据所述数据处理中心保存的中间结果的第三信息列表与所述第二信息列表的比较结果，对所述数据处理中心的中间结果及所述第三信息列表进行更新，以便数据处理中心对同步成功的中间结果进行处理生成最终结果。

7.根据权利要求6所述的方法，其特征在于，所述第二信息列表和所述第三信息列表分别包含中间结果的基本信息，所述基本信息包括：唯一标识、校验码、数据来源及数据状态；

根据所述数据处理中心保存的中间结果的第三信息列表与所述第二信息列表的比较结果，对所述数据处理中心的中间结果及所述第三信息列表进行更新，包括：

若确定所述第二信息列表中的唯一标识未在所述第三信息列表中出现，则向所述数据协调中心发送数据同步请求，用以在所述数据处理中心同步所述唯一标识对应的中间结果以及所述中间结果在第三信息列表中的基本信息；

或者，

若确定所述第二信息列表中的唯一标识在所述第三信息列表中出现，则查看第三信息列表中的所述唯一标识对应的中间结果的校验状态；

若所述校验状态为校验失败，则向所述数据协调中心发送数据同步请求，用以在所述数据处理中心同步所述唯一标识对应的中间结果以及所述中间结果在第三信息列表中的基本信息；

若所述校验状态为校验成功，则根据预设校验规则生成所述唯一标识对应的中间结果的校验码，比较生成的校验码与所述唯一标识对应的中间结果在第三信息列表中的校验码是否相同，若相同，则表示第三信息列表中所述唯一标识对应的中间结果校验成功，否则更新为未校验；

若所述校验状态为未校验，则不进行处理，用以等待所述数据处理中心再次将第三信息列表与第二信息列表进行比较；

或者，

若确定第三信息列表中的唯一标识未在第二信息列表中出现，则查看第三信息列表中的所述唯一标识对应的中间结果的校验状态；

若所述校验状态为校验成功或校验失败，则不进行处理；

若所述校验状态为未校验，则在第二信息列表中添加所述唯一标识对应的中间结果的基本信息，其中，添加的基本信息为所述唯一标识对应的中间结果在文件校验中心的第一信息列表中的基本信息。

8.根据权利要求7所述的方法，其特征在于，在向所述数据协调中心发送数据同步请求之后，包括：

在所述数据协调中心接收同步请求后，将所述唯一标识对应的中间结果的基本信息同步到第三信息列表中，并将所述数据协调中心的数据存储区中保存的所述唯一标识对应的中间结果同步到所述数据处理中心的数据存储区；

根据预设校验规则生成所述唯一标识对应的中间结果的校验码，比较生成的校验码与所述唯一标识对应的中间结果在第三信息列表中的校验码是否相同，若相同，则在第三信息列表中更新所述唯一标识对应的中间结果的校验状态为校验成功，否则更新为未校验。

9.根据权利要求6-8中任一项所述的方法，其特征在于，在对所述数据处理中心的中间结果及所述第三信息列表进行更新之后，所述方法还包括：

数据处理中心将所述唯一标识对应的中间结果的基本信息反馈给数据协调中心，以便数据协调中心将第二信息列表中的所述唯一标识对应的中间结果的数据状态进行更新，用以表示所述唯一标识对应的中间结果已经成功同步至数据处理中心的数据存储区中；

数据协调中心将第二信息列表中更新后的所述唯一标识对应的中间结果的基本信息反馈给文件校验中心，以便文件校验中心将第一信息列表中的所述唯一标识对应的中间结果的数据状态进行更新，用以表示所述唯一标识对应的中间结果已经成功同步至数据处理中心的数据存储区。

10.一种文件校验和数据处理之间的协同处理装置，位于文件校验中心，其特征在于，所述装置包括：

处理单元，用于文件校验中心对源数据进行处理生成中间结果，并将所述中间结果存储于第一信息列表；

获取单元，用于获取数据协调中心的第二信息列表，所述第二信息列表用于存储所述文件校验中心向所述数据协调中心同步的中间结果；

更新单元，用于根据第一信息列表与第二信息列表的比较结果，对所述数据协调中心的中间结果及所述第二信息列表进行更新，以便所述数据协调中心向数据处理中心发送获取中间结果的通知。

11.一种文件校验和数据处理之间的协同处理装置，位于数据处理中心，其特征在于，所述装置包括：

接收单元，用于接收数据协调中心发送的获取中间结果的通知；

查看单元，用于连接数据协调中心查看文件校验中心向所述数据协调中心同步的中间结果的第二信息列表；

处理单元，用于根据所述数据处理中心保存的中间结果的第三信息列表与所述第二信息列表的比较结果，对所述数据处理中心的中间结果及所述第三信息列表进行更新，以便数据处理中心对同步成功的中间结果进行处理生成最终结果。

12.一种文件校验和数据处理之间的协同处理系统，其特征在于，所述系统包括：文件校验中心、数据协调中心及数据处理中心；其中，

所述文件校验中心，用于文件校验中心对源数据进行处理生成中间结果，并将所述中间结果存储于第一信息列表，连接数据协调中心获取向数据协调中心同步的中间结果的第二信息列表，根据第一信息列表与第二信息列表的比较结果，对所述数据协调中心的中间结果及所述第二信息列表进行更新，以便所述数据协调中心向数据处理中心发送获取中间结果的通知；

所述数据处理中心，用于接收数据协调中心发送的获取中间结果的通知；连接数据协调中心获取文件校验中心向数据协调中心同步的中间结果的第二信息列表，根据所述数据处理中心保存的中间结果的第三信息列表与所述第二信息列表的比较结果，对所述数据处理中心的中间结果及所述第三信息列表进行更新，以便数据处理中心对同步成功的中间结果进行处理生成最终结果。

13.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1所述的文件校验和数据处理之间的协同处理方法；

或者，在所述程序运行时控制所述存储介质所在设备执行权利要求2至权利要求5中任意一项所述的文件校验和数据处理之间的协同处理方法；

或者，在所述程序运行时控制所述存储介质所在设备执行权利要求6至权利要求9中任意一项所述的文件校验和数据处理之间的协同处理方法。

14.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1所述的文件校验和数据处理之间的协同处理方法；

或者，所述程序运行时执行权利要求2至权利要求5中任意一项所述的文件校验和数据处理之间的协同处理方法；

或者，所述程序运行时执行权利要求6至权利要求9中任意一项所述的文件校验和数据处理之间的协同处理方法。