CN114168566A - 应用于事项数据同步的数据处理方法、装置、设备、介质和程序产品 - Google Patents

Abstract

本公开提供了一种应用于事项数据同步的数据处理方法，可以应用于大数据技术领域。该应用于事项数据同步的数据处理方法包括：根据事项源数据确定与实施清单主表对应的多个事项；对应多个事项中的每个事项，通过实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据；以及对事项关联数据执行转换处理，以完成事项数据同步。本公开还提供了一种应用于事项数据同步的数据处理装置、设备、存储介质和程序产品。

Description

应用于事项数据同步的数据处理方法、装置、设备、介质和程 序产品

技术领域

本公开涉及计算机技术领域，具体地涉及一种应用于事项数据同步的数据处理方法、装置、设备、介质和程序产品。

背景技术

在现代信息系统中，为实现不同业务交易服务同时保证数据实时性和完整性的目的，一般可以采用数据同步来实现将一数据库的中数据整体搬移至另一数据库中。其中，针对事项数据同步通常可以通过SQL存储过程，进行事项数据转换操作，根据到源数据库和目标数据库之间的对应关系，进行数据迁移，从而把不同的源数据批量转换成目标表数据，并根据每个表的同步时间进行增量同步，并不考虑表与表之间的关联，导致极易丢失数据，且出现异常也无法定位，进而影响用户体验。

发明内容

鉴于上述问题，本公开提供了提高数据同步完整性和准确性以改善用户体验的应用于事项数据同步的数据处理方法、装置、设备、介质和程序产品。

本公开的第一方面提供了一种应用于事项数据同步的数据处理方法，其中，包括：根据事项源数据确定与实施清单主表对应的多个事项；对应多个事项中的每个事项，通过实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据；以及对事项关联数据执行转换处理，以完成事项数据同步。

根据本公开的实施例，在根据事项源数据确定与主数据表对应的多个事项之前，还包括：对省库数据执行复制推送生成前置库数据；对前置库数据执行同步，生成事项源数据。

根据本公开的实施例，在根据事项源数据确定与主数据表对应的多个事项中，包括：分析事项源数据的目录表；根据目录表确定与实施清单主表对应的多个事项。

根据本公开的实施例，在对应多个事项中的每个事项，通过实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据中，包括：定时调取对应每个事项的实施清单主表的事项关联标识；根据事项关联标识依据事项时间戳查询对应每个事项的多个实施清单子表中的多个数据项；对应于多个数据项对多个实施清单子表中的数据执行遍历，生成事项关联数据。

根据本公开的实施例，在调取对应每个事项的实施清单主表的事项关联标识之前，还包括：读取事项源数据的查询记录，确定多个事项的事项数据量；根据事项数据量对多个事项执行分页查询。

根据本公开的实施例，在对应于多个数据项对多个实施清单子表中的数据执行遍历中，还包括：修改多个实施清单子表中对应每个事项的版本状态；对与多个实施清单子表对应的多个目标实施清单子表中对应每个事项的版本状态执行关联更新；响应于关联更新对多个目标实施清单子表进行要素扩展。

根据本公开的实施例，在对应多个事项中的每个事项，通过实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据中，还包括：检测在数据调取的过程中的异常数据；根据每个事项记录异常数据，生成异常数据集合。

根据本公开的实施例，在对事项关联数据执行转换处理，以完成事项数据同步中，包括：根据预设同步映射关系对事项关联数据执行映射转换，以生成对应目标实施清单主表和对应多个目标实施清单子表中的事项转换数据；其中，事项转换数据为多个事项中对应事项的映射转换数据。

本公开的第二方面提供了一种一种应用于事项数据同步的数据处理装置，包括事项确定模块、数据生成模块和数据处理模块。事项确定模块用于根据事项源数据确定与实施清单主表对应的多个事项；数据生成模块用于对应多个事项中的每个事项，通过实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据；以及数据处理模块用于对事项关联数据执行转换处理，以完成事项数据同步。

本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述应用于事项数据同步的数据处理方法。

本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述应用于事项数据同步的数据处理方法。

本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述应用于事项数据同步的数据处理方法。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的应用于事项数据同步的数据处理方法、装置、设备、介质和程序产品的应用场景图；

图2示意性示出了根据本公开实施例的应用于事项数据同步的数据处理方法的流程图；

图3A示意性示出了根据本公开实施例的应用于事项数据同步的数据处理方法中数据同步过程的场景图；

图3B示意性示出了根据对应上述图3A所示应用于事项数据同步的数据处理方法中数据同步过程的数据表场景图；

图4A示意性示出了根据本公开实施例的应用于事项数据同步的数据处理方法的映射转换过程的数据表场景图；

图4B示意性示出了根据本公开实施例的应用于事项数据同步的数据处理方法的数据表之间的关联场景图；

图5示意性示出了根据本公开实施例的应用于事项数据同步的数据处理装置的结构框图；以及

图6示意性示出了根据本公开实施例的适于实现应用于事项数据同步的数据处理方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

基本不考虑表与表之间的关联，发生问题数据，只能全量操作；现有同步方式由于是表数据转换到另一个表中，无法定位具体事项数据问题，出现问题后会回滚，导致所有数据都无法同步，即无法记录同步数据数量，出现异常数据数量及详细问题信息，无法及时通知相关人员出现异常，导致用户实际使用时发现相应问题，极大影响用户体验。

在现有的数据同步过程中，主要通过SQL存储过程进行数据转换操作。首先，由于对应于业务事件的事项数据主要是依据主子表数据结构依照表维度进行事项数据的同步，易于导致主子数据不统一，事项数据极易丢失；其次，在表数据的转换过程中，一旦出现数据异常，往往是直接进行数据回滚，因而无法继续进行转换，但同时也无法确认数据异常的具体位置以及数量和详细内容，只能全量重新执行转换，排查异常较为困难；最后，在传统的SQL存储过程中无法增加异常消息通知，因而发生数据问题只能通过技术人员或者运维人员发现并进行反馈，运维效率较差，往往导致用户实际使用时发现相应问题，极大影响用户体验。

鉴于上述问题至少之一，本公开提供了提高数据同步完整性和准确性以改善用户体验的应用于事项数据同步的数据处理方法、装置、设备、介质和程序产品。

需要说明的是，本公开的上述应用于事项数据同步的数据处理方法和装置可用于大数据技术领域和人工智能技术领域，也可用于金融领域以及金融领域之外的任意领域，本公开应用于事项数据同步的数据处理方法和装置的应用领域不做限定。

在本公开的技术方案中，所涉及的包括用户个人信息等数据的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。其中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

本公开的实施例提供了一种应用于事项数据同步的数据处理方法，包括：根据事项源数据确定与实施清单主表对应的多个事项；对应多个事项中的每个事项，通过实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据；以及对事项关联数据执行转换处理，以完成事项数据同步。

图1示意性示出了根据本公开实施例的应用于事项数据同步的数据处理方法、装置、设备、介质和程序产品的应用场景图。

如图1所示，根据该实施例的应用场景100可以包括终端设备101、102、103、网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的应用于事项数据同步的数据处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的应用于事项数据同步的数据处理装置一般可以设置于服务器105中。本公开实施例所提供的应用于事项数据同步的数据处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的应用于事项数据同步的数据处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下将基于图1描述的场景，通过图2～图6对公开实施例的应用于事项数据同步的数据处理方法进行详细描述。

图2示意性示出了根据本公开实施例的应用于事项数据同步的数据处理方法的流程图。

如图2所示，该实施例的应用于事项数据同步的数据处理方法包括操作S201～操作S203。

在操作S201，根据事项源数据确定与实施清单主表对应的多个事项；

在操作S202，对应多个事项中的每个事项，通过实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据；

在操作S203，对事项关联数据执行转换处理，以完成事项数据同步。

事项是一种应用于如政务系统等领域的业务服务，每种业务服务对应不同的业务流程，以完成与该业务服务相关的事务内容。事项源数据为与多种事项自身即其相关的其他支持数据的数据集合，该事项源数据可以以数据表的形式进行体现，即通过数据表进行数据插入的形式，将事项源数据存储到数据表中。其中，在同一数据库中，可以具有多个不同的数据表，每种数据表对应于不同的实施清单，每个实施清单可以包括多个事项的对应服务数据。而且，相邻的实施清单的数据表之间可以具有对应同一事项的不同流程的事项服务数据，使得多个数据表之间具有主次之分，该主次的区别可以是数据访问过程之中的流程先后区别分为实施清单主表和实施清单子表。其中，若对某一事项执行数据调取，则可以先访问对应该事项的实施清单主表，之后再访问该事项对应的实施清单子表。其中，每个实施清单主表可以对应多个实施清单子表。

因此，在执行事项数据的同步过程之中，若需要进行数据同步的数据对应于多个事项数据，则可以根据需要同步的该多个事项数据所在的实施清单主表来确定对应的多个事项。也即，能够根据实施清单主表的数据存储关系确定与所存储的事项源数据相关的事项。

对这些事项中每个事项而言，不同的实施清单子表中存储的该事项的数据也有所不同，每个实施清单子表中所存储的不同数据可以用于实现该事项的不同流程或事项服务功能。

因此，若要对一个事项的事项数据进行调取，则可以根据该事项先对实施清单主表进行调取，并根据该实施清单主表中对应该事项的数据进行实施清单子表的数据调取，从而获得与该事项特定相关的该事项源数据中的事项关联数据。

对该事项关联数据执行处理转换，从而可以实现对应不同事项的对事项源数据的拆分转换，完成事项源数据的同步过程。

因此，本公开实施例的上述方法能够建立一种多版本的主子关系事项数据同步优化机制，按照事项维度执行数据同步转换，从而确保了每个事项的对应事项数据的完整性和准确性，避免了传统数据同步过程中按照表维度采用全量操作进行数据同步过程中所存在的数据丢失或数据不统一的情况，也能够确保即便出现因异常出现数据回滚时，可以确认数据异常的异常内容，便于排查异常。因此，本公开实施例的上述方法可以实现对数据同步过程的数据转换优化，确保数据完整性和准确性，便于实现数据异常的定位和排查。

图3A示意性示出了根据本公开实施例的应用于事项数据同步的数据处理方法中数据同步过程的场景图；图3B示意性示出了根据对应上述图3A所示应用于事项数据同步的数据处理方法中数据同步过程的数据表场景图；图4A示意性示出了根据本公开实施例的应用于事项数据同步的数据处理方法的映射转换过程的数据表场景图；图4B示意性示出了根据本公开实施例的应用于事项数据同步的数据处理方法的数据表之间的关联场景图。

如图2-图4B所示，根据本公开的实施例，在操作S201根据事项源数据确定与主数据表对应的多个事项之前，还包括：

对省库数据执行复制推送生成前置库数据；

对前置库数据执行同步，生成事项源数据。

如图4A所示，省库数据301为各个省级事项平台的事项数据，每个省级事项平台具有多个事项数据库，每个数据库用于存储与事项相关的数据。其中，省库310即可以理解为上述的省级事项平台的数据库，即图3A-图3B所示省库310。省库数据301为事项源数据的原始来源数据。

前置库数据302为前置机的事项数据，每个前置机可以具有与相应省级事项平台对应的多个事项数据库，每个事项数据库用于存储于事项相关的数据。其中，前置库320可以理解为上述前置机的数据库，即图3A-图3B所示前置库320。前置库数据302为事项源数据303的中间数据，即事项源数据303的原始数据的对应省库数据301可以经转换为前置库数据302，并以前置库数据302作为中间数据转换为事项源数据303。因此，前置库320一般可以作为数据同步过程中的孤岛数据库，前置机可以作为数据同步过程中的孤岛服务器，实现数据同步过程中的数据中转处理，且不对数据作特定的编辑或修改，从而能够确保数据的完整性。

如图3A-图3B所示，事项源数据303来源于省库310等类似省级事项平台的数据库的原始数据，具体可以通过数据复制技术将省库310的数据全量复制到前置库320中，作为前置库数据302。一般前置库数据302与省库310的省库数据301内容基本一致，不会产生差异。如图3B所示，省库310中可以具有目录表A、实施清单主表B以及n个实施清单子表C1-Cn，经过数据复制之后，前置库320中的目录表a与前述省库310目录表A中的存储数据基本一致，前置库320中的实施清单主表b与前述省库310中的实施清单主表B中的存储数据基本一致，以及前置库320中的各个实施清单子表c1-cn中的存储数据与省库310中的各个实施清单子表C1-Cn中对应的存储数据一一对应一致。数据复制技术可以为kettle程序等数据抽取、转换和加载功能的数据传输手段，可以实现数据表到数据表之间的数据复制。

前置库320中的前置库数据302可以进一步通过数据同步技术同步迁移至目录库330中，作为目录库源数据，即事项源数据303。其中，目录库330属于事项目录系统，属于事项目录建设平台的一种，其中，目录库330是该事项目录建设平台用于数据存储的数据库。数据同步技术可以为ETL等能够实现一对一数据迁移功能数据迁移手段，可以实现数据表到数据表之间的一对一对应数据同步，具体地，ETL数据同步可以通过kettle功能实现数据全量传输，即ETL数据同步通过kettle程序进行不同数据库数据传输，从而把源表数据同步到事项平台数据库如目录库中。如图3B所示，目录库330中可以具有目录表1、实施清单主表2以及n个实施清单子表31-3n，经过数据复制之后，目录库330中的目录表1与前述前置库320的目录表a中的存储数据基本一致，目录库330中的实施清单主表2与前述前置库320中的实施清单主表b中的存储数据基本一致，以及目录库330中的各个实施清单子表31-3n中的存储数据与前置库320中的各个实施清单子表c1-cn中对应的存储数据一一对应一致。

如此，待同步数据在数据同步过程中几乎不产生任何编辑或修改，实现了待同步数据的整体全量数据迁移，且能够确保数据的完整性和准确性。其中，省库310和前置库320以及目录库330中的对应目录表、对应实施清单主表以及各个对应实施清单子表之间的表架构基本一致。

其中，事项源数据主要存储于位于同一目录库中的同一套数据表(如图3B和图4A所示目录表1、实施清单主表2和多个实施清单子表31-3n)的存储数据内容，其中实施清单子表可以按照存储数据的类型分为实施清单材料表、常见问题汇总表以及扩展信息表等子表。实施清单材料表中可以用于存储实施事项所需的材料数据，常见问题汇总表则可以用于存储在实施事项过程中所汇总的历史常见问题，扩展信息表可以用于存储与实施事项间接相关或延伸相关的扩展数据。

如图2-图4B所示，根据本公开的实施例，在操作S201根据事项源数据确定与主数据表对应的多个事项中，包括：

分析事项源数据的目录表；

根据目录表确定与实施清单主表对应的多个事项。

如图3B对于目录库330而言，目录库330的目录表1中用于存储事项目录，事项目录为多个不同的事项的查询目录，为一用于检索事项的目录数据，可以为一数据表中所插入的事项名称或事项ID(如事项编号或身份代码等)。因此，目录表中的每一项数据都可以代表一个事项。对该事项源数据的目录表执行分析操作，可以对该目录表中的存储的事项目录数据进行解析。

因此，可以根据目录表确定目录库中与实施清单主表对应的多个事项内容，多个事项内容即事项源数据中对应的所有已完成数据同步的事项数据。因而，可以准确地获取事项源数据中的对应事项，并能够据此确定多个事项，为后续以事项为维度进行数据处理转换奠定基础。

如图4A所示，在目录库中实际上还包括另一套数据表，即目录表R、实施清单主表S以及实施清单子表T1-Tn。其中，对于本公开实施例的数据同步而言，最终目的是将省库的事项数据同步至该目录库中的目录表R、实施清单主表S以及实施清单子表T1-Tn之中。其中，该目录表R、实施清单主表S以及实施清单子表T1-Tn与对应的目录库的目录表1、实施清单主表2以及实施清单子表31-3n之间互为异构数据表。

如图2-图4B所示，根据本公开的实施例，在操作S202对应多个事项中的每个事项，通过实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据中，包括：

定时调取对应每个事项的实施清单主表的事项关联标识；

根据事项关联标识依据事项时间戳查询对应每个事项的多个实施清单子表中的多个数据项；

对应于多个数据项对多个实施清单子表中的数据执行遍历，生成事项关联数据。

如图4B所示，对于同一数据库中的同一套数据表而言，主要包括目录表L、实施清单主表M以及实施清单子表N1-Nn，其中，各个数据表之间都具有相应的关联关系，并通过一关联身份代码或文字进行标识，该定义至少两个数据表之间的关联关系的关联身份代码或文字可以作为本公开实施例的事项关联标识。具体地，如图4B所示，目录表L和实施清单主表M之间具有主键ID0作为两数据表之间的事项关联标识，实施清单主表M和实施清单子表N1之间具有主键ID1作为两数据表之间的事项关联标识，实施清单主表M和实施清单子表N2之间具有主键ID2作为两数据表之间的事项关联标识，......，实施清单主表M和实施清单子表Nn之间具有主键IDn作为两数据表之间的事项关联标识。该两个数据表之间的事项关联标识可以应用于作为通过其中一数据表对另一相关联的数据表执行数据调取的数字或代码凭证。其中，对应于每个事项，目录表L与实施清单主表M之间的事项关联标识有所不同，同样，实施清单主表M与对应的各个实施清单子表N1-Nn之间的事项关联标识也有所不同。因此，可以实现对应一个事项，在各个数据表中建立该事项的事项数据的执行调取关系。

需要说明的是，目录表L与实施清单主表M之间的数据对应关系为一对多的关系，即目录表L中的一项数据对应于实施清单主表M中的多项数据；实施清单主表M与多个实施清单子表N1-Nn中的每个实施清单子表之间的数据对应关系为一对多的关系，即实施清单主表M中的一项数据对应于实施清单子表中的多项数据。

如图4A所示，响应于事项源数据的同步过程的结束，对目录表1执行目录解析，获取目录表中所对应的每个事项的名称或身份标识，从而能够确定所有数量的事项。对应于目录表1中所解析的每个事项，执行定时同步任务程序，以对解析的所有事项并行执行同步转换。其中，定时同步任务程序可通过spring框架定时任务schedule执行java程序，从而按照事项维度执行数据转换，最终通过mybatis框架封装的SQL将转换的数据存储到相应数据库中。

首先，根据所确定的每个事项，根据目录表1与实施清单主表2之间调取对应该事项的是第一事项关联标识，然后，基于该第一事项关联标识调取对应该事项的实施清单主表2的相关数据项。进一步地，可以通过该实施清单主表2的相关数据项调取与之所对应的多个实施清单子表的第二事项关联标识。根据该第二事项关联标识，通过每个事项被实施或被执行时，以事项服务的业务流程的执行时间作为时间戳对应查询该事项对应的多个实施清单子表中的对应数据项。

对该多个数据项所在的实施清单子表中的数据依次执行遍历，将这些与该事项相关的数据全部提取出来，形成事项关联数据。其中，该事项关联数据为这一套数据表(即目录表1、实施清单主表2以及实施清单子表31-3n)中与该事项相关联的所有事项服务数据。因此，能够根据数据表之间的事项关联标识，一次性查询所有事项对应的扩展信息、材料信息等子表信息。

因此，可以构建基于多版本的主子关系事项数据同步优化机制，通过程序控制同步过程，按事项维度，同步主表和对应的子表信息，同时停用原版本事项数据的状态。

如图2-图4B所示，根据本公开的实施例，在调取对应每个事项的实施清单主表的事项关联标识之前，还包括：

读取事项源数据的查询记录，确定多个事项的事项数据量；

根据事项数据量对多个事项执行分页查询。

如图3B-图4A所示，事项源数据的查询记录为根据日志表最后的日期形成的查询数据，为目录表1、实施清单主表2以及实施清单子表31-3n中所存储的前置库的事项读取基本信息，具体可以通过程序调用数据库的方式获取该查询记录。根据该查询记录可以确定目录库中目录表1、实施清单主表2以及实施清单子表31-3n中存储的所有事项的事项数据量。其中，事项数据量为与每个事项相关数据的数据量。

由于事项数据量巨大，因此需要对该事项数据量根据所确定的事项内容，依据事项维度进行分事项拆分，具体可以通过分页查询将特定数据量的事项数据分为一组，从而将所有事项的事项数据平均分为多组事项数据，每组特定数据量的事项数据对应多个事项，可以实现并行的数据转换。具体地，可以先确定需要同步的事项数量以及对应这些事项数量的数据量，然后通过分页查询对这些数据量的事项数据按照事项维度执行数据量分组，如1000个事项以内分为一组事项数据，对该1000个事项的事项数据按照事项维度并行执行数据转换。

因此，可以实现依照事项维度的数据量分组，从而在按照事项维度进行数据转换的情况下，确保数据并行处理，提高数据转换效率，节省数据转换时间和资源。

如图2-图4B所示，根据本公开的实施例，在对应于多个数据项对多个实施清单子表中的数据执行遍历中，还包括：

修改多个实施清单子表中对应每个事项的版本状态；

对与多个实施清单子表对应的多个目标实施清单子表中对应每个事项的版本状态执行关联更新；

响应于关联更新对多个目标实施清单子表进行要素扩展。

如图4A所示，在执行数据转换的过程中，为保证数据表的差别稳定性，实施清单主表和所有实施清单子表都有对应的扩展要素表K，每个扩展要素表K存储有对应事项的多个扩展要素数据，多个扩展要素数据会有多条记录。其中，扩展要素是针对目录库的自定义内容，在新版本数据表执行数据同步转换过程中，可以按照事项维度将原扩展要素记录予以删除，从而对多个实施清单子表中对应该事项的版本状态进行修改，包括删除原有版本状态。

同时，在将多个实施清单子表31-3n分别转换至目标实施清单子表T1-Tn的过程中，需要按照事项维度逐个事项进行事项转换数据的插入，并对转换至目标实施清单子表T1-Tn中的事项数据进行扩展要素的关联更新，即对各个数据表的版本状态执行更新。也即，在新版本数据表完成事项同步之后，会将原扩展要素记录的关联标识信息复制到新版本数据表中，同时对该数据表对应的扩展要素数据表执行关联更新，更新的内容主要在于扩展要素表与各个目标实施清单子表T1-Tn之间的关联标识信息。

扩展要素表中的字段数量一般是固定的，当需要增加新的字段时，可以往其对应的新版本扩展要素表中增加对应的要素和值的记录，使得每张扩展要素表与其对应的数据表之间的数据项数据处于多对一的关系，即一个数据表的一项数据项对应扩展要素表中的多项扩展要素数据。如此，完成对新版本的扩展要素表的要素扩展。

可见，相对于现有技术中将数据表中的全部增量数据执行批量操作而无法对增量数据的扩展要素记录信息一一复制的情况，本公开实施例的上述方法按照事项维度逐个事项执行处理，可以实现对所有事项相关的增量数据的扩展要素表数据执行复制，从而确保了扩展数据的准确性，不需要再单独对扩展数据进行同步更新的操作，提高了数据同步的效率和数据准确性。

如图2-图4B所示，根据本公开的实施例，在操作S202对应多个事项中的每个事项，通过实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据中，还包括：

检测在数据调取的过程中的异常数据；

根据每个事项记录异常数据，生成异常数据集合。

如图4A所示，在数据转换过程中，通过如try catch等异常检测工具对数据同步过程中所出现的异常数据执行抓取。由于按照事项维度执行数据转换的操作，从而在数据转换过程中，可以对异常数据实现按照事项维度的异常定位操作，并将异常数据执行记录，存储到异常数据表F中，从而形成异常数据的数据集合作为异常数据集合。常见的异常数据包括记录在上述异常数据表中的程序捕获异常行为、数据字符长度超长、数据校验失败以及不符合事项数据标准等异常定位事项。

其中，在异常数据的抓取过程中，每条记录的修改删除状态和插入为一个事务，在出现数据异常时，仍然可以执行异常回滚，因而能够确保每个事项的数据都能够实现正常的数据转换。

因此，可以实现对数据转换过程中的异常数据的定位和抓取，还可以同时保证数据的异常回滚，从而确保数据正常转换，确保数据同步过程高效稳定的运行。

进一步地，可以在同步完成后，记录同步的数量，出现异常时，记录是哪个事项数据出现的问题以及对应的问题是什么，同时通知相关人员，并支持修改完问题后，可单独同步出现问题的事项数据。

如图2-图4B所示，根据本公开的实施例，在操作S203对事项关联数据执行转换处理，以完成事项数据同步中，包括：

根据预设同步映射关系对事项关联数据执行映射转换，以生成对应目标实施清单主表和对应多个目标实施清单子表中的事项转换数据；其中，事项转换数据为多个事项中对应事项的映射转换数据。

如图4A所示，预设同步映射关系为目录库中事项源数据所在的目录表1、实施清单主表2以及多个实施清单子表31-3n与对应的目录库中需要将该事项源数据同步到的目标数据表(目录表R、实施清单主表S以及多个实施清单子表T1-Tn)之间的数据映射关系。根据该对应的预设同步映射关系，可以利用kettle程序等迁移工具，将目录表1中的数据同步映射转换至目录表R中，将实施清单主表2中的数据同步映射转换至实施清单主表S中，将多个实施清单子表31-3n中的数据一对一映射转换至多个实施清单子表T1-Tn中，使得作为目标数据表的目标目录表R、目标实施清单主表S以及多个目标实施清单子表T1-Tn中的生成数据作为上述的事项转换数据401。

因此可以通过时间戳查询事项源数据在原有数据表中的位置，并根据每个事项对其相应事项数据进行遍历，根据主表信息查询出所有该事项的子表数据，并按照目标数据表和原数据表之间的映射关系，对所查询到的事项数据按照事项维度执行并行映射转换，存储到对应的目标数据表中，使得事项源数据303最终在完成数据同步之后，能够符合目标数据表的数据结构要求，存储到对应的目标数据表中的字段中，转换后的对象数据可以直接存储到平台对应的数据表中。

显然，本公开实施例的上述方法可以按照事项维度对事项源数据执行并行的数据同步，因而可以保证单个事项数据的完整性。

同时，出现异常时，由于是按照事项维度同步转换，可以直接确认到具体某个事项数据，记录其问题原因，便于后期排查。继续执行下一个事项数据的同步。当解决完问题后，可由人工手动重新单独执行该异常数据的同步操作，也可以自动执行数据异常回滚，确保发生异常数据的事项数据能够正常完成同步转换过程，防止数据遗漏的发生，确保数据同步的数据完整性和准确性。当发生异常时，系统支持通过短信或其他消息推送发送异常消息。除此之外，上述执行数据处理的过程之中，可以以每组特定数据量的事项数据为单位，对每个处理步骤执行日志记录，将相应的处理过程记录在日志表中形成日志数据。因此，在数据同步任务执行时，程序往数据库存储日志记录，通过程序进行处理数据，使得数据可操作性增强，能够记录同步过程的各种信息，存储于日志表与异常表，从而实现直观查看数据同步情况的效果。

可见，本公开实施例的上述应用于事项数据同步的数据处理装置，能够在数据同步过程中，按照事项维度对事项数据执行数据转换，从而实现了对数据之间的复杂逻辑实现处理，逻辑可读性增强且能够保证相应的日志记录。其中，数据处理程序中可增加每个处理流程的注释和标准，使得程序可读性增加，便于技术人员及时维护。

因此，本公开实施例的上述方法能够建立一种多版本的主子关系事项数据同步优化机制，按照事项维度执行数据同步转换，从而确保了每个事项的对应事项数据的完整性和准确性，避免了传统数据同步过程中按照表维度采用全量操作进行数据同步过程中所存在的数据丢失或数据不统一的情况，也能够确保即便出现因异常出现数据回滚时，可以确认数据异常的异常内容，便于排查异常。因此，本公开实施例的上述方法可以实现对数据同步过程的数据转换优化，确保数据完整性和准确性，便于实现数据异常的定位和排查，显著提高了数据同步转换效率，对数据同步过程进行了充分优化。

基于上述应用于事项数据同步的数据处理方法，本公开还提供了一种应用于事项数据同步的数据处理装置。以下将结合图5对该装置进行详细描述。

图5示意性示出了根据本公开实施例的应用于事项数据同步的数据处理装置的结构框图。

如图5所示，该实施例的应用于事项数据同步的数据处理装置500包括事项确定模块510、数据生成模块520和数据处理模块530。

事项确定模块510用于根据事项源数据确定与实施清单主表对应的多个事项。在一实施例中，事项确定模块510可以用于执行前文描述的操作S201，在此不再赘述。

数据生成模块520用于对应多个事项中的每个事项，通过实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据。在一实施例中，数据生成模块520可以用于执行前文描述的操作S202，在此不再赘述。

数据处理模块530用于对事项关联数据执行转换处理，以完成事项数据同步。在一实施例中，数据处理模块530可以用于执行前文描述的操作S203，在此不再赘述。

根据本公开的实施例，事项确定模块510、数据生成模块520和数据处理模块530中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，事项确定模块510、数据生成模块520和数据处理模块530中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，事项确定模块510、数据生成模块520和数据处理模块530中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图6示意性示出了根据本公开实施例的适于实现应用于事项数据同步的数据处理方法的电子设备的方框图。

如图6所示，根据本公开实施例的电子设备600包括处理器601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 603中，存储有电子设备600操作所需的各种程序和数据。处理器601、ROM602以及RAM 603通过总线604彼此相连。处理器601通过执行ROM 602和/或RAM 603中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 602和RAM 603以外的一个或多个存储器中。处理器601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备600还可以包括输入/输出(I/O)接口605，输入/输出(I/O)接口605也连接至总线604。电子设备600还可以包括连接至I/O接口605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 602和/或RAM 603和/或ROM 602和RAM 603以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的应用于事项数据同步的数据处理方法。

在该计算机程序被处理器601执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分609被下载和安装，和/或从可拆卸介质611被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (12)

1.一种应用于事项数据同步的数据处理方法，其中，包括：

根据事项源数据确定与实施清单主表对应的多个事项；

对应所述多个事项中的每个事项，通过所述实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据；以及

对所述事项关联数据执行转换处理，以完成所述事项数据同步。

2.根据权利要求1所述的方法，其中，在所述根据事项源数据确定与主数据表对应的多个事项之前，还包括：

对省库数据执行复制推送生成前置库数据；

对所述前置库数据执行同步，生成所述事项源数据。

3.根据权利要求1所述的方法，其中，在所述根据事项源数据确定与主数据表对应的多个事项中，包括：

分析所述事项源数据的目录表；

根据所述目录表确定与实施清单主表对应的多个事项。

4.根据权利要求1所述的方法，其中，在所述对应所述多个事项中的每个事项，通过所述实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据中，包括：

定时调取对应所述每个事项的所述实施清单主表的事项关联标识；

根据所述事项关联标识依据事项时间戳查询对应每个事项的多个实施清单子表中的多个数据项；

对应于所述多个数据项对所述多个实施清单子表中的数据执行遍历，生成所述事项关联数据。

5.根据权利要求4所述的方法，其中，在所述调取对应所述每个事项的所述实施清单主表的事项关联标识之前，还包括：

读取所述事项源数据的查询记录，确定所述多个事项的事项数据量；

根据所述事项数据量对所述多个事项执行分页查询。

6.根据权利要求4所述的方法，其中，在所述对应于所述多个数据项对所述多个实施清单子表中的数据执行遍历中，还包括：

修改所述多个实施清单子表中对应所述每个事项的版本状态；

对与多个实施清单子表对应的多个目标实施清单子表中对应所述每个事项的版本状态执行关联更新；

响应于所述关联更新对所述多个目标实施清单子表进行要素扩展。

7.根据权利要求1所述的方法，其中，在所述对应所述多个事项中的每个事项，通过所述实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据中，还包括：

检测在所述数据调取的过程中的异常数据；

根据所述每个事项记录所述异常数据，生成异常数据集合。

8.根据权利要求1所述的方法，其中，在所述对所述事项关联数据执行转换处理，以完成所述事项数据同步中，包括：

根据预设同步映射关系对所述事项关联数据执行映射转换，以生成对应目标实施清单主表和对应多个目标实施清单子表中的事项转换数据；其中，所述事项转换数据为多个事项中对应事项的映射转换数据。

9.一种应用于事项数据同步的数据处理装置，包括：

事项确定模块，用于根据事项源数据确定与实施清单主表对应的多个事项；

数据生成模块，用于对应所述多个事项中的每个事项，通过所述实施清单主表对多个实施清单子表执行数据调取，生成事项关联数据；以及

数据处理模块，用于对所述事项关联数据执行转换处理，以完成所述事项数据同步。

10.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～8中任一项所述的方法。

11.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～8中任一项所述的方法。

12.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～8中任一项所述的方法。

Images