CN102497444B - 一种数据传输方法及系统 - Google Patents

Abstract

本申请提供了一种数据传输方法，包括：监测由数据处理工具发送的处理数据是否满足目的库存储规则，如果满足，将所述由数据处理工具处理的数据存储入所述目的库，否则，将所述由数据处理工具处理的数据作为错误传输数据封装成文档；依据所述文档生成数据重发选项，并将所述数据重发选项发送至所述数据处理工具，控制所述数据处理工具对与所述数据重发选项相对应的数据进行数据抽取、转换、加载处理，并将所述经过处理后的数据发送至目的库。通过本发明提供的一种数据传输方法，将数据处理工具传输错误的数据进行重发，保证目的库中数据的完整性、一致性。

Description

一种数据传输方法及系统

技术领域

本申请涉及数据集成中间件技术领域，特别涉及一种数据传输方法及系统。

背景技术

现代企业通过ETL(Extraction-Transformation-Loading，提取、转换、加载)技术手段，把数据转换为信息、知识，最大化利用已存在的数据资源，形成蕴含巨大商机的信息。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

如图1所示的数据流向图：由ETL数据处理工具将从源库中分发至到快照表中的数据进行抽取、转换、加载处理后发送至目的库，即完成数据的传输处理。在数据处理工具对数据传输处理的过程中经常会出现数据记录符合源库约束规则而不符合目的库存储规则，即发生数据传输错误，通常可以通过配置转换规则尽可能的使数据适应目的库存储结构，但数据处理工具的数据传输处理过程中发生数据传输错误是不可能完全避免的。当发生错误时，能够及时有效的与用户进行交互，保证系统的数据一致性、完整性，提高数据的可用性有非常重要的意义。

但现有技术中没有一种数据传输方法可以解决当数据处理工具传输数据过程中发生错误数据传输时导致数据在目的库中不完整、不一致的问题。

发明内容

本发明所要解决的技术问题是提供一种数据传输方法，用以解决由于数据发生传输错误而导致数据在目的库中不完整、不一致的技术问题。

本发明提供了一种数据传输方法，包括：

监测由数据处理工具发送的处理数据是否满足目的库存储规则，如果满足，将所述由数据处理工具处理的数据存储入所述目的库，否则，将所述由数据处理工具处理的数据作为错误传输数据封装成文档；

依据所述文档生成数据重发选项，并将所述数据重发选项发送至所述数据处理工具，控制所述数据处理工具对与所述数据重发选项相对应的数据进行数据抽取、转换、加载处理，并将所述经过处理后的数据发送至目的库。

本发明还提供了一种数据传输系统，用于保证上述数据传输方法的实现，所述系统包括监测模块、封装模块及重发模块，其中：

所述监测模块，用于监测由数据处理工具发送的处理数据是否满足目的库存储规则；

所述封装模块，用于当所述监测模块监测到由数据处理工具发送的处理数据不满足目的库存储规则时，将所述由数据处理工具处理的数据作为错误传输数据封装成文档；

所述处理模块，用于依据所述文档生成数据重发选项，并将所述数据重发选项发送至所述数据处理工具，控制所述数据处理工具对与所述数据重发选项相对应的数据进行数据抽取、转换、加载处理，并将所述经过处理后的数据发送至目的库。

综上可知，本发明提供了一种数据传输方法，将由数据处理工具传输的错误数据进行数据的重新传输处理，有效的解决了数据处理工具的数据传输过程发生数据错误的问题，使得处理后的数据能够存储入目的库，保证了数据的完整性、一致性，达到了感知错误、纠正错误、解决错误的目的。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中ETL数据处理系统中数据处理传输的数据流向图；

图2为本发明提供的一种数据传输方法实施例一的数据流程图；

图3为本发明提供的一种数据传输方法实施例二的数据流程图；

图4为本发明提供的一种数据传输方法实施例三的数据流程图；

图5为本发明提供的一种数据传输方法实施例三中用户处理界面示意图；

图6为本发明提供的一种数据传输系统实施例四的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

参考图2所示为本发明提供的一种数据传输方法实施例一的数据流程图，本发明提供的一种数据传输方法包括：

步骤201：监测由数据处理工具发送的处理数据是否满足目的库存储规则，如果满足，将所述由数据处理工具处理的数据存储入所述目的库，否则，将所述由数据处理工具处理的数据作为错误传输数据封装成文档。

其中，监测由数据处理工具发送的处理数据是否满足目的库存储规则包括监测所述由数据处理工具处理后的数据是否发生传输失真或不符合目的库的存储规则或其约束条件等；

所述将错误数据封装成文档包括将所述错误数据封装成xml文档，所述xml文档包括与所述错误数据相对应的原始未传输数据的数据标识。

步骤202：依据所述文档生成数据重发选项，并将所述数据重发选项发送至所述数据处理工具，控制所述数据处理工具对与所述数据重发选项相对应的数据进行数据抽取、转换、加载处理，并将所述经过处理后的数据发送至目的库。

其中，所述依据所述文档生成数据重发选项包括依据所述xml文档中的与所述错误数据相对应的原始未传输数据的数据标识生成重发选项，再由所述数据处理工具依据所述重发选项将所述错误数据相对应的原始未传输数据进行抽取、转换、加载处理，并将所述经过处理后的数据发送至目的库，返回步骤201，直至所述由数据处理工具处理过的数据满足目的库的存储规则，并将所述处理后的数据存储入所述目的库，完成数据的正确传输。

通过上述实施例可知，本发明提供的一种数据传输方法实施例一将发生传输处理错误的数据进行重发处理，直至所述处理后的数据满足目的库的存储规则，将其存储入目的库，完成数据的正确传输处理，避免由于错误数据导致数据处理工具的任务终止，有效保证了数据的完整性、一致性，达到了感知错误、纠正错误、解决错误的目的。

实施例二

参考图3所示为本发明提供的一种数据传输方法实施例二的数据流程图，本发明提供的一种数据传输方法包括：

步骤301：监测由数据处理工具发送的处理数据是否满足目的库存储规则，如果满足，将所述由数据处理工具处理的数据存储入所述目的库，否则，进入步骤302。

其中，监测由数据处理工具发送的处理数据是否满足目的库存储规则包括监测所述由数据处理工具处理后的数据是否发生传输失真或不符合目的库的存储规则或其约束条件等。

步骤302：将所述由数据处理工具处理的数据作为错误传输数据封装成xml文档。

所述xml文档包括与所述错误数据相对应的原始未传输数据或者与所述错误数据相对应的原始未传输数据的数据标识。

步骤303：依据所述xml文档生成数据重发选项。

步骤304：将所述数据重发选项发送至所述数据处理工具，控制所述数据处理工具对与所述数据重发选项相对应的数据进行数据抽取、转换、加载处理。

步骤305：将所述经过处理后的数据发送至目的库。

其中，所述依据所述文档生成数据重发选项包括依据所述xml文档中的与所述错误数据相对应的原始未传输数据或其数据标识生成重发选项，再由所述数据处理工具依据所述重发选项将所述错误数据相对应的原始未传输数据进行抽取、转换、加载处理，并将所述经过处理后的数据发送至目的库，返回步骤301，直至所述由数据处理工具处理过的数据满足目的库的存储规则，并将所述处理后的数据存储入所述目的库，完成数据的正确传输。

其中，由所述xml文档生成所述重发选项后可以发送至客户端的用户界面，由用户处理界面接收用户根据实际传输需求输入的重发信息，再依据所述用户输入的重发信息将与所述重发选项相对应的原始未传输数据进行数据抽取、转换、加载处理。

在所述数据传输过程中，正常数据的传输称为基本传输流程，发生错误的数据传输称为异常处理流程，由于数据处理工具可以同时启动多个数据处理任务的特性，所述异常处理流程的运行与所述基本传输流程可以同时由数据处理工具的两个任务完成。

在本实施例中，将发生错误的数据都封装成xml文档，由此所述数据异常统一格式，使得同一个错误数据处理任务即可将所有发生错误传输的数据进行处理。

通过上述实施例可知，本发明提供的一种数据传输方法实施例一将发生传输处理错误的数据进行重发处理，直至所述处理后的数据满足目的库的存储规则，将其存储入目的库，完成数据的正确传输处理，避免以为错误数据导致数据处理工具的任务终止，有效保证了数据的完整性、一致性，达到了感知错误、纠正错误、解决错误的目的。

实施例三

参考图4所示为本发明提供的一种数据传输方法实施例二的数据流程图，本发明提供的一种数据传输方法包括：

步骤401：监测由数据处理工具发送的处理数据是否满足目的库存储规则，如果满足，将所述由数据处理工具处理的数据存储入所述目的库，否则，进入步骤402。

步骤402：将所述由数据处理工具处理的数据作为错误传输数据封装成xml文档，所述xml文档包括与所述错误数据相对应的原始未传输数据。

其中，监测由数据处理工具发送的处理数据是否满足目的库存储规则包括监测所述由数据处理工具处理后的数据是否发生传输失真或不符合目的库的存储规则或其约束条件等；

所述xml文档还可以包括与所述错误数据相对应的原始未传输数据的数据标识。因此步骤402中还可以依据所述xml文档中的与所述错误数据相对应的原始未传输数据的数据标识生成数据重发选项。

步骤403：依据所述xml文档中的与所述错误数据相对应的原始未传输数据生成数据重发选项。

步骤404：将所述数据重发选项发送至所述数据处理工具，控制所述数据处理工具对与所述数据重发选项相对应的数据进行数据抽取、转换、加载处理。

步骤405：将所述经过处理后的数据发送至目的库。

其中，将所述经过处理后的数据发送至目的库后，返回步骤401，直至所述由数据处理工具处理过的数据满足目的库的存储规则，并将所述处理后的数据存储入所述目的库，完成数据的正确传输。

其中，由所述xml文档生成所述重发选项后可以发送至客户端的用户界面，由用户处理界面接收用户根据实际传输需求输入的重发信息，再依据所述用户输入的重发信息将与所述重发信息相对应的原始未传输数据进行数据抽取、转换、加载处理。

在上述过程中，可以设立两个区域集合，分别为错误数据记录区及错误数据重发区：当监测到由数据处理工具处理后的数据不满足目的库存储规则即发生错误数据传输时，将由所述发生错误传输的数据封装成的xml文档放入所述错误数据记录区；当用户处理界面接收到用户根据实际传输需求输入的重发信息后，将与所述重发信息相对应的xml文档放入所述错误数据重发区。

在实际应用中，所述用户处理界面可以设置为如图5所示，其中文件名、记录内容、异常原因为文本框，支持模糊查询功能，操作类型为下拉框，时间可以为日历或直接数据控件，通过用户输入的错误数据查询请求，查询到发生错误传输的数据，根据用户实际需求将需要重发的数据进行数据抽取、转换、加载处理。

在所述数据传输过程中，正常数据的传输称为基本传输流程，发生错误的数据传输称为异常处理流程，由于数据处理工具可以同时启动多个数据处理任务的特性，所述异常处理流程的运行与所述基本传输流程可以同时由数据处理工具的两个任务完成。

在本实施例中，将发生错误的数据都封装成xml文档，由此所述数据异常统一格式，使得同一个错误数据处理任务即可将所有发生错误传输的数据进行处理。

通过上述实施例可知，本发明提供的一种数据传输方法实施例一将发生传输处理错误的数据进行重发处理，直至所述处理后的数据满足目的库的存储规则，将其存储入目的库，完成数据的正确传输处理，避免以为错误数据导致数据处理工具的任务终止，有效保证了数据的完整性、一致性，达到了感知错误、纠正错误、解决错误的目的。

实施例四

参考图6所示为本发明提供的一种数据传输系统实施例四的结构示意图，可以用于实现本发明提供的一种数据传输方法实施例一至实施例三，所述系统嵌入ETL数据传输系统中实现发生错误数据传输时将错误数据进行重发，所述系统包括监测模块601、封装模块602及处理模块603，其中：

所述监测模块601，用于监测由数据处理工具发送的处理数据是否满足目的库存储规则；

其中，所述监测模块601在监测由数据处理工具发送的处理数据是否满足目的库存储规则时包括监测所述由数据处理工具处理后的数据是否发生传输失真或不符合目的库的存储规则或其约束条件等。

所述封装模块602，用于当所述监测模块601监测到由数据处理工具发送的处理数据不满足目的库存储规则时，将所述由数据处理工具处理的数据作为错误传输数据封装成文档。

其中，所述封装模块602将错误数据封装成文档包括将所述错误数据封装成xml文档，所述xml文档包括与所述错误数据相对应的原始未传输数据或其数据标识。

所述处理模块603，用于依据所述文档生成数据重发选项，并将所述数据重发选项发送至所述数据处理工具，控制所述数据处理工具对与所述数据重发选项相对应的数据进行数据抽取、转换、加载处理，并将所述经过处理后的数据发送至目的库。

其中，所述处理模块603依据所述文档生成数据重发选项时包括依据所述xml文档中的与所述错误数据相对应的原始未传输数据的数据标识生成重发选项，再由所述数据处理工具依据所述重发选项将所述错误数据相对应的原始未传输数据进行抽取、转换、加载处理，并将所述经过处理后的数据发送至目的库，由所述监测模块601继续监测，直至所述处理后的数据满足目的库的存储规则，完成数据的正确传输。

通过上述实施例可知，本发明提供的一种数据传输系统实施例四将发生传输处理错误的数据进行重发处理，直至所述处理后的数据满足目的库的存储规则，将其存储入目的库，完成数据的正确传输处理，避免由于错误数据导致数据处理工具的任务终止，有效保证了数据的完整性、一致性，达到了感知错误、纠正错误、解决错误的目的。

以上对本申请所提供的一种数据传输方法及系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (2)

1.一种数据传输方法，其特征在于，包括：

监测由数据处理工具发送的处理数据是否满足目的库存储规则，如果满足，将所述由数据处理工具处理的数据存储入所述目的库，否则，将所述由数据处理工具处理的数据作为错误传输数据封装成xml文档，所述xml文档包括与所述错误数据相对应的原始未传输数据或者与所述错误数据相对应的原始未传输数据的数据标识；

依据所述xml文档生成数据重发选项，并将所述数据重发选项发送至所述数据处理工具，控制所述数据处理工具对与所述数据重发选项相对应的数据进行数据抽取、转换、加载处理，并将所述经过处理后的数据发送至目的库。

2.一种数据传输系统，其特征在于，包括监测模块、封装模块及处理模块，其中：

所述监测模块，用于监测由数据处理工具发送的处理数据是否满足目的库存储规则；

所述封装模块，用于当所述监测模块监测到由数据处理工具发送的处理数据不满足目的库存储规则时，将所述由数据处理工具处理的数据作为错误传输数据封装成xml文档，所述xml文档包括与所述错误数据相对应的原始未传输数据或者与所述错误数据相对应的原始未传输数据的数据标识；

所述处理模块，用于依据所述xml文档生成数据重发选项，并将所述数据重发选项发送至所述数据处理工具，控制所述数据处理工具对与所述数据重发选项相对应的数据进行数据抽取、转换、加载处理，并将所述经过处理后的数据发送至目的库。