CN105677360B - 一种跨网系统数据自动化提交装置及方法 - Google Patents

Abstract

本发明涉及一种跨网系统数据自动化提交装置及方法，包括来源系统和目标系统所述来源系统通过自动化提交系统与目标系统数据交互连接，且自动化提交系统由数据接入管理器、中间数据管理器、中间数据存储器、调度器及自动化提交器构成，通过自动化提交系统能将来源系统中的数据快速传输至目标系统中。本发明通过自动化提交系统能提供高效自动化的解决方案。

Description

一种跨网系统数据自动化提交装置及方法

技术领域

本发明涉及一种跨网系统数据自动化提交装置，尤其涉及一种跨网系统数据自动化提交装置及方法，属于行业应用软件开发领域。

背景技术

在行业应用软件运行环境中，通常采用开发跨网跨系统的数据接口方式实现稳定持续高效的数据交换。由于技术、设备、管理和涉密等原因，有些数据交换需求却不能以接口方式实现，而通常以人工的方式来完成，效率低下且容易产生二次出错。虽然现有技术已解决浏览器页面方式的自动化提交问题，但由于IT建设水平和环境的差异，非浏览器方式的应用软件还将长期存在。技术上，无法通过类似DOM解析的办法获取目标填报表单(界面)的元素信息，如C/S结构软件系统、前端采用类似Adobe Flex的RIA技术、前端采用类似ExtJs封装Javascript库等。现有专利，1)CN201510135000.7一种录入信息的方法和系统、2)CN200610157341.5网页数据自动填充系统及方法、3)CN201310339652.3网上自动填报数据的方法及其装置及其中，技术1仅仅针对有限信息(如人员信息)的触发和自动读取，不涉及更多动作和连续的自动化处理流程。技术2和3相似，但均属于网页类型目标系统的自动化填报，且未涉及到自动化填报技术的流程和效率优化。

发明内容

为解决上述技术问题，本发明的目的是提供一种跨网系统数据自动化提交装置及方法。

为实现上述目的，本发明采用如下技术方案：

一种跨网系统数据自动化提交装置，包括来源系统和目标系统，其特征在于：所述来源系统通过自动化提交系统与目标系统数据交互连接；

所述自动化提交系统由用于完成数据接入的对接和映射工作的数据接入管理器、用于提供完整的可视化数据管理功能的中间数据管理器、中间数据存储器、用于控制完成批量数据自动化提交的调度器及自动化提交器构成，所述数据接入管理器的输入端与来源系统的输出端相连，所述数据接入管理器的输出端与中间数据存储器的输入端相连，所述中间数据管理器的输出端与中间数据存储器的输入端相连，所述调度器的提取端与中间数据存储器的提出端相连，所述调度器的控制端与自动化提交器的调度端相连，所述自动化提交器的提取端与中间数据存储器提出端相连，所述自动化提交器的输出端与目标系统的输入端相连。

进一步的，所述的跨网系统数据自动化提交装置，其中，所述调度器的调度描述由用于明确数据是新增数据还是更新数据及确保数据提交工作的质控的标记识别管理器、用于处理普通模式、终端模式、新增模式下及更新有限模式的处理次序管理器和用于数据更新速度较高并能按照多个任务一同处理的多任务并行管理器构成，其中，标记识别管理器、处理次序管理器和多任务并行管理器都为独立的管理器。

更进一步的，所述的跨网系统数据自动化提交装置，其中，所述标记识别管理器分为：

数据标识管理器，用于明确数据是新增数据还是更新数据；

审计标识管理器，用于确保数据提交工作的质控，从事前可以杜绝错误和可以数据被提交，事中可以传递必要的审计信息到目标系统中，事后则可以查询、判断自动化提交工作的过程质量。

再更进一步的，所述的跨网系统数据自动化提交装置，其特征在于：所述处理次序管理器分为：

普通模式管理器，按照先到先处理的原则顺序处理；

终端模式管理器，被审计标识标记为中断的记录优先处理；

新增优先模式管理器，新增类型的记录优先处理；

更新优先模式管理器，更新类型的记录优先处理。

再更进一步的，所述的跨网系统数据自动化提交装置，其中，所述多任务并行管理器，适用对于数据更新速度要求较高的场合，并按照多个任务一同处理布置。

一种跨网系统数据自动化提交的方法，包括以下步骤：

S1：确定目标系统界面；

S2：数据接入管理器和中间数据管理器针对目标系统界面明确后续自动化提交管理的数据结构，即“数据描述”；

S3：数据接入管理器完成数据接入和对接映射，通过接入数据的ID与已入库数据进行对比，判断是新增记录还是对已有记录的更新，并作数据标识；

S4：中间数据管理器对新入库数据做验证和清洗工作，并对数据审计处理，标定用于标记中断、待定、错误、忽略及正常的审计特征；

S5：调度器查询新入库记录；

S6：调度器根据“用于来确定数据提交的次序原则的调度描述”设定调度逻辑，查询新入库记录用于明确数据是新增数据还是更新数据的数据标识和用于确保数据提交工作的质控的审计标识，形成处理队列；

S7：按照队列获取第一条记录，启动自动化提交器，根据该记录的审计标识查找相应的自动化提交，即“通过位置信息和动作信息来确定往什么位置以什么方式填充数据的动作描述”，并按照其细节执行，完成该记录的提交；

S8：提交完成后，自动化提交器在中间数据存储器中标记该记录为已提交，并告知调度器；

S9：重复步骤S7和S8，直至所有新入中间数据存储器的数据提交完毕。

进一步的，所述的跨网系统数据自动化提交的方法，其中，所述步骤S1中的目标系统界面可为单个的界面，可为多个并行的界面。

再进一步的，所述的跨网系统数据自动化提交的方法，其中，所述步骤S3、S4、S5、S6中的库为后台服务器。

借由上述方案，本发明至少具有以下优点：

本发明通过来源系统与目标系统之间安装了自动化提交系统，能实现以下目的：

本发明可通过多个相似“动作描述”实现高效并行提交，并通过多个差异化“动作描述”实现复杂的管理模式。此外，该还提供界面坐标提取工具，以便于编写“动作描述”中的位置信息。且本发明实现的批量数据非介入方式自动化提交，可适应更为全面的目标系统，是现有DOM解析方式技术的极大补充。此外，本发明还通过数据更新标定、审计标定和多种调度逻辑，形成丰富的数据提交管理方式，实现了系统间数据管理思路的传递。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明的结构示意图；

图2是自动化提交系统的结构示意图；

图3是本发明的实施例的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1、图2所示，一种跨网系统数据自动化提交装置，包括来源系统1和目标系统2，所述来源系统1通过自动化提交系统3与目标系统2数据交互连接；

所述自动化提交系统3由数据接入管理器31、中间数据管理器32、中间数据存储器33、调度器34及自动化提交器35构成，所述数据接入管理器31的输入端与来源系统1的输出端相连，所述数据接入管理器31的输出端与中间数据存储器33的输入端相连，所述中间数据管理器32的输出端与中间数据存储器33的输入端相连，所述调度器34的提取端与中间数据存储器33的提出端相连，所述调度器34的控制端与自动化提交器35的调度端相连，所述自动化提交器35的提取端与中间数据存储器33提出端相连，所述自动化提交器35的输出端与目标系统2的输入端相连。通过自动化提交系统3能将来源系统1中的数据快速的传输至目标系统2，提高其工作效率。

所述调度器34的调度描述由标记识别管理器341、处理次序管理器342和多任务并行管理器343构成，其中，标记识别管理器341、处理次序管理器342和多任务并行管理器343都为独立的管理器。标记识别管理器341、处理次序管理器342和多任务并行管理器343呈独立布置能针对来源系统1中不同的数据进行不同的管理。

其中，所述标记识别管理器341分为：

数据标识管理器，用于明确数据是新增数据还是更新数据，可以配合后续的处理次序管理器342；

审计标识管理器，用于确保数据提交工作的质控，从事前可以杜绝错误和可以数据被提交，事中可以传递必要的审计信息到目标系统2中，事后则可以查询、判断自动化提交工作的过程质量。

而所述处理次序管理器342分为：

普通模式管理器，按照先到先处理的原则(FIFO)顺序处理；

终端模式管理器，被审计标识标记为中断的记录优先处理，适用对于数据更新极为敏感的场合；

新增优先模式管理器，新增类型的记录优先处理，适用追求记录总量的场合；其中，该装置一旦开机，会优先提交所有新增记录，而后才开始更新动作；

更新优先模式管理器，更新类型的记录优先处理，适用追求数据质量和更新度的场合，其中，该装置一旦开机，会优先提交所有更新记录，而后才开始新增动作。

上述中的新增优先模式管理器和更新优先模式管理器为两个并行的管理器，在执行动作时，只能执行其中一种动作，不能两种动作同时执行。

而所述多任务并行管理器343，适用对于数据更新速度要求较高的场合，并按照多个任务一同处理布置。调度器34可同时发起多个提交任务，并按照多个“动作描述”分别执行提交动作。在提升效率的场合下，多个“动作描述”会配置相同的动作细节(即数据标识和处理次序相结合)，并将数据分别填充至多个相同目标系统2界面，同时完成多项提交；而在提升管理的场合下，可以给多个“动作描述”配置不同的目标窗体和动作细节，并适应不同的审计标识。比如audit_pending记录的数据提交至目标系统的审计待查界面，audit_error则向目标系统报错，而audit_ignored记录则不做任何动作，所有这些都区别于常规提交。

一种跨网系统数据自动化提交的方法，包括以下步骤：

S1：确定目标系统2界面；

S2：数据接入管理器31和中间数据管理器32针对目标系统2界面明确后续自动化提交管理的数据结构，即“数据描述”；

S3：数据接入管理器31完成数据接入和对接映射，通过接入数据的ID与已入库数据进行对比，判断是新增记录还是对已有记录的更新，并作数据标识；

S4：中间数据管理器32对新入库数据做验证和清洗工作，并对数据审计处理，标定审计特征(中断，待定，错误，忽略，正常)；

S5：调度器34查询新入库记录；

S6：调度器34根据“调度描述”设定调度逻辑，查询新入库记录数据标识和审计标识，形成处理队列；

S7：按照队列获取第一条记录，启动自动化提交器35，根据该记录的审计标识查找相应的自动化提交，即“动作描述”，并按照其细节执行，完成该记录的提交；

S8：提交完成后，自动化提交器35在中间数据存储器33中标记该记录为已提交，并告知调度器34；

S9：重复步骤S7和S8，直至所有新入中间数据存储器33的数据提交完毕。

其中，所述步骤S3、S4、S5、S6中的库为后台服务器。

具体操作如下，一旦确定目标系统2界面，数据接入管理器31和中间数据管理器32就可以明确后续要做自动化提交管理的数据结构，即“数据描述”。

其中，步骤S3中，基于此数据结构，数据接入管理器31将完成数据接入的对接和映射工作，避免不必要的数据流入。接入数据管理在接收数据过程中会通过唯一性ID与已入库数据进行对比，明确所有接入数据的更新状态，即判断数据是新增记录还是对已有记录的更新，并作标记，新增数据标记为data_new，而更新数据标记为data_update。

步骤S4中，中间数据管理器32提供完整的可视化数据管理功能，即增删改查操作，并根据数据结构和类型限定做严格的验证和清洗工作，确保数据质量。另外，中间数据管理器32还提供数据审计功能，即在数据被交付自动化处理之前可以做审计特征标定【如，中断(audit_interrupt)、待定(audit_pending)、错误(audit_error)、忽略(audit_ignored)，无标定则视为正常数据(audit_normal)】。通常，中间数据管理器32可以通过设定审计判定规则，根据与数据相关的业务逻辑自动标识审计信息，以提升效率。(比如在公安信息系统场合，发现有案底人员的ID则立即标定为audit_interrupt(中断)，而不合理的年龄则标定为audit_error(错误)等等。

此外，中间数据管理器32还提供数据导出功能。

在确定“数据描述”并完成数据接入和可视化管理之后，装置需要确定“调度描述”和“动作描述”，即针对调度器34和自动化提交器35的设定。

其中，调度器34将按照“调度描述”来确定数据提交的次序原则。通常方式下，所有入库数据将被按原有次序逐条提交，即FIFO的队列执行方法。

自动化提交器35将通过“动作描述”和调度器34的控制完成批量数据的自动化提交。“动作描述”是通过位置信息和动作信息来确定往什么位置以什么方式填充数据。调度器34可同时发起多个提交任务，并按照多个“动作描述”分别执行提交动作。在提升效率的场合下，多个“动作描述”会配置相同的动作细节，并将数据分别填充至多个相同目标系统界面，同时完成多项提交；而在提升管理的场合下，可以给多个“动作描述”配置不同的目标窗体和动作细节，并适应不同的审计标识(比如，待定audit_pending记录的数据提交至目标系统的审计待查界面，错误audit_error则向目标系统报错，而忽略audit_ignored记录则不做任何动作，所有这些都区别于常规提交)。

其中，自动化提交的机制主要通过数据接入管理器31和中间数据管理器32的“数据描述”、调度器34的“调度描述”和自动化提交器35的“动作描述”来定义和实现。

而实现上述自动采用，数据接入管理器31以常规接口方式与数据来源系统1对接，并按照目标系统2的“数据描述”完成数据接入和更新状态标定，并将数据暂存在中间数据存储器33中。

中间数据管理器32实现来源数据的可视化增删改查管理、有效性验证、审计标定和数据导出服务。数据一旦通过审计，将正式入库至中间数据存储器33，形成自动化提交的数据源。为提升效率，该模块可根据实际业务逻辑设定自动化的审计标定。

调度器34将全程管理自动化提交工作，发起自动化提交动作并实现队列化管理，确保整个自动化提交过程可监控可审计。调度器34的调度逻辑取决于数据接入管理器31标定的数据更新状态和调度器34“调度描述”设定。

自动化提交器35实现来源系统1数据向目标系统2的自动化提交。该自动化提交器35将以非直接对接的方式，通过模拟输入的方式完成来源系统1数据向目标系统2界面的输入和提交。“动作描述”将提供明确的目标系统界面窗体、窗体内位置和填充动作。

本发明可通过多个相似“动作描述”实现高效并行提交，并通过多个差异化“动作描述”实现复杂的管理模式。此外，该还提供界面坐标提取工具，以便于编写“动作描述”中的位置信息。且本发明实现的批量数据非介入方式自动化提交，可适应更为全面的目标系统，是现有DOM解析方式技术的极大补充。此外，本发明还通过数据更新标定、审计标定和多种调度逻辑，形成丰富的数据提交管理方式，实现了系统间数据管理思路的传递。

实施例

如图3所示，数据提交界面，以一个包含5个不同类型(典型)字段的数据来详细描述自动化提交的流程。其中，5个不同类型从A到E表示，目标系统2的数据上报界面尺寸固定为800点阵长度，600点阵高度。(注：800和600为点阵数据，文中其他位置和尺寸均采用点阵描述)。以1920*1080分辨率的屏幕分辨率，一个工作屏幕可以容纳2个800*600的界面，既能实现多任务自动的交付。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (8)

1.一种跨网系统数据自动化提交装置，包括来源系统(1)和目标系统(2)，其特征在于：所述来源系统(1)通过自动化提交系统(3)与目标系统(2)数据交互连接；

所述自动化提交系统(3)由用于完成数据接入的对接和映射工作的数据接入管理器(31)、用于提供完整的可视化数据管理功能的中间数据管理器(32)、中间数据存储器(33)、用于控制完成批量数据自动化提交的调度器(34)及自动化提交器(35)构成，所述数据接入管理器(31)的输入端与来源系统(1)的输出端相连，所述数据接入管理器(31)的输出端与中间数据存储器(33)的输入端相连，所述中间数据管理器(32)的输出端与中间数据存储器(33)的输入端相连，所述调度器(34)的提取端与中间数据存储器(33)的提出端相连，所述调度器(34)的控制端与自动化提交器(35)的调度端相连，所述自动化提交器(35)的提取端与中间数据存储器(33)提出端相连，所述自动化提交器(35)的输出端与目标系统(2)的输入端相连。

2.根据权利要求1所述的跨网系统数据自动化提交装置，其特征在于：所述调度器(34)的调度描述由用于明确数据是新增数据还是更新数据及确保数据提交工作的质控的标记识别管理器(341)、用于处理普通模式、终端模式、新增模式下及更新有限模式的处理次序管理器(342)和用于数据更新速度较高并能按照多个任务一同处理的多任务并行管理器(343)构成，其中，标记识别管理器(341)、处理次序管理器(342)和多任务并行管理器(343)都为独立的管理器。

3.根据权利要求2所述的跨网系统数据自动化提交装置，其特征在于：所述标记识别管理器(341)分为：

数据标识管理器，用于明确数据是新增数据还是更新数据；

审计标识管理器，用于确保数据提交工作的质控，从事前可以杜绝错误和可以数据被提交，事中可以传递必要的审计信息到目标系统(2)中，事后则可以查询、判断自动化提交工作的过程质量。

4.根据权利要求2所述的跨网系统数据自动化提交装置，其特征在于：所述处理次序管理器(342)分为：

普通模式管理器，按照先到先处理的原则顺序处理；

终端模式管理器，被审计标识标记为中断的记录优先处理；

新增优先模式管理器，新增类型的记录优先处理；

更新优先模式管理器，更新类型的记录优先处理。

5.根据权利要求2所述的跨网系统数据自动化提交装置，其特征在于：所述多任务并行管理器(343)，适用对于数据更新速度要求较高的场合，并按照多个任务一同处理布置。

6.一种跨网系统数据自动化提交的方法，其特征在于，包括以下步骤：

S1：确定目标系统(2)界面；

S2：数据接入管理器(31)和中间数据管理器(32)针对目标系统(2)界面明确后续自动化提交管理的数据结构，即“数据描述”；

S3：数据接入管理器(31)完成数据接入和对接映射，通过接入数据的ID与已入库数据进行对比，判断是新增记录还是对已有记录的更新，并作数据标识；

S4：中间数据管理器(32)对新入库数据做验证和清洗工作，并对数据审计处理，标定用于标记中断、待定、错误、忽略及正常的审计特征；

S5：调度器(34)查询新入库记录；

S6：调度器(34)根据“用于来确定数据提交的次序原则的调度描述”设定调度逻辑，查询新入库记录用于明确数据是新增数据还是更新数据的数据标识和用于确保数据提交工作的质控的审计标识，形成处理队列；

S7：按照队列获取第一条记录，启动自动化提交器(35)，根据该记录的审计标识查找相应的自动化提交，即“通过位置信息和动作信息来确定往什么位置以什么方式填充数据的动作描述”，并按照其细节执行，完成该记录的提交；

S8：提交完成后，自动化提交器(35)在中间数据存储器(33)中标记该记录为已提交，并告知调度器(34)；

S9：重复步骤S7和S8，直至所有新入中间数据存储器(33)的数据提交完毕。

7.根据权利要求6所述的跨网系统数据自动化提交的方法，其特征在于：所述步骤S1中的目标系统(2)界面可为单个的界面，可为多个并行的界面。

8.根据权利要求6所述的跨网系统数据自动化提交的方法，其特征在于：所述步骤S3、S4、S5、S6中的库为后台服务器。