CN107967324A - 智能式数据转存与快速录入系统及方法 - Google Patents

Abstract

本发明涉及数据录入领域，本发明针对现有的Web信息系统数据录入和采集过程中低效率的二次录入，以及人工录入过程中容易出错的技术问题，提供了一种智能式数据转存与快速自动录入方法，包括如下内容：S1、将目标网页系统按照网页文档结构生成JSON文档或者将数据接口内的数据按照数据结构解析成可读取的文本文档；S2、提前配置步骤，配置提交网页系统与目标网页系统或数据接口的映射关系；S3、根据映射关系，将目标网页系统中的结构化信息、非结构化信息自动录入到提交网页系统中，或者将文本文档中的信息自动录入到提交网页系统中，或者将文本文档中的信息自动录入到提交网页系统中。本发明还公开了一种智能式数据转存与快速自动录入系统。

Description

智能式数据转存与快速录入系统及方法

技术领域

本发明涉及数据录入领域，具体涉及一种智能式数据转存与快速自动录入系统及方法

背景技术

随着政务服务“一门式一网式”的推进和智慧城市的建设，现在为了打破政府部门之间存在的信息孤岛和数据分割的局面，通常需要将这个政府部门网页上的数据录入上传到另一个政府部门的服务器中。

现在大多数政府部门的应用服务器架构，采用的都是B/S架构，并且有比较严格的账号密码验证体系。在B/S架构的服务器中，如果要将数据录入到服务器中，通常是需要在网页中录入信息的(也称为Web信息系统数据录入和采集)。当一个B/S架构的服务器(假设为服务器A)需要复制或者说录入另一个B/S架构的服务器(假设为服务器B)内的数据时，现在通常的操作为，打开一个网页(假设为网页A)登录后连接到服务器A，同时打开另一个网页(假设为网页B)登录后连接到服务器B。网页A为服务器A的信息录入界面，即用户可以通过在网页A内填写数据，然后点击提交，将数据提交到服务器A内。网页B为服务器B的信息读取界面，即可以通过浏览网页B，获得服务器B内的相关数据。当需要将服务器B内的数据提交到服务器A内时，通常是采用对照网页B中显示的数据，手动将其录入到网页A中，然后完成提交。

即，现有的Web信息系统数据录入和数据转存，采用的是典型的低效率二次录入方式，增加了录入工作量，这种方式存在录入效率低，人工录入过程中容易出错的问题。

发明内容

本发明针对现有的Web信息系统数据录入与数据转存采用二次录入方式，增加了录入工作量，存在录入效率低，人工录入过程中容易出错的技术问题，提供了一种智能式数据转存与快速自动录入系统及方法。

本发明提供的基础方案为：智能式数据转存与快速自动录入方法，包括如下内容：

S1、将目标网页系统按照网页文档结构生成JSON文档或者将数据接口内的数据按照数据结构解析成可读取的文本文档；

S2、提前配置步骤，配置提交网页系统与目标网页系统或数据接口的映射关系；

S3、根据映射关系，将目标网页系统中的结构化信息、非结构化信息自动录入到提交网页系统中，或者将文本文档中的信息自动录入到提交网页系统中；

S4、判断提交网页系统内的信息是否录入完毕，若是，则自动提交。

本发明的工作原理及优点在于：当数据来源是目标网页系统时，S1是对目标网页系统中含有的数据进行转档处理，得到JSON文档；当数据来源是其他数据结构时，S1是对数据接口的数据按照数据结构解析成可读取的文本文档。即无论数据来源是网页系统还是数据接口，均进行转档处理，方便后续处理。

在S2和S3步骤中，可以让用户根据实际需求，配置映射关系。映射关系的配置是根据提交网页系统与目标网页系统的逻辑关系，预先配置的映射关系。即可以解释为，将目标网页系统上数据根据提交网页系统上的逻辑进行分段读取，每一段读取完成后再自动填写到提交网页系统中。配置映射关系，其实质是建立数据读取逻辑和写入(或者说录入)逻辑，即建立对目标网页系统的读取逻辑，然后建立写入到提交网页系统中的写入逻辑。当配置完成后，可自动读取目标网页系统中的内容然后，自动写入到提交网页系统中。

在S4中，如果录入完成，即提交网页系统中所需要数据已经写入完毕，则自动提交。

在本方案中，不仅可以针对目标网页系统生成JSON文档，也可以针对数据接口提供的数据进行转档处理，使得本方案能够更加契合现有的政务存储的服务器。现有的政务存储的服务器大多是各部门分别招标建立的，服务器的厂家不同，在多部门政务信息流转方面存在较大问题。本方案中通过对目标网页系统生成JSON文档和对数据接口内的数据解析成可读取的文本文档，达到了适配市面上各种政务存储的服务器的效果，使得政府部门可以通过采用一种方式即可实现对提交网页系统的自动录入。

本发明智能式数据转存与快速自动录入方法，通过提前对目标网页系统或者数据接口提供数据进行转档，然后建立映射关系，达到提高录入效率的目的，与人工录入的方式相比，避免了人工录入过程中，工作人员容易疲劳，导致的人工录入容易出错的问题。

进一步，还包括S21，在S3中，判断目标网页系统中是否存在附件信息，若是，则建立本地文件库，将附件信息下载保存在本地文件库中；在S4中，自动提交时还包括提交本地文件库内的附件信息。

现有技术中，在进行数据录入时，严格来说是很容易忽略掉附件信息的。主要原因是附件信息在JSON文档的保存形式主要为一个链接，在将目标网页系统中的信息录入到提交网页系统中时，目标网页系统中的链接其实是忽略掉的，主要原因是，现有的政务网站中(目标网页系统)，存在的链接是非常多的，但是很多都是重复甚至是无用的。但是在本方案中会首先判断是否存在附件，然后再通过建立本地文件库将附件下载，达到避免信息遗漏的目的。

进一步，在S4中，自动提交完成后，自动删除本地文件库内的附件信息。

这样的设计为了让本地文件库能够持续工作，避免存储空间不足的情况。

进一步，还包括S5，自动审核步骤，在自动提交后，根据提前配置步骤中的映射关系，映射关系中包括是否提交人工审核的关键词，根据关键词，判断提交网页系统中的数据是否需要人工审核，若是，则发送至人工审核模块，若否，则自动走完审核流程。

正常来说，向政务存储的服务器录入的部分信息是需要进行人工审核的，但是也有部分信息不需要人工审核，直接录入即可。在本方案中，通过配置关系，实现人工审核和自动审核的分离，既能够保证人工审核的准确性，也能够达到自动审核的效率。

进一步，在S3中，对自动录入到提交网页系统中的结果进行记录，将录入结果保存在流程库中；在S4中，对自动提交结果进行记录，将提交结果保存在流程库中。

这样的设计，是为了方便用于查看录入情况，即查看过程情况，既可以查询也可以统计。

快速自动录入系统，包括：

解析模块，用于将目标网页系统按照网页文档结构生成JSON文档或者将数据接口内的数据按照数据结构解析成可读取的文本文档；

配置模块，用于配置提交网页系统与目标网页系统和数据接口的映射关系；

自动录入模块，用于根据映射关系，将目标网页系统中的信息自动录入到提交网页系统中，或者将文本文档中的信息自动录入到提交网页系统中；

提交模块，用于判断提交网页系统内的信息是否录入完毕，若是，则自动提交。

本方案具体公开了快速自动录入系统，通过解析模块、配置模块以及自动配置模块配合，实现高效的自动录入的目的。

进一步，还包括附件判断模块，用于判断目标网页系统中是否存在附件信息，若是，则建立本地文件库，将附件信息下载保存在本地文件库中；提交模块还用于在自动提交时将本地文件库内的附件也同时提交。

现有技术中，在进行数据录入时，严格来说是很容易忽略掉附件信息的。主要原因是附件信息在JSON文档的保存形式主要为一个链接，在将目标网页系统中的信息录入到提交网页系统中时，目标网页系统中的链接其实是忽略掉的，主要原因是，现有的政务网站中(目标网页系统)，存在的链接是非常多的，但是很多都是重复甚至是无用的。但是在本方案中会首先判断是否存在附件，然后再通过建立本地本件库将附件下载，达到避免信息遗漏的目的。这样的设计为了让本地文件库能够持续工作，避免存储空间不足的情况。

进一步，附件判断模块还用于在自动提交完成后，自动删除本地文件库内的附件信息。

正常来说，向政务存储的服务器录入的部分信息是需要进行人工审核的，但是也有部分信息不需要人工审核，直接录入即可。在本方案中，通过配置关系，实现人工审核和自动审核的分离，既能够保证人工审核的准确性，也能够达到自动审核的效率。

进一步，还包括自动审核模块、人工审核模块和流程库，自动审核模块用于在自动提交后，根据提前配置步骤中的映射关系，判断提交网页系统中的数据是否需要人工审核，若否，则自动走完审核流程；人工审核模块用于在需要人工审核时，接收提交网页系统中的数据；流程库用于对自动录入到提交网页系统中的结果进行记录，流程库还用于对自动提交结果进行记录。

这样的设计，是为了方便用于查看录入情况，即查看过程情况，既可以查询也可以统计。

附图说明

图1为本发明智能式数据转存与快速自动录入方法实施例的流程图；

图2为本发明智能式数据转存与快速自动录入系统的逻辑框图。

具体实施方式

下面通过具体实施方式进一步详细的说明：

实施例1

基本如附图2所示：智能式数据转存与快速自动录入系统，包括：

解析模块，用于将目标网页系统按照网页文档结构生成JSON文档或者将数据接口内的数据按照数据结构解析成可读取的文本文档；

配置模块，用于配置提交网页系统与目标网页系统和数据接口的映射关系；

自动录入模块，用于根据映射关系，将目标网页系统中的信息自动录入到提交网页系统中，或者将文本文档中的信息自动录入到提交网页系统中；

提交模块，用于判断提交网页系统内的信息是否录入完毕，若是，则自动提交；

附件判断模块，用于判断目标网页系统中是否存在附件信息，若是，则建立本地文件库，将附件信息下载保存在本地文件库中；提交模块还用于在自动提交时将本地文件库内的附件也同时提交，附件判断模块还用于在自动提交完成后，自动删除本地文件库内的附件信息。

还公开了一种，智能式数据转存与快速自动录入方法(如附图1所示)，包括如下内容：

S1、将目标网页系统按照网页文档结构生成JSON文档或者将数据接口内的数据按照数据结构解析成可读取的文本文档；

S2、提前配置步骤，配置提交网页系统与目标网页系统和数据接口的映射关系；

S3、根据映射关系，将目标网页系统中的结构化信息、非结构化信息自动录入到提交网页系统中，或者将文本文档中的信息自动录入到提交网页系统中；

S4、判断提交网页系统内的信息是否录入完毕，若是，则自动提交；

S5、自动审核步骤，在自动提交后，根据提前配置步骤中的映射关系，判断提交网页系统中的数据是否需要人工审核，若是，则发送至人工审核模块，若否，则自动走完审核流程；

其中，在S3中，判断目标网页系统中是否存在附件信息，若是，则建立本地文件库，将附件信息下载保存在本地文件库中；在S4中，自动提交时还包括提交本地文件库内的附件信息；自动提交完成后，自动删除本地文件库内的附件信息；在S3中，对自动录入到提交网页系统中的结果进行记录，将录入结果保存在流程库中；在S4中，对自动提交结果进行记录，将提交结果保存在流程库中。

具体使用时：S1具体为将目标网页系统和提交网页系统分别按照网页文档分层进行剥离、解析后，形成JSON标准文档格式。JSON标准文档格式包括文档名称、网页层名称、信息单元识别符、信息单元结构类型以及信息单元数据类型。网页文档分层进行剥离、解析的技术在大连理工大学硕士学位论文，《针对XML的文档处理技术的分析研究及实现》中有较为清楚的记载，由于JSON是存储和交换文本信息的语法，在网页文档分层剥离、解析的方式类似XML。JSON(JavaScript Object Notation)一种轻量级的数据交换格式，具有良好的可读和便于快速编写的特性。可在不同平台之间进行数据交换。JSON采用兼容性很高的、完全独立于语言文本格式，同时也具备类似于C语言的习惯(包括C,C++,C#,Java,JavaScript,Perl,Python等)体系的行为。这些特性使JSON成为理想的数据交换语言。在本方案中采用解析成JSON的原因是，现在大多数网站也是通过JSON进行编程的。

目前JSON解析有2种方法，分别是get和opt方法。本实施例中选用的opt方法。具体为：第一步，发起请求，获取到JSON数据；第二步，获取到对应的对应的JSONObject数据；获取到JSON Object之后，就对这个JSONObject进行解析。

S2配置的过程具体为将数据表的网页信息单元识别符与本地信息库的本地信息单元名称进行映射配对后，配置成映射关系。如，将目标网页系统中展示了个人信息(包括姓名、身份证号码、学历以及政治面貌)，提交网页系统中仅需要录入姓名和身份证号码，那么映射关系，就是目标网页系统中的姓名和身份证号码信息与提交网页系统中的需要填写的位置的关系。

S3提交过程，具体为根据映射关系将目标网页系统中的数据复制粘贴到提交网页系统中。在本方案中，具体为提交网页系统中的JSON标准文档格式中。S5自动审核，其实更多是用户根据目标网页系统中的内容，在配置时进行标记。如出现某个关键词(或者说敏感词)时，即需要提交人工审核。防止在政务系统中出现不良信息。

在附件方面，在将目标网页系统解析成标准JSON文档格式时，附件的链接后缀主要是doc、xlsx、ppt，本实施例中是通过识别上述三个后缀来判断是否有附件从而完成判断，自动下载和提交。在其他的实施例中，可以根据情况增加更多的后缀名判断方式，如，需要保存的附件为图片时，可以增加JPG、TIFF等，需要保存的附件为图纸时，可以增加DWG，即在其他的实施例中，可以根据实际情况增加或者减少需要识别的后缀名。

在本实施例中，可以自动对各种要录入信息的目标网页系统进行分层、剥离解析后，生成特定的JSON文档，而且对JSON文档采用了独特的与本地信息库进行自由映射的机制，使得目标网页系统的来源可灵活定制和改变，极大地扩展了应用的范围和领域。另外，本实施例可以解决各种数据格式的网页信息的全自动录入工作，解决了不同浏览器、不同网页信息呈现以及不同行业应用的信息自动录入问题。具有适用范围广、兼容性强、简单高效的有点，能运用于各行各业、各种不同的Web浏览器、各种场景的网页信息的自动填写和提交。

另外，除了针对网页录入的部分，本实施例中，还公开了针对数据接口录入数据的部分。如其他数据结构为SQL数据库时，本实施例可以将SQL数据库内的内容转化成可读取的文本文档，然后根据映射关系进行提交。此处的映射关系可以是根据关键词建立的映射关系。如，需要录入的信息为某个单位的员工情况时，可以根据姓名、性别、年龄以及学历情况等个人信息的关键词进行顺序自动录入。数据接口为存储在U盘内的word、excel文档时，由于其直接就是可编辑文档，可以直接根据映射关系进行自动录入和提交。

实施例2

与实施例1相比，不同之处在于，还包括自动审核模块、人工审核模块和流程库，自动审核模块用于在自动提交后，根据提前配置步骤中的映射关系，判断提交网页系统中的数据是否需要人工审核，若否，则自动走完审核流程；人工审核模块用于在需要人工审核时，接收提交网页系统中的数据；流程库用于对自动录入到提交网页系统中的结果进行记录，流程库还用于对自动提交结果进行记录。

这样的设计，是为了方便用于查看录入情况，即查看过程情况，既可以查询也可以统计。

名词解释：目标网页系统、提交网页系统也可以称为目标网页、提交网页。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (9)

1.智能式数据转存与快速自动录入方法，其特征在于：包括如下内容：

S1、将目标网页系统按照网页文档结构生成JSON文档或者将数据接口内的数据按照数据结构解析成可读取的文本文档；

S2、提前配置步骤，配置提交网页系统与目标网页系统或数据接口的映射关系；

S3、根据映射关系，将目标网页系统中的结构化信息、非结构化信息自动录入到提交网页系统中，或者将文本文档中的信息自动录入到提交网页系统中；

S4、判断提交网页系统内的信息是否录入完毕，若是，则自动提交。

2.根据权利要求1所述的智能式数据转存与快速自动录入方法，其特征在于：还包括S21，在S3中，判断目标网页系统中是否存在非结构化的附件信息，若是，则建立本地文件库，将附件信息下载保存在本地文件库中；在S4中，自动提交时还包括提交本地文件库内的附件信息。

3.根据权利要求2所述的智能式数据转存与快速自动录入方法，其特征在于：在S4中，自动提交完成后，自动删除本地文件库内的附件信息。

4.根据权利要求3所述的智能式数据转存与快速自动录入方法，其特征在于：还包括

S5，自动审核步骤，在自动提交后，根据提前配置步骤中的映射关系，映射关系中包括是否提交人工审核的关键词，根据关键词，判断提交网页系统中的数据是否需要人工审核，若是，则发送至人工审核模块，若否，则自动走完审核流程。

5.根据权利要求4所述的智能式数据转存与快速自动录入方法，其特征在于：在S3中，对自动录入到提交网页系统中的结果进行记录，将录入结果保存在流程库中；在S4中，对自动提交结果进行记录，将提交结果保存在流程库中。

6.智能式数据转存与快速自动录入系统，其特征在于，包括：

解析模块，用于将目标网页系统按照网页文档结构生成JSON文档或者将数据接口内的数据按照数据结构解析成可读取的文本文档；

配置模块，用于配置提交网页系统与目标网页系统和数据接口的映射关系；

自动录入模块，用于根据映射关系，将目标网页系统中的信息自动录入到提交网页系统中，或者将文本文档中的信息自动录入到提交网页系统中；

提交模块，用于判断提交网页系统内的信息是否录入完毕，若是，则自动提交。

7.根据权利要求6所述的智能式数据转存与快速自动录入系统，其特征在于：还包括附件判断模块，用于判断目标网页系统中是否存在附件信息，若是，则建立本地文件库，将附件信息下载保存在本地文件库中；提交模块还用于在自动提交时将本地文件库内的附件也同时提交。

8.根据权利要求7所述的智能式数据转存与快速自动录入系统，其特征在于：附件判断模块还用于在自动提交完成后，自动删除本地文件库内的附件信息。

9.根据权利要求8所述的智能式数据转存与快速自动录入系统，其特征在于：还包括自动审核模块、人工审核模块和流程库，自动审核模块用于在自动提交后，根据提前配置步骤中的映射关系，判断提交网页系统中的数据是否需要人工审核，若否，则自动走完审核流程；人工审核模块用于在需要人工审核时，接收提交网页系统中的数据；流程库用于对自动录入到提交网页系统中的结果进行记录，流程库还用于对自动提交结果进行记录。