CN112287011A - 一种基于中间文件的可配置多源异构数据共享系统及方法 - Google Patents
一种基于中间文件的可配置多源异构数据共享系统及方法 Download PDFInfo
- Publication number
- CN112287011A CN112287011A CN202011320716.1A CN202011320716A CN112287011A CN 112287011 A CN112287011 A CN 112287011A CN 202011320716 A CN202011320716 A CN 202011320716A CN 112287011 A CN112287011 A CN 112287011A
- Authority
- CN
- China
- Prior art keywords
- data
- document
- input
- output
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Document Processing Apparatus (AREA)
Abstract
本发明公开了一种基于中间文件的可配置多源异构数据共享系统及方法，其特征在于：包括系统管理模块、数据输入模块、数据输出模块；所述系统管理模块包括账户与角色管理模块、权限分配模块以及目标数据库配置模块；所述数据输入模块用于将来自第三方系统的文档数据输入目标数据库，包括输入文档信息管理模块、输入规则库模块、转换输入模块；所述数据输出模块用于根据需求将数据按固定格式输出到文档，包括输出文档模板管理模块、输出规则库模块、检索输出模块。本发明将数据库与信息化技术结合，提供了基于中间文件的适用性高、可配置的数据共享方法，解决了异构系统之间缺乏安全有效的信息交互以及多样化智能设备数据采集困难的问题。
Description
技术领域
本发明涉及制造业信息化中的多源异构数据共享领域，尤其涉及一种基于中间文件的可配置多源异构数据共享系统及方法。
背景技术
制造业信息化是提升制造企业管理能力和经济效益的重要手段，也是推动智能制造发展的关键环节，随着智能制造的不断发展以及越来越受到各行各业的重视，制造业信息化也得到了进一步发展和深化。在其发展过程中，不同信息系统之间以及信息系统与智能设备之间的信息集成成为当前信息化发展的主要趋势，要实现该目标，关键在于提供异构信息化系统和智能设备之间的数据共享途径。目前，现有的数据共享方法存在以下问题和缺陷：
针对数据共享需求和数据源多样性的通用性不足。制造企业实施信息化的过程中，由于实际应用需求不同，同一个企业往往涉及到多种功用不同的信息化系统的实施，同时，即使同一种功用的信息化系统，其可选的厂家也是多样的，这给企业的信息共享带来了极大的困难，尽管一些异构系统间的信息共享方法已经得到了应用，但这些方法的适用性仍然不足，特别是来自不同厂家的信息化系统间的信息共享壁垒难以打破，且面临的实施成本较高。此外，由于智能设备种类和厂家非常多样，导致企业在采集智能设备的数据时往往需要进行单独的应用开发和硬件部署，这给企业的信息化增加了大量的实施成本和复杂度。
越来越高的信息安全难以得到满足。目前，制造企业越来越重视自身的信息安全问题，除了对信息化系统进行信息访问和操作的权限控制外，还设置了许多防止网络攻击和直接访问数据的方式，部分特殊企业甚至完全禁止了来自外部的数据访问和操作，以保证企业信息的绝对安全，因此，现有的基于直接数据传输的信息共享方式很难同时满足企业的信息安全要求和数据共享需求。
综上所述，尽管现有的一些方法可以在一定程度上满足异构信息化系统之间的信息共享以及智能设备数据的采集，但是在通用性、实施成本控制、安全性以及复杂性方面仍然无法满足当前跨系统、多设备的数据共享需求。
发明内容
本发明的目的在于针对不同种类和来源的系统及设备信息共享方面存在的不足，提供一种基于中间文件的可配置多源异构数据共享系统及方法。
本发明解决其技术问题所采用的技术方案是：一种基于中间文件的可配置多源异构数据共享系统及方法。
基于中间文件的可配置多源异构数据共享系统，其特征在于，包括：
系统管理模块、数据输入模块、数据输出模块，其中，系统管理模块为数据输入模块和数据输出模块提供访问用户、访问权限以及操作权限管理功能，且允许用户根据开发和应用需求配置关联的目标数据库；
所述的数据输入模块、数据输出模块的功能相互独立；
所述数据输入模块用于将来自第三方系统的固定格式文档中的数据输入目标数据库，该模块通过针对第三方数据文档的特征建立适用的输入规则，然后结合信息化技术和数据库技术，获取第三方文档数据后，导入到目标信息化系统的数据库中；
所述数据输出模块用于根据第三方信息化系统的实际需要和格式要求，将所需数据按固定格式输出，该模块通过针对第三方信息化系统要求的数据导入文档格式建立适用的输出规则和输出文档模板，然后结合信息化技术和数据库技术，将目标信息化系统数据库中的数据按照标准格式导出到数据文档中；
所述系统管理模块包括：账户与角色管理模块、权限分配模块、目标数据库配置模块，其中，账户与角色管理模块为权限分配模块提供需要分配权限的角色信息，权限分配模块则为账户与角色管理模块中的每个角色配置职责内的访问和操作权限，目标数据库配置模块为账户与角色管理模块、权限分配模块同数据库实现数据交互提供连接依据；
所述账户与角色管理模块，用于管理和维护数据共享模块的合法用户信息和访问角色信息，并为用户分配与职责相匹配的角色；
所述权限分配模块，用于为各角色分配页面访问以及按钮操作权限，从而保证系统数据安全，并降低各角色的使用复杂度；
所述目标数据库配置模块，用于配置客户端所对应的数据库的服务器地址、数据库名称、连接账号和连接密码。
所述数据输入模块包括：输入文档信息管理模块、输入规则库模块、转换输入模块，其中，输入规则库模块中建立的输入规则与输入文档信息管理模块中的文档信息关联，一项文档信息对应一组或多组输入规则，转换输入模块则根据待输入数据文档的特征匹配输入规则库模块中的输入规则后，获取待输入数据文档的数据并进行转换后导入目标数据库的对应数据表中；
所述输入文档信息管理模块，用于对需要输入的第三方数据文档的基本信息进行维护，为数据输入模块采用何种数据读取方法、文档加载方法以及关联输入规则提供依据；
所述输入规则库模块，用于维护各类型数据文档输入数据库时所需遵循的校验规则、数据表及字段匹配关系、数据生成规则、规则匹配关键词、数据读取参考位置和顺序信息，为将数据文档读取至数据输入模块提供数据处理依据；
所述转换输入模块，用于将待输入文档加载至数据输入模块后，利用文档类型、文档名称关键词、数据内容关键词的匹配度进行输入规则匹配，然后对基于所匹配的输入规则输入的文档数据进行数据校验、数据生成和数据类型转换，完成此过程后将这些数据输入目标数据表中；
所述数据输出模块包括：输出文档模板管理模块、输出规则库模块、检索输出模块，其中，输出规则库模块中建立的输出规则与输出文档模板管理模块中的模板特征信息关联，一项输出模板对应于一组输出规则，检索输出模块在从目标数据库查询出需要输出的数据后，需要根据对应的输出文档模板和输出规则将数据按照标准格式导出到文档中；
所述输出文档模板管理模块，用于对第三方系统提供的数据输出模板信息进行维护，为数据输出模块采用的模板、数据输出格式、数据输出方式提供依据；
所述输出规则库模块，用于维护面向第三方系统需求输出数据文档时所需的数据表及字段匹配关系信息、数据输出位置参考信息，为输出第三方系统要求的标准格式数据提供依据；
所述检索输出模块，用于从数据库中通过一定的查询条件检索出需要输出的数据后，从输出规则库中选择适用的输出规则，并输出第三方要求的标准格式数据文档。
本发明公开了一种基于中间文件的可配置多源异构数据共享方法，其特征在于，包括如下步骤：
步骤1：在所述系统管理模块的目标数据库配置模块中，配置目标数据库，用于配置数据共享模块所对应的数据库的服务器地址、数据库名称、连接账号和连接密码；
步骤2：配置账户与权限，在所述系统管理模块中，所述账户与权限配置分别为数据输入模块和数据输出模块提供可识别的合法登录使用账户和各账户对应的差异化访问与操作限制，其中，所述账户配置在系统管理模块的账户与角色管理中完成操作，所述权限配置在系统管理模块的权限分配模块完成操作；
步骤3：输入数据，包括以下步骤：
步骤3.1：在所述数据输入模块的输入文档信息管理模块中，根据来自第三方智能系统提供的数据文档，配置输入文档信息；
所述输入文档信息包括：数据文档类型、数据读取方式、文档名称关键词和文档加载方法；
所述数据文档类型对应于第三方智能系统提供的数据文档类型；
所述数据读取方式与第三方智能系统提供的数据文档的数据格式关联，其中，所述的数据格式为数据文档中待输入数据的排列方式以及与数据库中数据表的字段对应情况；
所述文档名称关键词根据第三方智能系统的数据文档功用和命名规则确定；
所述文档加载方法则与第三方系统的数据文档更新方式和存储位置关联，其中，若所述文档更新方式为自动更新且存储位置固定，则文档加载方法可以选择自动加载和手动加载，否则只能选择手动加载；
步骤3.2：针对步骤3.1中配置的输入数据文档信息，结合各项数据输入的类型、长度、组成结构、排列方式、特征信息、与数据库的数据表字段的对应关系等信息，在所述数据输入模块的输入规则库模块中，建立输入规则库，所述输入规则库定义了各类型数据文档输入数据库时所需遵循的校验规则、数据表及字段匹配关系、数据生成规则、规则匹配关键词、数据读取参考位置、顺序信息，每一项输入文档信息对应于一组或多组数据输入规则，即输入数据文档信息与输入规则是1-N的关系；
步骤3.3：在所述数据输入模块的转换输入模块中，选择要输入的数据文档，将其加载至数据输入模块；
步骤3.4：在所述数据输入模块的转换输入模块中，利用步骤3.1中配置的文档类型信息和文档名称关键词以及步骤3.2中建立的输入规则中的数据内容关键词进行输入规则匹配，所述文档名称关键词可以是直接描述该文档功用和特性的一组名词，也可以是基于命名规则的正则表达式，所述数据内容关键词是一组描述待输入数据文档特性的名词，包括行和列的名称、表标题中的特征词，该方法首先通过所述步骤3.3中选择的数据文档的类型、名称同所述步骤3.1中配置的输入文档信息的文档类型和文档名称关键词进行匹配度计算，计算方式为它们之间均包含的文档类型和文档名称关键词数量除以总数量，匹配度最高的输入文档信息将会被选中，然后比较被选中的输入文档信息和输入规则的关联字段信息，找到与该输入文档信息对应的几组输入规则，最后分别利用关联输入规则在待输入的数据文档中通过文档数据访问程序接口查找数据内容关键词，使用查找到的数据内容关键词数量除以输入规则中设置的数据内容关键词数量，计算匹配度值，匹配度值最高的输入规则将会被确定为所要采用的输入规则。
步骤3.5：在所述数据输入模块的转换输入模块中，进行数据校验，根据步骤3.4中匹配的输入规则，对步骤3.3中加载的数据是否符合输入标准进行校验，所述校验内容包括数据完整性校验、有效性校验、合法性校验、格式校验，
所述完整性校验用于检查输入的每一行数据中是否存在数据为空且该项数据不可以为空的情况，通过判断该项数据实际是否为空与输入规则要求的相符性来确定是否校验通过；
所述有效性校验主要用于校验各项数据类型、长度是否符合或是否可以通过数据类型转换符合数据表中的要求，通过该项数据的可转换性、计算该项数据的长度来确定是否校验通过；
所述合法性校验主要用于检查某项数据是否为数据库中存在的合法信息，通过判断该项数据在数据库中是否存在或是否满足唯一性来确定是否校验通过；
所述格式校验用于确定部分需要通过正则表达式约束数据格式的数据是否满足要求，通过判断该项数据组成是否满足要求来确定是否校验通过。
步骤3.6：在所述数据输入模块的转换输入模块中，执行数据生成与转换操作，所述数据生成与转换包括基于数据库操作语句的数据生成和计算方法、数据类型转换，所述基于数据库操作语句的数据生成和计算方法利用步骤3.2中定义的数据输入规则中的字段生成数据库操作语句，生成和计算非直接输入部分字段的值，所述字段生成数据库操作语句包括关联字段组合生成语句、关联字段运算语句、关联字段判断语句，即字段生成数据库操作语句是利用其它关联字段的值生成的；
步骤3.7：根据步骤3.6的数据生成与转换结果，将数据更新至数据库；
步骤4：输出数据，包括以下步骤：
步骤4.1：在所述数据输出模块的中输出文档模板管理模块中，建立文档模板，用于用户在输出数据时将数据写入所需类型和格式的文档中；
步骤4.2：根据步骤4.1的信息，在所述数据输出模块的输出规则库模块中，建立输出规则，所述输出规则包括数据去向信息、关联数据表、字段匹配关系、输出位置、数据识别标记，通过设置数据输出规则，实现数据表中的数据按照指定模式输出；
步骤4.3：在所述数据输出模块的检索输出模块中，执行检索数据操作，根据第三方系统的数据需求内容，在数据输出模块中设置数据库中的关联数据表、搜索条件，从关联数据表中获取满足所设置的搜索条件的数据，实现数据的分类和按需输出；
步骤4.4：从步骤4.1中建立的文档模板中选择合适的输出模板，从而将步骤4.3中的数据按要求格式输出；
步骤4.5：在所述数据输出模块的检索输出模块中，匹配输出规则，用于将步骤4.2所建立的关联输出规则库匹配至步骤4.3中检索的待输出数据，保证输出标准化的数据文档，所述匹配输出规则的过程为在通过检索获取需要输出的数据后，结合第三方系统提供的输出文档模板文件和信息，从输出规则库中选择合适的输出规则作为数据按照标准格式输出至数据文档的依据；
步骤4.6：根据步骤4.3和步骤4.4中的结果，输出标准格式数据文档。
按上述方案，所述步骤1的目标数据库包括输入数据库和输出数据库，分别对应于存储第三方文档数据的数据仓库和为第三方提供标准数据文档的数据源。
按上述方案，所述步骤3.1中的输入文档信息包括文档类型、数据读取方式、文档名称关键词和文档加载方法，所述文档类型包括.xls、.xlsx、.csv、.xml、.doc、.docx、.txt以及.json，所述数据文档读取方式包括按行读取、按列读取和离散读取，所述文档名称关键词可以是直接描述该文档功用和特性的一组名词，也可以是基于命名规则的正则表达式，所述文档加载方法包括手动加载和实时扫描。
按上述方案，所述步骤3.2的输入规则库包括关联输入文档信息、数据源信息、数据内容关键词、关联数据表、数据类型信息、是否允许缺省、数据识别标记以及字段匹配关系。
按上述方案，所述步骤3.4的规则匹配方法为基于文档类型、文档名称以及数据内容的关键词匹配方法，该方法首先通过所述步骤3.3中选择的数据文档的类型、名称同所述步骤3.1中配置的输入文档信息的文档类型和文档名称关键词进行匹配度计算，获取对应的输入文档信息，所述文档类型和文档名称关键词对应于权利要求3中所述的文档类型和文档名称关键词，然后利用该输入文档信息获取关联的输入规则，最后分别利用关联输入规则在待输入的数据文档中获取数据内容关键词，根据获取关键词的匹配度确定输入目标数据文档中的数据所需采用的输入规则，所述数据内容关键词是一组描述待输入数据文档特性的名词，包括行和列的名称、表标题中的特征词。
按上述方案，所述步骤3.5的数据校验内容包括数据完整性校验、有效性校验、合法性校验、格式校验，所述完整性校验用于检查输入的每一行数据中是否存在数据为空且该项数据不可以为空的情况，所述有效性校验主要用于校验各项数据类型、长度是否符合或是否可以通过数据类型转换符合数据表中的要求，所述合法性校验主要用于检查某项数据是否为数据库中存在的合法信息，所述格式校验用于确定部分需要通过正则表达式约束数据格式的数据是否满足要求。
按上述方案，所述步骤3.6的数据生成与转换包括基于数据库操作语句的数据生成和计算方法、数据类型转换，所述基于数据库操作语句的数据生成和计算方法利用步骤3.2中定义的数据输入规则中的字段生成数据库操作语句，生成和计算非直接输入部分字段的值，所述字段生成数据库操作语句包括关联字段组合生成语句、关联字段运算语句、关联字段判断语句，即字段生成数据库操作语句是利用其它关联字段的值生成的。
按上述方案，所述步骤4.1的文档模板包括模板文件和模板特征信息，所述文档特征信息包括文档类型、输出格式、输出方式，所述文档类型包括.xls、.xlsx、.csv、.xml、.doc、.docx、.txt以及.json，所述输出格式包括按行输出、按列输出以及离散输出，所述输出方式包括定时自动输出和手动输出。
按上述方案，所述步骤4.2中的输出规则库包括数据去向信息、关联数据表、字段匹配关系、输出位置、数据识别标记，所述输出位置为某项数据所在的页、行、列和顺序信息，所述数据识别标记为某项数据在填充文档时的识别信息。
按上述方案，在所述步骤4.3中，若数据输出方式为手动输出，则设置搜索条件的方式为按需动态设置搜索条件，若数据输出方式为定时自动输出，则设置搜索条件的方式为预置固定搜索条件。
本发明产生的有益效果是：
本发明以中间文件为数据传递载体，为不同信息化系统之间的数据共享提供了一种通用可配置的数据双向传递途径，该模块及方法通过不同的文档模板和类型管理、多样的数据输入输出规则定义，实现了信息化系统间信息共享的灵活应用和高效部署，降低了企业多系统集成信息化的实施成本，同时，该模块及方法具有较强的应用安全性，能够被应用于许多特殊行业的安全信息共享。
本发明以中间文件为数据传递载体，为信息化系统与智能设备之间的数据共享问题提供了具有广泛适用性的解决方案，使得来自不同厂商的智能设备与各信息化系统能够更加简单、低成本、灵活地实现数据交互，为企业实现更加深入的信息化提供了有效手段。
附图说明
图1：是本发明实施例的详细功能结构示意图。
图2：是本发明方法的应用流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清晰，以下结合具体的实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明第一实施例为一种基于中间文件的可配置多源异构数据共享系统，如图1所示，一种基于中间文件的可配置多源异构数据共享系统。
基于中间文件的可配置多源异构数据共享系统，其特征在于，包括：
系统管理模块、数据输入模块、数据输出模块，其中，系统管理模块为数据输入模块和数据输出模块提供访问用户、访问权限以及操作权限管理功能，且允许用户根据开发和应用需求配置关联的目标数据库；
所述的数据输入模块、数据输出模块的功能相互独立；
所述数据输入模块用于将来自第三方系统的固定格式文档中的数据输入目标数据库，该模块通过针对第三方数据文档的特征建立适用的输入规则，然后结合信息化技术和数据库技术，获取第三方文档数据后，导入到目标信息化系统的数据库中；
所述数据输出模块用于根据第三方信息化系统的实际需要和格式要求，将所需数据按固定格式输出，该模块通过针对第三方信息化系统要求的数据导入文档格式建立适用的输出规则和输出文档模板，然后结合信息化技术和数据库技术，将目标信息化系统数据库中的数据按照标准格式导出到数据文档中；
所述系统管理模块包括：账户与角色管理模块、权限分配模块、目标数据库配置模块，其中，账户与角色管理模块为权限分配模块提供需要分配权限的角色信息，权限分配模块则为账户与角色管理模块中的每个角色配置职责内的访问和操作权限，目标数据库配置模块为账户与角色管理模块、权限分配模块同数据库实现数据交互提供连接依据；
所述账户与角色管理模块，用于管理和维护数据共享模块的合法用户信息和访问角色信息，并为用户分配与职责相匹配的角色；
所述权限分配模块，用于为各角色分配页面访问以及按钮操作权限，从而保证系统数据安全，并降低各角色的使用复杂度；
所述目标数据库配置模块，用于配置客户端所对应的数据库的服务器地址、数据库名称、连接账号和连接密码。
所述数据输入模块包括：输入文档信息管理模块、输入规则库模块、转换输入模块，其中，输入规则库模块中建立的输入规则与输入文档信息管理模块中的文档信息关联，一项文档信息对应一组或多组输入规则，转换输入模块则根据待输入数据文档的特征匹配输入规则库模块中的输入规则后，获取待输入数据文档的数据并进行转换后导入目标数据库的对应数据表中；
所述输入文档信息管理模块，用于对需要输入的第三方数据文档的基本信息进行维护，为数据输入模块采用何种数据读取方法、文档加载方法以及关联输入规则提供依据；
所述输入规则库模块，用于维护各类型数据文档输入数据库时所需遵循的校验规则、数据表及字段匹配关系、数据生成规则、规则匹配关键词、数据读取参考位置和顺序信息，为将数据文档读取至数据输入模块提供数据处理依据；
所述转换输入模块，用于将待输入文档加载至数据输入模块后，利用文档类型、文档名称关键词、数据内容关键词的匹配度进行输入规则匹配，然后对基于所匹配的输入规则输入的文档数据进行数据校验、数据生成和数据类型转换，完成此过程后将这些数据输入目标数据表中；
所述数据输出模块包括：输出文档模板管理模块、输出规则库模块、检索输出模块，其中，输出规则库模块中建立的输出规则与输出文档模板管理模块中的模板特征信息关联，一项输出模板对应于一组输出规则，检索输出模块在从目标数据库查询出需要输出的数据后，需要根据对应的输出文档模板和输出规则将数据按照标准格式导出到文档中；
所述输出文档模板管理模块，用于对第三方系统提供的数据输出模板信息进行维护，为数据输出模块采用的模板、数据输出格式、数据输出方式提供依据；
所述输出规则库模块，用于维护面向第三方系统需求输出数据文档时所需的数据表及字段匹配关系信息、数据输出位置参考信息，为输出第三方系统要求的标准格式数据提供依据；
所述检索输出模块，用于从数据库中通过一定的查询条件检索出需要输出的数据后，从输出规则库中选择适用的输出规则，并输出第三方要求的标准格式数据文档。
本发明第二实施例为一种基于中间文件的可配置多源异构数据共享方法，如图2所示，其特征在于，包括如下步骤：
步骤1：在所述系统管理模块的目标数据库配置模块中，配置目标数据库，用于配置数据共享模块所对应的数据库的服务器地址、数据库名称、连接账号和连接密码；
步骤2：配置账户与权限，在所述系统管理模块中，所述账户与权限配置分别为数据输入模块和数据输出模块提供可识别的合法登录使用账户和各账户对应的差异化访问与操作限制，其中，所述账户配置在系统管理模块的账户与角色管理中完成操作，所述权限配置在系统管理模块的权限分配模块完成操作；
步骤3：输入数据，包括以下步骤：
步骤3.1：在所述数据输入模块的输入文档信息管理模块中，根据来自第三方智能系统提供的数据文档，配置输入文档信息；
所述输入文档信息包括：数据文档类型、数据读取方式、文档名称关键词和文档加载方法；
所述数据文档类型对应于第三方智能系统提供的数据文档类型；
所述数据读取方式与第三方智能系统提供的数据文档的数据格式关联，其中，所述的数据格式为数据文档中待输入数据的排列方式以及与数据库中数据表的字段对应情况；
所述文档名称关键词根据第三方智能系统的数据文档功用和命名规则确定；
所述文档加载方法则与第三方系统的数据文档更新方式和存储位置关联，其中，若所述文档更新方式为自动更新且存储位置固定，则文档加载方法可以选择自动加载和手动加载，否则只能选择手动加载；
步骤3.2：针对步骤3.1中配置的输入数据文档信息，结合各项数据输入的类型、长度、组成结构、排列方式、特征信息、与数据库的数据表字段的对应关系等信息，在所述数据输入模块的输入规则库模块中，建立输入规则库，所述输入规则库定义了各类型数据文档输入数据库时所需遵循的校验规则、数据表及字段匹配关系、数据生成规则、规则匹配关键词、数据读取参考位置、顺序信息，每一项输入文档信息对应于一组或多组数据输入规则，即输入数据文档信息与输入规则是1-N的关系；
步骤3.3：在所述数据输入模块的转换输入模块中，选择要输入的数据文档，将其加载至数据输入模块；
步骤3.4：在所述数据输入模块的转换输入模块中，利用步骤3.1中配置的文档类型信息和文档名称关键词以及步骤3.2中建立的输入规则中的数据内容关键词进行输入规则匹配，所述文档名称关键词可以是直接描述该文档功用和特性的一组名词，也可以是基于命名规则的正则表达式，所述数据内容关键词是一组描述待输入数据文档特性的名词，包括行和列的名称、表标题中的特征词，该方法首先通过所述步骤3.3中选择的数据文档的类型、名称同所述步骤3.1中配置的输入文档信息的文档类型和文档名称关键词进行匹配度计算，计算方式为它们之间均包含的文档类型和文档名称关键词数量除以总数量，匹配度最高的输入文档信息将会被选中，然后比较被选中的输入文档信息和输入规则的关联字段信息，找到与该输入文档信息对应的几组输入规则，最后分别利用关联输入规则在待输入的数据文档中通过文档数据访问程序接口查找数据内容关键词，使用查找到的数据内容关键词数量除以输入规则中设置的数据内容关键词数量，计算匹配度值，匹配度值最高的输入规则将会被确定为所要采用的输入规则。
步骤3.5：在所述数据输入模块的转换输入模块中，进行数据校验，根据步骤3.4中匹配的输入规则，对步骤3.3中加载的数据是否符合输入标准进行校验，所述校验内容包括数据完整性校验、有效性校验、合法性校验、格式校验，
所述完整性校验用于检查输入的每一行数据中是否存在数据为空且该项数据不可以为空的情况，通过判断该项数据实际是否为空与输入规则要求的相符性来确定是否校验通过；
所述有效性校验主要用于校验各项数据类型、长度是否符合或是否可以通过数据类型转换符合数据表中的要求，通过该项数据的可转换性、计算该项数据的长度来确定是否校验通过；
所述合法性校验主要用于检查某项数据是否为数据库中存在的合法信息，通过判断该项数据在数据库中是否存在或是否满足唯一性来确定是否校验通过；
所述格式校验用于确定部分需要通过正则表达式约束数据格式的数据是否满足要求，通过判断该项数据组成是否满足要求来确定是否校验通过。
步骤3.6：在所述数据输入模块的转换输入模块中，执行数据生成与转换操作，所述数据生成与转换包括基于数据库操作语句的数据生成和计算方法、数据类型转换，所述基于数据库操作语句的数据生成和计算方法利用步骤3.2中定义的数据输入规则中的字段生成数据库操作语句，生成和计算非直接输入部分字段的值，所述字段生成数据库操作语句包括关联字段组合生成语句、关联字段运算语句、关联字段判断语句，即字段生成数据库操作语句是利用其它关联字段的值生成的；
步骤3.7：根据步骤3.6的数据生成与转换结果，将数据更新至数据库；
步骤4：输出数据，包括以下步骤：
步骤4.1：在所述数据输出模块的中输出文档模板管理模块中，建立文档模板，用于用户在输出数据时将数据写入所需类型和格式的文档中；
步骤4.2：根据步骤4.1的信息，在所述数据输出模块的输出规则库模块中，建立输出规则，所述输出规则包括数据去向信息、关联数据表、字段匹配关系、输出位置、数据识别标记，通过设置数据输出规则，实现数据表中的数据按照指定模式输出；
步骤4.3：在所述数据输出模块的检索输出模块中，执行检索数据操作，根据第三方系统的数据需求内容，在数据输出模块中设置数据库中的关联数据表、搜索条件，从关联数据表中获取满足所设置的搜索条件的数据，实现数据的分类和按需输出；
步骤4.4：从步骤4.1中建立的文档模板中选择合适的输出模板，从而将步骤4.3中的数据按要求格式输出；
步骤4.5：在所述数据输出模块的检索输出模块中，匹配输出规则，用于将步骤4.2所建立的关联输出规则库匹配至步骤4.3中检索的待输出数据，保证输出标准化的数据文档，所述匹配输出规则的过程为在通过检索获取需要输出的数据后，结合第三方系统提供的输出文档模板文件和信息，从输出规则库中选择合适的输出规则作为数据按照标准格式输出至数据文档的依据；
步骤4.6：根据步骤4.3和步骤4.4中的结果，输出标准格式数据文档。
按上述方案，所述步骤1的目标数据库包括输入数据库和输出数据库，分别对应于存储第三方文档数据的数据仓库和为第三方提供标准数据文档的数据源。
按上述方案，所述步骤3.1中的输入文档信息包括文档类型、数据读取方式、文档名称关键词和文档加载方法，所述文档类型包括.xls、.xlsx、.csv、.xml、.doc、.docx、.txt以及.json，所述数据文档读取方式包括按行读取、按列读取和离散读取，所述文档名称关键词可以是直接描述该文档功用和特性的一组名词，也可以是基于命名规则的正则表达式，所述文档加载方法包括手动加载和实时扫描。
按上述方案，所述步骤3.2的输入规则库包括关联输入文档信息、数据源信息、数据内容关键词、关联数据表、数据类型信息、是否允许缺省、数据识别标记以及字段匹配关系。
按上述方案，所述步骤3.4的规则匹配方法为基于文档类型、文档名称以及数据内容的关键词匹配方法，该方法首先通过所述步骤3.3中选择的数据文档的类型、名称同所述步骤3.1中配置的输入文档信息的文档类型和文档名称关键词进行匹配度计算，获取对应的输入文档信息，所述文档类型和文档名称关键词对应于权利要求3中所述的文档类型和文档名称关键词，然后利用该输入文档信息获取关联的输入规则，最后分别利用关联输入规则在待输入的数据文档中获取数据内容关键词，根据获取关键词的匹配度确定输入目标数据文档中的数据所需采用的输入规则，所述数据内容关键词是一组描述待输入数据文档特性的名词，包括行和列的名称、表标题中的特征词。
按上述方案，所述步骤3.5的数据校验内容包括数据完整性校验、有效性校验、合法性校验、格式校验，所述完整性校验用于检查输入的每一行数据中是否存在数据为空且该项数据不可以为空的情况，所述有效性校验主要用于校验各项数据类型、长度是否符合或是否可以通过数据类型转换符合数据表中的要求，所述合法性校验主要用于检查某项数据是否为数据库中存在的合法信息，所述格式校验用于确定部分需要通过正则表达式约束数据格式的数据是否满足要求。
按上述方案，所述步骤3.6的数据生成与转换包括基于数据库操作语句的数据生成和计算方法、数据类型转换，所述基于数据库操作语句的数据生成和计算方法利用步骤3.2中定义的数据输入规则中的字段生成数据库操作语句，生成和计算非直接输入部分字段的值，所述字段生成数据库操作语句包括关联字段组合生成语句、关联字段运算语句、关联字段判断语句，即字段生成数据库操作语句是利用其它关联字段的值生成的。
按上述方案，所述步骤4.1的文档模板包括模板文件和模板特征信息，所述文档特征信息包括文档类型、输出格式、输出方式，所述文档类型包括.xls、.xlsx、.csv、.xml、.doc、.docx、.txt以及.json，所述输出格式包括按行输出、按列输出以及离散输出，所述输出方式包括定时自动输出和手动输出。
按上述方案，所述步骤4.2中的输出规则库包括数据去向信息、关联数据表、字段匹配关系、输出位置、数据识别标记，所述输出位置为某项数据所在的页、行、列和顺序信息，所述数据识别标记为某项数据在填充文档时的识别信息。
按上述方案，在所述步骤4.3中，若数据输出方式为手动输出，则设置搜索条件的方式为按需动态设置搜索条件，若数据输出方式为定时自动输出，则设置搜索条件的方式为预置固定搜索条件。
按照上述数据共享模块及方法，以用户实际需求为例对具体的实施结构和步骤进行描述，需要指明的是，本具体实施例中采用的数据库是MSSQL，采用的开发框架和开发方式分别为.net和Winform。
本发明第三实施例中，待输入的数据为来自第三方集中采购系统的订单数据文档和第三方智能设备的设备信息文档，文档类型分别为.xls和.txt，数据读取方式分别为按行读取和离散读取，文档加载方式为手动加载，第三方信息系统要求的数据(即待输出数据)分别为原材料质检数据和制造任务信息，要求的文档类型分别为.csv和.doc，输出格式分别为按行输出和离散输出，输出方式为手动输出，数据输入输出过程中涉及的数据表及主要字段分别如表1、表2、表3和表4所示。从这四张表中可以看出，文档中数据的输入和输出还存在以下情况：(1)文档输入的数据不完整，部分数据需要在进入数据库前进行补齐和生成，如表1中的字段[数据来源]和[材料跟踪号]等；(2)部分字段数据输入需要验证是否为空、数据类型是否符合要求以及数据构成是否符合规定模式等，如表1的字段[材料编码]和[采购数量]、表2的[设备编号]和[开始使用日期]等；(3)部分字段的数据不需要输出，如表3字段[报检人工号]、[报检时间]等；(4)部分字段数据需要添加间隔符号后合并输出，如表3的字段[质检地点]和[质检时间]、表4的字段[数量]和[单位]等。以上情况导致已有的方法无法满足需求，需要进行代码修改或重新开发，增加了应用程序的维护成本，并降低了其应用灵活性和范围。
表1订单信息明细表PC_OrderDetail
表2设备信息表BD_EquipInfo
表3原材料质检表QC_MaterialResult
表4制造任务信息表PM_TaskInfo
根据图2中可配置多源异构数据共享的应用流程示意图描述，需要以下步骤。
第一步，系统配置。
(1)配置目标数据库。所述配置目标数据库是将第三方文档数据输入数据库以及为第三方系统输出标准格式数据时的数据库访问依据，为了保证其独立性，这些信息存储于数据共享模块的配置文件中，并采用公用方法writeConn()和getConn()来分别写入和获取目标数据库配置信息，所述配置信息包括服务器地址、数据库名称、连接账号和连接密码。
(2)配置账户与权限信息。所述账户与权限信息包括四个部分：第一部分为账户管理部分，账户信息是登录使用数据共享模块的验证信息，如表5所示为本发明从通用性和简洁性出发设计的账户信息表；第二部分为角色管理部分，该部分主要根据人员职责为相应的账户匹配系统角色，并为各角色分配数据共享模块的菜单访问和按钮操作权限，如表6、表7和表8所示分别为角色信息表、角色菜单权限表和角色按钮操作权限表；第三部分为菜单权限管理部分，该部分主要对数据共享模块的菜单权限信息进行维护，为角色管理部分分配菜单访问权限提供可分配的菜单列表信息，如表9所示为菜单权限信息表；第四部分为按钮操作权限管理部分，该部分是数据共享模块权限管理的进一步细化，主要用于管理数据共享模块中各个页面的操作按钮信息，为角色管理部分分配按钮操作权限提供可分配的按钮操作信息，如表10所示为按钮权限信息表。
表5账户信息表BD_UserInfo
表6角色信息表BD_RoleInfo
表7角色菜单权限表BD_RoleMenuPermInfo
表8角色按钮操作权限表BD_RoleBtnPermInfo
表9菜单权限信息表BD_MenuPermInfo
表10按钮权限信息表BD_BtnPermInfo
第二步，输入数据。
(1)配置输入文档信息。所述输入文档信息用于针对不同类型、不同格式的文档定义相应的数据输入模式，从而保证文档数据能够被有效读取以及面向不同类型文档能够灵活配置，具体配置内容如图1所示。根据图1所示的信息，设计数据共享模块中的输入文档信息表如表11所示，其配置说明如下：
①文档类型。本实施例中订单明细信息文档和设备信息文档的类型分别为.xls和.txt，即它们对应的表11中的字段[DocType]的值分别为“.xls”和“.txt”，它是数据共享模块读取数据文档中的数据时选择调用的方法和应用程序开发包的依据，例如读取本实施例中的订单明细信息所对应的文档(.xls)需要调用程序集NPOI.dll。
②文档读取方式。若表11中的字段[ReadMethod]的值为“0”，则数据文档中的每一列对应于数据表的固定字段，若字段[ReadMethod]的值为“1”，则数据文档中的每一行数据对应于数据表的固定字段，若字段[ReadMethod]的值为“2”，则数据文档中每一个数据标识对应数据表中某一行数据的一项。在本实施例中，订单明细信息是在.xls文档中的按行排列，因此相应的表11中的字段[ReadMethod]的值为“0”。
③文档名称关键词及关键词类型。若字段[关键词类型]的值为“0”，则字段[文档名称关键词]为名词组，例如“设备,008”、“任务号,GY”等，关键词之间以“,”间隔，否则为正则表达式，例如“1[35689]\d{9}”、“/^[a-zA-Z0-9_-]{4,16}$/”等。在本实施例中，采用“订单”、“明细”、“002”为关键词，则字段[关键词类型]的值为“0”，字段[文档名称关键词]的值“订单,明细,002”。
④文档加载方法，包括手动加载和实时扫描。若文档加载方法为手动加载，即字段[LoadMethod]的值为“0”，则在数据输入模块中需要根据需求选择待输入数据文档，然后再执行数据输入操作；若文档加载方法为实时扫描，则数据共享模块会按固定时间间隔扫描目标文件夹的数据文档更新状态，若存在数据文档更新，则数据共享模块会自动执行数据输入操作，实时扫描的配置信息(包括目标文件夹地址、规则编号等)保存于数据共享模块的配置文件中。
表11中的字段[TypeCode]表明，类型相同的文档可以对应多个不同的输入文档信息，这也意味着类型相同的文档的数据输入模式可能会由于数据内容结构存在差异而有所不同。
表11输入文档信息表In_DocTypeInfo
(2)建立输入规则库。所述输入规则库的内容如图1所示，输入规则库所涉及的数据表以及各字段的含义和要求如表12～13所示。
表12输入规则信息总表In_RuleTb
表13输入规则信息明细表In_RuleTbDetail
一套输入规则的建立主要依据待输入的数据文档的数据结构，以本实施例的订单信息明细和设备信息的输入为例，分别建立的输入规则及应用方法如下：
①订单信息明细输入规则。在本实施例中，订单明细数据的获取来源为A公司的采购部的原材料采购，因此，可以设置表12中的字段[数据内容关键词]的值为“A,采购,材料编码”，数据库中的订单明细表名为“PC_OrderDetail”，所以表12中的字段[关联数据表]的值为“PC_OrderDetail”，订单文档数据的读取方式为按行读取，表头行数为2，且订单数据均在文档的第一页，因此，字段[数据所在页]和[起始行]的值分别为“1”和“2”，字段[起始列]和[数据识别标记]的值均为NULL。接着，设置如表13所示的输入规则明细，下面以表1中的字段[订单号]和[材料跟踪号]为例阐述其配置方法：表1中的字段[订单号]不可以为空，所以表13中对应于订单号的那行数据的字段[是否允许缺省]和[目标数据表字段]的值分别为“0”和“OrderCode”，订单明细数据读取方式为按行读取，且订单号在数据文档的第一列，所以表13中相应字段[对应文档数据列索引]的值为“0”(程序获取的索引从0开始)，订单号的数据类型是有限长度字符串，不能为NULL和“”，与数据库中已有的订单总表信息关联，且需要直接输入，所以表13中相应字段[目标数据表字段数据类型]、[校验类型]、[校验方式]、[校验规则]的值分别为“varchar(50)”、“[1,1,1,0]”、“[必填项,数据类型,存在性,0]”、“[y,string,y,0]”，其它字段值为NULL；表1中字段[材料跟踪号]不可以为空，所以表13中对应于材料跟踪号的那行数据的字段[是否允许缺省]和[目标数据表字段]的值分别为“0”和“MTrackingCode”，订单明细数据读取方式为按行读取，且材料跟踪号在数据文档的第二列，所以相应字段[对应文档数据列索引]的值为“1”，材料跟踪号的数据类型是有限长度字符串，不能为NULL和“”，且需要合并生成，所以相应字段[目标数据表字段数据类型]、[校验类型]、[校验方式]、[校验规则]、[是否需要生成]和[生成规则]的值分别为“varchar(200)”、“[1,1,0,0]”、“[必填项,数据类型,0,0]”、“[y,string,0,0]”、“1”和“OrderCode+TaskCode+CONVERT(varchar(5),ID)”，其它字段值为NULL。
②设备信息输入规则。本实施例中，设备信息的获取来源为A公司机加车间的编号为M105的数控磨床，因此，可以设置表12中的字段[数据内容关键词]的值为“A,机加,M1”，数据库中的设备信息表名为“BD_EquipInfo”，所以表12中的字段[关联数据表]的值为“BD_EquipInfo”，设备信息数据的读取方式为离散读取，数据标识符为“【】”，因此，字段[数据所在页]和[数据识别标记]的值分别为“1”和“【】”，字段[起始行]和[起始列]的值均为NULL。接着，设置如表13所示的输入规则明细，下面以表2中的字段[设备编号]和[出厂日期]为例阐述其配置方法：表2中的字段[设备编号]不可以为空，数据类型为有限长度字符串，不能为NULL和“”，数据文档中的设备编号被直接输入，要求在设备信息表中是唯一的，且设备编号对应于数据文档中的第一个数据标识“【】”，所以，表13中字段[是否允许缺省]、[目标数据表字段]、[对应数据顺序索引]、[目标数据表字段数据类型]、[校验类型]、[校验方式]和[校验规则]的值分别为“0”、“EquipCode”、“1”、“varchar(50)”、“[1,1,1,0]”、“[必填项,数据类型,唯一性,0]”、“[y,string,y,0]”，其它字段值为NULL；表2中字段[出厂日期]不可以为空，数据类型为固定日期格式字符串，不能为NULL和“”，数据文档中的出厂日期被直接输入，要求用正则表达式验证其格式，且对应于数据文档中的第五个数据标识“【】”，所以，表13中字段[是否允许缺省]、[目标数据表字段]、[对应数据顺序索引]、[目标数据表字段数据类型]、[校验类型]、[校验方式]和[校验规则]的值分别为“0”、“OutDate”、“5”、“varchar(50)”、“[1,1,0,1]”、“[必填项,数据类型,0,正则表达式]”、“[y,string,0,/^\d{4}\-\d{2}\-\d{2}$/(要求日期格式为yyyy-MM-dd)]”，其它字段值为NULL。
(3)数据文档选择。在本实施例中，文档加载方式为手动加载，需要从本地或网络地址中选择需要输入的订单明细信息文档或设备信息文档，从而将需要输入的数据文档加载至数据输入模块。
(4)输入规则匹配。在本实施例中，选择数据文档后，利用所选文档的类型信息以及表11和表12中设置订单明细信息或设备信息的文档名称关键词、数据内容关键词进行匹配度计算，与所选文档名称、类型、内容匹配度最高的输入规则将会被选中作为所选数据文档输入数据需要遵循的规则。
(5)数据校验。利用所匹配的输入规则中对各字段的要求以及定义的数据校验规则，验证各项数据是否满足订单明细信息或设备信息的输入。其中，部分需要生成和计算的数据在生成和计算完成后再进行校验，数据类型校验则主要通过是否可转换来判断其是否校验通过。
(6)数据生成与转换。根据表13中定义的订单明细信息或设备信息中相关字段的生成或计算规则，间接获取数据，并将各项数据按照表13中各字段的数据类型要求进行数据类型转换。
(7)输入数据。数据校验通过、生成和转换完成后，进入目标数据库。
第三步，输出数据。
(1)建立文档模板。所述文档模板信息包括模板文件和模板特征信息，模板文件根据第三方信息化系统对数据文档的类型和数据结构的要求，编制文档模板后直接上传至系统即可，模板特征信息则定义了模板基本信息，具体配置情况如图1所示。根据图1所示的信息，设计数据共享模块中的模板特征信息表如表14所示，其配置说明如下：
①文档类型。可选的文档类型如图1所示，在本实施例中，第三方系统对表3和表4所示的原材料质检表和制造任务信息表的格式要求分别为.csv和.doc，因此，表14中对应于这两张表的字段[DocType]的值分别为“.csv”和“.doc”，它是数据共享模块在输出数据时选择调用的方法或程序集的依据。
②输出格式。所述数据输出格式包括按行输出、按列输出以及离散输出，若输出格式为按行输出或按列输出，即表14中字段[OutFormat]的值为“0”或“1”，则输出的每一行或每一列数据对应于数据库中待输出数据表中的一行数据，例如本实施例中输出的.csv文件中的一行数据就对应于表3中的一项原材料质检信息；若输出格式为离散输出，即表14中字段[OutFormat]的值为“2”，则需要根据模板中预留的标记或详细位置参照输出规则将数据输出，且该种输出格式每次只能输出数据表中的一行数据以及对应一种标记，例如在本实施例中，每次只能输出一项制造任务的信息。
③输出方式。所述输出方式包括手动输出和定时自动输出，若输出方式为手动输出，即表14中的字段[OutMethod]的值为“0”，则在输出数据时，需要填写搜索条件筛选出所需数据后，选择输出规则并输出数据；若输出方式为定时自动输出，即表14中的字段[OutMethod]的值为“1”，则需要用户提前完整地定义相应的输出规则，并在数据共享模块中对需要自动输出的数据进行相关配置，例如间隔时长、模板文件名、输出规则ID等，此后，当数据共享模块运行后，数据定时输出功能也将自动启动。
表14模板特征信息表Out_DocTempInfo
(2)建立输出规则库。所述输出规则库的内容如图1所示，在本实施例中，输出规则库所涉及的数据表以及各字段的含义和要求如表15～17所示。一套输出规则的建立主要依据第三方系统对数据的要求，以本实施例的原材料质检信息和制造任务信息的输出为例，分别建立的输出规则及应用方法如下：
①原材料质检信息输出规则。在本实施例中，原材料质检信息的输出格式为按行输出，输出方式为手动输出，因此，定义输出规则需要完善的规则表包括表15和表16，根据两张表中各字段的说明，相应的输出规则应当设置如下：本实施例中的原材料质检信息是应本企业项目管理系统要求输出的，因此表15中的字段[数据去向]值应当是“公司项目管理系统”；字段[关联数据表]的值为“QC_MaterialResult”；根据输出模板，数据均输出在第一页中，且从第3行开始可以插入数据，因此，表15中字段[数据输出页]、[输出起始行]、[输出起始列]的值分别为“1”、“3”、“NULL”；由于原材料质检信息的输出格式为按行输出，所以字段[输出识别标记]的值为“NULL”；假设原材料质检信息表中字段[材料编码]需要被输出到输出模板的第1列，则表16中对应的字段[行列索引]和[数据表字段]的值分别为“1”和“MName”，字段[质检编号]需要被输出到输出模板的第2列，则表16中对应的字段[行列索引]和[数据表字段]的值分别为“2”和“QCCode”，字段[质检地点]和[质检时间]需要合并后输出到输出模板的第3列，则表16中对应的字段[行列索引]和[数据表字段]的值分别为“3”和“QCLocation,QCTime”，依此类推。
②制造任务信息输出规则。在本实施例中，制造任务信息的输出格式为离散输出，输出方式为手动输出，因此，定义输出规则需要完善的规则表包括表15和表17，根据两张表中各字段的说明，相应的输出规则应当设置如下：本实施例中的制造任务信息是应集团合同执行管理系统要求输出的，因此表15中的字段[数据去向]值也应当是“集团合同执行管理系统”；字段[关联数据表]的值为“PM_TaskInfo”；由于制造任务信息输出格式为离散输出，相应的输出模板中的输出识别标记为“【】”，因此，表15中字段[数据输出页]、[输出起始行]、[输出起始列]、[输出识别标记]的值分别为“NULL”、“NULL”、“NULL”、“【】”；假设制造任务信息表中字段[任务号]要被输出到输出模板中第1个标记为“【】”的位置，则表17中对应的字段[数据表字段]和[标记索引]的值分别为“TaskCode”和“1”，字段[产品名称]和[图号]需要合并后输出到输出模板第2个标记为“【】”的位置，则表17中对应的字段[数据表字段]和[标记索引]的值分别为“ProductCode,MapCode”和“2”，依此类推。
表15输出规则信息表Out_RuleTb
表16行列输出规则明细表Out_ColRowRuleDetailTb
表17离散输出规则明细表Out_DisRuleDetailTb
(3)检索数据。根据需要输出数据的数据表、数据内容等信息，在数据检索页面输入搜索条件、目标数据表以及每项搜索条件对应的搜索方式(例如包含搜索条件的值、等于条件的值、大于条件的值、小于条件的值等)，然后通过检索获取要输出的数据。
(4)选择输出模板。在本实施例中，所选择的输出模板应当是对应于第三方系统需求的格式且符合原材料质检信息或制造任务信息的输出需求。
(5)匹配输出规则。数据检索完成后，为了输出数据，需要选择一套输出规则，可选的输出规则来源于数据库中表15～17所示的数据表。
(6)输出标准格式数据文档。数据模板文件、模板特征信息输出规则配置完成，并检索出目标数据以及选择输出规则后，进行输出数据操作，即可输出第三方系统所要求的标准格式数据文档，其中选择输出规则后即可根据表15中字段[文档模板ID]的值获取数据输出模板。
本发明提供的是一种基于中间文件的可配置多源异构数据共享系统及方法，以中间文件为媒介，实现了异构系统、智能设备之间的数据传递，且具有较好的安全性、灵活性以及适用性。用户根据系统开发和应用的实际需求，按照本发明中描述的方法和数据共享模块，配置系统信息、输入输出规则库、输入文档信息、输出模板信息、输出模板文件，实现多种方式的数据输入和输出操作，并记录数据的输入来源和输出去向，实现了数据可追溯，能够有效解决企业进行集成信息化时面临的信息壁垒问题。
需要强调的是，以上是对本发明方法的一种具体的实现方式，本发明的实现方式不局限于此，在本发明领域内，任何借鉴本发明的基本思想，在具体实施方式和应用范围上的更改，同样属于本发明的保护范围。
Claims (8)
1.一种基于中间文件的可配置多源异构数据共享系统，其特征在于，包括：
系统管理模块、数据输入模块、数据输出模块，其中，系统管理模块为数据输入模块和数据输出模块提供访问用户、访问权限以及操作权限管理功能，且允许用户根据开发和应用需求配置关联的目标数据库；
所述的数据输入模块、数据输出模块的功能相互独立；
所述数据输入模块用于将来自第三方系统的固定格式文档中的数据输入目标数据库，该模块通过针对第三方数据文档的特征建立适用的输入规则，然后结合信息化技术和数据库技术，获取第三方文档数据后，导入到目标信息化系统的数据库中；
所述数据输出模块用于根据第三方信息化系统的实际需要和格式要求，将所需数据按固定格式输出，该模块通过针对第三方信息化系统要求的数据导入文档格式建立适用的输出规则和输出文档模板，然后结合信息化技术和数据库技术，将目标信息化系统数据库中的数据按照标准格式导出到数据文档中。
2.根据权利要求1所述的基于中间文件的可配置多源异构数据共享系统，其特征在于：
所述系统管理模块包括：账户与角色管理模块、权限分配模块、目标数据库配置模块，其中，账户与角色管理模块为权限分配模块提供需要分配权限的角色信息，权限分配模块则为账户与角色管理模块中的每个角色配置职责内的访问和操作权限，目标数据库配置模块为账户与角色管理模块、权限分配模块同数据库实现数据交互提供连接依据；
所述账户与角色管理模块，用于管理和维护数据共享模块的合法用户信息和访问角色信息，并为用户分配与职责相匹配的角色；
所述权限分配模块，用于为各角色分配页面访问以及按钮操作权限，从而保证系统数据安全，并降低各角色的使用复杂度；
所述目标数据库配置模块，用于配置客户端所对应的数据库的服务器地址、数据库名称、连接账号和连接密码。
3.根据权利要求1所述的基于中间文件的可配置多源异构数据共享系统，其特征在于：
所述数据输入模块包括：输入文档信息管理模块、输入规则库模块、转换输入模块，其中，输入规则库模块中建立的输入规则与输入文档信息管理模块中的文档信息关联，一项文档信息对应一组或多组输入规则，转换输入模块则根据待输入数据文档的特征匹配输入规则库模块中的输入规则后，获取待输入数据文档的数据并进行转换后导入目标数据库的对应数据表中；
所述输入文档信息管理模块，用于对需要输入的第三方数据文档的基本信息进行维护，为数据输入模块采用何种数据读取方法、文档加载方法以及关联输入规则提供依据；
所述输入规则库模块，用于维护各类型数据文档输入数据库时所需遵循的校验规则、数据表及字段匹配关系、数据生成规则、规则匹配关键词、数据读取参考位置和顺序信息，为将数据文档读取至数据输入模块提供数据处理依据；
所述转换输入模块，用于将待输入文档加载至数据输入模块后，利用文档类型、文档名称关键词、数据内容关键词的匹配度进行输入规则匹配，然后对基于所匹配的输入规则输入的文档数据进行数据校验、数据生成和数据类型转换，完成此过程后将这些数据输入目标数据表中。
4.根据权利要求1所述的基于中间文件的可配置多源异构数据共享系统，其特征在于：
所述数据输出模块包括：输出文档模板管理模块、输出规则库模块、检索输出模块，其中，输出规则库模块中建立的输出规则与输出文档模板管理模块中的模板特征信息关联，一项输出模板对应于一组输出规则，检索输出模块在从目标数据库查询出需要输出的数据后，需要根据对应的输出文档模板和输出规则将数据按照标准格式导出到文档中；
所述输出文档模板管理模块，用于对第三方系统提供的数据输出模板信息进行维护，为数据输出模块采用的模板、数据输出格式、数据输出方式提供依据；
所述输出规则库模块，用于维护面向第三方系统需求输出数据文档时所需的数据表及字段匹配关系信息、数据输出位置参考信息，为输出第三方系统要求的标准格式数据提供依据；
所述检索输出模块，用于从数据库中通过一定的查询条件检索出需要输出的数据后，从输出规则库中选择适用的输出规则，并输出第三方要求的标准格式数据文档。
5.一种根据权利要求1所述的基于中间文件的可配置多源异构数据共享系统进行基于中间文件的可配置多源异构数据共享方法，其特征在于，包括以下步骤：
步骤1：在所述系统管理模块的目标数据库配置模块中，配置目标数据库，用于配置数据共享模块所对应的数据库的服务器地址、数据库名称、连接账号和连接密码；
步骤2：配置账户与权限，在所述系统管理模块中，所述账户与权限配置分别为数据输入模块和数据输出模块提供可识别的合法登录使用账户和各账户对应的差异化访问与操作限制，其中，所述账户配置在系统管理模块的账户与角色管理中完成操作，所述权限配置在系统管理模块的权限分配模块完成操作；
步骤3：输入数据；
步骤3.1：在所述数据输入模块的输入文档信息管理模块中，根据来自第三方智能系统提供的数据文档，配置输入文档信息；
所述输入文档信息包括：数据文档类型、数据读取方式、文档名称关键词和文档加载方法；
所述数据文档类型对应于第三方智能系统提供的数据文档类型；
所述数据读取方式与第三方智能系统提供的数据文档的数据格式关联，其中，所述的数据格式为数据文档中待输入数据的排列方式以及与数据库中数据表的字段对应情况；
所述文档名称关键词根据第三方智能系统的数据文档功用和命名规则确定；
所述文档加载方法则与第三方系统的数据文档更新方式和存储位置关联，其中，若所述文档更新方式为自动更新且存储位置固定，则文档加载方法可以选择自动加载和手动加载，否则只能选择手动加载；
步骤3.2：针对步骤3.1中配置的输入数据文档信息，结合各项数据输入的类型、长度、组成结构、排列方式、特征信息、与数据库的数据表字段的对应关系等信息，在所述数据输入模块的输入规则库模块中，建立输入规则库，所述输入规则库定义了各类型数据文档输入数据库时所需遵循的校验规则、数据表及字段匹配关系、数据生成规则、规则匹配关键词、数据读取参考位置、顺序信息，每一项输入文档信息对应于一组或多组数据输入规则，即输入数据文档信息与输入规则是1-N的关系；
步骤3.3：在所述数据输入模块的转换输入模块中，选择要输入的数据文档，将其加载至数据输入模块；
步骤3.4：在所述数据输入模块的转换输入模块中，利用步骤3.1中配置的文档类型信息和文档名称关键词以及步骤3.2中建立的输入规则中的数据内容关键词进行输入规则匹配，所述文档名称关键词可以是直接描述该文档功用和特性的一组名词，也可以是基于命名规则的正则表达式，所述数据内容关键词是一组描述待输入数据文档特性的名词，包括行和列的名称、表标题中的特征词，该方法首先通过所述步骤3.3中选择的数据文档的类型、名称同所述步骤3.1中配置的输入文档信息的文档类型和文档名称关键词进行匹配度计算，计算方式为它们之间均包含的文档类型和文档名称关键词数量除以总数量，匹配度最高的输入文档信息将会被选中，然后比较被选中的输入文档信息和输入规则的关联字段信息，找到与该输入文档信息对应的几组输入规则，最后分别利用关联输入规则在待输入的数据文档中通过文档数据访问程序接口查找数据内容关键词，使用查找到的数据内容关键词数量除以输入规则中设置的数据内容关键词数量，计算匹配度值，匹配度值最高的输入规则将会被确定为所要采用的输入规则；
步骤3.5：在所述数据输入模块的转换输入模块中，进行数据校验，根据步骤3.4中匹配的输入规则，对步骤3.3中加载的数据是否符合输入标准进行校验，所述校验内容包括数据完整性校验、有效性校验、合法性校验、格式校验，
所述完整性校验用于检查输入的每一行数据中是否存在数据为空且该项数据不可以为空的情况，通过判断该项数据实际是否为空与输入规则要求的相符性来确定是否校验通过；
所述有效性校验主要用于校验各项数据类型、长度是否符合或是否可以通过数据类型转换符合数据表中的要求，通过该项数据的可转换性、计算该项数据的长度来确定是否校验通过；
所述合法性校验主要用于检查某项数据是否为数据库中存在的合法信息，通过判断该项数据在数据库中是否存在或是否满足唯一性来确定是否校验通过；
所述格式校验用于确定部分需要通过正则表达式约束数据格式的数据是否满足要求，通过判断该项数据组成是否满足要求来确定是否校验通过；
步骤3.6：在所述数据输入模块的转换输入模块中，执行数据生成与转换操作，所述数据生成与转换包括基于数据库操作语句的数据生成和计算方法、数据类型转换，所述基于数据库操作语句的数据生成和计算方法利用步骤3.2中定义的数据输入规则中的字段生成数据库操作语句，生成和计算非直接输入部分字段的值，所述字段生成数据库操作语句包括关联字段组合生成语句、关联字段运算语句、关联字段判断语句，即字段生成数据库操作语句是利用其它关联字段的值生成的；
步骤3.7：根据步骤3.6的数据生成与转换结果，将数据更新至数据库；
步骤4：输出数据；
步骤4.1：在所述数据输出模块的中输出文档模板管理模块中，建立文档模板，用于用户在输出数据时将数据写入所需类型和格式的文档中；
步骤4.2：根据步骤4.1的信息，在所述数据输出模块的输出规则库模块中，建立输出规则，所述输出规则包括数据去向信息、关联数据表、字段匹配关系、输出位置、数据识别标记，通过设置数据输出规则，实现数据表中的数据按照指定模式输出；
步骤4.3：在所述数据输出模块的检索输出模块中，执行检索数据操作，根据第三方系统的数据需求内容，在数据输出模块中设置数据库中的关联数据表、搜索条件，从关联数据表中获取满足所设置的搜索条件的数据，实现数据的分类和按需输出；
步骤4.4：从步骤4.1中建立的文档模板中选择合适的输出模板，从而将步骤4.3中的数据按要求格式输出；
步骤4.5：在所述数据输出模块的检索输出模块中，匹配输出规则，用于将步骤4.2所建立的关联输出规则库匹配至步骤4.3中检索的待输出数据，保证输出标准化的数据文档，所述匹配输出规则的过程为在通过检索获取需要输出的数据后，结合第三方系统提供的输出文档模板文件和信息，从输出规则库中选择合适的输出规则作为数据按照标准格式输出至数据文档的依据；
步骤4.6：根据步骤4.3和步骤4.4中的结果，输出标准格式数据文档。
6.根据权利要求5所述的基于中间文件的可配置多源异构数据共享方法，其特征在于：
所述步骤1的目标数据库包括输入数据库和输出数据库，分别对应于存储第三方文档数据的数据仓库和为第三方提供标准数据文档的数据源。
7.根据权利要求5所述的基于中间文件的可配置多源异构数据共享方法，其特征在于：
所述步骤3.1中的输入文档信息包括文档类型、数据读取方式、文档名称关键词和文档加载方法，所述文档类型包括.xls、.xlsx、.csv、.xml、.doc、.docx、.txt以及.json，所述数据文档读取方式包括按行读取、按列读取和离散读取，所述文档名称关键词可以是直接描述该文档功用和特性的一组名词，也可以是基于命名规则的正则表达式，所述文档加载方法包括手动加载和实时扫描；
所述步骤3.2的输入规则库包括关联输入文档信息、数据源信息、数据内容关键词、关联数据表、数据类型信息、是否允许缺省、数据识别标记以及字段匹配关系；
所述步骤3.4的规则匹配方法为基于文档类型、文档名称以及数据内容的关键词匹配方法，该方法首先通过所述步骤3.3中选择的数据文档的类型、名称同所述步骤3.1中配置的输入文档信息的文档类型和文档名称关键词进行匹配度计算，获取对应的输入文档信息，所述文档类型和文档名称关键词对应于权利要求3中所述的文档类型和文档名称关键词，然后利用该输入文档信息获取关联的输入规则，最后分别利用关联输入规则在待输入的数据文档中获取数据内容关键词，根据获取关键词的匹配度确定输入目标数据文档中的数据所需采用的输入规则，所述数据内容关键词是一组描述待输入数据文档特性的名词，包括行和列的名称、表标题中的特征词；
所述步骤3.5的数据校验内容包括数据完整性校验、有效性校验、合法性校验、格式校验，所述完整性校验用于检查输入的每一行数据中是否存在数据为空且该项数据不可以为空的情况，所述有效性校验主要用于校验各项数据类型、长度是否符合或是否可以通过数据类型转换符合数据表中的要求，所述合法性校验主要用于检查某项数据是否为数据库中存在的合法信息，所述格式校验用于确定部分需要通过正则表达式约束数据格式的数据是否满足要求；
所述步骤3.6的数据生成与转换包括基于数据库操作语句的数据生成和计算方法、数据类型转换，所述基于数据库操作语句的数据生成和计算方法利用步骤3.2中定义的数据输入规则中的字段生成数据库操作语句，生成和计算非直接输入部分字段的值，所述字段生成数据库操作语句包括关联字段组合生成语句、关联字段运算语句、关联字段判断语句，即字段生成数据库操作语句是利用其它关联字段的值生成的。
8.根据权利要求5所述的基于中间文件的可配置多源异构数据共享方法，其特征在于：
所述步骤4.1的文档模板包括模板文件和模板特征信息，所述文档特征信息包括文档类型、输出格式、输出方式，所述文档类型包括.xls、.xlsx、.csv、.xml、.doc、.docx、.txt以及.json，所述输出格式包括按行输出、按列输出以及离散输出，所述输出方式包括定时自动输出和手动输出；
所述步骤4.2中的输出规则库包括数据去向信息、关联数据表、字段匹配关系、输出位置、数据识别标记，所述输出位置为某项数据所在的页、行、列和顺序信息，所述数据识别标记为某项数据在填充文档时的识别信息；
所述步骤4.3中，若数据输出方式为手动输出，则设置搜索条件的方式为按需动态设置搜索条件，若数据输出方式为定时自动输出，则设置搜索条件的方式为预置固定搜索条件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011320716.1A CN112287011A (zh) | 2020-11-23 | 2020-11-23 | 一种基于中间文件的可配置多源异构数据共享系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011320716.1A CN112287011A (zh) | 2020-11-23 | 2020-11-23 | 一种基于中间文件的可配置多源异构数据共享系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112287011A true CN112287011A (zh) | 2021-01-29 |
Family
ID=74425788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011320716.1A Pending CN112287011A (zh) | 2020-11-23 | 2020-11-23 | 一种基于中间文件的可配置多源异构数据共享系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112287011A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112988790A (zh) * | 2021-02-07 | 2021-06-18 | 潍坊北大青鸟华光照排有限公司 | 一种基于execl的数据互通及数据批量检索查询方法 |
| CN113010163A (zh) * | 2021-03-30 | 2021-06-22 | 北京迈高材云科技有限公司 | 材料测试表征和制备工艺数据库低代码构建方法和系统 |
| CN113590533A (zh) * | 2021-08-12 | 2021-11-02 | 城云科技（中国）有限公司 | 文件入库方法、装置及电子装置、计算机程序产品 |
| CN115438024A (zh) * | 2022-08-23 | 2022-12-06 | 光大环境科技（中国）有限公司 | 数据导入中台的方法、装置、系统、电子设备、存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441686A (zh) * | 2008-11-26 | 2009-05-27 | 复旦大学附属中山医院 | 基于自然语言编写的医疗文档的信息抽提及格式转换系统 |
| CN106776515A (zh) * | 2016-12-16 | 2017-05-31 | 刘立 | 数据处理的方法及装置 |
| CN111866121A (zh) * | 2020-07-17 | 2020-10-30 | 南京和控电气系统工程有限公司 | 一种大型起重机设备安全监控管理云平台 |
-
2020
- 2020-11-23 CN CN202011320716.1A patent/CN112287011A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101441686A (zh) * | 2008-11-26 | 2009-05-27 | 复旦大学附属中山医院 | 基于自然语言编写的医疗文档的信息抽提及格式转换系统 |
| CN106776515A (zh) * | 2016-12-16 | 2017-05-31 | 刘立 | 数据处理的方法及装置 |
| CN111866121A (zh) * | 2020-07-17 | 2020-10-30 | 南京和控电气系统工程有限公司 | 一种大型起重机设备安全监控管理云平台 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112988790A (zh) * | 2021-02-07 | 2021-06-18 | 潍坊北大青鸟华光照排有限公司 | 一种基于execl的数据互通及数据批量检索查询方法 |
| CN113010163A (zh) * | 2021-03-30 | 2021-06-22 | 北京迈高材云科技有限公司 | 材料测试表征和制备工艺数据库低代码构建方法和系统 |
| CN113010163B (zh) * | 2021-03-30 | 2024-05-03 | 北京迈高材云科技有限公司 | 材料测试表征和制备工艺数据库低代码构建方法和系统 |
| CN113590533A (zh) * | 2021-08-12 | 2021-11-02 | 城云科技（中国）有限公司 | 文件入库方法、装置及电子装置、计算机程序产品 |
| CN115438024A (zh) * | 2022-08-23 | 2022-12-06 | 光大环境科技（中国）有限公司 | 数据导入中台的方法、装置、系统、电子设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112287011A (zh) | 一种基于中间文件的可配置多源异构数据共享系统及方法 | |
| US7299171B2 (en) | Method and system for processing grammar-based legality expressions | |
| CN100437576C (zh) | 用于发现并连接到数据源的方法、系统和装置 | |
| US20020178138A1 (en) | Synergistic directory-based information management system and method of using | |
| CN107067260B (zh) | 信息管理系统及方法 | |
| US20070136291A1 (en) | Access control for elements in a database object | |
| CN104112085A (zh) | 一种应用系统集群的数据权限控制方法和装置 | |
| CN111914135A (zh) | 数据查询方法、装置、电子设备及存储介质 | |
| CN110851127A (zh) | 一种基于区块链的通用存证方法 | |
| EP1091274A2 (en) | System and method for managing user permissions for accessing functionality of multiple software applications | |
| CN110929280A (zh) | 大数据环境下基于元数据实现数据权限控制的系统及其方法 | |
| EP2225638B1 (en) | Electronic technical logbook | |
| CN112363997B (zh) | 数据版本管理方法、装置及存储介质 | |
| CN104573053B (zh) | 一种基于xml的配置项模板动态定制方法 | |
| CN111582831B (zh) | 政务信箱管理方法、系统及存储介质 | |
| US20060218060A1 (en) | Accounting method and system | |
| CN109598130A (zh) | 知识产权数据查询系统、方法、装置、设备及存储介质 | |
| GB2430283A (en) | A security tool for providing user IDs according to matched templates | |
| CN1553380A (zh) | 数据库使用权限控制系统及方法 | |
| CN101807185B (zh) | 一种在文件系统中提供自定义存取控制方式的方法 | |
| CN101198928A (zh) | 计算机系统、可集成软件组件以及软件应用程序 | |
| CN104679740A (zh) | 数据处理系统 | |
| CN104040537A (zh) | 数据库查询的自动生成和执行的系统及方法 | |
| CN1567300A (zh) | 数据库使用权限查询系统及方法 | |
| CN115827452B (zh) | 一种数据加工类型测试系统、方法、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210129 |
|
| RJ01 | Rejection of invention patent application after publication |