CN109697062A - 一种多源数据交换系统及融合方法 - Google Patents
一种多源数据交换系统及融合方法 Download PDFInfo
- Publication number
- CN109697062A CN109697062A CN201910032519.0A CN201910032519A CN109697062A CN 109697062 A CN109697062 A CN 109697062A CN 201910032519 A CN201910032519 A CN 201910032519A CN 109697062 A CN109697062 A CN 109697062A
- Authority
- CN
- China
- Prior art keywords
- interface
- data
- module
- engine unit
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 13
- 238000006243 chemical reaction Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012544 monitoring process Methods 0.000 claims abstract description 14
- 238000012795 verification Methods 0.000 claims abstract description 13
- 238000003032 molecular docking Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000007726 management method Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000000547 structure data Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 238000012800 visualization Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 238000004140 cleaning Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 241000282813 Aepyceros melampus Species 0.000 description 2
- 241001080526 Vertica Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 240000000594 Heliconia bihai Species 0.000 description 1
- 101000628535 Homo sapiens Metalloreductase STEAP2 Proteins 0.000 description 1
- 102100026711 Metalloreductase STEAP2 Human genes 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013497 data interchange Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- GKQPCPXONLDCMU-CCEZHUSRSA-N lacidipine Chemical compound CCOC(=O)C1=C(C)NC(C)=C(C(=O)OCC)C1C1=CC=CC=C1\C=C\C(=O)OC(C)(C)C GKQPCPXONLDCMU-CCEZHUSRSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/20—Software design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/34—Graphical or visual programming
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种多源数据交换系统及融合方法，属于数据接口技术领域，所述系统包括接口语法语义解析引擎单元、数据标准转换引擎单元、数据类型转换引擎单元、调度引擎单元、监控引擎单元和校验引擎单元。通过图形化的接口配置，对接口调试人员的要求相对要求要低，可视化的监控，全面掌控各个接口的运行情况，各个系统无需特定的开发相关接口即可和其他系统进行无缝对接，通过接口语法语义转换引擎、数据标准转换引擎、数据类型转换引擎的方法，是一个saas模式的一个语法语义转换平台，可视化、流程化、拖拽式、支持现有所有接口及数据类型，实现各个系统的无缝连接。
Description
【技术领域】
本发明涉及数据接口技术领域，具体涉及一种多源数据交换系统及融合方法。
【背景技术】
随着现在国家数字化战略的快速推进，需要达到所有数据都能有效的挖掘其价值，更好的为广大人民群众和社会服务。但现实中的各个系统接口和数据的标准不一，由于之前各个企业为了形成自己的闭环，从而导致了同一个行业内不同软件厂商供应的系统的接口定义，接口参数以及接口标准完全不一样。进而导致现在国家数字化战略遇到了前所未有的困难。
现在原来的系统之间的对接需要双方的系统厂家的技术人员沟通形成一个解决方案，由双方技术人员共同开发一对一接口的模式来对接完成做到不同系统之间的接口对接及数据交换。这样使得需要的技术人员技术要求高，工作量大么人切还需要驻地开发。从而导致了时间成本和人工成本的急剧增加。给现在的互联互通工作增加了不少阻碍。
S1、总结起来现在的方法有一下几点缺点：
S11、需要前期所有软件厂商共同商讨接口标准；
S12、需要所有软件厂商修改自己原有的接口标准；
S13、多个系统互通时，需要两两互通的模式来开发(既N个系统需要全部互联互通时，每个厂家需要开发N-1次)；
S14、当数据需要放到数据中心去，需要做大量的数据格式和标准转换工作。
【发明内容】
本发明旨在公开一种多源数据交换系统及融合方法，解决背景技术中所提到的技术问题，提出了一种可视化的不用编码形式的各类型接口及数据转换交互系统和数据融合方法。
本发明采取的技术方案为：
一种多源数据交换系统，所述系统包括：
接口语法语义解析引擎单元，用于根据各个厂家系统，自适应的对接不同接口类型，对不同接口标准和接口协议之间的对接；
数据标准转换引擎单元，用于获取各个厂家系统各自所需的数据格式标准和数据结构，根据获取的数据格式标准和数据结构对数据标准进行转换；
数据类型转换引擎单元，用于对不同数据类型之间的衔接，把不同的数据类型进行转换后符合各个厂家系统的数据结构；
调度引擎单元，用于协调各个厂家系统进行转换接口，分配资源，按照预先设计的流程，执行相关接口引擎操作；
监控引擎单元，用于对所述的调度引擎单元和各个厂家系统的接口程序进行监控预警，对各个厂家系统的各类日志管理，保障正常运行；
及校验引擎单元，用于校验接口语法语义解析引擎单元、数据标准转换引擎单元和数据类型转换引擎单元的执行动作的合法性、准确性以及数据格式的合法性。
进一步地，本发明还包括图像化配置单元，用于图像化配置输入输出的数据源信息，图像化配置接口语法语义解析引擎单元对接信息，开辟数据传输通道，所述图像化配置单元与调度引擎单元连接。
进一步地，所述图像化配置单元包括图像化显示模块和图像配置输入模块，所述图像化显示模块用于显示各个厂家系统之间的接口对接的、数据类型、数据标准和数据语义的图像化显示，所述图像配置输入模块用于供工作人员图像化对接口配置。
进一步地，本发明还包括本地存储单元，用于存储结构化数据、非结构化数据和加工处理结构数据的标准、类型及语义，所述本地存储单元与图像化配置单元连接，所述本地存储单元包括结构化模块、非结构化模块和加工处理结构化模块，所述结构化模块用于存储结构化数据的标准、类型和语义，所述非结构化模块用于存储非结构化数据的标准、类型及语义，所述加工处理结构化模块用于存储加工处理结构数据的标准、类型及语义。
进一步地，本发明还包括数据输入输出接口单元，所述数据输入输出接口单元与图像化配置单元连接，用于数据的输入和输出，所述数据输入输出接口单元包括数据输入接口模块和数据输出接口模块，所述数据输入接口模块用于输入数据，所述数据输出接口模块用于输出数据。
进一步地，所述接口语法语义解析引擎单元包括接口配置模块、接口标准对接模块和接口协议对接模块，所述接口配置模块用于对各个厂家系统的接口进行配置，所述接口标准对接模块用于对各个接口之间的标准进行对接，所述接口协议对接模块用于对各个接口之间的协议进行对接。
进一步地，所述监控引擎单元包括监控模块、预警模块和日志管理模块，所述监控模块用于监控接口语法语义解析引擎单元、数据标准转换引擎单元、数据类型转换引擎单元和调度引擎单元工作是否正常，所述预警模块用于当接口语法语义解析引擎单元、数据标准转换引擎单元、数据类型转换引擎单元和调度引擎单元中一个或者多个出现故障时，报警通知工作人员，所述日志管理模块用于对各个厂家系统的接口日志进行管理和存储，保障接口各项功能正常运行。
进一步地，所述调度引擎单元包括接口协调模块、资源分配模块和执行控制模块，所述接口协调模块用于协调系统接口之间的转换和对接，所述资源分配模块用于分配和管理系统的接口资源，所述执行控制模块用于接口语法语义解析引擎单元、数据标准转换引擎单元、数据类型转换引擎单元、监控引擎单元和校验引擎单元的工作进行控制。
一种多源数据融合方法，所述方法包括如下步骤：
步骤1：获取已有的数据接口标准或/和者数据源的相关信息；
步骤2：图像化配置输入的数据源信息，检查相关配置是否正确，监控相关配置；
步骤3：图形化配置输出数据源信息，校验相关配置，自动测试网络环境是否正常；
步骤4：图形化配置接口语法语义解析引擎，开辟数据传输通道；
步骤5：拖拽试配置数据标准转换引擎和数据类型转换引擎，实现数据正常解析使用；
步骤6：添加调度引擎和监控引擎，实现系统平稳运行。
进一步地，所述步骤1中的数据源的相关信息包括接口类型、接口名称、接口参数总数、接口参数类型、接口参数信息、接口参数关联信息、数据类型和条件参数。
进一步地，所述步骤2中的相关配置包括接口地址、接口权限、接口类型、接口参数、接口长度和数据类型。
采用本发明技术方案具有以下优势：
本发明实现图形化的接口配置，对接口调试人员的要求相对要求要低，可视化的监控，全面掌控各个接口的运行情况，各个系统无需特定的开发相关接口即可和其他系统进行无缝对接，通过接口语法语义转换引擎、数据标准转换引擎、数据类型转换引擎的方法，是一个saas模式的一个语法语义转换平台，可视化、流程化、拖拽式、支持现有所有接口及数据类型，实现各个系统的无缝连接。
【附图说明】
图1是本发明一种多源数据交换系统框图。
图2是本发明接口语法语义解析引擎单元模块框图。
图3是本发明监控引擎单元模块框图。
图4是本发明调度引擎单元模块框图。
图5是本发明图像化配置单元模块框图。
图6是本发明本地存储单元模块框图。
图7是本发明数据输入输出接口单元模块框图。
图8是本发明一种多源数据融合方法流程图。
图9是本发明一种多源数据融合方法一实施例流程图。
如下具体实施方式将结合上述附图进一步说明本发明。
【具体实施方式】
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
需要说明的是，下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。
请参阅图1，是本发明实施例提供的一种多源数据交换系统结构框图，所述系统包括：
接口语法语义解析引擎单元1，用于根据各个厂家系统，自适应的对接不同接口类型，对不同接口标准和接口协议之间的对接；
数据标准转换引擎单元2，用于获取各个厂家系统各自所需的数据格式标准和数据结构，根据获取的数据格式标准和数据结构对数据标准进行转换；
数据类型转换引擎单元3，用于对不同数据类型之间的衔接，把不同的数据类型进行转换后符合各个厂家系统的数据结构；
调度引擎单元6，用于协调各个厂家系统进行转换接口，分配资源，按照预先设计的流程，执行相关接口引擎操作；
监控引擎单元4，用于对所述的调度引擎单元6和各个厂家系统的接口程序进行监控预警，对各个厂家系统的各类日志管理，保障正常运行；
及校验引擎单元5，用于校验接口语法语义解析引擎单元、数据标准转换引擎单元和数据类型转换引擎单元的执行动作的合法性、准确性以及数据格式的合法性。
接口语法语义解析引擎单元1，根据各个厂家的系统，自适应的对接不同接口类型，实现不同接口标准和接口协议之间的对接。数据标准转换引擎单元2，各类系统通过数据标准转换引擎，将获得各自所需的数据格式标准和数据结构，无需修改自身系统，实现数据的清洗。数据类型转换引擎单元3，实现不同数据类型之间衔接，符合各个系统的数据结构。调度引擎单元6，协调各个转换接口，合理分配资源，按照预先设计的流程，执行相关接口引擎。监控引擎单元4，对调度引擎和各个接口程序进行监控预警，实现各类日志管理，保障各项功能正常运行。校验引擎单元5，校验接口语法语义解析引擎、数据标准转换引擎、数据类型转换引擎合法性，准确性以及数据格式的合法性。
本方案，不需要前期所有软件厂商共同商讨接口标准；不需要所有软件厂商修改自己原有的接口标准；多个系统互通时，不需要两两互通的模式来开发(既N个系统需要全部互联互通时，每个厂家需要开发N-1次)；当数据需要放到数据中心去，不需要做大量的数据格式和标准转。实现图形化的接口配置，对接口调试人员的要求相对要求要低，可视化的监控，全面掌控各个接口的运行情况，各个系统无需特定的开发相关接口即可和其他系统进行无缝对接。
本方案用于各行各业数据融合，所述接口语法语义解析引擎单元1是用于获取各类数据源，是数据源的一种集合，获取数据的方式包括Webservice、XML、JSON、HL7、JS、HTTP、SQL、FTP、HTTPS等各类型API接口，通过图形化选择的方式和引导方式配置相关数据源，通过此步骤可以获取结构化和非结构化数据以及实时数据流。
所述数据标准转换引擎单元2用于对所述数据源的收集、清洗、存储及传输。所述数据源的收集用于实现获取相关数据，比如医疗系统的患者信息；所述清洗用于对于上述患者信息的加工，获得符合标准的数据结构信息；所述存储用于存储结构相关数据到数据中心，进行多次应用较少相关收集和清洗工作；所述传输用于通过输出接口，安装标准的数据结构传输给其他使用者。
所述数据类型转换引擎单元3是指在不同的数据结构中，数据的类型可能不同，但是所代表的含义是一致的，在此过程中数据类型转换引擎转换相关数据类型，同时处理转换中的异常信息。
所述调度引擎单元6用于管理接口语法语义解析引擎、数据标准转换引擎、数据类型转换引擎、监控引擎和校验引擎，保障各个引擎正常工作，合理分配相关资源，协调各类接口进行数据传输，是本系统的中枢系统。
所述监控引擎单元4用于监控其他引擎是否正常工作，发现出现的问题，并记录相关日志，通知调度引擎等相关功能，
所述校验引擎单元5用于各个数据节点是否符合数据转换标准，判断是否合法，并协调监控引擎完成数据的监测。
如图5所示，本发明实施例中，还包括图像化配置单元7，用于图像化配置输入输出的数据源信息，图像化配置接口语法语义解析引擎单元对接信息，开辟数据传输通道，所述图像化配置单元与调度引擎单元连接。所述图像化配置单元7包括图像化显示模块710和图像配置输入模块720，所述图像化显示模块710用于显示各个厂家系统之间的接口对接的、数据类型、数据标准和数据语义的图像化显示，所述图像配置输入模块720用于供工作人员图像化对接口配置。
图像化配置单元7可以实现图像话的配置，需要配置的技术人员的技术要求不高，大大减少了时间成本和人工成本，实现不同厂家的系统的快速互联互通。
如图6所示，本发明实施例中，还包括本地存储单元8，用于存储结构化数据、非结构化数据和加工处理结构数据的标准、类型及语义，所述本地存储单元8与图像化配置单元7连接，所述本地存储单元8包括结构化模块810、非结构化模块820和加工处理结构化模块830，所述结构化模块810用于存储结构化数据的标准、类型和语义，所述非结构化模块820用于存储非结构化数据的标准、类型及语义，所述加工处理结构化模块810用于存储加工处理结构数据的标准、类型及语义。
本地存储单元8用于存储结构化数据、非结构化数据和加工处理结构数据的相关标准、类型及语义等，从而使得在后期的处理过程中可以直接从本地存储单元8获取想应的数据的标准、类型等进行直接的互换连接，实现系统与系统直接快速连接，数据互通。
如图7所示，本发明实施例中，还包括数据输入输出接口单元9，所述数据输入输出接口单元9与图像化配置单元7连接，用于数据的输入和输出，所述数据输入输出接口单元9包括数据输入接口模块910和数据输出接口模块920，所述数据输入接口模块910用于输入数据，所述数据输出接口模块920用于输出数据。
数据输入输出接口单元9用于数据的输出和输入，实现的是数据接口的作用。用于数据的进出的，提供一个传输的通道。
如图2所示，本发明实施例中，所述接口语法语义解析引擎单元1包括接口配置模块110、接口标准对接模块120和接口协议对接模块130，所述接口配置模块110用于对各个厂家系统的接口进行配置，所述接口标准对接模块120用于对各个接口之间的标准进行对接，所述接口协议对接模块130用于对各个接口之间的协议进行对接。
接口语法语义解析引擎单元1实现在图像化配置单元7输入配置信息后，根据输入的配置信息对接口进行配置。接口标准对接模块120根据各个接口的标准的不同，查找转换的标准，对数据的标砖进行转换的对接。接口协议对接模块130不同的接口有不同的协议，根绝各个接口的协议的不同，实现接口的协议之间的对接
如图3所示，本发明实施例中，所述监控引擎单元4包括监控模块410、预警模块420和日志管理模块430，所述监控模块410用于监控接口语法语义解析引擎单元、数据标准转换引擎单元、数据类型转换引擎单元和调度引擎单元工作是否正常，所述预警模块420用于当接口语法语义解析引擎单元1、数据标准转换引擎单元2、数据类型转换引擎单元3和调度引擎单元6中一个或者多个出现故障时，报警通知工作人员，所述日志管理模块430用于对各个厂家系统的接口日志进行管理和存储，保障接口各项功能正常运行。
如图4所示，本发明实施例中，所述调度引擎单元6包括接口协调模块610、资源分配模块620和执行控制模块630，所述接口协调模块610用于协调系统接口之间的转换和对接，所述资源分配模块620用于分配和管理系统的接口资源，所述执行控制模块630用于接口语法语义解析引擎单元1、数据标准转换引擎单元2、数据类型转换引擎单元3、监控引擎单元4和校验引擎单元5的工作进行控制。
调度引擎单元6是核心调度中心，主要是对各个引擎进行控制和调度，起到核心大脑的作用，是本系统的中枢系统。
一种多源数据融合方法，如图8所示，所述方法包括如下步骤：
S10：获取已有的数据接口标准或/和者数据源的相关信息。数据源的相关信息包括接口类型、接口名称、接口参数总数、接口参数类型、接口参数信息、接口参数关联信息、数据类型和条件参数。
S20：图像化配置输入的数据源信息，检查相关配置是否正确，监控相关配置。相关配置包括接口地址、接口权限、接口类型、接口参数、接口长度和数据类型。
S30：图形化配置输出数据源信息，校验相关配置，自动测试网络环境是否正常；
S40：图形化配置接口语法语义解析引擎，开辟数据传输通道；
S50：拖拽试配置数据标准转换引擎和数据类型转换引擎，实现数据正常解析使用；
S60：添加调度引擎和监控引擎，实现系统平稳运行。
以医院HIS系统和互联网预约挂号数据交互为例，其包括以下步骤：
S1、获取医院HIS系统挂号预约接口(http访问，json数据格式)和互联网挂号数据接口(webservice访问，xml格式)相关地址信息，配置接口语法语义解析引擎，自动检测网络是否互通。
S2、同过数据标准转换引擎的图形化操作将互联网挂号接口的Xml数据拖拽对应到获取医院HIS系统挂号预约接口，完成相关接口的转换，同时添加数据类型转换引擎，负责数据类型的转换。
S3、添加调度引擎，管理上述先关步骤S1和S2并装载监控引擎和校验引擎完成相关数据交互。
S4、通过监控引擎查看数据转换情况和相关异常。
如图9所示，具体的详细过程，开始传输系统的接口和接口的数据，然后开始判断接口和数据是否合法，数据是否准确等，均是正确合法时，再传输具体的内容信息和数据的类型，把数据信息内容解析成MQL语言。判断输出接口的合法性和数据的类型，如果均合法准确，根据上述同理执行，如果出现不合法或者不准确时，MQL解析引擎把内容解析成出口所需的类型，然后在进行数据的传输，通过输出接口进行传输。接收接口接收数据后，把接收的结果信息反馈给发送数据的接口，然后接收数据，把数据放入结构容器内。
本专利提出的接口语法语义转换引擎、数据标准转换引擎、数据类型转换引擎的方法，是一个saas模式的一个语法语义转换平台，可视化、流程化、拖拽式、支持现有所有接口及数据类型。支持消息通过HTTP、HTTPS、JMS、STMP等协议支持消息过滤、路由Soap消息、二进制消息、XML消息、TEXT消息等进行企业应用间的交互。支持接口类型：Webservice、XML、JSON、HL7、JS、HTTP、SQL、FTP、各类型API接口等；支持数据库：IBM DB2、Impala、Infobright、infomix、Ingress、Ingres VectorWise、Intersystems Cache、KingbaseES、LucidDB、MS Access、MS SQL Server、MS SQL Server(Native)、MaxDB(SAP DB)、MonetDB、SparkSQL、Sybase、SybaseIQ、Teradata、UniVerse database、Vertica、Vertica 5+、dBaseⅢ,Ⅳ or 5、Native Mondrian、Neoview、Netezza、OpenERP Server、Oracle、Oracle RDB、Palo MOLAP Server、Pentaho Data Services、PostgreSQL、Redshift、Remedy ActionRequest System、SAP ERP System、SQLite、AS/400、Apache Derby、Borland Interbase、Calpont InfiniDB、Cloudera Impala、Exasol 4、ExtenDB、Firebird SQL、Genericdatabase、Greenplum、Gupta SQL Base、H2、Hadoop Hive、Hadoop Hive2。
Claims (11)
1.一种多源数据交换系统，其特征在于，所述系统包括：
接口语法语义解析引擎单元，用于根据各个厂家系统，自适应的对接不同接口类型，对不同接口标准和接口协议之间的对接；
数据标准转换引擎单元，用于获取各个厂家系统各自所需的数据格式标准和数据结构，根据获取的数据格式标准和数据结构对数据标准进行转换；
数据类型转换引擎单元，用于对不同数据类型之间的衔接，把不同的数据类型进行转换后符合各个厂家系统的数据结构；
调度引擎单元，用于协调各个厂家系统进行转换接口，分配资源，按照预先设计的流程，执行相关接口引擎操作；
监控引擎单元，用于对所述的调度引擎单元和各个厂家系统的接口程序进行监控预警，对各个厂家系统的各类日志管理，保障正常运行；
及校验引擎单元，用于校验接口语法语义解析引擎单元、数据标准转换引擎单元和数据类型转换引擎单元的执行动作的合法性、准确性以及数据格式的合法性。
2.根据权利要求1所述的一种多源数据交换系统，其特征在于，还包括图像化配置单元，用于图像化配置输入输出的数据源信息，图像化配置接口语法语义解析引擎单元对接信息，开辟数据传输通道，所述图像化配置单元与调度引擎单元连接。
3.根据权利要求2所述的一种多源数据交换系统，其特征在于：所述图像化配置单元包括图像化显示模块和图像配置输入模块，所述图像化显示模块用于显示各个厂家系统之间的接口对接的、数据类型、数据标准和数据语义的图像化显示，所述图像配置输入模块用于供工作人员图像化对接口配置。
4.根据权利要求1所述的一种多源数据交换系统，其特征在于：还包括本地存储单元，用于存储结构化数据、非结构化数据和加工处理结构数据的标准、类型及语义，所述本地存储单元与图像化配置单元连接，所述本地存储单元包括结构化模块、非结构化模块和加工处理结构化模块，所述结构化模块用于存储结构化数据的标准、类型和语义，所述非结构化模块用于存储非结构化数据的标准、类型及语义，所述加工处理结构化模块用于存储加工处理结构数据的标准、类型及语义。
5.根据权利要求1所述的一种多源数据交换系统，其特征在于：还包括数据输入输出接口单元，所述数据输入输出接口单元与图像化配置单元连接，用于数据的输入和输出，所述数据输入输出接口单元包括数据输入接口模块和数据输出接口模块，所述数据输入接口模块用于输入数据，所述数据输出接口模块用于输出数据。
6.根据权利要求1所述的一种多源数据交换系统，其特征在于：所述接口语法语义解析引擎单元包括接口配置模块、接口标准对接模块和接口协议对接模块，所述接口配置模块用于对各个厂家系统的接口进行配置，所述接口标准对接模块用于对各个接口之间的标准进行对接，所述接口协议对接模块用于对各个接口之间的协议进行对接。
7.根据权利要求1所述的一种多源数据交换系统，其特征在于，所述监控引擎单元包括监控模块、预警模块和日志管理模块，所述监控模块用于监控接口语法语义解析引擎单元、数据标准转换引擎单元、数据类型转换引擎单元和调度引擎单元工作是否正常，所述预警模块用于当接口语法语义解析引擎单元、数据标准转换引擎单元、数据类型转换引擎单元和调度引擎单元中一个或者多个出现故障时，报警通知工作人员，所述日志管理模块用于对各个厂家系统的接口日志进行管理和存储，保障接口各项功能正常运行。
8.根据权利要求1所述的一种多源数据交换系统，其特征在于：所述调度引擎单元包括接口协调模块、资源分配模块和执行控制模块，所述接口协调模块用于协调系统接口之间的转换和对接，所述资源分配模块用于分配和管理系统的接口资源，所述执行控制模块用于接口语法语义解析引擎单元、数据标准转换引擎单元、数据类型转换引擎单元、监控引擎单元和校验引擎单元的工作进行控制。
9.一种多源数据融合方法，其特征在于，所述方法包括如下步骤：
步骤1：获取已有的数据接口标准或/和者数据源的相关信息；
步骤2：图像化配置输入的数据源信息，检查相关配置是否正确，监控相关配置；
步骤3：图形化配置输出数据源信息，校验相关配置，自动测试网络环境是否正常；
步骤4：图形化配置接口语法语义解析引擎，开辟数据传输通道；
步骤5：拖拽试配置数据标准转换引擎和数据类型转换引擎，实现数据正常解析使用；
步骤6：添加调度引擎和监控引擎，实现系统平稳运行。
10.根据权利要求9所述的一种多源数据融合方法，其特征在于：所述步骤1中的数据源的相关信息包括接口类型、接口名称、接口参数总数、接口参数类型、接口参数信息、接口参数关联信息、数据类型和条件参数。
11.根据权利要求9所述的一种多源数据融合方法，其特征在于：所述步骤2中的相关配置包括接口地址、接口权限、接口类型、接口参数、接口长度和数据类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910032519.0A CN109697062B (zh) | 2019-01-14 | 2019-01-14 | 一种多源数据交换系统及融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910032519.0A CN109697062B (zh) | 2019-01-14 | 2019-01-14 | 一种多源数据交换系统及融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109697062A true CN109697062A (zh) | 2019-04-30 |
| CN109697062B CN109697062B (zh) | 2022-04-01 |
Family
ID=66233260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910032519.0A Expired - Fee Related CN109697062B (zh) | 2019-01-14 | 2019-01-14 | 一种多源数据交换系统及融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109697062B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110908641A (zh) * | 2019-11-27 | 2020-03-24 | 中国建设银行股份有限公司 | 基于可视化的流计算平台、方法、设备和存储介质 |
| CN111581299A (zh) * | 2020-04-30 | 2020-08-25 | 北华航天工业学院 | 基于大数据的多源数据仓库的库间数据转换系统及方法 |
| CN112735563A (zh) * | 2021-01-25 | 2021-04-30 | 珠海格力电器股份有限公司 | 推荐信息的生成方法、装置和处理器 |
| CN114116870A (zh) * | 2021-11-25 | 2022-03-01 | 江苏商贸职业学院 | 一种跨业务主题的数据交换方法及系统 |
| CN114417448A (zh) * | 2022-04-01 | 2022-04-29 | 创业慧康科技股份有限公司 | 一种基于物联网的数据标准模型设计系统及方法 |
| CN115840778A (zh) * | 2023-02-20 | 2023-03-24 | 北京百特云享科技有限公司 | 一种基于模型的可视化配置连接器及其连接方法 |
| TWI817128B (zh) * | 2021-05-26 | 2023-10-01 | 鼎新電腦股份有限公司 | 企業資源規劃裝置及其智慧式除錯方法 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1555012A (zh) * | 2003-12-26 | 2004-12-15 | 中兴通讯股份有限公司 | 电信网管系统中接口数据统一转换的方法及其系统 |
| US20050222931A1 (en) * | 2003-08-27 | 2005-10-06 | Ascential Software Corporation | Real time data integration services for financial information data integration |
| US20050262190A1 (en) * | 2003-08-27 | 2005-11-24 | Ascential Software Corporation | Client side interface for real time data integration jobs |
| CN101674255A (zh) * | 2008-09-12 | 2010-03-17 | 北京东方通科技发展有限责任公司 | 一种企业服务总线的消息转发方法、服务器及其系统 |
| CN101908178A (zh) * | 2010-08-13 | 2010-12-08 | 广州联奕信息科技有限公司 | 应用于数据交换的中间件及数据交换方法 |
| US20110258359A1 (en) * | 2010-04-15 | 2011-10-20 | Jan Bezdicek | Systems and methods for conducting communications among components of multidomain industrial automation system |
| CN102932431A (zh) * | 2012-10-12 | 2013-02-13 | 宁夏电力公司电力科学研究院 | 一种基于消息路由的状态监测数据接口配置方法 |
| US20130227519A1 (en) * | 2012-02-27 | 2013-08-29 | Joel John Maleport | Methods and systems for parsing data objects |
| US9201558B1 (en) * | 2011-11-03 | 2015-12-01 | Pervasive Software Inc. | Data transformation system, graphical mapping tool, and method for creating a schema map |
| US20160154870A1 (en) * | 2013-11-03 | 2016-06-02 | Maestrano Pty Ltd. | Systems and Methods for Event Driven Object Management and Distribution Among Multiple Client Applications |
| US20160371129A1 (en) * | 2013-07-05 | 2016-12-22 | Zte Corporation | Interface call system and method |
| US20170032458A1 (en) * | 2015-07-29 | 2017-02-02 | Stressco Inc. | Systems, methods and devices for extraction, aggregation, analysis and reporting of financial data |
| CN106550041A (zh) * | 2016-11-09 | 2017-03-29 | 浙江和仁科技股份有限公司 | 一种医疗信息集成引擎 |
| CN107992552A (zh) * | 2017-11-28 | 2018-05-04 | 南京莱斯信息技术股份有限公司 | 一种数据交换平台及数据交换方法 |
| US20180293533A1 (en) * | 2015-03-13 | 2018-10-11 | Thepowertool Pty Ltd | System of standardized api interpretation for inter application communication |
-
2019
- 2019-01-14 CN CN201910032519.0A patent/CN109697062B/zh not_active Expired - Fee Related
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050222931A1 (en) * | 2003-08-27 | 2005-10-06 | Ascential Software Corporation | Real time data integration services for financial information data integration |
| US20050262190A1 (en) * | 2003-08-27 | 2005-11-24 | Ascential Software Corporation | Client side interface for real time data integration jobs |
| CN1555012A (zh) * | 2003-12-26 | 2004-12-15 | 中兴通讯股份有限公司 | 电信网管系统中接口数据统一转换的方法及其系统 |
| CN101674255A (zh) * | 2008-09-12 | 2010-03-17 | 北京东方通科技发展有限责任公司 | 一种企业服务总线的消息转发方法、服务器及其系统 |
| US20110258359A1 (en) * | 2010-04-15 | 2011-10-20 | Jan Bezdicek | Systems and methods for conducting communications among components of multidomain industrial automation system |
| CN101908178A (zh) * | 2010-08-13 | 2010-12-08 | 广州联奕信息科技有限公司 | 应用于数据交换的中间件及数据交换方法 |
| US9201558B1 (en) * | 2011-11-03 | 2015-12-01 | Pervasive Software Inc. | Data transformation system, graphical mapping tool, and method for creating a schema map |
| US20130227519A1 (en) * | 2012-02-27 | 2013-08-29 | Joel John Maleport | Methods and systems for parsing data objects |
| CN102932431A (zh) * | 2012-10-12 | 2013-02-13 | 宁夏电力公司电力科学研究院 | 一种基于消息路由的状态监测数据接口配置方法 |
| US20160371129A1 (en) * | 2013-07-05 | 2016-12-22 | Zte Corporation | Interface call system and method |
| US20160154870A1 (en) * | 2013-11-03 | 2016-06-02 | Maestrano Pty Ltd. | Systems and Methods for Event Driven Object Management and Distribution Among Multiple Client Applications |
| US20180293533A1 (en) * | 2015-03-13 | 2018-10-11 | Thepowertool Pty Ltd | System of standardized api interpretation for inter application communication |
| US20170032458A1 (en) * | 2015-07-29 | 2017-02-02 | Stressco Inc. | Systems, methods and devices for extraction, aggregation, analysis and reporting of financial data |
| CN106550041A (zh) * | 2016-11-09 | 2017-03-29 | 浙江和仁科技股份有限公司 | 一种医疗信息集成引擎 |
| CN107992552A (zh) * | 2017-11-28 | 2018-05-04 | 南京莱斯信息技术股份有限公司 | 一种数据交换平台及数据交换方法 |
Non-Patent Citations (1)
| Title |
|---|
| 董恒竞: "信息孤岛与企业应用集成研究", 《电脑知识与技术》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110908641A (zh) * | 2019-11-27 | 2020-03-24 | 中国建设银行股份有限公司 | 基于可视化的流计算平台、方法、设备和存储介质 |
| CN110908641B (zh) * | 2019-11-27 | 2024-04-26 | 中国建设银行股份有限公司 | 基于可视化的流计算平台、方法、设备和存储介质 |
| CN111581299A (zh) * | 2020-04-30 | 2020-08-25 | 北华航天工业学院 | 基于大数据的多源数据仓库的库间数据转换系统及方法 |
| CN112735563A (zh) * | 2021-01-25 | 2021-04-30 | 珠海格力电器股份有限公司 | 推荐信息的生成方法、装置和处理器 |
| TWI817128B (zh) * | 2021-05-26 | 2023-10-01 | 鼎新電腦股份有限公司 | 企業資源規劃裝置及其智慧式除錯方法 |
| CN114116870A (zh) * | 2021-11-25 | 2022-03-01 | 江苏商贸职业学院 | 一种跨业务主题的数据交换方法及系统 |
| CN114417448A (zh) * | 2022-04-01 | 2022-04-29 | 创业慧康科技股份有限公司 | 一种基于物联网的数据标准模型设计系统及方法 |
| CN115840778A (zh) * | 2023-02-20 | 2023-03-24 | 北京百特云享科技有限公司 | 一种基于模型的可视化配置连接器及其连接方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109697062B (zh) | 2022-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109697062A (zh) | 一种多源数据交换系统及融合方法 | |
| CN104361424B (zh) | 基于企业服务总线的主数据系统集成方法 | |
| Shen et al. | Managing coordination in emergency response systems with information technologies | |
| Pang et al. | Data-source interoperability service for heterogeneous information integration in ubiquitous enterprises | |
| CN104283919A (zh) | 一种接口调用系统及方法 | |
| CN103458033A (zh) | 事件驱动、面向服务的物联网服务提供系统及其工作方法 | |
| CN108845798A (zh) | 一种可视化大数据任务编排框架及处理方法 | |
| CN106325887B (zh) | 一种基于Activiti的业务流程管理方法 | |
| CN106506256B (zh) | 一种基于平台+插件的设备监控系统及方法 | |
| Gökalp et al. | A visual programming framework for distributed Internet of Things centric complex event processing | |
| CN110457371A (zh) | 数据管理方法、装置、存储介质及系统 | |
| US20180018600A1 (en) | Method for facilitating network external computing assistance | |
| US9087353B2 (en) | Personalized demo environment based on software configuration information | |
| CN107220515A (zh) | 流产后关爱智能随访管理系统 | |
| US20080307211A1 (en) | Method and apparatus for dynamic configuration of an on-demand operating environment | |
| CN102904762B (zh) | 资源节点的监控方法及装置 | |
| US6748419B2 (en) | System and method for solid modeling | |
| CN106354507A (zh) | 一种企业级应用管理系统及其运行方法 | |
| US8935667B2 (en) | Synchronization of prospect information between software providers and resale partners | |
| CN104331632B (zh) | 用于处理诊疗流程的计算机软系统 | |
| Guojun et al. | An Application Research on the Workflow-based Large-scale Hospital Information System Integration | |
| CN110019136A (zh) | 报表生成系统及报表生成方法 | |
| JP7309170B2 (ja) | 製品開発支援システム、製品開発支援方法及びプログラム | |
| CN104123584A (zh) | 基于信息系统的组织优化方法 | |
| Vrba et al. | Jboss esb sniffer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220401 |