CN105187559B - 一种数据融合治理系统 - Google Patents
一种数据融合治理系统 Download PDFInfo
- Publication number
- CN105187559B CN105187559B CN201510634450.0A CN201510634450A CN105187559B CN 105187559 B CN105187559 B CN 105187559B CN 201510634450 A CN201510634450 A CN 201510634450A CN 105187559 B CN105187559 B CN 105187559B
- Authority
- CN
- China
- Prior art keywords
- interface
- message
- data
- service
- management module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 24
- 238000013461 design Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 10
- 238000005538 encapsulation Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000005194 fractionation Methods 0.000 claims description 3
- 230000008140 language development Effects 0.000 claims description 2
- 238000007726 management method Methods 0.000 abstract description 33
- 238000013468 resource allocation Methods 0.000 abstract description 2
- 238000012550 audit Methods 0.000 abstract 1
- 230000001915 proofreading effect Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 18
- 230000005856 abnormality Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000011144 upstream manufacturing Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013501 data transformation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000003999 initiator Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- WKKNCBFGLHEOCW-UHFFFAOYSA-N 4-[2-(4-sulfamoylphenyl)iminohydrazinyl]benzenesulfonamide Chemical compound C1=CC(S(=O)(=O)N)=CC=C1NN=NC1=CC=C(S(N)(=O)=O)C=C1 WKKNCBFGLHEOCW-UHFFFAOYSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/141—Setup of application sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据融合治理系统，包括接口消息收发模块、接口设计编辑器和接口服务管理模块，其中：接口消息收发模块与其中一个异构系统通过接口连接，用于读取来自该异构系统的消息，并将经接口服务管理模块处理后的信号传递给下游的另一个或者多个异构系统；接口设计编辑器对接入接口服务管理模块中的信息进行编辑和调试，并将调试后的信息部署到接口服务管理模块；接口服务管理模块用于对连接作业进行监控和管理。本发明较以往网状的“两两直通”方式，降低了管理成本，资源分配更加合理，实现了资源共享，统一了协议标准，流经系统的数据经过检查、校对和审核，提高了数据质量。
Description
技术领域
本发明涉及一种数据融合治理系统，尤其涉及一种异构系统之间接口互通互连的数据融合治理系统，属于计算机异构系统间通过接口连接消息的技术领域。
背景技术
目前，随着组织业务发展和不断变化，各种异构应用系统相继建立，但由于各异构系统建立有先有后，系不同厂商提供，不同厂商之间的开发语言不尽相同，因此，为了实现组织内以及组织与组织间异构系统之间的互通互连，消除信息“壁垒”，各异构系统间只能通过接口方式实现信息通信。
应用系统间接口连接方式往往采用“两两直通”，即每两个系统之间通过接口互相连接，若需要多个应用系统之间的相互连接，则需要无数个接口连接，导致在组织内部建立无数个连接，分别采用多个不同的标准。比如在组织中需要建立财务、运营等多个不同业务系统，这些系统在技术上分别采用不同语言开发、不同的数据库、不同的运行环境等，在这些异构系统中，如图1所示，HR（人力资源管理系统）分别与SRM（生产计划管理系统）、OA（内部办公系统）、PDM（产品数据管理系统）建立连接，ERP（企业资源计划与分配系统）分别与SRM、OA、PDM建立连接，CRM（客户关系管理系统）分别与SRM、OA、PDM建立连接，WMS（仓储管理系统）分别与SRM、OA、PDM建立连接。这种“两两直通”的方式主要存在以下问题：
1．接口连接数量指数倍于物理存在的系统数量。
2．连接方式如网状式混乱，复杂度高，不便管理。
3．接口开发语言和协议虽因地制宜，但标准各异。
4．接口建立参差不齐，存在重复建设。
5．较难实现统一协调资源和优化升级。
6．接口间传输的信息若需共享，需另开发接口，导致资源和成本浪费。
除此之外，异构系统之间还可以通过采用中间件的方式进行连通，这样不仅需要增加使用成本，而且中间件只封装消息并不具备数据融合的功能。
发明内容
本发明的目的在于：提供一种数据融合治理系统，构建业务应用中最基本的连接中枢应用系统，提供一种开放的、基于标准的、通用的消息传递和数据转换机制，通过简易的标准适配和接口协议封装，实现接口资源统一协调和部署、传输信息的统一监控和分配，满足组织中各异构应用系统间信息的实时互通互连；从而有效的解决现有异构系统之间采用两两直通连接方式存在的技术问题，从而能有效的解决上述现有技术中存在的问题。
本发明目的通过下述技术方案来实现：提供一种数据融合治理系统，一个异构系统与另一个或者多个异构系统之间的连接形成一个连接作业，包括接口消息收发模块、接口设计编辑器和接口服务管理模块，其中：接口消息收发模块与其中一个异构系统通过接口连接，用于读取来自该异构系统的消息，并将经接口服务管理模块处理后的消息传递给下游的另一个或者多个异构系统；接口设计编辑器对接入接口服务管理模块中的消息进行编辑和调试，并将调试后的消息发送给接口服务管理模块；接口服务管理模块用于对连接作业进行监控和管理；一个连接作业通过消息收发模块的接口进入，接口设计编辑器对连接作业的消息进行编辑和调试后，送入接口服务管理模块进行处理，然后通过消息收发模块传递给下游异构系统。
作为一种优选方式，所述异构系统与消息收发模块之间通过SOA模式进行连通。
作为一种优选方式，所述接口服务管理模块包括三个阶段，一是通过调用接口进行异构系统消息的接收，二是对异构系统消息的转换处理，包括对异构系统消息封装、翻译、数据校验、拆分、合并、转换、存储，三是将第二步所得的消息通过目标接口进行发送。
作为一种优选方式，接口服务管理模块中的作业请求包括数据上报、数据下发和服务交互。
作为一种优选方式，作业请求的接收和调用方式包括同步和异步。
作为一种优选方式，接口服务管理模块对连接作业的发布、排序、冻结、暂停、删除以及运行过程进行监控和管理。
作为一种优选方式，接口服务管理模块内设有接口适配器，用于监听和接收异构系统消息，并将消息转换处理、封装翻译。
本发明所述数据融合治理系统应用于异构系统之间接口互通互连，消息的统一和协调，适用于组织内接口的统一建立和应用；通过对消息中实用数据的采集、转换和传递，用于数据仓库、数据交换中心对不同数据源数据的采集和整合；通过数据内容的判断和校验，对流入和流出系统的数据完整性、准确性和数据格式进行检查、校对和处理，便于数据内容的治理和质量提升。
与现有技术相比，本发明的有益效果：本发明所述数据融合治理系统较以往网状的“两两直通”方式，具备如下优点：
1.降低管理成本：改变了以前一个组织几十个接口分别管理和维护的杂乱局面，对组织内部接口进行统一管理、统一部署，避免接口重复开发，节约成本；
2.资源合理分配：根据业务重要性和紧迫程度，接口服务统一调度和排序，充分利用系统空余时间以及系统的软硬件资源；
3.实现资源共享：由两两直连升级为所有接口统一与本系统对接，既可以实现多个上游同时接入本系统，通过本系统汇聚信息到下游，也可实现一个上游信息通过本系统自动分别传递给下游；
4.统一协议标准：接入系统的消息与协议翻译和封装为统一的标准，供下游其他接口使用；
5.提高数据质量：本系统预置数据完整性和准确性标准，流入的数据通过标准化校验，一是及时发现数据存在的问题，二是可直接杜绝“短斤少两”或不准确的数据传递，确保正常通过系统的数据的可用性；
另外，本发明较传统的接口中间件具备如下优点：
1.平台对接口的处理功能，完全包括传统中间件对接口语义、协议进行标准化封装及翻译，并路由到下游接口；
2.实现数据的融合，接口经过本系统的数据，一是可以对数据进行格式转换、内容拆分、合并、派生新的信息等；二是在传递给下游的同时，可以存储在本地，也可以发送给其他接口；另外，系统一方面通过接口通信传递和处理少量的实时数据，另一方面可以直接读取数据库数据，实现不同数据源业务数据的集成，可用于组织从各业务系统中抽取（Extract）、转换（Transform）和加载（Load）业务数据到数据仓库的ETL工具。
附图说明
图1是本现有异构系统之间采用两两直通连接方式的举例示意图。
图2是本发明接口间消息处理流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了相互排斥的特质和/或步骤以外，均可以以任何方式组合，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换，即，除非特别叙述，每个特征之一系列等效或类似特征中的一个实例而已。
一个异构系统与另一个或者多个异构系统之间的连接形成一个连接作业，系统之间通过接口连接方式，分为两个系统之间一对一连接和一个系统与多个系统之间连接的一对多连接，每个连接即为一个服务或一个作业。系统对每个服务的发布、排序、冻结、暂停、删除以及运行过程进行监控和管理。
本发明旨在为连接作业构建业务应用中最基本的连接中枢应用系统，提供一种开放的、基于标准的、通用的消息传递和数据转换机制，通过简易的标准适配和接口协议封装，实现接口资源统一协调和部署、传输信息的统一监控和分配，满足组织中各异构应用系统间信息的实时互通互连及连接的统一调度和管理。各异构应用系统通过接口与数据融合系统进行连接，由数据融合系统对接口传递的信息进行翻译和标准化封装后，传递给下游应用系统，避免各异构系统之间各自建立标准通过接口直接连接。统一数据格式、接口标准、部署接口、资源分配。
具体来说，该数据融合治理系统，包括消息收发模块、接口设计编辑器和接口服务管理模块。
消息收发模块用于消息的接收和发送，与其中一个异构系统通过接口连接，用于读取来自该异构系统的消息，如地址、认证、参数等，并将经接口服务管理模块翻译、封装及数据校验、拆分、合并等处理后的消息传递给下游的另一个或者多个异构系统。
在服务管理模块工作的服务或作业，需提前在接口设计编辑器中进行编辑和调试成功后，部署到服务模块中才能进行工作。接口设计编辑器对接口应用的编辑模块化、图形化、配置化，通过拖拽的方式进行编辑和设计，减少程序代码的编辑，编辑过程直观、便捷。在服务管理模块工作的服务或作业，需提前在接口设计编辑器中进行编辑和调试成功后，部署到服务模块中才能进行工作。
接口服务管理模块用于对连接作业的发布、排序、冻结、暂停、删除以及运行过程进行监控和管理；一个连接作业通过消息收发模块的接口进入，接口设计编辑器对连接作业的消息进行编辑和调试后，送入接口服务管理模块进行处理，然后通过信息收发模块传递给下游异构系统。
本数据融合治理系统具备以下主要功能模块：
收发消息：侦听、接收各种应用系统接口信息，含WEB方式、单机上独立运行的应用之间的接口，向应用系统传递信息。
封装翻译：翻译和封装各种应用系统接口传递的异构消息为 XML格式；将本平台标准的 XML消息翻译成其他异构接口消息格式，并传递给其他接口。
数据处理：对输入和输出的结构化数据进行完整性和准确性校验，格式转换、清洗、存储。
服务管理：接口之间通信以服务方式建立并运行，一个接口间消息的传递视为一个服务；运行的接口服务能进行发布、排序、冻结、注销、监控等维护管理。
编辑设计：服务作业通过的接口设计编辑器，通过配置和拖拽方式完成，进行可视化编辑、调试和部署。
本数据融合治理系统功能实现分为两个部分：一是接口服务作业编辑接口设计编辑器，二是服务的管理。
接口与系统之间连接并传递和处理信息，需要通过编辑设计，编辑设计完成后，在设计端进行调成功后，部署到服务进行工作。
为了区别于传统的通过编辑程序代码文件的方式实现接口通信，本系统采用通用的JAVA语言开发，springMVC+ easyUI + Jquery Js技术。接口设计编辑器通过模块化、图形化、配置化、拖拽的方式实现和生成接口工作文件。把接口的调用、消息的接收和发送、数据的校验和转换处理、路由的分配等功能，通过JAVA语言开发并封装成通用的方法类，前台设计成工具化的图标，通过拖拽各个图标工具到编辑界面，展开各图标，进行参数填写、选择、配置把参数传递给后台封装好的方法类，实现接口通过本系统的通信。
根据接口消息调用、处理和传递的流程，对其进行分解三个大的阶段，一是消息源，调用接口，接收消息；二是消息转换处理，消息封装翻译、转换、存储；三是消息发送到目标，调用目标接口并发送消息。对每个阶段提供多个具体工具。工具图标设置在编辑器界面左侧的树型菜单中。
连接到本系统外部异构系统接口连接方式分为：一是调用A系统接口提取信息；二是本系统发布接口，供A系统调用并传递给本系统信息。
连接外部异构系统接口的方式通过接口方式基于成熟的SOA模式。SOA（service-oriented architecture）面向服务的体系结构，是一个组件模型，它将应用程序的不同功能通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种异构系统中的服务可以以一种统一和通用的方式进行交互。
为满足各种异构系统接口与本系统接入，系统通过建立的接口适配器实现，适配器可以收发和处理socket、FTP、HTTP以及telnet多种类型的接口消息，适配器提供三个配置文件（db_context.properties、interface_context.properties、webservice_context.properties），为接入系统方定制相应的接口适配组件；同时，当接口服务发生变化时，接入系统方可以通过修改这三个文件来及时修改服务指向和内容，针对同类型接口的方法可以重用。
适配器支持的标准协议：SOAP/HTTP、JMS、HTTP/HTTPS、SOCKET、JDBC、RMI、WEBSERVICE、HOSTIPAL。
系统把需要调用消息源接口的地址、服务名称、认证信息、参数、接口服务类型等内容设计成一个界面，让用户可视化地填写和配置。
接收到的消息以报文的形式体现，包含服务ID、服务名称、消息名称、消息类型、发送方、接收方、消息体等信息。
消息监听：接口适配器采用监听的方式来接收外部消息。当有消息到达时，会立刻触发产生监听事件，读取队列中的消息，并调用inMessage方法对该消息进行处理。
消息接收：接口中的队列接受来自接入系统方的接口消息，当消息到达队列时，消息会被自动识别类型，根据消息的类型，进行相应消息格式的处理，按系统的数据规范，把数据封装成Header、Body。
消息转换处理：这个阶段首先需要对消息进行必要的转换，其次需要对消息中包含的业务数据进行值的校验、格式的转换处理。
封装翻译：系统接收到消息后，调用接口适配器，会自动将其解析、转换、组合成XML格式消息格式的规范数据，并针对消息数据的Head、Body等进行拆分、合并、转换、翻译。
消息格式如下：
<MSG>
<HEADER>
<SERVICENAME>SY_DYHY</ SERVICENAME>
<SENDER>DSPT</ SENDER>
</ HEADER>
<BODY>
<hight>setier</hight>
</BODY>
</MSG>
在一些简单的作业中，不需要消息格式的翻译、协议的翻译，只需要将消息进行转发即可，此时直接用到接口的转发功能。A系统可以将消息放入接口队列中，然后B系统直接从队列中接收消息。
这些程序在后台编辑实现，并封装成实用的方法类，前台编辑的页面通过填写和配置参数，这些参数实际传递给后台具体的方法类进行执行。
数据处理：本系统连接和管理多个异构的接口，既满足接口消息的传递，更重要地是对流过本系统的数据进行检查、格式规范、转换、分拆、合并和存储，发送或保存到数据中心，满足数据的交换存储。
系统对两种情况的数据进行处理，一种是从接口中读出的数据；另一种是直接连接数据库，处理批量数据。
选择数据：消息经翻译后，从XML文件中拣出其中需要处理的业务数据，以数据库表的字段列表形式展现，做为数据转换处理的的字段输入，为了方便数据处理，对于确定的输入字段，系统不仅列示出字段名称，同时列出字段类型，如字符字段可以确定长度，数值字段能确定小数位数，满足系统通过可视化的方式选择和取舍不同内容的字段信息，将底层选取字段信息的方法和内容以图形界面的方式呈现。
数据转换：系统针对从消息中拣出来的字段进行转换，后台把数据库中对字段进行转换的函数如convert()，封装成方法类，支持各种类型之间的转换，如时间格式互换、字符与时间/日期互换、字符与数值之间互换、不同进制之间的互换等，均通过编辑的可视化页面进行选择配置而实现。
数据转换的功能还包括对拣出的多个字段进行合并、一个字段根据条件拆分、根据现有字段派生出新的字段等。系统后台对字段进行合并、拆分、派生等语句都封装成方法类，由接口设计编辑器前台编辑的页面工具进行选择、调用。
数据存储：经过转换成功的字段，以表字段的顺序和格式存储到数据库表中。拖动“表输出”图标到编辑界面，对“表输出”进行编辑和配置，填写步骤名称、选择数据连接方式、数据库模式、以及目标表等内容。
为了满足数据可以存储于本地数据库或其他数据库，可以选择连接的目标数据库类型、目标数据库、直接指定数据库表。
系统用专门的数据库用于来自异构系统数据融合后的存储和管理。
系统的数据库可以根据需要采用不同数据库，如常用的MSSQL、ORACLE、SYBASE、MYSQL、MONGODB等，系统兼容多个数据库、并保证能根据实际需要通过配置与多个数据库连接。
对来自异构系统的数据进行收集、转换、合并、拆分、派生、存储，即：合并来自异构系统的两条数据为一条具备沟稽关系数据；如有必要，可以对数据进行加密后传输和存储。
消息发送到目标：经处理后的消息发送给接收方，技术实现方法与接收消息源的方法相反，系统设计了目标的图标，展开并配置目标图标，界面配置URL地址、编码格式、认证信息及其他参数，将配置的内容传入后台消息发送方法类，后台也需调用适配器，下图为通过HTTPPOST WEB SERVICE传送方式。
服务管理：接口设计编辑器编辑开发后的接口服务，部署到服务端进行工作，服务端对每个接口服务按作业方式进行注册、启用、冻结、暂停、删除等管理，并对每个接口服务作业进行计划调度，采用通用的JAVA语言开发技术实现。
如图2所示，图2为A、B两业务系统之间通过平台实现数据共享并交互的功能流程图解。请求由A系统发起，B系统响应。其业务应用数据和服务实现的过程数据均保存在数据融合治理平台的数据库中。
消息流程说明：服务请求分为数据上报、数据下发、服务交互三类。前两者在平台均需保存数据到数据库。
服务请求的接收和调用方式可为同步或异步方式。
日志记录流程是以异步的方式触发和记录到平台的数据库。
异常处理方式分两类：对于同步调用则以同步方式处理，向请求方返回异常处理结果。对于异步调用则以异步方式触发异常处理流程。异常处理的流程步骤和处理结果均需保存于数据库中，以便监控。
数据治理存储需保存两部分数据，一是服务作业流程的消息数据；二是业务应用数据，包括异构数据质量校验、格式的标准化转换、数据的派生、合并以及分类存储。
节点描述：
1.服务请求方以接口方式，通过平台提供的WEB服务接口将消息传入平台。
2.平台通过侦听、监测接收到请求方传入的消息。
3.启动日志记录流程，记录当前服务请求信息、请求方信息、请求时间信息。
4.平台解析所获取的消息，并转换为XML消息：取得消息头数据（Message/Header）；取得请求输入参数数据（Message/Body）；将Message/Header/CreateTime值设为当前时间点。
5.取得消息路由数据，根据Message/Header/ServiceName和Message/Header/Sender进行路由选择，取得服务提供者URL或其他地址、端口、身份等信息。SERVICETYPE=0或SERVICETYPE=1表示为数据传入的操作请求，Message/Header/ServiceName代表数据发送方WEB服务名，URL取值为Message/Header/Sender所代表数据接收方接收数据WEB服务URL，由T_SERVICE_ENTITY.RECEVEURL取得。SERVICETYPE=2表示为服务交互请求，URL取值为Message/Header/ServiceName所代表的注册WEB服务所提供的URL，由T_SERVICE_INFO.SERVICEURL取得。
6.平台通过URL调用服务提供者所提供的WEB服务。
如果SERVICETYPE=0或SERVICETYPE=1则以异步方式调用WEB服务，将解析好的请求消息发至异步服务处理消息队列中，供异步服务处理监听器处理。
如果SERVICETYPE=2则以同步方式调用WEB服务，取得服务响应结果，并将结果更新至Message/Body节点下，形成请求回复消息返回至服务发起方。
7.如果期间出现异常情况则将异常简要说明填至Message/Header/Exception节点下。
如果调用成功，则检查目标服务状态，T_SERVICE_INFO表中的STATE字段值，如果当前值前值为1，表示不可用，则将其修改为0，表示可用。
如果调用失败，则进入异常处理流程，记录异常信息，关闭服务作业，提示异常信息。
8.服务接收者响应来自平台的服务调用，如果是交互调用，SERVICETYPE=2，则结果数据将返回至平台，平台转换为XML格式，最终平台将结果返回至服务发起方。
9.来自上、下游系统的一个记录的数据，根据业务需要既可于上、下游系统数据共享或相互调用，也可同时保存在平台数据库中，并需对异构数据进行格式转换、完整性校验、合并或拆分等一系列数据治理。
10.平台生成此次服务请求执行日志，记录下服务请求完成的时间信息及完成状态。日志的处理将以异步处理方式进行，将日志发至日志处理消息队列供日志监器处理。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种数据融合治理系统，一个异构系统与另一个或者多个异构系统之间的连接形成一个连接作业，其特征在于：包括接口消息收发模块、接口设计编辑器和接口服务管理模块，其中：接口消息收发模块与其中一个异构系统通过接口连接，用于读取来自该异构系统的消息，并将经接口服务管理模块处理后的消息传递给下游的另一个或者多个异构系统；接口设计编辑器对接入接口服务管理模块中的消息进行编辑和调试，并将调试后的消息发送给接口服务管理模块；接口服务管理模块用于对连接作业进行监控和管理；一个连接作业通过消息收发模块的接口进入，接口设计编辑器对连接作业的消息进行编辑和调试后，送入接口服务管理模块进行处理，然后通过消息收发模块传递给下游异构系统；该接口服务管理模块内设有接口适配器，用于监听和接收异构系统消息，并将消息转换处理、封装翻译；该接口适配器用于收发和处理socket、FTP、HTTP以及telnet类型的接口消息，该接口适配器提供三个配置文件，为接入系统方定制相应的接口适配组件；当接口服务发生变化时，接入系统方可以通过修改这三个配置文件来及时修改服务指向和内容；所述数据融合治理系统功能通过编辑设计和服务管理实现，所述编辑设计为服务作业通过的接口设计编辑器，通过配置和拖拽方式完成，进行可视化编辑、调试和部署；所述服务管理为接口设计编辑器编辑开发后的接口服务，部署到服务端进行工作，服务端对每个接口服务按作业方式进行注册、启用、冻结、暂停、删除以及运行过程进行监控和管理，并对每个接口服务作业进行计划调度，采用JAVA语言开发技术实现。
2.如权利要求1所述的数据融合治理系统，其特征在于：所述异构系统与消息收发模块之间通过SOA模式进行连通。
3.如权利要求1所述的数据融合治理系统，其特征在于：所述接口服务管理模块包括三个阶段，一是通过调用接口进行异构系统消息的接收，二是对异构系统消息的转换处理，包括对异构系统消息封装、翻译、数据校验、拆分、合并、转换、存储，三是将第二步所得的消息通过目标接口进行发送。
4.如权利要求1所述的数据融合治理系统，其特征在于：接口服务管理模块中的作业请求包括数据上报、数据下发和服务交互。
5.如权利要求1所述的数据融合治理系统，其特征在于：作业请求的接收和调用方式包括同步和异步。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510634450.0A CN105187559B (zh) | 2015-09-30 | 2015-09-30 | 一种数据融合治理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510634450.0A CN105187559B (zh) | 2015-09-30 | 2015-09-30 | 一种数据融合治理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105187559A CN105187559A (zh) | 2015-12-23 |
| CN105187559B true CN105187559B (zh) | 2019-06-11 |
Family
ID=54909398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510634450.0A Active CN105187559B (zh) | 2015-09-30 | 2015-09-30 | 一种数据融合治理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105187559B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105515875A (zh) * | 2015-12-25 | 2016-04-20 | 广东亿迅科技有限公司 | 一种总机管理的方法 |
| CN105429864A (zh) * | 2015-12-28 | 2016-03-23 | 北京致远协创软件有限公司 | 数据交换中心、系统、方法、数据发送及接收方法、装置 |
| CN105893116A (zh) * | 2016-04-12 | 2016-08-24 | 深圳前海大数点科技有限公司 | 一种面向实时数据流处理的可视化流程管理系统与方法 |
| CN106598758B (zh) * | 2016-12-14 | 2021-04-06 | 咪咕文化科技有限公司 | 一种集中转发及调用方法及系统 |
| CN107451460A (zh) * | 2017-06-28 | 2017-12-08 | 努比亚技术有限公司 | 接口处理方法、设备、服务器及计算机可读存储介质 |
| CN108416568A (zh) * | 2018-02-09 | 2018-08-17 | 深圳太极云软技术股份有限公司 | 政务业务数据处理方法、装置及终端设备 |
| CN108960745A (zh) * | 2018-08-10 | 2018-12-07 | 河南省西峡汽车水泵股份有限公司 | 一种wms系统与erp系统对接方法 |
| CN109815271A (zh) * | 2019-01-17 | 2019-05-28 | 四川驹马科技有限公司 | 一种基于MongoDB的业务、财务数据处理方法 |
| CN109767195A (zh) * | 2019-01-22 | 2019-05-17 | 浪潮软件集团有限公司 | 一种企业信息管理系统和方法 |
| CN110399529A (zh) * | 2019-07-23 | 2019-11-01 | 福建奇点时空数字科技有限公司 | 一种基于深度学习技术的数据实体抽取方法 |
| CN113032376A (zh) * | 2019-12-25 | 2021-06-25 | 陕西云基华海信息技术有限公司 | 一种海量数据质量管理与治理的系统 |
| CN111800434A (zh) * | 2020-07-22 | 2020-10-20 | 睿智合创(北京)科技有限公司 | 一种多渠道资产对接平台及其工作方法 |
| CN112039968A (zh) * | 2020-08-25 | 2020-12-04 | 中央广播电视总台 | 一种数据处理系统 |
| CN112908441B (zh) * | 2021-03-04 | 2024-06-21 | 文华学院 | 一种医疗平台的数据处理方法、装置以及处理设备 |
| CN112948306B (zh) * | 2021-03-30 | 2024-07-09 | 中国建设银行股份有限公司 | 扩展系统接口的方法和装置 |
| CN113282457B (zh) * | 2021-05-25 | 2022-11-22 | 浪潮通用软件有限公司 | 一种异构系统集成接口信息的维护方法、设备及介质 |
| CN113923094A (zh) * | 2021-09-01 | 2022-01-11 | 浙江绿城未来数智科技有限公司 | 一种智慧社区异构系统消息互通的方法 |
| CN115858203B (zh) * | 2023-02-09 | 2023-06-20 | 中国电子科技集团公司第十研究所 | 异构功能交互信息翻译系统及方法 |
| CN116155719A (zh) * | 2023-02-21 | 2023-05-23 | 支付宝(杭州)信息技术有限公司 | 一种异构通信方法、装置以及设备 |
| CN116466940B (zh) * | 2023-04-24 | 2024-05-31 | 中煤科工集团重庆研究院有限公司 | 一种煤矿灾害特征数据融合处理方法 |
| CN117724869A (zh) * | 2023-12-19 | 2024-03-19 | 成都九天智信科技有限公司 | 一种基于web的自定义的系统流程编辑器 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101472136A (zh) * | 2007-12-25 | 2009-07-01 | 新奥特（北京）视频技术有限公司 | 一种系统间交互装置 |
| CN102088459A (zh) * | 2010-12-29 | 2011-06-08 | 广东楚天龙智能卡有限公司 | 一种基于可信交换的大集中数据交换与集成平台 |
| CN102142027A (zh) * | 2011-02-23 | 2011-08-03 | 南京智尚丰软件有限公司 | 数据整合的适配方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103023609A (zh) * | 2012-11-22 | 2013-04-03 | 用友软件股份有限公司 | 用于异构系统间的数据传输装置和数据传输方法 |
-
2015
- 2015-09-30 CN CN201510634450.0A patent/CN105187559B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101472136A (zh) * | 2007-12-25 | 2009-07-01 | 新奥特（北京）视频技术有限公司 | 一种系统间交互装置 |
| CN102088459A (zh) * | 2010-12-29 | 2011-06-08 | 广东楚天龙智能卡有限公司 | 一种基于可信交换的大集中数据交换与集成平台 |
| CN102142027A (zh) * | 2011-02-23 | 2011-08-03 | 南京智尚丰软件有限公司 | 数据整合的适配方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105187559A (zh) | 2015-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105187559B (zh) | 一种数据融合治理系统 | |
| CN112925660B (zh) | 一种工业互联的信息交互系统 | |
| CN106131213B (zh) | 一种服务管理方法和系统 | |
| CN104104738B (zh) | 一种基于ftp的数据交换系统 | |
| CN103458033B (zh) | 事件驱动、面向服务的物联网服务提供系统及其工作方法 | |
| CN102902536B (zh) | 一种物联网计算机系统 | |
| CN101420437B (zh) | 一种原型系统与hla仿真系统的接口设备 | |
| CN103220285B (zh) | 泛在业务环境下基于RESTful接口的接入系统 | |
| CN103139234B (zh) | 一种数据服务封装的装置及方法 | |
| CN113268319A (zh) | 基于微服务架构的业务流程定制与分布式流程调度方法 | |
| CN101582894B (zh) | 一种用于企业信息化异构系统集成的语义网关 | |
| CN109697062B (zh) | 一种多源数据交换系统及融合方法 | |
| CN112511591B (zh) | 一种医院接口数据交互的实现方法、装置、设备和介质 | |
| CN105049304A (zh) | 支持多异构传输模块的物联网终端接入网关及应用系统 | |
| CN104156822A (zh) | 一种基于soa的企业级信息系统综合运维管控方法 | |
| CN101826987A (zh) | 一种基于融合开放网络的混合服务支撑系统及方法 | |
| CN101167327A (zh) | 通过移动应用程序访问多个数据源的系统和方法 | |
| CN105786913A (zh) | 一种面向云制造平台的erp集成数据库服务接口封装系统及方法 | |
| CN113992769B (zh) | 一种工业互联网信息交换方法 | |
| CN104301401A (zh) | 一种基于快速服务封装的移动应用平台 | |
| CN113766026B (zh) | 一种应用于能源工业网的数据处理方法及系统 | |
| CN110708201B (zh) | 运维服务化管控方法及装置 | |
| WO2009051340A1 (en) | Framework device of mobile terminal and method for providing interoperability between components | |
| CN114416314B (zh) | 一种基于api网关的服务编排方法 | |
| CN109743249A (zh) | 乘客信息系统的集成网关的形成方法、集成网关和集成系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 215000, 3rd Floor, Building 43, Zone A, Energy Conservation and Environmental Protection Innovation Park, No. 199 Hongwu Avenue, Tangqiao Town, Zhangjiagang City, Suzhou City, Jiangsu Province Patentee after: Suzhou Yiyuan Wanshu Technology Co.,Ltd. Address before: Room 715, Electronic Information Industry Building, No. 159, East Section 1, 1st Ring Road, Chenghua District, Chengdu City, Sichuan Province, 610000 Patentee before: CHENGDU ZHIXIN ELECTRONIC TECHNOLOGY Co.,Ltd. |