CN105897797A - 海量异构数据接入及标准化系统 - Google Patents
海量异构数据接入及标准化系统 Download PDFInfo
- Publication number
- CN105897797A CN105897797A CN201410727969.9A CN201410727969A CN105897797A CN 105897797 A CN105897797 A CN 105897797A CN 201410727969 A CN201410727969 A CN 201410727969A CN 105897797 A CN105897797 A CN 105897797A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- module
- message
- configuration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及一种海量异构数据接入及标准化系统，包括数据采集配置工具和异构信息采集适配服务两部分；数据采集适配工具为用户提供友好的操作界面，实现对数据端点配置、数据格式及属性配置，以及转换规则的有效配置；异构信息采集适配服务主要接收数据发布者发送过来的数据信息，为每一个外部系统分配一条管道，通过不同的消息通道处理不同种类的信息，采用推送模式对消息进行处理。
Description
技术领域
本发明属于计算机网络技术领域，具体涉及一种智慧城市物联网海量异构数据接入及标准化系统。
背景技术
智慧城市物联网信息系统建设的过程中面临各种数据交换和数据接入问题。而每种类型的数据因其格式、协议不同都需要独立开发集成服务软件来实现该部分数据的接入及传输。
目前对分布异构数据资源进行集成和管理的方法主要有数据复制方法和模式集成方法。数据复制方法是指将各个数据源的数据复制到与其相关的其它数据源上，并维护数据源整体上的一致性、提高信息共享利用的效率。最常见的数据复制方法就是通过ETL架构，经过抽取、转换、加载过程，将转换完的数据按计划增量或全部导入数据仓库的方法。这种数据集成方式的优点是数据高度集中，建立客户端较为方便。缺点是要提出一个统一的数据库模式来满足多个应用的需要。并且当多个应用通过共享数据库频繁地读取和修改相同的数据，会带来性能瓶颈。模式集成方法的基本思想是，在构建集成系统时将各数据源的数据视图集成为全局模式，使用户能够按照全局模式透明地访问各数据源的数据。模式集成方法包括联邦数据库及中间件方法。
典型的基于中间件的数据集成系统主要包括中间件和包装器，其中每个数据源对应一个包装器，中间件通过包装器和每个数据源交互。用户在全局模式基础上向中间件发出查询请求。中间件模式能够集成非数据库形式的数据源，实时性强。但是对于物联网感知数据源种类多的情况，需要分别开发不同的包装器，扩展性不强。
发明内容
本发明的目的是提出一种海量异构数据接入及标准化方法，它致力于通过灵活的配置工具，能够在不需要代码开发或是做出少量程序修改情况下，实现实时感知数据信息的采集、转换及分发。
本发明的技术方案如下：
一种海量异构数据接入及标准化系统，其特征在于：包括数据采集配置工具和异构信息采集适配服务两部分；数据采集适配工具为用户提供友好的操作界面，实现对数据端点配置、数据格式及属性配置，以及转换规则的有效配置；异构信息采集适配服务主要接收数据发布者发送过来的数据信息，为每一个外部系统分配一条管道，通过不同的消息通道处理不同种类的信息，采用推送模式对消息进行处理。
所述数据端点，即数据发布者和数据订阅者；所述转换规则配置，包括数据源的数据格式配置，目标数据格式配置，以及它们之间的数据转换规则配置。
所述异构信息采集适配服务包括信息路由模块、数据分发模块、链路管理模块、异常信息处理模块、数据映射关系管理模块和运行状态监控模块，其中，信息路由模块根据消息类型完成消息的路由；数据分发模块将消息转发到相应的订阅者；链路管理模块管理链路的连接、关闭、异常信息，通过给每个端点分配唯一的ID标识在发布者与订阅者之间建立连接关系；异常信息处理模块处理异常信息；数据适配接口模块进行消息聚合及分解，同时调用数据处理模块进行消息处理；数据映射关系管理模块管理信息发布者和消费者通道；运行状态监控模块查看各个通道状态信息，并统计发布者和订阅者的数量。
本发明主要实现消息格式适配、消息数据格式转换、消息传输功能，其主要起到异构实时感知数据的接入、标准化及共享。具体解决三个问题：1、当有多个数据源与目标系统时，如何在异构的系统之间建立消息通道，并将消息路由到目标系统。2、将数据源系统的消息格式转换成标准格式的数据形式。3、提供友好的操作界面，使用户可以配置发布者系统和订阅者系统的通信协议、网络通信信息，以及源数据及目标数据的格式。
具体实施方式
异构信息接入及标准化系统包括数据采集配置工具和异构信息采集适配服务两部分，两部分功能模块主要通过配置文件实现信息交互，进而实现异构感知信息的采集和标准化。
异构数据接入及标准化系统整个设计理念基于SOA技术架构与软件管道架构的结合，采用多样化数据采集通道与用户服务角色(数据发布者、数据订阅者)相分离，实现采集通道与用户角色的灵活配置，后台数据处理流程采用软件管道架构进行设计，根据信息中的内容，通过管道将数据发送到数据处理模块进行解析及处理，将转换后数据发布给不同的订阅者。
数据采集适配工具为用户提供友好的操作界面，实现了对数据采集端点配置、数据格式及属性配置，以及转换规则的有效配置。数据端点即数据发布者和数据订阅者。转换规则配置包括数据源的数据格式配置，目标数据格式配置，以及它们之间的数据转换规则配置。
异构信息采集适配服务主要接收数据发布者发送过来的数据信息，为每一个外部系统分配一条管道，通过不同的消息通道处理不同种类的信息，采用推送模式对消息进行处理。
数据推送是指数据源主动将数据推送到目的系统上。通过数据处理，将转换为标准格式的信息分发给数据订阅者(包括数据库中间件)。
为协调数据发布者与订阅者之间的异步，在订阅者端建立缓存。
异构信息采集适配服务包括信息路由模块、数据分发模块、链路管理模块、异常信息处理模块、数据映射关系管理模块和运行状态监控模块。信息路由模块根据消息类型完成消息的路由。数据分发子模块将消息转发到相应的订阅者。链路管理模块管理链路的连接、关闭、异常信息，通过给每个端点分配唯一的ID标识在发布者与订阅者之间建立连接关系。异常信息处理模块处理异常信息。数据适配接口模块进行消息聚合及分解，同时调用数据处理模块进行消息处理。数据映射关系管理模块管理信息发布者和消费者通道。运行状态监控模块查看各个通道状态信息，并统计发布者和订阅者的数量。
使用人员通过界面可视化方式实现系统参数、数据协议格式、数据协议转换等功能操作，系统根据配置的信息自动获取到网络环境、消息语义格式信息，从各类数据发布者(数据来源)接收数据，经过过滤、解析等过程，由数据平台处理后路由到相应的数据订阅者(数据去向)，进而实现数据的共享。系统作为数据转换路由服务的数据平台，在不同的发布者和订阅者之间建立映射关系，针对配置的数据处理类型进行对应的处理，避免多个包装器的开发，实现代码重用。
Claims (3)
1.一种海量异构数据接入及标准化系统，其特征在于：包括数据采集配置工具和异构信息采集适配服务两部分；数据采集适配工具为用户提供友好的操作界面，实现对数据端点配置、数据格式及属性配置，以及转换规则的有效配置；异构信息采集适配服务主要接收数据发布者发送过来的数据信息，为每一个外部系统分配一条管道，通过不同的消息通道处理不同种类的信息，采用推送模式对消息进行处理。
2.根据权利要求1所述的海量异构数据接入及标准化系统，其特征在于：所述数据端点，即数据发布者和数据订阅者；所述转换规则配置，包括数据源的数据格式配置，目标数据格式配置，以及它们之间的数据转换规则配置。
3.根据权利要求1所述的海量异构数据接入及标准化系统，其特征在于：所述异构信息采集适配服务包括信息路由模块、数据分发模块、链路管理模块、异常信息处理模块、数据映射关系管理模块和运行状态监控模块，其中，信息路由模块根据消息类型完成消息的路由；数据分发模块将消息转发到相应的订阅者；链路管理模块管理链路的连接、关闭、异常信息，通过给每个端点分配唯一的ID标识在发布者与订阅者之间建立连接关系；异常信息处理模块处理异常信息；数据适配接口模块进行消息聚合及分解，同时调用数据处理模块进行消息处理；数据映射关系管理模块管理信息发布者和消费者通道；运行状态监控模块查看各个通道状态信息，并统计发布者和订阅者的数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410727969.9A CN105897797A (zh) | 2014-12-03 | 2014-12-03 | 海量异构数据接入及标准化系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410727969.9A CN105897797A (zh) | 2014-12-03 | 2014-12-03 | 海量异构数据接入及标准化系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105897797A true CN105897797A (zh) | 2016-08-24 |
Family
ID=56699336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410727969.9A Pending CN105897797A (zh) | 2014-12-03 | 2014-12-03 | 海量异构数据接入及标准化系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105897797A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392818A (zh) * | 2017-06-05 | 2017-11-24 | 华讯方舟智慧信息科技（深圳）有限公司 | 一种城市移动综合管理与服务平台 |
| CN108429811A (zh) * | 2018-03-19 | 2018-08-21 | 武汉虹信通信技术有限责任公司 | 一种基于数据融合的数据统一接口管理系统及方法 |
| CN109344184A (zh) * | 2018-08-03 | 2019-02-15 | 上海小渔数据科技有限公司 | 用于数据转换的自动化处理方法及装置 |
| CN110417760A (zh) * | 2019-07-16 | 2019-11-05 | 工业互联网创新中心（上海）有限公司 | 工业互联网中边缘层的互操作方法及中间件 |
| CN111027284A (zh) * | 2019-12-05 | 2020-04-17 | 集奥聚合(北京)人工智能科技有限公司 | 一种基于数据灵活接入标准化输出方法 |
| CN112783728A (zh) * | 2021-01-28 | 2021-05-11 | 杉德银卡通信息服务有限公司 | 一种数据自动化处理方法及系统 |
| CN113656195A (zh) * | 2021-08-13 | 2021-11-16 | 广州虎牙科技有限公司 | 服务消息通道管理方法、装置和电子设备 |
| CN114979251A (zh) * | 2022-04-26 | 2022-08-30 | 东莞市海数云电子科技有限公司 | 一种跨系统协同服务异构数据交换工具 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102591725A (zh) * | 2011-12-20 | 2012-07-18 | 浙江鸿程计算机系统有限公司 | 一种异构数据库之间多线程数据交换的方法 |
| CN103136249A (zh) * | 2011-11-30 | 2013-06-05 | 北京航天长峰科技工业集团有限公司 | 多模态异构数据整合系统及方法 |
| CN104142942A (zh) * | 2013-05-08 | 2014-11-12 | 北京航天长峰科技工业集团有限公司 | 一种海量异构数据的接入及标准化方法 |
-
2014
- 2014-12-03 CN CN201410727969.9A patent/CN105897797A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103136249A (zh) * | 2011-11-30 | 2013-06-05 | 北京航天长峰科技工业集团有限公司 | 多模态异构数据整合系统及方法 |
| CN102591725A (zh) * | 2011-12-20 | 2012-07-18 | 浙江鸿程计算机系统有限公司 | 一种异构数据库之间多线程数据交换的方法 |
| CN104142942A (zh) * | 2013-05-08 | 2014-11-12 | 北京航天长峰科技工业集团有限公司 | 一种海量异构数据的接入及标准化方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107392818A (zh) * | 2017-06-05 | 2017-11-24 | 华讯方舟智慧信息科技（深圳）有限公司 | 一种城市移动综合管理与服务平台 |
| CN108429811A (zh) * | 2018-03-19 | 2018-08-21 | 武汉虹信通信技术有限责任公司 | 一种基于数据融合的数据统一接口管理系统及方法 |
| CN108429811B (zh) * | 2018-03-19 | 2020-11-03 | 武汉虹信通信技术有限责任公司 | 一种基于数据融合的数据统一接口管理系统及方法 |
| CN109344184A (zh) * | 2018-08-03 | 2019-02-15 | 上海小渔数据科技有限公司 | 用于数据转换的自动化处理方法及装置 |
| CN110417760A (zh) * | 2019-07-16 | 2019-11-05 | 工业互联网创新中心（上海）有限公司 | 工业互联网中边缘层的互操作方法及中间件 |
| CN111027284A (zh) * | 2019-12-05 | 2020-04-17 | 集奥聚合(北京)人工智能科技有限公司 | 一种基于数据灵活接入标准化输出方法 |
| CN111027284B (zh) * | 2019-12-05 | 2023-08-25 | 集奥聚合(北京)人工智能科技有限公司 | 一种基于数据灵活接入标准化输出方法 |
| CN112783728A (zh) * | 2021-01-28 | 2021-05-11 | 杉德银卡通信息服务有限公司 | 一种数据自动化处理方法及系统 |
| CN113656195A (zh) * | 2021-08-13 | 2021-11-16 | 广州虎牙科技有限公司 | 服务消息通道管理方法、装置和电子设备 |
| CN113656195B (zh) * | 2021-08-13 | 2024-02-27 | 广州虎牙科技有限公司 | 服务消息通道管理方法、装置和电子设备 |
| CN114979251A (zh) * | 2022-04-26 | 2022-08-30 | 东莞市海数云电子科技有限公司 | 一种跨系统协同服务异构数据交换工具 |
| CN114979251B (zh) * | 2022-04-26 | 2023-08-11 | 广东海术云电子科技有限公司 | 一种跨系统协同服务异构数据交换系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105897797A (zh) | 海量异构数据接入及标准化系统 | |
| CN104104738B (zh) | 一种基于ftp的数据交换系统 | |
| CN105260250B (zh) | 一种Linux系统与Android系统的双系统通信装置 | |
| CN106777227A (zh) | 基于云平台的多维数据融合分析系统及方法 | |
| CN102307223B (zh) | 一种实现应用平台适配的方法和系统 | |
| CN102567611A (zh) | 一种远程医疗系统及远程医疗设备 | |
| CN104951524B (zh) | 一种用于数据库运维的移动平台及其使用方法 | |
| CN105049304A (zh) | 支持多异构传输模块的物联网终端接入网关及应用系统 | |
| CN107844378A (zh) | 一种分布异构数据资源集成和管理系统 | |
| EP2530958A1 (en) | M2m platform communication system and method | |
| CN104702638A (zh) | 事件的订阅分发方法和装置 | |
| CN103051521A (zh) | 一种云环境下消息的转发方法 | |
| US10013429B2 (en) | Computer-implemented methods and systems for facilitating business-to-business transactions on a collaborative business network and for system integration message routing and identifier mapping utilizing a shared workspace mechanism | |
| CN102932431A (zh) | 一种基于消息路由的状态监测数据接口配置方法 | |
| CN101986614B (zh) | 一种面向物流应用的通用行业服务总线系统及其实现方法 | |
| CN101867623A (zh) | 对等网络服务原语系统 | |
| CN104219175B (zh) | 数据交换与服务调用系统及方法 | |
| KR102094041B1 (ko) | IoT 단말 간 실시간으로 자율적인 상호작용을 위한 RDF 그래프 기반의 Semantic 엔진을 구비한 시스템 | |
| CN102629345B (zh) | 链式沟通协作方法、装置及系统 | |
| CN101296232B (zh) | 一种多级网管多北向接口的适配装置及方法 | |
| CN101977165A (zh) | 云模式下的消息传输方法及消息总线系统 | |
| CN107480302A (zh) | 一种基于企业级应用场景的松耦合数据集成同步实现方法 | |
| RU2007149246A (ru) | Устройство предоставления услуги в устройстве связи | |
| US11706297B2 (en) | Integration of a machine into an existing distributed ledger network | |
| CN110086878A (zh) | 一种5g私有网络及构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160824 |