CN103136249A - 多模态异构数据整合系统及方法 - Google Patents

Abstract

本发明提供一种多模态异构数据整合系统及方法，系统包括原始数据库、数据抽取工具、共享数据库、数据共享平台、数据资源管理模块及数据应用模块；利用数据抽取工具，对分布在不同系统、部门的各种共享数据资源，进行标准化转换、清洗、过滤、关联和标引，并将处理结果储存在共享数据库中；对共享数据库进行数据注册管理、数据标准检测、数据质量管理和数据运行监控；提供通过数据应用模块查询共享数据库及原始数据库的数据共享和查询通道；提供用户对共享数据库及原始数据库的查询界面，包括数据资源智能搜索、数据订阅、数据下载。

Description

多模态异构数据整合系统及方法

技术领域

本发明涉及一种数据库信息的整合和利用方法，尤其是将具有不同数据结构的多种数据库的信息整合，提供统一平台进行利用的方法，属于数据融合、数据挖掘领域。

背景技术

近年来，随着信息化建设加速发展，数字城市工程、金盾工程以及城市管理职能部门各类业务信息系统资源愈来愈丰厚。然而，这些信息系统存在着运行环境分散，信息结构不统一，信息综合利用困难，信息共享程度不高等问题。因此，通过建立统一的数据标准，构建一个综合信息共享平台(综合数据库)，实现对多种模式及异构数据资源的汇集整合，从而促进各业务系统信息的共享和综合利用成为当前人们关注和亟待解决的一个热点问题。

通过建立多模态异构数据整合系统能够进一步深化数据资源利用率，需充分利用现有的网络、硬件以及数据环境，建立更高一级共享数据资源库，实现各业务部门对外共享数据及社会数据的汇总，参照国家标准建立数据标准化机制和统一的管理机制，在满足数据共享的安全性与可发展性基础上，为其他应用在今后提供标准化、高质量的数据支持。

发明内容

本的目的在于针对现行各个信息系统资源，通过建立统一的数据标准，构建一个综合信息共享平台(综合数据库)，实现对多种模式及异构数据资源的汇集整合，从而促进各业务系统信息的共享和综合利用。

为实现本发明的目的，本发明提供了一种多模态异构数据整合系统，其特征在于，包括原始数据库、数据抽取工具、共享数据库、数据共享平台、数据资源管理模块及数据应用模块，其中：

所述原始数据库包括分布在不同系统、部门的各种共享数据库，其由不同开发平台、不同开发商建设；

所述数据抽取工具，是根据原始数据库中的数据内容特征，按设定的格式，对原始数据库中的数据进行标准化转换、清洗、过滤、关联和标引，并将处理结果储存在共享数据库中的工具，实现共享数据的统一整合，为数据共享、数据分析提供数据基础；

所述共享数据库，负责储存数据抽取工具加工处理的数据结果；

所述数据共享平台，提供通过数据应用模块查询共享数据库及原始数据库的数据共享和查询通道；

所述数据资源管理模块，负责对共享数据库进行数据注册管理、数据标准检测、数据质量管理和数据运行监控；

所述数据应用模块，提供用户对共享数据库及原始数据库的查询界面，包括数据资源智能搜索、数据订阅、数据下载。

为实现本发明的目的，本发明还提供一种多模态异构数据整合方法，其特征在于：

(1)建立共享数据库：利用数据抽取工具，对分布在不同系统、部门的各种共享数据资源，进行标准化转换、清洗、过滤、关联和标引，并将处理结果储存在共享数据库中；

(2)数据资源管理：对共享数据库进行数据注册管理、数据标准检测、数据质量管理和数据运行监控；

(3)建立数据共享平台：提供通过数据应用模块查询共享数据库及原始数据库的数据共享和查询通道；

(4)提供数据应用平台：提供用户对共享数据库及原始数据库的查询界面，包括数据资源智能搜索、数据订阅、数据下载。

本发明通过对数据资源整合和数据资源管理的强化，将为信息化业务工作带来如下价值：

(1)降低了后续应用系统数据共享的难度和建设成本。当前各应用系统由多个开发平台、多家开发商建设，数据内容、结构、代码等存在较大差异，数据间的复用难度极大。建设统一共享数据资源库，实现统一共享数据资源的标准化转换，对外提供统一标准化服务接口，简化应用系统之间的信息共享与交互，节约了应用系统的建设成本。

(2)提高了数据的应用性和效率。数据资源共享通过共享数据资源库统一服务接口实现，避免直接访问业务系统生产库，降低了对业务系统性能的影响。同时，共享数据资源库的数据抽取与转换将根据业务系统的实际运行情况，制定相应用的数据更新维护方案，从而有效避免了业务应用系统的性能瓶颈，提高了数据的应用性能和效率。

(3)为跨部门、跨系统、跨地域的统计分析、领导决策等数据资源综合应用打下坚实的数据基础。统计分析、领导决策等综合应用系统的建设需要大量业务数据、历史数据的支持，通过建设共享数据资源库能够有效解决当前由于系统分散建设所造成的数据分散的问题，实现数据资源的集中存储与应用。

(4)能够提高数据共享安全性与可靠性。数据集中管理能够使管理员在统一平台上实现各业务共享数据对外服务的管理，实现对各外部接入权限的控制，并提供对各种接入的倒查审计功能，提高了数据资源对外共享的安全性。

附图说明

图1是本发明的系统架构示意图

图2是本发明的系统网络结构示意图

图3是本发明的多模态异构数据整合流程图

具体实施方式

本发明系统总体架构如图1所示，实现对原有多业务系统存在的多模式异构数据资源的数据采集、整合及存储，建立多模态异构数据整合系统与各业务系统资源库之间的信息采集接口，实现信息的分级采集。实现数据交换，通过可靠的数据传输引擎和后台管理，实现各类数据的传输、加载和同步。实现数据的共享存储。为面向决策的数据统计分析应用提供数据支持。系统包括原始数据库、数据抽取工具、共享数据库、数据共享平台、数据资源管理模块及数据应用模块，其中：

所述原始数据库包括分布在不同系统、部门的各种共享数据库，其由不同开发平台、不同开发商建设；

所述数据抽取工具，是根据原始数据库中的数据内容特征，按设定的格式，对原始数据库中的数据进行标准化转换、清洗、过滤、关联和标引，并将处理结果储存在共享数据库中的工具，实现共享数据的统一整合，为数据共享、数据分析提供数据基础；

所述共享数据库，负责储存数据抽取工具加工处理的数据结果；

所述数据共享平台，提供通过数据应用模块查询共享数据库及原始数据库的数据共享和查询通道；

所述数据资源管理模块，负责对共享数据库进行数据注册管理、数据标准检测、数据质量管理和数据运行监控；

所述数据应用模块，提供用户对共享数据库及原始数据库的查询界面，包括数据资源智能搜索、数据订阅、数据下载。

本发明的系统网络结构如图2所示，系统网络分为数据库服务器区、数据管理服务器区和共享及应用服务器区三个部分。数据库服务器区主要部署数据库服务器及磁盘存储设备。数据管理服务器区主要部署数据管理的相关应用。共享及应用服务器区包括共享服务平台及数据应用的服务器。

本发明的多模态异构数据整合流程如图3所示。

1、共享数据资源库建设

共享数据资源库的建设是将分布在不同系统、部门的各种共享数据资源进行汇总集中，利用数据标准化转换、清洗、过滤、关联等手段，实现共享数据的统一整合，为数据共享、数据分析等应用提供数据基础。共享数据资源库的数据建设及整合流程如图3所示。

2、数据资源管理

数据注册管理：建立长效的数据资源注册与发布机制，能够使数据管理人员及时了解和掌握所管理的数据资源的总体情况，实现对各类资源库所涉及数据信息进行管理和维护，简化数据层面的工作流程。数据资源注册管理通过可视化、规范化的数据资源地图管理，帮助数据管理人员了解管理的数据内容，对应数据的含义；同时，利用记录数据环境的相关信息(如数据获取流程规则，加工处理)，为其他应用系统的数据转换、加工和应用提供信息支持。

数据标准检测：由于各部门的业务应用系统建设的开发平台及厂商不尽相同，且建设的时间也不一样，各系统之间的数据结构、数据代码等信息也存在着极大差异，未严格执行有关数据标准化的相关要求，严重影响了数据的共享与应用。因此，数据管理的首要工作就是要实现数据资源的标准化，建立统一的数据信息资源共享标准规范，如信息代码标准、数据结构/数据交换共享标准、信息资源服务接口规范，为信息资源质量管理、信息资源运行监控功能提供支持。通过建立定期的数据标准化检验工作机制，对各类数据资源进行规范化的标准检测，标准化检测结果将定期向相关单位通报，确保后续的数据共享工作能够顺利展开。

数据质量管理：通过建立完善的数据质量分析机制，提供对平台上数据整合处理过程以及处理后形成的资源库中的数据进行数据质量检测，形成质量问题数据记录；同时支持用户将其在使用各种应用功能中所发现的信息资源数据质量问题，录入登记为质量问题数据记录。基于分析结果发布数据质量分析报告，并通过技术手段促进数据质量的提升。同时，数据质量的提升还需要依靠业务系统自身的质量管理体系配合全区质量提升机制，通过各业各应用系统数据质量的不断提高才能够实现。

数据运行监控：资源库的数据来源于不同业务数据库，在数据汇集、清洗、转换、关联的过程中，涉及到业务系统数据库、数据抽取整合工具、数据质量监控、数据标准化检查等环节的运行情况，数据情况复杂管理难度大。运行监控管理将对数据转换过程中的各个环节进行整理与归类，针对各个环节的特定指标进行实时监控，一旦某个环节出现异常，通过报警接口向指定人员提供多种方式报警。

3、数据共享服务平台

随着当前当前社会和经济的不断发展，犯罪活动的区域流动性愈加明显，仅仅依靠一两个部门所掌握的数据资源已远远无法满足当前信息化工作的要求，需要结合多部门掌握的数据资源进行分析和应用，才能真正体现数据资源在信息化工作中的整体应用价值。数据共享将利用请求服务技术，通过在一定范围内建设部门间自由的数据共享和查询通道，结合实际需要制定专有共享数据项集，解决数据资源难以共享的问题。中心将建设调度节点管理中心，实现对区域各部门需开放访问数据资源的注册、发布和维护，构建部门间资源共享共用的共享服务体系。

4、数据应用

数据应用是基于共享数据库及数据共享服务平台，面向各级用户提供的数据资源应用功能。在本系统中，主要实现数据资源智能搜索、数据订阅、数据下载。

智能信息检索：基于资源库中种类丰富的海量数据，面向用户开放数据查询检索功能，数据查询将实现各类已汇集及已协调社会化数据的精确查询和自动关联，提升用户对数据资源的利用能力，降低数据使用难度。利用全文检索技术、请求服务平台的分布式数据共享技术，进一步扩展传统结构化数据的使用方式，实现对文本或异地数据资源的使用。结构化数据精确查询、文本信息的关键字检索、异地数据的分布式查询等三种应用将被整合为一体，精确查询结果中需关注内容可被选择后进一步做关键字检索，以自动扩大情报线索的范围；关键字检索结果也可反向关联到精确查询，以获得更多的关联信息。

数据订阅服务：根据部门、角色、用户、权限的不同要求，针对特定数据记录的新增、变更、删除等变化情况的订阅服务，便于订阅者及时掌握数据最新状态。数据订阅包括两种使用方式，第一种是用户需登录专门网站，网站自动将所订阅的所有数据分门别类集中展现；第二种是系统通过如短信、邮件等方式将订阅内容主动推送给用户。

数据下载服务：为满足各业务部门的数据应用需要，系统可提供数据的打包及下发服务。根据数据量及应用频率的需求，数据打包下发可分为定期自动打包下发和临时打包下载两类。

Claims (2)

1.一种多模态异构数据整合系统，其特征在于，包括原始数据库、数据抽取工具、共享数据库、数据共享平台、数据资源管理模块及数据应用模块，其中：

所述原始数据库包括分布在不同系统、部门的各种共享数据库，其由不同开发平台、不同开发商建设；

所述数据抽取工具，是根据原始数据库中的数据内容特征，按设定的格式，对原始数据库中的数据进行标准化转换、清洗、过滤、关联和标引，并将处理结果储存在共享数据库中的工具，实现共享数据的统一整合，为数据共享、数据分析提供数据基础；

所述共享数据库，负责储存数据抽取工具加工处理的数据结果；

所述数据共享平台，提供通过数据应用模块查询共享数据库及原始数据库的数据共享和查询通道；

所述数据资源管理模块，负责对共享数据库进行数据注册管理、数据标准检测、数据质量管理和数据运行监控；

所述数据应用模块，提供用户对共享数据库及原始数据库的查询界面，包括数据资源智能搜索、数据订阅、数据下载。

2.一种多模态异构数据整合方法，其特征在于：

(1)建立共享数据库：利用数据抽取工具，对分布在不同系统、部门的各种共享数据资源，进行标准化转换、清洗、过滤、关联和标引，并将处理结果储存在共享数据库中；

(2)数据资源管理：对共享数据库进行数据注册管理、数据标准检测、数据质量管理和数据运行监控；

(3)建立数据共享平台：提供通过数据应用模块查询共享数据库及原始数据库的数据共享和查询通道；

(4)提供数据应用平台：提供用户对共享数据库及原始数据库的查询界面，包括数据资源智能搜索、数据订阅、数据下载。

Images