CN113051249A - 一种基于多源异构大数据融合的云服务平台设计方法 - Google Patents
一种基于多源异构大数据融合的云服务平台设计方法 Download PDFInfo
- Publication number
- CN113051249A CN113051249A CN202110303639.7A CN202110303639A CN113051249A CN 113051249 A CN113051249 A CN 113051249A CN 202110303639 A CN202110303639 A CN 202110303639A CN 113051249 A CN113051249 A CN 113051249A
- Authority
- CN
- China
- Prior art keywords
- data
- query
- source
- source heterogeneous
- big data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013461 design Methods 0.000 title claims abstract description 24
- 230000010354 integration Effects 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000009826 distribution Methods 0.000 claims description 29
- 238000012795 verification Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 4
- 230000008520 organization Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000013075 data extraction Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000012938 design process Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 9
- 238000011160 research Methods 0.000 abstract description 5
- 238000010276 construction Methods 0.000 abstract description 3
- 238000011161 development Methods 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000012850 discrimination method Methods 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/212—Schema design and management with details for data modelling support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于多源异构大数据融合的云服务平台设计方法，该方法包括面向行业应用的多源异构大数据集成框架构建、基于模糊D‑S证据理论的多源异构大数据融合模型与算法研究、基于多源异构大数据融合的云服务平台开发与应用，能够进行多源异构大数据的实时处理，提高性能，为相关企业和机构服务，提高数据的有效利用率。该方法为面向智慧物流、智能制造、智慧医疗等行业开发的基于多源异构大数据融合的云服务平台，将促进相关行业企业或机构日常运营决策的自动化、信息化、以及科学化，同时展开应用示范。
Description
技术领域
本发明涉及云服务平台设计技术领域，特别是一种基于多源异构大数据融合的云服务平台设计方法。
背景技术
随着全球经济、科技的不断融合，日益激烈的市场经济竞争对现代制造业和服务业提出了更高的要求，产品功能、质量、服务的高标准严要求也对信息数据的处理方式和效率提出了更高要求；并且，随着计算机网络技术、通信技术、信号检测等技术快速发展，人们对于数据内容的丰富度、准确性、实时性等方面的要求已经及无法由单一数据来源的信息所满足，特别是在现代智能制造、智慧物流、智慧医疗等领域，都需要多源异构大数据融合技术。
当前国内外对多源异构数据融合相关问题的研究已较丰富，但应在多源异构大数据的实时处理、面向行业应用的多源异构大数据集成框架及云服务平台的研究还存在一些不足，亟待进一步完善，主要体现在：
第一，多源异构大数据的实时处理还存在困难；物流、制造、医疗卫生等行业数据文件具有多源、异构、海量、动态等特点，考虑实时性需求，设计多源异构大数据实时处理模型存在一定难度；
第二，D-S理论中基本概率分配函数存在获取难的问题；
第三，面向行业应用的多源异构大数据集成框架与云服务平台还比较少。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种拥有开发基于多源异构大数据融合的云服务平台，能够有效将促进相关行业企业或机构日常运营决策的自动化、信息化、以及科学化的的基于多源异构大数据融合的云服务平台设计方法。
本发明所要解决的技术问题是通过以下的技术方案来实现的。本发明是一种基于多源异构大数据融合的云服务平台设计方法，该方法包括
（1）构建面向行业应用的多源异构大数据集成框架
设计多源异构大数据系统，包括数据采集层，数据加工层和数据发布层，数据加工层使用多源异构大数据集成框架，多源异构大数据集成框架是一种基于元数据的异构数据集成框架，该框架通过元数据库方式建立系统数据全局字典，以全局字典的形式将异构多源异构数据在系统内实现全局、统一的共享，并建立专用的查询管理模块对用户提交的查询请求进行管理，包括将请求转化为各数据源可执行的子查询、查询结果的整合；
（2）设计基于模糊D-S证据理论的多源异构大数据融合模型与算法
利用经验、专家知识或概率分布的方式获得模糊隶属度函数后作为D-S证据理论的质量函数，设计多源异构数据源的融合结构，并根据多源异构数据源的融合结构设计支持多用户决策的多源异构数据融合结构模型，然后在此基础上，设计多源异构大数据融合算法；
（3）设计基于多源异构大数据融合的云服务平台
（3.1）总体设计
通过数据采集层采集行业基础数据与日常运营动态数据，数据采集完成后，在数据加工层建立各个源数据库，用于进行数据的集成，数据加工层基于元数据的异构数据集成框架，元数据库中储存了全局信息，系统通过元数据库管理器对元数据库进行访问和管理操作，所有数据源数据库都通过元数据库管理器在元数据库中进行注册；
数据发布层接收用户终端发送的服务需求，将需求转换成为查询请求，提交到数据加工层，待数据加工层返回封装好的结果数据后，通过多渠道发送至用户终端上；
（3.2）异构动态数据源数据抽取和清洗
在数据集成之前，对动态数据进行预处理，预处理包括：数据完整性校验、时间区间校验、数据内容校验、冗余数据筛除，最后提取关键数据存入动态数据专用数据库中，与静态数据一同进行集成；
（3.3）将数据库映射为XML Schema文件
将所有数据源数据库映射成为XML文件，同时生成XML Schema文件，映射过程共分为三个步骤：
（3.3.1）从源数据库中提取关系模式；
（3.3.2）将扁平的关系模式转换成为有向图形式描述；
（3.3.3）将有向图结构转换为XML Schema描述；
（3.4）多源异构数据查询与整合
接收数据发布层提交的查询请求，执行查询后将查询结果进行数据合成，将结果返回给数据发布层，具体为：
查询请求：先对接收到的查询请求进行验证，验证包括规范性校验、有效性验证；
查询分析：对通过验证的查询进行规范化和关键查询内容的提取；
查询分解：将规范化后的查询请求，按数据源内数据的分布进行拆解，并生成子查询；
查询转换：将子查询转换成为可执行的SQL语句，以全局字典为依据，提交到对应的数据源上进行查询；
结果数据整合：接收多数据源传回的查询结果集，以查询分解的原则为依据，对结果数据进行整合，整合完成后，将结果数据按查询所请求的格式进行封装，返回给数据发布层。
本发明所要解决的技术问题还可以通过以下的技术方案来进一步实现，对于以上所述的基于多源异构大数据融合的云服务平台设计方法，所述多源异构大数据集成框架包括数据组织模块和数据查询模块。
本发明所要解决的技术问题还可以通过以下的技术方案来进一步实现，对于以上所述的基于多源异构大数据融合的云服务平台设计方法，所述查询管理模块包括查询请求处理器、查询结果整合器和查询结果封装器，
查询请求处理器用于实现查询验证、查询分析、查询分解和查询转换功能；
查询结果整合器用于对源数据库所返回的分散查询结果进行整合；
查询结果封装器用于根据数据发布层所提交的数据格式要求，对结果数据进行封装，将结果返回给数据发布层。
本发明所要解决的技术问题还可以通过以下的技术方案来进一步实现，对于以上所述的基于多源异构大数据融合的云服务平台设计方法，多源异构数据融合结构模型中的数据融合引擎包括数据仓库模块、决策支持度计算模块、OWA算子权重向量计算模块和数据转换与排序模块。
本发明所要解决的技术问题还可以通过以下的技术方案来进一步实现，对于以上所述的基于多源异构大数据融合的云服务平台设计方法，所述多源异构数据源的融合结构在数据融合过程时，利用上下文知识和领域知识，采用投票法解决数据冲突问题。
本发明所要解决的技术问题还可以通过以下的技术方案来进一步实现，对于以上所述的基于多源异构大数据融合的云服务平台设计方法，在云服务平台设计过程中，提供传统互联网终端设备和移动互联网终端设备的用户客户端。
与现有技术相比，本发明的显著优点：
（1）多源异构大数据的实时处理
针对目前行业系统数据文件的多源、异构、海量、动态等特点，考虑实时性需求，设计多源异构大数据实时处理模型，实时监测以多种形式存放在多种路径的海量数据，对所需数据文件及时响应，实时并行处理具有多种结构的海量数据文件，最后将处理完的数据实时保存到各自数据库中，确保数据能够实时被使用；
（2）构建基于模糊D-S证据理论的多源异构大数据融合模型，并设计高性能算法
对D-S理论中基本概率分配函数获取难的问题，拟使用模糊朴素贝叶斯和FCM算法作为生成方法和判别方法构造模型，对于不可避免的不确定信息，采用信度分配方法来确定其信任函数，最后通过一种可信的数学结构确定生成类BPA与判别类BPA的权重，形成一种在实际中能有更好应用效果的加权调节模型；
（3）设计一种面向行业应用的多源异构大数据集成框架，并开发基于多源异构大数据融合的云服务平台，同时展开应用示范
所设计的框架是一种基于元数据的异构数据集成框架，使用XML Schema生成元数据库建立全局字典，通过该框架，可以对以数据为核心的多源异构大数据进行有效集成，基于该框架，建设面向智慧物流、智能制造、智慧医疗等行业的云服务平台，为相关企业和机构服务，提高数据的有效利用率。
附图说明
图1为本发明的系统总体架构图；
图2为本发明的多源异构大数据集成框架图；
图3为本发明的多源异构数据融合结构图；
图4为本发明的多源异构大数据融合模型图；
图5为本发明的 云服务平台整体架构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1-5，一种基于多源异构大数据融合的云服务平台设计方法，该方法包括
（1）构建面向行业应用的多源异构大数据集成框架
对多源、异构、海量的数据进行有机整合，既不影响现有系统的正常运行，又能够为扩展系统提供全面的数据共享，实现数据的实时有效融合；
考虑实时性需求，设计多源异构大数据实时处理模型，实时监测以多种形式存放在多种路径的海量数据，对所需数据文件及时响应，实时并行处理具有多种结构的海量数据文件，最后将处理完的数据实时保存到各自数据库中，确保数据能够实时被使用；
（2）建立基于模糊D-S证据理论的多源异构大数据融合模型
设计一种支持多用户决策的多源异构数据融合结构模型；模型中的数据融合引擎包括数据仓库、决策支持度计算、OWA 算子权重向量计算和数据转换与排序4个模块，在此基础上，设计多源异构大数据融合算法；
基于模糊D-S理论的多源异构数据融合模型，拟使用模糊朴素贝叶斯和FCM算法作为生成方法和判别方法构造模型，对于不可避免的不确定信息，采用信度分配方法来确定其信任函数，最后并且通过一种可信的数学结构确定生成类BPA与判别类BPA的权重，形成一种在实际中能有更好应用效果的加权调节模型；
（3）开发基于多源异构大数据融合的云服务平台
在多源异构大数据融合模型与算法研究基础上，开发基于多源异构大数据融合的云服务通用平台；
基于行业应用的多源异构大数据集成框架，建设面向智慧物流、智能制造、智慧医疗等行业的云服务平台，为相关企业和机构服务，可提高数据的有效利用率；
该方法具体为：
（1）面向行业应用的多源异构大数据集成框架构建
数据集成的目标是将多源、异构、海量的数据进行有机整合，既不影响现有系统的正常运行，又能够为扩展系统提供全面的数据共享；所提出的多源异构大数据系统架构如图1所示，数据加工层所使用的异构数据集成框架如图2所示；该框架是一种基于元数据的异构数据集成框架，该框架通过元数据库方式建立系统数据全局字典，以全局字典的形式将异构多源异构数据在系统内实现全局、统一的共享，并建立专用的查询模块对用户提交的查询请求进行管理，包括将请求转化为各数据源可执行的子查询、查询结果的整合等；根据所完成功能不同，可将该框架可以分为两个大模块，数据组织模块和数据查询模块；图2中，左半部分为数据组织模块，右半部分为数据查询模块；
（2）基于模糊D-S证据理论的多源异构大数据融合模型与算法研究
模糊集合将元素与集合之间的隶属度关系从{0,1}变成[0,1]，将绝对的隶属度关系灵活化，因此适合用来对D-S证据理论中证据的不确定性进行描述；
利用经验、专家知识或概率分布等方式获得模糊隶属度函数后作为D-S证据理论的质量函数；提出的多源异构数据源的融合结构，如图3所示；该数据融合过程考虑了表达用户需求的特征因素和信息的可靠程度，利用上下文知识和领域知识、采用投票法解决数据冲突等问题；
针对上述模型，设计一种支持多用户决策的多源异构数据融合结构模型，如图4所示；模型中的数据融合引擎包括数据仓库、决策支持度计算、OWA 算子权重向量计算和数据转换与排序4个模块。在此基础上，设计多源异构大数据融合算法；
（3）基于多源异构大数据融合的云服务平台开发与应用
（3.1）系统总体设计
通过数据采集层采集行业基础数据与日常运营动态数据；数据采集完成后，在数据加工层建立各个源数据库，用于进行数据的集成；数据加工层基于元数据的异构数据集成框架；元数据库中储存了全局信息，系统通过元数据库管理器对元数据库进行访问和管理操作，所有数据源数据库都通过元数据库管理器在元数据库中进行注册；
查询管理模块由3个构件组成：查询请求处理器、查询结果整合器和查询结果封装器；查询请求处理器实现查询验证、查询分析、查询分解和查询转换功能；查询结果整合器对源数据库所返回的分散查询结果进行整合；最终查询结果封装器根据数据发布层所提交的数据格式要求，对结果数据进行封装，将结果返回给数据发布层；
数据发布层接收用户终端发送的服务需求，将需求转换成为查询请求，提交到数据加工层，待数据加工层返回封装好的结果数据后，通过多渠道发送至用户终端上；
由于智慧物流、智能制造、智慧医疗等服务需求具有较强的动态性，因此，在云服务平台建设过程中，除了提供对传统互联网终端设备的支持外，还着重建设多种移动互联网终端设备的用户客户端；
（3.2）异构动态数据源数据抽取和清洗
在提出的异构数据集成框架中，动态非结构化数据在采集后不能直接进行集成，需将其预处理，结构化后储存到动态数据专用数据库中，与静态数据一同进行集成；系统所采集的动态数据具有数据源分散、数据量大、数据冗余、数据获取时间不一致、数据处理方法多样等特点；因此，在数据集成之前，需对动态数据进行预处理，预处理主要包括：数据完整性校验、时间区间校验、数据内容校验、冗余数据筛除等，最后提取关键数据存入动态数据专用数据库中；
（3.3）将数据库映射为XML Schema 文件
为建立全局字典，需将所有数据源数据库映射成为XML 文件，同时生成XMLSchema文件.映射过程共分为三个步骤：①从源数据库中提取关系模式；②将扁平的关系模式转换成为有向图形式描述；③将有向图结构转换为XML Schema 描述；
（3.4）多源异构数据查询与整合
数据查询模块，接收数据发布层提交的查询请求，执行查询后将查询结果进行数据合成，将结果返回给数据发布层，具体为
①查询请求：查询模块先对接收到的查询请求进行验证，验证包括规范性校验、有效性验证等；查询分析对通过验证的查询进行规范化和关键查询内容的提取；查询分解，将规范化后的查询请求，按数据源内数据的分布进行拆解，并生成子查询；查询转换，将子查询转换成为可执行的SQL语句，以全局字典为依据，提交到对应的数据源上进行查询；
②结果数据整合：接收多数据源传回的查询结果集，以查询分解的原则为依据，对结果数据进行整合；整合完成后，将结果数据按查询所请求的格式进行封装，返回给数据发布层。
本申请的优点在于：
（1）多源异构大数据的实时处理
针对目前行业系统数据文件的多源、异构、海量、动态等特点，考虑实时性需求，设计多源异构大数据实时处理模型，实时监测以多种形式存放在多种路径的海量数据，对所需数据文件及时响应，实时并行处理具有多种结构的海量数据文件，最后将处理完的数据实时保存到各自数据库中，确保数据能够实时被使用；
（2）构建基于模糊D-S证据理论的多源异构大数据融合模型，并设计高性能算法
对D-S理论中基本概率分配函数获取难的问题，拟使用模糊朴素贝叶斯和FCM算法作为生成方法和判别方法构造模型，对于不可避免的不确定信息，采用信度分配方法来确定其信任函数，最后通过一种可信的数学结构确定生成类BPA与判别类BPA的权重，形成一种在实际中能有更好应用效果的加权调节模型；
（3）设计一种面向行业应用的多源异构大数据集成框架，并开发基于多源异构大数据融合的云服务平台，同时展开应用示范
所设计的框架是一种基于元数据的异构数据集成框架，使用XML Schema生成元数据库建立全局字典，通过该框架，可以对以数据为核心的多源异构大数据进行有效集成，基于该框架，建设面向智慧物流、智能制造、智慧医疗等行业的云服务平台，为相关企业和机构服务，提高数据的有效利用率。
本申请的实施效益：
面向智慧物流、智能制造、智慧医疗等行业，本发明开发基于多源异构大数据融合的云服务平台，将促进相关行业企业或机构日常运营决策的自动化、信息化、以及科学化。
Claims (6)
1.一种基于多源异构大数据融合的云服务平台设计方法，其特征在于：该方法包括
（1）构建面向行业应用的多源异构大数据集成框架
设计多源异构大数据系统，包括数据采集层，数据加工层和数据发布层，数据加工层使用多源异构大数据集成框架，多源异构大数据集成框架是一种基于元数据的异构数据集成框架，该框架通过元数据库方式建立系统数据全局字典，以全局字典的形式将异构多源异构数据在系统内实现全局、统一的共享，并建立专用的查询管理模块对用户提交的查询请求进行管理，包括将请求转化为各数据源可执行的子查询、查询结果的整合；
（2）设计基于模糊D-S证据理论的多源异构大数据融合模型与算法
利用经验、专家知识或概率分布的方式获得模糊隶属度函数后作为D-S证据理论的质量函数，设计多源异构数据源的融合结构，并根据多源异构数据源的融合结构设计支持多用户决策的多源异构数据融合结构模型，然后在此基础上，设计多源异构大数据融合算法；
（3）设计基于多源异构大数据融合的云服务平台
（3.1）总体设计
通过数据采集层采集行业基础数据与日常运营动态数据，数据采集完成后，在数据加工层建立各个源数据库，用于进行数据的集成，数据加工层基于元数据的异构数据集成框架，元数据库中储存了全局信息，系统通过元数据库管理器对元数据库进行访问和管理操作，所有数据源数据库都通过元数据库管理器在元数据库中进行注册；
数据发布层接收用户终端发送的服务需求，将需求转换成为查询请求，提交到数据加工层，待数据加工层返回封装好的结果数据后，通过多渠道发送至用户终端上；
（3.2）异构动态数据源数据抽取和清洗
在数据集成之前，对动态数据进行预处理，预处理包括：数据完整性校验、时间区间校验、数据内容校验、冗余数据筛除，最后提取关键数据存入动态数据专用数据库中，与静态数据一同进行集成；
（3.3）将数据库映射为XML Schema文件
将所有数据源数据库映射成为XML文件，同时生成XML Schema文件，映射过程共分为三个步骤：
（3.3.1）从源数据库中提取关系模式；
（3.3.2）将扁平的关系模式转换成为有向图形式描述；
（3.3.3）将有向图结构转换为XML Schema描述；
（3.4）多源异构数据查询与整合
接收数据发布层提交的查询请求，执行查询后将查询结果进行数据合成，将结果返回给数据发布层，具体为：
查询请求：先对接收到的查询请求进行验证，验证包括规范性校验、有效性验证；
查询分析：对通过验证的查询进行规范化和关键查询内容的提取；
查询分解：将规范化后的查询请求，按数据源内数据的分布进行拆解，并生成子查询；
查询转换：将子查询转换成为可执行的SQL语句，以全局字典为依据，提交到对应的数据源上进行查询；
结果数据整合：接收多数据源传回的查询结果集，以查询分解的原则为依据，对结果数据进行整合，整合完成后，将结果数据按查询所请求的格式进行封装，返回给数据发布层。
2.根据权利要求1所述的基于多源异构大数据融合的云服务平台设计方法，其特征在于：所述多源异构大数据集成框架包括数据组织模块和数据查询模块。
3.根据权利要求1所述的基于多源异构大数据融合的云服务平台设计方法，其特征在于：所述查询管理模块包括查询请求处理器、查询结果整合器和查询结果封装器，
查询请求处理器用于实现查询验证、查询分析、查询分解和查询转换功能；
查询结果整合器用于对源数据库所返回的分散查询结果进行整合；
查询结果封装器用于根据数据发布层所提交的数据格式要求，对结果数据进行封装，将结果返回给数据发布层。
4.根据权利要求1所述的基于多源异构大数据融合的云服务平台设计方法，其特征在于：多源异构数据融合结构模型中的数据融合引擎包括数据仓库模块、决策支持度计算模块、OWA算子权重向量计算模块和数据转换与排序模块。
5.根据权利要求1所述的基于多源异构大数据融合的云服务平台设计方法，其特征在于：所述多源异构数据源的融合结构在数据融合过程时，利用上下文知识和领域知识，采用投票法解决数据冲突问题。
6.根据权利要求1所述的基于多源异构大数据融合的云服务平台设计方法，其特征在于：在云服务平台设计过程中，提供传统互联网终端设备和移动互联网终端设备的用户客户端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110303639.7A CN113051249A (zh) | 2021-03-22 | 2021-03-22 | 一种基于多源异构大数据融合的云服务平台设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110303639.7A CN113051249A (zh) | 2021-03-22 | 2021-03-22 | 一种基于多源异构大数据融合的云服务平台设计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113051249A true CN113051249A (zh) | 2021-06-29 |
Family
ID=76514545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110303639.7A Pending CN113051249A (zh) | 2021-03-22 | 2021-03-22 | 一种基于多源异构大数据融合的云服务平台设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113051249A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113407723A (zh) * | 2021-07-16 | 2021-09-17 | 湖南五凌电力科技有限公司 | 多源异构电力负荷数据融合方法、装置、设备和存储介质 |
| CN113568928A (zh) * | 2021-07-27 | 2021-10-29 | 广东电网有限责任公司 | 一种应用于能源产业链预警系统的数据管理系统 |
| CN113657429A (zh) * | 2021-06-30 | 2021-11-16 | 北京邮电大学 | 面向数字孪生城市物联网的数据融合方法及装置 |
| CN114547017A (zh) * | 2022-04-27 | 2022-05-27 | 南京信息工程大学 | 一种基于深度学习的气象大数据融合方法 |
| CN114722094A (zh) * | 2022-03-28 | 2022-07-08 | 天津大学 | 一种基于kano-g1的供应链业务多源异构数据融合方法 |
| CN115061662A (zh) * | 2022-06-13 | 2022-09-16 | 中国兵器工业信息中心 | 一种基于mbse的互联平台异构模型集成方法以及系统 |
| CN116953758A (zh) * | 2023-09-19 | 2023-10-27 | 广东省科技基础条件平台中心 | 一种基于5g和北斗的卫生应急作业平台系统及方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008135A (zh) * | 2014-05-07 | 2014-08-27 | 南京邮电大学 | 一种多源异构数据库融合系统及其数据查询方法 |
| CN108710900A (zh) * | 2018-05-08 | 2018-10-26 | 电子科技大学 | 一种基于d-s推理的多平台传感器测量数据融合方法 |
| CN110019466A (zh) * | 2017-12-01 | 2019-07-16 | 广州明领基因科技有限公司 | 基于元数据的大数据集成系统 |
| CN110245234A (zh) * | 2019-03-27 | 2019-09-17 | 中国海洋大学 | 一种基于本体和语义相似度的多源数据样本关联方法 |
| CN110489395A (zh) * | 2019-07-27 | 2019-11-22 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 自动获取多源异构数据知识的方法 |
| WO2020147265A1 (zh) * | 2019-01-14 | 2020-07-23 | 南京信息工程大学 | 一种基于多源信息融合的移动电子商务推荐方法和系统 |
| CN111598702A (zh) * | 2020-04-14 | 2020-08-28 | 徐佳慧 | 一种基于知识图谱的风险投资语义搜索的方法 |
| CN111708773A (zh) * | 2020-08-13 | 2020-09-25 | 江苏宝和数据股份有限公司 | 一种多源科创资源数据融合方法 |
| CN111950627A (zh) * | 2020-08-11 | 2020-11-17 | 重庆大学 | 一种多源信息融合方法及其应用 |
| CN112163428A (zh) * | 2020-09-18 | 2021-01-01 | 中国人民大学 | 语义标签的获取方法、装置、节点设备及存储介质 |
-
2021
- 2021-03-22 CN CN202110303639.7A patent/CN113051249A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008135A (zh) * | 2014-05-07 | 2014-08-27 | 南京邮电大学 | 一种多源异构数据库融合系统及其数据查询方法 |
| CN110019466A (zh) * | 2017-12-01 | 2019-07-16 | 广州明领基因科技有限公司 | 基于元数据的大数据集成系统 |
| CN108710900A (zh) * | 2018-05-08 | 2018-10-26 | 电子科技大学 | 一种基于d-s推理的多平台传感器测量数据融合方法 |
| WO2020147265A1 (zh) * | 2019-01-14 | 2020-07-23 | 南京信息工程大学 | 一种基于多源信息融合的移动电子商务推荐方法和系统 |
| CN110245234A (zh) * | 2019-03-27 | 2019-09-17 | 中国海洋大学 | 一种基于本体和语义相似度的多源数据样本关联方法 |
| CN110489395A (zh) * | 2019-07-27 | 2019-11-22 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 自动获取多源异构数据知识的方法 |
| CN111598702A (zh) * | 2020-04-14 | 2020-08-28 | 徐佳慧 | 一种基于知识图谱的风险投资语义搜索的方法 |
| CN111950627A (zh) * | 2020-08-11 | 2020-11-17 | 重庆大学 | 一种多源信息融合方法及其应用 |
| CN111708773A (zh) * | 2020-08-13 | 2020-09-25 | 江苏宝和数据股份有限公司 | 一种多源科创资源数据融合方法 |
| CN112163428A (zh) * | 2020-09-18 | 2021-01-01 | 中国人民大学 | 语义标签的获取方法、装置、节点设备及存储介质 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113657429A (zh) * | 2021-06-30 | 2021-11-16 | 北京邮电大学 | 面向数字孪生城市物联网的数据融合方法及装置 |
| CN113657429B (zh) * | 2021-06-30 | 2023-07-07 | 北京邮电大学 | 面向数字孪生城市物联网的数据融合方法及装置 |
| CN113407723A (zh) * | 2021-07-16 | 2021-09-17 | 湖南五凌电力科技有限公司 | 多源异构电力负荷数据融合方法、装置、设备和存储介质 |
| CN113568928A (zh) * | 2021-07-27 | 2021-10-29 | 广东电网有限责任公司 | 一种应用于能源产业链预警系统的数据管理系统 |
| CN113568928B (zh) * | 2021-07-27 | 2024-03-08 | 广东电网有限责任公司 | 一种应用于能源产业链预警系统的数据管理系统 |
| CN114722094A (zh) * | 2022-03-28 | 2022-07-08 | 天津大学 | 一种基于kano-g1的供应链业务多源异构数据融合方法 |
| CN114547017A (zh) * | 2022-04-27 | 2022-05-27 | 南京信息工程大学 | 一种基于深度学习的气象大数据融合方法 |
| CN114547017B (zh) * | 2022-04-27 | 2022-08-05 | 南京信息工程大学 | 一种基于深度学习的气象大数据融合方法 |
| CN115061662A (zh) * | 2022-06-13 | 2022-09-16 | 中国兵器工业信息中心 | 一种基于mbse的互联平台异构模型集成方法以及系统 |
| CN116953758A (zh) * | 2023-09-19 | 2023-10-27 | 广东省科技基础条件平台中心 | 一种基于5g和北斗的卫生应急作业平台系统及方法 |
| CN116953758B (zh) * | 2023-09-19 | 2023-12-26 | 广东省科技基础条件平台中心 | 一种基于5g和北斗的卫生应急作业平台系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113051249A (zh) | 一种基于多源异构大数据融合的云服务平台设计方法 | |
| US6470333B1 (en) | Knowledge extraction system and method | |
| Qin et al. | When things matter: A data-centric view of the internet of things | |
| CN111967761B (zh) | 一种基于知识图谱的监控预警方法、装置及电子设备 | |
| CN107046557A (zh) | 移动云计算环境下动态Skyline查询的智能医疗呼叫查询系统 | |
| Zhang et al. | Data quality in big data processing: Issues, solutions and open problems | |
| KR20180126792A (ko) | 분산인메모리기반 복합형스트림 데이터처리시스템 및 방법 | |
| CN114969441A (zh) | 基于图数据库的知识挖掘引擎系统 | |
| CN112306992B (zh) | 一种基于互联网的大数据平台系统 | |
| CN103942249A (zh) | 一种基于本体集合语义匹配的信息服务调度系统 | |
| Zhao et al. | Analysis and prediction of big stream data in real-time water quality monitoring system | |
| CN115795525A (zh) | 敏感数据识别方法、装置、电子设备、介质和程序产品 | |
| CN115168474A (zh) | 一种基于大数据模型的物联中台系统搭建方法 | |
| Ribeiro et al. | A scalable data integration architecture for smart cities: implementation and evaluation | |
| Malki et al. | Temporal reasoning in trajectories using an ontological modelling approach | |
| Xu et al. | Intelligent Assistant Decision‐Making Method for Power Enterprise Customer Service Based on IoT Data Acquisition | |
| Wang | Point of Interest recommendation for social network using the Internet of Things and deep reinforcement learning | |
| CN117576535B (zh) | 一种图像识别方法、装置、设备以及存储介质 | |
| Brown | Using Polygot Persistence with NoSQL Databases for Streaming Multimedia, Sensor, and Messaging Services in Autonomous Vehicles | |
| CN112187623B (zh) | 一种信息发布管理系统 | |
| Liu | Intelligent Community Management System Based on Big Data Technology | |
| CN117149868B (zh) | 一种跨院区数据的分布处理方法 | |
| Li | Construction of the collection retrieval system of intelligent library based on cloud computing | |
| Zhong | Geological data integration and sharing on the semantic level | |
| Chang et al. | A computation-oriented multimedia data streams model for content-based information retrieval |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |