CN107967336A - 一种基于功能组件化的大数据综合管理平台构建方法 - Google Patents

一种基于功能组件化的大数据综合管理平台构建方法 Download PDF

Info

Publication number
CN107967336A
CN107967336A CN201711263601.1A CN201711263601A CN107967336A CN 107967336 A CN107967336 A CN 107967336A CN 201711263601 A CN201711263601 A CN 201711263601A CN 107967336 A CN107967336 A CN 107967336A
Authority
CN
China
Prior art keywords
component
big data
functional unit
service content
management platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711263601.1A
Other languages
English (en)
Inventor
王济平
黎刚
周健雄
汤克云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Jingxin Software Technology Co Ltd
Original Assignee
Guangdong Jingxin Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Jingxin Software Technology Co Ltd filed Critical Guangdong Jingxin Software Technology Co Ltd
Priority to CN201711263601.1A priority Critical patent/CN107967336A/zh
Publication of CN107967336A publication Critical patent/CN107967336A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于功能组件化的大数据综合管理平台构建方法，其包含服务内容功能化步骤：对大数据全生命周期服务内容的梳理，将服务内容进行功能化转换，生成以可操作功能点为单位的多个功能模型；功能组件化步骤：根据所述可操作功能点所完成的服务内容进行划分，明确每个组件所对应的服务内容及逻辑关系，归类成基础管理组件、数据处理组件和应用模型组件；组装步骤：根据应用需求于库中抽取上述的基础管理组件、数据处理组件和应用模型组件进行组装以生成大数据管理平台。本方法可有效降低整个平台的耦合度，通过使用不同的组件快速为用户构建和交付完整大数据计算和处理框架的能力，既可降低构建大数据平台的成本，又可以提高平台的实用性。

Description

一种基于功能组件化的大数据综合管理平台构建方法
技术领域
本发明属于大数据综合应用技术，具体涉及一种基于功能组件化的大数据综合管理平台构建方法。
背景技术
大数据分析技术的全流程一般包括数据采集、数据治理、数据分析、数据可视化及数据应用五个步骤，针对这五个步骤市面上有较多的产品可支撑使用，然而由不同公司开发的不同产品，往往难以融合在一起，会导致出现一个部门使用多个系统却不能互通的情况；另外一种情况则是直接定制一套大数据分析的解决方案，然而定制成本高，且周期长，这些因素会制约政企使用大数据技术支撑应用的使用。
发明内容
本发明提出一种基于功能组件化的大数据综合管理平台构建方法，目的在于为克服现有技术中所存在的问题而进行的创新应用，具体技术内容如下：
一种基于功能组件化的大数据综合管理平台构建方法，其包含有服务内容功能化步骤、功能组件化步骤和组装步骤；
所述服务内容功能化步骤是：对大数据全生命周期服务内容的梳理，将服务内容进行功能化转换，生成以可操作功能点为单位的多个功能模型，所述服务内容包括对数据的采集、治理、存储、分析、可视化及使用；
所述功能组件化步骤是：根据所述可操作功能点所完成的服务内容进行划分，分离组件边界和责任，明确每个组件所对应的服务内容及逻辑关系，归类成基础管理组件、数据处理组件和应用模型组件；
所述组装步骤是：根据应用需求于库中抽取上述的基础管理组件、数据处理组件和应用模型组件进行组装以生成大数据管理平台，其中，组件的抽取必须包含基础管理组件。
基于Dubbo模型进行所述功能组件化步骤。
所述功能组件化步骤中对组件的逻辑关系进行梳理整合并建立索引，用于在所述组装步骤中展示组件之间存在的逻辑联系，从而指导用户对关联业务流程的组件进行选择组装。
本发明的有益效果是：对比市面现有的大数据产品，本技术方法可有效降低整个平台的耦合度，可通过使用不同的组件快速为用户构建和交付完整大数据计算和处理框架的能力，既可降低客户构建大数据平台的成本，又可以提高平台的实用性。同时，在对平台的维护上，由于采用的是组件化模式，在出现问题的时候，可以用排除法直接移除组件，或者根据报错的组件快速定位问题，大大提高维护效率。
附图说明
图1为本发明的基于功能组件化的大数据综合管理平台构建方法的流程框架示意图。
图2为本发明的基于功能组件化的大数据综合管理平台构建方法的服务内容功能化示意图。
图3为本发明的基于功能组件化的大数据综合管理平台构建方法的功能组件逻辑联系示意图。
图4为本发明的基于功能组件化的大数据综合管理平台构建方法的构建实例示意图一。
图5为本发明的基于功能组件化的大数据综合管理平台构建方法的构建实例示意图二。
具体实施方式
如下结合附图，对本申请方案作进一步描述：
参见附图1至3，一种基于功能组件化的大数据综合管理平台构建方法，其包含有服务内容功能化步骤、功能组件化步骤和组装步骤；
所述服务内容功能化步骤是：对大数据全生命周期服务内容的梳理，将服务内容进行功能化转换，生成以可操作功能点为单位的多个功能模型，所述服务内容包括对数据的采集、治理、存储、分析、可视化及使用；
所述功能组件化步骤是：根据所述可操作功能点所完成的服务内容进行划分，分离组件边界和责任，明确每个组件所对应的服务内容及逻辑关系，归类成基础管理组件、数据处理组件和应用模型组件；
所述组装步骤是：根据应用需求于库中抽取上述的基础管理组件、数据处理组件和应用模型组件进行组装以生成大数据管理平台，其中，组件的抽取必须包含基础管理组件。
参见附图4，本发明基于Dubbo模型进行所述功能组件化步骤。
一般来说，现有的系统构成在功能的藕合性上是比较紧密的，如A功能必须与B功能、C功能同时存在才可以使用，三者之间不可分离，然而在实际情况下，可能B\C功能用户都是不必要的，但为了使用A功能，用户却必须要支付BC功能的使用成本，这对用户来说是不合理的，故在对本专利在对服务进行功能化后，同时采用组件化式的开发方式对功能进行开发，在降低系统功能藕合性的同时，又能维持各功能之间的逻辑关系。
本专利采用Dubbo技术进行功能组件化的开发，Dubbo是SOA服务化治理方案的核心框架，并行系统开发，分布式，模块化。它最大的特点是按照分层的方式来架构，使用这种方式可以使各个层之间解耦合（或者最大限度地松耦合）。从服务模型的角度来看，Dubbo采用的是一种非常简单的模型，要么是提供方提供服务，要么是消费方消费服务，所以基于这一点可以抽象出服务提供方（Provider）和服务消费方（Consumer）两个角色。
Dubbo对于服务提供方和服务消费方，从框架的10层中分别提供了各自需要关心和扩展的接口，构建整个服务生态系统（服务提供方和服务消费方本身就是一个以服务为中心的）。故通过采用Dubbo的技术，可有效将系统的功能进行组件化，降低功能的耦合度，以达到可自由组装功能的目的。
所述功能组件化步骤中对组件的逻辑关系进行梳理整合并建立索引，用于在所述组装步骤中展示组件之间存在的逻辑联系，从而指导用户对关联业务流程的组件进行选择组装。
在对功能进行组件化后，本专利将功能划分为三大类组件，一是基础管理组件，二是数据处理组件，三是应用模型组件。
例如，附图5所示的管理平台实例框架，其包含：
基础管理组件：对整个平台的权限、安全、数据进行统一管理，是整个平台的运行基础；
数据处理组件：根据大数据处理的全流程划分为不同的子系统，可对每个步骤进行处理；
应用模型组件：结合实际的应用场景，提供各类型的分析模型进行参考。
在自定义组装的方式，采用基础管理组件+数据处理组件+应用模型组件的方式进行组装，其中基础管理组件在原则上是必须选择，数据处理组件及应用模型组件则是用户根据自己的实际应用场景去使用，而每个子系统下会包含不同的功能模块，功能模块的内容也可由用户进行选择组装。
上述优选实施方式应视为本申请方案实施方式的举例说明，凡与本申请方案雷同、近似或以此为基础作出的技术推演、替换、改进等，均应视为本专利的保护范围。

Claims (3)

1.一种基于功能组件化的大数据综合管理平台构建方法，其特征在于，包含有服务内容功能化步骤、功能组件化步骤和组装步骤；
所述服务内容功能化步骤是：对大数据全生命周期服务内容的梳理，将服务内容进行功能化转换，生成以可操作功能点为单位的多个功能模型，所述服务内容包括对数据的采集、治理、存储、分析、可视化及使用；
所述功能组件化步骤是：根据所述可操作功能点所完成的服务内容进行划分，分离组件边界和责任，明确每个组件所对应的服务内容及逻辑关系，归类成基础管理组件、数据处理组件和应用模型组件；
所述组装步骤是：根据应用需求于库中抽取上述的基础管理组件、数据处理组件和应用模型组件进行组装以生成大数据管理平台，其中，组件的抽取必须包含基础管理组件。
2.根据权利要求1所述的基于功能组件化的大数据综合管理平台构建方法，其特征在于：基于Dubbo模型进行所述功能组件化步骤。
3.根据权利要求2所述的基于功能组件化的大数据综合管理平台构建方法，其特征在于：所述功能组件化步骤中对组件的逻辑关系进行梳理整合并建立索引，用于在所述组装步骤中展示组件之间存在的逻辑联系，从而指导用户对关联业务流程的组件进行选择组装。
CN201711263601.1A 2017-12-05 2017-12-05 一种基于功能组件化的大数据综合管理平台构建方法 Pending CN107967336A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711263601.1A CN107967336A (zh) 2017-12-05 2017-12-05 一种基于功能组件化的大数据综合管理平台构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711263601.1A CN107967336A (zh) 2017-12-05 2017-12-05 一种基于功能组件化的大数据综合管理平台构建方法

Publications (1)

Publication Number Publication Date
CN107967336A true CN107967336A (zh) 2018-04-27

Family

ID=61999452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711263601.1A Pending CN107967336A (zh) 2017-12-05 2017-12-05 一种基于功能组件化的大数据综合管理平台构建方法

Country Status (1)

Country Link
CN (1) CN107967336A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612407A (zh) * 2020-03-09 2020-09-01 深大本原智慧科技(深圳)有限公司 一种基于云平台的三维可视化综合应用平台设计方法
CN112287275A (zh) * 2020-10-28 2021-01-29 云赛智联股份有限公司 一种城市级数据中台
CN114168670A (zh) * 2021-12-03 2022-03-11 苏州博士创新技术转移有限公司 一种产业生态大数据整合方法、系统及云平台

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060156223A1 (en) * 2005-01-12 2006-07-13 Wolfgang Theilmann Method for performing a modularization of a hypertext
CN103164774A (zh) * 2013-03-11 2013-06-19 苏州市奥杰汽车技术有限公司 一种基于工作流的汽车整车开发系统
CN106855962A (zh) * 2015-12-09 2017-06-16 星际空间（天津）科技发展有限公司 一种构建政务大数据平台的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060156223A1 (en) * 2005-01-12 2006-07-13 Wolfgang Theilmann Method for performing a modularization of a hypertext
CN103164774A (zh) * 2013-03-11 2013-06-19 苏州市奥杰汽车技术有限公司 一种基于工作流的汽车整车开发系统
CN106855962A (zh) * 2015-12-09 2017-06-16 星际空间（天津）科技发展有限公司 一种构建政务大数据平台的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
严炜炜: ""产业集群创新发展中的跨系统信息服务融合"", 《中国博士学位论文全文数据库 经济与管理科学辑》 *
刘伟强: ""基于Dubbo的分布式航空交通管理系统的研究与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612407A (zh) * 2020-03-09 2020-09-01 深大本原智慧科技(深圳)有限公司 一种基于云平台的三维可视化综合应用平台设计方法
CN112287275A (zh) * 2020-10-28 2021-01-29 云赛智联股份有限公司 一种城市级数据中台
CN114168670A (zh) * 2021-12-03 2022-03-11 苏州博士创新技术转移有限公司 一种产业生态大数据整合方法、系统及云平台
CN114168670B (zh) * 2021-12-03 2022-12-27 苏州博士创新技术转移有限公司 一种产业生态大数据整合方法、系统及云平台

Similar Documents

Publication Publication Date Title
CN110738454B (zh) 一种企业管理平台系统
CN106651633A (zh) 一种基于大数据技术的用电信息采集系统及其采集方法
CN110929333B (zh) 一种产品设计方法、服务器、电子设备及存储介质
CN107967336A (zh) 一种基于功能组件化的大数据综合管理平台构建方法
Rui et al. Architecture design of the Internet of Things based on cloud computing
CN107463582A (zh) 分布式部署Hadoop集群的方法及装置
CN103929329B (zh) 日志处理方法、服务端设备和系统
CN107993004A (zh) 一种用电信息处理系统和方法
CN101094051A (zh) 数据一致性比对同步的系统和方法
CN103997523B (zh) 基于云服务的智慧城市业务系统及其实现方法
CN104156822A (zh) 一种基于soa的企业级信息系统综合运维管控方法
CN109074287A (zh) 基础设施资源状态
CN103841129B (zh) 云计算的资源信息采集服务器和客户端、信息处理方法
CN107886429A (zh) 信贷服务管理方法及系统
Theeten et al. Towards the optimization of a parallel streaming engine for telco applications
CN107528731B (zh) 应用于ns3并行仿真的网络分割优化算法
CN109544323A (zh) 一种信用卡卡号的智能管理系统
CN103188085B (zh) 基于企业应用集成技术的智能维护方法与系统
CN111311079A (zh) 一种大用户综合用能服务系统
CN107896242A (zh) 一种服务共享方法及装置
CN104581794A (zh) 一种中间件业务故障处理方法及系统
CN106408459A (zh) 一种旅游服务集成系统
CN106408182A (zh) 一种核电设计项目工作量统计系统和方法
Chen et al. Research on network management technology of power line carrier communication in low-voltage distribution network based on digital twin
CN110210890A (zh) 一种基于Spring Cloud的活动分享系统及实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180427

RJ01 Rejection of invention patent application after publication