CN113377877A - 多引擎大数据平台 - Google Patents
多引擎大数据平台 Download PDFInfo
- Publication number
- CN113377877A CN113377877A CN202110911203.6A CN202110911203A CN113377877A CN 113377877 A CN113377877 A CN 113377877A CN 202110911203 A CN202110911203 A CN 202110911203A CN 113377877 A CN113377877 A CN 113377877A
- Authority
- CN
- China
- Prior art keywords
- engine
- data
- management system
- user
- realizing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 claims abstract description 81
- 238000004458 analytical method Methods 0.000 claims abstract description 64
- 230000006870 function Effects 0.000 claims abstract description 59
- 238000003860 storage Methods 0.000 claims abstract description 31
- 230000002452 interceptive effect Effects 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000013523 data management Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000013135 deep learning Methods 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 12
- 230000008676 import Effects 0.000 claims description 9
- 239000007788 liquid Substances 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 5
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 238000007418 data mining Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000013439 planning Methods 0.000 claims description 2
- 238000004801 process automation Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 231100000279 safety data Toxicity 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
多引擎大数据平台，包括存储引擎、资源管理系统、计算引擎、分析引擎、交互终端、用户管理系统、任务管理系统、数据管理系统，存储引擎用于实现结构化数据、非结构化数据的存储和查询功能，分析引擎用于实现不同场景的分析功能，计算引擎用于作为分析引擎的基础提供大数据的分析处理功能，本发明通过Hadoop技术，采用多引擎架构为数据来源多样化、数据类型多样化、不同行业的服务型企业提供大数据平台解决方案。
Description
技术领域
本发明涉及大数据技术领域，具体涉及一种多引擎大数据平台。
背景技术
以移动互联网、云计算、大数据和人工智能为代表的新一轮科技创新，正在快速改变传统的生产与管理方式，对服务型企业的经营模式甚至中介功能形成全面冲击，服务型企业能否用好大数据，加快创新实现转型，决定了其未来的可持续发展能力。
传统以关系型数据仓库为基础的数据分析平台已满足不了当前业务发展的需求，服务型企业需要利用以云计算、大数据为核心的技术手段，将过去单一性的平台升级至一个多样化的生态系统，使之不仅能够满足基于数据容量大、类型多、流通快的大数据基本处理需求，能够支持大数据的采集、存储、处理和分析，而且能够满足架构在可用性、可扩展性、容错性等方面的基本准则和用原始的格式来实现数据分析的基本要求。
公布号CN104199830A的专利名称为搜索引擎优化大数据管理平台，提出了一款基于SEO（搜索引擎优化）追踪，整合网站所有流量，然后统计、分析和管理的大数据平台，通过每天抓取网站SEO（搜索引擎优化）主要指标，整合关键词排名、网站外链、网站收录和网站流量等多个维度的数据，及时通知站长影响网站表现的因素；该专利解决的问题是为需要从网络收集信息的客户提供一种新型的数据采集方法。然而，现今的服务型企业的数据来源多样化，除了从互联网抓取之外，还有能够从很多公开的数据平台和统计中心获得，因此，该方法仅适用于从互联网抓取数据的企业，不适用于需要数据来源多样化采集的企业。
公布号CN106844755A的专利提供了一种基于搜索引擎的数据资产快速检索方法，提出通过使用solr搜索引擎及mllib中的智能推荐算法实现大数据搜索引擎及推荐引擎的构建，由于solr和mllib适用于文本（如WORD、PDF）的处理，如果数据类型中包括图片、音频和视频则无法处理，因此，该方法不适用于数据类型多样化的企业。
公布号CN108038773A的专利提供了一种基于多引擎集成技术的医疗健康大数据服务方法，包括构建医疗DTP综合管理平台，医疗DTP综合管理平台包括数联引擎、互联引擎和物联引擎，数联引擎采集原料药制药商端和制药商端的订单数据，数联引擎将采集到的订单数据实时输出给医院端、零售药店端和网上药店端，互联引擎采集制药商端的运营数据、第三方物流服务商端的安全数据，互联引擎将采集到的安全数据实时输出给患者端，患者端同时也能接收到医院端的处方数据，物联引擎采集第三方物流服务商端的GIS数据和药品温湿度数据，数联引擎、互联引擎和物联引擎分别对各自采集到的数据进行挖掘分析，输出相应的结果供需求各方参考；该方法针对医院、零售药店以及网上药店企业，不适用于其他行业的企业。
Hadoop生态系统凭借其低廉的软硬件成本、强大的并行计算能力、丰富的数据采集通道、支持多种数据类型和多样化的计算查询引擎，已成为大数据技术标准和企业标配，为数据来源多样化、数据类型多样化、不同行业的服务型企业搭建大数据平台提供了解决方案。
发明内容
本发明的目的是提供多引擎大数据平台，通过Hadoop技术，采用多引擎架构为数据来源多样化、数据类型多样化、不同行业的服务型企业提供大数据平台解决方案。
为了达到上述目的，本发明所采用的技术方案是：本发明提供了一种多引擎大数据平台，包括存储引擎、资源管理系统、计算引擎、分析引擎、交互终端、用户管理系统、任务管理系统、数据管理系统，所述存储引擎用于实现结构化数据、非结构化数据的存储和查询功能，所述资源管理系统用于实现不同部门、不同场景下的不同类型作业的资源管理功能，所述分析引擎用于实现不同场景的分析功能，所述计算引擎用于作为所述分析引擎的基础以提供大数据的分析处理功能，所述交互终端用于实现不同终端的用户统一和权限统一，所述用户管理系统用于实现多用户管理功能，所述任务管理系统用于形成全流程自动化的任务运行机制，所述数据管理系统用于实现规范、有序的数据管理功能；所述存储引擎与所述资源管理系统和所述用户管理系统通过计算机应用程序接口和网络实现数据交换，所述资源管理系统还与所述计算引擎通过计算机应用程序接口和网络实现数据交换，所述任务管理系统分别与所述资源管理系统和所述计算引擎通过计算机应用程序接口和网络实现数据交换，所述计算引擎还与所述分析引擎通过计算机应用程序接口和网络实现数据交换，所述分析引擎还分别与所述交互终端和所述数据管理系统通过计算机应用程序接口和网络实现数据交换；
所述存储引擎包括关系型数据库、非关系型数据库、搜索引擎以及分布式文件系统；所述关系型数据库用于存储结构化数据，所述非关系型数据库用于存储非结构化数据，所述搜索引擎用于实现所述关系型数据库和所述非关系型数据库的数据查询、搜索功能，所述分布式文件系统用于把大量数据分散到不同节点上存储以减小数据丢失风险；
所述计算引擎包括分布式计算引擎、内存计算引擎、液式计算引擎，所述分布式计算引擎用于提供大规模数据集的分布式并行运算能力，所述内存计算引擎用于实现数据挖掘场景下需要多次迭代的复杂运算模式的功能，所述液式计算引擎为针对流数据和批数据的分布式实时处理引擎；
所述分析引擎包括SQL批处理引擎、SQL交互式查询引擎、机器学习引擎、深度学习引擎、图分析引擎、流式分析引擎，所述SQL批处理引擎用于实现数据库的搜索查询功能，所述SQL交互式查询引擎用于实现数据库的交互式查询功能，所述机器学习引擎用于实现数据库的机器学习功能，所述深度学习引擎用于实现数据库的深度学习功能，所述图分析引擎用于实现数据库的图分析功能，所述流式分析引擎用于实现数据库的自然语言分析功能。
进一步地，所述数据管理系统包括数据导入模块和数据资产模块，所述数据导入模块用于实现数据导入管理功能，所述数据资产模块用于规划HDFS存储目录结构、制定HBase命名空间与Hive库表对象等命名规范以及提供数据资产查询功能，以实现对数据资产的有效管理以及帮助用户快速使用数据。
进一步地，所述任务管理系统包括作业封装模块和任务调度模块，所述作业封装模块利用Shell/Perl脚本封装作业程序、配置作业依赖形成作业流，所述任务调度模块用于将作业流部署至Control-M作业调度服务器以及监控作业流的运行状态。
进一步地，所述用户管理系统包括前端用户管理模块和Hadoop用户管理模块；所述前端用户管理模块用于为前端用户定义访问权限和操作权限；所述Hadoop用户管理模块采用标准RBAC模型，通过给用户绑定角色来赋予用户对象的访问权限，以用户-部门-角色-权限的关系链路来指定用户的操作权限，在用户维度上，按照业务部门、业务应用的粒度来创建用户，在角色维度上，对于每一个用户都绑定了普通角色和租户角色两个角色，普通角色赋予用户对HDFS、HBase、Hive数据对象的操作权限，租户角色赋予用户访问租户服务和资源的权限。
进一步地，所述交互终端包括大数据开源工具有SAS EG、Zeppelin以及JupyterNotebook。
进一步地，所述分布式计算引擎采用MapReduce，所述内存计算引擎采用Spark，所述液式计算引擎采用Flink。
进一步地，所述SQL批处理引擎和所述SQL交互式查询引擎采用Spark SQL，所述机器学习引擎采用Spark MLlib，所述深度学习引擎TensorFlow，所述图分析引擎采用JanusGraph，所述流式分析引擎采用Flink SQL。
进一步地，所述关系型数据库采用Hive，所述非关系型数据库采用HBase/Cassandra/Redis，所述搜索引擎采用Elasticsearch，所述分布式文件系统采用HDFS。
进一步地，所述资源管理系统的资源管理系统框架采用YARN。
与现有技术相比，本发明的有益效果在于，本发明提供的多引擎大数据平台，包括存储引擎、资源管理系统、计算引擎、分析引擎、交互终端、用户管理系统、任务管理系统、数据管理系统，存储引擎用于实现结构化数据、非结构化数据的存储和查询功能，分析引擎用于实现不同场景的分析功能，计算引擎用于作为分析引擎的基础提供大数据的分析处理功能，本发明通过Hadoop技术，采用多引擎架构为数据来源多样化、数据类型多样化、不同行业的服务型企业提供大数据平台解决方案。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的多引擎大数据平台的系统结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
以下结合附图与具体实施例，对本发明的技术方案做详细的说明。
参照图1，本发明提供的多引擎大数据平台，包括存储引擎、资源管理系统、计算引擎、分析引擎、交互终端、用户管理系统、任务管理系统、数据管理系统，所述存储引擎用于实现结构化数据、非结构化数据的存储和查询功能，所述资源管理系统用于实现不同部门、不同场景下的不同类型作业的资源管理功能，所述分析引擎用于实现不同场景的分析功能，所述计算引擎用于作为所述分析引擎的基础以提供大数据的分析处理功能，所述交互终端用于实现不同终端的用户统一和权限统一，所述用户管理系统用于实现多用户管理功能，所述任务管理系统用于形成全流程自动化的任务运行机制，所述数据管理系统用于实现规范、有序的数据管理功能；所述存储引擎与所述资源管理系统和所述用户管理系统通过计算机应用程序接口和网络实现数据交换，所述资源管理系统还与所述计算引擎通过计算机应用程序接口和网络实现数据交换，所述任务管理系统分别与所述资源管理系统和所述计算引擎通过计算机应用程序接口和网络实现数据交换，所述计算引擎还与所述分析引擎通过计算机应用程序接口和网络实现数据交换，所述分析引擎还分别与所述交互终端和所述数据管理系统通过计算机应用程序接口和网络实现数据交换；
所述存储引擎包括关系型数据库、非关系型数据库、搜索引擎以及分布式文件系统；所述关系型数据库用于存储结构化数据，所述非关系型数据库用于存储非结构化数据，所述搜索引擎用于实现所述关系型数据库和所述非关系型数据库的数据查询、搜索功能，所述分布式文件系统用于把大量数据分散到不同节点上存储以减小数据丢失风险；
所述计算引擎包括分布式计算引擎、内存计算引擎、液式计算引擎，所述分布式计算引擎用于提供大规模数据集的分布式并行运算能力，所述内存计算引擎用于实现数据挖掘场景下需要多次迭代的复杂运算模式的功能，所述液式计算引擎为针对流数据和批数据的分布式实时处理引擎；
所述分析引擎包括SQL批处理引擎、SQL交互式查询引擎、机器学习引擎、深度学习引擎、图分析引擎、流式分析引擎，所述SQL批处理引擎用于实现数据库的搜索查询功能，所述SQL交互式查询引擎用于实现数据库的交互式查询功能，所述机器学习引擎用于实现数据库的机器学习功能，所述深度学习引擎用于实现数据库的深度学习功能，所述图分析引擎用于实现数据库的图分析功能，所述流式分析引擎用于实现数据库的自然语言分析功能。
上述技术方案提供的多引擎大数据平台，包括存储引擎、资源管理系统、计算引擎、分析引擎、交互终端、用户管理系统、任务管理系统、数据管理系统，存储引擎用于实现结构化数据、非结构化数据的存储和查询功能，分析引擎用于实现不同场景的分析功能，计算引擎用于作为分析引擎的基础提供大数据的分析处理功能，本发明通过Hadoop技术，采用多引擎架构为数据来源多样化、数据类型多样化、不同行业的服务型企业提供大数据平台解决方案。
作为本发明的一种实施方式，所述数据管理系统包括数据导入模块和数据资产模块，所述数据导入模块用于实现数据导入管理功能，所述数据资产模块用于规划HDFS存储目录结构、制定HBase命名空间与Hive库表对象等命名规范以及提供数据资产查询功能，以实现对数据资产的有效管理以及帮助用户快速使用数据。
作为本发明的一种实施方式，所述任务管理系统包括作业封装模块和任务调度模块，所述作业封装模块利用Shell/Perl脚本封装作业程序、配置作业依赖形成作业流，所述任务调度模块用于将作业流部署至Control-M作业调度服务器以及监控作业流的运行状态。
作为本发明的一种实施方式，所述用户管理系统包括前端用户管理模块和Hadoop用户管理模块；所述前端用户管理模块用于为前端用户定义访问权限和操作权限；所述Hadoop用户管理模块采用标准RBAC模型，通过给用户绑定角色来赋予用户对象的访问权限，以用户-部门-角色-权限的关系链路来指定用户的操作权限，在用户维度上，按照业务部门、业务应用的粒度来创建用户，在角色维度上，对于每一个用户都绑定了普通角色和租户角色两个角色，普通角色赋予用户对HDFS、HBase、Hive数据对象的操作权限，租户角色赋予用户访问租户服务和资源的权限。
作为本发明的一种实施方式，所述交互终端包括大数据开源工具有SAS EG、Zeppelin以及Jupyter Notebook。
作为本发明的一种实施方式，所述分布式计算引擎采用MapReduce，所述内存计算引擎采用Spark，所述液式计算引擎采用Flink。
作为本发明的一种实施方式，所述SQL批处理引擎和所述SQL交互式查询引擎采用Spark SQL，所述机器学习引擎采用Spark MLlib，所述深度学习引擎TensorFlow，所述图分析引擎采用JanusGraph，所述流式分析引擎采用Flink SQL。
作为本发明的一种实施方式，所述关系型数据库采用Hive，所述非关系型数据库采用HBase/Cassandra/Redis，所述搜索引擎采用Elasticsearch，所述分布式文件系统采用HDFS。
作为本发明的一种实施方式，所述资源管理系统的资源管理系统框架采用YARN。
优选地，本发明技术方案所涉及的所有模块的实现方式均采用公开的、成熟的、开源的程序架构及程序代码，本发明技术方案所涉及的业务流程、业务功能均为本领域的公知常识，本领域的技术人员根据本技术方案的描述可以轻易采用已有的、公开的程序架构及程序代码实现。
以上对本发明的实施例进行了详细的说明，但本发明的创造并不限于本实施例，熟悉本领域的技术人员在不违背本发明精神的前提下，还可以做出许多同等变型或替换，这些同等变型或替换均包含在本申请的权利要求所限定的保护范围内。
Claims (9)
1.多引擎大数据平台，其特征在于，包括存储引擎、资源管理系统、计算引擎、分析引擎、交互终端、用户管理系统、任务管理系统、数据管理系统，所述存储引擎用于实现结构化数据、非结构化数据的存储和查询功能，所述资源管理系统用于实现不同部门、不同场景下的不同类型作业的资源管理功能，所述分析引擎用于实现不同场景的分析功能，所述计算引擎用于作为所述分析引擎的基础以提供大数据的分析处理功能，所述交互终端用于实现不同终端的用户统一和权限统一，所述用户管理系统用于实现多用户管理功能，所述任务管理系统用于形成全流程自动化的任务运行机制，所述数据管理系统用于实现规范、有序的数据管理功能；所述存储引擎与所述资源管理系统和所述用户管理系统通过计算机应用程序接口和网络实现数据交换，所述资源管理系统还与所述计算引擎通过计算机应用程序接口和网络实现数据交换，所述任务管理系统分别与所述资源管理系统和所述计算引擎通过计算机应用程序接口和网络实现数据交换，所述计算引擎还与所述分析引擎通过计算机应用程序接口和网络实现数据交换，所述分析引擎还分别与所述交互终端和所述数据管理系统通过计算机应用程序接口和网络实现数据交换；
所述存储引擎包括关系型数据库、非关系型数据库、搜索引擎以及分布式文件系统；所述关系型数据库用于存储结构化数据，所述非关系型数据库用于存储非结构化数据，所述搜索引擎用于实现所述关系型数据库和所述非关系型数据库的数据查询、搜索功能，所述分布式文件系统用于把大量数据分散到不同节点上存储以减小数据丢失风险；
所述计算引擎包括分布式计算引擎、内存计算引擎、液式计算引擎，所述分布式计算引擎用于提供大规模数据集的分布式并行运算能力，所述内存计算引擎用于实现数据挖掘场景下需要多次迭代的复杂运算模式的功能，所述液式计算引擎为针对流数据和批数据的分布式实时处理引擎；
所述分析引擎包括SQL批处理引擎、SQL交互式查询引擎、机器学习引擎、深度学习引擎、图分析引擎、流式分析引擎，所述SQL批处理引擎用于实现数据库的搜索查询功能，所述SQL交互式查询引擎用于实现数据库的交互式查询功能，所述机器学习引擎用于实现数据库的机器学习功能，所述深度学习引擎用于实现数据库的深度学习功能，所述图分析引擎用于实现数据库的图分析功能，所述流式分析引擎用于实现数据库的自然语言分析功能。
2.根据权利要求1所述的多引擎大数据平台，其特征在于，所述数据管理系统包括数据导入模块和数据资产模块，所述数据导入模块用于实现数据导入管理功能，所述数据资产模块用于规划HDFS存储目录结构、制定HBase命名空间与Hive库表对象等命名规范以及提供数据资产查询功能，以实现对数据资产的有效管理以及帮助用户快速使用数据。
3.根据权利要求1所述的多引擎大数据平台，其特征在于，所述任务管理系统包括作业封装模块和任务调度模块，所述作业封装模块利用Shell/Perl脚本封装作业程序、配置作业依赖形成作业流，所述任务调度模块用于将作业流部署至Control-M作业调度服务器以及监控作业流的运行状态。
4.根据权利要求1所述的多引擎大数据平台，其特征在于，所述用户管理系统包括前端用户管理模块和Hadoop用户管理模块；所述前端用户管理模块用于为前端用户定义访问权限和操作权限；所述Hadoop用户管理模块采用标准RBAC模型，通过给用户绑定角色来赋予用户对象的访问权限，以用户-部门-角色-权限的关系链路来指定用户的操作权限，在用户维度上，按照业务部门、业务应用的粒度来创建用户，在角色维度上，对于每一个用户都绑定了普通角色和租户角色两个角色，普通角色赋予用户对HDFS、HBase、Hive数据对象的操作权限，租户角色赋予用户访问租户服务和资源的权限。
5.根据权利要求1所述的多引擎大数据平台，其特征在于，所述交互终端包括大数据开源工具有SAS EG、Zeppelin以及Jupyter Notebook。
6.根据权利要求1所述的多引擎大数据平台，其特征在于，所述分布式计算引擎采用MapReduce，所述内存计算引擎采用Spark，所述液式计算引擎采用Flink。
7.根据权利要求1所述的多引擎大数据平台，其特征在于，所述SQL批处理引擎和所述SQL交互式查询引擎采用Spark SQL，所述机器学习引擎采用Spark MLlib，所述深度学习引擎TensorFlow，所述图分析引擎采用JanusGraph，所述流式分析引擎采用Flink SQL。
8.根据权利要求1所述的多引擎大数据平台，其特征在于，所述关系型数据库采用Hive，所述非关系型数据库采用HBase/Cassandra/Redis，所述搜索引擎采用Elasticsearch，所述分布式文件系统采用HDFS。
9.根据权利要求1所述的多引擎大数据平台，其特征在于，所述资源管理系统的资源管理系统框架采用YARN。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110911203.6A CN113377877A (zh) | 2021-08-10 | 2021-08-10 | 多引擎大数据平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110911203.6A CN113377877A (zh) | 2021-08-10 | 2021-08-10 | 多引擎大数据平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113377877A true CN113377877A (zh) | 2021-09-10 |
Family
ID=77576684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110911203.6A Pending CN113377877A (zh) | 2021-08-10 | 2021-08-10 | 多引擎大数据平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113377877A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112381501A (zh) * | 2020-11-05 | 2021-02-19 | 上海汇付数据服务有限公司 | 一种产品运作平台系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108595473A (zh) * | 2018-03-09 | 2018-09-28 | 广州市优普计算机有限公司 | 一种基于云计算的大数据应用平台 |
| CN108985531A (zh) * | 2017-06-01 | 2018-12-11 | 中国科学院深圳先进技术研究院 | 一种多模异构电力大数据融合分析管理系统及方法 |
| US20190102411A1 (en) * | 2017-09-29 | 2019-04-04 | Oracle International Corporation | Rule-based autonomous database cloud service framework |
| CN112307396A (zh) * | 2020-10-21 | 2021-02-02 | 五凌电力有限公司 | 基于多引擎数据建模计算分析的平台架构及其处理方法 |
-
2021
- 2021-08-10 CN CN202110911203.6A patent/CN113377877A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985531A (zh) * | 2017-06-01 | 2018-12-11 | 中国科学院深圳先进技术研究院 | 一种多模异构电力大数据融合分析管理系统及方法 |
| US20190102411A1 (en) * | 2017-09-29 | 2019-04-04 | Oracle International Corporation | Rule-based autonomous database cloud service framework |
| CN108595473A (zh) * | 2018-03-09 | 2018-09-28 | 广州市优普计算机有限公司 | 一种基于云计算的大数据应用平台 |
| CN112307396A (zh) * | 2020-10-21 | 2021-02-02 | 五凌电力有限公司 | 基于多引擎数据建模计算分析的平台架构及其处理方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112381501A (zh) * | 2020-11-05 | 2021-02-19 | 上海汇付数据服务有限公司 | 一种产品运作平台系统 |
| CN112381501B (zh) * | 2020-11-05 | 2024-06-07 | 上海汇付支付有限公司 | 一种产品运作平台系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109997126B (zh) | 事件驱动提取、变换、加载（etl）处理 | |
| US20210182854A1 (en) | Data monetization and exchange platform | |
| US9990385B2 (en) | Method and system for collecting and analyzing time-series data | |
| CN109272155A (zh) | 一种基于大数据的企业行为分析系统 | |
| Mwilu et al. | Design science research contribution to business intelligence in the cloud—A systematic literature review | |
| CN113176875A (zh) | 一种基于微服务的资源共享服务平台架构 | |
| Fu et al. | Real-time data infrastructure at uber | |
| Firouzi et al. | Architecting iot cloud | |
| CN108021809A (zh) | 一种数据处理方法及系统 | |
| CN108243012B (zh) | 在线计费系统ocs中计费应用处理系统、方法及装置 | |
| Sivaraman et al. | High performance and fault tolerant distributed file system for big data storage and processing using hadoop | |
| Jeong et al. | An IoT platform for civil infrastructure monitoring | |
| Saxena et al. | Practical real-time data processing and analytics: distributed computing and event processing using Apache Spark, Flink, Storm, and Kafka | |
| Li et al. | The overview of big data storage and management | |
| Wang et al. | A novel complex event processing engine for intelligent data analysis in integrated information systems | |
| Martinez-Mosquera et al. | Development and evaluation of a big data framework for performance management in mobile networks | |
| CN113377877A (zh) | 多引擎大数据平台 | |
| CN114596046A (zh) | 一种基于业务中台及数据中台的统一数字模型的集成平台 | |
| CN108628954A (zh) | 一种海量数据自助查询方法和装置 | |
| Patel et al. | Real time data processing frameworks | |
| Maske et al. | A real time processing and streaming of wireless network data using storm | |
| Mishra et al. | Challenges in big data application: a review | |
| Bharany et al. | A comprehensive review on big data challenges | |
| Angbera et al. | A novel true-real-time spatiotemporal data stream processing framework | |
| CN106933622A (zh) | 云环境中模型驱动的Hadoop部署方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210910 |