CN111783053A - 一种交互式统一大数据编程计算平台 - Google Patents

一种交互式统一大数据编程计算平台 Download PDF

Info

Publication number
CN111783053A
CN111783053A CN202010813571.2A CN202010813571A CN111783053A CN 111783053 A CN111783053 A CN 111783053A CN 202010813571 A CN202010813571 A CN 202010813571A CN 111783053 A CN111783053 A CN 111783053A
Authority
CN
China
Prior art keywords
module
data
management module
big data
programming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010813571.2A
Other languages
English (en)
Inventor
周锋
方忠庆
陈传杰
王媛媛
王如刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yancheng Institute of Technology
Original Assignee
Yancheng Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yancheng Institute of Technology filed Critical Yancheng Institute of Technology
Priority to CN202010813571.2A priority Critical patent/CN111783053A/zh
Publication of CN111783053A publication Critical patent/CN111783053A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/34—Graphical or visual programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种交互式统一大数据编程计算平台，包括：用户登录管理模块，所述用户登录管理模块内包括统一目录服务模块。所述统一目录服务模块内包括身份管理模块、认证管理模块、访问控制模块和审计管理模块，所述身份管理模块和认证管理模块用于用户的身份信息录入与登录认证管理。本发明大数据存储计算集群内设置大数据计算引擎、分布式数据库和分布式文件系统，分布式数据库的内包括云端数据库、MySql数据库、WebService数据库和HttpJson数据库，其数据源更加充足，分布式数据库内包括数据采集模块和数据分类模块，分类后的数据通过数据计算控制模块机箱内数据筛选、数据比对过滤和数据计算，从而得出结算结果。

Description

一种交互式统一大数据编程计算平台
技术领域
本发明涉及编程计算平台技术领域，更具体为一种交互式统一大数据编程计算平台。
背景技术
随着大数据时代的到来，传统的数据处理方法已经不能满足日益增长的数据量了，现在的数据量每天能达到TB甚至PB级，在数据存储上就不同以往，必须采用分布式的存储，以采用保证数据的安全性和可用性，如果涉及到计算层，更是需要大量的计算资源。因此，在这个时代的迫切需求下，各种大数据技术层出不穷，从数据存储到数据查询，再到数据计算分析，每个阶段都有许多可用的技术框架，这对行业的发展起到了促进作用。但也导致了以下问题：选型困难、易用性不高、开发环境难以配置，这些问题也困扰着广大个人工作者或一些小型的公司。
现有的大数据平台在使用时，需要用户自行搭建大数据集群，然后再使用自己搭建的集群来学习大数据，此种方式对于新人来说，其操作复杂且容易出错，造成实际生产的集群环境无法满足需求。因此，需要提供一种新的技术方案给予解决。
发明内容
本发明的目的在于提供一种交互式统一大数据编程计算平台，解决了现有技术中现有的大数据平台在使用时，需要用户自行搭建大数据集群，然后再使用自己搭建的集群来学习大数据，此种方式对于新人来说，其操作复杂且容易出错，造成实际生产的集群环境无法满足需求的问题。
为实现上述目的，本发明提供如下技术方案：一种交互式统一大数据编程计算平台，包括：用户登录管理模块，所述用户登录管理模块内包括统一目录服务模块。所述统一目录服务模块内包括身份管理模块、认证管理模块、访问控制模块和审计管理模块，所述身份管理模块和认证管理模块用于用户的身份信息录入与登录认证管理，保证用户登录的有效性，访问控制模块和审计管理模块用于用户的管理权限和审计，提高安全性，所述用户登录管理模块的左侧连接有交互式编程平台，所述交互式编程平台内左侧连接有前端编程开发界面、基于JupyterHub的编程内核支撑环境、后端服务器和操作界面，所述前端编程开发界面、基于JupyterHub的编程内核支撑环境、后端服务器和操作界面的左侧连接有大数据存储计算集群，所述大数据存储计算集群内包括大数据计算引擎、分布式数据库和分布式文件系统，所述分布式数据库内包括云端数据库、MySql数据库、WebService数据库和HttpJson数据库，保证了数据的全面性和有效性，所述分布式数据库内设有数据采集模块且数据采集模块右侧连接有数据分类模块，所述数据分类模块右侧设有数据计算控制模块，所述大数据计算引擎、分布式数据库和分布式文件系统的左侧内包括虚拟计算、虚拟网络、虚拟存储和操作系统，所述虚拟计算、虚拟网络、虚拟存储和操作系统的左侧连接有硬件管理系统，所述大数据计算引擎的上部连接有集群运维管理模块和集群运维监控模块，所述分布式文件系统的下部设有资源共享管理模块和资源共享调度模块，所述资源共享管理模块和资源共享调度模块用于数据计算中的数据合理调用和管理，合理的调度和管理提供了数据计算的速度。
作为本发明的一种优选实施方式，所述身份管理模块、认证管理模块、访问控制模块和审计管理模块的右侧连接有云服务认证模块，所述云服务认证模块用于保证用户信息的安全性和时效性。
作为本发明的一种优选实施方式，所述交互式编程平台内包括编程作业空间和作业管理模块，所述作业管理模块内设有作业提交和作业监控，保证了作业的安全性。
作为本发明的一种优选实施方式，所述数据采集模块内包括离线采集模块、自动采集模块和实时采集模块，多种采集方式大大提高了数据采集效率。
作为本发明的一种优选实施方式，所述数据计算控制模块内包括数据筛选模块、数据比对过滤模块、数据计算模块和计算结果反馈模块，所述数据筛选模块和数据比对过滤模块用于对数据的筛分，保证数据的有效性，所述数据计算模块用于数据分析并通过计算结果反馈模块将其反馈至操作界面。
作为本发明的一种优选实施方式，所述集群运维监控模块内包括计算环境监控、计算平台监控、机器监控和服务监控，所述集群运维监控模块可以对大数据存储计算集群内的数据运行进行有效监控，保证了数据的安全性。
作为本发明的一种优选实施方式，所述硬件管理系统包括云服务器、云存储、高速交换机和安全设备，所述硬件管理系统为大数据存储计算集群提供硬件设备的有效管理。
与现有技术相比，本发明的有益效果如下：
本发明通过设置用户登录管理模块，对用户的身份信息进行验证，并通过用户登录管理模块对用户的使用权限进行限制，提高了平台使用的安全性，用户登录管理模块连接交互式编程平台，且交互式编程平台与大数据存储计算集群之间相连接，大数据存储计算集群内设置大数据计算引擎、分布式数据库和分布式文件系统，分布式数据库的内包括云端数据库、MySql数据库、WebService数据库和HttpJson数据库，其数据源更加充足，分布式数据库内包括数据采集模块和数据分类模块，分类后的数据通过数据计算控制模块机箱内数据筛选、数据比对过滤和数据计算，从而得出结算结果，通过计算结果反馈模块将其反馈至用户终端，大数据存储计算平台内包括集群运维管理系统和集群运维监控系统，集群运维监控系统内包括计算环境监控、计算平台监控、机器监控和服务监控，大大提高了大数据存储计算平台内的数据计算安全性。
附图说明
图1为本发明整体流程示意图；
图2为本发明用户登录管理模块流程示意图；
图3为本发明分布式数据库流程示意图；
图4为本发明集群运维监控系统流程示意图；
图5为本发明硬件管理系统流程示意图；
图6为本发明交互式编程平台流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-6，本发明提供一种技术方案：一种交互式统一大数据编程计算平台，包括：用户登录管理模块，所述用户登录管理模块内包括统一目录服务模块。所述统一目录服务模块内包括身份管理模块、认证管理模块、访问控制模块和审计管理模块，所述身份管理模块和认证管理模块用于用户的身份信息录入与登录认证管理，保证用户登录的有效性，访问控制模块和审计管理模块用于用户的管理权限和审计，提高安全性，所述用户登录管理模块的左侧连接有交互式编程平台，所述交互式编程平台内左侧连接有前端编程开发界面、基于JupyterHub的编程内核支撑环境、后端服务器和操作界面，所述前端编程开发界面、基于JupyterHub的编程内核支撑环境、后端服务器和操作界面的左侧连接有大数据存储计算集群，所述大数据存储计算集群内包括大数据计算引擎、分布式数据库和分布式文件系统，所述分布式数据库内包括云端数据库、MySql数据库、WebService数据库和HttpJson数据库，保证了数据的全面性和有效性，所述分布式数据库内设有数据采集模块且数据采集模块右侧连接有数据分类模块，所述数据分类模块右侧设有数据计算控制模块，所述大数据计算引擎、分布式数据库和分布式文件系统的左侧内包括虚拟计算、虚拟网络、虚拟存储和操作系统，所述虚拟计算、虚拟网络、虚拟存储和操作系统的左侧连接有硬件管理系统，所述大数据计算引擎的上部连接有集群运维管理模块和集群运维监控模块，所述分布式文件系统的下部设有资源共享管理模块和资源共享调度模块，所述资源共享管理模块和资源共享调度模块用于数据计算中的数据合理调用和管理，合理的调度和管理提供了数据计算的速度。
进一步改进地，如图2所示：所述身份管理模块、认证管理模块、访问控制模块和审计管理模块的右侧连接有云服务认证模块，所述云服务认证模块用于保证用户信息的安全性和时效性。
进一步改进地，如图6所示：所述交互式编程平台内包括编程作业空间和作业管理模块，所述作业管理模块内设有作业提交和作业监控，保证了作业的安全性。
进一步改进地，如图3所示：所述数据采集模块内包括离线采集模块、自动采集模块和实时采集模块，多种采集方式大大提高了数据采集效率。
进一步改进地，如图3所示：所述数据计算控制模块内包括数据筛选模块、数据比对过滤模块、数据计算模块和计算结果反馈模块，所述数据筛选模块和数据比对过滤模块用于对数据的筛分，保证数据的有效性，所述数据计算模块用于数据分析并通过计算结果反馈模块将其反馈至操作界面。
进一步改进地，如图4所示：所述集群运维监控模块内包括计算环境监控、计算平台监控、机器监控和服务监控，所述集群运维监控模块可以对大数据存储计算集群内的数据运行进行有效监控，保证了数据的安全性。
进一步改进地，如图5所示：所述硬件管理系统包括云服务器、云存储、高速交换机和安全设备，所述硬件管理系统为大数据存储计算集群提供硬件设备的有效管理。
本发明通过设置用户登录管理模块，对用户的身份信息进行验证，并通过用户登录管理模块对用户的使用权限进行限制，提高了平台使用的安全性，用户登录管理模块连接交互式编程平台，且交互式编程平台与大数据存储计算集群之间相连接，大数据存储计算集群内设置大数据计算引擎、分布式数据库和分布式文件系统，分布式数据库的内包括云端数据库、MySql数据库、WebService数据库和HttpJson数据库，其数据源更加充足，分布式数据库内包括数据采集模块和数据分类模块，分类后的数据通过数据计算控制模块机箱内数据筛选、数据比对过滤和数据计算，从而得出结算结果，通过计算结果反馈模块将其反馈至用户终端，大数据存储计算平台内包括集群运维管理系统和集群运维监控系统，集群运维监控系统内包括计算环境监控、计算平台监控、机器监控和服务监控，大大提高了大数据存储计算平台内的数据计算安全性。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种交互式统一大数据编程计算平台，其特征在于：包括：用户登录管理模块，所述用户登录管理模块内包括统一目录服务模块。所述统一目录服务模块内包括身份管理模块、认证管理模块、访问控制模块和审计管理模块，所述身份管理模块和认证管理模块用于用户的身份信息录入与登录认证管理，保证用户登录的有效性，访问控制模块和审计管理模块用于用户的管理权限和审计，提高安全性，所述用户登录管理模块的左侧连接有交互式编程平台，所述交互式编程平台内左侧连接有前端编程开发界面、基于JupyterHub的编程内核支撑环境、后端服务器和操作界面，所述前端编程开发界面、基于JupyterHub的编程内核支撑环境、后端服务器和操作界面的左侧连接有大数据存储计算集群，所述大数据存储计算集群内包括大数据计算引擎、分布式数据库和分布式文件系统，所述分布式数据库内包括云端数据库、MySql数据库、WebService数据库和HttpJson数据库，保证了数据的全面性和有效性，所述分布式数据库内设有数据采集模块且数据采集模块右侧连接有数据分类模块，所述数据分类模块右侧设有数据计算控制模块，所述大数据计算引擎、分布式数据库和分布式文件系统的左侧内包括虚拟计算、虚拟网络、虚拟存储和操作系统，所述虚拟计算、虚拟网络、虚拟存储和操作系统的左侧连接有硬件管理系统，所述大数据计算引擎的上部连接有集群运维管理模块和集群运维监控模块，所述分布式文件系统的下部设有资源共享管理模块和资源共享调度模块，所述资源共享管理模块和资源共享调度模块用于数据计算中的数据合理调用和管理，合理的调度和管理提供了数据计算的速度。
2.根据权利要求1所述的一种交互式统一大数据编程计算平台，其特征在于：所述身份管理模块、认证管理模块、访问控制模块和审计管理模块的右侧连接有云服务认证模块，所述云服务认证模块用于保证用户信息的安全性和时效性。
3.根据权利要求1所述的一种交互式统一大数据编程计算平台，其特征在于：所述交互式编程平台内包括编程作业空间和作业管理模块，所述作业管理模块内设有作业提交和作业监控，保证了作业的安全性。
4.根据权利要求1所述的一种交互式统一大数据编程计算平台，其特征在于：所述数据采集模块内包括离线采集模块、自动采集模块和实时采集模块，多种采集方式大大提高了数据采集效率。
5.根据权利要求1所述的一种交互式统一大数据编程计算平台，其特征在于：所述数据计算控制模块内包括数据筛选模块、数据比对过滤模块、数据计算模块和计算结果反馈模块，所述数据筛选模块和数据比对过滤模块用于对数据的筛分，保证数据的有效性，所述数据计算模块用于数据分析并通过计算结果反馈模块将其反馈至操作界面。
6.根据权利要求1所述的一种交互式统一大数据编程计算平台，其特征在于：所述集群运维监控模块内包括计算环境监控、计算平台监控、机器监控和服务监控，所述集群运维监控模块可以对大数据存储计算集群内的数据运行进行有效监控，保证了数据的安全性。
7.根据权利要求1所述的一种交互式统一大数据编程计算平台，其特征在于：所述硬件管理系统包括云服务器、云存储、高速交换机和安全设备，所述硬件管理系统为大数据存储计算集群提供硬件设备的有效管理。
CN202010813571.2A 2020-08-13 2020-08-13 一种交互式统一大数据编程计算平台 Withdrawn CN111783053A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010813571.2A CN111783053A (zh) 2020-08-13 2020-08-13 一种交互式统一大数据编程计算平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010813571.2A CN111783053A (zh) 2020-08-13 2020-08-13 一种交互式统一大数据编程计算平台

Publications (1)

Publication Number Publication Date
CN111783053A true CN111783053A (zh) 2020-10-16

Family

ID=72762053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010813571.2A Withdrawn CN111783053A (zh) 2020-08-13 2020-08-13 一种交互式统一大数据编程计算平台

Country Status (1)

Country Link
CN (1) CN111783053A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925766A (zh) * 2021-03-01 2021-06-08 北京滴普科技有限公司 一种数据安全管控装置、系统、方法及其可读存储介质
CN113220284A (zh) * 2021-05-19 2021-08-06 陕西大唐高科机电科技有限公司 一种基于云的自动控制系统网络编程平台
CN113486112A (zh) * 2021-06-21 2021-10-08 北京德风新征程科技有限公司 一种基于工业互联网的大数据分发平台

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925766A (zh) * 2021-03-01 2021-06-08 北京滴普科技有限公司 一种数据安全管控装置、系统、方法及其可读存储介质
CN112925766B (zh) * 2021-03-01 2024-02-20 北京滴普科技有限公司 一种数据安全管控装置、系统、方法及其可读存储介质
CN113220284A (zh) * 2021-05-19 2021-08-06 陕西大唐高科机电科技有限公司 一种基于云的自动控制系统网络编程平台
CN113486112A (zh) * 2021-06-21 2021-10-08 北京德风新征程科技有限公司 一种基于工业互联网的大数据分发平台

Similar Documents

Publication Publication Date Title
CN110738454B (zh) 一种企业管理平台系统
CN111783053A (zh) 一种交互式统一大数据编程计算平台
CN113254445B (zh) 实时数据存储方法、装置、计算机设备及存储介质
CN109636307B (zh) 河长app系统
CN112579304A (zh) 基于分布式平台的资源调度方法、装置、设备及介质
CN112579288A (zh) 一种基于云计算智能安全用数据管理系统
CN111932099A (zh) 营销业务管理系统及营销业务管理方法
US12014216B2 (en) Method for platform-based scheduling of job flow
CN111507439A (zh) 基于信息码的用户信息查验方法及系统
CN111679911A (zh) 云环境中gpu卡的管理方法、装置、设备及介质
CN113570468A (zh) 一种企业支付风控服务平台
CN115391361A (zh) 一种基于分布式数据库的实时数据处理方法及其装置
CN112150027A (zh) 供电服务指挥平台系统
CN114860425A (zh) 一种基于云资源下的服务云平台
US20150106522A1 (en) Selecting a target server for a workload with a lowest adjusted cost based on component values
CN106407072A (zh) 一种大数据平台的监控系统
CN114237853A (zh) 应用于异构系统的任务执行方法、装置、设备、介质和程序产品
CN112383435B (zh) 一种故障处理的方法和装置
CN109213743B (zh) 一种数据查询方法和装置
CN103164776B (zh) 一种药品追溯系统及其药品追溯方法和流程监控方法
CN115567563A (zh) 基于端边云的综合交通枢纽监测预警系统及其控制方法
CN115756308A (zh) 一种云数据迁移的优化方法及系统
CN115514618A (zh) 告警事件的处理方法、装置、电子设备和介质
CN115168297A (zh) 绕行日志审计方法及装置
CN114997574A (zh) 一种基于业务中台的配电台区弹性资源管理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201016

WW01 Invention patent application withdrawn after publication