CN111338809A - 一种基于hadoop的大数据paas云平台系统 - Google Patents

一种基于hadoop的大数据paas云平台系统 Download PDF

Info

Publication number
CN111338809A
CN111338809A CN202010442224.3A CN202010442224A CN111338809A CN 111338809 A CN111338809 A CN 111338809A CN 202010442224 A CN202010442224 A CN 202010442224A CN 111338809 A CN111338809 A CN 111338809A
Authority
CN
China
Prior art keywords
module
data
resource
information
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010442224.3A
Other languages
English (en)
Inventor
陈炜
朱旨昂
阚苏立
王路
孙祥
卢清瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Jiangbei New Area Science And Technology Investment Group Co ltd
Original Assignee
Nanjing Jiangbei New Area Science And Technology Investment Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Jiangbei New Area Science And Technology Investment Group Co ltd filed Critical Nanjing Jiangbei New Area Science And Technology Investment Group Co ltd
Priority to CN202010442224.3A priority Critical patent/CN111338809A/zh
Publication of CN111338809A publication Critical patent/CN111338809A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及云平台技术领域，具体地说，涉及一种基于hadoop的大数据paas云平台系统。包括信息整理单元、系统资源监控单元、权限控制单元、资源调度单元和日志管理单元；所述信息整理单元用于展示服务器运行状态数据；所述系统资源监控单元用于统计服务器使用的资源数据；所述权限控制单元用于设置不同权限实现不同的资源操作；所述资源调度单元用于对数据资源进行调度处理；所述日志管理单元用于监控的操作信息，并记录异常信息。本发明设计基于hadoop的大数据处理，采用聚类分析算法，根据数据资源的特征对其进行聚类或分类，提高数据挖掘效率，同时提高数据挖掘精度，并采用paas云平台架构，能够快速实现系统资源调度，提升使用感。

Description

一种基于hadoop的大数据paas云平台系统
技术领域
本发明涉及云平台技术领域，具体地说，涉及一种基于hadoop的大数据paas云平台系统。
背景技术
随着云计算、虚拟化、容器、微服务、云桌面技术的发展，软件的形态进一步朝着云端运行，云平台系统中，数据信息量庞大，因此数据挖掘技术影响更为明显，目前传统数据挖掘算法，在挖掘效率和准确度上表现较差，已经无法适应云端数据化的需要。
发明内容
本发明的目的在于提供一种基于hadoop的大数据paas云平台系统，以解决上述背景技术中提出的问题。
为实现上述技术问题的解决，本发明的目的之一在于，提供一种基于hadoop的大数据paas云平台系统，包括信息整理单元、系统资源监控单元、权限控制单元、资源调度单元和日志管理单元；所述信息整理单元用于展示服务器运行状态数据；所述系统资源监控单元用于统计服务器使用的资源数据；所述权限控制单元用于设置不同权限实现不同的资源操作；所述资源调度单元用于对数据资源进行调度处理；所述日志管理单元用于监控的操作信息，并记录异常信息。
作为本技术方案的进一步改进，所述信息整理单元包括运行状态信息模块、配置信息模块和进程信息模块；所述运行状态信息模块用于显示服务器的运行状态数据；所述配置信息模块用于显示服务器的配置信息数据；所述进程信息模块用于显示服务器的进程信息数据。
作为本技术方案的进一步改进，所述系统资源监控单元包括CPU资源监控模块、内存使用监控模块、数据传输速率监控模块和链路吞吐量监控模块；所述CPU资源监控模块用于监控服务器的CPU资源利用率；所述内存使用监控模块用于监控服务器的内存使用率；所述数据传输速率监控模块用于监控服务器端口的传输速率；所述链路吞吐量监控模块用于监控服务器的链路吞吐量。
所述CPU资源利用率的计算方法为：记
Figure DEST_PATH_IMAGE001
，服务器的总状态为
Figure 920587DEST_PATH_IMAGE002
=
Figure DEST_PATH_IMAGE003
Figure 48949DEST_PATH_IMAGE003
，一段时间
Figure 365661DEST_PATH_IMAGE004
内服务器
Figure 494154DEST_PATH_IMAGE002
的CPU资源利用率为：
Figure DEST_PATH_IMAGE005
所述内存使用率的计算公式为：
Figure 639833DEST_PATH_IMAGE006
所述服务器端口的传输速率的计算公式为：
Figure DEST_PATH_IMAGE007
其中，
Figure 357123DEST_PATH_IMAGE008
和
Figure DEST_PATH_IMAGE009
表示数据流的持续时间，
Figure 579157DEST_PATH_IMAGE010
表示数据流的比特大小。
所述服务器的链路吞吐量的计算公式为：
Figure DEST_PATH_IMAGE011
其中，
Figure 647476DEST_PATH_IMAGE012
表示发送字节，
Figure DEST_PATH_IMAGE013
表示接收字节数。
作为本技术方案的进一步改进，所述权限控制单元包括权限模块、用户模块、角色模块和分组模块；所述权限模块建立权限信息关系，权限具有上下级关系，是一个树状的结构，对于每个权限，存在两种情况，一个是只是可访问，另一种是可授权，例如对于“查看用户”这个权限，如果用户只被授予“可访问”，那么他就不能将他所具有的这个权限分配给其他人；所述用户模块用于查看系统用户拥有权限信息，可以归属于0-n个角色，可属于0-n个组，用户的权限集是自身具有的权限、所属的各角色具有的权限、所属的各组具有的权限的合集，用户与权限、角色、组之间的关系都是n对n的关系；所述角色模块用于对用户进行分类管理，例如系统管理员、管理员、用户、访客等角色，角色具有上下级关系，可以形成树状视图，父级角色的权限是自身及它的所有子角色的权限的综合，父级角色的用户、父级角色的组同理可推；所述分组模块用于对用户进行分组归类，组也具有上下级关系，可以形成树状视图，在实际情况中，组也可以具有自己的角色信息、权限信息。
作为本技术方案的进一步改进，所述资源调度单元包括云计算模块、数据挖掘模块和资源分配模块；所述云计算模块用于对资源数据进行云计算处理；所述数据挖掘模块用于根据资源数据的特征对其进行聚类或分类；所述资源分配模块用于对资源数据进行分配。
作为本技术方案的进一步改进，所述云计算模块基于Hadoop的云计算平台，Hadoop是一个开源的、可以编写和运行分布式应用来处理大规模数据的框架，其主要特点是用户可以在不了解分布式底层细节的情况下，开发分布式程序充分利用集群的威力高速运算和存储。
作为本技术方案的进一步改进，所述数据挖掘模块采用K－means聚类算法，K－means算法是很典型的基于距离的聚类分析算法，它采用距离作为相似性评价的指标，即：如果两个对象的距离越近，则它的相似度就越大，这种算法认为簇是由距离靠近的对象而组成的，因此它把能够得到紧凑并且独立的簇作为最终的目标，K－means聚类算法的过程如下：
①从N个文档中随机地选取K个文档作为质心；
②测量剩余的每一个文档至质心距离，同时将其归至最近质心的类；
③再重新进行计算已获得的每个类质心；
④迭代第二和第三步直到新质心和原质心小于或等于指定的阈值；
⑤算法全部结束。
具体描述如下：
输入：k，data［n］；
①选择k个初始的中心点，例如c［0］=data［0］，…c［k－1］=data［k－1］；
②对于data［0］…．data［n］，分别与c［0］…c［k－1］进行相比较，先假定其与c［i］差值最少，标记为i；
③对全部标记为i点，再重新进行计算c［i］={所有标记为i的data［j］之和}/标记为i的个数；
④重复②③，直至所有c［i］值的变化小于给定的阈值；
⑤算法全部结束。
作为本技术方案的进一步改进，所述日志管理单元包括会话模块、异常信息模块和反馈模块；所述会话模块用于监控每个用户正在使用云件的会话，并记录相应的操作信息，通过这些操作记录可以更好地进行故障排查、状态恢复等；所述异常信息模块用于将对应的错误信息写入列表中，若发现有异常记录便会取出持久化到数据库；所述反馈模块用于遇到将级别严重问题时，发送邮件通知相应的管理员。
本发明的目的之二在于，提供一种基于hadoop的大数据paas云平台装置，包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现上述任一的基于hadoop的大数据paas云平台系统。
本发明的目的之三在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一的基于hadoop的大数据paas云平台系统。
与现有技术相比，本发明的有益效果：该基于hadoop的大数据paas云平台系统中，基于hadoop的大数据处理，采用聚类分析算法，根据数据资源的特征对其进行聚类或分类，提高数据挖掘效率，同时提高数据挖掘精度，并采用paas云平台架构，能够快速实现系统资源调度，提升使用感。
附图说明
图1为实施例1的整体云平台系统模块框图；
图2为实施例1的信息整理单元模块框图；
图3为实施例1的系统资源监控单元模块框图；
图4为实施例1的权限控制单元模块框图；
图5为实施例1的资源调度单元模块框图；
图6为实施例1的日志管理单元模块框图；
图7为实施例1的云平台装置结构示意图。
图中各个标号意义为：
100、信息整理单元；101、运行状态信息模块；102、配置信息模块；103、进程信息模块；
200、系统资源监控单元；201、CPU资源监控模块；202、内存使用监控模块；203、数据传输速率监控模块；204、链路吞吐量监控模块；
300、权限控制单元；301、权限模块；302、用户模块；303、角色模块；304、分组模块；
400、资源调度单元；401、云计算模块；402、数据挖掘模块；403、资源分配模块；
500、日志管理单元；501、会话模块；502、异常信息模块；503、反馈模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1-7所示，本实施例提供一种基于hadoop的大数据paas云平台系统，包括信息整理单元100、系统资源监控单元200、权限控制单元300、资源调度单元400和日志管理单元500；信息整理单元100用于展示服务器运行状态数据；系统资源监控单元200用于统计服务器使用的资源数据；权限控制单元300用于设置不同权限实现不同的资源操作；资源调度单元400用于对数据资源进行调度处理；日志管理单元500用于监控的操作信息，并记录异常信息。
本实施例中，信息整理单元100包括运行状态信息模块101、配置信息模块102和进程信息模块103；运行状态信息模块101用于显示服务器的运行状态数据；配置信息模块102用于显示服务器的配置信息数据；进程信息模块103用于显示服务器的进程信息数据。
进一步的，系统资源监控单元200包括CPU资源监控模块201、内存使用监控模块202、数据传输速率监控模块203和链路吞吐量监控模块204；CPU资源监控模块201用于监控服务器的CPU资源利用率；内存使用监控模块202用于监控服务器的内存使用率；数据传输速率监控模块203用于监控服务器端口的传输速率；链路吞吐量监控模块204用于监控服务器的链路吞吐量。
其中，CPU资源利用率的计算方法为：记
Figure 596846DEST_PATH_IMAGE001
，服务器的总状态为
Figure 981691DEST_PATH_IMAGE002
=
Figure 374626DEST_PATH_IMAGE003
，一段时间
Figure 726979DEST_PATH_IMAGE014
内服务器
Figure 496352DEST_PATH_IMAGE002
的CPU资源利用率为：
Figure DEST_PATH_IMAGE015
其中，内存使用率的计算公式为：
Figure 725251DEST_PATH_IMAGE006
其中，服务器端口的传输速率的计算公式为：
Figure 289087DEST_PATH_IMAGE007
其中，
Figure 145048DEST_PATH_IMAGE008
和
Figure 967379DEST_PATH_IMAGE009
表示数据流的持续时间，
Figure 61237DEST_PATH_IMAGE010
表示数据流的比特大小。
其中，服务器的链路吞吐量的计算公式为：
Figure 61554DEST_PATH_IMAGE011
其中，
Figure 388499DEST_PATH_IMAGE012
表示发送字节，
Figure 765254DEST_PATH_IMAGE013
表示接收字节数。
具体的，权限控制单元300包括权限模块301、用户模块302、角色模块303和分组模块304；权限模块301建立权限信息关系，权限具有上下级关系，是一个树状的结构，对于每个权限，存在两种情况，一个是只是可访问，另一种是可授权，例如对于“查看用户”这个权限，如果用户只被授予“可访问”，那么他就不能将他所具有的这个权限分配给其他人；用户模块302用于查看系统用户拥有权限信息，可以归属于0-n个角色，可属于0-n个组，用户的权限集是自身具有的权限、所属的各角色具有的权限、所属的各组具有的权限的合集，用户与权限、角色、组之间的关系都是n对n的关系；角色模块303用于对用户进行分类管理，例如系统管理员、管理员、用户、访客等角色，角色具有上下级关系，可以形成树状视图，父级角色的权限是自身及它的所有子角色的权限的综合，父级角色的用户、父级角色的组同理可推；分组模块304用于对用户进行分组归类，组也具有上下级关系，可以形成树状视图，在实际情况中，组也可以具有自己的角色信息、权限信息。
再进一步的，资源调度单元400包括云计算模块401、数据挖掘模块402和资源分配模块403；云计算模块401用于对资源数据进行云计算处理；数据挖掘模块402用于根据资源数据的特征对其进行聚类或分类；资源分配模块403用于对资源数据进行分配。
此外，云计算模块401基于Hadoop的云计算平台，Hadoop是一个开源的、可以编写和运行分布式应用来处理大规模数据的框架，其主要特点是用户可以在不了解分布式底层细节的情况下，开发分布式程序充分利用集群的威力高速运算和存储。
除此之外，数据挖掘模块402采用K－means聚类算法，K－means算法是很典型的基于距离的聚类分析算法，它采用距离作为相似性评价的指标，即：如果两个对象的距离越近，则它的相似度就越大，这种算法认为簇是由距离靠近的对象而组成的，因此它把能够得到紧凑并且独立的簇作为最终的目标，K－means聚类算法的过程如下：
①从N个文档中随机地选取K个文档作为质心；
②测量剩余的每一个文档至质心距离，同时将其归至最近质心的类；
③再重新进行计算已获得的每个类质心；
④迭代第二和第三步直到新质心和原质心小于或等于指定的阈值；
⑤算法全部结束。
其中，具体描述如下：
输入：k，data［n］；
①选择k个初始的中心点，例如c［0］=data［0］，…c［k－1］=data［k－1］；
②对于data［0］…．data［n］，分别与c［0］…c［k－1］进行相比较，先假定其与c［i］差值最少，标记为i；
③对全部标记为i点，再重新进行计算c［i］={所有标记为i的data［j］之和}/标记为i的个数；
④重复②③，直至所有c［i］值的变化小于给定的阈值；
⑤算法全部结束。
值得说明的是，日志管理单元500包括会话模块501、异常信息模块502和反馈模块503；会话模块501用于监控每个用户正在使用云件的会话，并记录相应的操作信息，通过这些操作记录可以更好地进行故障排查、状态恢复等；异常信息模块502用于将对应的错误信息写入列表中，若发现有异常记录便会取出持久化到数据库；反馈模块503用于遇到将级别严重问题时，发送邮件通知相应的管理员。
参阅图7，示出了本实施例所涉及的提供一种基于hadoop的大数据paas云平台装置结构示意图，该装置包括处理器、存储器和总线。
处理器包括一个或一个以上处理核心，处理器通过总线与处理器相连，存储器用于存储程序指令，处理器执行存储器中的程序指令时实现上述的基于hadoop的大数据paas云平台系统。
可选的，存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
此外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于hadoop的大数据paas云平台系统。
可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面基于hadoop的大数据paas云平台系统。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储与一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于hadoop的大数据paas云平台系统，其特征在于：包括信息整理单元（100）、系统资源监控单元（200）、权限控制单元（300）、资源调度单元（400）和日志管理单元（500）；所述信息整理单元（100）用于展示服务器运行状态数据；所述系统资源监控单元（200）用于统计服务器使用的资源数据；所述权限控制单元（300）用于设置不同权限实现不同的资源操作；所述资源调度单元（400）用于对数据资源进行调度处理；所述日志管理单元（500）用于监控的操作信息，并记录异常信息。
2.根据权利要求1所述的基于hadoop的大数据paas云平台系统，其特征在于：所述信息整理单元（100）包括运行状态信息模块（101）、配置信息模块（102）和进程信息模块（103）；所述运行状态信息模块（101）用于显示服务器的运行状态数据；所述配置信息模块（102）用于显示服务器的配置信息数据；所述进程信息模块（103）用于显示服务器的进程信息数据。
3.根据权利要求1所述的基于hadoop的大数据paas云平台系统，其特征在于：所述系统资源监控单元（200）包括CPU资源监控模块（201）、内存使用监控模块（202）、数据传输速率监控模块（203）和链路吞吐量监控模块（204）；所述CPU资源监控模块（201）用于监控服务器的CPU资源利用率；所述内存使用监控模块（202）用于监控服务器的内存使用率；所述数据传输速率监控模块（203）用于监控服务器端口的传输速率；所述链路吞吐量监控模块（204）用于监控服务器的链路吞吐量。
4.根据权利要求1所述的基于hadoop的大数据paas云平台系统，其特征在于：所述权限控制单元（300）包括权限模块（301）、用户模块（302）、角色模块（303）和分组模块（304）；所述权限模块（301）建立权限信息关系；所述用户模块（302）用于查看系统用户拥有权限信息；所述角色模块（303）用于对用户进行分类管理；所述分组模块（304）用于对用户进行分组归类。
5.根据权利要求1所述的基于hadoop的大数据paas云平台系统，其特征在于：所述资源调度单元（400）包括云计算模块（401）、数据挖掘模块（402）和资源分配模块（403）；所述云计算模块（401）用于对资源数据进行云计算处理；所述数据挖掘模块（402）用于根据资源数据的特征对其进行聚类或分类；所述资源分配模块（403）用于对资源数据进行分配。
6.根据权利要求5所述的基于hadoop的大数据paas云平台系统，其特征在于：所述云计算模块（401）基于Hadoop的云计算平台。
7.根据权利要求5所述的基于hadoop的大数据paas云平台系统，其特征在于：所述数据挖掘模块（402）采用K－means聚类算法，K－means聚类算法的过程如下：
①从N个文档中随机地选取K个文档作为质心；
②测量剩余的每一个文档至质心距离，同时将其归至最近质心的类；
③再重新进行计算已获得的每个类质心；
④迭代第二和第三步直到新质心和原质心小于或等于指定的阈值；
⑤算法全部结束。
8.根据权利要求1所述的基于hadoop的大数据paas云平台系统，其特征在于：所述日志管理单元（500）包括会话模块（501）、异常信息模块（502）和反馈模块（503）；所述会话模块（501）用于监控每个用户正在使用云件的会话，并记录相应的操作信息，通过这些操作记录可以更好地进行故障排查、状态恢复等；所述异常信息模块（502）用于将对应的错误信息写入列表中，若发现有异常记录便会取出持久化到数据库；所述反馈模块（503）用于遇到将级别严重问题时，发送邮件通知相应的管理员。
9.一种基于hadoop的大数据paas云平台装置，其特征在于：包括处理器、存储器以及存储在存储器中并在处理器上运行的计算机程序，处理器用于执行计算机程序时实现如权利要求1-8中任一所述的基于hadoop的大数据paas云平台系统。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-8中任一所述的基于hadoop的大数据paas云平台系统。
CN202010442224.3A 2020-05-22 2020-05-22 一种基于hadoop的大数据paas云平台系统 Pending CN111338809A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010442224.3A CN111338809A (zh) 2020-05-22 2020-05-22 一种基于hadoop的大数据paas云平台系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010442224.3A CN111338809A (zh) 2020-05-22 2020-05-22 一种基于hadoop的大数据paas云平台系统

Publications (1)

Publication Number Publication Date
CN111338809A true CN111338809A (zh) 2020-06-26

Family

ID=71184966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010442224.3A Pending CN111338809A (zh) 2020-05-22 2020-05-22 一种基于hadoop的大数据paas云平台系统

Country Status (1)

Country Link
CN (1) CN111338809A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760835A (zh) * 2021-01-07 2021-12-07 北京沃东天骏信息技术有限公司 日志管理方法、中台系统、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201146A (zh) * 2011-05-18 2011-09-28 中国科学技术大学 基于主动红外视频的零照度环境火灾烟雾识别方法
CN103699503A (zh) * 2012-09-27 2014-04-02 联想(北京)有限公司 一种信息处理方法及电子设备
CN103838756A (zh) * 2012-11-23 2014-06-04 阿里巴巴集团控股有限公司 一种确定推送信息的方法及装置
CN105553940A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于大数据处理平台的安全防护方法
US9338218B1 (en) * 2011-12-21 2016-05-10 Emc Corporation Distributed platform as a service

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201146A (zh) * 2011-05-18 2011-09-28 中国科学技术大学 基于主动红外视频的零照度环境火灾烟雾识别方法
US9338218B1 (en) * 2011-12-21 2016-05-10 Emc Corporation Distributed platform as a service
CN103699503A (zh) * 2012-09-27 2014-04-02 联想(北京)有限公司 一种信息处理方法及电子设备
CN103838756A (zh) * 2012-11-23 2014-06-04 阿里巴巴集团控股有限公司 一种确定推送信息的方法及装置
CN105553940A (zh) * 2015-12-09 2016-05-04 北京中科云集科技有限公司 一种基于大数据处理平台的安全防护方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘洋: ""基于 Hadoop 云计算平台的 K-Means聚类算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
孙世伟: ""基于 Ganglia的Hadoop 集群监控系统研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王东: ""基于Hadoop的电子商务推荐系统设计与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760835A (zh) * 2021-01-07 2021-12-07 北京沃东天骏信息技术有限公司 日志管理方法、中台系统、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US10878335B1 (en) Scalable text analysis using probabilistic data structures
CN105354251B (zh) 电力系统中基于Hadoop的电力云数据管理索引方法
CN110855648B (zh) 一种网络攻击的预警控制方法及装置
WO2014206131A1 (en) Method and apparatus for report generation
Canali et al. Improving scalability of cloud monitoring through PCA-based clustering of virtual machines
CN112445854A (zh) 多源业务数据实时处理方法、装置、终端及存储介质
CN106716335A (zh) 映射信息的异步处理
CN111581258B (zh) 一种安全数据分析方法、装置、系统、设备及存储介质
WO2022142013A1 (zh) 基于人工智能的ab测试方法、装置、计算机设备及介质
CN108039962A (zh) 一种基于大数据环境下的云计算业务资源计算方法及系统
CN114092729B (zh) 基于聚类匿名化与差分隐私保护的异构用电数据发布方法
CN106301979B (zh) 检测异常渠道的方法和系统
CN116776361A (zh) 一种基于隐私计算的公共数据资源开发利用管理平台
CN111338809A (zh) 一种基于hadoop的大数据paas云平台系统
WO2016106944A1 (zh) MapReduce平台上的虚拟人建立方法
CN105447117B (zh) 一种用户聚类的方法和装置
Zheng et al. Analysis and modeling of social influence in high performance computing workloads
CN110019193B (zh) 相似帐号识别方法、装置、设备、系统及可读介质
CN103605480B (zh) Web服务器及其磁盘资源访问控制方法
CN113159084B (zh) 一种空壳企业确定方法及装置、空壳企业监测方法及装置
CN112527830A (zh) 数据查询方法、装置、设备及存储介质
US11580082B2 (en) Object storage system with control entity quota usage mapping
US11204717B2 (en) Object storage system with access control quota status check
CN111598390A (zh) 服务器高可用性评估方法、装置、设备和可读存储介质
Cormode et al. Time‐decayed correlated aggregates over data streams

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626

RJ01 Rejection of invention patent application after publication