CN111949374B - 业务数据机器智能化处理平台 - Google Patents

业务数据机器智能化处理平台 Download PDF

Info

Publication number
CN111949374B
CN111949374B CN202010832076.6A CN202010832076A CN111949374B CN 111949374 B CN111949374 B CN 111949374B CN 202010832076 A CN202010832076 A CN 202010832076A CN 111949374 B CN111949374 B CN 111949374B
Authority
CN
China
Prior art keywords
note
plate
sentence
processing platform
intelligent processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010832076.6A
Other languages
English (en)
Other versions
CN111949374A (zh
Inventor
袁进波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Youpu Technology Co ltd
Original Assignee
Guangzhou Youpu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Youpu Technology Co ltd filed Critical Guangzhou Youpu Technology Co ltd
Priority to CN202010832076.6A priority Critical patent/CN111949374B/zh
Publication of CN111949374A publication Critical patent/CN111949374A/zh
Application granted granted Critical
Publication of CN111949374B publication Critical patent/CN111949374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/301—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is a virtual computing platform, e.g. logically partitioned systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/323—Visualisation of programs or trace data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/37—Compiler construction; Parser generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G06F8/42—Syntactic analysis
    • G06F8/427—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45591—Monitoring or debugging support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/508—Monitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/541—Client-server

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及业务数据机器智能化处理平台，其包括自下而上的容器层、Web端和Client端；容器层对开源组件apache zeppelin进行封装；Web端用于监控所述容器层并进行数据展示；Client端用于访问登录Web端。本申请具有改善开源组件apache zeppelin在用户基数很大的情况下出现性能问题的效果，实现了分布式一键部署看扩展，并达到了负载均衡的效果，突破了性能瓶颈；也便于用户进行写作、编辑代码；优化了调度功能和作业监控功能。

Description

业务数据机器智能化处理平台
技术领域
本申请涉及数据处理技术领域，尤其是涉及业务数据机器智能化处理平台。
背景技术
集数据整合、数据处理、数据存储、数据分析、可视化等功能于一体的数据处理平台，能够帮助数据挖掘人员挖掘数据背后的业务逻辑，发现数据背后的问题，以使数据挖掘人员能够根据数据背后的问题对自己的业务进行及时的分析和调整。
目前，大数据平台hadoop生态圈板块统一开发平台，集成了hadoop生态圈中比较热门的板块，如hive、hbase、spark等。
开源组件apache zeppelin则将hadoop和关系型数据库中的数据进行相互转移，将一个关系型数据库中的数据导入到Hadoop的HDFS中，或者，将HDFS的数据导入到关系型数据库中。
但是，在用户基数很大的情况下，现有的开源组件apache zeppelin会出现性能问题，与部分组件集成不稳定。
针对上述中的相关技术，发明人认为存在有现有的开源组件apache zeppelin在用户基数很大的情况下会出现性能问题的缺陷。
发明内容
为了改善开源组件apache zeppelin在用户基数很大的情况下出现的性能问题，本申请提供了业务数据机器智能化处理平台。
本申请提供的业务数据机器智能化处理平台采用如下的技术方案：
业务数据机器智能化处理平台，包括自下而上的容器层、Web端和Client端；
所述容器层对开源组件apache zeppelin进行封装；
所述Web端用于监控所述容器层并进行数据展示；
所述Client端用于访问登录所述Web端。
通过采用上述技术方案，容器层对开源组件apache zeppelin进行封装，实现了数据与程序的分离，使得数据持久化到容器外部存储中，扩展数据存储空间和数据处理速度；Web端监控容器层，以获取获取容器层中的容器个数、容器中开源组件apache zeppelin信息等，并进行数据展示；Client端用于访问登录Web端，通过Web端即可查看到容器层中开源组件apache zeppelin相关的调度和作业信息，起到半透明的作用；进而通过容器层、Web端、Client端的架构方式，实现了分布式一键部署看扩展，并达到了负载均衡的效果，突破了性能瓶颈，以在用户基数很大的情况下，改善开源组件apache zeppelin出现的性能问题，使得开源组件apache zeppelin与部分组件的集成稳定。
可选的，所述Web端新增笔记管理模块，以进行数据可视化和写作，实现调度工作。
通过采用上述技术方案，笔记管理模块使得数据可视化，同时，便于用户进行写作、编辑代码，解决了现有组件的调度简陋、调度功能单一的问题，优化了开源组件apachezeppelin的调度功能。
可选的，所述笔记管理模块包括笔记本刷新单元、导入笔记单元、创建笔记单元和笔记列表单元；
所述笔记本刷新单元用于刷新并重新加载笔记本列表；
所述导入笔记单元用于导入笔记到所述Web端；
所述创建笔记单元用于输入新的自定义笔记名并选择对应的解析器，创建笔记；
所述笔记列表单元用于将创建的笔记排列显示于所述Web端。
通过采用上述技术方案，笔记管理模块中，笔记本刷新单元刷新并重新加载笔记本列表；导入笔记单元将笔记导入至Web端；创建笔记单元用于输入新的自定义笔记名并选择对应的解析器，创建笔记；笔记列表单元将创建的笔记排列显示于Web端；以实现笔记管理模块的数据可视化和写作功能，实现调度工作。
可选的，所述Web端包括搜索框，在所述搜索框中输入需要查找的笔记名中包含的关键字，即可找到包含关键字的所有笔记。
通过采用上述技术方案，在搜索框中输入需要查找的笔记名中包含的关键字，即可找到包含关键字的所有笔记，操作方便，以便于用户根据关键字迅速找到对应的笔记。
可选的，所述笔记列表单元设有笔记编辑界面，所述笔记编辑界面包括操作板块、显示设置板块、语句板块、执行板块、结果显示板块、执行信息板块和下一个笔记区域板块；
所述操作板块用于对笔记进行操作；
所述显示设置板块用于修改宽度和设置、查看快捷键；
所述语句板块用于写入想要执行的解析器和对应的语句；
所述执行板块用于执行所述语句板块内的语句功能、隐藏或显示输入语句、隐藏或显示语句输出结果；
当所述语句板块输入的语句正确且所述执行信息板块执行语句后，所述结果显示板块显示语句的执行情况；
所述执行信息板块用于显示语句的执行时间和笔记的更新时间；
所述下一个笔记区域板块用于编辑操作另一个笔记。
通过采用上述技术方案，笔记列表单元设有笔记编辑界面；其中，操作板块用于对笔记进行操作；显示设置板块用于修改宽度和设置、查看快捷键；语句板块用于写入想要执行的解析器和对应的语句；执行板块用于执行语句板块内的语句功能、隐藏或显示输入语句、隐藏或显示语句输出结果；结果显示板块在语句板块输入的语句正确且执行信息板块执行语句后，显示语句的执行情况；执行信息板块用于显示语句的执行时间和笔记的更新时间；下一个笔记区域板块用于编辑操作另一个笔记；进而用户在笔记编辑界面能对笔记进行编辑、执行和结果查看等操作，编辑功能丰富，丰富了开源组件apache zeppelin的调度方式和功能。
可选的，所述结果显示板块具有在运行结果中修改字段类型、指定产生的图形样式和按设定格式下载产生的结果数据的功能。
通过采用上述技术方案，在运行结果中修改字段类型、指定产生的图形样式和按设定格式下载产生的结果数据，以对数据结果进行筛选，便于数据发现和分析，也便于数据资源的统一管理。
可选的，所述Web端新增有作业模块，以进行平台作业监控。
通过采用上述技术方案，作业模块解决了现有的开源组件apache zeppelin缺少的作业监控的问题，使得开源组件apache zeppelin新增了作业监控功能。
可选的，所述作业模块包括搜寻和排序板块、注释板块和作业列表板块；
所述搜寻和排序板块用于搜寻、排序所述笔记管理模块内的笔记本；
所述注释板块用于注释所述笔记管理模块的工作状态；
所述作业列表板块显示每个笔记包含的语句和语句执行情况，通过点击对应的语句执行情况跳转至对应的笔记界面。
通过采用上述技术方案，作业模块中，搜寻和排序板块用于搜寻、排序笔记管理模块内的笔记本；注释板块用于注释笔记管理模块的工作状态；作业列表板块显示每个笔记包含的语句和语句执行情况，通过点击对应的语句执行情况跳转至对应的笔记界面；以实现开源组件apache zeppelin的作业监控功能，便于用户及时掌握平台的实时调度情况。
可选的，所述Web端还设置有其他选项，所述其他选项将所述Web端的功能以列表形式呈现，以供用户选择并跳转至对应的功能界面。
通过采用上述技术方案，其他选项将Web端的功能以列表形式呈现，以供用户选择并跳转至对应的功能界面，使得用户与Web端的交互更简单方便，设计人性化。
可选的，所述其他选项包括证书模块，使用所述笔记管理模块前需要通过所述证书模块配置证书。
通过采用上述技术方案，使用笔记管理模块前需要通过证书模块配置证书，以增加业务数据机器智能化处理平台的使用安全性，提高业务数据机器智能化处理平台的数据安全等级。
综上所述，本申请包括以下至少一种有益技术效果：
1.业务数据机器智能化处理平台通过容器层、Web端、Client端的架构方式，实现了分布式一键部署看扩展，并达到了负载均衡的效果，突破了性能瓶颈，以在用户基数很大的情况下，改善开源组件apache zeppelin出现的性能问题，使得开源组件apachezeppelin与部分组件的集成稳定；
2.笔记管理模块使得数据可视化，同时，便于用户进行写作、编辑代码，优化了开源组件apache zeppelin的调度功能；
3.利用搜索框找到包含关键字的所有笔记，操作方便，查找速度快；
4.在运行结果中修改字段类型、指定产生的图形样式和按设定格式下载产生的结果数据，以对数据结果进行筛选，便于数据发现和分析，也便于数据资源的统一管理；
5.作业模块使开源组件apache zeppelin新增作业监控功能；
6.其他选项将Web端的功能以列表形式呈现，使用户与Web端的交互更简单方便，设计人性化；
7.通过证书模块配置证书，以增加业务数据机器智能化处理平台的使用安全性，提高平台数据的安全等级。
附图说明
图1是本申请实施例的业务数据机器智能化处理平台的架构图。
图2是Web端的功能模块示意图。
图3是本申请实施例的业务数据机器智能化处理平台的操作流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图1-2及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例公开业务数据机器智能化处理平台。参照图1，业务数据机器智能化处理平台包括自下而上的容器层、Web端和Client端。
容器层将开源组件apache zeppelin封装进容器Docker中，实现数据与程序的分离，使得数据持久化到容器外部存储中，扩展了平台的数据存储空间和数据处理速度。容器层具有供Web端作监控的API接口,API接口数量可以为每个开源组件apache zeppelin中的notebook的个数，Web端经API接口监控容器Docker。本实施例中，一个项目绑定一个容器Docker。每个封装开源组件apache zeppelin的容器Docker暴露有zeppelin-web端口，Web端通过Nginx跳转至容器层。
Web端用于监控容器层并进行数据展示，其中监控的内容包括容器Docker的个数、容器Docker中的开源组件apache zeppelin信息等。
Client端用于访问登录Web端，用户通过Client端访问并登录Web端，直接单点登录到容器Docker中的zeppelin-web首页上，以查看容器Docker中开源组件apachezeppelin调度和作业的相关信息，使得用户能够感知最底层的容器层，起到半透明作用。
参照图2，Web端包括笔记管理模块、作业模块、搜索框和其他选项。
其中，笔记管理模块用于进行数据可视化和写作，实现调度工作；作业模块用于进行平台作业监控；在搜索框中输入需要查找的笔记名中包含的关键字，即可找到包含关键字的所有笔记；其他选项将Web端的功能以列表形式呈现，以供用户选择并跳转至对应的功能界面。
具体地，笔记管理模块包括笔记本刷新单元、导入笔记单元、创建笔记单元和笔记列表单元。
笔记本刷新单元用于刷新并重新加载笔记本列表。
导入笔记单元用于导入笔记到Web端，首先，输入自定义的笔记名，接着选择“从本地导入JSON文件”或“从URL中添加笔记文件”导入笔记，其中，导入的JSON文件大小不能超过1MB。
当选择“从本地导入JSON文件”导入笔记时，弹出系统文件目录，选择点击文件夹，即可实现导入笔记。
当选择“从URL中添加笔记文件”导入笔记时，输入笔记名，且注意JSON文件大小不能超过1MB，再在“URL”三个字下面的框中输入URL，点击“导入笔记”，即可实现笔记导入。
创建笔记单元用于输入新的自定义笔记名并选择对应的解析器，创建笔记。具体地，在输入笔记名，并在“默认解析”四个字后面点击“下箭头”，弹出解析列表，选择对应的解析器，再点击“创建笔记”四个字，即可创建成功笔记。
在输入笔记名时，如果输入前加入“/”符号、并利用“/”符号进行分隔，平台将会默认为先创建文件夹，并在文件夹下面创建笔记。
笔记列表单元用于将创建的笔记排列显示于Web端。在进入新笔记界面后，用户可以看到新笔记的笔记名和笔记列表单元设有的笔记编辑界面。
笔记编辑界面包括操作板块、显示设置板块、语句板块、执行板块、结果显示板块、执行信息板块和下一个笔记区域板块。
操作板块用于对笔记进行操作，具体操作包括“运行所有段落”，“显示/隐藏代码”，“显示/隐藏输出”，“清除输出”，“复制笔记”，“导出笔记”，“转换个人/协同模式”，“版本控制”，“删除笔记到回收站”，“运行调度程序”。点击“运行所有段落”对应的按键，可以运行所输入的该笔记下的所有内容。点击“显示/隐藏代码”按键，可实现将输入的代码隐藏的功能，再次点击，即可重新显示输入的代码。点击“显示/隐藏输出”即可实现显示/隐藏输出结果的功能，再次点击此按键，即可实现重新显示输出结果。点击“清除输出”，即可实现清除语句输出结果的功能。点击“复制这个笔记”，即可实现复制笔记内容的功能。点击“导出这个笔记”，即可实现导出笔记到本地文件的功能。点击“切换到个人/协同模式”，即可实现笔记的个人模式和协同模式的转换。本实施例中，只有笔记本拥有者才能改变笔记的模式。点击“版本控制”，即可实现版本控制，在输入框中输入版本信息。点击“将这个笔记移至回收站”，即可将笔记删除，放在回收站内。点击“运行调度程序”，即可实现运行该调度程序的功能。
显示设置板块用于修改宽度和设置、查看快捷键。移动鼠标到“小键盘样式”的图标上，可查看文字信息。点击“快捷键列表”按键，进入快捷键详细列表界面。点击“解析器绑定”，即可实现绑定笔记到某个解析器的功能。点击以捆绑/解绑解析器。拖放即可重新排序，列表上的第一个解析器会成为默认解析器。如果要增加或者删除解析器，可以去解析器菜单。
语句板块用于写入想要执行的解析器和对应的语句，输入时“%”后加解析器的名称，之后再接语句。
执行板块用于执行所述语句板块内的语句功能、隐藏或显示输入语句、隐藏或显示语句输出结果。执行时，界面左边的英文代表着语句运行的状态，“READY”代表“语句就绪”，“RUNNING”代表“正在运行”，“FINISHED”代表“语句运行完毕”，“ERROR”代表语句运行错误。
当语句板块输入的语句正确且执行信息板块执行语句后，结果显示板块显示语句的执行情况。结果显示板块还具有在运行结果中修改字段类型、指定产生的图形样式和按设定格式下载产生的结果数据的功能，以对数据结果进行筛选，便于数据发现和分析，也便于数据资源的统一管理。
本实施中，输出显示的方式分为默认、简易、报表三种形式，默认形式会显示包括代码、结果、工具栏在内的全部信息；简易形式会显示代码和结果而不会显示工具栏；报表形式只会显示结果形成的报告。
执行信息板块用于显示语句的执行时间和笔记的更新时间，方便用户查看。
下一个笔记区域板块用于编辑操作另一个笔记。
笔记列表单元还带有重命名笔记、清除所有笔记输出和删除选中笔记的功能。重命名笔记用于输入新的笔记名以重命名现有的笔记。清除所有笔记输出用于清除所有的笔记并确定输出。Web端设有回收站，删除选中笔记用于将选择的笔记删除至回收站。已删除的笔记存放至回收站，回收站具有恢复已删除笔记和永久删除笔记的功能。
点击“笔记权限”即可进入笔记权限管理界面，进行笔记权限管理，本实施例中，只有笔记本拥有者才能更改权限。在字段中输入逗号分隔符的用户和群组，其中，空字段*暗示任何人都可以执行这个操作。
作业模块包括搜寻和排序板块、注释板块和作业列表板块；搜寻和排序板块用于搜寻、排序笔记管理模块内的笔记本；注释板块用于注释笔记管理模块的工作状态；作业列表板块显示每个笔记包含的语句和语句执行情况，通过点击对应的语句执行情况跳转至对应的笔记界面。
本实施例中，作业排序方式包括顺序/逆序/编译器类型分类三种方式，以实现按顺序或逆序或以编译器类型分类排列作业，方便用户查看。
每个作业下都包含有许多的语句段落，不同的语句段落在作业列表中均可查看语句的执行情况，点击小圆点还可以进入该笔记，找到该对应的语句段落。
这些语句段落的运行状态用有颜色的小圆点进行状态注释。白色代表语句段落“就绪”，绿色代表语句段落“运行完毕”，橙色代表语句段落“中止运行”，红色代表语句段落“发生错误”，灰色代表语句段落“待定”，螺旋代表语句“正在运行”。
作业模块还包括作业搜索框，在搜索框中输入需要查找的作业名中包含的关键字，即可找到包含关键字的所有作业，操作方便。
其他选项中包括关于大数据开发编程工具、解析器、NOTEBOOK REPOS、证书模块、HELIUM、配置和登出的功能，其他选项将Web端的功能以列表形式呈现，以供用户选择并跳转至对应的功能界面，使得用户与Web端的交互更简单方便，设计人性化。
大数据开发编程工具提供各种大数据开发编程工具供用户选择。
解析器包括Scala、Python，R，Hive，sparksql，Markdown和shell等解析器语言。
NOTEBOOK REPOS指笔记的工作结果报告。
证书模块具体指使用笔记管理模块前需要通过证书模块配置证书，以增加业务数据机器智能化处理平台的使用安全性，提高平台数据的安全等级。
具体地，用户在界面上点击“证书”，进入证书管理界面。点击“添加”弹出添加证书界面，以添加证书。具体地，在“属主”两个字下面的框中，输入解析器所在群组加上“.”，再加上解析器的名称，再在“用户名”三个字下面的框中输入证书用户名；在“密码”两个字下面输入证书密码；点击“保存”，保存证书信息；或者，点击“取消”，取消当前增加证书操作。
在证书管理界面，点击“编辑”即可编辑证书，点击“删除”即可删除该证书；编辑证书时，具体地，在“用户名”三个字下方框中修改用户名；在“密码”两个字下方的框中修改密码；点击“保存”即可保存修改；点击“取消”即可取消修改操作；删除证书时，具体地，点击“删除”后，弹出删除操作确认界面：点击“Cancle”取消删除操作，点击“OK”确认删除操作。
HELIUM是指启用前端响应式 Web 框架的功能。
配置是指对业务数据机器智能化处理平台的基础参数配置。
登出功能使用时，点击“登出”，即可退出当前账户，登出成功将弹出已登出提示。
点击“关于业务数据机器智能化处理平台”，可查看版本信息。
本实施例中，业务数据机器智能化处理平台通过Web端对资源与用户进行统一管理；优化了解析器与各组件间代码交互；优化了调度功能以及新增了监控功能；增加了汉化和权限筛选功能；实现了一键部署扩展并通过负载均衡突破了性能瓶颈，使得部分组件集成稳定。
业务数据机器智能化处理平台可以完美对接大部分hadoop生态圈，如hive，hawq，spark，flink等，是一款支持交互式数据分析工具，可以支持多种语言、添加自己的语言支持；具有数据采集、数据发现、数据分析、以及数据可视化和写作的功能；还能在Web端上实现浏览器中写代码、笔记共享的功能，支持交互式数据分析；还可以完成机器学习的数据预处理、算法开发和调试、算法作业调度的工作，同时，提供了单机Docker、分布式、K8s、Yarn四种系统运行模式，以适应各类团队的需求，适用性强。
本申请实施例业务数据机器智能化处理平台的实施原理为：用户输入正确的网址后，用户即可进入业务数据机器智能化处理平台的主页。主页的左上角为大数据开发编程工具名称；主页的右上角设有小圆点。
当小圆点为红色时，代表网络连接不可用；当小圆点为绿色时，代表网络连接正常。具体地，用户移动鼠标停留至右上角小圆点静止不动时，即可查看网络状态文字说明。
在网络连接正常的情况下，用户点击登录，业务数据机器智能化处理平台的主页弹出登录界面。用户在“用户名”三个字下面的框中输入预设的用户名，在“密码”两个字下面的框中输入对应的密码，再点击右下角蓝色底部的“登录”按键。
当输入的用户名和密码均正确时，即可登录与用户名对应账户的zeppelin-web首页；当密码错误时，主页上将会弹出密码错误提示，提醒用户检查用户名和用户名所对应的密码是否正确，再次输入直至正确才能登录；如果无法解决错误，可联系相关管理人员。
zeppelin-web首页的左上部为“笔记本”和“作业”，点击即可分别进入笔记本列表和作业列表。最左边黄色框中是“笔记本管理模块”，和左上部“笔记本”具有相同的功能。右上部分为搜索框。右上角为账号其他选项。
具体地，参照图3，用户通过Client端登录Web端、选择项目、通过单点登录跳转至容器Docker中的zeppelin-web首页上、配置证书、创建笔记、编辑笔记、点击执行按钮、通过web端进行调度配置和作业监控。
用户在zeppelin-web首页上进行笔记管理和作业监控，具有数据可视化和写作功能，并使平台新增了作业监控功能。
进而业务数据机器智能化处理平台通过容器层、Web端、Client端的架构方式，实现了分布式一键部署看扩展，并达到了负载均衡的效果，突破了性能瓶颈，以在用户基数很大的情况下，改善开源组件apache zeppelin出现的性能问题，使得开源组件apachezeppelin与部分组件的集成稳定。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

Claims (7)

1.业务数据机器智能化处理平台，其特征在于：包括自下而上的容器层、Web端和Client端；所述容器层对开源组件apache zeppelin进行封装；
所述Web端用于监控所述容器层并进行数据展示；
所述Client端用于访问登录所述Web端；
其中，所述Web端新增笔记管理模块，以进行数据可视化和写作，实现调度工作；所述笔记管理模块包括笔记本刷新单元、导入笔记单元、创建笔记单元和笔记列表单元；
所述笔记本刷新单元用于刷新并重新加载笔记本列表；
所述导入笔记单元用于导入笔记到所述Web端；
所述创建笔记单元用于输入新的自定义笔记名并选择对应的解析器，创建笔记；
所述笔记列表单元用于将创建的笔记排列显示于所述Web端；
所述笔记列表单元设有笔记编辑界面，所述笔记编辑界面包括操作板块、显示设置板块、语句板块、执行板块、结果显示板块、执行信息板块和下一个笔记区域板块；
所述操作板块用于对笔记进行操作；
所述显示设置板块用于修改宽度和设置、查看快捷键；
所述语句板块用于写入想要执行的解析器和对应的语句；
所述执行板块用于执行所述语句板块内的语句功能、隐藏或显示输入语句、隐藏或显示语句输出结果；
当所述语句板块输入的语句正确且所述执行信息板块执行语句后，所述结果显示板块显示语句的执行情况；输出显示的方式分为默认、简易、报表三种形式，默认形式显示包括代码、结果、工具栏在内的全部信息，简易形式显示代码和结果而不显示工具栏，报表形式显示结果形成的报告；
所述执行信息板块用于显示语句的执行时间和笔记的更新时间；
所述下一个笔记区域板块用于编辑操作另一个笔记。
2.根据权利要求1所述的业务数据机器智能化处理平台，其特征在于：所述Web端包括搜索框，在所述搜索框中输入需要查找的笔记名中包含的关键字，即可找到包含关键字的所有笔记。
3.根据权利要求1所述的业务数据机器智能化处理平台，其特征在于：所述结果显示板块具有在运行结果中修改字段类型、指定产生的图形样式和按设定格式下载产生的结果数据的功能。
4.根据权利要求1所述的业务数据机器智能化处理平台，其特征在于：所述Web端新增有作业模块，以进行平台作业监控。
5.根据权利要求4所述的业务数据机器智能化处理平台，其特征在于：所述作业模块包括搜寻和排序板块、注释板块和作业列表板块；
所述搜寻和排序板块用于搜寻、排序所述笔记管理模块内的笔记本；
所述注释板块用于注释所述笔记管理模块的工作状态；
所述作业列表板块显示每个笔记包含的语句和语句执行情况，通过点击对应的语句执行情况跳转至对应的笔记界面。
6.根据权利要求1所述的业务数据机器智能化处理平台，其特征在于：所述Web端还设置有其他选项，所述其他选项将所述Web端的功能以列表形式呈现，以供用户选择并跳转至对应的功能界面。
7.根据权利要求6所述的业务数据机器智能化处理平台，其特征在于：所述其他选项包括证书模块，使用所述笔记管理模块前需要通过所述证书模块配置证书。
CN202010832076.6A 2020-08-18 2020-08-18 业务数据机器智能化处理平台 Active CN111949374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010832076.6A CN111949374B (zh) 2020-08-18 2020-08-18 业务数据机器智能化处理平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010832076.6A CN111949374B (zh) 2020-08-18 2020-08-18 业务数据机器智能化处理平台

Publications (2)

Publication Number Publication Date
CN111949374A CN111949374A (zh) 2020-11-17
CN111949374B true CN111949374B (zh) 2023-11-24

Family

ID=73343057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010832076.6A Active CN111949374B (zh) 2020-08-18 2020-08-18 业务数据机器智能化处理平台

Country Status (1)

Country Link
CN (1) CN111949374B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103645951A (zh) * 2013-12-19 2014-03-19 北京邮电大学 一种跨平台的移动数据管理系统及其方法
CN108920153A (zh) * 2018-05-29 2018-11-30 华南理工大学 一种基于负载预测的Docker容器动态调度方法
CN110311973A (zh) * 2019-06-28 2019-10-08 东北大学 一种面向多租户的影像云服务系统及方法
CN111309378A (zh) * 2020-02-25 2020-06-19 电子科技大学 一种机器学习模型生命周期管理系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103645951A (zh) * 2013-12-19 2014-03-19 北京邮电大学 一种跨平台的移动数据管理系统及其方法
CN108920153A (zh) * 2018-05-29 2018-11-30 华南理工大学 一种基于负载预测的Docker容器动态调度方法
CN110311973A (zh) * 2019-06-28 2019-10-08 东北大学 一种面向多租户的影像云服务系统及方法
CN111309378A (zh) * 2020-02-25 2020-06-19 电子科技大学 一种机器学习模型生命周期管理系统及方法

Also Published As

Publication number Publication date
CN111949374A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
US9361069B2 (en) Systems and methods for defining a simulated interactive web page
Akscyn et al. KMS: A distributed hypermedia system for managing knowledge in organizations
US5603025A (en) Methods for hypertext reporting in a relational database management system
Estrada Qualitative analysis using R: A free analytic tool
US20050198567A1 (en) Web navigation method and system
JP2009217837A (ja) 異質なデータソースのデータ品質管理及び制御のためのシステム及び方法
JP2004502993A (ja) 訓練可能で拡張可能な自動化データ／知識翻訳機
Bontcheva et al. Web-based collaborative corpus annotation: Requirements and a framework implementation
Hearst et al. Sewing the seams of sensemaking: A practical interface for tagging and organizing saved search results
US20140317155A1 (en) Research data collector and organizer
CN111949374B (zh) 业务数据机器智能化处理平台
Liberty et al. Programming ASP. NET: Building Web Applications and Services with ASP. NET 2.0
Sciore Understanding Oracle APEX 5 Application Development
Frye Microsoft Office Excel 2007 step by step
Kimmel et al. Excel 2003 VBA Programmer's Reference
Napolitano et al. Bioinformatic pipelines in Python with Leaf
Puertas Data Science Tools
Boyhan Agricultural statistical data analysis using Stata
Malewar Learning Informatica PowerCenter 10. x
Murphrey et al. Jump Into JMP Scripting
Covington et al. The Red-R framework for integrated discovery
JP3988900B2 (ja) 文書処理装置およびそのプログラム記憶媒体
Homer et al. Inside ASP. NET Web Matrix
Campbell et al. Hello World
Jennings Microsoft Access 2010 in depth

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant