CN111475482B - 一种hdfs数据的展示方法和装置 - Google Patents

Abstract

本发明属于互联网技术领域，涉及一种HDFS数据的展示方法和装置，包括以下步骤：S1.获取HDFS数据，每个HDFS数据包括代表其本身的第一编码和代表其上一级数据的第二编码；S2.按照第一编码的大小对所有HDFS数据进行排序，并将所有HDFS数据中第二编码相同的分为一组，记录每一组对应的第二编码并按照大小排序；S3.将经过记录的第二编码和第一编码进行对比，根据数据之间的上下级关系建立树状关系图；S4.对每一级的数据标记不同的识别符，展示时根据不同的识别符进行分级展示。其运用树状图的形式直观、简洁的HDFS数据结构关系，降低了技术操作门槛，方便了非技术人员的操作。

Description

一种HDFS数据的展示方法和装置

技术领域

本发明是关于一种HDFS数据的展示方法和装置，属于互联网技术领域。

背景技术

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统(Distributed File System)。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规 模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据 的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。 HDFS是Apache HadoopCore项目的一部分。AR技术，即增强现实技术，是一种实时 地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚 拟世界信息“无缝”集成的新技术，随着随身电子产品运算能力的提升，对悬而未决的 繁杂数据要求有互动感，不生硬的选择观看和获取，进而结合HDFS数据进行实现有 AR方法和装置。

目前现有技术中，HDFS过多于依赖linux虚拟机环境下的操作，界面化的存在单一显示，缺少层次，过于复杂的问题；再者，界面化的操作，属于原生简单的层次， 而且展示不够丰富，结构单一，仅是单一集群，缺少通用性，业务的变更，需要重新 设计和开发，增加了维护和管理的难度；而后台xshell工具操作，运用命令查看和增 删改查偏向于运维人员，不能普及大众要求，缺少与时代俱进，缺乏新意。

发明内容

针对上述现有技术的不足，本发明的目的是提供了一种HDFS数据的展示方法和装置，其运用树状点图的形式直观、简洁的HDFS数据结构关系，降低了技术操作门槛， 方便了非技术人员的操作。

为实现上述目的，本发明提供了一种HDFS数据的展示方法，包括以下步骤：S1. 获取HDFS数据，每个HDFS数据包括两个编码，一个是代表其本身的第一编码，另 一个是代表其上一级数据的第二编码；S2.按照第一编码的大小对所有HDFS数据进行 排序，并将所有HDFS数据中第二编码相同的分为一组，和其他数据的第二编码都不 相同的数据自己分为一组，记录每一组对应的第二编码并按照大小排序；S3.将经过记 录的第二编码和第一编码进行对比，若某数据的第一编码与经过记录的第二编码相同， 则数据为与第二编码对应的组的上一级数据，若没有与经过记录的第二编码相同的第 一编码，则将第二编码对应的数据作为第一级数据，根据数据之间的上下级关系建立 树状关系图；S4.对每一级的数据标记不同的识别符，展示时根据不同的识别符进行分 级展示。

进一步，根据不同的识别符进行分级展示为：展示模块根据第一级数据的识别符读取第一级数据；在界面显示第一级数据并生成相应的图标，触发图标，展示模块根 据第二级数据的识别符读取第二级数据；在界面显示第二级数据并生成相应的图标， 以此类推，直至最后一级数据被展示。

进一步，树状关系图包括三个基本属性，基本属性为文件路径，最后一级数据的基本属性为文件路径dirPath,parentDirPath,Lish<HashMap>；其他级的数据的基本 属性为文件路径dirPath,parentDirPath以及文件相关属性信息列表。

进一步，树状关系图还包括与基本属性对应的构造函数，最后一级数据的构造函数只包含当前数据内容的文件，没有下级数据文件；其他级的数据的构造函数包含当 前数据的文件和包含下级数据的文件夹。

进一步，文件或文件夹包括文件名，文件存储大小，文件类型，文件所属用户， 读写和操作基本权限类型，HDFS将所有文件分割成多个block，并且对每个文件在各 个datanode上的block数量统计展示出来，并生成文件所的block信息列表及统计占 比列表。

进一步，触发最后一级数据的图标时，出现增加、删除、修改选项以及文件对应 的block信息列表和统计占比列表。

进一步，采用AR技术模拟显示每一级数据，并采用不同的颜色和图案的图标展 示每一级数据，当每一级数据被触发时，图案的颜色、形状或大小发生变化。

进一步，编码包括ID、权重或哈希值。

进一步，识别符包括空格、分号、逗号、顿号、竖线、斜线或星号。

本发明还公开了一种HDFS数据的展示装置，包括：数据获取模块，用于获取HDFS数据，每个HDFS数据包括两个编码，一个是代表其本身的第一编码，另一个是代表 其上一级数据的第二编码；排序模块，用于按照第一编码的大小对所有HDFS数据进 行排序，并将所有HDFS数据中第二编码相同的分为一组，和其他数据的第二编码都 不相同的数据自己分为一组，记录每一组对应的第二编码并按照大小排序；树状关系 生成模块，用于将经过记录的第二编码和第一编码进行对比，若某数据的第一编码与 经过记录的第二编码相同，则数据为与第二编码对应的组的上一级数据，若没有与经 过记录的第二编码相同的第一编码，则将第二编码对应的数据作为第一级数据，根据 数据之间的上下级关系建立树状关系图；展示模块，用于对每一级的数据标记不同的 识别符，展示时根据不同的识别符进行分级展示。

本发明由于采取以上技术方案，其具有以下优点：

1、该方法运用树状图、表格的形式直观、简洁的HDFS文件结构关系、同时对HDFS系统有了整体指标展示(譬如小文件占比，小文件一般是低于一个block块大小的文 件，占比过高，就应该合并文件大小)，降低了技术操作门槛，方便了非技术人员的 操作，同时对HDFS系统优化提出了指导。

2、该方法可以快速建立树状父子目录，操作便捷，展示结果更加准确可靠。

3、运用AR技术实现人体与大数据亲密接触，高端体验获取数据，触手可得数据 展示，并非单机模式，而是需要对由多个节点组成的多个集群的文件系统做更加生动 形象的操作和管理，全部虚拟化场景模拟，由此我们进行对HDFS数据于AR方法和装 置。

附图说明

图1是本发明一实施例中HDFS数据的展示方法的流程图；

图2是本发明一实施例中HDFS数据的展示界面的示意图。

具体实施方式

为了使本领域技术人员更好的理解本发明的技术方向，通过具体实施例对本发明进行详细的描绘。然而应当理解，具体实施方式的提供仅为了更好地理解本发明，它 们不应该理解成对本发明的限制。在本发明的描述中，需要理解的是，所用到的术语 仅仅是用于描述的目的，而不能理解为指示或暗示相对重要性。

实施例一

本实施例公开了一种HDFS数据的展示方法，包括以下步骤：

S1.获取HDFS数据，每个HDFS数据包括两个编码，一个是代表其本身的第一编 码，另一个是代表其上一级数据的第二编码；

S2.按照第一编码的大小对所有HDFS数据进行排序，并将所有HDFS数据中第二 编码相同的分为一组，和其他数据的第二编码都不相同的数据自己分为一组，记录每 一组对应的第二编码并按照大小排序；

S3.将经过记录的第二编码和第一编码进行对比，若某数据的第一编码与经过记录 的第二编码相同，则数据为与第二编码对应的组的上一级数据，若没有与经过记录的第二编码相同的第一编码，则将第二编码对应的数据作为第一级数据，根据数据之间 的上下级关系建立树状关系图；

S4.对每一级的数据标记不同的识别符，展示时根据不同的识别符进行分级展示。其中，编码包括ID、权重或哈希值等可以对数据进行标识数字代码；识别符包括但不 限于空格、分号、逗号、顿号、竖线、斜线或星号，可以根据数据根式类型选择合适 的识别符。本实施例中方法运用树状图的形式直观、简洁的HDFS数据结构关系，降低 了技术操作门槛，方便了非技术人员的操作。

其中，根据不同的识别符进行分级展示为：展示模块根据第一级数据的识别符读取第一级数据；在界面显示第一级数据并生成相应的图标，触发图标，展示模块根据 第二级数据的识别符读取第二级数据；在界面显示第二级数据并生成相应的图标，以 此类推，直至最后一级数据被展示。触发最后一级数据的图标时，出现增加、删除和 修改选项，用于对最后一级数据进行操作。

树状关系图包括三个基本属性，本级文件路径dirPath，上级文件路径parentDirPath，文件相关属性信息列表。树状关系图还包括与基本属性对应的构造函 数，最后一级数据的构造函数只包含当前数据内容的文件，没有下级数据文件；其他 级的数据的构造函数包含当前数据的文件和包含下级数据的文件夹。文件或文件夹包 括文件名，文件存储大小，文件类型，文件所属用户，读写和操作基本权限类型。HDFS 将所有文件分割成多个block，并且对每个文件(HDFS将文件分割成block，每个block 都作为一个独立的单元)在各个datanode上的block数量统计展示出来，并生成文件 所的block信息列表及统计占比列表，以便检测文件存储是否发生倾斜，倾斜的文件 查看时会出现“短板效应”极大的降低集群的性能。

与最后一级数据的其他级的数据的构造函数的具体内容为：

List<HashMap>tags包含内容：

列表一：本文件black所属datanodes列表属性有：blockid,大小，时间戳。

列表二：文件总大小，black文件数量，每个datanodes上属于该文件的block 所在整个文件所有datanodes全部的block比例。

其他级的数据的构造函数的具体内容为：

通过对应的构造函数为基本属性赋值，组成AR模拟调用的后台应用的数据模型。采用AR技术模拟显示每一级数据，并采用不同的颜色和图案的图标展示每一级数据， 当每一级数据被触发时，图案的颜色、形状或大小发生变化。

通过浏览器发送页面请求，取得后台服务端的数据，然后将得到的数据通过AR虚拟技术现实，应用具体的细节为：每一级数据采用不同的颜色和标识图案展示。

当父级图像是展示子级图像状态时，AR技术肢体触发选择父级图像动态收起各个子级图像，同时改变当前图像颜色和标识图案。

当父级图像是收起子级图像状态时，AR技术肢体触发选择父级图像时，父级图像变换颜色和标识图案，并展示具体的子级图像。

AR技术肢体触发选择最后一级图像时，出现增加、删除和修改选项，用于对最后一级图像对应的文件进行操作，选择“增加”，会追加到子目录“图像”集。删除： 选择“删除”，会删除当前“图像”和当前“图像”的子目录所有“图像”。修改： 选择：“修改”会修改当前“图像”显示的文件名。左滑动鼠标，展示本文件block信 息列表，右滑动展示block统计占比信息列表。上滑动鼠标展示整体datanode信息列 表：包括属性使用空间和剩余空间，和单个datatnode block存储占所有datatnode 比例。下滑展示集群展示整体block统计列表：包括总大小，总数量，小文件数量(size 参数可设置如：128M)，小文件所占比例。

实施例二

基于同一发明构思，本实施例公开了一种HDFS数据的展示装置，包括：

数据获取模块，用于获取HDFS数据，每个HDFS数据包括两个编码，一个是代 表其本身的第一编码，另一个是代表其上一级数据的第二编码；

排序模块，用于按照第一编码的大小对所有HDFS数据进行排序，并将所有HDFS 数据中第二编码相同的分为一组，和其他数据的第二编码都不相同的数据自己分为一 组，记录每一组对应的第二编码并按照大小排序；

树状关系生成模块，用于将经过记录的第二编码和第一编码进行对比，若某数据的第一编码与经过记录的第二编码相同，则数据为与第二编码对应的组的上一级数据， 若没有与经过记录的第二编码相同的第一编码，则将第二编码对应的数据作为第一级 数据，根据数据之间的上下级关系建立树状关系图；

展示模块，用于对每一级的数据标记不同的识别符，展示时根据不同的识别符进行分级展示。

上述内容仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都 应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围 为准。

Claims (9)

1.一种HDFS数据的展示方法，其特征在于，包括以下步骤：

S1.获取HDFS数据，每个所述HDFS数据包括两个编码，一个是代表其本身的第一编码，另一个是代表其上一级数据的第二编码；

S2.按照第一编码的大小对所有所述HDFS数据进行排序，并将所有所述HDFS数据中第二编码相同的分为一组，和其他数据的第二编码都不相同的数据自己分为一组，记录每一组对应的第二编码并按照大小排序；

S3.将经过记录的第二编码和第一编码进行对比，若某数据的第一编码与经过记录的第二编码相同，则所述数据为与第二编码对应的组的上一级数据，若没有与经过记录的第二编码相同的第一编码，则将所述第二编码对应的数据作为第一级数据，根据数据之间的上下级关系建立树状关系图；

S4.对每一级的数据标记不同的识别符，展示时根据不同的所述识别符进行分级展示；

所述树状关系图包括两个基本属性，所述基本属性为文件路径，最后一级数据的基本属性为文件路径dirPath,parentDirPath；其他级的数据的基本属性为文件路径dirPath,parentDirPath。

2.如权利要求1所述的HDFS数据的展示方法，其特征在于，所述根据不同的所述识别符进行分级展示为：展示模块根据第一级数据的识别符读取第一级数据；在界面显示第一级数据并生成相应的图标，触发所述图标，展示模块根据第二级数据的识别符读取第二级数据；在界面显示第二级数据并生成相应的图标，以此类推，直至最后一级数据被展示。

3.如权利要求2所述的HDFS数据的展示方法，其特征在于，触发所述最后一级数据的图标时，出现增加、删除和修改选项，用于对所述最后一级数据进行操作。

4.如权利要求2所述的HDFS数据的展示方法，其特征在于，所述树状关系图还包括与所述基本属性对应的构造函数，所述最后一级数据的构造函数只包含当前数据内容的文件，没有下级数据文件；其他级的数据的构造函数包含当前数据的文件和包含下级数据的文件夹。

5.如权利要求4所述的HDFS数据的展示方法，其特征在于，所述文件或文件夹包括文件名，文件存储大小，文件类型，文件所属用户，读写和操作基本权限类型。

6.如权利要求2-5任一项所述的HDFS数据的展示方法，其特征在于，采用AR技术模拟显示每一级数据，并采用不同的颜色和图案的图标展示每一级数据，当每一级数据被触发时，所述图案的颜色、形状或大小发生变化。

7.如权利要求1-5任一项所述的HDFS数据的展示方法，其特征在于，所述编码包括ID、权重或哈希值。

8.如权利要求1-5任一项所述的HDFS数据的展示方法，其特征在于，所述识别符包括空格、分号、逗号、顿号、竖线、斜线或星号。

9.一种HDFS数据的展示装置，其特征在于，包括：

数据获取模块，用于获取HDFS数据，每个所述HDFS数据包括两个编码，一个是代表其本身的第一编码，另一个是代表其上一级数据的第二编码；

排序模块，用于按照第一编码的大小对所有所述HDFS数据进行排序，并将所有所述HDFS数据中第二编码相同的分为一组，和其他数据的第二编码都不相同的数据自己分为一组，记录每一组对应的第二编码并按照大小排序；

树状关系生成模块，用于将经过记录的第二编码和第一编码进行对比，若某数据的第一编码与经过记录的第二编码相同，则所述数据为与第二编码对应的组的上一级数据，若没有与经过记录的第二编码相同的第一编码，则将所述第二编码对应的数据作为第一级数据，根据数据之间的上下级关系建立树状关系图；

展示模块，用于对每一级的数据标记不同的识别符，展示时根据不同的所述识别符进行分级展示；

所述树状关系图包括两个基本属性，所述基本属性为文件路径，最后一级数据的基本属性为文件路径dirPath,parentDirPath；其他级的数据的基本属性为文件路径dirPath,parentDirPath。