CN113342811A - HBase表格数据处理方法及装置 - Google Patents

HBase表格数据处理方法及装置 Download PDF

Info

Publication number
CN113342811A
CN113342811A CN202110605577.5A CN202110605577A CN113342811A CN 113342811 A CN113342811 A CN 113342811A CN 202110605577 A CN202110605577 A CN 202110605577A CN 113342811 A CN113342811 A CN 113342811A
Authority
CN
China
Prior art keywords
hbase
information
data
operation information
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110605577.5A
Other languages
English (en)
Inventor
梁晔华
张世瑛
赵吉昆
胡凤校
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110605577.5A priority Critical patent/CN113342811A/zh
Publication of CN113342811A publication Critical patent/CN113342811A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/221Column-oriented storage; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供一种HBase表格数据处理方法及装置,可用于大数据技术领域,方法包括:若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息;基于所述操作信息格式,自所述拆分信息中获取所述表格操作请求数据对应的表格操作信息;根据所述表格操作信息在所述HBase集群中进行表格数据处理。本申请能够有效提高用户操作HBase集群中表格的便捷性,提高HBase表格数据处理的准确性并降低操作耗时,并有效提高HBase表格数据处理过程的智能化程度、可靠性及有效性。

Description

HBase表格数据处理方法及装置
技术领域
本申请涉及数据处理技术领域,特别涉及大数据技术领域,具体涉及HBase表格数据处理方法及装置。
背景技术
分布式列式存储数据库HBase是Hadoop生态系统中的一个组件,是一个分布式的、面向列的开源数据库。在实际业务使用过程中,HBase基于Hadoop生态系统的多用户管理体系,可通过建立多个用户、角色、租户为不同用户提供差异化服务。
目前,现有的针对HBase数据库表的定义和使用需要用户通过Hadoop客户端登录集群进行操作,且需要操作用户熟练掌握HBase shell的使用语法等,操作门槛高、耗时长、准确性低且便捷性差。
发明内容
针对现有技术中的问题,本申请提供一种HBase表格数据处理方法及装置,能够有效提高用户操作HBase集群中表格的便捷性,提高HBase表格数据处理的准确性并降低操作耗时,并有效提高HBase表格数据处理过程的智能化程度、可靠性及有效性。
为解决上述技术问题,本申请提供以下技术方案:
第一方面,本申请提供一种HBase表格数据处理方法,包括:
若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息;
基于所述操作信息格式,自所述拆分信息中获取所述表格操作请求数据对应的表格操作信息;
根据所述表格操作信息在所述HBase集群中进行表格数据处理。
进一步地,在所述根据所述表格操作信息在所述HBase集群中进行表格数据处理之前,还包括:
若经判断获知针对HBase集群的表格操作请求数据符合预设的操作信息格式,则提取所述表格操作请求数据对应的表格操作信息。
进一步地,所述对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息,包括:
对所述表格操作请求数据进行预处理,以得到预处理后的表格操作请求数据;
基于预设的分词方式,对预处理后的表格操作请求数据进行数据拆分处理,得到对应的拆分信息。
进一步地,所述操作信息格式为预设的操作信息表的存储格式,且所述操作信息表用于存储操作用户标识、操作表名、表格操作类型和操作参数之间的对应关系;
相对应的,所述表格操作信息包括:操作用户标识、操作表名和表格操作类型;
所述表格操作类型包括:创建表格、清理表格数据和删除表格中的任意一项;
其中,若所述表格操作类型为所述创建表格,则所述表格操作信息还包括:操作参数。
进一步地,在所述根据所述表格操作信息在所述HBase集群中进行表格数据处理之前,还包括:
将所述表格操作请求数据对应的表格操作信息存储至所述操作信息表中;
相对应的,所述根据所述表格操作信息在所述HBase集群中进行表格数据处理,包括:
周期性地在所述操作信息表中提取新增的针对所述HBase集群的表格操作请求数据对应的表格操作信息;
自所述表格操作信息中获取对应的表格操作类型;
根据所述表格操作类型在所述HBase集群中进行表格数据处理。
进一步地,所述根据所述表格操作类型在所述HBase集群中进行表格数据处理,包括:
若所述表格操作类型为创建表格,则自所述表格操作信息中获取对应的操作参数;
基于所述操作参数在所述HBase集群中调用加入创建表格命令及所述表格操作信息的执行代码以创建表格。
进一步地,所述根据所述表格操作类型在所述HBase集群中进行表格数据处理,包括:
若所述表格操作类型为清理表格数据或删除表格,则自预存储的权限配置表中确定所述表格操作信息中的操作用户标识对应的目标用户权限信息,其中,所述权限配置表用于存储各个操作用户标识与各类用户权限信息之间的对应关系;
根据所述目标用户权限信息判断所述表格操作信息对应的表格操作类型是否具备操作权限,若是,则基于该表格操作类型在所述HBase集群中调用加入表格数据清理命令及所述表格操作信息的执行代码以清理表格数据,或者,基于该表格操作类型在所述HBase集群中调用加入表格删除命令及所述表格操作信息的执行代码以删除表格。
进一步地,还包括:
定时扫描所述HBase集群中的各个数据表及对应的用户权限信息,并基于扫描得到的用户权限信息更新所述权限配置表。
第二方面,本申请提供一种HBase表格数据处理装置,包括:
数据拆分模块,用于若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息;
信息获取模块,用于基于所述操作信息格式,自所述拆分信息中获取所述表格操作请求数据对应的表格操作信息;
表格处理模块,用于根据所述表格操作信息在所述HBase集群中进行表格数据处理。
第三方面,本申请提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的HBase表格数据处理方法。
第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的HBase表格数据处理方法。
由上述技术方案可知,本申请提供的一种HBase表格数据处理方法及装置,方法包括:若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息;基于所述操作信息格式,自所述拆分信息中获取所述表格操作请求数据对应的表格操作信息;根据所述表格操作信息在所述HBase集群中进行表格数据处理,通过设置操作信息格式以及根据表格操作信息在所述HBase集群中进行表格数据处理,能够有效提高用户操作HBase集群中表格的便捷性,无需操作用户熟练掌握使用语法,仅提供表格操作请求数据即可,能够有效降低HBase表格数据处理的操作门槛,进而能够有效提高HBase表格数据处理的准确性并降低操作耗时,以提高操作用户体验;同时,若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息;基于所述操作信息格式,自所述拆分信息中获取所述表格操作请求数据对应的表格操作信息的处理方式,无需用户按照操作信息格式提供数据,也能够自动从用户提供的数据中准确获取表格操作信息,能够有效提高HBase表格数据处理过程的智能化程度、可靠性及有效性,进而能够进一步提高用户操作HBase表格数据的便捷性及用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例中的HBase表格数据处理装置分别与客户端设备及HBase集群之间的交互示意图。
图2是本申请实施例中的HBase表格数据处理方法的第一种流程示意图。
图3是本申请实施例中的HBase表格数据处理方法的第二种流程示意图。
图4是本申请实施例中的HBase表格数据处理方法的第三种流程示意图。
图5是本申请实施例中的HBase表格数据处理方法的第四种流程示意图。
图6是本申请实施例中的HBase表格数据处理方法的第五种流程示意图。
图7是本申请实施例中的HBase表格数据处理方法的第六种流程示意图。
图8是本申请实施例中的HBase表格数据处理方法的第七种流程示意图。
图9是本申请实施例中的HBase表格数据处理装置的结构示意图。
图10是本申请应用实例中的基于HBase多用户管理的自助建表系统实现HBase表格数据处理方法的流程示意图。
图11是本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请公开的HBase表格数据处理方法及装置可用于大数据技术领域,也可用于除大数据技术领域之外的任意领域,本申请公开的HBase表格数据处理方法及装置的应用领域不做限定。
针对现有的HBase表格数据处理方式存在操作门槛高、耗时长、准确性低且便捷性差等问题,本申请实施例分别提供一种HBase表格数据处理方法、HBase表格数据处理装置、电子设备计算机可读存储介质,若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息;基于所述操作信息格式,自所述拆分信息中获取所述表格操作请求数据对应的表格操作信息;根据所述表格操作信息在所述HBase集群中进行表格数据处理,通过设置操作信息格式以及根据表格操作信息在所述HBase集群中进行表格数据处理,能够有效提高用户操作HBase集群中表格的便捷性,无需操作用户熟练掌握使用语法,仅提供表格操作请求数据即可,能够有效降低HBase表格数据处理的操作门槛,进而能够有效提高HBase表格数据处理的准确性并降低操作耗时,以提高操作用户体验;同时,若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息;基于所述操作信息格式,自所述拆分信息中获取所述表格操作请求数据对应的表格操作信息的处理方式,无需用户按照操作信息格式提供数据,也能够自动从用户提供的数据中准确获取表格操作信息,能够有效提高HBase表格数据处理过程的智能化程度、可靠性及有效性,进而能够进一步提高用户操作HBase表格数据的便捷性及用户体验。
在本申请的一个或多个实施例中,HBase(Hadoop Database)是指高可靠性、高性能、面向列、可伸缩的分布式存储系统,由主节点Master和从节点Region Server组成,其中,Master也可以专门写作HMaster,Region Server也可以写作HRegionServer或者RegionServer等。
基于上述内容,本申请还提供一种用于实现本申请一个或多个实施例中提供的HBase表格数据处理方法的HBase表格数据处理装置,参见图1,该HBase表格数据处理装置可以自行或通过第三方服务器等与用户持有的客户端设备以及HBase集群的主节点之间通信连接,HBase表格数据处理装置可以为一种服务器,自客户端设备接收用户针对HBase集群的表格操作指令或请求,也可以自客户端设备、第三方数据库或本地获取相关的由用户预先设置的配置文件,例如本申请的一个或多个实施例中提及的权限配置表、操作信息表及字符串匹配表等中的至少一个。所述HBase表格数据处理装置在根据所述表格操作信息在所述HBase集群中进行表格数据处理之后,还可以将对应的表格数据处理结果发送至所述客户端设备进行显示,以使用户及时获知HBase集群中表格操作结果等。
可以理解的是,所述客户端设备可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中,所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
上述的客户端设备可以具有通信模块(即通信单元),可以与远程的服务器进行通信连接,实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器,其他的实施场景中也可以包括中间平台的服务器,例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式装置的服务器结构。
上述服务器与所述客户端设备之间可以使用任何合适的网络协议进行通信,包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然,所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol,远程过程调用协议)、REST协议(Representational State Transfer,表述性状态转移协议)等。
具体通过下述各个实施例及应用实例分别进行详细说明。
为了解决现有的HBase表格数据处理方式存在操作门槛高、耗时长、准确性低且便捷性差等问题,本申请提供一种HBase表格数据处理方法的实施例,参见图2,由HBase表格数据处理装置执行的所述HBase表格数据处理方法具体包含有如下内容:
步骤100:若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息。
在步骤100中,HBase表格数据处理装置可以接收各个用户持有的客户端设备分别发送的针对HBase集群的表格操作请求,并从这些表格操作请求中分别获取各自对应的表格操作请求数据。而后调取预设的操作信息格式,并判断接收到的各个表格操作请求对应的表格操作请求数据是否符合预设的操作信息格式,若是,则说明用户已经按照预设的操作信息格式录入了表格操作信息,若否,则说明用户提供的信息为自定义数据,因此需要将该自定义数据转化为符合操作信息格式的数据,即对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息。
可以理解的是,在执行步骤100中,还可以先进行初始化设置,执行用户在HBase集群上建表的各项准备工作,具体可以在服务器上安装Hadoop客户端并配置Hadoop集群认证信息,包括:集群各用户认证的keytab文件及集群配置文件(例如:core-site.xml、HBase-site.xml、hdfs-site.xml以及jaas.conf、krb5.conf等)等,用于后续登陆HBase集群操作。
步骤200:基于所述操作信息格式,自所述拆分信息中获取所述表格操作请求数据对应的表格操作信息。
在步骤200中,由于对所述表格操作请求数据进行数据拆分处理而得到对应的拆分信息中可能包含有多种信息,其中有些信息并非HBase表格数据处理所需数据,因此需要在这些拆分信息中获取表格操作请求数据对应的信息,并将这些信息按照所述操作信息格式进行排列以便于格式统一和/或数据存储。
步骤300:根据所述表格操作信息在所述HBase集群中进行表格数据处理。
在步骤300中,可以根据表格操作信息自动更新预先设置的执行代码(例如Java代码),并触发该更新后的执行代码执行以针对所述HBase集群实现所述表格操作请求数据对应的表格操作信息。
从上述描述可知,本申请实施例提供的HBase表格数据处理方法,通过设置操作信息格式以及根据表格操作信息在所述HBase集群中进行表格数据处理,能够有效提高用户操作HBase集群中表格的便捷性,无需操作用户熟练掌握使用语法,仅提供表格操作请求数据即可,能够有效降低HBase表格数据处理的操作门槛,进而能够有效提高HBase表格数据处理的准确性并降低操作耗时,以提高操作用户体验;同时,若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息;基于所述操作信息格式,自所述拆分信息中获取所述表格操作请求数据对应的表格操作信息的处理方式,无需用户按照操作信息格式提供数据,也能够自动从用户提供的数据中准确获取表格操作信息,能够有效提高HBase表格数据处理过程的智能化程度、可靠性及有效性,进而能够进一步提高用户操作HBase表格数据的便捷性及用户体验。
为了提高获取所述表格操作请求数据对应的表格操作信息的效率,在本申请提供的HBase表格数据处理方法的一个实施例,参见图3,所述HBase表格数据处理方法中的步骤300之前还具体包含有如下内容:
步骤400:若经判断获知针对HBase集群的表格操作请求数据符合预设的操作信息格式,则提取所述表格操作请求数据对应的表格操作信息。
具体来说,HBase表格数据处理装置可以首先读取用户提交的操作信息,与操作信息表指定格式对比,若与指定格式匹配,则直接将操作信息存入操作信息表中。
从上述描述可知,本申请实施例提供的HBase表格数据处理方法,通过向用户提供操作信息格式以使用户直接提供符合该操作信息格式的表格操作请求数据,能够有效提高获取所述表格操作请求数据对应的表格操作信息的效率,进而能够有效提高HBase表格数据处理的效率。
为了提高数据拆分处理的准确性及效率,在本申请提供的HBase表格数据处理方法的一个实施例,参见图4,所述HBase表格数据处理方法中的步骤100具体包含有如下内容:
步骤110:若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行预处理,以得到预处理后的表格操作请求数据。
可以理解的是,对所述表格操作请求数据进行预处理的方式可以基于预设的数据预处理规则对所述表格操作请求数据进行如噪声删除、异常值剔除及缺失值补插等数据清洗处理。
步骤120:基于预设的分词方式,对预处理后的表格操作请求数据进行数据拆分处理,得到对应的拆分信息。
可以理解的是,所述分词方式可以采用基于词典的方法、基于统计的方法和基于规则的方法,例如:正向最大匹配算法、全二分最大匹配算法、互信息的概率统计算法、N2Gram模型算法及NLPIR大数据语义智能分析平台等方法,具体可以根据实际应用情形选取。
从上述描述可知,本申请实施例提供的HBase表格数据处理方法,通过采用预设的分词方式,对预处理后的表格操作请求数据进行数据拆分处理,能够有效提高数据拆分处理的准确性及效率,进而能够有效提高HBase表格数据处理的准确性及效率。
为了提高判断针对HBase集群的表格操作请求数据是否符合预设的操作信息格式的效率及便捷性,在本申请提供的HBase表格数据处理方法的一个实施例,所述HBase表格数据处理方法中的所述操作信息格式为预设的操作信息表的存储格式,且所述操作信息表用于存储操作用户标识、操作表名、表格操作类型和操作参数之间的对应关系。
相对应的,所述表格操作信息包括:操作用户标识、操作表名和表格操作类型;所述表格操作类型包括:创建表格、清理表格数据和删除表格中的任意一项;其中,若所述表格操作类型为所述创建表格,则所述表格操作信息还包括:操作参数。
具体来说,可以预先配置操作信息表,该操作信息表于维护用户提交的对表的操作信息,供后续建表、删表以及清理数据时使用;该表的存储格式如下:
“操作用户标识,操作表名,表格操作类型,操作参数(只在表格操作类型为创建表格create时填写)”;
如:“etla,ABC_DEF,create,cf1、cf2”,其表示:操作用户标识为etla的用户请求创建一张有cf1和cf2两个列族的表ABC_DEF。
如:“etla,ABC_DEF,drop”,其表示:用操作用户标识为etla的用户请求删除表ABC_DEF。
从上述描述可知,本申请实施例提供的HBase表格数据处理方法,通过操作信息表的预先设置以及表格操作类型的划分,能够有效提高判断针对HBase集群的表格操作请求数据是否符合预设的操作信息格式的效率及便捷性,并能够有效实现针对HBase表格数据处理的区别化处理,能够进一步提高用户进行HBase表格数据处理的便捷性及适用广泛性,以进一步提高操作用户体验。
为了提高HBase表格数据处理的有效性,在本申请提供的HBase表格数据处理方法的一个实施例,参见图5,所述HBase表格数据处理方法中的步骤300之前还具体包含有如下内容:
步骤010:将所述表格操作请求数据对应的表格操作信息存储至所述操作信息表中;
相对应的,所述HBase表格数据处理方法中的步骤300具体包含有如下内容:
步骤310:周期性地在所述操作信息表中提取新增的针对所述HBase集群的表格操作请求数据对应的表格操作信息。
具体来说,可以定时扫描操作信息表中的新增请求数据并处理新增请求数据。
步骤320:自所述表格操作信息中获取对应的表格操作类型。
步骤330:根据所述表格操作类型在所述HBase集群中进行表格数据处理。
从上述描述可知,本申请实施例提供的HBase表格数据处理方法,通过在进行表格数据处理之前,将表格操作请求数据对应的表格操作信息存储至所述操作信息表中,而后再定时在所述操作信息表中提取新增的针对所述HBase集群的表格操作请求数据对应的表格操作信息,能够有效提高HBase表格数据处理的有效性,无需实时检测,能够有效降低数据冗余,提高HBase集群的运行稳定性。
为了提高用户在HBase集群中创建表格的便捷性,在本申请提供的HBase表格数据处理方法的一个实施例,参见图6,所述HBase表格数据处理方法中的步骤330可以具体包含有如下内容:
步骤331:若所述表格操作类型为创建表格,则自所述表格操作信息中获取对应的操作参数。
步骤332:基于所述操作参数在所述HBase集群中调用加入创建表格命令及所述表格操作信息的执行代码以创建表格。
具体来说,可以接收定时扫描模块指令,读取操作信息表中新增请求信息,按指定格式拆分出每条新增请求中的用户名、表名、操作类型和操作参数信息;若上述操作类型为create,则无需进行鉴权操作,直接读取需求拆分后的操作类型参数,调用建表create的Java代码,在Java代码中引入HBase的create命令,传入用户、表名和操作参数(各列族名),登陆集群完成建表操作。
从上述描述可知,本申请实施例提供的HBase表格数据处理方法,通过基于所述操作参数在所述HBase集群中调用加入创建表格命令的执行代码以创建表格,能够进一步提高用户在HBase集群中创建表格的便捷性,并能够有效提高HBase表格数据处理的自动化程度。
为了提高清理表格数据或删除表格操作的安全性,在本申请提供的HBase表格数据处理方法的一个实施例,参见图7,所述HBase表格数据处理方法中的步骤330还可以具体包含有如下内容:
步骤333:若所述表格操作类型为清理表格数据或删除表格,则自预存储的权限配置表中确定所述表格操作信息中的操作用户标识对应的目标用户权限信息,其中,所述权限配置表用于存储各个操作用户标识与各类用户权限信息之间的对应关系。
步骤334:根据所述目标用户权限信息判断所述表格操作信息对应的表格操作类型是否具备操作权限,若是,则基于该表格操作类型在所述HBase集群中调用加入表格数据清理命令及所述表格操作信息的执行代码以清理表格数据,或者,基于该表格操作类型在所述HBase集群中调用加入表格删除命令及所述表格操作信息的执行代码以删除表格。
具体来说,可以预先设置权限配置表,该权限配置表用于维护该HBase集群的表、用户和对应的权限信息,供后续用户鉴权时使用;该表的存储格式如下:
“表名,操作用户标识,权限类型”;
如:“ABC_DEF,etla,drop”,其表示:操作用户标识为etla的用户具有对ABC_DEF表的删除drop权限。
可以接收定时扫描模块指令,读取操作信息表中新增请求信息,按指定格式拆分出每条新增请求中的用户名、表名、操作类型和操作参数信息,若上述操作类型为删表drop或清表truncate,则将用户、表、操作类型以参数方式传给用户鉴权模块,对用户提交的操作请求进行鉴权,读取需求拆分后的操作类型参数,调用删表drop或清表(truncate)的Java代码,而后在Java代码中引入HBase的drop命令,传入用户和表名参数,登陆集群完成删表操作,或者在Java代码中引入HBase的truncate命令,传入用户和表名参数,登陆集群完成清表操作。
从上述描述可知,本申请实施例提供的HBase表格数据处理方法,若所述表格操作类型为清理表格数据或删除表格,则根据所述目标用户权限信息判断所述表格操作信息对应的表格操作类型是否具备操作权限,能够有效提高清理表格数据或删除表格操作的安全性,并能够有效提高清理表格数据或删除表格的便捷性,并能够有效提高HBase表格数据处理的自动化程度。
为了提高清理表格数据或删除表格操作的安全性,在本申请提供的HBase表格数据处理方法的一个实施例,参见图8,所述HBase表格数据处理方法中还可以具体包含有如下内容:
步骤500:定时扫描所述HBase集群中的各个数据表及对应的用户权限信息,并基于扫描得到的用户权限信息更新所述权限配置表。
具体来说,可以定时扫描集群中的表和用户权限信息,并更新至权限配置表中,保证用户鉴权的有效性。
从上述描述可知,本申请实施例提供的HBase表格数据处理方法,通过定时扫描并更新用户权限,能够有效提高对清理表格数据或删除表格操作进行鉴权处理的准确性及可靠性,进而能够进一步提高清理表格数据或删除表格操作的安全性,提高HBase集群的运行稳定性。
从软件层面来说,为了解决现有的HBase表格数据处理方式存在操作门槛高、耗时长、准确性低且便捷性差等问题,本申请提供一种用于执行所述HBase表格数据处理方法中全部或部分内容的HBase表格数据处理装置的实施例,参见图9,所述HBase表格数据处理装置具体包含有如下内容:
数据拆分模块10,用于若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息。
在数据拆分模块10中,数据拆分模块10可以接收各个用户持有的客户端设备分别发送的针对HBase集群的表格操作请求,并从这些表格操作请求中分别获取各自对应的表格操作请求数据。而后调取预设的操作信息格式,并判断接收到的各个表格操作请求对应的表格操作请求数据是否符合预设的操作信息格式,若是,则说明用户已经按照预设的操作信息格式录入了表格操作信息,若否,则说明用户提供的信息为自定义数据,因此需要将该自定义数据转化为符合操作信息格式的数据,即对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息。
信息获取模块20,用于基于所述操作信息格式,自所述拆分信息中获取所述表格操作请求数据对应的表格操作信息。
在信息获取模块20中,由于对所述表格操作请求数据进行数据拆分处理而得到对应的拆分信息中可能包含有多种信息,其中有些信息并非HBase表格数据处理所需数据,因此需要在这些拆分信息中获取表格操作请求数据对应的信息,并将这些信息按照所述操作信息格式进行排列以便于格式统一和/或数据存储。
表格处理模块30,用于根据所述表格操作信息在所述HBase集群中进行表格数据处理。
在表格处理模块30中,可以根据表格操作信息自动更新预先设置的执行代码(例如Java代码),并触发该更新后的执行代码执行以针对所述HBase集群实现所述表格操作请求数据对应的表格操作信息。
本申请提供的HBase表格数据处理装置的实施例具体可以用于执行上述实施例中的HBase表格数据处理方法的实施例的处理流程,其功能在此不再赘述,可以参照上述方法实施例的详细描述。
从上述描述可知,本申请实施例提供的HBase表格数据处理装置,通过设置操作信息格式以及根据表格操作信息在所述HBase集群中进行表格数据处理,能够有效提高用户操作HBase集群中表格的便捷性,无需操作用户熟练掌握使用语法,仅提供表格操作请求数据即可,能够有效降低HBase表格数据处理的操作门槛,进而能够有效提高HBase表格数据处理的准确性并降低操作耗时,以提高操作用户体验;同时,若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息;基于所述操作信息格式,自所述拆分信息中获取所述表格操作请求数据对应的表格操作信息的处理方式,无需用户按照操作信息格式提供数据,也能够自动从用户提供的数据中准确获取表格操作信息,能够有效提高HBase表格数据处理过程的智能化程度、可靠性及有效性,进而能够进一步提高用户操作HBase表格数据的便捷性及用户体验。
为了进一步说明书本方案,本申请还提供一种应用基于HBase多用户管理的自助建表系统实现的HBase表格数据处理方法的具体应用实例,涉及分布式列式存储HBase数据库领域,打破HBase使用过程中的技术壁垒,实现业务和技术人员能够对HBase数据库表的自助定义和使用。
本申请应用实例提供了一种基于HBase多用户管理的自助建表系统,可根据各用户需求配置需要创建的表和操作内容,并可推广至对HBase表的删除和清理等操作。该系统具备可扩展性,封装为一个对外接口,用户可单独使用,也可以在其他程序中调用该接口实现更多功能。基于HBase多用户管理的自助建表系统实现HBase表格数据处理方法的具体流程参见图10,具体包含有:服务初始化、配置Hadoop集群认证信息、维护hbase_table_config配置表、配置Hbase操作信息、在table.txt中配置用户、表、操作等信息、登录集群,进行Hbase操作、用户鉴权、是否有操作权限、若是则仅Hbase shell操作,若否则返回提示信息等。
其中,基于HBase多用户管理的自助建表系统具体包含有如下模块:
1、初始化模块:该模块部署在安装自助建表系统的服务器上,主要用于用户在HBase集群上建表的各项准备工作:在服务器上安装Hadoop客户端并配置Hadoop集群认证信息,包括:集群各用户认证的keytab文件、集群配置文件(core-site.xml、HBase-site.xml、hdfs-site.xml、jaas.conf、krb5.conf)等,用于后续登陆集群操作。
2、配置管理模块:该模块用于在HBase集群建表、删表以及清理数据时各种配置与状态的管理,包括如下功能:
(1)权限配置表:用于维护该HBase集群的表、用户和对应的权限信息,供后续用户鉴权时使用;该表的存储格式如下:
表名,权限用户,权限类型
如:ABC_DEF,etla,drop;表示etla用户有对ABC_DEF表的drop权限。
(2)操作信息表:用于维护用户提交的对表的操作信息,供后续建表、删表以及清理数据时使用;该表的存储格式如下:
操作用户,操作表名,操作类型,操作参数(只在操作类型为create时填写);
如:etla,ABC_DEF,create,cf1、cf2;表示需要用etla用户建一张有cf1和cf2两个列族的表ABC_DEF。
如:etla,ABC_DEF,drop;表示需要用etla用户删除表ABC_DEF。
(3)字符串匹配表:用于维护进行字符串匹配时的用户、表名和操作类型信息;该表包含用户名、表名和操作类型三个字段,每个字段单独存储,字段之间无关联关系。
3、用户需求转换模块:用于接收和识别用户提交的操作信息,并将操作信息转换为指定格式存储在配置管理模块的操作信息表中。支持用户按照操作信息表指定格式及自定义格式提交操作信息。
(1)该模块首先读取用户提交的操作信息,与操作信息表指定格式对比,若与指定格式匹配,则直接将操作信息存入操作信息表中;
(2)若与指定格式不匹配,则读取字符串匹配表中的用户、表名和操作类型信息,使用字符串匹配的分词方法,对用户自定义格式提交的操作信息进行分词处理,识别出用户名、表名和操作类型,并按照指定格式依此写入操作信息表中,完成用户需求转换。
4、定时扫描模块:用于定时维护集群的表和用户权限信息,以及定时扫描用户提交的操作需求,包括如下功能:
(1)维护集群权限信息:定时扫描集群中的表和用户权限信息,并更新至权限配置表中,保证用户鉴权的有效性;
(2)扫描用户操作信息:定时扫描操作信息表中的新增请求,并触发操作实施模块响应请求。
5、用户鉴权模块:主要用于drop和truncate操作时对用户进行鉴权使用,被操作实施模块调用。接收操作实施模块传入的用户、表和操作类型(drop或truncate)参数,读取权限配置表,判断用户是否有操作相应表的权限;如权限不足,则返回“Permission deny”信息给操作实施模块;如权限符合要求,则返回“Permission pass”信息给操作实施模块,进入下一步操作。
6、操作实施模块:用于登陆集群实施具体的用户需求,HBase表格操作实施过程主要包含以下几个步骤:
(1)需求拆分:接收定时扫描模块指令,读取操作信息表中新增请求信息,按指定格式拆分出每条新增请求中的用户名、表名、操作类型和操作参数信息;
(2)需求判断:若上述操作类型为create,则无需进行鉴权操作,直接进入操作实施步骤(4);若上述操作类型为drop或truncate,则将用户、表、操作类型以参数方式传给用户鉴权模块,对用户提交的操作请求进行鉴权;
(3)鉴权判断:若步骤(2)中判断操作类型不为create,则接收用户鉴权模块返回信息;若返回信息为“Permission deny”,表示用户提交的请求无权实施,返回“权限不足”信息提示用户;若返回信息为“Permission pass”,表示用户提交请求权限无误,进入操作实施步骤(4);
(4)操作实施:读取需求拆分后的操作类型参数,分别调用建表create、删表drop和清表truncate的Java代码:
a.建表:在Java代码中引入HBase的create命令,传入用户、表名和操作参数(各列族名),登陆集群完成建表操作;
b.删表:在Java代码中引入HBase的drop命令,传入用户和表名参数,登陆集群完成删表操作;
c.清表:在Java代码中引入HBase的truncate命令,传入用户和表名参数,登陆集群完成清表操作;
至此,整个HBase自助建表(删表/清表)过程结束。
基于上述技术方案,本申请应用实例提供的基于HBase多用户管理的自助建表系统实现HBase表格数据处理方法,打破了HBase使用过程中的技术壁垒,可推广至HBase表的删除和清理等操作;通过将该系统封装为一个对外接口,用户可单独使用,也可以在其他程序中调用该接口实现更多功能,大大拓展了该系统的使用范围,实现了对分布式列式存储数据库的灵活操作,降低了HBase的使用门槛。
从硬件层面来说,为了解决现有的HBase表格数据处理方式存在操作门槛高、耗时长、准确性低且便捷性差等问题,本申请提供一种用于实现所述HBase表格数据处理方法中的全部或部分内容的电子设备的实施例,所述电子设备具体包含有如下内容:
图11为本申请实施例的电子设备9600的系统构成的示意框图。如图11所示,该电子设备9600可以包括中央处理器9100和存储器9140;存储器9140耦合到中央处理器9100。值得注意的是,该图11是示例性的;还可以使用其他类型的结构,来补充或代替该结构,以实现电信功能或其他功能。
在一实施例中,HBase表格数据处理功能可以被集成到中央处理器中。其中,中央处理器可以被配置为进行如下控制:
步骤100:若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息。
在步骤100中,HBase表格数据处理装置可以接收各个用户持有的客户端设备分别发送的针对HBase集群的表格操作请求,并从这些表格操作请求中分别获取各自对应的表格操作请求数据。而后调取预设的操作信息格式,并判断接收到的各个表格操作请求对应的表格操作请求数据是否符合预设的操作信息格式,若是,则说明用户已经按照预设的操作信息格式录入了表格操作信息,若否,则说明用户提供的信息为自定义数据,因此需要将该自定义数据转化为符合操作信息格式的数据,即对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息。
可以理解的是,在执行步骤100中,还可以先进行初始化设置,执行用户在HBase集群上建表的各项准备工作,具体可以在服务器上安装Hadoop客户端并配置Hadoop集群认证信息,包括:集群各用户认证的keytab文件及集群配置文件(例如:core-site.xml、HBase-site.xml、hdfs-site.xml以及jaas.conf、krb5.conf等)等,用于后续登陆HBase集群操作。
步骤200:基于所述操作信息格式,自所述拆分信息中获取所述表格操作请求数据对应的表格操作信息。
在步骤200中,由于对所述表格操作请求数据进行数据拆分处理而得到对应的拆分信息中可能包含有多种信息,其中有些信息并非HBase表格数据处理所需数据,因此需要在这些拆分信息中获取表格操作请求数据对应的信息,并将这些信息按照所述操作信息格式进行排列以便于格式统一和/或数据存储。
步骤300:根据所述表格操作信息在所述HBase集群中进行表格数据处理。
在步骤300中,可以根据表格操作信息自动更新预先设置的执行代码(例如Java代码),并触发该更新后的执行代码执行以针对所述HBase集群实现所述表格操作请求数据对应的表格操作信息。
从上述描述可知,本申请实施例提供的电子设备,通过设置操作信息格式以及根据表格操作信息在所述HBase集群中进行表格数据处理,能够有效提高用户操作HBase集群中表格的便捷性,无需操作用户熟练掌握使用语法,仅提供表格操作请求数据即可,能够有效降低HBase表格数据处理的操作门槛,进而能够有效提高HBase表格数据处理的准确性并降低操作耗时,以提高操作用户体验;同时,若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息;基于所述操作信息格式,自所述拆分信息中获取所述表格操作请求数据对应的表格操作信息的处理方式,无需用户按照操作信息格式提供数据,也能够自动从用户提供的数据中准确获取表格操作信息,能够有效提高HBase表格数据处理过程的智能化程度、可靠性及有效性,进而能够进一步提高用户操作HBase表格数据的便捷性及用户体验。
在另一个实施方式中,HBase表格数据处理装置可以与中央处理器9100分开配置,例如可以将HBase表格数据处理装置配置为与中央处理器9100连接的芯片,通过中央处理器的控制来实现HBase表格数据处理功能。
如图11所示,该电子设备9600还可以包括:通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是,电子设备9600也并不是必须要包括图11中所示的所有部件;此外,电子设备9600还可以包括图11中没有示出的部件,可以参考现有技术。
如图11所示,中央处理器9100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中,存储器9140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序,以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器9140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142,该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143,该数据存储部9143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块9110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132,以经由扬声器9131提供音频输出,并接收来自麦克风9132的音频输入,从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器9130还耦合到中央处理器9100,从而使得可以通过麦克风9132能够在本机上录音,且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的HBase表格数据处理方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的HBase表格数据处理方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
步骤100:若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息。
在步骤100中,HBase表格数据处理装置可以接收各个用户持有的客户端设备分别发送的针对HBase集群的表格操作请求,并从这些表格操作请求中分别获取各自对应的表格操作请求数据。而后调取预设的操作信息格式,并判断接收到的各个表格操作请求对应的表格操作请求数据是否符合预设的操作信息格式,若是,则说明用户已经按照预设的操作信息格式录入了表格操作信息,若否,则说明用户提供的信息为自定义数据,因此需要将该自定义数据转化为符合操作信息格式的数据,即对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息。
可以理解的是,在执行步骤100中,还可以先进行初始化设置,执行用户在HBase集群上建表的各项准备工作,具体可以在服务器上安装Hadoop客户端并配置Hadoop集群认证信息,包括:集群各用户认证的keytab文件及集群配置文件(例如:core-site.xml、HBase-site.xml、hdfs-site.xml以及jaas.conf、krb5.conf等)等,用于后续登陆HBase集群操作。
步骤200:基于所述操作信息格式,自所述拆分信息中获取所述表格操作请求数据对应的表格操作信息。
在步骤200中,由于对所述表格操作请求数据进行数据拆分处理而得到对应的拆分信息中可能包含有多种信息,其中有些信息并非HBase表格数据处理所需数据,因此需要在这些拆分信息中获取表格操作请求数据对应的信息,并将这些信息按照所述操作信息格式进行排列以便于格式统一和/或数据存储。
步骤300:根据所述表格操作信息在所述HBase集群中进行表格数据处理。
在步骤300中,可以根据表格操作信息自动更新预先设置的执行代码(例如Java代码),并触发该更新后的执行代码执行以针对所述HBase集群实现所述表格操作请求数据对应的表格操作信息。
从上述描述可知,本申请实施例提供的计算机可读存储介质,通过设置操作信息格式以及根据表格操作信息在所述HBase集群中进行表格数据处理,能够有效提高用户操作HBase集群中表格的便捷性,无需操作用户熟练掌握使用语法,仅提供表格操作请求数据即可,能够有效降低HBase表格数据处理的操作门槛,进而能够有效提高HBase表格数据处理的准确性并降低操作耗时,以提高操作用户体验;同时,若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息;基于所述操作信息格式,自所述拆分信息中获取所述表格操作请求数据对应的表格操作信息的处理方式,无需用户按照操作信息格式提供数据,也能够自动从用户提供的数据中准确获取表格操作信息,能够有效提高HBase表格数据处理过程的智能化程度、可靠性及有效性,进而能够进一步提高用户操作HBase表格数据的便捷性及用户体验。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种HBase表格数据处理方法,其特征在于,包括:
若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息;
基于所述操作信息格式,自所述拆分信息中获取所述表格操作请求数据对应的表格操作信息;
根据所述表格操作信息在所述HBase集群中进行表格数据处理。
2.根据权利要求1所述的HBase表格数据处理方法,其特征在于,在所述根据所述表格操作信息在所述HBase集群中进行表格数据处理之前,还包括:
若经判断获知针对HBase集群的表格操作请求数据符合预设的操作信息格式,则提取所述表格操作请求数据对应的表格操作信息。
3.根据权利要求1所述的HBase表格数据处理方法,其特征在于,所述对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息,包括:
对所述表格操作请求数据进行预处理,以得到预处理后的表格操作请求数据;
基于预设的分词方式,对预处理后的表格操作请求数据进行数据拆分处理,得到对应的拆分信息。
4.根据权利要求1或2所述的HBase表格数据处理方法,其特征在于,所述操作信息格式为预设的操作信息表的存储格式,且所述操作信息表用于存储操作用户标识、操作表名、表格操作类型和操作参数之间的对应关系;
相对应的,所述表格操作信息包括:操作用户标识、操作表名和表格操作类型;
所述表格操作类型包括:创建表格、清理表格数据和删除表格中的任意一项;
其中,若所述表格操作类型为所述创建表格,则所述表格操作信息还包括:操作参数。
5.根据权利要求4所述的HBase表格数据处理方法,其特征在于,在所述根据所述表格操作信息在所述HBase集群中进行表格数据处理之前,还包括:
将所述表格操作请求数据对应的表格操作信息存储至所述操作信息表中;
相对应的,所述根据所述表格操作信息在所述HBase集群中进行表格数据处理,包括:
周期性地在所述操作信息表中提取新增的针对所述HBase集群的表格操作请求数据对应的表格操作信息;
自所述表格操作信息中获取对应的表格操作类型;
根据所述表格操作类型在所述HBase集群中进行表格数据处理。
6.根据权利要求5所述的HBase表格数据处理方法,其特征在于,所述根据所述表格操作类型在所述HBase集群中进行表格数据处理,包括:
若所述表格操作类型为创建表格,则自所述表格操作信息中获取对应的操作参数;
基于所述操作参数在所述HBase集群中调用加入创建表格命令及所述表格操作信息的执行代码以创建表格。
7.根据权利要求5所述的HBase表格数据处理方法,其特征在于,所述根据所述表格操作类型在所述HBase集群中进行表格数据处理,包括:
若所述表格操作类型为清理表格数据或删除表格,则自预存储的权限配置表中确定所述表格操作信息中的操作用户标识对应的目标用户权限信息,其中,所述权限配置表用于存储各个操作用户标识与各类用户权限信息之间的对应关系;
根据所述目标用户权限信息判断所述表格操作信息对应的表格操作类型是否具备操作权限,若是,则基于该表格操作类型在所述HBase集群中调用加入表格数据清理命令及所述表格操作信息的执行代码以清理表格数据,或者,基于该表格操作类型在所述HBase集群中调用加入表格删除命令及所述表格操作信息的执行代码以删除表格。
8.根据权利要求7所述的HBase表格数据处理方法,其特征在于,还包括:
定时扫描所述HBase集群中的各个数据表及对应的用户权限信息,并基于扫描得到的用户权限信息更新所述权限配置表。
9.一种HBase表格数据处理装置,其特征在于,包括:
数据拆分模块,用于若经判断获知针对HBase集群的表格操作请求数据不符合预设的操作信息格式,则对所述表格操作请求数据进行数据拆分处理,得到对应的拆分信息;
信息获取模块,用于基于所述操作信息格式,自所述拆分信息中获取所述表格操作请求数据对应的表格操作信息;
表格处理模块,用于根据所述表格操作信息在所述HBase集群中进行表格数据处理。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的HBase表格数据处理方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至8任一项所述的HBase表格数据处理方法。
CN202110605577.5A 2021-05-31 2021-05-31 HBase表格数据处理方法及装置 Pending CN113342811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110605577.5A CN113342811A (zh) 2021-05-31 2021-05-31 HBase表格数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110605577.5A CN113342811A (zh) 2021-05-31 2021-05-31 HBase表格数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN113342811A true CN113342811A (zh) 2021-09-03

Family

ID=77473590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110605577.5A Pending CN113342811A (zh) 2021-05-31 2021-05-31 HBase表格数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN113342811A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113900561A (zh) * 2021-10-27 2022-01-07 北京字跳网络技术有限公司 表格处理方法、装置、电子设备、介质及程序产品

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113900561A (zh) * 2021-10-27 2022-01-07 北京字跳网络技术有限公司 表格处理方法、装置、电子设备、介质及程序产品
CN113900561B (zh) * 2021-10-27 2023-07-25 北京字跳网络技术有限公司 表格处理方法、装置、电子设备、介质及程序产品

Similar Documents

Publication Publication Date Title
US11425571B2 (en) Device configuration method, apparatus and system
CN111460506A (zh) 数据访问控制方法及装置
US20150188983A1 (en) Dynamically launching a server-based application on a mobile device
CN111833507B (zh) 访客认证方法、装置、设备及计算机可读存储介质
CN113268336B (zh) 一种服务的获取方法、装置、设备以及可读介质
CN113271296B (zh) 一种登录权限管理的方法和装置
CN113034281A (zh) 基于区块链的业务数据处理方法、相关系统及节点
CN113409134A (zh) 基于联邦学习的企业融资授信方法及装置
CN112087475B (zh) 一种云平台组件应用的消息推送方法、装置及消息服务器
CN115145938A (zh) 企业用户身份标识体系构建方法、装置、设备、介质
CN113342811A (zh) HBase表格数据处理方法及装置
CN109391658B (zh) 一种账号数据同步方法及其设备、存储介质、终端
CN111327680B (zh) 认证数据同步方法、装置、系统、计算机设备和存储介质
CN115174558B (zh) 云网端一体化身份认证方法、装置、设备及存储介质
CN104168362A (zh) 终端、二维码管理装置和电子名片管理方法
CN112702743B (zh) 基于人工智能的网络数据监测保护方法
CN113312669B (zh) 密码同步方法、设备及存储介质
CN102223399B (zh) 基于智能终端的联系人会话展现方法及系统
CN113158259A (zh) 区块链完整性验证方法及装置
CN109543398B (zh) 一种应用程序账户迁移方法、装置和电子设备
CN113377385A (zh) 客户端自动部署方法及装置
CN114285657A (zh) 防火墙安全策略变更验证方法及装置
CN102065026A (zh) 一种用于认证拟加载对象的设备及其方法
CN112766827A (zh) 资产盘点数据自动化处理方法及装置
CN110019270B (zh) 信息更新方法及其装置、终端、服务器、可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination