CN106776717A - 一种基于HBase的接口构造方法及系统 - Google Patents

一种基于HBase的接口构造方法及系统 Download PDF

Info

Publication number
CN106776717A
CN106776717A CN201611021940.4A CN201611021940A CN106776717A CN 106776717 A CN106776717 A CN 106776717A CN 201611021940 A CN201611021940 A CN 201611021940A CN 106776717 A CN106776717 A CN 106776717A
Authority
CN
China
Prior art keywords
interface
information
hbase
user
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611021940.4A
Other languages
English (en)
Inventor
曾攀
范卫卫
温宗臣
张翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Original Assignee
BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd filed Critical BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Priority to CN201611021940.4A priority Critical patent/CN106776717A/zh
Publication of CN106776717A publication Critical patent/CN106776717A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Storage Device Security (AREA)

Abstract

一种基于HBase的接口构造方法，其对于新增的业务需求，只需进行简单的配置，不需要再进行重复开发和部署服务的工作，就可以实现其对数据查询的需求，通用性好，而且充分利用服务器系统资源，提高系统的易用性和可扩展性。该方法包括：(1)使用mysql数据库对用户权限信息、通用接口服务的元数据信息进行存储和控制；(2)设置通用接口服务；(3)配置控制模块：提供可视化系统，用于控制用户权限信息和通用接口信息；(4)设置对外提供接口服务：根据用户的业务需求配置用户权限和接口访问信息，然后反馈给用户访问接口服务的URL。还有一种基于HBase的接口构造系统。

Description

一种基于HBase的接口构造方法及系统
技术领域
本发明涉及大数据处理的技术领域，尤其涉及一种基于HBase的接口构造方法，以及基于HBase的接口构造系统。
背景技术
HBase是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。
HBase是一种高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。作为以数据为生存之本的大数据公司，为用户提供数据服务自然是重中之重，这就需要为用户开发专有的数据查询接口服务。
HBase提供两种查询方式：
1、Get方法，按指定RowKey获取唯一一条记录
2、Scan方法，按指定条件获取一批记录
因此，需要根据每个用户的需求为其单独开发相应的查询接口并部署服务，无法做到接口服务的通用性。
如果服务的用户数量很多，对每一个用户都要单独开发接口并且为其部署一套或多套(高并发访问情况)服务，开发的过程中做了很多的重复性工作，效率低，而且服务占用了很多系统资源，更不便于后期的维护和管理。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于HBase的接口构造方法，其对于新增的业务需求，只需进行简单的配置，不需要再进行重复开发和部署服务的工作，就可以实现其对数据查询的需求，通用性好，而且充分利用服务器系统资源，提高系统的易用性和可扩展性。
本发明的技术方案是：这种基于HBase的接口构造方法，该方法包括以下步骤：
(1)使用mysql数据库对用户权限信息、通用接口服务的元数据信息进行存储和控制；
(2)设置通用接口服务；
(3)配置控制模块：提供可视化系统，用于控制用户权限信息和通用接口信息；
(4)设置对外提供接口服务：根据用户的业务需求配置用户权限和接口访问信息，然后反馈给用户访问接口服务的URL。
本发明通过使用mysql数据库对用户权限信息、通用接口服务的元数据信息进行存储和控制，设置通用接口服务，配置用户权限信息和通用接口信息，根据业务需求和实际访问情况，合理部署服务，做好负载均衡，因此对于新增的业务需求，只需进行简单的配置，不需要再进行重复开发和部署服务的工作，就可以实现其对数据查询的需求，通用性好，而且充分利用服务器系统资源，提高系统的易用性和可扩展性。
还提供了一种基于HBase的接口构造系统，该系统包括：
存储和控制模块，其配置来使用mysql数据库对用户权限信息、通用接口服务的元数据信息进行存储和控制；
设置模块，其配置来设置通用接口服务；
控制模块，其配置来提供可视化系统，用于控制用户权限信息和通用接口信息；
对外模块，其配置来设置对外提供接口服务：根据用户的业务需求配置用户权限和接口访问信息，然后反馈给用户访问接口服务的URL。
附图说明
图1所示为根据本发明的基于HBase的接口构造方法的流程图。
具体实施方式
如图1所示，这种基于HBase的接口构造方法，该方法包括以下步骤：
(1)使用mysql数据库对用户权限信息、通用接口服务的元数据信息进行存储和控制；
(2)设置通用接口服务；
(3)配置控制模块：提供可视化系统，用于控制用户权限信息和通用接口信息；
(4)设置对外提供接口服务：根据用户的业务需求配置用户权限和接口访问信息，然后反馈给用户访问接口服务的URL。
本发明通过使用mysql数据库对用户权限信息、通用接口服务的元数据信息进行存储和控制，设置通用接口服务，配置用户权限信息和通用接口信息，根据业务需求和实际访问情况，合理部署服务，做好负载均衡，因此对于新增的业务需求，只需进行简单的配置，不需要再进行重复开发和部署服务的工作，就可以实现其对数据查询的需求，通用性好，而且充分利用服务器系统资源，提高系统的易用性和可扩展性。
另外，所述步骤(1)包括以下分步骤：
(1.1)建立相关的用户权限信息表，记录用户相关信息，包含用户名，私钥，私钥有效期，允许访问的接口信息，访问接口ip白名单；
(1.2)建立通用接口元信息表，表中每条信息为对应应用的接口信息。
另外，所述步骤(1.2)中，接口元信息表包括：应用名称、访问的HBase表名、HBase表的主键组成结构、接口的参数名称、接口批量查询参数名称。
以下具体说明：
i.应用名称。不同的应用赋予唯一的应用名称。
ii.HBase表。接口访问的数据存储在HBase中，因此这里要配置应用需要访问的HBase表名，并且说明HBase表的主键组成，以供查询使用。比如：HBase的主键组成是date,phone。是组合主键，其中第一主键是日期，第二主键是手机号。
iii.接口的参数名称。是接口中所有的参数名称列表。比如：date,phone,user,md5,app。其中date、phone的值合并后作为查询HBase表的主键值。user是访问用户名，md5是访问用户的公钥，app是业务名称。
iv.接口批量查询参数名称。比如：phone。接口支持批量查询数据。可以一次性查询N个手机号。另外，所述步骤(2)包括以下分步骤：
(2.1)服务启动时加载用户权限信息、接口元数据信息到内存中，根据用户名查找用户的权限信息，根据应用名查询接口元数据信息；
(2.2)检查客户端的IP是否在白名单中；
(2.3)检查接口中的参数是否完备；
(2.4)用户权限校验；
(2.5)根据接口元数据信息中的HBase的主键组成、接口批量查询参数名称；获取接口中对应参数的值，构建HBase主键值；phone是N个手机号值，将date和N个phone一次合并，形成N个date+phone的组合，作为查询HBase的主键，然后查询HBase，返回数据。具体地，根据接口元数据信息中的HBase的主键组成(如：date、phone)、接口批量查询参数名称(如：phone)。获取接口中对应参数(date、phone)的值，构建HBase主键值：如接口参数中date是一个具体的日期，phone是N个手机号值，将date和N个phone一次合并，形成N个date+phone的组合，作为查询HBase的主键，然后查询HBase，返回数据。
另外，所述步骤(2.4)中，服务器端通过用户私钥计算计算出用户公钥，与接口参数中的公钥进行比较，检查是否一致；通过用户权限表，检查用户是否有权限访问该应用。
另外，所述步骤(3)中，新增的接口服务在可视化系统中添加，下线的接口服务也在可视化系统中停用或删除。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于HBase的接口构造系统，该系统通常以与方法各步骤相对应的功能模块的形式表示。使用该方法的系统包括：
存储和控制模块，其配置来使用mysql数据库对用户权限信息、通用接口服务的元数据信息进行存储和控制；
设置模块，其配置来设置通用接口服务；控制模块，其配置来提供可视化系统，用于控制用户权限信息和通用接口信息；
对外模块，其配置来设置对外提供接口服务：根据用户的业务需求配置用户权限和接口访问信息，然后反馈给用户访问接口服务的URL。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (7)

1.一种基于HBase的接口构造方法，其特征在于：该方法包括以下步骤：
(1)使用mysql数据库对用户权限信息、通用接口服务的元数据信息进行存储和控制；
(2)设置通用接口服务；
(3)配置控制模块：提供可视化系统，用于控制用户权限信息和通用接口信息；
(4)设置对外提供接口服务：根据用户的业务需求配置用户权限和接口访问信息，然后反馈给用户访问接口服务的URL。
2.根据权利要求1所述的基于HBase的接口构造方法，其特征在于：所述步骤(1)包括以下分步骤：
(1.1)建立相关的用户权限信息表，记录用户相关信息，包含用户名，私钥，私钥有效期，允许访问的接口信息，访问接口ip白名单；
(1.2)建立通用接口元信息表，表中每条信息为对应应用的接口信息。
3.根据权利要求2所述的基于HBase的接口构造方法，其特征在于：所述步骤(1.2)中，接口元信息表包括：应用名称、访问的HBase表名、HBase表的主键组成结构、接口的参数名称、接口批量查询参数名称。
4.根据权利要求3所述的基于HBase的接口构造方法，其特征在于：所述步骤(2)包括以下分步骤：
(2.1)服务启动时加载用户权限信息、接口元数据信息到内存中，根据用户名查找用户的权限信息，根据应用名查询接口元数据信息；
(2.2)检查客户端的IP是否在白名单中；
(2.3)检查接口中的参数是否完备；
(2.4)用户权限校验；
(2.5)根据接口元数据信息中的HBase的主键组成、接口批量查询参数名称；获取接口中对应参数的值，构建HBase主键值；然后查询HBase，返回数据。
5.根据权利要求4所述的基于HBase的接口构造方法，其特征在于：所述步骤(2.4)中，服务器端通过用户私钥计算计算出用户公钥，与接口参数中的公钥进行比较，检查是否一致；通过用户权限表，检查用户是否有权限访问该应用。
6.根据权利要求5所述的基于HBase的接口构造方法，其特征在于：所述步骤(3)中，新增的接口服务在可视化系统中添加，下线的接口服务也在可视化系统中停用或删除。
7.一种基于HBase的接口构造系统，其特征在于：该系统包括：
存储和控制模块，其配置来使用mysql数据库对用户权限信息、通用接口服务的元数据信息进行存储和控制；
设置模块，其配置来设置通用接口服务；
控制模块，其配置来提供可视化系统，用于控制用户权限信息和通用接口信息；
对外模块，其配置来设置对外提供接口服务：根据用户的业务需求配置用户权限和接口访问信息，然后反馈给用户访问接口服务的URL。
CN201611021940.4A 2016-11-16 2016-11-16 一种基于HBase的接口构造方法及系统 Pending CN106776717A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611021940.4A CN106776717A (zh) 2016-11-16 2016-11-16 一种基于HBase的接口构造方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611021940.4A CN106776717A (zh) 2016-11-16 2016-11-16 一种基于HBase的接口构造方法及系统

Publications (1)

Publication Number Publication Date
CN106776717A true CN106776717A (zh) 2017-05-31

Family

ID=58969587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611021940.4A Pending CN106776717A (zh) 2016-11-16 2016-11-16 一种基于HBase的接口构造方法及系统

Country Status (1)

Country Link
CN (1) CN106776717A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108132987A (zh) * 2017-12-14 2018-06-08 浙江航天恒嘉数据科技有限公司 一种数据查询系统及方法
CN108153836A (zh) * 2017-12-14 2018-06-12 浙江航天恒嘉数据科技有限公司 一种时序数据访问系统及方法
CN110336780A (zh) * 2019-05-08 2019-10-15 河南雷鸣计算机科技有限公司 一种自动报警的运维审计系统
CN110889132A (zh) * 2019-11-04 2020-03-17 中盈优创资讯科技有限公司 分布式应用权限校验方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103312791A (zh) * 2013-05-24 2013-09-18 上海和伍新材料科技有限公司 物联网异构数据存储方法及系统
CN104462185A (zh) * 2014-10-13 2015-03-25 南京邮电大学 一种基于混合结构的数字图书馆云存储系统
CN105045607A (zh) * 2015-09-02 2015-11-11 广东创我科技发展有限公司 一种实现多种大数据计算框架统一接口的方法
CN105117433A (zh) * 2015-08-07 2015-12-02 北京思特奇信息技术股份有限公司 一种基于Hive解析HFile统计查询HBase的方法和系统
CN105468709A (zh) * 2015-11-19 2016-04-06 中国建设银行股份有限公司 基于HBase的数据查询装置及数据查询方法
CN105787382A (zh) * 2016-01-28 2016-07-20 东软集团股份有限公司 访问控制方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103312791A (zh) * 2013-05-24 2013-09-18 上海和伍新材料科技有限公司 物联网异构数据存储方法及系统
CN104462185A (zh) * 2014-10-13 2015-03-25 南京邮电大学 一种基于混合结构的数字图书馆云存储系统
CN105117433A (zh) * 2015-08-07 2015-12-02 北京思特奇信息技术股份有限公司 一种基于Hive解析HFile统计查询HBase的方法和系统
CN105045607A (zh) * 2015-09-02 2015-11-11 广东创我科技发展有限公司 一种实现多种大数据计算框架统一接口的方法
CN105468709A (zh) * 2015-11-19 2016-04-06 中国建设银行股份有限公司 基于HBase的数据查询装置及数据查询方法
CN105787382A (zh) * 2016-01-28 2016-07-20 东软集团股份有限公司 访问控制方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108132987A (zh) * 2017-12-14 2018-06-08 浙江航天恒嘉数据科技有限公司 一种数据查询系统及方法
CN108153836A (zh) * 2017-12-14 2018-06-12 浙江航天恒嘉数据科技有限公司 一种时序数据访问系统及方法
CN110336780A (zh) * 2019-05-08 2019-10-15 河南雷鸣计算机科技有限公司 一种自动报警的运维审计系统
CN110889132A (zh) * 2019-11-04 2020-03-17 中盈优创资讯科技有限公司 分布式应用权限校验方法及装置

Similar Documents

Publication Publication Date Title
US11132643B1 (en) Systems and methods for managing data in remote huddle sessions
US20200311294A1 (en) System and Method for Inter-sharing Data Among Data Users, Computing Device and Computer-Readable Storage Medium
US8214355B2 (en) Small table: multitenancy for lots of small tables on a cloud database
US11914585B2 (en) Servicing queries of a hybrid event index
US9235636B2 (en) Presenting data in response to an incomplete query
US8150879B2 (en) Building custom dimension trees
US20090112870A1 (en) Management of distributed storage
US7693918B2 (en) Rapid prototyping, generating and dynamically modifying a schema representing a database
CN106776717A (zh) 一种基于HBase的接口构造方法及系统
CN103942205B (zh) 存储、读取目录索引的方法、装置及系统
US20120239614A1 (en) Method and system for managing data in database
CN102567820A (zh) 动态新闻发布和管理系统
US11809586B2 (en) Shared object discovery techniques
US20040167905A1 (en) Content management portal and method for managing digital assets
Lemus-Rojas et al. Wikidata and libraries: Facilitating open knowledge
US20140310262A1 (en) Multiple schema repository and modular database procedures
US20240086381A1 (en) Efficient deduplication of randomized file paths
CN105184550B (zh) 管理排期数据的方法、服务器及系统
CN111181915B (zh) 共享权限的配置方法、装置、存储介质及电子装置
US20140019410A1 (en) Using Database Content for Multiple Business Data Systems Connected to One Database
US20170351853A1 (en) Communication Management Method and Communication Management System
CN106202573A (zh) 一种通用的两个数据库联合查询方法
US20130138739A1 (en) System and method for sharing data between users in a collaborative environment
KR100796046B1 (ko) 하이브리드 컨텐츠를 제공하는 방법, 단말 장치 및 시스템
CN105335503A (zh) 数字化档案馆信息全功能系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531