CN111245887B - Hbase连接动态保持方法、设备、存储介质及系统 - Google Patents

Hbase连接动态保持方法、设备、存储介质及系统 Download PDF

Info

Publication number
CN111245887B
CN111245887B CN201911302180.8A CN201911302180A CN111245887B CN 111245887 B CN111245887 B CN 111245887B CN 201911302180 A CN201911302180 A CN 201911302180A CN 111245887 B CN111245887 B CN 111245887B
Authority
CN
China
Prior art keywords
connection
hbase
tcp
client
message queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911302180.8A
Other languages
English (en)
Other versions
CN111245887A (zh
Inventor
赖新明
邓应强
孙科武
王志刚
舒南飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisino Corp
Original Assignee
Aisino Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisino Corp filed Critical Aisino Corp
Priority to CN201911302180.8A priority Critical patent/CN111245887B/zh
Publication of CN111245887A publication Critical patent/CN111245887A/zh
Application granted granted Critical
Publication of CN111245887B publication Critical patent/CN111245887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种Hbase连接动态保持方法、设备、存储介质及系统，方法包括：建立Hbase连接池，Hbase连接池包括多个Hbase连接对象；基于Reacter模式，监听每个Hbase服务端的客户端连接请求，并对发起连接请求的客户端信息进行认证；若认证通过，则调用操作系统API创建与客户端关联的TCP连接块，并将每个TCP连接块插入至消息队列中并设置为激活状态；从Hbase连接池中每个TCP连接块对应的客户端分配一个Hbase服务端作为Hbase连接对象；当客户端访问结束时，回收Hbase连接对象并将消息队列中的TCP连接块设置为未激活状态；当客户端断开连接时，调用操作系统API将TCP连接块从消息队列中删除。降低资源消耗，提高并发处理性能。

Description

Hbase连接动态保持方法、设备、存储介质及系统
技术领域
本发明涉及计算机技术领域，更具体地，涉及一种Hbase连接动态保持方法、设备、存储介质及系统。
背景技术
随着大数据技术的日益完善，越来越多的企业开始使用Hadoop平台来管理自己T级PB级的数据资源。Hbase是基于HDFS的一个列式数据库，根据列式存储的特点使得一些业务数据处理性能数十倍提升，且基于HDFS分布式存储的特点，即使存储了海量数据，依然具备较高的数据可靠性。
相比与其他传统关系型数据库，Hbase数据库具备以下优点：
1)由于列式存储特点，Hbase能够有效存储多维数据，如Web页面、电子邮件、音频、视频等。
2)由于其分布式存储特点，Hbase在海量数据场景下依旧具有高性能、高可用性。
3)由于分布式架构设计，Hbase易于拓展，当存储容量不足时可以简单增加节点来拓展Hbase的存储能力。
正是因为Hbase是应用在大数据海量存储的场景，Hbase也会同时给大量用户使用，因此除了需要提供较高的数据存储性能外，还需要提供较高的数据访问性能。在Hbase架构设计中，客户端通过Zookeeper获取Meta表所在HRegionServerA，然后连接该HRegionServerA获取到所需访问数据所在的HRegionServerB，最后直接与HRegionServerB建立连接并进行数据交互。这种架构设计的初衷是使得所有访问能够均衡到所有服务器上，以提高应对高并发场景的能力。但是这非常依赖于完美的表结构设计，只有Hbase表的RowKey设计的非常出色，使得常用热点数据能够非常均衡的散落在各个服务器上才能达到目标。通常这是难以做到的，尤其是在Hbase表初始建立时和批量导入数据之后，后者又是在大数据场景下经常遇到的操作。因此最终会导致大量的数据访问集中在几个服务器上，如果这时服务器没有应对措施，大量连接请求的创建会耗尽节点资源最终导致宕机，引发HMaster数据迁移任务，数据迁移会消耗集群性能，从而进一步影响用户访问Hbase数据库，逐渐形成雪崩效应导致Hbase服务不可用。由于大量并发请求造成的Hbase故障包括以下几个方面：
1)短时大量并发请求，使得Hbase服务端监听进程难以响应从而造成服务宕机；
2)持续较大增量的请求连接，Hbase服务端在不停的创建连接和销毁连接中，耗费较多的服务器资源从而影响Hbase数据库的访问性能；
3)当同时有大量用户连接时，Hbase服务端需要对每个客户端保持连接，并不断轮询监听连接的I/O操作。单个服务器受限于物力资源，因此可服务能力有限，无法支撑较大量的用户访问，导致服务阶段性不可用。
为了解决上述问题，就需要有效应对高并发连接请求，防止客户端连接耗尽服务器资源。通常做法是在服务端提前创建一个Hbase连接池，当有新的连接请求时从连接池分配一个连接，当客户端断开连接后再将连接放回池内，这种做法的好处是节省了连接的创建开销，当有高并发需求时可以使用已有的连接。但是要确定连接池的大小是非常复杂的问题，如果连接池太小，高并发请求连接时依旧需要创建额外连接，依然会引发宕机问题，如果连接池太大，大量连接没有使用时是对资源的巨大浪费。且单个物理机的资源有限，所能支持的最大连接池大小也难以支撑大量用户连接。
综上所述，Hbase数据库在存储高可用性上具备很多优势，但是在高并发数据访问场景下，Hbase目前使用的连接池技术不能提供足够的性能保障，且目前业界没有非常好的解决方案。
发明内容
本发明的目的是提出一种Hbase连接动态保持方法、设备、存储介质及系统，在高并发连接请求场景下，实现降低资源消耗、提高大规模并发请求的处理性能。
为实现上述目的，本发明提出了一种Hbase连接动态保持方法，包括：
步骤1：建立Hbase连接池，所述Hbase连接池包括多个Hbase连接对象，每个所述Hbase连接对象对应一个Hbase服务端；
步骤2：基于Reacter模式，监听每个Hbase服务端的客户端连接请求，并对发起所述连接请求的客户端信息进行认证；
步骤3：若认证通过，则调用操作系统API创建与所述客户端关联的TCP连接块，并将每个所述TCP连接块插入至消息队列中并设置为激活状态；
步骤4：从所述Hbase连接池中为设置为激活状态的每个所述TCP连接块对应的所述客户端分配一个Hbase服务端作为Hbase连接对象，实现所述客户端对所述Hbase服务端的访问；
步骤5：当所述客户端访问结束时，回收所述Hbase连接对象并将所述消息队列中的所述TCP连接块设置为未激活状态；
步骤6：当所述客户端断开连接时，调用所述操作系统API将所述TCP连接块从所述消息队列中删除。
可选地，还包括：
监听所述消息队列中所述激活状态的TCP连接块的数量，并根据所述激活状态的TCP连接块的数量动态对所述Hbase连接池进行扩容或减容。
可选地，所述步骤5还包括：
将所述TCP连接块中的所述客户端信息注册到所述Hbase连接对象中。
可选地，所述步骤6包括：
当所述客户端访问结束时，回收所述Hbase连接对象的同时回调所述Hbase连接对象中的注册信息，并通过连接处理主程序将访问的处理结果信息返回给客户端以及将所述消息队列中的所述TCP连接块设置为未激活状态。
可选地，在所述步骤1之前还包括：
基于NSQ平台建立用于缓存所述TCP连接块的所述消息队列。
本发明还提出一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的Hbase连接动态保持方法。
本发明还提出一种非暂态计算机可读存储介质该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行上述的Hbase连接动态保持方法。
本发明还提出一种Hbase连接动态保持系统，包括：连接缓存模块，以及基于Reacter模式建立的连接认证模块、业务处理模块、连接池管理模块和连接处理模块；
所述连接缓存模块用于提供缓存TCP连接块的消息队列，并为每个TCP连接块保存激活状态；
所述业务处理模块用于监听所有客户端的连接请求并调用操作系统API创建或注销与客户端关联的所述TCP连接块，以及设置每个TCP连接块的激活状态；
所述连接认证模块用于接收所述收业务处理模块发送的客户端信息对客户端进行认证，并将认证结果返回给所述业务处理模块；
所述连接处理模块用于监测所述消息队列中处于激活状态的TCP连接块，并请求所述连接池管理模块为每个激活状态的TCP连接块分配一个Hbase连接对象；
所述连接池管理模块用于建立所述Hbase连接池，并基于所述连接处理模块的请求从Hbase连接池中为每个激活状态的TCP连接块分配一个Hbase连接对象，以及在客户端访问结束时回收所述Hbase连接对象。
可选地，所述连接处理模块还用于监听所述消息队列中所述激活状态的TCP连接块的数量，并根据所述激活状态的TCP连接块的数量动态向所述连接池管理模块请求对所述Hbase连接池进行扩容或减容。
可选地，还包括回调模块，所述回调模块用于将所述TCP连接块中的客户端信息注册到Hbase连接对象中，并在回收所述TCP连接块时将访问的结果信息通过所述业务处理模块返回至客户端。
本发明的有益效果在于：
基于Reactor模式实现监听客户端连接请求，通过操作系统API为客户端请求创建TCP连接块，然后为客户端分配连接对象，大大降低资源消耗，防止在高并发请求下耗尽CPU、内存资源，提高并发处理性能；使用消息队列缓存连接请求，仅为需要进行业务处理的激活态连接从Hbase连接池中分配连接对象，并在业务处理结束后将连接请求的TCP连接块状态置为非激活态，直到客户端连接断开，使得每一个连接对象可以处理多个客户端的业务，大大提高了连接对象的利率效果，提升了Hbase大规模请求的处理性能。
本发明的装置具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的，或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述，这些附图和具体实施方式共同用于解释本发明的特定原理。
附图说明
通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，在本发明示例性实施例中，相同的参考标号通常代表相同部件。
图1示出了根据本发明的一种Hbase连接动态保持方法的步骤图。
图2示出了根据本发明的一个实施例的一种Hbase连接动态保持系统的架构图。
具体实施方式
下面将参照附图更详细地描述本发明。虽然附图中显示了本发明的优选实施例，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
根据本发明的一种Hbase连接动态保持方法，包括：
步骤1：建立Hbase连接池，所述Hbase连接池包括多个Hbase连接对象，每个所述Hbase连接对象对应一个Hbase服务端；
步骤2：基于Reacter模式，监听每个Hbase服务端的客户端连接请求，并对发起所述连接请求的客户端信息进行认证；
步骤3：若认证通过，则调用操作系统API创建与所述客户端关联的TCP连接块，并将每个所述TCP连接块插入至消息队列中并设置为激活状态；
步骤4：从所述Hbase连接池中为设置为激活状态的每个所述TCP连接块对应的所述客户端分配一个Hbase服务端作为Hbase连接对象，实现所述客户端对所述Hbase服务端的访问；
步骤5：当所述客户端访问结束时，回收所述Hbase连接对象并将所述消息队列中的所述TCP连接块设置为未激活状态；
步骤6：当所述客户端断开连接时，调用所述操作系统API将所述TCP连接块从所述消息队列中删除。
本实施例中，还包括：
监听所述消息队列中所述激活状态的TCP连接块的数量，并根据所述激活状态的TCP连接块的数量动态对所述Hbase连接池进行扩容或减容。
本实施例中，所述步骤5还包括：
将所述TCP连接块中的所述客户端信息注册到所述Hbase连接对象中。
本实施例中，所述步骤6包括：
当所述客户端访问结束时，回收所述Hbase连接对象的同时回调所述Hbase连接对象中的注册信息，并通过连接处理主程序将访问的处理结果信息返回给客户端以及将所述消息队列中的所述TCP连接块设置为未激活状态。
本实施例中，在所述步骤1之前还包括：
基于NSQ平台建立用于缓存所述TCP连接块的所述消息队列。
具体地，基于Reactor模式实现监听客户端连接请求，通过操作系统API为客户端请求创建TCP连接块，然后为客户端分配连接对象，大大降低资源消耗，防止在高并发请求下耗尽CPU、内存资源，提高并发处理性能；使用消息队列缓存连接请求，仅为需要进行业务处理的激活态连接从Hbase连接池中分配连接对象，并在业务处理结束后将连接请求的TCP连接块状态置为非激活态，直到客户端连接断开，使得每一个连接对象可以处理多个客户端的业务，大大提高了连接对象的利率效果，提升了Hbase大规模请求的处理性能。进一步地，通过感知nsqQueue中激活态连接数的压力，可以动态扩容连接池大小，提高服务器资源利用率，防止因连接池过小导致的客户端连接超时和因连接池过大造成的资源浪费。
在一种具体实施方式中，基于现有的反应器设计模式(Reactor模式)实现连接处理主程序(mainProcessor)、连接分发子程序(subProcessor)和基于NSQ实现的连接缓存模块以提供消息队列(nsqQueue)。其中连接处理主程序包括回调模块(connCallback)、连接认证模块(connAuth)和业务处理模块(connTrans)。连接分发子程序包括Hbase连接池管理模块(poolManager)和连接处理模块(connProd)。
各模块的功能如下：
1)业务处理模块
基于Reactor模式实现的主监听程序，负责监听维护所有客户端的连接请求，调用操作系统API创建注销与客户端关联的TCP连接块，并在客户端业务处理请求完成后返回最终结果给客户端。
2)连接认证模块
主要配合业务处理模块对客户端信息进行认证。接收业务处理模块发送的客户端信息，并对客户端进行认证后反正结果给业务处理模块。
3)回调模块
当连接处理模块消费消息队列中的TCP块并通过连接池管理模块分配到Hbase连接对象时，会将回调信息注册到该连接对象，该连接对象被回收时会通过回调模块返回一些结果信息。注册信息包括了TCP信息和客户端信息，因此通过业务处理模块可以将结果信息反馈给客户端。
4)连接缓存模块
基于nsq消息队列技术，保存所有当前操作系统创建的和客户端连接的TCP连接块，并为每个TCP连接块保存状态码和客户端相关信息，连接处理模块通过状态码来感知需要处理的客户端连接请求。
5)连接处理模块
负责感知消息队列中需要处理的客户端连接并消费，针对每一个激活态的客户端连接TCP块，连接处理模块从连接池管理模块请求分配一个Hbase连接对象，同时连接处理模块会统计消息队列中待消费的激活态TCP块，计算当前连接池处理压力，在需要时向连接池管理模块申请临时扩容Hbase连接池。
6)连接池管理模块
负责维护管理Hbase连接池，根据需求动态从连接对象池中取用连接对象，并可以根据需求动态调整连接对象池的大小。
参考图2，基于上述系统架构的一种Hbase连接动态保持方法包括：
在每个Hbase服务端运行连接处理主程序和连接分发子程序，连接处理主程序的业务处理模块负责监听该服务端的Hbase客户端连接请求；
当接收到客户端的连接请求后根据配置可调用连接认证模块对客户端信息进行认证；
认证通过后通过操作系统API创建服务端到客户端TCP连接块，并将TCP连接块插入到消息队列中置为激活态；
连接分发子程序中的连接池管理模块负载在初始化阶段创建一个可配置大小的Hbase连接池，并在后续对该连接池进行管理；
连接处理模块负责消费消息队列中的TCP块后，并通过连接池管理模块分配一个Hbase连接对象，同时将TCP块的客户端信息通过连接池管理模块注册到该Hbase连接对象中，此时客户端已经获取到Hbase服务端的Hbase连接对象，可以正常进行数据访问；
当访问处理结束后，连接池管理模块负责回收该Hbase连接对象，回收时会回调Hbase连接对象中的注册信息，返回连接的访问的处理结果信息；
此时连接处理主程序中的回调模块接收到处理结果消息，并将连接的处理结果信息返回到业务处理模块最后通过TCP连接返回消息给客户端，同时tonnTrans将消息队列中该TCP块置为未激活态；
当业务处理模块监听到客户端断开连接时，会调用操作系统API将该客户端的TCP块从消息队列中删除。
需要说明的是，反应器设计模式是一种为处理并发服务请求，并将请求提交到一个或者多个服务处理程序的事件设计模式，当客户端请求抵达后，服务处理程序使用多路分配策略，由一个非阻塞的线程来接收所有的请求，然后派发这些请求至相关的工作线程进行处理。NSQ是一个实时分布式消息传递平台，能够大规模处理每天数十亿的消息。反应器设计模式和NSQ为现有技术，本领域技术人员基于Reactor模式和NSQ容易实现本发明的方法，此处不再赘述。
本发明实施例还提供一种电子设备，电子设备包括：
至少一个处理器；以及，
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的Hbase连接动态保持方法。
本发明还提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行上述的Hbase连接动态保持方法。
参考图2，本发明实施例还提供一种Hbase连接动态保持系统，包括：连接缓存模块，以及基于Reacter模式建立的连接认证模块、业务处理模块、连接池管理模块和连接处理模块；
所述连接缓存模块用于提供缓存TCP连接块的消息队列，并为每个TCP连接块保存激活状态；
所述业务处理模块用于监听所有客户端的连接请求并调用操作系统API创建或注销与客户端关联的所述TCP连接块，以及设置每个TCP连接块的激活状态；
所述连接认证模块用于接收所述收业务处理模块发送的客户端信息对客户端进行认证，并将认证结果返回给所述业务处理模块；
所述连接处理模块用于监测所述消息队列中处于激活状态的TCP连接块，并请求所述连接池管理模块为每个激活状态的TCP连接块分配一个Hbase连接对象；
所述连接池管理模块用于建立所述Hbase连接池，并基于所述连接处理模块的请求从Hbase连接池中为每个激活状态的TCP连接块分配一个Hbase连接对象，以及在客户端访问结束时回收所述Hbase连接对象。
本实施例中，所述连接处理模块还用于监听所述消息队列中所述激活状态的TCP连接块的数量，并根据所述激活状态的TCP连接块的数量动态向所述连接池管理模块请求对所述Hbase连接池进行扩容或减容。
本实施例中，还包括回调模块，所述回调模块用于将所述TCP连接块中的客户端信息注册到Hbase连接对象中，并在回收所述TCP连接块时将访问的结果信息通过所述业务处理模块返回至客户端。
本发明可以在Hbase高并发连接时快速响应客户端连接请求、提升用户体验；可以大幅度提升Hbase的性能，提高单个服务器所能支持的用户规模；还可以充分利用Hbase连接对象资源，提高物理资源利用率。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

Claims (10)

1.一种Hbase连接动态保持方法，其特征在于，包括：
步骤1：建立Hbase连接池，所述Hbase连接池包括多个Hbase连接对象，每个所述Hbase连接对象对应一个Hbase服务端；
步骤2：基于Reacter模式，监听每个Hbase服务端的客户端连接请求，并对发起所述连接请求的客户端信息进行认证；
步骤3：若认证通过，则调用操作系统API创建与所述客户端关联的TCP连接块，并将每个所述TCP连接块插入至消息队列中并设置为激活状态；
步骤4：从所述Hbase连接池中为设置为激活状态的每个所述TCP连接块对应的所述客户端分配一个Hbase服务端作为Hbase连接对象，实现所述客户端对所述Hbase服务端的访问；
步骤5：当所述客户端访问结束时，回收所述Hbase连接对象并将所述消息队列中的所述TCP连接块设置为未激活状态；
步骤6：当所述客户端断开连接时，调用所述操作系统API将所述TCP连接块从所述消息队列中删除。
2.根据权利要求1所述的Hbase连接动态保持方法，其特征在于，还包括：
监听所述消息队列中所述激活状态的TCP连接块的数量，并根据所述激活状态的TCP连接块的数量动态对所述Hbase连接池进行扩容或减容。
3.根据权利要求1所述的Hbase连接动态保持方法，其特征在于，所述步骤5还包括：
将所述TCP连接块中的所述客户端信息注册到所述Hbase连接对象中。
4.根据权利要求3所述的Hbase连接动态保持方法，其特征在于，所述步骤6包括：
当所述客户端访问结束时，回收所述Hbase连接对象的同时回调所述Hbase连接对象中的注册信息，并通过连接处理主程序将访问的处理结果信息返回给客户端以及将所述消息队列中的所述TCP连接块设置为未激活状态。
5.根据权利要求1所述的Hbase连接动态保持方法，其特征在于，在所述步骤1之前还包括：
基于NSQ平台建立用于缓存所述TCP连接块的所述消息队列。
6.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5任一所述的Hbase连接动态保持方法。
7.一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行权利要求1-5任一所述的Hbase连接动态保持方法。
8.一种Hbase连接动态保持系统，其特征在于，包括：连接缓存模块，以及基于Reacter模式建立的连接认证模块、业务处理模块、连接池管理模块和连接处理模块；
所述连接缓存模块用于提供缓存TCP连接块的消息队列，并为每个TCP连接块保存激活状态；
所述业务处理模块用于监听所有客户端的连接请求并调用操作系统API创建或注销与客户端关联的所述TCP连接块，以及设置每个TCP连接块的激活状态；
所述连接认证模块用于接收所述业务处理模块发送的客户端信息对客户端进行认证，并将认证结果返回给所述业务处理模块；
所述连接处理模块用于监测所述消息队列中处于激活状态的TCP连接块，并请求所述连接池管理模块为每个激活状态的TCP连接块分配一个Hbase连接对象；
所述连接池管理模块用于建立所述Hbase连接池，并基于所述连接处理模块的请求从Hbase连接池中为每个激活状态的TCP连接块分配一个Hbase连接对象，以及在客户端访问结束时回收所述Hbase连接对象。
9.根据权利要求8所述的Hbase连接动态保持系统，其特征在于，所述连接处理模块还用于监听所述消息队列中所述激活状态的TCP连接块的数量，并根据所述激活状态的TCP连接块的数量动态向所述连接池管理模块请求对所述Hbase连接池进行扩容或减容。
10.根据权利要求8所述的Hbase连接动态保持系统，其特征在于，还包括回调模块，所述回调模块用于将所述TCP连接块中的客户端信息注册到Hbase连接对象中，并在回收所述TCP连接块时将访问的结果信息通过所述业务处理模块返回至客户端。
CN201911302180.8A 2019-12-17 2019-12-17 Hbase连接动态保持方法、设备、存储介质及系统 Active CN111245887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911302180.8A CN111245887B (zh) 2019-12-17 2019-12-17 Hbase连接动态保持方法、设备、存储介质及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911302180.8A CN111245887B (zh) 2019-12-17 2019-12-17 Hbase连接动态保持方法、设备、存储介质及系统

Publications (2)

Publication Number Publication Date
CN111245887A CN111245887A (zh) 2020-06-05
CN111245887B true CN111245887B (zh) 2022-03-25

Family

ID=70874113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911302180.8A Active CN111245887B (zh) 2019-12-17 2019-12-17 Hbase连接动态保持方法、设备、存储介质及系统

Country Status (1)

Country Link
CN (1) CN111245887B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067447B (zh) * 2020-07-31 2024-10-18 阿里巴巴集团控股有限公司 电子票信息处理方法、装置及电子设备
CN112818336A (zh) * 2020-12-28 2021-05-18 深圳市金微蓝技术有限公司 一种数据访问方法、数据访问装置及计算机可读存储介质
CN112910980B (zh) * 2021-01-27 2022-11-15 中国银联股份有限公司 一种数据库访问系统和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105938487A (zh) * 2016-04-14 2016-09-14 北京思特奇信息技术股份有限公司 一种基于Hbase连接池的使用方法和装置
CN107480251A (zh) * 2017-08-14 2017-12-15 福建新大陆软件工程有限公司 一种管理数据访问的系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2518298A (en) * 2013-09-13 2015-03-18 Box Inc High-availability architecture for a cloud-based concurrent-access collaboration platform

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105938487A (zh) * 2016-04-14 2016-09-14 北京思特奇信息技术股份有限公司 一种基于Hbase连接池的使用方法和装置
CN107480251A (zh) * 2017-08-14 2017-12-15 福建新大陆软件工程有限公司 一种管理数据访问的系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HBase架构中RPC客户端的通信性能优化;胡波等;《计算机科学》;20160415(第04期);全文 *
Jian Huang ; Xiangyong Ouyang ; Jithin Jose ; Md. Wasi-ur-Rahman ; H.High-Performance Design of HBase with RDMA over InfiniBand.《2012 IEEE 26th International Parallel and Distributed Processing Symposium》.2012, *
基于Hadoop云平台个性化信息定制系统设计与实现;王祝琳等;《吉林大学学报(信息科学版)》;20160315(第02期);全文 *

Also Published As

Publication number Publication date
CN111245887A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111245887B (zh) Hbase连接动态保持方法、设备、存储介质及系统
CN108376118B (zh) 服务发布系统、方法、设备及存储介质
US9794365B2 (en) Re-establishing push notification channels via user identifiers
CN106170016A (zh) 一种处理高并发数据请求的方法和系统
US9083614B2 (en) System and method for supporting out-of-order message processing in a distributed data grid
US20170070457A1 (en) Multiplexed demand signaled distributed messaging
CN106817408B (zh) 一种分布式服务器集群调度方法及装置
US8447881B2 (en) Load balancing for services
US10313452B2 (en) Migrating a chat message service provided by a chat server to a new chat server
WO2020140614A1 (zh) 离线消息分发方法、服务器及存储介质
US10693816B2 (en) Communication methods and systems, electronic devices, and computer clusters
CN107402956B (zh) 大任务的数据处理方法、设备和计算机可读存储介质
CN113452774B (zh) 消息推送方法、装置、设备及存储介质
US8606908B2 (en) Wake-up server
WO2017181890A1 (zh) 基于服务器集群的数据处理系统及方法
CN110888735A (zh) 基于一致性哈希的分布式消息分发方法、装置和调度节点
WO2017185615A1 (zh) 一种业务处理设备的业务状态确定方法及调度设备
CN114024972A (zh) 一种长连接通信方法、系统、装置、设备及存储介质
CN108595121B (zh) 数据存储方法和装置
CN112631756A (zh) 一种应用于航天测控软件的分布式调控方法及装置
CN110519397B (zh) 一种基于nginx的sip终端接入的负载均衡系统及方法
CN111294383B (zh) 物联网服务管理系统
CN111724262B (zh) 一种应用服务器后续包查询系统及其工作方法
CN104767772B (zh) 一种处理请求信息的方法及装置
CN111541667A (zh) 一种系统间消息通信的方法、设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant