CN116107999A - 一种数据库服务和存储系统及方法 - Google Patents

一种数据库服务和存储系统及方法 Download PDF

Info

Publication number
CN116107999A
CN116107999A CN202310370707.0A CN202310370707A CN116107999A CN 116107999 A CN116107999 A CN 116107999A CN 202310370707 A CN202310370707 A CN 202310370707A CN 116107999 A CN116107999 A CN 116107999A
Authority
CN
China
Prior art keywords
client
module
sub
interaction
interaction request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310370707.0A
Other languages
English (en)
Other versions
CN116107999B (zh
Inventor
王培磊
张汝云
邹涛
李顺斌
黄培龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310370707.0A priority Critical patent/CN116107999B/zh
Publication of CN116107999A publication Critical patent/CN116107999A/zh
Application granted granted Critical
Publication of CN116107999B publication Critical patent/CN116107999B/zh
Priority to US18/565,436 priority patent/US12095862B1/en
Priority to PCT/CN2023/105956 priority patent/WO2024207636A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/217Database tuning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/31Programming languages or programming paradigms
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书公开了一种数据库服务和存储系统及方法,该系统中包括客户端交互模块、订阅发布模块、存储模块以及子数据库管理模块,客户端交互模块可以接收客户端发送的交互请求,针对交互请求进行解析,得到解析结果;并根据该解析结果,确定所需启动的进程类型,以启动该进程类型的响应进程,并将交互请求重新封装发送给响应进程,进程类型包括订阅发布模块、存储模块以及子数据库管理模块分别对应的进程类型。订阅发布模块、存储模块以及子数据库管理模块的响应进程可以执行各自所需执行的任务。各个模块的解耦使得客户端交互、订阅发布、存储和子数据库管理等数据库服务的核心功能可以完全独立开发,从而提高了数据库服务的效率和可维护性。

Description

一种数据库服务和存储系统及方法
技术领域
本说明书涉及数据库技术领域,尤其涉及一种数据库服务和存储系统及方法。
背景技术
随着计算机技术的不断发展,数据库可以应用在各行各业中,从而便利了各行各业的数据存储需求。
数据库服务能够提供多项功能、如针对数据库中数据的增删改查、数据库状态的管理等,但是,在现有技术,数据库服务往往是,不管需要数据库执行哪一项功能,数据库服务将启动统一的进程来执行,这种方式,数据库服务的执行效率较低。
从而,如何提高数据库的执行效率,则是一个亟待解决的问题。
发明内容
本说明书提供一种数据库服务和存储系统及方法,以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案:
本说明书提供了一种数据库服务和存储系统,所述系统中包括:客户端交互模块、订阅发布模块、存储模块以及子数据库管理模块;
所述客户端交互模块用于,接收客户端发送的交互请求,对所述交互请求进行解析,得到解析结果;根据所述解析结果,确定所需启动的进程类型,以启动所述进程类型的响应进程,并将所述交互请求重新封装发送给所述响应进程,所述进程类型包括所述订阅发布模块对应的进程类型、所述存储模块对应的进程类型、所述子数据库管理模块的进程类型;
所述存储模块用于,在初始化阶段启动各数据类型对应的子进程,若所述存储模块对应的响应进程接收到重新封装后的交互请求,根据所述重新封装后的交互请求,确定所述重新封装后的交互请求所需处理的数据的数据类型,作为目标数据类型,并将所述重新封装后的交互请求,转发给所述目标数据类型对应的子进程,以使所述子进程按照所述重新封装后的交互请求,进行数据查询或数据存储;
所述订阅发布模块用于,若订阅发布模块对应的响应进程接收到重新封装后的交互请求,根据所述重新封装后的交互请求,执行订阅类响应动作或发布类响应动作;
所述子数据库管理模块用于,若子数据库管理模块对应的响应进程接收到重新封装后的交互请求,根据所述重新封装后的交互请求,执行状态读取类响应动作或状态切换类响应动作。
可选地,所述存储模块用于,在初始化阶段,在预设的进程状态列表中创建各数据类型对应的子进程的进程状态数据块,以及基于预设的子数据库数量,创建各子数据库对应的数据表。
可选地,所述子数据库管理模块用于,在初始化阶段创建子数据库状态列表,所述子数据库状态列表中包括各子数据库对应的子数据库状态数据块,所述子数据库状态数据块用于抽象表示子数据库的状态;
若确定接收到的重新封装后的交互请求为状态读取类交互请求,查询所述子数据库状态列表,确定所述重新封装后的交互请求所需的子数据库的子数据库状态数据块中的信息返回给所述客户端;
若确定接收到的重新封装后的交互请求为状态切换类交互请求,确定所需切换的子数据库,在所述子数据库状态列表中,更新所述所需切换的子数据库的子数据库状态数据块,在更新子数据库状态数据块后,向存储模块或客户端交互模块发送切换子数据库的指令。
可选地,所述客户端交互模块与订阅发布模块之间、客户端交互模块与存储模块、客户端交互模块与子数据库管理模块之间维持进程间通信通道。
可选地,所述客户端包括本地和/或远端的客户端;
所述客户端交互模块,用于在初始化阶段创建客户端状态列表,所述客户端状态列表包括客户端状态数据块,一个客户端状态数据块用于表示一个客户端的状态信息;
接收到客户端的交互请求时,查找所述客户端状态列表,若所述客户端状态列表中不存在与发送当前交互请求的客户端,在所述客户端状态列表中创建所述客户端的客户端状态数据块;
可选地,所述客户端交互模块,用于周期性判断各个客户端是否失联,若客户端失联,并通知订阅发布模块、存储模块和子数据库管理模块。
可选地,所述交互请求中携带有交互指令名称以及参数;
所述客户端交互模块用于,初始化阶段创建交互指令列表,所述交互指令列表保存了交互指令名称以及与所述交互指令名称相关联的处理模板,所述处理模板具体包括响应进程启动接口、封装接口和发送接口;
根据解析所述交互请求得到的交互指令名称,查找所述交互指令列表,获取所述处理模板,并调用进程启动接口,所述进程启动接口判断响应进程是否已启动,若所述响应进程未启动,则启动所述响应进程并创建进程间通信通道。
可选地,所述客户端交互模块用于,通过所述封装接口,重新封装交互请求,通过所述发送接口,将重新封装后的交互请求发送给所述响应进程。
可选地,所述订阅发布模块用于,在初始化阶段创建订阅信息列表,订阅信息列表由订阅信息数据块组成,订阅信息数据块包括订阅客户端描述符、订阅频道信息、订阅消息标志和消息缓冲区;
若接收到订阅类交互请求,创建和/或更新订阅信息列表当中的订阅信息数据块;
若接收到发布类交互请求,遍历所述订阅信息列表,根据所述订阅信息列表中的订阅频道信息,填充消息缓冲区,并通过客户端描述符,将消息缓冲区内的信息发送给客户端。
可选地,所述进程状态数据块包含进程描述符、进程间通信描述符、进程状态标志位以及数据传输缓冲区。
本说明书提供一种数据库服务和存储方法,所述方法通过包含有客户端交互模块、订阅发布模块、存储模块以及子数据库管理模块的数据库服务和存储系统进行执行;
通过所述客户端交互模块接收客户端发送的交互请求;
针对所述交互请求进行解析,得到解析结果;并根据所述解析结果,确定所需启动的进程类型,以启动所述进程类型的响应进程;
将所述交互请求重新封装发送给所述响应进程,以使所述响应进程处理所述重新封装后的交互请求,所述进程类型包括所述订阅发布模块对应的进程类型、所述存储模块对应的进程类型以及所述数据库管理模块的进程类型,其中,所述存储模块用于:在初始化阶段启动各数据类型对应的子进程,若所述存储模块对应的响应进程接收到重新封装后的交互请求,根据所述重新封装后的交互请求,确定所述交互请求所需处理的数据的数据类型,作为目标数据类型,并将所述重新封装后的交互请求,转发给所述目标数据类型对应的子进程,以使所述子进程按照所述重新封装后的交互请求,进行数据查询或数据存储,所述订阅发布模块用于:若订阅发布模块对应的响应进程接收到重新封装后的交互请求,根据所述重新封装后的交互请求,执行订阅类响应动作或发布类响应动作,所述子数据库管理模块用于,若子数据库管理模块对应的响应进程接收到重新封装后的交互请求,根据所述重新封装后的交互请求,执行状态读取类响应动作或状态切换类响应动作。
可选地,所述客户端包括本地和/或远端的客户端;
所述方法还包括:
通过所述客户端交互模块在初始化阶段创建客户端状态列表,所述客户端状态列表包括客户端状态数据块,一个客户端状态数据块用于表示一个客户端的状态信息;
接收到客户端的交互请求时,查找所述客户端状态列表,若所述客户端状态列表中不存在与发送当前交互请求的客户端,在所述客户端状态列表中创建所述客户端的客户端状态数据块。
可选地,所述方法还包括:
通过所述客户端交互模块周期性判断各个客户端是否失联,若客户端失联,并通知订阅发布模块、存储模块和子数据库管理模块。
可选地,所述交互请求中携带有交互指令名称以及参数;
所述方法还包括:
通过客户端交互模块在初始化阶段创建交互指令列表,所述交互指令列表保存了交互指令名称以及与所述交互指令名称相关联的处理模板,所述处理模板具体包括响应进程启动接口、封装接口和发送接口;
根据所述解析结果,确定所需启动的进程类型,以启动所述进程类型的响应进程,具体包括:
根据解析所述交互请求得到的交互指令名称,查找所述交互指令列表,获取所述处理模板,并调用进程启动接口,所述进程启动接口判断响应进程是否已启动,若所述响应进程未启动,则启动所述响应进程并创建进程间通信通道。
本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述数据库服务和存储方法。
本说明书提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述数据库服务和存储方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果:
从上述数据库服务和存储系统及方法中可以看出,该系统中包括客户端交互模块、订阅发布模块、存储模块以及子数据库管理模块,客户端交互模块用于,接收客户端发送的交互请求,针对交互请求进行解析,得到解析结果;并根据该解析结果,确定所需启动的进程类型,以启动该进程类型的响应进程,并将交互请求重新封装发送给响应进程,进程类型包括订阅发布模块对应的进程类型、存储模块对应的进程类型以及子数据库管理模块的进程类型。存储模块用于,在初始化阶段启动各数据类型对应的子进程,若存储模块对应的响应进程接收到重新封装后的交互请求,根据重新封装后的交互请求,确定交互请求所需处理的数据的数据类型,作为目标数据类型,并将重新封装后的交互请求,转发给所述目标数据类型对应的子进程,以使子进程按照重新封装后的交互请求,进行数据查询或数据存储。订阅发布模块用于,若订阅发布模块对应的响应进程接收到重新封装后的交互请求,根据重新封装后的交互请求,执行订阅类响应动作或发布类响应动作。子数据库管理模块用于,若子数据库管理模块对应的响应进程接收到重新封装后的交互请求,根据重新封装后的交互请求,执行状态读取类响应动作或状态切换类响应动作。
从上述内容中可以看出,本说明书提供的数据库服务和存储系统及方法,可以基于进程封装的架构形式,可以使得各个模块之间实现完全的解耦。采用进程间通信的方式保证了模块间接口的一致性,并且基于现代计算机多核心的普及程度,多进程的架构模式在实现了解耦的优势下对于性能的损耗并不严重。同时,各个模块的解耦使得客户端交互、订阅发布、存储和子数据库管理等核心功能可以完全独立开发,可以采用多语言、多架构和多模式的开发方式,各个模块可以基于自身特点选用最合适的开发语言、程序架构和设计模式,从而避免了传统数据库为了平衡各模块特点而必须作出妥协的问题(传统数据库系统往往是通过同一种编程语言编写得到的)。
基于进程封装的解耦模式还为各个模块独立部署、独立调试和独立维护提供了可能,客户端交互、订阅发布、存储和子数据库管理等核心模块甚至不必要部署在一台主机/服务器上,各个模块也可以通过固定的接口实现完全不依赖其他模块的调试和维护等。通过与现有技术相比,能够解决现有存在的数据库内部模块耦合度高、灵活性和可扩展性不足、维护难度大等问题,从而提高数据库的执行效率。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书提供的一种数据库服务和存储系统的结构示意图;
图2为本说明书中提供的一种客户端交互模块的逻辑示意图;
图3为本说明书中提供的一种进程状态列表的示意图;
图4为本说明书中提到的一种子数据库管理模块的结构示意图;
图5为本说明书中提供的一种交互指令列表的示意图;
图6为本说明书提供的一种数据库服务和存储方法的流程示意图;
图7为本说明书提供的对应于图6的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
本说明书中提供一种数据库服务和存储系统,该系统中包括:客户端交互模块,订阅发布模块,存储模块以及子数据库管理模块,如图1所示。
图1为本说明书提供的一种数据库服务和存储系统的结构示意图。
基于上述数据库服务和存储系统,客户端交互模块可以,启动并监听特定端口或地址,接收客户端发送的交互请求,针对该交互请求进行解析,得到解析结果;并根据该解析结果,确定所需启动的进程类型,以启动进程类型的响应进程,并将交互请求重新封装发送给所述响应进程,进程类型包括订阅发布模块对应的进程类型、存储模块对应的进程类型以及数据库管理模块的进程类型。
也就是说,客户端交互模块用于接收各客户端的交互请求,来确定客户端的需求,上述解析结果可以表示客户端发送的交互请求是哪一种请求,从而可以根据交互请求确定,客户端通过交互请求表示出的功能需求,应该由哪一个模块(存储模块、子数据库管理模块或订阅发布模块)来处理,因此,通过解析结果,可以确定出所需执行该交互请求的响应进程,是存储模块的响应进程、子数据库管理模块的响应进程抑或是订阅发布模块的响应进程。
由于交互请求中携带有交互指令名称以及参数(参数为除交互指令外其余所需的参数),因此,通过解析结果可以确定出交互请求中的交互指令名称和参数名称。由于客户端交互模块在接收到交互请求后进行了解析,因此,在向各个其他模块转发交互请求时,需要将交互请求进行重新封装。
需要说明的是,由于各个模块可以是不同编程语言所撰写的,那么,模块之间传输的协议也可以是不同的,客户端交互模块需要按照与上述响应进程对应的模块之间的协议来重新封装该交互请求,以将重新封装后的交互请求发送给该响应进程。
而后,需要通过相应模块的响应进程对客户端发送的交互请求进行处理,可以启动相应的响应进程,当然,若是所需执行该交互请求的模块的响应进程已经启动,则可以直接将重新封装后的交互请求发送给响应进程。
本实施例以兼容redis命令行为目标,实现一个多进程的类redis数据库。多数的方案采用子进程机制(fork),即针对每一个客户端fork一个子进程,而本实施例与此不同,下面具体叙述。
本实施例客户端交互模块可以采用linux套接字技术以及IO多路复用技术。类似于redis服务器。本实施例一方面可以绑定本机ip地址(或者127.0.0.1地址)的特定端口(默认采用6379端口从而与redis保持一致),另一方面也可以绑定一个本机的UNIX域地址。该UNIX域地址可以固定在代码当中,也可以作为参数或者配置文件信息传入到客户端交互模块当中。当地址绑定以后,对应的套接字描述符可以添加到IO多路复用技术的linux接口中,所述接口可以是select、poll或者epoll,绝大多数linux环境均支持所述IO多路复用接口,可以保证本实施例的通用性。
存储模块,在初始化阶段可以启动各数据类型对应的子进程,若该存储模块对应的响应进程接收到重新封装后的交互请求,根据所述重新封装后的交互请求,确定所述交互请求所需处理的数据的数据类型,作为目标数据类型,并将所述重新封装后的交互请求,转发给所述目标数据类型对应的子进程,以使所述子进程按照所述重新封装后的交互请求,进行数据查询或数据存储。
订阅发布模块,若订阅发布模块对应的响应进程接收到重新封装后的交互请求,可以根据重新封装后的交互请求,执行订阅类响应动作或发布类响应动作。
子数据库管理模块,若子数据库管理模块对应的响应进程接收到重新封装后的交互请求,根据所述重新封装后的交互请求,执行状态读取类响应动作或状态切换类响应动作。
客户端交互模块与订阅发布模块之间、客户端交互模块与存储模块之间、客户端交互模块与子数据库管理模块之间可以维持有进程间通信通道,以便于客户端交互模块与各其他模块之间的通信。
也就是说,本说明书中的数据库服务和存储系统中,将数据库服务中原本紧耦合的存储、订阅发布以及子数据库管理这些功能进行区分,并划分成了单个模块,每个模块独立接收客户端交互模块所发送的重新封装后的交互请求,以使得每个模块是独立的进程。
并且,由于每个模块之间是独立的进程,还可以通过不同的编程语言来实现不同模块,从而可以按照模块的特点,采用合适的编程语言来实现该模块。
上述提到的客户端包括本地和/或远端的客户端。
这里提到的客户端交互模块可以在初始化阶段创建客户端状态列表,所述客户端状态列表包括客户端状态数据块,一个客户端状态数据块用于表示一个客户端的状态信息;客户端状态数据块中可以包括客户端是否在线,与客户端上次交互的时间信息、内容信息(如客户端发送的交互请求是什么)等。
接收到客户端的交互请求时,可以查找客户端状态列表,若客户端状态列表中不存在与发送当前交互请求的客户端,在客户端状态列表中创建该客户端的客户端状态数据块。
周期性判断各个客户端是否失联,若客户端失联,则可以通知订阅发布模块、存储模块和子数据库管理模块。当订阅发布模块、存储模块或子数据库管理模块中任意一个所支持的客户端均失联,则该模块可以暂时结束进程(响应进程),即,若一个模块所需提供功能的客户端均失联,则该模块暂时不需要工作,为了节省资源,该模块可以结束进程,若存在客户端需要该模块的功能,客户端交互模块可以主动启动该模块的响应进程。
图2为本说明书中提供的一种客户端交互模块的逻辑示意图。
具体的,参考图2,本实施例可以将客户端交互模块用C语言进行实现,当然,实际上也可以用python、go语言等任意语言进行实现,只需要支持linux基本套接字和IO多路复用接口即可。
其中,client_info_s*client_info_list[MAX_CLIENT_NUM]表示客户端状态列表(client_info_list)中每个客户端状态数据块(client_info_s)为client_info_s结构体类型,MAX_CLIENT_NUM表示客户端状态列表中包含的客户端状态数据块的最大数量。
client_info_list[0]为客户端状态列表中的第一个客户端状态数据块,client_info_list[1]为客户端状态列表中的第二个客户端状态数据块。
client_info_s结构体的形式具体可以如下例所示:
#typedefine clientinfo
{
int fd;
unsigned long cnt;
...
}client_info_s;
其中,“#typedefine clientinfo{…}client_info_s;”为c语言中的关键字,用于定义上述结构体类型,fd为套接字描述符,用于表示一个客户端与客户端交互模块之间进行通信的通道(进程间通信通道)标识,cnt为心跳计数器,用于表示客户端向数据库的访问次数。
本实施例相对功能较为简洁,仅实现数据库的基本功能,因而此处只列上了套接字描述符fd和心跳计数器cnt两个元素,当然在实际应用中,客户端状态数据块中可以存在其他元素。针对client_info_s结构体列表的数据结构可以有多种实现方式,也依赖于具体的开发语言。
例如,redis采用c语言开发,针对客户端状态列表采用了链表数据结构;本实施例不需要在client_info_s结构体当中设置输入输出缓冲区等,因而对应的一系列标志位都可以省略,可以简单采用数组来实现所述客户端状态列表。甚至可以用fd直接定为数组下标,这样可以用最快的速度访问,由于数组当中保存的仅仅是指针,因而对于内存的空间的浪费也是很有限的。同时,如果客户端交互模块采用python、C++、go语言等实现,则上述语言本身支持字典、容器等更复杂的数据结构,但对应的业务代码则会更加简洁,这也是本发明所述方法的优势。
存储模块在初始化阶段,需要在预设的进程状态列表中创建各数据类型对应的子进程的进程状态数据块,以及基于预设的子数据库数量,创建各子数据库对应的数据表,这里提到的预设的子数据库数量可以人为进行预设,例如,存储模块可以维护16个子数据库。并创建这16个子数据库下的数据表。这里提到的进程状态数据块可以包括进程描述符、进程间通信描述符、进程状态标志位以及消息缓冲区的标识。
进程描述符可以是指进程的pid,对进程进行唯一性标识;进程间通信描述符为套接字fd,用来标识进程间通信的通道,进程状态标志位就是一个变量,当前实施例中用来标识进程是否在线。进程间通信缓冲区用于缓存进程间通信的数据。
图3为本说明书中提供的一种进程状态列表的示意图。
具体的,参考图3,存储模块当中可以维护一个进程状态列表(存储子进程状态列表),此处各数据类型对应的子进程采用slave而非child来进行命名,实际上突出的是主-从的概念,即在本实施例当中,针对各个数据类型的子进程并非由存储模块创建fork生成,而是在系统初始化阶段即同时启动的,只是在逻辑上有主从的关系。所述的初始化阶段同时启动各个进程,可以采用supervisord技术,具体不做赘述。
上述进程状态列表中的每个进程状态数据块具体可以定义为如下的形式:
#typedefine store_slave_process_info
{
  char name[8];
  int fd;
  unsigned int buf_len;
  void *buf;
}store_slave_process_info_s;
其中,“# typedefine store_slave_process_info {…} store_slave_process_info_s;”为c语言中的关键字,用于定义上述结构体类型,name可以为子进程所对应的数据类型的标识,套接字fd可以表示子进程与存储模块之间的进程间通信通道的标识(进程间通信描述符),void *buf用于表示进程间通信通道对应消息缓冲区的地址,buf_len用于表示消息缓冲区的大小。
存储模块在接收到来自客户端交互模块的存储指令后,可以判断所需要操作的存储对象的数据类型,然后通过查找进程状态列表,获取对应子进程的fd和消息缓冲区,构造交互命令后下发给子进程。
子进程的开发方式则进一步体现本发明方案所带来的解耦性和灵活性,针对纯字符类型的数据,完全可以采用C语言进行开发,而针对vector、字典等C语言本身不支持的数据结构,redis等的解决方案是额外基于C语言开发相应的模块,这使得数据库开发人员需要承担额外的工作量,同时当相应的vector、字典数据结构相关技术更新迭代后,还要额外花费时间和精力去跟进,例如redis当中字典数据结构的哈希算法就经历了多次迭代演进。而发明方案可以基于原生支持相应数据结构的开发语言进行开发,只需要同步升级开发工具或者语言包等,即可跟进相应技术的发展,因此,对于一个数据类型所对应的子进程来说,可以由适合该数据类型的编程语言开发得到。
子数据库管理模块可以,在初始化阶段创建子数据库状态列表,该子数据库状态列表中包括各子数据库对应的子数据库状态数据块,子数据库状态数据块用于抽象表示子数据库的状态,这里提到的子数据库状态数据块中可以包括子数据库的活跃信息(是否是活跃状态)、资源情况、键空间等。
该子数据库管理模块若确定接收到的重新封装后的交互请求为状态读取类交互请求,则可以查询子数据库状态列表,确定重新封装后的交互请求所需的子数据库的子数据库状态数据块返回给客户端。
该子数据库管理模块若确定接收到的重新封装后的交互请求为状态切换类交互请求,则可以确定所需切换的子数据库,并在该子数据库状态列表中,更新所需切换的子数据库的子数据库状态数据块,并且,在更新子数据库状态数据块后,可以向存储模块或客户端交互模块发送切换子数据库的指令。
上述子数据库管理模块主要用于管理各子数据库的状态,本说明书中的数据库服务和存储系统中,可以包括多个子数据库,同一时间,数据库服务和存储系统中的存储模块仅可以对其中一个或者其中部分子数据库进行操作。
子数据库状态数据块中的活跃信息可以表示出子数据库的状态,例如,该子数据库的状态可以为活跃状态和非活跃状态,活跃状态可以表示出子数据库是当前存储模块能够处理的子数据库,非活跃状态可以表示出子数据库不是当前存储模块能够处理的子数据库。
而当子数据库管理模块接收到状态切换类交互请求后,可以确定出所需切换为活跃状态的子数据库,并将该子数据库的子数据库状态数据块更新为活跃状态,以及向存储模块或客户端交互模块发送切换子数据库的指令,使得存储模块切换到该子数据库,以针对该子数据库进行后续操作,或者客户端交互模块通知存储模块切换到该子数据库。
在通用的数据库技术中,一个数据库服务器往往能提供不止一个子数据库,例如redis在默认配置下可以提供16个子数据库,可以采用相应的命令切换不同的数据库。在本方案当中,采用子数据库管理模块实现相应的功能。子数据库管理模块作为独立的进程进行解耦,对于数据库的功能扩展非常有利。
图4为本说明书中提到的一种子数据库管理模块的结构示意图。
子数据库状态列表的设计可以参考前述几个模块,具体的参考图4。子数据库状态列表中的子数据库状态数据块可以定义为如下的形式:
#typedefine child_db_manage_info
{
int active;
int fd[MAX_NUM];
...
}child_db_manage_info_s;
其中,“# typedefine child_db_manage_info{…} child_db_manage_info_s;”为c语言中的关键字,用于定义上述结构体类型,active表示子数据库的活跃信息,fd[MAX_NUM]表示子数据库管理模块之间进程间通信描述符(进程间通信通道的标识)。
当子数据库管理模块接收到切换子数据库等指令时,可以在子数据库状态列表当中检索到相关子数据库对应的子数据库状态数据块,更新子数据库状态数据块当中的active等信息,并通过进程间通信描述符fd将消息发送给存储模块。
由于一个子数据库可以包含有不同数据类型的数据,因此,上述fd[MAX_NUM]可以是多个数据类型所对应的进程间通信通道的描述符,与一个数据类型相关的消息可以通过该数据类型所对应的进程间通信通道来进行发送,存储模块接收到消息后,可以根据具体的业务需求执行相应的动作。
客户端交互模块可以,在初始化阶段创建交互指令列表,该交互指令列表保存了交互指令名称以及与交互指令名称相关联的处理模板,处理模板具体包括响应进程启动接口、封装接口和发送接口;
根据解析该交互请求得到的交互指令名称,可以查找交互指令列表,获取到对应的处理模板,从而根据获取到的处理模板调用进程启动接口,该进程启动接口可以判断响应进程是否已启动,若确定该响应进程未启动,则可以启动该响应进程并创建客户端交互模块与该响应进程之间的进程间通信通道。
图5为本说明书中提供的一种交互指令列表的示意图。
参考图5,本实施例当中,交互指令列表采用一个哈希表来实现。本实施例以兼容redis命令行接口为目标,因此所述交互指令采用RESP协议进行封装,关于RESP协议的相关信息有很多参考资料,在此不做赘述。
简而言之可以基于RESP协议的格式解析获取到交互指令的名称,比如“set”或者“pub”等。set可以是指“保存数据”的指令,pub可以是指“发布信息”的指令。
然后基于这些名称进行一次hash操作,得到的哈希值即为所述交互指令所在数组当中的位置。数组当中保存的是处理交互指令的结构体指针,所述结构体当中定义了start接口(进程启动接口)、build接口(封装接口)和send接口(发送接口),用于启动响应进程、重新封装请求以及将交互请求发送给响应进程。
其中,在图5中,error_t*start(void)表示start接口(用于启动响应进程的接口),error_t*build(void *buf)表示build接口(用于重新封装请求的接口),error_t*send(void *buf)表示send接口(用于将交互请求发送给响应进程的接口)。
一般情况下,对于消息的响应往往只封装一个handle接口,本方法将handle接口分开成start、build和send三个接口,主要是为了多态性,即针对不同的交互指令,采用相同名称的操作,可以产生不同的效果。开发者根据具体业务的需求,在程序初始化阶段完成接口的注册。
本实施例的设计条件下,某些响应进程只有在第一次得到响应请求时才会启动。例如,当客户端交互模块没有接到收订阅发布类型的交互请求消息时,则订阅发布模块所有的进程都不必启动。当需要订阅发布的客户端都下线后,订阅发布模块会通过从客户端交互模块得到消息,从而关闭自身进程。以上可以使得整个数据库服务只运行必要的进程,从而节省整体资源,提高交互请求响应的效率。
上述提到的封装接口可以用于对交互请求进行重新封装,发送接口可以用户将重新封装后的交互请求发送给需要处理该重新封装后的交互请求的响应进程。
在上述提到的订阅发布模块主要用于处理订阅类交互请求或发布类交互请求,由于本说明书中的数据库可以是redis数据库,redis数据库提供订阅发布的功能,本说明书中的订阅发布模块主要用于支持该订阅发布的功能。
具体的,订阅发布模块,可以在初始化阶段创建订阅信息列表,订阅信息列表由订阅信息数据块组成,每个订阅信息数据块包括订阅客户端描述符、订阅频道信息、订阅消息标志和消息缓冲区。一个订阅信息数据块用于表示一个客户端所订阅的频道,订阅客户端描述符表示客户端的标识,订阅频道信息表示客户端所订阅的频道,订阅消息标志表示客户端订阅的频道中将发送的该客户端所需的消息,消息缓冲区用于缓存消息。
订阅发布模块若接收到订阅类交互请求,可以创建和/或更新订阅信息列表当中的订阅信息数据块。
订阅发布模块若接收到发布类交互请求,则可以遍历订阅信息列表,根据所述订阅信息列表中的订阅频道信息,填充消息缓冲区,并通过客户端描述符,将消息缓冲区内的信息发送给客户端。
订阅发布功能参考redis数据库的相关sub和pub命令的实现,当客户端发送sub命令时进行订阅,订阅以频道为单位,例如客户端发送“subscribechannel_name”,就是订阅了名称为channel_name的频道;另外的客户端发送publishchannel_name“message…”,相应订阅了的客户端就会收到message消息。
单独的订阅发布功能业界已有很多可行性案例,其中一个参考方案可以参考发明专利名为一种物联网设备协同联动方法和装置,该专利也采用了订阅发布的实施方式。具体原理就是采用字典等数据结构设计订阅信息列表,将通道(频道)名称和订阅信息存储在该列表当中,但本实施例相较于redis等数据库的订阅发布功能最大的不同点在于,订阅发布模块作为独立的进程进行运行。Redis只用C语言开发,而C语言本身不支持字典数据结构,因而redis额外用C语言实现了字典数据结构的管理,这增加了开发和维护的工作量;而本实施例则完全可以采用go语言、python等本身支持字典结构的编程语言来开发。
同时,本实施例还可以采用linux进程间socket描述符传输的技术,具体的是客户端交互模块在接收到订阅交互请求指令时,会将发送订阅请求的客户端socket描述符发送给订阅发布模块,这样订阅发布模块需要发送消息时,无需经过客户端交互模块的中转,可以按照客户端socket描述符,直接将消息发送给客户端,避免了中间环节从而能够减少程序错误和漏洞,也易于维护和扩展,由此再次体现出功能解耦的优势。
基于上述数据库服务和存储系统,同样的,本说明书还提供一种数据库服务和存储方法,如图6所示。
图6为本说明书提供的一种数据库服务和存储方法的流程示意图,具体步骤如下:
S600:通过所述客户端交互模块接收客户端发送的交互请求。
S602:针对所述交互请求进行解析,得到解析结果;并根据所述解析结果,确定所需启动的进程类型,以启动所述进程类型的响应进程。
S604:将所述交互请求重新封装发送给所述响应进程,以使所述响应进程处理所述重新封装后的交互请求,所述进程类型包括所述订阅发布模块对应的进程类型、所述存储模块对应的进程类型以及所述数据库管理模块的进程类型,其中,所述存储模块用于:在初始化阶段启动各数据类型对应的子进程,若所述存储模块对应的响应进程接收到重新封装后的交互请求,根据所述重新封装后的交互请求,确定所述交互请求所需处理的数据的数据类型,作为目标数据类型,并将所述重新封装后的交互请求,转发给所述目标数据类型对应的子进程,以使所述子进程按照所述重新封装后的交互请求,进行数据查询或数据存储,所述订阅发布模块用于:若订阅发布模块对应的响应进程接收到重新封装后的交互请求,根据所述重新封装后的交互请求,执行订阅类响应动作或发布类响应动作,所述子数据库管理模块用于,若子数据库管理模块对应的响应进程接收到重新封装后的交互请求,根据所述重新封装后的交互请求,执行状态读取类响应动作或状态切换类响应动作。
由于本说明书提供的数据库服务和存储方法与上述数据库服务和存储系统的具体实施方式是相同的,在此就不再赘述了,具体可见针对上述数据库服务和存储系统的说明。
以上所述的一种数据库服务和存储系统及方法,基于进程封装的架构形式,可以使得各个模块之间实现完全的解耦。采用进程间通信的方式保证了模块间接口的一致性,并且基于现代计算机多核心的普及程度,多进程的架构模式在实现了解耦的优势下对于性能的损耗并不严重。同时,各个模块的解耦使得客户端交互、订阅发布、存储和子数据库管理等核心功能可以完全独立开发,可以采用多语言、多架构和多模式的开发方式,各个模块可以基于自身特点选用最合适的开发语言、程序架构和设计模式,从而避免了传统数据库为了平衡各模块特点而必须作出妥协的问题。基于进程封装的解耦模式还为各个模块独立部署、独立调试和独立维护提供了可能,客户端交互、订阅发布、存储和子数据库管理等核心模块甚至不必要部署在一台主机/服务器上,各个模块也可以通过固定的接口实现完全不依赖其他模块的调试和维护等。通过与现有技术相比,能够解决现有存在的数据库内部模块耦合度高、灵活性和可扩展性不足、维护难度大等问题。
本说明书还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述数据库服务和存储方法。
本说明书还提供了图7所示的电子设备的示意结构图。如图7所述,在硬件层面,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述数据库服务和存储方法。
当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device, PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。

Claims (16)

1.一种数据库服务和存储系统,其特征在于,所述系统中包括:客户端交互模块、订阅发布模块、存储模块以及子数据库管理模块;
所述客户端交互模块用于,接收客户端发送的交互请求,对所述交互请求进行解析,得到解析结果;根据所述解析结果,确定所需启动的进程类型,以启动所述进程类型的响应进程,并将所述交互请求重新封装发送给所述响应进程,所述进程类型包括所述订阅发布模块对应的进程类型、所述存储模块对应的进程类型、所述子数据库管理模块的进程类型;
所述存储模块用于,在初始化阶段启动各数据类型对应的子进程,若所述存储模块对应的响应进程接收到重新封装后的交互请求,根据所述重新封装后的交互请求,确定所述重新封装后的交互请求所需处理的数据的数据类型,作为目标数据类型,并将所述重新封装后的交互请求,转发给所述目标数据类型对应的子进程,以使所述子进程按照所述重新封装后的交互请求,进行数据查询或数据存储;
所述订阅发布模块用于,若订阅发布模块对应的响应进程接收到重新封装后的交互请求,根据所述重新封装后的交互请求,执行订阅类响应动作或发布类响应动作;
所述子数据库管理模块用于,若子数据库管理模块对应的响应进程接收到重新封装后的交互请求,根据所述重新封装后的交互请求,执行状态读取类响应动作或状态切换类响应动作。
2.如权利要求1所述的系统,其特征在于,所述存储模块用于,在初始化阶段,在预设的进程状态列表中创建各数据类型对应的子进程的进程状态数据块,以及基于预设的子数据库数量,创建各子数据库对应的数据表。
3.如权利要求1所述的系统,其特征在于,所述子数据库管理模块用于,在初始化阶段创建子数据库状态列表,所述子数据库状态列表中包括各子数据库对应的子数据库状态数据块,所述子数据库状态数据块用于抽象表示子数据库的状态;
若确定接收到的重新封装后的交互请求为状态读取类交互请求,查询所述子数据库状态列表,确定所述重新封装后的交互请求所需的子数据库的子数据库状态数据块中的信息返回给所述客户端;
若确定接收到的重新封装后的交互请求为状态切换类交互请求,确定所需切换的子数据库,在所述子数据库状态列表中,更新所述所需切换的子数据库的子数据库状态数据块,在更新子数据库状态数据块后,向存储模块或客户端交互模块发送切换子数据库的指令。
4.如权利要求1所述的系统,其特征在于,所述客户端交互模块与订阅发布模块之间、客户端交互模块与存储模块、客户端交互模块与子数据库管理模块之间维持进程间通信通道。
5.如权利要求1所述的系统,其特征在于,所述客户端包括本地和/或远端的客户端;
所述客户端交互模块,用于在初始化阶段创建客户端状态列表,所述客户端状态列表包括客户端状态数据块,一个客户端状态数据块用于表示一个客户端的状态信息;
接收到客户端的交互请求时,查找所述客户端状态列表,若所述客户端状态列表中不存在与发送当前交互请求的客户端,在所述客户端状态列表中创建所述客户端的客户端状态数据块。
6.如权利要求1所述的系统,其特征在于,所述客户端交互模块,用于周期性判断各个客户端是否失联,若客户端失联,并通知订阅发布模块、存储模块和子数据库管理模块。
7.如权利要求1所述的系统,其特征在于,所述交互请求中携带有交互指令名称以及参数;
所述客户端交互模块用于,初始化阶段创建交互指令列表,所述交互指令列表保存了交互指令名称以及与所述交互指令名称相关联的处理模板,所述处理模板具体包括响应进程启动接口、封装接口和发送接口;
根据解析所述交互请求得到的交互指令名称,查找所述交互指令列表,获取所述处理模板,并调用进程启动接口,所述进程启动接口判断响应进程是否已启动,若所述响应进程未启动,则启动所述响应进程并创建进程间通信通道。
8.如权利要求7所述的系统,其特征在于,所述客户端交互模块用于,通过所述封装接口,重新封装交互请求,通过所述发送接口,将重新封装后的交互请求发送给所述响应进程。
9.如权利要求1所述的系统,其特征在于,所述订阅发布模块用于,在初始化阶段创建订阅信息列表,订阅信息列表由订阅信息数据块组成,订阅信息数据块包括订阅客户端描述符、订阅频道信息、订阅消息标志和消息缓冲区;
若接收到订阅类交互请求,创建和/或更新订阅信息列表当中的订阅信息数据块;
若接收到发布类交互请求,遍历所述订阅信息列表,根据所述订阅信息列表中的订阅频道信息,填充消息缓冲区,并通过客户端描述符,将消息缓冲区内的信息发送给客户端。
10.如权利要求2所述的系统,其特征在于,所述进程状态数据块包含进程描述符、进程间通信描述符、进程状态标志位以及数据传输缓冲区。
11.一种数据库服务和存储方法,其特征在于,所述方法通过包含有客户端交互模块、订阅发布模块、存储模块以及子数据库管理模块的数据库服务和存储系统进行执行;
通过所述客户端交互模块接收客户端发送的交互请求;
针对所述交互请求进行解析,得到解析结果;并根据所述解析结果,确定所需启动的进程类型,以启动所述进程类型的响应进程;
将所述交互请求重新封装发送给所述响应进程,以使所述响应进程处理所述重新封装后的交互请求,所述进程类型包括所述订阅发布模块对应的进程类型、所述存储模块对应的进程类型以及所述数据库管理模块的进程类型,其中,所述存储模块用于:在初始化阶段启动各数据类型对应的子进程,若所述存储模块对应的响应进程接收到重新封装后的交互请求,根据所述重新封装后的交互请求,确定所述交互请求所需处理的数据的数据类型,作为目标数据类型,并将所述重新封装后的交互请求,转发给所述目标数据类型对应的子进程,以使所述子进程按照所述重新封装后的交互请求,进行数据查询或数据存储,所述订阅发布模块用于:若订阅发布模块对应的响应进程接收到重新封装后的交互请求,根据所述重新封装后的交互请求,执行订阅类响应动作或发布类响应动作,所述子数据库管理模块用于,若子数据库管理模块对应的响应进程接收到重新封装后的交互请求,根据所述重新封装后的交互请求,执行状态读取类响应动作或状态切换类响应动作。
12.如权利要求11所述的方法,其特征在于,所述客户端包括本地和/或远端的客户端;
所述方法还包括:
通过所述客户端交互模块在初始化阶段创建客户端状态列表,所述客户端状态列表包括客户端状态数据块,一个客户端状态数据块用于表示一个客户端的状态信息;
接收到客户端的交互请求时,查找所述客户端状态列表,若所述客户端状态列表中不存在与发送当前交互请求的客户端,在所述客户端状态列表中创建所述客户端的客户端状态数据块。
13.如权利要求11所述的方法,其特征在于,所述方法还包括:
通过所述客户端交互模块周期性判断各个客户端是否失联,若客户端失联,通知订阅发布模块、存储模块和子数据库管理模块。
14.如权利要求11所述的方法,其特征在于,所述交互请求中携带有交互指令名称以及参数;
所述方法还包括:
通过客户端交互模块在初始化阶段创建交互指令列表,所述交互指令列表保存了交互指令名称以及与所述交互指令名称相关联的处理模板,所述处理模板具体包括响应进程启动接口、封装接口和发送接口;
根据所述解析结果,确定所需启动的进程类型,以启动所述进程类型的响应进程,具体包括:
根据解析所述交互请求得到的交互指令名称,查找所述交互指令列表,获取所述处理模板,并调用进程启动接口,所述进程启动接口判断响应进程是否已启动,若所述响应进程未启动,则启动所述响应进程并创建进程间通信通道。
15.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求11~14任一项所述的方法。
16.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求11~14任一项所述的方法。
CN202310370707.0A 2023-04-06 2023-04-06 一种数据库服务和存储系统及方法 Active CN116107999B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202310370707.0A CN116107999B (zh) 2023-04-06 2023-04-06 一种数据库服务和存储系统及方法
US18/565,436 US12095862B1 (en) 2023-04-06 2023-07-05 Data processing system and method
PCT/CN2023/105956 WO2024207636A1 (zh) 2023-04-06 2023-07-05 一种数据处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310370707.0A CN116107999B (zh) 2023-04-06 2023-04-06 一种数据库服务和存储系统及方法

Publications (2)

Publication Number Publication Date
CN116107999A true CN116107999A (zh) 2023-05-12
CN116107999B CN116107999B (zh) 2023-06-27

Family

ID=86264078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310370707.0A Active CN116107999B (zh) 2023-04-06 2023-04-06 一种数据库服务和存储系统及方法

Country Status (2)

Country Link
CN (1) CN116107999B (zh)
WO (1) WO2024207636A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116436936A (zh) * 2023-06-14 2023-07-14 之江实验室 一种数据存储系统、方法、存储介质及电子设备
US12095862B1 (en) * 2023-04-06 2024-09-17 Zhejiang Lab Data processing system and method
WO2024207636A1 (zh) * 2023-04-06 2024-10-10 之江实验室 一种数据处理系统及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010031303A1 (zh) * 2008-09-18 2010-03-25 中兴通讯股份有限公司 一种业务管理平台下处理多渠道请求订购的方法和装置
CN102243655A (zh) * 2011-06-16 2011-11-16 苏州阔地网络科技有限公司 一种数据库的连接管理方法及装置
DE202014104595U1 (de) * 2013-12-27 2014-11-24 Kaspersky Lab ZAO System und Computerprogrammprodukt zum Auswählen eines synchronen oder asynchronen Interprozesskommunikationsmechanismus
CN106815338A (zh) * 2016-12-25 2017-06-09 北京中海投资管理有限公司 一种大数据的实时存储、处理和查询系统
CN111147308A (zh) * 2019-12-30 2020-05-12 武汉市烽视威科技有限公司 基于微服务架构的网络管理方法和系统
CN111245918A (zh) * 2020-01-07 2020-06-05 微民保险代理有限公司 一种服务请求的传输方法和装置
CN111736809A (zh) * 2020-06-24 2020-10-02 杭州安森智能信息技术有限公司 分布式机器人集群网络管理框架及其实现方法
CN112130910A (zh) * 2020-08-24 2020-12-25 中科可控信息产业有限公司 设备启动方法、装置、计算机设备和存储介质
CN112711628A (zh) * 2020-12-30 2021-04-27 北京楚梵基业科技有限公司 数据交互方法、装置和中台
CN115858129A (zh) * 2022-12-26 2023-03-28 中国电子信息产业集团有限公司第六研究所 一种多进程管理系统、方法、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176801B (zh) * 2019-07-17 2024-04-12 腾讯科技(深圳)有限公司 一种多进程管理方法、装置、设备及存储介质
CN116107999B (zh) * 2023-04-06 2023-06-27 之江实验室 一种数据库服务和存储系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010031303A1 (zh) * 2008-09-18 2010-03-25 中兴通讯股份有限公司 一种业务管理平台下处理多渠道请求订购的方法和装置
CN102243655A (zh) * 2011-06-16 2011-11-16 苏州阔地网络科技有限公司 一种数据库的连接管理方法及装置
DE202014104595U1 (de) * 2013-12-27 2014-11-24 Kaspersky Lab ZAO System und Computerprogrammprodukt zum Auswählen eines synchronen oder asynchronen Interprozesskommunikationsmechanismus
CN106815338A (zh) * 2016-12-25 2017-06-09 北京中海投资管理有限公司 一种大数据的实时存储、处理和查询系统
CN111147308A (zh) * 2019-12-30 2020-05-12 武汉市烽视威科技有限公司 基于微服务架构的网络管理方法和系统
CN111245918A (zh) * 2020-01-07 2020-06-05 微民保险代理有限公司 一种服务请求的传输方法和装置
CN111736809A (zh) * 2020-06-24 2020-10-02 杭州安森智能信息技术有限公司 分布式机器人集群网络管理框架及其实现方法
CN112130910A (zh) * 2020-08-24 2020-12-25 中科可控信息产业有限公司 设备启动方法、装置、计算机设备和存储介质
CN112711628A (zh) * 2020-12-30 2021-04-27 北京楚梵基业科技有限公司 数据交互方法、装置和中台
CN115858129A (zh) * 2022-12-26 2023-03-28 中国电子信息产业集团有限公司第六研究所 一种多进程管理系统、方法、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BRANDON HAYNES等: "VSS: A storage system for viedo analytics", 《ACM》, pages 685 - 696 *
徐婷婷等: "离网型交流微电网能量管理系统研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, no. 08, pages 042 - 428 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12095862B1 (en) * 2023-04-06 2024-09-17 Zhejiang Lab Data processing system and method
US20240340341A1 (en) * 2023-04-06 2024-10-10 Zhejiang Lab Data processing system and method
WO2024207636A1 (zh) * 2023-04-06 2024-10-10 之江实验室 一种数据处理系统及方法
CN116436936A (zh) * 2023-06-14 2023-07-14 之江实验室 一种数据存储系统、方法、存储介质及电子设备
CN116436936B (zh) * 2023-06-14 2023-08-18 之江实验室 一种数据存储系统、方法、存储介质及电子设备

Also Published As

Publication number Publication date
CN116107999B (zh) 2023-06-27
WO2024207636A1 (zh) 2024-10-10

Similar Documents

Publication Publication Date Title
CN116107999B (zh) 一种数据库服务和存储系统及方法
US20080222617A1 (en) Server side application integration framework
CN110875935A (zh) 消息发布、处理、订阅方法、装置及系统
CN113495797B (zh) 一种消息队列及消费者动态创建方法及系统
CN111273965B (zh) 一种容器应用启动方法、系统、装置及电子设备
CN110430255A (zh) 分布式集群中服务请求的处理方法、系统以及电子设备
US10579366B2 (en) Data upgrade framework for distributed systems
CN109977052B (zh) 协议转换方法及应用该方法的系统、介质、芯片与电子设备
CN111355672A (zh) 一种报文转发的方法及装置
CN112181979B (zh) 一种数据更新方法、装置、存储介质及电子设备
WO2024099274A1 (zh) 数据处理方法、设备和存储介质
CN116436936B (zh) 一种数据存储系统、方法、存储介质及电子设备
CN117081904A (zh) 一种网络参数配置方法、装置、存储介质及电子设备
CN106156050A (zh) 一种数据处理方法及装置
CN111796864A (zh) 一种数据校验的方法及装置
US8280950B2 (en) Automatic client-server code generator
CN109842498B (zh) 一种客户端配置方法、服务器、客户端及电子设备
US12095862B1 (en) Data processing system and method
CN115827105A (zh) 一种基于微前端架构的动态加载主子应用的方法
CN109756550B (zh) 一种智能网联驾驶车云通信方法、装置以及系统
CN111163171B (zh) 一种终端设备的远程控制方法以及装置
CN105338025B (zh) 调用组件方法、系统、客户端及集中组件方法和服务器
CN113761400A (zh) 一种访问请求转发方法、装置及设备
CN117093161B (zh) 一种基于光收发芯片的内存管理系统、方法、介质及设备
KR100716169B1 (ko) 네트워크 관리 시스템에서의 메시지 처리 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant