CN113760868A - 数据处理方法、装置及存储服务系统 - Google Patents
数据处理方法、装置及存储服务系统 Download PDFInfo
- Publication number
- CN113760868A CN113760868A CN202111068401.7A CN202111068401A CN113760868A CN 113760868 A CN113760868 A CN 113760868A CN 202111068401 A CN202111068401 A CN 202111068401A CN 113760868 A CN113760868 A CN 113760868A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- storage service
- data operation
- operation request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000005540 biological transmission Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 13
- 238000007726 management method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Abstract
本申请涉及一种数据处理方法、装置及存储服务系统。所述方法应用于客户端,所述方法包括:响应于目标业务应用的数据操作指令,确定与所述目标业务应用相匹配的目标存储服务类型;向所述目标存储服务类型的存储服务端发送数据操作请求,所述数据操作请求用于指示所述存储服务端控制数据库执行所述数据操作请求对应的操作处理。采用本方法能够满足各种业务应用的需求,提高部署的灵活性。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种数据处理方法、装置及存储服务系统。
背景技术
随着计算机技术的飞速发展,业务应用的种类越来越多,业务数据的数据量也越来越大。因此,人们通常会部署数据库的存储服务,以通过数据库存储各业务应用的业务数据。其中,本地部署是常用的部署方式之一,通过本地部署方式,当终端设备需要存储某业务应用的业务数据,终端设备将该业务数据写入到本地部署的数据库中。
然而,上述数据部署方式较为单一,难以满足各种业务应用的需求,部署的灵活性较差。
发明内容
基于此,有必要针对上述技术问题,提供一种能够满足各种业务应用的需求,提高部署的灵活性的数据处理方法、装置及存储服务系统。
第一方面,本申请提供一种数据处理方法,所述方法应用于客户端,所述方法包括:
响应于目标业务应用的数据操作指令,确定与所述目标业务应用相匹配的目标存储服务类型;
向所述目标存储服务类型的存储服务端发送数据操作请求,所述数据操作请求用于指示所述存储服务端控制数据库执行所述数据操作请求对应的操作处理。
在其中一个实施例中,所述响应于目标业务应用的数据操作指令,确定与所述目标业务应用相匹配的目标存储服务类型,包括:
响应于目标业务应用的数据操作指令,确定所述目标业务应用的业务特征;
根据预先存储的业务特征和存储服务类型的对应关系,确定所述目标业务应用的业务特征对应的目标存储服务类型。
在其中一个实施例中,所述向所述目标存储服务类型的存储服务端发送数据操作请求,包括:
确定与所述目标业务应用相匹配的传输协议;
通过所述传输协议向所述目标存储服务类型的存储服务端发送数据操作请求。
第二方面,本申请提供一种数据处理方法,所述方法应用于存储服务端,所述方法包括:
接收客户端发送的目标业务应用的数据操作请求,其中,所述目标业务应用与所述存储服务端的目标存储服务类型相匹配;
解析所述数据操作请求,并控制数据库执行所述数据操作请求对应的操作处理。
在其中一个实施例中,所述控制数据库执行所述数据操作请求对应的操作处理,包括:
通过对象关系映射ORM组件控制数据库执行所述数据操作请求对应的操作处理。
在其中一个实施例中,所述存储服务端支持多种类型的数据库;所述控制数据库执行所述数据操作请求对应的操作处理,包括:
根据所述数据操作请求确定待处理数据的数据类型;
在所述多种类型的数据库中,确定与所述数据类型相匹配的目标数据库,并控制所述目标数据库执行所述数据操作请求对应的操作处理。
第三方面,本申请提供一种存储服务系统,所述存储服务系统包括客户端、存储服务端和数据库;其中,
所述客户端,用于响应于目标业务应用的数据操作指令,确定与所述目标业务应用相匹配的目标存储服务类型;向所述目标存储服务类型的存储服务端发送数据操作请求;
所述存储服务端,用于接收客户端发送的目标业务应用的数据操作请求,解析所述数据操作请求,并控制数据库执行所述数据操作请求对应的操作处理。
在其中一个实施例中,在所述目标存储服务类型为云端部署类型的情况下,所述存储服务端运行于服务器的容器中;所述存储服务系统还包括编排管理工具;
所述编排管理工具,用于在多个所述容器中,确定当前负载状态满足预设轻载条件的目标容器;
运行于所述目标容器的存储服务端,用于解析所述数据操作请求,并控制数据库执行所述数据操作请求对应的操作处理。
第四方面,本申请提供一种数据处理装置,所述装置应用于客户端,所述装置包括:
确定模块,用于响应于目标业务应用的数据操作指令,确定与所述目标业务应用相匹配的目标存储服务类型;
发送模块,用于向所述目标存储服务类型的存储服务端发送数据操作请求,所述数据操作请求用于指示所述存储服务端控制数据库执行所述数据操作请求对应的操作处理。
在其中一个实施例中,所述确定模块,具体用于:
响应于目标业务应用的数据操作指令,确定所述目标业务应用的业务特征;
根据预先存储的业务特征和存储服务类型的对应关系,确定所述目标业务应用的业务特征对应的目标存储服务类型。
在其中一个实施例中,所述发送模块,具体用于:
确定与所述目标业务应用相匹配的传输协议;
通过所述传输协议向所述目标存储服务类型的存储服务端发送数据操作请求。
第五方面,本申请提供一种数据处理装置,所述装置应用于存储服务端,所述装置包括:
接收模块,用于接收客户端发送的目标业务应用的数据操作请求,其中,所述目标业务应用与所述存储服务端的目标存储服务类型相匹配;
控制模块,用于解析所述数据操作请求,并控制数据库执行所述数据操作请求对应的操作处理。
在其中一个实施例中,所述控制模块,具体用于:
通过对象关系映射ORM组件控制数据库执行所述数据操作请求对应的操作处理。
在其中一个实施例中,所述存储服务端支持多种类型的数据库;所述控制模块,具体用于:
根据所述数据操作请求确定待处理数据的数据类型;
在所述多种类型的数据库中,确定与所述数据类型相匹配的目标数据库,并控制所述目标数据库执行所述数据操作请求对应的操作处理。
第六方面,本申请提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
响应于目标业务应用的数据操作指令,确定与所述目标业务应用相匹配的目标存储服务类型;
向所述目标存储服务类型的存储服务端发送数据操作请求,所述数据操作请求用于指示所述存储服务端控制数据库执行所述数据操作请求对应的操作处理。
第七方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面或第二方面的方法步骤。
第八方面,本申请提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现第一方面或第二方面的方法步骤。
第九方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面或第二方面的方法步骤。
上述数据处理方法、装置及存储服务系统,客户端响应于目标业务应用的数据操作指令,确定与目标业务应用相匹配的目标存储服务类型。然后,客户端向目标存储服务类型的存储服务端发送数据操作请求,数据操作请求用于指示存储服务端控制数据库执行数据操作请求对应的操作处理。基于本技术方案,可同时支持本地部署和云端部署,丰富了存储服务的部署方式,从而满足各种类型业务应用的需求。
附图说明
图1为本申请一个实施例中存储服务系统的示意图;
图2为本申请另一个实施例中存储服务系统的示意图;
图3为本申请一个实施例中一种数据处理方法的流程示意图;
图4为本申请一个实施例中确定目标存储服务类型的流程示意图;
图5为本申请一个实施例中发送数据操作请的流程示意图;
图6为本申请另一个实施例中数据处理方法的流程示意图;
图7为本申请一个实施例中数据处理装置的结构框图;
图8为本申请另一个实施例中数据处理装置的结构框图;
图9为本申请一个实施例中计算机设备的内部结构图;
图10为本申请另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的一种数据处理方法,可以应用于如图1所示的存储服务系统中。该存储服务系统可包括客户端102、存储服务端104和数据库106,客户端102通过网络与存储服务端104进行通信,存储服务端104通过网络与数据库106进行通信。其中,客户端102可以但不限于是各种终端(如个人计算机、笔记本电脑、智能手机、平板电脑)和便携式可穿戴设备等。存储服务端104可以用独立的服务器或者是多个服务器组成的服务器集群来实现,数据库106可以是集中式数据库、分布式数据库等。
本申请实施例中,存储服务的部署方式包括本地部署以及云端部署。本地部署可以适用于低并发与低数据量的业务应用场景,或者是不需要与外网通信的业务应用场景;云端部署适用于海量数据高并发的业务应用场景,或者是需要与外网通信的业务应用场景。基于此,可将存储服务端分为本地部署类型的存储服务端,以及云端部署类型的存储服务端。
参照图2,为本申请实施例提供的存储服务系统的示例。该存储服务系统中包含多个客户端110和以及两个部署有存储服务的服务器,分别为服务器1210和服务器1220,其中,服务器1210为云端部署方式下的服务器,该服务器1210中可以运行有多个容器1211,一个存储服务端可以运行于一个容器中。具体的,每个容器1211中均可以存储有云端部署类型的存储服务端1213对应的程序代码,以实现云端的存储服务功能。这样,服务器1210中可以部署有多个存储服务端1213。另外,该服务器1210中还可以包括容器的编排管理工具1212,以便于对容器1211进行控制和管理。云端部署的存储服务端1213可与分布式数据库1310进行通信,从而对分布式数据库1310中的数据进行数据操作。分布式数据库1310中包含有多个数据库1311,多个数据库之间可进行数据同步。服务器1220为本地部署方式下的服务器,该服务器1220中可以存储有本地部署类型的存储服务端1221对应的程序代码,以实现本地的存储服务功能。本地部署的存储服务端1221可与集中式数据库1320进行通信,从而对集中式数据库1320中的数据库文件1321进行数据操作。基于本技术方案,可同时支持本地部署和云端部署,丰富了存储服务的部署方式,从而满足各种类型业务应用的需求。
在一个实施例中,如图3所示,提供了一种数据处理方法,该方法可应用于图1中的客户端,包括以下步骤:
步骤301,响应于目标业务应用的数据操作指令,确定与目标业务应用相匹配的目标存储服务类型。
其中,目标存储服务类型为本地部署类型或云端部署类型。
在实施中,客户端可以运行多种业务应用,例如,在医疗场景下,可以运行假体库应用、心电数据应用、病人信息应用、医疗设备应用等。这些业务应用在使用过程中,会产生数据操作指令。客户端可以分别与运行有不同部署方式的存储服务的存储服务端进行通信,因此,客户端获取到某一业务应用(可称为目标业务应用)的数据操作指令后,可以在各存储服务类型中,确定与目标业务应用相匹配的存储服务类型(可称为目标存储服务类型)。在一个示例中,客户端中可以存储有业务应用和存储服务类型的对应关系,客户端可以根据该对应关系,确定目标业务应用对应的目标存储服务类型。
其中,数据操作指令可以是用户在业务应用中进行操作产生的,也可以是客户端根据预设的处理策略进行接口调用自动产生的,数据操作指令可以包括但不限于读指令、写指令、删除指令、修改指令等。存储服务类型可以包括本地部署类型以及云端部署类型。
步骤302,向目标存储服务类型的存储服务端发送数据操作请求,该数据操作请求用于指示存储服务端控制数据库执行数据操作请求对应的操作处理。
在实施中,客户端确定出目标业务应用对应的目标存储服务类型后,可以通过预设的传输协议向目标存储服务类型的存储服务端发送数据操作请求,以使存储服务端根据该数据操作指令,执行对应的操作处理。
本申请实施例中,客户端响应于目标业务应用的数据操作指令,确定与目标业务应用相匹配的目标存储服务类型;其中,目标存储服务类型为本地部署类型或云端部署类型。客户端可以向目标存储服务类型的存储服务端发送数据操作请求,数据操作请求用于指示存储服务端控制数据库执行数据操作请求对应的操作处理。基于本技术方案,可同时支持本地部署和云端部署,丰富了存储服务的部署方式,从而满足各种类型业务应用的需求。
另外,本申请实施例中,存储服务系统的代码均可采用跨平台编译方式进行交叉编译,跨平台编译工具可以包括makefile、CMake编译工具等,这样,存储服务系统可支持Window和Linux跨平台服务。
如图4所示,步骤301中确定目标存储服务类型的具体过程,包括:
步骤401,响应于目标业务应用的数据操作指令,确定目标业务应用的业务特征。
在实施中,客户端在接收到针对目标业务应用的数据操作指令后,可以确定目标业务应用的业务特征。业务特征可以包括网络特征和数据流量特征,其中,网络特征表示业务应用的各机群是否部署在同一局域网内;数据流量特征可以表示业务应用的数据流量和并发量的大小。具体的,客户端中可以预先存储有业务应用和业务特征的对应关系,客户端可以在该对应关系中,查询目标业务应用对应的业务特征。
步骤402,根据预先存储的业务特征和存储服务类型的对应关系,确定目标业务应用的业务特征对应的目标存储服务类型。
在实施中,客户端中还可以存储有业务特征和存储服务类型的对应关系,该对应关系可由技术人员根据实际业务需求进行设置。这样,客户端可以在该对应关系中查询目标业务应用的业务特征对应的存储服务类型(即目标存储服务类型)。
在一个示例中,若业务应用的数据采集设备部署在不同的局域网内,则对应的存储服务类型为云端部署类型;若业务应用的数据采集设备部署在一个局域网,则对应的存储服务类型为本地部署类型。例如,假体库的数据通常由一个指定设备进行采集,可采用本地部署类型;病人信息应用的数据通常由不同地理位置的医院设备进行采集,可采用云端部署类型。
在另一个示例中,若业务应用的数据流量和并发量较大,则对应的存储服务类型为云端部署类型;若业务应用的数据流量和并发量较小,则对应的存储服务类型为本地部署类型。例如,医疗设备应用的数据量较小、并发量小,可采用本地部署类型;病人信息应用的数据量较大、并发量大,可采用云端部署类型。
可选的,云端部署类型下的数据库(如分布式数据库)与本地部署类型下的数据库(如集中式数据库)之间可以通过数据库中间件进行数据传输。在某业务应用的业务特征发生变化的情况下,可以通过数据库中间件将两个数据库之间的数据进行传输,以改变该业务应用对应的存储服务类型。例如,病人信息应用对应的存储服务类型为本地部署类型,在病人信息量增大到一定数据量后,通过数据库中间件将集中式数据库中,病人信息应用的数据传输到分布式数据库中,并将病人信息应用对应的存储服务类型变更为云端部署类型。
可选的,客户端还可以实现不同的跨进程通信方式,如图5所示,具体过程为:
步骤501,确定与目标业务应用相匹配的传输协议。
在实施中,客户端可以确定与目标业务应用相匹配的传输协议。具体的,各业务应用所采用的传输协议可以由技术人员在业务应用中预先设定,客户端则可以根据各业务应用中设定的传输协议,建立各业务应用和传输协议的对应关系。客户端可以根据该对应关系,确定目标业务应用对应的传输协议(即与目标业务应用相匹配的传输协议)。
在一个示例中,针对本地部署类型,可采用TCP(Transmission ControlProtocol,传输控制协议)或UDP(User Datagram Protoco,用户数据报协议)协议进行传输。其中,某些业务数据传输(比如文件类型的数据)对效率要求相对低,但对准确性要求相对高,如医疗文件、医疗邮件等数据,可采用TCP协议进行数据传输。某些业务数据(比如视频类型的数据)对效率要求相对高,对准确性要求相对低,如医疗视频,可采用UDP协议进行数据传输。其中,通常情况下可采用TCP协议进行传输。
针对云端部署类型,可采用Restful API(Application Programming Interface,应用程序接口)协议或websocket协议进行数据传输。websocket协议是基于TCP的协议,由传输协议和编程API组成,能够在客户端中的浏览器(如病人信息应用)和存储服务端之间建立双向连接,以基于事件的方式,赋予浏览器实时通信能力。即websocket协议可适用于需要高实时的场景。存储服务端可以主动向客户端推送信息,客户端也可以主动向存储服务端发送信息。websocket协议适用于比较轻量,性能开销小,通信高效的类型的数据(如通信消息类型的数据)。Restful API可适用于浏览器类型的数据,能够简化软件需求,并且相对于其他叠加在HTTP(Hyper Text Transfer Protocol,超文本传输协议)协议之上的机制,Restful API的软件依赖性更小,在软件技术演进中的长期的兼容性更好,可适用于各种类型的数据。
可选的,客户端中也可以存储各业务应用对应的业务数据类型(如视频类型、文件类型、通信消息类型等),客户端中可以存储有业务数据类型、存储服务类型和传输协议的三者对应关系,客户端根据目标业务应用对应的业务数据类型以及目标存储服务类型,从上述三者对应关系中,查询与目标业务应用相匹配的传输协议。
本方案中,客户端可支持多种传输协议,提高了客户端与业务应用的适配性和兼容性。
步骤502,通过传输协议向目标存储服务类型的存储服务端发送数据操作请求。
在实施中,客户端确定传输协议后,可通过该传输协议向目标存储服务类型的存储服务端发送数据操作请求。
本方案中即客户端可通过Restful ApI、WebSockect、TCP、UDP等不同的协议与存储服务端进行通信,实现了跨进程通信方式,方便客户端与存储服务端进行通信连接。
如图6所示,提供了一种数据处理方法,该方法可应用于图1中的存储服务端,包括以下步骤:
步骤601,接收客户端发送的目标业务应用的数据操作请求。
其中,目标业务应用与存储服务端的目标存储服务类型相匹配,目标存储服务类型为本地部署类型或云端部署类型。
在实施中,存储服务端可以接收客户端发送的目标业务应用的数据操作请求。由于客户端在接收到目标业务应用的数据操作指令后,先确定与目标业务应用相匹配的目标存储服务类型,然后再向目标存储服务类型的存储服务端发送数据操作请求,因此,存储服务端接收到的数据操作请求,是均是与自身的存储服务类型相匹配的目标业务应用的数据操作请求。
步骤602,解析数据操作请求,并控制数据库执行数据操作请求对应的操作处理。
在实施中,存储服务端可以与其对应的数据库进行通信。其中,本地部署类型的存储服务端对应的数据库通常为集中式数据库;云端部署类型的存储服务端对应的数据库通常为分布式数据库。存储服务端在接收到数据操作请求后,可以解析该数据操作请求,得到该数据操作请求携带的操作信息。操作信息可以包括操作类型(如读操作或写操作)、待写入的数据、待读取数据的标识等,本申请实施例不做限定。存储服务端可以根据操作信息,控制数据库执行数据操作请求对应的操作处理。
本申请实施例中,存储服务端接收客户端发送的目标业务应用的数据操作请求,其中,目标业务应用与存储服务端的目标存储服务类型相匹配,目标存储服务类型为本地部署类型或云端部署类型。然后,解析数据操作请求,并控制数据库执行数据操作请求对应的操作处理。基于本技术方案中的存储服务端,可支持本地部署和云端部署,丰富了存储服务的部署方式,从而满足各种类型业务应用的需求。
可选的,步骤602的具体处理过程为:通过ORM(Object Relation Mapping,对象关系映射)组件控制数据库执行数据操作请求对应的操作处理。
在实施中,存储服务端中还可以集成有ORM组件,存储服务端可通过ORM组件对数据库进行控制与管理。ORM组件是用于实现面向对象编程语言里不同类型系统的数据之间的转换,即,用面向对象的方式去操作数据库表的增删改查等操作。通过ORM组件可使得存储服务端与数据库交互变得简单易行,无需考虑SQL(Structured Query Language,结构化查询语言)语句,可以避免一些通过SQL语句进行查询带来的性能和效率低下的问题。另外,ORM组件能够支持存储服务端与多种类型的数据库通信,比如SQLite、MySQL、PostgreSQL、Oracle、Ms SQL Server、MongoDB等等,从而满足不同业务应用的数据存储的需求。
可选的,控制数据库执行数据操作请求对应的操作处理的具体过程,包括:根据数据操作请求确定待处理数据的数据类型;在多种类型的数据库中,确定与数据类型相匹配的目标数据库,并控制目标数据库执行数据操作请求对应的操作处理。
如上所述,存储服务端可支持多种类型的数据库。这样,对于不同类型的业务应用,可以根据该业务应用的数据存储需求,将该业务应用的业务数据存储到与之相匹配的数据库中,从而满足各种业务应用的数据存储的需求。
存储服务端中可以预先存储有数据库选择策略,当存储服务端接收到目标业务应用的数据操作请求后,先根据数据操作请求确定待处理数据的数据类型,然后根据数据库选择策略,在多种类型的数据库中,确定与该数据类型相匹配的数据库(即目标数据库),进而通过ORM组件控制目标数据库执行该数据操作请求对应的操作处理。例如,数据类型包含结构化类型和非结构化类型,可以将结构化类型的数据(即结构化数据)存储在结构化数据库中,将非结构化类型的数据(即非结构化数据)存储在非结构化数据库中。可以理解的是,一个业务应用通常对应一种类型的数据库。
可选的,参见图2,在目标存储服务类型为云端部署类型的情况下,云端部署中的服务器可采用Linux服务器,存储服务端可运行于服务器的容器中。具体的,存储服务端运行所依赖的数据(包含数据库存储服务的安装包、以及存储服务程序上的其他依赖库文件)可部署到不同的容器中。各容器会发布到该Linux服务器上,该Linux服务器可看作是容器集群。这样,部署在同一台服务器上的多个容器相互独立运行,互不干扰。
编排管理工具可以作为容器集群管理平台,对容器进行了编排、管理和调度,还可以实现容器集群的自动化部署、自动扩缩容等功能。编排管理工具可以采用Kubernetes(简称K8S)、容器平台、微软AKS服务、微软ASF、Google GKE和Amazon EKS等。以K8S为例,K8S的编排软件会监控容器的部署状态以及应用程序运行状态,如果一个容器出现故障,K8S会自动启动一个新的容器实现存储服务。
基于上述存储服务系统,上述方法还包括:通过编排管理工具在多个容器中,确定当前负载状态满足预设轻载条件的目标容器。相应的,步骤602的处理过程为:通过运行于目标容器的存储服务端解析数据操作请求,并控制数据库执行数据操作请求对应的操作处理。
在实施中,编排管理工具可以实时获取存储服务端中每个容器的负载状态,该负载状态可以是资源利用率、待处理任务数量等。在接收到数据操作请求后,编排管理工具可以在多个容器中,确定当前负载状态满足预设轻载条件的目标容器,然后通过运行于目标容器的存储服务端解析数据操作请求,并控制数据库执行数据操作请求对应的操作处理。其中,预设轻载条件可以是容器的资源使用率小于预设阈值。
可选的,若满足预设轻载条件的容器数据为多个,则可以在这些容器中随机选择一个容器作为目标容器,或者,可以将资源使用率最低的容器作为目标容器。
这样,可以通过负载较轻的容器对数据操作请求,能够在实现负载均衡的同时,提高数据操作请求的处理效率。
应该理解的是,虽然图3-6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图3-6中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图7所示,提供了一种数据处理装置,该装置应用于客户端,该装置包括:确定模块710和发送模块720,其中:
确定模块710,用于响应于目标业务应用的数据操作指令,确定与所述目标业务应用相匹配的目标存储服务类型;其中,目标存储服务类型为本地部署类型或云端部署类型;
发送模块720,用于向目标存储服务类型的存储服务端发送数据操作请求,数据操作请求用于指示存储服务端控制数据库执行数据操作请求对应的操作处理。
在其中一个实施例中,确定模块710,具体用于:
响应于目标业务应用的数据操作指令,确定目标业务应用的业务特征;
根据预先存储的业务特征和存储服务类型的对应关系,确定目标业务应用的业务特征对应的目标存储服务类型。
在其中一个实施例中,发送模块720,具体用于:
确定与目标业务应用相匹配的传输协议;
通过传输协议向目标存储服务类型的存储服务端发送数据操作请求。
在一个实施例中,如图8所示,提供了一种数据处理装置,该装置应用于存储服务端,该装置包括:接收模块810和控制模块820,其中:
接收模块810,用于接收客户端发送的目标业务应用的数据操作请求,其中,目标业务应用与存储服务端的目标存储服务类型相匹配,目标存储服务类型为本地部署类型或云端部署类型;
控制模块820,用于解析数据操作请求,并控制数据库执行数据操作请求对应的操作处理。
在其中一个实施例中,控制模块820,具体用于:
通过对象关系映射ORM组件控制数据库执行数据操作请求对应的操作处理。
在其中一个实施例中,存储服务端支持多种类型的数据库;控制模块820,具体用于:
根据数据操作请求确定待处理数据的数据类型;
在多种类型的数据库中,确定与数据类型相匹配的目标数据库,并控制目标数据库执行数据操作请求对应的操作处理。
关于数据处理装置的具体限定可以参见上文中对于数据处理方法的限定,在此不再赘述。上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种存储服务系统,存储服务系统包括客户端、存储服务端和数据库,存储服务端包括本地部署类型的存储服务端和云端部署类型的存储服务端;其中,
客户端,用于响应于目标业务应用的数据操作指令,确定与目标业务应用相匹配的目标存储服务类型;其中,目标存储服务类型为本地部署类型或云端部署类型;向目标存储服务类型的存储服务端发送数据操作请求;
存储服务端,用于接收客户端发送的目标业务应用的数据操作请求,解析数据操作请求,并控制数据库执行数据操作请求对应的操作处理。
在其中一个实施例中,在所述目标存储服务类型为云端部署类型的情况下,所述存储服务端运行于服务器的容器中;所述存储服务系统还包括编排管理工具;
所述编排管理工具,用于在多个所述容器中,确定当前负载状态满足预设轻载条件的目标容器;
运行于所述目标容器的存储服务端,用于解析所述数据操作请求,并控制数据库执行所述数据操作请求对应的操作处理。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据处理方法,其特征在于,所述方法应用于客户端,所述方法包括:
响应于目标业务应用的数据操作指令,确定与所述目标业务应用相匹配的目标存储服务类型;
向所述目标存储服务类型的存储服务端发送数据操作请求,所述数据操作请求用于指示所述存储服务端控制数据库执行所述数据操作请求对应的操作处理。
2.根据权利要求1所述的方法,其特征在于,所述响应于目标业务应用的数据操作指令,确定与所述目标业务应用相匹配的目标存储服务类型,包括:
响应于目标业务应用的数据操作指令,确定所述目标业务应用的业务特征;
根据预先存储的业务特征和存储服务类型的对应关系,确定所述目标业务应用的业务特征对应的目标存储服务类型。
3.根据权利要求1或2所述的方法,其特征在于,所述向所述目标存储服务类型的存储服务端发送数据操作请求,包括:
确定与所述目标业务应用相匹配的传输协议;
通过所述传输协议向所述目标存储服务类型的存储服务端发送数据操作请求。
4.一种数据处理方法,其特征在于,所述方法应用于存储服务端,所述方法包括:
接收客户端发送的目标业务应用的数据操作请求,其中,所述目标业务应用与所述存储服务端的目标存储服务类型相匹配;
解析所述数据操作请求,并控制数据库执行所述数据操作请求对应的操作处理。
5.根据权利要求4所述的方法,其特征在于,所述控制数据库执行所述数据操作请求对应的操作处理,包括:
通过对象关系映射组件控制数据库执行所述数据操作请求对应的操作处理。
6.根据权利要求4所述的方法,其特征在于,所述存储服务端与多种类型的数据库连接;所述控制数据库执行所述数据操作请求对应的操作处理,包括:
根据所述数据操作请求确定待处理数据的数据类型;
在所述多种类型的数据库中,确定与所述数据类型相匹配的目标数据库,并控制所述目标数据库执行所述数据操作请求对应的操作处理。
7.一种数据处理装置,其特征在于,所述装置应用于客户端,所述装置包括:
确定模块,用于响应于目标业务应用的数据操作指令,确定与所述目标业务应用相匹配的目标存储服务类型;
发送模块,用于向所述目标存储服务类型的存储服务端发送数据操作请求,所述数据操作请求用于指示所述存储服务端控制数据库执行所述数据操作请求对应的操作处理。
8.一种数据处理装置,其特征在于,所述装置应用于存储服务端,所述装置包括:
接收模块,用于接收客户端发送的目标业务应用的数据操作请求,其中,所述目标业务应用与所述存储服务端的目标存储服务类型相匹配;
控制模块,用于解析所述数据操作请求,并控制数据库执行所述数据操作请求对应的操作处理。
9.一种存储服务系统,其特征在于,所述存储服务系统包括客户端、存储服务端和数据库;其中,
所述客户端,用于响应于目标业务应用的数据操作指令,确定与所述目标业务应用相匹配的目标存储服务类型;向所述目标存储服务类型的存储服务端发送数据操作请求;
所述存储服务端,用于接收客户端发送的目标业务应用的数据操作请求,解析所述数据操作请求,并控制数据库执行所述数据操作请求对应的操作处理。
10.根据权利要求9所述的存储服务系统,其特征在于,在所述目标存储服务类型为云端部署类型的情况下,所述存储服务端运行于服务器的容器中;所述存储服务系统还包括编排管理工具;
所述编排管理工具,用于在多个所述容器中,确定当前负载状态满足预设轻载条件的目标容器;
运行于所述目标容器的存储服务端,用于解析所述数据操作请求,并控制数据库执行所述数据操作请求对应的操作处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111068401.7A CN113760868A (zh) | 2021-09-13 | 2021-09-13 | 数据处理方法、装置及存储服务系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111068401.7A CN113760868A (zh) | 2021-09-13 | 2021-09-13 | 数据处理方法、装置及存储服务系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113760868A true CN113760868A (zh) | 2021-12-07 |
Family
ID=78795146
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111068401.7A Pending CN113760868A (zh) | 2021-09-13 | 2021-09-13 | 数据处理方法、装置及存储服务系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113760868A (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105959138A (zh) * | 2016-04-29 | 2016-09-21 | 深圳前海大数点科技有限公司 | 基于云计算的微服务动态部署的系统及方法 |
CN108733787A (zh) * | 2018-05-11 | 2018-11-02 | 中国平安人寿保险股份有限公司 | 数据库操作方法、装置、电子设备及存储介质 |
CN109995677A (zh) * | 2018-01-02 | 2019-07-09 | 中国移动通信有限公司研究院 | 资源分配方法、装置及存储介质 |
CN111736775A (zh) * | 2020-06-22 | 2020-10-02 | 平安医疗健康管理股份有限公司 | 多源存储方法、装置、计算机系统及存储介质 |
CN111737009A (zh) * | 2020-07-28 | 2020-10-02 | 北京千丁互联科技有限公司 | 本地端与云端计算分配方法、装置和本地服务器 |
CN112256488A (zh) * | 2020-11-16 | 2021-01-22 | 广州速威智能系统科技有限公司 | 云端数据的获取方法和装置、云端服务的数据存储架构 |
CN112416877A (zh) * | 2020-11-24 | 2021-02-26 | 武汉联影医疗科技有限公司 | 医疗数据存储方法、装置、计算机设备和存储介质 |
CN112769837A (zh) * | 2021-01-13 | 2021-05-07 | 北京洛塔信息技术有限公司 | 基于WebSocket的通信传输方法、装置、设备、系统及存储介质 |
CN112835524A (zh) * | 2021-02-04 | 2021-05-25 | 中国工商银行股份有限公司 | 存储资源配置方法、存储资源控制器及调度系统 |
CN113296798A (zh) * | 2021-05-31 | 2021-08-24 | 腾讯科技(深圳)有限公司 | 一种服务部署方法、装置及可读存储介质 |
-
2021
- 2021-09-13 CN CN202111068401.7A patent/CN113760868A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105959138A (zh) * | 2016-04-29 | 2016-09-21 | 深圳前海大数点科技有限公司 | 基于云计算的微服务动态部署的系统及方法 |
CN109995677A (zh) * | 2018-01-02 | 2019-07-09 | 中国移动通信有限公司研究院 | 资源分配方法、装置及存储介质 |
CN108733787A (zh) * | 2018-05-11 | 2018-11-02 | 中国平安人寿保险股份有限公司 | 数据库操作方法、装置、电子设备及存储介质 |
CN111736775A (zh) * | 2020-06-22 | 2020-10-02 | 平安医疗健康管理股份有限公司 | 多源存储方法、装置、计算机系统及存储介质 |
CN111737009A (zh) * | 2020-07-28 | 2020-10-02 | 北京千丁互联科技有限公司 | 本地端与云端计算分配方法、装置和本地服务器 |
CN112256488A (zh) * | 2020-11-16 | 2021-01-22 | 广州速威智能系统科技有限公司 | 云端数据的获取方法和装置、云端服务的数据存储架构 |
CN112416877A (zh) * | 2020-11-24 | 2021-02-26 | 武汉联影医疗科技有限公司 | 医疗数据存储方法、装置、计算机设备和存储介质 |
CN112769837A (zh) * | 2021-01-13 | 2021-05-07 | 北京洛塔信息技术有限公司 | 基于WebSocket的通信传输方法、装置、设备、系统及存储介质 |
CN112835524A (zh) * | 2021-02-04 | 2021-05-25 | 中国工商银行股份有限公司 | 存储资源配置方法、存储资源控制器及调度系统 |
CN113296798A (zh) * | 2021-05-31 | 2021-08-24 | 腾讯科技(深圳)有限公司 | 一种服务部署方法、装置及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11146502B2 (en) | Method and apparatus for allocating resource | |
CN109976667B (zh) | 一种镜像管理方法、装置及系统 | |
WO2021142609A1 (zh) | 信息上报方法、装置、设备和存储介质 | |
US10949254B2 (en) | Systems and methods for scheduling tasks | |
US10528872B2 (en) | Methods and system for managing predictive models | |
US20130073600A1 (en) | Remote process execution management | |
WO2017167121A1 (zh) | 确定及运用应用程序之间的关系关联的方法及装置 | |
CN110704177B (zh) | 计算任务处理方法、装置、计算机设备和存储介质 | |
CN112507263B (zh) | 页面加载更新方法、装置、电子设备及存储介质 | |
CN111159265B (zh) | 一种etl数据迁移方法和系统 | |
CN110888658B (zh) | 应用程序中功能模块的动态化方法、装置及存储介质 | |
CN113590433B (zh) | 数据管理方法、数据管理系统和计算机可读存储介质 | |
JP2005228183A (ja) | プログラム実行方法、および、プログラム実行のための計算機システム | |
CN111885184A (zh) | 高并发场景下热点访问关键字处理方法和装置 | |
CN114928562B (zh) | 一种图计算平台的流量处理方法和系统 | |
CN113760868A (zh) | 数据处理方法、装置及存储服务系统 | |
CN112688980B (zh) | 资源分发方法、装置、计算机设备 | |
CN114924888A (zh) | 资源配置方法、数据处理方法、装置、设备和存储介质 | |
CN114567571A (zh) | 性能测试方法、装置、电子设备和计算机可读存储介质 | |
CN114860203A (zh) | 项目创建方法、装置、服务器及存储介质 | |
CN113472638A (zh) | 边缘网关控制方法及系统、装置、电子设备、存储介质 | |
CN113271228A (zh) | 带宽资源调度方法、装置、设备及计算机可读存储介质 | |
CN114968216A (zh) | 应用程序开发工程生成方法和装置 | |
CN113296913A (zh) | 基于单集群的数据处理方法、装置、设备及存储介质 | |
CN111176715A (zh) | 一种信息调用方法及服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |