CN109542961B - 数据存储方法、装置、计算机设备和存储介质 - Google Patents
数据存储方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109542961B CN109542961B CN201811224553.XA CN201811224553A CN109542961B CN 109542961 B CN109542961 B CN 109542961B CN 201811224553 A CN201811224553 A CN 201811224553A CN 109542961 B CN109542961 B CN 109542961B
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- stored
- database
- storage unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000004590 computer program Methods 0.000 claims description 28
- 238000012790 confirmation Methods 0.000 claims description 27
- 238000007726 management method Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000007547 defect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010926 purge Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据存储方法、装置、计算机设备和存储介质。所述方法包括:接收终端发送的数据存储请求,所述数据存储请求携带待存储数据和数据库标识;查找与所述数据库标识对应的第一数据库;检测所述第一数据库的剩余存储空间是否达到阈值,若所述第一数据库的剩余存储空间达到阈值,获取所述待存储数据的数据类型;根据所述数据类型,确定所述待存储数据的存储级别;按照存储级别,将所述待存储数据存储至第二数据库中与所述存储级别对应的存储单元中。本方法基于分布存储技术,将待存储数据分类存储至第二数据库中与存储级别对应的存储单元中,可以提高服务器的数据存储稳定性。
Description
技术领域
本申请涉及数据处理技术领域,特别是涉及一种数据存储方法、装置、计算机设备和存储介质。
背景技术
随着互联网技术的快速发展,越来越多的业务都由各自的服务器提供服务,导致服务器需要承载的数据非常庞大,为了保证服务器能够稳定运行,需要通过服务器内存进行存储。
然而,目前的服务器内存存储组件的内存是有限的,比如Redis内存存储组件。而且,当出现大量数据存储请求时,服务器很容易出现内存耗尽问题,同时无法轻易被发现,从而引起不可预知的后果,导致服务器存储数据的稳定性下降。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高服务器存储数据的稳定性的数据存储方法、装置、计算机设备和存储介质。
一种数据存储方法,所述方法包括:
接收终端发送的数据存储请求,所述数据存储请求携带待存储数据和数据库标识;
查找与所述数据库标识对应的第一数据库;
检测所述第一数据库的剩余存储空间是否达到阈值,若所述第一数据库的剩余存储空间达到阈值,获取所述待存储数据的数据类型;
根据所述数据类型,确定所述待存储数据的存储级别;
按照存储级别,将所述待存储数据存储至第二数据库中与所述存储级别对应的存储单元中。
在其中一个实施例中,所述按照存储级别,将所述待存储数据存储至第二数据库中与所述存储级别对应的存储单元中,包括:
获取第二数据库中多个存储单元的存储级别;
确定第二数据库中与所述待存储数据的存储级别对应的存储单元;
若所述存储单元的剩余存储空间没有达到对应的阈值,将所述待存储数据存储至所述存储单元中。
在其中一个实施例中,在确定第二数据库中与所述待存储数据的存储级别对应的存储单元之后,还包括:
若所述存储单元的剩余存储空间达到对应的阈值,将所述存储单元进行标记;
根据所述待存储数据生成数据调用请求,将所述数据调用请求发送至目标服务器,所述数据调用请求用于将所述待存储数据存储至目标服务器的存储单元中。
在其中一个实施例中,在按照存储级别,将所述待存储数据存储至第二数据库中与所述存储级别对应的存储单元中之后,还包括:
根据预设频率,从所述第二数据库中查找被标记的存储单元;
获取预设清除指令,根据所述预设清除指令清除各个被标记的存储单元中存储的数据,以释放所述存储单元的存储空间。
在其中一个实施例中,所述方法还包括:
根据所述第二数据库中与所述存储级别对应的存储单元,确定所述待存储数据的存储地址;
根据所述存储地址,生成所述待存储数据的确认返回信息,将所述待存储数据的确认返回信息发送至对应的终端,所述确认返回信息用于触发所述终端将所述待存储数据标记为已存储,并添加对应的存储地址。
在其中一个实施例中,所述方法还包括:
检测终端发送的数据读取请求,所述数据读取请求携带待读取数据的存储地址和数据标识;
若检测到终端发送的数据读取请求,在所述存储地址对应的存储单元中获取与所述数据标识对应的待读取数据;
将获取的待读取数据发送至对应的终端。
在其中一个实施例中,所述方法还包括:
将待存储数据的存储结果发送至管理服务器;所述存储结果用于触发所述管理服务器在预设时间范围内确定数据存储成功率,并返回相应的指令;
若接收到所述管理服务器返回的指令为关闭指令,则进入关闭状态。
一种数据存储装置,所述装置包括:
请求接收模块,用于接收终端发送的数据存储请求,所述数据存储请求携带待存储数据和数据库标识;
数据库查找模块,用于查找与所述数据库标识对应的第一数据库;
数据库检测模块,用于检测所述第一数据库的剩余存储空间是否达到阈值,若所述第一数据库的剩余存储空间达到阈值,获取所述待存储数据的数据类型;
级别确定模块,用于根据所述数据类型,确定所述待存储数据的存储级别;
数据存储模块,用于按照存储级别,将所述待存储数据存储至第二数据库中与所述存储级别对应的存储单元中。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
接收终端发送的数据存储请求,所述数据存储请求携带待存储数据和数据库标识;
查找与所述数据库标识对应的第一数据库;
检测所述第一数据库的剩余存储空间是否达到阈值,若所述第一数据库的剩余存储空间达到阈值,获取所述待存储数据的数据类型;
根据所述数据类型,确定所述待存储数据的存储级别;
按照存储级别,将所述待存储数据存储至第二数据库中与所述存储级别对应的存储单元中。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
接收终端发送的数据存储请求,所述数据存储请求携带待存储数据和数据库标识;
查找与所述数据库标识对应的第一数据库;
检测所述第一数据库的剩余存储空间是否达到阈值,若所述第一数据库的剩余存储空间达到阈值,获取所述待存储数据的数据类型;
根据所述数据类型,确定所述待存储数据的存储级别;
按照存储级别,将所述待存储数据存储至第二数据库中与所述存储级别对应的存储单元中。
上述数据存储方法、装置、计算机设备和存储介质,服务器接收终端发送的数据存储请求,根据数据存储请求检测与数据库标识对应的第一数据库,在第一数据库的剩余存储空间达到阈值时,根据待存储数据的数据类型,确定待存储数据的存储级别,并按照存储级别,将待存储数据存储至第二数据库中与存储级别对应的存储单元中,可以避免第一数据库内存耗尽而无法存储数据,从而引起不可预估的后果的问题,从而提高了服务器的数据存储稳定性;同时将待存储数据按照存储级别,分类存储至第二数据库中与存储级别对应的存储单元中,可以缓解服务器的数据存储压力,避免了数据丢失,进一步提高了服务器的数据存储稳定性,同时兼顾了服务器性能,避免服务器内存耗尽而影响服务器性能的缺陷。
附图说明
图1为一个实施例中数据存储方法的应用场景图;
图2为一个实施例中数据存储方法的流程示意图;
图3为一个实施例中将待存储数据存储至第二数据库中的步骤的流程示意图;
图4为另一个实施例中数据存储方法的流程示意图;
图5为一个实施例中数据存储装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的数据存储方法,可以应用于如图1所示的应用环境中。其中,终端110与服务器120通过网络进行通信。终端110检测到用户选择待存储数据的触发操作,生成对应的数据存储请求,并将数据存储请求发送至第一服务器120。服务器120解析数据存储请求,得到待存储数据和数据库标识;查找与所述数据库标识对应的第一数据库,并检测第一数据库的剩余存储空间是否达到阈值,若第一数据库的剩余存储空间达到阈值,获取待存储数据的数据类型;根据待存储数据的数据类型,确定待存储数据的存储级别;按照存储级别,将待存储数据存储至第二数据库中与所述存储级别对应的存储单元中。其中,终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种数据存储方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤S201,接收终端发送的数据存储请求,数据存储请求携带待存储数据和数据库标识。
待存储数据是指终端操作界面上,被触发存储至服务器内存中的数据;比如笔记本电脑中的业务数据操作界面上,被触发存储至业务服务器内存中的业务数据,具体本申请不做限定。
终端检测到用户在操作界面上对待存储数据的选中操作,解析选中操作,生成对应的数据存储请求,并将数据存储请求发送至服务器。数据存储请求除了携带用户选中的待存储数据,还携带服务器中存储待存储数据的数据库所对应的数据库标识。服务器接收终端发送的数据存储请求,根据数据存储请求,获取待存储数据和数据库标识。
步骤S202,查找与数据库标识对应的第一数据库。
第一数据库是服务器中,基于内存存储待存储数据的数据库,比如Redis数据库;且第一数据库的存储空间是有限的。服务器根据终端发送的数据存储请求,查找与数据库标识对应的数据库,方便后续检测第一数据库的剩余存储空间是否达到阈值。
步骤S203,检测第一数据库的剩余存储空间是否达到阈值,若第一数据库的剩余存储空间达到阈值,获取待存储数据的数据类型。
服务器检测查找到的第一数据库的剩余存储空间是否达到阈值,若检测到第一数据库的剩余存储空间达到阈值,则根据待存储数据的数据内容,获取与数据内容对应的数据类型,作为待存储数据的数据类型。
步骤S204,根据数据类型,确定待存储数据的存储级别。
服务器基于大数据,获取第一数据库中存储的历史数据,根据历史数据的重要性,确定历史数据的存储级别;结合历史数据的数据类型,建立数据类型与存储级别的对应关系。那么,服务器再次存储待存储数据时,可以根据待存储数据的数据类型,查询建立的数据类型与存储级别的对应关系,确定待存储数据的存储级别,方便后续按照存储级别,将待存储数据进行分类存储,以缓解服务器的数据存储压力,从而提高了服务器的数据存储稳定性。
步骤S205,按照存储级别,将待存储数据存储至第二数据库中与存储级别对应的存储单元中。
第二数据库是服务器中,基于硬盘存储待存储数据的数据库,比如SSDB数据库;且第二数据库的存储空间是可以扩展的。第二数据库中包含多个存储单元,存储单元的存储级别与待存储数据的存储级别是一一对应的。
服务器获取第二数据库中多个存储单元的存储级别,按照待存储数据的存储级别,将待存储数据分类存储至第二数据库中与待存储数据的存储级别对应的存储单元中,避免了第一数据库内存耗尽而无法存储数据,从而引起不可预估的后果的问题;防止了数据丢失,从而提高了服务器的数据存储稳定性,同时克服了服务器内存耗尽而影响服务器性能的缺陷。
上述数据存储方法中,服务器接收终端发送的数据存储请求,根据数据存储请求检测与数据库标识对应的第一数据库,在第一数据库的剩余存储空间达到阈值时,根据待存储数据的数据类型,确定待存储数据的存储级别,并按照存储级别,将待存储数据存储至第二数据库中与存储级别对应的存储单元中,可以避免第一数据库内存耗尽而无法存储数据,从而引起不可预估的后果的问题,而且提高了服务器的数据存储稳定性;同时将待存储数据按照存储级别,分类存储至第二数据库中与存储级别对应的存储单元中,可以缓解服务器的数据存储压力,避免了数据丢失,进一步提高了服务器的数据存储稳定性,同时兼顾了服务器性能,避免服务器内存耗尽而影响服务器性能的缺陷。
在一个实施例中,如图3所示,按照存储级别,将待存储数据存储至第二数据库中与存储级别对应的存储单元中的步骤具体包括:
步骤S301,获取第二数据库中多个存储单元的存储级别。
步骤S302,确定第二数据库中与待存储数据的存储级别对应的存储单元。
步骤S303,若存储单元的剩余存储空间没有达到对应的阈值,将待存储数据存储至存储单元中。
每个存储单元的剩余存储空间是有限的,都存在对应的阈值。服务器检测与待存储数据的存储级别对应的存储单元的剩余存储空间是否达到对应的阈值,若该存储单元的剩余存储空间没有达到对应的阈值,则将待存储数据存储至该存储单元中,实现了将待存储数据分类存储的目的,避免了数据丢失,进一步提高了服务器的数据存储稳定性。
考虑到与待存储数据的存储级别对应的存储单元的剩余存储空间达到对应的阈值时,为了避免数据丢失,服务器可以将待存储数据存储至其他服务器中。
在另一个实施例中,上述步骤S302,在确定第二数据库中与待存储数据的存储级别对应的存储单元之后,还包括:若存储单元的剩余存储空间达到对应的阈值,将存储单元进行标记;根据待存储数据生成数据调用请求,将数据调用请求发送至目标服务器,数据调用请求用于将待存储数据存储至目标服务器的存储单元中。本申请中的服务器和目标服务器属于同一个服务器集群,故存储数据的原理也是一样的,具体本申请不再赘述。
服务器在确定与待存储数据的存储级别对应的存储单元的剩余存储空间达到对应的阈值之后,将存储单元进行标记,方便后续对含有标记的存储单元的存储空间进行清除。同时,在服务器无法满足相应存储级别的数据存储需求之后,服务器根据数据调用请求,将待存储数据存储至目标服务器的存储单元中,可以确保待存储数据能够顺利存储至服务器中,避免了数据丢失,进一步提高了服务器的数据存储稳定性。
进一步地,在目标服务器无法满足相应存储级别的数据存储需求的情况下,目标服务器可以将待存储数据存储至同一个服务器集群的其它服务器的存储单元中,进一步确保了待存储数据能够顺利存储至服务器中,从而提高了服务器的数据存储稳定性。
考虑到服务器运行一段时间之后,第二数据库中有些存储单元的剩余存储空间可能达到对应的阈值,为了避免第二数据库无法存储数据,服务器可以将这些存储单元所存储的数据进行清除。
在一个实施例中,上述步骤S205,在按照存储级别,将待存储数据存储至第二数据库中与存储级别对应的存储单元中之后,还包括:根据预设频率,从第二数据库中查找被标记的存储单元;获取预设清除指令,根据预设清除指令清除各个被标记的存储单元中存储的数据,以释放存储单元的存储空间。服务器根据预设频率,定期清除第二数据库中被标记的存储单元中存储的数据,可以释放存储单元的存储空间,以存储更多的数据,避免了数据无法正常存储的缺陷,进一步提高了服务器的数据存储稳定性。
进一步地,在根据预设频率,从第二数据库中查找被标记的存储单元之后,还包括:识别被标记的存储单元所存储的数据的历史存储时间,将历史存储时间不满足设定条件的数据进行标记。那么,获取预设清除指令,根据预设清除指令清除各个被标记的存储单元中存储的数据的具体实现可以为:将各个被标记的存储单元进行编号;获取预设清除指令,根据预设清除指令,按照编号依次清除各个被标记的存储单元中被标记的数据。服务器根据预设清除指令,清除被标记的存储单元中存储时间过长的数据,可以释放存储单元的存储空间,以存储更多的数据,进一步提高了服务器的数据存储稳定性。
在按照存储级别,将待存储数据存储至第二数据库中与存储级别对应的存储单元中之后,为了提醒终端待存储数据已经成功存储,服务器可以向对应的终端发送待存储数据的确认返回信息。
在一个实施例中,数据存储方法还包括:根据第二数据库中与存储级别对应的存储单元,确定待存储数据的存储地址;根据存储地址,生成待存储数据的确认返回信息,将待存储数据的确认返回信息发送至对应的终端,确认返回信息用于触发终端将待存储数据标记为已存储,并添加对应的存储地址。在服务器成功将待存储数据存储至第二数据库中相应的存储单元之后,向对应的终端发送待存储数据的确认返回信息,可以提醒对应的终端待存储数据已经存储成功,避免终端重复将数据存储请求发送至服务器,而影响服务器性能的缺陷,同时方便后续终端读取服务器中的已存储数据。
在一个实施例中,如图4所示,提供了另一种数据存储方法,包括以下步骤:
步骤S401,接收终端发送的数据存储请求,数据存储请求携带待存储数据和数据库标识。
步骤S402,查找与数据库标识对应的第一数据库。
步骤S403,检测第一数据库的剩余存储空间是否达到阈值,若第一数据库的剩余存储空间达到阈值,获取待存储数据的数据类型。
步骤S404,根据数据类型,确定待存储数据的存储级别。
步骤S405,按照存储级别,将待存储数据存储至第二数据库中与存储级别对应的存储单元中。
步骤S406,根据第二数据库中与存储级别对应的存储单元,确定待存储数据的存储地址;根据存储地址,生成待存储数据的确认返回信息,将待存储数据的确认返回信息发送至对应的终端,确认返回信息用于触发终端将待存储数据标记为已存储,并添加对应的存储地址。
上述数据存储方法,在第一数据库内存耗尽而无法存储数据的情况下,服务器将待存储数据按照存储级别,分类存储至第二数据库中与存储级别对应的存储单元中,可以缓解服务器的数据存储压力,避免了数据丢失,进一步提高了服务器的数据存储稳定性,同时兼顾了服务器性能,避免服务器内存耗尽而影响服务器性能的缺陷。而且,将待存储数据的确认返回信息发送至对应的终端,可以提醒对应的终端待存储数据已经成功存储
考虑到终端将待存储数据存储至服务器中,需要从服务器中,读取待读取数据,以进行相应的数据处理。在一个实施例中,数据存储方法还包括:检测终端发送的数据读取请求,数据读取请求携带待读取数据的存储地址和数据标识;若检测到终端发送的数据读取请求,在存储地址对应的存储单元中获取与数据标识对应的待读取数据;将获取的待读取数据发送至对应的终端。服务器根据终端的数据读取请求,获取对应的待读取数据,并将获取的待读取数据发送至对应的终端,确保终端可以顺利读取待读取数据,避免影响终端相应的数据处理操作。
进一步地,服务器若没有查找到对应的待读取数据,说明服务器返回至终端的待存储数据的存储地址存在错误。在这种情况下,服务器根据待读取数据的数据标识,生成第一数据调用请求,将第一数据调用请求发送至目标服务器或其他服务器,第一数据调用请求用于指示目标服务器或者其他服务器在存储单元中查找与数据标识对应的待读取数据,并将查找到的待读取数据发送至对应的终端,以保证终端能够读取待读取数据。
考虑到服务器有时候因为自身性能差、内存爆满、网络故障等原因而无法正常存储数据,从而影响了服务器的存储性能,因此需要对服务器的存储性能进行检测,以进一步提高服务器的数据存储稳定性。
在一个实施例中,数据存储方法还包括:将待存储数据的存储结果发送至管理服务器;存储结果用于触发管理服务器在预设时间范围内确定数据存储成功率,并返回相应的指令;若接收到管理服务器返回的指令为关闭指令,则进入关闭状态。服务器进入关闭状态,只是暂时处于关闭状态,并不是永久处于关闭状态,若服务器已排除故障,可以进入开启状态。存储结果包括待存储数据是否存储成功的信息。
进一步地,针对多个服务器,管理服务器在预设时间范围内,分别识别各个服务器返回的各个存储结果,确定服务器的数据存储成功率;从多个服务器中,筛选出数据存储成功率超过预设成功率的服务器,作为第一目标服务器;根据第一目标服务器的服务器地址,生成相应的指令,将指令发送至终端,以通知终端可以将待存储数据存储至第一目标服务器中;将其他服务器作为第二目标服务器,并生成相应的关闭指令,将关闭指令发送至第二目标服务器中,以指示第二目标服务器自动进入关闭状态。
在预设时间范围内,管理服务器对各个服务器的存储性能进行检测,将存储性能满足设定条件的第一目标服务器所对应的服务器地址,通过指令的形式发送至终端,以通知终端可以将待存储数据存储至第一目标服务器中;同时将关闭指令发送至存储性能不满足设定条件的第二目标服务器,以触发第二目标服务器自动进入关闭状态,避免终端向第二目标服务器发送的数据存储请求无法得到响应,进一步确保了服务器的数据存储稳定性。
应该理解的是,虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种数据存储装置,包括:请求接收模块510、数据库查找模块520、数据库检测模块530、级别确定模块540和数据存储模块550,其中:
请求接收模块510,用于接收终端发送的数据存储请求,数据存储请求携带待存储数据和数据库标识。
数据库查找模块520,用于查找与数据库标识对应的第一数据库。
数据库检测模块530,用于检测第一数据库的剩余存储空间是否达到阈值,若第一数据库的剩余存储空间达到阈值,获取待存储数据的数据类型。
级别确定模块540,用于根据数据类型,确定待存储数据的存储级别。
数据存储模块550,用于按照存储级别,将待存储数据存储至第二数据库中与存储级别对应的存储单元中。
在一个实施例中,数据存储模块还用于获取第二数据库中多个存储单元的存储级别;确定第二数据库中与待存储数据的存储级别对应的存储单元;若存储单元的剩余存储空间没有达到对应的阈值,将待存储数据存储至存储单元中。
在一个实施例中,数据存储装置还包括数据调用模块,用于数据存储模块确定第二数据库中与待存储数据的存储级别对应的存储单元之后,若存储单元的剩余存储空间达到对应的阈值,将存储单元进行标记;根据待存储数据生成数据调用请求,将数据调用请求发送至目标服务器,数据调用请求用于将待存储数据存储至目标服务器的存储单元中。
在一个实施例中,数据存储装置还包括数据清除模块,用于数据存储模块按照存储级别,将待存储数据存储至第二数据库中与存储级别对应的存储单元中之后,根据预设频率,从第二数据库中查找被标记的存储单元;获取预设清除指令,根据预设清除指令清除各个被标记的存储单元中存储的数据,以释放存储单元的存储空间。
在一个实施例中,数据存储装置还包括信息发送模块,用于根据第二数据库中与存储级别对应的存储单元,确定待存储数据的存储地址;根据存储地址,生成待存储数据的确认返回信息,将待存储数据的确认返回信息发送至对应的终端,确认返回信息用于触发终端将待存储数据标记为已存储,并添加对应的存储地址。
在一个实施例中,数据存储装置还包括数据获取模块,用于检测终端发送的数据读取请求,数据读取请求携带待读取数据的存储地址和数据标识;若检测到终端发送的数据读取请求,在存储地址对应的存储单元中获取与数据标识对应的待读取数据;将获取的待读取数据发送至对应的终端。
在一个实施例中,数据存储装置指令接收模块,用于将待存储数据的存储结果发送至管理服务器;存储结果用于触发管理服务器在预设时间范围内确定数据存储成功率,并返回相应的指令;若接收到管理服务器返回的指令为关闭指令,则进入关闭状态。
上述各个实施例,数据存储装置接收终端发送的数据存储请求,根据数据存储请求检测与数据库标识对应的第一数据库,在第一数据库的剩余存储空间达到阈值时,根据待存储数据的数据类型,确定待存储数据的存储级别,并按照存储级别,将待存储数据存储至第二数据库中与存储级别对应的存储单元中,可以避免第一数据库内存耗尽而无法存储数据,从而引起不可预估的后果的问题,从而提高了服务器的数据存储稳定性;同时将待存储数据按照存储级别,分类存储至第二数据库中与存储级别对应的存储单元中,可以缓解服务器的数据存储压力,避免了数据丢失,进一步提高了服务器的数据存储稳定性,同时兼顾了服务器性能,避免服务器内存耗尽而影响服务器性能的缺陷。
关于数据存储装置的具体限定可以参见上文中对于数据存储方法的限定,在此不再赘述。上述数据存储装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据存储方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
接收终端发送的数据存储请求,数据存储请求携带待存储数据和数据库标识;
查找与数据库标识对应的第一数据库;
检测第一数据库的剩余存储空间是否达到阈值,若第一数据库的剩余存储空间达到阈值,获取待存储数据的数据类型;
根据数据类型,确定待存储数据的存储级别;
按照存储级别,将待存储数据存储至第二数据库中与存储级别对应的存储单元中。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取第二数据库中多个存储单元的存储级别;确定第二数据库中与待存储数据的存储级别对应的存储单元;若存储单元的剩余存储空间没有达到对应的阈值,将待存储数据存储至存储单元中。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:在确定第二数据库中与待存储数据的存储级别对应的存储单元之后,若存储单元的剩余存储空间达到对应的阈值,将存储单元进行标记;根据待存储数据生成数据调用请求,将数据调用请求发送至目标服务器,数据调用请求用于将待存储数据存储至目标服务器的存储单元中。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:在按照存储级别,将待存储数据存储至第二数据库中与存储级别对应的存储单元中之后,根据预设频率,从第二数据库中查找被标记的存储单元;获取预设清除指令,根据预设清除指令清除各个被标记的存储单元中存储的数据,以释放存储单元的存储空间。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:根据第二数据库中与存储级别对应的存储单元,确定待存储数据的存储地址;根据存储地址,生成待存储数据的确认返回信息,将待存储数据的确认返回信息发送至对应的终端,确认返回信息用于触发终端将待存储数据标记为已存储,并添加对应的存储地址。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:检测终端发送的数据读取请求,数据读取请求携带待读取数据的存储地址和数据标识;若检测到终端发送的数据读取请求,在存储地址对应的存储单元中获取与数据标识对应的待读取数据;将获取的待读取数据发送至对应的终端。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:将待存储数据的存储结果发送至管理服务器;存储结果用于触发管理服务器在预设时间范围内确定数据存储成功率,并返回相应的指令;若接收到管理服务器返回的指令为关闭指令,则进入关闭状态
上述各个实施例,计算机设备通过处理器上运行的计算机程序,实现了在第一数据库的剩余存储空间达到阈值时,按照待存储数据的存储级别,将待存储数据存储至第二数据库中与存储级别对应的存储单元中的目的,可以避免第一数据库内存耗尽而无法存储数据,从而引起不可预估的后果的问题,缓解了服务器的数据存储压力,避免了数据丢失,进一步提高了服务器的数据存储稳定性,同时兼顾了服务器性能,避免服务器内存耗尽而影响服务器性能的缺陷。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
接收终端发送的数据存储请求,数据存储请求携带待存储数据和数据库标识;
查找与数据库标识对应的第一数据库;
检测第一数据库的剩余存储空间是否达到阈值,若第一数据库的剩余存储空间达到阈值,获取待存储数据的数据类型;
根据数据类型,确定待存储数据的存储级别;
按照存储级别,将待存储数据存储至第二数据库中与存储级别对应的存储单元中。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取第二数据库中多个存储单元的存储级别;确定第二数据库中与待存储数据的存储级别对应的存储单元;若存储单元的剩余存储空间没有达到对应的阈值,将待存储数据存储至存储单元中。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:在确定第二数据库中与待存储数据的存储级别对应的存储单元之后,若存储单元的剩余存储空间达到对应的阈值,将存储单元进行标记;根据待存储数据生成数据调用请求,将数据调用请求发送至目标服务器,数据调用请求用于将待存储数据存储至目标服务器的存储单元中。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:在按照存储级别,将待存储数据存储至第二数据库中与存储级别对应的存储单元中之后,根据预设频率,从第二数据库中查找被标记的存储单元;获取预设清除指令,根据预设清除指令清除各个被标记的存储单元中存储的数据,以释放存储单元的存储空间。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据第二数据库中与存储级别对应的存储单元,确定待存储数据的存储地址;根据存储地址,生成待存储数据的确认返回信息,将待存储数据的确认返回信息发送至对应的终端,确认返回信息用于触发终端将待存储数据标记为已存储,并添加对应的存储地址。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:检测终端发送的数据读取请求,数据读取请求携带待读取数据的存储地址和数据标识;若检测到终端发送的数据读取请求,在存储地址对应的存储单元中获取与数据标识对应的待读取数据;将获取的待读取数据发送至对应的终端。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:将待存储数据的存储结果发送至对应的管理服务器;存储结果用于触发管理服务器在预设时间范围内确定数据存储成功率,并返回相应的指令;若接收到管理服务器返回的指令为关闭指令,则进入关闭状态。
上述各个实施例,计算机可读存储介质通过其存储的计算机程序,实现了在第一数据库的剩余存储空间达到阈值时,按照待存储数据的存储级别,将待存储数据存储至第二数据库中与存储级别对应的存储单元中的目的,可以避免第一数据库内存耗尽而无法存储数据,从而引起不可预估的后果的问题,缓解了服务器的数据存储压力,避免了数据丢失,进一步提高了服务器的数据存储稳定性,同时兼顾了服务器性能,避免服务器内存耗尽而影响服务器性能的缺陷。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据存储方法,其特征在于,所述方法包括:
接收终端发送的数据存储请求,所述数据存储请求携带待存储数据和数据库标识;
查找与所述数据库标识对应的第一数据库;
检测所述第一数据库的剩余存储空间是否达到阈值,若所述第一数据库的剩余存储空间达到阈值,获取所述待存储数据的数据类型;
根据所述数据类型查询预先建立的数据类型与存储级别之间的对应关系,确定所述待存储数据的存储级别;所述预先建立的数据类型与存储级别之间的对应关系,根据所述第一数据库中存储的历史数据和所述历史数据的存储级别建立得到;所述历史数据的存储级别根据所述历史数据的重要性得到;
确定第二数据库中与所述待存储数据的存储级别对应的存储单元;
若所述存储单元的剩余存储空间没有达到对应的阈值,将所述待存储数据存储至所述存储单元中,若所述存储单元的剩余存储空间达到对应的阈值,将所述存储单元进行标记,并将所述待存储数据存储至目标服务器的存储单元中;
根据预设频率,从所述第二数据库中查找被标记的存储单元;
获取预设清除指令,根据所述预设清除指令清除各个被标记的存储单元中存储的数据。
2.根据权利要求1所述的方法,其特征在于,所述将所述待存储数据存储至目标服务器的存储单元中,包括:
根据所述待存储数据生成数据调用请求,将所述数据调用请求发送至所述目标服务器,所述数据调用请求用于将所述待存储数据存储至所述目标服务器的存储单元中。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
根据所述第二数据库中与所述存储级别对应的存储单元,确定所述待存储数据的存储地址;
根据所述存储地址,生成所述待存储数据的确认返回信息,将所述待存储数据的确认返回信息发送至对应的终端,所述确认返回信息用于触发所述终端将所述待存储数据标记为已存储,并添加对应的存储地址。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
检测终端发送的数据读取请求,所述数据读取请求携带待读取数据的存储地址和数据标识;
若检测到终端发送的数据读取请求,在所述存储地址对应的存储单元中获取与所述数据标识对应的待读取数据;
将获取的待读取数据发送至对应的终端。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
将待存储数据的存储结果发送至管理服务器;所述存储结果用于触发所述管理服务器在预设时间范围内确定数据存储成功率,并返回相应的指令;
若接收到所述管理服务器返回的指令为关闭指令,则进入关闭状态。
6.一种数据存储装置,其特征在于,所述装置包括:
请求接收模块,用于接收终端发送的数据存储请求,所述数据存储请求携带待存储数据和数据库标识;
数据库查找模块,用于查找与所述数据库标识对应的第一数据库;
数据库检测模块,用于检测所述第一数据库的剩余存储空间是否达到阈值,若所述第一数据库的剩余存储空间达到阈值,获取所述待存储数据的数据类型;
级别确定模块,用于根据所述数据类型查询预先建立的数据类型与存储级别之间的对应关系,确定所述待存储数据的存储级别;所述预先建立的数据类型与存储级别之间的对应关系,根据所述第一数据库中存储的历史数据和所述历史数据的存储级别建立得到;所述历史数据的存储级别根据所述历史数据的重要性得到;
数据存储模块,用于确定第二数据库中与所述待存储数据的存储级别对应的存储单元;若所述存储单元的剩余存储空间没有达到对应的阈值,将所述待存储数据存储至所述存储单元中;
所述装置还包括数据调用模块,用于若所述存储单元的剩余存储空间达到对应的阈值,将所述存储单元进行标记,并将所述待存储数据存储至目标服务器的存储单元中;
所述装置还包括数据清除模块,用于根据预设频率,从所述第二数据库中查找被标记的存储单元;获取预设清除指令,根据所述预设清除指令清除各个被标记的存储单元中存储的数据。
7.根据权利要求6所述的装置,其特征在于,所述数据调用模块,还用于根据所述待存储数据生成数据调用请求,将所述数据调用请求发送至所述目标服务器,所述数据调用请求用于将所述待存储数据存储至所述目标服务器的存储单元中。
8.根据权利要求6或7所述的装置,其特征在于,所述装置还包括信息发送模块,用于根据所述第二数据库中与所述存储级别对应的存储单元,确定所述待存储数据的存储地址;根据所述存储地址,生成所述待存储数据的确认返回信息,将所述待存储数据的确认返回信息发送至对应的终端,所述确认返回信息用于触发所述终端将所述待存储数据标记为已存储,并添加对应的存储地址。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811224553.XA CN109542961B (zh) | 2018-10-19 | 2018-10-19 | 数据存储方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811224553.XA CN109542961B (zh) | 2018-10-19 | 2018-10-19 | 数据存储方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109542961A CN109542961A (zh) | 2019-03-29 |
CN109542961B true CN109542961B (zh) | 2024-05-03 |
Family
ID=65844287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811224553.XA Active CN109542961B (zh) | 2018-10-19 | 2018-10-19 | 数据存储方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109542961B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110347675A (zh) * | 2019-06-05 | 2019-10-18 | 阿里巴巴集团控股有限公司 | 一种数据存储方法及装置 |
US10970309B2 (en) | 2019-06-05 | 2021-04-06 | Advanced New Technologies Co., Ltd. | Data storage method and apparatus |
CN111538457A (zh) * | 2019-06-11 | 2020-08-14 | 深圳迈瑞生物医疗电子股份有限公司 | 内窥镜摄像系统、摄像主机及其数据存储方法 |
CN110471900A (zh) * | 2019-07-10 | 2019-11-19 | 平安科技(深圳)有限公司 | 数据处理方法及终端设备 |
CN110515944B (zh) * | 2019-08-16 | 2022-03-29 | 出门问问(苏州)信息科技有限公司 | 基于分布式数据库的数据存储方法、存储介质和电子设备 |
CN112800303B (zh) * | 2019-11-13 | 2023-05-05 | 马上消费金融股份有限公司 | 一种浏览器数据的存储、读取方法及相关装置 |
CN111444186B (zh) * | 2020-03-30 | 2023-08-04 | 北京信而泰科技股份有限公司 | 一种信息管理方法、测试仪、设备和计算机可读存储介质 |
CN111597272B (zh) * | 2020-05-26 | 2023-10-27 | 广州迈安信息科技有限公司 | 工程造价数据的存储方法、装置、数据服务器和存储介质 |
CN112162991B (zh) * | 2020-09-30 | 2023-12-08 | 广州羊城通有限公司 | 数据的智能管理方法及装置 |
CN112328592A (zh) * | 2020-10-15 | 2021-02-05 | 华为技术有限公司 | 数据存储方法、电子设备及计算机可读存储介质 |
CN112800089B (zh) * | 2021-01-20 | 2021-12-28 | 广州市品高软件股份有限公司 | 一种中间数据存储级别调整方法、存储介质及计算机设备 |
CN113051330A (zh) * | 2021-04-13 | 2021-06-29 | 福州外语外贸学院 | 基于大数据的实时环境监控方法、装置及计算机设备 |
CN113468173A (zh) * | 2021-06-28 | 2021-10-01 | 康键信息技术(深圳)有限公司 | 数据的存储方法、装置、设备及存储介质 |
CN114357030B (zh) * | 2022-01-04 | 2022-09-30 | 深圳市智百威科技发展有限公司 | 一种大数据存储系统及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0959417A2 (en) * | 1998-05-18 | 1999-11-24 | Sharp Kabushiki Kaisha | Database managing system |
CN104135687A (zh) * | 2014-07-29 | 2014-11-05 | 深圳创维数字技术股份有限公司 | 一种节目数据处理的方法及数字电视终端 |
CN104715025A (zh) * | 2015-03-03 | 2015-06-17 | 百度在线网络技术(北京)有限公司 | 用于离线Web应用的数据存储方法和装置 |
CN105100146A (zh) * | 2014-05-07 | 2015-11-25 | 腾讯科技(深圳)有限公司 | 数据存储方法、装置及系统 |
CN106095333A (zh) * | 2016-06-02 | 2016-11-09 | 腾讯科技(深圳)有限公司 | 一种数据存储系统、数据存储方法及数据存储中心 |
CN107203915A (zh) * | 2016-03-16 | 2017-09-26 | 阿里巴巴集团控股有限公司 | 数据存储方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4659888B2 (ja) * | 2009-02-13 | 2011-03-30 | 株式会社日立製作所 | データベース処理システム、計算機及びデータベース処理方法 |
-
2018
- 2018-10-19 CN CN201811224553.XA patent/CN109542961B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0959417A2 (en) * | 1998-05-18 | 1999-11-24 | Sharp Kabushiki Kaisha | Database managing system |
CN105100146A (zh) * | 2014-05-07 | 2015-11-25 | 腾讯科技(深圳)有限公司 | 数据存储方法、装置及系统 |
CN104135687A (zh) * | 2014-07-29 | 2014-11-05 | 深圳创维数字技术股份有限公司 | 一种节目数据处理的方法及数字电视终端 |
CN104715025A (zh) * | 2015-03-03 | 2015-06-17 | 百度在线网络技术(北京)有限公司 | 用于离线Web应用的数据存储方法和装置 |
CN107203915A (zh) * | 2016-03-16 | 2017-09-26 | 阿里巴巴集团控股有限公司 | 数据存储方法及装置 |
CN106095333A (zh) * | 2016-06-02 | 2016-11-09 | 腾讯科技(深圳)有限公司 | 一种数据存储系统、数据存储方法及数据存储中心 |
Also Published As
Publication number | Publication date |
---|---|
CN109542961A (zh) | 2019-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109542961B (zh) | 数据存储方法、装置、计算机设备和存储介质 | |
CN110727499B (zh) | 资源数据获取的方法、装置、计算机设备和存储介质 | |
CN109064345B (zh) | 消息处理方法、系统以及计算机可读存储介质 | |
CN106982236B (zh) | 一种信息处理方法、装置和系统 | |
CN108573371B (zh) | 数据审批方法、装置、计算机设备和存储介质 | |
CN108829781B (zh) | 客户信息查询方法、装置、计算机设备和存储介质 | |
CN109446068B (zh) | 接口测试方法、装置、计算机设备和存储介质 | |
CN108491450B (zh) | 数据缓存方法、装置、服务器和存储介质 | |
CN108093094B (zh) | 数据库实例访问方法、装置、系统、存储介质和设备 | |
CA3154919A1 (en) | Data object identification generating method, device, computer equipment and storage medium | |
EP3917115A1 (en) | Data processing method and apparatus, computer device, and storage medium | |
CN107656695B (zh) | 一种数据存储、删除方法、装置及分布式存储系统 | |
CN107634964B (zh) | 一种针对waf的测试方法及装置 | |
CN110908778B (zh) | 任务部署方法、系统和存储介质 | |
CN112153170B (zh) | 访问服务器的方法、装置、设备及存储介质 | |
CN109460252B (zh) | 基于git的配置文件处理方法、装置和计算机设备 | |
CN108924258B (zh) | 后台信息推送方法、装置、计算机设备和存储介质 | |
CN109325026B (zh) | 基于大数据平台的数据处理方法、装置、设备及介质 | |
CN110727698A (zh) | 数据库访问方法、装置、计算机设备和存储介质 | |
CN110795171B (zh) | 业务数据处理方法、装置、计算机设备及存储介质 | |
CN111209061B (zh) | 用户信息的填写方法、装置、计算机设备和存储介质 | |
CN112632375B (zh) | 会话信息处理方法、服务器及存储介质 | |
CN110659297A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN113472803A (zh) | 漏洞攻击状态检测方法、装置、计算机设备和存储介质 | |
CN112100152A (zh) | 业务数据处理方法、系统、服务器和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |