CN109189763A - 一种数据存储方法、装置、服务器及存储介质 - Google Patents

一种数据存储方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN109189763A
CN109189763A CN201811083006.4A CN201811083006A CN109189763A CN 109189763 A CN109189763 A CN 109189763A CN 201811083006 A CN201811083006 A CN 201811083006A CN 109189763 A CN109189763 A CN 109189763A
Authority
CN
China
Prior art keywords
data
merger
stored
aggregation
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811083006.4A
Other languages
English (en)
Inventor
火莽
火一莽
雷益鹏
张志远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruian Technology Co Ltd
Original Assignee
Beijing Ruian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruian Technology Co Ltd filed Critical Beijing Ruian Technology Co Ltd
Priority to CN201811083006.4A priority Critical patent/CN109189763A/zh
Publication of CN109189763A publication Critical patent/CN109189763A/zh
Pending legal-status Critical Current

Links

Abstract

本发明公开了一种数据存储方法、装置、服务器及存储介质。所述方法包括:在归并前数据库中获取待存储数据;将所述待存储数据进行数据归并处理;将数据归并后的待存储数据进行数据压缩处理;将数据压缩后的待存储数据存储到归并后数据库中。可以在有限的存储空间中增大数据存储量,从而可以满足用户的存储需求。

Description

一种数据存储方法、装置、服务器及存储介质
技术领域
本发明实施例涉及数据存储技术领域,尤其涉及一种数据存储方法、装置、服务器及存储介质。
背景技术
在大数据存储领域,已从最初的以Hadoop技术为主的HDFS、Hbase,发展到根据不同应用场景而使用不同的技术,比如,在结构化数据存贮方面,有MPP数据库,在对象关系数据的存贮方面,发展出了图数据库,现在随着物联网的深入广泛应用,诞生了时序数据库。
在现有的数据存储方法中,通常先将待存储数据进行压缩处理,然后将压缩处理后的待存储数据存储到数据库中。具体地,可以采用采用列式存储和数据压缩技术。列式存贮是将同一列数据存放在一起,在压缩时相比传统的行式存贮来说能较大幅度的提高压缩比。在采用压缩技术时,由于大数据的量级实在太大,不仅仅需要思考如何尽可能减少存贮量,更重要的是要思考压缩和解压的过程不能对系统性能产生太大影响,因此,目前在大数据领域最流行的压缩算法Snappy,它通过牺牲了一定的压缩比来换取了算法执行速度的大幅提升。
在实现本发明的过程中,发明人发现现有技术中至少存在如下问题:
在现有的数据存储方法中,通常先将待存储数据进行压缩处理,然后将压缩处理后的待存储数据存储到数据库中。但随着数据量的指数级增长,现有的数据存储方法则无法满足用户的存储需求。因此,需要通过一定的方式来尽可能地克服这一问题,但是在现有技术中还没有一种有效的解决方式。
发明内容
本发明提供一种数据存储方法、装置、服务器及存储介质,可以在有限的存储空间中增大数据存储量,从而可以满足用户的存储需求。
第一方面,本发明实施例提供了一种数据存储方法,所述方法包括:
在归并前数据库中获取待存储数据;
将所述待存储数据进行数据归并处理;
将数据归并后的待存储数据进行数据压缩处理;
将数据压缩后的待存储数据存储到归并后数据库中。
在上述实施例中,所述将所述待存储数据进行数据归并处理,包括:
获取所述待存储数据对应的归并配置文件;
根据所述待存储数据对应的归并配置文件对所述待存储数据进行数据归并处理。
在上述实施例中,所述根据所述待存储数据对应的归并配置文件对所述待存储数据进行归并处理,包括:
根据所述待存储数据对应的归并配置文件在所述待存储数据中确定出归并数据和非归并数据;
根据所述归并数据和所述非归并数据对所述待存储数据进行数据归并处理。
在上述实施例中,所述方法还包括:
接收当前用户发送的数据查询请求;
在所述归并后数据库和所述归并前数据库中查找所述数据查询请求对应的数据查询结果;
将所述数据查询请求对应的数据查询结果反馈给所述当前用户。
第二方面,本发明实施例还提供了一种数据存储装置,所述装置包括:获取模块、数据归并模块、数据压缩模块和存储模块;其中,
所述获取模块,用于在归并前数据库中获取待存储数据;
所述数据归并模块,用于将所述待存储数据进行数据归并处理;
所述数据压缩模块,用于将数据归并后的待存储数据进行数据压缩处理;
所述存储模块,用于将数据压缩后的待存储数据存储到归并后数据库中。
在上述实施例中,所述数据归并模块包括:获取子模块和归并子模块;其中,
所述获取子模块,用于获取所述待存储数据对应的归并配置文件;
所述归并子模块,用于根据所述待存储数据对应的归并配置文件对所述待存储数据进行归并处理。
在上述实施例中,所述归并子模块,具体用于根据所述待存储数据对应的归并配置文件在所述待存储数据中确定出归并数据和非归并数据;根据所述归并数据和所述非归并数据对所述待存储数据进行归并处理。
在上述实施例中,所述装置还包括:查询模块,用于接收当前用户发送的数据查询请求;在所述归并后数据库和所述归并前数据库中查找所述数据查询请求对应的数据查询结果;将所述数据查询请求对应的数据查询结果反馈给所述当前用户。
第三方面,本发明实施例提供了一种服务器,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所述的数据存储方法。
第四方面,本发明实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所述的数据存储方法。
本发明实施例提出了一种数据存储方法、装置、服务器及存储介质,先在归并前数据库中获取待存储数据;然后将待存储数据进行数据归并处理;再将数据归并后的待存储数据进行数据压缩处理;最后将数据压缩后的待存储数据存储到归并后数据库中。也就是说,在本发明的技术方案中,可以先将待存储数据进行数据归并处理,然后再将数据归并后的待存储数据进行压缩处理。而在现有的数据存储方法中,将待存储数据进行数据压缩处理后则直接存储到数据库中。因此,和现有技术相比,本发明实施例提出的数据存储方法、装置、服务器及存储介质,可以在有限的存储空间中增大数据存储量,从而可以满足用户的存储需求;并且,本发明实施例的技术方案实现简单方便、便于普及,适用范围更广。
附图说明
图1为本发明实施例一提供的数据存储方法的流程示意图;
图2为本发明实施例二提供的数据存储方法的流程示意图;
图3为本发明实施例三提供的数据存储方法的流程示意图;
图4为本发明实施例四提供的数据存储装置的第一结构示意图;
图5为本发明实施例四提供的数据存储装置的第二结构示意图;
图6为本发明实施例五提供的服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的数据存储方法的流程示意图。如图1所示,数据存储方法可以包括以下步骤:
步骤101、在归并前数据库中获取待存储数据。
在本发明的具体实施例中,服务器可以在归并前数据库中获取待存储数据。具体地,服务器可以先将待存储数据存储到缓存数据库中,然后从缓存数据库中的待存储数据存储到归并前数据库中,因此,服务器可以在归并前数据库中获取待存储数据。该缓存数据库可以是分布式文件系统,缓存数据库和归并前数据库的数据结构一致,并在数据归并后立即删除,以保证缓存数据库库更加简单和轻量级。另外,服务器在归并前数据库获取到待存储数据后,归并前数据后则可以将待存储数据进行删除,待存储数据在归并前数据库中存储的时间可以根据实际数据情况而定。
步骤102、将待存储数据进行数据归并处理。
在本发明的具体实施例中,服务器可以将待存储数据进行数据归并处理。具体地,服务器可以先获取待存储数据对应的归并配置文件;然后根据待存储数据对应的归并配置文件对待存储数据进行数据归并处理。
步骤103、将数据归并后的待存储数据进行数据压缩处理。
在本发明的具体实施例中,服务器在将待存储数据进行数据归并数据之后,还可以将将数据归并后的待存储数据进行数据压缩处理。具体地,服务器可以采用现有的数据压缩方法对数据归并后的待存储数据进行数据压缩处理。
步骤104、将数据压缩后的待存储数据存储到归并后数据库中。
在本发明的具体实施例中,服务器可以将数据压缩后的待存储数据存储到归并后数据库中。具体地,服务器可以按照归并后数据库的数据存储格式将数据压缩后的待存储数据存储到归并后数据库中。在本发明的具体实施例中,归并后的数据库相比归并前数据库来说,增加了归并名值对列表和归并的数据条数。另外,对于无损压缩来说,还需要增加归并列值列表。
举例说明,数据归并前的待存储数据如下述表1所示:
字段1 字段2 字段3 字段4 字段5 字段6
待存储数据1 V11 V12 V13 V14 V15 V16
待存储数据2 V11 V12 V13 V14 V25 V26
待存储数据3 V11 V12 V13 V14 V35 V36
表1
在上述表1中,待存储数据可以包括:待存储数据1、待存储数据2和待存储数据3;其中,待存储数据1可以包括:V11、V12、V13、V14、V15和V16;待存储数据2可以包括:V11、V12、V13、V14、V25和V26;待存储数据3可以包括:V11、V12、V13、V14、V35和V36。
数据归并后的待存储数据如下述表2所示:
表2
在上述表2中,待存储数据1、待存储数据2和待存储数据3合并为一个归并数据,包括:V11、V12、V13、V14、{{V15,V16},{V25,V26},{V35,V36}}。服务器在将多个待存储数据合并为一个归并数据之后,可以采取多种不同的索引方式对归并数据建立索引。具体地,服务器可以将归并字段整体作为一个索引字段进行索引。例如,索引字段名:归并数据,索引值:{{字段5:V15,字段6:V16},{字段5:V25,字段6:V26},{字段5:V35,字段6:V36}}。此外,服务器也可以针对归并字段中的各个字段分别建索引。例如,索引字段名:字段5,索引值:V15,V25,V35;索引字段名:字段6,索引值:V16,V26,V36。
较佳地,在本发明的具体实施例中,服务器还可以接收当前用户发送的数据查询请求;然后在归并后数据库和归并前数据库中查找数据查询请求对应的数据查询结果;最后将数据查询请求对应的数据查询结果反馈给当前用户。具体地,服务器在接收到当前用户发送的数据查询请求之后,服务器可以先在归并后数据库中查找数据查询请求对应的数据查询结果;若服务器在归并后数据库中未查找到数据查询请求对应的数据查询结果,则服务器在归并前数据库中查找数据查询请求对应的数据查询结果。
本发明实施例提出的数据存储方法,先在归并前数据库中获取待存储数据;然后将待存储数据进行数据归并处理;再将数据归并后的待存储数据进行数据压缩处理;最后将数据压缩后的待存储数据存储到归并后数据库中。也就是说,在本发明的技术方案中,可以先将待存储数据进行数据归并处理,然后再将数据归并后的待存储数据进行压缩处理。而在现有的数据存储方法中,将待存储数据进行数据压缩处理后则直接存储到数据库中。因此,和现有技术相比,本发明实施例提出的数据存储方法,可以在有限的存储空间中增大数据存储量,从而可以满足用户的存储需求;并且,本发明实施例的技术方案实现简单方便、便于普及,适用范围更广。
实施例二
图2为本发明实施例二提供的数据存储方法的流程示意图。如图2所示,数据存储方法可以包括以下步骤:
步骤201、在归并前数据库中获取待存储数据。
在本发明的具体实施例中,服务器可以在归并前数据库中获取待存储数据。具体地,服务器可以先将待存储数据存储到缓存数据库中,然后从缓存数据库中的待存储数据存储到归并前数据库中,因此,服务器可以在归并前数据库中获取待存储数据。
步骤202、获取待存储数据对应的归并配置文件。
在本发明的具体实施例中,服务器可以获取待存储数据对应的归并配置文件。具体地,可以采用人工方式对待存储数据进行分析,找出相似度极高的数据类型,并根据应用场景和数据情况,确定该类数据中需要归并的待存储数据,并在XML文件中进行配置,以便服务器能够确认,哪些待存储数据需要进行数据归并,以及数据归并的方式等。具体地,归并的方式可以包括:有损归并和无损归并。在大部分情况下,应该进行无损归并,以便能够完整恢复数据;但如果实际的应用场景中,可以不需要完整恢复某些列,则可以进行有损压缩。
步骤203、根据待存储数据对应的归并配置文件对待存储数据进行数据归并处理。
在本发明的具体实施例中,服务器可以根据待存储数据对应的归并配置文件对待存储数据进行数据归并处理。具体地,服务器可以根据待存储数据对应的归并配置文件在待存储数据中确定出归并数据和非归并数据;然后根据归并数据和非归并数据对待存储数据进行数据归并处理。
步骤204、将数据归并后的待存储数据进行数据压缩处理。
在本发明的具体实施例中,服务器在将待存储数据进行数据归并数据之后,还可以将将数据归并后的待存储数据进行数据压缩处理。具体地,服务器可以采用现有的数据压缩方法对数据归并后的待存储数据进行数据压缩处理。
步骤205、将数据压缩后的待存储数据存储到归并后数据库中。
在本发明的具体实施例中,服务器可以将数据压缩后的待存储数据存储到归并后数据库中。具体地,服务器可以按照归并后数据库的数据存储格式将数据压缩后的待存储数据存储到归并后数据库中。在本发明的具体实施例中,归并后的数据库相比归并前数据库来说,增加了归并名值对列表和归并的数据条数。另外,对于无损压缩来说,还需要增加归并列值列表。
较佳地,在本发明的具体实施例中,服务器还可以接收当前用户发送的数据查询请求;然后在归并后数据库和归并前数据库中查找数据查询请求对应的数据查询结果;最后将数据查询请求对应的数据查询结果反馈给当前用户。具体地,服务器在接收到当前用户发送的数据查询请求之后,服务器可以先在归并后数据库中查找数据查询请求对应的数据查询结果;若服务器在归并后数据库中未查找到数据查询请求对应的数据查询结果,则服务器在归并前数据库中查找数据查询请求对应的数据查询结果。
本发明实施例提出的数据存储方法,先在归并前数据库中获取待存储数据;然后将待存储数据进行数据归并处理;再将数据归并后的待存储数据进行数据压缩处理;最后将数据压缩后的待存储数据存储到归并后数据库中。也就是说,在本发明的技术方案中,可以先将待存储数据进行数据归并处理,然后再将数据归并后的待存储数据进行压缩处理。而在现有的数据存储方法中,将待存储数据进行数据压缩处理后则直接存储到数据库中。因此,和现有技术相比,本发明实施例提出的数据存储方法,可以在有限的存储空间中增大数据存储量,从而可以满足用户的存储需求;并且,本发明实施例的技术方案实现简单方便、便于普及,适用范围更广。
实施例三
图3为本发明实施例三提供的数据存储方法的流程示意图。如图3所示,数据存储方法可以包括以下步骤:
步骤301、在归并前数据库中获取待存储数据。
在本发明的具体实施例中,服务器可以在归并前数据库中获取待存储数据。具体地,服务器可以先将待存储数据存储到缓存数据库中,然后从缓存数据库中的待存储数据存储到归并前数据库中,因此,服务器可以在归并前数据库中获取待存储数据。
步骤302、获取待存储数据对应的归并配置文件。
在本发明的具体实施例中,服务器可以获取待存储数据对应的归并配置文件。具体地,可以采用人工方式对待存储数据进行分析,找出相似度极高的数据类型,并根据应用场景和数据情况,确定该类数据中需要归并的待存储数据,并在XML文件中进行配置,以便服务器能够确认,哪些待存储数据需要进行数据归并,以及数据归并的方式等。具体地,归并的方式可以包括:有损归并和无损归并。在大部分情况下,应该进行无损归并,以便能够完整恢复数据;但如果实际的应用场景中,可以不需要完整恢复某些列,则可以进行有损压缩。
步骤303、根据待存储数据对应的归并配置文件在待存储数据中确定出归并数据和非归并数据。
在本发明的具体实施例中,服务器可以根据待存储数据对应的归并配置文件在待存储数据中确定出归并数据和非归并数据。具体地,待存储数据对应的归并配置文件可以记录哪些待存储数据需要归并,哪些待存储数据不需要归并,因此,服务器可以根据待存储数据对应的归并配置文件在待存储数据中确定出归并数据和非归并数据。
步骤304、根据归并数据和非归并数据对待存储数据进行数据归并处理。
在本发明的具体实施例中,服务器可以根据归并数据和非归并数据对待存储数据进行数据归并处理。具体地,服务器可以将待存储数据中的归并数据进行数据归并处理;将待存储数据中的非归并数据则不进行数据归并处理。
步骤305、将数据归并后的待存储数据进行数据压缩处理。
在本发明的具体实施例中,服务器在将待存储数据进行数据归并数据之后,还可以将将数据归并后的待存储数据进行数据压缩处理。具体地,服务器可以采用现有的数据压缩方法对数据归并后的待存储数据进行数据压缩处理。
步骤306、将数据压缩后的待存储数据存储到归并后数据库中。
在本发明的具体实施例中,服务器可以将数据压缩后的待存储数据存储到归并后数据库中。具体地,服务器可以按照归并后数据库的数据存储格式将数据压缩后的待存储数据存储到归并后数据库中。在本发明的具体实施例中,归并后的数据库相比归并前数据库来说,增加了归并名值对列表和归并的数据条数。另外,对于无损压缩来说,还需要增加归并列值列表。
较佳地,在本发明的具体实施例中,服务器还可以接收当前用户发送的数据查询请求;然后在归并后数据库和归并前数据库中查找数据查询请求对应的数据查询结果;最后将数据查询请求对应的数据查询结果反馈给当前用户。具体地,服务器在接收到当前用户发送的数据查询请求之后,服务器可以先在归并后数据库中查找数据查询请求对应的数据查询结果;若服务器在归并后数据库中未查找到数据查询请求对应的数据查询结果,则服务器在归并前数据库中查找数据查询请求对应的数据查询结果。
本发明实施例提出的数据存储方法,先在归并前数据库中获取待存储数据;然后将待存储数据进行数据归并处理;再将数据归并后的待存储数据进行数据压缩处理;最后将数据压缩后的待存储数据存储到归并后数据库中。也就是说,在本发明的技术方案中,可以先将待存储数据进行数据归并处理,然后再将数据归并后的待存储数据进行压缩处理。而在现有的数据存储方法中,将待存储数据进行数据压缩处理后则直接存储到数据库中。因此,和现有技术相比,本发明实施例提出的数据存储方法,可以在有限的存储空间中增大数据存储量,从而可以满足用户的存储需求;并且,本发明实施例的技术方案实现简单方便、便于普及,适用范围更广。
实施例四
图4为本发明实施例四提供的数据存储装置的第一结构图。如图4所示,所述数据存储装置包括:获取模块401、数据归并模块402、数据压缩模块403和存储模块404;其中,
所述获取模块401,用于在归并前数据库中获取待存储数据;
所述数据归并模块402,用于将所述待存储数据进行数据归并处理;
所述数据压缩模块403,用于将数据归并后的待存储数据进行数据压缩处理;
所述存储模块404,用于将数据压缩后的待存储数据存储到归并后数据库中。
图5为本发明实施例四提供的数据存储装置的第二结构图。如图5所示,所述数据归并模块402包括:获取子模块4021和归并子模块4022;其中,
所述获取子模块4021,用于获取所述待存储数据对应的归并配置文件;
所述归并子模块4022,用于根据所述待存储数据对应的归并配置文件对所述待存储数据进行归并处理。
进一步的,所述归并子模块4022,具体用于根据所述待存储数据对应的归并配置文件在所述待存储数据中确定出归并数据和非归并数据;根据所述归并数据和所述非归并数据对所述待存储数据进行归并处理。
进一步的,所述装置还包括:查询模块405(图中未示出),用于接收当前用户发送的数据查询请求;在所述归并后数据库和所述归并前数据库中查找所述数据查询请求对应的数据查询结果;将所述数据查询请求对应的数据查询结果反馈给所述当前用户。
上述数据存储装置可执行本发明任意实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明任意实施例提供的数据存储方法。
实施例五
图6是本发明实施例五中服务器的结构示意图。图6示出了适于用来实现本发明实施方式的示例性服务器的框图。图6显示的服务器12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,服务器12以通用计算设备的形式表现。服务器12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该服务器12交互的设备通信,和/或与使得该服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与服务器12的其它模块通信。应当明白,尽管图中未示出,可以结合服务器12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的数据存储方法。
实施例六
本发明实施例六提供了一种计算机存储介质。
本发明实施例的计算机可读存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据存储方法,其特征在于,所述方法包括:
在归并前数据库中获取待存储数据;
将所述待存储数据进行数据归并处理;
将数据归并后的待存储数据进行数据压缩处理;
将数据压缩后的待存储数据存储到归并后数据库中。
2.根据权利要求1所述的方法,其特征在于,所述将所述待存储数据进行数据归并处理,包括:
获取所述待存储数据对应的归并配置文件;
根据所述待存储数据对应的归并配置文件对所述待存储数据进行数据归并处理。
3.根据权利要求2所述的方法,其特征在于,所述根据所述待存储数据对应的归并配置文件对所述待存储数据进行归并处理,包括:
根据所述待存储数据对应的归并配置文件在所述待存储数据中确定出归并数据和非归并数据;
根据所述归并数据和所述非归并数据对所述待存储数据进行数据归并处理。
4.根据权利要求1所述的方法,其特征至于,所述方法还包括:
接收当前用户发送的数据查询请求;
在所述归并后数据库和所述归并前数据库中查找所述数据查询请求对应的数据查询结果;
将所述数据查询请求对应的数据查询结果反馈给所述当前用户。
5.一种数据存储装置,其特征在于,所述装置包括:获取模块、数据归并模块、数据压缩模块和存储模块;其中,
所述获取模块,用于在归并前数据库中获取待存储数据;
所述数据归并模块,用于将所述待存储数据进行数据归并处理;
所述数据压缩模块,用于将数据归并后的待存储数据进行数据压缩处理;
所述存储模块,用于将数据压缩后的待存储数据存储到归并后数据库中。
6.根据权利要求5所述的装置,其特征在于,所述数据归并模块包括:获取子模块和归并子模块;其中,
所述获取子模块,用于获取所述待存储数据对应的归并配置文件;
所述归并子模块,用于根据所述待存储数据对应的归并配置文件对所述待存储数据进行归并处理。
7.根据权利要求6所述的装置,其特征在于:
所述归并子模块,具体用于根据所述待存储数据对应的归并配置文件在所述待存储数据中确定出归并数据和非归并数据;根据所述归并数据和所述非归并数据对所述待存储数据进行归并处理。
8.根据权利要求5所述的装置,其特征在于,所述装置还包括:查询模块,用于接收当前用户发送的数据查询请求;在所述归并后数据库和所述归并前数据库中查找所述数据查询请求对应的数据查询结果;将所述数据查询请求对应的数据查询结果反馈给所述当前用户。
9.一种服务器,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1至4中任一项所述的数据存储方法。
10.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至4中任一项所述的数据存储方法。
CN201811083006.4A 2018-09-17 2018-09-17 一种数据存储方法、装置、服务器及存储介质 Pending CN109189763A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811083006.4A CN109189763A (zh) 2018-09-17 2018-09-17 一种数据存储方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811083006.4A CN109189763A (zh) 2018-09-17 2018-09-17 一种数据存储方法、装置、服务器及存储介质

Publications (1)

Publication Number Publication Date
CN109189763A true CN109189763A (zh) 2019-01-11

Family

ID=64911897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811083006.4A Pending CN109189763A (zh) 2018-09-17 2018-09-17 一种数据存储方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN109189763A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080728A (zh) * 2019-12-19 2020-04-28 上海米哈游天命科技有限公司 一种贴图处理方法、装置、设备及存储介质
CN113238718A (zh) * 2021-07-09 2021-08-10 奇安信科技集团股份有限公司 数据的归并方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090259617A1 (en) * 2008-04-15 2009-10-15 Richard Charles Cownie Method And System For Data Management
CN103701469A (zh) * 2013-12-26 2014-04-02 华中科技大学 一种大规模图数据的压缩存储方法
CN104021161A (zh) * 2014-05-27 2014-09-03 华为技术有限公司 一种聚簇存储方法及装置
CN104717078A (zh) * 2013-12-13 2015-06-17 贵州电网公司信息通信分公司 基于配置的数据归并方法
CN106294374A (zh) * 2015-05-15 2017-01-04 北京国双科技有限公司 小文件合并的方法和数据查询系统
CN106649344A (zh) * 2015-10-31 2017-05-10 华为数字技术(苏州)有限公司 一种网络日志压缩方法和装置
CN108182209A (zh) * 2017-12-18 2018-06-19 中国移动通信集团广东有限公司 一种数据索引方法、及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090259617A1 (en) * 2008-04-15 2009-10-15 Richard Charles Cownie Method And System For Data Management
CN104717078A (zh) * 2013-12-13 2015-06-17 贵州电网公司信息通信分公司 基于配置的数据归并方法
CN103701469A (zh) * 2013-12-26 2014-04-02 华中科技大学 一种大规模图数据的压缩存储方法
CN104021161A (zh) * 2014-05-27 2014-09-03 华为技术有限公司 一种聚簇存储方法及装置
CN106294374A (zh) * 2015-05-15 2017-01-04 北京国双科技有限公司 小文件合并的方法和数据查询系统
CN106649344A (zh) * 2015-10-31 2017-05-10 华为数字技术(苏州)有限公司 一种网络日志压缩方法和装置
CN108182209A (zh) * 2017-12-18 2018-06-19 中国移动通信集团广东有限公司 一种数据索引方法、及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080728A (zh) * 2019-12-19 2020-04-28 上海米哈游天命科技有限公司 一种贴图处理方法、装置、设备及存储介质
CN113238718A (zh) * 2021-07-09 2021-08-10 奇安信科技集团股份有限公司 数据的归并方法、装置、电子设备及存储介质
CN113238718B (zh) * 2021-07-09 2021-11-16 奇安信科技集团股份有限公司 数据的归并方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111090628B (zh) 一种数据处理方法、装置、存储介质及电子设备
CN107729935B (zh) 相似图片的识别方法和装置、服务器、存储介质
CN110417879A (zh) 一种消息处理方法、装置、设备及存储介质
CN107895049A (zh) 数据处理方法及装置、计算机可读存储介质、电子设备
CN110532347A (zh) 一种日志数据处理方法、装置、设备和存储介质
CN109376173A (zh) 一种数据查询方法、装置、电子设备及存储介质
CN109189763A (zh) 一种数据存储方法、装置、服务器及存储介质
CN109241015A (zh) 用于在分布式存储系统中写入数据的方法
CN108932323A (zh) 实体答案的确定方法、装置、服务器及存储介质
CN109241100B (zh) 一种查询方法、装置、设备及存储介质
CN109189555A (zh) 一种端口镜像的实现方法、装置、服务器及存储介质
CN109145164A (zh) 数据处理方法、装置、设备和介质
CN109101662A (zh) 区块生成方法、装置、设备及存储介质
CN109242320A (zh) 订单分配方法、装置、服务器及存储介质
CN109033456B (zh) 一种条件查询方法、装置、电子设备和存储介质
CN111680489A (zh) 目标文本的匹配方法和装置、存储介质及电子设备
CN109634983A (zh) 召回兴趣点信息的确定方法、装置、设备和介质
US20120324560A1 (en) Token data operations
CN109669790A (zh) 基于云平台的数据共享方法、装置、共享平台及存储介质
US20220300503A1 (en) Querying distributed databases
CN110990406A (zh) 一种模糊查询方法、装置、设备和介质
CN110502506A (zh) 一种数据处理方法、装置、设备和存储介质
CN108845892A (zh) 分布式数据库的数据处理方法、装置、设备和计算机存储介质
CN109977124A (zh) 一种数据存储的方法、系统、设备及存储介质
CN108234552B (zh) 一种数据存储方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190111

RJ01 Rejection of invention patent application after publication