CN104978324A - 一种数据处理方法和装置 - Google Patents
一种数据处理方法和装置 Download PDFInfo
- Publication number
- CN104978324A CN104978324A CN201410133396.7A CN201410133396A CN104978324A CN 104978324 A CN104978324 A CN 104978324A CN 201410133396 A CN201410133396 A CN 201410133396A CN 104978324 A CN104978324 A CN 104978324A
- Authority
- CN
- China
- Prior art keywords
- data
- stored
- feature
- belonging
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供了一种数据处理方法和装置，技术方案为：服务器将数据区分为符合的定量存储特征的数据和符合增量存储特征的数据；在执行数据存储时，将符合定量存储特征的数据缓存到本服务器建立的NOSQL数据库中，将符合增量存储特征的数据缓存到远程分布式存储服务器建立的NOSQL数据库集群中。本发明可以解决共享数据存储时的单机内存不足问题。
Description
技术领域
本申请涉及数据存储技术领域，特别涉及一种数据处理方法和装置。
背景技术
当多个业务进程需要使用同一份数据的时候，一般情况会通过共享内存的方式，来满足简单的数据缓存需求，但是共享内存的方式有着诸多不便，例如无法落地保存，难以运维，和冷启动等问题。
内存数据库抛弃了磁盘数据管理的传统方式，基于全部数据都在内存中重新设计了体系结构，并且在数据缓存、快速算法、并行操作方面也进行了相应的改进，所以数据处理速度比传统数据库的数据处理速度要快很多。
在使用内存数据库技术后，对于内存较大的服务器开始考虑把一部分本机的内存划分出来用作内存数据库，它比共享内存的好处在于扩展性强，数据可落地，而且具有较好的运维特性。然而，随着业务的发展或者系统的运行，数据规模在不断增大，会发生内存无法满足的情况。
发明内容
有鉴于此，本发明的目的在于提供一种数据处理方法和装置，能够解决共享数据存储时的单机内存不足问题。
为实现上述目的，本发明提供的技术方案为：
一种数据处理方法，接收数据存储请求的服务器作为本服务器；该方法应用于本服务器，包括：
本服务器接收数据存储请求，根据数据存储请求中待存储数据所属数据类型，判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据；
如果待存储数据是符合定量存储特征的数据，则将数据存储请求携带的待存储数据存储到本服务器；
如果待存储数据时符合增量存储特征的数据，则将数据存储请求携带的待存储数据存储到远程分布式存储服务器。
一种数据处理装置，接收数据存储请求的服务器作为本服务器，该装置应用于本服务器，包括：接收单元、判断单元、处理单元；
所述接收单元，用于接收数据存储请求；
所述判断单元，用于根据数据存储请求中待存储数据所属数据类型，判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据；
所述处理单元，用于如果待存储数据是符合定量存储特征的数据，则将数据存储请求携带的待存储数据存储到本服务器；如果待存储数据时符合增量存储特征的数据，则将数据存储请求携带的待存储数据存储到远程分布式存储服务器。
综上所述，本发明中，服务器将业务子系统生成的待存储数据区分为符合定量存储特征的数据和符合增量存储特征的数据，在执行数据存储时，将符合定量存储特征的数据存储到本服务器建立的NOSQL数据库中，将符合增量存储特征的数据存储到远程分布式存储服务器建立的NOSQL数据库集群中，从而可以解决共享数据存储时的单机内存不足问题。
附图说明
图1是本发明实施例数据处理系统的架构示意图；
图2是本发明实施例数据处理方法流程图；
图3是本发明实施例数据处理装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明所述方案作进一步地详细说明。
本发明实施例中，将待存储数据根据各自的特点区分为：符合定量存储特征的数据和符合增量存储特征的数据，仅将符合定量存储特征的数据存储到本服务器建立的NOSQL内存数据库，而对于符合增量存储特征的数据，则存储到远程分布式存储服务器建立的NOSQL数据库集群中，从而可以解决将共享数据均存储在本服务器而可能会引起的内存不足问题。
参见图1，图1是本发明实施例数据处理系统的架构示意图，包括业务子系统、服务器、以及远程分布式存储服务器，其中，业务子系统用于生成数据并将数据经由服务器对数据进行存储、以及经由服务器访问已存储的数据；服务器（服务器还可以有多个备份服务器共同承担数据存储和访问的控制功能，图1中未画出），用于对业务子系统生成的数据进行存储控制（存储至本服务器或存储至远程分布式存储服务器）和访问控制；远程分布式存储服务器用于存储业务子系统生成并经由服务器传送来的数据。
下面参照图1，对本发明实施例数据存储和访问的控制的方法进行详细说明。
在实际应用中，业务子系统生成的数据可以分为多种类型，例如，用户属性信息（包括年龄、性别、所在地等）、用户登录信息（包括用户名、密码、在线/离线等）、用户日志等。不同类型的数据具有不同特征，主要可以从以下几点进行区分：
（1）数据规模：一些数据规模较为固定，例如：用户注册信息，用户登录信息等。另一些数据规模则不固定，变化比较明显，例如用户日志。
（2）数据增长速度：一些数据增长速度较快，另一些数据增长速度则较为缓慢或仅仅会偶尔有增长速度较快的情况。用户日志属于增长速度较快的一类数据，而用户注册信息、用户登录信息则数据增长速度比较缓慢的一类数据。
（3）数据是否具有明显的冷热特点：用户日志被访问的次数和频率会随着时间增长而减少，具有明显的冷热区分。而用户注册信息、用户登录状态等数据的被访问的次数和频率则与时间无关，不会因为时间增长而减少。
本发明实施例中，将以上三点特征与对各类型的数据的具体特征进行对比，可以将所有类型的数据区分为符合定量存储特征的数据和符合增量存储特征的数据。其中，符合定量存储特征的各类数据的数据增长速度较慢且数据访问频率较高，而符合增量存储特征的各类数据的数据增长速度较快但数据访问频率较低。
在实际应用中，至少有以下两种方法将每种类型的数据区分为符合定量存储特征的数据或是符合增量存储特征的数据：
第一种：人工指定每类数据是符合定量存储特征的数据或是符合增量存储特征的数据。
实际上，工作人员对每种类型的数据的特征是比较清楚的，例如，数据类型为用户日志的数据，其数据增长速度快，但是用户日志生成之后却很少被访问，而数据类型为用户登录信息、用户注册信息的数据，其数据增长速度较慢，仅有新用户注册后才会生成新数据，但是会因为用户登录到系统而使得相应数据被频繁访问。
可以为符合定量存储特征的数据和符合增量存储特征的数据分别分配特征标识，根据各类型数据的特征，将该数据类型映射到符合定量存储特征的数据对应的特征标识（例如标识1），或者将该数据类型映射到符合增量存储特征的数据对应的特征标识（例如标识2），从而形成数据类型和特征标识之间的映射关系。例如，建立以下映射关系：
用户登录信息<---->标识1；
用户注册信息<---->标识1；
用户日志<---->标识2。
这样，当服务器从业务子系统接收到待存储数据时，可以根据前述数据类型和特征标识的映射关系确定待存储数据所属数据类型映射的特征标识，进而根据该特征标识判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据，从而根据判断结果执行对应的存储操作。
第二种：对于每种数据类型，通过对该数据类型的数据在一段时间内的数据增长情况和数据访问情况进行统计，从而得到相应的数据增长速度和数据访问频率，并据此判定该数据类型的数据是符合定量存储特征的数据或是符合增量存储特征的数据。
在实际应用中，服务器首次从业务子系统接收到属于某一数据类型的待存储数据时，由于初始并不确定属于该数据类型的数据是符合定量存储特征的数据或是符合增量存储特征的数据，因此可以将待存储数据暂时存储在本服务器，同时还记录当前时间作为该数据类型对应的初始存储时间，并在此后的一段时间内对该数据类型的数据增长情况和数据访问情况进行统计，具体包括：当服务器从业务子系统接收到该数据类型的待存储数据时，对该数据类型的数据存储总量进行累计；当服务器从业务子系统接收对该数据类型的数据的访问请求时，对该数据类型的数据访问次数进行累计。
对于每种数据类型，当从该数据类型的初始存储时间起经过预设时长之后，根据该数据类型的数据存储总量计算该数据类型的数据增长速度，根据该数据类型的数据访问次数计算该数据类型的数据访问频率，如果该数据类型的数据增长速度低于第一预设速度值（以单条数据为单位，例如2条/小时），且该数据类型的数据访问频率高于第一预设频率值（例如300次/小时），则确定该数据类型的数据为符合定量存储特征的数据，因此可以建立该数据类型与符合定量存储特征的数据对应的特征标识之间的映射关系；如果该数据类型的数据增长速度高于第二预设速度值（例如100条/小时），且该数据类型的数据访问频率低于第二预设频率值（例如10万次/小时），则确定该数据类型的数据为符合增量存储特征的数据，因此可以建立和存储待存储数据所属数据类型与符合增量存储特征的数据对应的特征标识之间的映射关系。通常情况下，上述第一预设速度值不大于第二预设速度值；第一预设频率值不小于第二预设频率值，但是也可以有例外情况，例如数据增长速度非常快，数据访问频率稍高于第二预设频率值，此时也可以将数据划归为符合增量存储特征的数据，因此，本发明对此四个预设值的大小不做限制，具体由工作人员的经验而定。
对于每种数据类型来说，当根据该数据类型的数据增长速度和数据访问频率建立的该数据类型与符合定量存储特征的数据对应的特征标识或符合增量存储特征的数据对应的特征标识之间的映射关系之后，此后再接收到该数据类型的待存储数据时，就可以直接根据该数据类型查找映射的特征标识，根据映射的特征标识判断该数据类型是符合定量存储特征的数据或是符合增量存储特征的数据，从而根据判断结果执行对应的存储操作。
本发明实施例中，对于符合定量存储特征的数据，由于其数据增长速度慢，数据规模一般较小，需占用的存储空间较少；而且由于其数据访问频率高，为了便于访问，因此可以将符合定量存储特征的数据存储在本服务器。对于符合增量存储特征的数据，由于其数据增长速度快，数据规模一般较大，需占用的存储空间较多，使用本地内存数据库存储的方式容易引起内存不足；而且由于其数据访问频率低，不需要为了被方便访问而存储在本地内存数据库中，因此可以将符合增量存储特征的数据存储在远程分布式存储服务器。
对于初始暂时存储在本服务器的某一数据类型的数据，当确定该数据类型的数据为符合增量存储特征的数据后，还需要将该数据类型的数据迁移到远程分布式存储服务器。
现有技术中，非关系型的数据库（Not Only SQL，NOSQL）具有易扩展，大数据量，高性能，灵活的数据模型，高可用等优点得到了非常迅速的发展。并且NOSQL还具有较好的副本策略在集群水平扩展上的能力都得到很好的运用。
在本发明实施例中，利用NOSQL数据进行数据存储，具体地，将符合定量存储特征的所有数据存储到本服务器建立的NOSQL数据库中，将符合增量存储特征的所有数据存储到远程分布式存储服务器建立的NOSQL数据库集群中，通过使用一款NOSQL数据库产品实现数据存储，可以使数据便于管理。
在实际实现中，还可以对存储在远程分布式存储服务器建立的NOSQL数据库集群中的各数据类型的数据访问情况进行统计，如果数据访问频率较低，还可以进一步将数据迁移到SSD或存储介质中，实现落地存储。
以上对本发明数据处理方法的原理进行了详细介绍，基于上述原理，本发明提供了一种数据处理方法，以及一种数据处理装置，下面分别结合图2和图3进行说明。
参见图2，图2是本发明实施例数据处理方法流程图，接收数据存储请求的服务器作为本服务器，该方法应用于本服务器，主要包括以下步骤：
步骤201、本服务器接收业务子系统的数据存储请求。
数据存储请求中携带待存储数据及待存储数据所属数据类型。
步骤202、本服务器判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据，如果是符合定量存储特征的数据，则执行步骤203，如果是符合增量存储特征的数据，则执行步骤204；
根据数据存储请求中待存储数据所属数据类型判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据。
步骤203、将数据存储请求携带的待存储数据存储到本服务器；
步骤204、将数据存储请求携带的待存储数据存储到远程分布式存储服务器。
图2所示方法中，进一步包括：
本服务器接收数据访问请求，根据数据访问请求中待访问数据所属数据类型判断待访问数据是符合定量存储特征的数据或是符合增量存储特征的数据；如果待访问数据是符合定量存储特征的数据，则根据数据访问请求携带的筛选条件从本服务器获取待访问数据，并返回获取的待访问数据；如果待访问数据是符合增量存储特征的数据，则根据数据访问请求携带的筛选条件从远程分布式存储服务器获取待访问数据，并返回获取的待访问数据。
这里，所述筛选条件根据具体需求确定，可以是时间段、关键词等，例如查询某个时间段内的所有日志、查询用用户名为某个关键词的用户登录信息。从本服务器或远程分布式存储服务器获取待访问数据的方法可根据具体数据存储方式和应用环境而定，本发明对此不作限定。
图2所示方法中，
根据待存储数据所属数据类型判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据的方法为：在存储的数据类型和特征标识之间的映射关系中查找待存储数据所属数据类型映射的特征标识，如果待存储数据所属数据类型映射的特征标识为符合定量存储特征的数据对应的特征标识，则确定待存储数据确定为符合定量存储特征的数据，如果待存储数据所属数据类型映射的特征标识为符合增量存储特征的数据对应的特征标识，则确定待存储数据确定为符合增量存储特征的数据；
根据待访问数据所属数据类型判断待访问数据是符合定量存储特征的数据或是符合增量存储特征的数据的方法为：在存储的数据类型和特征标识之间的映射关系中查找待访问数据所属数据类型映射的特征标识，如果待访问数据所属数据类型映射的特征标识为符合定量存储特征的数据对应的特征标识，则确定待访问数据确定为符合定量存储特征的数据，如果待访问数据所属数据类型映射的特征标识为符合增量存储特征的数据对应的特征标识，则确定待访问数据确定为符合增量存储特征的数据；
其中，所述特征标识包括符合定量存储特征的数据对应的特征标识、符合增量存储特征的数据对应的特征标识。
图2所示方法中，
预先设定和存储数据类型和特征标识之间的映射关系。
图2所示方法中，进一步包括：
如果未在存储的数据类型和特征标识之间的映射关系中查找到待存储数据所属数据类型映射的特征标识，则将待存储数据存储到本服务器，并对待存储数据所属数据类型的数据存储总量进行累计，若是首次存储该类型的数据，则将当前时间记录为该类型的数据的初始存储时间；
如果未在存储的数据类型和特征标识之间的映射关系中查找到待访问数据所属数据类型映射的特征标识，则根据数据访问请求携带的筛选条件从本服务器获取待访问数据，并对待访问数据所属数据类型的数据访问次数进行统计。
图2所示方法中，
将当前时间记录为待存储数据所属数据类型的数据的初始存储时间之后，进一步包括：从所述初始存储时间开始起经过预设时长后，根据待存储数据所属数据类型的数据存储总量计算待存储数据所属数据类型的数据增长速度，根据待存储数据所属数据类型的数据访问次数计算待存储数据所属数据类型的数据访问频率，如果所述的数据增长速度低于第一预设速度值，且所述数据访问频率高于第一预设频率值，则建立和存储待存储数据所属数据类型与符合定量存储特征的数据对应的特征标识之间的映射关系；如果所述数据增长速度高于第二预设速度值，且所述数据访问频率低于第二预设频率值，则建立和存储待存储数据所属数据类型与符合增量存储特征的数据对应的特征标识之间的映射关系；
第一预设速度值不大于第二预设速度值；第一预设频率值不小于第二预设频率值。
图2所示方法中，
建立和存储待存储数据所属数据类型与符合增量存储特征的数据对应的特征标识之间的映射关系之后，进一步包括：
将存储待存储数据所属数据类型的所有数据从本服务器迁移到远程分布式存储服务器。
图2所示方法中，
将数据存储请求携带的待存储数据存储到本服务器的方法为：将待存储数据存储到本服务器建立的NOSQL数据库中；
将数据存储请求携带的待存储数据存储到远程分布式存储服务器的方法为：将待存储数据存储到远程分布式存储服务器建立的NOSQL数据库集群中。
其中，将数据增长速度（例如数据增长速度低于第一预设速度值）较慢、数据访问频率（例如数据访问频率高于第一预设频率值）较高的数据划归为符合定量存储特征的数据。将数据增长速度（例如数据增长速度高于第二预设速度值）较快、数据访问频率（例如数据访问频率低于第二预设频率值）较低的数据划归为符合增量存储特征的数据。
参见图3，图3是本发明实施例数据处理装置的结构示意图，如图3所示，将接收数据存储请求的服务器作为本服务器，该装置应用于本服务器，包括：接收单元301、判断单元302、处理单元303；其中，
接收单元301，用于接收数据存储请求；
判断单元302，用于根据数据存储请求中待存储数据所属数据类型，判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据；
处理单元303，用于如果待存储数据是符合定量存储特征的数据，则将数据存储请求携带的待存储数据存储到本服务器；如果待存储数据时符合增量存储特征的数据，则将数据存储请求携带的待存储数据存储到远程分布式存储服务器。
图3所示装置中，
所述接收单元301，进一步用于接收数据访问请求；
所述判断单元302，进一步用于根据数据访问请求中待访问数据所属数据类型，判断待访问数据是符合定量存储特征的数据或是符合增量存储特征的数据；
所述处理单元303，进一步用于如果待访问数据是符合定量存储特征的数据，则根据数据访问请求携带的筛选条件，从本服务器获取待访问数据，并返回获取的待访问数据；如果待访问数据是符合增量存储特征的数据，则根据数据访问请求携带的筛选条件，从远程分布式存储服务器获取待访问数据，并返回获取的待访问数据。
图3所示装置中，
所述判断单元302在根据待存储数据所属数据类型，判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据时，用于：
在存储的数据类型和特征标识之间的映射关系中，查找待存储数据所属数据类型映射的特征标识；
如果待存储数据所属数据类型映射的特征标识为符合定量存储特征的数据对应的特征标识，则确定待存储数据确定为符合定量存储特征的数据；
如果待存储数据所属数据类型映射的特征标识为符合增量存储特征的数据对应的特征标识，则确定待存储数据确定为符合增量存储特征的数据；
所述判断单元302在根据待访问数据所属数据类型，判断待访问数据是符合定量存储特征的数据或是符合增量存储特征的数据时，用于：
在存储的数据类型和特征标识之间的映射关系中，查找待访问数据所属数据类型映射的特征标识，
如果待访问数据所属数据类型映射的特征标识为符合定量存储特征的数据对应的特征标识，则确定待访问数据确定为符合定量存储特征的数据；
如果待访问数据所属数据类型映射的特征标识为符合增量存储特征的数据对应的特征标识，则确定待访问数据确定为符合增量存储特征的数据；
其中，所述特征标识包括符合定量存储特征的数据对应的特征标识、或者符合增量存储特征的数据对应的特征标识。
图3所示装置中，还包括设置单元304；
所述设置单元，用于预先设定和存储数据类型和特征标识之间的映射关系。
图3所示装置中，还包括设置单元304；
所述设置单元304，用于判断单元302在存储的数据类型和特征标识之间的映射关系中，未查找到待存储数据所属数据类型映射的特征标识的情况下，将待存储数据存储到本服务器，并对待存储数据所属数据类型的数据存储总量进行累计，若是首次存储该类型的数据，则将当前时间记录为该类型的数据的初始存储时间；用于判断单元302在存储的数据类型和特征标识之间的映射关系中，未查找到待访问数据所属数据类型映射的特征标识的情况下，根据数据访问请求携带的筛选条件，从本服务器获取待访问数据，并对待访问数据所属数据类型的数据访问次数进行统计。
图3所示装置中，
所述设置单元304在将当前时间记录为待存储数据所属数据类型的数据的初始存储时间之后，进一步用于：
从所述初始存储时间开始起，经过预设时长后，根据待存储数据所属数据类型的数据存储总量，计算待存储数据所属数据类型的数据增长速度，
根据待存储数据所属数据类型的数据访问次数，计算待存储数据所属数据类型的数据访问频率，
如果所述的数据增长速度低于第一预设速度值，且所述数据访问频率高于第一预设频率值，则建立和存储待存储数据所属数据类型与符合定量存储特征的数据对应的特征标识之间的映射关系；
如果所述数据增长速度高于第二预设速度值，且所述数据访问频率低于第二预设频率值，则建立和存储待存储数据所属数据类型与符合增量存储特征的数据对应的特征标识之间的映射关系；
其中，第一预设速度值不大于第二预设速度值；第一预设频率值不小于第二预设频率值。
图3所示装置中，
所述处理单元303，在设置单元建立和存储待存储数据所属数据类型与符合增量存储特征的数据对应的特征标识之间的映射关系之后，进一步用于：
将存储待存储数据所属数据类型的所有数据，从本服务器迁移到远程分布式存储服务器。
图3所示装置中，
所述处理单元303将数据存储请求携带的待存储数据存储到本服务器时，用于：将待存储数据存储到本服务器建立的NOSQL内存数据库中；
所述处理单元303将数据存储请求携带的待存储数据存储到远程分布式存储服务器时，用于：将待存储数据存储到远程分布式存储服务器建立的NOSQL数据库集群中。
综上所述，本发明中通过将数据分为符合定量存储特征的数据和符合增量存储特征的数据，将符合定量存储特征的数据存储到本服务器中的NOSQL数据库，将符合增量存储特征的数据存储到远程分布式存储服务器中的NOSQL数据库集群，从而可以解决本服务器在存储数据时可能出现的内存不足的问题。而且，本发明中还通过把单机的NOSQL内存数据库存储和分布式的NOSQL高速数据库结合起来，使用一款NOSQL产品解决原先杂乱的多个开源产品配合使用，具有非常好的扩展性。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (16)
1.一种数据处理方法，其特征在于，接收数据存储请求的服务器作为本服务器；该方法应用于本服务器，包括：
本服务器接收数据存储请求，根据数据存储请求中待存储数据所属数据类型，判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据；
如果待存储数据是符合定量存储特征的数据，则将数据存储请求携带的待存储数据存储到本服务器；
如果待存储数据时符合增量存储特征的数据，则将数据存储请求携带的待存储数据存储到远程分布式存储服务器。
2.根据权利要求1所述的方法，其特征在于，该方法进一步包括：
接收数据访问请求，根据数据访问请求中待访问数据所属数据类型，判断待访问数据是符合定量存储特征的数据或是符合增量存储特征的数据；
如果待访问数据是符合定量存储特征的数据，则根据数据访问请求携带的筛选条件，从本服务器获取待访问数据，并返回获取的待访问数据；
如果待访问数据是符合增量存储特征的数据，则根据数据访问请求携带的筛选条件，从远程分布式存储服务器获取待访问数据，并返回获取的待访问数据。
3.根据权利要求2所述的方法，其特征在于，
所述根据待存储数据所属数据类型，判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据的方法为：
在存储的数据类型和特征标识之间的映射关系中，查找待存储数据所属数据类型映射的特征标识；
如果待存储数据所属数据类型映射的特征标识为符合定量存储特征的数据对应的特征标识，则确定待存储数据确定为符合定量存储特征的数据；
如果待存储数据所属数据类型映射的特征标识为符合增量存储特征的数据对应的特征标识，则确定待存储数据确定为符合增量存储特征的数据；
所述根据待访问数据所属数据类型，判断待访问数据是符合定量存储特征的数据或是符合增量存储特征的数据的方法为：
在存储的数据类型和特征标识之间的映射关系中，查找待访问数据所属数据类型映射的特征标识，
如果待访问数据所属数据类型映射的特征标识为符合定量存储特征的数据对应的特征标识，则确定待访问数据确定为符合定量存储特征的数据；
如果待访问数据所属数据类型映射的特征标识为符合增量存储特征的数据对应的特征标识，则确定待访问数据确定为符合增量存储特征的数据；
其中，所述特征标识包括符合定量存储特征的数据对应的特征标识、或者符合增量存储特征的数据对应的特征标识。
4.根据权利要求3所述的方法，其特征在于，
预先设定和存储数据类型和特征标识之间的映射关系。
5.根据权利要求3所述的方法，该方法进一步包括：
如果在存储的数据类型和特征标识之间的映射关系中，未查找到待存储数据所属数据类型映射的特征标识，则将待存储数据存储到本服务器，并对待存储数据所属数据类型的数据存储总量进行累计，若是首次存储该类型的数据，则将当前时间记录为该类型的数据的初始存储时间；
如果在存储的数据类型和特征标识之间的映射关系中，未查找到待访问数据所属数据类型映射的特征标识，则根据数据访问请求携带的筛选条件，从本服务器获取待访问数据，并对待访问数据所属数据类型的数据访问次数进行统计。
6.根据权利要求5所述的方法，其特征在于，
所述将当前时间记录为待存储数据所属数据类型的数据的初始存储时间之后，进一步包括：
从所述初始存储时间开始起，经过预设时长后，根据待存储数据所属数据类型的数据存储总量，计算待存储数据所属数据类型的数据增长速度，
根据待存储数据所属数据类型的数据访问次数，计算待存储数据所属数据类型的数据访问频率，
如果所述的数据增长速度低于第一预设速度值，且所述数据访问频率高于第一预设频率值，则建立和存储待存储数据所属数据类型与符合定量存储特征的数据对应的特征标识之间的映射关系；
如果所述数据增长速度高于第二预设速度值，且所述数据访问频率低于第二预设频率值，则建立和存储待存储数据所属数据类型与符合增量存储特征的数据对应的特征标识之间的映射关系；
其中，第一预设速度值不大于第二预设速度值；第一预设频率值不小于第二预设频率值。
7.根据权利要去6所述的方法，其特征在于，
所述建立和存储待存储数据所属数据类型与符合增量存储特征的数据对应的特征标识之间的映射关系之后，进一步包括：
将存储待存储数据所属数据类型的所有数据，从本服务器迁移到远程分布式存储服务器。
8.根据权利要求2-7中任一权项所述的方法，其特征在于，
所述将数据存储请求携带的待存储数据存储到本服务器的方法为：
将待存储数据存储到本服务器建立的NOSQL内存数据库中；
所述将数据存储请求携带的待存储数据存储到远程分布式存储服务器的方法为：将待存储数据存储到远程分布式存储服务器建立的NOSQL数据库集群中。
9.一种数据处理装置，其特征在于，接收数据存储请求的服务器作为本服务器，该装置应用于本服务器，包括：接收单元、判断单元、处理单元；
所述接收单元，用于接收数据存储请求；
所述判断单元，用于根据数据存储请求中待存储数据所属数据类型，判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据；
所述处理单元，用于如果待存储数据是符合定量存储特征的数据，则将数据存储请求携带的待存储数据存储到本服务器；如果待存储数据时符合增量存储特征的数据，则将数据存储请求携带的待存储数据存储到远程分布式存储服务器。
10.根据权利要求9所述的装置，其特征在于，
所述接收单元，进一步用于接收数据访问请求；
所述判断单元，进一步用于根据数据访问请求中待访问数据所属数据类型，判断待访问数据是符合定量存储特征的数据或是符合增量存储特征的数据；
所述处理单元，用于如果待访问数据是符合定量存储特征的数据，则根据数据访问请求携带的筛选条件，从本服务器获取待访问数据，并返回获取的待访问数据；如果待访问数据是符合增量存储特征的数据，则根据数据访问请求携带的筛选条件，从远程分布式存储服务器获取待访问数据，并返回获取的待访问数据。
11.根据权利要求10所述的装置，其特征在于，
所述判断单元在根据待存储数据所属数据类型，判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据时，用于：
在存储的数据类型和特征标识之间的映射关系中，查找待存储数据所属数据类型映射的特征标识；
如果待存储数据所属数据类型映射的特征标识为符合定量存储特征的数据对应的特征标识，则确定待存储数据确定为符合定量存储特征的数据；
如果待存储数据所属数据类型映射的特征标识为符合增量存储特征的数据对应的特征标识，则确定待存储数据确定为符合增量存储特征的数据；
所述判断单元在根据待访问数据所属数据类型，判断待访问数据是符合定量存储特征的数据或是符合增量存储特征的数据时，用于：
在存储的数据类型和特征标识之间的映射关系中，查找待访问数据所属数据类型映射的特征标识，
如果待访问数据所属数据类型映射的特征标识为符合定量存储特征的数据对应的特征标识，则确定待访问数据确定为符合定量存储特征的数据；
如果待访问数据所属数据类型映射的特征标识为符合增量存储特征的数据对应的特征标识，则确定待访问数据确定为符合增量存储特征的数据；
其中，所述特征标识包括符合定量存储特征的数据对应的特征标识、或者符合增量存储特征的数据对应的特征标识。
12.根据权利要求11所述的装置，其特征在于，该装置还包括设置单元；
所述设置单元，用于预先设定和存储数据类型和特征标识之间的映射关系。
13.根据权利要求11所述的装置，其特征在于，该装置还包括设置单元；
所述设置单元，用于判断单元在存储的数据类型和特征标识之间的映射关系中，未查找到待存储数据所属数据类型映射的特征标识的情况下，将待存储数据存储到本服务器，并对待存储数据所属数据类型的数据存储总量进行累计，若是首次存储该类型的数据，则将当前时间记录为该类型的数据的初始存储时间；用于判断单元在存储的数据类型和特征标识之间的映射关系中，未查找到待访问数据所属数据类型映射的特征标识的情况下，根据数据访问请求携带的筛选条件，从本服务器获取待访问数据，并对待访问数据所属数据类型的数据访问次数进行统计。
14.根据权利要求13所述的装置，其特征在于，
所述设置单元在将当前时间记录为待存储数据所属数据类型的数据的初始存储时间之后，进一步用语：
从所述初始存储时间开始起，经过预设时长后，根据待存储数据所属数据类型的数据存储总量，计算待存储数据所属数据类型的数据增长速度，
根据待存储数据所属数据类型的数据访问次数，计算待存储数据所属数据类型的数据访问频率，
如果所述的数据增长速度低于第一预设速度值，且所述数据访问频率高于第一预设频率值，则建立和存储待存储数据所属数据类型与符合定量存储特征的数据对应的特征标识之间的映射关系；
如果所述数据增长速度高于第二预设速度值，且所述数据访问频率低于第二预设频率值，则建立和存储待存储数据所属数据类型与符合增量存储特征的数据对应的特征标识之间的映射关系；
其中，第一预设速度值不大于第二预设速度值；第一预设频率值不小于第二预设频率值。
15.根据权利要去14所述的装置，其特征在于，
所述处理单元，在设置单元建立和存储待存储数据所属数据类型与符合增量存储特征的数据对应的特征标识之间的映射关系之后，进一步用于：
将存储待存储数据所属数据类型的所有数据，从本服务器迁移到远程分布式存储服务器。
16.根据权利要求10-15中任一权项所述的装置，其特征在于，
所述处理单元将数据存储请求携带的待存储数据存储到本服务器时，用于：将待存储数据存储到本服务器建立的NOSQL内存数据库中；
所述处理单元将数据存储请求携带的待存储数据存储到远程分布式存储服务器时，用于：将待存储数据存储到远程分布式存储服务器建立的NOSQL数据库集群中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410133396.7A CN104978324B (zh) | 2014-04-03 | 2014-04-03 | 一种数据处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410133396.7A CN104978324B (zh) | 2014-04-03 | 2014-04-03 | 一种数据处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104978324A true CN104978324A (zh) | 2015-10-14 |
| CN104978324B CN104978324B (zh) | 2020-06-16 |
Family
ID=54274839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410133396.7A Active CN104978324B (zh) | 2014-04-03 | 2014-04-03 | 一种数据处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104978324B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108898519A (zh) * | 2018-06-05 | 2018-11-27 | 上海速云信息科技有限公司 | 一种在线平台授课方法 |
| CN109144960A (zh) * | 2018-08-18 | 2019-01-04 | 王梅 | 根据区域范围在移动互联网内进行数据预取的方法及系统 |
| CN109240574A (zh) * | 2018-08-18 | 2019-01-18 | 王梅 | 基于运行热度在移动互联网内进行文件预取的方法及系统 |
| CN110765479A (zh) * | 2019-11-03 | 2020-02-07 | 长沙豆芽文化科技有限公司 | 一种大数据防丢失方法、装置及设备 |
| CN110784482A (zh) * | 2019-11-04 | 2020-02-11 | 浙江国利信安科技有限公司 | 一种工业审计系统的报文存储方法及装置 |
| CN111143369A (zh) * | 2019-12-27 | 2020-05-12 | 合肥美的智能科技有限公司 | 云端业务数据转存方法及装置、本地服务器及电子设备 |
| CN112000749A (zh) * | 2020-07-31 | 2020-11-27 | 恒大智慧科技有限公司 | 一种服务器、数据存储方法、以及计算机设备 |
| CN112766713A (zh) * | 2021-01-15 | 2021-05-07 | 国家海洋信息中心 | 一种海洋应急指挥调度的数据处理方法、设备及存储介质 |
| CN113849476A (zh) * | 2020-06-28 | 2021-12-28 | 中兴通讯股份有限公司 | 数据迁移方法、装置、网络设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609452A (zh) * | 2012-01-11 | 2012-07-25 | 上海西本网络科技有限公司 | 数据的存储方法及装置 |
| US20130003472A1 (en) * | 2007-06-15 | 2013-01-03 | Micron Technology, Inc. | Memory with correlated resistance |
| CN102937857A (zh) * | 2011-09-12 | 2013-02-20 | 微软公司 | 从虚拟化数据源高效提供数据 |
| CN103455599A (zh) * | 2013-09-03 | 2013-12-18 | 北京网秦天下科技有限公司 | 用于数据同步的方法、设备和系统 |
| CN103559247A (zh) * | 2013-10-29 | 2014-02-05 | 北京华胜天成科技股份有限公司 | 一种数据业务处理方法及装置 |
| CN103677654A (zh) * | 2012-09-24 | 2014-03-26 | 联想(北京)有限公司 | 一种存储数据的方法及电子设备 |
| CN103678140A (zh) * | 2012-09-03 | 2014-03-26 | 联想(北京)有限公司 | 一种存储数据的方法及电子设备 |
-
2014
- 2014-04-03 CN CN201410133396.7A patent/CN104978324B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130003472A1 (en) * | 2007-06-15 | 2013-01-03 | Micron Technology, Inc. | Memory with correlated resistance |
| CN102937857A (zh) * | 2011-09-12 | 2013-02-20 | 微软公司 | 从虚拟化数据源高效提供数据 |
| CN102609452A (zh) * | 2012-01-11 | 2012-07-25 | 上海西本网络科技有限公司 | 数据的存储方法及装置 |
| CN103678140A (zh) * | 2012-09-03 | 2014-03-26 | 联想(北京)有限公司 | 一种存储数据的方法及电子设备 |
| CN103677654A (zh) * | 2012-09-24 | 2014-03-26 | 联想(北京)有限公司 | 一种存储数据的方法及电子设备 |
| CN103455599A (zh) * | 2013-09-03 | 2013-12-18 | 北京网秦天下科技有限公司 | 用于数据同步的方法、设备和系统 |
| CN103559247A (zh) * | 2013-10-29 | 2014-02-05 | 北京华胜天成科技股份有限公司 | 一种数据业务处理方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 曾文英: "《面向移动环境的数据存储管理方法关键技术研究》", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108898519A (zh) * | 2018-06-05 | 2018-11-27 | 上海速云信息科技有限公司 | 一种在线平台授课方法 |
| CN109144960A (zh) * | 2018-08-18 | 2019-01-04 | 王梅 | 根据区域范围在移动互联网内进行数据预取的方法及系统 |
| CN109240574A (zh) * | 2018-08-18 | 2019-01-18 | 王梅 | 基于运行热度在移动互联网内进行文件预取的方法及系统 |
| CN109240574B (zh) * | 2018-08-18 | 2022-10-28 | 联洋国融(北京)科技有限公司 | 基于运行热度在移动互联网内进行文件预取的方法及系统 |
| CN109144960B (zh) * | 2018-08-18 | 2022-05-06 | 轩克科技(上海)有限公司 | 根据区域范围在移动互联网内进行数据预取的方法及系统 |
| CN110765479A (zh) * | 2019-11-03 | 2020-02-07 | 长沙豆芽文化科技有限公司 | 一种大数据防丢失方法、装置及设备 |
| CN110765479B (zh) * | 2019-11-03 | 2020-04-24 | 长沙豆芽文化科技有限公司 | 一种大数据防丢失方法、装置及设备 |
| CN110784482B (zh) * | 2019-11-04 | 2022-03-25 | 浙江国利信安科技有限公司 | 一种工业审计系统的报文存储方法及装置 |
| CN110784482A (zh) * | 2019-11-04 | 2020-02-11 | 浙江国利信安科技有限公司 | 一种工业审计系统的报文存储方法及装置 |
| CN111143369A (zh) * | 2019-12-27 | 2020-05-12 | 合肥美的智能科技有限公司 | 云端业务数据转存方法及装置、本地服务器及电子设备 |
| WO2022001942A1 (zh) * | 2020-06-28 | 2022-01-06 | 中兴通讯股份有限公司 | 数据迁移方法、装置、网络设备和存储介质 |
| CN113849476A (zh) * | 2020-06-28 | 2021-12-28 | 中兴通讯股份有限公司 | 数据迁移方法、装置、网络设备和存储介质 |
| CN112000749A (zh) * | 2020-07-31 | 2020-11-27 | 恒大智慧科技有限公司 | 一种服务器、数据存储方法、以及计算机设备 |
| CN112766713A (zh) * | 2021-01-15 | 2021-05-07 | 国家海洋信息中心 | 一种海洋应急指挥调度的数据处理方法、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104978324B (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104978324A (zh) | 一种数据处理方法和装置 | |
| CN104025054B (zh) | 虚拟环境中的动态存储分层 | |
| CN103324724B (zh) | 数据处理方法及装置 | |
| CN106648446A (zh) | 一种用于时序数据的存储方法、装置及电子设备 | |
| US10769114B2 (en) | Database syncing | |
| CN103812939A (zh) | 一种大数据存储系统 | |
| CN104866434A (zh) | 面向多应用的数据存储系统和数据存储、调用方法 | |
| CN102591864B (zh) | 比对系统中的数据更新方法及装置 | |
| CN106126334A (zh) | 概率性重复数据删除感知的工作负载迁移 | |
| CN107391600A (zh) | 用于在内存中存取时序数据的方法和装置 | |
| CN113127848A (zh) | 一种权限系统数据的存储方法及相关设备 | |
| CN109241004A (zh) | 元数据文件大小恢复方法、系统、装置及可读存储介质 | |
| CN110008197A (zh) | 一种数据处理方法、系统及电子设备和存储介质 | |
| CN106104480A (zh) | 使用相似性保留签名的集群范围的内存管理 | |
| CN107408132A (zh) | 在列存储中的插入和点查询操作的有效性能 | |
| CN107092525A (zh) | 数据缓存方法和装置 | |
| US20090006501A1 (en) | Zone Control Weights | |
| CN108304142A (zh) | 一种数据管理方法和装置 | |
| CN107506466A (zh) | 一种小文件存储方法及系统 | |
| CN106570029A (zh) | 分布式关系型数据库的数据处理方法及系统 | |
| CN111427920B (zh) | 数据采集方法、装置、系统、计算机设备及存储介质 | |
| CN104391947A (zh) | 海量gis数据实时处理方法及系统 | |
| CN105245624A (zh) | 一种云存储文件系统 | |
| EP3264254A1 (en) | System and method for a simulation of a block storage system on an object storage system | |
| KR102214697B1 (ko) | 데이터베이스 관리 시스템에서 데이터 저장을 위한 공간 관리를 제공하는 컴퓨터 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211222 Address after: 650200 19F, Kungang science and technology building, No. 777, Huancheng South Road, Xishan District, Kunming City, Yunnan Province Patentee after: Yunnan Tengyun Information Industry Co.,Ltd. Address before: 2, 518044, East 403 room, SEG science and Technology Park, Zhenxing Road, Shenzhen, Guangdong, Futian District Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd. |