CN104731896B - 一种数据处理方法及系统 - Google Patents
一种数据处理方法及系统 Download PDFInfo
- Publication number
- CN104731896B CN104731896B CN201510119217.9A CN201510119217A CN104731896B CN 104731896 B CN104731896 B CN 104731896B CN 201510119217 A CN201510119217 A CN 201510119217A CN 104731896 B CN104731896 B CN 104731896B
- Authority
- CN
- China
- Prior art keywords
- data
- candidate
- target
- database
- physical table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 15
- 238000003860 storage Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims description 31
- 238000005070 sampling Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1737—Details of further file system functions for reducing power consumption or coping with limited storage space, e.g. in mobile devices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种数据处理方法及系统。一方面，本发明实施例通过根据输入的键值，从第一数据库中获得对应的标识ID和元信息；其中，所述第一数据库用于存储候选时间序列数据的元信息和ID；从而，根据所述元信息，确定目标逻辑表；进而，根据所述ID和所述目标逻辑表，在所述目标逻辑表对应的候选物理表中确定目标物理表，以及对所述目标物理表执行写数据操作或者执行目标时间序列数据的读数据操作。因此，本发明实施例提供的技术方案能够实现提高数据库的存储性能，以及提高数据的读/写操作速度。
Description
【技术领域】
本发明涉及计算机技术领域，尤其涉及一种数据处理方法及系统。
【背景技术】
内容分发网络(Content Delivery Network，CDN)平台需要使用数据存储系统，该数据存储系统为CDN平台的业务运营、服务质量等数据挖掘，提供了大量的基础原始数据。目前，数据存储系统用于存储大规模的时间序列数据，如采集的监控数据或者采集的日志数据等。
现有技术中，所述数据存储系统利用开源时序数据库(Open TimestampDatabase，OpenTSDB)实现。OpenTSDB是基于Hadoop平台实现的，能够提供数据的读/写服务和图形展示服务。
然而，Hadoop平台是一种复杂的分布式系统基础架构，基于Hadoop平台实现的OpenTSDB中数据的存储格式和索引结构，都导致OpenTSDB的存储空间有限，以及数据的读/写操作速度比较慢。
【发明内容】
有鉴于此，本发明实施例提供了一种数据处理方法及系统，可以实现提高数据库的存储性能，以及提高数据的读/写操作速度。
本发明实施例的一方面，提供一种数据处理方法，包括：
根据输入的键值，从第一数据库中获得对应的标识ID和元信息；其中，所述第一数据库用于存储候选时间序列数据的元信息和ID；
根据所述元信息，确定目标逻辑表；
根据所述ID和所述目标逻辑表，在所述目标逻辑表对应的候选物理表中确定目标物理表，以及对所述目标物理表执行写数据操作或者执行目标时间序列数据的读数据操作。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述第一数据库的数目为一个；和/或，
利用第二数据库存储所述候选物理表，以及，至少两个所述第二数据库组成一个存储集群，属于同一存储集群的至少两个所述第二数据库中存储的候选物理表相同；和/或，
所述存储集群的数目为至少两个。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述元信息包括所述目标时间序列数据的类别和时间戳；所述根据所述元信息，确定目标逻辑表，包括：
根据所述目标时间序列数据的类别，确定至少两个候选逻辑表；
根据所述时间戳，在所述至少两个候选逻辑表中确定一个所述目标逻辑表。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述元信息，确定目标逻辑表之前，所述方法还包括：
根据ID对候选时间序列数据进行分割，将具有相同ID的候选时间序列数据存储在同一个候选物理表；以及，
根据所述候选时间序列数据的类别和所述候选物理表，生成至少一个初始逻辑表，以及，根据时间信息对每个所述初始逻辑表进行分割，以获得至少两个所述候选逻辑表。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述对所述目标物理表执行目标时间序列数据的读数据操作，包括：
利用所述ID，在所述目标物理表中进行查找，以获得所述ID对应的候选时间序列数据；
利用所述时间戳，在所述ID对应的候选时间序列数据中，获得目标时间序列数据，以实现所述目标时间序列数据的读数据操作。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，若对所述目标物理表执行写数据操作，所述根据输入的键值，从第一数据库中获得对应的ID和元信息之前，所述方法还包括：
获得输入的候选时间序列数据；
根据所述候选时间序列数据的时间戳，对所述候选时间序列数据进行抽样，经过抽样获得的所述候选时间序列数据，用于在确定所述目标物理表后，写入所述目标物理表。
本发明实施例的一方面，提供一种数据处理系统，所述系统包括数据接口模块和第一数据库；其中，
所述数据接口模块，用于根据输入的键值，从所述第一数据库中获得对应的标识ID和元信息；其中，所述第一数据库用于存储候选时间序列数据的元信息和ID；
所述数据接口模块，还用于根据所述元信息，确定目标逻辑表；
所述数据接口模块，还用于根据所述ID和所述目标逻辑表，在所述目标逻辑表对应的候选物理表中确定目标物理表，以及对所述目标物理表执行写数据操作或者执行目标时间序列数据的读数据操作。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述第一数据库的数目为一个；和/或，
所述系统还包括至少两个存储集群，每个所述存储集群包括至少两个第二数据库，每个所述第二数据库用于存储候选物理表，属于同一存储集群的至少两个所述第二数据库中存储的候选物理表相同。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述元信息包括所述目标时间序列数据的类别和时间戳；所述数据接口模块具体用于：
根据所述目标时间序列数据的类别，确定至少两个候选逻辑表；
根据所述时间戳，在所述至少两个候选逻辑表中确定一个所述目标逻辑表。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述数据接口模块，还用于：
根据ID对候选时间序列数据进行分割，将具有相同ID的候选时间序列数据存储在同一个候选物理表；以及，
根据所述候选时间序列数据的类别和所述候选物理表，生成至少一个初始逻辑表，以及，根据时间信息对每个所述初始逻辑表进行分割，以获得至少两个所述候选逻辑表。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述数据接口模块具体用于：
利用所述ID，在所述目标物理表中进行查找，以获得所述ID对应的候选时间序列数据；
利用所述时间戳，在所述ID对应的候选时间序列数据中，获得目标时间序列数据，以实现所述目标时间序列数据的读数据操作。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，若对所述目标物理表执行写数据操作，所述数据接口模块还用于：
获得输入的候选时间序列数据；
根据所述候选时间序列数据的时间戳，对所述候选时间序列数据进行抽样，经过抽样获得的所述候选时间序列数据，用于在确定所述目标物理表后，写入所述目标物理表。
由以上技术方案可以看出，本发明实施例具有以下有益效果：
本发明实施例提供的技术方案中，基于多级的数据分割方式，先通过元信息确定目标逻辑表，再通过ID和目标逻辑表确定目标物理表，与现有技术中，在数据库中单表中执行写数据操作或者读数据操作的方式相比，能够解决数据库中单表因为数据容量限制带来的读写速度较低和数据存储容量有限的问题，能够实现提高数据库的存储性能，以及提高数据的读/写操作速度。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例所提供的数据处理方法的流程示意图；
图2是本发明实施例所提供的数据处理方法所应用的系统的结构示例图；
图3是本发明实施例所提供的数据处理系统的功能方块图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二等来描述数据库，但这些数据库不应限于这些术语。这些术语仅用来将数据库彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一数据库也可以被称为第二数据库，类似地，第二数据库也可以被称为第一数据库。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
实施例一
本发明实施例给出一种数据处理方法，请参考图1，其为本发明实施例所提供的数据处理方法的流程示意图，如图所示，该方法包括以下步骤：
S101，根据输入的键值，从第一数据库中获得对应的标识ID和元信息；其中，所述第一数据库用于存储候选时间序列数据的元信息和ID。
S102，根据所述元信息，确定目标逻辑表。
S103，根据所述ID和所述目标逻辑表，在所述目标逻辑表对应的候选物理表中确定目标物理表，以及对所述目标物理表执行写数据操作或者执行目标时间序列数据的读数据操作。
实施例二
请参考图2，其为本发明实施例所提供的数据处理方法所应用的系统的结构示例图，如图所示，所述数据处理方法所应用的系统中包括一个第一数据库，以及至少两个存储集群。
优选的，如图2所示，每个所述存储集群包含至少两个第二数据库，每个所述第二数据库都用于存储候选物理表。而且，属于同一存储集群的至少两个所述第二数据库中存储的候选物理表相同。
优选的，所述第一数据库可以利用Meta数据库实现，第二数据库可以利用MySQL实现。
优选的，每个存储集群中包含的至少两个第二数据库中，可以有一个第二数据库作为主数据库，其余的至少一个第二数据库作为从数据库。
优选的，所述第一数据库用于存储候选时间序列数据的元信息和ID，所述元信息可以包括但不限于：候选时间序列数据的键值(Key)、候选时间序列数据的类别和时间戳(Timestamp)。
优选的，所述第二数据库中存储的候选物理表中包含候选时间序列数据的三元组(ID、Timestamp、Value)。
优选的，每个候选事件序列数据的三元组可以但不限于占用16字节长度。
需要说明的是，本发明实施例中，第二数据库利用16字节长度作为数据存储单位，能够有效的减少数据占用的存储空间，从而提高读数据操作或者写数据操作速度，提高数据的读写性能。
举例说明，主数据库可以从数据接口模块接收到其他系统需要写入磁盘的数据，然后由主数据库将数据写入磁盘，并将写入的数据的三元组写入自身存储的候选物理表，并将该数据的三元组同步到每个从数据库中，这样，当主数据库出现故障后，可以执行自动主从切换机制，将写数据的指向信息由主数据库改为从数据库，由从数据库执行写数据操作和读数据操作。
需要说明的是，本发明实施例中，在每个存储集群中配置自动主从切换机制，不会因为主数据库的故障而停止读数据服务或者写数据服务，能够提高数据存储的可靠性。
另外，本发明实施例中，采用分布式的存储集群方案，能够提高读/写数据的性能，以及可以根据数据量需求，灵活地对存储空间进行扩容。
可选的，如图2所示，该系统还可以包括数据展示模块，该数据展示模块用于提供数据展示功能，可以将读数据操作的结果展现给用户。
实施例三
基于上述实施例一所提供的数据处理方法、实施例一和实施例二，本发明实施例对S101的方法进行具体描述。该步骤具体可以包括：
举例说明，本发明实施例中，根据输入的键值，从第一数据库中获得对应的标识(Identity，ID)和元信息的方法可以包括但不限于：当需要从第二数据库中读取目标时间序列数据时，或者，当需要向第二数据库中写入目标时间序列数据时，都需要输入该目标时间序列数据的Key，这样，就可以利用用户输入的Key，先在第一数据库中进行查找，从第一数据库中获得该Key对应的ID和元信息，该Key对应的ID和元信息就是目标时间序列数据的ID和元信息。
实施例四
基于上述实施例一所提供的数据处理方法、实施例一～实施例三，本发明实施例对S102的方法进行具体描述。该步骤具体可以包括：
优选的，本发明实施例中，可以利用多级的数据水平分割方法，对第二数据库中的候选物理表进行分割。例如，可以根据ID对候选时间序列数据进行分割，将具有相同ID的候选时间序列数据存储在同一个候选物理表中。
优选的，还可以根据候选时间序列数据的类别和所述候选物理表，生成至少一个初始逻辑表，以及，根据时间信息对每个所述初始逻辑表进行分割，以获得至少两个所述候选逻辑表。
例如，可以根据时间信息，按照月份对每个所述初始逻辑表进行分割。这种初始逻辑表的分割方式，使得第二数据库中可以存在多个候选逻辑表和多个候选物理表，从而可以将第二数据库的存储能力提高106倍以上，解决了现有技术中由于数据存储量有限制导致的单表的读写性能较差和最大存储容量较低的问题。
需要说明的是，第二数据库中的候选物理表的数量庞大，无法都展现给用户，因此，可以生成用于展现给用户的候选逻辑表，每个候选逻辑表都可以对应至少两个候选物理表。
举例说明，基于上述获得的候选物理表和初始逻辑表，本发明实施例中，根据所述元信息，确定目标逻辑表的方法可以包括但不限于：
首先，根据获得的元信息中所述目标时间序列数据的类别，确定至少两个候选逻辑表。然后，根据获得的元信息中所述目标时间序列数据的时间戳，在所述至少两个候选逻辑表中确定一个所述目标逻辑表。
例如，所述目标时间序列数据的类别可以包括机器数据或者应用类数据等。
实施例五
基于上述实施例一所提供的数据处理方法、实施例一～实施例四，本发明实施例对S103的方法进行具体描述。该步骤具体可以包括：
举例说明，根据所述ID和所述目标逻辑表，在所述目标逻辑表对应的候选物理表中确定目标物理表的方法可以包括但不限于：利用所述ID，进行哈希计算，以获得所述ID的哈希值，然后利用所述ID的哈希值和所述目标逻辑表，在所述目标逻辑表对应的候选物理表中确定目标物理表。
举例说明，本发明实施例中，对所述目标物理表执行目标时间序列数据的读数据操作的方法可以包括但不限于：
先利用所述ID，在所述目标物理表中进行查找，以获得所述ID对应的候选时间序列数据。然后，再利用所述时间戳，在所述ID对应的候选时间序列数据中，获得目标时间序列数据，以实现所述目标时间序列数据的读数据操作。
需要说明的是，现有技术中是利用时间戳+ID作为复合索引，需要在物理表中查找较多的索引，并且需要读取较多的数据块。与现有技术相比，本发明实施例中，利用ID+时间戳作为复合索引，在目标物理表中查找目标时间序列数据时，需要查找的索引更少，需要读取的数据块更少，因此能够提高数据的查找速度，从而能够提高读数据操作的速度，提高读写效率。
实施例六
基于上述实施例一所提供的数据处理方法、实施例一～实施例五，本发明实施例对S103的方法进行具体描述。该步骤具体可以包括：
举例说明，本发明实施例中，若对所述目标物理表执行写数据操作，则在根据输入的键值，从第一数据库中获得对应的ID和元信息之前，先执行如下流程：
首先，获得输入的候选时间序列数据。然后，根据所述候选时间序列数据的时间戳，对所述候选时间序列数据进行抽样，这里，经过抽样获得的所述候选时间序列数据，用于在确定所述目标物理表后，写入所述目标物理表。
需要说明的是，向所述目标物理表中写入候选时间序列数据指的是写入该候选时间序列数据的三元组(ID、Timestamp、Value)。
需要说明的是，本发明实施例中，可以为第二数据库中存储的时间序列数据进行抽样等级的划分，使得第二数据库的存储可以支持抽样机制。当获得需要向目标物理表中写入候选时间序列数据时，就可以对候选时间序列数据进行抽样，并对经过抽样的候选时间序列数据执行写数据操作，这样可以有效地提高查询大量时间序列数据时的响应速度，还能够保持输出的数据曲线图的清晰度和展示速度。
实施例七
基于上述实施例一所提供的数据处理方法、实施例一～实施例六，本发明实施例中，对于需要写入目标物理表中的候选时间序列数据，可以执行合并写数据操作，例如将属于同一目标物理表的候选时间序列数据，依次写入该目标物理表，写完一个目标物理表再写另一个目标物理表，与现有技术中将候选时间序列数据随机写入物理表的方式相比，能够提高写数据操作的速度和效率，解决第二数据库中写数据性能较低的问题。
本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
请参考图3，其为本发明实施例所提供的数据处理系统的功能方块图。如图所示，该系统包括：数据接口模块301和第一数据库302；其中，
所述数据接口模块301，用于根据输入的键值，从所述第一数据库302中获得对应的标识ID和元信息；其中，所述第一数据库302用于存储候选时间序列数据的元信息和ID；
所述数据接口模块301，还用于根据所述元信息，确定目标逻辑表；
所述数据接口模块301，还用于根据所述ID和所述目标逻辑表，在所述目标逻辑表对应的候选物理表中确定目标物理表，以及对所述目标物理表执行写数据操作或者执行目标时间序列数据的读数据操作。
优选的，所述第一数据库302的数目为一个；和/或，
所述系统还包括至少两个存储集群303，每个所述存储集群包括至少两个第二数据库，每个所述第二数据库用于存储候选物理表，属于同一存储集群303的至少两个所述第二数据库中存储的候选物理表相同。
其中，图3中仅给出两个存储集群用以示意，并不限定数据处理系统中只包含两个存储集群，同理，对于每个存储集群也只给出两个第二数据库用以示意，并不限定每个存储集群只能包含两个第二数据库。
优选的，所述元信息包括所述目标时间序列数据的类别和时间戳；所述数据接口模块301具体用于：
根据所述目标时间序列数据的类别，确定至少两个候选逻辑表；
根据所述时间戳，在所述至少两个候选逻辑表中确定一个所述目标逻辑表。
优选的，所述数据接口模块301，还用于：
根据ID对候选时间序列数据进行分割，将具有相同ID的候选时间序列数据存储在同一个候选物理表；以及，
根据所述候选时间序列数据的类别和所述候选物理表，生成至少一个初始逻辑表，以及，根据时间信息对每个所述初始逻辑表进行分割，以获得至少两个所述候选逻辑表。
优选的，所述数据接口模块301具体用于：
利用所述ID，在所述目标物理表中进行查找，以获得所述ID对应的候选时间序列数据；
利用所述时间戳，在所述ID对应的候选时间序列数据中，获得目标时间序列数据，以实现所述目标时间序列数据的读数据操作。
优选的，若对所述目标物理表执行写数据操作，所述数据接口模块301还用于：
获得输入的候选时间序列数据；
根据所述候选时间序列数据的时间戳，对所述候选时间序列数据进行抽样，经过抽样获得的所述候选时间序列数据，用于在确定所述目标物理表后，写入所述目标物理表。
由于本实施例中的各单元能够执行图1所示的方法，本实施例未详细描述的部分，可参考对图1的相关说明。
本发明实施例的技术方案具有以下有益效果：
本发明实施例中，通过根据输入的键值，从第一数据库中获得对应的标识ID和元信息；其中，所述第一数据库用于存储候选时间序列数据的元信息和ID；从而，根据所述元信息，确定目标逻辑表；进而，根据所述ID和所述目标逻辑表，在所述目标逻辑表对应的候选物理表中确定目标物理表，以及对所述目标物理表执行写数据操作或者执行目标时间序列数据的读数据操作。
本发明实施例提供的技术方案中，基于多级的数据分割方式，先通过元信息确定目标逻辑表，再通过ID和目标逻辑表确定目标物理表，与现有技术中，在数据库中单表中执行写数据操作或者读数据操作的方式相比，能够解决数据库中单表因为数据容量限制带来的读写速度较低和数据存储容量有限的问题，能够实现提高数据库的存储性能，以及提高数据的读/写操作速度。
本发明实施例中的数据处理系统可以为CDN平台提供基础数据存储系统，为CDN平台的业务运营、服务质量等数据挖掘提供基础原始数据。为CDN平台的流量调度、成本优化、服务质量优化提供了第一手的指导依据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (12)
1.一种数据处理方法，其特征在于，所述方法包括：
根据输入的键值，从第一数据库中获得对应的标识ID和元信息；其中，所述第一数据库用于存储候选时间序列数据的元信息和ID；
根据所述元信息，确定目标逻辑表；
根据所述ID和所述目标逻辑表，在所述目标逻辑表对应的候选物理表中确定目标物理表，以及对所述目标物理表执行写数据操作或者执行目标时间序列数据的读数据操作。
2.根据权利要求1所述的方法，其特征在于，
所述第一数据库的数目为一个；和/或，
利用第二数据库存储所述候选物理表，以及，至少两个所述第二数据库组成一个存储集群，属于同一存储集群的至少两个所述第二数据库中存储的候选物理表相同；和/或，
所述存储集群的数目为至少两个。
3.根据权利要求1或2所述的方法，其特征在于，所述元信息包括所述目标时间序列数据的类别和时间戳；所述根据所述元信息，确定目标逻辑表，包括：
根据所述目标时间序列数据的类别，确定至少两个候选逻辑表；
根据所述时间戳，在所述至少两个候选逻辑表中确定一个所述目标逻辑表。
4.根据权利要求3所述的方法，其特征在于，所述根据所述元信息，确定目标逻辑表之前，所述方法还包括：
根据ID对候选时间序列数据进行分割，将具有相同ID的候选时间序列数据存储在同一个候选物理表；以及，
根据所述候选时间序列数据的类别和所述候选物理表，生成至少一个初始逻辑表，以及，根据时间信息对每个所述初始逻辑表进行分割，以获得至少两个所述候选逻辑表。
5.根据权利要求1或2所述的方法，其特征在于，所述对所述目标物理表执行目标时间序列数据的读数据操作，包括：
利用所述ID，在所述目标物理表中进行查找，以获得所述ID对应的候选时间序列数据；
利用所述时间戳，在所述ID对应的候选时间序列数据中，获得目标时间序列数据，以实现所述目标时间序列数据的读数据操作。
6.根据权利要求1所述的方法，其特征在于，若对所述目标物理表执行写数据操作，所述根据输入的键值，从第一数据库中获得对应的ID和元信息之前，所述方法还包括：
获得输入的候选时间序列数据；
根据所述候选时间序列数据的时间戳，对所述候选时间序列数据进行抽样，经过抽样获得的所述候选时间序列数据，用于在确定所述目标物理表后，写入所述目标物理表。
7.一种数据处理系统，其特征在于，所述系统包括数据接口模块和第一数据库；其中，
所述数据接口模块，用于根据输入的键值，从所述第一数据库中获得对应的标识ID和元信息；其中，所述第一数据库用于存储候选时间序列数据的元信息和ID；
所述数据接口模块，还用于根据所述元信息，确定目标逻辑表；
所述数据接口模块，还用于根据所述ID和所述目标逻辑表，在所述目标逻辑表对应的候选物理表中确定目标物理表，以及对所述目标物理表执行写数据操作或者执行目标时间序列数据的读数据操作。
8.根据权利要求7所述的系统，其特征在于，
所述第一数据库的数目为一个；和/或，
所述系统还包括至少两个存储集群，每个所述存储集群包括至少两个第二数据库，每个所述第二数据库用于存储候选物理表，属于同一存储集群的至少两个所述第二数据库中存储的候选物理表相同。
9.根据权利要求7或8所述的系统，其特征在于，所述元信息包括所述目标时间序列数据的类别和时间戳；所述数据接口模块具体用于：
根据所述目标时间序列数据的类别，确定至少两个候选逻辑表；
根据所述时间戳，在所述至少两个候选逻辑表中确定一个所述目标逻辑表。
10.根据权利要求9所述的系统，其特征在于，所述数据接口模块，还用于：
根据ID对候选时间序列数据进行分割，将具有相同ID的候选时间序列数据存储在同一个候选物理表；以及，
根据所述候选时间序列数据的类别和所述候选物理表，生成至少一个初始逻辑表，以及，根据时间信息对每个所述初始逻辑表进行分割，以获得至少两个所述候选逻辑表。
11.根据权利要求7或8所述的系统，其特征在于，所述数据接口模块具体用于：
利用所述ID，在所述目标物理表中进行查找，以获得所述ID对应的候选时间序列数据；
利用所述时间戳，在所述ID对应的候选时间序列数据中，获得目标时间序列数据，以实现所述目标时间序列数据的读数据操作。
12.根据权利要求7所述的系统，其特征在于，若对所述目标物理表执行写数据操作，所述数据接口模块还用于：
获得输入的候选时间序列数据；
根据所述候选时间序列数据的时间戳，对所述候选时间序列数据进行抽样，经过抽样获得的所述候选时间序列数据，用于在确定所述目标物理表后，写入所述目标物理表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510119217.9A CN104731896B (zh) | 2015-03-18 | 2015-03-18 | 一种数据处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510119217.9A CN104731896B (zh) | 2015-03-18 | 2015-03-18 | 一种数据处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104731896A CN104731896A (zh) | 2015-06-24 |
| CN104731896B true CN104731896B (zh) | 2018-11-09 |
Family
ID=53455783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510119217.9A Active CN104731896B (zh) | 2015-03-18 | 2015-03-18 | 一种数据处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104731896B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10515098B2 (en) | 2017-02-10 | 2019-12-24 | Johnson Controls Technology Company | Building management smart entity creation and maintenance using time series data |
| US10452043B2 (en) | 2017-02-10 | 2019-10-22 | Johnson Controls Technology Company | Building management system with nested stream generation |
| US10095756B2 (en) | 2017-02-10 | 2018-10-09 | Johnson Controls Technology Company | Building management system with declarative views of timeseries data |
| US11994833B2 (en) | 2017-02-10 | 2024-05-28 | Johnson Controls Technology Company | Building smart entity system with agent based data ingestion and entity creation using time series data |
| US11307538B2 (en) | 2017-02-10 | 2022-04-19 | Johnson Controls Technology Company | Web services platform with cloud-eased feedback control |
| CN106656637B (zh) * | 2017-02-24 | 2019-11-26 | 国网河南省电力公司电力科学研究院 | 一种电网异常检测方法及装置 |
| CN107526838B (zh) * | 2017-09-08 | 2020-05-01 | 北京京东尚科信息技术有限公司 | 数据库集群扩容的方法和装置 |
| CN109522311B (zh) * | 2018-11-20 | 2021-08-20 | 北京锐安科技有限公司 | 数据存储方法、装置、服务器和存储介质 |
| TWI687821B (zh) * | 2018-11-21 | 2020-03-11 | 核桃運算股份有限公司 | 資料追蹤裝置、方法及其電腦程式產品 |
| CN110322336A (zh) * | 2019-04-15 | 2019-10-11 | 平安普惠企业管理有限公司 | 风控数据统计方法、系统、计算机设备及可读存储介质 |
| CN111125089B (zh) * | 2019-11-05 | 2023-09-26 | 远景智能国际私人投资有限公司 | 时序数据存储方法、装置、服务器及存储介质 |
| CN111311329B (zh) * | 2020-02-20 | 2023-07-25 | 口碑(上海)信息技术有限公司 | 标签数据获取方法、装置、设备及可读存储介质 |
| CN111291235A (zh) * | 2020-05-13 | 2020-06-16 | 成都四方伟业软件股份有限公司 | 一种基于时序数据库的元数据存储方法及装置 |
| CN112905627B (zh) * | 2021-03-23 | 2022-04-29 | 金岭教育科技(北京)有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN113515545B (zh) * | 2021-06-30 | 2024-05-14 | 北京百度网讯科技有限公司 | 数据查询方法、装置、系统、电子设备以及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101673192A (zh) * | 2009-10-26 | 2010-03-17 | 北京世纪互联宽带数据中心有限公司 | 时序化的数据处理方法、装置及系统 |
| CN103488793A (zh) * | 2013-10-09 | 2014-01-01 | 韩金倡 | 一种基于信息检索的用户行为监控方法 |
| CN104063384A (zh) * | 2013-03-19 | 2014-09-24 | 上海软智信息科技有限公司 | 一种数据检索方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2652111C (en) * | 2006-05-12 | 2018-09-11 | Goldengate Software, Inc. | Apparatus and method for forming a homogenous transaction data store from heterogeneous sources |
| CN103353873B (zh) * | 2013-06-07 | 2016-11-09 | 上海携程商务有限公司 | 基于时间度量数据实时查询服务的优化实现方法及系统 |
| CN103577590A (zh) * | 2013-11-12 | 2014-02-12 | 北京润乾信息系统技术有限公司 | 一种数据查询方法和系统 |
-
2015
- 2015-03-18 CN CN201510119217.9A patent/CN104731896B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101673192A (zh) * | 2009-10-26 | 2010-03-17 | 北京世纪互联宽带数据中心有限公司 | 时序化的数据处理方法、装置及系统 |
| CN104063384A (zh) * | 2013-03-19 | 2014-09-24 | 上海软智信息科技有限公司 | 一种数据检索方法及装置 |
| CN103488793A (zh) * | 2013-10-09 | 2014-01-01 | 韩金倡 | 一种基于信息检索的用户行为监控方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104731896A (zh) | 2015-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104731896B (zh) | 一种数据处理方法及系统 | |
| CN103577440B (zh) | 一种非关系型数据库中的数据处理方法和装置 | |
| US10860616B2 (en) | Test data management | |
| CN111258966A (zh) | 一种数据去重方法、装置、设备及存储介质 | |
| WO2016010570A1 (en) | Partial snapshot creation | |
| US10296497B2 (en) | Storing a key value to a deleted row based on key range density | |
| CN102902763B (zh) | 关联、检索信息处理数据和处理信息任务的方法及装置 | |
| CN109739854A (zh) | 一种数据存储方法及装置 | |
| CN115470284A (zh) | 一种多源异构数据源导入Janusgraph图数据库的方法和装置 | |
| US9213759B2 (en) | System, apparatus, and method for executing a query including boolean and conditional expressions | |
| CN109347899B (zh) | 在分布式存储系统中写入日志数据的方法 | |
| CN114398346A (zh) | 数据迁移方法、装置、设备及存储介质 | |
| US10157216B2 (en) | Data management system and data management method | |
| US9286349B2 (en) | Dynamic search system | |
| US10558668B2 (en) | Result set output criteria | |
| US20160042022A1 (en) | Data coordination support apparatus and data coordination support method | |
| CN110750569A (zh) | 数据提取方法、装置、设备及存储介质 | |
| CN104834664A (zh) | 面向光盘库的全文检索系统 | |
| CN112988703B (zh) | 一种读写请求的均衡方法及装置 | |
| WO2023019560A1 (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
| CN110019499A (zh) | 数据重分布的处理方法和装置以及电子设备 | |
| EP2657862B1 (en) | Parallel set aggregation | |
| RU152893U1 (ru) | Устройство формирования базы данных по истории медицины | |
| CN117708173A (zh) | 基于大数据组件的检索方法、装置及电子设备 | |
| CN117632029A (zh) | kafka的数据存储方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |