CN113535781B - 一种时序库的数据查询方法、装置、设备及存储介质 - Google Patents
一种时序库的数据查询方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113535781B CN113535781B CN202110826739.8A CN202110826739A CN113535781B CN 113535781 B CN113535781 B CN 113535781B CN 202110826739 A CN202110826739 A CN 202110826739A CN 113535781 B CN113535781 B CN 113535781B
- Authority
- CN
- China
- Prior art keywords
- time sequence
- data
- sequence library
- sub
- name
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003860 storage Methods 0.000 title claims description 72
- 238000007726 management method Methods 0.000 claims description 19
- 238000013500 data storage Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005192 partition Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 18
- 238000013523 data management Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000037406 food intake Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24554—Unary operations; Data partitioning operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种时序库的数据查询方法，包括：响应于数据查询指令，获取查询条件，识别出查询条件中的待查询数据的数据类型；通过与数据类型对应的分区器获取与查询条件对应的时序库分表名称；在时序库中查找时序库分表名称对应的时序库分表，获取待查询数据。本发明实施例提供的时序库的数据查询方法，通过响应数据查询指令确定相应的时序库分表名称，再查找对应的时序库分表获取数据，提升了时序库中数据查询的速度。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种时序库的数据查询方法、装置、设备及存储介质。
背景技术
时序库Druid是一个分布式的、支持实时多维OLAP分析的数据处理系统。它既支持高速的数据实时摄入处理，也支持实时且灵活的多维数据分析查询。因此Druid最常用的场景就是大数据背景下，灵活快速的多维OLAP分析。
生产环境下时序库Druid一张表的数据量很大，查询速度已经慢到影响正常使用。
发明内容
本发明实施例提供了一种时序库的数据查询方法、装置、设备及存储介质，实现了对时序库中数据查询速度的提升。
第一方面，本发明实施例提供了一种时序库的数据查询方法，包括：
响应于数据查询指令，获取查询条件，识别出所述查询条件中的待查询数据的数据类型；
通过与所述数据类型对应的分区器获取与所述查询条件对应的时序库分表名称；
在所述时序库中查找所述时序库分表名称对应的时序库分表，获取所述待查询数据。
进一步地，通过与所述数据类型对应的分区器获取与所述查询条件对应的时序库分表名称，包括：
将所述查询条件作为输入数据输入所述分区器，获得输出的所述时序库分表的序号；
获取所述数据类型对应的时序库存储表，结合所述时序库分表的序号确定所述时序库分表名称；其中，每个数据类型对应一个时序库存储表，每个时序库存储表包括至少一个时序库分表。
进一步地，响应于数据查询指令之前，还包括：
根据确定的各时序库分表名称，进行所述待存入数据到所述时序库的存储。
进一步地，根据确定的各时序库分表名称，进行所述待存入数据到所述时序库的存储，包括：
读取配置文件，获取各数据类型对应的时序库分表数量；
按照所述时序库分表数量对各时序库分表进行编号，确定各时序库分表名称；
按照所述时序库分表名称将待存入数据存入所述时序库。
进一步地，按照所述时序库分表名称将待存入数据存入所述时序库，包括：
获取所述待存入数据的分表键并确定与所述分表键对应的主题名称；
调用设定应用程序接口创建所述主题名称，并将所述待存入数据存入时序库中与所述主题名称对应的时序库分表中。
进一步地，按照所述时序库分表名称将待存入数据存入所述时序库之后，还包括：
对所述时序库中所存储的数据进行管理。
进一步地，对所述时序库中所存储的数据进行管理，包括：
读取配置文件和模板文件；
遍历所述时序库中的时序库存储表，根据所述配置文件和时序库存储表对所述模板文件进行填充；
将填充好的模板文件提交至管理节点，令所述管理节点根据接收到的指令下发相应任务对所述时序库中的数据进行管理。
第二方面，本发明实施例还提供了一种时序库的数据查询装置，包括：
数据类型识别模块，用于响应于数据查询指令，获取查询条件，识别出所述查询条件中的待查询数据的数据类型；
时序库分表名称获取模块，用于通过与所述数据类型对应的分区器获取与所述查询条件对应的时序库分表名称；
待查询数据获取模块，用于在所述时序库中查找所述时序库分表名称对应的时序库分表，获取所述待查询数据。
可选的，时序库分表名称获取模块还用于：
将所述查询条件作为输入数据输入所述分区器，获得输出的所述时序库分表的序号；
获取所述数据类型对应的时序库存储表，结合所述时序库分表的序号确定所述时序库分表名称；其中，每个数据类型对应一个时序库存储表，每个时序库存储表包括至少一个时序库分表。
可选的，时序库的数据查询装置还包括数据存储模块，用于根据确定的各时序库分表名称，进行所述待存入数据到所述时序库的存储。
可选的，数据存储模块还用于：
读取配置文件，获取各数据类型对应的时序库分表数量；
按照所述时序库分表数量对各时序库分表进行编号，确定各时序库分表名称；
按照所述时序库分表名称将待存入数据存入所述时序库。
可选的，数据存储模块还用于：
获取所述待存入数据的分表键并确定与所述分表键对应的主题名称；
调用设定应用程序接口创建所述主题名称，并将所述待存入数据存入时序库中与所述主题名称对应的时序库分表中。
可选的，时序库的数据查询装置还包括数据管理模块，用于对所述时序库中所存储的数据进行管理。
可选的，数据管理模块还用于：
读取配置文件和模板文件；
遍历所述时序库中的时序库存储表，根据所述配置文件和时序库存储表对所述模板文件进行填充；
将填充好的模板文件提交至管理节点，令所述管理节点根据接收到的指令下发相应任务对所述时序库中的数据进行管理。
第三方面，本发明实施例还提供了一种时序库的数据查询的计算机设备，包括：
包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例任一所述的时序库的数据查询方法。
第四方面，本发明实施例还提供了一种时序库的数据查询存储介质，其上存储有计算机程序，该程序被处理装置执行时实现如本发明实施例任一所述的时序库的数据查询方法。
本发明实施例首先响应于数据查询指令，获取查询条件，识别出查询条件中的待查询数据的数据类型，然后通过与数据类型对应的分区器获取与查询条件对应的时序库分表名称，最后在时序库中查找时序库分表名称对应的时序库分表，获取待查询数据。本发明实施例提供的时序库的数据查询方法，通过响应数据查询指令确定相应的时序库分表名称，再查找对应的时序库分表获取数据，提升了时序库中数据查询的速度。
附图说明
图1是现有技术中的一种时序库Druid架构图；
图2是本发明实施例一中的一种时序库的数据查询方法流程图；
图3是本发明实施例一中的一种一致性哈希算法映射原理示意图；
图4是本发明实施例一中的一种查询请求路由过程示意图；
图5是本发明实施例二中的一种时序库的数据存储方法流程图；
图6是本发明实施例三中的一种时序库的数据管理方法流程图；
图7是本发明实施例三中的一种数据管理过程示意图；
图8是本发明实施例四中的一种时序库的数据查询装置结构示意图；
图9是本发明实施例五中的一种计算机设备的结构示意图。
具体实施方式
图1是现有技术中的一种时序库Druid架构图，如图所示，时序库Druid主要包含4个组成部分：代理节点(BrokerNode)111，历史节点(HistoricalNode)112，实时节点(RealtimeNode)113，协调节点(CoordinatorNode)114。
时序库Druid各部分的作用如下：
代理节点111：负责响应外部的查询请求，通过查询分布式应用程序协调服务(zookeeper)将请求划分成数据文件空间(segments)分别转发给历史节点112和实时节点113，最终合并并返回查询结果给外部；
历史节点112：负责历史数据文件空间的存储和查询，其会从深度存储(deepstorage)中加载segments，并响应代理节点111的请求。历史节点通常会在本机同步deepstorage上的部分segments，所以即使deep storage不可访问了，历史节点还是能服务器同步的segments的查询；
实时节点113：用于存储和查询热数据，会定期将数据创建成segments移到历史节点112，一般会使用外部依赖分布式日志系统(kafka)来提高实时数据摄入的可用性。如果不需要实时摄入数据到集群中，可以舍弃实时节点113，只定时地分批摄入数据到deepstorage；
协调节点114：可以认为是Druid中的管理节点，其通过zookeeper管理历史节点112和实时节点113，且通过关系型数据库管理系统(MySQL)中的元数据(metadata)管理segments。
除上述节点之外，Druid通常还有一些索引服务(IndexeingService)用于数据导入，批量数据(batchdata)和流数据(streamingdata)都可以通过给IndexeingService发请求来导入数据。
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图2为本发明实施例一提供的一种时序库的数据查询方法流程图，本实施例可适用于在时序库中进行数据查询的情况，该方法可以由时序库的数据查询装置来执行，该装置可由硬件和/或软件组成，并一般可集成在具有时序库的数据查询功能的设备中，该设备可以是服务器或服务器集群等电子设备。如图2所示，具体包括如下步骤：
步骤110、响应于数据查询指令，获取查询条件，识别出查询条件中的待查询数据的数据类型。
其中，数据查询指令可以是用户发出的对时序库中的数据进行查询的指令，数据查询指令中包含查询条件，查询条件可以是表征待查询数据的数据类型等特征的信息。
在本实施例中，接收到数据查询指令后，可以对该指令进行响应，然后根据数据查询指令中的查询条件识别出待查询数据的数据类型。响应数据查询指令的方式可以是，对接收的数据查询指令进行解析，提取其中的查询条件，可选的，查询条件可以传入分表程序中，使分表程序识别出查询条件中与待查询数据对应的数据类型。其中，分表程序是时序库中的一种数据处理程序，可以将一张表的数据分到多个小表中。
步骤120、通过与数据类型对应的分区器获取与查询条件对应的时序库分表名称。
其中，分区器是时序库中的一种数据处理程序，可以利用哈希算法等算法计算分表后的时序库分表序号。在时序库中，不同类型的数据存储在不同的时序库存储表中，如果某种数据类型对应的数据量比较大，则可以对该数据类型对应的时序库存储表进行分区，即把一个大的时序库存储表分成几个时序库分表。例如，对于T1类型的数据，定义三个时序库分表，序号分别为0、1、2，则对应的时序库分表名称分别为T1-0、T1-1、T1-2。
在本实施例中，可以根据识别出的数据类型，获取与数据类型对应的分区器，然后分区器可以根据传入的查询条件，利用一致性哈希算法计算出与查询条件对应的时序库分表的序号。此外，分表程序可以通过读取配置文件，获取数据类型对应的时序库存储表及每个时序库存储表的分表数量等信息，结合分区器计算出的时序库分表的序号获取与查询条件对应的时序库分表名称。
可选的，通过与数据类型对应的分区器获取与查询条件对应的时序库分表名称的方式可以是：将查询条件作为输入数据输入分区器，获得输出的时序库分表的序号；获取数据类型对应的时序库存储表，结合时序库分表的序号确定时序库分表名称；其中，每个数据类型对应一个时序库存储表，每个时序库存储表包括至少一个时序库分表。
具体的，可以将查询条件作为输入数据输入分区器，利用一致性哈希算法获取输出的时序库分表的序号，例如0、1、2等，然后根据数据类型对应的时序库存储表，分区器可以拼出完整的表名。例如对于T1类型的数据，若获取的时序库分表的序号为0，则最后获取的时序库分表名称为T1-0。
图3是本发明实施例中的一种一致性哈希算法映射原理示意图，如图所示，哈希(Hash)函数的要求取值范围为[0，232]，各哈希值在上图Hash环上的分布为：时钟12点位置为0，按顺时针方向递增，临近12点的左侧位置为232-1。如上图哈希环上的四个节点所示，四个节点表示四个时序库分表，名称分别为节点1、节点2、节点3和节点4。这四个表名经过同一个Hash算法的计算，其计算结果映射到哈希环上。哈希环上除四个节点外还有九个数据对象，其键值经过同一个Hash算法的计算，其计算结果也映射到哈希环上。在数据对象和时序库分表名称都映射至同一个哈希环之后，要确定某个数据对象映射至哪个节点，只需从该对象开始，沿着哈希环顺时方向查找，找到的第一个节点，即是数据存储的时序库分表名称。
步骤130、在时序库中查找时序库分表名称对应的时序库分表，获取待查询数据。
在本实施例中，确定了待查询数据对应的时序库分表名称后，即可确定时序库中待查询数据的存储位置，即具体存储在哪个时序库分表中，进而可以获取待查询数据。
图4是本发明实施例中的一种查询请求路由过程示意图，如图所示，根据不同的查询条件，利用分表程序，可以识别出相应的待查询数据的数据类型，然后再利用与数据类型对应的分区器，结合配置文件中预设的各类型数据对应的分表数量等信息，确定时序库分表名称，根据时序库分表名称路由至待查询数据所在的时序库分表。
本发明实施例首先响应于数据查询指令，获取查询条件，识别出查询条件中的待查询数据的数据类型，然后通过与数据类型对应的分区器获取与查询条件对应的时序库分表名称，最后在时序库中查找时序库分表名称对应的时序库分表，获取待查询数据。本发明实施例提供的时序库的数据查询方法，通过响应数据查询指令确定相应的时序库分表名称，再查找对应的时序库分表获取数据，提升了时序库中数据查询的速度。
实施例二
在本实施例中，响应于数据查询指令之前，还可以：根据确定的各时序库分表名称，进行待存入数据到时序库的存储。图5为本发明实施例二提供的一种时序库的数据存储方法流程图，本实施例可适用于将数据存储至时序库中的情况，该方法可以由时序库的数据存储模块来执行，该模块可由硬件和/或软件组成，并一般可集成在具有时序库的数据存储功能的设备中，该设备可以是服务器或服务器集群等电子设备。如图5所示，具体包括如下步骤：
步骤101、读取配置文件，获取各数据类型对应的时序库分表数量。
其中，配置文件可以是一种计算机文件，文件中定义了各个类型的数据对应的分表数量。
在本实施例中，在数据存储至时序库即数据入库之前，生产数据的程序可以读取配置文件，并从中获取各数据类型对应的时序库分表数量。
步骤102、按照时序库分表数量对各时序库分表进行编号，确定各时序库分表名称。
在本实施例中，获取各数据类型对应的时序库分表数量后可以根据时序库分表数量依次对各时序库分表进行编号，从而确定各时序库分表名称。例如，对于T1类型的数据，若分表数量为3，则三个时序库分表的序号分别为0、1、2，对应的时序库分表名称分别为T1-0、T1-1、T1-2。
步骤103、按照时序库分表名称将待存入数据存入时序库。
在本实施例中，时序库分表名称确定后可以据此进行数据入库，即将待存入数据存入时序库。
可选的，按照时序库分表名称将待存入数据存入时序库的方式可以是：获取待存入数据的分表键并确定与分表键对应的主题名称；调用设定应用程序接口创建主题名称，并将待存入数据存入时序库中与主题名称对应的时序库分表中。
具体的，每条待存入数据中均包含分表键，分表键是指数据中的特定列，分表键值是指数据中的特定列的值，可以表征数据类型。分解待存入数据的数据类型可以获取该数据类型对应的分区器，分区器中可以使用一致性哈希算法得出分表键值对应的主题(topic)名称序号，然后根据数据类型拼出完整的topic名称。topic名称与时序库分表是一一对应的关系，获取需要创建的所有topic名称之后，可以调用应用程序接口(API)创建topic，再通过分布式日志系统(kafka)的API将数据写入kafka。其中，kafka是时序库的流处理平台，可以用于数据的存储和处理。
本发明实施例首先读取配置文件，获取各数据类型对应的时序库分表数量，然后按照时序库分表数量对各时序库分表进行编号，确定各时序库分表名称，最后按照时序库分表名称将待存入数据存入时序库。本发明实施例提供的时序库的数据存储方法，通过将数据量较大的数据类型对应的时序库存储表分成多个时序库分表，实现了数据分表存储，使得后续进行数据查询时的查询速度得到提升。
实施例三
在本实施例中，按照时序库分表名称将待存入数据存入时序库之后，还可以：对时序库中所存储的数据进行管理。图6为本发明实施例三提供的一种时序库的数据管理方法流程图，本实施例可适用于对存储在时序库中的数据进行管理的情况，该方法可以由时序库的数据管理模块来执行，该模块可由硬件和/或软件组成，并一般可集成在具有时序库的数据管理功能的设备中，该设备可以是服务器或服务器集群等电子设备。如图6所示，具体包括如下步骤：
步骤104、读取配置文件和模板文件。
在本实施例中，可以通过分表程序读取配置文件，从中可以获取每种数据类型对应的时序库分表的数量、分布式应用程序协调服务(zookeeper)地址、分布式日志系统(kafka)地址、主题(topic)分区数、管理节点(overlord)地址等。还可以读取模板文件，该模板文件用于定义时序库存储表的结构、从kafka拉取数据的方式、从哪个topic读取数据以及读取数据的任务数量等。
步骤105、遍历时序库中的时序库存储表，根据配置文件和时序库存储表对模板文件进行填充。
在本实施例中，可以通过分表程序获取并遍历所有的表时序库存储表，根据从配置文件中获取的信息对模板文件进行填充。具体的，可以将topic名称、代理地址等值设置到模板文件转成的JS对象简谱(JavaScript Object Notation，JSON)格式的对象中。
步骤106、将填充好的模板文件提交至管理节点，令管理节点根据接收到的指令下发相应任务对时序库中的数据进行管理。
在本实施例中，设置好模板文件后，可以通过网络协议(httpclient)向时序库的管理节点(overlord)发送请求，将填充好的模板文件提交至overlord。Overlord作为时序库Druid的管理节点，接收到任务请求后，会启动针对不同topic的监督(supervisor)线程，用于管理任务。此外，当Overlord接收到的读取数据的任务时，可以将读取数据的任务下发到中间管理节点(middleManager)，middleManager节点启动任务(task)，task会定时汇报任务状态到Overlord。middleManager上的task可以读取kafka不同topic的数据，建立索引文件，并持久化到时序库的磁盘中。
图7是本发明实施例中的一种数据管理过程示意图，如图所示，kafka中存储多个时序库分表，Overlord将读取数据的任务下发到middleManager，middleManager启动task，task从kafka中读取数据，同时分表程序通过读取配置文件，为数据管理过程提供所需信息。
本发明实施例首先读取配置文件和模板文件，然后遍历时序库中的时序库存储表，根据配置文件和时序库存储表对模板文件进行填充，最后将填充好的模板文件提交至管理节点，令管理节点根据接收到的指令下发相应任务对时序库中的数据进行管理。本发明实施例提供的数据管理方法，通过管理节点overlord进行数据管理，可以为时序库中数据的存储与查询提供支持。
实施例四
图8为本发明实施例四提供的一种时序库的数据查询装置结构示意图。如图8所示，该装置包括：数据类型识别模块210，时序库分表名称获取模块220，待查询数据获取模块230。
数据类型识别模块210，用于响应于数据查询指令，获取查询条件，识别出查询条件中的待查询数据的数据类型。
时序库分表名称获取模块220，用于通过与数据类型对应的分区器获取与查询条件对应的时序库分表名称。
可选的，时序库分表名称获取模块220还用于：
将查询条件作为输入数据输入分区器，获得输出的时序库分表的序号；获取数据类型对应的时序库存储表，结合时序库分表的序号确定时序库分表名称；其中，每个数据类型对应一个时序库存储表，每个时序库存储表包括至少一个时序库分表。
待查询数据获取模块230，用于在时序库中查找时序库分表名称对应的时序库分表，获取待查询数据。
可选的，时序库的数据查询装置还包括数据存储模块，用于根据确定的各时序库分表名称，进行待存入数据到所述时序库的存储。
可选的，数据存储模块还用于：
读取配置文件，获取各数据类型对应的时序库分表数量；按照时序库分表数量对各时序库分表进行编号，确定各时序库分表名称；按照时序库分表名称将待存入数据存入时序库。
可选的，数据存储模块还用于：
获取待存入数据的分表键并确定与分表键对应的主题名称；调用设定应用程序接口创建主题名称，并将待存入数据存入时序库中与主题名称对应的时序库分表中。
可选的，时序库的数据查询装置还包括数据管理模块，用于对时序库中所存储的数据进行管理。
可选的，数据管理模块还用于：
读取配置文件和模板文件；遍历时序库中的时序库存储表，根据配置文件和时序库存储表对模板文件进行填充；将填充好的模板文件提交至管理节点，令管理节点根据接收到的指令下发相应任务对时序库中的数据进行管理。
上述装置可执行本公开前述所有实施例所提供的方法，具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本公开前述所有实施例所提供的方法。
实施例五
图9为本发明实施例五提供的一种计算机设备的结构示意图。图9示出了适于用来实现本发明实施方式的计算机设备312的框图。图9显示的计算机设备312仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备312是典型的时序库的数据查询计算设备。
如图9所示，计算机设备312以通用计算设备的形式表现。计算机设备312的组件可以包括但不限于：一个或者多个处理器316，存储装置328，连接不同系统组件(包括存储装置328和处理器316)的总线318。
总线318表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
计算机设备312典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备312访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置328可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)330和/或高速缓存存储器332。计算机设备312可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统334可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线318相连。存储装置328可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块326的程序336，可以存储在例如存储装置328中，这样的程序模块326包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块326通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备312也可以与一个或多个外部设备314(例如键盘、指向设备、摄像头、显示器324等)通信，还可与一个或者多个使得用户能与该计算机设备312交互的设备通信，和/或与使得该计算机设备312能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口322进行。并且，计算机设备312还可以通过网络适配器320与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器320通过总线318与计算机设备312的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备312使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器316通过运行存储在存储装置328中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的时序库的数据查询方法。
实施例六
本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理装置执行时实现如本发明实施例中的时序库的数据查询方法。本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：响应于数据查询指令，获取查询条件，识别出查询条件中的待查询数据的数据类型；通过与数据类型对应的分区器获取与查询条件对应的时序库分表名称；在时序库中查找所述时序库分表名称对应的时序库分表，获取待查询数据。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络连接到用户计算机，包括局域网(LAN)或广域网(WAN)，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种时序库的数据查询方法，其特征在于，包括：
响应于数据查询指令，获取查询条件，识别出所述查询条件中的待查询数据的数据类型；
通过与所述数据类型对应的分区器获取与所述查询条件对应的时序库分表名称；
在所述时序库中查找所述时序库分表名称对应的时序库分表，获取所述待查询数据；
其中，在响应于数据查询指令之前，还包括：
读取配置文件，获取各数据类型对应的时序库分表数量；
按照所述时序库分表数量对各时序库分表进行编号，确定各时序库分表名称；
按照所述时序库分表名称将待存入数据存入所述时序库。
2.根据权利要求1所述的方法，其特征在于，通过与所述数据类型对应的分区器获取与所述查询条件对应的时序库分表名称，包括：
将所述查询条件作为输入数据输入所述分区器，获得输出的所述时序库分表的序号；
获取所述数据类型对应的时序库存储表，结合所述时序库分表的序号确定所述时序库分表名称；其中，每个数据类型对应一个时序库存储表，每个时序库存储表包括至少一个时序库分表。
3.根据权利要求1所述的方法，其特征在于，按照所述时序库分表名称将待存入数据存入所述时序库，包括：
获取所述待存入数据的分表键并确定与所述分表键对应的主题名称；
调用设定应用程序接口创建所述主题名称，并将所述待存入数据存入时序库中与所述主题名称对应的时序库分表中。
4.根据权利要求1-3任一项所述的方法，其特征在于，按照所述时序库分表名称将待存入数据存入所述时序库之后，还包括：
对所述时序库中所存储的数据进行管理。
5.根据权利要求4所述的方法，其特征在于，对所述时序库中所存储的数据进行管理，包括：
读取配置文件和模板文件；
遍历所述时序库中的时序库存储表，根据所述配置文件和时序库存储表对所述模板文件进行填充；
将填充好的模板文件提交至管理节点，令所述管理节点根据接收到的指令下发相应任务对所述时序库中的数据进行管理。
6.一种时序库的数据查询装置，其特征在于，包括：
数据类型识别模块，用于响应于数据查询指令，获取查询条件，识别出所述查询条件中的待查询数据的数据类型；
时序库分表名称获取模块，用于通过与所述数据类型对应的分区器获取与所述查询条件对应的时序库分表名称；
待查询数据获取模块，用于在所述时序库中查找所述时序库分表名称对应的时序库分表，获取所述待查询数据；
所述时序库的数据查询装置还包括数据存储模块，用于：
读取配置文件，获取各数据类型对应的时序库分表数量；按照时序库分表数量对各时序库分表进行编号，确定各时序库分表名称；按照时序库分表名称将待存入数据存入时序库。
7.一种计算机设备，其特征在于，包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-5任一所述的时序库的数据查询方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现如权利要求1-5中任一所述的时序库的数据查询方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110826739.8A CN113535781B (zh) | 2021-07-21 | 2021-07-21 | 一种时序库的数据查询方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110826739.8A CN113535781B (zh) | 2021-07-21 | 2021-07-21 | 一种时序库的数据查询方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113535781A CN113535781A (zh) | 2021-10-22 |
| CN113535781B true CN113535781B (zh) | 2024-05-10 |
Family
ID=78129173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110826739.8A Active CN113535781B (zh) | 2021-07-21 | 2021-07-21 | 一种时序库的数据查询方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113535781B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115203276A (zh) * | 2022-09-15 | 2022-10-18 | 江苏银承网络科技股份有限公司 | 承兑汇票的数据处理方法、系统以及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106777108A (zh) * | 2016-12-15 | 2017-05-31 | 贵州电网有限责任公司电力科学研究院 | 一种基于混合存储架构的数据查询方法和装置 |
| CN110619000A (zh) * | 2019-09-25 | 2019-12-27 | 网易（杭州）网络有限公司 | 时序数据的查询方法、装置、存储介质及电子设备 |
| CN110955704A (zh) * | 2019-12-03 | 2020-04-03 | 北京锐安科技有限公司 | 一种数据管理方法、装置、设备及存储介质 |
-
2021
- 2021-07-21 CN CN202110826739.8A patent/CN113535781B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106777108A (zh) * | 2016-12-15 | 2017-05-31 | 贵州电网有限责任公司电力科学研究院 | 一种基于混合存储架构的数据查询方法和装置 |
| CN110619000A (zh) * | 2019-09-25 | 2019-12-27 | 网易（杭州）网络有限公司 | 时序数据的查询方法、装置、存储介质及电子设备 |
| CN110955704A (zh) * | 2019-12-03 | 2020-04-03 | 北京锐安科技有限公司 | 一种数据管理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113535781A (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10585915B2 (en) | Database sharding | |
| US10915532B2 (en) | Supporting a join operation against multiple NoSQL databases | |
| US9229960B2 (en) | Database management delete efficiency | |
| CN107783985B (zh) | 一种分布式数据库查询方法、装置及管理系统 | |
| CN103699656A (zh) | 一种基于GPU的面向海量多媒体数据的MapReduce平台 | |
| US11074266B2 (en) | Semantic concept discovery over event databases | |
| US20160070754A1 (en) | System and method for microblogs data management | |
| CN110633333A (zh) | 数据血缘关系的处理方法及系统、计算设备和介质 | |
| US10552394B2 (en) | Data storage with improved efficiency | |
| CN113190645A (zh) | 一种索引结构建立方法、装置、设备及存储介质 | |
| CN113535781B (zh) | 一种时序库的数据查询方法、装置、设备及存储介质 | |
| US9229968B2 (en) | Management of searches in a database system | |
| US10956125B2 (en) | Data shuffling with hierarchical tuple spaces | |
| CN111125216B (zh) | 数据导入Phoenix的方法及装置 | |
| KR101955376B1 (ko) | 비공유 아키텍처 기반의 분산 스트림 처리 엔진에서 관계형 질의를 처리하는 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| CN113779349A (zh) | 数据检索系统、装置、电子设备和可读存储介质 | |
| CN116127143A (zh) | 数据查询方法、装置、电子设备及可读存储介质 | |
| US11847121B2 (en) | Compound predicate query statement transformation | |
| CN113157695B (zh) | 数据处理方法、装置、可读介质及电子设备 | |
| CN111309988B (zh) | 基于编码的字符串检索方法、装置及电子设备 | |
| CN114138828A (zh) | 数据连接方法、装置、电子设备、存储介质及程序产品 | |
| CN113821514A (zh) | 数据拆分方法、装置、电子设备和可读存储介质 | |
| US10891274B2 (en) | Data shuffling with hierarchical tuple spaces | |
| CN115840786B (zh) | 一种数据湖数据同步方法及装置 | |
| CN111651475B (zh) | 信息生成方法、装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |