CN111078755B - 时序数据的存储查询方法、装置、服务器及存储介质 - Google Patents

时序数据的存储查询方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN111078755B
CN111078755B CN201911318297.5A CN201911318297A CN111078755B CN 111078755 B CN111078755 B CN 111078755B CN 201911318297 A CN201911318297 A CN 201911318297A CN 111078755 B CN111078755 B CN 111078755B
Authority
CN
China
Prior art keywords
data
stored
query
time
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911318297.5A
Other languages
English (en)
Other versions
CN111078755A (zh
Inventor
黄月琴
单懿慧
赵宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Envision Innovation Intelligent Technology Co Ltd
Envision Digital International Pte Ltd
Original Assignee
Shanghai Envision Innovation Intelligent Technology Co Ltd
Envision Digital International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Envision Innovation Intelligent Technology Co Ltd, Envision Digital International Pte Ltd filed Critical Shanghai Envision Innovation Intelligent Technology Co Ltd
Priority to CN201911318297.5A priority Critical patent/CN111078755B/zh
Publication of CN111078755A publication Critical patent/CN111078755A/zh
Priority to MYPI2022003240A priority patent/MY197705A/en
Priority to BR112022012121A priority patent/BR112022012121A2/pt
Priority to CA3165340A priority patent/CA3165340A1/en
Priority to JP2022537436A priority patent/JP7279266B2/ja
Priority to EP20902057.7A priority patent/EP4078404A4/en
Priority to MX2022007684A priority patent/MX2022007684A/es
Priority to KR1020227024660A priority patent/KR102511271B1/ko
Priority to AU2020410479A priority patent/AU2020410479A1/en
Priority to US17/787,280 priority patent/US20230097797A1/en
Priority to PCT/SG2020/050748 priority patent/WO2021126079A1/en
Priority to ZA2022/07174A priority patent/ZA202207174B/en
Application granted granted Critical
Publication of CN111078755B publication Critical patent/CN111078755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24561—Intermediate data storage techniques for performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477—Temporal data queries
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/40—Specific encoding of data in memory or cache
    • G06F2212/401—Compressed data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请实施例公开了一种时序数据的存储查询方法、装置、服务器及存储介质，属于数据库领域。该方法包括：确定待存储数据的数据类型；根据数据类型对应的数据压缩方式，对待存储数据进行压缩处理；将压缩数据存储至数据类型对应的数据存储表；接收查询请求，查询请求中包含查询数据类型和查询时间条件；从查询数据类型对应的数据存储表中查询符合查询时间条件的目标数据。本申请实施例中，针对不同类型的数据，采取不同的压缩方式提高了时序数据的压缩效率，节省存储资源；并且，在进行数据查询时，根据查询数据类型，从该查询数据类型对应的数据存储表中查找符合查询时间条件的时序数据，提高了不同类型时序数据的查询效率。

Description

时序数据的存储查询方法、装置、服务器及存储介质
技术领域
本申请实施例涉及数据库领域，特别涉及一种时序数据的存储查询方法、装置、服务器及存储介质。
背景技术
时序数据是指同一指标按时间顺序记录的数据序列，而时序数据库是用于存储和管理时序数据的专业化数据库，物联网(Internet of Things，IoT)系统中的时序数据库通常用于存储大量的实时监控、告警和分析等场景产生的数据，需要提供较大的存储空间和快速查询及处理数据的能力。
相关技术中，数据库服务器获取到待存储数据后，根据时间戳将待存储数据存储在相关文件中，并对该文件进行压缩，数据查询时，根据查询指令解压相关文件，返回待查询数据。
然而，相关技术中的时序数据库对所有数据进行无差别存储，不能为不同类型的数据提供针对性的压缩存储方式，压缩率较低。
发明内容
本申请实施例提供了一种时序数据的存储查询方法、装置、服务器及存储介质。所述技术方案如下：
一方面，本申请实施例提供了一种时序数据存储方法，所述方法包括：
当接收到IoT设备发送的待存储数据时，确定所述待存储数据的数据类型，所述待存储数据为时序数据，所述数据类型用于指示所述时序数据随时间的变化情况；
根据所述数据类型对应的数据压缩方式，对所述待存储数据进行压缩处理，得到压缩数据，其中，不同数据类型对应不同数据压缩方式；
将所述压缩数据存储至所述数据类型对应的数据存储表，其中，不同数据类型对应不同数据存储表；
接收查询请求，所述查询请求中包含查询数据类型和查询时间条件；
从所述查询数据类型对应的数据存储表中查询符合所述查询时间条件的目标数据。
另一方面，本申请实施例提供了一种时序数据的存储查询装置，所述装置包括：
确定模块，用于当接收到IoT设备发送的待存储数据时，确定所述待存储数据的数据类型，所述待存储数据为时序数据，所述数据类型用于指示所述时序数据随时间的变化情况；
处理模块，用于根据所述数据类型对应的数据压缩方式，对所述待存储数据进行压缩处理，得到压缩数据，其中，不同数据类型对应不同数据压缩方式；
存储模块，用于将压缩数据存储至所述数据类型对应的数据存储表，其中，不同数据类型对应不同数据存储表；
接收模块，用于接收查询请求，所述查询请求中包含查询数据类型和查询时间条件；
查询模块，用于从所述查询数据类型对应的数据存储表中查询符合所述查询时间条件的目标数据。
另一方面，本申请实施例提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的时序数据的存储查询方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的时序数据的存储查询方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过确定待存储数据的数据类型，针对不同类型数据的特点，采取不同的压缩方式，压缩并存储在对应的数据存储表中，从而提高了时序数据的压缩效率，节省存储资源；并且，在进行数据查询时，根据查询数据类型，从该查询数据类型对应的数据存储表中查找符合查询时间条件的时序数据，提高了不同类型时序数据的查询效率。
附图说明
图1是根据一个示例性实施例示出的实施环境的示意图；
图2是根据一示例性实施例示出的时序数据的存储查询方法的流程图；
图3是根据一示例性实施例示出的时序数据压缩存储过程的示意图；
图4是根据另一示例性实施例示出的时序数据的存储查询方法的流程图；
图5是根据一示例性实施例示出的数据库服务器查询能力示意图；
图6是根据一示例性实施例示出的时序数据的存储查询装置的结构框图；
图7是根据一示例性实施例示出的服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
相关技术中，对于时序数据的存储通常采用时序数据库软件，对于不同IoT设备发送的不同指标的待存储数据，数据库服务器将其存储在对应的数据存储表中，但所有数据均采用时序数据库软件默认的压缩方式，压缩率低且数据库的查询计算能力有限，需要大量其他的业务逻辑支持。
为了解决上述问题，本申请实施例针对不同数据类型的时序数据提供了一种时序数据的存储查询方法。请参考图1，其示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境中包括IoT设备101、数据库服务器102和查询终端103。
IoT设备101是具备数据采集功能的设备，并且采集的数据为时序数据，其可以是设置有风速检测仪、温湿度检测仪、光伏传感器等传感器的新能源设备，比如风力发电机、光伏板。如图1所示，多台IoT设备101分别采集不同数据类型的时序数据，并将采集到的时序数据发送给数据库服务器102，在一种可能的应用场景下，IoT设备101通过网关设备向数据库服务器102发送数据。
IoT设备101与数据库服务器102之间通过有线或无线网络相连。
数据库服务器102是存储IoT设备101采集到的数据的存储设备，其可以是一台服务器，若干台服务器构成的服务器集群或云服务器。可选的，数据库服务器102获取IoT设备101发送的待存储数据，根据待存储数据的数据类型确定对应的数据压缩方式，并将压缩数据存储至对应的数据存储表中。
数据库服务器102与查询终端103之间通过有线或无线网络相连。
查询终端103是具备数据查询功能的设备。在一种可能的应用场景下，查询终端103向数据库服务器102发送包含查询数据类型和查询时间条件的查询请求，由数据库服务器102根据查询数据类型确定相应的数据存储表，解压该数据存储表，再根据查询时间条件确定数据存储表中的目标数据，并将查询结果反馈给查询终端103，由查询终端103采用图表形式对接收到的时序数据进行显示。查询终端103可以是个人计算机、智能手机、平板电脑等，如图1所示，查询终端103为个人计算机。
请参考图2，其示出了本申请一个示例性实施例提供的时序数据的存储查询方法的流程图。本实施例以该方法用于数据库服务器为例进行说明，该方法包括如下步骤。
步骤201，当接收到IoT设备发送的待存储数据时，确定待存储数据的数据类型，待存储数据为时序数据，数据类型用于指示时序数据随时间的变化情况。
时序数据是指同一指标按时间顺序记录的数据序列，IoT系统中，不同IoT设备采集的时序数据随时间的变化情况不同，因此，在一种可能的实施方式中，可以预先根据IoT设备采集的数据随时间的变化情况，将其划分为不同类型的数据，当数据库服务器接收到IoT设备发送的待存储数据时，首先确定其数据类型。
可选的，当数据库服务器接收到IoT设备发送的待存储数据时，根据待存储数据中携带的设备标识或表示数据指标的关键字，确定其数据类型。
步骤202，根据数据类型对应的数据压缩方式，对待存储数据进行压缩处理，得到压缩数据，其中，不同数据类型对应不同数据压缩方式。
数据库服务器划分数据类型，其目的是针对每种数据的特点采取对应的方式进行压缩，从而最大程度上提高数据库的压缩率。
在一种可能的实施方式中，数据库服务器预先设置有多种数据压缩方式，并为每种类型的数据匹配对应的压缩方式，确定出待存储数据的数据类型后，根据对应的数据压缩方式压缩该数据。
步骤203，将压缩数据存储至数据类型对应的数据存储表，其中，不同数据类型对应不同数据存储表。
相关技术中的时序数据库(如OpenTSDB)相对于关系型数据库而言，具有高吞吐量、高压缩率等特点，但是数据存储表单一，不能根据时序数据的数据类型分类存储，因此时序数据库的数据处理能力有限。
在一种可能的实施方式中，数据库服务器设置有多种数据存储表，将不同数据类型的数据分配至不同的数据存储表中进行隔离存储，并在此基础上提供不同的数据查询能力，提升了数据库的数据查询效率。数据库服务器根据待存储数据的数据类型，采取对应的数据压缩方式进行压缩处理后，将压缩数据存储至相应的数据存储表中。
可选的，数据库服务器对不同种类的数据存储表进行标记，与待存储数据中表示数据类型的标记相对应，对待存储数据进行压缩处理后，将其存储至对应的数据存储表中。由于IoT设备采集的数据为时序数据，因此，数据库服务器将待存储数据按照时间戳的先后顺序存储在数据存储表中。
步骤204，接收查询请求，查询请求中包含查询数据类型和查询时间条件。
数据库服务器除了用于存储IoT设备发送的数据，还具有查询功能，用户可以根据需要发送查询请求，并根据数据库服务器返回的查询结果进行数据分析，从而获取某一指标的变化趋势、收益的增减或特定时间内的数据明细等信息。
在一种可能的实施方式中，用户在客户端输入查询请求，数据库服务器接收查询请求，并获取查询请求中的查询数据类型和查询时间条件，其中，查询数据类型用于确定数据存储表，查询时间条件用于确定数据存储表中的数据。步骤205，从查询数据类型对应的数据存储表中查询符合查询时间条件的目标数据。
在一种可能的实施方式中，数据库服务器获取查询请求中的查询数据类型，确定该类型对应的数据存储表，解压该数据存储表，根据查询时间条件确定数据存储表中的目标数据并提取，返回查询结果。
若查询请求中还包含其他查询条件，则数据库服务器根据具体的查询条件，对目标数据进行统计分析和计算处理。
综上所述，本申请实施例中，通过确定待存储数据的数据类型，针对不同类型数据的特点，采取不同的压缩方式，压缩并存储在对应的数据存储表中，可以较大程度地提高压缩效率，节省系统资源；并且在不同类型的数据存储表的基础上，根据查询条件确定目标数据，提供了丰富的查询能力，提高了数据查询效率。
IoT系统中，IoT设备采集的时序数据主要包括三类，即模拟量、状态量和累计量，不同类型的时序数据随时间的变换情况不同。状态量是在时间上不连续，且数值属于预设枚举数据集的物理量，例如断路器或隔离开关的位置信号、保护装置的动作信号、通信设备运行状况信号等；模拟量是在时间上连续，且数值在预设数值范围内的物理量，其数值不可枚举，例如温度、风速、电压值等；累计量是数值随时间递增的物理量，是一段时间内某一指标的累加值，例如电表度数、汽车里程等。请参考图3，其示出了本申请一个示例性实施例提供的数据存储过程示意图，IoT设备101向数据库服务器发送的数据分为模拟量、状态量、累计量和其他类型的数据，数据库服务器根据待存储数据的数据类型，采用相应的压缩算法压缩待存储数据，并将压缩数据存储至对应类型的数据存储表中。本申请以模拟量、状态量和累计量为例对时序数据的存储查询方法进行说明。
请参考图4，其示出了本申请另一个示例性实施例提供的时序数据的存储查询方法的流程图。本实施例以该方法用于数据库服务器为例进行说明，该方法包括如下步骤。
步骤401，当接收到IoT设备发送的待存储数据时，确定待存储数据的数据类型，待存储数据为时序数据，数据类型用于指示时序数据随时间的变化情况。
本步骤的实施方式可以参考上述步骤201，本实施例在此不再赘述。
步骤402，当待存储数据为状态量时，对于连续接收到的n个待存储数据，读取n个待存储数据的数值，n为大于等于2的整数。
对于状态量，查询和计算时只关心变化的时间点和数据，对于没有产生变化的时间段的数据并不关心，因此不需要对IoT设备发送的每一个数据都进行存储，只需存储状态量发生变化时刻的数据。
在一种可能的实施方式中，为了只保留变化时的数据，数据库服务器需要将待存储数据的数值进行比较，当连续接收到n个待存储数据时，数据库服务器首先读取n个待存储数据的数值，n可以根据实际的IoT设备数据采集情况进行设置。
示意性的，IoT设备的开关有开和关两种位置，其每隔一分钟向数据库服务器上传一次包含开关位置信号的数据，开状态用数字0表示，关状态用数字1表示，10:02:00之前IoT设备的开关位置信号为0，10:02:00时开关位置信号变为1，并一直持续至10:05:00，当10:06:00时，IoT设备上传的状态量数值为0，即10:00:00至10:06:00间，IoT设备的开关位置信号数据为0、0、1、1、1、1、0，若设置数据库服务器一次获取5个待存储数据的数值，且前一次获取至10:01:00，则本次数据库服务器获取10:02:00至10:06:00的待存储数据的数值，即1、1、1、1、0。
步骤403，根据n个待存储数据的数值变化情况，对待存储数据进行压缩处理，得到压缩数据。
对于状态量，用户在查询时通常只关心变化时刻的数据，因此数据服务器根据待存储数据的数值变化情况进行压缩存储。
在一种可能的实施方式中，本步骤可以包括如下步骤：
一、对于n个待存储数据中的第i+1个待存储数据，若第i+1个待存储数据与第i个待存储数据的数值不同，则保留第i+1个待存储数据，i为大于等于1的整数。
在一种可能的实施方式中，当待存储数据为状态量时，数据库服务器在读取n个待存储数据的数值后，将n个待存储数据中除第一个数据之外的数据的数值与前一个数据的数值相比较，若某一数据的数值与前一个数据的数值不同，则保留该数据。对于n个待存储数据中的第一个数据，需要与对应的数据存储表中存储的最后一个状态量的数值进行比较，若不同，则保留第一个数据。
示意性的，数据库服务器获取到的10:02:00至10:06:00间，IoT设备的开关位置信号数据为1、1、1、1、0，从第二待存储个数据开始，每个待存储数据的数值与前一个待存储数据的数值相比较，若数值不同，则保留该待存储数据，即保留10:06:00时刻的数据，第一个待存储数据需要与对应数据存储表中的最后一个数据进行数值比较，目的是为了确定第一个待存储数据是否为发生变化的数据，数据存储表中的最后一个数据的数值为0，则保留10:02:00时刻的数据。
二、若第i+1个待存储数据与第i个待存储数据的数值相同，则删除第i+1个待存储数据。
从n个数据中的第二个数据开始，若当前待存储数据与其前一个待存储数据数据的数值相同，则删除当前数据。对于第一个待存储数据，需要与对应的数据存储表中最后一个数据的数值进行比较，若相同，则删除第一个待存储数据。
示意性的，数据库服务器获取到的10:02:00至10:06:00间，IoT设备的开关位置信号数据为1、1、1、1、0，从第二待存储个数据开始，每个待存储数据的数值与前一个待存储数据的数值相比较，若数值相同，则删除当前的待存储数据，即需要删除10:03:00至10:05:00的三个数据，10:02:00的数据需要与相应数据存储表中的最后一个数据的数值进行比较，数值相同则删除第一个待存储数据，不同则保留，由于10:02:00时刻待存储数据的数值与数据存储表中最后一个数据的数值不同，说明10:02:00时刻开关状态发生变化，保留该数据。
步骤404，当待存储数据为模拟量时，根据待存储数据的采集频率以及目标采样频率，对待存储数据进行采样压缩处理，得到压缩数据，采集频率高于目标采样频率。
在一种可能的实施方式中，一台IoT设备采集的数据为模拟量，且采集频率较高，而用户在查询和分析时，需要一段较长时间内的该模拟量的变化趋势，或数据的统计结果，不需要具体的明细，则数据库服务器可以采取采样压缩处理方式压缩该模拟量的待存储数据，即数据库服务器根据预设的目标采样频率，每隔预定时间间隔保留一个待存储数据，其余数据删除，从而减小数据占用的空间。其中，目标采样频率要小于IoT设备的采集频率。
示意性的，IoT设备为风速检测仪，其每隔10秒钟采集一次风速并上传至数据库服务器，由于风速一般不会产生突变，并且用户通常只需查询几小时或一天内风速的变化情况，因此不需要具体每10秒钟的风速，可以设置数据库服务器对IoT设备发送的模拟量的目标采样频率为每分钟一次。例如，10:00:00至10:01:00内，IoT设备采集了7组风速上传至数据库服务器，数据库服务器根据每分钟一次的目标采样频率，只保留10:00:00和10:01:00两个时刻的数据并进行压缩处理，删除其余5组数据。
可选的，对于数据类型为模拟量的待存储数据，还可以采用时序数据库的无损压缩方式进行压缩处理，如采用霍夫曼压缩算法进行压缩。
步骤405，当待存储数据为累计量时，待存储数据通过时序数据库的预设无损压缩算法进行压缩。
由于累计量的数值随时间递增，是某一指标的累加值，通常其数据采集频率相对较低，因此在进行数据压缩存储时需要保留完整的数据，在一种可能的实施方式中，数据库服务器采用时序数据库的无损压缩方式对累计量进行压缩处理。
需要说明的是，步骤402至403与步骤404、步骤405之间不存在严格的先后时序，即步骤402至403与步骤404、步骤405可以同步执行，本实施例对此不作限定。
步骤406，将压缩数据存储至数据类型对应的数据存储表，其中，不同数据类型对应不同数据存储表。
在一种可能的实施方式中，数据库服务器设置有多种数据存储表，每种数据存储表与一种数据类型相对应，只存储该种类型的数据。当用户需要查询数据时，只需解压对应的数据存储表。基于不同类型的数据存储表，设置相应的查询算法，使数据库服务器具备丰富的查询能力。
步骤407，接收查询请求，查询请求中包含查询数据类型和查询时间条件。
数据库服务器除了能够存储IoT设备采集的数据，还具备数据查询和分析能力，并且针对不同类型的数据，提供不同的查询能力。
在一种可能的实施方式中，用户在客户端输入查询请求，其中包含查询数据类型和查询时间条件，数据库服务器接收到来自客户端的查询请求后，根据查询数据类型确定并解压相应的数据存储表，再根据查询时间条件确定该数据存储表中的相关数据。
示意性的，查询界面中需要输入查询数据类型、查询对象、查询时间条件和查询服务，例如，用户可以输入查询模拟量中，某一地区在2019年11月每一天温度的最小值。
如图5所示，不同数据类型的数据查询需求不同，由于数据库服务器将每种类型的数据单独存放在对应的数据存储表中，因此可以满足每种数据的查询需求。例如，用户可以为模拟量数据进行基本的聚合查询(如求和、求平均值、求最值)和插值查询，也可以根据实际数据情况设置其他查询方式；对于状态量，可以进行变位读取、相邻状态查询、状态统计等；对于累计量，通常需要进行数据分解，并在此基础上进行关联查询，如关联成本、收益等查询相关费用。
步骤408，当查询数据类型为状态量时，若查询时间条件为第一时刻，且状态量对应的数据存储表中未存储第一时刻对应的数据，则将数据存储表中第二时刻对应的数据确定为目标数据，第二时刻位于第一时刻之前，且距离第一时刻最近。
在一种可能的实施方式中，由于状态量的压缩方式为只保留变化时的数据，删除未发生变化时的数据，因此数据并不是完整的，用户输入的第一时刻可能没有相应的数据存储在数据存储表中。然而为存储的数据是未发生变化的数据，因此其数值与数据存储表中与其时刻距离最近且位于该时刻之前的数据的数值相等，即第二时刻对应的数据为目标数据，数据库服务器返回第二时刻的数据。
示意性的，用户想要查询IoT设备在10:04:00时的开关状态，根据数据类型确定出对应的数据存储表后，检测到该时刻没有数据，则返回与其距离最近且在该时刻之前的数据，即10:02:00的数据，其数值为1，说明IoT设备在10:04:00时的开关状态为关。
在一种可能的实施方式中，查询数据类型为状态量，若查询时间条件为目标时间段，则将数据存储表中目标时间段内的数据确定为目标数据。当用户需要查询某一时间段内的状态量或状态量的统计结果时，查询时间条件为一个时间段，数据库服务器返回该时间段内的状态量或其统计结果。
示意性的，用户需要查询IoT设备在10:01:00至10:06:00的状态量的统计结果，则数据库服务器确定出对应的数据存储表后，根据查询时间条件的时间段确定目标数据，获取到10:02:00和10:06:00两个时刻的数据，其数值分别为1和0，返回的统计结果为一次开和一次关。
步骤409，当查询数据类型为模拟量时，若查询时间条件为第三时刻，且模拟量对应的数据存储表中未存储第三时刻对应的数据，则获取数据存储表中至少一个第四时刻和至少一个第五时刻对应的数据，第四时刻在第三时刻之前且距离第三时刻最近，第五时刻在第三时刻之后且距离第三时刻最近。
在一种可能的实施方式中，由于模拟量的压缩方式可能为采样压缩，因此其数据并不完整，用户查询的某一时刻的数据可能未被存储在数据存储表中。数据库服务器首先根据查询时间条件的第三时刻，确定出与其前后时间距离最近的两个时刻或两个时间段内的数据。
示意性的，用户需要查询IoT设备在10:00:30时采集的风速，由于IoT设备的数据为每隔一分钟获取一次数据进行压缩存储，因此数据存储表中没有10:00:30的数据，此时数据库服务器获取10:00:00及之前几个时刻的数据，和10:01:00及之后几个时刻的数据。
步骤410，根据第四时刻和第五时刻对应的数据，通过插值算法计算第三时刻对应的目标数据。
数据库服务器根据与第三时刻相邻的时刻对应的数据，通过插值算法拟合出包含第三时刻的一个时间段内数据的函数，并计算出第三时刻对应的数据，返回该计算结果。
示意性的，用户需要查询IoT设备在10:00:30时采集的风速，数据库服务器根据10:00:00、09:59:00和09:58:00的数据以及10:01:00、10:02:00和10:03:00的数据，计算出10:00:30的风速。假设10:00:00、09:59:00、09:58:00、10:01:00、10:02:00和10:03:00对应的风速均为5m/s，则拟合函数并计算出10:00:30的风速为5m/s。
在一种可能的实施方式中，查询数据类型为模拟量，若查询时间条件为目标时间段，则获取数据存储表中目标时间段内对应的目标数据，若查询请求中还包括其他查询条件，则根据具体的查询条件确定目标函数，按照目标函数计算处理目标数据，得出计算结果并返回至查询设备。
示意性的，用户想要查询IoT设备采集的00:00:00至12:00:00的风速最大值，则数据库服务器在对应的数据存储表中确定出该段时间内的数据，并确定出求最大值的函数，利用该函数计算出00:00:00至12:00:00内风速的最大值，将结果返回至客户端。
步骤411，当查询数据类型为累计量时，根据数据存储表中相邻的累计量，计算各个时间段对应的分量。
累计量在查询时通常需要先进行数据分解，即计算各个时间段的分量，从而进行数据统计或其他联合计算，如将电表度数联合电价计算电费。数据库服务器将每一时刻对应的累计量减去前一时刻对应的累计量，即可得到每个时间段对应的分量。
在一种可能的实施方式中，查询数据类型为累计量，且查询时间条件为第六时刻，根据第六时刻确定目标数据。当用户需要查询某一时刻的累计量时，数据库服务器查询并直接返回该时刻的累计量。
步骤412，根据查询时间条件所指示的目标时间段，查询属于目标时间段的各个目标分量。
在一种可能的实施方式中，数据库服务器在分解出各个时间段对应的分量后，根据目标时间段确定出用户需要查询的目标分量。
示意性的，用户需要查询IoT设备采集的电表度数，并且需要9月份每一天的用电量和电费情况，而数据库服务器中存储有9月1日至9月30日每一天的电表度数，即每一天的累计电量，则数据库服务器首先从第二天的数据开始，用每天的累计量减去前一天的累计量，得到9月份每天的用电量。
步骤413，根据目标分量确定目标数据。
数据库服务器获取到累计量在各时间段内的分量后，对目标分量进行数据统计或计算，确定目标数据。在一种可能的实施方式中，用户需要查询一段时间内某一累计量在各时间段的费用，需要将该累计量在各时间段的分量联合成本进行计算。
示意性的，用户需要查询IoT设备采集的电表度数，并且需要9月份每一天的用电量和电费情况，数据库服务器从第二天的数据开始，用每天的累计量减去前一天的累计量，得到9月份每天的用电量，再联合9月的电价，计算每天的电费情况。
需要说明的是，步骤408与步骤409至410、步骤411至413之间不存在严格的先后时序，即步骤408与步骤409至410、步骤411至413可以同步执行，本实施例对此不作限定。
本申请实施例中，将数据类型按照其随时间的变化特点划分为状态量、模拟量和累计量，并针对每一种数据类型采用不同的数据压缩方式，最大程度上提高了压缩率，节省了系统资源；将不同类型的数据存储在不同的数据存储表中，并在此基础上为数据库服务器提供了多种查询功能，用户可以根据实际需求查询数据及其统计或计算结果，提高了数据库服务器的查询能力。
图6是本申请一个示例性实施例提供的时序数据的存储查询装置的结构框图，该装置可以设置于上述实施例所述的数据库服务器，如图6所示，该装置包括：
确定模块601，用于当接收到IoT设备发送的待存储数据时，确定所述待存储数据的数据类型，所述待存储数据为时序数据，所述数据类型用于指示所述时序数据随时间的变化情况；
处理模块602，用于根据所述数据类型对应的数据压缩方式，对所述待存储数据进行压缩处理，得到压缩数据，其中，不同数据类型对应不同数据压缩方式；
存储模块603，用于将所述压缩数据存储至所述数据类型对应的数据存储表，其中，不同数据类型对应不同数据存储表；
接收模块604，用于接收查询请求，所述查询请求中包含查询数据类型和查询时间条件；
查询模块605，用于从所述查询数据类型对应的数据存储表中查询符合所述查询时间条件的目标数据。
可选的，所述待存储数据为状态量，所述状态量是在时间上不连续，且数值属于预设枚举数据集的物理量，所述处理模块602，包括：
第一获取单元，用于对于连续接收到的n个所述待存储数据，读取n个所述待存储数据的数值，n为大于等于2的整数；
第一压缩单元，用于根据n个所述待存储数据的数值变化情况，对所述待存储数据进行压缩处理，得到所述压缩数据。
可选的，所述压缩单元，还用于：
对于n个所述待存储数据中的第i+1个待存储数据，若所述第i+1个待存储数据与所述第i个待存储数据的数值不同，则保留所述第i+1个待存储数据，i为大于等于1的整数；
若所述第i+1个待存储数据与所述第i个待存储数据的数值相同，则删除所述第i+1个待存储数据。
可选的，所述查询数据类型为所述状态量，所述查询模块605，包括：
第一确定单元，用于若所述查询时间条件为第一时刻，且所述状态量对应的数据存储表中未存储所述第一时刻对应的数据，则将所述数据存储表中第二时刻对应的数据确定为所述目标数据，所述第二时刻位于所述第一时刻之前，且距离所述第一时刻最近。
可选的，所述待存储数据为模拟量，所述模拟量是在时间上连续，且数值在预设数值范围内的物理量，所述处理模块602，还包括：
第二压缩单元，用于根据所述待存储数据的采集频率以及目标采样频率，对所述待存储数据进行采样压缩处理，得到所述压缩数据，所述采集频率高于所述目标采样频率。
可选的，所述查询数据类型为所述模拟量，所述查询模块605，还包括：
第二获取单元，用于若所述查询时间条件为第三时刻，且所述模拟量对应的数据存储表中未存储所述第三时刻对应的数据，则获取所述数据存储表中至少一个第四时刻和至少一个第五时刻对应的数据，所述第四时刻在所述第三时刻之前且距离所述第三时刻最近，所述第五时刻在所述第三时刻之后且距离所述第三时刻最近；
第一计算单元，用于根据所述第四时刻和所述第五时刻对应的数据，通过插值算法计算所述第三时刻对应的所述目标数据。
可选的，所述待存储数据为累计量，所述累计量是数值随时间递增的物理量，所述待存储数据通过时序数据库的预设无损压缩算法进行压缩；
所述查询数据类型为所述累计量，所述查询模块605，还包括：
第二计算单元，用于根据所述数据存储表中相邻的所述累计量，计算各个时间段对应的分量；
查询单元，用于根据所述查询时间条件所指示的目标时间段，查询属于所述目标时间段的各个目标分量；
第二确定单元，用于根据所述目标分量确定所述目标数据。
请参考图7，其示出了本申请一个示例性实施例提供的服务器的结构示意图。具体来讲：所述服务器700包括中央处理单元(Central Processing Unit，CPU)701、包括随机存取存储器(Random Access Memory，RAM)702和只读存储器(Read-Only Memory，ROM)703的系统存储器704，以及连接系统存储器704和中央处理单元701的系统总线705。所述服务器700还包括帮助服务器内的各个器件之间传输信息的基本输入/输出(Input/Output，I/O)系统706，和用于存储操作系统713、应用程序714和其他程序模块715的大容量存储设备707。
所述基本输入/输出系统706包括有用于显示信息的显示器708和用于用户输入信息的诸如鼠标、键盘之类的输入设备709。其中所述显示器708和输入设备709都通过连接到系统总线705的输入输出控制器710连接到中央处理单元701。所述基本输入/输出系统706还可以包括输入输出控制器710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器710还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备707通过连接到系统总线705的大容量存储控制器(未示出)连接到中央处理单元701。所述大容量存储设备707及其相关联的服务器可读存储介质为服务器700提供非易失性存储。也就是说，所述大容量存储设备707可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的服务器可读存储介质(未示出)。
不失一般性，所述服务器可读存储介质可以包括服务器存储介质和通信介质。服务器存储介质包括以用于存储诸如服务器可读存储指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。服务器存储介质包括RAM、ROM、计算机存储器(Erasable Programmable Read Only Memor，EPROM)、读写存储器(Electrically Erasable Programmable Read Only Memory，EEPROM)、闪存或其他固态存储其技术，CD-ROM、数字通用光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述服务器存储介质不局限于上述几种。上述的系统存储器704和大容量存储设备707可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元701执行，一个或多个程序包含用于实现上述时序数据存储方法的指令，中央处理单元701执行该一个或多个程序实现上述各个方法实施例提供的时序数据的存储查询方法。
根据本申请的各种实施例，所述服务器700还可以通过诸如因特网等网络连接到网络上的远程服务器运行。也即服务器700可以通过连接在所述系统总线705上的网络接口单元711连接到网络712，或者说，也可以使用网络接口单元711来连接到其他类型的网络或远程服务器系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由数据库服务器所执行的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的时序数据的存储查询方法。
本申请实施例还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的时序数据的存储查询方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读存储介质中或者作为计算机可读存储介质上的一个或多个指令或代码进行传输。计算机可读存储介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种时序数据的存储查询方法，其特征在于，所述方法包括：
当接收到物联网IoT设备发送的待存储数据时，确定所述待存储数据的数据类型，所述待存储数据为时序数据，所述数据类型用于指示所述时序数据随时间的变化情况，所述待存储数据包括状态量、模拟量以及累计量中的至少一种，所述状态量是在时间上不连续，且数值属于预设枚举数据集的物理量，所述模拟量是在时间上连续，且数值在预设数值范围内的物理量，所述累计量是数值随时间递增的物理量；
在所述待存储数据为所述状态量的情况下，对于连续接收到的n个所述待存储数据，读取n个所述待存储数据的数值，n为大于等于2的整数；对于n个所述待存储数据中的第i+1个待存储数据，若所述第i+1个待存储数据与第i个待存储数据的数值不同，则保留所述第i+1个待存储数据，i为大于等于1的整数；若所述第i+1个待存储数据与所述第i个待存储数据的数值相同，则删除所述第i+1个待存储数据；
在所述待存储数据为所述模拟量的情况下，根据所述待存储数据的采集频率以及目标采样频率，对所述待存储数据进行采样压缩处理，得到压缩数据，所述采集频率高于所述目标采样频率；
在所述待存储数据为所述累计量的情况下，通过时序数据库的预设无损压缩算法，对所述待存储数据进行压缩处理，得到所述压缩数据；
将所述压缩数据存储至所述数据类型对应的数据存储表，其中，不同数据类型对应不同数据存储表；
接收查询请求，所述查询请求中包含查询数据类型和查询时间条件；
从所述查询数据类型对应的数据存储表中查询符合所述查询时间条件的目标数据。
2.根据权利要求1所述的方法，其特征在于，所述查询数据类型为所述状态量，所述从所述查询数据类型对应的数据存储表中查询符合所述查询时间条件的目标数据，包括：
若所述查询时间条件为第一时刻，且所述状态量对应的数据存储表中未存储所述第一时刻对应的数据，则将所述数据存储表中第二时刻对应的数据确定为所述目标数据，所述第二时刻位于所述第一时刻之前，且距离所述第一时刻最近。
3.根据权利要求1所述的方法，其特征在于，所述查询数据类型为所述模拟量，所述从所述查询数据类型对应的数据存储表中查询符合所述查询时间条件的目标数据，包括：
若所述查询时间条件为第三时刻，且所述模拟量对应的数据存储表中未存储所述第三时刻对应的数据，则获取所述数据存储表中至少一个第四时刻和至少一个第五时刻对应的数据，所述第四时刻在所述第三时刻之前且距离所述第三时刻最近，所述第五时刻在所述第三时刻之后且距离所述第三时刻最近；
根据所述第四时刻和所述第五时刻对应的数据，通过插值算法计算所述第三时刻对应的所述目标数据。
4.根据权利要求1所述的方法，其特征在于，
所述查询数据类型为所述累计量，所述从所述查询数据类型对应的数据存储表中查询符合所述查询时间条件的目标数据，包括：
根据所述数据存储表中相邻的所述累计量，计算各个时间段对应的分量；
根据所述查询时间条件所指示的目标时间段，查询属于所述目标时间段的各个目标分量；
根据所述目标分量确定所述目标数据。
5.一种时序数据的存储查询装置，其特征在于，所述装置包括：
确定模块，用于当接收到IoT设备发送的待存储数据时，确定所述待存储数据的数据类型，所述待存储数据为时序数据，所述数据类型用于指示所述时序数据随时间的变化情况，所述待存储数据包括状态量、模拟量以及累计量中的至少一种，所述状态量是在时间上不连续，且数值属于预设枚举数据集的物理量，所述模拟量是在时间上连续，且数值在预设数值范围内的物理量，所述累计量是数值随时间递增的物理量；
处理模块，用于在所述待存储数据为所述状态量的情况下，对于连续接收到的n个所述待存储数据，读取n个所述待存储数据的数值，n为大于等于2的整数；对于n个所述待存储数据中的第i+1个待存储数据，若所述第i+1个待存储数据与第i个待存储数据的数值不同，则保留所述第i+1个待存储数据，i为大于等于1的整数；若所述第i+1个待存储数据与所述第i个待存储数据的数值相同，则删除所述第i+1个待存储数据；在所述待存储数据为所述模拟量的情况下，根据所述待存储数据的采集频率以及目标采样频率，对所述待存储数据进行采样压缩处理，得到压缩数据，所述采集频率高于所述目标采样频率；在所述待存储数据为所述累计量的情况下，通过时序数据库的预设无损压缩算法，对所述待存储数据进行压缩处理，得到所述压缩数据；
存储模块，用于将所述压缩数据存储至所述数据类型对应的数据存储表，其中，不同数据类型对应不同数据存储表；
接收模块，用于接收查询请求，所述查询请求中包含查询数据类型和查询时间条件；
查询模块，用于从所述查询数据类型对应的数据存储表中查询符合所述查询时间条件的目标数据。
6.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至4任一所述的时序数据的存储查询方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至4任一所述的时序数据的存储查询方法。
CN201911318297.5A 2019-12-19 2019-12-19 时序数据的存储查询方法、装置、服务器及存储介质 Active CN111078755B (zh)

Priority Applications (12)

Application Number Priority Date Filing Date Title
CN201911318297.5A CN111078755B (zh) 2019-12-19 2019-12-19 时序数据的存储查询方法、装置、服务器及存储介质
MX2022007684A MX2022007684A (es) 2019-12-19 2020-12-15 Metodo y aparato para almacenar y consultar datos de serie temporal, y servidor y medio de almacenamiento de los mismos.
AU2020410479A AU2020410479A1 (en) 2019-12-19 2020-12-15 Method and apparatus for storing and querying time series data, and server and storage medium thereof
CA3165340A CA3165340A1 (en) 2019-12-19 2020-12-15 Method and apparatus for storing and querying time series data, and server and storage medium thereof
JP2022537436A JP7279266B2 (ja) 2019-12-19 2020-12-15 時系列データを保存および照会するための方法および装置、並びにそれらのサーバーおよび記憶媒体
EP20902057.7A EP4078404A4 (en) 2019-12-19 2020-12-15 METHOD AND DEVICE FOR STORING AND REQUESTING TIME SERIES DATA, AND SERVER AND STORAGE MEDIUM THEREFOR
MYPI2022003240A MY197705A (en) 2019-12-19 2020-12-15 Method and apparatus for storing and querying time series data, and server and storage medium thereof
KR1020227024660A KR102511271B1 (ko) 2019-12-19 2020-12-15 시계열 데이터 저장 및 쿼리 방법 및 장치, 및 그 서버 및 저장 매체
BR112022012121A BR112022012121A2 (pt) 2019-12-19 2020-12-15 Método e aparelho para armazenar e consultar dados de série temporal, e servidor e meio de armazenamento dos mesmos
US17/787,280 US20230097797A1 (en) 2019-12-19 2020-12-15 Method and apparatus for storing and querying time series data, and server and storage medium thereof
PCT/SG2020/050748 WO2021126079A1 (en) 2019-12-19 2020-12-15 Method and apparatus for storing and querying time series data, and server and storage medium thereof
ZA2022/07174A ZA202207174B (en) 2019-12-19 2022-06-28 Method and apparatus for storing and querying time series data, and server and storage medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911318297.5A CN111078755B (zh) 2019-12-19 2019-12-19 时序数据的存储查询方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN111078755A CN111078755A (zh) 2020-04-28
CN111078755B true CN111078755B (zh) 2023-07-28

Family

ID=70315770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911318297.5A Active CN111078755B (zh) 2019-12-19 2019-12-19 时序数据的存储查询方法、装置、服务器及存储介质

Country Status (12)

Country Link
US (1) US20230097797A1 (zh)
EP (1) EP4078404A4 (zh)
JP (1) JP7279266B2 (zh)
KR (1) KR102511271B1 (zh)
CN (1) CN111078755B (zh)
AU (1) AU2020410479A1 (zh)
BR (1) BR112022012121A2 (zh)
CA (1) CA3165340A1 (zh)
MX (1) MX2022007684A (zh)
MY (1) MY197705A (zh)
WO (1) WO2021126079A1 (zh)
ZA (1) ZA202207174B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563546A (zh) * 2020-04-29 2020-08-21 北京字节跳动网络技术有限公司 传感器数据匹配方法、装置、设备和存储介质
CN112035720A (zh) * 2020-08-13 2020-12-04 海尔优家智能科技（北京）有限公司 事件提醒的触发方法和装置、存储介质及电子设备
CN112463793B (zh) * 2020-11-24 2022-07-26 傲普(上海)新能源有限公司 一种基于influxdb数据库的EMS信息展示系统以及方法
CN112559811A (zh) * 2020-12-23 2021-03-26 唐山松下产业机器有限公司 焊接数据的存储方法和存储系统
CN112818029A (zh) * 2021-01-13 2021-05-18 远景智能国际私人投资有限公司 时序数据的查询方法、装置、设备及可读存储介质
CN113342536A (zh) * 2021-07-01 2021-09-03 广东电网有限责任公司 一种基于数据云统一数据采集工具的应用数据处理系统
CN113850288B (zh) * 2021-08-06 2022-08-19 中标慧安信息技术股份有限公司 物联网协同化数据处理与存储方法及系统
CN114547073B (zh) * 2022-02-10 2023-03-21 清华大学 时序数据的聚合查询方法、装置及存储介质
CN114726379B (zh) * 2022-06-13 2022-09-13 西安热工研究院有限公司 基于时序数据库样本存储特征的自适应压缩方法及系统
CN117389972B (zh) * 2023-12-11 2024-02-27 云粒智慧科技有限公司 条状空间数据压缩方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006317362A (ja) * 2005-05-16 2006-11-24 Kobe Steel Ltd データ圧縮型記録装置
CN106330995A (zh) * 2015-06-19 2017-01-11 陕西重型汽车有限公司 用于车联网的三级数据压缩装置及其方法

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4730348A (en) * 1986-09-19 1988-03-08 Adaptive Computer Technologies Adaptive data compression system
JP3733984B2 (ja) * 1997-01-29 2006-01-11 富士ゼロックス株式会社 情報蓄積装置および情報蓄積方法
US6374266B1 (en) * 1998-07-28 2002-04-16 Ralph Shnelvar Method and apparatus for storing information in a data processing system
US6885319B2 (en) * 1999-01-29 2005-04-26 Quickshift, Inc. System and method for generating optimally compressed data from a plurality of data compression/decompression engines implementing different data compression algorithms
US20010054131A1 (en) * 1999-01-29 2001-12-20 Alvarez Manuel J. System and method for perfoming scalable embedded parallel data compression
US6880008B1 (en) * 1999-03-31 2005-04-12 Sony Corporation System and method for retrieving a backup file having a file name exactly corresponding to the date and time of a client request, if no exact match for the date and time corresponding to the client request is found, to search for the backup file having the file name with a date and time that are closest to but prior to the specified date and time
US7181478B1 (en) * 2000-08-11 2007-02-20 General Electric Company Method and system for exporting flight data for long term storage
US6525678B1 (en) * 2000-10-06 2003-02-25 Altera Corporation Configuring a programmable logic device
JP2002163180A (ja) 2000-11-27 2002-06-07 Nissan Motor Co Ltd データ収集装置およびデータ転送方法
GB2372671B (en) * 2001-02-27 2003-04-30 3Com Corp Processing network events to reduce the number of events to be displayed
US20040077347A1 (en) * 2002-08-30 2004-04-22 Ronald Lauber Modular analog wireless data telemetry system adapted for use with web based location information distribution method and method for developing and disseminating information for use therewith
US7099992B2 (en) * 2002-12-30 2006-08-29 Micron Technology, Inc. Distributed programmable priority encoder capable of finding the longest match in a single operation
US7174260B2 (en) * 2004-04-01 2007-02-06 Blue Line Innovations Inc. System and method for reading power meters
US8238194B2 (en) * 2004-09-23 2012-08-07 Schlumberger Technology Corporation Methods and systems for compressing sonic log data
US8700579B2 (en) 2006-09-18 2014-04-15 Infobright Inc. Method and system for data compression in a relational database
US9063979B2 (en) * 2007-11-01 2015-06-23 Ebay, Inc. Analyzing event streams of user sessions
US7765346B2 (en) * 2007-12-14 2010-07-27 Bmc Software, Inc. Dynamic compression of systems management data
CN101267644B (zh) * 2008-04-22 2010-11-17 广东高新兴通信股份有限公司 一种对监控数据的存储方法
US20090307763A1 (en) * 2008-06-05 2009-12-10 Fiberlink Communications Corporation Automated Test Management System and Method
IL203628A (en) * 2010-01-31 2015-09-24 Verint Systems Ltd Systems and methods for decoding network traffic
WO2011142026A1 (ja) * 2010-05-14 2011-11-17 株式会社日立製作所 時系列データ管理装置、システム、方法、およびプログラム
US9648279B2 (en) * 2010-06-08 2017-05-09 Mitel Networks Corporation Method and system for video communication
US8260989B2 (en) * 2010-08-18 2012-09-04 Hewlett-Packard Development Company, L.P. Method and system for low-powered data transmission
WO2012140601A1 (en) * 2011-04-13 2012-10-18 Bar-Ilan University Anomaly detection methods, devices and systems
US20130091266A1 (en) * 2011-10-05 2013-04-11 Ajit Bhave System for organizing and fast searching of massive amounts of data
JP2013206387A (ja) * 2012-03-29 2013-10-07 Ntt Docomo Inc データ検索システム及びデータ検索方法
US10009391B1 (en) * 2012-05-31 2018-06-26 Leading Market Technologies, Inc. Apparatus and method for acquiring, managing, sharing, monitoring, analyzing and publishing web-based time series data
CN103577456B (zh) * 2012-07-31 2016-12-21 国际商业机器公司 用于处理时序数据的方法和装置
US9264478B2 (en) * 2012-10-30 2016-02-16 Microsoft Technology Licensing, Llc Home cloud with virtualized input and output roaming over network
CN103794006B (zh) * 2012-10-31 2016-12-21 国际商业机器公司 用于处理多个传感器的时序数据的方法和装置
GB2508190A (en) * 2012-11-22 2014-05-28 Wonga Technology Ltd Monitoring user interaction with webpages using unique identifiers for page components
US9015183B2 (en) * 2012-11-26 2015-04-21 International Business Machines Corporation Accelerating time series data base queries using dictionary based representations
US10360196B2 (en) * 2014-04-15 2019-07-23 Splunk Inc. Grouping and managing event streams generated from captured network data
CN104135530A (zh) * 2014-08-06 2014-11-05 上海斐讯数据通信技术有限公司 一种增量上报的方法及装置
US9516052B1 (en) * 2015-08-01 2016-12-06 Splunk Inc. Timeline displays of network security investigation events
US10318516B1 (en) * 2015-09-22 2019-06-11 Amazon Technologies, Inc. System for optimizing serialization of values
JP6599727B2 (ja) * 2015-10-26 2019-10-30 株式会社Ｓｃｒｅｅｎホールディングス 時系列データ処理方法、時系列データ処理プログラム、および、時系列データ処理装置
US10754334B2 (en) * 2016-05-09 2020-08-25 Strong Force Iot Portfolio 2016, Llc Methods and systems for industrial internet of things data collection for process adjustment in an upstream oil and gas environment
CN106021395A (zh) * 2016-05-12 2016-10-12 成都鼎智汇科技有限公司 物联网环境下的药品信息存储方法
US10070387B2 (en) * 2016-05-18 2018-09-04 Qualcomm, Incorporated Deep sleep mode abort mechanism for machine-type communication devices
EP3475846B1 (en) * 2016-06-23 2023-03-01 Schneider Electric USA, Inc. Transactional-unstructured data driven sequential federated query method for distributed systems
US9753935B1 (en) * 2016-08-02 2017-09-05 Palantir Technologies Inc. Time-series data storage and processing database system
WO2018049430A2 (en) * 2016-08-11 2018-03-15 Integem Inc. An intelligent interactive and augmented reality based user interface platform
WO2018076930A1 (zh) * 2016-10-24 2018-05-03 北京亚控科技发展有限公司 一种基于时空数据库的对数据对象的检索方法
US9809159B1 (en) * 2016-12-28 2017-11-07 Allstate Insurance Company System and methods for detecting vehicle braking events using data from fused sensors in mobile devices
CN107038204B (zh) * 2016-12-30 2019-05-03 北京工业大学 物联网感知数据状态矢量提取及表示方法
US20180217910A1 (en) * 2017-01-27 2018-08-02 Ca, Inc. Scalable data logging
US11269877B2 (en) * 2017-06-22 2022-03-08 Sap Se Visualization-oriented time series data aggregation
JP2019079317A (ja) 2017-10-25 2019-05-23 株式会社東芝 エッジサーバ
CN108021650A (zh) * 2017-11-30 2018-05-11 冶金自动化研究设计院 一种时序数据的高效存储和读取系统
CN107871022B (zh) * 2017-12-20 2018-12-11 清华大学 一种时序数据列式存储、查询方法及系统
CN108256088A (zh) * 2018-01-23 2018-07-06 清华大学 一种基于键值数据库的时序数据的存储方法及系统
US20190287004A1 (en) * 2018-03-14 2019-09-19 Scaled Inference, Inc. Methods and systems for real-time decision-making using cross-platform telemetry
CN108566320A (zh) * 2018-03-28 2018-09-21 青岛海信智慧家居系统股份有限公司 一种信息上报的方法及电子设备
US11410063B2 (en) * 2018-09-28 2022-08-09 B.yond, Inc. Self-intelligent improvement in predictive data models
CN109582708A (zh) * 2018-11-19 2019-04-05 冶金自动化研究设计院 一种时序数据库系统
CN110460656B (zh) * 2019-08-01 2022-04-01 安徽领云物联科技有限公司 一种工业环保物联网远程监测云平台
US10977234B2 (en) * 2019-08-02 2021-04-13 Timescale, Inc. Combining compressed and uncompressed data at query time for efficient database analytics

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006317362A (ja) * 2005-05-16 2006-11-24 Kobe Steel Ltd データ圧縮型記録装置
CN106330995A (zh) * 2015-06-19 2017-01-11 陕西重型汽车有限公司 用于车联网的三级数据压缩装置及其方法

Also Published As

Publication number Publication date
JP7279266B2 (ja) 2023-05-22
KR102511271B1 (ko) 2023-03-17
ZA202207174B (en) 2022-10-26
KR20220108186A (ko) 2022-08-02
MX2022007684A (es) 2022-09-26
US20230097797A1 (en) 2023-03-30
CA3165340A1 (en) 2021-06-24
WO2021126079A1 (en) 2021-06-24
MY197705A (en) 2023-07-06
JP2023502543A (ja) 2023-01-24
AU2020410479A1 (en) 2022-07-21
CN111078755A (zh) 2020-04-28
EP4078404A1 (en) 2022-10-26
EP4078404A4 (en) 2023-01-04
BR112022012121A2 (pt) 2022-08-30

Similar Documents

Publication Publication Date Title
CN111078755B (zh) 时序数据的存储查询方法、装置、服务器及存储介质
CN111125089B (zh) 时序数据存储方法、装置、服务器及存储介质
JP5699715B2 (ja) データ保存装置、データ保存方法
JPWO2012020456A1 (ja) 時系列データ処理装置及びその方法
CN112613271A (zh) 数据分页方法、装置、计算机设备及存储介质
CN110704439B (zh) 数据存储方法及装置
CN115344207A (zh) 数据处理方法、装置、电子设备及存储介质
CN109510857B (zh) 数据存储方法、装置、服务器和系统
CN107545039B (zh) 关键词的指数获取方法和装置、计算机设备和存储介质
WO2021226922A1 (zh) 数据压缩方法及装置、数据压缩设备和可读存储介质
CN112115281A (zh) 数据检索方法、装置及存储介质
CN114565325B (zh) 一种电力物联网的大数据分析方法及系统
CN110543509A (zh) 用户访问数据的监控系统、方法、装置及电子设备
CN112667149B (zh) 一种数据热度感知方法、装置、设备及介质
CN114691723A (zh) 工业数据处理方法、装置、设备及介质
US10411959B1 (en) Data analytics for the internet of things
US20230315682A1 (en) Long term and short term data management of a file based time series database populated with data collected by an energy sensor for a power generating device or from another data source
CN116127149B (zh) 图数据库集群健康度的量化方法和系统
Chen et al. Multi-GPU acceleration for smart grid data compression
CN112600944B (zh) 一种适用于物联网时序数据的差分云存储方法和系统
CN114819216A (zh) 空调的保养服务推荐方法及服务器
CN113722286A (zh) 时空数据压缩方法、装置、服务器及存储介质
CN117336631A (zh) 一种通过tr069协议采集cpe指标数据的方法
CN115757448A (zh) 数据处理方法、装置、电子设备及存储介质
CN113986913A (zh) 基于实时数据库的物联网设备数据处理方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant