CN113342284A - 时序数据存储方法、装置、计算机设备及存储介质 - Google Patents

时序数据存储方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113342284A
CN113342284A CN202110737999.8A CN202110737999A CN113342284A CN 113342284 A CN113342284 A CN 113342284A CN 202110737999 A CN202110737999 A CN 202110737999A CN 113342284 A CN113342284 A CN 113342284A
Authority
CN
China
Prior art keywords
time sequence
data
database
target
sequence data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110737999.8A
Other languages
English (en)
Other versions
CN113342284B (zh
Inventor
杨先博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Merchants Finance Technology Co Ltd
Original Assignee
China Merchants Finance Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Merchants Finance Technology Co Ltd filed Critical China Merchants Finance Technology Co Ltd
Priority to CN202110737999.8A priority Critical patent/CN113342284B/zh
Publication of CN113342284A publication Critical patent/CN113342284A/zh
Application granted granted Critical
Publication of CN113342284B publication Critical patent/CN113342284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24578Query processing with adaptation to user needs using ranking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474Sequence data queries, e.g. querying versioned data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0635Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种时序数据存储方法、装置、计算机设备及存储介质,该时序数据存储方法包括目标数据接收组件获取多个原始时序数据和每一所述原始时序数据对应度量参数和标签参数;将所述度量参数和所述标签参数均相同的所述原始时序数据,确定为同一组分片时序数据;所述目标数据接收组件将每一所述存储路径与所述库路径进行比对,获取比对结果;基于所述比对结果,将所述分片时序数据存储至对应的目标时序数据库,将所述分片时序数据存储至对应的目标时序数据库。该方法应用在分布式系统中,可以提高系统的时序数据存储能力和系统性能,以解决现有的原始时序数据库只支持单机存储的问题。

Description

时序数据存储方法、装置、计算机设备及存储介质
技术领域
本发明涉及数据存储领域,尤其涉及一种时序数据存储方法、装置、计算机设备及存储介质。
背景技术
当前时序数据库只支持单机存储,导致实际应用时,数据存储量和数据写入具有较大的限制,数据存储效率低,难以应用到实际的业务场景中。且由于只支持单机存储,因此,当前的时序数据库难以满足大量数据存储过程中的告警和备份。
发明内容
本发明实施例提供一种时序数据存储方法、装置、计算机设备及存储介质,以解决当前的时序数据库存在的数据存储效率低的问题。
一种时序数据存储方法,包括:
目标数据接收组件获取多个原始时序数据和每一所述原始时序数据对应的数据特征,所述数据特征包括度量参数和标签参数;
将所述度量参数和所述标签参数均相同的所述原始时序数据,确定为同一组分片时序数据;
基于所述分片时序数据对应的所述度量参数和所述标签参数,确定所述分片时序数据的存储路径;
将所述存储路径与所述库路径进行比对,以从多个待选时序数据库中确定目标时序数据库,将所述分片时序数据存储至对应的目标时序数据库。
一种时序数据存储装置,包括:
原始时序数据接收模块,用于目标数据接收组件获取多个原始时序数据和每一所述原始时序数据对应的数据特征,所述数据特征包括度量参数和标签参数;
分片时序数据确定模块,用于将所述度量参数和所述标签参数均相同的所述原始时序数据,确定为同一组分片时序数据;
存储路径确定模块,用于基于所述分片时序数据对应的所述度量参数和所述标签参数,确定所述分片时序数据的存储路径;
数据存储模块,用于将所述存储路径与所述库路径进行比对,以从多个待选时序数据库中确定目标时序数据库,将所述分片时序数据存储至对应的目标时序数据库。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述时序数据存储方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述时序数据存储方法的步骤。
上述时序数据存储方法、装置、计算机设备及存储介质,将所述度量参数和所述标签参数均相同的所述原始时序数据,确定为同一组分片时序数据,为后续的数据存储提供技术支持;基于所述分片时序数据对应的所述度量参数和所述标签参数,确定所述分片时序数据的存储路径,实现精准分配分片时序数据的位置,加快数据处理效率。将所述存储路径与所述库路径进行比对,以从多个待选时序数据库中确定目标时序数据库,将所述分片时序数据存储至对应的目标时序数据库,提高了系统的时序数据存储能力和系统性能,以解决现有的原始时序数据库只支持单机存储的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中时序数据存储方法的分布系统示意图;
图2是本发明一实施例中时序数据存储方法的一流程图;
图3是本发明一实施例中时序数据存储方法的另一流程图;
图4是本发明一实施例中时序数据存储方法的另一流程图;
图5是本发明一实施例中时序数据存储方法的另一流程图;
图6是本发明一实施例中时序数据存储方法的另一流程图;
图7是本发明一实施例中时序数据存储方法的另一流程图;
图8是本发明一实施例中时序数据存储装置的一原理框图;
图9是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的时序数据存储方法,该时序数据存储方法可应用如图1所示的分布式系统中。具体地,所述分布式系统包括多个数据接收组件和与每一所述数据接收组件连接的多个待选时序数据库,将其中一个数据接收组件确定为目标数据接收组件,每一所述待选时序数据库对应一个库路径。其中,待选时序数据库为开源的时序数据库,目前开源的时序数据库只支持单机存储和写入等操作,数据存储效率低,限制多,难以满足大量数据存储和写入。库路径是待选时序数据库的路径,即一个待选时序数据库与一个库路径对应。
在一实施例中,如图2所示,提供一种时序数据存储方法,所述分布式系统包括多个数据接收组件和与每一所述数据接收组件连接的多个待选时序数据库,将其中一个数据接收组件确定为目标数据接收组件,每一所述待选时序数据库对应一个库路径,该时序数据存储方法包括如下步骤:
S201:目标数据接收组件获取多个原始时序数据和每一原始时序数据对应的数据特征,数据特征包括度量参数和标签参数。
其中,目标数据接收组件是用于接收原始时序数据的组件,该组件为redis服务器,利用redis服务器可以保证在接收大量数据时,任然可以满足组件正常运行。
原始时序数据是带有时间戳的数据,该时间戳用于指示原始时序数据生成的时间。该原始时序数据是http上报给服务器的数据,和/或服务器查询消息队列得到的数据,由于使用消息队列进行数据缓冲及消费,以实现多源接收数据,增强系统的数据写入并发的能力。
数据特征是指原始时序数据的类别、采集原始时序数据的工具和数据指标等特征。度量参数用于指示原始时序数据所属类别的参数,相当于关系型数据库中的表单名。例如,采集的是与风相关的数据,则度量参数为风;若采集的是与商品相关的数据,则度量参数为XX商品。
标签参数是度量参数下的子类别,该标签参数为标签键值对。例如,用户ID为yyy,则用户ID为标签键值,标签参数为标签值。
S202:将度量参数和标签参数均相同的原始时序数据,确定为同一组分片时序数据。
其中,分片时序数据是对原始时序数据进行分组得到的数据,一组分片时序数据的度量参数和标签参数均相同,具体地,同一组分片时序数据的度量参数和标签键相同。
本实施例中,将原始时序数据对应的度量参数和标签参数进行对比,以将度量参数和标签参数相同的原始时序数据确定为一组分片时序数据,为后续的数据存储提供技术支持。
S203:基于分片时序数据对应的度量参数和标签参数,确定分片时序数据的存储路径。
其中,存储路径是表示分片时序数据存储的位置。
本实施例中,采用路径分配算法对每一组分片时序数据对应的度量参数和标签参数进行计算,得到唯一值,将该唯一值确定为该分片时序数据的存储路径,实现精准分配分片时序数据的位置,加快数据处理效率。
S204:目标数据接收组件将每一存储路径与库路径进行比对,获取比对结果;基于比对结果,将分片时序数据存储至对应的目标时序数据库。
其中,目标时序数据库是用于存储分片时序数据的数据库。
本实施例中,通过对原始时序数据进行分片处理,以确定每一组分片时序数据的目标时序数据库,提高了系统的时序数据存储能力和系统性能,以解决现有的原始时序数据库只支持单机存储的问题。
本实施例所提供的时序数据存储方法,将度量参数和标签参数均相同的原始时序数据,确定为同一组分片时序数据,为后续的数据存储提供技术支持;基于分片时序数据对应的度量参数和标签参数,确定分片时序数据的存储路径,实现精准分配分片时序数据的位置,加快数据处理效率。目标数据接收组件将每一存储路径与库路径进行比对,获取比对结果;基于比对结果,将分片时序数据存储至对应的目标时序数据库,提高了系统的时序数据存储能力和系统性能,以解决现有的原始时序数据库只支持单机存储的问题。
作为一示例,分布式数据库系统还包括多个监控组件,每一监控组件与待选时序数据库相连;如图3所示,在执行步骤S204时,即在执行将分片时序数据,存储至存储路径对应的目标时序数据库时,方法还包括,包括:
S301:启动目标时序数据库对应的监控组件,对分片时序数据进行监控;监控组件上存储有数据监控策略。
其中,监控组件是用于监控分片时序数据存储至目标时序数据库的过程的组件。数据监控策略是预先设定的策略,用于对分片时序数据库进行监控;该数据监控策略可以用于监控分片时序数据的数据格式等。
本实施例中,将分片时序数据,存储至存储路径对应的目标时序数据库,则启动该目标时序数据库对应的监控组件,实现实时监控,且数据存储时,才启动该目标时序数据库对应的监控组件,可以保证优化资源使用,避免资源浪费。
S302:获取监控组件基于数据监控策略对分片时序数据进行监控,生成的监控结果。
本实施例中,监控组件基于数据监控策略进行监控,实现自动化数据监控,确保存储到目标时序数据库的准确性。
S303:若监控结果为分片时序数据异常,则将分片时序数据库删除,并将分片时序数据异常的监控结果发送给客户端。
本实施例中,当监控结果为分片时序数据异常时,则说明分片时序数据存在异常,需要对异常的分片时序数据进行处理,以确保存储到目标时序数据库的准确性。可以理解地,由于本实施例应用在分布式系统中,因此,本实施例可以进行分布式监控告警,提升系统的告警能力。
本实施例所提供的时序数据存储方法,启动目标时序数据库对应的监控组件,对分片时序数据进行监控,可以保证优化资源使用,避免资源浪费。监控组件上存储有数据监控策略。获取监控组件基于数据监控策略对分片时序数据进行监控,生成的监控结果,确保存储到目标时序数据库的准确性。若监控结果为分片时序数据异常,则将分片时序数据库删除,并将分片时序数据异常的监控结果发送给客户端,可以进行分布式监控告警,提升系统的告警能力。
作为一示例,步骤S201,即目标数据接收组件获取多个原始时序数据,包括:
获取http上报的原始时序数据;和/或,查询消息队列,获取消息队列中的原始时序数据。
具体地,客户端与服务器建立连接,http将当前数据发送给服务器,服务器判断当前数据是否为带有时间序列的数据,若当前数据为带有时间序列的数据,则将该当前数据确定为原始时序数据库,以便后续将原始时序数据库发送到目标时序数据库中。和/或,客户端将当前数据发送给到消息队列中,并通知服务器。服务器接收到通知,则查询消息队列,得到当前数据,判断该当前数据是否为带有时间序列的数据,若当前数据为带有时间序列的数据,则将该当前数据确定为原始时序数据库,以便后续将原始时序数据库发送到目标时序数据库中。其中,消息队列是用于储存当前数据的队列。
作为一示例,判断该当前数据是否为带有时间序列的数据,具体地,通过校验当前数据的格式是否符合原始时序数据的格式,若当前数据的格式符合原始时序数据的格式,则将当前数据确定为原始时序数据,实现自动化区分原始时序数据库和非原始时序数据库,确保原始时序数据的准确性。
目前,待选时序数据库只支持http上报和命令行等方式写入数据,这种http上报和命令行的方式为实时同步写入方式,在数据量较多的情况下,则容易造成开源数据库连接异常,运行缓慢、宕机,以及时序数据存储错误率较高等问题。本实施例中,当数据量较多的时候,则将当前时序数据存储在消息队列中,因此,大量的当前数据不会直接写入到开源数据库中,导致客户端与服务器不需要同时进行交互,当前数据会一直保留在消息队列中,以便服务器查询消息队列,目标数据接收组件获取多个原始时序数据,以保证开源数据库运行正常,以及时序数据存储的准确性;同时当客户端发送给服务器的当前数据的数据量庞大时,可以通过消息队列存储当前数据,以使当前数据以异步的方式运行,避免数据缓冲,而造成运行缓慢或者宕机等问题。
作为一示例,如图4所示,分布式数据库系统还包括切换组件和数据接收组件;时序数据存储方法还包括:
S401:切换组件用于对目标数据接收组件进行实时监控。
其中,切换组件是用于切换目标数据接收组件和数据接收组件的组件。
S402:当监控到目标数据接收组件存在异常,则将所有数据接收组件中的任意一个切换为目标数据接收组件。
本实施例中,切换组件为Sentinel进程,Sentinel进程对同时目标数据接收组件和所有数据接收组件进行监控,当目标数据接收组件出现宕机等异常情况时,则Sentinel进程将其中一个数据接收组件确定为目标数据接收组件,以实现自动对目标数据接收组件和数据接收组件进行切换,保证系统可正常工作,避免出现目标数据接收组件宕机或者长时间缓存等异常情况。
本实施例所提供的数据存储方法,切换组件用于对目标数据接收组件进行实时监控。当监控到目标数据接收组件存在异常,则将所有数据接收组件中的任意一个切换为目标数据接收组件,以实现自动对目标数据接收组件和数据接收组件进行切换,保证系统可正常工作,避免出现目标数据接收组件宕机或者长时间缓存等异常情况。
作为一示例,如图5所示,分布式数据库系统还包括数据备份组件和与目标时序数据库对应的备份数据库;时序数据存储方法还包括:
S501:数据备份组件对每一目标时序数据库和目标时序数据库对应的备份数据库进行监控。
其中,数据备份组件是用于使目标时序数据库与对应的备份数据库的分片时序数据保持一致,以确保数据的完整性,以在目标时序数据库中出现异常情况看时,可以在备份数据库中得到完整的分片时序数据。
S502:判断目标时序数据库是否存在未同步的分片时序数据。
本实施例中,数据备份组件可以在预定时间内,将目标时序数据库中的分片时序数据的数量与备份数据库中的分片时序数据的数量进行对比,若目标时序数据库中的分片时序数据的数量与备份数据库中的分片时序数据的数量相等,则两个库的分片时序数据是相等的,使得数据备份较为简便。若目标时序数据库中的分片时序数据的数量与备份数据库中的分片时序数据的数量不相等,则需要将目标时序数据库中的分片时序数据与备份数据库中的分片时序数据进行一一比对,以实现自动化确定未同步的分片时序数据,提高数据自动化处理效率。
S503:若目标时序数据库存在未同步的分片时序数据,则数据备份组件将未同步的分片时序数据发送给备份数据库。
本实施例中,当目标时序数据库存在未同步的分片时序数据,则述数据备份组件将未同步的分片时序数据发送给备份数据库,以保证数据的完整性,当后续出现数据缺失的问题时,可以直接从备份数据库中得到分片时序数据,避免数据错误。
本实施例所提供的时序数据存储方法,数据备份组件对每一目标时序数据库和目标时序数据库对应的备份数据库进行监控。目标时序数据库存在未同步的分片时序数据,则数据备份组件将未同步的分片时序数据发送给备份数据库,以确保数据的完整性,以在目标时序数据库中出现异常情况看时,可以在备份数据库中得到完整的分片时序数据。
作为一示例,如图6所示,步骤S204,即目标数据接收组件将每一存储路径与所述库路径进行比对,获取比对结果;基于比对结果,将分片时序数据存储至对应的目标时序数据库,包括:
S601:采用路径计算算法对每一分片时序数据对应的度量参数和标签参数进行计算,得到分片时序数据的存储路径。
路径计算算法是用于对分片时序数据的度量参数和标签参数进行就计算,得到唯一值的算法,该唯一值即为分片时序数据的存储路径,以快速得到存储分片时序数据的路径。具体地,本实施例中的路径计算算法为MD5算法,MD5算法即消息摘要算法第五版,是当前计算机领域用于确保信息传输完整一致而广泛使用的散列算法之一。
S602:将存储数据与库路径进行比对,获取比对结果。
S603:若比对结果为存在与存储路径对应的库路径,则将库路径对应的待选时序数据库,确定为目标时序数据库。
本实施例中,存在与存储路径对应的库路径,则之间将库路径对应的待选时序数据库确定为目标时序数据库,以将分片时序数据存储在目标时序数据库中,以实现分布式存储数据库,解决开源时序数据库执行进行单机存储的问题。
S604:若比对结果为不存在与存储路径对应的库路径,则调用负载均衡算法对所有待选时序数据库进行负载计算,获取计算结果。
计算结果是指对待选时序数据库的负载进行计算得到的结果,例如,计算结果可以是待选时序数据库1的负载为20%;待选时序数据库2的负载为40%和待选时序数据库3的负载为70%。负载均衡算法可以是round robin算法,round robin算法是指轮询调度算法。轮询调度算法具有简洁性,它无需记录当前所有连接的状态,仅计算待选时序数据库的负载,以实现数据库分配。
S605:将计算结果为负载最轻的待选时序数据库确定为目标时序数据库。
本实施例采用负载均衡算法计算所有的待选时序数据库的负载,以为后续的目标开源时序数据库的选择提供技术支持,保证数据库负载均衡。将计算结果为负载最轻的待选时序数据库确定为目标时序数据库,以提高数据存储效率,合理利用数据库资源。
本实施例所提供的时序数据存储方法,采用路径计算算法对每一分片时序数据对应的度量参数和标签参数进行计算,得到分片时序数据的存储路径,以快速得到存储分片时序数据的路径。将存储数据与库路径进行比对,获取比对结果,比对结果为存在与存储路径对应的库路径,则将库路径对应的待选时序数据库,确定为目标时序数据库,以实现分布式存储数据库,解决开源时序数据库执行进行单机存储的问题。若比对结果为不存在与存储路径对应的库路径,则调用负载均衡算法对所有待选时序数据库进行负载计算,获取计算结果。将计算结果为负载最轻的待选时序数据库确定为目标时序数据库,以提高数据存储效率,合理利用数据库资源。
作为一示例,如图7所示,步骤S204,即将分片时序数据,存储至存储路径对应的目标时序数据库,包括:
S701:获取目标时序数据库对应的标准模板。
其中,标准模板是指目标时序数据库存储数据的模板,以便根据该标准模板对分片时序数据进行处理,将分片时序数据转化为与目标时序数据库对应的数据,保证目标时序数据库中的数据具有一致性,为后续的数据分析提供便利。
S702:根据标准模板对分片时序数据进行结构转化处理,获取存储数据,并将存储数据存储至目标时序数据库中。
其中,存储数据是对分片时序数据进行结构转化处理后,适合存储至目标时序数据库的数据。
本实施例中,当服务器获取到标准模板的时候,则根据标准模板对分片时序数据批量进行结构转化处理,以将分片时序数据转化为标准化的存储数据,保证后续时序数据存储的标准性。
本实施例所提供的时序数据存储方法,获取目标时序数据库对应的标准模板,将分片时序数据转化为与目标时序数据库对应的数据,保证目标时序数据库中的数据具有一致性,为后续的数据分析提供便利。根据标准模板对分片时序数据进行结构转化处理,获取存储数据,并将存储数据存储至目标时序数据库中,保证后续时序数据存储的标准性。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种时序数据存储装置,该时序数据存储装置与上述实施例中时序数据存储装置一一对应。如图8所示,该时序数据存储装置包括原始时序数据接收模块801、分片时序数据确定模块802、存储路径确定模块803和数据存储模块804。各功能模块详细说明如下:
原始时序数据接收模块801,用于目标数据接收组件获取多个原始时序数据和每一原始时序数据对应的数据特征,数据特征包括度量参数和标签参数。
分片时序数据确定模块802,用于将度量参数和标签参数均相同的原始时序数据,确定为同一组分片时序数据。
存储路径确定模块803,用于基于分片时序数据对应的度量参数和标签参数,确定分片时序数据的存储路径。
数据存储模块804,用于目标数据接收组件将每一存储路径与库路径进行比对,获取比对结果;基于比对结果,将分片时序数据存储至对应的目标时序数据库。
优选地,分布式数据库系统还包括多个监控组件,每一监控组件与待选时序数据库相连;在数据存储模块804时,装置还包括:第一监控模块、监控结果生成模块和数据异常处理模块。
第一监控模块,用于启动目标时序数据库对应的监控组件,对分片时序数据进行监控;监控组件上存储有数据监控策略。
监控结果生成模块,用于获取监控组件基于数据监控策略对分片时序数据进行监控,生成的监控结果。
数据异常处理模块,用于若监控结果为分片时序数据异常,则将分片时序数据库删除,并将分片时序数据异常的监控结果发送给客户端。
优选地,原始时序数据接收模块801,包括数据单元。
数据单元,用于目标数据接收组件获取http上报的原始时序数据;和/或,查询消息队列,获取消息队列中的原始时序数据。
优选地,分布式数据库系统还包括切换组件和数据接收组件;时序数据存储装置还包括:
切换组件用于对目标数据接收组件进行实时监控。
当监控到目标数据接收组件存在异常,则将所有数据接收组件中的任意一个切换为目标数据接收组件。
优选地,分布式数据库系统还包括数据备份组件和与目标时序数据库对应的备份数据库;时序数据存储装置还包括:第二监控模块、判断模块和备份模块。
第二监控模块,用于数据备份组件对每一目标时序数据库和目标时序数据库对应的备份数据库进行监控。
判断模块,用于判断目标时序数据库是否存在未同步的分片时序数据。
备份模块,用于若目标时序数据库存在未同步的分片时序数据,则数据备份组件将未同步的分片时序数据发送给备份数据库。
优选地,基于分片时序数据对应的度量参数和标签参数,确定分片时序数据的存储路径;数据存储模块804,包括第一计算单元、比对结果获取单元、第一目标时序数据库确定单元、第二计算单元和第二目标时序数据库确定单元。
第一计算单元,用于采用路径计算算法对每一分片时序数据对应的度量参数和标签参数进行计算,得到分片时序数据的存储路径。
比对结果获取单元,用于将存储数据与库路径进行比对,获取比对结果。
目标时序数据库确定单元,用于若比对结果为存在与存储路径对应的库路径,则将库路径对应的待选时序数据库,确定为目标时序数据库。
第二计算单元,用于若比对结果为不存在与存储路径对应的库路径,则调用负载均衡算法对所有待选时序数据库进行负载计算,获取计算结果。
第二目标时序数据库确定单元,用于将计算结果为负载最轻的待选时序数据库确定为目标时序数据库。
优选地,数据存储模块804,包括:标准模板获取单元、存储数据获取单元和数据存储单元。
标准模板获取单元,用于获取目标时序数据库对应的标准模板。
存储数据获取单元,用于根据标准模板对分片时序数据进行结构转化处理,获取存储数据。
数据存储单元,用于将存储数据存储至目标时序数据库中,并将存储数据存储至目标时序数据库中。
关于时序数据存储装置的具体限定可以参见上文中对于时序数据存储方法的限定,在此不再赘述。上述时序数据存储装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储分片时序数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种时序数据存储方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中时序数据存储方法的步骤,例如图2所示的步骤S201-S204,或者图3至图7中所示的步骤,为避免重复,这里不再赘述。或者,处理器执行计算机程序时实现时序数据存储装置这一实施例中的各模块/单元的功能,例如图8所示的原始时序数据接收模块801、分片时序数据确定模块802、存储路径确定模块803和数据存储模块804的功能,为避免重复,这里不再赘述。
在一实施例中,提供一计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中时序数据存储方法的步骤,例如图2所示的步骤S201-S204,或者图3至图7中所示的步骤,为避免重复,这里不再赘述。或者,处理器执行计算机程序时实现时序数据存储装置这一实施例中的各模块/单元的功能,例如图8所示的原始时序数据接收模块801、分片时序数据确定模块802、存储路径确定模块803和数据存储模块804的功能,为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种时序数据存储方法,其特征在于,所述时序数据存储方法应用在分布式系统中,所述分布式系统包括多个数据接收组件和与每一所述数据接收组件连接的多个待选时序数据库,将其中一个数据接收组件确定为目标数据接收组件,每一所述待选时序数据库对应一个库路径;所述时序数据存储方法包括:
目标数据接收组件获取多个原始时序数据和每一所述原始时序数据对应的数据特征,所述数据特征包括度量参数和标签参数;
将所述度量参数和所述标签参数均相同的所述原始时序数据,确定为同一组分片时序数据;
基于所述分片时序数据对应的所述度量参数和所述标签参数,确定每一所述分片时序数据的存储路径;
所述目标数据接收组件将每一所述存储路径与所述库路径进行比对,获取比对结果;基于所述比对结果,将所述分片时序数据存储至对应的目标时序数据库。
2.如权利要求1所述的时序数据存储方法,其特征在于,所述目标数据接收组件获取多个原始时序数据,包括:
所述目标数据接收组件获取http上报的原始时序数据;和/或,查询消息队列,获取所述消息队列中的原始时序数据。
3.如权利要求1所述的时序数据存储方法,其特征在于,所述分布式数据库系统还包括多个监控组件,每一所述监控组件与所述待选时序数据库相连;在所述将所述分片时序数据存储至对应的目标时序数据库时,所述方法还包括:
启动所述目标时序数据库对应的监控组件,对所述分片时序数据进行监控;所述监控组件上存储有数据监控策略;
获取所述监控组件基于所述数据监控策略对所述分片时序数据进行监控,生成的监控结果;
若所述监控结果为分片时序数据异常,则将所述分片时序数据库删除,并将分片时序数据异常的所述监控结果发送给客户端。
4.如权利要求1所述的时序数据存储方法,其特征在于,所述分布式数据库系统还包括切换组件和数据接收组件;所述时序数据存储方法还包括:
所述切换组件用于对所述目标数据接收组件进行实时监控;
当监控到所述目标数据接收组件存在异常,则将所有所述数据接收组件中的任意一个切换为目标数据接收组件。
5.如权利要求1所述的时序数据存储方法,其特征在于,所述分布式数据库系统还包括数据备份组件和与目标时序数据库对应的备份数据库;所述时序数据存储方法还包括:
所述数据备份组件对每一所述目标时序数据库和所述目标时序数据库对应的备份数据库进行监控;
判断所述目标时序数据库是否存在未同步的分片时序数据;
若所述目标时序数据库存在未同步的分片时序数据,则所述数据备份组件将所述未同步的分片时序数据发送给备份数据库。
6.如权利要求1所述的时序数据存储方法,其特征在于,所述目标数据接收组件将每一所述存储路径与所述库路径进行比对,获取比对结果;基于所述比对结果,将所述分片时序数据存储至对应的目标时序数据库,包括:
采用路径计算算法对每一所述分片时序数据对应的所述度量参数和所述标签参数进行计算,得到所述分片时序数据的存储路径;
将所述存储数据与所述库路径进行比对,获取比对结果;
若所述比对结果为存在与所述存储路径对应的库路径,则将所述库路径对应的待选时序数据库,确定为目标时序数据库;
若所述比对结果为不存在与所述存储路径对应的库路径,则调用负载均衡算法对所有所述待选时序数据库进行负载计算,获取计算结果;
将计算结果为负载最轻的待选时序数据库基于所述计算结果确定目标时序数据库。
7.如权利要求1所述的时序数据存储方法,其特征在于,所述将所述分片时序数据存储至对应的目标时序数据库,包括:
获取所述目标时序数据库对应的标准模板;
根据所述标准模板对所述分片时序数据进行结构转化处理,获取存储数据;
将所述存储数据存储至所述目标时序数据库中,并将所述存储数据存储至所述目标时序数据库中。
8.一种时序数据存储装置,其特征在于,包括:
原始时序数据接收模块,用于目标数据接收组件获取多个原始时序数据和每一所述原始时序数据对应的数据特征,所述数据特征包括度量参数和标签参数;
分片时序数据确定模块,用于将所述度量参数和所述标签参数均相同的所述原始时序数据,确定为同一组分片时序数据;
存储路径确定模块,用于基于所述分片时序数据对应的所述度量参数和所述标签参数,确定所述分片时序数据的存储路径;
数据存储模块,用于所述目标数据接收组件将每一所述存储路径与所述库路径进行比对,获取比对结果;基于所述比对结果,将所述分片时序数据存储至对应的目标时序数据库。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述时序数据存储方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述时序数据存储方法的步骤。
CN202110737999.8A 2021-06-30 2021-06-30 时序数据存储方法、装置、计算机设备及存储介质 Active CN113342284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110737999.8A CN113342284B (zh) 2021-06-30 2021-06-30 时序数据存储方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110737999.8A CN113342284B (zh) 2021-06-30 2021-06-30 时序数据存储方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113342284A true CN113342284A (zh) 2021-09-03
CN113342284B CN113342284B (zh) 2023-02-28

Family

ID=77481868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110737999.8A Active CN113342284B (zh) 2021-06-30 2021-06-30 时序数据存储方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113342284B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114281895A (zh) * 2021-12-24 2022-04-05 成都索贝数码科技股份有限公司 支持远程拉取的多数据中心同步方法
CN117290451A (zh) * 2023-09-12 2023-12-26 上海沄熹科技有限公司 一种保证数据库系统事务一致性的方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664660A (zh) * 2018-05-21 2018-10-16 北京五八信息技术有限公司 时序数据库的分布式实现方法、装置、设备及存储介质
CN109977077A (zh) * 2019-03-25 2019-07-05 腾讯科技(深圳)有限公司 模型文件存储方法、装置、可读存储介质和计算机设备
CN110046183A (zh) * 2019-04-16 2019-07-23 北京易沃特科技有限公司 一种时序数据聚合检索方法、设备及介质
US20200099614A1 (en) * 2018-09-25 2020-03-26 Ebay Inc. Time-series data monitoring with sharded server
CN111125089A (zh) * 2019-11-05 2020-05-08 远景智能国际私人投资有限公司 时序数据存储方法、装置、服务器及存储介质
CN111639072A (zh) * 2020-04-14 2020-09-08 北京中交兴路信息科技有限公司 一种车联网场景下的数据存储方法及系统、可读存储介质
CN112199419A (zh) * 2020-10-09 2021-01-08 深圳市欢太科技有限公司 一种分布式时序数据库、存储方法、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664660A (zh) * 2018-05-21 2018-10-16 北京五八信息技术有限公司 时序数据库的分布式实现方法、装置、设备及存储介质
US20200099614A1 (en) * 2018-09-25 2020-03-26 Ebay Inc. Time-series data monitoring with sharded server
CN109977077A (zh) * 2019-03-25 2019-07-05 腾讯科技(深圳)有限公司 模型文件存储方法、装置、可读存储介质和计算机设备
CN110046183A (zh) * 2019-04-16 2019-07-23 北京易沃特科技有限公司 一种时序数据聚合检索方法、设备及介质
CN111125089A (zh) * 2019-11-05 2020-05-08 远景智能国际私人投资有限公司 时序数据存储方法、装置、服务器及存储介质
CN111639072A (zh) * 2020-04-14 2020-09-08 北京中交兴路信息科技有限公司 一种车联网场景下的数据存储方法及系统、可读存储介质
CN112199419A (zh) * 2020-10-09 2021-01-08 深圳市欢太科技有限公司 一种分布式时序数据库、存储方法、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114281895A (zh) * 2021-12-24 2022-04-05 成都索贝数码科技股份有限公司 支持远程拉取的多数据中心同步方法
CN117290451A (zh) * 2023-09-12 2023-12-26 上海沄熹科技有限公司 一种保证数据库系统事务一致性的方法及系统
CN117290451B (zh) * 2023-09-12 2024-06-07 上海沄熹科技有限公司 一种保证数据库系统事务一致性的方法及系统

Also Published As

Publication number Publication date
CN113342284B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN109522287B (zh) 分布式文件存储集群的监控方法、系统、设备及介质
CN113342284B (zh) 时序数据存储方法、装置、计算机设备及存储介质
CN109064345B (zh) 消息处理方法、系统以及计算机可读存储介质
CN110113224B (zh) 容量监控方法、装置、计算机设备及存储介质
CN110309109B (zh) 数据监控方法、装置、计算机设备及存储介质
CN111611137A (zh) 告警监控方法、装置、计算机设备及存储介质
CN110995468A (zh) 待分析系统的系统故障处理方法、装置、设备和存储介质
CN111666491A (zh) 异常数据查询方法、装置、计算机设备及存储介质
CN110022221B (zh) 一种系统接口数据的监控方法、装置及系统
CN110460967B (zh) 短信平台测试方法、装置、计算机设备及存储介质
CN111143163A (zh) 数据监控方法、装置、计算机设备和存储介质
CN112612618A (zh) 接口限流方法、装置、计算机设备和存储介质
CN111198921A (zh) 数据库的切换方法、装置、计算机设备和存储介质
CA3184650A1 (en) Project management and control method and device, computer equipment and storage medium
CN108763046B (zh) 线程运行监控方法、装置、计算机设备和存储介质
CN108519987A (zh) 一种数据持久化方法和装置
CN108924772B (zh) 短信发送方法、装置、计算机设备和存储介质
CN112685462B (zh) 馈线数据分析方法、装置、计算机设备和存储介质
CN110011845B (zh) 日志采集方法及系统
CN111061616A (zh) 告警管理方法、装置、通信设备和存储介质
CN114090268B (zh) 容器管理方法及容器管理系统
CN114528179B (zh) 数据采集程序状态监控方法、装置、设备及存储介质
CN111506422B (zh) 事件分析方法及系统
CN115114316A (zh) 一种高并发数据的处理方法、装置、集群和存储介质
CN114385498A (zh) 性能测试方法、系统、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant