CN112395336B - 一种长时间序列数据管理和可视化方法 - Google Patents

一种长时间序列数据管理和可视化方法 Download PDF

Info

Publication number
CN112395336B
CN112395336B CN202011358853.4A CN202011358853A CN112395336B CN 112395336 B CN112395336 B CN 112395336B CN 202011358853 A CN202011358853 A CN 202011358853A CN 112395336 B CN112395336 B CN 112395336B
Authority
CN
China
Prior art keywords
data
time
long
time sequence
sequence data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011358853.4A
Other languages
English (en)
Other versions
CN112395336A (zh
Inventor
徐佳佳
易忠
李曼丽
赵晶晶
何磊
张海英
邱逸昌
李梦
韩兴龙
周乐
赵永平
张旭明
袁坤
曹志杰
原奕
黄魁
仇玉雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Spacecraft Environment Engineering
Original Assignee
Beijing Institute of Spacecraft Environment Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Spacecraft Environment Engineering filed Critical Beijing Institute of Spacecraft Environment Engineering
Priority to CN202011358853.4A priority Critical patent/CN112395336B/zh
Publication of CN112395336A publication Critical patent/CN112395336A/zh
Application granted granted Critical
Publication of CN112395336B publication Critical patent/CN112395336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data

Abstract

本申请提供一种长时间序列数据管理和可视化方法，所述方法包括如下步骤：确定长时间序列数据的降精尺度集Tc；根据降精尺度集Tc对长时间序列数据进行降精处理，得到多个时间序列数据子集，并将各个时间序列数据子集存储到数据库中；获取用户设定的数据查询时间宽度Tw；从数据库中检索满足所述时间宽度Tw的时间序列数据子集，并将其以曲线的方式在客户端进行展示。本发明提供的长时间序列数据管理和可视化方法能够完成时序数据曲线的可视化，该方法采用了降精处理的方法，以不同的降精尺度实现对长时间序列数据的降精处理，并将降精处理得到的时间序列数据子集存储在数据库中，以便于后期对长时间序列数据进行管理和可视化展示。

Description

一种长时间序列数据管理和可视化方法
技术领域
本申请涉及工业数据采集存储技术领域，尤其涉及一种长时间序列数据管理和可视化方法。
背景技术
随着5G技术的发展，物联网技术已经被广泛应用到城市管理、物流管理以及工业生产过程中，这就涉及到长时间的时间序列数据的存储。目前，已经有了较多的时间序列数据库技术，能够解决长时间的海量数据的存储问题，但是，后期长时间序列数据的可视化尚未有较好的方法，而且无论是采用像素点直接生成图片，还是直接利用可视化插件，都难以直接完成时序数据曲线的可视化。
发明内容
本申请的目的是针对以上问题，提供一种长时间序列数据管理和可视化方法。
本申请提供一种长时间序列数据管理和可视化方法，所述方法包括如下步骤：
S1、确定长时间序列数据的降精尺度集Tc；
S2、根据降精尺度集Tc对长时间序列数据进行降精处理，得到多个时间序列数据子集，并将各个时间序列数据子集存储到数据库中；
S3、获取用户设定的数据查询时间宽度Tw；
S4、从数据库中检索满足所述时间宽度Tw的时间序列数据子集，并将其以曲线的方式在客户端进行展示。
进一步的，所述降精尺度集Tc包括n个数值互不相同的降精尺度，n为2～20中的任意自然数。
进一步的，确定长时间序列数据的降精尺度集Tc的方法包括：
S10、判断长时间序列数据的数据类型是否为实时数据；
S11、当长时间序列数据的数据类型是实时数据时，根据采集设备的采样周期确定降精尺度集Tc；
S12、当长时间序列数据的数据类型不是实时数据时，采用如下步骤来确定降精尺度集Tc：
S121、根据长时间序列数据的原始采样频率F0来确定最小时间宽度Tcmin，Tcmin的表达式为Tcmin＝1/F0；
S122、确定最大时间宽度Tcmax，Tcmax的表达式为
Tcmax＝Pmax/[(Te-Ts)*F0]
其中，Pmax为可视化工具所能容纳的最大数据集，Te为长时间序列数据的结束时间，Ts为长时间序列数据的开始时间，F0为长时间序列数据的原始采样频率；
S123、在Tcmin～Tcmax范围内选取n个互不相同的数值，组成降精尺度集Tc。
进一步的，根据降精尺度集Tc对长时间序列数据进行降精处理时，具体包括：
S20、判断长时间序列数据的数据类型是否为实时数据；
S21、当长时间序列数据的数据类型是实时数据时，将采集设备采集到的原始数据存储到数据库中，并在存储的过程中，依据降精尺度集Tc对长时间序列数据进行降精处理；
S22、当长时间序列数据的数据类型不是实时数据时，判断数据文件的大小是否超过初始设定值D0；
S221、当数据文件的大小超过初始设定值D0时，采用Map-Reduce编程模型来完成降精处理；
S222、当数据文件的大小未超过初始设定值D0时，采用单机程序来完成降精处理。
进一步的，所述初始设定值D0的取值为20G。
与现有技术相比，本申请的有益效果：该长时间序列数据管理和可视化方法能够完成时序数据曲线的可视化，该方法采用了降精处理的方法，以不同的降精尺度实现对长时间序列数据的降精处理，并将降精处理得到的时间序列数据子集存储在数据库中，以便于后期对长时间序列数据进行管理和可视化展示。
附图说明
图1为本申请实施例提供的长时间序列数据管理和可视化方法的流程图；
图2为图1中步骤S1具体实施的流程示意图；
图3为图1中步骤S2具体实施的流程示意图。
具体实施方式
为了使本领域技术人员更好地理解本申请的技术方案，下面结合附图对本申请进行详细描述，本部分的描述仅是示范性和解释性，不应对本申请的保护范围有任何的限制作用。
请参考图1，本实施例提供一种长时间序列数据管理和可视化方法，所述方法包括如下步骤：
S1、确定长时间序列数据的降精尺度集Tc。
所述降精尺度集Tc是一个集合，它包括n个数值互不相同的降精尺度，n为2～20中的任意自然数，n一般取5或者6为宜。
请参考图2，确定长时间序列数据的降精尺度集Tc的具体步骤包括：
S10、判断长时间序列数据的数据类型是否为实时数据。
长时间序列数据的包括两种类型，一种是实时采集的实时数据，另外一种是已经采集完的离线数据，对于两种不同类型的长时间序列数据，采用不同的方法来确定降精尺度集Tc。
S11、当长时间序列数据的数据类型是实时数据时，根据采集设备的采样周期确定降精尺度集Tc。
采集设备一般是指传感器，降精尺度集Tc可根据经验自行定义，降精尺度集Tc中最小的取值不小于采集设备的采样周期，比如，降精尺度集Tc的取值为Tc＝{0.5s，1s，10s，60s，600s}。
S12、当长时间序列数据的数据类型不是实时数据时，采用如下步骤来确定降精尺度集Tc：
S121、根据长时间序列数据的原始采样频率F0来确定最小时间宽度Tcmin，Tcmin的表达式为Tcmin＝1/F0；
S122、确定最大时间宽度Tcmax，Tcmax的表达式为
Tcmax＝Pmax/[(Te-Ts)*F0]
其中，Pmax为可视化工具所能容纳的最大数据集，Te为长时间序列数据的结束时间，Ts为长时间序列数据的开始时间，F0为长时间序列数据的原始采样频率；
S123、在Tcmin～Tcmax范围内选取n个互不相同的数值，组成降精尺度集Tc。一般地，降精尺度集Tc的取值为Tc＝{1/F0，2/F0，3/F0，4/F0，5/F0，......}，其中F0为该长时间序列数据的原始采样频率。
当长时间序列数据的数据类型不是实时数据，即是离线数据时，该长时间序列数据的大小是已知的，此时需要将该长时间序列数据的大小与可视化工具所能容纳的最大数据集Pmax的大小做比较，本实施例的步骤是以该长时间序列数据的大小不大于Pmax为例给出的，当该长时间序列数据的大小大于Pmax时，需要先将该长时间序列数据进行分段，再确保每段数据的大小均不大于Pmax，然后再对每一段数据采用本实施例的方法进行相应地处理。
S2、根据降精尺度集Tc对长时间序列数据进行降精处理，得到多个时间序列数据子集，并将各个时间序列数据子集存储到数据库中。
多个时间序列数据子集可分为不同的层级，层级的数量与的数量一致，均为n，每个层级与降精尺度集Tc中的一个降精尺度相对应，降精尺度越小，其对应的时间序列数据子集的层级就越低。
请参考图3，根据降精尺度集Tc对长时间序列数据进行降精处理时，具体包括：
S20、判断长时间序列数据的数据类型是否为实时数据；
S21、当长时间序列数据的数据类型是实时数据时，将采集设备采集到的原始数据存储到数据库中，并在存储的过程中，依据降精尺度集Tc对长时间序列数据进行降精处理；
S22、当长时间序列数据的数据类型不是实时数据时，判断数据文件的大小是否超过初始设定值D0。一般地，所述初始设定值D0的取值为20G。
S221、当数据文件的大小超过初始设定值20G时，采用Map-Reduce编程模型来完成降精处理。
S222、当数据文件的大小未超过初始设定值20G时，采用单机程序来完成降精处理。对于小于20G的离线数据，单机程序采用分段读取的方法即可完成对数据的降精处理。
S3、获取用户设定的数据查询时间宽度Tw。该时间宽度Tw是用户在可视化工具的系统中根据实际需要自行设置的。
S4、从数据库中检索满足所述时间宽度Tw的时间序列数据子集，并将其以曲线的方式在客户端进行展示。
具体地，系统会根据时间宽度Tw从数据库中进行检索，检索与该时间宽度Tw相匹配层级的时间序列数据子集，并将其在客户端以曲线的方式进行展示。在客户端，用户可以根据需要通过设置不同的时间宽度Tw，来获取不同层级的时间序列数据子集所对应的曲线。
本申请实施例提供的长时间序列数据管理和可视化方法，以不同的降精尺度对长时间序列数据进行降精处理来实现对数据降维，并将降精处理得到的时间序列数据子集存储在数据库中，以便于后期对长时间序列数据进行管理和可视化展示；该方法既适用于实时采集的数据，又适用于之前采集的离线数据；该方法数据可视化响应快，用户在客户端获取到的是通过降精的数据，数据量小数据可视化效率高。
本申请实施例提供的长时间序列数据管理和可视化方法，不仅能够应用于水下探测领域，也可以拓展应用在物联网领域、制造领域、电子商务交易领域以及其它应用到时间序列数据分析的领域。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。以上所述仅是本申请的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其他场合的，均应视为本申请的保护范围。

Claims (4)

1.一种长时间序列数据管理和可视化方法，其特征在于，所述方法包括如下步骤：
S1、确定长时间序列数据的降精尺度集Tc；
具体步骤包括：
S10、判断长时间序列数据的数据类型是否为实时数据；
S11、当长时间序列数据的数据类型是实时数据时，根据采集设备的采样周期确定降精尺度集Tc；
S12、当长时间序列数据的数据类型不是实时数据时，采用如下步骤来确定降精尺度集Tc：
S121、根据长时间序列数据的原始采样频率F0来确定最小时间宽度Tcmin，Tcmin的表达式为Tcmin＝1/F0；
S122、确定最大时间宽度Tcmax，Tcmax的表达式为
Tcmax＝Pmax/[(Te-Ts)*F0]
其中，Pmax为可视化工具所能容纳的最大数据集，Te为长时间序列数据的结束时间，Ts为长时间序列数据的开始时间，F0为长时间序列数据的原始采样频率；
S123、在Tcmin～Tcmax范围内选取n个互不相同的数值，组成降精尺度集Tc；
S2、根据降精尺度集Tc对长时间序列数据进行降精处理，得到多个时间序列数据子集，并将各个时间序列数据子集存储到数据库中；
S3、获取用户设定的数据查询时间宽度Tw；
S4、从数据库中检索满足所述时间宽度Tw的时间序列数据子集，并将其以曲线的方式在客户端进行展示。
2.根据权利要求1所述的长时间序列数据管理和可视化方法，其特征在于，所述降精尺度集Tc包括n个数值互不相同的降精尺度，n为2～20中的任意自然数。
3.根据权利要求2所述的长时间序列数据管理和可视化方法，其特征在于，根据降精尺度集Tc对长时间序列数据进行降精处理时，具体包括：
S20、判断长时间序列数据的数据类型是否为实时数据；
S21、当长时间序列数据的数据类型是实时数据时，将采集设备采集到的原始数据存储到数据库中，并在存储的过程中，依据降精尺度集Tc对长时间序列数据进行降精处理；
S22、当长时间序列数据的数据类型不是实时数据时，判断数据文件的大小是否超过初始设定值D0；
S221、当数据文件的大小超过初始设定值D0时，采用Map-Reduce编程模型来完成降精处理；
S222、当数据文件的大小未超过初始设定值D0时，采用单机程序来完成降精处理。
4.根据权利要求3所述的长时间序列数据管理和可视化方法，其特征在于，所述初始设定值D0的取值为20G。
CN202011358853.4A 2020-11-27 2020-11-27 一种长时间序列数据管理和可视化方法 Active CN112395336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011358853.4A CN112395336B (zh) 2020-11-27 2020-11-27 一种长时间序列数据管理和可视化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011358853.4A CN112395336B (zh) 2020-11-27 2020-11-27 一种长时间序列数据管理和可视化方法

Publications (2)

Publication Number Publication Date
CN112395336A CN112395336A (zh) 2021-02-23
CN112395336B true CN112395336B (zh) 2024-03-19

Family

ID=74604612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011358853.4A Active CN112395336B (zh) 2020-11-27 2020-11-27 一种长时间序列数据管理和可视化方法

Country Status (1)

Country Link
CN (1) CN112395336B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9753935B1 (en) * 2016-08-02 2017-09-05 Palantir Technologies Inc. Time-series data storage and processing database system
WO2018075995A1 (en) * 2016-10-21 2018-04-26 DataRobot, Inc. Systems for predictive data analytics, and related methods and apparatus
CN110765154A (zh) * 2019-10-16 2020-02-07 华电莱州发电有限公司 火电厂海量实时生成数据的处理方法及装置
WO2020057272A1 (zh) * 2018-09-18 2020-03-26 厦门市美亚柏科信息股份有限公司 一种索引数据存储及检索方法、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10496927B2 (en) * 2014-05-23 2019-12-03 DataRobot, Inc. Systems for time-series predictive data analytics, and related methods and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9753935B1 (en) * 2016-08-02 2017-09-05 Palantir Technologies Inc. Time-series data storage and processing database system
WO2018075995A1 (en) * 2016-10-21 2018-04-26 DataRobot, Inc. Systems for predictive data analytics, and related methods and apparatus
WO2020057272A1 (zh) * 2018-09-18 2020-03-26 厦门市美亚柏科信息股份有限公司 一种索引数据存储及检索方法、装置及存储介质
CN110765154A (zh) * 2019-10-16 2020-02-07 华电莱州发电有限公司 火电厂海量实时生成数据的处理方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于同源数据的序列比例尺地图综合缩编平台建设;刘洋;兰泽英;;测绘工程(12);全文 *
基于小波和动态时间弯曲的时间序列相似匹配;曲文龙;张德政;杨炳儒;;北京科技大学学报(04);全文 *

Also Published As

Publication number Publication date
CN112395336A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN109167816B (zh) 信息推送方法、装置、设备和存储介质
CN110287942B (zh) 年龄估计模型的训练方法、年龄估计方法以及对应的装置
DE202017106577U1 (de) Generieren einer Ausgabe für eine Ausgabeschicht eines neuronalen Netzwerks
CN103116582B (zh) 一种信息检索方法及相关系统和装置
WO2015050567A1 (en) System and method for performing set operations with defined sketch accuracy distribution
CN107103640B (zh) 一种城市地下管线的三维建模方法及系统
WO2023082760A1 (zh) 应用于工业质检的缺陷图片生成方法及装置
CN113688665A (zh) 一种基于半监督迭代学习的遥感影像目标检测方法及系统
TW201737127A (zh) 資料檢索方法和裝置、資料儲存方法和裝置
CN103530812A (zh) 一种基于局部敏感哈希的电网状态相似度量化分析方法
CN112949907A (zh) 一种工程造价的定额匹配方法、装置、设备及存储介质
CN111709548A (zh) 基于支持向量机的电力用户负荷预测方法、装置、设备及存储介质
CN115761130A (zh) 三维场景快速构建方法、装置、电子设备以及存储介质
EP1672578A1 (en) Method and system for analyzing the risk of a project
CN112395336B (zh) 一种长时间序列数据管理和可视化方法
CN113681897A (zh) 切片处理方法、打印方法、系统、设备和存储介质
CN115994742B (zh) 湿拌砂浆塑化剂的全生命周期管理方法及装置
CN114281950B (zh) 基于多图加权融合的数据检索方法与系统
AU2017100972A4 (en) Systems and Methods for Reducing Computer Resources Consumption to Reconstruct Shape of Multi-Object Image
CN113076395B (zh) 语义模型训练、搜索显示方法、装置、设备及存储介质
CN110414006B (zh) 文本的主题标注方法、装置、电子设备及存储介质
Cao et al. Analytical evaluation of algorithms for point cloud surface reconstruction using shape features
CN111275466B (zh) 一种超期单量预警的方法和装置
Wang et al. Extraction of feature points on 3D meshes through data gravitation
CN113591398B (zh) 基于深度强化学习的智能作业分批方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant