CN112800061B - 一种数据存储方法、装置、服务器及存储介质 - Google Patents
一种数据存储方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN112800061B CN112800061B CN202110126050.4A CN202110126050A CN112800061B CN 112800061 B CN112800061 B CN 112800061B CN 202110126050 A CN202110126050 A CN 202110126050A CN 112800061 B CN112800061 B CN 112800061B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- time sequence
- sequence data
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000002776 aggregation Effects 0.000 claims abstract description 31
- 238000004220 aggregation Methods 0.000 claims abstract description 31
- 238000004458 analytical method Methods 0.000 claims description 32
- 238000012300 Sequence Analysis Methods 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 21
- 238000007405 data analysis Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 15
- 238000013075 data extraction Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012731 temporal analysis Methods 0.000 description 3
- 238000000700 time series analysis Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Fuzzy Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种数据存储方法、装置、服务器及存储介质。获取原始时序数据，对原始时序数据进行目标字段识别，并基于目标字段准确的提取目标时序数据，无需获取全量的原始时序数据，基于原始时序数据的时间信息对目标时序数据进行数据聚合，得到目标聚合数据，可以降低目标时序数据的重复率，并对目标聚合数据进行存储，无需对海量的原始时序数据均进行存储，降低时序数据的存储开销，进一步地，在对时序数据进行查询时，有利于提高时序数据的查询效率。
Description
技术领域
本发明实施例涉及数据存储技术，尤其涉及一种数据存储方法、装置、服务器及存储介质。
背景技术
随着互联网、大数据、物联网等技术的飞跃发展，广泛在网络中部署了数以亿计的采集传输装置，用来探测、传输各类数据，包括时序数据以及其他数据，全年累计产生的各类数据的数据量极大，可达到上千万条。
目前，基于Hadoop+Spark的分布式并行计算平台和GraphX的并行图计算平台分析进行海量数据存储。Hadoop+Spark的分布式并行计算平台和GraphX的并行图计算平台适用于存储单条数据较大，数据关联度较低的海量数据。然而，时序数据的单条数据极小、字段相对稳定且数据关联度极高，Hadoop+Spark的分布式并行计算平台和GraphX的并行图计算平台缺乏对时序数据存储的设计，因此，在存储时序数据时需要占用很大的存储空间，进而影响时序数据的查询效率。
发明内容
本发明实施例提供了一种数据存储方法、装置、服务器及存储介质，以实现降低时序数据占用的存储空间的效果。
第一方面，本发明实施例提供了一种数据存储方法，该方法包括：
获取原始时序数据，对所述原始时序数据进行目标字段识别；
基于识别到的目标字段对所述原始时序数据进行提取，得到目标时序数据；
基于所述目标时序数据的时间信息对所述目标时序数据进行数据聚合，得到目标聚合数据，并对所述目标聚合数据进行存储。
第二方面，本发明实施例还提供了一种数据存储装置，该装置包括：
数据获取模块，用于获取原始时序数据；
字段识别模块，用于对所述原始时序数据进行目标字段识别；
时序数据提取模块，用于基于识别到的目标字段对所述原始时序数据进行提取，得到目标时序数据；
数据聚合模块，用于基于所述目标时序数据的时间信息对所述目标时序数据进行数据聚合，得到目标聚合数据；
数据存储模块，用于对所述目标聚合数据进行存储。
第三方面，本发明实施例还提供了一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任一项所述的数据存储方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，其中，所述计算机可执行指令在由计算机处理器执行时实现如第一方面任一项所述的数据存储方法。
本实施例提供的技术方案，获取原始时序数据，对原始时序数据进行目标字段识别，并基于目标字段准确的提取目标时序数据，无需获取全量的原始时序数据，基于原始时序数据的时间信息对目标时序数据进行数据聚合，得到目标聚合数据，可以降低目标时序数据的重复率，并对目标聚合数据进行存储，无需对海量的原始时序数据均进行存储，降低时序数据的存储开销，进一步地，在对时序数据进行查询时，有利于提高时序数据的查询效率。
附图说明
图1为本发明实施例一提供的一种数据存储方法的流程示意图；
图2为本发明实施例一提供的为识别目标字段的逻辑示意图；
图3为本发明实施例一提供的目标时序数据提取的逻辑示意图；
图4为本发明实施例一提供的对目标时序数据进行聚合的逻辑示意图；
图5为本发明实施例二提供的一种数据存储方法的流程示意图；
图6为本发明实施例二提供的数据存储的逻辑示意图；
图7为本发明实施例二提供的通过时间序列分析框架进行数据分析的逻辑示意图；
图8为本发明实施例三提供的一种数据存储装置的结构示意图；
图9为本发明实施例四提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据存储方法的流程示意图，本实施例可适用于对时序数据进行存储的情况，该方法可以由数据存储装置来执行，其中该系统可由软件和/或硬件实现，并一般集成在具有数据存储功能的服务器或电子设备中。具体参见图1所示，该方法可以包括如下步骤：
S110、获取原始时序数据，对原始时序数据进行目标字段识别。
其中，原始时序数据也可以理解为原始时序序列数据，指的是通常以同一标准的特定指标按照时间顺序记录形成的数据。原始时序数据可以来源于互联网设备、智能机器人、工业设备以及环境数据等目标物。需要说明的是，原始时序数据可以按照既定概率产生，相对平稳，原始时序数据的局部相关性挖掘价值极高，广泛应用于大数据分析、公安侦探、环境预测等领域。
可以理解的是，原始时序数据包括各目标物的各时间点对应的时序值，一段时间内的时序值构成目标物体在该时间段内的变化规律。示例性地，如果目标物是人，时序值是人在某个时间点的位置，变化规律是人在某个时间段内的行踪规律；如果目标物是机器人，时序值是机器人在某个时间点的作业点，变化规律是机器人在某个时间段内的作业路径；如果目标物是环境，时序值可以是环境在某个时间点的温度值，变化规律是环境在某个时间段内的气温变化区间。
其中，目标字段可以理解为原始时序数据中的重要字段，以基于目标字段对原始时序数据进行处理和存储。目标字段可以包括但不限于时间字段、维度字段以及指标字段。时间字段表示原始时序数据的时间值，通常默认使用国际统一时间/国际协调时间(UTC时间格式)且精确到毫秒级别；维度字段表示识别得到的原始时序数据的类别信息，即维度字段用于区分原始时序数据的类别；指标字段表示联机分析处理(Online analyticalprocessing，简称OLAP)的事实(fact)，通常由数字构成。需要说明的是，原始时序数据的类别信息不同，维度字段不同。例如，原始时序数据为从工厂物联网设备上采集的，维度字段包括但不限于物联网设备的车间号、区位编号、厂商编号等，通过车间号筛选出同一车间的物联网设备的时序数据，通过区位编号筛选出同一地理位置的时序数据，通过厂商编号筛选出同一厂商的时序数据。OLAP可以理解成大数据分析系统，fact是一个可度量的、具有业务含义的数值，例如经纬度序列，表示确切的经纬度位置。
可选地，所述对所述原始时序数据进行目标字段识别，包括：对所述原始时序数据中的时间字段、维度字段以及指标字段中的至少一种字段进行识别。
具体地，对所述原始时序数据中的时间字段、维度字段以及指标字段中的至少一种字段进行识别，包括：确定所述原始时序数据对应的报文数据；提取所述报文数据中的报文头，并对提取到的所述报文头进行解析，确定所述报文头对应的标识；基于所述报文头对应的标识，确定所述原始时序数据中的目标字段。
其中，报文头可以是协议类型或端口号。本实施例中，原始时序数据可以包括但不限于基于消息队列遥测传输(MQTT)协议传输的数据、电信网信令数据、基于物联网(IOT)传感器协议传输的数据。具体地，各类型的原始时序数据对应不同的报文头，当监测到原始时序数据时，提取原始时序数据的报文头，将提取的报文头与预先存储的报文头进行比对，根据报文头解析规则将原始时序数据进行解析，并将解析后的数据打上标签，得到报文头对应的标识，该标识可以为目标字段的标识，以基于标识识别原始时序数据中的时间字段、维度字段和指标字段。需要说明的是，报文头解析规则可以是人工设定的，也可以是与通信协议对应的特定规则。
如图2所示为识别目标字段的逻辑示意图。图2中的数据识别器可以部署在用于进行数据存储的服务器或者电子设备中，通过数据识别器识别基于MQTT传输的数据、电信网信令数据以及基于物联网(IOT)传感器协议传输的数据，并确定上述三种数据对应的报文数据，提取报文数据中的报文头，对提取到的报文头与已存储的报文头对比，并按照报文头对应的规则对该报文头进行解析，确定报文头对应的标识，进一步基于报文头对应标识，识别时间字段、维度字段和指标字段。
S120、基于识别到的目标字段对原始时序数据进行提取，得到目标时序数据。
可选地，基于数据提取器和预先确定的元数据策略对原始时序数据中识别到的目标字段进行提取，基于提取到的目标字段确定目标时序数据。
其中，数据提取器包括：时间列提取器、维度列提取器以及指标列提取器。元数据策略指的是预先定义的XML格式的文件，记录了时序数据提取规则，时序数据提取规则包括基于时间字段的提取规则、基于维度字段的提取规则和基于指标字段的提取规则。需要说明的是，在对原始时序数据进行提取时，可以将元数据策略中的基于时间字段的提取规则部署至时间列提取器中，将基于维度字段的提取规则部署至维度提取器中，并将基于指标字段的提取规则部署至指标列提取器，以建立目标字段和数据提取器之间的对应关系，并基于对应关系和数据提取器提取目标字段，将提取到的携带目标字段中至少一种字段的时序数据作为目标时序数据。
如图3所示为目标时序数据提取的逻辑示意图。数据提取器可以部署在用于进行时序分析的服务器或者电子设备中。具体地，通过数据提取器中的时间列提取器提取时间字段，通过数据提取器中的维度列提取器提取维度字段，维度字段可以根据与服务器通信连接的业务系统的需要进行设计，并通过数据提取器中的指标列提取器提取指标字段，指标字段通常由数字组成。
S130、基于目标时序数据的时间信息对目标时序数据进行数据聚合，得到目标聚合数据，并对目标聚合数据进行存储。
可选地，基于所述目标时序数据的时间信息确定出至少一个时间窗口，并基于所述时序窗口对所述目标时序数据进行数据聚合，得到目标聚合数据。
其中，时间窗口可以理解成时间粒度。例如，如果时间粒度为5分钟，即每5分钟内的目标时序数据属于同一个时间窗口，将同一时间窗口内的目标时序数据进行聚合，得到目标聚合数据。
具体地，基于所述时序窗口对所述目标时序数据进行数据聚合，得到目标聚合数据，包括：根据所述时序窗口内的目标时序数据的各时间点对应的时序值，计算所述时序窗口内的目标时序数据的特征值；将时序窗口内的特征值作为该时序窗口内的聚合数据；如果包括至少两个时序窗口，基于各时序窗口的时间信息将至少两个时序窗口内的聚合数据拼接，得到目标聚合数据；如果包括一个时序窗口，将该时序窗口内的聚合数据作为目标聚合数据。其中，特征值包括但不限于平均值、极大值、极小值、中位数等。
需要说明的是，原始时序数据还可以包括多个维度和/或多个指标。在基于所述目标时序数据的时间信息对目标时序数据进行数据聚合时，目标时序数据的时间信息，针对同一维度和/或同一指标的目标时序数据，根据目标时序数据的时间信息确定出至少一个时间窗口，并基于时序窗口对目标时序数据进行数据聚合，得到各维度和/或各指标对应的目标聚合数据。
如图4所示为对目标时序数据进行聚合的逻辑示意图。图4的左边表格包括两个维度的目标时序数据，即包括ID值为1的目标时序数据和ID值为的目标时序数据，设时间窗口是5分钟，在该时间窗口内，包括两个ID值为2的原始时序数据和6个ID值为1的原始时序数据，在该时间窗口内，分别对ID值为1和ID值为2的目标时序数据进行聚合，将ID值为1的中位数分别作为该ID该时序窗口内聚合后的时序数据，将ID值为2的中位数分别作为该ID该时序窗口内聚合后的时序数据，将ID值为1聚合后的时序数据和ID值为2聚合后的时序数据拼接，得到图4中右边表格展示的目标聚合数据。
进一步地，基于所述目标聚合数据的时间信息以及预先设置的段粒度配置将所述目标聚合数据存储至至少一个目标时间块。
其中，段粒度配置可以理解为数据存储周期。将目标聚合数据对应存储至目标时间块时，同步生成每个目标时间块的索引，以在查询目标聚合数据时，基于索引从目标时间块中查询目标聚合数据，有利于提高数据查询效率。
本实施例提供的技术方案，获取原始时序数据，对原始时序数据进行目标字段识别，并基于目标字段准确的提取目标时序数据，无需获取全量的原始时序数据，基于原始时序数据的时间信息对目标时序数据进行数据聚合，得到目标聚合数据，可以降低目标时序数据的重复率，并对目标聚合数据进行存储，无需对海量的原始时序数据均进行存储，降低时序数据的存储开销，进一步地，在对时序数据进行查询时，有利于提高时序数据的查询效率。
实施例二
图5为本发明实施例二提供的一种数据存储方法的流程示意图。本实施例的技术方案在上述实施例的聚合步骤和数据分析步骤增加了新的步骤，可选地，该方法还包括：对所述目标聚合数据进行数据分析，得到所述原始时序数据的分析结果。在该方法实施例中未详尽描述的部分请参考上述实施例。具体参见图5所示，该方法可以包括如下步骤：
S210、获取原始时序数据，对原始时序数据进行目标字段识别。
S220、基于识别到的目标字段对原始时序数据进行提取，得到目标时序数据。
如前述实施例所述，基于数据提取器和预先确定的元数据策略对原始时序数据中识别到的目标字段进行提取，基于提取到的目标字段确定目标时序数据。本实施例中，元数据策略中还可以记录数据清洗规则和关联回填规则。其中，数据清洗规则用于清洗重复的数据和乱码数据，避免对重复的数据和乱码数据进行存储；关联回填规则用于确定是否原始时序数据对应的字符串中是否有空的字段，并根据预先存储的数据表确定是否执行对空的字段进行关联匹配，并将空的字段进行回填操作，避免出现数据丢失。需要说明的是，对原始时序数据进行存储时，可以基于目标时序数据的特征、复杂度等信息，灵活配置元数据策略，以合理存储目标时序数据，有利于提高目标时序数据的存储效率并有利于提高时序数据分析的可靠性。
S230、基于目标时序数据的时间信息对目标时序数据进行数据聚合，得到目标聚合数据，并基于目标聚合数据的时间信息以及预先设置的段粒度配置将目标聚合数据存储至至少一个目标时间块。
可选地，基于目标聚合数据的时间信息以及预先设置的段粒度配置将目标聚合数据存储至至少一个目标时间块，包括：基于时间信息和段粒度配置，将目标聚合数据进行横向分割，将横向分割后的目标聚合数据对应存储至目标时间块中。其中，横向分割指的是基于时间字段对目标聚合数据进行横向的物理分割，避免数据在横向空间上过大，便于横向扩展。
示例性地，段粒度配置为30天，将目标聚合数据进行横向分割，得到每30天的目标聚合数据，将每30天的目标聚合数据对应存储至目标时间块中，完成对目标聚合数据的存储。
可选地，基于目标聚合数据的时间信息以及预先设置的段粒度配置将目标聚合数据存储至至少一个目标时间块，包括：基于时间信息和段粒度配置，将目标聚合数据进行横向分割，并基于目标聚合数据的维度字段和/或指标字段对目标聚合数据进行纵向分割，将横向分割和纵向分割得到的目标聚合数据对应存储至目标时间块中。其中，纵向分割指的是对目标聚合数据进行纵向的物理分割，避免数据在纵向空间上过大，便于纵向扩展。
示例性地，段粒度配置为30天，将目标聚合数据进行横向分割，得到每30天的目标聚合数据，并按照ID值和/或经纬度对目标聚合数据进行纵向分割，得到每个ID值和/或经纬度的目标聚合数据，并对每个ID值和/或每个经纬度的每30天的目标聚合数据存储至对应的目标时间块中。
如图6所示为数据存储的逻辑示意图，获取到原始时序数据后，对原始时序数据进行数据提取、清洗以及关联回填等操作，并通过将横向分割，或者，通过将横向分割和纵向分割得到的目标聚合数据对应存储至目标时间块中，可以使目标聚合数据进行有序存储，时间块可以配置于数据库中、配置于分布式存储数据库(Hbase)中或者缓存中，在业务系统查询目标聚合数据时，基于索引从目标时间块中查询目标聚合数据，有利于提高数据查询效率。
S240、对目标聚合数据进行数据分析，得到原始时序数据的分析结果。
可选地，所述对所述目标聚合数据进行数据分析，得到所述原始时序数据的分析结果包括以下任意一种：
通过时序分析模型对所述目标聚合数据的变化趋势进行提取或预测，得到所述原始时序数据的变化趋势分析结果；
对所述目标聚合数据进行监测，得到所述原始时序数据的数据状态的分析结果，其中，数据状态包括正常状态或异常状态；
通过时间序列分析框架将时序分析任务划分为至少两个并行的子任务，基于所述子任务对所述目标聚合数据进行分析运算，基于至少一个并行的子任务的运算结果，确定所述原始时序数据的时序分析结果。
在一个可选的实施例中，时序分析模型可以包括卡尔曼滤波预测模型、组合预测模型、反向传播神经网络(BP神经网络)等，以基于时序分析模型对目标聚合数据的整体的变化趋势进行提取或预测，得到所述原始时序数据的变化趋势分析结果。
在另一个可选的实施例中，可以通过状态监测模型对目标聚合数据进行监测，得到原始时序数据的数据状态的分析结果。其中，状态监测模型可以包括但不限于内嵌统计算法，K临近算法、聚类算法、支持向量机算法、最大熵模型算法，以基于时序分析模型对原始时序数据整体的数据状态进行监测，确定原始时序数据的正常状态和异常状态。
在另一个可选的实施例中，时间序列分析框架对目标聚合数据进行分段冗余，得到至少两个并行的子任务。需要说明的是，时间序列分析框架对目标聚合数据进行分段计算时，采用平均分段法对目标聚合数据进行分段，在计算过程中发现至少一个分段两端的数值受端点效应干扰，导致至少一个分段内的目标聚合数据失真，影响数据分析结果。为了避免端点效应，本实施例对目标聚合数据进行分段冗余，得到分段数据，将各分段数据作为并行的子任务。其中，分段冗余指的是时序分析模型对目标聚合数据进行平均分段后，将每个分段向两端冗余一定的数据，使是端点向两端偏移，得到分段冗余后的分段数据。例如，提取10行～20行的数据时，为了避免端点效应，将该分段内的数据向两端偏移5个数据，即提取15行～25行的数据作为该分段的数据，即该子任务包括15行～25行的数据。
具体地，所述基于所述子任务对所述目标聚合数据进行分析运算，包括：执行对每个子任务中的目标聚合数据的提取特征点提取、预测以及变化趋势统计等处理操作，得到所述每个子任务的运算结果。需要说明的是，可以通过上述时序分析模型、状态监测模型或者其他算法执行对每个子任务中的目标聚合数据的提取特征点提取、预测以及变化趋势统计等处理操作。
其中，任务分析模型可以包括但不限于聚类算法、支持向量机算法、最大熵模型算法，以基于任务分析模型对每个子任务中的目标聚合数据进行监测，得到每个子任务中目标聚合数据的正常状态和异常状态的分析结果。其中，所述特征点包括不限于每个子任务中的目标聚合数据的极大值点、极小值点以及峰值点。
进一步地，基于至少一个并行的子任务的运算结果，确定所述原始时序数据的时序分析结果，包括：基于时间信息将至少一个并行的子任务的运算结果进行拼接，得到原始时序数据的时序分析结果。
如图7所示为通过时间序列分析框架进行数据分析的逻辑示意图。结合图7解释上述过程，时间序列分析框架对目标聚合数据进行分段冗余后，将时序分析任务划分为至少两个并行的子任务，并分别对每个子任务(即每个分段)进行分析计算，得到每个子任务对应的分析结果，将所有分析结果按照时间信息进行拼接，得到原始时序数据的分析结果。需要说明的是，在对所有分析结果按照时间信息进行拼接时，将每个子任务中向两端偏移的数据的分析结果删除，并将每个子任务内删除两端偏移的数据后的分析结果进行拼接，得到原始时序数据的分析结果。
本实施例提供的技术方案，识别并提取目标字段后，基于元数据策略中的数据清洗规则，清洗重复的数据和乱码数据，避免对重复的数据和乱码数据进行存储；基于元数据策略中的关联回填规则，确定是否原始时序数据对应的字符串中是否有空的字段，并根据预先存储的数据表确定是否执行对空的字段进行关联匹配，并将空的字段进行回填操作，避免出现数据丢失；将目标聚合数据进行横向分割，或者，将目标聚合数据进行横向分割，并基于目标聚合数据的维度字段和/或指标字段对目标聚合数据进行纵向分割，将分割得到的目标聚合数据对应存储至目标时间块中，以实现将目标聚合数据存储在目标时间块内，有利于提高时序数据的查询效率；进一步地，对目标聚合数据变化趋势进行提取或预测、对目标聚合数据进行监测、或者将时序分析任务划分为至少两个并行的子任务，基于所述子任务对所述目标聚合数据进行分析运算，得到原始时序数据的分析结果，提高时序数据分析的可靠性，并且，上述过程无需分析所有的原始时序数据，提高时序数据的分析效率。
实施例三
图8为本发明实施例三提供的一种数据存储装置的结构示意图。参见图8所示，该装置包括：数据获取模块310、字段识别模块320、时序数据提取模块330、数据聚合模块340以及数据存储模块350。
其中，数据获取模块310，用于获取原始时序数据；
字段识别模块320，用于对所述原始时序数据进行目标字段识别；
时序数据提取模块330，用于基于识别到的目标字段对所述原始时序数据进行提取，得到目标时序数据；
数据聚合模块340，用于基于所述目标时序数据的时间信息对所述目标时序数据进行数据聚合，得到目标聚合数据；
数据存储模块350，用于对所述目标聚合数据进行存储。
本实施例提供的技术方案，获取原始时序数据，对原始时序数据进行目标字段识别，并基于目标字段准确的提取目标时序数据，无需获取全量的原始时序数据，基于原始时序数据的时间信息对目标时序数据进行数据聚合，得到目标聚合数据，可以降低目标时序数据的重复率，并对目标聚合数据进行存储，无需对海量的原始时序数据均进行存储，降低时序数据的存储开销，进一步地，在对时序数据进行查询时，有利于提高时序数据的查询效率。
可选地，目标字段包括时间字段、维度字段以及指标字段中的至少一种；
字段识别模块320还用于，对所述原始时序数据中的时间字段、维度字段以及指标字段中的至少一种字段进行识别。
可选地，时序数据提取模块330还用于，基于数据提取器和预先确定的元数据策略对所述原始时序数据中识别到的目标字段进行提取，基于提取到的目标字段确定目标时序数据，其中，所述元数据策略包括所述数据提取器和所述目标字段之间的对应关系。
可选地，数据聚合模块340还用于，基于所述目标时序数据的时间信息确定出至少一个时间窗口，并基于所述时序窗口对所述目标时序数据进行数据聚合，得到目标聚合数据。
可选地，数据存储模块350还用于，基于所述目标聚合数据的时间信息以及预先设置的段粒度配置将所述目标聚合数据存储至至少一个目标时间块。
可选地，该装置还包括：数据分析模块；其中，数据分析模块，用于对所述目标聚合数据进行数据分析，得到所述原始时序数据的分析结果。
可选地，数据分析模块还用于，执行以下任意一种：
通过时序分析模型对所述目标聚合数据的变化趋势进行提取或预测，得到所述原始时序数据的变化趋势分析结果；
对所述目标聚合数据进行监测，得到所述原始时序数据的数据状态的分析结果，其中，数据状态包括正常状态或异常状态；
通过时间序列分析框架将时序分析任务划分为至少两个并行的子任务，基于所述子任务对所述目标聚合数据进行分析运算，基于至少一个并行的子任务的运算结果，确定所述原始时序数据的时序分析结果。
实施例四
图9为本发明实施例四提供的一种服务器的结构示意图。图9示出了适于用来实现本发明实施方式的示例性服务器12的框图。图9显示的服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，服务器12以通用计算设备的形式表现。服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存32。服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如数据存储装置的数据获取模块310、字段识别模块320、时序数据提取模块330、数据聚合模块340以及数据存储模块350。)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(例如数据存储装置的数据获取模块310、字段识别模块320、时序数据提取模块330、数据聚合模块340以及数据存储模块350。)程序模块46的程序/实用工具44，可以存储在例如系统存储器28中，这样的程序模块46包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块46通常执行本发明所描述的实施例中的功能和/或方法。
服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该服务器12交互的设备通信，和/或与使得该服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种数据存储方法，该方法包括：
获取原始时序数据，对所述原始时序数据进行目标字段识别；
基于识别到的目标字段对所述原始时序数据进行提取，得到目标时序数据；
基于所述目标时序数据的时间信息对所述目标时序数据进行数据聚合，得到目标聚合数据，并对所述目标聚合数据进行存储。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种数据存储方法。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的一种数据存储方法的技术方案。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的一种数据存储方法，该方法包括：
获取原始时序数据，对所述原始时序数据进行目标字段识别；
基于识别到的目标字段对所述原始时序数据进行提取，得到目标时序数据；
基于所述目标时序数据的时间信息对所述目标时序数据进行数据聚合，得到目标聚合数据，并对所述目标聚合数据进行存储。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的一种数据存储方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在目标字段、原始时序数据、目标聚合数据等，其中承载了计算机可读的程序代码。这种传播的目标字段、原始时序数据、目标聚合数据等形式。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、系统或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
值得注意的是，上述数据存储装置的实施例中，所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种数据存储方法，其特征在于，包括：
获取原始时序数据，对所述原始时序数据进行目标字段识别；
基于识别到的目标字段对所述原始时序数据进行提取，得到目标时序数据；
基于所述目标时序数据的时间信息对所述目标时序数据进行数据聚合，得到目标聚合数据，并对所述目标聚合数据进行存储；
所述对所述目标聚合数据进行存储，包括：
基于所述目标聚合数据的时间信息以及预先设置的段粒度配置将所述目标聚合数据存储至至少一个目标时间块；
所述基于所述目标聚合数据的时间信息以及预先设置的段粒度配置将所述目标聚合数据存储至至少一个目标时间块，包括：
基于所述目标聚合数据的时间信息和段粒度配置，将所述目标聚合数据进行横向分割，并基于所述目标聚合数据的维度字段和/或指标字段对横向分割后的所述目标聚合数据进行纵向分割；
将经过横向分割和纵向分割得到的目标聚合数据存储至目标时间块中；
其中，所述段粒度配置为数据存储周期；所述横向分割指的是基于时间字段对所述目标聚合数据进行横向的物理分割；所述纵向分割指的是对所述目标聚合数据进行纵向的物理分割。
2.根据权利要求1所述的方法，其特征在于，目标字段包括时间字段、维度字段以及指标字段中的至少一种；
所述对所述原始时序数据进行目标字段识别，包括：
对所述原始时序数据中的时间字段、维度字段以及指标字段中的至少一种字段进行识别。
3.根据权利要求1所述的方法，其特征在于，所述基于识别到的目标字段对所述原始时序数据进行提取，得到目标时序数据，包括：
基于数据提取器和预先确定的元数据策略对所述原始时序数据中识别到的目标字段进行提取，基于提取到的目标字段确定目标时序数据，其中，所述元数据策略包括所述数据提取器和所述目标字段之间的对应关系。
4.根据权利要求1所述的方法，其特征在于，所述基于所述目标时序数据的时间信息对所述目标时序数据进行数据聚合，得到目标聚合数据，包括：
基于所述目标时序数据的时间信息确定出至少一个时间窗口，并基于所述时序窗口对所述目标时序数据进行数据聚合，得到目标聚合数据。
5.根据权利要求1所述的方法，其特征在于，还包括：
对所述目标聚合数据进行数据分析，得到所述原始时序数据的分析结果。
6.根据权利要求5所述的方法，其特征在于，所述对所述目标聚合数据进行数据分析，得到所述原始时序数据的分析结果包括以下任意一种：
通过时序分析模型对所述目标聚合数据的变化趋势进行提取或预测，得到所述原始时序数据的变化趋势分析结果；
对所述目标聚合数据进行监测，得到所述原始时序数据的数据状态的分析结果，其中，数据状态包括正常状态或异常状态；
通过时间序列分析框架将时序分析任务划分为至少两个并行的子任务，基于所述子任务对所述目标聚合数据进行分析运算，基于至少一个并行的子任务的运算结果，确定所述原始时序数据的时序分析结果。
7.一种数据存储装置，其特征在于，包括：
数据获取模块，用于获取原始时序数据；
字段识别模块，用于对所述原始时序数据进行目标字段识别；
时序数据提取模块，用于基于识别到的目标字段对所述原始时序数据进行提取，得到目标时序数据；
数据聚合模块，用于基于所述目标时序数据的时间信息对所述目标时序数据进行数据聚合，得到目标聚合数据；
数据存储模块，用于对所述目标聚合数据进行存储；
所述数据存储模块，还用于基于所述目标聚合数据的时间信息以及预先设置的段粒度配置将所述目标聚合数据存储至至少一个目标时间块；
数据存储处理模块，用于基于所述目标聚合数据的时间信息和段粒度配置，将所述目标聚合数据进行横向分割，并基于所述目标聚合数据的维度字段和/或指标字段对横向分割后的所述目标聚合数据进行纵向分割；
将经过横向分割和纵向分割得到的目标聚合数据对应存储至目标时间块中；
其中，所述段粒度配置为数据存储周期；所述横向分割指的是基于时间字段对所述目标聚合数据进行横向的物理分割；所述纵向分割指的是对所述目标聚合数据进行纵向的物理分割。
8.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的数据存储法。
9.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时实现如权利要求1-6中任一项所述的数据存储方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110126050.4A CN112800061B (zh) | 2021-01-29 | 2021-01-29 | 一种数据存储方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110126050.4A CN112800061B (zh) | 2021-01-29 | 2021-01-29 | 一种数据存储方法、装置、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112800061A CN112800061A (zh) | 2021-05-14 |
| CN112800061B true CN112800061B (zh) | 2024-05-10 |
Family
ID=75812843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110126050.4A Active CN112800061B (zh) | 2021-01-29 | 2021-01-29 | 一种数据存储方法、装置、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112800061B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113407609A (zh) * | 2021-06-29 | 2021-09-17 | 中国民生银行股份有限公司 | 外部数据使用方法、装置和设备 |
| CN113761021A (zh) * | 2021-08-17 | 2021-12-07 | 杭州涂鸦信息技术有限公司 | 时序指标数据降精度处理方法、装置和计算机设备 |
| CN115062075A (zh) * | 2022-06-21 | 2022-09-16 | 成都秦川物联网科技股份有限公司 | 基于时序数据处理的工业物联网及其控制方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110619000A (zh) * | 2019-09-25 | 2019-12-27 | 网易（杭州）网络有限公司 | 时序数据的查询方法、装置、存储介质及电子设备 |
| CN111090687A (zh) * | 2019-12-24 | 2020-05-01 | 腾讯科技（深圳）有限公司 | 数据处理方法及装置、系统、计算机可读存储介质 |
| CN111178456A (zh) * | 2020-01-15 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 异常指标检测方法、装置、计算机设备和存储介质 |
-
2021
- 2021-01-29 CN CN202110126050.4A patent/CN112800061B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110619000A (zh) * | 2019-09-25 | 2019-12-27 | 网易（杭州）网络有限公司 | 时序数据的查询方法、装置、存储介质及电子设备 |
| CN111090687A (zh) * | 2019-12-24 | 2020-05-01 | 腾讯科技（深圳）有限公司 | 数据处理方法及装置、系统、计算机可读存储介质 |
| CN111178456A (zh) * | 2020-01-15 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 异常指标检测方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112800061A (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112800061B (zh) | 一种数据存储方法、装置、服务器及存储介质 | |
| CN110868336B (zh) | 数据管理方法、装置和计算机可读存储介质 | |
| US10649838B2 (en) | Automatic correlation of dynamic system events within computing devices | |
| US9753801B2 (en) | Detection method and information processing device | |
| CN112436968B (zh) | 一种网络流量的监测方法、装置、设备及存储介质 | |
| US20190228296A1 (en) | Significant events identifier for outlier root cause investigation | |
| US9424288B2 (en) | Analyzing database cluster behavior by transforming discrete time series measurements | |
| CN111339175B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN111475370A (zh) | 基于数据中心的运维监控方法、装置、设备及存储介质 | |
| US20210092160A1 (en) | Data set creation with crowd-based reinforcement | |
| CN111026621B (zh) | 面向Elasticsearch集群的监控报警方法、装置、设备、介质 | |
| US20160255109A1 (en) | Detection method and apparatus | |
| CN111078513A (zh) | 日志处理方法、装置、设备、存储介质及日志告警系统 | |
| CN109062769B (zh) | It系统性能风险趋势预测的方法、装置和设备 | |
| CN113965389B (zh) | 一种基于防火墙日志的网络安全管理方法、设备及介质 | |
| CN113986595A (zh) | 一种异常定位方法及装置 | |
| CN110971488A (zh) | 一种数据处理方法、装置、服务器和存储介质 | |
| CN114169604A (zh) | 性能指标的异常检测方法、异常检测装置、电子设备和存储介质 | |
| CN113190623B (zh) | 数据处理方法、装置、服务器和存储介质 | |
| US20120078912A1 (en) | Method and system for event correlation | |
| CN116545740B (zh) | 一种基于大数据的威胁行为分析方法及服务器 | |
| CN110837529B (zh) | 大数据分析监察方法、装置、服务器及可读存储介质 | |
| CN111784176A (zh) | 一种数据处理方法、装置、服务器及介质 | |
| CN114722081B (zh) | 一种基于中转库模式的流式数据时间序列传输方法及系统 | |
| CN113535458B (zh) | 异常误报的处理方法及装置、存储介质、终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |