CN112559536A - 一种工业设备数据的处理方法及系统 - Google Patents
一种工业设备数据的处理方法及系统 Download PDFInfo
- Publication number
- CN112559536A CN112559536A CN202110190981.0A CN202110190981A CN112559536A CN 112559536 A CN112559536 A CN 112559536A CN 202110190981 A CN202110190981 A CN 202110190981A CN 112559536 A CN112559536 A CN 112559536A
- Authority
- CN
- China
- Prior art keywords
- data
- access data
- access
- statistical
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种工业设备数据的处理方法及系统，所述方法包括：获取接入数据的元数据信息；根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果；将所述统计结果储存到关系数据库中。本发明的技术方案，将关系数据库与工业数据湖融合，提高了数据的检索效率。
Description
技术领域
本发明涉及工业设备数据处理技术领域，尤其涉及一种工业设备数据的处理方法及系统。
背景技术
关系数据库具有结构化关系数据存储区，工业数据湖具有非结构化的数据存储区，基于对象存储的一体化时间序列与非结构化工业数据湖系统中的数据量庞大，该系统每日都有新的数据接入，该系统有特定的接入索引数据区，但是，现有技术中，查看该系统中的庞大数据信息的方法复杂，耗时较长。
发明内容
本发明的实施例提供一种工业设备数据的处理方法及系统，用于解决现有技术中查询系统中的庞大数据信息的方法复杂、耗时较长的问题。
为了解决上述技术问题，本发明提供如下技术方案：
一种工业设备数据的处理方法，包括：
获取接入数据的元数据信息；
根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果；
将所述统计结果储存到关系数据库中。
可选的，获取接入数据的元数据信息，包括：
根据检索日期及检索目标，从关系数据库及工业数据湖中，获取接入数据的元数据信息。
可选的，所述元数据信息包括以下至少一项：
本次接入数据的每个测点的名称、数据类型、数据的最小时间戳、最大时间戳及存储位置，
本次接入数据的时间戳；接入数据的真实日期。
可选的，根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果，包括：
通过增量式统计的方式，对所述元数据信息进行统计，获得元数据统计结果；
根据所述元数据统计结果，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果。
可选的，对所述元数据信息进行统计，获得元数据统计结果，包括：
直接按接入日期对多个接入数据的元数据信息进行统计，获得元数据统计结果；和/或
根据所述接入数据的接入日期、接入次数、接入时间间隔，对接入频率及每个测点的接入频率中的至少一项，通过增量式统计的方式，对多个接入数据的元数据信息进行统计，获得元数据统计结果。
可选的，根据所述元数据统计结果，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果，包括：
根据所述元数据统计结果，通过增量式统计的方式，直接对所述接入数据进行统计，获取接入数据的统计结果；和/或根据所述元数据统计结果，使用插值算法和/或相关性算法对每个测点,通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果。
可选的，使用插值算法,对每个测点,通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果,包括：
根据每日数据的接入次数、每次接入的时间范围、接入数据量以及多日数据信息的对比结果，计算出测点的采样周期、每日接入数据的完整度以及每日接入数据是否有重复；
根据测点的采样周期、每日接入数据的完整度以及每日接入数据是否有重复，获得接入数据统计结果。
可选的，使用相关性算法对每个测点，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果，包括：
获取每日测点的采样周期频率或开关量的开关频率；
根据所述每日测点的采样周期频率或开关量的开关频率，计算出不同测点之间的相关性；
根据所述不同测点之间的相关性，对所述接入数据进行统计，获得接入数据统计结果。
可选的，所述增量式统计的方式包括：将不同日期的新增数据的条数求和进行统计。
本发明的实施例还提供一种工业设备数据的处理系统，包括：
获取模块，用于获取接入数据的元数据信息；
统计模块，用于根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果；
存储模块，用于将所述统计结果储存到关系数据库中。
本发明的实施例，具有如下技术效果：
本发明的上述技术方案，基于自动检索、数据索引的统计方式、增量式的统计方式、可定制的统计内容、快速查看统计结果以及多种触发统计方式，实现了庞大数据接入信息的快速预览。
附图说明
图1为本发明实施例提供的一种工业设备数据的处理方法的流程示意图；
图2为本发明实施例提供的一种工业设备数据的处理方法的工作原理图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
如图1所示，本发明的实施例提供一种工业设备数据的处理方法，包括：
S1:获取接入数据的元数据信息；
S2:根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果；
S3:将所述统计结果储存到关系数据库中。
其中，接入数据按照次接入；
具体的，所述关系数据库中的统计结果包括：
1）目录表(dirs)
目录信息，对应存储系统的真实目录，每次接入只针对某一个目录操作
核心字段：Id serial PRIMARY KEY,Name character varing(255)unique
2）测点表(points)
测点信息，关联目录表，可以查看每个目录的所有测点信息
核心字段：Id serial primary key,Name character varing(255),Dir_id intreferences dirs(id),
Date_type character varing(255),Data_days date[], Data_start_timetimestamp without time zone,
Data_end_time timestamp without time zone。
3）测点日统计信息的真实表
测点的每日数据的详细信息表，记录每个测点每天数据的详细信息
为了提高查找性能对该表按point_id创建1024个分区
核心字段：Point_id int references points(id),data_date DATE,value_count int,
Data_types character varing(255)。
本发明的该实施例，将关系数据库于工业数据湖的融合，提高了数据的检索效率，根据工业数据湖中工业数据特定定制统计内容，统计结果精确到日；根据接入数据时产生的元数据进行统计（在接入数据时产生了元数据信息，可以实现根据系统定制是否根据真实数据先产生元数据）。
本发明一可选的实施例，步骤S1中，获取接入数据的元数据信息，包括：
根据检索日期及检索目标，从关系数据库及工业数据湖中，获取接入数据的元数据信息。
本发明一可选的实施例，步骤S1中，所述元数据信息包括以下至少一项：
本次接入数据的每个测点的名称、数据类型、数据的最小时间戳、最大时间戳及存储位置，
本次接入数据的时间戳；接入数据的真实日期。
具体的，基于元数据信息（索引数据文件）的增量式的统计方式包括：
1）只读取索引文件，不读取数据文件
索引数据文件，其实记录的就是一次接入的详细信息：本次接入数据的每个测点的名称、数据类型、数据的最小最大时间戳及存储位置，该索引数据文件的生成日期即本次接入数据的时间戳；
索引文件所在的存储路径即接入数据的真实日期；
根据这些信息，统计出该目录，此次接入数据的每个测点的本次接入数据日期的详细信息；
不解析压缩的数据文件，这样统计效率更高。
2）对指定日期产生的索引数据文件进行统计，不进行全量统计
每次统计按给定的起止日期进行索引文件的扫描；
索引文件按生成日期分组；
每次对相同生成日期的索引数据文件进行解析统计,统计出每个测点每个数据日期的信息；
同样增加了统计效率。
3）接入数据的统计结果按索引文件产生的日期存储，增量式的更新
统计结果，按索引数据文件产生的日期存储；
跨月后生成月统计结果；
跨年后生成年统计结果；
同时更新数据库中的测点表、测点每日信息的真实表。
其中，增量式统计的方式的触发方式包括：
1）每次接入任务完成后，触发统计，索引数据文件的过滤条件为：只统计当天产生的索引文件；
2）定时触发，索引数据文件的过滤条件为：昨天及今天产生的索引文件；
3）应用场景：每天指定时间进行数据接入，那么期望当天或次日指定时间进行统计更新；
4）每次删除或回退任务完成后，触发统计，索引数据文件的过滤条件为：被删除的索引文件所涉及到的日期。
如下为增量式统计的方式的示例：
1）已经存在的索引文件
Dir_1/0/ctl/2020/01/01/1604102400000_***.idx:(2020-10-3108:00:00生成的索引文件)
文件内容：
[{"pointName":"W3_AB1","dataType":"double","count":288,"minTimestamp":1577836800000,"maxTimestamp":1577844000000,"filePath":"/dir_1/0/dat/2020/01/01/***/****.parquet"}]
2）已经存在的统计文件
Dir_1/0/stats/2020/10/31/20201031.stats
文件内容:dirName.pointName,dataType,dataDate,vaIueCount.dataStartTime.dataEndTime
dir_1.W3_AB1.double,2020-01-01,288.1577836800000.1577844000000
3）2020-12-09日新增统计文件
Dir_1/0/ctl/2020/01/01/1607479200000_***.idx:(2020-12-0910:00:00生成的索引文件)
文件内容：
[{"pointName":"W3_AB1","dataType":"double","count":400,"minTimestamp":1577854800000,"maxTimestamp":1577890800000,"filePath":"/dir_1/0/dat/2020/01/01/***/****.parquet"}]
Dir_1/0/ctl/2020/01/02/1607490000000_***.idx:(2020-12-1013:00:00生成的索引文件)
文件内容：
[{"pointName":"W3_AB1","dataType":"double","count":1000,"minTimestamp":1577898000000,"maxTimestamp":1577930400000,"filePath":"/dir_1/0/dat/2020/01/02/***/****.parquet"}]
4）触发统计，过去日期start_date>=“2020-12-09” end_data<“2020-12-10”
新增统计文件：dir_1/0/stats/2020/12/09/20201209.stats
文件内容：
dirName.pointName,dataType.dataDate,vaIueCount.dataStartTime,dataEndTime
dir_1.W3_AB1.double.2020-01-01.400.1577854800000.1577890800000
dir_1.W3_AB1.double.2020-01-02.1000.1577898000000.1577930400000
5）最终统计结果，如下表：
本发明一可选的实施例，步骤S2中，根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果，包括：
通过增量式统计的方式，对所述元数据信息进行统计，获得元数据统计结果；
根据所述元数据统计结果，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果。
具体的，对接入的测点量；每个测点的数据类型；每个测点的数据量；每个测点的数据日期最小最大值进行直接统计；
根据接入日期、接入次数、接入时间间隔，估算出接入频率（单次、多次、几日、几月等不同的级别，给出相应的标签），对接入频率及每个测点的接入频率进行分析统计，便于对工业数据接入系统的监测。
本发明一可选的实施例，对所述元数据信息进行统计，获得元数据统计结果，包括：
直接按接入日期对多个接入数据的元数据信息进行统计，获得元数据统计结果；和/或
根据所述接入数据的接入日期、接入次数、接入时间间隔，对接入频率及每个测点的接入频率中的至少一项，通过增量式统计的方式，对多个接入数据的元数据信息进行统计，获得元数据统计结果。
本发明一可选的实施例，步骤S2中，根据所述元数据统计结果，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果，包括：
根据所述元数据统计结果，通过增量式统计的方式，直接对所述接入数据进行统计，获取接入数据的统计结果；和/或根据所述元数据统计结果，使用插值算法和/或相关性算法对每个测点,通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果。
本发明一可选的实施例，步骤S2中，使用插值算法,对每个测点,通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果,包括：
根据每日数据的接入次数、每次接入的时间范围、接入数据量以及多日数据信息的对比结果，计算出测点的采样周期、每日接入数据的完整度以及每日接入数据是否有重复；
根据测点的采样周期、每日接入数据的完整度以及每日接入数据是否有重复，获得接入数据统计结果。
本发明一可选的实施例，步骤S2中，使用相关性算法对每个测点，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果，包括：
获取每日测点的采样周期频率或开关量的开关频率；
根据所述每日测点的采样周期频率或开关量的开关频率，计算出不同测点之间的相关性；
根据所述不同测点之间的相关性，对所述接入数据进行统计，获得接入数据统计结果。
具体的，使用相关性算法对多个测点之间的相关性，相关系数开关型测点数据的开关频率等，同类型测点的相关性、相关系数等进行统计，根据每日测点的采样周期频率，或开关量的开关频率等计算不同测点之间的相关性：正相关、反相关，及相关系数等。
本发明一可选的实施例，步骤S2中，所述增量式统计的方式包括：将不同日期的新增数据的条数求和进行统计。
本发明实施例的上述技术方案，可以通过如下实现方式实现：
如图2所示，包括如下步骤：
（1）判断是否启动统计，若否，则返回重新判断是否启动统计，若是，则执行步骤（2）；
（2）判断是否使用默认检索日期，若否，则直接执行步骤（3）；若是，则使用默认地检索日期，然后执行步骤（3）；
（3）判断是否生成接入数据的元数据信息，若是，则根据检索日期及检索目标从关系数据库及工业数据湖中获取相关的元数据信息；根据相关的元数据信息解析出相关的接入数据的元数据信息：即接入索引数据文件；然后执行步骤（4）；若否，则直接执行步骤（4）；
（4）获取定制的统计内容，按接入日期完成统计：接入数据日期，基本信息等；按数据日期进行信息汇总，更新相关数据日期的统计结果到关系数据库；返回步骤（1）。
本发明的上述实施例，能方便、快速的查看该系统中的庞大数据信息。
本发明的实施例还提供一种工业设备数据的处理系统，包括：
获取模块，用于获取接入数据的元数据信息；
统计模块，用于根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果；
存储模块，用于将所述统计结果储存到关系数据库中。
可选的，获取接入数据的元数据信息，包括：根据检索日期及检索目标，从关系数据库及工业数据湖中，获取接入数据的元数据信息。
可选的，所述元数据信息包括以下至少一项：本次接入数据的每个测点的名称、数据类型、数据的最小时间戳、最大时间戳及存储位置，本次接入数据的时间戳；
接入数据的真实日期。
可选的，根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果，包括：通过增量式统计的方式，对所述元数据信息进行统计，获得元数据统计结果；根据所述元数据统计结果，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果。
可选的，对所述元数据信息进行统计，获得元数据统计结果，包括：
直接按接入日期对多个接入数据的元数据信息进行统计，获得元数据统计结果；和/或
根据所述接入数据的接入日期、接入次数、接入时间间隔，对接入频率及每个测点的接入频率中的至少一项，通过增量式统计的方式，对多个接入数据的元数据信息进行统计，获得元数据统计结果。
可选的，根据所述元数据统计结果，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果，包括：根据所述元数据统计结果，通过增量式统计的方式，直接对所述接入数据进行统计，获取接入数据的统计结果；和/或根据所述元数据统计结果，使用插值算法和/或相关性算法对每个测点,通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果。
可选的，使用插值算法,对每个测点,通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果,包括：根据每日数据的接入次数、每次接入的时间范围、接入数据量以及多日数据信息的对比结果，计算出测点的采样周期、每日接入数据的完整度以及每日接入数据是否有重复；根据测点的采样周期、每日接入数据的完整度以及每日接入数据是否有重复，获得接入数据统计结果。
可选的，使用相关性算法对每个测点，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果，包括：获取每日测点的采样周期频率或开关量的开关频率；
根据所述每日测点的采样周期频率或开关量的开关频率，计算出不同测点之间的相关性；根据所述不同测点之间的相关性，对所述接入数据进行统计，获得接入数据统计结果。
可选的，所述增量式统计的方式包括：将不同日期的新增数据的条数求和进行统计。
需要说明的是，该系统是与上述图1所示方法的实施例对应的系统，上述方法实施例中的所有实现方式均适用于该系统的实施例中，也能达到相同的技术效果。
本发明的上述技术方案，针对工业数据湖所特有的存储结构、特定的时序数据的索引数据而设计出来的只读取索引数据的高效的增量式的工业数据湖接入数据的统计方法，专门适用于工业场景工业数据湖接入数据；融合了关系数据库与工业数据湖；依赖可定制的工业数据湖元数据；依赖数据接入的元数据信息；按接入日期进行增量式统计出，按数据日期进行统计结果的更新，大大地提高了检索效率。
本发明的实施例，还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行如上所述的方法。上述方法实施例中的所有实现方式均适用于该系统的实施例中，也能达到相同的技术效果。
此外，需要指出的是，在本发明的系统和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和系统的全部或者任何步骤或者部件，可以在任何计算系统（包括处理器、存储介质等）或者计算系统的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算系统上运行一个程序或者一组程序来实现。所述计算系统可以是公知的通用系统。因此，本发明的目的也可 以仅仅通过提供包含实现所述方法或者系统的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的系统和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种工业设备数据的处理方法，其特征在于，包括：
获取接入数据的元数据信息；
根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果；
将所述统计结果储存到关系数据库中。
2.根据权利要求1所述的工业设备数据的处理方法，其特征在于，获取接入数据的元数据信息，包括：
根据检索日期及检索目标，从关系数据库及工业数据湖中，获取接入数据的元数据信息。
3.根据权利要求1或2所述的工业设备数据的处理方法，其特征在于，所述元数据信息包括以下至少一项：
本次接入数据的每个测点的名称、数据类型、数据的最小时间戳、最大时间戳及存储位置；
本次接入数据的时间戳；
接入数据的真实日期。
4.根据权利要求1所述的工业设备数据的处理方法，其特征在于，根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果，包括：
通过增量式统计的方式，对所述元数据信息进行统计，获得元数据统计结果；
根据所述元数据统计结果，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果。
5.根据权利要求4所述的工业设备数据的处理方法，其特征在于，对所述元数据信息进行统计，获得元数据统计结果，包括：
直接按接入日期对多个接入数据的元数据信息进行统计，获得元数据统计结果；和/或
根据所述接入数据的接入日期、接入次数、接入时间间隔，对接入频率及每个测点的接入频率中的至少一项，通过增量式统计的方式，对多个接入数据的元数据信息进行统计，获得元数据统计结果。
6.根据权利要求4所述的工业设备数据的处理方法，其特征在于，根据所述元数据统计结果，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果，包括：
根据所述元数据统计结果，通过增量式统计的方式，直接对所述接入数据进行统计，获取接入数据的统计结果；和/或
根据所述元数据统计结果，使用插值算法和/或相关性算法对每个测点,通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果。
7.根据权利要求6所述的工业设备数据的处理方法，其特征在于，使用插值算法,对每个测点,通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果,包括：
根据每日数据的接入次数、每次接入的时间范围、接入数据量以及多日数据信息的对比结果，计算出测点的采样周期、每日接入数据的完整度以及每日接入数据是否有重复；
根据测点的采样周期、每日接入数据的完整度以及每日接入数据是否有重复，获得接入数据统计结果。
8.根据权利要求6所述的工业设备数据的处理方法，其特征在于，使用相关性算法对每个测点，通过增量式统计的方式，对所述接入数据进行统计，获得接入数据统计结果，包括：
获取每日测点的采样周期频率或开关量的开关频率；
根据所述每日测点的采样周期频率或开关量的开关频率，计算出不同测点之间的相关性；
根据所述不同测点之间的相关性，对所述接入数据进行统计，获得接入数据统计结果。
9.根据权利要求4至8任一项所述的工业设备数据的处理方法，其特征在于，所述增量式统计的方式包括：
将不同日期的新增数据的条数求和进行统计。
10.一种工业设备数据的处理系统，其特征在于，包括：
获取模块，用于获取接入数据的元数据信息；
统计模块，用于根据所述接入数据的元数据信息，通过增量式统计的方式，获取接入数据的统计结果；
存储模块，用于将所述统计结果储存到关系数据库中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110190981.0A CN112559536B (zh) | 2021-02-20 | 2021-02-20 | 一种工业设备数据的处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110190981.0A CN112559536B (zh) | 2021-02-20 | 2021-02-20 | 一种工业设备数据的处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112559536A true CN112559536A (zh) | 2021-03-26 |
| CN112559536B CN112559536B (zh) | 2021-06-01 |
Family
ID=75034385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110190981.0A Active CN112559536B (zh) | 2021-02-20 | 2021-02-20 | 一种工业设备数据的处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112559536B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116521092A (zh) * | 2023-06-30 | 2023-08-01 | 昆山工业大数据创新中心有限公司 | 一种工业设备数据的存储方法和装置 |
| CN118296013A (zh) * | 2024-06-04 | 2024-07-05 | 山东瑞福锂业有限公司 | 一种基于工业互联网的数据储存方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101183387A (zh) * | 2007-12-14 | 2008-05-21 | 沈阳东软软件股份有限公司 | 一种增量数据捕获方法和系统 |
| CN102521225A (zh) * | 2011-09-29 | 2012-06-27 | 用友软件股份有限公司 | 增量数据抽取装置和增量数据抽取方法 |
| CN104572975A (zh) * | 2014-12-31 | 2015-04-29 | 中国石油天然气股份有限公司 | 一种实时数据处理分析系统 |
| CN106547918A (zh) * | 2016-11-30 | 2017-03-29 | 长城计算机软件与系统有限公司 | 一种统计数据的整合方法及系统 |
| US20180006913A1 (en) * | 2016-06-30 | 2018-01-04 | Rockwell Automation Technologies, Inc. | Industrial internet of things data pipeline for a data lake |
| CN109213760A (zh) * | 2018-08-02 | 2019-01-15 | 南瑞集团有限公司 | 非关系数据存储的高负载业务存储及检索方法 |
| CN109558443A (zh) * | 2018-11-29 | 2019-04-02 | 北京数聚鑫云信息技术有限公司 | 一种整合数据源中的数据的方法及装置 |
| CN111427920A (zh) * | 2020-03-16 | 2020-07-17 | 深圳市腾讯计算机系统有限公司 | 数据采集方法、装置、系统、计算机设备及存储介质 |
| CN111767318A (zh) * | 2019-04-01 | 2020-10-13 | 广州精选速购网络科技有限公司 | 一种数据统计方法、装置、电子设备及介质 |
-
2021
- 2021-02-20 CN CN202110190981.0A patent/CN112559536B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101183387A (zh) * | 2007-12-14 | 2008-05-21 | 沈阳东软软件股份有限公司 | 一种增量数据捕获方法和系统 |
| CN102521225A (zh) * | 2011-09-29 | 2012-06-27 | 用友软件股份有限公司 | 增量数据抽取装置和增量数据抽取方法 |
| CN104572975A (zh) * | 2014-12-31 | 2015-04-29 | 中国石油天然气股份有限公司 | 一种实时数据处理分析系统 |
| US20180006913A1 (en) * | 2016-06-30 | 2018-01-04 | Rockwell Automation Technologies, Inc. | Industrial internet of things data pipeline for a data lake |
| CN106547918A (zh) * | 2016-11-30 | 2017-03-29 | 长城计算机软件与系统有限公司 | 一种统计数据的整合方法及系统 |
| CN109213760A (zh) * | 2018-08-02 | 2019-01-15 | 南瑞集团有限公司 | 非关系数据存储的高负载业务存储及检索方法 |
| CN109558443A (zh) * | 2018-11-29 | 2019-04-02 | 北京数聚鑫云信息技术有限公司 | 一种整合数据源中的数据的方法及装置 |
| CN111767318A (zh) * | 2019-04-01 | 2020-10-13 | 广州精选速购网络科技有限公司 | 一种数据统计方法、装置、电子设备及介质 |
| CN111427920A (zh) * | 2020-03-16 | 2020-07-17 | 深圳市腾讯计算机系统有限公司 | 数据采集方法、装置、系统、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 曹金山等: "非结构化数据的ETL设计 ", 《现代电子技术》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116521092A (zh) * | 2023-06-30 | 2023-08-01 | 昆山工业大数据创新中心有限公司 | 一种工业设备数据的存储方法和装置 |
| CN116521092B (zh) * | 2023-06-30 | 2023-09-05 | 昆山工业大数据创新中心有限公司 | 一种工业设备数据的存储方法和装置 |
| CN118296013A (zh) * | 2024-06-04 | 2024-07-05 | 山东瑞福锂业有限公司 | 一种基于工业互联网的数据储存方法及系统 |
| CN118296013B (zh) * | 2024-06-04 | 2024-08-09 | 山东瑞福锂业有限公司 | 一种基于工业互联网的数据储存方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112559536B (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112559536B (zh) | 一种工业设备数据的处理方法及系统 | |
| US20040111668A1 (en) | Annotation validity using partial checksums | |
| CN110879813A (zh) | 一种基于二进制日志解析的MySQL数据库增量同步实现方法 | |
| CN105630934A (zh) | 一种数据统计方法及系统 | |
| CN112328631A (zh) | 一种生产故障分析方法、装置、电子设备及存储介质 | |
| CN112800016A (zh) | 一种日志数据分类排序方法及装置 | |
| CN111125109A (zh) | 一种基于时间分组累计算法的实时统计报表系统 | |
| CN117591577B (zh) | 一种基于文件存储的核电历史数据对比方法及系统 | |
| CN113220530B (zh) | 数据质量监控方法及平台 | |
| CN110580253A (zh) | 时序数据组的加载方法、装置、存储介质及电子设备 | |
| CN111523921B (zh) | 漏斗分析方法、分析设备、电子设备及可读存储介质 | |
| US10713232B2 (en) | Efficient data processing | |
| Colosi et al. | Time series data management optimized for smart city policy decision | |
| CN113592116B (zh) | 设备状态分析方法、装置、设备和存储介质 | |
| CN113868283A (zh) | 数据测试方法、装置、设备及计算机存储介质 | |
| US20230315682A1 (en) | Long term and short term data management of a file based time series database populated with data collected by an energy sensor for a power generating device or from another data source | |
| CN118468194B (zh) | 一种基于数据源到日志交叉比对的异常定位方法和装置 | |
| CN118520517B (zh) | 基于错误校验的固态硬盘数据保护系统 | |
| CN109508318B (zh) | 一种存储量统计方法、装置、电子设备和可读存储介质 | |
| CN113868301B (zh) | 一种工业设备数据抽取的方法、装置及设备 | |
| CN113783849B (zh) | 一种敏感信息的检测方法及终端 | |
| CN113553320B (zh) | 数据质量监控方法及装置 | |
| CN115578080A (zh) | 基于信息化系统造价基准库工作量核定方法 | |
| CN115757448A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN115374941A (zh) | 一种基于日志分析模型生成知识库的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |