CN111221820A - 一种设备联网数据的存储及实时读取的方法 - Google Patents
一种设备联网数据的存储及实时读取的方法 Download PDFInfo
- Publication number
- CN111221820A CN111221820A CN201911391355.7A CN201911391355A CN111221820A CN 111221820 A CN111221820 A CN 111221820A CN 201911391355 A CN201911391355 A CN 201911391355A CN 111221820 A CN111221820 A CN 111221820A
- Authority
- CN
- China
- Prior art keywords
- data
- reading
- storing
- analysis
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000006855 networking Effects 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000004458 analytical method Methods 0.000 claims abstract description 31
- 230000002085 persistent effect Effects 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 230000002688 persistence Effects 0.000 claims abstract description 5
- 230000011218 segmentation Effects 0.000 claims abstract description 3
- 238000013507 mapping Methods 0.000 claims description 14
- 238000013500 data storage Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 9
- 238000007726 management method Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种设备联网数据的存储及实时读取的方法，具体包括以下步骤：S1、获取设备联网时传输设备的实时数据，并读取设备的原始数据，然后创建新表并将该原始数据存储到新表内部，按天数进行分割存储；S2、在历史数据处理记录表内部中检索出持久化处理后的数据，然后对其进行分析计算，将历史分析处理结果数据持久化；S3、根据S1中，对当天的原始数据进行实时处理，并将最新的业务数据发送至缓存区；S4、在应用层内部读取当天的分析数据，并在缓存区读取；S5、根据S2中，通过应用层读取历史的分析数据，并在持久化数据中进行读取，本发明涉及数据存储处理系统技术领域。该设备联网数据的存储及实时读取的方法。
Description
技术领域
本发明涉及数据存储处理系统技术领域，具体为一种设备联网数据的存储及实时读取的方法。
背景技术
数据存储对象包括数据流在加工过程中产生的临时文件或加工过程中需要查找的信息，数据以某种格式记录在计算机内部或外部存储介质上，数据存储要命名，这种命名要反应信息特征的组成含义，数据流反应了系统中流动的数据，表现出动态数据的特征；数据存储反应系统中静止的数据，表现出静态数据的特征。
数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理，数据经过解释并赋予一定的意义之后，便成为信息，数据处理是对数据的采集、存储、检索、加工、变换和传输，数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据，数据处理是系统工程和自动控制的基本环节，数据处理贯穿于社会生产和社会生活的各个领域，数据处理技术的发展及其应用的广度和深度，极大地影响了人类社会发展的进程，数据处理对数据(包括数值的和非数值的)进行分析和加工的技术过程，包括对各种原始数据的分析、整理、计算、编辑等的加工和处理，比数据分析含义广，随着计算机的日益普及，在计算机应用领域中，数值计算所占比重很小，通过计算机数据处理进行信息管理已成为主要的应用，如测绘制图管理、仓库管理、财会管理、交通运输管理，技术情报管理、办公室自动化等，在地理数据方面既有大量自然环境数据(土地、水、气候、生物等各类资源数据)，也有大量社会经济数据(人口、交通、工农业等)，常要求进行综合性数据处理。
在智能制造生产车间，设备联网不间断传输设备的实时数据，庞大的数据量需要立刻统计处理分析，实现实时反馈，如何实现高效处理并无卡顿，这就对数据存储和查询的设计有很大的要求，因此本发明提供了一种设备联网数据的存储及实时读取的方法。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种设备联网数据的存储及实时读取的方法，解决了不能对不间断传输设备的实时数据进行实时统计处理分析以及实现实时反馈，在处理时还会存在卡顿的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种设备联网数据的存储及实时读取的方法，具体包括以下步骤：
S1、获取设备联网时传输设备的实时数据，并读取设备的原始数据，然后创建新表并将该原始数据存储到新表内部，按天数进行分割存储；
S2、在历史数据处理记录表内部中检索出持久化处理后的数据，然后对其进行分析计算，将历史分析处理结果数据持久化；
S3、根据S1中，对当天的原始数据进行实时处理，并将最新的业务数据发送至缓存区；
S4、在应用层内部读取当天的分析数据，并在缓存区读取；
S5、根据S2中，通过应用层读取历史的分析数据，并在持久化数据中进行读取。
优选的，所述S1中的新表为新表名与日期的映射关系表，该映射关系表是包含两个地址空间的地址之间的相互映射关系的表格，来进行映射的映射技术。
优选的，所述S4中的应用层包括历史数据的应用以及实时分析数据的应用。
优选的，所述历史数据处理记录表是对历史数据进行存储的表格。
(三)有益效果
本发明提供了一种设备联网数据的存储及实时读取的方法。具备以下有益效果：该设备联网数据的存储及实时读取的方法，通过S1、获取设备联网时传输设备的实时数据，并读取设备的原始数据，然后创建新表并将该原始数据存储到新表内部，按天数进行分割存储；S2、在历史数据处理记录表内部中检索出持久化处理后的数据，然后对其进行分析计算，将历史分析处理结果数据持久化；S3、根据S1中，对当天的原始数据进行实时处理，并将最新的业务数据发送至缓存区；S4、在应用层内部读取当天的分析数据，并在缓存区读取；S5、根据S2中，通过应用层读取历史的分析数据，并在持久化数据中进行读取，可实现采用原始数据分表存储，大大减少了数据库的单表压力，提高单表处理效率，将历史分析结果数据持久化，减少历史数据应用程序的频繁处理压力，可实时将当天的设备数据分析处理到缓存区，避免原始数据表高频繁的操作，提高实时读取速度，实现了高性能实时处理和读取。
附图说明
图1为本发明的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例提供一种技术方案：一种设备联网数据的存储及实时读取的方法，可实现采用原始数据分表存储，大大减少了数据库的单表压力，提高单表处理效率，将历史分析结果数据持久化，减少历史数据应用程序的频繁处理压力，可实时将当天的设备数据分析处理到缓存区，避免原始数据表高频繁的操作，提高实时读取速度，实现了高性能实时处理和读取，具体包括以下步骤：
S1、获取设备联网时传输设备的实时数据，并读取设备的原始数据，然后创建新表并将该原始数据存储到新表内部，按天数进行分割存储，数据获取是指利用一种装置，将来自各种数据源的数据自动收集到一个装置中，被采集数据是已被转换为电讯号的各种物理量，如温度、水位、风速、压力等，可以是模拟量，也可以是数字量，采集一般是采样方式，即隔一定时间(称采样周期)对同一点数据重复采集，采集的数据大多是瞬时值，也可是某段时间内的一个特征值，准确的数据量测是数据采集的基础；
S2、在历史数据处理记录表内部中检索出持久化处理后的数据，然后对其进行分析计算，将历史分析处理结果数据持久化，持久化是将程序数据在持久状态和瞬时状态间转换的机制，通俗的讲就是瞬时数据(比如内存中的数据，是不能永久保存的)持久化为持久数据(比如持久化至数据库中，能够长久保存)；
S3、根据S1中，对当天的原始数据进行实时处理，并将最新的业务数据发送至缓存区；
S4、在应用层内部读取当天的分析数据，并在缓存区读取，应用层也称为应用实体(AE)，它由若干个特定应用服务元素(SASE)和一个或多个公用应用服务元素(CASE)组成，每个SASE提供特定的应用服务，例如文件运输访问和管理(FTAM)、电子文电处理(MHS)和虚拟终端协议(VAP)等，CASE提供一组公用的应用服务，例如联系控制服务元素(ACSE)、可靠运输服务元素(RTSE)和远程操作服务元素(ROSE)等，应用层直接和应用程序接口并提供常见的网络应用服务，应用层也向表示层发出请求，应用层是开放系统的最高层，是直接为应用进程提供服务的，其作用是在实现多个系统应用进程相互通信的同时,完成一系列业务处理所需的服务.其服务元素分为两类:公共应用服务元素CASE和特定应用服务元素SASE；
S5、根据S2中，通过应用层读取历史的分析数据，并在持久化数据中进行读取。
本发明中，S1中的新表为新表名与日期的映射关系表，该映射关系表是包含两个地址空间的地址之间的相互映射关系的表格，来进行映射的映射技术，如果两个地址空降之间是通过表来映射的，那么将这两个空间之一的地址映射到另一个空间上就不需要进行数学计算。
本发明中，S4中的应用层包括历史数据的应用以及实时分析数据的应用。
本发明中，历史数据处理记录表是对历史数据进行存储的表格，数据记录是指对应于数据源中一行信息的一组完整的相关信息。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (4)
1.一种设备联网数据的存储及实时读取的方法，其特征在于：具体包括以下步骤：
S1、获取设备联网时传输设备的实时数据，并读取设备的原始数据，然后创建新表并将该原始数据存储到新表内部，按天数进行分割存储；
S2、在历史数据处理记录表内部中检索出持久化处理后的数据，然后对其进行分析计算，将历史分析处理结果数据持久化；
S3、根据S1中，对当天的原始数据进行实时处理，并将最新的业务数据发送至缓存区；
S4、在应用层内部读取当天的分析数据，并在缓存区读取；
S5、根据S2中，通过应用层读取历史的分析数据，并在持久化数据中进行读取。
2.根据权利要求1所述的一种设备联网数据的存储及实时读取的方法，其特征在于：所述S1中的新表为新表名与日期的映射关系表，该映射关系表是包含两个地址空间的地址之间的相互映射关系的表格，来进行映射的映射技术。
3.根据权利要求1所述的一种设备联网数据的存储及实时读取的方法，其特征在于：所述S4中的应用层包括历史数据的应用以及实时分析数据的应用。
4.根据权利要求1所述的一种设备联网数据的存储及实时读取的方法，其特征在于：所述历史数据处理记录表是对历史数据进行存储的表格。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911391355.7A CN111221820A (zh) | 2019-12-30 | 2019-12-30 | 一种设备联网数据的存储及实时读取的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911391355.7A CN111221820A (zh) | 2019-12-30 | 2019-12-30 | 一种设备联网数据的存储及实时读取的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111221820A true CN111221820A (zh) | 2020-06-02 |
Family
ID=70827994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911391355.7A Pending CN111221820A (zh) | 2019-12-30 | 2019-12-30 | 一种设备联网数据的存储及实时读取的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111221820A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112487026A (zh) * | 2020-10-21 | 2021-03-12 | 深圳市华信智能科技股份有限公司 | 一种可统一执行指令的一次交互方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779138A (zh) * | 2011-05-13 | 2012-11-14 | 上海振华重工(集团)股份有限公司 | 实时数据的硬盘存取方法 |
| CN103970903A (zh) * | 2014-05-27 | 2014-08-06 | 重庆大学 | 基于Web的大型工业系统反馈数据实时处理方法及系统 |
| CN110427399A (zh) * | 2019-06-18 | 2019-11-08 | 深圳壹账通智能科技有限公司 | 实时数据采集方法、系统、装置及存储介质 |
-
2019
- 2019-12-30 CN CN201911391355.7A patent/CN111221820A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779138A (zh) * | 2011-05-13 | 2012-11-14 | 上海振华重工(集团)股份有限公司 | 实时数据的硬盘存取方法 |
| CN103970903A (zh) * | 2014-05-27 | 2014-08-06 | 重庆大学 | 基于Web的大型工业系统反馈数据实时处理方法及系统 |
| CN110427399A (zh) * | 2019-06-18 | 2019-11-08 | 深圳壹账通智能科技有限公司 | 实时数据采集方法、系统、装置及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112487026A (zh) * | 2020-10-21 | 2021-03-12 | 深圳市华信智能科技股份有限公司 | 一种可统一执行指令的一次交互方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111552687B (zh) | 时序数据的存储方法、查询方法、装置、设备及存储介质 | |
| US10691662B1 (en) | Geo-temporal indexing and searching | |
| CN108446293A (zh) | 一种基于城市多源异构数据构建城市画像的方法 | |
| CN104216989A (zh) | 一种基于HBase的输电线路综合数据存储方法 | |
| JP2023502543A (ja) | 時系列データを保存および照会するための方法および装置、並びにそれらのサーバーおよび記憶媒体 | |
| CN109408501B (zh) | 一种位置数据的处理方法、装置、服务器及存储介质 | |
| CN113272774A (zh) | 用于全历史动态网络分析的系统和方法 | |
| CN111221820A (zh) | 一种设备联网数据的存储及实时读取的方法 | |
| CN114443656A (zh) | 一种可定制的自动化数据模型分析工具及其使用方法 | |
| CN109189873A (zh) | 一种气象服务大数据监测分析系统平台 | |
| CN112559514B (zh) | 一种信息处理方法及系统 | |
| CN105095224A (zh) | 一种在移动通信网络中进行olap分析的方法、装置和系统 | |
| CN114417796A (zh) | 一种基于设备采点的动态报表统计方法及系统 | |
| CN102541908A (zh) | 日志数据库系统的分卷管理方法 | |
| CN103605759A (zh) | 一种电网历史状态数据的共享方法 | |
| CN107404659A (zh) | 网络视频显示方法及装置 | |
| CN113298310A (zh) | 一种基于自定义配置的bi数据分析系统及方法 | |
| CN111859067A (zh) | 一种基于网络爬虫技术的水文水质数据采集方法及系统 | |
| CN111611337A (zh) | 终端数据处理系统 | |
| CN110688390A (zh) | 一种电站地图导航系统、方法、设备及存储介质 | |
| CN116010703B (zh) | 一种历史气象数据查询分析系统及方法 | |
| CN112231526A (zh) | 一种用于数据存储和读取的系统及方法 | |
| CN116107796B (zh) | 一种物联网数据管理系统及方法 | |
| Rahman et al. | Data Warehouse Design for Soil Nutrients with IoT Based Data Sources | |
| Wang et al. | An approach to smart grid online data mining based on cloud computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200602 |