CN117370313A - 监控系统数据存储方法、装置和存储介质 - Google Patents
监控系统数据存储方法、装置和存储介质 Download PDFInfo
- Publication number
- CN117370313A CN117370313A CN202311395031.7A CN202311395031A CN117370313A CN 117370313 A CN117370313 A CN 117370313A CN 202311395031 A CN202311395031 A CN 202311395031A CN 117370313 A CN117370313 A CN 117370313A
- Authority
- CN
- China
- Prior art keywords
- storage
- data
- historical
- measuring point
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 152
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013500 data storage Methods 0.000 title claims abstract description 51
- 238000005259 measurement Methods 0.000 claims description 59
- 238000005192 partition Methods 0.000 claims description 19
- 230000004048 modification Effects 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 7
- 238000013461 design Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- VLYWMPOKSSWJAL-UHFFFAOYSA-N sulfamethoxypyridazine Chemical compound N1=NC(OC)=CC=C1NS(=O)(=O)C1=CC=C(N)C=C1 VLYWMPOKSSWJAL-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了监控系统数据存储方法、装置和存储介质,方法包括分别部署第一存储区和第二存储区;在第一存储区中,至少根据测点标识和测点的监测数据建立各测点的历史监测数据文件,至少根据测点标识和测点的报警数据建立历史报警库;在第二存储区中,至少根据测点标识和对应的测点存储结构标识,建立系统测点表;至少根据测点存储结构标识、存储项长度、存储项是否存储到历史监测文件、以及是否具有报警数据,建立系统测点结构表。该方法可以存储海量实时监测数据,并提高了数据存储和查询效率,且历史监测数据文件和历史报警库存储于第一存储区,系统测点表、测点结构表存储于第二存储区,两个存储区隔离互不影响,提高了安全性和稳定性。
Description
技术领域
本申请属于监控技术领域,尤其属于船舶监控技术领域,具体涉及监控系统数据存储方法和存储装置。
背景技术
随着大数据和智能化技术的高速发展,船舶信息化程度逐渐增强,船舶运行产生的数据也日益增长,船舶行业也迎来了大数据时代。挖掘数据的隐藏价值、利用数据分析的结果为用户提供商业和操作辅助决策至关重要,如何组织和管理这些数据给船舶监控行业带来了新的挑战。
实时数据库随着大规模工业自动化的发展而诞生,是数据库技术与监控领域相接合的产物。它解决了多元化的海量数据的实时读写操作和大容量数据的存储问题,包括各类工业接口数据的采集、海量监测数据的压缩、存储及检索等功能,其内容涉及一系列的概念、理论、技术、方法和机制,如数据模型及其语言,数据库的结构与组织等方面。
监控系统数据存储的数据结构如何设计是其核心问题,数据结构的设计也直接决定了实时数据库的运行和存储效率、安全性和可靠性。
发明内容
本申请的技术目的旨在提供一种监控系统数据存储方法和存储装置,以存储大量的监控系统数据,提高存储效率和读取。
为实现上述技术目的,本申请采用以下技术方案。
第一方面,本申请提供了一种监控系统数据存储方法,包括:
分别部署第一存储区和第二存储区;
在所述第一存储区中,至少根据测点标识和所述测点的监测数据建立各所述测点的历史监测数据文件,至少根据所述测点标识和所述测点的报警数据建立历史报警库;
在所述第二存储区中,至少根据所述测点标识和对应的测点存储结构标识,建立所述测点的系统测点表;至少根据所述测点存储结构标识、存储项长度、所述存储项是否存储到所述历史监测数据文件、以及所述存储项是否具有报警数据,建立所有所述测点的测点结构表,其中,所述测点结构表中各个字段定义了单个存储项的信息,多个所述存储项完整定义了单个所述测点的存储结构。
在一些实施方式中,所述方法还包括:
部署第三存储区,在所述第三存储区中存储数据配置信息,所述数据配置信息至少包括所述历史监测数据文件和所述历史报警库的存储路径。
在一些实施方式中,所述方法还包括:每一所述历史监测数据文件包括多个数据块;
在所述第二存储区中,建立历史数据块索引表,所述历史数据块索引表至少包括所述历史监测数据文件的索引号、所述数据块的标识、以及所述数据块在所述历史监测数据文件中的索引号。
在一些实施方式中,所述历史报警库包括历史报警表,所述方法包括:
确定所述历史报警表的报警表名称;在所述第二存储区中,至少根据所述历史报警表的索引标识和所述报警表名称建立历史报警分区表。
在一些实施方式中,所述方法还包括:
在所述第一存储区建立系统日志表,所述系统日志表用于存储所述监控系统的系统日志。
第二方面,本申请实施例还提供了一种监控系统数据存储装置,包括:
第一存储区,被配置存储各测点的历史监测数据文件和历史报警库,所述历史监测数据文件至少包括所述测点标识和所述测点的监测数据,所述历史报警库至少包括所述测点标识和所述测点的报警数据;
第二存储区,被配置存储测点的测点结构表和所有测点的系统测点表;所述系统测点表至少包括测点标识和对应的测点存储结构标识,所述测点结构表至少包括所述测点存储结构标识、存储项长度所述存储项是否存储到所述历史监测数据文件标识、以及所述存储项是否具有报警数据标识,其中,所述测点结构表中各个字段定义了单个存储项的信息,多个所述存储项完整定义了单个所述测点的存储结构;
在一些实施方式中,所属装置还把包括第三存储区,所述第三存储区被配置存储数据配置信息,所述数据配置信息至少包括所述历史监测数据文件和所述历史报警库的存储路径。
在一些实施方式中,每一所述历史监测数据文件包括多个数据块;
所述第二存储区还被配置存储历史数据块索引表,所述历史数据块索引表至少包括所述历史监测数据文件的索引号、所述数据块的标识、以及所述数据块在所述历史监测数据文件中的索引号。
在一些实施方式中,所述历史报警库包括历史报警表,所述历史报警表具有报警表名称;
所述第二存储区还配置存储历史报警分区表,所述历史报警分区表至少包括所述历史报警表的索引标识和所述报警表名称。
在一些实施方式中,所述第一存储区,被配置存储系统日志表,所述系统日志表用于存储所述监控系统的系统日志。
在一些实施方式中,所述系统测点表还包括所述测点在所述数据块中的存储次序。
在一些实施方式中,所述第二存储区还被配置存储版本信息表,所述版本信息表包括所述数据存储装置版本号、最后修改时间和修改日志。
第三方面,本申请实施例还提供了一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现如第一方面任意一种可能的实施方式所提供的监控系统数据存储方法的步骤。
与现有技术相比,本申请实施例提供的监控系统数据存储方法,根据监控系统历史监测数据和报警的数据变化频率、数据查询效率和存储空间限制等特性,以及国产化硬件和操作系统的运行要求,建立了一套跨平台、多层次的实时数据库体系结构。历史监测数据文件包括测点标识和测点监测数据,根据测点标识可以查询系统测点表,根据系统测点表可以查询测点结构表,根据测点结构表可以确定测点的存储项的监测数据是否写入历史监测数据文件或是否有历史报警数据存入历史报警库中,单个测点可存储多个类型的存储项,每个类型的存储项可包括多个具体的存储项,该方法可以存储海量监测报警数据,并提高了数据存储和查询效率。历史监测数据文件和历史报警库存储于第一存储区,系统测点表和测点结构表存储于第二存储区,两个存储区隔离互不影响,提高了安全性和稳定性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的监控系统数据存储方法流程示意图;
图2是本申请实施例的总体数据结构示意图;
图3是本申请实施例中历史监测数据存储和访问流程示意图;
图4是本申请实施例中测点结构表Metas存储内容示例;
图5是本申请实施例中系统测点表Tags存储内容示例;
图6是本申请实施例中历史数据块索引表内容示例;
图7是本申请实施例中历史监测数据文件的结构示意图;
图8是本申请实施例中查询历史监测数据过程示意图;
图9是本申请实施例中历史报警数据的存储和查询总体结构示意图;
图10是本申请实施例中历史报警数据查询过程示意图;
图11是本申请实施例中第二存储区结构示意图;
图12是本申请实施例中服务器端配置信息示意图;
图13是本申请实施例中客户端配置信息示意图;
图14是本申请另一实施例提供的监控系统数据存储方法流程示意图;
附图标记:
11-第一存储区、12-第二存储区、13-第三存储区、111-历史监测数据文件、112-历史报警库、113-系统日志表、121-测点结构表、122-系统测点表、123-历史数据块索引表、124-历史报警分区表、125-数据库版本信息表、131-服务器配置文件、132-客户端配置文件。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出业务的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。
监控系统是一种用于监测、记录和管理特定环境、设备或过程的系统。测点是指在监控系统中被选择和配置的特定位置或设备,用于收集和监测相关的数据和信息。监控系统通过连接和管理多个测点,实现对所监测对象的全面监控和管理。监控系统可以根据测点的数据生成警报和通知。当测点的数据超过预设的阈值或出现异常情况时,监控系统可以触发警报和通知,以便及时采取措施。例如,当某个测点的温度超过设定的上限时,监控系统可以发出警报,通知相关人员进行处理。
监控系统需要存储的数据包括历史报警数据和历史监测数据,可选地根据实际需求和设计情况监控系统还可能需要存储系统日志,监控系统数据的特性如表1所示。
表1监控系统数据特性
历史报警数据是最重要的数据,不仅需要实时、安全并长时间的存储所有报警数据,还应具备快速查询的特性。按照每天1000条、存储3年来计算,大概100万条历史报警数据,常规关系型数据库当一张表数据超过50万行后,查询时间大概2~3秒,无法满足查询需求。
历史监测数据是实时采集的监测数据,数据量非常大、存储非常占用空间。
系统日志是一般的历史数据,用于存储系统的服务启停、配置变化和运行错误信息。
申请人通过对监控系统历史监测数据、历史报警数据和系统日志的变化频率、数据重要程度、数据查询效率和存储空间限制的研究,以及国产化硬件和操作系统的软件和数据库的运行要求,提供了监控系统数据存储方法,该存储方法实现了一套跨平台、多层次的实时数据库多数据库体系结构。
本实施例首先设计了跨平台实时数据库的总体数据结构,包括部署两个存储区,并根据各个区域的特性,对每个数据区域的存储物理结构和数据结构进行了详细设计。
实施例一
参见图1和图2,图1是本说明书实施例提供的一种监控系统数据存储方法流程示意图,图2是本申请实施例的总体数据结构示意图,监控系统数据存储方法包括:
步骤S101:分别部署第一存储区11和第二存储区12;
步骤S102:在第一存储区11中,至少根据测点标识和测点的监测数据建立各测点的历史监测数据文件111,至少根据测点标识和测点的报警数据建立历史报警库112;
步骤S103:在第二存储区12中,至少根据测点标识和对应的测点存储结构标识,建立测点的系统测点表122;至少根据测点存储结构标识、存储项长度测点的监测数据是否存储到历史监测数据文件111、以及存储项是否具有报警数据,建立所有测点的测点结构表121。
本实施例提供的监控系统数据存储方法中,在第一存储区11建立历史监测数据文件111和历史报警库112,历史监测数据文件111包括测点标识和测点监测数据,在第二存储区12建立系统测点表122和测点结构表121,根据测点标识可以查询系统测点表122,根据系统测点表122可以确定测点标识对应的测点存储结构标识(对应测点类型),根据测点存储结构标识可查询测点结构表121,根据测点结构表121可以确定测点监测数据是否存储到历史监测数据文件111、以及测点是否具有报警数据,根据历史监测数据文件111和历史报警库112获得历史监测数据和历史报警数据。该方法有效存储了监控系统的数据,提高了数据存储和查询效率。历史监测数据文件和历史报警库存储于第一存储区,系统测点表和测点结构表存储于第二存储区,两个存储区隔离互不影响,提高了安全性和稳定性。
在一些实施例中,方法还包括在第一存储区11还建立系统日志表113,用于存储系统日志。具体实施例提供的监控系统数据存储方法,将历史报警数据、历史监测数据和系统日志分别独立存储且数据结构不同,不会相互影响。第一存储区11作为数据区,可以用来存储海量的历史数据、报警和日志。
可选地,可将历史监测数据文件111、历史报警库112和系统日志分别存储于三个数据库中,可以最大程度的实现故障隔离。
本实施例步骤S102中,第二存储区12可以作为实时数据库核心库,在第一存储区11中利用多个历史监测数据文件111存储历史监测数据。作为示例地,每一历史监测数据文件111可包括多个数据块Block;在第二存储区12中建立历史数据块索引表123,历史数据块索引表123至少包括历史监测数据文件111的索引号、数据块的标识、以及数据块在历史监测数据文件111中的索引号。
本实施例中,使用“数据压缩存储+自定义历史监测数据文件111+建立历史数据块索引表123”的方式,以压缩后的数据块Block为单位进行数据的存储,并使用sqlite数据库建立历史数据块索引表123,即减少了数据存储空间,又同时保证了查询和存储的效率。
历史监测数据的数据结构包括历史监测数据文件111(Data000~DataXXX)、历史数据块索引表123、测点结构表121(Metas)和系统测点表122(Tags)。
本实施例中,步骤S102中将历史监测数据文件111存储于第一存储区11,步骤S103中在第二存储区中存储测点结构表121(Metas)、系统测点表122(Tags)和历史数据块索引表123。
测点结构表121(Metas)定义了测点的多种类型的存储格式,每种存储格式包括不同的存储项(存储项可包括存储内容和存储项的数据长度),作为示例的详细设计见表2测点结构表121(Metas)。
表2测点结构表121(Metas)
表2示出的实例中,测点结构表121(Metas)中各个字段定义了单个存储项的信息,多个存储项完整定义了单个测点的存储结构,一般情况下每个测点包括3个存储项:测点值value、报警标识alarm或报警限值limit。该表的字段包括测点存储结构标识MetaID、存储项name、存储项索引Index、数据类型DataType、存储项长度DataLen、值标识IsValue和报警标识IsAlarm。值标识IsValue标识是否存储到历史监测数据文件111(或数据块)中,是则值标识为1。报警标识IsAlarm标识是否具有报警数据,报警标识IsAlarm为1标识此项发生变化时,同时记录历史报警表Events。图4为测点结构表121(Metas)存储内容示例,如图4所示,代表本系统存储2种类型的测点:测点存储结构标识MetaID分别为1和2,即测点存储结构标识MetaID为1对应第一类测点,测点存储结构标识MetaID为2对应第二类测点。测点存储结构标识MetaID为1的测点存储内容包括2个存储项部分:测点值value和报警标识alarm,各占1个字节(字段DataLen),测点存储结构标识MetaID为2的测点存储内容包括3个存储项部分:测点值value、报警标识alarm和报警限值limit,各占4、1和4个字节(字段DataLen)。
系统测点表122(Tags)用于存储系统所有测点的详细信息,包括测点ID、存储结构标识MetaID、数据存储频率等字段,作为示例的详细设计见表3存储测点表Tags。
表3系统测点表122(Tags)
本实施例中,系统测点表122(Tags)的字段包括测点ID(测点标识):系统测点的唯一标识;测点存储结构标识:对应测点结构表121(Metas)的MetaID;存储索引StoreIndex,标识此测点数据在数据块中的存储次序。可选地,系统测点表122(Tags)的字段还包括使能标识Enabled、数值变化分辨率Resolution、数据变化死区Deadband、数值显示精度Precise和测点定义发生变化时间LastUpdate。
系统测点表122(Tags)存储内容示例如图5所示。
历史数据块索引表123用于存储历史数据块的索引信息,包括各个数据块的ID号、同步标识、块开始时间、块结束时间和存储位置等字段,作为示例的详细设计见表4历史数据块索引表123。
表4历史数据块索引表123
历史数据块索引表123内容实例如图6所示。
历史监测数据存储和访问流程示意图如图3所示。本实施例中,系统采集到实时监测数据后,首先缓存在内存中,每2分钟(可设置)将内存的数据块采用压缩算法(如Lz4压缩算法,但不限于此)进行压缩后存储在磁盘相应的历史监测数据文件111(如DataXXX)中上,并在历史数据块索引表123新建一条索引记录,可标识该数据块的ID号、块同步标识、块类型、开始时间、结束时间、存储文件索引号、文件索引、存储位置、存储长度和块版本信息(详见表4历史数据块索引表123)。
具体实施例中,历史监测数据文件111从0开始顺序编号,第1个文件名称为Data000,每个文件大小可设置(默认64M)。数据文件的格式包括为自定义的db后缀,有多个压缩的数据块Block组成,每个数据块Block中存储了多个采集测点的实时信息,如时戳、测点ID、实测值(也即测点值)、报警标识和报警限值,测点标识(即测点ID)和测点存储结构标识(即测点类型)为测点的基础信息,测点ID对应系统测点表122(Tags)的ParaID,每个测点的实际存储字节数由测点结构表121(Metas)定义的。历史数据文件的数据结构如图7所示。
查询历史监测数据时,先根据查询时间查询历史数据块索引表123,获取对应的历史监测数据文件111索引(FileIndex),根据历史监测数据文件111索引(FileIndex)查询相应的历史监测数据文件111,获取对应的数据块集合Blocks,读取数据块Block并解压缩,根据查询的测点ID进行数据过滤,获取相应的测点集合,根据测点ID查询系统测点表122(Tags),获取测点的测点存储结构标识MetaID,根据测点存储结构标识MetaID查询测点结构表121(Metas),获取该测点的存储项和各个存储项的数据长度,从而解析出该测点存储项的测点值(value)、报警标识(alarm)和报警限值(limit),获取解析后的查询结果。过程如图8所示。
本实施例中,步骤S102在第一存储区11存储历史报警数据,历史报警数据是监控系统重要的历史数据,数据量较少(一般每天不超过千条),访问频率较高,对查询速度要求较高。作为示例地,可使用跨平台轻量级数据库sqlite设计和实现。如本实施例在第一存储区11配置历史报警库112,历史报警库112包括历史报警表Events,历史报警表详细设计可见表5所示。
表5历史报警表Events
本实施例中,监控系统数据存储方法还包括:在第二存储区12中,至少根据历史报警表的索引标识和报警表名称建立历史报警分区表124(alarm Partition)。历史报警分区表124用于存储历史报警的分区信息,包括报警表索引、报警表名称、报警开始时间和报警结束时间等字段。历史报警分区表124(alarm Partition)如表6所示。
表6历史报警分区表124(alarmPartition)
系统实时产生的报警存储时,先查询当前的历史报警表(Events)行数是否超过设定值,如果如超过,直接插入当前历史报警表,如果超过,创建新的历史报警表(Events),并更新历史报警分区表124(alarmPartition)。
历史报警的存储和查询总体结构如图9所示。查询历史报警时,先根据查询时间查询历史报警分区表124(alarmPartition),获取对应的报警表的名称(字段alarmTableName),再根据报警表的名称(EventsX)查询相应的历史报警,获取历史报警的测点ID(paraID)、报警时间(alarmTime)和报警数据(alarmData),报警数据(alarmData)包括多种存储结构,具体内容的解析需根据测点结构表121(Metas)进行数据解析,历史报警查询过程见图10。
在一些实施例中,为了保证数据的安全性和查询效率,第二存储区12(即实时数据库核心库)使用跨平台轻量级数据库sqlite设计和实现第二存储区12,第二存储区12包括测点结构表121(Metas)、存储测点表Tags、历史数据块索引表123Blocks、历史报警分区表124(alarm Partition)。各表总体结构如图11所示。
可选地,第二存储区12还包括数据库版本信息表125,数据库版本信息表125(dbLog)用于当前数据库结构的版本信息,包括数据库版本号、最后修改时间和修改日志字段,数据表详细设计见表7数据库版本信息表125(dbLog)。
表7数据库版本信息表125(dbLog)
在一些实施例中,在第一存储区11建立系统日志表113,系统日志表113用于存储系统的服务启停、配置变化和运行错误信息,使用跨平台轻量级数据库sqlite设计和实现,系统日志表113详细设计见表8系统日志表113(dbLog)。
表8系统日志表113(dbLog)
具体实施例中,可使用“数据表+自动删除”的方式,在数据存储不少于3个月的情况下具备较高的查询效率。系统日志是独立的sqlite数据库(RDLog.db)。
在以上实施例的基础上,如图12所示,监控系统数据存储方法还包括步骤S104:部署第三存储区13(作为配置区),在第三存储区13中,存储数据配置信息,数据配置信息至少包括历史监测数据文件111和历史报警库112的存储路径。
可选地,具体实施例提供的数据存储方法还包括设置客户端,用于数据显示。数据配置信息包括服务器配置文件131(如图12所示)和客户端配置文件132(如图13所示),数据存储配置包括历史数据的存储路径、数据存储频率、配置文件的路径、通讯参数等信息,客户端显示配置包括配置文件路径、软件界面显示模式和线条显示颜色等信息。配置区使用ini配置文件设计和实现,用户可以在各个平台打开和设置。通过在第三存储区13存储数据配置信息,支持数据存储参数和数据显示的自定义,包括历史数据的存储路径、数据存储频率、软件界面显示模式等信息。
通过设置第三存储区13来存储软件配置信息,用户可以通过配置数据的设置满足各个项目个性化的存储使用需求。
本申请实施例提出的监控系统数据存储方法支持历史数据、历史报警和系统日志的高频率数据存储和数据的快速查询,具备跨平台特性,并可根据实际项目需求进行个性化配置。
本申请实施例提出的监控系统数据存储方法可应用于多操作系统下,具备跨平台特性,满足软件国产化的要求;针对三类监控系统数据的变化频率、数据重要程度、数据查询需求进行设计,对硬件设备要求较低,在普通的工控机上即可实现具有高频率数据存储(1ms存储1次)和数据的快速查询(<1S);通用性强,具有强大的自定义特性。
可以理解的是,以上测点结构表121、系统测点表122、历史数据块索引表123、历史报警分区表124仅作为示例示出,具体实施例中可根据实际需要设置各个表中的字段,支持测点结构的自定义,可以定义开关量、模拟量等多个不同长度的存储结构;本申请支持各个项目导入不同的测点信息和测点分组信息。
实施例二
与上述监控系统数据存储方法相对应地,本申请实施例还提供了一种监控系统数据存储装置,包括:
第一存储区11,被配置存储各测点的历史监测数据文件111和历史报警库112,历史监测数据文件111至少包括测点标识和测点的监测数据,历史报警库112至少包括测点标识和测点的报警数据。
第二存储区12,被配置存储测点的测点结构表121和所有测点的系统测点表122;系统测点表122至少包括测点标识和对应的测点存储结构标识,测点结构表121至少包括测点存储结构标识、测点的监测数据是否存储到第一存储区11标识、以及是否具有报警数据标识。
可选地,监控系统数据存储装置还包括第三存储区13,第三存储区13被配置存储数据配置信息,数据配置信息至少包括历史监测数据文件111和历史报警库112的存储路径。
需要说明的是,本申请实施例的监控系统数据存储装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
此外,本申请实施例三还提供了一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现如以上监控系统数据存储方法的步骤。
以上仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (13)
1.一种监控系统数据存储方法,其特征在于,包括:
分别部署第一存储区(11)和第二存储区(12);
在所述第一存储区(11)中,至少根据测点标识和所述测点的监测数据建立各所述测点的历史监测数据文件(111),至少根据所述测点标识和所述测点的报警数据建立历史报警库(112);
在所述第二存储区(12)中,至少根据所述测点标识和对应的测点存储结构标识,建立所述测点的系统测点表(122);至少根据所述测点存储结构标识、存储项长度、所述存储项是否存储到所述历史监测数据文件(111)、以及所述存储项是否具有报警数据,建立所有所述测点的测点结构表(121),其中,所述测点结构表(121)中各个字段定义了单个存储项的信息,多个所述存储项完整定义了单个所述测点的存储结构。
2.根据权利要求1所述的监控系统数据存储方法,其特征在于,所述方法还包括:
部署第三存储区(13),在所述第三存储区(13)中存储数据配置信息,所述数据配置信息至少包括所述历史监测数据文件(111)和所述历史报警库(112)的存储路径。
3.根据权利要求1所述的监控系统数据存储方法,其特征在于,所述方法还包括:
每一所述历史监测数据文件(111)包括多个数据块;
在所述第二存储区(12)中,建立历史数据块索引表(123),所述历史数据块索引表(123)至少包括所述历史监测数据文件(111)的索引号、所述数据块的标识、以及所述数据块在所述历史监测数据文件(111)中的索引号。
4.根据权利要求1所述的监控系统数据存储方法,其特征在于,所述历史报警库(112)包括历史报警表,所述方法包括:
确定所述历史报警表的报警表名称;在所述第二存储区(12)中,至少根据所述历史报警表的索引标识和所述报警表名称建立历史报警分区表(124)。
5.根据权利要求1所述的监控系统数据存储方法,其特征在于,所述方法还包括:
在所述第一存储区(11)建立系统日志表(113),所述系统日志表(113)用于存储所述监控系统的系统日志。
6.一种监控系统数据存储装置,其特征在于,包括:
第一存储区(11),被配置存储各测点的历史监测数据文件(111)和历史报警库(112),所述历史监测数据文件(111)至少包括所述测点标识和所述测点的监测数据,所述历史报警库(112)至少包括所述测点标识和所述测点的报警数据;
第二存储区(12),被配置存储测点的测点结构表(121)和所有测点的系统测点表(122);所述系统测点表(122)至少包括测点标识和对应的测点存储结构标识,所述测点结构表(121)至少包括所述测点存储结构标识、存储项长度、所述存储项是否存储到所述历史监测数据文件(111)标识、以及所述存储项是否具有报警数据标识,其中,所述测点结构表(121)中各个字段定义了单个存储项的信息,多个所述存储项完整定义了单个所述测点的存储结构。
7.根据权利要求6所述的监控系统数据存储装置,其特征在于,所述装置还包括第三存储区(13),所述第三存储区(13)被配置存储数据配置信息,所述数据配置信息至少包括所述历史监测数据文件(111)和所述历史报警库(112)的存储路径。
8.根据权利要求6所述的监控系统数据存储装置,其特征在于,每一所述历史监测数据文件(111)包括多个数据块;
所述第二存储区(12)还被配置存储历史数据块索引表(123),所述历史数据块索引表(123)至少包括所述历史监测数据文件(111)的索引号、所述数据块的标识、以及所述数据块在所述历史监测数据文件(111)中的索引号。
9.根据权利要求6所述的监控系统数据存储装置,其特征在于,所述历史报警库(112)包括历史报警表,所述历史报警表具有报警表名称;
所述第二存储区(12)还配置存储历史报警分区表(124),所述历史报警分区表(124)至少包括所述历史报警表的索引标识和所述报警表名称。
10.根据权利要求6所述的监控系统数据存储装置,其特征在于,所述第一存储区(11),被配置存储系统日志表(113),所述系统日志表(113)用于存储所述监控系统的系统日志。
11.根据权利要求8所述的监控系统数据存储装置,其特征在于,所述系统测点表(122)还包括所述测点在所述数据块中的存储次序。
12.根据权利要求6所述的监控系统数据存储装置,其特征在于,所述第二存储区(12)还被配置存储数据库版本信息表(125),所述数据库版本信息表(125)包括数据库版本号、最后修改时间和修改日志。
13.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现如权利要求1至5中任意一项所述监控系统数据存储方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311395031.7A CN117370313A (zh) | 2023-10-25 | 2023-10-25 | 监控系统数据存储方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311395031.7A CN117370313A (zh) | 2023-10-25 | 2023-10-25 | 监控系统数据存储方法、装置和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117370313A true CN117370313A (zh) | 2024-01-09 |
Family
ID=89407416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311395031.7A Pending CN117370313A (zh) | 2023-10-25 | 2023-10-25 | 监控系统数据存储方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117370313A (zh) |
-
2023
- 2023-10-25 CN CN202311395031.7A patent/CN117370313A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111984499B (zh) | 一种大数据集群的故障检测方法和装置 | |
EP1490769B1 (en) | Method and apparatus for compressing log record information | |
CN106815125A (zh) | 一种日志审计方法及平台 | |
CN111159165B (zh) | 基于云平台的电力井下低功耗边缘计算系统及其方法 | |
CN112199433A (zh) | 一种用于城市级数据中台的数据治理系统 | |
CN102073640A (zh) | Sql语句的检测方法、系统及服务器 | |
CN116226894B (zh) | 一种基于元仓的数据安全治理系统及方法 | |
CN117971606B (zh) | 基于ElasticSearch的日志管理系统及方法 | |
CN111159161A (zh) | 基于etl规则的数据质量监控及预警系统和方法 | |
JP2016521402A (ja) | データの編成及び高速検索 | |
CN112925757A (zh) | 一种追踪智能设备操作日志的方法、设备、存储介质 | |
CN110109906B (zh) | 数据存储系统及方法 | |
CN118035249B (zh) | 核工程复杂关系数据建模与监控方法和系统 | |
CN107391769A (zh) | 一种索引查询方法及装置 | |
CN116961241B (zh) | 一种基于电网业务的统一应用监测平台 | |
CN117390015B (zh) | 电池护照的存储方法、设备及存储介质 | |
CN110956030B (zh) | 变电站远动机组态配置信息比对方法及系统 | |
CN116303628B (zh) | 基于Elasticsearch的告警数据查询方法、系统及设备 | |
CN112162896A (zh) | 一种基于InfluxDB的集群数据监控方法 | |
CN111414355A (zh) | 一种海上风电场数据监测存储系统及方法、装置 | |
CN117370313A (zh) | 监控系统数据存储方法、装置和存储介质 | |
CN117009180A (zh) | 日志、异常警报信息处理方法及装置 | |
CN112784129A (zh) | 一种泵站设备运维数据监管平台 | |
CN108052637B (zh) | 电网时标量测数据接入全生命周期实时图文监控方法 | |
CN116186116A (zh) | 一种基于等保测评的资产问题分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |