CN115510138A - 数据管理方法、装置、电子设备和可读存储介质 - Google Patents
数据管理方法、装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN115510138A CN115510138A CN202211215810.XA CN202211215810A CN115510138A CN 115510138 A CN115510138 A CN 115510138A CN 202211215810 A CN202211215810 A CN 202211215810A CN 115510138 A CN115510138 A CN 115510138A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- time
- monitored
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据管理方法、装置、电子设备和可读存储介质,通过数据管理服务器获取设置在待监测设备一侧的中位机采集并上传的待监测设备的运行数据,并确定运行数据的类型。若运行数据为实时数据,则将运行数据采用Redis缓存机制进行缓存。而若运行数据为非实时数据,则将运行数据存入消息队列中,并将消息队列中的运行数据写入数据库中。本实施例中,将运行数据分为实时数据和非实时数据,并采用不同的存储策略进行存储,实时数据采用缓存使得能够在短时间快速读写数据、实现快速响应,而非实时数据存入数据库,可在有需要时再调取非实时数据,避免对系统资源的占用。如此,可以提高系统存储和查询的效率。
Description
技术领域
本发明涉及监控管理技术领域,具体而言,涉及一种数据管理方法、装置、电子设备和可读存储介质。
背景技术
在设备的监控管理领域中,由于目前设备的产型越来越大,例如对于电源设备而言,单条产线的电源柜设备多达数百台、充放电通道多达五千多个。因此,对于监控任务和数据管理任务的挑战越来越大。
在目前的设备数据管理方式中,一般是先采集设备的数据,将数据存入数据库中,在需要数据时再从数据库中读取数据并上传。然而现有的数据管理方式,在目前数据量庞大的实际场景下,系统处理压力大、系统性能降低,导致数据实时性差、数据库写入和读取速度慢。现有的数据管理方式中的数据库和存储策略,导致存储和查询的效率较低。
发明内容
本发明的目的包括,例如,提供了一种数据管理方法、装置、电子设备和可读存储介质,其能够提高系统的存储和查询效率。
本发明的实施例可以这样实现:
第一方面,本发明提供一种数据管理方法,应用于数据管理服务器,所述数据管理服务器与中位机通信连接,所述中位机设置在待监测设备一侧且与待监测设备连接,所述方法包括:
获取所述中位机采集并上传的待监测设备的运行数据;
确定所述运行数据的类型,若所述运行数据为实时数据,则将所述运行数据采用Redis缓存机制进行缓存;
若所述运行数据为非实时数据,则将所述运行数据存入消息队列中,并将所述消息队列中的运行数据写入数据库中。
在可选的实施方式中,所述数据管理服务器还与上位机连接,所述方法还包括:
将采用Redis机制缓存的运行数据实时发送至所述上位机,以使所述上位机实时展示所述运行数据;和/或
在获取到所述上位机的数据读取请求时,从所述数据库中提取所述数据读取请求对应的运行数据,并将提取的运行数据发送至所述上位机。
在可选的实施方式中,所述消息队列中的运行数据包括多种类型的非实时数据,所述数据库包括多个子数据库,所述子数据库与不同类型的非实时数据一一对应;
所述将所述消息队列中的运行数据写入数据库中的步骤,包括:
采用多线程并行运行方式,将所述消息队列中不同类型的非实时数据分别写入对应的子数据库中。
在可选的实施方式中,所述多种类型的非实时数据包括记录层数据,所述待监测设备为多个,各所述待监测设备分别对应一个通道,所述记录层数据对应的子数据库按照通道划分为多个通道子数据库;
所述采用多线程并行运行方式,将所述消息队列中不同类型的非实时数据分别写入对应的子数据库中的步骤,包括:
采用多线程并行运行方式,读取所述消息队列中的记录层数据;
获得读取的记录层数据中对应不同通道的记录层数据;
将不同通道的记录层数据分别写入对应的通道子数据库中。
在可选的实施方式中,各所述通道子数据库中创建有多个时间表,所述将不同通道的记录层数据分别写入对应的通道子数据库中的步骤,包括:
确定不同通道的记录层数据对应的通道子数据库;
针对各所述通道子数据库,获得其对应的记录层数据的时间信息;
根据记录层数据的时间信息将记录层数据写入所述通道子数据库中对应的时间表中。
在可选的实施方式中,所述非实时数据还包括工步层数据、循环层数据、日志数据和配置数据。
在可选的实施方式中,所述中位机和所述待监测设备为多个,多个所述待监测设备构成多个设备组,各所述中位机与一个或多个设备组连接,所述数据管理服务器具有多个端口,各所述中位机与一个或多个端口通信;
所述获取所述中位机采集并上传的待监测设备的运行数据的步骤,包括:
针对各所述端口,通过所述端口接收与其通信的一个或多个中位机所采集并上传与所述中位机连接的一个或多个设备组中包括的待监测设备的运行数据。
第二方面,本发明提供一种数据管理装置,应用于数据管理服务器,所述数据管理服务器与中位机通信连接,所述中位机设置在待监测设备一侧且与待监测设备连接,所述装置包括:
获取模块,用于获取所述中位机采集并上传的待监测设备的运行数据;
确定模块,用于确定所述运行数据的类型;
缓存模块,用于若所述运行数据为实时数据,则将所述运行数据采用Redis缓存机制进行缓存;
存储模块,用于若所述运行数据为非实时数据,则将所述运行数据存入消息队列中,并将所述消息队列中的运行数据写入数据库中。
第三方面,本发明提供一种电子设备,包括一个或多个存储介质和一个或多个与存储介质通信的处理器,一个或多个存储介质存储有处理器可执行的机器可执行指令,当电子设备运行时,处理器执行所述机器可执行指令,以执行前述实施方式中任意一项所述的方法步骤。
第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质存储有机器可执行指令,所述机器可执行指令被执行时实现前述实施方式中任意一项所述的方法步骤。
本发明实施例的有益效果包括,例如:
本申请提供一种数据管理方法、装置、电子设备和可读存储介质,通过数据管理服务器获取设置在待监测设备一侧的中位机采集并上传的待监测设备的运行数据,并确定运行数据的类型。若运行数据为实时数据,则将运行数据采用Redis缓存机制进行缓存。而若运行数据为非实时数据,则将运行数据存入消息队列中,并将消息队列中的运行数据写入数据库中。本实施例中,将运行数据分为实时数据和非实时数据,并采用不同的存储策略进行存储,实时数据采用缓存使得能够在短时间快速读写数据、实现快速响应,而非实时数据存入数据库,可在有需要时再调取非实时数据,避免对系统资源的占用。如此,可以提高系统存储和查询的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的数据管理方法的应用场景示意图;
图2为本申请实施例提供的数据管理方法的流程图;
图3为本申请实施例提供的数据管理方法中各设备的交互示意图之一;
图4为本申请实施例提供的数据管理方法中各设备的交互示意图之二;
图5为图2中步骤S104包含的子步骤的流程图;
图6为图5为步骤S1043包含的子步骤的流程图;
图7为本申请实施例提供的电子设备的结构框图;
图8为本申请实施例提供的数据管理装置的功能模块框图。
图标:110-存储介质;120-处理器;130-数据管理装置;131-获取模块;132-确定模块;133-缓存模块;134-存储模块;140-通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是,在不冲突的情况下,本发明的实施例中的特征可以相互结合。
请参阅图1,为本申请实施例提供的数据管理方法的应用场景示意图,该应用场景中包括数据管理服务器、中位机和上位机。数据管理服务器可分别与中位机和上位机通信连接,以实现数据、信号的交互。
数据管理服务器可以是单独的服务器,也可以是多个服务器构成的服务器集群。中位机和上位机可为多个,其中,中位机可设置在待监测设备一侧,以本地采集待监测设备的运行数据。中位机可以是如PLC(Programmable Logic Controller,可编程逻辑控制器)、单片机等设备,可直接控制待监测设备并获取待监测设备的设备状况数据。
本实施例中,上位机为可直接发出操控命令的计算机,可以是PC(PersonalComputer,个人计算机)。上位机可包括显示屏幕,显示屏幕上可显示有关于待监测设备的多种信号变化。
本实施例中,待监测设备可为任意的需要进行运行监控的设备,例如电源设备等。
请参阅图2,为本申请实施例提供的数据管理方法的流程图,该数据管理方法有关的流程所定义的方法步骤可以由上述的数据管理服务器所实现。下面将对图2所示的具体流程进行详细阐述。
S101,获取所述中位机采集并上传的待监测设备的运行数据。
S102,确定所述运行数据的类型。
S103,若所述运行数据为实时数据,则将所述运行数据采用Redis缓存机制进行缓存。
S104,若所述运行数据为非实时数据,则将所述运行数据存入消息队列中,并将所述消息队列中的运行数据写入数据库中。
本实施例中,中位机设置在待监测设备一侧,可采集待监测设备的运行数据。中位机可以是实时采集待监测设备的运行数据,也可以是每间隔预设时间段触发采集待监测设备的运行数据。
以待检测设备为电源设备为例,采集到的待监测设备的运行数据可以是如实时的电流数据、电压数据等,此外,还可以包括对于待监测设备的配置、控制等的相关数据。
中位机可将采集到的待监测设备的运行数据发送至数据管理服务器。数据管理服务器在接收到运行数据后,对于不同类型的运行数据将采用不同的存储策略进行存储。
本实施例中,可选地,将运行数据分为实时数据和非实时数据,其中,实时数据即为需要在上位机的显示屏幕上进行实时展示的数据,以便于上位机一侧的操作人员能够获知待监测设备的实时运行状况。例如,实时数据可以是电源设备的电压数据、电流数据、充电的状态数据、放电的状态数据等。
而非实时数据可以是如对于待监测设备的配置、控制相关的数据,以及待监测设备的历史数据等。非实时数据无需在上位机一侧进行实时展示,可以是在上位机一侧采用如excel或者其他专用的软件,通过数据表或者是绘图形式等进行展示的数据。
针对实时数据,由于后续需要在上位机一侧进行实时展示,因此涉及到频繁的写入和读取操作,对于数据的读写实时性要求较高,需要具有较快的读写速度。因此,在本实施例中,数据管理服务器可将确定为实时数据的运行数据采用Redis(Remote DictionaryServer)缓存机制进行缓存。
Redis是一个key-value存储系统,支持存储的value类型很多,包括如string(字符串)、list(链表)、set(集合)、zset(sorted set--有序集合)和hash(哈希类型)等。为了保证效率,Redis机制下数据都缓存在内存中,以便于数据管理服务器支持实时数据的快速的读写操作。
此外,针对非实时数据,由于在上位机一侧对于非实时数据的需求频率并不高,并不会频繁对非实时数据进行读取。因此,为了避免对于内存的过多占用,数据管理服务器可将确定为非实时数据的运行数据存入消息队列中,再将消息队列中的运行数据写入数据库中进行存储。如此,针对如非实时数据这类数据量庞大的数据,可以通过数据入库存储的方式,以避免产生数据丢失和数据错误等情况。
在此基础上,对于数据管理服务器中的采用Redis缓存的运行数据,可将采用Redis缓存的运行数据实时发送至上位机,以使上位机实时展示运行数据。例如,可以将缓存的电流数据、电压数据等瞬时的实时数据实时发送至上位机,如此,可在上位机的显示屏幕上实时显示这类实时数据,以便于上位机一侧的操作人员可以实时了解待监测设备的运行状况。
对于数据管理服务器中存入数据库的运行数据,可在获取到上位机的数据读取请求时,从数据库中提取数据读取请求对应的运行数据,将提取的运行数据发送至上位机。
在上位机一侧需要提取待监测设备的非实时数据的情况下,操作人员可通过上位机发出相应的数据读取请求。数据管理服务器在接收到数据读取请求时,才会被动地向上位机反馈对应的运行数据。
本实施例中,通过在数据管理服务器中加入Redis缓存机制,将中位机上传的待监测设备的运行数据分为实时数据和非实时数据,将实时数据采用Redis缓存机制进行缓存,使得能够在短时间实现实时数据的快速读写,实现实时数据的快速响应。此外,使用消息队列和数据入库的方式将非实时数据写入数据库中,可以实现数据量庞大的数据的存储,如此,以提高系统整体的存储和查询效率。
请结合参阅图3,本实施例中,中位机和待监测设备可为多个,而多个待监测设备可构成多个设备组。以待监测设备为电源设备为例,其中,电源设备可为数百台,如十台或者二十台等不限可构成一个设备组,如此,所有的电源设备可构成多个设备组。
一台中位机可对一个或多个设备组进行管理,因此,一台中位机可与一个或多个设备组连接。而数据管理服务器具有多个端口,通过端口实现数据管理服务器与中位机之间的通信。本实施例中,多个端口可与同一台中位机通信,也即,各个中位机可与一个或多个端口通信,如此,可以形成多通道数据同时接收,提高数据管理的效率。
在此基础上,在数据管理服务器获取中位机采集并上传的待监测设备的运行数据时,针对数据管理服务器上的各端口,通过端口接收与其通信的一个或多个中位机所采集并上传的与该中位机连接的一个或多个设备中包括的待监测设备的运行数据。
请结合参阅图4,本实施例中,数据管理服务器包括数据通信单元、数据处理单元和数据接收单元。其中,数据通信单元包括上述的多个端口,可通过TCP与中位机进行通信,从而与中位机之间实现数据、信号的交互。数据处理单元与数据通信单元连接,可控制数据的发送或者接收。数据处理模块还可与上位机通信连接,实现与上位机之间的数据、信号的交互。可以将从上位机接收到的信号发送至数据通信单元。此外,数据处理单元还可与数据接收单元连接,将接收到的数据传输至数据接收单元。
本实施例中,数据接收单元可与上位机进行连接,数据接收单元可将接收到的待监测设备的运行数据划分为实时数据和非实时数据,并对实时数据和非实时数据采用不同的存储策略进行存储。
本实施例中,对于实时数据直接采用Redis缓存机制缓存在内存中。而非实时数据由于一般数据量较大,为了提高管理的效率,可在将非实时数据存入数据库时采用相应的优化策略,以实现优化存储。
本实施例中,非实时数据先回存入消息队列中,消息队列中的运行数据包括多种类型的非实时数据,而数据管理服务器一侧的数据库可包括多个子数据库,各个子数据库与不同类型的非实时数据一一对应。
在将消息队列中的运行数据写入数据库时,可采用多线程并行运行方式,将消息队列中不同类型的非实时数据分别写入对应的子数据库中。
本实施例中,将非实时数据采用异步并发方式写入数据库中,并且在数据库中采用子数据库分库方式进行数据存储,可以提高存储和查询的效率。
本实施例中,多种类型的非实时数据包括记录层数据,此外还包括工步层数据、循环层数据、日志数据和配置数据。其中,工步层数据可以是例如提供的包含多个步骤的模板的相关数据,而一个步骤即为一个工步,每个工步可以提供多个策略进行选择,例如,第一工步设置充电多长时间、以什么样的条件结束等,第二工步设置以多大的电流进行充电、以恒压模式还是恒流模式等,第三工步可以如对放电模式进行设置等。进而基于多个工步进行循环运作。而所有工步中的容量、时间、开始电压、结束电压等即可归为工步层数据。
而记录层数据会记录所有的工步中所产生的历史数据,而执行工步中所产生的日志可归为日志数据。循环层数据可以理解为充电、放电这一循环流程中的相关数据。
其中,工步层数据、循环层数据、日志数据和配置数据,相较于记录层数据而言,数据量较小,比较容易管理。因此,可以直接将工步层数据、循环层数据、日志数据和配置数据存入相应的子数据库,可以以数据表的形式进行数据存储。
而记录层数据由于包括记录的所有工步中所产生的历史数据,数据量庞大,为了便于对数据的管理,本实施例中,待监测设备为多个的情况下,各个待监测设备可分别对应一个通道,而记录层数据对应的子数据库按照通道可划分为多个通道子数据库。请参阅图5,在将记录层数据写入数据库时,可通过以下方式实现:
S1041,采用多线程并行运行方式,读取所述消息队列中的记录层数据。
S1042,获得读取的记录层数据中对应不同通道的记录层数据。
S1043,将不同通道的记录层数据分别写入对应的通道子数据库中。
由上述可知,所有的非实时数据会先存入消息队列中,也即,所有通道的记录层数据也会先存入消息队列中。在从消息队列中读取记录层数据时,可以采用多线程并行读取的方式进行读取,可以提高数据读取的效率。
从消息队列中读取的记录层数据包括多个通道的数据,可以将读取的记录层数据进行通道的划分,例如对应不同通道的记录层数据携带有通道ID,以通道ID进行划分。如此,可以确定出对应不同通道的记录层数据。
在此基础上,由于记录层数据对应的子数据库按照通道划分为多个通道子数据库,其中,各个通道子数据库可以按照以通道ID相同的标识进行标记,进而将对应不同通道的记录层数据对应写入到通道子数据库。
如此,对应同一个通道的记录层数据写入同一个通道子数据库,而不同通道的记录层数据写入不同通道子数据库中。后续在需要按照通道进行数据查询时,可以直接查询对应的通道子数据库进行数据读取即可,提高了后续数据查询的效率。
此外,考虑到进行数据查询时通常还会以时间信息进行查询,因此,本实施例中,为了进一步提高数据查询的效率,将记录层数据进一步按照时间表进行存储。本实施例中,各个通道子数据库中创建有多个时间表,请参阅图6,在上述将不同通道的记录层数据写入对应的通道子数据库中,可通过以下方式实现。
S10431,确定不同通道的记录层数据对应的通道子数据库。
S10432,针对各所述通道子数据库,获得其对应的记录层数据的时间信息。
S10433,根据记录层数据的时间信息将记录层数据写入所述通道子数据库中对应的时间表中。
在划分出对应不同通道的记录层数据后,可以进一步确定不同通道的记录层数据的通道子数据库,例如,可以是以通道子数据库和通道的标识进行匹配确定。
而后续记录到同一个通道子数据库中的记录层数据可能为多个,该多个记录层数据可能对应的时间信息并不相同,因此,可以获得各个记录层数据的时间信息。本实施例中,时间信息可以是绝对时间,例如以年、月、日、时、分、秒进行记录。此外,时间信息也可以是以如一天内的相对时间进行划分,如白天工作时间、夜晚休息时间等。或者也可以是以周一至周五工作日、周六周日休息日等进行划分,具体地本实施例不作限制。
相应地,各个通道子数据库中具有的多个时间表也可以是以绝对时间进行划分,如按照某一时段长度进行划分,也可以是以工作日、休息日等进行划分。
在确定各个记录层数据的时间信息后,则可以按照其时间信息将记录层数据写入到对应的时间表中。如此,后续需要查询某个时间的记录层数据时,可以直接从对应的时间表中进行查询即可,大大提高了数据查询的效率。
本实施例中,针对现有技术中所采用的直接将数据存入数据库中,再从数据库中取出数据进行上传的方式,所存在的容易造成数据丢失、数据错误,并且系统性能低、数据实时性差、数据存储和查询效率低等问题,提出了一种数据管理方案。该数据管理方案通过在数据管理服务器中加入Redis缓存机制,将中位机上传的运行数据划分为实时数据和非实时数据,将实时数据采用Redis缓存机制进行缓存,使得能够短时间快速读写大量数据,实现实时数据的快速响应。此外,通过使用消息队列及多线程的方式,将非实时数据异步并发写入数据库中,并且在写入数据库时采用按照业务类型进行子数据库分库以及通道、时间分表的策略,可以提高数据存储和查询的效率。
请参阅图7,为本申请实施例提供的电子设备的示例性组件示意图,该电子设备可以是上述的数据管理服务器。该电子设备可包括存储介质110、处理器120、数据管理装置130及通信接口140。本实施例中,存储介质110与处理器120均位于电子设备中且二者分离设置。然而,应当理解的是,存储介质110也可以是独立于电子设备之外,且可以由处理器120通过总线接口来访问。可替换地,存储介质110也可以集成到处理器120中,例如,可以是高速缓存和/或通用寄存器。
数据管理装置130可以理解为上述电子设备,或电子设备的处理器120,也可以理解为独立于上述电子设备或处理器120之外的在电子设备控制下实现上述数据管理方法的软件功能模块。
如图8所示,上述数据管理装置130可以包括获取模块131、确定模块132、缓存模块133和存储模块134。下面分别对该数据管理装置130的各个功能模块的功能进行详细阐述。
获取模块131,用于获取所述中位机采集并上传的待监测设备的运行数据;
可以理解,该获取模块131可以用于执行上述步骤S101,关于该获取模块131的详细实现方式可以参照上述对步骤S101有关的内容。
确定模块132,用于确定所述运行数据的类型;
可以理解,该确定模块132可以用于执行上述步骤S102,关于该确定模块132的详细实现方式可以参照上述对步骤S102有关的内容。
缓存模块133,用于若所述运行数据为实时数据,则将所述运行数据采用Redis缓存机制进行缓存;
可以理解,该缓存模块133可以用于执行上述步骤S103,关于该缓存模块133的详细实现方式可以参照上述对步骤S103有关的内容。
存储模块134,用于若所述运行数据为非实时数据,则将所述运行数据存入消息队列中,并将所述消息队列中的运行数据写入数据库中。
可以理解,该存储模块134可以用于执行上述步骤S104,关于该存储模块134的详细实现方式可以参照上述对步骤S104有关的内容。
在一种可能的实施方式中,所述数据管理服务器还与上位机连接,所述数据管理装置130还包括发送模块,该发送模块可以用于:
将采用Redis机制缓存的运行数据实时发送至所述上位机,以使所述上位机实时展示所述运行数据;和/或
在获取到所述上位机的数据读取请求时,从所述数据库中提取所述数据读取请求对应的运行数据,并将提取的运行数据发送至所述上位机。
在一种可能的实施方式中,所述消息队列中的运行数据包括多种类型的非实时数据,所述数据库包括多个子数据库,所述子数据库与不同类型的非实时数据一一对应,上述存储模块134可以用于:
采用多线程并行运行方式,将所述消息队列中不同类型的非实时数据分别写入对应的子数据库中。
在一种可能的实施方式中,所述多种类型的非实时数据包括记录层数据,所述待监测设备为多个,各所述待监测设备分别对应一个通道,所述记录层数据对应的子数据库按照通道划分为多个通道子数据库,上述存储模块134可以用于:
采用多线程并行运行方式,读取所述消息队列中的记录层数据;
获得读取的记录层数据中对应不同通道的记录层数据;
将不同通道的记录层数据分别写入对应的通道子数据库中。
在一种可能的实施方式中,各所述通道子数据库中创建有多个时间表,上述存储模块134可以用于:
确定不同通道的记录层数据对应的通道子数据库;
针对各所述通道子数据库,获得其对应的记录层数据的时间信息;
根据记录层数据的时间信息将记录层数据写入所述通道子数据库中对应的时间表中。
在一种可能的实施方式中,所述非实时数据还包括工步层数据、循环层数据、日志数据和配置数据。
在一种可能的实施方式中,所述中位机和所述待监测设备为多个,多个所述待监测设备构成多个设备组,各所述中位机与一个或多个设备组连接,所述数据管理服务器具有多个端口,各所述中位机与一个或多个端口通信,上述获取模块131可以用于:
针对各所述端口,通过所述端口接收与其通信的一个或多个中位机所采集并上传与所述中位机连接的一个或多个设备组中包括的待监测设备的运行数据。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
进一步地,本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有机器可执行指令,机器可执行指令被执行时实现上述实施例提供的数据管理方法。
具体地,该计算机可读存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该计算机可读存储介质上的计算机程序被运行时,能够执行上述的数据管理方法。关于计算机可读存储介质中的及其可执行指令被运行时,所涉及的过程,可以参照上述方法实施例中的相关说明,这里不再详述。
综上所述,本申请提供的数据管理方法、装置、电子设备和可读存储介质,通过数据管理服务器获取设置在待监测设备一侧的中位机采集并上传的待监测设备的运行数据,并确定运行数据的类型。若运行数据为实时数据,则将运行数据采用Redis缓存机制进行缓存。而若运行数据为非实时数据,则将运行数据存入消息队列中,并将消息队列中的运行数据写入数据库中。本实施例中,将运行数据分为实时数据和非实时数据,并采用不同的存储策略进行存储,实时数据采用缓存使得能够在短时间快速读写数据、实现快速响应,而非实时数据存入数据库,可在有需要时再调取非实时数据,避免对系统资源的占用。如此,可以提高系统存储和查询的效率。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种数据管理方法,其特征在于,应用于数据管理服务器,所述数据管理服务器与中位机通信连接,所述中位机设置在待监测设备一侧且与待监测设备连接,所述方法包括:
获取所述中位机采集并上传的待监测设备的运行数据;
确定所述运行数据的类型,若所述运行数据为实时数据,则将所述运行数据采用Redis缓存机制进行缓存;
若所述运行数据为非实时数据,则将所述运行数据存入消息队列中,并将所述消息队列中的运行数据写入数据库中。
2.根据权利要求1所述的数据管理方法,其特征在于,所述数据管理服务器还与上位机连接,所述方法还包括:
将采用Redis机制缓存的运行数据实时发送至所述上位机,以使所述上位机实时展示所述运行数据;和/或
在获取到所述上位机的数据读取请求时,从所述数据库中提取所述数据读取请求对应的运行数据,并将提取的运行数据发送至所述上位机。
3.根据权利要求1所述的数据管理方法,其特征在于,所述消息队列中的运行数据包括多种类型的非实时数据,所述数据库包括多个子数据库,所述子数据库与不同类型的非实时数据一一对应;
所述将所述消息队列中的运行数据写入数据库中的步骤,包括:
采用多线程并行运行方式,将所述消息队列中不同类型的非实时数据分别写入对应的子数据库中。
4.根据权利要求3所述的数据管理方法,其特征在于,所述多种类型的非实时数据包括记录层数据,所述待监测设备为多个,各所述待监测设备分别对应一个通道,所述记录层数据对应的子数据库按照通道划分为多个通道子数据库;
所述采用多线程并行运行方式,将所述消息队列中不同类型的非实时数据分别写入对应的子数据库中的步骤,包括:
采用多线程并行运行方式,读取所述消息队列中的记录层数据;
获得读取的记录层数据中对应不同通道的记录层数据;
将不同通道的记录层数据分别写入对应的通道子数据库中。
5.根据权利要求4所述的数据管理方法,其特征在于,各所述通道子数据库中创建有多个时间表,所述将不同通道的记录层数据分别写入对应的通道子数据库中的步骤,包括:
确定不同通道的记录层数据对应的通道子数据库;
针对各所述通道子数据库,获得其对应的记录层数据的时间信息;
根据记录层数据的时间信息将记录层数据写入所述通道子数据库中对应的时间表中。
6.根据权利要求4所述的数据管理方法,其特征在于,所述非实时数据还包括工步层数据、循环层数据、日志数据和配置数据。
7.根据权利要求1所述的数据管理方法,其特征在于,所述中位机和所述待监测设备为多个,多个所述待监测设备构成多个设备组,各所述中位机与一个或多个设备组连接,所述数据管理服务器具有多个端口,各所述中位机与一个或多个端口通信;
所述获取所述中位机采集并上传的待监测设备的运行数据的步骤,包括:
针对各所述端口,通过所述端口接收与其通信的一个或多个中位机所采集并上传与所述中位机连接的一个或多个设备组中包括的待监测设备的运行数据。
8.一种数据管理装置,其特征在于,应用于数据管理服务器,所述数据管理服务器与中位机通信连接,所述中位机设置在待监测设备一侧且与待监测设备连接,所述装置包括:
获取模块,用于获取所述中位机采集并上传的待监测设备的运行数据;
确定模块,用于确定所述运行数据的类型;
缓存模块,用于若所述运行数据为实时数据,则将所述运行数据采用Redis缓存机制进行缓存;
存储模块,用于若所述运行数据为非实时数据,则将所述运行数据存入消息队列中,并将所述消息队列中的运行数据写入数据库中。
9.一种电子设备,其特征在于,包括一个或多个存储介质和一个或多个与存储介质通信的处理器,一个或多个存储介质存储有处理器可执行的机器可执行指令,当电子设备运行时,处理器执行所述机器可执行指令,以执行权利要求1-7中任意一项所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有机器可执行指令,所述机器可执行指令被执行时实现权利要求1-7中任意一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211215810.XA CN115510138A (zh) | 2022-09-30 | 2022-09-30 | 数据管理方法、装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211215810.XA CN115510138A (zh) | 2022-09-30 | 2022-09-30 | 数据管理方法、装置、电子设备和可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115510138A true CN115510138A (zh) | 2022-12-23 |
Family
ID=84507446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211215810.XA Pending CN115510138A (zh) | 2022-09-30 | 2022-09-30 | 数据管理方法、装置、电子设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115510138A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117193148A (zh) * | 2023-11-08 | 2023-12-08 | 微纳动力(北京)科技有限责任公司 | 一种光电镊单细胞筛选的中位机控制系统 |
CN117389486A (zh) * | 2023-12-13 | 2024-01-12 | 浙江国利信安科技有限公司 | 用于实时处理epa网络数据的方法、计算设备和存储介质 |
-
2022
- 2022-09-30 CN CN202211215810.XA patent/CN115510138A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117193148A (zh) * | 2023-11-08 | 2023-12-08 | 微纳动力(北京)科技有限责任公司 | 一种光电镊单细胞筛选的中位机控制系统 |
CN117193148B (zh) * | 2023-11-08 | 2024-02-02 | 微纳动力(北京)科技有限责任公司 | 一种光电镊单细胞筛选的中位机控制系统 |
CN117389486A (zh) * | 2023-12-13 | 2024-01-12 | 浙江国利信安科技有限公司 | 用于实时处理epa网络数据的方法、计算设备和存储介质 |
CN117389486B (zh) * | 2023-12-13 | 2024-04-19 | 浙江国利信安科技有限公司 | 用于实时处理epa网络数据的方法、计算设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7962440B2 (en) | Adaptive industrial systems via embedded historian data | |
CN115510138A (zh) | 数据管理方法、装置、电子设备和可读存储介质 | |
US7930261B2 (en) | Historians embedded in industrial units | |
US9600389B2 (en) | Generating performance and capacity statistics | |
EP1906328B1 (en) | Conditional download of data from embedded historians | |
WO2018147902A1 (en) | Building management system with timeseries processing | |
US20040088141A1 (en) | Automatically identifying replacement times for limited lifetime components | |
EP2763055B1 (en) | A telecommunication method and mobile telecommunication device for providing data to a mobile application | |
US8266273B2 (en) | Realtime process history server | |
CN112559475B (zh) | 数据实时捕获和传输方法及系统 | |
CN103577310A (zh) | 记录软件调试日志的方法以及装置 | |
CN109271435A (zh) | 一种支持断点续传的数据抽取方法及系统 | |
EP1993016B1 (en) | Embedded historians with data aggregator | |
CN104021088B (zh) | 日志存储方法和装置 | |
CN112148779A (zh) | 确定业务指标的方法、装置及存储介质 | |
CN102710458A (zh) | 测试过程的监控方法、测试管理服务器和测试服务器 | |
CN103914034A (zh) | 设备管理装置以及设备管理方法 | |
CN110580253B (zh) | 时序数据组的加载方法、装置、存储介质及电子设备 | |
KR101666440B1 (ko) | 환형큐 기반의 인-메모리 데이터베이스 시스템에서의 데이터 처리방법 | |
CN115080557A (zh) | 数据处理方法、数据查询方法、服务器、设备及存储介质 | |
CN117194165A (zh) | 服务器性能监测方法、装置、计算机设备和存储介质 | |
CN113032214B (zh) | 一种服务器运行状态监控方法、装置和存储介质 | |
CN108388581A (zh) | 一种组态软件中历史数据的读取方法及装置 | |
JP2012226703A (ja) | 仮想環境管理システム | |
Kuznetsov et al. | Wireless Data Collection in Power System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |