CN114387123A - 数据采集管理方法 - Google Patents

Abstract

本公开属于核电技术领域，具体涉及一种数据采集管理方法。公开的PI数据采集管理方法，用户通过前端操作界面向服务器发出请求，服务器通过消息发布、订阅机制，与电厂侧测点PI测点控制模块进行通信，完成PI数据的采集以及上传至核电工业互联网平台。用户可通过前端操作界面根据电厂选择，连接不同的电厂，以实现各个电厂的PI测点的增、删、查以及测点主数据的管理。

Description

数据采集管理方法

技术领域

本发明属于核电技术领域，具体涉及一种数据采集管理方法。

背景技术

相关技术中，电力系统的PI实时/历史数据库管理系统正在被广泛的应用，将PI实时/历史数据库系统与其它系统(包括SCADA/EMS、变电站自动化系统、电能量采集系统、配变监测系统、负荷控制系统、变电站设备在线监测系统等)进行集成，实现统一的实时数据管理平台。但是，发电厂内的传统管理系统服务单一、信息单向，现有的运行管理软件多、各系统间需依靠人工建立相关联系，造成工作流程不顺畅，不能保证工作流程闭环，无提示、预警功能，效率较低、易疏漏，不能自动实现对运行管理“引导、纠偏、评价”的功能。

在核电工业互联网平台的建设过程中，要维持设备和生产的高水平和高效率运转，需要及时收集生产各环节的现场数据、故障信息，通过监控关键过程的运行数据，跟踪和分析生产过程中各工序的关键过程的控制参数与目标值的偏差、分析过程能力的趋势，找出影响关键过程控制数的根本原因，从根本上提高产品质量和生产率。

PI系统数据作为核电工业最重要的数据之一，其采集和上传至是一项核电工业互联网平台建设的重要工作，由于待注册至核电工业互联网平台的PI系统测点规模较大，需接入平台的PI测点数据量又较大，因此，有必要根据数据接入需求，开发一款满足电厂PI数据采集和上传至核电工业互联网平台的管理系统。

发明内容

为克服相关技术中存在的问题，提供了一种数据采集管理方法。

根据本公开实施例的一方面，提供一种数据采集管理方法，所述方法应用于核电工业互联网平台，所述方法包括：

获取被指定的PI测点信息，判断被指定的PI测点信息是否为已注册的PI测点信息；

若确定被指定的PI测点信息不是已注册的PI测点信息集合，则针对该PI测点信息进行注册，并将注册信息发布至电厂侧数据库，使得电厂侧数据库订阅到该注册信息后，能够针对该PI测点信息进行数据采集，使得该PI测点信息成为已注册的PI测点信息；

若确定被指定的PI测点信息为已注册的PI测点信息，则根据被指定的PI测点信息生成PI数据采集指令发送至电厂侧数据库，所述PI数据采集指令用于指示电厂侧数据库采集被指定的PI测点的数据。

在一种可能的实现方式中，所述方法还包括：

监测电厂侧数据库各PI数据采集相关的服务进程，进行进程状态监控；

在检测到有PI数据采集相关的服务进程发生异常时，向电厂侧数据库发送重启指令以重启该服务进程，并将该服务进程发生异常的时间、重启时间记录到日志文件，并且将该日志文件发送至关联人员的账户中，该日志文件的发送形式包括短信、电子邮件或即时通讯中的任意一种或多种。

在一种可能的实现方式中，所述方法还包括：

在检测到有新的PI测点信息被注册时，将被注册的PI测点信息加入到已注册PI测点信息集合中，已注册PI测点信息集合包括一个或多个已经注册的PI测点信息集合；

在检测到PI测点信息集合中的PI测点信息被删除时，将被删除的PI测点信息从PI测点信息集合中移除；

根据检索指令，从当前存储的已注册PI测点信息集合中获取该检索和指令相匹配的PI测点信息。

在一种可能的实现方式中，所述方法还包括：

接收电厂侧数据库返回的异常信息，所述异常信息用于描述采集PI测点数据发生的异常情况；

根据所述异常信息生成PI数据补充采集指令发送至电厂侧数据库，所述PI数据补充采集指令用于指示电厂侧数据库补充采集所述异常信息对应的PI测点在预设时段的数据。

根据本公开实施例的一方面，提供一种数据采集管理方法，所述方法应用于电厂侧数据库，所述方法包括：

获取PI数据采集指令；

基于事件触发方式对PI数据采集指令对应的PI测点的PI数据变化事件进行监听，在检测到PI测点数据发生变化时，采集监听的PI测点的数据；

在检测到采集监听的PI测点的数据发生异常时，向于核电工业互联网平台返回异常信息，并将异常信息记录到日志文件中。

本公开的有益效果在于：本公开的PI数据采集管理方法，用户通过前端操作界面向服务器发出请求，服务器通过消息发布、订阅机制，与电厂侧测点PI测点控制模块进行通信，完成PI数据的采集以及上传至核电工业互联网平台。用户可通过前端操作界面根据电厂选择，连接不同的电厂，以实现各个电厂的PI测点的增、删、查以及测点主数据的管理。

附图说明

图1是根据一示例性实施例示出的一种数据采集管理方法的流程图。

图2是根据另一示例性实施例示出的一种数据采集管理方法的流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

图1是根据一示例性实施例示出的一种数据采集管理方法的流程图。该方法可以由终端设备执行，例如，终端设备可以为服务器、台式电脑、笔记本电脑、平板电脑等，本公开实施例对终端设备的类型不做限定。该方法应用于如图1所示，该方法可以包括：

步骤100，获取被指定的PI测点信息，判断被指定的PI测点信息是否为已注册的PI测点信息；

步骤101，若确定被指定的PI测点信息不是已注册的PI测点信息集合，则针对该PI测点信息进行注册，并将注册信息发布至电厂侧数据库，使得电厂侧数据库订阅到该注册信息后，能够针对该PI测点信息进行数据采集，使得该PI测点信息成为已注册的PI测点信息；

步骤102，若确定被指定的PI测点信息为已注册的PI测点信息，则根据被指定的PI测点信息生成PI数据采集指令发送至电厂侧数据库，所述PI数据采集指令用于指示电厂侧数据库采集被指定的PI测点的数据。

在一种可能的实现方式中，所述方法还包括：

步骤200，监测电厂侧数据库各PI数据采集相关的服务进程，进行进程状态监控；

步骤201，在检测到有PI数据采集相关的服务进程发生异常时，向电厂侧数据库发送重启指令以重启该服务进程，并将该服务进程发生异常的时间、重启时间记录到日志文件，并且将该日志文件发送至关联人员的账户中，该日志文件的发送形式包括短信、电子邮件或即时通讯中的任意一种或多种。

在一种可能的实现方式中，所述方法还包括：

步骤300，在检测到有新的PI测点信息被注册时，将被注册的PI测点信息加入到已注册PI测点信息集合中，已注册PI测点信息集合包括一个或多个已经注册的PI测点信息集合；

步骤301，在检测到PI测点信息集合中的PI测点信息被删除时，将被删除的PI测点信息从PI测点信息集合中移除；

步骤302，根据检索指令，从当前存储的已注册PI测点信息集合中获取该检索和指令相匹配的PI测点信息。

在一种可能的实现方式中，所述方法还包括：

步骤400，接收电厂侧数据库返回的异常信息，所述异常信息用于描述采集PI测点数据发生的异常情况；

步骤401，根据所述异常信息生成PI数据补充采集指令发送至电厂侧数据库，所述PI数据补充采集指令用于指示电厂侧数据库补充采集所述异常信息对应的PI测点在预设时段的数据。

图2是根据另一示例性实施例示出的一种数据采集管理方法的流程图。如图2所示，该方法包括：

步骤500，获取PI数据采集指令；

步骤501，基于事件触发方式对PI数据采集指令对应的PI测点的PI数据变化事件进行监听，在检测到PI测点数据发生变化时，采集监听的PI测点的数据；

步骤502，在检测到采集监听的PI测点的数据发生异常时，向于核电工业互联网平台返回异常信息，并将异常信息记录到日志文件中。

在一种应用示例中，在核电工业互联网平台采用上述方法进行如下操作。

测点管理模块部署在核电工业互联网平台中，包括测点注册单元、测点删除单元、测点检索单元以及测点判断单元；所述测点注册单元、测点删除单元、测点检索单元以及测点判断单元分别与对应的MySQL数据库以及Redis数据库通信连接，用于根据用户指令进行测点注册判断、测点注册、删除以及信息检索。

测点注册单元是将待接入数据至核电工业互联网平台的测点在平台进行注册，主要是注册测点编码、测点描述、测点单位、测点量程等信息，测点注册后，核电工业互联网平台的时序数据库就会创建相应的测点，测点数据之后才能接入，若注册失败，返回错误信息并且记录到日志文件。测点注册单元还支持批量注册，可以将测点注册信息填写至模板文件表格中，然后将表格导入数据库中。可以在测点管理界面中，先下载测点注册模板文件，将需要注册的PI数据采集测点信息填写至模板中，再将注册文件导入，完成PI数据采集测点注册。如果注册失败，返回错误信息并记录到日志文件中。

测点删除单元是删除注册的测点，删除后该测点将不再接入数据至核电工业互联网平台中，从已经注册成功的PI数据采集测点列表中，根据用户指令选择删除已经注册成功的PI数据采集测点，支持根据用户指令，一次删除一个或多个测点，若删除失败，返回错误信息并且记录到日志文件。

测点检索单元的作用是对当前注册在核电工业互联网平台中的测点信息进行检索。可以根据用户输入信息，筛选出包含输入字符串的测点名称，支持模糊查询。

其中，所述测点判断单元用于判断指定数据采集测点是否已在测点控制模块中进行注册。

在一种可能的实现方式中，若指定的PI测点位于PI数据采集测点列表中，则判断该PI测点已注册，可根据用户指令执行后续操作；当测点管理模块收到用户发送的采集指令后，通过测点判断单元判断该本次用户采集指令中所涉及的测点是否为已注册测点，若判断为已注册测点，则将该信息通过Redis数据库发布该信息，PI数据采集模块会订阅Redis中的消息，以根据用户采集指令进行数据采集；若判断包括未注册测点，则转入测点注册单元进行新测点的注册，并将测点注册成功信息通过Redsi数据库进行发布，PI数据采集模块订阅到该信息后，就可以进行数据采集。

本实施例中，所述数据采集模块用来从PI系统中采集PI数据。数据采集模块包含两种数据采集功能，分别是：1)基于事件触发方式的采集功能；2)数据补采功能。对应的包括事件采集单元以及补充采集单元，事件采集单元以及补充采集单元(采集程序)部署在电厂侧接口机中，与对应的PI系统通信连接。基于事件触发方式的采集程序会对PI数据变化事件进行监听，一旦测点数据发生变化，就会采集相应的测点数据。补充采集单元(数据补采程序)平时一般不工作，当用户发现有数据丢失的情况时，会使用该功能将对应测点在相应时间范围内的数据补采至平台中。本实施例中，基于事件触发方式的采集程序只采集变化数据，具体应用时，用户根据需求，在测点管理模块界面下发对应的采集指令，采集指令会发布至Redis中，基于事件触发方式的采集程序会订阅相应的消息，进行解析，然后对相应的测点实时变化数据进行采集，如果采集异常，返回异常信息并且记录到日志文件；。数据补采程序是对事件触发采集方式的一种补充，具体应用时，当用户发现某段事件范围内的某个测点数据丢失时，用户会在测点管理模块界面选择某个测点，选择采集开始时间以及采集结束时间，然后把指令发布至Redis中，数据补采程序会定期订阅相应的主题消息，当发现需要进行数据补采时，会立刻启动补采程序采集相应的数据，如果采集异常，返回异常信息并且记录到日志文件。

PI数据采集完毕后，可通过PI数据上传模块将采集的PI测点数据上传至核电工业互联网平台；PI数据采集模块所采集的所有数据首先会进入接口机本地的消息队列中，消息队列的作用主要是进行数据缓存，避免采集程序采集效率太大、数据量太大而导致PI数据上传进程不能及时进行处理情况的发生，此外，还可以将两者的功能进行解耦。所述PI数据上传模块与消息队列通信连接，PI数据上传模块监听本地消息队列，一旦有数据进入消息队列，就会及时进行消费，然后将取出的PI数据通过MQTT协议上传至核电工业互联网平台中。

在一种可能的实现方式中，系统还包括守护模块，所述守护模块分别与所述PI数据采集模块、PI数据上传模块通信连接，用于监测电厂侧各功能模块进程的运行情况以及异常处理。守护模块用于守护电厂侧所有PI数据采集相关服务进程，进行进程状态监控，当任何一个服务进程发生进程退出、进程异常弹窗等异常时，守护进程一旦发现，会立刻重启该服务进程，同时记录进程发生异常的时间，与重启时间，记录到日志文件，并且将异常信息以邮件形式发送给运维人员。

作为一优选方案，系统还包括进程和资源监控模块，所述进程和资源监控模块与电厂侧Redis数据库通信连接，用于监控PI接口机的CPU、内存、磁盘等资源信息，还用于监控电厂侧服务进程的CPU、内存、硬盘使用信息以及磁盘IO等。电厂侧接口机上的CPU、内存以及磁盘使用等信息会定期通过接口机上的接口机资源采集程序采集并写入Redis数据库表中，同样，接口机上的PI数据采集程序、PI数据上传程序、PI数据补采程序的进程状态、CPU使用率、内存使用大小、进程连接数信息也会通过接口机资源采集程序采集并写入Redis数据库表中。进程和资源监控模块定期获取Redis数据库中相应表的信息，就能够获取接口机本地资源以及关键进程信息。进程和资源监控模块会定期获取并分析接口机资源、关键进程的状态、资源使用情况，如果出现异常，比如：接口机内存使用达到90％，磁盘占用率达到90％等情况，或者某个进程退出、内存使用达到5GB等情况，进程和资源监控模块会进行异常告警，告警信息会在数据采集管理系统界面进行闪烁提示，并存储至数据库中，此外，告警信息还会以邮件的形式发送给运维人员。

本实施例中，进程和资源监控根据接口机运行情况，监控接口机资源信息以及关键进程信息，将CPU、内存、磁盘IO数据实时写入Redis数据库相应表中，供外部页面展示使用，同时，将电厂侧服务进程的CPU、内存、硬盘使用信息以及磁盘IO等信息也写入Redis数据库表中，一旦发现接口机资源使用异常以及进程异常，将会进行告警并发送邮件给相关运维人员。

本实施例中，为保证各模块服务正常运行，PI数据事件采集程序、PI数据补采单元、PI数据上传程序分别会定期写入心跳信息至Redis数据库的Heartbeat表中，供守护模块监听。守护模块通过监听Redis数据库Heartbeat表，进行进程状态监控，当任何一个服务发生异常时，结束该服务，并通过脚本程序重启该服务进程，记录服务发生异常的时间、重启时间，并记录到日志文件中，并将异常信息以邮件的形式发送给运维人员进行进程状态、进程内存使用、CPU使用、连接数使用等参数。

1)用户通过测点管理界面对需进行PI数据采集的测点进行注册，PI测点注册单元会将该测点信息注册至核电工业互联网平台中；2)注册完成后，用户选择部分测点进行PI数据采集；3)PI数据采集指令会通过测点管理后台程序发送给电厂侧的Redis数据库；4)PI数据事件采集程序订阅Redis中数据采集主题，当发现订阅到新的消息时，会从消息中提取测点数据采集相关信息，同时更新PI数据事件程序维护的PI数据事件采集列表，根据采集列表中的测点信息，依次从PI系统中采集测点数据。5)PI数据事件采集程序将采集到的测点数据处理成消息队列要求的格式，发送至接口机本地消息队列；6)PI数据上传程序监听接口机本地消息队列，一旦有数据进来，就及时进行消费处理；7)PI数据上传程序将取到的数据转换成MQTT报文结构，通过MQTT报文将PI数据上传至核电工业互联网平台的MQTT服务器中；8)核电工业互联网平台侧的消费程序会监控MQTT服务器的数据情况，及时将其消费处理，然后存储至核电工业互联网平台的时序数据库中。9)用户在使用核电工业互联网平台数据时，如果发现数据有缺失，便会通过数据补采工具启动数据补采流程。10)守护模块定期轮询Redis数据库表中相应程序的状态信息，一旦发现有程序发生异常，便会重启该服务进程。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (5)

1.一种数据采集管理方法，其特征在于，所述方法应用于核电工业互联网平台，所述方法包括：

获取被指定的PI测点信息，判断被指定的PI测点信息是否为已注册的PI测点信息；

若确定被指定的PI测点信息不是已注册的PI测点信息集合，则针对该PI测点信息进行注册，并将注册信息发布至电厂侧数据库，使得电厂侧数据库订阅到该注册信息后，能够针对该PI测点信息进行数据采集，使得该PI测点信息成为已注册的PI测点信息；

若确定被指定的PI测点信息为已注册的PI测点信息，则根据被指定的PI测点信息生成PI数据采集指令发送至电厂侧数据库，所述PI数据采集指令用于指示电厂侧数据库采集被指定的PI测点的数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

监测电厂侧数据库各PI数据采集相关的服务进程，进行进程状态监控；

在检测到有PI数据采集相关的服务进程发生异常时，向电厂侧数据库发送重启指令以重启该服务进程，并将该服务进程发生异常的时间、重启时间记录到日志文件，并且将该日志文件发送至关联人员的账户中，该日志文件的发送形式包括短信、电子邮件或即时通讯中的任意一种或多种。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在检测到有新的PI测点信息被注册时，将被注册的PI测点信息加入到已注册PI测点信息集合中，已注册PI测点信息集合包括一个或多个已经注册的PI测点信息集合；

在检测到PI测点信息集合中的PI测点信息被删除时，将被删除的PI测点信息从PI测点信息集合中移除；

根据检索指令，从当前存储的已注册PI测点信息集合中获取该检索和指令相匹配的PI测点信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收电厂侧数据库返回的异常信息，所述异常信息用于描述采集PI测点数据发生的异常情况；

根据所述异常信息生成PI数据补充采集指令发送至电厂侧数据库，所述PI数据补充采集指令用于指示电厂侧数据库补充采集所述异常信息对应的PI测点在预设时段的数据。

5.一种数据采集管理方法，其特征在于，所述方法应用于电厂侧数据库，所述方法包括：

获取PI数据采集指令；

基于事件触发方式对PI数据采集指令对应的PI测点的PI数据变化事件进行监听，在检测到PI测点数据发生变化时，采集监听的PI测点的数据；

在检测到采集监听的PI测点的数据发生异常时，向于核电工业互联网平台返回异常信息，并将异常信息记录到日志文件中。

Images