CN114358719B - 核电站数字孪生可视化仪控电气操作规程方法与系统 - Google Patents

Abstract

本发明提供了一种核电站数字孪生可视化仪控电气操作规程方法，包括：将规程步骤以数字孪生的虚拟形态与现实设备进行对应的可视化预设，所述可视化预设至少包括：基于设备编码一致性判定的目标设备识别预设；基于目标设备中目标部件识别及排/列位置识别的虚拟标记图像预设；和基于目标部件区域指向判定及对应目标部件预设动作的动作识别预设；其中，所述目标部件至少包括空开、卡件和线头，所述预设动作至少包括拔出/插入卡件，闭合/断开空开和拔出、插入线头；基于虚拟现实设备执行所述可视化预设，完成仪控电气操作规程。本发明还提供了实现上述方法的系统。本发明的方法和系统可有效避免误操作引发核电站的仪控和电气事件。

Description

核电站数字孪生可视化仪控电气操作规程方法与系统

技术领域

本发明涉及控制系统领域，具体涉及一种核电站数字孪生可视化仪控电气操作规程方法与系统。

背景技术

核工业统计数据表明，将近80％的事件是由人的失误引发的。在核电站的仪控和电气事件中，误操作引发的事件后果严重，轻则可能导致停堆停机事件，重则可能引发人身伤亡事故，原因主要是走错间隔误动设备、错误操作。现有的防人因失误技术主要从管理入手，比如采用标识标牌、监护、印刷规程等，都无法有效避免误操作。

发明内容

本发明所要解决的技术问题是针对上述现状提供一种核电站数字孪生可视化仪控电气操作规程方法和系统。具体采用如下技术方案：

本发明的第一个方面提供一种核电站数字孪生可视化仪控电气操作规程方法，包括：

将规程步骤以数字孪生的虚拟形态与现实设备进行对应的可视化预设，所述可视化预设至少包括：

基于设备编码一致性判定的目标设备识别预设；

基于目标设备中目标部件排/列位置识别的虚拟标记图像预设；

和基于目标部件区域指向判定及对应目标部件预设动作的动作识别预设；

其中，所述目标部件至少包括空开、卡件和线头，所述预设动作至少包括拔出/插入卡件，闭合/断开空开和拔出、插入线头；

基于虚拟现实设备执行所述可视化预设，完成仪控电气操作规程。

进一步的，所述基于设备编码一致性判定的目标设备识别预设包括：

将规程步骤中提及的目标设备编码预设为机器视觉算法对设备编码进行判定的标准，当采集的设备编码与目标设备编码一致时，判定该设备为目标设备。

进一步的，基于目标设备中目标部件识别与排/列位置识别的虚拟标记图像预设包括：

将规程步骤中提及的目标部件在对应目标设备中的排/列位置信息预设为机器视觉算法的识别目标，所述排/列位置信息包括目标部件位于对应目标设备上相似部件集群中的第几排或第几列，以及位于该排或该列中的第几个位置。

进一步的，所述虚拟标记图像预设包括：

对应于目标部件的虚拟线框、箭头指示或高亮显示，以及基于规程步骤展示的视频、音频、图片或文字提示信息。

进一步的，基于目标部件区域指向判定及对应目标部件预设动作的动作识别预设包括：

将操作人员手部动作指向区域是否为规程步骤中指定的目标部件所在区域作为动作识别算法的判定标准，当操作人员手部动作指向区域偏离规程步骤中指定的目标部件所在区域时，给出告警信息。

进一步的，基于目标部件区域指向判定及对应目标部件预设动作的动作识别预设还包括：

将规程步骤中的标准操作动作预设为机器视觉动作识别算法的判定标准，用于判定模拟操作正确性，所述标准操作动作至少包括：

a.拔出卡件：拇指、食指、中指捏住，往近处平移；

b.插入卡件：拇指、食指、中指捏住，往远处平移；

c.断开空开：食指伸直朝下，往下平移；

d.闭合空开：拇指伸直朝上，往上平移；

e.拔出线头：拇指和食指捏住往下平移；

f.插入线头：拇指和食指捏住往上平移。

进一步的，基于目标部件区域指向判定及对应目标部件预设动作的动作识别预设包括：

提醒操作者在模拟操作手势框内进行模拟操作，对模拟操作手势进行判定，若判定模拟操作合格，提醒进行正式操作；

以及，通过手势框内的手势与动作方向判定正式操作动作是否合规。

进一步的，所述可视化预设还包括：

场景引导预设，具体包括基于操作现场路径及目标设备位置信息生成虚拟路径指示信息。

进一步的，所述可视化预设还包括：

结果判定预设，具体包括将按规程步骤中的标准操作动作操作后的设备部件状态预设为机器视觉识别算法的判定标准，当采集的设备部件状态与预设的按规程步骤中的标准操作动作操作后的设备部件状态一致时，判定操作结果正确。

本发明的第二个方面还提供一种核电站数字孪生可视化仪控电气操作规程系统，包括：

可佩戴式虚拟现实设备，其至少配置有通信单元、图像采集单元和显示单元，所述通信单元用于与服务器通信进行数据传输，所述图像采集单元用于采集现实场景图像，所述显示单元用于在现实场景中叠加显示虚拟图像；

以及服务器，其配置有多个功能单元模块，用于与所述可佩戴式虚拟现实设备交互，实现上述第一个方面所述的方法。

本发明的有益效果如下：

本发明的方法基于虚拟现实融合技术，将标识标牌、监护、规程等管理手段植入虚拟系统进行可视化预设，再通过虚实融合，在虚拟世界中指导现实世界的操作，可避免在错误的设备上进行操作，也可避免在正确的设备上进行错误的操作。同时，这一方法经济效益和社会效益显著，使用这种方法不再需要监护人员，节省一半人工，还可以降低辐射剂量，减少核电站放射性对人体的损害，为核电建设在社会舆论上加分。更为可贵的是，这一方法还可以广泛应用于化工、火电、冶金、工贸等其他行业，也不仅仅限于仪控与电气操作。

附图说明

图1为本发明的核电站数字孪生可视化仪控电气操作规程方法流程示意图。

图2为本发明实施例中基于动作识别预设进行动作判定的示意图。

具体实施方式

为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。

参考附图1，本发明一个示出性实施例中，一种核电站数字孪生可视化仪控电气操作规程方法，包括如下流程：

首先，将规程步骤以数字孪生的虚拟形态与现实设备进行对应的可视化预设。具体包括如下预设步骤：

S101、基于设备编码一致性判定的目标设备识别预设。

此预设中，将规程步骤中提及的目标设备编码预设为机器视觉算法对设备编码进行判定的标准，当采集的设备编码与目标设备编码一致时，判定该设备为目标设备。当采集的设备编码与目标设备编码不一致时，系统提醒出错，需重新识别。

实际中，目标设备编码可以是二维码或条形码等编码形式，每个设备对应唯一的编码。由于操作现场的设备如电控柜等外型相似度较高，通过编码进行目标设备识别，可有效防止因操作错误设备导致意外。

S102、基于目标设备中目标部件排/列位置识别的虚拟标记图像预设。

此预设中，将规程步骤中提及的目标部件在对应目标设备中的排/列位置信息预设为机器视觉算法的识别目标，其中排/列位置信息包括目标部件位于对应目标设备中的第几排或第几列，以及位于该排或该列中的第几个位置。

而虚拟标记图像预设包括：对应于目标部件的虚拟线框、箭头指示或高亮显示，以及基于规程步骤展示的视频、音频、图片或文字提示信息等。

核电站电控柜中，常见的目标部件较为统一，一般包括空开、卡件和线头等，其相应的操作动作也较为单一，包括拔出/插入卡件，闭合/断开空开和拔出、插入线头等。

由于目标设备如电控柜中空开、卡件和线头均是分排或分列整齐布设，所以目标部件位置信息可以通过位于第几排或第几列，以及位于该排或该列中的第几个位置来进行定位，从而大大降低了识别定位的难度，简化了本步中的预设及后续操作的实现方法。

S103、基于目标部件区域指向判定及对应目标部件预设动作的动作识别预设。

此预设中，将操作人员手部动作指向区域是否为规程步骤中指定的目标部件所在区域作为动作识别算法的判定标准，当操作人员手部动作指向区域偏离规程步骤中指定的目标部件所在区域时，给出告警信息。

进一步的，还可将规程步骤中的标准操作动作预设为机器视觉动作识别算法的判定标准，用于判定模拟操作正确性。规程步骤中规定的标准操作动作一般包括：

a.拔出卡件：拇指、食指、中指捏住，往近处平移；

b.插入卡件：拇指、食指、中指捏住，往远处平移；

c.断开空开：食指伸直朝下，往下平移；

d.闭合空开：拇指伸直朝上，往上平移；

e.拔出线头：拇指和食指捏住往下平移；

f.插入线头：拇指和食指捏住往上平移。

参见附图2，在一种示出实施方案中，基于目标部件区域指向判定及对应目标部件预设动作的动作识别预设包括：

提醒操作者在模拟操作手势框内进行模拟操作，对模拟操作手势进行判定，若判定模拟操作合格，提醒进行正式操作；

以及，通过手势框内的手势与动作方向判定正式操作动作是否合规。

作为进一步优选的实施方案，本发明实施例中，上述的可视化预设还可进一步配置场景引导预设。

此预设中，可基于操作现场路径及目标设备位置信息生成虚拟路径指示信息。由于操作现场的目标设备部署、人员行走路径及出入口均是固定的，所以可以根据已知路径及设备布置信息成虚拟路径指示信息，在操作人员位于出入口时即可进行展示，从而引导操作人员到底规程步骤指定的目标设备前。

作为进一步优选的实施方案，本发明实施例中，上述的可视化预设还可进一步配置结果判定预设。

此预设中，将按规程步骤中的标准操作动作操作后的设备部件状态预设为机器视觉识别算法的判定标准，当采集的设备部件状态与预设的按规程步骤中的标准操作动作操作后的设备部件状态一致时，判定操作结果正确。

如前所述，由于核电站目标设备如电控柜中的目标部件较为简单统一(如空开、卡件和线头)，且各部件的布设较为整齐(分排或分列整齐布设)，且操作前后的状态较为单一(如卡件、线头被拔出/插入，空开闭合/断开)。因此，通过简单的图像对比即可实现对部件状态的识别和判定，进而达成可实现的结果判定预设。

基于上述可视化预设，通过虚拟现实设备如AR眼镜与服务器的数据交互，以及与操作人员的信息交互，即可完成仪控电气操作规程。

为实现上述方法，本发明的第二个示出性实施例还提供一种核电站数字孪生可视化仪控电气操作规程系统，包括：

可佩戴式虚拟现实设备，其至少配置有通信单元、图像采集单元和显示单元，其中通信单元用于与服务器通信进行数据传输，图像采集单元用于采集现实场景图像，显示单元用于在现实场景中叠加显示虚拟图像；

以及服务器，其配置有多个功能单元模块，用于与所述可佩戴式虚拟现实设备交互，实现上述第一个方面所述的方法。

上述的可佩戴式虚拟现实设备优选为AR眼镜，其通信单元为蓝牙、wifi或4G、5G通信模块，图像采集单元为配置于眼镜上的摄像头。服务器为现场服务器或云端服务器，通过配置有多个功能单元模块的软件实现其存储或数据处理功能。

下面结合示出性实例对服务器配置及仪控电气操作规程的完成步骤进行进一步说明。

服务器上配置有如下功能单元，通过与AR眼镜的交互实现各自功能：

三维模型存储单元，用于储存各仪控房间、门、仪表控制柜、柜内卡件、线路等模型，以上模型均为各自不同的独立模型，有独立编号。模型编号与实物编号一致。

规程逻辑演进编辑单元，规程逻辑演进编辑单元用于编辑数字孪生可视化仪控试验规程的逻辑步骤，并将其存储在规程逻辑演进推动单元中。

规程逻辑演进推动单元，规程逻辑演进推动单元用于推动各单元的逻辑演进。当要前往任一个仪表控制柜进行试验操作时，规程逻辑演进推动单元先推动三维模型存储单元用高亮颜色框在三维模型上显示操作目标，并展示虚拟路径提示信息。虚拟现实设备通过摄像头扫描到设备标牌/二维码后，规程逻辑演进推动单元启用机柜判定单元，确认找到了正确设备。

机柜判定单元，机柜判定单元用于判定操作人员是否找到了正确的设备。当要前往任一个仪表控制柜进行试验操作时，规程逻辑演进推动单元启用机柜判定单元，驱动摄像头扫描机柜上的二维码或设备编码，以进一步确认找到了正确设备。

目标锁定算法单元，目标锁定算法单元用于对当下规程步骤的操作目标以高亮颜色框框住。

在规程每一个操作步骤开始时，防错提示单元启动语音提示，即语音提示“别动！集中注意力！”(目标锁定算法单元通过标记目标设备轮廓的高亮框，持续锁定跟踪目标设备)“模拟！按照操作手势模拟需要进行的操作！”(规程步骤演示动画单元演示该规程步骤的操作内容，同时，防误操作算法单元生成虚拟操作手势框，并同步判断操作人员是否在手势框内摆出相应的手势，并按照指示方向移动(参见附图2)，若在一定时长内，仍未检测到手势框内存在相应手势动作，则发出告警，并不再推进到“操作”阶段)“操作！请按照动画指引进行操作！”(规程步骤演示动画单元演示该规程步骤的操作内容)“检查！请检查一下操作的结果符合预期吗？”(按照动画内容进行)。

规程步骤演示动画单元，规程步骤演示动画单元用于在规程逻辑演进推动单元的驱动下，演示每一个规程步骤的操作内容，一般采用动画形式，动画由三维模型的视觉效果与规程文字语音效果组合而成。

防误操作算法单元，防误操作算法单元用于判定人为误操作。如果“模拟”阶段防误操作算法单位在一定时间内，未检测到模拟手势框内存在相应手势动作，则发出告警，并不再推进到“操作”阶段。

防错提示单元，防错提示单元用于对每一个步骤的试验操作进行语音提示，以规范试验操作行为。该规范规定每一个试验操作行为分为四个阶段，分别是“专注”“模拟”“操作”“检查”四个阶段。这四个阶段的语音分别是：

1)“别动！集中注意力！”

2)“模拟！按照操作手势模拟需要进行的操作！”

3)“操作！请按照动画/操作手势指引进行操作！”

4)“检查！请检查一下操作的结果符合预期吗？”

操作结果记录与判定单元，操作结果记录与判定单元用于操作步骤完成后的现状记录以及结果判定。当作业人员说出“已完成操作”后，系统自动进行拍照记录，以便后续出现问题时可以追查核对操作结果的正确性，同时通过图像识别技术判定记录图片中目标设备的状态/样式是否与3D动画模型中设备状态/样式保持一致。

以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (5)

1.一种核电站数字孪生可视化仪控电气操作规程方法，其特征在于，包括：

将规程步骤以数字孪生的虚拟形态与现实设备进行对应的可视化预设，所述可视化预设至少包括：

基于设备编码一致性判定的目标设备识别预设；

基于目标设备中目标部件识别及排/列位置识别的虚拟标记图像预设；

和基于目标部件区域指向判定及对应目标部件预设动作的动作识别预设；

其中，所述目标部件至少包括空开、卡件和线头，所述预设动作至少包括拔出/插入卡件，闭合/断开空开和拔出、插入线头；

基于虚拟现实设备执行所述可视化预设，完成仪控电气操作规程；

所述基于设备编码一致性判定的目标设备识别预设包括：

将规程步骤中提及的目标设备编码预设为机器视觉算法对设备编码进行判定的标准，当采集的设备编码与目标设备编码一致时，判定该设备为目标设备；

基于目标设备中目标部件识别与排/列位置识别的虚拟标记图像预设包括：

将规程步骤中提及的目标部件以及目标部件在对应目标设备中的排/列位置信息预设为机器视觉算法的识别目标，所述排/列位置信息包括目标部件位于对应目标设备上相似部件集群中的第几排或第几列，以及位于该排或该列中的第几个位置；

基于目标部件区域指向判定及对应目标部件预设动作的动作识别预设包括：

将操作人员手部动作指向区域是否为规程步骤中指定的目标部件所在区域作为动作识别算法的判定标准，当操作人员手部动作指向区域偏离规程步骤中指定的目标部件所在区域时，给出告警信息；

基于目标部件区域指向判定及对应目标部件预设动作的动作识别预设还包括：

将规程步骤中的标准操作动作预设为机器视觉动作识别算法的判定标准，用于判定模拟操作正确性，所述标准操作动作至少包括：

a.拔出卡件：拇指、食指、中指捏住，往近处平移；

b.插入卡件：拇指、食指、中指捏住，往远处平移；

c.断开空开：食指伸直朝下，往下平移；

d.闭合空开：拇指伸直朝上，往上平移；

e.拔出线头：拇指和食指捏住往下平移；

f.插入线头：拇指和食指捏住往上平移；

所述可视化预设还包括：

结果判定预设，具体包括将按规程步骤中的标准操作动作操作后的设备部件状态预设为机器视觉识别算法的判定标准，当采集的设备部件状态与预设的按规程步骤中的标准操作动作操作后的设备部件状态一致时，判定操作结果正确。

2.如权利要求1所述的核电站数字孪生可视化仪控电气操作规程方法，其特征在于，所述虚拟标记图像预设包括：

对应于目标部件的虚拟线框、箭头指示或高亮显示，以及基于规程步骤展示的视频、音频、图片或文字提示信息。

3.如权利要求1所述的核电站数字孪生可视化仪控电气操作规程方法，其特征在于，基于目标部件区域指向判定及对应目标部件预设动作的动作识别预设包括：

提醒操作者在模拟操作手势框内进行模拟操作，对模拟操作手势进行判定，若判定模拟操作合格，提醒进行正式操作；若判定模拟操作不合格，提醒再次进行模拟操作

以及，通过手势框内的手势与动作方向判定正式操作动作是否合规。

4.如权利要求1-3任一项所述的核电站数字孪生可视化仪控电气操作规程方法，其特征在于，所述可视化预设还包括：

场景引导预设，具体包括基于操作现场路径及目标设备位置信息生成虚拟路径指示信息。

5.一种核电站数字孪生可视化仪控电气操作规程系统，其特征在于，包括：

可佩戴式虚拟现实设备，其至少配置有通信单元、图像采集单元和显示单元，所述通信单元用于与服务器通信进行数据传输，所述图像采集单元用于采集现实场景图像，所述显示单元用于在现实场景中叠加显示虚拟图像；

以及服务器，其配置有多个功能单元模块，用于与所述可佩戴式虚拟现实设备交互，实现如权利要求1-4任一项所述的方法。

Images