CN113835404B - 一种核电站dcs人机交互操作失误在线检测与诊断方法 - Google Patents

Abstract

本发明公开了一种核电站DCS人机交互操作失误在线检测与诊断方法，该方法基于机器视觉，对DCS操作中的人机交互操作失误事件进行在线监控捕捉与识别诊断。该方法的实现包括以下三个步骤：1)通过人机交互操作失误事件的实时监控得到视频流和高风险、易失误操作窗口；2)通过易失误操作窗口的视觉识别得到其中的人机交互操作信息；3)通过操作信息诊断操作失误的发生。本发明利用机器视觉的方法实现了核电站DCS人机交互操作失误的在线检测与诊断，并及时发出预警，弥补了原有DCS操作事故只能事后分析的不足，保障了核电机组运行安全。

Description

一种核电站DCS人机交互操作失误在线检测与诊断方法

技术领域

本发明涉及核电站安全运行技术领域，尤其涉及一种核电站DCS人机交互操作失误在线检测与诊断方法。

背景技术

作为一个大规模、高度复杂的人机混合系统，核电站的安全运行取决于系统设备、环境和人员三方可靠性。随着科技进步，设备可靠性不断提高，运行环境也大大改善，但对于操作人员这个重要因素，由于生理、心理、社会、精神等个体原因，表现出较大的不确定性，一直是核电站运行安全所严格防范的主要诱因。事实上，从核电产生、发展的几十年来，由人因失误直接或间接导致的核电事故一直有较高的比例。

核电站中，主控室DCS的人机交互操作是控制核电机组安全运行的主要手段。由于人的不确定性，如何减少乃至杜绝人机交互操作中的人因失误一直是核电安全的重要目标。一方面，人因失误问题可以通过人员培训、规章制度、管理手段从主观上部分解决；另一方面，借助技术措施对发生的人机交互操作失误及时预警、降低危害也是一种很好的方案，本发明的目的正是要解决这一问题。

发明内容

本发明的目的在于针对现有核电站防范人机交互操作失误的技术手段不足，提出一种DCS人机交互操作失误在线检测与诊断方法。

本发明的目的是通过以下技术方案来实现的：一种核电站DCS人机交互操作失误在线检测与诊断方法，包括如下三个步骤：

(1)人机交互操作失误事件实时监控：借助硬件设备VGA视频信号采集器，通过主控室操作员主机主控界面视觉输入接口，同步读入DCS操作过程中操作员在主控界面上进行操作的视频流，并利用色彩空间转换、定阈值与滤波等图像分割算法对视频流进行窗口分割提取，得到高风险、易失误操作窗口；

(2)高风险、易失误操作窗口操作信息的视觉识别：根据步骤(1)分割提取得到的高风险、易失误操作窗口，进行人机交互操作失误特征提取，即通过灰度转换、边界跟踪算法、基于深度学习的光学字符识别算法等机器视觉的方法，进行高风险、易失误操作界面的操作内容识别，并将识别得到的信息传递给下一步骤；

(3)人机交互过程操作失误事件的诊断：接收步骤(2)传递来的多帧信息，首先判断每个单帧信息中是否有存在操作失误，同时综合多帧逻辑关系信息判断是否有操作过程失误。

进一步地，所述步骤(1)具体包含如下子步骤：

(1.1)人机交互过程的实时视频监控：借助硬件设备VGA视频信号采集器，通过主控室操作员主机主控界面视觉输入接口，同步读入操作过程中操作员在主控界面上进行操作的视频流，将得到的视频流传递并存储到人机交互操作失误诊断主机；

(1.2)高风险、易失误操作窗口的捕获：对(1.1)得到的视频流按频率为10hz截取为帧序列，对每一帧图像通过捕获算法判断是否有高风险、易失误操作窗口出现：如果没有出现则继续子步骤(1.1)，否则利用滤波、寻找轮廓等图像分割算法对视频流进行窗口分割提取，捕获高风险、易失误操作窗口。

进一步地，所述步骤(2)具体包含如下子步骤：

(2.1)高风险、易失误操作窗口类型标志识别：采用基于深度学习的文字识别方法，对子步骤(1.2)得到的高风险、易失误操作窗口进行类型标志识别；

(2.2)高风险、易失误操作窗口操作内容识别：首先采用色域转换和定阈值分割区域等方法提取出高风险、易失误操作窗口中的操作区域，然后采用深度学习算法识别操作区域中当前时刻每一帧的操作内容。

进一步地，所述步骤(3)具体包含如下子步骤：

(3.1)单帧操作失误诊断：结合核电机组的操作规程对子步骤(2.2)得到的每一帧信息分别进行是否操作失误判断，当出现操作失误时，进行预警提示；

(3.2)多帧操作失误诊断：在进行单帧操作失误诊断的同时，结合核电机组的操作规程对子步骤(2.2)得到的连续多帧信息进行完整操作过程的上下文式综合诊断，当出现过程性操作失误时，进行预警提示。

本发明的有益效果是，在核电站主控室的DCS操作过程中，基于机器视觉和深度学习提出了一种可以在线使用的人机交互操作失误在线检测与诊断方法，能够对整个操作过程的人机交互操作失误及时捕捉、识别和预警，弥补了原有核电站人机交互操作失误只能事后分析的不足，保障了核电机组运行安全。

附图说明

图1是本发明的技术路线示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

核电站DCS人机交互操作失误在线检测与诊断借助核电站DCS主控室操作员主机、VGA视频信号采集器和人机交互操作失误诊断主机实现，包括如下三个实施步骤：

(1)人机交互操作失误事件实时监控，通过以下子步骤来实现：

(1.1)人机交互过程的实时视频监控：借助硬件设备VGA视频信号采集器，通过主控室操作员主机主控界面视觉输入接口，同步读入操作过程中操作员在主控界面上进行操作的视频流，将得到的视频流传递并存储到人机交互操作失误诊断主机；

(1.2)高风险、易失误操作窗口的捕获：对(1.1)得到的视频流按频率为10hz截取为帧序列，对每一帧图像通过捕获算法判断是否有高风险、易失误操作窗口出现：如果没有出现则继续子步骤(1.1)，否则利用滤波、寻找轮廓等图像分割算法对视频流进行窗口分割提取，捕获高风险、易失误操作窗口。其中，高风险、易失误操作窗口捕获算法按如下流程实现：

(1.2.1)采用色彩空间转换方法把RGB色彩模式转化为HSV(色调、饱和度、明度)空间，按照高风险、易失误操作窗口的HSV阈值范围(一般为[100,43,46]到[124,255,255])来判断是否有高风险、易失误操作窗口。如果没有识别到则继续进行(1.1)，否则进行(1.2.2)；

(1.2.2)采用中值滤波方法来消除孤立的噪声点，得到高风险、易失误操作窗口的大体位置；转(1.2.3)；

(1.2.3)采用寻找轮廓算法(findContours)对上述高风险、易失误操作窗口进行外框线勾勒，算法原理是确定二值图像边界的围绕关系，即确定外边界、孔边界以及它们的层次关系。这些边界和原图的区域有一一对应关系(外边界对应像素值为1的连通区域，孔边界对应像素值为0的区域)，因此可以用边界来表示原图，即完成了对高风险、易失误操作窗口边界的查找与勾勒。转(1.2.4)；

(1.2.4)按照上述得到的轮廓即位置等信息，分割提取得到高风险、易失误操作窗口。转步骤(2)。

(2)高风险、易失误操作窗口操作信息的视觉识别，根据步骤(1)分割提取得到的高风险、易失误操作窗口，通过以下子步骤来实现：

(2.1)高风险、易失误操作窗口类型标志识别：采用基于深度学习的文字识别方法，对子步骤(1.2)得到的高风险、易失误操作窗口进行类型标志识别。其算法流程如下：

(2.1.1)首先进行图片布局分析，通过一种混合的基于制表位检测的页面布局分析方法，将图像的表格、文本、图片等内容进行区分，对高风险、易失误操作窗口类型标志部分进行区分；转(2.1.2)；

(2.1.2)对高风险、易失误操作窗口类型标志部分的字符间的间隔进行粗略的切分，得到大部分的字符，同时也有粘连字符或者错误切分的字符。然后进行第一次字符识别，通过字符区域类型判定，根据判定结果对比核电站典型过程字符库识别字符。根据识别出来的字符，进行粘连字符的分割，同时把错误分割的字符合并，完成字符的精细切分，得到每一帧高风险、易失误操作窗口的类型标志；转(2.1.3)；

(2.1.3)结合多帧高风险、易失误操作窗口类型标志信息，通过机器学习中的投票法方法，纠正其中由于界面上活动图标遮挡等噪声产生的错误识别，最终得到当前高风险、易失误操作窗口类型标志信息。转(2.2)。

(2.2)高风险、易失误操作窗口操作内容识别：首先采用色域转换和定阈值分割区域等方法提取出高风险、易失误操作窗口中的操作区域，然后采用深度学习算法识别操作区域中当前时刻每一帧的操作内容。具体做法是：

(2.2.1)采用色彩空间转换方法把RGB色彩模式转化为HSV(色调、饱和度、明度)空间，按照操作区域的HSV阈值范围(一般为[160,160,160]到[170,170,170])提取操作区域；

(2.2.2)采用深度学习的方法对操作区域基本信息进行捕捉，包括当前操作状态(自动、手动)、当前运行参数(压力、温度、液位等)、当前控制模式(单回路、串级、内给定、外给定、PID等)、当前操作动作(开、关、增大、减小、控制模式切换等)，等等，并将信息按对应格式传递给步骤(3)。

(3)人机交互过程操作失误事件的诊断，根据步骤(2)高风险、易失误操作窗口的操作内容识别结果，通过以下子步骤来实现：

(3.1)单帧操作失误诊断：结合核电机组的操作规程对子步骤(2.2)得到的每一帧信息分别进行是否操作失误判断，当出现操作失误时，进行预警提示。是否操作失误按以下方法判断：(3.1.1)随着捕获高风险、易失误操作窗口操作区域的进行，按顺序依次读入操作区域及对应的操作信息；转(3.1.2)；

(3.1.2)调取预设的核电机组操作规程、准则、干预定值，进行单帧性一致性分析与评估，得到操作诊断结果。例如，在蒸汽发生器液位调节过程中，给水阀门的单次开启增量或关闭减量不得大于某一阈值(防止液位短时间内剧烈波动)。这时，根据(2.2.2)得到的当前阀门开度就可以判断操作人员的操作是否超出了阈值，进而确定超出的严重程度，并按情况决定处理措施(如警告、严重警告、请求干预，等)。

(3.2)多帧操作失误诊断：在进行单帧操作失误诊断的同时，结合核电机组的操作规程对子步骤(2.2)得到的连续多帧信息进行完整操作过程的上下文式综合诊断，当出现过程性操作失误时，进行预警提示。具体方案如下：

(3.2.1)一些较为复杂的组合式操作失误，往往难以在单帧信息中明显地表现出来，此时需要对连续多帧图像进行分析判断，通过操作过程的上下文关联才能确定是否存在操作失误；(3.2.2)根据(2.2)对每一帧的操作内容的识别结果，在(3.1)单帧操作诊断的基础上，根据核电机组多年积累的、具有一定操作失误风险的组合操作过程库，通过特征提取和过程包络分析，完成多帧操作诊断。

Claims (4)

1.一种核电站DCS人机交互操作失误在线检测与诊断方法，所述人机交互操作失误的在线检测与诊断借助核电站DCS主控室操作员主机、VGA视频信号采集器和人机交互操作失误诊断主机得以实现，其特征在于，包括如下三个步骤：

(1)人机交互操作失误事件实时监控：借助硬件设备VGA视频信号采集器，通过主控室操作员主机主控界面视觉输入接口，同步读入DCS操作过程中操作员在主控界面上进行操作的视频流，并利用色彩空间转换、定阈值与滤波的图像分割算法对视频流进行窗口分割提取，得到高风险、易失误操作窗口；

(2)高风险、易失误操作窗口操作信息的视觉识别：根据步骤(1)分割提取得到的高风险、易失误操作窗口，进行人机交互操作失误特征提取，即通过灰度转换、边界跟踪算法、基于深度学习的光学字符识别算法的机器视觉的方法，进行高风险、易失误操作界面的操作内容识别，并将识别得到的信息传递给下一步骤；

(3)人机交互过程操作失误事件的诊断：接收步骤(2)传递来的多帧信息，首先判断每个单帧信息中是否有存在操作失误，同时综合多帧逻辑关系信息判断是否有操作过程失误。

2.根据权利要求1所述的核电站DCS人机交互操作失误在线检测与诊断方法，其特征在于，所述步骤(1)的人机交互操作失误事件实时监控，通过以下子步骤来实现：

(1.1)人机交互过程的实时视频监控：借助硬件设备VGA视频信号采集器，通过主控室操作员主机主控界面视觉输入接口，同步读入操作过程中操作员在主控界面上进行操作的视频流，将得到的视频流传递并存储到人机交互操作失误诊断主机；

(1.2)高风险、易失误操作窗口的捕获：对(1.1)得到的视频流按频率为10hz截取为帧序列，对每一帧图像通过捕获算法判断是否有高风险、易失误操作窗口出现：如果没有出现则继续子步骤(1.1)，否则利用滤波、寻找轮廓的图像分割算法对视频流进行窗口分割提取，捕获高风险、易失误操作窗口。

3.根据权利要求1所述的核电站DCS人机交互操作失误在线检测与诊断方法，其特征在于，所述步骤(2)的高风险、易失误操作窗口操作信息的视觉识别，通过以下子步骤来实现：

(2.1)高风险、易失误操作窗口类型标志识别：采用基于深度学习的文字识别方法，对子步骤(1.2)得到的高风险、易失误操作窗口进行类型标志识别；

(2.2)高风险、易失误操作窗口操作内容识别：首先采用色域转换和定阈值分割区域的方法提取出高风险、易失误操作窗口中的操作区域，然后采用深度学习算法识别操作区域中当前时刻每一帧的操作内容。

4.根据权利要求1所述的核电站DCS人机交互操作失误在线检测与诊断方法，其特征在于，所述步骤(3)的人机交互过程操作失误事件的诊断，通过以下子步骤来实现：

(3.1)单帧操作失误诊断：结合核电机组的操作规程对子步骤(2.2)得到的每一帧信息分别进行是否操作失误判断，当出现操作失误时，进行预警提示；

(3.2)多帧操作失误诊断：在进行单帧操作失误诊断的同时，结合核电机组的操作规程对子步骤(2.2)得到的连续多帧信息进行完整操作过程的上下文式综合诊断，当出现过程性操作失误时，进行预警提示。