CN109298785A - 一种监测设备的人机联控系统及方法 - Google Patents

Abstract

监测设备的人机联控技术主要是通过人工智能技术对监测设备的操作人员进行人脸识别和行为判别，来识别操作者是否具备资质并判断其是否存在数据造假、操作不规范等行为导致监测数据失真无效。同时通过物联网技术获取监测设备关键状态参数值，判断监测数据的有效性。本系统主要由图像数据采集端，智能分析端和功能输出端几个部分组成。图像数据采集端将实时采集到的视频流和监测数据流汇聚到智能分析端，智能分析端结合人工智能技术和物联网采集数据作出综合研判，功能输出端展现行为分析结果，并通知相关部门作出相应处理。最终实现视频监控中运维动作规范性管理，以及危险性运维动作的提前预警，防止造假作弊行为的发生。

Description

一种监测设备的人机联控系统及方法

技术领域

本发明主要涉及一种监测设备用的人机联控系统及方法，用人工智能和物联网技术来识别操作者是否具备资质并判断其是否存在数据造假、操作不规范等行为，真正实现智能化运维管理。

背景技术

随着视频监控系统的大规模普及，视频监控规模越来越大，采用传统后台人工实时监控视频画面的模式，不仅浪费大量的人力，也达不到足够的准确性，已经远远达不到在线监控系统的要求。同时，随着深度学习等人工智能技术在计算机视觉领域的应用，对监控系统智能化的门槛越来越低，通过对视频图像的实时分析，正确识别视频中运维人员的人脸、身体、行为并与设备状态相结合，已经可以用来检测、判断运维过程中操作人员的合理性和规范性，真正实现智能化运维管理。

基于视频的行为分析作为计算机视觉一个非常重要的子领域，多年来一直是研究的热点问题。人体行为识别分析从低到高可以分为三个层次：姿态识别，动作识别和行为识别。姿态识别是整个行为动作分析的基本手段，可认为是整个行为分析的基础元素。动作可以看作是一组连续姿态的组合序列，根据特定的姿态模型辨识相应的动作。行为识别涉及到复杂的连续动作组合，甚至也涉及到与周围物体设备及环境的互动。因此，行为识别的最终目标是对已采集的视频图像或者实时采集的视频图像中的特定人员进行检测、识别和跟踪，获取该目标的位置、速度、加速度以及目标尺寸等运动参数及外形参数，并进行相关的姿态动作连续性处理和分析，结合目标当前所处的环境及交互操作的外在物体或设备，实现对目标人物的行为动作的深度理解，最终完成针对视频的真正高效智能的行为识别。从算法的角度来看，人机互动行为判断的差异本质上是源于对以下三个问题不同的解决办法，这三个核心问题依次是：1)选取何种特征表达目标人员的行为；2)如何对目标人员进行行为动作的建模；3)如何识别行为动作与设备的交互性。

目前的人机联控技术主要涉及三项技术：人体特征提取、行为建模与人体重识别。人体特征提取是指在视频图像序列中去除不需要的背景和不相干物体，提取出目标人体特征。目前应用最为广泛的人体关键点提取方法为星形骨架算法，这是通过检测运动对象的外部边界点来产生一个星形骨架。根据人体特征，首先求出目标人体边缘所包围区域的重心，然后求出每个边界点距离重心点的距离。这个距离是一个离散函数，其局部极大值即作为极值点。把这些极值点和重心点连接起来，就构成了星形骨架。行为建模方面目前应用比较普遍的模版匹配算法是DTW(动态时间归整)算法。本质上就是在两个运动序列构造的距离矩阵中找出一条最小路径来比较两者间的相似性。构造距离矩阵主要依据是采用关节点信息计算而得。人体关节点及转角信息以向量形式共同构成一帧运动数据，用窗口距离代替单帧距离计算运动姿态间的差异，从而构造得出相应的距离矩阵。人体重识别主要是用于对行为识别的主体人进行连续跟踪，特别实在视频监控领域。通常跟人脸识别技术结合使用，可以比较准确地将视频中目标人员全面地进行标注。在视频监控尤其是跨多个摄像头的视频中，可以确认特定人员的时空轨迹和行为。计算机视觉领域形象地将针对特定目标人员的监控视频检索问题称为人体重识别。

但是，目前背景差分法识别人体轮廓，虽然计算方法比较简单，但是容易受光照及噪声影响，尤其在运动背景场景下识别准确率较低。

虽然DTW距离能较好地判断长度不等的运动序列的相似性，但相似性比较时仍需逐帧计算，计算量大，导致DTW算法的时间复杂度较高，时间复杂度为0(mn)，使检索效率不令人满意。

现有视觉目标跟踪技术只考虑了单摄像头下的人员行为分析，缺少对跨摄像头连续目标的自动跟踪实现，即当被监控人员离开当前摄像头视线后无法确定其去向，所以也无法形成连续性的行为分析。目前主要靠肉眼去分析判断，没有很好地将人脸识别技术、行为分析技术与人体重识别技术结合起来。

发明内容

本发明的监测设备的人机联控系统包括图像数据采集端，智能分析端和功能输出端。图像数据采集端可以是监控摄像头和数据采集仪，将实时采集到的视频流和监测数据流汇聚到智能分析端，智能分析端应用本发明改进的人体特征提取、行为建模与人体重识别等图像处理技术，并结合采集数据作出综合研判，功能输出端主要是展现行为分析结果，并通知相关部门作出相应处理。

本发明涉及一种监测设备的人机联控方法，特别是关联性行为的联控方法，其特征在于：

实时采集待监测的对象的视频流；

将监测数据流汇聚进行人工智能的图像分析；其中，

进行数据集训练与兴趣点标定，从所述视频流中获取若干图像素材，所述若干图像素材用于针对性训练，采集有关数据，作为关联性分析输入条件，对该设备与行为结果的联动关系做相应的训练，作为针对本场景下的分析模型参数；

通过人体特征提取算法保存人体特征，并使用人体重识别技术将该人体特征与人员信息配对绑定；所述人体特征包括手部识别特征；

根据预先训练获得的行为与数据变化的相关性，判断对相关设备的操作过程引起了关联数据指标的异常变化，从而发出相应的提示告警信息。

其中，对设备进行操作行为分析时，始终结合人体重识别获得的人员ID判断授权合法性。

其中，所述监测数据包括监测场景下的设备尺寸、和/或型号、和/或开关状态等特定参数。

其中，可以做针对特定操作兴趣点的标定预处理，作为行为分析的参考点。

其中，每当有人员进入监控区域内时，对所述视频流进行人脸识别检测，判断是否包括授权人员信息，如果是非合法授权人员时，对设备的操作行为判断为非法，发出警告。

其中，对回传的视频并行调用改进的人体重识别算法，自动跨摄像头跟踪运维人员，分析其操作行为，自动完成跨摄像区域对目标人员的连续分析。

本发明还涉及一种执行前面所述方法的人机联控系统，包括图像数据采集端、智能分析端、功能输出端和数据传输单元，其特征在于：

图像数据采集端实时采集待监测的对象的视频流；

数据传输单元将实时采集到的视频流和监测数据流汇聚到智能分析端；

智能分析端将监测数据流汇聚进行分析；其中，

进行数据集训练与兴趣点标定，从所述视频流中获取若干图像素材，所述若干图像素材用于针对性训练，采集有关数据，作为关联性分析输入条件，对该设备与行为结果的联动关系做相应的训练，作为针对本场景下的分析模型参数；

通过人体特征提取算法保存人体特征，并使用人体重识别技术将该人体特征与人员信息配对绑定；所述人体特征包括手部识别特征；

根据预先训练获得的行为与数据变化的相关性，判断对相关设备的操作过程引起了关联数据指标的异常变化，从而通过功能输出端发出相应的提示告警信息。

其中，所述图像数据采集端可以是监控摄像头和/或数据采集仪。

其中，每当有人员进入监控区域内时，智能分析端都对所述视频流进行人脸识别检测，判断是否包括授权人员信息，如果是非合法授权人员时，对设备的操作行为判断为非法，通过功能输出端发出警告。

其中，图像数据采集端可以包括多个监控摄像头，智能分析端可对多个摄像头回传的视频并行调用所述人体重识别算法，自动跨摄像头跟踪目标人员，完成跨摄像区域对目标人员的连续分析。

本专利的目的在于克服现有技术的不足，针对行业设备运维操作中实时视频监控，在单画面中解决运维人员行为识别等技术难点，准确判断运维操作的合规性，实现对运维现场人机交互的实时监控预警。

本专利改进和优化行为识别算法，在原有的人体骨架算法和人体模版匹配算法基础上，增加了人脸识别和手部特征匹配等其他算法，并结合设备上报数据特征进行匹配，进行综合的图像与数据相结合的训练学习，使得跟踪过程中能够对目标尺度进行适应。

本发明在多画面监控情况下，结合人脸识别和人体重识别技术，连续跟踪相关人员在跨摄像头下的运维操作监控，实现多维度连续跟踪和综合判断，提高操作规范性的判断准确率，降低监控识别盲区和判断出错率。

附图说明

图1DTW动态时间归整

图2人脸识别和人体重识别演示

图3违规行为识别演示

图4行为与数据关联性分析识别演示

图5跨摄像头人体重识别及行为识别演示

具体实施方式

监测设备的人机联控技术包括图像数据采集端，智能分析端和功能输出端。图像数据采集端主要是监控摄像头和数据采集仪，将实时采集到的视频流和监测数据流汇聚到智能分析端，智能分析端主要应用我们改进的人体特征提取、行为建模与人体重识别等图像处理技术，并结合采集数据作出综合研判，功能输出端主要是展现行为分析结果，并通知相关部门作出相应处理。

当然，图像数据采集端不仅限于监控摄像头，还可以是目前任何的视频、图像采集手段，包括但不限于照相机、手机等。

1.以下对本专利实施例做进一步详述。

(1)数据集训练与兴趣点标定。从现场获取若干图像素材用于针对性训练，尤其是适应该场景下设备尺寸型号开关状态等特定参数，必要的时候必须做针对特定操作兴趣点的标定预处理，作为行为分析的参考点。另外需要采集设备采数据，作为关联性分析输入条件，对该设备与行为结果的联动关系做一些相应的训练，作为最终针对本场景下的分析模型参数。

(2)如图2所示，运维现场监控摄像头一般位于站房室内高处，监控整个站房内运维人员等操作行为。每当有人员进入监控区域内，智能分析端通过后台对视频流进行人脸识别检测是否包含授权人员信息。在未获得合法授权人员对人脸信息前，所有对设备的操作行为都被判断为非法，通过功能输出端实时提醒相关人员有非法闯入告警和违规操作发生。

(3)在人脸识别信息被正确获取到并判断为合法授权人员时，通过人体特征提取算法保存人体特征，并使用人体重识别技术将该人体特征与人员信息配对绑定。之后所有对设备进行操作行为分析的时候，都结合人体重识别获得的人员ID判断授权合法性。

(4)在图3所示当前位置处，有运维人员操作机房设备，此时智能分析端启动行为分析，判断该运维操作的合规性。如果发现该操作行为不符合预先设定的运维动作，立即报告功能输出端作出相应告警提示。

(5)在行为识别过程中，本系统也持续判断数据采集端上报数据的变化情况。智能分析端根据预先训练获得的行为与数据变化的相关性，判断到对相关设备的操作过程引起了关联数据指标的异常变化，即向功能输出端提示告警信息。如图4所示，行为分析发现可疑的检测原液被稀释动作，随后监测到相应指标有联动的下降，即做出违规稀释检测原液的判断，并通知功能输出端。

(6)智能分析端对多个摄像头回传的视频并行调用改进的人体重识别算法自动跨摄像头跟踪运维人员，并分析其操作行为。整个过程不需要人工干预，自动完成跨摄像区域对目标人员的连续分析。如图5所示，在摄像头A中识别到正确的运维人员信息，随后运维人员需要操作设备背面因而进入摄像头B监控区域，本系统可以通过人体重识别技术正确识别该运维人员并继续行为识别。

2.下面详细描述所述的人体特征提取技术。

人体特征提取是指在视频图像序列中去除不需要的背景和不相干物体，提取出目标人体特征。一般化的人体特征提取算法可以分解成如下几步：

a)图像预处理，常用中值滤波，均值滤波，维纳滤波等去除噪声的方法，达到抑制甚至消除噪声的效果，改善图像质量。

b)在经过预处理的图像中，把背景和不相关物体分离出去，精确定位人体。常用的人体检测方法，例如背景差分法，基于图像序列和参考背景模型相减，实现人体目标的检测。

c)得到运动人体后，需要进行一些基于形态学的后期处理，例如腐蚀、膨胀和开闭操作，来减少噪声影响，增强检测区域。

d)利用人体部分刚性结构的特点，对人体轮廓进行矢量化处理，通过筛选得到粗略的人体可能的关键点集合。再运用骨架算法及条带分析筛选出精确的关节点。

e)根据分析得到的关节点组合，与实际人体各部位的集合比例相比较对应，得到人体各部位的识别结果。

当输入的视频材料被采集的前提条件为固定摄像机时，对于背景图像序列，一般认为服从高斯分布，背景噪声可以认为是白噪声。利用开始不含前景的连续N帧图像构造初始背景模型，然后根据一定的速度刷新背景模型，使之能够适应缓慢的光照变化，这样的背景模型比较符合自然状况，适合背景变化缓慢的场景。目前应用最为广泛的人体关键点提取方法为星形骨架算法，这是通过检测运动对象的外部边界点来产生一个星形骨架。根据人体特征，首先求出目标人体边缘所包围区域的重心，然后求出每个边界点距离重心点的距离。这个距离是一个离散函数，其局部极大值即作为极值点。把这些极值点和重心点连接起来，就构成了星形骨架。

3.下面详细描述所述的行为建模。

针对固定摄像机拍摄的视频，且目标人员在视频中尺寸变化不大的情况下，用状态空间的建模分析方法不仅计算量大，而且准确性也不占优势。相比较而言，此时更适合用模版匹配算法进行行为分析建模。目前应用比较普遍的模版匹配算法是DTW(动态时间归整)算法。

DTW算法本质上就是在两个运动序列构造的距离矩阵中找出一条最小路径来比较两者间的相似性。构造距离矩阵主要依据是采用关节点信息计算而得。人体关节点及转角信息以向量形式共同构成一帧运动数据，用窗口距离代替单帧距离计算运动姿态间的差异，从而构造得出相应的距离矩阵。

如图1所示，基于由此构造的距离矩阵，采用局部最优性检测，利用动态规划算法可求得最小累加值，得到一条代价最小的DTW路径W，即该路径上各元素的累加值为最小。DTW路径在理想情况下其所有元素都是所在距离矩阵行或列上的局部最小值。但是由于路径受斜率限制等约束条件的限制，有可能仅使得路径上所有元素累加和最小，不能保证路径上每个元素所对应的数值小于指定阈值。阈值的意义代表两个运动对应帧之间距离够小，表示这两帧的运动姿态相似。因此可以利用局部最小值作为距离阈值筛选路径上各元素，保留路径上相似的运动姿态(即小于距离阈值的那些元素)。将DTW路径W上各元素与距离阈值比较，舍弃那些大于阈值的元素，认为其对应的运动姿态不相似。比较DTW路径所有元素后，保留下的元素用于后续相似性判断。继续计算DTW路径的连续度，选取候选相似运动并计算DTW平均距离，基于DTW平均距离再次筛选候选相似运动，得到最终的检索结果。

4.下面详细描述所述的人体重识别。

在视频监控领域，人体重识别主要是用于对行为识别的主体人进行连续跟踪。通常跟人脸识别技术结合使用，可以比较准确地将视频中目标人员全面地进行标注。在视频监控尤其是跨多个摄像头的视频中，可以确认特定人员的时空轨迹和行为。计算机视觉领域形象地将针对特定目标人员的监控视频检索问题称为人体重识别。其研究方法主要包括两种：

(1)研究对象人员的特征表示方法，提取更具有鲁棒性的鉴别特征对目标人体进行表示。

(2)使用距离度量学习方法，通过学习一个有判别力的距离度量函数，使得同一个人的图像间距离小于不同人员图像间的距离。其特征表示法通常是首先提取已知人体的特征对其进行存储，其次对未知人体进行特征提取后与已知特征进行对比后，取相似度最高且满足一定阈值条件的作为未知人员的标志。

通过使用本发明的技术方案，解决了各个行业视频监控中运维动作规范性管理，以及危险性运维动作的提前预警，可以在一定程度上防止造假作弊行为的发生，极大地提高运维的自动化监管程度，降低人为监管的随意性，减少在这方面巨大的人力投入，无论在电力、环保、石化等各个行业的规范化运维方面都将有极为广泛的应用前景。

本发明不只用于视频监控，可以用于针对环保、电力、石化等各个行业的运维视频管理、监控和矫正，以及任何有关动作标准化的行业，并可用于动作的学习和校准，实现跨摄像头的人机互动行为识别，通过上述技术方案对运维监控得出的其他实施方式同样属于本专利保护的范围。

本发明不只用于对于人的监控和识别，还可用于针对动物、机械等进行互动行为的监控、识别、学习、校准。

以上所描述的内容包括附图中的演示仅仅是本发明较佳的实现方式，并不用以限定本发明的保护范围，任何等同的变化和修改皆应涵盖在本发明的保护范围之内。

Claims (10)

1.一种人机联控的关联性行为联控方法，其特征在于：

实时采集待监测的对象的视频流；

将监测数据流汇聚进行人工智能的图像分析；其中，

进行数据集训练与兴趣点标定，从所述视频流中获取若干图像素材，所述若干图像素材用于针对性训练，采集有关数据，作为关联性分析输入条件，对该设备与行为结果的联动关系做相应的训练，作为针对本场景下的分析模型参数；

通过人体特征提取算法保存人体特征，并使用人体重识别技术将该人体特征与人员信息配对绑定；所述人体特征包括手部识别特征；

根据预先训练获得的行为与数据变化的相关性，判断对相关设备的操作过程引起了关联数据指标的异常变化，从而发出相应的提示告警信息。

2.如权利要求1所述的方法，其中，对设备进行操作行为分析时，始终结合人体重识别获得的人员ID判断授权合法性。

3.如权利要求1或2所述的方法，其中，所述监测数据包括监测场景下的设备尺寸、和/或型号、和/或开关状态等特定参数。

4.如权利要求1或2所述的方法，其中，可以做针对特定操作兴趣点的标定预处理，作为行为分析的参考点。

5.如权利要求1或2所述的方法，其中，每当有人员进入监控区域内时，对所述视频流进行人脸识别检测，判断是否包括授权人员信息，如果是非合法授权人员时，对设备的操作行为判断为非法，发出警告。

6.如权利要求1或2所述的方法，其中，对回传的视频并行调用改进的人体重识别算法，自动跨摄像头跟踪运维人员，分析其操作行为，自动完成跨摄像区域对目标人员的连续分析。

7.一种执行权利要求1-6的所述方法的监测设备的人机联控系统，包括图像数据采集端、智能分析端、功能输出端和数据传输单元，其特征在于：

图像数据采集端实时采集待监测的对象的视频流；

数据传输单元将实时采集到的视频流和监测数据流汇聚到智能分析端；

智能分析端将监测数据流汇聚进行智能分析；其中，

进行数据集训练与兴趣点标定，从所述视频流中获取若干图像素材，所述若干图像素材用于针对性训练，采集有关数据，作为关联性分析输入条件，对该设备与行为结果的联动关系做相应的训练，作为针对本场景下的分析模型参数；

通过人体特征提取算法保存人体特征，并使用人体重识别技术将该人体特征与人员信息配对绑定；所述人体特征包括手部识别特征；

根据预先训练获得的行为与数据变化的相关性，判断对相关设备的操作过程引起了关联数据指标的异常变化，从而通过功能输出端发出相应的提示告警信息。

8.如权利要求7所述的系统，其中，所述图像数据采集端可以是监控摄像头和/或数据采集仪。

9.如权利要求7或8所述的方法，其中，每当有人员进入监控区域内时，智能分析端都对所述视频流进行人脸识别检测，判断是否包括授权人员信息，如果是非合法授权人员时，对设备的操作行为判断为非法，通过功能输出端发出警告。

10.如权利要求7或8所述的系统，其中，图像数据采集端可以包括多个监控摄像头，智能分析端可对多个摄像头回传的视频并行调用所述人体重识别算法，自动跨摄像头跟踪目标人员，完成跨摄像区域对目标人员的连续分析。