CN113313346A

CN113313346A - 一种基于ar眼镜的人工智能调度操作的可视化实现方法

Info

Publication number: CN113313346A
Application number: CN202110418961.4A
Authority: CN
Inventors: 晏鹏; 张鸿; 虢韬; 肖林; 周艳云; 汪适
Original assignee: Guizhou Power Grid Co Ltd
Current assignee: Guizhou Power Grid Co Ltd
Priority date: 2021-04-19
Filing date: 2021-04-19
Publication date: 2021-08-27

Abstract

本发明公开了一种基于AR眼镜的人工智能调度操作的可视化实现方法，包括，采集调度指令和操作指令，通过语音识别技术将调度指令文本化，并对文本指令进行标准化分解；操作人员根据分解指令找到对应的操作设备，并通过AR眼镜扫描操作设备上的二维码，进而读取操作设备信息，而后自动进行信息比对；若比对正确，现场操作人员则将对操作设备进行操作前的安防措施，通过AI图像识别自动判断现场安防措施是否规范；若规范，则通过AR眼镜将操作指令图示化，根据图示化操作指令对操作设备进行操作，操作完成后系统则发送完成指令到所述AR眼镜，并告知现场操作人员该项调度指令设备操作已完成；本发明的信息的误传递性较低，操作速度也得到了较大提升。

Description

一种基于AR眼镜的人工智能调度操作的可视化实现方法

技术领域

本发明涉及电力调度的技术领域，尤其涉及一种基于AR眼镜的人工智能调度操作的可视化实现方法。

背景技术

电力调度是电力系统中非常重要的环节，电力系统的正常运行离不开供电企业与负荷之间的实时调度，另外电力设备的维护与检修也需要电力调度。电力调度中最危险的部分就是对电力设备的现场操作，一旦发生误操作尤其是在高电压系统中，将会产生非常严重的人身伤害事故。

增强现实(Augmented reality,简称AR)，也被称为扩增现实。增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音, 味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用AR眼镜，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。近年来基于AR技术的智能可穿戴设备在电力行业中陆续得到了应用，为解决电力系统中的传统问题提出了创新性的解决思路。

然而在现有的电力系统调度操作中，主要还是依靠人工口头重复各种指令，每个步骤至少重复两次，操作繁琐，效率低下，而且需要对现场以及设备极其熟悉的人员才可以进行操作，培养新员工需要耗费大量的人力物力且存在不确定的危险性因素。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明提供了一种基于AR眼镜的人工智能调度操作的可视化实现方法，能够解决现有技术中的电力调度过程中，设备操作人员操作步骤繁琐，调度指令不够准确和安全的问题。

为解决上述技术问题，本发明提供如下技术方案：包括，采集调度员的调度指令和操作票的操作指令，通过语音识别技术将所述调度指令文本化，并对文本指令进行标准化分解；现场操作人员根据分解后的调度指令找到对应的操作设备，并通过AR眼镜扫描操作设备上的二维码，进而读取操作设备信息，而后自动进行信息比对；若所述信息比对正确，所述现场操作人员则将对所述操作设备进行操作前的安防措施，并将所述安防措施进行拍照并上传，通过 AI图像识别自动判断现场安防措施是否规范；若所述现场安防措施规范，则通过所述AR眼镜将所述操作指令图示化，根据已图示化的操作指令对所述操作设备进行操作，所述操作完成后对所述操作设备进行拍照并上传；否则，则重新布置所述安防措施并检查；将所述操作设备进行拍照并上传，而后通过所述AI图像识别自动判断操作设备状态是否满足所述操作指令；若满足，则判断所述操作指令是否全部完成；否则，则重新操作所述操作设备；若所述操作指令全部完成，则发送完成指令到所述AR眼镜，并告知所述现场操作人员该项调度指令设备操作已完成。

作为本发明所述的基于AR眼镜的人工智能调度操作的可视化实现方法的一种优选方案，其中：标准化分解所述文本指令包括，

分解结果＝动作+电压等级+设备名称。

作为本发明所述的基于AR眼镜的人工智能调度操作的可视化实现方法的一种优选方案，其中：其特征在于：所述信息比对还包括，若所述信息比对不正确，则检查所述操作设备与所述调度指令的对应情况。

作为本发明所述的基于AR眼镜的人工智能调度操作的可视化实现方法的一种优选方案，其中：所述安防措施包括设置隔离围栏，悬挂警示牌。

作为本发明所述的基于AR眼镜的人工智能调度操作的可视化实现方法的一种优选方案，其中：所述AI图像识别包括，预处理图像，安装Tensorflow 和Pillow库；定义卷积网络模型、损失函数和优化器；执行图像识别训练，获得卷积网络模型参数；利用所述卷积网络模型进行所述图像识别。

作为本发明所述的基于AR眼镜的人工智能调度操作的可视化实现方法的一种优选方案，其中：拍照上传所述安防措施包括，通过AR眼镜对所述安防措施进行拍照并上传。

作为本发明所述的基于AR眼镜的人工智能调度操作的可视化实现方法的一种优选方案，其中：还包括，在下发所述操作指令至所述AR眼镜时，需要语音播报操作内容以及通过所述AR眼镜标注出设备需要操作部分；在所述操作完成后需要利用所述AR眼镜收集所述现场操作人员完成操作的口令，同时给出反馈信息。

作为本发明所述的基于AR眼镜的人工智能调度操作的可视化实现方法的一种优选方案，其中：所述系统包括，所述系统为一个文本指令与图片相互对应的系统；构建所述系统的步骤为：首先将不同型号、类别、功能的电力设备按照不同的开关状态分别依次拍摄；而后将设备照片与文字一一对应。

本发明的有益效果：本发明将操作票指令内容结合操作设备本身进行可视化处理，调度人员与操作人员通过AR眼镜建立联系，即使对设备状态并不是很熟悉的人也可以通过二维码的扫描、AI图片识别技术也可以很快定位到需操作设备以及正确操作下达指令；且不受限与现场噪声以及电话通信噪声，信息的误传递的可能性小于现有的人工播报的传统模式，操作速度也得到了较大的提升；同时，本发明通过AR眼镜的远程专家协作功能将现场画面的实时传输，通过多人专家协同可以在线上解决现场实际问题，并通过AR眼镜及时的告知操作人员需要操作的设备部分，实现远程调度处理。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例所述的基于AR眼镜的人工智能调度操作的可视化实现方法的流程示意图；

图2为本发明第一个实施例所述的基于AR眼镜的人工智能调度操作的可视化实现方法的操作指令可视化流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1～图2，为本发明的第一个实施例，该实施例提供了一种基于AR 眼镜的人工智能调度操作的可视化实现方法，包括：

S1：采集调度员的调度指令和操作票的操作指令，通过语音识别技术将调度指令文本化，并对文本指令进行标准化分解。

语音识别技术的基本原理如下：

(1)训练(Training)：预先分析出语音特征参数，制作语音模板，并存放在语音参数库中。

(2)识别(Recognition)：待识语音经过与训练时相同的分析，得到语音参数；将它与库中的参考模板一一比较，并采用判决的方法找出最接近语音特征的模板，得出识别结果。

(3)失真测度(Distortion Measures)：在进行比较时要有个标准，这就是计量语音特征参数矢量之间的“失真测度”。

(4)主要识别框架：基于模式匹配的动态时间规整法(DTW)和基于统计模型的隐马尔可夫模型法(HMM)。

进一步的，通过下式对文本指令进行标准化分解：

分解结果＝动作+电压等级+设备名称。

S2：现场操作人员根据分解后的调度指令找到对应的操作设备，并通过 AR眼镜扫描操作设备上的二维码，进而读取操作设备信息，而后自动进行信息比对。

根据操作票上的所需操作的设备名称，开关名称与设备信息上的文字自动进行对比，内容一样则自动比对正确，否则自动比对失败。

若信息自动比对正确，现场操作人员则将对操作设备进行操作前的安防措施，并利用AR眼镜将安防措施进行拍照并上传，通过AI(Artificial Intelligence) 图像识别自动判断现场安防措施是否规范，较佳的是，如遇现场环境复杂，可在前期在设备上粘贴定位标签，保证AI图片识别的快速性和准确性；若信息比对不正确，则AR眼镜对显示设备对应错误，此时操作人员应重新核对操作票信息与现场实际信息是否一致，然后再进行重新二维码扫描，直到信息相互对应，系统才会往下进行。

具体的，AI图像识别的步骤如下：

(1)预处理图像，安装Tensorflow和pillow库；

将图像进行标记，并将其归一化，然后划分为训练集和测试集，训练集和测试集的比例为3：1；需要说明的是，TensorFlow是一个采用数据流图(data flow graphs)，用于数值计算的开源软件库；Pillow库是Python图像库，支持大量的图片格式，是图像处理和批处理的最佳选择，可以用来创建缩略图、文件格式之间的转换、打印图片、大小转换、颜色转换等操作。

安装Tensorflow和pillow库的程序代码如下：

import os#图像读取库

from PIL import Image#矩阵运算库

import numpy as np

import tensorflow as tf

(2)定义卷积网络模型、损失函数和优化器；

#定义卷积层,20个卷积核，卷积核大小为5，用Relu激活

conv0＝tf.layers.conv2d(datas_placeholder,20,5,activation＝tf.nn.relu)

#定义max-pooling层，pooling窗口为2x2，步长为2x2

pool0＝tf.layers.max_pooling2d(conv0,[2,2],[2,2])

#定义卷积层,40个卷积核,卷积核大小为4，用Relu激活

conv1＝tf.layers.conv2d(pool0,40,4,activation＝tf.nn.relu)

#定义max-pooling层，pooling窗口为2x2，步长为2x2

pool1＝tf.layers.max_pooling2d(conv1,[2,2],[2,2])

#利用交叉熵定义损失

#平均损失

mean_loss＝tf.reduce_mean(losses)

#定义优化器，指定要优化的损失函数

optimizer＝tf.train.AdamOptimizer(learning_rate＝1e-2).minimize(losses)

(3)执行图像识别训练，获得卷积网络模型参数；

训练需要使用sess.run(tf.global_variables_initializer())初始化参数，训练完成后，需要使用saver.save(sess,model_path)保存模型参数。

测试需要使用saver.restore(sess,model_path)读取参数。

(4)利用卷积网络模型进行图像识别。

若现场安防措施规范，则通过AR眼镜将操作指令图示化，根据已图示化的操作指令对操作设备进行操作，操作完成后对操作设备进行拍照并上传；否则，则重新布置安防措施并检查。

需要说明的是，安防措施包括设置隔离围栏，悬挂警示牌等。

S3：利用AR眼镜将操作设备进行拍照并上传，而后通过AI图像识别自动判断操作设备状态是否满足操作指令。

在系统判定安防措施已经到位的前提下，系统会根据操作票指令依次将根据已图示化的操作指令发送至AR眼镜，操作人员根据AR眼镜结合现场实际设备对应开始对设备进行操作，完成后再次使用AR眼镜拍照上传，再次通过 AI图片识别功能自动判断操作设备状态是否满足操作指令，只有当操作与标准操作图片一致时，系统才会将下一个操作票指令下发到AR眼镜上，当操作现场出现意外情况需要进行紧急操作时，AR眼镜可以借助5G网络高速率，低延时的特性，将现场画面及时传输给调度人员，在专业人员判断后可及时将临时操作方案第一时间传达给操作人员。

需要说明的是，系统为一个文本指令与图片相互对应的系统；构建系统的步骤为：①将不同型号、类别、功能的电力设备按照不同的开关状态分别依次拍摄；②将设备照片与文字一一对应。

系统在下发操作指令时，需要语音播报操作内容以及通过AR眼镜标注出设备需要操作部分；在操作完成后需要利用AR眼镜收集现场操作人员完成操作的口令，同时给出反馈信息。

具体的，若操作设备状态满足操作指令，则判断操作指令是否全部完成；否则，则重新操作操作设备。

若操作指令全部完成，人工智能调度系统则发送完成指令到AR眼镜，并告知现场操作人员该项调度指令设备操作已完成。

较佳的是，AR眼镜拥有远程专家协作系统的能力，可以在网络通信良好的情况下进行多人通话，在调度过程中如遇突发情况，现场出现了超出操作人员可解决的问题时，操作人员可通过AR眼镜及时的向远程专家提出协作的需求，结合5G技术，实现实时的技术支持，降低停工损失，减少差旅费用。

实施例2

为了对本方法中采用的技术效果加以验证说明，本实施例选择传统的技术方案和采用本方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。

传统的技术方案通过传统的纯人工操作，即调度人员通过电话将指令一条一条传达给现场人员，操作人员还需复诵指令；在操作完成后，操作人员以及调度人员还需将此条完成指令再次复诵两遍。这种技术费时费力，不但需要调度人员与操作人员对现场以及设备极其熟悉，而且受环境噪音、通信干扰等外在因素的影响。

为验证本方法相对传统的技术方案具有较快的操作速度、较强的抗干扰性和较低的信息误传递性，本实施例中将采用传统的技术方案和本方法分别对的操作票执行情况进行实时对比。

在某公司的年度执行的2138张票面检查中发现不规范票58张，占比 2.713％；采用传统的技术方案进行操作的过程跟踪检查中发现不规范操作行为 38人次，共17次，占比0.795％；在不规范的58张不规范票中，操作任务不确切共10张，占比17.241％，操作术语应用不规范，缺检查项共28张，占不规范票的48.276％，缺签名、缺“√”共6张，占10.345％，时间登录不准确共4 张，占6.897％。

针对采用传统的技术方案在操作票执行过程中的操作人员行为进行的不定期跟踪抽查，其中有17次发现倒闸操作过程操作行为不规范，共38人次，占全年总票数的0.795％；而采用本方法执行操作票发现操作行为不规范的人次为0，具体数据如下表。

表1：分别采用两种不同的方法执行操作票的结果对比表。

由上表可见，本方法对于操作术语不规范，缺签名以及时间登录不准确等不规范操作票的问题可以完全避免。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种基于AR眼镜的人工智能调度操作的可视化实现方法，其特征在于：包括，

采集调度员的调度指令和操作票的操作指令，通过语音识别技术将所述调度指令文本化，并对文本指令进行标准化分解；

现场操作人员根据分解后的调度指令找到对应的操作设备，并通过AR眼镜扫描操作设备上的二维码，进而读取操作设备信息，而后自动进行信息比对；

若所述信息比对正确，所述现场操作人员则将对所述操作设备进行操作前的安防措施，并将所述安防措施进行拍照并上传，通过AI图像识别自动判断现场安防措施是否规范；

若所述现场安防措施规范，则通过所述AR眼镜将所述操作指令图示化，根据已图示化的操作指令对所述操作设备进行操作，所述操作完成后对所述操作设备进行拍照并上传；否则，则重新布置所述安防措施并检查；

将所述操作设备进行拍照并上传，而后通过所述AI图像识别自动判断操作设备状态是否满足所述操作指令；若满足，则判断所述操作指令是否全部完成；否则，则重新操作所述操作设备；

若所述操作指令全部完成，系统则发送完成指令到所述AR眼镜，并告知所述现场操作人员该项调度指令设备操作已完成。

2.如权利要求1所述的基于AR眼镜的人工智能调度操作的可视化实现方法，其特征在于：标准化分解所述文本指令包括，

分解结果＝动作+电压等级+设备名称。

3.如权利要求1或2所述的基于AR眼镜的人工智能调度操作的可视化实现方法，其特征在于：所述信息比对还包括，

若所述信息比对不正确，则检查所述操作设备与所述调度指令的对应情况。

4.如权利要求3所述的基于AR眼镜的人工智能调度操作的可视化实现方法，其特征在于：所述安防措施包括设置隔离围栏，悬挂警示牌。

5.如权利要求1或4所述的基于AR眼镜的人工智能调度操作的可视化实现方法，其特征在于：所述AI图像识别包括，

预处理图像，安装Tensorflow和Pillow库；

定义卷积网络模型、损失函数和优化器；

执行图像识别训练，获得卷积网络模型参数；

利用所述卷积网络模型进行所述图像识别。

6.如权利要求5所述的基于AR眼镜的人工智能调度操作的可视化实现方法，其特征在于：拍照上传所述安防措施包括，

通过AR眼镜对所述安防措施进行拍照并上传。

7.如权利要求1所述的基于AR眼镜的人工智能调度操作的可视化实现方法，其特征在于：还包括，

在下发所述操作指令至所述AR眼镜时，需要语音播报操作内容以及通过所述AR眼镜标注出设备需要操作部分；在所述操作完成后需要利用所述AR眼镜收集所述现场操作人员完成操作的口令，同时给出反馈信息。

8.如权利要求6或7所述的基于AR眼镜的人工智能调度操作的可视化实现方法，其特征在于：所述系统包括，

所述系统为一个文本指令与图片相互对应的系统；

构建所述系统的步骤为：首先将不同型号、类别、功能的电力设备按照不同的开关状态分别依次拍摄；而后将设备照片与文字一一对应。