CN113888024A - 操作监控方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种操作监控方法、装置、电子设备及存储介质。该方法包括：接收预先导入的至少一个操作单，并根据所述至少一个操作单确定操作流信息；获取目标用户对所述操作流信息中每个操作节点的实际操作图像，并通过对所述实际操作图像分析处理，确定所述目标用户的实际操作信息；当所述实际操作信息和相应操作节点的理论操作信息相一致，则确定所述目标用户的当前操作为合规操作。解决了现有技术中需要依靠用户的主观性，导致主观判断失误无法对用户的操作进行正误判断，导致错误操作提示不及时的问题，实现基于机器人对操作人员的操作进行实时监控，使在操作人员操作有误时，及时进行提醒，达到实时监控的效果。

Description

操作监控方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及计算机处理技术，尤其涉及一种操作监控方法、装置、电子设备及存储介质。

背景技术

近些年，电网发展迅猛，电网规模越来越大，新增电厂和变电站逐步增多，电网设备不断增加，电网操作任务日益繁重。每年由操作人员误操作而引发的电网事故也频繁发生，因此对操作人员进行有效监控的任务也成为重中之重。

目前针对操作人员的监控，通常依靠监护人对操作人员进行现场监控，或通过监护人员利用现场视频监控设备实时监控操作人员工作，这两种方式，都需要依靠用户的主观性，导致主观判断失误无法对用户的操作进行正误判断，进而导致错误操作提示不及时的问题，不仅没有起到有效的监督，还极大的浪费了人力，存在人力成本较高的技术问题。

发明内容

本发明实施例提供一种操作监控方法、装置、电子设备及存储介质，以实现基于机器人对操作人员的操作进行实时监控，使在操作人员操作有误的情况下，及时进行提醒，达到实时监控的效果。

第一方面，本发明实施例提供了一种操作监控方法，该方法包括：

接收预先导入的至少一个操作单，并根据所述至少一个操作单确定操作流信息；其中，所述操作流信息中包括至少一个操作节点的操作顺序和操作内容；

获取目标用户对所述操作流信息中每个操作节点的实际操作图像，并通过对所述实际操作图像分析处理，确定所述目标用户的实际操作信息；

当所述实际操作信息和相应操作节点的理论操作信息相一致，则确定所述目标用户的当前操作为合规操作。

第二方面，本发明实施例还提供了一种操作监控装置，该装置包括：

操作流信息确定模块，用于接收预先导入的至少一个操作单，并根据所述至少一个操作单确定操作流信息；其中，所述操作流信息中包括至少一个操作节点的操作顺序和操作内容；

实际操作信息确定模块，用于获取目标用户对所述操作流信息中每个操作节点的实际操作图像，并通过对所述实际操作图像分析处理，确定所述目标用户的实际操作信息；

合规操作确定模块，用于当所述实际操作信息和相应操作节点的理论操作信息相一致，则确定所述目标用户的当前操作为合规操作。

第三方面，本发明实施例还提供了一种电子设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例任一所述的操作监控方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例任一所述的操作监控方法。

本发明实施例的技术方案，通过利用机器人设备接收操作单，并根据操作单确定操作流信息，同时利用摄像装置获取目标用户对操作流信息中每个操作节点的实际操作图像，并通过对实际操作图像分析处理，确定目标用户的实际操作信息，当实际操作信息和相应操作节点的理论操作信息相一致时，则确定目标用户的当前操作为合规操作，若实际操作信息与理论操作信息不匹配时，则基于预警模块及时发送预警信息。解决了现有技术中需要依靠用户的主观性，导致主观判断失误无法对用户的操作进行正误判断，导致错误操作提示不及时的问题，实现了基于机器人设备对操作人员的操作场景以及操作行为进行实时监控，并在操作人员操作有误时，及时进行提醒，以便操作人员及时做出整改操作，提高了监控效率，减少了人力成本的消耗，同时还降低了因监控不及时导致操作事故的发生，达到实时监控的技术效果。

附图说明

为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。

图1为本发明实施例一所提供的一种短信内容确定方法的流程图；

图2为本发明实施例二所提供的一种操作监控方法的流程图；

图3为本发明实施例三所提供的一种操作监控方法的流程示意图；

图4为本发明实施例四所提供的一种操作监控装置的结构框图；

图5为本发明实施例五所提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明实施例一提供的一种操作监控方法的流程图，本实施例可适用于监护操作的情况，该方法可以由本发明实施例中的操作监控装置来执行，该装置可以采用软件和/或硬件的方式来实现，可选的，通过电子设备来实现，该电子设备可以是移动终端、PC端或服务端等。该装置可配置于计算设备中，本实施例提供的操作监控方法具体包括如下步骤：

S110、接收预先导入的至少一个操作单，并根据所述至少一个操作单确定操作流信息。

需要说明的是，可以基于本技术方案开发相应的机器人设备，进而基于该设备处理相应的任务，还可以是基于本技术方案开发一个应用程序，或者将该技术方案作为应用程序中的一个功能，从而进行操作监控。还需要说明的是，本技术方案可以应用在电网领域中操作监控的情形，还可以应用在任意需要操作监控的情形中。

还需要说明的是，为了提高数据处理的准确性和便捷性，可以预先在机器人中集成各种数据处理算法，还可以是各种预先训练好的神经网络，如，图像识别神经网络、语音识别神经网络等，以基于集成的各算法和神经网络对采集的图像进行处理，进而根据处理结果确定操作人员的当前操作是否为合规操作。

为了清楚的介绍本技术方案，可以以应用在电网领域为例来介绍。

其中，操作单可以理解为工作任务的指导数据，可以将要求操作人员完成某项任务的任务数据作为操作单，该操作单中可以包括操作项目名称、操作流程、所需工具及注意事项等等。需要说明的是，在实际应用中，每项任务中可能包含若干个子任务，每个子任务信息均可以对应一个操作单上的任务信息，即完成每一个任务时，均可以需要多个操作单信息。进一步的，可以将每项任务对应的各操作单信息预存储在系统数据库中，该系统可以为电网系统。操作流信息可以理解为操作任务的流程信息，可以将操作任务对应的各操作单的执行流程信息作为操作流信息。操作流信息中包括至少一个操作节点的操作顺序和操作内容，操作节点是指操作单中的各操作流程信息，操作顺序则可以为各操作步骤之间的执行顺序，操作内容则可以为各操作流程的操作数据。如，在电网场景中，电网系统可以与预设设备利用数据接口进行对接，该设备可以为具有监控功能的机器人设备。当操作人员需要完成电缆布设任务，并触发系统的某个操作按钮时，系统可以与设备进行数据对接，进而可以将该任务对应的各操作单信息传输到设备服务器中，即设备服务器可以利用数据接口提取系统数据库中的各操作单信息，进而接收该任务下的各操作单；还可以当电网系统上传该任务所需要的操作单时，可以认为机器人设备接收到了操作单信息，即认为接收到了操作单。进而，可以利用计算机程序提取各操作单对应的操作流信息。

需要说明的是，根据各操作单信息确定对应的操作流信息，可以对各操作单的数据信息进行分析处理，如，可以利用算法提取接收各操作单的时刻信息，进而可以将各时刻进行排序处理，获取时刻顺序，可以将该顺序作为每个时刻对应的操作单的执行顺序，进而可以确定各操作单的执行顺序，可以将各操作单的执行顺序作为对应的操作流信息。

可选的，所述根据所述至少一个操作单确定操作流信息，包括：根据接收所述至少一个操作单的接收时刻，确定对所述至少一个操作单的处理顺序，并根据所述处理顺序确定与所述至少一个操作单相对应的操作流信息。

其中，处理顺序可以理解为操作单的执行顺序。

需要说明的是，当设备接收到各操作单时，可以利用算法获取接收各操作单的时刻信息，进而可以将各操作单按接收时刻的先后顺序进行编号排序，进而确定对各操作单处理的顺序。进一步，可选的，还可以利用算法获取接收每个操作单对应的各操作节点的时刻信息，进而可以将各操作节点按接收时刻的先后顺序进行编号排序，进而确定对每个操作节点处理的顺序。进而可以获取每个操作单下各操作节点的处理顺序，从而可以将各操作单进行整合处理，可以获取该操作任务的操作流信息，该操作任务需要这些操作单整合完成，即获取到各操作单相对应的操作流信息。

具体的，可以利用算法对各操作单的接收时刻进行处理，可以将各操作单根据操作单接收时刻进行排序处理，同时还可以将每一个操作单对应的操作节点根据节点接收时刻进行排序处理，进而确定对各操作单以及每一个操作单对应的操作节点的处理顺序，进而将各操作单进行整合处理，确定整个操作任务下所有操作单下各操作节点的执行顺序，即操作流信息，以便后续可以按操作流信息对目标用户进行连续性监控。

S120、获取目标用户对所述操作流信息中每个操作节点的实际操作图像，并通过对所述实际操作图像分析处理，确定所述目标用户的实际操作信息。

其中，目标用户可以理解为执行操作单中任务的操作人员。实际操作图像可以理解为目标用户进行操作时的图像信息，如，当目标用户执行布设电缆操作单中每一个操作节点任务时，均可以利用摄像设备对目标用户操作现场进行拍摄，摄像设备可以为摄像头，预安装在机器人设备中。可以获取每个操作节点对应的拍摄图像，可以将各拍摄图像作为实际操作图像。实际操作信息可以理解为目标用户进行操作时的操作行为信息，可以为目标用户头戴安全帽信息，也可以为手戴绝缘手套信息。如，可以利用AI算法对实际操作图像进行分析处理，按照预设特征提取规则提取图像中的数据特征，可以将各数据特征信息作为操作数据，即实际操作信息。AI算法可以包括随机森林算法、逻辑回归算法、朴素贝叶斯算法、K最近邻算法以及神经网络算法等算法。

需要说明的是，根据操作流信息中每个操作节点的实际操作图像确定目标用户的实际操作信息之前，可以对操作流信息进行处理，如，语音识别处理，可以利用语音识别技术将操作流中各操作节点的操作内容进行识别，进行可以利用语音转换技术将各操作内容进行播报，当操作人员接收到播报的操作内容时，可以进行对该操作内容的操作，进而可以利用摄像装置对操作人员的操作场景进行拍摄，获取操作人员的实际操作图像，进而根据每个操作节点的实际操作图像确定目标用户的实际操作信息。

可选的，所述获取目标用户对所述操作流信息中每个操作节点的实际操作图像，并通过对所述实际操作图像分析处理，确定所述目标用户的实际操作信息，包括：根据所述操作流信息中的操作顺序将当前操作内容进行播报，并在接收到所述目标用户的语音反馈信息时，基于摄像装置拍摄包括目标用户实际操作信息的实际操作图像；基于图像处理模块识别所述实际操作图像中的实际操作信息。

其中，语音反馈信息可以理解为用户反馈的语音信息，如，当机器人设备将操作流中各操作节点的操作内容播报给用户之后，可以将用户对每条操作内容执行一个操作作为一个反馈，例如，可以是语音回复，可以将这些语音回复信息作为语音反馈信息。图像处理模块可以理解为预存储有图像处理算法、可以对图像进行分析处理的模块，如，图像处理算法可以为AI算法。

需要说明的是，该机器人设备中可以预存储语音识别算法以及语音播报算法等AI算法，进而当接收到操作单时，可以利用语音识别技术识别操作单上的操作内容，同时还可以基于语音播报技术将识别到的操作内容按相应的操作节点顺序进行播报，进而，当目标用户接收到语音播报的操作内容时，可以向该设备回复与语音信息，即语音反馈信息。该设备可以利用传感器接收到语音反馈信息，同时可以利用语音识别技术将该语音反馈信息进行处理，如，可以将该语音反馈信息的识别结果传输到摄像装置，当摄像装置接收到满足预设条件的识别结果信息，可以对目标用户的实际操作行为进行拍摄，生成实际操作图像。示例性的，机器人开始播报操作流信息中第一个操作节点对应的操作内容，播报完毕该内容后，操作人员可以语音回复“已接收到指令”，进而操作人员开始执行该节点的操作，同时，机器人可以利用摄像装置对操作人员进行拍摄，获取该节点的实际操作图像。当操作人员操作完毕，操作人员可以回复“已完成指令”，机器人接收到该语音回复，可以利用算法将操作人语音与该操作节点的操作内容进行比对处理，若一致，则机器人可以继续播报下一操作节点的操作内容，相应的，获取到各操作节点对应的实际操作图像。进一步的，可以将实际操作图像利用接口对接到图像处理模块，利用算法将图像进行分析处理，如，特征提取，可以按照预设特征提取规则提取实际操作数据；还可以利用算法对图像进行特征检测，如，图像识别技术，可以利用算法识别出图像中操作信息，相应的，可以识别出各实际操作图像中的实际操作信息。

具体的，可以利用AI算法识别操作流信息中的操作内容信息，并将操作内容按对应的操作节点顺序进行播报，目标用户可以对每一个播报信息进行语音反馈，当接收到所述目标用户的语音反馈信息时，可以利用摄像装置拍摄目标用户的实际操作信息，生成实际操作图像，进而可以利用图像处理模块的图像处理算法识别实际操作图像中的实际操作信息，以实现对目标用户进行实时监控，预防误操作事故的发生。

S130、当所述实际操作信息和相应操作节点的理论操作信息相一致，则确定所述目标用户的当前操作为合规操作。

其中，理论操作信息是指预存储的、每个操作节点对应的操作数据信息。合规操作可以理解为满足预设条件的操作，预设条件可以为每个操作节点对应的注意事项，也就是说如果理论操作信息满足预设条件的话，可以认为该操作为合格操作。如，当用户执行操作流信息中某一个操作节点对应的操作内容时，如果执行的行为数据在预设行为数据的预设偏差范围内，可以认为两项行为数据相一致，其中，用户执行的行为数据可以为实际操作信息，预设行为数据即为理论操作信息，此时可以将该用户的操作作为合规操作。需要说明的是，操作流信息的各操作节点对应的理论操作信息可以由技术人员根据实际工作情况预存储在预设数据库中，可选的，可以利用算法建立各操作节点与对应操作内容之间的映射关系，进而，还可以利用算法建立各操作内容与对应的理论操作信息之间的映射关系，以便在检测到操作节点信息时，可以利用映射关系调取相应的理论操作信息。

还需要说明的是，当确定目标用户的实际操作信息之后，可以利用计算机程序将实际操作信息对应的操作节点的理论操作信息从预设数据库中提取出来，进而，可以利用匹配算法将实际操作信息与提取的对应理论操作信息进行匹配处理，如果匹配结果在预设偏差范围内，则可以认为该操作节点的实际操作信息是与理论操作信息相一致的，进而，可以将该操作作为合规操作。

可选的，所述当所述实际操作信息和相应操作节点的理论操作信息相一致，则确定所述目标用户的当前操作为合规操作，包括：根据所述操作节点所对应的操作内容从数据库中调取与所述操作内容相匹配的理论操作信息；若所述实际操作信息与理论操作信息相匹配，则确定所述目标用户的当前操作为合规操作。

具体的，可以当获取到该节点对应的实际操作图像时，利用接口从数据库中调取与该节点的操作内容对应的理论操作信息，进而，可以将理论操作信息作为实际操作图像对应的实际操作信息的匹配数据。进一步的，可以利用匹配算法将实际操作信息与理论操作信息进行匹配处理，可以计算出两项操作信息的匹配结果，如果匹配结果在预设偏差范围内，则可以认为该操作节点的实际操作信息与理论操作信息相一致，进而，可以将该操作信息作为合规操作，提高了监控操作的精确性。

需要说明的是，若所述实际操作信息与所述理论操作信息不匹配，可以将不匹配结果传输到预设报警设备中，进而，当报警设备接收到不匹配结果时，可以触发报警设备中的报警装置，进而可以向目标用户发出预警信息，还可以向系统后台发出预警信息。

可选的，若所述实际操作信息与所述理论操作信息不匹配，则基于预警模块发送预警信息，并向目标操作平台发送预警信息。

其中，预警模块可以理解为预存储有报警装置的模块。目标操作平台可以理解为监控平台，可选的，可以为视频监控平台，该平台可以与报警装置利用软件接口进行对接。如，可以利用算法将实际操作信息与理论操作信息进行匹配，如果匹配结果不在预设偏差范围内，可以认为两项操作信息不匹配，此时，不匹配结果可以同步到预警模块，进而可以触发预警模块中的报警装置，报警装置可以生成报警信息，进而可以将报警信息对接到机器人显示器，并在机器人屏幕上进行显示，向目标用户发出预警信息；还可以将报警信息对接到视频监控平台，并在该平台上进行显示，向值班人员发出预警信息，及时警示目标用户操作行为有误，以便及时目标用户做出整改操作。

本实施例的技术方案，通过利用机器人设备接收操作单，并根据操作单确定操作流信息，同时利用摄像装置获取目标用户对操作流信息中每个操作节点的实际操作图像，并通过对实际操作图像分析处理，确定目标用户的实际操作信息，当实际操作信息和相应操作节点的理论操作信息相一致时，则确定目标用户的当前操作为合规操作，若实际操作信息与理论操作信息不匹配时，则基于预警模块及时发送预警信息。解决了现有技术中需要依靠用户的主观性，导致主观判断失误无法对用户的操作进行正误判断，导致错误操作提示不及时的问题，实现了基于机器人设备对操作人员的操作场景以及操作行为进行实时监控，并在操作人员操作有误时，及时进行提醒，以便操作人员及时做出整改操作，提高了监控效率，减少了人力成本的消耗，同时还降低了因监控不及时导致操作事故的发生，达到实时监控的技术效果。

实施例二

图2为本发明实施例二所提供的一种操作监控方法的流程图，在前述实施例的基础上，在所述获取目标用户对所述操作流信息中每个操作节点的实际操作图像，并通过对所述实际操作图像分析处理，确定所述目标用户的实际操作信息之前，还包括获取与所述目标用户相对应的实际操作图像。其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。

如图2所示，该方法具体包括如下步骤：

S210、确定与所述至少一个操作单相对应的待使用操作工具。

其中，待使用操作工具可以理解为执行操作单中操作内容所需的操作工具，可以将执行操作单中任务所需的任意一个操作工具作为待使用操作工具，可以为夹线钳，也可以为橡胶手套。如，可以利用算法获取操作单中的操作内容，可以为文本数据，也可以为图表数据，进而可以利用预设特征提取规则提取操作内容中的操作工具特征，可以将各操作工具特征数据作为待使用操作工具数据；也可以在预设置操作单时，预先对操作单中预执行的操作内容中的操作工具进行标识处理，以便在接收到操作单时，可以利用操作工具的标识信息，确定所有的操作工具信息，即确定出该操作单对应的待使用操作工具。

S220、拍摄与所述目标用户相对应的已携带操作工具的工具图像，并通过对所述工具图像分析处理，确定已携带工具。

其中，已携带操作工具可以理解为目标用户在执行操作单上任务时实际携带的操作工具信息。工具图像是指已携带操作工具对应的图像。已携带工具可以理解为机器人设备提取的工具信息。

需要说明的是，可以在目标用户执行操作任务之前，可以预先在工具室中获取执行该任务所需的操作工具，可以将这些操作工具作为已携带操作工具，进而可以利用摄像装置对用户已携带的操作工具进行拍摄，生成拍摄图像，即工具图像。进一步的，可以利用算法对拍摄的工具图像进行分析处理，如，图像识别，可以利用图像识别算法识别工具图像中的工具特征数据，可以将该数据作为已携带工具数据，即认为机器人设备得到了已携带工具信息。

具体的，可以利用摄像装置拍摄与目标用户相对应的已携带操作工具的工具图像，并可以通过利用图像识别算法对工具图像进行分析处理，识别出已携带工具。

S230、通过所述待使用操作工具和所述已携带工具，确定操作是否满足预设要求，以在满足所述预设要求时，获取与所述目标用户相对应的实际操作图像。

其中，预设要求可以理解为预设的、满足操作工具条件的要求，如，可以为操作工具的齐全性要求，也可以为操作工具的合格性要求。

需要说明的是，待使用操作工具可以为执行操作单中操作任务所需使用的操作工具，进一步的，可以利用算法检测目标用户在工具室中获取的已携带工具是否与待使用操作工具相一致，即已携带工具是否满足待使用操作工具对应的条件要求，若是，则可以说明目标用户可以在待使用操作工具准备齐全、合格的条件下进行任务操作，进而可以在满足要求时，获取与目标用户相对应的实际操作图像。

具体的，可以利用匹配算法将待使用操作工具和已携带工具信息进行匹配，进而可以计算出已携带工具信息是否满足待使用操作工具的预设要求，如，机器人可以利用AI算法将待使用操作工具和已携带工具信息进行匹配处理，判断已携带工具是否合格、齐全，若是，则满足预设要求，进而获取与目标用户相对应的实际操作图像。以便后续可以使目标用户在工具齐全、且保证安全的情况下进行操作，提高机器人监控的有效性。

S240、接收预先导入的至少一个操作单，并根据所述至少一个操作单确定操作流信息。

需要说明的是，在所述接收预先导入的至少一个操作单，并根据所述至少一个操作单确定操作流信息之前，还可以对实际操作位置信息、对应的操作场景的全局图像、操作所需的设备信息以及温度信息进行检测，检测这些信息是否满足预设条件要求，如，可以检测该操作位置信息与操作节点的操作内容中对应的操作位置信息是否一致、操作场景的全局图像与与操作节点的操作内容中对应的全局图像是否一致、操作所需的设备信息与操作节点的操作内容中对应的设备信息是否一致、操作所需的温度信息与操作节点的操作内容中对应的温度信息是否一致以及操作所需的设备的测试结果信息与操作节点的操作内容中对应的设备的测试结果信息是否一致等等。

可选的，在所述接收预先导入的至少一个操作单，并根据所述至少一个操作单确定操作流信息之前，还包括：基于定位模块确定当前位置信息、基于图像采集模块采集当前位置的全局图像、基于红外检测模块确定当前位置所对应的至少一个设备信息、基于温度采集模块确定目标区域中至少一个设备的温度信息、基于局部放电检测模块确定当前设备的测试信息；若所述当前位置信息、所述全局图像、所述设备信息所述温度信息以及测试信息均满足相应的预设处理条件，则获取与所述目标用户相对应的实际操作图像。

其中，定位模块可以理解为存储预设定位算法的模块，可以用于对位置信息进行定位处理。图像采集模块可以理解为存储预设图像采集算法的模块，可以用于采集图像数据。全局图像可以理解为操作单中任务对应场景的全景图像，如，操作单为目标区域A所对应的操作单，那么全景图像可以是目标区域A的图像，以根据全景图像，确定目标用户当前是否在目标区域A所对应的基站进行数据采集处理。红外检测模块可以理解为存储预设红外检测算法的模块，用于对设备信息进行检测。温度采集模块可以理解为存储预设温度采集算法的模块，可以用于采集温度数据。局部放电检测模块可以是集成检测放电设备、数据处理设备以及故障指示设备的模块，可以用于检测各设备中的电压、电流等数据，还可以生成各检测数据的测试结果信息，并可以基于各测试结果是否满足预设设备测试结果，生成故障指示信息，如，各测试结果满足预设设备测试结果，故障指示为正常，若各测试结果不满足预设设备测试结果，故障指示为出现故障。预设处理条件可以理解为预设的、位置信息、全局图像、设备信息、温度信息以及测试信息要求的条件，如，该处理条件可以为预设的位置信息对比条件、全局图像对比条件、设备信息对比条件、温度信息对比条件以及设备测试结果信息条件等。需要说明的是，全局图像中可以包含若干个局部子图像，可以将每一个局部子图像区域信息均作为一个目标区域。

还需要说明的是，定位模块、图像采集模块、红外检测模块、温度采集模块以及局部放电检测模块均可以预设在机器人设备中，同时还可以利用数据接口将这四个模块之间相互建立连接，以便可以通过接口实现模块之间的数据传输。

具体的，可以利用定位模块采集目标用户当前操作的工作位置信息，可以为操作的实验室位置信息，进而，可以利用算法将该位置信息与数据库中存储的操作单上对应的位置信息进行比对处理，判断用户当前操作的工作位置是否与操作单上对应的位置信息相一致，若是，则满足位置处理条件。还可以利用图像采集模块采集目标用户当前操作的工作位置对应的全局图像，可以为实验室的全局图像，图像中可以包括实验室中设备信息、器具信息以及人员信息等等，进而，可以利用算法将该全局图像与数据库中存储的操作单上对应的位置的全局图像信息进行比对处理，判断用户当前操作的工作位置图像是否与操作单上对应的位置图像信息相一致，若是，则满足图像处理条件。还可以利用红外检测模块采集目标用户当前工作位置中对应的设备信息，可以为实验室中每一个设备信息，如，可以利用红外测温技术检查当前工作位置的周边环境障碍物，可以将各障碍物信息作为设备信息，进而，可以利用算法将各设备信息与数据库中存储的操作单上对应的位置的设备信息进行比对处理，判断用户当前操作的工作位置对应的设备信息是否与操作单上对应的设备信息相一致，若是，则满足设备处理条件。还可以利用温度采集模块采集目标区域中各设备对应的温度信息，进而，可以利用算法将各温度信息与数据库中存储的操作单上对应的设备信息的温度信息进行比对处理，判断实验室中各设备的温度信息是否与操作单上对应的设备的温度信息相一致，若是，则满足温度处理条件。还可以利用局部放电检测模块采集每一个设备对应的电流、电压数据信息，进而，可以利用数据处理算法对各数据信息进行处理，生成各数据对应的测试结果，判断各设备对应的测试结果是否与操作单上各设备对应的测试结果相一致，若是，则满足设备测试结果信息条件。进而可以在满足正常安全操作要求时，获取目标用户相对应的实际操作图像。

需要说明的是，在操作人员执行某个操作单的过程中，也可以基于局部放电检测模块实时生成操作单中各设备对应的设备测试结果，进而可以生成设备测试结果对应的故障指示信息，在设备测试结果不满足预设设备测试结果时，可以将该设备测试结果对应的故障指示信息对接到报警系统，发出预警信息。

S250、获取目标用户对所述操作流信息中每个操作节点的实际操作图像，并通过对所述实际操作图像分析处理，确定所述目标用户的实际操作信息。

S260、当所述实际操作信息和相应操作节点的理论操作信息相一致，则确定所述目标用户的当前操作为合规操作。

本实施例的技术方案，通过利用机器人设备接收操作单，并根据操作单确定操作流信息，同时利用摄像装置获取目标用户对操作流信息中每个操作节点的实际操作图像，并通过对实际操作图像分析处理，确定目标用户的实际操作信息，当实际操作信息和相应操作节点的理论操作信息相一致时，则确定目标用户的当前操作为合规操作，若实际操作信息与理论操作信息不匹配时，则基于预警模块及时发送预警信息。解决了现有技术中需要依靠用户的主观性，导致主观判断失误无法对用户的操作进行正误判断，导致错误操作提示不及时的问题，实现了基于机器人设备对操作人员的操作场景以及操作行为进行实时监控，并在操作人员操作有误时，及时进行提醒，以便操作人员及时做出整改操作，提高了监控效率，减少了人力成本的消耗，同时还降低了因监控不及时导致操作事故的发生，达到实时监控的技术效果。

实施例三

作为上述实施例的一可选实施例，图3为本发明实施例三提供的一种操作监控方法的流程示意图，具体的可以参见下述具体内容。

如图3所示，可以将本发明实施例的技术方案应用于机器人中进行说明。需要说明的是，该机器人可以是集成AI算法物品识别技术、语音识别技术、红外测温技术以及若干AI算法融合技术的视频监控设备，可以将该视频监控设备构造成一个具有判断功能的智能化机器人设备，其中，AI算法物品识别技术可以是具有识别障碍物、智能识别物体状态以及缺陷功能的技术。

示例性的，可以将操作票提前导入机器人中，由机器人接收并识别操作票，操作人可以携带该机器人，并在工器具房领用安全操作工器具和着装，进而机器人可以利用AI算法智能检查操作人领用的安全操作工器具是否合格、齐全、着装是否满足预设要求，若不满足预设要求，则可以要求操作人返回操作准备工作阶段，重新领取领用安全操作工器具、着装；若满足预设要求，机器人可以进行现场确认，即可以通过AI算法、红外测温技术检查周边环境障碍物、设备温度等核实工作位置是否满足预设工作条件，也就是说，是否满足正常安全操作要求，若不满足，则操作任务终结；若满足，操作人可以在正常、安全情况下进行操作票中任务操作。进一步的，可以按照操作票步骤，机器人做监护人，工作人员做操作人，按操作票步骤发令唱票复诵，进而机器人可以通过AI算法识别操作位置、通过语音识别技术识别操作人语音与操作票的上数据信息是否一致以及通过AI算法识别操作人员操作的是否正确，同时还可以通过实时监控视频和机器人判断信息传输至监控视频后台，若判断为否，则操作有误，现场发出报警提出整改，操作人仍未做出整改机器人发出报警并责令终止操作并将报警声上传至视频监控后台，由后台人员进行警告；若判断为是，则操作无误，直至操作结束。进一步的，机器人还可以监督操作人完成收尾工作，如，关好箱门、整理工器具以及将工器具归还工具室，进而机器人可以通过AI算法智能检查判断收尾工作是否满足完成要求，若否，则机器人判断操作人未按要求收尾，进而可以发出警报提醒整改，如果操作人仍未做出整改机器人发出报警并责令终止操作并将报警声上传至视频监控后台；若是，则该操作任务终结。

本实施例的技术方案，通过利用机器人设备接收操作单，并根据操作单确定操作流信息，同时利用摄像装置获取目标用户对操作流信息中每个操作节点的实际操作图像，并通过对实际操作图像分析处理，确定目标用户的实际操作信息，当实际操作信息和相应操作节点的理论操作信息相一致时，则确定目标用户的当前操作为合规操作，若实际操作信息与理论操作信息不匹配时，则基于预警模块及时发送预警信息。解决了现有技术中需要依靠用户的主观性，导致主观判断失误无法对用户的操作进行正误判断，导致错误操作提示不及时的问题，实现了基于机器人设备对操作人员的操作场景以及操作行为进行实时监控，并在操作人员操作有误时，及时进行提醒，以便操作人员及时做出整改操作，提高了监控效率，减少了人力成本的消耗，同时还降低了因监控不及时导致操作事故的发生，达到实时监控的技术效果。

实施例四

图4为本发明实施例四提供的一种操作监控装置的结构框图。该装置包括：操作流信息确定模块410、实际操作信息确定模块420和合规操作确定模块430。

其中，操作流信息确定模块410，用于接收预先导入的至少一个操作单，并根据所述至少一个操作单确定操作流信息；其中，所述操作流信息中包括至少一个操作节点的操作顺序和操作内容；实际操作信息确定模块420，用于获取目标用户对所述操作流信息中每个操作节点的实际操作图像，并通过对所述实际操作图像分析处理，确定所述目标用户的实际操作信息；合规操作确定模块430，用于当所述实际操作信息和相应操作节点的理论操作信息相一致，则确定所述目标用户的当前操作为合规操作。

本实施例的技术方案，通过利用机器人设备接收操作单，并根据操作单确定操作流信息，同时利用摄像装置获取目标用户对操作流信息中每个操作节点的实际操作图像，并通过对实际操作图像分析处理，确定目标用户的实际操作信息，当实际操作信息和相应操作节点的理论操作信息相一致时，则确定目标用户的当前操作为合规操作，若实际操作信息与理论操作信息不匹配时，则基于预警模块及时发送预警信息。解决了现有技术中需要依靠用户的主观性，导致主观判断失误无法对用户的操作进行正误判断，导致错误操作提示不及时的问题，实现了基于机器人设备对操作人员的操作场景以及操作行为进行实时监控，并在操作人员操作有误时，及时进行提醒，以便操作人员及时做出整改操作，提高了监控效率，减少了人力成本的消耗，同时还降低了因监控不及时导致操作事故的发生，达到实时监控的技术效果。

在上述装置的基础上，可选的是，所述操作流信息确定模块410包括，操作流信息确定单元。

操作流信息确定单元，用于根据接收所述至少一个操作单的接收时刻，确定对所述至少一个操作单的处理顺序，并根据所述处理顺序确定与所述至少一个操作单相对应的操作流信息。

在上述装置的基础上，可选的是，所述实际操作信息确定模块420，包括实际操作图像确定单元和实际操作信息确定单元。

实际操作图像确定单元，用于根据所述操作流信息中的操作顺序将当前操作内容进行播报，并在接收到所述目标用户的语音反馈信息时，基于摄像装置拍摄包括目标用户实际操作信息的实际操作图像；

实际操作信息确定单元，用于基于图像处理模块识别所述实际操作图像中的实际操作信息。

在上述装置的基础上，可选的是，所述合规操作确定模块430，包括理论操作信息确定单元和合规操作确定单元。

理论操作信息确定单元，用于根据所述操作节点所对应的操作内容从数据库中调取与所述操作内容相匹配的理论操作信息；

合规操作确定单元，用于若所述实际操作信息与理论操作信息相匹配，则确定所述目标用户的当前操作为合规操作。

在上述装置的基础上，可选的是，所述装置，还包括预警信息发送模块。

预警信息发送模块具体用于，若所述实际操作信息与所述理论操作信息不匹配，则基于预警模块发送预警信息，并向目标操作平台发送预警信息。

在上述装置的基础上，可选的，所述装置还包括实际操作图像确定模块。其中，实际操作图像确定模块包括，待使用操作工具确定单元、已携带工具确定单元和实际操作图像确定单元。

待使用操作工具确定单元，用于确定与所述至少一个操作单相对应的待使用操作工具；

已携带工具确定单元，用于拍摄与所述目标用户相对应的已携带操作工具的工具图像，并通过对所述工具图像分析处理，确定已携带工具；

实际操作图像确定单元，用于通过所述待使用操作工具和所述已携带工具，确定操作是否满足预设要求，以在满足所述预设要求时，获取与所述目标用户相对应的实际操作图像。

在上述装置的基础上，可选的，所述装置还包括预设处理条件满足模块。其中，预设处理条件满足模块包括，条件信息确定单元和预设处理条件满足单元。

条件信息确定单元，用于基于定位模块确定当前位置信息、基于图像采集模块采集当前位置的全局图像、基于红外检测模块确定当前位置所对应的至少一个设备信息、基于温度采集模块确定目标区域中至少一个设备的温度信息；

预设处理条件满足单元，用于若所述当前位置信息、所述全局图像、所述设备信息以及所述温度信息均满足相应的预设处理条件，则获取与所述目标用户相对应的实际操作图像。

本发明实施例所提供的操作监控装置可执行本公开任意实施例所提供的操作监控方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。

实施例五

图5为本发明实施例四提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施例实施方式的示例性电子设备50的框图。图5显示的电子设备50仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，电子设备50以通用计算设备的形式表现。电子设备50的组件可以包括但不限于：一个或者多个处理器或者处理单元501，系统存储器502，连接不同系统组件(包括系统存储器502和处理单元501)的总线503。

总线503表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备50典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备50访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器502可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)504和/或高速缓存存储器505。电子设备50可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统506可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线503相连。存储器502可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块507的程序/实用工具508，可以存储在例如存储器502中，这样的程序模块507包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块507通常执行本发明所描述的实施例中的功能和/或方法。

电子设备50也可以与一个或多个外部设备509(例如键盘、指向设备、显示器510等)通信，还可与一个或者多个使得用户能与该电子设备50交互的设备通信，和/或与使得该电子设备50能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口511进行。并且，电子设备50还可以通过网络适配器512与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器512通过总线503与电子设备50的其它模块通信。应当明白，尽管图5中未示出，可以结合电子设备50使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元501通过运行存储在系统存储器502中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的操作监控方法。

实施例六

本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种操作监控方法。该方法包括：

接收预先导入的至少一个操作单，并根据所述至少一个操作单确定操作流信息；其中，所述操作流信息中包括至少一个操作节点的操作顺序和操作内容；

获取目标用户对所述操作流信息中每个操作节点的实际操作图像，并通过对所述实际操作图像分析处理，确定所述目标用户的实际操作信息；

当所述实际操作信息和相应操作节点的理论操作信息相一致，则确定所述目标用户的当前操作为合规操作。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种操作监控方法，其特征在于，应用于机器人中，包括：

接收预先导入的至少一个操作单，并根据所述至少一个操作单确定操作流信息；其中，所述操作流信息中包括至少一个操作节点的操作顺序和操作内容；

获取目标用户对所述操作流信息中每个操作节点的实际操作图像，并通过对所述实际操作图像分析处理，确定所述目标用户的实际操作信息；

当所述实际操作信息和相应操作节点的理论操作信息相一致，则确定所述目标用户的当前操作为合规操作。

2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个操作单确定操作流信息，包括：

根据接收所述至少一个操作单的接收时刻，确定对所述至少一个操作单的处理顺序，并根据所述处理顺序确定与所述至少一个操作单相对应的操作流信息。

3.根据权利要求1所述的方法，其特征在于，所述获取目标用户对所述操作流信息中每个操作节点的实际操作图像，并通过对所述实际操作图像分析处理，确定所述目标用户的实际操作信息，包括：

根据所述操作流信息中的操作顺序将当前操作内容进行播报，并在接收到所述目标用户的语音反馈信息时，基于摄像装置拍摄包括目标用户实际操作信息的实际操作图像；

基于图像处理模块识别所述实际操作图像中的实际操作信息。

4.根据权利要求1所述的方法，其特征在于，所述当所述实际操作信息和相应操作节点的理论操作信息相一致，则确定所述目标用户的当前操作为合规操作，包括：

根据所述操作节点所对应的操作内容从数据库中调取与所述操作内容相匹配的理论操作信息；

若所述实际操作信息与理论操作信息相匹配，则确定所述目标用户的当前操作为合规操作。

5.根据权利要求1所述的方法，其特征在于，还包括：

若所述实际操作信息与所述理论操作信息不匹配，则基于预警模块发送预警信息，并向目标操作平台发送预警信息。

6.根据权利要求1所述的方法，其特征在于，在所述获取目标用户对所述操作流信息中每个操作节点的实际操作图像，并通过对所述实际操作图像分析处理，确定所述目标用户的实际操作信息之前，还包括：

确定与所述至少一个操作单相对应的待使用操作工具；

拍摄与所述目标用户相对应的已携带操作工具的工具图像，并通过对所述工具图像分析处理，确定已携带工具；

通过所述待使用操作工具和所述已携带工具，确定操作是否满足预设要求，以在满足所述预设要求时，获取与所述目标用户相对应的实际操作图像。

7.根据权利要求1所述的方法，其特征在于，在所述接收预先导入的至少一个操作单，并根据所述至少一个操作单确定操作流信息之前，还包括：

基于定位模块确定当前位置信息、基于图像采集模块采集当前位置的全局图像、基于红外检测模块确定当前位置所对应的至少一个设备信息、基于温度采集模块确定目标区域中至少一个设备的温度信息、基于局部放电检测模块确定当前设备测试信息；

若所述当前位置信息、所述全局图像、所述设备信息、所述温度信息以及所述设备测试信息均满足相应的预设处理条件，则获取与所述目标用户相对应的实际操作图像。

8.一种操作监控装置，其特征在于，包括：

操作流信息确定模块，用于接收预先导入的至少一个操作单，并根据所述至少一个操作单确定操作流信息；其中，所述操作流信息中包括至少一个操作节点的操作顺序和操作内容；

实际操作信息确定模块，用于获取目标用户对所述操作流信息中每个操作节点的实际操作图像，并通过对所述实际操作图像分析处理，确定所述目标用户的实际操作信息；

合规操作确定模块，用于当所述实际操作信息和相应操作节点的理论操作信息相一致，则确定所述目标用户的当前操作为合规操作。

9.一种电子设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的操作监控方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的操作监控方法。

Images