CN115033503B - 一种基于增强现实的设备控制方法 - Google Patents

Abstract

本发明公开了一种基于增强现实的设备控制方法，将操作和执行分离开来，通过AR眼镜对设备进行投影、数据填充和操作，同时将一个上位机和与之对应的设备封装为一个设备控制端，采用设备控制端接受AR眼镜的控制指令并其转化成相应的控制指令实现对设备控制。AR眼镜无需加载各类的机床控制程序，只需采用统一通用的控制方法，将通用控制指令发送给设备控制端即可实现控制，解决了AR眼镜内存不足导致的延时、卡顿等问题；而针对不同的控制方式的设备，无需在眼镜端进行繁琐的配置与开发，只需要对多设备控制端的上位机中继承眼镜的通用指令接口进行开发即可。

Description

一种基于增强现实的设备控制方法

技术领域

本发明涉及自动化设备的智能控制领域，尤其涉及一种基于增强现实的设备控制方法。

背景技术

增强现实（AR：Augmented Reality）技术是近二十年出现的新兴技术。随着信息化、自动化技术的发展，具有自动化控制的设备数量日益增加，设备的控制及监控指令变得更加复杂，设备相关的实时信息量也大幅增加。但是现阶段对自动化设备的人机交互方法仍沿用着40年前的操作方式，虽然采用了更大的显示屏幕、操作控制面板，以及触控输入等多种方式，但主要采用的控制方式并没有改变。人机交互方式仍停留在二维交互界面上，具体来说主要包括通过固定或手持式的控制面板实现控制。

在实际生产过程中，采用现有的控制方式往往会产生操作不便等各类问题。具体来说，在大规模制造车间内，很多设备由于体积较大，单人操作时往往由于行动受阻、视线受阻等原因不便操作，往往需要其他操作人员的协助才能完成生产加工。在协助过程中，人员之间往往通过声音进行协作配合，这种工作方式往往要求操作人员有较高的素质和经验，增加了人力成本。同时在生产作业车间这种声音嘈杂、人员众多的环境中采用声音等方式进行协作，工作效率较低、也容易出现技术安全事故。这就亟需一种能够跟随操作人员移动的控制平台，解决大型设备单人操作不便的问题。将现有的AR增强显示技术和自动化控制相关的多智能体技术结合能够很好的解决这一问题。因此，本专利融合上述两种技术提出了一种基于增强现实的随身控制平台。

专利申请号201810514807 .5，描述了一种适用于CPS自动化控制系统的增强现实人机交互系统，基于CPS自动化控制系统而实现，采用AR控制装置识别目标CPS设备具备的唯一身份标识，利用CPS网络实时采集、显示相应目标CPS设备的真实场景，并建立相应目标CPS设备的AR影像与真实场景的三维位置匹配关联。但是只是展示CPS系统的实时数据，不能够对实现对CPS设备的控制功能，不能达到人机交互系统的要求。由于AR眼镜的内存资源有限，在AR眼镜内运行CPS设备的控制程序会使控制指令产生延时，不能满足工业生产的需求，所以其并没有实现对CPS设备的控制。

底层自动化设备的控制器种类繁多且通讯协议也互不相同，针对不同设备需要采用不同的控制程序实现控制，包括采用TCP、UDP以及制造厂家提供的应用程序开发包（SDK）进行开发。由于一个生产作业车间往往包括多种自动化控制设备，使用AR眼镜控制设备时，需要同时加载多个控制器程序。但是AR眼镜的内存空间有限，又要同时对相机拍摄的照片进行运算处理与向空间进行UI界面的投影，这就需要消耗大量的内存资源。如果同时加载多个线程用于控制多台自动化设备，就不可避免地会造成控制的延迟卡顿等情况，而对精度、安全等问题要求较高的生产环境不能允许这类情况的发生。

发明内容

本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种基于增强现实的设备控制方法。

本发明为解决上述技术问题采用以下技术方案：

一种基于增强现实的设备控制方法，包含以下步骤：

步骤1），AR眼镜通过摄像头识别设备的QR码，解析设备的QR码得到以下设备信息：设备控制端的IP地址、设备类型；

步骤2），根据解析获得的设备类型，检索预先设定的存储有各种设备类型UI界面的UI类库，找到和该设备类型匹配的UI界面；

步骤3），AR眼镜加载UI界面，并通过设备控制端的IP地址与设备控制端建立socket通讯连接；

步骤4），用户在加载的UI界面上进行操作，触发指令；

步骤5），AR眼镜将触发的控制指令被封装为YAML格式的通用控制指令，通过socket通讯传输至该设备控制端；若socket通讯传输失败，则将封装后的通用控制指令存入规定地址的数据库，设备控制端则在检测到当前socket通讯连接断开后通过读数据库的方式获得该通用控制指令；

步骤6），设备控制端接收通用控制指令后，对其进行解析，并根据预设的指令和函数对照表调用相应的接口函数对设备进行操控；

步骤7），如果执行指令时设备产生反馈数据，设备控制端则将反馈数据封装成通用数据传输格式，通过socket通讯反馈给AR眼镜端，如果socket通讯传输失败，设备控制端将反馈数据存入数据库，AR眼镜则在检测到socket断开后通过读数据库的方式获得反馈数据；

步骤8），AR眼镜如果接收到反馈数据，对其进行解析，将解析得到的反馈数据填充至已投影的UI界面中。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1. 采用增强现实技术，车间作业人员只需佩戴AR眼镜就可以在投影界面上实现对底层设备的控制，解决了采用传统机床操作面板导致的行动受阻、视线受阻、需要多人协作的不便的情况，只要单人就能实现对设备的控制，大大降低了对人员的技术要求与安全事故，提高了生产效率；

2. 采用设备控制端实现对设备的封装及控制，设备控制端负责接受AR眼镜的控制指令，并转化成相应的控制指令实现对设备控制；AR眼镜无需加载各类的机床控制程序，只需采用统一通用的控制方法，将通用控制指令发送给设备控制端即可实现控制，解决了AR眼镜内存不足导致的延时、卡顿等问题；

3. 自由扩展：针对不同的控制方式的设备，无需在眼镜端进行繁琐的配置与开发，只需要对多设备控制端的上位机中继承眼镜的通用指令接口进行开发即可。

附图说明

图1是本发明中通用控制指令接口解析通用控制指令的流程图；

图2是本发明中封装后通用数据传输格式的示意图；

图3是本发明实现的模块架构示意图；

图4是本发明中AR眼镜监控场景的示意图；

图5是本发明中AR眼镜的工作流程示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。在附图中，为了清楚起见放大了组件。

本发明公开了一种基于增强现实的设备控制方法，包含以下步骤：

步骤1），AR眼镜通过摄像头识别设备的QR码，解析设备的QR码得到以下设备信息：设备控制端的IP地址、设备类型；

步骤2），根据解析获得的设备类型，检索预先设定的存储有各种设备类型UI界面的UI类库，找到和该设备类型匹配的UI界面；

步骤3），AR眼镜加载UI界面，并通过设备控制端的IP地址与设备控制端建立socket通讯连接；

步骤4），用户在加载的UI界面上进行操作，触发指令；

步骤5），AR眼镜将触发的控制指令被封装为YAML格式的通用控制指令，通过socket通讯传输至该设备控制端；若socket通讯传输失败，则将封装后的通用控制指令存入规定地址的数据库，设备控制端则在检测到当前socket通讯连接断开后通过读数据库的方式获得该通用控制指令；

步骤6），设备控制端接收通用控制指令后，对其进行解析，并根据预设的指令和函数对照表调用相应的接口函数对设备进行操控；

步骤7），如果执行指令时设备产生反馈数据，设备控制端则将反馈数据封装成通用数据传输格式，通过socket通讯反馈给AR眼镜端，如果socket通讯传输失败，设备控制端将反馈数据存入数据库，AR眼镜则在检测到socket断开后通过读数据库的方式获得反馈数据；

步骤8），AR眼镜如果接收到反馈数据，对其进行解析，将解析得到的反馈数据填充至已投影的UI界面中。

操作人员最终通过AR眼镜提供的虚拟界面实现设备状态观测和设备控制。

所述的通用控制指令包括：连接、读、写，采用yaml格式封装。

如图1所示，采用通用控制指令接口对各类指令进行封装，虽然各类设备具体的连接、读写方式不同，但都需要进行一些通用的前处理和后处理等，包括指令解析，垃圾回收，故障清除、日志信息，通用控制指令接口对此部分进行封装，避免重复。图2则是封装后通用数据传输格式的示意图。

本发明在实际使用中，涉及AR眼镜端和多个设备控制端，如图3所示。AR眼镜控制端进一步分为：影像获取模块、UI监控模块、信息传输模块，设备控制端进一步分为：设备适配模块、信息处理模块、信息传输模块。

影像获取模块用于根据设备的唯一身份标识获取设备的基本信息，从设备类库中加载对应的UI控制界面及程序，加载后的监控场景如图4所示。AR眼镜端的信息传输模块用于根据所获得的信息与设备控制端建立消息通讯，在此基础上便可实现AR眼镜端控制指令和设备控制端反馈数据的相互传输。UI监控模块用于发送控制指令和接受显示反馈数据。图5为AR眼镜的工作流程示意图。

信息传输模块用于接收AR眼镜端的控制指令；信息处理模块用于将指令解析为目标设备的控制指令；设备适配模块用于调用目标设备的控制指令以实现控制。同时，信息处理模块还负责将实时采集的设备的状态数据转化为通用的数据传输格式，并通过信息传输模块发送给AR眼镜端。

本发明提供了一种基于增强现实的设备控制方法，实现了AR眼镜对底层设备的控制方法，该方法内存占用量较小，可以保证多个线程的同时运行，不会出现延时卡顿等情况，符合工业生产场景的较高传输效率的要求。设备控制端系统多用于底层车间的生产调度，一般将一个上位机和与之对应的设备封装为一个设备控制端，每个设备控制端是一个单独的控制单元，能够实现对设备的控制以及和其他设备控制端进行消息通讯的功能。本方法通过AR眼镜将通用控制指令发送给设备控制端，不同的设备控制端解析控制指令后调用适用于本设备的控制程序实现对设备的控制。通过多设备控制端技术屏蔽了底层控制方式的差异，AR眼镜只专注于处理UI界面与设备控制端之间的通讯交互，极大的减轻了运行内存，能够实现即时通讯。而设备控制端则专注于解析AR眼镜的通用控制指令，与处理设备的控制方式。由于上位机不需要进行大量的图形运算，而且只专注于一台或几台设备的控制，能提供足够的带宽和内存，不会出现延迟卡顿的情况。扩展新的设备，也只需要在上位机中继承眼镜开发的接口进行开发即可，避免了在眼镜中繁琐的配置，实现了自由扩展。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于增强现实的设备控制方法，其特征在于，包含以下步骤：

步骤1），AR眼镜通过摄像头识别设备的QR码，解析设备的QR码得到以下设备信息：设备控制端的IP地址、设备类型；

步骤2），根据解析获得的设备类型，检索预先设定的存储有各种设备类型UI界面的UI类库，找到和该设备类型匹配的UI界面；

步骤3），AR眼镜加载UI界面，并通过设备控制端的IP地址与设备控制端建立socket通讯连接；

步骤4），用户在加载的UI界面上进行操作，触发指令；

步骤5），AR眼镜将触发的控制指令被封装为YAML格式的通用控制指令，通过socket通讯传输至该设备控制端；若socket通讯传输失败，则将封装后的通用控制指令存入规定地址的数据库，设备控制端则在检测到当前socket通讯连接断开后通过读数据库的方式获得该通用控制指令；

步骤6），设备控制端接收通用控制指令后，对其进行解析，并根据预设的指令和函数对照表调用相应的接口函数对设备进行操控；

步骤7），如果执行指令时设备产生反馈数据，设备控制端则将反馈数据封装成通用数据传输格式，通过socket通讯反馈给AR眼镜端，如果socket通讯传输失败，设备控制端将反馈数据存入数据库，AR眼镜则在检测到socket断开后通过读数据库的方式获得反馈数据；

步骤8），AR眼镜如果接收到反馈数据，对其进行解析，将解析得到的反馈数据填充至已投影的UI界面中。