CN113393536B

CN113393536B - 基于ar眼镜的远程运维指导控制系统及方法

Info

Publication number: CN113393536B
Application number: CN202110752473.7A
Authority: CN
Inventors: 吕新伟; 王加辉
Original assignee: Tmva Shanghai Network Technology Co ltd
Current assignee: Tmva Shanghai Network Technology Co ltd
Priority date: 2021-07-03
Filing date: 2021-07-03
Publication date: 2023-01-10
Anticipated expiration: 2041-07-03
Also published as: CN113393536A

Abstract

本申请涉及一种基于AR眼镜的远程维护指导系统和方法，系统包括现场维护端和远程指导端，现场维护端包括现场图像采集件、现场信息提示件和现场处理器；远程指导端包括远程图像显示件、远程指令录入件和远程处理器，远程指令录入件包括目标图像选定模块，其基于用户指令动作标定远程图像显示件中所显示的至少一个图像信息并输出；远程处理器接收图形信息，基于设定算法对上述图像信息进行处理，输出图像标定信号；现场图像采集件包括：图像采集模块，电动云台模块，和控制信号生成模块。本申请具有能够保证图像采集质量，便于远程维护工程师对设备故障位点辨识，从而利于远程维护工程师分析故障原因并就故障位点作出相应的指导的效果。

Description

基于AR眼镜的远程运维指导控制系统及方法

技术领域

本申请涉及远程控制技术领域，尤其是涉及一种基于AR眼镜的远程运维指导控制系统及方法。

背景技术

当前，设备生产商与设备用户通常不在一个地区，当生产设备出现故障时往往需要设备制造商派专人赶赴生产基地进行设备的维护与检修，上述方式费时费力。

为了方便设备制造商对生产设备进行远程维护，现有技术中出现了以AR技术为核心的远程运维系统，如专利申请号为CN109683566A的中国专利，公开了一种基于互联网和AR技术的设备远程运维系统及方法，其方案在于利用AR眼镜的现实增强功能以及语音交互等功能实现现场维护人员与设备制造商之间的远程信息交互，由此可以实现设备的远程精准化维护指导。但是，发明人在实践中发现，上述方法在实施过程中还存在许多不足之处，例如，现场维护人员对设备进行维护时，会通过加设在AR眼镜上的摄像装置摄取维护现场的实时图像，而后经远程通信网络传输至远端的设备制造商。由于现场维护人员在工作时会根据需要调整自身的位置姿态，由此使得佩戴于现场维护人员身上的摄像装置所摄取的图像往往是晃动的，上述现象对远端的设备制造商会产生极大的干扰，不利于设备制造商的工程师分析故障原因并就故障位点作出相应的指导。

发明内容

针对于现有技术中利用AR技术进行设备远程维护时不能保证图像采集质量，导致远程维护工程师对设备故障位点辨识困难，不利于远程维护工程师分析故障原因并就故障位点作出相应的指导这一问题。本申请目的一提出了基于AR眼镜的远程运维指导控制系统，基于上述系统，可以有效消除由于现场维护人员身体晃动所造成的远程维护工程师图像画面抖动这一问题，能够大幅提升远程维护的效率。

本申请提出的一种基于AR眼镜的远程运维指导控制系统，具体方案如下：

一种基于AR眼镜的远程运维指导控制系统，包括现场维护端以及远程指导端，所述现场维护端包括现场图像采集件、现场信息提示件以及现场处理器；所述远程指导端包括远程图像显示件、远程指令录入件以及远程处理器；

所述远程指令录入件包括目标图像选定模块，其基于用户指令动作标定远程图像显示件中所显示的至少一个图像信息并输出；所述远程处理器接收所述图像信息，基于设定算法对上述图像信息进行处理，输出图像标定信号；

所述现场图像采集件包括：

图像采集模块，包括摄像机，用于采集并输出图像信息；

电动云台模块，包括用于安装所述摄像机的安装面板以及用于承载所述安装面板的自稳传动机构，所述自稳传动机构与所述现场处理器信号连接，接收所述现场处理器输出的控制信号，控制摄像机摄取图像的聚焦位置及稳定性；

控制信号生成模块，配置于所述现场处理器中，接收所述远程处理器输出的图像标定信号，经设定算法转换为所述控制信号并输出至所述电动云台模块的自稳传动机构。

通过上述技术方案，远程维护工程师可以根据自己的需要，选定远程图像显示件中的某一图像信息进行标定，而后现场图像采集件能够将摄像机摄取图像的聚焦位置指向上述图像信息的来源并且保持拍摄的稳定性。由此远程维护工程师看到的图像信息将更为清楚，便于远程维护工程师做相关的故障分析，提升整个远程维护的效率。

可选的，控制信号生成模块还包括图像信息删减处理模块，电动云台模块在跟随人体姿态的过程中，基于摄像机现场实时拍摄连续的被测物件的图像信息，将图像信息发送至控制信号生成模块并识别标定信号中标定物的实时位移状态，且根据设定算法与远程处理器输出的图像标定信号相结合对比，删减设定时间内电动云台模块电机的转动跟随量，并输出控制信号至电动云台模块的自稳传动机构。

通过采用上述技术方案，电动云台模块在跟随人体姿态的过程中，自稳传动机构保持安装在云台上的摄像机的稳定性，但是当人体姿态在短时间内产生较多的变化时，由于摄像头的拍摄是跟随AR眼镜所处的位置以及所涉及的角度进行实时拍照的，但是控制信号生成模块经设定算法生成的控制信号输入至电动云台模块需要时间的延迟，因此电动云台模块会有一定的延时性。

可选的，控制信号生成模块还包括人体姿态预判断模块，基于摄像机现场实时拍摄连续的被测物件的图像信息，根据设定算法判断人体姿态位移的趋势，当人体姿态突然停止并有返回原姿态的趋势，控制信号生成模块根据摄像机拍摄实时图片判断得出的人体位移趋势，提前输出控制信号至电动云台模块的自稳传动机构。

通过采用上述技术方案，除了根据摄像机采集的图片进行识别标定物位置的方式判断人体姿态的骤变，还可以根据试试采集到的图片中，标定物的位移状态，判断人体姿态的位移趋势。

基于上述系统，本申请还提出的一种基于AR眼镜的远程运维指导控制方法，具体方案如下：

一种基于AR眼镜的远程运维指导控制方法，包括如下步骤：

现场维护端：图像采集模块采集现场设备的图像信息至现场处理器的控制信号生成模块，现场处理器将图像采集模块采集到的图像信息传输至远程指导端的远程处理器；

远程指导端：远程处理器获取现场维护端输入的图像信息，并根据远程指令录入件获取远程指导人员的录入的指令信息，并在远程图像显示模块中显示，并利用图像选定模块选定标定物，远程处理器输出图像标定信号至现场处理器的控制信号生成模块；

现场处理器内置的控制信号生成模块根据图像标定信号输出控制信号控制电动云台模块的自稳传动机构，控制图像采集模块聚焦标定物。

通过采用上述技术方案，现场维护端利用图像采集模块采集数据并传输至远程指导端,远程指导端的远程工程师对传输过来的图像进行分析和辨识，并判断故障点，利用图像选定模块选定图中的标定物，并将图像标定信息传输至现场维护端的现场处理器中，并控制现场维护端的电动云台模块中的自问传动机构，从而使得摄像机对准标定物，从而实现现场与远程的互联，并便于远程工程师指导现场操作人员进行故障维修。

可选的，现场处理器根据图像采集模块采集的图像信息，并结合图像标定信号，判断图像采集模块采集到的图像信息，将图像信息发送至控制信号生成模块并识别标定信号中标定物的实时位移状态，且根据设定算法与远程处理器输出的图像标定信号相结合对比，删减设定时间内电动云台模块电机的转动跟随量，并输出控制信号至电动云台模块的自稳传动机构。

可选的，现场处理器基于摄像机现场实时拍摄连续的图像信息，根据设定算法判断人体姿态位移的趋势，当人体姿态突然停止并有返回原姿态的趋势，控制信号生成模块根据摄像机拍摄实时图片判断得出的人体位移趋势，提前输出控制信号至电动云台模块的自稳传动机构。

可选的，现场信息提示件中显示远程处理器的图像标定信号，并在现场信息提示件中显示标定物的聚焦框。

通过采用上述技术方案，聚焦框有利于图像中标定物的聚焦,从而便于远程维护工程师对设备故障位点辨识。

可选的，现场信息提示件中显示远程处理器的图像标定信号，并设置有信息提示模块，可在现场信息提示件上显示远程指导端给出的文字或视频信息。

通过采用上述技术方案，现场信息提示件为了便于现场操作人员快速找到标定物,且可以根据现场提示件上的信息提示,更加方便对故障点的维修。

可选的，远程图像显示件还包括目标图像放大模块，将选定目标图像在远程图像显示件上进行放大。

通过采用上述技术方案，针对于标定物较小的情况下,采用图像放大模块,可以方便远程维护工程师更加清楚的辨识设备故障位点。

综上所述，本申请包括以下至少一种有益技术效果：

1.远程维护工程师可以对图像中的标定物标定，现场图像采集件能够将摄像机摄取图像的聚焦位置指向上述图像信息的来源并且保持拍摄的稳定性。由此远程维护工程师看到的图像信息将更为清楚，便于远程维护工程师做相关的故障分析。

附图说明

图1为本发明远程运维指导控制系统的整体示意图；

图2为本发明远程运维指导控制方法的流程示意图。

附图标记：1、现场维护端；11、现场图像采集件；111、图像采集模块；112、电动云台模块；113、控制信号生成模块；12、现场信息提示件；13、现场处理器；2、远程指导端；21、图像显示件；211、目标图像选定模块；22、远程指令录入件；23、远程处理器。

具体实施方式

以下结合附图1-2对本申请作进一步详细说明。

本申请实施例公开一种基于AR眼镜的远程运维指导控制系统。参照图1，基于AR眼镜的远程运维指导控制系统包括现场维护端1以及远程指导端2，现场维护端1包括现场图像采集件11、现场信息提示件12以及现场处理器13；远程指导端2包括远程图像显示件21、远程指令录入件22以及远程处理器23，远程指令录入件22包括目标图像选定模块211，其基于用户指令动作标定远程图像显示件21中所显示的至少一个图像信息并输出；远程处理器23接收图形信息，基于设定算法对上述图像信息进行处理，输出图像标定信号。

现场图像采集件11包括：

图像采集模块111，包括摄像机，用于采集并输出图像信息；

电动云台模块112，包括用于安装摄像机的安装面板以及用于承载安装面板的自稳传动机构，自稳传动机构与现场处理器13信号连接，接收现场处理器13输出的控制信号，控制摄像机摄取图像的聚焦位置及稳定性。自稳传动机构包括连个电机，分别控制上下和水平两个方向的运动；自稳传动机构在控制电压的作用下，做水平和垂直转动，使摄像机能在大范围内对准并摄取所需要的观察目标。按旋转角度可分为限位型和连续旋转型。当摄像机需做多方位场景监视时，应配备遥控电动云台。

控制信号生成模块113，配置于现场处理器13中，接收远程处理器23输出的图像标定信号，经设定算法转换为控制信号并输出至电动云台模块112的自稳传动机构。设定算法可以采用四元数控制算法，为自稳传动机构中的姿态更新算法，经滤波后得到自稳传动机构中电机的姿态角。

控制信号生成模块113还包括图像信息删减处理模块，电动云台模块112在跟随人体姿态的过程中，基于摄像机现场实时拍摄连续的被测物件的图像信息，将图像信息发送至控制信号生成模块113并识别标定信号中标定物的实时位移状态，且根据设定算法与远程处理器23输出的图像标定信号相结合对比，删减设定时间内电动云台模块112电机的转动跟随量，并输出控制信号至电动云台模块112的自稳传动机构。电动云台模块112在跟随人体姿态的过程中，自稳传动机构保持安装在云台上的摄像机的稳定性，但是当人体姿态在短时间内产生较多的变化时，由于摄像头的拍摄是跟随AR眼镜所处的位置以及所涉及的角度进行实时拍照的，但是控制信号生成模块113经设定算法生成的控制信号输入至电动云台模块112需要时间的延迟，因此电动云台模块112会有一定的延时性；比如，在设定的短时间内，人体姿态左摇30度，立即右摇30度，摄像机获取的图像经现场处理器13处理后得出的控制信号，一般采用标定物在图片中的位置改变来识别，一般情况下控制信号会使得电动云台也有一个跟随的过程，电动云台需要摇摆设定的角度，但是对于本方案，在设定时间内，对摄像机采集的图形进行识别和分析，删减电动云台模块112电机的转动跟随量，使得电动云台的姿态在左右方向保持不变，从而减少电动云台模块112因跟随带来的图像不聚焦的问题。

控制信号生成模块113还包括人体姿态预判断模块，基于摄像机现场实时拍摄连续的被测物件的图像信息，根据设定算法判断人体姿态位移的趋势，当人体姿态突然停止并有返回原姿态的趋势，控制信号生成模块113根据摄像机拍摄实时图片判断得出的人体位移趋势，提前输出控制信号至电动云台模块112的自稳传动机构，而不必使得电动云台模块112实时跟随人体姿态变化。

除了根据摄像机采集的图片进行识别标定物位置的方式判断人体姿态的骤变，还可以根据试试采集到的图片中，标定物的位移状态，判断人体姿态的位移趋势；比如，当人体姿态突然停止并有返回原姿态的趋势，控制信号生成模块113根据摄像机拍摄实时图片判断得出的人体位移趋势，提前输出控制信号至电动云台模块112的自稳传动机构，提前控制电动云台的偏转量，而不必使得电动云台模块112实时跟随人体姿态变化，从而使得电动云台模块112更加稳定的支撑摄像机，并有利于保持对标定物的聚焦，从而便于远程指导端2的工作人员指导操作。

本申请实施例一种基于AR眼镜的远程运维指导控制系统的实施原理为：远程维护工程师可以根据自己的需要，选定远程图像显示件21中的某一图像信息进行标定，而后现场图像采集件11能够将摄像机摄取图像的聚焦位置指向上述图像信息的来源并且保持拍摄的稳定性。由此远程维护工程师看到的图像信息将更为清楚，便于远程维护工程师做相关的故障分析，提升整个远程维护的效率。

本申请实施例还公开一种基于AR眼镜的远程运维指导控制方法。参照图2，基于上述的基于AR眼镜的远程运维指导控制系统，包括如下步骤：

现场维护端1：图像采集模块111采集现场设备的图像信息至现场处理器13的控制信号生成模块113，现场处理器13将图像采集模块111采集到的图像信息传输至远程指导端2的远程处理器23；

远程指导端2：远程处理器23获取现场维护端1输入的图像信息，并根据远程指令录入件22获取远程指导人员的录入的指令信息，并在远程图像显示模块中显示，并利用图像选定模块选定标定物，远程处理器23输出图像标定信号至现场处理器13的控制信号生成模块113；

现场处理器13内置的控制信号生成模块113根据图像标定信号输出控制信号控制电动云台模块112的自稳传动机构，控制图像采集模块111聚焦标定物。

现场处理器13根据图像采集模块111采集的图像信息，并结合图像标定信号，判断图像采集模块111采集到的图像信息，将图像信息发送至控制信号生成模块113并识别标定信号中标定物的实时位移状态，且根据设定算法与远程处理器23输出的图像标定信号相结合对比，删减设定时间内电动云台模块112电机的转动跟随量，并输出控制信号至电动云台模块112的自稳传动机构。

现场处理器13基于摄像机现场实时拍摄连续的图像信息，根据设定算法判断人体姿态位移的趋势，当人体姿态突然停止并有返回原姿态的趋势，控制信号生成模块113根据摄像机拍摄实时图片判断得出的人体位移趋势，提前输出控制信号至电动云台模块112的自稳传动机构。电动云台模块112在跟随人体姿态的过程中，自稳传动机构保持安装在云台上的摄像机的稳定性，但是当人体姿态在短时间内产生较多的变化时，由于摄像头的拍摄是跟随AR眼镜所处的位置以及所涉及的角度进行实时拍照的，但是控制信号生成模块113经设定算法生成的控制信号输入至电动云台模块112需要时间的延迟，因此电动云台模块112会有一定的延时性；比如，在设定的短时间内，人体姿态左摇30度，立即右摇30度，摄像机获取的图像经现场处理器13处理后得出的控制信号，一般采用标定物在图片中的位置改变来识别，一般情况下控制信号会使得电动云台也有一个跟随的过程，电动云台需要摇摆设定的角度，但是对于本方案，在设定时间内，对摄像机采集的图形进行识别和分析，删减电动云台模块112电机的转动跟随量，使得电动云台的姿态在左右方向保持不变，从而减少电动云台模块112因跟随带来的图像不聚焦的问题。

现场信息提示件12中显示远程处理器23的图像标定信号，并在现场信息提示件12中显示标定物的聚焦框。

现场信息提示件12中显示远程处理器23的图像标定信号，并设置有信息提示模块，可在现场信息提示件12上显示远程指导端2给出的文字或视频信息。

远程图像显示件21还包括目标图像放大模块，将选定目标图像在远程图像显示件21上进行放大。

本申请实施例一种基于AR眼镜的远程运维指导控制方法的实施原理为：远程维护工程师可以根据自己的需要，选定远程图像显示件21中的某一图像信息进行标定，而后现场图像采集件11能够将摄像机摄取图像的聚焦位置指向上述图像信息的来源并且保持拍摄的稳定性。由此远程维护工程师看到的图像信息将更为清楚，便于远程维护工程师做相关的故障分析，提升整个远程维护的效率。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims

1.一种基于AR眼镜的远程运维指导控制装置，其特征在于：包括现场维护端（1）以及远程指导端（2），所述现场维护端（1）包括现场图像采集件（11）、现场信息提示件（12）以及现场处理器（13）；所述远程指导端（2）包括远程图像显示件（21）、远程指令录入件（22）以及远程处理器（23），其特征在于，所述远程指令录入件（22）包括目标图像选定模块（211），其基于用户指令动作标定远程图像显示件（21）中所显示的至少一个图像信息并输出；所述远程处理器（23）接收所述图像信息，基于设定算法对上述图像信息进行处理，输出图像标定信号；

所述现场图像采集件（11）包括：

图像采集模块（111），包括摄像机，用于采集并输出图像信息；

电动云台模块（112），包括用于安装所述摄像机的安装面板以及用于承载所述安装面板的自稳传动机构，所述自稳传动机构与所述现场处理器（13）信号连接，接收所述现场处理器（13）输出的控制信号，控制摄像机摄取图像的聚焦位置及稳定性；

控制信号生成模块（113），配置于所述现场处理器（13）中，接收所述远程处理器（23）输出的图像标定信号，经设定算法转换为所述控制信号并输出至所述电动云台模块（112）的自稳传动机构；控制信号生成模块（113）还包括图像信息删减处理模块，电动云台模块（112）在跟随人体姿态的过程中，基于摄像机现场实时拍摄连续的被测物件的图像信息，将图像信息发送至控制信号生成模块（113）并识别标定信号中标定物的实时位移状态，且根据设定算法与远程处理器（23）输出的图像标定信号相结合对比，删减设定时间内电动云台模块（112）电机的转动跟随量，并输出控制信号至电动云台模块（112）的自稳传动机构；控制信号生成模块（113）还包括人体姿态预判断模块，基于摄像机现场实时拍摄连续的被测物件的图像信息，根据设定算法判断人体姿态位移的趋势，当人体姿态突然停止并有返回原姿态的趋势，控制信号生成模块（113）根据摄像机拍摄实时图片判断得出的人体位移趋势，提前输出控制信号至电动云台模块（112）的自稳传动机构。

2.一种基于AR眼镜的远程运维指导控制方法，基于权利要求1所述的基于AR眼镜的远程运维指导控制系统,其特征在于：包括如下步骤：

现场维护端（1）：图像采集模块（111）采集现场设备的图像信息至现场处理器（13）的控制信号生成模块（113），现场处理器（13）将图像采集模块（111）采集到的图像信息传输至远程指导端（2）的远程处理器（23）；

远程指导端（2）：远程处理器（23）获取现场维护端（1）输入的图像信息，并根据远程指令录入件（22）获取远程指导人员的录入的指令信息，并在远程图像显示模块中显示，并利用图像选定模块选定标定物，远程处理器（23）输出图像标定信号至现场处理器（13）的控制信号生成模块（113）；

现场处理器（13）内置的控制信号生成模块（113）根据图像标定信号输出控制信号控制电动云台模块（112）的自稳传动机构，控制图像采集模块（111）聚焦标定物。

3.根据权利要求2所述的一种基于AR眼镜的远程运维指导控制方法，其特征在于：现场处理器（13）根据图像采集模块（111）采集的图像信息，并结合图像标定信号，判断图像采集模块（111）采集到的图像信息，将图像信息发送至控制信号生成模块（113）并识别标定信号中标定物的实时位移状态，且根据设定算法与远程处理器（23）输出的图像标定信号向结合对比，筛减设定时间内电动云台模块（112）电机的转动跟随量，并输出控制信号至电动云台模块（112）的自稳传动机构。

4.根据权利要求3所述的一种基于AR眼镜的远程运维指导控制方法，其特征在于：现场处理器（13）基于摄像机现场实时拍摄连续的图像信息，根据设定算法判断人体姿态位移的趋势，当人体姿态突然停止并有返回原姿态的趋势，控制信号生成模块（113）根据摄像机拍摄实时图片判断得出的人体位移趋势，提前输出控制信号至电动云台模块（112）的自稳传动机构。

5.根据权利要求4所述的一种基于AR眼镜的远程运维指导控制方法，其特征在于：现场信息提示件（12）中显示远程处理器（23）的图像标定信号，并在现场信息提示件（12）中显示标定物的聚焦框。

6.根据权利要求5所述的一种基于AR眼镜的远程运维指导控制方法，其特征在于：现场信息提示件（12）中显示远程处理器（23）的图像标定信号，并设置有信息提示模块，可在现场信息提示件（12）上显示远程指导端（2）给出的文字或视频信息。

7.根据权利要求6所述的一种基于AR眼镜的远程运维指导控制方法，其特征在于：远程图像显示件（21）还包括目标图像放大模块，将选定目标图像在远程图像显示件（21）上进行放大。