CN114237537A - 头戴式设备、远程协助方法及系统 - Google Patents

Abstract

本申请实施例提供了头戴式设备、远程协助方法及系统，利用投影模块在指定位置投影标志物，能够在远程协助的过程中便于现场工作人员准确确定待操作的部位；并且本申请实施例提供的头戴式设备可以由现场工作人员携带在头部，解放了现场工作人员的双手；头戴式设备会跟随现场工作人员的头部运动，程协助设备观看到的图像数据与现场工作人员观看到内容相同，技术专家不用到场既可以看到现场情况，提高技术专家工作效率。

Description

头戴式设备、远程协助方法及系统

技术领域

本申请涉及远程协助技术领域，特别是涉及头戴式设备、远程协助方法及系统。

背景技术

在铁路设备维护、电力设备维护等场景中，需要大量人员对设备进行现场维护，包括清扫、注油、外观检查等，在日常维护过程中会可能会发现一些安全隐患或者潜在故障，需要现场短时间内解决；但是一般一线工作人员不具备专业设备的维修技能，所以一般的解决方法是发现问题时联系技术专家到场，但是此类检修场地一般离城市较远，技术专家亲自到场造成了大量时间的浪费，造成故障不能及时解决，甚至可能会导致严重的安全事故。

现有技术中，一般会通过手机远程视频的方式，由现场员工请求技术专家的远程操作，但是采用该方式，当遇到语言不易描述清楚的具体操作部位时，现场工作人员无法准确确定待操作的部位。

发明内容

本申请实施例的目的在于提供一种头戴式设备、远程协助方法及系统，以实现在远程协助的过程中便于现场工作人员准确确定待操作的部位。具体技术方案如下：

第一方面，本申请实施例提供了一种头戴式设备，包括：

图像采集模块、投影模块、通信模块及主控模块；

所述图像采集模块，用于采集作业现场的图像数据；

所述通信模块，用于将所述图像数据发送给远程协助设备，并接收所述远程协助设备发送的与所述图像数据关联的协助信息，其中，所述协助信息用于指示标志物外观信息及标志物位置信息；

所述主控模块，用于按照所述标志物位置信息，调整所述投影模块的投影角度，以使所述投影模块投影出的标志物的位置为所述标志物位置信息所表示的采集作业现场的位置；

所述投影模块，用于按照所述标志物外观信息，投影相应外观的标志物。

在一种可能的实施方式中，所述标志物位置信息为所述标志物在所述图像数据的二维坐标系中的第一图像坐标；

所述主控模块具体用于：根据所述第一图像坐标，确定所述标志物在三维坐标系中的第一三维坐标；按照所述第一三维坐标调整所述投影模块的投影角度。

在一种可能的实施方式中，所述三维坐标系为所述头戴式设备的设备三维坐标系；

所述主控模块具体用于：按照所述第一图像坐标及所述图像采集模块的参数，确定所述标志物在所述设备三维坐标系中的第一三维坐标；根据预先确定的投影模块的投影角度与所述设备三维坐标系的对应关系，将所述投影模块的投影角度调整为所述第一三维坐标对应的投影角度。

在一种可能的实施方式中，所述三维坐标系为所述作业现场的世界坐标系；

所述头戴式设备还包括：位姿检测模块，用于获取所述头戴式设备的位姿；

所述主控模块，具体用于按照所述第一图像坐标、所述图像采集模块的参数、采集所述图像数据时所述头戴式设备的第一位姿，确定所述标志物在所述世界坐标系中的第一三维坐标；根据所述头戴式设备当前的第二位姿，将所述投影模块的投影角度调整为所述第一三维坐标对应的投影角度。

在一种可能的实施方式中，所述主控模块还用于：获取包含所述标志物的目标图像，确定所述标志物在所述目标图像中的第二图像坐标；根据所述目标图像中所述标志物的第二图像坐标，确定所述标志物在所述三维坐标系中的第二三维坐标；计算所述第二三维坐标及所述第一三维坐标的偏差值；若所述偏差值大于预设偏差阈值，则根据所述偏差值校正所述投影模块的投影角度。

在一种可能的实施方式中，所述主控模块具体用于执行如下步骤：

控制所述投影模块在当前投影角度下投影预设时长的标志物；

获取由所述图像采集模块实时采集的包含所述标志物的目标图像；

根据所述目标图像中所述标志物的第二图像，确定所述标志物在所述三维坐标系中的第二三维坐标；

计算所述第二三维坐标与所述第一三维坐标的偏差值；

若所述偏差值大于预设偏差阈值，则根据所述偏差值校正所述投影模块的投影角度；返回执行步骤：控制所述投影模块在当前投影角度下投影预设时长的标志物，直至所述偏差值不大于预设偏差阈值。

在一种可能的实施方式中，所述投影模块包括：激光器、弧面反射镜面、镜面姿态调节机构；

所述镜面姿态调节机构，用于响应于所述主控模块的控制，调节所述反射镜面的姿态；

所述主控模块，具体用于按照所述标志物位置信息，控制所述镜面姿态调节机构将所述反射镜面调整为所述标志物位置信息对应的目标姿态；

所述激光器，用于生成激光光束；

所述弧面反射镜面，用于按照所述标志物外观信息反射所述激光器生成的激光光束。

在一种可能的实施方式中，所述投影模块还包括：

焦距调节透镜，用于对所述弧面反射镜面反射的标志物光束的汇聚程度进行调节。

在一种可能的实施方式中，所述协助信息中还包括协助语音数据；

所述头戴式设备还包括：语音模块，所述语音模块包括麦克风及扬声器；

所述麦克风，用于采集现场的音频数据；

所述通信模块，还用于将所述音频数据发送给远程协助设备；

所述扬声器，用于播放所述协助语音数据。

在一种可能的实施方式中，所述主控模块还用于：控制所述投影模块的投影角度，以使所述投影模块的投影位置为所述图像采集模块视场的角点，获取此时投影模块的投影角度得到角点投影角度；

根据所述角点投影角度，建立所述投影模块的投影坐标系与所述图像采集模块的图像坐标系的转换关系；

根据预先确定的三维坐标系与所述图像采集模块的图像坐标系的转换关系、所述投影模块的投影坐标系与所述图像采集模块的图像坐标系的转换关系，建立所述投影模块的投影坐标系与所述三维坐标系的转换关系。

第二方面，本申请实施例提供了一种远程协助系统，包括远程协助设备及本申请中任一所述的头戴式设备；

所述远程协助设备，用于播放所述头戴式设备发送的图像数据；获取用户基于所述图像数据输入的协助信息，并向所述头戴式设备返回所述协助信息，其中，所述协助信息中包括标志物外观信息及标志物位置信息。

在一种可能的实施方式中，所述远程协助设备，用于播放所述头戴式设备发送的音频数据；获取用户输入的协助语音数据，并向所述头戴式设备发送所述协助语音数据。

第三方面，本申请实施例提供了一种远程协助方法，所述方法包括：

获取图像采集模块采集的作业现场的图像数据，并将所述图像数据发送给远程协助模块；

接收所述远程协助模块发送的协助信息，其中，所述协助信息用于指示标志物外观信息及标志物位置信息；

根据所述标志物外观信息，生成相应外观的标志物，并将所述标志物投影到所述标志物位置信息对应的位置上。

在一种可能的实施方式中，所述标志物的位置信息为所述标志物在所述图像数据的二维坐标系中的第一图像坐标；

所述将所述标志物投影到所述标志物位置信息对应的位置上包括：

根据所述第一图像坐标，确定所述标志物在三维坐标系中的第一三维坐标；

按照所述第一三维坐标投影所述标志物。

在一种可能的实施方式中，所述三维坐标系为所述图像采集模块的相机坐标系；

所述根据所述第一图像坐标，确定所述标志物在三维坐标系中的第一三维坐标，包括：

按照所述第一图像坐标及所述图像采集模块的参数，确定所述标志物在所述相机坐标系中的第一三维坐标；

所述按照所述第一三维坐标投影所述标志物，包括：

根据预先确定的投影模块的投影坐标系与相机坐标系转换关系，将所述第一三维坐标转换到所述投影坐标系中，得到第二三维坐标；

将所述投影模块的投影角度调整为所述第二三维坐标对应的投影角度。

在一种可能的实施方式中，所述三维坐标系为所述作业现场的世界坐标系；

所述根据所述第一图像坐标，确定所述标志物在三维坐标系中的第一三维坐标，包括：

按照所述第一图像坐标、所述图像采集模块的参数、采集所述图像数据时所述图像采集模块的第一位姿，确定所述标志物在所述世界坐标系中的第一三维坐标；

根据投影模块当前的第二位姿，将所述投影模块的投影角度调整为所述第一三维坐标对应的投影角度。

在一种可能的实施方式中，所述方法还包括：

获取包含所述标志物的目标图像；

根据所述目标图像中所述标志物的第二图像坐标，确定所述标志物在所述三维坐标系中的第二三维坐标；

计算所述第二三维坐标及所述第一三维坐标的偏差值；若所述偏差值大于预设偏差阈值，则根据所述偏差值校正所述投影模块的投影角度。

在一种可能的实施方式中，所述方法还包括：

控制所述投影模块在当前投影角度下投影预设时长的标志物；

获取由所述图像采集模块实时采集的包含所述标志物的目标图像；

根据所述目标图像中所述标志物的第二图像，确定所述标志物在所述三维坐标系中的第二三维坐标；

计算所述第二三维坐标与所述第一三维坐标的偏差值；

若所述偏差值大于预设偏差阈值，则根据所述偏差值校正所述投影模块的投影角度；返回执行步骤：控制所述投影模块在当前投影角度下投影预设时长的标志物，直至所述偏差值不大于预设偏差阈值。

在一种可能的实施方式中，所述方法还包括：

控制所述投影模块的投影角度，以使所述投影模块的投影位置为所述图像采集模块视场的角点，获取此时投影模块的投影角度得到角点投影角度；

根据所述角点投影角度，建立所述投影模块的投影坐标系与所述图像采集模块的图像坐标系的转换关系；

根据预先确定的三维坐标系与所述图像采集模块的图像坐标系的转换关系、所述投影模块的投影坐标系与所述图像采集模块的图像坐标系的转换关系，建立所述投影模块的投影坐标系与所述三维坐标系的转换关系。

本申请实施例有益效果：

本申请实施例提供的头戴式设备、远程协助方法及系统，头戴式设备包括：图像采集模块、投影模块、通信模块及主控模块；图像采集模块，用于采集作业现场的图像数据；通信模块，用于将图像数据发送给远程协助设备，并接收远程协助设备根据图像数据返回的协助信息，其中，协助信息中包括标志物外观信息及标志物位置信息；主控模块，用于按照标志物位置信息，调整投影模块的投影角度；投影模块，用于按照标志物外观信息，投影相应外观的标志物。利用投影模块在指定位置投影标志物，能够在远程协助的过程中便于现场工作人员准确确定待操作的部位；并且本申请实施例提供的头戴式设备可以由现场工作人员携带在头部，解放了现场工作人员的双手；头戴式设备会跟随现场工作人员的头部运动，程协助设备观看到的图像数据与现场工作人员观看到内容相同，技术专家不用到场既可以看到现场情况，提高技术专家工作效率。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例的头戴式设备的第一种示意图；

图2为本申请实施例的头戴式设备中投影模块的一种示意图；

图3为本申请实施例的头戴式设备的第二种示意图；

图4为本申请实施例的远程协助系统的一种示意图；

图5为本申请实施例的远程协助方法的一种示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。

首先，对本申请实施例中的术语进行解释：

远程协助：指在专业设备维修、使用、安装等过程中专家可以通过远程通信的方式实现不到现场而指导现场人员对设备进行精准维修、使用、安装等；

视场角：是指光学仪器能够观测到的最大范围的夹角；

投影跟踪：将标记投影到真实物体上时，由于佩戴人员移动会造成投影源的移动，这时候需要自动跟踪功能，以保证在投影源移动的情况下投影出的标记在目标物体上的位置不变；

标志物：在对象上投影矩形框、圆形或其他形状的图案，用于表示需要操作的对象、操作方向、操作顺序、操作动作等提示信息中的至少一种。

为了在远程协助的过程中便于现场工作人员准确确定待操作的部位，本申请实施例提供了一种头戴式设备，参见图1，包括：

图像采集模块11、投影模块12、通信模块13及主控模块14；

所述图像采集模块11，用于采集作业现场的图像数据；

所述通信模块13，用于将所述图像数据发送给远程协助设备，并接收所述远程协助设备发送的与所述图像数据关联的协助信息，其中，所述协助信息用于指示标志物外观信息及标志物位置信息；

所述主控模块14，用于按照所述标志物位置信息，调整所述投影模块的投影角度，以使所述投影模块投影出的标志物的位置为所述标志物位置信息所表示的采集作业现场的位置；

所述投影模块12，用于按照所述标志物外观信息，投影相应外观的标志物。

图像采集模块可以为摄像机等，投影模块可以为投影仪或激光器等，通信模块为无线通信模块，能够基于无线通讯方式进行通信，主控模块可以为处理器等。此处的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(NetworkProcessor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

图像采集模块采集工作现场的图像数据，通信模块将采集的视频数据发送给远程协助设备，技术专家通过远程协助设备观看工作现场的图像数据，并利用远程协助设备在图像数据上标注标志物的位置，得到标志物位置信息，并且可以利用远程协助设备来选取或输入标志物的外观，得到标志物外观信息，其中，标志物用于表示需要操作的对象、操作方向、操作顺序、操作动作等提示信息中的至少一种；远程协助设备将包括标志物外观信息及标志物位置信息的协助信息返回给头戴式设备，头戴式设备中的通信模块接收该协助信息。主控模块对协助信息进行分析，得到标志物外观信息及标志物位置信息；主控模块根据标志物位置信息调整投影模块的投影角度，以使投影模块在标志物位置信息对应的位置上进行投影；同时主控模块根据标志物外观信息，控制投影模块投影相应外观的标志物。

在本申请实施例中，利用投影模块在指定位置投影标志物，能够在远程协助的过程中便于现场工作人员准确确定待操作的部位；并且本申请实施例提供的头戴式设备可以由现场工作人员携带在头部，解放了现场工作人员的双手；头戴式设备会跟随现场工作人员的头部运动，程协助设备观看到的图像数据与现场工作人员观看到内容相同，技术专家不用到场既可以看到现场情况，提高技术专家工作效率。

标志物外观信息可以由技术专家自由设置，一个例子中，标志物外观信息可以为具有操作指示功能的形状，例如，标志物外观信息可以为箭头，用于指示待操作部位的操作方向，如向上拉动或顺时针旋转等；例如，标志物外观信息可以为数字或字母等，用于指示待操作部位的操作顺序。

在一种可能的实施方式中，所述标志物位置信息为所述标志物在所述图像数据的二维坐标系中的第一图像坐标；

所述主控模块具体用于：根据所述第一图像坐标，确定所述标志物在三维坐标系中的第一三维坐标；按照所述第一三维坐标调整所述投影模块的投影角度。

标志物位置信息可以为技术专家在图像数据中选取的位置，可以利用图像数据的二维坐标系中的坐标(即像素坐标)来表示技术专家选取的位置，将技术专家选取的位置，也即标志物在所述图像数据中的位置称为第一图像坐标。第一图像坐标为二维坐标，为了实现投影模块的准确投影，需要将第一图像坐标转换到三维坐标系中去。三维坐标系可以为图像采集模块的相机坐标系、头戴式设备的设备三维坐标系或作业现场的世界坐标系等。

一个例子中，在所述头戴式设备的初始化阶段，需要对投影模块及图像采集模块之间的对应关系进行校准。在一种可能的实施方式中，所述主控模块还用于：控制所述投影模块的投影角度，以使所述投影模块的投影位置为所述图像采集模块视场的角点，获取此时投影模块的投影角度得到角点投影角度；根据所述角点投影角度，建立所述投影模块的投影坐标系与所述图像采集模块的图像坐标系的转换关系；根据预先确定的三维坐标系与所述图像采集模块的图像坐标系的转换关系、所述投影模块的投影坐标系与所述图像采集模块的图像坐标系的转换关系，建立所述投影模块的投影坐标系与所述三维坐标系的转换关系。

主控模块控制投影模块变换投影角度，同时对图像采集模块采集的图像数据进行分析，在投影模块的投影点在图像数据的角点上时，获取此时投影模块的投影角度作为角点投影角度。一个例子中，图像数据是矩形图像，则仅需要采集矩形图像对角线上的两个角点的角点投影角度，便可以计算得到投影模块的投影角度与图像坐标的对应关系，即建立投影模块的投影坐标系与图像采集模块的图像坐标系的转换关系(以下称为第一转换关系)。例如，对角线上的两个角点的角点投影角度在矩形图像X轴方向上的差值为Q度，在矩形图像Y轴方向上的差值为W度，矩形图像的分辨率为a*b，可以计算得到投影模块的投影点在X轴方向上移动一个像素，投影模块需要延X轴方向移动Q/a度，投影模块的投影点在Y轴方向上移动一个像素，投影模块需要延Y轴方向移动W/b度，结合两个角点的角点投影角度及两个角点的图像坐标，从而可以建立第一转换关系。

根据预先确定的三维坐标系与图像采集模块的图像坐标系的转换关系(以下称为第二转换关系)及第一转换关系，可以建立投影模块的投影坐标系与三维坐标系的转换关系。一个例子中，三维坐标系为图像采集模块的相机坐标系，第一转换关系可以由图像采集模块的内参得到；一个例子中，三维坐标系为头戴式设备的设备三维坐标系，第一转换关系可以由图像采集模块的内参及外参得到，该外参为预先标定的相机坐标系与设备三维坐标系的外参；一个例子中，三维坐标系为作业现场的世界坐标系，则需要第一转换关系可以由头戴式设备在世界坐标系中的位姿、图像采集模块的内参及外参得到。

在一种可能的实施方式中，所述三维坐标系为所述头戴式设备的设备三维坐标系；

所述主控模块具体用于：按照所述第一图像坐标及所述图像采集模块的参数，确定所述标志物在所述设备三维坐标系中的第一三维坐标；根据预先确定的投影模块的投影角度与所述设备三维坐标系的对应关系，将所述投影模块的投影角度调整为所述第一三维坐标对应的投影角度。

头戴式设备的设备三维坐标系是指以头戴式设备为原点建立的三维坐标系。图像采集模块的参数包括图像采集模块的内参及外参。利用图像采集模块的内参，可以将二维图像坐标系中的坐标转换到三维相机坐标系中，利用图像采集模块的外参，可以将三维相机坐标系中的坐标转换到头戴式设备的设备三维坐标系中。由于投影模块在头戴式设备中的安装位置是固定的，因此可以预先建立设备三维坐标系中各三维坐标与投影模块投影角度的对应关系，在实际投影过程中，便可以根据该对应关系找到第一三维坐标对应的投影角度，从而将投影模块的投影角度调整为所述第一三维坐标对应的投影角度。

在一种可能的实施方式中，所述三维坐标系为所述作业现场的世界坐标系；

所述头戴式设备还包括：位姿检测模块，用于获取所述头戴式设备的位姿；

所述主控模块，具体用于按照所述第一图像坐标、所述图像采集模块的参数、采集所述图像数据时所述头戴式设备的第一位姿，确定所述标志物在所述世界坐标系中的第一三维坐标；根据所述头戴式设备当前的第二位姿，将所述投影模块的投影角度调整到所述第一三维坐标处。

位姿检测模块可以包括陀螺仪、加速度传感器、速度传感器等中的一个或多个，利用位姿检测模块可以实时检测头戴式设备在作业现场的世界坐标系中的位姿。利用图像采集模块的参数可以将第一图像坐标转换到头戴式设备的设备三维坐标系中；头戴式设备的第一位姿表示采集所述图像数据时头戴式设备在作业现场的世界坐标系中的位置和姿态，利用头戴式设备的第一位姿，可以将头戴式设备的设备三维坐标系中的坐标转换到作业现场的世界坐标系中；从将第一图像坐标转换到世界坐标系，即得到标志物在世界坐标系中的第一三维坐标。头戴式设备的第二位姿表示当前头戴式设备在作业现场的世界坐标系中的位置和姿态，根据头戴式设备当前的第二位姿，可以将标志物在世界坐标系中的第一三维坐标转换到头戴式设备的三维坐标系中；投影模块为头戴式设备中的模块，可以利用预先标定的投影模块的外参，直接将标志物在头戴式设备的三维坐标系中的坐标转换为投影模块的投影角度，从而实现将投影模块的投影角度调整到第一三维坐标处。一个例子中，投影模块的投影角度是指投影模块的投影角度。投影模块并不能直接调整投影距离，投影距离为光束的反射面相对于投影模块的距离，投影模块可以直接调整投影角度。

在本申请实施例中，将投影模块的投影角度转换到作业现场的世界坐标系中，采用作业现场的世界坐标系进行投影角度的调整，不受头戴式设备自身位姿变化的影响，即使作业过程中头戴式设备的位姿发生变化，仍然可以在准确位置上实现标志物的投影。

为了实现标志物对对象的自动跟踪，在一种可能的实施方式中，所述主控模块，还用于根据所述头戴式设备的实时位姿，调整所述投影模块，以使所述投影模块在所述世界坐标系中的投影角度保持不变。

为了进一步增加标志物投影角度的准确性，在一种可能的实施方式中，所述主控模块还用于：获取包含所述标志物的目标图像，确定所述标志物在所述目标图像中的第二图像坐标；根据所述目标图像中所述标志物的第二图像坐标，确定所述标志物在所述三维坐标系中的第二三维坐标；计算所述第二三维坐标及所述第一三维坐标的偏差值；若所述偏差值大于预设偏差阈值，则根据所述偏差值校正所述投影模块的投影角度。

投影角度的校准可以为一个逐渐调节的过程，在一种可能的实施方式中，所述主控模块具体用于执行如下步骤：

步骤A，控制所述投影模块在当前投影角度下投影预设时长的标志物；

步骤B，获取由所述图像采集模块实时采集的包含所述标志物的目标图像；

步骤C，根据所述目标图像中所述标志物的第二图像，确定所述标志物在所述三维坐标系中的第二三维坐标；

步骤D，计算所述第二三维坐标与所述第一三维坐标的偏差值；

步骤E，若所述偏差值大于预设偏差阈值，则根据所述偏差值校正所述投影模块的投影角度；返回步骤A继续执行，直至所述偏差值不大于预设偏差阈值。

可以理解的是，标志物是一个图像其会存在一定的面积，因此第一三维坐标可以为标志物中各点的坐标集合，同理第二三维坐标也可以为标志物中各点的坐标集合，此种情况下，计算第二三维坐标与第一三维坐标的偏差值为计算标志物中同一点的第二三维坐标与第一三维坐标的偏差值。

例如，技术专家给出的标志物外观信息为正四边形，投影时由于角度及成像物体不是平面等原因最终导致标志物变成了的矩形，则采集到的图像中的标志物为即为矩形，此种情况下需要重新计算正四边形和所得到的矩形中每个对应像素点的偏差值，并按照预设算法计算出投影模块投影出何种外观的图形，在真实世界中实际投影得到的标志物的大小及位置才与技术专家给出的正四边形相同。此处的预设算法为现有技术，本申请中不做具体限定。

在一种可能的实施方式中，参见图2，所述投影模块包括：激光器、弧面反射镜面、镜面姿态调节机构；

所述镜面姿态调节机构，用于响应于所述主控模块的控制，调节所述反射镜面的姿态；

所述主控模块，具体用于按照所述标志物位置信息，控制所述镜面姿态调节机构将所述反射镜面调整为所述标志物位置信息对应的目标姿态；

所述激光器，用于生成激光光束；

所述弧面反射镜面，用于按照所述标志物外观信息反射所述激光器生成的激光光束。

一个例子中，激光器可以为多色单点激光器，镜面姿态调节机构带动弧面反射镜面转动，实现弧面反射镜面的姿态的调节，主控模块能够控制镜面姿态调节机构的动作方向及运动程度，从而实现将激光光束投影到指定的位置。在投影过程中，弧面反射镜面会按照标志物外观信息不断的进行位姿调整，通过激光光束反射位置的快速变换，基于人眼的视觉残留的特性，最终实现人眼看到相应外观的标志物。镜面姿态调节机构可以为包括电动马达及齿轮等器件，具体可以根据实际情况进行设置。

为了控制标志物光束的汇聚程度(也称为投影视场角)，也即条件标志物投影的远近，在一种可能的实施方式中，参见图2，所述投影模块还包括：焦距调节透镜，用于对所述弧面反射镜面反射的标志物光束的汇聚程度进行调节。投影模块可以包括一个或多个透镜，投影模块安装在弧面反射镜面的前端，用于对弧面反射镜面反射的标志物光束进行汇聚程度进行调节。

处理图像数据外，头戴式设备还可以实现音频数据的传输，在一种可能的实施方式中，所述协助信息中还包括协助语音数据；参见图3，所述头戴式设备还包括：语音模块15，所述语音模块15包括麦克风及扬声器；

所述麦克风，用于采集现场的音频数据；

所述通信模块13，还用于将所述音频数据发送给远程协助设备；

所述扬声器，用于播放所述协助语音数据。

本申请实施例还提供了一种远程协助系统，参见图4，包括远程协助设备02及本申请中任一所述的头戴式设备01；

所述远程协助设备02，用于播放所述头戴式设备发送的图像数据；获取用户基于所述图像数据输入的协助信息，并向所述头戴式设备返回所述协助信息，其中，所述协助信息中包括标志物外观信息及标志物位置信息。

技术专家通过远程协助设备观看工作现场的图像数据，并利用远程协助设备在图像数据上标注待操作对象的位置，得到标志物位置信息，并且可以利用远程协助设备来选取或输入标志物的外观，得到标志物外观信息；远程协助设备将包括标志物外观信息及标志物位置信息的协助信息返回给头戴式设备。

在一种可能的实施方式中，所述远程协助设备02，用于播放所述头戴式设备发送的音频数据；获取用户输入的协助语音数据，并向所述头戴式设备发送所述协助语音数据。

在一种可能的实施方式中，本申请实施例中的远程协助系统还包括服务器，所述服务器用于实现远程协助设备及头戴式设备之间的数据转发。

在本申请实施例中，技术专家可以通过远程协助设备输入协助信息，并投影到作业现场的对象上，使沟通准确可靠；利用投影模块在指定位置投影标志物，能够在远程协助的过程中便于现场工作人员准确确定待操作的部位；并且本申请实施例提供的头戴式设备可以由现场工作人员携带在头部，解放了现场工作人员的双手；头戴式设备会跟随现场工作人员的头部运动，程协助设备观看到的图像数据与现场工作人员观看到内容相同，技术专家不用到场既可以看到现场情况，提高技术专家工作效率。标志物外观可以由技术专家自由选取，标志物的图像颜色和亮度可以调节，适应不同现场情况，提高方案的适用性。

本申请实施例还提供了一种远程协助方法，参见图5，所述方法包括：

S501，获取图像采集模块采集的作业现场的图像数据，并将所述图像数据发送给远程协助模块；

S502，接收所述远程协助模块发送的协助信息，其中，所述协助信息用于指示标志物外观信息及标志物位置信息；

S503，根据所述标志物外观信息，生成相应外观的标志物，并将所述标志物投影到所述标志物位置信息对应的位置上。

在一种可能的实施方式中，所述标志物的位置信息为所述标志物在所述图像数据的二维坐标系中的第一图像坐标；

所述将所述标志物投影到所述标志物位置信息对应的位置上包括：

根据所述第一图像坐标，确定所述标志物在三维坐标系中的第一三维坐标；

按照所述第一三维坐标投影所述标志物。

在一种可能的实施方式中，所述三维坐标系为所述图像采集模块的相机坐标系；

所述根据所述第一图像坐标，确定所述标志物在三维坐标系中的第一三维坐标，包括：

按照所述第一图像坐标及所述图像采集模块的参数，确定所述标志物在所述相机坐标系中的第一三维坐标；

所述按照所述第一三维坐标投影所述标志物，包括：

根据预先确定的投影模块的投影坐标系与相机坐标系转换关系，将所述第一三维坐标转换到所述投影坐标系中，得到第二三维坐标；

将所述投影模块的投影角度调整为所述第二三维坐标对应的投影角度。

在一种可能的实施方式中，所述三维坐标系为所述头戴式设备的设备三维坐标系；

所述根据所述第一图像坐标，确定所述标志物在三维坐标系中的第一三维坐标，包括：

按照所述第一图像坐标及所述图像采集模块的参数，确定所述标志物在所述设备三维坐标系中的第一三维坐标；

所述按照所述第一三维坐标投影所述标志物，包括：

根据预先确定的投影模块的投影角度与所述设备三维坐标系的对应关系，将所述投影模块的投影角度调整为所述第一三维坐标对应的投影角度。

在一种可能的实施方式中，所述三维坐标系为所述作业现场的世界坐标系；

所述根据所述第一图像坐标，确定所述标志物在三维坐标系中的第一三维坐标，包括：

按照所述第一图像坐标、所述图像采集模块的参数、采集所述图像数据时所述图像采集模块的第一位姿，确定所述标志物在所述世界坐标系中的第一三维坐标；

根据投影模块当前的第二位姿，将所述投影模块的投影角度调整为所述第一三维坐标对应的投影角度。

在一种可能的实施方式中，所述方法还包括：

获取包含所述标志物的目标图像；

根据所述目标图像中所述标志物的第二图像坐标，确定所述标志物在所述三维坐标系中的第二三维坐标；

计算所述第二三维坐标及所述第一三维坐标的偏差值；若所述偏差值大于预设偏差阈值，则根据所述偏差值校正所述投影模块的投影角度。

在一种可能的实施方式中，所述方法还包括：

步骤A，控制所述投影模块在当前投影角度下投影预设时长的标志物；

步骤B，获取由所述图像采集模块实时采集的包含所述标志物的目标图像；

步骤C，根据所述目标图像中所述标志物的第二图像，确定所述标志物在所述三维坐标系中的第二三维坐标；

步骤D，计算所述第二三维坐标及所述第一三维坐标的偏差值；

步骤E，若所述偏差值大于预设偏差阈值，则根据所述偏差值校正所述投影模块的投影角度；返回步骤A继续执行，直至所述偏差值不大于预设偏差阈值。

在一种可能的实施方式中，所述方法还包括：

步骤一，控制所述投影模块的投影角度，以使所述投影模块的投影位置为所述图像采集模块视场的角点，获取此时投影模块的投影角度得到角点投影角度。

步骤二，根据所述角点投影角度，建立所述投影模块的投影坐标系与所述图像采集模块的图像坐标系的转换关系。

步骤三，根据预先确定的三维坐标系与所述图像采集模块的图像坐标系的转换关系、所述投影模块的投影坐标系与所述图像采集模块的图像坐标系的转换关系，建立所述投影模块的投影坐标系与所述三维坐标系的转换关系。

本申请实施例中的远程协助方法可以通过上述头戴式设备实现，相关之处参见上述头戴式设备的实施例即可。

本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现本申请中任一所述的远程协助方法。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本申请中任一所述的远程协助方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (19)

1.一种头戴式设备，其特征在于，包括：

图像采集模块、投影模块、通信模块及主控模块；

所述图像采集模块，用于采集作业现场的图像数据；

所述通信模块，用于将所述图像数据发送给远程协助设备，并接收所述远程协助设备发送的与所述图像数据关联的协助信息，其中，所述协助信息用于指示标志物外观信息及标志物位置信息；

所述主控模块，用于按照所述标志物位置信息，调整所述投影模块的投影角度，以使所述投影模块投影出的标志物的位置为所述标志物位置信息所表示的采集作业现场的位置；

所述投影模块，用于按照所述标志物外观信息，投影相应外观的标志物。

2.根据权利要求1所述的头戴式设备，其特征在于，所述标志物位置信息为所述标志物在所述图像数据的二维坐标系中的第一图像坐标；

所述主控模块具体用于：根据所述第一图像坐标，确定所述标志物在三维坐标系中的第一三维坐标；按照所述第一三维坐标调整所述投影模块的投影角度。

3.根据权利要求2所述的头戴式设备，其特征在于，所述三维坐标系为所述头戴式设备的设备三维坐标系；

所述主控模块具体用于：按照所述第一图像坐标及所述图像采集模块的参数，确定所述标志物在所述设备三维坐标系中的第一三维坐标；根据预先确定的投影模块的投影角度与所述设备三维坐标系的对应关系，将所述投影模块的投影角度调整为所述第一三维坐标对应的投影角度。

4.根据权利要求2所述的头戴式设备，其特征在于，所述三维坐标系为所述作业现场的世界坐标系；

所述头戴式设备还包括：位姿检测模块，用于获取所述头戴式设备的位姿；

所述主控模块，具体用于按照所述第一图像坐标、所述图像采集模块的参数、采集所述图像数据时所述头戴式设备的第一位姿，确定所述标志物在所述世界坐标系中的第一三维坐标；根据所述头戴式设备当前的第二位姿，将所述投影模块的投影角度调整为所述第一三维坐标对应的投影角度。

5.根据权利要求2-4任一所述的头戴式设备，其特征在于，所述主控模块还用于：获取包含所述标志物的目标图像，确定所述标志物在所述目标图像中的第二图像坐标；根据所述目标图像中所述标志物的第二图像坐标，确定所述标志物在所述三维坐标系中的第二三维坐标；计算所述第二三维坐标及所述第一三维坐标的偏差值；若所述偏差值大于预设偏差阈值，则根据所述偏差值校正所述投影模块的投影角度。

6.根据权利要求2-4任一所述的头戴式设备，其特征在于，所述主控模块具体用于执行如下步骤：

控制所述投影模块在当前投影角度下投影预设时长的标志物；

获取由所述图像采集模块实时采集的包含所述标志物的目标图像；

根据所述目标图像中所述标志物的第二图像，确定所述标志物在所述三维坐标系中的第二三维坐标；

计算所述第二三维坐标与所述第一三维坐标的偏差值；

若所述偏差值大于预设偏差阈值，则根据所述偏差值校正所述投影模块的投影角度；返回执行步骤：控制所述投影模块在当前投影角度下投影预设时长的标志物，直至所述偏差值不大于预设偏差阈值。

7.根据权利要求1所述的头戴式设备，其特征在于，所述投影模块包括：激光器、弧面反射镜面、镜面姿态调节机构；

所述镜面姿态调节机构，用于响应于所述主控模块的控制，调节所述反射镜面的姿态；

所述主控模块，具体用于按照所述标志物位置信息，控制所述镜面姿态调节机构将所述反射镜面调整为所述标志物位置信息对应的目标姿态；

所述激光器，用于生成激光光束；

所述弧面反射镜面，用于按照所述标志物外观信息反射所述激光器生成的激光光束。

8.根据权利要求7所述的头戴式设备，其特征在于，所述投影模块还包括：

焦距调节透镜，用于对所述弧面反射镜面反射的标志物光束的汇聚程度进行调节。

9.根据权利要求1所述的头戴式设备，其特征在于，所述协助信息中还包括协助语音数据；

所述头戴式设备还包括：语音模块，所述语音模块包括麦克风及扬声器；

所述麦克风，用于采集现场的音频数据；

所述通信模块，还用于将所述音频数据发送给远程协助设备；

所述扬声器，用于播放所述协助语音数据。

10.根据权利要求2所述的头戴式设备，其特征在于，所述主控模块还用于：控制所述投影模块的投影角度，以使所述投影模块的投影位置为所述图像采集模块视场的角点，获取此时投影模块的投影角度得到角点投影角度；

根据所述角点投影角度，建立所述投影模块的投影坐标系与所述图像采集模块的图像坐标系的转换关系；

根据预先确定的三维坐标系与所述图像采集模块的图像坐标系的转换关系、所述投影模块的投影坐标系与所述图像采集模块的图像坐标系的转换关系，建立所述投影模块的投影坐标系与所述三维坐标系的转换关系。

11.一种远程协助系统，其特征在于，包括远程协助设备及如权利要求1-10任一所述的头戴式设备；

所述远程协助设备，用于播放所述头戴式设备发送的图像数据；获取用户基于所述图像数据输入的协助信息，并向所述头戴式设备返回所述协助信息，其中，所述协助信息中包括标志物外观信息及标志物位置信息。

12.根据权利要求11所述的远程协助系统，其特征在于，所述远程协助设备，用于播放所述头戴式设备发送的音频数据；获取用户输入的协助语音数据，并向所述头戴式设备发送所述协助语音数据。

13.一种远程协助方法，其特征在于，所述方法包括：

获取图像采集模块采集的作业现场的图像数据，并将所述图像数据发送给远程协助模块；

接收所述远程协助模块发送的协助信息，其中，所述协助信息用于指示标志物外观信息及标志物位置信息；

根据所述标志物外观信息，生成相应外观的标志物，并将所述标志物投影到所述标志物位置信息对应的位置上。

14.根据权利要求13所述的方法，其特征在于，所述标志物的位置信息为所述标志物在所述图像数据的二维坐标系中的第一图像坐标；

所述将所述标志物投影到所述标志物位置信息对应的位置上包括：

根据所述第一图像坐标，确定所述标志物在三维坐标系中的第一三维坐标；

按照所述第一三维坐标投影所述标志物。

15.根据权利要求14所述的方法，其特征在于，所述三维坐标系为所述图像采集模块的相机坐标系；

所述根据所述第一图像坐标，确定所述标志物在三维坐标系中的第一三维坐标，包括：

按照所述第一图像坐标及所述图像采集模块的参数，确定所述标志物在所述相机坐标系中的第一三维坐标；

所述按照所述第一三维坐标投影所述标志物，包括：

根据预先确定的投影模块的投影坐标系与相机坐标系转换关系，将所述第一三维坐标转换到所述投影坐标系中，得到第二三维坐标；

将所述投影模块的投影角度调整为所述第二三维坐标对应的投影角度。

16.根据权利要求14所述的方法，其特征在于，所述三维坐标系为所述作业现场的世界坐标系；

所述根据所述第一图像坐标，确定所述标志物在三维坐标系中的第一三维坐标，包括：

按照所述第一图像坐标、所述图像采集模块的参数、采集所述图像数据时所述图像采集模块的第一位姿，确定所述标志物在所述世界坐标系中的第一三维坐标；

根据投影模块当前的第二位姿，将所述投影模块的投影角度调整为所述第一三维坐标对应的投影角度。

17.根据权利要求14-16任一所述的方法，其特征在于，所述方法还包括：

获取包含所述标志物的目标图像；

根据所述目标图像中所述标志物的第二图像坐标，确定所述标志物在所述三维坐标系中的第二三维坐标；

计算所述第二三维坐标及所述第一三维坐标的偏差值；若所述偏差值大于预设偏差阈值，则根据所述偏差值校正所述投影模块的投影角度。

18.根据权利要求14-16任一所述的方法，其特征在于，所述方法还包括：

控制所述投影模块在当前投影角度下投影预设时长的标志物；

获取由所述图像采集模块实时采集的包含所述标志物的目标图像；

根据所述目标图像中所述标志物的第二图像，确定所述标志物在所述三维坐标系中的第二三维坐标；

计算所述第二三维坐标与所述第一三维坐标的偏差值；

若所述偏差值大于预设偏差阈值，则根据所述偏差值校正所述投影模块的投影角度；返回执行步骤：控制所述投影模块在当前投影角度下投影预设时长的标志物，直至所述偏差值不大于预设偏差阈值。

19.根据权利要求14所述的方法，其特征在于，所述方法还包括：

控制所述投影模块的投影角度，以使所述投影模块的投影位置为所述图像采集模块视场的角点，获取此时投影模块的投影角度得到角点投影角度；

根据所述角点投影角度，建立所述投影模块的投影坐标系与所述图像采集模块的图像坐标系的转换关系；

根据预先确定的三维坐标系与所述图像采集模块的图像坐标系的转换关系、所述投影模块的投影坐标系与所述图像采集模块的图像坐标系的转换关系，建立所述投影模块的投影坐标系与所述三维坐标系的转换关系。

Images