CN113936121B - 一种ar标注设置方法以及远程协作系统 - Google Patents

Abstract

本发明涉及一种AR标注设置方法以及远程协作系统，用于在头戴式显示设备获取的视频图像中设置AR标注，AR标注包括标注模型以及和标注模型关联的标注内容，AR标注设置方法包括：建立世界坐标系，实时获取头戴式显示设备的摄像机对应的虚拟摄像机处于世界坐标系下的第一世界坐标；响应于与头戴式显示设备通信连接的终端对于视频图像的标注操作，创建与标注操作对应的标注点；响应于设置AR标注的操作，建立标注模型与标注点之间的关联关系；实时获取标注内容基于头戴式显示设备的显示屏幕的第一规范化设备坐标；根据第一规范化设备坐标以及第一世界坐标，实时设置标注内容。

Description

一种AR标注设置方法以及远程协作系统

技术领域

本发明涉及增强现实技术领域，特别是涉及一种AR标注设置方法以及远程协作系统。

背景技术

AR标注是一种基于增强现实的标注技术，专家端可以通过远程会议软件，在现场传来的视频画面上添加标注模型以及标注内容，从而指导现场工人的操作。常规的AR标注模型被固定成朝向终端的屏幕方向，虽然能让用户看清序号，但损失了3D空间感，无法直观的区分出真实世界中不同朝向的平面或者特征点。另外，常规的AR标注内容(对标注的文字说明)与AR 标注模型融合，当用户移动或旋转的时候，AR标注内容不会随着用户移动、旋转而调整方向，导致用户可能需要反向看文字，不符合用户习惯。

发明内容

本发明的目的在于提供一种AR标注设置方法以及远程协作系统，以在固定AR标注模型的同时，随AR佩戴者的移动而转动AR标注内容。

本发明的目的是采用以下的技术方案来实现的。依据本发明提出的一种AR标注设置方法，用于在头戴式显示设备获取的视频图像中设置AR标注，所述AR标注包括标注模型以及和所述标注模型关联的标注内容，所述方法包括：建立世界坐标系，实时获取头戴式显示设备的摄像机对应的虚拟摄像机处于所述世界坐标系下的第一世界坐标；响应于与头戴式显示设备通信连接的终端对于视频图像的标注操作，创建与所述标注操作对应的标注点；响应于设置所述AR标注的操作，建立所述标注模型与所述标注点之间的关联关系；实时获取所述标注内容基于头戴式显示设备的显示屏幕的第一规范化设备坐标；以及根据所述第一规范化设备坐标以及所述第一世界坐标，实时设置所述标注内容，使得所述标注内容相对于头戴式显示设备的佩戴者的视野保持不变。

本发明的目的还可以采用以下的技术措施来进一步实现。

前述的AR标注设置方法，其中所述实时获取所述标注内容基于头戴式显示设备的显示屏幕的第一规范化设备坐标包括：获取所述标注内容处于所述世界坐标系下的第二世界坐标；建立以与头戴式显示设备的摄像机对应的虚拟摄像机为原点的摄像机坐标系，基于所述第二世界坐标，实时获取所述标注内容处于所述摄像机坐标系下的第一观测坐标；以及建立基于头戴式显示设备的显示屏幕的屏幕坐标系，基于所述第一观测坐标，实时获取所述标注内容基于所述屏幕坐标系下的第一规范化设备坐标。

前述的AR标注设置方法，其中所述获取所述标注内容处于所述世界坐标系下的第二世界坐标包括：获取所述标注点处于所述世界坐标系下的第三世界坐标；以及根据所述标注模型与所述标注点之间的关联关系以及所述标注内容与所述标注模型之间的关联关系获取所述标注内容处于所述世界坐标系下的第二世界坐标。

前述的AR标注设置方法，其中所述根据所述第一规范化设备坐标以及所述第一世界坐标，实时设置所述标注内容包括：实时计算所述第一规范化设备坐标与所述第一世界坐标的坐标差；以及根据所述坐标差，调整所述标注内容相对于头戴式显示设备佩戴者的视野的姿态。

前述的AR标注设置方法，其中所述设置方法还包括：获取所述标注点所在的平面，将所述标注模型垂直设置于所述标注点所在的平面。

前述的AR标注设置方法，其中所述设置方法进一步包括，实时获取所述标注模型基于头戴式显示设备的显示屏幕的第二规范化设备坐标；以及根据所述第二规范化设备坐标以及所述第一世界坐标，实时设置所述标注模型，使得所述标注模型始终垂直于所述标注点所在的平面。

前述的AR标注设置方法，其中所述实时获取所述标注模型基于头戴式显示设备的显示屏幕的第二规范化设备坐标，包括：获取所述标注模型处于所述世界坐标系下的第四世界坐标；基于所述第四世界坐标，实时获取所述标注模型处于所述摄像机坐标系下的第二观测坐标；以及基于所述第二观测坐标，实时获取所述标注模型基于所述屏幕坐标系下的第二规范化设备坐标。

前述的AR标注设置方法，其中所述AR标注设置方法还包括在OpenGL 渲染着色器中显示所述标注模型和所述标注内容。

本发明还提供一种远程协作系统，包括头戴式显示设备以及与头戴式显示设备通信连接的终端，用于通过终端在头戴式显示设备获取的视频图像中设置AR标注并将AR标注发送给头戴式显示设备，其特征在于，所述 AR标注包括标注模型以及和所述标注模型关联的标注内容，所述远程协作系统包括：第一坐标获取模块，用于建立世界坐标系，实时获取头戴式显示设备的摄像机对应的虚拟摄像机处于所述世界坐标系下的第一世界坐标；创建模块，用于响应于与头戴式显示设备通信连接的终端对于视频图像的标注操作，创建与所述标注操作对应的标注点；关联模块，用于响应于设置所述AR标注的操作，建立所述标注模型与所述标注点之间的关联关系；第二坐标获取模块，用于实时获取所述标注内容基于头戴式显示设备的显示屏幕的第一规范化设备坐标；以及设置模块，用于根据所述第一规范化设备坐标以及所述第一世界坐标实时设置所述标注内容，使得所述标注内容相对于头戴式显示设备的佩戴者的视野保持不变。

本发明还提供一种计算机可读存储介质，该存储介质存储可执行指令，所述可执行指令在被处理器执行时，使得前述AR标注设置方法的执行。

本发明的有益效果至少包括：

1、通过实时获取头戴式显示设备的摄像机对应的虚拟摄像机处于所述世界坐标系下的第一世界坐标、实时获取所述标注内容基于头戴式显示设备的显示屏幕的第一规范化设备坐标，并根据所述第一规范化设备坐标以及所述第一世界坐标实时设置所述标注内容，使得所述标注内容跟随AR佩戴者的移动而旋转，从而使得所述标注内容相对于头戴式显示设备的佩戴者的视野保持不变。

2、通过建立所述标注模型与所述标注点之间的关联关系，并将标注模型设置成垂直于标注点所在的平面，从而营造了立体的氛围，便于提醒工人。

上述说明仅是本发明技术方案的概述，为了能更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。

附图说明

图1为本发明一个实施例的AR标注设置方法的流程图；

图2A-图2B为利用本发明一个实施例的AR标注设置方法所取得的标注模型以及标注内容的显示效果的示意图；以及

图3为本发明一个实施例的远程协作系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请涉及的AR标注设置方法可以借助于AR远程交互系统实现，AR 远程交互系统包括终端设备、服务器以及头戴式显示设备。网络用于为终端设备、服务器以及头戴式显示设备之间提供通信链路的介质，连接类型诸如有线、无线通信链路或者光纤电缆等等。终端设备、服务器以及头戴式显示设备之间可以通过网络进行交互，以共享视频图像等信息，从而实现本申请提供的AR标注设置方法。在本申请实施例中，终端可以是能够运行AR相应应用程序的任意终端设备，例如智能手机、智能眼镜、智能手环、智能手表、平板电脑等等，对于终端设备的类型本申请实施例不作限定。头戴式显示设备可以为例如AR/VR/MR眼镜，值得说明的是，头戴式显示设备的数量可以是一个或多个。

在终端设备、服务器以及头戴式显示设备通讯连接后，头戴式显示设备与终端设备可实现视频图像共享，在终端处的视频图像进行标注时，头戴式显示设备会实时设置并显示AR标注，从而可实现本申请的AR标注设置方法。需要说明的是，本申请所述AR标注包括标注模型以及标注内容，标注模型可以为箭头、涂鸦、圆形圈注、图片标注等，标注内容可以为文字、图片、视频等。

需要说明的是，本申请实施例提供的应用场景仅仅是示意性的，本申请提供的AR标注设置方法包括但不仅限于实施例中的应用场景。

下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1为本申请实施例提供的一种AR标注设置方法的流程示意图，所述 AR标注设置方法包括：

S101：建立世界坐标系，实时获取头戴式显示设备的摄像机对应的虚拟摄像机处于所述世界坐标系下的第一世界坐标。

具体地，在其中一个或多个实施例中，建立世界坐标系的方法可以包括：首先在初始化时，根据初始两个关键帧的特征点匹配，求出旋转和位移，再三角化得到坐标点，作为世界坐标原点，随后以世界坐标原点建立一个虚拟的世界坐标系，以供后文获取坐标以及相应计算使用。世界坐标系是客观三维世界的绝对坐标系，也称客观坐标系。因为摄像机安放在三维空间中，我们需要世界坐标系这个基准坐标系来描述摄像机的位置，并且用它来描述安放在此三维环境中的其它任何物体的位置，用(Xw,Yw,Zw)表示其坐标值。

在其中一个或多个实施例中，通过SLAM算法(下文详述)实时获得头戴式显示设备的摄像机对应的虚拟摄像机在该世界坐标系的坐标。由于摄像机是将三维的信息转化为二维的信息进行存储，因此，根据摄像机的相机参数不同，摄像机在世界坐标系下的实际坐标也会有区别，因此可以理解，根据不同的相机参数，摄像机会在世界坐标系下对应一个虚拟摄像机，我们以虚拟摄像机在世界坐标系下的世界坐标来作为摄像机的世界坐标。此后处理进入步骤S102。S102：响应于与头戴式显示设备通信连接的终端对于视频图像的标注操作，创建与所述标注操作对应的标注点。具体地，以专家指导现场工人操作为例进行说明，佩戴头戴式显示设备的工人可通过头戴式显示设备看到实时实际的物理空间以及叠加在实际的物理空间上的增强信息，并通过头戴式显示设备上的摄像头将实际的物理空间拍摄下来，转化为视频图像；在遇到技术问题呼叫专家后，专家所在的终端、头戴式显示设备、服务器之间建立通信连接，使得专家在终端可以实时看到该视频图像，进而可以在该视频图像上进行相应的标注操作，专家的标记操作即可作为增强信息的一部分显示在工人的头戴式显示设备上。

步骤S102具体包括：响应于所述终端的用户对视频图像中所显示的待标定物体的点击，在点击位置创建所述标注点。专家在终端的视频图像上进行点击操作，在头戴式显示设备所显示的视频图像上可以定义一个点，也可以在实际物理空间中定义一个点，该点为标注点(也被称为锚点)。本步骤所述待标定物体可以为任意物体，例如故障部件、待处理部件以及待操作部件等，对此本申请不做限制。此后处理进入步骤S103。

S103：响应于设置所述AR标注的操作，建立所述标注模型与所述标注点之间的关联关系。

具体地，在创建标注点之后，专家可通过点击、滑动或拖拽等操作在视频图像上进行编辑以添加AR标注模型以及AR标注内容，专家端或工人端可响应于设置AR标注的操作，建立标注模型与所述标注点之间的关联关系。在其中一个或多个实施例中，关联关系可以表示标注模型和标注内容的耦合关系，即标注内容和标注模型一一对应的关系；此外，关联关系也表示标注内容和标注模型之间具有的空间关系，该空间关系可以为预设于系统之中或者由用户进行定义；即在空间关系被定义的情况下，可以通过标注内容和标注模型的任意一者的位置信息，确认另一者的位置信息。具体地，专家通过点击视频图像确定标注点之后，可在视频图像上相应位置画出标注模型，并增添与标注模型相关联的标注内容，工人端的头戴式显示设备或专家端的终端可通过渲染层将标注模型关联于标注点，然后将标注内容关联于标注模型，将标注模型关联于标注点是指将标注模型的位置设置成以标注点的位置为基准，从而定义标注模型与标注点的相对位置，一旦建立关联关系，标注模型相对于标注点的位置不变，除非改变关联关系。例如，若标注模型关联于标注点，在任何情况下，若标注点的坐标是(x,y,z),则标注模型的坐标是(x+Δx，y+Δy,z+Δz)，其中Δx、Δy、Δz为根据系统预设或者实际场景的要求而偏移的坐标。同理，将标注内容关联于标注模型，标注内容相对于标注模型的位置不变。

步骤S103进一步包括：

S1031：获取标注点所在的平面，将标注模型设置为垂直于标注点所在的平面。

优选地，工人端的头戴式显示设备或专家端的终端可获取标注点所在的平面，并将标注模型设置为垂直于标注点所在的平面。考虑到在实际应用场景中，需要标注的场景通常位于平面上，由于标注点的点击可能存在一定偏移，因此优先寻找标注点所在的平面进行标注。在本实施例中，如上所述Δx、Δy、Δz由实际标注点和标注点所对应的平面上的最近距离确定。由于标注模型关联于标注点，标注模型相对于标注点的位置不变，在不进行更改操作的前提下，标注点本身的位置也不会改变，那么标注模型的位置也就不会改变，将标注模型设置为垂直于标注点所在的平面，工人在任何时候看到的标注模型都垂直于标注点所在的平面。在其中一个或多实施例中，例如针对水平地面或者桌面，标注模型的方向为竖直向下；例如针对墙体或者货架侧面，标注模型的方向为水平方向，指向目标物体。

在一个或多实施例中，获取标注点所在的平面可以采用平面检测算法实现。例如，平面检测算法可以采用SLAM算法对当前的视频图像的帧进行地图重建，并根据重建出来的地图来确定地图中的平面区域，当检测到标注动作的时候，获取所述标注点所在的平面。

具体地，在对步骤S104-S105详细描述前，为了便于理解，先简单介绍实现原理。在其中一个或多个实施例中，本申请所述头戴式显示设备中可内置有摄像采集模块、北斗GPS双模定位模块、本地识别模块、3D识别模块、 SLAM算法模块、AR内容解析模块和第三无线通信模块等一个或多模块。其中，摄像采集模块用于采集视频图像，SLAM算法(Simultaneouslocalization and mapping缩写，意为“同步定位与建图)模块用于变换坐标系并获取头戴式显示设备处于世界坐标系下的第一世界坐标，以及标注内容基于头戴式显示设备的显示屏幕的第一规范化设备坐标，在这个过程可能会使用三个矩阵：模型矩阵、视图矩阵以及投影矩阵。

模型矩阵用于将物体处于局部坐标系下的顶点坐标转换到世界坐标系下，其中，每个物体具有一个顶点，顶点又包括多个构成物体的点。局部坐标系是指基于物体本身的坐标系，比如一个立方体，局部坐标系的坐标原点通常位于该立方体的中心(也可以位于其他地方)，整个立方体上的点都相对于这个中心点而设置。同一个物体里所有点共享同一个模型变换，每个模型有自己的坐标以及相同的坐标原点。当用模型矩阵乘上原有坐标点矩阵之后，所得到的新的坐标点便是相对于一个虚拟的世界坐标系的坐标点。

视图矩阵用于将世界坐标系变换成以虚拟的摄像机为基准原点的摄像机坐标系。随着虚拟的摄像机位置的移动，这个摄像机坐标系会实时变化。在本申请中，工人所佩戴的头戴式显示设备中集成有摄像机，因此，实际的头戴式显示设备中的摄像机即可被认为是上述虚拟的摄像机，在工人通过头戴式显示设备的摄像机对应的虚拟摄像机观察标注内容时，标注内容基于摄像机坐标系的观测坐标会随着头戴式显示设备中的摄像机位置的变化而改变。

投影矩阵用于将摄像机坐标系变换成基于显示设备的规范化设备坐标系。这包括两个过程：通过视锥体将摄像机坐标系下的顶点坐标进行剪裁，从而将观测坐标变换成基于裁剪坐标系的裁剪坐标(clipping coordinates)，视锥体通常由六个面组成，这六个面则由投影矩阵决定，经过变换之后，位于这个视锥体以外的顶点都会被剪裁掉，所得的坐标结果成为裁剪坐标；然后将裁剪坐标变换到基于显示设备的规范化设备坐标(NormalizedDevice Coordinates)，简称NDC。例如当显示设备的显示屏幕为矩形时，矩形的中心即为规范化设备坐标系的原点，规范化设备坐标的坐标范围是(-1，1)，即显示屏幕的左下端点的坐标是(-1，-1)，显示屏幕的右上端点的坐标是(1，1)。

步骤S104：实时获取所述标注内容基于头戴式显示设备的显示屏幕的第一规范化设备坐标。

步骤S104具体包括：

S1041：获取所述标注内容处于所述世界坐标系下的第二世界坐标。

步骤S1041具体包括S10411：获取所述标注点处于所述世界坐标系下的第三世界坐标；以及

S10412：根据所述标注模型与所述标注点之间的关联关系以及所述标注内容与所述标注模型之间的关联关系获取所述标注内容处于所述世界坐标系下的第二世界坐标。

具体地，首先获取标注点处于局部坐标系下的坐标，然后通过SLAM算法获得标注点的模型矩阵，通过标注点处于局部坐标系下的坐标左乘标注点的模型矩阵获取标注点处于世界坐标系下的第三世界坐标。由于标注模型关联于标注点，因此，可以通过标注点处于世界坐标系下的第三世界坐标获取标注模型处于世界坐标系下的坐标，又因为标注内容关联于标注模型，因此，通过标注模型处于世界坐标系下的坐标进而可以获得标注内容处于世界坐标系下的第二世界坐标。

S1042：建立以头戴式显示设备的摄像机对应的虚拟摄像机为原点的摄像机坐标系，基于所述第二世界坐标，实时获取所述标注内容处于所述摄像机坐标系下的第一观测坐标。

具体地，如上所述，视图矩阵用于将世界坐标系变换成以虚拟的摄像机为基准原点的摄像机坐标系，工人所佩戴的头戴式显示设备中集成有摄像机，实际的头戴式显示设备中的摄像机即可被认为是上述虚拟的摄像机，建立以头戴式显示设备的摄像机对应的虚拟摄像机为原点的摄像机坐标系，通过SLAM算法实时获得标注内容对应于摄像机坐标系的视图矩阵，将标注内容处于世界坐标系下的第二世界坐标左乘视图矩阵可以获得标注内容处于摄像机坐标系下的第一观测坐标。

S1043：建立基于头戴式显示设备的显示屏幕的屏幕坐标系，基于所述第一观测坐标，实时获取所述标注内容基于所述屏幕坐标系下的第一规范化设备坐标。

具体地，步骤S1043包括通过SLAM算法获取对应于头戴式显示设备的显示屏幕的投影矩阵，通过投影矩阵将摄像机坐标系下的标注内容的第一观测坐标变换成基于裁剪坐标系的裁剪坐标，然后建立基于头戴式显示设备的显示屏幕的屏幕坐标系，将标注内容的裁剪坐标变换成基于屏幕坐标系的第一规范化设备坐标。此后处理进入步骤S105。

S105：根据所述第一规范化设备坐标以及所述第一世界坐标实时设置所述标注内容，使得所述标注内容相对于头戴式显示设备的佩戴者的视野保持不变。

步骤S105包括：

S1051：实时计算所述第一规范化设备坐标与所述第一世界坐标的坐标差；以及

S1052：根据所述坐标差实时设置所述标注内容相对于头戴式显示设备的佩戴者的视野的姿态。

具体地，计算头戴式显示设备的摄像机对应的虚拟摄像机的第一世界坐标与标注内容的第一规范化设备坐标的坐标差，可得出佩戴头戴式显示设备的工人与标注内容的相对位置的变化，根据该相对位置变化可以旋转标注内容以设置标注内容相对于工人视野的姿态。较佳地，旋转标注内容以使标注内容垂直于工人的视野，从而便于工人查看。如图2A-2B所示，其中箭头构成标注模型，文字内容及其外框构成与箭头关联的标注内容，图2B 中的观测视角相对于图2A中的观测视角进行了变化，但是标注内容随着观测视角也进行了相应的调整，使得标注内容一直可以被佩戴显示设备的工人正向阅读，而箭头模型则一直垂直于立方体的表面，方便工人理解标注的模型所对应的位置。可以理解的是，旋转标注内容不改变标注内容与标注模型的关联关系。

在一个或多个实施例中，所述AR标注设置方法还包括：S201、实时获取所述标注模型基于头戴式显示设备的显示屏幕的第二规范化设备坐标；以及S202、根据所述第二规范化设备坐标以及所述第一世界坐标，实时设置所述标注模型，使得所述标注模型始终垂直于所述标注点所在的平面。

步骤S201包括：S2011、获取所述标注模型处于所述世界坐标系下的第四世界坐标；S2012、基于所述第四世界坐标，实时获取所述标注模型处于所述摄像机坐标系下的第二观测坐标；以及S2013、建立基于头戴式显示设备的显示屏幕的屏幕坐标系，基于所述第二观测坐标，实时获取所述标注模型基于所述屏幕坐标系下的第二规范化设备坐标。

具体地，参照以上对步骤S104的描述，在获取标注点处于世界坐标系下的第三世界坐标之后，由于标注模型关联于标注点，因此，可以通过标注点处于世界坐标系下的第三世界坐标获取标注模型处于世界坐标系下的第四世界坐标，然后，通过SLAM算法实时获得标注模型对应于所建立的摄像机坐标系的视图矩阵，将标注模型处于世界坐标系下的第四世界坐标左乘视图矩阵可以获得标注模型处于该摄像机坐标系下的第二观测坐标。通过SLAM算法获取对应于头戴式显示设备的显示屏幕的投影矩阵，通过投影矩阵将摄像机坐标系下的标注模型的第二观测坐标变换成基于裁剪坐标系的裁剪坐标。然后，基于头戴式显示设备的显示屏幕的屏幕坐标系，将标注模型的裁剪坐标变换成基于屏幕坐标系的第二规范化设备坐标。

具体地，步骤S202包括:根据第二规范化设备坐标与步骤S101所获取的头戴式显示设备的摄像机对应的虚拟摄像机处于世界坐标系下的第一世界坐标的坐标差值，实时设置标注模型以使得标注模型始终垂直于标注点所在的平面，从而便于用户查看。

在一个或多个实施例中，所述AR标注设置方法还包括：

在OpenGL(Open Graphics Library，开放图形库)渲染着色器中显示所述标注模型和所述标注内容。

基于以上AR标注设置方法，本发明实施例还提供了一种远程协作系统，用于通过终端在头戴式显示设备获取的视频图像中设置AR标注并将AR标注发送给头戴式显示设备，其中，AR标注包括标注模型以及和标注模型关联的标注内容。图3是本发明一个实施例的远程协作系统的结构示意图，包括：第一坐标获取模块101，用于建立世界坐标系，实时获取头戴式显示设备的摄像机对应的虚拟摄像机处于所述世界坐标系下的第一世界坐标；创建模块102，用于响应于与头戴式显示设备通信连接的终端对于视频图像的标注操作，创建与所述标注操作对应的标注点；关联模块103，用于响应于设置所述AR标注的操作，建立所述标注模型与所述标注点之间的关联关系；第二坐标获取模块104，用于实时获取所述标注内容基于头戴式显示设备的显示屏幕的第一规范化设备坐标；以及设置模块105，用于根据所述第一规范化设备坐标以及所述第一世界坐标实时设置所述标注内容，使得所述标注内容相对于头戴式显示设备的佩戴者的视野保持不变。

可以理解的是，除了以上列出的模块，本发明还包括能够实现本发明所述AR标注设置方法的其他模块。

本发明的另一方面，提供一种计算机可读存储介质，该存储介质存储可执行指令、软件程序以及模块，可执行指令在被处理器执行时，使得AR标注设置方法的执行。可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件或其他非易失性固态存储器件等，并可被应用在各种终端上，可以是计算机、服务器等。

本发明的实施例还提供一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的AR 标注设置方法。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明, 任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种AR标注设置方法，用于在头戴式显示设备获取的视频图像中设置AR标注，其特征在于，所述AR标注包括标注模型以及和所述标注模型关联的标注内容，所述方法包括：

建立世界坐标系，实时获取头戴式显示设备的摄像机对应的虚拟摄像机处于所述世界坐标系下的第一世界坐标；

响应于与头戴式显示设备通信连接的终端对于视频图像的标注操作，创建与所述标注操作对应的标注点；

响应于设置所述AR标注的操作，建立所述标注模型与所述标注点之间的关联关系，其中，设置所述AR标注的操作为在创建标注点之后，在视频图像上进行编辑以添加AR标注模型以及AR标注内容的操作，所述标注模型相对于所述标注点的位置不变；

实时获取所述标注内容基于头戴式显示设备的显示屏幕的第一规范化设备坐标；以及

根据所述第一规范化设备坐标以及所述第一世界坐标，实时设置所述标注内容，使得所述标注内容相对于头戴式显示设备的佩戴者的视野保持不变，标注内容随着观测视角也进行了相应的调整，使得标注内容一直可以被佩戴所述显示设备的工人正向阅读，所述标注内容相对于所述标注模型的位置不变；

所述设置方法还包括：获取所述标注点所在的平面，将所述标注模型垂直设置于所述标注点所在的平面；

实时获取所述标注模型基于头戴式显示设备的显示屏幕的第二规范化设备坐标；以及

根据所述第二规范化设备坐标以及所述第一世界坐标，实时设置所述标注模型，使得所述标注模型始终垂直于所述标注点所在的平面。

2.根据权利要求1所述的AR标注设置方法，其特征在于，所述实时获取所述标注内容基于头戴式显示设备的显示屏幕的第一规范化设备坐标包括：

获取所述标注内容处于所述世界坐标系下的第二世界坐标；

建立以与头戴式显示设备的摄像机对应的虚拟摄像机为原点的摄像机坐标系，基于所述第二世界坐标，实时获取所述标注内容处于所述摄像机坐标系下的第一观测坐标；以及

建立基于头戴式显示设备的显示屏幕的屏幕坐标系，基于所述第一观测坐标，实时获取所述标注内容基于所述屏幕坐标系下的第一规范化设备坐标。

3.根据权利要求2所述的AR标注设置方法，其特征在于，所述获取所述标注内容处于所述世界坐标系下的第二世界坐标包括：

获取所述标注点处于所述世界坐标系下的第三世界坐标；以及

根据所述标注模型与所述标注点之间的关联关系以及所述标注内容与所述标注模型之间的关联关系获取所述标注内容处于所述世界坐标系下的第二世界坐标。

4.根据权利要求1所述的AR标注设置方法，其特征在于，所述根据所述第一规范化设备坐标以及所述第一世界坐标，实时设置所述标注内容包括：

实时计算所述第一规范化设备坐标与所述第一世界坐标的坐标差；以及

根据所述坐标差，调整所述标注内容相对于头戴式显示设备佩戴者的视野的姿态。

5.根据权利要求2所述的AR标注设置方法，其特征在于，所述实时获取所述标注模型基于头戴式显示设备的显示屏幕的第二规范化设备坐标，包括：

获取所述标注模型处于所述世界坐标系下的第四世界坐标；

基于所述第四世界坐标，实时获取所述标注模型处于所述摄像机坐标系下的第二观测坐标；以及

基于所述第二观测坐标，实时获取所述标注模型基于所述屏幕坐标系下的第二规范化设备坐标。

6.根据权利要求1至5中任一项所述的AR标注设置方法，其特征在于，所述AR标注设置方法还包括：

在OpenGL渲染着色器中显示所述标注模型和所述标注内容。

7.一种远程协作系统，包括头戴式显示设备以及与头戴式显示设备通信连接的终端，用于通过终端在头戴式显示设备获取的视频图像中设置AR标注并将AR标注发送给头戴式显示设备，其特征在于，所述AR标注包括标注模型以及和所述标注模型关联的标注内容，所述远程协作系统包括：

第一坐标获取模块，用于建立世界坐标系，实时获取头戴式显示设备的摄像机对应的虚拟摄像机处于所述世界坐标系下的第一世界坐标；

创建模块，用于响应于与头戴式显示设备通信连接的终端对于视频图像的标注操作，创建与所述标注操作对应的标注点；

关联模块，用于响应于设置所述AR标注的操作，建立所述标注模型与所述标注点之间的关联关系，其中，设置所述AR标注的操作为在创建标注点之后，在视频图像上进行编辑以添加AR标注模型以及AR标注内容的操作，所述标注模型相对于所述标注点的位置不变；

第二坐标获取模块，用于实时获取所述标注内容基于头戴式显示设备的显示屏幕的第一规范化设备坐标；以及

第一设置模块，用于根据所述第一规范化设备坐标以及所述第一世界坐标实时设置所述标注内容，使得所述标注内容相对于头戴式显示设备的佩戴者的视野保持不变，标注内容随着观测视角也进行了相应的调整，使得标注内容一直可以被佩戴所述显示设备的工人正向阅读，所述标注内容相对于所述标注模型的位置不变；

第三坐标获取模块，用于实时获取所述标注模型基于头戴式显示设备的显示屏幕的第二规范化设备坐标；以及

第二设置模块，用于根据所述第二规范化设备坐标以及所述第一世界坐标，实时设置所述标注模型，使得所述标注模型始终垂直于所述标注点所在的平面。

8.一种计算机可读存储介质，其特征在于，该存储介质存储可执行指令，所述可执行指令在被处理器执行时，使得权利要求1-6中任一项所述的AR标注设置方法的执行。