CN110211243A - Ar设备及其实体标注方法 - Google Patents

Abstract

公开了一种AR设备及其实体标注方法。本申请一实施例中，AR设备的实体标注方法可以包括：采集当前视场下真实场景的帧图像，所述帧图像中包含当前视场中各实体的二维码；响应于所述帧图像中的二维码，确定当前视场下目标实体的位置指示区域的方位，所述位置指示区域与目标实体在同一视场内且相对位姿不变；以及，利用所述当前视场下目标实体的位置指示区域的方位，进行AR内容渲染，生成AR视频流数据，并显示所述AR视频流数据，所述AR视频流数据包括所述帧图像及所述AR内容，所述AR内容用于可视化地指示目标实体相对当前视场的位置。本申请能够高效、准确地在真实场景的实时图像中标注目标实体。

Description

AR设备及其实体标注方法

技术领域

本申请涉及增强现实(AR，Augmented Reality)技术领域，尤其涉及一种AR设备及其实体标注方法。

背景技术

目前，真实场景中某些实体相关的操作(例如，将物品放置于指定位置等)主要依赖人工来完成。在实体繁多且排布复杂的真实场景中，用户需要借由肉眼或场景地图等人为地实时估计真实场景中目标实体的位置才可完成相关操作，不仅耗时费力、效率低下，而且准确性很低，这导致实体相关操作的效率和准确性都很低。

发明内容

为了解决上述技术问题，期望提供一种AR设备及其实体标注方法，能够高效、准确地在真实场景的实时图像中标注出目标实体，便于用户清楚直观地通过AR视频流数据实时查看目标实体在现实世界中的方位，从而提升实体相关操作的效率和准确性。

根据本申请的一个方面，提供了一种实体标注方法，包括：采集当前视场下真实场景的帧图像，所述帧图像中包含当前视场中各实体的二维码；响应于所述帧图像中的二维码，确定当前视场下目标实体的位置指示区域的方位，所述位置指示区域与目标实体在同一视场内且相对位姿不变；以及，利用所述当前视场下目标实体的位置指示区域的方位，进行AR内容渲染，生成AR视频流数据，并显示所述AR视频流数据，所述AR视频流数据包括所述帧图像及所述AR内容，所述AR内容用于可视化地指示目标实体相对当前视场的位置。

根据本申请的一个方面，提供了一种AR设备，所述AR设备包括：

成像器件；

显示装置；

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以控制所述成像器件和显示装置来实现上述的实体标注方法。

根据本申请的一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述实体标注方法和/或AR设备中成像器件的位姿确定方法。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一示例性实施例提供的AR设备的结构图。

图2是本申请一示例性实施例提供的系统结构图。

图3是本申请一示例性实施例提供的实体标注方法的流程示意图。

图4是本申请一示例性实施例提供的参考坐标系示例图。

图5是本申请一示例性实施例提供的含有第一AR内容的AR显示示例图。

图6是本申请一示例性实施例提供的含有第一AR内容的AR显示的现实场景示例图。

图7是本申请一示例性实施例提供的含有第一AR内容的AR显示示例图。

图8是本申请一示例性实施例提供的含有第一AR内容和第二AR内容的AR显示示例图。

图9是本申请一示例性实施例提供的AR设备中成像器件的位姿确定方法流程示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如前文所述，由于某些实体相关的操作(例如，将物品放置于指定位置等)主要依赖人工完成，在实体分布繁杂的现实世界中，用户很难借由肉眼来快速、准确地定位目标实体在真实场景中的实时位置，这导致实体相关操作的效率和准确性都很低。

为解决上述技术问题，本申请实施例的发明构思是提供一种AR设备及其实体标注方法，采集当前视场下真实场景的帧图像，所述帧图像中包含当前视场中各实体的二维码；响应于所述帧图像中的二维码，确定当前视场下目标实体的位置指示区域的方位；以及，利用所述当前视场下目标实体的位置指示区域的方位，进行AR内容渲染，生成AR视频流数据，并显示所述AR视频流数据。该位置指示区域与目标实体在同一视场内且相对位姿不变，AR视频流数据包括帧图像及AR内容，该AR内容可以用于可视化地指示目标实体相对当前视场的位置。由此，本申请实施例可以通过AR内容高效、准确在真实场景的实时图像中标注出目标实体，用户可以通过AR视频流数据清楚直观地看到目标实体在现实世界中的方位，从而大幅提升实体相关操作的效率和准确性。此外，本申请实施例通过二维码来确定用于指示当前视场下目标实体的方位的AR内容，相较于通过例如模型识别或图像识别等而言，二维码更可靠且计算量更小，其对硬件设备计算能力的需求更低，因此，本申请实施例的实体标注不仅可靠性、速度和精度均较高，而且硬件部署成本低，更适用于对可靠性、速度和精度均有很高要求的工业环境。

本申请实施例可应用任何可适用的环境。一些示例中，本申请实施例可应用于例如需要将物体放置于目标位置等的各类应用场景中。例如，本申请实施例可应用于工业环境中的物品分拣、超市上货、图书馆中书籍归类或其他类似的场景中。

示例性AR设备和系统

本申请实施例可通过AR设备独立实现，也可通过包含AR设备和云端计算设备的系统来实现。本申请实施例中的AR设备可以是但不限于AR眼镜、AR头盔、具有AR功能的各类电子设备(例如，可穿戴设备、移动终端)等。本申请实施例中，云端的计算设备可以是但不限于服务器(例如，物理服务器或虚拟服务器等)或其集群、计算机或其集群、分布式系统等。下面将对本申请实施例适用的系统架构和AR设备做详细说明。

图1示出了本申请实施例中AR设备10的示例性结构。

AR设备10可以包括一个或多个处理器11和存储器12、成像器件13和显示装置14。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制AR设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以控制成像器件13和显示装置14等来实现下文所述的本申请的各个实施例的实体标注方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如二维码地图等各种内容。

一些示例中，成像器件13可以配置为采集真实场景的帧图像，该帧图像将在下文示例性方法中详细说明。一个示例中，成像器件13可以是但不限于照相机、摄像头、立体影像摄像头或其他类似的装置。具体应用中，可以根据需要在AR设备10中布设一个或多个成像器件13。

一些示例中，显示装置14可配置为显示AR视频流数据。显示装置14可以是但不限于显示器(例如，微型显示器等)。

一些示例中，AR设备10中还可以包括通信模块15，通信模块15可配置为将AR设备与外部设备(例如，下文的计算设备等)进行通信。一些示例中，该通信模块15可以包括但不限于蓝牙通信模块、蜂窝移动通信模块、wifi通信模块、近距离通信模块或其他类似的无线通信模块。当然，在具体应用环境允许的情况下，该通信模块15也可以是但不限于通过电缆、光纤等进行有线通信的模块。

一个示例中，AR设备10还可以包括：输入装置、输出装置等(图1中未示出)，输入装置可以包括例如麦克风、物理键、触控式地空气显示装置等。输出装置可以包括例如扬声器、上文的显示装置14等等。

一些示例中，AR设备10中的上述各个组件可以通过总线系统和/或其他形式的连接机构互连。

当然，为了简化，图1中仅示出了该AR设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，AR设备10还可以包括任何其他适当的组件。

一些示例中，本申请实施例中的AR设备10可以是视频透视(Video see through)式AR设备。

图2示出了本申请实施例适用的系统架构200。

本申请实施例适用的系统架构包括至少一个上述图1所示的AR设备10和云端的至少一个计算设备20，AR设备10和计算设备20之间可以通信。本申请实施例中，AR设备10和计算设备20的通信方式不限，举例来说，该通信方式可以包括但不限于蓝牙通信、蜂窝移动通信、wifi通信、近距离通信等。

一些示例中，计算设备20可以包括一个或多个处理器和用于存储所述处理器可执行指令的存储器；其中，处理器，可用于从所述存储器中读取所述可执行指令，并执行所述指令以实现下文所述AR设备中成像器件的位姿确定方法。一些示例中，计算设备20还可以包括通信模块，该通信模块可与上文AR设备10的通信模块15进行通信，可配置为获取来自AR设备10的帧图像和/或帧图像中的二维码，以及向AR设备10提供AR设备10中用于采集该帧图像的成像器件的位姿。

一些示例中，计算设备20可部署于云端，其可以是高性能的计算机或服务器，也可以是多个计算机和/或服务器组成的集群。

一些示例中，如图2所示，本申请实施例的系统架构中还可包括部署于实体上的传感器30，通过这些传感器30可以实时感知实体的状态。例如，是否有物品存放于实体上等状态。一个实例中，该传感器30可以是图像传感器，通过拍摄图像来确认物体是否已经存放于目标实体上。

需要说明的是，上述AR设备10和系统架构200均为示例。本申请实施例适用的AR设备和系统架构不限于上述示例。任何支持本申请实施例下文示例性方法中相关处理的设备或系统均在本申请实施例的范围内。

示例性方法

图3示出了本申请实施例中实体标注的示例性方法300。一些示例中，示例性方法300可通过上文图1所示的AR设备来实现。

如图3所示，示例性方法300可以包括：步骤301，采集当前视场下真实场景的帧图像，帧图像中包含当前视场中各实体的二维码；步骤302，响应于帧图像中的二维码，确定当前视场下目标实体的位置指示区域的方位，该位置指示区域与目标实体在同一视场内且相对位姿不变；步骤303，利用步骤302确定的当前视场下目标实体的位置指示区域的方位，进行AR内容渲染，生成AR视频流数据，并显示AR视频流数据，AR视频流数据中包括AR内容及帧图像，AR内容可用于可视化地指示目标实体相对当前视场的位置。

本申请实施例中，位置指示区域与目标实体的全部或部分在同一视场内，其中同一视场的衡量标准可以是在有效操作空间内的可视范围内，实际应用中，可以是有效操作空间内、AR设备的最小可视范围内、或者是平均范围等其他设定的标准，不限于此。本申请实施例中涉及的当前视场可以是当前可视范围。

本申请实施例的示例性方法300，通过AR内容来高效、准确地在真实场景的实时图像中标注目标实体，用户可以通过AR视频流数据清楚直观地实时查看目标实体在现实世界中的方位，从而能够大幅提升实体相关操作的效率和准确性。并且，本申请实施例使用二维码来帮助确定当前视场下目标实体的位置指示区域的方位，相较于通过例如模型识别或图像识别等方式而言，二维码更可靠且计算量更小，对硬件设备计算能力的需求更低，因此，本申请实施例的示例性方法300不仅可靠性、速度和精度高，而且硬件部署成本较低，更适用于对可靠性、速度和精度均有很高要求的工业环境(例如，大型场所的物品分拣等)。

本申请实施例中，实体可以是现实世界中可用于存放物品的实物。举例来说，在分拣场景中，实体可以是货位；在例如超市等场景中，实体可以是商品架上的商品位；在例如图书馆等场景中，实体可以是书架或书架上存放一本图书的书位。可以理解，本申请实施例的实体还可以是现实世界中的任何其他实物，例如，箱子、柜子、衣架、展位等。相应的，本申请实施例中的真实场景可以是例如分拣场所、超市、图书馆、商场等任何现实场景。现实世界中任何需要标注对象位置的场景均可视为本申请实施例的真实场景，现实世界中需要被标注的任何对象均可视为本申请实施例的实体。

至少一些实施例中，本申请实施例的示例性方法300还可以包括：构建二维码地图，二维码地图中可以包括每个二维码的标识和该二维码在参考坐标系中的坐标；其中，参考坐标系可以是以预定二维码的基准点为原点的坐标系，包括三个正交的坐标轴X、Y、Z，参考坐标系与世界坐标系之间存在固定的转换关系，该转换关系可以预先确定。一个示例中，参考坐标系的三个坐标轴与世界坐标系的三个坐标轴平行，尺寸换算关系已知，原点与世界坐标系原点重合。这里，二维码的标识可以包括但不限于二维码的图案、对应二维码图案的二进制数等，二维码的基准点可以包括但不限于二维码的几何中心、任意一个角点或二维码图案上的任意一个选定的点。如此，便于基于该二维码地图来更准确、高效地完成特定真实场景中的实体标注。

具体应用中，可以在实体标注之前，针对特定的真实场景，首先人工在真实场景中布设二维码，并设定作为原点标签的二维码，然后对该真实场景进行建图，建图的过程可以由内参已知的拍照或摄像设备和计算设备来完成，该拍照或摄像设备可以是AR设备，二维码地图可以保存在AR设备和/或计算设备中。

一些示例中，在真实场景中每个包含多个实体的实体组(例如，实体是货位时，该实体组可以是货架)上可以按照一定物理间距分布粘贴二维码，以保证在真实场景的正常操作空间内，用户在佩戴例如AR眼镜等AR设备时，AR设备的视场范围内至少能出现一个或一个以上的完整二维码。

在一些示例中，可以在真实场景中每个实体组上的原点位置布设二维码来作为原点标签，或者可以在真实场景中某个实体组上的原点位置布设一二维码来作为原点标签，以原点标签上的点作为实体组的参考坐标系的原点。实体组的原点位置可以根据应用场景自由选定，例如，可以使用实体组的一个角点或中心点等来作为实体组的原点位置。如果每个实体组上布设一个作为原点标签的二维码，那么每个实体组可以构建一个参考坐标系，也可以多个实体组共用一个原点标签，即多个实体组构建为一个参考坐标系。

一些示例中，可以在真实场景中每个实体上或者附近布设二维码，以更大程度地确保在拍摄到该实体的同一视场内存在该实体的至少一个二维码。

一个示例中，构建二维码地图的过程可以包括：拍摄真实场景的一段视频，每帧图像中需要包括至少两个二维码，该视频中每两个连续帧中具有重复的二维码，并且整段视频累积扫过当前真实场景中所有的二维码。然后，将该段视频输入例如计算设备、AR设备等电子设备中，电子设备中的建图模块基于即时定位与地图构建(SLAM，SimultaneousLocalization and Mapping)自动记录二维码的标识，计算所述二维码上的点和原点之间的相对位置和姿态关系，构成二维码地图，并保存在例如AR设备、计算设备等设备中。

图4示出了参考坐标系的示例。图4的示例中，以货架A为例，其原点标签是位于该货架A左上角位置的二维码0，坐标轴X、Y、Z是参考坐标系中的三个正交的坐标轴，该参考坐标系的原点选定为原点标签二维码0的几何中心点。图4的示例中，以货位1为例，示出了货位1上二维码的布设情况。尽管图4未示出，但可以理解实际场景中货架A中除货位1之外的所有货位也如货位1一样布设有二维码。

需要说明的是，上述构建二维码地图的具体过程仅为示例。本申请实施例中还可以采用其他任何可用的方式来实现二维码地图的构建。

本申请实施例中，步骤301中采集的帧图像是现实世界中真实场景的图像。在步骤301中，可以由AR设备中的成像器件(例如，摄像机等)采集帧图像。一些示例中，步骤301中可以采集两帧或更多帧图像，该两帧或更多帧图像可以是连续的帧图像(比如，现场采集视频中的多帧画面)、一定间隔的帧图像(比如，现场采集视频中间隔固定的多帧画面)或者预先选定的部分帧图像(比如，现场采集视频中含有二维码的一部分帧图像)等。此外，步骤301中也可以采集单帧图像(比如，当前视场的一张照片或者现场采集视频中的某一帧画面)。

在现实世界中，用户可以佩戴AR设备并处在真实场景中，其中成像器件拍摄的画面(即步骤301中的帧图像)至少包含用户看到的真实场景，即使用户在真实场景中运动，其视野不断变化，成像器件的视场也会始终包含用户视野中的场景，也就是说，只要用户佩戴AR设备，成像器件采集的帧图像中的内容始终包含用户视野范围内的真实场景。换言之，用户能看到目标实体的情况下，当前视场的帧图像中即包含目标实体，用户看不到目标实体的情况下，当前视场的帧图像中也就不包含目标实体。鉴于上述实际情况，采集到帧图像之后，还可以在步骤302中或者在步骤302之后，判断目标实体是否在当前视场(比如，判断该帧图像中是否包含目标实体等)，以便区分不同情况来执行步骤303的处理。

一些示例中，AR设备可以通过例如分拣单等实体相关操作的消息，来获取目标实体的信息(例如，目标实体的一个或多个第一基准点在世界坐标系的坐标)，利用目标实体的信息和帧图像来确定目标实体是否在当前视场内，以便针对目标实体在当前视场内或在当前视场外等不同情况使用不同的AR内容来标注，以区分各类实际情况来进行提示，提升用户体验。

本申请实施例中，例如，对于目标实体在当前视场内的情况，帧图像中包含目标实体图像，步骤303可以采用下文的第一种示例性方案来进行AR渲染。再例如，对于目标实体在当前视场外的情况，帧图像中不包含目标实体图像，步骤303可以采用下文的第二种示例性方案来进行AR渲染。又比如，对于部分目标实体在当前视场中而另一部分目标实体在当前视场外的情况，可以通过下文第一种示例性方案和第二示例性方案的结合来针对各个目标实体分别进行AR渲染。

至少一些实施例中，步骤302和步骤303的第一种示例性方案可以包括：步骤a1，识别帧图像中的二维码；步骤a2，根据上文预先构建的二维码地图、帧图像中的二维码以及目标实体的位置指示区域在世界坐标系中的坐标，确定目标实体的位置指示区域在成像器件的当前像素坐标系中的坐标；步骤a3，根据目标实体的位置指示区域在成像器件的当前像素坐标系中的坐标，以及当前像素坐标系的有效像素范围，判定目标实体在当前视场内；步骤a4，根据目标实体的位置指示区域在当前像素坐标系中的坐标，确定(例如，在AR图层和/或帧图像等中)第一AR内容的渲染位置；步骤a5，基于所述渲染位置渲染第一AR内容，生成AR视频流数据。该第一AR内容可用于可视化地指示目标实体在当前视场中的位置。其中，有效像素范围是能够进行显示的像素范围，通过该第一种示例性方案，可以在目标实体处于当前视场的情况下对目标实体在当前视场中的真实位置进行标注。

一些示例中，步骤a2可以包括：根据帧图像中的二维码以及二维码地图，确定成像器件在当前视场下的位姿；以及，根据成像器件在当前视场下的位姿、成像器件的内部参数以及目标实体的位置指示区域在世界坐标系中的坐标，确定目标实体的位置指示区域在所述当前像素坐标系中的坐标。

至少一些实施例中，上述目标实体的位置指示区域可以通过目标实体的第一基准点来表征，也即，上述步骤a2中目标实体的位置指示区域在像素坐标系中的坐标可以包括：目标实体的第一基准点在像素坐标系中的坐标，第一基准点是与目标实体相对位姿不变且在同一视场范围内的任意点。该实施例中，步骤a2可以包括：步骤a21，获取目标实体的第一基准点在世界坐标系中的坐标；步骤a22，根据目标实体的第一基准点在世界坐标系中的坐标、帧图像中的二维码以及二维码地图，确定第一基准点在成像器件的当前像素坐标系中的坐标。

至少一个实施例中，步骤a22可以包括：根据成像器件的内部参数、当前视场的帧图像中的二维码以及真实场景的二维码地图，计算成像器件在当前视场下的位姿；根据成像器件的内部参数和位姿，对目标实体的第一基准点在世界坐标系中的坐标进行坐标转换，以获得第一基准点在像素坐标系中的坐标。一个示例中，可以从存储器中读取成像器件的内部参数，利用成像器件的内部参数和位姿，对目标实体的第一基准点在世界坐标系中的坐标进行坐标转换，以得到目标实体的第一基准点在像素坐标系中的坐标。这里，成像器件的内部参数可以预先存储在AR设备的存储器中或者成像器件的存储器中。

本申请实施例中，目标实体的第一基准点可以用于表征该目标实体的位置指示区域，该第一基准点可以是与目标实体相对位姿不变且在同一视场范围内的任意点。例如，目标实体的几何中心、目标实体的角点、能够唯一确定目标实体形状的任意几何点、目标实体上的任意几何点、或者目标实体上组成预定形状的几何点、或者目标实体周围设定位姿范围内的任意点等。通过基于第一基准点的渲染，可以可视化的指示目标实体在当前视场中的位置。举例来说，假设目标实体是一截面为矩形的货位，其第一基准点可以是该货位某个截面上的四个角点、某个截面的几何中心点、或者该矩形长边或短边上的任意点。其中，所述目标实体上组成预定形状的几何点可以是矩形目标实体的四个角点、或者在目标实体中心做矩形标记的四个角点、或者在目标实体中心做三角形标记的三个角点。举例来说，假设目标实体是矩形，这些第一基准点可以包括但不限于实体的角点(也可称为顶点)、目标实体每条边(例如，实体组中实体的支撑部件(如货架杆))上按照一定物理间距分布的点等等。一些示例中，第一基准点也可以是目标实体周围设定范围内的点，可以通过手势、箭头或者圈定等形式，指示目标实体的范围。

一些示例中，成像器件的位姿可以包括但不限于正交旋转矩阵R和平移向量T。一个示例中，成像器件的位姿可以通过当前视场帧图像中的二维码、成像器件的内部参数、二维码地图来计算得到。当然，还可通过任何其他可适用的方式来计算成像器件的位姿，对此，本申请实施例不予限制。

一个示例中，可以通过如下式(1)对每个第一基准点在世界坐标系中的坐标执行上述的坐标变换。

其中，[R|T]是成像器件的位姿，1/dx、1/dy、γ、u0、v0、f是成像器件的内部参数，(X,Y,Z)表示一个第一基准点在世界坐标系中的坐标，(u，v)是该第一基准点在像素坐标系中的坐标。其中，(u0,v0)是图像的中心点和图像原点在像素坐标系相差的横向和纵向像素数，dx和dy分别是每个像素在图像平面x和y方向上的物理尺寸。f是焦距。以相机的光心为坐标原点、X轴和Y轴分别平行于像素坐标系的X轴和Y轴、成像器件的光轴为Z轴的相机坐标系中，用(Xc,Yc,Zc)表示成像器件光心在该成像器件的相机坐标系中的坐标值。

步骤a4中，根据目标实体的位置指示区域在像素坐标系中的坐标，确定AR图层或帧图像中第一AR内容的渲染位置，在一些示例中，可以将第一基准点作为渲染的路径点，在另一些示例中，可以基于第一基准点、预存的3DAR模型以及预存的渲染区域相对第一基准点的位姿关系，确认AR渲染区域的边界点。

至少一些实施例中，步骤302和步骤303的第二种示例性方案可以包括：步骤b1，识别帧图像中的二维码；步骤b2，根据预先构建的二维码地图、所述帧图像中的二维码以及目标实体的位置指示区域在世界坐标系中的坐标，确定目标实体在用于采集所述帧图像的成像器件的当前像素坐标系中的坐标；步骤b3，基于目标实体的位置指示区域在当前像素坐标系中的坐标、以及当前像素坐标系的有效像素范围，判定目标实体在当前视场外；步骤b4，响应于所述目标实体在当前视场外，基于所述目标实体的位置指示区域在所述当前像素坐标系中的坐标，确定所述目标实体相对当前视场的方向；步骤b5，确定与步骤b4确定的方向相对应的第二AR内容和该第二AR内容在AR图层中的渲染位置；步骤b6，在第二AR内容在AR图层中的渲染位置上渲染第二AR内容，生成AR视频流数据。如果目标实体不在当前视场的范围内(即用户视野中不存在目标实体的情况)，通过该第二种示例性方案可以通过AR显示标注目标实体在现实环境中相对于该AR设备(例如，佩戴AR设备的用户)当前视场的方向。

至少一些实施例中，上述目标实体的位置指示区域可以通过目标实体的第一基准点来表征，也即，上述步骤b2中目标实体的位置指示区域在像素坐标系中的坐标，包括：目标实体的第一基准点在所述像素坐标系中的坐标，第一基准点是与目标实体相对位姿不变且在同一视场范围内的任意点。一些示例中，步骤b2可以包括：步骤b21，获取目标实体的第一基准点在世界坐标系中的坐标；步骤b22，根据帧图像中二维码在二维码地图中的坐标以及目标实体的第一基准点在世界坐标系中的坐标，确定目标实体的第一基准点在当前像素坐标系中的坐标。本实施例中，步骤b3中可以根据第一基准点在当前像素坐标系中的坐标以及当前像素坐标系的有效像素范围，判定目标实体在当前视场外，步骤b4中可以基于该第一基准点在当前像素坐标系中的坐标，确定目标实体相对当前视场的方向。

本申请实施例中，步骤303中的AR视频流数据可以包括帧图像和AR内容。具体而言，帧图像是现实世界中真实场景的图像，AR视频流数据中不仅包括帧图像，还包括AR内容，AR内容是渲染在AR图层上，将渲染后的AR图层与帧图像进行叠加，实现AR显示效果，其中AR图层是基于一个虚拟相机创建的，该虚拟相机的内部参数和位姿与成像器件的内部参数和位姿保持一致，基于该虚拟相机可以创建多个图层，可以将帧图像置于最底层，在其上叠加多个AR图层，满足不同的渲染需求。在另一种实施方式中，AR内容可以渲染在帧图像上。因该AR内容可用于指示当前视场下目标实体的位置指示区域的方位，即本申请实施例的AR视频流数据可以对真实场景的图像中目标实体或其方向进行增强处理。这样，AR设备向用户显示该AR视频流数据，用户即可直观、清晰地看到目标实体在现实世界中的方向或具体位置，从而迅速定位目标实体，高效并精准地完成目标实体相关的操作(例如物品的分拣等)。

本申请实施例中，目标实体的AR内容可以用于指示当前视场下目标实体的位置指示区域的方位，以便用户在佩戴AR设备(例如，AR眼镜或AR头盔等)的情况下，可以在AR内容的提示下快速、准确地定位目标实体相对于自己的位置，从而高效地完成物品的分拣操作。一些示例中，AR内容可以包括但不限于图形、动画、视频、文字、图标、音频或其任意结合形成的多媒体文件。一些示例中，图形、动画和视频分别可以是二维、三维等。

一些示例中，在目标实体在当前视场内(比如当前视场的帧图像中包含全部或部分地目标实体图像等)的情况下，AR视频流数据中的AR内容可以是第一AR内容，通过第一AR内容可以直接指示目标实体的位置，用户通过该AR视频流数据的显示效果，即可快速准确定位目标实体在当前视场中的具体位置，从而高效地完成相关的操作。

一个示例中，第一AR内容可以是形状与目标实体在帧图像中的形状相匹配的图形。假设真实场景中实体是四方体，目标实体在帧图像S1中的形状是一四边形，那么第一AR内容可以是与该四边形的形状和大小相匹配的一四边形。图5示出一AR视频流数据的显示效果示例，该示例中，实线框表示帧图像S1中的目标实体，虚线框表示第一AR内容，在AR视频流数据中“目标实体”和“第一AR内容”可以完全重合，还可以通过在虚线框中填充黄色、红色、绿色等特定颜色或填充特定图案来进行增强，便于用户更直观清晰地看到帧图像S1中目标实体的具体位置。需要说明的是，尽管图5中未示出，但可以理解帧图像S1中除目标实体外，还包括当前视场下真实场景的其他物体，例如目标实体的相邻实体、目标实体的支撑架、走廊等。图6是图5的示例性场景图像。

一个示例中，第一AR内容可以是其他形式，例如以目标实体的几何中心点或其他几何基准点(例如，一角点等)在所述像素坐标系中的位置为基准而渲染出的预定形状的图形(例如，可以是椭圆、四边形、三角形或其他任意形状的图形)。假设真实场景中实体是四方体，目标实体在帧图像S1中的形状是一四边形，那么第一AR内容可以是预定大小的椭圆形，其中心点的位置和表示目标实体的四边形的中心位置重合。图7示出一AR视频流数据的显示效果示例，该示例中，实线框表示帧图像S1中的目标实体，虚线框表示第一AR内容，在AR视频流数据中“第一AR内容”渲染在“目标实体”的中心位置，虚线框中还可填充黄色、红色、绿色等特定颜色或填充特定图案来进行增强，便于分拣员更直观清晰地分辨帧图像S1中目标实体的具体位置。需要说明的是，尽管图7中未示出，但可以理解帧图像S1中除目标实体外，还包括当前视场下真实场景的其他物体，例如目标实体的相邻实体、支撑架等。

一些示例中，在目标实体在当前视场之外(比如当前视场的帧图像中不包含目标实体图像等)的情况下，目标实体的AR内容可以是第二AR内容，第二AR内容用于指示目标实体的方向。一个示例中，第二AR内容可以包括但不限于指示向上、向下、向左、向右或其任意组合(例如，左上、右上、左下、右下等)的提示信息。该提示信息可以包括但不限于图形、文字、动画、视频或音频等。举例来说，第二AR内容可以表示为箭头，假设实际场景中目标实体在左侧，第二AR内容可以呈现为指向左侧的箭头。

一些示例中，预存第二AR内容为8个方向指示标识，分别为上、下、左、右、左上、左下、右上、右下。每个方向指示标识对应像素坐标系中的一个坐标范围，将第一基准点的坐标与各坐标范围进行比对，确认第一基准点坐标所属的坐标范围，从而确定对应的方向指示标识。

一些示例中，第二AR内容可以渲染在AR图层中的任意区域。一个示例中，第二AR内容可以渲染在AR图层中的预定区域，该预定区域是预先设定的一个或多个区域，第二AR内容指示的方向不同时，其对应的预定区域可以不同、也可以相同，一些示例中，该预定区域可以与第二AR内容对应。该示例中，上述步骤b5可以包括：将对应第二AR内容的预定区域确定为第二AR内容在AR图层中的渲染位置。举例来说，可以预存第二AR内容与预定区域的对应关系，基于要渲染的第二AR内容调取对应的预定区域的坐标信息。假设现实场景中目标实体在左侧，第二AR内容可以呈现为指向左侧的箭头，可以渲染在AR图层或帧图像的左下角。假设现实场景中目标实体在右侧，第二AR内容可以呈现为指右侧的箭头，可以渲染在AR图层或帧图像的右下角。

一些示例中，第二AR内容的渲染位置可以基于像素坐标系有效像素范围的中心点与目标实体的第一基准点在像素坐标系中映射点来确定，该示例中，上述步骤b5可以包括：基于当前像素坐标系的有效像素范围的中心点与目标实体的第一基准点在当前像素坐标系中的映射点，确定所述第二AR内容在AR图层中的渲染位置。例如，可以确定像素坐标系有效像素范围的中心点与目标实体的第一基准点在像素坐标系中映射点的连线上的坐标点，在AR图层上，沿这些坐标点进行箭头形状的AR渲染，此时第二AR内容为箭头，该箭头的起点靠近该中心点在AR图层上对应的位置，顶点靠近该AR图层的边界。

图8示出了一次操作(例如，分拣)涉及多个目标实体的情况下使用不同的AR内容进行提示的示例。图8的示例中，因实体3不在帧图像中，在右侧方向，因此用指向右侧的箭头来标记，实体1和实体2均在帧图像中，用与实体形状相匹配的图形来标记，且实体1和实体2使用了不同的填充色来区分。尽管图8中未示出，但可以理解帧图像S1中除目标实体外，还包括当前视场下真实场景的其他物体，例如目标实体的相邻实体、支撑架等。

AR设备不具备确定AR内容的计算能力或因实际需求而无需在AR设备确定AR内容的情况下，步骤302的第三种示例性方案，可以包括：将帧图像和/或帧图像中的二维码提供给计算设备；接收来自计算设备的用于采集帧图像的成像器件的位姿；基于该位姿，确定当前视场下目标实体的位置指示区域的方位。这里，计算设备还可以一并将当前视场下目标实体的位置指示区域的方位计算出来提供给AR设备，也可以直接将AR内容的渲染位置与要渲染的AR内容提供给AR设备。

图9示出了本申请实施例中AR设备中成像器件的位姿确定的示例性方法900。一些示例中，示例性方法900可通过上文图1所示系统中的计算设备20来实现。

如图9所示，示例性方法900可以包括：步骤901，构建真实场景的二维码地图，二维码地图中包括每个实体上二维码的标识和二维码在参考坐标系中的坐标，其中，参考坐标系与世界坐标系之间存在固定的转换关系；步骤902，获取来自AR设备的当前视场下真实场景的帧图像和/或帧图像中的二维码；步骤903，根据帧图像中的二维码和二维码地图，确定用于采集帧图像的成像器件在当前视场下的位姿；步骤904，向AR设备提供位姿，以便AR设备基于位姿确定当前视场下目标实体的位置指示区域的方位并利用当前视场下目标实体的位置指示区域的方位进行AR内容渲染、生成AR视频流数据并显示AR视频流数据。

本申请实施例的示例性方法900，通过云端的计算设备来完成二维码地图的构建和成像器件位姿的确定，不仅利于多个AR设备共享二维码地图的数据，减轻资源消耗，降低硬件成本，而且通过云端的计算设备来实时确定成像器件的位姿，可以减小AR设备侧的计算量，避免AR设备侧计算量太大而发生卡顿等情况，有利于提升用户体验。

其中云端的计算设备可以是高性能的计算机或服务器，也可以是多个计算机和/或服务器组成的计算集群。

本申请实施例的示例性方法900中，步骤901中构建二维码地图的过程可参照上文，不再赘述。

本申请实施例的示例性方法900中，步骤903中确定成像器件的位姿的过程与上文步骤302相同，不再赘述。

本申请实施例的示例性方法900中，步骤904中向AR设备提供成像器件的位姿的方式可以有多种。例如，可以主动向AR设备发送成像器件的位姿或者在收到AR设备的请求之后向AR设备发送成像器件的位姿等。

在示例性方法900中，步骤904中还可以一并将当前视场下目标实体的位置指示区域的方位计算出来提供给AR设备，也可以直接将AR内容的渲染位置，及要渲染的AR内容提供给AR设备。

示例性应用场景

本申请实施例可适用于各种需要在真实场景中实时确定目标实体位置的应用。

下面以分拣和AR眼镜为例来说明本申请实施例在真实场景中的应用。

分拣员通过AR眼镜获取电子分拣单，分拣单描述了在一次分拣任务中，需要从来源实体取货的信息(包括物品名称、标识和数目等信息)，以及目标实体的分布信息(某个目标实体需要投放当前物品的数目等信息)。一个分拣单中可以有多件要分拣的物品。

系统(例如上文的系统200)可以根据物品分配的情况，依次或按批次提示分拣员当前要分拣的物品。

系统(例如上文的系统200)提示分拣员物品的来源货架和目标货架。

在分拣一个物品的状态下，当分拣员看到来源货架的时候，AR眼镜在现实的货架中将具体来源实体的位置标记出来并向分拣员显示相应的AR视频流数据。当分拣员看到目标货架的时候，AR眼镜在现实的货架中将具体目标实体的位置标记出来来并向分拣员显示相应的AR视频流数据。当AR眼镜视野范围有限的时候，在显示屏中视野边缘具体的位置通过箭头的形式提示分拣员应该移动的方向。这样，分拣员通过佩戴ARAR眼镜即可快速、准确地定位目标实体的位置，高效地完成分拣。

当分拣员分拣完一个或一批次的物品之后，AR眼镜通过用户界面提示下一个或批次的物品。直到分拣员完成当次的分拣单的分拣任务。AR眼镜自动执行下一分拣单。

检测物品分拣完的方法：分拣员通过交互形式提示系统(例如上文的系统200)；系统通过计算机视觉的方式判断物品是否已经放入目标货位；目标货位和/或来源货位上安装特殊的传感器，检测物品是否已经放入和/或物品是否已经被取走。

需要说明的是，上述分拣仅为示例。具体应用中，本申请实施例还可应用于例如图书馆中的图书上架、超市中的商品上架等类似场景中。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的实体标注方法和/或AR设备中成像器件的位姿确定方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的实体标注方法和/或AR设备中成像器件的位姿确定方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种实体标注方法，包括：

采集当前视场下真实场景的帧图像，所述帧图像中包含当前视场中各实体的二维码；

响应于所述帧图像中的二维码，确定当前视场下目标实体的位置指示区域的方位，所述位置指示区域与目标实体在同一视场内且相对位姿不变；以及，

利用所述当前视场下目标实体的位置指示区域的方位，进行AR内容渲染，生成AR视频流数据，并显示所述AR视频流数据，所述AR视频流数据包括所述帧图像及所述AR内容，所述AR内容用于可视化地指示目标实体相对当前视场的位置。

2.根据权利要求1所述的方法，其中，所述AR内容包括如下至少之一：图形、动画、视频、文字、图标。

3.根据权利要求1所述的方法，其中，响应于所述帧图像中的二维码，确定当前视场下目标实体的位置指示区域的方位，包括：

识别所述帧图像中的二维码；

根据预先构建的二维码地图、所述帧图像中的二维码以及目标实体的位置指示区域在世界坐标系中的坐标，确定目标实体在用于采集所述帧图像的成像器件的当前像素坐标系中的坐标；

其中，所述二维码地图中包括每个实体上二维码的标识和所述二维码在参考坐标系中的坐标，所述参考坐标系与世界坐标系之间存在固定的转换关系。

4.根据权利要求3所述的方法，其中，根据预先构建的二维码地图、所述帧图像中的二维码以及目标实体的位置指示区域在世界坐标系中的坐标，确定目标实体在用于采集所述帧图像的成像器件的当前像素坐标系中的坐标，包括：

根据所述帧图像中的二维码以及所述二维码地图，确定所述成像器件在当前视场下的位姿；

根据所述成像器件在当前视场下的位姿、所述成像器件的内部参数以及所述目标实体的位置指示区域在世界坐标系中的坐标，确定所述目标实体的位置指示区域在所述当前像素坐标系中的坐标。

5.根据权利要求3所述的方法，还包括：基于所述目标实体的位置指示区域在所述当前像素坐标系中的坐标、以及所述当前像素坐标系的有效像素范围，判定所述目标实体在当前视场内；

其中，利用所述当前视场下目标实体的位置指示区域的方位，进行AR内容渲染，生成AR视频流数据，包括：响应于所述目标实体在当前视场内，根据所述目标实体的位置指示区域在所述当前像素坐标系中的坐标，确定第一AR内容的渲染位置；以及，基于所述渲染位置渲染第一AR内容，生成AR视频流数据。

6.根据权利要求3所述的方法，其中，还包括：

基于所述目标实体的位置指示区域在所述当前像素坐标系中的坐标、以及所述当前像素坐标系的有效像素范围，判定所述目标实体在当前视场外；

响应于所述目标实体在当前视场外，基于所述目标实体的位置指示区域在所述当前像素坐标系中的坐标，确定所述目标实体相对当前视场的方向。

7.根据权利要求6所述的方法，其中，利用所述当前视场下目标实体的位置指示区域的方位，进行AR内容渲染，生成AR视频流数据，包括：

确定与所述方向对应的第二AR内容和所述第二AR内容的渲染位置；以及

在所述第二AR内容的渲染位置上渲染所述第二AR内容，生成AR视频流数据。

8.根据权利要求3-7任一所述的方法，其中，所述目标实体的位置指示区域在当前像素坐标系中的坐标，包括：

所述目标实体的第一基准点在当前像素坐标系中的坐标，所述第一基准点是与目标实体相对位姿不变且在同一视场范围内的任意点。

9.根据权利要求8所述的方法，其中，所述第一基准点至少包括如下之一：

目标实体的几何中心；

目标实体的角点；

能够唯一确定目标实体形状的任意几何点；

所述目标实体上的任意几何点；

所述目标实体上组成预定形状的几何点；

所述目标实体周围设定位姿范围内的任意点。

10.根据权利要求8所述的方法，其中，确定与所述方向对应的第二AR内容和所述第二AR内容的渲染位置，包括：

将对应所述第二AR内容的预定区域确定为所述第二AR内容的渲染位置。

11.根据权利要求8所述的方法，其中，确定与所述方向对应的第二AR内容和所述第二AR内容的渲染位置，包括：

基于当前像素坐标系的有效像素范围的中心点与目标实体的第一基准点在当前像素坐标系中的映射点，确定所述第二AR内容的渲染位置。

12.根据权利要求1所述的方法，其中，响应于所述帧图像中的二维码，确定当前视场下目标实体的位置指示区域的方位，包括：

将所述帧图像和/或所述帧图像中的二维码提供给计算设备；

接收来自所述计算设备的用于采集所述帧图像的成像器件的位姿；

基于所述位姿，确定当前视场下目标实体的位置指示区域的方位。

13.一种增强现实AR设备，所述AR设备包括：

成像器件；

显示装置；

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以控制所述成像器件和显示装置来实现上述权利要求1-12任一所述的实体标注方法。

14.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-12所述的实体标注方法。