CN110187774A - 光学透视式的ar设备及其实体标注方法 - Google Patents

光学透视式的ar设备及其实体标注方法 Download PDF

Info

Publication number
CN110187774A
CN110187774A CN201910492536.2A CN201910492536A CN110187774A CN 110187774 A CN110187774 A CN 110187774A CN 201910492536 A CN201910492536 A CN 201910492536A CN 110187774 A CN110187774 A CN 110187774A
Authority
CN
China
Prior art keywords
target entity
content
equipment
entity
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910492536.2A
Other languages
English (en)
Inventor
郑思遥
刘洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing See Technology Co Ltd
Original Assignee
Beijing See Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing See Technology Co Ltd filed Critical Beijing See Technology Co Ltd
Priority to CN201910492536.2A priority Critical patent/CN110187774A/zh
Publication of CN110187774A publication Critical patent/CN110187774A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

公开了一种光学透视式的AR设备及其实体标注方法。本申请一实施例中，AR设备的实体标注方法可以包括：识别当前视野下真实场景中的二维码；响应于真实场景中的二维码，确定当前视野下目标实体的位置指示区域的方位，位置指示区域与目标实体在同一视野内且相对位姿不变；以及，利用当前视野下目标实体的位置指示区域的方位，进行AR内容渲染，生成包含所述AR内容的AR图像，并显示所述AR图像，以便在佩戴所述AR设备的用户眼中呈现一光学视图，该光学视图由所述AR图像的光学视图和当前视野中真实场景的光学视图叠加而成。本申请能够高效、准确并实时地在用户视野的真实场景中标注出目标实体，便于用户清楚且直观地实时看到目标实体在现实世界中的位置。

Description

光学透视式的AR设备及其实体标注方法
技术领域
本申请涉及增强现实(AR，Augmented Reality)技术领域，尤其涉及一种光学透视式的AR设备及其实体标注方法。
背景技术
目前，真实场景中某些实体相关的操作(例如，将物品放置于指定位置等)主要依赖人工来完成。在实体繁多且排布复杂的真实场景中，操作过程中用户需要借由肉眼或场景地图等人为地实时估计真实场景中目标实体相对于自己的位置，不仅耗时费力、效率低下，而且准确性很低，这导致实体相关操作的效率和准确性都很低。
发明内容
为了解决上述技术问题，期望提供一种光学透视式的AR设备及其实体标注方法，以高效、准确并实时地在用户视野的真实场景中标注出目标实体，便于用户清楚且直观地实时看到目标实体在现实世界中的位置，从而提升实体相关操作的效率和准确性。
根据本申请的一个方面，提供了一种实体标注方法，所述实体标注方法应用于光学透视式的AR设备，所述实体标注方法包括：识别当前视野下真实场景中的二维码；响应于所述真实场景中的二维码，确定当前视野下目标实体的位置指示区域的方位，所述位置指示区域与目标实体在同一视野内且相对位姿不变；以及，利用所述当前视野下目标实体的位置指示区域的方位，进行AR内容渲染，生成包含所述AR内容的AR图像，并显示所述AR图像，以便在佩戴所述AR设备的用户眼中呈现一光学视图，该光学视图由所述AR图像的光学视图和当前视野中真实场景的光学视图叠加而成。
根据本申请的一个方面，提供了一种光学透视式的AR设备，所述AR设备包括：
识别装置；
显示装置；
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以控制识别装置、显示装置来实现上述的实体标注方法。
根据本申请的一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述实体标注方法。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本申请一示例性实施例提供的AR设备的结构图。
图2是本申请一示例性实施例提供的系统结构图。
图3是本申请一示例性实施例提供的实体标注方法的流程示意图。
图4是本申请一示例性实施例提供的参考坐标系示例图。
图5是本申请一示例性实施例提供的第一AR内容的光学视图示例图。
图6是本申请另一示例性实施例提供的第一AR内容的光学视图示例图。
图7是本申请一示例性实施例提供的第一AR内容和第二AR内容共存的光学视图示例图。
图8是本申请一示例性实施例提供的AR设备中成像器件的位姿确定方法的流程示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如前文所述，由于某些实体相关的操作(例如，将物品放置于指定位置等)主要依赖人工完成，在实体繁多且排布复杂的现实世界中，用户很难借由肉眼来快速、准确地定位目标实体在真实场景中的实时位置，这导致实体相关操作的效率和准确性都很低。
为解决上述技术问题，本申请实施例的发明构思是提供一种光学透视式的AR设备及其实体标注方法，通过识别当前视野下真实场景中的二维码，确定当前视野下目标实体的位置指示区域的方位，并利用当前视野下目标实体的位置指示区域的方位进行AR内容渲染、生成包含该AR内容的AR图像，并显示所述AR图像，以便在佩戴AR设备的用户眼中呈现一光学视图，该光学视图由所述AR图像的光学视图和当前视野中真实场景的光学视图叠加而成。其中，位置指示区域与目标实体在同一视野内且相对位姿不变。由此，本申请实施例可以通过AR内容高效、准确并实时地在用户视野的真实场景中标注出目标实体，便于用户清楚且直观地实时看到目标实体在现实世界中的位置，从而大幅提升实体相关操作的效率和准确性。此外，本申请实施例通过识别二维码来确定AR内容，相较于例如模型识别或图像识别等方式而言，二维码识别的可靠性更高且其计算量小，对硬件设备计算能力的需求更低，因此本申请实施例的实体标注可获得可靠性、速度和精度均较高的效果，并且硬件部署成本低，更适用于对可靠性、速度和精度均有很高要求的工业环境。
本申请实施例可应用于任何可适用的现实环境。一些示例中，本申请实施例可应用于例如需要将物体放置于目标位置等的各类应用场景中。例如，本申请实施例可应用于工业环境中的物品分拣、超市上货、图书馆中书籍归类或其他类似的场景中。
示例性AR设备和系统
本申请实施例可通过AR设备独立实现，也可通过包含AR设备和云端计算设备的系统来实现。本申请实施例中的AR设备可以是但不限于AR眼镜、AR头盔、具有AR功能的各类电子设备(例如，可穿戴设备、移动终端)等。本申请实施例中，云端的计算设备可以是但不限于服务器(例如，物理服务器或虚拟服务器等)或其集群、计算机或其集群、分布式系统等。下面将对本申请实施例适用的系统架构和AR设备做详细说明。
图1示出了本申请实施例中AR设备10的示例性结构。
AR设备10可以包括一个或多个处理器11、存储器12、识别装置13、显示装置14。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制AR设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个可执行指令，处理器11可用于从存储器12中读取所述可执行指令，并执行所述指令以控制识别装置13、显示装置14来实现下文所述的本申请的各个实施例的实体标注方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如下文所述的二维码地图等各种内容。
一些示例中，识别装置13可以配置为跟踪识别用户视野中真实场景的二维码。一个示例中，识别装置13可配置为在处理器11的控制下执行二维码的识别。一个示例中，识别装置13可以配置为跟踪采集用户视野中真实场景的图像并识别该图像中的二维码信息。该示例中，识别装置13可以是但不限于照相机、摄像头或其他类似的成像器件。具体应用中，可以根据需要在AR设备10中布设一个或多个识别装置13。
一些示例中，显示装置14可配置为进行AR内容渲染，生成包含所述AR内容的AR图像，并显示所述AR图像。一个示例中，显示装置14可配置为在处理器11的控制下进行AR内容渲染，生成包含所述AR内容的AR图像，并显示所述AR图像。一个示例中，显示装置14可以包括投影装置和光学组件，所述投影装置可配置为对AR内容的图像进行投影以显示包含所述AR内容的图像，光学组件可配置为与佩戴AR设备的用户眼睛共同构成一虚拟成像装置，该虚拟成像装置可以对投影装置中显示的包含AR内容的图像和当前视野中的真实场景进行光学成像，以在用户眼睛中呈现一具有增强现实效果的光学视图，该光学视图是由包含所述AR内容的AR图像的光学视图和真实场景的光学视图叠加而成。一个示例中，该光学组件可以包括至少一个同时支持反射和透射的光学器件和控制该光学器件的控制器等。其中，同时支持反射和透射的光学器件可配置为将真实场景折射、透射或投影到用户眼中以在用户视野中形成该真实场景的光学视图，同时将显示装置14中投影装置显示的AR图像反射到用户眼中以在用户视野中形成该图像的光学视图，AR图像的光学视图和真实场景的光学视图在用户眼中叠加，从而在用户眼中呈现一具有增强现实效果的光学视图。
一些示例中，AR设备10还可以包括通信模块15，通信模块15可配置为将AR设备与外部设备(例如，下文的计算设备等)进行通信。一些示例中，该通信模块15可以包括但不限于蓝牙通信模块、蜂窝移动通信模块、wifi通信模块、近距离通信模块或其他类似的无线通信模块。当然，在具体应用环境允许的情况下，该通信模块15也可以是但不限于可通过电缆、光纤等进行有线通信的通信模块。
一个示例中，AR设备10还可以包括：输入装置、输出装置等(图1中未示出)，输入装置可以包括例如麦克风、物理键、触控式显示装置等。输出装置可以包括例如扬声器、上文的显示装置等。
一些示例中，AR设备10中的上述各个组件可以通过总线系统和/或其他形式的连接机构互连。
当然，为了简化，图1中仅示出了该AR设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，AR设备10还可以包括任何其他适当的组件。
一些示例中，本申请实施例中的AR设备10可以是但不限于光学透视(optical seethrough)式的AR设备。
图2示出了本申请实施例适用的系统架构200。
本申请实施例适用的系统架构包括至少一个上述图1所示的AR设备10和云端的至少一个计算设备20，AR设备10和计算设备20之间可以通信。本申请实施例中，AR设备10和计算设备20的通信方式不限，举例来说，该通信方式可以包括但不限于蓝牙通信、蜂窝移动通信、wifi通信、近距离通信等。
一些示例中，计算设备20可以包括一个或多个处理器和用于存储所述处理器可执行指令的存储器；其中，处理器，可用于从所述存储器中读取所述可执行指令，并执行所述指令以实现下文所述AR设备中成像器件的位姿确定方法。一些示例中，计算设备20还可以包括通信模块，该通信模块可与上文通信模块15通信，可配置为获取来自AR设备10的二维码以及向AR设备10提供位姿等信息。
一些示例中，计算设备20可部署于云端，其可以是高性能的计算机或服务器，也可以是多个计算机和/或服务器组成的集群。
一些示例中，如图2所示，本申请实施例的系统架构中还可包括部署于真实场景中各个实体上的传感器30，通过这些传感器30可以实时感知实体的使用状态。例如，是否有物品存放于实体上等状态。一个示例中，该传感器30可以是图像传感器，通过拍摄图像来确认物体是否存放于实体上等状态。
需要说明的是，上述AR设备10和系统架构200均为示例。本申请实施例适用的AR设备和系统架构不限于上述示例。任何支持本申请实施例下文示例性方法中相关处理的设备或系统均在本申请实施例的范围内。
示例性方法
图3示出了本申请实施例中实体标注的示例性方法300。一些示例中，示例性方法300可通过上文图1所示的AR设备来实现。
如图3所示，示例性方法300可以包括：
步骤301，识别当前视野下真实场景中的二维码；
步骤302，响应于真实场景中的二维码，确定当前视野下目标实体的位置指示区域的方位，该位置指示区域与目标实体在同一视野内且相对位姿不变；
步骤303，利用当前视野下目标实体的位置指示区域的方位，进行AR内容渲染，生成包含该AR内容的AR图像，并显示AR图像，以便在佩戴AR设备的用户眼中呈现一光学视图，该光学视图由AR图像的光学视图和当前视野中真实场景的光学视图叠加而成。
本申请实施例的示例性方法300，通过AR内容来高效、准确地在真实场景实时标注目标实体，用户可以清楚且直观地实时看到叠加有AR内容的真实场景，从而实时获知目标实体在现实世界中(例如，相对于用户自身)的真实位置，继而大幅提升实体相关操作的效率和准确性。并且，本申请实施例通过二维码来确定AR内容，相较于例如模型识别或图像识别等方式而言，二维码的识别更可靠并且计算量更小，对硬件设备计算能力的需求更低，因此，本申请实施例的示例性方法300不仅可靠性、速度和精度均比较高，而且硬件部署成本较低，更适用于对可靠性、速度和精度均有很高要求的工业环境(例如，大型工厂中的物品分拣等)。
本申请实施例中，位置指示区域与目标实体的全部或部分在同一视野内，其中同一视野的衡量标准可以是在有效操作空间内，人眼与显示装置组成的虚拟成像装置的可视范围内，实际应用中，可以是有效操作空间内、AR设备的最小可视范围内、或者是平均范围等其他设定的标准，不限于此。本申请实施例中涉及的当前视野可以是人眼与显示装置组成的虚拟成像装置的当前可视范围。
本申请实施例中，实体可以是现实世界中可用于存放物品的实物。举例来说，在分拣场景中，实体可以是货位；在例如超市等场景中，实体可以是商品架上的商品位；在例如图书馆等场景中，实体可以是书架或书架上存放一本图书的书位。可以理解，本申请实施例的实体还可以是现实世界中的任何其他实物，例如，箱子、柜子、衣架、展位等。相应的，本申请实施例中的真实场景可以是例如分拣场所、超市、图书馆、商场等任何现实世界中的场景。现实世界中任何需要标注对象位置的场景均可视为本申请实施例的真实场景，现实世界中需要被标注的任何对象均可视为本申请实施例的实体。
至少一些实施例中，本申请实施例的示例性方法300还可以包括：构建二维码地图，二维码地图中可以包括每个二维码的标识和该二维码在参考坐标系中的坐标；其中，参考坐标系可以是以预定二维码的基准点为原点的坐标系，包括三个正交的坐标轴X、Y、Z，参考坐标系与世界坐标系之间存在固定的转换关系，该转换关系可以预先确定。一个示例中，参考坐标系的三个坐标轴与世界坐标系的三个坐标轴平行，尺寸换算关系已知，原点与世界坐标系原点重合。这里，二维码的标识可以包括但不限于二维码的图案、对应二维码图案的二进制数等，二维码的基准点可以包括但不限于二维码的几何中心、任意一个角点或二维码图案上的任意一个选定的点。如此，便于基于该二维码地图来更准确、高效地完成特定真实场景中的实体标注。
具体应用中，可以在实体标注之前，针对特定的真实场景，首先人工在真实场景中布设二维码，并设定作为原点标签的二维码，然后对该真实场景进行建图，建图的过程可以由内参已知的拍照或摄像设备和计算设备来完成，该拍照或摄像设备可以是AR设备，二维码地图可以保存在AR设备和/或计算设备中。
一些示例中，在真实场景中每个包含多个实体的实体组(例如，实体是货位时，该实体组可以是货架)上可以按照一定物理间距分布粘贴二维码，以保证在真实场景的正常操作空间内，用户在佩戴例如AR眼镜等AR设备时，AR设备的视场范围内至少能出现一个或一个以上的完整二维码。
在一些示例中，可以在真实场景中每个实体组上的原点位置布设二维码来作为原点标签，或者可以在真实场景中某个实体组上的原点位置布设一二维码来作为原点标签，以原点标签上的点作为实体组的参考坐标系的原点。实体组的原点位置可以根据应用场景自由选定，例如，可以使用实体组的一个角点或中心点等来作为实体组的原点位置。如果每个实体组上布设一个作为原点标签的二维码，那么每个实体组可以构建一个参考坐标系，也可以多个实体组共用一个原点标签，即多个实体组构建为一个参考坐标系。
一些示例中，可以在真实场景中每个实体上或者附近布设二维码，以更大程度地确保在拍摄到该实体的同一视场内存在该实体的至少一个二维码。
一个示例中，构建二维码地图的过程可以包括：拍摄真实场景的一段视频，每帧图像中需要包括至少两个二维码，该视频中每两个连续帧中具有重复的二维码，并且整段视频累积扫过当前真实场景中所有的二维码。然后，将该段视频输入例如计算设备、AR设备等电子设备中，电子设备中的建图模块基于即时定位与地图构建(SLAM，SimultaneousLocalization and Mapping)自动记录二维码的标识，计算所述二维码上的点和原点之间的相对位置和姿态关系，构成二维码地图，并保存在例如AR设备、计算设备等设备中。
图4示出了参考坐标系的示例。图4的示例中，以货架A为例，其原点标签是位于该货架A左上角位置的二维码0，坐标轴X、Y、Z是参考坐标系中的三个正交的坐标轴，该参考坐标系的原点选定为原点标签二维码0的几何中心点。图4的示例中，以货位1为例，示出了货位1上二维码的布设情况。尽管图4未示出，但可以理解实际场景中货架A中除货位1之外的所有货位也如货位1一样布设有二维码。
需要说明的是，上述构建二维码地图的具体过程仅为示例。本申请实施例中还可以采用其他任何可用的方式来实现二维码地图的构建。
在步骤301中，可以通过利用跟踪摄像机跟踪采集图像的方式来识别用户当前视野下真实场景中的二维码。一些示例中，步骤301中可以采集两帧或更多帧现实世界中真实场景的图像，该两帧或更多帧图像可以是连续的帧图像(比如，现场采集视频中的多帧画面)、一定间隔的帧图像(比如，现场采集视频中间隔固定的多帧画面)或者预先选定的部分帧图像(比如，现场采集视频中含有二维码的一部分帧图像)等，识别该两帧或更多帧图像中的二维码，并选择这两帧或更多帧图像中共有的二维码。此外，步骤301中也可以采集单帧图像(比如，当前视场的一张照片或者现场采集视频中的某帧画面)，识别该单帧图像中的二维码即可获得当前视野下真实场景中的二维码。
在现实世界中，用户可以佩戴AR设备并处在真实场景中，此时识别装置实时识别的二维码至少包含了用户看到的真实场景中的二维码，即使用户在真实场景中运动，其视野不断变化，识别装置的视场也会始终包含用户的视野中的场景，也就是说，只要用户佩戴AR设备，识别装置实时识别的二维码始终包含用户当前视野范围内真实场景的二维码。换言之，目标实体在用户当前视野内的情况下，当前识别到的真实场景的二维码中至少会包含该目标实体上的一个二维码，目标实体在用户当前视野外的情况下，当前识别到的真实场景的二维码中则不会包含该目标实体上的任一二维码。鉴于上述实际情况，还可以在步骤302中或者在步骤302之后，判断目标实体是否在用户的当前视野内，以便区分不同情况来执行步骤303的处理。
一些示例中，AR设备可以通过例如分拣单等实体相关操作的消息、二维码地图等来获取目标实体的信息(例如，目标实体的一个或多个二维码)，利用目标实体的信息和步骤301识别到的二维码来确定真实场景中是否有目标实体(即确定目标实体是否在当前视野中)。这样，通过确认当前视野的真实场景中是否有目标实体，便可区分各类实际情况来使用不同的AR内容来标注，以提升用户体验。
本申请实施例中，例如，对于目标实体在当前视野内的情况，步骤303可以采用下文的第一种示例性方案来进行AR渲染。再例如，对于目标实体在当前视野外的情况，步骤303可以采用下文的第二种示例性方案来进行AR渲染。又比如，对于部分目标实体在当前视野中而另一部分目标实体在当前视野外的情况，可以通过下文第一种示例性方案和第二示例性方案的结合来针对各个目标实体分别进行AR渲染。
至少一些实施例中，步骤302和步骤303的第一种示例性方案可以包括：步骤a1，根据上文预先构建的二维码地图、真实场景中的二维码以及目标实体的位置指示区域在世界坐标系中的坐标，确定目标实体在AR设备中显示装置的当前屏幕坐标系中的坐标；步骤a2，基于目标实体的位置指示区域在当前屏幕坐标系中的坐标、以及当前屏幕坐标系的有效像素范围，判定目标实体在当前视野内；步骤a3，响应于目标实体在当前视野内，根据目标实体的位置指示区域在当前屏幕坐标系中的坐标，确定第一AR内容的渲染位置；步骤a4，基于渲染位置渲染第一AR内容，生成包含第一AR内容的AR图像。该第一AR内容可用于可视化地指示目标实体在当前视野中的位置。其中，有效像素范围是显示装置能够进行显示的像素范围，通过该第一种示例性方案，可以在目标实体处于当前视野的情况下对目标实体在当前视野中的真实位置进行标注。
一些示例中，步骤a2可以包括：根据真实场景中的二维码以及二维码地图，确定AR设备中成像器件(拍摄帧图像的跟踪摄像机)在当前视野下的位姿；以及，根据AR设备中成像器件在当前视野下的位姿、成像器件的内部参数以及所述目标实体的位置指示区域在世界坐标系中的坐标，确定所述目标实体的位置指示区域在所述当前屏幕坐标系中的坐标。
至少一些实施例中，上述目标实体的位置指示区域可以通过目标实体的第一基准点来表征，也即，上述步骤a2中目标实体的位置指示区域在屏幕坐标系中的坐标可以包括：目标实体的第一基准点在屏幕坐标系中的坐标，第一基准点是与目标实体相对位姿不变且在同一视野范围内的任意点。该实施例中，步骤a2可以包括：步骤a21，获取目标实体的第一基准点在世界坐标系中的坐标；步骤a22，根据目标实体的第一基准点在世界坐标系中的坐标、真实场景中的二维码以及二维码地图，确定第一基准点在上述显示装置的当前屏幕坐标系中的坐标。
至少一个实施例中，步骤a22可以包括：根据成像器件(拍摄帧图像的跟踪摄像机)的内部参数、当前视场的帧图像中的二维码以及真实场景的二维码地图，计算成像器件在当前视野下的位姿；根据成像器件在当前视野下的位姿，确定光学透视式的AR设备的当前坐标转换矩阵，对目标实体的第一基准点在世界坐标系中的坐标进行坐标转换，以获得第一基准点在屏幕坐标系中的坐标。一个示例中，可以从存储器中读取包含人眼的虚拟成像装置的内参数矩阵，以及包含人眼的虚拟成像装置的外参矩阵，利用包含人眼的虚拟成像装置的内参数矩阵，以及包含人眼的虚拟成像装置的外参矩阵和位姿，生成坐标转换矩阵，对目标实体的第一基准点在世界坐标系中的坐标进行坐标转换，以得到目标实体的第一基准点在屏幕坐标系中的坐标。这里，成像器件的内部参数可以预先存储在AR设备的存储器中或者成像器件的存储器中。
本申请实施例中，目标实体的第一基准点可以用于表征该目标实体的位置指示区域，该第一基准点可以是与目标实体相对位姿不变且在同一视野范围内的任意点。例如，目标实体的几何中心、目标实体的角点、能够唯一确定目标实体形状的任意几何点、目标实体上的任意几何点、或者目标实体上组成预定形状的几何点、或者目标实体周围设定位姿范围内的任意点等。通过基于第一基准点的渲染，可以可视化的指示目标实体在当前视野中的位置。举例来说，假设目标实体是一截面为矩形的货位，其第一基准点可以是该货位某个截面上的四个角点、某个截面的几何中心点、或者该矩形长边或短边上的任意点。其中，目标实体上组成预定形状的几何点可以是矩形目标实体的四个角点、或者在目标实体中心做矩形标记的四个角点、或者在目标实体中心做三角形标记的三个角点。举例来说，假设目标实体是矩形，这些第一基准点可以包括但不限于实体的角点(也可称为顶点)、目标实体每条边(例如，实体组中实体的支撑部件(如货架杆))上按照一定物理间距分布的点等等。一些示例中，第一基准点也可以是目标实体周围设定范围内的点，可以通过手势、箭头或者圈定等形式，指示目标实体的范围。
一些示例中，成像器件的位姿可以包括但不限于正交旋转矩阵R和平移向量T。一个示例中，成像器件的位姿可以通过当前视野下真实场景中的二维码、成像器件的内部参数、二维码地图来计算得到。当然，还可通过任何其他可适用的方式来计算成像器件的位姿，对此，本申请实施例不予限制。
一个示例中，可以通过如下式(1)来对每个第一基准点在世界坐标系中的坐标执行上述的坐标变换。
p＝K*[RCV|TCV][RWC|TWC]PW(1)
其中，Pw表示一个第一基准点在世界坐标系(即上文的参考坐标系)中的坐标，p表示该第一基准点在屏幕坐标系中的投影点坐标，R表示旋转矩阵，T是平移向量，[R|T]是外参矩阵，K是表示包含人眼的虚拟成像装置的内参数矩阵，[RCV|TCV]是表示包含人眼的虚拟成像装置的外参矩阵，RCV表示包含人眼的虚拟成像装置的正交旋转矩阵，TCV表示包含人眼的虚拟成像装置的平移变量，[RWC|TWC]是表示成像器件(例如，跟踪摄像机等)的外参矩阵，RWC表示成像器件(例如，跟踪摄像机等)的正交旋转矩阵，TWC表示成像器件(例如，跟踪摄像机等)的平移变量。
其中，K、[RCV|TCV]可以预先标定。一个示例中，可以针对每个用户视野标定其对应的K、[RCV|TCV]并预先存储在计算设备和/或AR设备中。例如，可以对应每个预定的视野角度标注其对应的K、[RCV|TCV]等。
其中，[RWC|TWC]可以由成像器件的内参数实时计算得到。一个示例中，可以从存储器中读取成像器件的内参数，利用当前视野中真实场景的图像以及该内参数，计算在当前视野的外部参数。这里，成像器件的内参数可以预先存储在AR设备的存储器中或者成像器件自身的存储器中。
步骤a3中，根据目标实体的位置指示区域在屏幕坐标系中的坐标，确定第一AR内容(在例如AR图像上或显示装置显示屏上)的渲染位置，在一些示例中，可以将第一基准点作为渲染的路径点，在另一些示例中，可以基于第一基准点、预存的3DAR模型以及预存的渲染区域相对第一基准点的位姿关系，确认AR渲染区域的边界点。
至少一些实施例中，步骤302和步骤303的第二种示例性方案可以包括：步骤b1，根据预先构建的二维码地图、真实场景中的二维码以及目标实体的位置指示区域在世界坐标系中的坐标，确定目标实体在AR设备中显示装置的当前屏幕坐标系中的坐标；步骤b2，基于目标实体的位置指示区域在当前屏幕坐标系中的坐标、以及当前屏幕坐标系的有效像素范围，判定目标实体在当前视野外；步骤b3，响应于目标实体在当前视野外，基于目标实体的位置指示区域在当前屏幕坐标系中的坐标，确定目标实体相对当前视野的方向；步骤b4，确定与步骤b3所确定的方向对应的第二AR内容和该第二AR内容的渲染位置；步骤b5，在第二AR内容的渲染位置上渲染第二AR内容，生成包含第二AR内容的AR图像。如果目标实体不在当前视野的范围内(即用户视野中不存在目标实体的情况)，通过该第二种示例性方案可以通过AR显示标注目标实体在现实环境中相对于当前视野的方向。
至少一些实施例中，上述目标实体的位置指示区域可以通过目标实体的第一基准点来表征，也即，上述步骤b1中目标实体的位置指示区域在屏幕坐标系中的坐标，包括：目标实体的第一基准点在屏幕坐标系中的坐标，第一基准点是与目标实体相对位姿不变且在同一视野范围内的任意点。一些示例中，步骤b1可以包括：步骤b11，获取目标实体的第一基准点在世界坐标系中的坐标；步骤b12，根据真实场景中二维码在二维码地图中的坐标以及目标实体的第一基准点在世界坐标系中的坐标，确定目标实体的第一基准点在当前屏幕坐标系中的坐标。本实施例中，步骤b2中可以根据第一基准点在当前屏幕坐标系中的坐标以及当前屏幕坐标系的有效像素范围，判定目标实体在当前视野外，步骤b3中可以基于该第一基准点在当前屏幕坐标系中的坐标，确定目标实体相对当前视野的方向。
本申请实施例中，步骤303中的AR图像可以包括AR内容。具体而言，该AR图像可以是一AR图层，AR内容是渲染在该AR图层上，其中AR图层是基于一个虚拟相机创建的，该虚拟相机的内部参数和位姿与人眼与显示装置组成的虚拟成像装置的内部参数和位姿保持一致，基于该虚拟相机可以创建多个图层，满足不同的渲染需求。因该AR内容可用于指示当前视场下目标实体的位置指示区域的方位，即本申请实施例的AR图像可以对真实场景中目标实体或其方向进行增强处理。这样，借由AR设备可以在用户眼中呈现一光学视图，该光学视图由该AR图像的光学视图和当前视野中真实场景的光学视图叠加而成，如此，用户即可直观、清晰地看到目标实体在现实世界中的方向或具体位置，从而迅速定位目标实体，高效并精准地完成目标实体相关的操作(例如物品的分拣等)。
本申请实施例中，目标实体的AR内容可以用于指示当前视野中真实场景下目标实体的方位，以便用户在佩戴AR设备(例如，AR眼镜或AR头盔等)的情况下，可以在AR内容的提示下快速、准确地定位目标实体相对于自己的位置和/或方向，从而高效地完成物品的分拣操作。一些示例中，AR内容可以包括但不限于图形、动画、视频、文字、图标、音频或其任意结合形成的多媒体文件。一些示例中，图形、动画和视频分别可以是二维、三维等。
一些示例中，在目标实体在当前视野内的情况下，AR内容可以是第一AR内容，通过第一AR内容可以直接指示目标实体的位置，用户通过包含该第一AR内容的AR图像的光学视图和真实场景的光学视图的叠加效果，即可快速准确定位目标实体在当前视野中的具体位置，从而高效地完成相关的操作。
一个示例中，第一AR内容可以是形状与目标实体在现实世界中的形状相匹配的图形。假设真实场景中实体是四方体，第一AR内容可以是与该四方体在光学视图中的图形的形状和大小相匹配的一四边形。图5示出一光学视图的展示示例，该示例中，实线框表示真实场景的目标实体在光学视图中的呈现，虚线框表示第一AR内容，实际展示时“目标实体”和“第一AR内容”在光学视图中是可以完全叠加在一起的，还可以通过在虚线框中填充黄色、红色、绿色等特定颜色或填充特定图案来进行增强，便于用户更直观清晰地分辨现实世界中目标实体的具体位置。需要说明的是，尽管图5中未示出，但可以理解真实场景中除目标实体外，还包括当前视野下的其他物体，例如目标实体的相邻实体、目标实体的支撑架、走廊等。
一个示例中，第一AR内容可以是其他形式，例如以目标实体的几何中心点或其他几何基准点(例如，一角点等)在真实场景的光学视图中的位置为基准而渲染出的预定形状的图形(例如，可以是椭圆、四边形、三角形或其他任意形状的图形)。假设真实场景中实体是四方体，目标实体在真实场景的光学视图中的形状是一四边形，那么第一AR内容在光学视图中的呈现可以是预定大小的椭圆形，其中心点的位置和表示目标实体的四边形的中心位置重合。图6示出一光学视图的展示示例，该示例中，实线框表示光学视图中的目标实体，虚线框表示第一AR内容，在光学视图中“第一AR内容”呈现在“目标实体”的中心位置，虚线框中还可填充黄色、红色、绿色等特定颜色或填充特定图案来进行增强，便于分拣员更直观清晰地分辨现实世界中目标实体的具体位置。需要说明的是，尽管图6中未示出，但可以理解真实场景中除目标实体外，还包括其他物体，例如目标实体的相邻实体、支撑架等。
一些示例中，在目标实体在当前视野之外的情况下，目标实体的AR内容可以是第二AR内容，第二AR内容用于指示目标实体的方向。一个示例中，第二AR内容可以包括但不限于指示向上、向下、向左、向右或其任意组合(例如，左上、右上、左下、右下等)的提示信息。该提示信息可以包括但不限于图形、文字、动画、视频或音频等。举例来说，第二AR内容可以表示为箭头，假设实际场景中目标实体在左侧，第二AR内容可以呈现为指向左侧的箭头。
一些示例中，可以预存第二AR内容为8个方向指示标识，分别为上、下、左、右、左上、左下、右上、右下。每个方向指示标识对应屏幕坐标系中的一个坐标范围，将第一基准点的坐标与各坐标范围进行比对，确认第一基准点坐标所属的坐标范围，从而确定对应的方向指示标识。
一些示例中，第二AR内容可以渲染在AR图层中的任意区域。一个示例中，第二AR内容可以渲染在AR图层中的预定区域，该预定区域是预先设定的一个或多个区域，第二AR内容指示的方向不同时，其对应的预定区域可以不同、也可以相同，一些示例中，该预定区域可以与第二AR内容对应。该示例中，上述步骤b4可以包括：将对应第二AR内容的预定区域确定为第二AR内容的渲染位置。举例来说，可以预存第二AR内容与预定区域的对应关系，基于要渲染的第二AR内容调取对应的预定区域的坐标信息。假设现实场景中目标实体在左侧，第二AR内容可以呈现为指向左侧的箭头，可以渲染在AR图像的左下角。假设现实场景中目标实体在右侧，第二AR内容可以呈现为指右侧的箭头，可以渲染在AR图像的右下角。
一些示例中，第二AR内容的渲染位置可以基于屏幕坐标系有效像素范围的中心点与目标实体的第一基准点在屏幕坐标系中映射点来确定，该示例中，上述步骤b4可以包括：基于所述当前屏幕坐标系的有效像素范围的中心点与目标实体的第一基准点在所述当前屏幕坐标系中的映射点，确定所述第二AR内容的渲染位置。例如，可以确定屏幕坐标系有效像素范围的中心点与目标实体的第一基准点，在屏幕坐标系中映射点的连线上的坐标点，在AR图像上，沿这些坐标点进行箭头形状的AR渲染，此时第二AR内容为箭头，该箭头的起点靠近该中心点在AR图像上对应的位置，顶点靠近该AR图像的边界。
图7示出了一次操作(例如，分拣)涉及多个目标实体的情况下使用不同的AR内容进行提示的光学视图展示示例。图7的示例中，因实体3不在当前视野中，而在右侧方向，因此光学视图中用指向右侧的箭头(即第二AR内容)来标记，实体1和实体2均在当前视野中，用与实体形状在光学视图中呈现的图形相匹配的图形(即第一AR内容)来标记，且实体1和实体2使用了不同的填充色来区分。尽管图7中未示出，但可以理解真实场景中除目标实体外，还包括当前视野中的其他物体，例如目标实体的相邻实体、支撑架等。
AR设备不具备确定成像器件的位姿的计算能力或因实际需求而无需在AR设备确定成像器件的位姿的情况下，步骤302的第三种示例性方案，可以包括：将当前视野下真实场景中的二维码提供给计算设备；接收来自计算设备的位姿，该位姿是AR设备中成像器件在当前视野下的位姿；基于所述位姿，确定当前视野下目标实体的位置指示区域的方位。这里，计算设备还可以一并将当前视场下目标实体的位置指示区域的方位计算出来提供给AR设备，也可以直接将AR内容的渲染位置与要渲染的AR内容提供给AR设备。
图8示出了本申请实施例中确定AR设备中成像器件的位姿的示例性方法800。一些示例中，示例性方法800可通过上文图1所示系统中的计算设备20来实现。
如图8所示，示例性方法800可以包括：步骤801，构建真实场景的二维码地图，二维码地图中包括每个实体上二维码的标识和二维码在参考坐标系中的坐标，其中，参考坐标系与世界坐标系之间存在固定的转换关系；步骤802，获取来自AR设备的当前视野下真实场景中的二维码；步骤803，根据当前视野下真实场景中的二维码和上述二维码地图，确定AR设备中成像器件(用于标定AR设备中显示装置屏幕坐标系的成像器件(例如，上文中拍摄帧图像的跟踪摄像机)，该显示装置用于显示上述AR图像)在当前视野下的位姿；步骤804，向AR设备提供位姿，以便AR设备基于位姿确定当前视野下目标实体的位置指示区域的方位并利用当前视场下目标实体的位置指示区域的方位进行AR内容渲染、生成AR图像并显示AR图像，继而在佩戴AR设备的用户眼中呈现一光学视图，该光学视图由所述AR图像的光学视图和当前视野中真实场景的光学视图叠加而成。
本申请实施例的示例性方法800，通过云端的计算设备来完成二维码地图的构建和AR内容的确定，不仅利于多个AR设备共享二维码地图、AR内容等的数据，减轻资源消耗，降低硬件成本，而且通过云端的计算设备来实时确定AR内容，可以减小AR设备侧的计算量，避免AR设备侧计算量太大而发生卡顿等情况，有利于提升用户体验。
本申请实施例的示例性方法800中，步骤801中构建二维码地图的过程可参照上文，不再赘述。
本申请实施例的示例性方法800中，步骤803中确定成像器件的位姿的过程与上文步骤302相同，不再赘述。
本申请实施例的示例性方法800中，步骤804中向AR设备提供成像器件的位姿的方式可以有多种。例如，可以主动向AR设备发送成像器件的位姿或者在收到AR设备的请求之后向AR设备发送成像器件的位姿等。
在示例性方法800中，步骤804中还可以一并将该当前视野下目标实体的位置指示区域的方位计算出来并提供给AR设备，也可以直接将AR内容的渲染位置以及要渲染的AR内容提供给AR设备。
示例性应用场景
本申请实施例可适用于各种需要在真实场景中实时确定目标实体位置的应用。
下面以分拣和AR眼镜为例来说明本申请实施例在真实场景中的应用。
分拣员通过AR眼镜获取电子分拣单，分拣单描述了在一次分拣任务中，需要从来源实体取货的信息(包括物品名称、标识和数目等信息)，以及目标实体的分布信息(某个目标实体需要投放当前物品的数目等信息)。一个分拣单中可以有多件要分拣的物品。
系统(例如上文的系统200)可以根据物品分配的情况，依次或按批次提示要分拣的物品。
系统(例如上文的系统200)提示分拣员物品的来源货架和目标货架。
在分拣一个物品的状态下，当分拣员看到来源货架的时候，AR眼镜在现实的货架中将具体来源实体的位置标记出来并向分拣员展示相应的光学视图。当分拣员看到目标货架的时候，AR眼镜在现实的货架中将具体目标实体的位置标记出来来并向分拣员显示相应的光学视图。当AR眼镜视野范围有限的时候，在光学视图中视野边缘具体的位置通过箭头的形式提示分拣员应该移动的方向。这样，分拣员通过佩戴AR眼镜即可快速、准确地定位目标实体的位置，高效地完成分拣。
当分拣员分拣完一个或一批次的物品之后，AR眼镜通过用户界面提示下一个或批次的物品。直到分拣员完成当次的分拣单的分拣任务。AR眼镜自动执行下一分拣单。
检测物品分拣完的方法：分拣员通过交互形式提示系统(例如上文的系统200)；系统通过计算机视觉的方式判断物品是否已经放入目标货位；目标货位和/或来源货位上安装特殊的传感器，检测物品是否已经放入和/或物品是否已经被取走。
需要说明的是，上述分拣仅为示例。具体应用中，本申请实施例还可应用于例如图书馆中的图书上架、超市中的商品上架等类似场景中。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的实体标注方法和/或AR设备中成像器件的位姿确定方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的实体标注方法和/或AR设备中成像器件的位姿确定方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种实体标注方法，所述实体标注方法应用于光学透视式的AR设备，所述实体标注方法包括：
识别当前视野下真实场景中的二维码；
响应于所述真实场景中的二维码，确定当前视野下目标实体的位置指示区域的方位，所述位置指示区域与目标实体在同一视野内且相对位姿不变；以及，
利用所述当前视野下目标实体的位置指示区域的方位，进行AR内容渲染，生成包含所述AR内容的AR图像，并显示所述AR图像，以便在佩戴所述AR设备的用户眼中呈现一光学视图，该光学视图由所述AR图像的光学视图和当前视野中真实场景的光学视图叠加而成。
2.根据权利要求1所述的方法，其中，所述AR内容包括如下至少之一：图形、动画、视频、文字、图标。
3.根据权利要求1所述的方法，其中，响应于所述真实场景中的二维码，确定当前视野下目标实体的位置指示区域的方位，包括：
根据预先构建的二维码地图、真实场景中的二维码以及目标实体的位置指示区域在世界坐标系中的坐标，确定目标实体在所述AR设备中用于显示所述AR图像的显示装置的当前屏幕坐标系中的坐标；
其中，所述二维码地图中包括每个实体上二维码的标识和所述二维码在参考坐标系中的坐标，所述参考坐标系与世界坐标系之间存在固定的转换关系。
4.根据权利要求3所述的方法，其中，根据预先构建的二维码地图、真实场景中的二维码以及目标实体的位置指示区域在世界坐标系中的坐标，确定目标实体在所述AR设备中用于显示所述AR图像的显示装置的当前屏幕坐标系中的坐标，包括：
根据所述真实场景中的二维码以及所述二维码地图，确定所述AR设备中成像器件在当前视野下的位姿；
根据所述AR设备中成像器件在当前视野下的位姿、所述成像器件的内部参数以及所述目标实体的位置指示区域在世界坐标系中的坐标，确定所述目标实体的位置指示区域在所述当前屏幕坐标系中的坐标。
5.根据权利要求3所述的方法，还包括：
基于所述目标实体的位置指示区域在所述当前屏幕坐标系中的坐标、以及所述当前屏幕坐标系的有效像素范围，判定所述目标实体在当前视野内；
其中，利用所述当前视野下目标实体的位置指示区域的方位，进行AR内容渲染，生成包含所述AR内容的AR图像，包括：响应于所述目标实体在当前视野内，根据所述目标实体的位置指示区域在所述当前屏幕坐标系中的坐标，确定第一AR内容的渲染位置；以及，基于所述渲染位置渲染所述第一AR内容，生成包含所述第一AR内容的AR图像。
6.根据权利要求3所述的方法，其中，还包括：
基于所述目标实体的位置指示区域在所述当前屏幕坐标系中的坐标、以及所述当前屏幕坐标系的有效像素范围，判定所述目标实体在当前视野外；
响应于所述目标实体在当前视野外，基于所述目标实体的位置指示区域在所述当前屏幕坐标系中的坐标，确定所述目标实体相对当前视野的方向。
7.根据权利要求6所述的方法，其中，利用所述当前视野下目标实体的位置指示区域的方位，进行AR内容渲染，生成包含所述AR内容的AR图像，包括：
确定与所述方向对应的第二AR内容和所述第二AR内容的渲染位置；以及
在所述第二AR内容的渲染位置上渲染所述第二AR内容，生成包含所述第二AR内容的AR图像。
8.根据权利要求3-7任一项所述的方法，其中，所述目标实体的位置指示区域在所述当前屏幕坐标系中的坐标，包括：
所述目标实体的第一基准点在所述当前屏幕坐标系中的坐标，所述第一基准点是与目标实体相对位姿不变且在同一视野范围内的任意点。
9.根据权利要求8所述的方法，其中，所述第一基准点至少包括如下之一：
目标实体的几何中心；
目标实体的角点；
能够唯一确定目标实体形状的任意几何点；
所述目标实体上的任意几何点；
所述目标实体上组成预定形状的几何点；
所述目标实体周围设定位姿范围内的任意点。
10.根据权利要求8所述的方法，其中，确定与所述方向对应的第二AR内容和所述第二AR内容的渲染位置，包括：
将对应所述第二AR内容的预定区域确定为所述第二AR内容的渲染位置。
11.根据权利要求8所述的方法，其中，确定与所述方向对应的第二AR内容和所述第二AR内容的渲染位置，包括：
基于所述当前屏幕坐标系的有效像素范围的中心点与目标实体的第一基准点在所述当前屏幕坐标系中的映射点，确定所述第二AR内容的渲染位置。
12.根据权利要求1所述的方法，其中，响应于所述真实场景中的二维码，确定当前视野下目标实体的位置指示区域的方位，包括：
将当前视野下真实场景中的二维码提供给计算设备；
接收来自所述计算设备的位姿，该位姿是所述AR设备中成像器件在当前视野下的位姿；
基于所述位姿，确定当前视野下目标实体的位置指示区域的方位。
13.一种光学透视式的增强现实AR设备，所述AR设备包括：
识别装置；
显示装置；
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以控制识别装置、显示装置来实现上述权利要求1-12任一项所述的实体标注方法。
14.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-12所述的实体标注方法。
CN201910492536.2A 2019-06-06 2019-06-06 光学透视式的ar设备及其实体标注方法 Pending CN110187774A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910492536.2A CN110187774A (zh) 2019-06-06 2019-06-06 光学透视式的ar设备及其实体标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910492536.2A CN110187774A (zh) 2019-06-06 2019-06-06 光学透视式的ar设备及其实体标注方法

Publications (1)

Publication Number Publication Date
CN110187774A true CN110187774A (zh) 2019-08-30

Family

ID=67720771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910492536.2A Pending CN110187774A (zh) 2019-06-06 2019-06-06 光学透视式的ar设备及其实体标注方法

Country Status (1)

Country Link
CN (1) CN110187774A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599602A (zh) * 2019-09-19 2019-12-20 百度在线网络技术（北京）有限公司 一种ar模型的训练方法、装置、电子设备及存储介质
CN111640195A (zh) * 2020-06-08 2020-09-08 浙江商汤科技开发有限公司 一种历史场景的复现方法、装置、电子设备及存储介质
CN112215964A (zh) * 2020-09-28 2021-01-12 杭州灵伴科技有限公司 基于ar的场景导览方法和设备
CN112464870A (zh) * 2020-12-08 2021-03-09 未来汽车科技（深圳）有限公司 用于ar-hud的目标物实景融合方法、系统、设备、存储介质
CN112633128A (zh) * 2020-12-18 2021-04-09 上海影创信息科技有限公司 余光区域中感兴趣对象信息的推送方法和系统
CN113680059A (zh) * 2021-08-31 2021-11-23 中科锐新(北京)科技有限公司 一种户外场景ar游戏定位装置和方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150049201A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display
US20150192774A1 (en) * 2012-06-29 2015-07-09 Toyo Kanetsu Solutions K.K. Support device and system for article picking work
CN107340870A (zh) * 2017-07-13 2017-11-10 深圳市未来感知科技有限公司 一种融合vr和ar的虚拟现实展示系统及其实现方法
US20180311704A1 (en) * 2017-04-28 2018-11-01 United Parcel Service Of America, Inc. Conveyor belt assembly for identifying an asset sort location and methods of utilizing the same
CN109564652A (zh) * 2016-07-21 2019-04-02 电子湾有限公司 用于动态库存管理的系统和方法
CN109815854A (zh) * 2019-01-07 2019-05-28 亮风台（上海）信息科技有限公司 一种用于在用户设备上呈现图标的关联信息的方法与设备
CN109840949A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 基于光学定位的增强现实图像处理方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150192774A1 (en) * 2012-06-29 2015-07-09 Toyo Kanetsu Solutions K.K. Support device and system for article picking work
US20150049201A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display
CN109564652A (zh) * 2016-07-21 2019-04-02 电子湾有限公司 用于动态库存管理的系统和方法
US20180311704A1 (en) * 2017-04-28 2018-11-01 United Parcel Service Of America, Inc. Conveyor belt assembly for identifying an asset sort location and methods of utilizing the same
CN107340870A (zh) * 2017-07-13 2017-11-10 深圳市未来感知科技有限公司 一种融合vr和ar的虚拟现实展示系统及其实现方法
CN109840949A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 基于光学定位的增强现实图像处理方法和装置
CN109815854A (zh) * 2019-01-07 2019-05-28 亮风台（上海）信息科技有限公司 一种用于在用户设备上呈现图标的关联信息的方法与设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599602A (zh) * 2019-09-19 2019-12-20 百度在线网络技术（北京）有限公司 一种ar模型的训练方法、装置、电子设备及存储介质
CN111640195A (zh) * 2020-06-08 2020-09-08 浙江商汤科技开发有限公司 一种历史场景的复现方法、装置、电子设备及存储介质
CN112215964A (zh) * 2020-09-28 2021-01-12 杭州灵伴科技有限公司 基于ar的场景导览方法和设备
CN112464870A (zh) * 2020-12-08 2021-03-09 未来汽车科技（深圳）有限公司 用于ar-hud的目标物实景融合方法、系统、设备、存储介质
CN112464870B (zh) * 2020-12-08 2024-04-16 未来汽车科技（深圳）有限公司 用于ar-hud的目标物实景融合方法、系统、设备、存储介质
CN112633128A (zh) * 2020-12-18 2021-04-09 上海影创信息科技有限公司 余光区域中感兴趣对象信息的推送方法和系统
CN113680059A (zh) * 2021-08-31 2021-11-23 中科锐新(北京)科技有限公司 一种户外场景ar游戏定位装置和方法
CN113680059B (zh) * 2021-08-31 2024-05-14 中科锐新(北京)科技有限公司 一种户外场景ar游戏定位装置和方法

Similar Documents

Publication Publication Date Title
CN110187774A (zh) 光学透视式的ar设备及其实体标注方法
US11100649B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
CN107957774B (zh) 虚拟现实空间环境中的交互方法及装置
US20240290049A1 (en) Displaying Content in an Augmented Reality System
CN107957775B (zh) 虚拟现实空间环境中的数据对象交互方法及装置
US9734634B1 (en) Augmented reality product preview
Raskar et al. RFIG lamps: interacting with a self-describing world via photosensing wireless tags and projectors
US10043317B2 (en) Virtual trial of products and appearance guidance in display device
JP5295416B1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN108700946A (zh) 用于并行测距和建图的故障检测和恢复的系统和方法
JP6310149B2 (ja) 画像生成装置、画像生成システム及び画像生成方法
CN110084797B (zh) 平面检测方法、装置、电子设备和存储介质
CN109584377B (zh) 一种用于呈现增强现实内容的方法与设备
US20190073796A1 (en) Method and Image Processing System for Determining Parameters of a Camera
CN108629799B (zh) 一种实现增强现实的方法及设备
EP2974509A1 (en) Personal information communicator
US20220075477A1 (en) Systems and/or methods for parallax correction in large area transparent touch interfaces
KR20170089917A (ko) 실제 크기의 상호작용 오브젝트의 생성 및 디스플레이
CN110211243A (zh) Ar设备及其实体标注方法
WO2023196395A1 (en) Real-time visualization of a virtual scene controllable through physical objects
JP2016122443A (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
CN112535392B (zh) 基于光通信装置的物品陈列系统和信息提供方法、设备及介质
CN108346183A (zh) 一种用于ar基准定位的方法及系统
Li et al. A combined vision-inertial fusion approach for 6-DoF object pose estimation
JP2017199404A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190830

RJ01 Rejection of invention patent application after publication