CN111459269A - 一种增强现实显示方法、系统及计算机可读存储介质 - Google Patents

一种增强现实显示方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN111459269A
CN111459269A CN202010215926.8A CN202010215926A CN111459269A CN 111459269 A CN111459269 A CN 111459269A CN 202010215926 A CN202010215926 A CN 202010215926A CN 111459269 A CN111459269 A CN 111459269A
Authority
CN
China
Prior art keywords
dimensional visual
visual map
map
point
pose information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010215926.8A
Other languages
English (en)
Other versions
CN111459269B (zh
Inventor
王强
张小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shichen Information Technology Shanghai Co ltd
Original Assignee
Shichen Information Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shichen Information Technology Shanghai Co ltd filed Critical Shichen Information Technology Shanghai Co ltd
Priority to CN202010215926.8A priority Critical patent/CN111459269B/zh
Publication of CN111459269A publication Critical patent/CN111459269A/zh
Application granted granted Critical
Publication of CN111459269B publication Critical patent/CN111459269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

本申请实施例提供了一种增强现实显示方法、系统及计算机可读存储介质，其中该方法包括利用第一设备采集第一现实环境图像，构建第一三维视觉地图；获取位置点
Figure DDA0002423659830000011
在第一三维视觉地图中的N3D个邻图，分别计算
Figure DDA0002423659830000013
的每个邻图与
Figure DDA0002423659830000012
的相对位姿
Figure DDA0002423659830000014
利用第二设备采集第二现实环境图像，构建第二三维视觉地图，计算第一三维视觉地图与第二三维视觉地图的相对位姿
Figure DDA0002423659830000015
；分别计算
Figure DDA0002423659830000019
的N3D个邻图在第二三维视觉地图中的位姿信息
Figure DDA0002423659830000016
′；计算得到
Figure DDA0002423659830000018
在第二三维视觉地图中的位姿信息P′a；利用所述P′a将所述位置点
Figure DDA0002423659830000017
的增强现实内容叠加到至少一帧所述第二现实环境图像中形成交互内容并显示出来。

Description

一种增强现实显示方法、系统及计算机可读存储介质
技术领域
本申请涉及增强现实显示技术领域，特别是涉及一种增强现实显示方法、系统及计算机可读存储介质。
背景技术
增强现实(augmented reality，AR)是一种通过计算机处理、并借助透视式的显示器或眼镜实现虚拟内容与现实环境图像的融合的技术。AR应用可以将AR素材实时地、直接地、准确地叠加到现实环境图像中，从而实现现实环境图像和虚拟内容(例如AR素材)的相互补充，使得现实环境图像和AR素材可以准确、自然地交互并显示出来，使得用户可以具身临其境地与现实环境图像进行互动。目前增强现实已经在智能手机、AR眼镜等智能设备上广泛应用。
目前AR技术依赖于已知的标识物，比如专门设计的标志点、预定义的二维识别图像和已知模型的三维物体等，通过准确地识别和跟踪标识物的位姿获取AR设备相对于标识物的位姿信息，从而准确地在现实环境图像中叠加AR素材，虽然通过标识物进行AR显示的精度高，但是依赖于已知的现实环境内容等信息，AR适用范围受限。
为了扩大AR使用范围，目前AR的应用方式是通过对现实环境进行三维重建得到三维地图，利用三维地图建立的坐标系将AR素材叠加到现实环境图像中。通过三维地图实现多人AR游戏、AR导航导览、AR说明书等应用。在AR应用中，AR素材与现实环境图像贴合的准确程度是影响AR用户体验的关键因素之一。目前AR应用通常都是基于三维地图中的已知位姿的地图点和图像帧，在三维地图中建立坐标系，计算每一个地图点和每一帧图像在同一个坐标系下的位姿，并记录每一个AR素材在该坐标系下的位姿。例如，基于快速特征点提取和描述(Oriented FAST and Rotated BRIEF，ORB)的三维定位与地图构建(simu1taneouslocalization and mapping，ALAM)算法(ORB-SLAM)，或者，鲁棒多功能的单目视觉惯性状态估计算法(A Robust and Versatile Monocular Visual-Inertial State Estimator，VINS-mono)。任意的AR设备在使用三维地图时，调用AR素材在三维地图坐标系下的位姿进行渲染，叠加到现实环境图像中。
但是，由于每次AR设备定位和跟踪AR素材计算得到的位姿信息都有误差，且每个AR设备、每个AR素材的位姿都在同一坐标系下进行计算，AR设备和AR素材位姿的偏差会影响AR显示的效果，导致虚拟物体无法准确地叠加到现实环境中。尤其是随着三维地图规模的增大，三维地图边缘受到杠杆效应影响，AR显示的位置误差大，导致AR应用的用户体验不佳。
发明内容
本申请提供一种增强现实显示方法、系统及计算机可读存储介质，在AR显示时对三维视觉地图中的预设点进行视觉定位，能够将AR素材准确地叠加到现实环境图像中去，提高AR用户的体验。
本申请提供一种增强现实显示方法，所述方法包括：
利用第一设备采集第一现实环境图像，构建第一三维视觉地图；
获取所述第一三维视觉地图中的位置点
Figure BDA0002423659810000031
在所述第一三维视觉地图中的N3D个邻图，分别计算所述
Figure BDA0002423659810000032
的每个邻图与所述
Figure BDA0002423659810000033
的相对位姿
Figure BDA0002423659810000034
其中1≤t≤N3D且t和N3D为自然数；
利用第二设备采集第二现实环境图像，构建第二三维视觉地图，计算所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure BDA0002423659810000035
分别计算所述
Figure BDA0002423659810000036
的N3D个邻图在所述第二三维视觉地图中的位姿信息
Figure BDA0002423659810000037
利用以下信息中的一个或多个，计算得到所述
Figure BDA0002423659810000038
在所述第二三维视觉地图中的位姿信息P′a：所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure BDA0002423659810000039
所述
Figure BDA00024236598100000310
在所述第一三维视觉地图中的位姿信息和所述
Figure BDA00024236598100000311
的邻图在所述第二三维视觉地图中的位姿信息；
利用所述P′a将所述位置点
Figure BDA00024236598100000312
的增强现实内容叠加到至少一帧所述第二现实环境图像中形成交互内容并显示出来。
优选地，所述
Figure BDA00024236598100000313
的邻图是所述第一三维视觉地图中包含所述
Figure BDA00024236598100000314
的第一现实环境图像；
或者，所述
Figure BDA0002423659810000041
的邻图是在所述第一三维视觉地图中与所述
Figure BDA0002423659810000042
的距离小于预设阈值的所述第一现实环境图像。
优选地，所述分别计算所述
Figure BDA0002423659810000043
的每个邻图与所述
Figure BDA0002423659810000044
的相对位姿
Figure BDA0002423659810000045
具体包括：
所述
Figure BDA0002423659810000046
的邻图
Figure BDA0002423659810000047
的中心点在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure BDA0002423659810000048
所述
Figure BDA0002423659810000049
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure BDA00024236598100000410
所述邻图
Figure BDA00024236598100000411
与所述
Figure BDA00024236598100000412
的相对位姿
Figure BDA00024236598100000413
为向量
Figure BDA00024236598100000414
优选地，所述方法还包括：
获取所述
Figure BDA00024236598100000415
在所述第一三维视觉地图中的N2D个邻点，分别计算所述
Figure BDA00024236598100000416
的每个邻点与所述
Figure BDA00024236598100000417
的相对位姿
Figure BDA00024236598100000418
其中1≤s≤N2D且s和N2D为自然数；
分别计算所述
Figure BDA00024236598100000419
的N2D个邻点在所述第二三维视觉地图中的位姿信息
Figure BDA00024236598100000420
利用以下信息中的一个或多个，计算得到所述
Figure BDA00024236598100000421
在所述第二三维视觉地图中的位姿信息P′a：所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure BDA00024236598100000422
所述
Figure BDA00024236598100000423
在所述第一三维视觉地图中的位姿信息，所述
Figure BDA00024236598100000424
的邻点在所述第二三维视觉地图中的位姿信息和所述
Figure BDA00024236598100000425
的邻图在所述第二三维视觉地图中的位姿信息。
优选地，所述
Figure BDA0002423659810000051
的邻点是在所述第一三维视觉地图中与所述
Figure BDA0002423659810000052
的坐标距离小于预设阈值的第一地图点；所述第一地图点为所述第一现实环境图像的特征点；
或者，所述
Figure BDA0002423659810000053
的邻点是在所述第一三维视觉地图中与所述
Figure BDA0002423659810000054
的特征描述向量相似度大于预设阈值的所述第一地图点。
优选地，所述分别计算所述
Figure BDA0002423659810000055
的N2D个邻点在所述第二三维视觉地图中的位姿信息
Figure BDA0002423659810000056
具体包括：
所述邻点
Figure BDA0002423659810000057
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure BDA0002423659810000058
所述
Figure BDA0002423659810000059
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure BDA00024236598100000510
所述邻点
Figure BDA00024236598100000511
与所述
Figure BDA00024236598100000512
的相对位姿
Figure BDA00024236598100000513
为向量
Figure BDA00024236598100000514
优选地，所述计算得到所述
Figure BDA00024236598100000515
在所述第二三维视觉地图中的位姿信息P′a具体包括：
利用公式
Figure BDA00024236598100000516
计算得到所述
Figure BDA00024236598100000517
在所述第二三维视觉地图中的位姿信息P′a，其中，w1、ws、wt为任意值。
本申请还提供一种增强现实显示系统，包括：处理器和存储器；
所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时执行如前所述的增强现实显示方法的步骤。
本申请还提供一种增强现实显示系统，所述系统包括采集模块、计算模块和显示模块，其中：
所述采集模块，用于利用第一设备采集第一现实环境图像，构建第一三维视觉地图；利用第二设备采集第二现实环境图像，构建第二三维视觉地图；
所述计算模块，用于获取所述第一三维视觉地图中的位置点
Figure BDA0002423659810000061
在所述第一三维视觉地图中的N3D个邻图，分别计算所述
Figure BDA0002423659810000062
的每个邻图与所述
Figure BDA0002423659810000063
的相对位姿
Figure BDA0002423659810000064
其中1≤t≤N3D且t和N3D为自然数；
计算所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure BDA0002423659810000065
分别计算所述
Figure BDA0002423659810000066
的N3D个邻图在所述第二三维视觉地图中的位姿信息
Figure BDA0002423659810000067
利用以下信息中的一个或多个，计算得到所述
Figure BDA0002423659810000068
在所述第二三维视觉地图中的位姿信息P′a：所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure BDA0002423659810000069
所述
Figure BDA00024236598100000610
在所述第一三维视觉地图中的位姿信息和所述
Figure BDA00024236598100000611
的邻图在所述第二三维视觉地图中的位姿信息；
所述显示模块，用于利用所述P′a将所述位置点
Figure BDA00024236598100000612
的增强现实内容叠加到至少一帧所述第二现实环境图像中形成交互内容并显示出来。
优选地，所述计算模块，还用于在所述第一三维视觉地图中获取包含所述
Figure BDA00024236598100000613
的第一现实环境图像为所述
Figure BDA00024236598100000614
的邻图；
或者，在所述第一三维视觉地图中获取与所述
Figure BDA0002423659810000071
的距离小于预设阈值的所述第一现实环境图像为所述
Figure BDA0002423659810000072
的邻图。
优选地，所述计算模块，还用于计算所述
Figure BDA0002423659810000073
的邻图
Figure BDA0002423659810000074
的中心点在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure BDA0002423659810000075
计算所述
Figure BDA0002423659810000076
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure BDA0002423659810000077
计算得到所述邻图
Figure BDA0002423659810000078
与所述
Figure BDA0002423659810000079
的相对位姿
Figure BDA00024236598100000710
的向量
Figure BDA00024236598100000711
优选地，所述计算模块，还用于获取所述
Figure BDA00024236598100000712
在所述第一三维视觉地图中的N2D个邻点，分别计算所述
Figure BDA00024236598100000713
的每个邻点与所述
Figure BDA00024236598100000714
的相对位姿
Figure BDA00024236598100000715
其中1≤s≤N2D且s和N2D为自然数；
分别计算所述
Figure BDA00024236598100000716
的N2D个邻点在所述第二三维视觉地图中的位姿信息
Figure BDA00024236598100000717
利用以下信息中的一个或多个，计算得到所述
Figure BDA00024236598100000718
在所述第二三维视觉地图中的位姿信息P′a：所述第一三维视觉地图与所述第二三维视觉地图的相对位姿所述
Figure BDA00024236598100000720
在所述第一三维视觉地图中的位姿信息，所述
Figure BDA00024236598100000721
的邻点在所述第二三维视觉地图中的位姿信息和所述
Figure BDA00024236598100000722
的邻图在所述第二三维视觉地图中的位姿信息。
优选地，所述计算模块，还用于在所述第一三维视觉地图中获取与所述
Figure BDA00024236598100000723
的坐标距离小于预设阈值的所述第一地图点为所述
Figure BDA00024236598100000724
的邻点；所述第一地图点为所述第一现实环境图像的特征点；
或者，在所述第一三维视觉地图中获取与所述
Figure BDA0002423659810000081
的特征描述向量相似度大于预设阈值的所述第一地图点为所述
Figure BDA0002423659810000082
的邻点。
优选地，所述计算模块，还用于计算所述邻点
Figure BDA0002423659810000083
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure BDA0002423659810000084
计算所述
Figure BDA0002423659810000085
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure BDA0002423659810000086
计算得到所述邻点
Figure BDA0002423659810000087
与所述
Figure BDA0002423659810000088
的相对位姿
Figure BDA0002423659810000089
的向量
Figure BDA00024236598100000810
Figure BDA00024236598100000811
优选地，还用于利用公式
Figure BDA00024236598100000812
计算得到所述
Figure BDA00024236598100000813
在所述第二三维视觉地图中的位姿信息P′a，其中，w1、ws、wt为任意值。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的增强现实显示方法的步骤。
本申请实施例所提供的一种增强现实显示方法、系统及计算机可读存储介质，可以实现的有益效果是：
通过在AR设备中建立第二三维视觉地图，并在所述第二三维视觉地图中对第一三维视觉地图中的预设点进行视觉定位，实时计算得到AR素材在第二三维视觉地图中的位姿信息。利用所述第一三维视觉地图和所述第二三维视觉地图中的现实环境图像的视觉特征，消除所述第一三维视觉地图和所述第二三维视觉地图建图过程中的误差以及AR素材在所述第一三维视觉地图中的定位误差，得到AR素材与AR设备的准确的相对位姿，使得AR显示的鲁棒性强、准确度高，提高AR用户的体验。
附图说明
图1是本申请实施例增强现实显示系统的第一结构示意图；
图2是本申请实施例增强现实显示系统的第一流程示意图；
图3是本申请实施例增强现实显示系统的第二流程示意图；
图4是本申请实施例增强现实显示系统的第三流程示意图；
图5是本申请实施例增强现实显示系统的第二结构示意图；
图6是本申请实施例增强现实显示系统的第三结构示意图；
图7是本申请实施例增强现实显示系统的第四结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非上下文明确地另外指明，否则单数形式“一”和“所述”包括复数指代物。如本申请中所使用的，用语“第一”和“第二”可互换使用，以将一个或一类构件分别与另一个或另一类区分开，且不旨在表示独立构件的位置或重要性。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于用户设备、网络设备或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备其包括但不限于任何一种可与用户通过触摸板进行人机交互的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、IOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field-Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述网络设备其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。
所述网络104包括但不限于互联网、移动通信网络、广域网、城域网、局域网、VPN网络、无线自组织网络(AdHoc网络)等。例如，移动通信网络可以是3G、4G或5G移动通信系统，例如，移动通信网络可以是宽带码分多址(Wideband Code Division Multiple Access，WCDMA)系统、频分多址(Frequency Division Multiple Access，FDMA)系统、正交频分多址(Orthogonal Frequency-Division Multiple Access，OFDMA)系统、单载波FDMA(SC-FDMA)系统、通用分组无线业务(General Packet Radio Service，GPRS)系统或长期演进(LongTerm Evolution，LTE)系统，以及其他此类通信系统。当然，本领域技术人员应能理解上述终端设备仅为举例，其他现有的或今后可能出现的终端设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
服务器105可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心，例如云端服务器。其也可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的增强现实显示方法一般由服务器执行，相应地，增强现实显示系统/装置一般设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
如图2所示，为本申请实施例提供的一种增强现实显示方法的流程示意图，所述增强现实显示方法可以由云端服务器执行。所述云端服务器可以为图1中所述服务器105。
步骤21，构建第一三维视觉地图。
所述第一三维视觉地图可以是包含至少两幅第一现实环境图像的三维地图，例如，对至少两幅所述第一现实环境图像进行三维重建，得到所述第一三维视觉地图。例如，所述第一三维视觉地图可以利用第一设备按预设的标准采集第一现实环境图像，例如，所述第一设备以预设的时间间隔或空间间隔采集所述第一现实环境图像。所述第一设备可以与第一AR设备相连接，所述第一设备可以是智能手机等终端设备；所述第一AR设备也可以是智能手机等终端设备，也可以是专用的AR设备。在本申请实施例一个可选的方案中，所述第一设备也可以是所述第一AR设备。
所述第一三维视觉地图包括所述第一三维视觉地图中第一现实环境图像的位姿信息和所述第一三维视觉地图中的第一地图点的位姿信息，所述位姿信息包括位置信息和姿态信息，所述位置信息和姿态信息可以通过定位设备获取，所述定位设备可以是全球定位系统(GPS)、陀螺仪、惯性测量单元(IMU)、气压计等，所述位置信息包括地理位置信息，例如地理位置名称或者包括经度和纬度，所述姿态信息包括海拔、方位角、水平定位精度和垂直定位精度中的一个或者多个。所述第一地图点可以是在所述第一现实环境图像中提取的特征点，所述提取特征点的具体过程在下文详述。
在本申请另一实施例中，所述第一三维视觉地图以Ow为原点建立三维坐标系，例如，所述以Ow为原点的坐标系中各坐标轴分别为x，y，z轴。所述第一三维视觉地图包含至少两个第一地图点和至少两帧所述第一现实环境图像，所述第一三维视觉地图中的第一地图点构成点集P{P1，P2，P3，P4…Pp1}，其中p1为所述第一三维视觉地图中的第一地图点总数量。例如，所述第一三维视觉地图中的所述第一现实环境图像F1，F2，F3，F4，F5…均包括所述第一地图点P1，所述第一地图点P1的位姿信息还可以包括以下内容中的一个或多个：所述第一地图点P1在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标，所述第一地图点P1在所述第一现实环境图像F1中的特征描述向量，所述第一地图点P1在所述第一现实环境图像F1，F2，F3，F4，F5…中的一幅或多幅中的特征描述向量的均值。所述第一三维视觉地图中的第一现实环境图像构成图像集F{F1，F2，F3，F4，F5…Fi1}，所述i1为所述第一三维视觉地图中的第一现实环境图像总数量，所述第一现实环境图像F1的位姿信息还可以包括以下内容中的一个或多个：所述第一现实环境图像F1的中心点在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标，所述第一设备在采集所述第一现实环境图像F1时的位姿信息，所述第一设备在采集所述第一现实环境图像F1时相对于以Ow为原点的坐标系的旋转角度，所述第一现实环境图像F1的特征点/特征描述向量。所述第一三维视觉地图、所述点集P以及所述图像集F可以存储在云端服务器中。
在本申请另一实施例中，所述第一三维视觉地图的构建过程可以采用运动推断结构法，例如，将至少两帧所述第一现实环境图像组成第一现实环境图像集Q，在所述第一现实环境图像集Q中随机选择一帧所述第一现实环境图像F1，提取所述第一现实环境图像F1的至少一个特征点，例如，可以使用特征提取算子提取所述第一现实环境图像F1的至少一个特征点，例如，使用加速角点特征(Features from Accelerated Segment Test，FAST)检测算法、哈里斯(Harris)角点检测算法、莫拉维克(Moravec)角点检测算法、史托马西(Shi-Tomasi)角点检测算法或基于加速角点特征和二元独立特征描述(Oriented FASTandRotated BRIEF，ORB)特征检测算法等。所述特征点是图像中的特殊位置，也可以称为“角点”，或“兴趣点(interest point)”。例如，FAST角点检测算法是找到与周围邻域内大于预定数量的像素点相差大于等于阈值的像素点XP，则所述像素点XP为角点，角点即为所要提取的特征点。例如，随机选择一个像素点XP，以XP为圆心画一个半径为3像素的圆经过16个像素点，如果圆周上有连续n个像素点的灰度值与XP点的灰度值之差大于等于阈值，则认为XP为所要提取的特征点，其中n为大于等于1的整数，例如，n可以设置为12，阈值可以根据应用的现实环境预设。
将所述第一现实环境图像F1与所述第一现实环境图像集Q中其他图像进行特征点匹配，在所述第一现实环境图像集Q中找到匹配点个数大于预设阈值的第一现实环境图像F2。例如，所述特征点匹配可以是对所述第一现实环境图像的特征点进行特征描述得到所述第一现实环境图像的特征描述向量，在所述第一现实环境图像F2中找到一个特征点IP2与所述第一现实环境图像F1中的特征点IP1的特征描述向量的相似度大于阈值，所述特征点IP1与所述特征点IP2即为匹配的特征点，可以称为一组匹配点。例如，所述对特征点进行特征描述的过程可以使用尺度不变特征转换(Scale-Invariant Feature Transform，SIFT)特征描述子算法、加速稳健特征(Speeded Up Robust Features，SURF)特征描述子算法或二元尺度不变(Binary Robust Invariant Scalable Keypoints，BRISK)特征描述子算法等。例如，SIFT特征描述子算法，用于侦测与描述图像中的局部性特征，对所述特征点进行梯度计算，生成梯度直方图，统计选取的邻域内像素的梯度和方向，从而确定所述特征点的方向；取所述特征点周围4×4共16个区域块，统计每个所述区域块内8个梯度方向，这4×4×8共128维向量为所述特征点的特征描述向量，将所述第一现实环境图像中的所有特征点都用SIFT算法转化为128维的特征描述向量，得到所述第一现实环境图像的特征描述向量。
计算所述第一现实环境图像F1和F2的相对位姿，例如，将所述第一现实环境图像F1和F2中匹配的特征点确定为所述第一现实环境图像F1和F2的重合部分，利用所述重合部分以及所述第一现实环境图像F1和F2中未匹配的特征点，计算得到所述第一现实环境图像F1和F2的相对位姿。
利用所述第一现实环境图像F1和F2中的匹配点以及所述第一现实环境图像F1和F2相对位姿，构建所述第一三维视觉地图。例如，分别提取所述第一现实环境图像F1和F2中的特征点并进行特征点匹配，得到所述第一现实环境图像F1和F2的匹配点。通过8点法计算得到所述第一现实环境图像F1和F2的相对位姿，例如，计算矩阵PP使得所述特征点IP1(可以用矩阵x表示)与所述特征点IP2(可以用矩阵x′表示)满足方程x′T·PP·x＝0，其中所述矩阵PP可以是一个3×3的齐次矩阵，分别在方程中代入7组匹配点计算得到所述矩阵PP。利用矩阵PP可以计算得到所述第一现实环境图像F1与所述第一现实环境图像F2的所有匹配点在所述第一三维视觉地图中的位姿信息。依次选取所述第一现实环境图像集Q中尚未加入所述第一三维视觉地图的所述第一现实环境图像，遍历完所述第一现实环境图像集Q中的每一帧图像，完成所述第一三维视觉地图的构建。
在本申请实施例的一个可选方案中，为了保证所述第一三维视觉地图的误差尽可能小，每加入一帧所述第一现实环境图像之后，运行全局的捆绑约束对以下内容中的一个或多个进行优化：所述第一三维视觉地图，所述第一三维视觉地图中的第一现实环境图像，所述第一三维视觉地图中的所述第一现实环境图像的位姿信息，所述第一三维视觉地图中的所述第一地图点的位姿信息。例如，将所述第一现实环境图像F1和F2的每一组匹配点(例如，所述第一现实环境图像F1和F2共有r组匹配点，1≤r且r为自然数)的投影误差记为(f1f2…fr)，捆绑约束的目标函数为
Figure BDA0002423659810000171
其中argmin表示使得表达式的值最小。可以通过莱文贝格-马夸特方法(Levenberg-Marquardt，LM)法进行求解。例如，将f(x)的雅可比矩阵记录为J(x)，每一次迭代LM算法解决最小二乘问题。例如，利用公式
δ*＝arg min||J(x)δ+fx||2+γ||D(x)δ||2
使得x←x+δ*直到迭代次数达到要求或者与前一次迭代结果的差值小于预先设定的阈值。
步骤22，在所述第一三维视觉地图中标记位置点
Figure BDA0002423659810000172
并获取所述
Figure BDA0002423659810000173
在所述第一三维视觉地图中的位姿信息。
例如，所述第一设备或第一AR设备在所述第一三维视觉地图中标记位置点
Figure BDA0002423659810000174
所述位置点
Figure BDA0002423659810000175
在所述第一三维视觉地图中以Ow为原点的坐标系下坐标为
Figure BDA0002423659810000176
在本申请实施例的一个可选方案中，所述位置点
Figure BDA0002423659810000181
还可以放置预设的AR素材Aa，所述位置点
Figure BDA0002423659810000182
的增强现实内容包括所述素材Aa，所述
Figure BDA0002423659810000183
在所述第一三维视觉地图中的位姿信息还包括所述Aa在所述第一三维视觉地图中的位姿信息。
在本申请实施例中，所述
Figure BDA0002423659810000184
在所述第一三维视觉地图中的位姿信息还包括以下内容中的一个或多个：所述
Figure BDA0002423659810000185
的邻点点集
Figure BDA0002423659810000186
所述点集Pa中每个邻点在所述第一三维视觉地图中的位姿信息、每个所述
Figure BDA0002423659810000187
的邻点与所述
Figure BDA0002423659810000188
的相对位姿
Figure BDA0002423659810000189
所述
Figure BDA00024236598100001810
的邻图图像集
Figure BDA00024236598100001811
所述图像集Fa中每个邻图在所述第一三维视觉地图中的位姿信息、每个所述
Figure BDA00024236598100001812
的邻图与所述
Figure BDA00024236598100001813
的相对位姿
Figure BDA00024236598100001814
所述位置点
Figure BDA00024236598100001815
的位姿信息为所述第一三维视觉地图的一部分存储在云端服务器中。其中，N2D为所述
Figure BDA00024236598100001816
的邻点数量，1≤N2D≤p1且N2D和p1为自然数；N3D为所述
Figure BDA00024236598100001817
的邻图数量，1≤N3D≤i1且N3D和i1为自然数。所述邻点和邻图的获取过程在下文详述。
在本申请另一实施例中，还可以获取所述第一三维视觉地图中的任意其他位置的位姿信息存储在所述第一三维视觉地图中。所述第一三维视觉地图可以存储在云端服务器中。
如图3所示，在本申请的另一实施例中，获取所述
Figure BDA00024236598100001818
在所述第一三维视觉地图中的位姿信息的具体过程可以下如述。
步骤31，获取所述
Figure BDA0002423659810000191
的N2D个邻点，分别计算所述
Figure BDA0002423659810000192
的每个邻点与所述
Figure BDA0002423659810000193
的相对位姿。
利用所述第一三维视觉地图中每个所述第一地图点的位姿信息以及所述
Figure BDA0002423659810000194
的位姿信息，计算得到所述
Figure BDA0002423659810000195
的邻点。例如，所述
Figure BDA0002423659810000196
的邻点可以是在所述第一三维视觉地图中以Ow为原点的坐标系下与所述
Figure BDA0002423659810000197
的坐标距离小于预设阈值的所述第一地图点。或者，所述
Figure BDA0002423659810000198
的邻点也可以是在所述第一三维视觉地图中与所述
Figure BDA0002423659810000199
的特征描述向量相似度大于预设阈值的所述第一地图点。
例如，在所述第一三维视觉地图中检索得到与所述
Figure BDA00024236598100001910
的欧式距离小于预设阈值的邻点
Figure BDA00024236598100001911
利用所述邻点
Figure BDA00024236598100001912
的位姿信息计算得到所述邻点
Figure BDA00024236598100001913
与所述
Figure BDA00024236598100001914
的相对位姿
Figure BDA00024236598100001915
例如，所述邻点
Figure BDA00024236598100001916
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure BDA00024236598100001917
所述
Figure BDA00024236598100001918
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure BDA00024236598100001919
满足方程
Figure BDA00024236598100001920
其中σ为在以Ow为原点的坐标系下所述
Figure BDA00024236598100001921
的邻点与所述
Figure BDA00024236598100001922
的坐标距离阈值。所述邻点
Figure BDA00024236598100001923
与所述
Figure BDA00024236598100001924
的相对位姿
Figure BDA00024236598100001925
可以为向量
Figure BDA00024236598100001926
Figure BDA00024236598100001927
或者，分别计算所述点集P{P1，P2，P3，P4…Pp1}中的每一个点与所述
Figure BDA00024236598100001928
的欧式距离(Euclidean Distance)/汉明距离/绝对值距离/街区距离，并按照距离从小到大排序，其中距离最小的N2D个点为所述
Figure BDA00024236598100001929
的邻点，所述
Figure BDA00024236598100001930
的邻点构成点集
Figure BDA00024236598100001931
利用所述
Figure BDA00024236598100001932
与所述
Figure BDA0002423659810000201
的邻点在所述第一三维视觉地图中的位姿信息，分别计算每个所述
Figure BDA0002423659810000202
的邻点与所述
Figure BDA0002423659810000203
的相对位姿
Figure BDA0002423659810000204
步骤32，获取所述
Figure BDA0002423659810000205
的N3D个邻图，分别计算所述
Figure BDA0002423659810000206
的每个邻图与所述
Figure BDA0002423659810000207
的相对位姿。
所述
Figure BDA0002423659810000208
的邻图可以是所述图像集F中包含所述
Figure BDA0002423659810000209
的第一现实环境图像。例如，所述
Figure BDA00024236598100002010
的邻图
Figure BDA00024236598100002011
包含所述
Figure BDA00024236598100002012
或者，所述邻图
Figure BDA00024236598100002013
包含所述AR素材Aa中的部分或全部。利用所述邻图
Figure BDA00024236598100002014
在所述第一三维视觉地图中的位姿信息，计算得到所述邻图
Figure BDA00024236598100002015
与所述
Figure BDA00024236598100002016
的相对位姿
Figure BDA00024236598100002017
例如，所述邻图
Figure BDA00024236598100002018
的中心点在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure BDA00024236598100002019
或者，所述第一设备在采集所述邻图
Figure BDA00024236598100002020
时在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure BDA00024236598100002021
所述邻图
Figure BDA00024236598100002022
与所述
Figure BDA00024236598100002023
的相对位姿
Figure BDA00024236598100002024
可以为向量
Figure BDA00024236598100002025
Figure BDA00024236598100002026
在本申请另一实施例中，所述
Figure BDA00024236598100002027
的邻图可以是在所述第一三维视觉地图中以Ow为原点的坐标系下与所述
Figure BDA00024236598100002028
的距离小于预设阈值的所述第一现实环境图像。
或者，分别计算所述图像集F{F1，F2，F3，F4，F5..Fi1}中的每个所述第一现实环境图像与所述
Figure BDA00024236598100002029
的欧式距离(Euclidean Distance)/汉明距离/绝对值距离/街区距离，并按照距离从小到大排序，其中距离最小的N3D个所述第一现实环境图像为所述
Figure BDA00024236598100002030
的邻图，所述
Figure BDA00024236598100002031
的邻图构成图像集
Figure BDA00024236598100002032
利用所述
Figure BDA00024236598100002033
与所述
Figure BDA00024236598100002034
的邻图在所述第一三维视觉地图中的位姿信息，分别计算每个所述
Figure BDA0002423659810000211
的邻图与所述
Figure BDA0002423659810000212
的相对位姿
Figure BDA0002423659810000213
在本申请另一实施例中，在每次所述第一三维视觉地图加入新的所述第一现实环境图像后，重新获取所述
Figure BDA0002423659810000214
在所述第一三维视觉地图中的位姿信息。
步骤23，构建第二三维视觉地图，计算所述第一三维视觉地图与所述第二三维视觉地图的相对位姿。
例如，参照步骤21利用第二设备采集第二现实环境图像，对所述第二现实环境图像进行三维重建，得到所述第二三维视觉地图，所述第二三维视觉地图包括至少两帧所述第二现实环境图像以及至少两个所述第二地图点。所述第二地图点可以是在所述第二现实环境图像中提取的特征点。所述第二设备可以与第二AR设备相连接，所述第二设备可以是智能手机等终端设备；所述第二AR设备也可以是智能手机等终端设备，也可以是专用的AR设备。在本申请实施例一个可选的方案中，所述第二设备也可以是所述第二AR设备。所述第二AR设备可以显示交互内容，所述交互内容可以包含至少一个第二现实环境图像以及至少一个预设的AR素材。
所述第二三维视觉地图以O2为原点建立三维坐标系。例如，所述第二三维视觉地图中的所述第二现实环境图像F′1，F′2，F′3，F′4，F′5…均包括所述第二三维视觉地图中的第二地图点P1′，所述第二地图点P1′的位姿信息还可以包括以下内容中的一个或多个：所述第二地图点P1′在所述第二三维视觉地图中以O2为原点的坐标系下的坐标，所述第二地图点P1′在所述第二现实环境图像F1′中的特征描述向量，所述第二地图点P1′在所述第二现实环境图像F′1，F′2，F′3，F′4，F′5…中的一幅或多幅中的特征描述向量的均值。
在所述第二三维视觉地图中选取一帧所述第二现实环境图像F1′在所述第一三维视觉地图中进行视觉定位。所述视觉定位的方法很多，例如，基于所述第二现实环境图像F1′的特征点/特征描述向量在所述图像集F中进行检索，得到与所述第二现实环境图像F1′相似度大于预设阈值的所述第一现实环境图像F1。或者，可以采用特征点匹配法进行视觉定位，例如，分别将所述图像集F中的每一张所述第一现实环境图像中的特征点与所述F1′中的特征点进行匹配，获得与所述F1′的匹配点数量大于预设阈值的所述第一现实环境图像F1。
利用所述F1在所述第一三维视觉地图中的位姿信息以及所述F1′在所述第二三维视觉地图中的位姿信息，计算得到所述第一三维视觉地图与所述第二三维视觉地图的相对位姿。例如，计算得到所述F1与所述F1′变换的旋转矩阵R′和平移向量t′，例如，
Figure BDA0002423659810000221
其中，R0和P0分别为所述F1在所述第一三维视觉地图中的姿态和位置，
Figure BDA0002423659810000222
和
Figure BDA0002423659810000223
分别为所述F1′在所述第二三维视觉地图中的的姿态和位置，所述旋转矩阵R′和平移向量t′即为所述第一三维视觉地图与所述第二三维视觉地图的相对位姿。
在本申请的另一实施例中，选取所述第一三维视觉地图中的所述第一现实环境图像F1在所述第二三维视觉地图中进行视觉定位。例如，利用特征点匹配法，分别将每个所述第二地图点与所述第一现实环境图像F1包含的所述第一地图点P1，P2，P3……PN进行特征点匹配，得到所述第一地图点P1，P2，P3在所述第二三维视觉地图中的匹配点P1′，P2′，P3′……PN′，其中，N为所述第一现实环境图像F1包含的所述第一地图点的数量，0＜N＜p1且N为自然数；利用所述第一地图点P1，P2，P3……PN与所述第二地图点P1′，P2′，P3′……PN′的对应关系，计算得到所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure BDA0002423659810000231
例如，计算得到所述第一地图点P1，P2，P3……PN与所述第二地图点P1′，P2′，P3′……PN′变换的旋转矩阵R和平移向量t。例如，计算所述第一地图点P1，P2，P3……PN的均值μP与所述第二地图点P1′，P2′，P3′……PN′的均值μP′：
Figure BDA0002423659810000232
计算所述第一地图点P1，P2，P3……PN的方差
Figure BDA0002423659810000233
与所述第二地图点P1′，P2′，P3′……PN′的方差
Figure BDA0002423659810000234
Figure BDA0002423659810000235
Figure BDA0002423659810000236
计算得到矩阵∑：
Figure BDA0002423659810000237
对所述矩阵∑进行奇异值分解：∑＝UDVT，其中，U和V均为单位正交矩阵，D为仅在主对角线上有值的矩阵。如果det(U)det(V)＜0，则矩阵W＝diag(1，1，-1)，其中，det()为求矩阵的行列式值，diag()为构造一个对角矩阵；如果不满足det(U)det(V)＜0，则矩阵W为3*3的单位矩阵；计算得到所述旋转矩阵R和所述平移向量t：R＝UWVT，t＝μP-RμP′，利用所述旋转矩阵R和所述平移向量t计算得到变换矩阵
Figure BDA0002423659810000238
例如
Figure BDA0002423659810000239
Figure BDA00024236598100002310
所述变换矩阵
Figure BDA00024236598100002311
即为所述第一三维视觉地图与所述第二三维视觉地图的相对位姿。
步骤24，利用所述第一三维视觉地图与所述第二三维视觉地图的相对位姿以及所述
Figure BDA0002423659810000241
在所述第一三维视觉地图中的位姿信息，计算得到所述
Figure BDA0002423659810000242
在所述第二三维视觉地图中的位姿信息P′a；利用所述P′a将所述位置点
Figure BDA0002423659810000243
的增强现实内容叠加到至少一帧所述第二现实环境图像中形成交互内容并通过所述第二AR设备显示。
如图4所示，在本申请实施例中，计算得到所述
Figure BDA0002423659810000244
在所述第二三维视觉地图中的位姿信息P′a的具体过程可以下如述。
步骤41，分别计算所述
Figure BDA0002423659810000245
的N2D个邻点在所述第二三维视觉地图中的位姿信息。
例如，在所述第二三维视觉地图中检索得到位姿信息与所述第一地图点P1的位姿信息相似度大于阈值的所述第二地图点P1′。例如，所述第一地图点P1在所述第一现实环境图像F1，F2，F3，F4，F5…中的一幅或多幅中的特征描述向量的均值为
Figure BDA00024236598100002410
所述第二地图点P1′在所述第二现实环境图像F′1，F′2，F′3，F′4，F′5…中的一幅或多幅中的特征描述向量的均值
Figure BDA0002423659810000246
将所述第二三维视觉地图中每个所述第二地图点的特征描述向量分别与所述第一三维视觉地图中的所述第一地图点P1的特征描述向量
Figure BDA0002423659810000247
作对比，所述第二地图点P1′的特征描述向量
Figure BDA0002423659810000248
与所述
Figure BDA0002423659810000249
的相似度最高，则所述第二地图点P1′为所述第一地图点P1在所述第二三维视觉地图中的对应点，所述第一地图点P1在所述第二三维视觉地图中的位姿信息可以为所述对应点P1′在第二三维视觉地图中的位姿信息，例如，所述第一地图点P1在所述第二三维视觉地图中的位姿信息可以为所述第二地图点P1′在以O2为原点的坐标系下的坐标
Figure BDA0002423659810000251
分别计算所述
Figure BDA0002423659810000252
的N2D个邻点在所述第二三维视觉地图中以O2为原点的坐标系下的坐标
Figure BDA0002423659810000253
步骤42，分别计算所述
Figure BDA0002423659810000254
的N3D个邻图在所述第二三维视觉地图中的位姿信息。
例如，所述第一现实环境图像F1包含的所述第一地图点P1，P2，P3分别与所述第二三维视觉地图中的第二地图点P1′，P2′，P3′匹配，利用所述第一地图点P1，P2，P3与所述第二地图点P1′，P2′，P3′的对应关系，得到所述第一三维视觉地图中的所述第一现实环境图像F1的中心点在所述第二三维视觉地图中以O2为原点的坐标系下的坐标
Figure BDA0002423659810000255
所述
Figure BDA0002423659810000256
的N3D个邻图在所述第二三维视觉地图中的位姿信息可以是分别计算所述
Figure BDA0002423659810000257
的N3D个邻图的中心点在所述第二三维视觉地图中以O2为原点的坐标系下的坐标
Figure BDA0002423659810000258
步骤43，利用所述
Figure BDA0002423659810000259
在所述第一三维视觉地图中的位姿信息、所述
Figure BDA00024236598100002510
的邻点在所述第二三维视觉地图中的位姿信息以及所述
Figure BDA00024236598100002511
的邻图在所述第二三维视觉地图中的位姿信息，计算得到所述
Figure BDA00024236598100002512
在所述第二三维视觉地图中的位姿信息P′a。
例如，所述
Figure BDA00024236598100002513
在所述第二三维视觉地图中的位姿信息可以通过加权平均所述第一三维视觉地图与所述第二三维视觉地图的相对位姿、所述
Figure BDA00024236598100002514
在所述第一三维视觉地图中的位姿信息、所述
Figure BDA00024236598100002515
的每个邻点在所述第二三维视觉地图中的位姿信息以及所述
Figure BDA00024236598100002516
的每个邻图在所述第二三维视觉地图中的位姿信息等计算得到。例如，利用公式
Figure BDA0002423659810000261
计算得到所述
Figure BDA0002423659810000262
在所述第二三维视觉地图中的位姿信息P′a。其中，w1、ws、wt为加权平均参数，可以根据实际的现实环境预设为任意值。
在本申请实施例的一个可选方案中，还可以利用所述AR素材Aa在所述第二三维视觉地图中的位姿信息，计算得到所述第二AR设备中的交互内容。例如，利用所述AR素材Aa在所述第二三维视觉地图中的位姿信息，将包括所述AR素材Aa的增强现实内容叠加到所述第二设备采集到的至少一帧所述第二现实环境图像中形成交互内容并进行渲染，所述交互内容可以通过所述第二AR设备显示出来。
如图5所示，本申请实施例还提供了一种增强现实显示系统，所述系统包括存储器501和处理器502。
所述存储器501，用于存储代码和相关数据中的至少一项。
所述处理器502，用于执行所述存储器501中的代码和/或相关数据用以实现前述实施例中的方法步骤。
如图6所示，本申请实施例还提供了一种增强现实显示系统，所述增强现实显示系统可以包括采集模块61、计算模块62、显示模块63和网络64。
所述采集模块61，用于采集、抓取或读取现实环境图像，所述采集模块61的具体功能可以如图2所描述的增强现实显示方法的中的所述第一设备、所述第二设备的工作过程。例如，所述采集模块61，用于利用第一设备采集第一现实环境图像，构建第一三维视觉地图；利用第二设备采集第二现实环境图像，构建第二三维视觉地图。
所述计算模块62，用于获取所述第一三维视觉地图中的位置点
Figure BDA0002423659810000271
在所述第一三维视觉地图中的N3D个邻图，分别计算所述
Figure BDA0002423659810000272
的每个邻图与所述
Figure BDA0002423659810000273
的相对位姿
Figure BDA0002423659810000274
其中1≤t≤N3D且t和N3D为自然数；计算所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure BDA0002423659810000275
分别计算所述
Figure BDA0002423659810000276
的N3D个邻图在所述第二三维视觉地图中的位姿信息
Figure BDA0002423659810000277
利用以下信息中的一个或多个，计算得到所述
Figure BDA0002423659810000278
在所述第二三维视觉地图中的位姿信息P′a：所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure BDA0002423659810000279
所述
Figure BDA00024236598100002710
在所述第一三维视觉地图中的位姿信息和所述
Figure BDA00024236598100002711
的邻图在所述第二三维视觉地图中的位姿信息。所述计算模块62，还用于在所述第一三维视觉地图中获取包含所述
Figure BDA00024236598100002712
的第一现实环境图像为所述
Figure BDA00024236598100002713
的邻图；或者，在所述第一三维视觉地图中获取与所述
Figure BDA00024236598100002714
的距离小于预设阈值的所述第一现实环境图像为所述
Figure BDA00024236598100002715
的邻图。所述计算模块62，还用于计算所述
Figure BDA00024236598100002716
的邻图
Figure BDA00024236598100002717
的中心点在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure BDA00024236598100002718
计算所述
Figure BDA00024236598100002719
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure BDA00024236598100002720
计算得到所述邻图
Figure BDA00024236598100002721
与所述
Figure BDA00024236598100002722
的相对位姿
Figure BDA00024236598100002723
的向量
Figure BDA00024236598100002724
所述计算模块62，还用于获取所述
Figure BDA00024236598100002725
在所述第一三维视觉地图中的N2D个邻点，分别计算所述
Figure BDA00024236598100002726
的每个邻点与所述
Figure BDA00024236598100002727
的相对位姿
Figure BDA00024236598100002728
其中1≤s≤N2D且s和N2D为自然数；分别计算所述
Figure BDA00024236598100002729
的N2D个邻点在所述第二三维视觉地图中的位姿信息
Figure BDA00024236598100002730
利用以下信息中的一个或多个，计算得到所述
Figure BDA0002423659810000281
在所述第二三维视觉地图中的位姿信息P′a：所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure BDA0002423659810000282
所述
Figure BDA0002423659810000283
在所述第一三维视觉地图中的位姿信息，所述
Figure BDA0002423659810000284
的邻点在所述第二三维视觉地图中的位姿信息和所述
Figure BDA0002423659810000285
的邻图在所述第二三维视觉地图中的位姿信息。所述计算模块62，还用于在所述第一三维视觉地图中获取与所述
Figure BDA0002423659810000286
的坐标距离小于预设阈值的所述第一地图点为所述
Figure BDA0002423659810000287
的邻点；所述第一地图点为所述第一现实环境图像的特征点；或者，在所述第一三维视觉地图中获取与所述
Figure BDA0002423659810000288
的特征描述向量相似度大于预设阈值的所述第一地图点为所述
Figure BDA0002423659810000289
的邻点。所述计算模块62，还用于计算所述邻占
Figure BDA00024236598100002810
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure BDA00024236598100002811
计算所述
Figure BDA00024236598100002812
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure BDA00024236598100002813
计算得到所述邻点
Figure BDA00024236598100002814
与所述
Figure BDA00024236598100002815
的相对位姿
Figure BDA00024236598100002816
的向量
Figure BDA00024236598100002817
所述计算模块62，还用于利用公式
Figure BDA00024236598100002818
计算得到所述
Figure BDA00024236598100002819
在所述第二三维视觉地图中的位姿信息P′a，其中，w1、ws、wt为任意值。
所述显示模块63，用于显示交互内容，所述显示模块63的具体功能可以如图2所描述的增强现实显示方法的中的所述第一AR设备、所述第二AR设备的工作过程。例如，所述显示模块63，用于利用所述P′a将所述位置点
Figure BDA00024236598100002820
的增强现实内容叠加到至少一帧所述第二现实环境图像中形成交互内容并显示出来。
所述网络64，用于联通所述采集模块61、所述计算模块62和所述显示模块63，所述网络64的具体功能可以如图1所描述的增强现实显示系统的网络104的工作过程。
在本申请实施例中，所述采集模块61、所述计算模块62和所述显示模块63模块可以集成在设备上，例如集成在设备的处理器上，设备的处理器可以是CPU、服务器，或者其他中央处理器等。
本申请实施例还提供计算机设备。具体请参阅图7，图7为本实施例计算机设备基本结构框图。
所述计算机设备1000可以作为云端服务器，包括通过系统总线相互通信连接存储器1001、处理器1002、网络接口1003。需要指出的是，图中仅示出了具有组件1001、1002、1003的计算机设备1000，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field-Programmable Gate Array，FPGA)、数字处理器(Digital SignalProcessor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器1001至少包括一种类型的可读存储介质，所述可读存储介质包括非易失性存储器(non-volatile memory)或易失性存储器，例如，闪存(flashmemory)、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦写可编程只读存储器(erasableprogrammable read-only memory，EPROM)、电可擦写可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、可编程只读存储器(programmableread-only memory，PROM)、磁性存储器、磁盘、光盘等，所述RAM可以包括静态RAM或动态RAM。在一些实施例中，所述存储器1001可以是所述计算机设备1000的内部存储单元，例如，所述计算机设备1000的硬盘或内存。在另一些实施例中，所述存储器1001也可以是所述计算机设备1000的外部存储设备，例如所述计算机设备1000上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigita1，SD)卡，闪存卡(Flash Card)等。当然，所述存储器1001还可以既包括所述计算机设备1000的内部存储单元也包括其外部存储设备。本实施例中，所述存储器1001通常用于存储安装于所述计算机设备1000的操作系统和各类应用软件，例如增强现实显示方法的程序代码等。此外，所述存储器1001还可以用于暂时地存储已经输出或者将要输出的各类数据。
在本申请实施例中，该处理器1002可以是中央处理单元(CentralProcessingUnit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器1002还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器，例如单片机等。
该处理器1002通常用于控制所述计算机设备1000的总体操作。本实施例中，所述存储器1001用于存储程序代码或指令，所述程序代码包括计算机操作指令，所述处理器1002用于执行所述存储器1001存储的程序代码或指令或者处理数据，例如运行所述增强现实显示方法的程序代码。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。该总线系统可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本申请的另一实施例还提供一种计算机可读介质，计算机可读介质可以是计算机可读信号介质或者计算机可读介质。计算机中的处理器读取存储在计算机可读介质中的计算机可读程序代码，使得处理器能够执行在流程图2、图3、图4中每个步骤、或各步骤的组合中规定的功能动作；生成实施在框图的每一块、或各块的组合中规定的功能动作的装置。
计算机可读介质包含但不限于电子、磁性、光学、电磁、红外的存储器或半导体系统、设备或者装置，或者前述的任意适当组合，所述存储器用于存储程序代码或指令，所述程序代码包括计算机操作指令，所述处理器用于执行所述存储器存储的程序代码或指令。
所述存储器和所述处理器的定义，可以参考前述计算机设备实施例的描述，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所属技术领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，并被通讯设备内部的处理器执行，前述的程序在被执行时处理器可以执行包括上述方法实施例的全部或者部分步骤。其中，所述处理器可以作为一个或多个处理器芯片实施，或者可以为一个或多个专用集成电路(Application Specific Integrated Circuit，ASIC)的一部分；而前述的存储介质可以包括但不限于以下类型的存储介质：闪存(Flash Memory)、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (16)

1.一种增强现实显示方法，其特征在于，所述方法包括：
利用第一设备采集第一现实环境图像，构建第一三维视觉地图；
获取所述第一三维视觉地图中的位置点
Figure FDA0002423659800000011
在所述第一三维视觉地图中的N3D个邻图，分别计算所述
Figure FDA0002423659800000012
的每个邻图与所述
Figure FDA0002423659800000013
的相对位姿
Figure FDA0002423659800000014
其中1≤t≤N3D且t和N3D为自然数；
利用第二设备采集第二现实环境图像，构建第二三维视觉地图，计算所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure FDA0002423659800000015
分别计算所述
Figure FDA0002423659800000016
的N3D个邻图在所述第二三维视觉地图中的位姿信息
Figure FDA0002423659800000017
利用以下信息中的一个或多个，计算得到所述
Figure FDA0002423659800000018
在所述第二三维视觉地图中的位姿信息P′a：所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure FDA0002423659800000019
所述
Figure FDA00024236598000000110
在所述第一三维视觉地图中的位姿信息和所述
Figure FDA00024236598000000111
的邻图在所述第二三维视觉地图中的位姿信息；
利用所述P′a将所述位置点
Figure FDA00024236598000000112
的增强现实内容叠加到至少一帧所述第二现实环境图像中形成交互内容并显示出来。
2.如权利要求1所述的方法，其特征在于，所述
Figure FDA00024236598000000113
的邻图是所述第一三维视觉地图中包含所述
Figure FDA00024236598000000114
的第一现实环境图像；
或者，所述
Figure FDA00024236598000000115
的邻图是在所述第一三维视觉地图中与所述
Figure FDA00024236598000000116
的距离小于预设阈值的所述第一现实环境图像。
3.如权利要求1所述的方法，其特征在于，所述分别计算所述
Figure FDA00024236598000000117
的每个邻图与所述
Figure FDA00024236598000000118
的相对位姿
Figure FDA00024236598000000119
具体包括：
所述
Figure FDA0002423659800000021
的邻图
Figure FDA0002423659800000022
的中心点在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure FDA0002423659800000023
所述
Figure FDA0002423659800000024
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure FDA0002423659800000025
所述邻图
Figure FDA0002423659800000026
与所述
Figure FDA0002423659800000027
的相对位姿
Figure FDA0002423659800000028
为向量
Figure FDA0002423659800000029
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述
Figure FDA00024236598000000210
在所述第一三维视觉地图中的N2D个邻点，分别计算所述
Figure FDA00024236598000000211
的每个邻点与所述
Figure FDA00024236598000000212
的相对位姿
Figure FDA00024236598000000213
其中1≤s≤N2D且s和N2D为自然数；
分别计算所述
Figure FDA00024236598000000214
的N2D个邻点在所述第二三维视觉地图中的位姿信息
Figure FDA00024236598000000215
利用以下信息中的一个或多个，计算得到所述
Figure FDA00024236598000000216
在所述第二三维视觉地图中的位姿信息P′a：所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure FDA00024236598000000217
所述
Figure FDA00024236598000000218
在所述第一三维视觉地图中的位姿信息，所述
Figure FDA00024236598000000219
的邻点在所述第二三维视觉地图中的位姿信息和所述
Figure FDA00024236598000000220
的邻图在所述第二三维视觉地图中的位姿信息。
5.如权利要求4所述的方法，其特征在于，所述
Figure FDA00024236598000000221
的邻点是在所述第一三维视觉地图中与所述
Figure FDA00024236598000000222
的坐标距离小于预设阈值的第一地图点；所述第一地图点为所述第一现实环境图像的特征点；
或者，所述
Figure FDA00024236598000000223
的邻点是在所述第一三维视觉地图中与所述
Figure FDA00024236598000000224
的特征描述向量相似度大于预设阈值的所述第一地图点。
6.如权利要求4所述的方法，其特征在于，所述分别计算所述
Figure FDA0002423659800000031
的N2D个邻点在所述第二三维视觉地图中的位姿信息
Figure FDA0002423659800000032
具体包括：
所述邻点
Figure FDA0002423659800000033
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure FDA0002423659800000034
所述
Figure FDA0002423659800000035
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure FDA0002423659800000036
所述邻点
Figure FDA0002423659800000037
与所述
Figure FDA0002423659800000038
的相对位姿
Figure FDA0002423659800000039
为向量
Figure FDA00024236598000000310
7.如权利要求4所述的方法，其特征在于，所述计算得到所述
Figure FDA00024236598000000311
在所述第二三维视觉地图中的位姿信息P′a具体包括：
利用公式
Figure FDA00024236598000000312
计算得到所述
Figure FDA00024236598000000313
在所述第二三维视觉地图中的位姿信息P′a，其中，w1、ws、wt为任意值。
8.一种增强现实显示系统，其特征在于，包括：处理器和存储器；
所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时执行如权利要求1-7任意一项所述的增强现实显示方法的步骤。
9.一种增强现实显示系统，其特征在于，所述系统包括采集模块、计算模块和显示模块，其中：
所述采集模块，用于利用第一设备采集第一现实环境图像，构建第一三维视觉地图；利用第二设备采集第二现实环境图像，构建第二三维视觉地图；
所述计算模块，用于获取所述第一三维视觉地图中的位置点
Figure FDA0002423659800000041
在所述第一三维视觉地图中的N3D个邻图，分别计算所述
Figure FDA0002423659800000042
的每个邻图与所述
Figure FDA0002423659800000043
的相对位姿
Figure FDA0002423659800000044
其中1≤t≤N3D且t和N3D为自然数；
计算所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure FDA0002423659800000045
分别计算所述
Figure FDA0002423659800000046
的N3D个邻图在所述第二三维视觉地图中的位姿信息
Figure FDA0002423659800000047
利用以下信息中的一个或多个，计算得到所述
Figure FDA0002423659800000048
在所述第二三维视觉地图中的位姿信息P′a：所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure FDA0002423659800000049
所述
Figure FDA00024236598000000410
在所述第一三维视觉地图中的位姿信息和所述
Figure FDA00024236598000000411
的邻图在所述第二三维视觉地图中的位姿信息；
所述显示模块，用于利用所述P′a将所述位置点
Figure FDA00024236598000000412
的增强现实内容叠加到至少一帧所述第二现实环境图像中形成交互内容并显示出来。
10.如权利要求9所述的系统，其特征在于，所述计算模块，还用于在所述第一三维视觉地图中获取包含所述
Figure FDA00024236598000000413
的第一现实环境图像为所述
Figure FDA00024236598000000414
的邻图；
或者，在所述第一三维视觉地图中获取与所述
Figure FDA00024236598000000415
的距离小于预设阈值的所述第一现实环境图像为所述
Figure FDA00024236598000000416
的邻图。
11.如权利要求9所述的系统，其特征在于，所述计算模块，还用于计算所述
Figure FDA00024236598000000417
的邻图
Figure FDA00024236598000000418
的中心点在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure FDA00024236598000000419
计算所述
Figure FDA00024236598000000420
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure FDA0002423659800000051
计算得到所述邻图
Figure FDA0002423659800000052
与所述
Figure FDA0002423659800000053
的相对位姿
Figure FDA0002423659800000054
的向量
Figure FDA0002423659800000055
12.如权利要求9所述的系统，其特征在于，所述计算模块，还用于获取所述
Figure FDA0002423659800000056
在所述第一三维视觉地图中的N2D个邻点，分别计算所述
Figure FDA0002423659800000057
的每个邻点与所述
Figure FDA0002423659800000058
的相对位姿
Figure FDA0002423659800000059
其中1≤s≤N2D且s和N2D为自然数；
分别计算所述
Figure FDA00024236598000000510
的N2D个邻点在所述第二三维视觉地图中的位姿信息
Figure FDA00024236598000000511
利用以下信息中的一个或多个，计算得到所述
Figure FDA00024236598000000512
在所述第二三维视觉地图中的位姿信息P′a：所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure FDA00024236598000000513
所述
Figure FDA00024236598000000514
在所述第一三维视觉地图中的位姿信息，所述
Figure FDA00024236598000000515
的邻点在所述第二三维视觉地图中的位姿信息和所述
Figure FDA00024236598000000516
的邻图在所述第二三维视觉地图中的位姿信息。
13.如权利要求12所述的系统，其特征在于，所述计算模块，还用于在所述第一三维视觉地图中获取与所述
Figure FDA00024236598000000517
的坐标距离小于预设阈值的所述第一地图点为所述
Figure FDA00024236598000000518
的邻点；所述第一地图点为所述第一现实环境图像的特征点；
或者，在所述第一三维视觉地图中获取与所述
Figure FDA00024236598000000519
的特征描述向量相似度大于预设阈值的所述第一地图点为所述
Figure FDA00024236598000000520
的邻点。
14.如权利要求12所述的系统，其特征在于，所述计算模块，还用于计算所述邻点
Figure FDA00024236598000000521
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure FDA00024236598000000522
计算所述
Figure FDA00024236598000000523
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure FDA0002423659800000061
计算得到所述邻点
Figure FDA0002423659800000062
与所述
Figure FDA0002423659800000063
的相对位姿
Figure FDA0002423659800000064
的向量
Figure FDA0002423659800000065
15.如权利要求12所述的系统，其特征在于，所述计算模块，还用于利用公式
Figure FDA0002423659800000066
计算得到所述
Figure FDA0002423659800000067
在所述第二三维视觉地图中的位姿信息P′a，其中，w1、ws、wt为任意值。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的增强现实显示方法的步骤。
CN202010215926.8A 2020-03-24 2020-03-24 一种增强现实显示方法、系统及计算机可读存储介质 Active CN111459269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010215926.8A CN111459269B (zh) 2020-03-24 2020-03-24 一种增强现实显示方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010215926.8A CN111459269B (zh) 2020-03-24 2020-03-24 一种增强现实显示方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111459269A true CN111459269A (zh) 2020-07-28
CN111459269B CN111459269B (zh) 2020-12-01

Family

ID=71682261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010215926.8A Active CN111459269B (zh) 2020-03-24 2020-03-24 一种增强现实显示方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111459269B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101177A (zh) * 2020-09-09 2020-12-18 东软睿驰汽车技术（沈阳）有限公司 地图构建方法、装置及运载工具
CN112102479A (zh) * 2020-09-18 2020-12-18 贝壳技术有限公司 基于模型对齐的增强现实方法和装置、存储介质、电子设备
CN112882569A (zh) * 2021-01-28 2021-06-01 咪咕文化科技有限公司 Ar交互方法、终端设备及云端地图管理系统
WO2021249390A1 (zh) * 2020-06-12 2021-12-16 贝壳技术有限公司 实现增强现实的方法和装置、存储介质、电子设备
CN114445500A (zh) * 2020-10-30 2022-05-06 北京字跳网络技术有限公司 增强现实场景构建方法、装置、终端设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130095924A1 (en) * 2011-09-30 2013-04-18 Kevin A. Geisner Enhancing a sport using an augmented reality display
US20150170418A1 (en) * 2012-01-18 2015-06-18 Google Inc. Method to Provide Entry Into a Virtual Map Space Using a Mobile Device's Camera
US20160350978A1 (en) * 2011-11-03 2016-12-01 Microsoft Technology Licensing, Llc Augmented reality spaces with adaptive rules
CN107025661A (zh) * 2016-01-29 2017-08-08 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及系统
CN107977082A (zh) * 2017-12-19 2018-05-01 亮风台（上海）信息科技有限公司 一种用于呈现ar信息的方法及系统
US20190197765A1 (en) * 2017-12-22 2019-06-27 Magic Leap, Inc. Method of occlusion rendering using raycast and live depth
CN110286768A (zh) * 2019-06-27 2019-09-27 Oppo广东移动通信有限公司 虚拟物体显示方法、终端设备及计算机可读存储介质
CN110889872A (zh) * 2018-09-11 2020-03-17 三星电子株式会社 在增强现实中显示虚拟对象的定位方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130095924A1 (en) * 2011-09-30 2013-04-18 Kevin A. Geisner Enhancing a sport using an augmented reality display
US20160350978A1 (en) * 2011-11-03 2016-12-01 Microsoft Technology Licensing, Llc Augmented reality spaces with adaptive rules
US20150170418A1 (en) * 2012-01-18 2015-06-18 Google Inc. Method to Provide Entry Into a Virtual Map Space Using a Mobile Device's Camera
CN107025661A (zh) * 2016-01-29 2017-08-08 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及系统
CN107977082A (zh) * 2017-12-19 2018-05-01 亮风台（上海）信息科技有限公司 一种用于呈现ar信息的方法及系统
US20190197765A1 (en) * 2017-12-22 2019-06-27 Magic Leap, Inc. Method of occlusion rendering using raycast and live depth
CN110889872A (zh) * 2018-09-11 2020-03-17 三星电子株式会社 在增强现实中显示虚拟对象的定位方法和装置
CN110286768A (zh) * 2019-06-27 2019-09-27 Oppo广东移动通信有限公司 虚拟物体显示方法、终端设备及计算机可读存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021249390A1 (zh) * 2020-06-12 2021-12-16 贝壳技术有限公司 实现增强现实的方法和装置、存储介质、电子设备
CN112101177A (zh) * 2020-09-09 2020-12-18 东软睿驰汽车技术（沈阳）有限公司 地图构建方法、装置及运载工具
CN112102479A (zh) * 2020-09-18 2020-12-18 贝壳技术有限公司 基于模型对齐的增强现实方法和装置、存储介质、电子设备
CN112102479B (zh) * 2020-09-18 2021-09-28 贝壳找房(北京)科技有限公司 基于模型对齐的增强现实方法和装置、存储介质、电子设备
CN114445500A (zh) * 2020-10-30 2022-05-06 北京字跳网络技术有限公司 增强现实场景构建方法、装置、终端设备和存储介质
CN114445500B (zh) * 2020-10-30 2023-11-10 北京字跳网络技术有限公司 增强现实场景构建方法、装置、终端设备和存储介质
CN112882569A (zh) * 2021-01-28 2021-06-01 咪咕文化科技有限公司 Ar交互方法、终端设备及云端地图管理系统
CN112882569B (zh) * 2021-01-28 2024-02-23 咪咕文化科技有限公司 Ar交互方法、终端设备及云端地图管理系统

Also Published As

Publication number Publication date
CN111459269B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN111459269B (zh) 一种增强现实显示方法、系统及计算机可读存储介质
CN108764048B (zh) 人脸关键点检测方法及装置
US10121099B2 (en) Information processing method and system
CN111046125A (zh) 一种视觉定位方法、系统及计算机可读存储介质
US10134196B2 (en) Mobile augmented reality system
Huang et al. A coarse-to-fine algorithm for matching and registration in 3D cross-source point clouds
US10636168B2 (en) Image processing apparatus, method, and program
US9418480B2 (en) Systems and methods for 3D pose estimation
CN110926478B (zh) 一种ar导航路线纠偏方法、系统及计算机可读存储介质
CN112435338B (zh) 电子地图的兴趣点的位置获取方法、装置及电子设备
CN104156998A (zh) 一种基于图片虚拟内容融合真实场景的实现方法及系统
CN111914775B (zh) 活体检测方法、装置、电子设备及存储介质
US9865061B2 (en) Constructing a 3D structure
Han et al. Line-based initialization method for mobile augmented reality in aircraft assembly
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
CN113436338A (zh) 火灾现场的三维重建方法、装置、服务器及可读存储介质
JP7114686B2 (ja) 拡張現実装置及び位置決め方法
CN113610702A (zh) 一种建图方法、装置、电子设备及存储介质
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN114674328B (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
CN115393423A (zh) 目标检测方法和装置
Liu et al. Absolute orientation and localization estimation from an omnidirectional image
Gupta et al. Image feature detection using an improved implementation of maximally stable extremal regions for augmented reality applications
CN110033420B (zh) 一种图像融合的方法和装置
US20190259215A1 (en) Method and apparatus for determining a planar surface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant