CN111459269B - 一种增强现实显示方法、系统及计算机可读存储介质 - Google Patents

一种增强现实显示方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN111459269B
CN111459269B CN202010215926.8A CN202010215926A CN111459269B CN 111459269 B CN111459269 B CN 111459269B CN 202010215926 A CN202010215926 A CN 202010215926A CN 111459269 B CN111459269 B CN 111459269B
Authority
CN
China
Prior art keywords
dimensional visual
visual map
map
point
environment image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010215926.8A
Other languages
English (en)
Other versions
CN111459269A (zh
Inventor
王强
张小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shichen Information Technology Shanghai Co ltd
Original Assignee
Shichen Information Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shichen Information Technology Shanghai Co ltd filed Critical Shichen Information Technology Shanghai Co ltd
Priority to CN202010215926.8A priority Critical patent/CN111459269B/zh
Publication of CN111459269A publication Critical patent/CN111459269A/zh
Application granted granted Critical
Publication of CN111459269B publication Critical patent/CN111459269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例提供了一种增强现实显示方法、系统及计算机可读存储介质，其中该方法包括利用第一设备采集第一现实环境图像，构建第一三维视觉地图；获取位置点
Figure DDA0002423659830000011
在第一三维视觉地图中的N3D个邻图，分别计算
Figure DDA0002423659830000013
的每个邻图与
Figure DDA0002423659830000012
的相对位姿
Figure DDA0002423659830000014
利用第二设备采集第二现实环境图像，构建第二三维视觉地图，计算第一三维视觉地图与第二三维视觉地图的相对位姿
Figure DDA0002423659830000015
；分别计算
Figure DDA0002423659830000019
的N3D个邻图在第二三维视觉地图中的位姿信息
Figure DDA0002423659830000016
′；计算得到
Figure DDA0002423659830000018
在第二三维视觉地图中的位姿信息P′a；利用所述P′a将所述位置点
Figure DDA0002423659830000017
的增强现实内容叠加到至少一帧所述第二现实环境图像中形成交互内容并显示出来。

Description

一种增强现实显示方法、系统及计算机可读存储介质
技术领域
本申请涉及增强现实显示技术领域，特别是涉及一种增强现实显示方法、系统及计算机可读存储介质。
背景技术
增强现实(augmented reality，AR)是一种通过计算机处理、并借助透视式的显示器或眼镜实现虚拟内容与现实环境图像的融合的技术。AR应用可以将AR素材实时地、直接地、准确地叠加到现实环境图像中，从而实现现实环境图像和虚拟内容(例如AR素材)的相互补充，使得现实环境图像和AR素材可以准确、自然地交互并显示出来，使得用户可以具身临其境地与现实环境图像进行互动。目前增强现实已经在智能手机、AR眼镜等智能设备上广泛应用。
目前AR技术依赖于已知的标识物，比如专门设计的标志点、预定义的二维识别图像和已知模型的三维物体等，通过准确地识别和跟踪标识物的位姿获取AR设备相对于标识物的位姿信息，从而准确地在现实环境图像中叠加AR素材，虽然通过标识物进行AR显示的精度高，但是依赖于已知的现实环境内容等信息，AR适用范围受限。
为了扩大AR使用范围，目前AR的应用方式是通过对现实环境进行三维重建得到三维地图，利用三维地图建立的坐标系将AR素材叠加到现实环境图像中。通过三维地图实现多人AR游戏、AR导航导览、AR说明书等应用。在AR应用中，AR素材与现实环境图像贴合的准确程度是影响AR用户体验的关键因素之一。目前AR应用通常都是基于三维地图中的已知位姿的地图点和图像帧，在三维地图中建立坐标系，计算每一个地图点和每一帧图像在同一个坐标系下的位姿，并记录每一个AR素材在该坐标系下的位姿。例如，基于快速特征点提取和描述(Oriented FAST and Rotated BRIEF，ORB)的三维定位与地图构建(simultaneouslocalization and mapping，ALAM)算法(ORB-SLAM)，或者，鲁棒多功能的单目视觉惯性状态估计算法(A Robust and Versatile Monocular Visual-Inertial State Estimator，VINS-mono)。任意的AR设备在使用三维地图时，调用AR素材在三维地图坐标系下的位姿进行渲染，叠加到现实环境图像中。
但是，由于每次AR设备定位和跟踪AR素材计算得到的位姿信息都有误差，且每个AR设备、每个AR素材的位姿都在同一坐标系下进行计算，AR设备和AR素材位姿的偏差会影响AR显示的效果，导致虚拟物体无法准确地叠加到现实环境中。尤其是随着三维地图规模的增大，三维地图边缘受到杠杆效应影响，AR显示的位置误差大，导致AR应用的用户体验不佳。
发明内容
本申请提供一种增强现实显示方法、系统及计算机可读存储介质，在AR显示时对三维视觉地图中的预设点进行视觉定位，能够将AR素材准确地叠加到现实环境图像中去，提高AR用户的体验。
本申请提供一种增强现实显示方法，所述方法包括：
利用第一设备采集第一现实环境图像，构建第一三维视觉地图；
获取所述第一三维视觉地图中的位置点
Figure GDA0002720143070000031
在所述第一三维视觉地图中的N3D个邻图，分别计算所述
Figure GDA0002720143070000032
的每个邻图与所述
Figure GDA0002720143070000033
的相对位姿
Figure GDA0002720143070000034
其中1≤t≤N3D且t和N3D为自然数；
利用第二设备采集第二现实环境图像，构建第二三维视觉地图，计算所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure GDA0002720143070000035
分别计算所述
Figure GDA0002720143070000036
的N3D个邻图在所述第二三维视觉地图中的位姿信息
Figure GDA0002720143070000037
获取所述
Figure GDA0002720143070000038
在所述第一三维视觉地图中的N2D个邻点，分别计算所述
Figure GDA0002720143070000039
的每个邻点与所述
Figure GDA00027201430700000310
的相对位姿
Figure GDA00027201430700000311
其中1≤s≤N2D且s和N2D为自然数；分别计算所述
Figure GDA00027201430700000312
的N2D个邻点在所述第二三维视觉地图中的位姿信息
Figure GDA00027201430700000313
利用以下信息中的一个或多个，计算得到所述
Figure GDA00027201430700000314
在所述第二三维视觉地图中的位姿信息P′a：所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure GDA00027201430700000315
所述
Figure GDA00027201430700000316
在所述第一三维视觉地图中的位姿信息，所述
Figure GDA00027201430700000317
的邻图在所述第二三维视觉地图中的位姿信息，所述
Figure GDA00027201430700000318
的邻点在所述第二三维视觉地图中的位姿信息；利用公式
Figure GDA0002720143070000041
计算得到所述
Figure GDA0002720143070000042
在所述第二三维视觉地图中的位姿信息P′a，其中，w1、ws、wt为任意值；
利用所述P′a将所述位置点
Figure GDA0002720143070000043
的增强现实内容叠加到至少一帧所述第二现实环境图像中形成交互内容并显示出来。
优选地，所述
Figure GDA0002720143070000044
的邻图是所述第一三维视觉地图中包含所述
Figure GDA0002720143070000045
的第一现实环境图像；
或者，所述
Figure GDA0002720143070000046
的邻图是在所述第一三维视觉地图中与所述
Figure GDA0002720143070000047
的距离小于预设阈值的所述第一现实环境图像。
优选地，所述分别计算所述
Figure GDA0002720143070000048
的每个邻图与所述
Figure GDA0002720143070000049
的相对位姿
Figure GDA00027201430700000410
具体包括：
所述
Figure GDA00027201430700000411
的邻图
Figure GDA00027201430700000412
的中心点在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure GDA00027201430700000413
所述
Figure GDA00027201430700000414
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure GDA00027201430700000415
所述邻图
Figure GDA00027201430700000416
与所述
Figure GDA00027201430700000417
的相对位姿
Figure GDA00027201430700000418
为向量
Figure GDA00027201430700000419
优选地，所述
Figure GDA00027201430700000420
的邻点是在所述第一三维视觉地图中与所述
Figure GDA00027201430700000421
的坐标距离小于预设阈值的第一地图点；所述第一地图点为所述第一现实环境图像的特征点；
或者，所述
Figure GDA00027201430700000422
的邻点是在所述第一三维视觉地图中与所述
Figure GDA00027201430700000423
的特征描述向量相似度大于预设阈值的所述第一地图点。
优选地，所述分别计算所述
Figure GDA0002720143070000051
的N2D个邻点在所述第二三维视觉地图中的位姿信息
Figure GDA0002720143070000052
具体包括：
所述邻点
Figure GDA0002720143070000053
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure GDA0002720143070000054
所述
Figure GDA0002720143070000055
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure GDA0002720143070000056
所述邻点
Figure GDA0002720143070000057
与所述
Figure GDA0002720143070000058
的相对位姿
Figure GDA0002720143070000059
为向量
Figure GDA00027201430700000510
本申请还提供一种增强现实显示系统，包括：处理器和存储器；
所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时执行如前所述的增强现实显示方法的步骤。
本申请还提供一种增强现实显示系统，所述系统包括采集模块、计算模块和显示模块，其中：
所述采集模块，用于利用第一设备采集第一现实环境图像，构建第一三维视觉地图；利用第二设备采集第二现实环境图像，构建第二三维视觉地图；
所述计算模块，用于获取所述第一三维视觉地图中的位置点
Figure GDA00027201430700000511
在所述第一三维视觉地图中的N3D个邻图，分别计算所述
Figure GDA00027201430700000512
的每个邻图与所述
Figure GDA00027201430700000513
的相对位姿
Figure GDA00027201430700000514
其中1≤t≤N3D且t和N3D为自然数；
计算所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure GDA00027201430700000515
分别计算所述
Figure GDA00027201430700000516
的N3D个邻图在所述第二三维视觉地图中的位姿信息
Figure GDA00027201430700000517
获取所述
Figure GDA0002720143070000061
在所述第一三维视觉地图中的N2D个邻点，分别计算所述
Figure GDA0002720143070000062
的每个邻点与所述
Figure GDA0002720143070000063
的相对位姿
Figure GDA0002720143070000064
其中1≤s≤N2D且s和N2D为自然数；分别计算所述
Figure GDA0002720143070000065
的N2D个邻点在所述第二三维视觉地图中的位姿信息
Figure GDA0002720143070000066
利用以下信息中的一个或多个，计算得到所述
Figure GDA0002720143070000067
在所述第二三维视觉地图中的位姿信息P′a：所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure GDA0002720143070000068
所述
Figure GDA0002720143070000069
在所述第一三维视觉地图中的位姿信息，所述
Figure GDA00027201430700000610
的邻图在所述第二三维视觉地图中的位姿信息，所述
Figure GDA00027201430700000611
的邻点在所述第二三维视觉地图中的位姿信息；利用公式
Figure GDA00027201430700000612
计算得到所述
Figure GDA00027201430700000613
在所述第二三维视觉地图中的位姿信息P′a，其中，w1、ws、wt为任意值；
所述显示模块，用于利用所述P′a将所述位置点
Figure GDA00027201430700000614
的增强现实内容叠加到至少一帧所述第二现实环境图像中形成交互内容并显示出来。
优选地，所述计算模块，还用于在所述第一三维视觉地图中获取包含所述
Figure GDA00027201430700000615
的第一现实环境图像为所述
Figure GDA00027201430700000616
的邻图；
或者，在所述第一三维视觉地图中获取与所述
Figure GDA00027201430700000617
的距离小于预设阈值的所述第一现实环境图像为所述
Figure GDA00027201430700000618
的邻图。
优选地，所述计算模块，还用于计算所述
Figure GDA00027201430700000619
的邻图
Figure GDA00027201430700000620
的中心点在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure GDA00027201430700000621
计算所述
Figure GDA0002720143070000071
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure GDA0002720143070000072
计算得到所述邻图
Figure GDA0002720143070000073
与所述
Figure GDA0002720143070000074
的相对位姿
Figure GDA0002720143070000075
的向量
Figure GDA0002720143070000076
优选地，所述计算模块，还用于在所述第一三维视觉地图中获取与所述
Figure GDA0002720143070000077
的坐标距离小于预设阈值的所述第一地图点为所述
Figure GDA0002720143070000078
的邻点；所述第一地图点为所述第一现实环境图像的特征点；
或者，在所述第一三维视觉地图中获取与所述
Figure GDA0002720143070000079
的特征描述向量相似度大于预设阈值的所述第一地图点为所述
Figure GDA00027201430700000710
的邻点。
优选地，所述计算模块，还用于计算所述邻点
Figure GDA00027201430700000711
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure GDA00027201430700000712
计算所述
Figure GDA00027201430700000713
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure GDA00027201430700000714
计算得到所述邻点
Figure GDA00027201430700000715
与所述
Figure GDA00027201430700000716
的相对位姿
Figure GDA00027201430700000717
的向量
Figure GDA00027201430700000718
Figure GDA00027201430700000719
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的增强现实显示方法的步骤。
本申请实施例所提供的一种增强现实显示方法、系统及计算机可读存储介质，可以实现的有益效果是：
通过在AR设备中建立第二三维视觉地图，并在所述第二三维视觉地图中对第一三维视觉地图中的预设点进行视觉定位，实时计算得到AR素材在第二三维视觉地图中的位姿信息。利用所述第一三维视觉地图和所述第二三维视觉地图中的现实环境图像的视觉特征，消除所述第一三维视觉地图和所述第二三维视觉地图建图过程中的误差以及AR素材在所述第一三维视觉地图中的定位误差，得到AR素材与AR设备的准确的相对位姿，使得AR显示的鲁棒性强、准确度高，提高AR用户的体验。
附图说明
图1是本申请实施例增强现实显示系统的第一结构示意图；
图2是本申请实施例增强现实显示系统的第一流程示意图；
图3是本申请实施例增强现实显示系统的第二流程示意图；
图4是本申请实施例增强现实显示系统的第三流程示意图；
图5是本申请实施例增强现实显示系统的第二结构示意图；
图6是本申请实施例增强现实显示系统的第三结构示意图；
图7是本申请实施例增强现实显示系统的第四结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非上下文明确地另外指明，否则单数形式“一”和“所述”包括复数指代物。如本申请中所使用的，用语“第一”和“第二”可互换使用，以将一个或一类构件分别与另一个或另一类区分开，且不旨在表示独立构件的位置或重要性。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于用户设备、网络设备或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备其包括但不限于任何一种可与用户通过触摸板进行人机交互的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、IOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field-Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述网络设备其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。
所述网络104包括但不限于互联网、移动通信网络、广域网、城域网、局域网、VPN网络、无线自组织网络(AdHoc网络)等。例如，移动通信网络可以是3G、4G或5G移动通信系统，例如，移动通信网络可以是宽带码分多址(Wideband Code Division Multiple Access，WCDMA)系统、频分多址(Frequency Division Multiple Access，FDMA)系统、正交频分多址(Orthogonal Frequency-Division Multiple Access，OFDMA)系统、单载波FDMA(SC-FDMA)系统、通用分组无线业务(General Packet Radio Service，GPRS)系统或长期演进(LongTerm Evolution，LTE)系统，以及其他此类通信系统。当然，本领域技术人员应能理解上述终端设备仅为举例，其他现有的或今后可能出现的终端设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
服务器105可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心，例如云端服务器。其也可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的增强现实显示方法一般由服务器执行，相应地，增强现实显示系统/装置一般设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
如图2所示，为本申请实施例提供的一种增强现实显示方法的流程示意图，所述增强现实显示方法可以由云端服务器执行。所述云端服务器可以为图1中所述服务器105。
步骤21，构建第一三维视觉地图。
所述第一三维视觉地图可以是包含至少两幅第一现实环境图像的三维地图，例如，对至少两幅所述第一现实环境图像进行三维重建，得到所述第一三维视觉地图。例如，所述第一三维视觉地图可以利用第一设备按预设的标准采集第一现实环境图像，例如，所述第一设备以预设的时间间隔或空间间隔采集所述第一现实环境图像。所述第一设备可以与第一AR设备相连接，所述第一设备可以是智能手机等终端设备；所述第一AR设备也可以是智能手机等终端设备，也可以是专用的AR设备。在本申请实施例一个可选的方案中，所述第一设备也可以是所述第一AR设备。
所述第一三维视觉地图包括所述第一三维视觉地图中第一现实环境图像的位姿信息和所述第一三维视觉地图中的第一地图点的位姿信息，所述位姿信息包括位置信息和姿态信息，所述位置信息和姿态信息可以通过定位设备获取，所述定位设备可以是全球定位系统(GPS)、陀螺仪、惯性测量单元(IMU)、气压计等，所述位置信息包括地理位置信息，例如地理位置名称或者包括经度和纬度，所述姿态信息包括海拔、方位角、水平定位精度和垂直定位精度中的一个或者多个。所述第一地图点可以是在所述第一现实环境图像中提取的特征点，所述提取特征点的具体过程在下文详述。
在本申请另一实施例中，所述第一三维视觉地图以Ow为原点建立三维坐标系，例如，所述以Ow为原点的坐标系中各坐标轴分别为x，y，z轴。所述第一三维视觉地图包含至少两个第一地图点和至少两帧所述第一现实环境图像，所述第一三维视觉地图中的第一地图点构成点集P{P1，P2，P3，P4...Pp1}，其中p1为所述第一三维视觉地图中的第一地图点总数量。例如，所述第一三维视觉地图中的所述第一现实环境图像F1，F2，F3，F4，F5...均包括所述第一地图点P1，所述第一地图点P1的位姿信息还可以包括以下内容中的一个或多个：所述第一地图点P1在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标，所述第一地图点P1在所述第一现实环境图像F1中的特征描述向量，所述第一地图点P1在所述第一现实环境图像F1，F2，F3，F4，F5...中的一幅或多幅中的特征描述向量的均值。所述第一三维视觉地图中的第一现实环境图像构成图像集F{F1，F2，F3，F4，F5...Fi1}，所述i1为所述第一三维视觉地图中的第一现实环境图像总数量，所述第一现实环境图像F1的位姿信息还可以包括以下内容中的一个或多个：所述第一现实环境图像F1的中心点在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标，所述第一设备在采集所述第一现实环境图像F1时的位姿信息，所述第一设备在采集所述第一现实环境图像F1时相对于以Ow为原点的坐标系的旋转角度，所述第一现实环境图像F1的特征点/特征描述向量。所述第一三维视觉地图、所述点集P以及所述图像集F可以存储在云端服务器中。
在本申请另一实施例中，所述第一三维视觉地图的构建过程可以采用运动推断结构法，例如，将至少两帧所述第一现实环境图像组成第一现实环境图像集Q，在所述第一现实环境图像集Q中随机选择一帧所述第一现实环境图像F1，提取所述第一现实环境图像F1的至少一个特征点，例如，可以使用特征提取算子提取所述第一现实环境图像F1的至少一个特征点，例如，使用加速角点特征(Features from Accelerated Segment Test，FAST)检测算法、哈里斯(Harris)角点检测算法、莫拉维克(Moravec)角点检测算法、史托马西(Shi-Tomasi)角点检测算法或基于加速角点特征和二元独立特征描述(Oriented FASTandRotated BRIEF，ORB)特征检测算法等。所述特征点是图像中的特殊位置，也可以称为“角点”，或“兴趣点(interest point)”。例如，FAST角点检测算法是找到与周围邻域内大于预定数量的像素点相差大于等于阈值的像素点XP，则所述像素点XP为角点，角点即为所要提取的特征点。例如，随机选择一个像素点XP，以XP为圆心画一个半径为3像素的圆经过16个像素点，如果圆周上有连续n个像素点的灰度值与XP点的灰度值之差大于等于阈值，则认为XP为所要提取的特征点，其中n为大于等于1的整数，例如，n可以设置为12，阈值可以根据应用的现实环境预设。
将所述第一现实环境图像F1与所述第一现实环境图像集Q中其他图像进行特征点匹配，在所述第一现实环境图像集Q中找到匹配点个数大于预设阈值的第一现实环境图像F2。例如，所述特征点匹配可以是对所述第一现实环境图像的特征点进行特征描述得到所述第一现实环境图像的特征描述向量，在所述第一现实环境图像F2中找到一个特征点IP2与所述第一现实环境图像F1中的特征点IP1的特征描述向量的相似度大于阈值，所述特征点IP1与所述特征点IP2即为匹配的特征点，可以称为一组匹配点。例如，所述对特征点进行特征描述的过程可以使用尺度不变特征转换(Scale-Invariant Feature Transform，SIFT)特征描述子算法、加速稳健特征(Speeded Up Robust Features，SURF)特征描述子算法或二元尺度不变(Binary Robust Invariant Scalable Keypoints，BRISK)特征描述子算法等。例如，SIFT特征描述子算法，用于侦测与描述图像中的局部性特征，对所述特征点进行梯度计算，生成梯度直方图，统计选取的邻域内像素的梯度和方向，从而确定所述特征点的方向；取所述特征点周围4×4共16个区域块，统计每个所述区域块内8个梯度方向，这4×4×8共128维向量为所述特征点的特征描述向量，将所述第一现实环境图像中的所有特征点都用SIFT算法转化为128维的特征描述向量，得到所述第一现实环境图像的特征描述向量。
计算所述第一现实环境图像F1和F2的相对位姿，例如，将所述第一现实环境图像F1和F2中匹配的特征点确定为所述第一现实环境图像F1和F2的重合部分，利用所述重合部分以及所述第一现实环境图像F1和F2中未匹配的特征点，计算得到所述第一现实环境图像F1和F2的相对位姿。
利用所述第一现实环境图像F1和F2中的匹配点以及所述第一现实环境图像F1和F2相对位姿，构建所述第一三维视觉地图。例如，分别提取所述第一现实环境图像F1和F2中的特征点并进行特征点匹配，得到所述第一现实环境图像F1和F2的匹配点。通过8点法计算得到所述第一现实环境图像F1和F2的相对位姿，例如，计算矩阵PP使得所述特征点IP1(可以用矩阵x表示)与所述特征点IP2(可以用矩阵x′表示)满足方程x′T·PP·x＝0，其中所述矩阵PP可以是一个3×3的齐次矩阵，分别在方程中代入7组匹配点计算得到所述矩阵PP。利用矩阵PP可以计算得到所述第一现实环境图像F1与所述第一现实环境图像F2的所有匹配点在所述第一三维视觉地图中的位姿信息。依次选取所述第一现实环境图像集Q中尚未加入所述第一三维视觉地图的所述第一现实环境图像，遍历完所述第一现实环境图像集Q中的每一帧图像，完成所述第一三维视觉地图的构建。
在本申请实施例的一个可选方案中，为了保证所述第一三维视觉地图的误差尽可能小，每加入一帧所述第一现实环境图像之后，运行全局的捆绑约束对以下内容中的一个或多个进行优化：所述第一三维视觉地图，所述第一三维视觉地图中的第一现实环境图像，所述第一三维视觉地图中的所述第一现实环境图像的位姿信息，所述第一三维视觉地图中的所述第一地图点的位姿信息。例如，将所述第一现实环境图像F1和F2的每一组匹配点(例如，所述第一现实环境图像F1和F2共有r组匹配点，1≤r且r为自然数)的投影误差记为(f1f2...fr)，捆绑约束的目标函数为
Figure GDA0002720143070000161
其中argmin表示使得表达式的值最小。可以通过莱文贝格-马夸特方法(Levenberg-Marquardt，LM)法进行求解。例如，将f(x)的雅可比矩阵记录为J(x)，每一次迭代LM算法解决最小二乘问题。例如，利用公式δ*＝arg min||J(x)δ+fx||2+γ||D(x)δ||2
使得x←x+δ*直到迭代次数达到要求或者与前一次迭代结果的差值小于预先设定的阈值。
步骤22，在所述第一三维视觉地图中标记位置点
Figure GDA0002720143070000162
并获取所述
Figure GDA0002720143070000163
在所述第一三维视觉地图中的位姿信息。
例如，所述第一设备或第一AR设备在所述第一三维视觉地图中标记位置点
Figure GDA0002720143070000171
所述位置点
Figure GDA0002720143070000172
在所述第一三维视觉地图中以Ow为原点的坐标系下坐标为
Figure GDA0002720143070000173
在本申请实施例的一个可选方案中，所述位置点
Figure GDA0002720143070000174
还可以放置预设的AR素材Aa，所述位置点
Figure GDA0002720143070000175
的增强现实内容包括所述素材Aa，所述
Figure GDA0002720143070000176
在所述第一三维视觉地图中的位姿信息还包括所述Aa在所述第一三维视觉地图中的位姿信息。
在本申请实施例中，所述
Figure GDA0002720143070000177
在所述第一三维视觉地图中的位姿信息还包括以下内容中的一个或多个：所述
Figure GDA0002720143070000178
的邻点点集
Figure GDA0002720143070000179
所述点集Pa中每个邻点在所述第一三维视觉地图中的位姿信息、每个所述
Figure GDA00027201430700001710
的邻点与所述
Figure GDA00027201430700001711
的相对位姿
Figure GDA00027201430700001712
所述
Figure GDA00027201430700001713
的邻图图像集
Figure GDA00027201430700001714
所述图像集Fa中每个邻图在所述第一三维视觉地图中的位姿信息、每个所述
Figure GDA00027201430700001715
的邻图与所述
Figure GDA00027201430700001716
的相对位姿
Figure GDA00027201430700001717
所述位置点
Figure GDA00027201430700001718
的位姿信息为所述第一三维视觉地图的一部分存储在云端服务器中。其中，N2D为所述
Figure GDA00027201430700001719
的邻点数量，1≤N2D≤p1且N2D和p1为自然数；N3D为所述
Figure GDA00027201430700001720
的邻图数量，1≤N3D≤i1且N3D和i1为自然数。所述邻点和邻图的获取过程在下文详述。
在本申请另一实施例中，还可以获取所述第一三维视觉地图中的任意其他位置的位姿信息存储在所述第一三维视觉地图中。所述第一三维视觉地图可以存储在云端服务器中。
如图3所示，在本申请的另一实施例中，获取所述
Figure GDA0002720143070000181
在所述第一三维视觉地图中的位姿信息的具体过程可以下如述。
步骤31，获取所述
Figure GDA0002720143070000182
的N2D个邻点，分别计算所述
Figure GDA0002720143070000183
的每个邻点与所述
Figure GDA0002720143070000184
的相对位姿。
利用所述第一三维视觉地图中每个所述第一地图点的位姿信息以及所述
Figure GDA0002720143070000185
的位姿信息，计算得到所述的邻点。例如，所述
Figure GDA0002720143070000187
的邻点可以是在所述第一三维视觉地图中以Ow为原点的坐标系下与所述
Figure GDA0002720143070000188
的坐标距离小于预设阈值的所述第一地图点。或者，所述
Figure GDA0002720143070000189
的邻点也可以是在所述第一三维视觉地图中与所述
Figure GDA00027201430700001810
的特征描述向量相似度大于预设阈值的所述第一地图点。
例如，在所述第一三维视觉地图中检索得到与所述
Figure GDA00027201430700001811
的欧式距离小于预设阈值的邻点
Figure GDA00027201430700001829
，利用所述邻点
Figure GDA00027201430700001812
的位姿信息计算得到所述邻点
Figure GDA00027201430700001813
与所述
Figure GDA00027201430700001814
的相对位姿
Figure GDA00027201430700001815
例如，所述邻点
Figure GDA00027201430700001816
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为(
Figure GDA00027201430700001830
)，所述
Figure GDA00027201430700001817
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure GDA00027201430700001818
满足方程
Figure GDA00027201430700001819
其中σ为在以Ow为原点的坐标系下所述
Figure GDA00027201430700001820
的邻点与所述
Figure GDA00027201430700001821
的坐标距离阈值。
所述邻点
Figure GDA00027201430700001822
与所述
Figure GDA00027201430700001823
的相对位姿
Figure GDA00027201430700001824
可以为向量
Figure GDA00027201430700001825
Figure GDA00027201430700001826
或者，分别计算所述点集P{P1，P2，P3，P4...Pp1}中的每一个点与所述
Figure GDA00027201430700001827
的欧式距离(Euclidean Distance)/汉明距离/绝对值距离/街区距离，并按照距离从小到大排序，其中距离最小的N2D个点为所述
Figure GDA00027201430700001828
的邻点，所述
Figure GDA0002720143070000191
的邻点构成点集
Figure GDA0002720143070000192
利用所述
Figure GDA0002720143070000193
与所述
Figure GDA0002720143070000194
的邻点在所述第一三维视觉地图中的位姿信息，分别计算每个所述
Figure GDA0002720143070000195
的邻点与所述
Figure GDA0002720143070000196
的相对位姿
Figure GDA0002720143070000197
步骤32，获取所述
Figure GDA0002720143070000198
的N3D个邻图，分别计算所述
Figure GDA0002720143070000199
的每个邻图与所述
Figure GDA00027201430700001910
的相对位姿。
所述
Figure GDA00027201430700001911
的邻图可以是所述图像集F中包含所述
Figure GDA00027201430700001912
的第一现实环境图像。例如，所述
Figure GDA00027201430700001913
的邻图
Figure GDA00027201430700001914
包含所述
Figure GDA00027201430700001915
或者，所述邻图
Figure GDA00027201430700001916
包含所述AR素材Aa中的部分或全部。利用所述邻图
Figure GDA00027201430700001917
在所述第一三维视觉地图中的位姿信息，计算得到所述邻图
Figure GDA00027201430700001918
与所述
Figure GDA00027201430700001919
的相对位姿
Figure GDA00027201430700001920
例如，所述邻图
Figure GDA00027201430700001921
的中心点在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure GDA00027201430700001922
或者，所述第一设备在采集所述邻图
Figure GDA00027201430700001923
时在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure GDA00027201430700001924
所述邻图
Figure GDA00027201430700001925
与所述
Figure GDA00027201430700001926
的相对位姿
Figure GDA00027201430700001927
可以为向量
Figure GDA00027201430700001928
Figure GDA00027201430700001929
在本申请另一实施例中，所述
Figure GDA00027201430700001930
的邻图可以是在所述第一三维视觉地图中以Ow为原点的坐标系下与所述
Figure GDA00027201430700001931
的距离小于预设阈值的所述第一现实环境图像。
或者，分别计算所述图像集F{F1，F2，F3，F4，F5..Fi1}中的每个所述第一现实环境图像与所述
Figure GDA00027201430700001932
的欧式距离(Euclidean Distance)/汉明距离/绝对值距离/街区距离，并按照距离从小到大排序，其中距离最小的N3D个所述第一现实环境图像为所述
Figure GDA00027201430700001933
的邻图，所述
Figure GDA00027201430700001934
的邻图构成图像集
Figure GDA0002720143070000201
利用所述
Figure GDA0002720143070000202
与所述
Figure GDA0002720143070000203
的邻图在所述第一三维视觉地图中的位姿信息，分别计算每个所述
Figure GDA0002720143070000204
的邻图与所述
Figure GDA0002720143070000205
的相对位姿
Figure GDA0002720143070000206
在本申请另一实施例中，在每次所述第一三维视觉地图加入新的所述第一现实环境图像后，重新获取所述
Figure GDA0002720143070000207
在所述第一三维视觉地图中的位姿信息。
步骤23，构建第二三维视觉地图，计算所述第一三维视觉地图与所述第二三维视觉地图的相对位姿。
例如，参照步骤21利用第二设备采集第二现实环境图像，对所述第二现实环境图像进行三维重建，得到所述第二三维视觉地图，所述第二三维视觉地图包括至少两帧所述第二现实环境图像以及至少两个所述第二地图点。所述第二地图点可以是在所述第二现实环境图像中提取的特征点。所述第二设备可以与第二AR设备相连接，所述第二设备可以是智能手机等终端设备；所述第二AR设备也可以是智能手机等终端设备，也可以是专用的AR设备。在本申请实施例一个可选的方案中，所述第二设备也可以是所述第二AR设备。所述第二AR设备可以显示交互内容，所述交互内容可以包含至少一个第二现实环境图像以及至少一个预设的AR素材。
所述第二三维视觉地图以O2为原点建立三维坐标系。例如，所述第二三维视觉地图中的所述第二现实环境图像F′1，F′2，F′3，F′4，F′5...均包括所述第二三维视觉地图中的第二地图点P1′，所述第二地图点P1′的位姿信息还可以包括以下内容中的一个或多个：所述第二地图点P1′在所述第二三维视觉地图中以O2为原点的坐标系下的坐标，所述第二地图点P1′在所述第二现实环境图像F1′中的特征描述向量，所述第二地图点P1′在所述第二现实环境图像F′1，F′2，F′3，F′4，F′5...中的一幅或多幅中的特征描述向量的均值。
在所述第二三维视觉地图中选取一帧所述第二现实环境图像F1′在所述第一三维视觉地图中进行视觉定位。所述视觉定位的方法很多，例如，基于所述第二现实环境图像F1′的特征点/特征描述向量在所述图像集F中进行检索，得到与所述第二现实环境图像F1′相似度大于预设阈值的所述第一现实环境图像F1。或者，可以采用特征点匹配法进行视觉定位，例如，分别将所述图像集F中的每一张所述第一现实环境图像中的特征点与所述F1′中的特征点进行匹配，获得与所述F1′的匹配点数量大于预设阈值的所述第一现实环境图像F1。
利用所述F1在所述第一三维视觉地图中的位姿信息以及所述F1′在所述第二三维视觉地图中的位姿信息，计算得到所述第一三维视觉地图与所述第二三维视觉地图的相对位姿。例如，计算得到所述F1与所述F1′变换的旋转矩阵R′和平移向量t′，例如，
Figure GDA0002720143070000211
其中，R0和P0分别为所述F1在所述第一三维视觉地图中的姿态和位置，
Figure GDA0002720143070000212
和
Figure GDA0002720143070000213
分别为所述F1′在所述第二三维视觉地图中的的姿态和位置，所述旋转矩阵R′和平移向量t′即为所述第一三维视觉地图与所述第二三维视觉地图的相对位姿。
在本申请的另一实施例中，选取所述第一三维视觉地图中的所述第一现实环境图像F1在所述第二三维视觉地图中进行视觉定位。例如，利用特征点匹配法，分别将每个所述第二地图点与所述第一现实环境图像F1包含的所述第一地图点P1，P2，P3……PN进行特征点匹配，得到所述第一地图点P1，P2，P3在所述第二三维视觉地图中的匹配点P1′，P2′，P3′……PN′，其中，N为所述第一现实环境图像F1包含的所述第一地图点的数量，0＜N＜p1且N为自然数；利用所述第一地图点P1，P2，P3……PN与所述第二地图点P1′，P2′，P3′……PN′的对应关系，计算得到所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure GDA0002720143070000221
例如，计算得到所述第一地图点P1，P2，P3......PN与所述第二地图点P1′，P2′，P3′……PN′变换的旋转矩阵R和平移向量t。例如，计算所述第一地图点P1，P2，P3……PN的均值μP与所述第二地图点P1′，P2′，P3′……PN′的均值μP′：
Figure GDA0002720143070000222
计算所述第一地图点P1，P2，P3……PN的方差
Figure GDA0002720143070000223
与所述第二地图点P1′，P2′，P3′……PN′的方差
Figure GDA0002720143070000224
Figure GDA0002720143070000225
Figure GDA0002720143070000226
计算得到矩阵∑：
Figure GDA0002720143070000227
对所述矩阵∑进行奇异值分解：∑＝UDVT，其中，U和V均为单位正交矩阵，D为仅在主对角线上有值的矩阵。如果det(U)det(V)＜0，则矩阵W＝diag(1，1，-1)，其中，det()为求矩阵的行列式值，diag()为构造一个对角矩阵；如果不满足det(U)det(V)＜0，则矩阵W为3*3的单位矩阵；计算得到所述旋转矩阵R和所述平移向量t：R＝UWVT，t＝μP-RμP′，利用所述旋转矩阵R和所述平移向量t计算得到变换矩阵
Figure GDA0002720143070000228
例如
Figure GDA0002720143070000229
Figure GDA00027201430700002210
所述变换矩阵
Figure GDA00027201430700002211
即为所述第一三维视觉地图与所述第二三维视觉地图的相对位姿。
步骤24，利用所述第一三维视觉地图与所述第二三维视觉地图的相对位姿以及所述
Figure GDA0002720143070000231
在所述第一三维视觉地图中的位姿信息，计算得到所述
Figure GDA0002720143070000232
在所述第二三维视觉地图中的位姿信息P′a；利用所述P′a将所述位置点
Figure GDA0002720143070000233
的增强现实内容叠加到至少一帧所述第二现实环境图像中形成交互内容并通过所述第二AR设备显示。
如图4所示，在本申请实施例中，计算得到所述
Figure GDA0002720143070000234
在所述第二三维视觉地图中的位姿信息P′a的具体过程可以下如述。
步骤41，分别计算所述
Figure GDA0002720143070000235
的N2D个邻点在所述第二三维视觉地图中的位姿信息。
例如，在所述第二三维视觉地图中检索得到位姿信息与所述第一地图点P1的位姿信息相似度大于阈值的所述第二地图点P1′。例如，所述第一地图点P1在所述第一现实环境图像F1，F2，F3，F4，F5...中的一幅或多幅中的特征描述向量的均值为
Figure GDA0002720143070000236
所述第二地图点P1′在所述第二现实环境图像F′1，F′2，F′3，F′4，F′5...中的一幅或多幅中的特征描述向量的均值
Figure GDA0002720143070000237
将所述第二三维视觉地图中每个所述第二地图点的特征描述向量分别与所述第一三维视觉地图中的所述第一地图点P1的特征描述向量
Figure GDA0002720143070000238
作对比，所述第二地图点P1′的特征描述向量
Figure GDA0002720143070000239
与所述
Figure GDA00027201430700002310
的相似度最高，则所述第二地图点P1′为所述第一地图点P1在所述第二三维视觉地图中的对应点，所述第一地图点P1在所述第二三维视觉地图中的位姿信息可以为所述对应点P1′在第二三维视觉地图中的位姿信息，例如，所述第一地图点P1在所述第二三维视觉地图中的位姿信息可以为所述第二地图点P1′在以O2为原点的坐标系下的坐标
Figure GDA0002720143070000241
分别计算所述
Figure GDA0002720143070000242
的N2D个邻点在所述第二三维视觉地图中以O2为原点的坐标系下的坐标
Figure GDA0002720143070000243
步骤42，分别计算所述
Figure GDA0002720143070000244
的N3D个邻图在所述第二三维视觉地图中的位姿信息。
例如，所述第一现实环境图像F1包含的所述第一地图点P1，P2，P3分别与所述第二三维视觉地图中的第二地图点P1′，P2′，P3′匹配，利用所述第一地图点P1，P2，P3与所述第二地图点P1′，P2′，P3′的对应关系，得到所述第一三维视觉地图中的所述第一现实环境图像F1的中心点在所述第二三维视觉地图中以O2为原点的坐标系下的坐标
Figure GDA0002720143070000245
所述
Figure GDA0002720143070000246
的N3D个邻图在所述第二三维视觉地图中的位姿信息可以是分别计算所述
Figure GDA0002720143070000247
的N3D个邻图的中心点在所述第二三维视觉地图中以O2为原点的坐标系下的坐标
Figure GDA0002720143070000248
步骤43，利用所述
Figure GDA0002720143070000249
在所述第一三维视觉地图中的位姿信息、所述
Figure GDA00027201430700002410
的邻点在所述第二三维视觉地图中的位姿信息以及所述
Figure GDA00027201430700002411
的邻图在所述第二三维视觉地图中的位姿信息，计算得到所述
Figure GDA00027201430700002412
在所述第二三维视觉地图中的位姿信息P′a。
例如，所述
Figure GDA00027201430700002413
在所述第二三维视觉地图中的位姿信息可以通过加权平均所述第一三维视觉地图与所述第二三维视觉地图的相对位姿、所述
Figure GDA00027201430700002414
在所述第一三维视觉地图中的位姿信息、所述
Figure GDA00027201430700002415
的每个邻点在所述第二三维视觉地图中的位姿信息以及所述
Figure GDA00027201430700002416
的每个邻图在所述第二三维视觉地图中的位姿信息等计算得到。例如，利用公式
Figure GDA0002720143070000251
计算得到所述
Figure GDA0002720143070000252
在所述第二三维视觉地图中的位姿信息P′a。其中，w1、ws、wt为加权平均参数，可以根据实际的现实环境预设为任意值。
在本申请实施例的一个可选方案中，还可以利用所述AR素材Aa在所述第二三维视觉地图中的位姿信息，计算得到所述第二AR设备中的交互内容。例如，利用所述AR素材Aa在所述第二三维视觉地图中的位姿信息，将包括所述AR素材Aa的增强现实内容叠加到所述第二设备采集到的至少一帧所述第二现实环境图像中形成交互内容并进行渲染，所述交互内容可以通过所述第二AR设备显示出来。
如图5所示，本申请实施例还提供了一种增强现实显示系统，所述系统包括存储器501和处理器502。
所述存储器501，用于存储代码和相关数据中的至少一项。
所述处理器502，用于执行所述存储器501中的代码和/或相关数据用以实现前述实施例中的方法步骤。
如图6所示，本申请实施例还提供了一种增强现实显示系统，所述增强现实显示系统可以包括采集模块61、计算模块62、显示模块63和网络64。
所述采集模块61，用于采集、抓取或读取现实环境图像，所述采集模块61的具体功能可以如图2所描述的增强现实显示方法的中的所述第一设备、所述第二设备的工作过程。例如，所述采集模块61，用于利用第一设备采集第一现实环境图像，构建第一三维视觉地图；利用第二设备采集第二现实环境图像，构建第二三维视觉地图。
所述计算模块62，用于获取所述第一三维视觉地图中的位置点
Figure GDA0002720143070000261
在所述第一三维视觉地图中的N3D个邻图，分别计算所述
Figure GDA0002720143070000262
的每个邻图与所述
Figure GDA0002720143070000263
的相对位姿
Figure GDA0002720143070000264
其中1≤t≤N3D且t和N3D为自然数；计算所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure GDA0002720143070000265
分别计算所述
Figure GDA0002720143070000266
的N3D个邻图在所述第二三维视觉地图中的位姿信息
Figure GDA0002720143070000267
利用以下信息中的一个或多个，计算得到所述
Figure GDA0002720143070000268
在所述第二三维视觉地图中的位姿信息P′a：所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure GDA0002720143070000269
所述
Figure GDA00027201430700002610
在所述第一三维视觉地图中的位姿信息和所述
Figure GDA00027201430700002611
的邻图在所述第二三维视觉地图中的位姿信息。所述计算模块62，还用于在所述第一三维视觉地图中获取包含所述
Figure GDA00027201430700002612
的第一现实环境图像为所述
Figure GDA00027201430700002613
的邻图；或者，在所述第一三维视觉地图中获取与所述
Figure GDA00027201430700002614
的距离小于预设阈值的所述第一现实环境图像为所述
Figure GDA00027201430700002615
的邻图。所述计算模块62，还用于计算所述
Figure GDA00027201430700002616
的邻图
Figure GDA00027201430700002617
的中心点在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure GDA00027201430700002618
计算所述
Figure GDA00027201430700002619
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure GDA00027201430700002620
计算得到所述邻图
Figure GDA00027201430700002621
与所述
Figure GDA00027201430700002622
的相对位姿
Figure GDA00027201430700002623
的向量
Figure GDA00027201430700002624
所述计算模块62，还用于获取所述
Figure GDA00027201430700002625
在所述第一三维视觉地图中的N2D个邻点，分别计算所述
Figure GDA00027201430700002626
的每个邻点与所述
Figure GDA00027201430700002627
的相对位姿
Figure GDA00027201430700002628
其中1≤s≤N2D且s和N2D为自然数；分别计算所述
Figure GDA00027201430700002629
的N2D个邻点在所述第二三维视觉地图中的位姿信息
Figure GDA00027201430700002630
利用以下信息中的一个或多个，计算得到所述
Figure GDA0002720143070000271
在所述第二三维视觉地图中的位姿信息P′a：所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure GDA0002720143070000272
所述
Figure GDA0002720143070000273
在所述第一三维视觉地图中的位姿信息，所述
Figure GDA0002720143070000274
的邻点在所述第二三维视觉地图中的位姿信息和所述
Figure GDA0002720143070000275
的邻图在所述第二三维视觉地图中的位姿信息。所述计算模块62，还用于在所述第一三维视觉地图中获取与所述
Figure GDA0002720143070000276
的坐标距离小于预设阈值的所述第一地图点为所述
Figure GDA0002720143070000277
的邻点；所述第一地图点为所述第一现实环境图像的特征点；或者，在所述第一三维视觉地图中获取与所述
Figure GDA0002720143070000278
的特征描述向量相似度大于预设阈值的所述第一地图点为所述
Figure GDA0002720143070000279
的邻点。所述计算模块62，还用于计算所述邻点
Figure GDA00027201430700002710
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure GDA00027201430700002711
计算所述
Figure GDA00027201430700002712
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure GDA00027201430700002713
计算得到所述邻点
Figure GDA00027201430700002714
与所述
Figure GDA00027201430700002715
的相对位姿
Figure GDA00027201430700002716
的向量
Figure GDA00027201430700002717
所述计算模块62，还用于利用公式
Figure GDA00027201430700002718
计算得到所述
Figure GDA00027201430700002719
在所述第二三维视觉地图中的位姿信息P′a，其中，w1、ws、wt为任意值。
所述显示模块63，用于显示交互内容，所述显示模块63的具体功能可以如图2所描述的增强现实显示方法的中的所述第一AR设备、所述第二AR设备的工作过程。例如，所述显示模块63，用于利用所述P′a将所述位置点
Figure GDA00027201430700002720
的增强现实内容叠加到至少一帧所述第二现实环境图像中形成交互内容并显示出来。
所述网络64，用于联通所述采集模块61、所述计算模块62和所述显示模块63，所述网络64的具体功能可以如图1所描述的增强现实显示系统的网络104的工作过程。
在本申请实施例中，所述采集模块61、所述计算模块62和所述显示模块63模块可以集成在设备上，例如集成在设备的处理器上，设备的处理器可以是CPU、服务器，或者其他中央处理器等。
本申请实施例还提供计算机设备。具体请参阅图7，图7为本实施例计算机设备基本结构框图。
所述计算机设备1000可以作为云端服务器，包括通过系统总线相互通信连接存储器1001、处理器1002、网络接口1003。需要指出的是，图中仅示出了具有组件1001、1002、1003的计算机设备1000，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field-Programmable Gate Array，FPGA)、数字处理器(Digital SignalProcessor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器1001至少包括一种类型的可读存储介质，所述可读存储介质包括非易失性存储器(non-volatile memory)或易失性存储器，例如，闪存(flash memory)、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦写可编程只读存储器(erasableprogrammable read-only memory，EPROM)、电可擦写可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、可编程只读存储器(programmableread-only memory，PROM)、磁性存储器、磁盘、光盘等，所述RAM可以包括静态RAM或动态RAM。在一些实施例中，所述存储器1001可以是所述计算机设备1000的内部存储单元，例如，所述计算机设备1000的硬盘或内存。在另一些实施例中，所述存储器1001也可以是所述计算机设备1000的外部存储设备，例如所述计算机设备1000上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，所述存储器1001还可以既包括所述计算机设备1000的内部存储单元也包括其外部存储设备。本实施例中，所述存储器1001通常用于存储安装于所述计算机设备1000的操作系统和各类应用软件，例如增强现实显示方法的程序代码等。此外，所述存储器1001还可以用于暂时地存储已经输出或者将要输出的各类数据。
在本申请实施例中，该处理器1002可以是中央处理单元(Central ProcessingUnit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器1002还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器，例如单片机等。
该处理器1002通常用于控制所述计算机设备1000的总体操作。本实施例中，所述存储器1001用于存储程序代码或指令，所述程序代码包括计算机操作指令，所述处理器1002用于执行所述存储器1001存储的程序代码或指令或者处理数据，例如运行所述增强现实显示方法的程序代码。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。该总线系统可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本申请的另一实施例还提供一种计算机可读介质，计算机可读介质可以是计算机可读信号介质或者计算机可读介质。计算机中的处理器读取存储在计算机可读介质中的计算机可读程序代码，使得处理器能够执行在流程图2、图3、图4中每个步骤、或各步骤的组合中规定的功能动作；生成实施在框图的每一块、或各块的组合中规定的功能动作的装置。
计算机可读介质包含但不限于电子、磁性、光学、电磁、红外的存储器或半导体系统、设备或者装置，或者前述的任意适当组合，所述存储器用于存储程序代码或指令，所述程序代码包括计算机操作指令，所述处理器用于执行所述存储器存储的程序代码或指令。
所述存储器和所述处理器的定义，可以参考前述计算机设备实施例的描述，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所属技术领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，并被通讯设备内部的处理器执行，前述的程序在被执行时处理器可以执行包括上述方法实施例的全部或者部分步骤。其中，所述处理器可以作为一个或多个处理器芯片实施，或者可以为一个或多个专用集成电路(Application Specific Integrated Circuit，ASIC)的一部分；而前述的存储介质可以包括但不限于以下类型的存储介质：闪存(Flash Memory)、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种增强现实显示方法，其特征在于，所述方法包括：
利用第一设备采集第一现实环境图像，构建第一三维视觉地图；
获取所述第一三维视觉地图中的位置点
Figure FDA0002720143060000011
在所述第一三维视觉地图中的N3D个邻图，分别计算所述
Figure FDA0002720143060000012
的每个邻图与所述
Figure FDA0002720143060000013
的相对位姿
Figure FDA0002720143060000014
其中1≤t≤N3D且t和N3D为自然数；
利用第二设备采集第二现实环境图像，构建第二三维视觉地图，计算所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure FDA0002720143060000015
分别计算所述
Figure FDA0002720143060000016
的N3D个邻图在所述第二三维视觉地图中的位姿信息
Figure FDA0002720143060000017
获取所述
Figure FDA0002720143060000018
在所述第一三维视觉地图中的N2D个邻点，分别计算所述
Figure FDA0002720143060000019
的每个邻点与所述
Figure FDA00027201430600000110
的相对位姿
Figure FDA00027201430600000111
其中1≤s≤N2D且s和N2D为自然数；分别计算所述
Figure FDA00027201430600000112
的N2D个邻点在所述第二三维视觉地图中的位姿信息
Figure FDA00027201430600000113
利用以下信息中的一个或多个，计算得到所述
Figure FDA00027201430600000114
在所述第二三维视觉地图中的位姿信息P′a：所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure FDA00027201430600000115
所述
Figure FDA00027201430600000116
在所述第一三维视觉地图中的位姿信息，所述
Figure FDA00027201430600000117
的邻图在所述第二三维视觉地图中的位姿信息，所述
Figure FDA00027201430600000118
的邻点在所述第二三维视觉地图中的位姿信息；利用公式
Figure FDA00027201430600000119
计算得到所述
Figure FDA0002720143060000021
在所述第二三维视觉地图中的位姿信息P′a，其中，w1、ws、wt为任意值；
利用所述P′a将所述位置点
Figure FDA0002720143060000022
的增强现实内容叠加到至少一帧所述第二现实环境图像中形成交互内容并显示出来。
2.如权利要求1所述的方法，其特征在于，所述
Figure FDA0002720143060000023
的邻图是所述第一三维视觉地图中包含所述
Figure FDA0002720143060000024
的第一现实环境图像；
或者，所述
Figure FDA0002720143060000025
的邻图是在所述第一三维视觉地图中与所述
Figure FDA0002720143060000026
的距离小于预设阈值的所述第一现实环境图像。
3.如权利要求1所述的方法，其特征在于，所述分别计算所述
Figure FDA0002720143060000027
的每个邻图与所述
Figure FDA0002720143060000028
的相对位姿
Figure FDA0002720143060000029
具体包括：
所述
Figure FDA00027201430600000210
的邻图
Figure FDA00027201430600000211
的中心点在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure FDA00027201430600000212
所述
Figure FDA00027201430600000213
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure FDA00027201430600000214
所述邻图
Figure FDA00027201430600000215
与所述
Figure FDA00027201430600000216
的相对位姿
Figure FDA00027201430600000217
为向量
Figure FDA00027201430600000218
4.如权利要求1所述的方法，其特征在于，所述
Figure FDA00027201430600000219
的邻点是在所述第一三维视觉地图中与所述
Figure FDA00027201430600000220
的坐标距离小于预设阈值的第一地图点；所述第一地图点为所述第一现实环境图像的特征点；
或者，所述
Figure FDA00027201430600000221
的邻点是在所述第一三维视觉地图中与所述
Figure FDA00027201430600000222
的特征描述向量相似度大于预设阈值的所述第一地图点。
5.如权利要求1所述的方法，其特征在于，所述分别计算所述
Figure FDA00027201430600000223
的N2D个邻点在所述第二三维视觉地图中的位姿信息
Figure FDA00027201430600000224
具体包括：
所述邻点
Figure FDA0002720143060000031
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure FDA0002720143060000032
所述
Figure FDA0002720143060000033
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标为
Figure FDA0002720143060000034
所述邻点
Figure FDA0002720143060000035
与所述
Figure FDA0002720143060000036
的相对位姿
Figure FDA0002720143060000037
为向量
Figure FDA0002720143060000038
6.一种增强现实显示系统，其特征在于，包括：处理器和存储器；
所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时执行如权利要求1-5任意一项所述的增强现实显示方法的步骤。
7.一种增强现实显示系统，其特征在于，所述系统包括采集模块、计算模块和显示模块，其中：
所述采集模块，用于利用第一设备采集第一现实环境图像，构建第一三维视觉地图；利用第二设备采集第二现实环境图像，构建第二三维视觉地图；
所述计算模块，用于获取所述第一三维视觉地图中的位置点
Figure FDA0002720143060000039
在所述第一三维视觉地图中的N3D个邻图，分别计算所述
Figure FDA00027201430600000310
的每个邻图与所述
Figure FDA00027201430600000311
的相对位姿
Figure FDA00027201430600000312
其中1≤t≤N3D且t和N3D为自然数；
计算所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure FDA00027201430600000313
分别计算所述
Figure FDA00027201430600000314
的N3D个邻图在所述第二三维视觉地图中的位姿信息
Figure FDA00027201430600000315
获取所述
Figure FDA00027201430600000316
在所述第一三维视觉地图中的N2D个邻点，分别计算所述
Figure FDA00027201430600000317
的每个邻点与所述
Figure FDA00027201430600000318
的相对位姿
Figure FDA00027201430600000319
其中1≤s≤N2D且s和N2D为自然数；分别计算所述
Figure FDA0002720143060000041
的N2D个邻点在所述第二三维视觉地图中的位姿信息
Figure FDA0002720143060000042
利用以下信息中的一个或多个，计算得到所述
Figure FDA0002720143060000043
在所述第二三维视觉地图中的位姿信息P′a：所述第一三维视觉地图与所述第二三维视觉地图的相对位姿
Figure FDA0002720143060000044
所述
Figure FDA0002720143060000045
在所述第一三维视觉地图中的位姿信息，所述
Figure FDA0002720143060000046
的邻图在所述第二三维视觉地图中的位姿信息，所述
Figure FDA0002720143060000047
的邻点在所述第二三维视觉地图中的位姿信息；利用公式
Figure FDA0002720143060000048
计算得到所述
Figure FDA0002720143060000049
在所述第二三维视觉地图中的位姿信息P′a，其中，w1、ws、wt为任意值；
所述显示模块，用于利用所述P′a将所述位置点
Figure FDA00027201430600000410
的增强现实内容叠加到至少一帧所述第二现实环境图像中形成交互内容并显示出来。
8.如权利要求7所述的系统，其特征在于，所述计算模块，还用于在所述第一三维视觉地图中获取包含所述
Figure FDA00027201430600000411
的第一现实环境图像为所述
Figure FDA00027201430600000412
的邻图；
或者，在所述第一三维视觉地图中获取与所述
Figure FDA00027201430600000413
的距离小于预设阈值的所述第一现实环境图像为所述
Figure FDA00027201430600000414
的邻图。
9.如权利要求7所述的系统，其特征在于，所述计算模块，还用于计算所述
Figure FDA00027201430600000415
的邻图
Figure FDA00027201430600000416
的中心点在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure FDA00027201430600000417
计算所述
Figure FDA00027201430600000418
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure FDA0002720143060000051
计算得到所述邻图
Figure FDA0002720143060000052
与所述
Figure FDA0002720143060000053
的相对位姿
Figure FDA00027201430600000518
的向量
Figure FDA0002720143060000055
10.如权利要求7所述的系统，其特征在于，所述计算模块，还用于在所述第一三维视觉地图中获取与所述
Figure FDA0002720143060000056
的坐标距离小于预设阈值的第一地图点为所述
Figure FDA0002720143060000057
的邻点；所述第一地图点为所述第一现实环境图像的特征点；
或者，在所述第一三维视觉地图中获取与所述
Figure FDA0002720143060000058
的特征描述向量相似度大于预设阈值的所述第一地图点为所述
Figure FDA0002720143060000059
的邻点。
11.如权利要求7所述的系统，其特征在于，所述计算模块，还用于计算所述邻点
Figure FDA00027201430600000510
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure FDA00027201430600000511
计算所述
Figure FDA00027201430600000512
在所述第一三维视觉地图中以Ow为原点的坐标系下的坐标
Figure FDA00027201430600000513
计算得到所述邻点
Figure FDA00027201430600000514
与所述
Figure FDA00027201430600000515
的相对位姿
Figure FDA00027201430600000516
的向量
Figure FDA00027201430600000517
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的增强现实显示方法的步骤。
CN202010215926.8A 2020-03-24 2020-03-24 一种增强现实显示方法、系统及计算机可读存储介质 Active CN111459269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010215926.8A CN111459269B (zh) 2020-03-24 2020-03-24 一种增强现实显示方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010215926.8A CN111459269B (zh) 2020-03-24 2020-03-24 一种增强现实显示方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111459269A CN111459269A (zh) 2020-07-28
CN111459269B true CN111459269B (zh) 2020-12-01

Family

ID=71682261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010215926.8A Active CN111459269B (zh) 2020-03-24 2020-03-24 一种增强现实显示方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111459269B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021249390A1 (zh) * 2020-06-12 2021-12-16 贝壳技术有限公司 实现增强现实的方法和装置、存储介质、电子设备
CN112102479B (zh) * 2020-09-18 2021-09-28 贝壳找房(北京)科技有限公司 基于模型对齐的增强现实方法和装置、存储介质、电子设备
CN112101177A (zh) * 2020-09-09 2020-12-18 东软睿驰汽车技术（沈阳）有限公司 地图构建方法、装置及运载工具
CN114445500B (zh) * 2020-10-30 2023-11-10 北京字跳网络技术有限公司 增强现实场景构建方法、装置、终端设备和存储介质
CN112882569B (zh) * 2021-01-28 2024-02-23 咪咕文化科技有限公司 Ar交互方法、终端设备及云端地图管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025661A (zh) * 2016-01-29 2017-08-08 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及系统
CN107977082A (zh) * 2017-12-19 2018-05-01 亮风台（上海）信息科技有限公司 一种用于呈现ar信息的方法及系统
CN110286768A (zh) * 2019-06-27 2019-09-27 Oppo广东移动通信有限公司 虚拟物体显示方法、终端设备及计算机可读存储介质
CN110889872A (zh) * 2018-09-11 2020-03-17 三星电子株式会社 在增强现实中显示虚拟对象的定位方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US9454849B2 (en) * 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
US20150170418A1 (en) * 2012-01-18 2015-06-18 Google Inc. Method to Provide Entry Into a Virtual Map Space Using a Mobile Device's Camera
EP3729376A4 (en) * 2017-12-22 2021-01-20 Magic Leap, Inc. PROCESS OF RENDERING OF OCCLUSION USING A RAY THROWING AND ACTUAL DEPTH

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025661A (zh) * 2016-01-29 2017-08-08 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及系统
CN107977082A (zh) * 2017-12-19 2018-05-01 亮风台（上海）信息科技有限公司 一种用于呈现ar信息的方法及系统
CN110889872A (zh) * 2018-09-11 2020-03-17 三星电子株式会社 在增强现实中显示虚拟对象的定位方法和装置
CN110286768A (zh) * 2019-06-27 2019-09-27 Oppo广东移动通信有限公司 虚拟物体显示方法、终端设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN111459269A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111459269B (zh) 一种增强现实显示方法、系统及计算机可读存储介质
US11393173B2 (en) Mobile augmented reality system
US10121099B2 (en) Information processing method and system
CN111046125A (zh) 一种视觉定位方法、系统及计算机可读存储介质
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
US10636168B2 (en) Image processing apparatus, method, and program
Huang et al. A coarse-to-fine algorithm for matching and registration in 3D cross-source point clouds
US9418480B2 (en) Systems and methods for 3D pose estimation
CN112435338B (zh) 电子地图的兴趣点的位置获取方法、装置及电子设备
CN110926478B (zh) 一种ar导航路线纠偏方法、系统及计算机可读存储介质
CN111639147B (zh) 一种地图压缩方法、系统及计算机可读存储介质
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
CN111583381A (zh) 游戏资源图的渲染方法、装置及电子设备
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN114674328B (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
US10540823B2 (en) Method and apparatus for determining a planar surface
Liu et al. Absolute orientation and localization estimation from an omnidirectional image
CN113077306B (zh) 图像处理方法、装置及设备
CN114972769B (zh) 图像处理方法、三维地图生成方法、装置、设备及介质
CN115578432B (zh) 图像处理方法、装置、电子设备及存储介质
KR101179969B1 (ko) 마커 검출 장치 및 방법
CN114693515A (zh) 图像变形方法及装置、电子设备和存储介质
KR20240025215A (ko) 클라우드 융합 방법, 장치, 전자 기기 및 컴퓨터 저장 매체
JP2018198030A (ja) 情報処理装置及びプログラム
Sekii et al. 6-DOF camera pose estimation using reference points on an aerial image without altitude information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant