CN112348887A - 终端位姿确定方法以及相关装置 - Google Patents
终端位姿确定方法以及相关装置 Download PDFInfo
- Publication number
- CN112348887A CN112348887A CN201910742749.6A CN201910742749A CN112348887A CN 112348887 A CN112348887 A CN 112348887A CN 201910742749 A CN201910742749 A CN 201910742749A CN 112348887 A CN112348887 A CN 112348887A
- Authority
- CN
- China
- Prior art keywords
- building
- simulated
- terminal
- outline
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 238000004088 simulation Methods 0.000 claims abstract description 36
- 238000005070 sampling Methods 0.000 claims description 56
- 238000000605 extraction Methods 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 14
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 230000036544 posture Effects 0.000 description 31
- 230000015654 memory Effects 0.000 description 29
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 18
- 238000013135 deep learning Methods 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 7
- 238000010276 construction Methods 0.000 description 6
- RKWPMPQERYDCTB-UHFFFAOYSA-N ethyl n-[4-[benzyl(2-phenylethyl)amino]-2-(4-nitrophenyl)-1h-imidazo[4,5-c]pyridin-6-yl]carbamate Chemical compound N=1C(NC(=O)OCC)=CC=2NC(C=3C=CC(=CC=3)[N+]([O-])=O)=NC=2C=1N(CC=1C=CC=CC=1)CCC1=CC=CC=C1 RKWPMPQERYDCTB-UHFFFAOYSA-N 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Navigation (AREA)
Abstract
本申请提供了终端位姿确定方法以及相关装置，方法包括：获取多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息，模拟建筑物轮廓特征是根据卫星图像获得的；获取终端拍摄的图片中的建筑物轮廓特征；将多个模拟建筑物轮廓特征中，与建筑物轮廓特征匹配的模拟建筑物轮廓特征对应的模拟位姿信息确定为终端的位姿信息。实施本申请能够实现低成本、高精确地获得终端的6DOF信息，解决面向AR/VR等应用服务需求中缺乏精确位置信息和姿态信息的难题。
Description
技术领域
本申请涉及位置与姿态(位姿)的测量技术，尤其涉及终端位姿确定方法以及相关装置。
背景技术
随着第五代(5th-Generation，5G)移动通信技术高带宽低时延特征的逐渐成熟，以及手机摄像硬件、计算能力的发展，基于视觉增强现实(Augmented Reality，AR)/虚拟现实(Virtual Reality，VR)的智能化应用服务越来越丰富。
AR/VR技术通过把虚拟对象和真实空间叠加，提供易于用户交互和理解的应用服务。以AR导航应用为例，在AR室内外定位导航服务场景中，通过摄像头，把虚拟导航图标叠加在真实场景上，以最直观的结果反馈给用户其当前的位置信息和导航路线。同时，随着人工智能技术的逐渐成熟，深度学习在图像理解领域取得了重大突破，比如对象识别，语义分割，目标跟踪等，促进了AR/VR智能化应用服务的发展。利用深度学习智能化识别真实场景中的目标对象能够进一步增强AR/VR的智能化应用，比如识别前方是否有人、车辆或障碍物并给出应对方案，识别房屋、树木并辅助提供导航信息等。相比于传统二维地图导航以点、线、面抽象特征来反应周围地图环境，AR导航定位方式模拟人眼看到的世界，结合人工智能识别语义信息，可以提供更丰富和直观的信息，不容易引发用户的理解歧义。
为了将虚拟对象叠加在终端屏幕的正确位置，AR技术通常需要同时已知摄像头的位置信息和姿态信息。然而传统的卫星定位方法(如全球定位系统(Global PositioningSystem，GPS)定位、格洛纳斯(GLONASS)定位、伽利略卫星导航系统(Galileo satellitenavigation system)定位，北斗定位等卫星定位技术)只能提供位置信息，无法提供姿态信息。
现有终端(例如智能手等)通常内置陀螺仪和磁力计等传感器，可以估算终端的姿态信息，以便于将虚拟对象投影到终端屏幕上的正确位置。结合卫星定位方法提供终端的位置信息，实现在智能手机上同时获取位置信息和姿态信息的目的，以满足提供AR/VR服务的基础条件。位置信息通常用在欧式空间中坐标X,Y,Z表示，姿态信息通过用旋转坐标俯仰角(pitch),航偏角(yaw),滚转角(roll)表示。所以位置信息(X,Y,Z)和姿态信息(yaw,pitch,roll)又可统称为6自由度位置和姿态(Six Degrees of Freedom，6DOF)信息。
然而上述方法通常无法满足AR/VR服务的需求。一方面，通过卫星定位方法所获得终端的位置信息，精确度较为粗糙，精度通常为几米至几十米的范围；另一方面，现有终端(例如智能手等)内置惯性传感器(如陀螺仪、磁力计)的测量精度普遍较低，姿态估算误差较大。比如，陀螺仪对每秒角速度进行积分获得相对初始时刻的角度偏移，长时间运行时容易产生累计误差；磁力计测量与正北方向的夹角获得角度信息，然而容易受到环境中磁场的影响而产生剧烈波动。
因此，如何在终端上同时获取精确的6DOF信息成为一个亟待解决的技术难题。
申请内容
本申请提供了终端位姿确定方法以及相关装置，能够实现低成本、高精确地获得终端的6DOF信息，解决面向AR/VR等应用服务需求中缺乏精确位置信息和姿态信息的难题。
第一方面，本申请实施例提供了一种终端位姿确定方法，该方法包括：获取多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息，所述模拟建筑物轮廓特征是根据基于卫星图像的3D模型获得的；获取终端拍摄的图片中的建筑物轮廓特征；将所述多个模拟建筑物轮廓特征中，与所述建筑物轮廓特征匹配的模拟建筑物轮廓特征对应的模拟位姿信息确定为所述终端的位姿信息。
可以看到，本申请实施例主要从两大方面来实现低成本、高精确地获得终端的6DOF信息：
一方面是本申请的数据源为基于卫星图像的3D模型，基于3D模型，提取有效信息构建建筑物轮廓特征库，供6DOF定位调用，相比于传统位姿获取方法(如手机自带的姿态检测硬件设备、大型专业姿态测量设备构建点云特征库等)，本申请实施例提供了低成本的数据源。
另一方面是本申请为解决卫星图像俯视视角与终端图片平视视角难以正确匹配的问题，本申请通过提取图片中的建筑轮廓线来与建筑物轮廓特征库进行匹配，从而获得完整而高精度的位置和角度信息，从而能为后续的AR/VR应用服务提供完整位置信息和姿态信息(即6DOF信息)，提升应用服务的用户体验。
基于第一方面，在可能的实施例中，所述将所述多个模拟建筑物轮廓特征中与所述建筑物轮廓特征匹配的模拟建筑物轮廓特征对应的模拟位姿信息确定为所述终端的位姿信息之前，还包括：将建筑物轮廓特征与所述多个模拟建筑物轮廓特征进行匹配，获得所述多个模拟建筑物轮廓特征中与所述建筑物轮廓特征匹配的模拟建筑物轮廓特征。
比如，可将匹配程度最高的待匹配点的模拟建筑物轮廓特征作为与所述建筑物轮廓特征匹配的模拟建筑物轮廓特征
基于第一方面，在可能的实施例中，所述将建筑物轮廓特征与所述多个模拟建筑物轮廓特征进行匹配之前，还包括：获取所述终端的初始位置信息和初始姿态信息，所述初始位置信息是通过终端中的传感器采集获得的；相应的，所述将建筑物轮廓特征与所述多个模拟建筑物轮廓特征进行匹配，获得所述多个模拟建筑物轮廓特征中与所述建筑物轮廓特征匹配的模拟建筑物轮廓特征，包括：根据所述终端的初始位置信息和初始姿态信息，从多个模拟建筑物轮廓特征中选择出一部分的模拟建筑物轮廓特征；将所述建筑物轮廓特征与所述一部分的模拟建筑物轮廓特征进行匹配；所述一部分的模拟建筑物轮廓特征中匹配程度最高的模拟建筑物轮廓特征作为与所述建筑物轮廓特征相匹配的模拟建筑物轮廓特征。
可以看到，本申请实施例充分利用了现有终端中的传感器(如定位模块，陀螺仪和磁力计)获得初始的位置信息和姿态信息，利用相机采集图片并提取建筑物轮廓特征，以初始的位置信息和姿态信息确定一小部分的模拟建筑物轮廓特征进行匹配，也即是说构建一个检索缓冲区，利用检索缓冲区减小了搜索范围，加快检索效率，实现鲁棒性的检索和相似度匹配。通过联合计算位置和姿态相似性，将相似性最高的采样点的位置和姿态作为终端的位置和姿态，实现在终端上实现6DOF定位。
基于第一方面，在可能的实施例中，所述将所述建筑物轮廓特征与所述一部分的模拟建筑物轮廓特征进行匹配，包括：计算建筑物轮廓特征的初始位置信息和初始姿态信息，和所述一部分的模拟建筑物轮廓特征中各个模拟建筑物轮廓特征对应的模型位置信息和模拟姿态信息的相似度；所述相似度最大的模拟建筑物轮廓特征作为所述匹配程度最高的模拟建筑物轮廓特征。
在一个示例中，本申请实施例在相似度匹配中可采用欧式距离作为相似度准则，用于测量图片的建筑物特征线与检索缓冲区中每个建筑物轮廓特征编码的相似程度，取相似度最高的位置和角度作为该终端的位置信息的姿态信息。具体的，可把和图片的建筑物特征线相似度最大的采样点坐标作为手机的位置信息，而姿态信息则由图片的建筑物特征线和在采样点编码相似度最高的角度确定。
通过联合计算位置和姿态相似性，将相似性最高的采样点的位置和姿态作为终端的位置和姿态，能够在终端上实现精确的6DOF定位，提升用户使用体验。
基于第一方面，在可能的实施例中，所述获取终端拍摄的图片中的建筑物轮廓特征，包括：对所述终端拍摄的图片进行特征提取，以获得所述图片中的建筑物轮廓特征。
基于第一方面，在可能的实施例中，所述对终端拍摄的图片进行特征提取，以获得所述图片中的建筑物轮廓特征，包括：对所述图片进行形态学处理，以消除非目标物体对所述建筑物轮廓特征的遮挡，获得经处理的图片；对所述经处理的图片进行建筑物语义提取，从而获得所述建筑物轮廓特征。
可以看出，本申请实施例中，在提取建筑物轮廓特征前，考虑到城市建筑物周围普遍存在绿化带、路标指示牌等非目标物体，可能会对感兴趣的建筑物目标造成遮挡，导致无法准确提取建筑物轮廓，因此，本申请实施例采用计算机视觉领域的闭运算操作，通过填补遮挡区域造成的空隙，消除遮挡问题。在建筑物轮廓线提取方面，本申请实施例利用深度学习的方式进行建筑物语义提取，实现建筑物轮廓线的精确提取，剔除非有效信息，辅助实现鲁邦的建筑物轮廓特征的提取。从而，为本申请高精度且完整地获得6DOF信息提供了坚实的基础。
基于第一方面，在可能的实施例中，所述获取多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息，包括：接收服务器发送的所述多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息。
也就是说，当本申请所描述的方法是通过终端和服务器的交互来共同实现时，终端可通过与服务器的交互通信来实现位置和姿态的联合定位,服务器执行建筑物轮廓特征库的构建并存储，并将建筑物轮廓特征库的所有信息或者建筑物轮廓特征库中的部分信息下载到终端，终端进而执行基于图片的室外建筑物轮廓特征的提取，匹配室外建筑物轮廓特征，以获得终端的6DOF信息。
基于第一方面，在可能的实施例中，所述获取多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息，包括：
获取三维模型(3D模型)，所述三维模型是根据多张卫星图像获得的，所述三维模型包括多个模拟建筑物；在所述三维模型中确定道路图层；在所述道路图层中确定多个采样点；分别在所述多个采样点中的每个采样点上，分别根据多种模拟位姿信息对所述多个模拟建筑物进行投影编码，获得所述多个模拟建筑物轮廓特征；每个模拟建筑物轮廓特征对应一种模拟位姿信息。
可以看到，本申请实施例通过对基于卫星图像的3D模型的模拟建筑物轮廓线进行提取和编码，能够低成本地、大规模地构建建筑物轮廓特征库。并且通过编码方式构建的建筑物轮廓特征库的数据量较小。实施本申请，只要在有建筑物的区域，即可提供6DOF定位服务。所以，相比于传统位姿获取方法(如手机自带的姿态检测硬件设备、大型专业姿态测量设备构建点云特征库等)，能够兼具高定位精度和低成本优势，节省人力物力财力和时间成本。
第二方面，本申请实施例提供了一种用于终端位姿确定的装置，其特征在于，包括：
第一获取模块，用于获取多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息，所述模拟建筑物轮廓特征是根据卫星图像获得的。第二获取模块，用于获取终端拍摄的图片中的建筑物轮廓特征。位姿确定模块，用于将所述多个模拟建筑物轮廓特征中，与所述建筑物轮廓特征匹配的模拟建筑物轮廓特征对应的模拟位姿信息确定为所述终端的位姿信息。
也就是说，所述装置可用于实现第一方面所描述的方法。
基于第二方面，在可能的实施例中，所述位姿确定模块用于：将建筑物轮廓特征与所述多个模拟建筑物轮廓特征进行匹配，获得所述多个模拟建筑物轮廓特征中与所述建筑物轮廓特征匹配的模拟建筑物轮廓特征。
基于第二方面，在可能的实施例中，所述位姿确定模块还用于：获取所述终端的初始位置信息和初始姿态信息，所述初始位置信息是通过终端中的传感器采集获得的；根据所述终端的初始位置信息和初始姿态信息，从多个模拟建筑物轮廓特征中选择出一部分的模拟建筑物轮廓特征；将所述建筑物轮廓特征与所述一部分的模拟建筑物轮廓特征进行匹配；所述一部分的模拟建筑物轮廓特征中匹配程度最高的模拟建筑物轮廓特征作为与所述建筑物轮廓特征相匹配的模拟建筑物轮廓特征。
基于第二方面，在可能的实施例中，所述位姿确定模块用于：计算建筑物轮廓特征的初始位置信息和初始姿态信息，和所述一部分的模拟建筑物轮廓特征中各个模拟建筑物轮廓特征对应的模型位置信息和模拟姿态信息的相似度；所述相似度最大的模拟建筑物轮廓特征作为所述匹配程度最高的模拟建筑物轮廓特征。
基于第二方面，在可能的实施例中，所述第二获取模块用于：
对所述终端拍摄的图片进行特征提取，以获得所述图片中的建筑物轮廓特征。
基于第二方面，在可能的实施例中，所述第二获取模块用于：对所述图片进行形态学处理，以消除非目标物体对所述建筑物轮廓特征的遮挡，获得经处理的图片；对所述经处理的图片进行建筑物语义提取，从而获得所述建筑物轮廓特征。
基于第二方面，在可能的实施例中，所述第一获取模块用于：接收服务器发送的所述多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息。
基于第二方面，在可能的实施例中，所述第一获取模块用于：获取三维模型，所述三维模型是根据多张卫星图像获得的，所述三维模型包括多个模拟建筑物；在所述三维模型中确定道路图层；在所述道路图层中确定多个采样点；分别在所述多个采样点中的每个采样点上，分别根据多种模拟位姿信息对所述多个模拟建筑物进行投影编码，获得所述多个模拟建筑物轮廓特征；每个模拟建筑物轮廓特征对应一种模拟位姿信息。
第三方面，本发明实施例提供了又一种装置，该装置包括：存储器、通信模块及处理器；所述存储器用于存储指令，所述处理器用于执行所述指令，在一些实现中，该装置为终端，所述通信模块用于在所述处理器的控制下与其他设备(例如服务器)或者与定位卫星进行通信。所述处理器执行所述指令时执行如第一方面任意实施例所描述的方法步骤。
第四方面，本发明实施例提供了又一种装置，该装置包括：存储器、通信接口及处理器；所述存储器用于存储指令，所述处理器用于执行所述指令，在一些实现中，该装置为服务器，所述通信接口用于在所述处理器的控制下与其他设备(例如终端)进行通信。所述处理器执行所述指令时执行如第一方面任意实施例所描述的方法步骤。
第五方面，本发明实施例提供了一种存储计算机指令的可读非易失性存储介质，该可读非易失性存储介质包括计算机指令，其中：所述计算机指令被执行以实现第一方面描述的方法。
第六方面，本发明实施例提供了一种计算机程序产品，当计算机程序产品运行于计算机时，被执行以实现第一方面描述的方法。
可以看到，本申请实施例主要从两大方面来实现低成本、高精确地获得终端的6DOF信息。一方面是本申请实施例提供了低成本的数据源，本申请的数据源为卫星图像构建的3D模型。基于3D模型，提取有效信息构建建筑物轮廓特征库，供6DOF定位调用。另一方面是本申请能提供了完整而精确的位置信息和姿态信息，为解决卫星图像俯视视角与终端图片平视视角难以正确匹配的问题，本申请通过提取图片中的建筑轮廓线来与建筑物轮廓特征库进行匹配，从而获得高精度的位置和角度信息，从而能为后续的AR/VR应用服务提供完整位置信息和姿态信息(即6DOF信息)，提升应用服务的用户体验。
附图说明
图1是本申请实施例提供的一种系统架构示意图；
图2是本申请实施例提供的一种终端与服务器交互场景中终端的架构示意图、服务器的架构示意图以及两者形成的系统的示意图。
图3是本申请实施例提供的一种终端姿态确定方法的流程示意图；
图4是本申请实施例提供的又一种终端姿态确定方法的流程示意图；
图5是本申请实施例提供的一种场景实现流程示意图；
图6是本申请实施例提供的一种场景实现示意图；
图7是本申请实施例提供的又一种终端姿态确定方法的流程示意图；
图8是本申请实施例提供的一种关于手机姿态角的场景实现示意图；
图9是本申请实施例提供的一种场景实现示意图；
图10是本申请实施例提供的一些实际应用场景的示意图；
图11是本申请实施例提供的一些实际应用场景的示意图；
图12是本申请实施例提供的又一种终端姿态确定方法的流程示意图；
图13是本申请实施例提供的一种场景实现示意图；
图14是本申请实施例提供的一种终端的结构示意图；
图15是本申请实施例提供的一种服务器的结构示意图；
图16是本申请实施例提供的一种装置的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
本文中，所谓“终端的位姿”或“终端的位姿信息”均表示终端的位置信息和姿态信息，亦即终端的6DOF信息。为了实现低成本、高精确地获得终端的6DOF信息，本申请各实施例提供了终端位姿确定方法，本申请所述方法中，一方面可构建建筑物轮廓特征库，又一方面可提取图片中实际的室外建筑物轮廓特征，再一方面基于建筑物轮廓特征库和室外建筑物轮廓特征实现对终端的位置和姿态的联合定位，获得终端的6DOF信息。
本申请实施例描述的终端位姿确定方法的执行主体可以是终端，也可以是服务器。此外，还可以是通过终端和服务器的交互来共同实现该方法。
其中，终端可以是手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(MID,mobile internet device)、可穿戴设备(如智能手环、智能手表等)、专门的AR设备、专门的VR设备、摄像设备(例如录像机、智能相机、数码相机、摄影机等)或者其他需要获取6DOF信息的设备。在一些示例中，该终端可以具有摄像头、卫星定位模块和惯性传感器装置。
服务器可以是独立的服务器，还可以是云平台、数据中心、或服务器集群中的服务器。服务器的类型例如是可以是数据库服务器、应用服务器、通用服务器、专用服务器，等等。
当本申请所描述的方法由终端单独执行时，一种实现中，终端可执行建筑物轮廓特征库的构建、基于图片的室外建筑物轮廓特征的提取、室外建筑物轮廓特征和建筑物轮廓特征库的匹配以获得终端的6DOF信息等过程的方法。又一种实现中，终端可预先获得可建筑物轮廓特征库并保存在本地，终端可执行基于图片的室外建筑物轮廓特征的提取、匹配室外建筑物轮廓特征和建筑物轮廓特征库以获得终端的6DOF信息等过程的方法(可称为客户端离线模式)。
当本申请所描述的方法由服务器单独执行时，服务器可执行建筑物轮廓特征库的构建、基于图片的室外建筑物轮廓特征的提取、匹配室外建筑物轮廓特征和建筑物轮廓特征库以获得终端的6DOF信息等过程的方法(可称为服务器离线模式)。
当本申请所描述的方法是通过终端和服务器的交互来共同实现时，如图1所示出的终端与服务器进行交互的系统架构，终端可通过与服务器的交互通信来实现位置和姿态的联合定位,获得6DOF信息(又可称为客户端-服务器模式)。
在一种实现中，服务器执行建筑物轮廓特征库的构建并存储，并将建筑物轮廓特征库的所有数据或者建筑物轮廓特征库中的部分数据(如后面描述的检索缓冲区的数据)下载到终端，终端执行基于图片的室外建筑物轮廓特征的提取、匹配室外建筑物轮廓特征和建筑物轮廓特征库以获得终端的6DOF信息等过程的方法。
在又一种实现中，服务器可预先执行建筑物轮廓特征库的构建，终端将图片发给服务器后，服务器执行基于图片的室外建筑物轮廓特征的提取和匹配室外建筑物轮廓特征和建筑物轮廓特征库以获得终端的6DOF信息，并将6DOF信息发送给所需终端。
参见图2，图2示例性给出了在一种终端与服务器交互场景中终端的架构示意图、服务器的架构示意图以及两者形成的系统。
如图2所示，终端可包括硬件抽象层、硬件抽象层数据接口、框架层以及上层的应用层。
本申请实施例可在终端的操作系统的框架层部署建筑物轮廓提取模块3和6DOF确定模块4，可选的，还包括图像校正模块2、初始位姿模块1。这些模块例如以定位应用的二进制软件包形式存在，作为系统服务，通过应用程序编程接口(Application ProgrammingInterface,API)供应用层服务使用。此外，终端中还配置有数据库5，用于保存来自服务器的模拟建筑物轮廓特征信息。终端的相关描述如下：
硬件抽象层：例如包括内置的卫星定位模块(如GPS定位、GLONASS定位、伽利略定位、北斗定位等模块)、磁力计、陀螺仪、相机、芯片等硬件，这些硬件对应的驱动和数据读写通过硬件抽象层数据接口，按照标准系统接口与上层定位应用服务程序(例如AR/VR应用等)进行数据和控制的交互。
硬件抽象层数据接口：可从终端操作系统的硬件抽象层的标准的API接口获取信息，如传感器测量的信息(如磁力计参数、陀螺仪参数等)，卫星定位信息，以及相机采集的图片数据等。
初始位姿模块1：用于获取终端初始的位置信息和初始的姿态信息，初始的位置信息由硬件抽象层中的卫星定位模块提供，初始的姿态信息由硬件抽象层中的磁力计和陀螺仪联合提供。具体实现中，磁力计估算的绝对方向和陀螺仪估算的相对方向可通过滤波模块结合起来，从而剔除噪声获得相对稳定的姿态信息。
图片校正模块2：由于从硬件抽象层获取图片数据可以是从任意角度拍摄的，可能无法与数据库5中的模拟建筑物轮廓特征成统一视角，因此，图片校正模块2用于根据从初始位姿模块1获取的姿态信息来构造旋转矩阵，进而将图片数据还原到与模拟建筑物轮廓特征对应的观测视角，以进行后续6DOF确定模块4中的相似度匹配操作。
建筑物轮廓提取模块3：该模块可用于对相机采集的图片或者由其他设备发至本终端的图片进行建筑物轮廓特征(或称建筑物轮廓线特征，或称建筑物轮廓线，或称建筑物轮廓信息)的提取，主要处理过程例如包括基于深度学习的建筑物语义提取、几何直线提取、以及融合语义和几何信息的建筑物轮廓线提取和优化等，该模块可避免遮挡和恶劣天气情况的干扰，输出完整的建筑物轮廓特征。
6DOF确定模块4：该模块可用于检索图片的建筑物轮廓线在数据库5中的多个模拟建筑物轮廓特征中最相近的采样点，来获得6DOF信息。其主要处理过程包括初始位置和姿态估计、相似度匹配、将其中相似度最高的采样点作为最终匹配点、输出6DOF信息等。
数据库6：用于保存多个建筑物轮廓特征编码，每个建筑物轮廓特征编码的内容包括编码唯一名称、模拟建筑物轮廓特征(或称建筑物轮廓线特征，或称建筑物轮廓线，或称建筑物轮廓信息)、对应的经纬度地址(位置信息)、对应的姿态信息等。，该多个模拟建筑物轮廓特征是由服务器生成并发送至终端保存的。该多个模拟建筑物轮廓特征可以是服务器根据卫星图像所构建的3D模型对应的所有的模拟建筑物轮廓特征，例如，城市范围数量级或区域范围数量级的模拟建筑物轮廓特征；也可以是所述3D模型对应的模拟建筑物轮廓特征中的一部分模拟建筑物轮廓特征，例如，基于终端的初始的位置信息和初始的姿态信息的预设范围数量级的模拟建筑物轮廓特征。在一些示例中，数据库6中所保存的数据和服务器中的建筑物轮廓特征库7所保存的数据一致，即服务器可将建筑物轮廓特征库7中的所有建筑物轮廓特征编码发给终端，并保存在终端的数据库6。在又一些示例中，数据库6中所保存的数据为服务器中的建筑物轮廓特征库7所保存的数据中的一部分数据，即服务器可将建筑物轮廓特征库7中的一部分的建筑物轮廓特征编码发给终端，并保存在终端的数据库6。
应用层：用于提供各种应用程序，例如各类AR/VR应用服务，包括专用定位软件、各类电商购物应用、各类社交通讯应用软件、各类用车应用软件、O2O上门服务应用软件、展馆自助游应用、家人防走散应用软件、紧急救援服务软件、影音娱乐软件、游戏软件等提供精准定位位置信息的应用，典型应用场景例如AR导航等。
如图2所示，服务器可包括模拟建筑物轮廓特征构建模块6和建筑物轮廓特征库7，描述如下：
模拟建筑物轮廓特征构建模块6：该模块可用于从庞大的3D模型中提取有效信息，例如对3D模型进行简洁高效的特征编码。可选的，当没有直接可用的3D模型时，还可用于根据卫星图像(或称卫星地图)构建3D模型。模拟建筑物轮廓特征构建模块6主要处理过程包括：采样点采样、建筑物圆柱投影、建筑物轮廓编码的获得等，建筑物轮廓特征编码的内容包括编码唯一名称、模拟建筑物轮廓特征、对应的经纬度地址(位置信息)、对应的姿态信息等。
建筑物轮廓特征库7：用于保存来自于模拟建筑物轮廓特征构建模块6的建筑物轮廓特征编码，例如城市范围数量级或区域范围数量级的模拟建筑物轮廓特征。本申请不对地理范围数量级做限定。
需要说明的是，图2仅用于示例性解释本申请可能的实现方案。在实际应用中，图2还可包括更多或更少的功能模块，更多或更少的硬件部件。或者，基于本申请实施例的技术思想/技术方案还可以在其他形式的终端架构和服务器架构中实现，本申请不做具体限定。
对于下文描述的各方法实施例，为了方便起见，将其都表述为一系列的动作步骤的组合，但是本领域技术人员应该知悉，本申请技术方案的具体实现并不受所描述的一系列的动作步骤的顺序的限制。
参见图3，图3为本申请实施例提供的终端姿态确定方法的流程示意图，该方法可应用于终端或服务器，该方法包括但不限于以下步骤：
S11、获取多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息。
在一种实现中，当本方法的执行主体是终端时，终端可以通过预先获得建筑物轮廓特征库的相关数据，建筑物轮廓特征库中的相关数据可包括多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息。例如，终端可以接收服务器发送的建筑物轮廓特征库，并将建筑物轮廓特征库中的相关数据保存在本地(例如保存在终端的数据库中)。此外，终端还可以通过其它方式获得(例如通过U盘获得，或者其他设备发送)建筑物轮廓特征库中的相关数据。这样，当终端需要执行本申请实施例提供的终端姿态确定方法时，从本地获取所述多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息。
在又一种实现中，当本方法的执行主体是终端时，终端可以通过在线的方式实时获得建筑物轮廓特征库的相关数据，建筑物轮廓特征库中的相关数据可包括多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息。例如，当终端需要执行本申请实施例提供的终端姿态确定方法时，请求服务器发送该建筑物轮廓特征库，从而获得所述多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息。
在又一种实现中，当本方法的执行主体是服务器时，服务器可以预先构建建筑物轮廓特征库，建筑物轮廓特征库中的相关数据可包括多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息。当服务器收到终端发送的图片(或者图片及终端的初始位姿信息)以及6DOF服务请求时，从本地获取所述多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息。
其中，模拟建筑物轮廓特征是基于卫星图像的3D模型而获得的。基于卫星图像的3D模型是一种高度抽象的简易模型，使用线框表示城市中的建筑物信息，3D模型中存在大量的线特征，比如建筑物轮廓线，城市景观轮廓线，道路轮廓线等，可以为终端图片的匹配提供基础。通常来说，城市景观轮廓线易变、道路轮廓线遮挡严重，只有建筑物轮廓线最为稳定。因此本申请实施例采用3D模型提取建筑物轮廓特征(建筑物轮廓特征例如为建筑物轮廓线)，从而构建建筑物轮廓特征库。
本文中，根据3D模型提取的建筑物轮廓特征又可称为模拟建筑物轮廓特征。
另外，本文中如不做另加说明时，所谓的“建筑物轮廓特征”可以具体指“建筑物轮廓线”。
S12、获取终端拍摄的图片中的建筑物轮廓特征。
在一种实现中，当本方法的执行主体是终端时，执行本申请方法的终端和拍摄图片的终端可以是同一个终端。
在又一种实现中，当本方法的执行主体是终端时，执行本申请方法的终端和拍摄图片的终端也可以不是同一个终端。比如，可以是一个终端辅助另一个终端实现本申请实施例所描述的6DOF定位。
在又一种实现中，当本方法的执行主体是终端时，终端可对图片进行特征提取，从而获得图片中建筑物的建筑物轮廓特征。
在又一种实现中，当本方法的执行主体是服务器时，服务器可对终端提供的图片进行特征提取，从而获得图片中建筑物的建筑物轮廓特征。
S13、将建筑物轮廓特征与多个模拟建筑物轮廓特征进行匹配，获得多个模拟建筑物轮廓特征中与建筑物轮廓特征匹配的模拟建筑物轮廓特征。
本申请实施例中，图片的建筑物轮廓特征和建筑物轮廓特征库中多个模拟建筑物轮廓特征均为二维编码数据，两者具有可匹配性。
具体的，当本方法的执行主体是终端或服务器时，终端或服务器将建筑物轮廓特征与所述多个模拟建筑物轮廓特征进行相似度匹配处理，从而获得所述多个模拟建筑物轮廓特征中与所述建筑物轮廓特征匹配的模拟建筑物轮廓特征。比如，将多个模拟建筑物轮廓特征中，与图片的建筑物轮廓特征相似度最高的作为所述“与建筑物轮廓特征匹配的模拟建筑物轮廓特征”。
S14、将匹配的模拟建筑物轮廓特征对应的模拟位姿信息确定为拍摄该图像的终端的位姿信息。
模拟建筑物轮廓特征对应的模拟位姿信息包括模拟位置信息和模拟姿态信息，模拟位置信息表示基于卫星地图的3D模型中特定位置点(如后文描述的采样点)的具体的经纬度信息，模拟姿态信息包括在基于卫星地图的3D模型中特定位置点(如后文描述的采样点)进行建筑物轮廓特征采集时的姿态信息。该模拟位置信息和模拟姿态信息具有较高的精度。模拟位置信息和模拟姿态信息与模拟建筑物轮廓特征相绑定保存在建筑物轮廓特征库中。
将匹配的模拟建筑物轮廓特征对应的模拟位姿信息确定为拍摄该图像的终端的位姿信息，即为将匹配的模拟建筑物轮廓特征对应的模拟位置信息作为拍摄该图像的终端的位置信息，将匹配的模拟建筑物轮廓特征对应的模拟姿态信息作为拍摄该图像的终端的姿态信息，即实现了终端实时获得高精度且完整地获得6DOF信息。
可以看到，本申请实施例主要从两大方面来实现低成本、高精确地获得终端的6DOF信息。一方面是本申请实施例提供了低成本的数据源，本申请的数据源为卫星图像构建的3D模型。基于3D模型，提取有效信息构建建筑物轮廓特征库，供6DOF定位调用。另一方面是本申请能提供了完整而精确的位置信息和姿态信息，为解决卫星图像俯视视角与终端图片平视视角难以正确匹配的问题，本申请通过提取图片中的建筑轮廓线来与建筑物轮廓特征库进行匹配，从而获得高精度的位置和角度信息，从而能为后续的AR/VR应用服务提供完整位置信息和姿态信息(即6DOF信息)，提升应用服务的用户体验。
下面进一步对上述S11的实现过程展开描述。共同参见图4和图5，在一种实施例中，获取多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息的过程可包括不限于以下步骤：
S111、根据卫星图像(Satellite Image)获得3D模型(3D Model，即三维模型)。
举例来说，可获取某地区的WorldView-03卫星图像，星下地面分辨率是0.35m，通过使用了多张(例如三张)不同视角的卫星图像，可组成立体像对，进而根据立体像对构建3D模型。如图5中的(1)为一种卫星图像的示意图，图5中的(2)为基于多张卫星图像生成的3D模型图的一部分的内容的示意图。
由于卫星图像覆盖面积大，可用于快速生成大规模城市级或区域级的3D模型数据，相比与传统的3D点云特征库而言，基于卫星图像构建的3D模型能够极大程度降低模型构建成本。
需要说明的是，3D模型的地域范围级别还可以是数百米范围、数公里范围等，这里不做限定。
另外，在一些实现中，本步骤S111是可选的，也就是本申请实施例的输入数据可以直接为基于卫星地图所构建的3D模型。
S112、在3D模型中确定道路图层。
在一种示例中，可首先识别3D模型的底部区域作为地面，把所有3D建筑物占有以外的区域识别为道路。例如，使用3D模型地面平面估计的方法识别出其中的道路图层。然后，利用深度学习的方法识别出花坛、草坪、池塘等非道路区域，并从道路图层上剔除，由此得到完整的道路图层。
S113、在道路图层中确定多个候选的采样点。
为了充分模拟城市中不同的地点位置，可将道路图层中的多个位置点定义为候选的采样点，记录每个采样点的唯一编号和经纬度坐标。例如，可以在道路图层上以3米间隔网格采样(Grid modeling)，得到采样点图层，如图5中的(3)所示。
S114、分别在每个候选的采样点上进行圆柱投影(Cylindrical projection)编码，从而获得多个模拟建筑物轮廓特征以及各个模拟建筑物轮廓特征对应的模拟位姿信息。
由于基于卫星图像的3D模型中存在大量的线特征，比如建筑物轮廓线、城市景观轮廓线、道路轮廓线等，可以为终端的图片的匹配提供特征库基础。然而城市景观易变，道路遮挡严重，只有建筑物轮廓线最为稳定。
因此，本申请实施例可在不同的采样点上以不同的姿态(角度)提取3D模型中的建筑物轮廓线，所述3D模型中的建筑物轮廓线又可称为模拟建筑物轮廓特征，采样点的经纬度坐标即为模拟建筑物轮廓特征对应的位置信息，采样点的采样姿态(采样角度)即为模拟建筑物轮廓特征对应的姿态信息。进而可基于大量的模拟建筑物轮廓特征、以及分别对应的位置信息和姿态信息来构建建筑物轮廓特征库。
在一具体实现中，对于道路图层的每个候选采样点，以采样点为中心，建立圆柱投影面，进而生成3D模型的360度的建筑物轮廓线编码。
举例来说，以每一个采样点为中心建立半径为1m的360度的虚拟圆柱投影面，以透视投影方式将周围的三维建筑物投影到此圆柱投影面上。图5中的(4)中描述了以一个采样点为中心进行建筑物编码的过程。图5中的(4)中的圆柱体表示投影面，周围建筑物的轮廓线可按照投影成像的方式投影到此圆柱面上，形成一段曲线。
进一步参见图5中的(5)，将圆柱投影面展开后，形成横坐标为0-360度，纵坐标为建筑物轮廓线的二维线特征编码图。其中0度代表北方向，顺时针表示与北方向的夹角。由于圆柱投影具有近大远小的特性，同一建筑在不同采样点的编码特征上会表现出斜率不同，编码角度不同，编码高度不同等现象。各采样点对应的斜率、编码角度、编码高度即表示了各采样点的姿态信息。
本文中，采样点的位置信息又可称为模拟位置信息，采样点的姿态信息又可称为模拟姿态信息，或者说，采样点的位姿信息又可称为模拟位姿信息。
此外，为了还原遮挡关系，在进行投影时还可假设一条射线从采样点射出，只记录该射线与建筑物的第一个交点，后续的交点被认为遮挡而剔除。这样，可将所有采样点的建筑物轮廓线以及对应的位置信息和姿态信息共同保存到建筑物轮廓特征库。
下面以图6为例进一步解释圆柱投影编码，图6展示了不同采样点处的建筑物轮廓编码图，右图的编码分别为从A、B、C三个点进行圆柱投影得到的建筑物轮廓编码。编码以北方向为0角度，顺时针为正表示建筑物出现的角度和投影所在的高度。A点相比于B点距离建筑物P1更近，距离建筑物P2更远，因此P1的编码在A点更大且高，P2的编码在A点更小且矮。同时建筑物出现的角度也有差异，A点处建筑物P1的编码比B点处提前出现，建筑物P2比B点滞后出现。同理，C点比A点距离建筑物P1更远，距离建筑物P2更近，因此，建筑物P1的编码在C点比A点小且矮，建筑物P2的编码大且高，而在角度方面，C和A看到建筑物P1的初始视角相似，所以几乎同时出现，而看到P1的右侧视角不一样，因此形成了编码角度的差异。
需要说明的是，在可能的实现方式中，本申请实施例也可以在采样点采用其他的方式(而非圆柱投影的方式)进行投影编码，例如使用鱼眼投影方式进行投影编码。从而，也能获得多个模拟建筑物轮廓特征以及各个模拟建筑物轮廓特征对应的模拟位姿信息。
可以看到，本申请实施例提供了基于卫星图像的3D模型库的6DOF定位方法，通过对3D模型的模拟建筑物轮廓线进行提取和编码，能够低成本地、大规模地构建建筑物轮廓特征库。并且通过编码方式构建的建筑物轮廓特征库的数据量较小。实施本申请，只要在有建筑物的区域，即可提供6DOF定位服务。所以，相比于传统位姿获取方法(如手机自带的姿态检测硬件设备、大型专业姿态测量设备构建点云特征库等)，能够兼具高定位精度和低成本优势，节省人力物力财力和时间成本。例如相比于现有的点云特征库采集方案，将成本从数千万缩短到几十万，将建模时间从几个月建模周期缩短到几周，将数据量从PB级缩小到GB级，极大降低人力和物力和时间成本。
另外，随着城市化进程的加速，5G网络和高性能移动设备的发展，城市导航和城市VR/AR的需求急速增加，而建筑物为城市最显著的特征；而城市建筑物属于建成区，通常不会发生显著的变化，选择建筑物作为获取终端位置和姿态的参考物具有显著的现实意义。因此通过构建建筑物轮廓特征库的方案具有较为实用的价值和广阔应用前景。
下面进一步对前述S12的实现过程展开描述。参见图7，在一种实施例中，获取终端拍摄的图片中的建筑物轮廓特征的过程可包括不限于以下步骤：
S121、对终端拍摄的图片进行校正操作。
为了使终端在任意角度拍摄的图片均能用于定位，需对图片进行预处理，即图片校正操作。图片校正的目的是将任意角度拍摄的图片恢复到航偏角为0度，滚转角为90的情况，以变换到和3D模型的建筑物轮廓线(即模拟建筑物轮廓特征)中的编码统一的姿视角，以便于后续顺利实施轮廓线提取和特征匹配。
以终端为手机为例，手机的姿态角定义如图8所示，由俯仰角(pitch),航偏角(yaw),滚转角(roll)三个角度构成。图8中，手机正视图和手机鸟瞰图是分别从不同角度观察手机的示例，以手机短轴向右表示x轴，长轴向上表示y轴，垂直于屏幕指向用户方向表示z轴，其中俯仰角表示绕x轴旋转，航偏标表示绕z旋转，滚转角表示绕y轴旋转。该部分的角度定义为公知的方法。这里不作详细展开。
比如，当需要把从任意视角拍摄的图片转换到航偏角为0度，滚转角为90时，只需按照透视投影的规则，计算按照相应投影矩阵到成像面的图像像素坐标。从像平面坐标系到世界坐标系的投影公式如公式(1)所示：
其中X，Y，Z表示世界坐标系中的坐标，x，y表示X，Y，Z在像平面坐标系中的成像坐标，f表示焦距，cx，cy表示像主点，t为平移矩阵。
其中R表示旋转矩阵，可由上述三个姿态角构建，如公式(2)所示：
由于进行图像校正时，世界坐标不变，相机内参不变，平移矩阵不变，只有姿态角的变化上，因此，使用陀螺仪和磁力计计算出手机的姿态角后，转换到航偏角为0度，滚转角为90度时，得到的像平面坐标可以利用公式(3)实现：
需要说明的是，在一些实现中，S121是可选的步骤。
S122、对图片进行形态学处理。
在一些实施例中，可对经步骤S11处理的图像进一步进行形态学处理。
在本申请实施例中，通过3D模型构建的建筑物轮廓线特征库是基于3D建筑物投影得到的完整建筑物轮廓线，没有受到城市绿化、城市景观等非目标物体等非目标物体的遮挡。
而在真实环境中，建筑物通常被其周围的城市绿化、城市景观等非目标物体遮挡，对提取完整的建筑轮廓直线提出了更严峻的挑战。为了实现建筑物轮廓线的匹配，本申请实施例中，需要在终端拍摄的图片上剔除非目标物体的遮挡，以便于后续提取完整的建筑物轮廓线，实现与建筑物轮廓线特征库的精确匹配。
在真实环境中，诸如树木、标志牌、路灯、电线杠等城市绿化/城市景观等在图片中会延伸到建筑物的天际线之外，对建筑物轮廓边缘造成了遮挡，干扰建筑物轮廓的形状。本申请实施例使用形态学操作闭运算来消除遮挡问题，以避免树木等可能会对后续的直线提取所产生影响。
具体的，形态学操作闭运算通过先膨胀再腐蚀的操作，将图片像素灰度值暗的区域变亮。如图9所示，图9描述了形态学闭运算的流程和预计实现的效果，闭运算主要包括膨胀运算和腐蚀运算两部分。图9用上述像素格示意图表示目标图像，白色区域代表背景区域，灰色区域代表建筑物，断裂的地方表示遮挡物体。膨胀和腐蚀运算构建结构元素算子依次和目标图像进行卷积操作。膨胀运算将目标像素的值替换成卷积覆盖区域的局部最大值，扩展了明亮区域，达成多个连通区域。而腐蚀与之相反，计算卷积核覆盖范围内的局部最小值，缩减了明亮区域，消除小的斑点。这样，使得出现在天际线之外(即天空中)的树枝等物体变得明亮，达成遮挡剔除的目的。
下面以一个实际应用场景为例来直观呈现闭运算的处理效果。如图10所示，图10中通过比对呈现了在实例中将遮挡的树枝变亮从而实现剔除遮挡的效果。其中，图10中的(a)和(b)为两个原始图片，图10中的(c)和(d)为分别对这两个原始图片进行闭运算处理之后的结果。通过比对可以看到，图10中的(a)中的树枝在图10中(c)中已经消除，露出了完整的建筑物轮廓。图10中的(b)中的树枝在图10中(d)中也被消除，露出了建筑物轮廓。
S123、对图片进行建筑物语义提取，从而获得建筑物轮廓线。
在一些应用场景中，可能即使剔除树木遮挡，依然无法排除建筑物内部和地面的杂线影响，因此本申请实施例可通过提取建筑物语义信息，实现完整地识别建筑物，同时保持建筑物边缘平滑完整，进而辅助后续建筑物轮廓线的提取。
建筑物语义信息提取本质上是一个分割问题，即分割建筑物与天空的边界线。本申请实施例可通过深度学习的方法实现提取建筑物语义信息。深度学习方法可用于自然影像的分类与分割任务，其多层嵌套的链式结构理论上能够模拟任意函数，具有强大的拟合能力。而在面向分割任务的深度网络中，例如可选择deeplab-v3网络，其中ResNet网络结构能够通过跳过连接(skip connection)，在实现超深层网络训练的同时避免了梯度消失或梯度爆炸，同时其先进的阿托罗斯卷积(atrous convolution)操作能够增大感受野，避免过度降低影像分辨率和丢失空间上下文信息。另外，其采用的空洞空间金字塔池化(ASPP)结构能够有效提取多尺度的线特征，为建筑物轮廓线提取提供更加坚实的理论基础。
下面以一个实际应用场景为例来直观呈现建筑物语义提取的处理效果。如图11所示，图11中的(a)和(b)描述了传统轮廓线提取算法对两张图片的结果。图11中的(c)和(d)为本申请实施例通过深度学习语义分割的方法对两张图片的处理结果。图11中的(e)和(f)为本申请实施例建筑物轮廓线提取的结果。
传统轮廓线提取算法通常采用lsd直线提取算法，然而该算法应用到实际中无法区分建筑物和其他对象的直线，导致提取出众多杂乱无章的线段信息。
而本申请实施例通过深度学习语义分割的方法对两张图片的处理后，能够较好提取出完整的建筑物和建筑物轮廓线，如图11中的(e)和(f)中的黑色加粗线条表示所提取的建筑物轮廓线。
下面结合步骤S122和S123论述建筑物轮廓线的提取过程，本申请实施例通过对终端所拍摄的图片先进行闭运算去除障碍物的遮挡，然后运用深度学习语义分割，在语义分割结果图中识别天空和建筑物的边界(即建筑物的语义分割线)，以边界为约束条件，剔除非天空和建筑物交界处的其他线段。例如，可使用LSD直线提取算法快速提取图片中的线段特征。然后，计算每条线段与语义分割线的距离，超过阈值的则视为干扰线段而剔除。由于LSD会提取重复的短线端，因此进行距离聚类并提取同类中最长的线段。然后，对保留下的直线段，沿着建筑物的边界(即建筑物的语义分割线)梯度方向进行延伸，保留形状和梯度信息，直到延长到建筑物范围外。最后，把各条延长的线段首尾相连，形成完整的建筑物轮廓线。
可以看出，本申请实施例中，在提取建筑物轮廓特征前，考虑到城市建筑物周围普遍存在绿化带、路标指示牌等城市基建，可能会对感兴趣的建筑物目标造成遮挡，导致无法准确提取建筑物轮廓，因此，本申请实施例采用计算机视觉领域的闭运算操作，通过填补遮挡区域造成的空隙，消除遮挡问题。在建筑物轮廓线提取方面，本申请实施例利用深度学习强大的目标识别能力，实现建筑物轮廓线的精确提取，剔除非有效信息，辅助实现鲁邦的建筑物轮廓特征的提取。从而，为本申请高精度且完整地获得6DOF信息提供了坚实的基础。
下面进一步对上述S13的实现过程展开描述。参见图12，在一种实施例中，将建筑物轮廓特征与多个模拟建筑物轮廓特征进行匹配以获得多个模拟建筑物轮廓特征中与建筑物轮廓特征匹配的模拟建筑物轮廓特征的过程可包括不限于以下步骤：
S131、获取终端的初始位置信息和姿态信息。
本申请实施例中，通过前述图4实施例所构建的建筑物轮廓特征库可能包含大量的建筑物轮廓编码，例如城市级规模的建筑物轮廓特征库中数据数量庞大。为了提高后续对这些建筑物轮廓编码的搜索效率，降低障碍物轮廓特征的匹配耗时，可利用终端传感器获取初始的位置信息和姿态信息，以便于后续基于初始的位置信息和姿态信息建立搜索缓冲区。
S132、根据初始位置信息和姿态信息确定检索缓冲区，检索缓冲区包括多个模拟建筑物轮廓特征。
本申请实施例中，基于初始的位置信息和姿态信息建立检索缓冲区，检索缓冲区包括建筑物轮廓特征库中的一部分的建筑物轮廓特征编码。即只需要对建筑物轮廓特征库中的一部分编码数据进行检索。
举例来说，可根据终端中的定位模块，如全球定位系统(Global PositioningSystem，GPS)定位模块、格洛纳斯(GLONASS)定位模块、伽利略卫星导航系统(Galileosatellite navigation system)定位模块、北斗定位模块等，定位确定终端的初始位置(即精确粗糙的经纬度信息)。另外，可根据终端中的陀螺仪和磁力计联合确定终端的初始姿态(即精确粗糙的姿态信息)。然后，可以初始位置为圆心，在预设范围内(例如，半径为30米)构建一个圆形缓冲区，把圆形缓冲区内的采样点作为待匹配点。在该圆形缓冲区中，以姿态估计值范围内(例如正负15度)构造初始检索角度(即角度缓冲区)。
具体的，由前文图7实施例描述可知，图片经图片校正后，已变换到航偏角为0度，滚转角为90度的情况，只需计算准确的俯仰角即可获得姿态信息。俯仰角信息的获取是通过计算图片建筑物轮廓线和编码中的对应片段的角度得到。不同终端的摄像头对应不同的视场角度，例如视场角可以为70度。因此，获取的图片中的建筑物轮廓线编码为70度。后续可以70度为匹配长度，以0.2度为步长依次匹配图片的建筑物轮廓线和特征库编码的欧式距离相似度，记录相似度最高的角度作为俯仰角。为了避免特征编码上不同角度相似的建筑物轮廓线产生干扰，以陀螺仪和磁力计估算的俯仰角作为初始俯仰角，构建正负15度的俯仰角检索缓冲区，这样，在排除干扰的同时，也提高了检索效率。
S133、将图片提取的建筑物轮廓特征与检索缓冲区中的多个模拟建筑物轮廓特征进行相似度匹配，获得终端的位置信息和姿态信息。
具体的，可遍历检索缓冲区内的待匹配点以及待匹配点的各种待匹配点角度，从中确定与图片提取的建筑物轮廓特征的相似度最高的模拟建筑物轮廓特征，该模拟建筑物轮廓特征对应的采样点的位置信息(模拟位置信息)作为终端的位置信息，该模拟建筑物轮廓特征对应的采样点的姿态信息(模拟姿态信息)作为终端的姿态信息。
在一个示例中，本申请实施例在相似度匹配中可采用欧式距离作为相似度准则，用于测量图片的建筑物特征线与检索缓冲区中每个建筑物轮廓特征编码的相似程度，取相似度最高的位置和角度作为该终端的位置信息的姿态信息。具体的，可把和图片的建筑物特征线相似度最大的采样点坐标作为手机的位置信息，而姿态信息则由图片的建筑物特征线和在采样点编码相似度最高的角度确定。建筑物轮廓特征库中的每个采样点代表360度建筑物轮廓线编码(0度为正北方向，顺时针方向指示方向和正北方向的夹角)，而终端的图片的建筑物轮廓线只包括一段角度区间，该区间大小由终端的视场角决定。示例性地，以0.5度为步长迭代计算图片的建筑物轮廓线和检索缓冲区中的建筑物轮廓特征编码的每一段的欧式距离，取其中相似度最高的角度作为图像的方向。相似度测度由位置相似度和角度相似度联合确定。示例性地，相似性测度使用如下公式(4)计算：
其中，X，Y分别代表终端图片的建筑物特征编码与检索缓冲区中的建筑物轮廓特征编码，xi和yi分别代表建筑物轮廓特征编码中的各个分量，n表示一个建筑物轮廓特征编码中总的分量数量。
以图14所示场景为例，可根据终端的初始位置构建半径为30米的检索缓冲区，检索缓冲区内的所有采样点作为待匹配点参与匹配，另外，根据终端的传感器检测的角度构建角度缓冲区，以0.2°为步长，将图片的建筑物特征编码与检索缓冲区中的待匹配点的建筑物轮廓特征编码进行匹配，将匹配程度最高(例如相似度最高)的待匹配点的位置信息作为终端的位置信息，该待匹配点的俯仰角作为终端的俯仰角，最后将该俯仰角和航偏角及滚转角结合起来，组成终端完整的姿态信息。也就是说，通过上述过程，获得了终端精确的6DOF信息。
可以看到，本申请实施例充分利用了现有终端中的硬件部件(如定位模块，陀螺仪和磁力计)获得初始的位置信息和姿态信息，利用相机采集图片并提取建筑物轮廓特征，以定位模块获取的初始位置信息构建检索缓冲区(初始位置缓冲区)，减小了在建筑物轮廓特征库中的搜索范围，并使用陀螺仪和磁力计采集的初始姿态信息构建初始角度缓冲区，辅助方向估计，加快检索效率，实现鲁棒性的检索和相似度匹配。通过联合计算位置和姿态相似性，将相似性最高的采样点的位置和姿态作为终端的位置和姿态，实现在终端上实现6DOF定位。实践表明，实施本实施例可以实现3米定位精度和3度的姿态精度，充分满足了AR/VR等应用对位姿精度的需求。
下面以一个实际应用场景对本申请的技术方案进行整体描述。
用户在任意位置，使用终端朝向任意角度拍摄环境，获得图片后，具有6DOF需求的应用发起6DOF定位服务请求，终端中的硬件部件(如定位模块，陀螺仪和磁力计)运行工作，获取初始的位置信息和姿态信息。终端提取该图片中的建筑物轮廓线，与建筑物轮廓特征库进行检索和匹配，检索到库中相似度最高的采样点，该采样点对应的位置信息和姿态信息即为该用户目前所在的位置和拍摄角度，从而实现了在终端实时获得6DOF信息。
可以看到，本申请实现了在降低数据采集成本的同时，高精度且完整地获得6DOF信息。充分满足了AR/VR等应用对位姿精度的需求，提升用户使用体验。
上文详细阐述了本申请实施例的方法，下面继续提供了本申请实施例的相关装置。
参见图14，图14是本申请实施例提供的一种终端10的结构示意图，终端10可包括：处理器101、存储器102(一个或多个计算机可读存储介质)、通信模块103、输入输出系统105。这些部件可在一个或多个通信总线104上通信。
输入输出系统105主要用于实现终端10和用户/外部环境之间的交互功能，主要包括终端10的输入输出装置。具体实现中，输入输出系统105可包括触摸屏控制器1052、音频控制器1052、传感器控制器1053以及摄像头控制器1057。其中，各个控制器可与各自对应的外围设备(触摸屏1054、音频电路1055、传感器1056以及摄像头1058)耦合。其中，触摸屏1054可用于感应触控操作，以及显示画面，例如AR/VR画面。摄像头1058可通过拍摄获得图像。具体实现中，传感器1056可包括加速度计、速度计、陀螺仪和磁力计等，用于监测终端初始的姿态信息。需要说明的，输入输出系统105还可以包括其他I/O外设。
处理器101可集成包括：一个或多个CPU、时钟模块(图未示)以及电源管理模块(图未示)。时钟模块主要用于为处理器101产生数据传输和时序控制所需要的时钟。电源管理模块主要用于为处理器101、通信模块103以及输入输出系统105等提供稳定的、高精确度的电压。
通信模块103用于接收和发送信息，主要集成了终端10的接收器和发射器。具体实现中，通信模块103可选地但不限于：射频(RF)模块、Wi-Fi模块(图未示)、蓝牙模块(图未示)等中的一个或多个，这些模块可用于与服务器进行通信交互，例如接收服务器的信息(如多个建筑物轮廓特征编码)，又例如向服务器发送信息(如图片)。通信模块103还可包括定位模块，定位模块例如全球定位系统(Global Positioning System，GPS)定位模块、格洛纳斯(GLONASS)定位模块、伽利略卫星导航系统(Galileo satellite navigation system)定位模块、北斗定位模块等。定位模块用于获得终端的初始位置信息。在一些实施例中，可在单独的芯片上实现通信模块103。
存储器102与处理器101耦合，用于存储各种软件程序和/或多组指令。具体实现中，存储器102可包括高速随机存取的存储器，并且也可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器102可以存储操作系统(下述简称系统)，例如ANDROID，IOS，WINDOWS，或者LINUX等嵌入式操作系统。存储器102可以存储应用程序的代码和数据，例如AR/VR等应用程序的代码和数据。存储器102还可以存储网络通信程序，该网络通信程序可用于与服务器进行通信。存储器102还可以存储用户接口程序，该用户接口程序可以通过图形化的操作界面，例如AR/VR界面，并通过菜单、对话框以及按键等输入控件接收用户对应用程序的控制操作。
具体的，存储器102还可以存储包括本文所讨论的各实施例的方法的代码，和/或，功能模块的代码。处理器101用于调用存储器102中的代码，执行本申请实施例描述的终端位姿确定方法。
应当理解，终端10仅为本申请实施例提供的一个例子，并且，终端10可具有比示出的部件更多或更少的部件，可以组合两个或更多个部件，或者可具有部件的不同配置实现。
请参见图15，图15为本申请实施例提供的一种服务器60的结构示意图。本实施例的服务器60包括：至少一个处理器601、通信接口602和存储器603，处理器601、通信接口602和存储器603可通过总线或者其它方式连接，或者部分或全部地耦合在一起设置，本申请实施例以通过总线605连接为例。其中，
处理器601可以是通用处理器，例如中央处理器(Central Processing Unit，CPU)。
通信接口602可以为有线接口(例如以太网接口)或无线接口(例如蜂窝网络接口或使用无线局域网接口)，可用于与终端进行通信。本申请实施例中，通信接口602例如可用于将多个建筑物轮廓特征编码发给终端，或者可用于接收终端发送的图片。
存储器603可以包括易失性存储器(Volatile Memory)，例如随机存取存储器(Random Access Memory，RAM)；存储器也可以包括非易失性存储器(Non-VolatileMemory)，例如只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；存储器603还可以包括上述种类的存储器的组合。存储器603用于存储一组程序代码，处理器601用于调用存储器603中存储的程序代码，执行本申请实施例描述的终端位姿确定方法。
应当理解，服务器60仅为本申请实施例提供的一个例子，并且，服务器60可具有比示出的部件更多或更少的部件，可以组合两个或更多个部件，或者可具有部件的不同配置实现。
参见图16，图16是本申请实施例提供的一种装置70的结构示意图，该装置70包括第一获取模块701、第二获取模块702和位姿确定模块703。在一些实施例中，第一获取模块701、第二获取模块702、位姿确定模块703可运行于图14的处理器101或图15中的处理器601。在一些实施例中，第一获取模块701可以是图2中的数据库模块5，第二获取模块702可以是图2中的建筑物轮廓提取模块3，位姿确定模块703可以是图2中的6DOF确定模块4。
第一获取模块701用于，获取多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息，所述模拟建筑物轮廓特征是根据卫星图像获得的；
第二获取模块702用于，获取终端拍摄的图片中的建筑物轮廓特征；
位姿确定模块703用于，将所述多个模拟建筑物轮廓特征中，与所述建筑物轮廓特征匹配的模拟建筑物轮廓特征对应的模拟位姿信息确定为所述终端的位姿信息。
装置70的各功能模块具体可分别用于实现如图3所示的相关方法步骤，以及图4、图7、图12所示的相关方法步骤，为了说明书的简洁，这里不再赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者任意组合来实现。当使用软件实现时，可以全部或者部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令，在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网络站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、微波等)方式向另一个网络站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，也可以是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD等)、或者半导体介质(例如固态硬盘)等等。
在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
Claims (16)
1.一种终端位姿确定方法，其特征在于，所述方法包括：
获取多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息，所述模拟建筑物轮廓特征是根据卫星图像获得的；
获取终端拍摄的图片中的建筑物轮廓特征；
将所述多个模拟建筑物轮廓特征中，与所述建筑物轮廓特征匹配的模拟建筑物轮廓特征对应的模拟位姿信息确定为所述终端的位姿信息。
2.根据权利要求1所述的方法，其特征在于，所述将所述多个模拟建筑物轮廓特征中与所述建筑物轮廓特征匹配的模拟建筑物轮廓特征对应的模拟位姿信息确定为所述终端的位姿信息之前，还包括：
将建筑物轮廓特征与所述多个模拟建筑物轮廓特征进行匹配，获得所述多个模拟建筑物轮廓特征中与所述建筑物轮廓特征匹配的模拟建筑物轮廓特征。
3.根据权利要求2所述的方法，其特征在于，所述将建筑物轮廓特征与所述多个模拟建筑物轮廓特征进行匹配之前，还包括：
获取所述终端的初始位置信息和初始姿态信息，所述初始位置信息和所述初始姿态信息是通过终端中的传感器采集获得的；
相应的，所述将建筑物轮廓特征与所述多个模拟建筑物轮廓特征进行匹配，获得所述多个模拟建筑物轮廓特征中与所述建筑物轮廓特征匹配的模拟建筑物轮廓特征，包括：
根据所述终端的初始位置信息和初始姿态信息，从多个模拟建筑物轮廓特征中选择出一部分的模拟建筑物轮廓特征；
将所述建筑物轮廓特征与所述一部分的模拟建筑物轮廓特征进行匹配；所述一部分的模拟建筑物轮廓特征中匹配程度最高的模拟建筑物轮廓特征作为与所述建筑物轮廓特征相匹配的模拟建筑物轮廓特征。
4.根据权利要求3所述的方法，其特征在于，所述将所述建筑物轮廓特征与所述一部分的模拟建筑物轮廓特征进行匹配，包括：
计算建筑物轮廓特征的初始位置信息和初始姿态信息，和所述一部分的模拟建筑物轮廓特征中各个模拟建筑物轮廓特征对应的模型位置信息和模拟姿态信息的相似度；所述相似度最大的模拟建筑物轮廓特征作为所述匹配程度最高的模拟建筑物轮廓特征。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述获取终端拍摄的图片中的建筑物轮廓特征，包括：
对所述终端拍摄的图片进行特征提取，以获得所述图片中的建筑物轮廓特征。
6.根据权利要求5所述的方法，其特征在于，所述对终端拍摄的图片进行特征提取，以获得所述图片中的建筑物轮廓特征，包括：
对所述图片进行形态学处理，以消除非目标物体对所述建筑物轮廓特征的遮挡，获得经处理的图片；
对所述经处理的图片进行建筑物语义提取，从而获得所述建筑物轮廓特征。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述获取多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息，包括：
接收服务器发送的所述多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述获取多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息，包括：
获取三维模型，所述三维模型是根据多张卫星图像获得的，所述三维模型包括多个模拟建筑物；
在所述三维模型中确定道路图层；
在所述道路图层中确定多个采样点；
分别在所述多个采样点中的每个采样点上，分别根据多种模拟位姿信息对所述多个模拟建筑物进行投影编码，获得所述多个模拟建筑物轮廓特征；每个模拟建筑物轮廓特征对应一种模拟位姿信息。
9.一种用于终端位姿确定的装置，其特征在于，包括：
第一获取模块，用于获取多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息，所述模拟建筑物轮廓特征是根据卫星图像获得的；
第二获取模块，用于获取终端拍摄的图片中的建筑物轮廓特征；
位姿确定模块，用于将所述多个模拟建筑物轮廓特征中，与所述建筑物轮廓特征匹配的模拟建筑物轮廓特征对应的模拟位姿信息确定为所述终端的位姿信息。
10.根据权利要求9所述的装置，其特征在于，所述位姿确定模块用于：
将建筑物轮廓特征与所述多个模拟建筑物轮廓特征进行匹配，获得所述多个模拟建筑物轮廓特征中与所述建筑物轮廓特征匹配的模拟建筑物轮廓特征。
11.根据权利要求10所述的装置，其特征在于，所述位姿确定模块还用于：
获取所述终端的初始位置信息和初始姿态信息，所述初始位置信息和所述初始姿态信息是通过终端中的传感器采集获得的；
根据所述终端的初始位置信息和初始姿态信息，从多个模拟建筑物轮廓特征中选择出一部分的模拟建筑物轮廓特征；
将所述建筑物轮廓特征与所述一部分的模拟建筑物轮廓特征进行匹配；所述一部分的模拟建筑物轮廓特征中匹配程度最高的模拟建筑物轮廓特征作为与所述建筑物轮廓特征相匹配的模拟建筑物轮廓特征。
12.根据权利要求11所述的装置，其特征在于，所述位姿确定模块用于：
计算建筑物轮廓特征的初始位置信息和初始姿态信息，和所述一部分的模拟建筑物轮廓特征中各个模拟建筑物轮廓特征对应的模型位置信息和模拟姿态信息的相似度；所述相似度最大的模拟建筑物轮廓特征作为所述匹配程度最高的模拟建筑物轮廓特征。
13.根据权利要求9-12任一项所述的装置，其特征在于，所述第二获取模块用于：
对所述终端拍摄的图片进行特征提取，以获得所述图片中的建筑物轮廓特征。
14.根据权利要求13任一项所述的装置，其特征在于，所述第二获取模块用于：
对所述图片进行形态学处理，以消除非目标物体对所述建筑物轮廓特征的遮挡，获得经处理的图片；
对所述经处理的图片进行建筑物语义提取，从而获得所述建筑物轮廓特征。
15.根据权利要求9-14任一项所述的装置，其特征在于，所述第一获取模块用于：
接收服务器发送的所述多个模拟建筑物轮廓特征以及每个模拟建筑物轮廓特征对应的模拟位姿信息。
16.根据权利要求9-14任一项所述的装置，其特征在于，所述第一获取模块用于：
获取三维模型，所述三维模型是根据多张卫星图像获得的，所述三维模型包括多个模拟建筑物；
在所述三维模型中确定道路图层；
在所述道路图层中确定多个采样点；
分别在所述多个采样点中的每个采样点上，分别根据多种模拟位姿信息对所述多个模拟建筑物进行投影编码，获得所述多个模拟建筑物轮廓特征；每个模拟建筑物轮廓特征对应一种模拟位姿信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910742749.6A CN112348887A (zh) | 2019-08-09 | 2019-08-09 | 终端位姿确定方法以及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910742749.6A CN112348887A (zh) | 2019-08-09 | 2019-08-09 | 终端位姿确定方法以及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112348887A true CN112348887A (zh) | 2021-02-09 |
Family
ID=74367839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910742749.6A Pending CN112348887A (zh) | 2019-08-09 | 2019-08-09 | 终端位姿确定方法以及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112348887A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112954226A (zh) * | 2021-05-11 | 2021-06-11 | 江苏瞭望神州大数据科技有限公司 | 一种识别在建工地的监测方法及系统 |
| CN113112544A (zh) * | 2021-04-09 | 2021-07-13 | 国能智慧科技发展(江苏)有限公司 | 基于智能物联网与大数据的人员定位异常检测系统 |
| WO2023051383A1 (zh) * | 2021-09-30 | 2023-04-06 | 华为技术有限公司 | 一种设备定位方法、设备及系统 |
| CN117670874A (zh) * | 2024-01-31 | 2024-03-08 | 安徽省交通规划设计研究总院股份有限公司 | 一种基于图像处理的箱型梁内部裂缝检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809689A (zh) * | 2015-05-15 | 2015-07-29 | 北京理工大学深圳研究院 | 一种基于轮廓的建筑物点云模型底图配准方法 |
| CN108154558A (zh) * | 2017-11-21 | 2018-06-12 | 中电海康集团有限公司 | 一种增强现实方法、装置和系统 |
| CN108765234A (zh) * | 2018-05-07 | 2018-11-06 | 重庆睿宇测绘有限责任公司 | 疑似违法建筑信息管理系统 |
| CN108871314A (zh) * | 2018-07-18 | 2018-11-23 | 江苏实景信息科技有限公司 | 一种定位定姿方法及装置 |
| CN109003305A (zh) * | 2018-07-18 | 2018-12-14 | 江苏实景信息科技有限公司 | 一种定位定姿方法及装置 |
| US20190080467A1 (en) * | 2017-09-08 | 2019-03-14 | Qualcomm Incorporated | Pose determination with semantic segmentation |
| CN109902675A (zh) * | 2018-09-17 | 2019-06-18 | 华为技术有限公司 | 物体的位姿获取方法、场景重构的方法和装置 |
| CN109949422A (zh) * | 2018-10-15 | 2019-06-28 | 华为技术有限公司 | 用于虚拟场景的数据处理方法以及设备 |
-
2019
- 2019-08-09 CN CN201910742749.6A patent/CN112348887A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809689A (zh) * | 2015-05-15 | 2015-07-29 | 北京理工大学深圳研究院 | 一种基于轮廓的建筑物点云模型底图配准方法 |
| US20190080467A1 (en) * | 2017-09-08 | 2019-03-14 | Qualcomm Incorporated | Pose determination with semantic segmentation |
| CN108154558A (zh) * | 2017-11-21 | 2018-06-12 | 中电海康集团有限公司 | 一种增强现实方法、装置和系统 |
| CN108765234A (zh) * | 2018-05-07 | 2018-11-06 | 重庆睿宇测绘有限责任公司 | 疑似违法建筑信息管理系统 |
| CN108871314A (zh) * | 2018-07-18 | 2018-11-23 | 江苏实景信息科技有限公司 | 一种定位定姿方法及装置 |
| CN109003305A (zh) * | 2018-07-18 | 2018-12-14 | 江苏实景信息科技有限公司 | 一种定位定姿方法及装置 |
| CN109902675A (zh) * | 2018-09-17 | 2019-06-18 | 华为技术有限公司 | 物体的位姿获取方法、场景重构的方法和装置 |
| CN109949422A (zh) * | 2018-10-15 | 2019-06-28 | 华为技术有限公司 | 用于虚拟场景的数据处理方法以及设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113112544A (zh) * | 2021-04-09 | 2021-07-13 | 国能智慧科技发展(江苏)有限公司 | 基于智能物联网与大数据的人员定位异常检测系统 |
| CN112954226A (zh) * | 2021-05-11 | 2021-06-11 | 江苏瞭望神州大数据科技有限公司 | 一种识别在建工地的监测方法及系统 |
| WO2023051383A1 (zh) * | 2021-09-30 | 2023-04-06 | 华为技术有限公司 | 一种设备定位方法、设备及系统 |
| CN117670874A (zh) * | 2024-01-31 | 2024-03-08 | 安徽省交通规划设计研究总院股份有限公司 | 一种基于图像处理的箱型梁内部裂缝检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10650546B2 (en) | Method of providing a descriptor for at least one feature of an image and method of matching features | |
| Cortés et al. | ADVIO: An authentic dataset for visual-inertial odometry | |
| Acharya et al. | BIM-PoseNet: Indoor camera localisation using a 3D indoor model and deep learning from synthetic images | |
| US20200401617A1 (en) | Visual positioning system | |
| Zollmann et al. | Augmented reality for construction site monitoring and documentation | |
| CN112348887A (zh) | 终端位姿确定方法以及相关装置 | |
| CN103703758B (zh) | 移动增强现实系统 | |
| Wendel et al. | Dense reconstruction on-the-fly | |
| CN109520500B (zh) | 一种基于终端拍摄图像匹配的精确定位及街景库采集方法 | |
| US20150371440A1 (en) | Zero-baseline 3d map initialization | |
| CN108318043A (zh) | 用于更新电子地图的方法、装置和计算机可读存储介质 | |
| KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| CN111028358B (zh) | 室内环境的增强现实显示方法、装置及终端设备 | |
| CN104704384A (zh) | 具体用于装置的基于视觉的定位的图像处理方法 | |
| CN102959946A (zh) | 基于相关3d点云数据来扩充图像数据的技术 | |
| CN112348886B (zh) | 视觉定位方法、终端和服务器 | |
| CN111721281B (zh) | 位置识别方法、装置和电子设备 | |
| CN113870379A (zh) | 地图生成方法、装置、电子设备及计算机可读存储介质 | |
| WO2021017211A1 (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| WO2023123837A1 (zh) | 地图的生成方法、装置、电子设备及存储介质 | |
| Höllerer et al. | “Anywhere augmentation”: Towards mobile augmented reality in unprepared environments | |
| CN112836698A (zh) | 一种定位方法、装置、存储介质及电子设备 | |
| Radanovic et al. | Aligning the real and the virtual world: Mixed reality localisation using learning-based 3D–3D model registration | |
| CN115578432B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN116843867A (zh) | 增强现实虚实融合方法、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |