CN112269851A - 地图数据更新方法、装置、存储介质与电子设备 - Google Patents

地图数据更新方法、装置、存储介质与电子设备 Download PDF

Info

Publication number
CN112269851A
CN112269851A CN202011280541.6A CN202011280541A CN112269851A CN 112269851 A CN112269851 A CN 112269851A CN 202011280541 A CN202011280541 A CN 202011280541A CN 112269851 A CN112269851 A CN 112269851A
Authority
CN
China
Prior art keywords
image
map data
point
basic
supplementary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011280541.6A
Other languages
English (en)
Other versions
CN112269851B (zh
Inventor
高爽
李姬俊男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011280541.6A priority Critical patent/CN112269851B/zh
Priority claimed from CN202011280541.6A external-priority patent/CN112269851B/zh
Publication of CN112269851A publication Critical patent/CN112269851A/zh
Application granted granted Critical
Publication of CN112269851B publication Critical patent/CN112269851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种地图数据更新方法、地图数据更新装置、计算机可读存储介质与电子设备，涉及计算机视觉技术领域。其中，所述地图数据更新方法包括：获取针对目标场景拍摄的待定位图像；根据预先建立的所述目标场景的基础地图数据，确定所述待定位图像在所述基础地图数据中对应的目标位姿；从所述待定位图像中重建出所述目标场景的补充地图数据；基于所述目标位姿，将所述补充地图数据融合至所述基础地图数据，以更新所述基础地图数据。本公开可以提高地图数据的精度，降低地图数据更新的成本。

Description

地图数据更新方法、装置、存储介质与电子设备
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种地图数据更新方法、地图数据更新装置、计算机可读存储介质与电子设备。
背景技术
随着计算机视觉技术等的发展，地图数据在AR(Augmented Reality，增强现实)、SLAM(Simultaneous Localization and Mapping，即时定位与建图)等领域中有着越来越广泛的应用。
随着现实世界的变化，例如，由于道路或建筑施工、张贴海报、天气等因素的影响，往往需要对地图数据进行更新。目前，对地图数据进行更新时，需要采用高精度的地图数据采集装置，如GPS(Global Positioning System，全球定位系统)、IMU(InertialMeasurement Unit，惯性测量单元)等传感器采集点云数据，并对获取的点云数据进行配准，这种方法主要依赖于硬件设备，实现成本较高，且操作复杂，无法满足用户的使用需求。
发明内容
本公开提供了一种地图数据更新方法、地图数据更新装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善相关技术中地图更新依赖于硬件设备的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种地图数据更新方法，包括：获取针对目标场景拍摄的待定位图像；根据预先建立的所述目标场景的基础地图数据，确定所述待定位图像在所述基础地图数据中对应的目标位姿；从所述待定位图像中重建出所述目标场景的补充地图数据；基于所述目标位姿，将所述补充地图数据融合至所述基础地图数据，以更新所述基础地图数据。
根据本公开的第二方面，提供一种地图数据更新装置，包括：获取模块，用于获取针对目标场景拍摄的待定位图像；确定模块，用于根据预先建立的所述目标场景的基础地图数据，确定所述待定位图像在所述基础地图数据中对应的目标位姿；重建模块，用于从所述待定位图像中重建出所述目标场景的补充地图数据；融合模块，用于基于所述目标位姿，将所述补充地图数据融合至所述基础地图数据，以更新所述基础地图数据。
根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的地图数据更新方法及其可能的实现方式。
根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面的地图数据更新方法及其可能的实现方式。
本公开的技术方案具有以下有益效果：
根据本示例性实施方式中的地图数据更新方法、地图数据更新装置、计算机可读存储介质和电子设备，可以根据预先建立的目标场景的基础地图数据，确定针对目标场景拍摄的待定位图像在基础地图数据中对应的目标位姿，并从待定位图像中重建出目标场景的补充地图数据，基于上述目标位姿，将上述补充地图数据融合至基础地图数据，从而更新该基础地图数据。一方面，通过将根据待定位图像重建出的补充地图数据融合至基础地图数据，可以提高地图数据的更新效率，提升基础地图数据的精度，在地图数据存在缺失的情况下，也可以通过简单的二维图像生成高精度的完整地图数据；另一方面，通过待定位图像生成目标场景的补充地图数据，可以降低生成地图数据对硬件设备的依赖性，且操作简便、灵活。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施方式，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本示例性实施方式中一种电子设备的结构示意图；
图2示出本示例性实施方式中一种地图数据更新方法的流程图；
图3示出本示例性实施方式中一种确定目标位姿方法的流程图；
图4示出本示例性实施方式中一种更新基础地图数据方法的流程图；
图5示出本示例性实施方式中另一种更新基础地图数据方法的流程图；
图6示出本示例性实施方式中再一种更新基础地图数据方法的流程图；
图7示出本示例性实施方式中一种确定变换参数方法的流程图；
图8示出本示例性实施方式中一种生成基础地图数据方法的流程图；
图9示出本示例性实施方式中一种更新基准点云数据方法的流程图；
图10示出本示例性实施方式中一种三角化处理的示意图；
图11示出本示例性实施方式中另一种生成基础地图数据方法的流程图；
图12示出本示例性实施方式中另一种地图数据更新方法的流程图；
图13示出本示例性实施方式中一种地图数据更新装置的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本公开的示例性实施方式首先提供一种地图数据更新方法，其应用场景包括但不限于：当用户处于展览馆中，需要获取展览馆的地图数据，但由于展览馆的部分展台位置发生了变化，且终端从云端获取的地图数据未同步更新，此时用户可以使用智能手机等终端拍摄发生变化的展台所在的场景图像，执行本示例性实施方式的地图数据更新方法以生成新的地图数据，从该新的地图数据中，用户可以获取展览馆的实时场景信息；或者用户在使用终端拍摄发生变化的展台所在的场景图像后，可以将拍摄的场景图像上传至云端，云端执行本示例性实施方式的地图数据更新方法以生成新的地图数据，并将该新的地图数据发送至终端，使用户可以根据终端接收到的新的地图数据确定展览馆的实时场景信息。
本公开的示例性实施方式还提供一种电子设备，用于执行上述地图数据更新方法。该电子设备可以是上述终端或云端的服务器，包括但不限于计算机、智能手机、可穿戴设备(如AR眼镜)、机器人、无人机等。一般的，电子设备包括处理器和存储器。存储器用于存储处理器的可执行指令，也可以存储应用数据，如图像数据、地图数据等；处理器配置为经由执行可执行指令来执行本示例性实施方式中的地图数据更新方法。
下面以图1中的移动终端100为例，对上述电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图1中的构造也能够应用于固定类型的设备。
如图1所示，移动终端100具体可以包括：处理器110、内部存储器121、外部存储器接口122、USB(Universal Serial Bus，通用串行总线)接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器171、受话器172、麦克风173、耳机接口174、传感器模块180、显示屏190、摄像模组191、指示器192、马达193、按键194以及SIM(Subscriber Identification Module，用户标识模块)卡接口195等。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。
编码器可以对图像或视频数据进行编码(即压缩)，例如对拍摄的场景图像进行编码，形成对应的码流数据，以减少数据传输所占的带宽；解码器可以对图像或视频的码流数据进行解码(即解压缩)，以还原出图像或视频数据，例如对场景图像的码流数据进行解码，得到完整的图像数据，便于执行本示例性实施方式的地图更新方法。移动终端100可以支持一种或多种编码器和解码器。这样，移动终端100可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(Portable NetworkGraphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving PictureExperts Group，动态图像专家组)1、MPEG2、H.263、H.264、HEVC(High Efficiency VideoCoding，高效率视频编码)等视频格式。
在一些实施方式中，处理器110可以包括一个或多个接口，通过不同的接口和移动终端100的其他部件形成连接。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括易失性存储器与非易失性存储器。处理器110通过运行存储在内部存储器121的指令，执行移动终端100的各种功能应用以及数据处理。
外部存储器接口122可以用于连接外部存储器，例如Micro SD卡，实现扩展移动终端100的存储能力。外部存储器通过外部存储器接口122与处理器110通信，实现数据存储功能，例如存储图像，视频等文件。
USB接口130是符合USB标准规范的接口，可以用于连接充电器为移动终端100充电，也可以连接耳机或其他电子设备。
充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为设备供电；电源管理模块141还可以监测电池的状态。
移动终端100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块150可以提供应用在移动终端100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在移动终端100上的包括WLAN(Wireless LocalArea Networks，无线局域网)(如Wi-Fi(Wireless Fidelity，无线保真)网络)、BT(Bluetooth，蓝牙)、GNSS(Global Navigation Satellite System，全球导航卫星系统)、FM(Frequency Modulation，调频)、NFC(Near Field Communication，近距离无线通信技术)、IR(Infrared，红外技术)等无线通信解决方案。
移动终端100可以通过GPU、显示屏190及AP等实现显示功能，显示用户界面。例如，当用户开启拍摄功能时，移动终端100可以在显示屏190中显示拍摄界面和预览图像等。
移动终端100可以通过ISP、摄像模组191、编码器、解码器、GPU、显示屏190及AP等实现拍摄功能。例如，用户可以启动视觉定位的相关服务，触发开启拍摄功能，此时可以通过摄像模组191实时采集图像，并进行地图更新。
移动终端100可以通过音频模块170、扬声器171、受话器172、麦克风173、耳机接口174及AP等实现音频功能。
此外，传感器模块180可以包括深度传感器1801、压力传感器1802、陀螺仪传感器1803、气压传感器1804等，以实现相应的感应检测功能。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。马达193可以产生振动提示，也可以用于触摸振动反馈等。按键194包括开机键，音量键等。
移动终端100可以支持一个或多个SIM卡接口195，用于连接SIM卡，以实现通话与移动通信等功能。
图2示出了上述地图数据更新方法的示例性流程，可以包括：
步骤S210，获取针对目标场景拍摄的待定位图像；
步骤S220，根据预先建立的目标场景的基础地图数据，确定待定位图像在基础地图数据中对应的目标位姿；
步骤S230，从待定位图像中重建出所述目标场景的补充地图数据；
步骤S240，基于上述目标位姿，将补充地图数据融合至基础地图数据，以更新该基础地图数据。
其中，待定位图像可以用于确定目标场景当前时刻的场景信息，可以是由用户通过终端拍摄或上传的目标场景的图像；基础地图数据可以是根据建图阶段采集的目标场景的图像生成的初始地图数据，通常，随着目标场景的变化，基础地图数据也可以是目标场景在某个历史时刻的地图数据，同时，根据目标场景的大小，基础地图数据可以是具有一定范围的局部地图，例如可以是某个区域内的地图数据等；补充地图数据可以是待定位图像所对应的目标场景内的地图数据，如可以是目标场景的部分区域的地图数据，其可以用于将待定位图像所在场景内的地图数据更新至基础地图数据。
通过上述地图数据更新方法，可以根据预先建立的目标场景的基础地图数据，确定针对目标场景拍摄的待定位图像在基础地图数据中对应的目标位姿，并从待定位图像中重建出目标场景的补充地图数据，基于上述目标位姿，将上述补充地图数据融合至基础地图数据，从而更新该基础地图数据。一方面，通过将根据待定位图像重建出的补充地图数据融合至基础地图数据，可以提高地图数据的更新效率，提升基础地图数据的精度，在地图数据存在缺失的情况下，也可以通过简单的二维图像生成高精度的完整地图数据；另一方面，通过待定位图像生成目标场景的补充地图数据，可以降低生成地图数据对硬件设备的依赖性，且操作简便、灵活。
下面对图2中的步骤进行具体说明。
步骤S210中，获取针对目标场景拍摄的待定位图像。
目标场景可以是终端当前所在的场景，如可以是展览馆、商场、街道等。待定位图像可以是终端当前拍摄的目标场景或目标场景内部分区域的图像。
继续参考图2，步骤S220中，根据预先建立的目标场景的基础地图数据，确定待定位图像在基础地图数据中对应的目标位姿。
其中，目标位姿是指待定位图像在基础地图数据中的位置、姿态等。目标位姿可以是终端在目标场景中的绝对位姿，如可以是6DOF(Degree of Freedom，自由度)位姿数据，包括3个位置坐标和3个旋转角度。
在获取待定位图像后，可以提取待定位图像中的特征点，并将该特征点与基础地图数据中的特征点进行匹配，从而确定根据待定位图像各特征点与基础地图数据中的特征点的匹配关系确定待定位图像在基础地图数据中对应的目标位姿。其中，待定位图像的特征点可以是待定位图像中的边缘点、角点等；基础地图数据的特征点可以是目标场景中具有代表性和辨识度的点或区域。
在一种实施方式中，参考图3所示，步骤S220可以包括以下步骤S310至S330：
步骤S310，获取多张参考图像。
其中，参考图像是为建立基础地图数据时所采集的目标场景的图像。
步骤S320，在上述参考图像中查找待定位图像的相似图像。
其中，相似图像可以是与待定位图像具有相似特征，如亮度、像素分布和颜色分布等的图像。
在获取多张参考图像后，可以使用图像检索技术确定与待定位图像最为相似的一定数量的参考图像。本示例性实施方式中，可以采用Bow(Bag of Word,词袋模型)、VLAD(Vector of Locally Aggregated Descriptors，局部聚合向量)、NetVLAD(一种改进图像检索算法)等检索方法来确定待定位图像的相似图像。
在确定相似图像时，图像的特征信息可以用于数值化的描述信息来体现，因此，在一种实施方式中，步骤S320可以通过以下方式实现：
获取待定位图像的全局描述信息和各参考图像的全局描述信息；
根据待定位图像的全局描述信息和各参考图像的全局描述信息之间的相似度，确定相似图像。
其中，全局描述信息是用于描述图像特征，如颜色、纹理等的向量，通常，全局描述信息包含一个段的基址、界限以及属性内容，段基址实际上就是16位系统中的段地址，在16位系统中，段地址必须是16的倍数，但在32位系统中，可以是任意的地址；段界限也就是一个段的长度。
在得到待定位图像的全局描述信息和各参考图像的全局描述信息后，计算待定位图像的全局描述信息和各参考图像的全局描述信息之间的相似度，将该相似度大于相似度阈值的全局描述信息所对应的参考图像确定为待定位图像的相似图像，或者也可以将得到的相似度从大到小依次排序，并将前N个相似度的全局描述信息所对应的参考图像确定为待定位图像的相似图像。例如，可以利用L2范数，计算待定位图像的全局描述信息和各参考图像的全局描述信息之间的相似度，L2范数越小，两个全局描述信息所对应的待定位图像和参考图像的相似度越高，反之则相似度越低。需要说明的是，在确定相似图像时，也可以采用其他的计算方法，如哈希算法等计算待定位图像和各参考图像的相似度。
与全局描述信息相对应的，局部描述信息可以用于表示图像中某个特征点周围的特征，而全局描述信息可以由图像上的二维特征点的局部描述信息聚合而成。因此，在一种实施方式中，上述获取待定位图像的全局描述信息可以通过以下方式实现：
从待定位图像中提取多个特征区域的描述信息；
合成上述多个特征区域的描述信息，得到待定位图像的全局描述信息。
其中，特征区域是指图像中一个或多个特征点所在的区域，例如可以是待定位图像中特定景物所在的图像区域；描述信息是指对图像的特征区域特点，如形状、凹凸度等的描述，可以由数值和符号等构成。
在待定位图像中，提取多个特征区域的描述信息，通过将每个特征区域的描述信息聚合到一个单独的向量中，可以得到待定位图像的全局描述信息。
通过确定待定位图像的相似图像，可以确定待定位图像在参考图像中的大致范围，减少计算量。
步骤S330，根据上述相似图像确定目标位姿。
在确定待定位图像的相似图像后，可以提取待定位图像和各相似图像的特征点，并确定待定位图像和各相似图像的特征点的匹配关系，进而根据该匹配关系估计待定位图像在基础地图数据中的目标位姿。在实际应用中，通过确定相似图像，可以减少用户拍摄目标场景的图像数量，使用户可以通过拍摄少数目标场景的待定位图像确定拍摄场景的目标位姿。
本示例性实施方式中，基础地图数据可以是三维点云数据，由于相似图像可以仅包括参考图像中的部分图像，而基础地图数据是根据参考图像预先建立的，因此，各相似图像的特征点在基础地图数据中具有相对应的三维点，基于此，在一种实施方式中，步骤S330可以通过以下方式实现：
确定待定位图像与相似图像的匹配点对，每个匹配点对包括一个第一特征点和一个第二特征点；
在基础地图数据中确定上述匹配点对中的第二特征点对应的基础三维点；
根据上述第一特征点与基础三维点的匹配关系确定目标位姿。
其中，第一特征点为待定位图像中的特征点，第二特征点为相似图像中的特征点。
通过提取待定位图像的特征点，并确定相似图像中是否具有与上述特征点相匹配的特征点，可以得到待定位图像与相似图像的匹配点对。例如，可以通过计算待定位图像中的特征点的描述信息和相似图像中的特征点的描述信息，确定两个特征点是否匹配；或者，也可以根据待定位图像的特征点的描述信息和相似图像的特征点的描述信息，计算待定位图像中的特征点与相似图像中每一个像素点的相似度，如范数距离，如果两者具有较大的相似度，则说明两个特征点是匹配的，可以作为一个匹配点对。
在相似图像中，各特征点具有相对应的三维点，相应的，相似图像的特征点的三维点也就是待定位图像中对应的特征点的三维点，由此，可以在基础地图数据中确定上述匹配点对中相似图像的第二特征点对应的基础三维点，确定待定位图像中的第一特征点对应的基础三维点，从而根据待定位图像中的第一特征点与基础三维点的匹配关系确定待定位图像在基础地图数据中的目标位姿。
在确定目标位姿时，可以采用PnP算法(Perspective-n-Point，求解3D-2D点对运动的方法)对上述待定位图像中n个特征点和基础地图数据中对应的n个三维点进行匹配，从而确定待定位图像在基础地图数据中的目标位姿。
进一步的，当存在多个相似图像时，根据各相似图像可以得到多个待定位图像在基础地图数据中的位姿，为了提高确定目标位姿的准确率，在一种实施方式中，当查找到多个相似图像时，步骤S330也可以通过以下方法实现：
分别根据每个相似图像确定待定位图像在基础地图数据中对应的一组候选位姿；
对上述候选位姿进行聚类，根据聚类结果确定目标位姿。
具体的，根据每个相似图像与待定位图像的匹配点对，可以确定每个相似图像对应的待定位图像在基础地图数据中的一个候选位姿，各相似图像的候选位姿构成一组候选位姿，对这一组候选位姿进行聚类，并根据聚类后的结果确定目标位姿，例如，可以在包含候选位姿数量最多的类中，将最靠近类中心的候选位姿确定为目标位姿。
在一种实施方式中，上述根据聚类结果确定目标位姿可以通过以下方法实现：
确定包含候选位姿数量最多的类为最优类；
对上述最优类中的候选位姿取均值，得到上述目标位姿。
通过对候选位姿进行聚类处理，可以提高确定目标位姿的准确率，减少在确定相似图像时检索到的噪声图像对目标位姿的影响。
继续参考图2，步骤S230中，从待定位图像中重建出所述目标场景的补充地图数据。
在视觉定位技术中，根据不同视角下拍摄的同一场景的图像可以确定对应场景的空间位置信息。因此，通过对待定位图像进行三维重建处理，可以从待定位图像中重建出目标场景的补充地图数据。
实际上，对待定位图像进行重建是基于不同拍摄角度的位姿差异估计目标场景的空间信息的过程。因此，在一种实施方式中，步骤S230可以通过对至少两张待定位图像进行三维重建处理，生成目标场景的补充地图数据实现。其中，至少两张待定位图像应当是处于不同拍摄视角下的两张图像。
此外，在进行三维重建处理时，可以通过SFM算法生成上述至少两个待定位图像的三维点云数据，也就是补充地图数据。
继续参考图2，步骤S240中，基于上述目标位姿，将补充地图数据融合至基础地图数据，以更新该基础地图数据。
根据待定位图像在基础地图数据中的目标位姿，将补充地图数据融合至基础地图数据，以实现基础地图数据的更新。根据目标场景的实际情况，基础地图数据的更新通常是在目标场景或其中的某个区域发生了变化后进行的，例如，当目标场景中存在新增对象，如海报、施工车辆等，则可以在基础地图数据中增加新增对象的补充地图数据，或者当目标场景中的移除了某个对象，则需要在基础地图数据中删除该对象的地图数据。
在一种实施方式中，参考图4所示，步骤S240可以包括以下步骤S410至S430：
步骤S410，从相似图像中提取第二特征点；
步骤S420，基于目标位姿，将第二特征点对应的基础地图数据中的基础三维点重投影至待定位图像的平面，以确定待定位图像中的第一特征点与基础三维点的匹配关系；
步骤S430，利用第一特征点与基础三维点的匹配关系，将补充地图数据融合至基础地图数据。
其中，重投影是通过对任意视点的三维点进行投影来产生新的图像的过程。
如前所述，相似图像的第二特征点在基础地图数据中具有相应的三维点。因此，在将补充地图数据融合至基础地图数据中时，可以根据目标位姿，将相似图像的第二特征点对应的基础地图数据中的基础三维点重投影至待定位图像的平面，得到待定位图像中的第一特征点与基础三维点的匹配关系，进而根据待定位图像中的第一特征点与基础三维点的匹配关系，将通过待定位图像重建出的补充地图数据融合至基础地图数据。
在通过待定位图像重建出的补充地图数据中，待定位图像的特征点也具有相应的三维点，也就是补充三维点，因而相似图像的第二特征点所对应的基础地图数据中的基础三维点与上述待定位图像的补充三维点也具备了对应关系。由此，在一种实施方式中，参考图5所示，步骤S430可以包括以下步骤S510至S530：
步骤S510，根据第一特征点与补充地图数据中的补充三维点的对应关系，获取基础三维点与补充三维点的匹配关系；
步骤S520，利用基础三维点与补充三维点的匹配关系，确定补充地图数据与基础地图数据之间的变换参数；
步骤S530，采用变换参数对补充地图数据进行变换，并融合至基础地图数据。
其中，变换参数用于表示补充地图数据和基础地图数据的空间位置关系。
待定位图像的第一特征点在补充地图数据中表现为对应的补充三维点，根据补充三维点和基础三维点的匹配关系，如补充三维点和对应的基础三维点的位置关系等，确定补充地图数据和基础地图数据之间的变换参数，如坐标距离和方向等，按照变换参数对补充地图数据进行变换，如按照一定方向移动全部补充地图数据，使补充地图数据中的补充三维点和基础地图数据中的基础三维点尽可能多的重合，从而实现补充地图数据与基础地图数据的融合。
针对同一目标场景，基础地图数据中的基础三维点与待定位图像也具有相应的匹配关系，也就是说，将基础地图数据中的三维点重投影至待定位图像中，也可以确定基础地图数据中的三维点与待定位图像的匹配关系。因此，在一种实施方式中，参考图6所示，步骤S240也可以包括以下步骤S610至S640：
步骤S610，基于目标位姿，将基础地图数据中的基础三维点重投影至待定位图像的平面，以确定待定位图像中的第一特征点与基础三维点的匹配关系；
步骤S620，根据第一特征点与补充地图数据中的补充三维点的对应关系，获取基础三维点与补充三维点的匹配关系；
步骤S630，利用基础三维点与补充三维点的匹配关系，确定补充地图数据与基础地图数据之间的变换参数；
步骤S640，采用变换参数对补充地图数据进行变换，并融合至基础地图数据。
进一步的，为了便于确定补充地图数据和基础地图数据之间的变换参数，可以将补充地图数据和基础地图数据中的三维点分别表示为一组点集，并通过数学变换计算两组点集之间的空间关系，进而确定补充地图数据和基础地图数据之间的变换参数。具体的，在一种实施方式中，参考图7所示，上述步骤S520或步骤S630也可以通过以下步骤S710至S730实现：
步骤S710，利用基础三维点与补充三维点的匹配关系，生成基础地图数据的第一点集与补充地图数据的第二点集；第一点集中的基础三维点与第二点集中的补充三维点一一匹配；
步骤S720，对第一点集和第二点集中的坐标数据分别进行去中心化；
步骤S730，根据第一点集和第二点集确定变换参数。
其中，第一点集是基础地图数据中各基础三维点的位置信息；第二点集是补充地图数据中各补充三维点的位置信息。本示例性实施方式中，第一点集和第二点集中的位置信息均可以是对应的三维点的坐标数据。
假设第一点集为P'＝{P1'…Pi'…Pn'}，第二点集为q'＝{q1'…qi'…qn'}，其中，Pi'和qi'对匹配点对，也就是说，第一点集中的基础三维点和第二点集中的补充三维点一一对应。为了便于计算，可以将第一点集和第二点集中的坐标数据分别进行去中心化，即归一化操作，并根据归一化操作后的第一点集和第二点集确定补充地图数据和基础地图数据之间的变换参数。
本示例性实施方式中，补充地图数据和基础地图数据的空间位置信息可以包括相对尺度、角度和距离等，相应的，变换参数可以包括尺度变换参数、旋转变换参数和平移变换参数中的任意一种或多种，下面分别提供了确定各个变换参数的方式：
(1)尺度变换参数
尺度变换参数可以表示补充地图数据和基础地图数据的相对尺度，包括但不限于补充地图数据相对于基础地图数据在水平方向、垂直方向和深度方向上的尺度。
在一种实施方式中，尺度变换参数可以通过以下方式计算得到：
根据第一点集中的基础三维点到原点的距离与第二点集中的补充三维点到原点的距离之比，确定补充地图数据与基础地图数据之间的尺度变换参数实现。
例如，在对第一点集和第二点集进行归一化操作后，可以通过以下公式(1)计算补充地图数据和基础地图数据中第i个匹配点对的相对尺度：
Figure BDA0002780607950000111
(2)旋转变换参数
旋转变换参数可以表示补充地图数据和基础地图数据的相对角度。对于三维点云数据，旋转变换参数可以包括补充地图数据和基础地图数据在各个方向上的旋转角度等。
在一种实施方式中，旋转变换参数可以通过以下方式计算得到：
构建第一点集和第二点集的协方差矩阵；
分解协方差矩阵，得到补充地图数据与基础地图数据之间的旋转变换参数。
具体的，可以根据第一点集和第二点集构建协方差矩阵
Figure BDA0002780607950000112
对协方差矩阵H进行分解，确定补充地图数据与基础地图数据之间的旋转变换参数。当第一点集和第二点集的维度较高时，可以采用奇异值分解的方法对协方差矩阵进行分解，得到H＝U∑VT，当R＝VT时，RH＝V∑VT，令A＝V∑1/2，则RH＝AAT，由此，旋转矩阵为R＝VUT，根据该旋转矩阵可以确定补充地图数据与基础地图数据的旋转变换参数。
(3)平移变换参数
平移变换参数可以表示补充地图数据和基础地图数据在某个方向上的相对距离。
在一种实施方式中，平移变换参数可以通过以下方式计算得到：
利用补充地图数据与基础地图数据之间的尺度变换参数和旋转变换参数对第二点集的中心坐标数据进行变换，并根据变换后与第一点集的中心坐标数据之差，确定补充地图数据与基础地图数据之间的平移变换参数。例如，在得到补充地图数据和基础地图数据的尺度变换参数s和旋转变换参数R后，可以得到补充地图数据和基础地图数据之间的平移变换参数t＝sRqc-pc。其中，qc和pc分别为补充地图数据中各补充三维点的质心。
进一步的，本示例性实施方式中，基础地图数据可以通过采集的参考图像预先构建，具体的，在一种实施方式中，参考图8所示，基础地图数据可以通过以下步骤S810～S870生成：
步骤S810，在上述多张参考图像中，确定各参考图像间的匹配点对，并根据各参考图像间的匹配点对个数确定上述多张参考图像中的第一图像。
其中，第一图像可以是全部参考图像中与其他参考图像具有最多匹配点对的图像，可以是与其他任意一个参考图像具有最多匹配点对的图像，也可以是与其他多个参考图像具有最多匹配点对的图像。
对于上述多张参考图像，首先进行特征提取和特征匹配，并根据特征匹配的结果确定各参考图像间的匹配点对。例如，可以根据特征匹配的结果生成匹配关系图，该匹配关系图可以包括各参考图像的特征点、任意两个参考图像之间的匹配关系和任意两个参考图像的特征点之间的匹配关系等，根据该匹配关系图确定各参考图像间的匹配点对。
在确定各参考图像间的匹配点对后，根据各参考图像间的匹配点对个数将上述多张参考图像中具有最多匹配点对个数的参考图像确定为第一图像。例如，可以根据各参考图像的匹配点对数量对所有参考图像进行降序排序，作为参考图像匹配点对的第一图像序列，并将该图像序列中的第一张图像确定为第一图像。
步骤S820，在除上述第一图像外的剩余参考图像中，根据各参考图像与上述第一图像的匹配点对个数和预设的几何约束条件确定上述多张参考图像中的第二图像。
其中，第二图像可以是在除第一图像外的多张参考图像中与第一图像具有最多匹配点对的图像；预设的几何约束条件可以包括任意两个参考图像之间的基线长度大于一定阈值。
在除第一图像外的剩余参考图像中，可以通过确定各参考图像与上述第一图像的匹配点对个数和预设的几何条件确定剩余参考图像中的第二图像，如可以将剩余参考图像中与第一图像具有最多匹配点对个数，且与第一图像满足预设的几何约束条件的参考图像确定为第二图像。具体的，在确定第二图像时，可以遍历上述第一图像序列中，在该图像序列中查找与第一图像具有最多匹配点对个数，且满足预设的几何约束条件的图像，得到第二图像。
步骤S830，对上述第一图像和第二图像进行三维重建处理，生成目标场景的基准点云数据。
其中，基准点云数据是根据参考图像生成的目标场景的点云数据。
参考图像可以包括覆盖整个目标场景的图像，而不同视角下的参考图像之间存在针对同一场景局部的三角化关系，根据该三角化关系可以估计出第一图像和第二图像的相对位姿，并按照该相对位姿对第一图像和第二图像中新增的匹配点对进行三角化处理，重建出三维信息，即目标场景的基准点云数据。本示例性实施方式中，可以采用SFM(Structure-From-Motion，运动化结构)等算法对参考图像进行三维重建处理，以得到目标场景的基准点云数据。
此外，在生成目标场景的基准点云数据时，可以通过极线约束和视角约束等方法对生成的基准点云数据进行优化和滤波。
步骤S840，在上述剩余参考图像的未进行三维重建处理且符合预设重建条件的参考图像中确定当前待重建图像。
其中，预设重建条件可以包括参考图像在目标场景中的基准点云数据中的可视点数量大于预设数量和/或该参考图像的历史重建次数小于预设次数。具体的，可视点是指在基准点云数据中能够看到的三维点。
步骤S850，基于上述基准点云数据，对上述当前待重建图像进行三维重建处理，并根据该当前重建图像的重建结果更新上述基准点云数据。
根据上述基准点云数据，可以进一步对当前待重建图像进行三维重建处理，得到当前待重建图像的三维点云，并将该三维点云融合至基准点云数据。
具体的，在一种实施方式中，参考图9所示，步骤S850可以包括以下步骤S910～S940：
步骤S910，确定上述当前待重建图像与上述基准点云数据的匹配点对；
步骤S920，根据上述当前待重建图像与上述基准点云数据的匹配点对确定上述当前待重建图像在基准点云数据中的当前位姿；
步骤S930，基于上述当前位姿，确定上述当前待重建图像与上述基准点云数据的图像匹配点对；
步骤S940，对上述图像匹配点对进行三角化处理，生成上述当前待重建图像的重建结果，并根据该重建结果更新上述基准点云数据。
在生成当前待重建图像的三维点云数据时，可以根据当前待重建图像与基准点云数据之间的特征点的匹配点对，该匹配点对可以表现出当前待重建图像的二维特征点与基准点云数据的三维点之间的匹配关系，通过PnP算法进一步确定当前待重建图像在基准点云数据中的位姿，在确定位姿后，将基准点云数据重投影至当前待重建图像的平面，可以得到当前待重建图像的二维特征点和基准点云数据的二维特征点的匹配关系，进而对当前待重建图像的二维特征点和基准点云数据的二维特征点进行三角化处理，以生成当前待重建图像的三维点云。
在一种实施方式中，步骤S940对上述图像匹配点对进行三角化处理可以通过以下方式实现：
根据当前待重建图像和基准点云数据的投影图像分别构建相机投影矩阵；
通过上述相机投影矩阵对图像匹配点对进行三角化处理。
参考图10所示，在三角化处理过程中，假设三维空间点P在世界坐标系下的齐次坐标为X＝[x,y,z]T，相应的，在两个视角下的投影点分别为p1和p2，其在各自相机坐标系下的坐标为
Figure BDA0002780607950000141
当前待重建图像和基准点云数据的投影图像对应的相机投影矩阵分别为P1和P2，其中，P1＝[P11,P12,P13]T,P2＝[P21,P22,P23]T，P11、P12、P13分别对应投影矩阵P1的第1-3行，P21、P22、P23分别对应投影矩阵P2的第1-3行，在理想状态下，有
Figure BDA0002780607950000142
对于
Figure BDA0002780607950000143
在其两侧分别叉乘其本身，可得：
Figure BDA0002780607950000144
即：
Figure BDA0002780607950000145
进一步的，可以得到：
Figure BDA0002780607950000146
其中，公式(4)可以由公式(2)和(3)通过线性变换得到，因此，在每个相机视角下，可以得到两个约束条件，联合第二个视角，可得：AX＝0，其中：
Figure BDA0002780607950000147
在一种实施方式中，在对上述图像匹配点对进行三角化处理时，步骤S940也可以通过以下方式实现：
当通过各当前待重建图像与基准点云数据的匹配点对确定的当前位姿的数量大于预设阈值时，在当前位姿中筛选关键位姿，以通过该关键位姿确定当前待重建图像与基准点云数据的图像匹配点对，并对图像匹配点对进行三角化处理；
当通过各当前待重建图像与基准点云数据的匹配点对确定的当前位姿的数量不大于预设阈值时，分解相机投影矩阵，以对图像匹配点对进行三角化处理。
其中，预设阈值可以根据全部当前位姿的数量进行设置。
当通过各当前待重建图像与基准点云数据的匹配点对确定的当前位姿的数量大于预设阈值时，说明相机的视角数量较多，则可以在当前位姿中筛选出关键位姿，以提高当前位姿的准确率，进而提高基准点云数据的精度。本示例性实施方式中，可以通过最小二乘法或RANSAC(Random Sample Consensus，随机抽样一致算法)算法筛选关键位姿，具体的，当所确定的当前位姿误差较小时，可以通过最小二乘法筛选出关键位姿；当所确定的当前位姿误差较大时，可以通过RANSAC算法反复选择当前位姿，并对该当前位姿中的内点和外点进行判断，实现对当前位姿的筛选。当通过各当前待重建图像与基准点云数据的匹配点对确定的当前位姿的数量不大于预设阈值时，说明相机的视角数量较少，则可以通过分解相机投影矩阵对根据当前位姿得到的图像匹配点对进行三角化处理，例如，可以通过奇异值分解对上述相机投影矩阵进行分解。
此外，为了提高生成基准点云数据的准确率，在一种实施方式中，可以通过以下方式对生成的基准点云数据进行处理：
在每次重建处理后，对根据重建结果得到的基准点云数据进行局部优化；
在根据重建结果得到的基准点云数据的数量达到预设值时，对全部基准点云数据进行全局优化。
通过在每次重建处理后，对根据重建结果得到的基准点云数据进行局部优化，可以在每次生成基准点云数据后对基准点云数据进行修正，以及通过在根据重建结果得到的基准点云数据的数量达到预设值时，对全部基准点云数据进行全局优化，以对之前所有的重建结果进行修正，能够在较大程度上提高基准点云数据的精度。例如，可以通过BA优化(一种优化算法)方法对每次生成的基准点云数据或全部基准点云数据进行优化处理。
步骤S860，返回执行在上述剩余参考图像的未进行三维重建处理且符合预设重建条件的参考图像中确定当前待重建图像的操作，直至遍历全部未进行三维重建处理且符合预设重建条件的参考图像，并获取每个未进行三维重建处理且符合预设重建条件的参考图像的基准点云数据。
在当前待重建图像中被成功重建时，返回步骤S840，根据当前的基准点云数据和相机位姿，重新选择当前待重建图像；在当前待重建图像未被成功重建时，则尝试重建当前待重建图像，直至重建成功。
步骤S870，根据每个未进行三维重建处理且符合预设重建条件的参考图像的基准点云数据生成上述多张参考图像的点云数据，得到基础地图数据。
在每次对当前待重建图像进行三维重建处理得到点云数据后，将得到的点云数据融合至基准点云数据，由此，在完成对全部参考图像的三维重建处理后，可以得到目标场景的基础地图数据。
图11示出了本示例性实施方式中一种生成基础地图数据的示例性流程，可以包括步骤S1101～S1110：
步骤S1101，在上述多张参考图像中，确定第一图像和第二图像，作为初始图像匹配对。
其中，第一图像可以是全部参考图像中与其他参考图像具有最多匹配点对的图像；第二图像可以是在除第一图像外的多张参考图像中与第一图像具有最多匹配点对的图像。
步骤S1102，对上述初始图像匹配对中的第一图像和第二图像进行三维重建处理，生成目标场景的基准点云数据。
基于第一图像和第二图像在目标场景中局部的三角化关系，估计第一图像和第二图像的相对位姿，对该相对位姿进行滤波、优化等，提高相对位姿的准确率；基于相对位姿，对第一图像和第二图像中新增的匹配点对进行三角化处理，得到第一图像和第二图像的三维信息，即也就是目标场景的基准点云数据。
步骤S1103，在上述剩余参考图像的未进行三维重建处理且符合预设重建条件的参考图像中确定当前待重建图像。
本示例性实施方式中，可以按照上述剩余参考图像中各参考图像与第一图像的匹配点对数量对各参考图像进行降序排序，从而在剩余参考图像中依次选择未进行三维重建处理且符合预设重建条件的当前待重建图像。
步骤S1104，对当前待重建图像进行三维重建处理。
具体的，在对当前待重建图像进行三维重建处理时，首先，可以确定当前待重建图像与上述基准点云数据的匹配点对，确定当前待重建图像的二维特征点与基准点云数据的三维点的匹配关系，根据该匹配关系确定当前待重建图像在基准点云数据中的当前位姿；基于当前位姿，确定当前待重建图像与基准点云数据的投影图像的图像匹配点对，对该图像匹配点对进行三角化处理，生成当前待重建图像的重建结果。
在得到当前待重建图像的重建结果后，可以进一步将重建得到的当前待重建图像的三维点云融合至基准点云数据，以实现基准点云数据的更新，并提高基准点云数据的精度。
步骤S1105，确定当前待重建图像是否重建成功。
当确定当前待重建图像重建成功时，执行步骤S1103，重新确定当前待重建图像；当确定当前待重建图像重建不成功时，可以继续尝试重建当前待重建图像，直至当前待重建图像重建成功，或者也可以在尝试次数达到一定次数且当前待重建图像重建不成功时，继续执行步骤S1103，确定新的当前待重建图像。
步骤S1106，对由当前待重建图像重建得到的基准点云数据进行局部优化。
在每次对当前待重建图像进行三维重建处理后，可以对根据当前待重建图像的重建结果生成的基准点云数据进行局部优化。
步骤S1107，确定生成的基准点云数据的数量是否达到预设值。
当确定生成的基准点云数据数量达到预设值时，执行步骤S1108，对全部基准点云数据进行全局优化；当确定生成的基准点云数据数量未达到预设值时，执行步骤S1109，判断上述多张参考图像是否重建完成。
步骤S1108，对全部基准点云数据进行全局优化。
通过对全部基准点云数据进行全局优化，可以及时修正之前生成的基准点云数据，可以有效保证最终生成基础地图数据的地图精度。
步骤S1109，判断上述多张参考图像是否重建完成。
在确定上述多张参考图像重建完成时，执行步骤S1110，根据得到的每个基准点云数据生成上述多张参考图像的基础地图数据；在确定上述多张参考图像重建未完成时，执行步骤S1103，重新确定当前待重建图像。
步骤S1110，根据得到的每个基准点云数据生成上述多张参考图像的基础地图数据。
图12示出了上述地图数据更新方法的另一种示例性流程，在获取针对目标场景拍摄的待定位图像和预先建立的基础地图数据后，可以通过图像检索，在建立基础地图数据的多张参考图像中筛选出相似图像，根据相似图像确定待定位图像在基础地图数据中的目标位姿，并通过RANSAC算法对目标位姿进行筛选，基于筛选后的目标位姿，确定待定位图像中的特征点与基础地图数据中的基础三维点的匹配关系；同时，采用SFM算法等对待定位图像进行处理，生成目标场景的补充地图数据，并根据待定位图像的特征点与补充地图数据的三维点之间的匹配关系，确定补充地图数据的补充三维点和基础地图数据的基础三维点的匹配关系，利用基础三维点与补充三维点的匹配关系，确定补充地图数据与基础地图数据之间的变换参数，采用该变换参数对补充地图数据进行变换，实现补充地图数据和基础地图数据的融合，以更新基础地图数据。
本公开的示例性实施方式还提供了一种地图数据更新装置。参考图13所示，该地图数据更新装置1300可以包括：
获取模块1310，用于获取针对目标场景拍摄的待定位图像；
确定模块1320，用于根据预先建立的目标场景的基础地图数据，确定待定位图像在基础地图数据中对应的目标位姿；
重建模块1330，用于从待定位图像中重建出目标场景的补充地图数据；
融合模块1340，用于基于目标位姿，将补充地图数据融合至基础地图数据，以更新基础地图数据。
在一种实施方式中，确定模块1320，被配置为：
获取多张参考图像，参考图像为建立基础地图数据时所采集的目标场景的图像；
在参考图像中查找待定位图像的相似图像；
根据相似图像确定目标位姿。
在一种实施方式中，确定模块1320，被配置为：
获取待定位图像的全局描述信息和各参考图像的全局描述信息；
根据待定位图像的全局描述信息和各参考图像的全局描述信息之间的相似度，确定相似图像。
在一种实施方式中，确定模块1320，被配置为：
从待定位图像中提取多个特征区域的描述信息；
合成多个特征区域的描述信息，得到待定位图像的全局描述信息。
在一种实施方式中，确定模块1320，被配置为：
确定待定位图像与相似图像的匹配点对，每个匹配点对包括一个第一特征点和一个第二特征点，第一特征点为待定位图像中的特征点，第二特征点为相似图像中的特征点；
在基础地图数据中确定匹配点对中的第二特征点对应的基础三维点；
根据第一特征点与基础三维点的匹配关系确定目标位姿。
在一种实施方式中，确定模块1320，被配置为：
分别根据每个相似图像确定待定位图像在基础地图数据中对应的一组候选位姿；
对候选位姿进行聚类，根据聚类结果确定目标位姿。
在一种实施方式中，确定模块1320，被配置为：
确定包含候选位姿数量最多的类为最优类；
对最优类中的候选位姿取均值，得到目标位姿。
在一种实施方式中，融合模块1340，被配置为：
从相似图像中提取第二特征点；
基于目标位姿，将第二特征点对应的基础地图数据中的基础三维点重投影至待定位图像的平面，以确定待定位图像中的第一特征点与基础三维点的匹配关系；
利用第一特征点与基础三维点的匹配关系，将补充地图数据融合至基础地图数据。
在一种实施方式中，融合模块1340，被配置为：
根据第一特征点与补充地图数据中的补充三维点的对应关系，获取基础三维点与补充三维点的匹配关系；
利用基础三维点与补充三维点的匹配关系，确定补充地图数据与基础地图数据之间的变换参数；
采用变换参数对补充地图数据进行变换，并融合至基础地图数据。
在一种实施方式中，融合模块1340，被配置为：
基于目标位姿，将基础地图数据中的基础三维点重投影至待定位图像的平面，以确定待定位图像中的第一特征点与基础三维点的匹配关系；
根据第一特征点与补充地图数据中的补充三维点的对应关系，获取基础三维点与补充三维点的匹配关系；
利用基础三维点与补充三维点的匹配关系，确定补充地图数据与基础地图数据之间的变换参数；
采用变换参数对补充地图数据进行变换，并融合至基础地图数据。
在一种实施方式中，融合模块1340，被配置为：
利用基础三维点与补充三维点的匹配关系，生成基础地图数据的第一点集与补充地图数据的第二点集；第一点集中的基础三维点与第二点集中的补充三维点一一匹配；
对第一点集和第二点集中的坐标数据分别进行去中心化；
根据第一点集和第二点集确定变换参数。
在一种实施方式中，融合模块1340，被配置为：
根据第一点集中的基础三维点到原点的距离与第二点集中的补充三维点到原点的距离之比，确定补充地图数据与基础地图数据之间的尺度变换参数。
在一种实施方式中，融合模块1340，被配置为：
构建第一点集和第二点集的协方差矩阵；
分解协方差矩阵，得到补充地图数据与基础地图数据之间的旋转变换参数。
在一种实施方式中，融合模块1340，被配置为：
利用补充地图数据与基础地图数据之间的尺度变换参数和旋转变换参数对第二点集的中心坐标数据进行变换，并根据变换后与第一点集的中心坐标数据之差，确定补充地图数据与基础地图数据之间的平移变换参数。
在一种实施方式中，重建模块1330，被配置为：
对至少两张待定位图像进行三维重建处理，生成目标场景的补充地图数据。
在一种实施方式中，重建模块1330，被配置为：
在多张参考图像中，确定各参考图像间的匹配点对，并根据各参考图像间的匹配点对个数确定多张参考图像中的第一图像；
在除第一图像外的剩余参考图像中，根据各参考图像与第一图像的匹配点对个数和预设的几何约束条件确定多张参考图像中的第二图像；
对第一图像和第二图像进行三维重建处理，生成目标场景的基准点云数据；
在剩余参考图像的未进行三维重建处理且符合预设重建条件的参考图像中确定当前待重建图像；
基于基准点云数据，对当前待重建图像进行三维重建处理，并根据当前待重建图像的重建结果更新基准点云数据；
返回执行在剩余参考图像的未进行三维重建处理且符合预设重建条件的待重建图像中确定当前待重建图像的操作，直至遍历全部未进行三维重建处理且符合预设重建条件的参考图像，并获取每个未进行三维重建处理且符合预设重建条件的参考图像的基准点云数据；
根据每个未进行三维重建处理且符合预设重建条件的参考图像的基准点云数据生成多张参考图像的点云数据，得到基础地图数据。
在一种实施方式中，重建模块1330，被配置为：
确定当前待重建图像与基准点云数据的匹配点对；
根据当前待重建图像与基准点云数据的匹配点对确定当前待重建图像在基准点云数据中的当前位姿；
基于当前位姿，确定当前待重建图像与基准点云数据的图像匹配点对；
对图像匹配点对进行三角化处理，生成当前待重建图像的重建结果，并根据重建结果更新基准点云数据。
在一种实施方式中，重建模块1330，被配置为：
根据当前待重建图像和基准点云数据的投影图像分别构建相机投影矩阵；
通过相机投影矩阵对图像匹配点对进行三角化处理。
在一种实施方式中，重建模块1330，被配置为：
当通过各当前待重建图像与基准点云数据的匹配点对确定的当前位姿的数量大于预设阈值时，在当前位姿中筛选关键位姿，以通过关键位姿确定当前待重建图像与基准点云数据的图像匹配点对，并对图像匹配点对进行三角化处理；
当通过各当前待重建图像与基准点云数据的匹配点对确定的当前位姿的数量不大于预设阈值时，分解相机投影矩阵，以对图像匹配点对进行三角化处理。
在一种实施方式中，重建模块1330，被配置为：
在每次重建处理后，对根据重建结果得到的基准点云数据进行局部优化；
在根据重建结果得到的基准点云数据的数量达到预设值时，对全部基准点云数据进行全局优化。
在一种实施方式中，预设重建条件包括参考图像在目标场景的基准点云数据中的可视点数量大于预设数量和/或参考图像的历史重建次数小于预设次数。
上述装置1300中各部分的具体细节在方法部分实施方式中已经详细说明，因而不再赘述。
本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。在一种实施方式中，该程序产品可以实现为便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims (24)

1.一种地图数据更新方法，其特征在于，所述方法包括：
获取针对目标场景拍摄的待定位图像；
根据预先建立的所述目标场景的基础地图数据，确定所述待定位图像在所述基础地图数据中对应的目标位姿；
从所述待定位图像中重建出所述目标场景的补充地图数据；
基于所述目标位姿，将所述补充地图数据融合至所述基础地图数据，以更新所述基础地图数据。
2.根据权利要求1所述的方法，其特征在于，根据预先建立的所述目标场景的基础地图数据，确定所述待定位图像在所述基础地图数据中对应的目标位姿，包括：
获取多张参考图像，所述参考图像为建立所述基础地图数据时所采集的所述目标场景的图像；
在所述参考图像中查找所述待定位图像的相似图像；
根据所述相似图像确定所述目标位姿。
3.根据权利要求2所述的方法，其特征在于，所述在所述参考图像中查找所述待定位图像的相似图像，包括：
获取所述待定位图像的全局描述信息和各所述参考图像的全局描述信息；
根据所述待定位图像的全局描述信息和各所述参考图像的全局描述信息之间的相似度，确定所述相似图像。
4.根据权利要求3所述的方法，其特征在于，所述获取所述待定位图像的全局描述信息，包括：
从所述待定位图像中提取多个特征区域的描述信息；
合成所述多个特征区域的描述信息，得到所述待定位图像的全局描述信息。
5.根据权利要求2所述的方法，其特征在于，所述根据所述相似图像确定所述目标位姿，包括：
确定所述待定位图像与所述相似图像的匹配点对，每个匹配点对包括一个第一特征点和一个第二特征点，所述第一特征点为所述待定位图像中的特征点，所述第二特征点为所述相似图像中的特征点；
在所述基础地图数据中确定所述匹配点对中的所述第二特征点对应的基础三维点；
根据所述第一特征点与所述基础三维点的匹配关系确定所述目标位姿。
6.根据权利要求2所述的方法，其特征在于，当查找到多个相似图像时，所述根据所述相似图像确定所述目标位姿，包括：
分别根据每个相似图像确定所述待定位图像在所述基础地图数据中对应的一组候选位姿；
对所述候选位姿进行聚类，根据聚类结果确定所述目标位姿。
7.根据权利要求6所述的方法，其特征在于，所述根据聚类结果确定所述目标位姿，包括：
确定包含候选位姿数量最多的类为最优类；
对所述最优类中的候选位姿取均值，得到所述目标位姿。
8.根据权利要求2所述的方法，其特征在于，所述基于所述目标位姿，将所述补充地图数据融合至所述基础地图数据，包括：
从所述相似图像中提取第二特征点；
基于所述目标位姿，将所述第二特征点对应的所述基础地图数据中的基础三维点重投影至所述待定位图像的平面，以确定所述待定位图像中的第一特征点与所述基础三维点的匹配关系；
利用所述第一特征点与所述基础三维点的匹配关系，将所述补充地图数据融合至所述基础地图数据。
9.根据权利要求8所述的方法，其特征在于，所述利用所述第一特征点与所述基础三维点的匹配关系，将所述补充地图数据融合至所述基础地图数据，包括：
根据所述第一特征点与所述补充地图数据中的补充三维点的对应关系，获取所述基础三维点与所述补充三维点的匹配关系；
利用所述基础三维点与所述补充三维点的匹配关系，确定所述补充地图数据与所述基础地图数据之间的变换参数；
采用所述变换参数对所述补充地图数据进行变换，并融合至所述基础地图数据。
10.根据权利要求1所述的方法，其特征在于，所述基于所述目标位姿，将所述补充地图数据融合至所述基础地图数据，包括：
基于所述目标位姿，将所述基础地图数据中的基础三维点重投影至所述待定位图像的平面，以确定所述待定位图像中的第一特征点与所述基础三维点的匹配关系；
根据所述第一特征点与所述补充地图数据中的补充三维点的对应关系，获取所述基础三维点与所述补充三维点的匹配关系；
利用所述基础三维点与所述补充三维点的匹配关系，确定所述补充地图数据与所述基础地图数据之间的变换参数；
采用所述变换参数对所述补充地图数据进行变换，并融合至所述基础地图数据。
11.根据权利要求9或10所述的方法，其特征在于，所述利用所述基础三维点与所述补充三维点的匹配关系，确定所述补充地图数据与所述基础地图数据之间的变换参数，包括：
利用所述基础三维点与所述补充三维点的匹配关系，生成基础地图数据的第一点集与所述补充地图数据的第二点集；所述第一点集中的基础三维点与所述第二点集中的补充三维点一一匹配；
对所述第一点集和所述第二点集中的坐标数据分别进行去中心化；
根据所述第一点集和所述第二点集确定所述变换参数。
12.根据权利要求11所述的方法，其特征在于，所述根据所述第一点集和所述第二点集确定所述变换参数，包括：
根据所述第一点集中的基础三维点到原点的距离与所述第二点集中的补充三维点到原点的距离之比，确定所述补充地图数据与所述基础地图数据之间的尺度变换参数。
13.根据权利要求11所述的方法，其特征在于，所述根据所述第一点集和所述第二点集确定所述变换参数，包括：
构建所述第一点集和所述第二点集的协方差矩阵；
分解所述协方差矩阵，得到所述补充地图数据与所述基础地图数据之间的旋转变换参数。
14.根据权利要求11所述的方法，其特征在于，所述根据所述第一点集和所述第二点集确定所述变换参数，包括：
利用所述补充地图数据与所述基础地图数据之间的尺度变换参数和旋转变换参数对所述第二点集的中心坐标数据进行变换，并根据变换后与所述第一点集的中心坐标数据之差，确定所述补充地图数据与所述基础地图数据之间的平移变换参数。
15.根据权利要求1所述的方法，其特征在于，所述从所述待定位目标图像中重建出所述目标场景的补充地图数据，包括：
对至少两张待定位图像进行三维重建处理，生成所述目标场景的补充地图数据。
16.根据权利要求2所述的方法，其特征在于，所述基础地图数据通过以下方法生成：
在所述多张参考图像中，确定各参考图像间的匹配点对，并根据所述各参考图像间的匹配点对个数确定所述多张参考图像中的第一图像；
在除所述第一图像外的所述剩余参考图像中，根据各参考图像与所述第一图像的匹配点对个数和预设的几何约束条件确定所述多张参考图像中的第二图像；
对所述第一图像和所述第二图像进行三维重建处理，生成所述目标场景的基准点云数据；
在所述剩余参考图像的未进行三维重建处理且符合预设重建条件的参考图像中确定当前待重建图像；
基于所述基准点云数据，对所述当前待重建图像进行三维重建处理，并根据所述当前待重建图像的重建结果更新所述基准点云数据；
返回执行在所述剩余参考图像的未进行三维重建处理且符合预设重建条件的待重建图像中确定当前待重建图像的操作，直至遍历全部未进行三维重建处理且符合预设重建条件的参考图像，并获取每个未进行三维重建处理且符合预设重建条件的参考图像的基准点云数据；
根据每个未进行三维重建处理且符合预设重建条件的参考图像的基准点云数据生成所述多张参考图像的点云数据，得到所述基础地图数据。
17.根据权利要求16所述的方法，其特征在于，所述基于所述基准点云，对所述当前待重建图像进行三维重建处理，并根据所述当前待重建图像的重建结果更新所述基准点云，包括：
确定所述当前待重建图像与所述基准点云数据的匹配点对；
根据所述当前待重建图像与所述基准点云数据的匹配点对确定所述当前待重建图像在所述基准点云数据中的当前位姿；
基于所述当前位姿，确定所述当前待重建图像与所述基准点云数据的图像匹配点对；
对所述图像匹配点对进行三角化处理，生成所述当前待重建图像的重建结果，并根据所述重建结果更新所述基准点云数据。
18.根据权利要求17所述的方法，其特征在于，在对所述图像匹配点对进行三角化处理时，所述方法包括：
根据所述当前待重建图像和所述基准点云数据的投影图像分别构建相机投影矩阵；
通过所述相机投影矩阵对所述图像匹配点对进行三角化处理。
19.根据权利要求18所述的方法，其特征在于，在对所述图像匹配点对进行三角化处理时，所述方法还包括：
当通过各所述当前待重建图像与所述基准点云数据的匹配点对确定的所述当前位姿的数量大于预设阈值时，在所述当前位姿中筛选关键位姿，以通过所述关键位姿确定所述当前待重建图像与所述基准点云数据的图像匹配点对，并对所述图像匹配点对进行三角化处理；
当通过各所述当前待重建图像与所述基准点云数据的匹配点对确定的所述当前位姿的数量不大于预设阈值时，分解所述相机投影矩阵，以对所述图像匹配点对进行三角化处理。
20.根据权利要求16所述的方法，其特征在于，在进行三维重建处理时，所述方法还包括：
在每次重建处理后，对根据重建结果得到的基准点云数据进行局部优化；
在根据所述重建结果得到的基准点云数据的数量达到预设值时，对全部所述基准点云数据进行全局优化。
21.根据权利要求16所述的方法，其特征在于，所述预设重建条件包括所述参考图像在所述目标场景的基准点云数据中的可视点数量大于预设数量和/或所述参考图像的历史重建次数小于预设次数。
22.一种地图数据更新装置，其特征在于，包括：
获取模块，用于获取针对目标场景拍摄的待定位图像；
确定模块，用于根据预先建立的所述目标场景的基础地图数据，确定所述待定位图像在所述基础地图数据中对应的目标位姿；
重建模块，用于从所述待定位图像中重建出所述目标场景的补充地图数据；
融合模块，用于基于所述目标位姿，将所述补充地图数据融合至所述基础地图数据，以更新所述基础地图数据。
23.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至21任一项所述的方法。
24.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至21任一项所述的方法。
CN202011280541.6A 2020-11-16 地图数据更新方法、装置、存储介质与电子设备 Active CN112269851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011280541.6A CN112269851B (zh) 2020-11-16 地图数据更新方法、装置、存储介质与电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011280541.6A CN112269851B (zh) 2020-11-16 地图数据更新方法、装置、存储介质与电子设备

Publications (2)

Publication Number Publication Date
CN112269851A true CN112269851A (zh) 2021-01-26
CN112269851B CN112269851B (zh) 2024-05-17

Family

ID=

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643422A (zh) * 2021-07-09 2021-11-12 北京三快在线科技有限公司 一种信息展示方法及装置
CN113706592A (zh) * 2021-08-24 2021-11-26 北京百度网讯科技有限公司 一种定位信息的修正方法、装置、电子设备和存储介质
CN114756798A (zh) * 2022-06-13 2022-07-15 中汽创智科技有限公司 基于Web端的点云渲染方法、系统及存储介质
WO2022179047A1 (zh) * 2021-02-26 2022-09-01 魔门塔(苏州)科技有限公司 一种状态信息估计方法及装置
WO2022205750A1 (zh) * 2021-03-31 2022-10-06 深圳市慧鲤科技有限公司 点云数据生成方法、装置、电子设备及存储介质
CN115359203A (zh) * 2022-09-21 2022-11-18 李敏 一种三维高精度地图生成方法、系统及云平台
CN115439536A (zh) * 2022-08-18 2022-12-06 北京百度网讯科技有限公司 视觉地图更新方法、装置及电子设备
CN115982399A (zh) * 2023-03-16 2023-04-18 北京集度科技有限公司 图像查找方法、移动设备、电子设备、及计算机程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
CN110275968A (zh) * 2019-06-26 2019-09-24 北京百度网讯科技有限公司 图像数据处理方法和装置
CN110648397A (zh) * 2019-09-18 2020-01-03 Oppo广东移动通信有限公司 场景地图生成方法、装置、存储介质及电子设备
CN111833447A (zh) * 2020-07-13 2020-10-27 Oppo广东移动通信有限公司 三维地图构建方法、三维地图构建装置及终端设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106688A (zh) * 2013-02-20 2013-05-15 北京工业大学 基于双层配准方法的室内三维场景重建方法
CN110275968A (zh) * 2019-06-26 2019-09-24 北京百度网讯科技有限公司 图像数据处理方法和装置
CN110648397A (zh) * 2019-09-18 2020-01-03 Oppo广东移动通信有限公司 场景地图生成方法、装置、存储介质及电子设备
CN111833447A (zh) * 2020-07-13 2020-10-27 Oppo广东移动通信有限公司 三维地图构建方法、三维地图构建装置及终端设备

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022179047A1 (zh) * 2021-02-26 2022-09-01 魔门塔(苏州)科技有限公司 一种状态信息估计方法及装置
WO2022205750A1 (zh) * 2021-03-31 2022-10-06 深圳市慧鲤科技有限公司 点云数据生成方法、装置、电子设备及存储介质
CN113643422A (zh) * 2021-07-09 2021-11-12 北京三快在线科技有限公司 一种信息展示方法及装置
CN113643422B (zh) * 2021-07-09 2023-02-03 北京三快在线科技有限公司 一种信息展示方法及装置
CN113706592A (zh) * 2021-08-24 2021-11-26 北京百度网讯科技有限公司 一种定位信息的修正方法、装置、电子设备和存储介质
CN114756798A (zh) * 2022-06-13 2022-07-15 中汽创智科技有限公司 基于Web端的点云渲染方法、系统及存储介质
CN114756798B (zh) * 2022-06-13 2022-10-18 中汽创智科技有限公司 基于Web端的点云渲染方法、系统及存储介质
CN115439536A (zh) * 2022-08-18 2022-12-06 北京百度网讯科技有限公司 视觉地图更新方法、装置及电子设备
CN115439536B (zh) * 2022-08-18 2023-09-26 北京百度网讯科技有限公司 视觉地图更新方法、装置及电子设备
CN115359203A (zh) * 2022-09-21 2022-11-18 李敏 一种三维高精度地图生成方法、系统及云平台
CN115982399A (zh) * 2023-03-16 2023-04-18 北京集度科技有限公司 图像查找方法、移动设备、电子设备、及计算机程序产品
CN115982399B (zh) * 2023-03-16 2023-05-16 北京集度科技有限公司 图像查找方法、移动设备、电子设备、及计算机程序产品

Similar Documents

Publication Publication Date Title
EP3786890B1 (en) Method and apparatus for determining pose of image capture device, and storage medium therefor
CN112270710B (zh) 位姿确定方法、位姿确定装置、存储介质与电子设备
CN113096185B (zh) 视觉定位方法、视觉定位装置、存储介质与电子设备
CN112270755B (zh) 三维场景构建方法、装置、存储介质与电子设备
CN110705574A (zh) 定位方法及装置、设备、存储介质
CN112927271B (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN111784734A (zh) 图像处理方法及装置、存储介质和电子设备
CN112270736B (zh) 增强现实处理方法及装置、存储介质和电子设备
CN112927362A (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN112116655B (zh) 目标对象的位置确定方法和装置
CN112381828A (zh) 基于语义和深度信息的定位方法、装置、介质与设备
CN111652933B (zh) 基于单目相机的重定位方法、装置、存储介质与电子设备
CN113436270A (zh) 传感器标定方法及装置、电子设备和存储介质
CN113313832B (zh) 三维模型的语义生成方法、装置、存储介质与电子设备
CN114981845A (zh) 图像扫描方法及装置、设备、存储介质
JP6388532B2 (ja) 画像提供システムおよび画像提供方法
CN116630598B (zh) 大场景下的视觉定位方法、装置、电子设备及存储介质
CN113269823A (zh) 深度数据获取方法、装置、存储介质与电子设备
CN114241039A (zh) 地图数据处理方法、装置、存储介质与电子设备
CN112269851B (zh) 地图数据更新方法、装置、存储介质与电子设备
KR20180133052A (ko) 360도 이미지 및 비디오 기반의 증강현실 콘텐츠 저작 방법
CN112700525A (zh) 一种图像处理方法及电子设备
CN112269851A (zh) 地图数据更新方法、装置、存储介质与电子设备
CN114419189A (zh) 地图构建方法及装置、电子设备、存储介质
CN112598732A (zh) 目标设备定位方法、地图构建方法及装置、介质、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant