CN106796723B - 用于在协同多用户slam系统中交换地图信息的选择方法、装置及计算机可读媒体 - Google Patents

用于在协同多用户slam系统中交换地图信息的选择方法、装置及计算机可读媒体 Download PDF

Info

Publication number
CN106796723B
CN106796723B CN201580054250.6A CN201580054250A CN106796723B CN 106796723 B CN106796723 B CN 106796723B CN 201580054250 A CN201580054250 A CN 201580054250A CN 106796723 B CN106796723 B CN 106796723B
Authority
CN
China
Prior art keywords
map
strategy
cartographic information
emission probability
slam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580054250.6A
Other languages
English (en)
Other versions
CN106796723A (zh
Inventor
温斯顿·伊
格哈德·赖特迈尔
彼得·H·罗贝尔
潘琪
若尔特·邵洛瓦里
迈克尔·盖尔沃茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106796723A publication Critical patent/CN106796723A/zh
Application granted granted Critical
Publication of CN106796723B publication Critical patent/CN106796723B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/77Determining position or orientation of objects or cameras using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明揭示一种用于选择第一装置的SLAM地图信息的部分以发射到协同SLAM环境中的第二装置的方法及设备。在一个实施例中,所实施的功能包含:确定所述第一装置的地图与所述第二装置的地图之间的3D配准变换是否可用;及基于所述第一装置的所述地图与所述第二装置的所述地图之间的3D配准变换是否可用,根据第一策略或第二策略中的一者而将所述第一装置的地图信息的部分发射到所述第二装置。

Description

用于在协同多用户SLAM系统中交换地图信息的选择方法、装 置及计算机可读媒体
相关申请案的交叉参考
本申请案主张在2014年10月23日申请的标题为“用于在协同多用户SLAM系统中交换地图信息的选择策略(SELECTION STRATEGY FOR EXCHANGING MAP INFORMATION INCOLLABORATIVE MULTI-USER SLAM SYSTEMS)”的序号为14/522,233的美国专利申请案的优先权权益,所述美国专利申请案以引用的方式并入本文中。
技术领域
本发明的实施例大体来说涉及视觉测程法。特定来说,本发明的实施例涉及协同同时定位与地图构建(SLAM)系统中的信息交换。
背景技术
同时定位与地图构建(SLAM)技术使得配备有相机的装置能够快速捕获环境的3D模型(即,地图构建)同时跟踪并捕获相机的六自由度(6DoF)姿势信息。地图构建及姿势跟踪两者可用于例如游戏、交互可视化及广告应用程序等应用程序中。
执行基于SLAM的地图构建及姿势跟踪的多个配备相机的装置可经联网以使得其可交换地图及姿势信息。此些装置可为(例如)具有无线通信能力的配备相机的移动装置。通过计算地图之间的3D变换,不同装置的地图可相关且组合以形成较大的共享地图。因此,通过利用共享地图且借此减少重复工作,可减少地图构建中的额外开销。
地图及姿势信息共享还可能实现或增强例如多用户游戏、多用户设计会话、社交增强真实(例如,用户可在环境中留下消息或其它内容以供其它用户检索),及室内导航等应用程序。
在装置间立刻交换所有地图信息可并非必需的且可能消耗过多发射带宽及发射时间方面的资源,这是因为并非所有地图信息在给定情景中同样可能有用且地图信息的总量可能相当大。
发明内容
本文中所揭示的实施例可包含一种用于选择第一装置的SLAM地图信息的部分以用于发射到协同SLAM环境中的第二装置的方法,所述方法包括:通过将所述第一装置的地图与所述第二装置的地图进行匹配来确定所述第一装置的所述地图与所述第二装置的所述地图之间的3D配准变换是否可用;响应于确定所述第一装置的地图与所述第二装置的地图之间的3D配准变换不可用,应用用于选择地图信息的待发射到所述第二装置的部分的第一策略;及响应于确定所述第一装置的地图与所述第二装置的地图之间的3D配准变换可用,应用用于选择地图信息的待发射到所述第二装置的部分的第二策略,所述第二策略不同于所述第一策略。
本文中所揭示的另一实施例可包含一种用于选择第一装置的SLAM地图信息的部分以用于发射到协同SLAM环境中的第二装置的第一装置,所述第一装置包括:存储器;及处理器,所述处理器用以:通过将所述第一装置的地图与所述第二装置的地图进行匹配来确定所述第一装置的所述地图与所述第二装置的所述地图之间的3D配准变换是否可用;响应于确定所述第一装置的地图与所述第二装置的地图之间的3D配准变换不可用,应用用于选择地图信息的待发射到所述第二装置的部分的第一策略;及响应于确定所述第一装置的地图与所述第二装置的地图之间的3D配准变换可用,应用用于选择地图信息的待发射到所述第二装置的部分的第二策略,所述第二策略不同于所述第一策略。
本文中所揭示的又一实施例可包含一种用于选择第一装置的SLAM地图信息的部分以用于发射到协同SLAM环境中的第二装置的第一装置,所述第一装置包括:用于确定所述第一装置的地图与所述第二装置的地图之间的3D配准变换是否可用的装置;用于响应于通过将所述第一装置的地图与所述第二装置的地图进行匹配来确定所述第一装置的所述地图与所述第二装置的所述地图之间的3D配准变换不可用,应用用于选择地图信息的待发射到所述第二装置的部分的第一策略的装置;及用于响应于确定所述第一装置的地图与所述第二装置的地图之间的3D配准变换可用,应用用于选择地图信息的待发射到所述第二装置的部分的第二策略的装置,所述第二策略不同于所述第一策略。
本文中所揭示的额外实施例可包含一种非暂时性计算机可读媒体,其包含代码,所述代码在由处理器执行时致使所述处理器执行包括以下的方法:通过将第一装置的地图与第二装置的地图进行匹配来确定所述第一装置的所述地图与所述第二装置的所述地图之间的3D配准变换是否可用;响应于确定所述第一装置的地图与所述第二装置的地图之间的3D配准变换不可用,应用用于选择所述第一装置的地图信息的待发射到所述第二装置的部分的第一策略;及响应于确定所述第一装置的地图与所述第二装置的地图之间的3D配准变换可用,应用用于选择所述第一装置的地图信息的待发射到所述第二装置的部分的第二策略,所述第二策略不同于所述第一策略。
附图说明
图1说明经调适用于协同SLAM操作的装置的实施例。
图2说明其中可实践本发明的实施例的示范性环境。
图3A为说明用于选择地图信息的待发射的部分的示范性方法的流程图。
图3B为说明用于选择地图信息的待发射的部分的示范性方法的流程图。
具体实施方式
图1中说明经调适用于协同SLAM操作的实例装置100。如本文中所使用的装置(例如装置100)可为:移动装置、无线装置、移动电话、个人数字助理、移动计算机、可穿戴装置(例如,手表、头戴式显示器、虚拟现实眼镜,等等)、平板、个人计算机、膝上型计算机或具有处理能力的任何类型的装置。如本文中所使用,移动装置可为任何便携式或可移动装置或机器,其可配置以获取从一或多个无线通信装置或网络发射的无线信号,及将无线信号发射到一或多个无线通信装置或网络。因此,通过实例但非限制性,装置100可包含无线电装置、蜂窝式电话装置、计算装置、个人通信系统装置或其它类似可移动配备无线通信的装置、器具,或机器。
装置100经展示为包括可经由总线105电耦合(或可视情况以其它方式通信)的硬件元件。硬件元件可包含:一或多个处理器110,包含但不限于一或多个通用处理器及/或一或多个专用处理器(例如,数字信号处理芯片、图像加速处理器,及/或其类似者);一或多个输入装置115,其包含但不限于相机116、鼠标、键盘、小键盘、触摸屏、麦克风及/或其类似者;及一或多个输出装置120,其包含但不限于显示装置、扬声器、打印机及/或其类似者。
装置100可进一步包含一或多个非暂时性存储装置125(及/或与其通信),所述一或多个非暂时性存储装置可包括(非限制)本地及/或网络可存取存储器,及/或可包含(非限制)磁盘驱动、驱动阵列、光学存储装置、固态存储装置,例如,可编程、可快闪更新及/或其类似者的随机存取存储器(“RAM”)及/或只读存储器(“ROM”)。此些存储装置可经配置以实施任何适当数据存储,包含(非限制)各种文件系统、数据库结构及/或其类似者。
装置还可包含通信子系统130,其可包含但不限于调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置及/或芯片组(例如,蓝牙装置、802.11装置、Wi-Fi装置、WiMAX装置、近场通信“NFC”装置、蜂窝通信设施,等等),及/或其类似者。通信子系统130可准许与网络、其它装置及/或本文中所描述的任何其它装置交换数据。在一个实施例中,装置100可进一步包括存储器135,其可包含RAM或ROM装置,如上文所描述。应了解,装置100可为移动装置或非移动装置,且可具有无线及/或有线连接。
装置100还可包括软件元件(经展示为经同时定位在工作存储器135内),包含操作系统140、装置驱动器、可执行库,及/或其它代码,例如一或多个应用程序145,其可包括及/或可经设计以实施方法及/或配置系统,由实施例提供,如本文中所描述。仅通过实例方式,关于下文所论述的方法所描述的一或多个程序可经实施为可由装置100(及/或装置内的处理器110)执行的代码及/或指令;在一方面中,接着,此代码及/或指令可用于配置及/或调适通用计算机(或其它装置)以执行根据所描述方法的一或多个操作。
一组这些指令及/或代码可经存储在非暂时性计算机可读存储媒体(例如上文所描述的存储装置125)上。在一些状况下,存储媒体可经并入于装置(例如,装置100)内。在其它实施例中,存储媒体可与装置(例如,可拆卸媒体,例如光盘)分离,及/或经提供于安装包中,使得存储媒体可用于编程、配置及/或调适通用计算机,其中在所述通用计算机上存储有指令/代码。这些指令可呈可执行代码(可由计算机化装置100执行)的形式及/或可呈原始代码及/或可安装代码的形式,其在于装置100上编译及/或安装(例如,使用各种通常可用编译器、安装程序、压缩/解压缩实用工具等中的任何者)时,接着呈可执行代码的形式。
应用程序145可包含用于协同SLAM操作的一或多个应用程序。用于协同SLAM操作的实例应用程序能够快速捕获环境的3D模型(即,地图构建)同时跟踪并获得相机116的六自由度(6DoF)姿势信息,以及与其它装置交换地图及姿势信息。应了解,下文中所描述的用于协同SLAM操作的应用程序的功能性可替代地实施于硬件或不同层级的软件(例如,操作系统(OS))、固件、计算机视觉模块等等中。
本发明的实施例是针对用于选择待发射到同一协同SLAM环境中的另一装置的地图信息的部分以使得地图信息的在给定情景中更可能为可能相关且有用的部分具有较高的被发射的概率的方法。
用于选择装置100的SLAM地图信息的部分以用于发射到协同SLAM环境中的另一装置的装置100包括:存储器135;及处理器110,所述处理器用以:确定装置100的地图与其它装置的地图之间的3D配准变换是否可用,响应于确定装置100的地图与其它装置的地图之间的3D配准变换不可用,应用用于选择地图信息的待发射到其它装置的部分的第一策略,及响应于确定装置100的地图与其它装置的地图之间的3D配准变换可用,应用用于选择地图信息的待发射到其它装置的部分的第二策略,所述第二策略不同于所述第一策略。
参考图2,展示其中可实践本发明的实施例的示范性环境200的说明。所展示的两个装置210及220可为在环境200中以协同方式执行SLAM操作的配备相机的装置,例如,装置100。更多装置可参与协同SLAM操作但未经展示以便不会混淆本发明的实施例的描述。所属领域的技术人员应能够从下文的阐明其中仅涉及两个装置210及220的本发明的实施例的描述推断其中涉及多于两个装置的本发明的实施例的操作。在环境200中执行协同SLAM操作的装置的数目不会以任何方式限制本发明。
装置210与装置220之间的通信链路230使得两个装置210及220能够彼此通信并交换包含地图及姿势信息的数据。通信链路230可呈任何种类的通信媒体的形式(有线或无线),如由上文关于装置100所描述的通信子系统130实现,但无线通信链路更便利且因此更合适。通信链路230可为装置210与装置220之间的直接通信链路,或可由服务器、网络装置等(未展示)介接。此外,装置210及220中的每一者的存储器可存储装置的至少一个SLAM地图,且可存储通过通信链路230从其它装置接收的其它装置的当前及先前姿势。
下文中的本发明的实施例的描述利用装置210作为将其地图数据发射到另一装置以用SLAM操作辅助其它装置的装置的实例,且利用装置220作为接收来自另一装置的地图数据的装置的实例。然而,应理解,角色可在协同SLAM环境中颠倒,每一装置可将地图数据发射到其它装置中的任一者,且可接收来自其它装置中的任一者的地图数据。还应理解,下文中所描述的本发明的实施例可经调适用于服务器装置,所述服务器装置存储共享地图且将地图信息发射到执行SLAM操作的装置但自身不执行SLAM操作。换句话说,自身不执行SLAM操作的地图服务器可利用下文中所描述的本发明的实施例来确定针对每一装置应发射共享地图的哪一部分。
如所属领域的技术人员已知,SLAM地图可表示为关键帧集及3D点集,其中关键帧包括所捕获图像及与图像相关联的相机的姿势,且3D点为描述视觉特征在3D环境中的位置的3D矢量。关键帧中的3D点的观察为所述3D点到关键帧的图像中的所测量2D重投影。知晓关键帧、3D点及3D点的观察间的关系允许计算完整SLAM地图直到未知标定因数。此过程可被称作3D配准变换。因此,装置可在地图之间的3D配准变换可用时将从另一装置接收的地图信息并入到其自己的SLAM地图中。
装置210及220可用同一可视表面的不同关键帧及不同3D点估计来将同一场景存储在其相应地图中。然而,两个地图中的许多3D点往往一致,这是因为其可为用相同算法产生。因此,可使用共同3D点来估计两个地图之间的3D配准变换。即,给定两个3D点集(其中第一集及第二集中的点之间的对应性已知),可使用已知算法来估计统一定标参数、旋转矩阵及平移。
因为建立3D配准变换依赖于两个地图之间的共享场景的存在,3D配准变换可并非始终在两个装置的地图之间可用。一般来说,可在来自至少一个关键帧的3D点集或来自两个关键帧的2D观察已在两个装置的两个地图之间匹配之后计算3D变换。因此,可取决于装置210及220的地图之间的3D配准变换是否可用而需要用于选择装置210的地图信息的待发射到装置220的部分的不同策略。
本发明的实施例将发射概率分布指派到装置210的地图的关键帧集。针对关键帧集中的每一关键帧,发射概率分布可对选择关键帧以用于接下来发射到装置220的概率进行建模。下文中,包括的关键帧可经表示为;发射概率分布可经表示为P;且选择第i关键帧以用于接下来发射的个别概率可经表示为。
默认发射概率分布可为统一分布。换句话说,用于所有i的的初始值可为1/|{Ki}|°可接着通过贝叶斯更新步骤基于新事件或信息在协同SLAM操作期间更新发射概率。每一更新可用似然函数表示,所述似然函数逐点乘以旧发射概率分布(旧发射概率分布可经表示为因此,似然函数改变概率分布的每一结果的可能(或合适)的程度。换句话说,在一些实施例中,用于选择地图信息的部分以用于发射的不同策略可对应于不同似然函数,且通过规定不同似然函数,可控制所述概率改变的方式。似然函数可经表示为L={li}。使旧发射概率分布与似然函数相乘的结果可经重新归一化以获得新发射概率分布。
因此,新发射概率分布可表示为=,其中
参考图3A,展示说明可在装置210上操作以用于选择地图信息的待发射到装置220的部分的示范性方法300A的流程图。在框310处,装置210可通过将装置210的地图与装置220的地图进行匹配来确定装置210的地图与装置220的地图之间的3D配准变换是否可用。如果确定装置210的地图与装置220的地图之间的3D配准变换不可用(例如,这是因为装置210或装置220已以新方式加入协同SLAM操作),那么方法300A继续进行到框320。在框320处,可应用用于选择地图信息的待发射到装置220的部分的第一策略。由于装置210的地图与装置220的地图之间的3D配准变换不可用,那么优先级为建立3D配准变换。在一些实施例中,第一策略可将优先排序最新传入关键帧,即,增加接下来欲将最新传入关键帧发射到装置220的概率。最新传入关键帧可经表示为,且与最新传入关键帧相关联的似然函数的个别分量可表示为。因此,反映此策略的似然函数可为=,其中其中>。
在根据第一策略交换地图信息的同时,装置210可有时返回到框310以通过将装置210的地图与装置220的地图进行匹配来重新评估装置210的地图与装置220的地图之间的3D配准变换是否可用,以便确定是否可利用第二策略(其将在下文详细描述)。
另一方面,响应于在框310处的装置210的地图与装置220的地图之间的3D配准变换可用的确定,方法300A继续进行到框330,其中可应用用于选择地图信息的待发射到装置220的部分的第二策略。利用3D配准变换,第二策略可将优先排序装置210的地图的对应于最接近于装置220的当前姿势的场景的部分以用于发射到装置220,以使得可尽可能避免在装置220处对同一场景进行重新地图构建。反映此策略的似然函数可为其中dist(a,b)经定义为a与b之间的距离,且为最接近于关键帧的装置220的当前或过去姿势,此可使用公式代表最小值的自变量)找到。
替代第二策略可考虑装置220的预测移动。可用(例如)航位推算技术来估计装置220的未来姿势。接下来,替代优先排序对应于最接近于装置220的当前或先前姿势的场景的关键帧,可根据此替代第二策略优先排序对应于最接近于装置220的所估计未来姿势的场景的关键帧。
在其中装置210将地图信息发射到多于一个客户端装置(例如,额外第三装置(图2中未展示))的本发明的实施例中,为实施策略(例如,上文所描述的第一及第二策略),装置210可将单独发射概率分布用于其它装置中的每一者。替代地,装置210可将组合式发射概率分布用于所有其它装置。换句话说,考虑装置210的地图信息用于不同其它装置的可能有用性,且装置210可优先排序最可能用于其它装置的集合的关键帧到相应其它装置的发射。
参考图3B,展示说明可在装置210上操作以用于选择地图信息的待发射到装置220的部分的示范性方法300B的流程图。在框340处,装置210可通过将装置210的地图与装置220的地图进行匹配来确定装置210的地图与装置220的地图之间的3D配准变换是否可用。接下来,在框350处,装置210可根据策略将其地图信息的部分发射到第二装置220,其中策略可是基于装置210的地图与装置220的地图之间的3D配准变换是否可用而确定。考虑到装置220的过去、现在及预测的姿势,在框350处所利用的策略可为第一策略(如上文所描述,其致使等概率地发射所有关键帧),或第二策略(也如上文所描述,其致使发射最可能用于装置220的关键帧)。
还已预期上文所描述的发射概率分布可经调适以实施发射速率控制机制。使用发射概率分布来实现发射速率控制可通过将分量加入到对应于接下来将不发射任何数据的事件的发射概率分布中来实施。发射概率分布的其它组件可经成比例重新归一化以使得发射概率分布中的所有分量的和保持为1。因此,应了解,可通过修改对应于无发射事件的发射概率分布的分量及重新归一化其它分量来修改地图数据的发射速率。
因此,通过利用用于选择到协同SLAM环境中的另一装置的地图信息的部分的方法(如本文中所描述),装置之间的地图数据的交换可经优化,这是因为最可能有用地图信息经优先排序以用于发射。在过程中,可取决于3D配准变换在发射地图信息的装置(例如,图2的装置210)与接收地图信息的装置(例如,图2的装置220)之间可用,而应用不同策略。
应了解,用于协同SLAM操作的应用(如先前所描述)可实施为软件、固件、硬件或其任何组合等等。在一个实施例中,先前所描述功能可由装置100的一或多个处理器(例如,处理器110)实施以实现先前所要功能(例如,图3A及3B的方法操作)。
本文中的技术可并入到各种设备(例如,装置)中(例如,实施于其中或由其执行)。举例来说,本文中所教示的一或多个方面可并入到以下各项中:一般装置、桌上型计算机、移动计算机、移动装置、电话(例如,蜂窝式电话)、个人数据助理、平板、膝上型计算机、平板、娱乐装置(例如,音乐或视频装置,等等)、耳机(例如,听筒、头戴式耳机,等等)、医疗装置(例如,生物传感器、心率监视器、步程计、心电描记(EKG)装置,等等)、用户I/O装置、计算机、服务器、销售点装置、娱乐装置、机顶盒、可穿戴装置(例如,手表、头戴式显示器、虚拟现实眼镜,等等)、汽车内的电子装置,或其任何其它适合装置。
在一些方面中,无线装置可包括用于通信系统的接入装置(例如,Wi-Fi接入点)。此接入装置可提供(例如)经由有线或无线通信链路通过收发器到另一网络(例如,广域网,例如因特网或蜂窝网络)的连接性。因此,接入装置可使得另一装置(例如,Wi-Fi站)接入其它网络或某一其它功能性。另外,应了解,装置中的一者或两者可为可便携,或在一些状况下为相对非便携。
应了解,在装置为移动或无线装置时,其可经由无线网络中的基于或以其它方式支持任何适合无线通信技术的一或多个无线通信链路进行通信。举例来说,在一些方面中,无线装置其它装置可与包含无线网络的网络相关联。在一些方面中,网络可包括体域网络或个域网络(例如,超宽带网络)。在一些方面中,网络可包括局域网或广域网。无线装置可支持或以其它方式使用各种无线通信技术、协议或标准(例如,3G、LTE、高级LTE、4G、CDMA、TDMA、OFDM、OFDMA、WiMAX及WiFi)中的一或多者类似地,无线装置可支持或以其它方式使用各种对应调制或多路复用方案中的一或多者。无线装置可因此包含适当组件(例如,空中接口)以使用上述或其它无线通信技术经由一或多个无线通信链路来建立并进行通信。例如,装置可包括具有相关联发射器及接收器组件(例如,发射器及接收器)的无线收发器,所述相关联发射器及接收器组件可包含促进经由无线媒体的通信的各种组件(例如,信号产生器及信号处理器)。如众所周知,移动无线装置可因此与其它移动装置、移动电话、其它有线及无线计算机、因特网网站等进行无线通信。
所属技术领域的技术人员将理解,可使用各种不同技艺及技术中的任一者表示信息及信号。举例来说,可通过电压、电流、电磁波、磁场或磁性粒子、光场或光学粒子或其任何组合来表示可贯穿以上描述所参考的数据、指令、命令、信息、信号、位、符号及码片。
此外,所属领域的技术人员将进一步了解,结合本文中所揭示的实施例所描述的各种说明性逻辑块、模块、引擎、电路及算法步骤可实施为电子硬件、计算机软件或两者的组合。为清楚地说明硬件及软件的此可互换性,上文通常已就其功能性方面描述了各种说明性组件、块、模块、引擎、电路及步骤。此功能性是实施为硬件还是软件取决于强加于整个系统的特定应用及设计约束。虽然所属领域的技术人员可针对每一特定应用以变化方式实施所描述功能性,但不应将此些实施方案决策解释为导致对本发明的范围的脱离。
结合本文中所揭示的实施例所描述的各种说明性逻辑块、模块及电路可通过以下各项来实施或执行:通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文中所描述的功能的任一组合。通用处理器可为微处理器,但在替代方案中,处理器可为任何常规处理器、控制器、微控制器或状态机。还可将处理器实施为计算装置的组合,例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器或任一其它此类配置。
结合本文中的揭示实施例所描述的方法或算法的步骤可直接以硬件、由处理器执行的软件模块或两者的组合体现。软件模块可驻存在随机存取存储器(RAM)、快闪存储器、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可拆卸磁盘、光盘只读存储器(CD-ROM),或此项技术中所已知的任何其它形式的存储媒体。示范性存储媒体耦合到处理器使得所述处理器可从所述计算机可读存储媒体读取信息且将信息写入至所述存储媒体。在替代方案中,所述存储媒体可与处理器成整体。处理器及存储媒体可驻存于专用集成电路(ASIC)中。ASIC可驻存于用户终端中。在替代方案中,处理器及存储媒体可作为离散组件驻存于用户终端中。
在一或多个示范性实施例,所描述的功能可以硬件、软件、固件或其任一组合来实施。如果以软件予以实施为计算机程序产品,那么所述功能或模块可作为一或多个指令或代码而存储于非暂时性计算机可读媒体上或经由非暂时性计算机可读媒体进行发射。计算机可读媒体可包含计算机存储媒体及通信媒体两者,包含促进将计算机程序从一个地方传送到另一地方的任一媒体。存储媒体可为可由计算机存取的任何可用媒体。通过实例的方式且非限制性,此些非暂时性计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光学磁盘存储器、磁盘存储器或其它磁性存储装置或可用于以指令或数据结构的形式载运或存储所要代码且可由计算机存取的其它媒体。此外,可将任何连接适当地称为计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源发射软件,那么所述同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术皆包含于媒体的定义中。如本文中所使用,磁盘及光盘包含光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘通过激光以光学方式再现数据。上述各项的组合还应包含在非暂时性计算机可读媒体的范围内。
所揭示实施例的先前描述经提供以使得所属领域的技术人员能够制作或使用本发明。对这些实施例的各种修改对所属领域的技术人员将显而易见,且本文中所定义的一般原理可适用于其它实施例而不脱离本发明的精神或范围。因此,本发明并不意欲被限制于本文中所展示的实施例,而意欲赋予其与本文中所揭示的原理及新颖特征一致的最广泛范围。

Claims (20)

1.一种用于选择第一装置的同时定位与地图构建(SLAM)地图信息的部分以用于发射到协同SLAM环境中的第二装置的方法,所述方法包括:
确定所述第一装置的地图与所述第二装置的地图之间的3D配准变换是否可用;
响应于确定所述第一装置的所述地图与所述第二装置的所述地图之间的3D配准变换不可用,应用用于选择地图信息的待发射到所述第二装置的部分的第一策略,其中所述第一策略优选排序最新传入关键帧以用于发射到所述第二装置;及
响应于确定所述第一装置的所述地图与所述第二装置的所述地图之间的3D配准变换可用,应用用于选择地图信息的待发射到所述第二装置的部分的第二策略,所述第二策略不同于所述第一策略,其中所述第二策略优先排序所述第一装置的所述地图信息的对应于最接近于所述第二装置的当前、先前或经预测未来姿势的场景的部分以用于发射到所述第二装置。
2.根据权利要求1所述的方法,其中地图信息的所述发射基于发射概率分布,且应用所述第一策略或所述第二策略包括通过使所述发射概率分布逐点乘以似然函数来用贝叶斯更新步骤来更新所述发射概率分布。
3.根据权利要求2所述的方法,其中所述第一策略与似然函数L={li}相关联,其中且其中a>b,且所述第二策略与似然函数L={li}相关联,其中其中且其中Ki为第i关键帧。
4.根据权利要求2所述的方法,其中速率控制机制是用所述发射概率分布实施。
5.根据权利要求1所述的方法,其中基于组合式发射概率分布将所述第一装置的所述SLAM地图信息进一步发射到第三装置,且其中所述组合式发射概率分布控制地图信息到所述第二装置及所述第三装置两者的所述发射。
6.一种用于选择第一装置的同时定位与地图构建(SLAM)地图信息的部分以用于发射到协同SLAM环境中的第二装置的第一装置,所述第一装置包括:
存储器;及
处理器,所述处理器用以:
确定所述第一装置的地图与所述第二装置的地图之间的3D配准变换是否可用;
响应于确定所述第一装置的地图与所述第二装置的地图之间的3D配准变换不可用,应用用于选择地图信息的待发射到所述第二装置的部分的第一策略,其中所述第一策略优先排序最新传入关键帧以用于发射到所述第二装置,及
响应于确定所述第一装置的地图与所述第二装置的地图之间的3D配准变换可用,应用用于选择地图信息的待发射到所述第二装置的部分的第二策略,所述第二策略不同于所述第一策略,其中所述第二策略优先排序所述第一装置的所述地图信息的对应于最接近于所述第二装置的当前、先前或经预测未来姿势的场景的部分以用于发射到所述第二装置。
7.根据权利要求6所述的第一装置,其中地图信息的所述发射基于发射概率分布,且经配置以应用所述第一策略或所述第二策略的所述处理器经进一步配置以通过使所述发射概率分布逐点乘以似然函数来用贝叶斯更新步骤来更新所述发射概率分布。
8.根据权利要求7所述的第一装置,其中所述第一策略与似然函数L={li}相关联,其中且其中a>b,且所述第二策略与似然函数L={li}相关联,其中其中且其中Ki为第i关键帧。
9.根据权利要求7所述的第一装置,其中速率控制机制是用所述发射概率分布实施。
10.根据权利要求6所述的第一装置,其中基于组合式发射概率分布将所述第一装置的所述SLAM地图信息进一步发射到第三装置,且其中所述组合式发射概率分布控制地图信息到所述第二装置及所述第三装置两者的所述发射。
11.一种用于选择第一装置的同时定位与地图构建(SLAM)地图信息的部分以用于发射到协同SLAM环境中的第二装置的第一装置,所述第一装置包括:
用于确定所述第一装置的地图与所述第二装置的地图之间的3D配准变换是否可用的装置;
用于在所述第一装置的所述地图与所述第二装置的所述地图之间的3D配准变换不可用时应用用于选择地图信息的待发射到所述第二装置的部分的第一策略的装置,其中所述第一策略优先排序最新传入关键帧以用于发射到所述第二装置;及
用于在所述第一装置的所述地图与所述第二装置的所述地图之间的3D配准变换可用时应用用于选择地图信息的待发射到所述第二装置的部分的第二策略的装置,所述第二策略不同于所述第一策略,其中所述第二策略优先排序所述第一装置的所述地图信息的对应于最接近于所述第二装置的当前、先前或经预测未来姿势的场景的部分以用于发射到所述第二装置。
12.根据权利要求11所述的第一装置,其中地图信息的所述发射基于发射概率分布,且用于应用所述第一策略或所述第二策略的装置包括用于通过使所述发射概率分布逐点乘以似然函数来用贝叶斯更新步骤来更新所述发射概率分布的装置。
13.根据权利要求12所述的第一装置,其中所述第一策略与似然函数L={li}相关联,其中且其中a>b,且所述第二策略与似然函数L={li}相关联,其中其中且其中Ki为第i关键帧。
14.根据权利要求12所述的第一装置,其中速率控制机制是用所述发射概率分布实施。
15.根据权利要求11所述的第一装置,其中基于组合式发射概率分布将所述第一装置的所述SLAM地图信息进一步发射到第三装置,其中所述组合式发射概率分布控制地图信息到所述第二装置及所述第三装置两者的所述发射。
16.一种非暂时性计算机可读媒体,其包含代码,所述代码在由第一装置中的处理器执行时致使所述处理器执行包括以下步骤的方法:
确定所述第一装置的地图与第二装置的地图之间的3D配准变换是否可用;及
基于所述第一装置的所述地图与所述第二装置的所述地图之间的3D配准变换是否可用而根据第一策略或第二策略中的一者将所述第一装置的地图信息的部分发射到所述第二装置,所述第二策略不同于所述第一策略,其中所述第一策略优先排序最新传入关键帧以用于发射到所述第二装置,且所述第二策略优先排序所述第一装置的所述地图信息的对应于最接近于所述第二装置的当前、先前或经预测未来姿势的场景的部分以用于发射到所述第二装置。
17.根据权利要求16所述的非暂时性计算机可读媒体,其中地图信息的所述发射基于发射概率分布,且所述方法进一步包括:通过使所述发射概率分布逐点乘以似然函数来用贝叶斯更新步骤来更新所述发射概率分布。
18.根据权利要求17所述的非暂时性计算机可读媒体,其中所述第一策略与似然函数L={Li}相关联,其中且其中a>b,且所述第二策略与似然函数L={li}相关联,其中其中且其中Ki为第i关键帧。
19.根据权利要求17所述的非暂时性计算机可读媒体,其中速率控制机制是用所述发射概率分布实施。
20.根据权利要求16所述的非暂时性计算机可读媒体,其中基于组合式发射概率分布将所述第一装置的同时定位与地图构建(SLAM)地图信息进一步发射到第三装置,且其中所述组合式发射概率分布控制地图信息到所述第二装置及所述第三装置两者的所述发射。
CN201580054250.6A 2014-10-23 2015-10-09 用于在协同多用户slam系统中交换地图信息的选择方法、装置及计算机可读媒体 Expired - Fee Related CN106796723B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/522,233 2014-10-23
US14/522,233 US9478029B2 (en) 2014-10-23 2014-10-23 Selection strategy for exchanging map information in collaborative multi-user SLAM systems
PCT/US2015/055008 WO2016064604A1 (en) 2014-10-23 2015-10-09 Selection strategy for exchanging map information in collaborative multi-user slam systems

Publications (2)

Publication Number Publication Date
CN106796723A CN106796723A (zh) 2017-05-31
CN106796723B true CN106796723B (zh) 2018-09-25

Family

ID=54366498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580054250.6A Expired - Fee Related CN106796723B (zh) 2014-10-23 2015-10-09 用于在协同多用户slam系统中交换地图信息的选择方法、装置及计算机可读媒体

Country Status (4)

Country Link
US (1) US9478029B2 (zh)
EP (1) EP3210188A1 (zh)
CN (1) CN106796723B (zh)
WO (1) WO2016064604A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
AU2016225963B2 (en) 2015-03-05 2021-05-13 Magic Leap, Inc. Systems and methods for augmented reality
KR20180090355A (ko) 2015-12-04 2018-08-10 매직 립, 인코포레이티드 리로컬리제이션 시스템들 및 방법들
CA3032567A1 (en) 2016-08-02 2018-02-08 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US10812936B2 (en) * 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
KR102359978B1 (ko) 2017-03-17 2022-02-07 매직 립, 인코포레이티드 다중-소스 가상 콘텐츠 합성을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
US10762598B2 (en) 2017-03-17 2020-09-01 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
CN110431599B (zh) 2017-03-17 2022-04-12 奇跃公司 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
GB201705767D0 (en) 2017-04-10 2017-05-24 Blue Vision Labs Uk Ltd Co-localisation
US10990829B2 (en) * 2017-04-28 2021-04-27 Micro Focus Llc Stitching maps generated using simultaneous localization and mapping
US11379948B2 (en) 2018-07-23 2022-07-05 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
CN109857111B (zh) * 2019-02-18 2020-11-13 广州小鹏汽车科技有限公司 基于共享slam地图的高精度定位方法及系统
US10748302B1 (en) * 2019-05-02 2020-08-18 Apple Inc. Multiple user simultaneous localization and mapping (SLAM)
US11348320B2 (en) * 2020-04-02 2022-05-31 Samsung Electronics Company, Ltd. Object identification utilizing paired electronic devices
EP4097641A4 (en) * 2020-04-02 2023-06-28 Samsung Electronics Co., Ltd. Electronic device and method for object identification utilizing paired electronic device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297486A (zh) * 2012-03-05 2013-09-11 联想(北京)有限公司 即时定位与地图构建方法和设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162338B2 (en) * 2002-12-17 2007-01-09 Evolution Robotics, Inc. Systems and methods for computing a relative pose for global localization in a visual simultaneous localization and mapping system
US8649565B1 (en) * 2009-06-18 2014-02-11 Hrl Laboratories, Llc System for automatic object localization based on visual simultaneous localization and mapping (SLAM) and cognitive swarm recognition
JP5745067B2 (ja) 2010-09-24 2015-07-08 アイロボット・コーポレーション Vslam最適化のためのシステムおよび方法
US8718837B2 (en) 2011-01-28 2014-05-06 Intouch Technologies Interfacing with a mobile telepresence robot
US20130010068A1 (en) 2011-04-12 2013-01-10 Radiation Monitoring Devices, Inc. Augmented reality system
US10027952B2 (en) * 2011-08-04 2018-07-17 Trx Systems, Inc. Mapping and tracking system with features in three-dimensional space
US20130215230A1 (en) 2012-02-22 2013-08-22 Matt Miesnieks Augmented Reality System Using a Portable Device
GB2506338A (en) 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US9177404B2 (en) * 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
US9495389B2 (en) * 2013-03-15 2016-11-15 Qualcomm Incorporated Client-server based dynamic search
US9154919B2 (en) * 2013-04-22 2015-10-06 Alcatel Lucent Localization systems and methods
US20140323148A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297486A (zh) * 2012-03-05 2013-09-11 联想(北京)有限公司 即时定位与地图构建方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Multi-robot SLAM using condensed measurements;LAZARO M T等;《2013 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》;IEEE;20131103;摘要,章节I、III、IV、V *

Also Published As

Publication number Publication date
US9478029B2 (en) 2016-10-25
US20160117822A1 (en) 2016-04-28
EP3210188A1 (en) 2017-08-30
CN106796723A (zh) 2017-05-31
WO2016064604A1 (en) 2016-04-28

Similar Documents

Publication Publication Date Title
CN106796723B (zh) 用于在协同多用户slam系统中交换地图信息的选择方法、装置及计算机可读媒体
US10812542B2 (en) Method and device for function sharing between electronic devices
EP2991388B1 (en) Method for managing beacon, terminal device, server and storage medium
CN107665485B (zh) 用于显示图形对象的电子装置和计算机可读记录介质
US20170147919A1 (en) Electronic device and operating method thereof
CN109074550A (zh) 上下文感知调度特例
CN106416317A (zh) 用于提供位置信息的方法和装置
US10368212B2 (en) Method and apparatus for providing augmented reality services
US20220156956A1 (en) Active image depth prediction
KR20160079408A (ko) 질의 처리 방법, 전자 장치 및 서버
KR20170052976A (ko) 모션을 수행하는 전자 장치 및 그 제어 방법
US20160042563A1 (en) Augmented reality information management
US9905050B2 (en) Method of processing image and electronic device thereof
CN108141490A (zh) 用于处理图像的电子设备及其控制方法
CN108235234A (zh) 提供位置数据的电子设备和方法
US10826550B2 (en) Electronic device and method for managing specific absorption rate
US20210375035A1 (en) System and method for preserving a configurable augmented reality experience
CN109544444A (zh) 图像处理方法、装置、电子设备及计算机存储介质
US20170248424A1 (en) Electronic device for determining position and method for operating the same
US20160110372A1 (en) Method and apparatus for providing location-based social search service
US20190317662A1 (en) Information providing method and electronic device supporting same
KR102385246B1 (ko) 원단의 색상을 측정하는 방법 및 이를 위한 장치
US11556961B2 (en) Techniques for real-time object creation in extended reality environments
CN111327472B (zh) 用于获取目标网络的方法及装置
US11902798B2 (en) Real-time ML-supported radio propagation computation for RAN planning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180925

Termination date: 20191009