CN114846296A - 使用能够与设备一起运输的传感器进行定位 - Google Patents

使用能够与设备一起运输的传感器进行定位 Download PDF

Info

Publication number
CN114846296A
CN114846296A CN201980103074.9A CN201980103074A CN114846296A CN 114846296 A CN114846296 A CN 114846296A CN 201980103074 A CN201980103074 A CN 201980103074A CN 114846296 A CN114846296 A CN 114846296A
Authority
CN
China
Prior art keywords
sensor
poses
determining
positioning
positioning performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980103074.9A
Other languages
English (en)
Inventor
J·阿劳约
A·塔希尔库斯塔尼
D·冈萨雷斯莫林
I·卡拉吉亚尼斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN114846296A publication Critical patent/CN114846296A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/34—Power consumption
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3212—Monitoring battery levels, e.g. power saving mode being initiated when battery voltage goes below a certain level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

一种设备被配置用于使用能够与该设备一起运输的一组传感器来执行定位。该设备包括在操作上被连接到一组传感器的至少一个处理器以及存储程序代码的至少一个存储器。该程序代码将至少一个处理器配置为：确定其中第一传感器满足定位性能规则的第一组设备姿态(PA)，以及确定其中第二传感器满足该定位性能规则的第二组设备姿态(PB)。至少一个处理器还被配置为：当第一传感器活动时，基于该设备的姿态从不在第二组设备姿态(PB)之内转变到在第二组设备姿态(PB)之内，激活第二传感器。

Description

使用能够与设备一起运输的传感器进行定位
技术领域
本公开涉及一种被配置用于使用能够与设备一起运输的一组传感器来执行定位的设备、一种由设备使用与设备一起运输的一组传感器来执行定位的方法、以及对应的计算机程序产品。
背景技术
定位和地图构建算法(例如同时定位与地图构建(SLAM)算法)是一种允许设备在依赖于机载传感器(例如相机、距离传感器、惯性传感器等)时在环境中定位自身的技术。这对于机器人导航并理解环境以执行任务以及能够在混合现实设备中显示真实和持久的内容至关重要。
例如，当前的混合现实(MR)头戴式设备和最先进的智能电话包含RGB相机、深度/3D相机(例如被动或主动立体、LIDAR等)和惯性传感器(IMU)，并且对于室内和室外机器人(例如无人机和自主车辆)也是如此。例如，Intel和Microvision最近推出了面向“消费者”的小型LIDAR产品。但是，其他深度传感器或3D传感器在头戴式设备和诸如机器人之类的其他设备中非常普遍。
已提出了几种SLAM算法，它们依赖于RGB和IMU传感器、深度传感器或所有这些传感器的组合。使用不同类型的传感器的组合的一个原因是利用不同传感器的独特操作优势，并且改进它们各自的局限性。例如，RGB相机在黑暗或太亮的环境中表现不佳，因为在这样的环境中很难或不可能获取视觉特征，而深度相机(例如LIDAR或主动立体相机)将在这样的场景中表现良好。此外，通过直接测量深度，除了其他益处以外，可以以更高的精度执行定位和地图构建，以及可以捕获更大量的环境信息(例如，构建密集地图而不是稀疏地图)。但是，深度相机通常具有更大的能耗和处理要求，并且在某些条件下可能表现不佳。例如，深度相机具有有限的测量范围，并且可能在低纹理环境(被动立体相机)和阳光直射或IR干扰的区域(主动立体相机和LIDAR)、降雨条件(LIDAR)等限制下表现不佳。因此，期望调度所有可用传感器的使用以实现准确和稳健的定位和地图构建，同时还减少设备的能量资源。
当前的解决方案假设所有传感器始终被开启(例如Microsoft HoloLens或具有这些多个传感器的任何其他AR头戴式设备)。
发明内容
本文公开的一些实施例涉及一种设备，其被配置用于使用能够与所述设备一起运输的一组传感器来执行定位。所述设备包括：至少一个处理器，其在操作上被连接到所述一组传感器；以及至少一个存储器，其存储程序代码。所述程序代码将所述至少一个处理器配置为：确定其中第一传感器满足定位性能规则的第一组设备姿态(PA)；确定其中第二传感器满足所述定位性能规则的第二组设备姿态(PB)。所述至少一个处理器还被配置为：当所述第一传感器活动时，基于所述设备的姿态从不在所述第二组设备姿态(PB)之内转变到在所述第二组设备姿态(PB)之内，激活所述第二传感器。
本文公开的一些相关的其他实施例涉及一种由设备使用与所述设备一起运输的一组传感器来执行定位的方法。所述方法包括：确定其中第一传感器满足定位性能规则的第一组设备姿态(PA)；以及确定其中第二传感器满足所述定位性能规则的第二组设备姿态(PB)。所述方法当所述第一传感器活动时，基于所述设备的姿态从不在所述第二组设备姿态(PB)之内转变到在所述第二组设备姿态(PB)之内，激活所述第二传感器。
本文公开的一些相关的其他实施例涉及一种用于使用与设备一起运输的一组传感器来执行所述设备的定位的计算机程序产品。所述计算机程序产品包括非暂时性计算机可读介质，其存储能够由所述设备的至少一个处理器执行的程序代码。所述程序代码将所述至少一个处理器配置为：确定其中第一传感器满足定位性能规则的第一组设备姿态(PA)；以及确定其中第二传感器满足所述定位性能规则的第二组设备姿态(PB)。所述程序代码还将所述至少一个处理器配置为：当所述第一传感器活动时，基于所述设备的姿态从不在所述第二组设备姿态(PB)之内转变到在所述第二组设备姿态(PB)之内，激活所述第二传感器。
可以由这些和其他实施例提供的潜在优点是第二传感器的激活使设备能够去激活第一传感器，然后使用来自第二传感器而不是来自第一传感器的数据来执行定位。这能够导致系统功耗的降低并且实现更优化的资源使用，同时继续满足持续的定位性能要求。定位性能规则能够基于在传感器被激活/去激活时的定位的性能/稳健性来配置，这是一个非常相关的解决方案，因为传感器根据环境特性而不同地执行。实施例能够支持传感器之间的优雅切换以优化资源的使用，同时避免定位操作的降级。
在阅读以下附图和具体实施方式之后，根据实施例的其他设备、方法和计算机程序产品对于本领域技术人员将是显而易见的或变得显而易见。所有这些设备、方法和计算机程序产品旨在被包括在本说明书中，在本公开的范围内并且由所附权利要求来保护。此外，本文公开的所有实施例旨在可以被单独实现或以任何方式和/或组合被组合。
附图说明
本公开的各方面通过示例方式被示出并且不受附图限制。在附图中：
图1示出了根据本公开的一些实施例的显示设备在不同区域之间的移动和关联的传感器激活/去激活操作的地图的顶视图；
图2示出了根据本公开的一些实施例的被用于在执行定位或执行诸如SLAM之类的定位和地图构建操作时激活和去激活传感器的设备组件的系统图；
图3示出了根据本公开的一些实施例的显示运输设备和一组传感器的车辆移动通过示例环境的地图的顶视图；
图4示出了SLAM系统，其包括各自被连接到相应的一组传感器的一对设备，并且包括根据本公开的一些实施例进行操作的SLAM支持节点；
图5示出了包括保持移动电子设备的混合现实(MR)头戴式设备的MR系统，移动电子设备可以包括或在操作上被连接到一组传感器并且被配置为根据本公开的一些实施例进行操作；以及
图6至图16示出了根据本公开的一些实施例的用于控制由设备用于定位的传感器的去激活和激活的操作的流程图。
具体实施方式
现在将在下文中参考附图更全面地描述本发明的构思，在附图中示出了本发明的构思的实施例的示例。然而，本发明的构思可以以许多不同的形式来体现，并且不应被解释为限于本文阐述的实施例。相反，提供这些实施例使得本公开将是彻底和完整的，并且将各种当前的本发明构思的范围完整传达给本领域技术人员。还应当注意，这些实施例不是互相排斥的。来自一个实施例的组件可被默认地假定为存在于/用于另一实施例中。
图1示出了根据本公开的一些实施例的显示设备在不同区域之间的移动和关联的传感器激活/去激活操作的地图的顶视图。该设备被配置为使用一组传感器来执行定位操作，并且还可以执行组合式定位和地图构建操作，例如SLAM操作。该组传感器包括被假设为活动的第一传感器(传感器A)和被假设为不活动的第二传感器(传感器B)。在所示实施例中，这些操作确定设备的姿态(例如位置和/或取向)并识别传感器B要被激活的定时，以及还确定设备的另一个姿态(例如位置和/或取向)以及传感器A要被去激活的时间点。
如本文所使用的，术语“姿态”指一个设备(例如移动电子设备)相对于所定义的坐标系或者可以相对于另一个设备(例如头戴式设备)的位置和/或取向。因此，可以仅基于一个设备相对于另一个设备或所定义的坐标系的多维位置来定义姿态，仅基于该设备相对于另一个设备或所定义的坐标系的多维取向来定义姿态，或者基于多维位置和多维取向的组合来定义姿态。因此，术语“姿态”被用于指位置、取向或它们的组合。
该设备可以被配置为确定一组设备姿态(位置和/或取向)，在该组设备姿态中，在从使用传感器A转变到使用传感器B期间，传感器A和B中的相应传感器能够被用于满足定位性能规则。当确定了姿态时，则可以使用该姿态来生成可以被提供给用户和/或设备的引导，以引导设备的移动以获得满足定位性能规则的姿态，以便允许传感器之间的转变。因此，当由定位操作所处理的传感器A的数据导致设备定位精度满足定位性能规则时，或者当使用来自传感器A的数据所实现的设备定位精度的估计将满足定位性能规则时，传感器A被认为满足定位性能规则。类似地，当由定位操作所处理的传感器B的数据导致设备定位精度满足定位性能规则时，或者当使用来自传感器B的数据所实现的设备定位精度的估计将满足定位性能规则时，传感器B被认为满足定位性能规则。
在一些实施例中，在合适的设备姿态下执行个体传感器的激活和/或去激活，在该姿态下存在足够的可用环境特征，传感器能够获取这些环境特征以使能以足够的精度对来自传感器的数据执行定位操作以满足定位性能规则。以这种方式执行传感器激活和/或去激活使得定位操作和/或组合式定位和地图构建操作(例如SLAM)能够在降低的功耗下被执行，同时提供足够高级别的性能和稳健性。在传感器之间进行切换的需求能够由定位性能和/或组合式定位和地图构建性能(例如SLAM性能)的当前下降或预测下降来激发。如下面将进一步详述的，可以基于确定传感器B的性能将优于传感器A、确定传感器A消耗的操作功率多于传感器B等，触发从使用传感器A转变到激活并使用传感器B的决定。
在一些实施例中，用于激活传感器的操作可以包括触发传感器以转变到高功率状态或触发传感器的通电。类似地，用于去激活传感器的操作可以包括触发传感器以转变到低功率状态或触发传感器的断电。在一些其他实施例中，用于去激活传感器的操作可以包括将传感器的数据采样率设置为降低的采样率或零，而用于激活传感器的操作可以包括将传感器的数据采样率设置为增加的采样率率(足以用于执行定位操作)。在一些其他实施例中，用于去激活传感器的操作可以包括将传感器的分辨率设置为降低的分辨率或零，而用于激活传感器的操作可以包括将传感器的分辨率设置为增加的分辨率(足以用于执行定位操作)。
尽管在激活和去激活个体传感器(例如传感器A和传感器B)的上下文中描述了各种实施例，但是这些实施例可以被用于激活和去激活一组传感器。因此，例如传感器A可以对应于一组传感器A，类似地传感器B可以对应于一组传感器B。当设备位于其中特定传感器特性被确定为可实现的合适位置时，传感器B的激活和传感器A的去激活被选择性地执行，例如因为当发生传感器之间的切换时，可以从两个传感器获取足够的可用环境特征，以便能够以足够的精度执行定位以满足定位性能规则。通过此操作，传感器A一直良好地执行，直到传感器B被激活的时刻为止，而传感器B从那一刻起能够良好地执行，这实现从使用两个传感器进行定位到仅使用一个传感器进行定位之间的平滑转变，其方式可以不降低或可以在可接受的数量内降低定位操作处理来自传感器的数据的性能和稳健性。通过在这样的设备位置执行转变，传感器使用的能耗可能减少，因为两个传感器必须同时活动的时间量减少。使用该解决方案，能够在从使用传感器A到使用传感器B的切换将发生在传感器B执行不佳的位置的情况下，在尝试找到传感器B将在被激活之后立即开始良好地执行的位置时不浪费时间，这也将节省能量。
图1示出了根据本公开的一些实施例的显示设备在不同区域之间的移动和关联的传感器激活/去激活操作的地图的顶视图。
参考图1的说明性示例，示出了其中传感器A满足定位性能规则的地理区域PA，示出了其中传感器B满足定位性能规则的另一个地理区域PB，以及示了其中传感器A和B两者都满足定位性能规则的重叠区域PX。
当使用来自传感器A和B的数据来执行定位操作的设备在区域PA(其中仅传感器A满足定位性能规则)之内时，在区域PX之外，传感器A主动将数据馈送给定位算法或组合式定位和地图构建算法(例如SLAM算法)，并且传感器B被去激活。当该设备沿着路径段PF_B从区域PA移动到区域PX(其中传感器A和B两者都满足定位性能规则)时，根据传感器A和B的相对功耗、定位性能、组合式定位和地图构建性能(例如SLAM性能)、资源利用率等，传感器B可以被激活，而传感器A可以被去激活。在区域PX中，可以使用来自传感器A和B之一或两者的数据来执行定位。在该设备沿着路径段PF_A移动到区域PB和区域PX之外时，传感器B主动将数据馈送给定位算法或组合式定位和地图构建算法(例如SLAM算法)，并且传感器A被去激活。
如本文所使用的，定位性能规则可以包括一组条件，该组条件对于每个传感器可以相同或不同。例如，被用于确定一个传感器是否满足定位性能规则的条件可以与被评估以确定另一个传感器是否满足定位性能规则的条件相同或不同。条件可以取决于相应传感器的操作特性，例如可见光(RGB)相机的操作特性、红外(IR)相机的操作特性、LIDAR传感器的操作特性等。
图3示出了显示运输设备400的车辆300的移动的地图的顶视图，设备400使用能够与设备400一起运输的一组传感器301和303来执行定位。设备和传感器可以以其他方式被运输，例如通过人、机器人、飞机(例如无人机)、船舶等。设备400可以是但不限于智能电话、可穿戴计算机、增强现实头戴式设备、虚拟现实头戴式设备、混合现实头戴式设备、半自主或自主车辆、无人机、飞机、机器人等中的任何一个的组件。尽管仅示出了两个传感器，但是将理解，设备400被配置为使用用于馈送适当类型的数据的任意数量的多个传感器来执行定位操作或组合式定位和地图构建操作(例如SLAM)。传感器的示例类型包括但不限于RGB可见光相机、红外相机、立体相机、惯性测量单元(IMU)、雷达传感器、光检测和测距(LIDAR)传感器、声学测距传感器、接近度传感器、GPS、以及RF收发机(例如5G无线电)。
参考图3，在车辆300沿着路径309(例如道路)行进通过环境时，设备400使用传感器301和303中的一个或多个来执行定位操作或组合式定位和地图构建操作(例如SLAM)以感测邻近区域中的环境特征。例如，在第一区域305中，第一传感器301是活动的并且第二传感器303被去激活。设备400确定第一传感器301满足定位性能规则，这导致当车辆300仍在第一区域305中时，该设备保持第一传感器301被激活并且第二传感器303被去激活。当由定位算法处理的传感器301的数据导致设备定位精度满足定位性能规则时，传感器301可以被认为满足定位性能规则。车辆300随后行进到第二区域307中，在第二区域307，设备400确定第二传感器303可以满足定位性能规则。当使用来自传感器303的数据实现的设备定位精度的估计将满足定位性能规则时，传感器303可以被认为满足定位性能规则。因此，设备400可以在区域307(其中定位处理可以从使用传感器301切换到使用传感器303)之内识别姿态，例如位置和/或取向。该姿态可以对应于与设备400处于区域305和307的重叠部分之内的任何位置相对应的一组姿态集。传感器303可以在切换之前被激活，而传感器301可以在切换之后被去激活，以避免设备400定位的降级或失败。用于将定位操作从使用来自传感器301的数据切换到改为使用来自传感器303的数据的操作可以包括定位操作使用来自传感器301和303两者的数据时的时段。
因为传感器固有地具有特定操作约束(例如光敏度)，所以不同类型的传感器在受到不同地理区域特性的影响时可以提供不同级别的定位性能。设备400被配置为基于作为设备400移动通过的地理区域的不同特性的函数的不同类型的传感器的相应定位性能而在这些传感器之间切换。设备400还可以被配置为基于不同传感器消耗多少能量和/或多少其他系统资源(例如处理、存储器、通信带宽等)被用于接收、存储和/或通过算法处理来自传感器的数据来控制切换。可以基于使用来自洞察(perspective)的数据可实现的定位性能的组合，并且基于相应传感器使用多少能量或其他资源，执行用于激活和去激活传感器并从使用一个传感器切换到另一个传感器以进行定位操作的决定。此外，从使用一个传感器到使用另一个传感器的切换可以被延迟，直到设备达到这样的姿态：其中可以执行定位操作，而不降低定位操作的精度或者定位操作的精度不出现不可接受的降低，例如以防止在传感器之间切换期间定位操作失败并导致设备姿态的跟踪丢失。
再次参考图1和2，在一些实施例中，设备被配置为执行以下操作：
1.检测去激活传感器A和激活传感器B的需要；
2.检测当前设备姿态P(在仅传感器A活动时)；
3.确定针对传感器A具有期望的SLAM性能的设备姿态PA；
4.确定针对传感器B具有期望的SLAM性能的设备姿态PB；
5.确定设备姿态PF_B(其是传感器B应当被激活的姿态)和设备姿态PF_A(其是传感器A应当被去激活的姿态)，其中当处理来自传感器A和B两者的数据时，预期姿态PF_B和PF_A两者都提供期望的SLAM性能；以及
6.指导设备到达所确定的区域/姿态(例如显示用于引导用户的信息，或者控制设备的运动，例如当设备由自主车辆或半自主车辆来运输时)。
参考上述操作的第三至第五要素，在一些实施例中，定义了其他操作以用于控制与执行定位操作的设备一起运输的传感器的激活和去激活，以执行组合式定位和地图构建操作(例如SLAM操作)。
参考图6的操作实施例，设备被配置为执行操作，这些操作包括确定601其中第一传感器满足定位性能规则的第一组设备姿态(PA)。这些操作还确定603其中第二传感器满足定位性能规则的第二组设备姿态(PB)。这些操作基于第二传感器设备的姿态从不在第二组设备姿态(PB)之内转变到在第二组设备姿态(PB)之内，响应性地激活605第二传感器。
在可选的其他实施例中，这些操作当设备的姿态保持在第二组设备姿态(PB)之内时，基于第一传感器设备的姿态从在第一组设备姿态(PA)之内转变到不在第一组设备姿态(PA)之内，去激活607第一传感器。
参考图7的其他操作实施例，这些操作可以指导701设备的移动以使第二传感器的姿态从不在第二组设备姿态(PB)之内转变到在第二组设备姿态(PB)之内。用于指导701设备的移动的操作可以包括：通过设备的用户接口提供引导用户如何移动设备以使设备的姿态从不在第二组设备姿态(PB)之内转变到在第二组设备姿态(PB)之内的信息(例如显示信息、生成可听信息、生成触觉反馈等)。替代地或附加地，用于指导701设备的移动的操作可以包括：向设备的导航系统提供控制设备和传感器(例如自主车辆或半自主车辆)的移动以使设备的姿态从不在第二组设备姿态(PB)之内转变到在第二组设备姿态(PB)之内的引导信息。
图2示出了根据本公开的一些实施例的被用于在执行定位或执行诸如SLAM之类的定位和地图构建操作时激活和去激活传感器的设备组件的系统图。基于从组件210获得的先前性能(例如定位性能、组合式定位和地图构建性能、SLAM性能)和所关联的设备姿态，分析传感器A和B两者的性能(组件207)，以及将所分析的性能和所关联的设备姿态存储在地图中(组件211)。然后使用所分析的性能来确定(组件215)其中传感器A和B应当分别被去激活和激活的期望姿态PF_A和PF_B。向传感器选择器块(组件209)提供该信息，传感器选择器块决定应当选择哪个传感器以向SLAM算法(组件213)提供传感器信息。向用户或设备提供指示或致动(组件217)作为用于如何移动设备以获得姿态PF_A和PF_B的引导。
各种不同的操作能够被用于确定每个传感器A和B的定位性能或定位和地图构建(例如SLAM)性能。可以在线确定该信息(例如以在传感器表现差时进行实时跟踪)。在一些实施例中，设备确定其中传感器A满足定位性能规则的第一组设备姿态，确定其中传感器B满足定位性能规则的第二组设备姿态，当传感器A活动时，基于设备的姿态从不在第二组设备姿态之内转变到在第二组设备姿态之内来激活传感器B。以这种方式，设备可以基于正在被实现的设备姿态，控制传感器B的激活以及设备何时从使用来自传感器A的数据切换到使用来自传感器B的数据来执行定位的定时，这将提供可接受的定位性能。
在一些实施例中，定位性能或定位和地图构建(例如SLAM)性能可以通过许多因素之一来量化，这些因素包括但不限于错误重新定位的数量、区域中的特征的数量和质量、定位误差(设备的位置和取向)、位置/取向漂移等度量。错误重新定位可以与设备将自身定位在地图的错误部分(其不是设备所在的位置)所关联的错误相对应。定位误差可以与设备的估计姿态和设备的实际姿态之间的差相对应。
错误重新定位和定位误差通常可以在SLAM会话完成之后(例如，当地图被进一步优化并且多个设备/代理已贡献用于改进该地图的信息时)后验地以更高的确定性和/或精度来表征。此时，可以将来自该区域中的先前通道的传感器数据再次馈送给具有优化后的地图的SLAM算法，可以在新轨迹与旧轨迹之间进行比较，以及可以计算误差。附加地，如果已知特征(地标)在具有已知地面实况姿态的区域中可用(例如作为基准标记、特定对象或环境特征，例如门、窗等)，则可以对照这些地标来计算定位误差。
参考图6的操作实施例，确定601其中第一传感器满足定位性能规则的第一组设备姿态(PA)可以包括基于以下中的至少一项来确定第一传感器在一个或多个姿态的定位性能得分：基于来自第一传感器的数据而确定的所确定的错误重新定位数量，在由来自第一传感器的数据所测量的区域中所确定的特征测量的数量和质量，基于来自第一传感器的数据而确定的定位误差，以及在基于来自第一传感器的数据的测量中的不确定量。替代地或附加地，确定601可以包括确定第一传感器在一个或多个姿态的定位性能得分是否满足定位性能规则。类似地，确定603其中第二传感器满足定位性能规则的第二组设备姿态(PB)可以包括基于以下中的至少一项来确定第二传感器在一个或多个姿态的定位性能得分：基于来自第二传感器的数据而确定的所确定的错误重新定位数量，在由来自第二传感器的数据所测量的区域中所确定的特征的数量和质量，以及基于来自第二传感器的数据而确定的定位误差。确定603第二传感器是否满足定位性能规则可以包括确定第二传感器在一个或多个姿态的定位性能得分是否满足定位性能规则。
在一些实施例中，为了量化定位性能或定位和地图构建(例如SLAM)性能而收集的信息被收集和存储在定位地图中，该信息针对在该地图中定义的姿态或区域而指示使用各种传感器获得了哪些性能信息。该信息可以在传感器分别活动时由当前设备来收集，以及可以从其他设备来收集，这些其他设备先前已在这些位置处并且具有被主动用于定位的相同类型的传感器或其他类型的传感器。该地图可以存储识别与不同传感器的性能数据相关联的姿态的信息。可以基于传感器的类型(例如单目相机、立体相机、LIDAR等)和/或基于传感器的一个或多个操作特性(例如相机分辨率、相机灵敏度等)，针对特定传感器标识符(对每个传感器唯一)从地图中取得性能数据。因此，例如，设备可以使用特定传感器标识符、使用传感器类型或使用传感器的一个或多个操作特性来查询地图，以便从地图中的信息来确定传感器将满足定位性能规则的设备姿态或一组设备姿态(即，通过定位算法处理后的输出数据将提供满足定位性能规则的设备定位)。
参考图9的操作实施例，确定601其中第一传感器满足定位性能规则的第一组设备姿态(PA)包括确定901第一传感器相对于由识别局部环境的先前感测的特征(即，先前由第一传感器、在操作上类似于第一传感器的另一个传感器和/或另一种类型的传感器感测的环境特征)的数据结构所定义的地图的定位。确定601还包括基于第一传感器是否感测到由该数据结构识别的先前感测的特征，确定903在设备处于一个或多个姿态时第一传感器的定位性能得分。确定601还包括确定905在设备处于一个或多个姿态时第一传感器的定位性能得分是否满足定位性能规则。
参考图10的操作实施例，确定603其中第二传感器满足定位性能规则的第二组设备姿态(PB)包括基于第二传感器是否感测到由数据结构识别的先前感测的特征，确定1001在设备处于一个或多个姿态时第二传感器的定位性能得分。确定603还包括基于第二传感器是否感测到由数据结构识别的先前感测的特征，确定1003在设备处于一个或多个姿态时第二传感器的定位性能得分是否满足定位性能规则。
参考图11的操作实施例，确定601其中第一传感器满足定位性能规则的第一组设备姿态(PA)包括确定1101第一传感器相对于由识别局部环境的特征(其可以已由用户在数据结构中定义，先前被感测并被添加到数据结构，或者通过任何其他过程被输入到数据结构)的位置的数据结构所定义的地图的定位。确定601还包括基于第一传感器在何处识别特征的位置与数据结构在何处识别特征的位置的比较，确定1103在设备处于一个或多个姿态时第一传感器的定位性能得分。确定601还包括确定1105在设备处于一个或多个姿态时第一传感器的定位性能得分是否满足定位性能规则。
参考图12的操作实施例，确定603其中第二传感器满足定位性能规则的第二组设备姿态(PB)包括基于第二传感器在何处识别特征的位置与数据结构在何处识别特征的位置的比较，确定1201在设备处于一个或多个姿态时第二传感器的定位性能得分。确定603还包括确定1203在设备处于一个或多个姿态时第二传感器的定位性能得分是否满足定位性能规则。
参考图13的操作实施例，确定601其中第一传感器满足定位性能规则的第一组设备姿态(PA)包括确定1301将设备定位到由数据结构定义的地图内的位置，该数据结构识别设备在这些位置处的定位性能得分。确定601还包括基于将设备定位到这些位置，从数据结构中取得1303第一传感器的定位性能得分。确定601还包括确定1305第一传感器的定位性能得分是否满足定位性能规则。
参考图14的操作实施例，确定603其中第二传感器满足定位性能规则的第二组设备姿态(PB)包括基于将设备定位到这些位置，从数据结构中取得1401第二传感器的定位性能得分。确定603还包括确定1403第二传感器的定位性能得分是否满足定位性能规则。
在一些实施例中，基于访问被存储在联网数据储存库(例如图4的SLAM支持节点427中的地图储存库431)中的地图的数据结构，确定第一和第二传感器的定位性能得分。
在一些实施例中，基于访问被存储在设备400的存储器404中的地图储存库402的数据结构，确定第一传感器和第二传感器的定位性能得分。
一些实施例涉及检测激活一个传感器和去激活另一传感器的需要，这可以由以下实施例中的一个或两个实施例来激发。
在第一实施例中，确定在使用传感器A时定位性能的当前或预测下降，在此情况下认为传感器B的性能将更好。例如，如果传感器A是单目相机而传感器B是LIDAR，则当前或预测区域可能包含很少的将要由传感器A检测的视觉特征，而传感器B可以很好地跟踪环境的结构。作为另一个示例，基于所记录的信息，可以知道建筑物的不同部分中的环境的光照条件或视觉纹理是不同的，这严重影响了先前场合的定位性能。可以从使用基于传感器A和B的定位性能所构建的地图中提取该信息。
参考图15的操作实施例，这些操作还可以包括基于确定第一传感器(传感器A)的定位性能的当前测量下降和第一传感器(传感器A)的定位性能的预测下降中的至少一个，发起1501第二传感器(传感器B)的激活。
在第二实施例中，传感器A在操作时比传感器B消耗更多的功率，并且因此设备使用传感器A来操作的能效较低。参考图16的操作实施例，这些操作还可以包括基于确定第一传感器(传感器A)使用超过阈值数量的定义硬件资源，发起1601第二传感器(传感器B)的激活。定义硬件资源可以包括功耗、处理器利用率、存储器利用率、以及网络通信利用率中的至少一个。
一些实施例涉及确定设备姿态PA和PB，这可以包括下面讨论的操作。
在一个实施例中，给定当前可用的地图(其包含如上所述的每个设备姿态的传感器A和传感器B的定位性能的信息)，搜索其中使用传感器X的定位性能高于特定阈值的设备姿态Z。姿态集Z可以包含设备的所有可能姿态，或者可以针对最合适的姿态进行优化(例如，不考虑设备指向地板或天花板的姿态等)。
在另一个实施例中，对于给定姿态集Z，在距离设备的当前位置最大Y米的区域内执行地图中的搜索。可以基于可用能量、执行传感器转变的最后期限、设备的当前和预测轨迹等参数来定义Y的值。
在一些实施例中，如图4、7和8所示，用于使用能够与设备400一起运输的一组传感器401、403和405来执行定位的方法还包括在第二组设备姿态(PB)之中搜索801以识别其中第二传感器(传感器B)的定位性能满足定位性能规则的第二传感器(传感器B)的至少一个设备姿态的子集。执行指导701设备的移动以朝向该子集中的至少一个设备姿态引导第二传感器(传感器B)的移动。
在一些实施例中，在第二组设备姿态(PB)之中搜索801可以被约束为在第二组设备姿态(PB)之中仅识别距离设备的当前位置在阈值距离之内的姿态。可以基于以下中的至少一项来确定阈值距离：设备内的剩余电池电力，在执行传感器转变的最后期限出现之前的剩余时间，以及设备要被移动到第二组设备姿态(PB)中的一个设备姿态将需要的与该设备的当前移动轨迹的偏转量。
在一些实施例中，用于在第二组设备姿态(PB)之中搜索801的操作可以被约束为在第二组设备姿态(PB)之中仅识别与第二传感器的当前姿态在阈值接近度之内的姿态。
在一些实施例中，可以执行用于在第二组设备姿态(PB)之中搜索801的操作以在第二组设备姿态(PB)之中识别其中第一传感器和第二传感器两者将具有满足SLAM性能规则的SLAM性能的姿态。
进一步参考图7，在一些实施例中，用于指导701设备的移动以使设备的姿态从不在第二组设备姿态(PB)之内转变到在第二组设备姿态(PB)之内的操作可以包括从第二组设备姿态(PB)之中识别设备姿态序列，并且当执行用于激活第二传感器和去激活第一传感器的操作时，指导设备的移动以使设备转变通过该设备姿态序列。
一些其他实施例涉及确定设备姿态PF_B(其是传感器B应当被激活的姿态)和确定设备姿态PF_A(其是传感器A应当被去激活的姿态)。
在一个实施例中，基于姿态集PA和PB，确定被包含在集合PA和PB中的姿态集PX，它是两个集合的交集，例如图3中的区域305和307的重叠部分。然后，可以以各种方式确定最终姿态PF，例如PF可以是最接近当前设备姿态P的姿态，或者是最大化传感器A和B两者的定位性能的姿态，或者是两者的组合。
在另一个实施例中，姿态PF还可以是设备要遵循的连续姿态集(即，轨迹)，其可以包含姿态集PF_A(其中传感器A将良好地执行)，后面跟着姿态集PF_AB(其中两个传感器的定位性能都高于特定阈值)，后面跟着姿态集PF_B(其中仅传感器B良好地执行)。
基于该解决方案，当存在在使用传感器A与传感器B之间的转变时，性能将平滑下降，并且将避免必须执行在一个传感器与另一个传感器之间的强制切换(其中新传感器是否将良好地执行将是未知的)的情况。然后能够以有计划的方式执行传感器转变，以确保预计出现特定定位性能。
在一个实施例中，当前地图在期望的区域/姿态中被增强，以使得在这些期望的区域中的定位性能(例如SLAM性能)高于所定义的阈值。例如，考虑传感器A是RGB+IMU，而传感器B是深度传感器或3D传感器(例如LiDAR或立体相机)，这种增强可以是致密化RGB+IMU数据以在特定区域中获得更好的深度特征，以使得深度传感器或3D传感器在被开启时能够在这样的区域中执行更好的定位。相反地，该增强可以是将额外的关键帧下载到设备，以使得RGB+IMU传感器在被开启时能够更好地执行。
在一个实施例中，从地图中取得以计算给定区域中给定传感器的性能的信息基于该信息的时间特性被加权。例如，对最近被捕获的数据更加信任。附加地，可以更加信任在一天中的相同时间捕获的数据，以使得光照条件可能是相同的。
在一个实施例中，如果在转变期间两个传感器都是活动的，则执行两个传感器之间的信息融合，以使得能够获得更高的定位性能。
图4示出了包括一对设备400和410的系统450，一对设备400和410各自被连接到相应的一组传感器，并且根据本公开的一些实施例进行操作。示例系统450还可以包括SLAM支持节点427。尽管在SLAM处理期间激活和去激活传感器的上下文中描述了图4的系统，但是这些实施例不限于与SLAM一起使用，而是可以更一般地被用于在定位操作期间或者在组合式定位和地图构建操作(其可能基于也可能不基于SLAM)期间激活和去激活传感器。
第一设备400可以包括或在操作上被连接到能够与第一设备400一起运输的第一组传感器401、403和405。第二设备410可以包括或在操作上被连接到能够与第二设备410一起运输的第二组传感器411、413和415。在一些实施例中，第一设备400确定601(图6)其中第一传感器(例如传感器401)满足定位性能规则的第一组设备姿态(PA)，以及确定603(图6)其中第二传感器(例如传感器403)满足定位性能规则的第二组设备姿态(PB)。
在一些实施例中，可以基于从第二设备410和/或从SLAM支持节点427获得的信息来协助第一设备400执行确定601和/或603。例如，当第一设备400位于第二设备410附近时，第一设备400可以在操作上假设它能够成功地使用与第二设备410正在主动用于执行定位的传感器相同类型的传感器或足够相似的类型的传感器以进行定位。因此，第一设备400可以被配置为查询第二设备410以获得第二设备410正在主动用于执行定位的传感器的列表(例如一个或多个传感器)，然后从该列表中确定它的第一组401、403和405中的哪些传感器(如果有的话)能够被用于执行定位，同时满足定位性能规则。
在一个说明性的其他示例中，假设第一设备400位于第二设备410附近，假设第一组传感器401、403和405与第二组传感器411、413和415分别相同(或分别满足阈值级别的操作相似性)，并且假设第二设备410报告它正在主动使用传感器411并且没有正在使用传感器413和415来进行定位。然后第一设备400可以相应地确定它当前处于传感器401将满足定位性能规则的姿态(例如，基于设备400和410被相邻定位并且传感器411正在被第二设备410主动使用)，并且还确定传感器403和405将不满足定位性能规则。
在一些其他实施例中，可以使用来自与第二设备410一起运输的第二组传感器411、413和415中的一个或多个传感器的数据来协助第一设备400执行定位。例如，当第一设备400位于第二设备410附近并且还经由足够带宽的通信信道以通信方式被连接到第二设备410时，第一设备400可以查询第二设备410以获得第二设备410正在主动用于执行定位的传感器的列表(例如一个或多个传感器)，然后从该列表中确定第二组411、413和415中的哪些传感器(如果有的话)能够被第一设备400用于执行定位，同时满足定位性能规则。第一设备410可以使用所接收的列表来决定从使用第一组401、403和405中的一个或多个传感器切换到使用来自第二组411、413和415中的一个或多个传感器的数据以进行第一设备400的定位。在其他实施例中，第一设备400可以请求第二设备410激活第二组411、413和415中的一个传感器，以及还基于第一设备400确定例如第一组401、403和405中的传感器针对第一设备400的当前姿态都不满足定位性能规则，从被激活的传感器向第一设备400提供数据。
第一设备400和第二设备410可以是但不限于智能电话、可穿戴计算机、增强现实头戴式设备、虚拟现实头戴式设备、混合现实头戴式设备、半自主或自主车辆、飞机、机器人、船舶等中的任何一个的组件。第一设备400和第二设备410以及它们的所连接的传感器可以以任何方式运输，例如通过人、车辆、无人机、飞机、船舶、机器人等。传感器的示例类型包括但不限于RGB可见光相机、红外相机、惯性测量单元(IMU)、雷达传感器、立体相机(可见光和/或红外)、光检测和测距(LIDAR)传感器、声学测距传感器、接近度传感器、GPS、以及RF收发机(例如5G无线电)。
第一设备400包括SLAM(或定位)处理器409、存储器404、以及无线收发机407，无线收发机407可以经由无线电接入节点(RAN)421或423与第二设备410和/或SLAM(或定位)支持节点427通信。处理器409在操作上被连接到第一组传感器401、403、405。存储器404存储由处理器409执行以执行操作的程序代码，以及可以存储地图储存库402。由SLAM处理器409执行的操作可以包括本文描述的涉及控制传感器激活和/或去激活的一些或所有操作，并且更具体地，包括本文在图6-16中的任何一个或多个的上下文中描述的操作。
第二设备410可以与第一设备400类似地被配置。第二设备410包括一组传感器411、413和415、SLAM(或定位)处理器419、无线收发机417和存储器414，存储器414存储由处理器419执行以执行操作的程序代码，并且还可以存储地图储存库412。处理器在操作上被连接到一组传感器411、413和415。
第一设备400和/或第二设备410可以被配置为包含执行操作以控制传感器激活和去激活以及执行定位操作所需的程序代码和相关电路，并且还可以执行地图构建操作(例如SLAM算法处理)。第一设备400的一些定位和/或地图构建操作可以由联网节点(例如所示的SLAM支持节点427)和/或由第二设备410执行。类似地，第二设备410的一些定位和/或地图构建操作可以由联网节点(例如所示的SLAM支持节点427)和/或由第一设备400执行。
设备400和410可以被配置为经由无线电接入网络(RAN)421和423以及网络425中的一个或多个与SLAM支持节点427通信。SLAM支持节点427包括处理器433，处理器433可以被配置为执行根据本文公开的一个或多个实施例的用于激活和去激活与第一设备400和/或第二设备410一起运输的传感器的一些或所有操作。SLAM支持节点427可以存储地图储存431，地图储存库431可以被用于基于第一设备400和/或第二设备410的姿态，确定激活或去激活哪些传感器以及确定何时激活或去激活传感器。
图5示出了包括保持移动电子设备520的混合现实(MR)头戴式设备500的MR系统，移动电子设备520可以包括(例如内置)相机522并且在操作上被连接到一组传感器533、535等。移动电子设备520可以包括处理器和存储程序代码的存储器，该程序代码将处理器配置为激活和去激活传感器522、533、535中的个体传感器，同时使用传感器522、533、535中的活动传感器来执行定位。MR头戴式设备500包括透镜510，通过透镜510，佩戴MR头戴式设备的用户能够观看真实世界特征。MR头戴式设备500还包括支架521，支架521被配置为将移动电子设备520可释放地保持在相对于透镜510的限定取向。
移动电子设备520包括显示设备和处理器。相机522被配置为输出数字图片(例如静态图片和/或视频)并且被支架521布置成观看MR头戴式设备500的透镜510的至少一部分。显示设备被布置为显示被投射在透镜510上以用于直接或间接地朝向用户的眼睛(即，在正在佩戴MR头戴式设备500时)和移动电子设备520的相机522反射的信息。尽管未被显示，头戴式设备可以包括中间镜(intervening mirror)，其位于透镜510与用户的眼睛和/或相机522之间，并且因此光可以被直接或间接地朝向用户的眼睛和/或相机522反射。
移动电子设备520可以包括但不限于智能电话、掌上电脑、平板电脑、游戏设备或其他计算设备。为了简洁起见，“移动电子设备”在本文中也被称为“移动设备”和“设备”。
其他定义和实施例：
在本发明构思的各种实施例的以上描述中，应理解，本文使用的术语仅出于描述特定实施例的目的，并不旨在限制本发明构思。除非另外定义，否则本文使用的所有术语(包括技术和科学术语)具有与本发明构思所属领域的普通技术人员通常理解的含义相同的含义。还将理解，诸如在常用词典中定义的术语应被解释为具有与其在本说明书和相关领域的上下文中的含义相一致的含义，并且将不以理想化或过度正式的意义来解释，除非在此明确定义。
当一个元件被称为“连接”、“耦接”到另一个元件或“响应于”(或其变型)另一个元件时，它可以直接连接、耦接到另一个元件或响应于另一个元件，或者可以存在中间元件。相比之下，当元件被称为“直接连接”、“直接耦接”到另一元件或“直接响应于”(或其变型)另一个元件时，不存在中间元件。相同的数字始终指代相同的元件。此外，本文使用的“耦接”、“连接”、“响应于”或其变型可以包括无线耦接、连接或响应。如本文所使用的，单数形式的“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有明确说明。为简洁和/或清楚起见，可能未详细描述公知的功能或构造。术语“和/或”包括一个或多个相关联的所列项目的任何和所有组合。
应当理解，尽管本文可以使用术语第一、第二、第三等来描述各种元件/操作，但是这些元件/操作不应受这些术语的限制。这些术语仅用于将一个元件/操作与另一个元件/操作进行区分。因此，在不脱离本发明构思的教导的情况下，在一些实施例中的第一元件/操作可在其他实施例中被称为第二元件/操作。在整个说明书中，相同的附图标记或相同的附图指示符表示相同或相似的元件。
如本文所使用的，术语“包括”、“包含”、“具有”或其变型是开放的，并且包括一个或多个所声明的特征、整数、元件、步骤、组件或功能，但不排除一个或多个其他特征、整数、元件、步骤、组件、功能或其组合的存在或添加。此外，如本文所使用的，源自拉丁语短语“举例来说(exempli gratia)”的通用缩写“例如(e.g.)”可用于引入或指定先前提及的项目的一个或多个一般示例，并且不旨在限制这样的项目。源自拉丁短语“也就是(id est)”的通用缩写“即(i.e.)”可用于从更一般的叙述中指定特定项目。
本文参考计算机实现的方法、装置(系统和/或设备)和/或计算机程序产品的框图和/或流程图说明来描述示例实施例。应当理解，框图和/或流程图图示的一个框以及框图和/或流程图图示中的框的组合可以由一个或多个计算机电路执行的计算机程序指令来实现。这些计算机程序指令可以被提供给通用计算机电路、专用计算机电路和/或其他可编程数据处理电路的处理器电路以产生机器，以使得经由计算机和/或其他可编程数据处理装置的处理器执行的指令变换和控制晶体管、被存储在存储单元中的值、以及这种电路内的其他硬件组件，以实现在框图和/或一个或多个流程图框中指定的功能/动作，从而创建用于实现框图和/或一个或多个流程图框中指定的功能/动作的装置(功能)和/或结构。
这些计算机程序指令还可以被存储在有形计算机可读介质中，该有形计算机可读介质可以引导计算机或其他可编程数据处理装置以特定方式工作，以使得存储在计算机可读介质中的指令产生包括实现框图和/或一个或多个流程图框中指定的功能/动作的指令的制品。因此，本发明构思的实施例可以体现在诸如数字信号处理器的处理器上运行的硬件和/或软件(包括固件、驻留软件、微代码等)中，它们可以被统称为“电路”、“模块”或其变型。
还应注意，在一些替代实现中，框中提到的功能/动作可以不按照流程图中提到的顺序发生。例如，连续示出的两个框实际上可以基本上同时被执行，或者这些框有时可以以相反的顺序被执行，这取决于所涉及的功能/动作。此外，流程图和/或框图的给定框的功能可以被分成多个框和/或流程图和/或框图的两个或更多个框的功能可以至少部分地被集成。最后，可以在所图示的框之间添加/插入其他框，和/或可以省略框/操作而不脱离本发明构思的范围。此外，尽管一些图包括通信路径上的箭头以示出通信的主要方向，但是应当理解，通信可以在与所示箭头相反的方向上发生。
在基本上不脱离本发明构思的原理的情况下，可以对实施例进行许多变化和修改。所有这些变化和修改旨在被包括在本发明构思的范围内。因此，以上公开的主题应被认为是说明性的而非限制性的，并且实施例的所附示例旨在覆盖落入本发明构思的精神和范围内的所有这样的修改、增强和其他实施例。因此，在法律允许的最大程度上，本发明构思的范围将由包括实施例的以下示例及其等同物的本公开的最宽泛的允许解释来确定，并且不应受前述详细描述的束缚或限制。

Claims (26)

1.一种设备(400)，被配置用于使用能够与所述设备(400)一起运输的一组传感器(401，402，403)来执行定位，所述设备(400)包括：
至少一个处理器(409)，其在操作上被连接到所述一组传感器(401，403，405)；
至少一个存储器(404)，其存储程序代码，所述程序代码将所述至少一个处理器配置为：
确定(601)其中第一传感器满足定位性能规则的第一组设备姿态(PA)；
确定(603)其中第二传感器满足所述定位性能规则的第二组设备姿态(PB)；以及
当所述第一传感器活动时，基于所述设备的姿态从不在所述第二组设备姿态(PB)之内转变到在所述第二组设备姿态(PB)之内，激活(605)所述第二传感器。
2.根据权利要求1所述的设备，其中，所述程序代码还将所述至少一个处理器配置为：当所述设备的姿态保持在所述第二组设备姿态(PB)之内时，基于所述设备的姿态从在所述第一组设备姿态(PA)之内转变到不在所述第一组设备姿态(PA)之内，去激活(607)所述第一传感器。
3.根据权利要求1至2中任一项所述的设备，其中，所述程序代码还将所述至少一个处理器配置为：指导(701)所述设备的移动以使所述设备的姿态从不在所述第二组设备姿态(PB)之内转变到在所述第二组设备姿态(PB)之内。
4.根据权利要求3所述的设备，其中，指导(701)所述设备的移动包括：通过所述设备的用户接口提供引导所述设备的移动以使所述设备的姿态从不在所述第二组设备姿态(PB)之内转变到在所述第二组设备姿态(PB)之内的信息。
5.根据权利要求3至4中任一项所述的设备，其中，指导(701)所述设备的移动包括：向所述设备的导航系统提供控制所述设备的移动以使所述设备的姿态从不在所述第二组设备姿态(PB)之内转变到在所述第二组设备姿态(PB)之内的引导信息。
6.根据权利要求3至5中任一项所述的设备，还包括：
在所述第二组设备姿态(PB)之中搜索(801)以识别其中所述第二传感器的定位性能满足所述定位性能规则的至少一个设备姿态的子集，
其中，执行指导(701)所述设备的移动以朝向所述子集中的所述至少一个设备姿态引导所述第二传感器的移动。
7.根据权利要求6所述的设备，其中，在所述第二组设备姿态(PB)之中搜索(801)以识别其中所述第二传感器的定位性能满足所述定位性能规则的至少一个设备姿态的所述子集被约束为在所述第二组设备姿态(PB)之中仅识别距离所述设备的当前位置在阈值距离之内的姿态。
8.根据权利要求7所述的设备，其中，基于以下中的至少一项来确定所述阈值距离：所述设备内的剩余电池电力，在执行传感器转变的最后期限出现之前的剩余时间，以及所述设备要被移动到所述第二组设备姿态(PB)中的一个设备姿态将需要的与所述设备的当前移动轨迹的偏转量。
9.根据权利要求6至8中任一项所述的设备，其中，执行在所述第二组设备姿态(PB)之中搜索(801)以识别其中所述第二传感器的定位性能满足所述定位性能规则的至少一个设备姿态的所述子集，以在所述第二组设备姿态(PB)之中识别其中所述第一传感器和所述第二传感器两者将具有满足所述定位性能规则的定位性能的姿态。
10.根据权利要求3至8中任一项所述的设备，其中，指导(701)所述设备的移动以使所述设备的姿态从不在所述第二组设备姿态(PB)之内转变到在所述第二组设备姿态(PB)之内包括：
从所述第二组设备姿态(PB)之中识别设备姿态序列；以及
当执行用于激活所述第二传感器和去激活所述第一传感器的操作时，指导所述设备的移动以使所述设备转变通过所述设备姿态序列。
11.根据权利要求1至10中任一项所述的设备，其中：
确定(601)其中所述第一传感器满足SLAM性能规则的所述第一组设备姿态(PA)包括：
基于以下中的至少一项来确定所述第一传感器在一个或多个姿态的定位性能得分：基于来自所述第一传感器的数据而确定的所确定的错误重新定位数量，在由来自所述第一传感器的数据所测量的区域中所确定的特征测量的数量和质量，基于来自所述第一传感器的数据而确定的定位误差，以及在基于来自所述第一传感器的数据的测量中的不确定量，以及
确定所述第一传感器在所述一个或多个姿态的所述定位性能得分是否满足所述定位性能规则；以及
确定(603)其中所述第二传感器满足所述SLAM性能规则的所述第二组设备姿态(PB)包括：
基于以下中的至少一项来确定所述第二传感器在一个或多个姿态的定位性能得分：基于来自所述第二传感器的数据而确定的所确定的错误重新定位数量，在由来自所述第二传感器的数据所测量的区域中所确定的特征的数量和质量，以及基于来自所述第二传感器的数据而确定的定位误差，以及
确定所述第二传感器在所述一个或多个姿态的所述定位性能得分是否满足所述定位性能规则。
12.根据权利要求1至11中任一项所述的设备，其中：
确定(601)其中所述第一传感器满足所述定位性能规则的所述第一组设备姿态(PA)包括：
确定(901)所述设备相对于由识别局部环境的先前感测的特征的数据结构所定义的地图的定位，
基于所述第一传感器是否感测到由所述数据结构识别的所述先前感测的特征，确定(903)在所述设备处于一个或多个姿态时所述第一传感器的定位性能得分，以及
确定(905)在所述设备处于所述一个或多个姿态时所述第一传感器的所述定位性能得分是否满足所述定位性能规则；以及
确定(603)其中所述第二传感器满足所述SLAM性能规则的所述第二组设备姿态(PB)包括：
基于所述第二传感器是否感测到由所述数据结构识别的所述先前感测的特征，确定(1001)在所述设备处于一个或多个姿态时所述第二传感器的定位性能得分，以及
基于所述第二传感器是否感测到由所述数据结构识别的所述先前感测的特征，确定(1003)在所述设备处于所述一个或多个姿态时所述第二传感器的所述定位性能得分是否满足所述定位性能规则。
13.根据权利要求1至12中任一项所述的设备，其中：
确定(601)其中所述第一传感器满足所述SLAM性能规则的所述第一组设备姿态(PA)包括：
确定(1101)所述设备相对于由识别局部环境的特征的位置的数据结构所定义的地图的定位，
基于所述第一传感器在何处识别所述特征的所述位置与所述数据结构在何处识别所述特征的所述位置的比较，确定(1103)在所述设备处于一个或多个姿态时所述第一传感器的定位性能得分，以及
确定(1105)在所述设备处于所述一个或多个姿态时所述第一传感器的所述定位性能得分是否满足所述定位性能规则；以及
确定(603)其中所述第二传感器满足所述定位性能规则的所述第二组设备姿态(PB)包括：
基于所述第二传感器在何处识别所述特征的所述位置与所述数据结构在何处识别所述特征的所述位置的比较，确定(1201)在所述设备处于一个或多个姿态时所述第二传感器的定位性能得分，以及
确定(1203)在所述设备处于所述一个或多个姿态时所述第二传感器的所述定位性能得分是否满足所述定位性能规则。
14.根据权利要求1至13中任一项所述的设备，其中：
确定(601)其中所述第一传感器满足所述SLAM性能规则的所述第一组设备姿态(PA)包括：
确定(1301)将所述设备定位到在由数据结构定义的地图内的位置，所述数据结构识别设备在所述位置处的定位性能得分；
基于将所述设备定位到所述位置，从所述数据结构中取得(1303)所述第一传感器的定位性能得分；以及
确定(1305)所述第一传感器的所述定位性能得分是否满足所述定位性能规则；以及
确定(603)其中所述第二传感器满足所述定位性能规则的所述第二组设备姿态(PB)包括：
基于将所述设备定位到所述位置，从所述数据结构中取得(1401)所述第二传感器的定位性能得分；以及
确定(1403)所述第二传感器的所述定位性能得分是否满足所述SLAM性能规则。
15.根据权利要求11至14中任一项所述的设备，其中，基于访问被存储在联网数据储存库中的所述地图的所述数据结构，确定所述第一传感器和所述第二传感器的所述定位性能得分。
16.根据权利要求11至14中任一项所述的设备，其中，基于访问被存储在所述设备的存储器中的所述地图的所述数据结构，确定所述第一传感器和所述第二传感器的所述定位性能得分。
17.根据权利要求1至16中任一项所述的设备，其中：
激活(605)所述第二传感器包括以下中的一项：触发所述第二传感器以转变到高功率状态，以及触发所述第二传感器的通电；以及
去激活(607)所述第一传感器包括以下中的一项：触发所述第一传感器以转变到低功率状态，以及触发所述第一传感器的断电。
18.根据权利要求1至17中任一项所述的设备，其中，去激活(607)所述第一传感器包括：将所述第一传感器的数据采样率设置为降低的采样率和零中的一个，或者将所述第一传感器的分辨率设置为降低的分辨率或零。
19.根据权利要求1至18中任一项所述的设备，其中，确定(601)其中所述第一传感器满足所述定位性能规则的所述第一组设备姿态(PA)和确定(603)其中所述第二传感器满足所述定位性能规则的所述第二组设备姿态(PB)是基于获得当前处于活动以供在附近定位的其他设备使用的传感器的列表而被确定的。
20.根据权利要求1至19中任一项所述的设备，还包括：基于确定所述第一传感器的定位性能的当前测量下降和所述第一传感器的定位性能的预测下降中的至少一个，发起(1501)所述第二传感器的激活。
21.根据权利要求1至20中任一项所述的设备，还包括：基于确定所述第一传感器使用超过阈值数量的定义硬件资源，发起(1601)所述第二传感器的激活。
22.根据权利要求21所述的设备，其中，所述定义硬件资源包括功耗、处理器利用率、存储器利用率、以及网络通信利用率中的至少一个。
23.一种由设备使用与所述设备一起运输的一组传感器来执行定位的方法，所述方法包括：
确定(601)其中第一传感器满足定位性能规则的第一组设备姿态(PA)；
确定(603)其中第二传感器满足所述定位性能规则的第二组设备姿态(PB)；以及
当所述第一传感器活动时，基于所述设备的姿态从不在所述第二组设备姿态(PB)之内转变到在所述第二组设备姿态(PB)之内，激活(605)所述第二传感器。
24.根据权利要求23所述的方法，还包括执行根据权利要求2至22中任一项所述的操作。
25.一种用于使用与设备一起运输的一组传感器来执行所述设备的定位的计算机程序产品，所述计算机程序产品包括：
非暂时性计算机可读介质，其存储程序代码，所述程序代码能够由所述设备的至少一个处理器执行以将所述至少一个处理器配置为：
确定其中第一传感器满足定位性能规则的第一组设备姿态(PA)；
确定其中第二传感器满足所述定位性能规则的第二组设备姿态(PB)；以及
当所述第一传感器活动时，基于所述设备的姿态从不在所述第二组设备姿态(PB)之内转变到在所述第二组设备姿态(PB)之内，激活所述第二传感器。
26.根据权利要求25所述的计算机程序产品，其中，所述程序代码还将所述至少一个处理器配置为执行根据权利要求2至22中任一项所述的操作。
CN201980103074.9A 2019-12-18 2019-12-18 使用能够与设备一起运输的传感器进行定位 Pending CN114846296A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/085964 WO2021121577A1 (en) 2019-12-18 2019-12-18 Localization using sensors that are tranportable with a device

Publications (1)

Publication Number Publication Date
CN114846296A true CN114846296A (zh) 2022-08-02

Family

ID=69024265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980103074.9A Pending CN114846296A (zh) 2019-12-18 2019-12-18 使用能够与设备一起运输的传感器进行定位

Country Status (6)

Country Link
US (1) US20220412740A1 (zh)
EP (2) EP4078089B1 (zh)
KR (1) KR20220110585A (zh)
CN (1) CN114846296A (zh)
BR (1) BR112022012028A2 (zh)
WO (1) WO2021121577A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024102042A1 (en) * 2022-11-09 2024-05-16 Telefonaktiebolaget Lm Ericsson (Publ) Controlling a device to sense an environment around the device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110300875A1 (en) * 2010-06-02 2011-12-08 Deutsche Telekom Ag Apparatus, method, and system for sensing suppression for location-based applications
US20150097731A1 (en) * 2013-10-03 2015-04-09 Motorola Mobility Llc Gps/wifi indoor/outdoor detection
US20160277883A1 (en) * 2015-03-18 2016-09-22 Sk Planet Co., Ltd. Terminal for performing position measurement and operating method thereof
WO2018179644A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
US20190278354A1 (en) * 2018-03-06 2019-09-12 Motorola Mobility Llc Methods and Electronic Devices for Determining Context While Minimizing High-Power Sensor Usage

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6891753B2 (ja) * 2017-09-28 2021-06-18 ソニーグループ株式会社 情報処理装置、移動装置、および方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110300875A1 (en) * 2010-06-02 2011-12-08 Deutsche Telekom Ag Apparatus, method, and system for sensing suppression for location-based applications
US20150097731A1 (en) * 2013-10-03 2015-04-09 Motorola Mobility Llc Gps/wifi indoor/outdoor detection
US20160277883A1 (en) * 2015-03-18 2016-09-22 Sk Planet Co., Ltd. Terminal for performing position measurement and operating method thereof
WO2018179644A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
US20190278354A1 (en) * 2018-03-06 2019-09-12 Motorola Mobility Llc Methods and Electronic Devices for Determining Context While Minimizing High-Power Sensor Usage

Also Published As

Publication number Publication date
KR20220110585A (ko) 2022-08-08
WO2021121577A1 (en) 2021-06-24
EP4078089B1 (en) 2023-05-24
US20220412740A1 (en) 2022-12-29
EP4220088C0 (en) 2024-06-26
EP4220088B1 (en) 2024-06-26
EP4078089A1 (en) 2022-10-26
BR112022012028A2 (pt) 2022-09-06
EP4220088A1 (en) 2023-08-02

Similar Documents

Publication Publication Date Title
US11340610B2 (en) Autonomous target following method and device
CN112930484B (zh) 定位系统、定位方法和存储介质
US9684305B2 (en) System and method for mobile robot teleoperation
CN105706438B (zh) 用于移动装置上的深度传感器的功率有效使用的装置、方法和非暂时性计算机可读存储媒体
CN111094895B (zh) 用于在预构建的视觉地图中进行鲁棒自重新定位的系统和方法
WO2018121617A1 (zh) 定位准确度的检测方法及电子设备、计算机存储介质
CN110806215A (zh) 车辆定位的方法、装置、设备及存储介质
IL268219B1 (en) Object tracking system
JP7474849B2 (ja) エネルギー効率の良い自己位置推定のためのセンサのアクティブ化と非アクティブ化の制御
US11751008B2 (en) Angle of arrival capability in electronic devices
CN113692520B (zh) 控制便携式设备的方法和便携式设备
WO2024188220A1 (zh) 手持控制器光源的控制方法、系统、装置、设备及介质
US10521964B1 (en) Switching among disparate simultaneous localization and mapping (SLAM) methods in virtual, augmented, and mixed reality (xR) applications
CN115053259A (zh) 基于来自深度传感器的数据的针对定位的单目相机激活
JP2009177666A (ja) 追尾装置及び追尾方法
EP4078089B1 (en) Localization using sensors that are tranportable with a device
US9826156B1 (en) Determining camera auto-focus settings
CN115715405A (zh) 手部姿态估计方法、移动设备、头戴式显示器及系统
CN113557492B (zh) 利用二维摄像头来辅助对象控制的方法、系统和非暂时性计算机可读记录介质
US10852138B2 (en) Scalabale simultaneous localization and mapping (SLAM) in virtual, augmented, and mixed reality (xR) applications
US12066545B2 (en) Power-efficient hand tracking with time-of-flight sensor
US20190138026A1 (en) Electronic device, external server, and method for controlling same
EP3097435B1 (en) Method for estimating the position of a portable device
US11662739B2 (en) Method, system and apparatus for adaptive ceiling-based localization
CN108732925B (zh) 智能设备的行进控制方法、装置和智能设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination