CN113692520A - 控制便携式设备的方法和便携式设备 - Google Patents

控制便携式设备的方法和便携式设备 Download PDF

Info

Publication number
CN113692520A
CN113692520A CN201980095494.7A CN201980095494A CN113692520A CN 113692520 A CN113692520 A CN 113692520A CN 201980095494 A CN201980095494 A CN 201980095494A CN 113692520 A CN113692520 A CN 113692520A
Authority
CN
China
Prior art keywords
focus
camera
area
features
portable device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980095494.7A
Other languages
English (en)
Inventor
何塞·阿罗约
约安尼斯·卡拉吉安尼斯
拉尔斯·安德森
阿迷尔侯赛因·塔赫库斯塔尼
阿南亚·慕都克里斯那
迭戈·冈萨雷斯莫兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN113692520A publication Critical patent/CN113692520A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)

Abstract

一种控制包括相机的便携式设备的方法(100)，该方法包括：使用定位算法执行(110)便携式设备的定位，该定位算法将表示由相机捕获的图像的图像数据作为输入；识别(120)相机的当前对焦区域；确定(130)相机的期望对焦区域；当期望对焦区域与当前对焦区域不同时，确定(140)需要改变对焦；以及生成(150)控制信号，该控制信号被配置为使相机的对焦关于新的对焦区域改变。

Description

控制便携式设备的方法和便携式设备
技术领域
本发明涉及一种控制便携式设备的方法。本发明还涉及一种便携式设备以及一种包括服务器和便携式设备的系统。
背景技术
混合现实MR、增强现实AR和虚拟现实VR是突破性的技术，其受欢迎程度正在显著增加。第一批MR/AR/VR设备非常昂贵，并且不打算用于商业用途(例如，微软的Hololens或第一个Oculus Rift)。然而，为智能电话开发新MR应用或销售价格合理的头戴式显示器(例如Holokit)的新初创企业或大公司的数量正在迅速增加。此外，最新的智能电话正在被生产具有嵌入式硬件人工智能AI能力，以增强AR体验。
MR/AR/VR设备的共同特征之一是同时定位和映射SLAM算法的应用。SLAM算法能够通过跟踪从设备可用的传感器数据中提取的特征来估计设备在真实3D空间中的位置和朝向。SLAM算法还可以生成设备周围环境的地图，包括例如所提取的特征在其相对位置的表示。在独立的MR/AR/VR耳机中，使用了多个相机和深度/范围传感器，从而允执行鲁棒的SLAM。然而，当前基于智能电话的MR/AR/VR应用通常仅依赖后置相机和惯性测量单元IMU来提供SLAM算法的输入。当环境条件或相机设置不是最佳时，例如在低水平光照下使用时，当相机没有最佳对焦时，或者当相机正在经历快速移动时，位置跟踪和映射的精度可能降低。这可能显著影响MR/AR/VR用户体验，特别是当虚拟内容旨在锚定到SLAM算法检测到的特征并且SLAM性能降低导致虚拟内容错误地相对于现实世界移动时。
SLAM系统利用来自接收图像的信息的方式将它们定义为直接或间接SLAM。间接SLAM系统首先尝试提取特征，然后利用这些特征来定位相机并构建地图。在间接SLAM算法的情况下，特征可以是简单的几何特征，例如角或边，或者可以是更复杂的特征描述符，例如SIFT、ORB或FAST。Meixiang Quan等人在“Accurate Monocular Visual-inertial SLAMusing a Map-assisted EKF Approach”，arXiv：1706.03648，2017中描述了一种间接的视觉惯性SLAM方法。Ra′ul Mur-Artal等人的“ORB-SLAM：a Versatile and AccurateMonocular SLAM System”，IEEE Transactions on Robotics，第31卷，第5期，2015年10月示出了ORB SLAM，其是一种广泛使用的视觉间接SLAM算法，依赖于ORB特征的检测和跟踪。
直接方法识别包括例如视觉图案和结构的特征，这些视觉模式和结构简单地由相机捕获的图像区域内的像素强度中的差异来定义。直接方法尝试通过对地图和相机参数一起执行优化来恢复环境的深度和结构以及相机姿态。由于间接特征提取过程可以比直接特征提取需要更多时间，因此直接方法在保持与间接方法相同的帧速率的同时可能允许更多时间用于其他计算。另一方面，基于间接特征的方法对不断变化的光照条件提供了更好的容忍度，因为与直接方法不同，它们不直接使用像素强度。最近提出了一种混合SLAM，其将直接和间接SLAM的思想融合在一起，例如SVO SLAM。
发明内容
一个目的是提供一种改进的控制便携式设备的方法。另一个目的是提供一种改进的便携式设备并提供一种改进的系统，该系统包括便携式设备和服务器。
本发明的方面提供了一种控制包括相机的便携式设备的方法。该方法包括以下操作。使用定位算法执行所述便携式设备的定位，所述定位算法将表示由所述相机捕获的图像的图像数据作为输入。识别所述相机的当前对焦区域。确定所述相机的期望对焦区域。当所述期望对焦区域与所述当前对焦区域不同时，确定需要改变对焦。生成控制信号，所述控制信号被配置为使所述相机的对焦关于新的对焦区域改变。
当需要改变相机的对焦区域时，所述方法实现定位算法的准确且鲁棒的操作。
在实施例中，执行便携式设备的定位包括：从图像数据中识别特征；确定针对所识别的特征的相应位置信息；以及将不确定性与每个所述特征的识别及其确定的位置信息相关联，所述不确定性指示相应的信任水平。因此，该方法可以与间接定位算法(例如间接SLAM)一起使用。
在实施例中，该方法还包括：调整由定位算法执行便携式设备的所述定位所使用的、与特征的识别及其确定的位置信息相关联的不确定性。这可以在使对焦的改变能够发生时确保定位算法的准确和鲁棒的性能。
在实施例中，调整不确定性包括：增大与位于或预测将位于新的对焦区域外部的特征相关联的不确定性；将相机的对焦改变到新的对焦区域；以及减小与在相机的对焦改变完成后位于或预测将位于新的对焦区域内部的特征相关联的不确定性。这可以在发生对焦的改变时确保定位算法的准确和鲁棒的性能。
在实施例中，该方法包括：确定期望对焦区域内具有至少最低质量水平的特征的数量；以及当期望对焦区域内具有至少最低质量水平的特征的数量至少是指定的最小特征数量时，选择期望对焦区域作为新的对焦区域。通过控制对焦区域，该方法可以确保足够数量的(高质量)特征位于新的对焦区域内部。这样，保持了定位算法的准确性和鲁棒性。
在实施例中，便携式设备包括惯性测量单元IMU，并且定位算法附加地将IMU测量作为输入，并且其中，调整与特征的识别及其确定的位置信息相关联的不确定性包括：将不确定性至少增大到定位算法在便携式设备的所述定位中优先使用IMU测量的值，不确定性在相机的对焦改变时处于该增大的值。不确定性在相机的对焦改变时处于该增大的值。这使得定位算法在要发生对焦的改变时更多地依赖IMU测量；因此，相机在对焦的改变期间捕获的模糊图像将被定位算法赋予较小的权重，这将有助于在对焦的改变期间保持定位算法的准确性和鲁棒性。
在实施例中，调整与特征的识别及其确定的位置相关联的不确定性包括：在改变相机的对焦时将不确定性增大到指示缺乏信任的值，使定位算法在相机的对焦改变时停止运行。这确保定位算法在对焦的改变期间忽略相机捕获的模糊图像，这将导致设备在对焦的改变期间的位置和姿态保持固定。
在实施例中，该方法还包括：确定期望对焦区域内具有至少最低质量水平的特征的数量。该方法还包括：当期望对焦区域内具有至少最低质量水平的特征的数量小于指定的最小特征数量时，选择与期望对焦区域不同的区域作为新的对焦区域。新的对焦区域是最接近期望对焦区域的区域，针对所述区域，在所述区域内具有至少最低质量水平的特征的数量至少是指定的最小特征数量。这使得能够在从用户体验的角度来看的最佳对焦区域与允许定位算法以准确和鲁棒的方式执行的区域之间进行权衡。
在实施例中，新的对焦区域是以下之一：包括期望对焦区域的更大的区域；以及与期望对焦区域大小相同的区域，所述区域相对于期望对焦区域移位了为使所述区域内具有至少最低质量水平的特征的数量达到至少指定的最小数量特征所需的最小距离。这使得能够在从用户体验的角度来看的最佳对焦区域与允许定位算法以准确和鲁棒的方式执行的区域之间进行权衡。
在实施例中，新的对焦区域相对于期望对焦区域水平或竖直地移位。
在实施例中，当期望对焦区域与当前对焦区域相距一距离时，新的对焦区域是包括期望对焦区域和至少一部分当前对焦区域的更大的区域。重复改变相机的对焦和选择新的对焦区域的步骤，直到新的对焦区域与尽可能接近期望对焦区域的区域趋于一致。这可以使该方法在所有高质量特征都在当前对焦区域附近时，即使在距离当前对焦区域很远并且在期望对焦区域附近几乎没有特征时，也能够汇聚在期望对焦区域上。
在实施例中，重复改变相机的对焦和选择新的对焦区域，直到新的对焦区域与尽可能接近期望对焦区域的区域趋于一致。
在实施例中，该方法还包括：确定新的对焦区域内具有至少最低质量水平的特征的数量。该方法还包括：当新的对焦区域内具有至少最低质量水平的的特征的数量至少是指定的最小特征数量时，在从图像数据中识别特征之前对图像数据应用去模糊算法。以这种方式，可以执行去模糊算法的有效应用，以向定位算法提供具有清晰对焦区域的图像，并因此允许定位算法以准确和鲁棒的方式执行。
在实施例中，如果便携式设备是静止的，则应用去模糊算法。在对焦改变的持续时间期间使用的去模糊算法的参数因此可以保持不变，因此去模糊参数仅需要计算一次，这是非常有效的。
在实施例中，如果相机关于新的对焦区域改变对焦所需的时间小于阈值时间段，则调整与特征的识别及其确定的位置信息相关联的不确定性包括：减小与位于或预测将位于新的对焦区域内的特征相关联的不确定性。
在实施例中，如果可以由相机瞬时地执行对焦的改变，则调整位置信息的不确定性包括减小针对位于新的对焦区域内的特征的位置信息的不确定性。瞬时意味着对焦的改变比相机捕获图像的帧速率更快地发生。
在实施例中，如果便携式设备被确定为不是静止的，则该方法包括延迟将相机的对焦改变到新的对焦区域，直到便携式设备被确定为静止。如果设备是静止的，则实现针对定位算法的最佳可能性能。
在实施例中，期望对焦区域是以下中的至少一个：以用户的眼睛所对焦在的便携式设备的显示器上显示的图像内的位置为中心的区域；以用户做出了点击手势所在的便携式设备的显示器上显示的图像内的位置为中心的区域；由便携式设备的显示器上与由相机捕获的图像一起显示的虚拟内容的位置和尺寸定义的区域；由应用于相机测量的基准标记的位置和尺寸定义的区域；以及指定的感兴趣区域。因此，作为以多种不同方式选择或识别的期望对焦区域的结果，可以触发对对焦改变的需要。
在实施例中，定位算法是定位和映射算法以及来自运动算法的结构之一。因此，该方法适用于构建环境的3D模型和在环境内定位便携式设备的问题。
在实施例中，定位算法是同时定位和映射SLAM算法。
在实施例中，便携式设备是以下之一：计算设备、智能电话、便携式电话、蜂窝电话、无线设备、无线相机、游戏控制台或设备、平板电脑、膝上型计算机、头戴式设备、导航设备和机器人设备。
在实施例中，便携式设备还包括显示器。该方法还包括生成控制信号的步骤，该控制信号被配置为使由相机捕获的图像显示在显示器上。该控制信号也可以被配置为使虚拟内容与图像一起显示。
该方法在需要改变相机的对焦区域时，即在需要改变对焦同时保持用户的MR/AR体验质量时，实现定位算法的准确和鲁棒的操作。因此，该方法实现在用于MR/AR应用的便携式设备上的对焦的改变。
相应的实施例同样适用于以下描述的便携式设备和系统。
本发明的方面提供了一种包括相机和处理电路的便携式设备。处理电路被配置为使便携式设备使用定位算法执行便携式设备的定位，该定位算法将表示由相机捕获的图像的图像数据作为输入。处理电路被配置为使便携式设备识别相机的当前对焦区域。处理电路被配置为使便携式设备确定相机的期望对焦区域。处理电路被配置为使便携式设备在期望对焦区域不同于当前对焦区域时确定需要改变对焦。处理电路被配置为使便携式设备生成控制信号，该控制信号被配置为使相机的对焦关于新的对焦区域改变。
在实施例中，执行便携式设备的定位包括：从图像数据中识别特征；确定针对所识别的特征的相应位置信息；以及将不确定性与每个所述特征的识别及其确定的位置信息相关联，指示相应的信任水平。
在实施例中，处理电路被配置为使便携式设备调整由定位算法执行便携式设备的所述定位所使用的、与特征的识别及其确定的位置信息相关联的不确定性。
在实施例中，便携式设备包括惯性测量单元IMU。处理电路还被配置为使便携式设备使用定位算法来执行便携式设备的定位，该定位算法附加地将IMU测量作为输入。处理电路还被配置为使便携式设备通过将不确定性至少增大到定位算法在便携式设备的所述定位中优先使用IMU测量的值，来调整与特征的识别及其确定的位置信息相关联的不确定性。不确定性在相机的对焦改变时处于该增大的值。
本发明的方面提供了一种包括相机、接口电路和处理电路的便携式设备。处理电路被配置为使便携式设备使用定位算法执行便携式设备的定位，该定位算法将表示由相机捕获的图像的图像数据作为输入。处理电路被配置为使便携式设备识别相机的当前对焦区域。处理电路被配置为使便携式设备确定相机的期望对焦区域。处理电路被配置为使便携式设备在期望对焦区域与当前对焦区域不同时确定相机需要改变对焦。处理电路被配置为使便携式设备生成控制信号，该控制信号被配置为使相机的对焦关于新的对焦区域改变。
本发明的方面提供了一种包括服务器和便携式设备的系统。服务器包括处理电路和接口电路。便携式设备包括相机、处理电路和接口电路。服务器的处理电路和便携式设备的处理电路一起被配置为：使用定位算法执行便携式设备的定位，该定位算法将表示由相机捕获的图像的图像数据作为输入；识别相机的当前对焦区域；确定相机的期望对焦区域；当期望对焦区域与当前对焦区域不同时，确定需要改变对焦；以及生成控制信号，该控制信号被配置为使相机的对焦关于新的对焦区域改变。
本发明的方面提供了一种包括指令的计算机程序，该指令当在至少一个处理器上执行时使至少一个处理器执行控制便携式设备的上述方法。
本发明的方面提供了传送上述计算机程序的载体，其中，该载体是电信号、光信号、无线电信号或计算机可读存储介质之一。
现在将参考附图仅作为示例描述本发明的实施例。
附图说明
图1、图3和图4是示出了本文公开的方法的实施例的流程图；
图2是示出了对焦区域的图像的示意表示；
图5至图7是示出了根据本发明的实施例的便携式设备的框图；以及
图8是示出了根据本发明的实施例的系统的框图。
具体实施方式
相同的附图标记将用于不同实施例中的对应特征。
参考图1，本发明的实施例提供了一种控制包括相机的便携式设备的方法100。
该方法包括：
使用定位算法执行110便携式设备的定位，该定位算法将表示由相机捕获的图像的图像数据作为输入；
识别120相机的当前对焦区域；
确定130相机的期望对焦区域；
当期望对焦区域与当前对焦区域不同时，确定140需要改变对焦；以及
生成150控制信号，该控制信号被配置为使对焦区域改变。
图像数据可以由相机输出的数据输出或从相机输出的数据导出。图像数据可以包括图像帧，每个图像帧包括相机中图像传感器的像素在时间点处的像素强度数据。对焦区域包括图像内的一个或多个区域，其中图像内容具有最高水平的锐度。失焦(Out-of-focus)区域是图像中对焦区域的互补区域。前后移动相机的焦平面的过程称为对焦、对焦调整或对焦的改变。
当被提供有所需对焦区域时，可以例如使用自动对焦算法来执行对焦的改变，自动对焦算法被实现为例如相机的组件。自动对焦算法基于它在所提供的对焦区域内识别的对象来确定并应用相机中的焦点设置。备选地，可以通过独立于相机但与相机的接口(例如，应用编程接口(API))通信的软件实现以改变相机的焦点设置来对所提供的对焦区域执行对焦的改变。
便携式设备例如可以是以下中的任何一个：计算设备、智能电话、便携式电话、蜂窝电话、无线设备、无线相机、游戏控制台或设备、平板电脑、膝上型计算机、头戴式设备、导航设备和机器人设备。
在实施例中，便携式设备包括显示器，并且该方法包括生成控制信号，该控制信号被配置为使由相机捕获的图像显示在显示器上。控制信号还可以被配置为使虚拟内容与图像一起显示。
期望对焦区域可以是以下中的任何一个：以用户的眼睛所对焦在的便携式设备的显示器上显示的图像内的位置为中心的区域；以用户做出了点击手势所在的便携式设备的显示器上显示的图像内的位置为中心的区域；由便携式设备的显示器上与由相机捕获的图像一起显示的虚拟内容的位置和尺寸定义的区域；由应用于图像数据的基准标记的位置和尺寸定义的区域；以及指定的感兴趣区域。例如，在智能电话的情况下，期望对焦区域通常由用户定义，例如通过点击智能电话屏幕并定义区域。还可以通过其他方式定义期望对焦区域，例如通过跟踪用户的眼睛注视并将屏幕上(即图像内)用户正在注视的区域定义为期望对焦区域。
在实施例中，定位算法是定位和映射算法，其可以是同时定位和映射SLAM算法。
备选地，定位算法可以是来自运动算法的结构。任一选项都适用于解决构建环境的3D模型和在环境中定位便携式设备的问题。
定位算法可以是直接定位算法，识别和跟踪包括亮度/色度模式的特征的移动。备选地，定位算法可以是间接定位算法，识别和跟踪特征的移动，该特征包括几何图案和特征(例如角和边缘)或更复杂的特征描述符，例如SIFT、ORB和FAST，如例如在Ra′ul Mur-Artal等人的“ORB-SLAM：a Versatile and Accurate Monocular SLAM System”中，IEEETransactions on Robotics，第31卷，第5期，2015年10月，第1147-1163页，“特征选择”和“ORB提取”中所描述的。
在实施例中，执行便携式设备的定位包括从图像数据中识别特征并确定所识别特征的相应位置。不确定性与特征的识别及其确定的位置相关联，指示相应的信任水平。不确定性的水平根据从相机接收的图像数据中的图像内容和所选择的图像内容的图像质量而变化。例如，可以基于相机的技术特性或基于有根据的推测来计算指示在所识别的特征及其所确定的位置中的信任水平的不确定性。
在实施例中，该方法包括：调整由定位算法确定便携式设备的位置/朝向所使用的、与由定位算法确定的所选择的特征的位置相关联的不确定性。
在实施例中，调整与所选择的特征的位置相关联的不确定性包括：增大与位于或预测将位于新的对焦区域外部的特征相关联的不确定性；将相机的对焦改变到新的对焦区域；以及减小与在相机的对焦改变完成后位于或预测将位于新的对焦区域内部的特征相关联的不确定性。
增大或减小不确定性是在IMU也可用的情况下告诉定位算法在确定便携式设备的位置/朝向时它应该更信任两个传感器(例如相机和IMU)中的哪一个的方式。如果在实施例中，我们假设不存在惯性测量单元IMU，我们只有相机，则我们不需要调整不确定性。我们暂时将定位算法的操作停止该定位算法关于新的对焦区域而改变相机的对焦所花费的时长。如果设备是静止的，这将获得最佳结果。通过停止该算法，我们不向该算法提供可能降低该算法准确识别特征和确定其位置的能力的低质量图像，从而节省计算量。
在另一个实施例中，调整与所选择的特征相关联的不确定性包括：在改变相机的对焦时将不确定性增大到指示缺乏信任的值。这使定位算法在相机的对焦改变时停止运行。
在实施例中，便携式设备包括相机和具有加速度计和陀螺仪的IMU二者。加速度计被配置为在三个维度(x，y，z)中的每一个维度上测量便携式设备的线性加速度，并且陀螺仪被配置为测量便携式设备绕三个正交轴(u，v，w)中的每一个的角速度，三个正交轴(u，v，w)可以与轴(x，y，z)对齐，或以已知量不同地定向。这些测量可以用于估计设备在一时间段内(例如在从相机捕获第一到第二连续图像的图像帧周期内)的位置和朝向的改变。
定位算法可以附加地接收3D线性加速度和3D旋转速度测量“IMU测量”作为输入。这里调整与所选择的所述特征相关联的不确定性包括将不确定性增大到定位算法优先使用IMU测量的值。不确定性保持在该增大的值，直到相机的对焦已经改变。
参考图2，在实施例中，该方法包括例如通过预测来确定可能在期望对焦区域RNIFA内被识别的特征的数量(在图2中示为星)。要进行计数，所识别的特征必须至少具有最低质量水平。相机具有当前对焦区域IFA，如图2a)所示。然后识别期望对焦区域RNIFA，如图2b)所示。可以以上述方式中的任何一种来定义期望对焦区域。如果在期望对焦区域内识别的或预测为可识别的特征的数量至少等于指定的最小特征数量，则期望对焦区域被选择为新的对焦区域。要进行计数，所识别的特征必须至少具有最低质量水平。
参考图2c)，如果在期望对焦区域内识别的或预测为可识别的特征的数量小于指定的最小特征数量，则不同于期望对焦区域的区域被选择为新的对焦区域。在定位算法已经生成便携式设备正在其中操作的环境的地图(该地图表示特征及其相对位置)的情况下，该算法能够在给定当前对焦区域和地图的情况下预测哪些已经识别的特征可能位于新的对焦区域内。该算法例如通过使用便携式设备的位置和朝向的最近历史来确定设备的当前运动方向和改变朝向来实现这一点。该算法可以使用所确定的设备的当前运动来预测设备在未来短时间(例如未来的一个或多个帧周期)内的位置和朝向，并因此确定哪些已经识别和映射的特征在那时可能位于新的对焦区域内。
被选择为新的对焦区域的区域MNIFA是最接近期望对焦区域的区域，针对该区域，该区域内的特征数量被预测至少等于指定的最小特征数量。例如，通过确定新的对焦区域的质心和期望对焦区域的质心在由相机捕获的图像内或在真实世界坐标中的相对位置来确定接近度。
如图2c)所示，被选择为新的对焦区域的区域可以是相对于期望对焦区域水平或竖直移位的区域。新的对焦区域可以是与期望对焦区域大小相同的区域，该区域相对于期望对焦区域移位了在该区域内识别的或预测为可识别的特征的数量至少等于指定的最小特征数量所需的最小距离。
备选地，新的对焦区域可以是包括期望对焦区域的更大的区域。
在一些情况下，期望对焦区域可以远离当前对焦区域。这将意味着在期望对焦区域附近可能只有很少的先前识别和映射的特征。如果设备正在移动，算法可以发现新特征，估计它们的位置并将它们添加到地图中。在这种情况下，算法可能很难预测有多少可识别的特征可能位于新的对焦区域内，直到地图已经被扩展。在该算法能够选择至少包含最小数量的特征并且足够接近期望对焦区域以满足定位算法和用户二者的新的对焦区域之前，可能需要该算法的若干次迭代。至少一些好的特征(那些至少具有最低质量水平的特征)可能在当前对焦区域附近。因此，一种选项是选择包括期望对焦区域和至少一部分当前对焦区域的更大的区域作为新的对焦区域。这对于第一次迭代是足够的，但是在使用该新的大对焦区域后，将识别期望对焦附近的特征，并且它们的质量、或新的对焦区域内先前识别的特征的质量将开始改进(因为它们现在对焦对准)。改变相机的对焦和选择新的对焦区域的动作因此被重复，直到新的对焦区域与尽可能接近期望对焦区域的区域趋于一致。也就是说，该方法对新的对焦区域执行逐步调整，直到它与尽可能接近期望对焦区域的区域趋于一致。这不仅使定位算法能够以可接受的准确水平执行，而且使用户能够以可接受的对焦清晰度看到他们想要看到的那些对象。
汇聚在靠近期望对焦区域的区域上可以避免最坏情况的场景，在该最坏情况的场景中，期望对焦区域没有包含足够数量的特征，无法以足够的准确性确定设备的位置/朝向。在这种情况下，迭代过程将永远不会汇聚于期望对焦区域，并且会产生折衷的对焦区域，从而平衡定位算法的需求和用户的需求。
在实施例中，重复选择新的对焦区域并由此改变相机的对焦的动作，直到新的对焦区域与期望对焦区域趋于一致。
在实施例中，如果便携式设备是静止的，则应用去模糊算法。
在实施例中，如果相机将对焦调整到新的对焦区域所需的时间小于阈值时间段，则调整与所选择的特征的位置相关联的不确定性包括减小与位于或预测将位于新的对焦区域内的特征的位置相关联的不确定性。
在实施例中，如果对焦的改变可以由相机基本上瞬时执行，则调整与所选择的特征的位置相关联的不确定性包括减小与位于或预测将位于新的对焦区域内的特征的位置相关联的不确定性。
在实施例中，如果便携式设备被确定为不是静止的，则该方法包括延迟基于新的对焦区域的相机的对焦改变，直到便携式设备被确定为静止。
参考图3至图5，本发明的实施例包括控制便携式设备的方法300、400。在这些实施例中，便携式设备是包括相机和惯性测量单元IMU的智能电话，并且定位算法是同时定位和映射SLAM算法。便携式设备在显示与相机捕获的图像相结合的虚拟内容中使用由SLAM算法输出的位置信息，从而向用户呈现混合现实(MR)或增强现实(AR)可视化。
方法300、400包括：
a.通过分析设备的运动属性来确定314设备是否静止。这是可选的(由图3和图4中的虚线指示)。
b.检测312对改变对焦并识别当前对焦区域和期望对焦区域的需要。
c.确定318 SLAM算法的属性。
d.确定316新的对焦区域，并且调整326 SLAM算法。
现在将更详细地描述这些动作中的每一个。
动作a)是可选的。静止是最好情况的场景，允许该方法在相机的对焦改变期间完全依赖IMU测量。然而，如果设备不是静止的，则可以实施该方法。移动设备的静止可以通过以下过程确定。
在一个实施例中，SLAM算法是视觉的，这意味着设备的位置和朝向完全基于相机捕获的图像进行估计。如果设备在最后n个帧内的位置和朝向中的差异保持在预设阈值以下，则认为设备是静止的。
在另一个实施例中，SLAM算法是视觉惯性的，这意味着设备的位置和朝向是基于针对相机捕获的图像提取的视觉特征、IMU测量或二者来估计的。在IMU测量的情况下，可以使用已知算法来确定设备是否静止，例如在I.Skog等人的“Zero-velocity detection-Analgorithm evaluation”，IEEE Transactions on Biomedical Engineering，第57卷，第11期，2010年11月，第2657-2666页中所描述的。当使用视觉特征和IMU测量二者时，由SLAM算法估计的设备的位置和朝向变得明显更加准确。如果设备在最后n个时间步长内的位置和朝向中的差异保持在预设阈值以下，则认为设备是静止的。
该过程的结果是二进制变量，其在设备是静止时为真，并且在设备是移动/旋转时为假。
参考上面的b)，当期望对对焦区域进行更新时，检测312对对焦改变的需要。
可以基于以下任何一项来预测对对焦区域的更新：
·给定期望大小的区域，以用户眼睛对焦的地方为中心
·智能电话的屏幕上的给定期望大小的区域，在其中用户用手指点击以指定其期望对焦区域
·由用户当前在MR/AR应用中可视化的虚拟内容的位置和尺寸定义的区域
·由具有已知大小和图案的视觉基准标记(例如作为虚拟内容的位置锚点或参考的标签，或用于将设备定位到真实世界中的某个位置/朝向的标签)的位置和尺寸定义的区域。
每当基于上述计算的对焦区域与当前对焦区域不同时，就需要改变对焦。
参考上面的c)，SLAM算法的属性包括已经被SLAM算法识别并正在跟踪的特征的当前集合：
N[k]＝Nin[k]+Nout[k]，
其中N[k]是SLAM算法在第k帧识别和跟踪的特征总数，并且Nin[k]和Nout[k]表示在第k帧分别被识别为位于对焦区域内部和外部的特征。Nmin是指定的最小跟踪特征的数量，该跟踪特征应位于对焦区域中以确保SLAM算法准确且鲁棒。
取决于应用，可以相应地调谐Nmin。当Nin[k]≥Nmin时，SLAM算法被认为足够鲁棒以提供智能电话的位置和朝向的准确估计，否则需要将对焦区域修改为新的对焦区域，实现Nin[k]≥Nmin。
让我们还根据a)，将
Figure BDA0003305544010000141
定义为位于期望对焦区域内部的预测的特征数量，而将
Figure BDA0003305544010000142
定义为位于对焦区域外部的预测的特征数量。
在一个实施例中，可以从后台运行的SLAM算法中获得以下信息：跟踪特征的总数N[k]；对焦区域内部的特征数量Nin[k]；以及对焦区域外部的特征数量Nout[k]。该信息通常在SLAM算法中可用。
特征必须具有高于最小阈值的置信度。例如，只有被分类为具有高置信度的特征(即高质量、鲁棒的特征)才被计数。自然地，对焦区域内部的特征Nin[k]倾向于比其外部的特征具有更高的置信度，因为对焦区域内部的特征将更清晰且不那么模糊。针对SLAM执行“好”特征的选择的方法的示例可以在G.Zhang和P.Vela的“Good Features to Track forVisual SLAM”，10.1109/CVPR.2015.7298743中找到。
与前面两个实施例一样，确定位于新的对焦区域内部的预测的特征数量
Figure BDA0003305544010000151
和位于对焦区域外部的预测的特征数量
Figure BDA0003305544010000152
参考上面的c)，考虑了两种情况：对焦的改变是瞬时的，或者基本上是瞬时的；以及对焦的改变不是瞬时的324。我们注意到，在当前最先进的智能电话中，对焦的改变可以花费长达数千毫秒(例如，在
Figure BDA0003305544010000153
上为1000ms)。这种改变的速率将被认为是非瞬时的。然而，在未来的智能电话中，对焦的改变可以以瞬时的速率发生，或者以低于相机的图像捕获周期(即帧周期)的延迟发生，这种改变的速率在本文中被称为“基本上”瞬间；例如，对于以60Hz的帧速率操作的相机，延迟小于16ms。
分开考虑这两种情况的原因是：在非瞬时情况下，将模糊图像的序列馈送到SLAM算法，这极大地影响其性能，因此提供了具体实施例来减轻该问题。另一方面，这些实施例不再适用于对焦的改变是瞬时的或基本上瞬时的情况。
首先考虑对焦的改变不是瞬时的情况。
如果设备不是静止的(由上面的a)314推断)，对焦的改变可以被推迟，直到设备变得静止以便获得算法的最佳性能。
在实施例中，如上所述，在发生对焦的改变时，与所识别的特征的位置相关联的不确定性增大328。这迫使SLAM算法更多地依赖IMU测量(或设备中可用的其他定位传感器)而不是图像数据，直到对焦改变被解决。一旦对焦被解决，SLAM算法的所有不确定性都被恢复到它们先前的值。我们在设备静止时这样做，以便最小化对焦的改变对SLAM算法性能的影响。在对焦的改变期间，由相机捕获的图像将是模糊的，并且这是SLAM算法在那段时间期间应该更多依赖IMU的原因。即使设备是静止的，在对焦改变时仍然可以发生运动，这可以持续长达1秒。因此，在相机捕获的图像中SLAM算法所依赖的特征是模糊的这些时刻期间，完全信任IMU是有益的。在该实施例中，设备是静止的是有益的。
在实施例中，SLAM算法的操作在执行330对焦的改变时被暂停402(不允许执行更新)，并且当对焦的改变结束时其操作被取消暂停404(允许执行更新)。以这种方式，SLAM算法在对焦的改变期间不使用模糊图像的序列，因此设备的位置/朝向和SLAM算法所生成的任何地图在对焦的改变期间将保持固定。否则，在对焦的改变期间，模糊图像的序列可能将使设备位置/朝向和映射的估计降级。对于该实施例，如果设备确实是静止的，则当SLAM算法的操作被取消暂停时所估计的设备的位置/朝向与在SLAM算法的操作被暂停之前估计的位置/朝向相同或尽可能接近。以这种方式，所估计的设备的位置/朝向在对焦的改变期间将保持不变，并且用户将不会注意到显示内容中的任何跳跃或故障。在该实施例中，设备是静止的是有益的。在该实施例中设备在对焦的改变期间移动的方面来说，在对焦的改变前后所确定的设备的位置/朝向将或多或少的不同，导致在SLAM算法的操作重启开始时显示内容中某种程度的位移。
在实施例中，如果在应用先前的实施例之前预测将位于新的对焦区域中的特征数量320低于阈值
Figure BDA0003305544010000161
则计算322新的对焦区域，这保证
Figure BDA0003305544010000162
新的对焦区域是与上面的b)中计算的区域最接近的区域，这保证了位于它内部的预测的特征数量高于阈值
Figure BDA0003305544010000163
重复这些动作，直到当前对焦区域和期望对焦区域之间的误差/距离(例如由针对新的对焦区域和期望对焦区域确定的质心的相对位置确定)最小化并且满足
Figure BDA0003305544010000164
条件。
然而，在另一个实施例中，如果预测将位于新的对焦区域中的特征数量320低于阈值
Figure BDA0003305544010000171
则设备可能正朝着无特征区域前进，在其中如果定位算法出于跟踪目的继续仅依赖来自相机的图像数据，则存在定位算法将失去对设备运动的跟踪的风险。如果检测到这种场景，则可以触发警告消息以指示需要改变设备的方向。备选地，该算法可以在一段时间内被操作以依赖IMU的测量来跟踪设备的运动，直到在来自相机的图像数据中再次识别出足够数量的特征。
在实施例中，如果预测将位于期望对焦区域中的特征数量高于阈值
Figure BDA0003305544010000172
则在上面的b)中识别的期望对焦区域被用作新的对焦区域，并且与被预测为位于新的对焦区域外部的
Figure BDA0003305544010000173
个特征的所确定的位置相关联的不确定性增大326。不确定性越高，特征的所确定的位置的置信度就越低。这样，SLAM算法将主要依靠新的对焦区域内的特征来估计设备的位置和朝向以及世界位置，该新的对焦区域是图像质量最高的区域。
SLAM算法对特征的识别及其估计的位置伴随有一定的不确定性。SLAM算法是一种过滤器，其试图通过跟踪所识别的特征以及生成设备周围的地图来估计设备的位置和朝向。从IMU获得的数据非常直接；来自嵌入式加速度计的3D(x，y，z)线性加速度和来自嵌入式陀螺仪的3D(u，v，w)旋转速度，其中加速度计的轴(x，y，z)可以与陀螺仪的旋转轴(u，v，w)对齐，或旋转位移已知量。当涉及到相机捕获的图像时，我们试图提取关于位于所捕获的图像中的特征的信息。每次算法估计设备的位置和朝向以及地图中表示的对象时，它都考虑系统的先前状态，其是设备的先前位置/朝向，以及来自先前状态的可用构造地图。所提取的特征伴随有关于它们位置的不确定性。随着时间的推移和设备在总是有足够数量的特征要提取的区域中移动，SLAM算法能够创建地图并在该地图内定位设备。为了使SLAM算法工作，需要为每个状态分配不确定性。将其视为从相机和IMU接收的数据总是伴随有一些噪音。这可以基于相机和IMU的技术特性或基于有根据的猜测来完成。因此，我们具有与视觉测量相关联的不确定性、以及与IMU测量相关联的不确定性。当对改变对焦的需要发生时，与视觉测量相关联的不确定性尤其以上述方式变化。
在实施例中，如果位于或预测将位于新的对焦区域中的特征数量320高于阈值
Figure BDA0003305544010000181
则对提供给SLAM算法的图像应用去模糊，其中去模糊仅应用于新的对焦区域。以这种方式，我们执行去模糊算法的有效应用，以向SLAM算法提供具有清晰对焦区域的图像，从而允许SLAM以准确和鲁棒的方式执行。在设备是静止的情况下应用这一点的原因是，在对焦改变的持续时间期间应用于所有图像的去模糊参数可以保持不变(即去模糊参数仅计算一次)，这是非常有效的。
在对焦的改变是瞬时或基本上瞬时的情况下，可以应用以下实施例。
在实施例中，如果位于或预测将位于新的对焦区域中的特征数量320低于阈值
Figure BDA0003305544010000182
则执行新的对焦区域的修改322，使得新的对焦区域保证
Figure BDA0003305544010000183
所选择的新的对焦区域是与上面的b)中计算的期望对焦区域最接近的区域，同时保证位于它内部的特征数量高于阈值
Figure BDA0003305544010000184
例如，在保证期望的条件的情况下，新的对焦区域是包括期望对焦区域的更大的区域。在另一种情况下，新的对焦区域更大或与期望对焦区域的大小相同但水平或竖直地移位，或在上述两个方向上移位，以保证期望的条件。如上所述，接近度由新的对焦区域和期望对焦区域的质心的相对位置确定，并且这里的目的是最小化质心之间的距离。这样，我们在从用户MR/AR体验角度来看的最佳区域与允许SLAM以准确和鲁棒的方式执行的区域之间执行权衡。
然而，在另一个实施例中，如上所述，如果预测将位于新的对焦区域中的特征数量320低于阈值
Figure BDA0003305544010000185
则设备可能正朝着无特征区域前进，在其中如果定位算法出于跟踪目的继续仅依赖来自相机的图像数据，则存在定位算法将失去对设备运动的跟踪的风险。如果检测到这种场景，则可以触发警告消息以指示需要改变设备的方向。备选地，该算法可以在一段时间内被操作以依赖IMU的测量来跟踪设备的运动，直到在来自相机的图像数据中再次识别出足够数量的特征。
在另一个实施例中，如果位于或预测将位于新的对焦区域中的特征数量320高于阈值
Figure BDA0003305544010000191
则上面的b)中计算的期望对焦区域被用作新的对焦区域，并且与
Figure BDA0003305544010000192
个特征相关联的SLAM算法的不确定性增大。这样，SLAM算法将主要依靠新的对焦区域内的特征来估计设备的位置和朝向以及世界位置，该新的对焦区域是图像质量最高的区域。
方法300、400克服了当相机执行对焦的改变时智能电话和显示在其上的虚拟内容的位置可能漂移若干厘米的问题。发生该问题是因为MR SDK ARKit和ARCore未考虑其SLAM实现中的对焦的改变。具体地，值得注意的是，在可以花费长达1000ms的对焦的改变期间，模糊图像的长序列被馈送到SLAM算法中，结果是与设备的实际真实世界位置/朝向相比，智能电话在世界坐标中的所确定的位置/朝向以及因此所显示的虚拟内容的位置/朝向改变，从MR/AR体验的角度来看，这是非常不期望的。此外，值得注意的是，在关于新的对焦区域解决了对焦后，设备和映射的对象的位置/朗向并不恢复到先前已知的位置/朝向。通过调整应用于由SLAM算法确定的所识别的特征的位置/朝向的不确定性，如上所述，本发明的方法可以克服或减轻这些问题。
本文公开的方法控制何时可以发生对焦的改变、确定相机的新的对焦区域并调整同时定位和映射(SLAM)算法的参数，以平衡合适的MR/AR体验与设备定位和映射的准确和鲁棒的性能，这在MR/AR应用中至关重要。
本文公开的方法用于具有单个相机的便携式设备，该单个相机用于可视化目的以及用于定位和映射。通过控制对焦区域，该方法确保足够数量的高质量特征位于新的对焦区域内部。以这种方式，维护了SLAM算法的准确性和鲁棒性，使得虚拟内容的锚定更加稳定和一致。
在当前最先进的智能电话上的对焦的改变不是瞬时的，这极大地影响了定位和映射性能。该方法通过考虑设备运动并在对焦的改变期间控制SLAM算法的操作来处理这一点。
该方法在需要改变对焦区域(即对焦改变)的情况下保证了SLAM算法的准确和鲁棒的操作，同时保持用户的MR/AR体验的质量。除了相机和IMU之外，该方法不需要任何额外的硬件，相机和IMU是已经在所有智能电话中可用的组件。该方法不需要大量计算操作，因为可以使用简单的规则计算对焦的改变、SLAM参数和SLAM操作。
参考图5，本发明的实施例提供了一种包括相机612和处理电路610的便携式设备600。处理电路被配置为使便携式设备执行如上所述的控制便携式设备的方法。
便携式设备600可以是以下中的任何一个：计算设备、如图6所示的智能电话700、如图7所示的无线设备QQ110、便携式电话、蜂窝电话、无线相机、游戏控制台或设备、平板电脑、膝上型计算机、头戴式设备、导航设备和机器人设备。
在实施例中，便携式设备是智能电话700并且包括显示器702和惯性测量单元IMU。相机612是后置相机。处理电路610被配置为生成控制信号，该控制信号被配置为使由相机捕获的图像显示在显示器上。控制信号还可以被配置为使虚拟内容与图像一起显示。
智能电话700包括惯性测量单元IMU。处理电路610被配置为使便携式设备使用定位算法来执行便携式设备的定位，该定位算法附加地将IMU测量作为输入。
参考图7，本发明的实施例提供了一种便携式设备QQ110，包括相机812、显示器814、接口电路816和处理电路810。处理电路被配置为使便携式设备使用定位算法执行便携式设备的定位，该定位算法将针对由相机捕获的图像的图像数据作为输入。处理电路被配置为使便携式设备识别相机的当前对焦区域。处理电路被配置为使便携式设备确定相机的期望对焦区域。处理电路被配置为使便携式设备在期望对焦区域与当前对焦区域不同时确定相机需要改变对焦。处理电路被配置为使便携式设备生成控制信号，该控制信号被配置为使相机的对焦改变到新的对焦区域。
便携式设备可以是无线设备WD。术语WD指的是能够、被配置为、被布置为和/或可操作以与网络节点和/或其他无线设备无线通信的设备。除非另有说明，否则术语WD在本文中可与用户设备UE互换使用。无线传送可以包括使用电磁波、无线电波、红外波和/或适于通过空气传送信息的其他类型的信号来发送和/或接收无线信号。在一些实施例中，WD可以被配置为在没有直接人类交互的情况下发送和/或接收信息。例如，WD可以被设计为当由内部或外部事件触发时，或者响应于来自网络的请求，以预定的调度向网络发送信息。WD的示例包括但不限于计算设备、智能电话700(如图6所示)、便携式电话、蜂窝电话、无线相机、游戏控制台或设备、平板电脑、膝上型计算机、头戴式设备、导航设备和机器人设备。
如图所示，便携式设备QQ110包括天线QQ111、接口电路816、处理电路810、设备可读介质QQ130、用户接口设备QQ132、相机812、电源QQ136和电源电路QQ137。便携式设备QQ110可以包括用于便携式设备QQ110支持的不同无线技术(例如，GSM、WCDMA、LTE、NR、Wi-Fi、WiMAX或蓝牙无线技术，仅提及一些)的多组一个或多个所示组件。这些无线技术可以集成到与便携式设备QQ110内的其他组件相同或不同的芯片或芯片组中。
天线QQ111可以包括被配置为发送和/或接收无线信号的一个或多个天线或天线阵列，并且连接到接口电路816。在某些备选实施例中，天线QQ111可以与便携式设备QQ110分开并且可以通过接口或端口连接到便携式设备QQ110。天线QQ111、接口电路816和/或处理电路810可以被配置为执行本文描述为由WD执行的任何接收或发送操作。可以从网络节点和/或另一个WD接收任何信息、数据和/或信号。在一些实施例中，无线电前端电路和/或天线QQ111可以被认为是接口。
如图所示，接口电路816包括无线电前端电路QQ112和天线QQ111。无线电前端电路QQ112包括一个或多个滤波器QQ118和放大器QQ116。无线电前端电路QQ114连接到天线QQ111和处理电路810，并且被配置为调节在天线QQ111和处理电路810之间传送的信号。无线电前端电路QQ112可以耦合到天线QQ111或者是天线QQ111的一部分。在某些备选实施例中，WD QQ110可以不包括单独的无线电前端电路QQ112；而是，处理电路810可以包括无线电前端电路，并且可以连接到天线QQ111。类似地，在一些实施例中，RF收发机电路QQ122中的一些或全部可以被认为是接口电路816的一部分。无线电前端电路QQ112可以接收数字数据，该数字数据将通过无线连接向外发送给其他网络节点或WD。无线电前端电路QQ112可以使用滤波器QQ118和/或放大器QQ116的组合将数字数据转换为具有适合信道和带宽参数的无线电信号。然后可以通过天线QQ111发送无线电信号。类似地，当接收数据时，天线QQ111可以收集无线电信号，然后由无线电前端电路QQ112将其转换为数字数据。数字数据可以被传递给处理电路810。在其他实施例中，接口可包括不同组件和/或组件的不同组合。
处理电路810可以包括下述中的一个或多个的组合：微处理器、控制器、微控制器、中央处理单元、数字信号处理器、专用集成电路、现场可编程门阵列、或者任何其它合适的计算设备、资源、或硬件、软件和/或编码逻辑的组合，其可操作为单独地或与其他便携式设备QQ110组件(例如设备可读介质QQ130)相结合来提供便携式设备QQ110功能。这样的功能可以包括提供本文讨论的各种无线特征或益处中的任何一个。例如，处理电路810可以执行存储在设备可读介质QQ130中或处理电路810内的存储器中的指令，以提供本文公开的功能。
如图所示，处理电路810包括RF收发机电路QQ122、基带处理电路QQ124和应用处理电路QQ126中的一个或多个。在其他实施例中，处理电路可以包括不同的组件和/或组件的不同组合。在某些实施例中，WD QQ110的处理电路810可以包括SOC。在一些实施例中，RF收发机电路QQ122、基带处理电路QQ124和应用处理电路QQ126可以在单独的芯片或芯片组上。在备选实施例中，基带处理电路QQ124和应用处理电路QQ126的一部分或全部可以组合成一个芯片或芯片组，并且RF收发机电路QQ122可以在单独的芯片或芯片组上。在另外的备选实施例中，RF收发机电路QQ122和基带处理电路QQ124的一部分或全部可以在同一芯片或芯片组上，并且应用处理电路QQ126可以在单独的芯片或芯片组上。在其他备选实施例中，RF收发机电路QQ122、基带处理电路QQ124和应用处理电路QQ126的一部分或全部可以组合在同一芯片或芯片组中。在一些实施例中，RF收发机电路QQ122可以是接口电路816的一部分。RF收发机电路QQ122可以调节RF信号以用于处理电路810。
在某些实施例中，本文描述为由WD执行的一些或所有功能可以由处理电路810提供，处理电路810执行存储在设备可读介质QQ130上的指令，在某些实施例中，设备可读介质QQ130可以是计算机可读存储介质。在备选实施例中，功能中的一些或全部可以例如以硬连线方式由处理电路810提供，而无需执行存储在单独的或分立的设备可读存储介质上的指令。在任何这些特定实施例中，无论是否执行存储在设备可读存储介质上的指令，处理电路810都可以被配置为执行所描述的功能。由这种功能提供的益处不仅限于处理电路810或者不仅限于便携式设备QQ110的其他组件，而是作为整体由便携式设备QQ110和/或总体上由终端用户和无线网络享有。
处理电路810可以被配置为执行本文描述为由WD执行的任何确定、计算或类似操作(例如，某些获得操作)。由处理电路810执行的这些操作可以包括通过以下操作对由处理电路810获得的信息进行处理：例如，将获得的信息转换为其他信息，将获得的信息或转换后的信息与由便携式设备QQ110存储的信息进行比较，和/或基于获得的信息或转换后的信息执行一个或多个操作，并根据所述处理的结果做出确定。
设备可读介质QQ130可操作以存储计算机程序、软件、包括逻辑、规则、代码、表等中的一个或多个的应用、和/或能够由处理电路810执行的其他指令。设备可读介质QQ130可以包括计算机存储器(例如，随机存取存储器(RAM)或只读存储器(ROM))、大容量存储介质(例如，硬盘)、可移除存储介质(例如，致密盘(CD)或数字视频盘(DVD))、和/或任何其他易失性或非易失性、非暂时性设备可读和/或计算机可执行存储器设备，其存储可由处理电路810使用的信息、数据和/或指令。在一些实施例中，可以认为处理电路810和设备可读介质QQ130是集成的。
用户接口设备QQ132可以提供允许人类用户与便携式设备QQ110交互的组件。用户接口设备包括显示器，该显示器被配置为显示由相机捕获的图像和由处理电路提供的虚拟内容。这种交互可以具有多种形式，例如视觉、听觉、触觉等。用户接口设备QQ132可操作以向用户产生输出，并允许用户向便携式设备QQ110提供输入。交互的类型可以根据安装在便携式设备QQ110中的用户接口设备QQ132的类型而变化。例如，如果便携式设备QQ110是智能电话，则用户接口设备包括触摸显示器。用户接口设备QQ132被配置为允许将信息输入到便携式设备QQ110中，并且连接到处理电路810以允许处理电路810处理输入信息。用户接口设备QQ132还被配置为允许从WD QQ110输出信息，并允许处理电路810从便携式设备QQ110输出信息。用户接口设备QQ132可以包括例如扬声器、显示器、振动电路、USB端口、耳机接口或其他输出电路。通过使用用户接口设备QQ132的一个或多个输入和输出接口、设备和电路，便携式设备QQ110可以与终端用户和/或无线网络通信，并允许它们受益于本文描述的功能。
相机812可操作以提供针对由相机捕获的图像的图像数据。
在一些实施例中，电源QQ136可以是电池或电池组的形式。也可以使用其他类型的电源，例如外部电源(例如电源插座)、光伏器件或电池单元。便携式设备QQ110可以包括用于从电源QQ136向便携式设备QQ110的各个部分输送电力的电源电路QQ137，便携式设备QQ110的各个部分需要来自电源QQ136的电力以执行本文描述或指示的任何功能。在某些实施例中，电源电路QQ137可以包括电源管理电路。电源电路QQ137可以附加地或备选地可操作以从外部电源接收电力；在这种情况下，便携式设备QQ110可以通过输入电路或诸如电力线缆的接口连接到外部电源(例如电源插座)。在某些实施例中，电源电路QQ137还可操作以将电力从外部电源输送到电源QQ136。例如，这可以用于电源QQ136的充电。电源电路QQ137可以对来自电源QQ136的电力执行任何格式化、转换或其他修改，以使电力适合于被供电的便携式设备QQ110的各个组件。
参考图8，本发明的实施例提供了一种包括服务器910和便携式设备920的系统900。服务器包括处理电路912和接口电路914。便携式设备包括相机612、处理电路610和接口电路922。服务器的处理电路和便携式设备的处理电路一起被配置为：使用定位算法执行便携式设备的定位，该定位算法将针对由相机捕获的图像的图像数据作为输入；识别相机的当前对焦区域；确定相机的期望对焦区域；当期望对焦区域与当前对焦区域不同时，确定相机需要改变对焦；以及生成控制信号，该控制信号被配置为使相机的对焦改变到新的对焦区域。
系统900被配置为执行上述控制便携式设备的方法100、300、400。所有的方法可以由服务器的处理电路912执行，或者方法中的一些可以由服务器的处理电路执行，而方法中的其余部分由便携式设备的处理电路610执行。
本发明的实施例提供了一种包括指令的计算机程序，所述指令当在至少一个处理器上执行时使所述至少一个处理器执行控制便携式设备的方法。
本发明的实施例提供了包含上述计算机程序的载体，其中，载体是电信号、光信号、无线电信号或计算机可读存储介质之一。

Claims (19)

1.一种控制包括相机的便携式设备的方法，所述方法包括：
使用定位算法执行所述便携式设备的定位，所述定位算法将表示由所述相机捕获的图像的图像数据作为输入；
识别所述相机的当前对焦区域；
确定所述相机的期望对焦区域；
当所述期望对焦区域与所述当前对焦区域不同时，确定需要改变对焦；以及
生成控制信号，所述控制信号被配置为使所述相机的对焦关于新的对焦区域改变。
2.根据权利要求1所述的方法，其中，执行所述便携式设备的定位包括：从所述图像数据中识别特征；确定针对所识别的特征的相应位置信息；以及将不确定性与每个所述特征的识别及其确定的位置信息相关联，所述不确定性指示相应的信任水平。
3.根据权利要求2所述的方法，包括调整由所述定位算法执行所述便携式设备的所述定位所使用的、与特征的识别及其确定的位置信息相关联的不确定性。
4.根据权利要求3所述的方法，其中，调整所述不确定性包括：
增大与位于或预测将位于所述新的对焦区域外部的特征相关联的不确定性；
将所述相机的对焦改变到所述新的对焦区域；以及
减小在所述相机的对焦的改变完成后位于或预测将位于所述新的对焦区域内部的特征的不确定性。
5.根据权利要求4所述的方法，包括：
确定所述期望对焦区域内具有至少最低质量水平的特征的数量；以及
当所述期望对焦区域内具有至少所述最低质量水平的特征的数量至少是指定的最小特征数量时，选择所述期望对焦区域作为所述新的对焦区域。
6.根据权利要求3所述的方法，其中，所述便携式设备包括惯性测量单元IMU，并且所述定位算法附加地将IMU测量作为输入，并且其中，调整与特征的识别及其确定的位置信息相关联的不确定性包括：将所述不确定性至少增大到所述定位算法在所述便携式设备的所述定位中优先使用所述IMU测量的值，所述不确定性在所述相机的对焦改变时处于该增大的值。
7.根据权利要求3所述的方法，其中，调整与特征的识别及其确定的位置相关联的不确定性包括：在改变所述相机的对焦时，将所述不确定性增大到指示缺乏信任的值，使所述定位算法在所述相机的对焦改变时停止运行。
8.根据权利要求2至7中任一项所述的方法，包括：
确定所述期望对焦区域内具有至少最低质量水平的特征的数量；以及
当所述期望对焦区域内具有至少所述最低质量水平的特征的数量小于指定的最小特征数量时，选择与所述期望对焦区域不同的区域作为所述新的对焦区域，
其中，所述新的对焦区域是最接近所述期望对焦区域的区域，针对所述区域，在所述区域内具有至少最低质量水平的特征的数量至少是指定的最小特征数量。
9.根据权利要求8所述的方法，其中，所述新的对焦区域是以下之一：
包括所述期望对焦区域的更大的区域；以及
与所述期望对焦区域大小相同的区域，所述区域相对于所述期望对焦区域移位了为使在所述区域内具有至少所述最低质量水平的特征的数量要至少达到所述指定的最小特征数量所需的最小距离。
10.根据权利要求8所述的方法，其中，当所述期望对焦区域与所述当前对焦区域相距一距离时，所述新的对焦区域是包括所述期望对焦区域和至少一部分所述当前对焦区域的更大的区域，并且其中，重复执行选择所述新的对焦区域和改变所述相机的对焦，直到所述新的对焦区域与尽可能接近所述期望对焦区域的区域趋于一致。
11.根据权利要求2至10中任一项所述的方法，包括：
确定所述新的对焦区域内具有至少最低质量水平的特征的数量；以及
当所述新的对焦区域内具有至少最低质量水平的的特征的数量至少是指定的最小特征数量时，在从所述图像数据中识别特征之前对所述图像数据应用去模糊算法。
12.根据权利要求2所述的方法，其中，如果所述相机关于新的对焦区域改变对焦所需的时间小于阈值时间段，则调整与特征的识别及其确定的位置信息相关联的不确定性包括：减小与位于或预测将位于所述新的对焦区域内的特征相关联的不确定性。
13.根据前述权利要求中任一项所述的方法，其中，所述期望对焦区域是以下中的至少一个：
以用户的眼睛所对焦在的所述便携式设备的显示器上显示的图像内的位置为中心的区域；
以用户做出了点击手势所在的所述便携式设备的显示器上显示的图像内的位置为中心的区域；
由所述便携式设备的显示器上与由所述相机捕获的图像一起显示的虚拟内容的位置和尺寸定义的区域；
由应用于所述图像数据的基准标记的位置和尺寸定义的区域；以及
指定的感兴趣区域。
14.一种便携式设备，包括：
相机；以及
处理电路，被配置为使所述便携式设备执行根据前述权利要求中任一项所述的方法。
15.根据权利要求14所述的便携式设备，包括惯性测量单元IMU，并且其中，所述处理电路被配置为使所述便携式设备执行根据权利要求6所述的方法。
16.一种便携式设备，包括：
相机；
接口电路；以及
处理电路，被配置为使所述便携式设备：
使用定位算法执行所述便携式设备的定位，所述定位算法将表示由所述相机捕获的图像的图像数据作为输入；
识别所述相机的当前对焦区域；
确定所述相机的期望对焦区域；
当所述期望对焦区域与所述当前对焦区域不同时，确定需要改变对焦；以及
生成控制信号，所述控制信号被配置为使所述相机的对焦关于新的对焦区域改变。
17.一种系统，包括服务器和便携式设备，
所述服务器包括：
处理电路；以及
接口电路；
并且，所述便携式设备包括：
相机；
处理电路；以及
接口电路，
其中，所述服务器的处理电路和所述便携式设备的处理电路一起被配置为执行根据权利要求1至13中任一项所述的方法。
18.一种计算机程序，包括指令，所述指令在至少一个处理器上执行时，使所述至少一个处理器执行根据权利要求1至13中任一项所述的方法。
19.一种传送根据权利要求18所述的计算机程序的载体，其中，所述载体是电信号、光信号、无线电信号或计算机可读存储介质之一。
CN201980095494.7A 2019-04-18 2019-04-18 控制便携式设备的方法和便携式设备 Pending CN113692520A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/060117 WO2020211945A1 (en) 2019-04-18 2019-04-18 Method of controlling a portable device and a portable device

Publications (1)

Publication Number Publication Date
CN113692520A true CN113692520A (zh) 2021-11-23

Family

ID=66251785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980095494.7A Pending CN113692520A (zh) 2019-04-18 2019-04-18 控制便携式设备的方法和便携式设备

Country Status (4)

Country Link
US (1) US20220232169A1 (zh)
EP (1) EP3956633A1 (zh)
CN (1) CN113692520A (zh)
WO (1) WO2020211945A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111829535B (zh) * 2020-06-05 2022-05-03 阿波罗智能技术(北京)有限公司 生成离线地图的方法、装置、电子设备和存储介质
US20220012790A1 (en) * 2020-07-07 2022-01-13 W.W. Grainger, Inc. System and method for providing tap-less, real-time visual search
EP4024005A1 (en) * 2021-01-04 2022-07-06 Aptiv Technologies Limited Method, device, and computer program for determining the change in position and/or orientation of the mobile apparatus

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953618B2 (en) * 2012-11-02 2018-04-24 Qualcomm Incorporated Using a plurality of sensors for mapping and localization
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
CN109804411B (zh) * 2016-08-30 2023-02-17 斯纳普公司 用于同时定位和映射的系统和方法
US10382699B2 (en) * 2016-12-01 2019-08-13 Varjo Technologies Oy Imaging system and method of producing images for display apparatus
CN107204014B (zh) * 2017-05-24 2019-06-07 京东方科技集团股份有限公司 智能终端设备的定位方法、装置和智能终端设备
US11567504B1 (en) * 2018-09-12 2023-01-31 Amazon Technologies, Inc. Dynamic wait location for an autonomous mobile device
WO2023081446A1 (en) * 2021-11-05 2023-05-11 Thread Robotics Inc. System and method for automated cell positioning

Also Published As

Publication number Publication date
US20220232169A1 (en) 2022-07-21
WO2020211945A1 (en) 2020-10-22
EP3956633A1 (en) 2022-02-23

Similar Documents

Publication Publication Date Title
EP3273334A1 (en) Information processing method, terminal and computer storage medium
JP7026819B2 (ja) カメラの位置決め方法および装置、端末並びにコンピュータプログラム
CN111340766A (zh) 目标对象的检测方法、装置、设备和存储介质
CN113692520A (zh) 控制便携式设备的方法和便携式设备
CN107771391B (zh) 用于确定图像帧的曝光时间的方法和装置
US20180109751A1 (en) Electronic device and method for controlling the same
JP2015526927A (ja) カメラ・パラメータのコンテキスト駆動型調整
CN112020694B (zh) 用于支持对象控制的方法、系统和非暂时性计算机可读记录介质
US20130055103A1 (en) Apparatus and method for controlling three-dimensional graphical user interface (3d gui)
US11845007B2 (en) Perspective rotation method and apparatus, device, and storage medium
KR20150121949A (ko) 제스처를 인식하는 방법 및 장치
EP4156105A1 (en) Method and apparatus for spatial positioning
KR102641759B1 (ko) 3차원 모델 최적화
US11297244B2 (en) Click-and-lock zoom camera user interface
EP3767435A1 (en) 6-dof tracking using visual cues
CN114690900A (zh) 一种虚拟场景中的输入识别方法、设备及存储介质
JP2020201922A (ja) 拡張現実アプリケーションに関するシステム及び方法
US20240004197A1 (en) Dynamic sensor selection for visual inertial odometry systems
US11856284B2 (en) Method of controlling a portable device and a portable device
KR102400089B1 (ko) 통신을 제어하는 전자장치 및 동작 방법
KR102398404B1 (ko) 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US20160110881A1 (en) Motion tracking device control systems and methods
CN114623836A (zh) 车辆位姿确定方法、装置及车辆
WO2017185264A1 (zh) 一种选取界面元素的方法、装置及终端
JP7261889B2 (ja) 共有地図に基づいた測位方法及び装置、電子機器並びに記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination