CN107646109A - 管理电子设备上的环境映射的特征数据 - Google Patents

管理电子设备上的环境映射的特征数据 Download PDF

Info

Publication number
CN107646109A
CN107646109A CN201680027380.5A CN201680027380A CN107646109A CN 107646109 A CN107646109 A CN 107646109A CN 201680027380 A CN201680027380 A CN 201680027380A CN 107646109 A CN107646109 A CN 107646109A
Authority
CN
China
Prior art keywords
feature
electronic equipment
location data
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680027380.5A
Other languages
English (en)
Other versions
CN107646109B (zh
Inventor
伊莎·内鲁卡
乔尔·黑施
西蒙·吕嫩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107646109A publication Critical patent/CN107646109A/zh
Application granted granted Critical
Publication of CN107646109B publication Critical patent/CN107646109B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Complex Calculations (AREA)
  • Image Generation (AREA)

Abstract

一种电子设备[100]基于从数据识别的特征特性[225]简化的定位数据[230]。基于所述特征特性，质量值能够被分配给每个所识别的特征[343]，指示与该特征相关联的数据在映射电子设备的本地环境中将是有用的可能性。通过去除与具有低质量值的特征相关联的数据，定位数据被简化，并且通过在针对电子设备的参考系中定位从简化的定位数据中识别的特征，所述简化的定位数据被用于映射该设备的本地环境[235]。

Description

管理电子设备上的环境映射的特征数据
技术领域
本公开通常涉及一种影像捕获和处理，并且更具体地涉及一种在电子设备处管理定位数据。
背景技术
在移动设备处的机器视觉的实施方式能够支持各种应用使能够同时定位与映射(SLAM)，这进而又能够通过使能够识别设备的本地环境内的对象(通过设备捕获的本地环境的影像的分析和通过将移动设备的姿势信息与识别的对象相关联)来支持各种应用，诸如增强现实(AR)应用和虚拟现实(VR)应用。为了支持这些特征，移动设备能够通过以下操作收集各种各样的数据：包括在一个或多个图像传感器处捕获影像，以及从各种非视觉传感器(例如，加速度计和陀螺仪)接收数据。然而，收集的信息的密度和大小可能会减慢对象的识别，并会负面影响移动设备的存储资源。
附图说明
本公开可以通过参考附图，被本领域的技术人员更好地理解，并且使其许多特征和优点对本领域的技术人员变得显而易见。在不同附图中使用相同的附图标记指示相似或相同的项目。
图1是图示根据本公开的至少一个实施例的被配置为基于从数据识别的特征的特性来简化定位数据的电子设备的图。
图2是图示根据本公开的至少一个实施例的图1的电子设备的基于从数据识别的特征的特性来简化定位数据的一部分的图。
图3是根据本公开的至少一个实施例的图2的数据简化器的图。
图4是图示根据本公开的至少一个实施例的能够被图3的数据简化器采用以识别相关联的特征的质量的特征描述符的图。
图5是图示根据本公开的至少一个实施例的在图3的数据简化器处的几何压缩的示例的图。
图6是图示根据本公开的至少一个实施例的电子设备的处理系统的框图。
图7是图示根据本公开的至少一个实施例的基于特征质量以简化定位数据的电子设备的操作的流程图。
具体实施方式
以下描述旨在通过提供涉及基于在电子设备的本地环境中的对象的基于图像的识别而确定电子设备的相对位置或相对方位的许多特定实施例和细节，来传达本公开的透彻理解。然而，理解的是，本公开不限于仅作为示例的这些具体实施方式和细节，因此本公开的范围相应地旨在仅由所附权利要求及其等同物限制。进一步理解的是，根据已知的系统和方法，本领域普通技术人员将会根据具体的设计和其它需要，将会显而易见本公开的使用在任何数目的替选实施例中它的预期目的和益处。
图1-7图示了基于从数据中识别的特征的特性来简化在电子设备处的定位数据的各种技术。基于特征的特性，质量值能够被分配给每个所识别的特征，该质量值指示与该特征相关联的数据将会在映射电子设备的本地环境中是有用的的可能性。定位数据通过去除与具有低质量值的特征相关联的数据被简化，并且通过在针对电子设备的参考系中定位从简化的定位数据中识别的特征，简化的定位数据被用于映射电子设备的本地环境。通过以这种方式简化定位数据，存储定位数据的一个或多个数据文件的大小被简化，同时维持定位数据的整体质量。因此，简化的定位数据支持本地环境的高质量映射，同时简化对在电子设备的资源(包括存储空间和处理资源)上映射的影响。
特征的质量值能够基于各种因素的任何，或它们的任何组合被识别，各种因素包括跨不同的捕获的图像中的特征的观测数目，特征从其跨不同图像被捕获的不同的角度数目，跨不同捕获图像中的特征的位置的一致性，特征的动态特性(指示例如特征是否频繁消失或移出被映射的环境)，一个或多个捕获图像中特征与电子设备的距离等等。在从定位数据中识别和去除与低质量值相关联的这些特征之前或之后，电子设备能够采取进一步的步骤来简化定位数据的大小。这样的步骤的示例包括从定位数据中去除非视觉传感器数据，从定位数据中识别关键帧并且去除与关键帧不相关联的数据，将多个特征几何压缩成更小的特征子集等等。电子设备从而能够大幅地简化定位数据的大小，提高由定位数据支持的映射过程的效率。
图1图示了根据本公开的至少一个实施例的被配置为使用图像和非视觉传感器数据来支持基于位置的功能(诸如SLAM、VR或AR)的电子设备100。电子设备100能够包括用户便携式移动设备，诸如平板计算机、使能够计算的蜂窝电话(例如，“智能电话”)、笔记本计算机、个人数字助理(PDA)、游戏系统远程、电视远程等等。在其他实施例中，电子设备100能够包括另一类型的移动设备，诸如汽车、遥控无人机或其他机载设备等等。为了便于说明，本文中通常在移动设备(诸如平板计算机或智能电话)的示例场境中描述电子设备100；然而，电子设备100不限于这些示例实施方式。
在所描述的示例中，电子设备100包括具有在与另一指示106的相对的指示104的壳体102。在薄的矩形块形状因素所描绘的示例中，指示104和106基本上是平行的，以及壳体102还包括在指示104和指示106之间的四个侧指示(顶部、底部、左侧和右侧)。壳体102可以以许多其它形状因素来实施，并且指示104和106可以具有非平行取向。对于所示的平板计算机的实施方式，电子设备100包括被设置在指示106处的用于向用户110呈现视觉信息的显示器108。因此，为了便于参考，尽管这些指示的取向不受这些关系型指定的限制，但是作为电子设备100相对于用户110的示例方位的反映，指示106在本文中被称为“面向前方的”指示，并且指示104在本文中被称为“面向用户的”指示。
电子设备100包括多个传感器，以获得关于电子设备100的本地环境112的信息。电子设备100经由被在面向前方的指示106处设置的成像传感器114和116以及深度传感器120，和被在面向用户的指示104处设置的成像传感器118来获得本地环境112的视觉信息(影像)。在一个实施例中，成像传感器114被实施为具有鱼眼透镜或其它的广角透镜的广角成像传感器，以提供面向指示106的本地环境112的较宽角度的视图。成像传感器116被实施为具有典型视觉角度透镜的窄角成像传感器，以提供面向指示106的本地环境112的较窄角度的视图。因此，成像传感器114和成像传感器116在本文中还分别被称为“广角成像传感器114”和“窄角成像传感器116”。如下面更详细描述的是，广角成像传感器114和窄角成像传感器116能够被定位和定向在面向前方的指示106上，使得他们的视场重叠开始于离电子设备100的指定距离处，从而使能够对经由图像分析定位在重叠视场区域中的本地环境112中的对象进行深度感测。成像传感器118能够被用于捕获面向指示104的本地环境112的图像数据。此外，在一些实施例中，成像传感器118被配置用于追踪头部122的运动或用于面部识别，并且因此提供可以用于调整经由显示器108呈现的影像的视图立体图的头部追踪信息。
在一个实施例中，深度传感器120使用调制的光投影仪119以将调制的光图案从面向前方的指示106投射到本地环境中，并且使用成像传感器114和116中的一个或两个以当他们从本地环境112中的对象反射回去时捕获调制光图案的反射。这些调制光图案能够是空间调制光图案或时间调制光图案。调制的光图案的捕获的反射在本文中被称为“深度影像”。然后，深度传感器120可以基于深度影像的分析来计算对象的深度，即对象与电子设备100的距离。从深度传感器120获得的所得的深度数据可以被用于校准或另外地增加从由成像传感器114和116捕获的图像数据的图像分析(例如，立体分析)获得的深度信息。可替选地，来自深度传感器120的深度数据可以被用于代替从图像分析获得的深度信息。为了说明，多视图分析通常是更适合于明亮的照明条件并且更适合于当对象是相对远距离时，而基于调制光的深度感测是更适合于较低的照明条件或更适合于当观测对象是相对接近(例如，在4-5米内)时。因此，当电子设备100感测到它在户外或另外地处在相对好的照明条件时，电子设备100可以选择使用多视图分析来确定对象的深度。相反地，当电子设备100感测到其在室内或另外地处在较差的照明条件时，电子设备100可以进行切换以使用经由深度传感器120的基于调制光的深度感测。
电子设备100还可以依赖于非视觉姿势信息以供姿势检测。这个非视觉姿势信息能够由电子设备100经由一个或多个非视觉传感器(图1中未示出)，诸如包括一个或多个陀螺仪、磁力计、和加速度计的IMU获得。在至少一个实施例中，IMU能够被采用来生成沿着运动的多个轴线的姿势信息，运动的多个轴线包括平移轴(被表示成电子设备100的参考系的X、Y、和Z轴)，和旋转轴(被表示为针对电子设备100的参考系的滚动、俯仰和偏航轴)。非视觉传感器还能够包括环境光传感器和位置传感器，诸如能够用于识别电子设备100位置的GPS传感器，或其他传感器，诸如一个或多个无线收音机、蜂窝收音机等等。
在操作中，电子设备100使用图像传感器数据和非视觉传感器数据以估计电子设备100的姿势。在至少一个实施例中，在重置之后，电子设备100基于如下文进一步描述的地理定位数据、其他非视觉传感器数据、视觉传感器数据、或它们的组合确定初始姿势。随着电子设备100的姿势改变，非视觉传感器以较高速率生成反映设备姿势变化的非视觉姿势信息。同时，视觉传感器捕获还反映设备姿势变化的图像。基于这种非视觉和视觉姿势信息，电子设备100更新初始姿势以反映设备的当前姿势。
电子设备100基于由一个或多个成像传感器114、116和118捕获的图像数据中的空间特征的检测，生成视觉姿势信息。为了说明，在图1描述的示例中，本地环境112包括办公楼的走廊，其包括三个角落124、126和128，护壁板130和电源插座132。用户110已经定位并定向电子设备100，使得面向前方的成像传感器114和116分别捕获包括走廊的这些空间特征的广角成像传感器图像数据134和窄角成像传感器图像数据136。在该示例中，深度传感器120还捕获反映这些空间特征的相对于电子设备100的当前姿势的相对距离的深度数据138。进一步地，面向用户的成像传感器118捕获代表用于用户110的头部122的当前姿势的头部追踪数据140的图像数据。非视觉传感器数据142(诸如来自IMU的读数)还由电子设备100以其当前姿势收集。
从该输入数据，在不需要来自外部来源明确的绝对定位信息的情况下，电子设备100能够确定其相对姿势的估计。为了说明，电子设备100能够执行广角成像传感器图像数据134和窄角成像传感器图像数据136的分析，以确定电子设备100与角落124、126、128之间的距离。可替选地，从深度传感器120获得的深度数据138能够被使用以确定空间特征的距离。根据这些距离，电子设备100能够三角测量或以其它方式推断其在由本地环境112代表的办公室中的相对位置。作为另一示例，电子设备100能够识别图像数据134和136的一组捕获图像中存在的空间特征，确定到这些空间特征的初始距离，然后追踪这些空间特征在随后捕获的影像中的位置和距离的变化，以确定电子设备100在自由参考系中的姿势变化。在这种方法中，诸如陀螺仪数据或加速度计数据的某些非视觉传感器数据能够被用于将在一个图像中观测到的空间特征与随后图像中观测到的空间特征相关。
在至少一个实施例中，电子设备100使用图像数据和非视觉数据，以生成用于在所捕获的影像中识别的空间特征的特征描述符。所生成的特征描述符中的每个描述了所识别的空间特征中的一个或多个的方位、重力方向、比例、和其他方面。将所生成的特征描述符与每个描述符识别先前识别的空间特征及其相对应的姿势的一组存储的描述符(为了描述的目的而被称为“已知特征描述符”)进行比较。在至少一个实施例中，已知特征描述符中的每个是已经由电子设备100或另一个电子设备任一先前生成及确定地建立其姿势的描述符。已知特征描述符能够被存储在电子设备100、远程服务器或其它存储设备、或者它们的组合处。因此，能够在电子设备100、远程服务器或其他设备、或它们的组合处执行比较所生成的特征描述符。
在至少一个实施例中，通过将所生成的特征描述符的每个方面(例如，相对应的特征的取向，相对应的特征的比例等等)与已知特征描述符的相对应的方面进行比较，并确定指示所比较的特征之间的差异的误差值，来将生成的特征描述符与已知特征描述符进行比较。因此，例如，如果生成的特征描述符中的特征的取向由向量A识别，并且已知特征描述符中的特征的取向由向量B识别，则电子设备100能够通过计算向量A和B之间的差异来识别特征描述符的取向方面的误差值。能够根据指定的统计技术(诸如最小二乘法(a leastsquares technique))来组合误差值，以识别用于被比较的每个已知特征描述符的组合误差值，并且匹配的已知特征描述符识别为具有最小组合误差值的已知特征描述符。
已知特征描述符中的每个包括识别相对应的空间特征的姿势(例如，取向或视角)的一个或多个字段。因此，已知特征描述符能够包括指示在指定坐标系(例如，代表地球的地理坐标系)内的在指定分辨率(例如，1cm)内的空间特征的位置的、空间特征的视角的方位的、视角离特征的距离等等的姿势信息。将所生成的特征描述符与已知特征描述符进行比较，以识别一个或多个匹配的已知特征描述符。然后将匹配的已知特征描述符与非视觉姿势数据一起存储为能够被用于识别电子设备100的姿势并映射电子设备100的本地环境二者的定位数据。
在一些情况下，匹配过程将会识别与相对应的生成的特征描述符匹配的多个已知特征描述符，因此指示电子设备100的本地环境中的、具有先前已经被识别的多个特征。匹配的已知特征描述符的相对应姿势可以变化，其指示电子设备100不是在由匹配的已知特征描述符指示的姿势中的特定一个。因此，电子设备100可以使用常规插值技术通过在由匹配的已知特征描述符指示的姿势之间插入它的姿势，从而改善其估计的姿势。
在至少一个实施例中，电子设备100基于在数据中反映的识别的特征的质量来简化定位数据。如本文进一步描述的是，电子设备100能够基于各种因素(包括跨图像的特征的观测数目、不同图像中的特征位置的一致性、当相关联的图像中的一个或多个被捕获时特征离电子设备100的距离等等，或它们的组合)，生成针对每个识别的特征的质量值。电子设备100还识别质量值阈值(QVT)。在至少一个实施例中，QVT是由电子设备100的用户、设计者、或制造者提供的固定存储值。在另一个实施例中，QVT是从生成的特征质量值的组合导出的。例如，QVT能够是质量值的平均值，质量值的中值、或基于超过QVT的质量值的数目的值。电子设备100通过去除与具有低于QVT的质量值的特征相关联的数据来简化定位数据。这保证在简化定位数据大小的同时，更高质量的特征，或者那些更有可能支持有效的和精确的本地环境的精确映射的特征被保留。
除了基于特征的特性和相关联的质量值来简化定位数据，电子设备100能够通过例如从定位数据中去除任何非视觉传感器信息(由于这种信息不太可能支持映射本地环境)来简化定位数据。此外，电子设备100能够通过识别关键帧，和去除与关键帧之外的帧相关联的数据来简化定位数据。例如，电子设备100可以识别所选择的捕获的图像作为关键帧，其中关键帧图像是基于所识别的图像的质量、从图像识别的特征数目、图像被拍摄的时间、测量的图像被拍摄的照明条件等等被选择的。然后，电子设备100能够从不是关键帧图像的图像中识别那些特征和相关联的特征描述符，并且去除与所识别的特征相对应的数据(包括特征描述符)。
此外，在至少一个实施例中，电子设备100能够通过用于将与几何形状的个别点相关联的一组特征的数据几何压缩成识别该几何形状的描述符的较小子集(而不是所有的个别点)来简化定位数据。例如，电子设备100能够识别一组特征描述符，一组特征描述符中的每个指向公共平面(例如，桌面)中的不同点，并且能够将特征描述符的集合压缩为识别平面边界的单个特征描述符，从而以较少的数据代表环境的相同特征。
简化定位数据之后，电子设备100能够使用定位数据来映射本地环境。例如，电子设备100能够使用定位数据来生成指示在电子设备100的参考系中包括的定位数据中的每个特征的位置的映射文件。映射文件能够用于支持各种基于位置的服务的任何。例如，在一个实施例中，映射文件能够用于生成代表电子设备100的本地环境的虚拟现实环境或它的部分。
图2是根据本公开的至少一个实施例的基于从数据识别的特征的特性来简化定位数据的电子设备100的部分的框图。所示部分包括特征识别模块225、数据简化器232、和环境映射器235。这些模块的每个代表被配置成执行如本文中所述的操作的硬件、软件、或它们的组合。特别地，特征识别模块225被配置以接收代表由成像传感器114、116、118捕获的图像和非视觉传感器数据142的影像220。基于接收到的数据，特征识别模块225通过生成特征描述符以及将特征描述符和如以上参照图1所述的已知特征描述符进行比较，来识别影像220中的特征。特征识别模块将特征描述符与任何相关联的非视觉数据一起存储为定位数据230。在至少一个实施例中，随着电子设备100在本地环境中通过不同位置和方位运动，定位数据230能够被电子设备100用于识别电子设备100的一个或多个姿势。这些识别的姿势能够连同针对本地环境的先前生成和存储的映射信息一起使用，以支持或增强电子设备100的基于位置的服务。
基于包括在其中的特征的特性，数据简化器232被配置来简化定位数据230。在至少一个实施例中，如以下关于图4进一步描述的是，数据简化器232通过基于相对应的特征描述符中指示的特征的一个或多个特性来识别每个特征的质量值，从而简化数据。然后，数据简化器232识别针对特征的QVT，并且从定位数据230中去除具有低于QVT的质量值的特征的特征描述符。然后，数据简化器232通过去除非视觉传感器数据并且通过对剩余的特征描述符执行几何压缩来进一步简化定位数据230。数据简化器232提供简化的定位数据给环境映射器235。
环境映射器235被配置为基于简化的定位数据生成或修改电子设备100的本地环境的映射。即：环境映射器235分析简化的定位数据中的特征描述符，以识别针对电子设备100的参考系中的特征的位置。例如，每个特征描述符能够包括指示相对应特征离电子设备100的相对位置的位置数据。环境映射器235能够协调不同特征的相对位置以识别参考系中每个特征的位置，并且将这些位置存储在一个或多个映射文件中。映射文件能够被电子设备100的基于位置的服务使用，例如以生成本地环境的虚拟现实显示。
图3是根据本公开的至少一个实施例的图2中的数据简化器232的框图。在所示示例中，数据简化器232包括非视觉数据过滤器340、关键帧识别器342、特征质量分析模块(FQM)343、和几何压缩模块344。非视觉数据过滤器340通常被配置为从定位数据230中识别和去除。例如，在至少一个实施例中，非视觉数据过滤器基于数据识别符值、基于非视觉数据的格式、基于存储非视觉数据的位置或其他指示符或它们的组合，来识别定位数据230处的非视觉数据，然后从定位数据230中去除(例如，删除)所识别的非视觉数据。
在非视觉数据已经被过滤后，关键帧识别器342识别定位数据230的关键帧。例如，定位数据的每个特征描述符可以包括识别在其中特征被识别的一个或多个图像的信息。定位数据230还能够包括指示图像中的每个的质量的信息，诸如照明条件。基于该信息，关键帧识别器342能够将所选择的图像识别为用于映射环境的关键帧。例如，在至少一个实施例中，关键帧识别器342将与大于特征数目阈值的相关联的那些图像识别为关键帧。在识别关键帧之后，关键帧识别器342能够从定位数据230中去除任何特征描述符和用于不与任何关键帧相对应的特征的相关联数据，从而简化定位数据230。
FQM 343分析剩余的特征描述符，来基于在描述符中指示的特征特性识别针对每个特征的质量值。为了说明，在至少一个实施例中，特征描述符指示数个特征特性，诸如不同图像中的特征的观测数目、不同图像中特征位置的变化性、针对特征的动态评分等等。FQM 343能够通过例如将针对每个特性的值加起来，从而生成质量值，其中质量值等于所有特性的总和。在至少一个实施例中，质量值是针对不同特性的值的加权和，其中针对每个特性的权重由FQM 343动态地或启发式地识别。应当显而易见的是，识别质量值的这些方式仅是示例，并且能够采用其他特性和公式来识别针对每个特征的质量值。
FQM 343基于固定的阈值识别针对定位数据230的QVT，该阈值由电子设备100的用户设置，以实现所期望的性能、从定位数据230本身识别的动态阈值，等等。FQM 343将针对每个特征的质量值与QVT进行比较，并且从定位数据230中删除具有低于QVT质量值的那些特征描述符。
几何压缩模块344分析定位数据230的剩余描述符，以识别与相同几何形状(诸如线、平面表面、多边形、三维形状等等)相关联的个别特征的组。如以下所述关于图5的示例所描述的，几何压缩模块344将针对个别特征的特征描述符替代为描述几何形状的更少数目的描述符(例如，一个特征描述符)。这简化由定位数据230存储的描述符的数目，从而进一步简化数据，以准备它用于由环境映射器235的分析。
图4图示能够被存储在定位数据230的特征描述符450。特征描述符450包括字段451-458，其中每个字段指示针对相对应特征的特征特性。这些特征特性能够通过FQM 343被采用，以识别针对相对应特征的质量值。为了图示，特征名称字段451指示针对特征的能够被用于区别于其它特征的名称或其它识别符。特征类型字段452指示特征的类型，诸如针对对象的几何形状的类型。因此，特征类型字段452可能指示相对应特征是点、角落、平坦的表面、多边形等等。
特征位置字段453指示针对相对应特征的位置数据，诸如指示特征在参考系中相对于电子设备100的姿势的位置的坐标数据。在至少一个实施例中，FQM 343能够使用在特征位置字段453中的信息来修改针对特征的质量值。例如，在一些场景中，电子设备100可以确定在特定位置或位置的范围(诸如电子设备100的视场的边缘附近)的特征很可能是不太可靠地被识别。因此，FQM 343能够降低在这样位置,或这样的位置范围内的针对特征的质量值。
特征观测字段454的数目特征指示从其中被识别的不同图像的数目。例如，当设备通过不同的姿势运动，电子设备100可以捕获给定特征的多个图像。当特征识别模块225(图2)生成针对特征的特征描述符，其能够识别包括特征的不同图像的数目，以及从其拍摄特征图像的角度的数目。在至少一个实施例中，更多数目的图像，或更多拍摄特征的不同角度的数目，增加了特征被正确地由特征识别模块225识别的可能性。因此，随着特征观测字段454的数目值增加，FQM 343增加针对相对应特征的质量值。
特征距离字段455指示当特征在一个或多个图像中被捕获时相对应特征离电子设备100的距离。如果特征是在多个图像中被捕获，则特征距离字段455能够是相对应距离的平均值，相对应距离的最大值，相对应距离的最小值，或相对应距离的其它选择或组合。在一些场景中，到特征的较大距离与特征的较不可靠的识别相对应。因此，对于特征距离字段455的更大值，FQM343增加针对相对应特征的质量值。
特征位置变化性字段456存储指示在跨特征从其被识别的不同的图像的相对应的特征的位置中的变化性的量的值。例如，当该设备通过不同的姿势被移动时，电子设备100可以捕获给定特征的多个图像。当特征识别模块225(图2)生成针对特征的特征描述符，其能够对于每个图像识别特征在参考系中的位置，然后识别所识别的位置之间的变化性。例如，变化性可以通过识别所识别的位置的标准偏差来指示。在至少一个实施例中，变化性越高，特征描述符正确地识别相对应的特征的特性的可能性就越小。因此，随着特征位置变化性字段456的值增加，FQM 343降低针对相对应的特征的质量值。
特征动态评分字段457指示相对应的特征的动态特性。动态特性是特征被预期在相对于电子设备100的给定的位置存留多长时间的指示。动态评分字段457的更高值指示相对应特征是高度动态的，并且因此高度可能改变位置。高度动态的特征的示例可以包括相对应的人、动物、移动车辆等等或与人、动物、移动车辆等等相关联的特征。在至少一个实施例中，电子设备100能够基于数个因素识别针对特征的动态评分，包括识别跨图像的特征位置的变化、在特征的已知特征描述符中提供的信息等等。在至少一个实施例中，动态评分字段的值越高，特征描述符将会在映射本地环境中是有用的可能性就越低，因为在生成本地环境的映射时，特征将会已经改变位置或者甚至退出本地环境的可能性更高。因此，随着特征位置变化性字段456的值增加，FQM 343降低针对相对应的特征的质量值。
特征场景变化性字段458指示与特征描述符450相对应的特征所在的相同图像中识别的特征的变化性。在至少一个实施例中，电子设备100能够通过识别从每个捕获的图像中识别的不同特征的数目和确定给定的特征在其中被识别的图像的这个数目的变化，从而识别场景变化性。在至少一个实施例中，场景变化性字段458的值越高，特征描述符将会在映射本地环境中是有用的可能性就越低，因为特征是快速变化的环境的部分的可能性更高。因此，随着特征位置变化性字段456的值增加，FQM 343降低针对相对应的特征的质量值。
图5是图示根据本公开的至少一个实施例的图3的几何压缩模块344的示例操作的图。在所描绘的示例中，特征501、502、503、504和506在电子设备100的本地环境中沿着相同条线。因此，例如特征501-506可以共同代表在本地环境中的桌、门、或其他对象的边缘。当电子设备100通过本地环境及在本地环境周围运动时，它捕捉包括特征501-506的影像。基于该影像，特征识别模块225生成特征描述符511、512、513、514和516，这些特征标识符中的每个描述不同的相对应特征(即，描述符511描述了特征501，描述符512描述了特征502，等)。在所描绘的示例中，特征描述符501-506中的每个包括在电子设备100的参照系中相对应特征的坐标。几何压缩模块344分析存储在定位数据230中的特征描述符501-506，并且基于每个特征的坐标和这些特征中的每个是点的特征的指示来确定特征描述符501-506代表一组沿着一条线的点。作为响应，几何压缩模块344用描述了具有与特征501和506的相对应的端点的线的特征描述符520替代特征描述符501-506。几何压缩模块344从而替代多个特征描述符，多个特征符用针对几何形状的单个特征描述符共同描述了几何形状的不同方面。在至少一个实施例中，从存储器存储的角度来看，与在一起的多个特征描述符相比单个特征描述符是更小的。因此，与在一起的特征描述符501-506相比，特征描述符520占据更少的存储空间。因此，通过用特征描述符520替代描述符501-506，几何压缩模块简化定位数据230。应当显而易见的是，图5描绘了几何压缩的仅仅一个示例，并且在一些实施例中，几何压缩模块能够识别并压缩针对更加复杂的形状(包括多边形和三维形状)的特征描述符。
图6图示根据本公开的至少一个实施例的由电子设备100实施的示例处理系统600。处理系统600包括广角成像传感器114、窄角成像传感器116、面向用户的成像传感器118和深度传感器120。处理系统600还包括2D处理器602、应用处理器604、显示控制器606、非视觉传感器组610、以及用户接口612。
用户接口612包括被用户操纵的一个或多个部件，诸如触摸屏614、鼠标、键盘、麦克风616，各种按钮或开关、以及各种触觉致动器618，来提供用户输入到电子设备100。非视觉传感器组610能够包括用于提供电子设备100的非视觉场境或状态的任何各种传感器。这样的传感器的示例包括IMU 621(其包括陀螺仪620、磁力计622和加速度计624，以及环境光传感器626)。非视觉传感器还能够包括各种基于无线接收或发送的传感器，诸如GPS接收器628、无线局域网(WLAN)接口630、蜂窝接口632、点对点(P2P)无线接口634和近场通讯(NFC)接口636。
电子设备100还具有对存储与它的图像处理、位置映射、和位置使用过程联合被使用的信息或元数据的各种数据存储库的访问。这些数据存储库能够包括2D特征数据存储库638来存储从由电子设备100的成像传感器捕获的影像中识别的针对2D空间特征的元数据，以及3D空间特征数据存储库640来存储从针对2D空间特征的深度感测中使用分析识别的或从基于调制光的深度感测中识别的3D特征的元数据。为2D和3D特征存储的元数据能够包括例如用于同步目的的时间戳、空间特征在其中被识别的图像的图像识别符、所使用的捕获装置的识别符、校准信息等等。该元数据还能够包括与包含所识别的空间特征的图像同时的非视觉传感器数据，诸如GPS、Wi-Fi或其它无线电信息、日时信息、天气状况信息(这会影响照明)等等。数据存储库还能够包括存储基于SLAM的信息(诸如针对已经被电子设备100探索的本地环境112(图1)的区域的映射信息)或AR信息(诸如在本地环境112中的感兴趣的对象的相对位置的基于CAD的代表)的SLAM/AR数据存储库642。数据存储库638和640还能够存储已知特征描述符和基于在电子设备100处捕获的影像生成的特征描述符。数据存储库可以是对于电子设备100是本地的，诸如在硬盘驱动器、固态存储器、或可移动存储介质(未示出)上，数据存储库可以是位于远程的并可以经由例如电子设备100的无线接口中的一个或多个是可访问的，或数据存储库可以被实施为本地或远程数据存储器的组合。
在所描绘的实施方式中，处理系统600采用两个处理器：被配置成从由电子设备100的成像传感器捕获的可见光影像和深度传感器影像有效地识别2D空间特征的2D处理器602；以及被配置为从2D空间特征中有效地识别3D空间特征和有效地提供基于位置的功能(诸如视觉测程法或其它SLAM功能、AR功能等)的应用处理器604。然而，在其它实施例中，2D处理器602和应用处理器604的所述功能可以在单个处理器实施，或者两个以上的处理器一起可以实施所述的功能。2D处理器602能够被实施为例如单核或多核的图形处理单元(GPU)，以及应用处理器604能够被实施为例如GPU或单核或多核中央处理单元(CPU)。
2D处理器602被耦合到广角成像传感器114，窄角成像传感器116，以及面向用户的成像传感器118，以便在一个或多个像素行缓冲器644中接收由所述成像传感器捕获的图像数据。在一个实施例中，2D处理器602对于每个成像传感器包括接口和像素行缓冲器644，以便能够并行地从每个成像传感器接收图像数据。在另一个实施例中，2D处理器602包括单个的接口和像素行缓冲器644，并且因此2D处理器602在成像传感器之间多路复用。
2D处理器602被配置为处理来自成像传感器的所捕获的图像数据，以识别存在于图像数据的2D空间特征。在一些实施例中，2D处理器602实施专门为此任务设计的硬件配置。在其它实施例中，2D处理器602包括更普遍的处理器体系结构，其通过配置为实施2D空间特征检测处理的软件程序的执行来提供2D空间特征检测。2D处理器602还可以实施用于此目的的专门的硬件和专门的软件的组合。如上所述，任何各种众所周知的2D空间特征检测或提取算法可以由2D处理器602来实施。2D处理器602将与所识别的2D空间特征有关的元数据和其他有关的信息存储到2D特征数据存储库638。
在一个实施例中，2D处理器602被配置成分析由面向用户的成像传感器118捕获的影像，以使用任何各种众所周知的头部追踪算法来追踪用户的头部的当前姿势(例如，当前位置)。在所描绘的示例中，2D处理器602将头部追踪信息提供到显示控制器606，该2D处理器602进而被配置为调节所显示的影像以对随着反映在用户头部的姿势变化的用户视图视角的变化作出反应。在另一个实施例中，2D处理器602提供头部追踪信息到应用处理器604，该2D处理器602进而在显示数据被提供给显示控制器606之前修改显示数据以反映所更新的视图视角。
2D处理器602还作为控制器，其操作调制光投影仪119在其确定在本地环境112的所捕获的影像中识别的针对空间特征的深度数据的使用。在诸如相对亮的设置(如使用环境光传感器626感测到的)的特定条件下，2D处理器602可以使用由广角成像传感器114和窄角成像传感器116同时捕获的影像的图像分析，来确定存在于针对所捕获的影像中的空间特征的深度数据。在其它条件下，诸如比较低的照明条件，2D处理器602可以切换到深度传感器120(图1)的使用，以确定该深度数据。在其它实施例中，处理系统600实施从2D处理器602分离的控制器(未示出)，以控制调制光投影仪119的操作。
如上所述，深度传感器120依赖于由调制光投影仪119对调制光图案到本地环境的投射并且依赖于由成像传感器中的一个或多个对调制光图案从其的反射的捕获。因此，2D处理器602可以使用面向前方的成像传感器114和116的一个或两个以捕获调制光图案的投射的反射，并且处理反射调制光图案的所得到的影像，以确定在反射调制光图案中被代表的相对应空间特征的深度。为了将深度读取与相对应的2D空间特征进行匹配，2D处理器602能够对深度影像执行2D空间特征分析，以确定2D空间特征和它的相对深度，并且然后尝试将2D空间特征与在反射调制光影像被捕获相同的时间或相近的时间处被捕获的可见光影像中被识别的相对应空间特征进行匹配。在另一实施例中，2D处理器602能够捕获可见光图像，并且在其后迅速控制调制光投影仪119，以投射调制光图案和捕获反射调制光图像。因为由于可见光图像和反射调制光图像的同时捕获，它们用相同的空间特征在相同的坐标下有效地代表了相同的场景，所以2D处理器602然后能够从反射调制光图像开发针对可见光图像的深度映射。
应用处理器604被配置为实施特征识别模块225(图2)，以使用在2D特征数据存储库638中代表的2D空间特征和使用来自非视觉传感器组610的非视觉传感器信息来识别在所捕获的影像中代表的空间特征。作为与2D处理器602一起，应用处理器604可以被配置为通过专门的硬件配置、通过配置为此过程的软件的执行、或专门的硬件和软件的组合，来执行此过程。针对所识别的3D空间特征的元数据和其他信息被存储在3D特征存储数据库640中。在至少一个实施例中，应用处理器604实施(例如，执行指令，当所述指令被执行时，其操纵应用处理器604以执行操作)数据简化器232(图2)。因此，应用处理器604能够识别所识别的特征的特性和基于上述这些特性简化定位数据230。
应用处理器604进一步被配置为使用在3D特征数据存储库640中代表的3D空间特征和使用作为由非视觉传感器数据代表的电子设备100的现有场境，来提供SLAM，AR，VR，和其它基于位置的功能。当前场境能够包括从例如用户接口612或经由用户交互的分析获得的显式或隐式用户输入。类似地，应用处理器604能够使用电子设备100的位置/取向的历史和在那些位置/取向中观测到的空间特征的历史以基于简化的定位数据创建本地环境112的映射。
由应用处理器604提供的基于位置的功能还能够包括AR相关的或VR相关的功能，该功能包括识别和从SLAM/AR数据存储库642访问图形信息，以基于由应用处理器604确定的现有姿势被提供为在显示器108上的图形覆盖。该图形覆盖能够与被成像传感器在现有姿势中捕获的影像相关联地被提供用于经由显示控制器606在显示器108的显示。显示控制器606操作以控制显示器108(图1)，以显示从应用处理器604接收的显示数据代表的影像。进一步地，在一些实施例中，显示控制器606能够从2D处理器602接收头部追踪信息，并调整正在基于所接收的头部追踪信息中代表的用户头部位置或眼部位置被显示的影像的立体的视图。
图7图示了根据本公开的至少一个实施例在电子设备100处简化定位数据的方法700的流程图。方法700在块702处开始，其中电子设备100当它由用户通过不同的姿势在本地环境中运动时捕获影像和非视觉数据。在块704处，特征识别模块225基于图像和非视觉数据识别本地环境的特征，并将针对所识别的特征的特征描述符存储在定位数据230处。在块706处，电子设备100使用定位数据230，来识别在本地环境中的电子设备100的一个或多个姿势。所识别的姿势能够用于支持针对电子设备100的基于位置的功能。例如，所识别的姿势能够用于定向在电子设备100处执行的虚拟现实或增强现实中的应用电子设备100的用户。
在块708处，数据简化器232通过采用非视觉数据过滤器340，以去除从电子设备100的非视觉传感器收集的数据，从而启动简化的定位数据230。在块710处，关键帧识别符342识别定位数据230的关键帧，并在块712处从定位数据230去除与关键帧不相关联的特征的特征描述符。继续到块714，特征质量分析模块343分析定位数据230的剩余特征描述符以生成针对每个特征的质量值。在块716处，特征质量分析模块从定位数据230中去除具有低于QVT的质量值的那些特征的特征描述符。继续到块718，几何压缩模块344分析定位数据230的剩余特征描述符并基于该分析来几何压缩如上所述的特征描述符组，从而进一步简化定位数据230。在块720处，环境映射器235使用简化的定位数据230，来生成并存储电子设备100的本地环境的映射，用于提供设备的基于位置的服务来使用。
上述的许多发明功能和许多发明原理是非常适合于用或以软件程序或指令和诸如专用IC(ASIC)的集成电路(IC)实施。普通技术人员期望尽管由于例如可用时间、当前技术、和经济方面的考虑而激发可能的显著努力和许多设计选择，但是当由本文中公开的概念和原理的指导时，将会容易地能够通过最少的实验来容易地生成这样的软件指令和程序以及IC。因此，为了简洁起见和使根据本公开的原理和概念不清楚的风险最小，这样的软件和IC的进一步讨论(如果有的话)，将限于关于优选实施例内的原理和概念的本质。
在本文档中，诸如第一和第二等等的关系术语可以被单独使用以将一个实体或动作从另一个实体或动作区分开，而不一定要求或暗示这样的实体或动作之间的任何实际的这样的关系或次序。术语“包括(comprises)”，“包括(comprising)”或其任何其他变型均旨在涵盖非排他性的包括，使得包括一列元素的过程、方法、物品或装置中不仅仅包括那些元素，而是可以包括其它未明确列出的或这些过程、方法、物品、或装置固有的元素。没有其它约束的前面有“包括...一个”的元素不排除在包括该元素的过程、方法、物品、或装置中的附加相同元素的存在。如本文所使用的术语“另一个”被定义为至少第二个或更多。如本文所使用的术语“包括(include)”和/或“具有”被定义为包括(comprise)。如本文中参照电光技术中使用的术语“耦合”被定义为连接，尽管不一定是直接地，且不一定是机械地。如本文所使用的术语“程序”被定义为设计用于在计算机系统上执行的指令序列。“程序”或“计算机程序”可以包括子程序、函数、步骤、对象方法、对象实施、可执行应用程序、小程序、小服务程序(servlet)、源代码、对象代码、共享库/动态加载库和/或被设计用于在计算机系统上执行的其他指令序列。
本说明书和附图应被视为仅是示例，并且本公开的范围因此旨在由以下权利要求及其等同物来限定。注意的是，并不是所有上文一般性描述中所述的活动或元件都是必须的，可以不要求特定活动或设备的一部分，并且除了所描述的那些，可以执行一个或多个更多的活动，或包括更多的元件。更进一步地，将这些活动列出的次序并不一定是它们被执行的次序。上面所描绘的流程图的各步骤可以是以任何次序执行，除非另有说明，并且步骤可以被消除、重复和/或增加，这取决于实施方式。此外，概念已经参考具体实施例描述。然而，本领域的普通技术人员应认识到，可以在不脱离本公开的范围(如以下权利要求中阐述)的情况下作各种修改和改变。因此，说明书和附图是说明性的而不是限制性的意义，并且所有这样的修改都旨在被包括在本公开的范围之内。
益处、其他优点和问题的解决方案已经在上面关于具体实施例说明。然而，这些益处、优点、问题的解决方案和任何可能引起益处、优点、解决方案发生或变得更加显著的特征，不应当被解释为任何或所有权利要求的关键的、必需的或必要的特征。

Claims (20)

1.一种方法，包括：
基于在电子设备[100]处捕获的影像[220]和基于从非视觉传感器获得的接收到的非视觉姿势信息[142]，在所述电子设备处生成所述电子设备的定位数据[230]；
基于所捕获的影像，识别所述电子设备的环境的多个特征[225]；
基于所述多个特征的特性，简化所述定位数据[232]；以及
基于所简化的定位数据，映射所述电子设备的所述环境[235]。
2.根据权利要求1所述的方法，其中，所述多个特征的所述特性包括所捕获的影像的不同图像中的所述多个特征中每个特征的观测数目[454]。
3.根据权利要求1所述的方法，其中，所述多个特征的所述特性包括所捕获的影像的不同图像中的所述多个特征中每个特征的位置一致性[456]。
4.根据权利要求1所述的方法，其中，所述多个特征的所述特性包括所捕获的影像的不同图像中的所述多个特征中每个特征离所述电子设备的距离[455]。
5.根据权利要求1所述的方法，其中，所述多个特征的所述特性包括所捕获的影像的不同图像中的所述多个特征的变化性[458]。
6.根据权利要求1所述的方法，其中，简化所述定位数据包括：
从所述数据中去除所述非视觉姿势信息[340]。
7.根据权利要求1所述的方法，其中，简化所述定位数据包括：
几何地压缩[344]所述定位数据。
8.根据权利要求1所述的方法，其中，简化所述定位数据包括：
识别所述定位数据的关键帧[342]；以及
去除与所述定位数据的关键帧不对应的数据。
9.一种方法，包括，
基于从在电子设备处捕获的影像[220]识别的特征[225]，在所述电子设备处简化所述电子设备的定位数据[230]；以及
基于所简化的定位数据，来映射所述电子设备的所述环境[235]。
10.根据权利要求9所述的方法，其中，简化所述定位数据包括：
识别从所述影像中识别的多个特征的质量值[343]；以及
基于所述质量值来简化所述定位数据。
11.根据权利要求10所述的方法，其中，识别所述质量值包括：
基于下述中的一个或多个来识别所述质量值：跨图像的特征的位置[456]的一致性、特征的观测[454]的数目、所述特征的距离[455]、和跨图像的特征的不同位置[458]的数目。
12.根据权利要求9所述的方法，其中，映射包括：
将来自所述简化的定位数据中的特征与特征描述符的数据库[638，640]中的特征描述符[450]匹配；以及
基于匹配所述特征来映射所述本地环境。
13.一种电子设备，包括：
成像传感器[114，118]，所述成像传感器用于捕获图像；
多个非视觉传感器；
处理器[602，604]，用于：
基于在所述电子设备处捕获的影像[220]和基于从非视觉传感器获得的接收到的非视觉姿势信息[142]，在所述电子设备处生成所述电子设备的定位数据[230]；
基于所捕获的影像，识别所述电子设备的环境的多个特征[225]；
基于所述多个特征的特性，简化所述定位数据[232]；以及
基于所简化的定位数据，映射所述电子设备的所述环境[235]。
14.根据权利要求13所述的电子设备，其中，所述多个特征的所述特性包括所捕获的影像的不同图像中的所述多个特征中每个特征的观测数目[454]。
15.根据权利要求13所述的电子设备，其中，所述多个特征的所述特性包括所捕获的影像的不同图像中的所述多个特征中每个特征的位置一致性[456]。
16.根据权利要求13所述的电子设备，其中，所述多个特征的所述特性包括所捕获的影像的不同图像中的所述多个特征中每个特征离所述电子设备的距离[455]。
17.根据权利要求13所述的电子设备，其中，所述多个特征的所述特性包括所捕获的影像的不同图像中的所述多个特征的变化性[458]。
18.根据权利要求13所述的电子设备，其中所述处理器用于：
通过从所述数据中去除所述非视觉姿势信息[340]来简化所述定位数据。
19.根据权利要求13所述的电子设备，其中，所述处理器用于通过几何地压缩[344]所述定位数据来进一步简化所述定位数据。
20.根据权利要求13所述的电子设备，其中，所述处理器用于通过以下操作来简化所述定位数据：
识别所述定位数据的关键帧[342]；以及
去除与所述定位数据的关键帧不对应的数据。
CN201680027380.5A 2015-08-11 2016-08-10 管理电子设备上的环境映射的特征数据 Expired - Fee Related CN107646109B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/823,283 2015-08-11
US14/823,283 US9940542B2 (en) 2015-08-11 2015-08-11 Managing feature data for environment mapping on an electronic device
PCT/US2016/046294 WO2017027562A1 (en) 2015-08-11 2016-08-10 Managing feature data for environment mapping on an electronic device

Publications (2)

Publication Number Publication Date
CN107646109A true CN107646109A (zh) 2018-01-30
CN107646109B CN107646109B (zh) 2021-10-01

Family

ID=56801795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680027380.5A Expired - Fee Related CN107646109B (zh) 2015-08-11 2016-08-10 管理电子设备上的环境映射的特征数据

Country Status (8)

Country Link
US (1) US9940542B2 (zh)
EP (1) EP3335153B1 (zh)
JP (1) JP6609640B2 (zh)
KR (1) KR102398478B1 (zh)
CN (1) CN107646109B (zh)
DE (1) DE112016002022T5 (zh)
GB (1) GB2553965B (zh)
WO (1) WO2017027562A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969658A (zh) * 2018-09-28 2020-04-07 苹果公司 利用来自多个设备的图像进行定位和标测

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572441B2 (en) * 2015-08-19 2020-02-25 Global Engineering Research and Technologies, LLC Applications of peridynamic differential operator
US11017610B2 (en) 2016-05-18 2021-05-25 Google Llc System and method for fault detection and recovery for concurrent odometry and mapping
US10890600B2 (en) 2016-05-18 2021-01-12 Google Llc Real-time visual-inertial motion tracking fault detection
US10802147B2 (en) 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
US10339708B2 (en) * 2016-11-01 2019-07-02 Google Inc. Map summarization and localization
US10375374B2 (en) 2017-03-29 2019-08-06 Plethron Inc. Dimension extractable object comprising spatial metadata for a captured image or video
US10921825B2 (en) * 2017-11-04 2021-02-16 Automodality, Inc. System and method for perceptive navigation of automated vehicles
TWI736188B (zh) * 2019-03-22 2021-08-11 宏達國際電子股份有限公司 擴增實境資訊傳遞系統及方法
US11769258B2 (en) * 2021-02-03 2023-09-26 Qualcomm Incorporated Feature processing in extended reality systems

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040167670A1 (en) * 2002-12-17 2004-08-26 Goncalves Luis Filipe Domingues Systems and methods for computing a relative pose for global localization in a visual simultaneous localization and mapping system
CN101093503A (zh) * 2006-06-20 2007-12-26 三星电子株式会社 在移动机器人中建立网格地图的方法、设备和介质
KR100816269B1 (ko) * 2006-09-22 2008-03-25 학교법인 포항공과대학교 언센티드 필터를 적용한 강인한 동시 위치 추정 및 지도작성 방법
CN101996420A (zh) * 2009-08-21 2011-03-30 索尼公司 信息处理装置、信息处理方法及程序
US20120155775A1 (en) * 2010-12-21 2012-06-21 Samsung Electronics Co., Ltd. Walking robot and simultaneous localization and mapping method thereof
CN103247225A (zh) * 2012-02-13 2013-08-14 联想(北京)有限公司 即时定位与地图构建方法和设备
US20140119598A1 (en) * 2012-10-31 2014-05-01 Qualcomm Incorporated Systems and Methods of Merging Multiple Maps for Computer Vision Based Tracking
CN103926927A (zh) * 2014-05-05 2014-07-16 重庆大学 一种室内移动机器人双目视觉定位与三维建图方法
US20140341465A1 (en) * 2013-05-16 2014-11-20 The Regents Of The University Of California Real-time pose estimation system using inertial and feature measurements
US20150043784A1 (en) * 2013-08-12 2015-02-12 Flyby Media, Inc. Visual-Based Inertial Navigation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69712481T2 (de) 1996-06-28 2002-12-19 T. Eric Hopkins Bilderfassungssystem und verfahren
US6871409B2 (en) 2002-12-18 2005-03-29 Snap-On Incorporated Gradient calculating camera board
US7557935B2 (en) 2003-05-19 2009-07-07 Itzhak Baruch Optical coordinate input device comprising few elements
JP5324240B2 (ja) * 2009-01-29 2013-10-23 株式会社ゼンリン 路面標示地図生成方法及び路面標示地図生成装置
WO2011052826A1 (ko) * 2009-10-30 2011-05-05 주식회사 유진로봇 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법
US8798840B2 (en) * 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
EP4140414A1 (en) 2012-03-07 2023-03-01 Ziteo, Inc. Methods and systems for tracking and guiding sensors and instruments
US9384402B1 (en) * 2014-04-10 2016-07-05 Google Inc. Image and video compression for remote vehicle assistance
US9483879B2 (en) * 2014-09-18 2016-11-01 Microsoft Technology Licensing, Llc Using free-form deformations in surface reconstruction

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040167670A1 (en) * 2002-12-17 2004-08-26 Goncalves Luis Filipe Domingues Systems and methods for computing a relative pose for global localization in a visual simultaneous localization and mapping system
US7015831B2 (en) * 2002-12-17 2006-03-21 Evolution Robotics, Inc. Systems and methods for incrementally updating a pose of a mobile device calculated by visual simultaneous localization and mapping techniques
CN101093503A (zh) * 2006-06-20 2007-12-26 三星电子株式会社 在移动机器人中建立网格地图的方法、设备和介质
KR100816269B1 (ko) * 2006-09-22 2008-03-25 학교법인 포항공과대학교 언센티드 필터를 적용한 강인한 동시 위치 추정 및 지도작성 방법
CN101996420A (zh) * 2009-08-21 2011-03-30 索尼公司 信息处理装置、信息处理方法及程序
US20120155775A1 (en) * 2010-12-21 2012-06-21 Samsung Electronics Co., Ltd. Walking robot and simultaneous localization and mapping method thereof
CN103247225A (zh) * 2012-02-13 2013-08-14 联想(北京)有限公司 即时定位与地图构建方法和设备
US20140119598A1 (en) * 2012-10-31 2014-05-01 Qualcomm Incorporated Systems and Methods of Merging Multiple Maps for Computer Vision Based Tracking
US20140341465A1 (en) * 2013-05-16 2014-11-20 The Regents Of The University Of California Real-time pose estimation system using inertial and feature measurements
US20150043784A1 (en) * 2013-08-12 2015-02-12 Flyby Media, Inc. Visual-Based Inertial Navigation
CN103926927A (zh) * 2014-05-05 2014-07-16 重庆大学 一种室内移动机器人双目视觉定位与三维建图方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969658A (zh) * 2018-09-28 2020-04-07 苹果公司 利用来自多个设备的图像进行定位和标测
CN110969658B (zh) * 2018-09-28 2024-03-29 苹果公司 利用来自多个设备的图像进行定位和标测

Also Published As

Publication number Publication date
GB201716681D0 (en) 2017-11-29
JP6609640B2 (ja) 2019-11-20
EP3335153B1 (en) 2022-10-05
US20170046594A1 (en) 2017-02-16
GB2553965B (en) 2021-11-24
WO2017027562A1 (en) 2017-02-16
CN107646109B (zh) 2021-10-01
JP2018524657A (ja) 2018-08-30
DE112016002022T5 (de) 2018-01-18
KR102398478B1 (ko) 2022-05-13
EP3335153A1 (en) 2018-06-20
KR20180039013A (ko) 2018-04-17
GB2553965A (en) 2018-03-21
US9940542B2 (en) 2018-04-10

Similar Documents

Publication Publication Date Title
CN107646109A (zh) 管理电子设备上的环境映射的特征数据
US11195049B2 (en) Electronic device localization based on imagery
KR102149374B1 (ko) 로컬화 영역 설명 파일에 대한 프라이버시-민감 질의
CN110517319B (zh) 一种相机姿态信息确定的方法及相关装置
EP3466070B1 (en) Method and device for obtaining image, and recording medium thereof
KR102044491B1 (ko) 모바일 디바이스 현지화를 위한 영역 서술 파일의 크라우드-소싱 생성 및 업데이트
US7554575B2 (en) Fast imaging system calibration
CN109298629B (zh) 在未绘制地图区域中引导移动平台的系统及方法
CN105493154B (zh) 用于确定增强现实环境中的平面的范围的系统和方法
EP3786896A1 (en) Pose determination method and device, intelligent apparatus, and storage medium
CN109791608A (zh) 映射摘要和本地化
WO2019242418A1 (zh) 相机定位方法、装置、终端及存储介质
CN107852447A (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
TW202030697A (zh) 電子裝置及恢復深度圖的方法
CN107407959A (zh) 基于姿势的三维图像的操纵
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
KR101214612B1 (ko) 증강현실 기반 건물 네비게이션 시스템
US11758100B2 (en) Portable projection mapping device and projection mapping system
US11935286B2 (en) Method and device for detecting a vertical planar surface
CN111754449B (zh) 基于光通信装置的场景重构方法和相应的电子设备
Ching et al. Mobile indoor positioning using Wi-Fi localization and image processing
CN115457231A (zh) 一种更新三维图像的方法及相关装置
Keskin Markerless augmented reality applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211001