CN107111885A - 用于确定便携式设备的位置的方法 - Google Patents

用于确定便携式设备的位置的方法 Download PDF

Info

Publication number
CN107111885A
CN107111885A CN201580071659.9A CN201580071659A CN107111885A CN 107111885 A CN107111885 A CN 107111885A CN 201580071659 A CN201580071659 A CN 201580071659A CN 107111885 A CN107111885 A CN 107111885A
Authority
CN
China
Prior art keywords
equipment
frame rate
picture
portable set
tracing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580071659.9A
Other languages
English (en)
Other versions
CN107111885B (zh
Inventor
K·罗伊梅拉
范力欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN107111885A publication Critical patent/CN107111885A/zh
Application granted granted Critical
Publication of CN107111885B publication Critical patent/CN107111885B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种用于显示信息的增强现实方法，包括：通过便携式设备的相机捕获图像帧的序列，通过使用便携式设备的惯性传感器获取移动数据，根据移动数据确定采样帧速率，根据采样帧速率从所捕获的图像帧中选择跟踪图像，通过将跟踪图像与点云进行比较来确定便携式设备的位置，以及基于所确定的位置在设备的显示器上显示信息。

Description

用于确定便携式设备的位置的方法
技术领域
一些版本可以涉及确定包括显示器和相机的便携式设备的位置。
背景技术
便携式设备可以包括显示器和相机。点云可以代表设备的环境。由相机捕获的图像帧可以包括多个视觉特征。可以通过将视觉特征与点云进行比较来确定便携式设备的位置。便携式设备可以被使用在例如增强现实应用中。
发明内容
一些版本可以涉及一种用于确定便携式设备的位置的方法。一些版本可以涉及一种便携式设备。一些版本可以涉及一种用于确定便携式设备的位置的计算机程序。一些版本可以涉及一种用于确定便携式设备的位置的计算机程序产品。一些版本可以涉及一种用于在便携式设备的显示器上显示信息的方法。一些版本可以涉及用户接口。
根据一个方面，提供了一种方法，包括：
－从便携式设备的相机中获取所捕获的图像帧的序列，
－通过使用便携式设备的惯性传感器来获取移动数据，
－根据移动数据确定采样帧速率，
－根据采样帧速率，从所捕获的图像帧中选择跟踪图像，
－通过将跟踪图像与点云进行比较来确定便携式设备的位置，以及
－基于所确定的位置在设备的显示器上显示信息。
根据一个方面，提供了一种便携式设备，包括：
－显示器，
－相机，被布置为捕获图像帧序列，
－惯性传感器，用于提供移动数据，
－控制单元，用于根据移动数据确定采样帧速率，用于通过将跟踪图像与点云进行比较来确定便携式设备的位置，并且用于基于所确定的位置控制在显示器上显示信息。
根据一个方面，提供了一种计算机程序，包括计算机代码，该计算机代码被配置为当在至少一个处理器上执行时使得装置或系统：
－从便携式设备的相机中获取捕获的图像帧的序列，
－从便携式设备的惯性传感器中获取移动数据，
－根据移动数据确定采样帧速率，
－根据采样帧速率，从所捕获的图像帧中选择跟踪图像，
－通过将跟踪图像与点云进行比较来确定便携式设备的位置，以及
－基于所确定的位置在设备的显示器上显示信息。
根据一个方面，提供了一种用于显示信息的装置，包括：
－用于从便携式设备的相机中获取捕获的图像帧的序列的部件，
－用于从便携式设备的惯性传感器中获取移动数据的部件，
－用于根据移动数据确定采样帧速率的部件，
－用于根据采样帧速率从所捕获的图像帧中选择跟踪图像的部件，
－用于通过将跟踪图像与点云进行比较来确定便携式设备的位置的部件，以及
－用于基于所确定的位置在设备的显示器上显示信息的部件。
可以通过捕获外部物体的图像，并且通过将该图像与代表所述外部物体的点云进行比较，来测量便携式设备的位置。然而，所述比较可以包含大量跟踪运算，这又可能消耗来自便携式设备的电池的电能。
可以使用从运动传感器获得的运动传感器数据来减少视觉跟踪计算的次数，例如，当跟踪的图像没有明显变化和/或当视觉跟踪可能失败时。减少视觉跟踪计算的次数可以降低设备的功耗。
便携式设备可以由电池供电。降低平均功耗可以允许减小电池的尺寸。降低功耗可以增加便携式设备单次充电的操作时间。降低功耗可以明显延长电池供电的增强现实设备的使用时间。降低平均功耗可以促进便携式设备的电池的无线再充电。
当图像帧与点云的比较指示缓慢的变化时，可以降低视觉跟踪计算的帧速率。在这种情况下，运动传感器数据可以被用于确定位置的细微变化。
可以降低视觉跟踪计算的帧速率，例如，当连续图像之间的差异很小时。在这种情况下，通过使用运动传感器数据可以确定便携式设备的位置的细微变化。
可以仅通过使用不会由于相机的移动而太模糊的那些特征来执行特征匹配。
视觉质量评估方法可以可选地用于监控视觉跟踪质量。只要视觉跟踪质量保持在某一阈值以上，则可以降低图像分析的帧速率。如果视觉跟踪质量太低，则可以增加图像分析的帧速率。
附图说明
在以下示例中，将参考附图更详细地描述若干变型，其中：
图1a以示例的方式示出了环境中的便携式设备，
图1b以示例的方式示出了环境中的头戴式设备，
图2以示例的方式示出了便携式设备的功能单元，
图3a以示例的方式示出了从由便携式设备的相机捕获的视频序列的图像帧中对跟踪图像的采样，
图3b以示例的方式示出了从由便携式设备的相机捕获的图像帧中选择跟踪图像，
图4a以示例的方式示出了通过将跟踪图像的视觉特征与点云的点进行比较来确定便携式设备的位置，
图4b以示例的方式示出了选择点到点云的子集，
图5a以示例的方式示出了用于选择跟踪图像和用于确定便携式设备的位置的方法步骤，
图5b以示例的方式示出了用于选择跟踪图像、用于形成点云的子集和用于确定便携式设备的位置的方法步骤，
图5c以示例的方式示出了用于选择跟踪图像、用于形成点云的子集和用于推断便携式设备的位置的方法步骤，
图6以示例的方式示出了用于监控跟踪的鲁棒性的方法步骤，
图7a以示例的方式示出了通信系统，以及
图7b以示例的方式示出了便携式设备。
具体实施方式
参照图1a，在环境ENV1中可以移动和使用便携式设备500。环境ENV1可以包括一个或多个实际物体OBJ1、OBJ2、OBJ3、OBJ4。该物体可以包括特征F1、F2。设备500可以包括相机CAM1，相机CAM1被布置为捕获视觉特征F1、F2的图像。设备500可以包括用于捕获外部物体的图像的相机CAM1。设备500可以被布置为通过将视觉特征F1、F2与点云PC进行比较来确定设备500的位置POS。点云PC可以代表环境的物体OBJ1、OBJ2，并且点云PC可以被存储在例如设备500的存储器中。所确定的设备500的位置POS随后可以用于例如控制设备500的操作。
点云PCk可以包括多个点P。该点可以代表一个或多个物体OBJ1、OBJ2。设备500可以包括用于存储点云PCk的存储器。设备500可以被配置为通过将跟踪图像IMGk与点云PCk进行比较来确定设备的瞬时位置POSk。
设备500可以包括用于显示所捕获的图像和信息INF1、INF2的显示器DISP1。该显示器DISP1可以为例如触摸屏。
设备500可以被布置为在显示器DISP1上显示信息INF1、INF2，使得基于所确定的设备500的位置POS从数据库中选择信息INF1、INF2。设备500可以被布置为显示信息INF1、INF2，使得基于所确定的设备500的位置来选择在显示器DISP1上所显示的信息INF1、INF2的位置。所确定的位置POS可以被用作在设备500上运行的应用的用户输入。
所确定的位置POS可以用作用户输入，以控制例如在设备500上运行的增强现实应用。例如，设备可以确定设备靠近与信息INF1(例如“ABC”)相关联的商店的门OBJ1。设备可以基于所确定的设备的位置从数据库中搜索相关信息。可以基于所确定的位置POS从数据库中检索信息INF1。设备500可以将门OBJ1的图像SUB1与信息INF1一起显示，以向设备500的用户提供附加信息。例如，设备可以确定设备靠近地铁站的门OBJ3。设备500可以将门OBJ3的图像SUB3与信息INF2(例如“M”)一起显示，以向设备500的用户提供附加信息。显示器DISP1可以被配置为显示图像DIMG1。所显示的图像DIMG1可以包括在设备500的视野中的物体的图像。所显示的图像DIMG1可以包括所显示的信息INF1、INF2。物体OBJ1、OBJ3的图像SUB1、SUB3可以被称为例如子图像。
物体OBJ1、OBJ2、OBJ3、OBJ4和设备500可以具有在由正交方向SX、SY和SZ以及固定参考点REF1限定的实际空间中的位置。设备500的位置可以指设备500的预定点C1的位置。点C1可以例如在相机CAM1的镜头LNS1的中心处。设备500可以在三个空间维度和三个角维度内移动。在时间tk设备500的位置POSk可以通过指定设备500的空间位置以及通过定义设备500的角位置来完全定义。空间位置可以通过三个空间坐标(xk，yk，zk)来指定，并且角位置可以由三个角坐标(αk，βk，γk)来指定。设备500可以具有由正交方向SU、SV、SW限定的移动坐标系。移动坐标系固定在设备500上并与设备500一起移动。
参见图1b，设备500可以是头戴式设备500。头戴式设备500可以包括用于向用户U1显示虚拟图像VOB1、VOB2的虚拟显示器DISP1。用户U1可以佩戴设备500。相机CAM1可以被布置成捕获位于头戴式设备500的用户U1的视野中的物体OBJ1、OBJ2的图像IMGk。
虚拟显示器DISP1可以包括第一光学引擎10a。虚拟显示器DISP1可以可选地包括出射光瞳扩展器(EPE)20a，用于扩展光学引擎10a的出射光瞳。出射光瞳扩展器也可以称为例如光束扩展器。虚拟显示器DISP1可以生成一个或多个光束B1，其可以撞击用户U1的眼睛E1，以便在用户U1的眼睛E1的视网膜上形成光学图像。光束B1可以在视网膜上形成光学图像。虚拟显示器DISP1可以被布置为向用户U1显示一个或多个虚拟图像VOB1、VOB2。设备500可以被布置为基于所确定的设备500的位置在显示器DISP1上显示信息INF1、INF2。虚拟图像VOB1可以表示信息INF1，并且虚拟图像VOB1可以表示信息INF2。设备500可以显示虚拟图像VOB1，使得当由设备500的用户U1查看时，虚拟图像VOB1的位置与实际物体OBJ1的位置相匹配，以向设备500的用户提供附加信息。设备500可以显示虚拟图像VOB1，使得当由设备500的用户U1察看时，虚拟图像VOB1的位置与实际物体OBJ1的位置相关。
对于增强现实应用，出射光瞳扩展器20a可以至少部分是透明的，使得用户U1可以通过出射光瞳扩展器20a来察看环境ENV1的实际物体。然而，虚拟显示器DISP1还可以向用户U1显示环境ENV1的真实物体的图像。在这种情况下，出射光瞳扩展器20a不需要允许通过出射光瞳扩展器20a直接察看实际物体。
设备500可以可选地包括用于向用户U1的另一只眼睛E2显示虚拟图像的第二光学引擎10b和/或第二出射光瞳扩展器20b。虚拟显示器DISP1可以生成一个或多个光束B2，其可以撞击用户U1的第二只眼睛E2，以便在用户U1的眼睛E2的视网膜上形成光学图像。光束B2可以在视网膜上形成光学图像。光学引擎10a、10b可以被布置为针对双眼E1、E2生成相同的图像。光学引擎10a可以被布置为向眼睛E1生成第一图像，并且光学引擎10b可以被布置为向眼睛E2生成不同的第二图像，以便显示立体图像。
设备500可以可选地包括例如一个或多个头戴式耳机91a、91b以便于佩戴设备500。设备500也可以附接到例如头饰或头盔。
参见图2，设备500可以包括用于处理数据和/或用于控制设备500的操作的控制单元CNT1。控制单元CNT1可以包括一个或多个数据处理器。
设备500可以包括用于捕获视频的相机CAM1。相机CAM1可以捕获图像序列SEQ1，其包括外部物体OBJ1、OBJ2的多个连续图像帧Fj、Fj+、Fj+2...。相机CAM1可以包括成像光学器件LNS1和图像传感器DET1。图像传感器DET1可以包括二维检测器像素阵列。图像传感器DET1可以是例如CMOS器件(互补金属氧化物半导体)或CCD器件(电荷耦合器件)。
设备500可以包括传感器SEN1、传感器SEN2和/或传感器SEN3，其可以被布置为提供移动数据MDAT。移动数据MDAT也可以被称为运动传感器数据。
设备500可以包括惯性传感器SEN1，其包括陀螺仪。陀螺仪可以是例如激光陀螺仪或振动结构陀螺仪。惯性传感器SEN1可以例如通过使用微机电系统(MEMS)来实现。惯性传感器SEN1可以被布置为提供传感器信号SMV，其指示角速度ωu、ωv和/或ωw。从惯性传感器SEN1获得的传感器信号SMV可以包括指示角速度ωu、ωv和/或ωw的移动数据MDAT。ωu表示围绕轴SU的角速度。ωv表示围绕轴线SV的角速度。ωw表示围绕轴线SW的角速度。陀螺仪可以是三轴陀螺仪。
设备500可以包括惯性传感器SEN2，其包括加速度传感器。惯性传感器SEN2可以例如通过使用微机电系统(MEMS)来实现。惯性传感器SEN2可以被布置为提供传感器信号SMV，其指示加速度au、av和/或aw。从惯性传感器SEN2获得的传感器信号SMV可以包括指示加速度au、av和/或aw的移动数据MDAT。au表示沿SU方向的加速度。av表示沿SV方向的加速度。aw表示沿SW方向的加速度。惯性传感器SEN2可以是三轴加速度传感器。加速度传感器SEN2还可以提供用于确定重力方向的信息。
设备500可以包括磁罗盘SEN3。磁罗盘SEN3可以被布置为提供传感器信号SMV，其指示设备500的取向角α、β和/或γ。从磁罗盘SEN3获得的传感器信号SMV可以包括指示设备500的取向角α、β和/或γ的移动数据MDAT。设备500相对于方向SX、SY和SZ的取向可以通过测量设备500相对于地球的磁场和相对于重力的方向的取向来测量。设备500的角速度可以根据设备500的取向角α、β和/或γ的变化速率来确定。设备500可以被配置为根据从传感器SEN3获得的传感器信号SMV来确定一个或多个角速度值。设备500可以被配置为根据从传感器SEN3获得的移动数据MDAT来确定一个或多个角速度值。
设备500可以包括用户接口UIF1。用户接口UIF1可以包括显示器DISP1。显示器DISP1可以是例如虚拟显示器或触摸屏。用户接口UIF1可以包括用于接收来自用户U1的用户输入的输入单元KEY1。输入单元KEY1可以包括例如触摸屏、一个或多个键、鼠标、视线跟踪单元和/或语音识别单元(和麦克风)。也可以根据设备500的位置POS来确定用户输入。例如，以某种方式摇动设备500可以表示预定的用户输入。
设备500可以包括用于从第二设备接收数据和用于向第二设备发送数据的通信单元RXTX1。第二设备可以是例如互联网服务器SERV1。COM1表示通信信号。
设备500可以包括用于向设备500的其他单元提供电能的电池BAT1。电池可以是例如可充电锂离子电池或可充电镍氢电池。特别地，电池BAT1可以向控制单元CNT1提供能量。
设备500可以包括用于存储用于控制设备500的操作的计算机程序PROG1的存储器MEM1。设备500可以包括用于存储点云PCk的存储器MEM2。设备500可以包括用于存储例如所确定的设备500的位置的存储器MEM3。
参见图3a，相机CAM1可以捕获包括多个连续图像帧Fj-2，...Fj，Fj+，Fj+2，...，Fj+11的图像序列SEQ1。当从设备500的瞬时位置察看时，每个图像帧可以表示环境ENV1的瞬时视图。图像帧Fj-2，...Fj，Fj+，Fj+2，...，Fj+11可以以帧速率fSEQ1来捕获。
视觉跟踪通常以相机CAM1的帧速率fSEQ1运行。帧速率fSEQ1可以是例如在24Hz至120Hz的范围内。如果相机CAM1没有实际移动或旋转，则连续图像之间的差异可能很小，并且大部分跟踪计算可能变得多余。如果传感器信号SMV指示有很小的旋转或者没有旋转，这也指示连续图像帧之间的差异可能很小。在这种情况下，与相机CAM1的帧速率fSEQ1相比，可以减小用于视觉跟踪计算的帧速率fA。
可以通过将跟踪图像IMG的视觉特征F1、F2与点云PC进行比较来确定设备500的位置。可以根据帧采样速率fA从连续图像帧Fj-2，...Fj，Fj+，Fj+2，...，Fj+11中选择跟踪图像IMGk-1、IMGk、IMGk+1、IMGk+2、IMGk+3、IMGk+4。帧采样速率fA可以是例如帧速率fSEQ1的1/2、1/3、1/4、1/6、1/6、1/7或1/8倍。可以以第一帧速率fSEQ1捕获序列SEQ1，并且采样帧速率fA可以等于第一帧速率除以整数NDIV。可以确定采样帧速率fA，使得采样帧速率fA等于帧速率fSEQ1除以整数NDIV。整数NDIV可以在第一时间段期间具有第一值，并且整数NDIV可以在第二时间段期间具有不同的第二值。例如，在从tk-1到tk+1的第一时间段期间，整数NDIV可以等于3，并且在从tk+1到tk+4的第二时间段期间，整数NDIV可以等于2。
可以通过使用惯性传感器SEN1和/或SEN2来检测便携式设备500的移动。惯性传感器可以包括例如三轴加速计和/或三轴陀螺仪。陀螺仪可以是例如激光陀螺仪或振动结构陀螺仪。惯性传感器SEN1可以例如通过使用微机电系统(MEMS)来实现。惯性传感器SEN1可以被布置为提供指示便携式设备的移动的传感器信号SMV。传感器信号SMV可以包括指定便携式设备500的移动的移动数据MDAT。移动数据MDAT可以指定在一个方向(例如在方向SU)上的设备500的加速度ak，和/或围绕轴(例如围绕方向SU)的设备500的角速度ωk。
传感器信号SMV还可以包括从罗盘获得的移动数据MDAT。传感器信号可以包括从磁罗盘获得的移动数据MDAT。
用于视觉跟踪的帧速率fA可以是例如通过分析由相机CAM1捕获的每个第二图像帧的帧速率fSEQ1的1/2。用于视觉跟踪的帧速率fA可以是例如通过分析由相机CAM1捕获的每个第三图像帧的帧速率fSEQ1的1/3。用于视觉跟踪的帧速率fA可以是例如通过分析由相机CAM1捕获的每个第四图像帧的帧速率fSEQ1的1/4。用于视觉跟踪的帧速率fA可以是例如帧速率fSEQ1的1/2、1/3、1/4、1/5、1/6、1/7、1/8、..、1/15、1/16、1/17...1/31、1/32、1/33...。可以根据传感器信号来确定便携式设备500的位置。便携式设备500的位置可以通过根据图像帧确定先前位置以及根据传感器信号确定位置的变化来进行推断。当传感器信号指示便携式设备500开始移动或者转动更快时，可以增加用于视觉跟踪的帧速率fA。可以增加帧速率fA，使得用于视觉跟踪的帧速率fA等于相机CAM1的帧速率fSEQ1，即可以分析由相机CAM1捕获的每个图像帧。在一个实施例中，相机CAM1的帧速率fSEQ1可以从标称帧速率f0减小。
跟踪图像IMGk-1可以是在时间tk-1捕获的图像帧F。跟踪图像IMGk可以是在时间tk捕获的图像帧F。跟踪图像IMGk+1可以是在时间tk+1捕获的图像帧F。
点云可以被重建或更新。可以通过更新先前的点云PCk-1来确定点云PCk。可以通过更新点云PCk来确定下一点云PCk+1。
点云PCk可以已经通过分析多个先前捕获的图像IMGk-2、IMGk-1而形成。点云PCk可以是重新构造的点云。可以基于对所捕获的图像IMGk的分析来更新点云PCk。可以根据先前的点云PCk并且基于对一个或多个先前图像IMGk-2、IMGk-1、IMGk的分析来确定更新的点云PCk+1。
点云PCk或PCk+1也可以例如从数据库或者从第二设备的存储器中获得。点云PCk或PCk+1可以被传送到设备500，例如经由互联网或者经由移动通信系统。
可以将在时间tk-1，tk，tk+1，tk+2，tk+3，tk+4…捕获的图像帧用作跟踪图像IMGk，IMGk+1，IMGk+2，IMGk+3，IMGk+4，…。该方法可以包括确定对应于时间tk-1，tk，tk+1，tk+2，tk+3，tk+4，...的多个连续点云PCk-1，PCk+1，PCk+2，PCk+3，PCk+4。当采样帧速率fA低于帧速率fSEQ1时，一个或多个所捕获的图像帧不被用作跟踪图像。例如，所捕获的图像帧Fj+1和Fj+4可以用作跟踪图像IMGk，IMGk+1，使得图像帧Fj+2和Fj+3不被用作跟踪图像。图像帧Fj+3可以在时间tj+3被捕获。在捕获图像帧Fj+1之后并且在捕获图像帧Fj+4之前可以捕获图像帧Fj+3。
跟踪图像与点云的比较可能会消耗电力。帧采样速率fA可以低于帧速率fSEQ1，以便节省能量。可以基于从惯性传感器SEN1获得的传感器信号SMV来调整帧采样速率fA。可以基于从惯性传感器SEN2获得的传感器信号SMV来调整帧采样速率fA。可以基于从磁罗盘SEN3获得的传感器信号SMV来调整帧采样速率fA。
参见图3b，当从设备500的瞬时位置察看时，序列SEQ1的图像帧可以表示环境ENV1的瞬时视图。可以根据帧采样速率fA从图像帧Fj-1、Fj、Fj+1、Fj+2中选择跟踪图像IMGk。跟踪图像的数量可以低于序列SEQ1的图像帧的数量。此外，最近的跟踪图像可以是如下图像帧：其不是由相机CAM1捕获的最近的图像帧。
参见图4a，跟踪图像IMGk可以包括多个特征F1，F2，…。特征F1，F2，…可以被称为例如视觉特征，并且图像IMGk可以被称为例如跟踪图像。图像IMGk的特征F1，F2，…可以是环境ENV1的实际物体OBJ1、OBJ2的特征F1、F2的子图像。
点云PCk可以包括三维虚拟空间中的多个点。点云的每个点可以表示出现在图像帧中的候选特征。
虚拟空间可以由正交方向SX'，SY'，SZ'和参考点REF2定义。点云PCk的每个点P的空间位置可以由空间坐标(x'，y'，z')定义。设备500可以包括用于存储点云PCk的点的位置的存储器。
设备500在虚拟空间中可以具有虚拟位置POS2k。可以通过指定设备500的虚拟空间位置以及通过定义设备500的虚拟角位置来定义设备500的虚拟位置POS2k。空间位置可以由三个空间坐标(x'，y'，z')指定，并且角位置可以由三个角坐标(α'，β'，γ')指定。
设备500可以被配置为通过将跟踪图像IMGK的视觉特征F1，F2，...与点云PCk的点P进行比较来确定虚拟位置POS2k。设备500可以被配置为确定设备500在虚拟空间中的虚拟位置POS2k，使得跟踪图像IMGK的视觉特征F1，F2，…与点云PCk的点P匹配到足够程度。位置POS2k可以指定设备相对于点云PCk的点P的位置，即在虚拟空间中的位置。随后可以通过坐标变换根据虚拟位置POS2k确定设备500在环境ENV1中的位置POSk。也可以选择虚拟空间的坐标系，使得设备500的位置POSk等于虚拟位置POS2k。在这种情况下，不需要坐标变换。
设备500可以被配置为根据点云PCk确定一个或多个候选图像。当从虚拟位置POS2k察看点P时，候选图像意味着点云PCk的点P的图像。点云PCk的每个点P可以对应于候选图像的一个点。设备500可以被配置为计算候选图像的多个点，并且检查候选的点是否与跟踪图像IMGk的点匹配。
换句话说，设备500可以被配置为进行跟踪运算。当从不同的方向察看时，点云PCk通常看起来不同。设备500可以被配置为确定位置POS2k，使得候选图像的点与跟踪图像的特征F1、F2相匹配。
设备的位置可以通过一种方法确定，该方法包括：
－从便携式设备500的相机CAM1获取所捕获的图像帧Fj、Fj+1、Fj+2的序列SEQ，
－通过使用惯性传感器SEN1、通过使用惯性传感器SEN2和/或通过使用便携式设备500的罗盘SEN3来获取移动数据MDAT，
－根据移动数据MDAT确定采样帧速率fA，
－根据采样帧速率fA从所捕获的图像帧Fj、Fj+1、Fj+2中选择跟踪图像IMGk，以及
－通过将跟踪图像IMGk与点云PCk进行比较，来确定便携式设备500的位置POSk、POSk2。
基于所确定的位置POSk、POS2k，信息INF1、INF2随后可以被显示在设备500的显示器DISP1上。显示器DISP1可以为例如虚拟显示器或者触摸屏。
如果将跟踪图像IMGk的每个视觉特征与点云PCk的每个点进行比较，则跟踪图像IMGk的比较可能需要大量的数据处理。
为了便于比较，可以形成点云PCk的子集SCk。子集SCk的点的数量可以远远小于点云PCk的点的数量。
例如，视觉特征F1可以表示靠近设备的物体OBJ1的点，以及视觉特征F2可以表示远离设备500的物体OBJ3的点。如果设备500快速移动，则与视觉特征F2相比，视觉特征F1在跟踪图像IMGk中更可能被模糊。在设备500平移运动的情况下，与远距离的物体OBJ3的视觉特征F2相比，视觉特征F1在跟踪图像IMGk中更可能被模糊。设备500可以通过省略与模糊特征相关的比较操作来节省电力。
设备500可以被配置为通过选择可能对应于跟踪图像IMGk中的尖锐特征的点P来形成点云PCk的子集SCk。设备500可以被配置为通过丢弃可能对应于跟踪图像IMGk中的模糊特征的点P来形成点云PCk的子集SCk。设备500可以被配置为确定针对点云PCk的每个点的模糊值BV。点的模糊值BV可以指示对应于所述点的特征的估计的模糊程度。
当相机转动或移动太快时，出现在图像帧中的特征可能会被模糊。在这种情况下，视觉跟踪可能会失败。有时根本无法识别视觉特征。然而，可以基于传感器信号来计算对应于点云的点的特征的模糊程度。模糊程度可以例如由模糊值指定。如果特征的模糊值超过阈值，则这可能表示该特征太模糊以致无法识别。在跟踪计算中可以忽略与模糊特征相关联的点。特征匹配可以仅对对应于相对尖锐特征的那些点进行。传感器信号可用于确定便携式设备在快速移动期间的位置。阈值可以取决于例如相机的分辨率和/或相机的曝光时间。
设备500可以以速度vk移动和/或设备可以以角速度ωk旋转。如果速度vk和/或如果角速度ωk太高，则可能会使跟踪图像IMGk的一个或多个视觉特征F1、F2模糊。例如，穿戴设备500的用户U1可能跑或转动他的头部，使得跟踪图像IMGk包括模糊的视觉特征F1、F2。如果相机CAM1快速加速，则也可能使跟踪图像IMGk的一个或多个视觉特征F1、F2模糊。物体的特征的模糊程度可以取决于相机CAM1和物体OBJ1、OBJ2之间的距离。模糊程度也可能取决于相机CAM1的分辨率和/或照明条件。
设备500可以包括用于提供一个或多个传感器信号SMV的惯性传感器SEN1、SEN2。设备500可以包括用于提供传感器信号SMV的一个或多个惯性传感器SEN1、SEN2。惯性传感器SEN1、SEN2可以是例如加速度传感器和陀螺仪。传感器信号SMV可以指示设备500的加速度和/或角速度ωk。速度vk可以通过对设备500的加速度进行积分来确定。
参见图4b，设备500可以具有先前的虚拟位置POS2k-1。点云PCk的每个点P可以与所述点P和先前的虚拟位置POS2k-1之间的距离L'相关联。可以基于所述点P的空间坐标(x'，y'，z')来计算设备500的点P和先前的虚拟位置POS2k-1之间的距离L'。该点P的模糊值BV可以通过使用角速度ωk、速度vk和/或加速度ak以及通过使用距离L'来计算。如果所述点的模糊值BV超过限定值BVBLUR，则点P可以从子集SCk被丢弃。
设备500可以被配置为通过将跟踪图像IMGK的视觉特征F1，F2，…与子集SCk的点P进行比较来确定设备500的虚拟位置POS2k。设备500可以被配置为确定设备500在虚拟空间中的虚拟位置POS2k，使得跟踪图像IMGK的视觉特征F1，F2，…与子集SCk的点P匹配到足够的程度。
图5a示出了用于选择跟踪图像以及用于通过将跟踪图像的视觉特征与点云进行比较来确定设备500的位置的方法步骤。
在步骤810中，可以从设备500的相机CAM1获取所捕获的图像帧Fj、Fj+1、Fj+2的序列。传感器信号SMV可以从传感器SEN1、SEN2和/或SEN3获得。移动数据MDAT可以从传感器SEN1、SEN2和/或SEN3获得。
在步骤815中，可以基于传感器信号SMV来确定帧采样速率fA。可以基于移动数据MDAT来确定帧采样速率fA。例如，帧采样速率fA可以根据设备的加速度和角速度来确定。例如，帧采样速率fA可以被确定为低于序列SEQ1的帧速率，例如当设备500的加速度低于预定限制aLIM1并且设备的角速度低于预定限制ωLIM1时。例如，当设备500的加速度高于限制aLIM2和/或设备的角速度高于预定限制ωLIM2时，可以将帧采样速率fA确定为等于序列SEQ1的帧速率fSEQ1。
可以确定采样帧速率fA，使得采样帧速率fA等于帧速率fSEQ1除以整数NDIV。当设备的角速度ω低于第一预定限制ωLIM1并且设备的加速度低于第二预定限制aLIM1时，整数NDIV可以是例如大于或等于2。
在步骤820中，可以根据帧采样速率fA从序列SEQ1的图像帧中采样一个或多个跟踪图像。
在步骤850中，可以通过将跟踪图像IMGk的视觉特征F1、F2与点云PCk的点进行比较来确定设备500的位置POSk。
在步骤890中，可以基于所确定的位置POSk来控制设备500的操作。例如，可以基于位置POSk从数据库检索信息。例如，可以在运行增强现实应用时，基于位置POSk从数据库检索信息。例如，可以基于位置POSk来选择所显示的信息INF1、INF2。例如，可以基于位置POSk来确定信息在显示器上的位置。例如，所确定的位置POSk可以用作用户输入，例如，用于从两个或多个选项进行选择。
参见图5b，可以通过使用点云的子集SCk来减少比较操作的数量。在步骤825中，可以通过使用设备500的移动数据MDAT和先前的(虚拟)位置POS2k-1来形成子集SCk。点云PCk的点P的模糊值BV可以通过使用角速度ωk、速度vk和/或加速度ak以及通过使用距离L'来计算。如果所述点的模糊值BV超过限定值BVBLUR，则点P可以从子集SCk被丢弃。步骤825可以例如在步骤820之后、在步骤820之前、或在步骤815之前(但在步骤810之后)执行。
该方法可以包括：
－基于点云PCk的点P的位置以及基于移动数据MDAT来针对所述点P确定模糊值BV，
－如果模糊值BV超过预定限制BVBLUR，则从点云PCk的子集SCk中丢弃所述点P，以及
－通过将跟踪图像IMGk与子集SCk进行比较来确定便携式设备500的位置POSk。
较高的模糊值BV可以指示较高的模糊程度。在这种情况下，如果所述点的模糊值BV高于预定限制BVBLUR，则点P可以被点云PCk的子集SCk丢弃。可选地，较低的模糊值BV可以指示较高的模糊程度。在这种情况下，如果所述点的模糊值BV低于预定限制BVBLUR，则可以从点云PCk的子集SCk丢弃点P。
该方法可以包括：
－基于点云PCk的点P的位置以及基于移动数据MDAT来针对所述点P确定模糊值BV，
－将所述模糊值BV与预定限制BVBLUR进行比较，
－基于该比较，将所述点选择到点云PCk的子集SCk或者从点云PCk的子集SCk丢弃所述点，以及
－通过将跟踪图像IMGk与子集SCk进行比较来确定便携式设备500的位置POSk。
参见图5c，有时可以通过使用移动数据MDAT来校正所确定的位置。ΔtA可以表示当前时间t和捕获跟踪图像IMGk的时间tk之间的时间延迟(t-tk)。如果时间延迟短(例如比限制LIM1更短)，则跟踪图像IMGk可以表示当前的情况。如果时间延迟长，则通过分析跟踪图像IMGk确定的位置POSk可能不同于当前位置。
可以在步骤860中检查时间延迟ΔtA。如果时间延迟ΔtA小于预定值，则在步骤850中确定的中间位置POSk可以用作设备500在时间t的位置POS(t)(步骤880)。如果时间延迟ΔtA不小于预定值，则可以通过使用移动数据MDAT来校正位置。在步骤865中，可以通过使用传感器信号SMV并且基于时间延迟ΔtA来计算设备的横向位移DPOS和/或设备的取向的角度变化。可以通过使用从传感器SEN1、SEN2和/或SEN3获得的移动数据MDAT并且基于时间延迟ΔtA来计算设备的横向位移DPOS和/或设备的取向的角度变化。
该方法可以包括：
－通过使用移动数据MDAT来确定位置DPOS的变化，以及
－通过使用所述变化DPOS和先前确定的位置POSk来确定校正的位置POS(t)。
在步骤870中，随后可以通过将变化DPOS添加到中间位置POSk来确定设备500在时间t的瞬时位置POS(t)。
在步骤890中，可以基于所确定的瞬时位置POS(t)来控制设备500的操作。
参见图6，设备500可以被布置为自动适应更具挑战性的跟踪条件。
在步骤852中，可以对匹配点的数量NMP进行计数。在比较操作中可以找到点云PCk的匹配点。因此，对匹配点的数量NMP进行计数可能需要非常低的或可忽略的数据处理能力。
在步骤855中可以检查数量NMP。如果匹配点的数量NMP低于预定值NMP，LIM1，则在步骤856中可以暂时增大帧采样速率fA。在步骤856中还可以重置计时器值TIM。
该方法可以包括：
－确定指示出现在图像帧中的匹配特征的数量的指示值NMP，以及
－当匹配特征的数量NMP小于预定限制NMP，LIM1时，增大帧采样速率fA。
如果匹配点的数量NMP高于预定值，并且如果计时器值TIM低于预定值INTERVAL1，则可以将帧采样速率fA保持在步骤815中确定的值。
计时器值TIM可以随时间增大或者例如在步骤852中增大。可以在步骤857中检查计时器值TIM。如果计时器值TIM高于预定值INTERVAL1，则在步骤858中可以暂时减小帧采样速率fA。
如图5a、图5b或图5c所示，在图6的步骤850中确定的位置可以在步骤890中被用于控制设备500的操作。
可以监控视觉跟踪的鲁棒性。特别地，可以在设备500基本静止的情况下监控鲁棒性。当使用低帧速率进行分析时，鲁棒性可能会受到影响。例如由于可能引起图像噪音的低照明强度，鲁棒性可能会受到影响。如果视觉跟踪呈现出在传感器信号未指示明显运动时提供少量的匹配特征，则可以暂时增大用于跟踪的帧速率，直到恢复鲁棒跟踪。之后，可以减小用于跟踪的帧速率，以便测试是否可以以较低帧速率维持鲁棒跟踪。以这种方式，设备可以自动地适应于具有挑战性和/或变化的跟踪条件。视觉质量评估方法可以被用于监控视觉跟踪的质量。评估方法可以包括例如对匹配特征的数量进行计数。可以在不增加计算成本和/或功率消耗的情况下实现评估方法。
视频序列SEQ1可以通过使用数据压缩编解码器来存储和/或传送，例如通过使用MPEG-4 Part 2编解码器、H.264/MPEG-4 AVC编解码器、H.265编解码器、Window媒体视频(WMV)、DivX Pro编解码器或未来编解码器(例如，高效率视频编码、HEVC、H.265)。视频数据VDATA1、VDATA2可以被编码和/或解码，例如通过使用MPEG-4 Part 2编解码器，H.264/MPEG-4 AVC编解码器，H.265编解码器，Windows媒体视频(WMV)，DivX Pro编解码器，或未来编解码器(例如，高效率视频编码、HEVC、H.265)。视频数据也可以被编码和/或解码，例如通过使用无损编解码器。
图7a以示例的方式示出了通信系统1000，其可以包括便携式设备500。系统1000可以包括多个设备500、600，这些设备可以被布置为彼此通信和/或与服务器1240进行通信。设备500、600可以是便携式的。一个或多个设备500可以包括用于接收用户输入的用户接口UIF1。一个或多个设备500和/或服务器1240可以包括被配置为生成点云PCk的一个或多个数据处理器。系统1000可以包括终端用户设备，例如一个或多个便携式设备500、600，移动电话或智能电话600，互联网接入设备(互联网平板电脑)，个人计算机1260，显示器或图像投影仪1261(例如电视)，和/或视频播放器1262。设备500或便携式相机中的一个或多个可以包括用于捕获图像数据的图像传感器DET1。服务器、移动电话、智能电话、互联网接入设备或个人计算机可以被布置为分发图像数据、信息INF1、INF2和/或点云数据PCk。可以在具有一个或多个服务器1240、1241、1242和一个或多个用户设备的网络服务框架中实现分发和/或存储数据。如图7a的示例所示，系统1000的不同设备可以经由诸如互联网或局域网(LAN)的固定网络1210来连接。这些设备可以经由移动通信网络1220来连接，诸如全球移动通信系统(GSM)网络、第三代(3G)网络、第3.5代(3.5G)网络、第四代(4G)网络、无线局域网(WLAN)、或其他当代和未来的网络。不同的网络可以借助于通信接口1280彼此连接。网络(1210和/或1220)可以包括诸如路由器和交换机的网络元件以处理数据(未示出)。网络可以包括诸如一个或多个基站1230和1231的通信接口，以向不同的设备提供对网络的访问。基站1230、1231本身可以经由固定连接1276和/或经由无线连接1277连接到移动通信网络1220。可以有多个服务器连接到网络。例如，用于提供诸如社交媒体服务的网络服务的服务器1240可以连接到网络1210。服务器1240可以针对在设备500上运行的增强现实应用生成和/或分发附加信息INF1、INF2。用于提供网络服务的第二服务器1241可以连接到网络1210。用于提供网络服务的服务器1242可以连接到移动通信网络1220。上述设备中的一些，例如服务器1240、1241、1242可以被布置为使得它们与驻留在网络1210中的通信元件一起组成互联网。设备500、600、1260、1261、1262也可以由多个部分组成。一个或多个设备可以经由无线连接1273连接到网络1210、1220。设备500与系统1000的第二设备之间的通信COM1可以是固定和/或无线的。可以经由诸如固定连接1270、1271、1272和1280的通信连接将一个或多个设备连接到网络1210、1220。一个或多个设备可以经由无线连接1273连接到互联网。一个或多个设备可以经由固定连接1275连接到移动网络1220。设备500、600可以经由无线连接COM1、1279和/或1282连接到移动网络1220。连接1271至1282可以借助于在通信连接的相应端部处的通信接口来实现。用户设备500、600或1260也可以像各种网络设备1240、1241和1242那样用作Web服务服务器。该Web服务服务器的功能可以分布在多个设备上。应用元素和库可以被实现为驻留在一个设备上的软件组件。可选地，软件组件可以分布在多个设备上。软件组件可以分布在多个设备上以形成云。
图7b示出了可以用作通信系统1000的一部分的便携式设备500。该设备可以为例如头戴式设备、虚拟显示器、移动电话、智能电话、通信器、便携式计算机、相机或个人数字助理(PDA)。设备500可以包括控制单元CNT1，该控制单元用于确定设备500的位置、用于控制设备500的操作和/或用于根据所确定的设备500的位置显示信息INF1、INF2。该设备可以包括用于接收和/或发送数据的通信单元RXTX1。设备500可以通过使用通信单元RXTX1来接收信息INF1、INF2。设备500可以通过使用通信单元RXTX1将所确定的位置传送到通信系统1000的一个或多个其他设备。设备500可以包括用于捕获环境ENV1的外部物体的图像帧的一个或多个相机单元CAM1。设备500可以包括用于提供移动数据MDAT的传感器SEN1。传感器SEN1可以是非成像传感器。SEN1可以是惯性传感器。该设备可以包括用于从用户U1接收命令的用户接口UIF1。用户接口UIF1可以包括显示器DISP1。显示器DISP1可以被布置为向用户U1显示虚拟图像。用户接口UIF1可以包括例如触摸屏、触摸板、一个或多个键、鼠标、手势输入设备和/或语音识别单元。设备500可以包括用于存储计算机程序代码的存储器MEM1。代码可以使得设备500例如确定设备500的位置、控制设备500的操作和/或根据所确定的设备500的位置显示信息INF1、INF2。设备500可以包括用于存储其他数据(例如，点云数据(图2))的存储器。便携式设备500可以包括用于向控制单元CNT1提供电能的电池BAT1。
对于本领域技术人员来说，将清楚的是，根据本发明的设备和方法的修改和变化是可感知的。附图是示意性的。上面参考附图所描述的特定实施例仅是说明性的，并不旨在限制本发明的范围，本发明的范围由所附权利要求限定。

Claims (20)

1.一种方法，包括：
－从便携式设备的相机获取所捕获的图像帧的序列，
－通过使用所述便携式设备的惯性传感器获取移动数据，
－根据所述移动数据确定采样帧速率，
－根据所述采样帧速率，从所捕获的所述图像帧中选择跟踪图像，
－通过将所述跟踪图像与点云进行比较来确定所述便携式设备的位置，以及
－基于所确定的所述位置在所述设备的显示器上显示信息。
2.根据权利要求1所述的方法，其中所述序列以第一帧速率被捕获，并且所述采样帧速率等于所述第一帧速率除以一个整数。
3.根据权利要求2所述的方法，其中当所述设备的角速度低于第一预定限制并且所述设备的加速度低于第二预定限制时，所述整数大于或者等于2。
4.根据权利要求1-3中的任一项所述的方法，其中当所述设备的角速度等于或者高于第三预定限制和/或所述设备的加速度等于或者高于第四预定限制时，所述采样帧速率等于所述第一帧速率。
5.根据权利要求1-4中的任一项所述的方法，包括：
－基于所述点云的点的所述位置并且基于所述移动数据来针对所述点确定模糊值，
－将所述模糊值与预定限制进行比较，
－基于所述比较，将所述点选择到所述点云的子集或者从所述子集丢弃所述点，以及
－通过将所述跟踪图像与所述子集进行比较来确定所述便携式设备的所述位置。
6.根据权利要求1-5中的任一项所述的方法，包括：
－通过使用所述移动数据确定位置的变化，以及
－通过使用所述变化和先前确定的位置来确定校正后的位置。
7.根据权利要求1-6中的任一项所述的方法，其中所述便携式设备包括用于提供电能的电池，以用于执行所述比较。
8.根据权利要求1-7中的任一项所述的方法，包括：
－确定指示出现在图像帧中的匹配特征的数量的指示值，
－当所述匹配特征的所述数量低于预定限制时，增大所述采样帧速率。
9.一种便携式设备，包括：
－显示器，
－相机，被布置为捕获图像帧的序列，
－惯性传感器，用于提供移动数据，
－控制单元，用于根据所述移动数据确定采样帧速率，用于通过将跟踪图像与点云进行比较来确定所述便携式设备的位置，以及用于基于所确定的所述位置来控制在所述显示器上显示信息。
10.根据权利要求9所述的设备，其中所述相机被布置为以第一帧速率捕获所述图像帧的序列，并且所述采样帧速率等于所述第一帧速率除以一个整数。
11.根据权利要求10所述的设备，其中所述控制单元被配置为确定所述采样帧速率，以使得当所述设备的角速度低于第一预定限制并且所述设备的加速度低于第二预定限制时，所述整数大于或者等于2。
12.根据权利要求9-11中的任一项所述的设备，其中所述相机被布置为以第一帧速率捕获所述图像帧的序列，并且所述控制单元被配置为确定所述采样帧速率，以使得当所述设备的角速度等于或者高于第三预定限制和/或所述设备的加速度等于或者高于第四预定限制时，所述采样帧速率等于所述第一帧速率。
13.根据权利要求9-12中的任一项所述的设备，其中所述控制单元被配置为：
－基于所述点云的点的所述位置并且基于所述移动数据来针对所述点确定模糊值，
－将所述模糊值与预定限制进行比较，
－基于所述比较，将所述点选择到所述点云的子集或者从所述子集丢弃所述点，以及
－通过将所述跟踪图像与所述子集进行比较来确定所述便携式设备的所述位置。
14.根据权利要求9-13中的任一项所述的设备，其中所述控制单元被配置为：
－通过使用所述移动数据确定位置的变化，以及
－通过使用所述变化和先前确定的位置来确定校正后的位置。
15.根据权利要求9-14中的任一项所述的设备，包括用于提供电能的电池。
16.根据权利要求9-15中的任一项所述的设备，其中所述控制单元被配置为：
－确定指示出现在图像帧中的匹配特征的数量的指示值，以及
－当所述匹配特征的所述数量低于预定限制时，增大所述采样帧速率。
17.一种计算机程序，包括计算机程序代码，所述计算机程序代码被配置为当在至少一个处理器上被执行时使得装置或系统：
－从便携式设备的相机获取所捕获的图像帧的序列，
－从所述便携式设备的惯性传感器获取移动数据，
－根据所述移动数据确定采样帧速率，
－根据所述采样帧速率，从所捕获的所述图像帧中选择跟踪图像，
－通过将所述跟踪图像与点云进行比较来确定所述便携式设备的位置，以及
－基于所确定的所述位置在所述设备的显示器上显示信息。
18.根据权利要求17所述的计算机程序，其中所述序列具有第一帧速率，并且所述采样帧速率被确定以使得所述采样帧速率等于所述序列的所述帧速率除以一个整数。
19.一种计算机程序产品，被实施在非瞬态计算机可读介质上，所述计算机程序产品包括计算机程序代码，所述计算机程序代码被配置为当在至少一个处理器上被执行时使得装置或系统：
－从便携式设备的相机获取所捕获的图像帧的序列，
－从所述便携式设备的惯性传感器获取移动数据，
－根据所述移动数据确定采样帧速率，
－根据所述采样帧速率，从所捕获的所述图像帧中选择跟踪图像，
－通过将所述跟踪图像与点云进行比较来确定所述便携式设备的位置，以及
－基于所确定的所述位置在所述设备的显示器上显示信息。
20.一种用于显示信息的装置，包括：
－用于从便携式设备的相机获取所捕获的图像帧的序列的部件，
－用于从所述便携式设备的惯性传感器获取移动数据的部件，
－用于根据所述移动数据确定采样帧速率的部件，
－用于根据所述采样帧速率来从所捕获的所述图像帧中选择跟踪图像的部件，
－用于通过将所述跟踪图像与点云进行比较来确定所述便携式设备的位置的部件，以及
－用于基于所确定的所述位置在所述设备的显示器上显示信息的部件。
CN201580071659.9A 2014-12-30 2015-12-03 用于确定便携式设备的位置的方法、设备及可读存储介质 Expired - Fee Related CN107111885B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1423327.4 2014-12-30
GB1423327.4A GB2533788A (en) 2014-12-30 2014-12-30 Method for determining the position of a portable device
PCT/FI2015/050846 WO2016107963A1 (en) 2014-12-30 2015-12-03 Method for determining the position of a portable device

Publications (2)

Publication Number Publication Date
CN107111885A true CN107111885A (zh) 2017-08-29
CN107111885B CN107111885B (zh) 2020-10-09

Family

ID=52471610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580071659.9A Expired - Fee Related CN107111885B (zh) 2014-12-30 2015-12-03 用于确定便携式设备的位置的方法、设备及可读存储介质

Country Status (6)

Country Link
US (1) US10217021B2 (zh)
EP (1) EP3241183B1 (zh)
JP (1) JP6503070B2 (zh)
CN (1) CN107111885B (zh)
GB (1) GB2533788A (zh)
WO (1) WO2016107963A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109099901A (zh) * 2018-06-26 2018-12-28 苏州路特工智能科技有限公司 基于多源数据融合的全自动压路机定位方法
CN109598688A (zh) * 2018-12-06 2019-04-09 联想(北京)有限公司 一种处理方法及电子设备
CN111337039A (zh) * 2018-12-18 2020-06-26 北京四维图新科技股份有限公司 拥堵路段的地图数据采集方法、装置、系统及存储介质
CN117472068A (zh) * 2023-12-27 2024-01-30 深圳市奇航疆域技术有限公司 一种不良网络场景下的机器人控制方法及系统

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160109586A (ko) * 2015-03-12 2016-09-21 삼성전자주식회사 이미지 처리 시스템, 및 이를 포함하는 모바일 컴퓨팅 장치
WO2017008246A1 (en) * 2015-07-14 2017-01-19 SZ DJI Technology Co., Ltd. Method, apparatus, and system for determining a movement of a mobile platform
US10390003B1 (en) 2016-08-29 2019-08-20 Perceptln Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
US10043076B1 (en) 2016-08-29 2018-08-07 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous tracking
US10410328B1 (en) 2016-08-29 2019-09-10 Perceptin Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
US11314262B2 (en) 2016-08-29 2022-04-26 Trifo, Inc. Autonomous platform guidance systems with task planning and obstacle avoidance
US10032276B1 (en) 2016-08-29 2018-07-24 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous device
US10402663B1 (en) * 2016-08-29 2019-09-03 Trifo, Inc. Visual-inertial positional awareness for autonomous and non-autonomous mapping
US10571925B1 (en) 2016-08-29 2020-02-25 Trifo, Inc. Autonomous platform guidance systems with auxiliary sensors and task planning
US10453213B2 (en) * 2016-08-29 2019-10-22 Trifo, Inc. Mapping optimization in autonomous and non-autonomous platforms
US10395117B1 (en) 2016-08-29 2019-08-27 Trifo, Inc. Visual-inertial positional awareness for autonomous and non-autonomous tracking
US10366508B1 (en) 2016-08-29 2019-07-30 Perceptin Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
US10162362B2 (en) 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
US10571926B1 (en) 2016-08-29 2020-02-25 Trifo, Inc. Autonomous platform guidance systems with auxiliary sensors and obstacle avoidance
GB2557212A (en) * 2016-11-30 2018-06-20 Nokia Technologies Oy Methods and apparatuses for determining positions of multi-directional image capture apparatuses
US10241587B2 (en) * 2016-12-22 2019-03-26 Microsoft Technology Licensing, Llc Magnetic tracker power duty cycling
US20180203504A1 (en) * 2017-01-16 2018-07-19 Htc Corporation Movement tracking method and movement tracking system
GB2561368B (en) 2017-04-11 2019-10-09 Nokia Technologies Oy Methods and apparatuses for determining positions of multi-directional image capture apparatuses
US10444761B2 (en) 2017-06-14 2019-10-15 Trifo, Inc. Monocular modes for autonomous platform guidance systems with auxiliary sensors
US10496104B1 (en) 2017-07-05 2019-12-03 Perceptin Shenzhen Limited Positional awareness with quadocular sensor in autonomous platforms
US10462370B2 (en) 2017-10-03 2019-10-29 Google Llc Video stabilization
US10171738B1 (en) 2018-05-04 2019-01-01 Google Llc Stabilizing video to reduce camera and face movement
WO2019246044A1 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Head-mounted display systems with power saving functionality
CN112567287A (zh) * 2018-06-18 2021-03-26 奇跃公司 具有帧调制功能的增强现实显示
US11774983B1 (en) 2019-01-02 2023-10-03 Trifo, Inc. Autonomous platform guidance systems with unknown environment mapping
US11069085B2 (en) * 2019-02-13 2021-07-20 Toyota Research Institute, Inc. Locating a vehicle based on labeling point cloud data of a scene
US11120273B2 (en) * 2019-06-21 2021-09-14 Gfycat, Inc. Adaptive content classification of a video content item
CN110727288A (zh) * 2019-11-13 2020-01-24 昆明能讯科技有限责任公司 一种基于点云的电力巡检精准三维航线规划方法
CN111780774B (zh) * 2020-06-09 2022-05-03 北京五一视界数字孪生科技股份有限公司 运动轨迹的生成方法、装置、存储介质和电子设备
US11190689B1 (en) 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
CN114079781B (zh) * 2020-08-18 2023-08-22 腾讯科技（深圳）有限公司 一种点云媒体的数据处理方法、装置、设备及存储介质
EP4268007A1 (en) * 2020-12-23 2023-11-01 Magic Leap, Inc. Eyepiece imaging assemblies for a head mounted display
US11741631B2 (en) 2021-07-15 2023-08-29 Vilnius Gediminas Technical University Real-time alignment of multiple point clouds to video capture

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559711A (zh) * 2013-11-05 2014-02-05 余洪山 基于三维视觉系统图像特征和三维信息的运动估计方法
CN103646424A (zh) * 2013-11-26 2014-03-19 北京空间机电研究所 一种空中无缝虚拟漫游系统构建方法
US20140129175A1 (en) * 2012-11-06 2014-05-08 Qualcomm Incorporated Map-based adaptive sampling of orientation sensors for positioning
US20140300775A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US20140350839A1 (en) * 2013-05-23 2014-11-27 Irobot Corporation Simultaneous Localization And Mapping For A Mobile Robot

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6952212B2 (en) 2000-03-24 2005-10-04 Telefonaktiebolaget Lm Ericsson (Publ) Frame decimation for structure from motion
JP2003316259A (ja) * 2002-02-25 2003-11-07 Mitsubishi Electric Corp 撮影映像処理方法及び撮影映像処理システム
JP2010118019A (ja) * 2008-11-14 2010-05-27 Sharp Corp 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
US8798357B2 (en) * 2012-07-09 2014-08-05 Microsoft Corporation Image-based localization
JP2015532077A (ja) * 2012-09-27 2015-11-05 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングｍｅｔａｉｏ ＧｍｂＨ 少なくとも１つの画像を撮影する撮影装置に関連する装置の位置及び方向の決定方法
JP6016622B2 (ja) * 2012-12-26 2016-10-26 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
US9142019B2 (en) * 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
JP2014174638A (ja) * 2013-03-06 2014-09-22 Nippon Telegr & Teleph Corp <Ntt> 指示位置算出装置、ディスプレイ指示システム、方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140129175A1 (en) * 2012-11-06 2014-05-08 Qualcomm Incorporated Map-based adaptive sampling of orientation sensors for positioning
US20140300775A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US20140350839A1 (en) * 2013-05-23 2014-11-27 Irobot Corporation Simultaneous Localization And Mapping For A Mobile Robot
CN103559711A (zh) * 2013-11-05 2014-02-05 余洪山 基于三维视觉系统图像特征和三维信息的运动估计方法
CN103646424A (zh) * 2013-11-26 2014-03-19 北京空间机电研究所 一种空中无缝虚拟漫游系统构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CARLOS JARAMILLO.ET AL: "6-DoF Pose Localization in 3D Point-Cloud Dense Maps Using a Monocular Camera", 《INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS》 *
YA TIAN .ET AL: "Accurate Human Navigation Using Wearable Monocular Visual and Inertial Sensors", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109099901A (zh) * 2018-06-26 2018-12-28 苏州路特工智能科技有限公司 基于多源数据融合的全自动压路机定位方法
CN109099901B (zh) * 2018-06-26 2021-09-24 中科微易(苏州)智能科技有限公司 基于多源数据融合的全自动压路机定位方法
CN109598688A (zh) * 2018-12-06 2019-04-09 联想(北京)有限公司 一种处理方法及电子设备
CN111337039A (zh) * 2018-12-18 2020-06-26 北京四维图新科技股份有限公司 拥堵路段的地图数据采集方法、装置、系统及存储介质
CN111337039B (zh) * 2018-12-18 2021-07-20 北京四维图新科技股份有限公司 拥堵路段的地图数据采集方法、装置、系统及存储介质
CN117472068A (zh) * 2023-12-27 2024-01-30 深圳市奇航疆域技术有限公司 一种不良网络场景下的机器人控制方法及系统
CN117472068B (zh) * 2023-12-27 2024-05-03 深圳市奇航疆域技术有限公司 一种不良网络场景下的机器人控制方法及系统

Also Published As

Publication number Publication date
CN107111885B (zh) 2020-10-09
JP2018513433A (ja) 2018-05-24
EP3241183A1 (en) 2017-11-08
JP6503070B2 (ja) 2019-04-17
US10217021B2 (en) 2019-02-26
EP3241183B1 (en) 2019-10-16
WO2016107963A1 (en) 2016-07-07
GB201423327D0 (en) 2015-02-11
US20170357873A1 (en) 2017-12-14
EP3241183A4 (en) 2018-08-15
GB2533788A (en) 2016-07-06

Similar Documents

Publication Publication Date Title
CN107111885A (zh) 用于确定便携式设备的位置的方法
CN108615248B (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN108596976B (zh) 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN107820593B (zh) 一种虚拟现实交互方法、装置及系统
CN105830093B (zh) 用于产生与非均匀大小的空间区相关的元数据的系统、方法及设备
US10999480B2 (en) Methods for camera movement compensation
CN110555883A (zh) 相机姿态追踪过程的重定位方法、装置及存储介质
CN107079141A (zh) 用于三维视频的图像拼接
CN108416285A (zh) 枪球联动监控方法、装置及计算机可读存储介质
US20210019542A1 (en) Multi-Angle Object Recognition
KR20160070780A (ko) 재포커싱가능 이미지들
Hwang et al. Monoeye: Multimodal human motion capture system using a single ultra-wide fisheye camera
CN107255813A (zh) 基于3d技术的测距方法、移动终端、及存储介质
WO2021031790A1 (zh) 一种信息处理方法、装置、电子设备、存储介质和程序
US10447926B1 (en) Motion estimation based video compression and encoding
CN109040525B (zh) 图像处理方法、装置、计算机可读介质及电子设备
US10165186B1 (en) Motion estimation based video stabilization for panoramic video from multi-camera capture device
CN104104870B (zh) 拍摄控制方法、拍摄控制装置及拍摄设备
CN105892637A (zh) 手势识别方法及虚拟现实显示输出设备
CN107255812A (zh) 基于3d技术的测速方法、移动终端、及存储介质
CN112087728B (zh) 获取Wi-Fi指纹空间分布的方法、装置和电子设备
Han et al. Video stabilization for camera shoot in mobile devices via inertial-visual state tracking
Hu et al. Real-time camera localization with deep learning and sensor fusion
JP7293362B2 (ja) 撮影方法、装置、電子機器及び記憶媒体
US9619714B2 (en) Device and method for video generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201009

CF01 Termination of patent right due to non-payment of annual fee