CN104870941B - 分离的基于计算机视觉的姿势与基于惯性传感器的姿势的显示 - Google Patents

分离的基于计算机视觉的姿势与基于惯性传感器的姿势的显示 Download PDF

Info

Publication number
CN104870941B
CN104870941B CN201380066422.2A CN201380066422A CN104870941B CN 104870941 B CN104870941 B CN 104870941B CN 201380066422 A CN201380066422 A CN 201380066422A CN 104870941 B CN104870941 B CN 104870941B
Authority
CN
China
Prior art keywords
posture
mobile device
sensor
access control
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380066422.2A
Other languages
English (en)
Other versions
CN104870941A (zh
Inventor
M·拉马钱德兰
C·布鲁纳
A·拉马南达恩
S·迪亚兹·斯平多拉
M·R·查里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104870941A publication Critical patent/CN104870941A/zh
Application granted granted Critical
Publication of CN104870941B publication Critical patent/CN104870941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种移动装置，其使用由相机俘获的图像确定基于视觉的姿势，且使用来自例如加速计及陀螺仪等惯性传感器的数据确定基于传感器的姿势。所述基于视觉的姿势及所述基于传感器的姿势分离地用于视觉化应用程序中，所述视觉化应用程序针对所述不同姿势显示分离的图形。举例来说，所述视觉化应用程序可用以校准惯性传感器，其中所述视觉化应用程序基于所述基于视觉的姿势显示图形且基于所述基于传感器的姿势显示图形，且提示用户随着所述所显示图形在特定方向上移动所述移动装置以加速对所述惯性传感器的校准的收敛。或者，所述视觉化应用程序可为使用所述基于视觉的姿势及所述基于传感器的姿势显示分离的图形的基于运动的游戏或摄影应用程序。

Description

分离的基于计算机视觉的姿势与基于惯性传感器的姿势的 显示
相关申请案的交叉参考
本申请案主张2012年12月21日申请且标题为“分离的基于计算机视觉的姿势与基于惯性传感器的姿势的显示(Display of Separate Computer Vision Based Pose andInertial Sensor Based Pose)”的第13/725,175号美国申请案的权益及优先权，所述申请案转让给本受让人，且以引用的方式并入本文中。
技术领域
本文中所描述的标的物的实施例大体上涉及将基于计算机视觉的姿势及基于惯性传感器的姿势分离地用于视觉化应用程序中，且更具体来说，涉及显示针对基于计算机视觉的姿势及基于惯性传感器的姿势的分离的图形以提示用户移动装置的移动。
背景技术
例如智能电话、平板计算机、相机等等越来越多数目个移动装置除了相机以外还包含各种类型的惯性传感器。例如加速计及陀螺仪等惯性传感器归因于其在高取样速率下测量加速度及角速度的能力而被用于跟踪移动装置的移动。例如扩增实境、室内导航等等许多应用程序使用惯性传感器与计算机视觉的组合以用于确定移动装置的姿势(位置及定向)及跟踪移动装置。
为了将惯性传感器用于准确位置确定，特别在将惯性传感器与计算机视觉技术组合时，需要对惯性传感器的准确校准。惯性传感器的校准包含将惯性传感器相对于相机对准，以及校准惯性传感器的尺度(scale)及非正交性参数。然而，惯性传感器的校准当前为耗时的工厂制程，每一个别移动装置皆需要惯性传感器的校准。在惯性传感器的工厂校准期间，执行移动装置的一系列精确移动且使所述精确移动与惯性传感器的响应相关。虽然存在通过用户运动校准传感器的一些途径，但此些途径的性能严重地取决于供应与工厂运动质量相似的用户运动。指示用户提供复杂且又高度准确的运动是困难的。然而，在无此些充足运动的情况下，工厂校准(其带来成本增加)为用以可靠地获得准确校准参数的唯一方式。
发明内容
移动装置使用由相机俘获的图像确定基于视觉的姿势，且使用来自例如加速计及陀螺仪等惯性传感器的数据确定基于传感器的姿势。所述基于视觉的姿势及所述基于传感器的姿势分离地用于视觉化应用程序中，所述视觉化应用程序显示针对所述不同姿势的分离的图形。举例来说，所述视觉化应用程序可用以校准所述惯性传感器，其中所述视觉化应用程序基于所述基于视觉的姿势显示图形且基于所述基于传感器的姿势显示图形，且提示用户随所述所显示图形在特定方向上移动所述移动装置以加速对所述惯性传感器的校准的收敛。或者，所述视觉化应用程序可为使用所述基于视觉的姿势及所述基于传感器的姿势显示分离的图形的基于运动的游戏或摄影应用程序。
在一实施方案中，一种方法包含：使用经俘获图像确定移动装置的基于视觉的姿势；使用惯性传感器确定所述移动装置的基于传感器的姿势；及将所述基于视觉的姿势及所述基于传感器的姿势分离地用于视觉化应用程序中。
在一实施方案中，一种移动装置包含：相机，其俘获环境的图像；惯性传感器，其响应于所述移动装置的移动而产生数据；显示器；及处理器，其耦合到所述显示器、耦合到所述相机以接收所述环境的经俘获图像且耦合到所述惯性传感器以接收响应于所述移动装置的所述移动的所述数据，所述处理器经配置以使用所述经俘获图像确定所述移动装置的基于视觉的姿势；使用来自所述惯性传感器的所述数据确定所述移动装置的基于传感器的姿势；且使所述显示器基于所述基于视觉的姿势展示第一图形且基于所述基于传感器的姿势展示第二图形。
在一实施方案中，一种移动装置包含：用于使用经俘获图像确定所述移动装置的基于视觉的姿势的装置；用于使用惯性传感器确定所述移动装置的基于传感器的姿势的装置；及用于将所述基于视觉的姿势及所述基于传感器的姿势分离地用于视觉化应用程序中的装置。
在一实施方案中，一种存储媒体(包含存储于其上的程序代码)包含：用以使用经俘获图像确定移动装置的基于视觉的姿势的程序代码；用以使用惯性传感器确定所述移动装置的基于传感器的姿势的程序代码；及用以将所述基于视觉的姿势及所述基于传感器的姿势分离地用于视觉化应用程序中的程序代码。
附图说明
图1说明能够从经俘获图像确定基于视觉的姿势及从惯性传感器确定基于传感器的姿势且将所述基于视觉的姿势及所述基于传感器的姿势分离地用于视觉化应用程序中的移动装置。
图2说明可由移动装置用于视觉化应用程序中的图形的一个可能实施方案。
图3说明可由移动装置用于视觉化应用程序中的图形的另一可能实施方案。
图4说明可由移动装置用于视觉化应用程序中的图形的另一可能实施方案。
图5为说明将基于视觉的图形及基于传感器的图形分离地用于视觉化应用程序中的过程的流程图。
图6为说明将基于视觉的图形、基于传感器的图形及混合图形用于视觉化应用程序中的过程的流程图。
图7为说明用于校准惯性传感器的视觉化应用程序的特定实施例的流程图。
图8为能够确定基于视觉的姿势及基于传感器的姿势且将基于视觉的图形及基于传感器的图形分离地用于视觉化应用程序中的移动装置的框图。
具体实施方式
图1说明能够从经俘获图像确定基于视觉的姿势及从惯性传感器确定基于传感器的姿势，且将所述基于视觉的姿势及所述基于传感器的姿势分离地用于视觉化应用程序中的移动装置100。视觉化应用程序针对基于视觉的姿势及基于传感器的姿势显示分离的图形，所述图形有时在本文中分别被称作基于视觉的图形及基于传感器的图形。通过实例，视觉化应用程序可用以校准惯性传感器、游戏、摄影等等。举例来说，可基于用户响应于所显示图形对移动装置的操控而校准惯性传感器。移动装置100被说明为包含显示器102，所述显示器102可为(但未必为)触摸屏显示器。移动装置100包含用以使例如目标101等环境成像的前向相机108，所述目标101被说明为展示于显示器102上。移动装置100还包含惯性传感器110，例如，加速计、陀螺仪或其类似者。移动装置100还可包含与本发明不相关的其它特征，例如扬声器104及麦克风106(例如，在移动装置100为蜂窝式电话的情况下)。
如本文中所使用，“移动装置”是指能够根据经俘获图像或视频流进行基于视觉的位置检测及跟踪且包含惯性传感器的任何便携式电子装置，且可包含(例如)蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)，或包含相机、无线通信装置、计算机、膝上型计算机、平板计算机，等等的其它合适移动装置。移动装置可(但未必需要)能够接收无线通信及/或导航信号(例如，导航定位信号)。术语“移动装置”还意欲包含(例如)通过短程无线、红外线、有线连接或其它连接而与个人导航装置(PND)通信的装置——而不管在装置处或在PND处是否会发生卫星信号接收、辅助数据接收及/或位置相关的处理。
移动装置100包含视觉姿势模块112，视觉姿势模块112使用由相机108俘获的图像(例如，由相机108产生的系列视频帧)以产生基于视觉的姿势。基于视觉的姿势为使用计算机视觉技术而确定的移动装置的位置及定向。应理解，相机108可俘获视频图像及/或帧，且术语图像及帧在本文中可互换地使用。移动装置100进一步包含惯性感测系统(INS)114，所述惯性感测系统114使用惯性传感器110的输出以产生基于传感器的姿势。应理解，基于视觉的姿势及基于传感器的姿势中的一者或两者可基于另一者而予以初始化，但在其它情况下(如本文中所使用)，基于视觉的姿势独立于基于传感器的姿势，且基于传感器的姿势独立于基于视觉的姿势。因此，在当前时刻，当呈现当前扩增集合时基于视觉的姿势及基于传感器的姿势是独立的；但其可能在一过去时刻融合在一起。
移动装置100使用视觉化应用程序，所述视觉化应用程序基于从经俘获图像产生的基于视觉的姿势及从惯性传感器数据产生的基于传感器的姿势而在显示器102上显示分离的图形。举例来说，如图1中所说明，移动装置100可基于通过视觉姿势模块112产生的基于视觉的姿势而呈现第一图形120，且基于通过INS 114产生的基于传感器的姿势而呈现第二图形122。视需要，基于视觉的图形120及基于传感器的图形122可为同一所呈现对象的不同色彩通道，或其可为不同对象。图1将图形120及122说明为球状，但应理解，可使用任何类型的图形。此外，视需要，可将多个图形用于基于视觉的姿势，且可将多个图形用于基于传感器的姿势。举例来说，如下文所论述，可基于基于视觉的姿势呈现一或多个水平条及一或多个垂直条，且相似地，可基于基于传感器的姿势呈现若干水平条及垂直条。视需要，所呈现图形可更复杂或更生动，例如，可基于基于视觉的姿势呈现猫且可基于基于传感器的姿势呈现鼠，其中基于用户运动，猫受控制以俘获鼠。
视觉化应用程序分离地显示基于视觉的图形及基于传感器的图形以提示用户移动移动装置。举例来说，视觉化应用程序可为娱乐，例如，游戏。另一应用程序可与摄影有关。举例来说，为了使用单一相机产生三维图像，将移动装置移动到不同视角，同时维持经成像主体在显示器中居中。因此，基于视觉的图形可被显示为相对于主体静止，而基于传感器的图形的移动提示用户将移动装置移动到不同视角以便维持基于视觉的图形及基于传感器的图形的对准。在另一实例中，为了产生全景，需要在横摇相机的同时维持相机的位置。因此，基于传感器的图形可被显示为在显示器中静止，而基于视觉的图形的移动提示用户旋转移动装置同时将位置保持静止，以便维持基于视觉的图形及基于传感器的图形的对准。
视觉化应用程序的另一实例用于惯性传感器110的校准。对惯性传感器110及相机108的对准以及尺度及非正交性的校准可将基于视觉的姿势用作外部测量。此外，基于基于视觉的图形及基于传感器的图形的显示，用户被提示随校准的所要轨迹来移动移动装置100。因此，激励用户沿着所要轨迹移动移动装置以收集可馈送到校准算法中的质量良好的数据。
移动装置100从惯性传感器110收集响应于移动装置100的移动而产生的数据，同时俘获用以产生基于视觉的姿势的图像。基于视觉的姿势及传感器数据可用于惯性传感器的校准。可呈现基于视觉的图形120及基于传感器的图形122以提示用户移动移动装置，以及可对用户进行关于惯性传感器的校准状态(例如，校准准确度及对校准参数的可信度)的反馈。因此，移动装置100可使用视觉化应用程序以允许用户将惯性传感器校准准确度视觉化且基于对校准参数估计的可信度而适应性地改变用户与移动装置的交互。
图2通过实例说明在校准惯性传感器时可由移动装置用于视觉化应用程序中的图形的一个可能实施方案。如与图1所示的移动装置100的姿势相比可看出，图2中的移动装置100被说明为相对于目标101而旋转。归因于移动装置100的旋转，基于传感器的图形122已移动成与基于视觉的图形120较紧密对准。手动地移动移动装置100以对准图形的过程可提供反馈以相对于相机108校准惯性传感器110。此外，分离的图形120及122的视觉显示可将关于惯性传感器110到相机108的校准状态的反馈提供给用户。另外，如通过图2中的文本124所说明，可向用户提供计分以指示对准的状态。还可将其它或另外反馈提供给用户，例如，可分别指示沿着水平轴线及垂直轴线的对准状态的水平条126H及垂直条126V。此外，因为存在六个维度(三个供旋转且三个供平移)，所以可显示六个分离的图形(例如，条或其它者)或其子集(例如，两个或两个以上图形)。图形120及122可经呈现为促使用户在特定方向上移动移动装置以加速对惯性传感器的校准的收敛的游戏的部分。换句话说，可将校准程序作为为获得娱乐所玩的游戏呈现给用户(而非繁重的管理过程)。举例来说，在校准游戏中，可周期性地移动基于视觉的图形120的所显示位置，从而要求用户操控移动装置100的位置及定向以将基于传感器的图形122与基于视觉的图形120重新对准。因此，可提示用户沿着一或多个轴线旋转及/或移动移动装置100，且移动装置100的所得运动可用于校准。在具有越来越佳校准的情况下，由惯性传感器估计的运动将与基于计算机视觉求解出的运动越来越紧密地匹配。当由惯性传感器估计的运动与基于计算机视觉求解出的运动之间的差在可基于系统的噪声水平的一阈值范围内匹配时，可将校准确定为可接受的。
预期对准及非正交性在电话的寿命内极慢地改变。因此，可不频繁地执行对准及非正交性的校准。然而，尺度取决于温度。虽然可以进行中的方式与偏置一起估计尺度，但联合地估计对准、非正交性、尺度及偏置将很可能导致总体校准参数的准确度减低。因此，可周期性地执行移动装置100的用户校准或在移动装置100受到机械应力的情况下进行移动装置100的用户校准。
图3说明在校准惯性传感器时可由移动装置用于视觉化应用程序中的图形的另一可能实施方案。所显示图形132可基于计算机视觉姿势，且分离的图形134可基于基于传感器的姿势。如图3中所说明，基于视觉的图形132可为迷宫，而基于传感器的图形134可为待由用户所产生的移动装置100的运动而移动通过迷宫的对象。因此，如图3中可看出，用户将被提示水平地及垂直地旋转或移动移动装置100以将基于传感器的图形134移动通过基于视觉的图形132。移动装置100的运动可用以校准惯性传感器110。
图4说明在校准惯性传感器时可由移动装置用于视觉化应用程序中的图形的另一可能实施方案。所显示图形142可基于计算机视觉姿势，且分离的图形144可基于基于传感器的姿势。可使用基于视觉的图形142及基于传感器的图形144(例如)以提示用户(例如)沿着垂直于显示器102而延伸的Z轴来旋转移动装置100。另外，用户可被提示前后移动移动装置100(例如，沿着垂直于显示器102而延伸的轴线沿着Z轴而平移移动装置)，以变更图形142、144中的一或多者的大小直到所述图形的大小相似为止。相似地，用户可被提示沿着X轴及Y轴移动(平移)移动装置100以将图形142、144对准，且可被提示基于图形142、144的外观围绕X轴及Y轴旋转移动装置100。因此，可看出，用户可被提示以6个自由度移动移动装置。
图5为说明将基于视觉的图形及基于传感器的图形分离地用于视觉化应用程序中的过程的流程图。使用经俘获图像确定移动装置的基于视觉的姿势(202)。可使用常规计算机视觉技术而产生移动装置的基于视觉的姿势。举例来说，对于每一图像新图像，可使用FAST(来自加速片段测试的特征)隅角检测器、尺度不变特征变换(SIFT)、加速稳固特征(SURF)或任何其它所要方法来提取特征。可将当前图像的经提取特征与来自参考图像的特征比较，参考图像可为已知或所获悉目标之前一图像或模型。将当前图像中的经提取特征的位置映射到参考图像的单应性(homography)可提供移动装置的相对于具有6个自由度的环境的姿势。
还使用惯性传感器确定移动装置的基于传感器的姿势(204)。众所周知，可通过整合随着时间推移(例如)来自加速计或陀螺仪的惯性传感器数据以确定随着整合时间推移移动装置的姿势的改变来确定基于传感器的姿势。因此，通过在与用相机俘获环境的参考图像的同时起始惯性传感器的整合，可与确定基于视觉的姿势并行地确定移动装置的基于传感器的姿势。应理解，来自惯性传感器的数据提供姿势的相对改变。姿势的改变可用作基于传感器的姿势。或者，可(例如)使用计算机视觉技术或其它初始化技术来提供初始姿势，其中基于传感器的姿势可在从初始姿势改变时被阻止。举例来说，可按规则时间间隔(例如，每隔5个帧)用基于视觉的姿势来初始化基于传感器的姿势。在那些初始化帧之间，将来自传感器的姿势的改变用作基于传感器的姿势。
将基于视觉的姿势及基于传感器的姿势分离地用于视觉化应用程序中(206)。换句话说，基于视觉的姿势及基于传感器的姿势可由同一视觉化应用程序同时使用，但不将基于视觉的姿势及基于传感器的姿势组合以便分离地使用其。举例来说，在视觉化应用程序中，可显示基于基于视觉的姿势的第一图形及基于基于传感器的姿势的第二图形。视需要，可通过呈现具有不同色彩通道的单一扩增字符而在视觉化应用程序中使用基于视觉的姿势及基于传感器的姿势。因此，第一图形可为用于单一扩增字符的第一色彩通道，且第二图形可为用于单一扩增字符的第二色彩通道。
如上文所论述，视觉化应用程序可使用经俘获图像执行对惯性传感器的校准，其中第一图形及第二图形经呈现为基于对惯性传感器的校准而彼此交互。举例来说，通过基于惯性传感器的校准状态而移动第一图形及第二图形中的至少一者，用户可被提示在特定方向上移动移动装置，其中在特定方向上移动装置的移动加速了对惯性传感器的校准的收敛。举例来说，在完成一个校准参数(例如，X轴)的校准之后，可移动第一图形及/或第二图形以提示用户沿着Y轴移动移动装置。可以相似方式校准Z轴，以及围绕各种轴线的旋转。额外或替代性地，惯性传感器的校准状态可为(例如)校准准确度、对校准参数的可信度、误差协方差或误差协方差的变化。误差协方差或可信度的一实例为来自可用于校准程序的扩展卡尔曼滤波器(Extended Kalman Filter)的结果。另一实例可来自估计估计值的可靠性的另一算法。提示用户在特定方向上移动移动装置会将惯性传感器的校准质量用作对视觉化应用程序的反馈以加速对惯性传感器的校准的收敛。
然而，视觉化应用程序可用于除校准以外的其它过程。举例来说，视觉化应用程序可为基于基于视觉的姿势显示第一图形且基于基于传感器的姿势显示第二图形的移动装置的基于运动的游戏或摄影应用程序。
视需要，可由视觉化应用程序在移动装置100中显示额外信息。举例来说，图6为流程图，其与图5所示的流程图相似，但包含由视觉化应用程序使用的额外信息。因此，如可看出，确定基于视觉的姿势及基于传感器的姿势(202，204)。另外，一起使用经俘获图像及惯性传感器来确定移动装置的基于混合的姿势(212)。举例来说，视需要，可组合基于视觉的姿势及基于传感器的姿势，或可组合来自惯性传感器的数据及来自相机的数据以形成基于混合的姿势。视觉化应用程序(例如)通过显示表示每一姿势的分离的图形而分离地使用基于视觉的姿势、基于传感器的姿势及基于混合的姿势(214)。应理解，无需在校准期间总是显示基于基于视觉的姿势或基于传感器的姿势而显示的图形中的一者或两者，例如，在对基于视觉的姿势的跟踪丢失时，可移除针对基于视觉的姿势而显示的图形，同时仍显示针对基于传感器的姿势而显示的图形。
图7为说明用于惯性传感器的呈校准应用程序的形式的视觉化应用程序的特定实施例的流程图。如可看到，起始校准过程(302)。校准应用程序可代替工厂校准或除工厂校准以外还存在校准应用程序，且校准应用程序可预安装于移动装置100上。在准许使用惯性传感器之前，可需要自动起始校准应用程序，或替代地，用户可在需要时起始所述应用程序。可向用户提供说明，例如，关于在何处可找到适于产生准确计算机视觉姿势估计的富含特征目标的信息。移动装置100可被置放于特定位置中(例如，在水平表面上面向上)以用于初始化移动装置的姿势(304)。移动装置100可(例如)通过发射音调而在初始化完成时向用户进行指示。移动装置100确定基于传感器的姿势及分离的基于视觉的姿势(306)。举例来说，移动装置100俘获参考目标的图像或视频帧以使用计算机视觉确定姿势且获取跟踪，同时还基于还用于跟踪的惯性传感器确定姿势。通过显示与基于传感器的姿势及基于视觉的姿势有关的分离的图形，将移动移动装置的指令提供给用户(308)。在用户移动移动装置时个别地跟踪基于传感器的姿势及基于视觉的姿势以改进校准(310)。
可基于对每一姿势估计的可信度而产生用于移动移动装置的指令，可从来自扩展卡尔曼滤波器的误差协方差或从其它算法导出可信度。举例来说，如果针对由测量围绕Z轴的旋转的陀螺仪产生的姿势的可信度低，那么用户可被指示围绕Z轴旋转移动装置，同时继续俘获参考目标的图像直到达到可信度的阈值为止。可按照所显示图形的计分或改变来表达可信度阈值以促使用户进行特定运动以增加估计的可信度。将计分及/或挑战提供给用户利用了游戏玩家的为了增加其游戏计分或完成挑战而玩游戏的普遍特性。每当对校准参数中的一者的校准完成(即，可信度水平增加超过阈值)时，就奖励用户分数。用户完成所花费的时间还可包含于计分中。因此，可激励用户操控移动装置以提供用于校准过程的输入数据。因此，用户与移动装置的交互可用于校准，借此避免了对惯性传感器进行昂贵的工厂校准的需要。
图8为能够确定基于视觉的姿势及基于传感器的姿势且将基于视觉的图形及基于传感器的图形分离地用于视觉化应用程序中的移动装置100的框图。移动装置100包含相机108以及例如加速计、陀螺仪或其类似者等惯性传感器110。移动装置100进一步包含用户接口150，用户接口150包含显示器102以及小键盘152或用户可借以将信息输入到移动装置100中的其它输入装置。视需要，通过将虚拟小键盘集成到具有触控传感器(或示意动作控制)的显示器102中，可取消小键盘152。用户接口150还可包含麦克风106及扬声器104(例如，在移动装置100为蜂窝式电话或其类似者时)。当然，移动装置100可包含与本发明不相关的其它元件。
移动装置100还包含控制单元105，控制单元105连接到相机108、惯性传感器110以及用户接口150(包含显示器102)且与相机108、惯性传感器110以及用户接口150(包含显示器102)通信。控制单元105可由总线105b、处理器105p及相关联的存储器105m、硬件105h、固件105f及软件105s提供。控制单元105接收及处理如上文所论述的由相机俘获的图像以及从惯性传感器110获得的数据。控制单元105进一步被说明为包含视觉姿势模块112，视觉姿势模块112使用计算机视觉技术来使用由相机108俘获的图像产生基于视觉的姿势。移动装置100进一步包含INS 114，INS 114使用惯性传感器110的输出以产生基于传感器的姿势。呈现模块116产生待提供给用户的基于视觉的图形及基于传感器的图形及任何其它图形数据，其被展示于显示器102上。另外，视觉化应用程序模块118使用基于视觉的姿势及基于传感器的姿势，且使得将显示来自呈现模块116的图形。举例来说，视觉化应用程序模块118可为基于基于视觉的姿势及基于传感器的姿势校准惯性传感器110的校准模块(如上文所论述)，或可替代地为基于运动的游戏或其它适当类型的应用程序(例如，摄影应用程序)。可包含混合姿势模块119以基于经组合的基于视觉的姿势及基于传感器的姿势而确定移动装置的姿势，或以其它方式基于经俘获图像及惯性传感器数据来确定移动装置的姿势。
为清楚起见，将视觉姿势模块112、INS 114、呈现模块116、视觉化应用程序模块118及混合姿势模块119与处理器105p分开加以说明，但其可为处理器105p的部件或基于执行于处理器105p中的软件105s中的指令而在处理器中予以实施。应理解，如本文中所使用，处理器105p可(但未必需要)包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)，及其类似者。术语处理器意欲描述由系统而非特定硬件实施的功能。此外，如本文中所使用，术语“存储器”是指任何类型的计算机存储媒体，包含与移动装置相关联的长期、短期或其它存储器，且将不限于任何特定类型的存储器或数目的存储器，或供存储存储器的媒体类型。
取决于应用，可通过各种装置来实施本文中所描述的方法。举例来说，可以硬件105h、固件105f、软件105s或其任何组合来实施此些方法。对于硬件实施，处理单元可经实施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它电子单元或其组合内。
对于固件及/或软件实施，可通过执行本文中所描述的功能的模块(例如，程序、函数，等等)来实施所述方法。有形地体现指令的任何机器可读媒体可用于实施本文中所描述的方法。举例来说，软件代码可存储于存储器105m中且由处理器105p执行。存储器105m可经实施于处理器105p内或处理器105p外部。如果以固件及/或软件予以实施，那么功能可作为一或多个指令或代码而存储于计算机可读的存储媒体上，其中存储媒体不包含暂时性传播信号。实例包含用数据结构编码的存储媒体及用计算机程序编码的存储器。存储媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。通过实例而非限制，此些存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置，或可用以存储呈指令或数据结构形式的所要程序代码且可通过计算机存取的任何其它媒体；如本文中所使用的磁盘及光盘包含压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘通过激光以光学方式复制数据。以上各者的组合还应包含于存储媒体的范围内。
因此，移动装置100包含用于使用经俘获图像确定移动装置的基于视觉的姿势的装置，所述装置可包含(例如)相机108以及视觉姿势模块112。用于使用惯性传感器确定移动装置的基于传感器的姿势的装置可包含(例如)惯性传感器110及INS 114。用于将基于视觉的姿势及基于传感器的姿势分离地用于视觉化应用程序中的装置可包含(例如)视觉化应用程序模块118，视觉化应用程序模块118可为(例如)校准模块、基于运动的游戏，或摄影应用程序。用于使用经俘获图像及惯性传感器确定移动装置的基于混合的姿势的装置可为混合姿势模块119，混合姿势模块119可组合基于视觉的姿势及基于传感器的姿势，或以其它方式基于经俘获图像及惯性传感器数据确定姿势。
尽管出于指导目的结合特定实施例来说明本发明，但本发明不限于此。可在不脱离本发明的范围的情况下进行各种调适及修改。因此，所附权利要求书的精神及范围不应限于前述描述。

Claims (20)

1.一种显示方法，其包括：
通过从每一新图像提取特征并将所提取的特征与参考图像的特征比较来使用经俘获图像确定移动装置的基于视觉的姿势，其中所述基于视觉的姿势为基于由所述移动装置俘获的所述经俘获图像产生的所述移动装置的位置和定向的第一估计；
使用惯性传感器确定所述移动装置的基于传感器的姿势，其中所述基于传感器的姿势为基于来自在所述移动装置中的所述惯性传感器的数据产生的所述移动装置的所述位置和所述定向的第二估计；及
将所述基于视觉的姿势及所述基于传感器的姿势单独地用于视觉化应用程序中，其中将所述基于视觉的姿势及所述基于传感器的姿势单独地用于所述视觉化应用程序中包括基于所述基于视觉的姿势呈现第一图形且基于所述基于传感器的姿势呈现第二图形，且其中所述第一图形和所述第二图形中的至少一者基于所述基于视觉的姿势相对于所述移动装置上的显示器移动。
2.根据权利要求1所述的显示方法，其进一步包括使用所述经俘获图像及所述惯性传感器确定所述移动装置的基于混合的姿势，且将所述基于混合的姿势用于所述视觉化应用程序中。
3.根据权利要求1所述的显示方法，其中将所述基于视觉的姿势及所述基于传感器的姿势用于所述视觉化应用程序中包括呈现单一扩增字符，其中所述第一图形为用于所述单一扩增字符的第一色彩通道，且所述第二图形为用于所述单一扩增字符的第二色彩通道。
4.根据权利要求1所述的显示方法，其中将所述基于视觉的姿势及所述基于传感器的姿势单独地用于所述视觉化应用程序中包括使用所述经俘获图像执行对所述惯性传感器的校准，其中呈现所述第一图形及所述第二图形以执行所述惯性传感器的所述校准。
5.根据权利要求4所述的显示方法，其中基于对所述惯性传感器的所述校准的质量而呈现所述第一图形及所述第二图形，其中对所述惯性传感器的所述校准的所述质量选自由校准准确度、对校准参数的可信度、误差协方差及所述误差协方差的变化组成的群组。
6.根据权利要求4所述的显示方法，其中将所述基于视觉的姿势及所述基于传感器的姿势单独地用于所述视觉化应用程序中包括：
提示用户随所述第一图形及所述第二图形在特定方向上移动所述移动装置，其中在所述特定方向上所述移动装置的移动会加速对所述惯性传感器的所述校准的收敛。
7.根据权利要求1所述的显示方法，其中所述视觉化应用程序为基于所述基于视觉的姿势及所述基于传感器的姿势而在所述移动装置上显示图形的所述移动装置的基于运动的游戏及摄影应用程序中的一者。
8.一种移动装置，其包括：
相机，其俘获环境的图像；
惯性传感器，其响应于所述移动装置的移动而产生数据；
显示器；及
处理器，其耦合到所述显示器、耦合到所述相机以接收所述环境的经俘获图像且耦合到所述惯性传感器以接收响应于所述移动装置的所述移动的所述数据，所述处理器经配置以通过从每一新图像提取特征并将所提取的特征与参考图像的特征比较来使用所述经俘获图像确定所述移动装置的基于视觉的姿势，其中所述基于视觉的姿势为基于所述经俘获图像产生的所述移动装置的位置和定向的第一估计；使用来自所述惯性传感器的所述数据确定所述移动装置的基于传感器的姿势，其中所述基于传感器的姿势为基于来自所述惯性传感器的数据产生的所述移动装置的所述位置和所述定向的第二估计；且使所述显示器基于所述基于视觉的姿势展示第一图形且基于所述基于传感器的姿势展示第二图形，其中所述第一图形和所述第二图形中的至少一者基于所述基于视觉的姿势相对于所述显示器移动。
9.根据权利要求8所述的移动装置，其中所述处理器经进一步配置以使用所述经俘获图像及所述惯性传感器确定所述移动装置的基于混合的姿势，且使所述显示器基于所述基于混合的姿势展示第三图形。
10.根据权利要求8所述的移动装置，其中所述处理器经配置以通过经配置以使所述显示器展示单一扩增字符而使所述显示器基于所述基于视觉的姿势展示所述第一图形且基于所述基于传感器的姿势展示所述第二图形，其中所述第一图形为所述单一扩增字符的第一色彩通道且所述第二图形为所述单一扩增字符的第二色彩通道。
11.根据权利要求8所述的移动装置，其中所述处理器经进一步配置以使用所述基于视觉的姿势及所述基于传感器的姿势校准所述惯性传感器，其中所述处理器经配置以使所述显示器展示所述第一图形及所述第二图形以执行所述惯性传感器的所述校准。
12.根据权利要求11所述的移动装置，其中所述处理器经配置以基于对所述惯性传感器的所述校准的质量而呈现所述第一图形及所述第二图形，其中对所述惯性传感器的所述校准的所述质量选自由校准准确度、对校准参数的可信度、误差协方差及所述误差协方差的变化组成的群组。
13.根据权利要求11所述的移动装置，其中所述处理器经进一步配置以提示用户随所述第一图形及所述第二图形在特定方向上移动所述移动装置，其中在所述特定方向上所述移动装置的所述移动会加速对所述惯性传感器的所述校准的收敛。
14.根据权利要求8所述的移动装置，其中所述处理器经配置以使所述显示器响应于所述移动装置的基于运动的游戏及摄影应用程序中的一者而展示所述第一图形及所述第二图形。
15.一种移动装置，其包括：
用于通过从每一新图像提取特征并将所提取的特征与参考图像的特征比较来使用经俘获图像确定所述移动装置的基于视觉的姿势的装置，其中所述基于视觉的姿势为基于由所述移动装置俘获的所述经俘获图像产生的所述移动装置的位置和定向的第一估计；
用于使用惯性传感器确定所述移动装置的基于传感器的姿势的装置，其中所述基于传感器的姿势为基于来自在所述移动装置中的所述惯性传感器的数据产生的所述移动装置的所述位置和所述定向的第二估计；及
用于将所述基于视觉的姿势及所述基于传感器的姿势单独地用于视觉化应用程序中的装置，其中所述用于将所述基于视觉的姿势及所述基于传感器的姿势单独地用于视觉化应用程序中的装置包括用于基于所述基于视觉的姿势呈现第一图形且基于所述基于传感器的姿势呈现第二图形的装置，且其中所述第一图形和所述第二图形中的至少一者基于所述基于视觉的姿势相对于所述移动装置上的显示器移动。
16.根据权利要求15所述的移动装置，其进一步包括用于使用所述经俘获图像及所述惯性传感器确定所述移动装置的基于混合的姿势的装置，且其中用于将所述基于视觉的姿势及所述基于传感器的姿势单独地用于所述视觉化应用程序中的所述装置进一步使用所述基于混合的姿势。
17.根据权利要求15所述的移动装置，其中用于将所述基于视觉的姿势及所述基于传感器的姿势用于所述视觉化应用程序中的所述装置呈现单一扩增字符，其中所述第一图形为用于所述单一扩增字符的第一色彩通道且所述第二图形为用于所述单一扩增字符的第二色彩通道。
18.根据权利要求15所述的移动装置，其中用于将所述基于视觉的姿势及所述基于传感器的姿势用于所述视觉化应用程序中的所述装置使用所述经俘获图像执行对所述惯性传感器的校准，其中呈现所述第一图形及所述第二图形以执行所述惯性传感器的所述校准。
19.根据权利要求18所述的移动装置，其中用于将所述基于视觉的姿势及所述基于传感器的姿势单独地用于所述视觉化应用程序中的所述装置提示用户随所述第一图形及所述第二图形在特定方向上移动所述移动装置，其中在所述特定方向上所述移动装置的移动会加速对所述惯性传感器的所述校准的收敛。
20.根据权利要求15所述的移动装置，其中所述视觉化应用程序为基于运动的游戏及摄影应用程序中的一者。
CN201380066422.2A 2012-12-21 2013-12-06 分离的基于计算机视觉的姿势与基于惯性传感器的姿势的显示 Active CN104870941B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/725,175 2012-12-21
US13/725,175 US10444845B2 (en) 2012-12-21 2012-12-21 Display of separate computer vision based pose and inertial sensor based pose
PCT/US2013/073511 WO2014099410A1 (en) 2012-12-21 2013-12-06 Display of separate computer vision based pose and inertial sensor based pose

Publications (2)

Publication Number Publication Date
CN104870941A CN104870941A (zh) 2015-08-26
CN104870941B true CN104870941B (zh) 2019-07-19

Family

ID=49817312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380066422.2A Active CN104870941B (zh) 2012-12-21 2013-12-06 分离的基于计算机视觉的姿势与基于惯性传感器的姿势的显示

Country Status (8)

Country Link
US (1) US10444845B2 (zh)
EP (1) EP2936060B1 (zh)
JP (1) JP6285955B2 (zh)
KR (1) KR20150099570A (zh)
CN (1) CN104870941B (zh)
BR (1) BR112015015073A2 (zh)
TW (2) TWI593289B (zh)
WO (1) WO2014099410A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292936B2 (en) * 2013-01-09 2016-03-22 Omiimii Ltd. Method and apparatus for determining location
DE102015203968A1 (de) * 2014-12-12 2016-06-16 Robert Bosch Gmbh Vorrichtung zum Abgleich und Selbsttest von Inertialsensoren und Verfahren
US9594980B1 (en) * 2015-01-19 2017-03-14 Ricoh Co., Ltd. Image acquisition user interface for linear panoramic image stitching
JP6565465B2 (ja) 2015-08-12 2019-08-28 セイコーエプソン株式会社 画像表示装置、コンピュータープログラム、および画像表示システム
US10976343B2 (en) 2015-09-09 2021-04-13 Sony Corporation Sensor device, sensor system, and information processing device
US10104282B2 (en) * 2015-09-30 2018-10-16 Ricoh Co., Ltd. Yaw user interface
US10073531B2 (en) * 2015-10-07 2018-09-11 Google Llc Electronic device pose identification based on imagery and non-image sensor data
CN105719299A (zh) * 2016-01-22 2016-06-29 吉林大学 分离的计算机视觉位置及方向与惯性传感器位置及方向的显示
US10078377B2 (en) 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
JP2017224984A (ja) * 2016-06-15 2017-12-21 セイコーエプソン株式会社 プログラム、装置、キャリブレーション方法
DE102016211244B4 (de) * 2016-06-23 2018-01-18 Kuka Roboter Gmbh Roboter-Bedienhandgerätverbund mit einem Grundsteuerungs-Lagesensor
JP2018009836A (ja) 2016-07-12 2018-01-18 セイコーエプソン株式会社 プログラム、頭部装着型表示装置、キャリブレーション方法
CN112184829A (zh) * 2016-08-29 2021-01-05 华为技术有限公司 一种调整扫描状态的方法及装置
US11163416B2 (en) 2017-04-27 2021-11-02 Magic Leap, Inc. Light-emitting user input device for calibration or pairing
US10365710B2 (en) * 2017-06-23 2019-07-30 Seiko Epson Corporation Head-mounted display device configured to display a visual element at a location derived from sensor data and perform calibration
US10970425B2 (en) * 2017-12-26 2021-04-06 Seiko Epson Corporation Object detection and tracking
GB2573271B (en) * 2018-03-27 2022-04-06 Displaylink Uk Ltd Data transmission to mobile devices
CN111829552B (zh) * 2019-04-19 2023-01-06 北京魔门塔科技有限公司 一种视觉惯性系统的误差修正方法和装置
CN111027438B (zh) * 2019-12-03 2023-06-02 Oppo广东移动通信有限公司 一种人体姿态的迁移方法、移动终端以及计算机存储介质
CN112362084A (zh) * 2020-11-23 2021-02-12 北京三快在线科技有限公司 一种数据标定方法、装置及数据标定系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1711516A (zh) * 2002-11-07 2005-12-21 奥林巴斯株式会社 运动检测装置
CN102834696A (zh) * 2010-01-18 2012-12-19 高通股份有限公司 使用物体来对准和校准惯性导航系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7554578B2 (en) 2000-07-11 2009-06-30 Phase One A/S Digital camera with integrated accelerometers
DE10318500A1 (de) 2003-04-24 2004-11-25 Robert Bosch Gmbh Vorrichtung und Verfahren zur Kalibrierung eines Bildsensors
JP4532856B2 (ja) 2003-07-08 2010-08-25 キヤノン株式会社 位置姿勢計測方法及び装置
JP2005050189A (ja) 2003-07-30 2005-02-24 Canon Inc 画像処理装置およびその方法並びにプログラムコード、記憶媒体
JP4726194B2 (ja) 2005-04-01 2011-07-20 キヤノン株式会社 キャリブレーション方法及び装置
TWI348639B (en) 2005-12-16 2011-09-11 Ind Tech Res Inst Motion recognition system and method for controlling electronic device
TWI341692B (en) 2005-12-26 2011-05-01 Ind Tech Res Inst Online interactive multimedia system and the trasnsmission method thereof
TWI333156B (en) 2007-08-16 2010-11-11 Ind Tech Res Inst Inertia sensing input controller and receiver and interactive system using thereof
US8255161B2 (en) 2008-10-03 2012-08-28 Honeywell International Inc. System and method of auto-calibration of inertial sensors
KR101556150B1 (ko) * 2008-12-31 2015-09-30 엘지전자 주식회사 드럼세탁기
KR101557678B1 (ko) 2009-04-22 2015-10-19 삼성전자주식회사 휴대 단말기의 캘리브레이션 방법 및 장치
US8945720B2 (en) * 2009-08-06 2015-02-03 National Oilwell Varco, L.P. Hard composite with deformable constituent and method of applying to earth-engaging tool
JP5448073B2 (ja) 2010-01-12 2014-03-19 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および、選択対象の選択方法
JP5564300B2 (ja) 2010-03-19 2014-07-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
US8694051B2 (en) 2010-05-07 2014-04-08 Qualcomm Incorporated Orientation sensor calibration
US9052202B2 (en) 2010-06-10 2015-06-09 Qualcomm Incorporated Use of inertial sensor data to improve mobile station positioning
JP5570316B2 (ja) * 2010-06-17 2014-08-13 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US8705909B2 (en) * 2010-07-16 2014-04-22 Ibiden Co., Ltd. Optical interconnect
US9341720B2 (en) 2011-01-11 2016-05-17 Qualcomm Incorporated Camera-based position location and navigation based on image processing
EP2487458A3 (en) * 2011-02-11 2014-11-26 BlackBerry Limited System and method for calibrating a magnetometer with visual affordance
US8912970B1 (en) * 2011-03-18 2014-12-16 The Boeing Company Antenna element with integral faraday cage
US8912979B1 (en) * 2011-07-14 2014-12-16 Google Inc. Virtual window in head-mounted display
US9270885B2 (en) 2012-10-26 2016-02-23 Google Inc. Method, system, and computer program product for gamifying the process of obtaining panoramic images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1711516A (zh) * 2002-11-07 2005-12-21 奥林巴斯株式会社 运动检测装置
CN102834696A (zh) * 2010-01-18 2012-12-19 高通股份有限公司 使用物体来对准和校准惯性导航系统

Also Published As

Publication number Publication date
TW201434315A (zh) 2014-09-01
JP6285955B2 (ja) 2018-02-28
TWI552596B (zh) 2016-10-01
JP2016502210A (ja) 2016-01-21
KR20150099570A (ko) 2015-08-31
EP2936060B1 (en) 2023-10-11
EP2936060C0 (en) 2023-10-11
BR112015015073A2 (pt) 2017-07-11
US20140176418A1 (en) 2014-06-26
US10444845B2 (en) 2019-10-15
TWI593289B (zh) 2017-07-21
WO2014099410A1 (en) 2014-06-26
TW201630405A (zh) 2016-08-16
EP2936060A1 (en) 2015-10-28
CN104870941A (zh) 2015-08-26

Similar Documents

Publication Publication Date Title
CN104870941B (zh) 分离的基于计算机视觉的姿势与基于惯性传感器的姿势的显示
US9576183B2 (en) Fast initialization for monocular visual SLAM
US9224205B2 (en) Accelerated geometric shape detection and accurate pose tracking
US10733798B2 (en) In situ creation of planar natural feature targets
CN108028871A (zh) 移动设备上的无标记的多用户多对象增强现实
US20130135295A1 (en) Method and system for a augmented reality
CN107274450B (zh) 信息处理装置及其控制方法
US20110292166A1 (en) North Centered Orientation Tracking in Uninformed Environments
WO2017126172A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP5774226B2 (ja) 方位センサに基づくホモグラフィ分解の曖昧性の解決
KR20150114141A (ko) 모션 추정 시스템 및 방법
CN107852447A (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
CN112729327A (zh) 一种导航方法、装置、计算机设备及存储介质
CN114120301A (zh) 一种位姿确定方法、装置及设备
CN114185073A (zh) 一种位姿显示方法、装置及系统
US20170069133A1 (en) Methods and Systems for Light Field Augmented Reality/Virtual Reality on Mobile Devices
CN107683496B (zh) 用于3d地图的假设线地图绘制和验证
CN115210762A (zh) 用于重建三维对象的系统和方法
Madsen et al. How wrong can you be: Perception of static orientation errors in mixed reality
CN105719299A (zh) 分离的计算机视觉位置及方向与惯性传感器位置及方向的显示
CN117784987A (zh) 虚拟控制方法、显示设备、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant