CN111164544B - 运动感测 - Google Patents

运动感测 Download PDF

Info

Publication number
CN111164544B
CN111164544B CN201880064168.5A CN201880064168A CN111164544B CN 111164544 B CN111164544 B CN 111164544B CN 201880064168 A CN201880064168 A CN 201880064168A CN 111164544 B CN111164544 B CN 111164544B
Authority
CN
China
Prior art keywords
visual ranging
computing device
visual
ranging
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880064168.5A
Other languages
English (en)
Other versions
CN111164544A (zh
Inventor
罗伯托·洛佩兹·门德斯
达伦·克罗斯福德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ARM Ltd
Original Assignee
ARM Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ARM Ltd filed Critical ARM Ltd
Publication of CN111164544A publication Critical patent/CN111164544A/zh
Application granted granted Critical
Publication of CN111164544B publication Critical patent/CN111164544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种计算设备(2)，例如，通用智能电话或通用平板计算设备，包括一个或多个惯性传感器和图像传感器。设备(2)在由计算设备的用户控制的虚拟现实(VR)会话期间在显示器上产生虚拟环境的立体图像。该设备至少使用从图像传感器接收的图像数据来进行视觉测距，并根据用户在虚拟现实会话期间的活动来选择性地激活和去激活视觉测距。在视觉测距被激活时，该设备至少通过来自视觉测距的位置信息来控制虚拟现实会话。在视觉测距被去激活时，该设备至少通过来自一个或多个惯性传感器的方向信息来控制虚拟现实会话。

Description

运动感测
技术领域
本公开涉及与运动感测有关的由计算机实现的方法，以及能够进行运动感测的计算设备。
背景技术
已知为计算设备提供惯性传感器，例如，惯性测量单元(IMU)，以用于检测设备的方向。来自IMU的输出可用于虚拟现实(VR)应用，以在将设备安装到用户头部时，检测用户头部的方向变化。这允许计算设备向用户提供对虚拟环境的显示，其响应于检测到的用户头部的方向变化而改变。检测用户头部的方向变化(可以称为方向运动感测)因此允许用户控制他们对虚拟环境的观察。
期望允许计算设备不仅检测设备的方向的变化，并且还检测设备的位置的变化，这可以被称为位置运动感测。然后，用户可以通过现实世界的位置运动来在虚拟环境中进行位置移动，而不是经由控制界面通过不太自然的用户输入来移动。
一个挑战是要以足以满足各种应用的精度和/或频率来检测设备的位置，同时节省计算资源和/或功率。由于VR环境生成和图像渲染的巨大需求，因此该挑战对于VR应用更加严峻。这对于在具有相对少量的可用计算资源和/或功率的移动计算设备(例如，通用智能电话和通用平板计算设备)上执行的VR应用是特别的挑战。
发明内容
根据一个方面，提供一种在计算设备中的由计算机实现的方法，该计算设备包括：一个或多个惯性传感器；图像传感器；以及显示器，该方法包括在由计算设备的用户控制的VR会话期间执行以下操作：在显示器上产生虚拟环境的立体图像；至少使用从图像传感器接收的图像数据进行视觉测距；根据用户在VR会话期间的活动来选择性地激活和去激活视觉测距；在视觉测距被激活时，至少通过来自视觉测距的位置信息来控制VR会话；以及在视觉测距被去激活时，至少通过来自一个或多个惯性传感器的方向信息来控制VR会话。
根据另一方面，提供了一种在计算设备中的由计算机实现的方法，该计算设备包括：一个或多个惯性传感器；以及图像传感器，该方法包括：至少使用从图像传感器接收的图像数据进行视觉测距；根据计算设备的用户的活动来选择性地去激活视觉测距；以及在视觉测距被去激活时，从一个或多个惯性传感器接收计算设备的位置运动的数据特性，并响应于接收到的数据来激活视觉测距。
根据另一方面，提供了一种计算设备，其包括：一个或多个惯性传感器；图像传感器；显示器；数据存储装置，包括计算机可执行指令；以及一个或多个处理器，其被配置为执行该指令，以使得计算设备在由计算设备的用户控制的VR会话期间执行以下操作：在显示器上产生虚拟环境的立体图像；至少使用从图像传感器接收的图像数据进行视觉测距；根据用户在VR会话期间的活动来选择性地激活和去激活视觉测距；在视觉测距被激活时，至少通过来自视觉测距的位置信息来控制VR会话；以及在视觉测距被去激活时，至少通过来自一个或多个惯性传感器的方向信息来控制VR会话。
根据另一方面，提供了一种计算设备，其包括：一个或多个惯性传感器；图像传感器；数据存储装置，包括计算机可执行指令；以及一个或多个处理器，其被配置为执行该指令，以使得计算设备执行以下操作：至少使用从图像传感器接收的图像数据进行视觉测距；根据用户的活动来选择性地去激活视觉测距；以及在视觉测距被去激活时，从一个或多个惯性传感器接收计算设备的位置运动的数据特性，并响应于接收到的数据来激活视觉测距。
进一步的方面和特征从参考附图仅作为示例给出的以下描述将变得明显。
附图说明
图1是根据示例的头戴式计算设备的示意图；以及
图2是根据示例的计算设备的特征的示意图。
具体实施方式
参考附图，示例的细节从以下描述将变得明显。在本说明书中，出于解释的目的，阐述了某些示例的许多具体细节。说明书中对“示例”或类似语言的引用意味着结合该示例所描述的特定特征、结构、或特性至少包括在该一个示例中，但不一定包括在其他示例中。还应当注意，示意性地描述了某些示例，其中某些特征被省略和/或必要地简化，以便于解释和理解示例的概念。
参考图1，本文描述的示例提供了通用智能电话或通用平板计算设备形式的计算设备2。该设备可以是AndroidTM或Apple iOSTM设备。
本文描述的示例包括独立头戴设备(headset)4，计算设备可以可移除地安装到该头戴设备4。
计算设备2包括第一后置图像传感器6，例如，广角鱼眼照相机。还提供了第二后置图像传感器8，例如，以配备有红外辐射发射器的红外照相机的形式，以在视野中实现对物体的结构光或飞行时间深度感测。可以替代地使用深度感测的其他方法，例如，使用两个照相机输出的立体深度感测。还提供了第三后置图像传感器10，例如，用于常规拍照的窄角相机。至少第一后置图像传感器6被用于将图像数据输出到视觉测距系统，如将在下面进一步详细描述的。视觉测距可以是单眼的。可以提供另外的广角鱼眼照相机(未示出)，以用于立体视觉测距。在任何情况下，第二图像传感器8和第三图像传感器10的输出都可以用作视觉测距的补充输入。
计算设备2包括一个或多个惯性传感器，例如，IMU 12。应当理解，以下对IMU 12的引用可以包括对一个或多个IMU的引用。每个IMU可包括一组三个正交安装的陀螺仪、一组三个正交安装的加速度计、和/或一组三个正交安装的磁力计中的一个或多个。每个IMU可以向设备的视觉测距系统和/或VR系统报告方向数据的三个自由度(DoF)、位置数据的三个DoF、或两者(在这种情况下，报告数据的六个DoF)，如将在下面进一步详细描述的。根据六个DoF中的每一个的当前位置和方向可以被称为姿态。
独立头戴设备4包括安装机构14，例如，机械夹子，通过该安装机构14可以将计算设备可移除地安装到头戴设备4。安装机构14不覆盖计算设备的后部，以便为三个图像传感器6、8和10(尤其是用于视觉测距的(一个或多个)图像传感器)提供无障碍前向视图。
一个或多个独立手持控制设备(未示出)可以例如通过无线配对与计算设备2相关联，这允许用户进行手动用户输入。该用户输入可用于例如启动VR会话、在VR会话期间提供代表用户活动的输入、以及结束VR会话。
计算设备包括具有计算机可执行指令的数据存储装置，以及一个或多个处理器，例如，中央处理单元(CPU)、图形处理单元(GPU)、和/或其他处理器，它们可以被组合为片上系统(SoC)或组合在多个SoC上，以形成一个或多个应用处理器。
在示例中，以一个或多个软件和/或硬件模块的形式在设备上提供VR系统。当VR应用正在运行时，可以通过来自VR应用的操作系统命令来访问VR系统。VR系统可以是例如安装在设备上的Google DaydreamTM或Samsung Gear VRTM兼容操作系统的一部分。在由计算设备的用户的现实世界移动控制生成的VR会话期间，计算设备上的VR系统针对视频帧序列中的每一帧渲染单个图像，包括显示屏上的虚拟环境的两个并行立体图像。当用户在虚拟环境中移动时，VR应用和/或VR系统还可以向用户提供音频输出和/或其他输出，例如，触觉输出。可以使用VR游戏开发平台(例如，UnityTM游戏开发平台)来开发VR应用。
VR会话可以通过用户启动VR应用以进入虚拟环境而在计算设备上开始，并且可以通过用户关闭VR应用来结束。替代地，VR会话可以通过在启动VR应用之后，用户进入虚拟环境而在计算设备上开始，并且可以通过在用户关闭VR应用的同时或之前，用户退出虚拟环境来结束。在VR会话期间，在虚拟环境中的移动由角色控制器来控制，该角色控制器表示计算设备2的用户在虚拟环境中的视图。角色控制器的运动，即角色控制器在虚拟环境中的姿态变化，是通过由设备感测计算设备2在现实世界中的方向和位置运动来实现的，并且可选地或替代地，通过经由与计算设备2相关联的独立控制设备的用户输入来实现。可以检测该设备的现实世界姿态，并且可以相应地控制虚拟环境中的运动，以便可以在虚拟环境中使用相似或相同的虚拟世界姿态。替代地，可以禁用计算设备2的现实世界姿态的一个或多个特性，并且可以相应地控制虚拟环境中的运动。现实世界姿态可以在VR会话期间选择性地使用。可以使用恒定或可变缩放因子来将在现实世界中检测到的位置运动缩放为虚拟世界中的位置运动。当使用缩放时，缩放因子优选地大于一，使得例如用户在现实世界中的小步长被缩放为用户在虚拟环境中的大步长。在VR会话期间，缩放因子可以例如通过经由独立控制器的用户输入而改变。
以一个或多个软件和/或硬件模块的形式在计算设备2上提供视觉测距系统。视觉测距系统至少使用从图像传感器接收到的图像数据进行视觉测距。视觉测距至少部分地通过处理从计算设备2上的一个或多个图像传感器(在一个示例中为图像传感器6)接收到的图像数据来执行。通常在逐帧捕获的基础上接收图像数据，以识别由图像传感器捕获的现实世界环境中的特征，并在设备在现实世界环境中移动时，跟踪图像传感器相对于那些特征的运动。视觉测距可以是视觉惯性测距，其中，图像传感器数据被来自至少一个惯性传感器(例如，设备上的IMU)的数据补充或融合。视觉测距系统可以被实现为多种已知的视觉测距算法中的任何一种，并且例如可以由安装在计算设备2上的增强现实(AR)平台(例如，GoogleTangoTM、Google ARCoreTM或Apple ARKitTM)提供。。
计算设备2包括前向显示屏(未示出)，例如，高分辨率有源矩阵有机发光二极管(AMOLED)显示屏，在VR会话期间，在其上并行显示立体VR图像。
该设备被配置为至少在VR会话期间，根据用户在VR会话期间的活动来选择性地激活和去激活视觉测距，而继续通过IMU 12检测方向和/或位置运动。当角色控制器在虚拟环境中采取位置静止姿态时，可以去激活视觉测距，而继续通过IMU 12检测计算设备2的现实世界方向和/或位置运动。当角色控制器状态变为其中可能有位置运动的状态，可以重新激活视觉测距，而继续通过IMU 12检测方向和/或位置运动，并将其用于补充或融合视觉测距数据。来自IMU 12的输出可以用于进行视觉惯性测距。
可以基于其发生激活和去激活的用户活动包括监测头戴设备2的现实世界位置运动、和/或在VR会话期间经由独立控制设备的用户输入。
可以使用视觉测距来检测头戴设备2的位置运动中的减慢或停止。替代地或另外地，这可以通过使用来自IMU的输出来检测，其可以提供位置运动中的这种减慢或停止的测量特性。例如，这可以响应于代表位置变化率低于阈值的测量特性而被检测到。作为响应，去激活视觉测距，而可以继续使用IMU 12来检测方向和/或位置。在这种状态下，IMU 12的方向检测可用于控制角色控制器在虚拟环境中的方向，而IMU 12的位置变化检测可用于控制重新激活其中角色控制器在虚拟环境中进行位置移动的状态，以及触发视觉测距的相应的重新激活。
此外，或在替代示例中，可以向用户提供通过经由控制器的用户输入而激活的选项，以用于角色控制器采取位置静止姿态。在这种状态下，可以继续通过现实世界方向运动检测来确定虚拟环境中的方向。该状态例如可以由用户在虚拟环境中的特定位置和/或区域、和/或在整个虚拟环境中发起(通过不同形式的用户输入)。作为响应，视觉测距被去激活，而可以继续使用IMU 12来检测方向和/或位置。在这种状态下，IMU 12的方向运动检测可用于控制角色控制器在虚拟环境中的方向，而IMU 12的位置变化检测可用于控制重新激活其中角色控制器在虚拟环境中进行位置移动的状态，以及触发视觉测距的相应的重新激活。
此外，或在另一替代示例中，虚拟环境可以包括位置和/或区域，由于用户活动而到达这些位置和/或区域，其中，角色控制器自动停止，即保持位置静止。作为响应，视觉测距被去激活，而可以继续使用IMU 12来检测方向和/或位置。在这种状态下，IMU 12的方向运动检测可用于控制角色控制器在虚拟环境中的方向，而IMU 12的位置运动检测可用于控制重新激活其中角色控制器在虚拟环境中进行位置移动的状态，以及触发视觉测距的相应的重新激活。
在采取位置静止姿态之后，可以随后重新激活角色控制器在虚拟环境中的位置运动，这可以相应地重新激活视觉测距。然后，视觉测距系统被用于精确地检测设备在现实世界中的运动，其可用于控制角色控制器在虚拟环境中的运动，至少直到进一步的用户活动指示角色控制器再次采取位置静止姿态为止置。
可以通过检测头戴设备2的位置运动的增加来触发重新激活角色控制器在虚拟环境中的位置运动。例如，这可以使用来自IMU的输出来检测，其可以提供位置运动的这种增加的测量特性。例如，这可以响应于代表位置变化率上升到阈值之上的测量特性被检测到，该阈值可以不同于用于检测上述位置运动的减慢或停止的阈值。作为响应，视觉测距被重新激活，而可以继续使用IMU 12来检测方向和/或位置。在这种状态下，IMU 12和/或视觉测距系统的方向检测可用于控制角色控制器在虚拟环境中的方向，而IMU 12和/或视觉测距系统的位置运动检测可用于控制角色控制器在虚拟环境中的位置运动。
替代地或另外，可以通过经由独立控制设备的用户输入来触发重新激活角色控制器在虚拟环境中的位置运动。作为响应，视觉测距被重新激活，而可以继续使用IMU 12来检测方向和/或位置。在这种状态下，IMU 12和/或视觉测距系统的方向检测可用于控制角色控制器在虚拟环境中的方向，而IMU 12和/或视觉测距系统的位置运动检测可用于控制角色控制器在虚拟环境中的位置运动。
当视觉测距在VR会话期间被激活时，VR会话至少由来自视觉测距的位置信息来控制，并且当视觉测距在VR会话期间被去激活时，VR会话至少由来自一个或多个惯性传感器的方向信息来控制。因此，第一示例的计算设备允许VR会话根据用户活动来选择性地利用视觉测距。这可以改善设备的操作，从而允许设备减少其计算资源和/或功率需求。
用户活动可以激活和/或去激活视觉测距系统的方式可以包括从VR应用接收用户活动引起的命令。这样的命令可以间接地由用户活动引起，并且可以由虚拟环境中的运动触发，该虚拟环境中的运动是由于检测到用户在现实世界中的运动、和/或经由独立控制设备的用户输入而引起的。
图2是根据VR会话期间计算设备和数据流的特征的示例的示意图。图像捕获设备20和IMU 22各自将相应的输出数据提供给视觉惯性测距系统24。
图像捕获设备20以一系列视频帧的形式将图像数据提供给视觉惯性测距系统24，以进行特征跟踪以允许视觉惯性测距系统24确定位置运动，以及可选地方向运动。
IMU 22以至少方向运动的数据特性的形式以及可选地还以位置运动的数据特性的形式，将感测运动数据提供给视觉惯性测距系统24，以允许视觉惯性测距系统24利用从IMU 22的输出导出的方向运动以及可选地位置运动来补充或融合将其视觉数据。
视觉惯性测距系统24向VR系统26提供指示位置运动以及可选地方向运动的数据，以用于如上所述确定角色控制器在VR会话期间的运动。VR系统26进而以输出视频帧序列的形式将输出图像提供给显示屏26，并将(一个或多个)其他输出提供给(一个或多个)其他输出设备30，例如，将音频输出提供给扬声器和/或将触觉输出提供给触觉单元等。
当视觉惯性测距系统24被激活和去激活时，相应地，图像传感器20也可以被同步地开启和关闭，以便在VR会话期间节省更多的计算资源和/或功率。
IMU 22还以至少方向运动的数据特性的形式以及可选地还以位置运动的数据特性的形式，将感测运动数据提供给VR系统26，以用于如上所述确定角色控制器在VR会话期间的运动。当视觉惯性测距系统24被去激活时，IMU 22继续向VR系统26提供感测运动数据。
在进一步的示例中，VR系统26可以从远离计算设备的一个或多个独立传感器设备接收补充的位置和/或方向运动数据，并使用来自这些独立传感器设备的输入来控制VR会话。例如，它们可能是佩戴在用户身体的除头部之外的其他部位的附加可穿戴IMU。当与其他用户共享VR环境时，这使得关于这些身体部位的位置和/或方向姿态信息能够被发送。这样的补充数据可以被发送到其他用户，以允许用户身体的除头部之外的部位的运动在这些其他用户的相应VR会话中被呈现给他们。补充数据可以在用户在共享虚拟环境中具有位置静止姿态时发送，并且可以在视觉测距系统未激活时提供。
以上示例应被理解为说明性示例。设想进一步的示例。在上述示例中，在整个VR会话中实现根据用户活动来激活和去激活视觉惯性测距系统24。这还可以根据设备或VR应用本身的资源和/或功率节省需求来实现。设备或VR应用可以发出发起资源和/或功率节省模式的命令。当发出该命令时，设备从其中视觉惯性测距系统24在整个VR会话中保持激活的模式更改为资源和/或功率节省模式，其中，在VR会话期间实现根据用户活动来激活和去激活视觉惯性测距系统24。
在上述示例中，计算设备是通用智能电话或通用平板计算设备，其对功率和/或资源具有特定约束，并且需要独立头戴设备安装。然而，示例还涉及特定于VR的多合一头戴设备。
此外，示例不限于VR系统，并且可以例如在增强现实(AR)系统或其他基于位置的系统中使用。在这样的示例中，惯性传感器被用于控制视觉测距系统的激活和/或去激活，并且提供了一种计算设备，该计算设备包括：一个或多个惯性传感器；图像传感器；数据存储装置，包括计算机可执行指令；以及一个或多个处理器，其被配置为执行指令，以使得计算设备执行以下操作：至少使用从图像传感器接收的图像数据进行视觉测距；根据用户的活动来选择性地去激活视觉测距；以及在视觉测距被去激活时，从一个或多个惯性传感器接收计算设备的位置运动的数据特性，并响应于接收到的数据来激活视觉测距。
注意，关于以上示例，可以通过这些图像传感器中的多个来进行视觉测距。此外，一些视觉测距可以独立于其他视觉测距来进行。示例包括根据用户活动来激活和去激活与一个图像传感器相关联的视觉测距，但继续与其他图像传感器相关联的视觉测距。这种激活和去激活一些(但不是全部)视觉测距的示例可以产生资源和/或功率节省，同时在整个VR会话中保持至少一些视觉测距功能。
应当理解，关于任何一个示例描述的任何特征可以单独地使用，或者与所描述的其他特征结合使用，并且还可以与任何其他示例，或者任何其他示例的任意组合的一个或多个特征结合使用。此外，在不脱离所附权利要求的范围的情况下，还可以采用上面未描述的等同和修改。

Claims (14)

1.一种在计算设备中的由计算机实现的方法，所述计算设备包括：
一个或多个惯性传感器；
图像传感器；以及
显示器，
所述方法包括在由所述计算设备的用户控制的虚拟现实会话期间执行以下操作：
在所述显示器上产生虚拟环境的立体图像；
至少使用从所述图像传感器接收的图像数据进行视觉测距；
根据所述用户在所述虚拟现实会话期间的活动来选择性地激活和去激活所述视觉测距，其中，选择性地激活和去激活所述视觉测距包括检测由于所述用户的运动活动而产生的所述计算设备的位置运动，其中当位置运动的变化率低于去激活阈值时发生视觉测距的去激活，并且其中当位置运动的变化率高于激活阈值时发生视觉测距的激活；
在所述视觉测距被激活时，至少通过来自所述视觉测距的位置信息来控制所述虚拟现实会话；以及
在所述视觉测距被去激活时，至少通过来自所述一个或多个惯性传感器的方向信息来控制所述虚拟现实会话。
2.根据权利要求1所述的方法，其中，选择性地激活和去激活所述视觉测距包括：
接收来自生成所述虚拟环境的虚拟现实应用的命令，所述命令是根据所述虚拟现实会话期间的用户活动而生成的；以及
响应于接收到的所述命令，选择性地激活和/或去激活所述视觉测距。
3.根据权利要求1所述的方法，其中，选择性地激活和去激活所述视觉测距包括：在所述虚拟现实会话期间接收来自所述用户的输入，并且响应于接收到的用户输入，选择性地激活和/或去激活所述视觉测距。
4.根据权利要求3所述的方法，其中，所述用户输入是从与所述计算设备分离的用户输入设备接收的。
5.根据权利要求1所述的方法，其中，所述视觉测距包括视觉惯性测距，并且其中，所述方法包括：至少使用从所述图像传感器接收的图像数据以及来自所述一个或多个惯性传感器中的至少一个惯性传感器的所述计算设备的位置运动的数据特性，来进行视觉惯性测距。
6.根据任一前述权利要求所述的方法，其中，所述视觉测距包括基于对从所述图像传感器接收的图像数据的逐帧分析的特征跟踪。
7.根据权利要求1、2、3、4、或5所述的方法，其中，所述图像传感器包括鱼眼镜头照相机。
8.根据权利要求1、2、3、4、或5所述的方法，其中，所述计算设备包括通用智能电话或通用平板设备。
9.根据权利要求1、2、3、4、或5所述的方法，其中，所述一个或多个惯性传感器包括一个或多个惯性测量单元。
10.根据权利要求1、2、3、4、或5所述的方法，包括：接收补充位置数据，所述补充位置数据至少包括来自与所述计算设备分离的一个或多个传感器设备的位置信息；以及在视觉测距被激活时，根据接收到的所述补充位置数据来控制所述虚拟现实会话。
11.根据权利要求1、2、3、4、或5所述的方法，包括：与在所述虚拟现实会话期间根据所述用户的活动来选择性地激活和去激活所述视觉测距相对应地，选择性地激活和去激活所述图像传感器。
12.一种在计算设备中的由计算机实现的方法，所述计算设备包括：
一个或多个惯性传感器；以及
图像传感器，
所述方法包括：
至少使用从所述图像传感器接收的图像数据进行视觉测距；
根据所述计算设备的用户的活动来选择性地去激活所述视觉测距，其中，选择性地去激活所述视觉测距包括检测由于所述用户的运动活动而产生的所述计算设备的位置运动，并且其中当位置运动的变化率低于去激活阈值时发生视觉测距的去激活；以及
在所述视觉测距被去激活时，从所述一个或多个惯性传感器接收所述计算设备的位置运动的数据特性，并响应于接收到的数据来激活所述视觉测距，其中当位置运动的变化率高于激活阈值时发生视觉测距的激活。
13.一种计算设备，所述计算设备包括：
一个或多个惯性传感器；
图像传感器；
显示器；
数据存储装置，包括计算机可执行指令；以及
一个或多个处理器，被配置为执行所述指令，以使得所述计算设备在由所述计算设备的用户控制的虚拟现实会话期间执行以下操作：
在所述显示器上产生虚拟环境的立体图像；
至少使用从所述图像传感器接收的图像数据进行视觉测距；
根据所述用户在所述虚拟现实会话期间的活动来选择性地激活和去激活所述视觉测距，其中，选择性地激活和去激活所述视觉测距包括检测由于所述用户的运动活动而产生的所述计算设备的位置运动，其中当位置运动的变化率低于去激活阈值时发生视觉测距的去激活，并且其中当位置运动的变化率高于激活阈值时发生视觉测距的激活；
在所述视觉测距被激活时，至少通过来自所述视觉测距的位置信息来控制所述虚拟现实会话；以及
在所述视觉测距被去激活时，至少通过来自所述一个或多个惯性传感器的方向信息来控制所述虚拟现实会话。
14.一种计算设备，所述计算设备包括：
一个或多个惯性传感器；
图像传感器；
数据存储装置，包括计算机可执行指令；以及
一个或多个处理器，被配置为执行所述指令，以使得所述计算设备执行以下操作：
至少使用从所述图像传感器接收的图像数据进行视觉测距；
根据用户的活动来选择性地去激活所述视觉测距，其中，选择性地去激活所述视觉测距包括检测由于所述用户的运动活动而产生的所述计算设备的位置运动，并且其中当位置运动的变化率低于去激活阈值时发生视觉测距的去激活；以及
在所述视觉测距被去激活时，从所述一个或多个惯性传感器接收所述计算设备的位置运动的数据特性，并响应于接收到的数据来激活所述视觉测距，其中当位置运动的变化率高于激活阈值时发生视觉测距的激活。
CN201880064168.5A 2017-10-02 2018-09-07 运动感测 Active CN111164544B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1716052.4 2017-10-02
GB1716052.4A GB2567012B (en) 2017-10-02 2017-10-02 Motion Sensing
PCT/GB2018/052552 WO2019069044A1 (en) 2017-10-02 2018-09-07 MOTION DETECTION

Publications (2)

Publication Number Publication Date
CN111164544A CN111164544A (zh) 2020-05-15
CN111164544B true CN111164544B (zh) 2024-04-19

Family

ID=60270121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880064168.5A Active CN111164544B (zh) 2017-10-02 2018-09-07 运动感测

Country Status (4)

Country Link
US (1) US11164386B2 (zh)
CN (1) CN111164544B (zh)
GB (1) GB2567012B (zh)
WO (1) WO2019069044A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659075B (zh) * 2019-09-20 2021-01-15 歌尔光学科技有限公司 基于pc端的虚拟现实设备加载模块的方法及设备
US11210519B2 (en) * 2020-01-15 2021-12-28 Trimble Inc. Providing augmented reality images to an operator of a machine
US11789266B1 (en) 2020-06-29 2023-10-17 Snap Inc. Dynamic sensor selection for visual inertial odometry systems
US11533351B2 (en) * 2020-09-24 2022-12-20 Apple Inc. Efficient delivery of multi-camera interactive content
US11722540B2 (en) 2020-09-24 2023-08-08 Apple Inc. Distributed encoding
US11652878B2 (en) * 2020-11-30 2023-05-16 Arm Limited Extended-reality system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104364823A (zh) * 2012-06-14 2015-02-18 高通股份有限公司 视觉辅助惯性相机姿势估计与仅基于视觉的相机姿势估计之间的自适应性切换
CN104603865A (zh) * 2012-05-16 2015-05-06 丹尼尔·格瑞贝格 一种由移动中的用户佩戴的用于通过锚定虚拟对象充分增强现实的系统
CN105940429A (zh) * 2013-12-30 2016-09-14 谷歌技术控股有限责任公司 用于确定设备运动的估计的方法和系统
CN107003512A (zh) * 2014-12-30 2017-08-01 索尼互动娱乐股份有限公司 用于虚拟现实的头戴式显示器中的扫描显示系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8725273B2 (en) * 2010-02-17 2014-05-13 Irobot Corporation Situational awareness for teleoperation of a remote vehicle
US9401048B2 (en) * 2013-03-15 2016-07-26 Qualcomm Incorporated Methods and apparatus for augmented reality target detection
US20150116316A1 (en) * 2013-10-28 2015-04-30 Brown University Virtual reality methods and systems
WO2015123774A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. System and method for augmented reality and virtual reality applications
US9626802B2 (en) * 2014-05-01 2017-04-18 Microsoft Technology Licensing, Llc Determining coordinate frames in a dynamic environment
EP3159123A4 (en) * 2014-06-17 2018-08-08 Yujin Robot Co., Ltd. Device for controlling driving of mobile robot having wide-angle cameras mounted thereon, and method therefor
DE102014217843A1 (de) * 2014-09-05 2016-03-10 Martin Cudzilo Vorrichtung zum Vereinfachen der Reinigung von Oberflächen und Verfahren zum Erfassen geleisteter Reinigungsarbeiten
WO2017005614A1 (en) * 2015-07-03 2017-01-12 Essilor International (Compagnie Generale D'optique) Methods and systems for augmented reality
US9298283B1 (en) * 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
US10037085B2 (en) * 2015-12-21 2018-07-31 Intel Corporation Techniques for real object and hand representation in virtual reality content
US10908694B2 (en) * 2016-02-01 2021-02-02 Microsoft Technology Licensing, Llc Object motion tracking with remote device
US10388071B2 (en) * 2016-03-25 2019-08-20 Sony Interactive Entertainment Inc. Virtual reality (VR) cadence profile adjustments for navigating VR users in VR environments
KR102659803B1 (ko) * 2016-04-14 2024-04-23 삼성전자주식회사 촬영 방법 및 이를 지원하는 전자 장치
US9998847B2 (en) * 2016-11-17 2018-06-12 Glen A. Norris Localizing binaural sound to objects
KR20180099182A (ko) * 2017-02-28 2018-09-05 엘지전자 주식회사 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
US10747301B2 (en) * 2017-03-28 2020-08-18 Magic Leap, Inc. Augmented reality system with spatialized audio tied to user manipulated virtual object
US10720125B2 (en) * 2017-07-24 2020-07-21 Intel Corporation Method and system of wireless data transmission for virtual or augmented reality head mounted displays
US11064178B2 (en) * 2018-06-16 2021-07-13 Artisense Corporation Deep virtual stereo odometry
US10948297B2 (en) * 2018-07-09 2021-03-16 Samsung Electronics Co., Ltd. Simultaneous location and mapping (SLAM) using dual event cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104603865A (zh) * 2012-05-16 2015-05-06 丹尼尔·格瑞贝格 一种由移动中的用户佩戴的用于通过锚定虚拟对象充分增强现实的系统
CN104364823A (zh) * 2012-06-14 2015-02-18 高通股份有限公司 视觉辅助惯性相机姿势估计与仅基于视觉的相机姿势估计之间的自适应性切换
CN105940429A (zh) * 2013-12-30 2016-09-14 谷歌技术控股有限责任公司 用于确定设备运动的估计的方法和系统
CN107003512A (zh) * 2014-12-30 2017-08-01 索尼互动娱乐股份有限公司 用于虚拟现实的头戴式显示器中的扫描显示系统

Also Published As

Publication number Publication date
GB2567012B (en) 2021-05-12
GB2567012A (en) 2019-04-03
CN111164544A (zh) 2020-05-15
US11164386B2 (en) 2021-11-02
WO2019069044A1 (en) 2019-04-11
US20200226840A1 (en) 2020-07-16
GB201716052D0 (en) 2017-11-15

Similar Documents

Publication Publication Date Title
CN111164544B (zh) 运动感测
US10911818B2 (en) Electronic device and method for controlling the same
WO2016031105A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US9547412B1 (en) User interface configuration to avoid undesired movement effects
US11733956B2 (en) Display device sharing and interactivity
WO2018208458A1 (en) Application of edge effects to 3d virtual objects
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20230132644A1 (en) Tracking a handheld device
CN115104134A (zh) 联合的红外及可见光视觉惯性对象跟踪
JP7103354B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11320896B2 (en) Systems and methods for object tracking using fused data
US20240045515A1 (en) Electronic device for tracking objects
US11527049B2 (en) Method and device for sketch-based placement of virtual objects
US20220261085A1 (en) Measurement based on point selection
US11468611B1 (en) Method and device for supplementing a virtual environment
KR20180055637A (ko) 전자 장치 및 그의 제어 방법
US20240103611A1 (en) Method and Device for Waking a Computing System
US11715220B1 (en) Method and device for depth sensor power savings
US11983316B2 (en) Method and device for managing attention accumulators
US20230376109A1 (en) Image processing apparatus, image processing method, and storage device
EP4102325A1 (en) Method and system for collecting field operation situation and facility information
US20230215098A1 (en) Method and system for creating and storing map target
US20240219998A1 (en) Method And Device For Dynamic Sensory And Input Modes Based On Contextual State
US20240112303A1 (en) Context-Based Selection of Perspective Correction Operations
WO2023009318A1 (en) Method and device for enabling input modes based on contextual state

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant