CN107533369B - 带有外围装置的手套指尖的磁性跟踪 - Google Patents

带有外围装置的手套指尖的磁性跟踪 Download PDF

Info

Publication number
CN107533369B
CN107533369B CN201680022763.3A CN201680022763A CN107533369B CN 107533369 B CN107533369 B CN 107533369B CN 201680022763 A CN201680022763 A CN 201680022763A CN 107533369 B CN107533369 B CN 107533369B
Authority
CN
China
Prior art keywords
interface object
glove
glove interface
activation
electromagnets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680022763.3A
Other languages
English (en)
Other versions
CN107533369A (zh
Inventor
S.奥斯曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN107533369A publication Critical patent/CN107533369A/zh
Application granted granted Critical
Publication of CN107533369B publication Critical patent/CN107533369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof

Abstract

本发明提供了一种方法,其包括:激活定位在手套接口对象上的多个手套发射器;使用定位在所述手套接口对象的指尖部分处的多个接近传感器来确定所述指尖部分与所述手套发射器的接近度;响应于确定所述手套接口对象的位置在外围装置的预定义距离内,激活定位在所述外围装置处的多个外围发射器;以及从使用所述接近传感器来确定所述指尖部分与所述手套发射器的所述接近度转变到使用所述接近传感器来确定所述指尖部分与所述外围发射器的接近度。

Description

带有外围装置的手套指尖的磁性跟踪
相关申请
本申请涉及2015年4月15日申请的标题为“Magnetic Tracking of GloveFingertips”的美国申请号14/687,527,以及2014年10月17日申请的标题为“GloveInterface Object”的美国申请号14/517,741以及2014年10月17日申请的标题为“ThumbController”的美国申请号14/517,733,其公开内容以引用方式并入本文。
技术领域
本发明涉及手套指尖的磁性跟踪以及相关联的方法和系统。
背景技术
相关技术描述
多年来,视频游戏行业发生了很多变化。随着计算能力的扩大,视频游戏的开发者也开发出利用这些计算能力的提升的游戏软件。为此,视频游戏开发者已经编写了包含复杂操作和数学的游戏,以产生非常逼真的游戏体验。
示例性游戏平台可能是Sony
Figure GDA0002471287160000011
Sony
Figure GDA0002471287160000012
(PS2)、Sony
Figure GDA0002471287160000013
(PS3)和Sony
Figure GDA0002471287160000014
(PS4),其中每一个都以游戏机的形式出售。众所周知,游戏机被设计为连接到监视器(通常是电视机),并通过手持式控制器实现用户交互。游戏机设计有专门的处理硬件,包括CPU、用于处理密集图形操作的图形合成器、用于执行几何变换的向量单元以及其他胶质硬件、固件和软件。游戏机进一步设计有光盘托盘,用于通过游戏机接收用于本地播放的游戏光盘。在线游戏也是可以的,其中用户可通过互联网对抗或与其他用户进行交互游戏。随着游戏复杂性继续吸引玩家,游戏和硬件制造商不断创新,以实现额外的交互和计算机程序。
计算机游戏行业的增长趋势是开发增加用户和游戏系统之间的交互的游戏。实现更丰富的交互体验的一种方式是使用移动被游戏系统跟踪的无线游戏控制器以便跟踪玩家的移动并将这些移动用作游戏的输入。一般而言,手势输入是指使诸如计算系统、视频游戏机、智能电器等电子装置对由玩家作出并被电子装置捕获的某一手势作出反应。
实现更加沉浸式的交互体验的另一种方法是使用头戴式显示器。头戴式显示器由用户佩戴,并且可被配置为呈现各种图形,诸如虚拟空间的视图。呈现在头戴式显示器上的图形可覆盖用户的大部分或甚至全部视野。因此,头戴式显示器可向用户提供视觉上沉浸式的体验。
行业的另一个增长趋势涉及开发基于云的游戏系统。这样的系统可包括执行游戏应用并且与本地瘦客户端进行通信的远程处理服务器,所述本地瘦客户端可被配置为从用户接收输入并在显示器上渲染视频。
在此背景下,产生了本发明的实施方案。
发明内容
本发明的实施方案提供手套指尖的磁性跟踪以及相关联的方法和系统。
广泛地说,提供跟踪指尖和指关节的磁性跟踪系统以创建捕获手/手指姿势的输入装置。在一个实施方案中,许多磁性传感器(例如,霍尔效应传感器)被放置在手上(例如,每个指尖一个),并且三个空间上分离的电磁体被放置在手腕上。可依次循环电磁体,以允许传感器从每一个获得单独的读数,并且然后可使用每个传感器的三个读数来计算指尖相对于手腕的三维(3D)位置。考虑到指尖的3D位置,则可使用逆运动学来将手指的姿势(例如,识别哪个指关节弯曲和弯曲的量)减少到一个可能的构型(或几个几乎相同的构型)。此外,磁性发射器可放置在诸如物理控制器装置的其他装置中,并且可与指尖传感器一起使用以确定它们相对于这些装置的姿势,以显示手和装置之间的正确的相互作用(例如,用户可被提供显示他们的手抓握控制器装置的显示渲染)。
在一个实施方案中,提供了一种手套接口对象,其包括:定位在手套接口对象的手腕区域处的多个电磁体;分别定位在手套接口对象的指尖区域处的多个磁性传感器,其中每个磁性传感器被配置为当每个电磁体被激活时产生指示距离每个电磁体的距离的数据;控制器,其被配置为以时分复用布置控制电磁体的激活和磁性传感器的读取,其中在单个电磁体的激活期间读取所述磁性传感器中的每一个;传输器,其被配置为将从所述磁性传感器的读取获得的数据传输到计算装置,用于处理以产生表示虚拟手的姿势的数据,所述虚拟手能够渲染在呈现在头戴式显示器上的虚拟环境中。
在一个实施方案中,时分复用布置由电磁体的重复激活模式限定,所述重复激活模式在单独的时间周期期间提供每个电磁体的激活,并且在一个给定的电磁体的激活时间周期期间读取每个磁性传感器。
在一个实施方案中,多个电磁体限定以非共线布置定位在手腕区域上的至少三个电磁体。
在一个实施方案中,多个磁性传感器限定分别定位在手套接口对象的五个指尖区域处的五个磁性传感器。
在一个实施方案中,多个磁性传感器中的每一个被配置为响应于由一个电磁体产生的磁场而产生电压。
在一个实施方案中,手套接口对象还包括:被配置为基于交互式环境中对手套接口对象的捕获图像的分析进行跟踪的照亮的可跟踪对象,所述照亮的可跟踪对象的跟踪限定虚拟手在虚拟环境中的位置。
在一个实施方案中,手套接口对象还包括:至少一个惯性传感器,其选自由加速度计、陀螺仪和磁力计组成的组。
在另一个实施方案中,提供了一种方法,其包括:串联地激活和去激活定位在手套接口对象的手腕部分处的多个电磁体,以便限定基本上不重叠的每个电磁体的激活周期;在激活每一个电磁体的过程中,使用多个磁性传感器感测由被激活的电磁体产生的磁场的强度,多个磁性传感器分别定位在手套接口对象的指尖部分处;处理感测的磁场强度以产生从所感测的磁场强度导出的数据;将从感测到的磁场强度导出的数据发送到计算装置,用于处理产生的表示虚拟手的姿势的数据,所述虚拟手能够渲染在头戴式显示器上呈现的虚拟环境中,使得虚拟手的姿势基本上类似于手套接口对象的物理姿势。
在一个实施方案中,处理感测的磁场强度包括确定从每个磁性传感器到每个电磁体的距离,以及基于所确定的距离来确定每个磁性传感器与多个电磁体的相对位置。
在一个实施方案中,限定虚拟手的姿势的处理包括处理每个磁性传感器的相对位置以限定在虚拟手上的对应的虚拟手指的姿势。
在一个实施方案中,多个电磁体包括以非共线布置定位在手套接口对象的手腕部分上的至少三个电磁体。
在一个实施方案中,给定的磁性传感器与多个电磁体的相对位置由半径的交点限定,所述半径具有由每个电磁体限定的原点和由从给定磁性传感器到每个电磁体的确定的距离限定的量值。
在一个实施方案中,串行激活和去激活多个电磁体限定电磁体激活周期的重复周期。
在一个实施方案中,多个磁性传感器中的每一个被配置为响应于由一个电磁体产生的磁场而产生电压。
在另一个实施方案中,提供了一种方法,其包括:激活定位在手套接口对象的手腕部分上的第一电磁体,所述第一电磁体的激活产生第一磁场;测量手套接口对象的多个指尖部分中的每一个处的第一磁场的强度;去激活第一电磁体;激活定位在手套接口对象的手腕部分上的第二电磁体,第二电磁体的激活产生第二磁场;测量手套接口对象的多个指尖部分中的每一个处的第二磁场的强度;去激活第二电磁体;激活定位在手套接口对象的手腕部分上的第三电磁体,第三电磁体的激活产生第三磁场;测量手套接口对象的多个指尖部分中的每一个处的第三磁场的强度;去激活第三电磁体;对于手套接口对象的每个指尖部分,基于在指尖部分处测量的第一、第二和第三磁场的强度来产生指示指尖部分的位置的位置数据;将位置数据发送到计算装置用于处理以产生表示虚拟手的配置的数据,所述虚拟手能够渲染在头戴式显示器上呈现的虚拟环境中,使得虚拟手的配置基本上类似于手套接口对象的物理配置。
在一个实施方案中,激活和去激活第一电磁体限定执行第一磁场强度的测量的第一电磁体的激活周期;其中第二电磁体的激活和去激活限定执行第二磁场的强度的测量的第二电磁体的激活周期;其中第三电磁体的激活和去激活限定执行第三磁场的强度的测量的第三电磁体的激活周期;其中第一、第二和第三电磁体的激活周期基本上不重叠。
在一个实施方案中,所述方法还包括:周期性地执行方法的每个操作,以便在虚拟手的配置和手套接口对象的物理配置之间提供实时对应。
在一个实施方案中,给定的指尖部分的位置由半径的交点限定,所述半径具有由每个电磁体限定的原点和由从所测量的磁场强度确定的从给定的指尖部分到每个电磁体的距离限定的量值。
在一个实施方案中,第一、第二和第三电磁体以非共线布置定位在手套接口对象的手腕部分上。
在一个实施方案中,测量多个指尖部分中的每一个处的磁场强度由定位在多个指尖部分处的霍尔效应传感器执行。
在另一个实施方案中,提供了一种方法,其包括:使用图像捕获装置来捕获交互式环境的图像;处理所捕获的图像以跟踪交互式环境中手套接口对象上的可跟踪对象的位置,所述可跟踪对象的跟踪位置限定虚拟手在虚拟环境中的位置;从定位在手套接口对象的指尖部分的多个接近传感器接收手指接近度数据,所述手指接近度数据指示距离定位在手套接口对象上的多个发射器中的每一个的距离;处理接近度数据以识别指尖部分相对于发射器的位置;应用指尖部分的位置来限定虚拟环境中虚拟手的虚拟手指的姿势,以在头戴式显示器上渲染。
在一个实施方案中,接收手指接近度数据由按时分复用布置的发射器的激活和接近传感器的读取限定,其中在单个发射器的激活期间读取每个接近传感器,其中时分复用布置由发射器的重复激活模式限定,所述重复激活模式在单独的时间周期期间提供每个发射器的激活,以及在激活一个给定发射器的时间周期期间提供每个接近传感器的读取。
在一个实施方案中,多个发射器限定以非共线布置定位在手套接口对象的手腕部分上的至少三个电磁体。
在一个实施方案中,多个接近传感器限定分别定位在手套接口对象的五个指尖部分处的五个磁性传感器。
在一个实施方案中,可跟踪对象被照亮以促进识别所捕获的图像。
在一个实施方案中,所述方法还包括:从限定在手套接口对象上的取向传感器接收取向数据;处理取向数据以限定虚拟环境中的虚拟手的取向。
在一个实施方案中,取向传感器选自由加速度计、陀螺仪和磁力计组成的组。
在另一个实施方案中,提供了一种方法,其包括:激活定位在手套接口对象上的多个手套发射器;使用定位在手套接口对象的指尖部分处的多个接近传感器来确定指尖部分与手套发射器的接近度;响应于确定手套接口对象的位置在外围装置的预定义距离内,激活定位在外围装置处的多个外围发射器;以及从使用接近传感器来确定指尖部分与手套发射器的接近度转变到使用接近传感器来确定指尖部分与外围发射器的接近度。
在一个实施方案中,转变包括终止手套发射器的激活。
在一个实施方案中,激活手套发射器限定手套发射器的循环激活序列,其中在给定手套发射器的单个激活时间周期期间,从每个接近传感器读取接近度数据。
在一个实施方案中,确定手套接口对象的位置在外围装置的预定义距离内包括处理交互式环境的捕获图像数据,以识别手套接口对象的位置和外围装置的位置。
在一个实施方案中,确定手套接口对象的位置包括激活外围装置上的次级外围发射器,以及使用接近传感器来确定指尖部分与次级外围发射器的接近度;并且其中转变包括终止次级外围发射器的激活。
在一个实施方案中,手套发射器定位在手套接口对象的手腕部分处。
在一个实施方案中,手套发射器和外围发射器由电磁体限定,并且接近传感器由磁性传感器限定。
在另一个实施方案中,提供了一种用于与交互式应用介接的系统,所述系统包括:手套接口对象,所述手套接口对象包括多个手套发射器;定位在所述手套接口对象的指尖部分处的多个接近传感器,所述接近传感器被配置为指示指尖部分到手套发射器的接近度;手套控制器,其被配置为控制多个手套发射器的激活和接近传感器的读取;以及外围装置,所述外围装置包括:多个外围发射器;外围控制器,其被配置为响应于确定手套接口对象的位置在外围装置的预定义距离内激活所述外围发射器;其中接近传感器进一步响应于确定手套接口对象的位置在预定义距离内,而从指示指尖部分到手套发射器的接近度转变到指示指尖部分到外围发射器的接近度。
在一个实施方案中,手套控制器被配置为响应于确定手套接口对象的位置在预定义距离内,而终止手套发射器的激活。
在一个实施方案中,手套控制器被配置为限定手套发射器的循环激活序列,其中在给定的手套发射器的单个激活时间周期期间,从每个接近传感器读取接近度数据。
在一个实施方案中,外围装置还包括次级外围发射器,其中外围控制器被配置为控制次级外围发射器的激活,所述外围发射器用于确定手套接口对象的位置;其中手套控制器被配置为读取接近传感器以确定指尖部分与限定手套接口对象的位置的次级外围发射器的接近度;并且其中外围控制器被配置为进一步响应于确定手套接口对象的位置在预定义距离内,而终止次级外围发射器的激活。
在一个实施方案中,手套发射器定位在手套接口对象的手腕部分处。
在一个实施方案中,手套发射器和外围发射器由电磁体限定,并且接近传感器由磁性传感器限定。
根据以下结合附图进行的、通过举例说明本发明的原理的详细描述,本发明的其他方面将变得明显。
附图说明
参考以下结合附图进行的描述,可最好地理解本发明,其中:
图1示出了根据本发明的实施方案的用于视频游戏的交互式游戏的系统。
图2示出了根据本发明的实施方案的头戴式显示器(HMD)。
图3概念性地示出了根据本发明的实施方案的结合执行的视频游戏的HMD的功能。
图4A示出了根据本发明的实施方案的上面限定有多个发射器和接近传感器的手套接口对象。
图4B示出了根据本发明的实施方案的上面限定有多个接近传感器的手套接口对象。
图5是概念性地示出根据本发明的实施方案的按时分复用布置进行的手套接口对象的若干发射器和传感器的操作的图示。
图6示出了若干图,其示出了根据本发明的实施方案的向手套接口对象的各种电磁体的功率的施加。
图7示出了根据本发明的实施方案的配置用于与外围装置一起使用的手套接口对象。
图8示出了根据本发明的实施方案的配置为与键盘外围装置交互的一对手套接口对象。
图9示出了根据本发明的实施方案的具有远距离和近距离发射器的外围装置,所述发射器被配置为提供具有接近传感器的一个或多个手套接口对象的粗跟踪和精细跟踪。
图10A和图10B示意性地示出了根据本发明的实施方案的用于使用手套接口对象与交互式应用介接的系统。
图11示出了根据本发明的实施方案的手套接口对象的部件。
图12示出了根据本发明的实施方案的头戴式显示器的部件。
图13是根据本发明的各种实施方案的游戏系统的方框图。
具体实施方式
以下实施方案提供手套接口对象和相关联的系统、方法和设备。
在一个实施方案中,方法、系统、图像捕获对象、传感器和相关联的接口对象(例如,手套)被配置为处理数据,所述数据被配置为基本上实时渲染在显示屏幕上。例如,当用户的手改变位置(例如,手移动,手指弯曲,多个手指弯曲,手指触摸其他手指和/或作出手势)时,位置的变化被配置为基本上实时显示在显示器上。
显示器可为头戴式显示器(HMD)的显示器、第二屏幕的显示器、便携式装置的显示器、计算机显示器、显示器面板、远程连接的用户(例如,可能正在观看内容或以交互式体验共享的用户)的显示器等。在一些实施方案中,用户的手的捕获位置、所感测的压力、触摸的手指和/或手/手指手势用于在视频游戏、虚拟世界场景、共享虚拟空间、视频游戏角色、作为真实世界用户的扩展的角色中交互,或者简单地提供触摸、保持、播放、介接或接触显示屏幕上显示的虚拟对象或与文档、文本、图像等相关联的对象的方式。
在其他实施方案中,虚拟手套可在多用户游戏中由多个用户佩戴。在这样的示例中,每个用户可使用一个或两个手套。使用云游戏系统、网络装置和/或社交网络协作空间,用户可共同定位或在远程位置处介接在共享空间或共享游戏中。在一些实施方案中,一个或多个远程用户可使用手套以协作的方式进行交互以检查文档、屏幕、应用、图表、商业信息等。在这种实施中,协作的用户可使用他们的手套来触摸对象、移动对象、与表面介接、按压对象、挤压对象、投掷对象、作出手势动作或运动等。
在协作期间,一个用户的手的移动可对另一个用户显示,就好像真实的用户手在协作空间中移动事物、对象或作出动作一样。仍然在协作环境中,如果两个远程用户正在检查文档,那么佩戴手套的用户可指向虚拟页面上的事物,在虚拟白板上指点并绘制,提起并移动虚拟纸张,握手,移动物品等。在一些协作环境中,一个或多个用户可能正佩戴着HMD。当HMD与一个或多个手套(例如,一个或多个用户佩戴)结合使用时,用户可看到他们可使用他们的手进行协作的虚拟环境,诸如移动对象、页面、对象,在虚拟键盘上打字,移动虚拟页面,点击事物,按压事物等。
因此,应当理解,如以下的手套的使用可提供广泛的用途:包括一个或多个传感器,和/或可检测压力,和/或可检测手指的弯曲位置,和/或可检测取向,和/或可检测惯性移动等。示例性用途,但无限制,可能包括视频游戏、娱乐活动、体育相关活动、旅游和探索相关活动、人与人之间的联系(例如,远程用户的握手)、商业活动、机器人控制(例如,机器人手术)等。在一个实施中,由手套接口提供的这种类型的交互性可被扩展到另外的传感器,所述传感器可与人体的其他部位(例如,臂、腿、脚等)附接或相关联。除了手套,还设想不同类型的衣服,例如,夹克衫、裤子、鞋子、帽子等。
然而,对于本领域技术人员将明显的是,可在没有这些具体细节中的一些或全部的情况下实践本发明。在其他情况下,为了不会不必要地使本发明模糊,没有详细描述众所周知的处理操作。
图1示出了根据本发明的实施方案的用于视频游戏的交互式游戏的系统。示出了佩戴头戴式显示器(HMD)102的用户100。HMD 102以类似于眼镜、护目镜或头盔的方式佩戴,并且被配置为向用户100显示视频游戏或其他内容。HMD 102凭借其使显示机构非常靠近用户眼睛而向用户提供了非常沉浸的体验。因此,HMD 102可向占用用户的大部分或甚至整个视野的用户的眼睛中的每只提供显示区域。
在一个实施方案中,HMD 102可连接到计算机106。与计算机106的连接可为有线的或无线的。计算机106可为本领域中已知的任何通用或专用计算机,包括但不限于游戏机、个人计算机、膝上型计算机、平板计算机、移动装置、蜂窝电话、平板计算机、瘦客户端、机顶盒、媒体流式传输装置等。在一个实施方案中,计算机106可被配置为执行视频游戏,并且从视频游戏输出视频和音频以由HMD 102渲染。
用户100可操作手套接口对象104以提供用于视频游戏的输入。此外,相机108可被配置为捕获用户100所在的交互式环境的图像。可分析这些捕获的图像以确定用户100、HMD102和手套接口对象104的位置和移动。在一个实施方案中,手套接口对象104包括可被跟踪以确定其位置和取向的灯。此外,HMD 102可包括可被跟踪以确定HMD 102的位置和取向的一个或多个灯。相机108可包括一个或多个麦克风来捕获来自交互式环境的声音。可处理由麦克风阵列捕获的声音以识别声源的位置。可选择性地利用或处理来自识别位置的声音,以排除不是来自所识别的位置的其他声音。此外,相机108可被限定为包括多个图像捕获装置(例如,立体相机对)、IR相机、深度相机以及它们的组合。
在另一个实施方案中,计算机106用作通过网络与云游戏提供商112通信的瘦客户端。云游戏提供商112维护和执行正由用户102播放的视频游戏。计算机106将来自HMD 102、手套接口对象104和相机108的输入传输到云游戏提供商,所述云游戏提供商处理输入以影响执行的视频游戏的游戏状态。来自执行的视频游戏的输出,诸如视频数据、音频数据和触觉反馈数据,被传输到计算机106。计算机106可在传输之前进一步处理数据,或者可将数据直接传输到相关装置。例如,将视频和音频流提供给HMD 102,而振动反馈命令提供给手套接口对象104。
在一个实施方案中,HMD 102、手套接口对象104和相机108本身可为连接到网络110以与云游戏提供商112通信的网络装置。例如,计算机106可为本地网络装置,诸如路由器,其不以其他方式执行视频游戏处理,但促进网络流量的通过。HMD 102、手套接口对象104和相机108与网络的连接可为有线的或无线的。
此外,尽管可参考头戴式显示器描述本公开中的实施方案,但是应当理解,在其他实施方案中,非头戴式显示器可被替换,包括但不限于电视机、投影仪、LCD显示屏、便携式装置屏幕(例如平板计算机、智能电话、膝上型计算机等)或根据本实施方案的可被配置为渲染视频和/或提供用于显示交互式场景或虚拟环境的任何其他类型的显示器。
图2示出了根据本发明的实施方案的头戴式显示器(HMD)。如图所示,HMD 102包括多个灯200A-H。这些灯中的每一个可被配置为具有特定的形状,并且可被配置为具有相同或不同的颜色。灯200A、200B、200C和200D布置在HMD 102的前表面上。灯200E和200F布置在HMD 102的侧表面上。并且灯200G和200H布置在HMD 102的拐角处,以便跨越HMD 102的前表面和侧表面。应当理解,可在用户使用HMD 102的交互式环境的捕获图像中识别灯。基于灯的识别和跟踪,可确定HMD 102在交互式环境中的位置和取向。还应当理解,取决于HMD 102相对于图像捕获装置的特定取向,一些灯可能可见或可能不可见。此外,取决于HMD 102相对于图像捕获装置的取向,灯的不同部分(例如,灯200G和200H)可被暴露用于图像捕获。
在一个实施方案中,灯可被配置为向附近的其他人指示HMD的当前状态。例如,一些或全部灯可被配置为具有特定的颜色布置、强度布置,被配置为闪烁,具有特定的开/关配置,或指示HMD 102的当前状态的其他布置。举例来说,灯可被配置为显示在视频游戏的主动游戏(通常在活动时间线期间或在游戏场景内发生的游戏)期间的不同配置对比视频游戏的其他非活动游戏方面,诸如导航菜单界面或配置游戏设置(在此期间,游戏时间线或场景可能处于非活动或暂停状态)。灯也可能被配置为指示游戏的相对强度水平。例如,当游戏强度增加时,灯的强度或闪烁速率可能增加。以这种方式,用户外部的人可查看HMD102上的灯,并且理解用户正在积极地进行激烈的游戏,并且可能不希望在那一刻受到干扰。
HMD 102可另外包括一个或多个麦克风。在所示实施方案中,HMD 102包括限定在HMD 102的前表面上的麦克风204A和204B以及限定在HMD 102的侧表面上的麦克风204C。通过使用麦克风阵列,可处理来自每个麦克风的声音以确定声源的位置。这个信息可以各种方式使用,包括排除不想要的声源、声源与视觉识别的相关联等。
HMD 102还可包括一个或多个图像捕获装置。在所示实施方案中,HMD 102被示为包括图像捕获装置202A和202B。通过利用立体的图像捕获装置对,可从HMD 102的角度捕获环境的三维(3D)图像和视频。这样的视频可呈现给用户,以在佩戴HMD 102的同时向用户提供“视频观看”能力。也就是说,尽管严格意义上用户不能看透HMD 102,但是由图像捕获装置202A和202B捕获的视频可提供能够看到HMD 102外部的环境的功能等同物,就像通过HMD102查看。这样的视频可用虚拟元素进行增强以提供增强的现实体验,或可以其他方式与虚拟元素组合或混合。尽管在所示实施方案中,示出了两个相机在HMD 102的前表面上,但是应当理解,可在HMD 102上安装任何数量的以任何方向取向的面向外部的相机。例如,在另一个实施方案中,可存在安装在HMD 102的侧面上的相机,以提供环境的附加全景图像捕获。
图3概念性地示出了根据本发明的实施方案的结合执行的视频游戏的HMD 102的功能。执行的视频游戏由接收输入以更新视频游戏的游戏状态的游戏引擎320限定。视频游戏的游戏状态可至少部分通过限定当前游戏的各个方面的视频游戏的各种参数的值来限定,诸如对象的存在和位置、虚拟环境的条件、触发事件、用户简档、视图视角等。
在所示实施方案中,举例来说,游戏引擎接收控制器输入314、音频输入316和运动输入318。可根据与HMD 102分离的游戏控制器的操作来限定控制器输入314,诸如手持式游戏控制器(例如,Sony
Figure GDA0002471287160000151
4无线控制器、Sony
Figure GDA0002471287160000152
Move运动控制器)或手套接口对象104。举例来说,控制器输入314可包括根据游戏控制器的操作处理的方向输入、按钮按压、触发激活、移动、手势或其他类型的输入。可从HMD 102的麦克风302或者从包括在图像捕获装置108或本地环境中的其他地方中的麦克风处理音频输入316。运动输入318可从包括在HMD 102中的运动传感器300,或者在图像捕获装置108捕获HMD 102的图像时从图像捕获装置108处理。游戏引擎320接收根据游戏引擎的配置处理的输入,以更新视频游戏的游戏状态。游戏引擎320将游戏状态数据输出到处理游戏状态数据以限定将呈现给用户的内容的各种渲染模块。
在所示实施方案中,视频渲染模块322被限定为渲染用于呈现在HMD 102上的视频流。视频流可由显示器/投影仪机构310呈现,并且由用户的眼睛306通过光学器件308观看。音频渲染模块304被配置为渲染供用户收听的音频流。在一个实施方案中,音频流通过与HMD 102相关联的扬声器304输出。应当理解,扬声器304可采用露天扬声器、耳机或能够呈现音频的任何其他类型的扬声器的形式。
在一个实施方案中,注视跟踪相机312包括在HMD 102中以使得能够跟踪用户的注视。注视跟踪相机捕获用户眼睛的图像,分析所述图像以确定用户的注视方向。在一个实施方案中,可利用关于用户的注视方向的信息来影响视频渲染。例如,如果用户的眼睛被确定为在特定方向上观看,则对该方向的视频渲染可被优先化或强调,诸如通过在用户正在观看的区域中提供更多细节或更快的更新。应当理解,用户的注视方向可相对于头戴式显示器、相对于用户所在的真实环境和/或相对于正在头戴式显示器上渲染的虚拟环境来限定。
广义地说,注视跟踪相机312捕获的图像的分析在单独考虑时,提供用户相对于HMD 102的注视方向。然而,当与HMD 102的跟踪位置和取向结合考虑时,可确定用户的现实世界注视方向,因为HMD 102的位置和取向与用户头部的位置和取向同义。也就是说,可由跟踪用户的眼睛的位置移动以及跟踪HMD 102的位置和方向来确定用户的现实世界注视方向。当虚拟环境的视图渲染在HMD 102上时,可应用用户的现实世界注视方向来确定虚拟环境中的用户的虚拟世界注视方向。
此外,触觉反馈模块326被配置为向包括在HMD 102或由用户操作的另一装置(诸如控制器104)中的触觉反馈硬件提供信号。触觉反馈可能采取各种触觉的形式,诸如振动反馈、温度反馈、压力反馈等。
如上所述,本文描述的HMD装置能够为用户提供高度沉浸的体验,包围用户视野的大部分或甚至全部。鉴于HMD体验的这个沉浸的方面,期望向用户提供直观的控制机制,特别是当用户可能无法看到他们自己的手或者他们所握持的对象(例如控制器)时。因此,根据本文所述的本发明的实施方案,为手套接口对象提供了方法、设备和系统。
贯穿本公开,参考手套接口对象和用户的手,包括手指、手掌和手的其他部分。为了便于本公开的描述和可读性,本领域技术人员将理解,手套接口对象和用户的手(和/或其部分)在许多情况下可互换地和/或替代地引用。也就是说,由用户的手限定的活动(例如,姿势、位置、移动、取向、位置、动作等)也与佩戴在用户的手上的手套接口对象相关,因为手套接口对象被配置为检测或促进检测用户的手的活动。因此,出于描述性目的来利用与用户的手相关的语言来讨论本公开中的某些方面可能是方便的。然而,将容易理解的是,手套接口对象佩戴在用户的手上,并且这可应用或实际上由手套接口对象限定,这是本领域技术人员根据描述的上下文明白的。
图4A示出了根据本发明的实施方案的上面限定有多个发射器和接近传感器的手套接口对象。如图所示,手套接口对象400包括各个手指部分,包括拇指部分402a、和食指部分402b、中指部分402c、无名指部分402d和小拇指/小指部分402e。多个接近传感器基本上被限定在手套接口对象400的指尖部分/区域处。也就是说,接近传感器被限定在手套接口对象400的手指部分的对应于或接收用户手指的远端指骨部分的端部部分上/中或以其他方式限定在端部部分处或其附近。在一些实施中,指尖部分/区域对应于远端指骨的某个远端部分(例如,远端的一半、远端的三分之一、远端的四分之一等),而在其他实施中,指尖部分/区域对应于整个远端指骨。手指的指尖部分/区域可包括手指的顶部、底部、侧面和/或端部和/或其任何子组合。在所示实施方案中,接近传感器404a、404b、404c、404d和404e分别限定在拇指部分402a、食指部分402b、中指部分402c、无名指部分402d和小指部分402e的指尖/端部处。此外,接近传感器406限定在手套接口对象400的后部或手掌部分上。接近传感器被配置为产生指示与多个发射器422a、422b和422c中的每一个的距离/接近度的数据。
在所示实施中,发射器限定在手套接口对象400的手腕部分424处。在一些实施中,手腕部分424被限定为佩戴手套接口对象400时围绕用户手腕的手链。手腕部分424被配置为相对于用户的手腕/前臂保持基本上静止的(例如,具有稳定的取向),即使在手套接口对象400的其余部分(诸如手指部分和手掌部分)根据佩戴手套接口对象400的用户的手的移动而移动时。通过将手腕部分424相对于用户的手腕/前臂维持在基本上稳定的取向上,则发射器也将相对于手腕/前臂保持在基本上稳定的取向上,使得指尖部分相对于发射器的接近度可始终被跟踪发射器,并可靠地指示用户的指尖与他/她的手腕/前臂的接近度。
在一些实施中,手腕部分424被配置为定位在用户前臂的远端部分上。如本文所使用,除了包括手腕的中心部分的手腕关节之外,术语“手腕”还可包括前臂的远端部分。尽管前臂的远端部分经受内旋和旋后移动,但是不受由手腕关节辅助的手的其他移动的影响,诸如包括径向偏差和尺骨偏差的边缘移动,或屈曲移动,诸如手掌屈曲和背屈/伸展。这样,通过将手腕部分424固定到前臂的远端部分,限定在腕部部分424处的发射器可用作参考位置,促进检测由于上述由手腕关节辅助的手移动而引起的变化。
在各种实施中,手腕部分424可通过任何已知的装置、构造或方法固定到用户的手腕/前臂(例如,前臂的远侧端部/远侧部分),所述装置、构造或方法提供手腕部分424的安全放置,使得手腕部分424的位置/取向基本上不受用户的手/手指相对于用户前臂的远侧端部/部分的移动的影响。在一些实施方案中,手腕部分424包括用于将手腕部分固定到用户的手腕/前臂的弹性带。在一些实施方案中,手腕部分424包括用于将手腕部分424固定到用户的手腕/前臂的扣环、带扣、系结物、条带或其他机构。在一些实施方案中,机构可以是可调整的,以适应不同大小的手腕/前臂。在一些实施方案中,手腕部分424的内表面由提供与用户的手腕/前臂的皮肤摩擦以防止手腕部分424滑动的材料限定。在一些实施方案中,内表面可包括被配置为防止滑动的三维表面结构或图案,诸如肋纹、凹坑等。
在一些实施中,发射器由电磁体限定,并且接近传感器由诸如霍尔效应传感器的磁性传感器限定。一般来说,霍尔效应传感器是响应于磁场改变其输出电压的换能器。霍尔效应传感器可由电流通过其中的矩形p型半导体材料(例如,砷化镓、锑化铟、砷化铟)组成。当传感器放置在磁场内时,磁通线施加使电荷载流子(电子和空穴)偏转到半导体板条的任一侧的力。电荷载流子的运动,由它们经历通过半导体材料的磁力而引起,导致电荷载流子的积聚,从而产生半导体材料的两侧之间的电势差。输出电压(霍尔电压)与通过半导体材料的磁场的强度成比例。霍尔效应传感器是可用于检测磁场的磁性传感器的一个示例。在其他实施方案中,可利用能够检测和测量磁场的其他类型的磁性传感器。
在一些实施中,发射器由超声波发射器限定,并且接近传感器由能够检测超声频率的麦克风限定。在一些实施中,发射器由RF发射器限定,并且接近传感器由RF检测器限定。应当理解,在各种实施方案中,发射器和接近传感器可由发射信号的发射器和能够检测所述信号的接近传感器的任何组合来限定,其中接近传感器基于检测到的信号产生数据,所述数据指示接近传感器与发射器的接近度/距离。从广义上讲,本文所讨论的实施方案是根据由诸如霍尔效应传感器之类的磁性传感器限定的电磁体和接近传感器限定的发射器来描述的。然而,应当理解,在其他实施方案中,在不脱离本公开的范围的情况下,可代替其他类型的发射器和接近传感器来实现相同或类似的功能。
手套接口对象400包括被配置为控制接近传感器和发射器的操作的控制器408。在所示实施方案中,控制器408被限定为手腕部分424的部分,尽管在其他实施方案中,控制器408(或其任何特定子部件)可位于手套接口对象400上或中的不同位置。在一个实施方案中,控制器408包括各种部件,诸如用于提供操作控制器以及接近传感器和发射器的电力的电源410、用于使用外部计算装置诸如游戏机来传输和接收数据的有线/无线收发器412、用于执行程序指令的处理器414、用于存储数据和程序指令的存储器416、用于控制发射器的操作的发射器控制器418和用于控制接近传感器的操作的传感器控制器420。
在一些实施中,控制器408被配置为以时分复用布置来控制发射器的激活和接近传感器的读取。也就是说,发射器被串联激活和去激活,以为每个发射器限定单独的激活周期。在给定发射器的每个激活周期期间,可读取每个接近传感器以获得指示每个接近传感器与当前被激活的给定发射器的接近度/距离的传感器数据。通过考虑下面的具体示例将更清楚地理解时分复用布置。
继续参考图4A,在一些实施中,利用用于控制发射器和接近传感器的以下时分复用布置。在第一时间周期期间,第一发射器422a被激活,并且读取每个接近传感器;在继第一时间周期之后的第二时间周期期间,激活第二发射器422b,并且第二次读取每个接近传感器;并且在继第二时间周期之后的第三时间周期期间,激活第三发射器422c,并且第三次读取每个接近传感器。发射器的这种激活序列可以循环方式重复以限定发射器的激活周期的循环/序列。应当理解,在一些实施中,给定发射器的每个激活时间周期基本上不包括用于其他发射器的其他激活时间周期。换句话说,发射器的激活时间周期基本上彼此不重叠。然而,应当理解,在一些实施方案中,在发射器的激活之间可能存在重叠。例如,当一个发射器被去激活时,下一个发射器可被同时激活,并且因此两个发射器的激活时间周期之间的重叠可能存在(例如,可能由电磁体的线圈的电感引起)。在一些实施中,这种布置可被配置为基本上不重叠,其中给定发射器被排他激活的时间基本上大于其与另一个发射器重叠的时间,并且接近传感器的读取在这个排他激活时间期间发生。在其他实施中,所述布置可被配置为基本上重叠。应当理解,在各种实施方案中,重叠的量可改变,前提是发射器的激活序列使每个发射器在不同时间被排他激活,因为在每个发射器的排他激活时间期间读取接近传感器。
例如,在其中发射器包括电磁体并且接近传感器包括诸如霍尔效应传感器的磁性传感器的实施中,则一个电磁体的去激活可与另一个电磁体的同时激活重合或重叠。以这种方式,在电磁体的激活/去激活时间期间节省时间,以便最小化从一个电磁体的激活状态转变到下一个电磁体的激活状态所花费的时间量。应当理解,在这类实施中,重要的是提供彼此排他的每个电磁体的激活周期,使得当在这样的激活周期期间读取霍尔效应传感器时,每个电磁体的磁场基本上不彼此干扰。
在一些实施中,发射器具有非共线布置。也就是说,并不是所有的发射器都基本上沿着单条线限定。举例来说,继续参考图4A,在一个实施方案中,发射器被布置在手套接口对象400的手腕部分424上,以便定位成围绕用户手腕的配置。参考横截面A示出了这种布置,其示出了当手套接口对象400佩戴在用户手上时以围绕用户手腕的非共线布置设置在手腕部分424中的发射器422a、422b和422c。
在一些实施中,存在以非共线布置布置的至少三个发射器。通过使至少三个发射器呈非共线布置,然后通过确定从给定的接近传感器到每个发射器的距离,然后可确定给定的接近传感器相对于发射器的特定位置。确定给定的接近传感器相对于发射器的位置所需的具体计算对于本领域技术人员将是明显的,并且因此这里不再详细讨论。然而,广义地说,这样的确定需要确定从每个发射器限定的线段的交点,其中每个线段具有在所述发射器中的一个处限定的一个端点和在交点处限定的另一个端点。线段具有由给定的接近传感器与每个发射器的接近度/距离所限定的长度,这是由给定的接近传感器产生的数据确定的。换句话说,给定的接近传感器相对于发射器的位置由具有由发射器的位置限定的原点和由每个发射器与给定的接近传感器的距离限定的量值的半径的交点限定。
举例来说,参考图4A,位于手套接口对象400的食指部分402b的端部处的食指接近传感器404b的位置可以下列方式来限定。在每个发射器的激活周期期间,读取食指接近传感器404b,并且可确定从接近传感器404B到每个发射器的距离。可限定具有位于第一发射器422a处的原点和由食指接近传感器404b到第一发射器422a的距离所限定的量值的第一半径。可限定具有位于第二发射器422b处的原点和由食指接近传感器404b到第二发射器422b的距离所限定的量值的第二半径。可限定具有位于第三发射器422c处的原点和由食指接近传感器404b到第三发射器422c的距离所限定的量值的第三半径。基于这个信息,食指接近传感器相对于发射器的位置可被限定为第一、第二和第三半径的交点。对于本领域技术人员将明显的是,可应用类似程序来确定其他接近传感器相对于发射器的位置。
如所示实施方案所示,接近传感器设置在手套接口对象的指尖处。根据所讨论的原理,可使用这些接近传感器中的每一个来确定手套接口对象的指尖相对于发射器的位置。应当理解,在其他实施中,另外的接近传感器可位于手套接口对象上或手套接口对象内,并且这样可用于确定手套接口对象的特定部分相对于发射器的具体位置。举例来说,接近传感器406被示出为定位在手套接口对象的手背部分或手掌部分上。接近传感器406可用于确定手套接口对象的手背部分或手掌部分的位置,并且从而还指示通过弯曲用户手腕的移动辅助的用户的手的屈曲和偏离。
图4B示出了根据本发明的实施方案的上面限定有多个接近传感器的手套接口对象。在所示实施方案中,除了限定在手套接口对象400的指尖部分处的接近传感器404a-e之外,还存在沿着手套接口对象的手指部分定位以在佩戴手套接口对象时与用户的手的手指关节重合的接近传感器。这些包括:接近传感器430a-d,其定位成与远端指节间关节重合;接近传感器432a-e,其定位成与近端指节间关节重合;以及接近传感器434a-e,其定位成与掌指关节重合。通过在佩戴手套接口对象400时提供与用户的手的关节重合的接近传感器,则可高精度地确定用户的手的姿势。
图5是概念性地示出根据本发明的实施方案的按时分复用布置进行的手套接口对象的若干发射器和传感器的操作的图。为了讨论本实施方案的目的,发射器由多个电磁体M1、M2和M3组成。然而,在其他实施方案中,可利用其他类型的发射器来实现类似的效果。类似地,在本实施方案中,多个磁性传感器S1、S2、S3、S4和S5限定在手套接口对象的手指部分上(例如,指尖处)。在其他实施方案中,可存在能够检测来自发射器的发射的任何类型的传感器。
在第一时间周期T1期间,电磁体M1被排他激活。也就是说,在第一时间周期T1期间,电磁体M1处于激活状态,而电磁体M2和M3处于去激活状态。在此激活时间周期T1期间,读取传感器S1、S2、S3、S4和S5中的每一个。在继第一时间周期T1之后的第二时间周期T2期间,电磁体M2被排他激活,使得电磁体M2处于激活状态,而电磁体M1和M3处于去激活状态。在第二时间周期T2期间,读取传感器S1、S2、S3、S4和S5中的每一个。在继第二时间周期T2之后的第三时间周期T3期间,电磁体M3被排他激活,使得电磁体M3处于激活状态,而电磁体M1和M2处于去激活状态。在第三时间周期T3期间,读取传感器S1、S2、S3、S4和S5中的每一个。
在时间周期T1、T2和T3的一个周期结束时,在每个电磁体的激活期间每个传感器将被读取一次(即在本示例中,每个传感器被读取三次,分别对应于三个电磁体)。在一些实施中,每个传感器被配置为检测由电磁体产生的磁场的强度。由于磁场的强度随距离而变化,所以检测到的磁场强度可指示给定传感器到电磁体的距离。因此,对于每个传感器,每个周期读取的三个读数指示传感器与每个电磁体的距离。并且如已经讨论的,基于这些距离,可确定给定传感器与电磁体的相对位置。应当理解,在所示实施方案中,示出了三个电磁体和五个传感器;然而,在其他实施方案中,可存在多于三个的电磁体和多于五个的传感器。
因此,根据上述内容,可确定每个传感器与电磁体的相对位置。在其中传感器定位在手套接口对象的指尖处的实施中,则可因此确定手套接口对象的指尖的位置。每个电磁体的连续激活限定可重复的电磁体的激活循环。应当理解,在电磁体的每个激活循环期间,更新传感器的位置(并且通过扩展,更新用户的指尖的位置)。以这种方式,通过在电磁体的激活周期期间结合传感器的读取产生电磁体的激活的重复循环,可连续跟踪传感器的位置。
应当理解,由于传感器的位置被连续跟踪,所以可提供用户手指的实时相对位置。在一些实施中,控制虚拟环境中的虚拟手,以便具有跟踪用户的手的由跟踪手套接口对象上的传感器确定的姿势的姿势。这使用户对虚拟手的姿势进行实时控制,因为用户的手/手指的移动将基本上被虚拟手实时复制。
在一些实施中,可能需要确定和考虑可能由本地环境中的其他磁场源产生的周围磁场的存在。因此,继续参考图5,在一个实施方案中,在时间周期T4期间,读取每个传感器,同时每个电磁体被去激活。在电磁体被去激活时所获得的传感器的读数指示可能存在于本地环境中的磁场强度。因此,当确定传感器相对于手套接口对象的电磁体的位置时,这些读数可用于考虑这种周围磁场,其是基于在电磁体的激活周期期间读取传感器。例如,对于给定的传感器,可从在激活一个电磁体期间读取的读数中减去环境读数。
在一些实施方案中,环境传感器读数(即,当电磁体去激活时,一个或多个传感器的读数)对于电磁体的每个激活循环而言是获得一次。然而,在其他实施方案中,环境传感器读数可每N个电磁体激活循环获得一次,其中N是任意自然数。通过以小于每个电磁体的激活速率的速率获得环境传感器读数,则为了环境读数消耗的处理资源比环境传感器读数以相同速率读取的情况下所消耗的处理资源少;然而,跟踪环境读数的保真度降低。
在一些实施中,环境读数的频率可与整个手套接口对象的移动量正相关,使得当确定手套接口对象正在以较高速率移动时以较高的频率获得环境读数,并且当确定手套接口对象正在以较低速率移动时,以较低的频率获得环境读数。例如,在一些实施中,当确定手套接口对象处于静止位置达预定时间量时,将停止获取环境读数。应当理解,手套接口对象的位置可基于来自手套接口对象中所包括的运动传感器、来自手套接口对象或其上的特定部分的视觉跟踪、或者来自跟踪手套接口对象的位置的任何其他方法的数据来确定。
在上述实施中,已经大体描述了在每个电磁体的每个激活周期期间,每个传感器被读取一次。然而,在其他实施中,并不是每个传感器在每个电磁体的激活期间必须被读取。换句话说,尽管在一些实施方案中,给定的传感器在电磁体的每个激活循环期间被读取,但是在其他实施方案中,所述给定的传感器在电磁体的每个激活循环期间可能不被读取。也就是说,给定的传感器可在每N个激活循环期间被读取,其中N是任意自然数。通过在电磁体的特定激活循环期间选择性地读取传感器,可使特定的传感器(并且通过扩展,用户的特定指尖)优先于其他传感器来进行跟踪。例如,对于特定的视频游戏活动,情况可能是这样的,食指的移动比拇指的移动更重要。因此,可能需要以比拇指传感器更高的频率(即在给定的时间单位的更多的激活循环期间)来获取食指传感器的读数。以这种方式,可优先考虑系统资源以提供食指在拇指上的更高的保真跟踪。
根据进一步扩展概念,读取任何传感器的特定速率可以根据使用手套接口对象的交互式应用(例如,视频游戏)的上下文由系统动态调整。例如,执行的视频游戏可设置并动态地调整限定读取给定传感器的速率(每个激活循环)的参数。
根据系统硬件的处理能力(例如,手套接口对象和手套接口对象发送数据所到的计算装置),传感器的读数可按顺序处理(例如,一些或全部传感器在给定的电磁体激活周期期间以预定义顺序读取)或并行处理(例如,在电磁体的给定激活周期期间同时读取一些或全部传感器)。例如,在一些实施中,手套接口对象可包括多通道采样能力,使得可同时读取其一些或全部传感器。随后,可并行和/或依序方式执行读数的处理,以确定和跟踪传感器相对于电磁体的位置。
应当理解,用于电磁体的激活和传感器的读取的时分复用布置(以及用于确定和跟踪手套接口对象的部分诸如指尖的位置的相关联处理)可扩展到使用多个手套接口对象的场景(例如,左手和右手手套用于单个用户的每只手,左手和/或右手手套用于多个用户中的每个用户)。例如,用于左手手套接口对象的电磁体的激活循环(以及其伴随的传感器读数)可与用于右手手套接口对象的电磁体的激活循环(以及其伴随的传感器读数)交替。
在一些实施方案中,自身以循环方式执行用于多个手套中的每一个的电磁体的激活循环(以及伴随的传感器读数),使得第一手套接口对象的激活循环之后是第二手套接口对象的激活循环,其后是第三手套接口对象的激活循环等,返回到第一手套接口对象以重复整个序列,并且从而促进跟踪手套接口对象的指尖或其他部分。
尽管在本公开中,参考位于用户手腕处或附近的电磁体来描述实施方案,但是应当理解,在其他实施方案中,这种电磁体可位于其他位置,诸如在用户手掌上或附近、在手掌、前臂、躯干或其他身体部位的后面、在HMD上等。电磁体可布置在提供根据本文所讨论的实施方案描述的功能的任何位置。
图6示出了若干图示,其示出了根据本发明的实施方案的对手套接口对象的各种电磁体的电力的施加。图示600示出了由若干电磁体M1、M2和M3中的每一个产生的磁场。如图所示,每个电磁体的磁场限定每个电磁体被排他激活的周期。然而,在一个电磁体的去激活和下一个电磁体的激活期间(例如,当M1被去激活并且M2被激活时)存在重叠。图示600中也陈述了作为手套接口对象的传感器被读取的时间点的采样时间ST1、ST2、ST3、ST4、ST5和ST6。在所示实施方案中,在对应于达到基本上峰值强度的磁场的时间点读取传感器。然而,在其他实施方案中,传感器可在对应于达到其他相对强度的磁场的时间点被读取,前提是读取传感器时磁场的强度是一致的。也就是说,每当在电磁体M1的激活期间读取传感器时,电磁体M1的强度相同。
图示602、604和606分别示出了对电磁体M1、M2和M3的每个施加的电压。如图所示,在一些实施中,将特定电压(例如正电压)施加到给定电磁体(例如M1),其致使磁场增加。在指定的时间量之后,可将特定电压反向(例如负电压),以便加速磁场的减小和/或抵消任何引发/暂时的磁化效应(或潜在的磁场)。潜在的磁场可能由电磁线圈的电感引起,并且因此,可使用二极管来更快地影响磁场的变化。
图7示出了根据本发明的实施方案的被配置为与外围装置一起使用的手套接口对象。在所示实施方案中,手套接口对象包括限定在手套接口对象的手腕部分上的发射器702a、702b和702c。多个传感器704a、704b、704c、704d和704e被限定在手套接口对象700的指尖部分处。还示出了可被手套接口对象保持或接触的外围装置710。在所示实施方案中,外围装置710是包括被照亮对象712的运动控制器,所述被照亮对象可被照亮以促进基于捕获的图像数据的分析来进行跟踪。此外,外围装置710可包括各种输入装置,诸如用于提供输入的按钮714,以及各种类型的运动传感器,诸如加速度计、磁力计、陀螺仪等。应当理解,尽管示出了特定的运动控制器,但是在其他实施中,外围装置710可为根据本文讨论的原理用于为交互式应用提供输入的任何其他类型的交互式设备。外围装置可与诸如游戏机的计算装置进行无线通信。
外围装置还可包括可由手套接口对象700上的传感器感测的发射器716a、716b和716c。外围发射器716a、716b和716c可以与关于手套接口对象上的发射器所描述的类似或相同的方式操作。更具体地,传感器可检测由外围发射器发射的信号的强度,并且产生指示传感器与外围发射器的接近度/距离的数据。可处理这个信息以识别用户的手相对于外围装置的取向/配置。
此外,在各种实施中,手套发射器(702a、702b和702c)和外围发射器(716a、716b和716c)的操作结合传感器(704a、704b、704c、704d和704e)的操作,可具有各种配置。一般而言,在手套接口对象或外围装置上的特定发射器的激活期间读取一些或全部传感器。下文讨论关于发射器的激活的一些可能的配置。
在一些实施中,组合使用手套发射器和外围发射器,以允许跟踪传感器相对于手套发射器和外围发射器两者的位置。在一些实施中,这可能需要将手套发射器和外围发射器的激活序列彼此进行时分复用。例如,手套发射器的激活可与外围发射器的激活交替,使得手套和外围发射器的激活序列彼此交织。在另一个实施方案中,手套发射器和外围发射器中的每一个可使激活序列交替。
在一些实施中,跟踪手套接口对象和外围对象在空间中的位置,并且基于它们在空间中的位置来确定和控制两个装置上的发射器的激活。例如,在一个实施方案中,当手套接口对象和外围装置被分开大于预定义距离时,则使用手套发射器,而外围发射器被去激活并且不被利用。然而,当手套接口对象和外围装置之间的间隔达到或变得小于预定义距离时,则手套发射器被去激活并且不再被利用,而外围发射器被激活和利用。因此,传感器从感测与手套发射器的接近度转变为感测与外围发射器的接近度。应当理解,从一组发射器转变到另一组发射器可通过减少复用的发射器的数量(与同时使用两组发射器相比)并且降低功率消耗,例如,当手套发射器被去激活时,手套接口对象的功率消耗,而提供其他优点。
在另一实施中,手套发射器与外围发射器的利用可由装置为其提供输入的交互式应用或视频游戏来控制。例如,在视频游戏的一部分期间,外围装置不被用于输入,并且因此外围发射器被去激活,而手套发射器被激活和利用。而在视频游戏的另一部分期间,外围装置被用于输入,并且因此手套发射器将被去激活,而外围发射器被激活和利用。
当用户正在使用头戴式显示器(HMD)时,用户可能不具有看到HMD外部的本地环境的能力。然而,通过利用手套接口对象上的传感器来检测外围装置上的发射器,可确定外围装置相对于手套接口对象的位置。此外,可精确地限定用户的手和外围装置的配置,以例如限定存在于在HMD上渲染的虚拟空间中的对应的虚拟手和虚拟对象的配置。例如,外围装置可限定虚拟对象在虚拟空间中的定位(例如诸如剑或枪等武器),并且虚拟的手可被示出为以类似于用户握持在外围装置上的方式握持虚拟对象。用户手指相对于外围装置的移动可被跟踪并渲染为虚拟手的手指相对于虚拟对象的对应移动。
图8示出了根据本发明的实施方案的配置成与键盘外围装置交互的一对手套接口对象。示出了右手手套接口对象800,包括接近传感器802a-e;左手手套接口对象804包括接近传感器806a-e。接近传感器802a-e和806a-e可被配置为检测限定在其相应的手套接口对象上的发射器(例如,限定在手套接口对象的手腕部分上)。
键盘外围装置810可包括用于向交互式应用提供输入的各种键812。键盘810可与执行交互式应用的计算装置进行无线通信。键盘810还包括可由接近传感器802a-e和806a-e检测的发射器814a-c。在一些实施中,发射器814a-c是产生磁场的电磁体,并且接近传感器是检测磁场的磁性传感器(例如霍尔效应传感器)。如先前所讨论,发射器的激活和接近传感器的读取可以时分复用布置来配置。使用这样的布置,可确定和跟踪接近传感器相对于发射器的位置。并且通过扩展,在其中接近传感器定位在手套接口对象的指尖部分的实施中,则可确定和跟踪指尖相对于键盘外围装置的位置。
其中利用手套接口对象上的接近传感器来检测定位在外围装置上的发射器的上述配置,允许相对于外围装置非常精确地跟踪用户的手。因此,举例来说,对应于用户的手的虚拟手可示出为在虚拟空间中与虚拟键盘交互,所述虚拟键盘以高度保真度对应于键盘外围装置810。尽管在所示实施方案中,具体示出了键盘,但是应当理解,在各种其他实施方案中,任何类型的外围装置可被配置为提供与本文所描述的类似的功能。
在另一个实施方案中,外围装置810可不具体包括键盘的键,而是可限定用户的手可与之交互的交互表面。可根据上述方法来确定和跟踪用户的手(包括指尖)与外围装置的交互表面的相对位置。此外,外围装置可在虚拟空间中限定虚拟对象,并且可以由手套接口对象与外围装置的交互限定的方式示出对应于用户的手的虚拟手与虚拟对象交互。应当理解,虚拟对象可被限定为具有任何配置,并且可包括任何子对象而不受限制。例如,虚拟对象可能影响限定虚拟键盘,并且虚拟手可被示出为与虚拟键盘交互,如由手套接口对象的指尖相对于外围装置810的移动所限定。
虚拟对象可具有对应于外围装置的交互表面的虚拟表面,并且可通过手套接口对象与外围装置的交互表面的交互来限定虚拟手与虚拟表面的交互。这种类型的布置可促进用户以直观的方式与虚拟对象的交互。例如,虚拟对象可为具有触摸屏界面的装置,并且用户因此可通过与外围装置的交互表面交互来与虚拟触摸屏进行交互。应当理解,可检测和识别与外围装置的交互表面的各种交互,包括触摸、敲击、滑动、做手势、多指触摸/手势等。举另一例,虚拟对象可包括输入装置,并且用户可通过与外围装置交互来与虚拟输入装置交互。
在一些实施中,外围装置810可另外包括远距离发射器816a-c。远距离发射器被配置为提供比发射器814a-c更强的信号,并且因此可被在较大距离处的手套接口对象的接近传感器检测到。在一些实施中,当手套接口对象的接近传感器位于大于预定义阈值的距离处时,利用远距离发射器,而当手套接口对象的接近传感器位于预定义阈值的距离处或小于预定义阈值的距离处时,利用发射器814a-c。当手套接口对象被确定为已经从超出阈值的位置移动到阈值之内的位置时,则系统可从使用远距离发射器816a-c转变到使用常规发射器814a-c。
在一些实施中,外围装置810可包括被照亮对象818,所述被照亮对象可出于视觉跟踪目的被照亮。也就是说,可基于对外围装置所在的交互式环境的捕获图像的分析来识别被照亮对象,并且因此可确定和跟踪外围装置的位置和/或取向。
图9示出了根据本发明的实施方案的具有远距离和近距离发射器的外围装置,所述发射器被配置为提供具有接近传感器的一个或多个手套接口对象的粗跟踪和精细跟踪。在下文讨论的实施中,发射器被限定为电磁体,并且接近传感器是诸如霍尔效应传感器的磁性传感器;然而,在其他实施中,可利用其他类型的发射器和对应的接近传感器。如图所示,装置900包括远距离电磁体(发射器)902a-d和近距离电磁体(发射器)904a-c。可激活远距离和近距离电磁体以限定由手套接口对象的磁性传感器感测的磁场,以使得确定和跟踪手套接口对象(例如,指尖)相对于装置900的位置和/或取向。使用电磁体和磁性传感器来确定手套接口对象与装置900的相对位置可根据先前描述的操作原理执行,包括用于控制电磁体和读取传感器的时分复用布置。
在一些实施中,远距离和近距离电磁体的激活取决于距离。例如,在一个实施方案中,当手套接口对象的位置(例如,如由限定在其上的磁性传感器的位置限定)超过与装置900的预定义距离阈值910时,则近距离电磁体904a-c被去激活,而远距离电磁体902a-d被激活。而当手套接口对象的位置在预定义距离阈值910内时,则远距离电磁体被激活,而远距离电磁体被去激活。在一些实施中,当手套接口对象达到阈值910时,则系统从使用近距离/远距离电磁体中的任一个转变为使用另一组电磁体,传感器读数/数据从指示与一组电磁体的接近度/距离转变到指示与另一组电磁体的接近度/距离。在一些实施中,在手套接口对象(和接近传感器)在预定义的时间量或传感器采样或电磁体激活的预定数量的循环内跨越阈值910之后发生转变。
在一些实施中,根据接近传感器(或手套接口对象)与电磁体的距离来调整跟踪精度。例如,在一些实施中,接近传感器的采样速率和电磁体(例如电磁体904a-c和/或902a-d)的激活序列的对应频率随着接近传感器与电磁体的距离增加而减小。以这种方式,当手套接口对象接近装置900时,则跟踪变得更加精确和细粒的;并且当手套接口对象远离装置900移动时,则跟踪变得越来越粗,并且利用较少的带宽和处理资源。
应当理解,根据与电磁体(或装置900)的距离的跟踪精度的上述变化可与远距离和近距离电磁体组合应用。例如,在一个实施方案中,当手套接口对象在与装置900的阈值距离910内并且近距离电磁体被主动利用时,则接近传感器的采样速率和近距离电磁体的激活序列的对应频率被设置在第一水平。而当手套接口对象超过与装置900的阈值距离910,并且远距离电磁体被主动利用时,则接近传感器的采样速率和近距离电磁体的激活序列的对应频率被设置在低于第一水平的第二水平。以这种方式,那么在阈值距离910处或者阈值距离910内的区域限定精细跟踪区域,并且超出阈值距离910的区域限定粗跟踪区域。
在一些实施中,限定另一距离阈值912,超过所述距离阈值,装置900的任何电磁体都不被激活。因此,在这样的实施中,粗跟踪区域受到距离阈值910和距离阈值912的限制。当手套接口对象超过距离阈值912时,手套接口对象的接近传感器不用于指示与装置900的接近度。
在上述实施中,已经参考了手套接口对象和其接近传感器与装置900和其电磁体的接近度或距离。预期可基于如此描述的磁跟踪方法和/或通过其他方法,诸如通过视觉跟踪(例如捕获交互式环境的图像以及使用图像识别来识别和跟踪手套接口对象和/或装置900)和使用包括在手套接口对象和/或装置900中的运动传感器(例如,加速度计、陀螺仪、磁力计)来执行手套接口对象和装置900相对于彼此的位置的确定。
在示出组合应用的若干本概念的一个实施方案中,当手套接口对象超过阈值912时,则不执行手套接口对象相对于装置900的磁跟踪。然而,可执行手套接口对象的指尖相对于其自身的磁跟踪(例如,使用手套接口对象的手腕部分上的电磁体)。手套接口对象在空间中的位置通过手套接口对象中的运动传感器的视觉跟踪和/或使用来确定;并且装置900在空间中的位置也可通过装置900中的运动传感器的视觉跟踪和/或使用来确定。当手套接口对象跨越阈值912并且移动到粗跟踪区域(如从视觉跟踪和/或运动传感器跟踪确定的)时,装置900的远距离电磁体902a-d被激活并且手套接口对象的接近传感器至少部分用来检测远距离电磁体的接近度和/或相对位置。在此时间期间,远距离电磁体的激活顺序可与手套接口对象的手腕电磁体的激活序列复用,使得接近传感器可在不同的采样循环期间指示与两组电磁体的接近度/相对位置。当手套接口对象跨越阈值910进入精细跟踪区域时,则近距离电磁体904a-c相比于远距离电磁体以更高的激活序列频率激活。此时手套接口对象的手腕电磁体可能被完全去激活,使得接近传感器排他指示与近距离电磁体的接近度。
已经仅通过举例而非限制的方式描述了结合其他类型的跟踪(诸如基于视觉和运动传感器的跟踪)利用磁跟踪(包括粗和精细跟踪)的配置的具体示例。为了简洁起见,不详细描述这些跟踪方法的所有可能的组合。然而,对于本领域技术人员来说明显的是,本文讨论的任何原理和方法可彼此组合应用以限定作为本公开的一部分而被设想的其他实施方案。
在一些实施中,使用视觉跟踪来确定手套接口对象在本地环境中的位置和/或取向,而本文描述的磁跟踪方案用于获得用户的手的精细定位,包括用户手指的定位。这个信息可用作交互式应用的输入。
在另一个实施中,取代具有两个单独限定的远距离和近距离电磁体的是,可在高功率配置(用于远距离跟踪)和低功率配置(用于近距离跟踪)中使用单组电磁体以实现类似的效果。当利用高功率配置时,与低功率配置相比,激活序列的频率可能降低,从而节省电池电量。
在各种实施中,远距离和近距离电磁体的数量可变化。在不同的实施中,与远距离电磁体相比,可能存在或多或少的短距离电磁体。在其中相同组的电磁体用于远距离和近距离跟踪的实施中,被激活和利用的电磁体的数量可以类似的方式变化。
在一些实施中,细粒度跟踪用于渲染(例如对应的虚拟手),而粗跟踪用于手势识别。在一些应用中或在特定的交互时间(例如,虚拟手不在当前视图平截头体)期间,可能没有渲染对应的虚拟手,并且在这种情况下,粗跟踪足以用于手势识别。而当虚拟手被主动渲染时,可进行精细跟踪以提供渲染的高保真度和响应性。
此外,应当理解,虽然已经关于外围装置描述了远距离和近距离跟踪,但是可存在任何数量的限定范围,和/或接近传感器的采样速率和电磁体的激活序列的频率可根据距离、手指的移动速度、电池寿命连续地变化,如由诸如视频游戏等的交互式应用所设置。此外,手套接口对象可单独应用类似的原理,接近传感器的采样速率和手套接口对象的电磁体的激活频率可根据手套的位置(例如,在预定义的范围/区域/位置中)、手套的取向变化,如由交互式应用等所设置。例如,当用户的手处于向下指向的静止位置时,则可降低采样速率和激活频率,而当用户的手举起以进行交互时,则可提高采样速率和激活频率。
如所述,当用户佩戴HMD时,他们对本地环境的视线可能被阻碍,且这使得难以在本地环境中定位物理装置和与物理装置进行交互。然而,通过利用外围装置上的发射器和手套接口对象上的对应接近传感器的系统,可确定用户的手与外围装置的接近度和相对位置。这样的信息可用于帮助用户在他们无法看到外围装置时找到外围装置。例如,可在用户视图(例如,虚拟环境的视图)中显示渲染在HMD上的指示符,其中所述指示符被配置为指示外围装置在本地环境中的位置。也可示出对应于用户的手的虚拟手,使得指示符和虚拟手之间的位置关系准确地表示外围装置与用户的手之间的关系。因此,用户能够基于HMD上显示的场景将他们的手引导到外围装置。
除了在佩戴HMD时帮助用户找到外围装置之外,本文描述的磁跟踪方法可用于允许用户在视图(例如,虚拟空间的视图)中看到正呈现在HMD上的他们的手和手指相对于外围装置的定位。例如,可示出虚拟手与外围装置的表示交互,其中虚拟手的移动对应于如经由手套接口对象检测到的用户的手的移动。以这种方式,用户能够以直观的方式与外围装置进行交互,尽管不具有直接的视线,因为他们能够在HMD上渲染的虚拟空间中看到对应的交互。
此外,已经参考头戴式显示器描述了实施方案。然而,应当理解,在其他实施方案中,非头戴式显示器可被替代,诸如电视机、投影仪、LCD显示屏、便携式装置屏幕(例如,平板计算机、智能电话、膝上型计算机等)或任何其他类型的显示器,其可被配置为根据本发明的本实施方案渲染视频。
图10A示意性地示出了根据本发明的实施方案的用于使用手套接口对象与交互式应用介接的系统。手套接口对象1000包括挠曲传感器1010、压力传感器1012、触摸开关1014、惯性传感器1016和生物测定传感器1018。数据流处理器1020被配置为处理来自各种传感器的数据。应当理解,在各种实施方案中,数据流处理器1020可将传感器数据处理到各种程度,包括确定量化感测到的活动的值、识别姿势、手势、移动等。触觉反馈控制器1022被配置为控制触觉反馈装置1024的操作。灯控制器1026被配置为控制灯1028的操作。通信接口被配置为向/从其他装置传送数据。
手套接口对象还包括发射器控制器1032,所述发射器控制器控制发射器1034的操作,包括其激活和去激活。接近传感器控制器1036控制接近传感器1038的操作,包括激活(例如,向接近传感器供应电流)和读取接近传感器。发射器控制器1032和接近传感器控制器1036可被配置为提供发射器的激活/去激活和接近传感器的读取的时分复用。
计算装置1040被配置为执行视频游戏,并且与手套接口对象1000通信。视频游戏在显示器/HMD 1042上渲染。图像/声音捕获装置1044从用户所在的交互式环境捕获图像和声音。应当理解,计算装置1040从手套接口对象接收诸如传感器数据等数据,并且计算装置还可产生用于控制手套接口对象1000的各种装置的操作的命令,以实现本文所讨论的手套接口对象的功能性。
图10B示出了根据本发明的实施方案的计算装置1040的额外部件。手套接口对象1000将从手套接口对象的各种传感器检测/处理的手势数据提供给手势识别符1050。手势识别符1050可限定用于识别用户的手的姿势的手势识别符1052以及用于识别用户的手的动态移动的手部运动识别符1054,诸如用户的手的姿势的运动和/或变化。这些限定从手套接口对象1000检测到的供应给视频游戏1060作为输入的手势。在一个实施方案中,提供了手势库1056,其包含限定各种手势的参考数据,其可用于识别用于视频游戏的手势。
根据本文描述的实施方案,可产生并处理指示从各种传感器到各种发射器的距离的数据,以确定传感器与发射器的相对位置。这个信息可用于识别和/或推断用户的手的姿势。例如,通过识别指尖(传感器设置在其上)相对于用户的手腕(发射器设置在其上)的位置,则可通过逆运动学过程来确定用户的手的姿势,包括确定各个方面,诸如用户手指的姿势(包括用户手指的屈曲和偏离,例如特定关节的弯曲(例如指关节))和用户手腕的姿势(包括用户手腕的屈曲和偏离)。应当理解,在一些实施方案中,传感器数据可诸如通过使用查找表与手势相关。在一些实施中,用户的手的模型由计算装置产生,并且使用来自手套接口对象的输入来更新模型。
另外,游戏系统可基于游戏内的上下文控制来自手套接口对象的采样频率和发射。
图像数据处理器1058处理由图像捕获装置1044捕获的图像,以识别手套接口对象1000上的可追踪对象,诸如灯。手跟踪处理器1062被配置为基于所识别的可跟踪对象以及来自手套接口对象1000的惯性数据1072来执行用户的手的位置跟踪1064和取向跟踪1066。也可将手套接口对象的位置和取向(如由用户的手限定)作为输入提供给视频游戏1060。视频游戏1060可产生用于传输到手套接口对象1000的触觉反馈数据1074,其从而产生触觉反馈。视频游戏1076还可产生用于控制手套接口对象1000上的灯的灯控制数据1076。此外,视频游戏1060产生用于由显示器/HMD 1042渲染的视频/音频数据1078。
在一些实施方案中,手套接口对象由内手套和外手套限定。内手套是可拆卸和可洗的,而外手套包含用于如本文所述的手套接口对象的功能性的硬件。此外,内手套可用作绝缘体,以将手套接口对象的硬件与用户绝缘。
在一些实施方案中,可通过以各种频率振动指尖来提供触觉反馈,以在用户沿着表面移动手指时模拟纹理。
在一些实施方案中,力反馈机构可包括在手套接口对象中。可包括反对用户的手/手指的运动的装置,以模拟在进行这种运动时遇到的阻力。例如,力反馈机构可反对闭合某人手指的运动,从而模拟抓握/握持对象的感觉。
在一些实施方案中,可提供压力反馈机构,其施加压力到手的至少一部分作为反馈机制。例如,夹具可挤压手指作为反馈,例如,当触摸虚拟对象时。
应当理解,由手套接口对象提供的输入可用于提供对虚拟环境中的虚拟手或其他对象的实时控制。在一些实施方案中,由手套接口对象提供的输入提供对虚拟环境中的非手形对象的控制,诸如能够对对象进行操纵。在一些实施方案中,由手套接口对象提供的输入提供对由用户控制的角色的手臂或手形对象的实时控制。当在HMD装置上呈现的上下文中使用时,手套接口对象可提供关于控制虚拟环境中角色的臂/手或类似附属物的高度沉浸式和直观的体验。也就是说,用户可体验到感觉,就好像虚拟手/臂或附属物真的是他们自己的手/臂一样,这是由手套接口对象提供的实时控制和响应与HMD装置的高度沉浸式呈现组合而引起的。
此外,应当理解,在交互式应用的交互式会话内,可根据交互式应用的执行状态来显示或不显示虚拟手。例如,在视频游戏中,可能存在各种阶段/场景/任务/级别等,其可能需要或可能不需要显示虚拟手。此外,根据虚拟环境的上下文或内容,可在虚拟环境中显示或不显示虚拟手的渲染。例如,当虚拟场景中存在特定对象时,或者当用户接近特定对象以操纵它或以其他方式与之进行交互时,虚拟手可能被显示(或可用于显示)。
在一些实施中,用户的手/手指的姿势和/或移动可限定可根据本文讨论的原理从跟踪手套接口对象来识别的手势。所识别的手势可被配置为在虚拟环境中引起一些动作,也就是说,手势被识别并与产生用于正在产生虚拟环境的交互应用的特定输入相关。在各种实施方案中,虚拟手结合手势识别可显示或可不显示。
参考图11,示出了根据本发明的实施方案的手套接口对象104的部件的图示。手套接口对象104包括用于执行程序指令的处理器1100。存储器1102被提供用于存储目的,并且可包括易失性和非易失性存储器两者。提供电池1106作为手套接口对象104的电源。运动检测模块1108可包括各种运动灵敏硬件中的任一种,诸如磁力计1110、加速度计1112和陀螺仪1114。
手套接口对象104包括用于提供音频输出的扬声器1120。此外,可包括麦克风1122用于从真实环境捕获音频,包括来自周围环境的声音、由用户发出的语音等。手套接口对象104包括用于向用户提供触觉反馈的触觉反馈模块1124。在一个实施方案中,触觉反馈模块1124能够引起手套接口对象104的移动和/或振动,以便向用户提供触觉反馈。
LED 1126被提供为手套接口对象104的状态的视觉指示符。例如,LED可指示电池电量、电源接通等。包括USB接口1130,作为用于实现外围装置连接的接口或者与诸如其他便携式装置、计算机等其他装置的连接的接口的一个示例。在手套接口对象104的各种实施方案中,可包括各种类型的接口中的任一种以实现手套接口对象104的更大连接性。
包括WiFi模块1132,用于经由无线网络技术实现与互联网或局域网的连接。此外,手套接口对象104包括用于实现与其他装置的无线连接的蓝牙模块1134。还可包括通信链路1136以连接到其他装置。在一个实施方案中,通信链路1136利用红外传输来进行无线通信。在其他实施方案中,通信链路1136可利用各种无线或有线传输协议中的任何一种来与其他装置进行通信。
包括输入按钮/传感器1138以为用户提供输入接口。可包括各种输入接口中的任何一种,诸如按钮、触摸板、操纵杆、轨迹球等。超声通信模块1140可包括在手套接口对象104中,以促进经由超声技术与其他装置通信。
包括生物传感器1142以使得能够检测来自用户的生理数据。在一个实施方案中,生物传感器1142包括用于通过用户的皮肤检测用户的生物电信号的一个或多个干电极。
手套接口对象104的上述部件已经被描述仅是可包括在手套接口对象104中的示例性部件。在本发明的各种实施方案中,手套接口对象104可包括或可不包括各种上述部件中的一些。手套接口对象104的实施方案可另外包括目前未描述但本领域中已知的其他部件,以促进如本文所述的本发明的方面。
本领域技术人员应当理解,在本发明的各种实施方案中,上述手套接口对象可与显示在显示器上的交互式应用结合使用以提供各种交互功能。本文描述的示例性实施方案仅以示例方式而不以限制方式提供。
参考图12,示出了根据本发明的实施方案的头戴式显示器102的部件的图示。头戴显示器102包括用于执行程序指令的处理器1300。存储器1302被提供用于存储目的,并且可包括易失性和非易失性存储器两者。包括显示器1304,其提供用户可观看的可视界面。提供电池1306作为头戴显示器102的电源。运动检测模块1308可包括各种运动灵敏硬件中的任一种,诸如磁力计1310、加速度计1312和陀螺仪1314。
加速度计是用于测量加速度和重力引起的反作用力的装置。单轴和多轴模型可用于检测不同方向上的加速度的量值和方向。加速度计用于感测倾斜、振动和震动。在一个实施方案中,三个加速度计1312用于提供重力方向,其给出了两个角度(世界空间俯仰和世界空间滚动)的绝对参考。
磁力计测量头戴式显示器附近的磁场的强度和方向。在一个实施方案中,在头戴式显示器内使用三个磁力计1310,从而确保世界空间横摆角的绝对参考。在一个实施方案中,磁力计被设计成跨越地球磁场,其为±80微特斯拉。磁力计受金属影响,并提供与实际横摆是单调的横摆测量。磁场可能由于环境中的金属而翘曲,这导致横摆测量中的翘曲。如果需要,可使用来自其他传感器(诸如陀螺仪或相机)的信息来校准这个翘曲。在一个实施方案中,加速度计1312与磁力计1310一起使用以获得头戴显示器102的倾斜度和方位角。
在一些实施中,头戴式显示器的磁力计被配置为在其他附近装置中的电磁体不活动的时间期间被读取。
陀螺仪是用于基于角动量的原理来测量或维持取向的装置。在一个实施方案中,三个陀螺仪1314基于惯性感测提供关于相应轴(x、y和z)的移动的信息。陀螺仪有助于检测快速旋转。然而,陀螺仪可在不存在绝对参考的情况下随时间漂移。这需要周期性地重置陀螺仪,这可使用其他可用信息进行,诸如基于对象的视觉跟踪、加速度计、磁力计等的位置/取向确定。
相机1316被提供用于捕获真实环境的图像和图像流。头戴式显示器102中可包括多于一个的相机,包括背面(当用户正在观看头戴式显示器102的显示器时远离用户指向)的相机,以及正面(当用户正在观看头戴式显示器102的显示器时朝向用户指向)的相机。此外,深度相机1318可被包括在头戴式显示器102中,用于感测真实环境中对象的深度信息。
头戴式显示器102包括用于提供音频输出的扬声器1320。此外,可包括麦克风1322,用于从真实环境捕获音频,包括来自周围环境的声音、用户发出的语音等。头戴式显示器102包括用于向用户提供触觉反馈的触觉反馈模块1324。在一个实施方案中,触觉反馈模块1324能够引起头戴式显示器102的移动和/或振动,以便向用户提供触觉反馈。
LED 1326被提供为头戴式显示器102的状态的视觉指示符。例如,LED可指示电池电量、电源接通等。提供读卡器1328以使头戴式显示器102能够从存储卡读取信息和向存储卡写入信息。包括USB接口1330,作为用于实现外围装置的连接、或与诸如其他便携式装置、计算机等其他装置的连接的接口的一个示例。在头戴式显示器102的各种实施方案中,可包括各种类型的接口中的任一种接口以实现头戴式显示器102的更大连接性。
包括WiFi模块1332,用于经由无线网络技术实现与互联网或局域网的连接。此外,头戴式显示器102包括用于实现与其他装置的无线连接的蓝牙模块1334。还可包括通信链路1336以连接到其他装置。在一个实施方案中,通信链路1336利用红外传输来进行无线通信。在其他实施方案中,通信链路1336可利用各种无线或有线传输协议中的任何一种来与其他装置进行通信。
包括输入按钮/传感器1338以为用户提供输入接口。可包括各种输入接口中的任何一种,诸如按钮、触摸板、操纵杆、轨迹球等。超声波通信模块1340可包括在头戴式显示器102中,以促进经由超声技术与其他装置通信。
包括生物传感器1342以使得能够检测来自用户的生理数据。在一个实施方案中,生物传感器1342包括用于通过用户的皮肤检测用户的生物电信号的一个或多个干电极。
视频输入1344被配置为从主处理计算机(例如主游戏机)接收用于在HMD上渲染的视频信号。在一些实施中,视频输入是HDMI输入。
头戴式显示器102的前述部件已经被描述为可包括在头戴式显示器102中的仅示例性部件。在本发明的各种实施方案中,头戴式显示器102可包括或可不包括上述各种部件中的一些。头戴式显示器102的实施方案可另外包括目前未描述但本领域中已知的其他部件,以促进如本文所述的本发明的方面。
图13是根据本发明的各种实施方案的游戏系统1400的方框图。游戏系统1400被配置为经由网络1415向一个或多个客户端1410提供视频流。游戏系统1400通常包括视频服务器系统1420和可选的游戏服务器1425。视频服务器系统1420被配置为以最小的服务质量将视频流提供给一个或多个客户端1410。例如,视频服务器系统1420可接收改变视频游戏内的状态或视点的游戏命令,并且以最小的滞后时间向客户1410提供反映这种状态改变的更新的视频流。视频服务器系统1420可被配置为以各种替代视频格式提供视频流,包括还未限定的格式。此外,视频流可包括配置为以各种帧速率呈现给用户的视频帧。典型的帧速率是每秒30帧、每秒60帧以及每秒120帧。但是在本发明的替代实施方案中包括更高或更低的帧速率。
客户端1410,本文中单独地称为1410A、1410B等,可包括头戴式显示器、终端、个人计算机、游戏机、平板计算机、电话、机顶盒、信息亭、无线装置、数字板、独立装置、手持式游戏装置和/或类似装置。通常,客户端1410被配置为接收编码的视频流,对视频流进行解码,并将所得视频呈现给用户,例如游戏的玩家。接收编码的视频流和/或解码视频流的过程通常包括将单独的视频帧存储在客户端的接收缓冲器中。视频流可在与客户端1410集成的显示器或者在诸如监视器或电视机的单独装置上呈现给用户。客户端1410可选地被配置为支持多于一个的游戏玩家。例如,游戏机可被配置为支持两个、三个、四个或更多个同时的玩家。这些玩家中的每一个可接收单独的视频流,或者单个视频流可包括针对每个玩家专门产生的帧的区域,例如,基于每个玩家的观点产生的帧的区域。客户端1410可选地地理分散。包括在游戏系统1400中的客户端的数量可从一个或两个到几千、几万或更多而不同。如本文所使用,术语“游戏玩家”用于指代玩游戏的人,并且术语“游戏装置”用于指代用于玩游戏的装置。在一些实施方案中,游戏装置可指代协作以向用户传递游戏体验的多个计算装置。例如,游戏机和HMD可与视频服务器系统1420协作以传递通过HMD观看的游戏。在一个实施方案中,游戏机从视频服务器系统1420接收视频流,并且游戏机将视频流或视频流的更新转递到HMD以进行渲染。
客户端1410被配置为经由网络1415接收视频流。网络1415可为任何类型的通信网络,包括电话网络、互联网、无线网络、电力线网络、局域网、广域网、专用网络等。在典型的实施方案中,经由诸如TCP/IP或UDP/IP的标准协议来传送视频流。另选地,经由专有标准来传送视频流。
客户端1410的典型示例是个人计算机,其包括处理器、非易失性存储器、显示器、解码逻辑、网络通信能力和输入装置。解码逻辑可包括存储在计算机可读介质上的硬件、固件和/或软件。用于解码(和编码)视频流的系统是本领域中所众所周知的,并且根据所使用的特定编码方案而变化。
客户端1410可但不要求进一步包括配置用于修改接收到的视频的系统。例如,客户端可被配置为执行进一步的渲染,以将一个视频图像覆盖在另一视频图像上,以裁剪视频图像等。例如,客户端1410可被配置为接收各种类型的视频帧,诸如I帧、P帧和B帧,并且将这些帧处理成用于向用户显示的图像。在一些实施方案中,客户端1410的成员被配置为执行对视频流的进一步渲染、遮蔽、转换为3-D或类似操作。客户端1410的成员可选地被配置为接收多于一个的音频或视频流。客户端1410的输入装置可包括例如单手游戏控制器、双手游戏控制器、手势识别系统、注视识别系统、语音识别系统、键盘、操纵杆、指向装置、力反馈装置、运动和/或位置感测装置、鼠标、触摸屏、神经接口、相机、尚未开发的输入装置和/或类似装置。
由客户端1410接收的视频流(和可选地音频流)由视频服务器系统1420产生并提供。如本文其他地方进一步描述,这个视频流包括视频帧(并且音频流包括音频帧)。视频帧被配置(例如,它们包括呈适当数据结构的像素信息)为有意义地对显示给用户的图像作出贡献。如本文所使用,术语“视频帧”用于指代主要包括被配置为对显示给用户的图像作出贡献(例如,影响所述图像)的信息的帧。本文关于“视频帧”的大部分教导也可应用于“音频帧”。
客户端1410通常被配置为从用户接收输入。这些输入可包括被配置为改变视频游戏的状态或者以其他方式影响游戏的游戏命令。可使用输入装置接收游戏命令和/或可通过在客户端1410上执行的计算指令来自动产生游戏命令。所接收的游戏命令经由网络1415从客户端1410传送到视频服务器系统1420和/或游戏服务器1425。例如,在一些实施方案中,游戏命令经由视频服务器系统1420传送到游戏服务器1425。在一些实施方案中,游戏命令的单独副本从客户端1410传送到游戏服务器1425和视频服务器系统1420。游戏命令的通信可选地取决于命令的身份。游戏命令可选地从客户端1410A通过与用于向客户端1410A提供音频或视频流的不同路线或通信信道传送。
游戏服务器1425可选地由与视频服务器系统1420不同的实体操作。例如,游戏服务器1425可由多玩家游戏的发行者操作。在本示例中,视频服务器系统1420可选地被游戏服务器1425视为客户端,并且可选地被配置为从游戏服务器1425的角度出现,以作为现有技术的执行现有技术的游戏引擎的客户端。视频服务器系统1420与游戏服务器1425之间的通信可选地经由网络1415发生。因此,游戏服务器1425可为向多个客户端发送游戏状态信息的现有技术的多玩家游戏服务器,所述多个客户端中的一个是游戏服务器系统1420。视频服务器系统1420可被配置为与游戏服务器1425的多个实例同时通信。例如,视频服务器系统1420可被配置为向不同的用户提供多个不同的视频游戏。这些不同的视频游戏中的每一个可由不同的游戏服务器1425支持和/或由不同的实体发行。在一些实施方案中,视频服务器系统1420的若干地理上分布的实例被配置为向多个不同的用户提供游戏视频。视频服务器系统1420的这些实例中的每一个可与游戏服务器1425的相同实例通信。视频服务器系统1420与一个或多个游戏服务器1425之间的通信可选地经由专用通信信道发生。例如,视频服务器系统1420可经由专用于这两个系统之间的通信的高带宽信道连接到游戏服务器1425。
视频服务器系统1420至少包括视频源1430、I/O装置1445、处理器1450和非暂时存储装置1455。视频服务器系统1420可包括一个计算装置或者分布在多个计算装置之间。这些计算装置可选地经由诸如局域网的通信系统连接。
视频源1430被配置为提供视频流,例如,流式视频或形成移动图片的一系列视频帧。在一些实施方案中,视频源1430包括视频游戏引擎和渲染逻辑。视频游戏引擎被配置为从玩家接收游戏命令并且基于所接收到的命令来维护视频游戏的状态的副本。这个游戏状态包括游戏环境中对象的位置以及通常的视角。游戏状态还可包括对象的属性、图像、颜色和/或纹理。游戏状态通常基于游戏规则以及诸如移动、转弯、攻击、设置焦点、交互、使用等游戏命令来维护。游戏引擎的部分可选地设置在游戏服务器1425中。游戏服务器1425可基于从使用地理上分散的客户端的多个玩家接收的游戏命令来维护游戏状态的副本。在这些情况下,游戏状态由游戏服务器1425提供给视频源1430,其中存储游戏状态的副本并执行渲染。游戏服务器1425可经由网络1415直接从客户端1410接收游戏命令,和/或可经由视频服务器系统1420接收游戏命令。
视频源1430通常包括渲染逻辑,例如存储在诸如存储装置1455等计算机可读介质上的硬件、固件和/或软件。这个渲染逻辑被配置为基于游戏状态来创建视频流的视频帧。渲染逻辑的全部或部分任选地设置在图形处理单元(GPU)内。渲染逻辑通常包括被配置为基于游戏状态和视角来确定对象之间的三维空间关系和/或应用适当纹理等的处理阶段。渲染逻辑产生原始视频,然后通常在与客户端1410通信之前进行编码。例如,原始视频可根据Adobe
Figure GDA0002471287160000471
标准、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.Xvid.FFmpeg、x264、VP6-8、realvideo、mp3等进行编码。编码过程产生可选地打包以传递到远程装置上的解码器的视频流。视频流的特征在于帧大小和帧速率。典型的帧大小包括800x 600、1280x 720(例如,720p)、1024x 768,但可使用任何其他帧大小。帧速率是每秒视频帧数。视频流可包括不同类型的视频帧。例如,H.264标准包括“P”帧和“I”帧。I帧包括用于刷新显示装置上的所有宏块/像素的信息,而P帧包括用于刷新其子集的信息。P帧的数据大小通常比I帧更小。如本文所使用,术语“帧大小”是指帧内的像素的数量。术语“帧数据大小”用于指代存储帧所需的字节数。
在替代实施方案中,视频源1430包括诸如相机的视频记录装置。这个相机可用于产生可包括在计算机游戏的视频流中的延迟或实况视频。所得到的视频流可选地包括渲染的图像和使用静态或摄像机记录的图像。视频源1430还可包括被配置为存储要包括在视频流中的先前记录的视频的存储装置。视频源1430还可包括被配置为检测对象(例如人)的运动或位置的运动或定位感测装置,以及被配置为基于检测到的运动和/或位置来确定游戏状态或产生视频的逻辑。
视频源1430可选地被配置为提供被配置为放置在其他视频上的覆盖。例如,这些覆盖可包括命令界面、登录指令、到游戏玩家的消息、其他游戏玩家的图像、其他游戏玩家的视频馈送(例如,网络摄像头视频)。在客户端1410A包括触摸屏界面或注视检测界面的实施方案中,覆盖可包括虚拟键盘、操纵杆、触摸板和/或类似物。在覆盖的一个示例中,玩家的语音覆盖在音频流上。视频源1430可选地还包括一个或多个音频源。
在其中视频服务器系统1420被配置为基于来自多于一个玩家的输入来维持游戏状态的实施方案中,每个玩家可具有不同的视角,包括观看的位置和方向。视频源1430可选地被配置为基于他们的视角为每个玩家提供单独的视频流。此外,视频源1430可被配置为向每个客户端1410提供不同的帧大小、帧数据大小和/或编码。视频源1430可选地配置为提供3-D视频。
I/O装置1445被配置用于视频服务器系统1420来发送和/或接收诸如视频、命令、信息请求、游戏状态、注视信息、装置运动、装置位置、用户运动、客户端身份、玩家身份、游戏命令、安全信息、音频和/或类似物等信息。I/O装置1445通常包括诸如网卡或调制解调器等通信硬件。I/O装置1445被配置为与游戏服务器1425、网络1415和/或客户端1410进行通信。
处理器1450被配置为执行逻辑,例如,软件,其包括在本文所讨论的视频服务器系统1420的各种部件中。例如,处理器1450可用软件指令来编程,以便执行视频源1430、游戏服务器1425和/或客户端限定符1460的功能。视频服务器系统1420可选地包括处理器1450的多于一个的实例。处理器1450还可用软件指令进行编程,以便执行由视频服务器系统1420接收的命令,或协调本文所讨论的游戏系统1400的各种元件的操作。处理器1450可包括一个或多个硬件装置。处理器1450是电子处理器。
存储装置1455包括非暂时的模拟和/或数字存储装置。例如,存储装置1455可包括被配置为存储视频帧的模拟存储装置。存储装置1455可包括计算机可读数字存储装置,例如硬盘驱动器、光驱或固态存储装置。存储装置1415被配置(例如,通过适当的数据结构或文件系统)为存储视频帧、人造帧、包括视频帧和人造帧的视频流、音频帧、音频流和/或类似物。存储装置1455可选地分布在多个装置中。在一些实施方案中,存储装置1455被配置为存储本文别处讨论的视频源1430的软件部件。这些部件可以在需要时准备供应的格式存储。
视频服务器系统1420可选地还包括客户端限定符1460。客户端限定符1460被配置为远程确定客户端的能力,诸如客户端1410A或1410B。这些能力可包括客户端1410A本身的能力以及客户端1410A和视频服务器系统1420之间的一个或多个通信信道的能力。例如,客户端限定符1460可被配置为通过网络1415测试通信信道。
客户端限定符1460可手动或自动确定(例如,发现)客户端1410A的能力。手动确定包括与客户端1410A的用户进行通信,并要求用户提供能力。例如,在一些实施方案中,客户端限定符1460被配置为在客户端1410A的浏览器内显示图像、文本和/或类似物。在一个实施方案中,客户端1410A是包括浏览器的HMD。在另一个实施方案中,客户端1410A是具有可在HMD上显示的浏览器的游戏机。显示的对象请求用户输入诸如客户端1410A的操作系统、处理器、视频解码器类型、网络连接类型、显示分辨率等信息。用户输入的信息被传送回客户端限定符1460。
自动确定可例如通过在客户端1410A上执行代理和/或通过向客户端1410A发送测试视频来发生。代理可包括嵌入在网页中或作为附件安装的诸如java脚本等计算指令。代理可选地由客户端限定符1460提供。在各种实施方案中,代理可找到客户端1410A的处理能力、客户端1410A的解码和显示能力、客户端1410A和视频服务器系统1420之间的通信信道的滞后时间可靠性和带宽、客户端1410A的显示类型、存在于客户端1410A上的防火墙、客户端1410A的硬件、在客户端1410A上执行的软件、在客户端1410A内的注册条目和/或类似物。
客户端限定符1460包括存储在计算机可读介质上的硬件、固件和/或软件。客户端限定符1460可选地设置在与视频服务器系统1420的一个或多个其他元件分开的计算装置上。例如,在一些实施方案中,客户端限定符1460被配置为确定客户端1410和视频服务器系统1420的多于一个实例之间的通信信道的特性。在这些实施方案中,客户端限定符发现的信息可用于确定视频服务器系统1420的哪个实例最适合于将流式视频传递到客户端1410之一。
本发明的实施方案可利用包括手持式装置、微处理器系统、基于微处理器或可编程消费电子器件、小型计算机、主机计算机等的各种计算机系统配置来实践。本发明还可在分布式计算环境中实践,其中任务由通过基于有线或无线网络链接的远程处理装置执行。
考虑到上述实施方案,应当理解,本发明可采用涉及存储在计算机系统中的数据的各种计算机实施的操作。这些操作是需要物理量的物理操纵的操作。本文描述的形成本发明一部分的任何操作都是有用的机器操作。本发明还涉及一种用于执行这些操作的装置或设备。所述设备可为所需目的而特别构造,或者所述设备可为由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。特定地,各种通用机器可与根据本文的教导编写的计算机程序一起使用,或者可更方便地构造更专用的设备来执行所需操作。
本发明还可被体现为计算机可读介质上的计算机可读代码。计算机可读介质是可存储数据的任何数据存储装置,所述数据之后可由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络连接存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带和其他光学和非光学数据存储装置。计算机可读介质可包括分布在网络耦合计算机系统上的计算机可读有形介质,使得计算机可读代码以分布式方式被存储和执行。
虽然以特定的顺序描述了方法操作,但是应当理解,可在操作之间执行其他内务操作,或者可调整操作,使得它们在稍微不同的时间发生,或者可分布在系统中,只要以期望的方式执行覆盖操作的处理,则所述系统允许以与处理相关联的各种间隔发生处理操作。
尽管已经出于理解清晰目的相当详细地描述了前述发明,但是应当理解,可在随附权利要求书的范围内实践某些改变和修改。因此,本实施方案被认为是说明性的而不是限制性的,并且本发明不限于本文给出的细节,而是可在本公开的范围和等同物内进行修改。

Claims (40)

1.一种用于跟踪手套指尖的方法,其包括:
使用图像捕获装置来捕获交互式环境的图像;
处理所捕获的图像以跟踪所述交互式环境中的手套接口对象上的可跟踪对象的位置,所述可跟踪对象的跟踪位置限定虚拟环境中虚拟手的位置;
从定位在所述手套接口对象的指尖部分处的多个接近传感器接收手指接近度数据,所述手指接近度数据指示距离以非共线布置定位在所述手套接口对象上的至少三个发射器中的每一个的距离;
处理所述接近度数据以识别所述指尖部分相对于所述发射器的三维位置;
应用所述指尖部分的所述位置来限定所述虚拟环境中所述虚拟手的虚拟手指的姿势,以渲染在头戴式显示器上。
2.根据权利要求1所述的方法,其中接收手指接近度数据是由按时分复用布置的所述发射器的激活和所述接近传感器的读取限定,其中所述接近传感器中的每一个在单个发射器的激活期间被读取,其中所述时分复用布置由所述发射器的重复激活模式来限定,所述重复激活模式提供在单独的时间周期期间激活所述发射器中的每一个,并且在所述发射器的一个给定发射器的所述激活时间周期期间读取所述接近传感器中的每一个。
3.根据权利要求1所述的方法,其中所述至少三个发射器限定至少三个电磁体,所述电磁体以非共线布置定位在所述手套接口对象的手腕部分上。
4.根据权利要求3所述的方法,其中所述多个接近传感器限定五个磁性传感器,所述磁性传感器分别定位在所述手套接口对象的五个指尖部分处。
5.根据权利要求1所述的方法,其中所述可跟踪对象被照亮以促进识别所捕获的图像。
6.根据权利要求1所述的方法,其还包括:
从限定在所述手套接口对象上的取向传感器接收取向数据;
处理所述取向数据以限定所述虚拟环境中所述虚拟手的取向。
7.根据权利要求6所述的方法,其中所述取向传感器选自由加速度计、陀螺仪和磁力计组成的组。
8.一种用于跟踪手套指尖的方法,其包括:
激活定位在手套接口对象上的多个手套发射器;
使用定位在所述手套接口对象的指尖部分处的多个接近传感器来确定所述指尖部分与所述手套发射器的接近度;
响应于确定所述手套接口对象的位置在外围装置的预定义距离内,激活定位在所述外围装置处的多个外围发射器;以及从使用所述接近传感器来确定所述指尖部分与所述手套发射器的所述接近度转变到使用所述接近传感器来确定所述指尖部分与所述外围发射器的接近度。
9.根据权利要求8所述的方法,其中转变包括终止所述手套发射器的所述激活。
10.根据权利要求8所述的方法,其中激活所述手套发射器限定所述手套发射器的循环激活序列,其中在给定的手套发射器的单个激活时间周期期间,从所述接近传感器中的每一个读取接近度数据。
11.根据权利要求8所述的方法,其中确定所述手套接口对象的所述位置在所述外围装置的所述预定义距离内包括处理交互式环境的捕获图像数据,以识别所述手套接口对象的所述位置和所述外围装置的位置。
12.根据权利要求8所述的方法,
其中确定所述手套接口对象的所述位置包括激活所述外围装置上的次级外围发射器;以及使用所述接近传感器来确定所述指尖部分与所述次级外围发射器的接近度;以及
其中转变包括终止所述次级外围发射器的所述激活。
13.根据权利要求8所述的方法,其中所述手套发射器定位在所述手套接口对象的手腕部分处。
14.根据权利要求8所述的方法,其中所述手套发射器和所述外围发射器由电磁体限定,并且所述接近传感器由磁性传感器限定。
15.一种用于与交互式应用介接的系统,其包括:
手套接口对象,所述手套接口对象包括,
多个手套发射器,
定位在所述手套接口对象的指尖部分处的多个接近传感器,所述接近传感器被配置为指示所述指尖部分与所述手套发射器的接近度,
手套控制器,其被配置为控制所述多个手套发射器的激活和所述接近传感器的读取;以及,
外围装置,所述外围装置包括,
多个外围发射器,
外围控制器,其被配置为响应于确定所述手套接口对象的位置在所述外围装置的预定义距离内而激活所述外围发射器;
其中所述接近传感器进一步响应于确定所述手套接口对象的所述位置在所述预定义距离内,而从指示所述指尖部分与所述手套发射器的所述接近度转变成指示所述指尖部分与所述外围发射器的接近度。
16.根据权利要求15所述的系统,其中所述手套控制器被配置为响应于确定所述手套接口对象的所述位置在所述预定义距离内,而终止所述手套发射器的所述激活。
17.根据权利要求15所述的系统,其中所述手套控制器被配置为限定所述手套发射器的循环激活序列,其中在给定的手套发射器的单个激活时间周期期间,从所述接近传感器中的每一个读取接近度数据。
18.根据权利要求15所述的系统,
其中所述外围装置还包括,
次级外围发射器,
其中所述外围控制器被配置为控制所述次级外围发射器的所述激活,所述外围发射器用于确定所述手套接口对象的所述位置;
其中所述手套控制器被配置为读取所述接近传感器以确定所述指尖部分与限定所述手套接口对象的所述位置的所述次级外围发射器的接近度;以及
其中所述外围控制器被配置为进一步响应于确定所述手套接口对象的所述位置在所述预定义距离内,而终止所述次级外围发射器的激活。
19.根据权利要求15所述的系统,其中所述手套发射器定位在所述手套接口对象的手腕部分处。
20.根据权利要求15所述的系统,其中所述手套发射器和所述外围发射器由电磁体限定,并且所述接近传感器由磁性传感器限定。
21.一种手套接口对象,其包括:
多个电磁体,其定位在所述手套接口对象的手腕区域处;
多个磁性传感器,其分别定位在所述手套接口对象的指尖区域处,其中每个磁性传感器被配置为当所述电磁体中的每一个被激活时产生指示距离所述电磁体中的每一个的距离的数据;
控制器,其被配置为以时分复用布置来控制所述电磁体的激活和所述磁性传感器的读取,其中在单个电磁体的激活期间读取所述磁性传感器中的每一个;
传输器,其被配置为将从所述磁性传感器的所述读取中导出的数据传输到计算装置用于处理以产生表示虚拟手的姿势的数据,所述虚拟手能够渲染在头戴式显示器上呈现的虚拟环境中。
22.根据权利要求21所述的手套接口对象,其中所述时分复用布置由所述电磁体的重复激活模式限定,所述重复激活模式在单独的时间周期期间提供激活所述电磁体中的每一个,并且在所述电磁体中的一个给定电磁体的所述激活时间周期期间读取所述磁性传感器中的每一个。
23.根据权利要求21所述的手套接口对象,其中所述多个电磁体限定以非共线布置定位在所述手腕区域上的至少三个电磁体。
24.根据权利要求21所述的手套接口对象,其中所述多个磁性传感器限定分别定位在所述手套接口对象的五个指尖区域处的五个磁性传感器。
25.根据权利要求21所述的手套接口对象,其中所述多个磁性传感器中的每一个被配置为响应于由所述电磁体中的一个产生的磁场而产生电压。
26.根据权利要求21所述的手套接口对象,其还包括:被配置为基于交互式环境中对所述手套接口对象的捕获图像的分析进行跟踪的照亮的可跟踪对象,所述照亮的可跟踪对象的所述跟踪限定所述虚拟手在虚拟环境中的位置。
27.根据权利要求21所述的手套接口对象,其还包括:至少一个惯性传感器,其选自由加速度计、陀螺仪和磁力计组成的组。
28.一种用于跟踪手套指尖的方法,其包括:
串联地激活和去激活定位在手套接口对象的手腕部分处的多个电磁体,以便限定不重叠的所述电磁体中的每一个的激活周期;
在激活所述电磁体中的每一个期间,使用多个磁性传感器感测由被激活的所述电磁体产生的磁场的强度,所述多个磁性传感器分别定位在所述手套接口对象的指尖部分处;
处理所述感测的磁场强度以产生从所述感测的磁场强度导出的数据;
将从所述感测的磁场强度导出的所述数据发送到计算装置用于处理以产生表示虚拟手的姿势的数据,所述虚拟手能够渲染在头戴式显示器上呈现的虚拟环境中,使得所述虚拟手的所述姿势类似于所述手套接口对象的物理姿势。
29.根据权利要求28所述的方法,其中处理所述感测的磁场强度包括确定从所述磁性传感器中的每一个到所述电磁体中的每一个的距离,以及基于所述确定的距离来确定每个磁性传感器与所述多个电磁体的相对位置。
30.根据权利要求29所述的方法,其中限定所述虚拟手的所述姿势的所述处理包括处理每个磁性传感器的所述相对位置,以限定所述虚拟手上的对应虚拟手指的姿势。
31.根据权利要求29所述的方法,其中所述多个电磁体包括以非共线布置定位在所述手套接口对象的所述手腕部分上的至少三个电磁体。
32.根据权利要求31所述的方法,其中给定的磁性传感器与所述多个电磁体的所述相对位置由半径的交点限定,所述半径具有由所述电磁体中的每一个限定的原点和从所述给定的磁性传感器到所述电磁体中的每一个的所述确定距离限定的量值。
33.根据权利要求28所述的方法,其中串联地激活和去激活所述多个电磁体限定所述电磁体的所述激活周期的重复循环。
34.根据权利要求28所述的方法,其中所述多个磁性传感器中的每一个被配置为响应于由所述电磁体中的一个产生的磁场而产生电压。
35.一种用于跟踪手套指尖的方法,其包括:
激活定位在手套接口对象的手腕部分上的第一电磁体,所述第一电磁体的所述激活产生第一磁场;
测量所述手套接口对象的多个指尖部分中的每一个处的所述第一磁场的强度;
去激活所述第一电磁体;
激活定位在所述手套接口对象的所述手腕部分上的第二电磁体,所述第二电磁体的所述激活产生第二磁场;
测量所述手套接口对象的所述多个指尖部分中的每一个处的所述第二磁场的强度;
去激活所述第二电磁体;
激活定位在所述手套接口对象的手腕部分上的第三电磁体,所述第三电磁体的所述激活产生第三磁场;
测量所述手套接口对象的所述多个指尖部分中的每一个处的所述第三磁场的强度;
去激活所述第三电磁体;
对于所述手套接口对象的所述指尖部分中的每一个,基于在所述指尖部分处测量的所述第一、第二和第三磁场的强度来产生指示所述指尖部分的位置的位置数据;
将所述位置数据发送到计算装置用于处理,以产生表示虚拟手的配置的数据,所述虚拟手能够渲染在头戴式显示器上呈现的虚拟环境中,使得所述虚拟手的所述配置类似于所述手套接口对象的物理配置。
36.根据权利要求35所述的方法,
其中所述第一电磁体的所述激活和去激活限定执行所述第一磁场的所述强度测量的所述第一电磁体的激活周期;
其中所述第二电磁体的所述激活和去激活限定执行所述第二磁场的所述强度测量的所述第二电磁体的激活周期;
其中所述第三电磁体的所述激活和去激活限定执行所述第三磁场的所述强度测量的所述第三电磁体的激活周期;
其中所述第一、第二和第三电磁体的所述激活周期不重叠。
37.根据权利要求35所述的方法,其还包括:周期性地执行所述方法的操作的每一个,以便提供所述虚拟手的所述配置和所述手套接口对象的所述物理配置之间的实时对应。
38.根据权利要求35所述的方法,其中给定的指尖部分的所述位置由半径的交点限定,所述半径具有由所述电磁体中的每一个限定的原点和由从所测量的所述磁场强度确定的从所述给定的指尖部分到所述电磁体中的每一个的距离限定的量值。
39.根据权利要求35所述的方法,其中所述第一、第二和第三电磁体以非共线布置定位在所述手套接口对象的所述手腕部分上。
40.根据权利要求35所述的方法,通过定位在所述多个指尖部分处的霍尔效应传感器来测量所述多个指尖部分中的每一个处的所述磁场的所述强度。
CN201680022763.3A 2015-02-20 2016-02-19 带有外围装置的手套指尖的磁性跟踪 Active CN107533369B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562118734P 2015-02-20 2015-02-20
US62/118,734 2015-02-20
US14/687,543 US9665174B2 (en) 2015-02-20 2015-04-15 Magnetic tracking of glove fingertips with peripheral devices
US14/687,543 2015-04-15
PCT/US2016/018743 WO2016134299A1 (en) 2015-02-20 2016-02-19 Magnetic tracking of glove fingertips with peripheral devices

Publications (2)

Publication Number Publication Date
CN107533369A CN107533369A (zh) 2018-01-02
CN107533369B true CN107533369B (zh) 2021-05-07

Family

ID=55661532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680022763.3A Active CN107533369B (zh) 2015-02-20 2016-02-19 带有外围装置的手套指尖的磁性跟踪

Country Status (5)

Country Link
US (1) US9665174B2 (zh)
EP (1) EP3259655B1 (zh)
JP (1) JP6526221B2 (zh)
CN (1) CN107533369B (zh)
WO (1) WO2016134299A1 (zh)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102138510B1 (ko) * 2013-08-27 2020-07-28 엘지전자 주식회사 근접 터치 기능을 구비한 전자 장치 및 그 제어 방법
US9652038B2 (en) * 2015-02-20 2017-05-16 Sony Interactive Entertainment Inc. Magnetic tracking of glove fingertips
US20170108929A1 (en) * 2015-04-28 2017-04-20 Morgan Walker Sinko System and Method for Full Motion Capture and Haptic Feedback Suite
US9921651B2 (en) * 2015-04-29 2018-03-20 International Business Machines Company Video display for visually impaired people
US10416776B2 (en) * 2015-09-24 2019-09-17 International Business Machines Corporation Input device interaction
US10551916B2 (en) 2015-09-24 2020-02-04 Facebook Technologies, Llc Detecting positions of a device based on magnetic fields generated by magnetic field generators at different positions of the device
US9971408B2 (en) 2016-01-27 2018-05-15 Ebay Inc. Simulating touch in a virtual environment
US20170249561A1 (en) * 2016-02-29 2017-08-31 GM Global Technology Operations LLC Robot learning via human-demonstration of tasks with force and position objectives
US10981061B2 (en) * 2016-06-13 2021-04-20 Sony Interactive Entertainment LLC Method and system for directing user attention to a location based game play companion application
TWI638287B (zh) * 2016-09-08 2018-10-11 國立臺灣大學 指觸介面之輸入裝置、系統及其方法
US10599217B1 (en) 2016-09-26 2020-03-24 Facebook Technologies, Llc Kinematic model for hand position
IT201600097954A1 (it) 2016-09-29 2018-03-29 Eric Vezzoli Dispositivo aptico, particolarmente per l’interazione con sistemi di realtà virtuale o realtà aumentata
KR102369905B1 (ko) 2016-10-31 2022-03-03 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
KR20180048227A (ko) 2016-10-31 2018-05-10 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
US10747323B2 (en) 2016-10-31 2020-08-18 Tegway Co., Ltd. Feedback device and method for providing thermal feedback by means of same
US10736576B2 (en) 2016-10-31 2020-08-11 Tegway Co., Ltd. Feedback device and method for providing thermal feedback using the same
WO2018080028A1 (ko) * 2016-10-31 2018-05-03 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
US10241587B2 (en) * 2016-12-22 2019-03-26 Microsoft Technology Licensing, Llc Magnetic tracker power duty cycling
GB2562452B (en) * 2017-02-14 2020-11-04 Sony Interactive Entertainment Europe Ltd Sensing apparatus and method
KR101826911B1 (ko) * 2017-05-31 2018-02-07 주식회사 네비웍스 햅틱 인터랙션 기반 가상현실시뮬레이터 및 그 동작 방법
US20190063950A1 (en) * 2017-08-28 2019-02-28 Microsoft Technology Licensing, Llc Techniques for reducing power consumption in magnetic tracking system
US10712931B2 (en) * 2017-08-29 2020-07-14 Apple Inc. Systems for modifying finger sensations during finger press input events
WO2019045165A1 (ko) 2017-08-31 2019-03-07 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
US10877557B2 (en) 2017-09-29 2020-12-29 Apple Inc. IMU-based glove
FR3074325B1 (fr) * 2017-11-28 2021-11-26 Renault Sas Manipulation d'objets virtuels dans un environnement immersif
US10514545B2 (en) * 2017-12-08 2019-12-24 Facebook Technologies, Llc Selective tracking of a head-mounted display
GB2569603B (en) * 2017-12-21 2020-04-01 Sony Interactive Entertainment Inc Position tracking apparatus and method
CN108279773B (zh) * 2018-01-12 2021-04-09 上海大学 一种基于marg传感器和磁场定位技术的数据手套
US10375632B1 (en) 2018-02-06 2019-08-06 Google Llc Power management for electromagnetic position tracking systems
EP3757725A4 (en) * 2018-02-23 2022-01-05 Mok, Wai Pong INPUT AND HAPTIC FEEDBACK SYSTEM OF VIRTUAL REALITY
US20220083138A1 (en) * 2018-02-23 2022-03-17 Wai Pong MOK Virtual Reality Input and Haptic Feedback System
US10914567B2 (en) * 2018-02-23 2021-02-09 Apple Inc. Magnetic sensor based proximity sensing
US20190294249A1 (en) 2018-03-21 2019-09-26 JANUS Research Group, Inc. Systems and methods for haptic feedback in a virtual reality system
CN110442228A (zh) * 2018-05-02 2019-11-12 宏碁股份有限公司 手势输入装置
US11537219B2 (en) 2018-08-07 2022-12-27 The Research Foundation For The State University Of New York Feedback input apparatus and method for use thereof
EP3617849A1 (en) * 2018-08-27 2020-03-04 Airbus Operations, S.L.U. A real time virtual reality (vr) system and related methods
JP7394776B2 (ja) * 2018-10-02 2023-12-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報提供方法
KR102126765B1 (ko) * 2018-12-13 2020-06-25 정희연 지능발달 놀이기구
EP3677997B1 (en) * 2019-01-03 2021-10-13 HTC Corporation Electronic system and controller
WO2020209864A1 (en) * 2019-04-12 2020-10-15 Google Llc Electromagnetically tracked three-dimensional air mouse
US11107293B2 (en) * 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
GB2583511B (en) 2019-05-02 2024-01-10 Sony Interactive Entertainment Inc Method of and system for controlling the rendering of a video game instance
GB2583535B (en) 2019-05-03 2021-11-10 Sony Interactive Entertainment Inc Data processing
US11099636B1 (en) 2019-07-12 2021-08-24 Rockwell Collins, Inc. Systems and methods for interfacing with head worn display system
US11132058B1 (en) * 2019-09-12 2021-09-28 Facebook Technologies, Llc Spatially offset haptic feedback
CA3161710A1 (en) 2019-12-31 2021-07-08 William Xavier Kerber Proxy controller suit with optional dual range kinematics
US11169001B2 (en) * 2020-01-15 2021-11-09 College Of William & Mary Magnetic-based motion monitoring for two objects sharing common joint
WO2021187111A1 (ja) * 2020-03-19 2021-09-23 ソニーグループ株式会社 情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体、及び身体運動発生システム
WO2021235316A1 (ja) * 2020-05-21 2021-11-25 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
US11320896B2 (en) * 2020-08-03 2022-05-03 Facebook Technologies, Llc. Systems and methods for object tracking using fused data
US11457986B2 (en) * 2020-09-30 2022-10-04 Verb Surgical Inc. Force-feedback gloves for a surgical robotic system
FR3116357B1 (fr) * 2020-11-17 2023-05-12 Commissariat A L’Energie Atomique Et Aux Energies Alternatives Interface homme-machine comportant un gant
US11620783B2 (en) * 2021-05-27 2023-04-04 Ai Thinktank Llc 3D avatar generation and robotic limbs using biomechanical analysis
WO2022249970A1 (ja) * 2021-05-28 2022-12-01 道生 鯉渕 装置又は方法
WO2023037289A1 (en) * 2021-09-10 2023-03-16 Manus Technology Group B.V. Novel self-governing synchronization system and method
WO2023127078A1 (ja) * 2021-12-28 2023-07-06 株式会社ソニー・インタラクティブエンタテインメント 操作装置及び操作システム
WO2023223194A1 (en) * 2022-05-16 2023-11-23 Manus Technology Group B.V. System and method for creating 3d object with tracking
KR102584723B1 (ko) * 2023-03-29 2023-10-04 삼성전자주식회사 활선 감지 웨어러블 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002037466A1 (en) * 2000-11-02 2002-05-10 Essential Reality, Inc Electronic user worn interface device
EP2418562A1 (en) * 2010-08-13 2012-02-15 Deutsches Primatenzentrum GmbH Modelling of hand and arm position and orientation
US8421448B1 (en) * 2010-01-28 2013-04-16 The United States Of America As Represented By The Secretary Of The Navy Hall-effect sensor system for gesture recognition, information coding, and processing
CN103226398A (zh) * 2013-03-25 2013-07-31 上海交通大学 基于微惯性传感器网络技术的数据手套

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4510939A (en) * 1982-12-22 1985-04-16 Biosonics, Inc. Means for transferring electrical energy to and from living tissue
US5581484A (en) * 1994-06-27 1996-12-03 Prince; Kevin R. Finger mounted computer input device
US5742263A (en) * 1995-12-18 1998-04-21 Telxon Corporation Head tracking system for a head mounted display system
US20010040550A1 (en) * 1998-03-12 2001-11-15 Scott Vance Multiple pressure sensors per finger of glove for virtual full typing
JP4921634B2 (ja) * 2000-01-31 2012-04-25 グーグル インコーポレイテッド 表示装置
DE10044169A1 (de) * 2000-09-07 2002-03-21 Daimler Chrysler Ag Verfahren zur zerstörungsfreien Wandstärkenprüfung
US7013490B2 (en) * 2003-06-23 2006-03-21 Magna Products Llc Illuminated glove
US7565295B1 (en) * 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
WO2005111693A1 (ja) * 2004-05-17 2005-11-24 Olympus Corporation 頭部装着型画像表示装置
US8684839B2 (en) * 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
US7662113B2 (en) * 2004-11-05 2010-02-16 California Institute Of Technology Fingertip tracker
US20100023314A1 (en) * 2006-08-13 2010-01-28 Jose Hernandez-Rebollar ASL Glove with 3-Axis Accelerometers
JP2008070319A (ja) * 2006-09-15 2008-03-27 Canon Inc 物体計測装置および方法
JP4926799B2 (ja) * 2006-10-23 2012-05-09 キヤノン株式会社 情報処理装置、情報処理方法
US20080216207A1 (en) * 2007-03-09 2008-09-11 Shen-Hai Tsai Finger pressing massage glove
US20150371083A1 (en) * 2008-04-24 2015-12-24 Ambrus Csaszar Adaptive tracking system for spatial input devices
JP4858512B2 (ja) * 2008-08-21 2012-01-18 ソニー株式会社 頭部装着型ディスプレイ
US8610009B2 (en) * 2008-10-22 2013-12-17 Atmel Corporation Capacitive touch sensors
WO2010085476A1 (en) * 2009-01-20 2010-07-29 Northeastern University Multi-user smartglove for virtual environment-based rehabilitation
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US20120117514A1 (en) * 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
US8971572B1 (en) * 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US9442535B2 (en) * 2012-12-21 2016-09-13 Atmel Corporation Touch sensor with integrated antenna
JP6171353B2 (ja) * 2013-01-18 2017-08-02 株式会社リコー 情報処理装置、システム、情報処理方法およびプログラム
JP5868886B2 (ja) * 2013-03-11 2016-02-24 東芝三菱電機産業システム株式会社 ウェアラブルコンピュータ入力装置
US9857971B2 (en) * 2013-12-02 2018-01-02 Industrial Technology Research Institute System and method for receiving user input and program storage medium thereof
CN103760970A (zh) * 2013-12-20 2014-04-30 北京智谷睿拓技术服务有限公司 一种穿戴式输入系统及输入方法
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10019059B2 (en) * 2014-08-22 2018-07-10 Sony Interactive Entertainment Inc. Glove interface object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002037466A1 (en) * 2000-11-02 2002-05-10 Essential Reality, Inc Electronic user worn interface device
US8421448B1 (en) * 2010-01-28 2013-04-16 The United States Of America As Represented By The Secretary Of The Navy Hall-effect sensor system for gesture recognition, information coding, and processing
EP2418562A1 (en) * 2010-08-13 2012-02-15 Deutsches Primatenzentrum GmbH Modelling of hand and arm position and orientation
CN103226398A (zh) * 2013-03-25 2013-07-31 上海交通大学 基于微惯性传感器网络技术的数据手套

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Development of a Fingertip Glove Equipped with Magnetic Tracking Sensors";Chin-Shyurng Fahn等;《sensors》;20100129;第1119-1140页 *

Also Published As

Publication number Publication date
JP2018512643A (ja) 2018-05-17
CN107533369A (zh) 2018-01-02
US9665174B2 (en) 2017-05-30
EP3259655A1 (en) 2017-12-27
EP3259655B1 (en) 2021-05-12
WO2016134299A1 (en) 2016-08-25
JP6526221B2 (ja) 2019-06-05
US20160246370A1 (en) 2016-08-25

Similar Documents

Publication Publication Date Title
CN107533369B (zh) 带有外围装置的手套指尖的磁性跟踪
US10254833B2 (en) Magnetic tracking of glove interface object
US11842432B2 (en) Handheld controller with finger proximity detection
US10120445B2 (en) Glove interface object with flex sensing and wrist tracking for virtual interaction
US10317997B2 (en) Selection of optimally positioned sensors in a glove interface object
US10275025B2 (en) Gloves that include haptic feedback for use with HMD systems
US10055019B2 (en) Electromagnet-laden glove for haptic pressure feedback
CN112312979A (zh) 电磁场上的头戴式显示器与控制器的时钟同步
Stanković Lecture 6—Input Devices and Tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant