CN110651238A - 虚拟现实/增强现实手持式控制器感测 - Google Patents

虚拟现实/增强现实手持式控制器感测 Download PDF

Info

Publication number
CN110651238A
CN110651238A CN201880033324.1A CN201880033324A CN110651238A CN 110651238 A CN110651238 A CN 110651238A CN 201880033324 A CN201880033324 A CN 201880033324A CN 110651238 A CN110651238 A CN 110651238A
Authority
CN
China
Prior art keywords
sensors
sensor
user
hand
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880033324.1A
Other languages
English (en)
Inventor
德巴尼亚·慕克吉
巴希尔·托梅
萨纳布·巴塔查里亚
巴斯卡尔·瓦达塔伍尔
施布雷·伊姆蒂亚兹·哈桑
春·亚特·弗兰克·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110651238A publication Critical patent/CN110651238A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G06F3/04144—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position using an array of force sensing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0443—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a single layer of sensing electrodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种包括采用与手持式控制器[132]相关联的数个传感器[110]的方法，其中，所述传感器中的每一个由悬停、触摸和力/压力传感器中的一个制成，且通过所述传感器中的一个或多个生成与用户的手和手指相对于所述手持式控制器的位置相关联的传感器数据。所述方法继续组合来自数个传感器的所述传感器数据以形成聚合传感器数据，将所述聚合传感器数据发送到处理器，且基于所述聚合传感器数据生成所述用户的手和手指的估计位置。

Description

虚拟现实/增强现实手持式控制器感测
相关申请的交叉引用
本申请涉及名称为“VIRTUAL REALITY/AUGMENTED REALITY HANDHELDCONTROLLER SENSING(虚拟现实/增强现实手持式控制器感测)”且在2017年11月20日提交的美国临时专利申请62/588,706，该申请的全部内容以引用的方式并入本文。
技术领域
本公开大体上涉及虚拟现实/增强现实(VR/AR)系统，且更具体地涉及用于VR/AR系统的手持式控制。
背景技术
手持式控制器可用于多种应用中，包括控制媒体装置、远程控制的车辆和VR/AR系统。例如，在一个应用中，手持式控制器允许用户移动他们的手和手指来操纵按钮和传感器，以与VR/AR环境中的对象交互。为了支持与VR/AR环境的灵活交互，可在手持式控制器内采用各种类型的传感器，包括但不限于接触开关、机械按钮、滑动开关等，这些传感器将开/关和模拟信号作为输入提供给VR/AR系统。然而，现有的手持式控制器设计不能在VR/AR环境中支持足够的沉浸感，且因此会对用户体验产生负面影响。
附图说明
通过参考附图，可更好地理解本公开，且其许多特征和优点对于本领域的技术人员而言是显而易见的。相同附图标记在不同图式中的使用指示相似或者相同项。
图1是图示根据一些实施例的使用位于多个手持式控制器上的多个传感器的VR/AR系统的图。
图2是根据一些实施例的图1的具有多个手指和手掌传感器的手持式控制器的图。
图3是根据一些实施例的在使用图2的手持式控制器时用以检测手指的存在的电容传感器的图。
图4是根据一些实施例的在使用图2的手持式控制器时用以检测手指的存在的电感传感器的图。
图5是根据一些实施例的基于如由图1的VR/AR系统采用的多个传感器计算图3的手指的位置的方法的流程图。
图6是根据一些实施例的采用位于图2的手持式控制器上的多个传感器以感测图1的VR/AR系统中的用户的一个或多个手指的存在的方法的流程图。
具体实施方式
图1-6图示了用于放置在与VR/AR系统一起使用的手持式控制器上的传感器的方法和设备。多个传感器可采用数种不同形态，包括电容感测、电感感测和对用户的触觉反馈，且可以几何图案(诸如圆形或者六边形)定位在手持式控制器上。在一些实施例中，采用手持式控制器的系统同时使用来自多个传感器的数据(也称为聚合传感器数据)来建立用户的手指和手的位置。这允许系统使用三角测量来确定用户的手指位置，且还可提高传感器的分辨率和灵敏度。另外，通过检测用户的手指何时与传感器实际接触而不是悬停在传感器上方，可使用电感感测来提高电容感测的准确性。在又一其它实施例中，用户的手的手掌通过挤压来向手持式控制器提供力，其中，挤压力可通过位于手持式控制器的握柄中的传感器来检测。
如本文中所描述的手持式控制器使用数种类型的传感器，包括但不限于机械开关型传感器、悬停传感器、触摸传感器和力/压力传感器。在至少一些实施例中，手持式控制器使用采用电容感测的悬停和触摸传感器。电容感测使用自电容测量，且在手指靠近或者接触传感器时用作接近传感器且还用作接触传感器。另一类型的传感器是使用电感感测的力/压力传感器，其中，手指向传感器施加变化的压力水平。压力使传感器内的元件偏转，且提供与施加的压力对应的可变力的测量。在一些实施例中，采用电感感测的传感器还可响应于施加到传感器的压力而产生触觉反馈。在VR/AR环境中，采用这些悬停、触摸和力传感器通过允许更好地控制VR/AR世界内的对象且与之交互来增强VR/AR体验。在一个示例中，采用悬停和力感测允许系统更精确地感测用户的手和手指在手持式控制器上的位置。在另一示例中，悬停感测和触觉反馈使用户能够在VR/AR世界中实际进行接触之前看到他们将要触摸的对象。
图1是图示根据一些实施例的使用位于两个手持式控制器132、134上的多个传感器110的VR/AR系统100的图。图1图示了根据本公开的至少一个实施例的用于向用户提供VR或者AR内容的VR/AR系统100。VR/AR系统100包括HMD装置102和一个或多个外部数据源104。HMD装置102包括壳体106以安装在用户的头部108上。壳体106包含用于向用户显示视觉内容、向用户输出音频内容和追逐HMD装置102的姿势(位置和定向)的各种电子和光学部件，诸如一个或多个近眼显示器112、具有一个或多个基于惯性/移动的传感器的惯性测量单元(IMU)114、处理子系统(处理器)116和一个或多个图像传感器118、120以及一个或多个音频扬声器、镜头或者其它光学元件等(未示出)。
作为VR/AR系统100的操作的一般概述，HMD装置102操作以经由一个或多个近眼显示器112显示视觉内容且经由一个或多个扬声器(未示出)输出音频内容。视觉和音频内容来源于一个或多个外部数据源104，其可包括例如远程服务器、本地笔记本计算机或者台式计算机等。视觉和音频内容经由各种无线通信(诸如IEEE802.11a/b/g/n/ac/ad规范(也称为WiFi规范)中的一个或多个)中的任一个流式传输到处理器116以无线连接到对应无线接入点。在经由WLAN链路接收到视频数据时，处理器116执行存储在一个或多个存储器(未示出)中的软件，以处理接收到的视频数据以渲染图像帧序列，随后将这些图像帧序列显示在近眼显示器112处。同时，处理器116执行软件以连续更新无线手持式控制器132、134的姿势。处理器116可利用来自图像传感器118、120中的一个或多个的图像以及来自一个或多个深度传感器(未示出)的深度信息，来确定HMD装置102的环境中的空间特征，且使用各种视觉遥测技术以有助于确定姿势。无线手持式控制器132、134的当前姿势通常由处理器116用来控制场景的透视，从该场景渲染图像序列以向用户提供沉浸式VR/AR体验。
在一些实施例中，VR/AR系统100利用无线手持式控制器132、134中的一个或两个来使用户能够提供手势命令和其它用户输入以控制VR/AR系统100的操作。同样地，手持式控制器132、134通常包括内部IMU(未示出)，其具有一个或多个位置/惯性传感器以检测用户对手持式控制器132、134的操纵以检测这种运动。用户操作位于手持式控制器132、134上的多个传感器110以控制VR/AR环境内的对象。多个传感器110可使用但不限于电容感测和电感感测，且还可提供触觉反馈以允许用户如本文中所描述地对VR/AR世界中的对象进行详细级别的控制。
电容感测准许用户将一个或多个手指定位成接触或者靠近传感器110，由此允许用户将他们的手指定位成远离传感器110或者物理触摸该传感器110。换句话说，手指可在不触摸传感器110的情况下悬停在传感器110上，或者可直接触摸传感器110。同时，电感感测允许用户通过用户的手指和手向传感器110施加变化的力或者压力水平，该传感器110随后生成将发送到处理器116的准确的力/压力数据。在电容感测和电感感测两个中，传感器110由于用户的手指的位置和对处理器116的力/压力而生成准确的位置和力数据。
触觉反馈通过使用手持式控制器132生成对用户的手的物理响应，改善了用户在VR/AR环境内的体验。物理响应可为点击感觉、振动、对按钮按压的抵抗力、在触摸虚拟对象时的撞击等。在用户与VR/AR环境中的对象进行交互时，手持式控制器132生成触觉反馈。通过用户的电容感测、电感感测和触觉反馈极大地增强了用户对对象的控制和其交互式VR/AR体验。
图2是根据一些实施例的具有多个手指和手掌传感器110的手持式控制器200的图。手持式控制器200是图1的手持式控制器132、134的一个实施例，但其它实施例也是可能的。手持式控制器200用于通过使用定位在手持式控制器200上的多个传感器110来操纵图1的VR/AR系统100中的对象。
手持式控制器200包括手柄202(握柄)、触摸垫204、握柄垫236和触发器240。触摸垫204包括感测用户的手指的存在的多个传感器110。在至少一些实施例中，如本文中所描述，传感器110以几何图案定位在触摸垫204上。在至少一个实施例中，传感器110的输出电组合在一起以形成聚合传感器数据，该聚合传感器数据发送到图1的处理器116以用于确定激活哪个传感器110的进一步分析，且以计算用户的手指的位置和运动。在许多实施例中，握柄垫236包括握柄传感器238，该握柄传感器检测用户的手的手掌的存在，且在一些实施例中，还可检测手施加到握柄垫236的力的大小。握柄传感器238可为接触传感器、电容传感器或者电感传感器，其中，其它实施例是可能的。在至少一些实施例中，握柄传感器238还可向用户的手提供触觉反馈。
触摸垫204定位在手持式控制器200上的位置处，以允许有利的手指控制且如本文中所描述允许用户容易地访问传感器110。触摸垫204可包括包含多个传感器110的一个区域，或者可将触摸垫204划分为多个区域，其中，每个区域具有定位于其内的专用传感器110。在至少一些实施例中，传感器110以圆形、三角形或者矩形图案定位在触摸垫204上，而在其它实施例中，该图案由使用同心六边形形状的两个区域组成。其它图案是可能的，而不是限制性的。传感器110以已知的图案布置，以允许处理器116准确地对用户的手指位置进行三角测量。在图2中所示出的本实施例中，一个这种图案分别使用两个同心的外和内六边形206、208，其中，在每个六边形206、208上部署了6个传感器，且在六边形206、208的中心部署了1个传感器。
在图2中所示出的实施例中，触摸垫204包括13个传感器110，其中，传感器A 210定位在触摸垫204的中心处，传感器B、C、D、E、F和G、212、214、216、218、220和222分别沿内六边形208定位，且传感器H、I、J、K、L和M、224、226、228、230、232和234分别沿外六边形206定位。每个传感器110可为电容式或电感式、机械开关或者另一类型的传感器或者切换机构。其它实施例也是可能的，其中，本实施例仅为一个示例。
在至少一些实施例中，可组合来自传感器110的输出以形成聚合传感器数据，将该聚合传感器数据发送到处理器116以通过算法进一步计算。如在图5中更详细地描述，算法使用聚合传感器数据来确定用户的一个或多个手指在传感器110上的X和Y坐标。将多个传感器的输出组合在一起使得处理器116能够在3-D空间中形成围绕传感器110的手和手指的位置的准确估计。在一些实施例中，来自力/压力传感器110的输出用于通过检测用户的手指何时与电容传感器110接触或悬停在其上方来提高电容传感器110的准确度。同样在一些实施例中，可分析来自两个或更多个单独区域的测量以确定手指位置和定向。
在至少一个实施例中，触摸垫204上的传感器110包括悬停、触摸和力传感器110，而握柄传感器238包括力传感器110，且触发器240并入力传感器110。通过分别组合来自外和内六边形206、208的测量且使用测量来对用户的手指的位置进行三角测量，传感器110可用作悬停传感器。其它实施例是可能的，包括分别或以手持式控制器200的触摸垫204或者握柄202上的图案或者区域布置的悬停、触摸和力传感器的任何组合。
图3是根据一些实施例的在使用图2的手持式控制器200时用以检测用户的手指320的存在的电容传感器300的图。电容传感器300包括由层压层302、覆盖层304和接地平面306制成的印刷电路板结构，其中，接地平面306夹在层压层302与覆盖层304之间。接地平面306电连接到大地。接地平面306内存在一个或多个基本电容器308。基本电容器308发射电磁(EM)场312，该电磁场穿过覆盖层304且延伸超出覆盖层304的表面的距离。手指320具有固有的触摸电容322，该固有的触摸电容连接到用户身体的其它地方的虚拟接地324。虚拟接地324也电连接到大地。在手指320在EM场312附近时，由于触摸电容322，该手指开始影响EM场312。在手指320朝着基本电容器308移动时，该手指会引入EM场312大小的变化，且朝着基本电容器308的持续移动对EM场312具有更强的影响。可将EM场312中的变化测量为在基本电容器308处感测到的电流和电压值的变化，其中，将电流和电压值发送到图1的处理器116。以这种方式，可通过处理器116或者位于手持式控制器200中的处理器来检测手指320的存在和相对位置。悬停和触摸传感器110中都使用了电容传感器形态。
在一些实施例中，除了测量基本电容器308的电流和电压值的变化之外，处理器116还追踪电容传感器300的电流和电压，以建立基线电压和电流值。在电容传感器300未检测到手指320的存在时，会发生这种情况。这个过程称为“基线追踪程序”。基线追踪程序用于监视电容传感器300的环境电流和电压值的变化(漂移)，且由此可检测到相对于基线值的变化。基线追踪程序还可补偿基本电容器308的基线电容中的较小偏移。同样地，在电容传感器300未检测到手指320的存在时，处理器116可执行重新校准功能以重置电容传感器300的基线电流和电压值。可如处理器116所定义周期性地执行这些重新校准程序。在手指320在电容传感器300附近时，基线追踪程序和周期性重新校准功能都被禁用。
图4是根据一些实施例的在使用图2的手持式控制器200时用以检测用户的手指320的存在的电感传感器400的图。电感传感器400位于印刷电路板上，且包括与线圈404平行并在物理上与该线圈分开一小距离的金属平面402，其中，线圈404是具有电感值的电感器。在对象将外力406施加到金属平面402时，诸如在手指320按压在电感传感器400上时，金属平面402相对于线圈404经历偏转408。由于金属平面402与线圈404接近，因此偏转408导致线圈404的电感变化。根据楞次定律，金属平面402距线圈404越近，线圈404的电感越小。处理器116以通过线圈404的电流和电压的变化的形式来检测电感值的变化。以这种方式，可通过处理器116或者位于手持式控制器200中的处理器来检测手指320的存在和施加的力。由此，电感传感器400用于测量手指320施加的可变力或者压力。力/压力传感器110采用如本文中所描述的电感传感器。
在一些实施例中，电感传感器400还并入滞后功能以及对用户的手指320的触觉反馈。如应用于本公开的滞后响应于按钮或者传感器被激活而引入迟延或者延迟。滞后防止传感器响应于输入(诸如手指320)而意外地快速循环或者弹跳。滞后通过使传感器110的响应变平滑而有助于用户在VR/AR环境中的体验。同样地，触觉反馈可通过向用户施加力、振动或者运动来重创建触摸感。这种机械刺激用于帮助在VR/AR环境中创建和实现虚拟对象。
图5是根据一些实施例的基于如由图1的VR/AR系统100采用的多个传感器110计算图3的用户的手指320的位置的方法500的流程图。在本实施例中，方法500使用电容传感器300，但是采用其它类型的传感器的其它实施例也是可能的。方法500只是用于计算手指320相对于图2的手持式控制器200的位置的算法的一个实施例，且其它实施例也是可能的。在本实施例中，手持式控制器200与触摸垫204一起使用，该触摸板具有以同心六边形图案布置且形成两个不同区域的十三个传感器110。方法500从框502开始，其中，VR/AR系统100经由来自手持式控制器200的有线或者无线通信路径从十三个传感器获得测量。接下来，在框504处，方法500基于十三个测量来确定传感器测量值的中值或者第7大值。在框506处，VR/AR系统100从十三个测量组中的每一个减去中值传感器测量值。接下来，在框508处，使用6个最大测量值来执行质心程序，以获得手指320的X和Y位置。质心程序包括计算所有测量的几何中心，且通过计算6个测量的算术平均值来表示。在框510处，经由卡尔曼滤波器使质心程序的结果通过滤波过程，以提高数据的分辨率且使误差最小化。接下来，在框512处，将来自质心和滤波程序的结果表示为X_Position和Y_Position值。X_Position和Y_Position值表示手指相对于十三个传感器110的位置。另外，在一些实施例中，可由处理器116通过基于计算和记录手指随时间而变的位置来计算手指320的X_Velocity和Y_Velocity值来计算手指320随时间而变的移动数据。
图6是根据一些实施例的采用位于图2的手持式控制器200上的多个传感器110以感测图1的VR/AR系统100中的用户的一个或多个手指的存在的方法600的流程图。方法600包括在框602处使用手持式控制器200的用户的手和手指移动，其中，手持式控制器200采用以本文中所公开的几何图案布置在触摸垫204上的传感器110。接下来，在决策框604处，处理器116确定悬停、触摸或者力传感器中的任一个是否检测到手指320的任何移动。如果一个或多个传感器110检测到移动，则方法600在框606处继续进行收集传感器测量数据。然而，如果传感器110未检测到手指320移动，则处理器116在框612处开始基线追踪程序，且在框614处开始传感器重新校准功能。之后，方法600返回到决策框604，以等待传感器110检测到手指移动。
假设在决策框604处检测到手指移动，则方法600在框606处继续进行来自悬停、触摸和力传感器110的传感器数据的组合以形成聚合传感器数据。将这个数据发送到处理器116。在框608处，方法600继续由处理器116将算法应用于聚合传感器数据。算法可为图5的方法500或者用于分析传感器测量数据的其它过程。接下来，在框610处，方法600继续由处理器116使用从聚合传感器数据得出的X_Position和Y_Position变量来计算用户的手指320的估计位置。另外，如本文中所描述，方法600还可通过使用来自先前测量的当前和历史数据以确定手指320随时间而变的X_Velocity和Y_Velocity来计算手指320的运动。
在一些实施例中，方法包括：采用与手持式控制器相关联的多个传感器，其中，多个传感器中的每一个包括悬停、触摸和力/压力传感器中的一个；通过多个传感器中的一个或多个生成与用户的手和一个或多个手指与手持式控制器的位置相关联的传感器数据；组合来自多个传感器的传感器数据以形成聚合传感器数据；将聚合传感器数据发送到处理器；且基于聚合传感器数据生成用户的手和一个或多个手指的估计位置。在一个方面中，传感器中的至少一个是使用电容感测来感测用户的手或者一个或多个手指的位置的悬停或者触摸传感器。在另一方面中，传感器中的至少一个是使用电感感测来感测用户的手或者一个或多个手指何时与力/压力传感器接触的力/压力传感器。
在另一方面中，处理器执行基线追踪程序以为多个传感器中的每一个建立基线电流和电压值。在又一方面中，处理器执行算法以将作为力/压力传感器的传感器中的一个或多个的输出与作为悬停或者触摸传感器的传感器中的一个组合，以检测用户的手指的存在。在再一方面中，传感器包括定位于手持式控制器的触发器上的力/压力传感器，其中，力/压力传感器提供连续的传感器数据流，这些传感器数据流指示用户的手和手指对触发器施加的力。在又一方面中，多个传感器中的至少一个对用户的手和/或用户的手指中的一个或多个采用触觉反馈。在另一方面中，将与手持式控制器相关联的触摸垫划分为两个或更多个区域，其中，每个区域包括多个传感器中的至少一个。在再一方面中，区域的形状为六边形。
在一些实施例中，方法包括：采用与手持式控制器相关联的多个传感器，其中，多个传感器中的每一个包括悬停、触摸和力/压力传感器中的一个，并将多个传感器以一定的图案定位在位于手持式控制器上的触摸垫上；通过多个传感器中的至少三个来感测用户的手指的接触和/或接近，且通过多个传感器中的至少三个来生成与用户的手指相对于手持式控制器的位置相关联的传感器数据；组合来自多个传感器的传感器数据以形成聚合传感器数据；将聚合传感器数据发送到处理器；以及通过处理器执行算法来计算手指在三个维度上的位置，其中，手指的位置通过三角测量使用聚合传感器数据中的来自多个传感器中的至少三个的传感器数据来确定。在一个方面中，多个传感器中的至少三个中的每一个使用电容感测和电感感测中的一个。
在另一方面中，算法包括：从多个传感器中的至少三个中的N个传感器中获得一组测量；从每次测量中减去中值测量值；识别一组(N-1)/2个测量值；计算该组(N-1)/2个测量值的算术平均值；以及根据算术平均值形成X_Position和Y_Position值。在又一方面中，方法包括采用定位于手持式控制器的触发器上的力/压力传感器，其中，力/压力传感器提供连续的传感器数据流，这些传感器数据流指示用户的手和手指对触发器施加的力。
在一些实施例中，设备包括：手持式控制器；触摸垫，其位于手持式控制器上；多个传感器，其定位在触摸垫上，其中，每个传感器是悬停、触摸或者力/压力传感器，每个传感器布置成感测用户的手或者手指何时接近或者接触传感器；设备形成由同时来自传感器中的多个传感器的传感器数据组成的聚合传感器数据；以及处理器，其中，处理器使用聚合传感器数据执行算法。在一个方面中，多个传感器中的每一个使用电容感测和电感感测中的一个。在另一方面中，设备包括采用至少一个力/压力传感器的手持式控制器的握柄。在又一方面中，多个传感器中的至少一个对用户的手和/或一个或多个手指采用触觉反馈。在再一方面中，触摸垫使传感器中的至少三个能够与用户的手指中的一个或多个接触或者接近，且至少三个传感器用于对至少一个这种手指的位置进行三角测量。
在一个方面中，定位于触摸垫上的多个传感器由以双六边形图案布置的多个电容传感器组成，且双六边形图案由以同心布置的外六边形和内六边形组成，且多个传感器中的一个位于双六边形图案的中心处。在另一方面中，聚合传感器数据通过组合来自与外六边形相关联的至少一个传感器和与内六边形相关联的一个传感器的电容感测测量形成。
在一些实施例中，上文所描述的技术的某些方面可由执行软件的处理系统的一个或多个处理器来实施。软件包括可执行指令的一个或多个集合，这些可执行指令存储或者以其它方式有形地体现在非暂时性计算机可读存储介质上。软件可包括在由一个或多个处理器执行时操纵一个或多个处理器以执行上文所描述的技术的一个或多个方面的指令和某些数据。例如，非暂时性计算机可读存储介质可包括磁盘或者光盘存储装置、固态存储装置(诸如闪速存储器、缓存、随机存取存储器(RAM)或者一个或多个其它非易失性存储器装置)等。存储在非暂时性计算机可读存储介质上的可执行指令可呈现源代码、汇编语言代码、目标代码或者由一个或多个处理器解译或者可以其它方式执行的其它指令格式的形式。
计算机可读存储介质可包括在使用期间可由计算机系统访问以向计算机系统提供指令和/或数据的任何存储介质或者存储介质的组合。这种存储介质可包括但不限于光学介质(例如光盘(CD)、数字致密盘(DVD)、蓝光光盘)、磁性介质(例如软盘、磁带或者磁性硬盘驱动器)、易失性存储器(例如随机存取存储器(RAM)或者缓存)、非易失性存储器(例如只读存储器(ROM)或者闪速存储器)或者基于微机电系统(MEMS)的存储介质。计算机可读存储介质可嵌入于计算系统(例如系统RAM或者ROM)中，可固定地附接至计算系统(例如磁性硬盘驱动器)，可拆卸地附接至计算系统(例如光盘或者基于通用串行总线(USB)的闪速存储器)，或者可经由有线或者无线网络(例如网络可访问存储(NAS))耦合至计算机系统。
注意，并非需要上文一般描述中所描述的所有活动或者元件，可能不需要特定活动或者装置的一部分，且除了上文所描述的活动和元件之外，还可执行一个或多个其它活动或者可包括一个或多个其它元件。又进一步地，列举活动的次序不必是执行活动的次序。同样，已经参照特定实施例来描述概念。然而，本领域的普通技术人员要了解，在不脱离如以下权利要求书中所阐述的本公开的范围的情况下，可进行各种修改和改变。因此，说明书和附图都应该被理解为示意性的，而非限制性的，并且所有这种修改都旨在被包括在本公开的范围内。
上文已经关于特定实施例来描述益处、其它优点和问题的解决方案。然而，益处、优点、问题的解决方案以及可能导致任何益处、优点或者解决方案出现或者变得更加明显的任何一个或多个特征都不解释为任何或者所有权利要求的关键性、所需或者必要的特征。此外，上文所公开的具体实施例仅为示意性的，因为可以对于受益于本文中教导的本领域的技术人员而言显而易见的不同但等效的方式来修改和实践所公开主题。除了如下文权利要求书中所描述之外，不旨在限制于本文中所示出的结构或者设计的细节。因此，明显的是，可更改或者修改上文所公开的具体实施例，且将所有这种变型视为在所公开主题的范围内。因此，本文中所寻求的保护如下文权利要求书中所阐述。

Claims (20)

1.一种方法，包括：
采用与手持式控制器相关联的多个传感器，其中，所述多个传感器中的每一个传感器包括以下中的一个：悬停传感器、触摸传感器和力/压力传感器；
通过所述多个传感器中的一个或多个传感器，生成与用户的手和一个或多个手指相对于所述手持式控制器的位置相关联的传感器数据；
组合来自所述多个传感器的所述传感器数据以形成聚合传感器数据；
将所述聚合传感器数据发送到处理器；以及
基于所述聚合传感器数据生成用户的手和一个或多个手指的估计位置。
2.根据权利要求1所述的方法，其中，传感器中的至少一个传感器是使用电容感测来感测所述用户的手或者一个或多个手指的所述位置的悬停传感器或者触摸传感器。
3.根据权利要求1或2所述的方法，其中，所述传感器中的至少一个传感器是使用电感感测来感测所述用户的手或者一个或多个手指何时与力/压力传感器接触的所述力/压力传感器。
4.根据任一前述权利要求所述的方法，其中，所述处理器执行基线追踪程序以为所述多个传感器中的每一个传感器建立基线电流和电压值。
5.根据任一前述权利要求所述的方法，其中，所述处理器执行算法以将作为力/压力传感器的所述传感器中的一个或多个传感器的输出与作为悬停传感器或者触摸传感器的所述传感器中的一个传感器组合，以检测所述用户的手指的存在。
6.根据任一前述权利要求所述的方法，其中，所述传感器包括定位于所述手持式控制器的触发器上的力/压力传感器，其中，所述力/压力传感器提供连续的传感器数据流，所述传感器数据流指示所述用户的手和手指对所述触发器施加的力。
7.根据任一前述权利要求所述的方法，其中，所述多个传感器中的至少一个传感器对所述用户的手和/或所述用户的手指中的一个或多个手指采用触觉反馈。
8.根据任一前述权利要求所述的方法，其中，与所述手持式控制器相关联的触摸垫被划分为两个或更多个区域，其中，每个区域包括所述多个传感器中的至少一个传感器。
9.根据权利要求8所述的方法，其中，所述区域的形状为六边形。
10.一种方法，包括：
采用与手持式控制器相关联的多个传感器，
其中，所述多个传感器中的每一个传感器包括以下中的一个：悬停传感器、触摸传感器和力/压力传感器传感器，并且将所述多个传感器以一定的图案定位在位于所述手持式控制器上的触摸垫上；
通过所述多个传感器中的至少三个传感器来感测用户的手指的接触和/或接近，并且通过所述多个传感器中的所述至少三个传感器来生成与所述用户的手指相对于所述手持式控制器的位置相关联的传感器数据；
组合来自所述多个传感器的所述传感器数据以形成聚合传感器数据；
将所述聚合传感器数据发送到处理器；以及
通过所述处理器执行算法来在三个维度上计算所述手指的位置，其中，所述手指的所述位置通过三角测量使用所述聚合传感器数据中的来自所述多个传感器中的所述至少三个传感器的所述传感器数据来确定。
11.根据权利要求10所述的方法，其中，所述多个传感器中的所述至少三个传感器中的每一个使用电容感测和电感感测中的一个。
12.根据权利要求10或11所述的方法，其中，所述算法包括：
从所述多个传感器中的所述至少三个传感器中的N个传感器中获得一组测量；
从每次测量中减去中值测量值；
识别一组(N-1)/2个测量值；
计算所述组(N-1)/2个测量值的算术平均值；以及
根据所述算术平均值形成X_Position和Y_Position值。
13.根据权利要求10至12中任一项所述的方法，进一步包括采用定位于所述手持式控制器的触发器上的力/压力传感器，其中，所述力/压力传感器提供连续的传感器数据流，所述传感器数据流指示所述用户的手和手指对所述触发器施加的力。
14.一种设备，包括：
手持式控制器；
触摸垫，所述触摸垫位于所述手持式控制器上；
多个传感器，所述多个传感器定位在所述触摸垫上，其中，每个传感器是悬停传感器、触摸传感器或者力/压力传感器，每个传感器被布置成感测用户的手或者手指何时接近或者接触所述传感器；
所述设备形成由同时来自所述传感器中的多个传感器的传感器数据组成的聚合传感器数据；以及
处理器，其中，所述处理器使用所述聚合传感器数据执行算法。
15.根据权利要求14所述的设备，其中，所述多个传感器中的每一个传感器使用电容感测和电感感测中的一个。
16.根据权利要求14或15所述的设备，进一步包括采用至少一个力/压力传感器的所述手持式控制器的握柄。
17.根据权利要求14至16中任一项所述的设备，其中，所述多个传感器中的至少一个传感器对所述用户的手和/或一个或多个手指采用触觉反馈。
18.根据权利要求14至17中任一项所述的设备，其中，所述触摸垫使所述传感器中的至少三个传感器能够与所述用户的手指中的一个或多个手指接触或者接近，并且其中，所述至少三个传感器用于对至少一个这种手指的位置进行三角测量。
19.根据权利要求14至18中任一项所述的设备，
其中，定位于所述触摸垫上的所述多个传感器由以双六边形图案布置的多个电容传感器组成，以及
其中，所述双六边形图案由以同心布置的外六边形和内六边形组成，以及
其中，所述多个传感器中的一个传感器位于所述双六边形图案的中心处。
20.根据权利要求19所述的设备，其中，所述聚合传感器数据通过组合来自与所述外六边形相关联的至少一个传感器和与所述内六边形相关联的一个传感器的电容感测测量而形成。
CN201880033324.1A 2017-11-20 2018-10-15 虚拟现实/增强现实手持式控制器感测 Pending CN110651238A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762588706P 2017-11-20 2017-11-20
US62/588,706 2017-11-20
US16/111,702 2018-08-24
US16/111,702 US10599259B2 (en) 2017-11-20 2018-08-24 Virtual reality / augmented reality handheld controller sensing
PCT/US2018/055808 WO2019099132A1 (en) 2017-11-20 2018-10-15 Virtual reality / augmented reality handheld controller sensing

Publications (1)

Publication Number Publication Date
CN110651238A true CN110651238A (zh) 2020-01-03

Family

ID=66533939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880033324.1A Pending CN110651238A (zh) 2017-11-20 2018-10-15 虚拟现实/增强现实手持式控制器感测

Country Status (5)

Country Link
US (1) US10599259B2 (zh)
EP (2) EP4180924A1 (zh)
KR (1) KR102281883B1 (zh)
CN (1) CN110651238A (zh)
WO (1) WO2019099132A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
KR20230152180A (ko) 2017-12-10 2023-11-02 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
CA3086206A1 (en) 2017-12-20 2019-06-27 Magic Leap, Inc. Insert for augmented reality viewing device
EP3766039A4 (en) 2018-03-15 2021-04-07 Magic Leap, Inc. IMAGE CORRECTION BY DEFORMING COMPONENTS OF A VIEWING DEVICE
WO2019231850A1 (en) 2018-05-31 2019-12-05 Magic Leap, Inc. Radar head pose localization
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020023545A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
WO2020028834A1 (en) 2018-08-02 2020-02-06 Magic Leap, Inc. A viewing system with interpupillary distance compensation based on head motion
CN112789544B (zh) 2018-08-03 2023-06-30 奇跃公司 图腾在用户交互系统中的融合姿势的基于未融合姿势的漂移校正
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ， インコーポレイテッド 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ
US10948980B2 (en) * 2019-05-10 2021-03-16 Apple Inc. Electronic device system with controllers
US11042247B2 (en) 2019-06-14 2021-06-22 Valve Corporation Cluster-based sensor assignment
WO2021021670A1 (en) * 2019-07-26 2021-02-04 Magic Leap, Inc. Systems and methods for augmented reality
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
USD991267S1 (en) 2020-12-18 2023-07-04 Google Llc Display screen or portion thereof with graphical user interface
USD991266S1 (en) 2020-12-18 2023-07-04 Google Llc Display screen or portion thereof with graphical user interface
USD983816S1 (en) * 2020-12-22 2023-04-18 Google Llc Display screen or portion thereof with animated graphical user interface
USD983815S1 (en) * 2020-12-22 2023-04-18 Google Llc Display screen or portion thereof with animated graphical user interface
KR102526843B1 (ko) 2021-04-22 2023-04-27 한국기술교육대학교 산학협력단 증강현실 기반의 시촉각 ar 매체

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020015024A1 (en) * 1998-01-26 2002-02-07 University Of Delaware Method and apparatus for integrating manual input
US20140218642A1 (en) * 2011-10-05 2014-08-07 Fujifilm Corporation Conductive sheet, touch panel, display device, method for producing conductive sheet, and recording medium
US20140267002A1 (en) * 2013-03-13 2014-09-18 Aliphcom Proximity-based control of media devices for media presentations
US20160162031A1 (en) * 2012-05-09 2016-06-09 Apple Inc. Thresholds for Determining Feedback in Computing Devices
US20160170532A1 (en) * 2014-12-15 2016-06-16 Nxp B.V. User interface unit, electronic device and manufacturing method
WO2016140924A1 (en) * 2015-03-01 2016-09-09 Tactical Haptics Embedded grasp sensing devices, systems, and methods
US20170097689A1 (en) * 2015-10-02 2017-04-06 Blackberry Limited Method and apparatus for movable assembly position sensing and virtual keyboard display

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9422911D0 (en) 1994-11-14 1995-01-04 Moonstone Technology Ltd Capacitive touch detectors
US20070057922A1 (en) 2005-09-13 2007-03-15 International Business Machines Corporation Input having concentric touch pads
US8535133B2 (en) * 2009-11-16 2013-09-17 Broadcom Corporation Video game with controller sensing player inappropriate activity
US8203502B1 (en) * 2011-05-25 2012-06-19 Google Inc. Wearable heads-up display with integrated finger-tracking input sensor
US8878823B1 (en) 2011-07-27 2014-11-04 Cypress Semiconductor Corporation Dynamic shield electrode of a stylus
WO2015048582A1 (en) 2013-09-27 2015-04-02 Sensel, Inc. Resistive touch sensor system and method
US10025439B2 (en) 2015-04-02 2018-07-17 Parade Technologies, Ltd. Virtual sensor mirroring for circular touch panels
US9999833B2 (en) 2015-06-11 2018-06-19 Oculus Vr, Llc Hand-held controllers with capacitive touch sensors for virtual-reality systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020015024A1 (en) * 1998-01-26 2002-02-07 University Of Delaware Method and apparatus for integrating manual input
US20140218642A1 (en) * 2011-10-05 2014-08-07 Fujifilm Corporation Conductive sheet, touch panel, display device, method for producing conductive sheet, and recording medium
US20160162031A1 (en) * 2012-05-09 2016-06-09 Apple Inc. Thresholds for Determining Feedback in Computing Devices
US20140267002A1 (en) * 2013-03-13 2014-09-18 Aliphcom Proximity-based control of media devices for media presentations
US20160170532A1 (en) * 2014-12-15 2016-06-16 Nxp B.V. User interface unit, electronic device and manufacturing method
WO2016140924A1 (en) * 2015-03-01 2016-09-09 Tactical Haptics Embedded grasp sensing devices, systems, and methods
US20170097689A1 (en) * 2015-10-02 2017-04-06 Blackberry Limited Method and apparatus for movable assembly position sensing and virtual keyboard display

Also Published As

Publication number Publication date
KR20200003841A (ko) 2020-01-10
WO2019099132A1 (en) 2019-05-23
EP3602256B1 (en) 2023-02-15
KR102281883B1 (ko) 2021-07-28
EP3602256A1 (en) 2020-02-05
EP4180924A1 (en) 2023-05-17
US10599259B2 (en) 2020-03-24
US20190155439A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
EP3602256B1 (en) Virtual reality / augmented reality handheld controller sensing
US10514780B2 (en) Input device
US10289192B2 (en) Embedded grasp sensing devices, systems, and methods
US9999833B2 (en) Hand-held controllers with capacitive touch sensors for virtual-reality systems
US9575562B2 (en) User interface systems and methods for managing multiple regions
US8830189B2 (en) Device and method for monitoring the object's behavior
EP2907004B1 (en) Touchless input for a user interface
US20190294258A1 (en) Touch sensitive keyboard
US20200310561A1 (en) Input device for use in 2d and 3d environments
US20110109577A1 (en) Method and apparatus with proximity touch detection
WO2012032515A1 (en) Device and method for controlling the behavior of virtual objects on a display
WO2013096623A1 (en) Device and method for emulating a touch screen using force information
WO2018190890A1 (en) Hand-held controller using segemented capacitive touch trigger
US9405383B2 (en) Device and method for disambiguating region presses on a capacitive sensing device
CN108475123A (zh) 电子装置及其控制方法
WO2013055571A1 (en) Information input apparatus and method for controlling information input apparatus
US11209916B1 (en) Dominant hand usage for an augmented/virtual reality device
US20150261330A1 (en) Method of using finger surface area change on touch-screen devices - simulating pressure
CN205318322U (zh) 一种虚拟现实触感反馈装置
US20160098142A1 (en) Palm gesture detection
KR101588021B1 (ko) 헤드 마우스
Chatterjee et al. Design of a touch sensor based single finger operated wearable user-interface terminal
CA2789926C (en) Slither sensor
EP3374847B1 (en) Controlling operation of a 3d tracking device
EP3388919A1 (en) Hand-held controller using segmented capacitive touch trigger

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination