CN103189816B - 具有多点触控显示器的触觉装置 - Google Patents

具有多点触控显示器的触觉装置 Download PDF

Info

Publication number
CN103189816B
CN103189816B CN201180052739.1A CN201180052739A CN103189816B CN 103189816 B CN103189816 B CN 103189816B CN 201180052739 A CN201180052739 A CN 201180052739A CN 103189816 B CN103189816 B CN 103189816B
Authority
CN
China
Prior art keywords
haptic device
touch display
point touch
identifying
display surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180052739.1A
Other languages
English (en)
Other versions
CN103189816A (zh
Inventor
F·J·博格桑伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN103189816A publication Critical patent/CN103189816A/zh
Application granted granted Critical
Publication of CN103189816B publication Critical patent/CN103189816B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F3/00—Board games; Raffle games
    • A63F3/00003—Types of board games
    • A63F3/00075—War games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F3/00—Board games; Raffle games
    • A63F3/00643—Electric board games; Electric features of board games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0205—Lever arrangements for operating keyboard cursor control keys in a joystick-like manner
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于将一个或多个触觉装置与多点触控显示器集成的计算机实现的处理的一说明性实施例识别多点触控显示表面上的一个或多个触觉装置以形成经识别的触觉装置的集合；校准该多点触控显示表面上的所述经识别的触觉装置，其中校准提供该多点触控显示表面的子集上的区域化触觉互动；及实现至所述经识别的触觉装置的反馈。

Description

具有多点触控显示器的触觉装置
技术领域
本发明一般地涉及数据处理系统中的输入装置，且更具体地，涉及校准数据处理系统中的具有多点触控显示器的一个或多个触觉装置。
背景技术
术语“触觉”指代对触摸的感测。触觉技术涉及使用对施加力、振动和／或运动的触摸的感测而与使用者对接的人类计算机互动装置。多点触控显示器支持对显示器表面上的多个互动点的感测。实例多点触控系统通常包括智能型装置，诸如具有触敏式屏幕的电话及具有触控式屏幕的信息站。多点触控感测延伸超出对人类指尖的检测，且取决于所采用的感测技术，可包括对多种实体对象及视觉标记的检测。
一个或多个触觉装置与视觉显示器的组合已知为“触觉一视觉系统”。可共置这样的系统，其中触觉互动与视觉显示空间重叠。自二十世纪六十年代末以来已开发若干触觉一视觉系统。大多数触觉一视觉系统包含反射于半镀银镜中的液晶显示器(LcD)或阴极射线管(cRT)桌上型监视器，其中触觉装置安装于该镜后方。使用者通过查看镜而观察由监视器投影的立体影像以使得由影像表示的虚拟对象看起来位于镜后，且持有触觉装置。组合效应为一只手与虚拟对象或环境互动，其中使用者可看见及触摸虚拟对象，就好像虚拟对象为实体对象一样。然而，典型的大规模系统使用不同设计，其中大型触觉装置位于大型显示表面前方。
上文所描述的触觉一视觉系统合并有用于力反馈的机器人装置。替代触觉装置已与显示装置集成，包括：提供有限显示变形或振动反馈的触感显示器(诸如，来自Pacinian C0叩0ration(http://www.pacinian.com/)的技术)；使用被动抗力(passive resistance)在显示表面上仿真控制接口工具集的实体接口工具集(诸如，聚硅氧照明的活动的周边装置(SLAP)接口工具集(http://doi.acm.org/10.1145/l51870l.15l8779))；及使用磁感应在显示表面上移动对象(诸如，由主动式桌面(Proactive Desk)实施例(http://dx.doi.org/10.1109/VR.2006.110))所提供。
个人触觉-视觉系统通常限制实体上邻近的同事之间的合作。在给定时刻，仅一个使用者可与此系统互动。个人触觉-视觉系统归因于其对小规模显示装置的使用也限制视觉内容上下文。归因于重叠的实体工作空间及触觉装置之间的碰撞的高机率，在个人触觉-视觉系统中增加触觉装置的数目(例如)以支持双手互动为困难的。大规模触觉-视觉系统将可由触觉装置存取的工作空间限制于视觉显示表面的固定子集，且另外混淆视觉显示器的实质部分与触觉装置的部分。归因于在使用者的注意力集中于视觉显示器上时大型机器人(触觉)装置极接近于使用者的身体及头部，大规模触觉-视觉系统也造成安全性风险。
触感显示器及活动的周边装置将触觉工作空间限制于显示平面。使用者仅在使用者的手指与显示表面接触时感觉到触觉反馈，在立体投影的视觉虚拟环境中，此情形为严重限制。
在触觉装置的领域中，若干当前解决方案为可用的，包括在触控笔(手写笔)中使用电磁装置或电阻性圆珠笔头(resistive ballpoint)以用于获得力反馈的二维触觉-视觉系统。描述与多个触控笔的互动。二维触觉-视觉系统基本上为活动的周边装置，然而其具有限制。
解决方案的另一实例可视为振动-触感显示器的简单式扩充以适应多点触控感测。先前陈述的振动-触感显示器系统的类似变化(例如)通过提供在不检查显示器的情况下定位图形使用者接口工具集的能力而在携带型装置中提供对非视觉反馈的强调。
在当前解决方案的另一实例中，呈现触感显示器的变体，其中显示器的表面响应于使用者的触摸或响应于强调二维图形使用者接口(GUI)元素(诸如，活动中按钮接口工具集)而变形。实例解决方案具有与当前可用的其它触感显示器类似的限制。
在当前解决方案的另一实例中，显示器(一些显示器为触敏式，一些显示器不为触敏式)及实体按钮(诸如，游戏控制器上的那些按钮)的组合提供装置可作为整体振动或实体按钮可提供力反馈的能力。运动或反馈可为(例如)拒绝响应于显示于显示器中之一上的某物及来自使用者的实体按钮或触控式屏幕按压的组合而压下。
在另一实例中，触觉触控笔提供多种振动效应。举例而言，除提供触觉反馈的致动器安装于触控笔中而非安装于显示器中外，振动触觉触控笔类似于触感显示系统。如先前所描述的触感多点触控显示器上的另一变化包括附着至使用者的手指而非附着至如先前所陈述的触控笔或显示器的触感组件。
现有触觉-视觉系统限制共置的触觉-视觉互动的规模，阻碍多个同时使用者之间的合作，且在较大型系统中经由将大型机器人装置置成极接近于使用者的头部而冒有安全性风险并增加成本。
发明内容
根据一实施例，呈现一种用于将一个或多个触觉装置与多点触控显示器集成的计算机实现的处理。该计算机实现的处理识别在多点触控显示表面上的一个或多个触觉装置以形成经识别的触觉装置的集合且校准该多点触控显示表面上的所述经识别的触觉装置，其中校准提供该多点触控显示表面的子集上的区域化触觉互动。该计算机实现的处理进一步实现至所述经识别的触觉装置的反馈。
根据另一实施例，呈现一种用于将一个或多个触觉装置与多点触控显示器集成的计算机程序产品。该计算机程序产品包含一计算机可记录型媒体，该计算机可记录型媒体含有存储于其上的计算机可执行程序代码。该计算机可执行程序代码包含：用于识别在多点触控显示表面上的一个或多个触觉装置以形成经识别的触觉装置的集合的计算机可执行程序代码；用于校准该多点触控显示表面上的所述经识别的触觉装置的计算机可执行程序代码，其中校准提供该多点触控显示表面的子集上的区域化触觉互动；及用于实现至所述经识别的触觉装置的反馈的计算机可执行程序代码。
根据另一实施例，呈现一种用于将一个或多个触觉装置与多点触控显示器集成的设备。该设备包含：通信结构(communications fabric)；存储器，其连接至该通信结构，其中该存储器含有计算机可执行程序代码；通信单元，其连接至该通信结构；输入/输出单元，其连接至该通信结构；显示器，其连接至该通信结构；及处理器单元，其连接至该通信结构。该处理器单元执行该计算机可执行程序代码以指导该设备进行以下操作：识别在多点触控显示表面上的一个或多个触觉装置以形成经识别的触觉装置的集合；校准该多点触控显示表面上的所述经识别的触觉装置，其中校准提供该多点触控显示表面的子集上的区域化触觉互动；及实现至所述经识别的触觉装置的反馈。
附图说明
图1为可操作以用于本发明的各种实施例的例示性数据处理系统的方块图；
图2为根据本发明的各种实施例的触觉视觉反馈系统的方块图；
图3为根据本发明的一实施例的与多点触控表面一起操作的触觉装置的立体简图；
图4为根据本发明的一实施例的多点触控显示器上的触觉工作空间投影的立体简图；
图5为根据本发明的一实施例的特定触觉装置占据面积的立体简图；及
图6为根据本发明的一实施例的将触觉装置与多点触控显示器集成的程序的流程图。
具体实施方式
为了达成对本发明的更全面理解，现参考结合随附附图及详细描述进行的以下简单说明，其中相似参考数字表示相似部分。
虽然下文提供一个或多个实施例的说明性实施，但所公开的系统和/或方法可使用任何数目种技术来实施。本发明不应以任何方式限于以下所说明的说明性实施、附图及技术(包括本文中所说明并描述的例示性设计及实施)，而可在附加权利要求范围的范围连同其等效物的整个范围内进行修改。
如本领域技术人员应了解，本发明的方面可体现为系统、方法或计算机程序产品。相应地，本发明的方面可采用完全硬件实施例、完全软件实施例(包括固体、常驻软件、微码等)或组合软体方面与硬体方面的实施例的形式，所述实施例在本文中均可通称为“电路”、“模块”或“系统”。此外，本发明的方面可采用体现于一个或多个计算机可读介质中的计算机程序产品的形式，该一个或多个计算机可读介质具有体现于其上的计算机可读程序代码。
可利用一个或多个计算机可读介质的任何组合。计算机可读介质可为计算机可读信号媒体或计算机可读存储媒体。计算机可读存储媒体可为(例如，但不限于)电子、磁性、光学、电磁、红外线或半导体系统、设备或装置，或前述系统、设备或装置的任何合适组合。计算机可读存储媒体的更特定实例(非详尽清单)将包括以下各个：具有一条或多条导线的电连接件、携带型计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可程序化只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CDROM)、光学存储装置，或磁性存储装置，或前述各个的任何合适组合。在本文件的上下文中，计算机可读存储媒体可为可含有或存储供指令执行系统、设备或装置使用或结合指令执行系统、设备或装置而使用的程序的任何有形媒体。
计算机可读信号媒体可包括经传播的数据信号，该经传播的数据信号具有体现于其中的计算机可读程序代码(例如，在基频中或作为载波的部分)。此经传播的信号可采用多种形式，包括(但不限于)电磁、光学或其任何合适组合。计算机可读信号媒体可为并非计算机可读存储媒体且可传达、传播或输送供指令执行系统、设备或装置使用或结合指令执行系统、设备或装置而使用的程序的任何计算机可读介质。
可使用任何适当媒体来传输体现于计算机可读介质上的程序代码，该媒体包括(但不限于)无线、有线、光纤缆线、RF等，或前述各个的任何合适组合。
可以一种或多种程序设计语言的任何组合来撰写用于执行本发明的方面的操作的计算机程序码，该一种或多种程序设计语言包括诸如JavaTM、Smalltalk、C++或其类似者的对象导向式程序设计语言及诸如“C”程序设计语言或类似程序设计语言的公知程序性程序设计语言。Java以及所有基于Java的商标及标志为在美国、其它国家或其两者中的SunMicrosystems,Inc.的商标。程序代码可完全在使用者计算机上执行，部分地在使用者计算机上执行，作为独立软件包而执行，部分地在使用者计算机上执行且部分地在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种情形中，远程计算机可经由任何类型的网络(包括局域网络(LAN)或广域网络(WAN))连接至使用者计算机，或可连接至外部计算机(例如，使用因特网服务提供者经由因特网)。
下文参考根据本发明的实施例的方法、设备、(系统)及计算机程序产品的流程图说明和/或方块图来描述本发明的方面。应理解，可通过计算机程序指令来实施所述流程图说明和/或方块图中的每一区块及所述流程图说明和/或方块图中的区块的组合。
可将这样的计算机程序指令提供至通用计算机、专用计算机或其它可程序化数据处理设备的处理器以产生机器，使得经由该计算机或其它可程序化数据处理设备的处理器而执行的指令产生用于实施在该或所述流程图和/或方块图区块中所指定的功能/动作的构件。
也可将这样的计算机程序指令存储于计算机可读介质中，其可指导计算机或其它可程序化数据处理设备以特定方式起作用，使得存储于计算机可读介质中的指令产生制造对象，该制造对象包括实施在该或所述流程图和/或方块图区块中所指定的功能/动作的指令。
也可将所述计算机程序指令加载至计算机或其它可程序化数据处理设备上，以使一系列操作步骤在计算机或其它可程序化设备上执行以产生计算机实现的处理，使得在计算机或其它可程序化设备上执行的指令提供用于实施在该或所述流程图和/或方块图区块中所指定的功能/动作的程序。
现转而参看图1，呈现可操作以用于本发明的各种实施例的例示性数据处理系统的方块图。在此说明性实例中，数据处理系统100包括通信结构102，通信结构102在处理器单元104、存储器106、永久存储器108、通信单元110、输入/输出(I/O)单元112与显示器114之间提供通信。
处理器单元104用以执行可加载至存储器106中的软件的指令。取决于特定实施，处理器单元104可为一个或多个处理器的集合或可为多处理器核心。另外，可使用一个或多个异质处理器系统来实施处理器单元104，在所述处理器系统中存在主处理器，其中次要处理器在单一芯片上。作为另一说明性实例，处理器单元104可为含有相同类型的多个处理器的对称多处理器系统。
存储器106及永久存储器108为存储装置116的实例。存储装置为能够(例如)在无限制的情况下存储信息(诸如，数据、呈函数形式的程序代码，和/或基于暂时和/或基于永久的其它合适信息)的任何硬件零件。在这样的实例中，存储器106可为(例如)随机存取存储器或任何其它合适的易失性或非易失性存储装置。取决于特定实施，永久存储器108可采用各种形式。举例而言，永久存储器108可含有一个或多个组件或装置。举例而言，永久存储器108可为硬盘机、闪存、可重写光盘、可重写磁带，或以上各个的某一组合。永久存储器108所使用的媒体也可为抽取式的。举例而言，抽取式硬盘机可用于永久存储器108。
在这样的实例中，通信单元110提供与其它数据处理系统或装置的通信。在这样的实例中，通信单元110为网络适配卡。通信单元110可经由使用实体及无线通信链路中的任一个或两个来提供通信。
输入/输出单元112允许通过可连接至数据处理系统100的其它装置输入及输出数据。举例而言，输入/输出单元112可为经由键盘、鼠标和/或一些其它合适输入装置的使用者输入提供连接。另外，输入/输出单元112可将输出发送至打印机。显示器114提供机构以向使用者显示信息。
用于操作系统、应用程序和/或程序的指令可位于经由通信结构102与处理器单元104通信的存储装置116内。在这样的说明性实例中，指令以函数形式处于永久存储器108上。这样的指令可加载至存储器106中以供处理器单元104执行。可通过处理器单元104使用可位于存储器(诸如，存储器106)中的计算机实施指令来执行不同实施例的程序。
这样的指令被称为可由处理器单元104中的处理器读取及执行的程序代码、计算机可用程序代码或计算机可读程序代码。不同实施例中的程序代码可体现于不同实体或有形计算机可读介质(诸如，存储器106或永久存储器108)上。
程序代码118以函数形式位于为选择性抽取的计算机可读介质120上且可加载至数据处理系统100上或转移至数据处理系统100以供处理器单元104执行。在这样的实例中，程序代码118及计算机可读介质120形成计算机程序产品122。在一实例中，计算机可读介质120可呈有形形式，诸如插入或置于驱动器中的光盘或磁盘，或为用于转移至存储装置上的永久存储器108的部分的其它装置(诸如，为永久存储器108的部分的硬盘机)。在有形形式下，计算机可读介质120也可采用连接至数据处理系统100的永久存储器(诸如，硬盘机、随身碟或闪存)的形式。计算机可读介质120的有形形式也被称为计算机可记录存储媒体。在一些例子中，计算机可读介质120可不为抽取式的。
或者，可经由至通信单元110的通信链路和/或经由至输入/输出单元112的连接将程序代码118自计算机可读介质120转移至数据处理系统100。在说明性实例中，通信链路和/或连接可为实体或无线的。计算机可读介质也可采用含有程序代码的无形媒体(诸如，通信链路或无线传输)的形式。
在一些说明性实施例中，可经由网络将程序代码118自用于在数据处理系统100内使用的另一装置或数据处理系统下载至永久存储器108。举例而言，可经由网络将存储于服务器数据处理系统中的计算机可读存储媒体中的程序代码自服务器下载至数据处理系统100。提供程序代码118的数据处理系统可为服务器计算机、客户端计算机或能够存储及传输程序代码118的一些其它装置。
针对数据处理系统100而说明的不同组件并不打算提供对可实施不同实施例的方式的架构性限制。不同的说明性实施例可实施于包括除针对数据处理系统100而说明的那些组件外或代替针对数据处理系统100而说明那些组件的组件的数据处理系统中。图1中所展示的其它组件可自所展示的说明性实例变化。可使用能够执行程序代码的任何硬件装置或系统来实施不同实施例。作为一实例，数据处理系统可包括与无机组件集成的有机组件和/或可完全由排除人类的有机组件组成。举例而言，存储装置可由有机半导体组成。
作为另一实例，数据处理系统100中的存储装置可为可存储数据的任何硬设备。存储器106、永久存储器108及计算机可读介质120为呈有形形式的存储装置的实例。
在另一实例中，总线系统可用以实施通信结构102且可由一个或多个总线(诸如，系统总线或输入/输出总线)组成。当然，可使用在附接至总线系统的不同组件或装置之间提供数据转移的任何合适类型的架构来实施总线系统。另外，通信单元可包括用以传输及接收数据的一个或多个装置，诸如调制解调器或网络配接器。另外，存储器可为(例如)存储器106或高速缓存(诸如，发现于可存在于通信结构102中的接口及存储器控制器集线器中的高速缓存)。
根据一说明性实施例，呈现用于将一个或多个触觉装置与多点触控显示器集成的计算机实现的处理。使用图1的数据处理系统100作为实例，说明性实施例提供用于将一个或多个触觉装置与多点触控显示器集成的计算机实现的处理，其存储于存储器106中、由处理器单元104执行。处理器单元104识别在多点触控显示表面上的一个或多个触觉装置以形成经识别的触觉装置的集合及校准多点触控显示表面上的经识别的触觉装置，其中校准提供多点触控显示表面的子集上的区域化触觉互动。处理器单元104进一步实现至经识别的触觉装置的反馈。在另一实例中，呈现用于将一个或多个触觉装置与多点触控显示器集成的计算机实现的处理，其使用存储于存储器106中或存储为计算机程序产品122的程序代码118。
在一替代实施例中，含有计算机实现的处理的程序代码118可作为计算机程序产品122存储于计算机可读介质120内。在另一说明性实施例中，用于将一个或多个触觉装置与多点触控显示器集成的程序可实施于包含以下各个的设备中：通信结构；存储器，其连接至该通信结构，其中该存储器含有计算机可执行程序代码；通信单元，其连接至该通信结构；输入/输出单元，其连接至该通信结构；显示器，其连接至该通信结构；及处理器单元，其连接至该通信结构。该设备的该处理器单元执行计算机可执行程序代码以指导设备执行程序。
参看图2，呈现根据本发明的各种实施例的触觉视觉反馈系统的方块图。系统200为用以校准触觉及视觉反馈的触觉视觉反馈系统的实例。系统200提供相对于触觉工作空间与显示器相关的方式而校准触觉及视觉反馈的能力。举例而言，经由触觉装置表示手术刀且经由显示表面以视觉方式表示人类器官的外科仿真系统可校准触觉及视觉反馈，使得触觉装置末端执行器的尖端与人类器官的视觉呈现的观察到的相交将符合呈现在相交点处的所显示人类器官中的切口的视觉更新及呈现手术刀与人类器官之间的接触的经由触觉装置的力反馈。
系统200的组件提供将一个或多个小规模商品(commodity)触觉装置直接置于感测多点触控显示器上及在该表面上动态地移动触觉装置的能力。系统200的实施例通常解决共置的触觉-视觉系统中的规模问题、多个同时使用者之间的合作问题，从而改良安全性且在将触觉装置与大规模视觉显示器集成时减少成本。
系统200为商品触觉装置202与多点触控显示表面204的组合，其实现显示表面的子集上的区域化触觉互动。一个或多个触觉装置202被置于多点触控显示表面204上且多点触控显示表面204使用诸如检测208的机制来感测在表面上的存在。系统200自动地校准触觉及视觉反馈，在一个或多个触觉装置202被重新定位时重新校准，且在多点触控显示表面204不再感测到一个或多个触觉装置202的存在时停用触觉反馈。
触觉工作空间投影206为多点触控显示表面204的表面上的投影区域。投影为显示器的区域，其中经由至相关联触觉装置的执行器(包括控点(handle))的反馈，与所显示的影像的实体互动为可能的。识别210判定哪一特定触觉装置为活动中的且相应地计算各别工作空间投影。识别210也可针对同质装置集合中的触觉装置的出现而提供区别标记以区别一装置与另一类似装置。形状/标记212提供存储库以存储、维持及查找与触觉装置相关联的形状及标记。举例而言，可比较所检测的形状与形状/标记212中的所存储形状以自多个触觉装置识别特定触觉装置。可根据所检测的触觉装置的规格而将反馈通知传达至该触觉装置。
与先前可用的个人触觉-视觉工作台相比较，系统200使得多个使用者能够围绕显示桌的表面而合作，每一使用者具有与视觉信息进行触觉互动的能力，其中触觉互动发生于较大显示区域上。对使用触觉装置202及大多点触控显示表面204的支持使得能够同时使用多个触觉装置而无与各别触觉装置相关联的工作空间之间的实体冲突。另外，相比个人触觉-视觉工作台，多点触控显示表面204的大显示表面通常提供更多视觉内容上下文以用于使用者互动。
与当前较大规模的触觉-视觉显示器相比较，归因于对商品触觉装置(触觉装置202)的使用，系统200通常具有显著较低的成本，且具有改良的安全性。在使用者将注意力集中于视觉显示器上时，大规模触觉-视觉显示器系统通常将使用者置成极接近于大机器人装置。与这样的系统对比，在自显示表面移除触觉装置时，系统200实现触觉反馈的自动脱离，使用较小的商品触觉装置能够施加较低的力且不再将触觉装置置成极接近于使用者的头部。归因于动态地重新定位触觉装置的能力，系统200也提供整个显示表面上的高保真度触觉互动，而对于触觉互动，大规模触觉-视觉显示器以甜蜜点(sweet spot)为特征且因此归因于触觉装置的固定底座及有限到达范围而不会完全地覆盖显示表面。
与触感显示器(诸如，来自Pacinian Corporation的那些触感显示器)及活动的周边装置(诸如，聚硅氧照明的活动的周边装置接口工具集)相比，系统200提供具有多个自由度的三维高保真度触觉互动。商品触觉装置通常允许比触感显示器更一般的触觉互动，包括在虚拟实境模拟中手持型工具的模拟。
参看图3，呈现根据本发明的一实施例的与多点触控表面一起操作的触觉装置的立体简图。系统300描绘使用多点触控表面的在使用者与触觉装置之间的实例互动。
使用者302通常使用控点或其它控制机构来在多点触控表面304上操纵触觉装置306。触觉工作空间308为在不需在多点触控表面304上移动触觉装置306的底座的情况下可由触觉装置306的末端执行器到达的三维空间区。
参看图4，呈现根据本发明的一实施例的多点触控显示器上的触觉工作空间投影的立体简图。图4为触觉装置与图3的多点触控显示桌的组合的实例，其提供显示区域的子集上的区域化触觉互动。
视图400表示多点触控显示桌、多点触控显示表面402与两个商品触觉装置(展示为触觉装置404)的组合，其用以提供多点触控显示表面402的经界定子集上的区域化触觉互动。触觉装置404为能够在三个或三个以上自由度上提供触觉反馈的具有小工作空间及高保真度感测的低成本装置。相对低成本的装置的实例包括PHANTOMOmni(http://www.sensable.com/haptic-phantom-omni.htm)及Falcon(http://home.novint.com/)。包括DiamondTouch(http://www.circletwelve.com/products/diamondtouch.html)及MicrosoftSurface(http://www.microsoft.com/surface/)的多点触控显示桌的实例提供比商品触觉装置的工作空间大的显示区域。举例而言，DiamondTouch具有86cm×65cm的活动中显示区域，而PHANTOM Omni具有16cm×7cm的工作空间及12cm的高度。因此，在将诸如触觉装置404中之一的商品触觉装置置于多点触控显示桌上时，触觉工作空间仅包括多点触控显示桌的活动中视觉显示区域的子集。将多个触觉装置置于多点触控显示桌上提供显示器的若干子集(描绘为触觉工作空间投影406)上的触觉反馈。
将一个或多个触觉装置404置于多点触控显示表面402上，且该桌感测触觉装置404在表面上的存在。多点触控显示表面402能够感测置于显示表面上的对象的形状。诸如PHANTOM Omni及Falcon的触觉装置404具有独特成形的底座，使得能够将触觉装置在显示表面上的置放容易地与其它接触装置或组件(诸如，指尖)区别。可通过同一标准构件来检测多个异质装置的同时存在以支持显示器的若干子集上的触觉反馈。可使用诸如针对薄形状因子交互式表面技术(诸如，来自(Microsoft为在美国和/或其它国家中的Microsoft Corporation的注册商标)的ThinSight显示表面)所描述的那些标记的标记来区别多个同质装置。
系统自动地校准触觉及视觉反馈，在重新定位触觉装置时重新校准。类似地，在未由显示器感测到触觉装置的存在时停用触觉反馈。触觉装置底座的独特形状进一步使得系统(诸如，系统400)能够识别触觉装置404在多点触控显示表面402上的位置及定向，此识别又允许相对于所显示影像校准触觉装置末端执行器的所感测位置及定向，从而在触觉装置的工作空间内提供共置的触觉-视觉互动。
可通过提升装置底座及将装置置于桌上的别处或通过滑动装置底座而动态地将触觉装置404重新定位于多点触控显示表面402上。一旦触觉装置底座停止移动，则通过先前所描述的构件感测新位置及定向。重新校准触觉反馈以针对显示表面的可能不同子集提供共置的触觉-视觉互动。在自多点触控显示表面402移除触觉装置404时，与触觉装置404相关联的工作空间未与多点触控显示表面402的任何部分共置。在此情况下，可停用触觉反馈以避免来自看不见的源的力反馈且由此增加安全性。类似地，在触觉装置404跨越多点触控显示表面402而滑动时，触觉装置404可意外地与显示于多点触控显示表面402上的虚拟对象互动，因此也可停用触觉反馈且在(例如)通过保持于同一位置处达界定的时间周期而感测到装置底座的位置及定向已稳定时重新启用触觉反馈。
参看图5，呈现根据本发明的一实施例的特定触觉装置占据面积的立体简图。形状500为代表当前可用的典型的触觉装置占据面积形状的实例。
形状502代表将对象区别为Phantom Omni装置底座轮廓的占据面积。形状504代表将对象区别为Falcon装置底座轮廓的占据面积。图4的多点触控显示表面402能够感测置于各别显示表面上的对象的形状。诸如PHANTOM Omni及Novint Falcon的触觉装置404具有如图5中所展示的独特成形的底座，因此触觉装置在显示表面上的置放通常可容易地与其它触觉组件(诸如，操作者的指尖)区别。区别触觉装置的所感测位置及定向的能力进一步使得能够校准触觉装置末端执行器。
参看图6，呈现将触觉装置与多点触控显示器集成的程序的流程图。程序600为使用图2的系统200的程序的实例。
程序600开始(步骤602)且判定是否检测到触觉装置的存在(步骤604)。在作出未检测到触觉装置的存在的判定时，程序600循环返回以执行步骤604。在作出检测到一个或多个触觉装置的存在的判定时，程序600识别一个或多个经检测的触觉装置以形成经识别的触觉装置的集合(步骤606)。一集合含有一个或多个触觉装置。
程序600校准置于多点触控显示表面上的经识别的触觉装置的集合(步骤608)。校准提供多点触控显示表面的子集上的区域化触觉互动。多点触控显示表面的子集经计算为与各别经识别的触觉装置相关联的触觉工作空间的集合。程序600实现经由经识别的触觉装置的反馈物理反馈(步骤610)。适于触觉装置及情形的额外听觉、视觉或感官反馈的组合可经由其它装置来提供。反馈打算对使用者指示触觉装置相对于多点触控显示表面的调节有意义。
程序600判定经识别的触觉装置的位置或定向是否已改变(步骤612)。在作出经识别的触觉装置的位置或定向已改变的判定时(是)，程序600循环返回以执行如前所述的步骤608。在作出经识别的触觉装置的位置及定向尚未改变的判定时，程序600判定经识别的触觉装置的位置或定向是否正在改变(步骤614)。
在作出经识别的触觉装置的位置或定向正在改变的判定时(是)，程序600停用对经识别的触觉装置的反馈，且等待稳定的位置及定向(步骤616)。等待时间为可针对触觉装置而配置的预定持续时间且可设定为缺省时间周期。程序600继续进行步骤618。
在作出经识别的触觉装置的位置及定向并不正在改变的判定时，程序600判定是否检测到经识别的触觉装置的存在(步骤618)。在作出检测到经识别的触觉装置的存在的判定时，程序600终止(步骤622)。在作出未检测到经识别的触觉装置的存在的判定时，程序600停用对经识别的触觉装置的反馈(步骤620)且此后终止(步骤622)。在程序600判定未检测到经识别的触觉装置时，程序600推测触觉装置不再存在于多点触控显示表面上且因此应不再考虑反馈通信。
因此，在一实施例中存在一种用于将一个或多个触觉装置与多点触控显示器集成的计算机实现的处理。计算机实现的处理识别在多点触控显示表面上的一个或多个触觉装置以形成经识别的触觉装置的集合。计算机实现的处理进一步校准多点触控显示表面上的经识别的触觉装置，其中校准提供多点触控显示表面的子集上的区域化触觉互动且实现至经识别的触觉装置的反馈。
诸图中的流程图及方块图说明根据本发明的各种实施例的系统、方法及计算机程序产品的可能实施的架构、功能性及操作。就此而言，流程图或方块图中的每一区块可表示程序代码的模块、片段或部分，其包含用于实施所指定的逻辑功能的一个或多个可执行指令。也应注意，在一些替代实施中，区块中所提的功能可能不按诸图中所提的次序发生。举例而言，取决于所涉及的功能性，接连展示的两个区块实际上可实质上同时执行，或所述区块有时可按相反次序执行。也应注意，可通过执行所指定的功能或动作的基于专用硬件的系统或专用硬件与计算机指令的组合来实施方块图和/或流程图说明中的每一区块以及方块图和/或流程图说明中的区块的组合。
以下权利要求范围中的所有构件或步骤附加功能组件的相应结构、材料、动作及等效物打算包括用于结合如特定所主张的其它所主张组件执行功能的任何结构、材料或动作。已出于说明及描述的目的呈现本发明的描述，但该描述并不打算为详尽的或将本发明限于呈所公开的形式。在不脱离本发明的范围及精神的情况下，许多修改及变化对于一般本领域技术人员将显而易见。选择且描述实施例以便最好地解释本发明的原理及实际应用，且使其它一般本领域技术人员能够针对具有如适合于所涵盖的特定用途的各种修改的各种实施例来理解本发明。
本发明可采用完全硬件实施例、完全软件实施例或含有硬件及软件组件两者的实施例的形式。在较佳实施例中，本发明以软件来实施，软件包括(但不限于)固体、常驻软件、微码及可由本领域技术人员识别的其它软件媒体。
注意以下内容为重要的：虽然已在完全起作用的数据处理系统的情况下描述了本发明，但一般本领域技术人员将了解，本发明的程序能够以指令的计算机可读介质的形式及多种形式而散布，且无论载送实际用以进行该散布的媒体的信号的特定类型如何，本发明同样适用。计算机可读介质的实例包括可记录型媒体(诸如，软性磁盘、硬盘机、RAM、CD-ROM、DVD-ROM)及传输型媒体(诸如，数字及模拟通信链路、使用诸如射频及光波传输的传输形式的有线或无线通信链路)。计算机可读介质可采用经译码以用于在特定数据处理系统中实际使用的编码格式的形式。
适合于存储和/或执行程序代码的数据处理系统将包括直接或经由系统总线间接地耦接至存储器组件的至少一处理器。存储器组件可包括在程序代码的实际执行期间所使用的区域存储器、大容量存储器及高速缓存，高速缓存提供至少某一程序代码的暂时存储，以便减少在执行期间必须自大容量存储器提取程序代码的次数。
输入/输出或I/O装置(包括(但不限于)键盘、显示器、指针装置等)可直接地或经由中间I/O控制器耦接至系统。
网络配接器也可耦接至系统以使数据处理系统能够经由中间的私用或公用网络而耦接至其它数据处理系统或远程打印机或存储装置。调制解调器、缆线调制解调器及以太网络卡仅为当前可用类型的网络配接器中的少数几种。
为了达成说明及描述的目的已呈现本发明的描述，且其并不打算为详尽的或将本发明限制于所公开的形式。许多修改及变化对于一般本领域技术人员而言将为显而易见的。选择且描述实施例以便最佳地解释本发明的原理、实际应用，且使得其它一般本领域技术人员能够针对具有如适合于所涵盖的特定用途的各种修改的各种实施例来理解本发明。

Claims (13)

1.一种用于将一个或多个触觉装置与多点触控显示器集成的计算机实现的方法，包含：
识别置于多点触控显示表面上的一个或多个触觉装置以形成经识别的触觉装置的集合；
校准该多点触控显示表面上的经识别的触觉装置的集合，其中校准提供该多点触控显示表面的子集上的区域化触觉互动；
实现至每一经识别的触觉装置的反馈；
判定每一经识别的触觉装置在该多点触控显示表面上的位置或定向是否已改变；
响应于经识别的触觉装置在该多点触控显示表面上的该位置及该定向尚未改变的判定，判定该经识别的触觉装置在该多点触控显示表面上的该位置或该定向是否正在改变；及
响应于该经识别的触觉装置在该多点触控显示表面上的该位置或该定向正在改变的判定，停用对该经识别的触觉装置的反馈且等待稳定的该位置及该定向。
2.如权利要求1的计算机实现的方法，其中识别一个或多个触觉装置以形成经识别的触觉装置的集合进一步包含：
判定在该多点触控显示表面上是否检测到触觉装置的存在。
3.如权利要求1的计算机实现的方法，其中校准多点触控显示表面上的经识别的触觉装置的集合进一步包含：
作为与各别经识别的触觉装置相关联的触觉工作空间的集合的投影来计算该多点触控显示表面的子集，其中该计算进一步包含所述触觉装置的定向。
4.如权利要求1的计算机实现的方法，其进一步包含：
判定每一经识别的触觉装置在该多点触控显示表面上的位置或定向是否已改变；及
响应于经识别的触觉装置的该位置或该定向已改变的判定，校准该多点触控显示表面上的该经识别的触觉装置，其中校准在该多点触控显示表面的不同子集上提供共置的触觉-视觉互动。
5.如权利要求1的计算机实现的方法，其中响应于该经识别的触觉装置在该多点触控显示表面上的该位置或该定向并不正在改变的判定，其进一步包含：
判定是否检测到该经识别的触觉装置在该多点触控显示表面上的存在；及
响应于未检测到该经识别的触觉装置在该多点触控显示表面上的存在的判定，停用对该经识别的触觉装置的反馈。
6.如权利要求1的计算机实现的方法，其中等待稳定的该位置及该定向进一步包含：
等待为可针对触觉装置而配置的预定持续时间的时间及设定为缺省时间周期的时间中之一。
7.一种用于将一个或多个触觉装置与多点触控显示器集成的计算机实现的系统，包含：
用于识别置于多点触控显示表面上的一个或多个触觉装置以形成经识别的触觉装置的集合的装置；
用于校准该多点触控显示表面上的经识别的触觉装置的集合的装置，其中校准提供该多点触控显示表面的子集上的区域化触觉互动；
用于实现至每一经识别的触觉装置的反馈的装置；
用于判定每一经识别的触觉装置在该多点触控显示表面上的位置或定向是否已改变的装置；
用于响应于经识别的触觉装置在该多点触控显示表面上的该位置及该定向尚未改变的判定，判定该经识别的触觉装置在该多点触控显示表面上的该位置或该定向是否正在改变的装置；及
用于响应于该经识别的触觉装置在该多点触控显示表面上的该位置或该定向正在改变的判定，停用对该经识别的触觉装置的反馈且等待稳定的该位置及该定向的装置。
8.如权利要求7的系统，其中用于识别一个或多个触觉装置以形成经识别的触觉装置的集合的装置进一步用于：
判定在该多点触控显示表面上是否检测到触觉装置的存在。
9.如权利要求7的系统，其中用于校准多点触控显示表面上的经识别的触觉装置的集合的装置进一步用于：
作为与各别经识别的触觉装置相关联的触觉工作空间的集合的投影来计算该多点触控显示表面的子集，其中该计算进一步包含所述触觉装置的定向。
10.如权利要求7的系统，其进一步包含：
用于判定每一经识别的触觉装置在该多点触控显示表面上的位置或定向是否已改变的装置；及
用于响应于经识别的触觉装置的该位置或该定向已改变的判定，校准该多点触控显示表面上的该经识别的触觉装置的装置，其中校准在该多点触控显示表面的不同子集上提供共置的触觉-视觉互动。
11.如权利要求8的系统，其中用于响应于该经识别的触觉装置在该多点触控显示表面上的该位置或该定向并不正在改变的装置，进一步用于：
判定是否检测到该经识别的触觉装置在该多点触控显示表面上的存在；及
响应于未检测到该经识别的触觉装置在该多点触控显示表面上的存在的判定，停用对该经识别的触觉装置的反馈。
12.如权利要求8的系统，其中等待稳定的该位置及该定向进一步包含：
等待为可针对触觉装置而配置的预定持续时间的时间及设定为缺省时间周期的时间中之一。
13.一种用于将一触觉装置与多点触控显示器集成的设备，该设备包含：
通信结构；
存储器，其连接至该通信结构，其中该存储器含有计算机可执行程序代码；
通信单元，其连接至该通信结构；
输入/输出单元，其连接至该通信结构；
显示器，其连接至该通信结构；及
处理器单元，其连接至该通信结构，其中该处理器单元执行该计算机可执行程序代码以指导该设备进行以下操作：
识别多点触控显示表面上的一个或多个触觉装置以形成经识别的触觉装置的集合；
校准该多点触控显示表面上的经识别的触觉装置的集合，其中校准提供该多点触控显示表面的子集上的区域化触觉互动；
实现至经识别的触觉装置的集合的反馈；
判定每一经识别的触觉装置在该多点触控显示表面上的位置或定向是否已改变；
响应于经识别的触觉装置在该多点触控显示表面上的该位置及该定向尚未改变的判定，判定该经识别的触觉装置在该多点触控显示表面上的该位置或该定向是否正在改变；及
响应于该经识别的触觉装置在该多点触控显示表面上的该位置或该定向正在改变的判定，停用对该经识别的触觉装置的反馈且等待稳定的该位置及该定向。
CN201180052739.1A 2010-11-05 2011-09-21 具有多点触控显示器的触觉装置 Expired - Fee Related CN103189816B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CA2719659A CA2719659C (en) 2010-11-05 2010-11-05 Haptic device with multitouch display
CA2719659 2010-11-05
PCT/EP2011/066371 WO2012059264A1 (en) 2010-11-05 2011-09-21 Haptic device with multitouch display

Publications (2)

Publication Number Publication Date
CN103189816A CN103189816A (zh) 2013-07-03
CN103189816B true CN103189816B (zh) 2015-10-14

Family

ID=43495967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180052739.1A Expired - Fee Related CN103189816B (zh) 2010-11-05 2011-09-21 具有多点触控显示器的触觉装置

Country Status (5)

Country Link
US (1) US9082270B2 (zh)
CN (1) CN103189816B (zh)
CA (1) CA2719659C (zh)
TW (1) TW201234214A (zh)
WO (1) WO2012059264A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140055703A (ko) * 2012-11-01 2014-05-09 삼성전자주식회사 컨텐츠 공유 방법 및 시스템
TWI479364B (zh) * 2013-01-09 2015-04-01 Nat Univ Chung Hsing 具三維磁力觸控反饋之行動裝置及三維磁力觸控反饋裝置
CN103279223B (zh) * 2013-05-27 2016-11-23 深圳市金立通信设备有限公司 一种反馈触控消息的方法、设备及系统
US9558637B2 (en) * 2013-09-10 2017-01-31 Immersion Corporation Systems and methods for performing haptic conversion
US9430106B1 (en) * 2014-03-28 2016-08-30 Amazon Technologies, Inc. Coordinated stylus haptic action
KR101846256B1 (ko) * 2014-05-09 2018-05-18 삼성전자주식회사 필기감을 제공하는 촉각 피드백 장치 및 방법
WO2016206069A1 (en) 2015-06-26 2016-12-29 Microsoft Technology Licensing, Llc Passive haptics as reference for active haptics
US9927887B2 (en) 2015-12-31 2018-03-27 Synaptics Incorporated Localized haptics for two fingers
CN105999652B (zh) * 2016-04-26 2018-08-24 珠海智康医疗科技有限公司 脑损伤双指指腹夹捏康复训练装置
DK201670728A1 (en) 2016-09-06 2018-03-19 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Feedback During Interaction with an Intensity-Sensitive Button
DK179223B9 (en) * 2016-09-06 2018-04-23 Apple Inc Devices, methods and graphical user interfaces for providing feedback during interaction with an intensity sensitive button
US20180121000A1 (en) * 2016-10-27 2018-05-03 Microsoft Technology Licensing, Llc Using pressure to direct user input
US10650701B2 (en) 2017-04-17 2020-05-12 Facebook, Inc. Haptic communication using inside body illusions
US11073898B2 (en) 2018-09-28 2021-07-27 Apple Inc. IMU for touch detection

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1784649A (zh) * 2003-04-08 2006-06-07 智能技术公司 自动校准的触摸系统及方法
CN101006480A (zh) * 2004-08-24 2007-07-25 皇家飞利浦电子股份有限公司 与待控制设备相关联的物体的定位方法和控制该设备的方法
CN101059717A (zh) * 2006-04-21 2007-10-24 佳能株式会社 呈现从虚拟对象接收的触觉的信息处理方法和设备
CN101189570A (zh) * 2005-06-03 2008-05-28 株式会社理光 图像显示设备、图像显示方法以及命令输入方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028593A (en) * 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
TW404846B (en) 1998-01-23 2000-09-11 Koninkl Philips Electronics Nv Multiperson tactual virtual environment
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US6337678B1 (en) 1999-07-21 2002-01-08 Tactiva Incorporated Force feedback computer input and output device with coordinated haptic elements
US20030184574A1 (en) 2002-02-12 2003-10-02 Phillips James V. Touch screen interface with haptic feedback device
US7508382B2 (en) 2004-04-28 2009-03-24 Fuji Xerox Co., Ltd. Force-feedback stylus and applications to freeform ink
EP2148238A4 (en) * 2007-05-18 2012-04-25 Sega Kk Dba Sega Corp LIQUID CRYSTAL DISPLAY DEVICE WITH DIGITIZER FUNCTION, ELECTRONIC INFORMATION PROCESSING DEVICE AND PLAYER
US20090002328A1 (en) 2007-06-26 2009-01-01 Immersion Corporation, A Delaware Corporation Method and apparatus for multi-touch tactile touch panel actuator mechanisms
US8098235B2 (en) 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
US9857872B2 (en) 2007-12-31 2018-01-02 Apple Inc. Multi-touch display screen with localized tactile feedback
US8698750B2 (en) 2008-09-18 2014-04-15 Microsoft Corporation Integrated haptic control apparatus and touch sensitive display
US20100083109A1 (en) 2008-09-29 2010-04-01 Smart Technologies Ulc Method for handling interactions with multiple users of an interactive input system, and interactive input system executing the method
CN104679247B (zh) * 2009-07-22 2018-07-24 意美森公司 用于在输入控制手势以及关于虚拟设备的控制期间提供复杂触觉激励的系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1784649A (zh) * 2003-04-08 2006-06-07 智能技术公司 自动校准的触摸系统及方法
CN101006480A (zh) * 2004-08-24 2007-07-25 皇家飞利浦电子股份有限公司 与待控制设备相关联的物体的定位方法和控制该设备的方法
CN101189570A (zh) * 2005-06-03 2008-05-28 株式会社理光 图像显示设备、图像显示方法以及命令输入方法
CN101059717A (zh) * 2006-04-21 2007-10-24 佳能株式会社 呈现从虚拟对象接收的触觉的信息处理方法和设备

Also Published As

Publication number Publication date
CA2719659A1 (en) 2011-01-18
TW201234214A (en) 2012-08-16
WO2012059264A1 (en) 2012-05-10
US20130234972A1 (en) 2013-09-12
CA2719659C (en) 2012-02-07
CN103189816A (zh) 2013-07-03
US9082270B2 (en) 2015-07-14

Similar Documents

Publication Publication Date Title
CN103189816B (zh) 具有多点触控显示器的触觉装置
Gugenheimer et al. Facetouch: Enabling touch interaction in display fixed uis for mobile virtual reality
Mengoni et al. Spatial Augmented Reality: An application for human work in smart manufacturing environment
US7337410B2 (en) Virtual workstation
US7379053B2 (en) Computer interface for navigating graphical user interface by touch
Cockburn et al. Air pointing: Design and evaluation of spatial target acquisition with and without visual feedback
JP6271444B2 (ja) ジェスチャー認識装置及び方法
US7907125B2 (en) Recognizing multiple input point gestures
Yan et al. Eyes-free target acquisition in interaction space around the body for virtual reality
Saidi et al. TDome: a touch-enabled 6DOF interactive device for multi-display environments
WO2012143929A1 (en) Ergonomic motion detection for receiving character input to electronic devices
KR102237659B1 (ko) 입력 방법 및 이를 수행하는 장치들
Bellgardt et al. Utilizing immersive virtual reality in everydaywork
Gallotti et al. v-Glove: A 3D virtual touch interface
Katzakis et al. INSPECT: extending plane-casting for 6-DOF control
Yang et al. Effect of spatial enhancement technology on input through the keyboard in virtual reality environment
Asque et al. Haptic-assisted target acquisition in a visual point-and-click task for computer users with motion impairments
TWI631484B (zh) 基於方向的文字輸入方法及其系統與電腦可讀取記錄媒體
Rodrigues et al. A virtual touch interaction device for immersive applications
Bowman et al. Evaluating the need for display-specific and device-specific 3D interaction techniques
Thompson III Evaluation of a commodity VR interaction device for gestural object manipulation in a three dimensional work environment
RU115937U1 (ru) Устройство пользовательского ввода
CN108563335B (zh) 虚拟现实交互方法、装置、存储介质及电子设备
AU2012214109A1 (en) Visual proximity keyboard
Remizova et al. Midair Gestural Techniques for Translation Tasks in Large-Display Interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151014

Termination date: 20200921

CF01 Termination of patent right due to non-payment of annual fee