CN103577043A - 将用户界面隐喻呈现为形状变化设备上的物理变化的方法和装置 - Google Patents

将用户界面隐喻呈现为形状变化设备上的物理变化的方法和装置 Download PDF

Info

Publication number
CN103577043A
CN103577043A CN201310381487.8A CN201310381487A CN103577043A CN 103577043 A CN103577043 A CN 103577043A CN 201310381487 A CN201310381487 A CN 201310381487A CN 103577043 A CN103577043 A CN 103577043A
Authority
CN
China
Prior art keywords
deformation
screen
virtual element
elastic surface
output device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310381487.8A
Other languages
English (en)
Other versions
CN103577043B (zh
Inventor
D·M·伯恩鲍姆
蒋力
J·M·克鲁兹-埃尔南德斯
A·莫达里斯
C·拉姆斯泰恩
D·A·格兰特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Priority to CN201810143521.0A priority Critical patent/CN108196685A/zh
Publication of CN103577043A publication Critical patent/CN103577043A/zh
Application granted granted Critical
Publication of CN103577043B publication Critical patent/CN103577043B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及将用户界面隐喻呈现为形状变化设备上的物理变化的方法和装置。一种电子设备，具有包括弹性表面的用户界面设备，可操作地耦合到弹性表面并配置为引起弹性表面形变的触觉输出设备，以及与触觉输出设备信号通信的控制器。控制器配置为触发触觉输出设备以基于用户界面上呈现的虚拟元素的仿真物理行为而引起弹性表面的形变。

Description

将用户界面隐喻呈现为形状变化设备上的物理变化的方法和装置
技术领域
本发明涉及将用户界面隐喻呈现为形状变化设备上的物理变化的方法和装置。
背景技术
某些电子用户界面设备能够向用户可视地传达虚拟环境，例如游戏环境。可以在一种电子用户界面设备的屏幕上显示虚拟环境的虚拟元素。用户可以通过例如触摸和拖曳屏幕上的隐喻和虚拟元素互动。虚拟环境可以以屏幕为界限，并且用户不能把虚拟元素拖曳出屏幕的边界。
发明内容
根据本发明的一个方面，提供了一种电子用户界面设备，配置为将用户界面隐喻适于物理变化。该设备包括包含弹性表面的用户界面、触觉输出设备以及控制器。触觉输出设备可操作地耦合到弹性表面，并配置为引起弹性表面的形变。控制器与触觉输出设备信号通信，并配置为触发触觉输出设备以引起弹性表面的形变。引起的形变基于用户界面上呈现的虚拟元素的仿真物理行为。
在一个实施例中，物理行为是虚拟元素和弹性表面的物理交互。在用户界面的屏幕上可视地呈现虚拟元素。
在一个实施例中，控制器可配置为在屏幕上可视地仅呈现虚拟元素的一部分。控制器可配置为通过触发触觉输出设备引起形变来仿真虚拟元素和弹性表面的物理交互，以呈现虚拟元素的未在屏幕上可视化呈现的另一部分。
在一个实施例中，形变的速率可基于屏幕上虚拟元素的一部分可视化呈现为相对于弹性表面移动的速率。
在一个实施例中，控制器配置为可视化地响应于弹性表面形变的变化而在屏幕上呈现屏幕上虚拟元素的一部分的移动而仿真物理交互。在一个实施例中，控制器可配置为基于虚拟元素的仿真阻力来调节弹性表面的弹性。
在一个实施例中，弹性表面位于屏幕的前方、后方或是屏幕的一部分。控制器可配置为通过在屏幕上放大或缩小虚拟元素以及触发触觉输出设备基于放大或缩小而引起形变来仿真物理交互。
在一个实施例中，控制器配置为通过触发触觉输出设备以基于和虚拟元素相关的物理元素的物理行为而引起形变来仿真物理行为。所述物理行为包括物理元素的膨胀或收缩。
本发明的这些和其他方面、特征和特性以及操作方法和结构的相关元素的功能以及部分的组合以及制造经济性，在参考附图考虑后续说明书和所附权利要求后，将变得更为清晰，所有都构成本说明书的一部分，其中相同的附图标记指定各个附图中相应的部分。然而应该清楚地理解，附图仅仅用于图示和描述的目的，而不意在定义本发明的限制。正如在本说明书和权利要求中所用的，除非上下文中另外清楚地指示，单数形式“一”、“一个”以及“该”包括复数形式。
附图说明
图1A示例性的示出了根据本发明的一个实施例的装置。
图1B示例性的示出了图1A中装置的组件。
图2A-2G示出了仿真呈现于图1A装置的用户界面上的虚拟元素物理行为的形变。
图3示出了仿真呈现于图1A装置的用户界面上的虚拟元素物理行为的形变。
图4A-4C示出了仿真呈现于图1A装置的用户界面上的虚拟元素物理行为的形变。
图5A-5B示出了仿真呈现于图1A装置的用户界面上的虚拟元素物理行为的形变。
图6示出了仿真呈现于图1A装置的用户界面上的虚拟元素物理行为的形变。
图7A-7B示出了仿真呈现于图1A装置的用户界面上的虚拟元素物理行为的形变。
具体实施方式
图1A示出了电子用户界面设备100的一个实施例，该电子用户界面设备100可以便于用户界面隐喻，该用户界面隐喻使虚拟环境的虚拟元素出现与物理世界交互或另外出现表现出物理行为。在一些情况上，虚拟元素可以是在屏幕110上可视化呈现的对象，例如通过按钮、动画、视频或其他图像。虚拟元素可以通过界定屏幕的弹性表面120或130的形变而出现超出屏幕并进入物理世界。形变仿真虚拟元素和弹性表面120或130之间的物理交互。交互仿真虚拟元素在弹性表面120或130上施加的力量或压力。由此形变使得虚拟元素能够出现具有表现出超出屏幕的物理行为。在一些示例中，虚拟元素不会被可视化呈现。例如，虚拟元素呈现可视不易察觉的元素，例如流体压力或力。表面120或130的形变可以仿真虚拟元素在表面上施加的压力或力。在一个实施例中，弹性表面120和130的形变可以分别由触觉输出设备121和131引起。在一个实施例中，对照由仅触摸或轻轻按压表面引起的形变，该形变可以是大的形变。在一个实施例中，大形变可以是用户能看见或感觉到的形变。
在一个实施例中，弹性表面120或130包括能够经受形变的任何材料，例如能够弹性变形至数微米、数毫米、数厘米或数十厘米的材料。如图1A所示，表面120和130各自能够形变至多个不同的位置，分别表示为120a、120b、120c以及130a、130b、130c。表面120或130可操作为沿着一个或多个运动角度形变，例如向外方向(例如远离设备100)、向内方向(例如朝向设备100)、横向(例如在扭曲或拉伸运动中)或以上的组合。在一个实施例中，表面120或130都可操作为以自由形成的方式形变，例如以海绵状材料形变的方式。
在一个实施例中，触觉输出设备121或131可以是致动器并包括电磁线圈、电机、压电材料、纤维复合材料(例如宏观纤维复合材料)致动器或其组合。在一个实施例中，致动器可以是弹性表面的一部分。例如，压电材料可以是弹性表面的一部分，并可配置为当向压电材料施加电信号时对表面进行形变。在一个实施例中，触觉输出设备121或131可以是能够基于例如来自用户的分别施加于弹性表面120或130上的力而输出信号的传感器。
在一个实施例中，触觉输出设备121或131可以是静电设备。静电设备可以是电振动触觉设备或应用电压和电流而不是机械运动来生成触觉效应的任何其他设备。在该实施例中的静电设备至少具有一个导电层和一个绝缘层。导电层可以是任何半导体或其他导电材料，例如铜、铝、金或银。绝缘层可以是玻璃、塑料、聚合物、或任何其他绝缘材料。系统可以通过将电信号用于导电层而操作静电设备。在这个实施例中，电信号可以是AC信号，该AC信号电容性地将导电层和接近或接触表面120或130的对象耦合。可以由高压放大器生成AC信号。电子用户界面设备100还可以依赖于原则而不是电容性的耦合来生成触觉效应。电容性耦合可以仿真表面120或130上的摩擦系数或质感。摩擦系数是一个模拟的，在于虽然表面120或130可以是光滑的，但电容性耦合也可以在接近表面120或130的对象和导电层之间产生吸引力。甚至当在表面的材料结构未发生变化时，吸引力也增加了表面上的摩擦。改变摩擦力仿真摩擦系数的变化。
电容性耦合还可以通过刺激附近对象的一部分或接触表面120或130而生成触觉效应，例如用户手指皮肤的细胞。例如，皮肤中的细胞能够受到刺激并将电容性耦合感知为振动或某些更为具体的感觉。例如，可以向导电层施加和用户手指的导电部分耦合的AC电压信号。
在一个实施例中，触觉输出设备121或131可配置为分别在表面120或130生成低频脉冲或高频振动。可将低频脉冲或高频振动用作触觉效应。在一个实施例中，触觉输出设备121或131可配置为引起弹性表面形变为各种任意的三维轮廓。例如，触觉输出设备121和131可以各自包括多个电磁线圈，每个电磁线圈引起的形变可以对应于图像的像素。多个电磁线圈可以导致表面形变，该表面形变表达高度信息、色彩信息或和图像相关的任何其他信息。
在一个实施例中，设备100具有弹性表面，该弹性表面和屏幕110共面并且是屏幕110的一部分或在屏幕110之上或之下。在一个实施例中，设备100包括触觉输出设备，该触觉输出设备引起弹性表面的形变。在一个实施例中，可以在屏幕110的表面生成触觉效应。在一个实施例中，屏幕110可以是触摸屏。
如图1B所示，触觉输出设备121和131可以和控制器160信号通信，该控制器160配置为触发触觉输出设备121或131分别引起弹性表面120或130的形变。在一个实施例中，电子用户界面设备100可以进一步包括触觉输出设备141和151，其可由控制器160触发引起一个或多个弹性表面的形变。例如，一个或多个弹性表面可包括和屏幕110共面以及位于屏幕110之上、之下或是屏幕110一部分的弹性表面。例如，一个或多个弹性表面可以包括在设备100背面上的弹性表面。触觉输出设备141和151可引起不同弹性表面的形变，或共同引起相同弹性表面的形变。
图2A-2G示出了使得虚拟环境出现延伸到周围的物理空间中的用户界面隐喻。虚拟环境可以是游戏、产品演示或任何其他应用的一部分。如图2A所示，虚拟环境可包括虚拟球。虚拟球具有可视化呈现在屏幕110上的部分301(即具有屏幕上部分301)。为了将虚拟环境延伸到屏幕110之外的物理空间中，弹性表面120可以形变为呈现虚拟球的屏幕外部分。形变可以仿真物理交互，例如由位于屏幕110之外的虚拟球部分按压弹性表面120。在一个实施例中，仿真包括表面120的形变和仿真交互之间的直接映射。例如，弹性表面120可以形变为具有形状和大小，其基本匹配与具有相似物理行为的物理球如何对表面120形变。形状可以例如是弓形，而大小可以相应于虚拟球延伸到屏幕110之外的大小。表面120可以在虚拟球边界表面120的屏幕上部分301的位置发生形变。在一个实施例中，仿真可以包括表面120的形变和仿真交互之间的代表性映射。例如，基于代表性映射的弹性表面120的形变还可以具有和直接映射相似的形状，但具有比直接映射相当大或者相当小的大小。在另一个示例中，基于代表性映射的弹性表面120的形变具有的形状不取决于同样的物理元素如何对表面120进行形变。
图2B进一步示出了表面120和虚拟球之间的仿真物理交互。在一个示例中，响应于示出的虚拟球的屏幕上部分301移出表面120，表面120的形变将变小。形变减少的速率和示出虚拟球移出表面120的速率基本匹配。
在一个示例中，响应于减少表面120的形变的力，虚拟球可表示为移出表面120。这种力可能来自用户，例如来自用户的手向内挤压表面120。虚拟球在屏幕110上移动的速率或量基于力的持续时间、大小或其组合。例如，持续时间或大小可以由可操作地耦合到表面120的传感器感知。虚拟球在屏幕110上移动的方向基于所应用的力的方向。
在一个示例中，虚拟球的移动可以同时呈现为表面120形变的变化。在这样一个示例中，虚拟球的移动或表面120形变的变化可以自动地或者以不需要用户交互的任何其他方式发生。
如图2C和2D所示，弹性表面120和130在虚拟球表现为远离屏幕110的边界或者更一般的完全在屏幕110上时，可以不发生形变。在一个实施例中，如图5A和5B所示并如下面讨论的，即使当虚拟元素完全在屏幕110上时，弹性表面120或130也可以发生形变。形变仿真无需虚拟元素和弹性表面120或130之间的接触的物理交互，或仿真朝向设备100的前面或背面移动的虚拟元素。
如图2E和2F所示，弹性表面130可以形变以仿真与虚拟球屏幕外部分的交互。仿真可以包括形变以及和虚拟球的屏幕外部分的仿真交互之间的直接映射，或可以包括形变和交互之间的代表性映射。在一个实施例中，弹性表面130形变的速率或量基于虚拟球显示出接近弹性表面130的速率。在一个实施例中，弹性表面130形变的速率或量基于表面130仿真的或实际的刚性。例如，较高的仿真刚性将引起表面130比较低仿真刚性的形变更小。在一个实施例中，实际的或仿真的刚性将影响虚拟球在屏幕110上如何行动。例如，虚拟球表示为由表面130以某个速率放慢，所述速率基于表面的仿真或实际的刚性。
在一个实施例中，弹性表面130形变的速率或量基于相对表面130应用的力，例如来自用户挤压或另外推压表面。例如，如图2G所示，如果设备100被用户的手211A紧紧握住，弹性表面130能够经受仅数毫米或数厘米的形变，且虚拟球的移动示为在表面130迅速减速。如果所应用的力引起表面130形变，例如通过用户的手211A向内挤压表面130，虚拟球可示为在所应用力的方向上移动。例如，该移动可以仿真表面130将虚拟球向表面120推动。
在一个实施例中，弹性表面120或130具有仿真的或实际的弹簧式属性，且屏幕110上的虚拟球的移动基于该仿真的或实际的弹簧式属性。例如，形变的弹性表面120或130可以仿真为在虚拟球上以弹簧式方式回推。然后虚拟球仿真为在弹簧式表面120和130之间无需用户交互而反弹。在一个实施例中，弹性表面120或130可以仿真为非弹性的且即使在示出虚拟元素从表面移出或以其他方式停止与表面交互之后仍然保持其形变的形状。例如，仿真的非弹性属性可以仿真凹陷的表面。
在一个实施例中，弹性表面120或130的实际刚性是可以调整的。例如，一个或多个触觉输出设备，例如触觉输出设备121和131，可以由控制器160触发以对抗形变的变化。表面120或130的实际刚性的调整可以仿真虚拟环境的物理属性，例如仿真的移动阻力。例如如图2F所示，，在表面130形变后，一个或多个触觉输出设备可配置为对抗相对表面130应用的向内力，例如来自用户挤压设备100的力。对抗形变的变化可以对用户仿真大量的虚拟球。可以仿真更大量的球，使其对于推动具有更大的阻力。在一个示例中，对抗形变的变化可以仿真虚拟流体的粘度。可以仿真更粘性的流体，使其对于压缩具有更大的阻力。
虽然图2A-2G示出了虚拟球至少部分地呈现于屏幕110上，但是在一些实施例中，虚拟元素可以暂时或永久地呈现为完全在屏幕之外。
图3示出了虚拟元素和弹性表面130之间的仿真物理交互，虚拟元素例如是可视化呈现于屏幕110的视频上的用户。例如，弹性表面130可以呈现墙或视频中的用户正在推动的其他表面。表面130的形变可以基于墙或其他表面之上的位移量、墙或其他表面上施加的力的大小或其组合。
图4A-4C示出了一个游戏，其中表面130形变以仿真与虚拟箭和虚拟弓的屏幕外部分的交互。虚拟弓的屏幕外部分可以表示弓弦，而虚拟箭的屏幕外部分可以补足虚拟箭的屏幕上部分305。在一个实施例中，表面130可以响应于虚拟箭向表面130的移动而形变。虚拟箭可以通过应用于屏幕上部分305的触摸输入而移动。形变可以仿真虚拟箭和正在拉动的虚拟弓弦。
在一个实施例中，虚拟箭可示出为响应于表面130处接收的用户输入而在屏幕110上移动。例如，用户可以朝向外的方向在表面130上拉动或击打表面130，以使表面130在该方向上形变。作为响应，虚拟箭的屏幕上部分305可示为在该方向上拉动。在一个实施例中，表面130的形变可基于仿真箭和弓的屏幕外部分如何形变表面130的直接映射或基于状表性映射，其中形变的形状或大小不取决于同似的物理弓或箭如何形变表面130。在一个实施例中，如果表面130呈现弓弦，形变可以仿真形变或虚拟弓弦的任何其他物理行为。
为了仿真虚拟弓射出的虚拟箭，箭的屏幕上部分305可以示出为移动，且表面130的形变减少。屏幕上的移动和形变的变化可以是同时的，或者一个引起另一个。为了仿真虚拟弓张力的效应，在释放之前表面130形变的更大的量可导致虚拟箭更快地在屏幕上移动，且在释放之后表面130形变的减少速率更高。
在一个实施例中，和屏幕110共面(例如在屏幕110之上、之下或是其一部分)的弹性表面可形变以仿真虚拟元素走出屏幕或陷入屏幕。弹性表面可以在设备100的前侧、后侧或两侧。在一个实施例中，弹性表面可形变以仿真三维轮廓。例如，表面可以基于虚拟键盘的仿真轮廓而形变。在一个实施例中，虚拟元素的屏幕上部分大小可以增大以向用户仿真虚拟元素正在靠近用户。作为响应，共面的弹性表面可以向朝向用户的方向形变。形变可以仿真虚拟元素和共面弹性表面之间的物理交互。仿真可以包括形变和仿真的物理交互之间的直接映射或代表性映射。例如，基于直接映射的形变具有对应于虚拟元素的屏幕上部分的大小的形变量，且具有对应于屏幕上部分的大小增加或减少速率的形变速率。虚拟元素可示出为完全在屏幕110上或示出为一部分延伸到屏幕110和表面120或130之间的边界之外。
图5A-5B示出了弹性表面120和130基于虚拟弦的形变，其示出完全在屏幕上。在一个实施例中，形变仿真虚拟弦的屏幕上部分307和弹性表面120和130之间的物理交互。仿真的物理交互可以是不需要交互元素之间接触的交互。例如，物理交互可以呈现磁力或由虚拟元素生成并施加在表面120或130上的流体压力，或呈现不需要交互元素之间接触的任何其他交互。仿真可包括形变和交互之间的直接映射，或可包括代表性映射。
在一个实施例中，设备100的表面120和130各自呈现虚拟弦，且图5A-5B所示的形变仿真例如虚拟弦的移动的物理行为。在这个实施例中，表面120或130可形变以匹配或基本匹配屏幕110上所示的虚拟弦的形状、大小或其组合。
在一个实施例中，形变可以基于和虚拟元素相关的物理元素的物理行为。例如，表面120和130可以基于用户心跳或呼吸率而形变。设备100可由此实施和用户的物理心脏或物理血压相关的虚拟心跳。表面120和130的扩张和收缩可以反映用户心脏的扩张和收缩以及用户血压的高和低，其呈现用户心脏的物理状态(例如扩张或收缩)。
图6示出了一个示例，其中表面120和130可基于握手或手挤压姿势而形变，作为用户界面隐喻的一部分，其中在一个设备上表示的物理行为可以在另一个设备上得以体验。例如，当第一个用户的手211A挤压设备100或以其他方式在设备100上应用力时，第二个用户的手213B可以在设备100A上作为响应而体验形变。设备100A上的形变基于来自设备100的指示所应用力的信号。
在一个实施例中，设备100可以呈现被第一个用户的手211A所应用的力压缩的虚拟流体。设备100可以发送指示到设备100A的力的信号。设备100A还可以呈现虚拟的流体，并将信号解释为从设备100上呈现的压缩的虚拟流体到虚拟设备100A上呈现的虚拟流体的压力的传递。作为响应，设备100A的表面120A和130A可以向外形变以仿真压力传递所扩张的设备100A的虚拟流体。
在一个实施例中，设备100A可以呈现物理设备100的虚拟拷贝或可以呈现和设备100相关的任何其他虚拟元素。可以通过设备100A上的形变反映例如设备100上的表面120和130的形变的物理行为。例如，当第一个用户的手211A向内挤压表面120和130时，设备100A的表面120A和130A能作为响应而向内形变。形变可以有助于隐喻，其中两个用户能够通过他们的界面设备物理交互。例如，交互可以模仿握手或手持。后者可以用于传达用户之间的喜爱或其他感情。在一个示例中，设备100A中的形变可以基于到设备100的距离。例如，表面120A和130A的形变速率和量可以随着两个设备之间的距离线性减少。
在一个实施例中，表面120或130的形变可以仿真虚拟菜单(例如选项菜单)、虚拟页面(例如网页)、虚拟文档或具有能够滚动到屏幕110之外的位置的可视化呈现的部分的任何其他虚拟元素的物理行为。例如，将虚拟菜单、页面或文档的屏幕上部分滚动到左边可以引起表面120的形变。形变可以仿真虚拟元素的部分滚动到屏幕110左边的位置。形变量、形变速率或其组合可以基于滚动率、滚动到屏幕之外的部分的仿真位置或其任意组合。如图7A和图7B所示，如果滚动行为将虚拟菜单、页面或文档上下移动，则表面120或130的形变还可以更一般地滚示滚动行为。例如，表面120或130还可以形变为呈现滚动速度或呈现屏幕上部分到虚拟元素、页面或文档顶部或底部的接近程度。
在上述的实施例中，设备100可以是移动设备、远程控制、平板电脑、桌面或笔记本电脑、电子显示器或任何其他的用户界面设备。控制器160可以包括微处理器、逻辑电路或任何其他计算设备。
虽然为了例示的目的，已经基于当前认为最实际和优选的实施例对本发明进行了详细的描述，但可以理解这些细节仅仅是用于例示的目的，本发明并不限于公开的实施例，而是相反，旨在覆盖所附权利要求的精神和范围内的修改和等同布置。例如，可以理解，本发明尽量考虑任何实施例的一个或多个特性可以和任何其他实施例的一个或多个特性组合。

Claims (24)

1.一种电子设备，包括：
用户界面，包括弹性表面；
触觉输出设备，可操作地耦合到弹性表面，并配置为引起弹性表面的形变；以及
控制器，与触觉输出设备信号通信，并配置为触发触觉输出设备以基于用户界面上呈现的虚拟元素的仿真物理行为而引起弹性表面的形变。
2.如权利要求1所述的电子设备，其中用户界面包括屏幕，该屏幕配置为可视化呈现虚拟元件，且其中物理行为是虚拟元件和弹性表面的物理交互。
3.如权利要求2所述的电子设备，其中控制器配置为在屏幕上仅可视化呈现虚拟元素的一部分，且其中控制器配置为通过触发触觉输出设备引起形变来仿真虚拟元素和弹性表面的物理交互，以呈现虚拟元素的未在屏幕上可视化呈现的另一部分。
4.如权利要求3所述的电子设备，其中控制器配置为触发触觉输出设备以基于虚拟元素的未在屏幕上可视化呈现的另一部分的大小而引起形变的大小。
5.如权利要求3所述的电子设备，其中控制器配置为触发触觉输出设备以使形变的速率基于虚拟元素的一部分可视化呈现为相对弹性表面移动的速率。
6.如权利要求3所述的电子设备，其中控制器配置为通过响应于弹性表面的形变的变化而在屏幕上可视化呈现虚拟元素的一部分的移动而仿真物理交互。
7.如权利要求6所述的电子设备，其中控制器配置为通过基于虚拟元素的仿真阻力而调整弹性表面的弹性来仿真物理交互。
8.如权利要求2所述的电子设备，其中弹性表面位于屏幕之前、屏幕之后或是屏幕的一部分，且其中控制器配置为通过在屏幕上扩大或缩小虚拟元素以及触发触觉输出设备以基于所述扩大或缩小而引起形变来仿真虚拟元素和弹性表面的物理交互。
9.如权利要求1所述的电子设备，其中控制器配置为通过触发触觉输出设备以基于和虚拟元素相关的物理元素的物理行为而引起形变来仿真物理行为。
10.如权利要求9所述的电子设备，其中物理行为包括物理元素的膨胀或收缩。
11.如权利要求1所述的电子设备，其中触觉输出设备包括制动器。
12.一种用于呈现应用于用户界面的用户界面隐喻的方法，所述方法包括：通过触发可操作地耦合到用户界面的弹性表面的触觉输出设备以引起弹性表面的形变来仿真呈现在用户界面上的虚拟元素的物理行为。
13.如权利要求12所述的方法，进一步包括在用户界面的屏幕上可视化呈现虚拟元素，其中物理行为是虚拟元素和弹性表面的物理交互。
14.如权利要求13所述的方法，其中在屏幕上可视化呈现虚拟元素包括在屏幕上仅可视化呈现虚拟元素的一部分，且其中仿真虚拟元素和弹性表面的物理交互包括触发触觉输出设备引起形变以呈现虚拟元素的未在屏幕上可视化呈现的另一部分。
15.如权利要求14所述的方法，其中触发触觉输出设备引起形变包括使形变的大小基于虚拟元素的未在屏幕上可视化呈现的另一部分的大小。
16.如权利要求14所述的方法，其中触发触觉输出设备引起形变包括使形变的速率基于虚拟元素的在屏幕上可视化呈现的一部分相对弹性表面移动的速率。
17.如权利要求14所述的方法，其中仿真物理交互包括响应于弹性表面形变的变化而在屏幕上可视化呈现虚拟元素的一部分的移动。
18.如权利要求17所述的方法，其中仿真物理交互包括基于虚拟元素的仿真阻力而调整弹性表面的弹性。
19.如权利要求13所述的方法，其中弹性表面位于屏幕之前、屏幕之后或是屏幕的一部分，且其中仿真虚拟元素和弹性表面的物理交互包括在屏幕上扩大或缩小虚拟元素以及触发触觉输出设备以基于所述扩大或缩小而引起形变。
20.如权利要求19所述的方法，其中仿真物理行为包括触发触觉输出设备基于和虚拟元素相关的物理元素的物理行为而引起形变。
21.如权利要求20所述的方法，其中物理行为包括物理元素的膨胀或收缩。
22.一种用于呈现应用于用户界面的用户界面隐喻的方法，所述方法包括：通过触发可操作地耦合到用户界面的弹性表面的触觉输出设备引起弹性表面的形变而呈现在用户界面上可视化呈现的虚拟元素的行为，其中所述行为包括虚拟元素在用户界面的屏幕上的移动。
23.如权利要求22所述的方法，其中所述行为包括虚拟元素在屏幕上的滚动，且其中呈现行为包括触发触觉输出设备引起弹性表面在和虚拟元素滚动方向不对齐的方向上的形变。
24.如权利要求22所述的方法，其中所述行为包括虚拟元素在屏幕上的滚动，且其中呈现行为包括触发触觉输出设备基于弹性表面和虚拟元件的滚动离开屏幕的一部分的仿真物理交互而引起弹性表面的形变。
CN201310381487.8A 2012-06-13 2013-06-09 将用户界面隐喻呈现为形状变化设备上的物理变化的方法和装置 Expired - Fee Related CN103577043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810143521.0A CN108196685A (zh) 2012-06-13 2013-06-09 将用户界面隐喻呈现为形状变化设备上的物理变化的方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/495,235 US9703378B2 (en) 2012-06-13 2012-06-13 Method and apparatus for representing user interface metaphors as physical changes on a shape-changing device
US13/495,235 2012-06-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810143521.0A Division CN108196685A (zh) 2012-06-13 2013-06-09 将用户界面隐喻呈现为形状变化设备上的物理变化的方法和装置

Publications (2)

Publication Number Publication Date
CN103577043A true CN103577043A (zh) 2014-02-12
CN103577043B CN103577043B (zh) 2018-03-27

Family

ID=48699545

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810143521.0A Pending CN108196685A (zh) 2012-06-13 2013-06-09 将用户界面隐喻呈现为形状变化设备上的物理变化的方法和装置
CN201310381487.8A Expired - Fee Related CN103577043B (zh) 2012-06-13 2013-06-09 将用户界面隐喻呈现为形状变化设备上的物理变化的方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810143521.0A Pending CN108196685A (zh) 2012-06-13 2013-06-09 将用户界面隐喻呈现为形状变化设备上的物理变化的方法和装置

Country Status (5)

Country Link
US (2) US9703378B2 (zh)
EP (1) EP2690526B1 (zh)
JP (2) JP2014002378A (zh)
KR (2) KR101589345B1 (zh)
CN (2) CN108196685A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105807851A (zh) * 2015-01-20 2016-07-27 三星电子株式会社 用于显示屏幕的设备和方法
CN106210273A (zh) * 2016-06-27 2016-12-07 联想(北京)有限公司 一种信息处理方法及电子设备
CN106371573A (zh) * 2015-12-04 2017-02-01 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统
CN106880942A (zh) * 2015-11-25 2017-06-23 意美森公司 为放大的形变配置的具有可变形基板的触觉外围设备
CN107924588A (zh) * 2015-11-25 2018-04-17 谷歌有限责任公司 触发区域
US11557308B2 (en) 2013-03-12 2023-01-17 Google Llc Method and apparatus for estimating variability of background noise for noise suppression
US11735175B2 (en) 2013-03-12 2023-08-22 Google Llc Apparatus and method for power efficient signal conditioning for a voice recognition system

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9703378B2 (en) * 2012-06-13 2017-07-11 Immersion Corporation Method and apparatus for representing user interface metaphors as physical changes on a shape-changing device
JP2015011636A (ja) * 2013-07-01 2015-01-19 富士通株式会社 端末装置、画面切替方法及び画面切替プログラム
KR102256677B1 (ko) * 2013-12-02 2021-05-28 삼성디스플레이 주식회사 플렉서블 표시장치 및 이의 영상 표시방법
US10003872B2 (en) * 2016-10-06 2018-06-19 Microsoft Technology Licensing, Llc Speaker arrangement
KR102638976B1 (ko) 2016-12-26 2024-02-22 현대자동차주식회사 차량, 및 그 제어방법
US11983829B2 (en) * 2021-01-27 2024-05-14 Square Enix Co., Ltd. Non-transitory computer readable medium including augmented reality processing program and augmented reality processing system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535201B1 (en) * 1999-12-17 2003-03-18 International Business Machines Corporation Method and system for three-dimensional topographical modeling
US20090015560A1 (en) * 2007-07-13 2009-01-15 Motorola, Inc. Method and apparatus for controlling a display of a device
CN102422244A (zh) * 2009-05-07 2012-04-18 伊梅森公司 用于提供触觉反馈形状变化显示器的方法和设备

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4149574B2 (ja) 1997-08-29 2008-09-10 ゼロックス コーポレイション ユーザインターフェースサポートデバイス、及び情報入力方法
US6160540A (en) * 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
WO2001009863A1 (en) * 1999-07-31 2001-02-08 Linden Craig L Method and apparatus for powered interactive physical displays
US7088343B2 (en) * 2001-04-30 2006-08-08 Lenovo (Singapore) Pte., Ltd. Edge touchpad input device
JP2005142929A (ja) 2003-11-07 2005-06-02 Sony Ericsson Mobilecommunications Japan Inc 携帯端末
JP3895720B2 (ja) * 2003-12-10 2007-03-22 株式会社コナミデジタルエンタテインメント ゲームプログラム、及びゲーム装置
KR100456601B1 (ko) * 2004-03-18 2004-11-10 엔에이치엔(주) 게임 아이템 판매 등록 시스템 및 게임 아이템 판매 등록방법
US7490295B2 (en) * 2004-06-25 2009-02-10 Apple Inc. Layer for accessing user interface elements
US7355595B2 (en) * 2005-04-15 2008-04-08 Microsoft Corporation Tactile device for scrolling
US20060279531A1 (en) * 2005-05-25 2006-12-14 Jung Edward K Physical interaction-responsive user interface
US7986917B2 (en) * 2006-07-10 2011-07-26 Sony Ericsson Mobile Communications Ab Method and system for data transfer from a hand held device
US20110043476A1 (en) * 2006-08-17 2011-02-24 Nokia Corporation Scrollbar and Touchpad with Tactile and/or Audible Feedback
CN101535918A (zh) * 2006-09-05 2009-09-16 诺基亚公司 具有竞争输入设备的移动电子设备
CN104656900A (zh) * 2006-09-13 2015-05-27 意美森公司 用于游戏厅游戏触觉的系统和方法
US20080204420A1 (en) * 2007-02-28 2008-08-28 Fuji Xerox Co., Ltd. Low relief tactile interface with visual overlay
US20100236843A1 (en) * 2009-03-20 2010-09-23 Sony Ericsson Mobile Communications Ab Data input device
US8803798B2 (en) * 2009-05-07 2014-08-12 Immersion Corporation System and method for shape deformation and force display of devices
CN102473035B (zh) * 2009-07-22 2015-01-21 意美森公司 具有横跨平台的触觉反馈的交互式触摸屏游戏象征
US8531485B2 (en) * 2009-10-29 2013-09-10 Immersion Corporation Systems and methods for compensating for visual distortion caused by surface features on a display
US9696809B2 (en) * 2009-11-05 2017-07-04 Will John Temple Scrolling and zooming of a portable device display with device motion
KR101080803B1 (ko) * 2009-11-17 2011-11-07 한국과학기술연구원 실감 인터랙션 시스템 및 방법
US8432368B2 (en) * 2010-01-06 2013-04-30 Qualcomm Incorporated User interface methods and systems for providing force-sensitive input
JP2012058856A (ja) * 2010-09-06 2012-03-22 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム
EP2638450A1 (en) * 2010-11-09 2013-09-18 Koninklijke Philips Electronics N.V. User interface with haptic feedback
US20120122570A1 (en) * 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
US20130009882A1 (en) * 2011-07-07 2013-01-10 Nokia Corporation Methods and apparatuses for providing haptic feedback
US8723824B2 (en) * 2011-09-27 2014-05-13 Apple Inc. Electronic devices with sidewall displays
US9400600B2 (en) * 2011-12-16 2016-07-26 Samsung Electronics Co., Ltd. Method, apparatus, and graphical user interface for providing visual effects on a touchscreen display
US9964990B2 (en) * 2012-02-21 2018-05-08 Nokia Technologies Oy Apparatus and associated methods
KR101943435B1 (ko) * 2012-04-08 2019-04-17 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 동작 방법
US9703378B2 (en) * 2012-06-13 2017-07-11 Immersion Corporation Method and apparatus for representing user interface metaphors as physical changes on a shape-changing device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535201B1 (en) * 1999-12-17 2003-03-18 International Business Machines Corporation Method and system for three-dimensional topographical modeling
US20090015560A1 (en) * 2007-07-13 2009-01-15 Motorola, Inc. Method and apparatus for controlling a display of a device
CN102422244A (zh) * 2009-05-07 2012-04-18 伊梅森公司 用于提供触觉反馈形状变化显示器的方法和设备

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11557308B2 (en) 2013-03-12 2023-01-17 Google Llc Method and apparatus for estimating variability of background noise for noise suppression
US11735175B2 (en) 2013-03-12 2023-08-22 Google Llc Apparatus and method for power efficient signal conditioning for a voice recognition system
CN105807851A (zh) * 2015-01-20 2016-07-27 三星电子株式会社 用于显示屏幕的设备和方法
CN106880942A (zh) * 2015-11-25 2017-06-23 意美森公司 为放大的形变配置的具有可变形基板的触觉外围设备
CN107924588A (zh) * 2015-11-25 2018-04-17 谷歌有限责任公司 触发区域
CN107924588B (zh) * 2015-11-25 2021-05-11 谷歌有限责任公司 触发区域
CN106371573A (zh) * 2015-12-04 2017-02-01 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统
US10353468B2 (en) 2015-12-04 2019-07-16 Beijing Zhigu Rui Tuo Tech Co., Ltd. Tactile feedback method and apparatus, and virtual reality interactive system
US10656717B2 (en) 2015-12-04 2020-05-19 Beijing Zhigu Rui Tuo Tech Co., Ltd. Tactile feedback method and apparatus, and virtual reality interactive system
CN106371573B (zh) * 2015-12-04 2020-06-02 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统
CN106210273A (zh) * 2016-06-27 2016-12-07 联想(北京)有限公司 一种信息处理方法及电子设备

Also Published As

Publication number Publication date
EP2690526A3 (en) 2014-04-30
KR20130139785A (ko) 2013-12-23
EP2690526B1 (en) 2019-03-06
US9703378B2 (en) 2017-07-11
CN108196685A (zh) 2018-06-22
US20170277262A1 (en) 2017-09-28
EP2690526A2 (en) 2014-01-29
JP2014002378A (ja) 2014-01-09
US20130335454A1 (en) 2013-12-19
JP2019049983A (ja) 2019-03-28
KR101589345B1 (ko) 2016-01-27
CN103577043B (zh) 2018-03-27
KR102077349B1 (ko) 2020-02-13
US10551924B2 (en) 2020-02-04
KR20140075656A (ko) 2014-06-19

Similar Documents

Publication Publication Date Title
CN103577043A (zh) 将用户界面隐喻呈现为形状变化设备上的物理变化的方法和装置
JP6431126B2 (ja) モバイルデバイス上での共有されたフィードバックのための双方向性モデル
JP6234364B2 (ja) 電気振動型タクタイル・ディスプレイ
US20200057506A1 (en) Systems and Methods for User Generated Content Authoring
US9619033B2 (en) Interactivity model for shared feedback on mobile devices
US20120223880A1 (en) Method and apparatus for producing a dynamic haptic effect
US10474238B2 (en) Systems and methods for virtual affective touch
Sahoo et al. Tablehop: An actuated fabric display using transparent electrodes
JP2017097830A (ja) 触覚可能なフレキシブル装置
CN104123035A (zh) 用于支持触觉的可变形表面的系统和方法
Nojima et al. Hairlytop interface: An interactive surface display comprised of hair-like soft actuators
EP3367216A1 (en) Systems and methods for virtual affective touch
Hashizume et al. Cross-field haptics: Multiple direction haptics combined with magnetic and electrostatic fields
WO2022230264A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: American California

Applicant after: Immersion Corp.

Address before: American California

Applicant before: Immersion Corp.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: IMMERSION CORP. TO: YIMEISEN CO., LTD.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180327