CN102822784A - 用于虚拟触笔的装置、方法和计算机程序 - Google Patents

用于虚拟触笔的装置、方法和计算机程序 Download PDF

Info

Publication number
CN102822784A
CN102822784A CN2010800658730A CN201080065873A CN102822784A CN 102822784 A CN102822784 A CN 102822784A CN 2010800658730 A CN2010800658730 A CN 2010800658730A CN 201080065873 A CN201080065873 A CN 201080065873A CN 102822784 A CN102822784 A CN 102822784A
Authority
CN
China
Prior art keywords
stylus
virtual
degree
signaling
physics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800658730A
Other languages
English (en)
Inventor
L·卡尔凯南
A·卡雷凯南
A·维罗莱南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN102822784A publication Critical patent/CN102822784A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种装置，该装置配置用于：接收与物理触笔的深度动作驱动相关联的深度动作信令；以及根据所接收的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据。

Description

用于虚拟触笔的装置、方法和计算机程序
技术领域
本公开的领域涉及虚拟现实、2D/3D显示、2D/3D触摸界面、相关联装置、方法和计算机程序，以及更具体地，涉及基于来自物理触笔的动作信令(motion signalling)来创建虚拟触笔。特定公开的方面/实施方式涉及便携式电子设备，具体地，涉及所谓的在使用中可以手持的手携式电子设备(尽管它们在使用中可以置入支架)。此类手携式电子设备包括所谓个人数字助理(PDA)。
根据所公开的一个或者多个方面/实施方式的便携式电子设备/装置可以提供一个或者多个音频/文本/视频通信功能(例如，电话通信、视频通信和/或文本传输、短消息服务(SMS)/多媒体消息服务(MMS)/电子邮件功能、交互式/非交互式查看功能(例如，web浏览、导航、TV/节目观看功能)、音乐录制/播放功能(例如，MP3或者其他格式、和/或(FM/AM)无线电广播录制/播放)、下载/发送数据功能、图像捕获功能(例如，使用(例如，内置)数字照相机)和游戏功能。
背景技术
三维(3D)显示用于在图像中创建深度错觉，并且近期赢得了显著关注。正在制作中的3D电影的数量有所增加，并且3D电视频道也将在本年某时间点开始启动。尽管3D技术当前用于大屏幕显示，然而小屏幕显示支持呈现3D图像仅仅是时间的问题。
触摸屏式个人数字助理(PDA)也称为掌上计算机，通常包括可分离的触笔，其可以用于代替使用手指来与触摸屏进行交互。触笔通常是具有细小尖端的尖头装置(instrument)，然而也不必如此。通过如下来实现交互：轻扣(tap)屏幕以激活按钮或者导航菜单选项，并且拖动触笔的尖端跨越屏幕来突出显示文本。触笔还可以用于在屏幕上书写或者绘画。使用触笔的优势在于，可以防止来自用户手指的天然油脂涂覆屏幕，并且改进触摸输入的精度，进而允许使用较小的用户界面元素。
当前，触笔仅用于与二维(2D)屏幕上的2D内容进行交互。因而如何与在3D屏幕上显示的3D内容进行交互成为值得考虑的问题。
在此公开的装置和相关方法可以或者不可解决此问题。
在此说明书中的现有公开文档或者任何背景的讨论或列表不应被认作该文档或背景是现有技术状态或者一般常识的部分。本公开的一个或者多个方面/实施方式可以或不能解决背景问题中的一个或者多个。
发明内容
根据第一方面，提供了一种装置，该装置配置用于：
接收与物理触笔的深度动作驱动(actuation)相关联的深度动作信令；以及
根据所接收的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据。
该装置可以配置用于：进一步接收与物理触笔的相应移位动作、旋转动作和角度动作相关联的移位动作、旋转动作、角度动作信令中的一个或者多个。该装置还可以配置用于根据所接收的信令来生成具有虚拟移位、旋转和角度朝向中一个或者多个的虚拟触笔的图像数据。
该装置可以配置用于生成虚拟触笔在虚拟场景上的图像数据。该虚拟场景包括可以由动作信令中的变化来操纵的一个或者多个虚拟项目。动作信令中的变化可以包括深度动作、移位动作、旋转动作和角度动作信令中的一个或者多个中的变化。操纵一个或者多个虚拟项目可以包括以下中的一个或者多个：选择、推、拉、拖拽、下落、上升、紧握和勾住虚拟项目中的一个或者多个。
该装置可以进一步配置用于：接收与相对于用于图像数据的显示器的观察者查看角度相关联的查看角度信令。该装置可以配置用于根据接收到的查看角度信令生成虚拟触笔在虚拟场景上相对应的图像数据。该装置可以进一步配置用于：接收与相对于物理触笔的观察者查看角度相关联的查看角度信令。该装置可以进一步配置用于：根据接收到的查看角度信令生成虚拟触笔在虚拟场景上相对应的图像数据。该装置可以被配置用于：根据观察者查看角度提供虚拟场景的图像数据。该装置可以被配置用于提供作为三维图像用于显示虚拟触笔和虚拟场景的图像数据。
物理触笔可以或者不与用于图像数据的显示器进行物理接触。显示器可以是包括允许以下一种或者多种技术的触摸显示器：电阻式、表面声波、电容式、力度面板、光学成像、扩散信号、声波脉冲识别以及双向屏幕技术。
该装置可以包括：触觉技术，配置用于当虚拟触笔与虚拟场景交互时向物理触笔的用户提供触觉式反馈。虚拟场景可以包括两个或者更多区域。每个区域可以配置用于与虚拟触笔不同地交互。触觉技术可以配置用于响应于虚拟触笔与不同区域中的每一个的交互，来提供不同反馈。
该装置可以是从包括以下的列表中选出：用户界面、二维显示器、三维显示器、用于用户界面/二维显示器/三维显示器的处理器、以及用于用户界面/二维显示器/三维显示器的模块。处理器可以是微处理器，包括专用集成电路(ASIC)。
根据另一方面，提供了一种包括处理器的装置，该处理器配置用于：
接收与物理触笔的深度动作驱动相关联的深度动作信令；以及
根据所接收的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据。
根据另一方面，提供了一种装置，该装置包括：
接收器，配置用于接收与物理触笔的深度动作驱动相关联的深度动作信令；以及
生成器，配置用于根据所接收的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据。
根据另一方面，提供了一种装置，该装置包括：
生成与物理触笔的深度动作驱动相关联的深度动作信令；以及
提供所述深度动作信令以允许根据所生成的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据。
该装置可以配置用于基于被施加至所述物理触笔的压力来生成深度动作信令。该压力可以是径向压力。该装置可以配置用于基于物理触笔的长度中的变化来生成深度动作信令。深度动作信令可以是基于物理触笔的可伸缩长度中的变化。
该装置可以配置用于进一步生成：与物理触笔的相应移位动作、旋转动作和角度动作相关联的移位动作、旋转动作、角度动作信令中的一个或者多个。该装置可以配置用于根据所生成的信令来生成具有虚拟移位、旋转和角度朝向中一个或者多个的虚拟触笔的图像数据。
该装置可以是从包括以下的列表中选出：触笔、用于触笔的处理器以及用于触笔的模块。
根据另一方面，提供了一种包括处理器的装置，该处理器配置用于：
生成与物理触笔的深度动作驱动相关联的深度动作信令；以及
提供深度动作信令以允许根据所生成的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据。
根据另一方面，提供了一种装置，该装置包括：
生成器，配置用于生成与物理触笔的深度动作驱动相关联的深度动作信令；以及
提供器，配置用于提供深度动作信令以允许根据所生成的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据。
根据另一方面，提供了一种处理数据的方法，该方法包括：
接收与物理触笔的深度动作驱动相关联的深度动作信令；以及
根据所接收的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据。
根据另一方面，提供了一种处理数据的方法，该方法包括：
生成与物理触笔的深度动作驱动相关联的深度动作信令；以及
提供深度动作信令以允许根据所生成的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据。
根据另一方面，提供了一种用于在载体上记录的计算机程序，该计算机程序包括配置用于操作装置的计算机代码，其中计算机程序包括：
用于接收与物理触笔的深度动作驱动相关联的深度动作信令的代码；以及
用于根据所接收的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据的代码。
根据另一方面，提供了一种用于在载体上记录的计算机程序，该计算机程序包括配置用于操作装置的计算机代码，其中计算机程序包括：
用于生成与物理触笔的深度动作驱动相关联的深度动作信令的代码；以及
用于提供深度动作信令以允许根据所生成的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据的代码。
不论是否明确地声明(包括要求)是否以组合方式提供或者独立地提供，本公开独立地或者在各种组合中包括一个或者多个相应的方面、实施方式或者特征。用于执行一个或者多个所讨论功能的相应装置也在本公开之内。
用于实现一个或者多个所公开方法的相应计算机程序也在本公开之内，并且由所描述的一个或者多个实施方式涵盖。
上述发明内容仅仅只在示意性而并非限制性目的。
附图说明
现在参考附图仅以示例方式给出描述，在附图中：
图1示意性示出了用于与显示器交互的物理触笔；
图2a示意性示出了用于接收信令并生成图像数据的装置；
图2b示意性示出了用于生成和提供信令的装置；
图3a示意性示出了物理触笔尖端在显示平面中的位置；
图3b示意性示出了物理触笔相对于显示平面的角度；
图3c示意性示出了物理触笔在显示平面中的朝向；
图3d示意性示出了物理触笔的每个末端到显示平面的距离；
图3e示意性示出了触笔关于其经度方向轴的旋转角度；
图4a示意性示出了当物理触笔与显示平面相距第一距离时虚拟触笔具有第一长度；
图4b示意性示出了当物理触笔与显示平面相距第二距离时虚拟触笔具有第二长度；
图4c示意性示出了当物理触笔与显示平面相距第三距离时虚拟触笔具有第三长度；
图5a示意性示出了处于伸长状态的伸缩式触笔；
图5b示意性示出当应用了经度方向力量时伸缩式触笔处于缩短状态；
图5c示意性示出了当已经去除经度方向力量时伸缩式触笔处于伸长状态；
图6a示意性示出当伸缩式触笔正处于伸长状态时虚拟触笔具有第一长度；
图6b示意性示出当已经向伸缩式触笔施加经度方向力量时虚拟触笔具有第二长度；
图6c示意性示出当已经去除经度方向力量时虚拟触笔具有第一长度；
图7示意性示出了使用虚拟触笔在虚拟场景内对虚拟对象的操纵；
图8示意性示出了虚拟触笔与虚拟场景的两个不同区域的交互；
图9a示意性示出了具有规则末端的虚拟触笔；
图9b示意性示出了具有钩状末端的虚拟触笔；
图9c示意性示出了具有爪形末端的虚拟触笔；
图10a示意性示出了如何通过旋转显示器来选择查看角度；
图10b示意性示出了如何通过调整观察者关于显示器的位置来选择查看角度；
图11a示意性示出了包括柱状透镜的三维显示器；
图11b示意性示出了包括视差屏障的三维显示器；
图12示意性示出了一种处理数据的方法；
图13示意性示出了另一处理数据的方法；以及
图14示意性示出了提供计算机程序的计算机可读介质。
具体实施方式
图1示意性示出了用于与显示器102交互的触笔101。如在背景技术部分所讨论，触笔101可用于与当前的2D显示器上的2D内容进行交互。现在将描述允许用户通过使用触笔来与在3D屏幕上显示的3D内容进行交互(尽管其他实施方式可以涉及在2D屏幕上显示的3JD内容)的装置和方法。
图2a示意性示出了用于接收动作信令并生成虚拟触笔的图像数据的装置203，而图2b示意性示出了用于生成和提供动作信令的装置204。图2a的装置203可以包括：接收器，用于接收动作信令；以及生成器，用于生成图像数据。类似地，图2b的装置204可以包括：生成器，用于生成动作信令；以及提供器，用于提供动作信令。在图12和图13中分别示出了使用图2a和图2b的装置用于处理数据的方法的关键步骤。图2a的装置可以是显示器、用于显示的处理器或者用于显示的模块；而图2b的装置可以是触笔、用于触笔的处理器或者用于触笔的模块。然而，为了文本简便起见，在此将图2a的装置称为“显示器”，并且在此将图2b的装置称为“物理触笔”。显示器可以包括用于向观察者显示2D或者3D图像的屏幕。物理触笔可以采取类似于传统PDA触笔的尖头装置的形式。
对于传统触笔，物理触笔必须与显示器接触以便操纵屏幕上的内容。在此情况下，显示器被配置以生成对应于物理触笔的虚拟(现实)的触笔，虚拟触笔模仿物理触笔的位置和动作。有利地，显示器应当足够迅速地更新虚拟触笔的图像，以便在物理触笔的运动和虚拟触笔的运动之间的延迟变得不为观察者(或者物理触笔的用户)所感知。
不同于传统触笔，物理触笔不必与屏幕上的内容直接接触。而是，虚拟触笔与屏幕上的内容交互。出于此原因，物理触笔不必与显示器进行物理接触，尽管也可以相接触。在此描述的装置和方法的特定实施方式的关键特征在于，能够与屏幕上位于3D图像内不同深度的项目进行交互。这是通过响应于物理触笔的深度动作来伸长或者缩短虚拟触笔的长度而实现的。
为了生成虚拟触笔，需要大量传感器。传感器可以配置用于检测：(i)物理触笔尖端在显示器308的平面中的位置(x，y)(如图3a中所示)；(ii)物理触笔304相对于显示器308平面的角度(θ)(如图3b中所示)；(iii)物理触笔304在显示器308的平面中的朝向(
Figure BPA00001623742600081
)(如图3c所示)；(iv)物理触笔304(可以是物理触笔304的任一末端322、323)到显示器308平面的距离(如图3d所示)；(v)物理触笔304关于其经度方向轴的旋转角度(α)(如图3e中所示)，这在当虚拟触笔是钩形时是有用的(参见后文)；(vi)物理触笔304的长度；以及(vii)物理触笔304的形状。为了文字简便起见，在此将用于确定(i)至(vii)的传感器分别称作位置传感器、角度传感器、朝向传感器、距离传感器、旋转传感器、长度传感器和形状传感器。
如在图2a中所示，显示器203包括处理器205、收发机206、存储介质207、显示屏208、距离传感器209、位置传感器210、角度传感器211、形状传感器212。另外，如图2b所示，物理触笔204包括处理器213、收发机214、存储介质215、长度传感器216、距离传感器217、位置传感器218、角度传感器219、朝向传感器220和旋转传感器221。尽管显示器203和物理触笔204各自示出为包括位置传感器210、218和角度传感器211、219，针对每个显示器/触笔的配对，对于每种类型的传感器仅需要一个。此外，应当注意，在此实施方式中的物理触笔传感器217-219的红外照相机(参加下文)配置用于与显示传感器209-211的红外LED一起操作。
对于显示器203，距离传感器209可以包括红外LED(将与在Nintendo WiiTM中可见的相应红外照相机一起使用)，或者激光收发机(如在激光测速枪中可见)；位置传感器210可以包括照相机、触摸屏技术(其可以是电阻式、表面声波、电容式、力度面板、光学成像、扩散信号、声波脉冲识别或者双向屏幕技术)或者红外LED；角度传感器211可以包括红外LED；而形状传感器212可以包括照相机。
关于物理触笔204，长度传感器216可以包括线性电位计或者压电传感器；距离传感器217可以包括红外照相机；位置传感器218可以包括红外照相机；角度传感器219可以包括加速器、红外照相机、陀螺仪；朝向传感器220可以包括加速器或者陀螺仪；而旋转传感器221可以包括光学编码器、机械编码器或者旋转式电位计。
本领域技术人员应当注意，可以使用多种不同类型的传感器来跟踪物理触笔204的位置和运动，在此列出的技术仅构成某些可能的选项。认为在此列出的传感器技术是现有技术中公知的，在此并不描述每个传感器的功能细节。
物理触笔204的处理器213配置用于接收由每个触笔传感器216-221(或者，提供一个或者多个类型的位置/动作信令的单独传感器)生成的信令，并向收发机214提供此信令用于向显示器203发送。处理器213还用于物理触笔204的一般操作。具体地，处理器213向管理其操作的其他设备组件提供信令、并且从该其他的设备组件接收信令。
物理触笔204的收发机214可以配置用于通过有线或无线连接，从物理触笔204向显示器203传输信令。有线连接可以包括数据线缆，而无线连接可以涉及蓝牙TM、红外、无线局域网、移动电话网络、卫星互联网服务、全球微波接入互操作性或者任意其他类型的无线技术。
物理触笔204的存储介质215配置以存储操作装置所需的计算机代码，如参见图14所述。存储介质215可以是临时存储介质，诸如易失性随机访问存储器；或者永久存储介质，诸如硬盘驱动、闪存或者非易失性访问存储器。
显示器203的收发机206配置用于通过有线或者无线连接从物理触笔204接收信令。
显示器203的处理器205配置用于接收由每个显示器和触笔传感器生成的信令(经由显示器收发机206提供的、来自触笔传感器216-221提供的信令)，并基于此信令生成虚拟触笔的图像数据。处理器205还用于显示器203的一般操作。尤其是，处理器205向管理其操作的其他设备组件提供信令，或者从该其他设备接收信令。
显示器203的存储介质207配置用于存储用于显示的2D或者3D图像内容，并且还配置用于存储操作装置所需的计算机代码，如参见图14所示。存储介质207可以是临时存储介质，诸如易失性随机访问存储器；或者永久存储介质，诸如硬盘驱动、闪存或者非易失性访问存储器。
重要的是应当注意，尽管在这些实施方式中每个触笔和显示传感器提供瞬时位置、长度和角度测量，它们可以配置为随着时间的过去来跟踪物理触笔204，由此提供深度动作(z)、移位动作(x，y)、旋转动作(α)和角度动作(θ，)信令。这允许显示处理器205来生成最新的图像数据，使得虚拟触笔能够在所有时间都准确地表示物理触笔204。
如前所述，在这些实施方式中所述的装置和方法的关键特征在于支持与屏幕上的项目进行交互，其中这些项目位于3D图像内的不同深度，这是通过响应于物理触笔的深度动作来通过伸长或者缩短虚拟触笔的长度实现的。在图4中示意性示出。
图4a示出(在透视图424和横截面视图425两者中)虚拟触笔426具有第一长度lV，此时物理触笔404距离显示器408的平面为第一距离。在此实施方式中，物理触笔404不需要与显示器408进行物理接触(非接触模式)。显示器408可以配置用于仅在当物理触笔404与显示器408的距离进入预定义距离内时，显示虚拟触笔426。一般想法是，创建物理触笔404从显示器408外部向显示器408以内延伸的错觉。
典型地，将首先校准系统以便将虚拟触笔426与物理触笔404(x，y，z，α，θ，
Figure BPA00001623742600111
)对准，并且设置屏幕边界关于物理触笔404的移位动作(x，y)。如果没有将系统校准，则虚拟触笔426将有可能不能准确表示物理触笔404。作为错误校准(micalibration)的示例，虚拟触笔406可能在当物理触笔404朝向为平行于显示器平面的时候朝向垂直于显示器平面。这清楚表示了一个极端示例，但是即使轻微的错误校准也可能足以降低表示的可信度，并因而毁坏虚拟现实体验。
当用户将物理触笔404移动进一步远离显示器408时，距离传感器检测到z中的变化(Δz)，并向显示器408发送信号以便更新图像数据。显示器408通过生成新的图像数据进行响应，该新的图像数据在屏幕上呈现为虚拟触笔长度(lV)的缩短(ΔlV)。以此方式，随着用户将物理触笔404移动远离屏幕，显示器创建的印象是用户正在从显示器408内撤回虚拟触笔426(即，降低虚拟触笔426延伸至的图像深度)。在图4b中示出(在透视图427和横截面视图428两者中)。
类似地，当用户将物理触笔404移动至更靠近显示器408时，距离传感器检测到z中的变化(Δz)，并使得显示器408便更新图像数据。这导致虚拟触笔长度(lV)的伸长(ΔlV)。因而，随着用户将物理触笔404移动朝向屏幕，显示器408创建的印象是用户正在将虚拟触笔426更深地推进到显示器408中(即，增加虚拟触笔426延伸至的图像深度)。在图4c中示出(在透视图429和横截面视图430两者中)。
在图5中示出另一实施方式，其中在物理触笔504和显示器508之间需要物理接触(接触模式)。在此实施方式中，物理触笔504具有伸缩式深度(图5a)。此特征(可以使用弹簧531或者允许伸缩式运动的其他装置)允许在当沿着物理触笔504的经度方向轴分别施加力量532、533朝向或者远离显示器508时，使得物理触笔504缩短(图5b)和伸长(图5c)。使用伸缩式触笔允许用户，在当将物理触笔504移动朝向或者远离显示器508的屏幕时，在屏幕上维持基本恒定的压力。由于可以防止物理触笔损坏屏幕，因而这是有利的。
图6a示意性示出(在横截面中)当物理触笔504具有第一长度lP时虚拟触笔626具有第一长度lV。显示器608可以配置用于允许仅当物理触笔604与显示器608物理接触时，示出虚拟触笔626。在此实施方式中，缩短或者伸长的程度ΔlP通过长度传感器来测量。当用户将物理触笔604移动靠近显示器608时，长度传感器检测到lP中的改变ΔlP，使得显示器608更新图像数据。这导致虚拟触笔长度(lV)的伸长(ΔlV)。因而，随着用户将物理触笔604朝向屏幕移动，显示器608创建的印象是用户正在将虚拟触笔626更深地推进到显示器608中(即，增加虚拟触笔626延伸至的图像深度)。在图6c中示出(在横截面中)。
当用户将物理触笔604移动进一步远离显示器608时，距离传感器检测到lP中的变化(ΔlP)，并向显示器608发送信号以便更新图像数据。显示器608通过生成新的图像数据进行响应，该新的图像数据在屏幕上呈现为虚拟触笔长度(lV)的缩短(ΔlV)。以此方式，随着用户将物理触笔604移动远离屏幕，显示器608创建的印象是用户正在从显示器608内撤回虚拟触笔626(即，降低虚拟触笔626延伸至的图像深度)。在图6c中示出(在横截面中)。
在不需要伸缩式触笔的情况下，在接触模式中控制虚拟触笔的长度的另一方法是，通过向触笔的柄中结合压力传感器来实现(未示出)。压力传感器可以配置用于检测所施加的压力(或者力量)，并且将其转换为可以用于控制虚拟触笔的长度的可测量信号。一个示例是，将压电传感器结合至物理触笔，该压电传感器配置用于检测径向压力。在此实施方式中，用户将挤压物理触笔(即，向触笔的经度方向轴垂直地施加挤压力量，即，径向地)，并且传感器将压力转换为电信号。此信号继而被发送至显示处理器用于生成图像数据。虚拟触笔继而将经历与所施加压力成比例的长度变化。
在此描述的装置和方法的另一关键特征是，能够使用虚拟触笔来与图像内容进行交互。例如，显示器可以配置用于向用户呈现虚拟场景。虚拟场景可以包括一个或者多个虚拟项目。在一个实施方式中，该装置配置用于允许虚拟触笔操纵一个或者多个虚拟项目。在此情况下，操纵可以包括以下中的一个或者多个：选择、推、拉、拖拽、下落、上升、紧握和勾住虚拟项目。
图7示意性示出了使用虚拟触笔726在虚拟场景内对虚拟项目734的操纵。在此，虚拟触笔726正被用于从虚拟场景(图像)中的一个位置向虚拟场景(图像)中的另一位置移动虚拟项目734。为实现，用户将物理触笔704定位在足够靠近显示器708(在非接触模式中在距离显示器708的预定义距离以内，如参见图4所述；或者在接触模式中，与显示器708进行物理接触，如参见图6所示)，以便显示器708在屏幕上示出虚拟触笔726。一旦虚拟触笔726可见，则用户移动物理触笔704直到虚拟触笔726与虚拟项目734发生虚拟接触。用户继而通过将物理触笔704移动更靠近显示器708，或者通过朝向显示器708来沿着物理触笔704的经度方向轴施加压力(接触模式)，来向虚拟项目734施加虚拟压力(非接触模式)。一旦已经向虚拟项目734施加虚拟压力，则用户可以如箭头735所指示，通过沿着平行于显示器708的方向(x，y)移动物理触笔704，沿着移位方向(x，y)拖拽虚拟触笔726。
尽管可以使用规则形状的触笔936(图9a)操纵虚拟项目，在此处理中其他形状的虚拟触笔可以进行辅助。例如，尽管施加压力可以用于在移动项目的同时保持虚拟项目(如上所述)，通过使用具有钩状末端937(图9b)的虚拟触笔来与虚拟项目中的相应环交互，可以更容易地实现虚拟项目的移动。备选地，虚拟触笔可以受益于具有爪形末端938(图9c)来抓紧虚拟项目。还可以使用其他末端形状来便于操纵虚拟项目。为了修改虚拟触笔的形状，无须修改物理触笔的形状(尽管还可能是显示器包括形状传感器)。替代地，显示器处理器可以配置用于生成图像数据来表示不同形状的触笔，而无关于物理触笔的形状。用户继而可以选择最适合于期望任务的形状。
该装置(显示器、物理触笔或者两者)可以包括触觉技术，配置用于当虚拟触笔与虚拟项目交互时向用户提供触觉反馈。此特征将允许用户“感觉”到交互。此类技术目前在虚拟现实系统中使用并且可以包括以下一个或者多个：气动仿真、触觉振动仿真、电触觉仿真以及功能神经肌肉仿真。
本领域技术人员将认识到，可以使用多种不同类型的触觉技术来用于向用户提供触觉反馈，在此列出的技术仅构成某些可能的选项。认为在此列出的触觉技术是现有技术中已知的，在此并不描述每种技术的功能细节。
触觉技术还可以用于“感觉”图像内的不同纹理。例如，如果虚拟场景包括两个或者更多区域，每个区域配置用于与虚拟触笔以不同方式交互，触觉技术可以用于响应于虚拟触笔与每个不同区域的交互来提供不同的触觉反馈。因而，这将允许用户通过使用触摸而不是仅仅视觉来区分不同区域，因而进一步增强虚拟体验。
图8示意性示出了虚拟触笔826与虚拟场景的两个不同区域839、840的交互。在此附图中，一个区域839是光滑的，而另一区域840包括周期性粗糙841。随着用户沿着如箭头842所示的方向将物理触笔804平行于显示器808的平面移动，虚拟触笔826被跨越每个区域839、840而被拖拽。以此方式，用户能够基于触觉反馈而区别光滑区域839和粗糙区域840。
本装置的进一步特征在于，能够生成图像数据用于虚拟触笔和对应于用户视角的虚拟场景。在真实空间(相对于虚拟空间)中，对象的大小、形状、位置的呈现甚至表面细节依赖于观察者相对于该对象的定位而改变。在当前系统中引入此特征来进一步增强虚拟体验。
可以基于使用2D或者3D显示器来以两种不同方式实现。通过呈现来自观察者的每只眼睛的在透视上略微不同的相同场景的图像来产生深度的错觉。3D显示器通常使用柱状透镜(图11a)或者视差屏障(图11b)来实现。
柱状透镜1143包括半圆柱形透镜1144的阵列，其以不同角度将来自不同列像素1145、1146的光进行聚焦。当这些透镜1144的阵列设置在显示器1143上时，从不同视点1147、1148捕获的图像可以根据查看角度而变得可见。以此方式，因为每只眼睛查看来自其自身角度的柱状透镜显示器1143，屏幕产生深度错觉。
视差屏障显示器1150包括具有一系列精确缝隙(孔)1152的材料层1151。当高分辨率显示器被置于光栅之后时，来自显示器1150中的单独像素1145、1146中的光1149从狭窄的查看角度范围可见。作为结果，穿过每个孔1152看见的像素1145、1146随着查看角度的变化而不同，允许每只眼睛看到像素1145、1146的不同集合，因而通过视差产生了深度的感觉。
因而，如果显示器包括柱状透镜或者视差屏障，则可以同时显示来自多个查看透视的相同场景的图像。以此方式，无关于所选择的查看角度，物理触笔的用户能够观察虚拟场景和虚拟触笔的屏幕上的3D图像。
另一方面，如果显示器包括2D屏幕(图10)，由于屏幕1053在一个时间仅能显示一个图形象，因而需要不同的方案。在此情况下，屏幕1053可以配置用于针对每个观察角度显示不同的2D图像，每个2D图像示出来自不同透视的相同场景。在效果上，此技术可以用于使用2D显示器产生3D图像的错觉。
为了使得这一技术能够工作，显示器1053需要装置确定观察者1054相对于屏幕平面的位置。可以考虑两种情况：一种是，显示器1053相对于观察者1054移动，如图10a中所示；另一种是，观察者1054相对于显示器1053移动，如图10b所示。在第一种情况下，可以通过调整显示器1053相对于观察者1054的朝向，同时保持观察者1054的位置恒定，来来选择观察者1054的透视。显示器朝向的变化可以通过使用适当技术(位置传感器)诸如位于显示器1053前面的照相机来检测。在第二种情况下，可以通过调整观察者在xy平面中的位置相对于轴1055对于显示器1053的平面中心的法向，来选择观察者1054的透视。在观察者位置中的改变可以通过使用照相机(位置传感器)来确定。
图14示意性示出了提供用于操作装置的计算机程序的计算机/处理器可读介质1456，该装置配置用于接收与物理触笔的深度动作驱动相关联的深度动作信令，并且根据所接收的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据。在此示例中，计算机/处理器可读介质1456是盘，诸如数字通用媒体盘(DVD)或者压缩盘(CD)。在其他实施方式中，计算机可读介质1456可以是已经被如此编程以执行创造性功能的任何媒体。可读介质1456可以是可去除存储器设备，诸如存储器条或者存储器卡(SD、迷你SD或者微型SD)。
计算机程序可以包括：用于接收与物理触笔的深度动作驱动相关联的深度动作信令的代码，以及用于根据所接收的深度动作信令来生成具有虚拟长度的虚拟触笔的图像数据。
计算机/处理器可读介质1456还可以提供用于操作装置的计算机程序，该装置配置用于生成与物理触笔的深度动作驱动相关联的深度动作信令，以及提供该深度动作信令以允许根据所生成的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据。
计算机程序还可以包括：用于生成与物理触笔的深度动作相关联的深度动作信令的代码，以及用于提供该深度动作信令，以允许根据所生成的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据的代码。
在附图中绘出的其他实施方式被提供有参考数字，该参考数字对应于先前描述的实施方式的类似特征。例如，特征数字1还可以对应于数字101、201、301等。这些编号的特征出现在附图中但不必在这些特定实施方式的描述中被直接引用。在附图中提供这些内容以便辅助理解进一步的实施方式，尤其是与先前描述的实施方式相类似的特征。
本领域技术人员应当理解，提及的任何装置、设备、服务器或者传感器和/或具体提及的装置、设备、服务器或者传感器的其他特征可以由所设置的装置来提供，以便其变得配置用于仅当被使能时(例如，被打开，等)执行期望的操作。在此情况下，在未被使能时(例如，被关闭状态)，它们不必将适当的软件加载至激活的存储器中，而是仅在被使能时(例如，被打开状态)加载适当的软件。该装置可以包括硬件电路和/或固件。该装置可以包括加载到存储器上的软件。此类软件/计算机程序可以被记录在相同的存储器/处理器/功能单元和/或在一个或者多个存储器/处理器/功能单元上。
在某些实施方式中，具体提及的装置、设备、服务器或者传感器可以预编程有适当的软件以执行期望的操作，并且其中适当的软件可以由用户下载“密钥”来被使能，例如用于解锁/使能软件及其相关功能性。与此类实施方式相关联的优势可以包括：当设备需要进一步的功能性时可以降低下载数据的需求，并且这在其中发现设备具有足够容量以存储用户没有使能的功能性的此类预编程软件的示例中是有用的。
应当注意，除了所提及的功能，所提及的任何装置、电路、元件、处理器或者传感器可以具有其他功能，并且这些功能可以由相同装置、电路、元件、处理器或者传感器执行。所公开的一个或者多个方面涵盖了计算机程序相关联的电子分发以及在适当载体(例如，存储器、信号)上记录的计算机程序(可以是以源编码/转换编码的形式)。
应当注意，在此描述的任何“计算机”可以包括一个或者多个单独处理器/处理元件的集合，其可以位于或者可以不位于相同电路板上、或者电路板的相同区域/位置甚至相同的设备。在某些实施方式中，所提及的任意处理器中的一个或者多个可以跨多个设备分布。相同或者不同的处理器/处理元件可以执行在此描述的一个或者多个功能。
应当注意，术语“信令”可以指作为传输的和/或接收的信号序列的一个或者多个传输的信号。信号序列可以包括一个、两个、三个、四个甚至更多单独信号分量或者离散信号以构成所述信令。某些或者全部这些单独的信号可以同步地、顺序地传输/接收，使得它们暂时地彼此重叠。
参考提及的任意计算机和/或处理器和存储器(例如，包括ROM、CD-ROM等)的任意讨论，这些可以包括计算机处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和/或可以以此方式编程以便执行创造性功能的其他硬件组件。
申请人在此将在此描述的每个单独的特征以及两个或者更多此类特征的任意组合独立地公开到如下程度，此类特征或者组合能够基于本说明书的整体而实现，在本领域技术人员的一般常识的启示下，无论这些特征或者特征的组合是否解决在此公开的任何问题，并且不限制权利要求书的范围。申请人表明，所公开的方面/实施方式可以包括任意此类单独的特征或者特征的组合。考虑到上述描述，本领域技术人员可以在公开的范围内进行各种修改。
尽管在此已经示出、描述并指出了应用于其不同实施方式的基本新颖的特征，应当注意，在不脱离本发明精神的情况下，本领域技术人员可以在所述设备和方法的形式和细节中做出各种省略、替换和改变。例如，这旨在表达这些以基本相同的方式执行基本相同的功能、以实现相同的结果的元件和/或方法步骤的全部组合，都落在本发明的范围内。此外，应当认识到，作为设计选择的一般因素，所示出的和/或与任何公开形式或实施方式相联系描述的结构和/或元件和/或方法步骤，可以与任何其他公开、描述或建议的形式或实施方式相结合。此外，在权利要求书中，功能性限定条款旨在覆盖执行所述功能的在此描述的结构，不但是结构上等同物而且是等同结构。因而，尽管出于如下原因钉子和螺钉不是结构上等同物：钉子使用圆柱形表面来将木质部件固定在一起，而螺钉使用螺旋表面；然而在固定木质部件的环境下，钉子和螺丝可以是等同结构。

Claims (30)

1.一种装置，所述装置配置用于：
接收与物理触笔的深度动作驱动相关联的深度动作信令；以及
根据所接收的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据。
2.根据权利要求1所述的装置，其中所述装置配置用于：进一步接收与物理触笔的相应移位动作、旋转动作和角度动作相关联的移位动作、旋转动作和角度动作信令中的一个或者多个，以及根据所接收的信令来生成具有虚拟移位、旋转和角度朝向中一个或者多个的虚拟触笔的图像数据。
3.根据权利要求1或2所述的方法，其中所述装置配置用于生成虚拟触笔在虚拟场景上的图像数据，所述虚拟场景包括可以由动作信令中的变化来操纵的一个或者多个虚拟项目。
4.根据权利要求3所述的方法，其中所述动作信令中的变化包括深度动作、移位动作、旋转动作和角度动作信令中的一个或者多个中的变化。
5.根据权利要求3或4所述的装置，其中操纵所述一个或者多个虚拟项目包括以下中的一个或者多个：选择、推、拉、拖拽、下落、上升、紧握和勾住所述虚拟项目中的一个或者多个。
6.根据前述权利要求中的任一项所述的装置，其中所述装置进一步配置用于：接收与相对于用于所述图像数据的显示器的观察者查看角度相关联的查看角度信令，以及根据接收到的所述查看角度信令生成虚拟触笔在虚拟场景上相对应的图像数据。
7.根据前述权利要求中的任一项所述的装置，其中所述装置进一步配置用于：接收与相对于所述物理触笔的观察者查看角度相关联的查看角度信令，以及根据接收到的所述查看角度信令生成虚拟触笔在虚拟场景上相对应的图像数据。
8.根据权利要求6或7所述的装置，其中所述装置被配置用于：根据所述观察者查看角度提供虚拟场景的图像数据。
9.根据前述权利要求中的任一项所述的装置，其中所述物理触笔与用于所述图像数据的显示器进行物理接触。
10.根据权利要求9所述的装置，其中所述显示器是包括允许以下一种或者多种技术的触摸显示器：电阻式、表面声波、电容式、力度面板、光学成像、扩散信号、声波脉冲识别以及双向屏幕技术。
11.根据权利要求1-8中任一项所述的装置，其中所述物理触笔与用于所述图像数据的显示器不进行物理接触。
12.根据权利要求3-11中的任一项所述的装置，其中所述装置配置用于提供作为三维图像来显示所述虚拟触笔和所述虚拟场景的图像数据。
13.根据权利要求3-12中的任一项所述的装置，所述装置包括：触觉技术，配置用于当所述虚拟触笔与所述虚拟场景交互时向所述物理触笔的用户提供触觉式反馈。
14.根据权利要求13所述的装置，其中所述虚拟场景包括两个或者更多区域，每个区域配置用于与所述虚拟触笔不同地交互，所述触觉技术配置用于响应于所述虚拟触笔与所述不同区域中的每一个的交互，来提供不同反馈。
15.根据前述权利要求中的任一项所述的装置，其中所述装置是从包括以下的列表中选出：用户界面、二维显示器、三维显示器、用于所述用户界面/二维显示器/三维显示器的处理器、以及用于所述用户界面/二维显示器/三维显示器的模块。
16.一种包括处理器的装置，所述处理器配置用于：
接收与物理触笔的深度动作驱动相关联的深度动作信令；以及
根据所接收的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据。
17.一种装置，所述装置包括：
接收器，配置用于接收与物理触笔的深度动作驱动相关联的深度动作信令；以及
生成器，配置用于根据所接收的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据。
18.一种装置，所述装置配置用于：
生成与物理触笔的深度动作驱动相关联的深度动作信令；以及
提供所述深度动作信令以允许根据所生成的深度动作信令来生成具有虚拟长度的虚拟触笔的图像数据。
19.根据权利要求18所述的装置，其中所述装置配置用于基于被施加至所述物理触笔的压力来生成深度动作信令。
20.根据权利要求19所述的装置，其中所述压力是径向压力。
21.根据权利要求18所述的装置，其中所述装置配置用于基于所述物理触笔的长度的变化来生成深度动作信令。
22.根据权利要求21所述的装置，其中所述深度动作信令是基于所述物理触笔的伸缩式长度的变化。
23.根据权利要求18-22中的任一项所述的装置，其中所述装置配置用于进一步生成与物理触笔的相应移位动作、旋转动作和角度动作相关联的移位动作、旋转动作、角度动作信令中的一个或者多个，以及根据所生成的信令来提供用于生成具有虚拟移位、旋转和角度朝向中一个或者多个的虚拟触笔的图像数据的信令。
24.根据权利要求18-23中的任一项所述的装置，其中所述装置是从包括以下的列表中选出：触笔、用于触笔的处理器以及用于触笔的模块。
25.一种包括处理器的装置，所述处理器配置用于：
生成与物理触笔的深度动作驱动相关联的深度动作信令；以及
提供所述深度动作信令以允许根据所生成的深度动作信令来生成具有虚拟长度的虚拟触笔的图像数据。
26.一种装置，所述装置包括：
生成器，配置用于生成与物理触笔的深度动作驱动相关联的深度动作信令；以及
提供器，配置用于提供所述深度动作信令以允许根据所生成的深度动作信令来生成具有虚拟长度的虚拟触笔的图像数据。
27.一种处理数据的方法，所述方法包括：
接收与物理触笔的深度动作驱动相关联的深度动作信令；以及
根据所接收的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据。
28.一种处理数据的方法，所述方法包括：
生成与物理触笔的深度动作驱动相关联的深度动作信令；以及
提供所述深度动作信令以允许根据所生成的深度动作信令来生成具有虚拟长度的虚拟触笔的图像数据。
29.一种记录在载体上的计算机程序，所述计算机程序包括配置用于操作装置的计算机代码，其中所述计算机程序包括：
用于接收与物理触笔的深度动作驱动相关联的深度动作信令的代码；以及
用于根据所接收的深度动作信令生成具有虚拟长度的虚拟触笔的图像数据的代码。
30.一种记录在载体上的计算机程序，所述计算机程序包括配置用于操作装置的计算机代码，其中所述计算机程序包括：
用于生成与物理触笔的深度动作驱动相关联的深度动作信令的代码；以及
用于提供所述深度动作信令以允许根据所生成的深度动作信令来生成具有虚拟长度的虚拟触笔的图像数据的代码。
CN2010800658730A 2010-03-31 2010-03-31 用于虚拟触笔的装置、方法和计算机程序 Pending CN102822784A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2010/000728 WO2011121375A1 (en) 2010-03-31 2010-03-31 Apparatuses, methods and computer programs for a virtual stylus

Publications (1)

Publication Number Publication Date
CN102822784A true CN102822784A (zh) 2012-12-12

Family

ID=44711396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800658730A Pending CN102822784A (zh) 2010-03-31 2010-03-31 用于虚拟触笔的装置、方法和计算机程序

Country Status (4)

Country Link
US (1) US20130021288A1 (zh)
EP (1) EP2553555A1 (zh)
CN (1) CN102822784A (zh)
WO (1) WO2011121375A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298438A (zh) * 2013-07-17 2015-01-21 宏碁股份有限公司 电子装置及其触控操作方法
CN104838340A (zh) * 2012-12-14 2015-08-12 三星电子株式会社 控制用于移动终端的输入工具的触觉反馈的方法和设备
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
CN105938425A (zh) * 2015-03-03 2016-09-14 三星电子株式会社 显示图像的方法和电子装置
CN106371736A (zh) * 2016-01-08 2017-02-01 北京智谷睿拓技术服务有限公司 交互方法、交互设备及操作棒
US10564724B1 (en) 2016-09-20 2020-02-18 Apple Inc. Touch-based input device with haptic feedback
US10691209B2 (en) 2018-06-19 2020-06-23 Apple Inc. Stylus with haptic feedback for texture simulation

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102985894B (zh) * 2010-07-15 2017-02-08 惠普发展公司，有限责任合伙企业 第一响应和第二响应
US9983685B2 (en) 2011-01-17 2018-05-29 Mediatek Inc. Electronic apparatuses and methods for providing a man-machine interface (MMI)
US8670023B2 (en) * 2011-01-17 2014-03-11 Mediatek Inc. Apparatuses and methods for providing a 3D man-machine interface (MMI)
US20120206419A1 (en) * 2011-02-11 2012-08-16 Massachusetts Institute Of Technology Collapsible input device
US8723820B1 (en) * 2011-02-16 2014-05-13 Google Inc. Methods and apparatus related to a haptic feedback drawing device
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20130117717A1 (en) * 2011-11-03 2013-05-09 Shenzhen Super Perfect Optics Limited 3d user interaction system and method
KR101683868B1 (ko) 2012-05-09 2016-12-07 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
AU2013259642A1 (en) 2012-05-09 2014-12-04 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
CN108958550B (zh) 2012-05-09 2021-11-12 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
WO2013169854A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
EP3096218B1 (en) 2012-05-09 2018-12-26 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
CN108287651B (zh) 2012-05-09 2021-04-13 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
US9591339B1 (en) 2012-11-27 2017-03-07 Apple Inc. Agnostic media delivery system
US9774917B1 (en) 2012-12-10 2017-09-26 Apple Inc. Channel bar user interface
US10200761B1 (en) 2012-12-13 2019-02-05 Apple Inc. TV side bar user interface
US9532111B1 (en) 2012-12-18 2016-12-27 Apple Inc. Devices and method for providing remote control hints on a display
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2014105274A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for navigating user interface hierarchies
AU2013368443B2 (en) 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
US10521188B1 (en) 2012-12-31 2019-12-31 Apple Inc. Multi-user TV user interface
US9880623B2 (en) * 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
EP2763019A1 (en) * 2013-01-30 2014-08-06 BlackBerry Limited Stylus based object modification on a touch-sensitive display
US9075464B2 (en) 2013-01-30 2015-07-07 Blackberry Limited Stylus based object modification on a touch-sensitive display
KR20140136356A (ko) * 2013-05-20 2014-11-28 삼성전자주식회사 사용자 단말 장치 및 그 인터렉션 방법
TWI502459B (zh) * 2013-07-08 2015-10-01 Acer Inc 電子裝置及其觸控操作方法
KR20150024247A (ko) * 2013-08-26 2015-03-06 삼성전자주식회사 터치 스크린 디바이스에서 다수의 입력기구를 이용하는 애플리케이션을 실행하는 방법 및 터치 스크린 디바이스
US9665206B1 (en) 2013-09-18 2017-05-30 Apple Inc. Dynamic user interface adaptable to multiple input tools
KR20150044757A (ko) * 2013-10-17 2015-04-27 삼성전자주식회사 플로팅 입력에 따라 동작을 제어하는 전자 장치 및 그 방법
US9817489B2 (en) 2014-01-27 2017-11-14 Apple Inc. Texture capture stylus and method
JP6482578B2 (ja) 2014-06-24 2019-03-13 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ユーザインタフェースにおけるナビゲートのためのカラムインタフェース
CN111104040B (zh) 2014-06-24 2023-10-24 苹果公司 输入设备和用户界面交互
US9400570B2 (en) 2014-11-14 2016-07-26 Apple Inc. Stylus with inertial sensor
US9575573B2 (en) 2014-12-18 2017-02-21 Apple Inc. Stylus with touch sensor
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
JP6768001B2 (ja) 2015-04-29 2020-10-14 インスティテュート フォー マスキュロスケレタル サイエンス アンド エジュケイション，リミテッド コイル状インプラントおよびシステムならびにその作製方法
US10449051B2 (en) 2015-04-29 2019-10-22 Institute for Musculoskeletal Science and Education, Ltd. Implant with curved bone contacting elements
CN104915621B (zh) * 2015-05-14 2018-02-02 广东小天才科技有限公司 一种基于点读装置的功能选择方法和装置
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
DK201670581A1 (en) 2016-06-12 2018-01-08 Apple Inc Device-level authorization for viewing content
DK201670582A1 (en) 2016-06-12 2018-01-02 Apple Inc Identifying applications on which content is available
US11966560B2 (en) 2016-10-26 2024-04-23 Apple Inc. User interfaces for browsing content from multiple content applications on an electronic device
US10512549B2 (en) 2017-03-13 2019-12-24 Institute for Musculoskeletal Science and Education, Ltd. Implant with structural members arranged around a ring
US10940015B2 (en) 2017-11-21 2021-03-09 Institute for Musculoskeletal Science and Education, Ltd. Implant with improved flow characteristics
US10744001B2 (en) 2017-11-21 2020-08-18 Institute for Musculoskeletal Science and Education, Ltd. Implant with improved bone contact
US10719143B2 (en) * 2018-08-03 2020-07-21 Logitech Europe S.A. Input device for use in an augmented/virtual reality environment
WO2020198238A1 (en) 2019-03-24 2020-10-01 Apple Inc. User interfaces for a media browsing application
US11683565B2 (en) 2019-03-24 2023-06-20 Apple Inc. User interfaces for interacting with channels that provide content that plays in a media browsing application
CN114115676A (zh) 2019-03-24 2022-03-01 苹果公司 包括内容项的可选表示的用户界面
EP3928526A1 (en) 2019-03-24 2021-12-29 Apple Inc. User interfaces for viewing and accessing content on an electronic device
WO2020243645A1 (en) 2019-05-31 2020-12-03 Apple Inc. User interfaces for a podcast browsing and playback application
US11863837B2 (en) 2019-05-31 2024-01-02 Apple Inc. Notification of augmented reality content on an electronic device
US11843838B2 (en) 2020-03-24 2023-12-12 Apple Inc. User interfaces for accessing episodes of a content series
US11899895B2 (en) 2020-06-21 2024-02-13 Apple Inc. User interfaces for setting up an electronic device
US11720229B2 (en) 2020-12-07 2023-08-08 Apple Inc. User interfaces for browsing and presenting content
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1630877A (zh) * 2000-12-22 2005-06-22 皇家菲利浦电子有限公司 基于计算机视觉的无线定向系统
CN1910543A (zh) * 2004-10-12 2007-02-07 日本电信电话株式会社 三维指示方法、三维显示控制方法、三维指示装置、三维显示控制装置、三维指示程序、以及三维显示控制程序
US20090135164A1 (en) * 2007-11-26 2009-05-28 Ki Uk Kyung Pointing apparatus capable of providing haptic feedback, and haptic interaction system and method using the same
US20090167702A1 (en) * 2008-01-02 2009-07-02 Nokia Corporation Pointing device detection

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57123408A (en) * 1981-01-26 1982-07-31 Nissan Motor Co Ltd Supplying method of position data
US4764885A (en) * 1986-04-25 1988-08-16 International Business Machines Corporaton Minimum parallax stylus detection subsystem for a display device
US5805140A (en) * 1993-07-16 1998-09-08 Immersion Corporation High bandwidth force feedback interface using voice coils and flexures
US6166723A (en) * 1995-11-17 2000-12-26 Immersion Corporation Mouse interface device providing force feedback
GB9722766D0 (en) * 1997-10-28 1997-12-24 British Telecomm Portable computers
FI117986B (fi) * 2003-06-17 2007-05-15 Onesys Oy Menetelmä ja järjestelmä navigoimiseksi tosiaikaisesti kolmiulotteisessa lääketieteellisessä kuvamallissa
US9201520B2 (en) * 2011-02-11 2015-12-01 Microsoft Technology Licensing, Llc Motion and context sharing for pen-based computing inputs
US9229556B2 (en) * 2012-04-12 2016-01-05 Samsung Electronics Co., Ltd. Apparatus and method for sensing 3D object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1630877A (zh) * 2000-12-22 2005-06-22 皇家菲利浦电子有限公司 基于计算机视觉的无线定向系统
CN1910543A (zh) * 2004-10-12 2007-02-07 日本电信电话株式会社 三维指示方法、三维显示控制方法、三维指示装置、三维显示控制装置、三维指示程序、以及三维显示控制程序
US20090135164A1 (en) * 2007-11-26 2009-05-28 Ki Uk Kyung Pointing apparatus capable of providing haptic feedback, and haptic interaction system and method using the same
US20090167702A1 (en) * 2008-01-02 2009-07-02 Nokia Corporation Pointing device detection

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104838340A (zh) * 2012-12-14 2015-08-12 三星电子株式会社 控制用于移动终端的输入工具的触觉反馈的方法和设备
CN104838340B (zh) * 2012-12-14 2018-10-19 三星电子株式会社 控制用于移动终端的输入工具的触觉反馈的方法和设备
CN104298438B (zh) * 2013-07-17 2017-11-21 宏碁股份有限公司 电子装置及其触控操作方法
CN104298438A (zh) * 2013-07-17 2015-01-21 宏碁股份有限公司 电子装置及其触控操作方法
CN105938425A (zh) * 2015-03-03 2016-09-14 三星电子株式会社 显示图像的方法和电子装置
CN105938425B (zh) * 2015-03-03 2020-10-16 三星电子株式会社 显示图像的方法和电子装置
CN106371736A (zh) * 2016-01-08 2017-02-01 北京智谷睿拓技术服务有限公司 交互方法、交互设备及操作棒
US10275051B2 (en) 2016-01-08 2019-04-30 Beijing Zhigu Rui Tuo Tech Co., Ltd. Interaction method, interaction device, and operation stick
CN106371736B (zh) * 2016-01-08 2019-11-08 北京智谷睿拓技术服务有限公司 交互方法、交互设备及操作棒
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
CN105912110B (zh) * 2016-04-06 2019-09-06 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
US10564724B1 (en) 2016-09-20 2020-02-18 Apple Inc. Touch-based input device with haptic feedback
US11360560B2 (en) 2016-09-20 2022-06-14 Apple Inc. Touch-based input device with haptic feedback
US10691209B2 (en) 2018-06-19 2020-06-23 Apple Inc. Stylus with haptic feedback for texture simulation

Also Published As

Publication number Publication date
WO2011121375A1 (en) 2011-10-06
US20130021288A1 (en) 2013-01-24
EP2553555A1 (en) 2013-02-06

Similar Documents

Publication Publication Date Title
CN102822784A (zh) 用于虚拟触笔的装置、方法和计算机程序
US11449099B2 (en) Virtual reality viewer and input mechanism
US20200166967A1 (en) Flexible Display for a Mobile Computing Device
CN107810470B (zh) 便携式装置和用于改变其屏幕的方法
US8024671B2 (en) Three-dimensional graphic user interface, and apparatus and method of providing the same
CN1327328C (zh) 三维运动图形用户接口和提供其的方法和设备
CN105190518A (zh) 提供多维触觉触摸屏交互
CN105074616B (zh) 用户接口和相关的方法
WO2016103115A1 (en) Selectively pairing application presented in virtual space with physical display
CN103218108A (zh) 用于显示多面体用户界面的方法和设备
US20130063339A1 (en) Apparatus for selecting multimedia information
CN102999176A (zh) 用于无线控制装置的方法和系统
TWI508525B (zh) 行動終端機及控制該行動終端機操作的方法
KR20170010444A (ko) 줌 그래픽 사용자 인터페이스
KR20110102359A (ko) 3ｄ ｇｕｉ에서 2ｄ 그래픽 확장
CN101943987A (zh) 信息处理装置、信息处理方法和程序
WO2012160833A1 (ja) 電子機器および合成画像の編集方法
CN105518566A (zh) 显示旋转管理
US20130222363A1 (en) Stereoscopic imaging system and method thereof
CN103577040A (zh) 具有图形用户界面的方法和便携式设备
US20120235987A1 (en) Multi dimensional touch display device and touch input method thereof
CN102455801A (zh) 输入装置、输入控制系统、信息处理方法及程序
CN102411486A (zh) 信息处理设备、程序以及信息处理方法
CN105320280B (zh) 一种信息处理方法和电子设备
KR20160013451A (ko) 증강현실 애플리케이션을 접목한 제품현시시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121212