CN109952552A - 视觉提示系统 - Google Patents

视觉提示系统 Download PDF

Info

Publication number
CN109952552A
CN109952552A CN201680090785.3A CN201680090785A CN109952552A CN 109952552 A CN109952552 A CN 109952552A CN 201680090785 A CN201680090785 A CN 201680090785A CN 109952552 A CN109952552 A CN 109952552A
Authority
CN
China
Prior art keywords
user
hand
input unit
expression
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680090785.3A
Other languages
English (en)
Inventor
S·罗林斯
I·N·鲁滨孙
堀井裕司
R·P·马丁
N·L·昌
A·K·帕鲁丘里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN109952552A publication Critical patent/CN109952552A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种视觉提示系统，包括：输入装置；以及通信地耦接到所述输入装置的显示装置，所述显示装置用于在用户移动所述输入装置和所述用户的手时呈现所述输入装置的表示以及所述输入装置的所述用户的手的表示。所述用户的手的所述表示向所述用户提供视觉提示。

Description

视觉提示系统
背景技术
在诸如计算机、智能电话、平板计算机等电子装置中，输入装置可以用于向所述电子装置的处理装置提供数据和控制信号。输入装置可以是计算机硬件设备的任何外围件，诸如键盘、鼠标、数字笔、触摸屏装置、扫描仪、数码相机和操纵杆。
附图说明
附图图示了本文所描述原理的各个示例并且是本说明书的一部分。所图示的示例仅出于说明的目的给出，并且不限制权利要求的范围。
图1是根据本文所描述原理的一个示例的视觉提示系统的框图。
图2是根据本文所描述原理的另一个示例的视觉提示系统的简图。
图3是根据本文所描述原理的一个示例的图2的视觉提示系统的框图。
图4是根据本文所描述原理的又另一个示例的视觉提示系统的简图。
图5是根据本文所描述原理的一个示例的图4的视觉提示系统的框图。
图6是流程图，描绘了根据本文所描述原理的一个示例的呈现视觉提示的方法。
图7是流程图，描绘了根据本文所描述原理的另一个示例的呈现视觉提示的方法。
图8是流程图，描绘了根据本文所描述原理的又另一个示例的呈现视觉提示的方法。
在所有附图中，相同的附图标记指代类似但不一定相同的元件。
具体实施方式
可以在除了被用户来感知输出的平面之外的表面或平面上执行输入装置的输入。在输入装置是笔的情况下，这种类型的输入布置可以被称为间接笔输入，其中，输入表面和其上呈现输出的显示器在物理上彼此分离并且用户感到丧失了直接手眼协调。例如，用户可能正在平板装置或位于水平面上的表面上书写或绘制，并且此动作的输出可能显示在与所述平板装置或表面不平行、而是相反地关于此水平面成角度的单独显示装置上。
换言之，用户进行交互并提供输入之处的表面不同于用于输出此输入的视觉表示的表面。在增强现实(AR)系统或虚拟现实(VR)系统中也可能经历间接输入系统中的直接手眼协调的丧失。又进一步地，如果输入表面和输出表面中的任一者或两者相对于彼此或相对于例如平坦表面具有不同的几何形状，则可能进一步减弱直接手眼协调。交互表面或输入表面可能在坐标平面位置、形状、大小、几何形状、体积或其他方面与视觉表面或输出表面不同，使得至一个表面的输入和在另一个表面处的可视化减弱了用户充分协调其手和眼睛以理解输入与输出之间的协调的能力。用户所经历的这种丧失协调的发生可能与诸如平坦显示装置和平坦输入表面等平坦表面相关、与诸如弯曲显示装置和不平整的非平坦输入表面等弯曲表面相关，并且发生在AR系统和VR系统的情况下，其中输入表面是空间体积内的任何平面。
许多用户可能会对于在一个表面上创建、编辑或注释内容而看到输出在第二个表面上出现这种非直观性质感到失望。从用户的角度来看，在一个表面上书写或绘制而在位于单独平面上的显示装置上看到输出的动作可能是不便的，并且可能导致对用户正在书写或绘制的主题的较差呈现。例如，与用户在一个表面上书写并且输出被呈现在同一表面上的情况相比，用户的手写可能不是可识别的或者绘图可能不太精确。
在这种类型的环境中的这种书写或绘制不精确的原因可能是由于缺少视觉提示。视觉提示向用户提供关于用户的手、书写工具或其组合位于诸如显示装置等输出装置内的位置的了解。本文描述的示例提供对诸如触笔或智能笔等输入装置的视觉表示、对用户的手和/或手臂的视觉表示、或其组合，所述视觉表示叠加在诸如显示装置等输出装置上呈现的输出显示图像上。对输入装置和用户的手和/或手臂的视觉表示充当用户确定他或她的手和输入装置的取向的指导，并且具有可识别且逼真的视觉反馈。本文描述的视觉提示系统和方法还可以用于增强现实环境和虚拟现实环境中，在所述环境中，使用笔输入来经由平板表面或在自由空间中进行空间中的绘制。本文描述的示例不仅使得新手能够更容易地掌握间接笔输入的体验，而且专家绘图员还可以受益于基于笔取向和手/手臂姿势更好地规划笔运动的能力。
直接输入指的是在与被用户来感知输出的平面相同的表面或平面上执行的输入装置的输入。例如，数字转换器可以内置在显示装置中，使得输入表面和显示装置是同一表面。然而，这种布置在人体工程学上不是最佳的，因为用户可能倾向于对其成果进行预感。进一步地，用户可能无法看到整个输出，因为用户无法透视他或她的手。因此，在一个示例中，本文描述的视觉提示可以在显示装置上显示为半透明，使得可以在显示装置上观看整个用户输入。
本文描述的示例提供了一种视觉提示系统。所述视觉提示系统包括：输入装置；以及通信地耦接到所述输入装置的显示装置，所述显示装置用于在用户移动所述输入装置和所述用户的手时呈现所述输入装置的表示以及所述输入装置的所述用户的手的表示。所述用户的手的所述表示向所述用户提供视觉提示。在一个示例中，所述输入装置包括：智能笔；以及基板，所述基板包括可被所述智能笔识别的元件以识别所述智能笔相对于所述基板的位置和取向。基于所述输入装置的取向和所述输入装置相对于基板的位置来呈现所述用户的手的表示。所述输入装置将取向和位置信息传达至显示装置。所述用户的手的表示在显示装置上呈现为阴影手。所述阴影手是基于由输入装置获得的取向和位置信息来表示的。
在另一个示例中，输入装置包括触笔、以及通信地耦接到显示装置的平板装置。视觉提示系统进一步包括用于捕获用户的手的图像的图像捕获装置。在显示装置上呈现的所述用户的手的表示包括所述用户的手的视频叠加。
在以上两种情况中，所述用户的手的表示被呈现为至少部分地透明，以不遮挡在所述显示装置上显示的对象。所述用户的手的表示的透明程度是用户可定义的。
本文描述的示例还提供了一种用于呈现视觉提示的间接输入用户界面。所述间接输入用户界面包括输入表面、以及与所述输入表面交互的输入装置。所述输入装置与所述输入表面之间的交互限定所述输入装置相对于所述输入表面的取向和位置。所述间接输入用户界面还包括通信地耦接到所述输入装置和所述输入表面的显示装置。所述显示装置在用户移动所述输入装置和所述用户的手时呈现所述输入装置的表示以及所述输入装置的所述用户的手的表示，所述用户的手的表示向所述用户提供视觉提示。输入到所述输入表面是在相对于所述显示装置的视觉平面的不同视觉平面上执行的。所述用户的手的表示被呈现为至少部分地透明，以不遮挡在所述显示装置上显示的对象。
本文描述的示例进一步提供了一种用于呈现视觉提示的计算机程序产品。所述计算机程序产品包括非暂时性计算机可读介质，所述非暂时性计算机可读介质包括与其一起实施的计算机可使用程序代码。所述计算机可使用程序代码在由处理器执行时进行以下操作：识别输入装置相对于输入表面的取向和位置；并且在用户移动所述输入装置和所述用户的手时在显示装置上显示所述输入装置的表示以及所述输入装置的所述用户的手的表示。所述用户的手的所述表示向所述用户提供视觉提示。所述计算机程序产品进一步包括以下计算机可使用程序代码，所述计算机可使用程序代码在由所述处理器执行时校准所述输入装置的移动。所述计算机程序产品进一步包括以下计算机可使用程序代码，所述计算机可使用程序代码在由所述处理器执行时对所述用户的手的表示进行缩放以便显示。所述计算机程序产品进一步包括以下计算机可使用程序代码，所述计算机可使用程序代码在由所述处理器执行时：检测所述输入装置在输入表面上方的悬停状态，并且在所述显示装置上表示所述输入装置的所述悬停状态。
如在本说明书和所附权利要求中所使用的，术语“多个”或类似的语言旨在被概括地理解为包括1到无穷大的任何正数；零不是数量，而是没有数量。
在以下说明中，出于解释的目的，阐述了许多具体细节以提供对本系统和方法的透彻理解。然而，对本领域技术人员将明显的是，可以在没有这些具体细节的情况下实践本设备、系统和方法。说明书中对“示例”或类似语言的引用指的是，结合所述示例所描述的具体特征、结构或特性按照所描述的那样被包括，但可以不包括在其他示例中。
现在转到附图，图1是根据本文所描述原理的一个示例的视觉提示系统(100)的框图。所述视觉提示系统包括：输入装置(102)；以及通信地耦接到所述输入装置(102)的显示装置(101)，所述显示装置用于在用户移动所述输入装置(102)和所述用户的手时呈现所述输入装置的表示(103)以及所述输入装置的所述用户的手的表示(104)。以这种方式，当用户观看显示装置(101)时，输入装置的表示(103)、用户的手的表示(104)、或其组合向用户提供视觉提示。
输入装置(102)可以是用于向视觉提示系统(100)输入信息的任何装置。进一步地，显示装置(101)可以是用于输出对用户输入的表示的任何装置。在一个示例中，输入装置(102)可以是智能笔，并且输出装置(101)可以是计算机装置驱动的显示装置。在这个示例中，智能笔可以将位置和取向信息中继到驱动显示装置的计算机装置，并且可以基于由智能笔中继的信息在显示装置(101)上显示输入装置的表示(103)、用户的手的表示(104)、或其组合。
在另一个示例中，输入装置(102)可以包括触笔或其他“无声(dumb)”输入装置和平板装置，所述平板装置在触笔在平板装置的表面处接触时检测触笔的位置。平板装置然后可以将关于触笔在所述平板装置上的位置的信息中继到计算装置。这个示例可以进一步包括图像捕获装置，所述图像捕获装置当触笔在平板装置上进行输入时捕获用户的手/手臂、输入装置的图像、或其组合。可以基于由平板装置和图像捕获装置中继的信息在显示装置(101)上显示输入装置的表示(103)、用户的手的表示(104)、或其组合。现在将结合图2至图5来描述关于这些各种装置和系统的更多细节。
图2是根据本文所描述原理的另一个示例的视觉提示系统(100)的简图。图3是根据本文所描述原理的一个示例的图2的视觉提示系统(100)的框图。现在将一起描述图2和图3，因为它们描述视觉提示系统(100)的同一示例。结合图2和图3呈现的元件可以类似于结合图4和图5呈现的元件，并且此处针对图2和图3给出的描述类似地适用于图4和图5中的类似元件。
图2和图3的视觉提示系统(100)可以包括：耦接到计算装置(105)的显示装置(101)、智能笔(201)以及书写表面(250)。显示装置(101)可以是经由智能笔(201)向计算装置(105)输出数据输入以便以视觉形式呈现数据的任何装置。显示装置的示例可以包括液晶显示器(LCD)、阴极射线管(CRT)、等离子显示装置和触摸屏显示装置、以及其他显示装置类型、或其组合。在另一个示例中，显示装置(101)还可以包括VR或AR系统、其他3D输出装置、投影显示器、或其组合。在一个示例中，视觉提示系统(100)的各种子部件或元件可以在多个不同的系统中实施，其中，不同的模块可以跨所述多个不同系统分组或分布。
书写表面(250)可以是允许智能笔(201)识别并记录其相对于书写表面(250)的位置的任何表面。在一个示例中，书写表面(250)可以包括位置识别标记，所述位置识别标记与智能笔的图案读取能力相结合以允许智能笔识别相对于书写表面(250)的位置。使用这种技术的系统可从例如Anoto AB获得并在其网站www.Anoto.com上进行了描述。
计算装置(105)可以在电子装置中实施。电子装置的示例包括服务器、台式计算机、膝上型计算机、个人数字助理(PDA)、移动装置、智能电话、游戏系统、和平板计算机、以及其他电子装置。计算装置(105)可以用于任何数据处理场景，包括独立硬件、移动应用程序、通过计算网络、或其组合。进一步地，本系统可以在一个或多个硬件平台上实施，其中，系统中的模块可以在一个平台上或跨多个平台执行。在另一个示例中，由视觉提示系统(100)提供的方法由本地管理员执行。
为了实现其期望功能，计算装置(105)包括各种硬件部件。在这些硬件部件中，可以是多个处理装置(106)、多个数据存储装置(110)、多个外围装置适配器(107)、以及多个网络适配器(108)。这些硬件部件可以通过使用多个总线和/或网络连接来互连。在一个示例中，处理装置(106)、数据存储装置(110)、外围装置适配器(107)和网络适配器(108)可以经由总线(109)通信地耦接。
处理装置(106)可以包括用于从数据存储装置(110)中取得可执行代码并执行所述可执行代码的硬件架构。所述可执行代码在由处理装置(106)执行时可以使处理装置(106)至少实施从智能笔(201)接收位置和取向数据的功能。所述可执行代码在由处理装置(106)执行时还可以使处理装置(106)在显示装置(101)上显示智能笔(201)的表示(152)、以及用户的手和/或手臂(153)的表示(151)。又进一步地，所述可执行代码在由处理装置(106)执行时可以缩放智能笔(201)的表示以及用户的手和/或手臂(153)的表示(151)的大小，并且在显示装置(101)上呈现智能笔(201)的经缩放表示(151)以及用户的手和/或手臂(153)的经缩放表示(151)。
甚至更进一步地，所述可执行代码在由处理装置(106)执行时可以在显示装置(101)上将用户的手和/或手臂(153)的表示(151)呈现为阴影手，其中，所述阴影手是基于由智能笔(201)获得的取向和位置信息来表示的。甚至更进一步地，所述可执行代码在由处理装置(106)执行时可以校准智能笔(201)的位置和移动。甚至更进一步地，所述可执行代码在由处理装置(106)执行时可以检测智能笔在书写表面(250)上方的悬停状态，并且在显示装置(101)上表示智能笔(201)的悬停状态。处理装置(106)根据本文描述的系统和方法而起作用。在执行代码的过程中，处理装置(106)可以从其余多个硬件单元接收输入并向其余多个硬件单元提供输出。
本文描述的数据存储装置(110)和其他数据存储装置可以存储诸如由处理装置(106)执行的可执行程序代码等数据。如将讨论的，数据存储装置(110)可以具体地存储表示处理装置(106)执行以至少实施本文描述的功能的多个应用程序的计算机代码。
本文描述的数据存储装置(110)和其他数据存储装置可以包括各种类型的存储器模块，包括易失性存储器和非易失性存储器。例如，本示例的数据存储装置(110)包括随机存取存储器(RAM)(111)、只读存储器(ROM)(112)和硬盘驱动器(HDD)存储器(113)。还可以利用许多其他类型的存储器，并且本说明书设想在数据存储装置(110)中使用可能适合本文所描述原理的特定应用程序的许多不同类型的存储器。在某些示例中，数据存储装置(110)中的不同类型的存储器可以用于不同的数据存储需要。例如，在某些示例中，处理装置(106)可以从只读存储器(ROM)(112)启动，保持硬盘驱动器(HDD)存储器(113)中的非易失性存储内容，并执行存储在随机存取存储器(RAM)(111)中的程序代码。
本文描述的数据存储装置(110)和其他数据存储装置可以包括计算机可读介质、计算机可读存储介质或非暂时性计算机可读介质等。例如，数据存储装置(110)可以但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置、或前述的任何合适的组合。计算机可读存储介质的更具体示例可以包括例如以下内容：具有或多条导线的电连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、便携式致密盘只读存储器(CD-ROM)、光存储装置、磁存储装置、或者前述各项的任何适当组合。在本文献的上下文中，计算机可读存储介质可以是包括或存储用于由指令执行系统、设备或装置使用或与指令执行系统、设备或装置结合使用的计算机可使用程序代码的任何有形介质。在另一个示例中，计算机可读存储介质可以是包括或存储用于由指令执行系统、设备或装置使用或与指令执行系统、设备或装置结合使用的程序的任何非暂时性介质。
计算装置(105)中的硬件适配器(107，108)使得处理装置(106)能够与计算装置(105)外部和内部的各种其他硬件元件接口连接。例如，外围装置适配器(107)可以提供到诸如例如显示装置(101)、鼠标或键盘等输入/输出装置的接口。外围装置适配器(107)还可以提供对其他外部装置的访问，所述外部装置诸如外部存储装置、多个网络装置(诸如例如服务器、交换机和路由器)、客户端装置、其他类型的计算装置、及其组合。外围装置适配器(107)还可以在处理装置(106)与显示装置(101)、打印机或其他媒体输出装置之间创建接口。网络适配器(108)可以向例如网络内的其他计算装置提供接口，从而实现计算装置(105)与位于所述网络内的其他装置之间的数据传输。
计算装置(105)可以进一步包括在本文描述的系统和方法的实施方式中使用的多个模块。计算装置(105)内的各种模块包括可以单独执行的可执行程序代码。在这个示例中，各种模块可以存储为单独的计算机程序产品。在另一个示例中，计算装置(105)内的各种模块可以组合在多个计算机程序产品中；每个计算机程序产品包括多个模块。
所述计算装置(105)可以包括位置和取向模块(114)，所述位置和取向模块在由处理装置(106)执行时进行以下操作：从智能笔(201)获得位置和取向数据，在显示装置(101)上创建并显示智能笔(201)的表示(152)、以及用户的手和/或手臂(153)的表示(151)。表示(151、152)的创建包括当来自智能笔(201)的新位置和取向数据可用时创建表示(151、152)，以这种方式，表示(151、152)被连续显示并且向表示(151、152)提供运动，使得当用户移动他或她的手和/或手臂(153)时，智能笔(201)的表示(152)以及用户的手和/或手臂(153)的表示(151)也移动。这允许用户获得关于智能笔(201)相对于书写表面(250)的位置以及此位置如何转换为其在显示装置(101)上的相应表示(151、152)的视觉反馈。这还允许用户获得关于智能笔(201)相对于书写表面(250)的移动速度的转换以及此移动速度如何转换为其在显示装置(101)上的相应的表示(151、152)的视觉反馈。进一步地，这允许用户获得关于智能笔(201)相对于书写表面(250)的取向以及此取向如何转换为其在显示装置(101)上的相应表示(151、152)的视觉反馈。
计算装置(105)还可以包括缩放模块(115)，所述缩放模块在由处理装置(106)执行时缩放智能笔(201)的表示(152)以及用户的手和/或手臂(153)的表示(151)的大小。缩放模块(115)还在显示装置(101)上呈现经缩放的表示(151、152)。这为用户提供了理解在显示装置(101)的工作空间中创建的图像(154)相对于他们自己的手臂和/或手(153)的比例的能力。缩放模块(115)还可以帮助缩放诸如书写基板(250)等输入表面并将其映射到显示装置(101)，以便向用户提供对如何将输入装置的输入运动转换为在显示装置(101)上呈现的工作空间中的一定长度的笔划的理解和感知。例如，如果书写基板(250)到显示装置(101)的映射是1:1，则表示(151、152)可以以原物大小的比例呈现；而如果智能笔(201)的较小运动导致显示装置(101)的工作空间中的较大运动，则表示(151、152)被成比例放大。在一个示例中，缩放可以是用户定义的，使得用户可以调整表示(151、152)的比例。
进一步地，计算装置(105)还可以包括阴影模块(116)，所述阴影模块在由处理装置(106)执行时将表示(151、152)呈现为阴影手，其中，所述阴影手是基于由智能笔(201)获得的取向和位置信息来表示的。在一个示例中，阴影手(151)是用户的手和/或手臂(153)的计算机建模并生成的图像，并且可以包括小于完全不透明且大于完全透明的透明度水平。在另一个示例中，智能笔(201)的表示(152)也可以使用阴影模块(116)呈现，以允许也存在关于智能笔(201)的表示(152)的透明度水平。以至少部分地透明的形式提供阴影手(151)、智能笔(201)的表示(152)、或其组合用于不遮挡在显示装置(101)上显示的图像(154)，所述图像或者是由用户通过使用智能笔(201)创建的或者是以其他方式由计算装置(105)在显示装置(101)上显示的。这允许用户在不必移动智能笔(201)的情况下看到显示什么图像(154)，同时仍然提供由表示(151、152)提供的视觉反馈。在一个示例中，表示(151、152)的透明度可以是用户定义的，使得用户可以调整在显示装置(101)上显示的表示(151、152)的透明度水平。
计算装置(105)还可以包括校准模块(117)，所述校准模块在由处理装置(106)执行时校准智能笔(201)的移动。在一个示例中，可以在智能笔(201)与计算装置(105)之间进行校准，使得关于智能笔(201)相对于书写基板(250)的移动的位置、取向、移动速度和其他信息以及此移动如何转换为显示装置(101)上的表示(151、152)的移动的信息被对准和同步。在一个示例中，校准可以包括指示用户利用他或她抓握着智能笔(201)的手臂和/或手(153)来进行多次运动。这些指令可以包括，例如，指示用户将他或她的前臂保持在屏幕上伸直、在输入表面上绘制线条、对在显示装置上显示的线段从一个点跟踪到另一个点。指令可以进一步包括跟踪线段，并且当用户到达线段的末端停止并将笔保持在线段的末端时，检查以查看多个图像中的哪一个与用户的手臂和/或手姿势最接近匹配。这种类型的校准使得表示(151、152)具有关于用户的手臂和/或手(153)的更自然且精确相似的样子。
甚至更进一步地，计算装置(105)还可以包括悬停模块(118)，所述悬停模块在由处理装置(106)执行时检测智能笔(201)在书写表面(250)上方的悬停状态，并且在显示装置(101)上表示智能笔(201)的悬停状态。可以使用智能笔(201)的表示(152)和手和/或手臂(153)的表示(151)的多个视觉变化来在显示装置(101)上表示和显示悬停状态。这些变化可以包括例如：透明度、大小、颜色、明暗度、明暗处理、对比度、模糊(例如，高斯模糊)的变化，在表示(151、152)下方添加阴影，在表示(151、152)下方的下拉阴影的外观和大小变化，对表示(151、152)的视觉方面的其他形式的变化，手和/或手臂(153)的表示(151)的透明度随着输入装置(201)与手和/或手臂(153)之间的距离增加的变化，或其组合。在一个示例中，智能笔(201)或其他输入装置可以知道其与书写基板(250)或另一表面的接近度。在这个示例中，计算装置(105)可以使用所获得的数据来呈现在悬停距离改变时表示(151、152)的变化。进一步地，在一个示例中，智能笔(201)的表示(152)和手和/或手臂(153)的表示(151)的视觉变化可以至少部分地基于从校准模块(117)以及智能笔(201)、平板装置(图4，450)、成像装置或其他输入装置内的多个传感器获得的校准信息。
现在将结合图2和图3来描述智能笔(201)。智能笔(201)在电子装置中实施，并且可以用于任何数据处理场景，包括独立硬件、移动应用程序、通过计算网络、或其组合。
为了实现其期望功能，智能笔(201)包括各种硬件部件。在这些硬件部件中，可以是多个处理装置(202)、多个数据存储装置(205)、以及多个网络适配器(204)。这些硬件部件可以通过使用多个总线和/或网络连接来互连。在一个示例中，处理装置(202)、数据存储装置(205)和网络适配器(204)可以经由总线(209)通信地耦接。
处理装置(202)可以包括用于从数据存储装置(205)中取得可执行代码并执行所述可执行代码的硬件架构。所述可执行代码在由处理装置(202)执行时可以使处理装置(202)至少实施经由所包括的成像装置(210)识别智能笔(201)相对于书写基板(250)的位置的功能。进一步地，所述可执行代码在由处理装置(202)执行时可以使处理装置(202)使用例如包括在智能笔(201)中的多个取向确定装置(211)来识别智能笔(201)的取向。又进一步地，所述可执行代码在由处理装置(202)执行时可以使处理装置(202)经由成像装置识别智能笔(201)与书写基板(250)的距离或者智能笔(201)相对于书写基板(250)的悬停状态。甚至更进一步地，所述可执行代码在由处理装置(202)执行时可以使处理装置(202)通过使用网络适配器(204)将智能笔(201)的位置和取向数据发送到计算装置(105)。甚至更进一步地，所述可执行代码在由处理装置(106)执行时可以利用计算装置(105)来校准智能笔(201)的位置和移动。处理装置(202)根据本文描述的系统和方法而起作用。在执行代码的过程中，处理装置(202)可以从其余多个硬件单元接收输入并向其余多个硬件单元提供输出。
如将讨论的，数据存储装置(205)可以具体地存储表示处理装置(202)执行以至少实施本文描述的功能的多个应用程序的计算机代码。
数据存储装置(205)可以包括随机存取存储器(RAM)(206)、只读存储器(ROM)(207)和硬盘驱动器(HDD)存储器(208)。还可以利用许多其他类型的存储器，并且本说明书设想在数据存储装置(205)中使用可能适合本文所描述原理的特定应用程序的许多不同类型的存储器。在某些示例中，数据存储装置(205)中的不同类型的存储器可以用于不同的数据存储需要。例如，在某些示例中，处理装置(202)可以从只读存储器(ROM)(207)启动，保持硬盘驱动器(HDD)存储器(208)中的非易失性存储内容，并执行存储在随机存取存储器(RAM)(206)中的程序代码。
智能笔(201)中的硬件适配器(204)使得处理装置(202)能够与智能笔(201)外部和内部的各种其他硬件元件接口连接。网络适配器(204)可以向例如网络内的其他计算装置(并且包括计算装置(105))提供接口，从而实现智能笔(201)与位于所述网络内的其他装置之间的数据传输。网络适配器(204)可以使用任何数量的有线或无线通信技术来与计算装置(105)通信。无线通信技术的示例包括例如：卫星通信、蜂窝通信、诸如IEEE 802.11标准下的无线电通信、诸如由蓝牙技术联盟(Bluetooth Special interest Group)开发和分发的BLUETOOTH等无线个域网(PAN)技术、无线局域网(WAN)、以及其他无线技术。
智能笔(201)的成像装置(210)可以是捕获智能笔(201)的周围环境的多个图像的任何装置，所述周围环境包括例如书写基板(250)的部分。在一个示例中，成像装置(210)是红外成像装置。在一个示例中，成像装置(210)是捕获周围环境的视频的实况视频捕获装置。智能笔(201)然后可以将视频传输到计算装置(105)，以便如本文所描述的进行处理并在显示装置(101)上显示。
在一个示例中，成像装置(210)可以被布置成对书写基板(250)靠近智能笔(201)的笔尖的较小区域进行成像。智能笔(201)的处理装置(202)包括图像处理能力和数据存储装置(205)，并且可以检测位置识别标记在书写表面(250)上的定位。这与智能笔(201)的图案读取能力相结合以允许智能笔识别相对于书写表面(250)的位置。进一步地，书写表面(250)上的识别标记还可以帮助确定智能笔(201)相对于书写基板(250)的倾斜角度。在一个示例中，成像装置(210)可以由笔尖中的力传感器激活，以在智能笔(201)跨书写基板(250)移动时记录来自成像装置(210)的图像。根据所捕获的图像，智能笔(201)确定智能笔(201)相对于书写基板(250)的位置、以及智能笔(201)与书写基板(250)的距离。智能笔(201)相对于书写基板(250)的移动可以作为图形图像直接存储在数据存储装置(205)中，可以在将数据发送到计算装置(105)上之前缓冲在数据存储装置(205)中，可以一旦其被成像装置(210)捕获就发送到计算装置，或其组合。
如上所述，智能笔(201)中可以包括多个取向确定装置(211)。取向确定装置(211)可以包括例如陀螺仪、加速度计、其他取向确定装置及其组合，并且可以确定：与书写基板(250)的法线(N)表面的倾斜方向、倾斜角度(A)，智能笔(201)围绕智能笔(201)的纵向轴线的适当加速、旋转，其他取向信息及其组合。取向确定装置(211)可以经由智能笔(201)的处理装置(202)和网络适配器(204)将取向数据输出到计算装置(105)。一旦被接收，取向数据可以由计算装置(105)的处理装置(106)进行处理以创建智能笔(201)的表示(152)，并且智能笔(201)的表示(152)可以显示在显示装置(101)上，包括基于所述取向数据的表示(152)的取向表示。
智能笔(201)可以进一步包括多个输入元件(212)。在一个示例中，输入元件(212)可以位于智能笔(201)的表面上。在一个示例中，输入元件(212)可以包括沿着智能笔(201)的表面定位的多个触摸传感器。在这个示例中，触摸传感器可以用于检测用户用于握住智能笔(201)所使用的位置和压力，以创建抓握数据。由触摸传感器收集的这种类型的数据可以被发送到计算装置(105)，并且可以由计算装置(105)进行处理以帮助在显示装置(101)上创建和呈现智能笔(201)的表示(152)、以及用户的手和/或手臂(153)的表示(151)。在这个示例中，可以基于由触摸传感器收集的抓握数据来创建和显示智能笔(201)的表示(152)。
在另一个示例中，输入元件可以包括沿着智能笔(201)的表面定位的多个按钮。所述按钮当由用户激活时可以执行任何数量的命令。在一个示例中，智能笔(201)的表示(152)可以足够详细以包括输入元件(212)的位置以及关于响应于用户激活哪些输入元件而激活哪些输入元件的细节。以这种方式，用户可以参考在显示装置(101)上呈现的表示(151)而不是向下看实际智能笔(201)以识别按钮的位置或智能笔(201)的其他特征。
在一个示例中，压电压力传感器还可以包括在智能笔(201)的笔尖中，所述压电压力传感器检测并测量施加在所述笔尖上的压力并将此信息提供给计算装置(105)。在这个示例中，施加在智能笔(201)上的压力的表示可以包括在智能笔(201)的表示(152)中。例如，当向智能笔(201)的笔尖施加更多或更少的压力时，颜色、颜色梯度、色谱、填充或其他视觉指示器可以使表示(152)的纵向轴线向上移动。
智能笔(201)可以进一步包括在本文描述的系统和方法的实施方式中使用的多个模块。智能笔(201)内的各种模块包括可以单独执行的可执行程序代码。在这个示例中，各种模块可以存储为单独的计算机程序产品。在另一个示例中，智能笔(201)内的所述各种模块可以组合在多个计算机程序产品中；每个计算机程序产品包括多个模块。
智能笔(201)可以包括位置识别模块(213)。位置识别模块(213)在由处理装置(202)执行时：通过成像装置(210)检测智能笔(201)相对于书写基板(250)的位置，并且将表示智能笔(201)的位置的数据中继到计算装置(105)以便由位置和取向模块(114)进行处理。
智能笔(201)可以包括取向识别模块(214)。取向识别模块(214)在由处理装置(202)执行时：通过取向确定装置(211)检测智能笔(201)相对于书写基板(250)的法线(N)的取向，并且将表示智能笔(201)的取向的数据中继到计算装置(105)以便由位置和取向模块(114)进行处理。
又进一步地，智能笔(201)可以包括距离确定模块(215)。距离确定模块(215)在由处理装置(202)执行时可以使用成像装置(210)来确定智能笔(201)与书写基板(250)的表面的距离。在一个示例中，所述距离可以被识别为悬停距离。如上所述，计算装置(105)的悬停模块(118)可以使用与书写基板(250)的表面的距离或悬停状态来对智能笔(201)的表示(152)以及手和/或手臂(153)的表示(151)进行多次改变，以便提供对智能笔(201)和用户的手和/或手臂(153)从书写基板(250)的表面的移动的视觉外观。进一步地，在一个示例中，距离确定模块(215)的输出可以用于基于检测到的距离来确定何时可以激活或去激活来自智能笔(201)的输入。这使得来自智能笔(201)的非故意输入不被智能笔(201)或计算装置(105)登记，并且相反地，允许有意的智能笔(201)输入被登记。
甚至更进一步地，智能笔(201)可以包括数据传输模块(216)。数据传输模块(216)在由处理装置(202)执行时，如本文所描述地使用例如网络适配器(204)来将表示由模块(213、214、215)供应的位置、取向和距离信息的数据发送到计算装置(105)。计算装置(105)处理此传输的数据，以便在显示装置(101)上呈现表示(151、152)，其中表示(151、152)跟踪智能笔(201)和用户的手的实际移动、位置、取向和距离。
智能笔(201)还可以包括校准模块(217)，所述校准模块在由处理装置(202)执行时校准智能笔(201)的移动。如上所述，在一个示例中，可以在智能笔(201)与计算装置(105)之间进行校准，使得关于智能笔(201)相对于书写基板(250)的移动的位置、取向、移动速度和其他信息以及此移动如何转换为显示装置(101)上的表示(151、152)的移动的信息被对准和同步。因此，智能笔(201)的校准模块(217)和计算装置(105)的校准模块(117)可以协同工作，以便使智能笔(201)的移动、位置、取向和距离与表示(151、152)的移动、位置、取向和距离对准和同步。这种类型的校准使得表示(151、152)具有关于用户的手臂和/或手(153)的更自然且精确相似的样子。
在一个示例中，从校准模块(117)获得的校准信息可以用于改变显示装置(101)上的信息的显示，包括例如：缩放智能笔(201)的表示和用户的手和/或手臂(153)的表示(151)的大小，改变可以结合用户的手和/或手臂(153)显示的阴影，改变在显示装置(101)上显示的元素的视点。基于校准信息的这些改变可以是用户可定义的。
图4是根据本文所描述原理的又另一个示例的视觉提示系统(100)的简图。图5是根据本文所描述原理的一个示例的图4的视觉提示系统(100)的框图。图2和图3中的视觉提示系统(100)的示例利用无源书写基板(250)以及采用智能笔(201)形式的有源输入装置。然而，在图4和图5的视觉提示系统(100)的示例中，使用采用触笔(401)形式的无源输入装置以及采用平板装置(450)形式的有源书写基板。进一步地，在图4和图5的示例中，视觉提示系统(100)可以包括成像装置(453)，诸如与显示装置(101)和计算装置(105)相关联的高架相机。在一个示例中，成像装置(453)可以是或者可以伴随有三维(3D)成像装置，以便提供对例如智能笔(201)、触笔(401)、手和/或手臂(153)或其组合的实时3D可视化。下面将提供关于3D成像的更多细节。图4和图5中标识的在图2和图3中完全相同编号的元件是图4和图5内的完全相同元件，并且在上面进行了描述。
在图4中，用户可以利用触笔(401)来与平板装置(450)交互。平板装置(450)可以是如下任何输入装置，用户可以与所述输入装置进行交互以便通过利用触笔(401)和/或多个手指触摸屏幕产生的多个触摸手势来提供输入或控制信息处理系统。在一个示例中，平板装置(450)可以进一步用作还经由电子视觉显示器来显示信息的输出装置。平板装置(450)可以是例如触摸屏计算装置、数字化平板计算机、或使得用户能够在表面上手绘图像并使这些图像表示在显示装置(101)上的其他输入装置。
平板装置(450)使用有线或无线连接来通信地耦接到计算装置(105)。计算装置(105)可以包括位置和取向模块(114)，所述位置和取向模块在由处理装置(106)执行时从成像装置(453)获得位置和取向数据。对由成像装置(453)捕获的图像进行处理，并且从所捕获的图像中提取触笔(401)的位置和取向。可以基于所提取的位置和取向在显示装置(101)上呈现触笔(401)的位置和取向。在另一个示例中，在一个示例中，可以假设关于触笔(401)默认倾斜，并且可以在显示装置(101)上表现所述默认倾斜。
进一步地，位置和取向模块(114)还使用用户的手和/或手臂(153)的所捕获(2D或3D)图像来创建所述用户的实际手和/或手臂(153)的视频叠加。因此，触笔(401)和用户的实际手和/或手臂(153)在被成像装置(453)捕获时由计算装置(105)表示在显示装置(101)上。在一个示例中，触笔(401)和用户的手和/或手臂(153)可以以如上所述结合图2和图3中的手和/或手臂(153)的表示(151)的透明度水平来描绘。这允许用户在不必移动触笔(401)或其手和/或手臂(153)的情况下看到显示什么图像(154)，同时仍然提供由表示(451、452)提供的视觉反馈。在一个示例中，表示(451、452)的透明度可以是用户定义的，使得用户可以调整在显示装置(101)上显示的表示(451、452)的透明度水平。
平板装置(450)可以在其输入表面中包括触摸传感器。在一个示例中，用户可以将他或她的手指、手掌、手腕或其手和/或手臂(153)的其他部分触摸到输入表面的一部分。在这个示例中，平板装置(450)可以使用手和/或手臂(153)的这些附带触摸作为关于用户的手掌位置和肘部位置的线索。此信息可以被中继到计算装置(105)并用于描绘用户的手和/或手臂(153)的表示(451)。
进一步地，使用成像装置(453)，计算装置(105)可以能够在用户的手和/或手臂(153)对平板装置(450)的意外触摸与触笔(401)或用户的手和/或手臂(153)对平板装置(450)的有意触摸之间进行区分。在这个示例中，用户可能正朝向平板装置(450)进行运动，并且可能意外地将他或她的手和/或手臂(153)的一部分接触到平板装置(450)。因为成像装置(453)已经捕获了用户的手和/或手臂(153)到平板装置(450)的移动，所以计算装置知道不应该将意外触摸视为任何类型的输入尝试，并且应该等待直到触笔(401)到达平板装置(450)的表面。例如，如果计算装置(105)使用成像装置(453)来在用户的手和/或手臂(153)的图像中观看触笔(401)，则可以假设来自触笔(401)的输入是预期的，并且将忽略触摸输入。
在一个示例中，用户的手和/或手臂(153)的表示(451)可以是由成像装置(453)捕获的图像的经处理版本。在这个示例中，可以将用户的手和/或手臂(153)的廓影显示为表示(451)。在另一个示例中，触笔(401)和用户的手和/或手臂(153)的图像可以根据由成像装置(453)和触笔(401)捕获的图像以及在平板装置(450)处接收的附带输入来合成。进一步地，在一个示例中，图2和图3的视觉提示系统(100)还可以使用图4和5中描绘的成像装置(453)。在这个示例中，可以使用从成像装置(453)捕获的图像来创建或增强表示(151、152)。在这个示例中，视觉提示系统(100)可以使表示(151)的形式基于由智能笔(201)获得的取向和位置信息、由成像装置(453)捕获的图像或其组合。
对于图2至图5的示例，由智能笔(201)、触笔(401)、平板装置(450)和成像装置(453)提供的各种输入可以用于生成智能笔(201)、触笔(401)以及用户的手和/或手臂(153)的三维(3D)模型。可以由计算装置(105)处理和显示所述3D模型，以便在显示装置(101)上描绘智能笔(201)、触笔(401)以及用户的手和/或手臂(153)的表示(151、152、451、452)。
在另一个示例中，用户的手和/或手臂(153)的通用3D模型可以利用智能笔(201)或触笔(401)的表示(152、452)来呈现，其中所述通用3D模型由用户从选项菜单中选择。在这个示例中，用户可以选择3D模型中近似于他或她的手大小、手形状、左利手或右利手、以及相对于智能笔(201)或触笔(401)的抓握的选项。通用3D模型的取向和移动可以由与智能笔(201)或触笔(401)的不同取向和运动轨迹相关联的预编程动画来驱动。在这个示例中，与用户的手腕、肘部或其他关节的枢转运动相对应的弧可以由计算装置(105)识别，并且用户的那些身体特征的位置可以在智能笔(201)、触笔(401)以及用户的手和/或手臂(153)在显示装置(101)上的表示(151、152、451、452)中近似。
关于图2至图5的示例，可以使用多个3D成像装置来捕获智能笔(201)、触笔(401)以及用户的手和/或手臂(153)的3D图像。在这个示例中，所获得的3D数据可以由计算装置(105)进行处理并呈现在显示装置(101)上，以便帮助计算装置(105)生成3D模型。在一个示例中，3D成像装置可以包括例如由微软公司开发和分发的KINECT 3D成像系统或由厉动公司(Leap Motion,Inc)开发和分发的深度感测相机。
关于图2至图5，所描述的示例还可以应用于增强现实系统或虚拟现实系统，在所述系统中，智能笔(201)或触笔(401)可以用于在不借助于书写基板(250)或平板装置(450)的情况下在空间中进行绘制。增强现实是物理真实世界环境的生动直接或间接视图，所述视图的元素通过诸如声音、视频或图形等计算机生成的感觉输入来增强。虚拟现实是一种计算机技术，其使用软件来生成逼真的图像、声音以及复制环境的其他感觉，并通过使得用户能够与环境及其中描绘的任何对象进行交互来模拟用户在此空间中的物理存在。在这个示例中，立体3D成像系统可以包括在图2至图5的视觉提示系统(100)中，并且可以基于用户在AR系统或VR系统内的移动向用户呈现包括表示(151、152、451、452)的视觉提示。在一个示例中，表示(151、152、451、452)可以呈现为平面图像、3D渲染、或其组合。例如，智能笔(201)或触笔(401)的3D表示可以根据智能笔(201)或触笔(401)自己的取向数据来生成，并且2D阴影手可以与所述3D表示相关联。在另一个示例中，3D成像装置可以用于生成用户的手和/或手臂(153、453)和智能笔(201)或触笔(401)的点云图像，所述点云图像然后可以与虚拟或增强现实场景配准并插入其中。
在图2至图5中描述的示例中，智能笔(201)或触笔(401)的尖端可以由计算装置(105)具体识别为呈现在显示装置(101)上。在一个示例中，智能笔(201)或触笔(401)的尖端可以以高对比度显示，而不管例如为表示(151、152、451、452)设置的透明度水平。这允许用户更容易地看到智能笔(201)或触笔(402)如在显示装置(101)上所表示的那样的实际位置。
诸如佩戴在用户手腕上的智能手表等可穿戴传感器可以与图2至图5的示例结合使用。如果智能手表或其他装置佩戴在用户的绘制手上，则可以从智能手表获得关于智能笔(201)或触笔(401)以及用户身体的其他部位的位置、动作和取向信息。此信息可以用于帮助呈现3D模型，以及在显示装置(101)上显示表示(151、152、451、452)及其位置、运动和取向。这提供了对更忠实的表示(151、152、451、452)的呈现。
输入装置(201、401)可以表示为显示装置(101)的工作空间中的任何工具。例如，在图2至图5中，用户可以进行多种选择以在工作空间内的画刷、气笔、刀、笔、标记或其他工具之间切换。当在这些工具之间切换时，智能笔(201)和触笔(401)的表示(252、452)也可以改变为当前所选工具的表示。例如，如果用户希望从笔型输入切换到画刷型输入，则智能笔(201)或触笔(401)的表示(252、452)可以从笔改变为画刷。进一步地，用户可以选择多个工具的属性(诸如大小、形状和颜色)，当这些属性被选择时，智能笔(201)或触笔(401)的表示(252、452)可能会改变。
在一些示例中，用于输入装置(201、401)的对接站可以包括在视觉提示系统(100)中。笔座可以用作存放输入装置(201、401)的位置，并且在智能笔(201)的情况下对输入装置进行充电。可以在显示装置(101)的工作空间上表示对接站的表示。使用视觉提示系统(100)的视觉反馈，用户能够将输入装置(201、401)放入对接站中而无需查看对接站和依赖于对接站呈现在显示装置(101)上的位置的视觉提示。在这个示例中，对接站相对于输入基板(250、450)的位置可以使用成像装置来感测，或者可以由对接站本身中继到计算装置(105)以在显示装置(101)上显示。
图6是流程图，描绘了根据本文所描述原理的一个示例的呈现视觉提示的方法。图6的方法可以包括识别(框601)输入装置(201、401)相对于输入表面(250、450)的取向和位置。当用户移动输入装置(201、401)和用户的手(153)时，输入装置(201、401)的表示(252、452)以及输入装置(201、401)的用户的手(153)的表示(151、451)被显示(框602)在显示装置(101)上。用户的手(153)的表示(151、451)向用户提供视觉提示。
图7是流程图，描绘了根据本文所描述原理的另一个示例的呈现视觉提示的方法。图7的方法涉及图2至图5的系统，并且可以包括识别(框701)输入装置(201、401)相对于输入表面(250、450)的取向和位置。可以将输入装置(201、401)的表示(252、452)和用户的手(153)的表示(151、451)缩放(框702)到显示装置(101)，以提供用户可能觉得舒适的视觉反馈。如上所述，所述缩放可以是用户定义的或者由用户调整。
可以检测(框703)并且在显示装置(101)上表示(框704)输入装置(201、401)在输入表面(250、450)上方的悬停状态。当用户移动输入装置(201、401)和用户的手(153)时，输入装置(201、401)的表示(252、452)以及输入装置(201、401)的用户的手(153)的表示(151、451)被显示(框705)在显示装置(101)上。用户的手(153)的表示(151、451)向用户提供视觉提示。进一步地，所述方法可以包括校准(框706)输入装置(201、401)相对于在显示装置(101)上呈现的输入装置(201、401)的表示(252、452)的移动。
图8是流程图，描绘了根据本文所描述原理的又另一个示例的呈现视觉提示的方法。图8的方法涉及图4和图5的系统，并且可以包括识别(框801)输入装置(201、401)相对于输入表面(250、450)的取向和位置。可以通过利用成像装置(453)捕获输入装置(201、401)的图像来提供此取向信息。还可以使用成像装置(453)来捕获(框802)用户的手和/或手臂(153)的图像。
可以将输入装置(201、401)的表示(252、452)和用户的手(153)的表示(151、451)缩放(框803)到显示装置(101)，以提供用户可能觉得舒适的视觉反馈。可以检测(框804)并且在显示装置(101)上表示(框805)输入装置(201、401)在输入表面(250、450)上方的悬停状态。当用户移动输入装置(201、401)和用户的手(153)时，输入装置(201、401)的表示(252、452)以及输入装置(201、401)的用户的手(153)的表示(151、451)被显示(框806)在显示装置(101)上。用户的手(153)的表示(151、451)向用户提供视觉提示。进一步地，所述方法可以包括校准(框807)输入装置(201、401)相对于在显示装置(101)上呈现的输入装置(201、401)的表示(252、452)的移动。
本文参考根据本文所描述原理的示例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图描述了本系统和方法的各方面。流程图图示和框图的每个框、以及流程图图示和框图中的框的组合可以由计算机可使用程序代码来实施。计算机可使用程序代码可以被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生一种机器，使得计算机可使用程序代码在经由例如处理装置(106、202)或其他可编程数据处理设备执行时实施流程图和/或框图的一个或多个框中指定的功能或动作。在一个示例中，计算机可使用程序代码可以实施在计算机可读存储介质内；计算机可读存储介质是计算机程序产品的一部分。在一个示例中，计算机可读存储介质是非暂时性计算机可读介质。
说明书和附图描述了一种视觉提示系统及相关联方法。所述视觉提示系统包括：输入装置；以及通信地耦接到所述输入装置的显示装置，所述显示装置用于在用户移动所述输入装置和所述用户的手时呈现所述输入装置的表示以及所述输入装置的所述用户的手的表示。所述用户的手的所述表示向所述用户提供视觉提示。这种视觉提示系统提供直观的间接输入系统，所述间接输入系统向用户提供反馈。
呈现前述说明以展示和描述所述原理的示例。此说明不旨在是穷尽性的或将这些原理限制为所公开的任何精确形式。鉴于以上教导，许多修改和变型都是可能的。

Claims (15)

1.一种视觉提示系统，包括：
输入装置；以及
通信地耦接到所述输入装置的显示装置，所述显示装置用于在用户移动所述输入装置和所述用户的手时呈现所述输入装置的表示以及所述输入装置的所述用户的手的表示，所述用户的手的所述表示向所述用户提供视觉提示。
2.如权利要求1所述的视觉提示系统，其中，所述输入装置包括：
智能笔；以及
基板，所述基板包括可被所述智能笔识别的元件以识别所述智能笔相对于所述基板的位置和取向。
3.如权利要求1所述的视觉提示系统，其中，基于所述输入装置的取向和所述输入装置相对于基板的位置来呈现所述用户的手的所述表示，其中，所述输入装置将取向和位置信息传达至所述显示装置。
4.如权利要求1所述的视觉提示系统，其中，所述用户的手的所述表示在所述显示装置上呈现为阴影手，所述阴影手是基于由所述输入装置获得的取向和位置信息来表示的。
5.如权利要求1所述的视觉提示系统，其中，所述输入装置包括：
触笔；以及
通信地耦接到所述显示装置的平板装置。
6.如权利要求1所述的视觉提示系统，进一步包括：图像捕获装置，用于捕获所述用户的手的图像，其中，在所述显示装置上呈现的所述用户的手的所述表示包括所述用户的手的视频叠加。
7.如权利要求1所述的视觉提示系统，其中，所述用户的手的所述表示被呈现为至少部分地透明，以不遮挡在所述显示装置上显示的对象。
8.如权利要求8所述的视觉提示系统，其中，所述用户的手的所述表示的透明程度是用户可定义的。
9.一种用于呈现视觉提示的间接输入用户界面，包括：
输入表面；
输入装置，用于与所述输入表面交互，所述输入装置与所述输入表面之间的交互限定所述输入装置相对于所述输入表面的取向和位置；以及
通信地耦接到所述输入装置和所述输入表面的显示装置，其中，所述显示装置在用户移动所述输入装置和所述用户的手时呈现所述输入装置的表示以及所述输入装置的所述用户的手的表示，所述用户的手的所述表示向所述用户提供视觉提示。
10.如权利要求9所述的间接输入用户界面，其中，输入到所述输入表面是在相对于所述显示装置的视觉平面的不同视觉平面上执行的。
11.如权利要求9所述的间接输入用户界面，其中，所述用户的手的所述表示被呈现为至少部分地透明，以不遮挡在所述显示装置上显示的对象。
12.一种用于呈现视觉提示的计算机程序产品，所述计算机程序产品包括：
非暂时性计算机可读介质，包括与其一起实施的计算机可使用程序代码，所述计算机可使用程序代码在由处理器执行时用于进行以下操作：
识别输入装置相对于输入表面的取向和位置；并且
在用户移动所述输入装置和所述用户的手时在显示装置上显示所述输入装置的表示以及所述输入装置的所述用户的手的表示，所述用户的手的所述表示向所述用户提供视觉提示。
13.如权利要求12所述的计算机程序产品，进一步包括以下计算机可使用程序代码，所述计算机可使用程序代码在由所述处理器执行时校准所述输入装置的移动。
14.如权利要求12所述的计算机程序产品，进一步包括以下计算机可使用程序代码，所述计算机可使用程序代码在由所述处理器执行时对所述用户的手的所述表示进行缩放以便显示。
15.如权利要求12所述的计算机程序产品，进一步包括以下计算机可使用程序代码，所述计算机可使用程序代码在由所述处理器执行时用于进行以下操作：
检测所述输入装置在输入表面上方的悬停状态；并且
在所述显示装置上表示所述输入装置的所述悬停状态。
CN201680090785.3A 2016-10-11 2016-10-11 视觉提示系统 Pending CN109952552A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2016/056452 WO2018071004A1 (en) 2016-10-11 2016-10-11 Visual cue system

Publications (1)

Publication Number Publication Date
CN109952552A true CN109952552A (zh) 2019-06-28

Family

ID=61905823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680090785.3A Pending CN109952552A (zh) 2016-10-11 2016-10-11 视觉提示系统

Country Status (4)

Country Link
US (1) US20190050132A1 (zh)
EP (1) EP3510475A4 (zh)
CN (1) CN109952552A (zh)
WO (1) WO2018071004A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112578917A (zh) * 2020-05-23 2021-03-30 卓德善 一种与全景视频联动的笔记记录系统和方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3510474B1 (en) * 2016-10-21 2021-12-01 Hewlett-Packard Development Company, L.P. Virtual reality input
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
DK201870347A1 (en) 2018-01-24 2019-10-08 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
US11500452B2 (en) * 2018-06-05 2022-11-15 Apple Inc. Displaying physical input devices as virtual objects
US10809910B2 (en) 2018-09-28 2020-10-20 Apple Inc. Remote touch detection enabled by peripheral device
JP7387334B2 (ja) * 2019-08-23 2023-11-28 キヤノン株式会社 撮像制御装置および撮像制御装置の制御方法
MX2022003336A (es) 2019-09-20 2022-05-06 Interdigital Ce Patent Holdings Sas Dispositivo y metodo para la interaccion manual de usuario en entornos de realidad virtual (vr) y realidad aumentada (ar).
CN115701296A (zh) * 2020-07-27 2023-02-07 株式会社和冠 由计算机执行的方法、计算机及程序
TWI811061B (zh) * 2022-08-12 2023-08-01 精元電腦股份有限公司 觸控板裝置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6429883B1 (en) * 1999-09-03 2002-08-06 International Business Machines Corporation Method for viewing hidden entities by varying window or graphic object transparency
US20110043702A1 (en) * 2009-05-22 2011-02-24 Hawkins Robert W Input cueing emmersion system and method
US20130083074A1 (en) * 2011-10-03 2013-04-04 Nokia Corporation Methods, apparatuses and computer program products utilizing hovering, in part, to determine user interface orientation
US20130201162A1 (en) * 2012-02-05 2013-08-08 Ian Daniel Cavilia Multi-purpose pen input device for use with mobile computers
WO2014018232A1 (en) * 2012-07-27 2014-01-30 Apple Inc. Input device for touch sensitive devices
US20140143676A1 (en) * 2011-01-05 2014-05-22 Razer (Asia-Pacific) Pte Ltd. Systems and Methods for Managing, Selecting, and Updating Visual Interface Content Using Display-Enabled Keyboards, Keypads, and/or Other User Input Devices
US20140168139A1 (en) * 2012-12-18 2014-06-19 Ja-Seung Ku Method of controlling user input using pressure sensor unit for flexible display device
CN103885598A (zh) * 2014-04-04 2014-06-25 哈尔滨工业大学 自然交互界面下的书法数字化系统及利用该系统实现书法实时书写的方法
US20150153832A1 (en) * 2011-06-16 2015-06-04 Rafal Jan Krepec Visual feedback by identifying anatomical features of a hand
US20150338934A1 (en) * 2009-05-22 2015-11-26 Robert W. Hawkins Input Cueing Emmersion System and Method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6954197B2 (en) * 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US9311724B2 (en) * 2010-04-23 2016-04-12 Handscape Inc. Method for user input from alternative touchpads of a handheld computerized device
WO2012063247A1 (en) * 2010-11-12 2012-05-18 Hewlett-Packard Development Company, L . P . Input processing
CN104126161B (zh) * 2011-12-30 2018-07-10 英特尔公司 使用状态确定的交互绘图识别
DE112012006199T5 (de) * 2012-06-30 2014-12-24 Hewlett-Packard Development Company, L.P. Virtuelle Hand basierend auf kombinierten Daten
US11188143B2 (en) * 2016-01-04 2021-11-30 Microsoft Technology Licensing, Llc Three-dimensional object tracking to augment display area

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6429883B1 (en) * 1999-09-03 2002-08-06 International Business Machines Corporation Method for viewing hidden entities by varying window or graphic object transparency
US20110043702A1 (en) * 2009-05-22 2011-02-24 Hawkins Robert W Input cueing emmersion system and method
US20150338934A1 (en) * 2009-05-22 2015-11-26 Robert W. Hawkins Input Cueing Emmersion System and Method
US20140143676A1 (en) * 2011-01-05 2014-05-22 Razer (Asia-Pacific) Pte Ltd. Systems and Methods for Managing, Selecting, and Updating Visual Interface Content Using Display-Enabled Keyboards, Keypads, and/or Other User Input Devices
US20150153832A1 (en) * 2011-06-16 2015-06-04 Rafal Jan Krepec Visual feedback by identifying anatomical features of a hand
US20130083074A1 (en) * 2011-10-03 2013-04-04 Nokia Corporation Methods, apparatuses and computer program products utilizing hovering, in part, to determine user interface orientation
US20130201162A1 (en) * 2012-02-05 2013-08-08 Ian Daniel Cavilia Multi-purpose pen input device for use with mobile computers
WO2014018232A1 (en) * 2012-07-27 2014-01-30 Apple Inc. Input device for touch sensitive devices
US20140168139A1 (en) * 2012-12-18 2014-06-19 Ja-Seung Ku Method of controlling user input using pressure sensor unit for flexible display device
CN103885598A (zh) * 2014-04-04 2014-06-25 哈尔滨工业大学 自然交互界面下的书法数字化系统及利用该系统实现书法实时书写的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112578917A (zh) * 2020-05-23 2021-03-30 卓德善 一种与全景视频联动的笔记记录系统和方法

Also Published As

Publication number Publication date
EP3510475A1 (en) 2019-07-17
US20190050132A1 (en) 2019-02-14
WO2018071004A1 (en) 2018-04-19
EP3510475A4 (en) 2020-04-22

Similar Documents

Publication Publication Date Title
CN109952552A (zh) 视觉提示系统
CN110794958B (zh) 在增强/虚拟现实环境中使用的输入设备
KR101522991B1 (ko) 조작입력장치 및 방법, 그리고 프로그램
US9527214B2 (en) Robot apparatus, method for controlling the same, and computer program
US9477312B2 (en) Distance based modelling and manipulation methods for augmented reality systems using ultrasonic gloves
KR101546654B1 (ko) 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
CN105659295B (zh) 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备
US10922870B2 (en) 3D digital painting
TW202014851A (zh) 具有廣泛使用性的三維圖形使用者介面的系統及方法
CN108431729A (zh) 用以增大显示区域的三维对象跟踪
JP5656514B2 (ja) 情報処理装置及び方法
KR101343748B1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
JP2013016060A (ja) 操作入力装置および操作判定方法並びにプログラム
KR20120023247A (ko) 3ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법
JP2007047294A (ja) 立体画像表示装置
CN109863467A (zh) 虚拟现实输入
US20170293369A1 (en) Hand-Controllable Signal-Generating Devices and Systems
Choi et al. 3D hand pose estimation on conventional capacitive touchscreens
TWI486815B (zh) 顯示設備及其控制系統和方法
CN109102571B (zh) 一种虚拟影像的控制方法、装置、设备及其存储介质
US11960660B2 (en) Terminal device, virtual object manipulation method, and virtual object manipulation program
Bai et al. Poster: Markerless fingertip-based 3D interaction for handheld augmented reality in a small workspace
CN103558914A (zh) 基于几何校正优化的单摄像头虚拟键盘
JP7287172B2 (ja) 表示制御装置、表示制御方法、及びプログラム
Unuma et al. [poster] natural 3d interaction using a see-through mobile AR system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Texas, USA

Applicant after: HEWLETT-PACKARD DEVELOPMENT Co.,L.P.

Address before: Texas, USA

Applicant before: HEWLETT-PACKARD DEVELOPMENT Co.,L.P.

CB02 Change of applicant information
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190628

WD01 Invention patent application deemed withdrawn after publication