CN104808817A - 纹理捕捉触控笔和方法 - Google Patents

Abstract

本公开涉及纹理捕捉触控笔和方法。本文所公开的实施例一般涉及用于纹理捕捉的触控笔。触控笔包括图像感测和捕捉设备，以允许利用触控笔扫描表面，并且图像可以存储并显示在电子设备上，以表示所扫描的表面的纹理。

Description

纹理捕捉触控笔和方法

本专利申请要求于2014年1月27日提交的美国专利申请No.14/165,501的优先权，该申请的全部内容通过引用被结合于此。

技术领域

本文所公开的实施例一般涉及可以包括附加部件的触控笔，该附加部件用于感测、记录并发送表面的纹理的图像。

背景技术

在视觉艺术中，纹理是图像或艺术品的被感知的表面质量。它是二维和三维设计的元素并且通过其被感知的视觉和物理属性来区分。纹理连同其它设计元素的使用可以传达各种消息和情感。例如，粗糙表面的使用可以是视觉上活跃的，而光滑的表面可以是视觉上宁静的。物理纹理，也称为实际纹理或触感纹理，是表面上的实际变化。物理纹理具有作为表面看起来如何以及触摸起来感觉如何的组合的物理质量。例如，在绘画中，物理纹理基于颜料以及其应用，或者诸如丝带、金属、木头、花边、羽毛和沙子的材料在颜料表面上或者与其混合的添加。

视觉纹理是具有物理纹理的错觉。每种材料和每种支撑表面都具有其自己的物理纹理，这些物理纹理需要在创作要模拟该物理纹理的可视图像之前被考虑。例如，诸如画布和水彩纸的材料比例如照片质量的计算机纸要粗糙得多并且会难以从在此类材料上显示的图像产生扁平、光滑的纹理。摄影、绘图和绘画使用视觉纹理既现实地描绘它们的主题又具有解释性。那些媒体中的视觉纹理一般是通过形状和线条的重复产生的。模拟的纹理在不实际添加纹理的情况下产生纹理的视觉效果。例如，可以产生看起来像扁平表面上除涂料之外的某种东西的纹理。或者，图像可以通过线条的重复产生波纹的错觉。

如今，术语触控笔一般指与个人数字助理(PDA)、绘图板、平板个人电脑(PC)和超移动个人电脑(UMPC)一起使用的输入工具。如今的触控笔一般采用书写工具的形状，诸如笔，并且制成舒适地适合握在用户的手中。可以发现这些触控笔有不同的尺寸和形状。有些触控笔可以延伸和收缩成小的像笔一样的圆柱体，这样很容易保存。其它类型的触控笔可以更大或者包含诸如麦克风的附加设备。

在电子应用中，用户利用触控笔而不是使用手指操作触摸屏，以避免使用户手上的天然油脂粘到屏幕上。触控笔的使用还改善了触摸输入的精度，从而允许使用诸如图标的更小的用户界面元素。触控笔还可以用于在诸如计算机平板屏幕的触摸敏感表面上手写或绘图并且可以帮助用户准确地导航通过菜单、发送消息等。随着电子设备的发展，它们已经更频繁地被工程师、艺术家和其他创作个人用于艺术绘图、图像创作、图形设计以及其它用途。

当诸如绘图板或PC的电子设备的用户尝试创作包括视觉纹理的图像时，用户会受到他或她能够模拟的物理纹理类型的限制。因而，一般而言，需要用户的创造性和努力来确定可以提供的视觉纹理的方法和类型。因而，对于允许用户创作模拟被感测的表面纹理的图像，用于捕捉、存储并且向电子设备提供来自被感测表面的图像的视觉纹理信息的改进设备、方法和/或系统会是有用的。

发明内容

公开了一种触控笔，该触控笔包括用于检测、存储和模拟带纹理表面的物理属性的装置和系统。该触控笔可以包括包含在触控笔中或者附连到其的图像传感器，该图像传感器感测触控笔在其上经过的表面的物理属性。触控笔可以包括透光尖端，图像传感器可以通过该透光尖端检测触控笔在其上经过的表面的纹理。传感器可以是相机，它可以包含在触控笔中或者可以以别的方式与触控笔相关联。通过触控笔的透光尖端感测的图像可以被存储或者立即用来产生在视觉上模拟被感测表面或图像的纹理的图像。

一种实施例利用触控笔一端上的透明尖端作为用于相机的透镜。可以是针孔相机或其它合适图像感测设备的图像传感器包含在触控笔中，使得图像传感器检测触控笔的透明(clear)尖端在其上经过的表面的表面纹理。感测到的图像发送到主计算机并且可以用来产生新创作的图像，该图像包括模拟所感测表面的纹理的视觉纹理。依赖于相机的灵敏度、尖端透镜的焦点和用户的期望，触控笔尖端可以物理地触摸到、靠近被感测的表面，或者经过其某个距离。因而，通过改变由相机感测的图像的细节水平，用户可以确定可以被设备捕捉的带纹理表面的类型的细节水平。

触控笔可以包括激活开关或其它合适的设备，以允许触控笔的用户确定被感测的表面图像可以被捕捉的时间和地点。可以提供来自外部源或者来自触控笔内部的诸如发光二极管(LED)的照明设备的照明，以帮助图像的捕捉。触控笔的尖端可以充当透镜，以便向图像传感器设备呈现图像。在一种实施例中，触控笔的尖端可以是对光透明的，使得图像传感器设备除由触控笔尖端提供的透镜结构之外可以不需要任何附加的透镜结构。在有些实施例中，照明可以变化，以匹配或符号化(而不是匹配)所捕捉图像的一部分的颜色或纹理、触控笔位于其上的颜色或纹理、对应于触控笔的输出或者由触控笔或相关联电子设备生成的输出信号的颜色或纹理，等等。

在设备的另一种实施例中，感测到的图像提供给数据存储设备，然后该数据存储设备可以存储图像供将来使用。数据存储设备可以包含在触控笔中或者膝上型计算机或电子平板电脑或其者可以存储感测到的纹理图像的其他合适设备中。然后，感测到的图像可以随后与用户的设备或者与该用户或另一用户的不同设备一起使用。然后，存储的图像可以传送到原始的或另一个触控笔，以便在电子绘画应用中用作笔或刷。感测到的图像可以无线地或者通过到触控笔的直接连接传送到数据存储设备。

在设备的还有另一种实施例中，对象的物理感觉、所感测的图像中的对象、对应于所感测的图像的一部分的对象或者所感测的图像本身可以通过来自触觉设备的触感传感器反馈提供给用户。在这种实施例中，用户能够同时体验所感测的表面图像或对应对象的外观和感觉。所感测的表面/对象的视觉外观在电子设备的屏幕上提供，同时表面的感觉通过已知的触觉设备以电的方式提供给用户。作为另一个例子，这种反馈也可以基于所感测的图像或对象的颜色提供。

设备的另一种实施例可以用来创作三维图像。在这种实施例中，纹理表面可以是雕塑或诸如工具设计的其它物理表示的表面的三维表示。在这种实施例中，触控笔可以用作三维计算机辅助设计(CAD)系统的部分。例如，触控笔可以用来设计特定工具应用所需的复杂表面。

附图说明

图1是用户持有的电子设备的透视图；

图2是电子设备的透视图；

图3是带触控笔的电子设备的透视图；

图4是触控笔的实施例的透视图；

图5是触控笔的另一种实施例的剖视图；

图6是布料图像的视图；

图7是浮雕图像的视图；

图8是雕刻珠宝和触控笔的透视图；

图9是包括IMU的触控笔的另一种实施例的剖视图；

图10是包括表面特征的三维地图和触控笔的透视图；以及

图11说明了用户使用触控笔和触觉反馈。

具体实施方式

一般而言，本文所述的实施例公开了用于感测、存储和使用包括带纹理表面的图像的系统和方法。通过对那些图像包括带纹理的外观和感觉，那些实施例可以使图形设计者、工程师、绘图员、艺术家或者任何其他个人能够提高以电的方式生成的图像的质量和真实性。

参考贯穿说明书其中相同的标号都指示相同结构的附图，图1是诸如平板电脑11的电子设备示为被用户12持有的透视图。平板电脑11包括显示图像的显示屏幕13。图2是平板电脑11和屏幕13的透视图。图3是平板电脑11和屏幕13的透视图，其中触控笔14示为接触屏幕13。触控笔14可以结合平板电脑11和屏幕13使用，以便通过触摸在屏幕13上生成可视图像或者从屏幕13选择某些特征或应用。计算机平板11可以记录视频、拍摄照片、播放音乐，并且执行诸如web浏览和电子邮件发送的互联网功能。计算机平板11的其它功能，包括玩游戏、GPS导航、社交网络等，可以通过下载和安装软件应用，统称为“应用”，来启用。

显示器13可以包括各种传感器。例如，调节屏幕亮度的环境光传感器(未示出)和感测朝向并在纵向模式和横向模式之间切换的3-轴加速计(未示出)。平板电脑11可以支持四个朝向当中的朝向，包括倒立。平板电脑11可以包括控制设备11和显示屏幕13的控制装置。计算机平板11可以由贴到或移动到屏幕13(触摸屏)附近的用户12的手指或者如图3中所示由其自己可以贴到或移动到屏幕13附近的触控笔14控制。诸如触控笔14的触控笔已经用来控制计算机平板11的各种功能，诸如像在文字处理应用中、玩游戏、以及对各种应用用作绘图工具。

参考图4，说明了包括透光尖端15以及关/开按钮16的触控笔14。参考图5，示出了触控笔14的侧截面视图。尖端15配置为充当用于诸如相机17或其它合适图像捕捉设备的图像捕捉设备的透镜。电源18电磁连接到关/开按钮16和相机17，使得用户12可以握住触控笔14并且通过操作按钮16打开或关闭相机17。相机17可以是精密标度相机或者可以用来感测尖端15在其上经过的图像的深度的其它合适成像设备。具有最小化的透镜需求的针孔相机可以用作相机17。如本领域中已知的，数据发送设备19电磁连接到相机17并且可以或者无线地或者通过直接连接向平板电脑11发送数据。然后，感测到的图像可以在计算机平板11的屏幕13上显示，以允许用户12观察由触控笔14感测的表面纹理的图像。为相机17提供照明的光源21连接到电源18并且存储感测到的图像数据的存储器设备22电磁连接到相机17。光源21和存储器22都可以包括在触控笔14中，或者以别的方式与其相关联。应当认识到，示为在触控笔中或者包括触控笔的各种元件当中的任何一些或全部都可以彼此以电的方式和/或物理地连接。

因而，相机17可以被用来感测尖端15在其上经过的表面。即，依赖于透镜15的焦距和相机17的分辨率，尖端15可以在表面上经过某个距离，或者可以与其直接接触。相机17将感测表面上特征变化的深度和那些距离的变化，以确定表面的纹理并捕捉那个图像。应当认识到，某些实施例可以包括捕捉模式，在该模式期间，此类变化、纹理、特征和物理特性，并且在有些情况下是颜色，可以被采样或者以别的方式被捕捉。另外，实施例可以采用输出或绘图模式，在该模式中，响应于触控笔的运动或者来自触控笔的其它输入(或者完全来自另一输入设备，由此允许触控笔仅仅用于选择和捕捉)，捕捉到的物理特性在相关联的电子设备的显示器上再现。

触控笔14可以无线地或者以别的方式通过发送设备19电磁连接到计算机平板11，使得由相机17捕捉的图像可以发送到计算机平板11并且图像可以在屏幕13上显示。因为相机17从尖端15在其上经过的表面捕捉深度的变化，所以屏幕13上生成的图像可以包括带纹理的外观。即，表面的变化以带有该表面本身的外观和感觉的图像的形式显示。因此，例如，触控笔尖端15可以在诸如图6中所示的布料表面23上经过并且在屏幕13上生成的图像将反映表面的变化，使得用户12能够可视地在屏幕13上再现布料表面23的表面纹理。这种再现可以关于响应于触控笔的动作，诸如绘图模式下的运动，而产生的任何形状、线条或图形发生。

同样，触控笔的触觉反馈或感觉可以模拟触摸布料表面23或任何其它表面的感觉，或者在布料表面上移动棍子或笔的感觉。因而，当被触控笔捕捉的表面的物理特性改变时，由于触控笔的操作而生成的图像和触觉感觉也改变。这可以为用户提供通过触控笔操作生成的图形或者要通过触控笔操作生成的图形的触感指示。在有些实施例中，触觉反馈可以不模拟表面的任何物理特性，但是可以仍然在响应于触控笔操作而不同表面被捕捉和/或对应图形被生成时变化。作为另一个例子，触控笔的触觉输出可以关联到颜色而不是纹理或感觉。作为还有另一个例子，触觉输出可以关联到颜色和纹理的组合，使得对颜色或纹理的改变导致触觉输出的变化。在有些实施例中，两个触觉输出信号可以交替，以便向用户提供反馈(例如，一个输出用于颜色，另一个用于纹理)。在另一种实施例中，基于颜色和纹理/感觉，单个触觉输出可以被选择、生成或以别的方式提供。例如，对应于颜色输出的第一波形可以与对应于纹理的第二波形组合、合并、多路复用等，并且结果产生的波形可以用作特定颜色/纹理组合的触觉输出。

为了在感测到的图像中提供均匀性，可能期望在表面上各个位置采样纹理。因而，例如，在端点和在表面中心的各个点感测表面特性然后把那些图像组合成一个合成图像对于防止在再现的图像中出现重复图案会是有用的。在诸如布料23的表面上不同位置感测的图像可以被组合，以产生均匀的带纹理表面。对于跨图像不同区域的各种颜色，同样可以这样做。或者，触控笔14可以保持离要被感测的表面处于不同距离，这将关于纹理提供变化的视角。这些图像可以存储在存储器设备22中，并且然后通过计算机编程的使用来组合。

另外，应当认识到，在触控笔操作期间，由触控笔产生的触觉反馈可以变化，具有被触控笔感测或以别的方式捕捉的表面的特性。例如，表面或表面图像可以在第一距离被捕捉，并且提供第一触觉感觉或反馈。如果表面(或者其图像)在第二距离被捕捉，以至于相机的视场可以变化、任何表面特征或纹理的相对尺寸可以在由相机捕捉的图像内变化，等等，则该相同的表面可以为用户提供不同的触觉感觉或反馈。

还有其它实施例可以组合某种形式的距离感测或测量与以上提到的相机，以便为任何给定的表面提供均匀的触觉感觉或反馈，而不考虑表面被采样或以别的方式被捕捉的距离。作为一个例子，这可以允许触控笔补偿在不同距离发生的图像捕捉。

可以取得表面23上不同位置处的多个样本，以确保重复的图像不导致包括完全相同特征的可视图像。然后，再现的图像可以被随机化并且与各个单独的图像混合，使得最终的合成图像不包含重复的特征。这种能力给计算机平板11带来了附加的维度和应用，诸如像在艺术、计算机设计和三维建模当中。

为了让触控笔14中的相机17正确地感测表面，期望对要感测的表面的照明。因而，可以是发光二极管或其它合适设备的照明设备21可以与触控笔14相关联或包括在其中，以便照明诸如图6中布料表面23的表面。或者，外部照明源(未示出)可以用来提供表面23的适当照明。在任何一种情况下，要感测的表面的照明都足以允许相机17获得布料表面23的表面纹理的图像。为了捕捉布料23的带纹理表面，触控笔14可以经过布料表面23的各个部分并且因此由相机17感测到的图像可以如下所述的在存储器设备中记录并保存。

再次参考图5，示出了包括存储器设备22的触控笔14。包括存储器设备22使得能够存储由相机17感测的表面图像。因而，例如，用户12可以使触控笔尖端15在表面上经过，以检测表面纹理以及存储在存储器22中的图像。于是，那个表面纹理可以以后在该用户的或者不同用户的计算机平板11上使用。这种图像存储特征可以使得用户的协作能够产生结合所感测到的表面纹理的特定可视图像。它还允许用户把各种表面纹理结合到一个可视图像中，或者组合那些纹理，以产生不同的纹理。如本领域中已知的，这种组合将通过计算机平板11中的软件应用来启用。所存储的图像可以在以后或者在不同的设备或应用中使用。虽然存储器设备22示为包括在触控笔14中，但是可以认识到，存储器设备22可以与触控笔14分开定位，诸如例如在平板电脑11中。

另一种实施例允许设备感测诸如图7中所示那些的表面纹理和特征，并且向用户发送对应于这种纹理和/或特征的触觉输出。即，图7中浮雕画24中的表面纹理或变化可以以后可视地显示在计算机平板11上或者如上所述地存储，以便以后产生表示图7中所感测的图像的各种表面特性的可视图像。另外，当触控笔被移动以生成可视图像的部分时，触控笔还可以提供对应于触控笔输出或响应于触控笔输出而生成的图像的纹理、特征、表面特性和/或其它物理特性的触觉反馈。

如本领域中已知的，图像的变化还可以由计算机平板11中的软件应用启用。浮雕画24的各个图像可以被触控笔14捕捉，然后那些图像可以被组合以便在电子设备11上再现浮雕画24的图像，这可以是三维图像。以类似的方式，通过使用触控笔14，用户还可以可视地再现诸如雕塑的三维对象。

让用户感测表面纹理变化的能力向可以生成的可视图像添加了深度维度。用户将不再受预先编程的纹理或表面特征的限制。用户可以生成他或她的个性化表面纹理。然后，这些纹理可以集成或组合，以便在生成的可视图像中产生附加的纹理。仿画(Faux painting)或仿饰漆法(faux finishing)是用来描述复制诸如大理石、木头或石头的材料外观的装饰漆法(decorative paint finishes)的术语。通过使用触控笔来感测实际表面的纹理，在这些应用中使用触控笔14允许用户生成逼真的二维图像。通过采用触觉反馈，设计者和建模者可以接收关于他们在雕塑或创作的“表面”的触摸反馈，从而允许比传统方法更快更自然的工作流。

本发明的另一种实施例可以实现为雕刻诸如金属、塑料、玻璃和水晶的珠宝或其它物品。对于零售店(主要是珠宝、银器或奖品商店)，现在常见的是在现场具有小的计算机控制雕刻能力。这使得他们能够个性化他们出售的产品。参考图8，示出了雕刻的项链25。如本领域中已知的，雕饰26可以采取任何装饰性或其它美观的形式。雕饰26可以采取传达心情或其它信息的铭文的形式。零售雕刻机趋于集中在让操作人员容易使用和雕刻包括扁平金属板、不同形状和尺寸的珠宝以及诸如杯子和啤酒杯的圆柱形物品在内的多种物品的能力。它们通常将配备专用于图形设计的计算机，这将使操作人员能够容易地设计文字或图片图形，软件将把文字或图片图形转换成数字信号，从而告诉雕刻机做什么。本发明将被用来帮助这个过程。用户将使触控笔14在诸如图8中雕饰26的表面上经过，然后感测到的纹理可以被雕刻机用来在另一个物品上再现感测到的带纹理表面。以这种方式，雕饰、签名等的拷贝可以被再现或者定制的雕饰等可以通过组合各个感测到的纹理表面来产生。

惯性测量单元(IMU)在诸如用于飞行器、船只和其它形式交通工具的许多导航系统中使用。从IMU的传感器收集的数据允许计算机利用本领域中已知的方法，诸如航位推算(dead reckoning)，来跟踪位置。IMU利用一个或多个加速计检测当前加速度，并且利用一个或多个陀螺仪检测像俯仰、滚转和偏航的旋转属性的变化。有些IMU包括磁力计，以帮助对朝向漂移进行校准。在备选实施例中，参考图9，除相机17、电源18、数据发送设备19、光源21和存储器设备22之外，触控笔14还包括IMU 32。包括IMU允许触控笔14被用来生成如上讨论的三维图像。应当认识到，示为在触控笔中或者包括触控笔的各个元件当中的任何一些或全部可以以电的方式和/或物理地彼此连接。

在一种实施例中，IMU 32可以与相机17结合使用，以便从二维图像生成三维图像。例如，触控笔14可以用来在屏幕上扫描图像，并且与IMU 32结合以产生三维图像。通过包括IMU 32，触控笔14可以用来生成精确的测量，如本领域中已知的诸如测绘和矢量图。矢量图是诸如点、线、曲线和形状或多边形的几何图元的使用，这些都基于数学表达式，以便在计算机图形中表示图像。矢量图基于通过被称为控制点的位置的矢量(也称为路径，或者笔划)。这些点当中每一个都在x和y轴上具有明确的位置。每个点都可以包括工作空间内该点的位置以及矢量的方向(这是定义轨迹方向的东西)。每条轨迹可以被指定颜色、形状、宽度并且还有填充。通过在触控笔14中包括IMU 32，触控笔位置的精确位置以及触控笔14相对于参考点的朝向可以由IMU 32确定。如计算机图形领域中已知的，利用这种信息，三维图像可以从屏幕13上的二维图像或者从不同设备上或不同介质中的另一个二维图像再现。

本发明的另一种实施例将允许计算机辅助设计(CAD)工程师利用触控笔14产生包括表面纹理作为图像一部分的图像或者产生三维图像。CAD使用计算机系统帮助设计的创作、修改、分析或优化。CAD软件被用来增加设计者的生产率、提高设计的质量、改善通过文件编制的通信，并且产生用于制造的数据库。CAD输出可以是电子文件的形式，用于打印、机加工或其它制造操作。CAD还被广泛用来产生计算机动画，用于电影中的特效、广告和技术手册，常常被称为数字内容创作。在一种实施例中，被触控笔14捕捉的纹理图像可以在数字内容创作中使用。即，存储器22中所存储的纹理图像可以被发送设备19发送到计算机辅助设计系统，然后该计算机辅助设计系统可以在数字内容创作应用中实现纹理图像。

CAD可以用在设计电子系统、机械设计或者包括利用计算机软件创作技术绘图的过程的计算机辅助制图中。用于机械设计的CAD软件或者使用基于矢量的图形来绘出传统制图的对象，或者也可以产生示出所设计对象的整体外观的光栅图。CAD可以用来设计二维(2D)空间中的曲线和形状；或者三维(3D)空间中的曲线、表面和立体(solid)。触控笔14可以在这种设计的实现中尤其是在三维设计应用中使用。

当被触控笔14捕捉的纹理图像被使用时，诸如用于金属零件机加工的其它工业设计应用或者诸如雕刻石头、粘土或类似材料的其它工业使用变得很显然。此外，如以上所讨论的，当在虚拟或视觉艺术，诸如图形设计，中结合本发明的触控笔使用时，触觉允许艺术家与产生实时图像的虚拟工具直接接触。这种实施例为这种设计者提供更多工具来产生更直观和有用的可视图像和设计。

在还有另一种实施例中，触控笔14可以用来在三维地图制图(mapping)应用中感测表面纹理的变化。利用图形中的空间关系来表示数据中的有些关系，地图制图创作信息的图形表示。一种类型的地图制图是地理特征的缩放写照，即，制图法。在地理地图中，图像可以直接关联到地理空间属性，或者它们可以符号化诸如行政边界的抽象。传统上，纸(或平面)表示地球的表面。在这种实施例中，触控笔14在要地图制图的表面上经过，然后感测到的图像用来再现显示各种表面特性的可视图像。在地理地图制图应用中，这可以用来生成提供地形信息的可视图像。这种实施例在勘测以及地图创作中会是有用的。例如，在图10中，触控笔14可以在三维地图27上经过并且表面变化或特征诸如山脉28的图像可以被捕捉并发送到计算机平板11，以便创作所捕捉的三维图像27的可视二维图像，从而向二维图像提供地形细节。

除了产生可视图像，本发明还可以采用触觉来向用户提供触感反馈。触觉技术或者触觉是通过向用户生成力、振动或运动而利用触摸感觉的触感反馈技术。这种机械模拟可以用来帮助在计算机模拟中虚拟对象的创作、控制这种虚拟对象、并且增强机器和设备的遥控(遥控机器人)。触觉设备可以结合测量由用户在界面上施加的力的触感传感器。因而，在本发明的一种实施例中，触控笔14可以被服装制造商用来感测例如图6中布料23的纹理。作为一个例子，布料的纹理可以从布料的捕捉图像中提取。当触控笔在布料上移动时(或者布料的静止图像被捕捉时)，图像处理可以被用来提取布料的纹理或其它物理特征。

然后，感测到的纹理表面将作为可视布料图像的一部分存储。然后，布料图像可以放在制造商的网站上。于是，用户可以使他或她的触控笔14在图像上经过并且触觉反馈设备可以用来向使用该触觉反馈设备的用户再现感测到的可视图像的纹理。因而，用户将感测布料的纹理。作为这种实施例在服装零售行业中的一种应用的例子，用户将使用通过触觉反馈感测到的纹理并且能够在互联网上“感觉”所销售的衣服的纹理。同样，如前所述，这种反馈可以基于所感测的图像或对象的颜色和/或颜色和纹理的组合来提供。

例如，参考图11，在另一种实施例中，可以是例如诸如在电子游戏领域中已知的振动包(rumble pack)29的触觉反馈设备可以结合触控笔14使用，来向用户生成触觉反馈。如以上所讨论的，诸如与图6中布料23相关联的纹理图像的图像被触控笔14捕捉。所捕捉的图像在平板电脑11的屏幕13上显示。触控笔14被用户14握在一只手里，同时振动包29被用户12的另一只手持有，如图11中所示。当触控笔14在屏幕13上经过时，图像被触控笔14感测并且对应的纹理信息通过与计算机平板11相关联的软件传达给振动包29。因而，用户12能够可视地在屏幕13上观察图像，同时通过振动包29感觉所显示图像的纹理。在图6的例子中，到用户的视觉和触感输入的组合允许用户体验织物的“外观和感觉”。本领域中已知的其它触觉反馈设备也可以结合触控笔14使用，以便向用户生成触感反馈。应当认识到，基本上任何合适的触觉反馈机制都可以在实施例中使用。

在备选实施例中，视障人士可以如上所述地使用触控笔14和振动包29。那种实施例将允许视障人士“感觉”在屏幕13上显示的图像，由于视力障碍，他或她以别的方式无法看到该图像。这两种感觉(视觉和触觉)的组合使得这种实施例在诸如医学的其它应用中是有用的，其中，医学专家可以使用这种应用来“感觉”x射线的图像或者磁共振图像(MRI)。

在某些实施例中，显示器可以在触控笔上提供，或者可以与触控笔相关联，并且可以显示来自触控笔的输出的纹理和/或颜色。因而，如果移动触控笔产生绘制具有特定纹理和/或颜色的线条的输出信号，那么，即使触控笔不动，相同的纹理和/或颜色也可以在显示器上显示。相应地，用户可以相对容易地确定触控笔的输出是或者将是什么，而无需激活或移动触控笔。

一般而言，本文已经关于在触控笔操作期间或者作为触控笔的操作捕捉表面的纹理或其它物理特性并且输出那种纹理/物理特性以及提供模拟该纹理/物理特性或者随其变化的触觉反馈或其它感觉描述了实施例。但是，应当认识到，某些视觉特性，诸如颜色、亮度、饱和度等，也可以用作向用户提供某些触觉输出的基础。因而，例如，在选择操作或绘图操作期间触控笔的触觉输出可以依赖于所生成的图形的颜色和/或亮度而变化。

根据一种实施例，提供了一种触控笔，包括：外壳、位于所述外壳上以便发送与其邻近的表面的图像的尖端部分、与所述尖端部分相关联以便捕捉所述图像的图像感测设备，以及电磁连接到所述图像感测设备的存储设备。

根据另一种实施例，捕捉的图像包括纹理。

根据另一种实施例，所述图像感测设备包括相机。

根据另一种实施例，所述尖端部分包括透光部分。

根据另一种实施例，触控笔包括与所述图像感测设备相关联的光源。

根据另一种实施例，所述光源包括在所述外壳中的发光二极管。

根据另一种实施例，所述图像感测设备可操作成捕捉图像的纹理和图像的颜色。

根据另一种实施例，所述表面包括所述表面离所述尖端部分的距离的变化。

根据另一种实施例，触控笔包括用于向所述触控笔供电的设备。

根据另一种实施例，触控笔包括惯性测量单元(IMU)。

根据一种实施例，提供了一种系统，该系统包括：电子设备、与所述电子设备相关联的显示屏幕、电磁连接到所述电子设备的触控笔，所述触控笔包括位于所述触控笔一端的尖端部分、与所述尖端部分相关联以便捕捉与所述尖端部分邻近的表面的图像的图像感测设备、电磁连接到所述图像感测设备的发送设备，以及所述图像显示在所述屏幕上。

根据另一种实施例，所述系统包括所述表面离所述尖端部分的距离的变化。

根据另一种实施例，所述图像感测设备包括相机。

根据另一种实施例，所述尖端部分包括透光部分。

根据另一种实施例，所述图像包括纹理。

根据另一种实施例，所述纹理对应于所述表面。

根据另一种实施例，所述系统包括惯性测量单元(IMU)。

根据另一种实施例，所述系统包括触觉反馈设备，所述触觉反馈设备可操作成输出与所述纹理相关联的触觉反馈。

根据一种实施例，提供了一种用于在电子设备上显示表面的图像的方法，所述方法包括步骤：在所述表面上扫描触控笔、在所述触控笔中感测所述表面的图像、在所述触控笔中捕捉所述图像、以及把所述图像发送到所述电子设备。

根据另一种实施例，所述表面包括所述表面离所述触控笔的距离的变化。

根据另一种实施例，所述方法包括从所述图像提取纹理的步骤。

根据另一种实施例，扫描步骤包括在所述表面上多个位置感测所述图像。

虽然本公开内容已经描述了各种实施例，但是本领域普通技术人员应当明确地理解，在不背离本公开内容主旨或范围的情况下，可以进行某些修改。例如，虽然已经公开了用于触控笔的各种配置，以便启用对纹理捕捉的各种应用，但是在不背离本公开内容主旨或范围的情况下，可以使用附加的能力。相应地，本公开内容的适当范围在以下权利要求中阐述。

Claims (20)

1.一种触控笔，包括：

外壳；

尖端部分，位于所述外壳上以便发送与所述尖端部分邻近的表面的图像；

与所述尖端部分相关联以便捕捉所述图像的图像感测设备；以及

电磁连接到所述图像感测设备的存储设备。

2.如权利要求1所述的触控笔，其中捕捉的图像包括纹理。

3.如权利要求1所述的触控笔，其中所述图像感测设备包括相机。

4.如权利要求1所述的触控笔，其中所述尖端部分包括透光部分。

5.如权利要求1所述的触控笔，还包括与所述图像感测设备相关联的光源。

6.如权利要求5所述的触控笔，其中所述光源包括在所述外壳中的发光二极管。

7.如权利要求1所述的触控笔，其中所述图像感测设备可操作成捕捉图像的纹理和图像的颜色。

8.如权利要求1所述的触控笔，其中所述表面包括所述表面离所述尖端部分的距离的变化。

9.如权利要求1所述的触控笔，还包括用于向所述触控笔供电的设备。

10.如权利要求1所述的触控笔，还包括惯性测量单元(IMU)。

11.一种系统，包括：

电子设备；

与所述电子设备相关联的显示屏幕；

电磁连接到所述电子设备的触控笔，所述触控笔包括：

位于所述触控笔一端的尖端部分；

与所述尖端部分相关联以便捕捉与所述尖端部分邻近的表面的图像的图像感测设备；

电磁连接到所述图像感测设备的发送设备；以及

由此所述图像显示在所述屏幕上。

12.如权利要求11所述的系统，其中所述表面包括所述表面离所述尖端部分的距离的变化。

13.如权利要求11所述的系统，其中所述尖端部分包括透光部分。

14.如权利要求11所述的系统，其中所述图像包括纹理。

15.如权利要求14所述的系统，还包括惯性测量单元(IMU)。

16.如权利要求15所述的系统，还包括触觉反馈设备，所述触觉反馈设备可操作成输出与所述纹理相关的触觉反馈。

17.一种用于在电子设备上显示表面的图像的方法，包括步骤：

在所述表面上扫描触控笔；

在所述触控笔中感测所述表面的图像；

在所述触控笔中捕捉所述图像；以及

把所述图像发送到所述电子设备。

18.如权利要求17所述的方法，其中所述表面包括所述表面离所述触控笔的距离的变化。

19.如权利要求17所述的方法，还包括从所述图像提取纹理的步骤。

20.如权利要求17所述的方法，其中扫描步骤包括在所述表面上多个位置感测所述图像。