CN104040469A - 在基于笔的计算系统中的内容选择 - Google Patents

在基于笔的计算系统中的内容选择 Download PDF

Info

Publication number
CN104040469A
CN104040469A CN201280036616.3A CN201280036616A CN104040469A CN 104040469 A CN104040469 A CN 104040469A CN 201280036616 A CN201280036616 A CN 201280036616A CN 104040469 A CN104040469 A CN 104040469A
Authority
CN
China
Prior art keywords
coordinate
mark
instruction
gesture
writing surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280036616.3A
Other languages
English (en)
Inventor
T·L·埃奇库姆
A·J·范沙克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Livescribe Inc
Original Assignee
Livescribe Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Livescribe Inc filed Critical Livescribe Inc
Publication of CN104040469A publication Critical patent/CN104040469A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs

Abstract

一种使用基于笔的计算系统来选择内容的方法。由用户用智能笔在书写表面上生成的手势被捕获并且用来选择内容。内容可以是书写或者音频内容。可选地，也选择链接到选择的内容的附加内容。

Description

在基于笔的计算系统中的内容选择
技术领域
本发明总体上涉及基于笔的计算系统，并且更具体地涉及在基于笔的计算系统中选择内容。
背景技术
存在有基于笔的计算系统，这些计算系统允许数字地捕获用基于笔的计算系统生成的书写内容并且也捕获可选地链接到书写内容的音频内容。常规地，提供捕获的书写内容和/或音频内容的副本意味着提供在特定会话中捕获的所有内容。然而，提供所有内容可能并不适合。例如，如果在会议中讨论许多话题并且仅一个话题与接收者相关，则向该接收者提供整个会议的内容在一些实例中只是多余。在其他实例中，在会议中的其他话题可能例如出于隐私或者安全原因而不适合与接收者共享。因此，必须费力地重新建立会议的与接收者相关的部分而其他会议材料只是未向接收者提供。
因而，需要一种允许高效选择内容的新通信模式。
发明内容
公开的方法在基于笔的计算系统中选择内容的部分。选择的内容可以是任何种类的内容。在一些实施例中，内容是音频或者书写内容。使用由智能比在书写表面上做出的手势来选择内容。为了选择书写内容，手势包括环绕待选择的书写内容、在待选择的书写内容旁边的空白中画线以及叩击包围待选择的书写内容的框的相反拐角。为了选择音频内容，手势包括在代表音频文件的时间线的线上标记时间点。
本发明的实施例也包括在不同类型的内容（比如书写内容、音频内容、照片、视频内容、指向附加文件的链接等）之间创建链接。在选择内容时，也可选地选择链接的内容。
本发明的附加实施例包括规则，这些规则支配如何向选择的内容添加链接的内容。
也描述实施公开的方法的系统和计算机程序产品。
附图说明
图1是根据本发明的实施例的基于笔的计算系统的示意图。
图2是根据本发明的实施例的用于在基于笔的计算系统中使用的智能笔的示图。
图3是图示在基于笔的计算系统中选择内容的方法的流程图。
图4是在根据一个实施例的基于笔的计算系统中选择书写内容。
图5是在根据一个实施例的基于笔的计算系统中选择书写内容。
图6是在根据一个实施例的基于笔的计算系统中选择音频内容。
附图仅出于例示的目的而描绘本发明的各种实施例。本领域技术人员将从以下讨论中容易认识到可以运用这里所示的结构和方法的备选实施例而未脱离这里描述的本发明的原理。
具体实施方式
基于笔的计算系统的概述
可以在基于笔的计算系统以及其他计算和/或记录系统的各种实施例上实施本发明的实施例。在图1中图示基于笔的计算系统的实施例。在这一实施例中，基于笔的计算系统包括书写表面50、智能笔100、入座站（docking station）110、客户端系统120、网络130和web服务系统140。智能笔100包括板载处理能力以及输入/输出功能，从而允许基于笔的计算系统将传统计算系统的基于屏幕的交互扩展到用户可以在其上书写的其他表面。例如，智能笔100可以用来在书写期间捕获书写的电子表示以及记录音频，并且智能笔100也可以能够向用户输出回可视和音频信息。利用智能笔100上的用于各种应用的适当软件，基于笔的计算系统因此提供用于用户与在电子和纸张领域中的软件程序和计算服务交互的新平台。
在基于笔的计算系统中，智能笔100为计算系统提供输入和输出能力并且执行系统的计算功能中的一些或者所有计算功能。因此，智能笔100使用多个形式（modality）来使能与基于笔的计算系统的用户交互。在一个实施例中，智能笔100使用多个形式（比如捕获用户的书写或者其他手势或者记录音频）从用户接收输入并且使用各种形式（比如显示可视信息或者播放音频）向用户提供输出。在其他实施例中，智能笔100包括附加输入形式（比如运动感测或者手势捕获）和/或附加输出形式（比如振动反馈）。
在图2中示出并且在附带文字中更具体地描述智能笔100的特定实施例的部件。智能笔100优选地具有基本上成形如同笔或者其他书写工具的外形，但是对总体形状的某些变化可以存在以适应笔的其他功能或者可以甚至是交互多形式非书写工具。例如，智能笔100可以比标准笔略厚以使得它可以包含附加部件，或者智能笔100除了形成笔形外形的结构特征之外还可以具有附加结构特征（例如，平面显示屏幕）。此外，智能笔100也可以包括用户可以用来向智能笔计算系统提供输入或者命令的任何机制或者可以包括用户可以用来从智能笔计算系统接收或者以其他方式观测信息的任何机制。
PAUSE智能笔100被设计用于与书写表面50结合工作，从而智能笔100可以捕获在书写表面50上做出的书写。在一个实施例中，书写表面50包括纸张（或者可以书写的任何其他适当材料）并且用智能笔100可以读取的图案来编码。这样的书写表面50的示例是从Sweden的Anoto Group AB（Waltham,MA的本地附属Anoto,Inc.）可用的所谓“具有点阵功能的纸”并且在通过引用而结合于此的第7,175,095号美国专利中有描述。这一具有点阵功能的纸具有在纸上编码的点阵图案。被设计用于与这一具有点阵功能的纸工作的智能笔100包括成像系统和处理器，该处理器可以确定智能笔的书写笔尖相对于编码的点阵图案的位置。可以使用在预定义“点阵空间”中的坐标来指代智能笔100的这一位置，并且坐标可以是局部（即在书写表面50的一页内的位置）或者绝对（即跨越书写表面50的多页的唯一位置）。
在其他实施例中，使用除了编码的纸之外的机制来实施书写表面500以允许智能笔100捕获手势和其他书写输入。例如书写表面可以包括感测智能笔100做出的书写的写字板或者其他电子介质。在另一实施例中，书写表面50包括电子纸或者e纸。这一感测可以完全由书写表面50或者与智能笔100结合执行。即使书写表面50的作用仅为被动（如在编码的纸的情况下那样），仍然可以理解智能笔100的设计将通常依赖于基于笔的计算系统被设计用于的书写表面50的类型。另外，可以在书写表面50上机械（例如使用智能笔100在纸上沉积墨）、电子（例如在书写表面50上显示）或者完全未显示（例如仅在存储器中保存）书写内容。在另一实施例中，智能笔100配别有用于感测笔的笔尖的移动的传感器、由此感测书写手势而完全无需书写表面50。这些技术中的任何技术可以使用于在智能笔100中并入的手势捕获系统中。
在各种实施例中，智能笔100可以与通用计算系统120、比如个人计算机、智能电话、写字板计算机等通信。用于基于笔的计算系统的各种有用应用。例如可以向计算系统120传送智能笔100捕获的内容用于由该系统120进一步使用。例如计算系统120可以包括管理软件，该管理软件允许用户存储、访问、回顾、删除和另外管理智能笔100获取的信息。从智能笔100向计算系统120下载获取的数据也释放智能笔100的资源，从而它可以获取更多数据。反言之，也可以从计算系统120向智能笔100上传送回内容。除了数据之外，计算系统120向智能笔100提供的内容还可以包括智能笔100可以执行的软件应用。
智能笔100可以经由包括有线和无线通信二者的多个已知通信机制中的任何通信机制与计算系统120通信。在一个实施例中，基于笔的计算系统包括耦合到计算系统的入座站110。入座站110被机械和电配置用于接收智能笔100，并且在入座智能笔100时，入座站110可以实现在计算系统120与智能笔100之间的电子通信。入座站110也可以提供用于对智能笔100中的电池再充电的电功率。在一个备选实施例中，智能笔100经由USB连接与计算系统120通信。
图2图示用于在基于笔的计算系统中使用的智能笔100的一个实施例、比如以上描述的实施例。在图2中所示实施例中，智能笔100包括标记器205、成像系统210、落笔传感器215、一个或者多个麦克风220、扬声器225、音频插孔230、显示器235、I/O端口240、处理器245、板载存储器250和电池255。然而应当理解所有以上部件是智能笔100需要的并且这不是用于智能笔100的所有部件或者以上部件的所有可能变化的穷尽列举。例如智能笔100也可以包括按钮、比如功率按钮或者音频记录按钮和/或状态指示器灯。另外如这里在说明书中和在权利要求中所用，术语“智能笔”未意味着除了明确板载的那些特征之外，笔设备具有这里对于一个具体实施例描述的任何特定特征或者功能。智能笔可以具有笔这里描述的所有能力和子系统更少的能力和子系统的任何组合。
标记器205使智能笔能够用作为用于在任何适当表面上书写的传统书写装置。标记器205因此可以包括任何适当标记机制，该标记机制包括任何基于墨或者基于石墨的标记设备或者可以用于书写的任何其他设备。在一个实施例中，标记器205包括可更换圆珠笔元件。标记器205耦合到落笔传感器215、比如压敏元件。落笔传感器215因此在标记器25与表面相抵按压时产生输出、由此指示智能笔100何时用来在表面上书写。
成像系统210包括用于对在标记器205附近的表面的区域成像的光学器件和传感器。成像系统210可以用来捕获用智能笔100做出的手写和手势。例如成像系统210可以包括照射在标记器205的一般附近的书写表面50的红外线光源，其中书写表面50包括编码的图案。通过处理编码的图案的图像，智能笔100可以确定标记器205相对于书写表面50在何处。成像系统210的成像阵列然后对在标记器205附近的表面成像并且在它的视野中捕获编码的图案的部分。因此，成像系统210允许智能笔100使用至少一个输入形式、比如接收书写输入来接收数据。并入用于查看书写表面50的部分的光学器件和电子器件的成像系统210仅为可以在智能笔100中并入的用于电子捕获使用笔做出的任何书写手势的一个类型的手势捕获系统，并且智能笔100的其他实施例可以使用任何其他用于实现相同功能的适当装置。
在一个实施例中，随后处理成像系统210捕获的数据从而允许一个或者多个内容识别算法、比如字符识别应用于接收的数据。在另一实施例中，成像系统210可以用来扫描和捕获已经在书写表面50上存在的（例如并且未使用智能笔100书写）的书写内容。演示系统210还可以与落笔传感器215组合用来确定标记器205何时触摸书写表面50。随着标记器205在表面之上移动，成像阵列捕获的图案改变，并且用户的手写因此可以由智能笔100中的手势捕获系统（例如图2中的成像系统210）确定和捕获。这一技术也可以用来比如在用户在书写表面50的特定位置上叩击标记器205时捕获手势从而允许使用运动感测或者手势捕获的另一输入形式的数据捕获。
在智能笔100上的另一数据捕获设备是允许智能笔100使用另一输入形式音频捕获来接收数据的一个或者多个麦克风220。麦克风220可以用于记录音频，这可以合成到以上描述的手写捕获。在一个实施例中，一个或者多个麦克风220耦合到处理器245或者信号处理器（未示出）执行的信号处理软件，该信号处理软件去除在标记器205跨越书写表面移动时产生的噪声和/或在智能笔100向下触摸书写表面或者从书写表面提起时产生的噪声。在一个实施例中，处理器245同步捕获的书写数据与捕获的音频数据。例如可以在用户做笔记之时使用麦克风220来记录会议中的对话，这些笔记也由智能笔100捕获。同步记录的音频和捕获的书写允许智能笔100提供对用户对于先前捕获的数据的请求的协调响应。例如响应于用户请求、比如书写命令、用于命令的参数、用智能笔100的手势、口头命令或者书写和口头命令的组合，智能笔100向用户提供音频输出和可视输出。智能笔100也可以向用户提供触觉反馈。
扬声器225、音频插孔230和显示器235向智能笔100的用户提供输出从而允许经由一个或者多个输出形式向用户演示数据。音频插孔230可以耦合到耳机，从而用户可以收听音频输出而未打扰在用户周围的人，这不同于用扬声器225。耳机也可以允许用户听见立体声音频输出或者用空间特性增强的全三维音频。因此，扬声器225和音频插孔230允许用户通过收听扬声器225或者音频插孔230播放的音频来使用第一类型的输出形式从智能笔接收数据。
显示器235可以包括用于提供可视反馈的任何适当显示器系统、比如有机发光二极管（OLED）显示器从而允许智能笔100通过可视地显示信息来使用第二输出形式提供输出。在使用中，智能笔100可以使用这些输出部件中的任何输出部件以传达音频或者可视反馈从而运行使用多个输出形式来提供数据。例如扬声器225和音频插孔230可以根据在智能笔100上运行的应用来传达音频反馈（例如提示、命令和系统状态），并且显示器235可以显示单词短语、静态或者动态图像或者如这样的应用所指引的提示。此外，扬声器225和音频插孔230也可以用来回放已经使用麦克风220记录的音频数据。
输入/输出（I/O）端口240允许如以上描述的在智能笔100与计算系统120之间的通信。在一个实施例中，I/O端口240包括与在入座站110上的点接触对应的电接触、因此在智能笔100放置于入座站110中时产生用于数据传送的电连接。在另一实施例中，I/O端口240简单地包括用于接收数据线缆（例如小型USB或者微USB）的操控。备选地，I/O端口240可以替换为智能笔100中的无线通信电路以允许与计算系统120的无线通信（例如经由蓝牙、WiFi、红外线或者超声）。
处理器245、板载存储器250和电池255（或者任何其他适当功率源）使计算功能能够至少部分基于智能笔100来执行。处理器245耦合到以上描述的输入和输出设备以及其他部件、由此使在智能笔100上运行的应用能够使用那些部件。在一个实施例中，处理器245包括ARM9处理器，并且板载存储器250包括少量随机存取存储器（RAM）和更大量闪存或者其他持久存储器。作为结果，可执行应用可以在智能笔100上存储和执行，并且记录的音频和手写可以无限地存储于智能笔100上或者直至从智能笔100向计算系统120分流。例如智能笔100可以本地存储一个或者多个内容识别算法、比如字符识别或者语音识别从而允许智能笔100从智能笔100接收的一个或者多个输入形式本地标识输入。
在一个实施例中，智能笔100也包括支持一个或者多个输入形式、比如手写捕获、音频捕获或者手势捕获或者输出形式、比如音频回放或者可视数据显示的操作系统或者其他软件。操作系统或者其他软件可以支持输入形式和输出形式的组合并且管理组合、定序和在输入形式（例如捕获书写和/或口头数据作为输入）与输出形式（例如向用户演示音频或者可视数据作为输出）之间的转变。例如在输入形式与输出形式之间的这一转变允许用户在收听智能笔100播放的音频之时在纸或者另一表面上同时书写，或者智能笔100可以在用户也用智能笔100书写之时捕获从用户口述的音频。输入形式和输出形式的各种其他组合也是可能的。
在一个实施例中，处理器245和板载存储器250包括一个或者多个可执行应用，该一个或者多个可执行应用支持和实现菜单结构和通过文件系统或者应用菜单的导航从而允许起动应用或者应用的功能。例如在菜单项目之间的导航包括在用户与智能笔100之间的对话，该对话涉及到用户的口述和/或书写命令和/或手势以及来自智能笔计算系统的音频和/或可视反馈。因此，智能笔100可以从多种形式接收用于导航菜单结构的输入。
例如书写手势、口头关键词或者物理运动可以指示后续输入与一个或者多个应用命令关联。例如用户可以迅速接连两次与表面相抵按下智能笔100、然后书写单词或者短语、比如“求解”、“发送”、“翻译”、“发电邮”、“语音邮件”或者另一预定义单词或者短语以调用与书写单词或者短语关联的命令或者接收与预定义单词或者短语关联的命令关联的附加参数。这一输入可以具有空间（例如并排点阵）和或时间分量（一个点阵在另一点阵之后）。由于可以在不同格式中提供这些“快速起动”命令，所以简化菜单导航或者应用起动。一个或者多个“快速起动”命令优选地在常规书写和/或演讲期间容易可区分。
备选地，智能笔100也包括物理控制、比如小型操纵杆、滑动控件、摇杆面板、电容（或者其他非机械）表面或者其他输入介质，该输入机制接收用于导航智能笔100执行的应用或者应用命令的菜单的输入。
选择内容的概述
基于智能笔的计算系统对于例如在会议中捕获音频和书写内容有用。希望共享音频和/或书写内容的全部或者部分，但是用户想要有根据境况仅共享一些内容的灵活性。有许多功能使用允许用户选择仅部分内容。会议可以包括许多话题，并且用户可能想要按话题划分会议的记录。用户可能希望向联系人发送笔记集合的部分、但不是整个笔记集合。
选择书写内容
参照图3，描述选择内容的方法。用户选择智能笔100上的内容选择模式以开始选择内容。通过智能笔100上的菜单结构或者通过选择具有点阵功能的纸上的图标调用模式来录入内容选择命令。在选择内容选择模式之后，用户指示选择的书写内容。为了指示待选择的内容，用户在具有点阵功能的纸上用智能笔100做出手势，这些手势由智能笔100上的成像系统210接收305并且解释以标识310选择的内容。在一些实施例中，接收的手势包括用来标识310选择的内容的一个或者多个坐标集。例如，如果手势为叩击，则接收的手势包括在其上叩击智能笔100的部位的坐标。如果手势是画线，则接收的手势可以包括线的开始的坐标。如果手势是画形状，则手势可以包括形状的顶点的坐标。标识310选择的内容伴随有比较与内容关联的坐标与手势的内容并且基于文字相对于手势的坐标的位置应用指示是否包括或者排除文字的规则。用于选择内容的各种方式包括：
·选择单页-叩击所需页上的单个叩击。选择该页上的所有书写内容。
·选择多页-叩击多页（未必是依次页）上的单个叩击。双击待选择的末页。
·选择页范围-在范围的第一页上从左到右划线并且在范围的末页上从右到左画线。选择页范围上的所有书写内容。
·选择页的部分：
○选择页的竖直部分-沿着待选择的书写内容的右或者左空白画竖线。选择向画的竖线的左侧或者右侧对准的所有书写内容或者墨。图4图示线400，并且框405包围作为线400的结果而选择的文字。线400具有坐标为x1、y1的端点和第二端点x2、y2。选择的文字具有任何x坐标、但是在y1与y2之间的y坐标。
○选择页的竖直部分的部分-以这样的方式在待选择的书写内容的左侧或者右侧画竖线，该方式为待选择的书写内容在沿着画的线划分页之后在页的更大部分中结束。图5图示在待选择的文字的左侧画的线500。在线500的右侧的文字（由框505包围）在如线500划分的页的更大部分中，因此它是选择的文字。线500具有坐标为x1、y1的端点以及第二端点x1、y2。选择的文字具有大于x1的x坐标和在y1与y2之间的y坐标。
○选择页的矩形部分-叩击页的矩形部分的两个相反拐角，该矩形部分包含待选择的书写内容。
○选择页的任何形状的连续部分-绕着待选择的书写内容画线从而使线结束于它的开始。这类似于绘图程序中的套索工具。
为了选择不连续的多条书写内容，可以组合选择内容的方法。例如用户可以将一页上的矩形书写内容与别处的另一整页和页范围一起选择。
可选地，手势组合可以用来从选择中提取内容。在这样的实施例中，用户可以通过叩击页以选择该页、然后包围待排除的部分来选择除了某个部分之外的整页。在两个选择之间的指示排除的手势指示将从第一选择的部分（页）去除第二选择的部分。
选择音频内容
为了选择音频内容，用户使用智能笔100上的菜单结构或者通过选择具有点阵功能的纸上的图标来录入智能笔100的选择模式。用户然后使用菜单结构、在具有点阵功能的纸上的图标或者二者的组合来选择音频内容的部分。
在音频内容已经与书写内容的书写一起记录时，选择书写内容允许自动选择与书写内容关联的音频内容。
·选择整个音频文件-从可用音频记录的列表选择完整音频文件。例如经由智能笔100上的菜单结构访问列表。
·选择与书写内容关联的音频-使用先前描述的用于选择书写内容的手势，可以通过选择与所需音频内容对应的书写内容来选择将与书写内容同步的音频内容。这一方式可以仅选择音频内容或者这一方式可以选择音频内容和书写内容。以下更具体讨论用于链接的内容的选择选项。
·选择音频文件的开始或者结束-用户在音频文件内导航以选择选择的音频内容希望开始或者结束的位置。用户使用具有点阵功能的纸上的手势或者选择具有点阵功能的纸上的与快进、倒退、前跳、后跳、跳向等对应的图标来在音频文件内导航并且用智能笔100在具有点阵功能的纸上做出手势，该手势指示选择的位置将是选择的音频内容的开始点或者结束点。如果选择的位置将是选择的内容的结束，则选择的音频内容将是音频文件到选择的位置的开始。如果选择的位置是选择的内容的开始，则选择的音频内容将在选择的位置开始并且结束于音频文件的结束。
·从音频文件的中间选择部分-参照图6，用户画竖线600以代表音频时间线。竖线600具有标识它的开始和结束的坐标。为了开始编辑过程，用户定位音频文件中的他们想要他们的选择开始的位置并且在竖线的顶部附近做出标记605。用户然后定位音频文件中的他们想要它们的选择结束的位置并且在竖线的底部附近做出标记610。用户然后可以通过使选择的部分在开始或者结束更短或者通过在音频文件内移动并且在竖线600上做出附加标记以标记选择的音频内容的新开始和新结束来调整选择的音频内容的开始和结束点。在微调选择的部分的开始时做出标记615和625并且使标记在音频文件中越来越晚。在微调选择的部分的结束时做出标记620和630并且使标记在音频文件中越来越早。在标记之间的距离无需按比例。在图6上的标记610与620之间的距离笔在标记620与630之间的距离更短。然而在标记610和620代表的位置之间的在音频文件中的时间未必笔在标记620和630代表的位置之间的时间更短。这之所以可能是因为用户做出新标记（如用标记的一个或者多个坐标集标识）的在音频文件中播放的时间点变成与该时间点关联而不是用户必须猜测他或者她在音频文件中的何处（例如贯穿路线的三分之一）并且尝试将标记放置于音频文件中的该位置在时间线上的可视表示。一旦完成选择过程，中心两个标记625和630用来确定音频选择，从而两个中心标记中的更高中心标记625代表用于选择的音频内容的开始时间并且两个中心标记中的更低标记630代表结束时间。智能笔100在做出标记625以标识用于选择的音频内容的开始时间时使用用于音频文件的时间点并且在做出标记630以标识选择的音频内容的结束时使用音频文件的时间点。如以上描述的相同方法可以用来从选择中去除音频的部分。例如X635标记将从选择的音频内容排除的部分的开始。X640标记排除的部分的结束。图6中所示编辑的结果是在标记625与630之间选择的音频内容、但是去除在X635与X640之间的部分。
·组合音频部分。与组合书写内容选择相似，可以使用以上方法的组合来一起选择来自多个音频文件的部分从而产生合并的音频文件。例如依次做出五个记录，其中要求受访者在纸上书写他们的姓名并且大声说他们的电话号码和地址。选择和合并所有五个会话从而创建包含所有记录的音频的单个音频文件。
选择智能笔上的其他内容
可以单独或者与书写内容和音频内容组合选择智能笔100上的任何其他数据。在一个实施例中，智能笔100可以具有向它添加的各种应用，每个应用可以具有可用于选择的关联数据和内容。示例包括：
·游戏数据：用户可以叩击页的已经在其上画用于游戏的控件的部分以自动选择和链接关于该游戏的信息、例如与游戏关联的高分。
·计算的结果：为了选择计算的结果，用户可以叩击用于计算器（用户画的计算器或者固定打印应用、比如在具有点阵功能的纸的笔记本的封面中的应用）的艺术图片或者用应用、比如Quick Calc写的计算（例如“5.7x463”）。
·创作的音乐：用户可以在画的钢琴或者其他乐曲或者音频应用上叩击出旋律、然后叩击画的乐器以选择包括音乐数据的数据文件（例如MIDI文件）。
在一个实施例中，与选择的内容包括与原有内容关联的元数据。示例元数据包括创建内容的用户的姓名或者其他标识信息。可以例如从来自用来创建内容的智能笔的唯一标识符获得用户信息。用来书写笔记的笔也可以保存创建内容的时间和日期。选择的内容然后可以包括用于创建原有内容的日期和时间戳以及用于创建选择的内容的日期和时间戳。
选择链接内容
可以链接多个内容类型并且可以与选择的内容包括链接的内容。是否包括链接的内容可以每当选择内容时由用户人工确定或者使用智能笔100的板载存储器250上存储的规则来自动确定。
用于基于智能笔的计算机系统的常见使用情况是用于将与书写笔记一起做出的会议的音频记录。在记录音频时的每个时间段产生单独音频文件。链接在与音频文件相同的时间做出的书写内容作为会话。用户也可以通过将多个会话组合成单个会话来人工指明会话。对于停止和开始会议的示例，可以有一起归属的多个音频文件和关联书写内容（并且因此有一起归属的多个会话）。这些可以被分组成创建一个会话。
如果用户从会话选择书写内容，则自动添加会话的与选择的书写内容对应的音频部分可以有用或者可以无用。是否有用依赖于选择的内容的最终使用。在向同事发送来自会议的动作项目时，包括在做出笔记时的确切时刻在会议中说的内容可以没有必要或者甚至无用。如果选择的书写内容用于存档目的，则包括链接的音频内容更可能有用。如果将包括链接的内容，则基于智能笔的计算系统标识315链接的内容并且组合320该链接的内容与选择的内容。
对与选择的书写内容包括多少音频内容的附加个性化通过调用规则是可能的。选择的书写内容无论是整页、多页、页的部分或者某个选择组合都可以与一个或者多个音频文件以及音频文件的部分关联。如果用户记录产生十页书写内容的一小时长的会议、然后选择十页书写内容之一，则该页与一小时长的音频文件的部分、但是并非一个完整音频文件关联。在另一示例中，如果用户创建系列会议中的一页书写内容并且做出在那些会议期间的一些记录、但不是一个连续记录，则该页书写内容与多个音频文件关联。如果包括音频文件的一个会话跨越一页书写内容的部分到第二页书写内容，则第一页书写内容与音频文件的部分关联。
对与书写内容包括多少音频内容的个性化对于避免发送太多或者太少音频内容有用。用户可以将这样的个性化编程到智能笔100中并且具有默认规则或者在开始选择内容时选择规则。示例规则包括：
·包括所有直接关联音频-包括与如下时间段关联的所有音频，在该或者这些时间段期间创建选择的书写内容。参照一小时长的会议的示例，如果用户仅选择十页笔记中的一页，则仅向选择的内容添加与该一页关联的音频。
·完全包括所有音频文件-包括与选择的书写内容的任何部分关联的所有音频文件。参照一小时长的会议的示例，如果用户仅选择十页书写内容中的一页，则包括所有如下音频，该音频是包括该一页笔记的会话的部分。选择的内容因此包括用于整个会话的所有音频内容和来自会话的书写内容的部分。
·包括所有完整音频文件-包括完全与选择的书写内容关联的所有音频文件。参照一小时长的会议的示例，如果用户仅选择十页书写内容中的一页，则在这一规则之下未包括音频，因为无音频文件完整地包含于该一页笔记内，因为链接的音频文件跨越所有十页书写内容。在另一示例中，如果单页书写内容包括多个音频文件并且也包括音频文件的部分（因为音频文件属于的会话包括书写内容，该书写内容包含多页），则仅在选择的内容中包括如下音频文件，这些音频文件的关联书写内容完全包含于选择的书写内容中。
·基于会话的链接
○在选择书写内容时，选择相同会话中的所有书写内容和会话中的所有音频内容。
○在选择书写内容时，选择所有如下页面，这些页面包括相同会话中的书写内容和会话中的所有音频内容。
○在选择页时，选择所有书写内容和所有音频内容，该书写内容和该音频内容是在选择的页上包括的任何会话的部分。
其他特征
本发明的以上实施例可以支持附加特征，可以一起或者单独实施这些特征以提供增强的功能。这些附加特征中的一些特征可以包括以下各项。
·组合来自除了智能笔100之外的来源的内容。在基于智能笔100的内容和非基于智能笔100的内容上的时间戳可以用来链接二者。备选地，用户可以将非基于智能笔100的内容人工链接到基于智能笔100的内容。
·使用示例包括：
○在头脑风暴会议期间，在白板上书写笔记。在会议结束时，用数字相机拍摄白板的相片，并且向音频内容和书写内容的会话材料添加相片。相片可以由用户人工添加或者基于照片的日期和时间戳来自动添加。也可以通过相片匹配来添加相片。为了连接系列相片与笔记集合，用户可以拍摄具有书写的页的图片、继而为其他相片。相片的自动化分析匹配系列中的第一相片与具体笔记页并且创建在该相片和后继相片集合和包含该页笔记的会话之间的链接。
○在会议演示数字幻灯片。跟踪每个幻灯片的定时，并且将幻灯片文档与音频内容和书写内容组合成会话。这样，在以后日期查看来自会议的笔记的人们可以知道在任何时刻示出哪个幻灯片并且因此可以响应于每个幻灯片跟踪什么对话正在发生。
○视频记录演讲系列，并且与会话并入视频的时间码。以后，用户可以叩击笔记上的任何处而不是仅跳向音频内容的该部分、但是也发现视频中的对应位置。在另一实施例中，音频同步用来匹配视频内容与音频内容。
○举行会议而出席者在各种位置并且经由在线系统、比如WebEx来协调。向来自智能笔100的会话的书写内容和音频内容添加在会议期间共享和查看的内容（屏幕共享、电子数据表、幻灯片等）以及元数据（出席者列表、会议开始/停止时间）。
·链接内容的其他方法包括：
·显式用户动作（实时）：用户可以起动另一计算设备、比如智能电话、写字板计算机、桌面型计算机、膝上型计算机等上的特殊应用，该引用打算用于捕获将与基于笔的会话包括的数据。与笔的同时动作自动标记它们从这一应用内捕获的任何数据（例如相片、视频、音频记录或者web位置）用于包括。
·显式用户动作（之前/之后）：用户可以起动特殊应用（如以上所述）或者使用插件（例如在计算机的因特网浏览器中）以指定将与基于笔的内容链接的内容。这可以在创建会话之前（例如在计划演示之时）或者之后（例如作为“注解”用于供应支持出现的讨论的附加信息）完成。
·超链接：在笔记集合内，用户书写URL、网站名称或者搜索词项并且用特殊标签标记它。这生成在该web位置上的搜索，并且所得网站或者web数据被链接到做笔记的会话并且包含于包括该会话的将来选择中。
概括
已经出于示例的目的而呈现本发明的实施例的前文描述；它未旨在于穷举本发明或者使本发明限于公开的精确形式。本领域技术人员可以理解许多修改和变化按照以上公开内容是可能的。
这一描述的一些部分按照对信息的操作的算法和符号表示来描述本发明的实施例。这些算法描述和表示被数据处理领域技术人员常用来向本领域其他技术人员有效传达他们的工作的实质。这些操作在功能、计算或者逻辑上被描述之时被理解为由计算机程序或者等效电路、微代码等实施。另外，将这些操作布置称为模块也已经证实有时是方便的而不失一般性。可以在软件、固件、硬件或者其任何组合中体现描述的操作及其关联模块。
可以独自或者与其他设备组合用一个或者多个硬件或者软件模块执行或者实施这里描述的步骤、操作或者过程中的任何步骤、操作或者过程。在一个实施例中，用包括计算机可读介质的计算机程序产品实施软件模块，该计算机可读介质包含可以由计算机处理器执行的用于执行描述的步骤、操作或者过程中的任何或者所有步骤、操作或者过程的计算机程序代码。
本发明的实施例也可以涉及一种用于执行这里的操作的装置。这一装置可以被特别地构造用于所需目的和/或它可以包括计算机中存储的计算机程序有选择地激活或者重新配置的通用计算设备。这样的计算机程序可以存储于有形计算机可读存储介质，该有形计算机可读存储介质包括适合于存储电子指令并且耦合到计算机系统总线的任何类型的介质。另外，在说明书中指代的任何计算系统可以包括单个处理器或者可以是为了增加计算能力而运用多处理器设计的架构。
本发明的实施例也可以涉及一种在载波中体现的计算机数据信号，其中计算机数据信号包括这里描述的计算机程序产品或者其他数据组合的任何实施例。计算机数据信号是在有形介质或者载波中呈现的并且在载波中调制或者另外编码的产品，该产品是有形的并且根据任何适当传输方法来传输
最后，已经主要出于可读性和指导的目的而选择说明书中使用的言语，并且它可以尚未被选择用于界定或者限制发明主题内容。因此旨在于本发明的范围不受这一具体描述限制、但是实际上由在基于本文的申请时发布的任何权利要求限制。因而，本发明的实施例的公开内容旨在于举例说明而不是限制在所附权利要求中阐述的发明范围。

Claims (69)

1.一种用于选择内容的计算机实施的方法：
数字地捕获使用数字笔设备在书写表面上做出的手势；
基于捕获的所述手势确定所述书写表面的选择的区域；
标识与所述书写表面的所述选择的区域关联的书写内容；以及
存储标识的所述书写内容的选择的指示。
2.根据权利要求1所述的方法，其中使用智能笔中的成像系统来数字地捕获所述手势。
3.根据权利要求1所述的方法，其中所述书写表面包括所述数字笔可读取的编码的坐标系。
4.根据权利要求1所述的方法，其中捕获手势包括确定至少一个坐标集。
5.根据权利要求4所述的方法，其中捕获手势还包括确定第二坐标集。
6.根据权利要求5所述的方法，其中基于捕获的所述手势标识内容包括标识由所述一个坐标集和所述第二坐标集界定的区域并且标识位于所述区域中的书写内容。
7.根据权利要求1所述的方法，其中：
所述书写表面包括一页或者多页纸；
所述手势包括在所述一页或者多页中的至少一页上的叩击；以及
所述选择的区域是所述一页或者多页中的所述至少一页。
8.根据权利要求1所述的方法，其中所述手势包括线，所述线具有开始点和结束点，所述开始点具有第一坐标集，所述结束点具有第二坐标集。
9.根据权利要求8所述的方法，其中标识书写内容包括标识在所述第一坐标集的第一y坐标与所述第二坐标集的第二y坐标之间位于所述书写表面上的书写内容。
10.根据权利要求9所述的方法，其中所述第一坐标集的第一x坐标和所述第二坐标集的第二x坐标相同，并且标识书写内容还包括标识位于所述书写表面的一部分上的书写内容，所述一部分具有大于所述第一x坐标和所述第二x坐标的x坐标。
11.根据权利要求9所述的方法，其中所述第一坐标集的第一x坐标和所述第二坐标集的第二x坐标相同，并且标识书写内容还包括标识位于所述书写表面的一部分上的书写内容，所述一部分具有小于所述第一x坐标和所述第二x坐标的x坐标。
12.根据权利要求1所述的方法，还包括标识链接到所述书写内容的附加内容。
13.根据权利要求12所述的方法，其中标识附加内容包括标识用于所述书写内容的时间戳以及标识具有所述时间戳的附加内容。
14.根据权利要求12所述的方法，其中所述附加内容包括音频内容。
15.根据权利要求12所述的方法，还包括基于用户定义的规则标识链接到所述书写内容的附加内容。
16.一种用于选择内容的计算机实施的方法：
数字地捕获使用数字笔设备在书写表面上做出的手势；
基于捕获的所述手势确定所述书写表面的选择的区域；
标识与所述书写表面的所述选择的区域关联的音频内容；以及
存储标识的所述音频内容的选择的指示。
17.根据权利要求16所述的方法，其中标识与所述书写表面的所述选择的区域关联的音频内容包括：
标识与所述书写表面的所述选择的区域关联的书写内容；
标识用于所述书写内容的时间戳；以及
标识具有所述时间戳的音频内容。
18.根据权利要求17所述的方法，其中标识书写内容包括标识在所述第一坐标集的第一y坐标与所述第二坐标集的第二y坐标之间位于所述书写表面上的书写内容。
19.根据权利要求18所述的方法，其中所述第一坐标集的第一x坐标和所述第二坐标集的第二x坐标相同，并且标识书写内容还包括标识位于所述书写表面的一部分上的书写内容，所述一部分具有大于所述第一x坐标和所述第二x坐标的x坐标。
20.根据权利要求18所述的方法，其中所述第一坐标集的第一x坐标和所述第二坐标集的第二x坐标相同，并且标识书写内容还包括标识位于所述书写表面的一部分上的书写内容，所述一部分具有小于所述第一x坐标和所述第二x坐标的x坐标。
21.根据权利要求16所述的方法，其中捕获手势包括确定至少一个坐标集。
22.根据权利要求16所述的方法，其中捕获手势还包括确定第二坐标集。
23.根据权利要求16所述的方法，其中：
所述手势包括代表音频时间线的线，所述线具有开始点、结束点和与所述线相交的标记，所述开始点具有代表音频文件的开始的第一坐标集，所述结束点具有代表所述音频文件的结束的第二坐标集，所述标记与所述音频文件中的时间点关联；
其中所述书写表面的所述选择的区域包括所述线的在所述标记与所述第一坐标集或者所述第二坐标集之一之间的一部分；以及
其中与所述选择的区域关联的所述音频内容是在所述音频文件中的所述时间点与所述音频文件的所述开始和所述音频文件的所述结束之一之间的音频文件的一部分。
24.根据权利要求16所述的方法，其中：
所述手势包括代表音频时间线的线，所述线具有开始点、结束点、与所述线相交的第一标记和与所述线相交的第二标记，所述开始点具有代表音频文件的开始的第一坐标集，所述结束点具有代表所述音频文件的结束的第二坐标集，所述第一标记与所述音频文件中的第一时间点关联，所述第二标记与所述音频文件中的第二时间点关联；
其中所述书写表面的所述选择的部分包括所述线的在所述第一标记与所述第二标记之间的一部分；以及
其中与所述选择的区域关联的所述音频内容是在所述音频文件中的所述第一时间点与所述第二时间点之间的音频文件的一部分。
25.根据权利要求16所述的方法，其中：
所述手势包括代表音频时间线的线，所述线具有开始点、结束点、与所述线相交的第一标记和与所述线相交的第二标记，所述开始点具有代表音频文件的开始的第一坐标集，所述结束点具有代表所述音频文件的结束的第二坐标集，所述第一标记与所述音频文件中的第一时间点关联，所述第二标记与所述音频文件中的第二时间点关联，其中所述第一标记比所述第二标记更接近所述开始点；
所述书写表面的所述选择的区域包括在所述开始与所述第一标记之间的第一线部分和在所述第二标记与所述结束之间的第二线部分；以及
与所述选择的区域关联的所述音频内容是在所述音频文件的所述开始与所述第一时间点之间的第一音频部分和在所述第二时间点与所述音频文件的所述结束之间的第二音频部分。
26.根据权利要求16所述的方法，其中使用智能笔中的成像系统来数字地捕获所述手势。
27.根据权利要求16所述的方法，其中所述书写表面包括所述数字笔可读取的编码的坐标系。
28.根据权利要求16所述的方法，还包括标识链接到所述音频内容的附加内容。
29.根据权利要求28所述的方法，其中标识附加内容包括标识用于所述书写内容的时间戳以及标识具有所述时间戳的附加内容。
30.根据权利要求28所述的方法，还包括基于用户定义的规则标识链接到所述书写内容的附加内容。
31.一种用于选择内容的计算机实施的方法：
数字地捕获使用数字笔设备在书写表面上做出的手势；
基于捕获的所述手势确定所述书写表面的选择的区域，其中所述选择的区域与应用关联；
标识与所述应用关联的应用内容；以及
存储标识的所述应用内容的选择的指示。
32.根据权利要求31所述的方法，其中使用智能笔中的成像系统来数字地捕获所述手势。
33.根据权利要求31所述的方法，其中所述书写表面包括所述数字笔可读取的编码的坐标系。
34.根据权利要求31所述的方法，其中捕获手势包括确定至少一个坐标集。
35.根据权利要求34所述的方法，其中捕获手势还包括确定第二坐标集。
36.根据权利要求35所述的方法，其中基于捕获的所述手势标识内容包括标识由所述一个坐标集和所述第二坐标集界定的区域以及标识位于所述区域中的应用。
37.一种用于选择内容的数字笔设备：
处理器；
成像系统，耦合到所述处理器以用于捕获由所述数字笔设备在书写表面上做出的手势；
板载存储器，耦合到所述处理器并且被配置用于存储由所述成像系统捕获的所述手势；
计算机程序代码，存储于存储器上并且被配置用于由所述处理器执行，所述计算机程序代码包括用于以下操作的指令：
基于捕获的所述手势确定所述书写表面的选择的区域；
标识与所述书写表面的所述选择的区域关联的书写内容；以及
存储标识的所述书写内容的选择的指示。
38.根据权利要求37所述的数字笔设备，其中所述书写表面包括所述数字笔设备可读取的编码的坐标系。
39.根据权利要求37所述的数字笔设备，其中所述用于捕获手势的指令包括用于确定至少一个坐标集的指令。
40.根据权利要求39所述的数字笔设备，其中所述用于捕获手势的指令还包括用于确定第二坐标集的指令。
41.根据权利要求40所述的数字笔设备，其中所述用于基于捕获的所述手势标识内容的指令包括用于标识由所述一个坐标集和所述第二坐标集界定的区域的指令以及用于标识位于所述区域中的书写内容的指令。
42.根据权利要求37所述的数字笔设备，其中：
所述书写表面包括一页或者多页纸；
所述手势包括在所述一页或者多页中的至少一页上的叩击；以及
所述选择的区域是所述一页或者多页中的所述至少一页。
43.根据权利要求37所述的数字笔设备，其中所述手势包括线，所述线具有开始点和结束点，所述开始点具有第一坐标集，所述结束点具有第二坐标集。
44.根据权利要求43所述的数字笔设备，其中所述用于标识书写内容的指令包括用于标识在所述第一坐标集的第一y坐标与所述第二坐标集的第二y坐标之间位于所述书写表面上的书写内容的指令。
45.根据权利要求44所述的数字笔设备，其中所述第一坐标集的第一x坐标和所述第二坐标集的第二x坐标相同，并且其中所述用于标识书写内容的指令还包括用于标识位于所述书写表面的一部分上的书写内容的指令，所述一部分具有大于所述第一x坐标和所述第二x坐标的x坐标。
46.根据权利要求44所述的数字笔设备，其中所述第一坐标集的第一x坐标和所述第二坐标集的第二x坐标相同，并且其中所述用于标识书写内容的指令还包括用于标识位于所述书写表面的一部分上的书写内容的指令，所述一部分具有小于所述第一x坐标和所述第二x坐标的x坐标。
47.根据权利要求37所述的数字笔设备，还包括用于标识链接到所述书写内容的附加内容的指令。
48.根据权利要求47所述的数字笔设备，其中所述用于标识附加内容的指令包括用于标识用于所述书写内容的时间戳的指令和用于标识具有所述时间戳的附加内容的指令。
49.根据权利要求47所述的数字笔设备，其中所述附加内容包括音频内容。
50.根据权利要求47所述的数字笔设备，还包括用于基于用户定义的规则标识链接到所述书写内容的附加内容的指令。
51.一种用于选择内容的数字笔设备：
处理器；
成像系统，耦合到所述处理器以用于捕获由所述数字笔设备在书写表面上做出的手势；
板载存储器，耦合到所述处理器并且被配置用于存储由所述成像系统捕获的所述手势；
计算机程序代码，存储于存储器上并且被配置用于由所述处理器执行，所述计算机程序代码包括用于以下操作的指令：
基于捕获的所述手势确定所述书写表面的选择的区域；
标识与所述书写表面的所述选择的区域关联的音频内容；
以及
存储标识的所述音频内容的选择的指示。
52.根据权利要求51所述的数字笔设备，其中所述用于标识与所述书写表面的所述选择的区域关联的音频内容的指令包括用于以下操作的指令：
标识与所述书写表面的所述选择的区域关联的书写内容；
标识用于所述书写内容的时间戳；以及
标识具有所述时间戳的音频内容。
53.根据权利要求52所述的数字笔设备，其中所述用于标识书写内容的指令包括用于标识在所述第一坐标集的第一y坐标与所述第二坐标集的第二y坐标之间位于所述书写表面上的书写内容的指令。
54.根据权利要求53所述的数字笔设备，其中所述第一坐标集的第一x坐标和所述第二坐标集的第二x坐标相同，并且其中所述用于标识书写内容的指令还包括用于标识位于所述书写表面的一部分上的书写内容的指令，所述一部分具有大于所述第一x坐标和所述第二x坐标的x坐标。
55.根据权利要求53所述的数字笔设备，其中所述第一坐标集的第一x坐标和所述第二坐标集的第二x坐标相同，并且其中所述用于标识书写内容的指令还包括用于标识位于所述书写表面的一部分上的书写内容的指令，所述一部分具有小于所述第一x坐标和所述第二x坐标的x坐标。
56.根据权利要求51所述的数字笔设备，其中所述用于捕获手势的指令包括用于确定至少一个坐标集的指令。
57.根据权利要求51所述的数字笔设备，其中所述用于捕获手势的指令还包括用于确定第二坐标集的指令。
58.根据权利要求51所述的数字笔设备，其中：
所述手势包括代表音频时间线的线，所述线具有开始点、结束点和与所述线相交的标记，所述开始点具有代表音频文件的开始的第一坐标集，所述结束点具有代表所述音频文件的结束的第二坐标集，所述标记与所述音频文件中的时间点关联；
所述书写表面的所述选择的区域包括所述线的在所述标记与所述第一坐标集或者所述第二坐标集之一之间的一部分；以及
与所述选择的区域关联的所述音频内容是在所述音频文件中的所述时间点与所述音频文件的所述开始和所述音频文件的所述结束之一之间的音频文件的一部分。
59.根据权利要求51所述的数字笔设备，其中：
所述手势包括代表音频时间线的线，所述线具有开始点、结束点、与所述线相交的第一标记和与所述线相交的第二标记，所述开始点具有代表音频文件的开始的第一坐标集，所述结束点具有代表所述音频文件的结束的第二坐标集，所述第一标记与所述音频文件中的第一时间点关联，所述第二标记与所述音频文件中的第二时间点关联；
所述书写表面的所述选择的部分包括所述线的在所述第一标记与所述第二标记之间的一部分；以及
与所述选择的区域关联的所述音频内容是在所述音频文件中的所述第一时间点与所述第二时间点之间的音频文件的一部分。
60.根据权利要求51所述的数字笔设备，其中：
所述手势包括代表音频时间线的线，所述线具有开始点、结束点、与所述线相交的第一标记和与所述线相交的第二标记，所述开始点具有代表音频文件的开始的第一坐标集，所述结束点具有代表所述音频文件的结束的第二坐标集，所述第一标记与所述音频文件中的第一时间点关联，所述第二标记与所述音频文件中的第二时间点关联，其中所述第一标记比所述第二标记更接近所述开始点；
所述书写表面的所述选择的区域包括在所述开始与所述第一标记之间的第一线部分和在所述第二标记与所述结束之间的第二线部分；以及
与所述选择的区域关联的所述音频内容是在所述音频文件的所述开始与所述第一时间点之间的第一音频部分和在所述第二时间点与所述音频文件的所述结束之间的第二音频部分。
61.根据权利要求51所述的数字笔设备，其中所述书写表面包括所述数字笔设备可读取的编码的坐标系。
62.根据权利要求51所述的数字笔设备，还包括用于标识链接到所述音频内容的附加内容的指令。
63.根据权利要求62所述的数字笔设备，其中所述用于标识附加内容的指令包括用于标识用于所述书写内容的时间戳的指令和用于标识具有所述时间戳的附加内容的指令。
64.根据权利要求62所述的数字笔设备，还包括用于基于用户定义的规则标识链接到所述书写内容的附加内容的指令。
65.一种用于选择内容的数字笔设备：
处理器；
成像系统，耦合到所述处理器以用于捕获由所述数字笔设备在书写表面上做出的手势；
板载存储器，耦合到所述处理器并且被配置用于存储由所述成像系统捕获的所述手势；
计算机程序代码，存储于存储器上并且被配置用于由所述处理器执行，所述计算机程序代码包括用于以下操作的指令：
基于捕获的所述手势确定所述书写表面的选择的区域，其中所述选择的区域与应用关联；
标识与所述应用关联的应用内容；以及
存储标识的所述应用内容的选择的指示。
66.根据权利要求65所述的数字笔设备，其中所述书写表面包括所述数字笔设备可读取的编码的坐标系。
67.根据权利要求65所述的数字笔设备，其中捕获手势包括确定至少一个坐标集。
68.根据权利要求67所述的数字笔设备，其中所述用于捕获手势的指令还包括用于确定第二坐标集的指令。
69.根据权利要求68所述的数字笔设备，其中所述用于基于捕获的所述手势标识内容的指令包括用于标识由所述一个坐标集和所述第二坐标集界定的区域的指令以及用于标识位于所述区域中的应用的指令。
CN201280036616.3A 2011-05-23 2012-05-23 在基于笔的计算系统中的内容选择 Pending CN104040469A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161489235P 2011-05-23 2011-05-23
US61/489,235 2011-05-23
PCT/US2012/039184 WO2012162415A2 (en) 2011-05-23 2012-05-23 Content selection in a pen-based computing system

Publications (1)

Publication Number Publication Date
CN104040469A true CN104040469A (zh) 2014-09-10

Family

ID=47218053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280036616.3A Pending CN104040469A (zh) 2011-05-23 2012-05-23 在基于笔的计算系统中的内容选择

Country Status (7)

Country Link
US (2) US20140347328A1 (zh)
EP (1) EP2715493A4 (zh)
JP (1) JP2014515512A (zh)
KR (1) KR20140079749A (zh)
CN (1) CN104040469A (zh)
CA (1) CA2837093A1 (zh)
WO (1) WO2012162415A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201264A (zh) * 2016-07-04 2016-12-07 北京小米移动软件有限公司 选择内容的方法及装置
CN107193467A (zh) * 2017-04-11 2017-09-22 网易（杭州）网络有限公司 用于展示智能笔书写内容的方法及设备
CN108205936A (zh) * 2016-12-20 2018-06-26 上海谦问万答吧云计算科技有限公司 教师端答疑设备以及答疑系统
CN108780443A (zh) * 2016-03-11 2018-11-09 微软技术许可有限责任公司 对数字笔划群组的直观选择

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140253462A1 (en) * 2013-03-11 2014-09-11 Barnesandnoble.Com Llc Sync system for storing/restoring stylus customizations
US9268997B2 (en) * 2013-08-02 2016-02-23 Cellco Partnership Methods and systems for initiating actions across communication networks using hand-written commands
US20150205518A1 (en) * 2014-01-22 2015-07-23 Lenovo (Singapore) Pte. Ltd. Contextual data for note taking applications
US9552345B2 (en) * 2014-02-28 2017-01-24 Microsoft Technology Licensing, Llc Gestural annotations
US10062105B2 (en) * 2015-08-28 2018-08-28 Ncr Corporation Stylus
JP7107787B2 (ja) 2018-08-31 2022-07-27 株式会社ワコム データ通信方法
IT201900018440A1 (it) * 2019-10-10 2021-04-10 M Pix Srl Sistema e metodo per l’identificazione e la siglatura dei cablaggi elettrici negli armadi industriali
US11209918B2 (en) * 2019-10-29 2021-12-28 Lenovo (Singapore) Pte. Ltd. Measuring light using a digital pen
US11875543B2 (en) 2021-03-16 2024-01-16 Microsoft Technology Licensing, Llc Duplicating and aggregating digital ink instances
US11361153B1 (en) 2021-03-16 2022-06-14 Microsoft Technology Licensing, Llc Linking digital ink instances using connecting lines
US11435893B1 (en) 2021-03-16 2022-09-06 Microsoft Technology Licensing, Llc Submitting questions using digital ink
US11526659B2 (en) 2021-03-16 2022-12-13 Microsoft Technology Licensing, Llc Converting text to digital ink
US11372486B1 (en) 2021-03-16 2022-06-28 Microsoft Technology Licensing, Llc Setting digital pen input mode using tilt angle
CN113110787A (zh) * 2021-04-12 2021-07-13 深圳宏途教育网络科技有限公司 一种基于智能笔及其互动实现方法
US20230315271A1 (en) * 2022-03-18 2023-10-05 Sony Group Corporation Collaborative whiteboard for meetings

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6915103B2 (en) * 2002-07-31 2005-07-05 Hewlett-Packard Development Company, L.P. System for enhancing books with special paper
WO2008150916A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Enhanced audio recording for smart pen computing systems
US20090063492A1 (en) * 2007-05-29 2009-03-05 Vinaitheerthan Meyyappan Organization of user generated content captured by a smart pen computing system
US20090251337A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Grouping Variable Media Inputs To Reflect A User Session
US20090267923A1 (en) * 2008-04-03 2009-10-29 Livescribe, Inc. Digital Bookclip
CN101689187A (zh) * 2007-05-29 2010-03-31 智思博公司 多模态智能笔计算系统
CN102067153A (zh) * 2008-04-03 2011-05-18 智思博公司 多模态学习系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347295A (en) * 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
US7175095B2 (en) * 2001-09-13 2007-02-13 Anoto Ab Coding pattern
JP4301524B2 (ja) * 2007-03-27 2009-07-22 株式会社沖データ 印刷システム及び情報処理装置
EP2085921A4 (en) * 2007-11-28 2011-11-02 Intelligent Wave Inc COMPENSATION AGREEMENT SYSTEM AND COMPENSATION PROCEDURE OF A CREDIT CARD
EP2410406A1 (en) * 2010-07-23 2012-01-25 Anoto AB Display with coding pattern

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6915103B2 (en) * 2002-07-31 2005-07-05 Hewlett-Packard Development Company, L.P. System for enhancing books with special paper
WO2008150916A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Enhanced audio recording for smart pen computing systems
US20090063492A1 (en) * 2007-05-29 2009-03-05 Vinaitheerthan Meyyappan Organization of user generated content captured by a smart pen computing system
CN101689187A (zh) * 2007-05-29 2010-03-31 智思博公司 多模态智能笔计算系统
US20090251337A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Grouping Variable Media Inputs To Reflect A User Session
US20090267923A1 (en) * 2008-04-03 2009-10-29 Livescribe, Inc. Digital Bookclip
CN102067153A (zh) * 2008-04-03 2011-05-18 智思博公司 多模态学习系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108780443A (zh) * 2016-03-11 2018-11-09 微软技术许可有限责任公司 对数字笔划群组的直观选择
CN106201264A (zh) * 2016-07-04 2016-12-07 北京小米移动软件有限公司 选择内容的方法及装置
CN108205936A (zh) * 2016-12-20 2018-06-26 上海谦问万答吧云计算科技有限公司 教师端答疑设备以及答疑系统
CN107193467A (zh) * 2017-04-11 2017-09-22 网易（杭州）网络有限公司 用于展示智能笔书写内容的方法及设备

Also Published As

Publication number Publication date
WO2012162415A3 (en) 2013-02-28
KR20140079749A (ko) 2014-06-27
EP2715493A4 (en) 2016-04-20
WO2012162415A2 (en) 2012-11-29
JP2014515512A (ja) 2014-06-30
CA2837093A1 (en) 2012-11-29
US20160154482A1 (en) 2016-06-02
EP2715493A2 (en) 2014-04-09
US20140347328A1 (en) 2014-11-27

Similar Documents

Publication Publication Date Title
CN104040469A (zh) 在基于笔的计算系统中的内容选择
US8374992B2 (en) Organization of user generated content captured by a smart pen computing system
CN102067153B (zh) 多模态学习系统
CN103927113B (zh) 便携式终端及在便携式终端中提供触觉效果的方法
US8427344B2 (en) System and method for recalling media
US9733792B2 (en) Spatially-aware projection pen
US20050281437A1 (en) Talking paper
JP2015522883A (ja) 手書きイメージ認識を用いたアプリケーションの制御方法及び装置
Steimle Pen-and-paper user interfaces: Integrating printed and digital documents
JP5813792B2 (ja) システムおよびデータ提供方法並びに電子機器
WO2021227628A1 (zh) 一种电子设备及其交互方法
KR101971161B1 (ko) 인쇄물용 분리된 애플리케이션
JP2017068406A (ja) 電子機器および方法
CN100392574C (zh) 终端装置、显示系统和显示方法
JP2022020703A (ja) 手書き装置および音声・手書き通信システム
JP4729879B2 (ja) 情報管理方法および情報管理装置
US20130033460A1 (en) Method of notetaking using optically imaging pen with source document referencing
CN108021311A (zh) 信息显示装置
CN110895440A (zh) 信息处理装置及记录介质
Zhang et al. Collaborative interaction for videos on mobile devices based on sketch gestures
JP2010154089A (ja) 会議システム
CN101334990A (zh) 信息显示设备、显示系统和信息显示方法
KR20200069114A (ko) 작가체학습단말기 및 시스템
CN110537164A (zh) 用于内容创建应用的增强的上墨能力
JP2015045945A (ja) 情報処理装置、プログラム及び情報処理システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140910