CN110383227A - 利用多用户交互式显示器改变触控笔的活跃用户 - Google Patents

利用多用户交互式显示器改变触控笔的活跃用户 Download PDF

Info

Publication number
CN110383227A
CN110383227A CN201880016120.7A CN201880016120A CN110383227A CN 110383227 A CN110383227 A CN 110383227A CN 201880016120 A CN201880016120 A CN 201880016120A CN 110383227 A CN110383227 A CN 110383227A
Authority
CN
China
Prior art keywords
user
stylus
display
change
active ues
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880016120.7A
Other languages
English (en)
Inventor
R·H·小贝格尔
G·R·维戈尼克
H·W·麦卡菲
C·克莱因
K·M·萨达希罗
A·P·马约
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110383227A publication Critical patent/CN110383227A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/043—Distributed expert systems; Blackboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0382—Plural input, i.e. interface arrangements in which a plurality of input device of the same type are in communication with a PC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

在多用户协作环境中，通过将触控笔从一个用户传递给另一个用户，能够发生操作系统状态改变。在检测到活跃用户的改变时，状态机转换能够导致用户体验的改变。在一个示例中，用户体验的改变包括用户界面(UI)功能的改变。一些示例包括：改变正在显示的数字墨水的颜色，改变手写模式，以及自动地切换在用户界面上所显示的视图。切换的视图能够从单用户模式切换到多用户模式。在另一示例中，状态机转换能够导致在与使用所述笔的用户相关联的设备(例如，电话或膝上型计算机)之间建立连接。

Description

利用多用户交互式显示器改变触控笔的活跃用户
背景技术
触笔或触控笔常常被用作与计算机屏幕、移动设备、图形输入板和其他设备相关联的数字转换器的输入设备。对于触摸屏设备，用户将触笔放置在屏幕的表面上，以通过在屏幕上点击触笔来书写、绘制或者进行选择。这样，除了鼠标、跟踪板或手指之外，触笔也被用作定点设备。
触控笔能够被用在协作环境中，诸如在也被称为交互式白板的多用户显示器上使用。交互式白板是一种大型数字显示器，其能够同时接收多个用户的输入。例如，用户能够在数字显示器上使用触控笔、触摸或者笔与触摸的组合与数据进行更自然的交互，这在常规白板上是不可能的。另外，在常规白板中，通常将记号笔从一个用户传递给另一用户，因为每个人使用记号笔轮流在白板上演示和书写。在用户之间的这样的交互尚未被集成到交互式白板的协作环境中。
发明内容
提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下文的具体实施方式中进一步描述。本发明内容并不旨在标识所要求保护的主题的关键特征或必要特征，也并不旨在用于限制所要求保护的主题的范围。
在一个实施例中，公开了一种用于与多用户显示器进行交互的方法。能够检测触控笔的第一用户已经将触控笔传递给第二用户。响应于笔传递，通过改变与所述多用户显示器相关联的功能来进行用户体验调整。例如，能够基于所述传递来修改用户界面(UI)行为。在一个示例中，UI能够从单用户模式转到共享模式(即，多用户模式)。在多用户模式中，能够打开新的应用窗口，其中，显示用户之间的共享内容。另一示例是能够修改UI交互模型，诸如如何启动应用、如何执行窗口等。一个示例是：在笔传递时，任何后续键盘条目被引导到共享应用窗口，而不是先前的用户界面上下文。
在其他实施例中，由于笔传递，能够自动地建立用户之间的关系。例如，能够在用户的个人设备之间自动地建立通信信道，诸如在用户的膝上型计算机或电话之间建立通信信道。还能够通过连接笔传递中所涉及的用户而在社交媒体上自动地建立关系。
在其他实施例中，所述笔传递能够影响在会议期间如何利用数字代理。例如，人工智能(AI)代理能够与会议环境中的其他用户不同地处理触控笔的活跃用户。一个简单的示例是：活跃用户能够被解读为对话的领导者，并且能够为活跃用户的议程项目、日历事件等给予比会议中的参与者高的优先级。
通过参考附图进行的以下详细描述，本发明的前述和其他目的、特征和优点将变得更加明显。
附图说明
图1是用户正在与多用户显示器进行交互的协作环境的图。
图2是其中多个用户与多用户显示器进行交互的图，其中，笔传递导致新应用窗口打开。
图3是与多用户显示器结合使用以接收触摸和触笔信号的数字转换器电路的示例。
图4是在触笔中所使用的示例性硬件电路。
图5是示出在具有多个硬件部件以辅助识别活跃用户的触笔中所使用的硬件电路的另外的细节的另一示例。
图6是示出多用户显示器的部件结合被耦合到多用户显示器的其他服务的示例性环境。
图7是响应于将触笔传递给不同的用户而打开具有共享内容的应用窗口的示例。
图8是示出第三方社交媒体网站能够如何结合笔传递使用的示例。
图9是示出能够如何响应于笔传递来修改用户界面交互模型的示例。
图10是根据一个实施例的用于响应于笔传递来调整多用户显示器的功能的流程图。
图11是根据另一实施例的用于响应于笔传递来调整多用户显示器的功能的流程图。
图12是能够被用于实施在本文中所描述的任意实施例的示例性计算系统。
具体实施方式
概述
在多用户协作环境中，能够简单地通过将触控笔从一个用户传递给另一用户来进行操作系统状态改变。在检测到活跃用户的改变时，状态机转换能够导致用户体验的改变。在一个示例中，用户体验的改变包括用户界面(UI)功能的改变。一些示例包括：改变正在显示的数字墨水的颜色，改变书写模式以使用户的书写更清晰(例如，一致或者以清晰的字体)，自动地切换在用户界面上显示的视图等。切换的视图能够从单用户模式切换到多用户模式。在另一示例中，状态机转换能够导致在与使用所述笔的用户相关联的设备(例如，电话或膝上型计算机)之间建立连接。例如，当发生笔传递时，能够影响哪些设备与多用户显示器的主操作系统共享。另外，笔传递能够导致用户之间的社交联网连接。在又一示例中，持有触控笔的人被认为是会话的领导者，并且数字代理(人工智能(AI)代理)能够向领导者提供提升的状态级别。例如，领导者可以指导在会议记录中采取的动作项，而会议中的其他人具有不同的状态级别。另外地或替代地，AI能够为持有触控笔的人、触控笔的过去持有者以及尚未使用触控笔的其他参与者建立不同的角色。下文结合附图进一步例示说明这些示例和其他示例。
图1示出了示例性交互式显示环境100。在这种情况下，所述环境包括交互式多用户数字显示器110。所述交互式多用户显示器是其中多个输入设备能够由不同的用户同时使用的显示器。例如，在这样的显示器中，能够同时地聚焦两个或更多个应用窗口(接受用户输入)。另外，所述多用户显示器能够针对同时在所述多用户显示器上工作的不同用户具有不同的登录。一个或多个用户(显示为用户A和用户B)能够使用多用户显示器110参与交互式体验。所述多用户显示器能够包括多用户交互式显示屏116、数字转换器硬件(未示出，但是在图3中进行了描述)和处理硬件(未示出，但是在图4和图5中进行了描述)以及多个传感器(诸如传感器120)。显示屏能够是各种屏幕中的任一种，其包括但不限于：发光二极管(LED)屏幕、液晶屏幕、电致发光屏幕、等离子屏幕和/或其他正在开发或尚待开发的显示器和屏幕类型。
传感器120能够包括一个或多个相机，其用于捕获所述多用户显示器前方的区域。所述相机能够被配置用于可见光、红外和/或其他频率。所述相机可以与辅助所述相机区分物体的红外模式投影仪结合操作。其他相机配置能够使用飞行时间或其他技术来增强由相机捕获的关于(一个或多个)用户和/或环境的信息。在一种实现方式中，传感器集合能够是由Microsoft.Corp.提供的品牌感测技术。另外，传感器120能够包括用于捕获与显示器110进行交互的语音的音频硬件。能够使用其他类型的传感器，诸如被集成到屏幕116中的压力传感器。任意数量的所需传感器能够被用于检测与所述多用户显示器的用户参与度，包括辅助检测何时发生笔传递并且辅助识别哪个用户是活跃用户。能够使用不同的检测级别来识别用户。例如，相机和语音识别能够被认为是低级别识别，而触控笔的指纹识别能够是用户的高级别识别。一旦已经检测到用户，传感器120的集合就能够跟踪用户相对于屏幕116的位置，并且能够跟踪移动以检测触控笔传递或者确定用户是否正在尝试用户命令，诸如在屏幕上书写、进行控制手势等。
环境100旨在表示会议环境。在这样的环境中，每个用户都能够将个人设备130、132带到会议中。在该示例中，个人设备130、132是膝上型计算机，但是其他移动设备也通常被带到会议，诸如移动电话134。这些个人设备130、132、134能够被用于将命令或内容输入到显示器110中或者辅助识别用户。对特定用户的识别能够通过从用户的个人设备发送的识别信号(诸如通过蓝牙或其他通信协议)来完成。这样的信号能够由传感器120、显示器110本身或者会议室内的其他设备(诸如AI前端150)来接收。所述AI前端能够与后端服务器计算机(未示出)结合使用，以执行基于云的功能，诸如进行会议记录、添加日历事件等。所述AI前端在下文在图6中进一步描述。
用户能够同时地并且使用多个输入设备与所述多用户显示器进行交互。例如，用户A被示为使用触控笔160，而用户B使用触摸命令输入数据，如在162处所示的。如下文进一步描述的，触控笔160和传感器120、150能够包括用于捕获与用户相关联的生物计量属性的许多硬件设备，所述生物计量属性包括但不限于：指纹(使用触笔中的指纹传感器)、面部成像(使用相机，诸如在传感器120中包括的相机)、语音识别(使用麦克风，诸如在AI语音识别150中包括的麦克风)，等等。因此，两个或更多个不同的传感器能够协作以提供用户的识别信息。度量(即，可测量)属性也能够被用于识别用户，包括抓握(触笔中的手指定位传感器)、压力(触笔中的压力传感器)、使用期间触笔的角度(触笔中的陀螺仪)、书写速度(触笔中的计时器)以及书写速度的变化(触笔中的加速度计)。通常，触控笔160与屏幕116下方的数字转换器通信，以将识别信息传输到在所述多用户显示器中运行的操作系统。其他信息，诸如相机数据，也能够被通信到操作系统。所述相机数据能够被用于辅助识别在使用期间的触笔的角度以及上述其他度量。
当如在162处所示检测到触摸命令时，能够使用指纹(和/或其他生物计量)分析来识别执行所述命令的用户。指纹分析还能够识别用户的哪个个体手指正在触摸屏幕以及手指的取向。该信息能够被用于分析两个用户是否同时地触摸板的区域并且手指取向能够指示哪个手指属于哪个用户。检测用户意指确定用户的存在，具有识别用户的任何不同程度的能力。因此，检测能够包括仅获知人的相对位置，而未获知人的实际身份，或者获知人的位置和身份，从而能够从数据库获得个人信息。
当触控笔160在用户A与用户B之间传递时，其指示用户之间的关系：是工作同事还是朋友。通过使用环境100中的任何上述传感器，包括传感器120和触控笔160，能够利用对关系的这样的识别。例如，操作系统能够检测到用户A的指纹在第一时段期间存在，以及用户B的指纹在第二时间段期间存在。因此，当检测到不同的用户持有触控笔160时，表明发生了笔传递。此时，操作系统能够改变状态，以便调整接收笔的用户和递送笔的用户之一或两者的用户体验。调整的用户体验能够包括在个人设备130、132或130、134之间建立通信信道。这样的通信信道能够通过蓝牙或其他无线通信信道或者通过网络通信信道来建立。调整用户体验还能够包括以某种方式改变UI，诸如如何启动新应用、打开新应用窗口、打开应用窗口的位置等。另外，AI语音识别150能够通过将优先级给予触控笔的活跃用户来调整其行为。因此，能够将来自会议的信息视为活跃用户是会议的领导者。领导者能够被给予优先级来设置议程项目、将会议排入日程、邀请其他团队成员等。其他行为调整能够包括向用户分发笔记、基于谁在发言而改变语言模型，等等。
图2示出了多用户显示器210，其中，用户A具有打开的应用窗口220并且正在使用触控笔230将数据输入到应用中。如在240处所指示的，用户A将触控笔230传递给用户B。多用户显示器210检测到用户B现在是触控笔230的活跃用户。结果，自动地打开新的应用窗口250，并且自动地显示与用户B相关联的用户内容。因此，作为改变触控笔230的活跃用户的结果，多用户显示器210调整与多用户显示器210的用户界面相关联的功能。与用户B相关联的其他功能能够包括自动地改变当用户B将数据写入到应用窗口250中时所显示的数字墨水颜色。其他数字墨水属性也能够改变，包括但不限于：墨水笔划的宽度、笔刷样式(例如，书法、压力吸墨、铅笔模式与钢笔模式、粗标记与圆珠笔，等等)。能够通过按钮动作映射来控制功能的其他示例性改变。功能的这样的调整能够被存储在用户简档中，作为在笔传递时发生的定制选项。对用户B的识别还能够导致多用户显示器获得与用户B相关联的简档数据，诸如笔迹模式，获知用户B是左利手还是右利手等。获知用户的笔迹模式允许所述系统以更一致的方式来显示用户的笔迹。因此，如果用户使字母比平常更加凌乱，则多用户显示器210能够改变所述字母，使得所述字母看起来像存储在用户的简档内的相同字母。了解用户是左利手还是右利手允许所述系统更好地解读输入到应用窗口中的手写数据。例如，对用户的手掌的检测是有用的，以便忽略手掌触摸多用户显示屏幕的位置。
示例性数字转换器
图3示出了能够被用于检测与所述多用户显示器相关联的触控笔信号的数字转换器电路。通常，所述数字转换器电路被直接定位在显示屏的后方，显示屏包括外玻璃。所述数字转换器将模拟信号转换为数字信号。例如，诸如在触摸屏上的按压或滑动的用户界面动作被转换为数字信号，以允许用户书写、擦除或移动在触摸屏上所显示的内容。所述触控笔通常包括用于写入内容的被称为触笔尖的第一端以及用于执行对内容的数字擦除的第二端。如下文进一步描述的，触控笔尖和/或擦除器端能够将信号传输到所述多用户显示器，以便作为用户输入设备来操作。当检测到所述触控笔时，其能够切换到多个候选协议中的一个候选协议，而无需来自用户的交互，以便与数字转换器进行通信。然后，所述触控笔能够动态地设置用于与数字转换器通信的协议，该协议匹配数字转换器所期望的协议。设置所述协议能够影响由触控笔生成的波形。例如，发送和接收时隙能够符合所选择的协议以及发送调制。最后，所述触控笔能够启用由所选择的协议或特定数字转换器所支持的部件。
图3示出了数字转换器电路300。数字转换器电路300包括多个电极，包括列电极310和行电极312。列位于行的上方，在其之间具有间隙，以便在每列与行之间形成电容。当手指或触笔与数字转换器的表面相接触时，在电极的列与行之间的电容改变。多个接收器电路320能够被用于感测变化的电容，其指示用户的手指或触笔在数字转换器上的位置。数字转换器300还包括多个发送器330，每行电极312有一个发送器，用于以扫描模式在电极上传输触摸信号。在列接收器320上接收所传输的触摸信号，以便检测电容的任何变化。当触控笔与数字转换器表面相接触时，列电极310还能够接收触控笔信号。能够基于哪个列电极310正在接收最强的触笔信号来确定所述触控笔的位置。
示例性触控笔电路
图4示出了能够被用于分析数字转换器的触摸信号的触控笔电路的第一实施例。触控笔电路400包括接收器电路410，其被配置为从被定位在所述触控笔附近的数字转换器(图3)接收模拟形式的无线触摸信号。模数转换器(ADC)420被耦合到接收器的输出，以便将模拟触摸信号转换为数字信号以供触笔电路400处理。ADC的输出被耦合到信号处理电路430，信号处理电路430包括处理器440(其能够是通用处理器、ASIC或微控制器)和任何所需的补充信号处理电路450。处理器440被耦合到补充信号处理电路450，使得处理器440能够接收与从所述数字转换器接收到的所述触摸信号的特性相关的各种不同数据。补充信号处理电路450还能够被直接耦合到接收器410，使得补充信号处理电路450能够直接处理经放大的信号而无需ADC。如下文进一步描述的，从ADC 420或接收器410接收到的特性能够涉及触摸信号的基于时间或基于频率的特性，包括所述触摸信号的上升时间、所述触摸信号的脉冲特性、所述触摸信号的频率特性等等。处理器440能够使用所选择的协议经由无线发送器470与所述数字转换器通信。通常，处理器440使用所述协议将数据(诸如与触笔相关的数据)发送到所述数字转换器。例如，与触笔相关的数据能够包括触笔的序列号、压力数据、触笔上的任何按钮的状态、电池电平数据以及惯性测量单元(IMU)数据。IMU能够被用于取回关于所述触控笔周围的力、角速率和磁场的数据。另外，IMU内的加速度计、陀螺仪和磁力计能够单独地使用。额外信息能够包括与识别用户相关联的信息，诸如下文关于图5进一步描述的度量或生物计量数据。
图5示出了来自图4的信号处理电路430的进一步的细节。为了清楚起见，重复了(来自图4的)接收器410和ADC 420。接收器410如先前所描述地从数字转换器接收触摸信号。那些触摸信号由ADC 420转换成数字。ADC的输出能够被提供给用于对所述触摸信号执行信号处理的多个不同的硬件和/或软件部件。例如，处理器440本身能够执行被示为由其他部件执行的一些或全部信号处理。其他部件能够被直接耦合到接收器410而不通过ADC。相关性引擎510被耦合到ADC 420的输出。相关性引擎510将在检测到的触摸信号之间的数据与存储在触控笔的存储器460中的签名相关。相关性引擎510能够执行各种相关性类型功能，诸如将在接收到的波形中的点与所存储的波形中的点进行比较，以便检测波形之间的相似性。如果相似性超过阈值水平511，则所述相关性引擎确定找到了匹配。阈值水平511能够基于常量或者能够由用户来编程。相关性函数执行点对点乘法并且将结果相加以生成相关性输出C。所述相关性函数的输出越高，两个函数相关的可能性越大。如果所述相关性函数的输出超过阈值水平511，则确定所述触摸信号与存储器中的签名匹配。
除了相关性引擎510之外或者作为相关性引擎的替代，能够使用快速傅立叶变换(FFT)引擎512。FFT引擎512从ADC 420接收触摸信号，并且对所述触摸信号执行频率分析。具体地，如下文进一步描述的，不同的制造商能够具有与其触摸信号相关联的不同频谱。例如，一些供应商可能使用不同的频率，这意指其各自的FFT将在不同的位置具有主导峰值。在一些情况下，FFT引擎还可以被用于区分在相同基频下操作的数字转换器，如果其谐波具有不同的幅度(例如，由于具有不同转换速率的驱动器)。FFT输出能够被传递到处理器440，处理器440能够将来自FFT引擎512的输出与存储于存储器460中的签名频率数据进行比较。基于该比较，能够进行对数字转换器的识别。
包络检测器516能够被耦合到接收器410的输出，以对输入触摸信号执行包络分析。包络检测器516能够跟踪输入触摸信号中的峰值，并且取决于时间常数能够跟踪一系列脉冲的个体峰值或者一系列脉冲的一般形状。包络检测器516的输出能够被传递到处理器440以供分析。具体地，所述处理器能够将由包络检测器516所确定的各种脉冲特性与在存储器460内所存储的脉冲特性进行比较。如果脉冲特性相匹配，则所述处理器能够使用存储器460来取回数字转换器的品牌和型号。具体地，存储器460内的数据记录能够存储数字转换器的品牌和型号以及与数字转换器相关联的签名数据，使得当签名相匹配时，能够取回品牌和型号。另外，相同的数据记录能够存储与协议相关联的信息以与数字转化器一起使用。所述信息能够是个体参数或配置设置。
脉冲串表征器520能够与相关性引擎510、快速傅里叶变换引擎512和包络检测器516并联地耦合到接收器410。脉冲串表征器520能够包括用于测量脉冲宽度、脉冲串长度和脉冲串时段的计时器和比较器。构成触摸信号的脉冲或脉冲组合的这样的特性能够被用作签名以检测生成所述触摸信号的数字转换器的类型。能够使用其他与脉冲相关的特性，诸如脉冲的数量、脉冲的幅度以及脉冲之间的间隙的长度。
所述信号处理电路还能够包括上升时间开始比较器530、上升时间结束比较器532以及计时器534。上升时间开始比较器530和上升时间结束比较器532被并联地耦合到接收器410以用于接收触摸信号。一旦接收到触摸信号的第一脉冲，所述上升时间开始比较器就启动计时器534，诸如在脉冲的上升沿。当脉冲达到其最大幅度时，上升时间结束比较器532关闭计时器534，使得所述计时器准确地反映与触摸信号相关联的脉冲的上升时间。计时器输出能够被耦合到处理器440，处理器440然后能够将上升时间与存储器460中所存储的上升时间进行比较。结果，所述上升时间表示能够与存储在存储器中的已知签名进行比较的触摸信号的签名，用于识别数字转换器的制造商、型号或配置。另外，这样的计时能够与用户的典型模式相关联，以便辅助识别用户。
使用这些各种信号处理部件中的一个、多个或全部部件，所述处理器能够识别哪个数字转换器生成了在接收器410上接收到的触摸信号。然后，所述处理器能够选择适合与检测到的数字转换器通信的协议，并且还能够启用触控笔上的电子部件550。所述电子部件能够是各种不同的部件和/或特征，其可以仅由特定协议或制造商支持，诸如蓝牙或触笔上的其他传感器。被耦合到电子部件550或者被并入到其中的是不同的硬件功能，其能够被用于识别触控笔的活跃用户。例如，指纹传感器560能够包括在触控笔的外部主体上的垫(未示出)。指纹传感器560用于以高度确定性来识别触控笔的用户。所述指纹传感器包括用于捕获指纹图案的数字图像的电子设备。能够对所捕获的图像(被称为实况扫描)进行数字处理，以生成用于图案匹配的生物计量模板。能够将已知用户的各种图案存储在存储器460中。
加速度计570能够被用于在触控笔在写入文字时在开始或停止时检测用户的特性。不同的用户通常以不同的速度开始和停止，允许加速度计辅助识别用户。(一个或多个)压力传感器572检测用户在持有触控笔时施加多大的力。同样，这样的压力感测能够辅助识别用户。手指位置传感器574能够被用于检测用户如何持有触控笔，诸如食指和拇指之间的距离。这样的特性能够被用作识别因素。最后，陀螺仪576能够被用于确定用户持笔的角度，这也是识别特性。使用一个或多个这样的识别电路，触控笔能够确定何时发生触控笔的传递。其他传感器能够单独地使用或者被集成到上文所描述的传感器中，诸如电容传感器、换能器和超声。例如，利用超声，连续波和脉冲超声信号两者都能够被用于确定触控笔的距离或位置。利用电容传感器，能够确定用户的手指位置。此外，能够确定用户的特定识别。识别信息或收集到的数据能够经由无线信号传递到所述多用户显示器，所述多用户显示器能够诸如通过网络访问额外的处理能力，从而能够进行识别。如果识别出了用户，则能够从网络获得简档信息并且将其用于解读用户的笔迹或者以其他方式执行与用户相关联的动作，诸如取回用于启动用户的应用或其他个人数据的数据。
示例性显示系统
图6图示了包括显示屏610的示例性显示系统600。所述显示屏能够是各种屏幕中的任一种，包括但不限于：发光二极管(LED)屏幕、液晶屏幕、电致发光屏幕、等离子屏幕和/或其他正在开发或尚未开发的显示器和屏幕类型。通常，显示屏610是用户利用手指或者利用触控笔触摸的外部玻璃片。与显示屏610的用户交互的电容效应能够由数字转换器620来捕获。如上所述，所述数字转换器包括多行和多列电极，其能够被用于检测触笔的电容效应。数字转换器620能够被用于将模拟信号转换为数字信号，以便捕获触控笔的位置。
处理器630能够被耦合到数字转换器620并且执行操作系统以用于控制显示系统。所述处理器能够是通用中央处理单元(CPU)、专用集成电路(ASIC)中的处理器或者任何其他类型的处理器。如在632处所示的，当显示屏610的活跃用户发生变化时，所述操作系统改变部分地在632处示出的状态机的状态。所述操作系统的状态改变导致调整所述多用户显示器的功能。如前文关于图1和图5所描述的，识别信号能够从各种电子部件(指纹传感器、加速度计、陀螺仪等)中的任一个发送，以便识别触控笔的活跃用户已经改变。在632处所示的示例中，所述操作系统能够由于笔传递而从单用户模式到多用户模式来改变状态。在本文中关于其他附图进一步描述了功能的其他改变。然而，在所有情况下，调整功能意指操作系统状态响应于笔传递而从一种状态转换到另一状态。因此，两个状态被示为更大状态机的最小示例。然后，在处理器630上执行的所述操作系统能够将显示数据传输到呈现引擎640，呈现引擎640在显示屏610上显示所述显示数据。
在处理器630上执行的所述操作系统还能够经由网络650与第三方服务660通信。网络650能够是任何类型和/或形式的网络，并且可以包括以下中的任一种：点到点网络，广播，局域网或广域网，电信或数据通信网络，计算机网络，ATM(异步传输模式)网络，SDH(同步数字系列)网络，SONET(同步光纤网络)网络，无线网络和有线网络。网络还能够包括无线链路，诸如卫星频带或红外信道。
第三方服务660能够是例如社交网络，诸如社交联网网站。如果操作系统检测到活跃用户的改变，则所述操作系统能够发送请求以建立在触控笔的活跃用户与触控笔的先前活跃用户之间的关系。例如，因为两个用户正在使用相同的显示屏610进行通信并且他们正在共享触控笔，所以操作系统假定用户是同事或朋友。在一些实施例中，触控笔能够为新的活跃用户和先前的活跃用户提供识别符。所述识别符能够与访问针对第三方服务的令牌(例如，针对的OAuth2令牌等)的特定于用户的数据存储634相关。能够基于显式用户授权在数据库中填充令牌以访问第三方服务。令牌与用户识别符相关联。通过获知在传递交互中所涉及的两个身份，检测到触控笔的传递导致代表两个用户之一向第三方服务的API请求(例如，对REST API的HTTP请求)以使用相关的访问令牌“连接”用户。连接用户包括与每个用户的账户相关联的内容能够与其他用户共享。然后，第三方服务能够跟踪人员之间的交互，以用于销售、联网、关系管理等。
能够利用基于企业的服务或本地(在系统上)服务来替换第三方服务。示例性本地服务能够是共享设备在当前用户是活跃用户时预缓存另一用户的内容(基于其交互历史)。对于企业服务，企业能够智能地了解其员工彼此的交互方式，并且在给定一些交互历史的情况下推断出工作绩效度量。
所述操作系统还能够通过网络耦合到例如AI语音识别引擎670。引擎670能够与后端AI服务器680通信以辅助识别语音模式和语音命令，以便识别会议中哪个用户正在发言并且对能够实施的动作项做出明智的决定。所述操作系统能够将用户识别符传递给与所述系统的最近活跃用户相关联的引擎670。然后，后端AI服务器680能够使用所述识别符来确定哪个用户是活跃用户。当涉及到动作项和设置排入日程的会议时，能够给予所确定出的活跃用户更高的状态。
从单用户模式切换到多用户模式
图7示出了多用户显示器700，其中，两个用户(用户A和用户B)先前在所述多用户显示器上在应用窗口710和720中同时地交互。在726处指示的时间点，触控笔728被从用户A移交给用户B。结果，所述操作系统检测到笔传递发生，以便将活跃用户从用户A切换到用户B。这样的检测是由于操作系统从触控笔728接收到识别信号而发生的，所述识别信号指示用户A在第一时间段期间使用笔，然后所述操作系统接收指示用户B现在控制触控笔728的识别信号。作为响应，所述操作系统能够在其中包括共享内容的多用户显示器700的中间内的位置处自动地启动共享应用730，所述共享内容诸如是与用户A相关联的内容和与用户B相关联的内容。例如，来自应用窗口710的一些内容和来自应用窗口720的一些内容被移动到共享应用窗口730中。因此，所述操作系统通过响应于活跃用户的改变自动地切换用户界面视图来调整多用户显示器的功能。通过改变用户界面视图，意指能够打开和移动所述应用窗口以便适应从单用户模式到多用户模式的改变。例如，当打开新的应用窗口730时，应用窗口710可以向右移动以便容纳新的窗口730。同样地，应用窗口720可以向左移动以便在应用窗口720与710之间打开间隙，其足以显示应用窗口730。通常，应用窗口730将在用户A和用户B先前与多用户显示器进行接口之间的某处打开。
应用窗口730包括共享内容。在所图示的实施例中，所述共享内容包括与用户A相关联的内容以及与用户B相关联的内容。这样的内容能够从与每个用户相关联的打开的应用或者与每个用户相关联的存储的内容导出。具体地，用户A和用户B各自分别登录到多用户显示器，并且每个用户对存储的信息具有不同的访问权限。这样的存储的信息能够由所述多用户显示器的操作系统取回并且被呈现在共享应用窗口730中。在一些方面，所述多用户显示器能够被认为是运行用户A和用户B都登录到的不同虚拟计算机的同一显示屏幕。然而，当发生笔传递时，所述系统自动地切换到共享模式，其中，这两个用户都登录到运行共享应用窗口730的同一虚拟计算机。另外，在笔传递726之前，多个应用窗口710、720在焦点内，但是笔传递切换所述视图，使得应用窗口710和720从焦点移除，并且应用窗口730被放置在焦点内。来自用户A或用户B(来自个人设备)的键盘条目随后能够直接进入到共享内容窗口730中。因此，在用户A和用户B共享其中多个应用同时运行并且在聚焦中的应用画布的情况下，考虑到在多用户显示器700中显示的内容，触控笔728传递触发改变。视图的改变能够导致针对用户输入的规则的改变(到共享的应用窗口中的这两个用户输入)、登录状态的改变(两个用户都登录到执行共享应用730的虚拟计算机)以及用户显示器上的外观和感觉的改变，作为自动打开的新的应用窗口。外观和感觉的改变的一个示例是新应用730能够被打开作为全屏窗口以适应共享方面。因此，在单用户模式下，能够打开较小的应用窗口，但是在共享的多用户模式中，能够打开较大的应用窗口，并且可以通过简单地将触控笔递给不同的用户而自动地从单用户模式切换到多用户模式。
由于笔传递而在用户之间建立关系
图8图示了响应于笔传递来建立第三方关系。建立关系意指用户能够至少电子地共享内容，诸如通过通信信道或者使用第三方网站。在一些上下文中，在用户A与用户B之间的笔传递能够导致在多用户显示器800的上下文的外部建立这些用户之间的关系。先前已经相对于图1进行了描述，笔传递能够导致在用户的个人设备之间建立通信信道。例如，能够在用户的膝上型计算机或智能电话之间建立通信信道。然而，也能够在第三方网站上在用户之间建立关系。例如，与多用户显示器800相关联的处理器810能够检测触控笔的活跃用户的变化，并且对应地从与第三方服务相关联的数据库820中取回访问令牌。然后，处理器810能够生成针对第三方网站830的包括用户A和用户B的令牌的API。所述API能够请求在用户A与用户B之间建立连接，使得用户通过第三方社交媒体网站共享内容。
在特定实施例中，触控笔840提供针对新活跃用户和先前活跃用户的识别符。所述识别符能够与针对第三方服务的访问令牌(例如，针对的OAuth2令牌等)的用户特定数据存储820相关。能够基于显式用户授权而在数据库中填充令牌以访问第三方服务。通过获知传递交互中所涉及的两个身份，检测到触控笔的传递导致代表两个用户之一向第三方服务的API请求(例如，对REST API的HTTP请求)以使用相关访问令牌来“连接”用户。然后，第三方服务能够跟踪人员之间的交互，以用于销售、联网、关系管理等。
能够利用基于企业的服务或本地(在系统上的)服务来替换第三方服务。示例性本地服务能够是：共享设备在当前用户是活跃用户时预缓存另一用户的内容(基于其交互历史)。对于企业服务，企业能够智能地理解其员工彼此的交互方式，并且在给定一些交互历史的情况下推断出工作绩效度量。因此，能够跟踪员工之间的协作，并且将其用于绩效测量以确定协作如何影响生产力。诸如通过笔传递指示的协作能够是跟踪两个或更多个一起工作的人的更有效的方法。其他技术(诸如跟踪会议出席(或者其他可用度量))可能不如跟踪笔传递有效。例如，笔传递指示用户之间的主动协作，而与多人在会议中是基于位置的度量，并不一定意指人们一起工作。
选择哪些第三方站点能够基于笔传递的位置。例如，处理器810能够基于GPS坐标来确定多用户显示器800位于工作位置。这样，第三方网站能够是商业网络站点。在另一方面，如果多用户显示器位于社交位置，诸如餐馆、酒吧、度假村等，则第三方网站能够是社交网站。因此，处理器810能够基于多用户显示器的位置来选择多个第三方站点中的一个。
基于笔传递来改变用户界面视图
图9图示了能够如何因为笔传递来修改用户界面。图9中的多用户显示器900的顶视图图示了在从用户A到用户B的笔传递之前的用户界面906。用户A被示为在应用窗口910中工作，应用窗口910是在笔912的传递之前在焦点中的应用。当用户A将笔912传递给用户B时，用户界面的视图改变。能够在多用户显示器900的底视图中看到用户界面906的改变。具体地，应用窗口910在用户界面906上向右移动，以便在多用户显示器上为用户B提供空间。在一些实施例中，应用窗口910能够保持在焦点中，使得用户A能够继续将数据输入到应用中。另外，为用户B打开新的应用窗口920，其也能够与应用窗口910同时在焦点中。因此，作为笔传递的结果(将用户输入触控笔从一个人转移到另一个人)，用户界面视图能够被修改。例如，能够向右或向左移动应用窗口，并且能够打开新的应用窗口以适应新的活跃用户。因此，切换所述用户界面视图能够意指以下中的任一项：打开新的应用窗口，移动应用窗口，或者改变在焦点中的应用。
还可以发生其他UI改变。例如，能够将用户的识别数据传递给应用，并且应用能够使用所述识别信息来获得针对用户的存储偏好。示例性偏好能够包括布局设置、显示设置、语言偏好、浏览器设置、桌面设置等。
基于笔传递的与多用户显示器进行交互的方法
图10是与多用户显示器进行交互的方法的流程图。在处理框1010中，检测触控笔的第一用户。通过检测，意指进行某种级别的识别以消除一个用户与另一个用户的歧义。这样的检测能够通过在本文中所描述的任何电子部件来完成，诸如指纹传感器560(图5)、加速度计570、压力传感器572、手指位置传感器574和/或陀螺仪576。额外的相机和语音传感器也能够用于识别。能够使用不同级别的识别来检测第一用户。例如，获知用户写入的角度或者用户在写入时施加的压力的过去历史能够用作低保真度识别。还能够使用更高保真度的识别，诸如通过指纹分析，其导致用于识别用户的高度确定性。一旦检测到用户的识别，就能够周期性地检查并且将其传输到多用户显示器中的处理器。以这种方式，所述多用户显示器能够跟踪触控笔的用户。一种示例性检测方法能够包括所述操作系统从触控笔读取所有上文识别出的传感器并且确定哪些传感器包括识别信息。然后，所述操作系统能够将权重应用于不同的输入，以便识别具有变化程度级别的用户。例如，能够将最高权重给予有效指纹，而将较低权重给予相机数据。
在处理框1020中，能够检测触控笔被传递给第二用户。一旦第二用户开始使用所述笔，则由所述触控笔捕获的识别信息根据第二用户而改变。然后，所述触控笔可以将新的识别信息传输到所述多用户显示器内的处理器。然后，与所述多用户显示器相关联的操作系统能够基于对触控笔的活跃用户的改变的这种检测来切换状态。所述操作系统的改变状态导致响应于活跃用户的改变而调整与所述多用户显示器相关联的功能。所述操作系统能够维护所述触控笔的用户列表，包括哪个用户是活跃用户、活跃用户是当前使用触控笔将数据输入到多用户显示器的用户。所述用户列表能够被存储在操作系统可访问的存储器中，诸如在运行操作系统的处理器内的存储器或外部存储器。
在处理框1030中，响应于触控笔的活跃用户的改变来调整所述多用户显示器的功能。调整所述功能意指与所述多用户显示器相关联的用户体验发生变化。调整所述功能包括能够在所述多用户显示器中改变的各种不同功能中的任意功能。在本文中已经描述了一些示例，并且包括响应于活跃用户的改变而自动地切换所述多用户显示器的用户界面视图。改变用户界面的视图能够包括移动应用窗口或者打开新的应用窗口。调整所述功能还能够包括打开包括在第一用户与第二用户之间的共享内容的用户界面窗口。新的用户界面窗口能够具有与用户界面上的其他打开的窗口不同的相关联的许可。例如，能够认为多个用户登录到新的界面窗口，而其他窗口仅许可单个用户。功能的其他调整包括在第一用户与第二用户之间自动地建立关系。建立所述关系能够包括在第三方社交联网网站上连接第一用户和第二用户或者在第一用户与第二用户的个人设备之间建立联网连接。建立关系还能够包括在用户之间建立信任关系，这会影响功能，诸如允许内容在用户之间传递。调整所述功能还能够包括基于活跃用户来改变AI系统的功能。人工智能系统的这样的调整包括执行语音识别并且将来自活跃用户的命令视为与来自其他用户的命令具有不同的优先级(例如，更高的优先级)。还能够进行所述多用户界面的其他调整。
图11是根据另一实施例的用于与多用户显示器进行交互的方法的流程图。在处理框1110中，从识别第一用户的触控笔接收输入数据。在该示例中，所述触控笔能够无线地传输关于活跃用户所获得的识别信息。如先前所讨论的，能够使用所述触控笔上可用的各种硬件部件来获得识别信息。在处理框1120中，能够从触控笔接收识别不同于第一用户的第二用户的输入数据。对第二用户的识别在时间上接近于(例如，小于1分钟)接收到第一用户的识别信息指示发生了笔传递。在处理框1130中，响应于活跃用户的改变，能够修改所述多用户显示器的功能。修改所述功能包括改变与所述多用户显示器相关联的用户体验。这样的经修改的功能包括从单用户模式切换到多用户模式。其他经修改的功能能够包括修改在所述多用户显示器上显示的UI视图。在本文中已经描述了功能的其他调整。
计算系统
图12描绘了其中可以实施所描述的本发明的合适的计算系统1200的一般化示例。计算系统1200并不旨在对使用或功能的范围提出任何限制，因为本发明可以在不同的通用或专用计算系统中实施。计算系统1200能够用作多用户显示器。
参考图12，计算系统1200包括一个或多个处理单元1210、1215和存储器1220、1225。在图12中，该基本配置1230包含于虚线内。处理单元1210、1215执行计算机可执行指令。处理单元能够是通用中央处理单元(CPU)、专用集成电路(ASIC)中的处理器或者任何其他类型的处理器。在多处理系统中，多个处理单元执行计算机可执行指令以增加处理能力。例如，图12示出了中央处理单元1210以及图形处理单元或协处理单元1215。有形存储器1220、1225可以是易失性存储器(例如，寄存器、高速缓存、RAM)、非易失性存储器(例如，ROM、EEPROM、闪存等)或者这两者的某种组合，其能由(一个或多个)处理单元访问。存储器1220、1225以适于由(一个或多个)处理单元执行的计算机可执行指令的形式来存储实施在本文中所描述的一个或多个创新的软件1280。
计算系统可以具有额外特征。例如，计算系统1200包括存储装置1240，一个或多个输入设备1250，一个或多个输出设备1260，以及一个或多个通信连接1270。互连机制(未示出)(诸如总线、控制器或网络)互连计算系统1200的各部件。通常，操作系统软件(未示出)为在计算系统1200中执行的其他软件提供操作环境，并且协调计算系统1200的各部件的活动。
有形存储装置1240可以是可移除的或不可移除的，并且包括磁盘、磁带或盒、CD-ROM、DVD，或者能够用于存储信息并且能够在计算系统1200内访问的任何其他介质。存储设备1240存储用于实施在本文中所描述的一个或多个创新的软件1280的指令。
(一个或多个)输入设备1250可以是诸如键盘、鼠标、笔或轨迹球的触摸输入设备，语音输入设备，扫描设备，或者向计算系统1200提供输入的另一设备。在本文中所描述的特定实施例中，触控笔能够用作输入设备。对于视频编码，(一个或多个)输入设备1250可以是相机、视频卡、TV调谐器卡，或者接受模拟或数字形式的视频输入的类似设备，或者是将视频样本读入到计算系统1200中的CD-ROM或CD-RW。(一个或多个)输出设备1260可以是显示器、打印机、扬声器、CD刻录机，或者是提供来自计算系统1200的输出的另一设备。
(一个或多个)通信连接1270使得能够通过通信介质与另一计算实体进行通信。所述通信介质在经调制的数据信号中传达诸如计算机可执行指令、音频或视频输入或输出之类的信息或者其他数据。经调制的数据信号是以对信号中的信息进行编码的方式而设置或改变其一个或多个特性的信号。通过示例而非限制，通信介质能够使用电、光、RF或其他载体。
能够在计算机可执行指令的一般上下文中描述本创新，诸如在程序模块中包括的那些，其在目标真实或虚拟处理器上的计算系统中执行。通常，程序模块包括执行特定任务或实施特定抽象数据类型的例程、程序、库、对象、类、组成、数据结构等。在各种实施例中，可以根据需要在程序模块之间组合或分割程序模块的功能。用于程序模块的计算机可执行指令可以在本地或分布式计算系统内执行。
术语“系统”和“设备”在本文中可互换使用。除非上下文另有明确说明，否则这两个术语都不意味着对计算系统或计算设备的类型进行任何限制。通常，计算系统或计算设备可以是本地的或分布式的，并且能够包括专用硬件和/或通用硬件与实施在本文中所描述的功能的软件的任何组合。
出于介绍的目的，详细描述使用如“确定”和“使用”的术语来描述计算系统中的计算机操作。这些术语是针对计算机执行的操作的高级抽象，而不应当与人类执行的动作混淆。对应于这些术语的实际计算机操作根据实现方式而变化。
尽管为了方便介绍以特定的顺序次序描述了一些所公开方法的操作，但是应当理解，这种描述方式涵盖重新排列，除非下文阐述的特定语言需要特定排序。例如，在某些情况下，顺序描述的操作可以重新排列或者同时地执行。此外，为了简单起见，附图可能未示出所公开的方法可以与其他方法结合使用的各种方式。
任何所公开的方法能够被实施为存储在一个或多个计算机可读存储介质(例如，一个或多个光学介质盘、易失性存储器部件(诸如DRAM或SRAM)或非易失性存储器部件(诸如闪存或硬盘驱动器))上并且在计算机(例如，任何商用计算机，包括智能电话或者包括计算硬件的其他移动设备)上执行的计算机可执行指令。术语“计算机可读存储介质”不包括通信连接，诸如信号和载波。用于实施所公开的技术的任何计算机可执行指令以及在所公开的实施例的实施期间创建和使用的任何数据能够被存储在一个或多个计算机可读存储介质上。计算机可执行指令能够是例如专用软件应用或经由网络浏览器或其他软件应用(诸如远程计算应用)访问或下载的软件应用的一部分。这样的软件能够例如在单个本地计算机(例如，任何合适的商用计算机)上或者使用一个或多个网络计算机在网络环境中(例如，经由互联网、广域网、局域网、客户端-服务器网络(诸如云计算网络)或其他这样的网络)执行。
为清楚起见，仅描述了基于软件的实现方式的某些选定方面。省略了本领域公知的其他细节。例如，应当理解，所公开的技术并不限于任何特定的计算机语言或程序。例如，所公开的技术能够通过以C++、Java、Perl或任何其他合适的编程语言编写的软件来实施。同样地，所公开的技术并不限于任何特定计算机或硬件类型。合适的计算机和硬件的某些细节是众所周知的，而不需要在本公开中详细阐述。
还应当很好地理解，在本文中所描述的任何功能能够至少部分地由一个或多个硬件逻辑部件而不是软件来执行。例如但并非限制，能够使用的说明性类型的硬件逻辑部件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。
此外，能够通过合适的通信单元来上传、下载或远程访问任何基于软件的实施例(包括例如，用于使计算机执行任何所公开的方法的计算机可执行指令)。这样的合适的通信单元包括例如：互联网、万维网、内联网、软件应用、线缆(包括光纤线缆)、磁通信、电磁通信(包括RF、微波和红外通信)、电子通信或者其他这样的通信方式。
替代实施例
其他实施例能够从以下编号的段落中导出。
1、一种与多用户显示器进行交互的方法，包括：
使用所述多用户显示器来检测触控笔的第一用户；
检测到所述触控笔被传递给第二用户以改变所述触控笔的活跃用户；以及
响应于所述触控笔的所述活跃用户的改变而调整与所述多用户显示器相关联的功能。
2、根据段落1所述的方法，其中，调整所述功能包括：响应于所述活跃用户的所述改变而自动地切换所述多用户显示器的用户界面视图。
3、根据段落1或2所述的方法，其中，用户界面窗口具有涉及所述第一用户和所述第二用户的共享上下文。
4、根据段落3所述的方法，其中，所述用户界面窗口在所述第一用户与所述第二用户之间共享内容。
5、根据段落1-3所述的方法，其中，调整所述功能包括：在所述第一用户与所述第二用户之间建立关系。
6、根据段落5所述的方法，其中，建立所述关系包括：在第三方社交联网网站上自动地连接所述第一用户和所述第二用户。
7、根据段落5所述的方法，其中，建立所述关系包括：在所述第一用户的个人设备与所述第二用户的个人设备之间建立联网连接或信任关系。
8、根据段落1-5所述的方法，其中，调整所述功能包括：基于所述活跃用户来改变人工智能系统的功能。
9、根据段落8所述的方法，其中，调整所述功能包括：执行语音识别，并且与来自其他用户的命令不同地处理来自所述活跃用户的命令。
10、根据段落8所述的方法，其中，调整所述功能包括：响应于所述触控笔的所述活跃用户的所述改变而改变操作系统状态。
11、一种显示系统，包括：
多用户交互式显示屏；
处理器，其用于从所述多用户交互式显示屏以及从触控笔接收与所述触控笔的当前活跃用户相关联的输入数据；
与所述处理器相耦合或者在所述处理器内的存储器；
所述处理器用于执行一种方法，所述方法包括：
在第一时间点检测所述触控笔的第一用户；
在第二时间点检测所述触控笔的第二用户，表明所述触控笔的活跃用户从所述第一用户改变到所述第二用户；
响应于所述触控笔的所述活跃用户的改变而修改所述显示系统的所述功能。
12、根据段落11所述的显示系统，其中，检测所述第一用户包括检测与所述第一用户相关联的识别信息，并且检测所述第二用户包括检测与所述第二用户相关联的识别信息。
13、根据段落11-12所述的显示系统，其中，修改所述功能包括：修改与所述活跃用户相关联的数字墨水颜色。
14、根据段落11-13所述的显示系统，其中，修改所述功能包括：使用与所述活跃用户相关联的简档信息来修改与所述活跃用户的笔迹相关联的手写模式，以使所述笔迹看起来更一致。
15、根据段落11-14所述的显示系统，其中，修改所述功能包括：切换用户界面以显示共享的应用窗口，所述共享的应用窗口包括来自所述第一用户的内容和来自所述第二用户的内容。
鉴于可以应用所公开的发明的原理的许多可能的实施例，应当认识到，所图示的实施例仅仅是本发明的优选示例，而不应当被视为限制本发明的范围。相反，本发明的范围由以下权利要求来限定。因此，我们声称我们的发明全部符合这些权利要求的范围。

Claims (15)

1.一种与多用户显示器进行交互的方法，包括：
使用所述多用户显示器来检测触控笔的第一用户；
检测到所述触控笔被传递给第二用户以改变所述触控笔的活跃用户；以及
响应于所述触控笔的所述活跃用户的所述改变而调整与所述多用户显示器相关联的功能。
2.根据权利要求1所述的方法，其中，调整所述功能包括：响应于所述活跃用户的所述改变而自动地切换所述多用户显示器的用户界面视图。
3.根据权利要求1或2所述的方法，其中，用户界面窗口具有涉及所述第一用户和所述第二用户的共享上下文。
4.根据权利要求3所述的方法，其中，所述用户界面窗口在所述第一用户与所述第二用户之间共享内容。
5.根据权利要求1-3所述的方法，其中，调整所述功能包括：在所述第一用户与所述第二用户之间建立关系。
6.根据权利要求5所述的方法，其中，建立所述关系包括：在第三方社交联网网站上自动地连接所述第一用户和所述第二用户。
7.根据权利要求5所述的方法，其中，建立所述关系包括：在所述第一用户的个人设备与所述第二用户的个人设备之间建立联网连接或信任关系。
8.根据权利要求1-5所述的方法，其中，调整所述功能包括：基于所述活跃用户来改变人工智能系统的功能。
9.根据权利要求8所述的方法，其中，调整所述功能包括：执行语音识别，并且与来自其他用户的命令不同地处理来自所述活跃用户的命令。
10.根据权利要求8所述的方法，其中，调整所述功能包括：响应于所述触控笔的所述活跃用户的所述改变而改变操作系统状态。
11.一种显示系统，包括：
多用户交互式显示屏；
处理器，其用于从所述多用户交互式显示屏以及从触控笔接收与所述触控笔的当前活跃用户相关联的输入数据；
与所述处理器相耦合或者在所述处理器内的存储器；
所述处理器用于执行一种方法，所述方法包括：
在第一时间点检测所述触控笔的第一用户；
在第二时间点检测所述触控笔的第二用户，表明所述触控笔的活跃用户从所述第一用户改变到所述第二用户；
响应于所述触控笔的所述活跃用户的所述改变而修改所述显示系统的功能。
12.根据权利要求11所述的显示系统，其中，检测所述第一用户包括检测与所述第一用户相关联的识别信息，并且检测所述第二用户包括检测与所述第二用户相关联的识别信息。
13.根据权利要求11-12所述的显示系统，其中，修改所述功能包括：修改与所述活跃用户相关联的数字墨水颜色。
14.根据权利要求11-13所述的显示系统，其中，修改所述功能包括：使用与所述活跃用户相关联的简档信息来修改与所述活跃用户的笔迹相关联的笔迹模式，以使所述笔迹看起来更一致。
15.根据权利要求11-14所述的显示系统，其中，修改所述功能包括：切换用户界面以显示共享应用窗口，所述共享应用窗口包括来自所述第一用户的内容和来自所述第二用户的内容。
CN201880016120.7A 2017-03-06 2018-02-23 利用多用户交互式显示器改变触控笔的活跃用户 Pending CN110383227A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/451,115 US10877575B2 (en) 2017-03-06 2017-03-06 Change of active user of a stylus pen with a multi user-interactive display
US15/451,115 2017-03-06
PCT/US2018/019553 WO2018164862A1 (en) 2017-03-06 2018-02-23 Change of active user of a stylus pen with a multi-user interactive display

Publications (1)

Publication Number Publication Date
CN110383227A true CN110383227A (zh) 2019-10-25

Family

ID=61628470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880016120.7A Pending CN110383227A (zh) 2017-03-06 2018-02-23 利用多用户交互式显示器改变触控笔的活跃用户

Country Status (4)

Country Link
US (1) US10877575B2 (zh)
EP (1) EP3593232A1 (zh)
CN (1) CN110383227A (zh)
WO (1) WO2018164862A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993059A (zh) * 2019-03-01 2019-07-09 清华大学 智能电子设备上基于单摄像头的双目视觉与物体识别技术
CN116229472A (zh) * 2023-05-11 2023-06-06 深圳棒棒帮科技有限公司 一种智能笔、书写信息采集系统及批改处理系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10742757B2 (en) * 2017-12-07 2020-08-11 Oath Inc. Automated network account transfers based on determined inactivity
JP6915532B2 (ja) * 2017-12-28 2021-08-04 富士通株式会社 情報処理装置、情報共有システムおよび同期制御方法
US20190386840A1 (en) * 2018-06-18 2019-12-19 Cisco Technology, Inc. Collaboration systems with automatic command implementation capabilities
US10783226B2 (en) * 2018-09-04 2020-09-22 Dell Products L.P. System and method of utilizing a stylus
CN110908504B (zh) * 2019-10-10 2021-03-23 浙江大学 一种增强现实博物馆协作交互方法与系统
US20210133269A1 (en) * 2019-10-31 2021-05-06 Microstrategy Incorporated Systems and methods for analytics presentation on large displays
US11042230B2 (en) 2019-11-06 2021-06-22 International Business Machines Corporation Cognitive stylus with sensors
US11733830B2 (en) * 2019-11-20 2023-08-22 Ricoh Company, Ltd. Display apparatus for displaying handwritten data with displayed operation menu
US20220391028A1 (en) * 2021-06-08 2022-12-08 Microsoft Technology Licensing, Llc User input interpretation via driver parameters
CN113970971B (zh) * 2021-09-10 2022-10-04 荣耀终端有限公司 基于触控笔的数据处理方法和装置
US11726570B2 (en) 2021-09-15 2023-08-15 Hewlett-Packard Development Company, L.P. Surface classifications
US20230315271A1 (en) * 2022-03-18 2023-10-05 Sony Group Corporation Collaborative whiteboard for meetings

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050024346A1 (en) * 2003-07-30 2005-02-03 Jean-Luc Dupraz Digital pen function control
US20140253467A1 (en) * 2013-03-11 2014-09-11 Barnesandnoble.Com Llc Stylus-based user data storage and access
US20150002482A1 (en) * 2013-06-28 2015-01-01 Research In Motion Limited Method and Apparatus Pertaining to Switching Stylus Transmissions Between Stylus-Modality Signals and Non-Stylus-Modality Signals
US20150363034A1 (en) * 2014-06-12 2015-12-17 Microsoft Corporation Multi-device multi-user sensor correlation for pen and computing device interaction
CN106462341A (zh) * 2014-06-12 2017-02-22 微软技术许可有限责任公司 用于笔和触敏计算设备交互的传感器相关

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307956B1 (en) 1998-04-07 2001-10-23 Gerald R. Black Writing implement for identity verification system
US7961917B2 (en) * 1999-02-10 2011-06-14 Pen-One, Inc. Method for identity verification
US7609862B2 (en) 2000-01-24 2009-10-27 Pen-One Inc. Method for identity verification
US7499027B2 (en) * 2005-04-29 2009-03-03 Microsoft Corporation Using a light pointer for input on an interactive display surface
GB2456247B (en) * 2006-10-10 2009-12-09 Promethean Ltd Interactive display system with master/slave pointing devices
US9092129B2 (en) * 2010-03-17 2015-07-28 Logitech Europe S.A. System and method for capturing hand annotations
US8775958B2 (en) * 2010-04-14 2014-07-08 Microsoft Corporation Assigning Z-order to user interface elements
US9201520B2 (en) * 2011-02-11 2015-12-01 Microsoft Technology Licensing, Llc Motion and context sharing for pen-based computing inputs
US20120229428A1 (en) * 2011-03-08 2012-09-13 Boardshare, Inc. Portable and interactive presentation and documentation system
US20130017525A1 (en) * 2011-07-11 2013-01-17 Learning Center Of The Future, Inc. Method and apparatus for scoring a learning session
US20130017526A1 (en) * 2011-07-11 2013-01-17 Learning Center Of The Future, Inc. Method and apparatus for sharing a tablet computer during a learning session
US8842057B2 (en) * 2011-09-27 2014-09-23 Z124 Detail on triggers: transitional states
US9164579B2 (en) * 2011-11-15 2015-10-20 Lg Electronics Inc. Electronic device for granting authority based on context awareness information
US20130181953A1 (en) 2012-01-13 2013-07-18 Microsoft Corporation Stylus computing environment
US20130311482A1 (en) * 2012-05-17 2013-11-21 Tagged, Inc. Multi-user timeline for facilitating social discovery in social networking environments
WO2014066621A2 (en) 2012-10-26 2014-05-01 Livescribe Inc. Establishing and maintaining an authenticated connection between a smart pen and a computing device
US9575712B2 (en) * 2012-11-28 2017-02-21 Microsoft Technology Licensing, Llc Interactive whiteboard sharing
US9128552B2 (en) * 2013-07-17 2015-09-08 Lenovo (Singapore) Pte. Ltd. Organizing display data on a multiuser display
US9223340B2 (en) * 2013-08-14 2015-12-29 Lenovo (Singapore) Pte. Ltd. Organizing display data on a multiuser display
US20150062448A1 (en) * 2013-08-30 2015-03-05 Arvind S. Touch screen displays
US9268928B2 (en) 2014-04-06 2016-02-23 International Business Machines Corporation Smart pen system to restrict access to security sensitive devices while continuously authenticating the user
US20160098162A1 (en) * 2014-10-06 2016-04-07 Lenovo (Singapore) Pte. Ltd. Pen based locking mechanism
US10095396B2 (en) * 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10838502B2 (en) * 2016-03-29 2020-11-17 Microsoft Technology Licensing, Llc Sharing across environments
US10521107B2 (en) * 2016-09-24 2019-12-31 Apple Inc. Devices, methods, and graphical user interfaces for selecting and interacting with different device modes
KR102460472B1 (ko) * 2016-12-30 2022-11-01 엘지디스플레이 주식회사 터치 센싱 시스템, 디스플레이 디바이스, 액티브 펜 및 펜 인식 방법
US10534464B2 (en) * 2017-10-03 2020-01-14 Microsoft Technology Licensing, Llc Selective scanning for touch-sensitive display device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050024346A1 (en) * 2003-07-30 2005-02-03 Jean-Luc Dupraz Digital pen function control
US20140253467A1 (en) * 2013-03-11 2014-09-11 Barnesandnoble.Com Llc Stylus-based user data storage and access
US20150002482A1 (en) * 2013-06-28 2015-01-01 Research In Motion Limited Method and Apparatus Pertaining to Switching Stylus Transmissions Between Stylus-Modality Signals and Non-Stylus-Modality Signals
US20150363034A1 (en) * 2014-06-12 2015-12-17 Microsoft Corporation Multi-device multi-user sensor correlation for pen and computing device interaction
CN106462341A (zh) * 2014-06-12 2017-02-22 微软技术许可有限责任公司 用于笔和触敏计算设备交互的传感器相关

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993059A (zh) * 2019-03-01 2019-07-09 清华大学 智能电子设备上基于单摄像头的双目视觉与物体识别技术
CN109993059B (zh) * 2019-03-01 2021-07-09 清华大学 智能电子设备上基于单摄像头的双目视觉与物体识别技术
CN116229472A (zh) * 2023-05-11 2023-06-06 深圳棒棒帮科技有限公司 一种智能笔、书写信息采集系统及批改处理系统
CN116229472B (zh) * 2023-05-11 2023-08-01 深圳棒棒帮科技有限公司 一种智能笔、书写信息采集系统及批改处理系统

Also Published As

Publication number Publication date
WO2018164862A1 (en) 2018-09-13
US20180253163A1 (en) 2018-09-06
US10877575B2 (en) 2020-12-29
EP3593232A1 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
CN110383227A (zh) 利用多用户交互式显示器改变触控笔的活跃用户
CN110663018B (zh) 多显示器设备中的应用启动
US11550399B2 (en) Sharing across environments
US10067740B2 (en) Multimodal input system
CN107947951B (zh) 用户群组推荐方法、装置及存储介质和服务器
US8358200B2 (en) Method and system for controlling computer applications
US20130181953A1 (en) Stylus computing environment
US20130159350A1 (en) Sensor Fusion Interface for Multiple Sensor Input
CN111552888A (zh) 内容推荐方法、装置、设备及存储介质
CN108292304A (zh) 跨应用数字墨水库
KR20130027081A (ko) 직관적 컴퓨팅 방법들 및 시스템들
KR20190095620A (ko) 전자 장치 및 그의 제어방법
CN104854574A (zh) 在实时通信和共享体验会话期间更新服务
Bhowmik Interactive Displays: Natural human-interface technologies
CN108829371A (zh) 界面控制方法、装置、存储介质及电子设备
Sluÿters et al. Quantumleap, a framework for engineering gestural user interfaces based on the leap motion controller
US10627948B2 (en) Sequential two-handed touch typing on a mobile device
CN104484078B (zh) 一种基于射频识别的人机交互系统及方法
Guna et al. User identification approach based on simple gestures
Kharrufa et al. Using IMUs to identify supervisors on touch devices
Tong et al. Exploiting Serialized Fine‐Grained Action Recognition Using WiFi Sensing
Neuville et al. Air+ Touch gesture recognition: algorithms, software, and experiment
Alavi A Framework for Optimal In-Air Gesture Recognition in Collaborative Environments
Avola et al. Keyrtual: A Lightweight Virtual Musical Keyboard Based on RGB-D and Sensors Fusion
US20240248971A1 (en) Same person detection of end users based on input device data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination