CN105723313A - 共享数字工作空间 - Google Patents

共享数字工作空间 Download PDF

Info

Publication number
CN105723313A
CN105723313A CN201480056537.8A CN201480056537A CN105723313A CN 105723313 A CN105723313 A CN 105723313A CN 201480056537 A CN201480056537 A CN 201480056537A CN 105723313 A CN105723313 A CN 105723313A
Authority
CN
China
Prior art keywords
user
equipment
group
painting canvas
personal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480056537.8A
Other languages
English (en)
Other versions
CN105723313B (zh
Inventor
D·S·谭
K·P·欣克利
S·N·巴思彻
R·O·普斯那
B·李
A·古普塔
A·耐茨
B·D·布鲁尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105723313A publication Critical patent/CN105723313A/zh
Application granted granted Critical
Publication of CN105723313B publication Critical patent/CN105723313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/34—User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/032—Protect output to user by software means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2149—Restricted operating environment

Abstract

本描述涉及共享数字工作空间。一个示例包括显示设备和传感器。传感器被配置成检测显示设备附近的用户并检测个体用户正对显示设备执行个体用户命令。该系统还包括被配置成被呈现在显示设备上的图形用户界面，这允许多个检测到的用户经由用户命令同时与图形用户界面交互。

Description

共享数字工作空间
背景
传统上，计算设备已被配置成一次由单个用户操作。计算设备生成针对个体用户的图形用户界面。如果第二用户想要使用该计算设备，则第一用户注销且第二用户登录。作为响应，该计算设备将生成针对第二用户的第二图形用户界面。由此，该计算设备被配置用于供用户按顺序使用而非同时使用。
概述
该描述涉及共享数字工作空间。一个示例包括显示设备和传感器。传感器被配置成检测显示设备附近的用户，并检测个体用户正对显示设备执行个体用户命令(例如，输入命令)。该系统还包括被配置成被呈现在该显示设备上的图形用户界面，这允许多个检测到的用户经由用户命令同时与该图形用户界面交互。
以上列出的示例旨在提供快速参考以帮助读者，并且不旨在限定此处所描述的概念的范围。
附图简述
附图示出了本文档中传达的概念的实现。所示实现的特征可通过参考以下结合附图的描述来更容易地理解。只要可行，各附图中相同的附图标记用来指代相同的元素。此外，每一个如图标记的最左边的数字传达其中首次引入该附图标记的附图及相关联的讨论。
图1-16示出根据本发明概念的一些实现的示例共享数字工作空间场景。
图17-18示出根据本发明概念的一些实现的示例共享数字工作空间系统。
图19是根据本发明概念的一些实现的示例共享数字工作空间技术的流程图。
概览
该描述涉及共享数字工作空间或“共享画布”，其可由数字白板以及其他设备提供。由此，这些设备可被看作群组体验设备。共享画布可允许多个同时的用户(例如，用户群组)。任何设备都可潜在地用作群组体验设备，但这些概念更易适用于具有足够大的显示器以容易地被若干用户同时物理地参与的设备。
出于该讨论的目的，“群组”是(其中的至少一些)在物理上共同位于同一空间并且正在彼此交互的个体的集合。一个群组示例可由正碰在一起讨论或争论某一主题的几个员工组成。正在其厨房中交互的家庭可以是另一个这样的群组。正聚集在一起计划某个活动的几个朋友可以是又一个群组。
本发明概念可提供群组体验。群组体验可以以所有群组成员都可舒服地交互和控制的单个共享设备(例如，群组体验设备)为中心。在群组体验中，单个用户都不支配该群组体验设备。该群组中的每一成员发起交互的能力可以是立即且无阻的。群组体验设备通常是群组成员之间的讨论的焦点，并且在一个用户交互时，其他用户可观看并且在其想要的情况下可立即介入和干预。由此，两个或更多个用户可同时与共享画布交互。
在所提出的实现中的一些实现中，群组体验设备可变为其自己的类别——桌面和平板的对等体。不同于其对等体，群组体验设备可针对群组体验而非单个用户进行优化。群组体验设备可采用与各单用户设备不同但仍熟悉的形状因子。这些形状因子可包括新颖的交互模型和输入技术。诸如触摸、笔、姿势、语音和/或视觉之类的输入技术可在群组体验设备中被利用。在一些情况下，设备可被配置成按需用以个体为中心的模式或群组模式来操作。
群组体验设备的适用性是广泛的——实际上是人们可能碰到和交互的任何空间。会议室、办公室、家庭厨房、家庭房间及甚至走廊全部都是放置它们的很好位置。
群组体验设备可以在群组设置中利用自然方式的人类彼此交互。例如，群组体验设备可支持并允许我们的自然取位、群组的各成员之间的典型动态性、以及群组可能一起参与的活动类型。
本实现中的一些实现可强调超越认证的匿名使用。这些实现可以以个性化和个性为代价来强推高度共同的体验以及共同的组织。这样的配置对于要实现其低使用屏障的用户而言可能是有吸引力的；只是走向并开始使用该群组体验设备。然而，这些相同的用户可能渴望将其个人数据集成到群组体验中的能力。本实现中的一些实现可解决这两种考虑。
为此，一些实现可提供两层功能。第一层可被看作基本功能。任何用户都可参与该群组体验设备并立即利用该基本功能。第二层可以是条件或高级功能。例如，第二功能可能仅对群组体验设备已标识出的(例如，认证的)用户可用。作为示例，这些方面被解释如下。
场景示例
图1-15一起示出其中群组体验设备102被定位在会议室中的群组体验场景100。在该示例中，两个用户104(1)和104(2)走进该会议室。随着这些用户被检测到，群组体验设备102可通电到就绪状态，并呈现共享显示区域或共享画布106。在该示例中，第一用户104(1)立即走向共享画布106并开始在共享画布106上书写。在此示例中，用户写了词语“美洲虎”。作为变得对所有用户可用的基本功能的示例，在共享画布106上书写可被启用。
基本功能的其他示例可包括图像、视频、文本框、通过墨水记录形状的智能对象、列表、表格、时间线、形状艺术(圆形、正方形、三角形等)、记事贴和/或图表等等。基本功能的又一些示例可包括自由讨论应用、研究和探索工具、时间/日历协调、活动规划器、产品/购物比较工具、数据探索工具、预算和分配等等。此外，在一些实现中，共享画布的基本功能可限于可视画布。在其他配置中，基本功能可包括可在水平和/或垂直方向滚动的画布(例如，该可用画布可比在给定实例可显示的事物更大)。
此外，在这个情况下，假设每个用户都被标识出。以下相对于图17-18描述用于用户标识的技术和机制。假设第一用户104(1)在她想要在共享画布106上示出的其个人数据中具有美洲虎的图片。个人数据可被存储在云中(诸如在全局账户中)和/或被存储在其个人设备(诸如，智能电话、平板设备或其他计算机)之一上。对个人数据的访问是条件功能的示例。
作为标识出的用户，第一用户104(1)可通过共享画布106访问其个人数据。一些实现可允许用户在共享画布上具有个人空间。该用户可与其个人空间中的其个人内容交互。简言之，在该实现中，个人空间是如门户或隧道之类的清单，其在以下描述。
在该具体实现中，第一用户可作出特定用户命令姿势，诸如在共享画布上双击以访问其个人数据。具体地，群组体验设备102可标识用户，并确定那个特定用户已经执行了访问他/她的个人数据的用户命令。群组体验设备可利用用户的身份来访问该用户的个人数据。注意，双击仅是用于控制共享画布的一个示例。例如，其他实现可使用其他主动用户命令和/或被动用户命令，诸如触摸姿势、非触摸姿势、眼睛注视、语音命令、和/或经由另一设备(诸如智能电话)输入的命令等等。又一些实现可自动打开针对标识出的用户的门户，而非等待用户命令。
如图2中所表示的，在该示例中，用户双击姿势可使得门户或隧道202被呈现在共享画布106上。门户202可在共享画布上表示那个用户的个人空间/数据。门户可被标识为属于用户(例如，用户1)。(当然，可采用将用户和门户关联的其他方式。例如，用户的照片或用户的化身可被显示在门户附近。)用户可对门户202执行另一用户命令以查看或访问他/她的个人数据。例如，用户可触摸该门户。
图3示出用户在门户202之内的个人数据/内容。在该情况下，个人数据是用户的图片。(当然，由于绘制页面的限制，仅用户的个人数据的代表性示例可被示出。例如，门户可示出用户的全局简档(例如，云存储的数据)和/或个人设备的数据。此外，用户的个人数据可按针对该用户的各种方式被组织在门户中。用户还可具有在门户中搜索个人数据的选项。)一些实现可允许用户缩放共享画布的一部分。例如，用户可缩放其门户，使得该门户临时占据共享画布的更大部分或全部，以促进用户查看其个人数据。
如图4中所示，用户104(1)可从门户202中容易地检索数据并将副本移动到共享画布106。在该情况下，用户将美洲虎402的图片从门户202拖动到共享画布106。
门户202可以是个体用户在按其他方式共享的画布106上的私有空间。门户可以是交互式的，并且可接受用户可能在该门户中示出的其设备之一上执行的任何输入。这允许该门户和个人设备(和/或用户的全局内容)之间的双向输入。如以上所提到的，在一些配置中，用户可在任何时间使得任何门户202临时占据共享画布106的完整屏幕面积。替换地或另选地，一些实现可允许用户定义她希望其门户在尺寸和/或内容方面如何被显示。例如，用户可能希望门户采用其中用户可缩小视图以查看内容的概要或者放大视图以查看依据各参数(诸如，类别、字母次序或时间参数等)编组的内容的语义视图技术。
图5示出第二用户104(2)可如何利用基本功能，诸如写词语“狮子”。图6示出第二用户正启动其自己的门户202(2)。
图7-8示出第二用户104(2)正从其门户202(2)选择个人内容并将该个人内容移动到共享画布106。在该情况下，该内容是与802处指示的狮子有关的文章。
还注意，在图8中，第一用户的门户202已关闭以保护该用户的隐私。第一用户104(1)可手动执行姿势(或其他用户命令)来使得门户202关闭或者该门户可自动关闭。例如，该门户可基于一段时间不活动而关闭，或者在一实例中，在用户从门户离开使得显然用户不想要操作门户202时关闭。该门户仍可被用户经由简单的用户命令容易地获得。在另一实现中，在第一用户已将其门户202打开时，当其他用户(诸如第二用户)接近群组体验设备102时，可自动通知第一用户。这样的配置可允许用户采取行动来保护她的个人内容(如果她这么期望的话)。
在任何时间点，用户104(1)或104(2)均可作出共享画布106的副本，并(例如经由其门户)将该副本存储在其个人数据中。
图1-8相对于独立地(顺序地或同时地)工作的用户介绍共享画布特征。这些特征还可促成用户之间的协作，如将在以下作为示例解释的。
图9示出一后续场景，在该后续场景中，用户104(1)和104(2)正以协作努力(例如，协作方式)来使用其先前描述的内容。第二用户104(2)将标题添加到902处的“我们的猫科研究项目”的协作努力，同时第一用户104(1)同时在904处添加文本“猫科的许多成员受到栖息地丧失的威胁”。由此，在该情况下，每一用户都已使用其门户来将其自己的个人内容带入共享空间，并使其个人内容与共享空间上创建的内容组合以完成协作努力。在该示例中，一些工作是以并发方式执行的，而其他工作是以同时方式执行的(例如，多个用户在相同的时间在共享画布上工作)。
此外，一些实现可允许远程用户参与(例如共享画布上的)共享会话。例如，“第三用户”想要远程地参与的通知可被呈现在共享画布106上。第一或第二用户104中的任一者可指示他们想要允许该远程用户参与。远程用户可随后看见共享画布的表示。图10从远程用户1006的角度示出共享画布在远程用户的设备1004上的表示1002的示例。
图11示出远程用户的设备1004上的其中远程用户已通过该远程设备向共享画布添加了内容的后续表示。在这一情况下，远程用户添加了词语“和偷猎”，使得该句子现在读为“猫科的许多成员受到栖息地丧失和偷猎的威胁”。各种技术可被采用来指示哪个用户贡献了哪个内容。在该情况下，远程用户的内容用斜体示出，而第一用户的内容以标准文本示出。当然，其他技术可被利用来区分各用户的贡献。例如，不同的文本色彩可与不同的用户相关联。
图12示出添加了由远程用户添加的内容的共享画布106。此外，在该情况下，远程用户的照片1202出现在共享画布上其内容附近，使得其他用户可容易地确定远程用户添加了什么。在该情况下，存在两个指示符：第一，远程用户的文本是不同的(例如，斜体的)，并且远程用户的图像通过该内容示出。当然，用于标识特定用户的内容的其他技术可被采用。
图13示出其中第一用户离开了会议室并且远程用户从共享会话断开连接或脱离的后续实例。作为响应，第一用户的门户被从共享画布106移除。类似地，远程用户的照片被移除。然而，可存在哪个用户向共享画布贡献了哪个内容的持久标识。
图14示出第二用户离开房间并且其门户被从共享画布处移除时的共享画布106。在一些实现中，共享画布的副本可自动地为这些用户存储，使得下一次他们进入房间时，共享画布被返回其先前的状态。总之，图1-14示出共享画布可如何允许多个用户对项目(或其他内容)进行协作。协作可以是顺序的和/或同时的。
图15示出其中共享画布106的内容已被删除并且群组体验设备102可等待更多用户的后续视图。在一些实现中，群组体验设备在不处于使用中时可积极地向其环境的美学作出贡献。在该情况下，在不被使用时，美术被显示在群组体验设备上。在其他情况下，在不被使用时，广告可被呈现在群组体验设备上。又一些实现可将不处于使用中时的显示器断电以节省电力，但传感器可保持活跃以检测新用户的出现。当然，使用上下文可影响在用户不在积极地使用共享画布时采取什么动作。以下相对于图16示出并描述替换示例。
图16示出家庭环境中的群组体验设备102(1)上的共享画布106(1)。在该情况下，家庭的成员可以是用户。在该上下文中，家庭可希望共享画布106(1)无限期地持续，直到他们决定删除该共享画布或者临时地或永久地显示某些其他事物。例如，共享画布106(1)可以是持久的，但是家庭可间歇性地使用群组体验设备102(1)来观看视频内容(诸如TV)并随后切换回共享画布106(1)。在以家庭为中心的使用情况下，有时家庭成员可在相同的时间参与共享画布。在其他时间，一个家庭成员可添加或删除某些事物到共享画布，或者简单地查看共享画布。无论如何，在家庭成员经过时，共享画布可以是家庭成员可见的和/或可由家庭成员参与。
概括而言，一些实现可包括大型屏幕，个人的局部存在一被群组体验设备检测到，该大型屏幕就从其环境低功率状态发展成干净的共享画布，准备好打开。该共享画布可被看作群组体验操作系统的GUI外壳。GUI外壳可用作内容容器以及应用容器。该GUI外壳可充当新内容创建的表面以及“隧道”或“门户”的表面两者以展示其他设备的桌面和应用。该GUI外壳也可能是用户与本地地在大型屏幕群组体验设备上运行的应用进行交互的地方。
门户或隧道的示例可包括房间中的个人伴随设备的应用和/或桌面的交互式投影。另一示例可包括远程个人伴随设备的应用和/或桌面的交互式投影。又一些示例可包括在本地设备上运行的应用和/或在云中运行的应用。
任何检测到的用户都可使用共享画布。可作出认证检测到的用户的尝试(例如，以某置信度程度来标识用户)。在一些实现中，经认证的用户由共享画布上的名称和图片指示。如果经认证的用户打开门户，则其相关联的设备可被编组在其图片下。这些经认证的设备可在任何时间被“隧穿”到共享画布上的子窗口上。子窗口(例如，门户或隧道)可以是用户在共享画布上的个人空间。尽管以上示出并讨论了特定门户示例，但本发明概念不旨在限于这些示例。相反，门户可只是供用户访问共享画布范例上的私有内容的方式。
图17-18涉及用于实现群组体验概念的系统。这些系统可包括用于检测和标识用户以及用于标识用户命令(例如，控制姿势)的显示器和传感器。特定系统示例被介绍，随后讨论其他系统显示和传感器配置。
图17示出示例群组体验系统1700。在该情况下，该系统包括群组体验设备102(2)清单作为触摸屏或触摸显示器以及两组传感器1702和1704。共享画布106(2)被呈现在触摸显示器上。在该情况下，第一组传感器1702可被定向为感测共享画布106(2)前面的区域。该定向旨在在用户进入房间时检测用户。第二组传感器1704可被定向为感测在共享画布106(2)正前方的区域。该定向旨在检测用户通过用户命令参与共享画布106(2)。在该情况下，显示器和两组传感器被连接到计算设备1706(在该情况下对用户不可见)，计算设备1706执行对呈现在群组体验设备102(2)上的共享画布的群组体验图形用户界面的处理。
第一组传感器1702可检测一个或多个用户已进入群组体验设备102(2)被定位在其中的房间(或者已按其他方式进入感兴趣区域)。在该情况下，第一组传感器包括定位在群组体验设备102(2)上面和下面的两个面向外的子集1702(1)和1702(2)以检测用户姿势、触摸和/或眼睛注视方向。注意，第一组传感器1702和第二组传感器1704的数目、位置和/或定向是出于示例的目的被提供的，并且不旨在构成限制。应构想，许多其他布置可被配置成实现本概念。此外，尽管示出了清楚且明显的传感器，但应构想，随着技术的成熟，这些传感器将变得更小或对用户更不明显。
第一组传感器1702和第二组传感器1704可以是相机，诸如相机阵列。这些相机可别配置用于可见光频率、红外频率和/或其他频率。这些相机可与红外模式投影仪协同工作，该红外模式投影仪可帮助这些相机将对象彼此区分开。其他相机配置可采用飞行时间或其他技术来增强由这些相机捕捉的关于用户和/或群组体验设备102(2)周围的环境的信息。在一个实现中，第一组传感器和第二组传感器可以是由公司提供的KinectTM品牌的感测技术。
一旦用户已被检测到，第一组传感器1702和/或第二组传感器就可采用生物测定(诸如脸部跟踪和脸部识别/标识)来尝试标识用户。例如，可将跟踪到的生物测定特征与已知用户的数据库进行比较以获得潜在匹配。类似地，用户相对于共享画布106(2)的位置以及移动可被跟踪以确定用户是否正在尝试用户命令，诸如正在显示器上书写、作出控制姿势等。在此时，基本功能对用户可用。如果(诸)用户被标识出，随后辅助功能可变得对各个体用户可用。
在一些实现中，用户标识可与置信度分数或水平相关联(例如，检测到的用户具有70％的置信度是“用户1”)。由此，辅助功能的各个体特征可指定特定置信度阈值。例如，特定应用程序接口(API)可具有40％的置信度阈值，而其他API可具有80％的置信度阈值。例如，一个API可被配置成使得阈值为50％以供共享画布106(2)上的用户通过门户访问个人照片或文档，而另一API可要求90％的阈值以供用户通过门户访问金融信息(例如，转移资金或访问信用卡号)。
此外，在群组体验系统1700中，用户标识可以是其中系统持续地监视用户命令并尝试标识哪个用户正在执行用户命令的持续存在过程，而非一次性过程。由此，持续存在的使用群组体验设备102(2)的动作可以是其认证的动作(例如，用户命令被检测到，并且在分析该检测时，确定什么用户执行了该用户命令)。由此，从一个角度来看，一些实现可监视用户命令。这些实现可尝试通过用户命令(诸如从检测该命令的动作中检测到的生物测定中)标识用户。由此，这些实现可持续地检测用户命令并尝试经由这些命令持续地标识用户。
还应注意，图17中的用户中的每一者分别具有个人设备1708和1710(在该情况下为智能电话)。个人设备可在用户检测和标识中被利用。替换地或另选地，个人设备1708和1710可根据第一组传感器1702和第二组传感器1704工作以帮助标识用户和/或检测用户命令。例如，个人设备可发出可被系统用来标识用户的标识信号，如信标信号。
可按其他方式利用个人设备1708和1710。例如，个人设备可通过用户的身体发送电容信号，当用户触摸群组体验设备102(2)或在群组体验设备102(2)附近时，该电容信号可被检测到。该特征可被用作多径电容触摸。例如，不同的手指具有不同长度的路径。一些实现还可在群组体验设备102(2)下面的地板上添加导电条，使得对群组体验设备102(2)的用户参与通过群组体验设备和导电条完成电路。可按类似的方式利用电容笔，尤其是在用户具有其自己的可唯一地标识的个人笔的情况下。由此，笔1712可提供作为数字书写仪器和用于标识用户104(1)的双重目的。
通过类似的方式，当如1714处所指定的检测到触摸用户命令时，指纹(和/或其他生物测定)分析可被用于标识执行该命令的用户。指纹分析还可标识用户的哪个个体手指正在触摸显示屏以及该手指的定向。该信息可以按各种方式被利用。例如，如果两个用户同时触摸该板的区域，则(通过指纹分析确定的)手指定向可指示哪个手指属于哪个用户。例如，指纹往往沿着该用户的手指的长度延伸。由此，指纹可指示用户的手指和手臂的定向。
图18示出了替换群组体验系统配置。这一群组体验系统1800包括耦合到另一计算设备1706(1)的群组体验设备102(3)。其他计算设备可被实现为与各个体用户相关联的其他计算机和/或提供其他功能(例如，搜索引擎、用户简档存储等)的计算机。群组体验设备102(3)可包括显示器1802、处理器1804、存储/存储器1806、传感器1808、通信组件(硬件和/或软件)1810、检测/标识组件1812和群组体验应用/操作系统1814。替换地或附加地,群组体验设备102(3)可包括其它元素，诸如总线、图形卡(例如，图形处理单元(GPU)、网络硬件)等，出于简明的目的未在此被示出或讨论。
还注意，本发明实现不限于特定类系的显示器1802。相反，可使用的实现可用以下来实现：投影显示器、发光二极管(LED)显示器、液晶显示器、电致发光显示器、等离子显示器和/或其他正在开发或仍待开发的显示器类型。
在该情况下，显示器1802包括两组相机形式的传感器1808。第一组相机1808(1)从显示器1802向外地指向，而第二组相机1808(2)平行于显示器表面地指向以感测用户控制姿势。第二组相机可允许显示器用作触摸显示器，而无需实际上具有(例如，感测用户的物理触摸的)触敏表面。在一些实现中，第一组相机1808(1)可包括两个子群组。第一子群组可被配置成捕捉正好在群组体验设备102(3)前方的“近场”空间。第二子群组可被配置成捕捉更远离群组体验设备的“远场”空间。远场子群组可被用来检测进入群组体验设备被定位在其中的房间的用户。近场子群组可被配置成在用户参与共享画布时，从用户捕捉生物测定数据。这两组相机可由检测/标识组件1812协同地操作以确定这些用户是谁以及哪个用户正通过触摸显示器1802的哪个部分(或经由(诸)其他用户命令)来执行用户命令。
群组体验应用/操作系统1814可在群组体验设备102(3)上生成共享画布。群组体验应用/操作系统1814可基于从检测/标识组件1812获得的信息来允许对共享画布的用户交互。
在一些实现中，共享画布可被看作是自主于各用户的。这些用户可被看作共享画布上的访客，并且这些用户对共享画布具有相等的地位。由此，在至少一些实现中，不存在控制用户或主要用户。在其他实现中，共享画布可与诸如启动共享画布的用户之类的个体用户(例如主要用户)相关联。在后一配置中，其他用户可以是相对于共享画布的那个实例的主要用户的次级用户。
尽管所示的第二组相机沿着显示器1802的表面感测，但可采用其他相机配置，诸如通过显示器成像的那些相机配置。针对这样的配置的其他合适相机是楔型相机，该楔型相机可被定位在显示器前方或后方或者被定位在显示器的侧方。这种类型的配置可检测用户的正触摸显示器的手指，并且可看用户的眼睛来确定用户正看着显示器上的何处。由这些相机获得的生物测定信息可被检测/标识组件1812利用来标识触摸显示器的用户。替换地或另选地，该信息可被解释成用户命令。例如，用户正看着共享画布上的何处(例如，用户注视)可被解释成例如相对于处于那个位置的内容的用户命令。
尽管没有被示出，但在企业设置中，该系统还可将用户的徽章用于用户标识目的。例如，该系统可读取徽章上的名称、将徽章上的图片与用户相关、和/或扫描该徽章以获得(诸如包含在徽章中的RFID或其他设备上的)信息。
替换配置可利用眼睛跟踪眼镜1816形式的个人设备。眼睛跟踪眼镜可具有被配置成跟踪用户的眼睛的传感器以及被配置成检测用户正在看的方向上环境的其他传感器。眼睛跟踪眼镜可诸如经由蓝牙技术等向群组体验设备102(3)发送信号，从而标识用户以及用户正在看显示器1802上的何处。
总之，用户认证可通过各种机制来实现。检测/标识组件1812可分析可用信息来检测用户并以某置信度水平来标识那些用户。在一些情况下，用户可通过个人设备(诸如智能电话)来自动发现和认证。例如，自动发现可经由设备发现来实现。登录识别出的移动设备并在群组体验设备102(3)附近的用户可表现为群组体验系统1800中的用户。例如，个人设备可提供超声签名、网络基础结构、Wi-FiDirect、光学签名、手动连接等。在其他情况下，用户可诸如使用Kinect(例如相机1808(1))通过脸部识别被自动标识出。
在一些情况下，各用户可在该系统中诸如经由键盘、指纹扫描仪、徽章、NFC等来手动地认证。
远程用户可在群组体验系统中通过具有开放群组体验的URL标识符来手动地认证。关于远程用户的指示可被呈现在群组体验设备102(3)中。存在的用户可允许或不允许远程用户。
一旦检测/标识模块1812以给定确定性/置信度标识出用户，附加功能可变得可用。在一些情况下，API可被设置成使得仅来自被认证为具有高于该API的阈值的确定性的用户的API调用通过。
检测/标识组件1812可持续地或重复地尝试标识用户。在一个配置中，检测/标识组件可持续地尝试检测用户命令并标识谁正在执行用户命令。由此，由该用户采取的每一个动作都可以是认证过程的一部分。这可提供基于每一动作/交互而非每一会话的无阻的即时认证。该配置还可在同一时间允许多种模式，因为该配置可知道每一用户正请求什么。从一个角度来看，在一些情况下，用户可变成所有动作的胶合剂。实际上，用户可无阻地参与群组体验设备102(3)。由该用户执行的各个体动作(例如，用户命令)被评估并被标识给该用户。由此，在一些实现中，是用户动作可被认证，而非用户可被认证。
从一个角度来看，群组体验设备102(3)可被看作计算机。处理器1804可以执行计算机可读指令形式的数据以提供功能。数据(诸如计算机可读指令和/或用户相关数据)可被存储在存储1806上，诸如对计算机而言可以是内部或外部的存储。存储可包括易失性或非易失性存储器、硬盘驱动器、闪存设备、和/或光存储设备(例如，CD、DVD等)等等中的任何一个或多个。如本文所使用的，术语“计算机可读介质”可包括信号。相反，术语“计算机可读存储介质”排除信号。计算机可读存储介质包括“计算机可读存储设备”。计算机可读存储设备的示例包括诸如RAM之类的易失性存储介质、诸如硬盘驱动器、光盘和闪存存储器之类的非易失性存储介质，以及其他。
在一些配置中，群组体验设备102(3)可包括片上系统(SOC)类型设计。在这一情况下，计算机所提供的功能可被集成在单个SOC或多个耦合的SOC上。一个或多个处理器可被配置成与共享资源协调，例如存储器、存储等，和/或与一个或多个专用资源协调，如配置成执行特定具体功能的硬件块。从而，如本文是使用的术语“处理器”还可指代中央处理单元(CPU)、图形处理单元(GPU)、控制器、微控制器、处理器核、或适用于在常规计算架构以及SOC设计两者中实现的其他类型的处理设备。
其他计算机的示例可包括传统的计算设备，诸如个人计算机、桌面计算机、笔记本计算机、蜂窝电话、智能电话、个人数字助理、平板类型计算机、相机、大型显示设备、投影设备或各种不断演进或仍待开发的类型的计算设备中的任一者。
通过仅在用户给出他们的明确同意之际才允许用户发现/标识特征，用户的隐私可被保护。所有的隐私和安全过程可被实现以保护用户。例如，用户可在他/她的智能电话上提供授权(和/或定义授权的条件)。该智能电话可被其他计算设备(例如，群组体验设备)检测到。那些设备仅根据授权的条件来进行标识用户。否则，用户信息不被收集。相反，用户可被提供基本功能成为“通用用户”。在这样的场景中，可能不会向该用户启用高级功能。
示例方法
图19示出示例群组体验方法1900。
在这个情况下，该方法可在框1902检测多个用户。
该方法可在框1904呈现图形用户界面(GUI)。
该方法可在框1906允许这些用户中的每一者利用基本功能与GUI同时交互。
从一个角度来看，这一多用户GUI可被看作其中用户创建新内容的“共享画布”。在一些实现中，经由手指触摸(例如触摸)和/或笔触摸(例如笔)的触摸可以是用于经由基本功能在共享画布上创建新内容的主要输入机制。与物理白板很像，用户可在画布上书写自由形式墨水。在一些情况下，画布可以是可滚动的以创建(本质上)无限的画布。该墨水可通过多个形状识别器来自动地识别，从而通过模式和行为桥接了自由形式墨水和对象之间的间隙。例如，在用户书写列表时，这些方法可识别到这个并开始为该列表中的下一项绘制向导线以及提供墨水到文本的行为、进行存储等等。
该方法可在框1908尝试标识各个体用户。用户标识可利用生物测定和/或任何设备等来标识用户。以上结合图17-18更详细地描述了特定示例。
该方法可在框1910向各标识出的个体用户启用高级功能。例如，高级功能可包括在图形用户界面上访问各标识出的个体用户的个人数据。
高级功能可涉及个人数据，诸如可经由隧道或门户访问的个人数据。内容对象可从隧道实例化。例如，用户可拍摄移动设备的当前投影的快照，并且该快照可表现为共享画布上的本机图像对象。那个图像对象可包含元数据(用户、机器、日期/时间、文件、应用、位置)以充分理解该图像的出处。
在另一方向进行，内容对象可从共享空间被拖动到隧道(例如，个人空间)中。这可作为到隧道的活跃应用中的简单的剪切和粘贴操作(复制操作)或者作为将超链接嵌入到那个画布中的内容对象(引用操作)来启用。
在用户实例化包括本地应用或云应用的新隧道时，该方法可知道谁实例化了该新隧道，使得它可出现在那个隧道具有该隧道正在创建了该隧道的用户的身份下运行的清楚视觉通知的地方。
该方法可使用各种技术来确定哪个用户实例化了隧道。如果隧道是远程或本地移动设备的投影，则认证的绑定可通过使移动设备上作为隧道的“所有者”的经认证用户通过来自动完成。如果对隧道的实例化是在屏幕处的共享画布上完成的，则该技术可使用各机制的组合来确定相应用户的身份。例如，用户跟踪机制(诸如Kinect)可使用光学和深度感测相机。该技术可确定谁正在触摸屏幕以及在何处触摸屏幕。脸部识别可标识用户，并且通过屏幕触摸传感器中的触摸标识或感测与由触摸传感器标识出的触摸点相关的用户定位，该技术可确定谁正在触摸屏幕以及实际上在何处以及用多少手指触摸屏幕。
用户身份可被绑定到隧道。类似地，本发明技术可将隧道创建者的身份绑定到在共享画布上创建的来自隧道的任何新内容对象。例如，当某人正在共享画布上绘制自由形式墨水时，相同的脸部识别和触摸标识机制可被用来将关于谁创建了该对象的元数据绑定到那个对象。这可允许如由特定用户或在特定位置的特定用户搜索该内容之类的场景。
一些实施例可提供共享画布上搜索框形式的分开的启示。该搜索框可通过触摸启示或通过简单地用墨水在共享画布上绘制问号来实例化。用户可使用墨水、语音或键盘输入等来将其查询输入到该搜索框中。搜索框可被用于实例化内容对象(例如，通过问该设备上或后端设备上理解的问题，诸如通过自然语言处理(NLP)或其他技术)。该技术可实例化实况动态图表以搜索web(带来具有示出web搜索结果的浏览器的隧道)或者搜索用户具有访问权的其他共享画布内容(例如，用户上星期在其上工作的共享画布)。
在一些配置中，每一共享画布可根本上通过统一资源定位符(URL)来寻址。共享画布可在云服务中维护以供检索、搜索、分析等。共享画布的元数据可包括在其上实例化群组体验的设备名称以及随后在群组体验会话期间被打开和编辑的名称。这可允许用户依据设备、用户、内容和/或日期/时间等等来搜索共享画布资料库。
在一些实现中，为了容易地检索出先前的共享画布，画布可具有用于打开可示出针对该设备(在该设备上创建)以及当前识别出的用户的集合(在任何设备上创建，但当前用户集合具有访问权)的先前画布的库的机制。一些配置可在该系统(通过语音和视觉)主动识别出(诸)返回用户的情况下自动确定先前用户群组已返回并呈现“欢迎回来体验”，并自动将设备状态设置到最后会话。
该方法可检测各识别出的个体用户何时不再与图形用户界面进行交互。作为响应，该方法可在框1912停止访问不再与图形用户界面进行交互的各识别出的个体用户的个人数据。
所述的方法可以由以上结合图17-18描述的系统和/或设备来执行，和/或由其他系统和/或系统来执行。描述各方法的次序并不旨在解释为限制，并且任何数量的所述动作都可以按任何次序组合以实现方法或实现替换方法。此外，该方法还可以用任何合适的硬件、软件、固件或其组合来实现，以使得设备可实现该方法。在一种情况下，该方法作为指令集被存储在计算机可读存储介质上，以便计算设备的执行使得该计算设备执行该方法。
总之，本发明技术可提供低阻或无阻的参与共享设备GUI上的群组体验的能力。任何用户集合都可接近该设备并使用直观的和/或受广泛认可的用户命令来同时与该设备交互。
结语
总之，共享画布可允许多个用户同时交互。共享画布可尝试识别用户以提供附加功能，诸如个性化功能和/或对私有内容的访问权。识别出的用户可通过隧道或其他机制将其私有内容带到共享空间中。
本发明概念可区别于其中每一用户诸如在电话会议期间使其自己的设备到达共享空间的现有共享。相反，在本发明概念的一些实现中，共享画布不属于这些用户中的任一者。支持共享画布的群组体验设备可了解同时主动地使用它和/或作为该群组的一部分来查看的用户。共享画布可提供供各个人到达其私有资产并与共享画布上的那些资产交互的机制。
尽管已用对结构特征和/或方法动作专用的语言描述了涉及群组体验显示设备的技术、方法、设备、系统等，但可以理解，所附权利要求书中定义的主题不必限于所述具体特征或动作。相反，上述具体特征和动作是作为实现所要求保护的方法、设备、系统等的示例性形式而公开的。

Claims (10)

1.一种设备，包括：
显示器；以及
处理器，所述处理器被配置成使得图形用户界面被呈现在所述显示器上，并且其中所述图形用户界面被配置成在所述图形用户界面的共享空间上同时与多个不同的用户交互，并且还被配置成允许各个体用户在所述共享空间的各部分上具有个人空间。
2.如权利要求1所述的设备，其特征在于，所述个人空间包括隧道，并且其中个体隧道被配置成允许第一个体用户访问所述第一个体用户的个人内容。
3.如权利要求2所述的设备，其特征在于，所述图形用户界面被配置成允许所述第一个体用户在语义上缩放所述个人内容以查看关于所述个人内容的细节。
4.如权利要求2所述的设备，其特征在于，所述个人内容包括来自所述第一个体用户的全局简档或个人设备的内容。
5.如权利要求2所述的设备，其特征在于，所述个人内容包括属于所述第一个体用户并且能经由所述个体隧道访问的个人设备列表。
6.如权利要求2所述的设备，其特征在于，所述图形用户界面还被配置成将所述第一个体用户的标识呈现在所述个体隧道附近。
7.如权利要求6所述的设备，其特征在于，所述身份包括所述第一个体用户的名称或所述第一个体用户的照片。
8.如权利要求1所述的设备，其特征在于，所述显示器进一步包括被配置成检测并标识所述多个不同的用户的传感器，或者其中所述设备还被配置成接收与所述检测和所述标识有关的输入。
9.如权利要求8所述的设备，其特征在于，所述传感器被配置成当作为同时交互的一部分所述个体用户执行用户命令时，检测并标识所述多个不同的用户。
10.一种系统，包括：
显示设备；
传感器，所述传感器被配置成检测所述显示设备附近的用户；以及，
被配置成被呈现在所述显示设备上的群组体验图形用户界面，所述群组体验图形用户界面是自主于所述用户的，同时允许所述用户按协作方式同时参与所述群组体验图形用户界面。
CN201480056537.8A 2013-10-14 2014-10-10 共享数字工作空间 Active CN105723313B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361890755P 2013-10-14 2013-10-14
US201361890778P 2013-10-14 2013-10-14
US61/890,755 2013-10-14
US61/890,778 2013-10-14
US14/175,984 2014-02-07
US14/175,984 US9720559B2 (en) 2013-10-14 2014-02-07 Command authentication
PCT/US2014/059988 WO2015057496A1 (en) 2013-10-14 2014-10-10 Shared digital workspace

Publications (2)

Publication Number Publication Date
CN105723313A true CN105723313A (zh) 2016-06-29
CN105723313B CN105723313B (zh) 2019-09-24

Family

ID=52810745

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480056533.XA Active CN105723312B (zh) 2013-10-14 2014-10-10 共享数字工作空间
CN201480056537.8A Active CN105723313B (zh) 2013-10-14 2014-10-10 共享数字工作空间

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480056533.XA Active CN105723312B (zh) 2013-10-14 2014-10-10 共享数字工作空间

Country Status (4)

Country Link
US (3) US9740361B2 (zh)
EP (3) EP3058452B1 (zh)
CN (2) CN105723312B (zh)
WO (2) WO2015057497A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108206943A (zh) * 2016-12-17 2018-06-26 大观圣光（北京）节能科技有限公司 一种佛像投影方法、装置及佛龛
CN111630413A (zh) * 2018-06-05 2020-09-04 谷歌有限责任公司 基于置信度的应用特定的用户交互

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9740361B2 (en) 2013-10-14 2017-08-22 Microsoft Technology Licensing, Llc Group experience user interface
US20150106741A1 (en) 2013-10-15 2015-04-16 Microsoft Corporation Managing conversations
US20150339465A1 (en) * 2014-05-21 2015-11-26 Lenovo (Singapore) Pte. Ltd. Access control for multi-user canvas
US10834151B2 (en) * 2014-05-23 2020-11-10 Lenovo (Singapore) Pte. Ltd. Dynamic communication link management for multi-user canvas
KR102194923B1 (ko) * 2014-07-22 2020-12-24 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
EP3107049A1 (en) * 2015-06-16 2016-12-21 Prysm, Inc. User presence detection and display of private content at a remote collaboration venue
WO2017047085A1 (ja) * 2015-09-16 2017-03-23 日本電気株式会社 操作制御装置、操作制御方法及び記憶媒体
US10049500B2 (en) * 2015-09-22 2018-08-14 3D Product Imaging Inc. Augmented reality e-commerce for home improvement
US9851882B2 (en) * 2015-12-27 2017-12-26 Thunder Power New Energy Vehicle Development Company Limited Fully designable vehicle information panel interface
US10324618B1 (en) * 2016-01-05 2019-06-18 Quirklogic, Inc. System and method for formatting and manipulating digital ink
US10755029B1 (en) 2016-01-05 2020-08-25 Quirklogic, Inc. Evaluating and formatting handwritten input in a cell of a virtual canvas
US10129335B2 (en) 2016-01-05 2018-11-13 Quirklogic, Inc. Method and system for dynamic group creation in a collaboration framework
US10067731B2 (en) * 2016-01-05 2018-09-04 Quirklogic, Inc. Method and system for representing a shared digital virtual “absolute” canvas
US11003627B2 (en) 2016-04-21 2021-05-11 Microsoft Technology Licensing, Llc Prioritizing thumbnail previews based on message content
US10546153B2 (en) * 2016-09-20 2020-01-28 International Business Machines Corporation Attention based alert notification
US10848483B2 (en) * 2016-12-08 2020-11-24 Ricoh Company, Ltd. Shared terminal, communication system, and display control method, and recording medium
US10601820B2 (en) * 2016-12-09 2020-03-24 International Business Machines Corporation Method and apparatus to identify and authorize caller via ultrasound
US20180187969A1 (en) * 2017-01-03 2018-07-05 Samsung Electronics Co., Ltd. Refrigerator
US10739993B2 (en) * 2017-01-19 2020-08-11 Microsoft Technology Licensing, Llc Simultaneous authentication system for multi-user collaboration
CN108335342B (zh) * 2018-01-31 2022-03-29 杭州网易智企科技有限公司 在web浏览器上进行多人绘画的方法、设备和计算机程序产品
US11003470B1 (en) * 2018-03-05 2021-05-11 Parallels International Gmbh Implementing sticky notes associated with remotely executed applications
US10712990B2 (en) * 2018-03-19 2020-07-14 At&T Intellectual Property I, L.P. Systems and methods for a customer assistance station
JP7247466B2 (ja) * 2018-03-23 2023-03-29 富士フイルムビジネスイノベーション株式会社 情報処理システムおよびプログラム
CN108961096B (zh) * 2018-06-27 2021-06-11 温州大学瓯江学院 一种建筑工人管理系统
US11240247B2 (en) * 2018-07-27 2022-02-01 Microsoft Technology Licensing, Llc Multi-user computing device configured for executing applications in multiple user contexts simultaneously
JP7211039B2 (ja) * 2018-11-29 2023-01-24 株式会社リコー 情報処理装置、情報処理システム、電子黒板装置、制御方法、およびプログラム
US10942633B2 (en) * 2018-12-20 2021-03-09 Microsoft Technology Licensing, Llc Interactive viewing and editing system
JP7354702B2 (ja) * 2019-09-05 2023-10-03 富士通株式会社 表示制御方法、表示制御プログラムおよび情報処理装置
CN110661919B (zh) * 2019-09-18 2021-04-13 Oppo（重庆）智能科技有限公司 多用户显示方法、装置、电子设备及存储介质
WO2024072458A1 (en) * 2022-09-30 2024-04-04 Google Llc User distinction for radar-based gesture detectors
CN116301556B (zh) * 2023-05-19 2023-08-11 安徽卓智教育科技有限责任公司 互动白板软件的互动方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070106942A1 (en) * 2005-11-04 2007-05-10 Fuji Xerox Co., Ltd. Information display system, information display method and storage medium storing program for displaying information
US20090150816A1 (en) * 2007-12-05 2009-06-11 International Business Machines Corporation Returning passed objects in a surface based computing environment using a virtual bungee
CN101874234A (zh) * 2008-09-29 2010-10-27 松下电器产业株式会社 用户接口装置、用户接口方法、以及记录媒体
US20110197263A1 (en) * 2010-02-11 2011-08-11 Verizon Patent And Licensing, Inc. Systems and methods for providing a spatial-input-based multi-user shared display experience
US20120274598A1 (en) * 2011-04-26 2012-11-01 Ricky Uy Apparatus, system, and method for real-time identification of finger impressions for multiple users
US20130239009A1 (en) * 2008-02-27 2013-09-12 Cisco Technology, Inc. Multi-party virtual desktop

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2310114A1 (en) 1998-02-02 1999-08-02 Steve Mann Wearable camera system with viewfinder means
US20020007510A1 (en) 1998-10-29 2002-01-24 Mann W. Stephen G. Smart bathroom fixtures and systems
US6179426B1 (en) 1999-03-03 2001-01-30 3M Innovative Properties Company Integrated front projection system
IL139995A (en) 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
GB0119859D0 (en) 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US20050120003A1 (en) 2003-10-08 2005-06-02 Drury William J. Method for maintaining a record of searches and results
US7629989B2 (en) 2004-04-02 2009-12-08 K-Nfb Reading Technology, Inc. Reducing processing latency in optical character recognition for portable reading machine
US7599989B2 (en) * 2005-01-24 2009-10-06 Microsoft Corporation System and method for gathering and reporting screen resolutions of attendees of a collaboration session
US20060294388A1 (en) 2005-06-22 2006-12-28 International Business Machines Corporation Method and system for enhancing user security and session persistence
US8956396B1 (en) 2005-10-24 2015-02-17 Lockheed Martin Corporation Eye-tracking visual prosthetic and method
US20070124370A1 (en) * 2005-11-29 2007-05-31 Microsoft Corporation Interactive table based platform to facilitate collaborative activities
US7620901B2 (en) * 2006-03-21 2009-11-17 Microsoft Corporation Simultaneous input across multiple applications
US8315482B2 (en) * 2007-06-26 2012-11-20 Microsoft Corporation Integrated platform for user input of digital ink
US8924250B2 (en) 2007-09-13 2014-12-30 International Business Machines Corporation Advertising in virtual environments based on crowd statistics
US8340974B2 (en) 2008-12-30 2012-12-25 Motorola Mobility Llc Device, system and method for providing targeted advertisements and content based on user speech data
US20100205190A1 (en) 2009-02-09 2010-08-12 Microsoft Corporation Surface-based collaborative search
US20100293501A1 (en) 2009-05-18 2010-11-18 Microsoft Corporation Grid Windows
US9489503B2 (en) 2009-12-21 2016-11-08 Paypal, Inc. Behavioral stochastic authentication (BSA)
US8693988B2 (en) 2009-06-16 2014-04-08 International Business Machines Corporation System, method, and apparatus for proximity-based authentication for managing personal data
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
EP2542744B1 (en) * 2010-03-02 2015-07-15 UTC Fire & Security Corporation Seamless authentication system
US20120001923A1 (en) 2010-07-03 2012-01-05 Sara Weinzimmer Sound-enhanced ebook with sound events triggered by reader progress
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
CN102436064B (zh) 2010-09-29 2016-02-24 奥林巴斯株式会社 头戴式显示器
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US20120151012A1 (en) * 2010-12-09 2012-06-14 Shakeel Mustafa Internet delivery of scheduled multimedia content
CN102075619A (zh) 2010-12-15 2011-05-25 华为终端有限公司 触摸屏手机的解锁方法和触摸屏手机
WO2012105175A1 (ja) 2011-02-01 2012-08-09 パナソニック株式会社 機能拡張装置、機能拡張方法、機能拡張プログラム、及び集積回路
EP3527121B1 (en) 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
WO2012116464A1 (en) 2011-02-28 2012-09-07 Hewlett-Packard Company User interfaces based on positions
US8670183B2 (en) 2011-03-07 2014-03-11 Microsoft Corporation Augmented view of advertisements
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
CA2838280C (en) * 2011-06-15 2017-10-10 Smart Technologies Ulc Interactive surface with user proximity detection
JP2013041350A (ja) 2011-08-12 2013-02-28 Panasonic Corp タッチテーブルシステム
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US8996510B2 (en) 2011-08-23 2015-03-31 Buckyball Mobile, Inc. Identifying digital content using bioresponse data
US9164648B2 (en) * 2011-09-21 2015-10-20 Sony Corporation Method and apparatus for establishing user-specific windows on a multi-user interactive table
EP2587342A1 (en) 2011-10-28 2013-05-01 Tobii Technology AB Method and system for user initiated query searches based on gaze data
US9229231B2 (en) 2011-12-07 2016-01-05 Microsoft Technology Licensing, Llc Updating printed content with personalized virtual data
US9400893B2 (en) * 2011-12-15 2016-07-26 Facebook, Inc. Multi-user login for shared mobile devices
US9137308B1 (en) 2012-01-09 2015-09-15 Google Inc. Method and apparatus for enabling event-based media data capture
US9721105B2 (en) * 2012-01-18 2017-08-01 Nokia Technologies Oy Method and apparatus for generating privacy ratings for applications
US8655163B2 (en) 2012-02-13 2014-02-18 Cameron Pace Group Llc Consolidated 2D/3D camera
CA2864166C (en) 2012-02-23 2019-09-03 Worcester Polytechnic Institute An instructional system with eye-tracking-based adaptive scaffolding
US9377863B2 (en) 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
US11132741B2 (en) * 2012-03-27 2021-09-28 Social Shopping Network LLC System and method for facilitating sales transaction
US8866771B2 (en) 2012-04-18 2014-10-21 International Business Machines Corporation Multi-touch multi-user gestures on a multi-touch display
US20130290475A1 (en) * 2012-04-25 2013-10-31 Akiri Solutions, Inc. Shared access to a remotely running application
US9317113B1 (en) 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
EP3876496B1 (en) * 2012-06-13 2022-10-26 Huawei Device Co., Ltd. Mobile terminal and computer program product for widget sharing
US9699135B2 (en) * 2012-06-20 2017-07-04 Openvpn Technologies, Inc. Private tunnel network
WO2014008299A1 (en) 2012-07-02 2014-01-09 Kevin Griffin Dual-mode communication devices and methods for communicating with an entertainment system
WO2014020820A1 (ja) 2012-07-31 2014-02-06 パナソニック株式会社 符号読取装置および符号読取方法
CN103777351A (zh) 2012-10-26 2014-05-07 鸿富锦精密工业（深圳）有限公司 多媒体眼镜
US9654977B2 (en) * 2012-11-16 2017-05-16 Visa International Service Association Contextualized access control
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
US20140157128A1 (en) * 2012-11-30 2014-06-05 Emo2 Inc. Systems and methods for processing simultaneously received user inputs
TWI499289B (zh) 2013-01-25 2015-09-01 Wistron Corp 媒體內容推薦方法及媒體播放系統
KR102081930B1 (ko) 2013-03-21 2020-02-26 엘지전자 주식회사 시선 위치를 디텍트하는 디스플레이 디바이스 및 제어 방법
IN2013MU01148A (zh) * 2013-03-26 2015-04-24 Tata Consultancy Services Ltd
US9219878B2 (en) * 2013-04-22 2015-12-22 Hewlett-Packard Development Company, L.P. Interactive window
US20150102981A1 (en) 2013-10-11 2015-04-16 Microsoft Corporation Eye tracking
US9740361B2 (en) 2013-10-14 2017-08-22 Microsoft Technology Licensing, Llc Group experience user interface
US20150102891A1 (en) 2013-10-16 2015-04-16 Samsung Electro-Mechanics Co., Ltd. Chip electronic component, board having the same, and packaging unit thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070106942A1 (en) * 2005-11-04 2007-05-10 Fuji Xerox Co., Ltd. Information display system, information display method and storage medium storing program for displaying information
US20090150816A1 (en) * 2007-12-05 2009-06-11 International Business Machines Corporation Returning passed objects in a surface based computing environment using a virtual bungee
US20130239009A1 (en) * 2008-02-27 2013-09-12 Cisco Technology, Inc. Multi-party virtual desktop
CN101874234A (zh) * 2008-09-29 2010-10-27 松下电器产业株式会社 用户接口装置、用户接口方法、以及记录媒体
US20110197263A1 (en) * 2010-02-11 2011-08-11 Verizon Patent And Licensing, Inc. Systems and methods for providing a spatial-input-based multi-user shared display experience
US20120274598A1 (en) * 2011-04-26 2012-11-01 Ricky Uy Apparatus, system, and method for real-time identification of finger impressions for multiple users

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108206943A (zh) * 2016-12-17 2018-06-26 大观圣光（北京）节能科技有限公司 一种佛像投影方法、装置及佛龛
CN111630413A (zh) * 2018-06-05 2020-09-04 谷歌有限责任公司 基于置信度的应用特定的用户交互
CN111630413B (zh) * 2018-06-05 2024-04-16 谷歌有限责任公司 基于置信度的应用特定的用户交互

Also Published As

Publication number Publication date
WO2015057497A1 (en) 2015-04-23
CN105723312A (zh) 2016-06-29
EP3058452A1 (en) 2016-08-24
EP3058452B1 (en) 2019-08-28
EP3620904A1 (en) 2020-03-11
US20150106739A1 (en) 2015-04-16
CN105723312B (zh) 2019-08-27
US10754490B2 (en) 2020-08-25
US20150106740A1 (en) 2015-04-16
US9720559B2 (en) 2017-08-01
EP3058453A1 (en) 2016-08-24
US20170269793A1 (en) 2017-09-21
WO2015057496A1 (en) 2015-04-23
US9740361B2 (en) 2017-08-22
CN105723313B (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN105723313B (zh) 共享数字工作空间
US20190026063A1 (en) Method to exchange visual elements and populate individual associated displays with interactive content
CN104469256A (zh) 沉浸式和交互式的视频会议房间环境
CN105376121A (zh) 图像触发配对
US11877203B2 (en) Controlled exposure to location-based virtual content
US10514769B2 (en) Volumetric tracking for orthogonal displays in an electronic collaboration setting
CN204721476U (zh) 沉浸式和交互式的视频会议房间环境
Figueiredo et al. Overcoming poverty through digital inclusion
Schwarzer et al. Spatial and Temporal Audience Behavior of Scrum Practitioners Around Semi-Public Ambient Displays
Günther et al. MAPVI: meeting accessibility for persons with visual impairments.
Bhowmik Natural and intuitive user interfaces with perceptual computing technologies
Lazewatsky et al. Wearable computing to enable robot microinteractions
Matas et al. Holistic Scene Understanding (Dagstuhl Seminar 15081)
US11948263B1 (en) Recording the complete physical and extended reality environments of a user
US20240061496A1 (en) Implementing contactless interactions with displayed digital content
Gunther et al. MAPVI: meeting accessibility for persons with visual impairments
US20240119682A1 (en) Recording the complete physical and extended reality environments of a user
Kim et al. A location-sensitive visual interface on the palm: interacting with common objects in an augmented space
Perez Pelaez et al. Interactions with real and digital elements for collaborative document creation
Kuan-Ying et al. Spark Wall: Control responsive environment by human behaviour
Hossain Tracking paper notes on a distributed physical-virtual bulletin board
Lederer et al. All together now: visualizing local and remote actors of localized activity
Hemsley Flow: a framework for reality-based interfaces
Roudaki Spatially aware computing for natural interaction
Barrus et al. The CloudBoard Research Platform: an interactive whiteboard for corporate users

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant