CN103150012B - 使用头戴式显示的共享协作 - Google Patents

使用头戴式显示的共享协作 Download PDF

Info

Publication number
CN103150012B
CN103150012B CN201210500689.5A CN201210500689A CN103150012B CN 103150012 B CN103150012 B CN 103150012B CN 201210500689 A CN201210500689 A CN 201210500689A CN 103150012 B CN103150012 B CN 103150012B
Authority
CN
China
Prior art keywords
user
further user
cooperation
item
active user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210500689.5A
Other languages
English (en)
Other versions
CN103150012A (zh
Inventor
D·麦卡洛克
S·拉塔
D·贝内特
R·哈斯汀斯
J·斯科特
R·马尔科维奇
K·盖斯那
J·斯蒂德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN103150012A publication Critical patent/CN103150012A/zh
Application granted granted Critical
Publication of CN103150012B publication Critical patent/CN103150012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Abstract

公开了使用头戴式显示的共享协作。提供了用于使得活动用户能够与一个或多个附加用户以及与协作项进行交互的共享协作系统和相关方法的各种实施例。在一个实施例中,头戴式显示设备被可操作地连接到包括协作引擎程序的计算设备。该程序从头戴式显示设备接收物理空间的观测信息以及协作项。该程序可视地扩充如通过头戴式显示设备看到的物理空间的外观以包括协作项的活动用户协作项表示。该程序用来自附加用户的附加用户协作项输入来填充活动用户协作项表示。

Description

使用头戴式显示的共享协作
技术领域
本申请涉及共享协作,尤其涉及使用头戴式显示的共享协作。
背景技术
通信技术的进步使得不断增长的分布式工作环境成为可能。对共同项目一起工作的个体的分组可包括在地理上不同位置中的团队成员。这样的团队成员经常需要在开发项目可交付物(诸如文档、报告、提案、模型等)的过程中进行协作。
当前的协作工具包括跟踪文档或文件内由多个用户作出的更改的修订控制应用和内容管理系统。其它工具可使得项目团队能够利用网站来促进信息在团队成员之间的共享。然而,当前的工具一般要求团队成员以串行的方式来提供对项目团队文档的输入或更改。提供和接收来自其他项目团队成员的关于这些输入或更改的实时反馈或交互可能是有挑战的。
一些协作工具可允许文档或其他材料通过口令来保护或以其他方式使得它们对特定的项目团队成员不能通过目录级访问控制可用。然而,这样的访问控制措施可能阻止文档和其他具有各种敏感信息的材料的协作创建。结果,当前的工具可能导致项目团队成员之间降低的协作效率。
发明内容
为了解决以上问题,提供了用于使得活动用户能够与附加用户以及与协作项进行交互的共享协作系统和相关方法。在一个示例中,头戴式显示设备可操作地连接到计算设备。头戴式显示设备可包括通过其活动用户可查看物理空间的透明显示屏。
共享协作系统可包括由计算设备的处理器执行的协作引擎程序。协作引擎程序可被配置成接收来自于头戴式显示设备的物理空间的观测信息。协作引擎程序还可一并接收所述协作项和来自附加用户的附加用户协作项输入。程序可可视地扩充如通过头戴式显示设备的透明显示屏看到的物理空间的外观以包括协作项的活动用户协作项表示。该程序可用来自附加用户的附加用户协作项输入来填充活动用户协作项表示。
提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。此外,所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图说明
图1是根据本公开的一实施例的共享协作系统的示意图。
图2是根据本公开的一实施例的使用图1的共享协作系统的物理空间中的活动用户的示意图。
图3是如通过活动用户佩戴的头戴式显示设备的透明显示屏看到的图2的物理空间的示意图。
图4A和4B是根据本公开的一实施例的用于使得活动用户能够与附加用户以及协作项进行交互的方法的流程图。
图5是计算设备的一实施例的简化示意图解。
具体实施方式
图1显示了共享协作系统10的一个实施例的示意图,该共享协作系统10用于使得用户能够与一个或多个附加用户和协作项(诸如协作项14)进行交互。共享协作系统10包括可被存储在计算设备26的大容量存储22中的协作引擎程序18。协作引擎程序18可被加载到存储器30中并由计算设备26的处理器34执行以执行下文更为详细地描述的方法和过程中的一个或多个。
计算设备26可采用以下形式:台式计算机、诸如膝上型、笔记本或平板计算机之类的移动计算设备、网络计算机、家庭娱乐计算机、交互式电视、游戏系统、或其他合适类型的计算设备。关于计算设备26的组件和计算方面的其他细节在以下更加详细地描述。
计算设备26可操作地与第一头戴式显示设备38(其将在以下更加详细地描述)连接。计算设备26可利用到第一头戴式显示设备38的有线连接,或可采用通过WiFi、蓝牙或任何其他合适的无线通信协议的无线连接。图1中示出的示例将计算设备26显示为与第一头戴式显示设备38分开的组件。可以理解,在其他示例中,计算设备26可被集成到第一头戴式显示设备38中。
计算设备26还可操作地与一个或多个其他头戴式显示设备连接,诸如第二头戴式显示设备42、第三头戴式显示设备46以及第四头戴式显示设备50。计算设备26可通过网络54与第一、第二和第三头戴式显示设备42、46和50进行通信。网络54可以采取局域网(LAN)、广域网(WAN)、有线网络、无线网络、个人区域网、或其组合的形式,并可包括因特网。
如以下更加详细解释的,协作项14可以是任何媒体文件、图像、对象、文档或其他可通过头戴式显示设备之一以虚拟形式呈现的项目。协作项14可包括例如,文本、二维和三维图形和环境、音频文件、视频文件、图像文件、电子邮件、演示、联系人、社交图数据、元数据等。
在一些示例中,可由计算设备26通过网络54从远程源、从可操作地连接到计算设备的一个或多个其他输入设备或从可移动计算机可读存储介质58(在此以DVD的形式显示)来接收协作项14。可移动计算机可读存储介质58也可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘等等的形式。在其他示例中,协作项14可从在计算设备26上执行的并生成协作项的应用中接收。
现在还参考图2和3,现在将提供关于通过共享协作系统10的一个示例对协作项14进行协作的活动用户204和数个附加用户242、246和250的描述。图2是物理空间208中的活动用户204的示意图,在该示例中,物理空间208是办公环境。还参考图1,活动用户204可佩戴第一头戴式显示设备38,该第一头戴式显示设备38包括通过其活动用户可查看物理空间208的第一透明显示屏62。第一头戴式显示设备38可包括接收来自物理空间208的具有信号形式的表示物理空间中墙壁、天花板、地板、物体和其他结构或项目的观测信息70的传感器66(诸如摄像机)。在其他示例中,第一头戴式显示设备38还可包括其他输入设备,包括但不限于一个或多个麦克风和眼睛跟踪传感器。
第一头戴式显示设备38可向计算设备26(图2中显示为膝上型计算机)提供与观测信息70对应的观测信息数据74。通过使用观测信息数据74,计算设备26可创建物理空间208的虚拟表示。如以下结合图3详细描述的,该虚拟表示可被用于创建扩充的现实环境,其中几何上定位的虚拟数据被定位于由第一头戴式显示设备38显示的物理空间外观254中。几何上定位的虚拟数据可包括一个或多个被投影到第一头戴式显示设备38的透明显示屏62上的协作项14的表示。通过这种方式,如通过第一头戴式显示设备38的第一透明显示屏62看到的物理空间208的外观可被扩充来包括与协作项14对应的活动用户协作项表示78。此外,活动用户204可通过物理移动或手势来选择或以其他方式操纵几何上定位的数据和其他项目,包括活动用户协作项表示78内的数据和项目。这样的物理移动或手势可包括但不限于,指向一项目来选择或强调该项目、“抓住”一项目并将其移动到不同的几何位置、将一项目从一个协作项表示“投掷”到另一协作项表示等。
如以上提到的,协作项14可包括各种元素并可采取各种形式,包括但不限于,二维和三维图形和环境。图3包括活动用户协作项表示78’的另一示例,其被示为球体的三维表示。
继续参考图2,头戴式显示设备38可以与正在运行协作引擎程序18的膝上型计算机26进行无线通信。通过使用网络54,膝上型计算机26还可以与分别与附加用户242、246和250相关联的第二头戴式显示设备42、第三头戴式显示设备46和第四头戴式显示设备50进行通信。因此,活动用户204和附加用户242、246和250可通过在以下更详细描述的扩充的现实环境来进行实时地交互,包括音频和/或可视通信。
可以理解,更多或更少的附加用户和对应的头戴式显示设备可通过网络54与膝上型计算机26进行通信。还可以理解,附加用户可位于与活动用户204相同的物理位置中,或在活动用户远程的位置处。
现在参考图3,现在将描述如通过第一头戴式显示设备38的透明显示屏62看到的图2的物理空间208的外观(此后称为物理空间外观254)的示意图。如以上解释的,通过使用观测信息数据74,计算设备26可创建物理空间208的虚拟表示。该虚拟表示被用于创建和放置如由活动用户204所看见的物理空间外观254内几何上定位的数据。
参考图1和3,几何上定位的数据可包括与协作项14相对应的活动用户协作项表示78。在图3示出的一个示例中,协作项14可以是描述项目团队的战略目标的文字处理文档。项目团队的成员可包括活动用户204和附加用户242、246和250。如在以下更详细描述的,协作引擎程序18可按对来自协作项14的特定数据进行阻止、允许和/或强调的方式来对如由活动用户204看到的活动用户协作项表示78的内容和/或外观进行自定义。
协作引擎程序18可使得两个或更多个用户能够对协作项14作出实时、同步的编辑。在一个示例中,协作引擎程序18可接收来自于第二头戴式显示设备42和/或与第二附加用户242相关联的对应计算设备(未显示)的附加用户协作项输入82。附加用户协作项输入82可包括例如,对协作项14的一个或多个编辑或修改和/或对协作项的一个或多个部分的强调或突出显示。在其他示例中,附加用户协作项输入82可包括与协作项的一个或多个部分有关的一个或多个许可,其中这样的许可提供或拒绝活动用户204对这些部分的访问。
现在参考图3并且在更具体的示例中,附加用户协作项输入82可包括对在与协作项14对应的“战略目标(Strategic Goals)”活动用户协作项表示78中列出的“目的(Objective)”元素的修改。附加用户协作项输入82可将“Objective”元素更改为值“X”。在接收到附加用户协作项输入82后,协作引擎程序18就可用针对“Objective”的“X”来填充由活动用户204在透明显示屏62上查看的活动用户协作项表示78。可以理解,对“Objective”元素的这个更改可在附加用户242作出了修改后以最少的等待时间下被基本上实时地呈现给活动用户204。
在另一示例中,协作引擎程序18可被配置成可视地扩充物理空间外观254来包括与附加用户中的一个或多个对应的附加用户表示。如图3中显示的,与附加用户42对应的附加用户表示342、与附加用户246对应的附加用户表示346以及与附加用户250对应的附加用户表示350可被提供在物理空间外观254中。为了便于描述,将在以下讨论附加用户表示342。可以理解的是,附加用户表示342的描述可等同地应用到附加用户表示346和350。
附加用户表示342可采取图标、符号、照片、实况视频图像或任何其他表示附加用户242的合适的图像或表示的形式。附加用户表示342还可包括与由附加用户242提供的附加用户协作项输入82对应的附加用户指示符。通过这种方式,在查看附加用户表示342和附加用户协作项输入82后,活动用户204可容易地将输入与附加用户42相关联。
如图3中显示的,在一个示例中,附加用户指示符可包括与附加用户表示342相邻的具有浮动标签352形式的指示符元素。浮动标签352可具有与如显示在活动用户协作项表示78中的附加用户协作项输入82(在以上描述的示例中,针对“Objective”的值“X”)的颜色匹配的颜色(例如,鲜黄绿色)。在另一示例中,浮动标签352可被给予与附加用户协作项输入82的一个或多个特性可视地匹配的一个或多个其他不同的特性。这样的特性可包括但不限于,字体、线宽度以及经动画化的外观。
在另一示例中,附加用户指示符可包括用与如显示在活动用户协作项表示78中的附加用户协作项输入82的颜色匹配的颜色来显示附加用户表示342。在一个示例中,附加用户表示342和如在活动用户协作项表示78中显示的附加用户协作项输入82两者都可用鲜黄绿色来显示。
在另一示例中,活动用户204可能希望定位说特定语言的附加用户。在该示例中,协作引擎程序18可通过以下方式来确定说理想语言的一个或多个附加用户:分析关于附加用户的简档或其他可用数据或解释附加用户在与活动用户204的交互期间说出的语言。在标识出说理想语言的附加用户后,与附加用户对应的附加用户指示符可被给予向活动用户204指示该附加用户说理想语言的不同的可视特性。
在一个示例中,附加用户指示符可包括用与理想语言相关联的国家的旗帜的形式来显示浮动标签352。在另一示例中,附加用户表示342可用与理想语言相关联的国家的旗帜的颜色来显示。在另一示例中,协作引擎程序18可向活动用户204提供将来自附加用户的语音通信从第一语言到理想语言的实时音频翻译。
如以上提到的,协作引擎程序18可使得两个或更多个用户能够对协作项14作出实时的、同步的编辑。在一些示例中,由一个用户对协作项14作出的更改或编辑可能与另一用户作出的更改或编辑相冲突。在更具体的示例中,其中活动用户协作项表示78中的“Objective”元素当前具有值“X”,活动用户204可执行将该值更改到“A”的活动用户动作。相反,附加用户242可执行将该值更改到“B”的附加用户动作。协作引擎程序18可确定附加用户动作与活动用户动作相冲突。基于确定该冲突,协作引擎程序18可建立活动用户204和附加用户242之间的社交连接,该社交连接使得用户能够讨论并可能地解决他们的冲突动作。
在一个示例中,建立社交连接可包括通过经由活动用户204和附加用户204他们各自的第一和第二头戴式显示设备38、42的实况语音或语音会议来连接活动用户204和附加用户242。参考图3,在另一示例中,显示附加用户242的附加用户表示342的私下会议室354可被显示在如活动用户204查看的物理空间外观254中。私下会议室354可促进活动用户204和附加用户242之间的实况语音会议。
在另一示例中,协作引擎程序18可允许一个用户来控制附加用户(如果有的话)中的哪个可更改协作项14或协作项中的特定内容。通过这种方式,用户可关注于特定的内容并对该内容作出更改,而不接收来自其他用户的输入或其他更改。替换地,用户可授予一个或多个附加用户对协作项14或协作项内的特定内容的访问权限。
在更具体的示例中,其中活动用户协作项78是幻灯片组中的一个幻灯片,协作引擎程序18可锁定活动用户协作项幻灯片使得只有活动用户204可修改该幻灯片。附加用户242、246和250中的一个或多个依然可修改幻灯片组中的其他幻灯片。另外,如果活动用户204希望,则附加用户242、246和250中的一个或多个在活动用户对锁定的活动用户项幻灯片的更改被作出时可查看该更改。
协作引擎程序18还可被配置成基于活动用户动作或附加用户动作强调活动用户协作项表示78内的经强调的元素90。在一个示例中并参考图3,协作引擎程序18可确定活动用户24正在查看或以其他方式关注活动用户协作项表示78中的“Target(目标)”项的值“Z”。协作引擎程序18可利用第一头戴式显示设备38中的眼睛跟踪组件(未示出)以及与值“Z”在透明显示屏62上的位置相关联的几何位置数据来作出这个确定。协作引擎程序18接着可放大活动用户协作项表示78内值“Z”的图像来向活动用户204强调该元素。将可以理解,协作引擎程序18可例如通过以下来以其他方式强调值“Z”:用颜色或阴影来突出显示值图像、以三维方式将值图像浮动离开活动用户协作项表示78的二维表面或以其他方式来动画化值图像。在另一示例中,在确定活动用户204正在关注值“Z”后,协作引擎程序18可在活动用户协作项表示78中的值图像旁启动相关呈现。
在另一示例中并还参考图1,协作引擎程序18可确定附加用户中的一个或多个正在查看或以其他方式关注如这样的用户通过他们各自的头戴式显示设备看到的协作项表示中的“Target”项的值“Z”。在一更具体的示例中,协作引擎程序18可确定附加用户242正在查看或以其他方式关注如附加用户242通过第二头戴式显示设备42看到的附加用户协作项表示84中的“Target”项的值“Z”。和第一头戴式显示设备38一样,第二头戴式显示设备42包括第二透明显示屏86,该第二透明显示屏向附加用户242提供附加用户242所位于其中的物理空间的物理空间外观88。
包括“Target”项的值“Z”的附加用户协作项表示84可在第二透明显示屏86上被呈现给附加用户242。在确定附加用户242正在查看或以其他方式关注值“Z”后,协作引擎程序18可通过以下方式向活动用户204警告附加用户242正在关注值“Z”:经由活动用户协作项表示78来向活动用户204强调值“Z”。如图3中显示的,在一个示例中,这样的强调可通过放大值“Z”来提供。
在另一示例中,协作引擎程序18还可被配置成通过从活动用户协作项表示78中阻止经过滤的元素来过滤物理空间外观254。在一个示例中,活动用户204可将协作引擎程序18配置为仅显示由附加用户246提供的对战略目标协作项14的那些编辑。如果附加用户242提供包括对战略目标协作项14的编辑的附加用户协作项输入82,则协作引擎程序18将阻止那些编辑被显示在活动用户协作项表示78中。还可以理解,协作引擎程序18可根据活动用户204的其他偏好来自动地过滤物理空间外观254。例如,协作引擎程序18可使用面部识别技术、语音识别技术和/或附加用户的位置信息来标识这样的附加用户,并然后可根据活动用户204指定的偏好来从物理空间外观254中选择性地显示或阻止这样的用户的附加用户表示。
在另一示例中,协作引擎程序18可被配置成用活动用户204具有许可来查看的经许可的元素92来填充活动用户协作项表示。协作引擎程序18还可被配置成从活动用户协作项表示中阻止活动用户204不具备许可来查看的经过滤的元素。
在一个示例中并参考图3,物理空间外观254可包括具有薪水信息文档形式的与协作项14对应的附加活动用户协作项表示78”。薪水信息文档可包括第一组雇员和第二组雇员的薪水信息。活动用户204可以是包括George、Jen和Fred的第一组雇员中的成员。活动用户204可以不是包括Ginger和Tony的第二组雇员中的成员。由此,活动用户204可具有许可来查看该活动用户是其成员的第一组雇员的薪水信息。活动用户204可能不具有许可来查看该活动用户不是其成员的第二组雇员的薪水信息。因此,物理空间外观254可显示薪水信息文档的活动用户协作项表示78”,该活动用户协作项表示78”仅仅显示活动用户204具有许可来查看的第一组雇员的薪水信息。
附加用户中的一个或多个(诸如附加用户242)可具有关于薪水信息文档的不同的许可。因此,具有不同薪水信息的不同协作项表示可被提供给附加用户242。例如,如果附加用户242是第二组雇员但不是第一组雇员的成员,那么提供给附加用户242的物理空间外观88可显示薪水信息文档的仅仅显示第二组雇员的薪水信息的附加用户协作项表示。
在另一示例中,物理空间外观254中靠近附加用户表示342的浮动标签352可指示附加用户242所持有的一个或多个许可。例如,并参考以上关于第一组和第二组雇员以及他们对应的薪水信息所描述的示例,薪水信息文档的活动用户协作项表示78”可用品蓝色来显示第一组的雇员姓名和相关联的薪水。相反,在提供给附加用户242的物理空间外观88中显示的附加用户协作项表示可用糖果苹果红来显示第二组的雇员姓名和相关联的薪水。由于附加用户242具有许可来查看仅第二组的薪水信息,物理空间外观254中的浮动标签352可用糖果苹果红来上色以向活动用户204指示这样的许可。通过这种方式,活动用户204可容易地辨别附加用户242具有许可来仅仅查看与糖果苹果红浮动标签252相关联的第二组薪水信息。
在另一示例中并参考图1,活动用户204可生成活动用户协作项输入94,诸如对战略目标协作项14的编辑。协作引擎程序18可从例如第一头戴式显示设备38、诸如在计算设备26上的文字处理程序的应用和/或诸如键盘、触摸屏等另一输入设备来接收这样的活动用户协作项输入94。协作引擎程序18可将活动用户协作项输入94发送到与附加用户242相关联的第二头戴式显示设备42。活动用户协作项输入94可被添加到在如通过第二头戴式显示设备42的第二透明显示屏86看到的物理空间外观88中显示的附加用户协作项表示84。
图4A和4B示出了根据本公开的一实施例的用于使得活动用户能够与附加用户以及协作项进行交互的方法400的流程图。参考以上描述并在图1-3中示出的共享协作系统10的软件和硬件组件来提供方法400的以下描述。可以理解,方法400还可在使用其他合适的硬件和软件组件的其他上下文中来执行。
参考图4A,在404,方法400包括从与活动用户204相关联的第一头戴式显示设备38接收物理空间208的观测信息70。在408,方法400包括接收协作项14。如以上提到的,协作项14可经由网络54从远程源、从可移动计算机可读存储介质58、从在计算设备26上执行以生成协作项14的应用等来接收。
在412,方法400包括接收由附加用户242提供的附加用户协作项输入82。在416,方法可任选地包括接收由活动用户204提供的活动用户协作项输入94。在420,方法400还可任选地包括将活动用户协作项输入94发送到与附加用户242相关联的第二头戴式显示设备42。
在424,方法400包括可视地扩充如通过第一头戴式显示设备38看到的物理空间外观254来包括活动用户协作项表示78,诸如图2中显示的战略目标文档的表示。在428,方法400包括用附加用户协作项输入82来填充活动用户协作项表示78。
在432,方法400任选地包括用活动用户204具有许可来查看的所许可的元素92来填充活动用户协作项表示78。在436,方法还任选地包括从活动用户协作项表示78中阻止经过滤的元素。
在440,方法400任选地包括基于活动用户动作或附加用户动作强调活动用户协作项表示78内的经强调的元素90。在444,方法400还任选地包括确定活动用户204正在执行更改协作项14的活动用户动作。在这种情况下,在448,方法400可包括确定附加用户242正在执行以与活动用户动作产生的更改相冲突的方式来更改协作项14的附加用户动作。现在参考图4B,在452并且基于活动用户动作和附加用户动作,方法400包括建立活动用户204和附加用户242之间的社交连接。如以上描述的,这样的社交连接可促进活动用户204和附加用户242解决他们的更改之间的冲突。
在456,方法400可任选地包括可视地扩充物理空间外观254来包括附加用户242的附加用户表示342,该附加用户表示342包括与附加用户协作项输入82对应的附加用户指示符。在460,附加用户指示符可任选地采取靠近附加用户表示342的指示符元素的形式,诸如浮动标签352。在464,附加用户指示符可任选地采取与附加用户协作项输入的附加用户协作输入颜色对应的附加用户表示的附加用户颜色。
图5示意性示出了可以执行上述方法和过程之中的一个或更多个的计算设备500的非限制性实施例。以简化形式示出了计算设备500。应当理解,可使用基本上任何计算机架构而不背离本公开的范围。在不同实施例中,计算设备500可采用以下形式:台式计算机、诸如膝上型、笔记本或平板计算机之类的移动计算设备、网络计算机、家庭娱乐计算机、交互式电视、游戏系统等。此外,在某些实施例中,此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库、和/或包括一个或多个计算机的计算系统中的其他计算机程序产品。
如图5所示,计算设备500包括逻辑子系统510、数据保持子系统520、显示子系统530以及通信子系统540。计算设备500可任选地包括图5中未示出的其他子系统和组件。除了安装在头部的显示设备之外,计算设备500还可以任选地包括诸如键盘、鼠标、游戏控制器、相机、话筒和/或触摸屏等之类的用户输入设备。
逻辑子系统510可包括被配置为执行一个或多个指令的一个或多个物理设备。例如,逻辑子系统可被配置为执行一个或多个指令,该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造的部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。
逻辑子系统510可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换,逻辑子系统510可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统510的处理器可以是单核或多核,且在其上执行的程序可被配置为并行或分布式处理。处理器可以任选地包括分布在两个或更多个设备之中的独立组件,这些设备可远程放置和/或被配置为进行协同处理。处理器的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
数据保持子系统520可包括一个或多个物理、非瞬态设备,这些设备被配置成保持数据和/或可由逻辑子系统510执行的指令,以实现此处描述的方法和过程。在实现这样的方法和过程时,可以变换数据保持子系统520的状态(例如,以保持不同的数据)。
数据保持子系统520可包括可移动介质和/或内置设备。数据保持子系统520尤其可以包括光学存储器设备(例如,CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如,RAM、EPROM、EEPROM等)和/或磁存储器设备(例如,硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)。数据保持子系统520可包括具有以下特性中的一个或多个特性的设备:易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中,可以将逻辑子系统510和数据保持子系统520集成到一个或更多个常见设备中,如专用集成电路或片上系统。
图5还示出可移动计算机可读存储介质550形式的数据保持子系统520的一方面,该可移动计算机可读存储介质可用于存储和/或传输可执行以实现此处所述的方法和过程的数据和/或指令。可移动计算机可读存储介质550尤其是可以采取图1中示出的DVD 58、CD、HD-DVD、蓝光盘、EEPROM和/或软盘的形式。
可以明白,数据保持子系统520包括一个或多个物理的、非瞬时的设备。相反,在一些实施例中,本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外,与本发明有关的数据和/或其他形式的信息可以通过纯信号传播。
显示子系统530包括配置成呈现由数据保持子系统520保持的数据的可视表示的一个或多个图像显示系统,诸如第一头戴式显示设备38。由于本文所描述的方法和过程改变由数据保持子系统520保持的数据,并由此变换数据保持子系统的状态,因此同样可以变换显示子系统530的状态以在视觉上表示底层数据的改变。
通信子系统540可以被配置成将计算设备500与一个或多个网络和/或一个或多个其他计算设备可通信地耦合。通信子系统540可包括与一个或多个不同的通信协议相兼容的有线和/或无线通信设备。作为非限制性示例,该通信子系统540可以被配置成经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在某些实施例中,通信子系统540可允许计算设备26经由诸如因特网之类的网络向其他设备发送信息和/或从其他设备接收信息。
术语“程序”可用于描述被实现来执行一个或多个特定功能的共享协作系统10的一个方面。在某些情况下,可通过逻辑子系统510执行由数据保持子系统520所保持的指令来实例化这一程序。可以理解,可以从同一应用、服务、代码块、对象、库、例程、API、函数等来实例化不同的程序。类似地,可以由不同的应用、服务、代码块、对象、例程、API、函数等来实例化同一程序。术语“程序”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解,此处所述的配置和/或方法在本质上是示例性的,并且这些具体实施例或示例不应被认为是局限性的,因为多个变体是可能的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此,所示出的各个动作可以按所示次序执行、按其他次序执行、并行地执行、或者在某些情况下被省略。同样,可以改变上述过程的次序。
本公开的主题包括各种过程、系统和配置、此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物的所有新颖和非显而易见的组合和子组合。

Claims (10)

1.一种用于使得活动用户能够与至少一个附加用户以及至少一个协作项进行交互的系统,包括:
用于接收来自头戴式显示设备的表示物理空间的观测信息数据的装置;
用于接收所述至少一个协作项的装置;
用于接收来自所述至少一个附加用户的附加用户协作项输入的装置;
用于可视地扩充通过所述头戴式显示设备的透明显示屏看到的所述物理空间的外观来包括活动用户协作项表示的装置;以及
用于用来自所述至少一个附加用户的附加用户协作项输入来填充所述活动用户协作项表示的装置。
2.如权利要求1所述的系统,其特征在于,还包括用于用所述活动用户具有许可来查看的经许可的元素来填充所述活动用户协作项表示的装置。
3.如权利要求1所述的系统,其特征在于,还包括用于从所述活动用户协作项表示中阻止所述活动用户不具有许可来查看的经过滤的元素的装置。
4.如权利要求1所述的系统,其特征在于,还包括用于从所述活动用户协作项表示中阻止已经被过滤的经过滤的元素的装置。
5.如权利要求1所述的系统,其特征在于,
还包括用于可视地扩充通过所述头戴式显示设备的所述透明显示屏看到的所述物理空间的外观来包括所述至少一个附加用户的附加用户表示的装置,所述附加用户表示包括与所述附加用户协作项输入对应的附加用户指示符。
6.如权利要求5所述的系统,其特征在于,所述附加用户指示符包括靠近于所述附加用户表示的指示符元素。
7.一种用于使得活动用户能够与至少一个附加用户以及至少一个协作项进行交互的方法,包括:
接收来自头戴式显示设备的表示物理空间的观测信息数据;
接收至少一个协作项;
接收来自所述至少一个附加用户的附加用户协作项输入;
可视地扩充通过所述头戴式显示设备的透明显示屏看到的所述物理空间的外观来包括活动用户协作项表示;以及
用来自所述至少一个附加用户的附加用户协作项输入来填充所述活动用户协作项表示。
8.如权利要求7所述的方法,其中所述头戴式显示设备是第一头戴式显示设备,所述至少一个附加用户具有第二头戴式显示设备,并且所述方法还包括:
接收由所述活动用户提供的活动用户协作项输入;
将所述活动用户协作项输入发送到所述第二头戴式显示设备以供在附加用户协作项表示中显示。
9.如权利要求7所述的方法,其特征在于,还包括:
可视地扩充通过所述头戴式显示设备的所述透明显示屏看到的所述物理空间的外观来包括所述至少一个附加用户的附加用户表示,所述附加用户表示包括与所述附加用户协作项输入对应的附加用户指示符。
10.如权利要求9所述的方法,其特征在于,所述附加用户指示符包括与所述附加用户协作项输入的附加用户协作输入颜色对应的附加用户表示的附加用户颜色。
CN201210500689.5A 2011-11-30 2012-11-29 使用头戴式显示的共享协作 Active CN103150012B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/308,350 2011-11-30
US13/308,350 US9063566B2 (en) 2011-11-30 2011-11-30 Shared collaboration using display device

Publications (2)

Publication Number Publication Date
CN103150012A CN103150012A (zh) 2013-06-12
CN103150012B true CN103150012B (zh) 2016-11-23

Family

ID=48466359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210500689.5A Active CN103150012B (zh) 2011-11-30 2012-11-29 使用头戴式显示的共享协作

Country Status (3)

Country Link
US (1) US9063566B2 (zh)
CN (1) CN103150012B (zh)
WO (1) WO2013082041A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US9003365B1 (en) * 2012-07-19 2015-04-07 Google Inc. Rapid presentations of versions
TWI637312B (zh) * 2012-09-19 2018-10-01 三星電子股份有限公司 用於在透明顯示裝置顯示資訊的方法、顯示裝置及電腦可讀記錄媒體
US9607438B2 (en) 2012-10-22 2017-03-28 Open Text Corporation Collaborative augmented reality
US9104881B2 (en) * 2013-03-29 2015-08-11 Google Inc. Identifying unauthorized content presentation within media collaborations
JP2014219448A (ja) * 2013-05-01 2014-11-20 コニカミノルタ株式会社 表示システム、表示方法、表示端末および表示プログラム
US20140368537A1 (en) * 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
US9386270B2 (en) 2014-01-15 2016-07-05 Cisco Technology, Inc. Displaying information about at least one participant in a video conference session
KR20150133496A (ko) * 2014-05-20 2015-11-30 (주)에프엑스기어 네트워크를 통해 헤드마운트형 디스플레이 장치를 포함하는 수신기에 영상을 전송하는 방법과, 이를 위한 송신기, 중계 서버 및 수신기
JP6693507B2 (ja) * 2015-03-30 2020-05-13 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
US9726885B2 (en) 2015-03-31 2017-08-08 Timothy A. Cummings System for virtual display and method of use
EP3082017A1 (en) * 2015-04-15 2016-10-19 Thomson Licensing Method and system for displaying additional information associated with a content via an optical head mounted display device
US9818228B2 (en) 2015-08-07 2017-11-14 Microsoft Technology Licensing, Llc Mixed reality social interaction
US9922463B2 (en) 2015-08-07 2018-03-20 Microsoft Technology Licensing, Llc Virtually visualizing energy
US10318225B2 (en) * 2015-09-01 2019-06-11 Microsoft Technology Licensing, Llc Holographic augmented authoring
CA3017795A1 (en) * 2016-03-22 2017-09-28 Magic Leap, Inc. Head mounted display system configured to exchange biometric information
CN105898694A (zh) * 2016-04-06 2016-08-24 众景视界(北京)科技有限公司 用于定位及信息交互的方法、头戴式可视设备及服务器
EP3539087B1 (en) * 2016-11-14 2022-11-02 Logitech Europe S.A. A system for importing user interface devices into virtual/augmented reality
US10482665B2 (en) 2016-12-16 2019-11-19 Microsoft Technology Licensing, Llc Synching and desyncing a shared view in a multiuser scenario
US10282908B2 (en) * 2016-12-16 2019-05-07 Lenovo (Singapore) Pte. Ltd. Systems and methods for presenting indication(s) of whether virtual object presented at first device is also presented at second device
CN109643530A (zh) * 2017-03-24 2019-04-16 外科手术室公司 用于在虚拟环境中进行训练和协作的系统和方法
US11782669B2 (en) * 2017-04-28 2023-10-10 Microsoft Technology Licensing, Llc Intuitive augmented reality collaboration on visual data
CN108169761A (zh) * 2018-01-18 2018-06-15 上海瀚莅电子科技有限公司 火场任务确定方法、装置、系统及计算机可读存储介质
DE102018203865A1 (de) 2018-03-14 2019-09-19 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen von Informationen durch ein Augmented-Reality-Gerät, Verfahren und Vorrichtung zum Bereitstellen von Informationen zur Steuerung einer Anzeige eines Augmented-Reality-Gerätes, Verfahren und Vorrichtung zur Steuerung einer Anzeige eines Augmented-Reality-Gerätes, computerlesbares Speichermedium mit Instruktionen zur Durchführung der Verfahren
US10902684B2 (en) * 2018-05-18 2021-01-26 Microsoft Technology Licensing, Llc Multiple users dynamically editing a scene in a three-dimensional immersive environment
EP3736706B1 (en) * 2019-05-06 2022-07-27 Bentley Systems, Incorporated Locking of spatial regions of fully-connected large-scale multi-dimensional spatial data for collaborative updating
EP3736707B1 (en) * 2019-05-07 2022-07-20 Bentley Systems, Incorporated Techniques for concurrently editing fully connected large-scale multi-dimensional spatial data
US11191005B2 (en) * 2019-05-29 2021-11-30 At&T Intellectual Property I, L.P. Cyber control plane for universal physical space
US11107291B2 (en) 2019-07-11 2021-08-31 Google Llc Traversing photo-augmented information through depth using gesture and UI controlled occlusion planes
DE102021100653B3 (de) 2021-01-14 2022-04-07 Hochschule Anhalt (FH) , Körperschaft des öffentlichen Rechts Verfahren und Vorrichtungen zum Registrieren von Koordinatensystemen von zumindest zwei Anzeigegeräten für virtuelle Objekte, Computerprogramm zur Durchführung eines solchen Verfahrens, sowie Anzeigegerät

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1707308A (zh) * 2004-05-06 2005-12-14 奥林巴斯株式会社 头戴式显示装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6340977B1 (en) * 1999-05-07 2002-01-22 Philip Lui System and method for dynamic assistance in software applications using behavior and host application models
US20020010734A1 (en) * 2000-02-03 2002-01-24 Ebersole John Franklin Internetworked augmented reality system and method
US7312766B1 (en) 2000-09-22 2007-12-25 Canadian Space Agency Method and system for time/motion compensation for head mounted displays
JP2004287063A (ja) 2003-03-20 2004-10-14 Miyota Kk ヘッドマウントディスプレイ
EP2136324A3 (en) 2003-07-08 2011-01-05 US Lynx LLC An automated publishing system that facilitates collaborative editing and accountability through virtual document architecture
US7302274B2 (en) 2003-09-19 2007-11-27 Nokia Corporation Method and device for real-time shared editing mobile video
US20050138566A1 (en) * 2003-12-17 2005-06-23 International Business Machines Corporation User interface, method, system and program product for managing collaboration data
US7818679B2 (en) 2004-04-20 2010-10-19 Microsoft Corporation Method, system, and apparatus for enabling near real time collaboration on an electronic document through a plurality of computer systems
US6947219B1 (en) 2004-06-02 2005-09-20 Universal Vision Biotechnology Co., Ltd. Focus adjustable head mounted display system for displaying digital contents and device for realizing the system
US8826375B2 (en) 2008-04-14 2014-09-02 Lookwithus.Com Inc. Rich media collaboration system
US20100095198A1 (en) 2008-10-15 2010-04-15 Apple Inc. Shared comments for online document collaboration
US20100186072A1 (en) * 2009-01-21 2010-07-22 Akshay Kumar Distributed secure telework
EP2404246A1 (en) 2009-03-05 2012-01-11 Epals, Inc. System and method for managing and monitoring electronic communications
KR20110070514A (ko) 2009-12-18 2011-06-24 한국전자통신연구원 헤드 마운트 디스플레이 장치 및 3차원 그래픽 사용자 인터페이스 상에서 3차원 공간 터치를 제어하는 방법
EP2691935A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1707308A (zh) * 2004-05-06 2005-12-14 奥林巴斯株式会社 头戴式显示装置

Also Published As

Publication number Publication date
CN103150012A (zh) 2013-06-12
US9063566B2 (en) 2015-06-23
WO2013082041A1 (en) 2013-06-06
US20130135180A1 (en) 2013-05-30

Similar Documents

Publication Publication Date Title
CN103150012B (zh) 使用头戴式显示的共享协作
Kingsley et al. Development of a virtual reality platform for effective communication of structural data in drug discovery
Wang et al. Mixed reality in architecture, design, and construction
Di Franco et al. 3D printing and immersive visualization for improved perception of ancient artifacts
Marks et al. Towards the Holodeck: fully immersive virtual reality visualisation of scientific and engineering data
Malinverni et al. The world-as-support: Embodied exploration, understanding and meaning-making of the augmented world
Dominguez Rubio et al. Materials in the field: Object-trajectories and object-positions in the field of contemporary art
Febretti et al. Omegalib: A multi-view application framework for hybrid reality display environments
Fender et al. Causality-preserving asynchronous reality
CN105122304A (zh) 使用增强现实的对居住空间的实时设计
Fanini et al. Engaging and shared gesture-based interaction for museums the case study of K2R international expo in Rome
CN105593856A (zh) 适应位置图的视频游戏
KR20140081840A (ko) 모션으로 제어되는 리스트 스크롤 방법
Malinverni et al. A conceptual framework to compare two paradigms of augmented and mixed reality experiences
Fox et al. Parody in place: Exposing socio-spatial exclusions in data-driven maps with design parody
Kunz et al. Tangible tabletops for emergency response: an exploratory study
WO2014126497A1 (ru) Автоматическая съемка и монтаж видеоролика
Ornes Virtual reality helps shape and respond to artistic impulses
Fanini et al. Building blocks for multi-dimensional WebXR inspection tools targeting cultural heritage
Waje et al. Grab this, swipe that: Combining tangible and gestural interaction in multiple display collaborative gameplay
Rehring et al. Put your glasses on: Conceptualizing affordances of mixed and virtual reality for enterprise architecture management
Men et al. Designing privacy for collaborative music making in virtual reality
Febretti et al. The OmegaDesk: towards a hybrid 2D and 3D work desk
Vodilka et al. Designing a Workplace in Virtual and Mixed Reality Using the Meta Quest VR Headset
Wood Where codes collide: The emergent ecology of avatar

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150717

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150717

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant