CN113841109B - 增强现实设备中社交相关用户参与指示器的系统和方法 - Google Patents
增强现实设备中社交相关用户参与指示器的系统和方法 Download PDFInfo
- Publication number
- CN113841109B CN113841109B CN202080036578.6A CN202080036578A CN113841109B CN 113841109 B CN113841109 B CN 113841109B CN 202080036578 A CN202080036578 A CN 202080036578A CN 113841109 B CN113841109 B CN 113841109B
- Authority
- CN
- China
- Prior art keywords
- user
- activity
- indicator
- data
- indicative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 15
- 230000000694 effects Effects 0.000 claims abstract description 91
- 238000012544 monitoring process Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims description 23
- 238000007654 immersion Methods 0.000 claims description 13
- 230000000750 progressive effect Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000003213 activating effect Effects 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000000981 bystander Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 241001122315 Polites Species 0.000 description 1
- 206010038743 Restlessness Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明涉及增强现实(AR)中用户活动的指示器设备。该指示器设备包括:指示器模块,其被配置并且可操作以向至少一个用户的旁观者生成至少一个信号,该信号指示与用户活动相关的至少一个社交相关参数;以及可连接到指示器模块的监控模块,该监控模块被配置且可操作以接收和处理与用户活动相关的数据,确定用户是否处于对应于特定社交相关参数的特定状态,并且在识别出特定用户状态时激活指示器模块。
Description
技术领域
本发明属于适合于将图像投影到用户眼睛以用于向用户提供增强现实或虚拟现实的体验的可佩戴/头戴式图像投影系统的领域。更具体地,它涉及用于增强现实(AR)的用户参与(user engagement)指示器的技术。
背景技术
下面列出了被认为作为背景与目前公开的主题相关的参考文献:
-美国专利8,531,590。
上述参考文献的承认在本文不应被推断为意指这些以任何方式与目前公开的主题的专利性相关。
背景
用于将虚拟和/或增强的虚拟现实投影到用户眼睛的头戴式或其他方式的可佩戴的图像投影系统正变得越来越流行。这种系统在很多情况下被配置为可戴在用户头部上的眼镜,并且可操作用于将图像投影到用户的眼睛以向用户提供虚拟现实图像/视频投影。为此,某些已知系统旨在向用户眼睛提供纯虚拟现实图像投影,其中来自外部景物(scenery)的光被阻挡而不能到达眼睛。其他系统旨在提供增强的虚拟现实感知,其中来自外部景物的光被允许传递到眼睛,同时还被图像投影系统投影到眼睛的图像/视频帧增强/叠加。
增强现实(AR)提供了对数字内容的即时、无处不在和谨慎的访问,以及简单直观的协作。因此,可佩戴AR设备得到了更广泛的采用。然而,一个人(或几个人)在公共或社交环境中与对其他人不可见的虚拟内容交互可能会造成社交上令人不舒服的情况。这与当前常见的情况形成对比,在当前常见的情况下,与之交互的对象(例如,书、笔记本电脑、智能手机、头戴式耳机)的常见可见性、以及用户对它们的清晰可见的关注(指向屏幕的注视、塞入头戴式耳机的耳朵等)向旁观者提供用户正在与什么交互的清晰指示。
总体概述
本领域需要提供一种能够避免这种令人不舒服情况的技术。为此,本发明提供了一种用于AR用户参与指示器的新技术。这可以通过使用外部指示器来实现,该外部指示器被配置成并且可操作来向旁观者显示(即,清楚地用信号表示)关于AR中的用户活动的社交相关信息。尽管在以下描述中,术语“旁观者”以单数形式使用,但是在用户环境中的人数不是本发明的一部分,并且本发明不限于任意数量的旁观者。因此参与指示器设备是可操作的以向周围环境指示用户的参与/关注是给到真实内容还是经由AR系统提供给他的虚拟内容。
因此,根据本发明的广泛方面,提供了一种增强现实(AR)中用户活动的指示器设备。指示器设备包括:指示器模块,其被配置并且可操作以向至少一个用户的旁观者生成至少一个信号,该信号指示与用户活动相关的至少一个社交相关参数;以及可连接到指示器模块的监控模块,该监控模块被配置且可操作以接收和处理与用户活动相关的数据,确定用户是否处于对应于特定社交相关参数的特定状态,并且在识别出特定用户状态时激活指示器模块。与用户活动相关的数据可以包括指示当前用户活动的数据和/或指示至少一个用户活动的参考数据模式和/或指示呈现给用户的虚拟内容的数据和/或与用户的当前现实世界环境相关的数据和/或指示用户随时间的注视方向的数据。指示器设备可以是独立设备,或者可以被配置为集成在任何可佩戴的增强/虚拟现实系统中。例如,指示器设备可以是一个完整和独立的子系统,旨在向旁观者提供信息。头戴式或其他方式可佩戴的图像投影系统可以与本发明的新颖指示器设备一起使用,将虚拟和/或增强虚拟现实投影到用户眼睛。这种系统可以被配置为可安装在用户头部的眼镜。本发明不限于使用对用户眼睛的纯虚拟现实图像投影,其中来自外部景物的光被阻挡而不能到达眼睛。本发明也不限于使用增强的虚拟现实感知,其中来自外部景物的光被允许传递到眼睛,同时也被图像投影系统投影到眼睛的图像/视频帧增强/叠加。
社交相关参数可以是记录活动和/或沉浸状态和/或注意力集中状态和/或空间活动。指示器模块可以是视觉指示器模块和/或听觉指示器模块。
在一些实施例中,指示器模块可在开/关、渐进(gradual)操作模式和指示特定社交参数的操作模式中的至少一种模式下操作。渐进操作模式可以指示用户状态的水平。
在一些实施例中,监控模块被配置并可操作以处理与用户活动相关的数据以确定特定的用户状态。
在一些实施例中,监控模块被配置并可操作以处理指示当前用户活动的数据以确定用户的记录活动。
在一些实施例中,监控模块被配置并可操作以接收指示用户注视方向的时间模式的数据,处理数据以识别特定模式,将所识别的模式与指示至少一个用户活动的一个或多个参考模式比较以确定匹配模式,并且在确定匹配模式时,相应地激活指示器模块。
在一些实施例中,监控模块被配置并可操作以识别在虚拟内容的3D位置和用户的注视方向之间的对应关系。
在一些实施例中,指示器模块被配置并且可操作以生成多个信号,每个信号指示不同类型的用户活动。
根据本发明的另一个广泛方面,提供了一种用于指示AR用户活动的方法。该方法包括接收和处理与用户活动相关的数据;识别用户是否处于与特定社交相关参数对应的特定用户状态;以及生成指示与用户活动相关的至少一个社交相关参数的至少一个信号给旁观者。生成信号的过程可以包括激活以下操作模式中的至少一种:开/关、渐进和指示具体的社交参数的操作模式。这可以通过产生视觉或听觉信号来实现。
在一些实施例中,方法还包括在识别出特定用户状态时激活指示器设备。
在一些实施例中,方法还包括确定用户活动的类型。
在一些实施例中,方法还包括生成指示用户活动类型的至少一个信号。
在一些实施例中,处理指示呈现给用户的虚拟内容的数据包括确定被虚拟内容遮挡的用户视野的量。
在一些实施例中,处理过程包括在数据中识别特定模式,将所识别的模式与指示至少一个用户活动的一个或更多个参考模式比较以确定匹配模式,以及在确定匹配模式时,生成对应于特定社交参数的至少一个信号。
在一些实施例中,处理过程包括基于指示呈现给用户以确定与活动相关的空间状态的虚拟内容的数据和指示至少一个用户活动的参考数据模式,来预测用户移动的范围,该活动可导致用户在不知道其周围环境的情况下突然移动,以下称为“空间活动”。
在一些实施例中,处理过程包括识别在虚拟内容的3D位置和用户的注视方向之间的对应关系。
附图简述
为了更好地理解本文中所公开的主题并且为举例说明如何可以在实践中执行该主题,现在将参考附图仅通过非限制性示例的方式来描述实施例,在附图中:
图1是示出本发明设备的主要功能元件的示意性框图;
图2是示出本发明的方法的主要过程的示意性流程图;
图3是根据本发明一些实施例的设备的具体配置的可能图示。
具体实施方式
本发明旨在防止与使用AR活动相关的社交尴尬情况。以下是不清楚的AR活动导致社交失礼(social faux pas)的用例的示例(在所有这些用例中,爱丽丝戴着她的AR眼镜;鲍勃没有):
·爱丽丝和鲍勃参加聚会;爱丽丝看着鲍勃,同时和她的朋友在线聊天。鲍勃很担心,因为他认为爱丽丝可能会在给他拍照,并发到网上,但他太礼貌了,没有问。
·鲍勃向爱丽丝打招呼,尽管她直视着鲍勃,但她没有反应。鲍勃很困惑;事实上,爱丽丝根本看不到也听不到他,因为她正在AR里看演唱会,而这完全遮挡了她的视野。
·在火车上,爱丽丝专注地盯着鲍勃的胸部;鲍勃很困惑,有点不安。事实上,爱丽丝正在检查她的电子邮件,而电子邮件小部件恰好在鲍勃胸部的视线上。
·爱丽丝和鲍勃在说话;爱丽丝不时在门口瞥一眼;每次她这样做的时候,鲍勃也会自动地看着那里,期待有人进来;事实上,爱丽丝正在阅读从她姐姐那里收到的信息。
AR设备的舒适外形因素使其即使在不经常使用时也能佩戴(例如与现在的头戴式耳机形成对比)。因此,当使用头戴式耳机的相关的社交消息“我明显戴着头戴式耳机,因此我听不到你”无法转化成“我戴着AR眼镜,因此我看不见你”。此外,最小化AR平视显示器(例如,位于某人视野边缘的计时器)的社交含义与完全沉浸式环绕体验非常不同,后者本质上让用户对外部世界不可见。本发明解决了这两个需求。为了避免上述示例中描述的不愉快情况,本发明允许AR设备向旁观者清楚地发信号说明关于用户AR活动的社交相关信息,而不损害用户的隐私。
参考图1,通过框图的方式示出了增强/虚拟现实(AR)中的用户活动的指示器设备。指示器设备被配置用于反映用户的AR设备中的用户活动。“AR设备”通常指能够显示仅对其用户可见的视觉内容的设备,例如智能眼镜。指示器设备100包括:一个或更多个指示器模块102,其被配置并且可操作以针对至少一个用户的旁观者生成至少一个信号(例如,视觉或听觉信号),该信号指示与用户活动相关的至少一个社交相关参数;以及可连接到指示器模块102的监控模块104,该监控模块104被配置并且可操作以接收和处理与用户活动相关的数据,确定用户是否处于与特定社交相关参数相对应的特定状态,并且在识别出特定用户状态时激活指示器模块。与用户活动相关的数据可以包括指示当前用户活动的数据和/或指示至少一个用户活动的参考数据模式和/或指示呈现给用户的虚拟内容的数据和/或与用户的当前现实世界环境相关的数据和/或指示用户随时间的注视方向的数据。用户状态是指用户与AR内容交互(例如,AR内容的存在、类型和3D位置的识别)并且不能与环境交互的情况和/或用户执行特定活动的情况和/或用户以特定参与水平与AR内容交互的情况。特定活动包括记录活动和参与“空间活动”。特定参与水平包括当与任何AR内容交互时特定水平阈值(例如,持续时间、音量或视野或视角)。
在这点上,应当理解监控模块104接收特定数据,并以不同的方式处理该数据,以便识别不同的有问题的社交相关参数。社交相关参数是指通过不同信号传达给旁观者的不同类型的信息。它们可以指示记录活动和/或沉浸状态和/或注意力集中状态和/或空间活动。指示器模块102生成指示社交相关参数的至少一个通知信号。
更具体地说,记录活动通知环境用户正在记录音频、视频或图像以为个人使用,而不考虑为了正常设备功能(收听语音命令、视觉定位等)而完成的连续不断进行的记录。以这种方式,在激活记录信号时旁观者意识到如果他被放置在用户的视野中,用户记录他出现的数据。如果需要,旁观者应该离开用户的视野,不出现在帧中,或者与用户交流。相反,如果记录信号关闭(即不开启),旁观者可以合理地假设他没有被记录。监控模块104和指示器模块102中的每一个可以包括通信实用工具(utility),以分别发送和接收通知数据。更具体地,监控模块104处理与操作系统可用的当前运行的应用相关的数据(例如,它们的许可),并确定记录状态是否被识别(即,是否有“供个人使用的记录”在进行)。在一些实施例中,记录信号是最强的信号,甚至从外围也是可见的,因为它传达了用户的自愿的隐私侵犯。例如,使用了一个闪烁的红灯,这是非常明显和引人注目的。
沉浸状态通知环境用户的感官被数字内容占据。沉浸信号可以按照重要性的顺序排在记录信号之后。它需要对希望与用户建立通信的旁观者可见。例如,为了激活沉浸状态,监控模块可以如下进行:接收和处理AR内容数据和用户定位数据,以确定用户的视野有多少被AR内容遮挡;当识别出用户视野被遮挡的特定阈值(例如50%),激活指示器模块。在一些实施例中,沉浸状态可以以尺度方式(scale manner)显示,该尺度方式指示用户的感官(视觉和听觉分别)有多少被数字内容占据,或者用户有多沉浸在AR中,或者相反地,用户对他们的现实世界环境有多了解。以这种方式,在激活沉浸状态信号时,旁观者意识到用户部分地或者没有意识到他周围的现实世界。例如,渐进的尺度能够区分“无AR”、“一点AR”、“几乎完全沉浸”和“完全AR”。多个光模块可以被连续激活对应于被遮挡的用户视野的不同的量。
注意力集中状态通知环境用户当前注意力集中于虚拟内容或与之交互。以这种方式,在注意力集中状态信号被激活时,旁观者意识到用户被占用,并且不会关注与环境的任何交互,即使他的视野没有被虚拟内容遮挡。注意力集中状态可以比记录活动和沉浸状态更微妙。注意力集中状态可以当用户和旁观者已经在通信时被使用,或者用于防止他们之间的错误通信。例如,为了激活注意力集中状态信号,监控模块可以如下进行:接收和处理眼睛跟踪数据以确定注视方向和3D注视点;接收和处理来自于世界映射的数据结合AR内容数据,以确定用户正在看什么;如果用户正在观看AR内容,则执行眼睛运动模式分析以推断用户的活动类型和背景;确定用户当前是否正在积极参与他正在观看的AR内容;当识别出用户当前对AR内容的活跃参与,激活指示器模块。
空间活动通知旁观者,用户参与一项活动,这可能会导致他们在没有意识到周围环境的情况下突然移动。以这种方式,在激活空间活动信号时,旁观者被警告用户可能突然移动。在一些实施例中,空间信号是最强的信号,甚至从外围也可感知,因为它将用户可能的身体伤害传达给旁观者。
指示器模块102生成至少一个信号,该信号能够被不同于用户的人感知(例如,可见或可听),而不需要特殊装备。更具体地,指示器模块102可以包括产生不同信号的多个不同光模块或者产生不同光信号的一个光模块(例如,小型LED)。信号可以具有不同的颜色和/或可以由具有不同设计(例如形状)的单元显示和/或可以是二元的(开/关)和/或可以具有不同的强度(例如亮度)。如果信号是二元的,它们可具有不同的频率(即不同的开/关周期)。附加地或替代地,指示器模块102可以包括产生可听声音信号的扬声器。设备的不同元件相互通信,并且可以不被放置在相同的环境中。每个信号指示旁观者可识别的不同社交参数。此外,信号可以指示不同类型的活动(例如,听音乐、看视频、和某人说话)。例如,具体的颜色可与具体的类型的活动相关联。根据用户状态的水平,不同的信号可以是渐进的。为此,监控模块104处理接收到的数据,以确定虚拟活动占据的视野的比例。例如,在沉浸或注意力集中状态下,沉浸或注意力集中的水平可以被旁观者识别和注意到。
通常,监控模块104可以是处理器、控制器、微控制器或任何种类的集成电路。监控模块104通常被配置为计算/电子实用工具,其包括尤其是这样的实用工具,例如数据输入和输出模块/实用工具104A和104D、存储器104C(即非易失性计算机可读介质)和分析器/数据处理实用工具104B。因此,监控模块104的实用工具可以由合适的电路和/或由软件和/或硬件组件实现,软件和/或硬件组件包括被配置为实现用户状态的识别的计算机可读代码。本发明的特征可以包括包含各种计算机硬件组件的通用或专用计算机系统。在本发明的范围内的特征还包括计算机可读介质,其用于执行或具有存储在其上的计算机可执行指令、计算机可读指令或数据结构。这样的计算机可读介质可以是由通用或专用计算机系统可访问的任何可用介质。作为例子而不限于,这样的计算机可读介质可以包括物理存储介质,例如RAM、ROM、EPROM、闪存盘、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备或可以用于以计算机可执行指令、计算机可读指令或数据结构的形式携带或存储期望程序代码方式并且可以由通用或专用计算机系统可访问的任何其他介质。计算机可读介质可以包括通过网络——例如广域网(WAN)如因特网——可下载到计算机系统的计算机程序或计算机应用。在本说明书中和在所附权利要求中,“监控模块”被定义为一起工作以对电子数据执行操作的一个或更多个软件模块、一个或更多个硬件模块或其组合。例如,处理实用工具的定义包括个人计算机的硬件组件以及软件模块,例如个人计算机的操作系统。模块的物理布局并不是相关的。计算机系统可以包括经由计算机网络耦合的一个或更多个计算机。同样,计算机系统可以包括单个物理设备,在此内部模块(例如存储器和处理器)一起工作以执行在电子数据上的操作。监控模块104可以由嵌在其中的运行计算机程序的或者附接到其的处理器组成。计算机程序产品可以被体现在一个或更多个计算机可读介质中,计算机可读介质具有在其上体现的计算机可读程序代码。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。用于执行本发明的方面的操作的计算机程序代码可以用一种或更多种编程语言的任何组合来编写。程序代码可完全在用户的计算机上、部分地在用户的计算机上、作为独立软件包、部分地在用户的计算机上并且部分地在远程计算机上、或者完全在远程计算机上或服务器上执行。在后者的场景中,远程计算机可通过任何类型的网络连接到用户的计算机,网络包括局域网(LAN)或广域网(WAN),或者可连接到外部计算机(例如,通过使用互联网服务提供商的互联网)。这些计算机程序指令可被提供到通用计算机的、专用计算机的处理器或其他可编程数据处理装置的处理器以产生机器,使得经由计算机的处理器或其他可编程数据处理装置执行的指令创建用于实现在流程图和/或框图的一个或更多个块中指定的功能/动作的方式(means)。处理器的指定功能可以由执行指定功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实现。
不同信号和不同社交相关参数之间的对应关系可以根据与本发明的指示器设备一起使用的AR系统的配置来预先确定。这种对应关系的一些例子在下面详细描述,例如如图3所示。例如,不同信号和不同社交相关参数之间的对应关系表可以存储在数据库中。这种表可以存储在存储器104C中。替代地,存储装置可以与服务器分开(例如,SAN存储装置)。如果分开,存储的定位可以在一个物理定位,或者在多个定位,并且通过任何类型的有线或无线通信基础设施连接。数据库可以依赖于任何类型的方法或平台来存储数字数据。例如,数据库可以包括传统的SQL数据库,如Oracle和MS SQL Server、文件系统、大数据、NoSQL、内存数据库设备、并行计算(如Hadoop集群)等。如果存储器104C被配置为数据库的存储介质,它可以包括任何标准或专有的存储介质,例如磁盘或磁带、光存储装置、半导体存储装置等。
监控模块104可以被放置在环境中(例如,被集成在任何期望的设备中),或者替代地,不位于环境附近的服务器可以执行接收数据和/或在数据中识别特定状态并发送通知。服务器与设备的不同部分进行数据通信。
例如,为了识别记录活动,监控模块104可以接收和处理用户周围环境的记录数据,以确定用户是否记录环境。监控模块104被配置以控制是否存在记录该数据的许可,并且在识别出该许可时,监控模块104向旁观者生成记录信号,并且控制该记录数据的访问和存储。因此,监控模块104被配置以区分操作系统使用的数据和个人使用的数据,并向应用提供记录个人数据的许可以及用户正在记录供其个人使用的对周围环境的指示。例如,为了识别用户的沉浸状态,监控模块104可以接收和处理指示呈现给用户的虚拟内容的数据,并且确定(例如计算)被虚拟内容遮挡的用户视野的量。如果被虚拟内容遮挡的用户视野的量高于特定阈值量,则监控模块104确定用户处于沉浸状态。
例如,为了识别注意力集中状态,除了注视数据之外,监控模块104可以接收和处理关于当前呈现给用户的虚拟内容(例如,示出了什么和在哪里)和用户的当前现实世界环境(例如,相对于用户有什么以及它位于哪里)的数据。监控模块104处理接收到的数据,以确定用户正在看什么(例如,真实的人或者同一注视方向上的虚拟窗口)。
例如,为了识别空间活动状态,监控模块104可以接收和处理关于当前虚拟活动的数据,以预测用户移动。
更具体地,监控模块104可以处理用户注视方向的数据时间模式,以识别特定模式,并将所识别的模式与指示各种相应用户活动(例如,阅读、凝视、游戏或其他)的一个或更多个参考模式进行比较,以确定匹配模式。在确定匹配模式时,用户参与监控模块确定所识别的模式是否对应于用户对呈现给他的虚拟内容的用户参与,并相应地激活该模块。
描述了某些处理步骤,并且公开了处理步骤的特定顺序;然而,步骤的顺序不限于本文阐述的顺序,并且可以如本领域已知的那样改变,除了必须以特定顺序发生的步骤或动作。参考图2,示出了说明用于指示AR用户活动的方法的流程图。本文以其他方式描述的流程图或任何过程或方法可以表示包括一个或更多个可执行指令以实现指定逻辑功能或包括进程步骤的一个或更多个可执行指令的模块、段或代码部分。虽然流程图示出了具体的执行顺序,但应理解的是,执行顺序可与所描绘的顺序不同。例如,两个或更多个框的执行顺序可相对于所示的顺序是乱序的。方法200包括在202中接收和处理与用户活动相关的数据;在204中,识别用户是否处于对应于特定社交相关参数的特定用户状态;以及在206中向旁观者生成至少一个信号,该信号指示与用户活动相关的至少一个社交相关参数。在208中,一旦接收到该信号,该信号可以被传输到被激活的指示器设备。在202中接收和处理与用户活动相关的数据可以包括在210中确定用户活动的类型(例如,听音乐、看视频、与某人交谈)。
例如,为了识别用户的沉浸状态,在202中接收和处理与用户活动相关的数据还可以包括在212中处理指示呈现给用户的虚拟内容的数据,以确定被虚拟内容遮挡的用户视野的量和/或在216中虚拟内容的3D位置和用户的注视方向之间的对应关系。
例如,为了识别用户的空间状态,在202中接收和处理与用户活动相关的数据还可以包括在210中识别活动的类型(例如游戏),并且在214中基于指示呈现给用户以确定空间状态的虚拟内容的数据和指示至少一个用户活动的参考数据模式来预测用户移动的范围。
参考图3,图3示出了本发明的指示器设备的可能配置300。三个插图显示了指示器模块302的不同可能操作模式。然而,本发明不限于这种操作模式。尽管在图中,监控模块304被示为集成在AR可佩戴系统(智能眼镜)中,但是本发明不限于这种配置,并且监控模块304可以被放置在远离指示器模块302的环境中。指示器模块302和监控模块304通过有线或无线通信。在该具体的且非限制性的示例中,指示器模块302包括具有不同数量的符号的多个单元,每个符号具有不同的形状:一个圆形、三个矩形和四条曲线。每个符号可以产生不同的颜色。如图所示,例如,为了指示记录活动,圆形红灯可以闪烁。例如,为了指示沉浸状态,蓝色矩形可以显示用户有多沉浸(例如,无-没有可见的AR内容;一个矩形-一些;二-超过一半的用户视野被AR内容遮挡;三-用户处于全VR模式)。同样的蓝色矩形也可以通过暂时变亮(这些是接通的)来显示用户是否与AR交互。例如,为了指示注意力集中状态,例如头戴式耳机活动,绿色曲线灯可以用更亮的光显示头戴式耳机活动,这意味着声音更大。
Claims (28)
1.一种增强现实(AR)中用户活动的指示器设备,包括:
指示器模块,其被配置并且能够操作以向至少一个用户的旁观者生成至少一个信号,该信号指示与所述用户活动相关的至少一个社交相关参数,其中,所述至少一个社交相关参数包括记录活动和空间活动中的至少一个;和
监控模块,其能够连接到所述指示器模块并且被配置和能够操作以:接收和处理与用户活动相关的数据;确定用户是否处于与所述至少一个社交相关参数对应的指定用户状态;并且在识别出所述指定用户状态时激活所述指示器模块。
2.根据权利要求1所述的指示器设备,其中与用户活动相关的数据包括以下项中的至少一个:指示当前用户活动的数据、指示至少一个用户活动的参考数据模式、指示呈现给用户的虚拟内容的数据、与用户的当前现实世界环境相关的数据或指示用户随时间的注视方向的数据。
3.根据权利要求1或2所述的指示器设备,其中所述至少一个社交相关参数包括沉浸状态和注意力集中状态中的至少一个。
4.根据权利要求1所述的指示器设备,其中所述指示器模块能够在开/关、渐进操作模式和指示所述至少一个社交参数的操作模式中的至少一种模式下操作。
5.根据权利要求4所述的指示器设备,其中所述渐进操作模式指示用户状态的水平。
6.根据权利要求1所述的指示器设备,其中所述指示器模块是视觉指示器模块。
7.根据权利要求1所述的指示器设备,其中所述指示器模块是听觉指示器模块。
8.根据权利要求1所述的指示器设备,其中所述监控模块被配置并且能够操作以处理指示当前用户活动的数据,以确定用户的记录活动。
9.根据权利要求1或8所述的指示器设备,其中所述监控模块被配置并且能够操作以处理指示呈现给用户的虚拟内容的数据,并且确定被虚拟内容遮挡的用户视野的量。
10.根据权利要求1所述的指示器设备,其中所述监控模块被配置并且能够操作以接收指示用户的注视方向的时间模式的数据,处理所述数据以识别指定模式,将所识别的模式与指示至少一个用户活动的一个或更多个参考模式进行比较以确定匹配模式,并且在确定所述匹配模式时,相应地激活所述指示器模块。
11.根据权利要求2所述的指示器设备,其中所述监控模块被配置并且能够操作以识别所述虚拟内容的3D位置和用户的注视方向之间的对应关系。
12.根据权利要求1所述的指示器设备,其中所述指示器模块被配置并且能够操作来生成多个信号,每个信号指示不同类型的用户活动。
13.根据权利要求1所述的指示器设备,所述指示器设备被配置为集成在可佩戴增强现实系统中。
14.根据权利要求1所述的指示器设备,其中所述监控模块被配置并能够操作以接收和处理关于当前虚拟活动的数据以预测用户移动。
15.根据权利要求1所述的指示器设备,其中所述监控模块被配置且能够操作以控制用于记录所述数据的许可是否存在,并在识别出这种许可时,所述监控模块被配置且能够操作以生成记录信号并控制对所记录的数据的访问和存储。
16.一种用于指示AR用户活动的方法,包括:
接收和处理与用户活动相关的数据;
识别用户是否处于与至少一个社交相关参数对应的指定用户状态,其中,所述至少一个社交相关参数包括记录活动和空间活动中的至少一个;并且
向旁观者生成指示与用户活动相关的所述至少一个社交相关参数的至少一个信号。
17.根据权利要求16所述的方法,还包括在识别出指定用户状态时激活指示器设备。
18.根据权利要求16所述的方法,其中至少一个社交相关参数包括记录活动和注意力集中状态中的至少一个。
19.根据权利要求16所述的方法,还包括确定用户活动的类型。
20.根据权利要求19所述的方法,还包括生成指示所述用户活动的类型的至少一个信号。
21.根据权利要求16所述的方法,其中所述至少一个信号的生成包括激活以下操作模式中的至少一个:开/关以及指示所述至少一个社交参数的渐进操作模式。
22.根据权利要求21所述的方法,其中所述渐进操作模式指示用户状态的水平。
23.根据权利要求16所述的方法,其中所述至少一个信号的生成包括生成至少一个视觉或听觉信号。
24.根据权利要求16所述的方法,其中所述处理与用户活动相关的数据包括处理指示呈现给用户的虚拟内容的数据以及确定被虚拟内容遮挡的用户视野的量。
25.根据权利要求24所述的方法,其中所述处理包括在所述数据中识别指定模式,将所识别的模式与指示至少一个用户活动的一个或更多个参考模式进行比较以确定匹配模式,并且在确定所述匹配模式时,生成对应于所述至少一个社交参数的至少一个信号。
26.根据权利要求24或25所述的方法,其中所述处理包括基于指示呈现给用户以确定空间状态的虚拟内容的所述数据和指示至少一个用户活动的参考数据模式,来预测用户移动的范围。
27.根据权利要求24所述的方法,其中对数据进行所述处理包括识别所述虚拟内容的3D位置和用户的注视方向之间的对应关系。
28.根据权利要求16所述的方法,还包括对用于操作系统使用的数据和用于个人使用的数据进行区分,并向应用提供记录个人数据的许可以及向周围环境指示用户正记录供其个人使用。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IL266333 | 2019-04-29 | ||
IL26633319 | 2019-04-29 | ||
PCT/IL2020/050469 WO2020222228A1 (en) | 2019-04-29 | 2020-04-26 | System and method for socially relevant user engagement indicator in augmented reality devices |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113841109A CN113841109A (zh) | 2021-12-24 |
CN113841109B true CN113841109B (zh) | 2024-04-12 |
Family
ID=67105652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080036578.6A Active CN113841109B (zh) | 2019-04-29 | 2020-04-26 | 增强现实设备中社交相关用户参与指示器的系统和方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US12013977B2 (zh) |
EP (1) | EP3963429A1 (zh) |
JP (1) | JP2022531161A (zh) |
KR (1) | KR20220002583A (zh) |
CN (1) | CN113841109B (zh) |
TW (1) | TW202110173A (zh) |
WO (1) | WO2020222228A1 (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108604175A (zh) * | 2016-02-10 | 2018-09-28 | 诺基亚技术有限公司 | 装置和关联方法 |
CN109154861A (zh) * | 2016-05-18 | 2019-01-04 | 微软技术许可有限责任公司 | 情绪/认知状态呈现 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8531590B2 (en) | 2009-07-22 | 2013-09-10 | University Of Southern California | Camera with precise visual indicator to subject when within camera view |
US9495759B2 (en) * | 2014-02-26 | 2016-11-15 | Apeiros, Llc | Mobile, wearable, automated target tracking system |
US20180276957A1 (en) * | 2017-03-22 | 2018-09-27 | Ahmed Ibrahim | Systems and Methods for Visual Representation of Social Interaction Preferences |
US20150350848A1 (en) * | 2014-05-30 | 2015-12-03 | Ebay Inc. | Remote monitoring of users at a home location |
US10168778B2 (en) * | 2016-06-20 | 2019-01-01 | Daqri, Llc | User status indicator of an augmented reality system |
CN111084710B (zh) * | 2018-10-24 | 2023-02-28 | 上海博泰悦臻网络技术服务有限公司 | 为特殊用户提供导航的方法及系统 |
-
2020
- 2020-04-26 US US17/607,655 patent/US12013977B2/en active Active
- 2020-04-26 WO PCT/IL2020/050469 patent/WO2020222228A1/en unknown
- 2020-04-26 JP JP2021564144A patent/JP2022531161A/ja active Pending
- 2020-04-26 CN CN202080036578.6A patent/CN113841109B/zh active Active
- 2020-04-26 EP EP20726970.5A patent/EP3963429A1/en active Pending
- 2020-04-26 KR KR1020217038980A patent/KR20220002583A/ko unknown
- 2020-04-28 TW TW109114159A patent/TW202110173A/zh unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108604175A (zh) * | 2016-02-10 | 2018-09-28 | 诺基亚技术有限公司 | 装置和关联方法 |
CN109154861A (zh) * | 2016-05-18 | 2019-01-04 | 微软技术许可有限责任公司 | 情绪/认知状态呈现 |
Also Published As
Publication number | Publication date |
---|---|
WO2020222228A1 (en) | 2020-11-05 |
US12013977B2 (en) | 2024-06-18 |
EP3963429A1 (en) | 2022-03-09 |
TW202110173A (zh) | 2021-03-01 |
KR20220002583A (ko) | 2022-01-06 |
CN113841109A (zh) | 2021-12-24 |
JP2022531161A (ja) | 2022-07-06 |
US20220197379A1 (en) | 2022-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230333377A1 (en) | Display System | |
CN108028957B (zh) | 信息处理装置、信息处理方法和机器可读介质 | |
CN105051653B (zh) | 信息处理装置、通知状态控制方法以及程序 | |
JP6246829B2 (ja) | ヘッドマウントディスプレイのリソース管理 | |
JP6877341B2 (ja) | 情報処理装置、表示装置、情報処理方法及びプログラム | |
WO2014156389A1 (ja) | 情報処理装置、提示状態制御方法及びプログラム | |
US20210081047A1 (en) | Head-Mounted Display With Haptic Output | |
US12010506B2 (en) | Spatial audio reproduction based on head-to-torso orientation | |
JP2022526182A (ja) | 追加のディスプレイを有するデバイスの管理 | |
CN113841109B (zh) | 增强现实设备中社交相关用户参与指示器的系统和方法 | |
IL266333A (en) | A system and method for social indication of a user's preoccupation with reality devices | |
EP4312102A1 (en) | Wear detection | |
EP4386519A1 (en) | Electronic device with centralized user experience manager | |
WO2023185698A1 (zh) | 一种佩戴检测方法及相关装置 | |
US20240194049A1 (en) | User suggestions based on engagement | |
WO2023244515A1 (en) | Head-mountable device with guidance features | |
KR20240093276A (ko) | 그래픽 영역을 제공하는 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체 | |
CN118020046A (zh) | 信息处理设备、信息处理方法和程序 | |
KR20180087643A (ko) | 전자 장치 및 전자 장치 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20240221 Address after: Brussels Applicant after: Voxel Sensor Co.,Ltd. Country or region after: Belgium Address before: Israel Orr Yehuda Applicant before: EYEWAY VISION LTD. Country or region before: Israel |
|
GR01 | Patent grant | ||
GR01 | Patent grant |