CN117321541A - 增强现实通信设备之间的语义信息通信 - Google Patents
增强现实通信设备之间的语义信息通信 Download PDFInfo
- Publication number
- CN117321541A CN117321541A CN202180098321.8A CN202180098321A CN117321541A CN 117321541 A CN117321541 A CN 117321541A CN 202180098321 A CN202180098321 A CN 202180098321A CN 117321541 A CN117321541 A CN 117321541A
- Authority
- CN
- China
- Prior art keywords
- user
- representation
- semantic information
- module
- communication device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 129
- 230000003190 augmentative effect Effects 0.000 title claims description 9
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000001953 sensory effect Effects 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000009877 rendering Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 22
- 230000000694 effects Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 230000007613 environmental effect Effects 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 7
- 230000000704 physical effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 206010027146 Melanoderma Diseases 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 210000002303 tibia Anatomy 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
提供了用于从感知数据提取语义信息的机制。一种由AR模块执行的方法。AR模块与要由第一用户穿戴的第一AR通信设备和要由第二用户穿戴的第二AR通信设备通信。第一AR通信设备包括用于显示第二用户的表示的第一用户接口，并且第二AR通信设备包括用于显示第一用户的表示的第二用户接口。该方法包括获得由第一AR通信设备捕获的第一用户的感知数据。该方法包括通过对感知数据执行语义分类过程，从感知数据提取第一用户的语义信息。该方法包括向第二用户接口提供语义信息，用于在第二用户接口上渲染语义信息的表示以及所显示的第一用户的表示。
Description
技术领域
本文提出的实施例涉及用于从感知数据提取语义信息的方法、增强现实模块、计算机程序和计算机程序产品。
背景技术
一般来说，增强现实(AR)是一种真实世界环境的交互体验，其中，由计算机生成的感知信息来增强位于现实世界中的对象，感知信息有时跨越多种感知模式，包括视觉、听觉、触觉、体感和嗅觉。AR可以被定义为一种系统，它包括真实世界和虚拟世界、实时交互以及虚拟和真实对象的精确三维(3D)配准(registration)的组合。叠加的感知信息可以是建设性的(即对自然环境的附加)，也可以是破坏性的(例如自然环境的掩蔽)。AR通信设备，诸如智能眼镜或可穿戴计算机眼镜，使用户能够使用AR应用彼此交互。
在计算机视觉中，语义场景理解试图使用场景的空间结构以及对象与环境之间的空间、功能和语义关系来上下文地分析对象。使用空间和语义理解，将对象检测、3D重建和空间推理相结合以使人们能够更高层次地理解场景。
已经尝试将语义信息与AR应用集成，使得用户被语义集成在彼此的环境中。例如，当在AR应用中使用化身时，通常可以根据用户的喜好来定制它们的外观。使用语义AR通信，AR应用中的每个用户的表示被语义地适应于其中它被渲染的环境。也就是说，在第二用户处在AR应用中被渲染的第一用户的表示被适应于第二用户的环境，反之亦然。这需要在AR通信设备之间传输或传递语义信息。
然而，仍然需要AR通信设备之间的语义信息的改进通信。
发明内容
本文中的实施例的目的是提供AR通信设备之间的语义信息的高效通信。
根据第一方面，提供了一种用于从感知数据提取语义信息的方法。该方法由AR模块执行。AR模块与要由第一用户穿戴的第一AR通信设备和要由第二用户穿戴的第二AR通信设备通信。第一AR通信设备包括用于显示第二用户的表示的第一用户接口，以及第二AR通信设备包括用于显示第一用户的表示的第二用户接口。该方法包括获得由第一AR通信设备捕获的第一用户的感知数据。该方法包括通过对感知数据执行语义分类过程，从感知数据提取第一用户的语义信息。该方法包括向第二用户接口提供语义信息，第二用户接口用于在第二用户接口上渲染语义信息的表示以及所显示的第一用户的表示。
根据第二方面，提供了一种用于从感知数据提取语义信息的AR模块。AR模块被配置为与要由第一用户穿戴的第一AR通信设备和要由第二用户穿戴的第二AR通信设备通信。第一AR通信设备包括用于显示第二用户的表示的第一用户接口，以及第二AR通信设备包括用于显示第一用户的表示的第二用户接口。AR模块包括处理电路。处理电路被配置为使AR模块获得由第一AR通信设备捕获的第一用户的感知数据。处理电路被配置为使AR模块通过对感知数据执行语义分类过程来从感知数据提取第一用户的语义信息。处理电路被配置为使AR模块向第二用户接口提供语义信息，第二用户接口用于在第二用户接口上渲染语义信息的表示以及所显示的第一用户的表示。
根据第三方面，提供了一种用于从感知数据提取语义信息的AR模块。AR模块被配置为与要由第一用户穿戴的第一AR通信设备和要由第二用户穿戴的第二AR通信设备通信。第一AR通信设备包括用于显示第二用户的表示的第一用户接口，以及第二AR通信设备包括用于显示第一用户的表示的第二用户接口。AR模块包括获得模块，该获得模块被配置为获得由第一AR通信设备捕获的第一用户的感知数据。AR模块包括提取模块，该提取模块被配置为通过对感知数据执行语义分类过程来从感知数据提取第一用户的语义信息。AR模块包括提供模块，提供模块被配置为向第二用户接口提供语义信息，第二用户接口用于在第二用户接口上渲染语义信息的表示以及所显示的第一用户的表示。
根据第四方面，提供了一种用于从感知数据提取语义信息的计算机程序，该计算机程序包括计算机程序代码，当在AR模块上运行计算机程序代码时，计算机程序代码使AR模块执行根据第一方面的方法。
根据第五方面，提供了一种计算机程序产品，其包括根据第四方面的计算机程序和计算机可读存储介质，该计算机程序存储在该计算机可读存储介质上。计算机可读存储介质可以是非暂时性计算机可读存储介质。
有利地，这些方面使得能够在AR通信设备之间的语义信息的高效通信。
有利地，这些方面使得第二用户能够知道第二用户的表示是如何被显示在第一用户接口处。
有利地，这些方面使得第二用户130b能够获得第一用户的远程环境的信息。
所附实施例的其他目的、特征和优点将从以下详细公开、从所附从属权利要求以及从附图中显而易见。
通常，除非本文另有明确定义，否则权利要求书中使用的所有术语应根据其在技术领域中的普通含义进行解释。除非另有明确说明，否则对“一个/一种/该元件、装置、组件、构件、模块、步骤等”的所有提及均应被公开解释为提及元件、装置、组件、构件、模块、步骤等的至少一个实例。除非明确说明，否则本文公开的任何方法的步骤不必以公开的确切顺序执行。
附图说明
现在参照附图以示例的方式描述本发明的构思，其中：
图1是示出根据实施例的AR通信系统的示意图；
图2示意性地示出了根据实施例的AR通信设备；
图3是根据实施例的方法的流程图；
图4和图5示意性地示出了根据实施例的语义信息的表示的渲染；
图6是示出根据实施例的AR模块的功能单元的示意图；
图7是示出根据实施例的AR模块的功能模块的示意图；以及
图8示出了根据实施例的包括计算机可读存储介质的计算机程序产品的一个示例。
具体实施方式
现在将在下文中参考附图更全面地描述本发明构思，附图中示出了本发明构思的某些实施例。然而，本发明构思可以以许多不同的形式体现，并且不应被解释为限于本文所阐述的实施例；相反，这些实施例是通过示例的方式提供的，因此本公开将是彻底和完整的，并且将向本领域技术人员充分传达本发明构思的范围。在整个说明书中，相同的数字指代相同的元素。虚线所示的任何步骤或特征应当视为是可选的。
图1是示出AR通信系统100的示意图，其中可以应用本文提出的实施例。AR通信系统100包括两个AR通信设备110a、110b和AR模块200。如在180a、180b所示意性地示出的，AR模块200被配置为与AR通信设备110a、110b通信。
如将参考图2进一步公开的，每个AR通信设备110a、110b包括各自的用户接口。每个AR通信设备110a、110b旨在由相应的用户130a、130b穿戴。出于注释的目的并且在不强加AR通信设备110a、110b之间的任何层级关系的情况下，AR通信设备110a在下文中被表示为第一AR通信设备110a，而AR通信设备110b在下文中被表示为第二AR通信设备110b。第一AR通信设备110a包括用于显示第二用户130b的表示140b的第一用户接口120a。第二AR通信设备110b包括用于显示第一用户130a的表示140a的第二用户接口120b。此外，如本领域技术人员所理解的，AR通信系统100可以包括多个AR通信设备，每个AR通信设备都具有其自己的用户接口，并且每个AR通信设备被配置用于与其他AR通信设备通信。
可以存在不同类型的AR通信设备110a、110b。图2示意性地示出了示例，其中AR通信设备110a、110b被提供为采用一副眼镜形状的头戴式显示器。
在图2的说明性示例中，AR通信设备110a、110b包括用于显示用户的表示以及用于显示其他信息的用户接口120a、120b。AR通信设备110a、110b还包括通信接口150a、150b，其用于与另外的AR通信设备110、110b以及与AR模块200进行通信。尽管被示出为天线，但是通信接口150a、150b可以是有线通信接口、红外通信接口、或者某种其他类型的通信接口。在这方面，AR通信设备110a、110b可以被配置用于彼此直接通信，或者用于经由至少一个其他设备(例如，移动电话、个人计算机、游戏机等)彼此通信。AR通信设备110a、110b还包括本地控制器160a、160b，其用于控制AR通信设备110、110b的操作。本地控制器160a、160b可以被提供为处理电路。在这方面，尽管在图1中被示为单独的设备，但是AR模块200也可以等同地由AR通信设备110a、110b中的至少一个中的控制器160a、160b部分或全部实现。在图2的示例中，AR通信设备110a、110b还包括扬声器和/或麦克风170a、170b或其他类型的音频播放或记录设备。在一个AR通信设备110a、110b处记录的音频可以经由通信接口150a、150b被传送以在另一个AR通信设备110、110b处播放。
如上所述，仍然需要改进AR通信设备之间的语义信息的通信。这可能导致第二用户130b不知道在第一用户接口120a处是如何显示第二用户130b的表示140b。此外，因为在第二用户接口120b处显示的第一用户130a的表示140a被适应于第二用户130b的环境，因此第二用户130b可能缺乏第一用户130a的远程环境的信息。
因此，本文公开的实施例涉及用于从感知数据提取语义信息的机制。为了获得这样的机制，提供了一种AR模块200，一种由AR模块200执行的方法，一种包括例如以计算机程序的形式的代码的计算机程序产品，当在AR模块200上运行该代码时，该代码使AR模块200执行该方法。
图3是示出用于从感知数据提取语义信息的方法的实施例的流程图。这些方法由AR模块200执行。这些方法有利地被提供为计算机程序820。AR模块200被配置为与要由第一用户130a穿戴的第一AR通信设备110a和要由第二用户130b穿戴的第二AR通信设备110b进行通信。如图1所示，第一AR通信设备110a包括用于显示第二用户130b的表示140b的第一用户接口120a，第二AR通信设备120b包括用于显示第一用户130a的表示140a的第二用户接口120b。
S102:AR模块200获得由第一AR通信设备110a捕获的第一用户130a的感知数据。
S104：AR模块200通过对感知数据执行语义分类过程，从感知数据提取第一用户130a的语义信息。
S106：AR模块200向第二用户接口120b提供语义信息，第二用户接口120b用于在第二用户接口120b上渲染语义信息的表示以及所显示的第一用户130a的表示140a。
该方法使得能够向第二用户130b指示第一用户130a的环境的语义信息。该方法可以与以下方法组合使用：根据该以下方法，第一用户130a的语义信息被适应于第二用户130b的语义信息以用于在第二用户接口120b上渲染第一用户130a的表示140a。
现在将公开与由AR模块200执行的从感知数据提取语义信息的进一步细节有关的方面。
可能有感知数据的不同的示例。在一些非限制性示例中，感知数据包括参数的值，其中参数表示以下中的任何一个：第一用户130a的手势、第一用户130a的姿势、第一用户130a的运动、第一用户130a的活动、第一用户130a的物理环境、物理环境的拥挤度、在第一用户130a附近的声音级别、第一用户130a的物理位置、第一用户130a的物理位置的环境分类、或其任意组合。
更详细地，第一AR通信设备110a可以被提供有用于接收感知数据的传感器或通信接口。例如，可以通过作为第一AR通信设备110a的一部分、附接到第一AR通信设备110a或与第一AR通信设备110a通信的相机来获得感知数据。以这种方式，第一AR通信设备110a可以获得其环境的信息，从而获得第一用户130a的环境的信息。定位(以及可选地，映射过程，例如SLAM)可以在第一AR通信设备110a上运行，以获得环境的空间信息。来自相机的图像数据以及来自其他传感器和定位服务或基础设施传感器的感知数据也可以用于定义语义信息。例如，可以获得感知数据来确定第一用户130a是在室内还是室外，是白天还是晚上，当前温度，当前天气，当前噪声级别，第一用户130a是在拥挤的环境中还是独自一人等等。
现在将公开与对感知数据进行语义分类过程的进一步细节有关的方面。
如上所述，对感知数据执行语义分类过程。语义分类过程可以用于从可能的语义活动和/或环境的类别来确定哪一个这样的类别最合适。这样的分类可以用于确定语义活动特征的最可能类别。
在一些方面中，感知数据包括参数的值，并且由值的向量表示。这样的表示对于感知数据的分类是有用的。机器学习模型，例如深度神经网络分类器，可以被训练以检测第一用户130a正在执行的语义活动的最有可能的类别或分类(例如，吃饭、行走、坐着、跑步、躺下等)。这将允许语义活动和/或环境特征的推断。可以使用基于感知数据的训练向量和一组类别的监督学习来训练这些模型。例如，可以表示感知数据的训练向量的现有数据集可以用于活动检测。可以从AR通信设备110a、100b并且通过请求AR通信设备110、100b用一组类别中的标签来标记训练数据来在线提供训练数据。
在一些实施例中，AR模块200被配置为执行(可选的)步骤S104a和S104b，其作为在步骤S104中对感知数据进行语义分类的一部分：
S104a：AR模块200将所述值的向量与候选向量进行比较，其中，每个候选向量表示相应的语义信息类。
S104b：AR模块200根据距离准则选择与所述值的所述向量最匹配的候选向量。
然后，用户的语义信息是所选择的候选向量的语义信息类的函数。
现在将公开与第一用户130a是在拥挤的环境中还是独自一人等的进一步细节有关的方面。
在一些实施例中，AR模块200被配置为执行(可选的)步骤S104c，其作为在步骤S104中对感知数据进行语义分类的一部分：
S104c：AR模块200从所述值的向量确定以下中的任何一个：第一用户130a的繁忙级别、第一用户130a的噪声级别、第一用户130a的私密级别或其任意组合。
然后，用户的语义信息进一步是以下中的任何一个的函数：第一用户130a的繁忙级别、第一用户130a的噪声级别、第一用户130a的私密级别或其任意组合。
在这方面，机器学习模型，例如深度神经网络分类器，可以用于确定某些环境特征的概率值。这种环境特征的非限制性示例是：如果在第一用户130a的附近有任何家具，例如桌子或椅子，在第一用户130a附近有多少其他用户或其他人，等等。这样的环境特征然后可以用于沿着从繁忙/噪声/公共到平静/独自/私密的尺度来定义第一用户130a的环境。可以使用基于具有每个条件的概率的感知数据的上述示例的监督训练来训练机器学习模型。例如，可以表示感知数据的训练向量的现有数据集可以用于检测任何条件(从繁忙/噪声/公共到平静/独自/私密)。可以从AR通信设备110a、100b并且通过请求AR通信设备110a、100b用每个条件(从繁忙/噪声/公共到平静/单独/私密)的概率值来标记训练数据来在线提供训练数据。
在一些实施例中，基于第一用户130a的模型来渲染所显示的第一用户130a的表示140a，并且该模型是参数的函数，其中在第一AR通信设备110a处获得该模型的值。在这方面，第一用户130a的模型可以是预定义的化身或第一用户130a自身的预扫描的3D模型。作为可渲染和交互式3D对象，化身是可以获得的。该模型可以被存储在第一AR通信设备110a中并且由第一用户130a从可用模型的列表中定义，或者它可以被存储在第一AR通信设备110a处并且在第一AR通信设备110a和第二AR通信设备110b之间的初始握手期间被共享为元数据。可以通过只有膝盖和腰部关节，并具有连接胫骨、大腿和上身，该模型可以被简化。或者，在可用的情况下使用完整的模型。
现在将公开第一通信设备110a和第二通信设备110b之间的信息传输的方面。
虽然用户130a、130b中的任何一个都没有暂停AR通信设备110a、100b之间的通信，但是用于在第一用户接口120a处渲染所需的信息可以被传送以在第二用户接口120b处容易获得。可以经由用于应用的云服务或作为对等应用来共享该信息。
一旦该信息已经被成功地传送，该信息可以用于在第二用户接口120b上渲染语义信息的表示以及所显示的第一用户130a的表示140a。
在一些非限制性示例中，语义信息的表示是以下任意一个：图形表示、文本表示或其任意组合。在一些非限制性示例中，语义信息的表示被渲染在所显示的第一用户130a的表示140a上或旁边。因此，语义信息可以被图形化和/或文本化地表示，以及被显示为例如作为在所显示的第一用户130a的表示140a上的纹理(texture)，或者被显示为在所显示的第一用户130a的表示140a的旁边，例如作为文本或图标。如果没有可用信息，则可以指定默认类别或空类别。这向第二用户130b提供关于在第一用户130a侧的语义活动的类别的反馈。在一些实施例中，所显示的第一用户130a的表示140a是化身，例如三维化身。
在一些方面中，AR模块200确定如何渲染语义信息的表示。特别地，在一些实施例中，AR模块200被配置为执行(可选的)步骤S106a：
S106a：AR模块200基于第二用户接口120b的物理属性(例如大小、像素分辨率、处理能力等)确定在第二用户接口120b处将要显示多少其他信息，或者基于来自第二用户130b的用户输入，确定是否将语义信息的表示渲染为图形表示，文本表示或其组合，和/或是否在所显示的第一用户130a的表示140a上或旁边渲染语义信息的表示。
此外，关于第一用户130a和第二用户130b之间的虚拟距离以及在第一用户130a处的第一用户130a和第二用户130b之间的方向的信息可以例如通过示出方向和与距离成比例的长度(以线性或非线性比例)的图标或图形被显示在第二用户130处。由于可以使用AR来显示该图标或图形，因此可以将该图标或图像渲染为以第二用户130b为中心的并且例如在楼层水平的水平盘。因此，第二用户130b理解其自己的所显示的表示140b相对于所显示第一用户130a的表示140a的可视化的相对位置。这使得能够手动适应，从而当用户130a、130b想要时，他们可以安排他们的环境以匹配。例如，当两个用户130a、130b都在行走时，他们可以进行安排，使得相应的表示处于等效的物理相对位置。这将需要对所显示的表示140a、140b进行较少的建模调整，因此可能提供更好的外观和用户体验。
在一些方面中，提供关于如何在第一用户130a的用户接口120a处表示第二用户130b本身的反馈。特别地，在一些实施例中，第二用户接口120b还被配置用于显示第二用户130b的表示140b，并且基于第一用户130a的语义信息来渲染第二用户130b的表示140b。因此，当在第一用户130a的用户接口120a上渲染第二用户130b的化身的姿势时，可以渲染表示该化身的姿势的图形、图标或文本信息。如果没有可用的信息，则可以指定默认姿势。
可能存在不能向第二AR通信设备110b提供第一用户130a的语义信息的情况。这方面的一个示例是当不能获得第一用户130a的感知数据时(例如，第一用户130a已经禁用或暂停在第一AR通信设备110a处捕获感知数据)。这方面的另一示例是当在用于向第二AR通信设备110b提供语义信息的通信中存在干扰时。在这种情况下，可以继续渲染最后提供的语义信息的表示(直到定时器到期，其中定时器在检测到不能向第二AR通信设备110b提供第一用户130a的语义信息时启动)。
图4在(a)、(b)、(c)、(d)处说明了如何渲染语义信息的表示的四个不同示例。在所有四种情况下，都提供了以下类型的语义信息；第一用户130a的位置(如在410a、410b、410c、410d处所示)、第一用户130a的活动(如在420a、420b、420c、420d处所示)、第一用户130a的忙碌级别(如在430a、430b、430c、430d处所示，由从“平静”(C)到“忙碌”(B)的尺度上的黑点所示的)，第一用户130a的噪声级别(如440a、440b、440c、440d处所示，由从“安静”(Q)到“噪声”(N)的尺度上的黑点所示)，以及第一用户130a的私密级别(如450a、450b、450c、450d处所示，由“公共”(Pu)到“私密”(Pr)的尺度上的黑点来示)。
图4(a)中的第一示例说明了一个场景，其中，第一用户130a位于“森林”中，其中，第一用户130a正在“跑步”，其中，第一用户130a的繁忙级别是“繁忙”，其中，第一用户130a的噪声级别主要是“安静”，其中，第一用户130a的私密级别主要是“私密”。
图4(b)中的第二示例说明了一个场景，其中，第一用户130a位于“厨房”，其中，第一用户130a正在“烹饪”，其中，第一用户130a的忙碌级别主要是“忙碌”，其中，第一用户130a的噪声级别主要是“噪声”，其中，第一用户130a私密级别主要是“私密”。
图4(c)中的第三示例说明了一个场景，其中，第一用户130a位于“商店”中，其中，第一用户130a的活动是“行走”，其中，第一用户130a的忙碌级别主要是“平静”，其中，第一用户130a的噪声级别主要是“安静”，其中，第一用户130a的私密级别主要是“公共”。
图4(d)中的第四示例说明了一个场景，其中，第一用户130a位于“卧室”中的场景，其中，第一用户130a的活动是“躺下”，其中，第一用户130a的忙碌级别是“平静”，其中，第一用户130a的噪声级别是“安静”，其中，第一用户130a的私密级别是“私密”。
图5在(a)、(b)、(c)、(d)处示出了与如何能够将显示在第一用户接口120a上的第二用户130b的表示140b提供给第二用户130b有关的反馈信息的四个不同示例。图5中的四个示例对应于图4中的四个示例，因此可以视为图4的扩展。也就是说，图4(a)可以与图5(a)组合，依此类推。在所有四种情况下，都提供了以下类型的反馈信息:第二用户130b的活动(如在510a、510b、510c、510d处所示)、到第一用户130a的距离(如在520a、520b、520c、520d处所示，由从“近”(N)到“远”(F)的尺度上的黑点所示)以及到第一用户130a的方向(如在530a、530b、530c、530d处由使用方向(“左(L)”、“右(R)”，“在前面”(F)和“在后面”(B))所标记的圆圈中的箭头所示出的)。
图5(a)中的第一示例说明了一个场景，其中，第二用户130b的表示140b被显示为沿着第一用户130a“奔跑”，其中，第二用户130b的表示140被显示为主要“靠近”第一用户130a，以及其中，第二用户130b的表示140b被显示在第一用户接口130a处的第一用户130a的“左边”。
图5(b)中的第二示例说明了一个场景，其中，第二用户130b的表示140b被显示为“坐”在第一用户130a的前面，其中，第二用户130b的表示140被显示为主要“远离”第一用户130a，以及其中，第二用户130b的表示140b被显示为在第一用户接口130a处的第一用户130a的“前面/右边”。
图5(c)中的第三示例说明了一个场景，其中，第二用户130b的表示140b被显示为在第一用户130a旁边“行走”，其中，第二用户130b的表示140被显示为主要“靠近”第一用户130a，以及其中，第二用户130b的表示140b被显示为在第一用户接口130a处的第一用户130a的“右边”。
图5(d)中的第四个示例说明了一个场景，其中，第二用户130b的表示140b被显示为在第一用户130a旁边“躺着”，其中，第二用户130b的表示140被显示为“靠近”第一用户130a，以及其中第二用户130b的表示140b被显示在第一用户接口130a处的第一用户130a的“前面”。
如本领域技术人员所理解的，图4和图5中的图示仅为示意图。可以以图4所示之外的其他方式渲染语义信息的表示，并且可以以图5所示以外的其他方式提供反馈信息。例如，尽管一些信息已经被示出为沿着条带取值(例如，由从“平静”(C)到“繁忙”(B)的尺度上的黑点示出第一用户130a的繁忙级别)，但是也可以以不同的方式示出该信息。如上所述，图4和图5的内容可以合并。
图6以多个功能单元的形式示意性地示出了根据实施例的AR模块200的组件。使用以下中的一个或多个的任意组合来提供处理电路210：合适的中央处理单元(CPU)、多处理器、微控制器、数字信号处理器(DSP)等，其能够执行存储在计算机程序产品810(如图8所示)(例如以存储介质230的形式)中的软件指令。处理电路210还可以被提供为至少一个专用集成电路(ASIC)或现场可编程门阵列(FPGA)。
特别地，处理电路210被配置为使得AR模块200执行如上所公开的一组操作或步骤。例如，存储介质230可以存储该组操作，并且处理电路210可以被配置为从存储介质230检索该组操作以使得AR模块200执行该组操作。该组操作可以被提供为可执行的指令集。
因此，处理电路210由此被布置为执行如本文所公开的方法。存储介质230还可以包括永久存储器，例如，永久存储器可以是磁存储器、光存储器、固态存储器或者甚至远程安装的存储器中的任何一个或者组合。AR模块200还可以包括通信接口220，通信接口220至少被配置用于与其他实体、功能、节点、设备和模块(例如AR通信设备110a、110b)进行通信。这样，通信接口220可以包括一个或多个发送器和接收器，包括模拟和数字部件。例如通过向通信接口220和存储介质230发送数据和控制信号，通过从通信接口220接收数据和报告，以及通过从存储介质230检索数据和指令，处理电路210控制AR模块200的一般操作。AR模块200的其他组件以及相关功能被省略，以便不混淆本文中提出的构思。
图7以多个功能模块的形式示意性地示出了根据实施例的AR模块200的组件。图7的AR模块200包括多个功能模块；被配置为执行步骤S102的获得模块210a，被配置为执行步骤S104的提取模块210b，以及被配置为执行步骤S106的提供模块210f。图7的AR模块200还可以包括多个可选功能模块，例如被配置为执行步骤S104a的比较模块210c，被配置为执行步骤S104b的选择模块210d，被配置为执行步骤S104c的确定模块210e和被配置执行步骤S106a的确定模块210中的任何一个。一般来说，在一个实施例中，每个功能模块210a：210g可以仅在硬件中实现，在另一个实施例中可以在软件的帮助下实现，即，后一实施例具有存储在存储介质230上的计算机程序指令，当在处理电路上运行计算机程序指令时，该计算机程序指令使AR模块200执行上面结合图6提到的相应步骤。还应该提到的是，即使模块对应于计算机程序的部分，它们也不需要是其中的单独模块，但是它们在软件中实现的方式取决于所使用的编程语言。优选地，一个或多个或所有功能模块210a：210g可以由处理电路210实现，其可以与通信接口220和/或存储介质230协作。因此，处理电路210可以被配置为从存储介质230获取由功能模块210a：210g提供的指令，并执行这些指令，从而执行本文公开的任何步骤。
AR模块200可以被提供为独立设备或作为至少一个另外的设备的一部分。可替换地，AR模块200的功能可以被分布在至少两个设备或节点之间。这至少两个节点或设备可以是同一网络部分(例如无线电接入网络或核心网络)的一部分，或者可以被分布在至少两个这样的网络部分之间。因此，可以在第一设备中执行AR模块200执行的指令的第一部分，并且可以在第二设备中执行AR模块200执行的指令的第二部分；本文公开的实施例不限于可以在其上执行由AR模块200执行的指令的任何特定数量的设备。因此，根据本文公开的实施例的方法适合于由驻留在云计算环境中的AR模块200执行。因此，尽管图6中示出了单个处理电路210，但是处理电路210可以被分布在多个设备或节点之间。这同样适用于图7的功能模块210a:210g和图8的计算机程序820。
图8示出了包括计算机可读存储介质830的计算机程序产品810的一个示例。在该计算机可读存储介质830上可以存储计算机程序820，该计算机程序820可以使处理电路210以及可操作地耦合到其的实体和设备(例如通信接口220和存储介质230)执行根据本文描述的实施例的方法。计算机程序820和/或计算机程序产品810因此可以提供用于执行本文公开的任何步骤的装置。
在图8的示例中，计算机程序产品810被示出为光盘，例如CD(光盘)或DVD(数字多功能光盘)或蓝光光盘。计算机程序产品810还可以被具体化为存储器，例如随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、或者电可擦除可编程只读存储器(EEPROM)并且更具体地被具体化为诸如USB(通用串行总线)存储器或诸如小型闪存的闪存的外部存储器中的设备的非易失性存储介质。因此，虽然计算机程序820在这里被示意性地示出为所描绘的光盘上的轨道，但是可以以适合于计算机程序产品810的任何方式存储计算机程序820。
主要已经在上面参考一些实施例进行了描述本发明的构思。然而，如本领域技术人员容易理解的，在由所附专利权利要求书限定的发明构思的范围内，除了上述公开的实施例之外的其他实施例也是同样可能的。
Claims (22)
1.一种用于从感知数据提取语义信息的方法，所述方法由增强现实AR模块(200)执行，所述AR模块(200)与要由第一用户(130a)穿戴的第一AR通信设备(110a)和要由第二用户(130b)穿戴的第二AR通信设备(110b)通信，其中，所述第一AR通信设备(110a)包括用于显示所述第二用户(130b)的表示(140b)的第一用户接口(120a)，以及所述第二AR通信设备(110b)包括用于显示所述第一用户(130a)的表示(140a)的第二用户接口(120b)，所述方法包括：
获得(S102)由所述第一AR通信设备(110a)捕获的所述第一用户(130a)的感知数据；
通过对所述感知数据执行语义分类过程，从所述感知数据提取(S104)所述第一用户(130a)的语义信息；以及
向所述第二用户接口(120b)提供(S106)所述语义信息，以用于在所述第二用户接口(120b)上渲染所述语义信息的表示以及所显示的所述第一用户(130a)的表示(140a)。
2.根据权利要求1所述的方法，其中，所述感知数据包括参数的值，所述参数表示以下中的任何一个：所述第一用户(130a)的手势、所述第一用户(130a)的姿势、所述第一用户(130a)的运动、所述第一用户(130a)的活动、所述第一用户(130a)的物理环境、所述物理环境的拥挤度、在所述第一用户(130a)附近的声音级别、所述第一用户(130a)的物理位置、所述第一用户(130a)的所述物理位置的环境分类、或其任意组合。
3.根据前述权利要求中任一项所述的方法，其中，所述感知数据包括参数的值并且由所述值的向量来表示，以及其中，所述语义分类过程包括：
将所述值的所述向量与候选向量进行比较(S104a)，其中，所述候选向量中的每个候选向量表示相应的语义信息类；以及
根据距离标准，选择(S104b)与所述值的所述向量最匹配的候选向量，以及
其中，所述用户的所述语义信息是所选择的候选向量的语义信息类的函数。
4.根据前述权利要求中任一项所述的方法，其中，所述感知数据包括参数的值并且由所述值的向量来表示，以及其中，所述语义分类过程包括：
从所述值的所述向量确定(S104c)以下中的任何一个：所述第一用户(130a)的繁忙级别、所述第一用户(130a)的噪声级别(130b)、所述第一用户(130a)的私密级别(130c)、或其任意组合，以及
其中，所述用户的所述语义信息进一步是以下中的任何一个的函数：所述第一用户(130a)的所述繁忙级别、所述第一用户(130a)的所述噪声级别、所述第一用户(130a)的所述私密级别、或其任意组合。
5.根据前述权利要求中任一项所述的方法，其中，基于所述第一用户(130a)的模型来渲染所显示的所述第一用户(130a)的表示(140a)，以及其中，所述模型是参数的函数，所述参数的值是在所述第一AR通信设备(110a)处获得的。
6.根据前述权利要求中任一项所述的方法，其中，所述语义信息的所述表示是以下中的任何一个：图形表示、文本表示、或其任意组合。
7.根据权利要求6所述的方法，其中，在所显示的所述第一用户(130a)的表示(140a)上或旁边渲染所述语义信息的所述表示。
8.根据权利要求6或7所述的方法，其中，所述方法还包括：
基于所述第二用户接口(120b)的物理属性，确定(S106a)在所述第二用户接口(120b)处将要显示多少其他信息，或者基于来自所述第二用户(130b)的用户输入，确定是否将所述语义信息的所述表示渲染为所述图形表示、所述文本表示或其组合，和/或是否在所显示的所述第一用户(130a)的表示(140a)上或旁边渲染所述语义信息的所述表示。
9.根据前述权利要求中任一项所述的方法，其中，所述第二用户接口(120b)还被配置为用于显示所述第二用户(130b)的所述表示(140b)，以及其中，基于所述第一用户(130a)的所述语义信息来渲染所述第二用户(130b)的所述表示(140b)。
10.根据前述权利要求中任一项所述的方法，其中，所显示的所述第一用户(130a)的表示(140a)是化身，诸如三维化身。
11.一种用于从感知数据提取语义信息的增强现实AR模块(200)，所述AR模块(200)被配置为与要由第一用户(130a)穿戴的第一AR通信设备(110a)和要由第二用户(130b)穿戴的第二AR通信设备(110b)通信，其中，所述第一AR通信设备(110a)包括用于显示所述第二用户(130b)的表示(140b)的第一用户接口(120a)，所述第二AR通信设备(110b)包括用于显示所述第一用户(130a)的表示(140a)的第二用户接口(120b)，所述AR模块(200)包括处理电路(210)，所述处理电路(210)被配置为使得所述AR模块(200)以：
获得由所述第一AR通信设备(110a)捕获的所述第一用户(130a)的感知数据；
通过对所述感知数据执行语义分类过程，从所述感知数据提取所述第一用户(130a)的语义信息；以及
向所述第二用户接口(120b)提供所述语义信息以用于在所述第二用户接口(120b)上渲染所述语义信息的表示以及所显示的所述第一用户(130a)的表示(140a)。
12.根据权利要求11所述的AR模块(200)，其中，所述感知数据包括参数的值，所述参数表示以下中的任何一个：所述第一用户(130a)的手势、所述第一用户(130a)的姿势、所述第一用户(130a)的运动、所述第一用户(130a)的活动、所述第一用户(130a)的物理环境、所述物理环境的拥挤度、在所述第一用户(130a)附近的声音级别、所述第一用户(130a)的物理位置、所述第一用户(130a)的所述物理位置的环境分类、或其任意组合。
13.根据权利要求11或12中任一项所述的AR模块(200)，其中，所述感知数据包括参数的值并且由所述值的向量来表示，以及其中，所述AR模块(200)被配置为，作为执行所述语义分类过程的一部分：
将所述值的所述向量与候选向量进行比较，其中，所述候选向量中的每个候选向量表示相应的语义信息类；以及
根据距离标准，选择与所述值的所述向量最匹配的候选向量，以及
其中，所述用户的所述语义信息是所选择的候选向量的语义信息类的函数。
14.根据权利要求11至13中任一项所述的AR模块(200)，其中，所述感知数据包括参数的值并且由所述值的向量来表示，以及其中，所述AR模块(200)被配置为，作为执行所述语义分类过程的一部分：
从所述值的所述向量确定以下中的任何一个：所述第一用户(130a)的繁忙级别、所述第一用户(130a)的噪声级别、所述第一用户(130a)的私密级别、或其任意组合，以及
其中，所述用户的所述语义信息进一步是以下中的任何一个的函数：所述第一用户(130a)的所述繁忙级别、所述第一用户(130a)的所述噪声级别、所述第一用户(130a)的所述私密级别、或其任意组合。
15.根据权利要求11至14中任一项所述的AR模块(200)，其中，基于所述第一用户(130a)的模型来渲染所显示的所述第一用户(130a)的表示(140a)，以及其中，所述模型是参数的函数，所述参数的值是在所述第一AR通信设备(110a)处获得的。
16.根据权利要求11至15中任一项所述的AR模块(200)，其中，所述语义信息的所述表示是以下中的任何一个：图形表示、文本表示、或其任意组合。
17.根据权利要求16所述的AR模块(200)，其中，在所显示的所述第一用户(130a)的表示(140a)上或旁边渲染所述语义信息的所述表示。
18.根据权利要求16或17所述的AR模块(200)，其中，所述方法还包括：
基于所述第二用户接口(120b)的物理属性，确定(S106a)在所述第二用户接口(120b)处将要显示多少其他信息，或者基于来自所述第二用户(130b)的用户输入，确定是否将所述语义信息的所述表示渲染为所述图形表示、所述文本表示或其组合，和/或是否在所显示的所述第一用户(130a)的表示(140a)上或旁边渲染所述语义信息的所述表示。
19.根据权利要求11至18中任一项所述的AR模块(200)，其中，所述第二用户接口(120b)还被配置为用于显示所述第二用户(130b)的所述表示(140b)，以及其中，基于所述第一用户(130a)的所述语义信息来渲染所述第二用户(130b)的所述表示(140b)。
20.根据权利要求11至19中任一项所述的AR模块(200)，其中，所显示的所述第一用户(130a)的表示(140a)是化身，诸如三维化身。
21.一种用于从感知数据提取语义信息的计算机程序(820)，所述计算机程序包括计算机代码，所述计算机代码在增强现实AR模块(200)的处理电路(210)上运行，其中所述增强现实AR模块(200)被配置为与要由第一用户(130a)穿戴的第一AR通信设备(110a)和要由第二用户(130b)穿戴的第二AR通信设备通信，其中，所述第一AR通信设备(110a)包括用于显示所述第二用户(130b)的表示(140b)的第一用户接口(120a)，以及所述第二AR通信设备(110b)包括用于显示所述第一用户(130a)的表示(140a)的第二用户接口(120b)，所述计算机代码使得所述AR模块(200)：
获得(S102)由所述第一AR通信设备(110a)捕获的所述第一用户(130a)的感知数据；
通过对所述感知数据执行语义分类过程，从所述感知数据提取(S104)所述第一用户(130a)的语义信息；以及
向所述第二用户接口(120b)提供(S106)所述语义信息，以用于在所述第二用户接口(120b)上渲染所述语义信息的表示以及所显示的所述第一用户(130a)的表示(140a)。
22.一种计算机程序产品(810)，包括根据权利要求21所述的计算机程序(820)和在其上存储所述计算机程序的计算机可读存储介质(830)。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/EP2021/063364 WO2022242857A1 (en) | 2021-05-19 | 2021-05-19 | Communication of semantic information between augmented reality communication devices |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117321541A true CN117321541A (zh) | 2023-12-29 |
Family
ID=76076347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180098321.8A Pending CN117321541A (zh) | 2021-05-19 | 2021-05-19 | 增强现实通信设备之间的语义信息通信 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4341778A1 (zh) |
| CN (1) | CN117321541A (zh) |
| WO (1) | WO2022242857A1 (zh) |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10629003B2 (en) * | 2013-03-11 | 2020-04-21 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| US11397462B2 (en) * | 2012-09-28 | 2022-07-26 | Sri International | Real-time human-machine collaboration using big data driven augmented reality technologies |
| US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US20180096506A1 (en) * | 2016-10-04 | 2018-04-05 | Facebook, Inc. | Controls and Interfaces for User Interactions in Virtual Spaces |
| KR20230117638A (ko) * | 2017-05-16 | 2023-08-08 | 애플 인크. | 향상된 사용자 상호작용들을 위한 이미지 데이터 |
| CN109802931B (zh) * | 2017-11-17 | 2021-08-06 | 腾讯科技（深圳）有限公司 | 一种通信处理方法、终端及存储介质 |
| CN111656406A (zh) * | 2017-12-14 | 2020-09-11 | 奇跃公司 | 基于上下文的虚拟化身渲染 |
| US11334376B2 (en) * | 2018-02-13 | 2022-05-17 | Samsung Electronics Co., Ltd. | Emotion-aw are reactive interface |
| US10924566B2 (en) * | 2018-05-18 | 2021-02-16 | High Fidelity, Inc. | Use of corroboration to generate reputation scores within virtual reality environments |
| US10964082B2 (en) * | 2019-02-26 | 2021-03-30 | Snap Inc. | Avatar based on weather |
| US10852918B1 (en) * | 2019-03-08 | 2020-12-01 | Snap Inc. | Contextual information in chat |
-
2021
- 2021-05-19 WO PCT/EP2021/063364 patent/WO2022242857A1/en active Application Filing
- 2021-05-19 EP EP21727463.8A patent/EP4341778A1/en active Pending
- 2021-05-19 CN CN202180098321.8A patent/CN117321541A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4341778A1 (en) | 2024-03-27 |
| WO2022242857A1 (en) | 2022-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102255273B1 (ko) | 청소 공간의 지도 데이터를 생성하는 장치 및 방법 | |
| US11010601B2 (en) | Intelligent assistant device communicating non-verbal cues | |
| US11397462B2 (en) | Real-time human-machine collaboration using big data driven augmented reality technologies | |
| CN105934227B (zh) | 音频导航辅助 | |
| US20180231653A1 (en) | Entity-tracking computing system | |
| US20210256264A1 (en) | Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof | |
| US11810279B2 (en) | Image acquisition device and method of controlling the same | |
| US9891884B1 (en) | Augmented reality enabled response modification | |
| KR102420567B1 (ko) | 음성 인식 장치 및 방법 | |
| US11327320B2 (en) | Electronic device and method of controlling the same | |
| KR102458358B1 (ko) | 영상 처리 장치 및 방법 | |
| CN109906457A (zh) | 数据识别模型构建设备及其构建数据识别模型的方法，以及数据识别设备及其识别数据的方法 | |
| JP2023511332A (ja) | 拡張現実マップキュレーション | |
| US20210326594A1 (en) | Computer-generated supplemental content for video | |
| KR102396794B1 (ko) | 전자 장치 및 이의 제어 방법 | |
| KR20210059177A (ko) | 전자장치 및 그 제어방법 | |
| KR20200039365A (ko) | 전자 장치 및 이의 제어 방법 | |
| CN118103799A (zh) | 与远程设备的用户交互 | |
| KR20190096752A (ko) | 컨텐츠에 대한 텍스트 코멘트를 생성하는 방법 및 전자 장치 | |
| EP3757878A1 (en) | Head pose estimation | |
| JP7354686B2 (ja) | 出力制御装置、表示制御システム、出力制御方法およびプログラム | |
| CN117321541A (zh) | 增强现实通信设备之间的语义信息通信 | |
| US10733448B2 (en) | Machine learning of context data for social and contextual scene inferences | |
| US20220301346A1 (en) | Learning apparatus, learning system, and nonverbal information learning method | |
| CN111919250B (zh) | 传达非语言提示的智能助理设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |