CN110268448A - 动态呈现增强现实信息以减少峰值认知需求 - Google Patents

动态呈现增强现实信息以减少峰值认知需求 Download PDF

Info

Publication number
CN110268448A
CN110268448A CN201880011224.9A CN201880011224A CN110268448A CN 110268448 A CN110268448 A CN 110268448A CN 201880011224 A CN201880011224 A CN 201880011224A CN 110268448 A CN110268448 A CN 110268448A
Authority
CN
China
Prior art keywords
annotation
group
display
assigned
pairing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880011224.9A
Other languages
English (en)
Other versions
CN110268448B (zh
Inventor
莫娜·辛格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Pcms Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pcms Holdings Inc filed Critical Pcms Holdings Inc
Publication of CN110268448A publication Critical patent/CN110268448A/zh
Application granted granted Critical
Publication of CN110268448B publication Critical patent/CN110268448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

描述了用于在时间上分布增强现实(AR)信息的显示以减少用户的认知负荷的系统和方法。在示例性实施例中，每个AR信息项与相应的现实世界对象相关联。每个项及其相关联的现实世界对象的认知需求得分被确定。AR信息项以这样的方式被分布在多个集合中：(i)各个集合中的总认知需求得分基本上相等；以及(ii)集合内的AR信息项不会彼此模糊。然后，每一AR信息项集合被顺序显示，其中不同集合中的项在不同时间被显示。

Description

动态呈现增强现实信息以减少峰值认知需求
相关申请的交叉引用
本申请要求2017年2月20日提交的美国临时专利申请序列号62/461,034的权益，其公开内容通过引用结合于此。
背景技术
支持多个应用程序的增强现实(AR)操作系统可能通过过多信息而使用户过载或者可能导致用户遭受注意力过载。AR用户界面确定要向用户显示的AR信息项。
在实际AR系统的实施中要解决的一个问题是确定要显示什么AR信息以及何时应该显示该AR信息。如果一次显示太多信息，则用户的负担可能太大。显示过多的信息可能会给用户带来压力和倦怠，并可能导致用户犯错误、关闭应用程序或取消订阅应用程序。如果显示的信息太少，则该过程会变得低效，并且用户可能变得无聊或烦恼，导致用户关闭取消订阅应用程序。
发明内容
提供了本文描述的系统和方法，用于以对用户的认知需求(cognitive demand)进行管理的方式在时间上分发增强现实(AR)信息的显示。在示例性实施例中，AR信息项与相应的现实世界对象相关联。确定每个项及其相关的现实世界对象的认知需求得分。AR信息项以这样的方式分布在多个集合中：(i)各个集合中的总认知需求得分基本上相等；以及(ii)集合内的AR信息项不会彼此模糊。然后，顺序地显示每个关于AR信息项的集合，其中同一集合中的项被同时显示，并且在不同集合中的项在不同时间被显示。
在一些实施例中，本文描述的系统和方法计算每一关于现实世界对象标识信息和AR信息项的配对(pair)的认知需求得分，该计算基于所述现实世界对象的视觉特性和所述AR信息的复杂度和大小(例如，字数或字符数)。这里描述的系统和方法将所接收的配对划分成两个或更多个集合，使得得到的配对集合对用户具有近似相等的聚合认知需求(aggregate cognitive demand)。这些集合被一次一个配对集合地呈现给用户。AR信息以减少用户的峰值聚合认知需求的方式而被呈现给用户。
用于内容呈现的信息密度可能很高并且在显示区域上不均匀地分布。先前的系统不会确定在呈现AR内容时可能出现的牵连。这里描述的系统和方法基于内容的认知负荷来管理在显示设备上AR信息呈现，并且处理由于内容被绑定到场景中的物理对象而引起的复杂化以及内容可能使其他内容元素模糊的可能性。
在一些实施例中，这里描述的示例性系统和方法是被动的并且即使用户没有采取主动，也可以继续执行。用户可以以随意、直观的方式逐渐熟悉他或她的周围环境。在一些实施例中，系统和方法检测对用户场景的改变并适当地响应。系统和方法可以在现有AR应用程序和显示器之上被实例化，并且可以与其他技术组合，例如从AR应用程序接收优先级信息并考虑用户对可用AR信息的偏好。
附图说明
可以从以下描述中获得更详细的理解，所述描述是结合附图以示例的方式呈现的。此外，附图中相同的附图标记表示相同的元素，并且其中：
图1是本文描述的系统的实施例的框图。
图2是将配对(现实世界对象标识信息和相关联的AR信息)指派给集合的示例性方法的流程图。
图3是将配对指派给集合的另一示例性方法的流程图。
图4是用于将配对指派给集合并用AR信息增强显示的示例性消息序列图。
图5是具有现实世界对象和AR信息项的示例性场景的平面示意图。
图6是用于示例性AR显示的一系列屏幕截图。
图7描绘了可以在本文描述的系统的实施例中使用的示例性无线发射/接收单元(WTRU)。
图8描绘了可以在本文描述的系统的实施例中使用的示例性网络实体。
在此描述的以及结合各个附图描述的实体、连接和布置等是作为示例而非限制的方式呈现的。因此，关于以下的任何和所有陈述或其他指示(可能是孤立的和脱离上下文被认为是绝对的，因此是限制性的)可能只能在其前面建设性加上诸如“在至少一个实施例中......”之类的条款的情况下被恰当地理解：特定图形“描绘”的内容、特定图形中的特定元素或实体是什么或具有什么、以及任何和所有类似的陈述。为了简洁和清晰的表述，这个隐含的主导条款可能不会在附图的详细描述中被过度重复。
具体实施方式
用于选择要向用户显示的AR信息的一种技术是显示关于在用户的视野中的现实世界对象的AR信息，这其中包括可能太远而无法被用户辨别的对象。然而，这种技术可能利用AR信息使得用户不堪重负，例如在用户的视野中具有许多现实世界对象的信息可被呈现给用户的环境中尤其如此。这些信息可能变得对于用户而言越来越不相关。
用于选择要向用户显示的AR信息的另一种技术是仅显示用户凝视的现实世界对象的AR信息。然而，这种技术不能用于将未预料到的或未知的信息传达给用户，并且它要求用户主动选择对象(通过引导她的注视)以显示关于该对象的信息。而且，这种技术不容易同时显示关于多个不同对象的信息。
本文描述的系统和方法给出了一种呈现增强现实(AR)信息的方式，其可减少对用户的聚合认知需求，使得用户不必处理同时呈现的AR信息项。一个实施例将可用项划分为两个或更多个集合以近似平衡对用户的聚合认知需求。可以连续地呈现这些集合，使得一个集合内的所有AR项被呈现，然后呈现另一集合中的所有AR项，以此类推。对用户上的峰值认知需求(对所有这些集合的最大需求)可被最小化。
可用的AR项可被划分为两个或更多个集合以近似地平衡对用户的聚合认知需求，从而减少峰值聚合认知需求。认知负荷是用户施加多少心力(mental effort)。信息项的认知需求是用户用来处理该信息项的心力量，例如观看、推理(或分析)和采取行动。
对于一些实施例，确定每个对象的认知需求(例如，其复杂度)，并且对集合进行划分，使得这些集合在组合认知需求方面被(近似)平衡，并且还使得每个集合避免对象之间的冲突。对于这样的实施例，一次一个集合地显示AR信息。
图1是AR系统100的示例性实施例的框图。在系统100中，一个或多个场景传感器101(例如，相机或激光雷达(LIDAR))向AR划分构建器提供场景信息102(例如，作为点云)。一个或多个位置传感器104提供位置信息105，其向AR划分构建器103提供用户的位置。AR划分构建器103从各个传感器接收场景信息102和位置信息105，并将组合的场景和位置信息106发送到一个或多个合适的(例如，所订阅的)AR应用程序(AR App)107。AR应用程序107使用所接收的信息106来生成一集合，其包含关于所标识的现实世界对象和对应的增强信息(AR数据)的配对108。在所述配对108的集合内的每一配对包括标识现实世界对象的信息(可以使用位置坐标的标识，其包括所述对象的图像和边界坐标)及相关联的AR数据(其提供关于所述现实世界对象的信息且还可以描述如何在AR显示中渲染该信息)。然后，AR应用程序107向AR划分构建器103提供配对108集合。
AR划分构建器103将配对108集合发送到认知需求估计器110。认知需求估计器110计算每个配对对于用户的认知需求得分111，其基于所述配对中的现实世界对象的图像的大小和复杂度以及所述配对中的AR信息项内的信息的复杂度。认知需求估计器110将配对108集合内的每一配对的认知需求得分111发送给AR划分构建器103。基于所接收的认知需求得分和场景特性(用于确定遮挡)，AR划分构建器103将配对108集合划分成两个或更多个集合。AR划分构建器103将所述配对集合作为突出显示的对象和AR信息112发送到AR显示器113，以一次显示一个集合。如果基于所接收的信息，位置或场景显著改变，则AR划分构建器103可以从认知需求估计器110请求经修订的认知需求得分，并形成关于所述配对108集合的修订划分。
图2是将配对(现实世界对象图像信息和相关联的AR信息)指派给集合的示例性方法200的流程图。在一些实施例中，所接收的每个信息配对包括由对象的地理空间坐标标识的一个现实世界对象以及可以指定和渲染一些相关联的增强信息(包括所述现实世界对象的名称和其他属性)的关联AR信息项。方法200是将配对(具有关联的现实世界对象)指派入两个或更多个集合的一种方式，用于一次显示一个集合的系统。示例性方法可以包括接收信息配对，指派平衡聚合认知需求的集合，以及一次一个地重复显示集合。对于一些实施例，可以将AR信息项指派给集合，针对一些实施例，其可以通过将配对指派给集合的方式而被执行。
在方法200的框201中，接收信息配对集合，例如，可能是如图1所示的配对108集合。这些配对包括现实世界对象的标识以及相应的AR信息(现实对象+AR数据)。在判定框202中，确定所接收的集合是新的或者具有与先前的一配对集合的低相似性(或者，与先前指派的集合相比，具有显著变化)。如果不是，则方法200前进到框203，其中迭代地显示这些集合。显示每个集合时，同时显示该集合中的所有配对。
如果如在判定框204中确定所述配对集合是新的，或者存在显著变化，则在框204中为每个接收到的配对计算认知需求得分。对于一些实施例，配对的认知需求得分是基于对用户对现实世界对象和AR信息项的认知需求而被计算。可以基于现实世界对象的复杂度或大小来计算所述认知需求得分，因为如果用户的注意力被吸引到所述现实世界对象(这可能由于存在AR信息而发生)，则用户可能消耗精神能量。如果用户查看所述AR信息，则用户可能消耗精神能量。
对于一些实施例，通过将现实世界对象子得分乘以AR信息项子得分来确定原始得分。通过将最高原始得分标准化为100并将所有其他原始得分按与所述最高原始得分相同的比例缩放来确定认知需求得分。对于一些实施例，通过对大小值和复杂度值求和来确定现实世界对象子得分。可以基于所对向角度(angle subtended)来确定大小值。通过从用户的视点延伸两条直线到所述现实世界对象的边界上的最远相对点并且最大化由该两条直线形成的角度来测量所述对向角度。对于一些实施例，如果所述对向角度小于0.5度，则使用100的大小值。如果所述对向角度在0.5和2度之间，则使用80的大小值。如果所述对向角度在2到5度之间，则使用60的大小值。如果所述对向角度大于5度，则使用50的大小值。可以基于由对象的压缩大小(可以以兆字节(MB)或其他单位表示)确定的现实世界对象的图像的复杂度来确定复杂度值。
对于一些实施例，通过对所述AR信息项中的任何文本的复杂度、所述AR信息项中的任何图像的复杂度以及所述AR信息中的任何视频的复杂度求和来确定AR信息项子得分。所述AR信息项中任何文本的复杂度可以计算为所述文本中的单词数之和和三个最长单词的长度之和(或者，如果文本内存在少于三个单词，则为所有单词的长度之和)。可以将所述AR信息项中的任何图像的复杂度计算为每个图像的复杂度之和，其又可以被计算为图像的压缩大小(其可以以MB为单位)。所述AR信息项中的任何视频的复杂度可以被计算为以秒为单位的视频长度的十倍之和加上所述视频中最复杂帧的复杂度，其可以被计算为所述视频的压缩大小(其可以以MB为单位)。一些实施例可以使用另一种方法代替图像压缩大小来计算图像复杂度。
配对集合中的每个条目是关于标识现实世界对象(其可以由坐标指定)的信息和AR信息项(其是关于所述现实世界对象的信息)的配对。对于一些实施例，为了确定配对集合是否已经显著改变，将前一配对集合中的每个条目与当前集合进行比较。计算Jaccard(杰卡德)指数，如果该Jaccard指数低于阈值(例如0.8)，则该集合被分类为显著变化。为了将前一配对集合中的每个条目与当前集合进行比较，让前一集合中的每一配对具有坐标<xp,yp,zp>，并且让当前集合中的每一配对具有坐标<xc,yc,zc>。如果两个配对的平方距离计算小于平方距离阈值(例如，0.5m2)，且该两个配对的AR信息相同(或类似)，则将该两个配对记录为相同。所述平方距离计算被计算如下：
平方距离＝(xc-xp)2+(yc-yp)2+(zc-zp)2 等式1
对于一些实施例，所述平方距离被用于匹配先前配对集合和当前配对集合之间的条目并确定哪些条目已经改变。可以计算Jaccard指数以确定这些集合之间的相似性。
如果坐标测量值存在小的变化(例如由于测量误差或用户头部和身体的轻微移动)，则使用阈值可以使两个配对被分类为相同。如果AR信息(或元数据)改变，则可能意味着新的现实世界对象已经移动到先前由另一个对象占据的位置，或者AR应用程序已经改变了关于同一现实世界对象的AR信息。如果发生任何AR信息改变，则该改变可能对用户而言是有价值。
在框205中，创建期望数量的空集并将其初始化为空状态。在判定框206中确定是否存在未指派配对(即，尚未指派给集合的配对)。最初，所有配对都处于这一情况。当已经指派了所有配对，并且该条件不再为真时，方法200将前进到框203。然而，在满足这样的条件之前，方法200将改为进行到框207。
如果存在未指派配对，则在框207中通过选择具有指派给该集合的配对的最小聚合(或总和)认知需求得分的集合来迭代地选择当前集合。如果在判定框208中确定存在未指派配对，其既未遮挡已被指派给所述当前集合的任何配对，也未被该任何配对遮挡，则在框210，选择具有最高认知需求得分的未指派配对(既未遮挡已被指派给所述当前集合的任何配对，也未被该任何配对遮挡)，并其指派给所述当前集合。否则，在框209中，将具有最高认知需求得分的未指派配对指派给所述当前集合。在框209或210之后，方法200返回到判定框206。
对于一些实施例，聚合需求得分中的并列关系可被任意打破。对于一些实施例，如果超过要显示的最大配对数(或者等于所指派的AR信息项阈值)，则停止集合到配对的指派。对于一些实施例，如果第一配对被每个集合中的一些先前指派的配对遮挡，则将第一配对指派给该第一配对具有来自任何先前指派的配对的最少量的遮挡的集合。对于一些实施例，处理未指派配对的顺序在两集合之一(其中一集合以需求得分降低排序而另一集合按需求得分增加排序)上使用顶部配对之间交替，直到每一配对均被指派给了一集合。对于这样的实施例，对象集合在需求得分方面可以比仅按需求得分的降序指派配对更加平衡。
对于一些实施例，将配对指派给集合，使得每个集合具有指派给该集合的配对的基本相等的总需求得分。对于其他实施例，将配对指派给集合以最小化指派给集合的配对的总需求得分的差异。参见Richard Korf,Multi-Way Number Partitioning(多种划分方式),21 ARTIFICIAL INTELLIGENCE JOURNAL(21人工智能杂志)538-543(2009),可参见ijcai.org/Proceedings/09/Papers/096.pdf。对于一些实施例，针对指派给集合的配对计算显著性(salience)值，并且按照聚合显著性降低的顺序显示集合。对于一些实施例，集合被显示对应于聚合显著性的持续时间(例如，将集合显示与聚合显著性成比例的持续时间且具有显示时间的最小和最大限制)。
对于一些场景，可能存在彼此遮挡的AR信息项，且其数量可能多于可在其内放置AR信息项的可用集合的数量。例如，假设有四个重叠配对(A，B，C，D)且三个集合(S1，S2和S3)将被创建。对于该示例，按照认知需求的降序对配对进行排序，使得A>B>C>D。初始化三个集合，并且将最高需求配对A指派给集合S1。第二高需求配对B被指派给集合S2，而第三高需求配对C被指派给集合S3。选择集合S3作为当前集合，因为集合S3具有最小的聚合认知需求。配对D是唯一未指派配对，并且配对D遮挡(或重叠)已经指派给集合S1、S2和S3的配对(分别为配对A、B和C)。因此，配对D被指派给集合S3。集合S1、S2和S3被一次显示一个。
对于一些实施例，每一配对被指派给一个集合，并且如果存在太多的遮挡配对，则一些配对可能遮挡指派给一个或多个集合的其他配对。因此，在这种情况下，可能存在指派给同一集合的两个或更多个遮挡配对，导致降低用户体验。对于一些实施例，如果存在比集合数量更多的遮挡配对(诸如以上示例中所示)，则可以扩展可用集合的数量。仅为一个集合指派既不会遮挡该集合内存在的配对也不会被该配对遮挡的配对。如果一配对遮挡了指派给每个集合的配对或者被该配对遮挡，则可增加集合的数量，每个集合可被初始化为空，并且该方法重复将配对指派给集合的过程。这样的实施例会产生这样的集合：没有配对遮挡该集合内的另一配对或者被该另一配对遮挡，并且聚合认知需求被降低。方法200可以循环，以便其在框201中接收到新的配对集合时被重复。
图3是将配对(现实世界对象标识信息和相关联的AR信息)指派给集合的实施例的另一流程图。在图3中，方法300开始于框301，其中接收K个配对(现实对象+AR数据)的集合。在框302中生成M个空集合，并且对于所有K个配对迭代以下过程，如框303所示。例如，框303可以以具有最高C得分的配对开始并以降序进行工作。在框304中从M个集合选择具有最低认知需求得分(C得分)的集合m。在判定框305中，检查当前配对(被表示为配对k)与集合m内已经被指派的其他配对的遮挡。如果没有遮挡，则在框306中将当前配对k添加到集合m。如果在判定框305中确定存在遮挡，则方法300前进到判定框307，以确定M个集合中是否存在剩余集合。如果存在，则方法300在框308中选择具有下一个最低C得分的集合，并将其设置为集合m，然后返回到判定框305，其中新集合被指定为m。如果在判定框309中没有不存在遮挡的集合，则在框309中将配对k添加到具有最低C得分的集合中。框309可以替代地实施不同的指派方法，如上所述，例如基于具有最低量的遮挡而指派配对k。
在框306或309之后，方法300前进到判定框310以确定是否已将所有配对指派给集合。如果不是，则方法300返回到框303，以指派下一配对。一旦指派了所有配对，方法300在框311中结束。
现在将参考图3中的方法300来描述示例指派。在该示例中，在框301中接收九个关于现实世界对象和AR信息项的配对。按递减顺序，他们的认知需求得分是100,95,78,42,37,28,26,19和8。在框302中生成三个集合(A，B和C)，并且这些配对以它们的得分的降序顺序被处理。集合A、B和C最初为空，因此每个集合的聚合需求得分为0。在框303中，最高得分未指派配对(得分为100)被选为要放置的初始配对(降序迭代)。在框304中，集合A被识别为具有0的最低聚合得分。集合A与集合B和C并列，因此可以在该第一次迭代中选择任何集合。
由于集合A否则是空的，所以在判定框305中确定没有遮挡，因此在框306中将该配对添加到集合A。此时所述集合具有以下指派：
集合A：{100}， 聚合得分＝100
集合B：{}， 聚合得分＝0
集合C：{}， 聚合得分＝0
已经指派了九个集合中的仅一个，因此在判定框310之后，在框303中接下来考虑具有得分95的下一个得分最高的未指派配对。在框304中，集合B被识别为具有最低聚合得分为0(与集合C并列)。由于集合B否则是空的，所以在判定框305中确定没有遮挡，因此在框306中将该配对添加到集合B。此时这些集合具有以下指派：
集合A：{100}， 聚合得分＝100
集合B：{95}， 聚合得分＝95
集合C：{}， 聚合得分＝0
已经指派了九个集合中的仅两个，因此在判定框310之后，在框303中接下来考虑具有得分78的下一个得分最高的未指派配对。在框304中，集合C被识别为具有最低聚合0。由于集合C否则为空，因此在判定框305中确定没有遮挡，因此在框306中将所述配对添加到集合C。此时这些集合具有以下指派：
集合A：{100}， 聚合得分＝100
集合B：{95}， 聚合得分＝95
集合C：{78}， 聚合得分＝78
已经指派了九个集合中的仅三个，因此在判定框310之后，在框303中接下来考虑具有得分42的下一个得分最高的未指派配对。在框304中，集合C被识别为具有最低聚合得分78。然而，在该示例中，判定框305确定将存在遮挡。在判定框307中，确定集合A和集合B都是可用的，因此集合B在框308中被识别为具有95的下一个最低集合得分。通过在判定框305中确定将配对42添加到集合B不存在遮挡，因此在框306中将配对42指派给集合B。此时，这些集合具有以下指派：
集合A：{100}， 聚合得分＝100
集合B：{95,42}， 聚合得分＝137
集合C：{78}， 聚合得分＝78
下一个得分最高的未指派配对具有37的得分。集合C具有最低的总得分78。因为配对37对于集合C没有遮挡，所以配对37被指派给集合C。此时，这些集合具有以下指派：
集合A：{100}， 聚合得分＝100
集合B：{95,42}， 聚合得分＝137
集合C：{78,37}， 聚合得分＝115
下一个得分最高的未指派配对具有28的得分。集合A具有最低的聚合得分100。因为配对28对于集合A没有遮挡，所以配对28被指派给集合A。此时，这些集合具有以下指派：
集合A：{100,28}， 聚合得分＝128
集合B：{95,42}， 聚合得分＝137
集合C：{78,37}， 聚合得分＝115
下一个得分最高的未指派配对具有26的得分。集合C具有最低的聚合得分115。因为配对26对于集合C没有遮挡，所以配对26被指派给集合C。此时，这些集合具有以下指派：
集合A：{100,28}， 聚合得分＝128
集合B：{95,42}， 聚合得分＝137
集合C：{78,37,26}， 聚合得分＝141
下一个得分最高的未指派配对的得分为19。集合A具有最低的聚合得分128。因为配对19对于集合A没有遮挡，所以配对19被指派给集合A。此时，这些集合具有以下指派：
集合A：{100,28,19}， 聚合得分＝147
集合B：{95,42}， 聚合得分＝137
集合C：{78,37,26}， 聚合得分＝141
下一个得分最高的未指派配对具有8的得分。集合B具有最低的聚合得分137。因为配对8对于集合B没有遮挡，所以配对8被指派给集合B。
这些集合具有以下最终指派：
集合A：{100,28,19}， 聚合得分＝147
集合B：{95,42,8}， 聚合得分＝145
集合C：{78,37,26}， 聚合得分＝141
此时，已经指派了所有九个集合，因此在判定框310之后，这是该示例的最终指派。方法300可以循环，以便其在框301中接收到新的配对集合时被重复。
图2和3因此描述了接收和处理多个AR注释(annotation)的方法，这些AR注释将被显示在用户设备上，并且与现实世界对象的指示配对。方法200和300包括确定每个所接收的AR注释(或关于AR数据和现实对象指示的配对)的认知需求得分，并且还将每个AR注释指派给注释显示组集合中的一个显示组。在指派所述AR注释时，这些方法尝试在不同集合之间平衡聚合认知需求得分。这导致每个显示组具有的总体认知需求得分(即，该组内所有AR注释得分的总和)近似等于每个其他显示组的总体认知需求得分。由于各个AR注释的变化，可能存在妨碍完美平等的不可避免的差异。另外，可以通过最小化指派给相同注释显示组的AR注释之间的遮挡来约束对于平衡聚合认知需求得分的尝试。在前面的示例中，一些聚合得分相差6(147对141)。
另外，所述方法(例如，图2的方法200)描述了接收其他多个AR注释以在用户设备上显示，确定较新接收的多个AR注释与较早接收的多个AR注释之间的相似性，并且如果不同的集合不够相似(通过将所计算的距离与阈值进行比较来确定)，则生成新的注释显示组集合并重复所述指派过程。
图4是用于将配对指派给集合并用AR信息增强显示的示例性消息序列图400。这里将使用图1中所示的实施例来描述图4。用户设备401上的场景传感器101(例如，相机或LiDAR系统)将场景信息102发送到AR划分构建器103。AR划分构建器103还从也位于用户设备401上的位置传感器104接收位置信息105。所述场景和位置信息106可以被发送到网络或云节点402上的AR应用程序107或信息服务。可以有一个或多个AR应用程序107接收这样的场景和位置信息106。AR划分构建器103(其可以位于用户设备401或网络节点402上)从AR应用程序107接收配对108(现实对象+AR数据)。配对108被发送到认知需求估计器110(该认知需求估计器110可以位于用户设备401或网络节点402上)，然后每一配对的认知需求得分111被AR划分构建器103接收。AR划分构建器103在过程404中将配对指派给集合，以便平衡认知需求并最小化同一集合中的其他配对对所述配对的遮挡。过程404可以采用方法200或300或某种组合的形式。AR划分构建器103可以在过程405中基于时间迭代地确定配对集合(例如，可以每五秒选择一个新的配对集合)，并且可以在过程406中选择包含在当前集合中的配对以用于显示。AR划分构建器103在过程407中将利用所选择的AR信息项(可能类似于AR信息112)增强的场景发送到AR显示器113(其可以类似于方法200的框293)。
如图4所示，消息序列图400的一些部分对应于不同的节点。例如，用户设备401可以接收场景和位置数据106，将所接收的场景和位置数据106发送到远程AR节点402，并且从远程AR节点402接收AR注释(配对108的一部分)。消息序列图400的一些部分可以指示可以在不同节点处执行不同过程。例如，认知需求得分111可以在用户设备401本地被计算，或者在远程节点402(提供配对108的节点或不同节点)上计算。虽然图4示出了在某些位置(例如，用户的设备、云或设备、云)执行的特定动作，但是应当理解，这些是示例，并且这些动作可以通过在这些位置中的任何位置或其组合处的处理来执行。
当显示所述AR注释时，该显示可排除特定注释显示组。也就是说，当显示被指派给所述多个注释显示组中的第一组的AR注释时，不显示被指派给第一多个注释显示组中的第二组或任何其他注释显示组的AR注释。并且，当显示被指派给所述多个注释显示组中的第二组的AR注释时，不显示被指派给所述第一多个注释显示组中的第一组或任何其他注释显示组的AR注释。可以循环地(即，迭代地、一次一个地、并且重复直到该显示组集合改变)显示不同的注释显示组。
图5是具有现实世界对象和AR信息项的示例场景的平面图示意图500。用户在图5的中心被显示为实心黑色菱形501。人字形502表示用户的视角(人字形的内角)。所接收到的AR信息项被显示为正方形。一些AR信息项503a-503h在用户后面并且不显示在用户的设备上。在用户快速转动并改变视野的情况下，一些AR应用程序可以使用用户视野外的AR信息项来缓冲这些信息。这种缓冲减少了网络延时的不良影响，因此可以相对快速地显示变为新可见的AR信息项503a-503h中的任何一个。
被编号的正方形是可以用于显示的AR信息项，并且匹配上述将九个项指派给集合A，B和C的示例性指派。图6中示出了配对和集合的这种配置的示例性屏幕截图。
图6是用于示例AR显示的一系列屏幕截图601和602A-602C。屏幕截图601示出了在不使用本文描述的系统和方法的情况下AR显示器将显示什么。屏幕截图602A示出了当使用本文描述的系统和方法为用户创建和显示集合A(参见图5)时AR显示器将显示什么。矩形中的数字表示增强信息以及配对的认知需求得分。屏幕截图602B和602C分别示出了当为用户创建和显示集合B和C(参见图5)时AR显示器将显示什么。
在一些实施例中，可以为配对集合和为这些配对集合创建的集合存储历史记录。这样存储的信息可以用于提供用户体验的连续性，从而可以从先前中断的旋转中挑选所显示的配对集合。
例如，用户正在向一个方向看，并且集合A、B和C被创建。首先，集合A被显示，然后集合B被显示。集合B被中断，并且在集合C被显示之前，用户向外看。配对集合发生变化，该变化产生集合D、E和F。集合D被显示，然后用户看向与之前相同的方向。在没有历史存储的情况下，可能要重新计算配对集合并重新显示。然而利用历史存储，可以针对集合A、B和C检索先前计算的集合。所述集合的显示可以从集合B开始，因为集合B先前被中断。
在一些实施例中，对用户的配对认知需求可以使用现实世界对象的照明水平。可以确定位于场景的暗部分中的对象比位于场景的明亮部分中的对象更具认知需求。
网络架构
在在此所述的实施例中，无线发射/接收单元(WTRU)可以用作AR显示设备、AP应用程序或者用户的设备。图7描绘了示例性WTRU 9102。WTRU 9102可以包括处理器9118、收发信机9120、发射/接收部件9122、扬声器/麦克风9124、键盘9126、显示器/触摸板9128、不可移除存储器9130、可移除存储器9132、电源9134、全球定位系统(GPS)芯片组9136和其他周边设备9138。收发信机9120可以被实施为通信接口9119内的解码器逻辑的组件。例如，通信接口9119内的收发信机9120和解码器逻辑可以被实施在单个LTE或LTE-A芯片上。所述解码器逻辑可以包括处理器，其可操作以执行存储在非暂时性计算机可读介质中的指令。作为替代或另外，可以使用定制和/或可编程数字逻辑电路来实施所述解码器逻辑。
应该了解的是，在保持符合实施例的同时，WTRU 9102还可以包括前述部件的任何子组合。处理器9118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器9118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU 9102在无线环境中工作的功能。处理器9118可以耦合至收发信机9120，收发信机9120可以耦合至发射/接收部件9122。虽然图7将处理器9118和收发信机9120描述成单独组件，然而应该了解，处理器9118和收发信机9120也可以集成在一个电子组件或芯片中。
发射/接收部件9122可被配置成经由空中接口9116来发射或接收去往或来自基站的信号。举个例子，在一个实施例中，发射/接收部件9122可以是被配置成发射和/或接收RF信号的天线。作为示例，在另一实施例中，发射/接收部件9122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在实施例中，发射/接收部件9122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件9122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图7中将发射/接收部件9122描述成是单个部件，但是WTRU9102可以包括任何数量的发射/接收部件9122。更具体地说，WTRU 9102可以使用MIMO技术。由此，在一些实施例中，WTRU 9102可以包括两个或多个通过空中接口9116来发射和接收无线电信号的发射/接收部件9122(例如多个天线)。
收发信机9120可被配置成对发射/接收部件9122所要传送的信号进行调制，以及对发射/接收部件9122接收的信号进行解调。如上所述，WTRU9102可以具有多模能力。因此，收发信机9120可以包括允许WTRU 9102借助多种RAT(例如UTRA和IEEE 802.11)来进行通信的多个收发信机。
WTRU 9102的处理器9118可以耦合到扬声器/麦克风9124、键盘9126和/或显示器/触摸板9128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器9118还可以向扬声器/麦克风9124、键盘9126和/或显示器/触摸板9128输出用户数据。此外，处理器9118可以从诸如不可移除存储器9130和/或可移除存储器9132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。所述不可移除存储器9130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。所述可移除存储器9132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。不可移除存储器9130和可移除存储器9132这两者可包括非暂时计算机可读媒体。在其他实施例中，处理器9118可以从那些并非实际位于WTRU9102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器9118可以接收来自电源9134的电力，并且可被配置分发和/或控制用于WTRU 9102中的其他组件的电力。电源9134可以是为WTRU9102供电的任何适当设备。例如，电源9134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器9118还可以耦合到GPS芯片组9136，该芯片组可被配置成提供与WTRU 9102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组9136的信息的补充或替换，WTRU 9102可以经由空中接口9116接收来自基站的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 9102可以借助任何适当的定位方法来获取位置信息。
处理器9118还可以耦合到其他周边设备9138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，周边设备9138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块以及因特网浏览器等。
图8描绘了可用于于此描述的系统实施例的示例性网络实体9190。如图8所示，网络实体9190包括通信接口9192、处理器9194和非暂时数据存储器9196，所有这些都通过总线、网络或其他通信路径9198通信链接。
通信接口9192可以包括一个或多个有线通信接口和/或一个或多个无线通信接口。关于有线通信，作为示例，通信接口9192可以包括一个或多个接口，例如以太网接口。关于无线通信，通信接口9192可以包括诸如以下的组件：一个或多个天线、为一种或多种类型的无线(例如，LTE)通信设计和配置的一个或多个收发信机/芯片组、和/或被相关领域的技术人员认为合适的任何其他组件。并且进一步关于无线通信，通信接口9192可以按规模被配备并且具有适合于作用于无线通信(例如，LTE通信和Wi-Fi通信等)的网络侧(而非客户端侧)的配置。因此，通信接口9192可以包括适当的装备和电路(其可以包括多个收发信机)，用于服务覆盖区域中的多个移动站、UE或其他接入终端。
处理器9194可以包括相关领域的技术人员认为合适的任何类型的一个或多个处理器，一些示例包括通用微处理器和专用DSP。数据存储器9196可以采用任何非暂时性计算机可读介质或以下媒体的组合的形式，该媒体的一些示例包括闪存、只读存储器(ROM)和随机存取存储器(RAM)等，在此只是进行了少量的列举，因为可以使用相关领域技术人员认为合适的任何一种或多种类型的非暂时性数据存储器。如图8所示，数据存储器9196包含可由处理器9194执行的程序指令9197，用于执行本文所述的各种网络实体功能的各种组合。
在一些实施例中，本文描述的网络实体功能由具有与图8的网络实体9190的结构类似的结构的网络实体来执行。在一些实施例中，这些功能中的一者或多者由一组多个网络实体组合执行，其中每个网络实体具有与图8的网络实体9190的结构类似的结构。在各种不同的实施例中，网络实体9190可以是或者至少包括以下一者或多者：无线电接入网络(RAN)中的实体、核心网络中的实体、基站或网络节点(诸如，节点B、RNC、MGW、MSC、SGSN、GGSN、e节点B、MME)、服务网关、PDN网关、ASN网关、MIP-HA和AAA。当然，在各种实施例中可以使用其他网络实体和/或网络实体的组合来执行本文描述的网络实体功能，因为前述集合是作为示例而非通过限制的方式提供的。
注意，所描述的实施例中的一者或多者的各种硬件元件被称为“模块”，其实施(即，执行、运行等)本文结合各个模块描述的各种功能。如本文所使用的，模块包括被相关领域的技术人员认为适合于给定的实施的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行以执行被描述为由相应模块执行的一个或多个功能的指令，并且应注意，那些指令可以采取或包括硬件(即，硬连线)指令、固件指令和/或软件指令等的形式，并可以存储在任何合适的非暂时性计算机可读介质或媒体中，例如其通常被称为RAM或ROM等。
虽然在上述中描述了采用特定组合的特征和元素，但是本领域普通技术人员将会认识到，每一个特征或元素既可以单独使用，也可以与其他特征和元素进行任何组合。另外，在此所述的方法可以在结合在计算机可读介质中的计算机程序、软件或固件中实现，以由计算机或处理器执行。计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁媒体(例如，内部硬盘和可移除磁盘)、磁光媒体和光学媒体(例如，CD-ROM盘和数字通用盘(DVD))。与软件相关联的处理器可用于实现用于WTRU、UE、终端、基站、RNC或任何主计算机的射频收发信机。

Claims (16)

1.一种方法，该方法包括：
接收第一多个增强现实(AR)注释以在用户设备上显示；
确定针对每个所接收的AR注释的认知需求得分；
将每个所述AR注释指派给第一多个注释显示组中的一组，其中将每个所述AR注释指派给第一多个注释显示组中的一组包括平衡所述第一多个注释显示组之间的聚合认知需求得分；以及
以排除指派给所述第一多个注释显示组中的第二组的AR注释的方式，显示指派给所述第一多个注释显示组中的第一组的AR注释。
2.根据权利要求1所述的方法，还包括：
在显示指派给所述第一多个注释显示组中的所述第一组的AR注释之后，以排除指派给所述第一多个注释显示组中的所述第一组的AR注释的方式，显示指派给所述第一多个注释显示组中的所述第二组的AR注释。
3.根据权利要求1所述的方法，还包括：
以排除指派给所述第一多个注释显示组中的不同组的AR注释的方式，循环地显示指派给所述第一多个注释显示组中的每一组的AR注释。
4.根据权利要求1所述的方法，还包括：
接收场景和位置数据；以及
将所接收的场景和位置数据发送到AR节点。
5.根据权利要求4所述的方法，其中接收第一多个AR注释包括从所述AR节点接收所述第一多个AR注释。
6.根据权利要求1所述的方法，其中确定所述第一多个AR注释中的每一者的认知需求得分包括在所述用户设备上确定所述认知需求得分。
7.根据权利要求1所述的方法，其中平衡所述第一多个注释显示组之间的聚合认知需求得分包括：将AR注释指派给每个注释显示组，使得所述第一多个注释显示组中的每一组的认知需求得分的总和近似相等。
8.根据权利要求1所述的方法，其中平衡所述第一多个注释显示组之间的聚合认知需求得分包括：将AR注释指派给注释显示组，使得所述AR注释既不遮挡被指派给同一注释显示组的任何其他AR注释，也不被该任何其他AR注释遮挡。
9.根据权利要求1所述的方法，其中将每个所述AR注释指派给第一多个注释显示组中的一组包括迭代地：
选择所述多个AR注释中的具有最高认知需求得分的一个未指派AR注释；
选择所述第一多个注释显示组中的具有最低聚合认知需求得分的一个注释显示组；以及
将所选择的未指派AR注释指派给所选择的注释显示组。
10.根据权利要求9所述的方法，其中选择所述第一多个注释显示组中的具有最低聚合认知需求得分的一个注释显示组包括：选择所述第一多个注释显示组中的一个注释显示组，其具有所述最低聚合认知需求得分且还最小化所选择的未指派AR注释与指派给所选择的注释显示组的其他AR注释之间的遮挡。
11.根据权利要求1所述的方法，其中确定每个所述AR注释的认知需求得分包括：对每个所述AR注释的大小值和复杂度值求和。
12.根据权利要求11所述的方法，还包括：
通过以下确定每一所述AR注释的所述大小值：确定从一观看点到所述AR注释配对的现实世界对象的边界上的最远相对点的对向角度。
13.根据权利要求11所述的方法，还包括：
通过以下确定每一所述AR注释的所述复杂度值：确定与所述AR注释配对的现实世界对象的图像的压缩大小。
14.根据权利要求1所述的方法，还包括：
接收第二多个AR注释以显示在用户设备上；
响应于接收所述第二多个AR注释，确定该第二多个AR注释与所述第一多个AR注释之间的相似性；以及
响应于所述相似性低于阈值，生成新的多个注释显示组并将所述第二多个AR注释中的每一AR注释指派给所述新的多个注释显示组中的一组。
15.一种设备，该设备包括：
处理器；以及
存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时可操作以执行权利要求1至14中任一项所述的方法。
16.一种显示增强现实(AR)信息的方法，该方法包括：
接收用户的视图中的第一多个AR信息项；
将所述第一多个AR信息项分配给第一组多个显示集合；
循环显示所述第一多个显示集合，其中所述第一多个显示集合中的不同集合被排他地显示。
CN201880011224.9A 2017-02-20 2018-02-13 动态呈现增强现实信息以减少峰值认知需求 Active CN110268448B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762461034P 2017-02-20 2017-02-20
US62/461,034 2017-02-20
PCT/US2018/018006 WO2018152109A1 (en) 2017-02-20 2018-02-13 Dynamically presenting augmented reality information for reducing peak cognitive demand

Publications (2)

Publication Number Publication Date
CN110268448A true CN110268448A (zh) 2019-09-20
CN110268448B CN110268448B (zh) 2023-11-24

Family

ID=61386927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880011224.9A Active CN110268448B (zh) 2017-02-20 2018-02-13 动态呈现增强现实信息以减少峰值认知需求

Country Status (4)

Country Link
US (1) US10867181B2 (zh)
EP (1) EP3583579A1 (zh)
CN (1) CN110268448B (zh)
WO (1) WO2018152109A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012033768A2 (en) * 2010-09-07 2012-03-15 Qualcomm Incorporated Efficient information presentation for augmented reality
CN102566893A (zh) * 2010-10-22 2012-07-11 株式会社泛泰 用于提供增强现实用户界面的设备和方法
CN103069370A (zh) * 2010-06-30 2013-04-24 诺基亚公司 用于在增强现实中自动地生成建议的信息层的方法、装置和计算机程序产品
US20150213646A1 (en) * 2014-01-28 2015-07-30 Siemens Aktiengesellschaft Method and System for Constructing Personalized Avatars Using a Parameterized Deformable Mesh
CN105814626A (zh) * 2013-09-30 2016-07-27 Pcms控股公司 用于提供增强现实显示和/或用户界面的方法、装置、系统、设备和计算机程序产品
US20160358383A1 (en) * 2015-06-05 2016-12-08 Steffen Gauglitz Systems and methods for augmented reality-based remote collaboration

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796176B2 (en) * 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
US10911829B2 (en) * 2010-06-07 2021-02-02 Affectiva, Inc. Vehicle video recommendation via affect
US20120019557A1 (en) 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
US9710554B2 (en) * 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
US8698843B2 (en) * 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
KR20180035243A (ko) * 2012-08-24 2018-04-05 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 가상 현실 어플리케이션
WO2014035367A1 (en) * 2012-08-27 2014-03-06 Empire Technology Development Llc Generating augmented reality exemplars
US9712574B2 (en) * 2012-08-31 2017-07-18 Facebook, Inc. Real-world view of location-associated social data
US9317972B2 (en) * 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
CA2896985A1 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
GB2513865A (en) 2013-05-07 2014-11-12 Present Pte Ltd A method for interacting with an augmented reality scene
US9104235B2 (en) * 2013-08-22 2015-08-11 International Business Machines Corporation Modifying information presented by an augmented reality device
US9292764B2 (en) 2013-09-17 2016-03-22 Qualcomm Incorporated Method and apparatus for selectively providing information on objects in a captured image
EP3742405A3 (en) 2013-09-24 2021-01-13 Apple Inc. Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
KR102493498B1 (ko) 2013-11-27 2023-01-27 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US20150262428A1 (en) 2014-03-17 2015-09-17 Qualcomm Incorporated Hierarchical clustering for view management augmented reality
US9864909B2 (en) * 2014-04-25 2018-01-09 Huntington Ingalls Incorporated System and method for using augmented reality display in surface treatment procedures
US11494390B2 (en) 2014-08-21 2022-11-08 Affectomatics Ltd. Crowd-based scores for hotels from measurements of affective response
US9779327B2 (en) * 2015-08-21 2017-10-03 International Business Machines Corporation Cognitive traits avatar for similarity matching
US10638176B2 (en) * 2015-10-29 2020-04-28 Adobe Inc. Channel preference scoring for users based on channel watching and browsing behavior
US20180310870A1 (en) * 2017-05-01 2018-11-01 The Charles Stark Draper Laboratory, Inc. Deep learning architecture for cognitive examination subscore trajectory prediction in alzheimer's disease
US10867422B2 (en) * 2017-06-12 2020-12-15 Adobe Inc. Facilitating preservation of regions of interest in automatic image cropping
US11544576B2 (en) * 2017-11-14 2023-01-03 International Business Machines Corporation Unified cognition for a virtual personal cognitive assistant of an entity when consuming multiple, distinct domains at different points in time
US11568273B2 (en) * 2017-11-14 2023-01-31 International Business Machines Corporation Multi-dimensional cognition for unified cognition in cognitive assistance
US11443196B2 (en) * 2017-11-14 2022-09-13 International Business Machines Corporation Unified cognition for a virtual personal cognitive assistant when cognition is embodied across multiple embodied cognition object instances
US10994209B2 (en) * 2017-11-27 2021-05-04 Sony Interactive Entertainment America Llc Shadow banning in social VR setting
US11249945B2 (en) * 2017-12-14 2022-02-15 International Business Machines Corporation Cognitive data descriptors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103069370A (zh) * 2010-06-30 2013-04-24 诺基亚公司 用于在增强现实中自动地生成建议的信息层的方法、装置和计算机程序产品
WO2012033768A2 (en) * 2010-09-07 2012-03-15 Qualcomm Incorporated Efficient information presentation for augmented reality
CN102566893A (zh) * 2010-10-22 2012-07-11 株式会社泛泰 用于提供增强现实用户界面的设备和方法
CN105814626A (zh) * 2013-09-30 2016-07-27 Pcms控股公司 用于提供增强现实显示和/或用户界面的方法、装置、系统、设备和计算机程序产品
US20150213646A1 (en) * 2014-01-28 2015-07-30 Siemens Aktiengesellschaft Method and System for Constructing Personalized Avatars Using a Parameterized Deformable Mesh
US20160358383A1 (en) * 2015-06-05 2016-12-08 Steffen Gauglitz Systems and methods for augmented reality-based remote collaboration

Also Published As

Publication number Publication date
WO2018152109A1 (en) 2018-08-23
US10867181B2 (en) 2020-12-15
CN110268448B (zh) 2023-11-24
US20190370548A1 (en) 2019-12-05
EP3583579A1 (en) 2019-12-25

Similar Documents

Publication Publication Date Title
US11024097B2 (en) System and method for using augmented reality to visualize network service quality
CN106664238B (zh) 管理和呈现通知内容
CN104871214B (zh) 用于具扩增实境能力的装置的用户接口
US10387510B2 (en) Content search method and electronic device implementing same
US20160156682A1 (en) Method and device for function sharing between electronic devices
CN105512164A (zh) 使用语音标签管理图像的方法和装置
CN105574910A (zh) 电子设备和用于在电子设备中提供过滤器的方法
US11617056B2 (en) Context sensitive presentation of content
CN105975612A (zh) 一种图片处理方法、装置及设备
US10848669B2 (en) Electronic device and method for displaying 360-degree image in the electronic device
US10142608B2 (en) Electronic apparatus and method for processing three-dimensional information using image
US10650596B2 (en) Electronic device for providing VR image based on polyhedron and image providing method thereof
CN114390350B (zh) 用于选择场景以在增强现实界面中浏览历史记录的系统和方法
US9905050B2 (en) Method of processing image and electronic device thereof
US10826550B2 (en) Electronic device and method for managing specific absorption rate
US10205882B2 (en) Method for providing service and electronic device thereof
CN110268448A (zh) 动态呈现增强现实信息以减少峰值认知需求
CN107026698A (zh) 便携设备中的无线保真空闲信道评估检测和传输决策做出
CN109005210B (zh) 信息交互的方法和装置
KR102042603B1 (ko) 증강현실 기반의 사물함 서비스를 제공하는 서버, 단말기 및 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램
CN116049478B (zh) 一种应用程序推荐方法、装置及用户设备
CN112884787B (zh) 图像剪裁方法、装置、可读介质及电子设备
EP2624208A2 (en) Display system with image conversion mechanism and method of operation thereof
CN116761277A (zh) 一种设备连接方法及相关设备
CN117745991A (zh) 一种三维模型的配色调整方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230505

Address after: Delaware

Applicant after: Interactive Digital VC Holdings

Address before: Wilmington, Delaware, USA

Applicant before: PCMS HOLDINGS, Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant