CN109937393B - 支持增强现实软件应用 - Google Patents

支持增强现实软件应用 Download PDF

Info

Publication number
CN109937393B
CN109937393B CN201680090768.XA CN201680090768A CN109937393B CN 109937393 B CN109937393 B CN 109937393B CN 201680090768 A CN201680090768 A CN 201680090768A CN 109937393 B CN109937393 B CN 109937393B
Authority
CN
China
Prior art keywords
user
virtual object
actual
current virtual
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680090768.XA
Other languages
English (en)
Other versions
CN109937393A (zh
Inventor
王宇
约翰·哈拉德森
郑载成
桑德拉·巴克斯特伦
马修·约翰·劳伦森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN109937393A publication Critical patent/CN109937393A/zh
Application granted granted Critical
Publication of CN109937393B publication Critical patent/CN109937393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

提供了用于支持增强现实(AR)软件应用的计算设备(120)。该计算设备用于：基于预期实际位置和取决于空间且对AR软件应用的用户体验产生影响的属性，选择用于放置当前虚拟对象(104)的实际位置(131)，所述实际位置(131)是当前虚拟对象在被覆盖到捕捉用户(110)周围的实际场景(100；200)的视频序列上时看起来像是被放置在的位置，所述预期实际位置是用户响应于向用户显示(123)实际场景和所覆盖的当前虚拟对象而假设的。在选择用于放置虚拟对象的实际位置时考虑用户的预期实际位置处的取决于空间的属性是有利的，因为可以将虚拟对象部署在实际位置处，以向用户提供改进的或至少令人满意的用户体验。

Description

支持增强现实软件应用
技术领域
本发明涉及用于支持增强现实(AR)软件应用的计算设备、用于支持AR软件应用的方法、对应的计算机程序和对应的计算机程序产品。
背景技术
AR是对实际的现实世界环境的直接或间接的实况查看，该实际的现实世界环境的元素被计算机生成的感官输入(例如，声音、视频或图形)所增强(或补充)。其涉及被称为介导现实的更一般性的概念，在介导现实中，由计算机修改(甚至可能是削弱而不是增强)现实的视图。一般实时地且在具有环境对象的语义语境中执行增强。此外，通过使用对象识别，可在增强现实世界环境时操控并考虑实际的现实世界对象。
通常，AR软件应用利用用户穿戴的显示器来显示用户周围的增强场景，通常由用户穿戴的相机来捕捉用户周围。近年来，头戴式显示器(HMD)或虚拟现实(VR)头戴式设备已日益普遍地用于具有AR的用途。这些设备包括一个或多个显示器且通常还包括相机，并且被设计为与用户的前额配对，如背带或头盔。HMD播放实际世界和在用户的视野上对实际世界进行增强的虚拟对象二者的图像。它们通常使用用于六个自由度监视的传感器，这使得AR软件应用可响应于用户的移动将虚拟对象与实际世界进行正确对准。HMD是在商业上可获得的，例如Microsoft HoloLens和Oculus Riff。同样还可获得将智能电话用作HMD的实用器具，其方便了智能电话与用户前额的配对(例如，Google Cardboard和Samsung GearVR)。
随着在商业上可获得的HMD的出现，AR软件应用的数量已显著增加。例如，在用于可视化建设项目的建筑架构中，在用于向客户可视化产品的商业中，以及在游戏中都使用了AR。例如，由Nintendo在2016年7月发布的手机游戏应用Pokémon Go已在全球快速取得成功，具有数以亿计的下载。Pokémon Go是基于位置的AR游戏，其将口袋怪物形式的虚拟对象部署在实际位置，且玩家必须移动到该实际位置来捕捉怪物。
在Pokémon Go成功之后，预期基于位置的AR游戏和应用(app)的数量会极大增加。基于位置的AR游戏和应用的共同特征是要求玩家(或用户)访问特定的实际(即现实世界)位置，以与已被放置其处的虚拟对象交互。由于AR软件应用通常经由无线电接入网(RAN)与托管AR软件应用的应用服务器通信，它们因为产生相当大的网络负荷而对RAN提出了高要求。具体地，如果大量的AR用户移动到彼此附近，便是这种情况。如果用户移动到具有较差覆盖(例如由阴影效应、干扰等造成)的区域中，基于位置的AR游戏和应用可能也会受困于差的连接性。这些问题都会对AR软件应用的用户体验造成负面影响。
发明内容
本发明的目的是提供对以上技术和现有技术的改进的替代。
更具体地，本发明的目标是提供改进的由AR软件应用选择用于放置虚拟对象的实际位置的解决方案。
通过如独立权利要求所定义的本发明的不同方面来实现本发明的这些目的和其他目的。从属权利要求表征本发明的实施例。
根据本发明的第一方面，提供了一种用于支持AR软件应用的计算设备。所述计算设备包括处理装置，所述处理装置用于：基于AR软件应用的用户所假设的预期实际位置和用户周围环境中的取决于空间的属性，选择用于放置当前虚拟对象的实际位置。该取决于空间的属性对AR软件应用的用户体验具有影响。该预期实际位置是用户响应于向所述用户显示捕捉用户周围的实际场景的视频序列和所覆盖的当前虚拟对象而假设的。所选择的实际位置是当前虚拟对象在覆盖到捕捉用户周围的实际场景的视频序列上时看起来像是被放置于的实际位置。
根据本发明的第二方面，提供了一种支持AR软件应用的方法。该方法由计算设备执行，并包括：基于AR软件应用的用户所假设的预期实际位置和用户周围环境中的取决于空间的属性，选择用于放置当前虚拟对象的实际位置。该取决于空间的属性对AR软件应用的用户体验具有影响。该预期实际位置是用户响应于向所述用户显示捕捉用户周围的实际场景的视频序列和所覆盖的当前虚拟对象而假设的。所选择的实际位置是当前虚拟对象在覆盖到捕捉用户周围的实际场景的视频序列上时看起来像是被放置于的实际位置。
根据本发明的第三方案，提供了一种计算机程序。计算机程序包括计算机可执行指令，所述计算机可执行指令当在设备中包括的处理单元上执行时，使得设备执行根据本发明的第二方案的实施例的方法。
根据发明的第四方案，提供了一种计算机程序产品。计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具体化有根据本发明第三方案的计算机程序。
在本上下文中，用于支持AR软件应用的计算设备例如可具体是：托管AR软件应用的应用服务器、HMD或VR头戴式设备、移动电话、智能电话、移动终端、个人计算机、膝上型设备、平板设备和游戏控制台。AR软件应用例如可以是AR游戏(例如Pokémon Go)或用于使用信息来增强实际的现实世界对象的AR应用(例如AR导游)。在整个本公开中，术语“实际的(physical)”和“现实世界”可互换使用，并且应被理解为指的是现实世界中的对象或位置。用户周围和通过覆盖虚拟对象来增强的所捕捉的场景可以是任何现实世界的室内或室外位置，例如，房间或公共空间。
本发明利用了这样的理解：通过考虑取决于空间的属性，可以实现由AR软件应用对用于放置或部署虚拟对象的实际位置的改进的选择，其中所述取决于空间的属性对AR软件应用的用户体验具有影响。至少在用户的周围，取决于空间的属性随着现实世界中的实际位置的改变而改变。取决于空间的属性可以例如与AR软件应用使用的无线连接的性能(例如无线连接的信号强度、数据速率、带宽、错误率、重传率和延时)有关。应当理解，AR软件应用的用户体验通常受益于高信号强度、高数据速率或带宽、低错误率、低重传率和低延时。无线连接可以是AR软件应用用来将与虚拟对象的放置有关的信息发送给用户设备的连接，该用户设备基于所接收的信息来渲染增强场景以显示给用户。备选地，无线连接可用于将所渲染的增强场景作为视频流发送给用户设备，以向用户显示增强场景。无线连接可以例如经由蜂窝RAN、无线局域网(WLAN)/Wi-Fi网络、蓝牙等来实现。
备选地，取决于空间的属性可以与用户对由AR软件应用渲染的声音的感知有关。具体地，这可以是由放置在用户周围的扬声器渲染的声音。例如，用户感知可能与立体声音频或3D音频是否能够以足够的质量在特定位置处传送，这继而对AR软件应用的用户体验产生影响。
用于放置当前虚拟对象(即，AR软件应用将要部署的虚拟对象)的实际位置是通过评估预期实际位置处的取决于空间的属性来选择的，其中该预期实际位置是用户响应于向用户显示实际场景和所覆盖的当前虚拟对象而假设的。这是用户可能的未来位置，即，在所覆盖的虚拟对象已被显示给用户并被用户查看之后的用户位置。值得注意的是，虚拟对象可以具有下述效果：在被显示给用户时，将用户保持在他/她的当前实际位置处或者触发位置改变。例如，用户可能希望与虚拟对象交互，以例如从AR游戏中的“友好”角色收集物品。在这种情况下，预期用户将移动到与当前虚拟对象看起来像是被放置于的现实世界中的实际位置相接近的实际位置。另一方面，表示AR游戏中的“敌对”角色(即对用户的游戏角色构成威胁的角色)的虚拟对象可能使用户保持在他/她的当前实际位置，或者甚至发起用户的实际位置的改变以增大离虚拟对象看起来像是被放置于的实际位置的距离。
在选择用于放置虚拟对象的实际位置时考虑用户的预期实际位置处的取决于空间的属性是有利的，因为可以将虚拟对象部署在能向用户提供改进的或至少令人满意的用户体验的实际位置处。为此，AR软件应用可以避免将虚拟对象部署在遭受差的无线电条件或无线连接性或者由AR软件应用渲染的声音无法以足够好的质量被感知的实际位置处，其中已知该虚拟对象会触发用户的实际位置向着该虚拟对象看起来像是被放置于的现实世界位置改变。
根据本发明的实施例，用于放置当前虚拟对象的实际位置是通过考虑用于放置当前虚拟对象的至少一个候选实际位置来选择的。例如，可以从AR软件应用获取这些候选位置。备选地，AR软件应用可以基于地理边界和/或其他信息(例如，离用户的距离和/或离其他虚拟对象或现实世界对象的距离)来请求用于放置虚拟对象的实际位置。更具体地，针对该至少一个候选实际位置中的每一个候选实际位置，确定用户假设的预期实际位置，并且评估该预期实际位置处的取决于空间的属性的值。用户假设的预期实际位置是：响应于向用户显示实际场景和当前虚拟对象，用户所移动到的位置或者用户所保持在的位置，其中所述当前虚拟对象以看起来像是被放置在所述候选实际位置处的方式进行覆盖。在已经针对该至少一个候选实际位置评估了取决于空间的属性之后，基于在该至少一个候选实际位置处评估的取决于空间的属性的多个值来选择用于放置当前虚拟对象的实际位置。
根据本发明的实施例，用户响应于向用户显示实际场景和所覆盖的当前虚拟对象而假设的预期实际位置在候选实际位置的预定范围内。具体地，预期实际位置可以接近或等于候选实际位置。在预期用户将移动接近当前虚拟对象看起来像是被放置于的实际位置的情况下，这是有利的。
根据本发明的实施例，可以基于当前虚拟对象的类型来确定用户响应于向用户显示实际场景和所覆盖的当前虚拟对象而假设的预期实际位置。例如，可以基于与AR软件应用的预期用户行为有关的信息来确定预期实际位置，该预期用户行为是预期的响应于向用户显示与当前虚拟对象具有相同类型的虚拟对象的用户行为。作为示例，在AR游戏中，根据用户有可能移动到更接近虚拟对象，保持在他们的实际位置处，或者进一步远离虚拟对象这些预期，虚拟对象可以被分类为诸如“友好”、“中立”和“敌对”等类型。备选地，可以基于学习到的用户的行为，确定该用户响应于向该用户显示实际场景和所覆盖的当前虚拟对象而假设的预期实际位置，其中，所述学习到的用户的行为是学习到的用户响应于先前显示的与当前虚拟对象类型相同的虚拟对象的行为。作为示例，如果已知用户先前已访问过诸如雕像或建筑物等现实世界对象，则当通过与这种对象有关的信息(例如，历史信息或开放时间)来增强时，可以预期AR导游的用户会移动到更接近这种对象。
根据本发明的实施例，可以根据用户周围的实际位置从数据库中检索取决于空间的属性的一个或多个值。所检索的值可以是测量值，例如，由计算设备在被用户携带时测量到的值，或者由其他类似的计算设备测量到的值(即，众包(crowd-sourced))值)。备选地，所检索的值可以是仿真值，例如，基于用户周围的无线电覆盖的模型计算的值。
尽管已经在一些情况下参照本发明的第一方面描述了本发明的优点，相应的理由还适用于本发明的其他方面的实施例。
当研读以下的详细公开、附图和所附的权利要求时，本发明的附加目的、特征和优点将变得明显。本领域技术人员意识到可以组合本发明的不同特征，来创建不同于以下描述的实施例的实施例。
附图说明
参照附图，将通过以下对本发明的实施例的说明性且非限制性的详细描述来更好地理解本发明的以上加目的、特征和益处和附加目的、特征和益处，其中：
图1示出了根据本发明的实施例的用于代表AR软件应用选择用来放置虚拟对象的实际位置的第一场景。
图2示出了根据本发明的实施例的用于代表AR软件应用选择用来放置虚拟对象的实际位置的第二场景。
图3示出了在代表AR软件应用选择用来放置虚拟对象的实际位置时本发明的实施例的不同角色之间的交互。
图4示出了根据本发明的实施例的用于支持AR软件应用的计算设备。
图5示出了根据本发明的另一实施例的用于支持AR软件应用的计算设备。
图6示出了根据本发明的又一实施例的用于支持AR软件应用的计算设备。
图7示出了包括在用于支持AR软件应用的计算设备中的处理装置的实施例。
图8示出了包括在用于支持AR软件应用的计算设备中的处理装置的另一实施例。
图9示出了根据本发明的实施例的支持AR软件应用的方法。
所有的附图不一定按比例绘制，并且通常只示出了为了对本发明进行解释所必需的部分，其中其他部分可以省略或仅仅暗示。
具体实施方式
以下将参照附图更全面地描述本发明，附图中示出了本发明的特定实施例。然而，本发明可以按多种不同形式来具体化，并且不应当被解释为受到本文阐述的实施例的限制。相反，通过示例的方式给出这些实施例，使得本公开将是透彻和完整的，并且向本领域技术人员充分地传达本发明的范围。
在图1中，使用用于支持AR软件应用的计算设备的实施例120作为示例，示出了代表AR软件应用选择用来放置虚拟对象的实际位置。AR软件应用可以例如是AR游戏应用，或是任何其他类型的AR应用，例如AR导游。用于支持AR软件应用的计算设备可以例如由来以下设备来具体实现：托管AR软件应用的应用服务器、用于根据AR软件应用的请求选择放置虚拟对象的实际位置的应用服务器、HMD或VR头戴式设备、移动电话、智能电话、移动终端、个人计算机、膝上型设备、平板设备或游戏控制台。
在下文中，参考图1描述本发明的实施例，其中用于支持AR软件应用的计算设备的实施例120被示出为HMD或VR头戴式设备，在图4对其进一步详细示出。计算设备120包括：具有视野122的相机121、至少一个显示器124、处理装置125和通信模块126。
在本上下文中，放置虚拟对象或部署虚拟对象将被理解为：使得将虚拟对象的图形表示(例如AR游戏中的角色或与AR导游提供的现实世界对象有关的信息)覆盖在捕捉实际的现实世界场景的视频序列上，使得虚拟对象看起来像是被放置在实际场景中的相应实际位置处。这在图1中示出，图1示出了具有放置在实际位置131处的覆盖的虚拟对象104的室内实际场景100。此外，还示出了场景123，场景123由AR软件应用渲染并使用集成到计算设备120中的显示器121呈现给AR软件应用的用户110。
在整个本公开中，假设用户110可以在他/她的周围(包括实际场景100)到处移动。根据覆盖到实际场景100上并呈现给用户110的虚拟对象104的类型，用户110可以移动到更接近虚拟对象104所放置于的实际位置131，保持在他/她的当前位置处，或者进一步远离虚拟对象104。例如，如果虚拟对象104表示AR游戏中的“友好”角色，则可预期用户110会移动到更接近放置虚拟对象104的实际位置131，以便与虚拟对象104交互，以例如收集诸如宝藏之类的有价值物品。相反，如果虚拟对象104表示“敌对”角色，则用户110可能进一步远离放置虚拟对象104的实际位置131，或者保持在他/她的当前位置处。
为此，处理装置125用于选择用来放置当前虚拟对象的实际位置，该当前虚拟对象例如是放置在图1中所示的实际位置131处的虚拟对象104.所选择的实际位置131是当前虚拟对象104在覆盖到捕捉实际场景100的视频序列上时看起来像是被放置于的实际位置。处理装置125用于：基于预期实际位置和用户110周围的取决于空间的属性，选择实际位置131，该预期实际位置是用户110响应于向用户110显示实际场景100和所覆盖的当前虚拟对象104而假设的。该取决于空间的属性对AR软件应用的用户体验具有影响。在本文中，用户110假设的预期实际位置是：所估计的在已向用户110显示所覆盖的当前虚拟对象104之后用户110的的可能的未来位置。在选择用于放置当前虚拟对象104的实际位置时考虑用户110的该预期实际位置，以便向AR软件应用的用户提供改进的或至少令人满意的用户体验。
取决于空间的属性是AR软件应用所依赖的实际属性，并且其对AR软件应用的用户体验具有影响。例如，取决于空间的属性可以涉及AR软件应用所使用的无线连接的性能。参考图1，无线连接可以例如建立在无线局域网(WLAN)/Wi-Fi网络的接入点103(AP)和计算设备120中包括的通信模块126之间。取决于空间的属性可以是无线连接的信号强度、数据速率、带宽、错误率、重传率和延时中的任何一个。具体地，AR软件应用的用户体验通常受益于高信号强度、高数据速率、高带宽、低错误率、低重传率和低延时。作为备选，取决于空间的属性可以涉及用户110对由AR软件应用(例如，由靠近实际场景100提供的扬声器(图1中未示出))渲染的声音的感知。在这种情况下，用户110的感知可以涉及：立体声音频或3D音频是否能够以足够好的质量、音量等在某个实际位置处传送。
进一步参考图1，示出了用于放置当前虚拟对象104的备选实际位置132。应当理解，本发明的实施例不限于考虑用于放置当前虚拟对象的两个候选实际位置。而是，此处呈现的示例保持简单是为了简单起见。类似于实际位置131，备选实际位置132接近橱柜101，并且可以例如已经基于AR游戏的要求，为了找到用于放置当前虚拟对象104(在此示出为AR游戏的角色)的实际位置而选择了实际位置131和132，使得角色可以躲藏在例如房间的角落中或接近诸如橱柜101之类的某个家具。然而，与实际位置131相反，备选实际位置132更接近微波炉102，这可能造成AP 103创建的无线网络中的干扰。因此，可以预期到：与实际位置131相比，在备选实际位置132处AR软件应用经由通信模块126使用的无线连接的性能较差。该较差的性能由取决于空间的属性(例如无线连接的信号强度、数据速率、带宽、错误率、重传率或延时)反映，并且可以根据取决于空间的属性推导出。为此，基于实际位置131处的无线连接的优越性能，从两个候选实际位置131和132中选择实际位置131用于放置当前虚拟对象104。
在图2中，在不同的场景中示出了本发明的实施例。此处示出了室外实际场景200，该场景由包括在用户110穿戴的计算设备120(再次示出为HMD或VR头戴式设备)中的相机121捕捉。类似于图1，处理装置125用于基于预期实际位置和取决于空间的属性来选择用于放置当前虚拟对象204的实际位置231，该预期实际位置是用户110响应于向用户110显示所渲染的增强场景223(包括实际场景200)和所覆盖的当前虚拟对象104而假设的。实际位置231是当前虚拟对象104在覆盖到捕捉实际场景200的视频序列上时看起来像是被放置于的实际位置。类似于图1，在该示例中，取决于空间的属性与AR软件应用使用的无线连接的性能有关，且它对AR软件应用的用户体验具有影响。与图1相反，图2中的无线连接建立在蜂窝通信网络的无线电基站203(RBS)和计算设备120中包括的通信模块126之间。蜂窝通信网络可以是例如全球移动通信系统(GSM)网络、通用移动电信系统(UMTS)网络、长期演进(LTE)网络或5G网络中的任一个。
在图2所示的场景中，基于实际位置231处的无线连接的优越性能，选择实际位置231而不是备选实际位置232来放置虚拟对象104。这是由于以下事实：备选实际位置232在建筑物202后面，这对RBS 202和通信模块126之间的无线连接产生负面影响。应当理解，本发明的实施例不限于考虑用于放置当前虚拟对象204的两个候选实际位置231和232。
在下文中，根据本发明的实施例，更详细地描述了选择用于放置当前虚拟对象104/204的实际位置。为此，处理装置125可用于从候选实际位置的集合中选择用于放置当前虚拟对象104/204的实际位置，该集合包括至少一个候选实际位置，例如在图1中示出的实际位置131和132或者图2中示出的实际位置231和232。候选实际位置可以例如由AR软件应用提供。例如，候选实际位置列表可以由AR软件应用提供，并且可以与选择用于放置当前虚拟对象104/204的实际位置的请求一起提供。备选地，AR软件应用可以基于由AR软件应用提供的地理边界或其他信息来向计算设备120请求用于放置当前虚拟对象104/204的实际位置。作为示例，AR软件应用可以提供与用户110、现实世界对象和/或其他虚拟对象的一个距离或多距离，或者提供可在其中选择用于放置当前虚拟对象104的实际位置的地理区域。
针对每个候选实际位置确定预期实际位置，预期实际位置是用户110响应于向用户110显示实际场景场景100/200和当前虚拟对象104/204而假设的，使得当前虚拟对象104/204看起来像是被放置在当前的候选实际位置。随后，评估在所确定的用户110的预期实际位置处的取决于空间的属性的值。有利地，由此在选择用于放置当前虚拟对象104/204的实际位置时考虑了AR软件应用的用户体验。这可以例如通过根据用户110周围的实际位置从数据库中检索取决于空间的属性的一个或多个值来实现，如下面进一步描述的。例如，可以一次针对一个候选实际位置来检索值。备选地，可以从数据库中检索覆盖用户110的周围的值的表示取决于空间的属性的值的列表或数组或者地图。可以基于设备120的实际位置、先前放置的虚拟对象、用户110穿戴的相机121的视野122等来选择检索的值。最后，基于在该至少一个候选实际位置处评估的取决于空间的属性的值，从候选实际位置的集合中选择用于放置当前虚拟对象104/204的实际位置。
例如，可以选择所评估的在对应的预期实际位置处的取决于空间的属性满足预定标准的候选实际位置之一作为用于放置当前虚拟对象104/204的实际位置。作为示例，所选择的实际位置可以是评估的在候选实际位置处的取决于空间的属性满足预定标准的第一候选实际位置。优选地，预定标准涉及或反映AR软件应用的用户体验，该用户体验受取决于空间的属性影响。预定标准可以例如是阈值标准，例如分别是超过某个数据速率或带宽，或者不超过某个延时或错误率。
作为备选，可以将用于放置当前虚拟对象104/204的实际位置选择为针对其评估的取决于空间的属性取得最大值(例如，数据速率或带宽)或最小值(例如，错误率或延时)的候选实际位置。
作为另一备选，可以通过以下方式选择用于放置当前虚拟对象104/204的实际位置：内插评估的多个候选实际位置处的取决于空间的属性的多个值，并选择取决于空间的属性的内插值取得极值(例如，相应地，数据速率或带宽中的最大值，或者延时或错误率中的最小值)的实际位置。
可选地，可以以自适应的方式确定评估取决于空间的属性所针对的候选实际位置。例如，可以基于趋势来选择下一候选实际位置，该趋势是在针对先前的候选实际位置评估的取决于空间的属性的值中识别出的。作为示例，可以如下基于用户110的周围的方向来选择下一个候选实际位置：如果取决于空间的属性涉及无线连接的数据速率或带宽，则在基于所识别的趋势预期取决于空间的属性会增大的方向上选择，或者如果取决于空间的属性涉及无线连接的错误率或延时，则在基于所识别的趋势预期取决于空间的属性会降低的方向上选择。还应当理解，评估的候选实际位置的数量可以取决于取决于空间的属性根据用户110周围的实际位置的变化率。即，如果取决于空间的属性在用户110的周围相对恒定，则与取决于空间的属性随实际位置快速变化的场景相比，评估较少的候选实际位置就足够了。
处理装置125可用于：通过在当前候选实际位置(即，正在评估的候选实际位置)的预定范围内选择预期实际位置来确定预期实际位置，该预期实际位置是用户110响应于向用户110显示实际场景100/200和所覆盖的当前虚拟对象104/204而假设的。具体地，为了评估取决于空间的属性，可以将用户110的预期实际位置选择为接近或等于候选实际位置。具体地，如果当前虚拟对象104/204属于在覆盖到实际场景100/200时很可能触发用户110的实际位置朝向当前虚拟对象104/204改变的类型，便是这种情况。
可选地，基于当前虚拟对象104/204的类型，确定用户110响应于向用户110显示实际场景100/200和所覆盖的当前虚拟对象104/204而假设的预期实际位置。例如，在AR游戏中，AR游戏的角色的可能的虚拟对象类型可以是“友好的”、“敌对的”、“朋友”、“敌人”等。优选地，虚拟对象被分类为不同的类型，该类型反映用户行为是远离虚拟对象移动、移动到接近虚拟对象、或保持他/她的当前实际位置。例如，可以基于与AR软件应用的一组用户的预期行为有关的信息来确定用户110响应于向用户110显示实际场景100/200和所覆盖的当前虚拟对象104/204而假设的预期实际位置，该预期行为是预期的响应于向用户显示与当前虚拟对象104类型相同的虚拟对象的用户行为。该信息可以例如由AR软件应用提供。备选地，基于学习到的用户110的行为，确定用户110响应于向用户110显示实际场景100/200和所覆盖的当前虚拟对象104/204而假设的预期实际位置，其中，学习到的用户110的行为是学习到的用户110响应于先前显示的与当前虚拟对象104类型相同的虚拟对象的行为。即，计算设备120的实施例可以学习用户110对某种类型的所覆盖的虚拟对象如何反应，即，用户110是否增加、减少或维持他/她与虚拟对象的距离。
如前所述，当评估在用户110响应于显示放置在候选实际位置之一处的当前虚拟对象104/204而假设的预期实际位置处的取决于空间的属性的值时，可以或者基于每个位置，或者通过检索表示某个地理区域内的取决于空间的属性的值的列表或数组或者地图，从数据库检索取决于空间的属性的一个或多个值。具体地，这可以是用户110周围的区域。这些值可以是由计算设备120测量的值或由其他类似的计算设备测量的值(即众包值)。备选地，这些值可以是使用用户110周围的无线电覆盖范围的模型获得的仿真值。
可选地，处理装置125还可用于：在数据库中根据实际位置存储取决于空间的属性的测量值。为此，这些值是由计算设备120在被用户110穿戴时测量的。测量可以连续执行，定期执行，或者当测量值的改变已经达预定程度时执行。将测量值与测量它们的实际位置(例如，在测量期间计算设备120的实际位置)一起存储。可以存储这些值以供自己使用或用于众包目的，即，供AR软件应用的其他用户使用。
在下文中，并且参考图3，根据不同的角色及其相互交互来描述本发明的实施例。
用户设备301的角色通常由AR软件应用的用户操作的设备(例如用户110穿戴的HMD 120或VR头戴式设备120、平板设备、移动电话、移动终端、智能电话或游戏控制台)来体现。用户设备301通常包括用于捕捉(311)用户110周围的实际场景100/200的相机121，以及用于向用户110显示所渲染的视图123/223(即捕捉实际场景100/200的视频序列和所覆盖的当前虚拟对象104/204)的显示器124。
AR应用302的角色通常由托管(即执行)AR软件应用的计算设备或网络节点来体现。具体地，这可以包括基于与实际场景100/200有关的数据来评估和决定虚拟对象(例如AR游戏中的角色104/204或由AR导游提供的信息)的部署。从用户设备301接收(312)与实际场景100/200有关的数据，所述数据或者作为视频数据(例如捕捉实际场景100/200的视频序列)，或者作为描述实际场景100/200中的对应的实际位置和现实世界实际对象类型的数据。通过利用对象识别技术，可以由用户设备301基于对捕捉实际场景100/200的视频序列进行图像/视频处理来确定描述现实世界对象的数据。
当AR应用302决定部署(313)虚拟对象104/204时，对用于放置虚拟对象104/2043的实际位置的请求314被发送给位置选择器303。位置选择器303的角色由本发明的实施例实现(具体由用于支持AR软件应用的计算设备实现)，并且通过基于预期实际位置和取决于空间的属性选择用于放置虚拟对象104/204的实际位置131/231来支持托管AR软件应用的AR应用302，该预期实际位置是用户110响应于向用户110显示(123/223)实际场景100/200和所覆盖的当前虚拟对象104/204而假设的，该取决于空间的属性对AR应用302托管的AR软件应用的用户体验具有影响。
在选择用于放置虚拟对象104/204的实际位置时，位置选择器303向属性数据库304发送对用户110的预期实际位置处的取决于空间的属性的值的请求315，属性数据库304通过向位置选择器303发送(316)所请求的值来进行响应。属性数据库304的角色通常由计算设备或网络节点实现，该计算设备或网络节点根据位置来维护取决于空间的属性的值。存储取决于空间的属性的值的数据库可以或者由计算设备120维护(例如，维护在计算设备120中包括的存储器或数据存储器中)，或者由单独的设备维护。例如，数据库可以由托管AR软件应用的应用服务器或与其关联的另一网络节点维护。作为另一示例，数据库可以由RAN节点或运营支撑系统(OSS)节点维护。例如，RAN节点可以维护与RAN性能有关的空间上可分辨的(spatially-resolved)信息，例如数据速率、错误率、信号强度等。该信息可以是使用RAN从移动终端收集的，也可以是仿真的。
基于所接收(316)的取决于空间的属性的值，位置选择器303选择用于放置虚拟对象104/204的实际位置131/231，如本文所述。将所选择的实际位置发送(318)给AR应用302，AR应用302通过将虚拟对象104/204放置在所选择的实际位置处来部署(319)虚拟对象104/204。描述所部署的虚拟对象的数据被提供(320)给用户设备301，用户设备301随后通过将所选实际位置处的虚拟对象104/204覆盖(321)到实际场景100/200上来将视图123/223渲染给用户110。备选地，向用户110显示的视图123/223可以由AR应用302而不是用户设备301渲染。在这种情况下，描述所部署的虚拟对象的数据320是所渲染的增强场景的图像/视频数据，其随后由用户设备301显示。
应当理解，本发明的实施例可以单独地或组合地实现上文描述的不同角色。例如，HMD 120除了实现用户设备301的角色之外，还可以实现AR应用302、位置选择器303和属性数据库304中的任何一个或多个角色。备选地，如果HMD 120仅实现用户设备301的角色，HMD120可以经由通信网络并具体地经由无线连接与实现AR应用302的角色的应用服务器交互，该应用服务器可选地实现位置选择器303和属性数据库304的角色。仅实现AR应用302的角色的应用服务器继而可以与实现位置选择器303的角色的位置服务器交互，该位置选择器303可选地可实现属性数据库304的角色。仅实现位置选择器303的角色的位置服务器继而可以与实现属性数据库304的角色的网络节点交互。
尽管已经主要参考计算设备120描述了本发明的实施例(该计算设备120在图1、图2和图4中被示为HMD或VR头戴式设备)，备选地，用于支持AR软件应用的计算设备可由其他类型的设备实现。例如，计算设备可以由平板设备、移动电话、移动终端、游戏控制台或智能电话500体现，如图5所示。类似于HMD 120，智能电话500包括相机121、显示器124、处理装置125和通信模块126.智能手机500可以由用户110持有或者使用适配器510与用户110的前额配对，类似于Google Cardboard或Samsung Gear VR。
作为另一备选，参考图6，计算设备可以体现为用于托管AR软件应用的应用服务器600，或者体现为用于支持根据本发明实施例的AR软件应用的位置服务器600，分别实现AR应用302的角色或位置选择器303的角色。此外，应用/位置服务器600的实施例还可以实现用户设备301的角色和/或属性数据库304的角色。类似于HMD 120和智能电话500，应用/位置服务器600包括处理装置125和通信模块126。如图6所示，应用/位置服务器600不包括用于捕捉用户110周围的实际场景的相机或者用于将所捕捉的场景和所覆盖的虚拟对象呈现给用户110的显示器。相反，这可以分别由外部相机和外部显示器来完成。例如，托管AR软件应用的应用服务器600可以(优选地经由无线连接)与用户110穿戴的设备进行通信，该设备实现用户设备301的角色，并且包括用于捕捉用户110周围的实际场景的相机以及用于将所捕捉的场景和所覆盖的虚拟对象呈现给用户110的显示器。用户穿戴的设备可以是例如与图4中所示的设备相似的HMD或VR。作为另一个例子，位置服务器600可以(优选地经由无线连接)与用户穿戴的设备进行通信，除了实现用户设备301的角色并且包括用于捕捉用户110周围的实际场景的相机和用于将所捕捉的场景和所覆盖的虚拟对象呈现给用户110的显示器之外，该用户穿戴的设备还通过托管AR软件应用来实现AR应用302的角色。
为此，除了选择用于放置当前虚拟对象的实际位置(即实现位置选择器303的角色)之外，用于支持AR软件应用的计算设备的实施例还可以用于托管(即执行)AR软件应用，即实现AR应用302的角色。备选地，AR软件应用可以由单独的设备执行，例如由实现AR应用302的角色的应用服务器600执行，应用服务器600与用于支持AR软件应用的AR应用302通信，该AR应用302实现位置选择器303的角色。
用于支持AR软件应用的计算设备的实施例还可以通过以下方式实现用户设备301的角色：将虚拟对象覆盖到捕捉AR软件应用的用户的周围的实际场景的视频序列上，使得所覆盖的虚拟对象看上去像是被放置在所选择的实际位置处。优选地，视频序列由用户穿戴的相机捕捉，使得相机的视野与用户的实际位置和朝向相关，即，相机随用户移动。相机可以可选地包括在计算设备中，例如，在智能手机、HMD或VR头戴式设备中。备选地，可以使用有线或无线连接将外部相机连接到计算设备，特别是用户穿戴的相机，例如GoPro型相机。
此外，用于支持AR软件应用的计算设备的实施例还可用于(优选地使用用户穿戴的显示器)向用户显示捕捉实际场景的视频序列和所覆盖的虚拟对象。显示器可例如被集成到计算设备中，例如在智能手机、HMD或VR头戴式设备中。备选地，显示器可以与用户的前额配对，以便将实际世界和虚拟对象二者的图像放置在用户的视野上。
在下文中，参考图7和图8描述处理装置125的实施例，该处理装置包括在用于支持AR软件应用的计算设备(例如计算设备120、500和600)中。
在图7中，示出了处理装置125的第一实施例700。处理装置700包括处理单元702(如通用处理器)和计算机可读存储介质703(如随机存取存储器(RAM)、闪存等)。此外，处理装置700包括一个或多个接口701(图7中的“I/O”)，用于控制和/或接收来自计算设备120/500/600中包括的其他组件(例如相机121、显示器124和通信模块126)的信息。存储器703包含计算机可执行指令704，即计算机程序，用于当在处理单元702上执行计算机可执行指令704时，使得计算设备120/500/600根据本文所述的本发明的实施例来执行。具体地，计算设备120/500/600可用于基于预期实际位置和用户周围的取决于空间且对AR软件应用的用户体验具有影响的属性来选择用于放置当前虚拟对象的实际位置，该预期实际位置是AR软件应用的用户响应于向用户显示实际场景和所覆盖的当前虚拟对象而假设的。例如，可以通过以下方式选择用于放置当前虚拟对象的实际位置：针对用于放置当前虚拟对象的至少一个候选实际位置来确定用户响应于向用户显示实际场景和当前虚拟对象而假设的期望实际位置，并评估该期望实际位置处的取决于空间的属性的值。然后，基于所评估的在所述至少一个候选实际位置处的取决于空间的属性的多个值，选择用于放置当前虚拟对象的实际位置。用户响应于向用户显示实际场景和所覆盖的当前虚拟对象而假设的预期实际位置可以例如在候选实际位置的预定范围内或等于候选实际位置。
可选地，可以基于当前虚拟对象的类型来确定用户响应于向用户显示实际场景和所覆盖的当前虚拟对象而假设的预期实际位置。例如，可以基于与AR软件应用的预期用户行为有关的信息来确定预期实际位置，该预期用户行为是预期的响应于向用户显示与当前虚拟对象类型相同的虚拟对象的用户行为。备选地，可以基于学习到的用户行为来确定预期实际位置，该学习到的用户行为是学习到的用户响应于先前显示的与当前虚拟对象类型相同的虚拟对象的行为。
取决于空间的属性可以涉及AR软件应用所使用的无线连接的性能。取决于空间的属性可以是无线连接的信号强度、数据速率、带宽、错误率、重传率和延时中的任何一个。备选地，取决于空间的属性可以与用户对由AR软件应用渲染的声音的感知有关。
在图8中，示出了处理装置125的备选实施例800。类似于处理装置700，处理装置800包括一个或多个接口801(图8中的“I/O”)，用于控制和/或接收来自计算设备120/500/600中包括的其他组件(例如相机121、显示器124和通信模块126)的信息。处理装置800还包括：位置选择模块803，其被配置为使计算设备120/500/600根据本文所述的本发明的实施例来执行。具体地，位置选择模块803被配置为基于预期实际位置和用户周围的取决于空间且对AR软件应用的用户体验具有影响的属性来选择用于放置当前虚拟对象的实际位置，该预期实际位置是用户响应于向用户显示实际场景和所覆盖的当前虚拟对象而假设的。例如，可以通过以下方式选择用于放置当前虚拟对象的实际位置：针对用于放置当前虚拟对象的至少一个候选实际位置来确定用户响应于向用户显示实际场景和当前虚拟对象而假设的期望实际位置，并评估该期望实际位置处的取决于空间的属性的值。然后，基于所评估的在所述至少一个候选实际位置处的取决于空间的属性的多个值，选择用于放置当前虚拟对象的实际位置。用户响应于向用户显示实际场景和所覆盖的当前虚拟对象而假设的预期实际位置可以例如在候选实际位置的预定范围内或等于候选实际位置。
处理装置800可以可选地包括：AR模块802，其被配置为托管(即执行)AR软件应用。
可选地，可以基于当前虚拟对象的类型来确定用户响应于向用户显示实际场景和所覆盖的当前虚拟对象而假设的预期实际位置。例如，可以基于与AR软件应用的预期用户行为有关的信息来确定预期实际位置，该预期用户行为是预期的响应于向用户显示与当前虚拟对象类型相同的虚拟对象的用户行为。该信息可以例如由AR模块802提供或从托管AR软件应用的应用服务器检索。备选地，可以由处理装置800中包括的可选的学习模块805基于学习到的用户行为来确定预期实际位置，该学习到的用户行为是学习到的用户响应于先前显示的与当前虚拟对象类型相同的虚拟对象的行为。
取决于空间的属性可以涉及AR软件应用所使用的无线连接的性能。取决于空间的属性可以是无线连接的信号强度、数据速率、带宽、错误率、重传率和延时中的任何一个。备选地，取决于空间的属性可以与用户对由AR软件应用渲染的声音的感知有关。处理装置800可以可选地包括：数据库模块804，其被配置为维护数据库，可根据用户周围的实际位置从该数据库中检索取决于空间的属性的一个或多个值。另外可选地，由计算设备120/500/600测量的取决于空间的属性的值可以由数据库模块804根据实际位置存储在数据库中。
处理装置800中包括的接口701和801、模块802-805以及附加模块可通过任何类型的电子电路来实现，所述电子电路如模拟电子电路、数字电子电路和执行适当计算机程序的处理装置中的任一个或组合。
计算设备120/500/600中包括的通信模块126可例如是蓝牙模块、WLAN/Wi-Fi模块，或支持GSM、UMTS、LTE和5G标准中的任一个或其组合的蜂窝通信模块。备选地，通信模块126可被配置为通过红外(IR)光、可视编码光(VCL)、ZigBee等方式来实现通信。
在下文中，参考图9描述支持AR软件应用的方法的实施例900。方法900可由计算设备执行，所述计算设备例如是托管AR软件应用的游戏服务器、用于支持AR软件应用的位置服务器、VR头戴式设备或HMD、移动电话、智能电话、移动终端、个人计算机、膝上型设备、平板设备和游戏控制台。方法900包括：基于预期实际位置和用户周围的取决于空间且对AR软件应用的用户体验具有影响的属性来选择906用于放置当前虚拟对象的实际位置，该预期实际位置是用户响应于向用户显示实际场景和所覆盖的当前虚拟对象而假设的。所选择的实际位置是当前虚拟对象在被覆盖到捕捉AR软件应用的用户周围的实际场景的视频序列上时看起来像是被放置于的实际位置。
可通过以下方式来选择906用于放置当前虚拟对象的实际位置：针对用于放置当前虚拟对象的至少一个候选实际位置(通过响应于确定905需要评估更多的候选实际位置而选择或创建902新的候选实际位置)，确定903用户响应于向用户显示实际场景和当前虚拟对象而假设的期望实际位置，其中所述当前虚拟对象以看起来像是被放置在所述候选实际位置处的方式进行覆盖；并评估904所述期望实际位置处的取决于空间的属性的值。然后，基于所评估904的在所述至少一个候选实际位置处的取决于空间的属性的多个值，选择906用于放置当前虚拟对象的实际位置。候选实际位置的集合可以例如从AR软件应用接收。备选地，如前所述，可基于AR软件应用提供的信息创建902新的候选实际位置。
用户响应于向用户显示实际场景和所覆盖的当前虚拟对象而假设的预期实际位置可例如被确定903为在候选实际位置的预定范围内或等于候选实际位置。可选地，可以基于当前虚拟对象的类型来确定903用户响应于向用户显示实际场景和所覆盖的当前虚拟对象而假设的预期实际位置。例如，可以基于与AR软件应用的预期用户行为有关的信息来确定903预期实际位置，该预期用户行为是预期的响应于向用户显示与当前虚拟对象类型相同的虚拟对象的用户行为。备选地，可以基于学习到的用户行为来确定903预期实际位置，该学习到的用户行为是学习到的用户响应于先前显示的与当前虚拟对象具有相同类型的虚拟对象的行为。
方法900还可包括：根据用户周围的实际位置，从数据库中检索取决于空间的属性的一个或多个值。这些值可例如是当评估904在所确定903的用户的期望实际位置处的取决于空间的属性时检索的。备选地，可以检索901表示某个地理区域中的取决于空间的属性的值的列表或数组或者地图。
方法900还可包括：将当前虚拟对象覆盖907到捕捉实际场景的视频序列上，使得所覆盖的当前虚拟对象看起来像是被放置在所选择的实际位置处。
方法900还可包括：向用户显示908捕捉实际场景的视频序列以及所覆盖的当前虚拟对象。
将要理解的是，方法900可以包括根据本公开描述的内容的附加步骤或修改步骤。方法900的实施例可以实现为软件(例如计算机程序704)，所述软件将由用于支持AR软件应用的计算设备中包括的处理单元执行，从而计算设备用于根据本文描述的本发明的实施例来执行。
本领域技术人员意识到本发明绝不限于上述实施例。相反，可以在所附的权利要求的范围内做出许多修改和变型。

Claims (34)

1.一种用于支持增强现实AR软件应用的计算设备(120；500；600)，所述计算设备包括处理装置(125)，所述处理装置用于：
基于以下各项，选择用于放置当前虚拟对象(104；204)的实际位置(131；231)，所述实际位置是当前虚拟对象在被覆盖到捕捉AR软件应用的用户(110)周围的实际场景(100；200)的视频序列上时看起来像是被放置在的位置：
预期实际位置，所述预期实际位置是：响应于向所述用户显示(123；223)所述实际场景和所覆盖的当前虚拟对象，所述用户移动到的位置或所述用户保持在的位置；以及
所述用户周围的取决于空间的且对所述AR软件应用的用户体验具有影响的属性。
2.根据权利要求1所述的计算设备，所述处理装置用于通过以下方式选择用于放置所述当前虚拟对象的所述实际位置：
针对用于放置所述当前虚拟对象的至少一个候选实际位置(131、132；231、232)：
确定所述用户响应于向所述用户显示所述实际场景和所述当前虚拟对象而假设的所述预期实际位置，所述当前虚拟对象以使得所述当前虚拟对象看起来像是被放置在所述候选实际位置处的方式进行覆盖；以及
在所述预期实际位置处评估所述取决于空间的属性的值；以及
基于在所述至少一个候选实际位置处评估的所述取决于空间的属性的多个值，选择用于放置所述当前虚拟对象的所述实际位置。
3.根据权利要求2所述的计算设备，其中，所述用户响应于向所述用户显示所述实际场景和所覆盖的当前虚拟对象而假设的所述预期实际位置在所述候选实际位置的预定范围内。
4.根据权利要求2所述的计算设备，其中，所述用户响应于向所述用户显示所述实际场景和所覆盖的当前虚拟对象而假设的所述预期实际位置是基于所述当前虚拟对象的类型来确定的。
5.根据权利要求4所述的计算设备，其中，所述用户响应于向所述用户显示所述实际场景和所覆盖的当前虚拟对象而假设的所述预期实际位置是基于与所述AR软件应用的预期用户行为有关的信息来确定的，其中，所述预期用户行为是预期的响应于向所述用户显示与所述当前虚拟对象相同类型的虚拟对象的用户行为。
6.根据权利要求4所述的计算设备，其中，所述用户响应于向所述用户显示所述实际场景和所覆盖的当前虚拟对象而假设的所述预期实际位置是基于学习到的所述用户的行为来确定的，其中，所述学习到的所述用户的行为是学习到的所述用户响应于先前显示的与所述当前虚拟对象相同类型的虚拟对象的行为。
7.根据权利要求1至6中任一项所述的计算设备，还用于：根据所述用户的周围环境中的实际位置，从数据库(703；804)中检索所述取决于空间的属性的一个或多个值。
8.根据权利要求1至6中任一项所述的计算设备，所述处理装置还用于：根据实际位置，在数据库(703；804)中存储所述取决于空间的属性的测量值。
9.根据权利要求7所述的计算设备，其中，所述数据库由以下任一个维护：所述计算设备、无线电接入网RAN节点和运营支撑系统OSS节点。
10.根据权利要求1至6中任一项所述的计算设备，其中，所述取决于空间的属性与所述AR软件应用使用的无线连接的性能有关。
11.根据权利要求10所述的计算设备，其中，所述取决于空间的属性是以下任一项：所述无线连接的信号强度、数据速率、带宽、错误率、重传率和延时。
12.根据权利要求1至6中任一项所述的计算设备，其中，所述取决于空间的属性与所述用户对所述AR软件应用渲染的声音的感知有关。
13.根据权利要求1至6中任一项所述的计算设备，所述处理装置还用于：将所述当前虚拟对象覆盖到捕捉实际场景的视频序列上，使得所覆盖的当前虚拟对象看起来像是被放置在所选择的实际位置处。
14.根据权利要求13所述的计算设备，所述处理装置还用于：向所述用户显示捕捉实际场景的视频序列(123；223)以及所覆盖的当前虚拟对象。
15.根据权利要求1至6中任一项所述的计算设备，其中，所述视频序列由所述用户穿戴的相机(121)捕捉，使得所述相机的视野(122)与所述用户的实际位置和朝向相关。
16.根据权利要求1至6中任一项所述的计算设备，其中，显示器(124)由所述用户穿戴。
17.根据权利要求1至6中任一项所述的计算设备，所述计算设备是以下各项之一：托管所述AR软件应用的游戏服务器(600)、虚拟现实头戴式设备(120)、头戴式显示器(120)、移动电话(500)、智能电话(500)、移动终端(500)、个人计算机、膝上型设备、平板设备和游戏控制台。
18.一种支持增强现实AR软件应用的方法(900)，所述方法由计算设备执行并包括：
基于以下各项，选择(906)用于放置当前虚拟对象的实际位置，所述实际位置是当前虚拟对象在被覆盖到捕捉AR软件应用的用户周围的实际场景的视频序列上时看起来像是被放置在的位置：
预期实际位置，所述预期实际位置是：响应于向所述用户显示所述实际场景和所覆盖的当前虚拟对象，所述用户移动到的位置或所述用户保持在的位置；以及
所述用户周围的取决于空间的且对所述AR软件应用的用户体验具有影响的属性。
19.根据权利要求18所述的方法，其中，通过以下方式选择(906)用于放置所述当前虚拟对象的所述实际位置：
针对用于放置所述当前虚拟对象的至少一个(902、905)候选实际位置：
确定(903)所述用户响应于向所述用户显示所述实际场景和所述当前虚拟对象而假设的所述预期实际位置，所述当前虚拟对象以使得所述当前虚拟对象看起来像是被放置在所述候选实际位置处的方式进行覆盖；以及
在所述预期实际位置处评估(904)所述取决于空间的属性的值；以及
基于在所述至少一个候选实际位置处评估的所述取决于空间的属性的多个值，选择(906)用于放置所述当前虚拟对象的所述实际位置。
20.根据权利要求19所述的方法，其中，所述用户响应于向所述用户显示所述实际场景和所覆盖的当前虚拟对象而假设的所述预期实际位置在所述候选实际位置的预定范围内。
21.根据权利要求19所述的方法，其中，所述用户响应于向所述用户显示所述实际场景和所覆盖的当前虚拟对象而假设的所述预期实际位置是基于所述当前虚拟对象的类型来确定(903)的。
22.根据权利要求21所述的方法，其中，所述用户响应于向所述用户显示所述实际场景和所覆盖的当前虚拟对象而假设的所述预期实际位置是基于与所述AR软件应用的预期用户行为有关的信息来确定(903)的，其中，所述预期用户行为是预期的响应于向所述用户显示与所述当前虚拟对象类型相同的虚拟对象的用户行为。
23.根据权利要求21所述的方法，其中，所述用户响应于向所述用户显示所述实际场景和所覆盖的当前虚拟对象而假设的所述预期实际位置是基于学习到的所述用户的行为来确定(903)的，其中，所述学习到的所述用户的行为是学习到的所述用户响应于先前显示的与所述当前虚拟对象类型相同的虚拟对象的行为。
24.根据权利要求18至23中任一项所述的方法，还包括：根据所述用户的周围环境中的实际位置，从数据库中检索(901、904)所述取决于空间的属性的一个或多个值。
25.根据权利要求18至23中任一项所述的方法，还包括：根据实际位置，在数据库中存储所述取决于空间的属性的测量值。
26.根据权利要求24所述的方法，其中，所述数据库由以下任一个维护：所述计算设备、无线电接入网RAN节点和运营支撑系统OSS节点。
27.根据权利要求18至23中任一项所述的方法，其中，所述取决于空间的属性与所述AR软件应用使用的无线连接的性能有关。
28.根据权利要求27所述的方法，其中，所述取决于空间的属性是以下任一项：所述无线连接的信号强度、数据速率、带宽、错误率、重传率和延时。
29.根据权利要求18至23中任一项所述的方法，其中，所述取决于空间的属性与所述用户对所述AR软件应用渲染的声音的感知有关。
30.根据权利要求18至23中任一项所述的方法，还包括：将所述当前虚拟对象覆盖(907)到捕捉实际场景的视频序列上，使得所覆盖的当前虚拟对象看起来像是被放置在所选择的实际位置处。
31.根据权利要求30所述的方法，还包括：向所述用户显示(908)捕捉实际场景的视频序列以及所覆盖的当前虚拟对象。
32.根据权利要求18至23中任一项所述的方法，其中，所述视频序列由所述用户穿戴的相机(121)捕捉，使得所述相机的视野(122)与所述用户的实际位置和朝向相关。
33.根据权利要求18至23中任一项所述的方法，其中，显示器由所述用户穿戴。
34.一种计算机可读存储介质(703)，其上存储有计算机可执行指令，所述计算机可执行指令当在设备中包括的处理单元(702)上执行时，使所述设备执行根据权利要求18到33中任一项所述的方法。
CN201680090768.XA 2016-11-11 2016-11-11 支持增强现实软件应用 Active CN109937393B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2016/077453 WO2018086704A1 (en) 2016-11-11 2016-11-11 Supporting an augmented-reality software application

Publications (2)

Publication Number Publication Date
CN109937393A CN109937393A (zh) 2019-06-25
CN109937393B true CN109937393B (zh) 2022-04-19

Family

ID=57348645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680090768.XA Active CN109937393B (zh) 2016-11-11 2016-11-11 支持增强现实软件应用

Country Status (17)

Country Link
US (1) US20210287440A1 (zh)
EP (2) EP3667464B1 (zh)
JP (1) JP6859436B2 (zh)
KR (1) KR102262812B1 (zh)
CN (1) CN109937393B (zh)
AU (1) AU2016429066B2 (zh)
BR (1) BR112019009494A2 (zh)
CO (1) CO2019003467A2 (zh)
ES (1) ES2807001T3 (zh)
HU (1) HUE049833T2 (zh)
IL (1) IL265494B (zh)
MX (1) MX2019005382A (zh)
MY (1) MY195155A (zh)
PL (1) PL3500908T3 (zh)
RU (1) RU2723920C1 (zh)
WO (1) WO2018086704A1 (zh)
ZA (1) ZA201902002B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536295B (zh) * 2018-03-30 2021-08-10 腾讯科技（深圳）有限公司 虚拟场景中的对象控制方法、装置及计算机设备
CN108833937B (zh) * 2018-05-30 2021-03-23 华为技术有限公司 视频处理方法和装置
CN112822636A (zh) * 2019-11-15 2021-05-18 南宁富桂精密工业有限公司 提供增强现实导游的方法及其装置
WO2021255864A1 (ja) * 2020-06-17 2021-12-23 日本電信電話株式会社 情報処理装置、情報処理方法及びプログラム
US11682136B2 (en) 2021-01-07 2023-06-20 Htc Corporation Display method, display system and non-transitory computer readable storage medium
CN116212361B (zh) * 2021-12-06 2024-04-16 广州视享科技有限公司 虚拟对象显示方法、装置和头戴式显示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103079661A (zh) * 2010-03-30 2013-05-01 索尼电脑娱乐美国公司 用于增强现实角色维持并体现观察者的认知的方法
CN103810353A (zh) * 2014-03-09 2014-05-21 杨智 一种虚拟现实中的现实场景映射系统和方法
CN203761426U (zh) * 2013-10-12 2014-08-06 五邑大学 一种基于增强现实技术的食品安全信息公开系统
CN105892651A (zh) * 2016-03-28 2016-08-24 联想(北京)有限公司 一种虚拟对象的显示方法和电子设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1986457B1 (en) * 2007-04-26 2010-06-09 Research In Motion Limited Predicting user availability from aggregated signal strength data
JP4926916B2 (ja) * 2007-11-07 2012-05-09 キヤノン株式会社 情報処理装置、情報処理方法、およびコンピュータプログラム
US20120100911A1 (en) * 2008-09-24 2012-04-26 Iopener Media Gmbh System and method for simulating events in a real environment
WO2011133078A1 (en) * 2010-04-22 2011-10-27 Telefonaktiebolaget Lm Ericsson (Publ) Measures indicative of wireless data transfer rates for a user equipment
JP2012043194A (ja) * 2010-08-19 2012-03-01 Sony Corp 情報処理装置、情報処理方法およびプログラム
US20120122570A1 (en) * 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
US9454849B2 (en) * 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
JP6065370B2 (ja) * 2012-02-03 2017-01-25 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP5966425B2 (ja) * 2012-02-22 2016-08-10 日本電気株式会社 無線通信システム、移動局、ａｒ位置情報交換システム、ａｒ位置情報交換方法、及びプログラム
PL2837167T3 (pl) * 2012-04-12 2019-06-28 Telefonaktiebolaget Lm Ericsson (Publ) Parowanie terminala mobilnego z urządzeniem bezprzewodowym
US9508146B2 (en) * 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality
US20140129342A1 (en) * 2012-11-06 2014-05-08 Apple Inc. Dynamically adjusting invitational content placement opportunities in interactive environments
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US11137601B2 (en) * 2014-03-26 2021-10-05 Mark D. Wieczorek System and method for distanced interactive experiences
US9495801B2 (en) * 2014-05-01 2016-11-15 Microsoft Technology Licensing, Llc Pose tracking an augmented reality device
US9645648B2 (en) * 2014-09-18 2017-05-09 Mary A. Spio Audio computer system for interacting within a virtual reality environment
US9791919B2 (en) * 2014-10-19 2017-10-17 Philip Lyren Electronic device displays an image of an obstructed target
US10169922B2 (en) * 2016-02-16 2019-01-01 Microsoft Technology Licensing, Llc Reality mixer for mixed reality
WO2018005671A1 (en) * 2016-06-28 2018-01-04 Against Gravity Corp. Systems and methods for transferring object authority in a shared virtual environment
WO2020023399A1 (en) * 2018-07-23 2020-01-30 Magic Leap, Inc. Deep predictor recurrent neural network for head pose prediction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103079661A (zh) * 2010-03-30 2013-05-01 索尼电脑娱乐美国公司 用于增强现实角色维持并体现观察者的认知的方法
CN203761426U (zh) * 2013-10-12 2014-08-06 五邑大学 一种基于增强现实技术的食品安全信息公开系统
CN103810353A (zh) * 2014-03-09 2014-05-21 杨智 一种虚拟现实中的现实场景映射系统和方法
CN105892651A (zh) * 2016-03-28 2016-08-24 联想(北京)有限公司 一种虚拟对象的显示方法和电子设备

Also Published As

Publication number Publication date
JP6859436B2 (ja) 2021-04-14
MY195155A (en) 2023-01-11
BR112019009494A2 (pt) 2019-07-30
RU2723920C1 (ru) 2020-06-18
WO2018086704A1 (en) 2018-05-17
EP3667464C0 (en) 2024-02-14
EP3667464B1 (en) 2024-02-14
IL265494A (en) 2019-05-30
KR102262812B1 (ko) 2021-06-09
AU2016429066A1 (en) 2019-05-23
EP3500908A1 (en) 2019-06-26
KR20190070971A (ko) 2019-06-21
CO2019003467A2 (es) 2019-06-19
AU2016429066B2 (en) 2020-05-28
US20210287440A1 (en) 2021-09-16
CN109937393A (zh) 2019-06-25
HUE049833T2 (hu) 2020-10-28
MX2019005382A (es) 2019-08-12
ZA201902002B (en) 2020-10-28
IL265494B (en) 2020-09-30
EP3667464A1 (en) 2020-06-17
ES2807001T3 (es) 2021-02-19
EP3500908B1 (en) 2020-04-22
PL3500908T3 (pl) 2020-11-02
JP2020514848A (ja) 2020-05-21

Similar Documents

Publication Publication Date Title
CN109937393B (zh) 支持增强现实软件应用
US11120616B2 (en) Method for implementing virtual scene conversion and related apparatus
CN109597481B (zh) Ar虚拟人物绘制方法、装置、移动终端及存储介质
US10003769B2 (en) Video telephony system, image display apparatus, driving method of image display apparatus, method for generating realistic image, and non-transitory computer readable recording medium
EP3882870B1 (en) Method and device for image display, storage medium and electronic device
CN109598777A (zh) 图像渲染方法、装置、设备及存储介质
WO2018228168A1 (zh) 图像处理方法及相关产品
CN111420399B (zh) 一种虚拟人物的换装方法、装置、终端及存储介质
CN108525289B (zh) 图像处理方法、装置、存储介质及电子设备
CN108513671B (zh) 一种2d应用在vr设备中的显示方法及终端
CN109725956B (zh) 一种场景渲染的方法以及相关装置
CN109634413B (zh) 对虚拟环境进行观察的方法、设备及存储介质
CN107908765B (zh) 一种游戏资源处理方法、移动终端及服务器
CN108876878B (zh) 头像生成方法及装置
US11790607B2 (en) Method and apparatus for displaying heat map, computer device, and readable storage medium
US11721078B2 (en) Information processing system, information processing terminal device, server device, information processing method and program thereof
CN106325648A (zh) 图标的设置方法及移动终端
CN110168599A (zh) 一种数据处理方法及终端
JP2018143475A (ja) プログラム及びシステム
CN111208903B (zh) 信息传输方法、穿戴式设备及介质
CN107808361B (zh) 图像处理方法、移动终端及计算机可读存储介质
CN115546378A (zh) 一种对象渲染的方法、相关装置、设备以及存储介质
CN113885983A (zh) 名片展示方法、智能终端及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40006853

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant