CN113795814A - 虚拟人物现实间跨界 - Google Patents

虚拟人物现实间跨界 Download PDF

Info

Publication number
CN113795814A
CN113795814A CN202080030165.7A CN202080030165A CN113795814A CN 113795814 A CN113795814 A CN 113795814A CN 202080030165 A CN202080030165 A CN 202080030165A CN 113795814 A CN113795814 A CN 113795814A
Authority
CN
China
Prior art keywords
local environment
virtual character
display device
virtual
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080030165.7A
Other languages
English (en)
Inventor
J.阿罗约帕拉西奥斯
S.奥斯曼
R.马克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN113795814A publication Critical patent/CN113795814A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/77—Game security or game management aspects involving data related to game devices or game servers, e.g. configuration data, software version or amount of memory
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/209—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform characterized by low level software layer, relating to hardware management, e.g. Operating System, Application Programming Interface
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/534—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for network load management, e.g. bandwidth optimization, latency reduction
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种方法，所述方法包括以下操作：在显示装置上呈现包括虚拟人物的虚拟场景，所述显示装置设置在本地环境中；通过头戴式显示器提供所述本地环境的视图，通过所述头戴式显示器的所述视图包括所述显示装置和正呈现在所述显示装置上的所述虚拟场景；在通过所述头戴式显示器观看时，将所述虚拟人物动画化以展示所述虚拟人物从呈现在所述显示装置上的所述虚拟场景移动到所述本地环境，其中所述动画化包括从将所述虚拟人物渲染为呈现在所述显示装置上的所述虚拟场景的部分转变为将所述虚拟人物渲染为通过所述头戴式显示器提供的所述本地环境的所述视图中的增强元素。

Description

虚拟人物现实间跨界
技术领域
本公开涉及供虚拟人物展现现实间跨界的系统和方法。
背景技术
相关技术的描述
当前快速发展的技术领域是常与视频游戏相关的虚拟现实和增强现实领域，现在涵盖众多游戏和交互式应用平台，包括专用游戏控制台、个人计算机(PC)以及最近的云应用/游戏和移动装置。连网游戏服务/系统的一个示例是
Figure BDA0003312966320000011
网络，其包括支持基于控制台和基于云的游戏的各种游戏服务。
在此背景内出现了本公开的实施方案。
发明内容
本公开的实现方式提供用于供虚拟人物展现现实间跨界的方法和系统。
在一些实现方式中，提供一种方法，所述方法包括以下操作：在显示装置上呈现包括虚拟人物的虚拟场景，所述显示装置设置在本地环境中；通过头戴式显示器提供所述本地环境的视图，通过所述头戴式显示器的所述视图包括所述显示装置和呈现在所述显示装置上的所述虚拟场景；在通过所述头戴式显示器观看时，将所述虚拟人物动画化以展示所述虚拟人物从呈现在所述显示装置上的虚拟场景移动到所述本地环境，其中所述动画化包括从将所述虚拟人物渲染为呈现在所述显示装置上的所述虚拟场景的部分转变为将所述虚拟人物渲染为通过所述头戴式显示器提供的所述本地环境的所述视图中的增强元素。
在一些实现方式中，从所述头戴式显示器的面向外的相机提供通过所述头戴式显示器的所述视图。
在一些实现方式中，所述方法还包括：生成所述本地环境的3D模型；其中将所述虚拟人物渲染为所述本地环境的所述视图中的增强元素包括使用所述本地环境的所述3D模型来确定所述本地环境的所述视图中的所述虚拟人物的放置。
在一些实现方式中，将所述虚拟人物渲染为所述本地环境的所述视图中的增强元素包括使用所述本地环境的所述3D模型来检测所述虚拟人物与所述本地环境中的一个或多个对象的虚拟碰撞。
在一些实现方式中，将所述虚拟人物渲染为所述本地环境的所述视图中的增强元素包括使用所述本地环境的所述3D模型来限定所述本地环境的所述视图中的所述虚拟人物的可允许的位置或移动。
在一些实现方式中，生成所述本地环境的所述3D模型包括使用头戴式显示器的深度感测装置来扫描本地环境。
在一些实现方式中，所述转变包括：识别所述本地环境的所述视图中的所述显示装置；以及在所述本地环境的所述视图中在接近所述显示装置处渲染所述虚拟人物。
在一些实现方式中，在接近所述显示装置处渲染所述虚拟人物包括将所述本地环境的所述视图中的所述虚拟人物动画化为从所述显示装置浮现到所述本地环境中。
在一些实现方式中，所述转变包括：在所述本地环境的所述视图中识别呈现在所述显示装置上的所述虚拟场景；以及在所述本地环境的所述视图中在接近所述虚拟场景处渲染所述虚拟人物。
在一些实现方式中，所述将所述虚拟人物动画化是响应于来自控制器装置的输入。
在一些实现方式中，提供一种非暂时性计算机可读介质，所述非暂时性计算机可读介质具有在由计算装置执行时致使所述计算装置执行包括以下操作的方法的程序指令：在显示装置上呈现包括虚拟人物的虚拟场景，所述显示装置设置在本地环境中；通过头戴式显示器提供所述本地环境的视图，通过所述头戴式显示器的所述视图包括所述显示装置和呈现在所述显示装置上的所述虚拟场景；在通过所述头戴式显示器观看时，将所述虚拟人物动画化以展示所述虚拟人物从呈现在所述显示装置上的虚拟场景移动到所述本地环境，其中所述动画化包括从将所述虚拟人物渲染为呈现在所述显示装置上的所述虚拟场景的部分转变为将所述虚拟人物渲染为通过所述头戴式显示器提供的所述本地环境的所述视图中的增强元素。
通过结合附图进行的以下详细描述，本公开的其他方面和优势将变得显而易见，以下详细描述举例说明本公开的原理。
附图说明
可通过参考结合附图进行的以下描述来最佳地理解本公开以及本公开的其他优势。
图1说明根据本公开的实现方式的用于使得能够观看多个背景中的虚拟人物的系统。
图2说明根据本公开的实现方式的系统，凭借所述系统，虚拟交通工具被配置为从显示装置浮现到本地环境中，并且进一步实现对本地环境中的真实交通工具的远程控制。
图3说明根据本公开的实现方式的其中转移对虚拟人物的控制以实现对本地环境中的真实对象的远程控制的情景。
图4说明根据本公开的实现方式的从显示装置浮现到本地环境中并且在本地环境内导航的虚拟对象。
图5说明根据本公开的实现方式的被配置为在本地环境中交互的虚拟人物。
图6在概念上说明根据本公开的实现方式的交互式本地环境的顶视图，在所述交互式本地环境中，针对虚拟人物采用声音定位。
图7说明根据本公开的实现方式的使用显示装置以使虚拟人物能够在本地环境中观看。
图8说明根据本公开的实现方式的通过向显示装置渲染的方式进行交互的本地环境中的虚拟人物。
图9说明根据本公开的实现方式的被配置为控制各种物联网(IOT)装置的本地环境中的虚拟人物。
图10在概念上说明根据本公开的实现方式的用于使得能够在显示装置和头戴式显示器上渲染虚拟对象或虚拟人物的系统。
图11A说明根据本公开的实现方式的用于加载通过云游戏站点可用的游戏的游戏文件的示例性系统。
图11B是在概念上说明根据本公开的实现方式的经过执行以用于将云视频游戏流式传输到客户端装置的各种操作的流程图。
图12说明根据本公开的实现方式的信息服务提供者架构的实施方案。
具体实施方式
在以下描述中，陈述众多具体细节以便提供对本公开的透彻理解。然而，本领域技术人员将明白，可在没有这些特定细节中的一些或全部特定细节的情况下实践本公开。在其他例子中，未详细描述众所周知的过程步骤，以免使本公开混淆不清。
一般来说，本公开的实现方式是针对能够通过头戴式显示器观看的交互式虚拟/增强人物。在若干实现方式中，虚拟人物被配置为在渲染在本地环境中的显示装置上的场景与通过头戴式显示器看到的本地环境自身之间移动。在一些实现方式中，虚拟人物能够诸如通过控制智能装置或IOT装置开启或关闭或执行其他功能来与所述智能装置或所述IOT装置交互。在其他实现方式中，采用各种技术以使虚拟人物的存在能够由本地环境中的不能通过头戴式显示器看到所述虚拟人物的其他用户所理解。例如，可通过本地扬声器系统渲染虚拟人物的音频，诸如虚拟人物语音。
图1说明根据本公开的实现方式的用于使得能够观看多个背景中的虚拟人物的系统。在所说明的实现方式中，用户100通过头戴式显示器102观看本地环境114。显示装置108位于本地环境114中。举例而非限制地，显示装置108可以是电视、监视器、LCD显示器、投影仪屏幕、平板计算机、膝上型计算机或具有可在其上渲染交互内容的物理显示屏幕的任何其他装置。
如所示，在显示装置108上渲染场景109，并且此场景包括虚拟人物110a。在显示装置108上渲染的场景109可来自视频游戏、模拟、交互式应用或其他交互式媒体。例如，在一些实现方式中，计算装置106可执行交互式应用，所述交互式应用生成图像数据，向显示装置108渲染所述图像数据以使得能够显示场景109。在各种实现方式中，计算装置106可以是游戏控制台、个人计算机、膝上型计算机、机顶盒或能够执行交互式应用以提供本文描述的功能性的任何其他类型的计算装置。在一些实现方式中，计算装置106的功能性被并入到显示装置108或头戴式显示器102中的一者或两者中。在一些实现方式中，在彼此通信的两个或更多个单独的装置之间分割计算装置的功能性。
如所述，虚拟人物110a是在显示装置108上渲染的场景109的一部分。也就是说，虚拟人物110a根据上下文是场景109的成员，并且未显现为与本地环境114中的对象物理地交互。在此意义上，虚拟人物110a不仅能够由本地环境114中的用户100观看，而且由可观看显示器108的任何其他人观看。将了解，在用户100佩戴着头戴式显示器102时，用户100可能够经由头戴式显示器102的面向外的相机通过头戴式显示器102观看显示器108。在一些实现方式中，头戴式显示器102是固有透视的，其被配置为增强现实眼镜或护目镜，并且能够渲染用户视角中的对象。
为了提供更交互的体验，在一些实现方式中，通过显现为从显示装置108浮现到本地环境114中的方式将虚拟人物动画化。也就是说，在用户100通过头戴式显示器102观看时，虚拟人物110a可显现为从场景109弹出到本地环境114中，在本地环境中，虚拟人物现在被渲染为所述本地环境中的增强现实对象。在所说明的实现方式中，已经从场景109浮现的虚拟人物被展示为虚拟人物110b。
为了实现此类效果，执行显示装置108上的和经由头戴式显示器102的经过协调的一系列动画化。例如，可将虚拟人物110a动画化，以便显现为移向在显示装置108前面的本地环境114的区域。在一些实现方式中，这可需要虚拟人物110a移向显示装置108的底部。在一些实现方式中，可将虚拟人物110a动画化成消失到沿着显示装置108的底部的区域中。继续显示装置108上的虚拟人物110a的此动画化，在头戴式显示器102上将虚拟人物110b动画化成展示为从显示装置108浮现。将了解，虚拟人物110b是与虚拟人物110a相同的虚拟人物，但现在被渲染为本地环境114中的能够通过头戴式显示器102观看的增强现实对象。通过头戴式显示器102向用户100提供视图，所述视图示出了增强到本地环境114中的虚拟人物110b。
显示装置108和头戴式显示器102上的虚拟人物的经过协调的动画化可在时间上是彼此基本上同时、重叠、连续或接近的，前提是它们一起向用户100提供虚拟人物从场景109转变到本地环境114中的幻觉。将了解，一旦虚拟人物被视为在本地环境114中，所述虚拟人物便不再是在显示装置108上示出的场景109的一部分，并且将不再显现为与场景109中的对象物理地交互。而是，虚拟人物110b可被配置为显得与本地环境114中的对象交互。为此，在一些实现方式中，捕获和利用本地环境的三维映射以使虚拟人物110b能够通过涉及被本地环境114中的对象占据的物理空间的方式来渲染。举例来说，在所说明的实现方式中，虚拟人物110b被示出为渲染在本地环境114中的桌子112的表面上。
将了解，在各种实现方式中，虚拟人物的动画化的特定风格或细节可变化。例如，在一些实现方式中，所述动画化提供一种效果，由此，虚拟人物显现为从显示装置108的显示屏幕的边缘滑出并且滑动到本地环境114中。在一些实现方式中，虚拟人物110a和虚拟人物110b的动画化经过协调，使得当虚拟人物从场景109移动到本地环境114中时，通过在显示装置108上渲染虚拟人物110a来表示虚拟人物的一部分，同时通过经由头戴式显示器102渲染虚拟人物110b来表示虚拟人物的另一部分。并且在虚拟人物从场景109转变到本地环境114的过程期间，由虚拟人物110a表示的部分随着由虚拟人物110b表示的部分增加而减小。在一些实现方式中，虚拟人物可显现为从显示装置108的显示屏幕弹出。在此类实现方式中，举例来说，可在显示屏幕上展示虚拟人物110a，并且同时接近或邻近于所述显示屏幕而展示(经由头戴式显示器102)虚拟人物110b，以便提供虚拟人物穿过显示屏幕进入本地环境114中的效果。
在一些实现方式中，在虚拟人物在显示器之间移动时，可调整其渲染或清晰度。例如，人物的TV(显示装置108)版本可以是更像素化或虚拟的外表，使得当人物从TV跳出进入AR世界时，虚拟人物的渲染可得到改进，使得虚拟人物显得更真实。类似的概念还可适用于由人物生成的声音。如果虚拟人物必须经过多个媒介，诸如从显示装置108到本地环境114，则虚拟人物的音频可被配置为不同地发声。
在一些实现方式中，头戴式显示器102从同一计算装置106接收图像数据，所述计算装置还向显示装置108渲染图像数据。在此类实现方式中，计算装置106协调显示装置108上的虚拟人物110a和头戴式显示器102上的虚拟人物110b的动画化，以使虚拟人物能够如所描述从场景109转变为本地环境114。如上文所述，计算装置106可执行交互式应用，并且所述交互式应用可被配置为渲染显示装置108上的场景109以及渲染头戴式显示器102上的增强现实内容。
在一些实现方式中，所述系统被配置为使用显示装置108上的渲染来改进AR跟踪，包括对HMD的跟踪和虚拟人物的AR动画化。在某种意义上，在显示装置108上渲染的图像可用作可被辨识和跟踪(例如，通过HMD的面向外的相机)的一种形式的AR记号。然而，与通常对于本地环境中的用户而言是明显的典型的AR标记不同，在此情况下，因为特定内容是已知的，所以所述系统可跟踪在显示装置上渲染的特定内容。因此，在显示装置上渲染的特定内容可以是本地环境中的另一视觉锚，用于改善HMD位置/定向的定位，并且还改善对虚拟人物的渲染，以确保人物相对于TV和在其上的内容被适当地渲染。在一些情况下，这可确保虚拟人物相对于TV的放置是适当的，即使AR跟踪系统的其他部分经历跟踪错误或困难也如此。
另外，可充分利用显示装置上的内容来提供对AR人物的更高质量的渲染。例如，由于在TV显示器上显示的内容是已知的，所以有可能在AR人物上生成那个内容的更高分辨率的反射。相比而言，如果仅利用来自某一透传相机(例如，在HMD上面向外)的图像来确定反射，则这将被所述透传相机所看到的东西限制。示例将用于说明所述概念。想象HMD用户在他们的左边具有TV，并且在他们的右边是AR人物。在用户的头从左转到右时，用户可能不再看到TV，但将仍然能够看到人物上的TV图像的强烈的动画化的反射，因为在TV上显示的内容是已知的。类似地，在人物移动成更靠近TV时，有可能使用在TV上显示的内容的知识来投射TV的光由于所述人物而引起的阴影。
在额外的实现方式中，可有意地创作向TV(显示装置108)渲染的内容，使得所述TV产生将影响人物的外观的期望的照明效果。例如，为了向人物添加彩色辉光，所述系统可被配置为渲染TV上的基本上具有期望色彩的内容(例如，向人物添加绿色辉光，然后渲染绿色的内容)。由于存在彩色光源，所以总的色彩效果将是相干的，并且将向人物提供彩色辉光。
在一些实现方式中，虚拟人物可由用户100控制。例如，用户100可操作控制器装置104，所述控制器装置与计算装置106通信以提供输入，所述输入由交互式应用处理以控制虚拟人物的移动。响应于此类输入，交互式应用可如已经描述被配置为触发虚拟人物从场景109转变为本地环境114。如所述，在一些实现方式中，交互式应用可以是视频游戏，在那种情况下，控制虚拟人物以从场景109移动到本地环境114中以及回来的能力可向视频游戏提供额外的交互水平。
虽然已经将虚拟人物描述为从显示装置108浮现到本地环境114中，但将了解，可发生相反过程，由此，虚拟人物被动画化成显现为从本地环境114移动到在显示装置108上渲染的场景109中。因此，可以相反次序执行所描述的动画化中的任一者以实现从本地环境114到场景109中的此类转变。
将了解，除了虚拟人物之外，根据本公开的各种实现方式，可将任何其他类型的虚拟对象动画化成从显示装置浮现到本地环境中。举例来说，图2说明根据本公开的实现方式的系统，凭借所述系统，虚拟交通工具被配置为从显示装置浮现到本地环境中，并且进一步实现对本地环境中的真实交通工具的远程控制。在所说明的实现方式中，示出在显示装置108上渲染无人机200a。无人机200a因此是由计算装置106向显示装置108渲染的场景109的部分，在一些实现方式中，所述部分例如来自由计算装置106执行的交互式应用。
类似于上文描述的虚拟人物动画化，可将无人机动画化成让用户100显现为从显示装置108浮现到本地环境114中。例如，可将无人机200a动画化成显现为移向在显示装置108的前侧的本地环境114的区域或移向显示装置108的显示屏幕的边缘。并且同时，可将对应的无人机200b动画化成通过头戴式显示器102看到的从显示装置108浮现的增强现实对象，以便提供以下幻觉：无人机200a从显示装置108的场景109移动到本地环境114中。因此，场景109中的无人机200a从场景109转变到本地环境114中，其中所述无人机由无人机200b表示为通过头戴式显示器102观看的增强现实对象。
在一些实现方式中，用户100能够例如响应于经由控制器装置104供应的输入来控制无人机的移动。因此，用户100可提供输入以控制显示装置108上的场景109中的无人机200a的移动。用户100还可提供致使无人机200a从场景109浮现到本地环境114中的输入，所述无人机表示为用户在头戴式显示器102上的视角中的无人机200b。将了解，在无人机作为增强现实对象从显示装置108转变到本地环境114中时，如此用户对无人机的控制(例如经由控制器装置104)也从控制场景109中的无人机转变为控制无人机200b和其在本地环境114的背景下的移动。
在一些实现方式中，可转移用户对虚拟对象的控制以使得能够控制本地环境中的真实对象。举例来说，在所说明的实现方式中，可转移对虚拟无人机200b的控制以使用户100能够控制本地环境114中的真实无人机202。在一些实现方式中，可响应于检测到虚拟对象接近真实对象而实现对控制的此类转移。例如，在所说明的实现方式中，当在真实无人机202附近或顶部上操纵或着陆虚拟无人机200b时，然后用户对虚拟无人机200b的控制可转变为真实无人机202，使得用户100现在可例如使用控制器装置104来控制真实无人机202的移动。将了解，为了实现对远程控制功能性的此类转移，真实无人机202可被配置为与计算装置106通信以及从所述计算装置接收命令。并且因此计算装置106可从控制器装置104接收输入，并且将此类输入施加到真实无人机202以便实现对本地环境114中的真实无人机202的远程控制。此外，还可提供与所控制的真实对象相关的额外的功能性。例如，可从真实无人机202提供第一人员观看功能性，使得在头戴式显示器102上渲染从无人机202的相机提供的第一人员视角。也就是说，在一些实现方式中，计算装置106可从无人机202接收视频馈送，并且然后向头戴式显示器102渲染所述视频馈送。以此方式，用户的体验可从对虚拟对象的控制转变为对真实对象的控制，以及甚至占用真实对象的感觉。
在一些实现方式中，操纵本地环境114中的虚拟对象接近也可受到控制的真实对象可触发为用户100呈现可选择的选项，从而能够将控制从虚拟对象转移到真实对象。
图3说明根据本公开的实现方式的其中转移对虚拟人物的控制以实现对本地环境中的真实对象的远程控制的情景。在所说明的实现方式中，虚拟人物110a被动画化成从在显示装置108上渲染的场景109移动到本地环境114中，其中虚拟人物表示为虚拟人物110b，并且能够通过用户100佩戴的头戴式显示器102进行观看。如先前描述，用户100在本地环境114的背景下例如基于从控制器装置104供应的输入来操纵虚拟人物110b。
在一些实现方式中，响应于操纵虚拟人物110b接近本地环境114中的真实交通工具300(例如，远程控制汽车)，可将虚拟人物110b渲染为进入交通工具300。在一些实现方式中，可将虚拟人物110b动画化成展示虚拟人物110b爬到交通工具300中。如所示，虚拟人物110b现在坐在交通工具300中，并且在一些实现方式中，对虚拟人物110b的控制可转变为对本地环境114中的交通工具300的远程控制。也就是说，操作控制器装置104以操纵虚拟人物110b的用户100现在可使用控制器装置104来控制本地环境114中的交通工具300的移动。以此方式，虚拟人物可显现为从显示装置108浮现并且进入或占用现实世界对象并且取得对那个现实世界对象(在此情况下是交通工具300)的控制权。
将了解，因为交通工具300被用户100远程地控制，因此虚拟人物110b被动画化成保持在其在交通工具300内的相对位置处。在一些实现方式中，虚拟人物110b的动画化与交通工具300的现实世界移动的此协调可部分地通过以下操作来实现：使用来自控制器装置104(其控制交通工具300)的所接收的命令以及对本地环境114中的交通工具300进行视觉跟踪，以使得能够将虚拟人物110b适当地放置在头戴式显示器102上的用户100的视野中。此外，在一些实现方式中，可通过示范虚拟人物110b对交通工具300的明显控制的方式将所述虚拟人物动画化，例如，通过展示虚拟人物110b操纵交通工具300的方向盘。因此，虚拟人物110b可显现为驾驶交通工具300。与上文论述的实现方式一样，可从包括在交通工具300中的相机的视频馈送提供来自交通工具300的角度的第一人员视角。
图4说明根据本公开的实现方式的从显示装置浮现到本地环境中并且在本地环境内导航的虚拟对象。在所说明的实现方式中，虚拟对象400a被示出为交通工具，但在其他实现方式中，所述虚拟对象可以是人物或任何其他虚拟对象。如所示，并且根据本文论述的原理，虚拟对象400a被动画化成显现为从在显示装置108上呈现的场景109转出并且转入本地环境114中，在所述本地环境中，所述虚拟对象表示为增强现实对象，具体为虚拟对象400b。
将了解，在本地环境114的背景内设置的虚拟对象400b可被配置为遵守本地环境114的空间完整性和在其中设置的其他物理对象。例如，虚拟对象400b可被配置为展示为停在诸如本地环境中的地板的表面上。此外，可发生虚拟对象400b与本地环境114中的真实对象之间的碰撞，并且对虚拟对象400b的渲染可响应于此类碰撞。例如，在一些实现方式中，将不把虚拟对象400b渲染成占据已经被本地环境114中的物理对象占据的空间区域。当发生与真实对象的碰撞时，虚拟对象400b可停止或被阻止移动到由真实对象占据的空间区域中，或者可被渲染为从真实对象转向。在所说明的实现方式中，示出诸如球402、毛绒动物404和桶406的真实对象。因此，将不把虚拟对象400b渲染成占据本地环境114中的由这些对象占据的同一空间。此外，在遵守真实对象的空间完整性方面，这意味着虚拟对象400b可能会被本地环境中的真实对象遮挡。例如，如果虚拟对象400b移动到球402后方，则所述虚拟对象将被球402遮挡。同样地，可将虚拟对象400b渲染成遮挡本地环境114中的真实对象。
在一些实现方式中，可如已经在先前论述由用户控制虚拟对象400b。这可向玩家提供增强的交互体验，因为虚拟对象可被配置为在场景109中以及在真实本地环境114的背景中进行交互。例如，在交通工具的情况下，可在场景109中控制所述交通工具，然后所述交通工具从场景109浮现到本地环境114中，并且进一步在本地环境114周围驾驶，同时遵守本地环境中的空间完整性和物理对象的边界。还可将交通工具从本地环境114驾驶回到场景109中。
在其他实现方式中，可由交互式应用自身将虚拟对象400b控制为(例如)非玩家实体，诸如非玩家人物或交通工具。在此类实现方式中，可由交互式应用的部件或或人工智能实现方式导引虚拟对象400b的动作。因此，虚拟对象400b可自动导航本地环境114，包括可能避免与本地环境中的真实对象的碰撞。
图5说明根据本公开的实现方式的被配置为在本地环境中交互的虚拟人物。如在所说明的实现方式中所示，虚拟人物500是可(例如)由用户100通过头戴式显示器102观看的增强现实人物或对象。
为了增强虚拟人物500的交互可信度，在一些实现方式中，虚拟人物500可被配置为展现指示本地环境114中的人或事物的意识的动作。例如，可检测本地环境114中的人，并且虚拟人物500可被配置为响应于检测到的动作(诸如话音、望(例如，朝向虚拟人物)、移动、手势等)而转向或望向这些人。因此举例来说，如果用户100朝向本地环境114中的虚拟人物500说话或观望，则虚拟人物500可被配置为诸如通过朝向(或面向)用户100移动其眼睛、转动其头部或挪动其身体而回望向用户100。类似地，如果本地环境114中的另一个人502展现出检测到的活动，诸如说话或打手势，则虚拟人物500可被配置为展现此类活动的意识并且诸如通过望向人502而适当地响应。
虚拟人物500对人的显然的意识可进一步扩展到辨识在显示装置上示出的人，诸如在显示装置108上示出的人504。因此，例如，响应于人504的话音/噪声或手势/移动，虚拟人物500可被配置为望向显示装置108上的人504或展现指示意识的其他动作。
为了让虚拟人物500展现人的意识，将了解，需要检测这些人和他们在本地环境中的位置。这可使用若干机构单独地或彼此组合地实现。在佩戴着头戴式显示器102的用户100的情况下，在本地环境114中跟踪头戴式显示器102的位置，并且此位置可用于识别用户100的位置。在一些实现方式中，使用头戴式显示器的面向外的相机来确定本地环境中的头戴式显示器的位置(例如，使用同时定位与地图创建(SLAM)技术)。并且在一些实现方式中，可使用单独的图像捕获装置508诸如通过跟踪头戴式显示器上的记号来在视觉上跟踪头戴式显示器102。
在人502的情况下，可使用来自头戴式显示器102的面向外的相机的视频馈送和/或来自图像捕获装置508的视频馈送来实现对人502的识别和跟踪，所述头戴式显示器和所述图像捕获装置都捕获本地环境114的图像。可使用头戴式显示器102的面向外的相机来辨识在显示装置108上示出的人504，但还可由计算装置106通过分析将要在显示装置108上渲染的视频来更直接地辨识所述人。为了促进对人的辨识，无论该人是物理地存在于本地环境114中还是在显示装置108上展示，可采用机器学习分类器。
在一些实现方式中，在显示装置108上示出的人504是在视频电话会议上。也就是说，如参考510处所示，人504位于用户100的远程位置处，并且在他们的位置之间建立了视频电话会议。例如，计算装置106将来自图像捕获装置508的本地环境114的视频馈送传输(例如，在网络518上)到人504所处的远程位置处的对应的计算装置516，并且向显示装置512渲染本地环境114的视频馈送以供人504观看。同样地，将来自捕获人504的本地环境520的图像捕获装置514的视频馈送在网络518上从计算装置516传输到计算装置106，所述计算装置向显示装置108渲染所述视频馈送。
如所述，虚拟人物500可被配置为对在显示装置108上示出的人504的存在作出反应。此外，在一些实现方式中，虚拟人物500可被配置为能够由人504在他们的显示装置512上观看。例如，可由计算装置106或计算装置516中的任一者使用虚拟人物500增强来自图像捕获装置508的视频馈送，以便在显示装置512上展示虚拟人物500。以此方式，人504将体验与虚拟人物500的交互，用户100还经由他们的头戴式显示器102看到所述虚拟人物。
将了解，本地环境114中的人502不能看到虚拟人物500，因为人502未佩戴头戴式显示器或访问能够将虚拟人物500可视化的其他硬件。因此，为了向人502提供虚拟人物500的存在的感觉，可通过本地环境114中的扬声器506渲染声音，诸如可归于虚拟人物500的话音或其他声音。
图6在概念上说明根据本公开的实现方式的交互式本地环境的顶视图，在所述交互式本地环境中，针对虚拟人物采用声音定位。如在上文已经论述，用户100能够通过头戴式显示器102观看虚拟人物500，但本地环境114中的另一人502不能够观看所述虚拟人物。因此，为了使人502能够理解本地环境114中的虚拟人物500的存在，可通过扬声器渲染可归于虚拟人物500的声音，使得人502可听到虚拟人物500。在所说明的实现方式中，提供扬声器的环绕声设置，包括扬声器600、602、604、606和608。
在一些实现方式中，可采用声音定位技术，使得通过扬声器播放的可归于虚拟人物500的声音显得从本地环境114中的虚拟人物500的位置散发。所述声音因此是方向性的，并且即使人502不能观看虚拟人物500，也渲染虚拟人物500的音频，使得人502可推断出本地环境114中的虚拟人物500的位置。为了促进此类声音定位，在一些实现方式中，以支持此类声音定位的格式编码虚拟人物500的音频。在一些实现方式中，计算装置106可将此类编码的音频数据传输到接收器或向音频信号到扬声器的递送供应电力或控制所述递送的其他装置。
另外，在一些实现方式中，可使用音频检测来辅助准确地检测和跟踪本地环境114中的人的存在。例如，在一些实现方式中，图像捕获装置508还包括麦克风阵列610，所述麦克风阵列能够检测本地环境114中的音频并且可使得能够识别声音源和它们在本地环境中的位置。用户100佩戴的头戴式显示器102还可包括麦克风阵列612，所述麦克风阵列还可检测来自本地环境114的音频，可处理所述音频以识别声音源和它们的位置。通过使用此类麦克风阵列，可更准确地确定诸如用户100和人502的声音源的位置。
图7说明根据本公开的实现方式的使用显示装置以使虚拟人物能够在本地环境中观看。在所说明的实现方式中，在初始时间，在位置P1处示出虚拟人物500。当在位置P1处时，将了解，用户100能够通过头戴式显示器102观看虚拟人物500，但也存在于本地环境114中的人502不能够观看所述虚拟人物，因为用户502缺乏用于观看虚拟人物500的诸如头戴式显示器的机构。然而，在一些实现方式中，可使用显示装置108来帮助人502理解虚拟人物500的存在并且在一些情况下观看所述虚拟人物。
举例来说，在一些实现方式中，可在显示装置108上渲染指示符(例如，箭头或其他图形指针)，所述指示符指示本地环境114中的虚拟人物500的位置。在一些实现方式中，可向显示装置108渲染本地环境114的地图，并且可在此类地图上指示虚拟人物500的位置。
在一些实现方式中，如果虚拟人物500移动成接近显示装置108，则可在显示装置108上渲染虚拟人物500，使得人502可在显示装置上看到虚拟人物500。在所说明的实现方式中，当虚拟人物500从位置P1移动到接近显示装置108的位置P2时，因此通过暗示虚拟人物500在本地环境114中的位置的方式在显示装置108上渲染所述虚拟人物的一部分。如所示，在显示装置108上渲染虚拟人物500的大致上半部，使得人502能够看到虚拟人物500。将了解，虚拟人物500可进一步移动到本地环境114中的位置P3，并且因此虚拟人物500被动画化成继续向左移动并且离开显示装置108的左侧。
如已经指出，用户100可通过头戴式显示器102观看虚拟人物500，而不管所述用户在本地环境114中的位置如何。因此，当虚拟人物500位于位置P2时，用户100能够另外看到未在显示装置108上示出的虚拟人物500的下半部。在一些实现方式中，不是看到在显示装置108上渲染的虚拟人物500，用户100将看到在头戴式显示器102上渲染的整体作为增强现实对象的虚拟人物500，所述增强现实对象可覆盖在显示装置108上的虚拟人物500的渲染上面。在其他实现方式中，用户100能够通过头戴式显示器102观看显示装置108上的虚拟人物500的部分的渲染，但所述渲染被经由头戴式显示器102对虚拟人物500的下半部的增强渲染补充。
图8说明根据本公开的实现方式的通过向显示装置渲染的方式进行交互的本地环境中的虚拟人物。如在所说明的实现方式中所示，虚拟人物500位于本地环境114中，以便能够通过头戴式显示器102观看为增强现实对象。此外，在所说明的实现方式中，虚拟人物500被示出为画在显示装置108上。也就是说，由头戴式显示器102通过将虚拟人物500展示为画在显示装置108的表面上的方式渲染所述虚拟人物，并且同时将绘画渲染为显示装置108上的场景800。将了解，为了提供令人信服的效果，将画笔或虚拟人物500持有的其他绘图工具的移动与对画笔笔触或绘制为场景800的部分的其他元素的渲染进行协调。此外并且根据本文的实现方式，将了解，虚拟人物500的绘画活动可由用户100经由控制器装置104来控制。
如已经论述，人502可能不能够观看虚拟人物500。然而，通过向显示装置108渲染由虚拟人物500采取的动作的效果，人502仍然能够了解虚拟人物500的动作。将理解，前述内容仅仅是由虚拟人物500展现的活动借以实现对显示装置108的渲染的一个示例。
图9说明根据本公开的实现方式的被配置为控制各种物联网(IOT)装置的本地环境中的虚拟人物。如所示，可将本地环境114中的虚拟人物500动画化，以便展示虚拟人物移动到并且操作各种IOT装置。将了解，为了实现IOT装置的此类操作，计算装置106可在连接到各种IOT装置的网络518上进行通信。网络518可包括局域网、广域网以及互联网。在一些实现方式中，计算装置106与各种IOT装置直接地或在网络上通信，而在其他实现方式中，计算装置106在网络上与基于云的IOT控制系统通信，所述基于云的IOT控制系统继而将向给定的IOT装置发出命令。
如在所说明的实现方式中所示，可将虚拟人物500动画化成展示所述虚拟人物操作各种IOT装置，诸如显示装置108、灯900(或灯内的智能灯泡)、恒温器902、冰箱904或可以是智能扬声器的扬声器506。例如，可将虚拟人物500动画化成展示开启或关闭显示装置108，改变频道、调整设置或改变输入。可将虚拟人物500动画化成开启或关闭或调整灯或智能灯泡900的色彩或亮度，设置或调整其时间表等。可将虚拟人物500动画化以设置或调整恒温器902，诸如将温度向上或向下调整，或设置所述恒温器的时间表或编程。
可将虚拟人物500动画化成走向冰箱904以检查其内含物。将了解，在此类实现方式中，所述动画化可包括虚拟冰箱门被打开的增强动画化，即使实际冰箱门未打开。并且可通过访问来自在冰箱904内包括的相机的图像而显示或断定冰箱的内含物。
可将虚拟人物500动画化成开启扬声器506，例如，以播放音乐或其他音频内容。在一些实现方式中，此类动画化可包括额外的特征，诸如展示虚拟人物500调整虚拟收音机旋钮或将唱片放置在虚拟转盘上等。
将了解，这些差不多是IOT装置以及虚拟人物与此类IOT装置的交互的一些示例。在其他实现方式中，可将概念扩展到任何其他类型的IOT装置，包括(举例而非限制地)灯开关、电气开关、安全摄像机、安全系统、智能锁、咖啡机、厨房电器、车库开门器等。根据本公开的各种实现方式，可通过展示虚拟人物500控制、操作此类IOT装置、改变此类IOT装置的设置、获得此类IOT装置的状态信息等的方式渲染所述虚拟人物。
在一些实现方式中，虚拟人物500可被配置为对来自用户100的语音命令和手势作出响应以控制IOT装置。因此，举例来说，用户100可吩咐虚拟人物500开启灯900，并且用户100可朝向灯900打手势，并且虚拟人物500将被展示为通过移向灯900并且开启所述灯而作出响应，因为灯900是由计算装置106在网络518上激活所述灯而被开启。将了解，虚拟人物500可被配置为对此类语音命令作出响应以控制本文描述的其他IOT装置中的任一者。
此外，为了展示虚拟人物500移向接近各种IOT装置的位置，使用识别各种IOT装置的位置的本地环境114的3D映射。如所述，可使用在头戴式显示器102中包括的传感器来获得此类3D映射，所述传感器诸如面向外的相机、深度相机和麦克风阵列。为了验证给定的IOT装置的位置，在设置操作期间，可在以某一方式激活IOT装置时请求用户100移动接近IOT装置，所述方式诸如开启IOT装置或致使所述IOT装置执行可例如使用在头戴式显示器102中包括的传感器进行检测和验证的某一动作。
在本文描述的涉及虚拟人物在本地环境中交互的实现方式中的任一者中，将了解，这之前可以是将虚拟人物动画化成显现为从显示装置浮现，如已经在上文描述。
图10在概念上说明根据本公开的实现方式的用于使得能够在显示装置和头戴式显示器上渲染虚拟对象或虚拟人物的系统。如所示，计算装置106执行交互式应用1000，所述交互式应用在一些实现方式中可以是视频游戏。所述交互式应用包括显示渲染引擎1002，所述显示渲染引擎被配置为生成将要向显示装置108渲染的图像帧。所述交互式应用还包括HMD渲染引擎1004，所述HMD渲染引擎被配置为生成将要向头戴式显示器102渲染的图像帧。这些渲染引擎被配置为将给定背景内的目前描述的虚拟对象或虚拟人物渲染为通过头戴式显示器102显示的增强对象，无论是在向显示装置108渲染的场景中还是在本地环境114中。
根据本公开的实现方式，交互式应用1000还包括艺术资产库1006，所述艺术资产库包括用于渲染虚拟对象或虚拟人物的各种艺术资产和其他类型的数字资产(例如，音频资产)。交互式应用1000还包括人物AI(人工智能)模块1008，所述人物AI模块限定用于控制虚拟人物/使得虚拟人物能够对其环境和其中的任何检测到的活动作出响应的AI实现方式，所述活动诸如环境中的对象、此类对象的移动、环境中的声音、话音、语音命令、用户手势等。虽然已经参考虚拟人物描述了人物AI模块1008，但还可应用此类AI模块来控制诸如交通工具的虚拟对象的动作。
计算装置106另外实施HMD跟踪模块1010，所述HMD跟踪模块被配置为跟踪本地环境中的头戴式显示器102。将了解，这可包括六自由度跟踪，包括跟踪头戴式显示器的3D平移移动(x移动、y移动、z移动)以及头戴式显示器的旋转移动，诸如俯仰、横滚和偏转。
计算装置106进一步实施3D映射模块1012，所述3D映射模块被配置为映射头戴式显示器设置在其中的本地环境。这可需要使用来自头戴式显示器102的传感器(诸如面向外的相机、深度相机、麦克风)的信息以及移动跟踪信息来实现对本地环境的3D映射。
计算装置106进一步实施IOT控制模块1014，所述IOT控制模块被配置为与诸如IOT装置1020的各种IOT装置通信或以其他方式控制所述各种IOT装置，如已经描述。例如，IOT控制模块1014可实施用于促进与IOT装置的通信的一种或多种协议。
计算装置106另外实施远程控制模块1016，所述远程控制模块被配置为实现对远程控制装置1018的远程控制，如已经在上文描述。例如，远程控制模块1016可实施用于促进与远程控制装置1018的通信的一种或多种协议。
虽然一般已经将计算装置106参考为存在于本地环境中，但将了解，在各种实现方式中，计算装置106或其功能性中的任一者可远程地位于或实施于远程服务器或云计算装置/资源处，并且可在网络(例如，LAN、WAN、有线、无线、WiFi、蜂窝、4G、5G等)上访问。
可包括本公开的实现方式作为游戏引擎的部分。一般来说，游戏引擎是软件开发框架，所述软件开发框架提供实现对视频游戏的有效开发的特征。游戏引擎可包括软件库，所述软件库具有用以处置游戏功能性的各方面的可再用模块，包括(举例而非限制地)图形渲染(例如，包括顶点处理、多边形处理、阴影、照明、纹理等)、声音、物理(包括冲突处置)、动画化、脚本撰写、人工智能、连网、流式传输、存储器管理、线程、本地化支持、场景图、电影艺术等。
可针对不同的硬件平台对游戏引擎进行优化，所述硬件平台诸如游戏控制台、移动装置、个人计算机等。举例而非限制地，游戏引擎可依据平台来优化存储器使用(例如，如何区分图形管线中的各种任务的优先级等)。在一些实现方式中，硬件可以是某一特定处理实体的刀片版本，诸如游戏控制台。因此，可将用户指派给特定刀片，所述特定刀片给出控制台游戏已经被优化的相同硬件。
将了解，还可存在用以提供流式传输和/或其他服务(分组化、编码、服务质量(QOS)监测、带宽测试、对社交网络/好友的访问等)的游戏服务器逻辑。
在一些实现方式中，云基础设施可运行管理程序，所述管理程序将硬件抽象化并且提供可在其上加载操作系统(OS)的虚拟机框架。因此，堆栈可包括在OS上运行的应用程序/视频游戏，所述应用程序/视频游戏加载在由加载在基础硬件上的管理程序示例化的虚拟机(VM)上。以此方式，应用程序的执行不一定与特定硬件结合。
在一些实现方式中，应用程序/视频游戏可在容器上执行，所述容器在应用层处抽象化，从而将代码和相依性封装在一起，因此实现OS或硬件平台不可知的软件开发，并且促进跨平台的软件可移植性。
在一些实现方式中，采用分布式游戏引擎，其中可通过不同的计算实体处置游戏引擎的不同部分。例如，可将游戏引擎的功能性分割为分布在许多不同计算之间的不同的功能处理块和/或服务，所述功能性诸如物理引擎、渲染引擎(2D/3D图形)、声音、脚本撰写、动画化、AI、连网、流式传输(编码)、存储器管理、线程等。将了解，对于分布式游戏引擎，需要低时延通信以避免时延问题。为了维持期望的帧速率，计算和通信的总时间应满足特定约束条件。因此，可能或不可能有效地分割特定任务，这取决于是否有可能在较短时间内完成该过程。
使用分布式游戏引擎的优势在于有可能利用弹性计算，其中计算资源可依据需求按比例增加或减小。例如，在传统地在单个硬件服务器上执行的大型多人玩家游戏中，在例如约100个玩家之后，硬件资源变得受限，使得无法添加更多的玩家。游戏可使额外的玩家排队等候，意味着玩家必须等待加入游戏。然而，在分布式游戏引擎的情况下，通过使用弹性云计算资源，可添加更多的计算节点以满足需求，因此赋能(例如)数千玩家。游戏不再受到特定硬件服务器的极限约束。
因此，云游戏引擎可具有分布给不同的处理实体的功能性。将了解，可在不同的框架中执行不同的功能。例如，一些功能(例如，社交)可能更容易在容器中运行，而可能使用连接到GPU的VM来更好地运行图形。
为了促进云游戏引擎的功能性的分布，分布/同步层可管理工作的分布，例如派发工作、接收回数据、识别执行什么任务以及例如在比所需的速度更快地完成工作的情况下何时处置排队。在一些实现方式中，可在需要时动态地细分给定任务。例如，动画化可具有照明，并且如果照明特别复杂，则可将照明细分为三个照明工作，派发所述三个照明工作进行计算并且在返回之后进行重组。因此，可在游戏引擎功能需要更多工作的情况下细分所述游戏引擎功能。
云服务提供者提供指定性能水平的计算，例如，以每秒的输入/输出操作(“IOPS”)为单位。因此，游戏提供者可从云服务提供者指定VM、专用处理能力、存储器的量等，并且使用云服务提供者的系统将分布式云游戏引擎示例化。
在一些实现方式中，库模块和更新处置器可以是游戏引擎的一个或多个部件或模块。在一些实现方式中，库模块和更新处置器可以是单独的部件或是集成的。在一些实现方式中，库模块和更新处置器可作为游戏引擎的添加部分而操作。在一些实现方式中，如上文所述，游戏引擎可以是分布式游戏引擎。
如所述，本公开的实现方式可应用于云游戏系统。云游戏系统的一个示例是
Figure BDA0003312966320000231
Now云游戏系统。在此类系统中，客户端装置可以是游戏控制台，诸如
Figure BDA0003312966320000241
4游戏控制台，或者可以是另一装置，诸如个人计算机、膝上型计算机、平板计算机、手机、移动装置等。
一般来说，为了实现云游戏，当接收到针对游戏名称的用户请求时，由与云游戏站点相关联的数据中心内的一个或多个服务器执行若干操作。当云游戏站点接收到用户请求时，识别托管与所选择的游戏名称相关联的游戏的数据中心，并且将该请求发送到所识别的数据中心，以针对所选择的游戏名称将游戏示例化。响应于该请求，数据中心处的服务器识别游戏代码，加载所识别的游戏代码并且初始化与游戏代码相关的文件，以准备将游戏内容呈现给用户。与游戏相关联的游戏数据可包括通用游戏数据和用户特定的游戏数据。因此，初始化文件可包括识别、加载和初始化通用游戏数据和用户特定的游戏数据。初始化通用游戏数据可包括初始化图形引擎、安装图形数据、初始化声音文件、安装原图等。初始化用户特定数据可包括定位、传输和安装用户数据、用户历史、游戏历史等。
在加载和初始化通用游戏数据时，可提供“启动”画面以在客户端装置处进行渲染。可设计一种启动画面来提供正在加载的游戏的代表性图像，以允许用户预览正在加载的游戏的类型。一旦加载了通用游戏数据，就可以渲染特定初始内容，并且可呈现选择/导航屏幕以供用户选择和定制。在选择/导航屏幕处提供的用户选择输入可包括游戏等级选择、一个或多个游戏图标选择、游戏模式选择、游戏奖励，以及可能需要上传额外的游戏内容的其他用户相关数据。在一些实施方案中，通过将游戏内容从游戏云系统流式传输到用户的计算装置来使游戏内容可用于查看和交互。在一些实现方式中，在加载用户特定数据之后，游戏内容可用于进行游戏。
图11A说明用于为可通过云游戏站点获得的游戏加载游戏文件的示例性系统。所述系统包括多个客户端装置1100，所述多个客户端装置在网络1102上通信地连接到云游戏站点1104，所述网络可包括LAN、有线、无线、蜂窝(例如，4G、5G等)或任何其他类型的数据网络，包括互联网。当从客户端装置1100接收到访问云游戏站点1104的请求时，云游戏站点1104访问存储在用户数据存储区1108中的用户账户信息1106，以识别与发起请求所借助的客户端装置相关联的用户。在一些实施方案中，云游戏站点还可以验证所识别的用户，以便确定所述用户被授权查看/玩的所有游戏。在用户账户识别/验证之后，云游戏站点访问游戏名称数据存储区1110以针对发起请求的用户账户识别在游戏云站点处可用的游戏名称。游戏名称数据存储区1110继而与游戏数据库1112进行交互以获得针对云游戏站点可用的所有游戏的游戏名称。当推出新的游戏时，将用游戏代码更新游戏数据库1112，并且将为游戏名称数据存储区1110提供新推出的游戏的游戏名称信息。当发起请求时，发起请求的客户端装置可以向或可以不向云游戏站点注册。如果发起请求的客户端装置的用户不是注册用户，则云游戏站点可将所述用户识别为新用户，并且选择适合新用户的游戏名称(例如，默认的一组游戏名称)。将所识别的游戏名称返回给客户端装置以呈现在显示屏1100-a上，如图11A所示。
检测在客户端装置上渲染的游戏名称中的一个游戏名称上的用户交互，并且将信号发送到云游戏站点。所述信号包括检测到用户交互的游戏名称信息以及在游戏名称处注册的用户交互。响应于从客户端装置接收的信号，云游戏站点主动确定托管游戏的数据中心，并且向所识别的数据中心发送信号以加载与检测到用户交互的游戏名称相关联的游戏。在一些实施方案中，可能有一个以上的数据中心正在托管游戏。在此类实施方案中，云游戏站点可以确定发起请求的客户端装置的地理位置，并且识别在地理上靠近客户端装置的数据中心，并且发信号通知该数据中心来预加载游戏。可以使用客户端装置内的全球定位系统(GPS)机制、客户端的IP地址、客户端的ping信息等来确定用户的地理位置。当然，检测用户的地理位置的前述方式可以是示例性的，并且可以使用其他类型的机制或工具来确定用户的地理位置。识别靠近客户端装置的数据中心可以使用户与游戏进行交互期间的时延最小化。在一些实施方案中，所识别的数据中心可能不具有托管游戏所需的带宽/容量或者可能被过度使用。在这些实施方案中，云游戏站点可以识别在地理上靠近客户端装置的第二数据中心。游戏的加载包括加载游戏代码并且执行游戏的示例。
响应于从云游戏站点接收到信号，所识别的数据中心可在数据中心处选择服务器以在服务器上将游戏示例化。基于可用的硬件/软件能力和游戏要求来选择服务器。服务器可以包括多个游戏控制台，并且服务器可以确定使用多个游戏控制台中的哪个游戏控制台来加载游戏。游戏控制台可以类似于独立的游戏控制台，或者可以是机架式服务器或刀片服务器。刀片服务器又可包括多个服务器刀片，其中每个刀片具有用于将单个专用应用程序(诸如游戏)示例化所需的电路。当然，上述游戏控制台是示例性的，且不应被视为是限制性的。其他类型的游戏控制台(包括游戏站等)以及其他形式的刀片服务器也可用于托管所识别的游戏。
一旦识别出游戏控制台，就将游戏的通用游戏相关代码加载到游戏控制台上，并且在网络上经由云游戏站点将识别游戏在其上被示例化的游戏控制台的信号返回给客户端装置。因此，加载的游戏可供用户使用。
图11B是在概念上说明根据本公开的实现方式的经过执行以用于将云视频游戏流式传输到客户端装置的各种操作的流程图。游戏系统1118执行视频游戏并且生成原始(未压缩的)视频1120和音频1122。视频1120和音频1122被捕获和编码以用于流式传输目的，如在所说明的图中的参考标号1124处所指示。编码可用于视频和音频流的压缩，以减少带宽使用并且优化游戏体验。编码格式的示例包括H.265/MPEG-H、H.264/MPEG-4、H.263/MPEG-4、H.262/MPEG-2、WMV、VP6/7/8/9等。
经编码的音频1126和经编码的视频1128被进一步分组化为网络分组，如在参考数字1132处所指示，以用于在网络(诸如互联网)上进行传输。网络数据分组编码过程也可以采用数据加密过程，从而提供增强的数据安全性。在所说明的实现方式中，如参考标号1140处所指示，生成音频分组1134和视频分组1136以用于在网络上进行传输。
游戏系统1118另外生成触觉反馈数据1130，所述触觉反馈数据也被分组化为网络分组以用于网络传输。在所说明的实现方式中，生成触觉反馈分组1138以用于在网络上进行传输，如在参考标号1140处进一步指示。
在共同限定云游戏服务/系统的一个或多个服务器上执行上述生成原始视频和音频以及触觉反馈数据、对视频和音频进行编码以及对经编码的音频/视频和触觉反馈数据进行分组化以进行传输的操作。如参考标号1140处所指示，音频、视频和触觉反馈分组在网络(诸如和/或包括互联网)上进行传输。如参考标号1142所指示，音频分组1134、视频分组1136和触觉反馈分组1138由客户端装置解码/重组，以在客户端装置处限定经编码的音频1146、经编码的视频1148和触觉反馈数据1150。如果数据已经加密，则还对网络分组进行解密。然后，如参考标号1144处所指示，由客户端装置对经编码的音频1146和经编码的视频1148进行解码，以生成客户端侧的原始音频和视频数据以在显示装置1152上渲染。可处理/传送触觉反馈数据1150以在控制器装置1156或可借以渲染触觉效果的其他界面装置处产生触觉反馈效果。触觉效果的一个示例是控制器装置1156的振动或隆隆声。
将理解，视频游戏对用户输入进行响应，并且因此可执行与上述用于用户输入的传输和处理的过程类似但是在从客户端装置到服务器的相反方向上的程序流程。如所示，用户操作控制器装置1156可生成输入数据1158。此输入数据1158在客户端装置处被分组化，以在网络上传输到云游戏系统。输入数据分组1160被云游戏服务器拆开和重组以在服务器侧上限定输入数据1162。输入数据1162被馈送到游戏系统1118，所述游戏系统处理输入数据1162以更新视频游戏的游戏状态。
在音频分组1134、视频分组1136和触觉反馈分组1138的传输(参考标号1140)期间，可监视网络上的数据传输以确保云游戏流的服务质量。例如，可如参考标号1164所指示监视网络条件，包括上游和下游网络带宽两者，并且可响应于可用带宽的变化来调整游戏流式传输。也就是说，可基于当前网络条件来控制网络分组的编码和解码，如参考标号1166所指示。
图12说明信息服务提供者架构的实施方案。信息服务提供者(ISP)1270向地理上分散且经由网络1286连接的用户1282提供大量信息服务。ISP可以只提供一种类型的服务，诸如股票价格更新，或可以提供多种服务，诸如广播媒体、新闻、体育、游戏等。另外，每个ISP所提供的服务都是动态的，即，可以在任何时间点添加或解除服务。因此，向特定个人提供特定类型的服务的ISP可能会随时间变化。例如，当用户在她的家乡时，可以由靠近该用户的ISP为用户服务，并且当用户前往不同城市时，可以由不同的ISP为用户服务。家乡ISP将把所需的信息和数据传输到新的ISP，使得用户信息“跟随”用户去往新的城市，从而使数据更接近用户并且更易于访问。在另一实施方案中，可以在为用户管理信息的主ISP和在主ISP的控制下直接与用户介接的服务器ISP之间建立主-服务器关系。在另一实施方案中，当客户端在世界范围内移动时，数据从一个ISP转移到另一个ISP，以使处在更好位置为用户服务的ISP成为递送这些服务的ISP。
ISP 1270包括应用服务提供者(ASP)1272，其在网络(例如，包括但不限于任何有线或无线网络、LAN、WAN、WiFi、宽带、电缆、光纤、卫星、蜂窝(例如4G、5G等)、互联网等)上向客户提供基于计算机的服务。使用ASP模型提供的软件有时还被称为按需软件或软件即服务(SaaS)。提供对特定应用程序(诸如客户关系管理)的访问的简单形式是使用标准协议(诸如HTTP)。所述应用软件驻留在供应商的系统上，并且由用户使用HTML通过网络浏览器进行访问、通过由供应商提供的专用客户端软件进行访问或通过其他远程接口(诸如瘦客户端)进行访问。
在广阔地理区域上递送的服务经常使用云计算。云计算是其中经由互联网将能够动态缩放且常常虚拟化的资源提供为服务的一类型计算。用户不需要成为支持他们的“云”中的技术基础设施方面的专家。可将云计算划分为不同的服务，例如基础结构即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)。云计算服务常常在线提供从网络浏览器访问的普通的商业应用，而软件和数据存储在服务器上。基于在计算机网络中如何描绘互联网，术语云被用作互联网的隐喻(例如，使用服务器、存储装置和逻辑)，并且是其隐藏的复杂基础结构的抽象化。
此外，ISP 1270包括游戏处理服务器(GPS)1274，所述GPS被游戏客户端用来玩单玩家和多玩家视频游戏。在互联网上玩的大多数视频游戏都是经由与游戏服务器的连接而操作。通常，游戏使用专用的服务器应用，其从玩家收集数据并且向其他玩家分发所述数据。这比对等布置更高效和有效，但是其需要单独的服务器来操控服务器应用。在另一实施方案中，所述GPS在玩家之间建立通信，并且玩家的相应的玩游戏装置在不依赖于集中式GPS的情况下交换信息。
专用的GPS是独立于客户端而运行的服务器。此类服务器通常在位于数据中心中的专用硬件上运行，从而提供更多的带宽和专用的处理能力。专用服务器是针对大多数基于PC的多玩家游戏来托管游戏服务器的优选方法。大量多玩家在线游戏在通常由拥有游戏名称的软件公司托管的专用服务器上运行，从而允许它们控制和更新内容。
广播处理服务器(BPS)1276将音频或视频信号分发给观众。向很小范围的观众广播有时称为窄播。广播分发的最后一站是信号如何到达听众或观看者，并且它可能像无线电台或TV台一样在空中到达天线和接收器，或可能通过有线电视或有线广播(或“无线电缆”)经由站传播或直接从网络传播。互联网还可尤其使用允许共享信号和带宽的多播将无线电或TV带给接收者。在历史上，广播已经受到地理地域定界，例如国家广播或地区广播。然而，随着快速互联网的普及，不按地理位置来限定广播，因为内容可以到达世界上的几乎任何国家。
存储服务提供者(SSP)1278提供计算机存储空间和相关的管理服务。SSP还提供周期性备份和存档。通过提供存储即服务，用户可根据需要订购更多的存储。另一主要的优势是SSP包括备份服务，并且用户在他们的计算机的硬盘驱动器失效的情况下将不会失去所有他们的数据。此外，多个SSP可以具有用户数据的全部或部分副本，从而允许用户以有效的方式访问数据，而与用户所在的位置或用于访问数据的装置无关。例如，用户可以访问在家用计算机中以及在移动电话中(当用户移动时)的个人文件。
通信提供者1280提供对用户的连接性。一种通信提供者是提供对互联网的访问的互联网服务提供者(ISP)。ISP使用对于递送互联网协议数据报适当的数据传输技术(例如，拨号、DSL、缆线调制解调器、光纤、无线或专用高速互连)来连接其客户。通信提供者还可以提供消息接发服务，诸如电子邮件、即时消息接发和SMS文本。另一类型的通信提供者是网络服务供应者(NSP)，其通过提供对互联网的直接主干访问而出售带宽或网络访问。网络服务提供者可由电信公司、数据运营商、无线通信提供者、互联网服务提供者、提供高速互联网接入的有线电视运营商等组成。
数据交换1288将ISP 1270内部的若干模块互连并且经由网络1286将这些模块连接到用户1282。数据交换1288可覆盖其中ISP 1270的所有模块紧密接近的较小区域，或者当不同的模块在地理上分散时可覆盖较大的地理区域。举例来说，数据交换1288可包括数据中心的机柜内的快速千兆位以太网(或更快)，或洲际虚拟区域网络(VLAN)。
用户1282使用客户端装置1284访问远程服务，所述客户端装置至少包括CPU、存储器、显示器和I/O。客户端装置可以是PC、移动电话、上网本、平板计算机、游戏系统、PDA等。在一个实施方案中，ISP 1270辨识客户端所使用的装置类型并且调整所采用的通信方法。在其他情况下，客户端装置使用标准通信方法(诸如html)来访问ISP 1270。
可使用各种计算机系统配置来实践本公开的实施方案，包括手持式装置、微处理器系统、基于微处理器的消费者电子器件或可编程的消费者电子器件、小型计算机、主机计算机等。还可在分布式计算环境中实践本公开，其中通过经由有线网络或无线网络链接的远程处理装置来执行任务。
在了解了以上实施方案的情况下，应理解，本公开可采用涉及计算机系统中存储的数据的各种计算机实施的操作。这些操作是需要对物理量的物理操纵的操作。形成本公开的部分的本文描述的操作中的任一者是有用的机器操作。本公开还涉及用于执行这些操作的装置或设备。所述设备可被特别构造成用于所需的目的，或者所述设备可为由计算机中存储的计算机程序选择性地启动或配置的通用计算机。具体来说，各种通用机器可与根据本文的教导而编写的计算机程序一起使用，或者构造更专门的设备来执行所需的操作可能会更加便利。
本公开还可体现为计算机可读介质上的计算机可读代码。可替代地，可以使用上述数据交换互连从服务器下载计算机可读代码。计算机可读介质是可存储数据的任何数据存储装置，所述数据其后可由计算机系统读取。计算机可读介质的示例包括硬盘驱动器、网络附接存储装置(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带，和其他光学和非光学数据存储装置。计算机可读介质可包括计算机可读有形介质，其分布在网络耦合的计算机系统上，使得以分布的方式存储和执行计算机可读代码。
虽然以特定次序描述方法操作，但应理解，其他内务操作可在操作之间执行，或者可对操作进行调整，使得它们在略微不同的时间出现，或者可分布在系统中，这允许处理操作以与处理相关联的各种间隔出现，只要是以期望的方式执行覆盖操作的处理即可。
虽然已经出于理解清楚起见而稍微详细地描述了前述公开内容，但将明白，可在所附权利要求的范围内实践某些改变和修改。因此，本实施方案将被认为是说明性的而非限制性的，并且本公开不限于本文给出的细节，而是可在所描述的实施方案的范围和等效范围内进行修改。

Claims (20)

1.一种方法，所述方法包括：
在显示装置上呈现包括虚拟人物的虚拟场景，所述显示装置设置在本地环境中；
通过头戴式显示器提供所述本地环境的视图，通过所述头戴式显示器的所述视图包括所述显示装置和正呈现在所述显示装置上的所述虚拟场景；
在通过所述头戴式显示器观看时，将所述虚拟人物动画化以展示所述虚拟人物从呈现在所述显示装置上的所述虚拟场景移动到所述本地环境，其中所述动画化包括从将所述虚拟人物渲染为呈现在所述显示装置上的所述虚拟场景的部分转变为将所述虚拟人物渲染为通过所述头戴式显示器提供的所述本地环境的所述视图中的增强元素。
2.如权利要求1所述的方法，其中从所述头戴式显示器的面向外的相机提供通过所述头戴式显示器的所述视图。
3.如权利要求1所述的方法，所述方法还包括：
生成所述本地环境的3D模型；
其中将所述虚拟人物渲染为所述本地环境的所述视图中的增强元素包括使用所述本地环境的所述3D模型来确定所述虚拟人物在所述本地环境的所述视图中的放置。
4.如权利要求3所述的方法，其中将所述虚拟人物渲染为所述本地环境的所述视图中的增强元素包括使用所述本地环境的所述3D模型来检测所述虚拟人物与所述本地环境中的一个或多个对象的虚拟碰撞。
5.如权利要求3所述的方法，其中将所述虚拟人物渲染为所述本地环境的所述视图中的增强元素包括使用所述本地环境的所述3D模型来限定所述本地环境的所述视图中的所述虚拟人物的可允许的位置或移动。
6.如权利要求3所述的方法，其中生成所述本地环境的所述3D模型包括使用所述头戴式显示器的深度感测装置来扫描所述本地环境。
7.如权利要求1所述的方法，其中所述转变包括：识别所述本地环境的所述视图中的所述显示装置；以及在所述本地环境的所述视图中在接近所述显示装置处渲染所述虚拟人物。
8.如权利要求7所述的方法，其中在接近所述显示装置处渲染所述虚拟人物包括将所述本地环境的所述视图中的所述虚拟人物动画化为从所述显示装置浮现到所述本地环境中。
9.如权利要求1所述的方法，其中所述转变包括：在所述本地环境的所述视图中识别呈现在所述显示装置上的所述虚拟场景；以及在所述本地环境的所述视图中在接近所述虚拟场景处渲染所述虚拟人物。
10.如权利要求1所述的方法，其中所述将所述虚拟人物动画化是响应于来自控制器装置的输入。
11.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质具有在由计算装置执行时致使所述计算装置执行包括以下操作的方法的程序指令：
在显示装置上呈现包括虚拟人物的虚拟场景，所述显示装置设置在本地环境中；
通过头戴式显示器提供所述本地环境的视图，通过所述头戴式显示器的所述视图包括所述显示装置和正呈现在所述显示装置上的所述虚拟场景；
在通过所述头戴式显示器观看时，将所述虚拟人物动画化以展示所述虚拟人物从呈现在所述显示装置上的所述虚拟场景移动到所述本地环境，其中所述动画化包括从将所述虚拟人物渲染为呈现在所述显示装置上的所述虚拟场景的部分转变为将所述虚拟人物渲染为通过所述头戴式显示器提供的所述本地环境的所述视图中的增强元素。
12.如权利要求11所述的非暂时性计算机可读介质，其中从所述头戴式显示器的面向外的相机提供通过所述头戴式显示器的所述视图。
13.如权利要求11所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质还包括：
生成所述本地环境的3D模型；
其中将所述虚拟人物渲染为所述本地环境的所述视图中的增强元素包括使用所述本地环境的所述3D模型来确定所述虚拟人物在所述本地环境的所述视图中的放置。
14.如权利要求13所述的非暂时性计算机可读介质，其中将所述虚拟人物渲染为所述本地环境的所述视图中的增强元素包括使用所述本地环境的所述3D模型来检测所述虚拟人物与所述本地环境中的一个或多个对象的虚拟碰撞。
15.如权利要求13所述的非暂时性计算机可读介质，其中将所述虚拟人物渲染为所述本地环境的所述视图中的增强元素包括使用所述本地环境的所述3D模型来限定所述本地环境的所述视图中的所述虚拟人物的可允许的位置或移动。
16.如权利要求13所述的非暂时性计算机可读介质，其中生成所述本地环境的所述3D模型包括使用所述头戴式显示器的深度感测装置来扫描所述本地环境。
17.如权利要求11所述的非暂时性计算机可读介质，其中所述转变包括：识别所述本地环境的所述视图中的所述显示装置；以及在所述本地环境的所述视图中在接近所述显示装置处渲染所述虚拟人物。
18.如权利要求17所述的非暂时性计算机可读介质，其中在接近所述显示装置处渲染所述虚拟人物包括将所述本地环境的所述视图中的所述虚拟人物动画化为从所述显示装置浮现到所述本地环境中。
19.如权利要求11所述的非暂时性计算机可读介质，其中所述转变包括：在所述本地环境的所述视图中识别呈现在所述显示装置上的所述虚拟场景；以及在所述本地环境的所述视图中在接近所述虚拟场景处渲染所述虚拟人物。
20.如权利要求11所述的非暂时性计算机可读介质，其中所述将所述虚拟人物动画化是响应于来自控制器装置的输入。
CN202080030165.7A 2019-03-15 2020-02-10 虚拟人物现实间跨界 Pending CN113795814A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/355,627 US11055918B2 (en) 2019-03-15 2019-03-15 Virtual character inter-reality crossover
US16/355,627 2019-03-15
PCT/US2020/017493 WO2020190421A1 (en) 2019-03-15 2020-02-10 Virtual character inter-reality crossover

Publications (1)

Publication Number Publication Date
CN113795814A true CN113795814A (zh) 2021-12-14

Family

ID=69811872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080030165.7A Pending CN113795814A (zh) 2019-03-15 2020-02-10 虚拟人物现实间跨界

Country Status (5)

Country Link
US (1) US11055918B2 (zh)
EP (1) EP3938871A1 (zh)
JP (1) JP7355841B2 (zh)
CN (1) CN113795814A (zh)
WO (1) WO2020190421A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US11523244B1 (en) * 2019-06-21 2022-12-06 Apple Inc. Own voice reinforcement using extra-aural speakers
US11771982B2 (en) * 2020-02-14 2023-10-03 Real Tech, Llc. Systems and methods for augmented reality role playing entertainment
CN113240782B (zh) * 2021-05-26 2024-03-22 完美世界(北京)软件科技发展有限公司 基于虚拟角色的流媒体生成方法及装置
CN113457134A (zh) * 2021-06-28 2021-10-01 网易（杭州）网络有限公司 游戏场景的处理方法、装置、设备及存储介质
US11684848B2 (en) * 2021-09-28 2023-06-27 Sony Group Corporation Method to improve user understanding of XR spaces based in part on mesh analysis of physical surfaces
GB2620175A (en) * 2022-06-30 2024-01-03 Sony Interactive Entertainment Europe Ltd Representing virtual objects outside of a display screen
US20240054690A1 (en) * 2022-08-15 2024-02-15 Disney Enterprises, Inc. User Responsive Augmented Reality Enhancement of Moving Images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959344A (zh) * 2011-12-20 2014-07-30 英特尔公司 跨越多个设备的增强现实表示
CN106133645A (zh) * 2014-01-17 2016-11-16 索尼互动娱乐美国有限责任公司 使用第二屏幕作为私用跟踪抬头显示器
CN106687886A (zh) * 2014-07-25 2017-05-17 微软技术许可有限责任公司 三维混合现实视口
CN107250891A (zh) * 2015-02-13 2017-10-13 Otoy公司 头戴式显示器与真实世界对象之间的相互通信

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5263049B2 (ja) * 2009-07-21 2013-08-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
JP5643549B2 (ja) * 2010-06-11 2014-12-17 任天堂株式会社 画像処理システム、画像処理プログラム、画像処理装置および画像処理方法
US8982133B2 (en) * 2012-01-31 2015-03-17 Disney Enterprises, Inc. Portable virtual characters
US8988465B2 (en) * 2012-03-30 2015-03-24 Ford Global Technologies, Llc Physical-virtual hybrid representation
US9317971B2 (en) * 2012-06-29 2016-04-19 Microsoft Technology Licensing, Llc Mechanism to give holographic objects saliency in multiple spaces
US9761045B1 (en) * 2013-03-15 2017-09-12 Bentley Systems, Incorporated Dynamic and selective model clipping for enhanced augmented hypermodel visualization
US9443354B2 (en) * 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
US9245388B2 (en) * 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US20140368537A1 (en) * 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US20160027214A1 (en) * 2014-07-25 2016-01-28 Robert Memmott Mouse sharing between a desktop and a virtual world
US9746984B2 (en) * 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
US10286308B2 (en) * 2014-11-10 2019-05-14 Valve Corporation Controller visualization in virtual and augmented reality environments
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US10366534B2 (en) * 2015-06-10 2019-07-30 Microsoft Technology Licensing, Llc Selective surface mesh regeneration for 3-dimensional renderings
US10191541B2 (en) * 2016-06-30 2019-01-29 Sony Interactive Entertainment Inc. Augmenting virtual reality content with real world content
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
US10572005B2 (en) 2016-07-29 2020-02-25 Microsoft Technology Licensing, Llc Private communication with gazing
WO2019141879A1 (en) * 2018-01-22 2019-07-25 The Goosebumps Factory Bvba Calibration to be used in an augmented reality method and system
US11049322B2 (en) * 2018-06-18 2021-06-29 Ptc Inc. Transferring graphic objects between non-augmented reality and augmented reality media domains

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959344A (zh) * 2011-12-20 2014-07-30 英特尔公司 跨越多个设备的增强现实表示
CN106133645A (zh) * 2014-01-17 2016-11-16 索尼互动娱乐美国有限责任公司 使用第二屏幕作为私用跟踪抬头显示器
CN106687886A (zh) * 2014-07-25 2017-05-17 微软技术许可有限责任公司 三维混合现实视口
CN107250891A (zh) * 2015-02-13 2017-10-13 Otoy公司 头戴式显示器与真实世界对象之间的相互通信

Also Published As

Publication number Publication date
JP7355841B2 (ja) 2023-10-03
WO2020190421A1 (en) 2020-09-24
US20200294313A1 (en) 2020-09-17
EP3938871A1 (en) 2022-01-19
JP2022525412A (ja) 2022-05-13
US11055918B2 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
JP7355841B2 (ja) 仮想キャラクタの現実間のクロスオーバを示すための方法及び非一時的なコンピュータ可読媒体
US10740951B2 (en) Foveal adaptation of particles and simulation models in a foveated rendering system
JP7273068B2 (ja) マルチサーバクラウド仮想現実（ｖｒ）ストリーミング
EP3265864B1 (en) Tracking system for head mounted display
CN107683449B (zh) 控制经由头戴式显示器呈现的个人空间内容
JP6310073B2 (ja) 描画システム、制御方法、及び記憶媒体
US11998849B2 (en) Scanning of 3D objects for insertion into an augmented reality environment
TWI795628B (zh) 異動記憶體同步的方法及線上遊戲系統
JP6576245B2 (ja) 情報処理装置、制御方法及びプログラム
EP3634593B1 (en) Optimized deferred lighting and foveal adaptation of particles and simulation models in a foveated rendering system
US11400381B2 (en) Virtual influencers for narration of spectated video games
JP7419554B2 (ja) ゲーム内プレイヤー支援用に事前に記録されたゲームプレイビデオのサーフェシング
CN115175751A (zh) 基于预测的游戏活动和观众特性驱动虚拟影响者
JP2023540936A (ja) 視線追跡に基づくヘッドアップディスプレイの自動位置決め

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination