CN111630526A - 在合成现实布景中生成用于目标实现器的目标 - Google Patents

Abstract

在一些具体实施中，一种方法包括将目标实现器实例化到合成现实布景中。在一些具体实施中，该目标实现器通过一组预定义目标和一组视觉渲染属性来表征。在一些具体实施中，该方法包括获得表征该合成现实布景的上下文信息。在一些具体实施中，该方法包括基于该组预定义目标和一组用于该目标实现器的预定义动作的函数来生成用于该目标实现器的目标。在一些具体实施中，该方法包括基于用于该目标实现器的该目标来设置用于该合成现实布景的环境条件。在一些具体实施中，该方法包括基于用于该目标实现器的该目标来建立用于该目标实现器的初始条件和一组当前动作。在一些具体实施中，该方法包括基于该目标来修改该目标实现器。

Description

在合成现实布景中生成用于目标实现器的目标

技术领域

本公开整体涉及在合成现实布景(setting)中生成用于目标实现器(objective-effectuator)的目标。

背景技术

一些设备能够生成并呈现合成现实布景。一些合成现实布景包括作为物理布景的合成替换物的虚拟布景。一些合成现实布景包括作为物理布景的修改版本的增强布景。呈现合成现实布景的一些设备包括移动通信设备，诸如智能电话、头戴式显示器(HMD)、眼镜、抬头显示器(HUD)和光学投影系统。呈现合成现实布景的大多数先前可用的设备在呈现某些对象的表示时是无效的。例如，呈现合成现实布景的一些先前可用的设备不适于呈现与动作相关联的对象的表示。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1A和图1B是根据一些具体实施的示例性操作环境的图示。

图2是根据一些具体实施的示例性系统的框图。

图3A是根据一些具体实施的示例性突现内容引擎的框图。

图3B是根据一些具体实施的示例性神经网络的框图。

图4A至图4E是根据一些具体实施的生成用于合成现实布景的内容的方法的流程图表示。

图5是根据一些具体实施的利用突现内容引擎的各种部件启用的服务器系统的框图。

图6是根据一些具体实施的捕获的角色的图示。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

发明内容

本文所公开的各种具体实施包括用于生成用于合成现实布景的内容的设备、系统和方法。在各种具体实施中，一种设备包括非暂态存储器以及与非暂态存储器耦接的一个或多个处理器。在一些具体实施中，一种方法包括将目标实现器实例化到合成现实布景中。在一些具体实施中，该目标实现器通过一组预定义目标和一组视觉渲染属性来表征。在一些具体实施中，该方法包括获得表征该合成现实布景的上下文信息。在一些具体实施中，该方法包括基于该组预定义目标、该上下文信息以及一组用于该目标实现器的预定义动作的函数来生成用于该目标实现器的目标。在一些具体实施中，该方法包括基于用于该目标实现器的该目标来设置用于该合成现实布景的环境条件。在一些具体实施中，该方法包括基于用于该目标实现器的该目标来建立用于该目标实现器的初始条件和一组当前动作。在一些具体实施中，该方法包括基于该目标来修改该目标实现器。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序。在一些具体实施中，一个或多个程序存储在非暂态存储器中并由一个或多个处理器执行。在一些具体实施中，一个或多个程序包括用于执行或促使执行本文描述的任何方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，该指令当由设备的一个或多个处理器执行时使该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器，以及用于执行或导致执行本文所述方法中的任一种的装置。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

物理布景是指无需电子系统帮助个体就能够感知和/或个体能够交互的世界。物理布景(例如，物理森林)包括物理元素(例如，物理树、物理结构和物理动物)。个体可直接与物理布景相互作用和/或感知物理布景，诸如通过触摸、视觉、嗅觉、听觉和味觉。

相比之下，合成现实(SR)布景是指经由电子系统个体能够感知和/或个体能够交互的完全或部分由计算机创建的布景。在SR中，监测个体移动的子集，并且响应于该子集，以符合一个或多个物理定律的方式更改SR布景中的一个或多个虚拟对象的一个或多个属性。例如，SR系统可检测到个体向前走几步，并且响应于此，以类似于此类情景和声音在物理布景中会如何变化的方式来调节呈现给个体的图形和音频。也可响应于移动的表示(例如，音频指令)而进行对SR布景中一个或多个虚拟对象的一个或多个属性的修改。

个体可使用他的任何感觉(包括触觉、嗅觉、视觉、味觉和声音)与SR对象进行交互和/或感知SR对象。例如，个体可与创建多维(例如，三维)或空间听觉布景和/或实现听觉透明性的听觉对象进行交互和/或感知听觉对象。多维或空间听觉布景为个体提供了在多维空间中对离散听觉源的感知。在具有或不具有计算机创建的音频的情况下，听觉透明性选择性地结合来自物理布景的声音。在一些SR布景中，个体可仅与听觉对象进行交互和/或仅感知听觉对象。

SR的一个示例是虚拟现实(VR)。VR布景是指被设计为仅包括针对至少一种感觉的计算机创建的感官输入的模拟布景。VR布景包括个体可与之交互和/或对其进行感知的多个虚拟对象。个体可通过在计算机创建的布景内模拟个体动作的子集和/或通过对个体或其在计算机创建的布景内的存在的模拟，来与VR布景中的虚拟对象进行交互和/或感知VR布景中的虚拟对象。

SR的另一个示例是混合现实(MR)。MR布景是指被设计为将计算机创建的感官输入(例如，虚拟对象)与来自物理布景的感官输入或其表示集成的模拟布景。在现实谱系上，混合现实布景介于一端的VR布景和另一端的完全物理布景之间并且不包括这些布景。

在一些MR布景中，计算机创建的感官输入可以适应于来自物理布景的感官输入的变化。另外，用于呈现MR布景的一些电子系统可以监测相对于物理布景的取向和/或位置，以使虚拟对象能够与真实对象(即来自物理布景的物理元素或其表示)交互。例如，系统可监测运动，使得虚拟植物相对于物理建筑物看起来是静止的。

混合现实的一个示例是增强现实(AR)。AR布景是指至少一个虚拟对象叠加在物理布景或其表示之上的模拟布景。例如，电子系统可具有不透明显示器和至少一个成像传感器，该成像传感器用于捕获物理布景的图像或视频，这些图像或视频是物理布景的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上显示该组合。个体使用系统经由物理布景的图像或视频间接地查看物理布景，并且观察叠加在物理布景之上的虚拟对象。当系统使用一个或多个图像传感器捕获物理布景的图像，并且使用那些图像在不透明显示器上呈现AR布景时，所显示的图像被称为视频透传。另选地，用于显示AR布景的电子系统可具有透明或半透明显示器，个体可通过该显示器直接查看物理布景。该系统可在透明或半透明显示器上显示虚拟对象，使得个体使用该系统观察叠加在物理布景之上的虚拟对象。又如，系统可包括将虚拟对象投影到物理布景中的投影系统。虚拟对象可例如在物理表面上或作为全息图被投影，使得个体使用该系统观察叠加在物理布景之上的虚拟对象。

增强现实布景也可指其中物理布景的表示被计算机创建的感官信息改变的模拟布景。例如，物理布景的表示的一部分可被以图形方式改变(例如，放大)，使得所改变的部分仍可代表一个或多个初始捕获的图像但不是忠实再现的版本。又如，在提供视频透传时，系统可改变传感器图像中的至少一者以施加不同于一个或多个图像传感器捕获的视点的特定视点。再如，物理布景的表示可通过以图形方式将其部分进行模糊处理或消除其部分而被改变。

混合现实的另一个示例是增强虚拟(AV)。AV布景是指计算机创建布景或虚拟布景并入来自物理布景的至少一个感官输入的模拟布景。来自物理布景的一个或多个感官输入可为物理布景的至少一个特征的表示。例如，虚拟对象可呈现由一个或多个成像传感器捕获的物理元素的颜色。又如，虚拟对象可呈现出与物理布景中的实际天气条件相一致的特征，如经由天气相关的成像传感器和/或在线天气数据所识别的。在另一个示例中，增强现实森林可具有虚拟树木和结构，但动物可具有从对物理动物拍摄的图像精确再现的特征。

许多电子系统使得个体能够与各种SR布景进行交互和/或感知各种SR布景。一个示例包括头戴式系统。头戴式系统可具有不透明显示器和一个或多个扬声器。另选地，头戴式系统可以被设计为接收外部显示器(例如，智能电话)。头戴式系统可具有分别用于拍摄物理布景的图像/视频和/或捕获物理布景的音频的一个或多个成像传感器和/或麦克风。头戴式系统也可具有透明或半透明显示器。透明或半透明显示器可结合基板，表示图像的光通过该基板被引导到个体的眼睛。显示器可结合LED、OLED、数字光投影仪、激光扫描光源、硅上液晶，或这些技术的任意组合。透射光的基板可以是光波导、光组合器、光反射器、全息基板或这些基板的任意组合。在一个实施方案中，透明或半透明显示器可在不透明状态与透明或半透明状态之间选择性地转换。又如，电子系统可以是基于投影的系统。基于投影的系统可使用视网膜投影将图像投影到个体的视网膜上。另选地，投影系统还可将虚拟对象投影到物理布景中(例如，投影到物理表面上或作为全息图)。SR系统的其他示例包括平视显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗口、能够显示图形的镜片、耳机或耳塞、扬声器布置、输入机构(例如，具有或不具有触觉反馈的控制器)、平板电脑、智能电话，以及台式计算机或膝上型计算机。

本公开提供了用于生成用于合成现实布景的内容的方法、系统和/或设备。突现内容引擎生成用于目标实现器的目标，并将目标提供给对应的目标实现器引擎，使得目标实现器引擎可以生成满足目标的动作。由突现内容引擎生成的目标指示情节或故事情节，目标实现器引擎针对该情节或故事情节生成动作。生成目标使能够呈现动态目标实现器，该动态目标实现器执行与呈现静态目标实现器相反的动作，从而增强用户体验并改善呈现合成现实布景的设备的功能。

图1A是根据一些具体实施的示例性操作环境100的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境100包括控制器102和电子设备103。在图1A的示例中，电子设备103被用户10握持。在一些具体实施中，电子设备103包括智能电话、平板电脑、膝上型电脑等。

如图1A所示，电子设备103呈现合成现实布景106。在一些具体实施中，合成现实布景106由控制器102和/或电子设备103生成。在一些具体实施中，合成现实布景106包括作为物理布景的合成替换物的虚拟布景。换句话讲，在一些具体实施中，合成现实布景106是由控制器102和/或电子设备103合成的。在此类具体实施中，合成现实布景106不同于电子设备103所在的物理布景。在一些具体实施中，合成现实布景106包括是物理布景的修改版本的增强布景。例如，在一些具体实施中，控制器102和/或电子设备103修改(例如，增强)电子设备103所在的物理布景以便生成该合成现实布景106。在一些具体实施中，控制器102和/或电子设备103通过模拟电子设备103所在的物理布景的副本来生成该合成现实布景106。在一些具体实施中，控制器102和/或电子设备103通过从电子设备103所在的物理布景的合成副本中移除和/或向其添加物项来生成该合成现实布景106。

在一些具体实施中，该合成现实布景106包括目标实现器的各种SR表示，诸如男孩可动人偶表示108a、女孩可动人偶表示108b、机器人表示108c和无人机表示108d。在一些具体实施中，目标实现器表示来自虚构材料诸如电影、视频游戏、漫画和小说的角色。例如，男孩可动人偶表示108a表示来自虚构漫画的“男孩可动人偶”角色，而女孩可动人偶表示108b表示来自虚构视频游戏的“女孩可动人偶”角色。在一些具体实施中，合成现实布景106包括表示来自不同虚构材料(例如，来自不同电影/游戏/漫画/小说)的角色的目标实现器。在各种具体实施中，目标实现器表示事物(例如，有形对象)。例如，在一些具体实施中，目标实现器表示装备(例如，机器，诸如飞机、坦克、机器人、汽车等)。在图1A的示例中，机器人表示108c表示机器人，并且无人机表示108d表示无人机。在一些具体实施中，目标实现器表示来自虚构材料的事物(例如，装备)。在一些具体实施中，目标实现器表示来自物理布景的事物，包括位于合成现实布景106内部和/或外部的事物。

在各种具体实施中，目标实现器执行一个或多个动作。在一些具体实施中，目标实现器执行一系列动作。在一些具体实施中，控制器102和/或电子设备103确定目标实现器要执行的动作。在一些具体实施中，目标实现器的动作与对应的角色/事物在虚构材料中执行的动作在一定程度内相似。在图1A的示例中，女孩可动人偶表示108b正在执行飞行动作(例如，因为对应的“女孩可动人偶”角色能够飞行)。在图1A的示例中，无人机表示108d正在执行悬停动作(例如，因为真实世界中的无人机能够悬停)。在一些具体实施中，控制器102和/或电子设备103获得用于目标实现器的动作。例如，在一些具体实施中，控制器102和/或电子设备103从确定(例如，选择)这些动作的远程服务器接收目标实现器的动作。

在各种具体实施中，目标实现器执行动作以满足(例如，完成或达到)目标。在一些具体实施中，目标实现器与特定目标相关联，并且该目标实现器执行改善满足该特定目标的可能性的动作。在一些具体实施中，例如，因为目标实现器的SR表示表示各种对象(例如，真实对象或虚构对象)，所以目标实现器的SR表示称为对象表示。在一些具体实施中，表示角色的目标实现器称为角色目标实现器。在一些具体实施中，角色目标实现器执行动作以实现角色目标。在一些具体实施中，表示装备的目标实现器称为装备目标实现器。在一些具体实施中，装备目标实现器执行动作以实现装备目标。在一些具体实施中，表示环境的目标实现器称为环境目标实现器。在一些具体实施中，环境目标实现器执行环境动作以实现环境目标。

在一些具体实施中，基于来自用户10的用户输入生成合成现实布景106。例如，在一些具体实施中，电子设备103接收指示用于合成现实布景106的地形的用户输入。在此类具体实施中，控制器102和/或电子设备103配置该合成现实布景106，使得该合成现实布景106包括经由该用户输入指示的地形。在一些具体实施中，该用户输入指示环境条件。在此类具体实施中，控制器102和/或电子设备103将该合成现实布景106配置为具有由该用户输入指示的环境条件。在一些具体实施中，环境条件包括温度、湿度、压力、可见度、环境光水平、环境声级、一天中的时间(例如，上午、下午、傍晚或夜间)和降水(例如，多云、下雨或下雪)中的一者或多者。

在一些具体实施中，基于来自用户10的用户输入来确定(例如，生成)目标实现器的动作。例如，在一些具体实施中，电子设备103接收指示目标实现器的SR表示的放置的用户输入。在此类具体实施中，控制器102和/或电子设备103根据用户输入所指示的放置来定位目标实现器的SR表示。在一些具体实施中，用户输入指示允许目标实现器执行的特定动作。在此类具体实施中，控制器102和/或电子设备103从用户输入所指示的特定动作中选择目标实现器的动作。在一些具体实施中，控制器102和/或电子设备103放弃不在用户输入所指示的特定动作之中的动作。

图1B是根据一些具体实施的示例性操作环境100a的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境100a包括控制器102和头戴式设备(HMD)104。在图1B的示例中，HMD 104由用户10佩戴。在各种具体实施中，HMD 104以与图1A所示的电子设备103基本上相同的方式操作。在一些具体实施中，HMD 104执行与图1A所示的电子设备103基本上相同的操作。在一些具体实施中，HMD 104包括可头戴式壳体。在一些具体实施中，可头戴式壳体被成形为形成用于接收具有显示器的电子设备(例如，图1A所示的电子设备103)的接收器。在一些具体实施中，HMD 104包括用于向用户10呈现合成现实体验的集成显示器。

图2是在合成现实布景中为各种目标实现器生成动作的示例性系统200的框图。例如，系统200生成图1A所示的男孩可动人偶表示108a、女孩可动人偶表示108b、机器人表示108c和/或无人机表示108d的目标。在图2的示例中，系统200包括男孩可动人偶角色引擎208a、女孩可动人偶角色引擎208b、机器人装备引擎208c和无人机装备引擎208d，它们分别生成用于男孩可动人偶表示108a、女孩可动人偶表示108b、机器人表示108c和无人机表示108d的动作210。在一些具体实施中，系统200还包括环境引擎208e、突现内容引擎250和显示引擎260。

在各种具体实施中，突现内容引擎250生成用于合成现实布景中的目标实现器和/或合成现实布景的环境的相应目标254。在图2的示例中，突现内容引擎250生成用于男孩可动人偶表示108a的男孩可动人偶目标254a、用于女孩可动人偶表示108b的女孩可动人偶目标254b、用于机器人表示208c的机器人目标254c、用于无人机表示108d的无人机目标254d、和/或用于合成现实布景106的环境的环境目标254e(例如，环境条件)。如图2所示，突现内容引擎250将目标254提供给对应的角色/装备/环境引擎。在图2的示例中，突现内容引擎250向男孩可动人偶角色引擎208a提供男孩可动人偶目标254a，向女孩可动人偶角色引擎208b提供女孩可动人偶目标254b，向机器人装备引擎208c提供机器人目标254c，向无人机装备引擎208d提供无人机目标254d，并且向环境引擎208e提供环境目标254e。

在各种具体实施中，突现内容引擎250基于可能的目标252(例如，一组预定义目标)、表征合成现实布景的上下文信息258以及由角色/装备/环境引擎提供的动作210的函数来生成目标254。例如，在一些具体实施中，突现内容引擎250通过基于上下文信息258和/或动作210从可能的目标252选择目标254来生成目标254。在一些具体实施中，可能的目标252存储在数据存储中。在一些具体实施中，可能的目标252从对应的虚构源材料获得(例如，通过刮取视频游戏、电影、小说和/或漫画)。例如，在一些具体实施中，用于女孩可动人偶表示108b的可能的目标252包括拯救生命、营救宠物、打击犯罪等。

在一些具体实施中，突现内容引擎250基于由角色/装备/环境引擎提供的动作210来生成目标254。在一些具体实施中，突现内容引擎250生成目标254，使得在给定动作210的情况下，完成目标254的概率满足阈值(例如，该概率大于该阈值，例如，该概率大于80％)。在一些具体实施中，突现内容引擎250生成目标254，这些目标254很可能利用动作210完成。

在一些具体实施中，突现内容引擎250基于动作210对可能的目标252进行排名。在一些具体实施中，针对特定可能的目标252的排名指示在给定动作210的情况下完成该特定可能的目标252的可能性。在此类具体实施中，突现内容引擎250通过选择最高N个排名的可能目标252来生成目标254，其中N是预定义的整数(例如，1、3、5、10等)。

在一些具体实施中，突现内容引擎250基于目标254建立用于合成现实布景的初始/结束状态256。在一些具体实施中，初始/结束状态256指示各种角色/装备表示在合成现实布景内的放置(例如，位置)。在一些具体实施中，合成现实布景与持续时间(例如，几秒钟、几分钟、几小时或几天)相关联。例如，合成现实布景被安排为持续该持续时间。在此类具体实施中，初始/结束状态256指示各种角色/装备表示在/将近持续时间的开始和/或在/将近持续时间的结束时的放置。在一些具体实施中，初始/结束状态256在/将近与合成现实布景相关联的持续时间的开始/结束时指示用于合成现实布景的环境条件。

在一些具体实施中，突现内容引擎250除了向角色/装备/环境引擎提供目标254之外，还向显示引擎260提供目标254。在一些具体实施中，显示引擎260确定由角色/装备/环境引擎提供的动作210是否与由突现内容引擎250提供的目标254一致。例如，显示引擎260确定动作210是否满足目标254。换句话讲，在一些具体实施中，显示引擎260确定动作210是否提高了完成/实现目标254的可能性。在一些具体实施中，如果动作210满足目标254，那么显示引擎260根据动作210修改合成现实布景。在一些具体实施中，如果动作210不满足目标254，那么显示引擎260放弃根据动作210修改合成现实布景。

图3A是根据一些具体实施的示例性突现内容引擎300的框图。在一些具体实施中，突现内容引擎300实现图2所示的突现内容引擎250。在各种具体实施中，突现内容引擎300生成用于在合成现实布景中实例化的各种目标实现器的目标254(例如，角色/装备表示，诸如图1A所示的男孩可动人偶表示108a、女孩可动人偶表示108b、机器人表示108c和/或无人机表示108d)。在一些具体实施中，至少一些目标254用于影响合成现实布景的环境的环境引擎(例如，图2所示的环境引擎208e)。

在各种具体实施中，突现内容引擎300包括神经网络系统310(下文中为了简洁起见，为“神经网络310”)、训练(例如配置)神经网络310的神经网络训练系统330(下文中为了简洁起见，为“训练模块330”)和将可能的目标360提供给神经网络310的刮取器350。在各种具体实施中，神经网络310生成目标254(例如，图2中所示的用于男孩可动人偶表示108a的目标254a、用于女孩可动人偶表示108b的目标254b、用于机器人表示108c的目标254c、用于无人机表示108d的目标254d和/或环境目标254e)。

在一些具体实施中，神经网络310包括长短期记忆(LSTM)复发神经网络(RNN)。在各种具体实施中，神经网络310基于可能的目标360的函数来生成目标254。例如，在一些具体实施中，神经网络310通过选择可能的目标360的一部分来生成目标254。在一些具体实施中，神经网络310生成目标254，使得目标254与可能的目标360在一定程度内相似。

在各种具体实施中，神经网络310基于表征合成现实布景的上下文信息258来生成目标254。如图3A所示，在一些具体实施中，上下文信息258指示实例化装备表示340、实例化角色表示342、用户指定的场景/环境信息344和/或来自目标实现器引擎的动作210。

在一些具体实施中，神经网络310基于实例化装备表示340来生成目标254。在一些具体实施中，实例化装备表示340是指位于合成现实布景中的装备表示。例如，参考图1A，实例化装备表示340包括合成现实布景106中的机器人表示108c和无人机表示108d。在一些具体实施中，目标254包括与实例化装备表示340中的一个或多个实例化装备表示进行交互。例如，参考图1A，在一些具体实施中，用于男孩可动人偶表示108a的目标254a中的一个目标包括破坏机器人表示108c，而用于女孩可动人偶表示108b的目标254b中的一个目标包括保护机器人表示108c。

在一些具体实施中，神经网络310基于实例化装备表示340来生成用于每个角色表示的目标254。例如，参考图1A，如果合成现实布景106包括机器人表示108c，那么用于男孩可动人偶表示108a的目标254a中的一个目标包括破坏机器人表示108c。然而，如果合成现实布景106不包括机器人表示108c，那么用于男孩可动人偶表示108a的目标254a包括在合成现实布景106内保持和平。

在一些具体实施中，神经网络310基于在合成现实布景中实例化的其他装备表示来生成用于每个装备表示的目标254。例如，参考图1A，如果合成现实布景106包括机器人表示108c，那么用于无人机表示108d的目标254d中的一个目标包括保护机器人表示108c。然而，如果合成现实布景106不包括机器人表示108c，那么用于无人机表示108d的目标254d包括悬停在合成现实布景106的中心处。

在一些具体实施中，神经网络310基于实例化角色表示342来生成目标254。在一些具体实施中，实例化角色表示342是指位于合成现实布景中的角色表示。例如，参考图1A，实例化角色表示342包括合成现实布景106中的男孩可动人偶表示108a和女孩可动人偶表示108b。在一些具体实施中，目标254包括与实例化角色表示342中的一个或多个实例化角色表示进行交互。例如，参考图1A，在一些具体实施中，用于无人机表示108d的目标254d中的一个目标包括跟随女孩可动人偶表示108b。类似地，在一些具体实施中，用于机器人表示108c的目标254c中的一个目标包括避免男孩可动人偶表示108a

在一些具体实施中，神经网络310基于在合成现实布景中实例化的其他角色表示来生成用于每个角色表示的目标254。例如，参考图1A，如果合成现实布景106包括男孩可动人偶表示108a，那么用于女孩可动人偶表示108b的目标254b中的一个目标包括捕捉男孩可动人偶表示108a。然而，如果合成现实布景106不包括男孩可动人偶表示108a，那么用于女孩可动人偶表示108b的目标254b包括在合成现实布景106内飞行。

在一些具体实施中，神经网络310基于在合成现实布景中实例化的角色表示来生成用于每个装备表示的目标254。例如，参考图1A，如果合成现实布景106包括女孩可动人偶表示108b，那么用于无人机表示108d的目标254d中的一个目标包括跟随女孩可动人偶表示108b。然而，如果合成现实布景106不包括女孩可动人偶表示108b，那么用于无人机表示108d的目标254d包括悬停在合成现实布景106的中心处。

在一些具体实施中，神经网络310基于用户指定的场景/环境信息344来生成目标254。在一些具体实施中，用户指定的场景/环境信息344指示合成现实布景的边界。在此类具体实施中，神经网络310生成目标254，使得可以在合成现实布景的边界内满足(例如，达成)目标254。在一些具体实施中，神经网络310通过选择可能的目标252的一部分来生成目标254，该部分可能的目标更适合于用户指定的场景/环境信息344所指示的环境。例如，当用户指定的场景/环境信息344指示合成现实布景内的天空晴朗时，神经网络310将用于无人机表示108d的目标254d中的一个目标设置为悬停在男孩可动人偶表示108a上方。在一些具体实施中，神经网络310放弃选择不适合用户指定的场景/环境信息344所指示的环境的一部分可能的目标252。例如，当用户指定的场景/环境信息344指示合成现实布景内的狂风时，神经网络310放弃用于无人机表示108d的悬停目标。

在一些具体实施中，神经网络310基于由各种目标实现器引擎提供的动作210来生成目标254。在一些具体实施中，神经网络310生成目标254，使得目标254可在给定由目标实现器引擎提供的动作210的情况下被满足(例如，达成)。在一些具体实施中，神经网络310相对于动作210评估可能的目标360。在此类具体实施中，神经网络310通过选择动作210可以满足的可能的目标360并放弃选择动作210无法满足的可能的目标360来生成目标360。

在各种具体实施中，训练模块330训练神经网络310。在一些具体实施中，训练模块330将神经网络(NN)参数312提供给神经网络310。在一些具体实施中，神经网络310包括神经元的模型，并且神经网络参数312表示模型的权重。在一些具体实施中，训练模块330生成(例如，初始化或发起)神经网络参数312，并且基于由神经网络310生成的目标254来细化(例如，调节)神经网络参数312。

在一些具体实施中，训练模块330包括利用强化学习来训练神经网络310的回报函数332。在一些具体实施中，回报函数332将肯定回报分配给期望的目标254，而否定回报分配给不期望的目标254。在一些具体实施中，在训练阶段期间，训练模块330将目标254与包括已验证目标的验证数据进行比较。在此类具体实施中，如果目标254与已验证目标在一定程度内相似，那么训练模块330停止训练神经网络310。然而，如果目标254与已验证目标不在一定程度内相似，那么训练模块330继续训练神经网络310。在各种具体实施中，训练模块330在训练期间/之后更新神经网络参数312。

在各种具体实施中，刮取器350刮取内容352以识别可能的目标360。在一些具体实施中，内容352包括电影、视频游戏、漫画、小说以及爱好者创建的内容诸如博客和评论。在一些具体实施中，刮取器350利用与内容刮取相关联的各种方法、系统和/或设备来刮取内容352。例如，在一些具体实施中，刮取器350利用文本模式匹配、HTML(超文本标记语言)解析、DOM(文档对象模型)解析、图像处理和音频分析中的一者或多者来刮取内容352并识别可能的目标360。

在一些具体实施中，目标实现器与表示的类型362相关联，并且神经网络310基于与目标实现器相关联的表示的类型362来生成目标254。在一些具体实施中，表示的类型362指示目标实现器的物理特性(例如，颜色、材料类型、纹理等)。在此类具体实施中，神经网络310基于目标实现器的物理特性来生成目标254。在一些具体实施中，表示的类型362指示目标实现器的行为特性(例如，攻击性、友好性等)。在此类具体实施中，神经网络310基于目标实现器的行为特性来生成目标254。例如，神经网络310响应于包括攻击性的行为特性而生成针对男孩可动人偶表示108a具有破坏性的目标。在一些具体实施中，表示的类型362指示目标实现器的功能和/或性能特性(例如，强度、速度、柔性等)。在此类具体实施中，神经网络310基于目标实现器的功能特性来生成目标254。例如，神经网络310响应于包括速度的行为特性而生成始终针对女孩可动人偶表示108b移动的目标。在一些具体实施中，表示的类型362基于用户输入来确定。在一些具体实施中，表示的类型362基于规则的组合来确定。

在一些具体实施中，神经网络310基于指定的目标364来生成目标254。在一些具体实施中，指定的目标364由控制(例如，拥有或创建)角色/装备来源于的虚构材料的实体提供。例如，在一些具体实施中，指定的目标364由电影制作人、视频游戏创建者、小说家等提供。在一些具体实施中，可能的目标360包括指定的目标364。由此可见，在一些具体实施中，神经网络310通过选择指定的目标364的一部分来生成目标254。

在一些具体实施中，目标实现器的可能的目标360受限制器370限制。在一些具体实施中，限制器370限制神经网络310选择可能的目标360的一部分。在一些具体实施中，限制器370由拥有(例如，控制)角色/装备来源于的虚构材料的实体控制。例如，在一些具体实施中，限制器370由电影制作人、视频游戏创建者、小说家等控制。在一些具体实施中，限制器370和神经网络310由不同实体控制/操作。在一些具体实施中，限制器370限制神经网络310生成违反由控制虚构材料的实体定义的标准的目标。

图3B是根据一些具体实施的神经网络310的框图。在图3B的示例中，神经网络310包括输入层320、第一隐藏层322、第二隐藏层324、分类层326以及目标选择模块328。虽然作为示例，神经网络310包括两个隐藏层，但是本领域的普通技术人员将从本公开理解，在各种具体实施中，还存在一个或多个附加隐藏层。添加附加隐藏层会增加计算复杂性和存储器需求，但可改善某些应用的性能。

在各种具体实施中，输入层320接收各种输入。在一些具体实施中，输入层320接收上下文信息258作为输入。在图3B的示例中，输入层320从目标实现器引擎接收指示实例化装备340、实例化角色342、用户指定的场景/环境信息344以及动作210的输入。在一些具体实施中，神经网络310包括特征提取模块(未示出)，该特征提取模块基于实例化装备340、实例化角色342、用户指定的场景/环境信息344和/或动作210来生成特征流(例如，特征矢量)。在此类具体实施中，特征提取模块将特征流提供到输入层320。由此可见，在一些具体实施中，输入层320接收特征流，该特征流是实例化装备340、实例化角色342、用户指定的场景/环境信息344以及动作210的函数。在各种具体实施中，输入层320包括多个LSTM逻辑单元320a，这些逻辑单元也被本领域的普通技术人员称为神经元或神经元的模型。在一些此类具体实施中，从特征到LSTM逻辑单元320a的输入矩阵包括矩形矩阵。此矩阵的大小是特征部流中包含的特征部数量的函数。

在一些具体实施中，第一隐藏层322包括多个LSTM逻辑单元322a。在一些具体实施中，LSTM逻辑单元322a的数量在大约10个至500个之间的范围内。本领域的普通技术人员将会理解，在此类具体实施中，每层的LSTM逻辑单元的数量比先前已知的方法(约为O(10¹)-O(10²))小几个数量级(约为O(10¹)-O(10²))，这允许此类具体实施被嵌入高度资源受限的设备中。如图3B的示例所示，第一隐藏层322从输入层320接收其输入。

在一些具体实施中，第二隐藏层324包括多个LSTM逻辑单元324a。在一些具体实施中，LSTM逻辑单元324a的数量与输入层320中的LSTM逻辑单元320a的数量或第一隐藏层322中的LSTM逻辑单元322a的数量相同或类似。如图3B的示例所示，第二隐藏层324从第一隐藏层322接收其输入。附加地或另选地，在一些具体实施中，第二隐藏层324从输入层320接收其输入。

在一些具体实施中，分类层326包括多个LSTM逻辑单元326a。在一些具体实施中，LSTM逻辑单元326a的数量与输入层320中的LSTM逻辑单元320a的数量、第一隐藏层322中的LSTM逻辑单元322a的数量或第二隐藏层324中的LSTM逻辑单元324a的数量相同或类似。在一些具体实施中，分类层326包括多项式逻辑函数(例如，soft-max函数)的具体实施，该多项式逻辑函数产生大约等于可能的动作360的数量的多个输出。在一些具体实施中，每个输出包括动作210满足对应目标的概率或置信度量。在一些具体实施中，输出不包括由限制器370的操作排除的目标。

在一些具体实施中，目标选择模块328通过选择由分类层326提供的前N个目标候选来生成目标254。在一些具体实施中，动作210可能满足前N个目标候选。在一些具体实施中，目标选择模块328将目标254提供给渲染和显示管线(例如，图2所示的显示引擎260)。在一些具体实施中，目标选择模块328将目标254提供给一个或多个目标实现器引擎(例如，图2所示的男孩可动人偶角色引擎208a、女孩可动人偶角色引擎208b、机器人装备引擎208c、无人机装备引擎208d和/或环境引擎208e)。

图4A是生成用于合成现实布景的内容的方法400的流程图表示。在各种具体实施中，方法400由具有非暂态存储器以及与该非暂态存储器耦接的一个或多个处理器的设备(例如，图1A所示的控制器102和/或电子设备103)执行。在一些具体实施中，方法400由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法400由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。简而言之，在一些具体实施中，方法400包括：将目标实现器实例化到合成现实布景中；获得用于合成现实布景的上下文信息；生成用于目标实现器的目标；设置用于合成现实布景的环境条件；基于目标来建立用于目标实现器的初始条件；以及基于目标来修改目标实现器。

如框410所表示，在各种具体实施中，方法400包括将目标实现器实例化到合成现实布景中(例如，将男孩可动人偶表示108a、女孩可动人偶表示108b、机器人表示108c和/或无人机表示108d实例化到图1A所示的合成现实布景106中)。在一些具体实施中，目标实现器通过一组预定义目标(例如，图3A所示的可能的目标360)和一组视觉渲染属性来表征。

如框420所表示，在各种具体实施中，方法400包括获得表征合成现实布景的上下文信息(例如，图2至图3B所示的上下文信息258)。在一些具体实施中，方法400包括(例如，从用户)接收上下文信息。

如框430所表示，在各种具体实施中，方法400包括基于一组预定义目标、上下文信息以及一组用于目标实现器的预定义动作的函数来生成用于目标实现器的目标。例如，参考图2，方法400包括基于可能的目标252、上下文信息258和动作210来生成目标254。

如框440所表示，在各种具体实施中，方法400包括基于用于目标实现器的目标设置用于合成现实布景的环境条件。例如，参考图2，方法400包括生成环境目标254e(例如，环境条件)。

如框450所表示，在各种具体实施中，方法400包括基于用于目标实现器的目标来建立用于目标实现器的初始条件和一组当前动作。例如，参考图2，方法400包括建立用于各种目标实现器的初始/结束状态256(例如，角色表示、装备表示和/或环境)。

如框460所表示，在各种具体实施中，方法400包括基于目标来修改目标实现器。例如，参考图2，在一些具体实施中，方法400包括将目标254提供给显示引擎260和/或一个或多个目标实现器引擎。

参考图4B，如框410a所表示，在各种具体实施中，方法400包括从源材料(例如，图3A所示的内容352，例如，电影、书籍、视频游戏、漫画和/或小说)获得一组预定义目标(例如，图3A所示的可能的目标360)。如框410b所表示，在各种具体实施中，方法400包括刮取用于该组预定义目标的源材料。

如框410c所表示，在一些具体实施中，方法400包括基于表示的类型(例如，图3A所示的表示的类型362)来确定该组预定义目标。如框410d所表示，在一些具体实施中，方法400包括基于用户指定的配置来确定该组预定义目标(例如，基于用户输入确定图3A所示的表示的类型362)。

如框410e所表示，在一些具体实施中，方法400包括基于由对象所有者指定的限制来确定预定义目标。例如，参考图3A，在一些具体实施中，方法400包括通过限制器370的操作限制能够由神经网络310选择的可能的目标360。

如框410f所表示，在一些具体实施中，合成现实布景(例如，图1A所示的合成现实布景106)包括虚拟现实布景。

如框410g所表示，在一些具体实施中，合成现实布景(例如，图1A所示的合成现实布景106)包括增强现实布景。

如框410h所表示，在一些具体实施中，目标实现器是来自电影、视频游戏、漫画和小说中的一者或多者的角色的表示(例如，图1A所示的男孩可动人偶表示108a和/或女孩可动人偶表示108b)。

如框410i所表示，在一些具体实施中，目标实现器是来自电影、视频游戏、漫画和小说中的一者或多者的装备的表示(例如，图1A所示的机器人表示108c和/或无人机表示108d)。

如框410j所表示，在一些具体实施中，方法400

包括从图像获得一组视觉渲染属性。例如，在一些具体实施中，方法400包括捕获图像并从图像提取视觉渲染属性(例如，通过利用与图像处理相关联的设备、方法和/或系统)。

参考图4C，如框420a所表示，在各种具体实施中，上下文信息指示是否目标实现器已在合成现实布景中实例化。如框420b所表示，在一些具体实施中，上下文信息指示哪些角色表示已在合成现实布景中实例化(例如，上下文信息包括图3A至图3B所示的实例化角色表示342)。如框420c所表示，在一些具体实施中，上下文信息指示装备表示已在合成现实布景中实例化(例如，上下文信息包括图3A至图3B所示的实例化装备表示340)。

如框420d所表示，在各种具体实施中，上下文信息包括用户指定的场景信息(例如，图3A至图3B所示的用户指定的场景/环境信息344)。如框420e所表示，在各种具体实施中，上下文信息指示合成现实布景的地形(例如，风景，例如，诸如山脉、河流等的自然人工产物)。如框420f所表示，在各种具体实施中，上下文信息指示合成现实布景内的环境条件(例如，图3A至图3B所示的用户指定的场景/环境信息344)。

如框420g所表示，在一些具体实施中，上下文信息包括物理布景的网格映射图(例如，设备所在的物理布景的详细表示)。在一些具体实施中，网格映射图指示真实对象位于物理布景中的位置和/或维度。更一般地，在各种具体实施中，上下文信息包括与物理布景对应的数据。例如，在一些具体实施中，上下文信息包括与设备所在的物理布景对应的数据。在一些具体实施中，上下文信息指示物理布景的边界表面(例如，地板、墙壁和/或天花板)。在一些具体实施中，对应于物理布景的数据用于合成/修改SR布景。例如，SR布景包括在物理布景中存在的墙壁的SR表示。

参考图4D，如框430a所表示，在一些具体实施中，方法400包括利用神经网络(例如，图3A至图3B所示的神经网络310)来生成目标。如框430b所表示，在一些具体实施中，神经网络基于一组神经网络参数(例如，图3A所示的神经网络参数312)来生成目标。如框430c所表示，在一些具体实施中，方法400包括基于由神经网络生成的目标来调节神经网络参数(例如，基于图3A所示的目标254来调节神经网络参数312)。

如框430d所表示，在一些具体实施中，方法400包括基于回报函数(例如，图3A所示的回报函数332)来确定神经网络参数，该回报函数将肯定回报分配给期望目标，并且将否定回报分配给不期望目标。如框430e所表示，在一些具体实施中，方法400包括基于强化学习来配置(例如，训练)神经网络。如框430f所表示，在一些具体实施中，方法400包括基于从诸如电影的视频、诸如小说和漫画的书籍、以及视频游戏刮取(例如，由图3A所示的刮取器350)的内容来训练神经网络。

如框430g所表示，在一些具体实施中，方法400包括如果第二目标实现器在合成现实布景中被实例化，则生成第一目标。如框430h所表示，在一些具体实施中，方法400包括如果第三目标实现器在合成现实布景中被实例化，则生成第二目标。更一般地，在各种具体实施中，方法400包括基于存在于合成现实布景中的其他目标实现器生成用于目标实现器的不同目标。

如框430i所表示，在一些具体实施中，方法400包括如果在给定的一组动作的情况下满足目标的可能性大于阈值，则选择目标。如框430j所表示，在一些具体实施中，方法400包括如果在给定该组动作的情况下满足目标的可能性小于阈值，则放弃选择目标。

参考图4E，如框440a所表示，在一些具体实施中，方法400包括设置合成现实布景内的温度值、湿度值、压力值和降水值中的一者或多者。在一些具体实施中，方法400包括使得在合成现实布景中下雨或下雪。如框440b所表示，在一些具体实施中，方法400包括设置用于合成现实布景的环境声级值(例如，以分贝为单位)和环境照明水平值(例如，以流明为单位)中的一者或多者。如框440c所表示，在一些具体实施中，方法400包括设置合成现实布景内的天体的状态(例如，设置日出或日落，设置满月或偏月等)。

如框450a所表示，在一些具体实施中，方法400包括建立目标实现器的初始/结束位置。在一些具体实施中，合成现实布景与持续时间相关联。在此类具体实施中，方法400包括设置目标实现器在或接近持续时间的开始时占据的初始位置，和/或设置目标实现器在或接近持续时间的结束时占据的结束位置。

如框450b所表示，在一些具体实施中，方法400包括建立目标实现器的初始/结束动作。在一些具体实施中，合成现实布景与持续时间相关联。在此类具体实施中，方法400包括建立目标实现器在或接近持续时间的开始时执行的初始动作，和/或建立目标实现器在或接近持续时间的结束时执行的结束动作。

如框460a所表示，在一些具体实施中，方法400包括将目标提供给渲染和显示管线(例如，图2所示的显示引擎260)。如框460b所表示，在一些具体实施中，方法400包括修改目标实现器的SR表示，使得目标实现器的SR表示可以被视为执行满足目标的动作。

图5是根据一些具体实施的利用设备的一个或多个部件(例如，图1A所示的控制器102和/或电子设备103)启用的服务器系统500的框图。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，服务器系统500包括一个或多个处理单元(CPU)501、网络接口502、编程接口503、存储器504以及用于互连这些和各种其他部件的一个或多个通信总线505。

在一些具体实施中，提供了网络接口502以便除其他用途之外，在云托管的网络管理系统与包括一个或多个兼容设备的至少一个专用网络之间建立和维护元数据隧道。在一些具体实施中，通信总线505包括互连并控制系统部件之间的通信的电路。存储器504包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备，并且可包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器504可选地包括远离CPU 501定位的一个或多个存储设备。存储器504包括非暂态计算机可读存储介质。

在一些具体实施中，存储器504或存储器504的非暂态计算机可读存储介质存储下述程序、模块和数据结构或它们的子集，其中包括可选的操作系统506、神经网络310、训练模块330、刮取器350和可能的目标360。如本文所述，神经网络310与神经网络参数312相关联。如本文所述，训练模块330包括回报函数332，该回报函数332训练(例如，配置)神经网络310(例如，通过确定神经网络参数312)。如本文所述，神经网络310确定用于位于合成现实布景中的目标实现器和/或合成现实布景的环境的目标(例如，图2至图3B所示的目标254)。

图6是示出在其中捕获角色的环境600的图示。为此，环境600包括握持设备604的手602和虚构材料610。在图6的示例中，虚构材料610包括与男孩可动人偶有关的书籍、小说或漫画。虚构材料610包括男孩可动人偶的图片612。在操作中，用户握持设备604，使得图片612在设备604的视场606内。在一些具体实施中，设备604捕获包括男孩可动人偶的图片612的图像。

在一些具体实施中，图片612包括识别男孩可动人偶的编码数据(例如，条形码)。例如，在一些具体实施中，编码数据指定图片612是来自虚构材料610的男孩可动人偶的。在一些具体实施中，编码数据包括统一资源定位符(URL)，该统一资源定位符将设备604引导到包括与男孩可动人偶有关的信息的资源。例如，在一些具体实施中，资源包括男孩可动人偶的各种物理和/或行为属性。在一些具体实施中，资源指示男孩可动人偶的目标。

在各种具体实施中，设备604在合成现实布景中(例如，在图1A所示的合成现实布景106中)呈现男孩可动人偶的目标实现器的SR表示。图6示出捕获角色的非限制性示例。在一些具体实施中，设备604基于音频输入捕获角色和/或装备。例如，在一些具体实施中，设备604接收识别男孩可动人偶的音频输入。在此类具体实施中，设备604查询角色和装备的数据存储，以识别由音频输入指定的角色/装备。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定实施方案并非旨在对权利要求进行限制。如在本实施方案的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (31)

1.一种方法，包括：

在包括非暂态存储器以及与所述非暂态存储器耦接的一个或多个处理器的设备处：

将目标实现器实例化到合成现实布景中，其中所述目标实现器通过一组预定义目标和一组视觉渲染属性来表征；

获得表征所述合成现实布景的上下文信息，所述上下文信息包括对应于物理布景的数据；

基于所述一组预定义目标、所述上下文信息以及一组用于所述目标实现器的预定义动作的函数来生成用于所述目标实现器的目标；

基于用于所述目标实现器的所述目标来设置用于所述合成现实布景的环境条件；

基于用于所述目标实现器的所述目标来建立用于所述目标实现器的初始条件和一组当前动作；以及基于所述目标来修改所述目标实现器。

2.根据权利要求1所述的方法，其中生成所述目标包括利用神经网络来生成所述目标。

3.根据权利要求2所述的方法，其中所述神经网络基于一组神经网络参数来生成所述目标。

4.根据权利要求3所述的方法，还包括：

基于所述目标来调节所述一组神经网络参数。

5.根据权利要求3至4中任一项所述的方法，还包括：

基于回报函数来确定所述一组神经网络参数，所述回报函数将肯定回报分配给期望的目标并将否定回报分配给不期望的目标。

6.根据权利要求2至5中任一项所述的方法，还包括：

基于强化学习来配置所述神经网络。

7.根据权利要求2至6中任一项所述的方法，还包括：

基于与所述目标实现器相关联的视频、小说、书籍、漫画和视频游戏中的一者或多者来训练所述神经网络。

8.根据权利要求1至7中任一项所述的方法，其中修改所述目标实现器包括：

将所述目标提供给生成满足所述目标的动作的目标实现器引擎。

9.根据权利要求1至8中任一项所述的方法，还包括：

从源材料获得所述一组预定义目标，所述源材料包括电影、视频游戏、漫画和小说中的一者或多者。

10.根据权利要求9所述的方法，其中获得所述一组预定义目标包括：刮取所述源材料以提取所述一组预定义目标。

11.根据权利要求9至10中任一项所述的方法，其中获得所述一组预定义目标包括：

基于实例化的所述目标实现器的类型来确定所述一组预定义目标。

12.根据权利要求9至11中任一项所述的方法，其中获得所述一组预定义目标包括：

基于所述目标实现器的用户指定的配置来确定所述一组预定义目标。

13.根据权利要求9至12中任一项所述的方法，其中获得所述一组预定义目标包括：

基于由拥有所述对象的实体指定的限制来确定所述一组预定义目标。

14.根据权利要求1至13中任一项所述的方法，还包括：

捕获图像；以及

从所述图像获得所述一组视觉渲染属性。

15.根据权利要求1至14中任一项所述的方法，其中生成所述目标包括：接收指示所述一组预定义动作的用户输入。

16.根据权利要求1至15中任一项所述的方法，其中生成所述目标包括：从生成针对所述对象的动作的目标实现器引擎接收所述一组预定义动作。

17.根据权利要求1至16中任一项所述的方法，其中所述上下文信息指示其他目标实现器是否已在所述合成现实布景内被实例化。

18.根据权利要求1至17中任一项所述的方法，其中生成所述目标包括：

响应于指示第二目标实现器已在所述合成现实布景内被实例化的所述上下文信息而生成第一目标；以及响应于指示第三目标实现器已在所述合成现实布景内被实例化的所述上下文信息而生成不同于所述第一目标的第二目标。

19.根据权利要求1至18中任一项所述的方法，其中所述目标实现器包括角色的表示，并且所述上下文信息指示其他角色的一个或多个表示和装备的表示是否已在所述合成现实布景内被实例化。

20.根据权利要求1至19中任一项所述的方法，其中所述上下文信息包括用户指定的场景信息。

21.根据权利要求1至20中任一项所述的方法，其中所述上下文信息指示以下项中的一项或多项：

所述合成现实布景的地形；以及

所述合成现实布景内的环境条件，所述环境条件包括温度、湿度、压力、可见度、环境光水平和环境声级中的一者或多者。

22.根据权利要求1至21中任一项所述的方法，其中所述上下文信息包括物理布景的网格映射图，所述网格映射图指示真实对象在所述物理布景中的位置和维度。

23.根据权利要求1至22中任一项所述的方法，其中生成所述目标包括：从所述一组预定义目标选择能够在给定所述一组预定义动作的情况下实现的第一目标；以及

放弃选择在给定所述一组预定义动作的情况下无法实现的第二目标。

24.根据权利要求1至23中任一项所述的方法，其中所述合成现实布景包括虚拟现实布景。

25.根据权利要求1至24中任一项所述的方法，其中所述合成现实布景包括增强现实布景。

26.根据权利要求1至25中任一项所述的方法，其中所述目标实现器包括来自电影、视频游戏、漫画和小说中的一者或多者的角色的表示。

27.根据权利要求1至26中任一项所述的方法，其中所述目标实现器包括来自电影、视频游戏、漫画和小说中的一者或多者的装备的表示。

28.根据权利要求1至27中任一项所述的方法，其中所述初始条件指示所述目标实现器在所述合成现实布景内的放置。

29.一种设备，包括：

一个或多个处理器；

非暂态存储器；

一个或多个显示器；以及

存储在所述非暂态存储器中的一个或多个程序，所述一个或多个程序当由所述一个或多个处理器执行时使所述设备执行权利要求1至28所述的方法中的任一方法。

30.一种存储一个或多个程序的非暂态存储器，所述一个或多个程序当由具有显示器的设备的一个或多个处理器执行时使所述设备执行权利要求1至28所述的方法中的任一方法。

31.一种设备，包括：

一个或多个处理器；

非暂态存储器；

显示器；以及

用于使所述设备执行权利要求1至28所述的方法中的任一方法的装置。

Images