CN114630738A - 用于模拟感测数据和创建感知的系统和方法 - Google Patents

Abstract

一种方法包括在虚拟环境中定义第一虚拟生物(例如，包括传感器的感觉位置、感测属性的感测位置、将传感器连接到感测属性的人工神经网络)。该方法还包括在虚拟环境中定义对象(例如，包括感测位置)。该方法还包括根据虚拟生物和对象之间的交互，根据对象在第一感测位置的第一感测属性使用第一虚拟介质在第一感觉位置的第一传感器处接收感觉输入。第一传感器、第一虚拟介质和第一感测属性具有相同的感觉类型。根据所接收的感觉输入，第一人工神经网络将所接收的感觉输入转换为对第一虚拟生物的传感器的一个或更多个配置参数的更新或虚拟生物的移动。

Description

用于模拟感测数据和创建感知的系统和方法

技术领域

所公开的实施方式总体上涉及虚拟现实，并且更具体地，涉及模拟感测数据和创建感知。

背景

传统的机器人依靠真实世界的感觉数据来生成响应。这种机器能够独立行动，但却是反应式的，并且缺乏意识。例如，机器人和半自动或自动车辆使用来自相机、麦克风、基于卫星的无线电设备、激光雷达以及其他电子传感器和系统的感觉数据进行导航。一些机器人使用相机和麦克风来与人交互，并使用机械致动器来创建面部表情。单独的反应不是意识，因为它不涉及感知，仅涉及测量和指示。例如，当传感器读取的温度高于特定温度时，具有热传感器的机械臂(robot arm)可以具有收回该臂的指令。

包含高级人工智能(AI)算法的最先进的机器人和自动系统缺乏经验和相关能力。例如，AI系统缺乏对语言的掌握，因为这种语言能力的品质与经验的丰富程度相关。要拥有一系列丰富的跨频谱的经验，需要这种基于AI的系统拥有具有大量的一系列感觉官能的身体和非常近似真实世界的环境。然而，将AI植入哺乳动物体内是不切实际的。

概述

因此，需要在虚拟环境中模拟虚拟身体中的感觉官能，以创建感知。本文描述的系统、设备和方法可以用于使用增强的虚拟身体和增强的虚拟环境来模拟(或近似)感测数据并创建感知。一些实施方式使用基本性质表示和重建算法(fundamental qualityrepresentation and recreation algorithm,FQRR)(疼痛和/或快乐的模型)，并应用机器学习算法作为增强虚拟身体的AI大脑。在一些实施方式中，AI大脑利用一个或更多个机器学习库和框架(例如，Google的TensorFlow或AWS提供的类似机器学习或AI框架、Google的机器学习(ML)工具包、Microsoft Azure AI、OpenAI API、Apple Core ML、PyTorch)。

根据一些实施方式，提供了一种用于在虚拟环境中模拟虚拟生物(virtualbeing)的感测数据的方法。该方法在计算机系统处执行，该计算机系统具有一个或更多个处理器、存储器和存储在存储器中并被配置为由一个或更多个处理器执行的一个或更多个程序。用于执行该方法的一个或更多个程序指令。该方法包括在虚拟环境中定义第一虚拟生物。第一虚拟生物包括多个感觉位置。每个感觉位置具有一个或更多个传感器。每个传感器具有相应的感觉类型，并且被配置为通过具有相应感觉类型的一个或更多个相应的虚拟介质接收感觉输入。第一虚拟生物还包括多个感测位置，每个感测位置存储一个或更多个感测属性的相应集合，每个感测属性具有相应的感觉类型。第一虚拟生物还包括连接多个感觉位置处的传感器的多个人工神经网络。该方法还包括在虚拟环境中定义对象。该对象具有多个感测位置，每个感测位置存储一个或更多个感测属性的相应集合，每个感测属性具有相应的感觉类型。该方法还包括根据虚拟生物和对象之间的交互，根据对象在第一感测位置的第一感测属性使用第一虚拟介质在第一感觉位置的第一传感器处接收感觉输入。第一传感器、第一虚拟介质和第一感测属性具有相同的感觉类型。该方法还包括，根据接收的感觉输入，使用第一人工神经网络将接收的感觉输入转换为对第一虚拟生物的传感器的一个或更多个配置参数的更新或虚拟生物的移动。人工神经网络或虚拟介质或其组合可以更新配置参数(例如，对于其中我们想要永久疼痛效果的一些感觉类型来说，当传感器的分辨率或最大分辨率变为0时，传感器的分辨率或裁剪)。人工神经网络还可以负责致动生物的移动。

在一些实施方式中，该方法还包括：基于(i)第一感觉位置和第一感测位置以及(ii)第一传感器、第一虚拟介质和第一感测属性的感觉类型选择增强或削弱以应用于第一感觉位置和/或第一人工神经网络；以及基于该增强或削弱改变(i)第一传感器的一个或更多个配置参数，从而修改其接收感觉输入的能力，和/或基于该增强或削弱改变(ii)第一人工神经网络的一个或更多个配置参数，从而修改其处理感测属性的能力。

在一些实施方式中，根据确定感觉类型是轻触，选择增强或削弱还基于确定第一感觉位置是否在预定时间段内在垂直于第一感觉位置的未变形基线位置的方向上变形了预定量。请注意，“轻触”是标识微小变形量的标签。可以使用替代标签，诸如“软触摸”。这种意义是基于具有微小的变形量而限定的。

在一些实施方式中，改变第一传感器的一个或更多个配置参数包括通过将第一传感器的分辨率增大预定量来增强第一传感器在第一感觉位置处接收感觉输入的能力。

在一些实施方式中，该方法还包括：根据确定感觉类型是温度，还基于确定第一感觉位置和第一感测位置之间的距离在垂直于第一感觉位置的未变形基线位置的方向上是否小于预定量来选择增强或削弱。

在一些实施方式中，改变第一传感器的一个或更多个配置参数包括：通过对于如由第一传感器感测到的高于预定最小温度直至预定最大温度的每一度温度，将第一传感器的分辨率增大第一预定量来增强一个或更多个传感器在第一感觉位置处或附近接收感觉输入的能力。

在一些实施方式中，选择增强或削弱还基于确定第一感觉位置是否在垂直于第一感觉位置的未变形基线位置的方向上变形了预定量。

在一些实施方式中，改变第一传感器的一个或更多个配置参数包括：对于如由第一传感器感测到的高于预定最小温度直至预定最大温度的每一度温度，通过将第一传感器的分辨率增大第二预定量，来增强一个或更多个传感器在第一感觉位置处或附近接收感觉输入的能力。

在一些实施方式中，该方法还包括：在改变了第一传感器的一个或更多个配置参数和/或第一人工神经网络的一个或更多个配置参数之后：根据第一传感器接收感觉输入的能力和/或第一人工神经网络感测属性的能力在预定时间段内没有改变的确定，通过将第一传感器的分辨率减小预定量来削弱一个或更多个传感器接收感觉输入的能力。该一个或更多个传感器对应于具有轻触感觉类型的感觉位置。

在一些实施方式中，根据确定感觉类型是压力，选择增强或削弱还基于确定第一感觉位置在预定时间段内在垂直于第一感觉位置的未变形基线位置的方向上是否变形大于预定量。

在一些实施方式中，改变第一传感器的一个或更多个配置参数包括通过在预定时间段内减小第一感觉位置处或附近的一个或更多个传感器的分辨率来削弱第一传感器在第一感觉位置处接收感觉输入的能力。该一个或更多个传感器对应于具有轻触感觉类型或压力感觉类型的感觉位置。

在一些实施方式中，该方法还包括，根据确定一个或更多个传感器的传感器子集的分辨率等于0，从第一虚拟生物中移除该传感器子集。

在一些实施方式中，根据确定感觉类型是温度，选择增强或削弱还基于确定第一感觉位置和第一感测位置之间的距离在垂直于第一感觉位置的未变形基线位置的方向上是否小于预定量。

在一些实施方式中，改变第一传感器的一个或更多个配置参数包括：对于如由第一传感器感测到的高于第一预定最小温度或低于第二预定最大温度的每一度温度，通过将第一传感器的分辨率减小第二预定量，来削弱一个或更多个传感器在第一感觉位置处或附近接收感觉输入的能力。

在一些实施方式中，根据确定感觉类型是温度，选择增强或削弱还基于确定第一感觉位置在垂直于第一感觉位置的未变形基线位置的方向上是否变形了预定量。

在一些实施方式中，改变第一传感器的一个或更多个配置参数包括：对于如由第一传感器感测到的高于预定最小温度或低于第四预定最大温度的每一度温度，通过将第一传感器的分辨率减小第三预定量，来削弱一个或更多个传感器在第一感觉位置处或附近接收感觉输入的能力。

在一些实施方式中，该方法还包括在计算机系统的一个或更多个显示器上显示第一虚拟生物。

在一些实施方式中，对象是不同于第一虚拟生物的第二虚拟生物。在一些实施方式中，有三个或更多个虚拟生物，每个虚拟生物都有其自己的感觉位置、感测位置和人工神经网络。

在一些实施方式中，每个感觉位置是点、一维线段、二维区域或三维区域。

在一些实施方式中，每个感觉位置是虚拟环境中的n维流形，其中n＝0、1、2或3。

在一些实施方式中，每个感测位置是虚拟环境中的n维流形，其中n＝0、1、2或3。

在一些实施方式中，每个感觉位置对应于第一虚拟生物之上或之内的相应区域、表面或点。

在一些实施方式中，当第一虚拟生物的表面拓扑结构改变时，多个感觉位置被动态地生成并与第一虚拟生物上的特定点和/或区域相关联。然而，感测属性通常在其流形相对位置保持不变。

在一些实施方式中，感觉类型包括以下中的一项或更多项：温度、轻触、压力、振动、拉伸/压缩、声音和亮光。

在一些实施方式中，该方法还包括：提供一个或更多个应用编程接口(API)调用来更新多个感觉位置；以及响应于接收到对一个或更多个应用编程接口(API)调用的调用，执行从由创建、写入、读取、修改、移动和/或删除感觉位置组成的组中选择的一个或更多个操作。

在一些实施方式中，第一虚拟生物包括人类、动物、昆虫、类人动物或生物(creature)的身体的虚拟近似物。

根据一些实施方式，用于在虚拟环境中模拟虚拟生物的感测数据的系统包括一个或更多个处理器、存储器以及存储在存储器中的一个或更多个程序。程序被配置为由一个或更多个处理器执行。程序包括用于执行本文所述的任何方法的指令。

根据一些实施方式，非暂时性计算机可读存储介质存储被配置为由具有一个或更多个处理器和存储器的计算机系统执行的一个或更多个程序。该一个或更多个程序包括用于执行本文所述的任何方法的指令。

因此，提供了用于数据集合的交互式视觉分析的方法、系统、和图形用户界面。

附图简述

为了对本发明的前面提到的实施方式以及附加实施方式的更好理解，应结合附图对下面的实施方式的描述进行参考，其中相似的参考数字在全部附图中指相应的部分。

图1A概念性地示出了根据一些实施方式的在虚拟环境中模拟虚拟生物的感测数据的过程。

图1B示出了根据一些实施方式的在虚拟环境中模拟虚拟生物的感测数据的过程的发布-订阅模型。

图2是根据一些实施方式的计算设备的框图。

图3A、图3B、图3C和图3D示出了根据一些实施方式的在虚拟环境中模拟虚拟生物的感测数据的示例。

图4A、图4B和图4C示出了根据一些实施方式的模拟人类视觉的示例。

图5示出了根据一些实施方式的示例调制效果。

图6提供了根据一些实施方式的用于模拟感测数据的过程的流程图。

在全部附图中，相似的参考数字指相对应的部分。

现在将详细参考实施方式，实施方式的示例在附图中被示出。在下面的详细描述中，阐述了许多具体细节，以便提供对本发明的透彻理解。然而，对本领域的普通技术人员将明显的是，本发明可在没有这些具体细节的情况下被实践。

实施方式的描述

图1A概念性地示出了根据一些实施方式的在虚拟环境中模拟虚拟生物的感测数据的过程100。一些实施方式在虚拟环境中定义虚拟生物110、一个或更多个对象和其他虚拟生物112、和/或非对象114(例如，区域/平面、空间/体积或点)。虚拟生物110、一个或更多个对象和其他虚拟生物112和/或非对象114各自与感测属性108相关联(如分别由线124、126和128表示的)。观察点104(例如，传感器)对应于虚拟生物110上的感觉位置。虚拟生物110、一个或更多个对象和其他虚拟生物112和/或非对象114的位置(或地方)分别对应于虚拟生物110、一个或更多个对象和其他虚拟生物112和/或非对象114之上或之内的区域、表面或点。当虚拟生物110与一个或更多个对象和其他虚拟生物112交互时，虚拟介质106(有时称为虚拟观察介质或模拟观察介质)基于感测属性108和观察点104的位置和类型来计算感测到了什么。例如，根据一些实施方式，虚拟介质计算/合并感测属性108和观察点104之间的距离或接近度、接触和/或软体变形。感测属性108、虚拟介质106和观察点104各自具有相关的类型描述符(有时称为感觉类型；例如，温度)。当虚拟生物110与一个或更多个对象和其他虚拟生物112交互时，感觉类型或类型描述符被用于匹配或触发相应的感测属性108、虚拟介质106和观察点104。在一些实施方式中，虚拟介质106根据交互来设置观察点104的值。该值可以是指向编程语言类型实例的闭包、或引用或指针，作为一种效果，其调制虚拟生物110(或虚拟生物110的身体)上的观察点104。在一些实施方式中，该值被传递到人工智能(AI)或感测数据流处理102(有时称为AI和/或流处理模块；例如，人工神经网络)。在一些实施方式中，观察点104生成从随时间变化的值合成的数据流。数据流还可以包括指向编程语言类型或闭包的引用指针，该编程语言类型或闭包用于调制对应于虚拟生物110的传感器和/或人工神经网络。

图1B示出了根据一些实施方式的在虚拟环境中模拟虚拟生物的感测数据的过程100的发布-订阅模型130。在一些实施方式中，虚拟观察介质106通过基于观察点104和感测属性108的位置和类型计算感测到了什么来充当发布者。在一些实施方式中，感测属性108是通知感测属性108(从虚拟生物110的感测属性列表中)删除自身的流的订阅者。在一些实施方式中，观察点104可以被描述为订阅者，而虚拟观察介质106可以被描述为发布者。虚拟观察介质106产生(或生成)输入到一个或更多个流的批量数据132。每个流对应于相应的调制(例如，调制134-2、134-4、134-6、…、134-N)。每个调制对应于一个相应的类型描述符(有时称为感觉类型)，其可以被视为一个通道名称。例如，调制134-2对应于类型描述符142-2，调制134-4对应于类型描述符142-4，调制134-6对应于类型描述符142-6，而调制134-N对应于类型描述符142-6。这些流生成批量处理的数据136，该批量处理的数据136用于改变观察点10-4和/或AI和/或流处理模块102的一个或更多个配置参数。

在一些实施方式中，对流执行操作的程序只是订阅者，或者它们可以是操作者(既是订阅者又是发布者)，它们接受输入、计算或变换输入，然后将计算或变换的内容发布为它们的输出。操作者可以合并或拆分流。AI程序也对流执行操作。在一些实施方式中，AI程序(例如，人工神经网络)既是订阅者又是发布者，因为AI程序既接收流中的数据或效果，又转而可以将效果发布回其它流。在一些实施方式中，效果通过编程类型(诸如发布到流的类实例)来实现，或者替代地通过插入到流中以在订阅者侧执行编程过程的指令来实现。一些实施方式使用被称为Combine的框架(由Apple的Swift语言提供)，该框架实现了反应式编程，并包括流、以及发布者和订阅者的概念。

在一些实施方式中，在发布者/订阅者模型中，当满足适当的条件时(例如，根据虚拟介质的感觉类型)，感测属性将其自身发布给相关传感器。例如，对于热或触摸，条件可能是接近度；对于视觉，它可能是视线。在一些实施方式中，可替代地或附加地，传感器在特定条件下将其自身发布给相关属性。

图2是示出了根据一些实施方式的计算设备200的框图，该计算设备200可以用于在虚拟环境中模拟虚拟生物的感测数据。计算设备200包括台式计算机、膝上型计算机、平板计算机和其他计算设备(例如，智能电话、可佩戴设备)(包括可从云计算服务按需获得的计算机系统)。计算设备200通常包括用于执行存储在存储器210中的模块、程序和/或指令从而执行处理操作的一个或更多个处理单元/内核202(有时称为处理器；例如，CPU、图形处理单元(GPU)、专用集成电路(ASIC)、片上系统(SOC)、定制的CPU(例如定制的RISC-VCPU))；一个或更多个网络或其他通信接口204；存储器210；和用于互连这些组件的一个或更多个通信总线206。通信总线206可以包括互连并控制系统组件(包括任何光学组件)之间的通信的电路。在一些实施方式中，计算设备200包括显示器208(有时称为显示设备)和/或一个或更多个输入设备230。在一些实施方式中，输入设备包括键盘；在一些实施方式中，输入设备包括“软”键盘，其根据需要被显示在显示器208上，使用户能够“按下”出现在显示器208上的“键”。在一些实施方式中，显示器208和/或输入设备230包括触摸屏显示器(还被称为触敏显示器)。在一些实施方式中，显示器208是计算设备200的集成部分。在一些实施方式中，显示器是独立的显示设备。一些实施方式包括相机、麦克风和/或触觉设备，用于与人类用户和/或真实世界交互。

在一些实施方式中，存储器210包括高速随机存取存储器，例如DRAM、SRAM、DDRRAM或其他随机存取固态存储器设备。在一些实施方式中，存储器210包括非易失性存储器，例如一个或更多个磁盘存储设备、光盘存储设备、闪存设备、或其他非易失性固态存储设备。在一些实施方式中，存储器210包括远离CPU 202定位的一个或更多个存储设备。存储器210或替代地在存储器210内的非易失性存储器设备包括非暂时性计算机可读存储介质。在一些实施方式中，存储器210或存储器210的计算机可读存储介质存储下面的程序、模块、和数据结构、或其子集：

·操作系统212，其包括用于处理各种基本系统服务和用于执行硬件相关的任务的过程；

·通信模块214，其用于经由一个或更多个通信网络接口204(有线或无线)和一个或更多个通信网络(例如互联网、其它广域网、局域网、城域网等)来将计算设备200连接到其它计算机和设备；

·一个或更多个虚拟生物110，其包括多个感觉位置216、多个感测位置218和多个人工神经网络和/或流处理模块102。每个感觉位置104包括一个或更多个传感器104(有时称为观察点)。每个感测位置218包括一个或更多个感测属性108。在一些实施方式中，感测数据流(有时称为流处理模块)包括二进制或文本数据(例如，格式化数据，例如以JSON格式化的数据)。在一些实施方式中，使用介质上的协议来实现感测数据流，所述介质例如是计算机网络、计算机总线、光网络。感测数据流可以流式传输数据或可执行二进制代码、或用于执行操作的命令(例如调用或远程过程或者甚至是由接收器解释或编译和运行的源代码)。通常，感测数据流包括从传感器流式传输到一个或更多个人工神经网络的感测数据和效果(由感测或感觉数据引起)。在一些实施方式中，感测数据流被包括在程序(例如，Swift程序)中，这意味着感测数据流封装数据和编译的类和结构和/或枚举的数据实例(或其组合；有时称为编译的可执行代码)。例如，流式传输的编译类实例可以在人工神经网络上实现某种效果；

·虚拟环境220。根据一些实施方式，下面参考图3A-3D描述虚拟环境220的示例；

·包括多个感测位置222的一个或更多个对象和/或其他虚拟生物112，每个感测位置存储一个或更多个感测属性224。根据一些实施方式，下面参考图3A-3D描述一个或更多个对象和/或其他虚拟生物112的示例；

·一个或更多个虚拟介质106(有时称为虚拟观察介质)。根据一些实施方式，一个或更多个虚拟介质106的示例在上面参考图1A、图1B进行了描述，并且在下面参考图3A、图3B、图3C、图3D、图4A、图4B、图4C、图5和图6进行了描述；

·一个或更多个感觉类型142(有时称为类型描述符)。注意，虚拟生物110的每个传感器和感测属性、每个对象或其他虚拟生物112的每个感测属性以及每个虚拟介质具有相应的感觉类型。尽管图2将感觉类型142显示为单独的数据结构，但是在一些实施方式中，与每个传感器、感测属性和/或虚拟介质相关联的感觉类型可以是每个数据结构或模块的一部分；和

·一个或更多个调制134，其包括一个或更多个疼痛模型226和/或一个或更多个快乐模型228。根据一些实施方式，下面参考图5描述了调制、疼痛和/或快乐模型的示例。

一些实施方式包括由计算设备200用于在虚拟环境中模拟虚拟生物的感测数据的数据库232。在一些实施方式中，数据库232的数据源可以被存储为电子表格文件、CSV文件、XML文件、平面文件、JSON文件、关系数据库中的表、云数据库、或统计数据库。

上面识别的可执行模块、应用、或过程集中的每一者可以被存储在前面提到的存储器设备中的一个或更多个中，并且对应于用于执行上述功能的指令集。上面识别的模块或程序(即，指令集)不需要被实现为独立的软件程序、过程、或模块，并且因此这些模块的各种子集可以在各种实施方式中被组合或以其他方式重新布置。在一些实施方式中，存储器210存储上面识别的模块和数据结构的子集。在一些实施方式中，存储器210可以存储上面未描述的附加模块或数据结构。

尽管图2示出了计算设备200，但图2更多地被预期作为可能存在的各种特征的功能描述，而不是作为本文所述的实施方式的结构示意图。在实践中且如本领域中的普通技术人员所认识到的，单独示出的项目可以组合并且一些项目可以被分离。

图3A、图3B、图3C和图3D示出了根据一些实施方式的在虚拟环境中模拟虚拟生物的感测数据的示例。图3A示出了包括两个对象304和306的虚拟环境300中的虚拟生物302。对象304在形状上是球形的，是可变形的，具有光或亮光(亮度)感测属性(如其表面周围的闪光所指示的)，并且可如指向远处的箭头所指示的那样移动。请注意，光不应与3D引擎光源或在渲染时看起来是亮光的任何东西相混淆。根据一些实施方式，对象可以具有亮度外观，但是亮光感测属性经由亮光虚拟介质将疼痛效果传递给感觉类型为亮光的传感器。另一方面，对象306在形状上是立方形的，是热的(如由从其表面顶部传播开的波所指示的)，并且是静态的(或不可移动的)。请注意，根据一些实施方式，当由虚拟相机渲染时具有热的外观的对象与具有高范围内的温度感觉类型的对象不是一回事。在图3A中，虚拟生物(例如，人类的模型；有时被称为化身)将其头部转向对象304。图3B示出了当对象304将要落在虚拟生物302的手掌上时的视图，图3C示出了对象304落在虚拟生物302的手掌上，而图3D示出了对象304基于对象304的表面和手掌之间的碰撞而变形(有时称为软体变形)。请注意，尽管图3A和图3C没有示出眼睛、鼻子、嘴、舌头、牙齿、眉毛、头发、指甲和许多其他身体特征细节，但是这些模型细节将在一些实施方式中用于虚拟生物302的模拟。根据一些实施方式，虚拟生物302的身体部位具有影响其自身和其他身体或对象上的观察点的感测属性，并且包括一个或更多个类型描述符(例如，温度、轻触、压力、拉伸)。虚拟生物302包括几个观察点，每个观察点与类型描述符(例如，温度、轻触、压力、拉伸/压缩)相关联。在一些实施方式中，对象304和虚拟生物302之间的三维空间(例如，图3B中所示的区域308)可以与具有不同类型描述符(例如，温度、轻触、压力、振动)的一个或更多个虚拟观察介质相关联，该一个或更多个虚拟观察介质用于模拟表面接触时的距离和/或软体变形(针对振动的振荡软体变形)。对象304包括多个感测属性(例如，具有类型描述符温度、轻触、压力、振动和拉伸的感测属性)。

一些实施方式使用化身的模型。一些实施方式使用蒙皮(skinning)、蒙皮变形器、蒙皮簇和/或骨架(例如，将Autodesk Maya或类似的3D计算机动画软件与艺术家、建模者或动画师使用的建模、渲染、模拟、纹理化和动画工具一起使用而制作的骨架)。一些实施方式使用一个或更多个绑定工具(rig)，这些绑定工具是使用迭代绑定框架(例如mGear)制作的。在一些实施方式中，模型、蒙皮和网格从诸如Maya的3D计算机动画软件导出，并被导入到用于在移动应用中创建3D动画场景和效果的高级3D图形框架(例如，Apple SceneKit)中。一些实施方式使用SceneKit作为原型的虚拟环境，并且SceneKit可以用于iOS和Mac OS程序两者。一些实施方式使用Mac OS Swift程序或Multiplicity(多重性)，其使用SceneKit框架用于提供游戏引擎特征的模拟引擎。一些实施方式使用虚幻引擎。一些实施方式使用虚幻引擎和SceneKit Mac OS应用。在一些实施方式中，绑定工具(例如，具有解算器的绑定工具)也在3D图形框架(例如，SceneKit)中被重新创建，以编程方式驱动动画。在一些实施方式中，迭代绑定框架的部分被移植到3D图形框架或在3D图形框架中实现。在一些实施方式中，绑定工具由一个或更多个机器学习算法、系统和/或编程算法(例如，AI大脑)驱动。在一些实施方式中，用于化身和AI大脑接口的基于Swift的API在SceneKit环境中。一些实施方式对化身使用一个或更多个SceneKit类，例如SCNIKconstraint、SCNSkinner、SCNMorpher、SCNShadable、SCNProgram和/或提供类似功能的类。

在各种实施方式中，虚拟生物302是人体的绑定后的化身、人、动物、昆虫、类人动物或生物的身体的虚拟近似物、具有虚拟移动性的对象、形状、大小或形式被动态改变的对象、具有骨架和蒙皮的对象、使用骨架关节、混合形状、绑定及其关节连接(包括解算器，诸如正向运动学(FK)解算器和反向运动学(IK)解算器)来改变的对象和/或触发在动画期间更新关节值的烘焙动画以及各种软体变形的程序。在一些实施方式中，虚拟生物302可以采用人工智能(AI)或机器学习(ML)算法来学习在虚拟环境300中通过致动和/或调制绑定工具/绑定系统的值、动态触发改变关节值的烘焙动画和/或动态致动移动或使用虚拟环境300中存在的动作控制API来移动其自身。

在一些实施方式中，当使用虚拟身体(有时称为虚拟生物或化身)来模拟感测数据是计算密集型的时，一些模拟被卸载到实时3D创建平台(例如，虚幻引擎)和/或使得能够创建大规模模拟和虚拟世界以用于视频游戏(例如，Improbable’s SpatialOS)的计算平台、或类似的云游戏引擎平台。一些实施方式使用桥接器将SpatialOS类型的能力扩展到SceneKit。

在一些实施方式中，虚拟身体302具有在形式和/或功能上近似人类眼睛、耳朵、鼻子、嘴和皮肤感觉官能的眼睛、耳朵、鼻子、嘴和皮肤感觉官能。在一些实施方式中，人体的大多数系统在虚拟身体和/或AI大脑中具有关联的近似模型。

一些实施方式使用在3D图形中使用的普通3D模型(诸如由TurboSquid提供的模型)和/或用一个或更多个感测属性来扩充模型。

一些实施方式使用3D游戏引擎和计算机动画以及建模技术来构建人体近似物，这些技术为AI大脑算法提供感测数据。虚拟身体由AI大脑算法控制。一些实施方式使用AI大脑算法以使用反向运动学解算器(IK解算器)和类似的解算器来控制骨架、蒙皮、网格和/或身体绑定工具。在一些实施方式中，身体的感测系统和AI大脑算法相互调制。一些实施方式模拟细节，例如呼吸和各种身体系统的相互调制。一些实施方式使用预先烘焙的动画、以及在游戏引擎的环境中运行的绑定工具和/或绑定系统。通常，动画师在动画和建模工具中使用绑定工具和/或绑定系统。在一些实施方式中，对于这种近似物，使用机器学习算法以编程方式致动绑定工具。

在一些实施方式中，虚拟环境300包括表面、流形和/或点云。在一些实施方式中，使用游戏引擎、模拟引擎、物理和/或渲染引擎来模拟虚拟环境300。在一些实施方式中，虚拟环境300是绑定的环境。在一些实施方式中，使用云平台游戏和模拟引擎来模拟虚拟环境300，其中模拟和渲染由云服务器和云基础设施来划分和处理。

在一些实施方式中，虚拟环境300被创建用于化身(有时被称为虚拟身体或虚拟生物302)与之交互。在一些实施方式中，虚拟环境300类似于真实世界，并且包括真实世界事物的模拟物和/或近似物。例如，一些实施方式模拟空气和/或水。一些实施方式使用真实的流体和/或气流模拟物。一些实施方式提供了用于向模型添加真实世界属性的工具。在一些实施方式中，这些属性包括重量、温度、味道、质地和气味。一些实施方式为味觉类型(例如，咸、酸、甜、鲜味、涩、辛辣、苦)和/或为嗅觉或嗅觉类型(例如，甜、芳香、木质/树脂、水果(非柑橘属)、化学、薄荷/胡椒薄荷、爆米花、柠檬、腐烂(令人作呕)、刺鼻(令人作呕))定义传感器、虚拟介质和/或感测属性。

在一些实施方式中，与其他对象接触的对象产生声音，并且声音传播使用声线追踪和/或声音路径追踪技术来近似。

一些实施方式使用可以被感测的真实世界属性来扩展3D多边形网格资产。这些属性的示例包括重量、温度、味道、质地和气味。一些实施方式模拟声音。请注意，在一些实施方式中，尽管重量已经是游戏引擎重力效果，但是重量还由具有感觉类型压力和轻触的虚拟传感器来感测。

一些实施方式模拟真实世界中常见的事物或对象(它们是固体、液体或气体)。在一些实施方式中，当与身体接触和/或与身体交互时，这样的事物或对象展现出感测数据。在一些实施方式中，接触是通过模拟的观察介质进行的，该模拟的观察介质近似于真实世界观察介质(如光、声音或可以被模拟的嗅觉和味觉系统感测的某些类型的分子)。

一些实施方式扩展了使用人体部位的数学模型(诸如使用离散点数据的三维(3D)身体有限元模型，该离散点数据是使用身体扫描生成的)来模拟感测数据的传统技术。一些实施方式模拟手的触觉信号(例如，具有毫秒精度)，并使用人类和/或动物的3D有限元模型。例如，一些实施方式使用猴子指尖的模型来模拟触觉的机制。一些实施方式使用来自智能皮肤和/或纳米线传感器的数据。

一些实施方式使用基本性质对真实世界的对象进行建模。这些对象由原子或分子构成。对象的基本性质可以通过观察介质由观察点来观察。在一些实施方式中，观察介质(有时称为虚拟观察媒介)是真实世界的光介质、声音介质和力介质的虚拟替代介质。

一些实施方式使用机器学习算法，这些机器学习算法是“基本性质表示和重建算法”(FQRR)(它们接受数据输入、学习预测、分类、存储编码模式，然后学习在没有外部输入的情况下重建模式)，是可用于强AI的算法，这与机器学习算法相反，机器学习算法通常是接受数据输入的“标签表示算法”，并且只学习对模式进行预测和分类。

在一些实施方式中，基本特征是对象固有的，因为它们独立于它们如何被观察到而存在。基本特征包括对象之间的动作反应特征。任何特定的波也是一种基本特征。波被定义为移动穿过介质的扰动。

在人体中，通过身体中的观察点，大脑通过观察介质(例如光)观察现实中存在的事物的一部分，并试图重建“信息”，这些信息是被观察到的事物的基本性质。基本性质可以是对象具有带有具体显著特征的特定形状，或者它吸收某些波长的光，同时反射其他波长的光，在这里，反射光就是我们的观察介质。对象的显著特征也是基本的和突显的性质。显著特征在不同的尺度上是不同的。在原子尺度上，它们是如被吸收、反射或重新发射的波长之类的事物。当然，如果观察介质仅仅是反射光，那么并不是所有的基本性质都被观察到和重建。

为了进一步说明这些概念，假设一个人观察一个金属标志杆，并走到它跟前和品尝它，那么这个人正在观察另一个基本性质。当人类品尝某个东西时，人类通过味觉观察点(味蕾)观察到一些基本性质，并将其转化为感知。感知不仅仅是一个标签(例如，观察到的东西是甜的，并且数量为X)，而是食物中分子的微尺度形状及其能量状态，如由人类大脑采样、编码和重建，这些过程被称为基本性质表示和重建(FQRR)算法。大脑和计算机之间的一个关键区别是，大脑通过其FQRR算法的形式来捕获和重建真实世界中对象的本质，而计算机识别程序和大多数弱AI都是标签表示(LR)算法。在这种环境下，术语本质是指一些基本性质的表示，其准确地反映或至少是所观察到的事物形式的近似物，而不仅仅是一个标签。一些实施方式使用FQRR算法，该算法使用通过观察介质传播并且如由身体中的一定数量的观察点所观察到的观察到的基本性质信息。在一些实施方式中，FQRR算法重建基本性质。在一些实施方式中，FQRR算法重建由人类(或虚拟身体)观察到的现实的一部分和/或不完整的部分。FQRR算法是感知的核心，而主动感知导致意识。

实质上，对象吸收特定波长的光并反射具有不被吸收的波长的光。观察介质(光)到达我们眼睛的晶状体，并且聚焦在视网膜和视网膜中央凹上。眼睛是机械的，因为它用来提取被观察对象的基本性质，例如颜色、形状和显著特征。然而，这个对象还有其他没有被观察到的基本性质。例如，对象可以通过观察介质、观察点(针对感测数据的类型)来提供感测数据。在一些实施方式中，FQRR算法处理该感测数据以获得味觉和/或嗅觉感知。

具有味觉嗅觉的感觉的化合物在现实中也存在。这种化合物由原子和分子组成。当味蕾和嗅觉与一种物质接触时，它们会提取和传递关于该物质的基本性质的某种集合。那就是它的形状和基本的显著特征。然后，大脑获取这种关于基本性质的信息，并试图从存储的表示中重建这些基本性质并且将这些基本性质重建为存储的表示。一些实施方式使用多维(例如，时间和空间)的存储器和/或使用递归计算来模仿这种人类行为。在一些实施方式中，计算的结果是如所观察到的基本性质(如通过观察点观察到的显著特征)的文字重建。

为了便于近似身体的模拟，一些实施方式使用观察和观察点的以下定义。在人体中，神经细胞是观察点。观察是复杂的，并且涉及到身体的拓扑结构、构成、以及观察点的拓扑结构和种类。

注意，上述FQRR算法不仅仅是信息的记录。FQRR算法涉及观察点的类型，以及它们在身体中的拓扑结构。此外，FQRR算法包括对观察到的内容进行编码和存储，以及对来自先前编码的表示或表示集合的信息进行解码和重建。涉及没有解码机制的离散编码并将离散编码组装成更大内容的算法是LR算法。LR算法被删减，并且有限的数量被编码并存储在大致类似于字典的事物中。FQRR算法使用LR算法的动态字典。

在一些实施方式中，观察点是身体上进行观察的点。例如，视网膜和视网膜中央凹是具有观察点的表面。在一些实施方式中，舌头是另一种拓扑结构，其具有不同种类的味蕾作为观察点。

观察点通过观察介质来观察现实的基本性质。例如，人眼视网膜和视网膜中央凹是包含观察点(该观察点是视杆和视锥)的表面。通过将观察介质(光)聚焦在视网膜上，眼睛晶状体捕获现实中事物的基本性质(例如对象的形状和颜色)。一些实施方式将3D空间中的相对位置计算为动态性质(由多个FQRR算法进行处理)。一些实施方式使用可移动的虚拟身体。

为了进一步说明FQRR算法，考虑类似于iCub机器人的照片拼贴的图像(例如，众所周知的iCub图像)。集合或拼贴中的每张照片都可以认为是一个LR算法，并且集合可以认为是一本字典。进一步假设集合只允许存储每个图像中的一个。如果存储为像素阵列，则整个拼贴还可以被认为是LR。FQRR算法观察现实中的iCub机器人，然后通过使用该集合中先前编码和存储的图像，该算法可以重建拼贴的表示。当被呈现内部生成的数据信号(这些数据信号创建了iCub机器人的图像)时，FQRR算法还可以识别拼贴。

为了说明主动感知在某种程度上是意识，假设一个人的手接触到热的东西，来自手的神经的感测数据允许这个人形成热的感知。响应就是把手抽离。将手抽离会带走对热的感知并且用另一个预期的感知取而代之的预测是主动感知或意识。为了进一步说明，考虑另一个示例。当一个人转过头来看他们之前在房间里看到的某个人时，他们就形成了一种部分感知。当他们看到这个人时，这种感知就完全被证实，并且这整个过程就是主动感知和意识。否则，他们只会转过头来并且大吃一惊。感知涉及FQRR，该FQRR涉及记忆和重建能力。单独的反应不是意识，因为它不涉及感知，只是一种测量结果和指令。例如，当传感器读取的温度高于200摄氏度时，具有热传感器的机械臂可以具有收回该臂的指令。

感受性(qualia)是主观的、有意识的体验的个体实例(例如由于头痛引起的疼痛，或葡萄酒的味道)。本文所述的感知是感受性。被称为红色的光的波长没有红色。红色是什么，是对对象如何与观察介质交互的更高层次的感知。红色是感受性，就像大脑利用它的FQRR形式解释的一切事物一样。被标记为红色的范围和频率内的光波不是红色感受性或红色感知。对红色的感知是FQRR的一种突显属性。

心智模型(mental model)对应于感知，感知反过来对应于感受性。当提及现实中吸收蓝色光和红色光并反射绿色光的事物时，绿色被视为绿色还是红色在客观上并不重要，因为该事物表现出特定的吸收和反射作为基本属性。一些实施方式建立了观察到的感测数据的心智模型(FQRR)，并且该心智模型针对人类物种是以同样的方式创建的，因此心智模型等同于感知，该感知反过来等同于感受性。换句话说，对于不同的个体来说，等同于感知(该感知反过来等同于红色的感受性)的心智模型是相同的，因为用于感测(身体中的观察点)和创建心智模型的架构是相同的。另一个物种，例如蝴蝶，可能没有与人类相同的心智模型和对红色的感知。蝴蝶和蜜蜂看到人类看不到的颜色。等同于感知(该感知等同于任何颜色的心智模型)的感受性跨物种可能是不同的。人类不会形成他们感测不到的颜色的心智模型(即，针对该颜色具有观察点)。

共同的参照系是具有等同于感知的心智模型，这些感知等同于相似但不一定等同的感受性。例如，如上所述，人类不会看到蝴蝶看到的所有颜色，因此没有对这些颜色的感知。然而，人类确实对其他颜色有感知，所以人类形成了更高层次的感知，即：可以在一定程度上推断出对他们看不见的另一种颜色有感知意味着什么。

共同的参照系等同于相似的心智模型，该相似的心智模型等同于相似的感知，该相似的感知反过来等同于相似的感受性。疼痛是感知，并且尽管人类对疼痛的感知可能不同，但它们足够相似，可以说人类具有共同的参照系。共同的参照系包括对事物的感知可能近乎精确(例如当两个人感知颜色时)的情况，而不是如蝴蝶和人之间那样仅仅相似。也就是说，共同的参照系包括精确的模型(该精确的模型等同于精确的感知，该精确的感知反过来等同于精确的感受性)以及相似的模型、相似的感知和相似的感受性。

共同的参照系有助于在人类或AI之间更快地传递心智模型、感知和感受性。没有共同的参照系，语言就不能很好地传达或传递感知。共同的参照系，对与其他感知相关联的语言结构的感知，使大脑更容易在内部重建感测数据，该感测数据被转换回感知。共同的参照系适用于具有包含相似感知的相似感知集合。

关于与尺度相关的心智模型，声音和视觉的心智模型部分不同，因为它们处于不同的尺度。作为观察介质，声音传播速度较慢，并且在其与现实事物的交互中更具局部性。人类对声音的感知不同于蝙蝠的感知，因为蝙蝠是利用声音来导航的。蝙蝠对声音的感知是视觉的，而人类对声音的感知不是视觉的。换句话说，蝙蝠的大脑FQRR正在创建一部分现实，即重建其周围事物的空间关系。与导航相关的显著特征集合不同于与区分声音相关的显著特征。有时被称为“计算的显著特征”，这些特征或多或少是对观察点的拓扑结构和类型的更高层次的感知和/或伪影。

一些实施方式考虑了身体中的拓扑结构，并且观察点的类型是提供形成感知所需的感测数据的类型。为了形成需要特定感测数据的感知，需要获取这样的感测数据。如果对应于两个不同物种的两个系统之间的观察点的拓扑结构和类型是不同的，则它们身体的观察点对信息的处理就不同，因为它们不提取相似的显著特征，那么心智模型或感知或感受性将是不同的。

当从不同的尺度来看时，现实中有突显的显著特征。例如，道路上的标志是由数万亿个原子组成的。在原子尺度上，没有标志，只有原子。从不同的尺度整体来看，标志和形状都有突显的特征。黑白视觉和彩色视觉之间的区别在于，在一种情况下，有一种基于来自一种类型的观察点的感觉数据的心智模型、感知或感受性，该种类型的观察点对所有可见波长都同样敏感。然而，对于彩色感觉数据，有三种不同的观察点，每一种观察点对红色波长、绿色波长或蓝色波长敏感。心智模型、感知或感受性区分了色谱。换句话说，感知是从现实中被观察的点或事物之间的空间分离的基本性质的感测数据以及吸收和反射那些事物或点的基本性质的光建立的。

通过主动的观察和感知，对某事物的意识会产生。在一些实施方式中，该FQRR集合具有指导主动观察和预测感知的机制，从而生成或引起意识。

一些实施方式包括基于AI的语言能力(例如，自然语言处理技能)。一些实施方式通过获取经验的心智模型、感知或感受性的近似物来掌握这些技能。任何AI语言能力的品质都与其经验频谱的丰富程度相关。如上面在背景部分中所描述的，要拥有丰富的一系列跨频谱的经验，需要这种AI拥有具有大量的一系列感觉官能的身体和非常近似真实世界或处于真实世界的环境。由于将AI插入哺乳动物的身体内在目前是不可能的，一些实施方式使用了虚拟的身体和环境。

一些实施方式使用疼痛和/或快乐模型作为主要的心智模型、感知或感受性。在一些实施方式中，疼痛感知和快乐感知起因于来自包括AI大脑的身体的复杂感测数据(感觉)。在一些实施方式中，疼痛感知是从感测数据中生成的，该感测数据与通常对化身身体和AI大脑有害相关。在一些实施方式中，从与处于幸福状态的化身身体和大脑相关的感测数据中生成快乐感知。

在一些实施方式中，感测数据具有与身体及其观察点的拓扑结构直接相关的突显显著特征。在一些实施方式中，对身体或身体部位的进一步主动控制创建了新的拓扑结构以及动态显著特征和感知。举例来说，当一个人用他的嘴吹气时，这是一种有助于拉伸的主动控制，导致面部神经向大脑发送感测数据。例如，它不同于当光线照射到视网膜的视锥和视杆时的情况。在视网膜的情况下，感测数据是被动的，因为它来自对身体外部事物的观察，并且它不主动改变神经的拓扑结构和放电。

图4A、4B和4C示出了根据一些实施方式的模拟人类视觉(有时称为眼睛模拟)的示例。为了便于说明，假设虚拟观察介质是从相机输出的渲染帧。输出影响映射到渲染输出的观察点。在下面的描述中，虚拟观察介质是渲染帧，而利用皮肤感觉官能(轻触、压力、振动、热、拉伸)，虚拟观察介质计算软体变形。以这种方式，虚拟观察介质可以根据被虚拟感测的内容而不同。根据本文描述的技术，一些实施方式使用观察点、虚拟观察介质和感测属性来模拟人眼视网膜和/或视网膜中央凹。

人类视网膜包含大约1.2亿个视杆细胞和600万个视锥细胞。一些实施方式使用虚拟相机来近似人眼(类似于游戏和动画引擎如何使用虚拟相机和虚拟光源的概念)。图4A示出了根据一些实施方式的相机平截头体402(有时称为视见平截头体(viewing frustum))的示例400。包括视场(FOV)的虚拟相机404指向如由三个轴(x轴(406)、y轴(408)和z轴(410))所示的三维(3D)空间。图4A还示出了视场的角度(例如，x FOV 412和y FOV 414)、两个视图平面、z近平面416(更靠近相机)和z远平面418(沿着z轴更远离相机)。图4B示出了根据一些实施方式的虚拟光源420。在图4B中，在一些实施方式中，虚拟光源420被示为与y轴408对齐。

在一些实施方式中，为了模拟3D场景(有时称为虚拟环境)，虚拟相机与固定位置相关联或者附接到移动或以其他方式四处移动的对象。在一些实施方式中，场景中落在相机的z近平面416和z远平面418之间的对象被渲染成帧(通常以每秒60帧)。在一些实施方式中，3D场景中的对象或表面(或其一部分)与感测属性相关联(例如，与类型描述符亮光相关联)。

在一些实施方式中，当对象在z近平面416和z远平面418之间时，对象被渲染，并且如果它们具有感觉类型为亮光的附加感测属性，则影响感觉类型为亮光的观察点。附加的感测属性可以对应于每个渲染帧的X像素位置和Y像素位置。可替代地，在一些实施方式中，观察点被映射到每个渲染帧的像素区域。例如，每个观察点被映射到2×2像素或3×3像素，而不是一对一的映射。

在一些实施方式中，对于眼睛和/或视网膜模拟，作为渲染帧流的一部分的每个帧的像素值被后处理并用于设置相关观察点的值，以使观察点具有与人眼中的视杆和视锥的响应特性近似的光响应和特性。在一些实施方式中，如上所述，另外，这些观察点还可以具有一个或更多个类型描述符，该类型描述符与和当前正在渲染的场景中的对象相关联的感测属性的类型描述符相匹配。例如，映射到渲染帧的(X，Y)像素坐标的观察点可以具有类型描述符亮光。如果正被渲染的对象也具有类型描述符亮光的感测属性，则它们将对观察点具有附加的影响(调制或衰减),并且潜在地对在流上执行操作的程序和/或AI程序(例如，人工智能程序、感测数据流处理、人工神经网络和/或流处理模块102)具有观察点上游的调制或衰减效果。

图4C示出了根据一些实施方式的指向立方体428的虚拟相机404。立方体428的位置由与X轴406(图4A所示)对齐的线+X(430)到–X(432)、与Y轴408(图4A所示)对齐的线+Y(434)到–Y(436)、以及与Z轴410(图4A所示)对齐的线+Z(438)到–Z(440)指示。在一些情况下，立方体428是正常的立方体，在这种情况下，它被渲染到每个帧中，然后该帧流将影响映射的观察点，以模拟人类视网膜杆和视锥的响应和/或特性。在其他情况下，类似的立方体可以包括映射到其六个表面中的一个或更多个表面上的感测属性(例如，类型描述符亮光)。根据一些实施方式，如果映射到相机的渲染帧输出的观察点也具有相同的类型描述符(即，亮光)，则观察点经由衰减或调制和/或根据一个或更多个痛苦和/或快乐模型以某种附加方式受到影响，如下面参考图5所述。

图5示出了根据一些实施方式的示例调制效果500。一些实施方式使用疼痛和/或快乐模型来放大、衰减和/或抑制身体相关的感知。举例来说，假设一个人(或虚拟身体)被针刺破。刺痛会引起疼痛。在这种情况下，疼痛刺激是局部的(针对针刺破的区域)。因此，疼痛可以由身体非常局部的部位的少数神经引起。疼痛抑制或衰减与身体相关的其他感知，典型地抑制来自或沿着主要神经或可能在大脑中的感测数据。在简单的生物体中，疼痛可能只会抑制附近的其他神经。抑制感测数据会抑制感知，而同时放大疼痛感知。另一方面，快乐放大、扩展、增加与身体相关的感知，提高与身体相关的感知意识。一些实施方式对看到对象或对象的特性所引起的快乐进行建模。例如，一些实施方式对在场景(即，虚拟环境)中看到一种颜色(例如，绿色)所引起的视觉效果或快乐进行建模。

在一些实施方式中，调制134包括在效果目标506处应用调制效果504的调制程序502(例如，闭包、指针、对被实例化和执行的程序语言类型或类型组合的引用)。根据一些实施方式，示例效果目标506包括AI和/或感测数据流处理102以及观察点104。AI和/或感测数据流处理102与关联于疼痛模型508的调制类型和/或关联于快乐模型510的调制类型相关联。类似地，根据一些实施方式，观察点104与关联于疼痛模型512的调制类型和/或关联于快乐模型514的调制类型相关联。观察点104还与调制区域相关联(例如，对应于虚拟生物110、对象和其他虚拟生物112以及非对象114的观察点)。

示例疼痛和快乐模型

本节描述了根据一些实施方式的示例疼痛和快乐模型。在下面的描述中，使用实时秒(或挂钟时间)来指定示例时间。如果模拟比实时运行更慢或更快，那么需要相应地调整示例时间。

在接下来的描述中，虚拟生物的尺寸、身体部位尺寸的比例以及维度通常对应于真实世界生物的等同物。假设指定的参数对于给定的模拟是可调的。感觉类型被假设为描述虚拟介质交互的标签。为了便于说明，变形假设感觉和感觉位置在垂直于基线位置的方向上移动。进一步假设基线位置是流形或形状。

在一些实施方式中，快乐是一种奖励，该奖励具有一个或更多个原因和一个或更多个效果。快乐的一个示例原因是，根据虚拟生物上的感觉位置中的传感器与同一虚拟生物或另一虚拟生物或对象上的感测位置中的感测属性之间的交互，其中传感器和感测属性的感觉类型都是轻触，其中如果感觉位置和感测位置在同一虚拟生物上，则当它们在同一位置中或重叠时，它们不会交互。如果感觉位置和感测位置不在同一虚拟生物上，那么即使它们在同一位置或重叠，也会发生交互。在1/50秒到1秒的时间段内，在垂直于感觉位置的未变形基线位置的方向上，感觉位置的变形在1纳米到5毫米的范围内，激活相应的快乐效果。在一些实施方式中，相应的快乐效果是将快乐原因激活的感觉位置的当前集合中的传感器的分辨率提高(attenuate up)1％至200％(如人工神经网络所确定的)，和/或将其他非快乐原因激活的感觉位置中的传感器的分辨率提高1％至200％。

快乐的另一个示例原因是，根据虚拟生物上的感觉位置中的传感器与同一虚拟生物或另一虚拟生物或对象上的感测位置中的感测属性之间的交互，其中传感器和感测属性的感觉类型都是温度，如果感觉位置和感测位置在同一虚拟生物上，则当它们在同一位置中或重叠时它们不会交互。如果感觉位置和感测位置不在同一虚拟生物上，那么即使它们在同一位置或重叠，也会发生交互。在一些实施方式中，当感觉位置和感测位置之间的距离小于1英尺时，则交互可以根据下表激活快乐效果：

快乐的另一个示例原因是，根据虚拟生物上的感觉位置中的传感器与同一虚拟生物或另一虚拟生物或对象上的感测位置中的感测属性之间的交互，其中传感器和感测属性的感觉类型都是振动，其中如果感觉位置和感测位置在同一虚拟生物上，则当它们在同一位置中或重叠时它们不会交互。如果感觉位置和感测位置不在同一虚拟生物上，那么即使它们在同一位置或重叠，也会发生交互，其中感觉位置的流形区域的计算振动频率大于0.5赫兹(Hz)，激活相应的快乐效果。在一些实施方式中，相应的振动快乐效果是根据公式x＝f^1.1+1(每10秒振动出现一次，其中f＝频率)根据它们相应计算的流形区域的振动频率将虚拟生物的受振动影响的感觉位置中的所有感觉类型的所有传感器的分辨率在10分钟内(此后1小时内没有进一步的快乐效果)提高一个百分比倍数至最多10％。

与快乐相反，根据一些实施方式，疼痛是一种反奖励，该反奖励具有原因和相应的效果，下面提供了其示例用于说明。疼痛的示例原因是当在一段时间(例如，30秒)内虚拟生物中没有发生快乐激活(例如，感觉类型为轻触的激活)时，则快乐效果激活疼痛效果。根据一些实施方式，示例疼痛效果是将虚拟生物中感觉类型为轻触的所有传感器的分辨率降低(attenuate down)1％。

疼痛的另一个示例原因是，根据虚拟生物上的感觉位置中的传感器与同一虚拟生物或另一虚拟生物或对象上的感测位置中的感测属性之间的交互，其中传感器和感测属性的感觉类型都是压力，其中如果感觉位置和感测位置在同一虚拟生物上，那么当它们在同一位置中或重叠时它们不会交互。另一方面，如果感觉位置和感测位置不在同一虚拟生物上，那么即使它们在同一位置或重叠，也会发生交互。类似地，当感觉位置的变形在预定时间段(例如，1/60秒至10秒)内在垂直于感觉位置的未变形基线位置的方向上的距离范围(例如，6毫米或更大)内时，交互激活相应的疼痛效果。例如，对于在6毫米和16毫米之间的每1毫米的变形，疼痛效果是在5分钟的时间段内，将疼痛激活的感觉位置内具有感觉类型轻触和感觉类型压力的虚拟生物中的传感器的分辨率降低4％，而对于在16毫米和26毫米之间的每1毫米的变形，疼痛效果是在5分钟的时间段内，将疼痛激活的感觉位置内具有感觉类型轻触和感觉类型压力的虚拟生物中的传感器的分辨率降低6％。在一些实施方式中，如果任何传感器的分辨率在任何时候变为0，则它们被从虚拟生物中移除。

疼痛的另一个示例原因是，根据虚拟生物上的感觉位置中的传感器与同一虚拟生物或另一虚拟生物或对象上的感测位置中的感测属性之间的交互，其中传感器和感测属性的感觉类型都是温度，其中如果感觉位置和感测位置在同一虚拟生物上，那么当它们在同一位置中或重叠时，它们不会交互。另一方面，如果感觉位置和感测位置不在同一虚拟生物上，则即使它们在同一位置或重叠，也会发生交互，并且交互可以根据下表激活相应的疼痛效果：

疼痛的另一个示例原因是，根据虚拟生物上的感觉位置中的传感器与同一虚拟生物和同一流形上的感测位置中的感测属性之间的交互，其中传感器和感测属性的感觉类型都是拉伸或压缩。为了交互，感觉位置和感测位置必须是同一虚拟生物的一部分，并且不具有相同的基线位置或不具有重叠的基线位置。当感觉位置和感测位置各自的基线位置最近的边缘点沿它们之间的最近路径(在每个位置所在的定义流形上)位于预定的相隔距离(例如，2mm)之内时，则交互可以根据下表激活相应的疼痛效果：

疼痛的另一个示例原因是，根据虚拟生物上的感觉位置中的传感器与同一虚拟生物或另一虚拟生物或对象上的感测位置中的感测属性之间的交互，其中传感器和感测属性的感觉类型都是振动，其中如果感觉位置和感测位置在同一虚拟生物上，那么当它们在同一位置中或重叠时，它们不会交互。如果感觉位置和感测位置不在同一虚拟生物上，那么如果感觉位置的流形区域的计算振动频率大于预定频率(例如，0.5Hz)，即使它们在同一位置或重叠，也会发生交互，并激活相应的疼痛效果。在一些实施方式中，相应的疼痛效果是根据公式(其中x＝f^1.1，每10秒振动出现一次，其中f＝频率)根据它们相应计算的流形区域的振动频率将虚拟生物的受振动影响的感觉位置中的所有感觉类型的所有传感器的分辨率降低一个百分比倍数。

疼痛的另一个示例原因是，根据表示虚拟生物眼睛的视网膜和视网膜子结构的感觉位置中的传感器与同一虚拟生物或另一虚拟生物或对象上的感测位置中的感测属性之间的交互，其中传感器和感测属性的感觉类型都是亮光，其中传感器从一个或更多个相应的虚拟介质接收输入，其中虚拟介质是根据虚拟生物的虚拟眼睛移动、虚拟眼睛聚焦、虚拟眼睛扩张来移动和改变它们的参数的虚拟相机，并且传感器的输入是从相应虚拟相机的视见平截头体输出的相应渲染帧像素(以原始数据形式或者首先通过人工神经网络进行处理)，并且其中传感器的输入仅当感觉类型为亮光的感测位置中的感测属性在虚拟相机的视见平截头体内时发生，这根据下表激活相应的疼痛效果：

疼痛的另一个示例原因是，根据表示虚拟生物耳朵的虚拟耳鼓膜、所附接的虚拟锤骨、砧骨、镫骨(听小骨)、耳蜗和耳蜗子结构的感觉位置中的传感器与同一虚拟生物或另一虚拟生物或对象上的感测位置中的感测属性之间的交互，其中传感器和感测属性的感觉类型都是声音，其中感觉类型是声音的感测位置发出在虚拟环境中被射线追踪或路径追踪的声音，其中传感器从一个或更多个相应的虚拟介质接收输入，其中虚拟介质是来自感觉类型是声音的感测位置的声射线追踪或路径追踪音频(其到达虚拟生物的虚拟耳鼓膜)，其中到达的音频被相应地建模以振动耳鼓膜，其中耳鼓膜的振动被相应地建模以移动虚拟锤骨、砧骨、镫骨或组合所有三者的替代物，其中镫骨或替代物抵靠位于其和耳蜗中的虚拟流体之间的第二虚拟内膜，其中与虚拟流体接触的内膜被相应地建模以干扰流体，其中虚拟流体接近或接触也在虚拟耳蜗中的数千根虚拟微小毛发，其中虚拟流体在毛发上的接触和交互相应地使用覆盖大范围的频率、振幅和类型的大量声音样本来建模，其中一组虚拟相机在它们的视见平截头体内具有毛发并捕获和渲染出来帧数据，其中帧数据被馈送到第一组人工神经网络，训练它们识别单根毛发的特征，并根据特定的声音频率和振幅以及影响流体的声音类型对它们在流体中的相应移动和张力进行分类，其中第二组人工神经网络被用于修改和优化虚拟耳朵部位的拓扑结构，以优化射线或路径追踪音频的接收，其中第三组人工神经网络被用于修改和优化虚拟耳蜗中毛发的形状、位置、尺寸和分布，以优化它们通过它们与流体的交互来提取音频中的特征的能力，其中第四组人工神经网络在非射线追踪或路径追踪音频样本和射线追踪或路径追踪音频样本上被单独训练，其中第四组人工神经网络接收到达耳鼓膜位置的新到达的射线追踪或路径追踪音频样本作为输入，并且其输出用于当分别和组合地训练第一组人工神经网络、第二组人工神经网络和第三组人工神经网络时提供基线和误差反馈，其中来自第一组人工神经网络的输出是传感器的输入，交互根据下表激活相应的疼痛效果：

疼痛的另一示例原因是，根据表示虚拟生物耳朵的感觉位置中的传感器与同一虚拟生物或另一虚拟生物或对象上的感测位置中的感测属性之间的交互，其中传感器和感测属性的感觉类型都是声音，其中感觉类型为声音的感测位置发出在虚拟环境中被射线追踪或路径追踪的声音，其中传感器从一个或更多个相应的虚拟介质接收输入，其中虚拟介质是来自感觉类型为声音的感测位置的声射线追踪或路径追踪音频(其到达虚拟生物的虚拟耳朵位置)，其中感觉类型为声音的感觉位置在耳朵位置上，其中到达耳朵位置的射线追踪或路径追踪音频的时间和空间特性被映射到感觉类型为声音的感觉位置的输入，交互根据下表激活相应的疼痛效果：

疼痛的另一个示例原因是，根据表示填充有虚拟流体的虚拟生物耳朵的虚拟前庭管道(vestibular canals)的感觉位置中的传感器与虚拟流体中或包含在虚拟流体内或以其他方式在虚拟流体内的粒子中的感测位置中的感测属性之间的交互，其中传感器和感测属性的感觉类型都是平衡，其中传感器从相应的虚拟介质接收输入，三个管道中的每一个都有一个虚拟介质，其中虚拟介质相应地对虚拟流体建模，使得虚拟流体受到虚拟重力的影响，其中虚拟流体接近或接触数千根虚拟微小毛发虚拟前庭管道，其中一组虚拟相机使毛发在它们的视见平截头体内，并捕获和渲染出来帧数据，其中帧数据被馈送到第一组人工神经网络中，以训练它们识别单根毛发的特征，并根据虚拟前庭管道相对于虚拟生物移动时发生的前庭管道的移动以及相对于虚拟重力效应的取向的变化，对虚拟毛发在流体中的相应移动和张力进行分类，其中第二组人工神经网络被用于修改和优化虚拟前庭管道中毛发的形状、位置、尺寸和分布，以优化它们通过它们与流体的交互提取位置特征的能力，其中来自虚拟环境引擎的实际位置数据用于在训练第一人工神经网络和第二组人工神经网络时提供基线和误差反馈，其中来自第一组人工神经网络的输出是传感器的输入，交互根据下表激活相应的疼痛效果：

在一些实施方式中，AI程序的疼痛模型508包括执行一个或更多个操作，这些操作包括：

·通过增加延迟或降低时钟频率、将算法实现替换为效率较低的实现、减少线程、减少进程以及减少计算资源和/或存储器资源来暂时或永久降低计算速度；

·暂时或永久降低计算和相关数据的准确性；

·暂时或永久移除或改变机器学习模型参数、优化器超参数和特定于模型的超参数；

·暂时或永久移除或改变存储在存储器中的编程语言类型实例的值；

·暂时或永久移除神经网络或神经网络层；和/或

·暂时或永久移除神经网络连接。

在一些实施方式中，AI程序的快乐模型510包括执行一个或更多个操作，这些操作包括：

·通过消除延迟或提高时钟频率、将算法实现替换为更高效的实现、增加线程、增加进程以及增加计算和/或存储器资源来暂时或永久提高计算速度；

·暂时或永久提高计算和相关数据的准确性；

·暂时或永久增加或改变机器学习模型参数、优化器超参数和特定于模型的超参数；

·暂时或永久增加新的值或重新增加存储在存储器中的编程语言类型实例的先前移除或省略的值；

·暂时或永久增加或重新增加神经网络或神经网络层；和

·暂时或永久重新增加神经网络连接。

在一些实施方式中，对类型流进行操作的程序的疼痛模型508包括执行一个或更多个操作，这些操作包括：

·通过增加延迟或降低时钟频率、将算法实现替换为效率较低的实现、减少线程、减少进程以及减少计算资源、存储器资源和/或队列或缓冲深度来暂时或永久降低计算速度；

·从一个或更多个类型流中移除程序语言的值或实例；和

·暂时或永久减少应用于一个或更多个类型流的选择程序或操作。

在一些实施方式中，用于对类型流进行操作的程序的快乐模型510包括：

·通过消除延迟或提高时钟频率、将算法实现替换为更高效的实现、增加线程、增加进程以及增加计算资源、存储器资源和/或队列或缓冲深度来暂时或永久提高计算速度；和

·暂时或永久增加或重新增加应用于一个或更多个类型流的选择程序或操作。

在一些实施方式中，观察点104的疼痛模型512包括执行一个或更多个操作，这些操作包括：

·暂时或永久降低具有匹配的类型描述符的一个或更多个感测属性的一个或更多个观察点的动态范围和/或分辨率；

·暂时或永久降低一个或更多个观察点的动态范围和/或分辨率，该一个或更多个观察点具有与一个或更多个感测属性的类型描述符相匹配的类型描述符。在一些实施方式中，调制效果可以针对一个或更多个感觉位置中的一个或更多个观察点进行指定和/或影响该一个或更多个观察点；和

·暂时或永久降低一个或更多个观察点的动态范围和/或分辨率，该一个或更多个观察点具有与施加疼痛效果的一种单一感觉类型的观察介质的类型描述符相匹配的类型描述符，并且还具有与该单一感觉类型的观察介质的类型描述符不相匹配的类型描述符。在一些实施方式中，调制效果可以针对一个或更多个感觉位置中的一个或更多个观察点进行指定和/或影响该一个或更多个观察点。在一些实施方式中，观察介质可以用于一种以上的感测属性感觉类型，并且匹配或不匹配传感器感觉类型。

在一些实施方式中，观察点104的快乐模型514包括执行一个或更多个操作，这些操作包括：

·暂时或永久提高具有匹配的类型描述符的一个或更多个感测属性的一个或更多个观察点的动态范围和/或分辨率；和

·暂时或永久提高一个或更多个观察点的动态范围和/或分辨率，该一个或更多个观察点具有与一个或更多个感测属性的类型描述符相匹配的类型描述符。在一些实施方式中，调制效果可以针对一个或更多个感觉位置中的一个或更多个观察点进行指定和/或影响该一个或更多个观察点；和

·暂时或永久提高一个或更多个观察点的动态范围和/或分辨率，该一个或更多个观察点具有与产生快乐效果的一种单一感觉类型的观察介质的类型描述符相匹配的类型描述符，并且还具有与该单一感觉类型的观察介质的类型描述符不相匹配的类型描述符。在一些实施方式中，调制效果可以针对一个或更多个感觉位置中的一个或更多个观察点进行指定和/或影响该一个或更多个观察点。在一些实施方式中，观察介质可以用于一种以上的感测属性感觉类型，并且匹配或不匹配传感器感觉类型。

图6提供了根据一些实施方式的用于在虚拟环境中模拟虚拟生物的感测数据的过程600的流程图。该方法在计算机系统(例如，计算设备200)处执行(602)，该计算机系统(例如，计算设备200)具有一个或更多个处理器(例如，处理器202)、存储器(例如，存储器210)以及存储在存储器中并被配置为由一个或更多个处理器执行的一个或更多个程序。一个或更多个程序包括用于执行该方法的指令。

该方法包括在虚拟环境(例如，虚拟环境220)中定义(604)第一虚拟生物(例如，虚拟生物110)。第一虚拟生物包括多个感觉位置。每个感觉位置具有一个或更多个传感器。每个传感器具有相应的感觉类型，并且被配置为通过具有相应感觉类型的一个或更多个相应的虚拟介质接收感觉输入。第一虚拟生物还包括多个感测位置，每个感测位置存储一个或更多个感测属性的相应集合，每个感测属性具有相应的感觉类型。第一虚拟生物还包括连接多个感觉位置处的传感器的多个人工神经网络。每个人工神经网络可以以多种方式(例如简单神经网络、递归神经网络、双向递归神经网络、卷积神经网络、深度卷积神经网络或许多其他已知类型的神经网络之一)实现。还可以使用其他机器学习算法(例如支持向量机、决策树的随机森林、线性回归、逻辑回归、朴素贝叶斯、kNN或K-Means)来实现人工神经网络。

在一些实施方式中，该方法包括定义相应类型的传感器和感测属性，和/或将传感器放置在感觉位置和感测位置中，从而定义3D空间中的空间坐标(有时被不同的游戏引擎或工具称为世界坐标空间或局部坐标空间)。在一些实施方式中，随着第一虚拟生物移动，坐标被动态更新，和/或虚拟生物的身体根据移动和/或交互而变形。

该方法还包括在虚拟环境中定义(606)对象(例如，一个或更多个对象或其他虚拟生物112中的对象)。该对象具有多个感测位置，每个感测位置存储一个或更多个感测属性的相应集合，每个感测属性具有相应的感觉类型。请注意，根据一些实施方式，对象118可以包括对象和其他虚拟生物(不同于该虚拟生物)。

该方法还包括，根据虚拟生物和对象之间的交互，根据对象在第一感测位置处的第一感测属性使用第一虚拟介质在第一感觉位置的第一传感器处接收(608)感觉输入。第一传感器、第一虚拟介质和第一感测属性具有相同的感觉类型。请注意，在一些实施方式中，第一虚拟介质确定感测属性和传感器之间的交互。

该方法还包括，根据所接收的感觉输入，使用第一人工神经网络将所接收的感觉输入转换(610)为(i)对第一虚拟生物的传感器的一个或更多个配置参数的更新和/或(ii)虚拟生物的移动。人工神经网络或虚拟介质或其组合可以更新配置参数(例如，对于其中我们想要永久疼痛效果的一些感觉类型来说，当传感器的分辨率或最大分辨率变为0时，传感器的分辨率或裁剪)。人工神经网络还可以负责致动生物的移动。

假设感觉类型是热量。在虚拟生物上的给定位置，可能既有热传感器又有热感测属性(例如，人的手臂可以感测热，但它本身也处于某一温度)。当球接近时，传感器可以检测到热量，但是来自球的热量也会影响生物的热感测属性(例如，在接触点处升高或降低虚拟生物的温度)。此外，在疼痛/快乐模型下，传感器可以向神经网络提供输入，以修改附近传感器的灵敏度或其他参数。在一些实施方式中，更新包括对参数(如分辨率、训练的人工神经网络或机器学习模型参数和/或算法参数)的衰减。在一些实施方式中，虚拟生物与其自身或另一个虚拟生物交互。在一些实施方式中，对象是虚拟生物的一部分，并且虚拟生物与其自身的一部分交互。例如，虚拟生物每天可以触摸其自身数千次，并且在这样做时，感觉到它自己的身体。为了进一步说明，与人类相似，虚拟生物可以用手指轻轻触摸、摩擦、抚摸、按压或抓挠其身体的任何部位，用舌头触摸手臂或舔嘴唇，吮吸拇指，或用手指梳理头发。

在一些实施方式中，该方法还包括：基于(i)第一感觉位置和第一感测位置以及(ii)第一传感器、第一虚拟介质和第一感测属性的感觉类型选择增强或削弱以应用于第一感觉位置和/或第一人工神经网络；以及基于增强或削弱改变(i)第一传感器的一个或更多个配置参数，从而修改其接收感觉输入的能力，和/或基于增强或削弱改变(ii)第一人工神经网络的一个或更多个配置参数，从而修改其处理感测属性的能力。一些实施方式选择调制或衰减效果，并且该选择基于关于交互的可感知的结果。

在一些实施方式中，根据确定感觉类型是轻触，选择增强或削弱还基于确定第一感觉位置是否在预定时间段内在垂直于第一感觉位置的未变形基线位置的方向上变形了预定量。

在一些实施方式中，改变第一传感器的一个或更多个配置参数包括通过将第一传感器的分辨率增大预定量来增强第一传感器在第一感觉位置处接收感觉输入的能力。

在一些实施方式中，该方法还包括：根据感觉类型是温度的确定，还基于确定第一感觉位置和第一感测位置之间的距离在垂直于第一感觉位置的未变形基线位置的方向上是否小于预定量来选择增强或削弱。

在一些实施方式中，改变第一传感器的一个或更多个配置参数包括：对于如由第一传感器感测到的高于预定最小温度直至预定最大温度的每一度温度，通过将第一传感器的分辨率增大第一预定量来增强一个或更多个传感器在第一感觉位置处或附近接收感觉输入的能力。

在一些实施方式中，选择增强或削弱还基于确定第一感觉位置是否在垂直于第一感觉位置的未变形基线位置的方向上变形了预定量。

在一些实施方式中，改变第一传感器的一个或更多个配置参数包括：对于如由第一传感器感测到的高于预定最小温度直至预定最大温度的每一度温度，通过将第一传感器的分辨率增大第二预定量，来增强一个或更多个传感器在第一感觉位置处或附近接收感觉输入的能力。

在一些实施方式中，该方法还包括：在改变了第一传感器的一个或更多个配置参数和/或第一人工神经网络的一个或更多个配置参数之后：根据第一传感器接收感觉输入的能力和/或第一人工神经网络感测属性的能力在预定时间段内没有改变的确定，通过将第一传感器的分辨率减小预定量来削弱一个或更多个传感器接收感觉输入的能力。该一个或更多个传感器对应于具有轻触感觉类型的感觉位置。

在一些实施方式中，根据确定感觉类型是压力，选择增强或削弱还基于确定第一感觉位置在预定时间段内在垂直于第一感觉位置的未变形基线位置的方向上是否变形大于预定量。

在一些实施方式中，改变第一传感器的一个或更多个配置参数包括：通过在预定时间段内减小第一感觉位置处或附近一个或更多个传感器的分辨率来削弱第一传感器在第一感觉位置处接收感觉输入的能力。该一个或更多个传感器对应于具有轻触感觉类型或压力感觉类型的感觉位置。

在一些实施方式中，该方法还包括，根据该一个或更多个传感器的传感器子集的分辨率等于0或者具有等于0的最大分辨率参数的确定，从第一虚拟生物中移除该传感器子集。

在一些实施方式中，根据确定感觉类型是温度，选择增强或削弱还基于确定第一感觉位置和第一感测位置之间的距离在垂直于第一感觉位置的未变形基线位置的方向上是否小于预定量。

在一些实施方式中，改变第一传感器的一个或更多个配置参数包括：对于如由第一传感器感测到的高于第一预定最小温度或低于第二预定最大温度的每一度温度，通过将第一传感器的分辨率减小第二预定量，来削弱一个或更多个传感器在第一感觉位置处或附近接收感觉输入的能力。

在一些实施方式中，根据确定感觉类型是温度，选择增强或削弱还基于确定第一感觉位置是否在垂直于第一感觉位置的未变形基线位置的方向上变形了预定量。

在一些实施方式中，改变第一传感器的一个或更多个配置参数包括：对于如由第一传感器感测到的高于预定最小温度或低于第四预定最大温度的每一度温度，通过将第一传感器的分辨率减小第三预定量，来削弱一个或更多个传感器在第一感觉位置处或附近接收感觉输入的能力。

在一些实施方式中，该方法还包括在计算机系统的一个或更多个显示器上显示第一虚拟生物。

在一些实施方式中，对象是不同于第一虚拟生物的第二虚拟生物。

在一些实施方式中，每个感觉位置是点、一维线段、二维区域或三维区域。

在一些实施方式中，每个感觉位置是虚拟环境中的n维流形，其中n＝0、1、2或3。

在一些实施方式中，每个感测位置是虚拟环境中的n维流形，其中n＝0、1、2或3。

在一些实施方式中，每个感觉位置对应于第一虚拟生物之上或之内的相应区域、表面或点。

在一些实施方式中，当第一虚拟生物的表面拓扑结构改变时，多个感觉位置被动态地生成并与第一虚拟生物上的特定点和/或区域相关联。在一些实施方式中，因为表面拓扑结构正在改变，所以感觉位置改变，但是传感器将保持不变(例如，类似于人类皮肤中的神经)。一些实施方式使用一种模型，其中作为奖励，增加新的感觉位置(或感觉点)。在一些实施方式中，传感器的数量没有增加，尽管它可能会因为一些传感器被移除而减少。在一些实施方式中，传感器在空间中的位置可以改变，但是传感器在流形上的位置保持不变。例如，当皮肤受到挤压时，神经在空间中的位置可能改变，但是皮肤的流形相对位置和神经的流形相对位置保持不变。

在一些实施方式中，感觉类型包括以下中的一项或更多项：温度、轻触、压力、振动、拉伸/压缩、声音和亮光。

在一些实施方式中，该方法还包括：提供一个或更多个应用编程接口(API)调用来更新多个感觉位置；以及响应于接收到对一个或更多个应用编程接口(API)调用的调用，执行从由创建、写入、读取、修改、移动和/或删除感觉位置组成的组中选择的一个或更多个操作。

在一些实施方式中，第一虚拟生物包括人类、动物、昆虫、类人动物或生物的身体的虚拟近似物。

在本发明的描述中使用的术语仅为了描述特定实施方式的目的，且并不意欲限制本发明。如在本发明的描述和所附的权利要求中所使用的，单数形式“a”、“an”、和“the”意欲也包括复数形式，除非上下文另外清楚地指示。还要理解的是，如在本文使用的术语“和/或(and/or)”指相关联的所列出的项目中的一个或更多个的任何和所有可能的组合并包括这些组合。应当进一步理解，术语“包括(comprises)”和/或“包括(comprising)”当在本说明书中使用时，指定所陈述的特征、步骤、操作、元件和/或部件的存在，但不排除存在或添加一个或更多个其它特征、步骤、操作、元件、部件和/或它们的组。

为了解释的目的，前面的描述参考了特定的实现方式进行描述。然而，上面的说明性讨论并没有被规定为无遗漏的或将本发明限制到所公开的精确形式。鉴于上面的教导，许多修改和变形是可能的。实施方式被选择和描述是为了最好地解释本发明的原理及其实际应用，以从而使本领域中的技术人员能够以适合于所设想的特定用途的各种修改最好地利用本发明和各种实施方式。

Claims (30)

1.一种在虚拟环境中模拟虚拟生物的感测数据的方法，所述方法在计算机系统处执行，所述计算机系统具有一个或更多个处理器、存储器和存储在所述存储器中并被配置为由所述一个或更多个处理器执行的一个或更多个程序，所述一个或更多个程序包括指令，以用于：

在虚拟环境中定义第一虚拟生物，其中，所述第一虚拟生物包括：

多个感觉位置，每个感觉位置具有一个或更多个传感器，其中，每个传感器具有相应的感觉类型，并且被配置为通过具有所述相应的感觉类型的一个或更多个相应的虚拟介质接收感觉输入；

多个感测位置，每个感测位置存储一个或更多个感测属性的相应集合，每个感测属性具有相应的感觉类型；和

连接所述多个感觉位置处的传感器的多个人工神经网络；

在所述虚拟环境中定义对象，其中，所述对象具有多个感测位置，每个感测位置存储一个或更多个感测属性的相应集合，每个感测属性具有相应的感觉类型；

根据所述虚拟生物和所述对象之间的交互，根据所述对象在第一感测位置的第一感测属性使用第一虚拟介质在第一感觉位置的第一传感器处接收感觉输入，其中，所述第一传感器、所述第一虚拟介质和所述第一感测属性具有相同的感觉类型；和

根据所接收的感觉输入，使用第一人工神经网络将所接收的感觉输入转换为(i)对所述第一虚拟生物的传感器的一个或更多个配置参数的更新和/或(ii)所述虚拟生物的移动。

2.根据权利要求1所述的方法，还包括：

基于(i)所述第一感觉位置和所述第一感测位置以及(ii)所述第一传感器、所述第一虚拟介质和所述第一感测属性的感觉类型，选择增强或削弱以应用于所述第一感觉位置和/或所述第一人工神经网络；和

基于所述增强或削弱，改变(i)所述第一传感器的一个或更多个配置参数，从而修改所述第一传感器接收感觉输入的能力，和/或(ii)改变所述第一人工神经网络的一个或更多个配置参数，从而修改所述第一传感器和/或所述第一人工神经网络处理来自所述第一虚拟介质的感觉输入的能力，所述第一虚拟介质使用所述第一感测属性确定何时存在与所述第一传感器的交互。

3.根据权利要求2所述的方法，其中：

根据确定所述感觉类型是轻触，选择所述增强或削弱还基于确定所述第一感觉位置是否在预定时间段内在垂直于所述第一感觉位置的未变形基线位置的方向上变形了预定量。

4.根据权利要求3所述的方法，其中：

改变所述第一传感器的所述一个或更多个配置参数包括通过将所述第一传感器的分辨率增大预定量来增强所述第一传感器在所述第一感觉位置处接收感觉输入的能力。

5.根据权利要求2所述的方法，其中：

根据确定所述感觉类型是温度，选择所述增强或削弱还基于确定所述第一感觉位置和所述第一感测位置之间的距离在垂直于所述第一感觉位置的未变形基线位置的方向上是否小于预定量。

6.根据权利要求5所述的方法，其中：

改变所述第一传感器的所述一个或更多个配置参数包括：对于由所述第一传感器感测的高于预定最小温度直到预定最大温度的每一度温度，通过将所述第一传感器的分辨率增大第一预定量，来增强一个或更多个传感器在所述第一感觉位置处或附近接收感觉输入的能力。

7.根据权利要求5所述的方法，其中：

选择所述增强或削弱还基于确定所述第一感觉位置在垂直于所述第一感觉位置的未变形基线位置的方向上是否变形了预定量。

8.根据权利要求7所述的方法，其中：

改变所述第一传感器的所述一个或更多个配置参数包括：对于由所述第一传感器感测的高于预定最小温度直至预定最大温度的每一度温度，通过将所述第一传感器的分辨率增大第二预定量，来增强一个或更多个传感器在所述第一感觉位置处或附近接收感觉输入的能力。

9.根据权利要求2所述的方法，还包括：

在改变所述第一传感器的所述一个或更多个配置参数和/或所述第一人工神经网络的所述一个或更多个配置参数之后：

根据确定所述第一传感器接收感觉输入的能力和/或所述第一人工神经网络感测属性的能力在预定时间段内没有改变，通过将所述第一传感器的分辨率减小预定量来削弱一个或更多个传感器接收感觉输入的能力，其中，所述一个或更多个传感器对应于具有轻触感觉类型的感觉位置。

10.根据权利要求2所述的方法，其中：

根据确定所述感觉类型是压力，选择所述增强或削弱还基于确定所述第一感觉位置是否在预定时间段内在垂直于所述第一感觉位置的未变形基线位置的方向上变形大于预定量。

11.根据权利要求10所述的方法，其中：

改变所述第一传感器的所述一个或多个配置参数包括通过在预定时间段内减小所述第一感觉位置处或附近的一个或更多个传感器的分辨率来削弱所述第一传感器在所述第一感觉位置处接收感觉输入的能力，其中，所述一个或更多个传感器对应于具有轻触感觉类型或压力感觉类型的感觉位置。

12.根据权利要求1所述的方法，还包括：

根据确定所述一个或更多个传感器的传感器子集的分辨率等于0或者具有等于0的最大分辨率参数，从所述第一虚拟生物中移除所述传感器子集。

13.根据权利要求2所述的方法，其中：

根据确定所述感觉类型是温度，选择所述增强或削弱还基于确定所述第一感觉位置和所述第一感测位置之间的距离在垂直于所述第一感觉位置的未变形基线位置的方向上是否小于预定量。

14.根据权利要求13所述的方法，其中：

改变所述第一传感器的所述一个或更多个配置参数包括：对于由所述第一传感器感测的高于第一预定最小温度或低于第二预定最大温度的每一度温度，通过将所述第一传感器的分辨率减小第二预定量，来削弱一个或更多个传感器在所述第一感觉位置处或附近接收感觉输入的能力。

15.根据权利要求13所述的方法，其中：

根据确定所述感觉类型是温度，选择所述增强或削弱还基于确定所述第一感觉位置在垂直于所述第一感觉位置的未变形基线位置的方向上是否变形了预定量。

16.根据权利要求15所述的方法，其中：

改变所述第一传感器的所述一个或更多个配置参数包括：对于由所述第一传感器感测的高于预定最小温度或低于第四预定最大温度的每一度温度，通过将所述第一传感器的分辨率减小第三预定量，来削弱一个或更多个传感器在所述第一感觉位置处或附近接收感觉输入的能力。

17.根据权利要求2所述的方法，其中：

根据确定所述感觉类型是声音，选择所述增强或削弱还基于确定到达所述第一感觉位置的声音的分贝范围是否在预定范围内；和

根据确定所述感觉类型是亮光，选择所述增强或削弱还基于确定所述第一感觉位置接收亮光输入的持续时间是否在第一预定时间段内。

18.根据权利要求17所述的方法，其中：

改变所述第一传感器的所述一个或更多个配置参数包括：

通过在第二预定时间段内以预定速率减小所述第一感觉位置处或附近的一个或更多个传感器的分辨率，来削弱所述第一传感器在所述第一感觉位置处接收感觉输入的能力，其中，所述一个或更多个传感器对应于具有声音感觉类型的感觉位置；和

根据确定所述一个或更多个传感器已经变得不活动，在所述第二预定时间段之后，增大所述一个或更多个传感器的分辨率，直到所述分辨率达到预定的最大分辨率。

19.根据权利要求1所述的方法，还包括在所述计算机系统的一个或更多个显示器上显示所述第一虚拟生物。

20.根据权利要求1所述的方法，其中，所述对象是不同于所述第一虚拟生物的第二虚拟生物。

21.根据权利要求1所述的方法，其中，每个感觉位置是点、一维线段、二维区域或三维区域。

22.根据权利要求1所述的方法，其中，每个感觉位置是所述虚拟环境中的n维流形，其中n＝0、1、2或3。

23.根据权利要求1所述的方法，其中，每个感测位置是所述虚拟环境中的n维流形，其中n＝0、1、2或3。

24.根据权利要求1所述的方法，其中，每个感觉位置对应于所述第一虚拟生物上或所述第一虚拟生物内的相应区域、表面或点。

25.根据权利要求1所述的方法，其中，当所述第一虚拟生物的表面拓扑结构正在改变时，所述多个感觉位置被动态生成并且与所述第一虚拟生物上的特定点和/或区域相关联。

26.根据权利要求1所述的方法，其中，所述感觉类型包括以下中的一项或更多项：温度、轻触、压力、振动、拉伸/压缩、声音和亮光。

27.根据权利要求1所述的方法，还包括：

提供一个或更多个应用编程接口(API)调用来更新所述多个感觉位置；和

响应于接收到对所述一个或更多个应用编程接口(API)调用的调用，执行从由创建、写入、读取、修改、移动和/或删除感觉位置组成的组中选择的一个或更多个操作。

28.根据权利要求1所述的方法，其中，所述第一虚拟生物包括人类、动物、昆虫、类人动物或生物的身体的虚拟近似物。

29.一种用于在虚拟环境中模拟虚拟生物的感测数据的虚拟现实系统，所述系统包括:

一个或更多个处理器；

存储器；以及

一个或更多个程序，其被存储在所述存储器中并被配置为由所述一个或更多个处理器执行，所述一个或更多个程序包括指令，所述指令用于：

在虚拟环境中定义第一虚拟生物，其中，所述第一虚拟生物包括：

多个感觉位置，每个感觉位置具有一个或更多个传感器，其中，每个传感器具有相应的感觉类型，并且被配置为通过具有所述相应的感觉类型的一个或更多个相应的虚拟介质接收感觉输入；

多个感测位置，每个感测位置存储一个或更多个感测属性的相应集合，每个感测属性具有相应的感觉类型；和

连接所述多个感觉位置处的传感器的多个人工神经网络；

在所述虚拟环境中定义对象，其中，所述对象具有多个感测位置，每个感测位置存储一个或更多个感测属性的相应集合，每个感测属性具有相应的感觉类型；

根据所述虚拟生物和所述对象之间的交互，根据所述对象在第一感测位置的第一感测属性使用第一虚拟介质在第一感觉位置的第一传感器处接收感觉输入，其中，所述第一传感器、所述第一虚拟介质和所述第一感测属性具有相同的感觉类型；和

根据所接收的感觉输入，使用第一人工神经网络将所接收的感觉输入转换为(i)对所述第一虚拟生物的传感器的一个或更多个配置参数的更新和/或(ii)所述虚拟生物的移动。

30.一种计算机可读存储介质，其存储被配置为由具有一个或更多个处理器和存储器的计算机系统执行的一个或更多个程序，所述一个或更多个程序包括指令，所述指令用于：

在虚拟环境中定义第一虚拟生物，其中，所述第一虚拟生物包括：

多个感觉位置，每个感觉位置具有一个或更多个传感器，其中，每个传感器具有相应的感觉类型，并且被配置为通过具有所述相应的感觉类型的一个或更多个相应的虚拟介质接收感觉输入；

多个感测位置，每个感测位置存储一个或更多个感测属性的相应集合，每个感测属性具有相应的感觉类型；和

连接所述多个感觉位置处的传感器的多个人工神经网络；

在所述虚拟环境中定义对象，其中，所述对象具有多个感测位置，每个感测位置存储一个或更多个感测属性的相应集合，每个感测属性具有相应的感觉类型；

根据所述虚拟生物和所述对象之间的交互，根据所述对象在第一感测位置的第一感测属性使用第一虚拟介质在第一感觉位置的第一传感器处接收感觉输入，其中，所述第一传感器、所述第一虚拟介质和所述第一感测属性具有相同的感觉类型；和

根据所接收的感觉输入，使用第一人工神经网络将所接收的感觉输入转换为(i)对所述第一虚拟生物的传感器的一个或更多个配置参数的更新和/或(ii)所述虚拟生物的移动。

Images