CN117716423A - 使用深度学习从音频数据中的语音推理情绪 - Google Patents

Abstract

深度神经网络可以被训练以从输入音频推理情绪数据。该网络可以是基于转换器的网络，其可以推理一组情绪或情绪类别的概率值。情绪概率值可以使用一个或更多个启发式方法进行修改，例如以提供情绪确定随时间的平滑性，或通过用户界面进行修改，其中用户可以适当地修改情绪确定。用户还可以提供先前的情绪值，以便与这些情绪确定值相混合。所确定的情绪值可以作为输入提供给基于情绪的操作，例如以提供音频驱动的语音动画。

Description

使用深度学习从音频数据中的语音推理情绪

背景技术

存在可能希望确定某人在发出语音(例如由捕获的音频数据表示的语音)时表现出的情绪类型的各种情况。某些先前的方法使用机器学习来尝试从输入的音频中推理情绪，但这些方法通常仅限于那些针对其训练各自模型的人或说话者，但不能很好地推广到其他说话者。这些网络通常也是基于频谱图的，这需要将音频转换为频谱图表示，然后用基于图像的分析方法进行分析，但这并没有产生最佳的结果。这样的方法还需要针对不同的说话者训练多个模型，这可能是复杂的且计算成本很高，或者导致对任何输入语音推理的情绪有不同程度的不准确。更进一步，先前的方法将为整个音频片段确定单一的情绪，这并没有捕获说话者在该片段期间的情绪状态的任何变化。

附图说明

将参照附图描述根据本公开的各种实施例，其中：

图1示出了根据至少一个实施例的人说出一句话时可表现出的不同情绪；

图2A示出了根据至少一个实施例的用于从输入音频推理情绪的示例管线；

图2B示出了根据至少一个实施例的用于确定音频文件或流中特定点的情绪的基于时间窗口的方法；

图3示出了根据至少一个实施例的可以使用从输入音频推理的情绪数据的示例性角色动画系统；

图4A和图4B示出了根据至少一个实施例的用于允许指定先前情绪和先前情绪强度的界面；

图5示出了根据至少一个实施例的用于从音频数据推理情绪的示例过程；

图6示出了根据至少一个实施例的可用于从音频推理情绪的分布式系统的组件；

图7A示出了根据至少一个实施例的推理和/或训练逻辑；

图7B示出了根据至少一个实施例的推理和/或训练逻辑；

图8示出了根据至少一个实施例的示例数据中心系统；

图9示出了根据至少一个实施例的计算机系统；

图10示出了根据至少一个实施例的计算机系统；

图11示出了根据一个或更多个实施例的图形处理器的至少部分；

图12示出了根据一个或更多个实施例的图形处理器的至少部分；

图13是根据至少一个实施例的高级计算管线的示例数据流图；

图14是根据至少一个实施例的用于在高级计算管线中训练、适配、实例化和部署机器学习模型的示例系统的系统图；以及

图15A和图15B示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流图，以及利用预训练的注释模型来增强注释工具的客户端-服务器架构。

具体实施方式

在以下描述中，将描述各种实施例。为了解释的目的，提出了具体的配置和细节，以提供对实施例的彻底理解。然而，对于本领域的技术人员来说还显而易见的是，实施例可以在没有具体细节的情况下实施。此外，众所周知的特征可以被省略或简化，以便不影响正在描述的实施例。

本文描述的系统和方法可由但不限于非自主车辆、半自主车辆(例如，在一个或更多个自适应驾驶员辅助系统(ADAS)中)、有人驾驶和无人驾驶机器人或机器人平台、仓库车辆、越野车辆、与一个或更多个拖车耦合的车辆、飞行船、船、穿梭机、应急车辆、摩托车、电动或机动自行车、飞机、建筑车辆、水下飞船、无人机和/或其他车辆类型使用。此外，本文所述的系统和方法可用于各种目的，通过举例和不限制的方式，用于机器控制、机器运动、机器驾驶、合成数据生成、模型训练、感知、增强现实、虚拟现实、混合现实、机器人学、安全和监视、模拟和数字孪生、自主或半自主机器应用、深度学习、环境模拟、对象或行为者模拟和/或数字孪生、数据中心处理、对话式AI(人工智能)、光传输模拟(例如，光线追踪、路径追踪等)、3D资产的协作内容创建、云计算和/或任何其他合适的应用。

所公开的实施例可包含在各种不同的系统中，如汽车系统(例如，自主或半自主机器的信息娱乐或个人数字助理系统)、使用机器人实现的系统、航空系统、医疗系统、划船系统、智能区域监控系统、用于执行深度学习操作的系统、用于执行模拟操作的系统、用于执行数字孪生操作的系统、使用边缘设备实现的系统，包含一个或更多个虚拟机(VM)的系统、用于执行合成数据生成操作的系统、至少部分在数据中心中实现的系统、用于执行对话式AI操作的系统、用于执行光传输模拟的系统、用于执行3D资产的协作内容创建的系统、至少部分使用云计算资源实现的系统，以及/或其他类型的系统。

所公开的实施例可以从人或其他这样的说话者发出的语音或音频数据中推理情绪，该语音或音频数据可以使用例如可以将捕获的音频信号转换为数字音频数据的麦克风和音频捕获装置捕获在音频数据中。当说话时，一个人的语音的各个方面可能至少部分地基于他们的情绪状态而改变，类似于这个人的面部表情可能发生的变化。例如，图1示出了人在说出同一句话时可能表现出的四种示例性情绪状态的图像。这包括显示该人处于快乐状态的图像100，显示该人处于愤怒状态的图像102，该人处于厌恶状态的图像104，以及显示该人处于悲伤状态的图像106。正如人的面部表情随着情绪变化一样，随着这些情绪的变化，语音的声音表达也会有类似的变化。对于各种操作来说，能够准确地、自动地从捕获的音频数据中识别这些情绪是有益的。在情绪数据将被用于生成面部动画的示例用例中，能够准确地识别或推理人在发出语音时的情绪状态，有助于确保适当的面部表情(如图1中所示的那些)被用于渲染动画。情绪状态数据在其他情况下也可能是有帮助的，例如至少部分地基于检测到的呼叫的至少一方的情绪状态或情绪状态变化来管理呼叫中心中的呼叫。例如，自动生成的呼叫的提示、脚本或大纲可以基于检测到的呼叫者的情绪状态而动态地更新。

根据至少一个实施例的情绪确定系统可以接收输入的音频数据200，如图2A中所示。该音频数据200可以包含由至少一个人或其他说话者发出的语音，如可已经使用音频捕获设备捕获的。该音频数据可以经过至少一定量的预处理，如减少背景噪音、去除静音或非语音的片段，或将音频分割成每个包含由单个说话者发出的语音的音频片段。然后，该音频数据可以作为输入传递给情绪确定模块、设备、系统或过程，以尝试确定或推理该音频剪辑中发出语音的人的情绪状态。在这个示例中，音频数据200被传递给一个算法，该算法可以使用经训练的深度学习模型或神经网络，至少相对于该模型或网络被训练所针对的那些情绪状态或类别，对发出的语音中反映的情绪类型或情绪状态进行分类。神经网络202可以推理输入音频200的一个或更多个情绪标签204，然后可以将其作为情绪确定过程的输出而提供。这可以包括用于音频数据200的各个部分的单个情绪标签，或者用于整个输入音频数据的一个或更多个情绪标签或确定(如可对应于所接收的音频的特定部分--例如单词或句子)，以及其他此类选项。

在至少一个实施例中，神经网络202可以是基于转换器的网络。这可以包括，例如，具有Wav2Vec2.0或UniSpeech神经架构的网络。转换器神经网络可以准确有效地解决序列到序列的任务，包括那些具有长距离依赖性的任务。这样的网络可以将音频文件格式的音频数据作为输入，而不是像以前的方法所要求的(这还被发现会导致不太准确的结果和更高的不稳定性)必须先将音频转换为基于图像的表示或格式，如频谱图或梅尔频谱图。例如，音频数据可以对应于音频文件格式，如未压缩的音频文件格式(例如WAV、AIFF、AU、raw等)、无损压缩音频文件格式(FLAC、WavPack、TTA、ATRAC、MPEG-4、WMA无损、SHN等)，或有损压缩音频文件格式(例如Opus、MP3、Vorbis、Musepack、AAC、ATRAC、WMA有损等)。与将音频文件格式转换为非音频文件格式(例如，图像格式)相反，使用音频文件格式允许基于转换器的神经网络202的预测具有更高的准确度和精度，同时还允许网络202对不同的说话者更加稳健。此外，如上所述，由于不需要将音频数据后处理为基于图像或其他非音频的格式，所以系统的运行时间减少。

在至少一个实施例中，这样的网络可以输出概率分布、置信度和/或指示由对应于若干情绪类别中的一种或更多种的输入音频数据表示的语音的可能性另一种输出类型。这可以包括少至两个情绪类别(在这种情况下，网络可以生成布尔输出)，或多达可以被识别并用于训练网络的尽可能多的情绪类别(或类别的组合)，而不会过度影响给定操作、应用或用例的性能。在至少一个实施例中，这样的网络输出六种情绪类别的分布，这些情绪类别在可用于训练的(例如，公开可用的)数据集中表示--包括愤怒、厌恶、恐惧、喜悦、中性(或无可检测到的情绪)和悲伤。如果使用其他数据集，则至少部分地基于这些数据集中使用的分类或标签，情绪集可以更大或更小，或者可以包括不同的情绪选择。可能需要选择各种数据集以获得表达不同情绪的各种示例。在至少一个实施例中，基于转换器的神经网络202将输出具有每种情绪的值的向量，其中该值对应于输入音频(例如，从视频剪辑中提取的)中包含的语音是否由具有特定情绪状态或尝试传达该情绪的人发出的概率、置信度或其他指示符。这些值可以归一化为0和1之间(或0％和100％之间)的值，所有这些值加起来是一个绝对的概率值，如1.0(或100％--其中概率值加起来不能超过任何单个情绪的最大概率)。对于被确定为全部是单一情绪的语音，概率向量的值可能是[1,0,0,0,0]，而被确定为两种不同情绪具有相同概率的语音可能具有[0,0.5,0,0.5,0,0]的值。典型的输出可能对大多数或所有的情绪至少有一些概率，例如可能对应于[0.9,0.02,0.01,0.02,0.02,0.03]的值。也可以在各实施例的范围内提供指示情绪状态的其他此类值或输出。

在可以表示多于一个的情绪状态的情况下，具有超过阈值的概率或置信度的每种情绪状态可以被识别为由语音表示的情绪类别。在确定存在两种或更多种情绪状态类别的情况下，对应于每种情绪的输出值可用于对一种情绪相对于另一种情绪的突出程度进行加权。例如，当使用情绪状态对虚拟演员或主体进行动画化并且对于愤怒比悲伤有更高的置信度时，虚拟演员或主体可以被生成为显示比悲伤情绪更多的愤怒情绪，这可以使用各种面部和/或身体特征来反映。类似地，当情绪状态被用来指示说话者的情绪而不是虚拟演员或主体的动画时，不同情绪的强度或置信度可以被指示给用户或系统--例如，"说话者更愤怒而不是悲伤"，或"愤怒：70％；悲伤：30％，"等等。

在许多情况下，当人在发出超过几个词的语音或其他声音时，他的情绪状态不会完全保持不变。即使情绪类别可能本质上保持不变，但也可能在一些时期与其他情绪混合，或更强烈地表现出某种特定的情绪。为了说明这些和其他这样的变化，情绪确定系统可以尝试确定输入音频中不同点或时间的情绪状态，甚至可能是在单个说话者发出的同一语音内。这些"点"可以对应于针对音轨的不同时间戳确定的情绪关键帧。然后，情绪检测算法可以为每个情绪关键帧输出至少一种情绪分类。然后，接收该情绪关键帧数据的操作可以至少部分地基于情绪随时间的这些变化来做出决定或执行动作。

图2B示出了根据至少一个实施例可以使用的用于确定情绪关键帧序列的情绪分类的一个示例方法。在这个示例中，固定的跳跃(hop)大小256和窗口大小258可用于确定由输入音频数据260表示的帧序列250、252、254的情绪状态。在实施例中，跳跃大小(或步幅)也可以被认为是为音轨确定的跨步点之间的距离，其中跨步点可以按常规频率确定，以便获得单个帧的滑动窗口的期望重叠和间隔。在至少一个实施例中，源(例如，用户、应用程序或操作)可以指定用于分析音频数据的跳跃大小(或步幅)256和滑动窗口258的大小。对于输入音频的16,000Hz采样率，示例窗口大小和步幅值可以设置为15,000左右，或5,000和16,000之间的值。在这个示例中，每一音频帧可以使用通过音频数据的多个通道(pass)来分析。对于每个通道，可以分析窗口258的给定位置上的音频，以确定该时间窗口期间一组情绪类别的概率值。在各种实施例中，窗口长度应足够长以表示足够的音频数据以生成准确的情绪推理，同时又不能太长以至于可能包括不同的情绪状态，从而可能导致整个窗口的概率确定不准确。对于每个通道，滑动窗口258可以根据指定的跳跃大小256在时间上向前移动。跳跃大小256可以设置为允许窗口位置之间至少有一些重叠，以便对于音频中的大多数点至少有两个窗口，以帮助避免错过可能相对短暂的情绪状态。跳跃大小256也可以足够长以避免不适当的处理或通过音频所需的过多数量的通道。在至少一个实施例中，跳跃大小可以是滑动窗口大小的最多一半大小，并且至少是窗口大小长度的十分之一，以便在窗口位置之间提供足够但不过分的重叠。类似地，在窗口大小上可以设置阈值或范围，如至少帧大小的十分之一或最多帧大小的十分之九，其中在至少一个实施例中，一帧可以是从至少约0.1秒到约10秒的任何时间。在至少一个实施例中，可以为给定帧中这些滑动窗口位置中的每一个的各种情绪类别确定概率，然后通过结合这些概率为该帧确定总体概率。然后，这可以被提供作为该情绪关键帧的情绪向量，其可以被认为是位于单个帧内的起始点、中点或其他位置。在这个示例中，这些帧的大小都相同，使得关键帧在时间上会相对规则，这些情绪关键帧中的每个都有情绪向量或分类输出。

在其他实施例中，帧大小和关键帧位置可以至少部分地基于音频的内容而变化。在至少一个实施例中，可以分析音频的内容，以便至少按说话者分割该音频，使得音频剪辑仅包含由单个说话者发出的语音或主要包含由单个说话者发出的语音(这可能包括编辑音频以过滤掉来自其他演员的语音)。在一些实施例中，这可以按例如音频中包含的句子或单词进一步细分。也可以使用其他因素，如语音的停顿、音量的变化或说出语音的速度的变化，以及其他此类选项。在至少一些实施例中，然后可以应用阈值来确定窗口大小和跳跃大小，或者可以使用算法来确定这些大小，如可以至少部分地取决于帧大小。在一些实施例中，可以分析音频(例如，16kHz音频)，直到检测到情绪的变化或至少检测到满足或超过变化阈值的变化(例如，大于阈值置信度的不同情绪的置信度，比当前情绪置信度大超过阈值的不同情绪的置信度，在超过阈值迭代次数内大于当前情绪置信度的不同情绪的置信度，等等)或满足另一个选择标准，然后可以开始新的关键帧。然后，可以使用前面讨论的多个通道来分析先前的关键帧，以确定该情绪关键帧的情绪向量或分类。

为各个情绪关键帧确定的情绪标签或分类可以作为输入提供给至少部分地基于该情绪输入数据执行一个或更多个任务的系统、服务、过程、应用程序和/或操作。一个这样的系统的示例是如图3所示的音频驱动的面部动画系统300。这个示例系统可以提供自动化的、音频驱动的动画，如全3D面部动画，有可变的情绪控制。在至少一个实施例中，可以捕获一个或更多个演员以不同的情绪、情绪水平、情绪组合或表现风格等等发出语音(例如，特定的句子)的语音表演集合。这种系统支持的情绪可以包括能够至少部分地通过角色动画、图像合成或渲染来表示的任何适当的情绪(或类似的行为或状态)，如可以包括喜悦、愤怒、惊讶、悲伤、痛苦或恐惧等。数据收集过程可以包括4D数据的捕获，包括至少在发出语音的一段时间内的多视角3D数据。这种捕获的面部行为的重建不仅可以针对面部皮肤(或此类表面)，而且还可以针对其他可描述性的或可控制的部件、元素或特征执行，如可以包括牙齿、眼球、头部和舌头。重建可以为每个单独(或至少在某种程度上单独)建模的面部(或其他身体)组成部分或区域提供时域中的几何变形数据。这种重建可以提供完整的数据集，用于训练例如深度神经网络以执行诸如3D面部动画等任务。

在至少一个实施例中，经训练的深度神经网络306可以基于U-net、生成对抗网络(GAN)或基于循环神经网络(RNN)的架构。序列到序列映射可用于获得足够长的时间上下文，这对生成物理上或行为上准确的动画是有益的，特别是对于上面部运动。在图3的示例系统300中，一段音频数据--例如当前音频窗口302内的帧或一段音频--可以作为输入提供给深度神经网络306，该深度神经网络可以使用分析网络部分308来分析音频并对代表音频窗口302中的音频的特征进行编码，如可对应于语音的一部分。该分析网络部分308可以包括共享的音频解码器和编码器，用于将音频特征编码为音频特征向量，该向量可以作为输入提供给深度神经网络306的衔接(articulation)网络部分310。在这个示例中，可以提供情绪向量322(或情绪标签等)作为输入。如本文其他地方所详细讨论的，情绪向量322可以使用情绪推理网络320生成，例如图2A的基于转换器的网络202，该网络可以从输入音频中推理相应音频帧、窗口或片段的情绪。情绪向量322可以对应于用于确定如何渲染面部动画的一个或更多个帧的情绪关键帧。情绪向量322可以包括应用于用于训练的音频中的语音的一种或更多种情绪的数据(例如，概率、置信度等)，例如在音频数据中捕获的、配音演员在发出语音时被指示使用的情绪。在某些情况下，这可包括单个情绪标签的数据，如"愤怒"，或可包括多种情绪的数据，如"愤怒"和"悲伤"，以及这两种情绪的潜在相对权重或概率。

在至少一个实施例中，在训练期间还可以向该网络提供风格向量作为输入。风格向量可以包括与动画或面部组件运动的任何方面有关的数据，该数据修改一个或更多个面部组件的一个或更多个点对于给定的情绪或情绪向量应该如何移动。这可能包括影响特定特征或面部组件的运动，或提供要使用的整体动画的风格，如"激烈"或"专业"。风格向量也可以被看作是对情绪的更细粒度的控制，其中情绪向量提供要使用的一个或更多个情绪的一个或更多个标签，而风格对如何通过动画表达一个或更多个情绪提供更精细的控制。其他确定风格数据的方法也可以使用，例如在本文其他地方更详细地讨论的。在不同的实现中，可以为给定的音频剪辑提供单组情绪和风格向量，可以为要生成的动画的每一帧提供一组向量，或者可以为动画的特定点或帧(例如，情绪关键帧)提供一组向量，其中至少一种情绪或风格值或设置将相对于先前帧进行修改。

在该系统300中，但不限于，情绪向量322在多个级别被送入深度神经网络306的衔接部分310，至少包括网络的开始和结束以帮助调节网络。网络306可以针对各种面部组件(例如，面部皮肤、下巴、舌头、眼球和头部)使用共享的音频编码器和多个解码器。在训练期间，深度神经网络306的输出网络部分312可以为面部组件的各个特征点生成一组顶点位置314和/或运动向量(或其他运动或变形)，无论是针对每个这样的特征点还是仅针对那些相对于先前帧已经变化的特征点，以及其他此类选项。在训练期间，这些顶点位置可以与"真值"数据进行比较，如来自4D图像捕获的原始重建面部数据，以计算整体损失值。在至少一个实施例中，如L2损失之类的损失可用于输出数据表示中的特征点的位置和速度。在至少一个实施例中，用于确定损失值的损失函数可以包括位置、运动和对抗性损失的项。这个损失值可以在反向传播期间用于更新深度神经网络306的网络参数。一旦网络被确定为收敛或满足另一个训练结束标准(例如，处理所有训练数据或执行目标/最大数量的训练迭代)，经训练的网络306可以被提供用于推理。在推理过程中，网络可以只接收音频数据302作为输入，并可以推理用于各种面部组件(例如，头、脸、眼球、下巴、舌头)的一组顶点位置314，然后可以将其馈送给渲染器316(例如，动画或视频合成系统的渲染引擎)，以便生成一帧动画318，其可以是在呈现或回放时提供动画的一系列帧之一。深度神经网络306所使用的原始音频数据可以与图2A的基于转换器的神经网络202所使用的原始音频数据相同，以确定对应于音频数据的情绪状态或类别。在各种实施例中，DNN 306和基于转换器的神经网络202所使用的音频数据的格式可以不同，或者可以相同。例如，网络306和202都可以使用音频而不转换为基于图像的格式，或者网络306可以使用基于图像的格式(例如，频谱图)，而网络202可以使用音频格式而不转换，如本文所述。

如在本文其他地方更详细地讨论的，如果要以某种方式相对于深度神经网络306如何基于音频数据以其他方式推理顶点位置来修改所生成的顶点位置，例如以传达要用于推理顶点位置314的特定风格或面部行为，也可以提供情绪向量数据。在一些实施例中，深度神经网络306可以至少在可用时接收情绪向量，并使用这些向量来确定如何对面部进行动画化，或将此向量与其自己的情绪确定相结合使用来尝试提供更平滑和更准确的动画。为不同的情绪关键帧提供不同的情绪向量，可以帮助渲染的面部的情绪表达随着时间动态变化，以对应于相应的语音数据中所传达的情绪。本文所述的基于转换器的神经网络202的优点是，它可以推广到来自许多不同说话者的语音音频，使得操作者不必获得针对每个说话者或说话者类型训练的不同模型。

在至少一个实施例中，在一帧或音频片段期间的情绪变化可以用不同的方式表示。例如，如果在一个片段的前半部分检测到第一情绪并且在该片段的后半部分检测到第二情绪，那么可以提供两个情绪向量，其指示在相应的时间帧内或针对相应的情绪关键帧的相应情绪。在另一个示例中，可以生成单个关键帧，其指示在该片段中两种情绪的概率或值，例如概率基本相等。在其他示例中，系统可以查看相邻(例如，之前或之后)片段的情绪值，并尝试至少部分地基于情绪确定的相似性或差异来合并或修改片段。

在一些实施例中，所有情绪类别可以具有相同(或没有)权重，从而可以直接使用确定的概率。在一些实施例中，用户(或其他源)可以有能力指定至少一个情绪标签，然后其可以影响至少一个情绪类别的加权，或者可以影响输出情绪向量或值。例如，用户可以指定给定的音频片段将与"悲伤"情绪相关联。在分析过程中，情绪检测网络可能检测到其他的情绪概率，如愤怒或厌恶。在至少一个实施例中，这些值可用于调整情绪向量中的概率，无论是通过调整应用于各种概率的权重来将"悲伤"情绪状态加权得更高，还是通过将确定的概率与由于用户输入而产生的总悲伤概率相混合或平均，以及其他此类选项。在一些实施例中，用户还可以选择调整给定情绪向量中的概率或值，以便至少部分地基于该向量修改结果。

从语音或声音数据确定情绪的能力在其他上下文中也可以有各种其他应用或优势。例如，在呼叫中心运营中，确定呼叫中心员工在通话中的情绪的能力可以帮助确定是否有任何员工倾向于表现出超出预期或平均范围的特定情绪，这可以帮助识别可能从进一步培训或帮助中受益的员工。检测强烈的愤怒或悲伤情绪的能力也可能触发要求该员工休息或处理不同的任务，或可能使不同的呼叫被路由给该员工，这可以帮助改善该员工的情绪状态，或可能更符合那种情绪状态。呼叫的情绪状态数据还可以被记录下来，使得如果客户投诉员工在通话中生气或粗鲁，则可以分析情绪状态数据以确定该投诉是否合法。

当分析来自呼叫中心以外的客户或人员的语音时，这样的数据也可以受益。例如，如果可以确定呼叫者在通话过程中变得愤怒，则呼叫中心可能会决定将该电话路由给不同的员工，例如经理或受过更好的培训的人来处理特定情绪或情绪状态。类似地，为呼叫存储的数据可以帮助验证呼叫者在通话过程中的情绪状态，这可能有助于诸如验证有关投诉的信息等任务，或帮助至少部分地基于呼叫者在通话过程中的情绪状态来训练训员工。如果情绪状态可以通过客户通过语音命令浏览的初始选项菜单来确定，那么这个呼叫可以基于呼叫者的情绪状态进行初始路由，或者可以预先向呼叫中心员工提供有关情绪状态的信息，这可以帮助员工更好地准备和管理呼叫。对于员工至少从脚本中读取一部分回应的呼叫中心，情绪状态可能有助于选择对当前情况更准确的脚本，例如，如果推断客户是愤怒的，则使用更温和的语言，如果客户被确定为悲伤，则使用更支持的语言，等等。在呼叫中心使用虚拟机器人或助理(至少在最初)来确定呼叫路由到何处的情况下，呼叫者的情绪状态也可能是有用的。例如，当呼叫者被确定为心烦意乱、愤怒、沮丧等时，呼叫可以被转给现场代理，而不是继续完全自动化的呼叫。

在至少一些实施例中，用各个关键帧改变情绪状态的能力以及调整那些关键帧的位置或频率的能力，可能会导致在显示时看起来不自然的情绪变化。例如，说话者可能会以更悲伤而不是愤怒的方式开始一个长句子，但随后过渡到更愤怒而不是悲伤。在句子的中间还可能确定，对于给定的关键帧，说话者具有与句子的其余部分不同的情绪。然而，情绪的快速变化可能会产生不和谐的转变，或至少不符合实际的人类行为，在实际的人类行为中情绪的转变可能至少是有点渐进的。至少一些实施例中的方法可以利用多种启发式方法或后处理操作中的一个或更多个来尝试平滑模型的不准确预测，以及提供情绪状态之间更自然的转变(例如，一个人很少在一句话的中间瞬间从100％悲伤变成100％愤怒)。在至少一个实施例中，这可包括使用滑动窗口的方法，如针对音频数据讨论的方法，除了针对为音频确定的关键帧使用滑动窗口之外。这可以包括在多个关键帧上对至少非中性情绪执行平滑，其中该关键帧的数量(例如，2-10)可以能够由用户或应用程序指定，或者可以至少部分地基于为音频剪辑确定的关键帧的数量或频率来确定，以及其他此类选项。

在一个实施例中，系统可以使用户、应用程序或其他此类源能够指定或调整情绪强度值。例如，用户可以选择表示情绪强度的0到1的比率。在至少一个实施例中，较大的情绪强度值对应于相应情绪的较高表达水平。如果强度被设置为0，则可以表示不使用该情绪的表达。例如，视频游戏中的邪恶角色可能被希望不表现出悲伤或快乐，并且用户可以为这些情绪的情绪强度指定0的值，这样就可以确定仅该角色用例如愤怒、厌恶或中性情绪来表达事情。如果角色是非常快乐的角色，那么用户可以将快乐情绪的情绪强度设置为接近1(例如0.9)，而其他情绪强度的值则设置得低得多。这样的方法不仅可以提供情绪确定的平稳性，而且还可以提供更适合于给定角色的情绪确定。

可用的启发式方法还可以允许与先前的情绪有关的规范或调整。本上下文中的"先前"情绪不是指音频文件中先前确定或表现出的情绪，而是指在例如基于转换器的神经网络202动态分析之前确定的情绪或情绪状态。这可包括由例如用户、应用程序或操作为音频数据中的给定语音实例指定的情绪。例如，在情绪确定被用来生成面部动画的情况下，用户可能会指定被动画化的角色在这个语音期间应该显得悲伤。然而，如前所述，在整个语音实例中只使用单一情绪可能显得不自然。例如，系统然后可以允许用户(或其他此类源)指定先前的情绪来用于语音实例，但还将推理在该语音期间各个关键帧的情绪变化。然后，该情绪值和当前情绪值可以被混合，使得角色将表现出先前的情绪，但该情绪可以在语音期间的不同时间与不同的情绪混合，例如通过与中性值混合在不同时间显得或多或少的悲伤，或在语音的一部分内显得有些愤怒，等等。为了允许对这种混合进行一些控制，还可以提供先前的情绪强度值。这可以作为一种加权来指示该先前情绪值应与神经网络确定的情绪混合多少，其中0.9的先前情绪强度可能导致情绪值主要反映先前的情绪，而0.3左右的先前情绪强度可能导致情绪值在语音期间的所有时间至少反映一些先前的情绪，这可以在整个语音中提供至少一些平滑的情绪确定。

图4A和图4B示出了用户界面的示例状态400、450，该用户界面可用于指示训练数据的情绪以及在推理时间向情绪确定提供风格或修改数据，以及其他此类选项。当指定或修改情绪数据时，可以显示表示一个或更多个确定的情绪概率值406的动画、渲染或重建。然后，查看该界面的用户可以进行任何被确定为适当的值调整。例如，情绪确定可能主要是愤怒，但听众可能将语音表达解释为听起来有些悲伤。为了更准确地标记数据，用户可以调整应用的标签，以便网络更准确地学习解释音频数据中的情绪。如图所示，可以在音频数据402中指示时间点404(例如，关键帧的位置)，对其应用这些设置。如前所述，单个设置可用于音频剪辑或片段，但在其他情况下，情绪状态可在这样的剪辑或片段中变化，如在不同的时间点或针对/在特定的动画帧处，这在此可称为情绪关键帧。情绪关键帧可以指示情绪或风格的一个或更多个值何时改变，并且具有这些值的对应输入向量可以在训练期间作为输入提供给网络，以便学习这些变化。

该界面的用户还可以指定要与情绪确定相混合的先前情绪408。用户还可以指定先前的情绪强度410，该先前的情绪强度410可用于确定该先前情绪相对于确定的情绪的混合权重。如图4A所示，"愤怒"的先前情绪值有对应的先前情绪强度值0.0。因此，在渲染的图像412中示出的情绪状态主要是由确定的情绪设置406或概率确定的快乐。如图4B所示，用户将先前的情绪强度值452调整为0.6，导致愤怒情绪与快乐(和中性)情绪确定相混合，这导致如渲染的图像454中所示的情绪状态，其是快乐和愤怒的相等混合，例如，用户对结果感到高兴，但对用于获得该结果的方法感到不满。如所述，也可以为每个单独的情绪提供情绪强度，并且情绪强度可用于平滑情绪或修改情绪确定，以及其他此类选项。如图4A所示的界面还可以允许用户在音频中的不同关键帧或点404处调整情绪和/或先前情绪的值，以及相关的值。这样的界面还可以允许用户选择哪些启发式方法应用于给定的音频剪辑，以及可用于修改或控制应用这些启发式方法的方式的任何值。

如所述，这样的界面可以在推理时作为一种后处理使用，并且还可以在至少一些实施例中用于继续学习。例如，用户可以通过该界面查看生成的动画回放，其中角色的动画被呈现。在图4B中，如果用户认为动画针对该情况包含了太多强度，那么用户可以调整强度样式选择器来减少强度，并让动画帧重新渲染。如果用户在角色的语音中检测到在动画中没有被捕获的一点悲伤，那么用户也可以调整该设置。在一些实施例中，用户还能够提供对显示中的特定特征点或面部组件的调整作为一种风格输入。例如，用户可以使用指针抓取并移动角色嘴唇的位置，并且这个信息可以用作动画重新渲染的风格输入。也可以提供其他变化，如头部移动、头部倾斜、眼睛移动或聚焦，或可以通过情绪或风格输入来传达用于动画的重新渲染(或更新渲染或合成)的其他这样的变化。也可以通过这样的界面指定各种其他的动画控制参数，这可以影响最终的渲染。

在一些实施例中，基于转换器的神经网络202和深度神经网络306可以以端到端方式进行训练，其中来自深度神经网络306的输出不仅可以被用于更新网络306的参数，还可以用于更新网络202的参数。例如，在确定音频数据的特定片段的愤怒概率或置信度非常高(例如0.9)，但使用对于愤怒的0.9作为网络306的输入来动画化的动画角色看起来富有表现力或者不太像人的情况下，该反馈可用于调整网络202的参数以训练网络202转而预测类似语音类型的较低愤怒置信度(例如0.7)或概率。以这种方式，情绪状态或类别(以及与之相对应的置信度)可以被微调，以帮助网络306生成更准确或更精确地模拟情绪的动画。

图5示出了可根据至少一个实施例使用的用于从输入音频剪辑推理情绪的示例过程500。应该理解的是，对于本文介绍的此过程和其他过程，除非另有特别说明，否则在各实施例的范围内可能有额外的、更少的或替代的步骤以类似或替代的顺序执行，或至少部分地平行执行。在这个过程中，获得表示由至少一个说话者(例如在对话期间发出语音的至少一个人)发出的语音的音频数据502。该语音可已由音频捕获设备捕获，如至少一个麦克风或麦克风阵列，然后被转换为数字音频数据。该音频数据可被划分为多个语音片段(例如，句子、段落、单词或停顿之间的话语)504，每个语音片段被说出或标记为对应于(例如，有多个说话者，但一个说话者突出的情况)单个说话者。可以选择一个音频片段进行情绪分析506，并作为输入提供给基于转换器的神经网络508，或其他这样的情绪确定网络或算法。该片段的一个或更多个帧可以使用神经网络进行分析510，以推理一组情绪的概率(或其他)值。这些可以包括训练神经网络所针对的一组固定的情绪，以及网络通过持续学习已学到的潜在额外情绪，以及其他此类选项。片段中的帧数可以取决于一些因素，如片段的长度或内容，以及分析的窗口或步幅大小。对于片段的每一帧，可以接收情绪向量512，该情绪向量指示该组情绪或至少情绪的子集的概率。可以做出是否有任何启发式方法要应用到情绪向量的确定514。如果是这样，则可以将这些启发式方法中的一个或更多个应用于516向量，以执行平滑或情绪确定调整，以及其他此类选项。在一些实施例中，这可包括基于本文所讨论的先前情绪和/或情绪强度来调整情绪概率值。在任何启发式方法之后，情绪向量可以被提供518给应用程序(或其他接收者或目的地)，用于执行一个或更多个基于情绪的任务或分析。可以做出是否还有更多的片段需要分析的确定520，如果有，那么这个过程可以继续进行下一个片段。在一些实施例中，片段分析可以对至少一些片段并行地进行。在情绪向量被提供后，可以允许用户适当地查看和修改这些情绪向量中的值522，例如以执行被用户认为对于给定的基于情绪的任务合适的任何调整。

作为示例，情绪向量可以被提供给面部动画过程，该过程尝试为各种不同的角色类型的各种情绪状态生成具有真实行为的动画。这可以包括，例如，具有情绪控制的音频驱动的全三维(3D)面部动画。在这种方法中，可以生成逼真的动画，而不需要任何人工输入或后处理--尽管在需要的情况下也是可能的。这种动画的自动化可以帮助大大减少手动(或至少是部分手动)角色动画所需的时间、经验和成本。与传统方法相比，音频驱动的面部动画可以提供有效的方法来生成面部动画，因为只需要音频数据来驱动给定角色的动画。

各种系统还可以支持重定向。在重定向中，一个角色的运动可以被映射到另一个角色的运动，这样就可以为类似的情绪和/或风格生成类似的动画。如图4A和4B所示的界面在不同角色可能以略微不同的方式表达情绪或风格的重映射背景中，可以进一步有益。用户可以能够将不同的角色加载到该界面中，并查看该角色的重定向渲染将如何出现，然后可以修改该特定角色或角色类型的一个或更多个方面或运动或行为的风格。

如所讨论的，本文提出的各种方法的各个方面可以足够轻量，以在诸如客户端设备(如个人计算机或游戏控制台)的设备上实时或接近实时地执行。这种处理可以对在该客户端设备上生成的或由该客户端设备接收的，或从外部源接收的内容(例如，独特资产的渲染版本)执行，例如通过至少一个网络接收的流式传输传感器数据或其他内容。在某些情况下，该内容的处理和/或确定可以由这些其他设备、系统或实体之一执行，然后提供给客户端设备(或另一个这样的接收者)用于呈现或另一个这样的用途。

作为示例，图6示出了可用于提供、生成、修改、编码和/或传输数据或其他此类内容的示例性网络配置600。在至少一个实施例中，客户端设备602可以使用客户端设备602上的内容应用程序604的组件和在该客户端设备上本地存储的数据来生成或接收会话的数据。在至少一个实施例中，在服务器620(例如，云服务器或边缘服务器)上执行的内容应用程序624可以发起至少与客户端设备602相关联的会话，如可以使用会话管理器和存储在用户数据库634中的用户数据，并且可以使内容632由内容管理器626确定。内容管理器626可以与音频到面部模块628或系统以及可以使用确定的情绪数据执行一个或更多个任务的情绪应用程序630合作，以确定与输入音频相对应的面部动画。这可以包括，例如使用音频数据来使用来自资产数据库632的资产(例如，特征网)生成图像、视频或其他视觉呈现数据，达到由权利管理器630或其他此类组件或服务确定的允许程度。该生成的内容的至少一部分(与资产本身分开且不同)可使用适当的传输管理器622传输到客户端设备602，以通过下载、流式传输或另一个此类传输通道发送。编码器可用于在传输到客户端设备602之前对该数据的至少一部分进行编码和/或压缩。在至少一个实施例中，接收这种内容的客户端设备602可以将该内容提供给相应的内容应用程序604，该应用程序还可以或替代性地包括图形用户界面610、音频到面部组件612和情绪应用程序614，用于执行基于情绪的任务。解码器还可用于解码通过网络640接收的数据，以便通过客户端设备602呈现，例如通过显示器606的图像或视频内容和通过至少一个音频播放设备608(例如扬声器或耳机)的音频，例如声音和音乐。在至少一个实施例中，该内容的至少一部分可能已经存储在客户端设备602上、在客户端设备602上渲染或可访问，这样，对于内容的至少那一部分来说，不需要通过网络640传输，例如，该内容可能已经先前被下载或本地存储在硬盘或光盘上。在至少一个实施例中，可以使用诸如数据流的传输机制来将该内容从服务器620或用户数据库634传输到客户端设备602。在至少一个实施例中，该内容的至少一部分可以从另一来源，例如第三方服务660或其他客户端设备650，其还可以包括用于生成或提供内容的内容应用程序662。在至少一个实施例中，该功能的一部分可以使用多个计算设备，或一个或更多个计算设备内的多个处理器来执行，例如可以包括CPU和GPU的组合。

在该示例中，这些客户端设备可以包括任何适当的计算设备，如可以包括台式计算机、笔记本计算机、机顶盒、流式传输设备、游戏控制台、智能手机、平板计算机、VR/AR/MR头显、VR/AR/MR护目镜、可穿戴计算机或智能电视。每个客户端设备可以通过至少一个有线或无线网络提交请求，所述网络可以包括因特网、以太网、局域网(LAN)或蜂窝网络，以及其他此类选项。在该示例中，这些请求可以提交到与云提供商相关联的地址，所述云提供商可以在云提供商环境下操作或控制一个或更多个电子资源，所述云提供商环境诸如可以包括数据中心或服务器群。在至少一个实施例中，该请求可以由位于网络边缘并且在与云提供商环境相关联的至少一个安全层之外的至少一个边缘服务器接收或处理。通过这种方式，可以通过使得客户端设备能够与距离更近的服务器交互来减少延时，同时还可以提高云提供商环境中资源的安全性。

在至少一个实施例中，此类系统可以用于执行图形渲染操作。在其他实施例中，此类系统可以用于其他目的，诸如用于提供图像或视频内容以测试或验证自主机器应用，或者用于执行深度学习操作。在至少一个实施例中，此类系统可以使用边缘设备来实现，或者可以合并一个或更多个虚拟机(VM)。在至少一个实施例中，此类系统可以至少部分地在数据中心中或至少部分地使用云计算资源来实现。

推理和训练逻辑

图7A示出了用于执行与一个或更多个实施例相关联的推理和/或训练操作的推理和/或训练逻辑715。下面结合图7A和/或图7B提供关于推理和/或训练逻辑715的细节。

在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于代码和/或数据存储701，用于存储前向和/或输出权重和/或输入/输出数据，和/或在一个或更多个实施例的方面中配置被训练为和/或用于推理的神经网络的神经元或层的其他参数。在至少一个实施例中，训练逻辑715可以包括或耦合到用于存储图形代码或其他软件以控制时序和/或顺序的代码和/或数据存储701，其中权重和/或其他参数信息被加载以配置逻辑，包括整数和/或浮点单元(统称为算术逻辑单元(ALU))。在至少一个实施例中，代码(诸如图代码)基于该代码所对应的神经网络的架构将权重或其他参数信息加载到处理器ALU中。在至少一个实施例中，代码和/或数据存储701存储在使用一个或更多个实施例的方面训练和/或推理期间的输入/输出数据和/或权重参数的前向传播期间结合一个或更多个实施例训练或使用的神经网络的每个层的权重参数和/或输入/输出数据。在至少一个实施例中，代码和/或数据存储701的任何部分都可以包括在其他片上或片外数据存储内，包括处理器的L1、L2或L3高速缓存或系统存储器。

在至少一个实施例中，代码和/或数据存储701的任何部分可以在一个或更多个处理器或其他硬件逻辑设备或电路的内部或外部。在至少一个实施例中，代码和/或数据存储701可以是高速缓存存储器、动态随机可访问存储器(“DRAM”)、静态随机可访问存储器(“SRAM”)、非易失性存储器(例如闪存)或其他存储。在至少一个实施例中，对代码和/或数据存储701是在处理器的内部还是外部的选择，例如，或者由DRAM、SRAM、闪存或某种其他存储类型组成，可以取决于片上或片外的可用存储空间，正在执行训练和/或推理功能的延迟要求，在神经网络的推理和/或训练中使用的数据的批大小或这些因素的某种组合。

在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于代码和/或数据存储705，用于存储与在一个或更多个实施例的方面中被训练为和/或用于推理的神经网络的神经元或层相对应的反向和/或输出权重和/或输入/输出数据。在至少一个实施例中，在使用一个或更多个实施例的方面训练和/或推理期间，代码和/或数据存储705存储在输入/输出数据和/或权重参数的反向传播期间结合一个或更多个实施例训练或使用的神经网络的每个层的权重参数和/或输入/输出数据。在至少一个实施例中，训练逻辑715可以包括或耦合到用于存储图代码或其他软件以控制时序和/或顺序的代码和/或数据存储705，其中权重和/或其他参数信息被加载以配置逻辑，该逻辑包括整数和/或浮点单元(统称为算术逻辑单元(ALU))。在至少一个实施例中，代码(诸如图代码)基于该代码所对应的神经网络的架构将权重或其他参数信息加载到处理器ALU中。在至少一个实施例中，代码和/或数据存储705的任何部分可以与其他片上或片外数据存储一起包括，包括处理器的L1、L2或L3高速缓存或系统存储器。在至少一个实施例中，代码和/或数据存储705的任何部分可以在一个或更多个处理器或其他硬件逻辑设备或电路上的内部或外部。在至少一个实施例中，代码和/或数据存储705可以是高速缓存存储器、DRAM、SRAM、非易失性存储器(例如闪存)或其他存储。在至少一个实施例中，代码和/或数据存储705是在处理器的内部还是外部的选择，例如，是由DRAM、SRAM、闪存还是其他某种存储类型组成，取决于可用存储是片上还是片外，正在执行的训练和/或推理功能的延迟要求，在神经网络的推理和/或训练中使用的数据批量大小或这些因素的某种组合。

在至少一个实施例中，代码和/或数据存储701以及代码和/或数据存储705可以是分开的存储结构。在至少一个实施例中，代码和/或数据存储701以及代码和/或数据存储705可以是相同的存储结构。在至少一个实施例中，代码和/或数据存储701以及代码和/或数据存储705可以是部分相同的存储结构和部分分离的存储结构。在至少一个实施例中，代码和/或数据存储701以及代码和/或数据存储705的任何部分可以与其他片上或片外数据存储包括在一起，包括处理器的L1、L2或L3高速缓存或系统存储器。

在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于一个或更多个算术逻辑单元(“ALU”)710(包括整数和/或浮点单元)，用于至少部分地基于训练和/或推理代码(例如，图代码)或由其指示来执行逻辑和/或数学运算，其结果可能会产生存储在激活存储720中的激活(例如，来自神经网络内部的层或神经元的输出值)，其是存储在代码和/或数据存储701和/或代码和/或数据存储705中的输入/输出和/或权重参数数据的函数。在至少一个实施例中，激活响应于执行指令或其他代码，由ALU710执行的线性代数和/或基于矩阵的数学生成在激活存储720中存储的激活，其中存储在代码和/或数据存储705中和/或代码和/或数据存储701中的权重值用作具有其他值的操作数，例如偏置值、梯度信息、动量值或其他参数或超参数，可以将任何或所有这些存储在代码和/或数据存储705或代码和/或数据存储701或其他片上或片外存储中。

在至少一个实施例中，一个或更多个处理器或其他硬件逻辑设备或电路中包括一个或更多个ALU 710，而在另一实施例中，一个或更多个ALU 710可以在处理器或其他硬件逻辑设备或使用它们(例如协处理器)的电路外。在至少一个实施例中，可以将一个或更多个ALU 710包括在处理器的执行单元之内，或者以其他方式包括在由处理器的执行单元可访问的ALU组中，该处理器的执行单元可以在同一处理器内或者分布在不同类型的不同处理器之间(例如，中央处理单元、图形处理单元、固定功能单元等)。在至少一个实施例中，代码和/或数据存储701、代码和/或数据存储705以及激活存储720可以在同一处理器或其他硬件逻辑设备或电路上，而在另一实施例中，它们可以在不同的处理器或其他硬件逻辑设备或电路或相同和不同处理器或其他硬件逻辑设备或电路的某种组合中。在至少一个实施例中，激活存储720的任何部分可以与其他片上或片外数据存储包括在一起，包括处理器的L1、L2或L3高速缓存或系统存储器。此外，推理和/或训练代码可以与处理器或其他硬件逻辑或电路可访问的其他代码一起存储，并可以使用处理器的提取、解码、调度、执行、退出和/或其他逻辑电路来提取和/或处理。

在至少一个实施例中，激活存储720可以是高速缓存存储器、DRAM、SRAM、非易失性存储器(例如，闪存)或其他存储。在至少一个实施例中，激活存储720可以完全地或部分地在一个或更多个处理器或其他逻辑电路内部或外部。在至少一个实施例中，可以取决于片上或片外可用的存储，进行训练和/或推理功能的延迟要求，在推理和/或训练神经网络中使用的数据的批量大小或这些因素的某种组合，选择激活存储720是处理器的内部还是外部，例如，或者包含DRAM、SRAM、闪存或其他存储类型。在至少一个实施例中，图7A中所示的推理和/或训练逻辑715可以与专用集成电路(“ASIC”)结合使用，例如来自Google的处理单元、来自Graphcore^TM的推理处理单元(IPU)或来自IntelCorp的(例如“LakeCrest”)处理器。在至少一个实施例中，图7A所示的推理和/或训练逻辑715可与中央处理单元(“CPU”)硬件，图形处理单元(“GPU”)硬件或其他硬件(例如现场可编程门阵列(“FPGA”))结合使用。

图7B示出了根据至少一个或更多个实施例的推理和/或训练逻辑715。在至少一个实施例中，推理和/或训练逻辑715可以包括但不限于硬件逻辑，其中计算资源被专用或以其他方式唯一地连同对应于神经网络内的一层或更多层神经元的权重值或其他信息一起使用。在至少一个实施例中，图7B中所示的推理和/或训练逻辑715可以与专用集成电路(ASIC)结合使用，例如来自Google的处理单元，来自Graphcore^TM的推理处理单元(IPU)或来自IntelCorp的/>(例如“LakeCrest”)处理器。在至少一个实施例中，图7B中所示的推理和/或训练逻辑715可以与中央处理单元(CPU)硬件、图形处理单元(GPU)硬件或其他硬件(例如现场可编程门阵列(FPGA))结合使用。在至少一个实施例中，推理和/或训练逻辑715包括但不限于代码和/或数据存储701以及代码和/或数据存储705，其可以用于存储代码(例如，图代码)、权重值和/或其他信息，包括偏置值、梯度信息、动量值和/或其他参数或超参数信息。在图7B中所示的至少一个实施例中，代码和/或数据存储701以及代码和/或数据存储705中的每一个都分别与专用计算资源(例如计算硬件702和计算硬件706)相关联。在至少一个实施例中，计算硬件702和计算硬件706中的每一个包括一个或更多个ALU，这些ALU仅分别对存储在代码和/或数据存储701和代码和/或数据存储705中的信息执行数学函数(例如线性代数函数)，执行函数的结果被存储在激活存储720中。

在至少一个实施例中，代码和/或数据存储701和705以及相应的计算硬件702和706中的每一个分别对应于神经网络的不同层，使得从代码和/或数据存储701和计算硬件702的一个“存储/计算对701/702”得到的激活提供作为代码和/或数据存储705和计算硬件706的下一个“存储/计算对705/706”的输入，以便反映神经网络的概念组织。在至少一个实施例中，每个存储/计算对701/702和705/706可以对应于一个以上的神经网络层。在至少一个实施例中，在推理和/或训练逻辑715中可以包括在存储计算对701/702和705/706之后或与之并行的附加存储/计算对(未示出)。

数据中心

图8示出了可以使用至少一个实施例的示例数据中心800。在至少一个实施例中，数据中心800包括数据中心基础设施层810、框架层820、软件层830和应用层840。

在至少一个实施例中，如图8所示，数据中心基础设施层810可以包括资源协调器812、分组的计算资源814和节点计算资源(“节点C.R.”)816(1)-816(N)，其中“N”代表任何正整数。在至少一个实施例中，节点C.R.816(1)-816(N)可以包括但不限于任何数量的中央处理单元(“CPU”)或其他处理器(包括加速器、现场可编程门阵列(FPGA)、图形处理器等)，存储器设备(例如动态只读存储器)、存储设备(例如固态硬盘或磁盘驱动器)，网络输入/输出(“NWI/O”)设备，网络交换机，虚拟机(“VM”)，电源模块和冷却模块等。在至少一个实施例中，节点C.R.816(1)-816(N)中的一个或更多个节点C.R.可以是具有一个或更多个上述计算资源的服务器。

在至少一个实施例中，分组的计算资源814可以包括容纳在一个或更多个机架内的节点C.R.的单独分组(未示出)，或者容纳在各个地理位置的数据中心内的许多机架(也未示出)。分组的计算资源814内的节点C.R.的单独分组可以包括可以被配置或分配为支持一个或更多个工作负载的分组的计算、网络、存储器或存储资源。在至少一个实施例中，可以将包括CPU或处理器的几个节点C.R.分组在一个或更多个机架内，以提供计算资源来支持一个或更多个工作负载。在至少一个实施例中，一个或更多个机架还可以包括任何数量的电源模块、冷却模块和网络交换机，以任意组合。

在至少一个实施例中，资源协调器812可以配置或以其他方式控制一个或更多个节点C.R.816(1)-816(N)和/或分组的计算资源814。在至少一个实施例中，资源协调器812可以包括用于数据中心800的软件设计基础结构(“SDI”)管理实体。在至少一个实施例中，资源协调器108可以包括硬件、软件或其某种组合。

在至少一个实施例中，如图8所示，框架层820包括作业调度器822、配置管理器824、资源管理器826和分布式文件系统828。在至少一个实施例中，框架层820可以包括支持软件层830的软件832和/或应用程序层840的一个或更多个应用程序842的框架。在至少一个实施例中，软件832或应用程序842可以分别包括基于Web的服务软件或应用程序，例如由AmazonWebServices，GoogleCloud和MicrosoftAzure提供的服务或应用程序。在至少一个实施例中，框架层820可以是但不限于一种免费和开放源软件网络应用程序框架，例如可以利用分布式文件系统828来进行大范围数据处理(例如“大数据”)的ApacheSparkTM(以下称为“Spark”)。在至少一个实施例中，作业调度器832可以包括Spark驱动器，以促进对数据中心800的各个层所支持的工作负载进行调度。在至少一个实施例中，配置管理器824可以能够配置不同的层，例如软件层830和包括Spark和用于支持大规模数据处理的分布式文件系统828的框架层820。在至少一个实施例中，资源管理器826能够管理映射到或分配用于支持分布式文件系统828和作业调度器822的集群或分组计算资源。在至少一个实施例中，集群或分组计算资源可以包括数据中心基础设施层810上的分组计算资源814。在至少一个实施例中，资源管理器826可以与资源协调器812协调以管理这些映射的或分配的计算资源。

在至少一个实施例中，包括在软件层830中的软件832可以包括由节点C.R.816(1)-816(N)的至少一部分，分组的计算资源814和/或框架层820的分布式文件系统828使用的软件。一种或更多种类型的软件可以包括但不限于Internet网页搜索软件、电子邮件病毒扫描软件、数据库软件和流视频内容软件。

在至少一个实施例中，应用层840中包括的一个或更多个应用程序842可以包括由节点C.R.816(1)-816(N)的至少一部分、分组计算资源814和/或框架层820的分布式文件系统828使用的一种或更多种类型的应用程序。一种或更多种类型的应用程序可以包括但不限于任何数量的基因组学应用程序、认知计算和机器学习应用程序，包括训练或推理软件，机器学习框架软件(例如PyTorch、TensorFlow、Caffe等)或其他与一个或更多个实施例结合使用的机器学习应用程序。

在至少一个实施例中，配置管理器824、资源管理器826和资源协调器812中的任何一个可以基于以任何技术上可行的方式获取的任何数量和类型的数据来实现任何数量和类型的自我修改动作。在至少一个实施例中，自我修改动作可以减轻数据中心800的数据中心操作员做出可能不好的配置决定并且可以避免数据中心的未充分利用和/或执行差的部分。

在至少一个实施例中，数据中心800可以包括工具、服务、软件或其他资源，以根据本文所述的一个或更多个实施例来训练一个或更多个机器学习模型或者使用一个或更多个机器学习模型来预测或推理信息。例如，在至少一个实施例中，可以通过使用上文关于数据中心800描述的软件和计算资源，根据神经网络架构通过计算权重参数来训练机器学习模型。在至少一个实施例中，通过使用通过本文所述的一种或更多种训练技术计算出的权重参数，可以使用上面与关于数据中心800所描述的资源，使用对应于一个或更多个神经网络的经训练的机器学习模型来推理或预测信息。

在至少一个实施例中，数据中心可以使用CPU、专用集成电路(ASIC)、GPU、FPGA或其他硬件来使用上述资源来执行训练和/或推理。此外，上述的一个或更多个软件和/或硬件资源可以配置成一种服务，以允许用户训练或执行信息推理，例如图像识别、语音识别或其他人工智能服务。

推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。本文结合图7A和/或图7B提供关于推理和/或训练逻辑715的细节。在至少一个实施例中，推理和/或训练逻辑715可以在系统图8的系统中使用，用于至少部分地基于使用神经网络训练操作、神经网络函数和/或架构或本文所述的神经网络用例计算的权重参数来推理或预测操作。

此类组件可以用于从音频数据确定一个或更多个情绪值。

计算机系统

图9是示出根据至少一个实施例示例性计算机系统的框图，该示例性计算机系统可以是具有互连的设备和组件的系统，片上系统(SOC)或它们的某种形成有处理器的组合，该处理器可以包括执行单元以执行指令。在至少一个实施例中，根据本公开，例如本文所述的实施例，计算机系统900可以包括但不限于组件，例如处理器902，其执行单元包括逻辑以执行用于过程数据的算法。在至少一个实施例中，计算机系统900可以包括处理器，例如可从加利福尼亚圣塔克拉拉的英特尔公司(IntelCorporationofSantaClara,California)获得的处理器家族、XeonTM、/>XScaleTM和/或StrongARMTM，/>Core^TM或/>Nervana^TM微处理器，尽管也可以使用其他系统(包括具有其他微处理器的PC、工程工作站、机顶盒等)。在至少一个实施例中，计算机系统900可以执行可从华盛顿州雷蒙德市的微软公司(MicrosoftCorporationofRedmond,Wash.)获得的WINDOWS操作系统版本，尽管其他操作系统(例如UNIX和Linux)、嵌入式软件和/或图形用户界面也可以使用。

实施例可以用在其他设备中，例如手持设备和嵌入式应用程序。手持设备的一些示例包括蜂窝电话、互联网协议(InternetProtocol)设备、数码相机、个人数字助理(“PDA”)和手持PC。在至少一个实施例中，嵌入式应用程序可以包括微控制器、数字信号处理器(“DSP”)、片上系统、网络计算机(“NetPC”)、机顶盒、网络集线器、广域网(“WAN”)交换机，或根据至少一个实施例可以执行一个或更多个指令的任何其他系统。

在至少一个实施例中，计算机系统900可包括但不限于处理器902，该处理器902可包括但不限于一个或更多个执行单元908，以根据本文描述的技术执行机器学习模型训练和/或推理。在至少一个实施例中，计算机系统900是单处理器台式机或服务器系统，但是在另一实施例中，计算机系统900可以是多处理器系统。在至少一个实施例中，处理器902可以包括但不限于复杂指令集计算机(“CISC”)微处理器、精简指令集计算(“RISC”)微处理器、超长指令字(“VLIW”)微处理器、实现指令集组合的处理器，或任何其他处理器设备，例如数字信号处理器。在至少一个实施例中，处理器902可以耦合到处理器总线910，该处理器总线910可以在处理器902与计算机系统900中的其他组件之间传输数据信号。

在至少一个实施例中，处理器902可以包括但不限于1级(“L1”)内部高速缓存存储器(“cache”)904。在至少一个实施例中，处理器902可以具有单个内部高速缓存或多级内部缓存。在至少一个实施例中，高速缓存存储器可以驻留在处理器902的外部。根据特定的实现和需求，其他实施例也可以包括内部和外部高速缓存的组合。在至少一个实施例中，寄存器文件906可以在各种寄存器中存储不同类型的数据，包括但不限于整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器。

在至少一个实施例中，包括但不限于执行整数和浮点运算的逻辑执行单元908，其也位于处理器902中。在至少一个实施例中，处理器902还可以包括微码(“ucode”)只读存储器(“ROM”)，用于存储某些宏指令的微代码。在至少一个实施例中，执行单元908可以包括用于处理封装指令集909的逻辑。在至少一个实施例中，通过将封装指令集909包括在通用处理器的指令集中，以及要执行指令的相关电路，可以使用处理器902中的封装数据来执行许多多媒体应用程序使用的操作。在一个或更多个实施例中，可以通过使用处理器的数据总线的全宽度来在封装的数据上执行操作来加速和更有效地执行许多多媒体应用程序，这可能不需要在处理器的数据总线上传输较小的数据单元来一次执行一个数据元素的一个或更多个操作。

在至少一个实施例中，执行单元908也可以用在微控制器、嵌入式处理器、图形设备、DSP和其他类型的逻辑电路中。在至少一个实施例中，计算机系统900可以包括但不限于存储器920。在至少一个实施例中，存储器920可以实现为动态随机存取存储器(“DRAM”)设备、静态随机存取存储器(“SRAM”)设备、闪存设备或其他存储设备。在至少一个实施例中，存储器920可以存储由处理器902可以执行的由数据信号表示的指令919和/或数据921。

在至少一个实施例中，系统逻辑芯片可以耦合到处理器总线910和存储器920。在至少一个实施例中，系统逻辑芯片可以包括但不限于存储器控制器集线器(“MCH”)916，并且处理器902可以经由处理器总线910与MCH 916通信。在至少一个实施例中，MCH 916可以提供到存储器920的高带宽存储器路径918以用于指令和数据存储以及用于图形命令、数据和纹理的存储。在至少一个实施例中，MCH 916可以在处理器902、存储器920和计算机系统900中的其他组件之间启动数据信号，并且在处理器总线910、存储器920和系统I/O 922之间桥接数据信号。在至少一个实施例中，系统逻辑芯片可以提供用于耦合到图形控制器的图形端口。在至少一个实施例中，MCH 916可以通过高带宽存储器路径918耦合到存储器920，并且图形/视频卡912可以通过加速图形端口(Accelerated Graphics Port)(“AGP”)互连914耦合到MCH 916。

在至少一个实施例中，计算机系统900可以使用系统I/O 922，所述系统I/O 922是专有集线器接口总线来将MCH 916耦合到I/O控制器集线器(“ICH”)930。在至少一个实施例中，ICH 930可以通过本地I/O总线提供与某些I/O设备的直接连接。在至少一个实施例中，本地I/O总线可以包括但不限于用于将外围设备连接到存储器920、芯片组和处理器902的高速I/O总线。示例可以包括但不限于音频控制器929、固件集线器(“FlashBIOS”)928、无线收发器926、数据存储924、包含用户输入和键盘接口的传统I/O控制器923、串行扩展端口927(例如通用串行总线(USB)端口)和网络控制器934。数据存储924可以包括硬盘驱动器、软盘驱动器、CD-ROM设备、闪存设备或其他大容量存储设备。

在至少一个实施例中，图9示出了包括互连的硬件设备或“芯片”的系统，而在其他实施例中，图9可以示出示例性片上系统(SoC)。在至少一个实施例中，设备可以与专有互连、标准化互连(例如，PCIe)或其某种组合互连。在至少一个实施例中，计算机系统900的一个或更多个组件使用计算快速链路(CXL)互连来互连。

推理和/或训练逻辑715用于执行与一个或更多个实施例相关的推理和/或训练操作。下文结合图7A和/或图7B提供关于推理和/或训练逻辑715的细节。在至少一个实施例中，推理和/或训练逻辑715可以在图9的系统中使用，用于至少部分地基于使用神经网络训练操作、神经网络函数和/或架构或本文所述的神经网络用例计算的权重参数来推理或预测操作。

此类组件可以用于从音频数据确定一个或更多个情绪值。

图10是示出根据至少一个实施例的用于利用处理器1010的电子设备1000的框图。在至少一个实施例中，电子设备1000可以是，例如但不限于，笔记本电脑、塔式服务器、机架服务器、刀片服务器、膝上型计算机、台式机、平板电脑、移动设备、电话、嵌入式计算机或任何其他合适的电子设备。

在至少一个实施例中，系统1000可以包括但不限于通信地耦合到任何合适数量或种类的组件、外围设备、模块或设备的处理器1010。在至少一个实施例中，处理器1010使用总线或接口耦合，诸如1℃总线、系统管理总线(“SMBus”)、低引脚数(LPC)总线、串行外围接口(“SPI”)、高清音频(“HDA”)总线、串行高级技术附件(“SATA”)总线、通用串行总线(“USB”)(1、2、3版)或通用异步接收器/发送器(“UART”)总线。在至少一个实施例中，图10示出了系统，该系统包括互连的硬件设备或“芯片”，而在其他实施例中，图10可以示出示例性片上系统(SoC)。在至少一个实施例中，图10中所示的设备可以与专有互连线、标准化互连(例如，PCIe)或其某种组合互连。在至少一个实施例中，图10的一个或更多个组件使用计算快速链路(CXL)互连线来互连。

在至少一个实施例中，图10可以包括显示器1024、触摸屏1025、触摸板1030、近场通信单元(“NFC”)1045、传感器集线器1040、热传感器1046、快速芯片组(“EC”)1035、可信平台模块(“TPM”)1038、BIOS/固件/闪存(“BIOS，FWFlash”)1022、DSP 1060、驱动器1020(例如固态磁盘(“SSD”)或硬盘驱动器(“HDD”))、无线局域网单元(“WLAN”)1050、蓝牙单元1052、无线广域网单元(“WWAN”)1056、全球定位系统(GPS)1055、相机(“USB3.0相机”)1054(例如USB3.0相机)和/或以例如LPDDR3标准实现的低功耗双倍数据速率(“LPDDR”)存储器单元(“LPDDR3”)1015。这些组件可以各自以任何合适的方式实现。

在至少一个实施例中，其他组件可以通过上文所述的组件通信地耦合到处理器1010。在至少一个实施例中，加速度计1041、环境光传感器(“ALS”)1042、罗盘1043和陀螺仪1044可以可通信地耦合到传感器集线器1040。在至少一个实施例中，热传感器1039、风扇1037、键盘1036和触摸板1030可以通信地耦合到EC 1035。在至少一个实施例中，扬声器1063、耳机1064和麦克风(“mic”)1065可以通信地耦合到音频单元(“音频编解码器和D类放大器”)1062，其又可以通信地耦合到DSP 1060。在至少一个实施例中，音频单元1062可以包括例如但不限于音频编码器/解码器(“编解码器”)和D类放大器。在至少一个实施例中，SIM卡(“SIM”)1057可以通信地耦合到WWAN单元1056。在至少一个实施例中，组件(诸如WLAN单元1050和蓝牙单元1052以及WWAN单元1056)可以被实现为下一代形式因素(NGFF)。

推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图7A和/或图7B提供关于推理和/或训练逻辑715的细节。在至少一个实施例中，推理和/或训练逻辑715可以在图10系统中用于至少部分地基于使用神经网络训练操作、神经网络功能和/或架构或本文描述的神经网络用例计算的权重参数来推理或预测操作。

此类组件可以用于从音频数据确定一个或更多个情绪值。

图11是根据至少一个实施例的处理系统的框图。在至少一个实施例中，系统1100包括一个或更多个处理器1102和一个或更多个图形处理器1108，并且可以是单处理器台式机系统、多处理器工作站系统或具有大量处理器1102或处理器核心1107的服务器系统。在至少一个实施例中，系统1100是结合在片上系统(SoC)集成电路内的处理平台，以在移动、手持或嵌入式设备使用。

在至少一个实施例中，系统1100可以包括或结合在基于服务器的游戏平台中，包括游戏和媒体控制台的游戏控制台、移动游戏控制台、手持游戏控制台或在线游戏控制台。在至少一个实施例中，系统1100是移动电话、智能电话、平板计算设备或移动互联网设备。在至少一个实施例中，处理系统1100还可包括与可穿戴设备耦合或集成在可穿戴设备中，例如智能手表可穿戴设备、智能眼镜设备、增强现实设备或虚拟现实设备。在至少一个实施例中，处理系统1100是电视或机顶盒设备，其具有一个或更多个处理器1102以及由一个或更多个图形处理器1108生成的图形界面。

在至少一个实施例中，一个或更多个处理器1102每个包括一个或更多个处理器核心1107，以处理指令，该指令在被执行时执行针对系统和用户软件的操作。在至少一个实施例中，一个或更多个处理器核心1107中的每一个被配置为处理特定指令组1109。在至少一个实施例中，指令组1109可以促进复杂指令集计算(CISC)、精简指令集计算(RISC)，或通过超长指令字(VLIW)进行计算。在至少一个实施例中，处理器核心1107可以各自处理不同的指令组1109，该指令组可以包括有助于仿真其他指令组的指令。在至少一个实施例中，处理器核心1107还可以包括其他处理设备，例如数字信号处理器(DSP)。

在至少一个实施例中，处理器1102包括高速缓存存储器1104。在至少一个实施例中，处理器1102可以具有单个内部高速缓存或多个级别的内部高速缓存。在至少一个实施例中，高速缓存存储器在处理器1102的各个组件之间共享。在至少一个实施例中，处理器1102还使用外部高速缓存(例如，三级(L3)高速缓存或最后一级高速缓存(LLC))(未示出)，可以使用已知的高速缓存一致性技术在处理器核心1107之间共享该外部高速缓存。在至少一个实施例中，处理器1102中另外包括寄存器文件1106，处理器可以包括用于存储不同类型的数据的不同类型的寄存器(例如，整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器)。在至少一个实施例中，寄存器文件1106可以包括通用寄存器或其他寄存器。

在至少一个实施例中，一个或更多个处理器1102与一个或更多个接口总线1110耦合，以在处理器1102与系统1100中的其他组件之间传输通信信号，例如地址、数据或控制信号。在至少一个实施例中，接口总线1110在一个实施例中可以是处理器总线，例如直接媒体接口(DMI)总线的版本。在至少一个实施例中，接口总线1110不限于DMI总线，并且可以包括一个或更多个外围组件互连总线(例如，PCI，PCIExpress)、存储器总线或其他类型的接口总线。在至少一个实施例中，处理器1102包括集成存储器控制器1116和平台控制器集线器1130。在至少一个实施例中，存储器控制器1116促进存储器设备与处理系统1100的其他组件之间的通信，而平台控制器集线器(PCH)1130通过本地I/O总线提供到I/O设备的连接。

在至少一个实施例中，存储器设备1120可以是动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪存设备、相变存储设备或具有适当的性能以用作处理器存储器。在至少一个实施例中，存储设备1120可以用作处理系统1100的系统存储器，以存储数据1122和指令1121，以在一个或更多个处理器1102执行应用程序或过程时使用。在至少一个实施例中，存储器控制器1116还与可选的外部图形处理器1112耦合，其可以与处理器1102中的一个或更多个图形处理器1108通信以执行图形和媒体操作。在至少一个实施例中，显示设备1111可以连接至处理器1102。在至少一个实施例中，显示设备1111可以包括内部显示设备中的一个或更多个，例如在移动电子设备或膝上型设备或通过显示器接口(例如显示端口(DisplayPort)等)连接的外部显示设备中。在至少一个实施例中，显示设备1111可以包括头戴式显示器(HMD)，诸如用于虚拟现实(VR)应用或增强现实(AR)应用中的立体显示设备。

在至少一个实施例中，平台控制器集线器1130使外围设备能够通过高速I/O总线连接到存储设备1120和处理器1102。在至少一个实施例中，I/O外围设备包括但不限于音频控制器1146、网络控制器1134、固件接口1128、无线收发器1126、触摸传感器1125、数据存储设备1124(例如，硬盘驱动器、闪存等)。在至少一个实施例中，数据存储设备1124可以经由存储接口(例如，SATA)或经由外围总线来连接，诸如外围组件互连总线(例如，PCI、PCIe)。在至少一个实施例中，触摸传感器1125可以包括触摸屏传感器、压力传感器或指纹传感器。在至少一个实施例中，无线收发器1126可以是Wi-Fi收发器、蓝牙收发器或移动网络收发器，诸如3G、4G或长期演进(LTE)收发器。在至少一个实施例中，固件接口1128使能与系统固件的通信，并且可以是例如统一可扩展固件接口(UEFI)。在至少一个实施例中，网络控制器1134可以允许到有线网络的网络连接。在至少一个实施例中，高性能网络控制器(未示出)与接口总线1110耦合。在至少一个实施例中，音频控制器1146是多通道高清晰度音频控制器。在至少一个实施例中，处理系统1100包括可选的传统(legacy)I/O控制器1140，用于将传统(例如，个人系统2(PS/2))设备耦合到系统1100。在至少一个实施例中，平台控制器集线器1130还可以连接到一个或更多个通用串行总线(USB)控制器1142，该控制器连接输入设备，诸如键盘和鼠标1143组合、相机1144或其他USB输入设备。

在至少一个实施例中，存储器控制器1116和平台控制器集线器1130的实例可以集成到离散的外部图形处理器中，例如外部图形处理器1112。在至少一个实施例中，平台控制器集线器1130和/或存储器控制器1116可以在一个或更多个处理器1102的外部。例如，在至少一个实施例中，系统1100可以包括外部存储器控制器1116和平台控制器集线器1130，其可以配置成在与处理器1102通信的系统芯片组中的存储器控制器集线器和外围控制器集线器。

推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图7A和/或图7B提供关于推理和/或训练逻辑715的细节。在至少一个实施例中，部分或全部推理和/或训练逻辑715可以结合到图形处理器1100中。例如，在至少一个实施例中，本文描述的训练和/或推理技术可以使用一个或更多个ALU，所述ALU体现在图形处理器中。此外，在至少一个实施例中，本文描述的推理和/或训练操作可以使用除图7A或图7B所示的逻辑之外的逻辑来完成。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，其配置图形处理器的ALU，以执行一种或更多种本文所述的机器学习算法、神经网络架构、用例或训练技术。

此类组件可以用于从音频数据确定一个或更多个情绪值。

图12是根据至少一个实施例的具有一个或更多个处理器核心1202A-1202N、集成存储器控制器1214和集成图形处理器1208的处理器1200的框图。在至少一个实施例中，处理器1200可以包含附加核心，多达并包括以虚线框表示的附加核心1202N。在至少一个实施例中，每个处理器核心1202A-1202N包括一个或更多个内部高速缓存单元1204A-1204N。在至少一个实施例中，每个处理器核心还可以访问一个或更多个共享高速缓存单元1206。

在至少一个实施例中，内部高速缓存单元1204A-1204N和共享高速缓存单元1206表示处理器1200内的高速缓存存储器层次结构。在至少一个实施例中，高速缓存存储器单元1204A-1204N可以包括每个处理器核心内的至少一级指令和数据高速缓存以及共享中级高速缓存中的一级或更多级缓存，例如2级(L2)、3级(L3)、4级(L4)或其他级别的高速缓存，其中将外部存储器之前的最高级别的高速缓存归类为LLC。在至少一个实施例中，高速缓存一致性逻辑维持各种高速缓存单元1206和1204A-1204N之间的一致性。

在至少一个实施例中，处理器1200还可包括一组一个或更多个总线控制器单元1216和系统代理核心1210。在至少一个实施例中，一个或更多个总线控制器单元1216管理一组外围总线，例如一个或更多个PCI或PCIe总线。在至少一个实施例中，系统代理核心1210为各种处理器组件提供管理功能。在至少一个实施例中，系统代理核心1210包括一个或更多个集成存储器控制器1214，以管理对各种外部存储器设备(未示出)的访问。

在至少一个实施例中，一个或更多个处理器核心1202A-1202N包括对多线程同时进行的支持。在至少一个实施例中，系统代理核心1210包括用于在多线程处理期间协调和操作核心1202A-1202N的组件。在至少一个实施例中，系统代理核心1210可以另外包括电源控制单元(PCU)，该电源控制单元包括用于调节处理器核心1202A-1202N和图形处理器1208的一个或更多个电源状态的逻辑和组件。

在至少一个实施例中，处理器1200还包括用于执行图处理操作的图形处理器1208。在至少一个实施例中，图形处理器1208与共享高速缓存单元1206和包括一个或更多个集成存储器控制器1214的系统代理核心1210耦合。在至少一个实施例中，系统代理核心1210还包括用于驱动图形处理器输出到一个或更多个耦合的显示器的显示器控制器1211。在至少一个实施例中，显示器控制器1211也可以是经由至少一个互连与图形处理器1208耦合的独立模块，或者可以集成在图形处理器1208内。

在至少一个实施例中，基于环的互连单元1212用于耦合处理器1200的内部组件。在至少一个实施例中，可以使用替代性互连单元，例如点对点互连、交换互连或其他技术。在至少一个实施例中，图形处理器1208经由I/O链路1213与环形互连1212耦合。

在至少一个实施例中，I/O链路1213代表多种I/O互连中的至少一种，包括促进各种处理器组件与高性能嵌入式存储器模块1218(例如eDRAM模块)之间的通信的封装I/O互连。在至少一个实施例中，处理器核心1202A-1202N和图形处理器1208中的每一个使用嵌入式存储器模块1218作为共享的最后一级高速缓存。

在至少一个实施例中，处理器核心1202A-1202N是执行公共指令集架构的同质核心。在至少一个实施例中，处理器核心1202A-1202N在指令集架构(ISA)方面是异构的，其中一个或更多个处理器核心1202A-1202N执行公共指令集，而一个或更多个其他处理器核心1202A-1202N执行公共指令集的子集或不同指令集。在至少一个实施例中，就微架构而言，处理器核心1202A-1202N是异构的，其中具有相对较高功耗的一个或更多个核心与具有较低功耗的一个或更多个功率核心耦合。在至少一个实施例中，处理器1200可以在一个或更多个芯片上实现或被实现为SoC集成电路。

推理和/或训练逻辑715用于执行与一个或更多个实施例相关联的推理和/或训练操作。下文结合图7A和/或图7B提供关于推理和/或训练逻辑715的细节。在至少一个实施例中，部分或全部推理和/或训练逻辑715可以结合到处理器1200中。例如，在至少一个实施例中，本文描述的训练和/或推理技术可以使用一个或更多个ALU，所述ALU体现在图12中的图形处理器1512、图形核心1202A-1202N或其他组件中。此外，在至少一个实施例中，本文描述的推理和/或训练操作可以使用除图7A或图7B所示的逻辑之外的逻辑来完成。在至少一个实施例中，权重参数可以存储在片上或片外存储器和/或寄存器(示出或未示出)中，其配置图形处理器1200的ALU以执行一种或更多种本文所述的机器学习算法、神经网络架构、用例或训练技术。

此类组件可以用于从音频数据确定一个或更多个情绪值。

虚拟化计算平台

图13是根据至少一个实施例的生成和部署图像处理和推理管线的过程1300的示例数据流程图。在至少一个实施例中，过程1300可以被部署用于在一个或更多个设施1302处与成像设备、处理设备和/或其他设备类型一起使用。过程1300可以在训练系统1304和/或部署系统1306内执行。在至少一个实施例中，训练系统1304可以用于执行机器学习模型(例如，神经网络、对象检测算法、计算机视觉算法等)的训练、部署和实现，以用于部署系统1306。在至少一个实施例中，部署系统1306可以被配置为在分布式计算环境中卸载处理和计算资源，以减少设施1302的基础设施需求。在至少一个实施例中，管线中的一个或更多个应用程序在应用程序执行期间，可以使用或调用部署系统1306的服务(例如，推理、可视化、计算、AI等)。

在至少一个实施例中，在高级处理和推理管线中使用的一些应用程序可以使用机器学习模型或其他AI来执行一个或更多个处理步骤。在至少一个实施例中，可以使用在设施1302处生成(并存储在设施1302处的一个或更多个图片存档和通信系统(PACS)服务器上)的数据1308(例如成像数据)在设施1302处训练机器学习模型，可以使用于自另一个或更多个设施的成像或测序数据1308来训练机器学习模型，或其组合。在至少一个实施例中，训练系统1304可以用于提供应用程序、服务和/或其他资源，以生成用于部署系统1306的工作的、可部署的机器学习模型。

在至少一个实施例中，模型注册表1324可以由对象存储支持，该对象存储可以支持版本控制和对象元数据。在至少一个实施例中，可以从云平台内通过例如云存储(例如，图14的云1426)兼容的应用程序编程接口(API)来访问对象存储。在至少一个实施例中，模型注册表1324内的机器学习模型可以由与API交互的系统的开发者或合作伙伴上传、列出、修改或删除。在至少一个实施例中，API可以提供对方法的访问，所述方法允许具有适当凭证的用户将模型与应用程序相关联，使得模型可以作为应用程序的容器化实例化的执行的一部分来执行。

在至少一个实施例中，训练管线1404(图14)可以包括以下情形：其中设施1302正在训练他们自己的机器学习模型，或者具有需要优化或更新的现有机器学习模型。在至少一个实施例中，可以接收由成像设备、测序设备和/或其他类型设备生成的成像数据1308。在至少一个实施例中，一旦接收到成像数据1308，AI辅助注释1310就可以用于帮助生成与成像数据1308相对应的注释，以用作机器学习模型的地面实况数据。在至少一个实施例中，AI辅助注释1310可以包括一个或更多个机器学习模型(例如，卷积神经网络(CNN))，可以对该机器学习模型进行训练，以生成对应于某些类型的成像数据1308(例如，来自某些设备)的注释。在至少一个实施例中，然后AI辅助注释1310可以被直接使用，或者可以使用注释工具进行调整或微调，以生成地面实况数据。在至少一个实施例中，AI辅助注释1310、标记的临床数据1312或其组合可以用作训练机器学习模型的地面实况数据。在至少一个实施例中，经训练的机器学习模型可以被称为输出模型1316，并且可以由部署系统1306使用，如本文所述。

在至少一个实施例中，训练管线1404(图14)可以包括以下情形：其中设施1302需要机器学习模型，以用于执行用于部署系统1306中的一个或更多个应用程序的一个或更多个处理任务，但是设施1302当前可能没有这种机器学习模型(或者可能没有为此目的而优化的、高效的或有效的模型)。在至少一个实施例中，可以从模型注册表1324中选择现有的机器学习模型。在至少一个实施例中，模型注册表1324可以包括机器学习模型，其被训练为对成像数据执行各种不同的推理任务。在至少一个实施例中，可以在来自不同的设施(例如，位于远处的设施)而不是设施1302的成像数据上训练模型注册表1324中的机器学习模型。在至少一个实施例中，机器学习模型可能已经在来自一个位置、两个位置或任意数量的位置的成像数据上进行训练。在至少一个实施例中，当在来自特定位置的成像数据上进行训练时，可以在该位置处进行训练，或者至少以保护成像数据的机密性或限制成像数据从场外转移的方式进行训练。在至少一个实施例中，一旦在一个位置处训练了模型或部分地训练了模型，则可以将机器学习模型添加到模型注册表1324。在至少一个实施例中，然后可以在任意数量的其他设施处对机器学习模型进行重新训练或更新，经重新训练或更新的模型可以在模型注册表1324中使用。在至少一个实施例中，然后可以从模型注册表1324中选择机器学习模型(并称为输出模型1316)，并且可以在部署系统1306中，以执行用于部署系统的一个或更多个应用程序的一个或更多个处理任务。

在至少一个实施例中，在训练管线1404(图14)中，场景可以包括需要机器学习模型的设施1302，以用于执行用于部署系统1306中的一个或更多个应用程序的一个或更多个处理任务，但是设施1302当前可能没有这样的机器学习模型(或者可能没有优化的、高效的或有效的模型)。在至少一个实施例中，由于用于训练机器学习模型的训练数据的种群差异、稳健性，训练数据异常的多样性，和/或训练数据的其他问题，从模型注册表1324中选择的机器学习模型可能不会针对在设施1302处生成的成像数据1308进行微调或优化。在至少一个实施例中，AI辅助注释1310可以用于帮助生成与成像数据1308相对应的注释，以用作训练或更新机器学习模型的地面实况数据。在至少一个实施例中，标记的临床数据1312可以用作训练机器学习模型的地面实况数据。在至少一个实施例中，重新训练或更新机器学习模型可以称为模型训练1314。在至少一个实施例中，模型训练1314(例如AI辅助注释1310，标记的临床数据1312或其组合)可以用作重新训练或更新机器学习模型的地面实况数据。在至少一个实施例中，训练的机器学习模型可以被称为输出模型1316，并且可以由部署系统1306使用，如本文所述。

在至少一个实施例中，部署系统1306可以包括软件1318、服务1320、硬件1322和/或其他组件、特征和功能。在至少一个实施例中，部署系统1306可以包括软件“栈”，以使软件1318可以构建在服务1320的顶部上，并且可以使用服务1320来执行一些或全部处理任务，并且服务1320和软件1318可以构建在硬件1322的顶部上，并使用硬件1322来执行部署系统的处理、存储和/或其他计算任务。在至少一个实施例中，软件1318可以包括任意数量的不同容器，其中每个容器可以执行应用程序的实例化。在至少一个实施例中，每个应用程序可以在高级处理和推理管线中执行一个或更多个处理任务(例如，推理、对象检测、特征检测、分割、图像增强、校准等)。在至少一个实施例中，除了接收和配置成像数据以供每个容器使用和/或在通过管线处理后由设施1302使用的容器以外，还可以基于对处理成像数据1308想要的或所需的不同容器的选择来定义高级处理和推理管线(例如，以将输出转换回可用的数据类型。在至少一个实施例中，软件1318内的容器组合(例如，其构成管线)可以被称为虚拟仪器(如本文中更详细地描述的)，并且虚拟仪器可以利用服务1320和硬件1322来执行容器中实例化的应用程序的部分或全部处理任务。

在至少一个实施例中，数据处理管线可以响应于推理请求(例如，来自部署系统1306的用户的请求)接收具体格式的输入数据(例如，成像数据1308)。在至少一个实施例中，输入数据可以代表由一个或更多个成像设备生成的一个或更多个图像、视频和/或其他数据表示。在至少一个实施例中，数据可以作为数据处理管线的一部分进行预处理，以准备数据用于由一个或更多个应用程序处理。在至少一个实施例中，可以在管线的一个或更多个推理任务或其他处理任务的输出上执行后处理，以准备下一个应用程序的输出数据和/或准备输出数据，以供用户传输和/或使用(例如作为对推理请求的响应)。在至少一个实施例中，推理任务可以由一个或更多个机器学习模型执行，例如经训练或部署的神经网络，所述模型可以包括训练系统1304的输出模型1316。

在至少一个实施例中，数据处理管线的任务可以封装在容器中，每个容器表示能够引用机器学习模型的应用程序和虚拟化计算环境的离散、全功能实例化。在至少一个实施例中，容器或应用程序可被发布到容器注册表(本文更详细地描述)的私有(例如，有限访问)区域中，并且经训练或部署的模型可存储在模型注册表1324中，并与一个或更多个应用程序相关联。在至少一个实施例中，应用程序的图像(例如，容器图像)可在容器注册表中使用，并且一旦用户从容器注册表中选择图像以用于在管线中部署，则该图像可用于生成用于应用程序的实例化的容器，以供用户的系统使用。

在至少一个实施例中，开发者(例如，软件开发者、临床医生、医生等)可以开发、发布和存储应用程序(例如，作为容器)，用于对所提供的数据执行图像处理和/或推理。在至少一个实施例中，可以使用与系统相关联的软件开发工具包(SDK)来执行开发、发布和/或存储(例如，以确保开发的应用程序和/或容器符合系统或与系统兼容)。在至少一个实施例中，所开发的应用程序可以使用SDK在本地测试(例如，在第一设施处，对来自第一设施的数据进行测试)，所述SDK作为系统(例如图14中的系统1400)可以支持至少某些服务1320。在至少一个实施例中，由于DICOM对象可能包含一到数百个图像或其他数据类型，并且由于数据的变化，因此开发者可负责管理(例如，设置构造，用于将预处理构建到应用程序中等)传入的数据的提取和准备。在至少一个实施例中，一旦通过系统1400的验证(例如，为了准确性)，应用程序便会在容器注册表中可用，以供用户选择和/或实现，以对用户的设施(例如第二设施)处的数据执行一个或更多个处理任务。

在至少一个实施例中，开发者随后可以通过网络共享应用程序或容器，以供系统(例如，图14的系统1400)的用户访问和使用。在至少一个实施例中，可以将完成并经过验证的应用程序或容器存储在容器注册表中，并且可以将相关的机器学习模型存储在模型注册表1324中。在至少一个实施例中，请求实体(其提供推理或图像处理请求)可以浏览容器注册表和/或模型注册表1324，以获得应用程序、容器、数据集、机器学习模型等，选择所需的元素组合以包含在数据处理管线中，并提交图像处理请求。在至少一个实施例中，请求可以包括执行请求所必需的输入数据(以及在一些示例中与患者相关的数据)，和/或可以包括对在处理请求时要执行的应用程序和/或机器学习模型的选择。在至少一个实施例中，然后可以将请求传递到部署系统1306的一个或更多个组件(例如，云)，以执行数据处理管线的处理。在至少一个实施例中，由部署系统1306进行的处理可以包括引用从容器注册表和/或模型注册表1324中选择的元素(例如，应用程序、容器、模型等)。在至少一个实施例中，一旦通过管线生成结果，结果可返回给用户以供参考(例如，用于在本地、本地工作站或终端上执行的查看应用程序套件中进行查看)。

在至少一个实施例中，为了帮助处理或执行管线中的应用程序或容器，可以利用服务1320。在至少一个实施例中，服务1320可以包括计算服务、人工智能(AI)服务、可视化服务和/或其他服务类型。在至少一个实施例中，服务1320可以提供软件1318中的一个或更多个应用程序所共有的功能，因此可以将功能抽象为可以被应用程序调用或利用的服务。在至少一个实施例中，由服务1320提供的功能可以动态且更有效地运行，同时还可以通过允许应用程序并行地处理数据(例如，使用图14中的并行计算平台1430)来很好地缩放。在至少一个实施例中，不是要求共享服务1320提供的相同功能的每个应用程序都必须具有服务1320的相对应实例，而是可以在各种应用程序之间和之中共享服务1320。在至少一个实施例中，作为非限制性示例，服务可包括可用于执行检测或分割任务的推理服务器或引擎。在至少一个实施例中，可以包括模型训练服务，其可以提供机器学习模型训练和/或重新训练能力。在至少一个实施例中，可以进一步包括数据增强服务，其可以提供GPU加速的数据(例如，DICOM、RIS、CIS、符合REST、RPC、原始等)提取、调整大小、缩放和/或其他增强。在至少一个实施例中，可以使用可视化服务，其可以添加图像渲染效果(例如光线跟踪、光栅化、去噪、锐化等)，以向二维(2D)和/或三维(3D)模型添加真实感。在至少一个实施例中，可以包括虚拟仪器服务，其为虚拟仪器的管线内的其他应用程序提供波束赋形、分割、推理、成像和/或支持。

在至少一个实施例中，在服务1320包括AI服务(例如，推理服务)的情况下，作为应用程序执行的一部分，可以通过调用(例如，作为API调用)推理服务(例如，推理服务器)，以执行一个或更多个机器学习模型或其处理，来执行一个或更多个机器学习模型。在至少一个实施例中，在另一应用程序包括用于分割任务的一个或更多个机器学习模型的情况下，应用程序可以调用推理服务来执行机器学习模型，以用于执行与分割任务相关联的一个或更多个处理操作。在至少一个实施例中，实现高级处理和推理管线的软件1318，其包括分割应用程序和异常检测应用程序，可以被流水线化，因为每个应用程序可以调用相同的推理服务来执行一个或更多个推理任务。

在至少一个实施例中，硬件1322可包括GPU、CPU、图形卡、AI/深度学习系统(例如，AI超级计算机，诸如NVIDIA的DGX)、云平台或其组合。在至少一个实施例中，可以使用不同类型的硬件1322，以为部署系统1306中的软件1318和服务1320提供高效的、专门构建的支持。在至少一个实施例中，可以实现使用GPU处理来在AI/深度学习系统内、云系统中、和/或部署系统1306的其他处理组件中进行本地处理(例如，在设施1302处)，以提高图像处理和生成的效率、准确性和效能。在至少一个实施例中，作为非限制性示例，关于深度学习、机器学习和/或高性能计算，可以针对GPU处理优化软件1318和/或服务1320。在至少一个实施例中，部署系统1306和/或训练系统1304的计算环境中的至少一些可以在具有GPU优化的软件(例如，NVIDIADGX系统的硬件和软件组合)的数据中心、一个或更多个超级计算机或高性能计算机系统中执行。在至少一个实施例中，如本文所述，硬件1322可包括任意数量的GPU，所述GPU可被调用以并行执行数据处理。在至少一个实施例中，云平台还可包括用于深度学习任务的GPU优化执行、机器学习任务或其他计算任务的GPU处理。在至少一个实施例中，可以使用AI/深度学习超级计算机和/或GPU优化的软件(例如，如在NVIDIA的DGX系统上提供的)作为硬件抽象和缩放平台，来执行云平台(例如，NVIDIA的NGC)。在至少一个实施例中，云平台可以在多个GPU上集成应用程序容器集群系统或协调系统(例如，KUBERNETES)，以允许无缝缩放和负载均衡。

图14是根据至少一个实施例的用于生成和部署成像部署管线的示例系统1400的系统图。在至少一个实施例中，系统1400可以用于实现图13的过程1300和/或其他过程，包括高级处理和推理管线。在至少一个实施例中，系统1400可以包括训练系统1304和部署系统1306。在至少一个实施例中，可以使用软件1318、服务1320和/或硬件1322，来实现训练系统1304和部署系统1306，如本文所述。

在至少一个实施例中，系统1400(例如，训练系统1304和/或部署系统1306)可以在云计算环境中(例如，使用云1426)实现。在至少一个实施例中，系统1400可以在本地实现(关于医疗服务设施)，或者作为云计算资源和本地计算资源的组合来实现。在至少一个实施例中，可以通过制定安全措施或协议，将对云1426中的API的访问权限限制为授权用户。在至少一个实施例中，安全协议可以包括网络令牌，其可以由认证(例如，AuthN、AuthZ、Gluecon等)服务签名，并且可以携带适当的授权。在至少一个实施例中，虚拟仪器的API(本文中描述)或系统1400的其他实例可以被限制为已被审核或授权用于交互的一组公共IP。

在至少一个实施例中，系统1400的各个组件可以使用多种不同网络类型中的任何一种在彼此之间进行通信，所述不同网络类型包括但不限于经由有线和/或无线通信协议的局域网(LAN)和/或广域网(WAN)。在至少一个实施例中，系统1400的设施和组件之间的通信(例如，用于发送推理请求、用于接收推理请求的结果等)可以通过一个或更多个数据总线、无线数据协议(Wi-Fi)、有线数据协议(例如以太网)等进行传送。

在至少一个实施例中，类似于本文关于图13所描述的，训练系统1304可以执行训练管线1404。在至少一个实施例中，其中部署系统1306将在部署管线1410中使用一个或更多个机器学习模型，训练管线1404可用于训练或重新训练一个或更多个(例如，预训练的)模型，和/或实现一个或更多个预训练模型1406(例如，无需重新训练或更新)。在至少一个实施例中，作为训练管线1404的结果，可以生成输出模型1316。在至少一个实施例中，训练管线1404可以包括任意数量的处理步骤，诸如但不限于成像数据(或其他输入数据)的转换或适配。在至少一个实施例中，对于由部署系统1306使用的不同的机器学习模型，可以使用不同的训练管线1404。在至少一个实施例中，类似于关于图13描述的第一示例的训练管线1404可用于第一机器学习模型，类似于关于图13描述的第二示例的训练管线1404可用于第二机器学习模型，类似于关于图13描述的第三示例的训练管线1404可用于第三机器学习模型。在至少一个实施例中，可以根据每个相对应机器学习模型的要求来使用训练系统1304内任务的任何组合。在至少一个实施例中，一个或更多个机器学习模型可能已经被训练并准备好用于部署，因此训练系统1304可能不会对机器学习模型进行任何处理，并且一个或更多个机器学习模型可以由部署系统1306来实现。

在至少一个实施例中，根据实现方式或实施例，输出模型1316和/或预训练模型1406可包括任何类型的机器学习模型。在至少一个实施例中并且不限于此，系统1400使用的机器学习模型可以包括使用线性回归、逻辑回归、决策树、支持向量机(SVM)、朴素贝叶斯、k-最近邻(Knn)、k均值聚类、随机森林、降维算法、梯度提升算法、神经网络(例如，自动编码器、卷积、递归、感知器、长/短期记忆(LSTM)、Hopfield、Boltzmann、深度信念、反卷积、生成对抗、液体状态机等)，和/或其他类型的机器学习模型。

在至少一个实施例中，训练管线1404可以包括AI辅助注释，如本文关于至少图15B更详细描述的。在至少一个实施例中，可以通过任何数量的技术来生成标记的临床数据1312(例如，传统注释)。在至少一个实施例中，在一些示例中可以在绘图程序(例如，注释程序)、计算机辅助设计(CAD)程序、标记程序、适用于生成地面实况的注释或标签的另一类型的应用程序中、和/或可以手绘，生成标签或其他注释。在至少一个实施例中，地面实况数据可以被合成产生(例如，从计算机模型或渲染生成)、真实产生(例如，从真实世界数据设计和生成)、机器自动产生(例如，使用特征分析和学习从数据中提取特征，然后生成标签)、人工注释(例如，标记器或注释专家，定义标签的位置)和/或其组合。在至少一个实施例中，对于成像数据1308(或机器学习模型使用的其他数据类型)的每个实例，可以存在由训练系统1304生成的相对应的地面实况数据。在至少一个实施例中，可以作为部署管线1410的一部分执行AI辅助注释；补充或代替训练管线1404中包括的AI辅助注释。在至少一个实施例中，系统1400可以包括多层平台，所述多层平台可以包括诊断应用程序(或其他应用程序类型)的软件层(例如软件1318)，其可以执行一个或更多个医学成像和诊断功能。在至少一个实施例中，系统1400可以通信地耦合到(例如，经由加密链路)一个或更多个设施的PACS服务器网络。在至少一个实施例中，系统1400可被配置为从PACS服务器访问和引用数据，以执行操作，例如训练机器学习模型、部署机器学习模型、图像处理、推理和/或其他操作。

在至少一个实施例中，软件层可以被实现为安全的、加密的和/或经认证的API，通过所述API可以从外部环境(例如，设施1302)援引(invoke)(例如，调用(call))应用程序或容器。在至少一个实施例中，应用程序随后可以调用或执行一个或更多个服务1320，以执行与各自的应用程序相关联的计算、AI或可视化任务，并且软件1318和/或服务1320可以利用硬件1322以有效和高效的方式执行处理任务。

在至少一个实施例中，部署系统1306可以执行部署管线1410。在至少一个实施例中，部署管线1410可以包括任意数量的应用程序，所述应用程序可以是顺序的、非顺序的，或者以其他方式应用于成像数据(和/或其他数据类型)-包括AI辅助注释，所述成像数据由成像设备、测序设备、基因组学设备等生成，如上所述。在至少一个实施例中，如本文所述，用于个体设备的部署管线1410可以被称为用于设备的虚拟仪器(例如，虚拟超声仪器、虚拟CT扫描仪器、虚拟测序仪器等)。在至少一个实施例中，对于单个设备，可以存在不止一个部署管线1410，这取决于从设备生成的数据所期望的信息。在至少一个实施例中，在期望从MRI机器检测到异常的情况下，可以存在第一部署管线1410，并且在期望从MRI机器的输出进行图像增强的情况下，可以存在第二部署管线1410。

在至少一个实施例中，图像生成应用程序可以包括包括使用机器学习模型的处理任务。在至少一个实施例中，用户可能希望使用他们自己的机器学习模型，或者从模型注册表1324中选择机器学习模型。在至少一个实施例中，用户可以实现他们自己的机器学习模型或选择机器学习模型，以包含在执行处理任务的应用程序中。在至少一个实施例中，应用程序可以是可选择的和可定制的，并且通过定义应用程序的构造，针对特定用户的应用程序的部署和实现被呈现为更加无缝的用户体验。在至少一个实施例中，通过利用系统1400的其他特征(例如服务1320和硬件1322)，部署管线1410可以更加用户友好，提供更容易的集成，并且产生更准确、高效和及时的结果。

在至少一个实施例中，部署系统1306可以包括用户接口1414(例如，图形用户接口、Web接口等)，所述用户接口可以被用于选择要包括在部署管线1410中的应用程序、布置应用程序、修改或改变应用程序或其参数或构造、在设置和/或部署期间使用部署管线1410以及与其交互，和/或以其他方式与部署系统1306交互。在至少一个实施例中，尽管没有关于训练系统1304示出，但是用户接口1414(或不同的用户接口)可用于选择在部署系统1306中使用的模型、用于选择用于在训练系统1304中训练或重新训练的模型，和/或用于以其他方式与训练系统1304交互。

在至少一个实施例中，除了应用程序协调系统1428之外，还可以使用管线管理器1412来管理部署管线1410的应用程序或容器与服务1320和/或硬件1322之间的交互。在至少一个实施例中，管线管理器1412可以被配置为促进从应用程序到应用程序、从应用程序到服务1320，和/或从应用程序或服务到硬件1322的交互。在至少一个实施例中，尽管示出为包括在软件1318中，这并不旨在进行限制，并且在一些示例中(例如，如图12cc所示)，管线管理器1412可以被包括在服务1320中。在至少一个实施例中，应用程序协调系统1428(例如，Kubernetes、DOCKER等)可以包括容器协调系统，其可以将应用程序分组到容器中，作为用于协调、管理、缩放和部署的逻辑单元。在至少一个实施例中，通过将来自部署管线1410的应用程序(例如，重建应用程序、分割应用程序等)与各个容器相关联，每个应用程序可以在自包含的环境(例如，在内核级)中执行，以提高速度和效率。

在至少一个实施例中，每个应用程序和/或容器(或其映像)可以被单独开发、修改和部署(例如，第一用户或开发者可以开发、修改和部署第一应用程序，第二用户或开发者可以开发、修改和部署与第一用户或开发者分开的第二应用程序)，这可以允许专注并关注单个应用程序和/或容器的任务，而不受另一个应用程序或容器的任务的阻碍。在至少一个实施例中，管线管理器1412和应用程序协调系统1428可以辅助不同容器或应用程序之间的通信和协作。在至少一个实施例中，只要每个容器或应用程序的预期输入和/或输出是系统已知的(例如，基于应用程序或容器的构造)，则应用程序协调系统1428和/或管线管理器1412可以促进每个应用程序或容器之间和之中的通信以及资源的共享。在至少一个实施例中，由于部署管线1410中的一个或更多个应用程序或容器可以共享相同的服务和资源，因此应用程序协调系统1428可以在各个应用程序或容器之间和之中进行协调、负载均衡，并确定服务或资源的共享。在至少一个实施例中，调度器可用于跟踪应用程序或容器的资源需求、这些资源的当前使用或计划使用，以及资源可用性。因此，在至少一个实施例中，考虑到系统的需求和可用性，调度器可以将资源分配给不同的应用程序，并在应用程序之间和之中分配资源。在一些示例中，调度器(和/或应用程序协调系统1428的其他组件)可以基于施加在系统上的约束(例如，用户约束)来确定资源可用性和分布，例如服务质量(QoS)、对数据输出的迫切需求(例如，以确定是执行实时处理还是延迟处理)等。

在至少一个实施例中，由部署系统1306中的应用程序或容器利用并由其共享的服务1320，可以包括计算服务1416、AI服务1418、可视化服务1420和/或其他服务类型。在至少一个实施例中，应用程序可以调用(例如，执行)一个或更多个服务1320，以执行针对应用程序的处理操作。在至少一个实施例中，应用程序可以利用计算服务1416来执行超级计算或其他高性能计算(HPC)任务。在至少一个实施例中，可以利用一个或更多个计算服务1416来执行并行处理(例如，使用并行计算平台1430)，以通过一个或更多个应用程序和/或单个应用程序的一个或更多个任务基本上同时地处理数据。在至少一个实施例中，并行计算平台1430(例如，NVIDIA的CUDA)可以在GPU(GPGPU)(例如，GPU1422)上允许通用计算。在至少一个实施例中，并行计算平台1430的软件层可以提供对GPU的虚拟指令集和并行计算元素的访问，以执行计算内核。在至少一个实施例中，并行计算平台1430可以包括存储器，并且在一些实施例中，可以在多个容器之间和之中，和/或在单个容器内的不同处理任务之间和之中共享存储器。在至少一个实施例中，可以为多个容器和/或容器内的多个进程生成进程间通信(IPC)调用，以使用于自并行计算平台1430的共享存储器段的相同数据(例如，其中一应用程序或多个应用程序的多个不同阶段正在处理相同的信息)。在至少一个实施例中，不是复制数据并将数据移动到存储器中的不同位置(例如，读/写操作)，而是可以将存储器相同位置中的相同数据用于任何数量的处理任务(例如，在同一时间、不同时间等)。在至少一个实施例中，由于作为处理的结果数据被用于生成新数据，因此数据的新位置的该信息可以在各个应用程序之间存储和共享。在至少一个实施例中，数据的位置以及经更新或修改的数据的位置可以是如何理解容器中的有效负载的定义的一部分。

在至少一个实施例中，可以利用AI服务1418来执行推理服务，该推理服务用于执行与应用程序相关联的机器学习模型(例如，任务为执行应用程序的一个或更多个处理任务)。在至少一个实施例中，AI服务1418可以利用AI系统1424来执行机器学习模型(例如，诸如CNN之类的神经网络)以用于分割、重建、对象检测、特征检测、分类和/或其他推理任务。在至少一个实施例中，部署管线1410的应用程序可以使用于自训练系统1304的一个或更多个输出模型1316和/或应用程序的其他模型，来对成像数据执行推理。在至少一个实施例中，使用应用程序协调系统1428(例如，调度器)进行推理的两个或更多个示例可以是可用的。在至少一个实施例中，第一类别可以包括高优先级/低延时路径，其可以实现更高服务水平协议，例如用于在紧急情况下对紧急请求执行推理，或者在诊断过程中用于放射科医生。在至少一个实施例中，第二类别可以包括标准优先级路径，其可用于可能不紧急的请求或者可以在稍后的时间执行分析的情况。在至少一个实施例中，应用程序协调系统1428可以基于优先级路径来分配资源(例如，服务1320和/或硬件1322)，以用于AI服务1418的不同推理任务。

在至少一个实施例中，共享存储器可以被安装到系统1400中的AI服务1418。在至少一个实施例中，共享存储器可以操作为高速缓存(或其他存储设备类型)，并且可以用于处理来自应用程序的推理请求。在至少一个实施例中，当提交推理请求时，部署系统1306的一组API实例可以接收请求，并且可以选择一个或更多个实例(例如，为了最佳拟合、为了负载均衡等)来处理请求。在至少一个实施例中，为了处理请求，可以将请求输入到数据库中，如果尚未在高速缓存中，则可以从模型注册表1324定位机器学习模型，验证步骤可以确保将适当的机器学习模型加载到高速缓存中(例如，共享存储)，和/或可以将模型的副本保存到高速缓存中。在至少一个实施例中，如果应用程序尚未运行或没有足够的应用程序的实例，则可使用调度器(例如，管线管理器1412的调度器)来启动在请求中引用的应用程序。在至少一个实施例中，如果尚未启动推理服务器来执行模型，则可以启动推理服务器。每个模型可以启动任意数量的推理服务器。在至少一个实施例中，在将推理服务器聚类的拉(pull)模型中，每当负载均衡有利时，就可以将模型高速缓存。在至少一个实施例中，推理服务器可以静态加载到相应的分布式服务器中。

在至少一个实施例中，可以使用在容器中运行的推理服务器来执行推理。在至少一个实施例中，推理服务器的实例可以与模型(并且可选地与模型的多个版本)相关联。在至少一个实施例中，如果在接收到对模型执行推理的请求时推理服务器的实例不存在，则可以加载新实例。在至少一个实施例中，当启动推理服务器时，可以将模型传递到推理服务器，使得可以使用相同的容器来服务不同的模型，只要推理服务器作为不同的实例运行即可。

在至少一个实施例中，在应用程序执行期间，可以接收对给定应用程序的推理请求，并且可以加载(如果尚未加载的话)容器(例如，托管推理服务器的实例)，以及可以调用启动程序。在至少一个实施例中，容器中的预处理逻辑可以(例如，使用CPU和/或GPU)对传入的数据进行加载、解码和/或执行任何附加的预处理。在至少一个实施例中，一旦数据准备好进行推理，容器就可以根据需要对数据进行推理。在至少一个实施例中，这可以包括对一个图像(例如，手部X光线)的单个推理调用，或可要求对数百个图像(例如，胸部CT)进行推理。在至少一个实施例中，应用程序可在完成之前总结结果，其可以包括但不限于单个置信度得分、像素级分割、体素级分割、生成可视化或生成文本以总结结果。在至少一个实施例中，可以为不同的模型或应用程序分配不同的优先级。例如，一些模型可具有实时(TAT小于1分钟)优先级，而其他模型可具有较低的优先级(例如，TAT小于10分钟)。在至少一个实施例中，模型执行时间可以从请求机构或实体进行测量，并且可以包括合作网络遍历时间以及推理服务的执行时间。

在至少一个实施例中，请求在服务1320和推理应用程序之间的传送可以隐藏在软件开发工具包(SDK)后面，并且可以通过队列提供鲁棒的传输。在至少一个实施例中，将通过API将请求放置在队列中，以用于个体应用程序/租户ID组合，并且SDK将从队列中拉取请求并将请求提供给应用程序。在至少一个实施例中，在SDK将从中拾取队列的环境中，可以提供队列的名称。在至少一个实施例中，通过队列的异步通信可能有用，因为它可以允许应用程序的任何实例在其可用时拾取工作。可以通过队列将结果传送回去，以确保没有数据丢失。在至少一个实施例中，队列还可以提供对工作进行分割的能力，因为最高优先级的工作可以进入与应用程序的大多数实例连接的队列，而最低优先级的工作可以进入与单个实例连接的队列，所述实例按照接收到的顺序处理任务。在至少一个实施例中，应用程序可以在GPU加速的实例上运行，所述实例在云1426中生成，并且推理服务可以在GPU上执行推理。

在至少一个实施例中，可以利用可视化服务1420来生成用于查看应用程序和/或部署管线1410输出的可视化。在至少一个实施例中，可视化服务1420可以利用GPU1422来生成可视化。在至少一个实施例中，可视化服务1420可以实现诸如光线追踪之类的渲染效果，以生成更高质量的可视化。在至少一个实施例中，可视化可以包括但不限于2D图像渲染、3D体渲染、3D体重建、2D层析切片、虚拟现实显示、增强现实显示等。在至少一个实施例中，可以使用虚拟化环境来生成虚拟交互显示或环境(例如，虚拟环境)，以供系统用户(例如，医生、护士、放射科医生等)进行交互。在至少一个实施例中，可视化服务1420可以包括内部可视化器、电影和/或其他渲染或图像处理能力或功能(例如，光线追踪、光栅化、内部光学器件等)。

在至少一个实施例中，硬件1322可以包括GPU 1422、AI系统1424、云1426和/或用于执行训练系统1304和/或部署系统1306的任何其他硬件。在至少一个实施例中，GPU 1422(例如，NVIDIA的TESLA和/或QUADRO GPU)可包括可用于执行计算服务1416、AI服务1418、可视化服务1420、其他服务和/或软件1318的任何特征或功能的处理任务的任意数量的GPU。例如，对于AI服务1418，GPU 1422可用于对成像数据(或机器学习模型使用的其他数据类型)执行预处理，对机器学习模型的输出执行后处理和/或执行推理(例如以执行机器学习模型)。在至少一个实施例中，云1426、AI系统1424和/或系统1400的其他组件可以使用GPU1422。在至少一个实施例中，云1426可以包括用于深度学习任务的GPU优化的平台。在至少一个实施例中，AI系统1424可以使用GPU，并且可以使用一个或更多个AI系统1424来执行云1426(或者任务为深度学习或推理的至少部分)。同样，尽管硬件1322被示出为离散组件，但这并不意图是限制，并且硬件1322的任何组件可以与硬件1322的任何其他组件组合，或由硬件1322的任何其他组件利用。

在至少一个实施例中，AI系统1424可包括专门构建的计算系统(例如，超级计算机或HPC)，该计算系统配置用于推理、深度学习、机器学习和/或其他人工智能任务。在至少一个实施例中，除了CPU、RAM、存储器和/或其他组件、特征或功能之外，AI系统1424(例如，NVIDIA的DGX)还可以包括可以使用多个GPU1422来执行分GPU优化的软件(例如，软件栈)。在至少一个实施例中，可以在云1426中(例如，在数据中心中)实现一个或更多个AI系统1424，以执行系统1400的一些或全部基于AI的处理任务。

在至少一个实施例中，云1426可以包括GPU加速的基础设施(例如，NVIDIA的NGC)，其可以提供用于执行系统1400的处理任务的GPU优化的平台。在至少一个实施例中，云1426可以包括AI系统1424，其用于执行系统1400的一个或更多个基于AI的任务(例如，作为硬件抽象和缩放平台)。在至少一个实施例中，云1426可以与利用多个GPU的应用程序协调系统1428集成，以允许应用程序和服务1320之间和之中的无缝缩放和负载均衡。在至少一个实施例中，如本文所述，云1426可以负责执行系统1400的至少一些服务1320，包括计算服务1416、AI服务1418和/或可视化服务1420。在至少一个实施例中，云1426可以执行大小批的推理(例如，执行NVIDIA的TENSORRT)，提供加速的并行计算API和平台1430(例如，NVIDIA的CUDA)，执行应用程序协调系统1428(例如，KUBERNETES)，提供图形渲染API和平台(例如，用于光线跟踪，2D图形、3D图形和/或其他渲染技术以产生更高质量的电影效果)，和/或可以为系统1400提供其他功能。

图15A示出了根据至少一个实施例的用于训练、重新训练或更新机器学习模型的过程1500的数据流图。在至少一个实施例中，可以使用作为非限制性示例的图14的系统1400来执行过程1500。在至少一个实施例中，过程1500可以利用系统1400的服务1320和/或硬件1322，如本文所述。在至少一个实施例中，由过程1500生成的精炼模型1512可以由部署系统1306针对部署管线1410中的一个或更多个容器化的应用程序执行。

在至少一个实施例中，模型训练1314可包括使用新的训练数据(例如，新的输入数据(诸如客户数据集1506)，和/或与输入数据相关联的新的地面实况数据)重新训练或更新初始模型1504(例如，预训练模型)。在至少一个实施例中，为了重新训练或更新初始模型1504，可以重置或删除初始模型1504的输出或损失层，和/或用更新的或新的输出或损失层代替。在至少一个实施例中，初始模型1504可以具有从先前的训练中保留下来的先前精细调整的参数(例如，权重和/或偏差)，因此训练或重新训练1314可能不需要花费与从头开始训练模型一样长的时间或不需要那么多的处理。在至少一个实施例中，在模型训练1314期间，通过重置或替换初始模型1504的输出或损失层，在新的客户数据集1506(例如图13的图像数据1308)上生成预测时，可以基于与输出或损失层的精度相关联的损失计算，更新和重新调整新数据集的参数。

在至少一个实施例中，可以将经预训练的模型1406存储在数据存储或注册表中(例如，图13的模型注册表1324)。在至少一个实施例中，经预训练的模型1406可能已经至少部分地在除了执行过程1500的设施之外的一个或更多个设施处被训练。在至少一个实施例中，为了保护患者、受试者或不同设施的客户的隐私和权利，经预训练的模型1406可能已经使用本地生成的客户或患者数据在本地进行了训练。在至少一个实施例中，可以使用云1426和/或其他硬件1322来训练经预训练的模型1406，但是机密的、受隐私保护的患者数据可以不被传送到云1426的任何组件(或其他非本地硬件)、由其使用或由其访问。在至少一个实施例中，如果使用于自不止一个设施的患者数据来训练经预训练的模型1406，则在来自另一设施的患者或客户数据上进行训练之前，经预训练的模型1406可能已经针对每个设施进行了单独训练。在至少一个实施例中，例如在客户或患者数据已发布隐私问题(例如，通过放弃，用于实验用途等)，或者其中客户或患者数据包括在公共数据集中的情况下，来自任意数量的设施的客户或患者数据可以用于在本地和/或外部训练经预训练的模型1406，例如在数据中心中或其他云计算基础设施中。

在至少一个实施例中，在选择应用程序以在部署管线1410中使用时，用户还可以选择用于特定应用程序的机器学习模型。在至少一个实施例中，用户可能没有模型以使用，因此用户可以选择要与应用程序一起使用的经预训练的模型1406。在至少一个实施例中，经预训练的模型1406可能没有被优化用于在用户设施的客户数据集1506上生成准确的结果(例如，基于患者多样性、人口统计、所使用的医学成像设备的类型等)。在至少一个实施例中，在将经预训练的模型1406部署到部署管线1410中以与一个或更多个应用程序一起使用之前，经预训练的模型1406可以被更新、重新训练和/或微调，以用于在各个设施处使用。

在至少一个实施例中，用户可以选择要更新、重新训练和/或微调的经预训练的模型1406，并且经预训练的模型1406可以称为过程1500中训练系统1304的初始模型1504。在至少一个实施例中，客户数据集1506(例如，成像数据、基因组数据、测序数据或由设施处的设备生成的其他数据类型)可用于对初始模型1504执行模型训练1314(其可包括但不限于传递学习)，以生成精炼模型1512。在至少一个实施例中，可以由训练系统1304生成与客户数据集1506相对应的地面实况数据。在至少一个实施例中，可以至少部分地由临床医生、科学家、医生、从业者在设施处生成地面实况数据(例如，如图13中的标记的临床数据1312)。

在至少一个实施例中，在一些示例中可以使用AI辅助注释1310来生成地面实况数据。在至少一个实施例中，AI辅助注释1310(例如，使用AI辅助注释SDK实现)可以利用机器学习模型(例如，神经网络)来生成用于客户数据集的建议或预测的地面实况数据。在至少一个实施例中，用户1510可以在计算设备1508上的用户界面(图形用户界面(GUI))内使用注释工具。

在至少一个实施例中，用户1510可以经由计算设备1508与GUI交互，以编辑或微调注释或自动注释。在至少一个实施例中，多边形编辑特征可以用于将多边形的顶点移动到更精确或微调的位置。

在至少一个实施例中，一旦客户数据集1506具有相关联的地面实况数据，则地面实况数据(例如，来自AI辅助注释、手动标记等)可以在模型训练1314期间用于生成精炼模型1512。在至少一个实施例中，客户数据集1506可以被应用到初始模型1504任意次数，并且地面实况数据可以用于更新初始模型1504的参数，直到对于精炼模型1512达到可接受的精度水平为止。在至少一个实施例中，一旦生成精炼模型1512，就可以在设施处的一个或更多个部署管线1410内部署精炼模型1512，以用于执行关于医学成像数据的一个或更多个处理任务。

在至少一个实施例中，可以将精炼模型1512上传到模型注册表1324中的经预训练的模型1406，以由另一个设施选择。在至少一个实施例中，他的过程可以在任意数量的设施处完成，使得可以在新数据集上对精炼模型1512进一步精炼任意次数，以生成更通用的模型。

图15B是根据至少一个实施例的用于利用经预训练的注释模型来增强注释工具的客户端-服务器架构1532的示例图示。在至少一个实施例中，可以基于客户端-服务器架构1532来实例化AI辅助注释工具1536。在至少一个实施例中，成像应用程序中的注释工具1536可以帮助放光线医生，例如识别器官和异常。在至少一个实施例中，成像应用程序可以包括软件工具，作为非限制性示例，所述软件工具帮助用户1510识别原始图像1534中(例如，在3DMRI或CT扫描中)的特定感兴趣器官上的几个极值点，并接收特定器官的所有2D切片的自动注释结果。在至少一个实施例中，结果可以作为训练数据1538存储在数据存储中，并且用作(例如但不限于)用于训练的地面实况数据。在至少一个实施例中，当计算设备1508发送用于AI辅助注释1310的极值点时，例如，深度学习模型可以接收该数据作为输入并返回分割器官或异常的推理结果。在至少一个实施例中，预实例化的注释工具(例如图15B中的AI辅助注释工具1536B)可以通过对服务器(诸如注释助手服务器1540)进行API调用(例如API调用1544)来增强，注释助手服务器1540可包括存储在例如注释模型注册表中的一组经预训练的模型1542。在至少一个实施例中，注释模型注册表可以存储经预训练的模型1542(例如，机器学习模型，诸如深度学习模型)，其被预训练以对特定器官或异常执行AI辅助注释。在至少一个实施例中，可以通过使用训练管线1404来进一步更新这些模型。在至少一个实施例中，随着添加新标记的临床数据1312，可以随时间改进预安装的注释工具。

此类组件可以用于从音频数据确定一个或更多个情绪值。

其他其他变型在本公开的精神内。因此，尽管公开的技术易于进行各种修改和替代构造，但是某些示出的其实施例在附图中示出并且已经在上面进行了详细描述。然而，应理解，无意将公开内容限制为所公开的一种或更多种特定形式，而是相反，其意图是涵盖落入如所附权利要求书所定义的本公开内容的精神和范围内的所有修改、替代构造和等同物。

除非另有说明或显然与上下文矛盾，否则在描述所公开的实施例的上下文中(特别是在所附权利要求的上下文中)，术语“一”和“一个”和“该”以及类似指代的使用应被解释为涵盖单数和复数，而不是作为术语的定义。除非另有说明，否则术语“包括”、“具有”、“包含”和“含有”应被解释为开放式术语(意味着“包括但不限于”)。术语“连接”(在未经修改时指的是物理连接)应解释为部分或全部包含在内、附接到或连接在一起，即使有某些介入。除非本文另外指出，否则本文中对数值范围的引用仅旨在用作分别指代落入该范围内的每个单独值的简写方法，并且每个单独值都被并入说明书中，就如同其在本文中被单独叙述一样。除非另外指出或与上下文矛盾，否则术语“集”(例如“项目集”)或“子集”的使用应解释为包括一个或更多个成员的非空集合。此外，除非另外指出或与上下文矛盾，否则术语相对应集的“子集”不一定表示对应集的适当子集，而是子集和对应集可以相等。

除非以其他方式明确指出或与上下文明显矛盾，否则诸如“A，B和C中的至少一个”或“A，B与C中的至少一个”形式的短语之类的连接语在上下文中理解为通常用于表示项目、条款等，其可以是A或B或C，也可以是A和B和C集的任何非空子集。例如，在具有三个成员的集的说明性示例中，连接短语“A，B和C中的至少一个”和“A，B与C中的至少一个”是指以下任意集：{A}，{B}，{C}，{A，B}，{A，C}，{B，C}，{A，B，C}。因此，这种连接语言通常不旨在暗示某些实施例要求存在A中的至少一个，B中的至少一个和C中的至少一个。另外，除非另有说明或与上下文矛盾，否则术语“多个”表示复数的状态(例如，“多个项目”表示多个项目)。多个项目中项目的数量至少为两个，但如果明确指示或通过上下文指示，则可以更多。此外，除非另有说明或从上下文中可以清楚得知，否则短语“基于”是指“至少部分基于”而不是“仅基于”。

除非本文另外指出或与上下文明显矛盾，否则本文描述的过程的操作可以任何合适的顺序执行。在至少一个实施例中，诸如本文所述的那些过程(或其变形和/或其组合)之类的过程在配置有可执行指令的一个或更多个计算机系统的控制下执行，并且被实现为代码(例如，可执行指令，一个或更多个计算机程序或一个或更多个应用程序)，该代码通过硬件或其组合在一个或更多个处理器上共同执行。在至少一个实施例中，代码以例如计算机程序的形式存储在计算机可读存储介质上，该计算机程序包括可由一个或更多个处理器执行的多个指令。在至少一个实施例中，计算机可读存储介质是非暂时性计算机可读存储介质，其排除了暂时性信号(例如，传播的瞬态电或电磁传输)，但包括非暂时性数据存储电路(例如，缓冲区、高速缓存和队列)。在至少一个实施例中，代码(例如，可执行代码或源代码)被存储在其上存储有可执行指令的一组一个或更多个非暂时性计算机可读存储介质(或用于存储可执行指令的其他存储器)上，该可执行指令在由计算机系统的一个或更多个处理器执行时(即，作为被执行的结果)，使得计算机系统执行本文所述的操作。在至少一个实施例中，一组非暂时性计算机可读存储介质包括多个非暂时性计算机可读存储介质，并且多个非暂时性计算机可读存储介质中的个体非暂时性存储介质中的一个或更多个缺少全部代码，而是多个非暂时性计算机可读存储介质共同存储全部代码。在至少一个实施例中，可执行指令被执行，以使得不同的指令由不同的处理器执行，例如，非暂时性计算机可读存储介质存储指令，并且主中央处理单元(“CPU”)执行一些指令，而图形处理单元(“GPU”)执行其他指令。在至少一个实施例中，计算机系统的不同组件具有单独的处理器，并且不同的处理器执行指令的不同子集。

因此，在至少一个实施例中，计算机系统被配置为实现单独地或共同地执行本文所述的过程的操作的一个或更多个服务，并且这样的计算机系统被配置有允许实施操作的适用的硬件和/或软件。此外，实现本公开的至少一个实施例的计算机系统是单个设备，并且在另一实施例中是分布式计算机系统，其包括以不同方式操作的多个设备，使得分布式计算机系统执行本文所述的操作，并且使得单个设备不执行所有操作。

本文提供的任何和所有示例或示例性语言(例如，“诸如”)的使用仅旨在更好地阐明本公开的实施例，并且不对公开的范围构成限制，除非另有要求。说明书中的任何语言都不应被解释为表示任何未要求保护的要素对于实践公开内容是必不可少的。

本文引用的所有参考文献，包括出版物、专利申请和专利，均通过引用并入本文，其程度就如同每个参考文献被单独且具体地指示为以引用的方式并入本文并且其全部内容在本文中阐述一样。

在说明书和权利要求中，可以使用术语“耦合”和“连接”以及它们的派生词。应当理解，这些术语可能不旨在作为彼此的同义词。相反，在特定示例中，“连接”或“耦合”可用于指示两个或更多个元件彼此直接或间接物理或电接触。“耦合”也可能意味着两个或更多个元素彼此不直接接触，但仍彼此协作或交互。

除非另有明确说明，否则可以理解，在整个说明书中，诸如“处理”、“计算”、“计算”、“确定”等之类的术语，是指计算机或计算系统或类似的电子计算设备的动作和/或过程，其将计算系统的寄存器和/或存储器中表示为物理量(例如电子)的数据处理和/或转换为类似表示为计算系统的存储器、寄存器或其他此类信息存储、传输或显示设备中的物理量的其他数据。

以类似的方式，术语“处理器”可以指处理来自寄存器和/或存储器的电子数据并将该电子数据转换成可以存储在寄存器和/或存储器中的其他电子数据的任何设备或存储器的一部分。作为非限制性示例，“处理器”可以是CPU或GPU。“计算平台”可以包括一个或更多个处理器。如本文所使用的，“软件”进程可以包括例如随时间执行工作的软件和/或硬件实体，诸如任务、线程和智能代理。同样，每个过程可以指代多个过程，以连续地或间歇地顺序地或并行地执行指令。术语“系统”和“方法”在本文中可以互换使用，只要系统可以体现一种或更多种方法，并且方法可以被认为是系统。

在本文件中，可以参考获得、获取、接收或将模拟或数字数据输入子系统、计算机系统或计算机实现的机器中。可以通过多种方式来获得、获取、接收或输入模拟和数字数据，例如通过接收作为函数调用或对应用程序编程接口的调用的参数的数据。在一些实现方式中，可以通过经由串行或并行接口传输数据来完成获得、获取、接收或输入模拟或数字数据的过程。在另一实现方式中，可以通过经由计算机网络将数据从提供实体传输到获取实体来完成获得、获取、接收或输入模拟或数字数据的过程。也可以参考提供、输出、传送、发送或呈现模拟或数字数据。在各种示例中，提供、输出、传送、发送或呈现模拟或数字数据的过程可以通过将数据作为函数调用的输入或输出参数、应用程序编程接口或进程间通信机制的参数进行传输来实现。

尽管上面的讨论阐述了所描述的技术的示例实现，但是其他架构可以用于实现所描述的功能，并且旨在落入本公开的范围内。此外，尽管出于讨论的目的在上面定义了具体的职责分配，但是根据情况，可以以不同的方式分配和划分各种功能和职责。

此外，尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但是应当理解，所附权利要求书所要求保护的主题不必限于所描述的特定特征或动作。而是，公开了特定的特征和动作作为实现权利要求的示例性形式。

Claims (20)

1.一种计算机实现的方法，包括：

使用基于转换器的神经网络并至少部分地基于表示语音的音频数据，计算指示一种或更多种情绪的一个或更多个值；

至少部分地基于所述一个或更多个值，确定所述一种或更多种情绪中的至少一种情绪与所述语音相对应；以及

至少部分地基于所述至少一种情绪，执行一个或更多个操作。

2.根据权利要求1所述的计算机实现的方法，其中所述一个或更多个值包括所述一种或更多种情绪中的每种情绪的相应的一个或更多个概率值，并且所述一个或更多个值被归一化并求和为绝对值。

3.根据权利要求1所述的计算机实现的方法，其中所述一种或更多种情绪包括愤怒、厌恶、恐惧、喜悦、悲伤或中性情绪中的至少一种。

4.根据权利要求1所述的计算机实现的方法，进一步包括：

提供用于接收与所述一个或更多个值的一个或更多个调整相对应的用户输入的界面。

5.根据权利要求4所述的计算机实现的方法，进一步包括：

通过所述界面接收一种或更多种情绪强度值，用于相对于所述一种或更多种情绪中的被确定为与所述语音对应的至少一种其他情绪对所述至少一种情绪进行加权。

6.根据权利要求4所述的计算机实现的方法，进一步包括：

通过所述界面接收对应于所述一种或更多种情绪的一个或更多个先前值；以及

将所述一个或更多个先前值与所述一个或更多个值混合以生成一个或更多个混合值，

其中，确定所述一种或更多种情绪中的所述至少一种情绪对应于所述语音是至少部分地基于所述一个或更多个混合值。

7.根据权利要求6所述的计算机实现的方法，进一步包括：

接收对应于所述一种或更多种情绪的一个或更多个先前的情绪强度值，所述一个或更多个先前的情绪强度值指示将在所述一个或更多个先前值与所述一个或更多个值的混合中使用的一个或更多个权重。

8.根据权利要求1所述的计算机实现的方法，进一步包括：

为所述音频数据中的一组关键帧的每个关键帧确定所述一种或更多种情绪的一个或更多个概率值，所述一个或更多个概率值是使用给定音频片段的音频数据的滑动窗口来确定的。

9.根据权利要求8所述的计算机实现的方法，进一步包括：

在多次迭代中平滑对应于所述一种或更多种情绪的所述一个或更多个值。

10.根据权利要求1所述的计算机实现的方法，其中所述音频数据使用音频文件格式表示。

11.一种处理器，包括：

一个或更多个处理单元，用于：

提供音频文件格式的音频数据作为转换器神经网络的输入；

使用所述转换器神经网络并至少部分地基于所述音频数据，

计算指示与所述音频数据相对应的一种或更多种情绪的一个或更多个值；以及

至少部分地基于所述一种或更多种情绪中的至少一种情绪与所述音频数据相对应的确定，执行一个或更多个操作。

12.根据权利要求11所述的处理器，其中所述一种或更多种情绪包括预定的一组情绪，其中所述预定的一组情绪至少包括愤怒、厌恶、恐惧、喜悦、悲伤或中性。

13.根据权利要求11所述的处理器，其中所述一个或更多个处理单元进一步用于：

至少部分地基于与所述一种或更多种情绪中的各个情绪相对应的一个或更多个情绪强度值，对所述一个或更多个值进行加权，

其中，至少部分地基于一个或更多个加权值执行所述一个或更多个操作。

14.根据权利要求11所述的处理器，其中所述一个或更多个处理单元进一步用于：

接收对应于所述一种或更多种情绪的一个或更多个先前值；以及

将所述一个或更多个先前值与所述一个或更多个值混合以生成一个或更多个混合值，

其中，确定所述一种或更多种情绪中的所述至少一种情绪对应于所述音频数据是至少部分地基于所述一个或更多个混合值。

15.根据权利要求11所述的处理器，其中所述音频文件格式包括未压缩的音频文件格式、无损压缩音频文件格式或有损压缩音频文件格式中的至少一种。

16.一种系统，包括：

一个或更多个处理单元，用于：

使用转换器神经网络并至少部分地基于表示语音的音频数据，计算指示一种或更多种情绪对应于所述语音的概率的一个或更多

个第一值；

使用神经网络并至少部分地基于所述一个或更多个第一值和

所述音频数据，计算指示对应于虚拟对象的一个或更多个特征点的一个或更多个位置的一个或更多个第二值；以及

至少部分地基于所述一个或更多个第二值来渲染所述虚拟对

象。

17.根据权利要求16所述的系统，其中所述音频数据对应于音频文件格式。

18.根据权利要求16所述的系统，其中所述音频数据使用所述转换器神经网络以音频文件格式进行处理，并且所述音频数据使用所述神经网络以图像文件格式进行处理。

19.根据权利要求16所述的系统，其中所述一个或更多个特征点对应于所述虚拟对象的一个或更多个面部特征或一个或更多个身体特征。

20.根据权利要求16的所述系统，其中所述系统包括以下中的至少一个：

用于执行模拟操作的系统；

用于执行数字孪生操作的系统；

用于执行光传输模拟的系统；

用于执行3D资产的协作内容创建的系统；用于执行深度学习操作的系统；

使用边缘设备实现的系统；

利用机器人实现的系统；

用于执行对话式人工智能操作的系统；用于生成合成数据的系统；

包含一个或更多个虚拟机(VM)的系统；至少部分在数据中心中实现的系统；或至少部分地使用云计算资源实现的系统。