CN114730407A - 使用神经网络对工作环境中的人类行为进行建模 - Google Patents

Abstract

一种用于对人类行为进行建模的系统和方法，包括由分类器模块从监测与工作任务相关联的人类行为的一个或多个传感器接收传感器数据，以及基于训练的神经网络来识别人类行为的类型。预测模块从分类器接收所识别的人类行为类型并基于由训练的神经网络学习的位置向量的时间序列来生成表示预测的下一个或多个人类动作的预测数据。渲染模块将预测数据转换成虚拟人类模拟模型的视觉渲染。

Description

使用神经网络对工作环境中的人类行为进行建模

技术领域

本申请涉及数字建模。更具体地，本申请涉及使用神经网络对人类行为进行数字建模。

背景技术

在制造环境中，存在许多影响人类工人的性能的因素。在工厂地面、组装操作和类似环境的设计中使用的软件系统依赖于数字工作环境中数字字符的简单预定动画来评估诸如安全性、人机工学和其它人为因素之类的事情。

为了人机工学分析的目的，存在用于在虚拟环境中可视地渲染在虚拟产品上执行工作任务的虚拟人类的仿真软件工具。虚拟人类可以与各种工人群体以及测试产品和工作环境设计匹配，以对抗人为因素，例如伤害、风险、用户舒适度、可达性、视线、能量消耗和疲劳限度。虚拟人类在人体测量学和生物力学上是准确的。然而，这些工具的限制是缺乏虚拟人类对真实和当前环境的适应。相反，现有解决方案依赖于始终遵循相同脚本的预编程人类行为模型。

发明内容

根据本公开的实施例的各方面包括在人类行为数字建模中提供更大灵活性和来自虚拟人类的更自然响应的方法和系统。数据驱动建模可以由神经网络(例如，人工神经网络、自组织映射等)执行，以基于由一个或多个传感器观察和捕获的实际人类行为来确定行为模式和决策。虚拟人类的行为(数字模型)可以由神经网络所学习的行为来驱动。因此，对于先前未观察到的上下文和环境，虚拟人类行为模型可以在脚本化环境之外的各种环境和情形中提供人类行为的可预测性。该模型可用于预测特定环境和情形参数集合的最可能的人类行为(例如，身体位置)。预测可用于产生更安全的工厂设计、改善人机工学并有助于避免身体伤害。

附图说明

参考以下附图描述本实施例的非限制性和非穷举性实施例，其中除非另有说明，否则在所有附图中相同的附图标记表示相同的元件。

图1示出根据本公开的实施例的用于训练神经网络以产生虚拟人类行为模型的过程的流程图示例。

图2示出根据本公开的实施例的由虚拟模型表示的人类活动的示例。

图3示出根据本公开的实施例的用于操作虚拟人类行为模型的过程的流程图示例。

图4示出根据本公开的实施例的用于虚拟人类渲染的转换处理的流程图示例。

图5示出根据本公开的实施例的用于执行人类行为建模的应用模块的示例集合。

图6示出其中可以实现本公开的实施例的计算环境示例的框图。

具体实施方式

本公开的方法和装置提供了跨各种工作设置对人类行为进行数字建模的过程。所得到的模型可以预测人将如何根据各种物理位置来着手处理工作任务，这可以产生下述的优点。可针对安全性和人机工学优化工厂设置的增强设计。可以更好地预测对设备的可能损害(例如，人在设备的薄弱点上施加力)。可以基于不同的人体体格(例如高度和围长的变化)来生成实体人类建模，以改进对给定工作环境和/或任务的潜在人身事故的预测。虚拟模型可以具有宽范围的环境和情形参数，使得对于所提出的环境的模拟的人类行为的预测可以具有很高的成功可能性。还包括用于建模的人为因素参数，其可以提供额外的支持，用于预测驱动人类以特定方式表现通用行为和局部受影响行为(如果有的话)的行为(例如，基于人类领域的文化背景和解剖比参数的行为特性，其可能在特定地理区域-北美、南美、亚洲等内普遍)。例如，训练用于本地化工作环境的机器学习模型(例如，神经网络)可以提供用于准确预测本地工人在特定工作设施中将如何表现的定制模型。使用机器学习模型来处理观察结果，所得到的模型对于行为是否受到心理或生理因素的影响是不可知的，因为该模型依赖于通过多个观察结果的学习。得到的模型可以基于先前观察到的动作，使用常用传感器通过与实时活动并行地运行(即，将模型作为关于真实世界的数字孪生来运行)并将真实世界的当前状态与模型进行比较来预测随后的人类动作。

图1示出了根据本公开的实施例的用于训练虚拟人类行为模型的过程的流程图示例。过程100包括虚拟人类行为模型130，其从捕获传感器120接收训练输入以用于数据驱动行为建模。活动110可以包括要由捕获传感器120观察的各种环境内的各种真实人类行为。人类行为模型130的各方面包括实现为神经网络(例如，人工神经网络(ANN))、自组织映射或它们的一些变型。可以使用从基于云的档案124或本地数据存储125接收的注释训练数据通过监督训练来将人类行为模型130训练为分类器，以生成分类，对照注释标签来检查分类以产生误差140。当误差率降低到阈值容限时，虚拟人类行为模型130的训练被认为完成。

在一个方面，可以训练虚拟人类行为模型130来推断预测的下一个身体位置和速度。作为用于这种目标的训练数据，每个训练图像可以被标记为包括被观察的人类对象上的注释骨架标记和空间中的编码3D位置，以及速度向量。例如，可以使用运动捕获(“mo-cap”)技术，使用为这种输入配置的捕获传感器120(例如，生成用相机相对于对象的编码3D位置注释的标记图像的相机)来产生训练数据。在训练过程100期间，虚拟人类行为模型130学习与输入图像相关的地面真值/标签。在训练过程100之后，然后可以在运行时模式中应用虚拟人类行为模型130来处理人类行为的实时图像(例如，作为捕获的视频的快照)，并且产生具有与预期的下一个身体位置和速度有关的信息的分类器输出，这将在后面更详细地描述。

捕获传感器120可以是RGB相机、深度感测相机(例如，2.5D、3D、4D)、红外相机、多光谱成像和类似传感器中的一个或多个。捕获传感器120的输入110可以包括在与物理世界(包括工作产品和/或生产设备)交互时由诸如工厂或生产设置等环境中由真实人类所观察到的动作。在一个实施例中，可以在设计阶段对特定的工作设施执行训练过程100，以针对安全、人机工学和生产率因素优化布局。捕获传感器120的目标是在各个方面相对于场景定位，以便累积存储在数据库125中的训练数据。随着时间的推移，观察可以在不同设置中和不同工作产品中的真实人类的操作和交互的各种情形中变化。

训练的虚拟人类行为模型130可以被配置为分类器，以响应于各个工作情形和环境中的特定任务来识别情形和环境参数以及相关的人类行为。在训练过程100期间，神经网络或其他机器学习模型可以接收训练数据以增强与预测作为人类行为的动作相关的参数。存在许多人类行为状态的示例，其可能无法通过常规编程方法来准确地建模，这些常规编程方法依赖于对每一类似情形应用预定选择。例如，这种行为状态可以包括人类如何响应被丢弃的项目，这基于他的经验和外部实时因素(例如，运动、速度、方向等)。而且，人可以取决于情形的动态而表现出类似情形的复杂行为模式，并且行为可以基于处理这种动态情形的经验而演变。由于程序员主要被迫基于应用于类似情形的预定选择来对虚拟人类建模，所以所公开的过程100在扩展的一组情形参数上使用数据驱动学习来扩展虚拟人类建模，超出程序员能够考虑的内容。与可忽略参数(例如，一天中的时间对人类动作和选择的影响)的人类程序员不同，虚拟人类行为模型130在许多观察试验(例如，数千次试验)中结合所学习的人类行为来考虑所有可用的情形参数。例如，捕获传感器可以捕获人类动作、姿势、表现的情绪、与同伴队友的二元交互，以及其他可能的人的响应，用于动作决策和行为的稳健建模。

在一个实施例中，训练过程100可以包括从传感器120捕获传感器数据的一个或多个实况馈送(例如，在特定背景内的特定任务中的人类活动的图像)，同时与先前记录并保存到数据库125的类似事件的先前样本图像(例如，标记图像)进行比较。可替换地或附加地，训练输入可以是静止图像、视频剪辑，或从与感兴趣的任务相关的数据存储(诸如基于云的数据124)馈送的其它数据。机器学习可以为每个训练试验提取给定任务、情形和环境的人类活动。

训练过程100包括由神经网络的层处理的输入的多次迭代，直到有收敛为止，标记训练的结论。例如，神经网络实施例的损失函数层可以将分类输出与地面真值进行比较以计算误差。许多试验的误差率可以被计算为趋势或平均值，当完成模型的机器学习时，该趋势或平均值可以最终降低到预定容差值以下。生成最佳虚拟人类行为模型130，其中以高成功率预测人类行为的可变性。实现最佳模型130的第一步是通过包括训练数据的高可变性。另外，当在稍后的预测操作阶段期间检测到错误时，通过神经网络的连续学习来进一步优化模型130，然后可以用补充的训练数据来重新训练神经网络，以解决与产生的误差相关的人类对象的类型、环境参数、情形参数或它们的某种组合。

在一个方面，虚拟人类行为模型130的训练可以包括训练数据，以通过基于已知和未知情形之间的复杂度和动态的相似性来注释预测的情形来得到情形感知驱动模型。这种模型的训练数据可以从工厂地面上产生的大量机器数据105中提取，并由各种传感器120捕获，例如定期测量的机器状态和环境条件，并存储在数据存储125(例如自动化生产工厂中的一个或多个数据实时历史记录库)中。机器数据105还可以由虚拟人类行为模型130经由网络124(例如，经由工厂过程控制网络的嵌入式系统)接收。情形感知驱动模型的优点是在观察到完全非预期的情形时避免预测失败，这依赖于对使用所收集的机器数据105从机器学习获得的各种情形和环境条件的人类行为的全面理解。例如，在训练完成之后，在系统控制器101的实时预测操作期间的稍后时间，传感器120可以捕获非预期情况，并且虚拟人类行为模型130能够使用推理来预测行为状态。

在一个实施例中，虚拟人类行为模型130是一旦实现了训练的收敛训练的神经网络的神经元的状态(例如，参数权重)的表示。模型130可以表示时间序列中的不同人体位置，其可以被分类为不同的活动。在时间序列期间观察模式的转变。例如，模型130可以包括用于时间t＝T₁、T₂、T₃…T_N的一组时序向量V_t，其具有描述对象人体、环境和待建模的情形任务的方面的多个向量维度。在一个实施例中，模型130可以表示状态人类行为，例如行走状态。作为变型，模型130可以表示组相关状态，例如上身运动和头部运动。因此，三个子模型可以各自表示如下的各种状态。

模型130a：步行、慢跑、跑步

模型130b：坐、蹲、跪、起、靠

模型130c：上身运动、头部运动

因此，每个子模型130a、130b、130c可以在训练期间被学习并且以附加的方式被使用以构建人类行为序列的序列，使用更简单的运动组合以形成复杂的运动。在一个方面，各种状态可以包括通过传感器捕获的表现，以及通过模型130的推断功能内插和外推的状态。各种状态之间的转变(例如，诸如时间动态)可以被嵌入在模型130中。利用这种方法，可以缝合一组综合的活动，以构造具有平滑过渡的运动序列，从而更接近地类似于自然的人类运动，而不是出现艰难运转或急动。

在一个实施例中，可以通过训练过程100将ANN训练为虚拟人类体行为模型130，以学习工作任务期间的各种人体位置和过渡。在另一个实施例中，循环神经网络(RNN)可以被训练为人类行为模型130，其使用注释的时序图像来挖掘数据中的时间模式。一旦被训练，RNN将能够实时地对观察到的活动进行分类，并提供对人类对象的下一状态的预测。在ANN或RNN实现的一个方面中，其中训练数据由作为训练数据的混合数据集合组成，诸如2D RGB图像和3D表示，模型130可以包括图像转换器，用于将2D图像转换为3D表示，以便与其它3D数据兼容相关，从而允许更准确地模拟环境物理和碰撞条件。

图2示出了根据本公开的实施例的由虚拟模型表示的人类活动的示例。在执行组装工作产品212的工作任务的同时，在工作环境201中对于时刻T₁、T₂在时间跨度205上观察和捕获人体位置210。对于该示例，可以如下生成向量：

V_T1[a1,a2,a3,b1,b2,c1,c2,c3,d1,d2,d3,e1,f1,f2,g1,h1…N]

V_T2[a1,a2,a3,b1,b2,c1,c2,c3,d1,d2,d3,e1,f1,f2,g1,h1…N]

其中

a1，a2，a3＝头部位置

b1，b2＝躯干位置

c1，c2，c3＝手位置

d1，d2，d3＝膝盖位置

e1，e2，e3＝脚位置

f1，f2，＝环境参数

g1＝情形参数

h1…N＝其他参数

上述向量参数和变量是工作任务的许多可能映射点的样本，并且不表示本公开的人类行为模型实施例的元素的全部范围。当捕获传感器120观察到更多的时间序列时，附加向量被累积到向量V_TN。优化训练包括针对所监测的工作任务的不同性别、大小和经验水平的各种人类对象。性别、身体大小(例如身高、体重)和经验的数据字段可被添加到向量V，或者可被记录在数据存储125中的单独向量中并链接到向量V。在一个实施例中，训练可以包括根据相对于由每个向量V记录的各种人体位置的预定基线数据的工作生产和人机工学测量的观察。

图3示出了根据本公开的实施例的用于操作虚拟人类行为模型的过程的流程图示例。在一个实施例中，基于模拟的人类活动预测310可以作为输入被馈送到虚拟人类行为模型330，作为用户的按需查询，以请求预测的行为状态350，给定一组环境和情形参数311，其具有用于对象人类操作者的一系列人为因素313(例如，身体特征、技能等)。在一个实施例中，模拟器312在模拟环境中合成虚拟人类的图像。基于模拟的预测查询的输入包括环境和情形参数310以及人为因素311，模拟器312根据该输入生成模拟图像作为虚拟人类行为模型330的输入。在处理模拟输入之后，虚拟人类行为模型330生成预测行为状态350。在实施例中，预测行为状态350根据在训练阶段期间生成的最佳工作生产、工作安全、人机工学得分或它们的组合来排序。可以对工作生产、工作安全性和人机工学得分进行进一步分析，以开发优化的工作站配置和/或工厂设置。

在另一实施例中，虚拟人类行为模型330的实时预测320模式涉及经由捕获传感器322观察具有任务情形的真实环境中的人类活动321以生成预测行为状态350。例如，捕获传感器322可以捕获在生产工厂设置中在工作台工作站上执行组装任务的实际人类工人的实况图像。虚拟人类行为模型330可以识别人类行为状态并且基于学习到的过渡模式对预测的行为状态进行分类。预测状态350可以是一个或多个时刻的人体位置向量的形式。在预测数据350基于先前观察到的伤害事件指示下一个或多个人类动作可能导致人身事故的情况下，警报信号(例如，视觉通知或音频警报)可以作为警报发送到被监测的人类工人。同样地，在预测数据350指示工作设备处于损害风险的条件下(例如，基于在神经网络的训练期间学习的工作设备的学习弱点)，警报信号可以作为警报被发送。

图4示出根据本公开的实施例的用于虚拟人类渲染的转换处理的流程图示例。预测数据420可以包括人类活动的预测状态350作为预测人类行为的浮点向量数据。虚拟人类渲染引擎430接收预测数据420，并将向量化的人类位置数据的所选候选转换为虚拟人类模拟的视觉渲染，其可在显示器440上观看。在一个实施例中，虚拟人类渲染引擎从具有从捕获传感器120获得的视觉数据的数据存储125提取知识(例如，图像)，并根据匹配算法将预测数据420的人类位置向量映射到相似图像。初始渲染可以用匹配图像来变形，用于预测的人类行为的增强的视觉渲染。视觉渲染可以作为虚拟人类的动画被发送到显示装置440，以由操作者响应于对预测的人类行为的查询来观看。预测数据的转换可以包括用于模拟视频片段的预测人类动作的时间序列的序列，或者用于模拟静止图像的人类动作的单个实例(快照)。

图5示出根据本公开的实施例的用于执行人类行为建模的应用模块的示例集合。处理器520可以在用于人类行为建模的机器学习模型(例如，神经网络)的训练和操作期间执行各种应用模块510。视觉预处理模块511可包括用于预处理传感器数据(例如视频捕获、RGB捕获、深度传感器读数等)以将信息转换成可由神经网络或其它基于机器学习的模型网络的输入层使用的统一代码的程序指令。分类模块512可以包括用于在分类任务期间，诸如在训练阶段期间或在运行时间阶段期间操作神经网络的程序指令。预测模块513可以包括用于在预测任务期间操作训练的神经网络的程序指令，例如处理对预测的查询并引导输入数据和输出数据。渲染模块514可以包括用于虚拟人类渲染引擎430的程序指令，用于将预测数据转换成虚拟人类模拟模型的视觉渲染。在一个实施例中，程序指令可以根据人体位置数据的标准映射直接转换预测数据。或者，可以将预测数据映射到所存储的人类动作的知识数据，并且可以根据最接近的匹配从知识库中提取视觉渲染。警报模块515被配置为监测预测数据并响应于确定下一个或多个人类动作可能对工作设备产生人身事故或损害而发送警报信号。分析模块516被配置为对工作生产、工作安全、人机工学得分或它们的组合的预测行为状态350进行排序。分析模块516可使用训练的神经网络，该训练的神经网络关于模拟环境和情形参数被调整，使得参数权重对应于具有所提出的环境和情形的新问题(例如，向训练的神经网络馈送包括人为因素集合的输入和预测虚拟人类将如何表现的查询)。分析模块516可以对工作生产、工作安全和人机工学得分进行分析，以开发优化的工作站配置和/或工厂设置。

图6示出其中可以实现本公开的实施例的示例性计算环境。示出了计算机系统610，其可以实现为HMI单元或如上所述的用于工业自动化的其它类型的控制系统装置。如图6所示，计算机系统610可以包括诸如系统总线621的通信机构或用于在计算机系统610内传送信息的其它通信机构。计算机系统610还包括与系统总线621耦连用于处理信息的一个或多个处理器620。

处理器620可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)或本领域已知的任何其他处理器。更一般地，这里描述的处理器是用于执行存储在计算机可读介质上的机器可读指令的装置，用于执行任务，并且可以包括硬件和固件中的任何一个或其组合。处理器还可以包括存储可执行用于执行任务的机器可读指令的存储器。处理器通过操纵、分析、修改、转换或传输由可执行程序或信息装置使用的信息和/或通过将信息路由到输出装置来对信息起作用。处理器可以使用或包括例如计算机、控制器或微处理器的能力，并且使用可执行指令来调节以执行不由通用计算机执行的专用功能。处理器可以包括任何类型的适当处理单元，包括但不限于中央处理单元、微处理器、精简指令集计算机(RISC)微处理器、复杂指令集计算机(CISC)微处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、片上系统(SoC)、数字信号处理器(DSP)等。此外，处理器620可以具有任何合适的微体系结构设计，其包括任何数量的构成部件，例如寄存器、多路复用器、算术逻辑单元、用于控制对高速缓冲存储器的读/写操作的高速缓存控制器、分支预测器等。处理器的微体系结构设计能够支持多种指令集中的任何指令集。处理器可以与能够在其间进行交互和/或通信的任何其它处理器耦连(电耦连和/或包括可执行部件)。用户接口处理器或产生器是已知的元件，包括用于产生显示图像或其部分的电子电路或软件或两者的组合。用户界面包括使用户能够与处理器或其它装置交互的一个或多个显示图像。

系统总线621可以包括系统总线、存储器总线、地址总线或消息总线中的至少一个，并且可以允许在计算机系统610的各个部件之间交换信息(例如，数据(包括计算机可执行代码)、信令等)。系统总线621可以包括但不限于存储器总线或存储器控制器、外围总线、加速图形端口等。系统总线621可以与任何合适的总线体系结构相关联，包括但不限于工业标准体系结构(ISA)、微通道体系结构(MCA)、增强型ISA(EISA)、视频电子标准协会(VESA)体系结构、加速图形端口(AGP)体系结构、外围部件互连(PCI)体系结构、PCI-Express体系结构、个人计算机存储卡国际协会(PCMCIA)体系结构、通用串行总线(USB)体系结构等。

继续参考图6，计算机系统610还可以包括耦连到系统总线621的系统存储器630，用于存储要由处理器620执行的信息和指令。系统存储器630可以包括易失性和/或非易失性存储器形式的计算机可读存储介质，诸如只读存储器(ROM)631和/或随机存取存储器(RAM)632。RAM 632可以包括其它动态存储装置(例如，动态RAM、静态RAM和同步DRAM)。ROM631可包括其它静态存储装置(例如，可编程ROM、可擦除PROM和电可擦除PROM)。另外，系统存储器630可用于在处理器620执行指令期间存储临时变量或其它中间信息。基本输入/输出系统633(BIOS)包含有助于诸如在启动期间在计算机系统610内的元件之间传递信息的基本例程，它可以存储在ROM 631中。RAM 632可以包含可由处理器620立即访问和/或当前正由处理器620操作的数据和/或程序模块。如图所示，软件栈639可包括操作系统634、容器化应用程序635和其它程序模块636。

操作系统634可以被加载到存储器630中，从存储640中检索，并且可以提供在计算机系统610上执行的其他应用软件与计算机系统610的硬件资源之间的接口。更具体地，操作系统634可包括一组计算机可执行指令，用于管理计算机系统610的硬件资源并向其它应用程序提供公共服务(例如，管理各种应用程序之间的存储器分配)。在某些示例实施例中，操作系统634可以控制一个或多个程序模块636或存储在数据存储640中的其它程序模块(未示出)的执行。操作系统634可包括现在已知或将来可开发的任何操作系统，包括但不限于任何服务器操作系统，任何主机操作系统，或任何其它专有或非专有操作系统。

应用程序635可以包括用于执行如前所述的神经网络训练和操作的一组计算机可执行指令。根据本公开的实施例，应用程序635中的每一者可独立地运行且可与应用程序635中的其它应用程序连接。

计算机系统610还可以包括耦连到系统总线621以控制用于存储信息和指令的一个或多个存储装置的盘/介质控制器643，诸如磁硬盘641和/或可移动介质驱动器642(例如，软盘驱动器、光盘驱动器、磁带驱动器、闪存驱动器和/或固态驱动器)。可以使用适当的装置接口(例如，小型计算机系统接口(SCSI)、集成装置电子设备(IDE)、通用串行总线(USB)或FireWire)将存储装置640添加到计算机系统610。存储装置641、642可以在计算机系统610的外部，并且可以用于存储根据本公开的实施例的图像处理数据。

计算机系统610还可以包括耦连到系统总线621的显示控制器665，以控制用于向计算机用户显示信息的显示器或监测器666，例如阴极射线管(CRT)或液晶显示器(LCD)。计算机系统610包括用户输入接口660和一个或多个输入装置，诸如用户终端661，其可以包括键盘、触摸屏、输入板和/或点击装置，用于与计算机用户交互并向处理器620提供信息。用户终端661可以提供触摸屏接口。显示器666和/或用户终端661可以布置为单独的装置，或者布置为包围计算机系统610的单个自足单元的一部分。

计算机系统610可以响应于处理器620执行包含在诸如系统存储器630的存储器中的一个或多个指令的一个或多个序列来执行本发明实施例的处理步骤的一部分或全部。这样的指令可以从另一计算机可读介质(诸如磁硬盘641或可移动介质驱动器642)读入系统存储器630。硬磁盘641可以含有本发明的实施例所使用的一个或多个数据存储和数据文件。数据存储可以包括但不限于数据库(例如，关系型、面向对象等)、文件系统、平面文件、其中数据存储在计算机网络的多于一个节点上的分布式数据存储、对等网络数据存储等。处理器620还可以用在多处理装置中，以执行包含在系统存储器630中的一个或多个指令序列。在替换实施例中，硬连线电路可以代替软件指令或与软件指令结合使用。因此，实施例不限于硬件电路和软件的任何特定组合。

如上所述，计算机系统610可以包括至少一个计算机可读介质或存储器，用于保存根据本发明的实施例编程的指令，并且用于包含数据结构、表、记录或这里描述的其它数据。这里使用的术语“计算机可读介质”是指参与向处理器620提供指令以供执行的任何介质。计算机可读介质可以采用许多形式，包括但不限于非瞬态、非易失性介质、易失性介质和传输介质。非易失性介质的非限制性示例包括光盘、固态驱动器、磁盘和磁光盘，诸如磁硬盘641或可移动介质驱动器642。易失性介质的非限制性示例包括动态存储器，诸如系统存储器630。传输介质的非限制性示例包括同轴电缆、铜线和光纤，包括构成系统总线621的导线。传输介质也可以采用声波或光波的形式，例如在无线电波和红外数据通信期间产生的声波或光波。

用于执行本公开的操作的计算机可读介质指令可以是汇编指令、指令集体系结构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据，或者以一种或多种编程语言的任何组合编写的源代码或目标代码，其包括诸如Smalltalk、C++等的面向对象的编程语言，以及诸如“C”编程语言或类似编程语言的常规过程编程语言。计算机可读程序指令可以完全在用户的计算机上，部分在用户的计算机上，作为独立的软件包，部分在用户的计算机上和部分在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，通过使用因特网服务提供商的因特网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来使电子电路个性化来执行计算机可读程序指令，以便执行本公开的各方面。

本发明参考根据本公开的实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图来描述本公开的各方面。应当理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读介质指令来实现。

计算环境600还可包括使用到诸如远程计算装置680等一个或多个远程计算机的逻辑连接在联网环境中操作的计算机系统610。网络接口670可以实现例如经由网络671与其它远程装置680或系统和/或存储装置641、642的通信。远程计算装置680可以是个人计算机(膝上型或桌上型)、移动装置、嵌入式边缘装置，基于web的服务器、网关、路由器、网络PC、对等装置或其它公共网络节点，并且通常包括以上相对于计算机系统610描述的许多或所有元件。当在联网环境中使用时，计算机系统610可以包括调制解调器672，用于在诸如因特网的网络671上建立通信。调制解调器672可经由用户网络接口670或经由另一适当机构连接到系统总线621。

网络671可以是本领域中通常已知的任何网络或系统，包括因特网、内联网、局域网(LAN)、广域网(WAN)、城域网(MAN)、直接连接或系列连接、蜂窝电话网络，或能够促进计算机系统610与其它计算机(例如，远程计算装置680)之间的通信的任何其它网络或介质。网络671可以是有线的、无线的或其组合。有线连接可以使用以太网、通用串行总线(USB)、RJ-6或本领域公知的任何其它有线连接来实现。无线连接可以使用Wi-Fi、WiMAX和蓝牙、红外、蜂窝网络、卫星或本领域公知的任何其它无线连接方法来实现。另外，若干网络可单独工作或彼此通信以促进网络671中的通信。

应当理解，在图6中描述为存储在系统存储器630中的程序模块、应用程序、计算机可执行指令、代码等仅仅是说明性的而不是穷举性的，并且描述为由任何特定模块支持的处理可以可替换地分布在多个模块上或者由不同的模块执行。此外，可以提供各种程序模块、脚本、插件、应用程序编程接口(API)，或在计算机系统610、远程装置680上本地托管的和/或在可经由一个或多个网络671访问的其它计算装置上托管的任何其它合适的计算机可执行代码，以支持由图6中描绘的程序模块、应用程序或计算机可执行代码提供的功能和/或附加或替换功能。此外，功能可以被不同地模块化，使得描述为由图6中描绘的程序模块集合共同支持的处理可以由更少或更多数量的模块来执行，或者描述为由任何特定模块支持的功能可以至少部分地由另一模块来支持。此外，支持这里描述的功能的程序模块可形成可根据诸如客户端-服务器模型、对等模型等任何合适的计算模型在任何数量的系统或装置上执行的一个或多个应用程序的一部分。此外，被描述为由图6中描绘的任何程序模块支持的任何功能可以至少部分地以硬件和/或固件在任何数量的装置上实现。

这里使用的可执行应用程序包括代码或机器可读指令，用于响应于用户命令或输入，调节处理器以实现预定功能，例如操作系统、上下文数据获取系统或其它信息处理系统的功能。可执行程序是代码段或机器可读指令、子例程，或其它不同的代码段，或用于执行一个或多个特定过程的可执行应用的一部分。这些处理可以包括接收输入数据和/或参数，对接收到的输入数据执行操作和/或响应于接收到的输入参数执行功能，以及提供所得输出数据和/或参数。

这里的功能和处理步骤可以响应于用户命令自动地或全部地或部分地执行。响应于一个或多个可执行指令或装置操作来执行自动执行的活动(包括步骤)，而无需用户直接启动该活动。

附图的系统和过程不是唯一性的。可以根据本发明的原理得到其它系统、过程和菜单以实现相同的目的。尽管已经参照特定实施例描述了本发明，但是应当理解，这里示出和描述的实施例和变型仅用于说明目的。在不脱离本发明的范围的情况下，本领域技术人员可以实现对当前设计的修改。如本文所述，可以使用硬件部件、软件部件和/或其组合来实现各种系统、子系统、代理、管理器和过程。本发明的权利要求要素不应根据35U.S.C.112(f)的规定来解释，除非使用“用于…的装置”的短语明确陈述该要素。

Claims (15)

1.一种用于对人类行为进行建模的系统，包括：

处理器；和

计算机可读介质，在所述计算机可读介质上存储有能够由所述处理器执行的一组模块，所述模块包括：

分类模块，被配置为从监测与工作任务相关联的人类行为的一个或多个传感器接收传感器数据，并且基于训练的神经网络来识别人类行为的类型；

预测模块，被配置为从分类器接收所识别的人类行为的类型，并且基于由所述训练的神经网络所学习的位置向量的时间序列来生成表示预测的下一个或多个人类动作的预测数据；以及

渲染模块，用于将所述预测数据转换成虚拟人类模拟模型的视觉渲染。

2.根据权利要求1所述的系统，其中，所述训练的神经网络的位置向量以时间序列表示人体位置的元素。

3.根据权利要求1所述的系统，其中，所述位置向量包括与监测的人类活动相关联的环境参数和情形参数。

4.根据权利要求1所述的系统，其中，所述位置向量包括性别、身体大小和用于所监测的工作任务的经验的数据字段。

5.根据权利要求1所述的系统，进一步包括：警报模块，被配置为响应于确定下一个或多个人类动作有可能产生人身事故或工作设备的损害，基于所述预测数据发出警报。

6.根据权利要求1所述的系统，进一步包括：分析模块，被配置为使用关于模拟环境和情形参数被调整的经训练的神经网络来对工作生产、工作安全、人机工学得分或它们的组合的预测行为状态进行排序，使得参数权重对应于具有所提出的环境和情形的新问题，其中，向所述经训练的神经网络馈送包括人为因素集合的输入和用于预测虚拟人类将如何表现的查询。

7.根据权利要求6所述的系统，其中，所述分析模块还被配置为执行对排序的得分进行分析以开发优化的工作站配置。

8.一种用于对人类行为进行建模的基于计算机的方法，包括：

由分类模块接收来自监测与工作任务相关联的人类行为的一个或多个传感器的传感器数据，并且基于训练的神经网络来识别人类行为的类型；

由预测模块从分类器接收所识别的人类行为的类型，并且基于由所述训练的神经网络所学习的位置向量的时间序列来生成表示预测的下一个或多个人类动作的预测数据；以及

由渲染模块将所述预测数据转换成虚拟人类模拟模型的视觉渲染。

9.根据权利要求8所述的方法，其中，所述训练的神经网络的位置向量以时间序列表示人体位置的元素。

10.根据权利要求8所述的方法，其中，所述位置向量包括与监测的人类活动相关联的环境参数和情形参数。

11.根据权利要求8所述的方法，其中，所述位置向量包括性别、身体大小和用于所监测的工作任务的经验的数据字段。

12.根据权利要求8所述的方法，进一步包括：响应于确定下一个或多个人类动作有可能产生人身事故或工作设备的损害，由警报模块基于所述预测数据发警报信号。

13.根据权利要求8所述的方法，进一步包括：由分析模块使用关于模拟环境和情形参数被调整的经训练的神经网络对工作生产、工作安全、人机工学得分或它们的组合的预测的行为状态进行排序，使得参数权重对应于具有所提出的环境和情形的新问题，其中，向经训练的神经网络馈送包括人为因素集合的输入和用于预测虚拟人类将如何表现的查询。

14.根据权利要求13所述的方法，进一步包括：由所述分析模块执行对排序的得分的分析以开发优化的工作站配置。

15.根据权利要求8所述的方法，其中，所述神经网络是使用由多种传感器收集的机器状态和环境条件数据来训练的，其中，所述神经网络训练包括基于已知和未知情形之间的复杂度和动态特性的相似性通过注释预测情形来得到情形感知驱动模型。

Images