CN116830167A - 用于开放式运动技能的评估和增强系统 - Google Patents

Abstract

一种适于增强参与者在开放式运动任务或活动中的动作行为的系统，所述系统包括一个或多个动作传感器，所述一个或多个动作传感器被配置为生成表征参与者的动作的输出，包括与环境的元素和特征以及所述环境内的任务或活动对象的相关交互。处理器被配置为从所述输出中提取和分割动作行为元素序列，相对于包括任务或活动对象的操作环境寄存所述动作元素，识别活动状态，并确定提示以增强执行和/或学习。增强包括基于口头、视觉或触觉或听觉信号的提示，这些提示旨在针对开放式运动任务中动作技能的关键方面，包括规划朝向任务目标的动作序列；协调和执行所述序列中与相关任务活动事件和元素相关的动作元素。

Description

用于开放式运动技能的评估和增强系统

相关申请案交叉引用

本申请要求于2020年12月21日递交的申请号为63/128,437、发明名称为“分层开放式运动技能评估和增强”的美国临时申请的优先权，该申请的全部内容以引入方式并入本文并用于所有目的。

技术领域

本申请描述了一种基于传感器的系统和方法，用于评估和增强开放式运动任务中的动作行为，重点关注基于计算机的测量、评估和增强技术，以改进任务层级的规划、动作元素协调和动作元素控制。

背景技术

在开放式运动任务中，动作发生在动态环境中。因此，执行这些动作的操作条件是不断变化的。执行者必须学会管理这些条件以及动作执行。开放式运动任务还要求主体规划动作行为序列以完成任务目标，并协调该序列中的元素以确保这些元素与该环境的交互的适当动态。因此，熟知开放式运动任务需要认知技能和运动技能两者，这使得学习开放式运动技能具有挑战性。

评估和增强建立在分层交互模型的基础上。该模型具有三个主要层级：任务规划、动作序列协调和动作元素执行。任务规划遵循自然决策原则，并且可以用全局任务层级模式来描述。这些模式以抽象方式描述了任务环境动态的细节，以重点关注关键任务和动作技能元素的配置。基本行为的执行涉及技能元素序列的协调。每个技能元素根据操作条件和结果进行描述。

开放式运动技能在许多人类活动中发挥重要作用，无论是在专业领域还是在体育等娱乐领域。开放式运动任务的执行和学习具有挑战性，因为动作行为发生在动态环境中。因此，除了学习在该环境中实现特定结果所需的动作模式之外，主体还必须学习规划和协调整个动作元素序列，并最终控制不同动作行为元素发生的环境。

这些技能还依赖于分层感知、控制和决策体系结构。主体必须学习支持与任务环境和元素的一系列交互所需的一系列较低层级运动技能，包括调整动作技术以在不同条件下实现一系列结果。例如，主体必须学会协调序列中的动作元素以与环境动态同步，包括感测和感知局部环境以控制动作元素的环境条件。最后，在较高层级，主体必须学习全局感知和规划，以针对任务目标对行为元素进行排序。由于该深分层结构，需要进行长期训练才能达到高水平熟练程度。

发明内容

本公开描述了用于对开放式运动任务的执行和学习进行建模、评估和增强的系统和方法。整体方法包括识别行为单元(例如，动作元素)并对其进行建模，支持较大任务和环境交互(例如，包括主体、代理或参与者与环境的交互，以及由所述主体、所述代理或所述参与者操纵的工具、设备或其他对象与所述环境的交互)。

然后，将这些单元集成到分层交互模型中，所述分层交互模型捕捉较大任务层级的规划、决策和协调。使用描述不同大脑运动控制过程的内部模型来形式化所述层次模型：1)一种前向模型，描述较大规模的任务环境动态以及较高层级的规划和决策；2)一种协调策略，描述负责协调动作元素序列的执行功能；以及3)一种逆模型，描述在每个动作元素的层级的决策。

所述分层交互模型用于在以下层级增强学习和执行：在所述动作行为层级，例如，适于条件和结果的动作技术；在所述动作元素序列层级，例如，控制每个单元的操作环境；以及在所述任务层级，例如，生成实现任务目标所需的动作序列。此外，所述分层交互模型可以针对开放式运动技能中的关键过程进行设计增强，包括感知和规划，以及跨系统分层结构的动作控制和执行。

在认知层级，增强针对规划过程，包括在所述任务层级生成目标配置；在执行层级，增强可以提供提示来驱动所述动作元素序列的空间控制和协调；在运动层级，增强可以为动作执行提供提示。本公开考虑不同形式的增强，包括口头提示、视觉提示(例如，通过增强现实眼镜)以及可以使用音频或触觉设备实现的简单的信号提示。

附图说明

图1是开放式运动任务的曲线图图示，示出了元素(节点)之间的交互(边缘)的集合，其中每个元素是代理、代理的一部分、任务或环境元素或对象；

图2A至图2C是网球运动中不同组织层级的交互的图示，示出了在投球交换(图2A)、全局定位(图2B)以及击球准备和执行(图2C)层级的行为；

图3是示出包括规划、执行、感知和感测-运动控制的关键过程的组织的分层系统图；

图4是网球击球和与环境任务或活动元素的交互的图示，所述环境任务或活动元素包括可以在交换期间跟踪以捕捉整个活动环境交互的状态维度；

图5A是示出技能元素以及相关联动作和感知过程的框图；

图5B是示出在不同条件下支持与任务环境和对象的交互的技能元素和相关联过程的示意图；

图6是针对给定站位和击球等级的技能元素的操作范围的图示，示出了条件变化和结果变化的来源的示例；

图7是选手针对来球可能采用的击球姿势的图示，以及从起始姿态开始所需的场地运动；

图8示出了网球环境、投球与球场之间交互的元素以及选手和对手的球场动作；

图9是网球运动中关键元素之间交互的图示，所述关键元素包括物理环境(球场、球网)、选手(第一参与者)和对手(第二参与者)，包括他们的身体和身体部分、球拍和球；

图10示出了分层模型，所述分层模型将行为元素从得分和交换层级分解为定位、击球准备和执行以及最终的击球阶段；

图11示出了网球的组织和结构的主要分层层级；

图12是选手和对手在投球交换期间的关键动作和关键活动事件的时间事件图；

图13A至图13F是交换期间的事件序列的图示，例如网球或球拍运动；

图14A至图14C示出了比赛或环境状态动态，包括构建得分的交换和比赛状态的序列、基本动作行为以及在有限比赛状态模式方面的转换图；

图15是对网球示例进行形式分析的分层过程的图示；

图16是执行阶段的图示，包括在准备时间、执行时间和随球动作过程中的条件；

图17示出了击球运动与任务和环境元素之间交互的图示，包括球相对于球场的轨迹、球的撞击以及球在与球拍轨迹相交前的弹跳；

图18是建模和分析过程流程的框图概述；

图19A至图19E示出了定位、准备、击球前摆开始、击球和随球动作结束的关键帧的计算机视觉的示例性帧和姿态估计；

图20是示出结合视觉、运动传感器和注视测量的网球数据预处理以及元素检测和跟踪的方法的框图；

图21是示出元素跟踪运动分析和建模的框图；

图22是示出用于活动交互模型的活动交互、分析和建模的框图；

图23是活动交互模型的图示，其中包括物理行为交互(这里示出为状态机)、比赛事件以及确定得分和比赛得分演变的比赛模型；

图24是根据图2A的顶部面板的基于预测的球落地撞击和由对手地面运动形成的感测间隙的选手的球场动作和投球目标序列的图形描述；

图25是击球准备和设置的图示，突出显示了基于投球弹跳位置以及与该阶段和动作行为层级相关的关键事件的参考系；

图26是用于对击球执行进行建模的弹跳参考系的描述；

图27是行为组织的不同层级和阶段的配置和条件的分布模式下映射的图示；

图28示出了从图3导出的分层模型，突出显示了有助于跨组织层级进行增强的功能；

图29A至图29D示出了突出显示比赛关键阶段的主要事件的交换序列，以及用于增强与环境元素的关系的可能提示；

图30是示出具有关键过程的增强系统的框图；

图31是增强现实、口头和信号提示的图示；

图32是图30所示的增强处理器系统的框图，以网球为例；

图33是使用增强现实眼镜的网球示例中的自然视觉环境和视觉提示元素的融合的图示；

图34示出了滑雪者在地形环境中的动作和感知行为；

图35示出了滑雪者沿着新路线过渡到不同的转弯动作。

具体实施方式

本公开描述了用于改进开放式运动任务(例如，网球和其他球拍和划桨运动、高尔夫、滑雪和其他专业和娱乐活动)评估和增强的传感器系统和基于计算机的技术，涵盖开放式运动技能评估、诊断和增强。这些技术可以应用于各种其他开放式运动任务领域，包括自然主体和人工代理，以及包括人机系统和基于计算机处理器的模拟。

I.简介和概述

本公开首先提供了对所谓的开放式运动任务的技能进行建模和评估的目标和动机；然后描述了一般挑战，并概述了改进的基于计算机的运动传感器系统和增强技术的整体方法。此外，还提供了本公开的概要。

动作元素部署和执行

开放式运动任务的关键特征是选手对执行动作元素的环境的控制。该层级的指示和提示重点关注符合以下条件的特征，即推动正确部署主要动作单元以为其结果创造最佳条件。全局条件由规划和执行层级确定，该规划和执行层级指定了相对于任务元素的动作元素部署以及下一个交换周期的配置。

例如，对于就位动作元素(图29A和图29B)，这包括步法模式和与击球相关的方面，例如与来球相关的球拍收回(转身)。对于击球准备(图29C)，这包括与来球的交互，尤其是其弹跳，以及如何启动身体部分和球拍以创建用于击球执行的设置状态。对于击球执行(图29D)，这包括在击球之前的最后阶段与球的交互。

I.I目标和动机

开放式运动任务与封闭式运动任务之间的根本区别在于，在开放式运动任务中，动作发生在动态条件下；因此，执行者必须控制进行主要动作的条件。此外，开放式运动任务依赖于与环境和任务元素的复杂动作交互，在许多此类任务中，任务目标是通过动作序列来实现的。因此，执行者必须规划动作序列，并在序列中协调这些动作，包括这些动作的相应操作条件和系统配置。

开放式运动任务的良好示例是网球和滑雪。如图2所示，网球击球部署在具有移动球以及不同选手和对手配置的动态环境中。更一般地，为了达到预期结果，动作执行应遵循动作行为序列，例如包括定位和准备阶段。该序列创建执行击球或其他动作的条件。然而，由于环境可能不断变化，因此必须基于当前和预测条件来协调规划动作序列。

类似地，如图34和图35所示，在地形条件下执行滑雪转弯动作序列。该序列依赖于滑雪者的当前位置和速度，以及地形以及局部和较大目标，例如期望的目的地。此外，要创造期望的转弯表现和结果，需要基于局部条件设置动作。

因此，必须考虑较大任务目标、动作序列及其相应操作环境来分析和训练这些动作。开放式运动任务是学习和达到高水平熟练程度最具挑战性的任务之一。该挑战不仅是选手以及各种运动项目业余爱好者所面临的，而且是外科医生或飞行员等许多专业人士所面临的。

基本问题在于：技术如何帮助执行和学习开放式运动任务？本公开建立在现有技术的基础上，以在包括但不限于网球、手球、排球、羽毛球和其他球拍和划桨运动的开放式运动任务中技能的综合维度上详细描述技能建模和增强。适用的应用还包括阿尔卑斯(高山)滑雪和北欧(越野)滑雪、跑步、游泳、远足、竞走、骑自行车、高尔夫和其他体育活动，以及物理治疗和康复、视频游戏和其他模拟或远程专业活动，例如外科手术、远程或机器人手术、远程体系结构和远程室内外设计。参考文献包括共同归属的第8,944,940B2号、第9,901,776B2号和第10,610,732B2号美国专利；第10,668,353B2号美国专利和第2020/0289907A1号美国出版物；第10,854,104B2号美国专利和第2021/0110734A1号美国出版物；以及第2019/0009133A1号美国出版物；所有这些专利都是由与本申请相同的发明人提出的，这些专利和出版物的全部内容以引入方式并入本文并用于所有目的。

了解建立综合评估所要解决问题的本质的出发点是国家网球分级体系(NTRP)。该分级系统基于对网球运动执行的不同方面和维度的评估来分配数值分级。从NTRP来看，分级标准涵盖了广泛的执行维度。

i)第一个目标是为开放式运动技能制定综合技能建模框架，该框架可以支持综合评估(例如，由NTRP提供)；因此，该系统根据执行测量以定量方式操作。

ii)此外，该系统还提供评估和诊断，以识别和指定推动训练所需的训练目标。

iii)第三，了解这些技术有助于设计反馈或提示增强，以补充人类自然感测和感知机制。与动作执行层级的反馈强化相比，这些增强还可以在较高层级的过程上操作，例如任务层级的规划、视觉注意力和支持与任务和环境元素协调的提示(例如，与第10,854,104B2号美国专利、第2121/0110734 A1号美国出版物和第2019/0009133 A1号美国出版物相比)。

iv)最后，该系统集成在数据驱动的训练过程增强和管理体系结构中，包括但不限于迭代训练系统(例如，与第2019/0009133 A1号美国出版物相比)。

核心问题是从各种测量数据中定义和提取有意义的行为元素及其操作环境元素；以及将这些行为元素集成到任务或活动的交互模型中。这些元素和集成模型应提供评估和训练增强所需的知识。

本公开的总体目标是描述用于增强开放式运动任务/活动以增强学习和执行的方法和系统。本公开内容不仅局限于对各个动作元素的训练，以涵盖在较大任务环境内以及跨系统分层结构执行更广泛类别的动作行为元素，包括规划、注意、定时和行为协调；例如，如图28所示(例如，与第10,854,104 B2号美国专利、第2121/0110734 A1号美国出版物和第2019/0009133 A1号美国出版物相比)。因此，本文提出的关键扩展包括将模型扩展到与较大任务和操作环境的交互，以及考虑任务层级的规划、感知和协调。

最后，该系统和方法的总体目标是可泛化到任何开放式运动任务。该系统和方法还适用于人机系统(例如，使用假肢的人类)或由操作员驱动的机器人手术系统，以及视频游戏和其他基于模拟的系统等中的虚拟系统。

问题描述

在熟练任务中(尤其是在所谓的开放式运动任务中)，人类动作表现是复杂的，因为此类任务涉及人类代理与任务环境及其元素之间的动态交互(参见图4的网球示例)。此类任务的示例包括网球或滑雪等运动，以及外科手术等专业技能。这些类型的任务通常需要执行者产生在一系列条件下支持各种交互和任务结果所需的广泛的不同动作(参见图5A、图5B和图6)。此外，动作行为源于与环境的动态关系，因此动作元素具有与行为相关联的特定环境元素。在封闭式任务中，执行动作的环境是固定的。

表1：击球类型的描述，考虑了姿势和击球执行

例如，网球运动中的主要交互是为了拦截来球而产生的动作，而击球产生的发球具有控制比赛状态所需的特定结果。来球/弹跳和击球类型有多种组合。选手的很大一部分技能是适应不同的击球条件并产生一系列结果的多功能性。表1描述了击落地球的类型，考虑了姿势和击球执行。该描述基于关键属性，包括基本的姿势和击球执行形式，并且假设遵循网球文献中的命名法的离散值集。属性的组合导致使用击落地球拦截击球的许多不同方式(例如，在该示例中共计702种)。该估计基于属性值的组合。应当注意的是，该示例作为说明提供，并不是所有组合都一定有效。此外，如果分析还考虑了在球场上的定位、投球结果以及包括截击和半截击在内的其他击球，该数字很容易达到数千。与娱乐活动相比，在控制力度较大的开放式运动任务(例如，专业和职业活动)中，组合的数量可能较少，也可能较多。

因此，主体通过学习一系列动作行为模式来获得技能，这些模式支持协商环境和实现任务目标所需的一系列任务环境交互。然后，主体学习协调这些方面，以产生期望的任务结果。除了产生可靠的动作结果以及适应条件的不同形式的技术之外，执行者还应学习识别情况并控制执行这些动作的操作环境。

此外，主要动作交换源自支持性动作序列，在网球运动中包括定位、准备/设置和击球执行。因此，击球条件由动作序列确定，在每个阶段，这些动作自身的操作条件由先前动作产生。最后，应提前规划整个序列，以便能够执行该序列中的第一步骤，从而实现期望的活动目标；该序列中的元素通常需要与同时展开的任务环境相协调。

由于活动的多种结构和动态，因此开放式运动任务很难学习、指导或训练。熟练执行这些类型的任务通常需要数千小时的训练。这种情况类似于其他开放式运动任务或活动，例如滑雪(图34)。在滑雪运动中，转弯动作是主要交互。滑雪者拥有广泛的技术，这些技术可以用于在不同的地形中实现不同的转弯结果。转弯本身依赖于有助于设置主要转弯阶段的子动作。应提前规划转弯序列，以便沿着期望路径穿过地形；该序列中的元素通常需要与同时展开的任务环境相协调。

进行长期训练的其他原因在于，开放式运动技能依赖于整个过程系统，在开放式任务中这些过程远远超出感测-运动控制。技能获得涉及学习广泛的控制分层结构(参见图3)，包括准确执行各种动作技能元素所需的感测-运动技能；提取任务相关信息以及区分各种组织层级的各种信息来源所需的注意力而必需的感知技能；协调和调整动作系列所需的执行技能；以及将活动带到预期状态的规划和策略。

对复杂任务中人类动作技能的研究已经表明，熟练的主体利用所谓的代理-环境交互的结构属性来帮助组织各种过程(参见用于表1中属性的离散值，以及例如图8中的不同投球模式)。这些结构属性限制了动作行为，并且有助于集成和协调动作表现、感知和规划。从概念上看，这些属性及其相关联的行为元素充当空间行为语言的一种形式。

因此，为了熟知某个任务领域，人类主体应学习该领域的空间行为语言。然而，这种语言在很大程度上是无意识的，因此对于自我评估和修改具有挑战性。更一般地，该系统的复杂性，包括高维和动态动作环境，其表现为复杂的动作和环境交互(参见图4、图5A至图5B和图34)，使得开放式运动技能对于通过普通语言进行说明和交流具有挑战性。

以下技术在其跨关键活动阶段的详细时间发展和配置以及与环境和任务或活动元素的关系方面对活动或任务执行进行分解。然后，可以分析动作模式，这些模式对应于个人语言使用的元素。然后，可以评估这种语言的性能，以及识别各种过程系统层级的缺陷或故障。然后，使用评估和诊断结果来设计增强，包括指示和反馈提示，这可以增强执行和学习。认知层级的增强(例如，指示或可视化)可以有助于形成心智模型，以获得构建一系列动作元素而必需的交互模式。采用口头、视觉提示形式的实时增强支持任务不同阶段的关键环境交互的协调、定时和执行。

技术

大多数现有高层级活动执行建模和分析重点关注总体任务执行，并且往往是描述性的，而不是说明性的。这些技术主要基于视频。例如，在网球运动中，执行建模和分析包括跟踪选手的球场姿态、投球落点以及结果和得分的统计数据。认识到，执行建模和分析没有考虑基本活动交互的输入-输出动态，尤其是主体对环境中各种事件和动作(例如，对手的动作和投球)的响应和追求较大任务目标所必需的最高层级认知控制(包括协调和规划过程)的组合。

构建新的评估和增强工具可以有助于加速复杂动作技能训练。整体方法是定义用作动作行为的构建块的动作技能单元，并使用它们将学习公式化为迭代过程，其中这些单元被进一步细化并集成在本文描述的较大分层控制体系结构中(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。然后，使用该建模框架来定义数据驱动的工具，以通过跨任务执行和组织层级以及跨各种规划、感知、执行和感测-运动过程的反馈操作来实施训练并增强执行。

如上所述，复杂任务依赖于基于任务交互组织的行为元素的协调，并且具体地，依赖于对包括主要动作元素的各种动作交互的操作环境的控制。例如，在网球运动中，在球场上的定位和设置决定了击球执行的条件(图4)。定位和设置是可以描述为环境控制层级的一部分。该技术的应用领域包括由一个或多个人类或人工代理与其任务或活动环境之间的感测-运动交互驱动的任何活动，其中目标在于将当前任务环境状态转换为特定目标状态。

技术特征

本公开扩展和改进了现有技术的反馈提示平台和训练代理，以包括较大任务交互、协调和规划(例如，分别与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。因此，该应用的总体目标在于指定方法和系统，以捕捉支持较大任务目标和执行的综合交互并对其进行建模；具体地，将分析扩展到网球击球等基本动作单元之外，包括参与控制和协调任务层级的交互的动作单元。在网球运动中，这些任务层级的交互包括球场定位和击球准备与选手和对手姿态以及来球的关系(图2)。如上所述，在本申请中描述的方法和系统也可以应用于其他活动，包括开放式运动任务，例如在一些示例中的其他球拍和划桨运动、滑雪、其他运动、外科手术和其他熟练的运动任务。

本公开重点关注对动作行为的关键领域进行建模，包括但不限于以下内容：

·构成支持一系列任务交互所需技能库的动作行为元素的执行和学习过程，以及该库中的元素如何定义任务层级的行为表示。

·在任务环境中部署动作行为元素所需的感测和感知机制的执行和学习过程。

·动作行为元素的模型，包括综合功能细节及其相关联的操作环境。

·在较大任务过程中协调和排序动作元素的执行和学习过程，尤其是为实现任务目标而规划、排序和协调元素。

为了充分理解技术方法的重要性，下面简要阐述开放式运动任务中的一些相关动作技能。

I.II分层交互技能模型

训练和反馈系统的核心组成部分是分层交互技能模型(例如，参见图2A至图2C中所示的网球的行为分层结构)。该技能模型描述了如何将动作元素用作规划的组织单元，以及如何将动作元素部署在任务环境中。该模型可以：

·对执行者的技能进行综合、详细地评估和诊断。

·构建有效的训练工具，包括训练过程的操作化。

·设计反馈增强，以提高跨行为分层结构的执行和学习。

整体方法—概述

在一种整体方法中，从执行数据中提取行为元素并基于一些相似度量来聚合这些行为元素，随后对这些行为元素进行分析以执行评估和诊断(例如，与第10,854,104 B2号美国专利、第2121/0110734 A1号美国出版物和第2019/0009133 A1号美国出版物相比)。本公开还将行为单元的范围扩展到包括支持部署和执行行为元素的较大交互和维度。同时，使用这些单元对较高层级的过程进行建模，包括规划。

行为单元

为开放式运动任务构建技术的核心问题在于，基于一些行为单元确定建模语言，这些行为单元允许根据自然行为元素分解行为；提供系统层级的理解；还适于捕捉学习过程；最后，可以综合增强技能学习和执行。

此类建模和评估的第一步骤是将行为分解为元素。在机器人技术和运动控制中，动作单元与运动基元相关。关键挑战在于通过以下方式做到这一点，即所产生的元素对应于自然行为动作单元；例如，与基础生物过程兼容。如果使用这些单元来定义增强，这一点尤其重要，尤其是感测-运动过程(图5A和图5B)。增强需要根据功能属性进行操作。动作单元强调以下想法，即动作源于代理与环境和任务元素的交互，并且作为完整的行为单元进行操作，其中结合了感测、感知和运动过程。

回到学习，其中一个最初的步骤是对技能单元有一些基本的定义。如图1所示，与个人技能相关联的基本分析单元与支持任务或活动中的交互的基本行为单元相关。从该系统的角度来看，技能获得过程可以描述为技能的一些基本单元的形成和逐步完善，同时学习协调这些单元，并且最终理解大规模任务动态和环境。

考虑到开放式运动任务的分层组织，例如图2中所示的网球，熟练执行需要跨不同组织层级协调和规划动作(例如，与第2019/0009133A1号美国出版物相比)。这些单元提供了不同组织层级之间的联系，从执行所需的层级到较高层级的过程，例如任务层级的感知和规划。

任务动态

每个组织层级具有一组行为单元、输入和输出。可以在每个层级定义技能。例如，个人可以熟练进行击球执行或投球。然而，当参与现场比赛时，同一个人可能在预测来球、控制条件和或引导投球方面存在困难。因此，他或她将不能执行击球并进行与控制条件时相同质量的投球。

流程捕捉对熟练执行的基本要求。流程可以用于描述熟练选手或其他类型执行者的表现。流程还与了解推动学习的现象相关。技能可以被视为即使面对影响行为动态的各个方面的突发事件、干扰和不确定因素，也能维持行为流程的能力。因此，一种假设是，学习是由意外减少推动的。意外可以被形式化为预测误差，并且已经被提出作为在基于自由能原理的新大脑理论中正被优化的量。

流程需要在行为组织的不同层级进行预期，这是通过学习利用源于任务和环境交互的行为结构和组织来实现的。在自然系统中，结构和组织在很大程度上源于感知和动作的生态学原理。然而，这些组织原则主要是在行为执行层级进行研究的，因此应延伸到较大任务和环境结构层级。

在任务层级，在开放式运动任务中获得技能的一个重要部分是获得行为模式，这些模式有助于跨交互层级协调和组织行为。学习此类行为结构可以跨较大问题和时间尺度进行预测，并且因此可以通过增强来减少意外并且最大限度地实现流程。

结构特征

主要理念是行为单元跨分层任务结构扩展，并且可以跨尺度连接行为维度，因此对于实现流程至关重要(参见图2A至图2C)。主体可以利用行为中的结构特征来组织行为；例如，自然过程将行为限制在行为模式的子集中—理论上，由于无限可能性，行为是难以处理的。这些特征提供了一种连接不同组织层级的脚手架和任务空间离散化形式。行为模式充当状态，在以抽象方式实现规划和决策方面发挥关键作用。同时，行为模式在对行为进行分解和评估方面也发挥关键作用。

例如，在网球运动中，作为基本动作单元的击球被扩展到跨任务领域的交互单元的投球。投球模式进而参与任务环境的离散化(参见图8)，并将较低层级的行为连接到任务元素以及包括态势感知、规划和执行功能的较高层级的行为。下面重点关注网球运动作为典型用例，但是关键理念、技术和总体方法扩展到其他开放式运动任务或活动。以下部分还讨论了滑雪运动的示例，该示例更广泛地说明了所介绍的各种技术。

执行数据捕捉

建模使用任务或活动的执行数据。执行数据捕捉的目标是跨技能和任务分层结构获取信息。开放式运动任务(与任务环境及其关键元素广泛交互)需要特殊的数据获取来提取关于行为及其支持过程的充分信息。开放式运动任务中技能建模的关键数据获取要求包括但不限于：

1)提取关于执行动作的一般上下文和条件的信息，包括主体在整个执行或比赛阶段(动作表现之前、期间和之后)与之交互的环境和任务元素。

2)捕捉主体在技能分层结构中跨多个组织层级的动作元素和环境交互，包括准备、设置和执行等不同活动阶段。

3)捕捉每个元素的动作执行，详细说明跨组织层级的技术和结果，包括主要动作结果和任务结果。

一般的数据获取方法包括将来自一个或多个视频流的信息与来自安装在对手及其设备(例如，球拍)上或嵌入其中的一个或多个可穿戴传感器的信息进行组合(图17)。组合嵌入式运动和计算机视觉系统可以获得详细的动作执行以及任务环境交互，包括任务和活动对象。例如，计算机视觉系统用于捕捉较大活动和环境，可穿戴传感器可以用于捕捉关于对象或代理的特定运动信息。

视频通常捕捉关于摄像机覆盖场景的全面信息，但是空间和时间分辨率较低。然而，这种性能一直在稳步增长。视频处理可以用于提取活动的多个方面，包括选手相对于球场的运动以及球相对于球场的轨迹(投球)。可穿戴运动传感器(例如，IMU)提供高空间和时间分辨率，但是仅限于其上安装有传感器的特定元素(网球拍、滑雪靴等设备、身体部分等)。最后，关键在于整合这些测量来源。

在网球示例中，特定捕捉方法可以使用从部署在环境中的现场摄像机和安装在身体上的摄像机收集的视频流。现场摄像机可以对代理与任务和环境元素的交互进行3D重建，从而提供有关用于规划和协调行为的任务或活动过程的全局信息。此外，可以包括一个或多个身体或所谓的第一人称摄像机以从代理的角度提供信息，并且因此可用于捕捉代理的感知-动作过程。为了在4D(3D空间+时间)中寄存这些交互的细节，首先使用时空特征跟踪器处理来自视频流的图像，例如从整个场景中提取球轨迹和选手运动。

这些类型的测量会生成大量数据。关键挑战在于处理数据以提取相关信息。该方法遵循生态表示，该生态表示描述了特定感测-运动交互中的行为元素。通过集成这些元素，可以形成总体任务层级的交互和执行。

作为行为单元的动作技能元素

动作作为整个单元进行操作，组合输入和输出以在其特定操作环境(图5A和图5B)中进行交互，并且围绕这些单元组织和执行行为，这一事实意味着：

1)对于在任务领域中操作的每个主体，可以聚合每种类型交互的动作行为并构建技能库。可以提取和分析该库中的代表性元素，而不是分析单个实例。

2)可以在行为单元的不同功能维度分析这些行为单元，包括运动、感测和感知特征。该功能模型不仅说明了这些单元是如何执行的，而且还说明了这些单元是如何部署在任务或活动中的，包括用于预测和同步动作行为的感知提示。

3)动作单元为实现任务目标的行为组织提供了构建块。这些单元定义了在比赛或活动周期内如何对动作行为进行排序以实现任务目标。

4)最后，可以将这些元素集成在分层交互技能模型下，进而可以使用该模型来设计增强，通过在全面的系统范围内操作来提高执行和学习。

为了实现这一点，可以处理动作表现数据以捕捉动作行为单元，以及它们与局部元素以及确定总体任务或活动执行的较大任务环境的交互细节。

除了主要动作单元之外，每个技能元素类型可以表现为一个或多个模式，并且共同涵盖技能库以满足任务要求(例如，与第10,854,104 B2号美国专利、第2121/0110734 A1号美国出版物和第2019/0009133 A1号美国出版物相比)。该库包括不同类别的主要动作(击球执行)。可以为支持行为定义类似库，例如球场动作、导致执行的击球准备以及回位(参见图4)。

动作和技能元素组织

本文描述的行为单元是作为个体在执行领域中获得经验而学习、进一步发展和区分的基本技能元素(例如，与第10,854,104 B2号美国专利、第2121/0110734 A1号美国出版物和第2019/0009133 A1号美国出版物相比)。然后，将这些行为单元集成在协调和任务规划过程中，这些过程是从表2中所示的网球行为组织导出的。该模型的目标是捕捉综合任务或活动的执行，包括控制、感测和规划，负责在活动中部署与关键任务和环境元素相对的行为元素。该模型建立在支持用于执行任务或活动的关键交互的行为元素之上。

表2：在网球得分构造中使用的行为元素的分层结构

在开放式运动任务中，参与者必须学习整个技能组合。行为元素通常按顺序排列；准备和设置技能负责执行初级技能元素的最终条件(例如，参见图7、图25和图26)。

有用的是区分负责主要结果的主要技能元素(网球运动中的击球执行)与支持主要技能的支持性技能元素(例如，网球运动中的地面动作、击球准备和击球设置)。行为元素以分层方式分解为技能元素和技能子元素(例如，参见表2、图10和图11)。

因此，该系统的一般假设是，该系统形成模块化系统体系结构，该模块化系统体系结构可以(i)学习支持与环境的特定交互所必需的感测-运动模式，并且(ii)学习按顺序组合元素以完成较大任务目标。其他活动具有类似的一般结构。例如，在滑雪运动中，主要单元是转弯动作，支持动作行为是转弯动作的准备和设置。

分层交互技能模型

本公开相对于现有技术的一些关键改进包括扩展到支持开放式运动任务的各种动作行为和交互，以及集成在综合评估、诊断和增强所需的分层交互技能模型下。该建模框架的主要见解和步骤描述如下。

动作元素模型

执行数据用于表征和模拟这些动作技能元素。这些元素通过它们的结果、动作技术、身体表现和操作环境来描述。

每个单元支持在其特定操作环境中的一系列条件下进行交互(例如，参见图6)。因此，重要特征在于单元的操作范围及其执行极限，以及操作条件与执行之间的关系。对技能元素进行建模的一个关键方面在于功能模型，该功能模型描述了动作表现特征和结果在一系列条件下如何变化。

技能元素模型还包括描述行为元素相对于任务和环境元素的部署的交互模式(图2A至图2C)。每个技能元素作为行为单元操作，其交互模式由一组输入和结果表征。该功能模型还描述了任务和环境元素交互的模式，包括使用哪些提示来执行技能元素并将其与环境元素同步，以及如何使用这些提示来调整动作表现。

可以使用所谓的逆模型对技能元素层级的决策进行建模。该模型表面上通过选择运动程序及其参数来确定动作轮廓，给定动作单元的期望结果和当前操作条件。

对于比赛中(例如，网球运动中)的技能元素序列，支持性技能元素为后续技能元素创造条件(例如，参见图13A至图13F和图15)。逆模型使主体能够通过考虑行为的每个阶段的实际情况来调整动作表现。在许多应用中，通过规划过程提前提供行为序列及其相应子目标的计划。

任务环境和规划过程模型

规划负责确定未来动作行为序列。这是所谓的动态规划问题的典型情况，其中在任何给定时间的决策都是由任务目标决定的。在网球示例中，这对应于确定与球场元素、球轨迹和对手控制得分的动作相关的球场动作、姿势和球拍击球，即这些行为可以根据关于得分的未来策略来确定。

关于规划和决策，考虑不同的规模和层级通常是有帮助的。任务层级是考虑由任务结构和环境引起的任务目标和任务阶段的最大时间尺度。执行层级处理任务层级与控制层级之间的集成。

基于任务-环境系统的当前和未来状态来执行任务层级的规划；例如，确定将当前状态转换为期望的未来状态的动作序列。例如，在网球运动中，将当前交换转换为投球和选手-对手定位的配置，这将有利于选手执行决定胜负的投球。

这是开放式运动任务的另一个特征。例如，在滑雪运动中，任务层级的规划涉及从当前状态到更接近目的地的转弯序列。

网球选手不具备规划整场比赛的能力，更不用说规划得分了。这不仅是“计算”复杂性，而且是有限的视觉范围和注意力。这些也是与行为、任务和环境动态相关联的不确定性。因此，网球选手了解较大策略，并且可以使用这些策略来提前规划得分内的一次或多次交换。该信息对于负责协调和控制瞬时动作序列以为执行这些行动创建环境条件的执行层级是必需的。

类似地，滑雪者不一定会看到整个环境，并且不具有规划到远程位置的整个转弯序列的工作记忆和规划能力。因此，他们通常在附近规划中间目标，该中间目标提供信息以规划瞬时转弯序列，使处于有利状态的滑雪者到达目的地(参见图34)。

任务环境模式和规划

该环境模型的构造不同于传统状态空间模型，而是利用网球运动中人类和投球决策的结构特性。然后，通过逆模型序列来确定基本分层层级的行为序列(图15)。

执行控制模型

开放式运动任务通常涉及与较高层级规划和感知过程并行处理多个技能元素。执行控制模型负责在执行期间协调这些元素。图12示出了比赛环境中的关键事件序列与图4中所示的动作行为和提示之间的关系。执行控制的一个关键方面在于，为动作元素的成功执行创建环境条件。执行控制模型的一个关键方面在于，在技能分层结构的各个层级部署注意力，包括关于相对于来球的地面动作协调或相对于球逐渐逼近的击球执行的提示。

I.III评估和增强系统

分层交互模型及其内部模型(如图15所示的规划层级的前向模型和每个行为单元的逆模型)描述了开放式运动技能中的功能体系结构和行为元素。因此，分层交互模型为综合技能评估和增强提供了基础。

评估和诊断

诊断遵循分层模型，并且因此可以增强以基于行为元素序列中的依赖性来隔离特定缺陷以及跨分层层级的整个故障模式。

规划评估

分层模型中的最高层级是规划。该层级的评估重点关注主体选择下一个系统状态和相关联动作(网球运动中的投球目标/选择和击球姿态)的能力，以便朝向任务或活动目标推进系统状态(例如，在网球运动中得分)。

执行控制评估

开放式运动技能的一个关键方面在于，主要动作源于基本阶段的决策和行为序列。在主要行为层级观察到的执行是通过用于管理较大任务执行的行为序列创建的操作条件的函数(图13A至图13F)。评估重点关注这些阶段的条件(图29A至图29D)。该信息用于确定执行模式。

环境控制

开放式运动技能的另一个关键方面在于环境控制，例如，在网球运动中，在击球之前的定位和准备。对主体定位的评估是相对于来球进行的，随后考虑相对于来球的准备。

技能元素

最后，详细的技能元素模型可以用于诊断(说明哪些特征负责观察到的执行)和增强(如何/哪些特征可以被操纵以提高技能和任务执行)。

参考数据

除了从主体的数据(描述每类动作技能元素的一系列动作行为)生成的模型之外，还可以使用总体分析为技能元素特征和跨模型分层结构捕捉的附加量提供参考数据(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。此外，还可以结合来自训练领域的最佳实践，例如用于定性动作诊断和训练的动作技术中所谓的关键特征。

增强

考虑到模型的综合范围，增强可以针对不同层级的各种关键功能，包括认知层级的视觉注意力和规划以及动作阶段的感知、感测和运动表现(表3)。

表3：行为层级的过程维度和组成部分概述

提示还可以包括主体与任务或活动环境的交互。本文描述的分层交互模型提供附加元素、控制和感测体系结构以设置跨系统分层结构的多个层级的增强(图15)。具体地，内部模型描述了每个行为层级的输入和输出，因此详细说明了提示可以针对的特定维度。增强可以针对模型的输入和输出，以及模型本身(表4)。

表4：模型分层结构的每个层级的内部模型的输入和输出的概要(对于网球示例)

表4概述了基于每个层级的输入和输出的增强。图29A至图29D(下文)示出了投球交换的各个阶段的行为和增强。下面总结了在任务和动作层级的一些增加。

任务层级

任务层级的两个主要方面是态势感知(识别活动状态)和任务规划。

在态势感知方面，提示可以突出关键提示，例如任务元素或对象。例如，在网球运动中，在交换周期年内感知比赛状态，尤其是预测来球和对手动作，遵循图29A至图29D中的模型。

规划基于前向模型；如上所述，该模型预测下一个任务状态和相关者动作。这种预测基于任务和环境的抽象表示。然后，该信息可以通过执行控制增强来处理，以辅助在本文针对网球运动中的动作阶段描述的每个阶段(子目标)执行。

动作阶段

在动作阶段的增强基于逆模型。逆模型通过选择运动程序和参数来确定动作轮廓。该模型具有两个输入：期望结果和条件。提示可以针对与感知增强对应的这些输入。此外，提示还可以针对输出；例如，提示可以发挥逆模型实现方式的作用，传达关于运动动作的规范。

在定位阶段(图29B)，在输入方面，提示可以指定目标击球姿态(根据规划)和运动间隙(定位条件)。在动作方面，提示可以传达目标姿态和动作模式规范；例如，达到该姿态所需的步法。步法模式可以通过左/右足迹(方向、长度、速度)序列进行编码。

在准备阶段(图29C)，在输入方面，提示可以指定相对于击球姿态(准备条件)的当前姿态和具有投球结果的目标击球姿态。在输出方面，提示可以传达准备动作规范。

在执行阶段(图29D)，在输入方面，提示可以指定当前击球姿态(执行条件)和期望的投球结果(击球目标)。在输出方面，提示可以传达击球模式规范。

增强轮廓

并非增强的所有方面都需要实现。相反，理念在于根据特定主体的评估和诊断来针对薄弱领域进行增强。考虑到影响主体表现的各种因素，识别阻碍表现和技能发展的具体原因至关重要。

组合主体的表现数据和群体数据可为提示提供不同的参考来源。提示可以基于主体自身的表现，例如，强化以往表现历史记录中的最佳表现。组合群体数据，可以从代表性子组生成参考数据(用于生成参考内部模型)。群体数据的优势在于，可以提供主体表现不足的领域的信息。群体数据还有助于推动特定表现领域的技能发展，以及沿着较大技能发展路径的发展(例如，与第2019/0009133A1号美国出版物相比)。

增强形式

提示可以包括视觉提示和其他形式(例如，音频)的组合，以突出显示执行期间的广泛任务或活动事件和动作特征。

传达空间信息的最直接方式是通过所谓的沉浸式技术，例如增强现实(例如，全息透镜系统)。在此类实现方式中，提示被叠加到自然视觉场景中。使用增强环境的示例包括环境中的动作提示，例如运动方向和子目标，以及增强对相关任务元素(例如，用于预测未来事件的那些任务元素)的视觉注意力的提示。

还可以将提示编码成简单幅度信息和警报的音频信号，例如定时提示(例如，与第10,668,353B2号美国专利和第2020/0289907A1号美国出版物相比)。例如，使用耳机的立体声音频信号还可以产生方向提示等空间信号，以发送用于球场定位的运动方向。

最后，可以口头传达提示，例如，增强系统可以直接生成选手在表现期间要实现的姿势和击球特性(参见表1)。

增强系统

本公开内容使技术人员能够描述用于开放式运动任务的增强系统的必要组成部分。图30概述了增强系统及其主要过程和流程。该系统的关键过程包括行为元素的提取、活动的处理与识别、参考量的生成、增强特征的定义及其与活动过程的集成，最后是发送给主体以实现增强性能。该专利考虑了一系列增强形式，包括增强现实、口头命令和/或较简单的基于信号的通信形式。

图30示出了增强系统实现方式的总体系统图，这里以网球为例。该系统分为以下主要组成部分：活动元素处理器(30A)；活动识别和状态估计(30B)；增强处理器(30C)；增强生成器(30D)；以及增强通信系统(30E)。

活动元素处理(30A)负责检测和提取有关活动元素的信息以支持活动状态估计。该活动元素处理基于与已经描述的建模相同的一般过程(如图20所示)；然而，其作为增强系统的一部分的实现方式是实时运行的。该过程使用几个可能的传感器的数据，包括摄像机、嵌入式和可穿戴运动传感器，以及凝视跟踪器，以捕捉活动的相关元素和行为。传感器的选择以及组合方式取决于分析和增强的活动和范围。例如，凝视跟踪传感器使其能够支持对注意力行为的估计。

活动识别和状态估计器(30B)负责对全局活动状态、当前活动序列或周期的行为阶段以及行为元素的状态进行识别和估计。该活动识别和状态估计器基于针对图23中的网球示例所示的分层交互模型。较高层级比赛状态的估计为图10和图11所示的序列中的行为阶段的估计提供信息。

图32中详细描述的增强处理器(30C)组合活动状态估计和参考模型以确定提示特征。提示特征是一般提示而不是特定形式的提示的表征。完整的增强分层结构使用三种主要类型的参考模型：用于在下一个活动周期内规划的参考前向模型；用于在活动周期内协调序列中的动作元素的参考协调策略；以及指定序列中动作技能元素的动作的参考逆模型。参考模型是从用户数据评估和诊断导出的，并且还可以考虑群体数据和/或专家知识。

组合主体的表现数据和群体数据可为提示提供不同的参考数据来源。提示可以基于主体自身的表现，例如，强化以往表现历史记录中的最佳表现。行为的参考数据还可以结合教练的最佳实践。此外，组合群体数据，可以从代表性子组获取参考数据(用于生成参考内部模型)。群体数据的优势在于，可以提供主体表现不足的领域的信息。群体数据还有助于推动特定表现领域的技能发展，以及沿着较大技能发展路径的发展(例如，与第2019/0009133A1号美国出版物相比)。

图32示出了提示法则的一般形式，其使用当前活动状态估计(比赛状态和各种元素的状态)，并与内部参考模型进行比较，以在交换期间合成跨分层结构层级的提示特征。参考逆模型使用更新的状态估计来确定参考行为。因此，参考模型的应用基于活动状态的演变。图32中的其他形式的提示法则可以基于提示是纠正性的(例如，对于关于表现的评论)还是指导性的(例如，对于命令)。在一些应用中，状态估计可以包括对未来行为阶段的状态预测。该信息使得能够计算这些行为的预期提示特征。

图31中详细说明的增强生成器(30D)负责从提示特征产生提示刺激。基本上，该增强生成器负责将提示特征中编码的提示信息翻译成主体可以理解的形式，并对执行或学习产生影响。理念在于使这种方法与以不同形式(视觉、口头、信号提示)和在人类信息处理的不同层级操作的提示兼容。

提示逻辑可以用于根据训练或执行增强等增强目标来选择提示形式。这些形式可以单独使用，也可以组合使用。图31更详细地描述了用于三种形式的增强生成器。可以使用AR眼镜(如图33所示)来实现增强现实；使用耳机、便携式扬声器等某种音频设备来实现口头提示；并且较简单的实现方式包括使用类似的音频设备或可穿戴或嵌入式触觉设备。

AR提示首先需要将提示特征转换为人类视觉系统可以轻松解码的视觉提示元素。第二阶段需要将嵌入在视频流中的来自环境的自然提示与人工提示元素融合。图33示出了AR眼镜中的提示与视频流的融合。图29A至图29D示出了针对行为的不同阶段叠加到环境中的提示元素。

口头提示首先需要将提示特征解释为文本，然后是从文本生成语音的文本到语音转换引擎。表21A至表21E(下文)中提供了网球实施例的文本示例。

简单的音频和触觉提示信号首先需要将提示特征转换为音频或触觉信号，使信息易于为人类主体解码，例如具有不同音调的声音脉冲或不同频率、幅度、脉冲长度和模式的触觉信号。例如，行为的验证可以基于简单的双音方案。

最后一步是将提示发送给主体，在图30中示出为提示或增强通信系统(E)。图33示出了AR眼镜系统，图30示出了主体佩戴的系统以及用于口头或简单音频提示的扬声器。立体声扬声器或耳机可用于空间音频提示。图29A至图29D示出了网球交换中行为的不同阶段的提示的示例。

这些规范涵盖了整个过程分层结构，因为它们表示能够执行开放式运动任务的系统。然而，重点关注规范中所涵盖的层级或方面的子集的实施例可以较简单地实现，并且已经可以为训练或执行增强提供有用的好处。

关于计算型实现方式与基于学习的实现方式的说明

应当注意的是，图30中标记为A至E的这五个系统的细分是为了提供可使用不同形式的算法和硬件转换成实践的功能描述。例如，可以使用包括递归神经网络(RNN)、自动编码器、贝叶斯图和隐马尔可夫模型(HMM)在内的各种统计建模技术来执行活动识别和状态估计。实际实现方式可以遵循图30中概述的其他体系结构。例如，在一些实现方式中，包括提示法则和参考模型的增强处理器可以与提示生成器组合。

基于神经网络(NN)的实现方式正在改变传统的计算方法。基于NN的方案的主要缺点是它们通常依赖于学习，例如监督学习。这需要大量的标记数据。例如，在该网球示例中，可以在专家教练训练主体时从专家教练那里收集数据。在教练课程期间，可以从大量选手那里收集视频和麦克风记录。可以使用这些规范中讨论的其他形式的测量。

基于多层神经网络的系统，包括具有多于两层的深度神经网络(DNN)，在编码和解码过程的功能分配方面提供灵活性，以支持从一些输入信号生成提示。事实上，可以使用多层神经网络结构的形式来集成从测量处理到提示生成的整个流程，例如：可以使用递归神经网络来表示任务或活动以及来自表现测量数据(视频、IMU等)的各种动作行为元素。该表示可以结合不同技能水平和风格的参考行为。然后，可以使用这些网络来实现增强处理器，以基于作为表现测量提供的输入行为来确定提示特征。NN可以实现的较为通用的表示可以用于对提示特征进行编码，这些特征随后可以被解码成用于不同提示形式的提示元素。

此类基于NN学习的实现方式可以用于整个端到端系统，或者可以用于实现图30中的系统的特定方面或过程。例如，可以用于活动元素处理、活动识别和状态估计。或者，可以用于实现增强生成器。具体地，用于口头提示，因为这是教练的一种自然沟通形式。

泛化

本公开内容包括网球应用的详细用例，表示开放式运动任务的示例。该方法可泛化应用于将进一步讨论的滑雪等其他活动领域，以及外科手术等专业技能领域。此外，该方法还可以应用于机器人手术等人机系统。

I.IV概要

本公开内容扩展了基本技能元素(网球运动中的击球或滑雪运动中的转弯动作)，以包括较大任务环境交互。这些重要技术得到进一步发展，重点关注关键活动元素和过程的定义上，包括但不限于以下内容：

·支持表现以及跨系统和行为分层结构的不同层级的各种内部表示的行为元素。

·这些元素如何植根于代理-环境交互和人类因素(例如，可供性)。

·如何利用这种结构进行感知、决策、规划和学习。

一个网球示例提供了人类系统维度的概述，尤其是开放式运动任务中行为的描述和表示问题，重点关注行为模式并考虑代理-环境系统的分层组织。核心理念在于人类行为会产生可用于任务层级组织和表示的结构特征。然后使用这些技术来形式化应用于网球示例的分层交互模型。最后，讨论了该方法在其他开放式运动任务中的泛化。

II.活动跟踪和建模

本部分首先概述了相关工作，重点关注活动跟踪和建模。然后，概述了对人类表现进行建模所面临的挑战，从而概述建模的一般要求。随后，采用了复杂任务执行的系统视图，讨论了影响跨较大分层结构的动作行为结构和组织的一些人类因素。讨论了影响运动控制、感知、规划和学习的生物限制，以及这些限制对行为的分层结构和组织的影响。最后，概述了与开放式运动技能相关的关键学习概念，然后概述了反馈在学习中的不同作用，最后概述了代表性增强系统。

II.I技术立场

从技术角度来看，与综合技能建模和分析相关的领域是活动建模和分析。具体地，对活动阶段进行分割，以自动提取信息用于评估甚至增强。活动跟踪和分析方面的文献包括在过去20年内随着计算机视觉和机器学习的进步而显著发展的各种方法。

下面首先进行简要概述，然后重点关注描述网球运动(体育运动中最先进的代表)，然后描述在外科评估方面的一些应用。

活动建模、分析和识别技术

活动建模、分析和识别主要可以考虑两种形式：自上而下和自下而上(例如，与Yamamoto 1992相比)。前者基于几何模型，根据图像确定表示。后者基于低层级特征。用于表示的动作类别之间的关系通常比低层级特征中的关系更明确。因此，这些方法依赖于学习过程。

早期活动建模和分析依赖于从视频中提取对象和重建3D环境的能力。因此，低层级特征一直很受欢迎。或者，可以手绘模型的特征和状态，这决定了活动模型的详细程度。随着视频质量和计算机视觉的进步，较高层级的特征(例如，基于场景理解提供上下文信息)变得可能。最后，还可以训练最近的机器和深度学习方法来自动确定特征。

视频处理可以用于提取选手轮廓和相关动作元素；例如，使用傅立叶描述符来对参与者姿势进行建模(例如，与Petkovic 2001相比)。

计算机视觉方法可以应用于跟踪网球选手。该问题也可以通过解决特定子问题来解决，包括在球场上检测选手、跟踪选手，以及随后基于关键视频击球帧的识别来识别击球(例如，与Bloom 2003相比)。

可以实现使用视频广播对网球比赛进行自动解说和跟踪的模型。可以制定图形模型来跟踪与得分变化相关联的事件并确定得分结果。这些事件可以包括击球、球场撞击和选手位置；然而，工作不一定包括视频处理，并且也可以基于人工标注。

基于3D摄像机模型，通过全自动视频处理进行的分析可以包括选手相对于球场环境的姿态和运动数据。一种方法可以使用场景层级事件，例如底线相持、网前进攻或发球。这些事件可以用于对比赛进行总结。

一旦完成了视频处理和事件检测，下一层级的分析就可以包括比赛战术。这可能需要某种形式的时空建模。此外，还可以基于事件类别来定义网球赛事和战术的简单本体。因此，可以考虑两个层级的动作和赛事。例如，第一层级的事件可以包括基本动作和投球。第二层级的分析可以基于配置，并且空间行为可以基于球场的粗离散化进行建模。然后，基于这些简单的特征，可以将这些结果转换为捕捉得分(或其他交互任务目标)变化的符号表示。模式分析也可以用于确定战术。

此外，还提供了使用HMM跟踪比赛事件的示例(例如，与Almajai2010相比)。在某些应用中，可以基于启发法来定义事件。例如，隐马尔可夫模型(HMM)可以用于对比赛中的网球击球进行分类。HMM还可以应用于不同的人类行为识别技术，包括语音、手势和动作；然而，不一定应用于时序的运动识别(例如，与Yamamoto 1992相比)。

分析还可以重点关注选手行为和比赛风格。例如，可以建立一个模型来预测下一次投球(或回球)，需要使用来球(投球)以及选手和对手(参与者)姿态的特征。例如，动态贝叶斯网络(DBN)可以用于捕捉在得分或其他竞争或合作的面向目标的活动期间的比赛状态动态(例如，与Wei 2013相比)。

统计模型对较大系统行为(组合选手的动作行为和投球特征)具有较好空间和时间分辨率，使得能够进行分析并比较选手策略。例如，该模型可以包括描述投球和选手定位以及优势指标的特征(例如，与Wei 2016相比)。这些细节还可以使得能够结合选手在球场上动作的不同结果(制胜球、非受迫性失误、相持)来分析来球的特征。

其他示例使用投球和投球组合中的模式来学习选手投球字典，并定义选手风格(例如，基于字典元素的频率计数)。该工作还纳入了上下文因素，例如得分和相持中的投球次数，这些因素可能会影响得分结果(例如，与Wei 2016相比)。

此外，还可以使用运动传感器(例如，GSP和惯性运动传感器)；然而，如果没有充分的信息，尤其是网球和其他球拍运动应用中的球轨迹和选手定位，也很难在活动层级取得有意义的结果。

深度学习还可以应用于活动跟踪和分析(例如，与Polk 2019相比)。深度学习可以实现增强，以减少对手绘特征的依赖(例如，与Hassan 2014和Mo 2016相比)。深度生成模型可以应用于预测网球运动中的下一个投球位置(例如，与Fernando 2019相比)。与手绘特征相比，深度网络还可以实现自动分层特征学习(例如，与Wei 2016相比)。

最后，数据可视化是一些方法的重要组成部分。问题环境的维度很大(包括跨多个尺度在空间和时间维度上演变的参与者和对象)，这使得总结见解具有挑战性。

在足球、篮球、美式橄榄球等其他运动项目上也取得了其他类似结果。在网球运动中，这些应用主要基于计算机视觉，并且重点关注活动或场景的注释。算法的输入是图像和/或球轨迹跟踪数据(例如，在职业比赛中广泛使用的鹰眼系统)。一些示例还包括动作传感器数据(例如，GPS)以及选手和广播员解说的音频数据。

活动跟踪以及技能评估和增强

尽管关于活动识别和跟踪的文献较多，但是关于其应用于技能评估和增强的示例较少，在开放式运动任务中尤为如此。开放式运动任务中的动作技能行为往往涉及一组丰富的不同动作和情景。对于技能评估和增强，这些需要以考虑到人类控制的生态学原理的方式进行处理和建模，包括如何学习和组织动作技能。问题领域结合了任务规范、环境和一组动作交互，以及决定人类动作技能的一系列人类因素。

一个越来越受到关注的领域是手术评估。大多数这些应用基于术中视频记录。视频的使用很有吸引力，因为不需要专门的仪器。机器人手术是一种特殊情况，因为机器人系统已经包括关于其动作的数据。

到目前为止，文献重点关注特定的技术挑战，例如工具检测、手术分期或阶段识别。手术阶段识别是用于自动技能评估和反馈的核心能力。例如，在(Yu 2019)中，作者使用视频中的手动分割阶段来训练深度学习算法。由于手术的不同方面依赖于不同的工具，因此工具识别已经被用于为手术阶段提供信息。

分割视频的典型方法基于将视频转换为特征表示，然后使用特征空间中的距离度量来识别阶段。最近的方法结合了计算机视觉和机器学习，以直接标记视频片段。基于学习的方法基于人类专家标记的视频。专家对阶段和仪器使用以及其他相关事件进行标记。

随着深度学习和其他机器学习方法的发展，整体方法不断变化。

然而，技能建模和评估保持不变。例如，在(Jin 2018)中，作者通过分析工具使用模式以及动作范围和运动经济性等简单指标来评估手术质量。动作模式没有在其特定环境中被语境化，也就是说，它们不被视为交互。下面的网球示例说明了这一点，并且可以很容易地平移到外科手术。

讨论

上述大多数应用依赖于针对执行的特定方面而设计或调整的统计模型。在体育运动中(例如，在网球运动中)，重点关注任务层级的宏观模式；例如，得分策略。因此，在这些示例中，模型可用于在比赛战略层级进行训练，但无法提供用于训练基本协调和动作技能的可操作信息。如上所述，在外科手术中，重点关注技术方面。

为了分析和增强技能，需要对实际的感测-运动交互及其对较高层级过程(包括感知、执行功能和规划)的影响进行建模。更根本的问题在于，活动模型中通常使用的事件和决策与行为的构建块不对应。现有技术的模型可能忽略感测-运动交互，因此它们没有说明支撑所建模的任务执行的各种过程。

此外，这些应用重点关注比赛或活动的有限方面；它们的目标不是提出综合系统模型。深度学习技术可以用于复制预测任务层级执行所必需的大脑记忆网络(情景和语义)；然而，这些不一定要学习动作技能的基本元素的程序性记忆(例如，与Fernando 2019相比)。最后，这些模型的输出通常采用报告的形式，因此不适于实时反馈增强。

更一般地，虽然现有技术的作者可能已经考虑过相关技术，但是这些相关技术并未以本文给出的相同方式或相同组合实现。这会产生一种针对开放式技能评估和增强的改进型分层方法，其整体上解决了现有技术的这些和其他缺陷。

II.II挑战—概述和要求

动态和控制工程中典型过程模型的综合定量方法对于用于综合人类执行建模具有挑战性。由于行为的动态、突现和分层结构，这在开放式运动任务中尤其如此。以下简要概述了这些挑战的一些来源。

对孤立动作的特定方面的技能进行测量、模拟和评估相对容易(例如，在封闭式运动任务中的情况)。例如，在高尔夫运动中，挥杆发生在静止条件下(球和选手)。通过测量挥杆路径和身体部分位移可以相对容易地获得技能指标。然而，在开放式运动任务中，综合评估技能要困难得多，因为动作行为源于与任务环境的动态交互，并且依赖于广泛的过程。

人类因素—生态系统

在开放式运动任务中，执行者被嵌入到任务或活动生态系统中，他或她的动作影响他们执行的环境，同时环境决定动作的执行。基本上，在网球或滑雪等开放式运动活动中，每个动作在与环境和任务元素的动态交互所导致的条件下执行，因此建模和增强应扩展到环境交互。

开放式运动任务涉及个体动作元素与环境和任务元素的动态耦合。如果不考虑代理的行为与其环境之间的动态交互，则无法有意义地分离动作技术与较大执行。开放式运动任务需要跨任务和环境交互的行为建模和分析。这些特征对于如何构建模型至关重要。构建代理-环境模型以捕捉动作技能元素的相应操作环境以及推动动作行为的感知-动作和规划机制。

此外，开放式运动任务通常需要广泛的动作模式来处理任务和环境交互产生的一系列结果和条件。因此，还需要了解代理如何细分结果和条件空间以及与任务执行的关系。

此外，为了在动态环境条件下操作，开放式运动任务中的行为元素应能够进行一定范围的适应和调整，并且因此能够进行评估。对于复杂的开放式运动任务，需要测量执行者如何控制条件，并对跨行为组织层级的规划、感知、协调以及感测和运动过程进行建模(参见图3A和图3B)。

学习

自然系统从根本上不同于大多数人工或工程系统。与工程系统的关键区别在于，高级技能(而不是先天技能)是通过学习获得的；例如，高级技能是通过与活动或任务环境的交互获得的。因此，大脑对行为的编码必须支持增量学习。

因此，实现数据驱动训练的另一种方式是捕捉人类学习的机制(例如，与第2019/0009133A1号美国出版物相比)。这还允许行为单元在学习过程中表示适当的技能单元。例如，基本技能单元可以：

·适应纵向技能发展以响应于执行或训练；例如，通过以基本元素的明确定义转换形式进行学习来捕捉演变。

·适用于广泛的技能层级(从新手到专家)，并且能够正式关联不同的技能层级(例如，通过定义技能差距)。

·对各种活动进行概括；例如，捕捉人类动作行为的基本特征。

机器学习(ML)已经取得了进展。ML不断改变工程方法，尤其是通过提供学习方案而不是传统的设计-构建方法。因此，可以使用ML框架来提供更多见解。例如，强化学习可以提供关于增强的有用见解。

其他生物限制和因素

在开放式技能任务和应用中，主体的熟练程度可以从新手到专家。熟练程度影响每个过程，从动作执行(运动技能)到感知和决策。因此，建模和分析方法应适应不同的技能水平，更重要的是适应较大学习过程。

最后，对人类的熟练行为进行建模更具挑战性，因为该建模涉及生物限制。此类系统结合了运动运动学等机械特性，这些机械特性提供了有形的维度，但也提供了不可观察的维度，例如记忆结构和较高层级的心理表征。因此，要产生符合生物限制和原则的建模语言，必须考虑人类因素。

本公开的以下部分更详细地描述了这些不同的挑战。

摘要和要求

总而言之，在开放式运动任务中综合评估、建模和增强技能的一些关键挑战包括：

·动作行为发生在涉及任务和环境交互的动态条件下。

·产生动作行为和动作的条件必须由执行者或代理主动控制。因此，需要区分环境控制与直接针对动作结果的动作。

·由于动作行为及其环境交互的多个维度，行为更难测量和评估。此外，也很难确定主体提取的信息。

·较大任务目标通常源于动作序列。动作行为源于感知、规划和决策过程，这些过程发生在代理-环境交互的不同层级和阶段。

·动作技能是通过与任务和环境的物理交互获得的。不能单独使用心智锻炼。学习较高层级的功能(例如，任务层级的规划)依赖于足够的动作执行技能。

·行为特征是由生物因素和限制决定的，这些因素和限制也具有每个个体独有的特征。

因此，存在许多令人困惑的因素，并且表现测量不会直接映射到简单的技能指标。对于此类综合评估和诊断，还需要捕捉产生执行动作的条件的动态交互，以及推动这些交互的一系列过程的机制。

下面描述了基于生态系统视图实现更综合的动作行为模型的整体方法，该生态系统视图突出系统范围的交互，以及考虑到支配人类行为的自然法则的关键过程。

该方法首先阐明了大脑如何在执行开放式运动任务时处理这些相同的挑战。该整体方法根据人类执行者感测、感知和表示信息的特定方式进行定制。这里以网球为例，但是该方法可泛化到其他开放式运动任务和活动。

II.III开放式运动任务的系统视图和结构特征

用于定义一种语言来表示开放式运动任务中复杂人类行为的核心任务是定义适当的分析和表示单元。这些单元必须与人类行为兼容，并且包括任务和人类控制分层结构中的多个组织层级。核心问题是，可以使用哪些原则来定义作为开放式运动任务的构建块的行为单元？

该部分讨论了开放式运动任务中的技能单元和结构特征，以及它们对学习、决策和较大系统组织的重要性。了解结构特征对于识别模型元素以及了解组织和分析层级至关重要。该方法建立在生态学原理的基础上。一旦确定了这些结构元素的特征，就可以考虑这些结构元素在学习和决策中的作用。

该部分首先简要考虑了影响建模方法的关键人类因素维度。介绍了人类行为的一般结构特征，这些特征可以帮助了解人脑在表示和控制体系结构中使用的方案。然后，介绍了一般系统技术，这些技术有助于形式化结构元素；例如，通过在开放式运动任务中引入一些行为单元。最后，介绍了行为单元的交互，并且概述了网球运动中的方法。

动态环境中的人类决策

与封闭式运动任务相比，开放式运动任务需要任务和环境层级的感知和决策，例如规划网球投球。开放式运动任务的有效执行不仅需要快速、准确的动作，而且需要跨任务和控制分层结构的不同层级无缝整合和协调行为，每个层级都存在挑战。

网球提供了代表性示例，展示了与扩展任务环境的各种交互，包括在球场上的动作和比赛计划。这些较大维度的决策必须实时做出和更新，并且因此人脑必须有方法来缓解与所谓的维度灾难相关联的问题。

这种情况需要具有多个处理层级的感测和控制系统，从大尺度(包括影响整个组织的决策)到嵌套在这些较大尺度行为中的较快、较小尺度的行为。定义较高层级表征和决策的关键要求在于，解决它们与负责实现行为的基本感测-运动过程的联系。

工程与人类方案原则

考虑到人类因素以及由这些限制产生的自然结构和组织，可以导出准确描述人类表现的模型，因此这些模型也可以用于综合评估、诊断和增强技能。

在工程中，可以通过对控制变量和状态变量进行离散化处理来简化环境状态描述。离散化和量化是机器人和航空航天运动规划计算技术中的常用方法。提供了一种正式方法，以数学程式制定决策和规划。这些模型通常在计算复杂性与最优性之间进行权衡。

人类还采用某种形式的抽象或离散化，以将复杂问题转换为某种形式的“计算”模型。然而，人类方法不同于输入量化和用于描述机器人运动规划中的任务环境的网格世界或图块。阐明这些问题对于构建综合技能评估、诊断和增强至关重要。

决策和感知需要某种形式的表示，以捕捉关键行为元素和交互，从而支持高效决策。如果代理和任务环境中涉及的所有交互元素的状态由全状态空间来描述—就像工程中经常发生的那样，则将难以找到该系统的方案。此外，解决问题的过程有多个方面，包括感知、控制和记忆。

行为顺序

许多开放式运动任务还需要两个额外的较高层级能力，即协调和排序动作，以实现较大目标并处理任务的分层结构。这些需要了解行为与任务结构之间的关系。更具体地，任务与行为之间的耦合需要行为单元来结合任务结构的元素。动作不是孤立的行为，而是任务环境生态系统中的基本交互。

自然决策

自然决策过程被视为基于某种模式匹配和预测过程。例如，国际象棋高手可能能够根据棋子的图案而不是各个位置来识别棋盘配置。

在网球和其他开放式运动任务中，行为不像在国际象棋中那样是简单离散和静态的，还可能涉及任务分层结构中多个层级的动态交互。为了在此类动态条件下使用模式匹配过程，大脑必须使用某种形式的抽象。这些预期是从行为的结构特征导出的。

结构特征

活动的一些元素具有离散结构，例如特定事件(落地撞击、球拍击球、过网)。这些基本上是描述任务阶段的交互的时空特征。这些阶段是行为组织和决策的关键。

然而，在动态特征层级也有较深的结构特征，其可以提供用于跨分层结构的多个层级组织各种过程的特征，这些过程包括感知和决策(预测球轨迹、用于投球选择的态势感知，以及与活动元素的运动和击球协调)。

分层建模：系统视图

开放式运动技能通过与环境的复杂交互来突出显示。主体或执行者被嵌入在任务环境中，响应于因他或她自己的动作、外部元素或其他行动者的动作产生的交互影响而发生的感知变化。人类执行者等代理依赖于一系列感测-运动模式。

基本类型的模式已经被广泛研究，例如在步态分析、伸展动作或特定熟练动作方面。然而，这些研究中缺失的一个关键方面在于，这些模式与任务和环境元素的耦合，以及这些模式如何影响大尺度行为，并且反过来作为较大过程和认知功能的抽象来操作。

为了更好地划分组织层级并了解如何捕捉该系统的相关特征，需要从较大任务和系统的角度来看待行为细节。在生态系统中，行为分布在代理及其环境中。

活动生态系统

图1是开放式运动任务的曲线图图示，示出了元素(节点)之间的交互(边缘)的集合，其中每个元素是代理、代理的一部分、任务或环境元素或对象。该图突出显示了三个尺度：局部系统尺度、局部交互和局部行为，分别包括系统范围和局部交互、局部行为和条件。

图1示出了开放式运动任务生态系统的曲线图，示出了元素(节点)之间的交互(边缘)的集合，其中每个元素是代理、代理的一部分、任务或环境元素。代理通常会对其交互进行有意控制。代理可以通过动作来控制任务环境，这些动作对任务和环境元素产生直接和间接影响，从而在交互的多个层级产生交互。同时，代理还需要感测其环境。感测通常具有有限的范围(示出为代理周围的区域)，人类视觉注意力不能被分开，并且注意力通常限于几个同时发生的项目。

从数学建模的角度来看，开放式运动任务的总体任务描述会导致大量非线性控制问题。如图1所示的一个方面，针对任务结果(3.局部行为)的动作发生在由较大交互(2.局部交互)产生的操作条件下。

为了使代理熟知任务或活动，代理必须了解该系统是如何组织的，以便他们能够以满足系统限制的方式参与这些不同的交互，并实现任务或活动目标。从正式的角度来看，该了解对应于学习该系统中行为交互和信息流的拓扑结构。因此，复杂的动作技能依赖于通过感测和控制体系结构部署的综合过程系统。

根据图1中的一般描述，可以划分以下三个分析层级：

1.在最高层级，分层模型强调系统的全局配置或状态。

2.下一层级考虑系统元素之间的交互。

3.最后一个层级包括每个元素的局部条件和行为。

系统可以具有附加的分层层级。例如，元素本身可以是由元素和内部交互组成的系统。

在本公开中，系统表示开放式运动任务或活动，元素是在总体系统行为中发挥作用的关键对象和代理。因此，从事某项任务的代理必须调整其行为以使系统达到所需配置。要做到这一点，代理必须考虑系统的一般全局状态，同时控制局部元素或对其做出反应。

人类因素考量

人类限制转化为对整个全局系统行为范围的限制，以及对代理可以感测和控制元素的空间和时间准度的限制。在自然系统中，大脑是代理的一部分，因此被嵌入在节点中的一个节点(例如，图1所示的节点3)中，并且必须获得对扩展系统的态势感知，但其动作仅限于直接的局部交互。

人类行为的另一个突出方面是在并行处理方面的限制。如图所示，许多活动涉及并行交互；尽管注意力和工作记忆有限，但是人工代理必须处理这些活动。方案是确定组织结构，包括排序感测、决策和动作过程。

分层信息处理

上面概述的层级划分可以用基本的系统属性来说明，但也可以基于神经认知理论来说明。大脑通过进化发展了基本的空间感测、感知和规划能力，以支持与世界交互所需的一系列技能。不同的大脑区域已经被识别出来，这些大脑区域反映了从任务层级处理到较低层级运动执行的一般组织。

人类分层信息处理模型区分不同形式的信息。例如，文献中提出了三个层级/类别的信息：符号、提示和信号。这些层级将在下面的网球示例中进行说明，作为其他专业、娱乐和职业开放式运动任务和活动的典型应用。

网球示例

图1中的活动生态系统提供了解行为元素如何组织以及如何组合以实现任务目标的出发点。该整体系统描述可以应用于网球运动。该网球示例用于说明建模方法，包括所测量或估计的量的规范。图4示出了为捕捉网球示例的活动环境交互而测量或估计的一些状态维度。

在网球运动中，主要元素是选手和对手以及球(参见图4)。主要动作元素包括地面动作、姿势动作、击球和投球。

由此产生的划分如下：

·在生态系统层级，选手、对手和投球定义了系统或比赛的状态。

·对于网球运动中的关键交互，尤其是选手和对手相对于投球的运动。场地运动和投球目标决定了比赛状态和投球执行条件。

·个体元素的局部行为包括选手和对手的击球准备和执行。

通过考虑决定活动执行结构的行为元素，以更结构化的方式描述活动，而不是将在得分期间发生的投球交换描述为各种元素的状态的集合，例如球、球拍以及选手和对手的全状态时间历史记录。

由于人类因素、行为动态和任务交互的结合，行为围绕特定模式聚集。模式源于实现和组织行为(包括限制)的机制和过程。因此，可以反向设计这些模式，以对基本过程进行建模。对于网球运动，主要模式可以被视为包括击球模式(例如，与第10,854,104 B2号美国专利、第2121/0110734 A1号美国出版物和第2019/0009133 A1号美国出版物相比)。然而，需要不同的击球模式来涵盖所有条件和结果。建模被扩展为包括较大任务和活动交互。

人类行为的分层结构和组织

行为的结构化和组织是集成所产生的过程和系统的关键。这种结构和组织有助于克服与执行以及任务层级感知和决策相关联的复杂性。总体思想在于，结构源于自然系统交互。

人类使用各种方案来组织信息并使行为结构化。例如，将信息组块(例如，将各种信息组合成一些信息单元)是最基本的方法之一。组块意味着行为及其相关联的提示是根据其参与交互来组织的。

一些结构源于用于编码和执行动作行为的过程。例如，在动作执行层级，可以基于运动程序的定义来学习和组织动作行为。然而，每个程序的操作领域都是有限的。这些限制部分源于功能机制(控制变量、感测信号与提示之间的关系)，以及限制身体部分之间配置范围的限制(生物力学系统和肌肉协同作用)。

例如，可以使用非线性动态系统的语言来描述此类较深动态特性。可以使用诸如来自相图的表示来捕捉动态交互中的模式及其关系。此外，还可以使用贝叶斯图分析来帮助识别异构量之间的模式，例如凝视和动态行为。

动作的特定操作范围导致任务工作空间的分区。因此，执行者获得的动作模式的特性决定了较大任务组织和执行。这些特性反过来被用于任务层级的感知和决策。总的来说，一系列这些程序必须涵盖任务执行所需的一系列动作和结果。

为了了解动作行为在较大行为组织中的参与，需要考虑较大代理-环境系统(图1)。

因此，本文提出的技能分析和建模重点关注明确说明动作模式与环境和任务元素之间的耦合。这种耦合由动作行为的不同方面与环境和任务的不同对象或元素之间发生的交互决定。

量化基本单元及其功能特征，以及这些单元产生的基本特征是对技能建模和对较大获得过程进行建模的主要挑战。

交互和行为单元

与工程系统相比，人类行为往往被视为结构化和可变性较低。然而，当了解较大系统和原则时，结构会变得更加明显。一旦确定了此类结构，就可以精确地分析并最终增强行为和技能。

交互和行为组织

交互通常表现为系统动态中的模式。这些模式描述了行为如何围绕代理-环境系统的不同条件和动态聚集。在开放式运动任务中，行为形成与不同模式相关联的一系列动作行为。不同的代理或主体将表现出不同的模式特征，并且因此还表现出不同的各种系列。因此，该系列反映了这些代理或主体的熟练程度、风格和其他因素，例如年龄、健康状况，甚至个性。

这些交互是基本交互，因为它们形成了支持高效决策所需的较大行为结构和组织。因此，主体不仅学习行为，还学习细化和扩展代理-环境系统的动态范围。这些见解说明了支持代理-环境动态范围的交互表示开放式运动任务中行为单元的原因。

根据经验获得复杂任务；因此，行为结构和组织也是了解学习过程的关键。指定可以被视为指示学习过程的构建块和原则可以帮助确定与该过程兼容的建模语言，以及潜在的生物限制。该方法的另一个好处是将应用于广泛的技能水平。

如图1所示，交互是代理-环境状态通过其改变的关键过程。一类重要的交互是由代理的感测运动过程推动的交互。通过这些交互，代理获得关于其行为的信息，同时产生结果；结果被定义为动作对环境的影响。

代理的交互是针对任务环境元素或对象的有意动作，或者仅仅是动态任务过程的一部分。图1中的交互可以从弱到强进行分级；例如，基于所涉及的元素之间的耦合水平。强交互通常由感知-动作过程或直接物理耦合产生。

网球运动中的交互示例

例如，在网球运动中，主要动作是针对来球进行回球并改变方向(参见图2A至图2C)。反过来，投球旨在对选手配置产生特定变化(参见顶部)。然而，存在额外的支持交互。这些动作包括在球场上的动作(参见中间)，以及用于实现实际击球执行的有效设置的准备动作(参见底部)。如下所述，开放式运动任务的一个关键方面在于，产生用于主要动作的任务环境条件，例如球场动作以及在击球执行之前的准备运动(参见底部)。

其他开放式运动任务具有类似的一般特征。在滑雪运动中，代理、主体或参与者(例如，滑雪者)使用表示主要动作的转弯来操纵通过地形。通过协调滑雪板和身体来执行转弯。操纵包括协商不同条件所需的不同转弯类型。在每次转弯之前，滑雪者设置转弯以控制执行转弯动作的条件。

用于活动的交互过程可以通过图1中的曲线图来描述。应当注意的是，有关活动的重要信息由曲线图特征捕捉，包括其拓扑结构。此外，还要记住，元素(节点)之间的关系是动态的。

该示例在本公开的后续部分中完全展开，以定义代理与所描述的网球示例中的任务和环境元素之间交互的准确拓扑结构。参见图9所示的曲线图以及图4所示的任务和环境元素。首先，击球被视为基本技能元素，用于与球的交互。然后，将击球集成到较大任务和环境交互中，这可以对处理测量数据所需的任务结构和组织进行形式化描述，并继续对其进行建模和分析，以便进行评估、诊断和最终增强。

II.IV分层模型—概述

图2提供了在网球运动中不同组织层级的交互的图示，示出了在投球交换、全局定位和击球准备和执行层级的行为。或者，可以对参与其他开放式运动技能活动的主体或参与者进行说明。

在投球交换层级，选手或其他参与者在对手投球时间(t^O _s)采取某种姿态，并且在回位时间(t^P _r)采取击球姿态；例如，响应于所投射的落地撞击或对象的其他投球位置。在该网球示例中，参与者在时间(t^O _s)与由第二选手或参与者(例如，对手)投出的球或其他对象交互。该对象在过网时间(t^O _n)过网或其他屏障或环境特征。

在网球示例中，该对象是来球，其中回球以间隙G(例如，用于投球的目标区域或其他对象)为目标，该间隙G根据图24的τ模型定义的间隙比率而变化。在定位层级(例如，定位期望的投球、击球或与其他参与者的其他交互)，局部条件包括局部(或相对)姿态、击球点(或投球点)和准备。在回位时间t^P _r，多个姿态A、B、C和D是选手击球(t^P _s)的选项，取决于在预测落地撞击(t^O _b)或在该对象的其他投球位置提供的提示。

在准备和执行层级(例如，用于位置和姿势)，击球或交互条件包括前摆开始、前摆轮廓和球撞击(或其他投球)条件。可以在弹跳(t^O _b)后的时间t^O _b+提供额外的提示。参与者响应于沿着投球路径获得的提示(来球线)形成击球模式(或其他动作模式)；例如，取决于主体的位置(选手地面位置)，并且包括被选择来击球的击球或动作阶段(t^P _s)。可以提供增强以改变或改进回球结果；例如，如由投球参数所定义的，例如在撞击位置(弹跳落地撞击)处定义的方向矢量X_b和Y_b以及来球线与发球线(或其他投球和回球路径)之间的角度φ。

在现有技术中，重点关注在技能元素运动技术和主要结果的层级评估动作结果。因此，本公开重点关注将感测和控制从技能元素层级扩展到较高层级的控制和组织，包括但不限于：

·局部情况，包括动作元素的定位和准备；

·全局情况，包括为实现任务目标而规划和管理行为。

下面首先描述了从决策组成部分开始的总体系统体系结构。该系统描述的目标是将技能元素集成到较大任务过程中。

人类因素和学习

行为结构和组织中的一个重要因素是人类规划、感知、注意力以及更具体地工作记忆具有特定限制。例如，视觉注意力被限制为一次跟踪单个对象，环境的感知通过对于活动关键的信息来调节，并且工作记忆只能同时保持少数对象。

因此，复杂任务需要跨分层结构的层级排序行为并协调如何使用资源的机制。网球选手等代理通过学习任务结构以及感测和控制结构来解决这一挑战，该感测和控制结构确定当任务展开时人脑如何部署资源以支持各种交互。大脑主要通过学习分层控制体系结构来解决这些复杂性挑战。

尽管大脑被组织成分层地处理信息，但是选手必须学习特定任务架构；例如，他们必须学习任务元素和结构、动作技能元素词汇，并且学习由技能元素介导的交互。同时，主体必须学习确定提供跨组织层级协调所需信息的提示。

因此，用于开放式运动技能的综合模型的一个关键方面在于，能够形式化不同行为层级之间的关系，并且将其集成在如图3所示的分层控制体系结构下。该模型的元素反映了跨组织层级的主体技能，并为综合技能评估提供了基础。为了使此类模型对技能评估和增强的应用有用，需要处理的关键任务是对分层结构每个层级的动作技能元素和提示进行建模，并将这些动作技能元素和提示跨不同层级集成在任务模型下。

任务和行为的分层结构

如本文所公开的，复杂任务(例如，在开放式运动任务中)通常已经基于动作元素或动作基元序列(顺序)进行了描述。考虑到动作技能元素与任务之间的交互，行为的分解不应基于简单的运动基元(例如，几何特性)，而应基于功能特性。基本上，支持各种任务或活动交互的动作技能元素表示任务层级过程的组织单元。

图10示出了行为的一般分层结构，而图11示出了网球运动的主要组织和结构层级。不同的行为单元可以基于组织层级来定义。活动层级可以描述为阶段序列。这些阶段通常由可以视为子目标的状态来划分。如本文所述，子目标可以基于活动和环境动态来解释。网球运动的子目标可以描述为选手在每个交换周期的投球目标。这同样适用于滑雪运动中的子目标。

每个阶段通常由动作元素序列来描述。这些元素由与任务和活动环境的各种交互来定义。例如，在网球运动中，交换期间的交互是定位动作、准备、执行和回位。每个移动元素由与活动的特定交互以及可能还由活动的事件来定义(在图12中详细描述)。

每个元素通常由动作阶段来描述。该层级用于与动作执行和感测-运动交互的细节相关联的生物力学限制。对于网球运动，如图11所示，可以考虑以下关键阶段：回摆、回环、前摆、撞击和随球动作。应当注意的是，在动作元素与动作阶段(协同发音)之间可能存在一些重叠。例如，击球动作跨几个动作元素。击球阶段分布在元素序列上。回摆通常已经以所谓的转身开始，该转身可以被视为定位的一部分，回环通常是击球准备的一部分，前摆是执行的一部分。如本文可以理解的，考虑较大环境交互会产生比仅考虑击球更复杂的行为结构(例如，作为简化的结果，或者在其中选手不必抢占新的位置并且可以执行击球作为主要行为元素的准静态条件下)。

如前一部分所公开的，行为单元也在不同信息处理和组织层级操作。例如，如图11所示，网球运动中的投球和总体球场动作跨越较大任务范围，而击球准备和最终执行可以跨越特定操作环境内的较多局部行为。此外，这些多个行为单元可以同时操作，这意味着阶段重叠，并且它们可能需要共享视觉注意力等资源(图12)。这需要某种协调机制，该协调机制通常由执行功能来执行。本说明书描述了用于网球运动的这种结构，但是大多数开放式运动任务具有类似的一般单元并且表现出行为分层。

特定行为分层结构从任务结构(图10和图11)和相关联控制分层结构(图12)导出，在每个层级从上到下进行，为感知和控制过程生成更具体的上下文。因此，在分层结构中的较高层级，行为在更一般的全局操作环境中操作，而在较低层级，行为在更具体的操作环境中操作。下面首先概述了网球示例的行为分层组织。

图28是代表性网球示例的跨组织层级的感知-动作和决策过程的图示。主要动作执行、准备和设置、全局定位和任务层级以分层顺序在左侧示出(垂直方向)。该过程贯穿出现在顶部的全局环境感知、决策/动作和主要结果功能(水平方向)。

在任务层级，环境处理包括全局条件，例如全局选手和对手(或主体/参与者)姿态、投球或任务状态、交换和得分(或其他状态)状态或其他任务层级条件。感知包括态势感知和感测。可以为包括姿态和投球决策的决策/动作定义全局姿态和提示(例如，投球提示)，其中主要结果包括对期望的投球或击球的定位或其他任务层级决策、动作和结果。

为了说明在其他娱乐、专业和职业任务和活动中的应用，考虑了网球运动中的以下四个主要动作元素：用于在球场上运动的定位动作；用于为设置击球执行的准备动作，其中准备通常需要与环境元素和对象同步；主要动作执行，旨在产生任务或活动的主要结果。在网球运动中，这对应于投球；最后，击球执行之后的回位。

对于全局定位，环境包括全局姿态、击球点和击球准备等全局条件或其他全局条件。感知包括运动内容。全局定位和提示可以被定义用于包括定位和准备的决策/动作，具有包括位置和姿势的主要结果或其他全局定位结果。

对于准备和设置，环境包括局部(相对)姿态、击球点和击球准备等局部条件或其他局部条件。感知包括局部运动上下文。局部定位和提示可以被定义用于包括准备和设置的决策/动作，具有包括位置和姿势的主要结果或其他准备和设置结果。

对于主要动作执行，环境包括前摆开始、前摆轮廓和球撞击等击球条件或其他主要动作条件。感知包括击球类型或其他主要动作感知。执行提示可以被定义用于包括击球执行的决策/动作，具有包括击球和投球的主要结果或其他主要动作、决策和结果。

在主要动作之后，还可能需要考虑回位动作。在网球运动中，这对应于允许选手准备下一个来球的动作。回位可以遵循活动的标准模式，例如返回网球底线中间。

行为嵌套

注意图28中感知过程的嵌套方式，其中最高层级捕捉宏观任务配置和规划，而中间层级和低层级重点关注行为实现方式的细节。开放式运动任务中的行为的一个关键特征在于，序列中的行为和基本动作元素在任务或活动展开时发生(图12)。执行功能基于在行为展开时实现的结果来更新动作元素的状态和设定点。如果环境变化太大而无法补偿，则在现有计划内，任务层级规划可以用新的期望活动/环境状态和动作序列来更新计划(图3)。

通常，动作元素序列内的决策和行为遵循从粗到细的轮廓；例如，首先是较大、较接近的动作，然后是调整，最后是执行。这是人类动作的典型模式，并且以运动/准备/执行序列来实现。应当注意的是，该分层结构涉及在时间和空间特征方面对操作环境的描述。

该网球示例示出了行为元素的范围如何在其空间范围和时间尺度方面减小。任务层级的范围较大，包括任务和环境元素，并且通常具有几秒量级的时间尺度(例如，在网球运动中，交换长度约为2-5秒，取决于球的速度)。按执行控制层级考虑的动作元素序列(例如，定位和击球准备)发生在环境元素的子集内，并且具有约0.5-2秒量级的时间尺度。动作元素的实际执行发生在直接环境中。例如，击球执行必须考虑接近其落地撞击的来球，并且具有100-200毫秒量级的时间尺度。

表5：行为的三个关键层级的范围和功能概述

表5总结了三个关键层级的范围环境和行为。第一层级可以被视为推动新任务状态的战术层级过程，并且主要涉及态势感知和规划功能。第二层级可以被称为环境控制层级(选手-球场交互)，并且主要涉及执行功能。第三层级表示负责成功执行主要结果的任务动作控制层级(选手-球交互)，并且主要涉及较低层级的感测-运动功能。

该描述提供了关于确定复杂开放式运动任务的行为组织和决策体系结构的因素的额外见解，使得可以基于如图3所示的信息流结构和行为分层结构来分解认知、感知和控制过程。同时，该描述有助于描述与这些过程相关联的技能组成部分，这使得可以制定综合技能评估和训练以及执行增强过程。

例如，应当注意的是，部分地由执行功能支持的定位控制层级允许对由嵌入环境中引起的感知-动作循环进行主动控制，这是开放式运动任务的关键特征。这可以被视为操作条件的控制(补偿复杂的代理-环境动态的非线性，参见图1)。该层级的重要任务是控制条件，以便可以实现最佳任务动作。在该网球示例中，这对应于对期望结果(投球落点)提供最高置信度的击球执行。例如，对内场棒球来球手跑动行为的研究是环境控制的结果。

环境动态

为了更好地描述在开放式运动任务中的行为，描述环境条件的类型很有用。例如，考虑静止或准静止环境条件的情况，则动作元素通常减小到主要动作(例如，网球运动中的击球或滑雪运动中的转弯动作)，然后可以在可重复条件下执行。

在网球运动中，如果投球交换保持不变，重复来球和发球，并且选手和对手可以保持其配置，则条件是静止条件。因此，可以使用相同的准备、执行和回位序列，这会产生周期性动作序列。可以预测来球，因为来球也是周期动作。几乎没有要进行的定位，并且投球目标保持恒定。基本上，行为的所有方面可以是可重复的。主体可以适应稳定的周期性行为。

这在比赛情况下会发生变化。选手和对手必须胜过对方。来球不太可预测，并且选手可能必须改变投球方向。这些动态条件是开放式运动任务的标志。

在滑雪或地形环境中的其他活动中，当地形一致时，条件是静止条件。存在不同程度的一致性和平稳性。在准静止条件下，滑雪者可以调整动作阶段以适应条件的扰动。如图34所示的较显著变化，滑雪者必须在两个地形环境之间转换，以避开树木并到达目的地。该转换需要动作序列来定位和回位准静止转弯序列。

在滑雪运动中，当地形变化和/或滑雪者相对于环境改变其行为时，条件是非静止条件；例如，滑雪者相对于滑降线改变路径，或改变动作特征，或进入新的地形元素或条件。这些规划可以被概念化，因为子目标的确定是推动行为进入其新制度的局部状态。

对于决策，规划过程序列较大(网球运动中的交换部分，其中一些可以保持静止条件，例如在选手和对手交换投球而不会显著改变配置的相持期间，或者滑雪地形中的静止行为部分)。

子目标

如图10和图11所示，可以基于子目标的概念来描述活动的阶段。基于上述讨论，子目标可以被定义为静止或准静止行为阶段之间的转换状态，即操作制度的改变。例如，在网球运动中，在交换中，如果相持保持静止，则每次击球和投球发生在相同条件下。当参与比赛并得分时，选手不得不改变投球模式。每次投球重定向需要新目标，这可以被视为子目标。

在滑雪运动中，一致的地形元素允许在类似的条件下反复转弯，但是如果地形发生变化，或者滑雪者想要采取行进通过不同地形元素的新路径，滑雪者必须选择子目标并转换到该新状态(如图34中的子目标所示)。在这些转换阶段，环境控制尤其具有挑战性。

如上所述，还可以理解在动态环境条件下操作如何需要学习一系列动作以适应不同的条件并在条件或状态之间转换。

许多开放式运动任务共享相同的一般形式的分层行为组织。组织层级是从与任务结构、动态和所产生的交互相关联的结构和拓扑结构导出的(图1和图10)。每个层级由其操作环境和感知或感测组成部分以及决策或动作组成部分来定义。

分层系统体系结构及其过程

这种深层级的行为组织和协调结构是开放式运动任务的一个关键特征。因此，决策和控制过程应按照行为和信息处理分层的组合来组织。典型的层级包括较大任务层级的计划和组织结果、各种动作技能元素的全局协调及其按顺序执行，包括动作准备和执行(参见图2A至图2C)。

过程的范围包括：

·规划在全局范围内部署代理的技能元素，包括朝向子目标的动作元素序列。

·协调用于控制局部任务操作环境和条件的动作行为(环境控制)。

这包括支持局部任务和环境交互的感知过程。

·用于执行主要动作(生物机械系统)的感测-运动过程。

如图3所示，这些过程在分层体系结构下组织。在网球运动中，三个主要系统层级对应于：规划球场动作和投球选择；协调动作技能元素，导致进入下一个比赛状态(包括定位、击球准备、击球执行和回位)；以及执行这些动作技能元素。

在自上而下的过程中，图3中的模型描述了：全局环境，任务层级规划感知，随后是场地运动和投球目标的感知(在当前的投球交换中)，以及最低层级的击球执行，包括在撞击之前同步击球和球轨迹。

规划是开放式运动任务中的基本能力。规划确定系统的较大状态轨迹，其通常可以描述为朝向目标的子目标序列。在网球运动中，在规划层级的状态是比赛状态(下面被形式化)，其捕捉选手/对手和投球配置。网球比赛状态轨迹描述了在促使得分的一系列交换上的系统配置，或者相持等某种平衡状态(如图13和图14A至图14C所示)。下面说明了这些细节。

任务层级规划包括感知和感测(有时也被描述为态势感知)。对于网球运动，这对应于确定比赛的状态，包括选手和对手的位置、投球以及确定得分的当前阶段。该层级的规划和决策主要是战术性的；例如，选择下一个投球目标。这还需要规划定位以拦截来球，选择击球类型以在这些特定条件下实现期望的目标。因此，规划会确定下一个交换周期(图3)内的动作序列。

在大多数开放式运动活动中，尤其是那些直接处理空间控制的开放式运动活动，例如在滑行通过环境时，规划应确定轨迹和子目标，其定义朝向较大任务目标的中间阶段(图34)。规划还处理任务限制，例如由环境或任务元素所强加的以及由地形元素和障碍物(例如，树木)所说明的。

一旦该任务的系统轨迹已经被规划，则后续层级会处理控制沿着将当前系统状态转换为期望状态的规划轨迹的行为。轨迹可以由动作元素序列来指定。这通常涉及协调局部环境中的行为。在网球运动中，这涉及实现各种动作交互，例如在球场上运动、准备击球、击球、回位并准备下一次投球交换。考虑到环境的动态特征，应通过交互来监控动作序列，以实现动作行为的准确定时和结果(图12)。

执行控制层级重点关注创建用于成功执行实现期望的比赛状态所需的动作序列的条件。在感知方面，这可以包括在计划的上下文中更新定位和投球选择，提示更具体，并且动作重点关注实现投球拦截和击球执行的定位(图12)。

对执行的监控还必须处理意外情况。例如，如果情况以意想不到的方式展开，则网球选手可能必须切换计划，但是这经常会产生次优计划(例如，阻止投球，这是一种防守行为)。在文献中已经描述了不同的控制模式(例如，参见持球跑进、伺机、战术和战略)。

最后，在感测-运动控制层级，执行支持任务交互的各种动作行为。这些规范重点关注涉及环境交互的方面。例如，击球执行需要与来球精确同步，并且可能调整击球参数以适应投球拦截和击球执行的实际条件。在该层级和阶段，通常控制条件以满足规划投球的操作条件，并且选手通常致力于计划和击球类型。

II.V技能学习和增强

训练增强技术的最终目标是一组算法，其可以聚集信息并提取关于主体的技能的知识，并使用该知识来产生各种形式的反馈以帮助推动技能获得过程。因此，整体方法实质上包括对大脑学习机制进行逆向工程。

建模的其中一个出发点是人类和动物在其大部分生命周期内依赖于技能获得。人类和动物通过实际的现实交互来学习这些技能。也就是说，他们学习与环境交互，并处理在活动期间面临的各种挑战。人类通过他们在各种领域中获得技能和使用工具的能力来区分自己。专业技能不是先天的，而是后天获得的，此类复杂技能在人类经验中发挥重要作用。诸如用于外科手术或选手的专门技能通常是通过专门训练获得的，然而，技能提高取决于现实经验。

了解技能是通过与真实世界的交互来学习的，应提供对用于学习的技能元素类型的结构和特性的额外见解。然后可以利用这些元素来制定模型表示以评估学习过程，并最终建立用于开放式技能训练的增强系统。

可以描述学习过程(例如，与第2019/0009133A1号美国出版物相比)。在本公开中，这些技术被扩展到任务交互以及从感测运动到较高层级规划功能的环境感知。

人体运动技能学习

从神经科学中已知人脑可以学习各种行为，建立在基本感测-运动功能的基础上。最简单的是实现动作，例如在人类和灵长类中广泛研究的那些动作。熟练行为的示例包括复杂操作、演奏各种乐器以及体育运动。当全面地考虑时，这些技术通常形成如图1中所描述的复杂系统。

环境的作用

动作是与特定环境特征的交互，并产生结果，进而改变环境；因此，大多数熟练的动作不是孤立的动作，而是发生在由代理-环境系统确定的特定条件下(参见图1)。生态心理学强调了这一观点。这些理念中的一些理念已经通过具体化的认知来进一步阐述，这强调了以下理念，即行为不仅存储在人脑中，而且信息分布在身体和环境中。

指导与选择分化

一些学习理论强调选择相对于指导的核心作用。此外，还可以使用所谓的内部参数的分层固定。在该模型中，动物或有机体通过建立一系列动作来学习。学习的选择理论源于对协调性、最优性和适应性的要求。模式不一定是先天的，因为这可能需要将不切实际数量的模式存储在运动存储器中以处理所有可能的人类活动的环境和任务。

执行者必须学习使用所获得的感测-运动模式来产生实现较大任务或活动目标所需的特定结果。在开放式运动任务中，学习必须包括来自环境的动作(运动输出)和感测输入，以及如何在任务中部署这些行为以产生多组一致结果。

关键学习概念

学习动作行为和任务的结构是高效学习的关键。所考虑的一些结构元素是击球类别，其支持活动中的主要结果和交互(图6)，并且因此表示基本技能元素。

击球可以划分为多种类别，从而形成技能库。此外，还可以考虑动作技术的变化，例如那些在学习和熟练情况下发生的变化(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。此外，还可以通过形成动作模式的过程以及将它们区分为多种类别来考虑学习技能库(例如，与第2019/0009133A1号美国出版物相比)。

从神经生物学的角度来看，每种类别中的动作由相同的所谓的一般运动程序产生。这种通用程序可以被视为参数化运动功能，其使得能够适应一系列条件并调整一种类别中的结果。应当记住，通用运动程序基于模式理论，其体现了结构学习的一些基本概念。

先天的技能与后天获得的技能

感测运动系统结合了数百万年来关于与世界交互的经验。支持学习的过程被编码在基因中；这些过程提供了一些基本能力，并使得能够根据特定经验获得专门技能。来自不同物种的动物出生时的能力程度各不相同。人类因对支持的依赖程度较高而脱颖而出，但获得技能的潜力极大。

具体地，人脑结构和感测-运动系统是根据遗传信息预先确定的。这些结构提供了从生命的最初几天起支持与世界交互所需的低层级表示(特征)和功能机制，例如眼手协调。大脑建立在这些基础上，建立更综合的机制，例如那些用于开放式运动技能的机制。具体地，在较高层级的注意力和规划功能中结合低层级表示需要协调较大任务或活动目标内的行为元素并对其进行排序。

机器学习

机器学习的一个关键方面在于，从数据中提取结构。已经开发了三种主要机器学习范式：无监督学习、监督学习和强化学习。这些技术通常应用于工程问题，但是在不同的领域中提供关于人类学习问题的信息。在监督学习中，输入是数据，输出是描述数据的标签。目标是找到一个网络，该网络生成不包括在训练集中的数据的正确标签。在无监督学习中，目标是确定数据中的统计规律性，这使得网络能够在没有监督的情况下确定数据的标签。最后，在强化学习中，学习是从应用于数据的网络产生的行动的结果中进行的；良好的结果产生推动学习方向的强化。

在机器学习中实现的监督学习需要比典型的人类儿童接触到的数据要大得，例如在图像中的对象学习中(例如，与Zador 2019相比)。显然，大部分感测和运动表示是先天的。在体育运动和一些专业技能等高度熟练的行为中学习的知识，结合先天行为和后天学习的行为。学习开放式运动技能包括学习各种问题的方案，这些问题不适合单一学习范式。也许最合适的范式是分层学习，其涉及几个层级的表示，每个层级推动动作。最高层级的任务目标和计划；较低层级的更具体决策和控制问题。

在此类模型中，先天的感测和运动表示提供了在这些不同层级使用的基本元素，并且学习涉及微调，并且将行为专门指定到特定领域，并且将这些行为集成到用于规划和协调的较大表示中。

结构学习

学习网球击球或其他动作形式可以描述为结构学习的一个方面。选手学习运动模式以及相关联的感测和感知特征。代替学习用于适应比赛中出现的不同条件和结果的每种击球类型的特定模式，选手学习将条件中的这些变化的空间分解成子领域，其中每个子领域定义击球类别的操作条件。

因此，从神经认知的角度来看，学习结构和组织对于高效学习是必不可少的。从工程的角度来看，这种了解可以帮助设计或调整用于跨分层系统的技能学习的增强。

可以区分三个学习阶段：形成、集成和优化，主要是为了使增强形式适应学习的特定方面(例如，与第2019/0009133 A1号美国出版物相比)。

参数学习

一旦形成击球类型或类别；例如，当建立了捕捉动作功能结构的运动程序时，选手可以进一步学习其参数化，以便能够在条件和结果的较广泛变化范围下执行。后者被描述为参数学习，并且可以被视为合并阶段。该过程还可以扩展到优化阶段，其通常涉及与参数学习和调整并行进行的动作结构的细化。

任务结构学习和分层学习

组合学习动作元素结构和任务结构会导致学习活动或任务的分层结构。在许多开放式运动任务中，必须组织和排序动作元素以实现较大任务目标(参见行为顺序)。研究已经表明，专家网球选手在长期记忆中形成击球体系结构的分层表示。预期形成类似的记忆结构以对任务或活动交互和结构进行编码。

其中一个核心问题是可用于使活动中的较大结构形式化的原则：如何在状态空间中阐述特征以形成结构特征？结构既是空间的，也是时间的；因此，这些特征也决定了任务的时间结构，该时间结构决定了动作和事件如何展开。这种结构需要协调感测和感知过程，例如注意力以及任务规划。

最后，学习这些结构元素和特性对于实现支持任务执行所需的较高层级决策至关重要。

涉及结构特性的原则

学习文献没有充分强调与任务或活动结构相关的问题。大多数运动学习发生在自然世界条件下。

考虑到动作本身的复杂性，以及动作与环境和任务元素耦合的额外复杂性，人脑正在利用几个基本原则来缓解这些挑战。这些原则至关重要，因为它们形成了行为结构和组织。

·在动作表现层级，这些原则包括肌肉激活中的协同作用，这会产生身体部分和关节运动的协调模式。

·在动作交互层级，与环境的同步和协调由τ引导等感知不变量来确定。

·在动作组织层级，这些原则包括大脑在与环境的交互中利用不变量和对称的能力。

大多数动作会产生特定的结果并由特定的状态条件触发。因此，动作是表现为具有特定提示和结果(例如，基于信息和授权)的交互模式的输入输出模式。

这些特性和原则(协同作用、不变量和对称)的结果是产生结构化工作空间。基本上，动作及其与环境的交互会产生具有特定结构特征的子空间。

反馈在学习中的作用

反馈对于运动程序的开发可能是必需的(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物以及Summers 1981相比)。运动程序具有两个组成部分：运动命令，以及预测运动命令效果的前向模型(传出副本；例如，传出感测结果)。来自本体感受和体外感受的反馈用于比较运动命令的预期效果。使用差异来更新内部模型。在学习的初始阶段可以使用外部模型(例如，教练对动作进行建模或演示)；例如，学习动作形式或体系结构。更一般地，可以将执行反馈与模型进行比较，并将其用于更新运动程序和内部模型。随着时间的推移，外部模型可以被一个或多个内部模型代替。

存在与环境交互尤其相关的反馈的其他作用。动作旨在在环境中产生结果。在此方面，以下反馈中的一个或多个反馈可能是相关的。首先，动作执行发生在物理环境中，并且因此在动作执行之前存在正确的初始条件至关重要。成功的动作和结果开始于正确的动作准备。在大多数活动中，动作准备阶段本身表示动作元素。这也得到神经学研究的支持。可以在验证满足正确的初始条件之后继续执行。本体感受性和外感受性反馈(尤其是视觉)两者可以用于提供评估初始条件和调整身体姿态和姿势的信息。

第二，反馈用作程序监控器。在动作执行开始之前，期望的感测结果被向前馈送，以便与执行期间来自本体感受和外部感受的反馈进行比较。该比较用于确定动作是否被正确地执行，还被用于确定动作在产生期望结果(所谓的结果知识)中的有效性。

最后，在核心层级操作的低层级反馈用于进行快速校正(快于50毫秒)。该反馈用于补偿在执行快速动作阶段期间环境条件下的小干扰或不确定性。

提示可以增强这些反馈中的一些反馈以帮助学习和执行。本公开重点关注环境交互。为了对执行者产生有意义的影响，还可以更充分地表征环境交互。

了解这些交互的结构提供了如何进行学习的模型，这又可以用于动作技能的评估和增强。

增强型技能学习系统

可以引入和详细阐述增强型人类训练系统(例如，与第10,854,104 B2号美国专利、第2121/0110734 A1号美国出版物和第2019/0009133 A1号美国出版物相比)。本文描述的增强过程还包括反馈增强系统，包括指令、提示和信号。在现有技术中，提示有时主要针对用于执行任务的主要动作的动作执行。

提示被扩展为包括如图2A至图2C所示的较大动作交互。这些额外的行为维度可以通过扩展一般增强系统来实现；包括对较大任务生态系统的测量。具体地，可以引入与环境元素和事件的动作序列协调以及任务层级执行，其在本文被进一步扩展和概括(例如，与第10,854,104 B2号美国专利、第2121/0110734 A1号美国出版物和第2019/0009133 A1号美国出版物相比)。

详细描述了开放式运动任务中行为的几个关键方面，包括但不限于环境控制，例如用于为主要动作创建操作条件的动作准备。因此，反馈提示包括环境交互，例如动作同步以及环境操作条件与动作表现之间的关系，包括其在任务环境中的多个层级结果(参见图17中的结果1至结果3)。

学习系统的元素

学习意味着技能获得涉及聚集和处理信息以获得知识。因此，隔离知识获得中涉及的元素和过程可为系统地建模和评估技能提供基础。虽然这些量不一定像计算机程序中的情况那样是显式的，但是技能变化的事实递增地意味着存在可以跟踪和评估变化的量；例如，技能获得可以被设想为一系列转换。

技能学习系统的元素也可以包括以下各项(例如，与第10,854,104 B2号美国专利、第2121/0110734 A1号美国出版物和第2019/0009133 A1号美国出版物相比)：

·存储器结构，聚集动作模式并且可以通过连续迭代来改进

о一系列扩展模式

о改进的个别模式

·能够提取有关动作交互的信息，以便了解动作和环境特征的变化，从而改进对任务或活动执行至关重要的特定结果(分析和诊断)

·能够确定特征变化以及要实现的变化增量(反馈综合)

·引发所需变化的机制(反馈通信)

任务交互增强

本公开解决了支持与任务或活动环境的更广泛交互所需的特定需求。

在提示系统的输入方面，动作表现测量，包括相关任务和环境元素。开放式运动任务需要学习注意力和感知过程：

·视觉注意力

·环境提示确定

此外，开放式运动任务依赖于较高层级的过程，包括：

·朝向任务目标的动作序列规划

·相对于环境和任务元素的动作排序和协调(执行功能)

由于开放式运动任务中的可能增强范围较广泛，因此可以利用广泛的不同增强系统配置和增强形式来分别针对表现的不同方面以及人类信息处理系统的不同组成部分。

增强可以基于听觉、口头、视觉和/或触觉提示(例如，与第10,854,104 B2号美国专利、第2121/0110734 A1号美国出版物和第2019/0009133 A1号美国出版物相比)。口头提示是用于提示复杂交互的良好选择，因为指令和命令可以更容易地编码成口头提示。增强现实(AR)是在感测和感知过程中增强的良好选择。AR系统是沉浸式系统，并且因此提供了对环境的自然体验的增强。然而，在训练开放式运动技能的增强中，信息覆盖必须按照代理-环境系统的自然分层功能结构和组织来组织，即感知系统的生态学原理。

III.网球示例

本公开的该部分重点关注开放式运动任务中的功能要求。根据在网球比赛中的应用，该部分提供了在前一部分讨论的关键理念和技术的说明。支持代理-环境交互的动作单元的一般描述突出了在开放式运动任务中管理空间行为的功能维度和一般原则，并为较大尺度任务表示提供了基础。该部分还：

·描述了网球运动中的动作行为元素及其一般功能特征。

·将动作行为元素扩展到任务和环境交互，并将其定义为组织单元。

·描述了行为的大尺度结构特征，以及任务层级的表示，包括任务层级的行为离散化，其源于动作行为元素。

·建立在这些见解的基础上以概括行为的分层组织和系统范围的体系结构，集成了较低层级的感测和控制过程以及较高层级的感知和决策过程。

III.I行为和功能维度的网球运动概述

网球运动表示一种典型的开放式运动任务，其中动作在根据选手、球拍和球的动态配置确定的各种条件下执行，该选手、球拍和球都相对于场地运动。因此，选手必须学习在比赛期间出现的广泛条件下成功地执行动作，并且还学习以与任务结构兼容并最终支持任务目标的方式部署这些动作。

网球—活动和行为元素

图4示出了具有关键元素和变量的网球场环境。总体任务环境状态根据选手和任务元素的状态确定：

·选手和对手相对于球场的姿态和动作。选手和对手被分成身体部分(前臂、手、肩、躯干等)。

·除了衣服之外，参与者还佩戴或携带设备，分别包括鞋和球拍。

球拍用于击球和投球。

·击球是主要动作元素，并且可以表示选手与球之间的交互。

·最后·由球轨迹定义并连接环境和代理的投球因此表示任务层级的交互。

网球比赛的物理环境是球场，球场具有网(网带和实际网)等关键元素，球场被进一步细分为离散区域(发球区、球道等)。元素、物理环境和选手的完整集合描述了活动环境，其指定了选手所体验的环境。

图4是网球击球及其与关键环境任务或活动元素的交互的图示，所述关键环境任务或活动元素包括可以在交换期间跟踪以捕捉整个活动环境交互的一些状态维度。图5A和图5B还示出了与球场和选手的球交互相关的关键事件的时间。

在该特定示例中，与来球相关联的代表性时间的特征在于对手击球时间(t^O _s)、对手回位时间(t^O _rc)、过网时间(t^O _n)、来球线(t^O _sl)和弹跳时间(t^O _b)。与选手击球模式相关联的代表性时间包括选手就绪时间(t^P _rd)、击球时间(t^P _s)和回位时间(t^P _rc)。由来球线(t^O _sl)和弹跳或击球(t^O _b)提供提示。增强可以被设计并适于改进或以其他方式改变回球的结果，例如通过改变目标回球位置和时间(基于球速度和方向)或通过选择旋球或其他参数来改变回球路径。

网球比赛涉及选手和对手与对象(球拍和球)和球场的动态交互。图4示出了这些元素，以及行为和交互的关键特征，例如选手用来预测来球和调整行为的可能提示。该图还示出了在击球(击球结果)和投球(投球结果)层级的结果。

通过描述代理(选手和对手)和环境交互的物理过程，可以形成该系统的详细、完整的第一原理模型。它还可以包括参与交互的所有相关身体部分的生物力学(例如，动力学链)。然而，此类模型高度复杂，并且将使得难以捕捉总体系统层级动态和行为。具体地，真实的模型也必须考虑神经运动、感知以及更一般地认知过程的影响，这通常不能直接测量。

从所有部件和过程的集合中确定整体行为极为复杂。相反，该理念在于使用行为建模方法，其重点关注推动任务动态的关键行为维度。此类模型是基于支持关键活动交互的动作元素和决策导出的。

行为元素集成了行为和活动交互的相关功能方面，包括动作表现、感知和感知过程。然后，行为元素可以集成在考虑规划和决策过程的任务层级模型下。因此，第一步骤是在特定网球示例中以及通常如下面详细描述的那样定义行为元素及其对应的功能维度。

网球—功能维度概述

一般理念在于，选手和其他执行者可以学习动作以支持特定的任务和环境交互。

行为和动作技能元素

动作元素可以采用动作技能元素的形式引入(例如，与第2019/0009133 A1号美国出版物相比)。动作技能元素也可以被编码为一般的运动程序，并且在一系列条件下实现任务或活动的特定结果。

动作元素通常包括一系列过程，例如感测和感知。在本公开中，术语“行为元素”也用于强调凝视或规划等其他行为。较广泛的行为定义遵循心理学中的行为定义：有机体响应于外部或内部刺激的活动，包括客观可观察到的活动、内向可观察到的活动(参见内隐行为)和无意识的过程(参见APA)。

图5A是示出技能元素以及相关联动作和感知过程的框图。如图5A所示，技能元素或运动程序可以用于响应于一个或多个提示来实现动作模式或被选择来在环境中产生结果的其他动作。环境条件反馈给技能元素。

图5B是在不同条件下支持与任务环境和对象的交互的技能元素及其相关联动作和感知过程的示意图。如图5B所示，参与者采取选手落地位置，以便形成由击球阶段构成的击球模式，以响应来自来球和/或落地撞击的一个或多个提示，如沿着入射线所定义的。该结果由回球落地撞击来定义，如沿着回球线所定义的。

图5B示出作为动作技能元素的示例的网球击球，突出显示了输入输出过程。这些过程对应于支持环境交互的感知-动作循环。该图示出了用于执行和调整击球的凝视和提示。

在开放式运动任务中，大脑必须学习一系列动作模式，以应付一系列条件，并产生熟知任务或活动所需的可靠结果。下面描述了技能元素，并最终描述了它们与任务环境的交互。这将有助于了解人脑如何学习和组织跨一系列条件的行为，并最终对技能进行建模、评估和增强。

技能元素：定义

技能元素是选手或参与者技能单元的正式定义。技能元素也可以定义如下(例如，与第2019/0009133 A1号美国出版物相比)。

技能元素(e_i))组合模式类(P_i)，其运动功能结构(MFS)(例如，由运动模型δ_i指定)和各种相关属性(a_i):

e_i＝(P_i,δ_i,a_i) (方程1)

属性(a_i)的集合包括但不特别限于结果，与技术和性能相关的各种属性，以及操作条件的范围。

选择这些属性以提供每个技能元素的全面描述。该信息可以用于评估技能元素，其例如可以被实现为合成成本函数，组合属性以形成分数。

应当注意的是，属性最好描述为统计分布。对应于模式类的每个技能元素捕捉具有属性范围的运动范围。在熟练的选手中，该范围是由于对不同条件和感知的反应所致。因此，这些变化与技术/运动的变化密切相关。在不太熟练的选手中，该变化可以是更随机的。因此，具有属性的一个目的是识别类中的运动实例的属性中的不变特性。另一个目的是开发一种基于该属性和运动分布量化技能或学习状态的方法；例如，通过开发技能状态以帮助识别学习阶段(例如，与第2019/0009133A1号美国出版物相比)。

交互和结果

结果被定义为操作对环境的影响。在包括环境的情况下，可以给出动作技能元素的更精确定义。动作技能元素基本上是一种动作模式，其旨在支持任务和环境交互的一个或多个方面，并且更具体地，旨在在任务或活动环境中产生结果(参见图5A和图5B)。

在网球运动中，击球的主要动作是回击对手球并产生发球或回球，最终目标是推动对手动作并发出制胜球。因此，需要考虑跨几个交互层级的结果。例如，在网球运动中，从球拍击球之后的球的状态，到球穿过球场时的多个投球特性，例如球网上方的高度，以及球场对手侧的落地撞击位置(参见图4)。

运动程序

每种击球类别表示感测-运动(或取决于所考虑的层级或结果的感知-运动模式)，其强调行为源于某个输入输出过程，如图5A和图5B所示。每种类别的技能元素包括一组输入、输出和一组提示。

输入是用于执行击球的信号和提示，与任务和环境元素(例如，来球和投球目标)协调。输出是描述动作对任务环境的影响的结果。执行运动的条件可以被视为辅助输入或参数的形式，因为它影响动作的执行及其结果。

动作模式本身通常由功能动作体系结构定义(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。

然而，此类动作技能也可以同化在程序性记忆中，以实现快速响应，并免除对支持较高层级处理(例如，规划)的注意。在开放式运动任务中，这将需要对无限数量的动作程序进行编码。大脑通过使用所谓的一般运动程序(GMP；另请参见如本文所述的“人类因素”)来解决该“维度灾难”。

操作范围和库

对于GMP，大脑仍然必须学习多个程序，但是这些程序中的每个程序涵盖整个类别的动作。例如，每种击球类别涵盖包括特定范围的条件和结果的操作环境。由每种类别支持的特定范围由动作功能特征(生物力学、感测-运动过程和提示，参见图6)来确定。这些特征是通过学习和经验获得的，并且确定表现。

对于GMP，选手仍然必须学习多种类别的技能元素以涵盖一系列结果和条件，但是只能学习有限数量的技能元素，这比每个结果条件必须单独学习的情况容易得多。

击球类别可以根据以下各项定义(参见图5A和图5B)：

·输入：参考结果和提示，其对在一系列条件下执行击球所需的信息进行编码以产生期望的结果(意图)。

·结果：旋球、步速、投球长度和高度、落地撞击位置(参见图6)。

·条件：来球步速、撞击之前的旋球和高度、选手相对于落地撞击的位置(环境的状态，如图5A和图5B所示)。

应当注意的是，条件是系统的输入，但是更多地作为参数。

网球击球等技能元素能够适应一系列条件和结果，并且总的来说，一系列技能元素基本上离散于较大操作领域。因此，为了覆盖任务的较大操作领域，需要具有不同操作范围的不同击球类型。

图6是针对给定站位和击球类别的技能元素的操作范围的图示，示出了条件变化来源和结果变化的示例。这些变化相对于一些标称条件和结果示出。

如图6所示，参与者可以采取选手地面位置来执行一系列击球模式；例如，具有前摆开始和发射速度的变化以响应弹跳条件和撞击条件的变化。因此，可以存在一系列投球结果(或回球)和击球结果(回球位置)，具体取决于一系列对应的来球(或发球)。

图6示出了选手可以适应的正手击球的一系列条件，同时描述了利用该特定击球类别可以实现的一系列结果。这些特征可以通过定义一些标称条件和标称结果并将操作条件定义为关于标称条件的扰动来形式化。对于击球，拦截/击球条件的变化源于选手相对于投球(例如，相对于落地撞击点)的定位的变化和击球执行的变化两者。

在图6中，击球执行的变化被示出为在前摆开始点处球拍状态的变化以及在击球时产生的球拍状态的变化。来球的变化被示出为在撞击时的落地位置和球弹跳高度的变化以及球状态的变化(主要是速度方向)。这些由选手从标称落地撞击和落地撞击时球的状态的相对位置来表示。所有变化来源最终导致击球扰动，从而导致结果变化，首先是离开球拍和球场上投球目的地时的球速度。

因此，选手必须学习补偿条件的变化。技能娴熟的选手甚至利用条件来高效地实现期望的结果。

图6还示出了动作元素如何“锚定”在环境中。在网球运动中，选手相对于落地撞击点的位置定义了交互的条件。

总而言之，动作单元使得代理能够在任务环境中实现必要的结果或动作，同时适应甚至利用条件。每个动作模式的特征在于模式可以适应的一系列结果和条件。这些特征定义了模式的操作范围。

选手可以学习扩展技能元素的操作和结果范围。然而，生物力学和感测-运动限制会导致对可达到范围的限制。因此，为了进一步扩展一系列结果和条件，选手或代理建立了他们的一系列动作单元，这允许他们涵盖广泛的条件和结果。

行为和结果的选择

在给定情况下可以使用许多不同的动作技术和姿势(参见表1)。技能元素层级的决策基于给定的条件和期望的结果。在下文中，这种形式的“局部”决策基于一种类型的逆模型，其基于预期结果和主要条件来确定图5A和图5B中的运动程序(参见图3A至图3B和图15)。

然而，在开放式运动任务中，执行者可以在某种程度上控制执行技能元素的条件。例如，在网球运动中，选手可以定位他们的身体并选择相对于来球的站位。该较高层级的决策涵盖在任务层级的规划下。

支持行为元素和过程

复杂的开放式运动技能还需要其他行为元素来支持任务所需的一系列能力。例如，在网球运动中，除了被视为主要动作行为元素的击球之外，其他动作行为包括各种地面动作和准备动作。一组扩展动作行为至关重要，因为该组确定选手能够在多大程度上控制条件并最终控制结果。

此外，这些行为的有效部署取决于预期和规划技能。因此，对于完整评估，可以捕捉行为的所有这些功能维度并对其进行建模。

例如，在投球交换中，选手观察对手的动作和投球，选择击球目标，并将她自己或他自己定位在球场上以击球并产生期望的结果(参见图7)。考虑到球场的大小和有限的落地速度，选手必须预测击球落地撞击和条件，然后运动到该预期位置，同时更新实际的击球参数并准备该击球以创建所需的条件，并且最后执行尽可能接近于所选击球和投球结果的标称操作范围的击球(图6)。如果无法实现，并且击球在标称条件之外执行，则投球结果可以是次优的。例如，投球落点的精度可能很差，或者甚至导致非受迫性失误(投球进入球网或在球场边界之外)。

行为分层结构

此外，与击球一样，较大交互(例如，网球运动中的投球)在球场范围内操作，形成大尺度行为元素。这些较大行为模式是由动作元素的组合产生的，包括环境元素以产生较高层级的结果。它们对较大环境交互的协调由较大感知和动作单元控制(与包括局部环境的较低层级击球动作相比)。

该组行为可以通过如图11和表6所示的用于网球示例的分层模型来表示。图11定义了突出显示行为元素的时间关系的分层组织。应当记住，击球被视为主要动作行为；然而，击球的有效性取决于其他行为，例如球场动作和准备动作。这些支持行为也是技能元素，这些技能元素从属于主要行为但提供关键能力。

表6：在网球得分构造中使用的行为元素的分层结构

完整的行为由组合选手状态、投球和对手的扩展状态空间来定义。然而，该组较大的可能状态、提示、条件和结果由控制交互(例如图11中的行为分层模型)的限制构成。

泛化

分层组织可以是人体运动的一般特征(例如，与Bernstein 2014相比)。其他开放式运动任务或活动共享类似的运动技能元素和分层组织。总而言之，动作单元使得代理能够在任务环境中实现必要的结果或动作，同时适应条件。

以下部分描述了具有较大任务交互的网球示例的行为元素的扩展。此外，还描述了对开放式运动任务至关重要的环境控制维度。

环境集成

开放式运动任务和活动依赖于各种动作技能行为。其中每一个是可以具有多个交互元素和操作环境的技能维度。如图4所示，网球提供了一个很好的示例，其中技能建立在跨分层结构的多个层级交互的多个行为元素(球场动作、击球设置和准备、击球执行和投球)上(参见图11)。考虑到跨不同组织层级交互的元素的数量，在该系统内操作涉及复杂的规划和控制问题。

决策的一个核心问题在于指定某种形式的表示：如何以简洁的方式描述包括身体、任务和环境元素的一组完整行为，使得其本身能够高效地进行感知和决策等较高层级的处理？

为了成功地处理广泛的条件，大脑将条件和结果的状态空间(配置空间)划分成子空间，在每个子空间中使用不同的动作类别来执行。在网球运动中，其中每一个都是击球类别。这些类别由宏观配置变量(击球时球拍的几何形状)以及基本感测-运动过程的动态(其还取决于技能、强度、协调等)来定义。

此外，击球条件以及因此选择用于拦截或回球的击球类别取决于选手和球拍的状态与来球轨迹之间的关系。为了为网球运动中的击球等动作的执行创建有利的条件，选手必须预测来球并在球场上抢占位置；例如，在提供最佳结果且对应于来自该系列的交互的状态下推动身体。

图4示出了具有与环境和任务元素(包括球场动作和投球)的较大交互的击球行为。下一步骤是将行为扩展到这些较大任务交互。这相当于描述用于主要交互的基本技能元素(例如，击球)如何扩展到支持任务的较高层级交互。

网球运动和较大技能单元中的任务层级交互

例如，击球和投球包括一系列不同的动作行为类别，以便处理各种条件和结果。这同样适用于地面运动。选手通常学习一系列不同的步法模式，以便有效地在球场上运动，这可以通过步骤序列来描述。这些动作还与投球相协调，并且潜在地与对手的动作相协调。因此，这些动作本身表示行为单元。

由于动作技能是随着时间的推移获得的，因此技能元素捕捉了这些动作如何使用，并且如何从处理随着经验和熟练程度而产生的不断扩大的一系列环境交互的经验中出现。

操作层级/操作要求

由于动作元素的结果是通过将行为执行到该类别的标称条件的程度来确定的，因此动作表现的一个关键方面在于控制这些条件。推动较大交互的技能元素的一组基本特性是它们的相应操作条件。

执行行为的准确条件源于代理与环境之间的相对配置。特定击球类别的操作条件由选手和球拍之间的相对运动和状态以及来球来确定。回球由选手相对于来球的落地撞击来击球的位置以及球拍击球时的高度和速度来确定(参见图4)。

定位部分是为了保持一致的操作环境而进行的。产生恒定的条件有助于保持可处理的总体感知和控制问题。对操作条件的要求是对较大行为组织的限制。选手必须预测来球的轨迹。在网球示例中，提示可以包括事件相关特征，例如对手的击球、投球过网时的方向和位置、落地撞击之前投球轨迹的曲率或选手拦截之前弹跳的特征。可以使用凝视跟踪和行为响应来正式地研究这些提示。另一方面，现有技术重点关注对手的运动和击球提示。

结果包括球拍击球之后球的状态，并且当球撞击对手球场侧时，与交换或比赛最相关的投球位置和状态。

下面描述了较大尺度元素内的协调，具体地控制条件所需的球场动作以及任务环境控制和感知。

环境感知和控制

在网球运动等开放式运动任务中，条件取决于选手的球场定位、姿势、投球预测、目标识别等。因此，在执行动作的条件下，可能存在许多不确定性来源。开放式运动任务中的技能在很大程度上取决于将条件稳定在实现期望结果所需的特定范围内的能力。除了球场动作或击球执行层级之外，这还称为环境控制层级。

例如，在网球示例的情况下，选手可以拥有各种行为元素，例如球场动作和击球，但是仍然必须协调这些元素以构建得分并最终得分。

此外，每种类别的行为由表征交互的变量子集来控制，其示出特定击球模式如何使得选手能够处理一系列击球条件。击球条件主要由选手相对于落地撞击位置的姿态和来球条件来确定。考虑到这些条件(来球和所选定位)，则通过所选击球模式(初始条件和挥拍轮廓特征)来确定精确的击球条件。应当注意的是，即使对于完全相同的条件，由于“运动噪声”的存在以及影响过程的不确定性和干扰，击球模式和投球的结果也受到变化的影响。

根据该描述，对熟练表现的要求是能够相对于任务环境(例如，对手、投球、下一个投球目标)和定义行为执行基础的物理交互的局部环境(来球弹跳、相对姿势)来定向。应当注意的是，感知包括外感受性和本体感受性维度。

任务环境内的协调在很大程度上取决于预测任务状态变化的能力。决策必须考虑交互的结构以及这些交互如何确定任务或活动中关键动作的执行。

环境协调

选手的动作行为涉及几个嵌套的动作协调问题，可以包括但不限于以下各项：

(i)首先，存在相对于来球以及对手姿态和动作的较大定位协调。空间配置定义了击球条件和一系列结果(参见图7和模式的操作范围)。

(ii)然后，一旦到达相对于来球的大致位置，就存在相对于该投球的更局部环境的动作，包括为投球执行创建精确条件所需的准备和设置。

(iii)最后，存在击球动作相对于来球的最终阶段的协调和调整。该阶段发生在球拍击球之前约100毫秒。

这三个层级的动作行为的协调由预测的拦截点以及预测的击球和投球来推动。跨任务空间的这些多个层级的空间协调是开放式运动任务的特征。下面提供了关于该网球示例的每个层级的行为协调的更多细节。下面提供了正式描述。

全局协调

为了成功回球，选手必须以预测来球的方式在球场上抢占位置。投球可以到达各种位置并具有不同的特征(旋球、步速、高度和长度)。如图7所示，来球还提供了用于击球的各种选项。因此，场地运动还必须考虑回球的期望类型和目标。

图7是来球的可能的选手击球姿态(A-D)的图示。图7还示出了从起始姿态开始所需的场地运动。

初始位置(t^O _s)描述了对手球击球时选手的位置，以及投球过网时的预测姿态(t^O _n)。为了决定定位和拦截，选手必须预测投球轨迹。理想地，当球击中选手的半场时，选手已经响应于来自来球线(t^O _sl)以及(预测的)击落地球和弹跳轨迹(t^O _b)的一个或多个提示而抢占位置，允许选手适当地准备回球，并且为回球创建精确条件以实现预测结果。应当注意的是，图7所示的尺度仅是代表性的，并且对于任何特定的网球环境或其他交互任务环境来说并不一定是现实的。

球轨迹完全由球拍击球之后球的速度、旋转和位置确定。因此，选手或任务参与者可以越早提取关于来球或其他任务交互的信息，参与者可以越早预测轨迹、做出关于位置和击球(或回球)条件的决策，并且可以有更多的时间来抢占位置和准备回球。研究已经表明，高级选手甚至使用来自对手的击球准备阶段的提示。

局部任务环境协调

为了朝向期望的目标回击来球，选手必须以精确的方式拦截球并击球，这会产生球拍交互，从而产生形成将来球速度改变到期望的出球速度所需的冲量而需要的作用力。研究已经确定，技能娴熟的执行者可以实现与5毫秒量级的外部事件协调的时间窗口。

此类精度水平需要协调和准备运动。从击球时间开始，球拍必须沿着非常精确的轨迹朝向球行进。击球的最后阶段(在击球之前约100毫秒)基本上是开环弹道；例如，其轨迹遵循预编程的轮廓。该最终阶段取决于正确的准备和设置，用于姿态、姿势并产生球拍的初始状态。前摆开始时的这些条件是在从回环到前摆的转换期间产生的，并且对于技能娴熟的选手来说涉及整个身体的动力学链。

行为执行和协调

在最后的执行阶段，选手可以操纵的控制变量是前摆击球轮廓。该阶段基本上是球和球拍击球在其最后约100毫秒内的同步。控制任务是基于来球的扰动来调整击球特征。这些类型的控制问题最可能使用所谓的感知引导机制来执行。人类视觉系统使用特定的机制来提取必要的信息，例如球在撞击地面后在视网膜上接近选手时的膨胀速度。

通常，对于击落地球，球拍在球落地撞击之前回球，并且当球弹跳时，选手开始回环并转换为前摆。通过使球运动和击球相对于击球点同步来实现精确的击球条件。球拍与预测击球点之间的运动间隙的关闭速率，以及弹跳球的向上运动与预测击球点之间的感测间隙。

应当注意的是，击球条件还应考虑横向-方向控制。球在撞击之前的方向以及球拍在水平面中运动的定时和方向决定了球的方向。

III.II大尺度动作行为结构和组织

本公开的先前部分定义了行为元素、功能维度和限制。在描述可以协调和控制行为的体系结构之前，定义了在任务层级结构上操作的较大行为元素。以下部分描述了这些元素与任务结构一起如何确定任务执行结构。一般理念在于，较大尺度行为建立在源于动作元素和任务交互的结构基础上，以创建可以被视为行为抽象的内容。

动作技能元素和行为组织的集成

基本技能元素(例如，击球类别和网球投球)与较大任务环境的交互必须参与用于任务层级感知和决策的组织结构。主体的行为元素对此类结构的支持程度最终决定了他们的表现和技能。换句话说，组织是自上而下和自下而上影响共同作用的结果。

下面描述了跨组织层级的行为元素的集成，以形式化任务结构和组织。了解行为结构和组织是其抽象的基础。下面描述了基于图7中引入的代理-环境系统中的行为模式的抽象，而不是使用典型形式的离散化。

该系统包括世界或任务环境，以及任务环境的元素和参与活动或任务的代理(参见图4的网球示例)。如果这是工程问题，通常通过指定球的状态、执行者等来描述行为。此类完整、综合的描述或表示不是人类的现实模型。

相反，主体必须依赖于与人类因素兼容的某种表示。在下文中，所提出的方法重点关注行为的元素(例如，击球类别及其结果和投球交互模式)，而不是指定详细的状态信息(例如，详细的球轨迹等)。

技能发展理论得益于生态动态的视角。该方法的一般理论是，其中发生大尺度行为的结构不是预定的，而是源于代理-环境系统引起的各种限制。

因此，行为结构和组织由任务结构和目标的组合以及各种生物限制(例如，执行者的生物力学以及控制和感知机制)的影响来确定。

因此，从生态动态的角度来看，从代理-环境交互导出的行为元素提供了组织和协调行为的结构。下面重申了一些理念，这些理念强调大尺度协调。

技能建模和评估的重要性在于，行为模式作为可以评估和分析的行为单元，并且能够进行抽象的较高层级状态是集成技能元素或行为单元的结果。

投球模式和球场离散化

基于击球条件和生物限制的影响，击球类别描述了不同的动作模式。类似的考虑可以扩展到投球。主要技能元素的操作条件和执行特性决定了对任务执行的限制。投球与击球模式相结合，并围绕针对球场的不同区域的投球模式的群集进行组织(参见图8)。

图6还示出基本技能元素(网球击球)跨不同交互层级的集成：a)来球；b)击球和球撞击(及其直接结果)；c)这转而定义了投球及其结果。

选手可以使用速度、球的垂直角(离开球拍)和旋球的组合来控制击球的长度。考虑到固定速度和旋球，最小垂直角(刚好过网)与最大垂直角度(刚好落在球场上)之间的范围称为接受角。理论上，选手可以通过改变垂直角来产生针对不同深度的投落地球。然而，这假设选手可以精确地控制条件。

例如，理论上，可以通过将垂直接受角分成三个不同的区域来实现三种深度(例如，在球场中央)的投球。每一个都只能是几度，并且需要熟练地控制在可允许的接受范围内的角度。伺服系统等机器应具有此类精确度(在封闭式技能的情况下也是如此)。然而，为了使人类可靠地获得不同的投球深度，使用三种不同的投球模式更容易获得这三种深度，每个投球模式组合了步速、旋球和垂直角。同样的推理适用于投球的横向和方向控制。

任务层级模式

这基本上说明了最好以不同的模式来执行投球的原因，这些模式在对整个任务环境中的一系列条件和结果发挥作用时利用生物和感测限制。执行者根据主要环境和任务限制来学习如何调整模式参数。

此外，除了球场位置之外，还需要考虑来球特征。对手可以使用具有不同速度、高度和旋球的投球来瞄准球场上的相同位置。选手依赖于环境提示；例如，物理环境和来球特征的组合。预计选手使用提示和地标的组合来定向自己(组块理论)。因此，选手定位和环境感知会显示特定的球场模式。

由于各种因素的组合，使得选手根据动作行为和感知模式来离散化任务环境，从而产生如图8所示的特定目标区域。环境与选手和对手的技能特征之间的交互会导致结果的特定分布，尤其是所产生投球的落地撞击分布。这些特征转而确定任务执行(参见图8了解任务空间的离散化)。

示例：网球投球模式

图8是示出网球环境和元素的示意图，示出了投球与球场之间的交互以及选手和对手的球场动作。图8突出显示了两个选手的投球落地撞击分布。这些分布以理想方式示出了特定于主体技能的投球模式如何离散化任务/活动环境(与第2019/0009133A1号美国出版物的图8相比)。

图8示出了一系列选手/参与者和对手/参与者投球和回球轨迹(交换k,k+1…)的选手和对手投球落地撞击分布。对手/参与者击球(或投球)姿态时间是t^O _s(k)、t^O _s(k+1)等，其中过网(过边界)时间是t^O _n(k)、t^O _n(k+1)等，落地撞击(投球点)时间是t^O _b(k)、t^O _b(k+1)等。对应的选手/参与者回球(击球)姿态时间是t^P _s(k)、t^P _s(k+1)等，其中过网(过边界)时间是t^P _n(k)、t^P _n(k+1)等，落地撞击(回球点)时间是t^O _b(k)、t^O _b(k+1)等。

网球运动中的投球图表用于显示来自球场的不同区域(通常在离散化球场环境中)的选手投球模式。为了充分考虑交互，投球图表需要考虑来球的特征；例如，选手基于球场击球位置以及来球的旋转、速度和高度来回球。图8示出了理想投球图，以突出显示选手的相应风格和技能如何离散化任务空间。

这种类型的投球图已经根据数据进行了表征。例如，可以使用比赛计算机视觉数据来确定选手的投球字典；例如，使用鹰眼系统设备或可从位于英国贝辛斯托克的Hawk-Eye Innovations等供应商获得的其他增强现实设备(例如，与Wei 2016相比)。字典描述作为选手技术和策略的特征的投球模式。在下文中，可以使用环境模型来形式化球场-投球层级交互的行为。环境的状态由选手和对手姿态以及来球来确定。环境上的输入或动作被定义为选手的回球。环境的状态和选手的回球确定下一个环境状态；例如，选手对手、选手姿态以及下一个来球。

该形式化基于生态系统的角度，该角度描述了代理如何嵌入到环境中并学习跨任务结构和分层结构的感知-动作过程。或者，图8可以用于描述交互任务中的两个主体或参与者的更一般的投球和回球(交换)轨迹和定时轮廓。

行为状态-空间

可以通过与不同的代理和对象交互相关联的行为模式来描述该系统的总体组织。这些模式与任务结构一起确定任务和行为离散化的形式。该离散化的质量成为执行者在开放式运动任务中的技能的关键属性之一。

这些类别源于图8中针对击球和投球模式示出的行为领域上的限制的影响。因此，网球选手将使用不同的投球模式来涵盖在球场的不同位置回球所需的一系列击球条件以及特定的投球条件。

在讨论组块和运动程序之后，一般理念在于选手与球的交互，以及在投球层级，这些交互不是在连续领域中发生的，而是围绕不同的模式来构造的。这些模式会产生不同于工程表示的“行为”状态-空间的形式，因为这种形式重点关注源于任务或活动生态系统内(在代理与关键任务和环境元素之间)的自然交互的行为模式及其结构特征。

源于代理-环境动态的结构称为行为任务环境离散化。元素及其特征将提供选手用于规划和决策的表示。状态-空间的行为离散化提供了关于人脑如何降低规划和决策所需的表示复杂性的见解。

有限模式(例如，图8中的投球模式)以及在不同行为交互层级表现的其他模式，尤其是与这些模式相关联的结构特征，还提供允许选手预测展开比赛的多组提示，例如来球的落地撞击位置(预期控制—参见感知控制)。这些提示提供推动球场落点和投球选择所需的信息(参见图7)。因此，结构不仅与行为执行和规划相关，而且还能够在不同组织层级实现高效的感知机制。

最后，行为划分的质量和特征(例如，网球中的击球类型到击球类别)及其一系列相应条件和投球结果是开放式运动任务中的技能的表现。提取这些技能元素模式提供了有助于跨整个感测、控制和决策分层结构执行评估、诊断和最终增强行为的基础。

摘要：行为抽象

图9是网球运动中关键元素之间交互的图示，所述关键元素包括物理环境(球场、球网)、选手和对手(包括他们的身体和身体部分、球拍)以及球。图9以图形方式示出了选手和对手(或其他参与者)中的每一个的思维学习反馈回路。选手和对手中的每一个从球场或其他交互环境获取关于交互的信息以及相关联的元素。在该网球示例中，适当的信息涉及选手和对手执行网球击球(来球和回球)，因为球过网或选手参与者之间的其他环境边界。

球网将球场环境分成两个半场区域，每个选手/参与者被分配给相应的半场。主体运动发生在这些相应的半场区域内，包括该图左侧示出的借助具有身体和末端执行器(手、球拍或其他工具或设备)在第一半场中操作的第一参与者(选手)，以及该图左侧示出的借助身体和末端执行器在第二半场中操作的第二参与者(对手)。每个主体获取关于球(或其他对象)的位置以及与选手和对手击球(或其他对象投球和回球路径)相关的参与者位置的信息。该信息是相对于球网、半场区域和其他环境元素产生的，并且根据每个参与者头脑中的自然(人类)学习算法进行处理，以便在按顺序交换中选择下一次击球或其他动作(投球或回球)。

如图1所示，交互可以由曲线图表示。每个行为元素可以根据交互进行拓扑排列。图9示出了网球比赛的交互图。

该系统的拓扑结构如下。从顶部开始，包括：选手相对于球场的运动，包括抢占位置所需的总运动。球相对于球场的交互，由球相对于球场的轨迹来描述，称为投球。然后是网球击球，其选手、球拍与球之间的交互。其中嵌套击球，其是球拍与球的交互。

代理行为围绕交互模式组织。如图9以及图11中的行为树所示，交互形成嵌套的分层系统。一些交互发生在较大时间和空间尺度上，并且取决于较小行为单元的执行。这种结构是具有短期和长期行为和结果的复杂任务的典型结构。

在网球运动中，投球结果通常并不分布在整个球场空间中。投球是紧急行为，通常集中在特定的地标周围，结合了控制策略的影响和对物理环境的感知。例如，选手还使用特征和地标来定向自己并规划和执行其投球。

基本上，投球是视觉-运动交互和任务限制的结果。地标的示例是球场的角落、球场的矩形中心或靠近球道的区域。新手将瞄准球场边界内的一般区域。更高级选手可以瞄准较广泛的一组特征。

组织层级

网球示例说明了交互如何帮助定义较大行为结构和组织，包括组织层级和行为元素的相应领域。较大行为结构是任务结构(由任务限制和规则定义)和交互结构的组合。

最终，选手的技能需要部署这些技能元素，例如，以实现特定的比赛计划。这就需要跨多个层级从球场上的动作中协调行为用于控制条件，预测投球并准备击球、选择目标并规划得分。

行为中的精确结构由图11中突出显示的行为顺序等依赖性来确定。

对于网球示例，交互和组织层级可以包括但不限于以下各项：

·一场比赛中构成相持或得分的交换序列。

·选手以及交换期间的环境、球场动作和定位。

·球路径、球与球场的关系以及每个交换的感知和规划功能，包括预测来球和规划击球点和投球目标。

·局部交互、来球(球弹跳)与击球准备之间的关系。

·球拍击球，包括执行击球和实现期望结果所必需的精细运动调整。

技能对较大结构和组织的影响

基本技能元素与任务环境交互相结合，决定了跨较大任务环境的行为组织。因此，行为结构和组织也反映了熟练程度和任务或活动执行。

例如，预测来球和抢占位置以创建最佳击球条件的能力不佳会导致对回球的控制不佳，这会表现为对任务环境的投球结果的控制粗略，如不同的球场分布所示。该分布还由不同击球类别的精度来确定。例如，对投球控制不佳的新手将只能在整个任务环境中实现粗略的投球结果(参见球场两边的投球分布，说明了任务离散化中的不同分辨率级别)。

技能水平将表现在这些元素的特征的分布中，例如投球模式和击球模式的分布。这些特征中的一些特征取决于基本交互和感测-运动技能的动态，从而产生执行动作的特定条件。此外，这些特征中的一些特征还取决于对手的球场动作以及最终的感知和决策能力。然而，由于动作模式作为组织单元操作，因此这些较高层级的机制取决于基本动作模式的质量。

总之，结构特征可以根据选手的技能而显著变化。考虑到能够实现任务层级协调的较大感知和规划结构，可以帮助确定如何表征这些交互的质量以及所产生的行为。

III.III系统范围的组织和分层模型

既然已经定义了行为元素和交互以及包括控制球场动作的大规模行为过程，下面提供了将这些元素集成在交互结构下的系统视图，其支持执行较大任务所需的行为和过程的协调。

总而言之：

(1)获取行为模式(例如，技能元素)以在环境中实现特定结果，并由这些技能元素的相应操作领域来定义该行为模式。

(2)交互的拓扑结构和分层结构以及任务结构决定了较大系统组织。

(3)技能元素的特定执行特性(例如，一系列结果和条件)决定了交互的特征和总体任务执行。

(4)该系统为行为协调和集成(包括决策和感知)提供了基础。

活动交互和分层结构

在深入研究详细的行为元素建模和较大感知和决策过程之前，第一步骤是表示活动或任务结构。

交互层级(重迭)

如上所述并且如图9中的交互图所示，可以基于基本交互来形式化复杂的动作活动。任务拓扑结构(受交互动态以及感测和控制信息流的影响)通常定义分层结构(参见表6)。对这种结构进行表征对于技能建模和评估至关重要，并且最终对其增强同样至关重要。

为了集成各种多模式维度和测量(物理运动、选手凝视、提示等)，建模过程根据行为单元对活动进行分解。

例如，在网球比赛中，从自上而下和宏观任务层级考虑，得分根据投球交换实现，每次交换由更细致的交互和行为组成，包括选手的球场动作和击球执行。描述了以下主要交互层级(参见图9)：

·与球场相关的投球(交换和得分构建)

·选手相对于投球的地面运动(定位)

·选手身体以及相对于投球的击球运动(击球准备)。

·球拍以及相对于球的身体运动(击球执行)

本公开的先前部分重点关注表征这些交互以定义行为单元。下面将重点关注说明集成在交互结构内的感测、控制和协调。

确定总体交互结构是建模过程的核心方面。这种结构是系统范围的描述的基础，该系统范围的描述定义了交互层级(参见图9)以及朝向较大决策结构的总体感测和控制。此外，还应当注意的是，一些控制方面或更集中(例如，发生在任务层级并基于任务层级的信息)，而一些控制方面局限于行为本身(例如，击球执行)。

活动部分和行为元素

总体表现通常由通过特定行为事件或交互描述的部分组成。一些表现部分完全由网球示例的球轨迹等物理特性或球落地撞击来确定。其他部分是行为元素的一部分并且因此由感知状态触发，而其他部分由代理的故意动作触发。

因此，定义与活动相关联的关键事件至关重要。对于网球运动，这些事件由球与环境元素(过网、击球入网、在球场上的特定区域弹跳)的交互来定义。这些事件将活动的连续系统状态历史映射到离散状态机(参见图12和图23)。其他事件可以由击球的动作阶段和其他关键动作行为来定义。

行为序列和分层结构

完整的投球交换模式组合了来球、击球准备和执行以及回球(例如，参见图29A至图29D)。来球(以及选手姿态)推动行为序列，包括球场动作、下一次投球选择、击球准备和执行，最终实现回球结果。投球交换从特定参与者或任务参与者的角度来定义(在这里，通过将一个参与者称为选手并而将另一个参与者称为对手实现这种区分)。如正式建模中所述，交换描述了环境对选手投球的响应，其中环境包括对手的响应和投球，包括参与活动的不同动作过程。

该投球交换表示在任务或活动层级发生的最大动作组织单元；例如，对于网球比赛中的每次得分。在本公开的建模部分中介绍了比赛状态的正式定义。

图11示出了网球比赛中不同行为层级的分层树表示。该树详细描述了行为元素以及不同层级的组织和抽象。该图扩展了击球执行。应当注意的是，其他动作元素可以类似于击球执行进行分解。例如，球场动作可以分解为具有身体部分的不同动作的阶段。网球的一个良好示例是在击球执行之前的转身，结合了回摆(击球)和姿势旋转(身体)。

图11是分层模型的框图表示，该分层模型将行为元素从得分和交换层级分解为定位、击球准备和执行以及最终的击球阶段。如图11所示，得分(或其他任务目标或子目标)可以通过选手与对手之间的一系列投球或交换(1…k…k+1,k+2…K)或交互式任务参与者之间的其他交换来实现。每次投球或交换(k,k+1…)可以包括几个阶段，例如运动、准备(击球设置)和执行(击球)以及回位。每次执行又可以包括几个动作阶段，例如回摆、回环、前摆、撞击和随球动作。

表6和图11描述了网球示例的行为元素的分层组织。例如，在网球运动中，推动投球交换的较大行为包括不同类型的动作行为，包括球场动作和“投球”行为。这些建立在子动作基础上，这些子动作包括击球准备、击球设置和击球执行。这些行为元素都必须由特定选手获取并且集成在较大协调、调度和规划过程中，这使得选手能够得分并最终赢得比赛。这说明了冗长的学习过程。

活动时间组织

击球取决于一系列行为，而击球的熟练程度取决于击球的各种步骤。这是开放式运动任务的共同方面。图11还示出了基于描述行为单元和子单元的时间顺序和过程依赖性的分层结构。在最高层级，得分由交换序列组成。交换中嵌套的是球场动作、击球准备和击球执行。

投球交换是最大的行为元素。交换由来球和发球组成。投球是击球的最终结果，反过来又推动选手的球场动作。因此，它描述了最大的行为单元。基于图9中的拓扑结构和任务结构所描述的任务交互来描述这些较大动作单元。

击球执行本身被分解为多个阶段。应当注意的是，图11中的整个击球阶段序列在执行层级下示出。实际上，回摆和回环等一些击球阶段可以与球场动作和准备同时实现。在最低层级，结构由神经生物学系统限制(例如，动作准备、启动和执行之间的区别)决定。

在网球运动中，当处理不需要对球场位置进行显著调整的来球时，以及当投球被引导朝向球场上的特定静止目标时，选手可以熟知击球类别。然而，当现场得分时(例如，在比赛中)，并且此外当必须通过比赛动态的影响形成目标时，击球的质量和多样性以及它们的结果将显著降低。

活动事件

图12示出了描述关键网球活动事件和交互的事件图，包括关键过程之间的协调。圆圈表示信息拾取的实例(例如，主要来自选手的动作提示和投球或其他动作)。这些事件由代理或对象与环境元素之间的空间关系来定义，例如球-球场交互。其他类别的事件是与感测和行为过程相关联的那些事件，包括动作规划、注意力、感知和感测运动。

网球选手必须协调活动事件和这些各种过程。交互结构定义了感测-运动行为和动作的信息流和协调。

大多数开放式运动任务共享类似的时空过程交互分层。为了熟知任务或活动，除了一系列行为单元之外，主体还必须学习交互结构。这种技能系统进一步说明了冗长的学习过程。交互结构可以集成和协调行为元素以实现平滑、有效的性能，并且因此表示形成这些行为子单元并将其集成在任务或活动模式内的关键方面。

图12是选手和对手在投球交换期间的关键动作和关键活动事件的时间事件图。图12还示出了用于协调行为元素的提示的实例。

用于投球或其他动作(k,k+1,…)的特定交换的时间线沿着图12的顶部从选手(第一参与者)的击球或投球t^P _s(k)、过网或边界t^P _n(k)以及弹跳或接触t^P _b(k)按顺序行进到对手(第二参与者)的击球或回球t^O _s(k+1)、过网或边界t^O _n(k+1)以及弹跳或接触t^O _b(k+1)。该图被分成投球、选手(第一参与者)和对手(第二参与者)部分，包括用于每个参与者的规划、动作、准备/回位和执行阶段。根据参与者参与的特定交互任务以及对应形式的相关联投球和回球，可以将击球执行进一步细分为多个击球阶段或动作阶段。

活动(或比赛)阶段。

与图12相关联的时间线还识别比赛阶段，这些比赛阶段基于在选手与对手之间的投球交换期间的关键事件和动作行为序列。该描述是从选手的角度进行的(并且与从对手的角度进行的描述对称)。相关阶段可以包括但不限于以下各项：

·选手通过击球动作产生的击球(以及在下述击球中完成的其他行为元素)。该事件启动投球并触发对手的响应。

·在击球之后，选手从击球中回位并运动到球场上的新位置。这通常分两个阶段进行：

о当对手准备回球时，在回位之后的初始定位；

о第二球场动作基于来自回球的提示(和对手动作)预测回球，在此期间选手还最终确定下一个投球目标。

·一旦处于一般的击球位置，作为击球准备的一部分，选手最终调整姿态和姿势。神经学研究还表明动作准备和开始可以是不同的阶段和过程。

·最后，击球执行建立在动作阶段序列基础上并学习动作运动程序以将球引导到期望的目标。

应当注意的是，尤其是在开放式运动任务中，击球必须与来球协调以产生期望结果的条件，包括投球目标。

过程协调

如图12所示，每个阶段中的过程是交互的。行为元素依赖于彼此，并且部分地建立在彼此基础上。这些行为与其基本过程之间的协调由特定的提示来实现。这些提示和基于与环境、球和对手的交互定义的事件相关联。该图将这些提示描述为连接相关行为和事件的虚线。事件通过其发生时间标记为交换指数(k,k+1…)的函数。单元格中的灰色背景指示接发选手。

应当注意的是，事件可以扩展以包括动作执行的细节，既用于球场动作(例如，单脚碎步、转身、左手、前倾等)，又用于击球开始的动力学链(髋部、击球阶段元素、撞击期间臂内旋、随球动作等)。基本上，用于对身体与环境和活动事件之间的协调进行建模的状态变量可以包括与训练或康复相关的尽可能多的细节。其中每一个可以进行技术分析、评估、包括在诊断中，并最终可以在训练和使用增强(例如，视觉、音频)的表现期间实时提示。

III.IV网球感知和决策过程

下面详细描述了图3所示的高层级过程。该体系结构基于从行为交互和相关联的控制结构的特征导出的任务表示，具体地，与交互相关联的行为模式系统如何参与支持决策和感知的较大控制体系结构。

表7：概述关键感知、决策过程和动作的时间序列和关键阶段、事件和数量

表7：概述关键感知、决策过程和动作的时间序列和关键阶段、事件和数量

决策、控制和感测体系结构

网球运动中的关键元素包括两个选手(选手1和选手2)及其设备(球拍1和球拍2)。环境(球场)，其中有三个关键元素(半场1和半场2，以及球网)。选手通过他们在球场上的总体身体体态以及击球准备和执行中涉及的相关身体部分的姿态来描述。

表7重点关注选手；对手应采用相同的一般事件和过程。表8概述了跨组织和控制层级的感知和动作过程。

表8：针对投球执行的不同行为阶段和层级的感知和动作的总结(参见图3)

表8：针对投球执行的不同行为阶段和层级的感知和动作的总结(参见图3)

表7详细描述了事件、过程和动作的时间序列。时间由投球事件指定。表7的顶部部分描述了选手与对手之间投球交换的关键事件。关键事件基于投球交互以及选手和球场/投球交互来定义，如图12所示。投球交互有三个领域：球/投球与选手、球场和对手的交互。该描述是从选手的角度来描述的。该序列从对手击球、跨球场的来球及其元素到选手回球，以及发球。

表7的底部两个部分描述了选手对事件的反应(和预测)，包括凝视注视焦点、选手身体和球拍交互。投球事件描述了比赛阶段，并且用作选手动作的主要推动因素。应当注意的是，投球事件还包括表示主要选手事件的击球。

流程

应当记住基于图3中的分层模型和图12中的任务序列的感知和动作流程。

1.在第一阶段，即较大任务层级规划和态势感知(态势感知和感测)，选手确定包括对手状态(比赛状态，下面进行形式化)的比赛配置，然后规划回球。这可以通过预测比赛对投球的特定选择的响应来执行。预测的投球用于确定球场定位。

2.选手抢占位置并继续监控情况，他或她获得关于来球精确特征(运动上下文感知)的更具体信息，然后使用该信息准备和设置身体以便进行击球。

3.最后，一旦选手准备就绪，感知就重点关注局部投球执行环境(击球类型感知)，收集用于协调击球执行和来球的信息。

4.当投球穿过球场时，选手保持态势感知并准备从对手的下一次回球(返回到步骤/阶段1)。

该感知和动作从任务层级的广泛范围，到运动准备和执行的更具体的局部环境。应当注意的是，图3还突出显示了下面详细描述的用于感知提示的可能增强。

技能水平表现在每个阶段的信息质量方面。在最好的情况下，选手在交换开始时获得足够的SA来计划回球，并预测对手的球场动作和投球响应。如果未能获得SA，选手将进行反应性操作；如果获得，选手可以保持一次或两次交换。

讨论

从图3中的序列注意到，主要结果(击球和投球结果)取决于动作和击球行为的预测和后续执行。然而，核心方面在于控制执行击球的条件。因此，选手必须预测来球结果并计划自己的定位。

对于网球示例，决策、控制和感测体系结构由环境控制关系来确定：首先，选手定位以控制环境，这允许控制击球/投球可供性；然后，基于作为选手状态和球条件的函数的主要可供性，选手继续动作以建立用于期望的投球选择的规划配置；最后，执行投球。

如本文中描述的，定位基于期望的结果来确定，这要求尽可能早地预测投球选项，甚至尽可能早地预测对手的投球准备。最佳选手保持包含投球和选手配置序列的比赛计划。

环境和系统状态

任务层级决策建立在态势感知基础上；例如，在空间和时间意义上感知任务环境及其事件的能力，以及未来的预测。在技术方面，这意味着观察任务环境的状态并预测其针对不同动作的演变。该组可能的动作基于对给定任务环境状态可用的可供性。这种类型的预测通常由所谓的前向模型来执行。组合结果和产生最有利任务结果的决策可用于选择动作。这种类型的决策采用多个步骤，称为动态规划。这些决策问题的难点在于其计算复杂性。具体地，对于具有大量状态的问题以及需要实时做出决策的问题。

决策基于状态信息。网球比赛的完整状态由上述不同元素(选手、对手、投球)的组合给出。图3所示的每个阶段的决策并不需要关于系统的所有状态信息。选手的更直接决策基于活动的每个阶段的操作环境的状态。决策受到可供性的约束；例如，在给定环境状态和代理状态的情况下，哪些动作是可用的。

理论上，为了能够预测自己的动作并作出关于自己的动作的最佳决策，选手在交换期间的任何给定时间了解比赛的全状态。然而，由于感知和信息处理有限，因此这是不现实的。相反，该理念在于人脑将状态-空间划分成基于如图8和图12所示的生态结构的较小决策问题。通常，任务环境具有分层结构，较大行为单元由较小单元确定(参见图11中的网球得分和交换模型)。因此，一旦确定了较大状态，例如投球目标和获得该结果的动作序列，代理就可以重点关注较小单元及其相应环境。因此，在任务周期规划的能力对于高层级执行至关重要。

例如，一旦确定了交换计划，从属步骤在该周期内遵循比赛结构，其中每个动作元素的层级的感知和决策问题更容易处理，因为它们重点关注特定交互和操作环境。例如，定位、准备和击球执行具有较小交互范围，并且受到得分以及投球层级状态和决策的约束。然而，在交换等周期内，活动状态可能不总是完全可预测的，因此动作元素的执行和定时应基于不断演变的活动状态来调整。这是执行功能的任务。

良好的得分策略和执行要求在交换开始时对得分层级(比赛/活动状态的感知和预测)有充分的态势感知，在理想情况下这随着活动展开而更新。除了对动作行为(场地运动、击球准备和执行)的特定感知和控制之外，还必须学习这种任务结构和交互。

网球选手决策概述

在任务层级(例如，网球运动中的得分层级)，选手计划下一个交换周期内的动作过程。为此，选手必须获取关于当前系统状态(态势感知)的信息，并做出决策，包括确定投球目标和地面运动。规划输入是状态或球场配置(选手、球和投球)。选手使用前向模型来预测可能来自当前任务环境状态的一组比赛或环境状态。

表9：作为行为阶段和层级函数的网球主要感知和动作过程

表9：作为行为阶段和层级函数的网球主要感知和动作过程

表9概括了作为行为阶段和层级函数的感知和动作过程。考虑到该组状态，最理想的比赛状态用于确定实际运动行为(球场动作)。总而言之，主要动作过程可以包括但不限于：

1.控制总体任务/比赛配置

2.准备主要动作

3.执行主要动作

任务层级状态(比赛状态)感知和规划

不同阶段的任务层级状态包括以下各项中的一个或多个：

·当前来球、选手和对手的姿态和动作。

·这些信息用于确定击球位置和投球目标的可供性(图7)。

·选手在发球基础上建立并更新发球目标区域和对手动作。这些信息用于预测下一次来球。

规划可以包括但不限于以下三个主要步骤：

i)使用选手位置以及对手的投球和位置定义比赛状态。

ii)使用比赛状态定义可行的选手投球结果(可供性)。根据效用对结果进行排序。

iii)比较选手在比赛状态下的一组投球结果以选择最佳投球。

比赛计划定义了可能跨多次交换的比赛状态的轨迹。比赛状态取决于行为分层结构(图11)，包括可能实现期望状态定位和击球/投球的中间状态序列。

定位决策

然后，来自针对下一个比赛状态的计划的这些信息用于推动定位。达到期望状态的动作确定通常从所谓的逆模型确定。

基于参考状态或期望结果来确定控制动作，这些控制动作基本上将比赛的配置或状态控制到有利状态。

准备和SA更新

在投球交换中，可以基于较小步骤来更新比赛状态，考虑在定位以及投球准备和执行期间发生的改变。具体地，当选手运动到期望姿态时，比赛状态可能已经偏离规划交换开始时的预期状态。原因包括不可控制的事件的影响，例如对手运动。

因此，准备步骤必须重新评估比赛环境，尽管范围较小，该准备步骤重点关注即时击球目标和执行。比赛状态的更新可以用于更新关于投球目标和姿态的决策。

击球执行

最后，在该阶段，选项的条件和范围显著减小，行为在很大程度上基于程序性记忆(例如，自动)展开。在撞击之前最长约100毫秒，选手只能对击球进行微小调整，包括在前摆之前调整最终条件。

IV.形式化网球比赛建模

下面描述了网球比赛的形式化建模，尤其是任务层级和基本动作行为的协调。目的是指定描述行为的每个层级和阶段的过程所需的关键量和数学关系。每个组织层级根据其环境和交互来描述。在最高层级，任务环境模型组合了系统的所有元素。如先前部分所述，对于开放式运动任务，环境是动态的；因此，模型必须捕捉环境状态如何影响动作产生其结果的方式。

IV.I任务层级建模

该部分首先提供了任务和活动层级建模的一些相关方面，包括状态-空间抽象、活动模型、人类决策和环境动态的考虑。然后，描述了机器学习范式，尤其是远端学习问题，其为开放式运动任务和技能学习中的高层级过程建模提供了一般框架。

任务和活动层级建模

对人类活动和任务执行进行建模通常限于高层级抽象，其中状态是离散的高层级行为(例如，参见使用隐马尔可夫模型的活动建模)，而不考虑行为的自然结构和环境动态。这对于具有离散结构的简单问题是足够的；在开放式运动任务中，行为特性源于环境动态并且取决于执行者的技能水平。

决策建模

什么建模技术可以用于描述高层级行为和决策？机器学习涉及使人工代理能够学习技能的算法设计。因此，在机器学习中使用的框架可以为学习过程提供重要见解。机器学习文献提供了学习问题的计算描述，其也可以用于形式化人类技能学习及其增强。具体地，机器学习文献可以帮助形式化地定义学习问题的哪些方面需要建模和增强。

内部模型是运动控制和学习的基础。两种主要类型的内部模型：前向模型(或环境模型)，其预测环境对动作的响应(例如，预测环境中的结果)；逆模型(动作模型)，其将期望结果映射到代理的必要动作。

具体的挑战在于，开放式运动任务需要多个组织层级。神经科学领域已经提出并验证了分层模型；然而，这些分层模式主要重点关注简单任务中的动作规划。多个组织层级意味着必须指定任务层级的配置或比赛状态，然后才能有意义地指定动作的细节(嵌套行为)。建模的重要部分是确定该行为结构。

决策过程与感知过程同时操作，这些过程正在进行并且取决于跨组织层级的活动状态。图13A至图13F示出了这些过程在交换期间的动态。该图突出显示了感知过程、决策过程和操作环境中所产生条件的范围(例如，另请参见图3A至图3B)。

决策算法

马尔可夫决策过程(MDP)通常用于对代理决策过程进行建模。在MDP中，决策问题被描述为离散时间随机过程。在每个时间步骤，该过程处于某个状态x，并且代理从该状态中可用的一组动作中选择一个动作。在下一时间步骤，状态由随机转换函数确定，并且代理获得新状态的奖励。在部分可观察马尔可夫决策过程(POMDP)中，代理通常不能直接观察到状态。相反，代理基于根据可用观察结果确定的一组可能状态上的概率分布来做出决策。

对于网球运动，此类模型将描述环境状态、决策(投球选择、场地运动)及其在环境状态层级的结果之间的关系(参见图13A至图13F)。该模型还可以包括对手的动作、他们交互的特定特征以及相关联的结果和成功率。

理论上，决策基于潜在目标或动作的相对价值，并考虑实现这些目标或动作的代价。该一般决策是使用动态规划制定的，其中最优动作优化了从未来状态到目标或未来状态的效用的cost-to-go与cost-to-come(例如，实现下一状态的代价)之间的权衡。其他应用包括复杂环境中指导的空间值函数。神经科学领域也提出了类似的模型。

应用这些技术的一个挑战在于，制定对人类决策现实的环境模型。

人类决策

已经表明，自然决策遵循某种形式的模式匹配和预测过程来操作。关于人类决策的假设是选手可以将配置映射到预测的场景。这使得能够快速做出决策。这种映射可以根据可供性来构思。也就是说，配置中的不同模式为动作提供了不同的选项。

然而，为了使这种映射可用于实时决策，一组可能的配置和结果仍然必须足够小和结构化以便识别。具体地，该组可能的配置和结果必须在配置中形成截然不同的、理想的有限模式。这意味着在比赛或活动层级的行为足够结构化。这些决策考虑支持该假设，即技能元素应在活动层级产生结构和组织。这将可以根据交互模式来表示活动或比赛，并且可以使用多组稀疏的提示来识别模式。

状态-空间抽象

这一问题的一个关键方面在于，任务层级的状态空间以及感测/感知和决策变量的表示。在任务层级，关于行为交互的细节可以进行抽象处理；然而，这些抽象必须考虑动作元素以及它们如何决定较大行为表现和组织。具体地，由于这些元素及其协调取决于技能水平。

任务层级模型必须包括由代理执行的动作定义的抽象动态以及感测信息。抽象的感测输入重点关注来自可观察子空间的特征，这些特征控制交互的结果并使其能够预测。

对于这里示出的网球示例，任务层级模型重点关注选手如何构建得分。得分主要由投球序列(击球和目标)以及选手和对手的地面运动来确定(参见图8)。这些宏观模式可以用于确定任务层级的表现和行为(参见如下所述的“比赛状态”)。决策变量包括投球目标和球场上的粗略定位；控制定位或击球等较低层级行为的运动命令以及感测和提示进行抽象处理。

感知过程和态势感知

决策过程的一个重要方面是感知过程；例如，获取与问题的输入方面对应的相关观察结果和提示的过程。在最高层级，感知负责估计代理-环境状态，以产生支持代理的决策所需的态势感知(SA)。SA包括对未来任务状态的预测，这为决策提供了基础。任务状态还决定了代理动作的可供性。然后，决策过程可以基于未来状态的效用来选择最优动作。

影响感知功能的一个关键方面在于，选手在每个阶段识别模式的能力。这取决于充分的行为结构，该行为结构依赖于明确定义的行为元素。因此，较高层级的过程需要在技能元素层级具有足够的熟练程度。

环境的作用

开放式运动任务的一个关键特征在于，代理的动作发生在动态环境中。此外，在复杂的运动活动中，系统状态按其分层结构进行划分，该分层结构由行为结构和组织以及任务结构来定义。最后，比赛状态或活动全局状态遵循轨迹；活动的目标不是通过单个决策/动作而是通过一系列决策来实现的。在网球运动中，状态轨迹表示比赛中的得分序列。

在开放式运动任务中，代理动作的响应或结果取决于环境的状态。因此，对代理的技能进行建模和评估的一个关键部分在于，捕捉这种依赖性。

在网球运动等复杂的任务中，行为由多个组织层级来控制。因此，一项重要的任务在于，定义具体形式的环境表示及其与动作元素的集成。每个组织层级具有适当形式的环境表示，该环境表示可以用于对代理的行为进行建模和评估。例如，在网球运动中，可以使用传统的动态和控制框架来描述实际击球动作。然而，由于较多自由度和各种人类过程(包括感知和决策)，任务环境层级较为复杂，这些过程难以建模为简单的组成部分。

环境动态

用于对开放式运动任务进行见面的关键见解是，学习者必须考虑环境的状态；因此，除了动作模型之外，学习还必须获取环境模型(前向模型)。此外，如先前部分所述，代理还主动控制环境，以使系统或环境处于动作可以最佳地实现其结果的状态。在网球运动中，这对应于用于击球执行的选手定位。

适于开放式运动任务的学习框架称为远端学习，因为它重点关注代理动作由本身是动态的环境调节的问题；因此，动作的结果是远端变量。

下面描述了基于远端学习问题的数学公式。机器学习提供了一个评估技能的框架。更具体地，由于技能是通过学习获得的，因此如果可以为熟练的活动或任务制定学习，则可以使用模型来评估技能并增强学习过程。

挑战在于，开放式运动任务很复杂，并且不能轻松地转化为单一的机器学习模型。原因与人类技能学习具有挑战性的原因相关，包括高维问题空间、具有顺序动作的分层结构。

开放式运动任务的不同方面最好用不同的机器学习公式来表示。下面重点关注任务层级规划和环境动态，其中选手了解在交换序列上的投球和定位模式如何确定得分结果并最终确定比赛结果。

任务层级学习问题可以表示为无监督或监督学习问题。动作或运动学习(例如，在针对特定投球类型的学习击球中)最好表示为用于评估和增强的监督或强化学习问题(例如，与第10,854,104 B2号美国专利、第2121/0110734 A1号美国出版物和第2019/0009133A1号美国出版物相比)。这些差异也反映在大脑中，大脑已经被证明使用不同的学习机制。

下面描述了环境模型的一般公式和分层控制组成部分的集成。具体地，定义在任务或活动环境中操作所需的内部模型。然后，可以使用从模型中提取的知识来指导技能评估和增强。下面首先描述了环境动态。动态通常被定义用于过程或计划。由于环境动态和代理嵌入环境的重要性，对开放式运动任务进行建模是一个不太寻常的问题。

环境动态描述了活动周期(例如，网球得分交换)内的系统或环境状态序列。环境的动力学方程可以描述如下：

x_k＝f(x_k-1,u_k-1)， (方程2)

其中，x_k是环境状态，q_k是代理产生的动作，f是状态转换函数，描述了输入对状态的影响；例如，环境。

对应于每个状态，存在以下结果：

y_k＝h(x_k)。 (方程3)

对于嵌入的代理或选手，结果通常是感测；例如，感知过程的结果。

网球运动中的系统动态具有几个输入或动作。选手和对手的投球是比赛环境中的主要动作。其他动作是从属行为(例如，地面运动和姿势)，通过它们对任务环境(环境的控制)的影响来影响系统的状态和代理的响应。

时间变量可以由不同时间尺度的事件来定义。在比赛层级，考虑到得分的重要性，时间变量是投球交换。更细粒度的其他相关时间是图12所示的比赛和行为事件。

例如，在网球运动中，期望状态可以是比赛元素(选手、对手和投球)的配置。无法在单一步骤(一次投球)中实现任意状态。选手必须规划动作序列，并根据对手的动作调整计划。在比赛层级，考虑到对手投球(k–1)时的系统状态，选手在(k–1)时回球确定对手的响应，进而在时间(k)确定新的系统状态。因此，可以通过对基本动作行为进行抽象处理来定义比赛层级的方程2。

学习问题定义

选手必须学习做出深思熟虑的改变。考虑到环境动态，选手的动作必须考虑系统状态。

其中，是选手的意图，例如期望结果。根据该方程，该动作必须考虑环境状态。

选手或代理首先必须学习不同动作对环境的影响，这对应于学习前向模型。该前向模型是内部模型，其在给定环境状态x(k–1)和动作u(k–1)的情况下预测结果(代理的感测)。该模型为最终确定动作提供了基础。

解决决策问题的一种方式是通过学习将动作u(k–1)确定为当前状态x(k–1)和期望结果y*(k)的函数的逆模型。

比赛的宏观环境模型可以计算下一个交换周期的计划。该计划在基本分层结构中提供从属行为。下面详细阐述了其余细节。

IV.II任务层级规划和决策

在网球比赛中，任务目标是获胜分。高层级的决策对应于比赛计划，例如从发球开始构建一个得分，并随后根据对手的决策和行为以及表现中的不确定性(例如投球结果的变化)做出反应。

对于任务层级，挑战在于环境的复杂性；理论上，整个系统在环境中集成以产生任务或活动性能。下面描述的方案使用行为的抽象来制定任务环境和比赛模型，该任务环境和比赛模型可以用于在任务层级评估技能，包括比赛策略和决策。

建模要求

建模任务的一般目标是捕捉与用户的行为元素中的每个行为元素相关联的特征的分布。需要该模型来评估主体的技能，执行诊断，并作为技能增强的参考。所产生的模型还用于在活动执行期间对行为元素进行实时分类。

该模型的操作过程类似于参与者(或经验丰富的教练)的人脑；例如，它将任务模型与先前已经识别的不同动作元素类相结合，并使用观察结果来说明执行情况。建模的行为元素由一组特征及其统计特征来描述。统计信息定义了其操作领域中的行为元素。

因此，如这里所说明的，选择用于建模的状态变量必须描述对应于实际行为单元的行为特征；例如，它们应与基本生物过程一致，包括描述任务或活动交互的动态的感知-动作机制。总而言之，与工程中使用的典型活动模型的一些关键区别在于：

·从生态角度考虑行为元素；例如，行为元素如何源于耦合的代理-环境系统并参与该耦合的代理-环境系统。

·状态变量和行为因素遵循人类因素；例如，包括跨分层层级的感知-动作或感测-运动过程。

·状态基于由基本行为类别确定的活动模式。这些模式定义了活动离散化。

·将跨较大分层结构的动作行为元素从连续动作连接到交互模式和活动执行模式。

通过根据这些动作单元的基本过程来分解这些动作单元，所得到的模型元素可以用于从功能的角度来描述行为；例如，描述定义行为的维度并详细描述输入、输出和推动过程。

此外，捕捉功能细节至关重要，因为这些模型元素必须支持增强。最后，这些动作单元可以用作行为组织单元，并且因此还捕捉动作单元如何通过任务或活动生态系统中的执行功能来协调以实现任务或活动执行。

该方法不同于最近开发的用于再现人类控制技能的典型统计学习技术，例如在深度学习中。上述典型统计学习技术通常捕捉端到端性能；它们不捕捉内部机制，例如推动行为的感知过程。例如，在网球运动中，用于预测投球的提示；引导选手地面运动的提示；或帮助开始和同步击球运动与来球的那些提示。所有这些过程都需要协调，以便球拍在产生期望投球结果的条件下击球。

网球运动得分公式

网球比赛被定义为一系列得分。得分由形成交换的投球组成(例如，参见图14A)。在比赛的背景下，一次交换在选手或对手将球打走(制胜球)或者出现非受迫性失误时终止。在业余比赛中，投球可以继续，例如在平衡状态下(例如，在球场上相持)。

在网球比赛中，各个得分点是计分的基本单位。在规划和决策层级，比赛目标是确定确保得分的交换序列(图14C)。如果选手可以将对手逼到无法实现有效投球的位置，或者将对手置于投球选项被限制并且有利于选手的条件下，则选手将赢得这一分。该序列决定了状态轨迹。

交换定义

在下文中，相对于选手或对手定义交换。对于选手，交换包括已发球和对手姿态(其定义了比赛状态)，以及对手对投球的响应和选手的下一个投球响应(其定义了下一个比赛状态)。

在正式比赛中，交换通常通过发球发起。或者，在非正式的网球比赛中，选手通过击球使球越过网，例如击落地球。

环境状态定义

系统状态通过选手和对手行为的影响随时间演变(参见图12)。一般理念在于，选手可以通过他们对情况和对手行为的响应来影响比赛状态；然而，选手必须考虑环境状态(例如，比赛状态)才能为比赛产生期望结果。

任务环境状态由描述选手和对手的姿态、运动、姿势(包括击球)，以及球的状态的全部状态集合所定义。得分依赖于动作行为的分层结构(图14B)。得分序列又定义了基本动作行为。因此，定义状态历史记录的投球交换历史记录必须考虑可行转换。

比赛状态定义

比赛状态用于指定环境状态的抽象，该环境状态重点关注选手运动和投球模式。比赛状态使用一组有限的比赛模式来描述选手和投球交互。

g_k∈G＝{g₁,g₂,I,g_n}(方程5)

该理念在于选手使用该抽象在得分或任务层级进行计划。比赛状态定义基于人类信息处理方面的组块理论理念，即将配置分组为易于记住的模式。与象棋一样，技能娴熟的执行者可以将比赛状态作为整体模式来感知，并记住对战略决策至关重要的配置。为了提供视角，专家棋手(以及复杂的交互式任务中的其他参与者)可以记住数万个位置和动作。这种策略解决了大量系统状态引起的复杂性问题，以及基于典型状态-空间描述的模型引起的无限比赛可能性问题。

图13A至图13F示出了交换中的事件序列。在图13A至图13F中，对详细行为进行抽象处理以强调比赛层级的事件。在框(或步骤)1和6(图13A和图13F)中分别示出了当前交换和下一次交换的形式化比赛状态，其对应于来球时的比赛或系统状态。在该表示中，动作是选手投球，环境包括球场。结果(例如，环境对动作的响应)对应于对手对选手投球的响应，如框6(图13F)中所示。

除了比赛状态之外，选手还可以学习每个比赛状态的动作；例如，响应当前配置和对手投球的投球目标选择和击球姿态。因此，比赛状态还可以捕获比赛层级的决策库。应当注意的是，这些元素可以用于评估和增强。增强可以用于学习陈述性知识。对于许多选手，动作行为知识是非陈述性的，因此选手无意识地对其采取动作。

比赛状态不能转换到任意状态，即从一次交换转换到下一次交换。选手和对手的特定配置会产生可能动作(可供性)和后续状态的子集，其中一些比另一些更有可能产生。这些转换定义了比赛动态。下面提供了基于上述机器学习框架中的环境模型和技术的网球比赛动态的公式(参见方程2至方程4)。

图13A至图13F示出了交换期间的事件序列，以网球为例。该图示重点关注比赛状态，该比赛状态在选手、对手和投球配置方面对各种行为进行抽象处理。

图13A至图13F的图例包括对选手/对手姿态、预期投球目标和规划投球目标的引用。在框1(图13A)中，对于当前交换(k)，发生对手击球。选手(第一参与者)基于对手击球来预测来球或投球，并评估一组回球选项(阶段1，规划；在t^O _s时)。在框2(图13B)中，选手运动到击球位置(阶段2，定位)。在框3(图13C)中，选手基于对手(第二参与者)的最新动作来选择最佳选项(目标、击球和/或投球)，并设置和准备回球(阶段3，准备)。

在框4(图13D)中，选手执行击球或回球(阶段4，执行；在t^P _s时)。在框5(图13E)中，选手回位并评估预期响应(阶段5，态势感知；在t^P _b时)。在框6(图13F)中，针对下一次交换(k+1)开始对手(第二参与者)击球(或投球)。选手(第一参与者)预测入射投球，并评估回球选项(阶段1，规划；在t^O _s时)。

统计比赛状态模型

比赛状态的定义得到最近的比赛分析工作的支持。例如，可以基于统计时空分析来分析选手行为(与Wei 2016相比)。

在其他应用中，可以从比赛影像合成视频精灵。这允许对选手在每次交换期间的决策过程进行建模(例如，与Zhang 2020相比)。这里，该方法使用得分的统计描述，包括估计姿态(选手和对手)的离散化、来球开始和弹跳位置以及选手到达击球点的速度。

虽然这些示例没有形式化较大选手行为和生态系统，但是它们证明了对网球运动行为中的模式进行建模的可行性；具体地，基于描述当前投球和选手-对手姿态的特征预测下一次投球。

比赛动态

比赛状态被表示为有限数量的模式，其描述了比赛配置(包括选手、对手姿态和来球)。输入或动作是由投球目标(以及隐含的击球姿态、击球)描述的选手的响应。

比赛环境动态可以由类似于在MDP中使用的随机模型来描述，该随机模型描述了响应于选手的回球而在当前来球与下一次来球之间的比赛状态转换(图13A至图13F和图14C)。

应当记住，在网球示例中，比赛层级的动作是选手定位和投球目标。这些用于对当前比赛状态作出反应并将其推动到期望值。此外，还应当记住，实际动作由分层结构中较低层级的支持性行为执行(例如，如图3A至图3B所示)。

统计比赛模型

在图13A至图13F中，比赛层级的比赛状态对应于来球时选手和对手的配置(在图13A和图13F中示出为阶段或步骤1和6)。基本上，比赛状态描述选手正在执行他或她的动作的条件；例如，在比赛层级投球时。转变图T描述了对手可以对选手动作(新姿态和来球)做出反应的一系列方法。

通过对实际比赛数据进行统计分析，可以使用概率转移(例如，参见图14C)来描述比赛状态模式(方程5)及其演变。

p(g_k)＝T(g_k-1,q_k-1,g_k)， (方程6)

其中，T是一组有限的比赛状态和比赛输入q_k-1的概率转移矩阵。比赛输入对应于投球和动作。因此，转移概率被表示为选手的投球决策的函数。

因此，任务层级的建模问题涉及从执行数据分析中提取的比赛模式来描述比赛状态。理想地，比赛状态包括特定的对手动态。通常，只有最熟练的选手才能结合对手的特定策略。因此，使用通用的对手模型来捕捉不同风格和熟练程度的响应的典型模式是可行的。

可供性

每个比赛状态提供有限数量的投球和定位决策。因此，还可以针对每个比赛状态对选手的一组动作进行建模。该组表示选手的可供性。每个环境状态提供一组动作(投球)：

其中，是从Q赛状态到可能动作(可供性)的映射。这些动作由击球姿态、击球和投球目标来指定。

相同配置的来球和对手姿态(例如，比赛状态)通常具有用于回球的有限数量的可供性。方程6中的转移概率T描述了比赛状态(对手姿态和投球)响应于选手动作的变化。

图14C示出了选手的比赛状态在得分期间的演变。转移被示出为树，该树涵盖了比赛从初始状态的可能演变。转移矩阵T是从性能数据中学习的，捕捉选手基于感知的比赛状态和他/她的动作选择来预测得分演变的能力。

基于分层模型(图3A至图3B、图10、图11)，定位和击球通过其基本的动作行为序列(图14B)来实现，其包括将比赛状态推动到期望值的球场动作和投球。

逆模型

机器学习、控制和决策中的另一项重要技术是逆模型。该逆模型提供将系统从当前状态转换到期望状态(这里是比赛状态g_ref或g^*)所需的动作。在任务层级，这种类型的模型允许确定朝向目标比赛状态的比赛状态序列。

效用

最后，基于决策理论，假设代理或选手在这里学习不同动作的效用。不同的比赛状态(例如，选手、对手和来球的配置)为得分目标提供不同水平的效用。在该示例中，这转化为对比赛状态U(g_k)的效用分配。比赛状态提供了导致比赛状态改变的一组动作因此比赛状态的效用基于该组动作对比赛状态的影响：

其中，p(g_k+1|g_k,q_k)＝T(g_k,q＝q_k,g＝g_k+1)是以当前状态和动作为条件的转移分布。基于该标准，选手需要在Q(g_k)所指定的一组可供性中选择投球q_k，其可最大限度地提高预期效用。

该公式的一个挑战在于，考虑一个步骤的效用(例如，在离散决策问题中)与分几个步骤展开的动态过程不兼容。

对于动态决策问题，目标是最大限度地提高决策序列等轨迹的效用；例如，如图14C所示。这通常是作为动态规划制定的。然而，动态规划的计算成本高昂。在做出人类决策时，合理地假设主体学习针对比赛状态的动作序列。在网球运动中，序列通常是有限的，并且大多数比赛计划通常在几次交换中展开。

感知模型和态势感知

图14A至图14C示出了比赛或环境状态动态，包括(a)构建得分的交换和比赛状态的序列、(b)基本动作行为以及(c)在有限比赛状态模式方面的转换图。

比赛状态模型还态势感知(SA)相关。态势感知描述了感知情况的状态并预测其演变的能力。

比赛状态捕捉系统状态的可观察模式，并且因此下面简要描述了环境的感知。使用某种形式的模式检测过程从活动环境的观察结果确定比赛状态：

s→模式→g_i， (方程9)

其中，s_v表示视觉刺激，例如由参与者的眼睛观察视野产生的光学阵列提供的视觉刺激。该刺激包含关于选手和对手姿态以及投球的信息。首先将这些信息识别为模式，随后对这些模式进行识别和分类(方程5)。

技能娴熟的棋手能够在一定程度上通过记住棋盘图案来获得高超的技能，称为记忆的组块假设。其他应用领域的任务层级感知和规划也应遵循类似的原则。

组块理论已经被所谓的模板理论扩展，模板理论认为频繁使用的组块以一种结合恒定信息(核心)和可变信息的模板的形式存储。组块和模板两者被视为非陈述性记忆(因此是无意识的)。基于该模型，可以通过具有变化的主要比赛模式的形式来描述比赛状态，这些变化不太常见，但是对于更高级选手来说可能是有意义的。

模型中的模式和转移矩阵(方程5、方程6和方程9)可以从性能数据中提取，因此可以用于捕捉知识水平以及包括任务层级的感知和预测的关键过程，并对该知识水平和关键过程进行建模。因此，这为任务层级的技能评估和增强提供了有用的信息。

网球决策场景图示

下面描述了交换周期内的规划和决策，集成了来自任务层级模型的元素，并合并了较低层级的行为(参见图10、图11和图12中的时间序列)。图13A至图13F概述了交换周期内的决策和动作序列；例如，从对手的投球到选手的回球。关键事件详述如下。

在比赛规划层级，选手的一般目标是控制比赛；例如，沿着有利的交换序列朝向目标的环境(图14C)。例如，任务层级的目标可以是得分或保持特定的比赛状态(例如，在球场上相持)。然而，由于环境是动态系统，因此需要多个动作(任务层级的投球)序列来实现特定的目标状态。此外，交换周期内的动态取决于基本动作行为序列(图14B)。一旦规划了下一个比赛状态，基本过程就会处理交换周期内动作行为序列的执行，包括定位和投球执行。

规划(步骤1至步骤2)

如上所述，在比赛层级，一种假设是选手使用比赛模式的心理表示。这些表示可以用投球和姿态模式来描述，这些模式已经从先前的经历和训练中获得(方程5)。此类表示用作前向模型(例如，方程8)的一部分，允许基于当前球场状态和动作来预测预期的对手回球和下一个球场状态或配置。

状态库g∈G和转移矩阵Τ对于评估和增强至关重要，因为它们提供了主体规划动作过程所需的知识。在网球运动中，该知识包括球场定位和下一个投球目标。

在初始规划步骤(图13A，框1)，选手使用前向模型来预测根据比赛状态g(方程7)提供的对对手的来球的预期响应。利用这种内部模型，选手可以针对选手做出的不同投球决策来估计随后交换中的比赛状态(图14C)。将时间k时选手执行的所有可能的投球计算在内的完整预期比赛状态响应由下式给出：

这个集合可能会非常大。因此，选手只考虑最可能的状态以及最高值的状态和动作是合理的。

这种贪婪的方案只考虑当前比赛状态的最佳投球选项q^*：

如果效用函数正确，则方程4.7会给出最优动作。如果效用函数是基于n步向前的近似值，则该方程会给出贪婪解。

然而，问题在于，重点关注领先一步的决策通常不会给出达到目标状态(例如，得分)的最优序列。最优决策序列通过最大限度地提高utility-to-go(或最大限度地减小cost-to-go)来确定动作序列，这在工程公式中很常见。

在工程领域，计算状态和动作(比赛状态和投球决策)的最优序列，以求解动态规划。然而，该方法不便于做出人类决策。如在比赛状态抽象下提出的一般理念在于，除了比赛模式之外，选手还学习比赛计划(例如，比赛状态序列或子序列，例如在国际象棋中)。

定位(步骤2至步骤3)

一旦确定了下一次交换的计划(投球和姿态)，选手就必须从地面动作开始，在交换周期内做出决策并执行基本动作控制层级的动作以实现计划(图7和图25)。这需要额外的决策来处理比赛过程中的不确定性。

在站位之前，选手从对手的行为和/或早期投球轨迹中寻找提示，以估计对手投球的落地撞击(图13B，框2)。例如，提示可以包括选手击球准备，或稍后离开球拍的实际投球(参见图25)。这些信息用于更新当前交换周期内的比赛状态。这是必要的，因为任务层级决策是基于近似信息做出的。

选手使用来自以往经验的知识来预测弹跳位置，以便有足够时间站位，并且完成投球决策(目标和击球)。可以根据贝叶斯概率来描述来球更新。大脑已经被证明将先验知识和与贝叶斯概率预测一致的观察结合在一起。选手的投球观察结果对应于投球弹跳位置的可能性，这些信息可以与以往(先验)知识结合在一起，以计算弹跳概率(后验)。

p(x|o)＝p(x)p(o|x)/p(o)， (方程12)

其中，x是弹跳位置，o是观察结果。例如，可以使用卡尔曼滤波器过程来说明弹跳位置的连续估计。

对来球的弹跳位置的估计用于指导选手执行地面动作(图13C，框3)。地面动作通过由左右脚序列描述的一系列步法模式来执行，这允许适应选手当前姿态与预测打击姿态之间的一系列配置(例如，参见图7和图25)。同样重要的是实现正确设置所需的入场条件，包括哪只脚入场和所产生的站位，这是在准备阶段实现的。

准备(步骤4)

一旦选手接近击球姿态，就需要协调感测-运动与来球，以实现身体姿势和击球运动，从而为击球执行做好准备。准备和设置用于为球拍击球创建准确的条件。击球和球撞击结果由这些条件决定。

在任务规划步骤中指定并且由比赛状态指定的结果是近似值。在准备步骤期间，使用关于比赛状态和特定击球环境的最新信息来最终完成投球结果和设置。例如，在准备期间，选手可以基于对手行为来更新投球结果(图24)。然而，用于这些最后一秒变化的选项通常更有限。

考虑到期望结果以及由姿态和来球确定的环境设置，选手进行姿态调整并设置击球(回摆到回环阶段和前摆初始条件)。

可以使用逆模型来确定期望结果的动作。在当前情况下，准确的姿势和击球技术会产生获得期望结果的击球条件。

击球结果是击球条件和击球技术的函数。结果可以被分成主要结果θ₁(离开球拍的球的旋转ω和步速V)和投球结果θ₂(例如，投球方向长度L和高度H)。

θ₁＝Θ₁(γ,c)，并且 (方程13a)

θ₂＝Θ₂(γ,c,x_p)； (方程13b)

其中，γ是击球条件(球与球拍之间的相对运动)，s是击球类别(描述其技术；例如，动作功能结构)。击球条件可以通过以下函数来描述：

其中，l_s是弹跳位置与沿着来球路径测量的击球点之间的距离，b和s分别是弹跳类型和击球类别。

应当注意的是，在上述关系中，有几个细节是近似的；例如，给定的弹跳b类型和击球类别s的结果是击球条件的函数。在这里，假设击球类别变量s捕捉综合的选手姿势和击球执行配置，并且弹跳类型捕捉相对环境特征。

执行(步骤5)

执行主要是一个控制问题。执行处理击球与来球的精确同步，以产生实现期望结果所需的球拍击球条件。此时，设置执行的条件(方程14)。在前摆击球阶段，击球执行主要处理球拍动作轮廓。该动作需要相对于来球精确地协调。

可以使用τ引导对控制轮廓及其定时(例如，包括球拍加速度大小)进行建模。τ理论描述了用于协调感测间隙(这里是相对于击球点的来球)与运动间隙(球拍姿态与击球点之间的间隙)之间的感知机制。应当注意的是，前摆执行阶段发生在时间帧内(100毫秒)内，在该时间帧内不可能出现大脑皮层反馈回路；前摆击球轮廓中的控制调制由具有更有限控制能力的皮层下回路实现。

IV.III环境控制决策过程

接下来，使用网球示例来形式化用于定位、准备和执行的决策过程，这些过程称为环境控制过程。该公式重点关注指定控制空间行为所需的关键变量。

该了解进而有助于确定开放式控制技能的性能评估和诊断，并最终还有助于确定如何增强这些过程。

技能元素由有限的操作领域定义。对于网球击球，操作领域由一系列结果和击球条件定义(参见方程13a至方程13b)。因此，为了满足对期望的投球结果所强加条件的这些限制(方程13a至方程13b以及方程14)，选手必须精确地控制他或她相对于来球的位置。此外，由于定位与来球平行展开，因此选手必须预测击球点和投球的弹跳位置(例如，参见图7)。

考虑到这些限制，任务或活动中的选手和其他参与者不能任意选择其期望结果，但是他们至少应选择满足条件和比赛状态的结果。为了进一步控制结果，选手应为期望结果创建条件，尽管仍然在比赛状态的限制内。下面描述了规划过程与地面定位动作、准备和击球动作执行之间协调的数学模型(参见图15)。

条件控制

图15是网球示例的形式分析的分层流程的示意图。

图15示出了网球示例的规划、决策和控制系统模型。任务规划基于前向模型，该模型将当前比赛状态传播到最佳下一比赛状态。该模型包括实现该下一状态所需的相关联宏观动作(在网球运动中，击球姿态和投球参考)。该知识在交换期间用于控制选手定位、准备和击球执行。注意嵌套过程；例如，定位如何确定准备的条件，以及准备进而确定执行的条件。

此外，还应当注意的是，逆模型的输出是实现这些动作的系统的参考。动作由反馈策略实现，该策略将由逆模型确定的参考动作和来自环境的反馈作为输入。该策略是用于在主体中实现动作行为的感测-运动模式或一般运动程序的技术描述。

计划可能在交换期间更新。该更新过程取决于技能水平。具有卓越态势感知(SA)的技能娴熟选手可以在关键时间感知和预测比赛状态(例如，对手的击球)，并且在整个交换期间继续保持SA。相反，新手将仅能够获得具有有限预期的部分SA，从而导致表现基本上是被动的。

此外，由于选手姿态和击球条件决定了可行结果(方程32a至方程13b以及方程14)，因此定位选择应考虑期望结果。此外，在交换期间，期望结果还受到对手位置的影响(图24)。因此，选手应根据期望的投球结果、对手的投球结果(来球)和对手的位置来运动就位。

图16是执行阶段的示意图，包括在准备时间、执行时间和随球动作过程中的条件。用于执行的参考系统是弹跳位置x_b(坐标轴(x_b,ref,y_b,ref))。

跨层级的决策和控制通过逆模型来确定，该模型分别是用于定位、准备和执行的三个逆模型(图15)。这些模型的输出是实现计划所指定结果所需的控制动作和参考状态。在下文中，星号(“*”)表示推动行为的条件的最优参考值，用于达到该值的控制动作由变量u表示。

该过程形成了增强选手的决策和感知过程的基础。从评估的角度来看，这些模型可以从性能数据(以及确定操作条件的分布)中回位。这些信息可以与规范性模型进行比较，以生成用于训练和提示的输入。

击球方程

网球选手的主要控制任务是以产生精确击球条件的方式拦截来球，这进而使选手能够产生期望的投球结果，其由回球状态和轨迹表示。因此，模型的第一部分重点关注球-击球交互。

导出环境控制的第一步骤是，考虑选手、球拍与球之间的相对运动(包括选手球场定位与来球的关系)，对击球进行建模。全局球拍姿态由下式给出：

其中，x_r是球场上的绝对球拍姿态，x_p是球场上的绝对选手姿态，是挥杆期间相对于选手姿态的球拍姿态(参见图16)。

球-球拍击球意味着在击球时t_strike，球拍和球在空间上处于同一位置：

x_strike＝x_ball,strike＝x_r；t＝t_strike。 (方程16)

因此，预测的击球点决定了选手球场定位。此外，在击球时，球和球拍应处于特定状态，以确保击球产生所需的撞击条件并最终产生投球结果。这些要求推动了在击球之前身体的更精确位置和动态，以及击球动态。

击球条件和期望结果

考虑到期望的击球和投球结果(旋转和速度ω,V，以及投球高度H和长度L)，方程13a至方程13b的逆模型指定在产生期望的投球结果所需的击球时的球状态(球速度、迎角和大小V_s ^*)，以及对应的选手姿态(相对于弹跳位置表示)。

所产生的选手姿态被表示为来自投球弹跳的后退l_s(例如，参见图16和图26)，选手使用该后退来确定击球点并最终确定相对于来球的定位。

该逆模型关系可以由一系列查找表或映射指定：

相对于来球的弹跳点表示的击球点如下：

其中，x_b是来球的弹跳点位置(图16)。选手从弹跳点的偏移量包括横向和纵向分量：

选手定位

考虑到选手可以用作位置参考的弹跳，确定选手相对于击球点的姿态：

选手通常在击球前摆开始的瞬间就位(例外情况是所谓的跑步击球，即选手在击球开始和击球时正在运动)。相对于选手的球拍挥拍可以分解为两个组成部分：

其中，是球拍在准备时间t_prep相对于选手的姿态，/>是相对于准备球拍姿态的前摆运动，其对应于执行阶段。在击球瞬间：

解决选手的姿态：

因此，用于推动选手相对于来球的地面动作的参考姿态可以由以下三个组成部分表示：

·x_b：弹跳位置，其被视为提示。在弹跳位置可观察之前，选手可以根据投球和对手行为来预测该位置。

·选手从弹跳点的后退与球拍姿态/>一起决定了击球条件，并根据期望结果(ω^*,V^*)和弹跳运动学/>来确定。

·初始挥拍准备和前摆阶段。

在定位期间，选手还感知对手的动作，并且可能作为响应更新他们的期望投球目标位置(例如，根据图24中所示的τ模型)。

准备和设置

挥拍位移通常相对于选手球场位移/>较小，这解释了为什么可以基于对击球点的估计来启动总体球场动作，但是当获得更精确的信息时，需要在更接近击球时间时进行更精细的调整。准备阶段通常包括调整定位(调整步骤)以适应不确定性，并对期望的投球结果进行潜在的最后一秒变化。

在选手确定球场位置，并且弹跳位置和来球状态得到更准确地了解之后，击球准备和设置的操作环境也更加明确。该环境信息然后可以用于确定用于击球准备的身体和手臂动作，并设置前摆初始条件。

击球准备时的操作环境包括：

·选手相对于弹跳的姿态：x_p,prep-x_b

·来球状态：x_ball,prep

选手需要获得关于操作环境的信息来设置击球，并潜在地修改期望的投球结果。这些操作环境参数允许选手指定挥拍准备和定位。这些更新可以用于补偿弹跳中的不确定性。

最终击球和后退量的确定类似于第一阶段地面动作的后退，但是分辨率更高，并且考虑了击球和姿势。期望结果和来球条件用作逆模型的输入，以确定击球初始条件和最终姿态/>因此：

/>

应当注意的是，姿态相对于弹跳点来定义，这假设选手具有弹跳的内部模型，该模型使选手能够做出关于姿态和击球行为的决策。

球拍击球设置

在准备阶段结束时，一旦已经执行了由弹跳和后退定义的调整运动，预计就会指定挥拍参数。

此时，提供关于来球，尤其是弹跳点和弹跳特征以及预期的击球条件的更精确信息。然后，选手可以准备击球/>

击球运动基于球拍头部相对于预期击球点来定义。在前摆开始时的相对球拍位置定义为：

类似地，对于最终姿态，挥拍的初始条件由逆模型确定。首先，期望的结果确定期望的击球条件：

随后，击球条件确定初始条件：

应当注意的是，以下两者很可能都是针对特定上下文确定的。第一，了解弹跳类型；第二，击球类别。

球拍击球执行

初始条件s₀(t_exe)为期望的结果和操作环境的状态提供必要的设置，使得前摆几乎可以自动进行(在所选的击球类别内)。

前摆开始和调整旨在拦截来球，这需要精确的空间和时间协调。因此，前摆开始和调整预计通过感知指导(接触时间、τ理论)等机制来执行。

所谓的τ耦合感知控制机制基于感测τ与运动τ的耦合。在球拍前摆的情况下，感测τ由对来球的视觉感知提供，并且动作τ对应于球拍前摆运动(例如，参见图26)。

这种类型的感知机制预计在动作执行必须与任务和环境元素协调的许多活动或任务中发挥重要作用。

除了感知机制之外，主体还学习协调前摆的不同自由度(身体和手臂部分)的控制轮廓。考虑到快速动作，运动控制法则在很大程度上依赖于基于逆模型的前馈控制策略。该逆模型采用相对球状态(提示)和击球结果(主要结果和投球结果)来确定球拍的前摆轮廓：

考虑到球拍的挥拍轮廓，逆模型指定身体和手臂部分的动作轮廓：

该示例示出了可以在诊断部分中描述的图27的统计模型中建模的量。

V.开放式运动技能建模

该部分详细描述了网球示例的建模过程，该网球示例详细描述了在图15的形式化模型中分层结构的每个层级的行为的功能方面。描述了物理系统以及流程，包括从执行数据中提取信息和表征支持不同任务或活动交互层级的活动执行的行为元素，然后详细描述了网球示例的行为元素建模。

技能模型是评估和诊断的基础。该模型使得可以在分层结构的每个层级确定感知、控制和决策的精确属性和特征(参见图15)。该模型在综合和实现增强以及对执行者的反馈方面发挥重要作用，以便帮助提高技能学习和表现。

V.I建模过程概述

可以扩展建模方法，以考虑支持任务或活动环境交互的分层组织(例如，与第10,854,104 B2号美国专利、第2121/0110734 A1号美国出版物和第2019/0009133 A1号美国出版物相比)。因此，建模的一个重要方面是环境模型，该模型定义了由较大任务交互产生的动作元素的操作条件(图1)。

在技能综合建模和评估方面的两个主要任务如下：(1)确定特定行为元素及其相关联的环境元素；以及(2)随后将这些元素集成到活动交互模型及其特征中(如形式化网球建模中所示并如图15中总结)。

物理系统的描述

图17是击球运动与任务和环境元素之间交互的示意图，包括相对于球场的球轨迹、球的撞击以及球在与球拍轨迹相交前的弹跳。该图还示出了选手沿着球轨迹和球场位置的不同点的凝视，并示出了球机作为装置，其可以被编程以实现针对不同训练区域的不同形式的交互。

该活动用于捕捉主体、对象和环境交互的相关测量。图17还示出了球场上的网球选手和对手，其配备运动跟踪摄像机、球拍嵌入式运动传感器以及凝视跟踪和AR眼镜。更具体地，图2示出了增强的活动，其中动作元素序列是使末端执行器(例如，球拍或手)20朝向与任务或活动对象30(例如，球)的撞击移动的击球。操作环境50包括具有环境特征或元素的球场，环境特征或元素包括球场标记或其他边界51和球网52以及环境50的周围地形。可穿戴运动传感器设备62可以连同一个或多个附加运动传感器(例如，视频传感器70和声学或射频(RF)运动传感器90)一起提供，并且适于跟踪主体10在操作环境50中的运动，并生成传感器输出，该传感器输出表征相对于环境50以及末端执行器20和其他对象30的特征的主体身体10和个体身体部分15(例如，腿、脚、手臂、手、头、躯干等)的运动。增强现实系统或其他提示设备80可以用于为主体10生成音频、视觉和触觉提示，并且配备适于跟踪主体10的视觉凝视(或凝视向量)81的传感器系统。凝视向量81可以定义主体10相对于末端执行器20、对象30和环境特征50、51并且当跟踪过网31、落地撞击32、对象轨迹(球径)36以及对象30与环境50的特征之间的其他交互等视觉提示时的视觉注视焦点。

末端执行器20的运动限定了相对于环境50的路径26，其由定义一个或多个转弯或其他阶段的一系列运动行为元素以及转弯或阶段之间的过渡27来定义。此外，还可以提供装置40来操纵环境50中的对象30，例如球机。

活动测量

建模动作行为交互和开放运动任务或活动中的底层感觉-运动过程需要测量综合代理行为，包括与任务和环境元素的交互相关联的动作，以及可能的感知行为，例如执行者的视觉注意力。

图17示出了具有运动捕捉系统的网球活动，该系统结合了视频、来自设备嵌入式传感器的运动数据和凝视。该系统被设计并适于获得环境和动作元素的高保真信息。为了获得用于综合行为和活动建模的足够信息，可能需要集成不同的信息源。对于网球运动，合适的方案是将视频分析与来自嵌入式运动传感器的动作数据分析结合在一起以捕捉活动交互(例如，参见图4和图9中所示的网球活动)。

目标是捕捉识别关键交互和相关联事件所需的活动元素的测量。在网球运动中，大多数事件涉及球(投球和环境交互、球-球拍交互)。此外，目标是在组织层级捕捉动作行为单元的准确测量结果。

图19A至图19E示出了与在不同阶段(定位、在球落地撞击时的准备、前摆开始、击球和随球动作)从视频图像中提取的来球和球场相关的身体部分姿态配置。图19A至图19E还示出了叠加在身体图像上的姿态估计。

组合视频捕捉和可穿戴运动传感器可提供高效设置，以捕捉针对各种活动的不同交互层级的表现。视频能够全面捕捉活动及其环境，但是通常以较低的空间和时间分辨率操作(如图19A至图19E所示)。相反，运动传感器(例如，基于惯性运动单元(IMU)的那些运动传感器)通常具有高动态范围和空间分辨率，但是所捕捉的信息通常限于传感器物理位置(例如，在球拍、身体部分或球上)。

应当注意的是，可以考虑其他测量系统，包括光学系统(标记或无标记)、射频系统(基于RF信号的多普勒频移)或者甚至GPS。例如，可以将一个或多个发射机标记标签附着到一个或多个对象或身体部分，并用于确定位置信息。基于射频的技术也很有吸引力，因为它们可以克服基于视频的系统中的遮挡问题以及对多个摄像机的需求。

建模方法—概述

建模过程的整体方法是提取说明其分层组织同时描述支持任务交互的各种行为元素的行为模式(图15)。支持交互的动作的特征在于其各种属性中的分布。可以分析动作模式(参见图8)，以将它们描述成形成主体的总体动作元素库的不同种类和类别。

可以自下而上或自上而下或两者组合的方式执行建模任务。在对复杂的任务或活动进行建模时，通常首先基于活动结构(自上而下)来分析执行数据。目标是确定任务结构分层结构和交互以及人类行为及其组织的自然结构特征(参见图9和图11的网球示例)。因此，第一建模步骤是确定捕捉针对相关动作元素的感测-运动(或感知-运动)过程的模型结构。当行为元素出现并依赖于包括技能在内的个体因素时，指示自下而上方法的组合。然后,可以利用关于行为单元及其组织的知识来确定用于活动表示和行为组织的行为状态及其抽象。这种层级的分析对于任务层级模型(例如，网球比赛状态)很有用。

下面描述了总体建模流程，重点描述了数据和信息转换的关键步骤。图18示出了建模和分析开放式运动任务或活动的可能过程100的概述。应当注意的是，机器学习方法(尤其是使用人工神经网络的深度学习)的进展可以代替传统的计算机视觉技术，并且也可以应用于活动检测和建模。该流程描述提供了该方法的功能角度。所概述的步骤和组成部分表示系统描述，以帮助理解在开放式运动任务中建模、评估和增强技能所需的表示层级和关键量。该系统可能会也可能不会反映以深度学习或其他方法处理信息的方式。

图18中的过程100具有四个主要组成部分：数据预处理(步骤110)；活动元素检测和提取(步骤120)；元素跟踪和建模(步骤170)；以及活动跟踪和建模(步骤180)。这些步骤的总体目标是确定分层活动模型。

首先对活动执行测量进行预处理(步骤110)，以从测量数据中提取捕捉活动环境元素及其动作所需的低层级特征。可以集成这些特征以实现对象和元素的描述(步骤120)。一旦定义了元素，就可以使用它们来跟踪它们在整个活动中的行为(步骤130)。然后，可以使用关于元素行为的信息来确定考虑其局部交互的元素运动模型(步骤140)。动作和任务活动元素可以包括关键活动对象和环境元素以及它们的关系。可以使用动作元素及其动作特征来分析任务层级活动模式并对其进行建模(步骤150)。然后，可以组合这些信息以形成活动交互模型(步骤160)。

图20提供了用于视频、运动传感器和凝视数据110等活动测量数据的预处理和元素特征提取流程的概述。数据预处理涉及所有较低层级的处理步骤。例如，在网球应用中，数据预处理包括各种视频分析步骤，包括球场校准、摄像机姿态估计、颜色过滤。此外，预处理可以包括注册球场边界、球网等关键环境特征，以及与主体及其设备和末端执行器相关联的特征。该过程还可能需要集成测量或特征210，例如不同的摄像机视图或运动数据和视频特征。

图20还示出了用于数据预处理以及元素检测和提取120的处理流程。应当记住的是，行为元素的定义强调了以下理念，即开放式运动任务中的行为源于环境交互，因此动作元素应与其相关联的环境特征一起提取。

图21示出了用于元素跟踪、分析和建模的流程。合适的元素跟踪和建模包括但不限于活动元素运动估计131、活动元素交互和关系141的识别、元素运动模式分析142和元素运动建模143。

图22示出了用于活动分析和建模180的流程。合适的活动跟踪和建模对应于活动层级的元素动作模型集成(图18中的160)，其可以用于确定分层交互活动模型(图23)。这包括但不限于活动动态建模161，其考虑任务层级部分和事件(图10)；动作元素交互162；以及动作元素动态163。

活动元素检测和提取

图20中的110示出了数据预处理以及元素检测和提取的流程100。视频场景处理111包括从视频帧中提取动作交互中涉及的身体、环境和对象元素。该过程可以使用标准计算机视觉方法来执行，这些方法依赖于几个预处理步骤110，包括边缘检测、轮廓检测、过滤和排序。通常，跨帧分割和跟踪每个对象或主体的像素轮廓。然后，可以使用轮廓来重建活动，例如球轨迹或选手及其身体部分的轨迹。选手或执行者的姿态(包括身体部分、末端执行器)通常由专用的姿态检测算法来确定。运动传感器处理112包括提取动作阶段和元素。凝视处理113包括处理凝视模式，包括不同的动作(扫视、注视、平滑跟随)。可以集成(114)从不同传感器的预处理中提取的特征以利用来自不同传感器流的信息的互补性。

元素检测和提取(步骤120)可以包括但不限于以下初始过程：

(1)识别活动元素，包括主体在整个交互范围内采用的主要动作单元，以及实现任务或活动目标所需的支持行为元素。

(2)从包括其操作环境的关键元素的性能数据中提取主要动作单元及其支持动作单元。

图19A至图19E示出了从图19A中的就位(帧1)到图19B中的准备(帧2)、图19C中的击球前摆开始(帧3)、图19D中的击球(帧4)以及图19E中的随球动作结束(帧5)的关键帧的计算机视觉系统的帧和姿态估计的示例。应当注意的是，第二帧(图19B)中靠近地面接触的球，其用于局部参考系(参见图26)。

图20中的120示出了网球示例的元素分层结构，首先是环境和活动元素处理121，包括球场、球网；任务对象处理122，包括网球；然后是包括姿态123和姿势124的主体处理，包括球拍、击球动作元素125以及球结果和投球处理126。这些元素的特征使得能够支持下面描述的元素跟踪(图18中的130)和动作建模(图18中的140；图21)。

元素分析和动作元素建模

活动元素分析和建模(图18中的170)可以包括两个步骤：第一，活动元素跟踪和建模(图18中的130)；第二，活动元素运动分析和建模(图18中的140)。

在活动元素跟踪310中，特征元素被输入到元素运动估计。在活动元素运动分析和建模中，流程从元素交互和关系141进行到元素运动模式分析142和元素运动模型143。

活动元素跟踪

图21示出了活动元素跟踪、运动分析和建模过程。一旦识别了活动元素(例如，主体的身体、身体部分、设备以及关键活动对象和环境元素)，就可以在整个活动数据中跟踪这些元素，以收集关于其交互的信息，例如选手与投球之间的相对运动。然后，使用这些信息来确定各种动作技能元素及其相关联操作环境和结果的模型。

提取动作行为元素的测量结果的整体方法是：

·基于活动层级的交互来分割视频和运动传感器数据流，包括环境交互等事件(击球、球弹跳、过网；例如，参见图4和图7)。

·根据在分层结构的每个层级描述的行为单元对每个活动部分进行分类，如图11所示。

·从所产生的部分中提取导致主要任务结果(例如，击球)的动作模式，以及确定其对应的环境交互(执行者姿态、弹跳点、凝视向量)的特征(参见图26)。

·提取支持性动作模式，例如地面动作、击球和姿态设置。

例如，在网球运动中，动作技能元素包括选手的地面动作、准备和击球，以及在整个交换周期内与球的交互。类似地，对于任务分层结构中的其他动作元素(参见图12的网球示例)。

活动元素运动分析和建模

然后，使用关于各种活动元素的运动特征的信息(包括感知-动作交互的模式)来确定该活动的动作技能元素的运动模型143。

应当记住的是，人类学习运动程序，并且由于每个程序的限制(以及其他任务限制)，大脑将可能广泛的条件和结果划分为不同的行为类别。在每种类别中，主体学习稳定各种行为，并学习控制和利用主要条件来优化动作表现及其结果。

行为单元表现为模式。这些模式的统计特征以及数学特性使得可以使用等价性和对称性等将相关部分从总体数据中分离出来。

然后，分析元素在活动期间展开时行为形成的模式，并分析元素的运动和交互，以确定综合运动模型。这可以包括以下一个或多个附加过程：

(1)随后，组合各个部分以形成一系列行为单元。针对用于执行任务的不同层级的交互开展该过程。

(2)对于每个类别的动作单元：

a)将动作单元分割成与功能和生物限制相关联的动作阶段(例如，参见来自基于图19A至图19E中的击球阶段的视频分析的姿态)。

b)对行为单元的功能特征进行建模，包括：

(i)推动行为元素的一组提示。

(ii)一系列操作条件(以及可能影响行为的其他因素)和一系列结果(例如，对应于作为技能元素基础的一般运动程序的操作条件)。

c)确定表征每种类别行为单元的一组特征，该组特征将使得能够实时地从可用测量数据中识别。

活动交互建模中的一个重要步骤是，确定动作元素与活动和环境元素320之间的关系和交互。图9示出了网球运动的关键元素和对象以及它们之间的关系和交互。该交互定义了活动事件。建模的目标是确定活动在综合行为分层结构中的动态(图11)。

特定行为类别中的行为单元(动作行为元素)(例如，如表10所示)可以呈现不同的特征，从而形成多组或一系列行为元素。例如，在网球运动中，存在多种击球类型，从而形成一系列击球类型。这同样适用于支持性动作，包括地面动作模式(步法)，并且同样适用于击球准备/设置和执行行为。

活动分析和建模

活动分析和建模(图18中的180)涉及任务结构、限制和规则以及由物理交互产生的活动结构。

可以集成所产生的动作元素模型以及它们的环境交互，以形成活动交互模型(图23)。可以分析活动模式，以确定主体在分层结构的各个层级的行为模型(图15)。附加过程可以包括但不限于：

(1)确定分层任务或活动模型，包括交互和动作序列，以及与活动结构相关的关键活动事件。

(2)确定用于协调行为的执行控制体系结构，尤其是动作元素与活动结构和元素的交互。

(3)将所产生的行为单元集成在对较低层级行为进行抽象处理的活动或任务环境性能模型中(例如，参见网球示例中描述的“比赛状态”)。

活动模型捕捉活动规划行为(这在先前部分中进行了详细描述)，包括确定前向模型。应当记住的是，该层级侧重于任务或活动模型和性能；例如，主体如何组合行为元素以实现任务或活动目标。活动交互分析和建模(步骤150)的目标是确定包括整个行为分层结构的模式。

在网球运动中，任务目标通常在得分层级表达。选手学习组合行为元素，以为他们的击球表现创造有利的条件，使得他们可以执行决定胜负的投球或迫使对手犯错。通过构建比对手更具优势并能够控制比赛(例如，根据图15所示的比赛状态)的投球序列来得分。例如，在滑雪运动中，组合行为元素，以在不同的地形类型中成功地滑行。因此，通常，较大任务执行从行为元素和任务事件的序列实现(例如，对于滑雪运动，参见图34；例如，对于网球运动，参见图12)。

对于技能娴熟的网球选手，从任务层级状态确定各种动作行为。在网球运动中，如形式化建模部分所述，比赛状态描述了活动中关键时间的任务层级环境和关键元素。了解比赛状态指定了分层结构中的基本行为(定位、准备和执行)。

活动交互分析和建模

图22中的150示出了活动分析和建模。可以在活动模式分析152中使用来自元素交互分析151的活动行为和事件，随后在活动模式建模153中使用。

活动模型集成

然后，集成这些信息，以形成活动模型(图18中的160)。该模型包括：在动作元素162层级，与相关环境和对象的交互；在任务层级161，动作元素朝向任务目标的交互(参见表10中的交互层级)。

应当记住的是，动作元素表示活动执行的构建块。活动状态由事件和行为序列定义。例如，在网球运动中，参见图11中的行为分层结构和图12中的交换周期。

活动元素根据与任务结构和代理交互相关联的分层结构进行交互(图9)。因此，活动层级的运动分析应考虑交互拓扑结构(参见图9)。

图23示出了活动交互模型。在确定比赛事件520的物理行为与交互530(组合选手540以及球和投球550)之间描述该模型，进而描述在网球运动中由评分规则确定的比赛模型510。

图23还示出了活动交互模型，该模型包括选手540与球和投球550之间的物理交互(两者在这里被示为状态机)、比赛事件和比赛模型，其确定得分和比赛评分的演变。如图23所示，选手或主体/参与者模型540包括球拍击球、回位、就绪、运动(或动作)和准备/设置以及其他参与者模型参数。球/投球或任务模型550包括击球、过网和弹跳以及其他任务模型参数。物理行为和交互定义了关键比赛事件和其他任务相关事件520。然后，这些事件被馈送到得分和比赛模型510中，该模型确定得分和比赛评分的演变或其他结果。

交互模型可以用于分析任务或活动层级执行。该过程可以包括使用统计、时间序列模型(例如，隐马尔可夫过程或递归神经网络)，以基于从执行者提取的元素来预测比赛或活动交互。

最后，此类活动模型然后可以用于支持增强的实时处理的活动状态估计(例如，另请参见图30)。

在一个示例中，用于活动或任务层级策略建模和增强的环境感测和跟踪系统可以包括：分布式视觉传感器系统，具有一个或多个摄像机；视觉处理器，被配置为：识别环境内的一个或多个代理和相关联的任务以及环境元素和对象，并且生成适于跟踪所述环境中的所述代理和相关联的任务以及环境元素和对象的定位的输出。处理器可以被配置为从传感器的输出中提取任务或活动模式，其中该任务或活动模式包括环境中的代理和相关联的任务以及环境元素和对象的动作行为模式，以及由动作行为模式和动作的相应结果表征的代理的动作。该处理器还可以使用任务或活动模式来形成动作行为模式序列的动态任务模型，其中动作行为模式和相关联的任务以及环境元素和对象配置描述活动状态，并将动态任务模型提取到任务层级的策略图中，其中任务层级的策略图描述代理定位和代理的动作序列的演变以及在未来活动时间段或周期内给定活动状态的相应结果。

V.II网球运动中每个交互层级的详细建模

下表描述了表10中描述的行为元素的模型结构。该描述在比赛规划层级与运动执行层级之间进行。运动执行层级本身被划分为支持任务和环境交互的不同技能元素。

行为的元素和结构概述

表10描述了图12中的行为元素(规划、运动、准备/回位、执行)的序列和分解以及图11和图15中的分层组织之后的任务和动作层级的一般特征。

表10：用于定义模型组成部分的不同层级的动作行为元素

表10：用于定义模型组成部分的不同层级的动作行为元素

/>

主要划分为任务(比赛)层级和动作行为层级。比赛层级的规划主要是战略性的，涉及在比赛中构建得分；例如，确定会导致决定胜负的投球或对手犯下非受迫性失误的投球序列。动作行为层级处理支持活动交互的各种动作元素。目标是确定基本感测-运动过程。

交互层级

下面描述了每个交互层级的建模步骤的细节。在以下一个或多个层级，建模遵循与交互相关联的空间和时间结构(参见表10)：

·交换序列层级：比赛状态演变模式，包括投球和投球目标，作为球场上的击球位置和来球特征的函数(交换过程(EP))。

·选手-投球层级：定位模式；例如，朝向球的球场动作和预期击球位置(定位过程(PP))。

·击球-投球：击球设置和准备模式(击球交互过程(SIP))

·击球-球：击球特征和主要结果模式(击球执行过程(SEP))

行为单元概述

每个动作行为单元表现为表现数据模式，并且必须描述为具有其特定操作环境和条件的行为过程(如括号中示出)(例如，参见图13A至图13F和图28A至图28B)。这些过程可以视为模式，或者更正式地可以视为策略。因此，综合建模需要提取这些不同的模式。

支持这些行为模式的交互过程提供了描述和分析的单元。如本公开的先前部分所述，交互可以用于定义支持动作单元和主要动作单元，该主要动作单元用于产生主要任务结果。

行为单元结合了支持环境关系和交互的功能维度，包括感知提示和身体动作，并且它们作为完整的行为单元操作。行为单元包括输入-输出过程，该输入-输出过程包括可以预测和同步行为元素和相应结果的提示以及它们的表现条件(例如，参见图12；图13A至图13F；图15)。

技能建模的其中一个目标是识别提示和结果。因此，除了动作表现数据之外，测量还可以包括一组视觉输入(例如，使用凝视跟踪)和输出(结果)。这些额外的测量可以帮助捕捉这些过程性能背后的功能机制。

协调和执行层级

复杂任务执行的另一个重要方面是，行为是分层的，即几个单元通常跨几个空间和时间尺度排序(图10和图11)。

人类首先学习对任务至关重要的行为，这些行为通常是关键交互，然后学习利用这些元素来有效地实现任务目标。除了提供特定的任务结果之外，行为单元还可以获得实现任务层级目标所需的控制和感测“协调结构”(参见图15)。这需要学习在任务层级协调和管理活动交互所需的附加感知、控制和规划过程。

每个动作活动具有自己的一组与环境和任务元素的交互，以及与其他参与者和对象的交互。活动还具有不同的行为特征和要求。然而，具有支持关键交互的行为单元并充当构建块的一般分层系统体系结构在各种活动中保持类似。在泛化部分进一步讨论了方法和模型的泛化。

模型组成部分概述

沿着每个连续的行为层级(比赛、投球交换、准备/设置和击球执行)向下，状态-空间的范围变得更小、更具体(例如，参见图15)。同时，时间尺度也会缩短。当动作更快展开时，它们的空间范围通常也会变得更具体。因此，跨分层结构的动作行为通过其相应的范围和领域来区分自己。总体思想在于，每个行为单元具有自己的操作环境，其可以通过参考系和一组输入、输出和提示来描述。

表11：任务/比赛层级的行为元素的模型组成部分

表11：任务/比赛层级的行为元素的模型组成部分

本公开的后续部分描述了针对网球示例描述的每个层级的表现数据的综合动作单元模型。对于每个行为单元层级，阐述了以下方面：

·动作单元支持的交互形式和范围的细节，包括人体运动控制的对应层级。

·过程：支持行为单元的具体过程。

·输入：支持动作行为所需的信息，包括提示以及感知和信息处理层级。

·提示：用于推动行为元素的一组特征。

·输出/结果：任务/活动环境中动作行为的结果。

·结果成功标准：对于该层级的任务或活动成功至关重要的行为的相关方面。

表11提供了任务/比赛层级的行为元素的模型组成部分。下面描述了行为单元的功能细节和操作范围，然后跨交互层级概述了这些单元。

参考系

参考系的总体思想在于，描述与人类基本感测和感知过程一致的行为数据。从行为的角度来看，不同类型的参考系是相关的。全局参考系进一步描述任务元素、对象和/或代理，并且与总体活动组织和规划相关。局部参考系(如图26所示)提供了行为元素的操作环境以及相关功能特征和执行的更具体细节。基于行为的特定环境或对象交互定义的局部参考系至关重要，因为它可以描述与每种类型动作元素的行为特征一致的相对运动，例如，选手相对于来球的设置。每个行为元素预计具有其特定的操作环境和任务元素；其用于确定行为的提示环境；以及其特定的结果。

此外，下面还详细阐述了网球示例的更具体建模细节，包括但不限于：

·测量和提取描述了如何测量这些行为单元，然后从表现测量数据中提取这些行为单元。

·表示描述了行为元素的建模结构。

·范围描述了每个行为单元的操作环境的范围。

·参考系描述了用于行为单元的坐标系。不同的层级具有不同的参考系，这些参考系与行为过程一致。

图7以及图24至图26示出了这些组织层级的每种行为的维度和范围。此外，应当注意的是，每个层级都是作为一个完整的行为单元发展的，作为执行者必须掌握和完善的技能元素。

逆模型

逆模型确定了为在相应交互层级实现给定结果而必须实现的动作的参考(参见图15)。逆模型包括可由先前动作、输入(例如，应实现的参考结果)和输出(例如，动作规范)确定的条件。这些层级可以包括但不限于：

·对于定位，逆模型指定了给定当前姿态和预测击球姿态的球场动作。结果是实际的地面动作，这会导致实际的击球姿态。

·对于准备，逆模型指定了姿态和姿势调整，包括给定当前姿态和预期投球结果的击球准备。结果是实际的姿态和姿势调整，包括球拍姿态调整。

·对于执行，逆模型指定了给定当前击球条件和预期投球结果的前摆动初始条件和轮廓。结果是击球轮廓、击球结果和投球结果。

这些层级中的每个层级的实际动作必须通过某个控制过程来实现，例如针对选定结果和条件对大脑中的动作类别进行编码的通用运动程序。此类程序可以通过反馈策略来建模。该策略指定了环境、代理与所产生的结果之间的信息交换。

除了逆模型之外，建模还包括确定前向模型。前向模型预测特定动作的预期结果(包括感测)。

因此，综合建模包括不同组织层级的逆模型和前向模型，此外还可以包括负责实现的策略。应当注意的是，技能元素的这些模型至关重要，因为这些模型还描述了如何增强这些不同的元素。这些模型还指定了哪些变量可以通过反馈提示来操纵。

在一个示例中，对环境中的动作行为元素的交互和结果进行建模分析、评估和诊断可以包括：捕获参与者在所述环境中执行任务或活动时的身体和身体部分动作序列，其中一个或多个基于运动或视觉的传感器生成输出，所述输出表征所述参与者的所述身体和身体部分动作与所述环境的特征和所述环境内的任务或活动对象之间的交互。可以从所述传感器输出中提取表征所述交互和执行的动作行为元素的动作特征和属性。动作行为元素可以包括所述参与者的动作技术、执行的操作条件以及所述身体和身体部分动作序列的结果。可以通过基于层次关系(hierarchical relationship)以及所述动作特征和属性的组合聚集和分类所述动作行为元素来构建模型。对于所述模型中的每个元素，执行以下操作：可以针对从设置条件、站位、动作表现和所述结果的效率选择的方面来分析行为类别。可以捕捉所述动作行为元素的逆模型，并确定执行功能的模型，其中所述执行功能提供所述动作元素与所述环境的所述任务或活动对象和元素的协调。可以确定识别协调策略的模式，并且可以通过确定识别动作元素与设置条件的协调、所述参与者的所述动作技术以及所述身体和身体部分动作序列的所述结果的缺陷组合的模式，来使用所述逆模型和所述协调策略对所述参与者执行技能评估和诊断。

任务层级规划:网球运动得分

网球比赛的任务层级对应于构建得分。在交换序列期间，得分由投球与选手动作模式和对手动作模式之间的交互决定。得分通常需要投球序列，并且结果由投球行为和比赛规则决定。成功构建得分需要预测未来投球，并确定考虑到对手优势/劣势的目标。

每个参与者的大脑形成统计表示，例如针对不同的投球以及选手动作模式和对手动作模式(参见图8中的投球分布)。如形式化建模部分中所讨论的，这些信息可以比赛状态的形式捕捉(方程5)。对于技能娴熟的选手来说，这些信息用于预测投球序列信息，并做出关于未来动作和投球目标的决策。动态根据比赛状态转移来描述(方程6)。任务层级过程主要处理构建计划和组织行为所需的知识。投球和选手姿态配置模式提供了关于选手和对手的战略规划的信息。

得分层级交互的范围包括较大任务或活动阶段的全局球场环境运动和目标。在得分层级，该模型还考虑了任务规则和结构。

在得分层级，相关信息包括选手配置、选手动作模式与对手动作模式之间的关系以及投球目标。该模型包括投球和球场姿态配置模式。

行为单元

在得分层级，描述层级重点关注投球/选手配置。此外，在任务层级，对动作表现的细节进行抽象处理以捕捉比赛状态的演变(方程5)。行为元素为任务层级模型提供组织单元。行为单元导致任务空间的离散化(例如，参见图8)。得分层级交互主要是投球-球场交互，并由投球类型和目标以及选手和对手的地面动作来描述。

任务层级的行为单元描述了投球和选手/对手配置序列。在业余比赛中，这些用于在得分(得分构建；例如，参见图8和图24)或相持的一系列交换中确定球场定位和投球序列。

过程

在行为科学中，任务层级规划与态势感知(SA)密切相关。目的是了解系统的当前状态(比赛状态)，能够预测较大行为，并做出成功完成任务所需的高层级决策；例如，构建得分和产生有利的比赛结果。

该层级的行为包括支持构建得分的感知、决策和规划。更具体地，这些不同的动作单元提供了用于对任务层级的感知和动作组织进行编码的输入-输出特征。在任务层级，感知和决策可以根据比赛/得分模式来描述。决策是得分序列和相关联的比赛状态，描述了球场上的选手-对手-投球配置。

模型形式

得分层级的模型必须捕捉做出战略决策所需的信息。例如，如形式化建模部分所述，不同的选手和投球配置具有不同的策略值，例如，由效用函数(U(g(k)))表示。比赛状态决定了下一次投球机会。这些信息由一种前向模型捕捉，该前向模型还对方程5中每个比赛状态的最佳动作进行编码(参见本文中的形式化模型讨论)。

这些信息不仅推动了投球目标决策，也推动了基本地面运动(参见下一层级)。任务或活动层级的建模首先必须捕捉姿态、球场动作和投球的模式。如图8所示的模式可以用于识别系统的自然行为状态(方程5)。模式特征与效用函数相结合，可捕捉选手和对手的优势和劣势。

一种替代方法是将球场离散化为多个单元格，然后使用这些单元格来研究选手和对手在得分期间的姿态，更具体地，根据球场环境中的定义，研究相应姿态的不同单元格的动作和投球目标。

在第二阶段，使用从比赛模式导出的状态来确定系统的动态；例如，状态转移。通常使用根据从表现数据获得的状态转移特征确定的状态转移概率来描述动态(方程6)。此类统计模型是高层级建模和决策的典型模型。此外，还可以使用隐马尔可夫模型或递归神经网络模型来描述方程6中的活动或比赛动态。

可以组合附加建模组成部分和决策模型，例如，考虑到视觉注意力(执行者的凝视向量)。考虑到模型中的基本感知和决策机制，可以改进评估和诊断，以及增强主体的感知、学习和表现。

模型输入和输出

如图15所示，任务层级的模型描述了比赛状态对特定投球决策的响应(方程6)。模型输入q(k–1)是针对选手感知的比赛状态g(k–1)的选手投球选择(例如，对手和选手两者的相应姿态和运动)。

输出是与选手投球决策输入q(k–1)对应的下一种比赛状态g(k)的预测。输出指定了选手和对手的后续姿态，以使选手执行下一次投球q(k–1)。

测量和提取

使用姿态检测和估计工具(例如，与目前可通过GitHub公司的卡内基梅隆大学(CMU)感知计算实验室链接获得的OpenPose或其他可用的深度学习软件相比)，最好是从视频中提取选手和对手姿态。

在网球示例中，可以根据由关键任务交互定义的关键事件来确定比赛阶段，该关键任务交互包括球拍击球、过网、落地撞击(参见图12)。可以使用分别与选手和对手地面运动的姿态和运动相关的事件来识别与较大比赛活动相关的事件。

可以添加球拍运动测量的特征，以考虑击球阶段。组合这些事件可提供管理得分动态和结果的完整球场-选手-投球层级交互。

交换期间的决策更新

图24是根据图2A的顶部面板的基于预测的球落地撞击和由对手地面运动形成的感测间隙的选手的球场动作和投球目标序列的图形描述。

规划强调的是从来球到选手回球再到下一次来球的较长时间段内的决策(比赛状态更新的一个周期)。此外，还可以在该时间段内根据关于情况的最新信息来更新关于选手的动作和投球目标的决策。

具体地，目标形成的细节基于投球和选手-对手的动态。图24示出了选手和对手的姿态和动作以及投球，以及基于比赛状态的持续动态形成目标的表示的示例。

在该示例中，比赛模式根据τ理论来描述。在该示例中，选手必须预测来球，感知目标的机会(基于对手的配置和动作)，并形成回球的目标。

如图24所示，对手姿态导致感测间隙(投球目标的开放式区域)，而球场动作导致感测间隙率。参数tau(τ)＝间隙/(间隙率)为投球目标和动作协调提供机会度量。表12提供了投球交换层级的行为元素的模型组成部分。

环境控制层级

环境控制层级对应于相对于来球和对手的动作行为的宏观控制。该层级表示开放式运动任务的一个关键方面。如图7所示，在该层级，关于环境状态的更多细节可用于产生精确姿态和投球，包括关于来球的细节。这些细节对于确定击球执行条件的准确地面动作很有用。

根据关于来球以及对手姿态和运动的最新信息来更新击球条件(例如，参见图7和图24)。前一次击球回位与预测击球之间的地面动作可以涵盖各种可能的策略。例如，图7示出了来球的四种可能的选手击球姿态(A-D)。应当注意的是，每一种可能产生具有不同投球结果的不同击球条件。通常，选手将确定所计划投球结果的地面动作；然而，在该阶段，选手还可以更新击球和投球目标(参见图24)。

操作限制

这些决策受任务环境的限制。这些决策对投球选择和执行设置了姿态相关限制。这些限制规定了可接受的击球范围；例如，确定投球是否成功的条件；例如，如果没有击中球网并在球场的限制范围内落地。球场动作、环境限制和行为限制(包括击球模式)的组合会导致跨活动状态空间的行为模式，如图8所示的投球模式所表现的。

表12：投球交换层级的行为元素的模型组成部分

表12：投球交换层级的行为元素的模型组成部分

动作单元

交换层级的动作行为是指从上一次击球回位(或发球等，具体取决于得分背景)和来球到下一个预测击球点和对手响应的全局球场动作(参见图7)。该层级的动作单元对应于选手在球场上的定位和大尺度运动，以及相关联的投球。这些动作决定了局部配置，为成功投球和击球执行创造了有利条件。

在该层级，动作还重点关注姿势，例如在知道来球侧的情况下，通常在对手击球后开始整体转动。球场地面运动由不同的步法模式来描述。步法模式通常特定于球场，例如沿着底线、绕球运动以打正手击球、运动到球网或运动到球网前。球场地面运动可以分解为多个阶段，这是由就绪状态退出与击球姿态进入之间的边界条件产生的。这些阶段可以使用选手获得的不同步法模式来描述。技能更娴熟的选手拥有一系列更大的步法模式，允许他们协商各种球场动作场景，如图7所示。

参考系

环境包括图7所示的元素，包括朝向击球点的来球以及选手和对手的姿态。这些元素可以使用全局参考系来描述(参见图4)。此外，步法模式可以使用球场坐标系或以选手为中心的参考系来描述，例如臀部定向(例如，参见图19A至图19E)，其允许跟踪对击球准备(例如，肩部旋转、回摆)至关重要的相对动作以及肩部和手臂运动。

过程

例如，决策可以通过描述投球-选手交互的感知变量来描述，例如运动间隙(参见图24中的灰色框)和感知τ理论(如下所述)。

此外，选手还使用来自任务层级感知和决策的知识。应当记住的是，这些知识描述了选手-对手-投球配置对于构建得分的价值或效用(方程8)。

模型

逆模型决定了选手朝向击球点和回球目标区域的球场动作。在定位层级，实际动作由选手姿态的位移和相关联的位移运动学来描述。因此，建模既要描述决定行为参考值的逆模型，又要描述动作过程本身的模型。这种区别对于评估和增强至关重要。

对于定位，逆模型指定了给定当前姿态x_p,posit和预测击球姿态的球场动作位移Δx_p,ref(例如，参见图15)。结果是实际的地面动作，这会导致实际的击球姿态。此外，该模型还应考虑步法模式和一些相关的姿势细节(例如，整体转动)。与其他动作单元一样，每个地面动作模式由描述运动学特性的操作范围来表征。

建模任务是表征说明整个操作范围内行为的功能机制。该层级的环境状态描述了来球到选手响应期间的选手-对手配置。

选手通常根据关于来球的更新后的信息来更新击球姿态以及可能的投球目标。因此，定位层级技术的一个关键方面是感知和预测投球。

此外，总体位移和投球目标动态可以通过动作间隙的协调来描述，包括选手在从回位姿态到下一次击球姿态的交换期间的位移；对手在从上一次击球到回位姿态的交换期间的位移；以及由此产生的球场上的投球目标间隙。表13提供了击球设置和准备层级的行为元素的模型组成部分。

测量和提取

可以使用计算机视觉处理来提取选手和对手的配置和动作，包括在由来球和运动到击球点定义的时间段内的投球。

与击球类别类似，可以分析所提取的地面动作部分的模式，包括用于不同位移和开始-结束配置的不同地面动作模式(参见图7)。

表13：击球设置和准备层级的行为元素的模型组成部分

表13：击球设置和准备层级的行为元素的模型组成部分

击球准备和设置

一旦指定并执行了较大定位运动，下一阶段即为击球准备和设置。前者决定了较大的击球和投球条件，而后者决定了精确的条件和与来球以及身体的协调，以及确保成功击球执行的击球准备。

图25示出了从对手击球时的选手姿态到球弹跳时/>的姿态的运动序列。通常，对于击落地球，当来球在球场上弹跳时，选手已准备好执行击球。图25还示出了基于较大环境(环境控制层级)的预测击球的球场定位与位置和姿势调整之间的转移，并协调即将到来的击球与来球以在执行之前产生特定条件。

在该最终定位阶段，目标是与来球同步和协调，并为击球执行设置身体。因此，该层级涉及为主要动作执行(最终击球阶段和球拍-击球)创造动态条件和环境。

图25是击球准备和设置的示意图，突出显示了基于投球弹跳位置以及与该阶段和动作行为层级相关的关键事件的参考系。

虽然准备与执行类似，但其仍是一个不同的阶段。事实上，神经-运动研究表明，动作准备是与动作开始和执行不同的过程。基本上，该阶段发挥重要作用，使得它本身可以视为一种行为。

动作单元

实际击球执行之前的最终准备阶段由选手–投球交换来确定。在该阶段，场地运动和击球准备重叠。准备阶段的场地运动(如图25中的击落地球所示)通常表示调整步伐。同时，选手在前摆开始和执行之前继续进行击球准备(回环)。准备阶段大约在球弹跳(t^o _b)期间发生。

动作行为可以描述为投球交互模式。动作作为单元操作，涉及精确设置所需的定位和姿势调整以及击球执行条件，包括建立适当的平衡。动作行为组合了身体运动(同时组合了调整步伐和整体旋转，以对准身体和投球方向)，同时与来球同步，为击球执行创造精确条件。

模型

在形式化模型中，准备行为由逆模型来描述，该逆模型接收期望的结果和条件，以确定击球执行之前的地面调整和姿势调整。

如图15所示，对于准备阶段，逆模型指定了姿态Δx_p,prep和姿势调整Δψ_prep，包括给定当前姿态x_p,prep和预测投球结果的击球准备Δx_r,prep。结果是实际的击球姿态和姿势，包括球拍姿态的调整，例如后摆就绪状态。

可以与主要动作元素(例如，击球)类似地对准备动作进行分析和建模。这项任务的基础是动作体系结构以及相关联的功能维度和特征。准备和设置包括可以分为多个阶段的动作。例如，可以通过与用于描述击球运动的状态机类似类型的状态机来描述这种行为的时间演变(例如，与第10,854,104 B2号美国专利、第2121/0110734 A1号美国出版物和第2019/0009133 A1号美国出版物相比)。

对于技能娴熟的选手来说，击球以及姿势的准备和设置通常是耦合的。例如，对于高级选手来说，上半身、臀部和腿部形成动力学链，该动力学链在准备过程中作为单个动作单元收紧，然后在击球开始和执行过程中展开。因此，可以耦合用于击球和身体动作的有限状态模型。表14提供了击球执行层级的行为元素的模型组成部分。

输入/输出

逆模型的输入是准备条件和投球结果参考。准备条件根据在来球接近地面(接近过网t^O _n)时从来球中提取的视觉提示来确定，并提供关于预期击球点的更新后的信息。这些提示还用于协调准备动作(图25)。

逆模型的输出包括定位和姿势的细节，延伸到击球开始状态(图15)。姿势细节包括脚部配置(相对于底线的角度)以及臀部和肩膀的旋转。

表14：击球执行层级的行为元素的模型组成部分

此外，使用策略执行动作，该策略将逆模型的输出(期望的姿态和姿势调整)以及关于动作展开的必要提示(环境反馈)作为输入。该策略会产生实际的姿态和姿势动作。

应当注意的是，如在规划层级模型下所描述的，比赛状态的更新可以用于在该阶段更新投球目标。同时，如果投球目标有更新，则输出是最终投球目标，包括击球和投球结果。

测量和提取

选手的姿态以及相对于落地撞击的来球定义了局部操作状态。参考点可以定义为来球的弹跳(落地撞击；例如，参见图25和图26)。

可以使用计算机视觉系统来提取准备阶段，在球接近地面并通过弹跳时跟踪球，并且包括选手的地面运动、姿势调整和击球准备(例如，参见图16、图25和图26)。

准备阶段的一个重要方面是站位的范围以及导致执行的姿势配置(参见表1)。可以从选手相对于弹跳的姿态来识别站位和姿势(图16；图25和图26)。在执行时获得更多细节，其中关于接触点的特定信息以及最终的随球动作可以获得。

表15提供了描述网球界使用的相对于击球的定位和姿势类型的术语。选手定位和姿势的配置分类扩展了击球分类，并因此为评估和训练提供了关键信息。例如，该分类描述了选手在准备击球时如何适应条件，并因此影响击球的执行和结果。该分类表示形成心理模型、沟通和解释所需的语义信息。

表15：选手姿势和击球配置的示例性标准

击球执行(球-选手交换)

行为的执行阶段和层级描述了在主要动作单元模式期间发生的情况；例如，网球运动中的击球。该层级捕捉球在击球之前与通过撞击进行的并以随球动作结束的击球执行之间的最终交互(参见图19A至图19E中的计算机视频帧)。

执行阶段的范围包括针对击球的身体和球拍动作。在该阶段，动作设置被建立，选手对条件的控制范围更有限，并且大部分动作发生在开环中。为了实现击球结果，包括实现投球目标，应将环境变量控制在定义击球操作条件的明确界限内。

考虑到执行层级交互的细节还可以实现增强，以表征确定动作模式和击球子类的因素，以及功能细节，包括外部提示和动作阶段，以及用于适应条件不确定性的机制(图26)。

动作单元

图26是用于对击球执行进行建模的弹跳参考系的图示。最终执行阶段的动作单元包括挥拍与整个身体之间的详细协调，例如臀部重量转移和旋转，以及肩膀和手臂运动，以及击球之前和击球期间的来球。

应当注意的是，如图26所示，该行为层级捕捉重要细节，其中捕捉了选手如何嵌入环境中；例如，身体相对于来球的姿态。因此，在评估、诊断和最终增强表现时可以考虑这些特征。

参考系

最终击球执行阶段的参考系基于特定的击球执行条件。例如，可以将原点定义为弹跳点(如图26所示)；因此，选手相对于弹跳点的姿态提供了击球条件的细节，包括接触点和击球区，以及针对击球选择的弹跳阶段。

此外，击球等实际表现可以在选手的头部坐标系中进行描述，这与大多数感测-运动过程的编码一致。该参考系与用于击球开始和同步的感知功能尤其相关。

模型

与其他层级和阶段类似，建模包括用于确定挥拍轮廓的逆模型、用于实现行为的策略以及由此产生的动作特征。结果是击球轮廓、击球结果和投球结果。

在执行阶段，逆模型基于关于在准备阶段产生的击球条件的信息以及在规划期间建立并且可能在准备期间更新的期望投球结果来确定前摆轮廓(例如，参见图15)。

实际的动作行为可以通过其击球阶段以及与身体部分位移的关系来描述(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。此外，击球执行层级还考虑了用于球-球拍同步的来球提示。

在网球运动中，对交互进行建模使模型能够从简单的击球类别(基于击球和撞击特征)扩展到包括执行动作的条件的子类(例如，与第2019/0009133A1号美国出版物相比)。因此，击球类别包括图26中所示的较大身体-投球交互的细节，例如：

·相对于选手的接触点(前、中、后)

·击球区(高、中、低)

·来球运动特征，包括速度、弹跳阶段(上升、顶点、掉落)

输入/输出

图15中的逆模型确定了击球前摆前摆轮廓以在当前击球条件(初始条件和预测击球点)下产生期望的击球和投球结果。逆模型的输入是期望的投球结果和击球条件(在准备阶段建立)。逆模型的输出是击球前摆轮廓。

在执行阶段，策略的输入包括用于调整和适应相对于来球的击球轮廓的提示(参见图16)。环境上动作的输出(这里是球拍前摆和击球)是动作模式的轮廓和击球结果。

测量和提取

如本文所述，动作单位的测量和提取扩展到身体动作和环境交互。这些扩展的维度可以通过固定在身体部分上的附加动作传感器和/或计算机视觉处理来捕捉(参见图19A至图19E)。

测量还可以包括凝视跟踪，以获得关于感知处理和视觉注意力的信息。

V.III动作元素详细建模

所有动作元素(主要元素和支持性元素)具有类似的一般特征。下面描述了动作单元建模的常见方面，包括功能细节、操作范围和动态建模。

行为单元功能模型

动作行为单元由一系列条件和结果以及功能细节(例如，用于协调和开始行为的提示)来表征(参见图5A和图5B)。应当记住的是，动作行为元素的主要目的是支持与环境和任务元素交互的特定方面，并且必须在面临不确定性和干扰时实现这一点(参见图6中的自适应行为)。

因此，对这些子系统进行建模的一项任务是捕捉它们的功能特性，详细阐述了动作模型的整体方法(例如，与第10,854,104 B2号美国专利和第2121/0110734 A1号美国出版物相比)。例如，本公开可以详细阐述该方法以包括以下任意一项或多项：

·操作范围，定义为：

о一系列结果。

о一系列操作条件，包括标称条件。

о开始和终止条件，确定动作元素如何转移。

·在决策层级推动行为的一组提示、开始和定时动作子元素及其适应的信息。

·在大多数动作单元中，运动由离散阶段序列组成，例如针对网球击球或其他动作单元的功能结构所描述的(例如，与第10,668,353 B2号美国专利、第2020/0289907 A1号美国出版物、第10,854,104 B2号美国专利、第2121/0110734 A1号美国出版物和第2019/0009133 A1号美国出版物相比)。

·以及描述特定交互的操作环境特性和特征。

·支持适应不断变化的条件的功能机制。

·决策特征，包括内部模型(前向模型和逆模型)

操作范围模型

建模的一个重要方面是表征动作单元的操作条件，包括标称条件和一系列变化。这些特征描述了代理与环境和任务元素的关系。

环境动态

由于动作发生在动态环境中，并且环境的状态(例如，操作条件)是结果中的一个因素(方程2)，因此动作单元的建模和分析必须考虑环境的状态或条件。为了在一系列条件下产生最优层级的结果，选手需要使用环境提示来调整他们的动作行为。需要提示来协调任务或环境元素和对象。例如，这些提示提供了用于预测来球或确定击球初始条件和定时所需的弹跳位置和条件的信息，以及用信号发送特定击球动作轮廓。

具有冗余性的控制问题(例如，人体动作)提供了广泛的方案，其中具体的方案由动作配置、条件和结果决定。例如，在执行特定类型的击球时，选手必须调整击球时空特征，以同时管理条件并实现期望的结果。这些特征还与技能获得的评估相关。

这种灵活性还用于适应不断变化的条件，例如，在保持结果层级的条件下使击球适应扰动(例如，由于不规则表面对弹跳的影响)。执行者的生物力学和技能充当限制，指定了准确形式的动作特征。

动作动态

准确的动作动态还可以使用一些状态机来描述，其中状态表示动作阶段(例如，与第10,854,104 B2号美国专利、第2121/0110734 A1号美国出版物和第2019/0009133 A1号美国出版物相比)。每个阶段可以通过其特定的动态来描述。例如，前摆阶段动态可以通过描述动态响应的初始状态和轮廓特征来表征。动作阶段通常组合通过所谓的肌肉协同作用协调的多个维度。例如，在击球前摆中，相关维度可以包括球拍的耦合6DOF运动和同时的手臂部分位移，例如前臂旋转和内旋。

用于推动肌肉协同作用的神经运动输入由通用运动程序生成。该程序的操作方式类似于反馈策略，结合了来自参考动作数据的信号和来自环境的信号，例如τ引导中的感测间隙。例如，对于前摆，感测间隙表示来球运动间隙和间隙封闭率。因此，在一般情况下，除了指定逆模型操作的相关参数(例如，动作阶段初始条件)之外，逆模型还指定了策略或程序。

操作范围定义

每个技能元素类别的动作模式由其特定的操作范围来表征，该范围描述了一系列动作技术，例如阶段轮廓的变化以及结果和/或条件的相关联变化(参见图6；例如，与第10,854,104 B2号美国专利和第2121/0110734 A1号美国出版物相比)。

操作范围可以由操作范围内的区域或子区域来表征(例如，与第10,854,104 B2号美国专利和第2121/0110734 A1号美国出版物相比)。例如，考虑以下三个特定区域或子区域：

·标称操作条件定义了说明大多数(例如，60％)结果以实现足够的误差容限和高成功率的典型条件。

·用于执行特定模式以实现最佳结果(例如，前10％)的最优条件，但会导致误差容限减小(适应性降低)。

·边缘条件，其通常可行但会导致表现显著下降(后20％)。这里的目标是回球，但成功率低。

这些操作范围特征为评估和诊断提供了关键信息。具体地，表现数据可以用于描述执行动作的条件、所使用的技术与动作结果之间的关系。

操作范围统计表示

这些操作范围特征可以通过统计分布来描述，例如多元分布，其可以通过高斯混合模型来建模。

图6示出了击球模式及其主要结果的分布。最优条件、一些标称条件(定义为最优击球轮廓周围的范围)以及可行但有限的条件。该图还突出显示了弹跳条件、击球技术、第一层级结果(球的旋转、离开球拍的速度)和第二层级结果(球相对于球场的轨迹及其弹跳)之间的关系。

该理念在于对条件、技术和不同层级结果的分布之间的关系进行建模。对于击球示例，目标是指定击球和与来球条件(包括选手的设置、姿势)相关的主要结果分布，以及最终的投球特征，这些特征定义了投球在球场上的落点。

技能元素集成

扩展技能建模的一个重要方面是捕捉任务层级的预测、规划和感知过程的机制。图15中的分层模型(以及图3A至图3B中的一般模型)描述了执行开放式运动任务所需的一组完整的交互；因此，捕捉了表征执行者技能所需的信息。一个重要的维度是与大脑中执行层级功能对应的协调。开放式运动任务中国的技能取决于动作单元与任务和环境元素的协调。

表16提供了按组织层级和阶段划分的关键模型的主要参数汇总。行为单元可以具有同时展开(图12)或重叠(所谓的协同发音)的动作组成部分。例如，在网球运动中，第一击球阶段与地面动作和设置/准备同时发生。更一般地，选手的地面动作和击球准备组合成一个大行为单元，该行为单元可以分解为多个子单元。每个子单元本身由更细致的动作阶段组成(图11)。

表16：按组织层级和阶段划分的关键模型的主要参数汇总

顺序时间表/程序

形式化建模部分中详细描述的控制体系结构有助于理解技能特征在不同组织层级如何表现。一旦技能元素已经被提取和表征，下一步就是对说明它们在朝着更大、更远目标的序列中一起操作时的表现的机制进行建模。

规划层级将行为元素集成到时间表中以完成任务目标。在网球运动中，该程序涉及以下序列：地面动作、准备和击球执行。此外，执行功能处理元素之间的协调、确定何时开始和停止、在行为元素之间切换(图12)。

任务层级的这些序列或程序是许多人类任务或活动所共有的。因此，大脑拥有执行一般时间表所需的执行功能，但需要调整这些功能以创建更专门的程序，例如用于构建网球运动得分。

具体地，大脑必须学习使用新的技能元素，它们的特定感测-运动交互，例如提取提示、在行为元素序列的每个阶段将视觉注意力推动到适当位置。

在任务规划层级，目标是捕捉关键关系和因果链；例如，如图13A至图13F和图15所示。这些信息为评估和诊断提供了基础，如下所述。

学习和总结

基于形式化模型(图15)中描述的元素和体系结构，下面简要概述了学习开放式运动技能的一些假设。具体地，可以描述在开放式运动任务或活动中影响人类技能获得的元素和限制。这些见解提供了附加视角，说明表现的哪些方面可以为综合技能评估及其后续增强提供有意义的信息。

作为学习模板的技能元素

核心假设是大脑具有一种用于学习技能元素的功能模板。这些模板专门用于感测-运动行为，并支持与环境交互所需的基本功能。当学习执行网球运动等新活动时，大脑会适应现有动作行为，然后通过分化进行专门化(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。一旦已经学习了技能元素，就可以将其与其他技能元素集成以实现更大目标。

技能学习中的感测-运动过程和抽象处理

为了在计划和执行中实现集成，技能元素必须被抽象为组织和执行的单元。技能元素支持代理-环境交互。作为组织单元，技能元素为在任务层级规划和编程表现所需的输入输出编码提供了基础。

在输入方面，技能元素提供了感测维度的编码，以产生对环境的有效感知。技能元素定义了特定交互所需的相关提示和环境特征。这同样适用于输出方面。技能元素输出是描述由动作所引起的支持任务所需的特定环境变化的结果。

这两个方面作为行为单元协同工作，限制了输入输出关系，并导致活动问题空间的离散化。这说明了如何将它们用作谈话层级规划的抽象；此外，还说明了技能元素层级的特定能力(或损伤)将如何导致任务规划层级的限制。

VI.技能评估和诊断

开放式运动技能建立在行为和过程的综合分层结构的基础上。下面描述了活动和动作过程分层结构的不同层级的技能评估。分层模型提供了评估和增强的框架。它决定了行为的层级和维度以及整个系统的组织。

表17总结了各个层级的行为元素和结果组成部分。分层技能模型的组成部分描述了过程系统，包括控制较大代理-环境系统和控制环境所需的感知和决策过程；以及最后的感测-运动功能，其支持产生各种活动交互的运动模式的执行(例如，参见图3A至图3B以及图28A至图28B)。

表17：网球示例中每个行为层级的评估和诊断维度示例

表17：网球示例中每个行为层级的评估和诊断维度示例

网球运动NTRP分级

下面说明了使用国家网球分级体系(NTRP)的分层模型的元素。表18描述了国家网球分级体系(NTRP)使用的分级系统，其中包括对技能水平从2.5到6.0的选手的一般描述。下面说明了所提出的模型和方法如何支持对用于NTRP的特征进行数据驱动的评估。为了从NTRP系统的角度说明模型，下面简要强调了高级网球选手(4.5级及以上)与初级网球选手(2.5级-3级)之间的模型差异。

表18：从国家网球分级体系(NTRP)的角度对技能水平从2.5到6.0的选手的一般描述示例

表18：从国家网球分级体系(NTRP)的角度对技能水平从2.5到6.0的选手的一般描述示例

初级网球选手预测来球的能力降低，这对应于识别比赛状态的能力有限。此外，初级网球选手的动作范围较小，投球落点的准确性降低；例如，产生有意投球类型和位置的能力降低。由于这些为更高层级的表示提供了构建块，因此这些限制导致环境状态的粗略离散化并导致规划限制。这些限制还说明了缺乏对比赛状态的感知和识别。

与初级网球选手相比，高级选手具有很好的能力来预测对手的投球，并且在更大程度上识别比赛状态。这些能力通过一系列广泛的行为(投球和地面动作)来实现，可以充分控制投球方向和深度，以便控制比赛状态，并因此可以规划和结构化比赛。从系统的角度来看，这些技能通过完全集成的高层级和低层级行为来实现(如图15中的系统所示)。凭借更高的熟练程度(水平6.0)、更广泛的系列以及对比赛状态和规划技能的更深入感知，可以制定有创意的策略。

VI.I分层技能评估和诊断概述

该部分简要描述了如何将分层交互模型(参见图3A至图3B)应用于技能评估和诊断，以及最终的增强综合。首先，简要讨论扩展系列，然后描述支持行为元素协调和控制的功能维度的评估考虑因素。

诊断可以重点关注主要动作单元(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。为了实现综合诊断并最终实现增强，还可以在建模中更深入地进行，包括跨多个组织层级的交互，这需要指定分层结构的每个层级的关键量以及这些层级如何耦合，如形式化模型中所描述的(图15)。

分层技能评估：评估层级

图28示出了图3的分层模型的增强维度。该分层模型可以实现对主体技能的综合评估和诊断。这些知识随后可以用于生成指令和反馈，以帮助推动训练过程。该分层技能模型还提供了在控制分层结构的不同层级设计或调整增强的基础。

以下部分描述了基于可以在分层结构的每个层级提取的属性的评估和诊断组成部分。随后，可以在分层结构的每个层级使用实时反馈类型，以增强学习和表现的不同维度。表17概述了评估和诊断维度，以及网球示例的每个行为层级的增强特征。

本公开将动作评估和诊断扩展到整个技能分层结构和行为序列。该分层模型考虑了四个主要层级(规划和三个动作层级)。本公开还考虑了在每个层级为相应动作行为创建的结果和条件，以及在规划和协调过程下的系统级集成(参见图3A至图3B和图15)。

下面概述了图3中分层模型的不同组织层级的评估的各种维度。表17概述了跨层级的代理过程。

评估概要从图15导出。在任务层级，在网球运动中，考虑到比赛状态(选手和对手的姿态、来球)，选手投球选择和姿态的最优性。在定位层级，考虑到预测打击姿态和当前姿态(例如，回位姿态)，地面动作的最优性。在准备层级，考虑到定位过程中实现的姿态和期望的投球目标，准备和设置的最优性。最后，在执行层级，考虑到所实现的击球姿态和期望的投球目标，击球执行的最优性。

开放式运动技能活动具有相似的动作技能元素组成，并且通常具有一组主要动作或动作元素以及多组支持动作。该模型扩展了动作行为以包括一组完整的支持动作(例如，网球运动中的运动、准备、执行)。在每个动作行为元素的层级，诊断建立在功能属性/能力的基础上，但是这些诊断还可以扩展到分层结构中一组完整的动作类型的条件与结果之间的关系(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。

扩展系列

根据为支持一系列代理-环境交互而获得的一系列基本行为(技能元素)的行为表示使模型能够表征不同交互层级表现(控制、感知、决策)背后的各种维度。这种理解为综合技能评估和诊断提供了基础。较低层级的技能(例如，执行和定位)是执行者在较高层级的动作过程中利用这些元素和结构的能力的一个因素，例如用于引导注意力、预测关键事件和决策。

这些技能元素交互在评估中发挥重要作用，因为它们还隐式地捕捉了各种生物限制，包括感测、感知、生物力学。所有这些决定了可接受运动的子空间，从制定具有功能意义的表示和降低复杂性的角度来看，该子空间是相关的。

一系列主要动作

比赛中的每种投球类型最终由球拍的击球产生；因此，击球是用于产生网球运动结果的主要动作。然而，良好的击球不足以获得强大的网球运动技能，因为大多数击球必须首先相对于来球进行设置。通过击球的作用，击球改变了球的状态，而球的状态又决定了球的轨迹或推动比赛的投球。

例如，在网球运动中，选手的击球系列提供了可以用于处理比赛的广泛的条件和结果的动作；该击球系列包括可以用于执行任务的动作词典。此外，本公开将该击球系列扩展到支持性动作。这些支持性动作可以是主体或参与者的一系列技能的重要组成部分。

从综合的角度来看，该一系列技能的质量还可以由其规模(例如，该一系列技能中有多少个不同的运动类别)和任务空间离散化的相关联分辨率(例如，该一系列技能可以在多大程度上准确地捕捉任务要求，例如通过适应一系列条件和结果)来决定(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。

在任务执行层级，较差的技能会导致总体操作环境恶化，并且表现为不得不损害执行和结果。操作条件范围不足会导致无法处理紧急情况。例如，在网球运动中，广泛的条件使选手能够回击更多种类的来球，而广泛的结果使选手能够产生覆盖球场并对对手具有挑战性的回球。这两者对于控制和赢得比赛都是至关重要的。

一系列姿势

站位和姿势反映了选手击球时可以采取的多种方式。选定配置取决于条件和期望的结果。对于技能娴熟的选手来说，击球、站位和姿势对于给定的条件和期望的结果是一致的。技能获得是关于规划交换、动作以及使用正确的站位和姿势来应对情况。与击球类别一样，一个重要方面是获得一系列站位和姿势(表15)。

一系列不良的姿势限制了选手适应一系列条件的方式，并因此限制了击球的正确部署以实现必要的结果。

一系列支持动作、规划和协调

然而，为了执行良好的击球，并因此执行有效的投球，必须拦截来球并首先为击球创造最优操作条件。这需要支持性动作和过程的完整序列，其中包括读取球场环境、预测对手的动作、在球场上运动以及准备击球(参见图15)。

因此，与大多数其他开放式运动任务一样，网球运动需要一系列完整的不同动作类型，其中每个动作行为通常具有一系列类别；例如，形成可以视为技能组合的事物。如图13A至图13F所示，球场动作和准备行为的结果定义了主要动作行为的执行条件。

除了动作技能之外，还有部署行为元素所需的过程，包括规划和协调。因此，为了完全掌握网球运动等活动或比赛，需要技能组合以及态势感知和规划过程，而后者必须集成技能元素。在网球运动中，这相当于拦截对手的投球到达球场上的不同位置，并将这些投球重定向到对手半场上的不同目标位置。

评估功能组成部分

可以按照所提取的运动模式类别对动作行为元素进行建模(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。然而，还可以扩展这些动作行为元素，以捕捉支持动作行为单元和相关联的操作环境。如这里详细描述的，每个动作单元类别被建模为感测-运动交互及其相关联的感测、感知和控制机制，从而允许捕捉其特定表现特征。

表现数据包括以下关键量：结果、条件和动作技术(模式特征)。这些组成部分描述了典型开放式运动任务中的扩展技能。测量结果还可以包括心理物理数据，例如凝视(视觉注意力)。

应当记住的是，每个行为实例(例如，网球交换)由行为元素序列进一步描述(参见图12以及图13A至图13F)。图13A至图13F以及图15示出了导致投球的序列中每个行为层级产生的条件和结果。此外，该模型还包括描述序列中每个步骤的决策过程的逆模型。应当记住的是，动作行为由基于总体任务状态(例如，网球运动中的比赛状态)的规划来指定。然而，执行取决于分层模式。

通过该扩展模型，评估和诊断可以包括管理开放式运动任务(例如，网球运动)中行为的所有维度。

规划

开放式运动技能的一个重要方面是如何组合和排序行为元素以实现更大目标。规划过程决定了如何在环境中部署动作元素。因此，规划过程还为选手的环境控制做出了规定，而环境控制又决定了党组织元素的执行条件。任务的每个组织层级的环境定义了相应动作元素的操作条件(图13A至图13F)。因此，从初始决策到投球执行的各个阶段出现的不同原因可能会导致不良的结果。

诊断过程的目标是隔离和识别所实现表现的原因。在规划层级，核心问题是在给定当前活动状态的情况下，主体是否选择最佳动作。

一旦在任务层级确定了目标，表现的一个关键方面就是在每个阶段产生的行为序列和环境状态，如图15所示。例如，定位和设置阶段应创造有利于用于实现预期结果的击球类别的环境条件(参见图8)。

在排序中，一个关键方面是行为元素之间的转移，以及由执行功能产生的序列定时和协调。评估还可以包括这些细节以及如何区分和集成这些元素。技能娴熟的选手在行为单元之间具有更好的区分和更紧密的集成，从而实现更紧密的任务层级规划和表现。例如，在网球运动中，首先，区分动作组成部分(定位、击球准备和击球执行)以允许一致响应作为比赛阶段的函数，同时将这些阶段集成为无缝流动的整体(另请参阅技能对评估的影响，如本文所述)。

感知过程

投球选择对应于规划过程的输出方面(参见图5A至图5B以及图6)。在输入方面，技能相当于跨任务分层结构层级读取环境的能力，例如图15中确定每个层级的行为的条件。例如，在规划层级，做出正确的投球选择需要主体正确地识别活动状态(态势感知)并传播状态(基于某个前向模型)以选择最佳动作。

因此，本公开中阐述的表现的一个重要方面是环境特征和提示环境，例如，学习哪些环境特征(包括对手和球等任务元素)提供用于预测的信息，以及与每个层级的任务动态的协调。

每个行为元素的操作环境是通过这些动作组成部分的计划和执行所产生的任务层级和环境交互而产生的。评估包括与任务或环境元素的协调，包括提示和视觉注意力。重点是在每个层级创建的操作环境以及这些操作环境如何转化为动作结果(参见图15)。

行为离散化和任务执行

离散化基于活动或比赛中的模式。一旦可以建立行为离散化的结构和形式(但是这里基于代理-环境交互)，就可以根据离散化对任务组织和最终执行的贡献来评估任务层级的技能。在网球运动中，投球字典或技能库提供了关于选手离散化活动和控制交换的能力的信息(参见图8)。

使用行为元素作为任务执行中的状态可以从计算的角度来评估技能。基本上，在任务执行层级，技能表现为任务状态离散化的质量。与质量相关的两个术语在控制工程方面发挥重要作用：最优性和可控性。

最优性根据决策模型(内部模型)来确定。在网球运动中，在任务规划层级，投球选择的最优性给出了比赛状态的最有利演变。应当记住的是，为了得分，选手通常需要投球序列。在动作层级，最优性根据操作条件和期望结果来确定。

每个组织层级的技能评估是不同的。一般来说，在规划层级，问题空间的更高分辨率描述可以实现更完整和最优的方案。在网球运动中，离散化程度与最优性之间的关系表现在任务层级。例如，技能娴熟的选手拥有一系列更广泛的击球和投球模式，这可以转化为一组更广泛的策略来构建得分并得分。

任务层级离散化的影响可以从可控性方面来衡量。如果给定任何初始条件和最终条件，存在控制序列在有限时间内将系统从初始条件推动到最终条件，则系统是可控的。在网球运动中，可控性描述了主体在每种条件下可以实现的一系列有意目标结果，更一般地，主体如何引导交换序列实现期望的比赛状态。这包括在一系列广泛的条件下进行回球，并在进行动态交换的同时瞄准一组更广泛的球场位置。这种形式的通用性最终决定了主体可以多好地构建得分。

熟练程度对技能评估的影响

评估和提示层级取决于选手的熟练程度，其中包括选手的动作元素的学习阶段。对于队形或巩固阶段的击球，表现往往不足以支持对较高层级结果进行有意义的训练，例如，投球落点和得分构建。对于巩固或优化阶段的击球，可以实现跨组织层级的完整评估和增强。

此外，在开放式运动任务中，动作通常具有多个结果层级。在网球运动中，球的轨迹(投球)完全由球拍撞击、位置以及撞击瞬间选手在球场上的姿态决定。可以定义以下结果层级：(1)球拍击球后的球速和旋转(称为主要结果)；(2)球过网位置、速度和旋转；以及(3)球落地撞击位置、速度和旋转(参见图4)。

这些结果可以通过计算机视觉等直接测量，也可以通过撞击测量结果(通过IMU和选手球场定位)来估计。尽管所有这些结果都是由球拍击球定义的，并且因此可以很容易地根据击球和选手姿态数据进行估计，但是这意味着选手可能无法控制所有层级的结果。只有技能娴熟的选手才能在上述每个结果层级“闭环”。

新手(和其他任务参与者)往往不会主动控制他们的环境；他们大多对情况的直接条件做出反应。因此，参与者不能总是很好地适应不断变化的条件，例如球旋转或步速的变化，因此使用他们的运动行为来补偿条件，而不是能够控制提供最佳动作的条件，例如能够接近球以进行更具进攻性的击球，并更准确地控制投球落点(参见图7)。

在运动控制层级，缺乏经验通常表现为结果层级较低，并且每个动作类别的操作范围较小。由于运动噪音较大，而且条件没有得到充分补偿(并且利用最少)，因此新手产生的结果(击球和投球)也表现出较大的可变性。总体而言，新手的全部技能也有所减少。新手还没有掌握更极端结果和条件所需的更先进技术，也没有了解所有活动要求。

技能和表示复杂性

关于在开放式运动任务中掌握高级技能的挑战，可以从建模复杂性考虑因素中获得见解。

捕捉选手任务表现细节所需的建模复杂性可以用作任务层级技能的度量。例如，没有特定比赛动态和策略的新手在状态(例如，行为元素和比赛状态)数量方面不具有相同的建模复杂性，并且具有有限的任务层级规划和协调。

应当注意的是，相对简单的比赛模型(选手必须在粗略的分辨率层级(三个深度层级)内控制投球)已经需要相对较高的熟练程度。原因在于，这不仅仅是将投球对准三个不同的目标(就像在封闭式运动任务中的情况一样)。在开放式运动任务中，实现该层级表现依赖于以下一项或多项：

·精确预测来球(例如，深度)

·在球场上准确及时地定位

·可靠执行击球，将投球对准选定目标区域

与中高级选手对应的更详细模型包括来球时的条件(旋转和速度)以及发球旋转和投球速度。此外，该模型还扩展到两个球场维度(纵向位置x和横向位置y)，这还增加了选手定向和投球横向-方向运动。最后，身体运动的其他组成部分，包括姿势以及击球动态。这些维度增加了状态空间的大小、球场动作的规划和决策范围以及来球的击球阶段的定时(以确保对撞击条件的最优控制)。

这些附加维度显著增加了表示和决策复杂性。对于简化的示例，可用动作的组合和状态依赖性使其变得非常重要。选手必须学习更多的投球模式，并学会区分更多的场景。

已经证明，快速的人类决策是基于模式匹配的。组合复杂性解释了为什么基于问题空间的传统表示(例如，任意离散化)来考虑人类感知和决策是不现实的。离散化还有行为原因(参见运动程序的有限操作范围)以及操作原因，例如模式的有限操作范围。

许多其他开放式运动任务具有相同的一般特征。因此，可以根据该示例导出此类任务的一般建模，包括任务环境和结果离散化以及决策和控制结构。

诊断过程概述

诊断过程的目标是识别产生给定层级结果的较大因素组合。例如，在网球运动中，确定整个分层结构中不太理想的行为的影响因素，例如给定比赛状态下的投球选择不佳，或特定类别击球的结果不理想。这些因素可以涵盖规划、定位或设置和执行的任何特定方面。

评估开放式运动技能的一个关键方面是分层模型和行为序列。这些包括任务层级的感知和规划功能，以及不同层级的决策和感知过程。

理想情况下，诊断应考虑产生结果和最终任务表现的整个事件和行为链(例如，参见图12、图13A至图13F、图15)。最直接的诊断方法是确定主体跨分层结构层级和行为序列的表现数据的模式。

表19总结了一些对每个组织层级的诊断有用的标准。这些细节通过重点关注分层结构中的每个组织层级来详细阐述。

表19：不同行为元素的技能评估标准和度量示例

表19：不同行为元素的技能评估标准和度量示例

更具体地，诊断涉及识别表现模式，包括主体行为和表现的特定故障模式。具体地，条件、技术和结果之间的模式，例如，如影响图所描述的(例如，与第2019/0009133A1号美国出版物)。本公开中的模型包括整个分层系统；例如，它扩展了第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物，以包括任务层级规划、定位和准备，这可以确定主要动作执行的操作条件。因此，模式可以涵盖综合技能模型组成部分。

数据驱动的诊断：统计表示

图27是分层模型中不同行为层级和阶段的配置和条件的分布模式的示意图(参见图15)。跨层级/阶段之间配置模式的虚线突出显示了特定策略，小圆圈描述了一个实例的每个层级的特定配置。从左侧开始，包括全局球场配置(比赛状态)、局部定位、准备和执行。其中每个阶段为下一个行为的表现设置条件。由于活动和行为中的依赖性和限制，给定特定比赛状态，只有定位模式的子集是可能的。类似地，对于选定定位、准备的子集，然后是击球执行和投球结果。

在网球示例中，在图27中从左向右进行：(1)给定的全局球场配置提供了用于定位和动作元素行为序列的一组计划；(2)特定的投球-选手交互决定了定位动作(局部姿态-投球配置)；(3)定位为准备创造了条件(准备姿态-投球配置)；(4)准备创造了执行条件(执行配置)。

图27中跨阶段和层级的行为统计模型可以确定从与典型表现相比更弱到更好的表现模式。例如，可以分析导致总体结果不佳的决策和条件，以识别特定缺陷。例如，可以评估每次投球的结果，然后可以分析最佳和最差投球的事件和交互，以确定与分层结构中基本行为序列相关联的条件下的特定特征(图27)。

诊断旨在解释主体为什么达到其当前表现层级。来自活动周期(集合、会话或更长历史日志)的数据集合可以用于计算各种动作元素的分布。例如，在网球运动中，对于给定的击球类别，可以汇总导致投球的行为序列的所有相应条件和结果。图27示出了形成行为序列的行为元素的条件分布与结果之间的映射。从姿态-投球配置、姿态准备和击球执行开始。跨层级之间配置模式的线条突出显示了特定策略，例如，对于对手和选手姿态和来球的给定配置、可能的局部投球、准备和执行。

图27中的表示突出显示了每个组织层级的系统配置模式；例如，全局配置中的分布p(x_p,os)(方程5中的比赛状态)、定位动作之后的姿态分布p(x_p,posit)、准备时的分布p(x_p,prep)以及执行时的分布p(x_p,exec)。状态可以包括任意数量的相关维度(定位、包括末端执行器的姿态等)。

这些统计模型提供了可以用于诊断过程的统计推断的基础。如图27所示，对于每个全局配置模式，可以描述定位阶段、准备阶段和执行阶段最可能的局部投球-选手配置。基于该表示，则可以根据不同组织层级的结果和属性进行各种推论。例如，确定选手的最佳和最差投球的全局球场配置，或者最佳和最差击球的局部准备条件。与图27相关联的统计数据可以用于执行推断，例如以确定决策和条件的传播及其对结果的影响。更具体地，例如，可以应用贝叶斯推断来研究不同的假设。

然后，从评估和诊断中获得的知识可以用于增强和训练。相反，了解产生最佳结果的条件和行为可以帮助确定增强表现或训练的强化类型。在所提出的方法中，可以根据主体和/或群体数据来确定跨分层结构的期望模式的参考行为，如本文所述。

VI.III任务层级技能评估和诊断

技能可以主要集中于动作执行和结果产生。在本公开中，模型和增强被扩展到较大交互和任务执行。本公开还从任务层级开始详细阐述了现有模型(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。

由系统范围的交互产生的行为的离散化(例如，参见图6和图8)定义了行为状态空间，该空间允许在得分和比赛层级的行为以及用于分层结构内协调的机制的全面而简约表示(图15)。建立在行为单元基础上的行为方法有助于定义动作以及与环境感知相关联的输入。总体而言，该系统可以对个人各个层级的技能的正式分析和评估，包括规划和感知过程(图15)。

概述：任务空间离散化和技能

投球组合了环境层级的交互和选手/球拍-球层级的交互(例如，参见图5A至图5B以及图9)。由于存在代理-环境交互和状态的无限配置，大脑通过将条件聚类到集合或区域来解决这个问题。在网球运动中，这些会产生一系列击球和投球。一系列击球类别对投球条件(球撞击高度、旋转、速度)进行了细分。当这些投球部署在球场上时，它们还会将球场细分为分区(图8)。

每种投球类型及其相关联的属性分布取决于所使用的击球技术，而且还取决于适应条件变化的能力。选手和其他任务参与者不会针对选手位置和目标位置的每个特定组合来学习击球和投球(以及其他技能)。相反，参与者离散化任务空间(考虑平移和旋转对称性等不变量)以实现高效的任务表示和执行。任务空间在行为模式方面的离散化产生了任务层级模式(参见图8)。每个类别的击球/投球涵盖一系列条件。如图所示，一系列击球和投球与代理-环境系统中交互的离散化相关。最后，这些投球模式用于构建得分；例如，控制比赛结果的交换序列。

任务离散化和任务执行

从图8中可以理解的是，任务执行层级与动作行为实现的离散化的粒度直接相关。例如，在图8中，具有更鲜明的投球模式和精度的选手可以实现更好的球场覆盖，并因此可以实现更广泛的战术效果。更高的分辨率可以实现更精确的回球定位以及更广泛的结果，从而使比赛中可以战术性地利用更多的多样性。通常，任务执行随着分辨率的提高而提高(例如，投球和击球模式或类别的数量)，从而细分整个配置空间。然而，计算复杂性通常会限制最优性水平。离散化的质量也很关键；例如，交互模式将任务空间离散化的程度；例如，与任务结构的兼容性如何，同时在生物限制内如何很好地利用主体的动作能力。

任务离散化既与任务或活动执行的分析和评估相关，也与主体在运动、感知和决策层级的技能的分析和评估相关。

系统级评估：离散化和分辨率

利用分层模型和所产生的任务空间离散化，还可以引入系统级评估。从形式化的角度来看，技能取决于主体“测量”和控制其状态的准确程度；例如，球场上的位置和定向以及目标位置。

任务空间离散化由选手控制球拍撞击时的位置和条件等操作环境的精确程度决定，而这又取决于他们预测对手投球的能力。离散化的分辨率水平由几个附加因素决定。最直接的是主体从地面运动到投球的动作表现的可变性。在该网球示例中，要产生可靠的投球需要精确控制球的拦截，以创造特定的撞击条件，从而产生精确的击球结果。

在计算运动规划中，任务环境空间离散化的分辨率决定了方案的最优性。选手创建更精细离散化的能力由投球的质量(交互模式)决定，但是这种离散化取决于控制环境补偿和利用条件的能力。这是开放式运动技能的核心特征。

投球结果的质量还取决于对球场以及以有意的目标导向方式控制投球所需的目标区域的感知，以及对对手的感知、对来球的预测以及球场定位，以实现有利于击球的条件。

可控性

这里可以采用控制系统和计算运动规划的技术来评估主体在任务和全部技能层级的技能。借鉴控制理论，建立在由一系列技能元素产生的行为状态空间表示的基础上，提供了构建可控性的基础。如果给定任何初始状态和最终状态，存在控制序列在有限时间内将系统从初始状态推动到最终状态，则系统被视为是可控的。

在网球运动中，可控性意味着能够在有意控制落点的同时，从一系列击球姿态向一系列目标回球，例如，与反应性地回球相反。这涉及以下能力：(i)控制条件以实现投球精度；(ii)设法以足够的精度将球定向到特定位置；以及(iii)能够在尽可能大的球场空间区域和最大的来球范围内执行(i)和(ii)。

考虑到来球，选手必须沿着球的路径拦截球。选手只能部分地控制击球的特定位置(通过预测、球场定位)。大部分的控制是在回球目标和通过点策略中；例如，使用投球序列将对手置于有利的比赛状态(方程8)。

要产生针对特定位置的精确投球，选手首先需要能够控制环境(例如，相对于来球进行站位，这需要预测来球轨迹)，并且还需要运动到预测拦截位置。这样做可以使选手最大限度地利用机会，在拦截位置创造出一种状态，使得他们的技能库中的一系列理想击球成为可能，从而实现所期望的投球目标和状态的可控性水平。

任务层级的感知和规划过程

在最高层级，自然决策依赖于某种形式的模式匹配。行为元素基本上提供了较高层级的规划和感知的表示。最高层级的表示由比赛状态来描述(方程5)。基本分层结构由其内部模型来描述。该模型可以用于描述选手或主体在另一个领域中表现出的各种表现模式。

形成比赛状态的投球-环境模式组合了感知和动作的效果。这些可以通过交互模型来分析。在输入方面，离散化的分辨率决定了状态和条件的分辨率。

感知过程

任务层级感知负责根据对对象的有限观察以及对手或其他代理在更一般活动中的动作对总体情况(比赛状态方程5)进行识别和分类。应当记住的是，态势感知(SA)包括处理较大任务环境和预测未来环境(参见方程6中的比赛动态模型)。然后，这些知识用于支持关于在球场上定位的决策，以及对环境产生理想效果的投球目标的选择(图15)。

对于网球示例，行为元素属性决定了执行者的以下能力，即区分对手的不同投球类型，预测球场上的撞击位置(包括弹跳特征)，需要确定如何最好地拦截球(在上升、顶部或下降时，参见图7)以实现结果。

因此，评估任务层级的感知过程包括确定选手识别不同比赛状态和预测未来状态的能力。选手所需的这些信息包含在比赛状态表示和比赛动态中，其可以从表现数据中识别(方程5和方程6)。因此，这些数量对于评估和诊断很有用。然而，隔离表现的高层级感知组成部分可能需要对选手进行更具体地测试，例如，与棋手类似，如上所述。

规划执行

任务层级的规划涉及基本分层结构(例如，参见图10、图11和图12，以及图15中的形式化模型)内行为元素的总体协调(参见图13A至图13F)。如先前部分所述，行为元素可以用于构建一种前向模型以获得较高层级表现(方程6)。该模型的输出转而决定了在交换期间发生的状态序列(运动、准备、执行)。

规划主要表现在任务执行层级。任务执行可以使用最优性来评估，例如完成任务投入的时间或精力。然而，任务执行并不总是直接测量，但是最优性提供了一个有意义的原则来说明该模型的关键量如何帮助描述任务执行。在网球运动中，可以通过测量构建得分的交换次数来直接评估简单的最优性度量，包括在球场上运动和击球所需的精力。

考虑到比赛状态，确定最优投球目标和击球姿态。基于内部模型的分层模型可以预测任务演变和动作过程。环境模型中的转移概率(方程6)可以用于评估比赛的演变。有竞争力的选手将了解其选择所产生的比赛模式；例如，预测给定状态下投球所产生的对手的响应(通常由前向模型描述)。

内部模型

规划过程被描述为一种前向模型，其具有高价值比赛状态序列和相关联动作(投球和定位)的长期记忆。该模型的质量由点内预测的质量决定(方程6中的转移概率)。

技能娴熟的选手和任务参与者可以更详细地感知比赛状态，拥有更丰富的计划来指示比赛状态的演变，并且在这些选项中可以为给定的当前状态选择最佳动作过程。这意味着他们拥有更完整、准确的比赛状态表示(方程5)。预计动作序列还将更好地匹配交换期间情况的展开，在交换展开时保留选项，以防出现意外情况。最后，预计他们的预测也更准确。基本上，技能娴熟的选手具有更好的态势感知(SA)。

相比之下，新手的态势感知更有限。新手无法总是读取比赛状态，并且在任务或比赛层级上的表现受限或缺乏。他们的选定动作序列也不一定与最佳预测动作一致。这些限制既是由于有限的击球、投球和地面动作技能(动作单元的有限技能)，也是由于在交换和序列交换中操作以构建得分所需的心理表示(内部模型)的限制。因此，新手通常更多地以反应为主，并经历更多的意外情况。这些限制阻碍选手组合动作单元的元素来构建得分。

比赛动态取决于从当前比赛状态(选手和对手在来球时的姿态)开始的交换中的动作序列，从而导致后续比赛状态。应当记住的是，在网球运动中，动作序列包括球场定位、准备和击球时选定的投球结果。因此，高层级预测和规划的可靠性取决于比赛状态表示和基本行为的质量。下面将描述这些较低层级的行为。

VI.IV动作部署层级的评估

动作部署中使用的定位和准备是开放式运动任务的一个关键方面。该层级负责主要动作(网球运动中的击球)之前的任务元素协调和动作实现。该层级包括基于规划的较大动作和在主要动作执行之前发生的准备动作。评估重点关注(1)交换中动作元素的排序和协调；以及(2)与任务元素相关的动作特征。在部署层级，这些行为重点关注创造足够的操作条件。

击球及其结果取决于决定确切击球条件的事件链或序列。主要动作(例如，准备和最终调整)之前的行为序列会影响击球执行和执行条件。因此，捕捉这些细节对于实现完整而详细的诊断至关重要。

技能娴熟的执行者具有更加结构化的组织，其可协调各个阶段。技能不太娴熟的执行者往往对动作行为的描述较弱，这会影响阶段的结构和协调。

动作特征

在开放式运动任务中，执行者的技能在很大程度上由控制执行动作的条件的能力决定。例如，在网球运动中，球拦截和击球执行的条件决定了击球结果的质量(图15)。

这些条件依赖于执行者在击球之前的定位。这些条件不能立即创造，而是取决于对来球的预测、目标结果的决策、运动和抢占正确位置的能力；最后，在正确时间开始击球，以创造与预期、期望的结果一致的条件。

设置和准备重点关注条件的精确控制。在该层级/阶段，感知机制重点关注对主要动作执行(网球运动中的击球)至关重要的任务和环境元素。

通过将定位和准备行为建模为技能元素，可以使用这些元素中包含的信息对相应动作行为进行分类以供后续分析，类似于对主要动作元素进行建模，包括形成一系列定位和准备动作(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。

定位动作

定位的一个关键作用是控制条件，更具体地，控制可供性。应当记住的是，可供性定义了动作及其结果的感测-运动环境。这是开放式运动技能的核心特征之一，其中除了实际的动作执行之外，代理还控制其感测-运动环境。

可以提取定位模式，包括步法模式，例如通过左右步序列(方向、长度、速度)上半身运动(例如，整体转动)协调来描述。

准备动作

与不同的击球类别类似，存在不同类型的准备动作。这些差异中的一些差异是由于不同的击球类型(需要不同的设置条件)造成的，但是对于相同的击球类型也可能存在不同类型的准备，例如适应不同的来球。

这里的准备动作模式也是动作元素，在这种情况下，模式将包括较小的步法模式，其中具有上半身和手臂运动的较大组成部分。

VI.V执行层级的评估

在不同条件下执行相同的击球类别将导致不同的动作执行特征，并因此产生不同层级的结果。在动作执行层级，主要评估组成部分是操作条件对表现特征以及包括感知过程在内的功能机制特征的影响。

表现特征

动作元素(例如，网球运动中的击球)的表现特征可以通过操作条件与结果之间的关系来评估。每个类别的动作单元的操作范围模型可以用于分析和评估系统配置(包括条件中的扰动)与其在确定技术和结果中发挥的作用之间的相互作用。具体地，这允许量化动作模式对这些扰动的适应，这是技能的一个方面。

功能特征和条件

主要动作的执行可以被描述为包括一些功能特性(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。在本公开中，功能建模还可以扩展到环境交互，尤其是支持环境交互和协调的条件和感知过程。

每个击球类别具有其特定的条件操作范围和所产生的结果范围，其可以从数据中进行评估。这些类别组合形成一系列行为。技能娴熟的选手(和其他技能娴熟的任务参与者)具有更多击球和动作类别，其中每个类别显示更具体的条件范围，具有更高效的技术和更高层级的结果。因此，总体而言，他们的技能将涵盖更大的条件和结果，因此技能娴熟的参与者将有更多的机会来投球、得分和执行其他任务目标。然而，技能娴熟的选手还可以对定位和准备动作提出更高的要求。

性能和稳健性权衡

技能元素的一个重要特性是性能与稳健性之间的关系。稳健性是指对条件中不确定性的容忍度。环境(风、表面质量等)以及动作特征的可变性(例如，运动噪音)可能会造成条件干扰。

通常，当系统偏离其标称条件操作时，性能会下降。在动作中，这种下降可以表现为结果层级下降，或者效率降低并且投球结果的可变性提高。在接近操作极限操作时，人类感测-运动过程在次优条件下操作，导致对操作条件变化的稳健性降低并且运动噪声增加(参见随机效应，例如性能下降，如在费茨定律或速度/准确性权衡规则中所发现的)。

技能元素的操作范围有助于说明如何确定操作的机动裕度的权衡条件。例如，为实现最高层级结果而优化的技术的操作裕度通常比产生较低层级结果的保守技术更低。后者通常对不确定性提供更强的稳健性。在给定一般条件和任务状态的情况下，这些考虑因素在做出决策和选择结果层级方面至关重要。

执行层级的感知过程

执行的环境条件由准备层级决定。在执行过程中，感知机制重点关注功能机制。例如，在击球执行中，存在两个主要输入：前摆开始定时和用于微调与来球相关的动作执行的调整。感知机制的评估可以使用本公开先前部分中描述的感知引导理论(τ理论)来执行。

评估和诊断综合

评估和诊断的输出是元素的可视化。可视化可以基于模拟、图形渲染，或者直接叠加在对应的元素上(例如，参见图19A至图19E中的姿态信息)。这种类型的可视化可以突出显示分层模型中行为的关键特征。

活动模式分析可以结合视频处理特征和运动传感器的运动模式。

视频数据表示评估和诊断沟通的自然媒介。例如，可以使用视频帧来叠加来自评估和诊断的信息；例如，参见图19A至图19E中不同行为阶段的身体姿态。

VII.技能增强

增强的总体目标是在执行期间和之后向主体提供反馈，以增强技能学习和任务执行。本公开扩展了反馈和增强系统以涵盖任务环境层级的交互(参见图28A至图28B)(例如，与第10,854,104B2号美国专利和第2121/0110734A1号美国出版物相比)。分层模型提供了此类增强系统的设计框架。考虑到模型的范围，增强可以采取广泛的形式。如图28所示，增强可以针对整个系统分层结构中多个交互和组织层级的功能，因此理论上可以包括所有交互过程，例如任务规划、执行(引导注意力并协调动作元素的执行)和动作运动控制(参见图15中的详细模型)。

增强系统最终还应与自然提示过程交互并满足生物限制。因此，应同时考虑特定功能考虑因素和系统级考虑因素。例如，任务层级规划依赖于较高层皮层过程，例如发生在前额皮质内的过程。定位和协调依赖于执行、感知和前运动功能的组合，而运动执行主要依赖于感测-运动中心和较低层级的视觉过程。

网球运动用例将提供不同层级增强的更多细节，但是在此之前，下面简要描述设计和实现的考虑因素。

VII.I增强概述

增强系统建立在执行和学习开放式运动任务的模型基础上，如本公开先前部分中所描述的。因此，开放式运动技能学习需要获得规划和感知技能、跨多个组织层级的反馈协调以及动作技能(参见图3A至图3B、图15；图28A至图28B)。

增强可以重点关注主体的主要动作技能元素的动作技术和结果(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。然而，该层级动作表现的反馈机制只能帮助主体在有限的操作范围内面对干扰和不确定性时保持动作技术和结果。如图5A和5B所示，这些动作元件作为子系统运行，并因此为整个系统保持稳定并实现其目标提供一些标称层级的稳定性和性能。

本公开将动作扩展到较大环境交互，并包括支持任务执行的系统范围的过程，包括感知、决策(动作选择)、行为阶段的协调以及动作行为元素的执行。

在开放式运动任务中，动作元素应以这样的方式部署在环境中，即它们可以在接近其标称操作条件的情况下操作，从而最好地实现其预期结果。因此，开放式运动任务的一项关键技能是控制操作条件；例如，用于任务或活动的主要动作的操作环境。图3A至图3B和图15描述了每个组织层级产生的条件，表17概述了整个分层结构的行为和结果。

此外，主体必须协调技能元素序列以实现任务目标。给定最远的任务或活动目标(例如，赢得网球得分)，选手计划活动状态序列。因此，应通过按照精确序列控制较大任务或活动环境状态来部署技能元素。成功预测和执行可以最大限度地减少意外，从而实现流畅的表现。实现流畅的表现需要可靠的规划、感知过程和动作执行。在网球运动中，选手必须使用一组提示来预测来球，并在考虑任务计划的同时调整身体以进行击球。然后，协调策略使用该计划来预测不同组织层级即将出现的环境行为(参见图15)。这些过程的性能会因技能水平的不同而有很大差异；因此，增强必须考虑到用户的技能。

接下来，从不同的角度描述了增强。图28示出了分层模型，突出显示了有助于跨组织层级进行增强的功能。

如图3A至图3B以及图28A至图28B所示，感知是开放式运动任务中环境交互的一个关键方面。在复杂任务中，跨多个组织层级的感知机制的发展或获得至关重要。图28示出了增强可以针对不同组织层级使用的环境提示的感知。这些包括全局态势感知和定向，包括对预测协调动作行为所需的重要任务事件的环境特征以及用于将动作和与对象或环境交互相关联的事件同步的特征的识别(参见图12)。

在图32所示的一个示例中，环境中的动作行为元素和交互的增强可以包括使用描述前向模型、协调策略和逆模型的期望行为的参考模型来合成反馈提示法则，以在以下一个或多个方面协助参与者。

·协助从参与者中选择的主体计划朝向目标或子目标的下一个动作元素序列。

·协助从参与者中选择的主体协调动作行为元素序列，其包括在朝向子目标或目标的动作序列中实现相应动作元素的操作条件和结果。

·协助从参与者中选择的主体开始动作行为元素序列中的元素，并与环境的任务或活动对象或特征中的一个任务或活动对象或特征同步，以实现或改进相应结果中的一个选定结果。

·协助从参与者中选择的主体准备动作行为元素序列中的元素，并与环境的任务或活动对象或特征中的一个任务或活动对象或特征同步，以实现或改进相应结果中的一个选定结果。

·协助从参与者中选择的主体执行动作行为元素序列中的元素，并与环境的任务或活动对象或特征中的一个任务或活动对象或特征同步，以实现或改进相应结果中的一个选定结果。

动作组织层级和增强

学习开放式运动任务等复杂技能涉及获得不同类型的组织单位(图11A)。单元从基本运动动作开始，这些动作通常与动作阶段一致，这些动作组合形成动作元素，然后这些元素被组织成序列或计划，以实现特定的任务目标。因此，增强可以在这些不同组织层级操作。合适的增强可以采取各种形式，具体取决于它们在系统分层结构中的层级，以及它们是用于表现增强还是学习。

增强系统遵循图3中描述的模型分层体系结构，其中获得动作技能元素以支持任务和环境交互，并最终支持任务或活动目标。图28示出了系统分层结构每个层级的增强示例(以灰色框突出显示)。应当注意的是，增强属于感知或控制类别，即增强可以提高主体提取必要信息的能力，和/或可以改进决策或控制过程。此外，还应当注意的是，如何跨分层层级和行为阶段描述这些功能。

此外，在动作元素执行时，增强系统应考虑主要动作部署、准备和执行，以及主要动作与支持性运动之间的区别。应当记住三个动作阶段(网球运动中的所谓比赛阶段)：

·动作元素协调层级增强的目标是优化执行主要动作的条件所需的全局配置和定位，从而影响其结果(初始条件的设置)。该层级的增强包括用于预测活动当前阶段的提示，以帮助控制下一个动作的条件(例如，基于所预测的对手投球落地撞击的定位提示，以帮助选手为朝向目标投球做好准备)。

·动作准备层级增强的目标是通过将动作执行与任务元素(动作定时和调整)同步来实现主要动作的局部定位和准备。准备层级的增强包括用于创造局部条件的准备动作的提示(例如，击球准备以及击球与来球的同步)。

·动作执行层级增强的目标是通过提供有关技术和结果的反馈(技术和结果的知识)来实现动作元素的执行(例如，与第10,854,104 B2号美国专利、第2121/0110734 A1号美国出版物和第2019/0009133 A1号美国出版物相比)。执行层级的增强包括帮助启动和微调与主要动作行为相关联的动作执行的提示(例如，朝向击球目标的前摆击球的调整和定时)。

一种用于对从事开放式运动任务的主体实施和传递增强的示例性系统可以包括具有存储器的处理器，该处理器被配置为从传感器系统接收数据。该系统可以被配置为在环境中获取关于从事开放式运动任务的主体的数据。处理器和存储器可以被配置为执行过程。活动识别过程可以包括朝向目标的动作类型序列，以及对该序列中的阶段的检测。使用在活动识别过程中获取的任务或活动模式的模型构建过程可以形成动作行为模式的动态任务模型，其中动作行为模式被描述为环境中的一个或多个代理的行为状态和相关联的任务以及环境元素和对象。确定过程可以使用任务策略图和逆模型来确定跨行为分层结构的参考行为，包括针对作为动作序列的总体计划及其对应子目标的参考以及针对基本动作的参考结果和动作执行。该系统可以包括以作为自然任务和环境提示的增强而呈现的提示的形式来传递参考的装置。

在该示例性系统中，感知提示可以使用增强现实眼镜来实现，从而增强对任务或活动环境的一个或多个元素或特征的感知。

在该示例性系统中，感知可以使用与关键活动事件和/或交互一致的听觉提示或触觉提示形式的定时提示来增强。

功能层级和增强

最后，增强系统应考虑组织功能特性的层级。分层模型区分任务层级感知和动作规划、局部环境感知和决策以及动作实现(参见图3A至图3B；图28A至图28B)。除了规划之外，任务层级功能还包括执行控制，用于在各阶段对动作序列中的不同动作元素进行排序和协调。因此，功能描述考虑以下区别：规划和决策过程层级、执行层级和实际动作过程层级(定位、准备和执行)。

规划和决策过程涉及任务配置和策略；因此，这些过程涉及全局感知和态势感知。规划过程层级的增强可以包括广泛的形式，例如引导视觉注意力以进行态势感知、规划和预测。例如，在网球运动中，增强可以包括用于子目标的提示(例如，得分构建中的投球目标提示)。

执行层级增强的目标是协调技能元素部署，以实施计划并实现期望的任务执行层级。这对应于主要执行周期内计划的实施。在该层级，重点是动作序列配置以及与活动环境和事件的协调，以为局部任务目标创造条件。增强可以包括用于执行者位置和身体姿态的提示，以及序列中的定时。例如，在网球运动中，提示还可以通过预测球轨迹和弹跳位置来帮助协调定位、击球准备和击球执行的动作序列。

在动作元素执行层级，增强主要提示动作元素的准备和每个动作元素的结果。例如，对于网球运动中的主要动作元素(即，击球)，增强可以帮助设置击球和定时以及执行前摆以实现期望的击球结果。

信息处理分层结构和增强

除了与任务和行为组织相关联的分层结构以及与功能组织相关联的分层结构之外，还可以定义与人类信息处理的不同层级相关的增强层级(例如，与Rasmussen 1983相比)。这些可以包括认知或符号层级、提示层级和信号层级。增强可以针对认知层级的表示(抽象)、提示层级的动作引导功能以及信号层级的感测-运动功能。这些提示还可以与这些层级的功能特性兼容的方式起作用(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。

例如，在认知层级，增强可以帮助主体形成心理表示，并有效地对信息进行编码以便以抽象方式描述细节。这种类型的增强可以采取动作组织的不同层级的模式可视化的形式(图15)。作为参考，另请参阅有关运动技能的长期记忆表示的文献。认知层级的提示和增强还包括用于心理训练的工具和方法。

在提示增强层级，反馈对信息进行编码以帮助指导主体的动作执行，例如关于动作的定时、方向或幅度的信息。该增强层级包括用于动作行为准备和执行的不同方面的提示，包括动作同步、调整和执行。提示层级最好以视觉或口头形式沟通。

最后，在信号层级，增强适用于动作过程增强层级，反馈在较低层级的感测处理和运动实现中起作用，并且包括用于调整这些过程的信号。提示还可以增强动作过程的各个方面，包括但不限于(例如，与第10,854,104 B2号美国专利和第2121/0110734 A1号美国出版物相比)：

·动作优化

·动作特征验证

·结果验证

与动作技术相关的提示与所谓的表现知识(KP)相关。动作结果的提示与所谓的结果知识(KR)相关。

本公开的后续部分将使用拉斯穆森的符号、提示和信号类别来提供对网球示例的增强的更详细描述。在此之前，简要描述了建立在形式化分层模型基础上的一般计算方法。

提示计算方法

可以根据图15中概述的体系结构来形式化增强。该体系结构中的内部模型可以从主体的数据中识别出来，为确定提示法则提供了计算基础。按照图15中的形式化模型体系结构，存在三种主要类型的模型：

·前向模型支持规划(规划过程层级、比赛状态序列的长期记忆)。

这对应于较高层级的快速访问模式识别系统。

·协调策略描述了当前任务或活动周期中的动作序列(例如，图2中所示的网球运动交换或图34中的滑雪运动的动作段)。

·行为序列中每个阶段(动作过程层级)的逆模型，其根据结果和条件来确定动作技术。

应当注意的是，除了每个行为阶段的逆模型之外，还可以包括提供动作的感测结果的前向模型。这些信息已经被证明在评估动作表现和学习方面发挥重要作用(参见上面的KP和KR)。

这三种类型的模型基本上捕捉推动行为所需的知识。因此，如果可用，则可以用于增强表现和学习。挑战在于模型必须足以满足个人的技能水平。例如，任务层级的表现取决于有效动作元素的可用性，以支持一系列交互，因此，增强应适应技能水平。

根据前向模型，存在三个主要量：环境状态；计划，其是动作元序列；以及当前规划周期的目标。因此，该层级的提示可以作用于输入，这些输入主要是帮助主体形成对比赛或活动状态的意识的感知量。提示可以作用于输出，这些输出基本上可以帮助主体意识到当前活动周期的目标或子目标。

根据协调策略，存在当前周期内活动的状态，以及动作元素序列的规范。因此，该层级的提示可以作用于输入，这些输入主要是帮助主体形成对活动周期意识的感知量；然而，与前向模型的层级相比，状态描述了关键事件的定时和同步。输出层级的提示对应于动作序列的规范。

根据逆模型，存在三个主要量：两个输入：期望目标；条件；以及输出：动作规范。因此，该层级的提示可以作用于：输入(例如，条件和结果)，这些输入主要是感知量；以及输出(运动响应规范)，这些输出本质上是动作形式。期望结果的增强表示一种注意力提示的形式，例如，在网球运动中，提示的目的是指定动作目标。条件的增强表示一种感知提示的形式。输出的增强表示一种运动提示的形式。

提示法则合成

合成提示法则的一种方法是根据用户自己的数据创建这些法则。考虑到表现的可变性，用户在每个层级表现出的最佳表现可以用于合成提示法则，推动用户根据其最佳表现进行表现。随着时间的推移，随着用户获得更多便利，这种方法可以迭代地提高表现。总而言之，这些模型可以用于推断整个分层结构的参考行为，从而产生较高层级的表现。

此外，群体数据也可以集成到提示法则合成过程中(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。例如，从表示用户技能水平的组中选择的其它主体的表现数据可以用于合成针对该技能水平的整个分层结构的预期表现的规范性模型。可以将较高层级的附加组添加到库中，以在整个分层结构提供增量改进。

最后，可以使用计算技术来确定不同技能水平的理论表现特征。例如，可以使用机器学习方法来基于领域知识(例如，专家教练)合成内部模型。

以下示例详细阐述了网球示例的分层功能增强。为了说明如何将这些技术泛化到其他合适的活动，以滑雪运动为例。

VII.II网球运动分层增强示例

最终步骤是将建模、评估和诊断的结果转化为训练干预和/或反馈，这可以帮助主体增强其表现和技能训练。

下面首先概述了网球示例的功能增强，包括分层技能模型实现的增强层级。然后，使用人类信息处理分层结构对每个层级进行详细描述。

网球功能增强分层结构

图3中的分层模型示出了支持开放式运动行为的关键功能。图15描述了这些过程，强调了控制体系结构，这为网球示例的增强的组织和定义提供了基础。该模型描述了关键量和过程。如上所述，开放式运动任务(例如，网球运动)的一个核心方面是当前活动周期内动作元素的协调，包括用于控制击球表现(主要动作)的操作条件和实现投球结果的定位。图28示出了主要在整个分层结构中的感知功能与决策功能之间描述的增强。

表20：增强特征概述

该模型区分了认知层级与动作控制层级。所谓的认知控制层级包括规划和执行控制。规划在全局动作范围内进行，并根据当前比赛状态和交换计划来选择击球姿态和目标。执行控制层级负责实施和协调动作和过程的序列，例如调整计划和控制注意力以获得关于当前活动周期的信息(图12)。

如图28所示，在顶部层级，增强可以针对全局态势感知和规划(如图15所述的前向模型)。在执行层级，增强可以针对展开的交换内的态势感知以及基于更新信息(协调策略)的计划调整。在动作元素层级(包括定位、准备、执行和回位)，增强可以针对作为交互模式一部分的特定感知功能，以及指定动作行为和运动程序的逆模型。

下面描述了基于图29A至图29D所示的交换周期的增强，详细描述了比赛不同阶段与关键任务和环境元素相关联的行为的提示和方面。表20呈现了增强特征概述。

网球运动任务规划层级

现有技术有时重点关注其执行层级的动作增强(例如，动作技术)，但是没有对这些动作如何参与较大任务或活动结果进行详细且全面的分析。

如上所述，与交互模式相关联的类运动技能元素形成了较大规划和决策的组织单元。在网球运动中，最高层级的交互是投球交换及其序列以便获取得分。

针对较大任务结果的增强重点关注这些投球如何离散化任务执行，以及这些模式如何实现任务层级表示(图8和图14)。

规划被视为认知控制及其长期记忆的一部分，涉及记住如图13所示的得分和动作序列中的模式(由前向模型捕捉)。因此，任务层级规划增强重点关注形成支持任务目标所需的较大动作模式。在任务规划和执行层级，增强主要是在知识和提示层级。

知识层级

知识层级的指令和提示还可以重点关注交互模式词典的开发，以实现代理-环境状态空间的高效和最优离散化；例如，动作和投球模式(图8)为比赛表现提供语言。在这里，任务层级的增强被扩展，以帮助选手了解这些模式如何参与图14所示的比赛动态(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。

与动作控制层级的逆模型类似，可以在技能元素过程的输入方面与输出方面之间进行描述。在网球运动中，在输出方面，这些类别表现为具有特定环境特征的投球类型，例如球场上投球的分布，例如在球场底线附近的角落等(参见图8)。在输入方面，这些模式有助于在一系列位置和条件下对球场上的比赛感知、态势感知和定向。这些单元决定了选手控制比赛的能力(解读来球、在球场上定位并指定投球目标)，从而控制交换结果并控制比赛。

遵循这些见解和形式化分层模型(图15)，认知知识层级的增强可以有助于形成描述比赛状态和比赛动态的投球和动作模式(方程5和方程6)。

在该层级，增强采取促进心理训练的信息形式，例如排练这些模式并理解策略。增强基本上有助于形成长期记忆，其支持由前向模型捕捉的快速感知和决策机制。

提示层级

图29A至图29D是交换序列的示意图，突出显示了比赛关键阶段的主要事件，以及用于增强与环境元素和事件的关系的可能提示。图29A示出了大约在规划阶段的交换序列，图29B示出了在定位阶段的交换序列，图29C示出了在准备阶段的交换序列，图29D示出了在执行阶段的交换序列。

训练的目标是形成任务层级模式。然而，该层级的表现依赖于地面动作、击球和投球方面具有某种标称水平，因此，训练应适应技能水平。挑战在于随后学习实施这些策略的感测-运动模式。规划层级的增强可以采取提示的形式，例如表现期间的视觉增强。例如，除了知识层级的心理训练之外，提示还可以排练比赛状态、相关联动作和投球模式。

在任务规划层级，提示层级的规划的增强对应于提供信息以帮助识别各种比赛模式(比赛状态)并帮助记忆每个比赛状态的一组最佳动作(例如，另请参见图14C)，包括用于构建得分的定位和投球目标的序列。例如，提示可以用于突出显示和指定投球目标，从而在给定比赛状态的得分构建中构建投球序列。

执行控制层级

执行控制层级负责实施和协调计划的行为序列。执行控制在周期(例如，网球运动中的交换)内的任务交互层级为增强系统的功能提供了概念模型。

执行控制层级的增强可以基于执行认知功能的现有模型。执行控制包括多种功能，包括计划的实施和动作/行为序列的协调、注意力的方向以及动作的评估和监测(图3)。执行控制也与短期记忆和获取长期记忆密切相关。更具体地，执行系统负责无缝实施分层控制体系结构，其具有独特的控制层级(图15)。

序列协调

如图3所示，规划功能确定了朝向任务目标的子目标序列(例如，交换内的动作阶段序列)。执行控制负责协调序列内的动作单元以及相关联的注意力和感知事件(参见图12)。动作行为执行的每个序列应根据计划和当前条件指定的预期结果来定制。由于任务状态与序列的实施同时演变，因此执行控制还负责调整计划(例如，定时或动作，甚至更新子目标)。因此，执行控制应同时监督每个行为层级的动作行为的实施，同时确保序列实现更大的任务目标。

给定选手在下一个网球运动投球交换周期的动作行为计划，可以使用以下类型的增强来协助选手的动作执行控制：

·在选手定位期间，协助选手选择预测击球点和投球目标的姿态。

·在投球准备和设置过程中，协助选手根据来球选择姿态和姿势，以微调击球条件。

·在挥拍动作执行过程中，协助选手实现击球动作与来球同步所需的定时和击球条件，以产生期望结果。

每个动作技能元素层级的决策由逆模型来描述；例如，实现期望结果所需的动作的规范。在动作执行过程中，执行功能负责在遇到突发情况时更新计划。如上所述，如果计划无法调整，系统可以更新计划或切换为救援计划的形式。

工作记忆

工作记忆对于执行控制至关重要。执行控制需要交换内的动作元素序列的记忆，包括关于关键任务和环境元素交互以及活动事件的细节，这些细节定义了行为序列的关键状态。

因此，增强可以作为心理训练过程的一部分来实现，例如在不同组织层级排练计划的结构，包括交换序列以及当前交换内的动作行为序列。

注意力控制

执行控制的另一个重要方面是引导注意力。有助于视觉注意力的增强可以用于将凝视目光引导到这些关键元素。注意力提示表示空间交互的主要增强形式。图29A至图29D示出了用于从规划、定位、准备/设置和执行的不同表现阶段的视觉注意力提示的示例。这些示例在本公开的相应部分中进行了详细阐述。

行为执行的一个重要方面是实现动作元素的初始和最终条件。图29B给出了准备阶段的示例，其中包括突出显示目标、来球和预测弹跳位置的提示。这些环境元素是操作环境在该行为阶段的交互单元。目标是产生与基本交互模式一致的行为。

表现监测

执行控制的另一个重要方面是表现监测。大脑使用关于动作预期效果的信息来做出和更新决策。这些信息对于学习也发挥重要作用，即预期结果与实际结果之间的差异为更新内部模型提供了信号，从而改进技术(逆模型)或调整预期结果(前向模型)。

任务层级规划的前向模型预测动作的结果，并因此为表现监测提供必要的信息。

以下部分描述了动作执行层级的增强。每个动作被视为支持其自动化的一种模式形式。因此，在动作执行层级，增强重点关注感测和运动维度，但是强调了局部环境交互，如图5A和图5B中的击球所示(与第10,854,104 B2号美国专利、第2121/0110734 A1号美国出版物和第2019/0009133 A1号美国出版物相比)。

部署和定位阶段

在网球运动中，成功投球取决于选手的定位、击球准备和执行，这些已提前计划(图13)。定位动作需要了解击球位置和期望的投球目标。因此，在朝向击球点运动的同时，选手还应最终确定投球目标(参见图29A和图29B)。

定位阶段组合了对用于预测击球的局部环境条件的了解，以及目标获得/选择所需的较大任务环境。因此，在活动的该阶段，增强主要发生在知识和提示层级。

知识层级

在知识增强层级，目标是帮助选手形成定位阶段的心理模型。部署和定位层级的说明重点关注了解不同投球姿态配置的球场动作模式(图7)。定位层级增强的一个相关方面是协助形成一系列步法模式以支持一系列定位场景。

提示层级

定位表示网球运动中的最大、最基本的动作。选手的交换计划提供了期望的投球目标和击球姿态；然而，随着交换的进展，该计划应根据当前信息进行调整，如上所述，交换由执行控制系统执行。

基于逆模型的概念，提示可以作用于模型的输入或输出。关于输入，这包括对条件的感知(感知提示)或投球目标的规范等。关于模型的输出，这包括指定实际动作形式(运动提示)等。

感知提示通过帮助选手提取和解码相关视觉特征来增强选手的态势感知。例如，帮助他们关注对手和投球特征，并帮助他们解码这些特征以产生球场动作命令。

这种类型的提示可以使用与事件相关联的声音信号来实现；例如，过网提示和编码预期提示(例如，与第10,668,353B2号美国专利和第2020/0289907A1号美国出版物相比)。通过使用增强现实(AR)眼镜将视觉提示叠加在自然场景上，例如突出显示球、球运动的特性(例如，预测轨迹)或球场上的预测弹跳区域，可以实现更加身临其境的方法。此外，还可以使用指定元素或事件的口头提示。

结果提示对关于动作目标的信息进行编码。球场动作结果表示相对于预测弹跳位置的脚部配置。在定位层级/阶段，动作目标是成功击球所需实现的球场姿态。与感知提示类似，这种类型的信息可以使用视觉增强(AR眼镜)、口头提示、声音或触觉信号来发送。

运动提示可以采用多种形式。首先，提示可以命令的形式用于球场动作。例如，一种选择是通过语音命令“向后运动、向右运动等”引导选手。或者，可以使用不同的音调或其他可听信号对方向信息进行编码。或者，可以使用AR眼镜将视觉增强叠加到自然场景中。

准备和设置阶段

准备和准备阶段的增强重点关注创造击球执行的精确条件，以支持期望的投球结果。这还包括产生稳定执行和回位的姿态和姿势。

知识层级

在知识层级，增强的目标是帮助选手形成准备和设置阶段模式的心理模型。选手的心理模型捕捉对阶段和特定动作特征的理解，以及它们与准备的任务元素的关系(例如，参见图25和图26)。对于网球运动的击落地球，准备发生在从投球弹跳前后到前摆开始的时间段内(图29C)。

提示层级

准备层级的提示类似于定位层级的提示，因为它使条件更接近其击球执行阶段，但是在更精确的空间和时间尺度上。另一个关键区别在于，它对应于主要动作单元的准备阶段。这些阶段对于复杂的动作执行发挥重要作用。

根据逆模型的输入和输出，根据期望的投球结果和主要的操作条件来确定选手的设置。因此，提示可以提供关于条件(感知提示)和目标(结果提示)的信息，并且提示还可以提供关于动作控制(运动提示)的信息。

准备和准备阶段的感知提示重点关注选手在最终阶段(接近弹跳)获得来球状态(图26)。该阶段的一种特定形式的提示是帮助预测执行设置所需的弹跳位置和特征。这可以是球场上弹跳的视觉叠加，采用弹跳点的形式，甚至使用AR眼镜的弹跳向量。此外，还可以通过听觉或触觉信号或口头提示来发送高度或旋转/速度等弹跳信息。

关于结果提示，增强指定了目标姿态，包括产生期望的投球结果所需的特定前摆开始姿态的身体和手臂/球拍。姿态信息更难发送，因为姿态信息是本体感受的(而不是外感受性的)。例如，在衣服、设备或鞋子中使用传感器的触觉信号非常适合姿态和姿势提示。可以在视野上叠加身体姿态图。此外，还可以发送验证提示，其提供信号以强化期望的姿态特征(例如，与第10,854,104B2号美国专利和第2121/0110734A1号美国出版物相比)。此外，还可以使用口头提示来发送姿态参考。

最后，关于运动提示，可以设计和调整增强来协助准备阶段的执行。例如，幅度的定时和调整。

主要行为执行阶段

主要运动执行层级的评估和反馈可以重点关注动作功能结构(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。本公开扩展了该功能建模以包括感知过程，例如在主要动作单元的执行阶段使用的提示，例如网球击球(图16和图26)，其可以根据逆模型(图15)详细阐述。

击球撞击结果决定了投球轨迹，并因此最终决定了执行者可以控制比赛状态的精度。

知识层级

在知识层级，目标是帮助形成执行阶段的心理模型。这对应于对动作体系结构的理解，例如击球阶段及其在任务环境和对象交互中的功能作用。对于击球执行(图29D)，这包括：

该层级的指令重点关注不同动作元素类别的功能表现，例如动作体系结构与不同类型投球之间的关系。该层级训练的目标主要是学习与环境和技术的协调，以实现高效的动作表现；例如，以对身体最小的力量和压力实现高层级的结果(例如，与第10,854,104B2号美国专利和第2121/0110734A1号美国出版物相比)。

提示层级

根据逆模型，动作执行由期望的目标和准备条件来确定(参见图5A和图5B中的技能元素)。因此，在输入方面，提示可以提供关于条件和目标的信息。在输出方面，提示可以提供关于前摆动作模式的信息，包括身体部分自由度的协调。

感知提示增强了确定操作条件的态势感知所需的自然提示。在网球运动中，在执行阶段，一旦选手已经设置，这些即为来球的后续特征，包括在落地撞击后朝向击球点的弹跳(例如，参见图16和图26)。

结果提示重点关注击球点和回位。基于对动作编码的理解，球拍和手臂等目标动作可以呈现为击球时以及最终随球动作时的目标姿态。

运动提示的目标是动作轮廓的引导。条件提示对触发前摆和动作轮廓所需的信息进行编码。

VII.II增强系统实现

该部分首先描述了基于图3A至图3B、图15以及图28A至图28B中的分层模型的增强的功能模型。该功能模型包括动作行为的分层组织和协调，从任务层级感知和规划到动作元素的当前循环序列，再到序列中不同动作元素的执行。该部分还描述了增强系统的物理实现，扩展到其他人类增强系统(例如，与第2019/0009133A1号美国出版物相比)。

增强系统功能描述

开放式运动任务中执行的增强需要几个过程来生成关于环境和活动交互的信息，并产生与主体的自然体验兼容的感测-运动体验。因此，增强必须跨越行为的分层组织的活动状态。

图15所示的人类开放式运动行为的分层模型示出了基于内部模型的活动周期内主要决策和控制过程的流程。首先，如何使用当前比赛状态和前向模型的估计进行规划，协调策略如何协调动作训练并调整动作元素结果参考，以及如何使用逆模型基于参考值和条件来执行动作行为。增强本质上复制了该模型，但是使用参考模型来合成参考值，以便在规划周期(例如，网球运动交换)内跨分层结构层级进行提示。

在开放式运动任务中成功实施增强需要几个关键能力。图30是针对网球运动准备阶段示出的增强系统流程的示意性概述。一个关键方面是，用于确定增强的参考模型需要了解活动的状态以及行为元素的确切阶段。另一个关键方面是，增强特征(例如提示)在空间和时间维度上都与场景和环境元素相匹配。图30描述了该系统的关键组成部分，包括行为元素的提取(30A)、活动识别和状态估计(30B)、增强特征的生成(30C)、提示和增强元素的合成(30D)以及它们与用户的沟通。

图30中的增强特征30C和元素30D包括它们与环境元素的集成，以产生主体的有效体验。例如，在增强现实(AR)的情况下，提示应与场景的视频流或模拟环境产生的视觉场景元素融合或集成。集成在空间和时间维度上必须准确，才能利用与环境动态同步的AR眼镜创造身临其境的体验。对于口头增强来说，提示应与事件同步。空间音频可以用于创建更强的空间集成(例如，编码方向和距离)。

活动处理和识别(30B)负责估计全局活动状态以及序列中的行为阶段。第一步骤是提取环境和活动的相关元素。活动和环境元素处理(30A)使用来自一个或多个源(例如，可以与可穿戴传感器组合的摄像机)的数据来实现对活动状态的全面且详细的估计。

这包括建模部分(图20)中描述的类似组成部分，但是为了增强，它们应适合实时运行。主要组成部分是数据预处理，其通常负责测量结果的低层级特征提取。这还可以包括流的融合，例如组合多个摄像机视图以重建3D场景，以及融合多个传感器形态以利用互补信息内容。

然后，通常会对这些低层级特征进行处理，以检测和提取实际对象和元素。后者包括检测和提取一个或多个参与者的信息，包括他们的姿态、任务环境元素和对象。在网球示例中，这些包括选手和对手的姿态(包括身体部分和网球拍)、球场及其元素以及球。

然后，作为活动模型的一部分跟踪并集成这些元素(图23)。然后，使用与这些元素的空间和时间行为相关联的模式来确定活动状态、活动中的关键事件以及动作技能元素，包括活动序列中的阶段。在网球示例中，这包括比赛状态：比赛、设置、得分和交换；动作行为序列中的阶段：定位、准备/设置、击球执行、回位、就绪；球事件：击球、过网、弹跳。

增强处理器(30C)采用活动状态和参考模型来生成提示特征。提示特征是提示的表示，考虑了可以转化为不同形式的空间和时间特征。在简单的实现方式中，例如，使用单一形式，可以集成提示特征和增强生成器。图32所示的增强处理器依赖于某种形式的参考模型，该模型可以用于将主体的行为与某种期望行为的模型进行比较。

该参考模型从图15中的分层模型导出，如图32所示。该图示出了如何使用当前比赛状态的估计和内部模型(用于规划的前向模型、用于动作序列的协调策略以及用于动作行为的逆模型)以在网球运动交换期间合成跨分层结构层级的提示特征。此外，应当注意的是，增强可以作为反馈或提示生成。在反馈模式中，增强为特定的行为阶段提供动作后评估或某种形式的评论。在提示模式下，增强提供提示来帮助指导不同执行阶段的行为的各个方面。

通过选择不同的源数据进行建模，参考模型可以达到不同的效果(例如，与第10,854,104B2号美国专利、第2121/0110734A1号美国出版物和第2019/0009133A1号美国出版物相比)。主体自己的内部模型可以在很大程度上强化过去的行为。通常，主体的表现包括足够的可变性，其包含关于不同表现层级的信息。可以过滤主体的数据以增强最佳表现层级。或者，参考模型可以基于群体子组，这主要具有将技能和行为扩展到主体层级和行为范围之外的效果。最后，可以使用组合更大群体数据和领域知识的合成数据来实现更广泛的技能训练层级和重点。

图31中详细说明的增强生成器(30D)负责从提示特征产生提示刺激。该过程取决于用于向主体发送提示的形式。例如，视觉提示生成器将提示特征编码为视觉提示元素(例如，参见图29A至图29D的网球运动场景中示出的元素)。

应当注意的是，增强生成器负责处理活动和动作状态以生成作为增强行为的提示。提示活动和环境交互的一个关键方面是提示与活动和动作状态的同步。此外，为了对主体的表现或学习产生影响，提示特征应将提示描述为行为特征(例如，在指令、命令的意义上或在未来执行的校正意义上可操作的动作行为的空间和时间特征)。此外，人工提示应与行为模式集成，以产生有效的体验和结果。

用于确定提示或增强元素的方法基于技能元素的功能结构(行为交互模式，图5B和图26)。可以看出，该模式包括用于产生动作行为的自然提现和感测-运动过程。因此，提示特征还可以包括环境和对象特征(例如，活动事件或对行为的兴趣)。

增强通信系统(E)负责实施提示。提示逻辑为当前活动的技能元素选择提示法则。提示法则基于动作元素功能结构(交互模式；例如，参见图5A和图5B；图26)。增强系统的一种实现如图29A至图29D所示，作为使用增强现实眼镜的增强现实装置(参见图33)。该模式尤其适合感知过程，例如将注意力集中到给定行为阶段的操作环境中的相关元素。

实现丰富的增强环境的另一种形式或实现方式是使用口头提示，例如网球运动实施例中描述的命令、指示或评论，并且表21A至图21E中详细描述了代表性命令。

最后，其他实现方式可以使用声音或触觉信号进行通信。声音形态可以包括简单的声音提示，例如不同音调的脉冲或频率调制等。声音形态还可以包括使用立体声扬声器或耳机的空间音频。

模型参考数据

图32中的模型组成部分可以基于主体自己过去的表现以及其他来源，包括从群体数据或理论导出的来源。不同的模型可达到不同的效果。当与主体的模型一起使用时，图32中的系统可以在主体的相应表现历史上强化主体表现的最佳方面。可以推断模型，以在模型捕捉的信息范围内扩展主体的表现和技能。

当与群体数据一起使用时，图32中的系统可以用于训练超出其自身模型范围的表现和技能。群体数据可以用于根据代表性群体确定提高其表现和技能水平的子群体(例如，与第2019/0009133 A1号美国出版物相比)。应当记住的是，代表性群体给出了更完整的描述，并且还包括适合主体技能和其他个人因素(例如，技术、体能等)的更广泛的表现。

当与理论模型(例如，规范模型)一起使用时，图32中的系统可以用于训练理论模型所描述的特定表现和技能概要。在任务层级，理论模型可以用于生成可用于训练的得分构建的交换模式(投球序列)(例如，使用可编程球机和主动目标)。在动作行为层级，理论模型可以用于教授不同组织层级的动作模式。例如，球场定位层级的步法模式(图29A和图29B)、准备和准备模式(图29C)以及击球执行(图29D)。

增强现实

图33是在准备阶段使用增强现实眼镜增强的元素的示意图。感知功能对于各种任务交互至关重要；因此，表现的关键信息可以通过感知增强来调节。

图33示出了通过“智能”眼镜或类似的移动显示设备(例如，可从华盛顿州雷德蒙德市的微软公司获得的HoloLense耳机)增强的现实。眼镜可以突出显示与给定表现阶段相关的任务元素，并提供用于行为元素表现的提示。该图示出了准备阶段的感知增强的元素。在该阶段，元素可以包括：

·具有预测弹跳点的来球

·击球开始时的球拍和身体姿态

·击球姿态

·击球点和投球目标

行为的其他阶段也可以类似地增强。除了视野中突出显示的视觉提示之外，声音和/或口头指令可以用于改善增强效果，尤其是用于确保感知的定时。

应当注意的是，这些特征可以扩展到混合现实系统，例如，这将使网球运动选手能够打出虚拟球，并训练表现的各个方面，从得分序列到定位、准备和击球执行。

口头指令

口头指令或评论可以单独使用，也可以与声音提示和视觉增强一起使用。口头形式在辅导、激励和指导用户方面非常有效。如上所述，这也更容易实施，因为不需要与用户的视野集成。然而，这仍然需要与活动阶段同步(参见图31中的活动状态确定)。将用户在每个阶段和运动阶段的行为与参考行为进行比较，以确定行为属性的误差。在一些情况下，提示基于下一阶段的预测，以帮助用户预测正确的行为。提示的定时可以根据它们是作为校准还是指令来确定。

表21A：重点关注就绪和投球预测阶段的步法、击球和身体姿态的口头指令/命令

表21A至图21E提供了网球运动的口头提示或命令的示例。应当注意如何针对行为的特定阶段设计并且根据行为组成部分(步法、击球和姿态)来组织口头提示。可以选择提示来重点关注特定的行为组成部分，以减少人类信息处理能力内的提示数量。

表21B：重点关注定位阶段的步法、击球和身体姿态的口头指令/命令

表22C：重点关注准备/设置阶段的步法、击球和身体姿态的口头指令/命令

表22C：重点关注准备/设置阶段的步法、击球和身体姿态的口头指令/命令

表21D：重点关注执行阶段的步法、击球和身体姿态的口头指令/命令

表21D：重点关注执行阶段的步法、击球和身体姿态的口头指令/命令

表21E：重点关注回位阶段的步法、击球和身体姿态的口头指令/命令

数据获取

增强系统的一个重要部分是获取各种测量数据。在很大程度上，测量结果与用于建模和分析的测量结果类似。增强的范围决定了一组传感器和测量类型。

感知过程的增强也提出了一些特殊要求。例如，对于增强现实和混合现实，有必要跟踪执行者的姿态，包括准确的头部姿态，并且还可能包括凝视，以实现视野的场景图像和叠加在视野上的对象的足够好的融合。这可能还需要寄存自然物理环境中的元素(例如，参见图29A至图29D中的球、弹跳位置等)。实时视频处理(参见图20)，提取不同表现阶段增强所需的元素。

在混合现实模拟中，可以模拟和使用球和其他比赛交互来推动主体的行为和响应。

增强轮廓

并非这里描述的增强的所有方面都必须实现。相反，理念在于根据特定主体的评估和诊断以及用户偏好来针对薄弱领域进行增强。考虑到影响主体表现的各种因素，能够识别阻碍给定主体的表现和技能发展的具体原因至关重要。增强轮廓描述了特定用户和训练目标的反馈形式、层级和参数。

增强形式

提示可以包括视觉提示和其他形式(例如，音频或触觉)的组合，以突出显示执行期间的广泛任务或活动事件和动作特征。

传达空间信息的最直接方式是通过所谓的沉浸式技术，例如上述已经讨论的增强现实(例如，全息透镜系统)。在此类实现方式中，提示被叠加到自然视觉场景中。使用增强环境的示例包括环境中的动作提示(运动方向和子目标)，以及增强对相关任务元素或事件(例如，用于预测未来事件的任务元素或事件)的视觉注意力的提示。

可以口头传达提示，例如，增强系统可以直接生成选手在表现期间要实现的姿势和击球特性的口头描述(参见表1)。口头提示尤其适于提供命令、指示和评论，如网球运动实施例中所示。

此外，还可以将提示编码为音频信号。例如，简单幅度信息和警报的定时提示(例如，与第10,668,353B2号美国专利和第2020/0289907A1号美国出版物相比)。立体声音频信号(例如，使用扬声器或耳机)还可以产生方向提示，例如球场定位的运动方向。

最后，还存在其他方法来增强环境，使用投影技术(例如，视频投影或基于激光的技术)来突出显示和叠加任务或活动环境中的视觉元素。

借助装置增强

开放式运动任务的一个关键方面是动作和任务交互。例如，在网球运动中，这些交互通常是在教练的帮助下使用各种形式的练习进行训练的。装置可以用于进行训练并为训练动作行为的特定方面创造条件，重点关注不同的动作技能元素及其排序。例如，在网球运动中，与增强提示系统耦合的可编程或智能球机可以用于根据当前选手状态生成交换模式和条件，以锻炼表现的特定方面，例如定位、准备和击球执行。

例如，球机可以生成特定的投球序列，以推动选手的定位。可以使用投影技术或智能信标来添加或突出显示标记，以指定投球目标。这些目标本身可以是交互式的(例如，在实施特定操练的训练算法的命令下点亮)。

操练可以定义为选手在指定起始位置时通过球机进行的投球序列。然后，可以使用交互目标来指定每个新来球的目标序列。球机的投球序列还可以响应选手的动作和投球选择，以模拟交换得分策略。

VIII.泛化到其他体育运动和动作活动

大脑和各种支持感测、感知和运动功能已经演变为支持人类在与物理世界交互时面临的广泛挑战。所有动作任务或活动的共同之处在于，它们由相似的大脑执行。人类大脑已经进化出一种控制体系结构，适合学习各种不同的空间控制任务。具体细节由任务及其环境的结构和组织决定，而一般特征(包括分层组织和支持各种交互的动作技能元素序列)在空间控制任务或活动中有许多功能相似之处。

因此，可以使用技能元素以及描述如何在任务中部署技能元素的分层模型来描述各种活动领域中的人类表现。下面简要概述了有关任务执行和/或训练的建模、评估和增强的泛化的考虑因素。

VIII.I泛化到其他动作领域

不同组织层级的交互以及关键感测-运动、感知特征和决策可以泛化到其他开放式运动任务。

其他开放式运动任务或活动共享类似的运动技能元素和分层组织。大多数此类活动都有一些主要动作单元，这些主要动作单元针对任务的一些关键交互和结果。这些有效的主要动作元素应在特定条件下操作，因此，一般来说，开放式运动任务具有附加从属动作单元。这些主要用于将任务分解为阶段序列，从而为主要动作元素创造有利的条件。

每个技能元素可以建模为交互模式(如图5A和图5B中的网球击球或图35中的滑雪转弯动作所示的输入输出系统)，该模式定义了交互的动态和范围：

·任务和环境元素的子集(操作环境)

·代理或身体部分的子集(主要自由度)

·输入集，包括提示

·输出集，包括动作表现及其结果

典型的动作技能元素可以通过以下输入-输出维度来定义。在输入方面，启动和获取行为执行的必要信息而必需的提示。在输出方面，行为的结果(即与任务相关的动作结果)，例如网球运动投球的轨迹和目标。

每个技能元素行为类别的表现特征可以通过一些标称条件和操作范围来定义。给定动作实例的条件由条件相对于其标称条件的偏差给出。通常，与标称条件的偏差会导致结果变差。该误差信号可以用于推动支持性动作的校正，例如选手定位和准备动作需要为预期击球执行和结果创造有利的条件。

与执行条件相关，动作行为元素通常具有一些开始标准或条件。此外，与结果相关，这些行为可能具有一些终止标准。

不同的开放式运动任务或活动通过交互和技能元素的特定形式、实现任务目标所需的技能集的范围以及最终较大任务领域的一般几何和拓扑结构来自行区分。如上所述，任务和活动通常共享相似的分层结构，因此，较大的过程系统与图3描述的系统非常相似。因此，相同整体方法和形式的行为元素和系统体系结构可以用于其他活动或任务。

为了泛化该方法，有必要考虑影响系统范围的交互和组织的以下具体特征。在动作或执行层级，特定技能元素(自由度、感测和控制变量)。在定位和准备层级(环境控制层级)，与感知机制和一组提示的协调。最后，在任务层级，与技能元素部署相关联的排序和拓扑结构以实现较大任务目标。

图3中的分层交互模型从这些特征(捕捉基本技能元素及其特性)导出，并因此泛化到各种动作活动领域。可以为其他动作活动领域导出类似的元素和特征。该系统和方法还可以部署用于人机系统、视频游戏或虚拟现实系统，包括模拟器(例如，用于手术)。

VIII.II滑雪

为了扩大这些规范中提出的分层技能模型的适用性，该部分简要描述了滑雪应用的一些考虑因素。滑雪表示网球运动的补充示例，具有一些独特的特征，例如其广阔的地形环境。滑雪者通过需要规划和协调才能到达特定目的地的各种动作序列在地形环境中行进。目的地通常被视为较大任务目标。

滑雪概述

图34示出了滑雪者在较大地形环境中的动作和感知行为。图中示出了滑雪者沿着相对于局部地形元素的路径执行的转弯序列，并过渡到通往目的地的不同地形元素。下面考虑了两种主要类型的动作行为，即转弯动作和用于转弯之间过渡的更一般的动作元素。根据地形和动作条件，例如坡度、速度和曲率，转弯动作有不同的形式。直线段也可以视为技能中的行为元素，但是它们的行为技术性较低，并且通常不被视为动作，因为它们表示相对平衡。

与网球运动类似，行为的一个重要方面是与环境的交互。在给定时间的滑雪者行为参考局部地形元素示出(图34和图35)。较大的地形几何形状可以通过平面元素等离散地形元素和相关联行为来描述。可以使用各种形式的地形模型，尤其是对于滑道雪墩等较不平坦的地形。该示例中使用的离散地形平面主要是出于说明目的。在较不平坦的地形中，行为仍然可以描述为地形几何形状与转弯行为之间的某种关系。在崎岖地形等具有较强随机特征的地形中，动作行为与地形的连续性关系较小；该行为依赖于转弯顶点等离散特征。

任务交互模型的一个关键方面是如何获得动作技能元素以支持各种任务和环境交互。滑雪者获得一系列各种类型的技能元素。在滑雪运动中，这些技能元素对应于用于绕过地形环境的动作。这些动作包括不同类型的转弯(滑移、卡宾转弯)以及其他动作，例如实现过一系列地形特征和条件所需的穿越。与网球运动类似，即使在同一类别(例如，卡宾转弯)中，滑雪者可能会获得不同的等级来应对一系列条件和结果。

一系列动作类别是空间行为语言的元素。这意味着一系列无限维条件和结果可以通过一组有限的行为来实现。应当记住的是，每个类别的行为元素在一系列有限的条件和结果内操作(与图6相比)。这些元素用于较高层级的功能，包括规划、感知和学习，并促使实现某种形式的“任务离散化”(如图8所示)。

与网球运动一样，这些动作是感测-运动模式。对操作环境的控制(在地形中的何处以及如何部署动作)以及对动作的控制(转弯动作的执行)决定了它们如何在地形中部署。前者由全局感知和规划功能(任务层级态势感知)执行，后者由更局部的感知和决策机制执行。

与网球运动一样，滑雪者必须遵循行为序列来定位和设置身体和滑雪板，以成功执行转弯动作。与击球阶段类似，转弯具有不同的阶段，这主要是由于生物限制和动作功能特性。图35还示出了转弯入口、转弯顶点和转弯出口。转弯顶点通常对应于最大转弯执行点(就倾斜角、反作用力、转弯速率而言)。

滑雪动作功能特征

由于影响人类主体的生物限制在动作领域中是恒定的，因此预计总体动作行为分层组织在组织层级上是相似的，即使对于不同的活动领域也是如此。例如，通过将网球运动和滑雪进行比较，可以做出以下类比：

由于转弯运动的最快阶段与前摆类似，因此两者都太快而无法涉及大脑皮层反馈，例如，它们根据运动程序和皮层下感测-运动功能开环执行。因此，它们需要准备阶段以为执行创造条件。

具体地，将转弯出口与入口之间的时间段(图35)视为与姿态设置和准备类似的准备动作类型是合理的，包括与局部环境的同步(参见图35中对预期转弯入口和顶点地形位置的视觉注意力)。应当记住的是，该阶段为相应执行阶段准备条件。

从转弯入口到转弯顶点的阶段可以与网球运动中的前摆和击球撞击阶段进行比较。该阶段涉及快速交互，因此预计主要是开环执行的。正上所述，这是决定大部分转弯结果的阶段。从顶点到出口的阶段可以与随球动作和回位阶段进行比较，这会导致新的就绪状态。在静态或准静态条件的情况下，滑雪者可以直接执行类似的转弯，以形成周期性转弯序列。

此外，与用于定位选手击球时相对于来球的步法(图2)类似，滑雪还涉及旨在在地形环境中定位主体的动作，以便为主要转弯动作创造适当的可供性。这些被视为过渡动作，如图34所示。此类动作可以将转弯段与可变定时相结合，以引导滑雪者处于正确的状态，从而拦截下一个转弯。

动作交互的功能结构决定了支持动作行为协调的系统的拓扑结构(例如，参见图12；对于网球运动，参见图9和图11)。更具体地，该功能结构决定了主要行为和支持性行为，以及最终定义协调策略和较大分层体系结构的控制体系结构，如图15所示的网球运动。

系统分层结构

图3示出了与分层动作组织相关联的一般系统流程。关键在于，可以为滑雪和其他开放式运动技能描述与网球运动类似的分层体系结构，如图15所示。此外，应当记住的是图28，其中示出了分层结构并突出显示了有助于增强的功能。图3中滑雪的主要区别在于动作元素的细节及其与环境元素相关的典型排序结构(如图34所示)。

应当记住的是，在这些规范中，考虑了三个主要组织层级。在最高层级，任务规划、转弯序列和其他动作，以绕过地形元素和障碍物，从而使滑雪者进入有利的中间状态(即，子目标)以实现最终目标(例如，目的地)。在中间层级，协调即时动作序列，为执行动作创造有利的条件，包括定时和与即时元素(例如，交互以产生转弯的地形特征)的协调。与来球交互的击球一样，转弯是与即将到来的环境元素的交互。该层级涉及创建动态环境条件、定时和与局部环境的同步。在最底层级，动作的运动执行。

中间层级可以描述为执行控制层级，负责协调动作元素序列以实现局部子目标或状态。如前所述，区分不同的环境条件(包括动态和静态/准静态)很有帮助。当环境处于静态/准静态时，状态是周期性转弯序列。例如，在这些条件下，决策的一个方面是滑雪者相对于滑降线的路径，这决定了执行转弯动作的坡度(图34)。在每个此类地形元素中，如果滑雪者不改变其相对于滑降线的转弯序列或路径，则行为保持在其准静态状态。因此，在静态或准静态条件下，滑雪者可以重复该行为以产生周期性行为。只要地形保持不变并且滑雪者相对于滑降线保持相同的路径，这就是可能的。

图35示出了滑雪者沿着相对于滑降线的新路径过渡到不同的转弯动作或过渡到新的地形元素。如图34所示，滑雪者通过指定子目标在地形元素之间过渡。在该示例中，子目标指定进入下一个地形元素和段的转弯入口点。最终，这些较大段的序列产生总体任务结果，例如，到达山上某处的特定目的地。滑雪中的子目标可以被视为类似于网球运动交换中的投球目标，其中投球目标决定了比赛状态的演变。下面简要讨论了规划过程，遵循与网球运动相同的生态原则。

感知功能

关于感知功能，类似于网球示例，并且遵循图3中的分层层级，区分用于读取地形环境和创建用于规划的所谓态势感知的感知功能；执行层级的感知功能，允许在当前规划周期内通过地形来定向和协调行为；以及技能元素执行层级的感知功能，其是在整个转弯过程中实时调整执行所需要的。

图34示出了较大地形中的凝视向量，以确定障碍物和地形条件，例如到新地形元素的过渡点。图35示出了相对于与地形交互相关联的特征的凝视向量，包括转弯入口和转弯顶点位置。整个动作元素执行过程中的局部交互也可能基于光流和周边视觉的其他机制。

任务层级规划

在任务层级，规划取决于所获得的一系列技能元素，即由技能元素决定滑雪者如何表现环境和任务。与网球运动中的比赛状态类似，滑雪活动状态包括滑雪者相对于地形环境及其元素的当前动作(图34)。该较大任务状态必须包含确定较大轨迹的计划所需的信息，例如子目标和实现子目标的动作序列。

规划过程可以表述为一种后退地平线过程，其中滑雪者考虑未来的有限地平线，该有限地平线足够长以确定当前动作，但不能太长而超出感知极限和/或工作记忆。一种更合理的实现方式是滑雪者学习类似于图13所示的网球运动中比赛状态的不同环境配置(活动状态)的行为模式。应当记住的是，该过程受到生态决策的启发，需要滑雪者获得一组捕捉一系列环境配置和对应动作的模板。然后，滑雪者可以从记忆中检索与当前感知模式对应的状态及其行为模板，从而可以快速做出决策。此外，应当记住的是，这些模板由前向模型来描述。

如图14A和图14B所示，当前比赛状态与下一比赛状态之间的转换决定了支持性动作行为的序列。在静态条件下，活动状态保持相似，并且支持性行为可以遵循相同的行为模式，从而导致周期性行为。

环境离散化和评估

与网球运动一样，一系列环境交互和相关联动作行为取决于滑雪者的经验和技能水平。遵循与网球运动中相同的逻辑，技能元素与环境的交互涉及任务层级过程的环境表示。因此，表征行为模式和相关联地形环境可以为技能评估提供基础。

更具体地，主体在环境中可以执行的动作和行为决定了主体如何感知和构建活动和环境的心理表示，包括比赛状态和前向模型。例如，转弯动作及其环境的特征(例如，包括曲率、速度、坡度)决定了一系列范围和特定技能水平的滑雪者可以通过的地形类型。

与网球运动一样，通过在不同条件和地形下从主体那里获得足够的滑雪数据，可以确定图15中模型的组成部分，该模型全面捕捉了主体的技能。然后，可以遵循与针对网球运动详细描述的相同整体方法，使用这些量进行评估、诊断和增强。

综合评估的主要元素是前向模型、协调策略和逆模型(针对技能中的不同动作元素)。应当记住的是，前向模型描述了地形特征和配置以及一组决策之间的关系。在滑雪运动的情况下，这对应于滑雪者视野和范围内的地形元素的配置，包括可能的障碍物，以及滑雪者在这些配置中一直使用的所产生的一组可能的轨迹，如图34所示。每种配置可以具有一个或多个选项(不考虑滑雪者没有解决方案的配置)。可以详细描述该组轨迹，例如动作元素序列以及子目标的形式(参见图34)。

协调策略描述了动作元素的排序方式，这包括动作元素行为相对于与任务环境交互和环境特征相关联的关键事件的协调(有关在网球运动交换期间的动作元素的协调，请参见图34和图12)。

逆模型描述了主体使用的一系列动作技能元素的条件、技术和结果之间的关系，包括各种类型的转弯和过渡动作。

应当注意的是，前向模型、协调策略和逆模型还可以包括感知行为，例如与环境元素相关的视觉注意力模式(参见图34和35)。

评估和诊断基于对这些模型的评估、它们与参考模型(例如，从群体数据导出)以及可以根据领域知识(例如，滑雪教练专家)确定的规范性模型的比较。

滑雪行为增强

与网球运动类似，可以在整个分层结构中部署增强(例如，参见图28A至图28B)，每个层级具有不同的重点和增强形式。在滑雪运动中，增强所需的关键功能是环境感知、转弯元素的协调和部署，以及自然地与行为执行相关联的各个方面。因此，使用增强现实(AR)等技术的感知增强预计非常适合环境交互充当表现主要部分的应用。

与网球运动一样，可以在系统分层结构的不同层级实施一系列增强。图32示出了针对网球运动的总体体系结构。对于滑雪，该分层结构与规划前向参考模型、规划周期内行为序列内的协调策略以及不同元素和层级的参考模型保持相同。在滑雪运动中，主要区别在于行为元素和环境元素的定义，以及如何根据环境动态和结构来定义规划周期。

在任务层级，参考前向模型可以帮助滑雪者计划规划周期内地形环境的转弯序列(包括由子目标指定的选项)。这些提示元素可以使用增强现实眼镜叠加在视觉场景上。

在执行控制层级，参考协调策略可以帮助滑雪者协调动作元素序列。例如，在过渡到新地形元素或改变路径的情况下，增强可以帮助定位和准备转弯。具体地，可以将提示叠加在视觉场景上，以帮助滑雪者协调转弯动作阶段与关键环境特征。

最后，在运动执行层级，参考逆模型可以针对身体运动的协调，以实现期望的转弯结果。考虑到特定环境元素(地形特征)和身体部分配置，转弯内的行为可以通过转弯入口、顶点和出口的定时和位置来指定。

与网球运动实施例类似，也可以使用自然语言口头提供增强。表21A至表21E中描述的用于网球运动的一组类似指令可以适于滑雪和其他娱乐、专业和职业开放式运动任务和活动。最后，还可以使用基于信号的音频和触觉形式。这些主要适用于定时、验证或警告信号。

滑雪运动和其他开放式运动活动的增强系统实现依赖于与网球运动中类似的一组过程(图30)。应当记住的是，活动元素处理(A)确定相关活动和行为元素；活动识别和跟踪确定相对于环境的活动状态和动作元素序列中的阶段；增强处理器(C)根据提示法则确定增强特征；增强生成器确定增强元素，包括视觉和/或口头提示，以及用于听觉和触觉通信的可能的信号提示；最后，增强通信系统负责向主体发送提示元素。这些过程的运作原理与网球运动相同。这些过程主要必须适应不同的环境以及行为元素的动态和生物力学特征。

滑雪感测和测量

与大多数开放式运动任务一样，滑雪的一个关键方面是与物理环境的直接交互。因此，除了滑雪者身体和设备的测量之外，关于环境的测量结构也是改进评估和增强的关键。

可以将一个或多个运动传感器固定到设备和/或身体部分。滑雪板和/或滑雪靴中的一个或两个上的传感器至少可以提供关于滑雪者的动作行为的信息。此外，还会在服装中嵌入越来越多的测量解决方案。

所谓的第一人称摄像机从主体的有利位置提供关于环境的关键信息。可以使用一台或多台摄像机。立体视觉可以获取深度信息，这有利于对地形进行精确地建模。可以使用其他专用深度传感器，例如LIDAR或飞行时间摄像机。此外，还可以使用摄像机或视觉传感器来获取滑雪者动作的测量结果。

通常组合传感器数据来估计滑雪者-环境系统的行为。对于滑雪，包括与局部环境的关系的姿态估计主要依赖于各个部分(例如，腿、躯干或手臂)的运动感测。在网球运动中，球场环境可以配备摄像机，以使用视频或其他视觉装置来捕捉整个身体动作。在滑雪运动中，可以使用视频但会受到更多限制，因为在大多数情况下，摄像机是固定在主体上的。可以使用胸部或身体其他部位的配备广角镜头的摄像机来捕捉身体部分和滑雪板。

最后，与网球运动一样，凝视跟踪传感器可以提供关于滑雪者注意力、感知和决策过程的必要信息。

VIII.III其他应用

本公开中描述的建模、评估和增强重点关注代理或主体与活动或任务和环境元素之间的物理交互。下面简要考虑了主体未完全嵌入活动环境中的两种应用：人机系统和视频游戏以及其他模拟。

在人机系统中，与任务环境的物理交互通常由某种机械系统介导。例如，在手术机器人中，外科医生的动作由机器人介导，机器人为外科手术所需的一系列交互提供各种末端执行器。人机应用的另一个示例是假肢，其中部分或全部交互由下肢或上肢假肢等假肢装置来实现。在视频游戏和模拟中，模拟任务和活动环境。在这些领域中，动作行为的表现形式多种多样；然而，动作元素是类似的感测-运动交互，并且行为组织遵循与直接物理交互类似的结构和组织。

人机系统

在机器人手术中，外科医生必须学习动作元素序列和一系列交互，这类似于开放手术。可以按照这些说明书中描述的相同方法来使用建模、评估和增强。动作元素是针对不同形式的交互和末端执行器获得的，例如切割、操纵、钻孔等，并且外科医生必须学习对不同动作元素进行排序，以实现手术子目标和目标。

在假肢应用中，可以使用建模、评估和增强来帮助主体学习动作交互，例如，在下肢假肢情况下的竞走或在上肢假肢情况下的操纵。

大多数人机系统的优点是系统通常已经配备仪器。例如，在手术机器人中，机器人控制系统需要测量机器人的动作和交互。通常，这些机器人系统还具有视频捕捉功能，可提供关于环境的附加信息。

模拟和视频游戏

在视频游戏和模拟中，模型和增强系统可以应用于视频游戏和其他模拟活动的一般空间中的一系列应用。这些包括：

·视频游戏设计：这些游戏可以基于网球运动等现实世界活动，其中模型可以用于评估和分析技能。增强可以用于辅助训练和/或产生游戏的附加效果。

·外科或其他专业技能(例如，机械装配)评估和增强系统可以用于表现增强和训练。例如，评估和增强可以重点关注获得动作技能元素库，以及用于较大任务执行的规划和执行功能。

·其他应用包括空间环境设计，例如室内设计和建筑。在这些应用中，模型和增强可以用于研究人们如何与空间或任务环境交互。

IX.示例

这些说明书描述了可以增强开放式运动技能表现和学习的一组功能，涵盖了通过分层交互模型对感知、规划和控制功能进行建模，并描述了如何应用该模型来评估和增强主体在整个行为分层结构中的行为。

说明书可以涵盖不同应用领域中的一系列实施例，并具有跨分层结构操作的评估和增强功能；例如，如图15和图30所示(与环境动态相关的任务规划、感知、动作执行和控制)。以下实施例和示例描述了作为其他专业、娱乐和职业开放式运动任务和活动代表的网球和滑雪运动的应用领域。这些其他领域中的示例和实施例的实现可以通过采用同一整体方法、替换合适的等同物以及做出本领域技术人员在阅读并理解本公开以及附图后所理解的其他改变来实现。

一般理念在于，扩展技能概念以包括具有一个或多个主要动作元素的动作元素序列，其中动作元素被建模以包括关于其操作条件和活动状态的信息。实施例基于具有一个或多个运动传感器的基于计算机的测量、评估和增强系统；例如，嵌入在网球拍、球拍、球杆、球棒或其他执行器中，或嵌入在智能手表等可穿戴设备中，或附着到滑雪板或滑雪靴、防滑鞋、鞋子或手套上，或附着到手臂、腿、脚或手上的传感器。

来自一个或多个传感器的测量结构提供了关于主体的活动状态的基本信息。例如，除了击球处理之外，球拍或其他执行器上或者手腕或其他身体部位上的传感器还可以用于执行基本活动识别和跟踪，包括识别选手或主体的定位动作和准备动作，例如整体转动。这些信息可以用于根据上下文标记所提取的击球或动作元素；例如，主体是否在运动，以及在击球或执行某个其他活动之前观察到的定位动作有多大。如本文所讨论的，关于上下文的这些信息用于测量、评估、诊断和增强主体的动作序列。

基于一个或多个传感器的动作序列的增强可以包括基本提示功能，例如关键准备动作的确认，包括用于收回球拍或以其他方式移动执行器的整体转动，或者用于以信号通知/触发行为元素的转身，例如在击球或与环境中的对象进行其他交互之后的回位步伐。

显然，环境交互提示的全部潜力利用感知主体的动作行为以及主体与环境的交互。基于一个或多个运动传感器的系统可以通过视频捕捉来扩展；例如，使用智能手机或在球场或其他环境中添加摄像机。或者，可以使用集成到智能手机和其他便携式计算设备中的摄像机和数据处理能力，或者使用与基于计算机的增强系统连接的专用摄像机，独立于可安装或可穿戴运动传感器数据来单独使用视频数据。

一种系统可以适于捕捉在环境中执行开放式运动任务或活动的主体的动作行为并对所述动作行为进行建模，其中所述系统包括：一个或多个动作传感器，被配置为捕捉并生成表征参与者的身体和身体部分动作的输出，包括一个或多个传感器，其被配置为相对于所述参与者的所述身体、所述身体部分和或末端执行器动作来捕捉与所述环境的元素和特征以及所述环境内的任务或活动对象的交互。所述系统可以包括处理器，所述处理器被配置为：从所述输出中提取和分割动作行为，所述动作行为表征用于在其相应环境中执行任务或活动的所述动作行为元素的序列；识别所述动作行为元素的层次关系；寄存所述动作行为元素及其结果与定义其操作环境的相应相关联环境元素，包括参与所述动作行为元素序列的所述任务或活动对象；以及表征相对于所述任务或活动对象以及所述环境的所述元素和特征的所述动作行为元素及其结果，包括所述动作行为元素序列的操作条件和结果。

一种用于对环境中的动作行为元素的交互和结果进行建模分析、评估和诊断的方法可以包括：捕捉参与者在所述环境中执行任务或活动时的身体和身体部分动作序列，其中一个或多个基于运动或视觉的传感器生成输出，所述输出表征所述参与者的所述身体和身体部分动作以及可能的末端执行器与所述环境的特征和所述环境内的任务或活动对象之间的交互。

所述方法可以包括：从所述传感器输出中提取表征所述交互和执行的动作行为元素的动作特征和属性，所述动作行为元素包括所述参与者的动作技术、执行的操作条件以及所述身体和身体部分动作序列的结果。

所述方法可以包括：通过基于层次关系以及所述动作特征和属性的组合聚集和分类所述动作行为元素来构建模型，并且对于所述模型中的每个元素，执行以下操作：针对从定位、设置条件、站位、执行、动作表现和所述结果的效率选择的方面来分析动作元素类别。

所述方法可以包括：捕捉所述动作行为元素的逆模型并确定协调策略的执行功能的模型，所述逆模型指定描述用于实现期望结果并给定主要条件的所述动作技术，所述执行功能提供描述所述动作元素相对于所述环境的所述任务或活动对象和元素的行为动作元素的协调策略。

所述方法可以包括：确定识别协调策略的模式，并且通过确定识别动作元素与设置条件的协调、所述参与者的所述动作技术以及所述身体和身体部分动作序列的所述结果的缺陷组合的模式，来使用所述逆模型和所述协调策略对所述参与者执行技能评估和诊断。

本公开涉及代表性示例和实施例。如本领域技术人员已知的，可以做出改变并且可以替换等同物以使这些教导适应不同的问题和应用。本发明不限于所公开的特定示例，并且包括属于所附权利要求书的语言内的所有实施例。

Claims (31)

1.一种系统，所述系统包括：

一个或多个动作传感器，适于捕捉在操作环境中执行开放式运动任务或活动的主体的动作行为并对所述动作行为进行建模，其中所述一个或多个动作传感器被配置为生成输出，所述输出表征所述主体的身体部分和末端执行器动作，以及所述主体与所述操作环境的特征以及所述操作环境内的一个或多个任务或活动对象的交互；

增强处理器。被配置为：

从所述输出中提取和分割动作行为元素，所述动作行为元素表征由所述主体在所述操作环境内的所述任务或活动中执行的所述动作行为元素的序列：

识别所述动作行为元素之间的层次关系；

基于所述层次关系，相对于所述操作环境的所述特征生成所述动作行为元素和相关联结果的寄存，包括响应于所述末端执行器动作的所述动作行为元素序列和所述任务或活动对象的运动；以及

基于所述寄存，袁征相对于所述任务或活动对象以及所述操作环境的所述特征的所述动作行为元素和相关联结果，包括与所述动作行为元素相关联的结果：以及

用户界面，被配置为响应于由所述增强处理器表征的所述动作行为元素的序列和相关联结果来生成增强反馈。

2.根据权利要求1所述的系统，其中所述增强反馈被选择来指定所述主体通过所述末端执行器动作来执行所述任务或活动的行为。

3.根据权利要求2所述的系统，其中所述动作行为元素的所述寄存包括定位动作元素、准备或设置动作元素和回位动作元素，并且其中所述结果表示与所述动作行为元素相关联的所述操作环境的所述特征的变化。

4.根据权利要求2所述的系统，其中所述处理器被配置为确定所述主体的参与者设置，所述参与者设置包括所述身体部分中的一个或多个身体部分相对于所述主体的站位，以及所述末端执行器动作中的一个末端执行器动作相对于所述任务或活动对象中的一个或多个任务或活动对象的接触点或击球区信息。

5.根据权利要求2所述的系统，其中所述任务或活动对象包括球，所述末端执行器动作涉及球拍，所述操作环境的所述特征包括球场分区或边界线以及球网相对于所述主体的位置。

6.根据权利要求1所述的系统，其中所述处理器被配置为根据所述动作行为元素的寄存确定所述操作环境的所述特征中的一个或多个特征，所述寄存基于所述相应身体部分和末端执行器动作，相对于所述一个或多个特征和/或所述任务或活动对象中的一个或多个任务或活动任务，来袁征所述主体的姿态。

7.根据权利要求1所述的系统，其中所述动作行为元素定义了所述主体在执行所述任务或活动时的转弯动作，并且所述操作环境的所述特征定义了所述主体附近的局部地形，以及：

其中所述结果中的一个或多个结果响应于所述转弯动作定义了所述主体附近的所述局部地形的变化：或

其中所述末端执行器动作响应于所述参与者相对于所述主体附近的所述局部地形的速度或方向；以及

其中所述增强反馈被选择来提示所述主体基于所述地形实现或改进所述相关联结果中的一个相关联结果。

8.根据权利要求1所述的系统，其中所述操作环境的所述特征包括从滑道雪墩、门或天然障碍物选择的一个或多个地形元素，并且其中所述寄存相对于所述一个或多个地形元素定义了所述主体的局部平面。

9.根据权利要求1所述的系统，其中所述一个或多个传感器包括视频传感器，所述视频传感器被配置为生成所述输出，用于相对于所述操作环境的所述特征中的一个或多个特征或者相对于所述任务或活动对象中的一个或多个任务或活动对象测量所述主体的凝视向量。

10.一种用于操作根据权利要求1所述的系统的方法，所述方法包括：

估计主体的活动状态：

识别所述主体的动作行为元素和与操作环境的特征的交互以及相应结果；

使用描述所述主体的期望行为的参考模型，合成定义增强反馈的一个或多个方面的提示法则，所述增强反馈包括提示，所述提示被选择来：

提示所述主体在所述操作环境内协调序列中的所述动作行为元素，所述操作环境被选择用于执行所述动作行为元素序列以实现任务或活动中的结果中的一个或多个结果；

提示所述主体定位所述动作行为元素以与所述操作环境的任务或活动对象或特征中的一个或多个任务或活动对象或特征同步；

提示所述主体准备或设置所述动作行为元素以与所述操作环境的任务或活动对象或特征中的一个或多个任务或活动对象或特征同步；以及

提示所述主体执行所述动作行为元素以与所述操作环境的任务或活动对象或特征中的一个或多个任务或活动对象或特征同步，并实现或改进所述相应结果中的选定结果。

11.根据要利要求10所述的方法，其中所述增强反馈被选择用于提示所述主体执行以下各项中的一项或多项：在所述操作环境内定位身体部分动作：为所述序列中的所述身体部分动作计时；或突出显示所述操作环境的所述特征中的一个或多个特征或所述操作环境内的所述任务或活动对象的相关提示。

12.根据权利要求1所述的系统或根据权利要求10所述的方法，其中所述增强反馈包括一个或多个实时提示，所述一个或多个实时提示包括视觉、音频或语言信号，所述视觉、音频或语言信号被选择来帮助所述主体定位所述身体部分动作，用于在执行所述任务和/或活动期间规划所述动作行为元素序列。

13.根据权利要求10所述的方法，其中一个或多个传感器包括一个或多个运动传感器，所述一个或多个运动传感器安装在所述任务或活动对象中的一个或多个任务或活动对象上或由所述主体佩戴。

14.一种环境感测和跟踪系统，所述环境感测和跟踪系统包括：

视觉传感器系统，具有一个或多个摄像机，所述一个或多个摄像机被配置为响应于具有一个或多个环境特征的操作环境内的一个或多个代理的动作来生成传感器数据；

视觉处理器，被配置为基于所述传感器数据识别所述操作环境内的所述一个或多个代理和一个或多个相关联任务或活动对象，并且生成适于跟踪所述代理中的一个或多个代理和相关联任务或活动对象相对于环境特征的交互的输出：

增强处理器，被配置为：

从所述输出生成任务或活动模式，所述任务或活动模式包括在由所述代理中的一个或多个代理相对于所述相关联任务或活动对象和环境特征执行的序列中定义的动作行为元素，其中所述一个或多个代理的所述动作由所述动作行为元素相对于一个或多个相关联结果来表征；

从所述任务或活动模式生成动态任务模型，其中所述动作行为模式以及与所述任务或活动对象或环境元素的相关联交互描述活动状态；以及

从所述动态任务模型生成增强反馈，其中所述增强反馈描述所述活动状态中选定的一个活动状态。

15.根据权利要求14所述的系统，其中所述增强处理器被配置为从所述动态任务模型生成任务层级的策略图，所述任务层级的策略图描述所述活动状态中选定的一个活动状态在未来时间段或周期内的演变。

16.根据权利要求14所述的系统，其中所述动作行为元素包括由所述代理中的一个或多个所述代理在实现所述交互中的一个或多个交互时进行的末端执行器动作。

17.根据权利要求14所述的系统，其中所述动作行为模式序列描述所述一个或多个代理的所述动作，所述一个或多个代理包括球拍运动选手和对手，所述选手和所述对手与所述任务或活动对象的投球交互，所述任务或活动对象包括所述操作环境中的球，该操作环境包括球场。

18.根据权利要求17所述的系统，其中：

所述动作行为模式序列还描述所述选手和/或所述对手对所述投球交互的准备和执行：或

其中所述动态任务模型适于所述增强处理器生成所述选定活动状态作为比赛状态，所述比赛状态适于网球选手和/或对手在所述投球交互的交换序列上规划或评估网球战略。

19.根据权利要求14所述的系统，其中所述任务或活动模式包括由所述代理中的一个代理在所述操作环境的局部地形元素中执行的转弯动作序列，以及在所述转弯动作中的任何转弯动作之间执行的一个或多个过渡动作。

20.根据权利要求14所述的系统，其中所述代理中的一个或多个代理是滑雪者，并且所述动态任务模型适于所述增强处理器生成所述选定活动状态，用于规划或评估所述滑雪者在所述操作环境的局部地形中执行的转弯动作序列。

21.根据权利要求14所述的系统，其中所述任务层级的策略图至少部分由在所述活动状态中的一个或多个活动状态之间定义的状态转移概率来描述，并且其中所述状态转移概率基于隐马尔可夫模型(HMM)。

22.根据权利要求14所述的系统，其中所述增强处理器被配置为使用深度神经网络来表示所述任务层级的策略图，和/或分析所述任务层级的策略图以利用此类神经网络来描述所述选定活动状态。

23.根据权利要求14所述的系统，其中所述增强处理器被配置为分析所述任务层级的策略图以确定参考前向模型，所述参考前向模型适于预测所述选定活动状态在未来活动时间段或周期内的演变。

24.根据权利要求14所述的系统，其中所述任务层级的策略图和所述参考模型适于所述增强处理器生成所述增强反馈作为所述代理中的一个或多个代理的提示信号。

25.根据权利要求24所述的系统，其中所述提示信号适于识别所述代理中的一个或多个代理的任务策略，所述任务策略描述以下各项：执行所述动作行为元素中的一个动作行为元素；选择所述一个动作行为元素的一个或多个目标：或实现或改进所述相关联结果中的一个或多个相关联结果。

26.一种用于对从事开放式运动任务的主体实施和传递增强的系统，其中所述系统包括：

具有存储器的处理器，所述处理器被配置用于从传感器系统接收数据，所述传感器系统被配置用于在环境中获取关于从事所述开放式运动任务的所述主体的行为的数据，所述处理器和所述存储器还被配置为执行：

使用动作行为模式的动态任务模型，其中动作元素描述所述环境中的一个或多个代理的行为状态以及相关联任务和环境元素和对象；以及

活动识别过程，包括朝向目标的动作技能元素的序列，以及对所述序列中的技能元素和阶段的预测和检测；

提示处理器，使用由任务策略图、协调策略和逆模型给出的参考行为来确定要跨行为分层结构更改的行为特征，所述行为特征包括针对作为动作序列的总体计划及其对应子目标、针对行为元素的协调以及针对基础动作元素的结果和动作执行；以及

提示生成器，将要跨所述行为分层结构更改的所述行为特征转换为提示元素；以及

发送适合人类信息处理系统中的一个或多个人类信息处理系统的提示的装置。

27.根据权利要求25所述的系统，其中所述提示元素使用增强现实视觉系统来发送。

28.根据权利要求26所述的系统，其中所述提示元素被选择来增强对任务或活动环境的一个或多个元素或特征的感知，从而提供对动作行为的验证或指令。

29.根据权利要求25所述的系统，其中所述提示元素使用口头提示来发送关于所述执行的指令或评论。

30.根据权利要求25所述的系统，其中所述提示元素使用对信息进行编码的听觉和/或触觉提示来发送行为验证或指令。

31.一种用于对环境中的动作行为元素的交互和结果进行建模分析、评估和诊断的方法，所述方法包括：

捕捉参与者在所述环境中执行任务或活动时的身体和身体部分动作序列，其中基于运动或视觉的传感器中的一个基于运动或视觉的传感器生成输出，所述输出表征所述参与者的所述身体和身体部分动作以及可能的末端执行器与所述环境的特征和所述环境内的任务或活动对象之间的交互；

从所述传感器输出中提取表征所述交互和执行的动作行为元素的动作特征和属性，包括所述参与者的动作技术、执行的操作条件以及所述身体和身体部分动作序列的结果：

通过基于层次关系以及所述动作特征和属性的组合聚集和分类所述动作行为元素来构建模型，并且对于所述模型中的每个元素，执行以下操作：

针对从定位、设置条件、站位、执行、动作表现和所述结果的效率选择的方面来分析动作元素类别；

捕捉所述动作行为元素的逆模型并确定所述协调策略的模型，所述逆模型描述用于在给定主要条件的情况下实现期望结果的所述动作技术，所述协调策略描述所述动作元素相对于所述环境的所述任务或活动对象和元素的行为：

以及通过确定识别动作元素与设置条件的协调、所述参与者的所述动作技术以及所述身体和身体部分动作序列的所述结果的缺陷组合的模式，来使用所述逆模型和所述协调策略对所述参与者执行技能评估和诊断。