CN114612511A - 基于改进域对抗神经网络算法的运动训练辅助决策支持系统 - Google Patents

基于改进域对抗神经网络算法的运动训练辅助决策支持系统 Download PDF

Info

Publication number
CN114612511A
CN114612511A CN202210231721.8A CN202210231721A CN114612511A CN 114612511 A CN114612511 A CN 114612511A CN 202210231721 A CN202210231721 A CN 202210231721A CN 114612511 A CN114612511 A CN 114612511A
Authority
CN
China
Prior art keywords
main module
neural network
domain
training
decision support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210231721.8A
Other languages
English (en)
Inventor
王天毅
潘秋雪
闫超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qiqihar University
Original Assignee
Qiqihar University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qiqihar University filed Critical Qiqihar University
Priority to CN202210231721.8A priority Critical patent/CN114612511A/zh
Publication of CN114612511A publication Critical patent/CN114612511A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Geometry (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

基于改进域对抗神经网络算法的运动训练辅助决策支持系统，本发明涉及运动训练辅助决策支持系统。本发明的目的是为了使得现有的运动训练辅助决策支持系统更加的实时、准确、稳定和高效，意将机器视觉与工业视频技术相结合。基于改进域对抗神经网络算法的运动训练辅助决策支持系统包括：图像采集主模块、图像处理主模块、目标识别与追踪主模块、神经网络主模块、训练任务主模块、检测主模块和运动训练辅助决策支持主模块；本发明用于运动训练辅助决策领域。

Description

基于改进域对抗神经网络算法的运动训练辅助决策支持系统
技术领域
本发明涉及运动训练辅助决策支持系统。
背景技术
机器视觉和工业视频技术具有实时、准确、稳定和高效等特点。目前的网络信息技术可以将网络信息技术与体育视频分析相结合，开发出一套成熟实用的体育教育训练系统。机器视觉和工业视频在体育训练系统中具有发展的可行性和必要性。目前，计算机视觉在体育运动中已经取得了一定的应用效果。此外，使用工业相机进行视频记录在中国也处于认知和起步阶段。运动训练视频分析可以科学地跟踪运动训练，提供有效的实时信息，方便体育教学和运动训练。体育视频有很多种。由于体育视频的相似性，以镜头视频为研究点。镜头运动分析实现了对圆形高速运动物体的连续视频跟踪[1]。
在当前的互联网技术中，信息管理模型有两种常用的软件平台架构，即客户端/服务器(简称C/S)模式和浏览器/服务器(简称B/S)模式[2]。客户端是指用户可以在PC或移动电子设备上安装和使用的应用软件。浏览器是一种浏览器，任何可以使用WEB浏览器的设备都可以通过域名或URL与服务器进行交互。服务器是指为用户提供数据服务的后台服务器。它的功能比较复杂，需要实现多并发(多线程)和大量数据的处理。它能够快速提高数值精度、数据传输和处理速度、内存容量、寻址范围等指标。而且，它在计算技术的发展上取得了质的飞跃，可以进行高速、大容量的数值计算仿真分析，以及大量的数据吞吐量，极大地提高了数据处理能力。超大并发处理的应用使同步技术有了更大的发展。3D动画和游戏更流畅，科学计算更强大，数据库更快，高容量支持人工智能，视频处理更轻松。64位计算机为处理大量数据提供了便利条件。由于体育信息数据量巨大，对计算机的要求非常高。64位计算机技术在一定程度上为体育信息化的发展提供了支撑。此外，64位计算机为体育视频分析提供了强大的速度和容量支持[3]。
机器视觉使用计算机来模拟人类视觉功能。它最重要的功能不是人眼的距离延伸，也不是清晰度的提高，而是人脑的智能分析功能，即从物体图像中提取特征信息、处理和理解、识别和跟踪的功能。此外，它还有利于生产发展，促进技术升级，最终用于实检实控。机器视觉技术在社会生产、图像分析、体育运动分析中的应用具有人工视觉无法比拟的优势。肉眼无法分析表面缺陷、形状和风向等细微细节。然而，机器视觉检测可以消除人为主观因素的干扰，减少判断和识别，并自动地描述自动指标的量化指标，避免检测结果因人而异，效率大大提高。此外，减少了检测和分类错误，在现实中有着巨大的应用空间，提高了生产率和分类精度。
视频数据的处理需要强大的计算能力和强大的计算模块。为了方便和节约成本，云计算技术已经发展到今天。通过云计算，各种科研和学术单位可以作为一个整体连接起来，提供良好的计算和分析能力。云计算包括计算模块、虚拟化模块、网络存储模块、网格计算方法、并行计算方法、分布式计算方法和负载平衡模块。它是一个大型的系统和理论工程，运行时间长，未来肯定会得到广泛应用。云计算设计的首要考虑是资源共享和信息共享。云计算的核心思想是将大量联网的计算资源进行整合和有机连接，并进行管理和调度。因此，云计算是一个服务级别的系统。
发明内容
本发明的目的是为了使得现有的运动训练辅助决策支持系统更加的实时、准确、稳定和高效，意将机器视觉与工业视频技术相结合，而提出基于改进域对抗神经网络算法的运动训练辅助决策支持系统。
基于改进域对抗神经网络算法的运动训练辅助决策支持系统包括：
图像采集主模块、图像处理主模块、目标识别与追踪主模块、神经网络主模块、训练任务主模块、检测主模块和运动训练辅助决策支持主模块；
所述图像采集主模块用于采集Kinect传感器获取的深度图像和RGB彩色图像，深度图像和RGB彩色图像作为训练集；
所述图像处理主模块用于对训练集中的深度图像和RGB彩色图像进行处理，获得处理后的数据；
所述目标识别与追踪主模块用于接收处理后的数据，将处理后的数据输入神经网络主模块A，识别用户的身体边界和手掌位置以及获得训练好的神经网络主模块A，基于用户的身体边界和手掌位置获得包含人体面积的最小圆，并将获得的包含人体面积的最小圆图像结果实时发送给训练任务主模块；
所述神经网络主模块A用于搭建MEL-DANN模型；
所述MEL-DANN模型为基于最大熵损失的域对抗神经网络模型；
所述训练任务主模块用于将接收到的图像输入神经网络主模块B，对接收到的图像进行集成，集成后图像与任务场景进行渲染，获得渲染后的结果以及获得训练好的神经网络主模块B；
所述神经网络主模块B用于搭建MEL-DANN模型；
人工对目标识别与追踪主模块识别的用户身体边界和手掌位置与任务场景进行匹配，获得人工匹配后的结果；当渲染后的结果与人工匹配后的结果一致，保留目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆；当渲染后的结果与人工匹配后的结果不一致，丢弃目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆；
所述检测主模块用于加载训练好的神经网络主模块A和神经网络主模块B，对Kinect传感器获取的待测试深度图像和RGB彩色图像进行处理，获得渲染后的结果；
当渲染后的结果与人工匹配后的结果一致，保留目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆；当渲染后的结果与人工匹配后的结果不一致，丢弃目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆；
所述运动训练辅助决策支持主模块用于将检测主模块保留的目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆输入运动训练辅助决策支持系统，获取康复训练、姿势识别，以及通过姿势和动作为体育运动用户制定训练计划。
本发明的有益效果为：
1、本发明提出了一种基于最大熵损失的域对抗神经网络(Domain AdversarialNeural Networks Based on Maximum Entropy Loss，MEL-DANN)，结合了最大熵损失对错误分类样本的处理能力，利用分类损失和域对抗损失来解决域间类别特征边缘分布不一致的问题。
2、本发明为了提高人机交互的效率，将提出的MEL-DANN方法与信息管理模型相结合，用于运动训练辅助决策支持系统的构建。
3、本发明为了提高运动训练辅助决策的效果，结合运动训练辅助的实际和需求，对运动训练的姿势和动作进行识别和分析，为提高运动训练效果提供系统支持。
此外，本发明以运动决策为核心，将不同难度的任务和视频训练引入研究。此外，本发明还利用仿真软件测量了不同场景下运动训练的正确性和反应延迟的数据，并将神经网络算法应用于运动训练辅助决策系统的构建。最后，本发明设计了运动训练识别和运动训练决策的实验研究，并通过仿真平台构建了智能系统。实验研究结果表明，本发明构建的系统具有良好的运动训练辅助决策功能。
本发明模拟了体育比赛的真实情况，以运动决策为核心，将不同难度的任务和训练视频引入研究，并使用仿真软件测量不同情况下对运动训练的正确决策率和反应时间。将神经网络算法应用于运动训练辅助决策系统，并结合运动训练的实际需求，对运动特征进行识别和分析。此外，还根据人体关节点坐标位置创建了一个包含人体信息的矩形边界框。在这个矩形框中，系统可以从人体关节点的位置出发，在邻域范围逐个遍历像素，观察像素是否属于人体区域，并与标准数据库进行比较，然后根据实际情况构建系统。最后，设计实验对系统模型进行验证。大量实验结果表明，本发明构建的智能系统具有良好的效果。
附图说明
图1为本发明提出的MEL-DANN的网络结构图；
图2为人体模型基本参数定义示意图；
图3为康复训练游戏及康复评估软件使用场景示意图，1为显示屏，2为Kinect传感器，3为计算机主机，4为用户，5为座位；
图4为系统客户端架构图；
图5为基于深度信息的人体目标分层原理图；
图6为运动训练检测的流程图；
图7为包含所有运动部分的最小圆示意图；
图8为运动训练系统框图；
图9为软件平台设计总体架构图；
图10为软件平台结构框图；
图11为柔性力敏传感器阵列示意图；
图12为数据采集子系统结构及功能模块实现图，其中AD代表模数转换，idt7206是一种电子芯片，GPIF是通用可编程接口；
图13为动作分级示意图；
图14为运动训练决策支持系统结构模型图；
图15为运动训练特征识别统计图；
图16为运动训练决策效果统计图。
具体实施方式
具体实施方式一：本实施方式基于改进域对抗神经网络算法的运动训练辅助决策支持系统包括：
图像采集主模块、图像处理主模块、目标识别与追踪主模块、神经网络主模块、训练任务主模块、检测主模块和运动训练辅助决策支持主模块；
所述图像采集主模块用于采集Kinect传感器获取的深度图像和RGB彩色图像，深度图像和RGB彩色图像作为训练集；
所述图像处理主模块用于对训练集中的深度图像和RGB彩色图像进行处理，获得处理后的数据；
所述目标识别与追踪主模块用于接收处理后的数据，将处理后的数据输入神经网络主模块A，识别用户的身体边界和手掌位置以及获得训练好的神经网络主模块A，基于用户的身体边界和手掌位置获得包含人体面积的最小圆，并将获得的包含人体面积的最小圆图像结果实时发送给训练任务主模块；
所述神经网络主模块A用于搭建MEL-DANN模型；
所述MEL-DANN模型为基于最大熵损失的域对抗神经网络模型；
所述训练任务主模块用于将接收到的图像输入神经网络主模块B，对接收到的图像进行集成，集成后图像与任务场景(已有的跑、跳、走等动作)进行渲染，获得渲染后的结果以及获得训练好的神经网络主模块B；
所述神经网络主模块B用于搭建MEL-DANN模型；
人工对目标识别与追踪主模块识别的用户身体边界和手掌位置与任务场景进行匹配，获得人工匹配后的结果；当渲染后的结果与人工匹配后的结果一致，保留目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆；当渲染后的结果与人工匹配后的结果不一致，丢弃目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆；
所述检测主模块用于加载训练好的神经网络主模块A和神经网络主模块B，对Kinect传感器获取的待测试深度图像和RGB彩色图像进行处理，获得渲染后的结果(包括图像处理主模块、目标识别与追踪主模块、神经网络主模块、训练任务主模块的功能)；
当渲染后的结果与人工匹配后的结果一致，保留目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆；当渲染后的结果与人工匹配后的结果不一致，丢弃目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆；
所述运动训练辅助决策支持主模块用于将检测主模块保留的目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆输入运动训练辅助决策支持系统，获取康复训练、姿势识别，以及通过姿势和动作为体育运动用户制定训练计划，并实现有效地训练控制提供有力的决策支持。
具体实施方式二：本实施方式与具体实施方式一不同的是，所述深度图像和RGB彩色图像包括用户运动姿势，用户的身体边界和手掌位置特征信息。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述对获取的深度图像数据和RGB彩色图像数据进行处理，获得处理后的数据；过程为：
将深度图像和RGB彩色图像转换为数组形式(利用Python的OpenCV库和numpy库实现图像到数组的转换)，获得处理后的数据。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述目标识别与追踪主模块用于接收处理后的数据，将处理后的数据输入神经网络主模块A，识别用户的身体边界和手掌位置，基于用户的身体边界和手掌位置获得包含人体面积的最小圆，并将获得的包含人体面积的最小圆图像结果实时发送给训练任务主模块；具体过程为：
将接收到的处理后的数据输入神经网络主模块A，获取包含用户的矩形框，从矩形中心位置逐个遍历邻域像素，如果像素属于人体区域置1，直到遍历完矩形框中所有像素，即获得了人体区域的二值图像；根据人体区域的二值图像，找到了包含所有人体像素的最小的圆，并获得了该圆的坐标和圆半径，如图7所示。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述基于最大熵损失的域对抗神经网络模型为域对抗神经网络模型，域对抗神经网络模型的损失函数为：
Figure BDA0003538588220000061
其中，LD(Xs,Xt)为源域和目标域数据的判别损失，
Figure BDA0003538588220000062
为域对抗神经网络的目标函数，Xs为源域数据集，Xt为目标域数据集，M为特征提取网络，D为域判别网络，
Figure BDA0003538588220000063
为源域样本服从高斯分布的期望，xs为源域样本，ps(x)为源域样本服从的高斯分布，M(xs)为源域样本经过特征提取后的结果，R(M(xs))为源域样本首先经过特征提取网络，之后经过梯度反转层后的结果，D(R(M(xs)))为源域样本首先经过特征提取网络，之后经过梯度反转层，最后传入域判别网络后的输出结果，
Figure BDA0003538588220000064
为目标域域样本服从高斯分布的期望，xt为目标域样本，pt(x)为目标域域样本服从的高斯分布，M(xt)为目标域样本经过特征提取后的结果，R(M(xt))为目标域样本首先经过特征提取网络，之后经过梯度反转层后的结果，D(R(M(xt)))为目标域样本首先经过特征提取网络，之后经过梯度反转层，最后传入域判别网络后的输出结果。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述域对抗神经网络模型包括特征提取网络、分类器、梯度反转层、域判别网络；
特征提取网络提取特征，特征分别输入分类器和梯度反转层；梯度反转层输出的特征输入域判别网络。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述图像采集主模块用于采集Kinect传感器获取的深度图像和RGB彩色图像；具体过程为：
Kinect传感器获取的深度图像和RGB彩色图像存储在PC机上，图像采集主模块采集PC机上Kinect传感器获取的深度图像和RGB彩色图像。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述当渲染后的结果与人工匹配后的结果一致，保留目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆；将保留的目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆上传服务器进行保存。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，所述运动训练辅助决策支持主模块为决策支持系统DSS(在体育领域中决策支持系统的应用分析论文)；
所述DSS为Decision Support System。
其它步骤及参数与具体实施方式一至八之一相同。
具体实施方式十：本实施方式与具体实施方式一至九之一不同的是，所述运动训练辅助决策支持主模块包括实时采集子模块、三维场景子模块、数据分析和处理子模块、用户和设备信息管理子模块、后端服务器子模块；
所述用户和设备信息管理子模块用于记录Kinect传感器获取的待测试深度图像和RGB彩色图像包含的用户身体边界和手掌位置和包含人体面积的最小圆；
所述数据分析和处理子模块用于对用户和设备信息管理子模块记录的数据进行分析和处理；
所述三维场景子模块用于将经过数据分析和处理子模块分析和处理后的数据进行三维成像；
所述实时采集子模块用于对三维场景子模块获取的三维成像进行实时采集并保存；
所述后端服务器子模块用于保存实时采集子模块、三维场景子模块、数据分析和处理子模块、用户和设备信息管理子模块处理后的数据。
其它步骤及参数与具体实施方式一至九之一相同。
相关工作
通过“反馈”描述运动训练的过程。反馈通常指有意识地提供有关绩效或行为及其影响的信息，以促进行为改变的过程[4]。作为一个复杂的生物控制系统，人体有着复杂的控制过程[5]，现代传感技术可以模拟这些控制功能来实现反馈(王宝华，2001)。首先，作为一个有生命的有机体，人体有组织的控制和调节功能。这些功能的实现是大量反馈回路相互作用的结果。人体的运动是人体神经肌肉感觉系统综合作用的结果。反馈信息的来源必须是多模式整合的结果。其次，人类与环境之间的反馈交互是基于知识的。由于人类的行为都是在思维的控制下进行的，反馈信息也是在思维的控制下被识别的，因此反馈信息的来源也必须是多模态集成的结果。现代传感技术和信息采集技术有效地拓展和实现了多模态集成生物信息反馈技术及其在人体运动中的应用。反馈训练技术是指使用传感器、电子设备等作为反馈元件的技术。临床上称为反馈训练疗法，包括视觉、听觉、电刺激、振动刺激等[6]。然而，现有可穿戴传感器技术提供的客观生物信息反馈可以有效揭示一个人的健康和运动规律，并提供关键信息，但不能作为直接反馈训练的反馈元素[7]。因此，在现有的反馈训练系统中，传感技术的主要作用是提供反馈训练的主导因素，即有效、准确的生物反馈信息。
目前的可穿戴传感技术可以实时监测和记录人体这些生理状况和运动活动的信息[8]，实现对神经、肌肉、器官等生理指标信息的采集，如心电图(ECG)、肌电图(EMG)、心率(HR)，体温、皮肤电活动(EDA)、动脉血氧饱和度(Sp02)、血压(BP)、呼吸频率(RR)[9]。生物信息反馈有助于早期检测和诊断多种心血管、神经和肺部疾病。然而，人体也通过感觉器官接收外部信息的控制。最常见的感官包括触觉、视觉、听觉、味觉和嗅觉。现有的反馈方法大多不能提供人体与外界交互的感官反馈信息。因此，相关针对性研究受到越来越多的关注。通过观察和控制有效的生物反馈信息，有助于设定反馈训练的目标。此外，它还用于优化人体运动和康复训练。通过融合多种感官的多模式训练，使人体进入健康安全的运动环境，调节唤醒水平，提高自控力。德国Zebris公司开发了基于足底力敏感传感器的balorie-coordination身体协调训练系统和Rehawalk步态训练系统。这些系统展现了基于柔性力敏传感的视觉和听觉训练相结合的模式。Pietschmann等人使用Rehawalk系统，在髋关节置换术后的康复训练中使用基于足底力量敏感性的视觉反馈训练。结果表明了类似训练系统的有效性。Afzal等人设计了一个针对人类触觉信息的多模态反馈训练系统[10]，证明该系统可以提供更加个性化的训练方法。
在比较不同视觉、听觉和触觉反馈方法的有效性时，Epstein等人发现视觉反馈对静态行为变化的影响更明显，而触觉反馈对动态行为变化的影响最大[11]。触觉是人类用来传递反馈信息的最常见和最直接的感觉。触觉反馈信息通常来自关节或连接发生变化后的应用，例如脚的抬起角度、胫骨的角度和躯干的倾斜[12]。此外，它还作用于头部躯干倾斜训练[13]和前臂及膝关节减重训练[14]。力敏传感技术已被证明是实现人体运动中触觉反馈信息的最合适方式，它在生物信息反馈中起着关键作用，如跌倒检测、步态和姿势分析以及睡眠评估。在触觉反馈的基础上，加入视觉和听觉，构建多模态反馈训练，可以优化人体运动，促进健康[15]。
无监督域适应问题
无监督域适应方法涉及域和任务两个概念。迁移学习经典综述中的相关定义如下：
域D由特征空间x和边际概率分布P(X)组成，即D＝{X,P(X)}，其中X＝{x1,...,xn}∈x。
预测模型是一个未知函数，但可以从由{xi,yi}组成的训练集中学习，其中xi∈X,yi∈y。从统计学的角度来看，预测模型f(x)＝P(y|x)可以解释为条件概率分布。无监督域适应可以定义如下：
(无监督域适应)：给定一个标记的源域
Figure BDA0003538588220000091
一个未标记的目标域
Figure BDA0003538588220000092
和一个目标学习任务TT。无监督域适应的目标是减少目标域预测模型f(x)在DS≠DT条件下的泛化误差。
监督学习的目标是找到一个预测函数f∈F来描述一个随机特征向量X和一个随机目标向量Y之间的关系，其中X，Y服从联合概率分布P(X,Y)。为此，我们首先定义一个损失函数L来惩罚预测函数的输出f(x)和真实目标y之间的误差，其中(x,y)～P。然后，最小化数据分布P上损失函数的均值，即预期风险[16]：
R(f)＝∫L(f(x),y)dP(x,y) (1)
在大多数实际情况下，联合分布P是未知的，只有训练数据集
Figure BDA0003538588220000101
其中(xi,yi)～P。使用训练集D可以获得P的近似分布，称为经验分布：
Figure BDA0003538588220000102
其中，δ(x＝xi,y＝yi)是以(xi,yi)为中心的狄拉克分布。利用经验分布，我们可以得到预期风险的近似结果，即经验风险：
Figure BDA0003538588220000103
函数f通过最小化公式(3)来学习的，通常被称为经验风险最小化原则。虽然很容易计算，但经验风险只反映了有限样本数据集上函数f的结果。当使用大型神经网络学习函数f时，如果模型的可训练参数与数据集中的样本数相比超过一定大小，则神经网络将通过记忆训练数据最小化公式(3)，这将导致过拟合，使泛化能力变差。
为了提高模型的泛化能力，最常用的方法是使用正则化方法。一种常用的方法是在损失函数中添加正则化项，以限制模型的规模，并减少在模型中起作用的参数数量。常用的正则化项是模型参数的L1范数和L2范数，损失函数变为[17]：
Figure BDA0003538588220000104
其中，L0是原始损失函数，ω是神经网络的参数，λ为权重参数，控制正则化项的强度。添加适当的正则化项可以有效地提高模型的泛化能力。然而，这种方法只有在训练数据和测试数据的分布一致时才有效。当训练数据和测试数据之间存在分布差异时，Ben-David给出了分类模型对测试数据的误差上限。
M是从数据空间X到特征空间Z的特征提取函数，F是VC维d的假设空间，
Figure BDA0003538588220000105
和
Figure BDA0003538588220000106
分别是源域和目标域的特征空间。RT(f)是DT上f的预期风险，
Figure BDA0003538588220000107
是Ds上f的经验风险。如果有m个样本以独立同分布的方式从源域Ds进行采样和标记，那么对于假设空间中的任何f∈F，至少有1-δ的概率，从而：
Figure BDA0003538588220000111
其中，e是自然对数，A是假设空间F中的函数，该函数使源域和目标域的预期风险之和最小化。f*是两个域中预期风险的总和，
Figure BDA0003538588220000112
是两个特征分布之间的距离A。
有两种方法可以缩短两个域之间的特征分布距离。第一种也是最直接的方法是在损失函数中为两个域特征分布之间的距离添加一个惩罚项。第二种方法是利用对抗训练在特征提取网络之后加入一个域判别网络，以指导特征提取网络的训练。本发明采用对抗训练的方法来解决无监督域适应问题。所涉及的内容将在下一节详细介绍。
神经网络的训练一般采用梯度下降算法完成。常用的梯度下降算法包括小批量梯度下降、动量梯度下降、RMSProp和Adam。
神经网络的优化目标是最小化损失函数的值。利用神经网络的可导性，梯度下降法可以用来完成神经网络的训练。神经网络参数更新公式为[18]：
Figure BDA0003538588220000113
θt+1＝θt-ηgt (7)
其中，n是数据集中的样本数，θ是神经网络的参数集，L(θ；xi；yi)是单个样本输入神经网络后损失函数的输出值，gt是神经网络一次迭代的梯度，η是学习率。这种采样方式每次都需要输入整个数据集来计算一次梯度，效率不高。因此，我们可以使用小批量方法来计算数据集的部分样本梯度：
Figure BDA0003538588220000114
其中，m是小批量样品的数量，m<n。
虽然使用小批量计算梯度可以获得整个数据集的无偏估计，但当m较小时，连续两次迭代中的梯度可能会发生振荡并改变梯度的方向，从而导致训练不稳定[19]。为了解决这个问题，可以在参数更新时引入动量机制。此更新将结合之前的更新方向进行更新：
vt＝γvt-1+ηgt (9)
θt+1＝θt-vt (10)
其中，γ是该更新中最后一次梯度更新强度的权重。
在小批量梯度下降和动量梯度下降算法中，神经网络的每个参数的学习率是相同的，并且每个参数也可以被赋予不同的学习率，以提高训练效率。
RMSProp通过引入梯度平方的滑动平均值来调整每个参数的学习速率。参数更新公式为：
Gt＝λGt-1+(1-λ)gt⊙gt (11)
Figure BDA0003538588220000121
其中，⊙是向量对应位置的乘积，∈是避免分母为0的修正项。
Adaml82将RMSProp方法中的梯度计算公式替换为动量梯度，更新后的公式为：
vt＝β1vt-1+(1-β1)gt (13)
Figure BDA0003538588220000122
Figure BDA0003538588220000123
Figure BDA0003538588220000124
Figure BDA0003538588220000125
其中，公式(15)和公式(16)是偏差校正公式，用于补偿v和G向量初始化为零时引起的梯度估计偏差。RMSProp和Adam算法根据梯度值动态调整参数更新幅度，都属于自适应学习率算法[20]。
与优化算法密切相关的是学习率的调整策略。与自适应学习率算法中对每个参数赋予不同的学习率不同，学习率调整策略是指随着训练次数的增加，调整整体学习速率η的值，使神经网络能够跳出局部极小值或加速收敛。有两种常用的学习率动态调整策略：指数下降和余弦退火。
指数下降策略意味着学习率随着训练轮数的增加而降低，以加快神经网络的收敛速度。学习率的动态调整采取以下形式：
ηt＝η0×γg(t) (18)
其中，η是初始学习率，γ是一个实数，取值为0-1，γ∈(0,1)，t是训练轮数变量，g是一个随训练轮数增加而增加的函数。g可以有多种形式。例如，g可以被视为连续函数g(t)＝0.03×(t-1)或分段函数：
Figure BDA0003538588220000131
余弦退火策略的学习率曲线类似于余弦函数的曲线，它随训练轮数的增加而增加或减少。它的主要优点是可以跳出局部极小值。学习率调整公式为[21]：
Figure BDA0003538588220000132
其中，ηmin是学习率的最小值，T是余弦周期的1/4。
研究了一种用于图像分类的深度卷积神经网络。该网络由编码器M和分类器C组成，其中M是由多层卷积运算组成的特征提取网络，并且图像数据输入到编码器后的输出值M(x)为向量。当C为无偏移参数的全连接层时，分类器C的权重参数是θC＝[ω1,ω2,...mωK]，其中K是类别数，权重中每个向量的维数是编码器输出的特征维数。在执行分类时，分类器计算
Figure BDA0003538588220000134
并通过softmax函数输出样本x属于每个类别的概率。如果我们将编码器的输出归一化为
Figure BDA0003538588220000133
则分类器中的每个权重向量都可以被视为每个类别的特征中心向量。域适应问题中的分类器使用源域的样本特征进行训练，因此权重向量更偏向于源域类别特征的中心。通过调整分类器中的权重向量，使其从源域的聚类中心移动到目标域的聚类中心，可以实现两个域的特征条件分布对齐，如图1所示[22]。
1.固定编码器M的参数，通过最大化目标域样本的预测概率的熵来更新分类器C。
2.固定分类器C的参数，更新编码器M，最小化源域样本的分类损失。
第一步的熵计算公式为：
Figure BDA0003538588220000141
其中，AA是分类器在目标字段中输出每个类别的概率。损失函数是这个熵的负值：
Figure BDA0003538588220000142
该熵值表示目标字段中未标记样本的特征与分类器的权重向量之间的相似度。最大化该熵值将使分类器的权重向量w移动到目标场的特征聚类中心。
在最大化熵的过程中，编码器M的参数保持不变，这将使分类器的权重向量与源域特征的类别中心不一致。需要使用源字段数据x来修改编码器以匹配更新的类别中心。该过程是第二步的训练过程，使用标准的分类损失：
Figure BDA0003538588220000143
其中，C(M(xs))是xs的类别概率。
在本发明中，这种方法被称为最大熵损失(Maximum Entropy Loss，MEL)自适应。在实际应用中，分类器不仅限于单层网络结构，而且可以使用任何一层神经网络来实现。
如果两个域中特征的边缘分布不同，通过聚类对不同域中的特征进行条件分布对齐可能会导致错误分类。因此，我们引入了一种基于最大熵适应的域判别网络，以确保域间特征边缘分布的一致性。为了优化训练过程，我们在网络中引入了DANN中的梯度翻转层，以便在梯度下降过程中同时训练编码器和域判别网络。整个网络由4部分组成：特征提取网络M、分类器C、梯度反转层R和域判别网络D。
由于梯度反演层可以训练特征提取网络M和域判别网络D，通过最小化域判别损失，特征提取网络M可以将两个域的特征分布距离提取到更大的距离，从而使域判别网络更容易判别。因此，为了缩小两个域的特征分布之间的距离，我们只需要在训练期间反转M的梯度即可。使用梯度反转层训练编码器和域判别器的损失函数为：
Figure BDA0003538588220000144
ME方法引入最大熵损失来减少半监督分类任务中的误分类问题，可以将其视为对误分类样本的“软”处理。基于最大熵损失的域对抗神经网络结合了最大熵损失处理误分类样本的能力，并利用分类损失和域对抗损失来解决域间类别特征边缘分布不一致的问题。
基于最大熵损失域对抗神经网络的运动训练辅助决策支持系统
根据人体运动生物力学理论(下图2)对人体基准轴、平面和关节旋转角度的定义，人体下肢运动系统可简化为包括髋关节、大腿股骨、膝关节、小腿胫骨、踝关节。因为在正常行走过程中，下肢在空间的往复屈曲和伸展是每个关节的主要运动形式，而内旋、外旋、内收和外展运动不明显。因此，为了便于建模，可以忽略下肢的摆动补偿运动，只考虑每个关节在矢状面上的平面运动。
图3是康复训练游戏和康复评估软件使用场景示意图。如图3所示，用户坐在座椅上，面对显示屏。我们使用Kinect跟踪用户的关节位置，以实现与虚拟场景的体感交互。
系统客户端由四个模块组成：数据采集模块、目标识别与跟踪模块、训练任务模块、用户权限与数据管理模块。首先，最前端是数据采集模块，负责获取由Kinect传感器采集的深度图像数据和RGB彩色数据。该模块对这些数据进行初步处理，将其转换为便于计算的数据格式，并将这些数据传输给目标识别和跟踪模块。目标识别与跟踪模块负责计算接收到的数据，在跟踪图像数据中识别用户的身体边界和手掌位置，并将计算结果实时发送给训练任务模块。训练任务模块将接收到的图像与任务场景进行集成和渲染，同时根据手掌的位置完成与任务场景的交互，并在训练过程中采集用户的数据。用户权限和数据管理模块负责控制用户的训练计划，保存和上传用户的训练数据。系统客户端架构如图4所示
当Kinect传感器采集范围内存在多个人体目标时，根据Kinect图像的深度距离信息，可以在三维空间中分割人体目标，即在深度方向上进行自适应距离分层。下面将使用深度和距离信息对人类目标进行自适应分层处理。具体分层的原理图如图5所示。图中的波峰和波谷是理想条件下的表示，实际情况中通常会存在一些毛刺和不均匀。
在本发明中，基于深度图像的人体位置检测的基本过程如图6所示。首先，该算法基于用户人体关节点的坐标位置创建包含人体信息的矩形边界框。然后，该算法开始从人体关节点位置逐个遍历像素到矩形边界框内的邻域，观察像素是否属于人体区域。如果满足条件，算法在二值图像中设置1，循环遍历所有需要遍历的相邻像素，直到数字为空，即获得了人体区域的二值图像。根据人体区域的二值图像，该算法找到了包含所有人体像素的最小的圆，并获得了该圆的坐标和圆半径，如图7所示。
本课题提出了一个运动训练系统，目的是通过姿势数据为体育工作者提供解决方案。该系统主要由姿态数据采集模块、无线通信模块和应用软件三部分组成。系统的总体设计框图如图8所示。
图9描述了该软件平台的组成，主要包括云服务器和PC客户端。C/S平台模型在客户端和服务器端分发数据和数据分析。这种分布式系统的优点是具有高度的内聚性和透明性。内聚性主要体现在每个客户机在数据方面都是高度自治的，并且都有一个本地数据库管理系统。用户体验方面的透明度意味着，在使用客户端软件时，他们不知道数据源是本地的还是远程的，而且他们也感觉不到系统是分布式的。在该系统中，传感器设备测量的数据存储在PC机上，部分有效数据上传到服务器，其他客户端可以通过服务器访问内容。
运动训练软件平台按其功能可分为四个模块：实时采集、三维场景、用户和设备信息管理、数据分析和处理。它还包括一个用于数据服务和数据安全的后端服务器。按功能划分的软件平台结构如图10所示
柔性力敏传感器阵列是系统实现预期的基础，如图11所示。在本设计中，传感器阵列分区域实施，以降低大面积传感器阵列的处理技术和质量控制难度。每个传感器阵列被划分成一个60*60的点阵，行和列方向均为2.25个敏感点/厘米.
当采集数据时，样本的足底压力分布信息被采集，这些数据以指定格式存储在指定路径的文件夹中。此外，通过基于时间域和空间域的去噪算法对采集的数据进行去噪，并通过数据聚类算法对去噪后的数据进行聚类，最终得到站在压力垫上的压力特征信息。该过程如图12所示。
图13是动作层次结构图。可以看出，运动训练辅助决策支持系统是以基本动作为基础的，而战术动作是由基本动作组合而成的。
运动训练是以赢得比赛为最终目标，它是一种多学科综合干预，多系统协调运行的探索性实践。最基本的结构模型如图14所示。教练员将外部信息(国内外最新发展、优秀运动员信息)和运动员基本信息(初始状态诊断、当前运动质量、技能、发展潜力等)交给决策支持系统。在此基础上，制定训练计划，并以指导信息的形式提供给运动员。运动员根据教练员的指导进行具体的实践活动，并将活动效果反馈给教练员。然后，教练根据决策支持系统的分析结果，重新调整训练计划，以提高训练效果。最后，决策支持系统的最终信息发布给外界。运动训练是一个动态发展的过程，但始终保持着这种运动训练结构。
系统性能验证
我们构建了一个基于改进域对抗神经网络算法的运动训练辅助决策支持系统，并对系统的性能进行了验证。构建的系统主要利用神经网络算法对运动训练行为进行识别和纠正，并对训练数据进行处理以供决策。本发明设计的实验主要研究运动训练识别和运动训练决策。此外，本发明还通过仿真平台搭建了一个智能系统，从网络上获取了大量的运动训练视频，实验结果如表1、表2、图15、图16所示。
表1运动训练特征识别统计结果
序号 精度(％) 序号 精度(％) 序号 精度(％) 序号 精度(％)
1 86.77 15 85.67 29 86.20 43 88.07
2 91.41 16 93.76 30 90.85 44 84.19
3 87.58 17 96.26 31 85.52 45 95.73
4 94.10 18 93.10 32 92.60 46 88.56
5 88.79 19 96.71 33 84.85 47 87.43
6 96.09 20 95.38 34 83.79 48 86.04
7 89.87 21 84.07 35 83.91 49 87.81
8 85.20 22 89.85 36 85.48 50 94.49
9 91.95 23 84.77 37 94.92 51 88.05
10 92.53 24 93.82 38 89.92 52 93.01
11 86.18 25 87.49 39 94.27 53 83.26
12 88.93 26 95.17 40 95.28 54 96.96
13 90.37 27 91.26 41 84.82 55 88.54
14 83.93 28 93.73 42 89.30 56 95.09
表2运动训练决策效果统计表
序号 正确决策率 序号 正确决策率 序号 正确决策率 序号 正确决策率
1 78.43 15 74.43 29 79.56 43 81.35
2 86.21 16 83.62 30 90.96 44 90.31
3 73.39 17 74.22 31 91.84 45 90.17
4 75.32 18 73.08 32 84.45 46 91.32
5 76.00 19 89.50 33 85.71 47 83.48
6 81.32 20 89.66 34 89.30 48 75.69
7 75.77 21 84.50 35 82.35 49 78.96
8 75.56 22 87.30 36 82.01 50 73.63
9 78.78 23 75.46 37 76.46 51 76.04
10 83.01 24 83.39 38 83.23 52 78.99
11 80.33 25 87.82 39 85.92 53 83.96
12 88.59 26 87.87 40 89.97 54 87.66
13 84.32 27 76.29 41 82.77 55 87.37
14 73.22 28 79.40 42 78.49 56 82.08
利用仿真软件测量不同情景下运动训练决策的正确率和响应数据，并将本发明提出的MEL-DANN算法应用于运动训练辅助决策系统的构建。设计实验主要研究了运动训练识别和运动训练决策。并通过仿真平台构建了一个智能系统。
研究结果表明，本发明构建的基于改进域对抗神经网络算法的运动训练辅助决策支持系统有助于提高运动训练效果，能够给出科学有效的指导意见，提高运动训练决策的可靠性。
参考文献
[1].Kimasi K,Shojaei V,Boroumand M R.Investigation of SafetyConditions at Gymnasia in Different Organizations[J].Journal of HumanitiesInsights,2019,3(02):70-74.
[2].Reinhart K,Wichmann B.The TuS Fortschritt Magdeburg-Neustadt(soccer section)in the GDR–an example of amateur socialist sport[J].Soccer&Society,2020,21(4):408-420.
[3].Abanazir C.E-sport and the EU:the view from the English BridgeUnion[J].The International Sports Law Journal,2019,18(3):102-113.
[4].Gerke A,Babiak K,Dickson G,et al.Developmental processes andmotivations for linkages in cross-sectoral sport clusters[J].Sport ManagementReview,2018,21(2):133-146.
[5].Pogrebnoy A I,Komlev I O.Sport institutions reporting to Ministryof Sport of Russian Federation:intellectual property,invention activity,patenting and legal consulting service analysis[J].Theory andPractice ofPhysical Culture,2018(2):2-2.
[6].Ilies D C,Buhas R,Ilies M,et al.Sport activities and leisure inNature 2000 protected area-Red Valley,Romania[J].Journal of EnvironmentalProtection and Ecology,2018,19(1):367-372.
[7].Kondrukh AI.Practical shooting sport in Russian sport system:essential specifications and features[J].Theory and Practice of PhysicalCulture,2017(5):27-27.
[8].Giulianotti R,Numerato D.Global sport and consumer culture:Anintroduction[J].Journal of consumer culture,2018,18(2):229-240.
[9].Gurinovich AG,Petrova G V.Key priorities of physical educationand sport sector budgeting laws and regulations in the Russian Federation[J].Theory and Practice of Physical Culture,2019(4):34-34.
[10].Mountjoy M,Costa A,Budgett R,et al.Health promotion throughsport:international sport federations’priorities,actions and opportunities[J].British Journal of Sports Medicine,2018,52(1):54-60.
[11].Pulido J J,Sánchez-Oliva D,Sánchez-Miguel P A,et al.Sportcommitment in young soccer players:a self-determination perspective[J].International Journal of Sports Science&Coaching,2018,13(2):243-252.
[12].Cristiani J,Bressan J C,Pérez B L,et al.CLUBS SOCIO-DEPORTIVOSEN UN MUNICIPIO
Figure BDA0003538588220000182
ESPACIO,EQUIPOS Y CONTENIDOS[Sport clubs in Brazil:facilities,equipment and content in][Clubes socio-esportivos em municípiobrasileiro:
Figure BDA0003538588220000181
equipamentos e conteúdos][J].E-balonmano.com:Revista deCiencias del Deporte,2017,13(2):105-112.
[13].Happ E,Schnitzer M,Peters M.Sport-specific factors affectinglocation decisions in business to business sport manufacturing companies:aqualitative study in the Alps[J].International Journal of Sport Managementand Marketing,2021,21(1-2):21-48.
[14].Castro-Sánchez M,Zurita-Ortega F,Chacón-Cuberos R.Motivationtowards sport based on sociodemographic variables in university students fromGranada[J].Journal of Sport and Health Research,2019,11(1):55-68.
[15].Hadlow S M,Panchuk D,Mann D L,et al.Modified perceptual trainingin sport:a new classification framework[J].Journal of Science and Medicine inSport,2018,21(9):950-958.
[16].Du Plessis J H,Berteanu M.The importance of prosthetic devicesin sport activities for Romanian amputees who compete in Paralympiccompetitions[J].Medicina Sportiva:Journal of Romanian Sports MedicineSociety,2020,16(1):3197-3204.
[17].Stylianou M,Hogan A,Enright E.Youth sport policy:The enactmentand possibilities of‘soft policy’in schools[J].Sport,Education and Society,2019,24(2):182-194.
[18].Richmond S A,Donaldson A,Macpherson A,et al.Facilitators andbarriers to the implementation of iSPRINT:a sport injury prevention programin junior high schools[J].Clinical journal of sport medicine,2020,30(3):231-238.
[19].Ruihley B J,Greenwell T C,Mamo Y,et al.Increase CustomerRetention:An Examination of Quality and its Effects on the Retention of SportParticipants[J].Journal of Sport Behavior,2019,42(3):365-388.
[20].DiFiori J P,Green G,Meeuwisse W,et al.Return to sport for NorthAmerican professional sport leagues in the context of COVID-19[J].BritishJournal of Sports Medicine,2021,55(8):417-421.
[21].Emery C A,Black A M,Kolstad A,et al.What strategies can be usedto effectively reduce the risk of concussion in sport？A systematic review[J].British journal of sports medicine,2017,51(12):978-984.
[22].Lee O C,Yusof A,Geok S K,et al.Volunteerism,OrganizationalJustice and Organizational Commitment:The Case of Sport Coaches in MalaysianSchools[J].International Journal of Academic Research in Business and SocialSciences,2017,7(7):387-401.
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.基于改进域对抗神经网络算法的运动训练辅助决策支持系统，其特征在于：所述系统包括：
图像采集主模块、图像处理主模块、目标识别与追踪主模块、神经网络主模块、训练任务主模块、检测主模块和运动训练辅助决策支持主模块；
所述图像采集主模块用于采集Kinect传感器获取的深度图像和RGB彩色图像，深度图像和RGB彩色图像作为训练集；
所述图像处理主模块用于对训练集中的深度图像和RGB彩色图像进行处理，获得处理后的数据；
所述目标识别与追踪主模块用于接收处理后的数据，将处理后的数据输入神经网络主模块A，识别用户的身体边界和手掌位置以及获得训练好的神经网络主模块A，基于用户的身体边界和手掌位置获得包含人体面积的最小圆，并将获得的包含人体面积的最小圆图像结果实时发送给训练任务主模块；
所述神经网络主模块A用于搭建MEL-DANN模型；
所述MEL-DANN模型为基于最大熵损失的域对抗神经网络模型；
所述训练任务主模块用于将接收到的图像输入神经网络主模块B，对接收到的图像进行集成，集成后图像与任务场景进行渲染，获得渲染后的结果以及训练好的神经网络主模块B；
所述神经网络主模块B用于搭建MEL-DANN模型；
人工对目标识别与追踪主模块识别的用户身体边界和手掌位置与任务场景进行匹配，获得人工匹配后的结果；当渲染后的结果与人工匹配后的结果一致，保留目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆；当渲染后的结果与人工匹配后的结果不一致，丢弃目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆；
所述检测主模块用于加载训练好的神经网络主模块A和神经网络主模块B，对Kinect传感器获取的待测试深度图像和RGB彩色图像进行处理，获得渲染后的结果；
当渲染后的结果与人工匹配后的结果一致，保留目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆；当渲染后的结果与人工匹配后的结果不一致，丢弃目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆；
所述运动训练辅助决策支持主模块用于将检测主模块保留的目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆输入运动训练辅助决策支持系统，获取康复训练、姿势识别，以及通过姿势和动作为体育运动用户制定训练计划。
2.根据权利要求1所述基于改进域对抗神经网络算法的运动训练辅助决策支持系统，其特征在于：所述深度图像和RGB彩色图像包括用户运动姿势，用户的身体边界和手掌位置特征信息。
3.根据权利要求2所述基于改进域对抗神经网络算法的运动训练辅助决策支持系统，其特征在于：所述对获取的深度图像数据和RGB彩色图像数据进行处理，获得处理后的数据；过程为：
将深度图像和RGB彩色图像转换为数组形式，获得处理后的数据。
4.根据权利要求3所述基于改进域对抗神经网络算法的运动训练辅助决策支持系统，其特征在于：所述目标识别与追踪主模块用于接收处理后的数据，将处理后的数据输入神经网络主模块A，识别用户的身体边界和手掌位置，基于用户的身体边界和手掌位置获得包含人体面积的最小圆，并将获得的包含人体面积的最小圆图像结果实时发送给训练任务主模块；具体过程为：
将接收到的处理后的数据输入神经网络主模块A，获取包含用户的矩形框，从矩形中心位置逐个遍历邻域像素，如果像素属于人体区域置1，直到遍历完矩形框中所有像素，即获得了人体区域的二值图像；根据人体区域的二值图像，找到了包含所有人体像素的最小的圆，并获得了该圆的坐标和圆半径。
5.根据权利要求4所述基于改进域对抗神经网络算法的运动训练辅助决策支持系统，其特征在于：所述基于最大熵损失的域对抗神经网络模型为域对抗神经网络模型，域对抗神经网络模型的损失函数为：
Figure FDA0003538588210000021
其中，LD(Xs,Xt)为源域和目标域数据的判别损失，
Figure FDA0003538588210000022
为域对抗神经网络的目标函数，Xs为源域数据集，Xt为目标域数据集，M为特征提取网络，D为域判别网络，
Figure FDA0003538588210000023
为源域样本服从高斯分布的期望，xs为源域样本，ps(x)为源域样本服从的高斯分布，M(xs)为源域样本经过特征提取后的结果，R(M(xs))为源域样本首先经过特征提取网络，之后经过梯度反转层后的结果，D(R(M(xs)))为源域样本首先经过特征提取网络，之后经过梯度反转层，最后传入域判别网络后的输出结果，
Figure FDA0003538588210000031
为目标域域样本服从高斯分布的期望，xt为目标域样本，pt(x)为目标域域样本服从的高斯分布，M(xt)为目标域样本经过特征提取后的结果，R(M(xt))为目标域样本首先经过特征提取网络，之后经过梯度反转层后的结果，D(R(M(xt)))为目标域样本首先经过特征提取网络，之后经过梯度反转层，最后传入域判别网络后的输出结果。
6.根据权利要求5所述基于改进域对抗神经网络算法的运动训练辅助决策支持系统，其特征在于：所述域对抗神经网络模型包括特征提取网络、分类器、梯度反转层、域判别网络；
特征提取网络提取特征，特征分别输入分类器和梯度反转层；梯度反转层输出的特征输入域判别网络。
7.根据权利要求6所述基于改进域对抗神经网络算法的运动训练辅助决策支持系统，其特征在于：所述图像采集主模块用于采集Kinect传感器获取的深度图像和RGB彩色图像；具体过程为：
Kinect传感器获取的深度图像和RGB彩色图像存储在PC机上，图像采集主模块采集PC机上Kinect传感器获取的深度图像和RGB彩色图像。
8.根据权利要求7所述基于改进域对抗神经网络算法的运动训练辅助决策支持系统，其特征在于：所述当渲染后的结果与人工匹配后的结果一致，保留目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆；将保留的目标识别与追踪主模块识别的用户的身体边界和手掌位置和包含人体面积的最小圆上传服务器进行保存。
9.根据权利要求8所述基于改进域对抗神经网络算法的运动训练辅助决策支持系统，其特征在于：所述运动训练辅助决策支持主模块为决策支持系统DSS；
所述DSS为Decision Support System。
10.根据权利要求9所述基于改进域对抗神经网络算法的运动训练辅助决策支持系统，其特征在于：所述运动训练辅助决策支持主模块包括实时采集子模块、三维场景子模块、数据分析和处理子模块、用户和设备信息管理子模块、后端服务器子模块；
所述用户和设备信息管理子模块用于记录Kinect传感器获取的待测试深度图像和RGB彩色图像包含的用户身体边界和手掌位置和包含人体面积的最小圆；
所述数据分析和处理子模块用于对用户和设备信息管理子模块记录的数据进行分析和处理；
所述三维场景子模块用于将经过数据分析和处理子模块分析和处理后的数据进行三维成像；
所述实时采集子模块用于对三维场景子模块获取的三维成像进行实时采集并保存；
所述后端服务器子模块用于保存实时采集子模块、三维场景子模块、数据分析和处理子模块、用户和设备信息管理子模块处理后的数据。
CN202210231721.8A 2022-03-09 2022-03-09 基于改进域对抗神经网络算法的运动训练辅助决策支持系统 Pending CN114612511A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210231721.8A CN114612511A (zh) 2022-03-09 2022-03-09 基于改进域对抗神经网络算法的运动训练辅助决策支持系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210231721.8A CN114612511A (zh) 2022-03-09 2022-03-09 基于改进域对抗神经网络算法的运动训练辅助决策支持系统

Publications (1)

Publication Number Publication Date
CN114612511A true CN114612511A (zh) 2022-06-10

Family

ID=81861128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210231721.8A Pending CN114612511A (zh) 2022-03-09 2022-03-09 基于改进域对抗神经网络算法的运动训练辅助决策支持系统

Country Status (1)

Country Link
CN (1) CN114612511A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115688407A (zh) * 2022-10-26 2023-02-03 华中科技大学 一种基于人体感官敏感度的雪车雪橇运动仿真方法及系统
RU2808360C1 (ru) * 2023-05-23 2023-11-28 Общество с ограниченной ответственностью "ЗЕЛЕНОГРАДСКИЙ ЦЕНТР КИНЕЗИТЕРАПИИ" Способ диагностики функциональных нарушений коленного сустава
CN117274656A (zh) * 2023-06-06 2023-12-22 天津大学 基于自适应深度监督模块的多模态模型对抗训练方法
CN117437459A (zh) * 2023-10-08 2024-01-23 昆山市第一人民医院 基于决策网络实现用户膝关节髌骨软化状态分析方法
CN117577266A (zh) * 2024-01-15 2024-02-20 南京信息工程大学 基于力触觉手套的手部康复训练监测系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115688407A (zh) * 2022-10-26 2023-02-03 华中科技大学 一种基于人体感官敏感度的雪车雪橇运动仿真方法及系统
CN115688407B (zh) * 2022-10-26 2024-03-19 华中科技大学 一种基于人体感官敏感度的雪车雪橇运动仿真方法及系统
RU2808360C1 (ru) * 2023-05-23 2023-11-28 Общество с ограниченной ответственностью "ЗЕЛЕНОГРАДСКИЙ ЦЕНТР КИНЕЗИТЕРАПИИ" Способ диагностики функциональных нарушений коленного сустава
CN117274656A (zh) * 2023-06-06 2023-12-22 天津大学 基于自适应深度监督模块的多模态模型对抗训练方法
CN117274656B (zh) * 2023-06-06 2024-04-05 天津大学 基于自适应深度监督模块的多模态模型对抗训练方法
CN117437459A (zh) * 2023-10-08 2024-01-23 昆山市第一人民医院 基于决策网络实现用户膝关节髌骨软化状态分析方法
CN117437459B (zh) * 2023-10-08 2024-03-22 昆山市第一人民医院 基于决策网络实现用户膝关节髌骨软化状态分析方法
CN117577266A (zh) * 2024-01-15 2024-02-20 南京信息工程大学 基于力触觉手套的手部康复训练监测系统
CN117577266B (zh) * 2024-01-15 2024-04-30 南京信息工程大学 基于力触觉手套的手部康复训练监测系统

Similar Documents

Publication Publication Date Title
Lobov et al. Latent factors limiting the performance of sEMG-interfaces
CN114612511A (zh) 基于改进域对抗神经网络算法的运动训练辅助决策支持系统
Avola et al. An interactive and low-cost full body rehabilitation framework based on 3D immersive serious games
Harris et al. A survey of human gait-based artificial intelligence applications
Maselli et al. A whole body characterization of individual strategies, gender differences, and common styles in overarm throwing
Wang Sports training auxiliary decision support system based on neural network algorithm
Bačić et al. Computational intelligence for qualitative coaching diagnostics: Automated assessment of tennis swings to improve performance and safety
Liu et al. The application of human–computer interaction technology fused with artificial intelligence in sports moving target detection education for college athlete
Dorschky et al. Perspective on “in the wild” movement analysis using machine learning
Rajendran et al. A survey on yogic posture recognition
Biró et al. Machine learning on prediction of relative physical activity intensity using medical radar sensor and 3D accelerometer
Gharaei et al. Optimizing the setting of medical interactive rehabilitation assistant platform to improve the performance of the patients: A case study
Kumar et al. Human Activity Recognition (HAR) Using Deep Learning: Review, Methodologies, Progress and Future Research Directions
Nie et al. The construction of basketball training system based on motion capture technology
Li et al. Design and application of blockchain and IoT-enabled sports injury rehabilitation monitoring system using neural network
Yan et al. A Review of Basketball Shooting Analysis Based on Artificial Intelligence
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
Shen Prediction simulation of sports injury based on embedded system and neural network
Jiang et al. Human-centered artificial intelligence-based ice hockey sports classification system with web 4.0
Acikmese et al. Artificially intelligent assistant for basketball coaching
Bruce et al. EGCN++: A New Fusion Strategy for Ensemble Learning in Skeleton-Based Rehabilitation Exercise Assessment
Wang et al. An intelligent data analysis-based medical management method for lower limb health of football athletes
Liu et al. A study of visual attention patterns of snow and ice athletes based on eye-tracking technology
Bibbò et al. Human Activity Recognition (HAR) in Healthcare
Yongmao et al. Application of wearable devices based on deep learning algorithm in rope skipping data monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination