CN117582643B - 基于虚拟现实的视听综合训练方法及系统 - Google Patents

基于虚拟现实的视听综合训练方法及系统 Download PDF

Info

Publication number
CN117582643B
CN117582643B CN202311759968.8A CN202311759968A CN117582643B CN 117582643 B CN117582643 B CN 117582643B CN 202311759968 A CN202311759968 A CN 202311759968A CN 117582643 B CN117582643 B CN 117582643B
Authority
CN
China
Prior art keywords
data
training
user
hand
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311759968.8A
Other languages
English (en)
Other versions
CN117582643A (zh
Inventor
张文
雷灵
张华�
黄芹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Sanrenxing Medical Technology Co ltd
Original Assignee
Guangzhou Sanrenxing Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Sanrenxing Medical Technology Co ltd filed Critical Guangzhou Sanrenxing Medical Technology Co ltd
Priority to CN202311759968.8A priority Critical patent/CN117582643B/zh
Publication of CN117582643A publication Critical patent/CN117582643A/zh
Application granted granted Critical
Publication of CN117582643B publication Critical patent/CN117582643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00Exercising apparatus specially adapted for particular parts of the body
    • A63B23/035Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
    • A63B23/12Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles
    • A63B23/16Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles for hands or fingers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0638Displaying moving images of recorded environment, e.g. virtual environment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0647Visualisation of executed movements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/50Force related parameters
    • A63B2220/56Pressure

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Rehabilitation Tools (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及数据交互技术领域,公开了一种基于虚拟现实的视听综合训练方法及系统,用于提高基于虚拟现实的视听综合训练的效率及准确率。方法包括:对模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集;实时采集目标用户的手部运动数据,对目标手部模型进行模拟动画生成,得到模拟动画数据;对视觉反馈数据集以及听觉反馈数据集进行数据筛选,得到目标视觉反馈数据及目标听觉反馈数据;将目标视觉反馈数据及目标听觉反馈数据通过虚拟现实展示终端展示给目标用户,对手部压力数据进行压力密度数据分析,得到压力密度数据,并基于压力密度数据通过训练手套对目标用户进行训练辅助控制。

Description

基于虚拟现实的视听综合训练方法及系统
技术领域
本发明涉及数据交互技术领域,尤其涉及一种基于虚拟现实的视听综合训练方法及系统。
背景技术
当前,虚拟现实(VR)技术在医学康复、运动训练等领域逐渐展现出强大的应用潜力。然而,传统的虚拟现实训练系统往往仅关注视觉和听觉层面的交互,缺乏对用户手部触觉和生理反馈的全面考虑。这导致了在模拟运动过程中,用户缺乏对真实触感的感知,以及系统无法充分获取用户的生理数据进行实时调整。
传统的虚拟现实训练系统往往忽视了用户手部的触觉信息,缺乏对手部模型的精准构建。同时,训练动作生成通常较为静态,缺乏个性化和动态性,无法满足用户多样化的训练需求。此外,对模拟运动任务的场景反馈数据分析往往缺乏对用户运动程度的深入评估,导致反馈信息的普适性和个性化有限。现有系统在实时采集用户生理反馈数据和模拟动画生成方面也存在一定的技术瓶颈,无法实现对用户训练过程的精准监控和调整。因此,亟需一种综合考虑触觉、视听和生理反馈的虚拟现实训练方法,以提高训练的全面性、个性化和实时性。
发明内容
有鉴于此,本发明实施例提供了一种基于虚拟现实的视听综合训练方法及系统,用于提高基于虚拟现实的视听综合训练的效率及准确率。
本发明提供了一种基于虚拟现实的视听综合训练方法,包括:通过预置的训练手套采集目标用户的触觉压力数据,并将所述触觉压力数据传输至三维模型构建算法对所述目标用户进行手部模型构建,得到目标手部模型;对所述目标用户进行用户标识识别,得到所述目标用户的用户标识信息,并通过所述用户标识信息对所述目标用户进行训练动作生成,得到训练动作集合;基于所述训练动作集合生成模拟运动任务,并对所述模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集;通过所述训练手套实时采集所述目标用户的手部运动数据,并根据所述手部运动数据对所述目标手部模型进行模拟动画生成,得到模拟动画数据;根据所述模拟动画数据对所述视觉反馈数据集以及所述听觉反馈数据集进行数据筛选,得到目标视觉反馈数据以及目标听觉反馈数据;将所述目标视觉反馈数据以及所述目标听觉反馈数据通过预置的虚拟现实展示终端展示给所述目标用户,并实时采集所述目标用户的手部压力数据;对所述手部压力数据进行压力密度数据分析,得到压力密度数据,并基于所述压力密度数据通过所述训练手套对所述目标用户进行训练辅助控制。
在本发明中,所述通过预置的训练手套采集目标用户的触觉压力数据,并将所述触觉压力数据传输至三维模型构建算法对所述目标用户进行手部模型构建,得到目标手部模型步骤,包括:通过所述训练手套采集目标用户的触觉压力数据,并对所述触觉压力数据进行时序信息提取,得到所述触觉压力数据的目标时序信息;对所述触觉压力数据进行压力位置标定,得到多个压力位置数据;基于多个所述压力位置数据对所述触觉压力数据进行空间位置标注,得到标注压力数据;基于所述目标时序信息,对所述标注压力数据进行压力分布分析,得到压力分布数据;基于所述压力分布数据对所述目标用户进行手部弯曲度分析,得到手部弯曲度数据;对所述目标用户进行手部形状数据采集,得到所述目标用户的手部形状数据;基于所述手部弯曲度数据,通过所述手部形状数据对所述目标用户进行手部模型构建,得到所述目标手部模型。
在本发明中,所述对所述目标用户进行用户标识识别,得到所述目标用户的用户标识信息,并通过所述用户标识信息对所述目标用户进行训练动作生成,得到训练动作集合步骤,包括:对所述目标用户进行用户标识提取,得到所述目标用户的用户ID数据;通过所述用户ID数据对所述目标用户进行用户信息采集,得到所述目标用户的历史用户信息;对所述历史用户信息进行关键词提取,得到多个信息关键词;基于多个所述信息关键词对所述目标用户进行用户训练类型匹配,得到目标用户训练类型;基于所述目标用户训练类型对所述目标用户进行用户表示识别,得到所述目标用户的用户标识信息;通过所述用户标识信息对所述目标用户进行训练动作生成,得到所述训练动作集合。
在本发明中,所述基于所述训练动作集合生成模拟运动任务,并对所述模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集步骤,包括:对所述训练动作集合进行动作类型拆分,得到所述训练动作集合对应的多个动作类型;基于多个所述动作类型,对所述训练动作集合进行关联动作组构建,得到多个关联动作组;分别对每个所述关联动作组进行训练程度分析,得到每个所述关联动作组的训练程度数据;基于每个所述关联动作组的训练程度数据,对多个所述关联动作组进行运动场景匹配,得到目标运动场景,并通过所述目标运动场景生成所述模拟运动任务;对所述模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集。
在本发明中,所述对所述模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集步骤,包括:对所述模拟运动任务进行三维运动关键点标定,得到关键点坐标集合;基于所述关键点坐标集合生成模拟运动数据,并根据所述模拟运动数据对所述目标手部模型进行模拟训练,得到模拟训练参数;对所述模拟训练参数进行手部运动角度分析,得到手部运动角度数据;根据所述手部运动角度数据进行视觉反馈数据分析,得到视觉反馈数据集;对所述视觉反馈数据进行听觉反馈数据匹配,得到所述听觉反馈数据集。
在本发明中,所述通过所述训练手套实时采集所述目标用户的手部运动数据,并根据所述手部运动数据对所述目标手部模型进行模拟动画生成,得到模拟动画数据步骤,包括:通过所述训练手套实时采集所述目标用户的手部运动数据,并对所述手部运动数据进行时序拆分,得到多组运动数据;分别对每组所述运动数据进行关键部位形状采集,得到每组所述运动数据对应的关键部位形状;对每组所述运动数据对应的关键部位形状进行运动范围标定,得到多个运动范围数据;基于多个运动范围数据,对所述目标手部模型进行动画元素构建,得到动画元素集合;对所述动画元素集合进行动画渲染,得到所述模拟动画数据。
在本发明中,所述对所述手部压力数据进行压力密度数据分析,得到压力密度数据,并基于所述压力密度数据通过所述训练手套对所述目标用户进行训练辅助控制步骤,包括:对所述手部压力数据进行空间变化数据分析,得到空间变化数据;对所述空间变化数据进行变化趋势分析,得到变化趋势数据;根据所述变化趋势数据对所述手部压力数据进行压力密度数据分析,得到所述压力密度数据;根据所述压力密度数据对所述目标用户进行实时训练强度分析,得到实时训练强度;基于所述实时训练强度对所述训练手套进行变化参数分析,得到变化参数集合;基于所述变化参数集合,通过所述训练手套对所述目标用户进行训练辅助控制。
本发明还提供了一种基于虚拟现实的视听综合训练系统,包括:
采集模块,用于通过预置的训练手套采集目标用户的触觉压力数据,并将所述触觉压力数据传输至三维模型构建算法对所述目标用户进行手部模型构建,得到目标手部模型;
识别模块,用于对所述目标用户进行用户标识识别,得到所述目标用户的用户标识信息,并通过所述用户标识信息对所述目标用户进行训练动作生成,得到训练动作集合;
分析模块,用于基于所述训练动作集合生成模拟运动任务,并对所述模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集;
生成模块,用于通过所述训练手套实时采集所述目标用户的手部运动数据,并根据所述手部运动数据对所述目标手部模型进行模拟动画生成,得到模拟动画数据;
筛选模块,用于根据所述模拟动画数据对所述视觉反馈数据集以及所述听觉反馈数据集进行数据筛选,得到目标视觉反馈数据以及目标听觉反馈数据;
展示模块,用于将所述目标视觉反馈数据以及所述目标听觉反馈数据通过预置的虚拟现实展示终端展示给所述目标用户,并实时采集所述目标用户的手部压力数据;
控制模块,用于对所述手部压力数据进行压力密度数据分析,得到压力密度数据,并基于所述压力密度数据通过所述训练手套对所述目标用户进行训练辅助控制。
本发明提供的技术方案中,通过训练手套采集目标用户的触觉压力数据,并将触觉压力数据传输至三维模型构建算法对目标用户进行手部模型构建,得到目标手部模型;对目标用户进行用户标识识别,得到目标用户的用户标识信息,通过用户标识信息对目标用户进行训练动作生成,得到训练动作集合;基于训练动作集合生成模拟运动任务,对模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集;实时采集目标用户的手部运动数据,并根据手部运动数据对目标手部模型进行模拟动画生成,得到模拟动画数据;根据模拟动画数据对视觉反馈数据集以及听觉反馈数据集进行数据筛选,得到目标视觉反馈数据以及目标听觉反馈数据;将目标视觉反馈数据以及目标听觉反馈数据通过虚拟现实展示终端展示给目标用户,并实时采集目标用户的手部压力数据;对手部压力数据进行压力密度数据分析,得到压力密度数据,并基于压力密度数据通过训练手套对目标用户进行训练辅助控制。在本申请方案中,通过训练手套采集目标用户的触觉压力数据,实现了对用户手部触觉信息的高效获取。将这些触觉压力数据传输至三维模型构建算法,有助于精准构建目标用户的手部模型,进而提供了一个真实而细致的虚拟手部表示。通过用户标识识别,能够根据个体特征对目标用户进行个性化的训练动作生成,形成了一个适应性强且多样化的训练动作集合。基于训练动作集合生成模拟运动任务,不仅能够提供全方位的运动挑战,还能通过场景反馈数据分析得到视觉和听觉反馈数据集,从而优化用户的感知体验。实时采集目标用户的手部运动数据,并以此为基础对目标手部模型进行模拟动画生成,为用户呈现生动、逼真的虚拟手部动作,提供了更具沉浸感的训练体验。通过对模拟动画数据进行筛选,得到了精炼的目标视觉和听觉反馈数据,有效减少了冗余信息,提高了反馈的针对性。将目标视觉反馈数据和听觉反馈数据通过虚拟现实展示终端展示给目标用户,为用户呈现了高度还原真实感的虚拟环境,同时实时采集目标用户的手部压力数据,使能够在用户参与训练的同时获取实时的生理反馈。对手部压力数据进行压力密度数据分析,得到了更深层次的用户生理状态信息,通过训练手套对目标用户进行训练辅助控制,实现了对用户训练过程的实时监控和调整,从而提升了训练的个性化和有效性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种基于虚拟现实的视听综合训练方法的流程图。
图2为本发明实施例中对目标用户进行训练动作生成的流程图。
图3为本发明实施例中一种基于虚拟现实的视听综合训练系统的示意图。
附图标记:
301、采集模块;302、识别模块;303、分析模块;304、生成模块;305、筛选模块;306、展示模块;307、控制模块。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,图1是本发明实施例的一种基于虚拟现实的视听综合训练方法的流程图,如图1所示,包括以下步骤:
S101、通过预置的训练手套采集目标用户的触觉压力数据,并将触觉压力数据传输至三维模型构建算法对目标用户进行手部模型构建,得到目标手部模型;
具体的,通过在手套上嵌入触觉传感器,可以实时、精准地获取用户手部的触觉压力数据。这些传感器可以分布在手套的不同区域,例如手指和手掌,以捕捉更为详细的触觉信息。这一设计保证了对用户手部动作的高灵敏度和精度。触觉压力数据的采集是在用户进行虚拟现实训练过程中实时进行的。手套传感器不断记录用户在训练中对虚拟环境的交互,包括手指的压力分布、握力的变化等。这些数据会随着用户的不同动作而变化,构成了关于用户手部触觉行为的时序数据。接下来,将这些触觉压力数据传输至三维模型构建算法。传感器数据传输至算法后,时序性成为一个关键考量。算法需要能够处理不断流入的数据流,因此采用了时序数据处理技术,例如滑动窗口或时序滤波,以确保算法对于不同时间点的数据变化能够做出适当的响应。时序数据处理完成后,进入特征提取阶段。通过对预处理的时序数据进行分析,算法从中提取有用的特征,如压力分布、手指弯曲度等信息。这一步骤旨在降低数据的维度,同时保留对于手部状态影响最大的信息,为手部模型的构建提供更具代表性的数据。随后,基于这些特征数据进行手部模型构建。算法使用预设的三维模型构建技术,结合触觉压力数据,将用户手部的状态映射到三维空间中。通过插值、曲面拟合等技术,构建出用户手部的模型,包括手指的位置、弯曲度、握力等信息。这样得到的目标手部模型是一个高度精确且逼真的虚拟表示,能够准确反映用户手部的状态。
S102、对目标用户进行用户标识识别,得到目标用户的用户标识信息,并通过用户标识信息对目标用户进行训练动作生成,得到训练动作集合;
具体的,首先,用户标识识别是通过对目标用户的个体特征进行分析和提取来实现的。这一过程不仅包括获取用户的基本信息,还通过深度学习和模式识别等技术,挖掘用户在训练中的独特特征,从而为后续的训练动作生成提供有力支持。用户标识的提取可以通过多种方式实现。首先,通过训练手套采集的手部运动数据,可以获取用户在动作执行时的个性化特征。例如,不同人在握拳时的手指关节运动、手掌的屈伸角度等都可能呈现出差异。这些运动数据可以作为个性化标识的一部分,用于建立目标用户的用户标识信息。同时,结合触觉压力数据,比如手指对不同区域的压力分布,也可以成为用户标识的独特特征。这些数据的整合和分析是用户标识识别的基础。另外,可以通过生物识别技术对用户进行更为准确的身份识别。例如,采用虹膜扫描、指纹辨识等生物特征识别技术,将这些身体特征与训练手套采集到的运动数据结合,可以更加全面地识别目标用户。这样的综合识别方式不仅提高了用户标识的准确性,也为更好地理解用户的个体特征和需求提供了更为可靠的依据。通过用户标识信息,可以更深入地理解目标用户的康复需求和特殊要求,为其生成个性化的训练动作。可以通过学习大量用户的运动模式和康复历史,建立用户标识与康复需求的关联模型。例如,通过分析用户历史康复数据,了解某位用户在特定动作中存在的不适感,进而调整训练动作的难度或幅度。这种个性化的训练动作生成使得更贴近用户的实际需求,提高了康复训练的效果。训练动作集合的生成过程是基于用户标识信息的深度学习模型输出的。这一集合涵盖了多个层次、难度和形式的训练动作,以满足用户不同康复阶段和个体差异的需求。例如,对于一个需要手部关节屈伸锻炼的用户,可以生成一系列逐渐升级难度的握拳和张开手指的训练动作,以促进关节灵活性的提高。
S103、基于训练动作集合生成模拟运动任务,并对模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集;
具体的,训练动作集合是基于用户标识识别得到的,通过深度学习算法学习用户的运动模式和康复需求,形成了一个包含不同动作类型和难度级别的集合。考虑到用户可能处于不同的康复阶段和康复需求,需要生成的模拟运动任务应该具有一定的层次和适应性。例如,对于手部康复的用户,训练动作集合可能包含从简单的手指屈伸到更为复杂的握拳和捏取等动作。基于这些动作,可以生成模拟运动任务,确保其包含了不同难度级别和运动范围,以满足用户的个性化康复需求。在模拟运动任务生成的过程中,可以引入一定的随机性或逐渐升级的方式,以增加任务的多样性。例如,在握拳的训练任务中,可以随机生成不同的握拳速度、握拳幅度等参数,使用户面对各种挑战,从而激发康复效果的最大化。生成的模拟运动任务之后,需要进行场景反馈数据分析,以获取视觉反馈数据集和听觉反馈数据集。这个过程涉及到对模拟运动任务的多方面分析,包括运动的流畅性、正确性、以及用户对任务的感知和反馈等。首先,可以通过对生成的模拟运动任务进行三维运动关键点标定,获取关键点坐标集合。这一步骤对于捕捉任务中关键动作的精细信息至关重要。例如,在握拳的任务中,关键点的标定可以涉及到手部各个关节的坐标,以及握拳的过程中手指的屈曲程度等。基于关键点坐标集合,可以生成模拟运动数据,并将其应用于目标手部模型,进行模拟训练。在这个过程中,可以考虑手部运动的角度、速度等参数,以更真实地模拟用户在康复训练中的手部动作。通过对模拟训练参数的分析,可以得到手部运动角度数据。这些数据反映了用户在模拟任务中手部动作的各个方面,包括手指的屈曲程度、握拳的力度等。这些数据将成为后续视觉反馈数据集的重要组成部分。接下来,可以对手部运动角度数据进行进一步的分析,得到视觉反馈数据集。这一数据集包含了用户在模拟任务中手部动作的各种信息,如手指的灵活性、握拳的协调性等。通过对这些数据的分析,可以更全面地了解用户在康复训练中的表现,并提供相应的反馈。同时,还可以考虑听觉反馈数据的匹配。通过分析用户在模拟任务中的手部运动角度数据和相应的听觉反馈,可以生成听觉反馈数据集。例如,当用户成功完成一个握拳任务时,可以提供一定的声音提示,强化正向的康复体验。最终,通过将视觉反馈数据和听觉反馈数据通过虚拟现实展示终端呈现给用户,能够实时采集用户的手部压力数据。这种实时的反馈机制不仅可以提高用户对任务完成情况的感知,还可以为后续的训练辅助控制提供实时数据支持。
S104、通过训练手套实时采集目标用户的手部运动数据,并根据手部运动数据对目标手部模型进行模拟动画生成,得到模拟动画数据;
具体的,从实时采集用户手部运动数据开始,通过智能传感技术和数据处理算法,实现对用户手部动作的高精度捕捉。训练手套配备的传感器可以实时记录用户手部的姿态、运动轨迹、力度等信息,为后续的模拟动画生成提供丰富而准确的数据基础。采集到的实时手部运动数据对于用户康复过程至关重要。通过这些数据,能够了解用户手部在康复训练中的细微变化,如手指的屈曲、握拳的力度等。这种高精度的数据采集有助于更全面地了解用户康复的实际情况,为后续的模拟动画生成提供了有力支持。在实时采集到手部运动数据后,需要对这些数据进行处理和分析,以生成逼真的模拟动画。首先,时序数据处理是必不可少的。手部运动数据通常是时序数据,因此算法需要能够处理不断流入的数据流。采用滑动窗口、时序滤波等技术,确保算法对于不同时间点的数据变化能够做出适当的响应。时序数据的处理过程中,需要进行特征提取。这一步骤涉及从预处理的数据中提取有用的特征,以更好地描述用户手部的状态。这些特征可能包括手指的压力分布、手部的弯曲度、握力等信息。通过合理的特征提取,能够降低数据的维度,同时保留对于手部状态影响最大的信息,为后续的模拟动画生成提供更为精细的输入。接下来是模拟动画的生成过程。基于经过时序处理和特征提取的手部运动数据,可以利用计算机图形学、机器学习等相关技术,将这些数据映射到目标用户的手部模型上。这个过程可能涉及到三维空间中的插值、曲面拟合等技术,以模拟用户手部在不同动作下的形态变化。生成的模拟动画数据可以包含用户手部在康复过程中的各种动作,如握拳、张开手指、旋转手腕等。这些动画数据是通过对实时采集的手部运动数据进行复杂计算和模型映射而来,具有高度还原用户实际动作的特点。为了更好地说明这一过程,以一个具体的例子来说明。假设用户进行手指屈伸的康复训练,训练手套实时采集到用户手部的压力分布和手指的运动轨迹数据。经过时序处理和特征提取,获得了关于手指弯曲程度和握力的详细信息。接下来,基于这些信息,通过三维模型构建算法生成了一个模拟手部的三维模型,考虑到了手指的屈曲度和握力等特征。
S105、根据模拟动画数据对视觉反馈数据集以及听觉反馈数据集进行数据筛选,得到目标视觉反馈数据以及目标听觉反馈数据;
具体的,首先,模拟动画数据作为康复训练的核心,包含了用户手部在不同动作下的详细模拟信息。这些信息不仅包括了手部的姿态、运动轨迹,还包括了手指的弯曲程度、握力等多方面的特征。通过对这一数据集的深入分析,能够识别出其中对用户康复过程最为关键和具有指导意义的部分。
视觉反馈数据集是通过对模拟动画进行三维运动关键点标定得到的。这个过程中,会提取出关键点的坐标集合,代表了用户手部运动的重要节点。通过分析这些关键点的变化,可以识别出用户在康复过程中的优势和劣势动作。例如,在手指屈曲的训练中,可能会注意到某个关键点的运动轨迹较为顺畅,而另一个可能存在抖动。通过这种识别,能够筛选出与用户康复目标最为匹配的视觉反馈数据,集中关注用户需要改进的方面。
听觉反馈数据集的生成与视觉反馈类似,但在匹配过程中,需要考虑模拟动画中手部运动所对应的声音反馈。这可能包括手部运动过程中产生的摩擦声、关节运动的声响等。通过对这些声音的分析,可以识别出与模拟动画高度一致的听觉反馈信息,使用户在训练过程中得到更加全面的感知。
举例来说,假设用户正在进行手指屈曲的康复训练,模拟动画数据中包含了手指的运动轨迹和手指关节的变化。分析模拟动画时,注意到在某一关键点处,模拟动画产生了一种特定的声音反馈,这可能是由于手指关节的摩擦产生的。通过对这一声音的捕捉和分析,将其与其他无关的声音区分开,选取与用户康复目标最为贴合的听觉反馈数据。
S106、将目标视觉反馈数据以及目标听觉反馈数据通过预置的虚拟现实展示终端展示给目标用户,并实时采集目标用户的手部压力数据;
具体的,虚拟现实展示终端作为用户与交互的主要界面,承担了传达丰富信息和引导用户进行康复训练的责任。通过先进的虚拟现实技术,能够将模拟动画数据转化为逼真的三维场景,使用户仿佛置身于一个虚拟环境中。这个环境中的视觉和听觉元素是根据筛选后的目标数据生成的,具有极高的贴合度和真实感。举例来说,假设用户正在进行手部握力康复训练。首先通过筛选模拟动画数据,选取了与用户目标最为贴合的视觉和听觉反馈。这可能包括了虚拟环境中手部握力过程中产生的视觉效果,如手部肌肉的扩张和收缩,同时伴随着相应的听觉反馈,例如握紧时产生的特定声音。这些元素被精心设计和渲染,以呈现一个逼真而个性化的虚拟场景。在这个场景中,虚拟现实展示终端会显示出用户的手部模型,并通过实时的动画效果展示用户当前的握力状态。同时,会根据之前筛选出的听觉反馈数据,将握力过程中产生的声音以空间化的方式呈现给用户,营造出一个真实而沉浸式的听觉感受。这样,用户在虚拟环境中能够直观地感知到自己的手部动作,并通过视听反馈得到对康复训练的引导。在这个过程中,实时采集用户的手部压力数据是至关重要的。通过与虚拟环境的交互,用户的手部压力数据会被持续采集并传输至。这些数据反映了用户在康复训练中的手部状态,包括握力的强度、分布等信息。这些信息会被用于实时调整虚拟环境的呈现,以更好地适应用户的康复进展。
S107、对手部压力数据进行压力密度数据分析,得到压力密度数据,并基于压力密度数据通过训练手套对目标用户进行训练辅助控制。
具体的,对时序数据进行处理,采用滑动窗口、时序滤波等技术,以确保对不断流入的数据流做出适当的响应。接下来,进行压力密度数据分析。手部压力数据中蕴含着丰富的信息,而通过对这些数据进行分析,可以得到更高层次的特征。压力密度数据是通过对手部压力分布进行进一步处理而得到的,它反映了用户手部不同区域的压力程度。这样的数据分析能够为提供用户手部状态的更多维度信息,例如用户手指的握力分布、手掌的负荷情况等。以一个例子来说明,假设用户在进行手部康复训练时需要集中力量握住一个虚拟物体,通过分析手部压力数据得到的压力密度数据可以描绘出用户手指在握物体时的具体握力分布情况。这样的信息对于评估用户握力的均匀性和强度提供了关键的指导。得到压力密度数据后,将基于这一数据进行训练辅助控制。在这个阶段,空间变化数据分析是必要的,以了解用户手部在三维空间中的运动轨迹和变化趋势。通过这一分析,可以实时掌握用户手部的位置和姿态,进而为用户提供更为智能和贴合的康复训练辅助。例如,当用户手部压力密度数据显示出某一手指的握力较弱时,可以通过训练手套调整虚拟环境中的任务,引导用户集中注意力进行特定手指的锻炼,从而提高康复效果。
通过执行上述步骤,通过训练手套采集目标用户的触觉压力数据,并将触觉压力数据传输至三维模型构建算法对目标用户进行手部模型构建,得到目标手部模型;对目标用户进行用户标识识别,得到目标用户的用户标识信息,通过用户标识信息对目标用户进行训练动作生成,得到训练动作集合;基于训练动作集合生成模拟运动任务,对模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集;实时采集目标用户的手部运动数据,并根据手部运动数据对目标手部模型进行模拟动画生成,得到模拟动画数据;根据模拟动画数据对视觉反馈数据集以及听觉反馈数据集进行数据筛选,得到目标视觉反馈数据以及目标听觉反馈数据;将目标视觉反馈数据以及目标听觉反馈数据通过虚拟现实展示终端展示给目标用户,并实时采集目标用户的手部压力数据;对手部压力数据进行压力密度数据分析,得到压力密度数据,并基于压力密度数据通过训练手套对目标用户进行训练辅助控制。在本申请方案中,通过训练手套采集目标用户的触觉压力数据,实现了对用户手部触觉信息的高效获取。将这些触觉压力数据传输至三维模型构建算法,有助于精准构建目标用户的手部模型,进而提供了一个真实而细致的虚拟手部表示。通过用户标识识别,能够根据个体特征对目标用户进行个性化的训练动作生成,形成了一个适应性强且多样化的训练动作集合。基于训练动作集合生成模拟运动任务,不仅能够提供全方位的运动挑战,还能通过场景反馈数据分析得到视觉和听觉反馈数据集,从而优化用户的感知体验。实时采集目标用户的手部运动数据,并以此为基础对目标手部模型进行模拟动画生成,为用户呈现生动、逼真的虚拟手部动作,提供了更具沉浸感的训练体验。通过对模拟动画数据进行筛选,得到了精炼的目标视觉和听觉反馈数据,有效减少了冗余信息,提高了反馈的针对性。将目标视觉反馈数据和听觉反馈数据通过虚拟现实展示终端展示给目标用户,为用户呈现了高度还原真实感的虚拟环境,同时实时采集目标用户的手部压力数据,使能够在用户参与训练的同时获取实时的生理反馈。对手部压力数据进行压力密度数据分析,得到了更深层次的用户生理状态信息,通过训练手套对目标用户进行训练辅助控制,实现了对用户训练过程的实时监控和调整,从而提升了训练的个性化和有效性。
在一具体实施例中,执行步骤S101的过程可以具体包括如下步骤:
(1)通过训练手套采集目标用户的触觉压力数据,并对触觉压力数据进行时序信息提取,得到触觉压力数据的目标时序信息;
(2)对触觉压力数据进行压力位置标定,得到多个压力位置数据;
(3)基于多个压力位置数据对触觉压力数据进行空间位置标注,得到标注压力数据;
(4)基于目标时序信息,对标注压力数据进行压力分布分析,得到压力分布数据;
(5)基于压力分布数据对目标用户进行手部弯曲度分析,得到手部弯曲度数据;
(6)对目标用户进行手部形状数据采集,得到目标用户的手部形状数据;
(7)基于手部弯曲度数据,通过手部形状数据对目标用户进行手部模型构建,得到目标手部模型。
具体的,首先,触觉压力数据的采集是中的首要任务。训练手套作为传感器设备,能够实时记录用户手部在康复过程中的压力分布情况。通过对这些数据进行时序信息提取,能够获取触觉压力数据的目标时序信息。这一时序信息反映了用户手部在时间轴上的变化,为后续的分析提供了时间维度的参考。举例而言,假设用户正在进行握力康复训练,触觉压力数据的目标时序信息可能展现了用户手部握力的波动情况。这些时序信息对于分析用户的握力稳定性和变化趋势至关重要。接下来,对触觉压力数据进行压力位置标定是为了更精准地描述用户手部的状态。通过标定压力位置,可以获得多个压力位置数据,从而确定手部在三维空间中的位置。这为后续的空间位置标注奠定了基础。考虑到一个用户正在进行手指屈伸康复训练,触觉压力数据的压力位置标定可能反映了每个手指的受力情况。这一信息对于分析手指的灵活性和运动范围非常关键。基于多个压力位置数据,进一步进行空间位置标注,得到标注压力数据。这一步骤将用户手部的触觉数据映射到了虚拟空间,为后续的分析和建模提供了更为准确的数据基础。例如,如果用户进行手部屈曲康复训练,标注压力数据将清晰地显示出手掌中心和手指尖的受力情况,为后续对手部形状的建模提供了关键信息。基于目标时序信息,进行压力分布分析。这一分析可以揭示在不同时间点用户手部的压力分布情况。考虑到一个用户正在进行手部康复训练,压力分布分析可以准确捕捉用户手部在训练过程中的压力分布变化,从而更好地了解用户的运动状态。得到了压力分布数据后,进行手部弯曲度分析。这一步骤通过分析用户手部不同区域的压力分布,推断手部的弯曲程度。在康复过程中,这是一项重要的分析,因为手部弯曲度的准确描述有助于更好地模拟用户手部的运动。例如,当用户进行手腕屈伸康复训练时,手部弯曲度分析可以清晰地显示出手腕关节的运动范围和变化趋势。紧接着,对目标用户进行手部形状数据采集。这一步骤是通过各种传感器和设备获取用户手部在三维空间中的形状信息,包括手指的长度、手掌的宽度等。这为后续的手部模型构建提供了必要的几何信息。以手指屈曲康复为例,手部形状数据采集将清晰呈现用户手指的长度、弯曲度等信息,为构建用户手部模型提供了关键的几何参数。最终,基于手部弯曲度数据和手部形状数据,进行手部模型构建。这一步骤将时序信息、压力分布、形状等多维度数据融合,生成用户手部的高精度模型。这个模型是虚拟现实康复中的基础,为提供了用户手部在康复训练中的真实表现。举例而言,如果用户正在进行手部关节康复训练,构建的手部模型将准确地反映出手指关节的运动范围、弯曲度,为后续的模拟动画生成提供了准确的基础。
在一具体实施例中,如图2所示,执行步骤S102的过程可以具体包括如下步骤:
S201、对目标用户进行用户标识提取,得到目标用户的用户ID数据;
S202、通过用户ID数据对目标用户进行用户信息采集,得到目标用户的历史用户信息;
S203、对历史用户信息进行关键词提取,得到多个信息关键词;
S204、基于多个信息关键词对目标用户进行用户训练类型匹配,得到目标用户训练类型;
S205、基于目标用户训练类型对目标用户进行用户表示识别,得到目标用户的用户标识信息;
S206、通过用户标识信息对目标用户进行训练动作生成,得到训练动作集合。
具体的,首先,用户标识提取是通过各种身份识别手段获得目标用户的唯一标识。这可以包括生物特征识别、用户账号登录等方式。通过这一步骤,能够获得目标用户的用户ID数据,作为后续个性化分析和训练的基础。例如,用户通过虹膜扫描或指纹识别进行身份验证,通过这一过程得到了目标用户的唯一身份标识。基于用户ID数据,进行用户信息采集,以获取目标用户的历史用户信息。这包括用户的康复历史、过往的康复成效、康复目标等信息。这一步骤的目的在于为提供目标用户的康复背景,为个性化训练方案的生成提供依据。例如,可能获知目标用户过去曾经因手部受伤进行过一段时间的手部康复,这对于后续制定训练计划至关重要。
接下来,对历史用户信息进行关键词提取,以得到多个信息关键词。这一步骤通过自然语言处理或关键词提取算法,从用户的康复历史中挖掘出与康复相关的关键信息。例如,可能从历史用户信息中提取出关键词如“手部骨折”、“康复目标”、“康复期限”等。
基于多个信息关键词,进行用户训练类型匹配,以确定目标用户的康复训练类型。这一匹配过程依赖于的康复知识库和算法,能够根据用户的康复背景和需求,匹配出适合的训练类型。例如,如果关键词提取出“手部骨折”、“握力康复”、“灵活性提升”等信息,可能匹配出目标用户的训练类型为手部握力和灵活性康复。
基于目标用户训练类型,进行用户表示识别,得到目标用户的用户标识信息。这一步骤将用户的训练类型等信息编码成一个具体的用户表示,以方便在后续训练动作生成中更准确地满足用户需求。例如,可能将目标用户编码为一个包含“握力康复”、“灵活性提升”等标签的用户表示。最终,通过用户标识信息,进行训练动作生成,得到训练动作集合。这一生成过程基于用户的个性化训练需求,确保康复训练的针对性和有效性。
在一具体实施例中,执行步骤S103的过程可以具体包括如下步骤:
(1)对训练动作集合进行动作类型拆分,得到训练动作集合对应的多个动作类型;
(2)基于多个动作类型,对训练动作集合进行关联动作组构建,得到多个关联动作组;
(3)分别对每个关联动作组进行训练程度分析,得到每个关联动作组的训练程度数据;
(4)基于每个关联动作组的训练程度数据,对多个关联动作组进行运动场景匹配,得到目标运动场景,并通过目标运动场景生成模拟运动任务;
(5)对模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集。
具体的,首先,对训练动作集合进行动作类型拆分,是为了将康复训练任务细分为不同的动作类型。这样的细分有助于更好地理解每个康复动作的特点,并有针对性地应用于个性化康复方案中。例如,如果训练动作集合中包含握力训练、手指灵活性训练等不同类型的动作,可以将其拆分为相应的动作类型。基于多个动作类型,进行关联动作组构建,将相似或相关的动作组织成一个关联动作组。这有助于在训练中更好地组织康复动作,提高训练的连贯性和效果。例如,握力训练和手指灵活性训练可以构成一个关联动作组,因为它们通常在手部康复中相互关联。分别对每个关联动作组进行训练程度分析,得到每个关联动作组的训练程度数据。这一步骤是为了更精准地了解用户在不同康复动作中的训练状态,以便个性化调整训练计划。例如,通过分析握力训练的完成情况和手指灵活性训练的进度,获取每个关联动作组的训练程度数据。基于每个关联动作组的训练程度数据,进行运动场景匹配,得到目标运动场景。这一匹配过程是将用户当前的康复状态与预设的运动场景相匹配,从而确定最适合目标用户的康复训练场景。例如,如果用户在握力训练方面取得了显著进展,可能选择一个更加挑战性的握力训练场景。通过目标运动场景,生成模拟运动任务。这些任务经过了精心设计,以满足用户的个性化训练需求,并将康复动作有机地组合在一起。例如,在握力训练和手指灵活性训练的场景中,可能生成一个综合性的手部康复任务,确保用户在不同动作类型中得到全面锻炼。最后,对模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集。这一步骤是为了评估用户在模拟运动任务中的表现,为进一步的调整和改进提供依据。例如,通过分析用户在握力训练中的握力力度和手指灵活性训练中的灵活性表现,得到相应的视觉反馈和听觉反馈数据。
在一具体实施例中,执行对模拟运动任务进行场景反馈数据分析步骤的过程可以具体包括如下步骤:
(1)对模拟运动任务进行三维运动关键点标定,得到关键点坐标集合;
(2)基于关键点坐标集合生成模拟运动数据,并根据模拟运动数据对目标手部模型进行模拟训练,得到模拟训练参数;
(3)对模拟训练参数进行手部运动角度分析,得到手部运动角度数据;
(4)根据手部运动角度数据进行视觉反馈数据分析,得到视觉反馈数据集;
(5)对视觉反馈数据进行听觉反馈数据匹配,得到听觉反馈数据集。
具体的,通过对模拟运动任务进行三维运动关键点标定,能够获取手部在运动中的关键位置信息,得到关键点坐标集合。基于关键点坐标集合,接着生成模拟运动数据。这样的模拟运动数据不仅包含了手部的空间位置信息,还能够反映手部在运动中的速度、加速度等运动特征。例如,如果模拟运动任务是握拳,可以生成包括握拳过程中手部关键点坐标变化的模拟运动数据。接下来,利用生成的模拟运动数据,对目标手部模型进行模拟训练,得到模拟训练参数。这一过程涉及到将模拟运动数据应用于目标手部模型,使模型在虚拟环境中模拟用户手部的运动。例如,在模拟握拳的过程中,会调整手指关节的角度,模拟真实的握拳动作,从而训练目标手部模型。得到模拟训练参数后,进行手部运动角度分析。这一分析过程旨在了解用户手部在训练中的具体运动情况,包括手指的弯曲程度、手腕的旋转角度等。例如,在握拳的模拟训练中,可以分析用户手部模型的手指弯曲度,以确定是否符合握拳的标准。随后,根据手部运动角度数据进行视觉反馈数据分析。这一步是为了评估用户在模拟训练中的手部运动表现,通过分析手部的角度变化来判断用户是否正确执行了康复动作。例如,可能检测到用户在握拳训练中手指的弯曲程度,以及握拳动作的流畅度,从而提供有关用户表现的视觉反馈。最后,对视觉反馈数据进行听觉反馈数据匹配。这一匹配过程是为了提供更全面的康复反馈体验,通过将视觉反馈与相应的听觉反馈相结合。例如,如果用户在握拳训练中表现出色,可以通过模拟音效传达积极的听觉反馈,强化用户的康复体验。
在一具体实施例中,执行步骤S104步骤的过程可以具体包括如下步骤:
(1)通过训练手套实时采集目标用户的手部运动数据,并对手部运动数据进行时序拆分,得到多组运动数据;
(2)分别对每组运动数据进行关键部位形状采集,得到每组运动数据对应的关键部位形状;
(3)对每组运动数据对应的关键部位形状进行运动范围标定,得到多个运动范围数据;
(4)基于多个运动范围数据,对目标手部模型进行动画元素构建,得到动画元素集合;
(5)对动画元素集合进行动画渲染,得到模拟动画数据。
具体的,训练手套上搭载了各类传感器,如陀螺仪、加速度计等,以实时监测用户手部的运动状态。这些传感器产生的数据流包含了用户手部在时间上的连续变化,形成时序数据。对实时采集的手部运动数据进行时序拆分是为了更细致地分析用户手部的不同运动阶段。通过将整个康复训练过程划分为若干时间片段,能够对每个时间片段的手部运动进行独立分析。例如,在握拳的康复训练中,一个时间片段可以对应握拳动作的起始、中间和结束阶段。每个时序数据经过时序拆分后,可以得到多组运动数据。每组运动数据代表了手部运动在一个短时间内的状态。接下来,对每组运动数据进行关键部位形状采集。这一步通过分析手部各个关键部位的坐标,获取手指、手掌等关键部位在运动过程中的形状信息。例如,对握拳动作,关键部位可以包括指尖、掌心等。得到每组运动数据对应的关键部位形状后,可以进一步对这些形状进行运动范围标定。运动范围数据表示了手部在康复训练中的活动范围,即手部在三维空间中的运动范围。这对于模拟用户手部的真实运动非常关键。以握拳为例,运动范围数据可以描述手指关节在握拳时的屈曲程度和手掌的闭合程度。基于多个运动范围数据,可以对目标手部模型进行动画元素构建。动画元素是描述康复动作的基本组成部分,可以包括手指的骨骼、手掌的形状等。这些元素构成了整个康复动作的基本框架。在握拳的例子中,动画元素可能包括手指关节的运动轨迹和手掌的闭合状态。得到动画元素集合后,进行动画渲染,得到最终的模拟动画数据。这一步是将康复动作以动画的形式呈现,使用户能够在虚拟环境中看到自己的手部模拟运动。这种模拟动画数据是根据实际用户运动数据生成的,因此更贴近用户实际康复训练的情况。
在一具体实施例中,执行步骤S107的过程可以具体包括如下步骤:
(1)对手部压力数据进行空间变化数据分析,得到空间变化数据;
(2)对空间变化数据进行变化趋势分析,得到变化趋势数据;
(3)根据变化趋势数据对手部压力数据进行压力密度数据分析,得到压力密度数据;
(4)根据压力密度数据对目标用户进行实时训练强度分析,得到实时训练强度;
(5)基于实时训练强度对训练手套进行变化参数分析,得到变化参数集合;
(6)基于变化参数集合,通过训练手套对目标用户进行训练辅助控制。
需要说明的是,通过分析手部在三维空间中的压力分布变化,可以获取更为详细的运动特征。这一步的目的是为了理解用户手部运动的空间特性,从而更好地指导后续的训练辅助控制。在得到空间变化数据后,进行变化趋势分析。这一分析旨在捕捉手部压力分布的变化趋势,即了解手部在运动中的压力变化模式。例如,用户可能在进行握拳动作时,手掌的压力会逐渐增加,而在伸展手指时,压力则会减小。通过对这些趋势的分析,可以更准确地理解用户的手部运动状态。根据变化趋势数据,对手部压力数据进行压力密度数据分析。这一步的目标是将压力分布的变化量化为压力密度数据,即不同区域的压力强度。例如,在手掌的某个区域可能会产生较高的压力密度,而手指的其他区域则可能相对较低。这种数据的获取对于模拟用户手部的真实感觉非常关键。得到压力密度数据后,进行目标用户的实时训练强度分析。这一步是为了根据用户当前的手部运动状态调整康复训练的强度。通过实时监测用户手部的压力密度,能够判断用户当前的康复训练难度,从而在需要时提供更具挑战性或更轻松的训练。基于实时训练强度,进行训练手套的变化参数分析。这一分析是为了根据用户的实际反馈调整训练手套的性能。例如,在实时训练中,如果用户的手部表现出较大的挑战,可以通过调整训练手套的压力模块,提高训练难度。相反,如果用户需要更轻松的训练,可以相应地减小压力模块的强度。基于变化参数集合,通过训练手套对目标用户进行训练辅助控制。这一步是整个中的闭环反馈过程,通过不断地监测用户的手部压力变化,调整训练手套的参数,实现对用户的个性化、实时的训练辅助。这种闭环控制使能够更好地适应用户的康复需求,提高康复训练的效果。
本发明实施例还提供了一种基于虚拟现实的视听综合训练系统,如图3所示,该一种基于虚拟现实的视听综合训练系统具体包括:
采集模块301,用于通过预置的训练手套采集目标用户的触觉压力数据,并将所述触觉压力数据传输至三维模型构建算法对所述目标用户进行手部模型构建,得到目标手部模型;
识别模块302,用于对所述目标用户进行用户标识识别,得到所述目标用户的用户标识信息,并通过所述用户标识信息对所述目标用户进行训练动作生成,得到训练动作集合;
分析模块303,用于基于所述训练动作集合生成模拟运动任务,并对所述模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集;
生成模块304,用于通过所述训练手套实时采集所述目标用户的手部运动数据,并根据所述手部运动数据对所述目标手部模型进行模拟动画生成,得到模拟动画数据;
筛选模块305,用于根据所述模拟动画数据对所述视觉反馈数据集以及所述听觉反馈数据集进行数据筛选,得到目标视觉反馈数据以及目标听觉反馈数据;
展示模块306,用于将所述目标视觉反馈数据以及所述目标听觉反馈数据通过预置的虚拟现实展示终端展示给所述目标用户,并实时采集所述目标用户的手部压力数据;
控制模块307,用于对所述手部压力数据进行压力密度数据分析,得到压力密度数据,并基于所述压力密度数据通过所述训练手套对所述目标用户进行训练辅助控制。
通过上述各个模块的协同工作,通过训练手套采集目标用户的触觉压力数据,并将触觉压力数据传输至三维模型构建算法对目标用户进行手部模型构建,得到目标手部模型;对目标用户进行用户标识识别,得到目标用户的用户标识信息,通过用户标识信息对目标用户进行训练动作生成,得到训练动作集合;基于训练动作集合生成模拟运动任务,对模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集;实时采集目标用户的手部运动数据,并根据手部运动数据对目标手部模型进行模拟动画生成,得到模拟动画数据;根据模拟动画数据对视觉反馈数据集以及听觉反馈数据集进行数据筛选,得到目标视觉反馈数据以及目标听觉反馈数据;将目标视觉反馈数据以及目标听觉反馈数据通过虚拟现实展示终端展示给目标用户,并实时采集目标用户的手部压力数据;对手部压力数据进行压力密度数据分析,得到压力密度数据,并基于压力密度数据通过训练手套对目标用户进行训练辅助控制。在本申请方案中,通过训练手套采集目标用户的触觉压力数据,实现了对用户手部触觉信息的高效获取。将这些触觉压力数据传输至三维模型构建算法,有助于精准构建目标用户的手部模型,进而提供了一个真实而细致的虚拟手部表示。通过用户标识识别,能够根据个体特征对目标用户进行个性化的训练动作生成,形成了一个适应性强且多样化的训练动作集合。基于训练动作集合生成模拟运动任务,不仅能够提供全方位的运动挑战,还能通过场景反馈数据分析得到视觉和听觉反馈数据集,从而优化用户的感知体验。实时采集目标用户的手部运动数据,并以此为基础对目标手部模型进行模拟动画生成,为用户呈现生动、逼真的虚拟手部动作,提供了更具沉浸感的训练体验。通过对模拟动画数据进行筛选,得到了精炼的目标视觉和听觉反馈数据,有效减少了冗余信息,提高了反馈的针对性。将目标视觉反馈数据和听觉反馈数据通过虚拟现实展示终端展示给目标用户,为用户呈现了高度还原真实感的虚拟环境,同时实时采集目标用户的手部压力数据,使能够在用户参与训练的同时获取实时的生理反馈。对手部压力数据进行压力密度数据分析,得到了更深层次的用户生理状态信息,通过训练手套对目标用户进行训练辅助控制,实现了对用户训练过程的实时监控和调整,从而提升了训练的个性化和有效性。
以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于虚拟现实的视听综合训练方法,其特征在于,包括:
通过预置的训练手套采集目标用户的触觉压力数据,并将所述触觉压力数据传输至三维模型构建算法对所述目标用户进行手部模型构建,得到目标手部模型;
对所述目标用户进行用户标识识别,得到所述目标用户的用户标识信息,并通过所述用户标识信息对所述目标用户进行训练动作生成,得到训练动作集合;
基于所述训练动作集合生成模拟运动任务,并对所述模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集,具体包括:对所述训练动作集合进行动作类型拆分,得到所述训练动作集合对应的多个动作类型;基于多个所述动作类型,对所述训练动作集合进行关联动作组构建,得到多个关联动作组;分别对每个所述关联动作组进行训练程度分析,得到每个所述关联动作组的训练程度数据;基于每个所述关联动作组的训练程度数据,对多个所述关联动作组进行运动场景匹配,得到目标运动场景,并通过所述目标运动场景生成所述模拟运动任务;对所述模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集;
所述对所述模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集步骤,包括:对所述模拟运动任务进行三维运动关键点标定,得到关键点坐标集合;基于所述关键点坐标集合生成模拟运动数据,并根据所述模拟运动数据对所述目标手部模型进行模拟训练,得到模拟训练参数;对所述模拟训练参数进行手部运动角度分析,得到手部运动角度数据;根据所述手部运动角度数据进行视觉反馈数据分析,得到视觉反馈数据集;对所述视觉反馈数据进行听觉反馈数据匹配,得到所述听觉反馈数据集;
通过所述训练手套实时采集所述目标用户的手部运动数据,并根据所述手部运动数据对所述目标手部模型进行模拟动画生成,得到模拟动画数据;
根据所述模拟动画数据对所述视觉反馈数据集以及所述听觉反馈数据集进行数据筛选,得到目标视觉反馈数据以及目标听觉反馈数据;
将所述目标视觉反馈数据以及所述目标听觉反馈数据通过预置的虚拟现实展示终端展示给所述目标用户,并实时采集所述目标用户的手部压力数据;
对所述手部压力数据进行压力密度数据分析,得到压力密度数据,并基于所述压力密度数据通过所述训练手套对所述目标用户进行训练辅助控制。
2.根据权利要求1所述的基于虚拟现实的视听综合训练方法,其特征在于,所述通过预置的训练手套采集目标用户的触觉压力数据,并将所述触觉压力数据传输至三维模型构建算法对所述目标用户进行手部模型构建,得到目标手部模型步骤,包括:
通过所述训练手套采集目标用户的触觉压力数据,并对所述触觉压力数据进行时序信息提取,得到所述触觉压力数据的目标时序信息;
对所述触觉压力数据进行压力位置标定,得到多个压力位置数据;
基于多个所述压力位置数据对所述触觉压力数据进行空间位置标注,得到标注压力数据;
基于所述目标时序信息,对所述标注压力数据进行压力分布分析,得到压力分布数据;
基于所述压力分布数据对所述目标用户进行手部弯曲度分析,得到手部弯曲度数据;
对所述目标用户进行手部形状数据采集,得到所述目标用户的手部形状数据;
基于所述手部弯曲度数据,通过所述手部形状数据对所述目标用户进行手部模型构建,得到所述目标手部模型。
3.根据权利要求1所述的基于虚拟现实的视听综合训练方法,其特征在于,所述对所述目标用户进行用户标识识别,得到所述目标用户的用户标识信息,并通过所述用户标识信息对所述目标用户进行训练动作生成,得到训练动作集合步骤,包括:
对所述目标用户进行用户标识提取,得到所述目标用户的用户ID数据;
通过所述用户ID数据对所述目标用户进行用户信息采集,得到所述目标用户的历史用户信息;
对所述历史用户信息进行关键词提取,得到多个信息关键词;
基于多个所述信息关键词对所述目标用户进行用户训练类型匹配,得到目标用户训练类型;
基于所述目标用户训练类型对所述目标用户进行用户表示识别,得到所述目标用户的用户标识信息;
通过所述用户标识信息对所述目标用户进行训练动作生成,得到所述训练动作集合。
4.根据权利要求1所述的基于虚拟现实的视听综合训练方法,其特征在于,所述通过所述训练手套实时采集所述目标用户的手部运动数据,并根据所述手部运动数据对所述目标手部模型进行模拟动画生成,得到模拟动画数据步骤,包括:
通过所述训练手套实时采集所述目标用户的手部运动数据,并对所述手部运动数据进行时序拆分,得到多组运动数据;
分别对每组所述运动数据进行关键部位形状采集,得到每组所述运动数据对应的关键部位形状;
对每组所述运动数据对应的关键部位形状进行运动范围标定,得到多个运动范围数据;
基于多个运动范围数据,对所述目标手部模型进行动画元素构建,得到动画元素集合;
对所述动画元素集合进行动画渲染,得到所述模拟动画数据。
5.根据权利要求4所述的基于虚拟现实的视听综合训练方法,其特征在于,所述对所述手部压力数据进行压力密度数据分析,得到压力密度数据,并基于所述压力密度数据通过所述训练手套对所述目标用户进行训练辅助控制步骤,包括:
对所述手部压力数据进行空间变化数据分析,得到空间变化数据;
对所述空间变化数据进行变化趋势分析,得到变化趋势数据;
根据所述变化趋势数据对所述手部压力数据进行压力密度数据分析,得到所述压力密度数据;
根据所述压力密度数据对所述目标用户进行实时训练强度分析,得到实时训练强度;
基于所述实时训练强度对所述训练手套进行变化参数分析,得到变化参数集合;
基于所述变化参数集合,通过所述训练手套对所述目标用户进行训练辅助控制。
6.一种基于虚拟现实的视听综合训练系统,用以执行如权利要求1至5任一项所述的基于虚拟现实的视听综合训练方法,其特征在于,包括:
采集模块,用于通过预置的训练手套采集目标用户的触觉压力数据,并将所述触觉压力数据传输至三维模型构建算法对所述目标用户进行手部模型构建,得到目标手部模型;
识别模块,用于对所述目标用户进行用户标识识别,得到所述目标用户的用户标识信息,并通过所述用户标识信息对所述目标用户进行训练动作生成,得到训练动作集合;
分析模块,用于基于所述训练动作集合生成模拟运动任务,并对所述模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集,具体包括:对所述训练动作集合进行动作类型拆分,得到所述训练动作集合对应的多个动作类型;基于多个所述动作类型,对所述训练动作集合进行关联动作组构建,得到多个关联动作组;分别对每个所述关联动作组进行训练程度分析,得到每个所述关联动作组的训练程度数据;基于每个所述关联动作组的训练程度数据,对多个所述关联动作组进行运动场景匹配,得到目标运动场景,并通过所述目标运动场景生成所述模拟运动任务;对所述模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集;
所述对所述模拟运动任务进行场景反馈数据分析,得到视觉反馈数据集以及听觉反馈数据集步骤,包括:对所述模拟运动任务进行三维运动关键点标定,得到关键点坐标集合;基于所述关键点坐标集合生成模拟运动数据,并根据所述模拟运动数据对所述目标手部模型进行模拟训练,得到模拟训练参数;对所述模拟训练参数进行手部运动角度分析,得到手部运动角度数据;根据所述手部运动角度数据进行视觉反馈数据分析,得到视觉反馈数据集;对所述视觉反馈数据进行听觉反馈数据匹配,得到所述听觉反馈数据集;
生成模块,用于通过所述训练手套实时采集所述目标用户的手部运动数据,并根据所述手部运动数据对所述目标手部模型进行模拟动画生成,得到模拟动画数据;
筛选模块,用于根据所述模拟动画数据对所述视觉反馈数据集以及所述听觉反馈数据集进行数据筛选,得到目标视觉反馈数据以及目标听觉反馈数据;
展示模块,用于将所述目标视觉反馈数据以及所述目标听觉反馈数据通过预置的虚拟现实展示终端展示给所述目标用户,并实时采集所述目标用户的手部压力数据;
控制模块,用于对所述手部压力数据进行压力密度数据分析,得到压力密度数据,并基于所述压力密度数据通过所述训练手套对所述目标用户进行训练辅助控制。
CN202311759968.8A 2023-12-20 2023-12-20 基于虚拟现实的视听综合训练方法及系统 Active CN117582643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311759968.8A CN117582643B (zh) 2023-12-20 2023-12-20 基于虚拟现实的视听综合训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311759968.8A CN117582643B (zh) 2023-12-20 2023-12-20 基于虚拟现实的视听综合训练方法及系统

Publications (2)

Publication Number Publication Date
CN117582643A CN117582643A (zh) 2024-02-23
CN117582643B true CN117582643B (zh) 2024-05-28

Family

ID=89911618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311759968.8A Active CN117582643B (zh) 2023-12-20 2023-12-20 基于虚拟现实的视听综合训练方法及系统

Country Status (1)

Country Link
CN (1) CN117582643B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700689A (zh) * 2016-03-17 2016-06-22 北京工业大学 基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法
CN107049702A (zh) * 2017-03-29 2017-08-18 东南大学 一种基于虚拟现实的下肢康复训练机器人系统
CN107485826A (zh) * 2017-07-28 2017-12-19 长春理工大学 基于虚拟现实技术的手部康复训练系统
US10909422B1 (en) * 2017-08-22 2021-02-02 United Services Automobile Association (Usaa) Customer service learning machine
CN116271720A (zh) * 2023-02-21 2023-06-23 中国人民解放军西部战区总医院 一种基于虚拟现实技术的手功能训练系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700689A (zh) * 2016-03-17 2016-06-22 北京工业大学 基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法
CN107049702A (zh) * 2017-03-29 2017-08-18 东南大学 一种基于虚拟现实的下肢康复训练机器人系统
CN107485826A (zh) * 2017-07-28 2017-12-19 长春理工大学 基于虚拟现实技术的手部康复训练系统
US10909422B1 (en) * 2017-08-22 2021-02-02 United Services Automobile Association (Usaa) Customer service learning machine
CN116271720A (zh) * 2023-02-21 2023-06-23 中国人民解放军西部战区总医院 一种基于虚拟现实技术的手功能训练系统

Also Published As

Publication number Publication date
CN117582643A (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
Avola et al. An interactive and low-cost full body rehabilitation framework based on 3D immersive serious games
US20230017367A1 (en) User interface system for movement skill analysis and skill augmentation
Senecal et al. Salsa dance learning evaluation and motion analysis in gamified virtual reality environment
Zhai Human performance in six degree of freedom input control.
Tricomi et al. You can’t hide behind your headset: User profiling in augmented and virtual reality
CN110826835A (zh) 一种基于手套的针灸训练方法、系统、平台及存储介质
Semblantes et al. Visual feedback framework for rehabilitation of stroke patients
Shi et al. Accurate and fast classification of foot gestures for virtual locomotion
CN114998983A (zh) 一种基于增强现实技术和姿态识别技术的肢体康复方法
Ikkala et al. Breathing life into biomechanical user models
CN115170773A (zh) 一种基于元宇宙的虚拟课堂动作交互系统和方法
WO2021148880A1 (en) Systems for dynamic assessment of upper extremity impairments in virtual/augmented reality
Vyas et al. Gesture recognition and control
CN117582643B (zh) 基于虚拟现实的视听综合训练方法及系统
Alam et al. ASL champ!: a virtual reality game with deep-learning driven sign recognition
Schade et al. On the advantages of hand gesture recognition with data gloves for gaming applications
CN115530814A (zh) 一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法
Ukita et al. A user-centered design approach to physical motion coaching systems for pervasive health
CN113176822A (zh) 虚拟用户检测
Babushkin et al. Sensorimotor Skill Communication: A Literature Review
Yee et al. Advanced and natural interaction system for motion-impaired users
Monco From head to toe: body movement for human-computer interaction
Ma An Application of Quantitative Methods for Motor Ability Level Classification, Performance Prediction and Training Protocol Selection
Babula et al. User model for determining user’s motor skills
Adib Fatigue Predictive Model for Mid-Air Gesture Interaction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant