CN109675289B - 基于vr和动作捕捉的运动评估系统 - Google Patents

基于vr和动作捕捉的运动评估系统 Download PDF

Info

Publication number
CN109675289B
CN109675289B CN201811497749.6A CN201811497749A CN109675289B CN 109675289 B CN109675289 B CN 109675289B CN 201811497749 A CN201811497749 A CN 201811497749A CN 109675289 B CN109675289 B CN 109675289B
Authority
CN
China
Prior art keywords
motion
quality
data processing
scene
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811497749.6A
Other languages
English (en)
Other versions
CN109675289A (zh
Inventor
蒋斌
丛鑫
李体雷
刘昊扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING NOITOM TECHNOLOGY Ltd
Original Assignee
BEIJING NOITOM TECHNOLOGY Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING NOITOM TECHNOLOGY Ltd filed Critical BEIJING NOITOM TECHNOLOGY Ltd
Priority to CN201811497749.6A priority Critical patent/CN109675289B/zh
Publication of CN109675289A publication Critical patent/CN109675289A/zh
Application granted granted Critical
Publication of CN109675289B publication Critical patent/CN109675289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0065Evaluating the fitness, e.g. fitness level or fitness index
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0638Displaying moving images of recorded environment, e.g. virtual environment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/803Motion sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请涉及一种基于VR和动作捕捉的运动评估系统,其特征在于,系统包括:VR显示设备、动作捕捉设备、数据处理设备和存储设备,其中,VR显示设备、动作捕捉设备、存储设备均分别与数据处理设备相连接;存储设备内存储有VR场景;数据处理设备包括:驱动模块、运动参数确定模块和动作质量确定模块。该系统可以做到“寓康复于乐趣”中,而不再是单调执行机械的康复训练动作,提高了康复运动的兴趣。

Description

基于VR和动作捕捉的运动评估系统
技术领域
本申请涉及虚拟现实领域,尤其涉及一种基于VR和动作捕捉的运动评估系统。
背景技术
近年来,电子游戏技术的迅速发展改变了传统被测对象与计算机之间的交互方式。其中的一些技术,比如虚拟现实(vir—tual reality,VR)技术和运动追踪技术改变了被测对象在传统游戏中的体验与应用范围”。
随着计算机硬件技术与软件系统的发展和改进,虚拟现实技术正被广泛应用于军事、医疗、管理、设计、教育、娱乐等各个领域。特别在康复医学领域,虚拟现实技术的引入不仅可以节约成本,降低风险,还能够提高患者的参与兴趣,适时控制运动量,带来良好的医疗康复效果。
但现有的虚拟显示在进行医疗康复训练时,更多的是被测对象通过一些交互设备,例如:手柄、键盘、鼠标、摇杆、压力垫等,来感应被测对象的动作,然后将来自传感器的原始数据经过传感器处理成为融合信息,经设备产生的行为数据,输入虚拟环境并与被测对象进行交互,再将来自虚拟环境的配置和应用状态再反馈给传感器。
这种基于VR的康复训练方法的应用比较局限,能够针对的场景也比较局限,并且被测对象在进行康复训练时,需要机械地重复执行设定的动作,从思维上无法脱离康复这一场景,会一直记着这是康复训练,尤其是在被测对象具有逆反心理时,康复训练的效果较差。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种基于VR和动作捕捉的运动评估系统。
第一方面,本申请提供了一种基于VR和动作捕捉的运动评估系统,所述系统包括:VR显示设备、动作捕捉设备、数据处理设备和存储设备,其中,
所述VR显示设备、动作捕捉设备、存储设备均分别与所述数据处理设备相连接;
所述存储设备内存储有VR场景;所述数据处理设备读取所述存储设备内的VR场景并发送至所述VR头显,所述VR显示设备,用于显示VR场景,所述VR场景中有虚拟参考物;
所述动作捕捉设备,用于实时采集被测对象身体各部位运动时的运动传感数据,并发送至所述数据处理设备;
所述数据处理设备包括:驱动模块,用于根据所述被测对象的运动传感数据在所述VR场景中驱动与所述被测对象对应的虚拟人体模型,所述虚拟人体模型的动作与所述被测对象运动时的动作相一致;运动参数确定模块,用于在所述虚拟人体模型与所述虚拟参考物进行交互过程中,根据采集到所述被测对象的运动传感数据确定所述被测对象的运动参数,所述运动参数有至少一个;动作质量确定模块,用于根据所述运动参数确定所述被测对象进行运动时的动作质量。
可选地,所述系统还包括:辅助运动器具;
所述辅助运动器具上设置有动作捕捉传感器;所述动作捕捉传感器与所述数据处理设备相连接,采集所述辅助运动器具的运动传感数据并发送给所述数据处理设备;
所述数据处理设备还包括:所述驱动模块还用于根据所述所述辅助运动器具的运动传感数据在所述VR场景中驱动与辅助运动器具对应的虚拟器具模型,所述虚拟器具模型的动作与所述辅助运动器具运动时的动作相一致;所述运动参数确定模块,还用于在所述虚拟器具模型和/或虚拟人体模型与所述虚拟参考物进行交互过程中,根据采集到所述被测对象和辅助运动器具运动传感数据确定所述被测对象的运动参数。
可选地,所述显示设备为头戴式显示设备,且所述头戴式显示器佩戴在所述被测对象上;
所述动作捕捉设备为穿戴式动作捕捉设备,所述穿戴式动作捕捉设备中包括多个动作捕捉传感器。
可选地,所述数据处理设备为便携式设备,所述VR显示设备和动作捕捉设备通过线缆与所述数据处理设备相连接;
或者,
所述数据处理设备为一体机或计算机,所述VR显示设备和动作捕捉设备通过无线通信模块与所述数据处理设备进行通信。
可选地,所述系统包括:多个VR显示设备和多个动作捕捉设备,且所述VR显示设备和动作捕捉设备一一对应;
每个VR显示设备和动作捕捉设备均与所述数据处理设备相连接,所述数据处理设备在所述VR场景中,基于每个动作捕捉设备的运动传感数据分别驱动与各个被测对象对应的虚拟人体模型。
可选地,所述存储设备中存储有各个运动参数的阈值区间与质量等级之间的对应关系;
所述动作质量确定模块包括:
区间获取模块,用于获取每个运动参数所在的阈值区间;
对应关系获取模块,用于获取每个运动参数的预先设置的阈值区间与质量等级之间的对应关系;
质量等级确定模块,用于根据每个运动参数所在的阈值区间,确定每个运动参数对应的质量等级;
动作质量组合模块,用于将所有运动参数对应的质量等级进行组合得到所述动作质量。
可选地,所述运动参数获取模块包括:
接触判断模块,用于判断所述虚拟参考物是否被接触;
记录模块,用于当所述虚拟参考物被接触时,记录包含所述接触时刻在内的预设时间段中采集到的运动传感数据;
计算模块,用于根据所述运动传感数据,计算所述被测对象进行运动时的运动参数,所述运动参数包括运动时长、动作次数、动作时长、肢体关节角度、肢体的空间位置、肢体的空间高度和肢体的重心位置中的一种或多种组合。
可选地,所述虚拟参考物为所述VR场景中的静止物体;所述动作质量确定模块包括:
反馈信息获取子模块,用于获取所述所述虚拟参考物被接触时的反馈信息,所述反馈信息包括:接触位置、接触次数、接触角度和/或接触时长;
第一质量确定子模块,用于根据所述运动参数和所述反馈信息确定所述被测对象进行运动时的动作质量。
可选地,所述虚拟参考物为所述VR场景中的可运动物体;所述动作质量确定模块包括:
运动信息获取子模块,用于获取所述虚拟参考物被接触后的运动信息,所述运动信息包括:运动速度、运动轨迹、运动方向、运动位置、运动时长和/或运动角度;
第二质量确定子模块,用于根据所述运动参数和所述运动信息,或者,根据所述运动信息确定所述被测对象进行运动时的动作质量。
可选地,所述动作质量确定模块包括:
属性信息获取子模块,用于获取所述虚拟参考物的属性信息,所述属性信息包括:形状、体积、颜色、标识、重量、数量、空间位置和/或结构;
第三质量确定子模块,用于根据所述运动参数、反馈信息和运动信息中的至少一种,以及属性信息,或者,根据所述属性信息确定所述被测对象进行运动时的动作质量。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
本申请实施例提供的该系统,在利用VR和动作捕捉进行康复训练时,首先不再要求被测对象一味地按照测试者所设定的动作、运动方式进行运动,而是先展示一个VR场景,然后被测对象在该VR场景中自己进行运动,在运动过程中,根据采集到被测对象的传感数据确定被测对象身体的一些运动参数,最后基于这些运动参数对被测对象的动作质量进行评定。
该系统可以让被测对象以亲身参与到VR场景中,并且在该VR场景中,被测对象可以自由的运动,例如:行走、跑步、打球等,而对被测对象的动作质量评估的依据就是被测对象在自身运动时的运动传感数据,可以做到“寓康复于乐趣”中,而不再是单调执行机械的康复训练动作,提高了康复运动的兴趣。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于VR和动作捕捉的运动评估系统的场景示意图;
图2为本申请实施例提供的数据处理设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例提供的一种基于VR和动作捕捉的运动评估系统的场景示意图。
如图1所示,图中100为被测对象,图中被测对象为人。图1中所示的运动评估系统包括:动作捕捉设备10、VR显示设备20、数据处理设备30和存储设备(图中未示出)。
所述VR显示设备、动作捕捉设备、存储设备均分别与所述数据处理设备相连接。
动作捕捉设备10包括:动作捕捉传感器和动作捕捉设备,其中,动作捕捉传感器是固定在运动物体特定部位的跟踪装置,用于实时采集被测对象身体各部位运动时的运动传感数据,并发送至所述数据处理设备。向运动评估系统提供运动物体运动的信息,一般会随着捕捉的细致程度确定动作捕捉传感器的数目。动作捕捉设备会因运动评估系统的类型不同而有所区别,它们负责信号的捕捉,对于机械系统来说是一块捕捉电信号的线路板。
对于运动评估系统,特别是需要实时效果的运动评估系统需要将大量的运动数据从动作捕捉设备快速准确地传输到数据处理设备30,动作捕捉设备10可以通过wifi、蓝牙与数据处理设备30之间进行通信。
所述数据处理设备根据所述被测对象的运动传感数据在所述VR场景中驱动与所述被测对象对应的虚拟人体模型,所述虚拟人体模型的动作与所述被测对象运动时的动作相一致。
经过动捕系统捕捉到的数据需要修正、处理后还要与三维模型相结合才能完成计算机动画制作的工作,这就需要我们应用数据处理软件或硬件来完成此项工作。无论软件或硬件,它们都是借助计算机对数据高速的运算能力来完成数据的处理,使三维模型真正、自然地运动起来。数据处理的核心是动捕算法,其功能是通过不同的测量数据还原出人体的动作数据。
在存储设备中存储有VR场景。
在应用中,数据处理设备30从存储设备中读取VR场景并发送给VR显示设备,以实现在VR显示设备20中显示场景,另外,数据处理设备30将还原得到的虚拟人体模型发送给VR显示设备,以实现在VR显示设备的场景中显示虚拟人体模型,在本申请实施例中,VR显示设备可以为VR头显,在使用时可以佩戴在被测对象的头上,以便被测对象可以在VR显示设备中看到显示的虚拟显示场景,以及与自己动作、姿态一致的虚拟人体模型。
在本申请实施例中,所述显示设备为头戴式显示设备,且所述头戴式显示器佩戴在所述被测对象上。
另外,所述动作捕捉设备为穿戴式动作捕捉设备,所述穿戴式动作捕捉设备中包括多个动作捕捉传感器。
在本申请实施例中,数据处理设备可以为便携式设备,所述VR显示设备和动作捕捉设备通过线缆与所述数据处理设备相连接;
另外,所述数据处理设备为一体机或计算机,如图1所示,此时一体机和计算机不方便移动或携带,为此,所述VR显示设备和动作捕捉设备通过无线通信模块与所述数据处理设备进行通信。
在本申请实施例中,VR场景可以是预先设计以及存储的场景,根据不通过的运动评估需求,可以增加不同的VR场景。
在本申请实施例中,VR场景是预先存储在存储设备中,在显示VR场景时,可以采用以下方式:数据处理设备从存储设备中读取VR场景的数据;数据处理设备将VR场景的数据发送给VR显示设备,以便实现控制VR显示设备显示VR场景。
在所述VR场景中有虚拟参考物,在本申请实施例中,虚拟参考物的形式不限,可以为场景中所显示的物体,一种情况下,虚拟参考物可以是场景中显示静止物体,例如:房屋、桌子、床、台阶、树等,另一种情况下,虚拟参考物可以是场景中可以运动的物体,例如:汽车、自行车、球、运动器械,还有一种情况下,虚拟参考物是可以是静止放置,但经过被测对象交互,可以进行被移动的物体,例如:水果、可转动的门、可拆分的组合物等等。
VR中显示的场景是为了通过场景以及场景中的虚拟参考物体,为被测对象营造一个可交互的生活场景,例如:可以设计为逛街的场景,虚拟参考物可以街道、店铺以及店铺内的物品、服饰等等,还可以设计为超市的场景,虚拟参考物可以为货架、通道以及货架上的物品等。
通过VR场景,让被测对象感觉置身与一种生活场景中,而不再是感觉到是一种康复训练。
在本申请实施例中,在头戴式显示设备中显示VR场景,所述头戴式显示器佩戴在所述被测对象上。在其它实施例中,还可以为电视或显示屏等显示VR场景,并且电视或显示屏设置在被测对象测试区域中,以便被测对象可以随时观察到电视或显示屏。
在本申请一个实施例中,数据处理设备实时接收所述动作捕捉设备采集到被测对象身体各部位运动时的运动传感数据。
参见图1所示的,被测对象上穿戴的动作捕捉设备中的各种动作捕捉传感器,在被测对象运动时,可以采集被测对象的肢体位置、姿态等信息。其中,动作捕捉传感器,包括但局限于:上肢动作捕捉传感器、下肢动作捕捉传感器、躯干动作捕捉传感器、头部动作捕捉传感器、手部动作捕捉传感器和脚部动作捕捉传感器。
另外参见图1所示,动作捕捉设备采集到的运动传感数据可以通过无线的方式发送给数据处理设备。
这一步与现有的动作捕捉采集运动传感数据相同,本领域技术人员应当熟知采集的细节,在此不再赘述。
在本申请一个实施例中,如图2所示,数据处理设备可以包括:驱动模块21、运动参数确定模块22和动作质量确定模块23,其中,
驱动模块21,用于根据所述被测对象的运动传感数据在所述VR场景中驱动与所述被测对象对应的虚拟人体模型,所述虚拟人体模型的动作与所述被测对象运动时的动作相一致。
参见图1所示,数据处理设备可以根据运动传感数据生成与被测对象对应的人体模型数据,然后将人体模型数据通过无线方式发送给VR显示设备中进行显示,在VR显示设备各种,显示的虚拟人体模型的动作可以与被测对象的动作完全一致,以便被测对象通过VR显示设备,就有可以看到自己的动作行为。
运动参数确定模块22,用于在所述虚拟人体模型与所述虚拟参考物进行交互过程中,根据采集到所述被测对象的运动传感数据确定所述被测对象的运动参数,所述运动参数有至少一个。
由于前述已经将被测对象对应的虚拟人体模型还原到VR场景中,这样就建立了被测对象与VR场景的交互,进而当被测对象在真实环境中进行运动时,虚拟人体模型在VR场景中会进行同样的动作,根据VR场景的规则,虚拟人体模型可以与VR场景中的虚拟参考物之间进行交互,例如:虚拟参考物为球时;可以将球踢飞,虚拟参考物为门时,可以将门打开或关闭;虚拟参考物为水果时,可以将水果进行移动,虚拟参考物为台阶时,可以跳上台阶或跳下台阶,等等。
在虚拟人体模型与虚拟参考物件交互时,可以实时采集被测对象所穿戴的动作捕捉设备的运动传感数据,然后根据数据传感数据对被测对象的运动参数进行确定。
在本申请实施例中,为了对被测对象进行多方面的分析,所述运动参数有至少一个,运动参数可以为与被测对象肢体相关的参数,例如:运动时长、动作次数、动作时长、肢体关节角度、肢体的空间位置、肢体的空间高度和肢体的重心位置中的一种或多种组合。
动作质量确定模块23,用于根据所述运动参数确定所述被测对象进行运动时的动作质量。
在本申请实施例中,参见前述描述,运动参数可以包含被测对象肢体的各种参数,根据这些参数就可以对被测对象的动作质量进行评定。
例如:VR场景可以为一个游戏场景,其中一些环节中,被测对象会出现蹲下然后站起的动作,例如:萝卜蹲,那么根据这个动作中被测对象蹲下时,大腿和小腿的关节角度,膝关节转动的角度,踝关节弯曲的角度,以及,上肢的动作等都可以作为运动参数,进而可以对被测对象的下肢的动作质量进行分析。
如表1所示:
部位 角度 动作质量
大腿和小腿的关节角度 0-20度
大腿和小腿的关节角度 30-50度
大腿和小腿的关节角度 50-90度
踝关节弯曲的角度 50-60度
踝关节弯曲的角度 40-50度
踝关节弯曲的角度 30-40度
…… …… ……
表1
再例如:VR场景可以为投篮的场景,在投篮过程中,被测对象在一次投篮过程中,肩膀的位置,手臂的高低,手部的姿势,以及躯干的稳定性等等,都可以作为运动参数,进而对被测对象的上肢的动作质量进行分析。
如表2所示:
Figure BDA0001897325560000111
表2
本申请实施例中,在利用VR和动作捕捉进行康复训练时,首先不再要求被测对象一味地按照测试者所设定的动作、运动方式进行运动,而是先展示一个VR场景,然后被测对象在该VR场景中自己进行运动,在运动过程中,根据采集到被测对象的传感数据确定被测对象身体的一些运动参数,最后基于这些运动参数对被测对象的动作质量进行评定。
该系统可以让被测对象以亲身参与到VR场景中,并且在该VR场景中,被测对象可以自由的运动,例如:行走、跑步、打球等,而对被测对象的动作质量评估的依据就是被测对象在自身运动时的运动传感数据,可以做到“寓康复于乐趣”中,而不再是单调执行机械的康复训练动作,提高了康复运动的兴趣。
在本申请一个实施例中,被测对象在VR场景中,可以赤手进行运动,另外,为了增加趣味性,还可以增加运动辅助器具,其中,被测对象在真实场景中携带有运动辅助器具。为此,该系统还可以包括:辅助运动器具;
所述辅助运动器具上设置有动作捕捉传感器;所述动作捕捉传感器与所述数据处理设备相连接,采集所述辅助运动器具的运动传感数据并发送给所述数据处理设备;
所述数据处理设备还包括:所述驱动模块还用于根据所述所述辅助运动器具的运动传感数据在所述VR场景中驱动与辅助运动器具对应的虚拟器具模型,所述虚拟器具模型的动作与所述辅助运动器具运动时的动作相一致;所述运动参数确定模块,还用于在所述虚拟器具模型和/或虚拟人体模型与所述虚拟参考物进行交互过程中,根据采集到所述被测对象和辅助运动器具运动传感数据确定所述被测对象的运动参数。
在本申请另一个实施例中,为了增加趣味性,还可以多人同时出现在同一VR场景中,并多人之间在VR场景中可以进行互动,通过被测对象之间的互动配合,也可以对每个被测对象的动作质量进行分析。
为此,该系统包括:多个VR显示设备和多个动作捕捉设备,且所述VR显示设备和动作捕捉设备一一对应;
每个VR显示设备和动作捕捉设备均与所述数据处理设备相连接,所述数据处理设备在所述VR场景中,基于每个动作捕捉设备的运动传感数据分别驱动与各个被测对象对应的虚拟人体模型。
在本申请实施例中,当所述被测对象有多个时,在每个所述被测对象的头戴式显示设备中显示同一个VR场景;另外,在这同一个VR场景中,基于每个被测对象的运动传感数据驱动与各个被测对象对应的虚拟人体模型,进而实现在同一VR场景有多人互动的情况。
在本申请一个实施例中,所述显示设备为头戴式显示设备,且所述头戴式显示器佩戴在所述被测对象上;
所述动作捕捉设备为穿戴式动作捕捉设备,所述穿戴式动作捕捉设备中包括多个动作捕捉传感器。
在本申请一个实施例中,所述数据处理设备为便携式设备,所述VR显示设备和动作捕捉设备通过线缆与所述数据处理设备相连接;
或者,
所述数据处理设备为一体机或计算机,所述VR显示设备和动作捕捉设备通过无线通信模块与所述数据处理设备进行通信。
在本申请一个实施例中,所述系统包括:多个VR显示设备和多个动作捕捉设备,且所述VR显示设备和动作捕捉设备一一对应;
每个VR显示设备和动作捕捉设备均与所述数据处理设备相连接,所述数据处理设备在所述VR场景中,基于每个动作捕捉设备的运动传感数据分别驱动与各个被测对象对应的虚拟人体模型。
在本申请一个实施例中,所述存储设备中存储有各个运动参数的阈值区间与质量等级之间的对应关系;
所述动作质量确定模块包括:
区间获取模块31,用于获取每个运动参数所在的阈值区间。
所述存储设备中存储有各个运动参数的阈值区间与质量等级之间的对应关系。
如表1和表2所示,针对每个运动参数,可以设定对应的阈值区间,阈值区间的设置可以是预先设置的。
对应关系获取模块32,用于获取每个运动参数的预先设置的阈值区间与质量等级之间的对应关系。
在本申请实施例中,针对同一个运动参数,可以根据运动情况,设置多个阈值区间,如表1中,踝关节转动的角度,可以设置三个阈值区间,每个阈值区间对应一个质量等级。
在具体应用中,阈值区间与质量等级之间的可以以关系表的形式预先存储。
质量等级确定模块33,用于根据每个运动参数所在的阈值区间,确定每个运动参数对应的质量等级。
从前述的关系表中,通过查表可以确定与每个运动从参数对应的质量等级。
动作质量组合模块34,用于将所有运动参数对应的质量等级进行组合得到所述动作质量。
一种简单的方式,是将所有运动参数的质量等级进行合并,形成一个总表以表示被测对象的动作质量。
此外在进行分析时,可以针对不同的肢体设置不同的评定标准,还可以对不同的肢体设置权重,这样当需要多个肢体进行共同评定时,可以通过各自的评定级别以及权重,进行整体的动作质量分析。
评定可以分为多个等级,例如;被测对象的一些运动中,根据下肢的运动参数确定腿部的评定级别,然后根据上肢的运动参数确定上肢的评定级别,最后结合腿部的评定级别以及权重还有上肢的评定级别和权重,综合计算被测对象的动作质量水平。
在本申请一个实施例中,所述运动参数获取模块包括:
接触判断模块41,用于判断所述虚拟参考物是否被接触。
由于VR的场景中,显示有被测对象对应的虚拟人体模型,所以,在该步骤中,可以通过判断虚拟人体模型是否与虚拟参考物接触来确定。
在VR场景中,虚拟人体模型可以与虚拟参考物之间按照所模拟的真实场景进行互动。例如:虚拟参考物为台阶,那么虚拟人体模型可以跳到台阶上面或踢到台阶的侧面;虚拟参考物为球时,虚拟人体模型可以夹持固定球,也可以将球弹开。
记录模块42,用于当所述虚拟参考物被接触时,记录包含所述接触时刻在内的预设时间段中采集到的运动传感数据。
在本申请实施例中,在对被测对象进行动作质量评定时,是结合VR中显示的内容进行综合判断,并不是单纯采集被测对象的运动数据,否则,只要单独利用动作捕捉传感器就可以对动作质量进行评定。
另外,本申请实施例中所显示的VR场景,并非是一个视频或图像,这是考虑到现有的运动康复设备,视频或图像都仅仅是展示功能,无法做到与被测对象进行交互,更无法做到对交互过程中的细节时的动作质量进行评定。
在具体应用中,若虚拟参考物被接触时的时刻为t0,那么虚拟参考物被接触过程,可以为[t1,t2]区间,其中,t1<t0,t2>t0。
计算模块43,用于根据所述运动传感数据,计算所述被测对象进行运动时的运动参数,所述运动参数包括运动时长、动作次数、动作时长、肢体关节角度、肢体的空间位置、肢体的空间高度和肢体的重心位置中的一种或多种组合。
下面针对该步骤中的每个运动参数进行简单说明,其中运动时长可以为累计时长,例如:只要在本次测试过程中,虚拟参考物被接触,那么就计算起始时刻与结束时刻之间的时长作为运动时长;动作次数,也可以认为是虚拟参考物的被接触次数;动作时长可以单次动作的时长,例如:虚拟参考物被连续多次接触,可以计算每一次接触的运动时长,肢体关节角度,不再赘述;肢体的空间位置、空间高度和重心位置,是指在运动时,肢体相对VR场景中的三维空间的位置、高度和重心位置,也可以是肢体相对真实三维空间的位置、高度和重心位置。
在本申请一个实施例中,所述虚拟参考物为所述VR场景中的静止物体;所述动作质量确定模块包括:
反馈信息获取子模块51,用于获取所述所述虚拟参考物被接触时的反馈信息。
所述反馈信息包括:接触位置、接触次数、接触角度和/或接触时长。所述反馈信息包括:接触位置、接触次数、接触角度和/或接触时长。
反馈信息是指在被测对象与虚拟参考物接触时,从VR场景中虚拟参考物的角度给出的被接触信息。
在本申请实施例中,考虑反馈信息,主要是考虑到前述的运动参数,仅仅是针对被测对象进行测量的,虽然限定了是与虚拟参考物接触过程的运动参数,但由于相同的动作,可能与虚拟参考物接触的位置、角度的不一样,对测量结果也会有影响,例如:都是跳台阶的动作,那么由于跳到台阶上的位置是不同的,有些被测对象跳上台阶后,是前脚掌仅与台阶边缘相接触,而有些是后脚掌与台阶边缘相接触,还有一些被测对象跳上台阶后,脚掌距离台阶边缘还有一定距离。
第一质量确定子模块52,用于根据所述运动参数和所述反馈信息确定所述被测对象进行运动时的动作质量。
在前述的一个运动参数的多个阈值区间可以分别对应不同的质量等级,在本申请实施例中,还可以将同一运动参数的至少一个阈值区间与反馈信息进行组合,然后再与质量等级之间进行关联,如表3所示。
Figure BDA0001897325560000161
Figure BDA0001897325560000171
表3
本申请实施例提供的该系统,在对动作质量进行评定时,除了利用穿戴的动作捕捉设备的运动参数,还结合了VR场景中,虚拟参考物被接触时的反馈信息,进而可以使得对动作质量评估的维度增加了,进而在评定时,可以使得评定的结果更加符合真实情况。
此外,在一些实施例中,还可以直接利用反馈信息对被测对象的动作质量进行评定。例如:运动参数确定的是被测对象的动作质量的一个方面,而反馈信息可以作为动作质量的另一方面,例如:运动参数可以用来对动作质量的爆发力进行评定,而反馈信息可以用来对动作指令的精准度进行评定。
在本申请一个实施例中,所述虚拟参考物为所述VR场景中的可运动物体;所述动作质量确定模块包括:
运动信息获取子模块61,用于获取所述虚拟参考物被接触后的运动信息。所述运动信息包括:运动速度、运动轨迹、运动方向、运动位置、运动时长和/或运动角度。
所述运动信息包括:运动速度、运动轨迹、运动方向、运动位置、运动时长和/或运动角度。以球为例,运动信息可以为球被踢开后的进行运动时的信息。
第二质量确定子模块62,用于根据所述运动参数和所述运动信息,或者,根据所述运动信息确定所述被测对象进行运动时的动作质量。
在本申请实施例中,运动信息与运动参数相结合的请情况,也可以前述关于反馈信息与运动参数相结合的描述,在此不再赘述。
此外,在一些实施例中,还可以直接利用运动信息对被测对象的动作质量进行评定。例如:运动参数确定的是被测对象的动作质量的一个方面,而运动信息可以作为动作质量的另一方面,例如:运动参数可以用来对动作质量的爆发力进行评定,而运动信息可以用来对动作指令的精准度进行评定。
在本申请一个实施例中,所述动作质量确定模块包括:
属性信息获取子模块71,用于获取所述虚拟参考物的属性信息。
所述属性信息包括:形状、体积、颜色、标识、重量、数量、空间位置和/或结构;
在本申请实施例中,通过增加属性信息,可以对虚拟参考物进行区分,例如:被测对象在跳台阶时,还可以判断被测对象所选择的台阶的高度、颜色等信息,增加对动作质量判断的维度。
在本申请实施例中,在对动作质量进行评定时,可以在运动参数、反馈信息和运动信息中任意一个或组合的基础上,再增加属性信息作为一个评定的维度,使得评定的结果更加准确。
例如:设定的VR场景为超市,被测对象可以在超市内选择物品,在本申请实施例中,对动作质量评定,可以基于被测对象选择物品的路线,所选择的物品的种类、取放物品的物品被接触的位置、携带物品运动时的姿态、拿取物品的时长等,多个综合因素来对动作质量进行评定。
第三质量确定子模块,用于根据所述运动参数、反馈信息和运动信息中的至少一种,以及属性信息,或者,根据所述属性信息确定所述被测对象进行运动时的动作质量。
在本申请实施例中,在对动作质量进行评定时,可以在运动参数、反馈信息和运动信息中任意一个或组合的基础上,再增加属性信息作为一个评定的维度,使得评定的结果更加准确。
例如:设定的VR场景为超市,被测对象可以在超市内选择物品,在本申请实施例中,对动作质量评定,可以基于被测对象选择物品的路线,所选择的物品的种类、取放物品的物品被接触的位置、携带物品运动时的姿态、拿取物品的时长等,多个综合因素来对动作质量进行评定。
此外,在本申请实施例中,还可以单独利用属性信息来对动作质量进行评定,例如:在跳台阶的测试过程中,还可以单独利用所跳台阶的高度对动作质量进行评定。
前述实施例中所描述的模块,在实际应用时,不同模块之间可以进行任意组合,并且组合后得到的方案也属于本申请的保护范围。
可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits,ASIC)、数字信号处理器(DigitalSignalProcessing,DSP)、数字信号处理设备(DSPDevice,DSPD)、可编程逻辑设备(ProgrammableLogicDevice,PLD)、现场可编程门阵列(Field-ProgrammableGateArray,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于VR和动作捕捉的运动评估系统,其特征在于,所述系统包括:VR显示设备、动作捕捉设备、数据处理设备和存储设备,其中,
所述VR显示设备、动作捕捉设备、存储设备均分别与所述数据处理设备相连接;
所述存储设备内存储有VR场景;所述数据处理设备读取所述存储设备内的VR场景并发送至VR头显,所述VR显示设备,用于显示VR场景,所述VR场景中有虚拟参考物;
所述动作捕捉设备,用于实时采集被测对象身体各部位运动时的运动传感数据,并发送至所述数据处理设备;
所述数据处理设备包括:驱动模块,用于根据所述被测对象的运动传感数据在所述VR场景中驱动与所述被测对象对应的虚拟人体模型,所述虚拟人体模型的动作与所述被测对象运动时的动作相一致;运动参数确定模块,用于在所述虚拟人体模型与所述虚拟参考物进行交互过程中,根据采集到所述被测对象的运动传感数据确定所述被测对象的运动参数,所述运动参数有至少一个;动作质量确定模块,用于根据所述运动参数确定所述被测对象进行运动时的动作质量;
运动参数获取模块包括:接触判断模块,用于判断所述虚拟参考物是否被接触;记录模块,用于当所述虚拟参考物被接触时,记录包含接触时刻在内的预设时间段中采集到的运动传感数据;计算模块,用于根据所述运动传感数据,计算所述被测对象进行运动时的运动参数,所述运动参数包括运动时长、动作次数、动作时长、肢体关节角度、肢体的空间位置、肢体的空间高度和肢体的重心位置中的一种或多种组合;
其中,所述虚拟参考物为所述VR场景中的静止物体;所述动作质量确定模块包括:反馈信息获取子模块,用于获取所述虚拟参考物被接触时的反馈信息,所述反馈信息包括:接触位置、接触次数、接触角度和/或接触时长;第一质量确定子模块,用于根据所述运动参数和所述反馈信息确定所述被测对象进行运动时的动作质量。
2.根据权利要求1所述的系统,其特征在于,所述系统还包括:辅助运动器具;
所述辅助运动器具上设置有动作捕捉传感器;所述动作捕捉传感器与所述数据处理设备相连接,采集所述辅助运动器具的运动传感数据并发送给所述数据处理设备;
所述驱动模块还用于根据所述辅助运动器具的运动传感数据在所述VR场景中驱动与辅助运动器具对应的虚拟器具模型,所述虚拟器具模型的动作与所述辅助运动器具运动时的动作相一致;所述运动参数确定模块,还用于在所述虚拟器具模型和/或虚拟人体模型与所述虚拟参考物进行交互过程中,根据采集到所述被测对象和辅助运动器具运动传感数据确定所述被测对象的运动参数。
3.根据权利要求1或2所述的系统,其特征在于,所述显示设备为头戴式显示设备,且所述头戴式显示器佩戴在所述被测对象上;
所述动作捕捉设备为穿戴式动作捕捉设备,所述穿戴式动作捕捉设备中包括多个动作捕捉传感器。
4.根据权利要求3所述的系统,其特征在于,所述数据处理设备为便携式设备,所述VR显示设备和动作捕捉设备通过线缆与所述数据处理设备相连接;
或者,
所述数据处理设备为一体机或计算机,所述VR显示设备和动作捕捉设备通过无线通信模块与所述数据处理设备进行通信。
5.根据权利要求3所述的系统,其特征在于,所述系统包括:多个VR显示设备和多个动作捕捉设备,且所述VR显示设备和动作捕捉设备一一对应;
每个VR显示设备和动作捕捉设备均与所述数据处理设备相连接,所述数据处理设备在所述VR场景中,基于每个动作捕捉设备的运动传感数据分别驱动与各个被测对象对应的虚拟人体模型。
6.根据权利要求1或2所述的系统,其特征在于,所述存储设备中存储有各个运动参数的阈值区间与质量等级之间的对应关系;
所述动作质量确定模块包括:
区间获取模块,用于获取每个运动参数所在的阈值区间;
对应关系获取模块,用于获取每个运动参数的预先设置的阈值区间与质量等级之间的对应关系;
质量等级确定模块,用于根据每个运动参数所在的阈值区间,确定每个运动参数对应的质量等级;
动作质量组合模块,用于将所有运动参数对应的质量等级进行组合得到所述动作质量。
7.根据权利要求1所述的系统,其特征在于,所述虚拟参考物为所述VR场景中的可运动物体;所述动作质量确定模块包括:
运动信息获取子模块,用于获取所述虚拟参考物被接触后的运动信息,所述运动信息包括:运动速度、运动轨迹、运动方向、运动位置、运动时长和/或运动角度;
第二质量确定子模块,用于根据所述运动参数和所述运动信息,或者,根据所述运动信息确定所述被测对象进行运动时的动作质量。
8.根据权利要求1或7所述的系统,其特征在于,所述动作质量确定模块包括:
属性信息获取子模块,用于获取所述虚拟参考物的属性信息,所述属性信息包括:形状、体积、颜色、标识、重量、数量、空间位置和/或结构;
第三质量确定子模块,用于根据所述运动参数、反馈信息和运动信息中的至少一种,以及属性信息,或者,根据所述属性信息确定所述被测对象进行运动时的动作质量。
CN201811497749.6A 2018-12-07 2018-12-07 基于vr和动作捕捉的运动评估系统 Active CN109675289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811497749.6A CN109675289B (zh) 2018-12-07 2018-12-07 基于vr和动作捕捉的运动评估系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811497749.6A CN109675289B (zh) 2018-12-07 2018-12-07 基于vr和动作捕捉的运动评估系统

Publications (2)

Publication Number Publication Date
CN109675289A CN109675289A (zh) 2019-04-26
CN109675289B true CN109675289B (zh) 2020-10-20

Family

ID=66186675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811497749.6A Active CN109675289B (zh) 2018-12-07 2018-12-07 基于vr和动作捕捉的运动评估系统

Country Status (1)

Country Link
CN (1) CN109675289B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955335A (zh) * 2019-12-18 2020-04-03 视境技术(深圳)有限公司 一种动作捕捉系统和方法
CN112386882A (zh) * 2020-10-14 2021-02-23 珠海格力电器股份有限公司 虚拟运动系统、方法、计算机设备及计算机可读存储介质
CN113867532A (zh) * 2021-09-30 2021-12-31 上海千丘智能科技有限公司 一种基于虚拟现实技能训练的评估系统及评估方法
CN114882972B (zh) * 2022-04-13 2023-03-24 江苏医药职业学院 一种基于虚拟现实的老年人康复锻炼系统及方法

Also Published As

Publication number Publication date
CN109675289A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
US11862334B2 (en) Flight time
CN109675289B (zh) 基于vr和动作捕捉的运动评估系统
US11564597B2 (en) Fitness training system for merging energy expenditure calculations from multiple devices
JP6938542B2 (ja) 組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品
US10583328B2 (en) Method and system for automated personal training
Staiano et al. The promise of exergames as tools to measure physical health
EP2973215B1 (en) Feedback signals from image data of athletic performance
JP2019000653A (ja) アスレチック運動属性からのペースとエネルギー消費の計算
CA2767654A1 (en) Visualization testing and/or training
Sun et al. An impact study of the design of exergaming parameters on body intensity from objective and gameplay-based player experience perspectives, based on balance training exergame
US20150092980A1 (en) Tracking program and method
KR20120097672A (ko) 네츄럴 인터렉션 기반 건강 및 재활 기능성 게임시스템
US20230187050A1 (en) Utilizing Athletic Activities to Augment Audible Compositions
CN109765998B (zh) 基于vr和动作捕捉的运动评估方法、设备及存储介质
KR20120097674A (ko) 네츄럴 인터렉션 기반 건강 및 재활 기능성 게임시스템의 운동정보 가이드 장치
US20210307652A1 (en) Systems and devices for measuring, capturing, and modifying partial and full body kinematics
KR102377754B1 (ko) 오토코칭정보 제공방법 및 시스템
KR20200071457A (ko) 오토코칭정보 제공방법 및 시스템
Johnson A Boxing Interface for a Games Console
Kim Non-Intrusive Physical Activity Prediction for Exergames

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant