CN116243803B - 一种基于vr技术的动作评估方法、系统、设备及可读存储介质 - Google Patents

一种基于vr技术的动作评估方法、系统、设备及可读存储介质 Download PDF

Info

Publication number
CN116243803B
CN116243803B CN202310524740.4A CN202310524740A CN116243803B CN 116243803 B CN116243803 B CN 116243803B CN 202310524740 A CN202310524740 A CN 202310524740A CN 116243803 B CN116243803 B CN 116243803B
Authority
CN
China
Prior art keywords
motion
data
action
person
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310524740.4A
Other languages
English (en)
Other versions
CN116243803A (zh
Inventor
陈宗昊
王冰清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Hongwei Interactive Technology Co ltd
Original Assignee
Nanjing Hongwei Interactive Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Hongwei Interactive Technology Co ltd filed Critical Nanjing Hongwei Interactive Technology Co ltd
Priority to CN202310524740.4A priority Critical patent/CN116243803B/zh
Publication of CN116243803A publication Critical patent/CN116243803A/zh
Application granted granted Critical
Publication of CN116243803B publication Critical patent/CN116243803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种基于VR技术的动作评估方法、系统、设备及可读存储介质，涉及虚拟现实技术领域，包括获取模拟汽车驾驶场景的三维模型；显示VR场景区域，待测人员根据当前在屏幕上看到的影像判断当前虚拟汽车相对周围物体的位置，进而作出相应的操作；采集待测人员身体各部位运动时的动作传感数据，将所述动作传感数据进行分割，得到分割后的动作数据；基于分割后的所述动作数据生成VR场景，所述VR场景中的虚拟人体模型用于与所述待测人员进行交互；通过评估系统对交互过程中产生的动作的情况进行综合评估。本发明的有益效果为基于VR技术对待测人员在交互过程中产生的动作的情况进行综合评估，从而给予修正。

Description

一种基于VR技术的动作评估方法、系统、设备及可读存储介质
技术领域
本发明涉及虚拟现实技术领域，具体而言，涉及一种基于VR技术的动作评估方法、系统、设备及可读存储介质。
背景技术
随着计算机硬件技术与软件系统的发展和改进，虚拟现实技术正被广泛应用于军事、医疗、管理、设计、教育、娱乐等各个领域。特别在模拟驾驶领域，驾驶模拟效果逼真、节能、安全、经济，并且不受时间、气候、场地的限制，驾驶训练具有效率高以及培训周期短等优势，在新车型开发和驾驶培训方面应用十分广泛。但是在虚拟驾驶场景中如何对驾驶者进行动作评估，并且通过评估结果来修正驾驶者某些不正确或者不到位的动作，从而做出正确的修正和引导是一个重要的问题。
发明内容
本发明的目的在于提供一种基于VR技术的动作评估方法、系统、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了一种基于VR技术的动作评估方法，包括：
获取模拟汽车驾驶场景的三维模型，所述三维模型的搭建是利用视频编辑软件和3D建模软件将摄像机拍摄的视频制作成3D视频，并将3D视频输入至VR系统平台进行生成；
显示VR场景区域，待测人员根据当前在屏幕上看到的影像判断当前虚拟汽车相对周围物体的位置，进而作出相应的操作，所述操作包括修正方向盘转角、指关节握方向盘的程度、踩刹车和油门踏板的力度；
采集待测人员身体各部位运动时的动作传感数据，将所述动作传感数据进行分割，得到分割后的动作数据，所述动作数据为待测人员在运动过程中至少产生一个的运动参数；
基于分割后的所述动作数据生成VR场景，所述VR场景中的虚拟人体模型用于与所述待测人员进行交互；
通过评估系统对交互过程中产生的动作的情况进行综合评估，根据综合评估结果反映交互过程中出现的动作质量的问题，进而给予修正。
优选地，所述采集待测人员身体各部位运动时的动作传感数据，将所述动作传感数据进行分割，得到分割后的动作数据，其中包括：
采集指关节握方向盘的动作图像和运动数据，所述动作图像由摄像装置进行采集，所述运动数据由待测人员的运动手套进行采集，所述运动手套将从大拇指到小指所有的关节的运动数据，所述运动数据包括关节节点在VR场景中的坐标偏移、旋转角度以及缩放系数；
基于动作图像和运动数据，输入至预设的深度学习卷积网络模型中，得到预测指关节运动集合；
根据多维云模型算法，对预测指关节运动集合中的动作进行分割，得到分割后的动作数据。
优选地，所述采集指关节握方向盘的动作图像，之后包括：
对动作图像提取关键帧图像，所述关键帧图像包括有关于方向盘瞬间大幅度修正交替出现的图像；
选取关键帧图像中手心作为基准点，计算各个关节点到手心的距离，得到距离特征数据；
对距离特征数据进行归一化处理，得到归一化距离特征，公式如下：
式中，为欧式距离，每个关键点分别计算X和Y两个方向上的距离；
基于所述归一化距离特征，得到关节角度特征和关节速度特征；
通过所述归一化距离特征、所述关节角度特征和所述关节速度特征建立融合特征矩阵，并利用PCA降维算法，得到动作图像的主要特征动作。
优选地，所述根据综合评估结果反映交互过程中出现的动作质量的问题，进而给予修正，其中包括：
对交互过程中出现的动作进行打分，得到打分结果，将每个测试项的所述打分结果与各自对应的测试参数进行比较；
统计测试项的测试数据与各自对应的所述测试参数的一致性比较的结果；
基于比较的结果，在预设的动作质量数据库中，查找与所述结果相对应的动作质量；
根据卡尔曼滤波法对所述动作质量所反映的数据进行处理修正，得到修正数据；
利用高斯过程回归对所述修正数据进行拟合分析，得到最优分析结果，并基于最优分析结果给予修正。
第二方面，本申请还提供了一种基于VR技术的动作评估系统，包括获取模块、操作模块、分割模块、交互模块和评估模块，其中：
获取模块：用于获取模拟汽车驾驶场景的三维模型，所述三维模型的搭建是利用视频编辑软件和3D建模软件将摄像机拍摄的视频制作成3D视频，并将3D视频输入至VR系统平台进行生成；
操作模块：用于显示VR场景区域，待测人员根据当前在屏幕上看到的影像判断当前虚拟汽车相对周围物体的位置，进而作出相应的操作，所述操作包括修正方向盘转角、指关节握方向盘的程度、踩刹车和油门踏板的力度；
分割模块：用于采集待测人员身体各部位运动时的动作传感数据，将所述动作传感数据进行分割，得到分割后的动作数据，所述动作数据为待测人员在运动过程中至少产生一个的运动参数；
交互模块：用于基于分割后的所述动作数据生成VR场景，所述VR场景中的虚拟人体模型用于与所述待测人员进行交互；
评估模块：用于通过评估系统对交互过程中产生的动作的情况进行综合评估，根据综合评估结果反映交互过程中出现的动作质量的问题，进而给予修正。
第三方面，本申请还提供了一种基于VR技术的动作评估设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述基于VR技术的动作评估方法的步骤。
第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于基于VR技术的动作评估方法的步骤。
本发明的有益效果为：
本发明将VR场景设置为不同的场景，并且具有的各项考试项目和错误提示功能使待测人员在更安全的环境下掌握驾驶的基本技能，包括但是不限于在VR场景中设置路障亦或者突发情况等场景，待测人员可以在城市场景、山区道路以及高速公路中的练习能达到熟悉交规，完善驾驶技能的效果，各种天气的模拟锻炼用户在恶劣情况下的驾驶技能和对各种突发状况的应变能力。
本发明在VR场景中，采集数据手套信息的基础上，采用深度卷积学习神经网络模型和多维云模型结合的算法对虚拟现实环境中的动作进行分割，该分割方法对虚拟环境下的操作动作数据具有较强的建模能力和模型学习能力。
本发明利用CNN的卷积层和池化层对多传感数据进行特征分析，全连接层进行输出预测，最后用于模型的概率分布进行分割点确定CNN能够充分的利用空间多维度和高密度的数据，能够为云模型的构建提供基础，最终实现最优的动作分割。采用分割法对指关节运动集合的动作进行分割，得到了分割后的动作数据，更加准确的可以对数据进行识别，也可以更好的通过VR去评估动作。
本发明将归一化之后的距离特征、所述关节角度特征和所述关节速度特征进行融合，可以提高分类识别的准确性；并采用主成分分析算法对融合特征进行降维，删除冗杂无用的信息，减少相似度量的计算量，保证重要信息不丢失。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的基于VR技术的动作评估方法流程示意图;
图2为本发明实施例中所述的基于VR技术的动作评估系统结构示意图；
图3为本发明实施例中所述的基于VR技术的动作评估设备结构示意图。
图中:701、获取模块；702、操作模块；703、分割模块；7031、采集单元；70311、提取单元；70312、计算单元；70313、处理单元；70314、第二获得单元；70315、建立单元；7032、第一获得单元；7033、分割单元；704、交互模块；705、评估模块；7051、打分单元；7052、统计单元；7053、查找单元；7054、修正单元；7055、分析单元；800、基于VR技术的动作评估设备；801、处理器；802、存储器；803、多媒体组件；804、I/O接口；805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
本实施例提供了一种基于VR技术的动作评估方法。
参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300、步骤S400和步骤S500。
S100、获取模拟汽车驾驶场景的三维模型，所述三维模型的搭建是利用视频编辑软件和3D建模软件将摄像机拍摄的视频制作成3D视频，并将3D视频输入至VR系统平台进行生成；
可以理解的是，在本步骤中，将制作好的3D视频配合VR的系统平台，制作成驾考系统，驾考系统中有很多模式可供驾驶者选择，选择不同的天气，不同的路况，不同的路障等，将驾考系统置入到VR设备上，并且VR设备与体感座椅的传感器相连接，传感器连接方向盘、踩刹车和油门踏板等组件。
S200、显示VR场景区域，待测人员根据当前在屏幕上看到的影像判断当前虚拟汽车相对周围物体的位置，进而作出相应的操作，所述操作包括修正方向盘转角、指关节握方向盘的程度、踩刹车和油门踏板的力度；
可以理解的是，在本步骤中，修正方向盘转角包括当车道行驶轨迹呈现出“S”形，待测人员瞬间大幅度修正方向盘；待测人员指关节握方向盘有些是轻握，有些是紧握，可以通过分析指关节的程度得到待测人员面对虚拟影像而做出的不同的反应；以及科研通过踩刹车和油门踏板的力度进而判断模拟驾考的待测人员的综合水平，这些信号通过传感器电路转换为电信号， 再通过计算机上配置的数模转换装置转换为数字信号。
S300、采集待测人员身体各部位运动时的动作传感数据，将所述动作传感数据进行分割，得到分割后的动作数据，所述动作数据为待测人员在运动过程中至少产生一个的运动参数。
可以理解的是，在本S300步骤中包括S301、S302和S303，其中：
S301、采集指关节握方向盘的动作图像和运动数据，所述动作图像由摄像装置进行采集，所述运动数据由待测人员的运动手套进行采集，所述运动手套将从大拇指到小指所有的关节的运动数据，所述运动数据包括关节节点在VR场景中的坐标偏移、旋转角度以及缩放系数；
在本步骤中，将模型手的数据图像化时，假设从拇指到小指的代表字母是a、b、c、d 和e，那么对应的关节是f、g、h、i和j，那么从大拇指开始到手腕处，分别是a、、、，食指 是b、、、，…以此类推，将一帧数据处理为二维矩阵，矩阵大小为5*6，有30个关节点。
需要说明的是，在虚拟现实环境中，采集数据手套信息的基础上，采用深度卷积学习神经网络模型和多维云模型结合的算法对虚拟现实环境中的动作进行分割，该分割方法对虚拟环境下的操作动作数据具有较强的建模能力和模型学习能力。
S302、基于动作图像和运动数据，输入至预设的深度学习卷积网络模型中，得到预测指关节运动集合；
S303、根据多维云模型算法，对预测指关节运动集合中的动作进行分割，得到分割后的动作数据。
在确定了评价因子及其评价标准后，可以用以下方法确定多维正态云模型，公式如下：
式中，分别表示变量的最小和最大边界，为云的数字特征。
需要说明的是，利用CNN的卷积层和池化层对多传感数据进行特征分析，全连接层进行输出预测，最后用于模型的概率分布进行分割点确定CNN能够充分的利用空间多维度和高密度的数据，能够为云模型的构建提供基础，最终实现最优的动作分割。其中需要注意的是，采用分割法对指关节运动集合的动作进行分割，得到了分割后的动作数据，更加准确的、细致地可以对数据进行识别，也可以更好的通过VR去评估动作。
需要说明的是，步骤S301中采集指关节握方向盘的动作图像，之后包括S3011、S3012、S3013、S3014和S3015，其中：
S3011、对动作图像提取关键帧图像，所述关键帧图像包括有关于方向盘瞬间大幅度修正交替出现的图像；
S3012、选取关键帧图像中手心作为基准点，计算各个关节点到手心的距离，得到距离特征数据；
选取大拇指关节两个以及其他手指关节三个作为14个关键点到手心的距离，每个关键点分别计算X、Y两个方向上的距离，一共有28个距离特征，可以用定义特征向量表示。
S3013、对距离特征数据进行归一化处理，得到归一化距离特征，公式如下：
式中，为欧式距离，每个关键点分别计算X和Y两个方向上的距离；
需要说明的是，因为当指关节握方向盘的时候动作是一个动态的过程，所以每一帧的图像中的肢体的位置是变化的，从而各个关节点也是变化的，特征向量也是随之变化的，就能通过特征向量的变化对动作进行描述。因为动作采集时每个体型不同，并且在完成动作过程中位置变化导致与摄像头的距离角度也会发生变化，产生一定的差异。所以需要对距离特征数据进行归一化处理。
S3014、基于所述归一化距离特征，得到关节角度特征和关节速度特征；
S3015、通过所述归一化距离特征、所述关节角度特征和所述关节速度特征建立融合特征矩阵，并利用PCA降维算法，得到动作图像的主要特征动作。
需要说明的是，不同动作的某一帧中的某个关节点会有角度相同的情况，但是这些情况下并不能完全区分出来动作具体是哪个关节，会造成错误识别。那么把归一化之后的距离特征、所述关节角度特征和所述关节速度特征进行融合，可以提高分类识别的准确性。
在本步骤中，采用主成分分析算法对融合特征进行降维，删除冗杂无用的信息，减少相似度量的计算量，保证重要信息不丢失。
S400、基于分割后的所述动作数据生成VR场景，所述VR场景中的虚拟人体模型用于与所述待测人员进行交互。
可以理解的是，在本步骤中，可以将VR场景设置为不同的场景，并且具有的各项考试项目和错误提示功能使待测人员在更安全的环境下掌握驾驶的基本技能，包括但是不限于在VR场景中设置路障亦或者突发情况等场景，待测人员可以在城市场景、山区道路以及高速公路中的练习能达到熟悉交规，完善驾驶技能的效果，各种天气的模拟锻炼用户在恶劣情况下的驾驶技能和对各种突发状况的应变能力。
S500、通过评估系统对交互过程中产生的动作的情况进行综合评估，根据综合评估结果反映交互过程中出现的动作质量的问题，进而给予修正。
可以理解的是，在本S500步骤中包括S501、S502、S503、S504和S505，其中：
S501、对交互过程中出现的动作进行打分，得到打分结果，将每个测试项的所述打分结果与各自对应的测试参数进行比较；
需要说明的是，打分结果是一个综合的评定方式，并不是某一个行为动作而导致的分数，是多个分数经过平均数计算得到来的；另外，测试参数包括但是不限于是一个数据，也可以是一个状态，若是数值，则需要判断测试数据是否在数据所在的数值区间内；若是一种状态，则需要判断状态是否一致，是否同样在预设的阈值区间范围内。
S502、统计测试项的测试数据与各自对应的所述测试参数的一致性比较的结果；
S503、基于比较的结果，在预设的动作质量数据库中，查找与所述结果相对应的动作质量；
需要说明的是，每个动作质量都有一定的评判标准，根据结果去寻找与结果对应的评判标准，例如是否具有协调性、稳定性和准确性。
S504、根据卡尔曼滤波法对所述动作质量所反映的数据进行处理修正，得到修正数据；
需要说明的是，卡尔曼滤波法可以利用有限的、不直接且含有噪音的测量量值去估算缺失的信息，对动作质量所反映的数据进行合理的修正，能够实时地滤除观测噪声的影响，对状态值进行最优估算，另外，卡尔曼在迭代过程中，只需要上一时刻的状态值与量测值，可以极大节省存储空间，提高运算效率。其中，线性卡尔曼滤波的状态方程表达式为
量测方程表达式为
上式中，K表示离散的时间；为在K时刻的状态值；A为系统状态转移矩阵；B为系统状态控制量；U（k）为系统驱动输入量；W（k）为系统在K时刻的输入噪声；/>为系统在K时刻的观测值；H为 系统状态映射观测量的转移矩阵；/>为系统在K时刻的观测噪声。其中系统的输入噪声和观测噪声视为高斯噪声，系统输入噪声服从高斯 />，系统观测噪声服从高斯分布/>。
S505、利用高斯过程回归对所述修正数据进行拟合分析，得到最优分析结果，并基于最优分析结果给予修正。
需要说明的是，高斯过程回归是使用高斯过程先验对数据进行回归分析的非参数模型，其本质是贝叶斯推断。利用高斯过程回归对所述修正数据进行拟合分析，高斯过程是依靠有限个随机变量构建模型，利用联合高斯分布将目标值和训练值处于同一个高斯分布中，对修正数据进行拟合分析，从而得到最终的最优分析结果，并通过分析结果取修正动作质量的问题，例如在训练驾照考级场景中，若VR场景中虚拟人体模型与待测人员进行交互过程中，待测人员方向盘打的方向不够准确导致倒车入库不合格，那么通过高斯过程回归对所述修正数据进行拟合分析，得到分析结果，从分析结果可以得知测试人员如何可以在一个特定的场景中得到最优的路线，从而给予修正。
实施例2：
如图2所示，本实施例提供了一种基于VR技术的动作评估系统，参见图2所述系统包括获取模块701、操作模块702、分割模块703、交互模块704和评估模块705，其中：
获取模块701：用于获取模拟汽车驾驶场景的三维模型，所述三维模型的搭建是利用视频编辑软件和3D建模软件将摄像机拍摄的视频制作成3D视频，并将3D视频输入至VR系统平台进行生成；
操作模块702：用于显示VR场景区域，待测人员根据当前在屏幕上看到的影像判断当前虚拟汽车相对周围物体的位置，进而作出相应的操作，所述操作包括修正方向盘转角、指关节握方向盘的程度、踩刹车和油门踏板的力度；
分割模块703：用于采集待测人员身体各部位运动时的动作传感数据，将所述动作传感数据进行分割，得到分割后的动作数据，所述动作数据为待测人员在运动过程中至少产生一个的运动参数；
交互模块704：用于基于分割后的所述动作数据生成VR场景，所述VR场景中的虚拟人体模型用于与所述待测人员进行交互；
评估模块705：用于通过评估系统对交互过程中产生的动作的情况进行综合评估，根据综合评估结果反映交互过程中出现的动作质量的问题，进而给予修正。
具体地，所述分割模块703，其中包括采集单元7031、第一获得单元7032和分割单元7033，其中：
采集单元7031：用于采集指关节握方向盘的动作图像和运动数据，所述动作图像由摄像装置进行采集，所述运动数据由待测人员的运动手套进行采集，所述运动手套将从大拇指到小指所有的关节的运动数据，所述运动数据包括关节节点在VR场景中的坐标偏移、旋转角度以及缩放系数；
第一获得单元7032：用于基于动作图像和运动数据，输入至预设的深度学习卷积网络模型中，得到预测指关节运动集合；
分割单元7033：用于根据多维云模型算法，对预测指关节运动集合中的动作进行分割，得到分割后的动作数据。
具体地，所述采集单元7031，之后包括提取单元70311、计算单元70312、处理单元70313、第二获得单元70314和建立单元70315，其中：
提取单元70311：用于对动作图像提取关键帧图像，所述关键帧图像包括有关于方向盘瞬间大幅度修正交替出现的图像；
计算单元70312：用于选取关键帧图像中手心作为基准点，计算各个关节点到手心的距离，得到距离特征数据；
处理单元70313：用于对距离特征数据进行归一化处理，得到归一化距离特征，公式如下：
式中，为欧式距离，每个关键点分别计算X和Y两个方向上的距离；
第二获得单元70314：用于基于所述归一化距离特征，得到关节角度特征和关节速度特征；
建立单元70315：用于通过所述归一化距离特征、所述关节角度特征和所述关节速度特征建立融合特征矩阵，并利用PCA降维算法，得到动作图像的主要特征动作。
具体地，所述评估模块705，其中包括打分单元7051、统计单元7052、查找单元7053、修正单元7054和分析单元7055，其中：
打分单元7051：用于对交互过程中出现的动作进行打分，得到打分结果，将每个测试项的所述打分结果与各自对应的测试参数进行比较；
统计单元7052：用于统计测试项的测试数据与各自对应的所述测试参数的一致性比较的结果；
查找单元7053：用于基于比较的结果，在预设的动作质量数据库中，查找与所述结果相对应的动作质量；
修正单元7054：用于根据卡尔曼滤波法对所述动作质量所反映的数据进行处理修正，得到修正数据；
分析单元7055：用于利用高斯过程回归对所述修正数据进行拟合分析，得到最优分析结果，并基于最优分析结果给予修正。
需要说明的是，关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3：
对应于上面的方法实施例，本实施例中还提供了一种基于VR技术的动作评估设备，下文描述的一种基于VR技术的动作评估设备与上文描述的一种基于VR技术的动作评估方法可相互对应参照。
图3是根据示例性实施例示出的一种基于VR技术的动作评估设备800的框图。如图3所示，该基于VR技术的动作评估设备800包括：处理器801和存储器802。该基于VR技术的动作评估设备800还包括多媒体组件803，I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该基于VR技术的动作评估设备800的整体操作，以完成上述的基于VR技术的动作评估方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该基于VR技术的动作评估设备800的操作，这些数据例如可以包括用于在该基于VR技术的动作评估设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(StaticRandom Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘、鼠标或按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该基于VR技术的动作评估设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi、蓝牙、近场通信(Near FieldCommunication，简称NFC)、2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块、蓝牙模块或NFC模块。
在一示例性实施例中，基于VR技术的动作评估设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的基于VR技术的动作评估方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的基于VR技术的动作评估方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由基于VR技术的动作评估设备800的处理器801执行以完成上述的基于VR技术的动作评估方法。
实施例4：
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种基于VR技术的动作评估方法可相互对应参照。
可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的基于VR技术的动作评估方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种基于VR技术的动作评估方法，其特征在于，包括：
获取模拟汽车驾驶场景的三维模型，所述三维模型的搭建是利用视频编辑软件和3D建模软件将摄像机拍摄的视频制作成3D视频，并将3D视频输入至VR系统平台进行生成；
显示VR场景区域，待测人员根据当前在屏幕上看到的影像判断当前虚拟汽车相对周围物体的位置，进而作出相应的操作，所述操作包括修正方向盘转角、指关节握方向盘的程度、踩刹车和油门踏板的力度；
采集待测人员身体各部位运动时的动作传感数据，将所述动作传感数据进行分割，得到分割后的动作数据，所述动作数据为待测人员在运动过程中至少产生一个的运动参数；
基于分割后的所述动作数据生成VR场景，所述VR场景中的虚拟人体模型用于与所述待测人员进行交互；
通过评估系统对交互过程中产生的动作的情况进行综合评估，根据综合评估结果反映交互过程中出现的动作质量的问题，进而给予修正；
其中，所述采集待测人员身体各部位运动时的动作传感数据，将所述动作传感数据进行分割，得到分割后的动作数据，包括：
采集指关节握方向盘的动作图像和运动数据，所述动作图像由摄像装置进行采集，所述运动数据由待测人员的运动手套进行采集，所述运动手套将从大拇指到小指所有的关节的运动数据，所述运动数据包括关节节点在VR场景中的坐标偏移、旋转角度以及缩放系数；
基于动作图像和运动数据，输入至预设的深度学习卷积网络模型中，得到预测指关节运动集合；
根据多维云模型算法，对预测指关节运动集合中的动作进行分割，得到分割后的动作数据；
其中，所述根据综合评估结果反映交互过程中出现的动作质量的问题，进而给予修正，其中包括：
对交互过程中出现的动作进行打分，得到打分结果，将每个测试项的所述打分结果与各自对应的测试参数进行比较；
统计测试项的测试数据与各自对应的所述测试参数的一致性比较的结果；
基于比较的结果，在预设的动作质量数据库中，查找与所述结果相对应的动作质量；
根据卡尔曼滤波法对所述动作质量所反映的数据进行处理修正，得到修正数据，其中，线性卡尔曼滤波的状态方程表达式为
X(k)＝AX(k-1)+BU(k-1)+W(k-1)
量测方程表达式为Z(k)＝HX(k)+V(k)
上式中，K表示离散的时间；X(k)为在K时刻的状态值；A为系统状态转移矩阵；B为系统状态控制量；U(k)为系统驱动输入量；W(k)为系统在K时刻的输入噪声；Z(k)为系统在K时刻的观测值；H为系统状态映射观测量的转移矩阵；V(k)为系统在K时刻的观测噪声，其中系统的输入噪声和观测噪声视为高斯噪声，系统输入噪声服从高斯p(W)～N(0，Q)，系统观测噪声服从高斯分布p(V)～N(0，R)；
利用高斯过程回归对所述修正数据进行拟合分析，得到最优分析结果，并基于最优分析结果给予修正，其中，利用联合高斯分布将目标值和训练值处于同一个高斯分布中，对修正数据进行拟合分析，从分析结果可以得知测试人员如何可以在一个特定的场景中得到最优的路线，从而通过分析结果取修正动作质量的问题给予修正，得到最终的最优分析结果。
2.根据权利要求1所述的基于VR技术的动作评估方法，其特征在于，所述采集指关节握方向盘的动作图像，之后包括：
对动作图像提取关键帧图像，所述关键帧图像包括有关于方向盘瞬间大幅度修正交替出现的图像；
选取关键帧图像中手心作为基准点，计算各个关节点到手心的距离，得到距离特征数据；
对距离特征数据进行归一化处理，得到归一化距离特征，公式如下：
式中，dnm为欧式距离，每个关键点分别计算X和Y两个方向上的距离；
基于所述归一化距离特征，得到关节角度特征和关节速度特征；
通过所述归一化距离特征、所述关节角度特征和所述关节速度特征建立融合特征矩阵，并利用PCA降维算法，得到动作图像的主要特征动作。
3.一种基于VR技术的动作评估系统，其特征在于，包括：
获取模块：用于获取模拟汽车驾驶场景的三维模型，所述三维模型的搭建是利用视频编辑软件和3D建模软件将摄像机拍摄的视频制作成3D视频，并将3D视频输入至VR系统平台进行生成；
操作模块：用于显示VR场景区域，待测人员根据当前在屏幕上看到的影像判断当前虚拟汽车相对周围物体的位置，进而作出相应的操作，所述操作包括修正方向盘转角、指关节握方向盘的程度、踩刹车和油门踏板的力度；
分割模块：用于采集待测人员身体各部位运动时的动作传感数据，将所述动作传感数据进行分割，得到分割后的动作数据，所述动作数据为待测人员在运动过程中至少产生一个的运动参数；
交互模块：用于基于分割后的所述动作数据生成VR场景，所述VR场景中的虚拟人体模型用于与所述待测人员进行交互；
评估模块：用于通过评估系统对交互过程中产生的动作的情况进行综合评估，根据综合评估结果反映交互过程中出现的动作质量的问题，进而给予修正；
其中，所述分割模块包括：
采集单元：用于采集指关节握方向盘的动作图像和运动数据，所述动作图像由摄像装置进行采集，所述运动数据由待测人员的运动手套进行采集，所述运动手套将从大拇指到小指所有的关节的运动数据，所述运动数据包括关节节点在VR场景中的坐标偏移、旋转角度以及缩放系数；
第一获得单元：用于基于动作图像和运动数据，输入至预设的深度学习卷积网络模型中，得到预测指关节运动集合；
分割单元：用于根据多维云模型算法，对预测指关节运动集合中的动作进行分割，得到分割后的动作数据；
其中，所述评估模块，其中包括：
打分单元：用于对交互过程中出现的动作进行打分，得到打分结果，将每个测试项的所述打分结果与各自对应的测试参数进行比较；
统计单元：用于统计测试项的测试数据与各自对应的所述测试参数的一致性比较的结果；
查找单元：用于基于比较的结果，在预设的动作质量数据库中，查找与所述结果相对应的动作质量；
修正单元：用于根据卡尔曼滤波法对所述动作质量所反映的数据进行处理修正，得到修正数据，其中，线性卡尔曼滤波的状态方程表达式为
X(k)＝AX(k-1)+BU(k-1)+W(k-1)
量测方程表达式为Z(k)＝HX(k)+V(k)
上式中，K表示离散的时间；X(k)为在K时刻的状态值；A为系统状态转移矩阵；B为系统状态控制量；U(k)为系统驱动输入量；W(k)为系统在K时刻的输入噪声；Z(k)为系统在K时刻的观测值；H为系统状态映射观测量的转移矩阵；V(k)为系统在K时刻的观测噪声，其中系统的输入噪声和观测噪声视为高斯噪声，系统输入噪声服从高斯p(W)～N(0，Q)，系统观测噪声服从高斯分布p(V)～N(0，R)；
分析单元：用于利用高斯过程回归对所述修正数据进行拟合分析，得到最优分析结果，并基于最优分析结果给予修正，其中，利用联合高斯分布将目标值和训练值处于同一个高斯分布中，对修正数据进行拟合分析，从分析结果可以得知测试人员如何可以在一个特定的场景中得到最优的路线，从而通过分析结果取修正动作质量的问题给予修正，得到最终的最优分析结果。
4.根据权利要求3所述的基于VR技术的动作评估系统，其特征在于，所述采集单元，之后包括：
提取单元：用于对动作图像提取关键帧图像，所述关键帧图像包括有关于方向盘瞬间大幅度修正交替出现的图像；
计算单元：用于选取关键帧图像中手心作为基准点，计算各个关节点到手心的距离，得到距离特征数据；
处理单元：用于对距离特征数据进行归一化处理，得到归一化距离特征，公式如下：
式中，dnm为欧式距离，每个关键点分别计算X和Y两个方向上的距离；
第二获得单元：用于基于所述归一化距离特征，得到关节角度特征和关节速度特征；
建立单元：用于通过所述归一化距离特征、所述关节角度特征和所述关节速度特征建立融合特征矩阵，并利用PCA降维算法，得到动作图像的主要特征动作。
5.一种基于VR技术的动作评估设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至2任一项所述基于VR技术的动作评估方法的步骤。
6.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述基于VR技术的动作评估方法的步骤。
CN202310524740.4A 2023-05-11 2023-05-11 一种基于vr技术的动作评估方法、系统、设备及可读存储介质 Active CN116243803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310524740.4A CN116243803B (zh) 2023-05-11 2023-05-11 一种基于vr技术的动作评估方法、系统、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310524740.4A CN116243803B (zh) 2023-05-11 2023-05-11 一种基于vr技术的动作评估方法、系统、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN116243803A CN116243803A (zh) 2023-06-09
CN116243803B true CN116243803B (zh) 2023-12-05

Family

ID=86629947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310524740.4A Active CN116243803B (zh) 2023-05-11 2023-05-11 一种基于vr技术的动作评估方法、系统、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN116243803B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221887A (zh) * 2019-04-25 2019-09-10 铁将军汽车电子股份有限公司 驾驶行为评估信息的展示方法、装置及系统
CN110288875A (zh) * 2019-05-16 2019-09-27 珠海超凡视界科技有限公司 一种基于vr的方向盘交互系统、方法及装置
CN111753669A (zh) * 2020-05-29 2020-10-09 广州幻境科技有限公司 基于图卷积网络的手部数据识别方法、系统和存储介质
CN112720504A (zh) * 2021-01-20 2021-04-30 清华大学 从rgbd视频中学习手与物体交互运动控制方法和装置
CN114882121A (zh) * 2022-05-19 2022-08-09 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种基于混合现实头显的人机交互虚实融合方法及装置
CN115829387A (zh) * 2022-11-24 2023-03-21 公安部道路交通安全研究中心 一种驾驶能力评估方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221887A (zh) * 2019-04-25 2019-09-10 铁将军汽车电子股份有限公司 驾驶行为评估信息的展示方法、装置及系统
CN110288875A (zh) * 2019-05-16 2019-09-27 珠海超凡视界科技有限公司 一种基于vr的方向盘交互系统、方法及装置
CN111753669A (zh) * 2020-05-29 2020-10-09 广州幻境科技有限公司 基于图卷积网络的手部数据识别方法、系统和存储介质
CN112720504A (zh) * 2021-01-20 2021-04-30 清华大学 从rgbd视频中学习手与物体交互运动控制方法和装置
CN114882121A (zh) * 2022-05-19 2022-08-09 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种基于混合现实头显的人机交互虚实融合方法及装置
CN115829387A (zh) * 2022-11-24 2023-03-21 公安部道路交通安全研究中心 一种驾驶能力评估方法、装置及电子设备

Also Published As

Publication number Publication date
CN116243803A (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
US10830584B2 (en) Body posture tracking
CN111008583B (zh) 一种利用肢体特征辅助的行人和骑车人姿态估计方法
CN111771207A (zh) 增强的车辆跟踪
CN103310188A (zh) 用于姿态识别的方法和设备
CN112329645B (zh) 图像检测方法、装置、电子设备及存储介质
CN113435432B (zh) 视频异常检测模型训练方法、视频异常检测方法和装置
KR102188732B1 (ko) 기하학적 모멘트 매칭을 통한 구 위에서의 적대적 생성망을 이용하는 데이터 처리 장치 및 방법
Habermann et al. Road junction detection from 3d point clouds
CN114299607A (zh) 一种基于自动驾驶汽车的人车碰撞危险度分析方法
JP2007280219A (ja) 動きパターン認識装置、動きパターン認識方法及び動きパターン認識プログラム
Liu et al. Visual object tracking with partition loss schemes
CN112462759B (zh) 规控算法的评估方法、系统及计算机存储介质
CN114595738A (zh) 为识别模型生成训练数据的方法和生成识别模型的方法
CN116958584B (zh) 关键点检测方法、回归模型的训练方法、装置及电子设备
CN116243803B (zh) 一种基于vr技术的动作评估方法、系统、设备及可读存储介质
JP2018124963A (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
CN112052786A (zh) 一种基于网格划分骨骼的行为预测方法
TWI812053B (zh) 定位方法、電子設備及電腦可讀儲存媒體
CN113609999B (zh) 基于姿态识别的人体模型建立方法
CN115527083A (zh) 图像标注方法、装置和电子设备
CN105654514A (zh) 一种图像目标跟踪方法
JP2021060937A (ja) 視線推定装置
CN114596515A (zh) 目标对象检测方法、装置、电子设备以及存储介质
Abuaish et al. Geometry of Radial Basis Neural Networks for Safety Biased Approximation of Unsafe Regions
CN111476115B (zh) 一种人体行为识别方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant