CN111729283A - 一种基于混合现实技术的训练系统及其方法 - Google Patents

Abstract

本发明公开了一种基于混合现实技术的训练系统及其方法,提供一种基于混合现实技术的训练系统在低成本的前提下实现虚拟交互式训练，其训练更富有趣味性、逼真性和临场感；所述基于混合现实技术的训练系统包括处理器单元、视频捕获模块、虚拟对象生产模块、MR融合模块、语义分隔模块、运动姿态计算模块、运动交互反馈模块和MR显示模块。本发明的成本相对更低，且能有效减少电子辐射，避免辐射构成身体健康的损害既不会损害健康；将真实世界中的真实训练者、环境背景和数字虚拟场景相互融合，真实训练驱动虚拟交互，虚拟交互同步反馈训练者，更富有趣味性、更逼真和更具有临场感，用户体验相对更佳。

Description

一种基于混合现实技术的训练系统及其方法

技术领域

本发明涉及混合现实训练领域，特别是一种基于混合现实技术的训练系统及其方法。

背景技术

虚拟现实：

所谓虚拟现实，顾名思义，就是虚拟和现实相互结合。从理论上来讲，虚拟现实技术(VR)是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合使其转化为能够让人们感受到的现象，这些现象可以是现实中真真切切的物体，也可以是我们肉眼所看不到的物质，通过三维模型表现出来。因为这些现象不是我们直接所能看到的，而是通过计算机技术模拟出来的现实中的世界，故称为虚拟现实。用户可以在虚拟现实世界体验到最真实的感受，其模拟环境的真实性与现实世界难辨真假，让人有种身临其境的感觉；同时，虚拟现实具有一切人类所拥有的感知功能，比如听觉、视觉、触觉、味觉、嗅觉等感知系统；最后，它具有超强的仿真系统，真正实现了人机交互，使人在操作过程中，可以随意操作并且得到环境最真实的反馈。正是虚拟现实技术的存在性、多感知性、交互性等特征使它受到了许多人的喜爱。VR代表设备有：HTCVive、Oculus Rift和Playstation VR。

即使VR技术前景较为广阔，但作为一项高速发展的科技技术，其自身的问题也随之渐渐浮现，例如产品回报稳定性的问题、用户视觉体验问题等。对于VR企业而言，如何突破目前VR发展的瓶颈，让VR技术成为主流仍是他们所亟待解决的问题。首先，部分用户使用VR设备会带来眩晕、呕吐等不适之感，这也造成其体验不佳的问题。部分原因来自清晰度的不足，而另一部分来自刷新率无法满足要求。据研究显示，4k以上的分辨率才能基本使大脑认同，但就目前来看，国内所用的VR设备远不及骗过大脑的要求。消费者的不舒适感可能产生的其对VR技术是否会对自身身体健康造成损害的担忧，这必将影响VR技术未来的发展与普及。VR体验的高价位同样是制约了其扩张的原因之一。在国内市场中，VR眼镜价位一般都在三千元以上。当然这并非是短时间内可以解决的问题，用户如果想体验到高端的视觉享受，必然要为其内部更高端的电脑支付高昂的价格。若想要使得虚拟现实技术得到推广，确保其内容的产出和回报率的稳定十分关键。其所涉及内容的制作成本与体验感决定了消费者接受VR设备的程度，而对于该高成本的内容，其回报率难以预估。其中对VR原创内容的创作无疑加大了其中的难度。

增强现实:

增强现实(Augmented Reality，简称AR)，增强现实技术也被称为扩增现实，AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。增强现实技术不仅能够有效体现出真实世界的内容，也能够促使虚拟的信息内容显示出来，这些细腻内容相互补充和叠加。在视觉化的增强现实中，用户需要在头盔式显示器(Head-mounted displays，简称HMD)或者AR眼镜的基础上，促使真实世界能够和电脑图形之间重合在一起，在重合之后可以充分看到真实的世界围绕着它。增强现实技术中主要有多媒体和三维建模以及场景融合等新的技术和手段，增强现实所提供的信息内容和人类能够感知的信息内容之间存在着明显不同。

AR的三大技术要点：三维注册(跟踪注册技术)、虚拟现实融合显示、人机交互。其流程是首先通过摄像头和传感器将真实场景进行数据采集，并传入处理器对其进行分析和重构，再通过AR头显或智能移动设备上的摄像头、陀螺仪、传感器等配件实时更新用户在现实环境中的空间位置变化数据，从而得出虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景与现实场景的融合计算，最后将其合成影像呈现给用户。用户可通过AR头显或智能移动设备上的交互配件，如话筒、眼动追踪器、红外感应器、摄像头、传感器等设备采集控制信号，并进行相应的人机交互及信息更新，实现增强现实的交互操作。其中，三维注册是AR技术之核心，即以现实场景中二维或三维物体为标识物，将虚拟信息与现实场景信息进行对位匹配，即虚拟物体的位置、大小、运动路径等与现实环境必须完美匹配，达到虚实相生的地步。AR目前最重要的标志是：如果说VR给消费者的是一个100％的虚拟世界，那么AR就是以现实世界的实体为主体，借助于数字技术帮助消费者更好地探索现实世界。AR代表设备有：Google Glass、Baidu Eye。

混合现实：

混合现实(Mixed Reality,简称MR)，通过电脑技术，将现实世界与虚拟世界合并在一起，从而建立出一个新的环境，以及符合一般视觉上所认知的虚拟影像，在这之中现实世界中的物件能够与虚拟世界中的物件共同存在并且即时地产生互动。你戴着它在客厅玩游戏，客厅就是你游戏的地图，同时一些电脑设计好的虚拟元素也会融入进来。你根本感受不到现实和虚拟二者的差异。

MR目前最重要的标志是：利用MR技术，用户可以看到真实世界(AR的特点)，同时也会看到虚拟的物体(VR的特点)。MR将虚拟物体置于真实世界中，并让用户可以与这些虚拟物体进行互动。因此，MR对比VR和AR，具有更强烈的体验现场感、混合性和逼真性。

最典型的MR应用场景，就是微软在HoloLense发布会上展示的，用户可以在自家的客厅里大战入侵的外星生物。

现有的虚拟运动健身有分别采用VR、AR或MR的技术来进行运动，综合上诉内容可知，VR、AR和MR均需使用HMD(头戴显示器)。

但是现有的HMD成本很高使得基于VR、AR或MR技术的运动健身产品的成本也变高，较高的成本不利于产品的市场推广和普及；长时间使用HMD会给运动训练者带来晕眩、呕吐等不适感觉，造成用户体验不佳并且产品黏度低。另外，HMD电子设备长时间佩戴，其功耗大，电子辐射高，会带来对用户自身身体健康构成损害的担忧，而身体健康的损害有悖于用户运动和体能训练的初衷。

所以，目前现有采用HMD进行的运动训练存在产品成本过高，用户体验不佳，会损害健康的问题。

发明内容

本发明的目的在于，提供一种基于混合现实技术的训练系统及其方法。本发明具有成本相对更低，用户体验相对更佳，不会损害健康的优点。

本发明的技术方案：一种基于混合现实技术的训练系统，提供一种基于混合现实技术的训练系统在低成本的前提下实现虚拟交互式训练，其训练更富有趣味性、逼真性和临场感；

所述基于混合现实技术的训练系统包括处理器单元、视频捕获模块、虚拟对象生产模块、MR融合模块、语义分割模块、运动姿态计算模块、运动交互反馈模块和MR显示模块。

前述的基于混合现实技术的训练系统中，所述处理器单元是一种计算机系统的运算和控制核心模块，是信息处理和运行的最终执行单元；所述处理器单元负载读取指令、译码指令译码和执行指令的部件，所述部件包括控制器、运算器，高速缓冲存储器、数据和控制总线；所述数据为数据总线输出的供处理器执行的输入数据或输出数据。

所述视频捕获模块获取训练场景视频信号；

所述语义分割模块将训练场景视频信号计算分离并提取生成训练场景的图像数据信息和区域数据信息，所述训练场景包括前景和背景；

所述运动姿态计算模块实时输出真实训练者训练时的人体骨架关节点数据信息；

所述虚拟对象生成模块通过基于系统预置的虚拟场景和虚拟对象资源，结合语义分割模块输出的训练场景的图像数据信息和区域数据信息，计算输出数字虚拟信息；所述数字虚拟信息至少包括数字虚拟场景信息或数字虚拟训练者信息；

所述MR融合模块通过获取MR的配置和数字虚拟信息结合真实训练者的图像信息后生成最终图像信息并发送到显示模块；

所述MR显示模块对最终图像信息进行渲染输出；

所述运动交互反馈模块依据人体骨架关节点数据信息，驱动MR融合场景中训练者对象作同步动作训练和交互反馈；所述训练者对象至少包括真实训练者或数字虚拟训练者。

前述的基于混合现实技术的训练系统中，所述处理器单元是嵌入式系统处理器或嵌入式神经网络处理器(Neural-network Processing Units，简称NPU)；

所述NPU采用基于深度学习人工智能技术的数据驱动并行计算的架构；所述NPU擅长处理视频类和图像类的多媒体数据。

前述的基于混合现实技术的训练系统中，所述语义分割模块包括训练校准处理模块；

所述训练校准处理模块确保真实训练者在训练前校准好训练者位于视频捕获模块前所捕获的视频信号落入指定预置的区域内；

所述训练校准处理模块采用一种校准交互场景和处理，包括在校准场景中央区域处绘制指定矩形区域框，通过MR显示模块输出供训练者调整在视频捕获模块中捕获信号反馈用以调整训练者的具体位置，以此确保真实训练者落入所述指定矩形区域框中心位置。

前述的基于混合现实技术的训练系统中，所述语义分割模块具有如下公式：C_r＝αC_f+(1-α)C_b，其中C_r是训练场景图像数据，C_f是前景图像数据，C_b是背景图像数据，α是透明度；

所述语义分割模块通过采用基于Region Of Interesting像素密切关系的采样算法来计算未知区域的α值；所述未知区域为除前景和背景以外的区域。

前述的基于混合现实技术的训练系统中，所述采样算法，具有如下步骤：

A、生成起始前景候选框：采用Region Of Interesting计算图像前景起始区域生成起始前景候选框；所述Region Of Interesting计算包括基于深度网络的人体特征检测和基于压缩视频的人体特征计算；所述基于深度网络的人体特征检测包括目标定位、特征点检测和基于滑动窗口的目标检测；

B、扩展起始前景候选框：对起始前景候选框进行扩展，减少未知点数量；若未知点领域半径内有已知点，计算未知点颜色与已知点颜色的距离，将未知点归属至距离小于颜色阈值且靠近的已知点；

C、选出最佳的一对前景取样点和背景取样点：对剩余的未知点按规律进行顺序取样，选出最佳的一对前景取样点和背景取样点；

所述取样的具体内容为，设定一个点最多可取样的前景点和背景点的个数为K，则最多的取样对为KxK组，从未知点出发引出Kg条路径，每条路径之间为360/Kg的夹角，记录下每条路径经过的路线中首次遇到的前景点或背景点直至超出图像边缘；

D、重组最佳对：在符合特定区域条件的区域范围内，对未知点的最佳配对重新进行组合；所述最佳配队为步骤C中所得的最佳的一对前景取样点和背景取样点；

所述特定区域条件是，区域包括未知点的前景取样点和背景取样点的取样数少于Kg个；

在一定的邻域内，统计出对应mp值指示最小的三个点的相关颜色数据，对相关颜色数据进行加权平均，得数据对；依据数据对计算新的前景图像、背景图像、透明度和可信度；

mp为用α结合C_f和/或C_b计算出的颜色和原始颜色的差值；可信度为反映确定的取样点合理程度的度量值；

E、局部平滑处理：依据可信度对得到的最佳对以及透明度进行局部平滑处理，减少噪音；

F、输出采样图像结果。

前述的基于混合现实技术的训练系统中，所述MR融合模块生成的最终图像信息至少包括以下类别：包括数字虚拟场景和训练者图像，突出训练者在虚拟世界中运动训练；包括真实训练环境背景图像和数字虚拟训练者，突出虚拟数字交互对象在真实世界环境中运动训练；包括基于教学视频的教学图像和训练者图像，比较训练者图像和教学图像突出训练者的动作规范程度；

所述MR融合模块获取教学视频每个视频帧中教练的人体骨架关节点数据信息，与真实训练者的人体骨架关节节点数据信息做逐帧的比对计算，输出真实训练者的匹配度指示；所述匹配度指示用于衡量真实训练者动作合乎教学视频的规范和匹配等级，不匹配或中间错误的动作均给与动画交互和语音播放，提醒训练者注意和纠正；

所述人体骨架关节节点数据信息基于人体骨架关节点，所述人体骨架关节点包括头、颈部、肩部、肘部、手臂、躯干、髋部、腰部、膝和脚部；每个人体骨架关节点和邻近的两个人体骨架关节点连接后必然成夹角，所有人体骨架关节点的数据信息构成了N维度的向量空间。

前述的基于混合现实技术的训练系统中，所述比对计算采用余弦相似性原理分别对教练和真实训练者进行逐帧逐关节的匹配计算相似度量值，其具体步骤如下：

A、计算当前真实训练者对于教学视频中的同步起始帧位置；

B、分别计算教练和真实训练者在视频帧中每个人体骨架关节的两个连通向量夹角的余弦值：基于同步起始帧位置，教练和真实训练者的视频每偏移一帧，分别计算教练和真实训练者在视频帧中每个人体骨架关节的两个连通向量的夹角的余弦值；

C、分别生成教练和真实训练者在视频帧中全部人体骨架关节点的综合数值：通过加权求和与均值化分别生成教练和真实训练者在视频帧中全部人体骨架关节点的综合数值；

D、计算教练和真实训练者的综合数值的差的绝对值；

E、判读动作是否匹配：若步骤D所得绝对值不大于匹配度阈值，则标识真实训练者的动作匹配和吻合；

E、计算匹配度指示：通过线性归一化至这一阈值区间得出真实训练者的动作偏离标准动作的度量值，从而计算出训练动作的匹配度指示。

前述的基于混合现实技术的训练系统中，所述训练场景的图像数据信息、真实训练者的图像信息、最终图像信息、训练者图像、真实训练环境背景图像和教学图像是广义的图像，所述图像包括静态图像、动态图像和视频图像；所述静态图像的格式包括JPG、PNG和TIFF，所述动态图像的格式包括GIF和FLASH，所述视频图像的格式包括视频压缩格式和视频原始数据格式门锁是视频压缩格式包括MPEG2、H263、H264和H265。

一种基于混合现实技术的训练方法，包括以下步骤：

A、获取训练场景视频信号：通过频捕获模块获取训练场景视频信号；

B、分离计算出图像和运动信息：从训练场景视频信号中分离并计算出训练场景的图像数据信息和真实训练者的运动姿态信息；

C、获取并生成虚拟对象：通过虚拟对象生成模块计算输出数字虚拟信息生成虚拟对象；

D、虚拟对象融合：通过MR融合模块将虚拟对象、MR配置和真实训练者的图像信息融合生成最终图像信息；

E、训练交互和反馈：改过运动交互反馈模块进行训练的交互和反馈；

F、显示训练：通过MR显示模块进行训练、训练交互和训练反馈的显示；通过运动姿态计算模块显示训练的匹配度指示。

本发明提供一种基于混合现实技术的训练系统及其方法，不需要HMD，本发明的成本相对更低，且能有效减少电子辐射，避免辐射构成身体健康的损害既不会损害健康；将真实世界中的真实训练者、环境背景和数字虚拟场景相互融合，真实训练驱动虚拟(包括虚拟训练者和数据虚拟场景)交互，虚拟交互同步反馈训练者，更富有趣味性、更逼真和更具有临场感，用户体验相对更佳。

所以本发明具有成本相对更低，用户体验相对更佳，不会损害健康的优点。

进一步的，采用本发明训练者不会因设备带来训练负担，能长时间进行训练，且训练过程中拥有更好的自主专注和舒适体验。

附图说明

图1是本发明的系统结构图；

图2是本发明采样算法的流程图；

图3是本发明比对计算的流程图；

图4是本发明方法的流程图；

图5是本发明实施例2的示意图；

图6是本发明实施例3的示意图；

图7是本发明实施例4的示意图；

图8是本发明实施例5的示意图；

图9是本发明实施例6的示意图；

图10是本发明实施例7的示意图。

附图标记：1-真实训练者，11-训练者图像，12-数字虚拟训练者，2-视频捕获设备，3-显示设备，42-真实训练背景图像,41-数字虚拟场景，5-教学图像。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。

实施例1。一种基于混合现实技术的训练系统，如图1-4所示，其特征在于：提供一种基于混合现实技术的训练系统在低成本的前提下实现虚拟交互式训练，其训练更富有趣味性、逼真性和临场感；

所述基于混合现实技术的训练系统包括处理器单元、视频捕获模块、虚拟对象生产模块、MR融合模块、语义分割模块、运动姿态计算模块、运动交互反馈模块和MR显示模块。

所述处理器单元是一种计算机系统的运算和控制核心模块，是信息处理和运行的最终执行单元；所述处理器单元负载读取指令、译码指令译码和执行指令的部件，所述部件包括控制器、运算器，高速缓冲存储器、数据和控制总线。

所述视频捕获模块获取训练场景视频信号；

所述语义分割模块将训练场景视频信号计算分离并提取生成训练场景的图像数据信息和区域数据信息，所述训练场景包括前景和背景；

所述运动姿态计算模块实时输出真实训练者训练时的人体骨架关节点数据信息；

所述虚拟对象生成模块通过基于系统预置的虚拟场景和虚拟对象资源，结合语义分割模块输出的训练场景的图像数据信息和区域数据信息，计算输出数字虚拟信息；所述数字虚拟信息至少包括数字虚拟场景信息或数字虚拟训练者信息；

所述MR融合模块通过获取MR的配置和数字虚拟信息结合真实训练者的图像信息后生成最终图像信息并发送到显示模块；

所述MR显示模块对最终图像信息进行渲染输出；

所述运动交互反馈模块依据人体骨架关节点数据信息，驱动MR融合场景中训练者对象作同步动作训练和交互反馈；所述训练者对象至少包括真实训练者或数字虚拟训练者。

所述处理器单元是嵌入式系统处理器或嵌入式神经网络处理器(Neural-networkProcessing Units，简称NPU)；

所述NPU采用基于深度学习人工智能技术的数据驱动并行计算的架构；所述NPU擅长处理视频类和图像类的多媒体数据。

所述语义分割模块包括训练校准处理模块；

所述训练校准处理模块确保真实训练者在训练前校准好训练者位于视频捕获模块前所捕获的视频信号落入指定预置的区域内；

所述训练校准处理模块采用一种校准交互场景和处理，包括在校准场景中央区域处绘制指定矩形区域框，通过MR显示模块输出供训练者调整在视频捕获模块中捕获信号反馈用以调整训练者的具体位置，以此确保真实训练者落入所述指定矩形区域框中心位置。

所述语义分割模块具有如下公式：C_r＝αC_f+(1-α)C_b，其中C_r是训练场景图像数据，C_f是前景图像数据，C_b是背景图像数据，α是透明度；

所述语义分割模块通过采用基于Region Of Interesting像素密切关系的采样算法来计算未知区域的α值；所述未知区域为除前景和背景以外的区域。

所述采样算法，具有如下步骤：

A、生成起始前景候选框：采用Region Of Interesting计算图像前景起始区域生成起始前景候选框；所述Region Of Interesting计算包括基于深度网络的人体特征检测和基于压缩视频特征计算；所述基于深度网络的人体特征检测包括目标定位、特征点检测和基于滑动窗口的目标检测；

B、扩展起始前景候选框：对起始前景候选框进行扩展，减少未知点数量；若未知点领域半径内有已知点，计算未知点颜色与已知点颜色的距离，将未知点归属至距离小于颜色阈值且靠近的已知点；

C、选出最佳的一对前景取样点和背景取样点：对剩余的未知点按规律进行顺序取样，选出最佳的一对前景取样点和背景取样点；

所述取样的具体内容为，设定一个点最多可取样的前景点和背景点的个数为K，则最多的取样对为KxK组，从未知点出发引出Kg条路径，每条路径之间为360/Kg的夹角，记录下每条路径经过的路线中首次遇到的前景点或背景点直至超出图像边缘；

D、重组最佳对：在符合特定区域条件的区域范围内，对未知点的最佳配对重新进行组合；所述最佳配队为步骤C中所得的最佳的一对前景取样点和背景取样点；

所述特定区域条件是，区域包括未知点的前景取样点和背景取样点的取样数少于Kg个；

在一定的邻域内，统计出对应mp值指示最小的三个点的相关颜色数据，对相关颜色数据进行加权平均，得数据对；依据数据对计算新的前景图像、背景图像、透明度和可信度；

mp为用α结合C_f和/或C_b计算出的颜色和原始颜色的差值；可信度为反映确定的取样点合理程度的度量值；

E、局部平滑处理：依据可信度对得到的最佳对以及透明度进行局部平滑处理，减少噪音；

F、输出采样图像结果。

所述MR融合模块生成的最终图像信息至少包括以下类别：包括数字虚拟场景和训练者图像，突出训练者在虚拟世界中运动训练；包括真实训练环境背景图像和数字虚拟训练者，突出虚拟数字交互对象在真实世界环境中运动训练；包括基于教学视频的教学图像和训练者图像，比较训练者图像和教学图像突出训练者的动作规范程度；

所述MR融合模块获取教学视频每个视频帧中教练的人体骨架关节点数据信息，与真实训练者的人体骨架关节节点数据信息做逐帧的比对计算，输出真实训练者的匹配度指示；所述匹配度指示用于衡量真实训练者动作合乎教学视频的规范和匹配等级，不匹配或中间错误的动作均给与动画交互和语音播放，提醒训练者注意和纠正；

所述人体骨架关节节点数据信息基于人体骨架关节点，所述人体骨架关节点包括头、颈部、肩部、肘部、手臂、躯干、髋部、腰部、膝和脚部；每个人体骨架关节点和邻近的两个人体骨架关节点连接后必然成夹角，所有人体骨架关节点的数据信息构成了N维度的向量空间。

所述比对计算采用余弦相似性原理分别对教练和真实训练者进行逐帧逐关节的匹配计算相似度量值，其具体步骤如下：

A、计算当前真实训练者对于教学视频中的同步起始帧位置；

B、分别计算教练和真实训练者在视频帧中每个人体骨架关节的两个连通向量夹角的余弦值：基于同步起始帧位置，教练和真实训练者的视频每偏移一帧，分别计算教练和真实训练者在视频帧中每个人体骨架关节的两个连通向量的夹角的余弦值；

C、分别生成教练和真实训练者在视频帧中全部人体骨架关节点的综合数值：通过加权求和与均值化分别生成教练和真实训练者在视频帧中全部人体骨架关节点的综合数值；

D、计算教练和真实训练者的综合数值的差的绝对值；

E、判读动作是否匹配：若步骤D所得绝对值不大于匹配度阈值，则标识真实训练者的动作匹配和吻合；

E、计算匹配度指示：通过线性归一化至这一阈值区间得出真实训练者的动作偏离标准动作的度量值，从而计算出训练动作的匹配度指示。

所述训练场景的图像数据信息、真实训练者的图像信息、最终图像信息、训练者图像、真实训练环境背景图像和教学图像是广义的图像，所述图像包括静态图像、动态图像和视频图像；所述静态图像的格式包括JPG、PNG和TIFF，所述动态图像的格式包括GIF和FLASH，所述视频图像的格式包括视频压缩格式和视频原始数据格式门锁是视频压缩格式包括MPEG2、H263、H264和H265。

一种基于混合现实技术的训练方法，其特征在于，包括以下步骤：

A、获取训练场景视频信号：通过频捕获模块获取训练场景视频信号；

B、分离计算出图像和运动信息：从训练场景视频信号中分离并计算出训练场景的图像数据信息和真实训练者的运动姿态信息；

C、获取并生成虚拟对象：通过虚拟对象生成模块计算输出数字虚拟信息生成虚拟对象；

D、虚拟对象融合：通过MR融合模块将虚拟对象、MR配置和真实训练者的图像信息融合生成最终图像信息；

E、训练交互和反馈：改过运动交互反馈模块进行训练的交互和反馈；

F、显示训练：通过MR显示模块进行训练、训练交互和训练反馈的显示；通过运动姿态计算模块显示训练的匹配度指示。

实施例2。一种基于混合现实技术的训练系统及其方法的应用，包括真实训练者1、视频捕获设备2和显示设备3。所述基于混合现实技术的训练系统应用与视频捕获设备2和显示设备3内。MR融合模块生成的最终图像信息在显示设备3上的显示情况为训练者图像11和数字虚拟场景41，突出真实训练者1在虚拟世界中进行训练。

实施例3。一种基于混合现实技术的训练系统及其方法的应用，包括真实训练者1、视频捕获设备2和显示设备3。所述基于混合现实技术的训练系统应用与视频捕获设备2和显示设备3内。MR融合模块生成的最终图像信息在显示设备3上的显示情况为数字虚拟训练者12和真实训练背景图像42，突出虚拟数字交互对象在真实世界环境中运动训练。

实施例4。一种基于混合现实技术的训练系统及其方法的应用，包括真实训练者1、视频捕获设备2和显示设备3。所述基于混合现实技术的训练系统应用与视频捕获设备2和显示设备3内。MR融合模块生成的最终图像信息在显示设备3上的显示情况为双屏显示，一侧为数字虚拟训练者12和真实训练背景图像42，另一侧为教学图像5和数字虚拟场景41，在于教学图像5对比的情况下训练。

实施例5。一种基于混合现实技术的训练系统及其方法的应用，包括真实训练者1、视频捕获设备2和显示设备3。所述基于混合现实技术的训练系统应用与视频捕获设备2和显示设备3内。MR融合模块生成的最终图像信息在显示设备3上的显示情况为双屏显示，一侧为训练者图像11和数字虚拟场景41，另一侧为教学图像5和真实训练背景图像42。

实施例6。一种基于混合现实技术的训练系统及其方法的应用，包括真实训练者1、视频捕获设备2和显示设备3。所述基于混合现实技术的训练系统应用与视频捕获设备2和显示设备3内。MR融合模块生成的最终图像信息在显示设备3上的显示情况为双屏显示，一侧为训练者图像11和数字虚拟场景41，另一侧为教学图像5和数字虚拟场景41。

实施例7。一种基于混合现实技术的训练系统及其方法的应用，包括真实训练者1、视频捕获设备2和显示设备3。所述基于混合现实技术的训练系统应用与视频捕获设备2和显示设备3内。MR融合模块生成的最终图像信息在显示设备3上的显示情况为双屏显示，一侧为数字虚拟训练者12和真实训练背景图像42，另一侧为教学图像5和真实训练背景图像42。

Claims (10)

1.一种基于混合现实技术的训练系统，其特征在于：提供一种基于混合现实技术的训练系统在低成本的前提下实现虚拟交互式训练，其训练更富有趣味性、逼真性和临场感；

所述基于混合现实技术的训练系统包括处理器单元、视频捕获模块、虚拟对象生产模块、MR融合模块、语义分割模块、运动姿态计算模块、运动交互反馈模块和MR显示模块。

2.根据权利要求1所述的一种基于混合现实技术的训练系统，其特征在于：所述处理器单元是一种计算机系统的运算和控制核心模块，是信息处理和运行的最终执行单元；

所述视频捕获模块获取训练场景视频信号；

所述语义分割模块将训练场景视频信号计算分离并提取生成训练场景的图像数据信息和区域数据信息，所述训练场景包括前景和背景；

所述运动姿态计算模块实时输出真实训练者训练时的人体骨架关节点数据信息；

所述虚拟对象生成模块通过基于系统预置的虚拟场景和虚拟对象资源，结合语义分割模块输出的训练场景的图像数据信息和区域数据信息，计算输出数字虚拟信息；所述数字虚拟信息至少包括数字虚拟场景信息或数字虚拟训练者信息；

所述MR融合模块通过获取MR的配置和数字虚拟信息结合真实训练者的图像信息后生成最终图像信息并发送到显示模块；

所述MR显示模块对最终图像信息进行渲染输出；

所述运动交互反馈模块依据人体骨架关节点数据信息，驱动MR融合场景中训练者对象作同步动作训练和交互反馈；所述训练者对象至少包括真实训练者或数字虚拟训练者。

3.根据权利要求2所述的一种基于混合现实技术的训练系统，其特征在于：所述处理器单元是嵌入式系统处理器或嵌入式神经网络处理器；

所述嵌入式神经网络处理器采用基于深度学习人工智能技术的数据驱动并行计算的架构。

4.根据权利要求2所述的一种基于混合现实技术的训练系统，其特征在于：所述语义分割模块包括训练校准处理模块；

所述训练校准处理模块确保真实训练者落入指定预置的区域内。

5.根据权利要求2所述的一种基于混合现实技术的训练系统，其特征在于：所述语义分割模块具有如下公式：C_r＝αC_f+(1-α)C_b，其中C_r是训练场景图像数据，C_f是前景图像数据，C_b是背景图像数据，α是透明度；

所述语义分割模块通过采用基于Region OfInteresting像素密切关系的采样算法来计算未知区域的α值；所述未知区域为除前景和背景以外的区域。

6.根据权利要求5所述的一种基于混合现实技术的训练系统，其特征在于：所述采样算法，具有如下步骤：

A、生成起始前景候选框：采用Region Of Interesting计算图像前景起始区域生成起始前景候选框；所述Region Of Interesting计算包括基于深度网络的人体特征检测和基于压缩视频的人体特征计算；所述基于深度网络的人体特征检测包括目标定位、特征点检测和基于滑动窗口的目标检测；

B、扩展起始前景候选框：对起始前景候选框进行扩展，减少未知点数量；若未知点领域半径内有已知点，计算未知点颜色与已知点颜色的距离，将未知点归属至距离小于颜色阈值且靠近的已知点；

C、选出最佳的一对前景取样点和背景取样点：对剩余的未知点按规律进行顺序取样，选出最佳的一对前景取样点和背景取样点；

所述取样的具体内容为，设定一个点最多可取样的前景点和背景点的个数为K，则最多的取样对为KxK组，从未知点出发引出Kg条路径，每条路径之间为360/Kg的夹角，记录下每条路径经过的路线中首次遇到的前景点或背景点直至超出图像边缘；

D、重组最佳对：在符合特定区域条件的区域范围内，对未知点的最佳对重新进行组合；所述最佳对为步骤C中所得的最佳的一对前景取样点和背景取样点；

所述特定区域条件是，区域包括未知点的前景取样点和背景取样点的取样数少于Kg个；

在一定的邻域内，统计出对应mp值指示最小的三个点的相关颜色数据，对相关颜色数据进行加权平均，得数据对；依据数据对计算新的前景图像、背景图像、透明度和可信度；

所述mp为用α结合C_f和/或C_b计算出的颜色和原始颜色的差值；所述可信度为反映确定的取样点合理程度的度量值；

E、局部平滑处理：依据可信度对得到的最佳对以及透明度进行局部平滑处理，减少噪音；

F、输出采样图像结果。

7.根据权利要求2所述的一种基于混合现实技术的训练系统，其特征在于：所述MR融合模块生成的最终图像信息至少包括以下类别：包括数字虚拟场景和训练者图像，突出训练者在虚拟世界中运动训练；包括真实训练环境背景图像和数字虚拟训练者，突出虚拟数字交互对象在真实世界环境中运动训练；包括基于教学视频的教学图像和训练者图像，比较训练者图像和教学图像突出训练者的动作规范程度；

所述MR融合模块获取教学视频每个视频帧中教练的人体骨架关节点数据信息，与真实训练者的人体骨架关节节点数据信息做逐帧的比对计算，输出真实训练者的匹配度指示；所述匹配度指示用于衡量真实训练者动作合乎教学视频的规范和匹配等级，不匹配或中间错误的动作均给与动画交互和语音播放，提醒训练者注意和纠正；

所述人体骨架关节节点数据信息基于人体骨架关节点，所述人体骨架关节点包括头、颈部、肩部、肘部、手臂、躯干、髋部、腰部、膝和脚部；每个人体骨架关节点和邻近的两个人体骨架关节点连接后必然成夹角，所有人体骨架关节点的数据信息构成了N维度的向量空间。

8.根据权利要求7所述的一种基于混合现实技术的训练系统，其特征在于：所述比对计算采用余弦相似性原理分别对教练和真实训练者进行逐帧逐关节的匹配计算相似度量值，其具体步骤如下：

A、计算当前真实训练者对于教学视频中的同步起始帧位置；

B、分别计算教练和真实训练者在视频帧中每个人体骨架关节的两个连通向量夹角的余弦值：基于同步起始帧位置，教练和真实训练者的视频每偏移一帧，分别计算教练和真实训练者在视频帧中每个人体骨架关节的两个连通向量的夹角的余弦值；

C、分别生成教练和真实训练者在视频帧中全部人体骨架关节点的综合数值：通过加权求和与均值化分别生成教练和真实训练者在视频帧中全部人体骨架关节点的综合数值；

D、计算教练和真实训练者的综合数值的差的绝对值；

E、判读动作是否匹配：若步骤D所得绝对值不大于匹配度阈值，则标识真实训练者的动作匹配和吻合；

E、计算匹配度指示：通过线性归一化至这一阈值区间得出真实训练者的动作偏离标准动作的度量值，从而计算出训练动作的匹配度指示。

9.根据权利要求1至8中任一权利要求所述的一种基于混合现实技术的训练系统，其特征在于：所述训练场景的图像数据信息、真实训练者的图像信息、最终图像信息、训练者图像、真实训练环境背景图像和教学图像是广义的图像，所述图像包括静态图像、动态图像和视频图像。

10.根据权利要求1至9中任一权利要求所述的一种基于混合现实技术的训练系统的一种基于混合现实技术的训练方法，其特征在于，包括以下步骤：

A、获取训练场景视频信号：通过频捕获模块获取训练场景视频信号；

B、分离计算出图像和运动信息：从训练场景视频信号中分离并计算出训练场景的图像数据信息和真实训练者的运动姿态信息；

C、获取并生成虚拟对象：通过虚拟对象生成模块计算输出数字虚拟信息生成虚拟对象；

D、虚拟对象融合：通过MR融合模块将虚拟对象、MR配置和真实训练者的图像信息融合生成最终图像信息；

E、训练交互和反馈：改过运动交互反馈模块进行训练的交互和反馈；

F、显示训练：通过MR显示模块进行训练、训练交互和训练反馈的显示；通过运动姿态计算模块显示训练的匹配度指示。

Images