CN110070777A - 一种赫哲族鱼皮画仿真培训系统及实现方法 - Google Patents

Abstract

本发明提供了一种赫哲族鱼皮画仿真培训系统及实现方法，将虚拟现实技术与手势捕捉技术相结合，通过leap Motion获取高精度手部动作识别用户的操作，并实时映射显示在虚拟现实场景反馈交互结果，旨在解决传统民族技艺鱼皮画传承与培训过程中诸多问题。本申请提供的虚拟现实交互显示系统，允许用户通过自己的双手操纵虚拟手在虚拟现实场景下完成培训任务，大大的提高了训练的效率与真实程度，同时系统使用的虚拟鱼皮素材不存在获取成本与时间限制等问题。经过测试系统便携、可靠有效，可以大大节省培训成本。

Description

一种赫哲族鱼皮画仿真培训系统及实现方法

技术领域

本发明涉及教育培训和虚拟现实领域，具体涉及一种基于VR头显与leap Motion结合的赫哲族鱼皮画仿真培训系统及实现方法。

背景技术

中国黑龙江省的赫哲族与俄罗斯的那乃族原本同宗同源，因历史原因使这个同一族体、同一文化、同一语言族系分属于中俄两国。近年来，由于中国赫哲族的不断汉化和俄罗斯那乃族的不断俄化，其跨界民族的非物质文化遗产已经濒临灭绝。特有的鱼皮衣制作技艺已被列入世界非物质文化遗产，作为一个没有文字的民族，服饰的纹样和图案便代表这个民族的文化精髓和艺术形式。在多元文化的冲击之下，由于文化继承人的流失、传承方式单一等多种原因，民族文化传承面临脱节甚至失传的危机。国内现有研究，大都集中在利用计算机技术展示虚拟文化遗产和传播传统文化方向，着重表现文化的视与听，具有一定局限性。

虚拟现实(VR)技术，是基于计算机图形学的技术，用户操纵输入设备建立虚拟场景和物品，通过输出设备看到、听到、触摸甚至闻到，用户在交互过程中会有很高的沉浸感。在虚拟现实与手势交互融合领域，所展示的环境是完全虚拟的，但通过使用精心设计和构建的虚拟现实系统，用户不仅可以感觉到他们是在真实世界中，更能与虚拟世界交互反应，因此虚拟现实培训技术在工业制造、医疗培训、教育等行业内应用较为成熟。

发明内容

本申请提供一种赫哲族鱼皮画仿真培训系统及实现方法，将虚拟现实技术与手势捕捉技术相结合，通过leap Motion获取高精度手部动作识别用户的操作，利用虚拟现实融合技术在虚拟现实场景，实时显示反馈交互结果。本申请提供的虚拟现实交互显示系统，允许用户通过自己的双手操纵虚拟手在虚拟现实场景下完成培训任务，大大的提高了训练的完整度与真实程度，同时系统使用的虚拟鱼皮素材不存在获取成本与时间限制等问题。

为实现上述目的，本申请的技术方案为：一种赫哲族鱼皮画仿真培训系统，包括VR交互装置，所述VR交互装置，包括VR交互设备、立体声耳塞、多个系统模块，每个系统模块均对应有交互式仿真培训系统虚拟场景模块；所述VR交互设备包括：虚拟现实头戴式显示器、leap Motion传感器、固定定位装置、计算机工作站，所述虚拟现实头戴式显示器，实现虚拟3D场景的实时展示、反馈结果的渲染达到沉浸式的真实感；leap Motion传感器实现对用户手部运动及关节运动数据的采集；所述固定定位装置，用于固定leap Motion传感器，实现leap Motion传感器与虚拟现实头戴式显示器的连接；所述计算机工作站，获取并分析leapMotion传感器传递的手部运动及关节运动数据，并将处理结果实时映射到虚拟现实头戴式显示器中，实现真实手部动作与虚拟手同步运动，达到所为即所见的效果。

优选地，多个系统模块分别为仿真虚拟环境显示系统模块、交互手势融合系统模块和鱼皮模拟切割系统模块。

优选地，所述的leap Motion传感器固定于虚拟现实头戴式显示器的表面中间偏下位置；

优选地，所述的交互式仿真培训系统虚拟场景模块提供了学习与操作两个场景，能满足用户对鱼皮画制作过程的基本了解与基本的鱼皮画创作。

本申请还提供一种赫哲族鱼皮画仿真培训系统实现方法，具体包括如下步骤：

获取对应所述VR交互设备的培训人员真实世界空间坐标，并变换到系统中的虚拟世界坐标，具体包含以下步骤；

步骤1，计算leap Motion传感器的位姿：通过leap Motion传感器获取b₁＝[1,0,0]^T,b₂＝[0,1,0]^T,b₃＝[0,0,1]^T,b₄＝[0,0,0]^T四个虚拟坐标控制点，任意真实点P_i，表示为4个虚拟控制点的线性组合:

其中，a_ij为传感器的比例系数，b_j为任意点的空间向量；

得到真实控制点在leapMotion传感器坐标系下的坐标集合：

其中向量c为{P_i}坐标集合，系数β_i随参数N_F变化，N_F＝4；

β_i＝|||b₁-b₂||²-||b₃-b₄||²|；

步骤2，计算leapMotion传感器的位姿的单应性矩阵变换，从实射影平面到射影平面的可逆变换，这种映射用矩阵相乘的方式表示，得到一个位姿估计：

S_i＝P_i×W×M，W＝[R|T]

S_i是表示二维图像的坐标，W由两部分组成，当前leap Motion传感器内参数矩阵的投影为R，T表示leap Motion传感器参数物理变换，均是3×3矩阵；M为leap Motion传感器相机的内部参数；

步骤3，实现坐标系转化，系统引擎中使用的世界坐标系和leap Motion传感器坐标系均为左手坐标系，是使得X正方向为正右方,Y正方向为正上方,Z正方向为正前方，如上述公式得到S_i

(x_i，y_i，z_i)可得虚拟世界实际位置如下：

其中f为虚拟相机焦距，h_i为虚拟相机到物体主轴的距离；

仿真虚拟环境显示系统模块，通过真实环境图像采集，采用3Dmax进行建模并导入Unity3D中，构建真实虚拟场景；

交互手势融合系统模块，利用leap Motion传感器获取用户手势动作，设计了四种交互手势(1.单手，拇指端向上和食指向下端，呈捏取状，用于捏取小块物体；2.双手，双手中指、食指与拇指向内捏合，用于双手拿去物体；3.单手，两食指轻合成圆环状，中指由下向上挺出，呈握笔状，用于手握刻刀与场景内物体交互；4.单手，五指张开向下捏合，呈抓取状态，用于手部与场景内物体交互)，实现交互仿真模拟赫哲族鱼皮画制作的全过程，最终将拼接的成果反馈给用户；

鱼皮模拟切割系统模块，通过以下步骤实现鱼皮模型分割；

步骤1，首先为虚拟场景中模型添加碰撞器，因为两个对象有“碰撞体”发生碰撞时系统才触发碰撞检测，计算碰撞关系；

步骤2，用户通过leapMotion传感器，同步控制虚拟场景中的虚拟工具；

步骤3，获取鱼皮模型的索引点列表、切割点与路径，判别边缘是否与平面相交，公式如下：

代表切割平面的法向量；代表指向切割平面的法向量；切割边的两个端点的向量；其中c在0-1之间，则边相交，如果超出该范围，则边缘不与平面相交，接近0的值给出了靠近边缘一端的交点，而接近1的值给出了靠近另一端的交点；

步骤4，确定切线的平面，对于三角形的每条边，如果终点跟起点不在一边，求边与平面的交点,需要生成一个新顶点，构造新顶点的线性插值公式如下：

x＝bc+a(1-c)

x是新顶点的位置，a、b为交线两端的点,新顶点被添加顶点索引列表与相邻网格顶点缓冲区中，确保所有部分能访问该顶点；

步骤5，确定切线的平面及相交的点，根据交叉边缘的每一端的顶点对新顶点的位置进行插值；

步骤6，对顶点间的连线进行顶点补充，将切开的剖面顶点进行排序并顺序连接,补面缝合切口，以此构建新的三角网格并缝合切面生成模型；

步骤7，通过虚拟相机投影生成UV填补截面网格；

步骤8，P点在三角形内，(u,v)必须满足条件u≥0,v≥0,u+v≤1，u、v体现了每个顶点对特定区域的权重贡献，(1-u-v)则是第三个权重，只要计算出u和v，则计算出每个顶点对P点的贡献，现在已知P1,P2,P3和P的坐标值，求解u和v，通过如下公式：

p_x＝(1-u-v)*P1_x+u*P2_x+v*P3_x

p_y＝(1-u-v)*P1_y+u*P2_y+v*P3_y

步骤9，生成新碰撞体，重复以上切割操作。

本申请还提供了一种赫哲族鱼皮画仿真培训系统实施步骤如下：

步骤1，用户通过佩戴虚拟现实头戴式显示器并连接安装leap Motion传感器，直接登录交互式仿真培训系统虚拟场景模块；

步骤2，用户姿态可随意变化，保证手部出现在人眼的可见范围即可同步映射驱动虚拟场景中的虚拟手；

步骤3，用户进入学习场景，可随意转换视角，通过控制手势，暂停播放观看学习视频；

步骤4，用户进入训练创作场景，驱动虚拟场景中的虚拟手利用场景中的工具，虚拟刻刀，虚拟剪子等对鱼皮进行艺术创作；

步骤5，用户操作完成后，可以执行保存、重置、退出场景等操作，结束时同时记录训练时间。

本发明的有益效果如下：

一方面，摆脱传统民族技艺培训需要大量实际操作，师徒言传身教等问题，突破了使用过程中时间地点设备耗材的局限，为用户提供了逼真的虚拟场景，对使用者培训学习有充足的帮助。

另一方面，本发明针对赫哲族鱼皮画工艺制作的需求，设计了更真实的场景，通过结合视觉触觉多重感官反馈，实现真实可靠地还原了鱼皮画切割制作的过程，有效的提高了学习的乐趣性和用户体验，加速了鱼皮画的创作，达到了民族文化传承教育目的；

最后，本申请突破了传统民族技艺教学培训的局限，极大地提高了培训过程中效率，对于民族文化教育传承方面具有深远影响。通过更高的沉浸感，用户可以获得更好的体验与训练结果，入手难度低，用户不需要专门的培训只需了解基本操作方法即可使用本系统，如儿童、外来游客等均可学习使用，应用场景灵活广泛，其应用对民族文化保护与传承至关重要。在未来终将产生更好的民族文化培训成果，并作为一种民族技艺培训手段发挥更重要的作用。

附图说明

图1是本申请赫哲族鱼皮画仿真培训系统及实现方法的框架图；

图2是VR交互设备布置示意图；

图3是本申请设计的常用手势示意图；

图4是本申请系统的实施流程图。

具体实施方式

为详尽本发明技术内容、结构特征、所达成目的及功效，以下将结合说明书附图进行详细说明。

如图1所示，本发明将Leap Motion手部运动捕获、计算机图形模块、数据传输与转换、虚拟现实技术集合起来，提出了一种针对赫哲族鱼皮画制作工艺传承与教育培训的新方法。其包括两个部分，人体层和计算机层，人体层即由大脑直接相互作用的感知与操控两部分，对应的计算机层也有输入输出设备与之映射相互作用，利用Unity3D游戏开发引擎，搭建与日常生活息息相关的手部训练场景，用户发生操作时，首先由Leap Motion传感器捕获用户手部21个关节点空间三维位置信息，经过内部微处理器处理传输到电脑主机进行数据处理分析与模式识别，完成对场景中的虚拟手进行同步实时控制。接着利用虚拟现实头戴式显示器来渲染以增加用户训练过程的真实性、沉浸感。

本申请硬件组成部分主要包括：虚拟现实头戴式显示器1、leap Motion传感器2、显示器3、工作站主机4，各设备布置方式如图2所示。

虚拟现实头戴式显示器1，选用HTC Vive即可，并且有SteamVR提供的技术支持，使得设备操作简单易用；leap Motion传感器2；一只手，有29块骨头、29个关节、123根韧带、48条神经和30条动脉。leap Motion传感器2可追踪全部10只手指，精度高达1/100毫米。leapMotion传感器2以超过每秒200帧的速度追踪手部移动，实现对用户手部关节与手势的空间数据采集；工作站主机4，可选用专业工作站或者内存8G显卡4G显存以上的高性能电脑。

如照图3所示，为满足不同鱼皮画制作过程的操作需要，除了基本的点击、旋转等基本手势外，本申请设计了4个手势训练动作包括：数字1手势单手捏取，拇指端向上和食指向下端，呈捏取状，用于捏取小块物体；数字2双手捏合，双手中指、食指与拇指向内捏合，用于双手拿去物体；数字3单手持笔，两食指轻合成圆环状，中指由下向上挺出，呈握笔状，用于手握刻刀与场景内物体交互；数字4单手抓取，五指张开向下捏合，呈抓取状态，用于手部与场景内物体交互。工作站主机4，获取并分析leapMotion传感器传递的手部运动及关节运动数据，并将处理结果实时映射到头部虚拟现实显示器中，实现真实手部动作与虚拟手同步运动，达到所为即所见的效果。

以下结合参照图4对本发明进一步描述：

参照图4为本发明的实施流程图，以下简要叙述虚拟场景内容与主要流程：

S1，系统预先加载虚拟场景，包括场景模型和可交互的虚拟工具与鱼皮材料。

S2，用户双手放到Leap Motion传感器正上方或者正前方位置，用户做出手势变化，Leap Motion识别姿势，直到识别并跟踪到用户双手后，用户便可以通过场景中的虚拟手，学习制作过程，并控制操作虚拟工具进行相应创作训练；

S3，用户进入创作阶段，根据当前训练中的文字和语音提示完成任务。LeapMotion检测到用户操纵虚拟手靠近并抓取虚拟鱼皮材料时，虚拟场景中的虚拟手便会拾起虚拟鱼皮，接着移动到工作台上，在Leap Motion检测到手指松开时，虚拟场景中的虚拟手便会将鱼皮材料放置在工作台上；

S4，接着用户操纵虚拟工具可以对鱼皮材料进行切割，镂刻等操作，创作结果可分享给他人学习交流，完成后可可选保存、重置或退出。

以上是本申请的优选实施方式，但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,还可以做出变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种赫哲族鱼皮画仿真培训系统，其特征在于，包括VR交互装置，所述VR交互装置，包括VR交互设备、立体声耳塞、多个系统模块，每个系统模块均对应有交互式仿真培训系统虚拟场景模块；所述VR交互设备包括：虚拟现实头戴式显示器、leap Motion传感器、固定定位装置、计算机工作站，所述虚拟现实头戴式显示器，实现虚拟3D场景的实时展示、反馈结果的渲染达到沉浸式的真实感；leap Motion传感器实现对用户手部运动及关节运动数据的采集；所述固定定位装置，用于固定leap Motion传感器，实现leap Motion传感器与虚拟现实头戴式显示器的连接；所述计算机工作站，获取并分析leap Motion传感器传递的手部运动及关节运动数据，并将处理结果实时映射到虚拟现实头戴式显示器中，实现真实手部动作与虚拟手同步运动，达到所为即所见的效果。

2.根据权利要求1所述一种赫哲族鱼皮画仿真培训系统，其特征在于，所述多个系统模块分别为仿真虚拟环境显示系统模块、交互手势融合系统模块和鱼皮模拟切割系统模块。

3.一种赫哲族鱼皮画仿真培训系统实现方法，其特征在于，具体包括如下步骤：

步骤1，计算leap Motion传感器的位姿：通过leap Motion传感器获取b₁＝[1,0,0]^T,b₂＝[0,1,0]^T,b₃＝[0,0,1]^T,b₄＝[0,0,0]^T四个虚拟坐标控制点，任意真实点P_i，表示为4个虚拟控制点的线性组合:

其中，a_ij为传感器的比例系数，b_j为任意点的空间向量；

得到真实控制点在leap Motion传感器坐标系下的坐标集合：

其中向量c为{P_i}坐标集合，系数β_i随参数N_F变化，N_F＝4；β_i＝|||b₁-b₂||²-||b₃-b₄||²|；

步骤2，计算leap Motion传感器的位姿的单应性矩阵变换，从实射影平面到射影平面的可逆变换，这种映射用矩阵相乘的方式表示，得到一个位姿估计：

S_i＝P_i×W×M，W＝[R|T]

S_i是表示二维图像的坐标，W由两部分组成，当前leap Motion传感器内参数矩阵的投影为R，T表示leap Motion传感器参数物理变换，均是3×3矩阵；M为leap Motion传感器相机的内部参数；

步骤3，实现坐标系转化，系统引擎中使用的世界坐标系和leap Motion传感器坐标系均为左手坐标系，是使得X正方向为正右方,Y正方向为正上方,Z正方向为正前方，如上述公式得到S_i(x_i，y_i，z_i)可得虚拟世界实际位置如下：

其中f为虚拟相机焦距，h_i为虚拟相机到物体主轴的距离。

4.根据权利要求3所述一种赫哲族鱼皮画仿真培训系统实现方法，其特征在于，

仿真虚拟环境显示系统模块，通过真实环境图像采集，采用3Dmax进行建模并导入Unity3D中，构建真实虚拟场景；

交互手势融合系统模块，利用leap Motion传感器获取用户手势动作，设计了四种交互手势，实现交互仿真模拟赫哲族鱼皮画制作的全过程，最终将拼接的成果反馈给用户；

鱼皮模拟切割系统模块，实现鱼皮模型分割。

5.根据权利要求4所述一种赫哲族鱼皮画仿真培训系统实现方法，其特征在于，鱼皮模拟切割系统模块通过以下步骤实现鱼皮模型分割；

步骤1，首先为虚拟场景中模型添加碰撞器，因为两个对象有“碰撞体”发生碰撞时系统才触发碰撞检测，计算碰撞关系；

步骤2，用户通过leap Motion传感器，同步控制虚拟场景中的虚拟工具；

步骤3，获取鱼皮模型的索引点列表、切割点与路径，判别边缘是否与平面相交，公式如下：

代表切割平面的法向量；代表指向切割平面的法向量；切割边的两个端点的向量；其中c在0-1之间，则边相交，如果超出该范围，则边缘不与平面相交，接近0的值给出了靠近边缘一端的交点，而接近1的值给出了靠近另一端的交点；

步骤4，确定切线的平面，对于三角形的每条边，如果终点跟起点不在一边，求边与平面的交点,需要生成一个新顶点，构造新顶点的线性插值公式如下：

x＝bc+a(1-c)

x是新顶点的位置，a、b为交线两端的点,新顶点被添加顶点索引列表与相邻网格顶点缓冲区中，确保所有部分能访问该顶点；

步骤5，确定切线的平面及相交的点，根据交叉边缘的每一端的顶点对新顶点的位置进行插值；

步骤6，对顶点间的连线进行顶点补充，将切开的剖面顶点进行排序并顺序连接,补面缝合切口，以此构建新的三角网格并缝合切面生成模型；

步骤7，通过虚拟相机投影生成UV填补截面网格；

步骤8，P点在三角形内，(u,v)必须满足条件u≥0,v≥0,u+v≤1，u、v体现了每个顶点对特定区域的权重贡献，(1-u-v)则是第三个权重，只要计算出u和v，则计算出每个顶点对P点的贡献，现在已知P1,P2,P3和P的坐标值，求解u和v，通过如下公式：

p_x＝(1-u-v)*P1_x+u*P2_x+v*P3_x

p_y＝(1-u-v)*P1_y+u*P2_y+v*P3_y

步骤9，生成新碰撞体，重复以上切割操作。