CN112258921B - 基于虚拟、混合现实的针灸互动教学系统和方法 - Google Patents

Abstract

基于虚拟、混合现实的针灸互动教学系统和方法，涉及教学教具技术领域，包括：数据建立模块、教学互动模块、练习模块和考试模块，本发明通过使用虚拟、混合现实设备进行教学，将人体数据生成虚拟的人体结构数据三维模型，使经络走向、穴位附近的肌肉、骨骼系统立体呈现，使学生可以身临其境地观察到穴位的三维位置和解剖结构，更容易理解针灸的知识，更快速地了解每个穴位的位置，从而缩短学习针灸知识的学习时间，同时对学生的操作进行考试评估，根据考试评估对学生进行有针对性的教学，形成一个良性的教学闭环，增强实训效果，解决了目前针灸学习中存在的教学内容抽象、实训方式落后和培训周期长成本高的问题。

Description

基于虚拟、混合现实的针灸互动教学系统和方法

技术领域

本发明涉及教学教具技术领域，具体涉及基于虚拟、混合现实的针灸互动教学系统和方法。

背景技术

针灸是基础理论与技术操作紧密结合的一门学科,是中医教学必不可少的内容。传统的教学在激发学生的学习兴趣、调动学生学习积极性方面稍显不足，部分学生反应学习枯燥、知识点零散、穴位难记，动手能力差、临床诊疗能力不足等问题也较为显著。因此,如何提高针灸学教学质量和教学效果一直是教学研究中重点关注的问题。具体表现为以下三点：1、教学内容抽象：穴位空间解剖位置难以理解，经络走向过程抽象，缺乏有效互动方式，理论与实际脱节。2、实训方式落后：人体实训风险高，纸团棉花团替代物与人体生物的物理特征相差大，实训效果差。3、周期长成本高：培训周期长，教学成本高，受到时间和空间限制，不利于激发学生自主创新实践能力。

发明内容

本发明实施例提供了基于虚拟、混合现实的针灸互动教学系统和方法，通过使用虚拟、混合现实设备进行教学，将人体数据生成虚拟的人体结构数据三维模型，使原本看不见的经络走向、穴位附近的肌肉、骨骼系统立体呈现，教师通过以虚拟的人体结构数据三维模型对学生进行讲解，使学生可以身临其境地观察到穴位的三维位置和解剖结构，更容易理解针灸的知识，更快速地了解每个穴位的位置，从而缩短学习针灸知识的学习时间，同时学生在虚拟的人体结构数据三维模型上进行虚拟操作，根据学生下针的位置、角度、力度、延时时长、提插幅度大小，触感系统通过搜集数据，对标准值进行比对，给出实时反馈，同时对学生的操作进行考试评估，根据考试评估对学生进行有针对性的教学，形成一个良性的教学闭环，增强实训效果，解决了目前针灸学习中存在的教学内容抽象、实训方式落后和培训周期长成本高的问题。

基于虚拟、混合现实的针灸互动教学系统，包括：数据建立模块、教学互动模块、练习模块和考试模块；

数据建立模块，用于建立教学数据，并将教学数据分别传输到所述教学互动模块、所述练习模块和所述考试模块；

其中，所述数据建立模块包括数据录入单元、模型生成单元和坐标生成单元，所述数据录入单元用于采集虚拟人体数据和真人模特的人体数据，并将采集到的人体数据传输到模型生成单元，所述模型生成单元用于接收所述数据录入单元传输的人体数据，并生成虚拟的人体结构数据三维模型，所述模型生成单元还用于将真人模特的人体数据与虚拟人体数据进行映射融合，将虚拟人体结构数据模型传输到所述坐标生成单元，所述坐标生成单元用于接收模型生成单元输出的虚拟人体结构数据模型并根据虚拟的人体结构数据三维模型构建出一个虚拟空间和与虚拟空间对应的坐标数据，形成教学数据，所述坐标生成单元还用于将教学数据传输到所述教学互动模块；

教学互动模块，用于接收所述数据建立模块传输的教学数据，并采集教师和学生的数据，将采集的教师和学生的数据与教学数据进行融合，同时还用于展示教学数据，得到讲解数据，并将讲解数据传输到所述练习模块；

其中，所述教学互动模块包括第一采集单元、第一融合单元、第一追踪单元、第一虚拟单元、展示单元和第一同步单元，所述第一虚拟单元用于虚拟针灸针，所述第一采集单元用于采集教学数据，所述第一采集单元还用于采集教师的身体坐标数据和语音数据，并将身体坐标数据传输到第一融合单元，所述第一融合单元用于接收所述第一采集单元传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第一追踪单元，所述第一追踪单元用于接收所述第一融合单元传输的数据并对关键点进行追踪，所述第一追踪单元还用于将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到所述展示单元，所述展示单元用于接收所述第一追踪单元传输的追踪数据并进行展示和讲解，生成讲解数据，所述展示单元还用于将讲解数据传输到第一同步单元，所述第一同步单元用于接收展示单元传输的讲解数据并传输至所述练习模块；

练习模块，用于接收所述教学互动模块传输的讲解数据，还用于接收所述数据建立模块传输的教学数据，并采集学生的数据，将采集的学生的数据与教学数据进行融合，同时对学生的操作进行追踪并实时反馈和评价；

考试模块，用于录入考试试题数据，还用于接收所述数据建立模块传输的教学数据，并采集学生的数据，将采集的学生的数据与教学数据进行融合，同时对学生的操作进行追踪，对学生的操作进行评价并输出。

进一步的，所述数据录入单元采集的虚拟人体数据包括人体的全部人体内外部的组织结构数据和人体穴位数据，所述数据录入单元采集的真人人体数据包括图像数据。

进一步的，所述第一融合单元映射融合后的数据中内的关键点包括教师手部的坐标数据，所述针灸针的运动数据包括针灸针的位置数据、角度数据、旋转角度数据和力度数据。

进一步的，所述展示单元还用于对教学数据中虚拟人体进行旋转、翻转、切片观察、隐藏和显示人体部位。

进一步的，所述练习模块包括第二同步单元、第二采集单元、第二虚拟单元、第二融合单元、第二追踪单元、第一数据收集单元、第一比对单元、第一判断单元、反馈单元和第一评价单元，所述第二同步单元用于接收所述教学互动模块传输的讲解数据并对学生进行展示，所述第二采集单元用于采集学生的身体坐标数据，并将身体坐标数据传输到第二融合单元，所述第二融合单元用于接收所述第二采集单元传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第二追踪单元，所述第二追踪单元用于接收所述第二融合单元传输的数据并对关键点进行追踪，所述第二追踪单元还用于将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到所述第一数据收集单元，所述第一数据收集单元对追踪数据进行采集，将采集的数据发送到所述第一比对单元，所述第一比对单元预设有标准动作数据，所述第一比对单元将数据与标准动作数据进行比对，将结果发送至所述第一判断单元，所述第一判断单元根据比对结果进行判断，得到判断结果，将判断结果发送至所述反馈单元，所述反馈单元根据判断结果发出反馈信息。

进一步的，所述第二追踪单元得到的追踪数据包括针灸针的位置数据、角度数据、旋转角度数据和力度数据，所述第一比对单元预设的标准动作数据包括标准的针灸针的位置数据、标准的角度数据、标准的旋转角度数据和标准的力度数据，所述反馈单元发出反馈信息包括实时力度反馈、时长反馈、声音反馈、灯光效果反馈和虚拟人体实时治疗效果反馈，所述第二同步单元的展示方式为影像和声音，所述第二融合单元映射融合后的数据中内的关键点包括学生手部的坐标数据。

进一步的，所述考试模块包括试题录入单元、第三采集单元、第三融合单元、第三追踪单元、第二数据收集单元、第二比对单元、第二判断单元、第二评价单元和输出单元，所述试题录入单元用于教师录入考试信息数据，所述第三采集单元用于采集学生的身体坐标数据，并将身体坐标数据传输到第三融合单元，所述第三融合单元用于接收所述第三采集单元传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第三追踪单元，所述第三追踪单元用于接收所述第三融合单元传输的数据并对关键点进行追踪，所述第三追踪单元还用于将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到所述第二数据收集单元，所述第二数据收集单元对追踪数据进行采集，将采集的数据发送到所述第二比对单元，所述第二比对单元将数据与考试信息数据进行比对，将结果发送至所述第二判断单元，所述第二判断单元根据比对结果进行判断，得到判断结果，将判断结果传输至所述第二评价单元，所述第二评价单元对判断结果进行评估，并将评估结果发送到所述输出单元，所述输出单元用于将评估结果输出。

进一步的，所述第三追踪单元得到的追踪数据包括针灸针的位置数据、角度数据、旋转角度数据和力度数据，考试信息数据包括标准的针灸针的位置数据、标准的角度数据、标准的旋转角度数据和标准的力度数据，所述第三融合单元映射融合后的数据中内的关键点包括学生手部的坐标数据。

第二方面，本发明实施例提供虚拟、混合现实与虚拟传感结合的针灸互动教学方法，包括以下步骤：

S1，数据建立，数据录入单元采集虚拟人体数据和真人模特的人体数据，并将采集到的人体数据传输到模型生成单元，模型生成单元接收数据录入单元传输的人体数据，并生成虚拟的人体结构数据三维模型，模型生成单元还用于将真人模特的人体数据与虚拟人体数据进行映射融合，将虚拟人体结构数据模型传输到坐标生成单元，坐标生成单元接收模型生成单元输出的虚拟人体结构数据模型并根据虚拟的人体结构数据三维模型构建出一个虚拟空间和与虚拟空间对应的坐标数据，形成教学数据；

S2，教学互动，第一虚拟单元虚拟针灸针，第一采集单元采集教学数据，第一采集单元采集教师的身体坐标数据和语音数据，并将身体坐标数据传输到第一融合单元，第一融合单元接收第一采集单元传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第一追踪单元，第一追踪单元接收第一融合单元传输的数据并对关键点进行追踪，第一追踪单元将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到展示单元，展示单元接收第一追踪单元传输的追踪数据并进行展示和讲解，生成讲解数据，展示单元将讲解数据传输到第一同步单元，第一同步单元接收展示单元传输的讲解数据并传输至第二同步单元；

S3，练习，第二同步单元接收教学互动模块传输的讲解数据并对学生进行展示，第二采集单元采集学生的身体坐标数据，并将身体坐标数据传输到第二融合单元，第二融合单元接收第二采集单元传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第二追踪单元，第二追踪单元接收第二融合单元传输的数据并对关键点进行追踪，第二追踪单元将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到第一数据收集单元，第一数据收集单元对追踪数据进行采集，将采集的数据发送到第一比对单元，第一比对单元预设有标准动作数据，第一比对单元将数据与标准动作数据进行比对，将结果发送至第一判断单元，第一判断单元根据比对结果进行判断，得到判断结果，将判断结果发送至反馈单元，反馈单元根据判断结果发出反馈信息；

S4，考试评价，试题录入单元教师录入考试信息数据，第三采集单元采集学生的身体坐标数据，并将身体坐标数据传输到第三融合单元，第三融合单元接收第三采集单元传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第三追踪单元，第三追踪单元接收第三融合单元传输的数据并对关键点进行追踪，第三追踪单元将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到第二数据收集单元，第二数据收集单元对追踪数据进行采集，将采集的数据发送到第二比对单元，第二比对单元预设有标准动作数据，第二比对单元将数据与标准动作数据进行比对，将结果发送至第二判断单元，第二判断单元根据比对结果进行判断，得到判断结果，将判断结果传输至第二评价单元，第二评价单元对判断结果进行评估，并将评估结果发送到输出单元，输出单元将评估结果输出；

S5，反馈，根据评估结果对学生进行有针对性的教学，形成一个良性的教学闭环。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明通过使用虚拟、混合现实设备进行教学，将人体数据生成虚拟的人体结构数据三维模型，使原本看不见的经络走向、穴位附近的肌肉、骨骼系统立体呈现，教师通过以虚拟的人体结构数据三维模型对学生进行讲解，使学生可以身临其境地观察到穴位的三维位置和解剖结构，更容易理解针灸的知识，更快速地了解每个穴位的位置，从而缩短学习针灸知识的学习时间，同时学生在虚拟的人体结构数据三维模型上进行虚拟操作，根据学生下针的位置、角度、力度、延时时长、提插幅度大小，触感系统通过搜集数据，对标准值进行比对，给出实时反馈，同时对学生的操作进行考试评估，根据考试评估对学生进行有针对性的教学，形成一个良性的教学闭环，增强实训效果，解决了目前针灸学习中存在的教学内容抽象、实训方式落后和培训周期长成本高的问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例公开的基于虚拟、混合现实的针灸互动教学系统结构示意图；

图2为本发明实施例公开的基于虚拟、混合现实的针灸互动教学方法流程示意图。

附图标记：

100-数据建立模块；101-数据录入单元；102-模型生成单元；103-坐标生成单元；200-教学互动模块；201-第一采集单元；202-第一融合单元；203-第一追踪单元；204-第一虚拟单元；205-展示单元；206-第一同步单元；300-练习模块；301-第二同步单元；302-第二采集单元；303-第二虚拟单元；304-第二融合单元；305-第二追踪单元；306-第一数据收集单元；307-第一比对单元；308-第一判断单元；309-反馈单元；3010-第一评价单元；400-考试模块；401-试题录入单元；402-第三采集单元；403-第三融合单元；404-第三虚拟单元；405-第三追踪单元；406-第二数据收集单元；407-第二比对单元；408-第二判断单元；409-第二评价单元；4010-输出单元。

具体实施例

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

如图1所示，本发明实施例提供基于虚拟、混合现实的针灸互动教学系统，包括数据建立模块100、教学互动模块200、练习模块300和考试模块400；

数据建立模块100，用于建立教学数据，并将教学数据分别传输到所述教学互动模块200、所述练习模块300和所述考试模块400，所述数据建立模块100包括数据录入单元101、模型生成单元102和坐标生成单元103，所述数据录入单元101用于采集虚拟人体数据和真人模特的人体数据，所述数据录入单元101采集的虚拟人体数据包括人体的全部人体内外部的组织结构数据和人体穴位数据，所述数据录入单元101采集的真人人体数据包括图像数据，并将采集到的人体数据传输到模型生成单元102，所述模型生成单元102用于接收所述数据录入单元101传输的人体数据，并生成虚拟的人体结构数据三维模型，所述模型生成单元102还用于将真人模特的人体数据与虚拟人体数据进行映射融合，将虚拟人体结构数据模型传输到所述坐标生成单元103，所述坐标生成单元103用于接收模型生成单元102输出的虚拟人体结构数据模型并根据虚拟的人体结构数据三维模型构建出一个虚拟空间和与虚拟空间对应的坐标数据，形成教学数据，所述坐标生成单元103还用于将教学数据传输到所述教学互动模块200；

具体的，通过数据录入单元101录入虚拟人体数据，例如，骨骼结构数据、肌肉结构数据和人体穴位分布数据等，同时采集真人模特的图像数据，并将采集到的人体数据传输到模型生成单元102，模型生成单元102将输入的虚拟人体数据与真人模特的图像数据进行融合生成人体结构数据三维模型，坐标生成单元103对人体结构数据三维模型进行计算，以人体结构数据三维模型的坐标原点为中心构建出一个虚拟空间和与虚拟空间对应的坐标数据，形成教学数据。

教学互动模块200，用于接收所述数据建立模块100传输的教学数据，并采集教师和学生的数据，将采集的教师和学生的数据与教学数据进行融合，同时还用于展示教学数据，得到讲解数据，并将讲解数据传输到所述练习模块，所述教学互动模块200包括第一采集单元201、第一融合单元202、第一追踪单元203、第一虚拟单元204、展示单元205和第一同步单元206，所述第一虚拟单元204用于虚拟针灸针，所述第一采集单元201用于采集教学数据，所述第一采集单元201还用于采集教师的身体坐标数据和语音数据，并将身体坐标数据传输到第一融合单元202，所述第一融合单元202用于接收所述第一采集单元201传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第一追踪单元203，所述第一追踪单元203用于接收所述第一融合单元202传输的数据并对关键点进行追踪，所述第一融合单元202映射融合后的数据中内的关键点包括教师手部的坐标数据，所述针灸针的运动数据包括针灸针的位置数据、角度数据、旋转角度数据和力度数据，所述第一追踪单元203还用于将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到所述展示单元205，所述展示单元205用于接收所述第一追踪单元203传输的追踪数据并进行展示和讲解，生成讲解数据，所述展示单元205还用于对教学数据中虚拟人体进行旋转、翻转、切片观察、隐藏和显示人体部位，所述展示单元205还用于将讲解数据传输到第一同步单元206，所述第一同步单元206用于接收展示单元205传输的讲解数据并传输至所述练习模块300；

具体的，第一采集单元201还采集教师的身体坐标数据和语音数据，其中，身体坐标数据包括身体各个部位的坐标数据，第一融合单元202将身体坐标数据与教学数据进行融合，将身体坐标融合在教学数据中，形成具有空间感的画面，第一虚拟单元204虚拟针灸针，第一追踪单元203将虚拟针灸针与教师的手部进行融合，同时第一追踪单元203实时追踪对教师的手部和虚拟针灸针进行追踪，教师在教学讲解的过程中，将人体结构数据三维模型进行旋转、翻转、切片观察、隐藏和显示人体部位等操作，并实时进行讲解，展示单元205将讲解过程以及虚拟操作过程，其中，虚拟操作过程包括针灸针的位置、角度、旋转角度和力度，传输至第一同步单元206，第一同步单元206将讲解数据传输至第二同步单元301。

练习模块300，用于接收所述教学互动模块200传输的讲解数据，还用于接收所述数据建立模块100传输的教学数据，并采集学生的数据，将采集的学生的数据与教学数据进行融合，同时对学生的操作进行追踪并实时反馈和评价，所述练习模块300包括第二同步单元301、第二采集单元302、第二虚拟单元303、第二融合单元304、第二追踪单元305、第一数据收集单元306、第一比对单元307、第一判断单元308、反馈单元309和第一评价单元3010，所述第二同步单元301用于接收所述教学互动模块200传输的讲解数据并对学生进行展示，所述第二虚拟单元303用于虚拟针灸针，所述第二采集单元302用于采集教学数据，所述第二采集单元302还用于采集学生的身体坐标数据，并将身体坐标数据传输到第二融合单元304，所述第二融合单元304用于接收所述第二采集单元302传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第二追踪单元305，所述第二追踪单元305用于接收所述第二融合单元304传输的数据并对关键点进行追踪，所述第二追踪单元305还用于将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到所述第一数据收集单元306，所述第一数据收集单元306对追踪数据进行采集，将采集的数据发送到所述第一比对单元307，所述第一比对单元307预设有标准动作数据，所述第一比对单元307将数据与标准动作数据进行比对，将结果发送至所述第一判断单元308，所述第一判断单元308根据比对结果进行判断，得到判断结果，将判断结果发送至所述反馈单元309，所述反馈单元309根据判断结果发出反馈信息，所述第二追踪单元305得到的追踪数据包括针灸针的位置数据、角度数据、旋转角度数据和力度数据，所述第一比对单元307预设的标准动作数据包括标准的针灸针的位置数据、标准的角度数据、标准的旋转角度数据和标准的力度数据，所述反馈单元309发出反馈信息包括实时力度反馈、时长反馈、声音反馈、灯光效果反馈和虚拟人体实时治疗效果反馈，所述第二同步单元301的展示方式为影像和声音，所述第二融合单元304映射融合后的数据中内的关键点包括学生手部的坐标数据。

具体的，第二同步单元301接收所述教学互动模块200传输的讲解数据并对学生进行展示，展示方式包括VR/AR和大屏投影的方式，学生在观看教师的操作后，自主进行练习，第二虚拟单元303虚拟针灸针，第二采集单元302采集学生的身体坐标数据，其中，身体坐标数据包括身体各个部位的坐标数据，第二融合单元304将身体坐标数据与教学数据进行融合，将身体坐标融合在教学数据中，形成具有空间感的画面，第二追踪单元305将虚拟针灸针与学生的手部进行融合，同时第二追踪单元305实时追踪对学生的手部和虚拟针灸针进行追踪，将学生在操作过程中针灸针的位置数据、角度数据、旋转角度数据和力度数据传输至第一数据收集单元306，第一数据收集单元306将针灸针的位置数据、角度数据、旋转角度数据和力度数据进行收集并传输至第一比对单元307，第一比对单元307将接收的数据与预设的标注数据进行对比，得到比对结果，将比对结果发送至第一判断单元308，第一判断单元308根据比对结果进行判断，得到判断结果，将判断结果发送至反馈单元309，反馈单元309根据判断结果发出反馈信息，例如，反馈单元309根据判断结果，将针灸针的位置、角度、幅度，以辅助线进行提示，并且以颜色作为区分：红色代表错误、橙色代表偏差过大、黄色代表接近正确、绿色代表正确，而力度、时长等，适合于用辅助图标提示，力度用一个代表力量的进度条表示，时长用一个倒计时时钟表示，同时还进行声音、力度反馈、灯光效果等进行提醒，根据针灸方式的正确性，还可以反馈出病人好转的流转过程，整个过程以直观、可视化、数据化的方式展现，通过实时的反馈，让学生及时纠正错误。

考试模块400，用于录入考试试题数据，还用于接收所述数据建立模块100传输的教学数据，并采集学生的数据，将采集的学生的数据与教学数据进行融合，同时对学生的操作进行追踪，对学生的操作进行评价并输出，所述考试模块400包括试题录入单元401、第三采集单元402、第三融合单元403、第三虚拟单元404、第三追踪单元405、第二数据收集单元406、第二比对单元407、第二判断单元408、第二评价单元409和输出单元4010，所述试题录入单元401用于教师录入考试信息数据，所述第三虚拟单元404用于虚拟针灸针，所述第三采集单元402用于采集教学数据，所述第三采集单元402还用于采集学生的身体坐标数据，并将身体坐标数据传输到第三融合单元403，所述第三融合单元403用于接收所述第三采集单元402传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第三追踪单元405，所述第三追踪单元405用于接收所述第三融合单元403传输的数据并对关键点进行追踪，所述第三追踪单元405还用于将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到所述第二数据收集单元406，所述第二数据收集单元406对追踪数据进行采集，将采集的数据发送到所述第二比对单元407，所述第二比对单元407将数据与考试信息数据进行比对，将结果发送至所述第二判断单元408，所述第二判断单元408根据比对结果进行判断，得到判断结果，将判断结果传输至所述第二评价单元409，所述第二评价单元409对判断结果进行评估，并将评估结果发送到所述输出单元4010，所述输出单元4010用于将评估结果输出，所述第三追踪单元405得到的追踪数据包括针灸针的位置数据、角度数据、旋转角度数据和力度数据，考试信息数据包括标准的针灸针的位置数据、标准的角度数据、标准的旋转角度数据和标准的力度数据，所述第三融合单元403映射融合后的数据中内的关键点包括学生手部的坐标数据。

具体的，教师通过试题录入单元401录入考试信息，第三虚拟单元404虚拟针灸针，第三采集单元402采集学生的身体坐标数据，其中，身体坐标数据包括身体各个部位的坐标数据，第二融合单元304将身体坐标数据与教学数据进行融合，将身体坐标融合在教学数据中，形成具有空间感的画面，第三追踪单元405将虚拟针灸针与学生的手部进行融合，同时第三追踪单元405实时追踪对学生的手部和虚拟针灸针进行追踪，将学生在操作过程中针灸针的位置数据、角度数据、旋转角度数据和力度数据传输至第二数据收集单元406，第二数据收集单元406将针灸针的位置数据、角度数据、旋转角度数据和力度数据进行收集并传输至第二比对单元407，第二比对单元407将接收的数据与考试信息数据进行比对，得到比对结果，将比对结果发送至第二判断单元408，第二判断单元408根据比对结果进行判断，得到判断结果，将判断结果传输至所述第二评价单元409，第二评价单元409对判断结果进行评估，并将评估结果发送到输出单元4010，输出单元4010用于将评估结果输出。

本发明克服了现有的针灸学习教学内容抽象、实训方式落后和培训周期长成本高的问题，通过使用虚拟、混合现实设备进行教学，将人体数据生成虚拟的人体结构数据三维模型，使原本看不见的经络走向、穴位附近的肌肉、骨骼系统立体呈现，教师通过以虚拟的人体结构数据三维模型对学生进行讲解，使学生可以身临其境地观察到穴位的三维位置和解剖结构，更容易理解针灸的知识，更快速地了解每个穴位的位置，从而缩短学习针灸知识的学习时间，同时学生在虚拟的人体结构数据三维模型上进行虚拟操作，根据学生下针的位置、角度、力度、延时时长、提插幅度大小，触感系统通过搜集数据，对标准值进行比对，给出实时反馈，同时对学生的操作进行考试评估，根据考试评估对学生进行有针对性的教学，形成一个良性的教学闭环，增强实训效果，解决了目前针灸学习中存在的教学内容抽象、实训方式落后和培训周期长成本高的问题。

实施例二

本发明实施例还公开了虚拟、混合现实与虚拟传感结合的针灸互动教学方法，如图2，包括以下步骤：

S1，数据建立，数据录入单元101采集虚拟人体数据和真人模特的人体数据，并将采集到的人体数据传输到模型生成单元102，模型生成单元102接收数据录入单元101传输的人体数据，并生成虚拟的人体结构数据三维模型，模型生成单元102还用于将真人模特的人体数据与虚拟人体数据进行映射融合，将虚拟人体结构数据模型传输到坐标生成单元103，坐标生成单元103接收模型生成单元102输出的虚拟人体结构数据模型并根据虚拟的人体结构数据三维模型构建出一个虚拟空间和与虚拟空间对应的坐标数据，形成教学数据；

S2，教学互动，第一虚拟单元204虚拟针灸针，第一采集单元201采集教学数据，第一采集单元201采集教师的身体坐标数据和语音数据，并将身体坐标数据传输到第一融合单元202，第一融合单元202接收第一采集单元201传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第一追踪单元203，第一追踪单元203接收第一融合单元202传输的数据并对关键点进行追踪，第一追踪单元203将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到展示单元205，展示单元205接收第一追踪单元203传输的追踪数据并进行展示和讲解，生成讲解数据，展示单元205将讲解数据传输到第一同步单元206，第一同步单元206接收展示单元205传输的讲解数据并传输至第二同步单元301；

S3，练习，第二同步单元301接收教学互动模块200传输的讲解数据并对学生进行展示，第二虚拟单元303虚拟针灸针，第二采集单元302采集教学数据，第二采集单元302采集学生的身体坐标数据，并将身体坐标数据传输到第二融合单元304，第二融合单元304接收第二采集单元302传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第二追踪单元305，第二追踪单元305接收第二融合单元304传输的数据并对关键点进行追踪，第二追踪单元305将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到第一数据收集单元306，第一数据收集单元306对追踪数据进行采集，将采集的数据发送到第一比对单元307，第一比对单元307预设有标准动作数据，第一比对单元307将数据与标准动作数据进行比对，将结果发送至第一判断单元308，第一判断单元308根据比对结果进行判断，得到判断结果，将判断结果发送至反馈单元309，反馈单元309根据判断结果发出反馈信息；

S4，考试评价，试题录入单元401教师录入考试信息数据，第三虚拟单元404虚拟针灸针，第三采集单元402采集教学数据，第三采集单元402采集学生的身体坐标数据，并将身体坐标数据传输到第三融合单元403，第三融合单元403接收第三采集单元402传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第三追踪单元405，第三追踪单元405接收第三融合单元403传输的数据并对关键点进行追踪，第三追踪单元405将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到第二数据收集单元406，第二数据收集单元406对追踪数据进行采集，将采集的数据发送到第二比对单元407，第二比对单元407预设有标准动作数据，第二比对单元407将数据与标准动作数据进行比对，将结果发送至第二判断单元408，第二判断单元408根据比对结果进行判断，得到判断结果，将判断结果传输至第二评价单元409，第二评价单元409对判断结果进行评估，并将评估结果发送到输出单元4010，输出单元4010将评估结果输出；

S5，反馈，根据评估结果对学生进行有针对性的教学，形成一个良性的教学闭环。

本实施例公开的虚拟、混合现实与虚拟传感结合的针灸互动教学方法，通过使用虚拟、混合现实设备进行教学，将人体数据生成虚拟的人体结构数据三维模型，使原本看不见的经络走向、穴位附近的肌肉、骨骼系统立体呈现，教师通过以虚拟的人体结构数据三维模型对学生进行讲解，使学生可以身临其境地观察到穴位的三维位置和解剖结构，更容易理解针灸的知识，更快速地了解每个穴位的位置，从而缩短学习针灸知识的学习时间，同时学生在虚拟的人体结构数据三维模型上进行虚拟操作，根据学生下针的位置、角度、力度、延时时长、提插幅度大小，触感系统通过搜集数据，对标准值进行比对，给出实时反馈，同时对学生的操作进行考试评估，根据考试评估对学生进行有针对性的教学，形成一个良性的教学闭环，增强实训效果，解决了目前针灸学习中存在的教学内容抽象、实训方式落后和培训周期长成本高的问题。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims (5)

1.基于虚拟、混合现实的针灸互动教学系统，其特征在于，包括：数据建立模块、教学互动模块、练习模块和考试模块；

数据建立模块，用于建立教学数据，并将教学数据分别传输到所述教学互动模块、所述练习模块和所述考试模块；

其中，所述数据建立模块包括数据录入单元、模型生成单元和坐标生成单元，所述数据录入单元用于采集虚拟人体数据和真人模特的人体数据，并将采集到的人体数据传输到模型生成单元，所述模型生成单元用于接收所述数据录入单元传输的人体数据，并生成虚拟的人体结构数据三维模型，所述模型生成单元还用于将真人模特的人体数据与虚拟人体数据进行映射融合，将虚拟人体结构数据模型传输到所述坐标生成单元，所述坐标生成单元用于接收模型生成单元输出的虚拟人体结构数据模型并根据虚拟的人体结构数据三维模型构建出一个虚拟空间和与虚拟空间对应的坐标数据，形成教学数据，所述坐标生成单元还用于将教学数据传输到所述教学互动模块；

所述数据录入单元采集的虚拟人体数据包括人体的全部人体内外部的组织结构数据和人体穴位数据，所述数据录入单元采集的真人人体数据包括图像数据；

教学互动模块，用于接收所述数据建立模块传输的教学数据，并采集教师和学生的数据，将采集的教师和学生的数据与教学数据进行融合，同时还用于展示教学数据，得到讲解数据，并将讲解数据传输到所述练习模块；

其中，所述教学互动模块包括第一采集单元、第一融合单元、第一追踪单元、第一虚拟单元、展示单元和第一同步单元，所述第一虚拟单元用于虚拟针灸针，所述第一采集单元用于采集教学数据，所述第一采集单元还用于采集教师的身体坐标数据和语音数据，并将身体坐标数据传输到第一融合单元，所述第一融合单元用于接收所述第一采集单元传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第一追踪单元，所述第一追踪单元用于接收所述第一融合单元传输的数据并对关键点进行追踪，所述第一追踪单元还用于将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到所述展示单元，所述展示单元用于接收所述第一追踪单元传输的追踪数据并进行展示和讲解，生成讲解数据，所述展示单元还用于将讲解数据传输到第一同步单元，所述第一同步单元用于接收展示单元传输的讲解数据并传输至所述练习模块；

所述展示单元还用于对教学数据中虚拟人体进行旋转、 翻转、 切片观察、隐藏和显示人体部位；

练习模块，用于接收所述教学互动模块传输的讲解数据，还用于接收所述数据建立模块传输的教学数据，并采集学生的数据，将采集的学生的数据与教学数据进行融合，同时对学生的操作进行追踪并实时反馈和评价；

所述练习模块包括第二同步单元、第二采集单元、第二虚拟单元、第二融合单元、第二追踪单元、第一数据收集单元、第一比对单元、第一判断单元、反馈单元和第一评价单元，所述第二同步单元用于接收所述教学互动模块传输的讲解数据并对学生进行展示，所述第二虚拟单元用于虚拟针灸针，所述第二采集单元用于采集教学数据，所述第二采集单元还用于采集学生的身体坐标数据，并将身体坐标数据传输到第二融合单元，所述第二融合单元用于接收所述第二采集单元传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第二追踪单元，所述第二追踪单元用于接收所述第二融合单元传输的数据并对关键点进行追踪，所述第二追踪单元还用于将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到所述第一数据收集单元，所述第一数据收集单元对追踪数据进行采集，将采集的数据发送到所述第一比对单元，所述第一比对单元预设有标准动作数据，所述第一比对单元将数据与标准动作数据进行比对，将结果发送至所述第一判断单元，所述第一判断单元根据比对结果进行判断，得到判断结果，将判断结果发送至所述反馈单元，所述反馈单元根据判断结果发出反馈信息；

所述第二追踪单元得到的追踪数据包括针灸针的位置数据、角度数据、旋转角度数据和力度数据，所述第一比对单元预设的标准动作数据包括标准的针灸针的位置数据、标准的角度数据、标准的旋转角度数据和标准的力度数据，所述反馈单元发出反馈信息包括实时力度反馈、时长反馈、声音反馈、灯光效果反馈和虚拟人体实时治疗效果反馈，所述第二同步单元的展示方式为影像和声音，所述第二融合单元映射融合后的数据中内的关键点包括学生手部的坐标数据；

所述反馈单元根据判断结果，将针灸针的位置、角度、幅度，以辅助线进行提示，并且以颜色作为区分：红色代表错误、橙色代表偏差过大、黄色代表接近正确、绿色代表正确，而力度、时长等，用辅助图标提示，力度用一个代表力量的进度条表示，时长用一个倒计时时钟表示，同时还进行声音、力度反馈、灯光效果等进行提醒，根据针灸方式的正确性，反馈出病人好转的流转过程；

考试模块，用于录入考试试题数据，还用于接收所述数据建立模块传输的教学数据，并采集学生的数据，将采集的学生的数据与教学数据进行融合，同时对学生的操作进行追踪，对学生的操作进行评价并输出。

2.如权利要求1所述的基于虚拟、混合现实的针灸互动教学系统，其特征在于，所述第一融合单元映射融合后的数据中内的关键点包括教师手部的坐标数据，所述针灸针的运动数据包括针灸针的位置数据、角度数据、旋转角度数据和力度数据。

3.如权利要求1所述的基于虚拟、混合现实的针灸互动教学系统，其特征在于，所述考试模块包括试题录入单元、第三采集单元、第三融合单元、第三虚拟单元、第三追踪单元、第二数据收集单元、第二比对单元、第二判断单元、第二评价单元和输出单元，所述试题录入单元用于教师录入考试信息数据，所述第三虚拟单元用于虚拟针灸针，所述第三采集单元用于采集教学数据，所述第三采集单元还用于采集学生的身体坐标数据，并将身体坐标数据传输到第三融合单元，所述第三融合单元用于接收所述第三采集单元传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第三追踪单元，所述第三追踪单元用于接收所述第三融合单元传输的数据并对关键点进行追踪，所述第三追踪单元还用于将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到所述第二数据收集单元，所述第二数据收集单元对追踪数据进行采集，将采集的数据发送到所述第二比对单元，所述第二比对单元将数据与考试信息数据进行比对，将结果发送至所述第二判断单元，所述第二判断单元根据比对结果进行判断，得到判断结果，将判断结果传输至所述第二评价单元，所述第二评价单元对判断结果进行评估，并将评估结果发送到所述输出单元，所述输出单元用于将评估结果输出。

4.如权利要求3所述的基于虚拟、混合现实的针灸互动教学系统，其特征在于，所述第三追踪单元得到的追踪数据包括针灸针的位置数据、角度数据、旋转角度数据和力度数据，考试信息数据包括标准的针灸针的位置数据、标准的角度数据、标准的旋转角度数据和标准的力度数据，所述第三融合单元映射融合后的数据中内的关键点包括学生手部的坐标数据。

5.基于虚拟、混合现实的针灸互动教学方法，应用如权利要求4所述的基于虚拟、混合现实的针灸互动教学系统，其特征在于，包括以下步骤：

S1，数据建立，数据录入单元采集虚拟人体数据和真人模特的人体数据，并将采集到的人体数据传输到模型生成单元，模型生成单元接收数据录入单元传输的人体数据，并生成虚拟的人体结构数据三维模型，模型生成单元还用于将真人模特的人体数据与虚拟人体数据进行映射融合，将虚拟人体结构数据模型传输到坐标生成单元，坐标生成单元接收模型生成单元输出的虚拟人体结构数据模型并根据虚拟的人体结构数据三维模型构建出一个虚拟空间和与虚拟空间对应的坐标数据，形成教学数据；

S2，教学互动，第一虚拟单元虚拟针灸针，第一采集单元采集教学数据，第一采集单元采集教师的身体坐标数据和语音数据，并将身体坐标数据传输到第一融合单元，第一融合单元接收第一采集单元传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第一追踪单元，第一追踪单元接收第一融合单元传输的数据并对关键点进行追踪，第一追踪单元将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到展示单元，展示单元接收第一追踪单元传输的追踪数据并进行展示和讲解，生成讲解数据，展示单元将讲解数据传输到第一同步单元，第一同步单元接收展示单元传输的讲解数据并传输至第二同步单元；

S3，练习，第二同步单元接收教学互动模块传输的讲解数据并对学生进行展示，第二虚拟单元虚拟针灸针，第二采集单元采集教学数据，第二采集单元采集学生的身体坐标数据，并将身体坐标数据传输到第二融合单元，第二融合单元接收第二采集单元传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第二追踪单元，第二追踪单元接收第二融合单元传输的数据并对关键点进行追踪，第二追踪单元将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到第一数据收集单元，第一数据收集单元对追踪数据进行采集，将采集的数据发送到第一比对单元，第一比对单元预设有标准动作数据，第一比对单元将数据与标准动作数据进行比对，将结果发送至第一判断单元，第一判断单元根据比对结果进行判断，得到判断结果，将判断结果发送至反馈单元，反馈单元根据判断结果发出反馈信息；

S4，考试评价，试题录入单元教师录入考试信息数据，第三虚拟单元虚拟针灸针，第三采集单元采集教学数据，第三采集单元采集学生的身体坐标数据，并将身体坐标数据传输到第三融合单元，第三融合单元接收第三采集单元传输的身体坐标数据并将身体坐标数据与教学数据进行映射融合，并将融合后的数据传输到第三追踪单元，第三追踪单元接收第三融合单元传输的数据并对关键点进行追踪，第三追踪单元将虚拟针灸针与关键点进行融合，并追踪针灸针的运动数据，得到追踪数据，并将追踪数据传输到第二数据收集单元，第二数据收集单元对追踪数据进行采集，将采集的数据发送到第二比对单元，第二比对单元预设有标准动作数据，第二比对单元将数据与标准动作数据进行比对，将结果发送至第二判断单元，第二判断单元根据比对结果进行判断，得到判断结果，将判断结果传输至第二评价单元，第二评价单元对判断结果进行评估，并将评估结果发送到输出单元，输出单元将评估结果输出；

S5，反馈，根据评估结果对学生进行有针对性的教学，形成一个良性的教学闭环。

Images