CN112506343B - 动物解剖学教学方法、系统、介质、计算机设备、终端 - Google Patents

动物解剖学教学方法、系统、介质、计算机设备、终端 Download PDF

Info

Publication number
CN112506343B
CN112506343B CN202011419901.6A CN202011419901A CN112506343B CN 112506343 B CN112506343 B CN 112506343B CN 202011419901 A CN202011419901 A CN 202011419901A CN 112506343 B CN112506343 B CN 112506343B
Authority
CN
China
Prior art keywords
specimen
module
dimensional model
model
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011419901.6A
Other languages
English (en)
Other versions
CN112506343A (zh
Inventor
李方正
张超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Agricultural University
Original Assignee
Qingdao Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Agricultural University filed Critical Qingdao Agricultural University
Priority to CN202011419901.6A priority Critical patent/CN112506343B/zh
Publication of CN112506343A publication Critical patent/CN112506343A/zh
Application granted granted Critical
Publication of CN112506343B publication Critical patent/CN112506343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于动物解剖学教学技术领域，公开了一种动物解剖学教学方法、系统、介质、计算机设备、终端，包括混合现实眼镜(MR眼镜)、动物解剖混合现实教学软件客户端和服务端；动物解剖混合现实教学软件客户端包括：标本扫描模块、渲染显示模块、交互操作模块、数据传输模块；服务器端保存用户信息，存储动物解剖学混合现实教学资源。本发明采用基于点云模型的跟踪注册技术，利用优化的算法对模型点云和实物点云配准，识别准确率高、速度快；通过渲染显示模块将三维模型的结构信息覆盖在实体标本上，并且跟随标本的移动而自动跟踪；通过服务端记录学生的学习信息，通过可视化显示，对教学效果进行评价和为混合现实教学系统的改进提供参考。

Description

动物解剖学教学方法、系统、介质、计算机设备、终端
技术领域
本发明属于动物解剖学教学技术领域，尤其涉及一种动物解剖学教学方法、系统、介质、计算机设备、终端。
背景技术
目前，学生在进行动物解剖学的学习时，需要结合教材、图谱等资料观察标本和模型。但是，目前的动物解剖学实验中标本、模型等教具上没有结构名称标注和解释，学生在自学时，先观察标本、模型然后在教材上查找模型的结构信息描述，难免会出现偏差甚至错误，不利于学生自学。因此，亟需一种新的动物解剖学教学系统。
通过上述分析，现有技术存在的问题及缺陷为：目前的动物解剖学实验中标本、模型等教具上没有结构名称标注，不利于学生学习。
解决以上问题及缺陷的难度为：动物器官形态不规则，结构复杂，目前教材和图谱只能显示器官的一个或几个角度的图像信息，所标注的解剖结构是片面和不完整的，无法显示动物器官立体结构；在解剖模型上标数字进行注释的方式可以给学生提供结构提示，但包含的信息有限；而且在动物器官上无法做标注，因此目前还没有合适的方法和教学模型能够在标本模型上显示满足学习需要的解剖结构信息。
解决以上问题及缺陷的意义为：动物标本和模型是学习动物解剖学必不可少的教具，如能在标本、模型上对器官的结构进行标注和说明，将能够加深学习者对动物器官结构的理解，极大提高学习的效率。
发明内容
针对现有技术存在的问题，本发明提供了一种动物解剖学教学方法、系统、介质、计算机设备、终端。
本发明是这样实现的，一种动物解剖学教学方法，所述动物解剖学教学方法包括：
通过标本扫描模块实时采集动物解剖学标本、模型的图像数据，作为跟踪注册目标与对应的虚拟模型信息作为先验知识进行跟踪注册，将识别结果经过传输模块发送至服务器。
通过MR眼镜的摄像头采集解剖标本的图像；通过标本扫描模块实时计算出摄像头相对于真实场景的位姿状态；
采用基于点云模型的跟踪注册技术分析标本特征，使用三维点云来表示真实环境以及要进行跟踪的对象，利用迭代最近点(ICP)算法对环境点云与模型点云进行配准，计算出相机的实时坐标以完成跟踪注册，将特征信息和标本的实时位置坐标传输至服务器；
通过交互操作模块根据标本扫描模块获取的标本信息特征将相应器官的三维模型从服务器端的混合现实教学资源中调出传输给客户端的渲染模块处理；
通过渲染显示模块利用shader编码，将交互操作模块传输的三维模型赋予材质和贴图，覆盖在实体标本上，并随着实体标本位置移动而实现模型自动跟踪；
通过交互操作模块识别用户手势可实现对三维模型进行模型显示、隐藏、结构标注等操作；
通过交互操作模块从服务器调出的三维模型进行处理，根据被扫描标本的坐标将三维模型叠加到实物标本上，通过手势控制三维模型中解剖结构的解释说明，指导学生操作和学习；
通过交互操作模块实时检测MR眼镜与被扫描标本的相对位置变化，实时调整三维模型坐标，使其与实物标本叠加；
通过渲染显示模块根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明，并通过数据传输模块将用户学习数据上传至服务器。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
通过标本扫描模块实时采集动物解剖学标本、模型的数据，通过传输模块传输至服务器；
通过MR眼镜的摄像头采集解剖标本的图像，通过标本扫描模块实时计算出摄像头相对于真实场景的位姿状态；
采用基于点云模型的跟踪注册技术分析标本特征，将特征信息和标本的实时位置坐标传输至服务器；
通过交互操作模块根据标本扫描模块获取的标本信息特征将相应器官的三维模型从服务器端的混合现实教学资源中调出并传输给客户端的渲染模块处理；
通过渲染显示模块利用shader编码，将交互操作模块传输的三维模型赋予材质和贴图，覆盖在实体标本上，并随着实体标本位置移动而实现模型自动跟踪；
通过交互操作模块识别用户手势对三维模型进行模型显示、隐藏、结构标注等操作；
通过交互操作模块将服务器调出的三维模型进行处理，根据被扫描标本的坐标将三维模型叠加到实物标本上，通过手势控制三维模型中解剖结构的解释说明，指导学生操作和学习；
通过交互操作模块实时检测MR眼镜与被扫描标本的相对位置变化，实时调整三维模型坐标，使其与实物标本叠加；
通过渲染显示模块根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明，并通过数据传输模块将用户学习数据上传至服务器。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
通过标本扫描模块实时采集动物解剖学标本、模型的数据，通过数据传输模块传输给服务器；
通过MR眼镜的摄像头采集解剖标本的图像，通过标本扫描模块实时计算出摄像头相对于真实场景的位姿状态；
采用基于点云模型的跟踪注册技术分析标本特征，将特征信息和标本的实时位置坐标传输至服务器；
通过渲染显示模块利用shader编码将交互操作模块传输的三维模型赋予材质和贴图，覆盖在实体标本上，并随着实体标本位置移动而实现模型自动跟踪；
通过渲染显示模块根据标本扫描模块获取的标本信息特征将相应器官的三维模型传输给客户端的交互操作模块处理；
通过交互操作模块识别用户手势对三维模型进行模型显示、隐藏、结构标注等操作；
通过交互操作模块将服务器调出的三维模型进行处理，根据被扫描标本的坐标将三维模型叠加到实物标本上，通过手势控制三维模型中解剖结构的解释说明，指导学生操作和学习；
通过交互操作模块实时检测MR眼镜与被扫描标本的相对位置变化，实时调整三维模型坐标，使其与实物标本叠加；
通过渲染显示模块根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明，并通过数据传输模块将用户学习数据上传至服务器。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的动物解剖学教学方法。
本发明的另一目的在于提供一种实施所述动物解剖学教学方法的动物解剖学教学系统，所述动物解剖学教学系统包括：混合现实眼镜、动物解剖混合现实教学软件客户端和服务端。
混合现实眼镜用于运行动物解剖学混合现实教学软件客户端，通过混合现实眼镜的摄像头扫描标本和检测场景变化，MR眼镜还提供三维模型显示界面，和检测手势操作信号。
动物解剖混合现实教学软件对MR眼镜摄像头获取的图像进行识别，调取相应的三维模型，赋予材质和贴图后，覆盖显示在实物标本上，对结构特征进行解释说明，并可以实现结构显示、隐藏等功能。
服务端用于存储用户信息，保存三维模型数据。
进一步，所述动物解剖混合现实教学软件客户端包括：标本扫描模块、渲染显示模块、交互操作模块、数据传输模块；
标本扫描模块，用于实时采集动物解剖学标本、模型的数据，通过传输模块传输至服务器；实时计算出摄像头相对于真实场景的位姿状态，通过MR眼镜的摄像头采集解剖标本的图像，采用基于点云模型的跟踪注册技术分析标本特征，将特征信息和标本的实时位置坐标传输至服务器；
渲染显示模块，用于通过shader编码赋予三维模型材质和贴图，将交互操作模块传输的三维模型赋予材质和贴图，覆盖在实体标本上，并能随着实体标本位置移动而实现模型自动跟踪，并根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明；
交互操作模块，用于识别用户手势对三维模型进行模型显示、隐藏、结构标注等操作；
数据传输模块，用于将用户学习数据上传至服务器。
进一步，所述混合现实教学资源包括犬、马、牛的运动系统、消化系统、呼吸系统、泌尿系统、生殖系统、心血管系统和神经系统各器官的三维模型和结构演示三维动画，每个模型都对其结构特征进行了说明注释。分离动物器官后，采用三维扫描仪对动物标本进行扫描，得到高精度模型，然后通过Blender软件进行重新布线，模型的材质贴图采用Blender软件根据动物器官真实色彩和纹理制作。
进一步，所述渲染显示模块根据标本扫描模块获取的标本信息特征将相应器官的三维模型传输给客户端的交互操作模块处理。
进一步，所述交互操作模块将服务器调出的三维模型进行处理，根据被扫描标本的坐标将三维模型叠加到实物标本上，通过手势控制三维模型中解剖结构的解释说明，指导学生操作和学习；该模块还能实时检测MR眼镜与被扫描标本的相对位置变化，实时调整三维模型坐标，使其与实物标本叠加。
进一步，所述客户端采用Unity 3D软件制作，通过C#脚本实现各模块功能；
所述动物解剖混合现实教学软件服务端用于保存用户学习数据。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的动物解剖学教学系统法，将具有结构标注的三维模型覆盖在动物标本上，并能随着标本位置移动而自动定位三维模型，学生可以通过虚拟模型的结构讲解进行标本的结构的学习。
本发明通过标本扫描模块采用基于点云模型的跟踪注册技术，点云模型由三维扫描仪扫描标本获得，利用优化的算法对模型点云和实物点云进行配准，具有识别准确率高、速度快的优点。渲染显示模块能够将三维模型的结构信息覆盖在实体标本上，并能够跟随标本的移动而自动跟踪。服务端记录学生的学习信息，对学生的学习行为特性进行分析，可以通过可视化的形式显示，对教学效果进行评价和为混合显示教学系统的改进提供参考。
附图说明
图1是本发明实施例提供的动物解剖学教学系统结构示意图；
图中：1、标本扫描模块；2、渲染显示模块；3、交互操作模块；4、数据传输模块。
图2是本发明实施例提供的动物解剖学教学系统的结构框架和原理示意图。
图3是本发明实施例提供的动物解剖学教学方法流程图。
图4是本发明实施例提供的牛胃模型混合现实教学效果图。
图5是本发明实施例提供的牛心脏塑化标本混合现实教学效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种动物解剖学教学方法、系统、介质、计算机设备、终端，下面结合附图对本发明作详细的描述。
本发明实施例提供的动物解剖学教学系统包括：混合现实眼镜、动物解剖混合现实教学软件客户端和服务端。
如图1所示，本发明实施例提供的动物解剖混合现实教学软件客户端包括：标本扫描模块1、渲染显示模块2、交互操作模块3、数据传输模块4、数据传输模块。
标本扫描模块1，用于实时采集动物解剖学标本、模型的数据，通过传输模块传输至服务器；实时计算出摄像头相对于真实场景的位姿状态，通过MR眼镜的摄像头采集解剖标本的图像，采用基于点云模型的跟踪注册技术分析标本特征，将特征信息和标本的实时位置坐标传输至服务器。
渲染显示模块2，用于通过shader编码赋予三维模型材质和贴图，将交互操作模块传输的三维模型赋予材质和贴图，覆盖在实体标本上，并能随着实体标本位置移动而实现模型自动跟踪，并根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明。
交互操作模块3，用于识别用户手势对三维模型进行显示、隐藏显示、结构标注操作。
数据传输模块4，用于将用户学习数据上传至服务器。
本发明实施例提供的混合现实教学资源包括犬、马、牛的运动系统、消化系统、呼吸系统、泌尿系统、生殖系统、心血管系统和神经系统各器官的三维模型和结构演示三维动画，每个模型都对其结构特征进行了说明注释。分离动物器官后，采用三维扫描仪对动物标本进行扫描，得到高精度模型，然后通过Blender软件进行重新布线，模型的材质贴图采用Blender软件根据动物器官真实色彩和纹理制作。
本发明实施例提供的渲染显示模块2根据标本扫描模块获取的标本信息特征将相应器官的三维模型传输给客户端的交互操作模块处理。
本发明实施例提供的交互操作模块3将服务器调出的三维模型进行处理，根据被扫描标本的坐标将三维模型叠加到实物标本上，通过手势控制三维模型中解剖结构的解释说明，指导学生操作和学习。该模块还能实时检测MR眼镜与被扫描标本的相对位置变化，实时调整三维模型坐标，使其与实物标本叠加。
本发明实施例提供的客户端采用Unity 3D软件制作，通过C#脚本实现各模块功能。
本发明实施例提供的动物解剖混合现实教学软件服务端用于保存用户学习数据。
如图3所示，本发明实施例提供的动物解剖学教学方法包括以下步骤：
S101，通过标本扫描模块实时采集动物解剖学标本、模型的数据，通过传输模块传输至服务器；
S102，通过标本扫描模块实时计算出摄像头相对于真实场景的位姿状态，通过MR眼镜的摄像头采集解剖标本的图像；
S103，采用基于点云模型的跟踪注册技术分析标本特征，将特征信息和标本的实时位置坐标传输至服务器；
S104，通过交互操作模块根据标本扫描模块获取的标本信息特征将相应器官的三维模型从服务器端的混合现实教学资源中调出并传输给客户端的渲染模块处理；
S105，通过渲染显示模块利用shader编码赋予三维模型材质和贴图，将交互操作模块传输的三维模型赋予材质和贴图，覆盖在实体标本上，并随着实体标本位置移动而实现模型自动跟踪；
S106，通过交互操作模块识别用户手势对三维模型进行显示、隐藏显示、结构标注操作；
S107，通过交互操作模块将服务器调出的三维模型进行处理，根据被扫描标本的坐标将三维模型叠加到实物标本上，通过手势控制三维模型中解剖结构的解释说明，指导学生操作和学习；
S108，通过交互操作模块实时检测MR眼镜与被扫描标本的相对位置变化，实时调整三维模型坐标，使其与实物标本叠加；
S109，通过渲染显示模块根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明，并通过数据传输模块将用户学习数据上传至服务器。
下面结合实施例对本发明的技术方案作进一步的描述。
一、具体方案
本系统包括混合现实眼镜、动物解剖混合现实教学软件客户端和服务端。客户端运行在混合现实眼镜中，主要包括标本扫描模块、渲染显示模块、交互操作模块、数据传输模块。标本扫描模块用于实时采集动物解剖学标本、模型的数据，通过数据传输模块传输至服务器；渲染模块将交互模块传输的三维模型覆盖显示在实体标本上，并能随着实体标本位置移动而实现模型自动跟踪；交互操作模块能够对通过手势对三维模型进行显示、隐藏显示、结构标注等操作。数据传输模块将用户学习数据上传至服务器。服务端用于保存用户学习数据。混合现实教学资源包括犬、马、牛等动物各器官的三维模型和结构演示三维动画。
二、结构框架和原理
本发明实施例提供的动物解剖学教学系统的结构框架和原理示意图如图2所示。
客户端采用Unity 3D软件制作，通过C#脚本实现各模块功能。
标本扫描模块：实时计算出摄像头相对于真实场景的位姿状态，通过MR眼镜的摄像头采集解剖标本的图像，采用基于点云模型的跟踪注册技术分析标本特征，将特征信息和标本的实时位置坐标传输至服务器。
混合现实教学资源存储有犬、牛、马的运动系统、消化系统、呼吸系统、泌尿系统、生殖系统、心血管系统和神经系统各器官的三维模型，每个模型都对其结构特征进行了说明注释。该模块根据扫描模块获取的标本信息特征将相应器官的三维模型传输给客户端的交互模块处理。
交互模块通过识别用户手势而进行模型操作，该模块将服务器调出的三维模型进行处理，根据被扫描标本的坐标将三维模型叠加到实物标本上，通过手势控制三维模型中解剖结构的解释说明，指导学生操作和学习。该模块还能实时检测MR眼镜与被扫描标本的相对位置变化，实时调整三维模型坐标，使其与实物标本叠加。
渲染显示模块通过shader编码赋予三维模型材质和贴图，该模块根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明。
三、解决的问题
目前的动物解剖学实验中标本、模型等教具上没有结构名称标注，学生在学习时需要结合教材、图谱等资料观察标本和模型。该方案将具有结构标注的三维模型覆盖在动物标本上，并能随着标本位置移动而自动定位三维模型，学生可以通过虚拟模型的结构讲解进行标本的学习。
四、优点
该方案标本扫描模块采用基于点云模型的跟踪注册技术，点云模型由三维扫描仪扫描标本获得，利用优化的算法对模型点云和实物点云进行配准，具有识别准确率高、速度快的优点。渲染显示模块能够将三维模型的结构信息覆盖在实体标本上，并能够跟随标本的移动而自动跟踪。服务端记录学生的学习信息，对学生的学习行为特性进行分析，可以通过可视化的形式显示，对教学效果进行评价和为混合显示教学系统的改进提供参考。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种动物解剖学教学方法，其特征在于，所述动物解剖学教学方法包括：
通过标本扫描模块实时采集动物解剖学标本、模型的数据，通过数据传输模块传输至服务器；
通过混合现实眼镜或MR眼镜的摄像头采集解剖标本的图像；通过标本扫描模块实时计算出摄像头相对于现实场景的位姿状态，通过数据传输模块发送至服务器；
采用基于点云模型的跟踪注册技术对现实场景中的物体进行跟踪与定位，将特征信息和标本的实时位置坐标传输至服务器；
通过交互操作模块根据标本扫描模块获取的标本信息特征将相应器官的三维模型从服务器端的混合现实教学资源中调出并传输给客户端的渲染模块处理；
通过渲染显示模块利用shader编码将交互操作模块传输的三维模型赋予材质和贴图，覆盖在实体标本上，并随着实体标本位置移动而实现模型自动跟踪；
通过交互操作模块识别用户手势对三维模型进行模型显示、隐藏、结构标注操作；
通过交互操作模块将服务器调出的三维模型进行处理，根据被扫描标本的坐标将三维模型叠加到实物标本上，通过手势控制三维模型中解剖结构的解释说明，指导学生操作和学习；
通过交互操作模块实时检测MR眼镜与被扫描标本的相对位置变化，实时调整三维模型坐标，使其与实物标本叠加；
通过渲染显示模块根据交互操作模块反馈的信息而显示相应的三维模型结构和注释说明，并通过数据传输模块将用户学习数据上传至服务器；存储器存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
通过标本扫描模块实时采集动物解剖学标本、模型的数据，通过数据传输模块传输至服务器；
通过MR眼镜的摄像头采集解剖标本的图像，通过标本扫描模块实时计算出摄像头相对于现实场景的位姿状态；
采用基于点云模型的跟踪注册技术分析标本特征，将特征信息和标本的实时位置坐标传输至服务器；
通过交互操作模块根据标本扫描模块获取的标本信息特征将相应器官的三维模型从服务器端的混合现实教学资源中调出并传输给客户端的渲染模块处理；
通过渲染显示模块利用shader编码将交互操作模块传输的三维模型赋予材质和贴图，覆盖在实体标本上，并随着实体标本位置移动而实现模型自动跟踪；
通过交互操作模块识别用户手势对三维模型进行模型显示、隐藏、结构标注等操作；
通过交互操作模块将服务器调出的三维模型进行处理，根据被扫描标本的坐标将三维模型叠加到实物标本上，通过手势控制三维模型中解剖结构的解释说明，指导学生操作和学习；
通过交互操作模块实时检测MR眼镜与被扫描标本的相对位置变化，实时调整三维模型坐标，使其与实物标本叠加；
通过渲染显示模块根据交互模型模块反馈的信息而显示相应的三维模型结构和注释说明，并通过数据传输模块将用户学习数据上传至服务器。
2.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
通过标本扫描模块实时采集动物解剖学标本、模型的数据，通过数据传输模块传输至服务器；
通过MR眼镜的摄像头采集解剖标本的图像，通过标本扫描模块实时计算出摄像头相对于真实场景的位姿状态；
采用基于点云模型的跟踪注册技术分析标本特征，将特征信息和标本的实时位置坐标传输至服务器；
通过交互操作模块根据标本扫描模块获取的标本信息特征将相应器官的三维模型从服务器端的混合现实教学资源中调出并传输给客户端的渲染模块处理；通过渲染显示模块利用shader编码将交互操作模块传输的三维模型赋予材质和贴图，覆盖在实体标本上，并随着实体标本位置移动而实现模型自动跟踪；
通过交互操作模块识别用户手势对三维模型进行模型显示、隐藏、结构标注操作；
通过交互操作模块对从服务器调出的三维模型进行处理，根据被扫描标本的坐标将三维模型叠加到实物标本上，通过手势控制三维模型中解剖结构的解释说明，指导学生操作和学习；
通过交互操作模块实时检测MR眼镜与被扫描标本的相对位置变化，实时调整三维模型坐标，使其与实物标本叠加；
通过渲染显示模块根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明，并通过数据传输模块将用户学习数据上传至服务器。
3.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现权利要求1所述的动物解剖学教学方法。
4.一种实施权利要求1所述动物解剖学教学方法的动物解剖学教学系统，其特征在于，所述动物解剖学教学系统包括：混合现实眼镜、动物解剖混合现实教学软件客户端和服务端。
5.如权利要求4所述的动物解剖学教学系统，其特征在于，所述动物解剖混合现实教学软件客户端包括：标本扫描模块、渲染显示模块、交互操作模块、数据传输模块；
标本扫描模块，用于实时采集动物解剖学标本、模型的数据，通过数据传输模块传输至服务器；通过MR眼镜的摄像头采集解剖标本的图像，实时计算出摄像头相对于真实场景的位姿状态；采用基于点云模型的跟踪注册技术分析标本特征，将特征信息和标本的实时位置坐标传输至服务器；
交互操作模块，根据标本扫描模块获取的标本信息特征将相应器官的三维模型从服务器端的混合现实教学资源中调出并传输给客户端的渲染模块处理；
渲染显示模块，通过shader编码赋予三维模型材质和贴图，将交互操作模块传输的三维模型赋予材质和贴图，覆盖在实体标本上，并能随着实体标本位置移动而实现模型自动跟踪，并根据交互模型模块反馈的信息而显示相应的虚拟模型结构和注释说明；
交互操作模块，用于识别用户手势对三维模型进行模型显示、隐藏、结构标注操作；
数据传输模块，用于将用户学习数据上传至服务器。
6.如权利要求5所述的动物解剖学教学系统，其特征在于，所述混合现实教学资源包括犬、马、牛的运动系统、消化系统、呼吸系统、泌尿系统、生殖系统、心血管系统和神经系统各器官的三维模型和结构演示三维动画，每个模型都对其结构特征进行了说明注释；解剖分离动物器官后，三维扫描仪对动物标本进行扫描，得到高精度模型，然后通过Blender软件进行重新布线，模型的材质贴图采用Blender软件根据动物器官真实色彩和纹理制作。
7.如权利要求5所述的动物解剖学教学系统，其特征在于，所述交互操作模块根据标本扫描模块获取的标本信息特征和三维坐标，将信息通过传输模块传输至服务器。
8.如权利要求5所述的动物解剖学教学系统，其特征在于，所述交互操作模块将服务器调出的三维模型进行处理，根据被扫描标本的坐标通过渲染模块将三维模型叠加到实物标本上，通过手势控制三维模型中解剖结构的解释说明，指导学生操作和学习；该交互操作模块还能实时检测MR眼镜与被扫描标本的相对位置变化，实时调整三维模型坐标，使其与实物标本叠加。
9.如权利要求4所述的动物解剖学教学系统，其特征在于，所述客户端采用Unity 3D软件制作，通过C#脚本实现各模块功能；
所述动物解剖混合现实教学软件服务端用于保存用户学习数据。
CN202011419901.6A 2020-12-07 2020-12-07 动物解剖学教学方法、系统、介质、计算机设备、终端 Active CN112506343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011419901.6A CN112506343B (zh) 2020-12-07 2020-12-07 动物解剖学教学方法、系统、介质、计算机设备、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011419901.6A CN112506343B (zh) 2020-12-07 2020-12-07 动物解剖学教学方法、系统、介质、计算机设备、终端

Publications (2)

Publication Number Publication Date
CN112506343A CN112506343A (zh) 2021-03-16
CN112506343B true CN112506343B (zh) 2022-07-12

Family

ID=74971181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011419901.6A Active CN112506343B (zh) 2020-12-07 2020-12-07 动物解剖学教学方法、系统、介质、计算机设备、终端

Country Status (1)

Country Link
CN (1) CN112506343B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107689186A (zh) * 2016-08-03 2018-02-13 天津慧医谷科技有限公司 三维人体虚拟解剖台
CN110136522A (zh) * 2019-05-07 2019-08-16 艾瑞迈迪科技石家庄有限公司 颅底手术模拟教学培训系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015212806A1 (de) * 2015-07-08 2017-01-12 Sirona Dental Systems Gmbh System und Verfahren zum Scannen von anatomischen Strukturen und zum Darstellen eines Scanergebnisses
US10657838B2 (en) * 2017-03-15 2020-05-19 International Business Machines Corporation System and method to teach and evaluate image grading performance using prior learned expert knowledge base
CN110174952A (zh) * 2019-06-04 2019-08-27 国网山东省电力公司烟台供电公司 一种基于增强现实技术的策划管理系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107689186A (zh) * 2016-08-03 2018-02-13 天津慧医谷科技有限公司 三维人体虚拟解剖台
CN110136522A (zh) * 2019-05-07 2019-08-16 艾瑞迈迪科技石家庄有限公司 颅底手术模拟教学培训系统

Also Published As

Publication number Publication date
CN112506343A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN107223246B (zh) 图像标注方法、装置及电子设备
CN112258504A (zh) 一种图像检测方法、设备及计算机可读存储介质
CN111242962A (zh) 远程培训视频的生成方法、装置、设备及存储介质
CN108839016B (zh) 机器人巡检方法、存储介质、计算机设备及巡检机器人
Chalhoub et al. Augmented reality to enable users to identify deviations for model reconciliation
CN109542373A (zh) 将低分辨率数据的特征应用到对应的高分辨率数据
CN111695497B (zh) 基于运动信息的行人识别方法、介质、终端和装置
CN112925470B (zh) 交互式电子白板的触摸控制方法、系统和可读介质
CN112506343B (zh) 动物解剖学教学方法、系统、介质、计算机设备、终端
CN112732075B (zh) 一种面向教学实验的虚实融合机器教师教学方法及系统
CN117119990A (zh) 用于捕获、显示和操控医学图像和视频的系统和方法
CN113269781A (zh) 数据生成方法、装置及电子设备
Chen et al. A quick development toolkit for augmented reality visualization (QDARV) of a Factory
Kiyokawa et al. Efficient collection and automatic annotation of real-world object images by taking advantage of post-diminished multiple visual markers
US11551379B2 (en) Learning template representation libraries
Apud Baca et al. Automated Data Annotation for 6-DoF AI-Based Navigation Algorithm Development
Cao et al. A novel augmented reality guidance system for future informatization experimental teaching
CN110874830A (zh) 图像处理的方法、装置和设备
US20240077997A1 (en) System and method for diagnosis and analysis of medical images
CN114625343A (zh) 数据生成方法及装置
CN115362480A (zh) 用于以数字方式采集建筑的空间的方法和装置
CN111753814B (zh) 样本生成方法、装置及设备
US20240046626A1 (en) Drone-based Vegetation Assessment
Rachel et al. Edsys: A Smart Campus Management System
Sun et al. Caged Monkey Dataset: A New Benchmark for Caged Monkey Pose Estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant