CN114373050A - 一种基于HoloLens的化学实验教学系统及方法 - Google Patents

一种基于HoloLens的化学实验教学系统及方法 Download PDF

Info

Publication number
CN114373050A
CN114373050A CN202210016974.3A CN202210016974A CN114373050A CN 114373050 A CN114373050 A CN 114373050A CN 202210016974 A CN202210016974 A CN 202210016974A CN 114373050 A CN114373050 A CN 114373050A
Authority
CN
China
Prior art keywords
experiment
module
hololens
experimental
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210016974.3A
Other languages
English (en)
Inventor
李红波
李琪航
王利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202210016974.3A priority Critical patent/CN114373050A/zh
Publication of CN114373050A publication Critical patent/CN114373050A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及混合现实领域，公开了一种基于HoloLens的化学实验教学系统，包括实验示范模块、实验材料模型库、实验反应模型库、目标识别模块、三维注册模块、实验模块和信息提示模块，本发明还公开了一种基于HoloLens的化学实验教学方法。本发明实现了化学实验教学功能，先对实验材料以及实验反应进行建模，选择实验后，通过目标识别识别出实验容器，将实验材料三维注册到实验容器中，同时信息提示功能，根据信息提示进行实验操作，利用Hololens的实时交互功能，为老师学生提供混合现实实验教学服务。

Description

一种基于HoloLens的化学实验教学系统及方法
技术领域
本发明涉及混合现实领域，具体涉及一种基于HoloLens的化学实验教学系统及方法。
背景技术
混合现实技术是由虚拟现实技术进一步发展而来。混合现实在真实的场景中通过数字环 境呈现虚拟的场景及信息，为用户在真实世界与虚拟世界之间搭建可交互、可反馈的信息传 播回路。混合现实最早应用在军事领域，随着近些年的不断发展，现在已经广泛地应用到更 多的领域。而在教育领域，传统的教育方式比较单一，学生的知识大多都是通过老师的讲解 和阅读书籍的途径获得。但是遇到实验性知识时，这种教学方式就显得有点枯燥且不够直观。 当传统教育遇到混合现实技术，这些将再也不是难题。混合现实技术的运用可以让学生更有 趣味性的获取知识，让学生可以自己动手做实验，更加直观的学习其中的原理。
Microsoft HoloLens是微软公司于2015年发布的一款混合现实头戴式显示器，是混合 现实领域中具有代表性的设备之一。HoloLens不仅能混合物理和数字内容，同时将手解放， 通过凝视(Gaze)、手势(Gesture)以及语音(Voice)等交互方式能让用户与3D数字内容进 行实时交互。
目前，HoloLens被认为是最好的增强现实设备，硬件技术相对成熟，是可穿戴增强现实 的设备首选。将HoloLens应用于实验类教学课程上，能给学生创造一个更生动、更有趣的学 习场景，例如，在进行化学实验教学的时候，通过HoloLens可以在相对安全的环境下又很生 动地进行实验。
但是，在进行化学实验教学的时候，需要化学反应实时性高，这样才能体现真正的化学 反应，而目前利用HoloLens进行目标识别的反应速度，远远达不到化学实验的反应需求速度。
发明内容
本发明提供一种基于HoloLens的化学实验教学系统及方法，以提高HoloLens进行目标 识别的反应速度。
本发明通过下述技术方案实现：
一种基于HoloLens的化学实验教学系统，包括实验示范模块、实验材料模型库、实验反 应模型库、目标识别模块、三维注册模块、实验模块和信息提示模块，其中，
所述实验示范模块：用于存储进行化学实验操作的教学视频，在教学视频中对化学实验 原理进行讲解；
所述实验材料模型库：用于存储虚拟材料模型，所述虚拟材料模型由对需要进行化学实 验操作的实验材料进行建模然后导入3D模拟软件(Unity3D)中构建而成；
所述实验反应模型库：用于存储虚拟反应模型，所述虚拟反应模型由对进行化学实验所 产生的化学反应的动画进行建模然后导入3D模拟软件(Unity3D)中构建而成；
所述目标识别模块：基于HoloLens通过改进的YOLOv3-Fast目标识别算法来检测和识别 现实容器，将识别的所述现实容器作为教学系统中的化学实验容器进行使用；
所述三维注册模块：用于使用HoloLens将所述实验材料模型库中的虚拟材料注册到所述 现实容器中；
所述实验模块：调用实验反应模型库中的实验反应模块，用于通过HoloLens的凝视、手 势、语音完成虚拟的化学实验操作及交互；
所述信息提示模块：用于发出信息提示，提示化学实验操作过程中的相关信息。
在本技术方案中，实验示范模块为独立模块，用作存储教学操作视频；实验材料模型库 和实验反应模型库中为基于化学反应将实验材料模型库中的实验材料模型与实验反应模型库 中的实验反应模型建立对应关系；三维注册模块根据选择的化学实验调用实验材料模型库中 的实验材料模型，将该实验材料模型注册到目标识别模块识别出来的容器中；实验模块为在 进行具体的化学反应过程中所调用到的模块，实验模块需要调用到实验反应模型库中的实验 反应模型。
作为优化，所述识别模块关于基于HoloLens通过改进的YOLOv3-Fast目标识别算法来检 测和识别现实容器的具体内容包括：使用YOLOV3结构对现实容器进行训练的同时，利用 SlimNet网络代替YOLOv3结构中的Daeknet-53网络，所述SlimNet网络通过小卷积滤波器 conv3和conv4提取特征图；同时，在所述SlimNet网络中再添加一个3×3小卷积滤波器conv5 使所述SlimNet网络能够从训练数据中提取更多的小信息。
这样，基于YOLOv3结构，提出一种轻量级网络SlimNet作为骨干网络，替代YOLOv3中 的Daeknet-53网络；SlimNet由非常小的卷积滤波器构成，它由13个卷积层和三个全连接 层组成，SlimNet网络主要是一个深度卷积神经网络，对于提取特征图，主要贡献来自conv3 和conv4，conv3和conv4的特征图大小相同，提供网络高级特征图；并且在SlimNet网络 中添加了一个额外的3×3小卷积滤波器conv5使其从训练数据中提取更多的小信息。
作为优化，在所述SlimNet网络中添加辅助网络，所述小卷积滤波器conv5的输出数据 传递到所述辅助网络，其中，所述辅助网络包括1×1卷积层和3×3卷积层，所述1×1卷积 层通过信息瓶颈方法，对所述输出数据进行非线性函数的拟合，然后再进行压缩，将压缩后 的所述输出数据传递给所述3×3卷积层，所述3×3卷积层用以再次扩展被压缩的所述输出 数据。
作为优化，改进的YOLOv3-Fast目标识别算法来检测和识别现实容器的具体步骤包括：
输入现实容器的图像，并将输入的图像栅格化为N×N个网格；
假设图像中的现实容器为目标对象，所述目标对象由若干提取到的特征像素组成，所述 特征像素的中心为目标中心，所述目标中心位于各自对应的网格中；
使用SlimNet网络作为骨干网对图像中的现实容器进行特征像素的提取，并在所述 SlimNet网络上嫁接两种分辨率检测网络，以提高目标对象检测的精确度；
通过所述目标中心所在的网格对所述图像的目标位置进行预测；
这样，目标识别模块中的图片的目标对象(需要进行化学实验的现实容器)由一些特征 像素组成，这些特征像素的中心位于特定的网格的某一范围内。目标识别模块接收到需要进 行识别的信息后，在网格周围搜索一定范围内所有满意的目标对象，特征像素可以在进行多 次训练之后找到一个精确的搜索范围，这个搜索范围大于目标中心的坐标位置的变化，并且 目标中心的坐标位置在其对应的网格的范围内。这种方法极大地限制了目标识别模块在图像 检测中的无用性，只需对图像进行一次扫描就可以推断出图像中所有物体的位置信息和类别。 在改进的Yolov3网络结构中，使用SlimNet作为骨干网进行特征提取，并在其上嫁接两种分 辨率检测网络。SlimNet提取的特征可用于进一步检测每个网格单元中的目标，两种分辨率 包括但不限于为13×13和26×26，分辨率越大，小目标检测精度越高。
同时，YOLOv3-Fast的损失函数如下，其中边界预测框采用均方误差损失函数，如下式 所示：
Figure BDA0003460042600000031
其中，每张图像被分成N×N个网格，每个网格负责B个锚框，
Figure BDA0003460042600000032
指第i个网格的第j个锚框是否对该目标对象负责，如果负责，则
Figure BDA0003460042600000033
为1，否则
Figure BDA0003460042600000034
为0；N为将图像划分的网格数，i表示当前的网格，j表示当前的锚框；tx、ty、tw、th分别表示当前网格的坐标x、y 以及宽和高的值，tx′、ty′、tw′、th′分别表示当前锚框的坐标x、y以及宽和高的值。
YOLOv3-Fast对象类别概率的损失函数如下式所示：
Figure BDA0003460042600000035
其中，公式中的c是指置信度，一个边界框包含某个物体的可能性大小以及位置的准确 性，ci′表示当前锚框的置信度，ci表示当前网格的置信度；
YOLOv3-Fast的总损失函数为：
Lloss＝Lbox+Lclass。
作为优化，所述三维注册模块使用HoloLens将所述实验材料模型库中的虚拟材料注册到 所述现实容器所使用的方法为基于均匀化关键点的RGB-D半稠密直接法，具体包括如下步骤：
应用四叉树均匀化虚拟材料的关键点的提取：将平面(即虚拟材料图像)划分为四个象 限，各个象限按逆时针排列，多个对象(即虚拟材料图像的像素点)被不断添加进四叉树中 时，根据对象的数量判断象限是否需要进行进一步地分割，每个对象根据它在二维空间中的 位置，只能被放入到这些子象限中的某一个。当整个子区域只有一个对象时，象限不再分割。
利用半稠密直接法对均匀化后的虚拟材料的相机位姿进行估计；
结合基于视觉词袋的闭环检测方法，抑制误差累积对摄像机(即HoloLens设备)位姿估 计的影响，使HoloLens三维注册更为精准。
累计误差是指，在HoloLens的三维注册中，前端视觉里程计只估计两个图像间的运动情 况，而每次估计由于传感器的噪声存在，都会不可避免带有一定的误差，因此先前时刻的误 差将会传递到下一时刻，导致经过一段时间之后，估计的相机轨迹将不再准确，造成虚拟物 体在现实中的注册出现漂移。结合基于视觉词袋的闭环检测方法的具体步骤为：将图像中的 某个信息特征视作一个独立的单词，各单词间没有直接联系，图像中所有出现过的特征所组 成的集合视作一个词典，或者更形象表达为一个装着单词的袋子，即词袋。利用这种方法可 以对视频流中各个图像提取特征，之后对于相机运行过程中的每帧图像计算其特征，比较两 个关键帧图像间单词出现的情况，当两幅图像的视觉单词特征大于某个阈值时即判定两个图 像相似，形成闭环。
作为优化，利用半稠密直接法对虚拟材料的相机位姿进行估计的具体步骤为：
通过基于稀疏模型的图像对齐方式对均匀化后的虚拟材料图像进行姿态初始化，产生虚 拟材料的2D坐标的重投影误差；
通过后一帧与前一帧之间的灰度值最小化时(即当前帧与上一帧之间的灰度值差异最小 (这里的最小是指，小于某设定阈值即可，阈值由技术人员设定))找到虚拟材料的同一个 3D点的投影位置的像素在前一帧和后一帧之间的光度误差，以通过后一帧的虚拟材料图像找 到前一帧的虚拟材料图像的相机姿态；
通过最小化找到重投影点的虚拟材料的2D坐标，所述虚拟材料的2D坐标通过相应特征 块进行对齐细化，所述虚拟材料的3D点和2D坐标一一映射；
对虚拟材料的2D坐标的重投影误差进行运动估计来改进虚拟材料图像的姿势和结构。在3D点和2D特征的映射线程中，初始化需要估计相应3D点的2D坐标(特征)的深度过滤器。 每次在没有3D点对应2D坐标的区域中选择新的关键帧时，就初始化新的深度过滤器。当深 度过滤器的不确定性变得足够小时(减小深度过滤器的不确定性具体过程为：首先根据两帧 的位姿计算当前帧上的极线搜索范围，在要搜算的极线段上通过对比算法获得最佳的匹配位 置，然后通过得到的最佳匹配点(匹配位置)计算深度值，把该深度值作为观测进行滤波器 的迭代，之后通过迭代使用上述步骤使得深度值不断的收敛，直到得到的方差小于设定的阈 值，则认为该深度收敛，即深度过滤器的不确定性变得足够小)，一个新的3D点被插入到图 像中并立即用于运动估计。
一种基于HoloLens的化学实验教学方法，使用上述的化学实验教学系统，包括如下步骤：
步骤1：通过建模软件对化学实验进行建模，并将建好的模型导入3D模拟软件中创建实 验材料模型库和实验反应模型库；
步骤2：在3D模拟软件中设定每个实验与实验材料模型库以及实验反应模型库中的对应 关系；
步骤3：建立目标识别模块，使用HoloLens通过改进的YOLOv3-Fast目标识别算法来 检测和识别现实容器，将识别的现实容器作为教学系统中的化学实验容器进行使用；
步骤4：建立三维注册模块，并调用所述三维注册模块将所述实验材料模型中的虚拟的 实验材料注册到现实容器中；
步骤5：调用实验模块进行实验交互；
步骤6：根据实验信息，在实验结束后提示实验结果，同时保存实验视频。
作为优化，步骤1中，还包括在所述实验材料模型库添加相关的实验材料。
作为优化，步骤4中，建立三维注册模块是在直接法SLAM基础上，将直接法与特征法进 行融合，使虚拟的实验材料在现实容器上的三维注册更为精准。
作为优化，所述直接法与特征法进行融合为：基于均匀化关键点的RGB-D半稠密直接法， 具体步骤包括：
应用四叉树均匀化虚拟材料的关键点的提取；
利用半稠密直接法对虚拟材料的相机位姿进行估计；
结合基于视觉词袋的闭环检测方法，抑制误差累积对摄像机位姿估计的影响，使HoloLens 三维注册更为精准。
本发明与现有技术相比，具有如下的优点和有益效果：
1.本发明实现了化学实验教学功能，先对实验材料以及实验反应进行建模，选择实验后， 通过目标识别识别出实验容器，将实验材料三维注册到实验容器中，同时信息提示功能，根 据信息提示进行实验操作，利用Hololens的实时交互功能，为老师学生提供混合现实实验教 学服务；
2.本发明将YOLO等相关目标识别算法以及SLAM三维注册算法应用到HoloLens中，使目 标识别和三维注册的实时性和准确性可以在化学实验教学系统中得以保证；
3.本教学系统基于HoloLens平台，是一个独立运算设备的应用，它摆脱了线缆等空间限 制，可以实现多人协作交互；
4.现有的MR化学教学系统形式较为单一，缺少了学生动手的环节，而化学是一门以实验 为基础的学科，并且传统的化学实验在进行教学时需要准备大量的试剂和仪器，实验结束后 也会产生大量的副产品和废液，本发明既可以让学生在动手中学习又可以减少环境污染；
5.本发明将目标识别方法应用到HoloLens中十分有限，在相关的目标识别算法中其中 YOLOv3由于其识别精度高而被人熟知，但是HoloLens要求识别实时性较高，而YOLOv3中采 用的Daeknet-53网络层数较多处理速度较慢，因此本发明提出的轻量级网络SlimNet可以使 改进的YOLOv3-Fast达到HoloLens识别的实时性，同时本发明提出的YOLOv3-Fast的损失函 数可以让该目标识别方法进一步减少精度损失。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的 附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是 对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据 这些附图获得其他相关的附图。在附图中：
图1是本发明提供优选实施例基于HoloLens的化学实验教学系统总体功能交互图；
图2为基于HoloLens的化学实验教学系统总体设计框架图；
图3为提出的SlimNet网络的架构；
图4为SlimNet中辅助网络AuxiliaryNet网络架构；
图5为改进YOLOv3算法的YOLOv3-Fast架构；
图6为目标识别模块的开发框架。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明 作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本 发明的限定。
实施例1
一种基于HoloLens的化学实验教学系统，包括实验示范模块、实验材料模型库、实验反 应模型库、目标识别模块、三维注册模块、实验模块和信息提示模块，其中，
所述实验示范模块：用于存储进行化学实验操作的教学视频，在教学视频中对化学实验 原理进行讲解；
所述实验材料模型库：用于存储虚拟材料模型，所述虚拟材料模型由对需要进行化学实 验操作的实验材料进行建模然后导入3D模拟软件(Unity3D)中构建而成；
所述实验反应模型库：用于存储虚拟反应模型，所述虚拟反应模型由对进行化学实验所 产生的化学反应的动画进行建模然后导入3D模拟软件(Unity3D)中构建而成；
所述目标识别模块：基于HoloLens通过改进的YOLOv3-Fast目标识别算法来检测和识别 现实容器，将识别的所述现实容器作为教学系统中的化学实验容器进行使用；
所述三维注册模块：用于使用HoloLens将所述实验材料模型库中的虚拟材料注册到所述 现实容器中；
所述实验模块：调用实验反应模型库中的实验反应模块，用于通过HoloLens的凝视、手 势、语音完成虚拟的化学实验操作及交互；
所述信息提示模块：用于发出信息提示，提示化学实验操作过程中的相关信息。
在本技术方案中，实验示范模块为独立模块，用作存储教学操作视频；实验材料模型库 和实验反应模型库中为基于化学反应将实验材料模型库中的实验材料模型与实验反应模型库 中的实验反应模型建立对应关系；三维注册模块根据选择的化学实验调用实验材料模型库中 的实验材料模型，将该实验材料模型注册到目标识别模块识别出来的容器中；实验模块为在 进行具体的化学反应过程中所调用到的模块，实验模块需要调用到实验反应模型库中的实验 反应模型。
该教学系统主要实现两大功能：其一是实验容器识别功能，使用HoloLens通过目标识别 模块将现实中的容器识别出来直接作为教学系统中的化学实验容器进行使用，其二是将虚拟 实验材料进行三维注册以及实现虚拟实验操作交互功能，有些化学实验的原材料比较昂贵且 实验过程可能存在一定的安全隐患，可以通过HoloLens的凝视、手势、语音完成虚拟的化学 实验操作。
本发明还提供了一种基于HoloLens的化学实验教学方法，使用上述的化学实验教学系统， 包括如下步骤：
S1：通过建模软件对化学实验进行建模，并将建好的模型导入3D模拟软件中创建实验材 料模型库和实验反应模型库；具体的，将要进行教学的化学实验视频导入到实验示范模块中， 并用Unity3D软件构建实验材料3D模型和实验反应动画，将实验材料3D模型和实验反应动 画分别导入到实验材料模型库和实验反应模型库中；
S2：调用信息提示模块，利用HoloLens的凝视和手势交互提示用户选择一个化学实验， 将其选择的实验载入实验模块；
S3：利用HoloLens的深度摄像头采集环境图像信息，并利用目标识别模块识别出实验容 器；
S4:根据步骤S2选择的化学实验，从实验材料模型库中将该实验的原材料利用三维注册 方法注册到步骤S3中的实验容器中；
S5:根据步骤S2选择的化学实验以及S4中材料的计量调用实验反应模型库中对应的实验 反应动画，并在相应的化学实验的反应时间后调用信息提示模块提示实验成功或者失败的结 果，同时保存此次的实验视频。
本实施例中，为提高HoloLens在识别实验容器准确率和实时率，在S3中，用于目标识 别的算法是采用通过改进的YOLOv3-Fast目标识别算法。
本实施例中，为提高HoloLens在将虚拟实验材料注册到真实容器中的准确率，在S4中， 用于三维注册的方法是基于RGB-D SLAM的结合直接法与特征法的三维注册方法。
下面对本发明的应用原理和实施方式作进一步描述。
图2展示了教学系统的整体设计框架，主要步骤如下。
1.首先先选定指定的化学实验，通过建模软件3d Max对相关实验材料进行建模，建模 时应注意化学实验材料的颜色、质地等都应与现实中的材料相符，并将建好的实验材料模型 导入Unity 3D中创建实验材料模型库，该模型库用于进行化学实验时三维注册于容器中；再 根据化学实验利用多种化学实验材料制作化学反应动画，并将化学反应动画导入Unity 3D中 创建实验反应模型库，该实验反应模型库用于进行化学实验反应时的交互展示。
Unity 3D是由Unity Technologies开发的一个创建诸如三维视频游戏、建筑可视化、 实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业游戏 引擎。Unity编辑器可运行在Windows下，其项目可发布至Windows平台。而其中的HoloToolkit-Unity项目是微软官方的开源项目，用于帮助开发者快速开发HoloLens应用，能够快速为项目集成基本输入、空间映射和场景匹配等特性。
2.在Unity 3D中设定每个实验与实验材料模型库以及实验反应模型库中的对应关系， 并将所有的实验制成实验列表供用户选择。
3.编写目标识别模块，该目标识别模块的开发主要是通过client-server(客户端-服 务器)来交互连接的，客户端即HoloLens。
在服务器端，本发明提出一种改进YOLOv3算法的YOLOv3-Fast来检测和识别对象。YOLOv3 采用DarkNet-53网络框架，并且在DarkNet-53层上又堆叠了53个层。因此，YOLOv3架构 有106层全卷积，架构规模的增加导致YOLOv3的速度变慢。基于YOLOv3结构，本发明提出 一种轻量级网络SlimNet作为骨干网络，替代YOLOv3中的Daeknet-53网络。SlimNet由非常小的卷积滤波器构成，它由13个卷积层和三个全连接层组成。SlimNet网络主要是一个深度卷积神经网络，其设计考虑了适当的层深度设置，不会增加网络的复杂度。图3显示了SlimNet网络的架构。其中对于提取特征图，主要贡献来自conv3和conv4，conv3和conv4 的特征图大小相同，提供网络高级特征图。并且在SlimNet网络中添加了一个额外的3×3小卷积滤波器(conv5)使其从训练数据中提取更多的小信息。除此之外，在SlimNet网络中还添 加了一些额外的辅助网络来提高准确性，conv5的输出传递到辅助网络。辅助网络的架构如 图4所示，辅助网络组装了1×1和3×3卷积层。为了最小化使用的计算成本，1×1卷积层 通过瓶颈方法压缩数据，然后输出传递给3×3卷积神经网络再次扩展数据。通过瓶颈方法压 缩数据即对所述输出数据进行非线性函数的拟合，然后再进行压缩。
SlimNet网络主要使用深度卷积，可以替代Darknet-53中使用的标准卷积，大大减少了 骨干网络中的部分卷积运算，大大降低了整个网络的整体计算量。在改进后的YOLOv3网络架 构中，以SlimNet作为骨干网络提取特征，然后在其上增加两种分辨率检测网络。SlimNet 提取的特征可用于进一步检测每个网格单元中的目标。两种分辨率分别为13*13、26*26，当 然，也可以使用其它分别率。分辨率越大，小目标检测精度越高，YOLOv3-Fast的主要框架 如图5所示。
具体的，以SlimNet作为骨干网络对图像中的现实容器进行特征像素，首先进行一次卷 积核大小为3X3、步长为2的卷积，该卷积会压缩输入进来的特征层的宽和高，获得一个特 征层，该特征层的shape为(13,13,1024)，然后，再对该特征层进行一次1X1的卷积和一次 3X3的卷积，并把两次卷积后得到的结果加上第一次获得的特征层，便构成了残差结构，通 过不断的1X1卷积和3X3卷积以及残差边的叠加，一共可以提取到三个特征层。
在所述SlimNet网络上嫁接两种分辨率检测网络，以提高目标对象检测的精确度，具体 为：将13x13x1024的特征层进行5次卷积处理，处理完后利用YoloHead(YoloHead即利用 2层卷积操作输出我们想要尺寸的tensor，也是网络原始输出)获得预测结果，一部分(其 余部分作为13x13x1024的特征层保留下来)用于进行上采样后与26x26x512特征层进行结合， 结合特征层的shape为(26,26,255)，再将结合特征层再次进行5次卷积处理，处理完后利用 YoloHead获得预测结果，一部分用于进行上采样后与52x52x256特征层进行结合，结合特征 层的shape为(52,52,255)。
通过所述目标中心所在的网格对所述图像的目标位置进行预测，具体为：
每一个有效特征层将整个图片分成与其长宽对应的网格，如(13,13,255)的特征层就是将 整个图像分成13x13个网格；然后从每个网格中心建立多个先验框，这些框是网络预先设定 好的框，网络的预测结果会判断这些框内是否包含物体，以及这个物体的种类。由于每一个 网格点都具有三个先验框(多少个是自己设定的)，所以上面得到的两个特征层预测结果可以 reshape为(26,26,3,85)，(52,52,3,85)，其中的85可以拆分为4+1+80，其中的4代表先验 框的调整参数(坐标值x_offset,y_offset和宽高w,h)1代表先验框内是否包含物体，80 代表的是这个先验框的种类。然后先将每个网格点加上它对应的x_offset和y_offset，加 完后的结果就是预测框的中心，再利用先验框和h、w结合计算出预测框的宽高，这样就能得 到整个预测框的位置了。
同时参考YOLO的损失函数思想，YOLOv3-Fast的损失函数如下。其中边界预测框(bounding box)采用均方误差损失函数，如下式所示：
Figure BDA0003460042600000101
其中，每张图片被分成N×N个网格，每个网格负责B个锚框(anchor boxes)，
Figure BDA0003460042600000102
指第 i个网格的第j个锚框是否对该对象负责，如果负责，则
Figure BDA0003460042600000103
为1，否则
Figure BDA0003460042600000104
为0。
YOLOv3-Fast对象类别概率的损失函数如下式所示：
Figure BDA0003460042600000105
其中公式中的C是指置信度(confidence)，一个边界框包含某个物体的可能性大小以及 位置的准确性。
YOLOv3-Fast的总损失函数为：
Lloss＝Lbox+Lclass
如图6所示，将开发好的目标识别模块发布到HoloLens中，通过添加服务器的处理文件 从客户端接收数据，并将这些接收的数据作为YOLOv3-Fast算法的输入数据。HoloLens能够 使用服务器的IP地址进行连接，在这种情况下，服务器接收分辨率为896×504的常规的RGB 帧以执行对象检测，接着启动一定数量的YOLOv3-Fast网络来处理收到的帧数据，并将计算 结果提供给客户端，当客户端收到这些计算结果时，用户可以实时查看HoloLens以对所有细 节的对象进行检测。
通过将改进的YOLOv3-Fast算法应用到HoloLens中以达到能够实时检测到用于实验的容 器对象。
4.编写三维注册模块，目前基于RGB-D SLAM三维注册算法有基于特征点的视觉SLAM方 法和直接法SLAM，本发明在直接法SLAM基础上，提出一种基于均匀化关键点的RGB-D半稠 密直接法，该算法首先应用四叉树均匀化关键点的提取，然后利用半稠密直接法对相机位姿 进行估计。该算法能够充分利用图像的全部信息，在纹理信息不充分的场景下，改进了位姿 估计时帧间易发生误匹配的缺陷。同时结合基于视觉词袋的闭环检测方法，使其进一步抑制 误差累积对摄像机位姿估计的影响，使HoloLens三维注册更为精准。
5.将上述脚本和库等源程序，通过微软的UWP平台发布到HoloLens中，作为一款应用 程序。
通用应用HoloLens平台的操作系统为Windows Holograpic，是基于Windows 10定制。 所以Windows 10UWP通用应用程序可以顺利地在HoloLens上运行。这就降低了研发和迁移 成本，也让开发效率能够大幅提升。
6.当用户佩戴好后，HoloLens开启环境和深度摄像头。同时教学系统程序发出提示信息， 提示用户选择一个实验，用户利用HoloLens的手势或者语音交互功能选择一个实验后，系统 弹出提示信息，是否要观看实验示范或者直接进行实验。当用户选择观看实验示范时从实验 示范模块中调取相对应的实验进行播放；当用户选择直接进行实验时调用目标识别模块，对 现实中的容器进行识别，将识别到的容器对象作为实验容器，接着调用三维注册模块，将其 对应的实验虚拟材料注册到容器中。注册完成后系统提示接下来操作步骤，如混合、加热等， 在用户进行后续的实验操作后调用实验反应模型库中的交互动画，在实验完成后弹出实验相 关信息。
本发明将Hololens智能眼镜应用到化学实验教学的领域之中，将目标识别、三维注册等 利用眼镜强大的计算能力和硬件设备整合成一套完整的系统，能够为化学实验教学提供行之 有效的帮助。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包 含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括 没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。 在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素 的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说 明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护 范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本 发明的保护范围之内。

Claims (10)

1.一种基于HoloLens的化学实验教学系统，其特征在于，包括实验示范模块、实验材料模型库、实验反应模型库、目标识别模块、三维注册模块、实验模块和信息提示模块，其中，
所述实验示范模块：用于存储进行化学实验操作的教学视频；
所述实验材料模型库：用于存储虚拟材料模型，所述虚拟材料模型由对需要进行化学实验操作的实验材料进行建模然后导入3D模拟软件中构建而成；
所述实验反应模型库：用于存储虚拟反应模型，所述虚拟反应模型由对进行化学实验所产生的化学反应的动画进行建模然后导入3D模拟软件中构建而成；
所述目标识别模块：基于HoloLens通过改进的YOLOv3-Fast目标识别算法来检测和识别现实容器，将识别的所述现实容器作为教学系统中的化学实验容器进行使用；
所述三维注册模块：用于使用HoloLens将所述实验材料模型库中的虚拟材料注册到所述现实容器中；
所述实验模块：调用实验反应模型库中的实验反应模块，用于通过HoloLens的凝视、手势、语音完成虚拟的化学实验操作及交互；
所述信息提示模块：用于发出信息提示，提示化学实验操作过程中的相关信息。
2.根据权利要求1所述的一种基于HoloLens的化学实验教学系统，其特征在于，所述目标识别模块关于基于HoloLens通过改进的YOLOv3-Fast目标识别算法来检测和识别现实容器的具体内容包括：使用YOLOV3结构对现实容器进行训练的同时，利用SlimNet网络代替YOLOv3结构中的Daeknet-53网络，所述SlimNet网络通过小卷积滤波器conv3和conv4提取特征图；同时，在所述SlimNet网络中再添加一个3×3小卷积滤波器conv5使所述SlimNet网络能够从训练数据中提取更多的小信息。
3.根据权利要求2所述的一种基于HoloLens的化学实验教学系统，其特征在于，在所述SlimNet网络中添加辅助网络，所述小卷积滤波器conv5的输出数据传递到所述辅助网络，其中，所述辅助网络包括1×1卷积层和3×3卷积层，所述1×1卷积层通过信息瓶颈方法，对所述输出数据进行非线性函数的拟合，然后再进行压缩，将压缩后的所述输出数据传递给所述3×3卷积层，所述3×3卷积层用以再次扩展被压缩的所述输出数据。
4.根据权利要求2所述的一种基于HoloLens的化学实验教学系统，其特征在于，改进的YOLOv3-Fast目标识别算法来检测和识别现实容器的具体步骤包括：
输入现实容器的图像，并将输入的图像栅格化为N×N个网格；
假设图像中的现实容器为目标对象，所述目标对象由若干提取到的特征像素组成，所述特征像素的中心为目标中心，所述目标中心位于各自对应的网格中；
使用SlimNet网络作为骨干网络对图像中的现实容器进行特征像素的提取，并在所述SlimNet网络上嫁接两种分辨率检测网络，以提高目标对象检测的精确度，；
通过所述目标中心所在的网格对所述图像的目标位置进行预测。
5.根据权利要求1所述的一种基于HoloLens的化学实验教学系统，其特征在于，所述三维注册模块使用HoloLens将所述实验材料模型库中的虚拟材料注册到所述现实容器所使用的方法为基于均匀化关键点的RGB-D半稠密直接法，具体包括如下步骤：
应用四叉树均匀化虚拟材料的关键点的提取；
利用半稠密直接法对均匀化后的虚拟材料的相机位姿进行估计；
结合基于视觉词袋的闭环检测方法，抑制误差累积对摄像机位姿估计的影响，使HoloLens三维注册更为精准。
6.根据权利要求5所述的一种基于HoloLens的化学实验教学系统，其特征在于，利用半稠密直接法对虚拟材料的相机位姿进行估计的具体步骤为：
通过基于稀疏模型的图像对齐方式对均匀化后的虚拟材料图像进行姿态初始化，产生虚拟材料的2D坐标的重投影误差；
通过确认后一帧与前一帧之间的灰度值最小化时找到虚拟材料的同一个3D点的投影位置的像素在前一帧和后一帧之间的光度误差，以通过后一帧的虚拟材料图像找到前一帧的虚拟材料图像的相机姿态；
通过最小化找到重投影点的虚拟材料的2D坐标，所述虚拟材料的2D坐标通过相应的所述重投影误差进行对齐细化，所述虚拟材料的3D点和2D坐标一一映射；
对虚拟材料的2D坐标的重投影误差进行运动估计来改进虚拟材料图像的姿势和结构。
7.一种基于HoloLens的化学实验教学方法，使用权利要求1-6任一所述的一种基于HoloLens的化学实验教学系统，其特征在于，包括如下步骤：
步骤1：通过建模软件对化学实验进行建模，并将建好的模型导入3D模拟软件中创建实验材料模型库和实验反应模型库；
步骤2：在3D模拟软件中设定每个实验与实验材料模型库中的实验材料模型以及实验反应模型库中的实验反应模型的对应关系；
步骤3：建立目标识别模块，使用HoloLens通过改进的YOLOv3-Fast目标识别算法来检测和识别现实容器，将识别的现实容器作为教学系统中的化学实验容器进行使用；
步骤4：建立三维注册模块，并调用所述三维注册模块将所述实验材料模型中的虚拟的实验材料注册到现实容器中；
步骤5：调用实验模块进行实验交互；
步骤6：根据实验信息，在实验结束后提示实验结果，同时保存实验视频。
8.根据权利要求7所述的一种基于HoloLens的化学实验教学方法，其特征在于，步骤1中，还包括在所述实验材料模型库添加相关的实验材料。
9.根据权利要求7所述的一种基于HoloLens的化学实验教学系统，其特征在于，步骤4中，建立三维注册模块是在直接法SLAM基础上，将直接法与特征法进行融合，使虚拟的实验材料在现实容器上的三维注册更为精准。
10.根据权利要求9所述的一种基于HoloLens的化学实验教学系统，其特征在于，所述直接法与特征法进行融合为：基于均匀化关键点的RGB-D半稠密直接法，具体步骤包括：
应用四叉树均匀化虚拟材料的关键点的提取；
利用半稠密直接法对虚拟材料的相机位姿进行估计；
结合基于视觉词袋的闭环检测方法，抑制误差累积对摄像机位姿估计的影响，使HoloLens三维注册更为精准。
CN202210016974.3A 2022-01-07 2022-01-07 一种基于HoloLens的化学实验教学系统及方法 Pending CN114373050A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210016974.3A CN114373050A (zh) 2022-01-07 2022-01-07 一种基于HoloLens的化学实验教学系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210016974.3A CN114373050A (zh) 2022-01-07 2022-01-07 一种基于HoloLens的化学实验教学系统及方法

Publications (1)

Publication Number Publication Date
CN114373050A true CN114373050A (zh) 2022-04-19

Family

ID=81143959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210016974.3A Pending CN114373050A (zh) 2022-01-07 2022-01-07 一种基于HoloLens的化学实验教学系统及方法

Country Status (1)

Country Link
CN (1) CN114373050A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114706513A (zh) * 2022-04-20 2022-07-05 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于unity3D和手部运动捕捉的VR化学实验室实施方法与系统
CN117951923A (zh) * 2024-03-27 2024-04-30 广东莱博仕教育设备有限公司 一种基于ar的化学实验实训方法、装置及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114706513A (zh) * 2022-04-20 2022-07-05 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于unity3D和手部运动捕捉的VR化学实验室实施方法与系统
CN114706513B (zh) * 2022-04-20 2022-11-11 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于unity3D和手部运动捕捉的VR化学实验室实施方法与系统
CN117951923A (zh) * 2024-03-27 2024-04-30 广东莱博仕教育设备有限公司 一种基于ar的化学实验实训方法、装置及系统

Similar Documents

Publication Publication Date Title
US11762475B2 (en) AR scenario-based gesture interaction method, storage medium, and communication terminal
CN112215927B (zh) 人脸视频的合成方法、装置、设备及介质
JP2020507850A (ja) 画像内の物体の姿の確定方法、装置、設備及び記憶媒体
CN111563502A (zh) 图像的文本识别方法、装置、电子设备及计算机存储介质
CN114373050A (zh) 一种基于HoloLens的化学实验教学系统及方法
CA2898668A1 (en) Realization method and device for two-dimensional code augmented reality
CN110796018A (zh) 一种基于深度图像和彩色图像的手部运动识别方法
CN110287848A (zh) 视频的生成方法及装置
CN113537056A (zh) 虚拟形象驱动方法、装置、设备和介质
CN115330947A (zh) 三维人脸重建方法及其装置、设备、介质、产品
CN112668492A (zh) 一种自监督学习与骨骼信息的行为识别方法
US20240037898A1 (en) Method for predicting reconstructabilit, computer device and storage medium
CN112668608A (zh) 一种图像识别方法、装置、电子设备及存储介质
CN114358112A (zh) 视频融合方法、计算机程序产品、客户端及存储介质
CN112037239B (zh) 基于多层次显式关系选择的文本指导图像分割方法
CN113570615A (zh) 一种基于深度学习的图像处理方法、电子设备及存储介质
CN117115917A (zh) 基于多模态特征融合的教师行为识别方法、设备以及介质
CN113673567B (zh) 基于多角度子区域自适应的全景图情感识别方法及系统
CN113628349B (zh) 基于场景内容自适应的ar导航方法、设备及可读存储介质
WO2022026603A1 (en) Object recognition neural network training using multiple data sources
CN116434253A (zh) 图像处理方法、装置、设备、存储介质及产品
Cao et al. A novel augmented reality guidance system for future informatization experimental teaching
CN117576248B (zh) 基于姿态引导的图像生成方法和装置
Jiang et al. Analyzing and Optimizing Virtual Reality Classroom Scenarios: A Deep Learning Approach.
CN116645468B (zh) 人体三维建模方法、训练人体结构生成模型的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination