CN111968470B - 一种面向虚实融合的闯关交互式实验方法和系统 - Google Patents

Abstract

本发明提出了一种面向虚实融合的闯关交互式实验方法和系统，该方法首先获取与实验操作相关的用户意图集合，根据用户意图集合的不同模态表达方式确定在一段时间内用户意图；根据用户操作意图出现的时间确定在某时刻的用户意图。通过在某时刻的用户意图对智能化虚实融合实验仪器的操作进行实验，在实验中设计与实验内容相应的关卡，并根据用户对关卡的不同选择进行不同实验步骤或者呈现不同实验效果。基于该实验方法，还提出了闯关交互式实验系统。本发明基于多通道信息互补的意图理解算法根据上下文交互情境，根据视觉数据、传感数据和语音数据，推测用户下一步的基本操作，通过闯关的方式有利于增加在实验过程中的乐趣，巩固和实验相关的知识。

Description

一种面向虚实融合的闯关交互式实验方法和系统

技术领域

本发明属于化学实验教学技术领域，特别涉及一种面向虚实融合的闯关交互式实验方法和系统。

背景技术

化学是一门以实验为基础的自然科学，它主要研究物质的组成、结构、性质和变化规律。化学实验是获取化学知识的重要方式，能够帮助学生快速地记忆和理解化学知识。调研并分析现有的中学化学实验的展开形式，我们发现化学教学实验中存在以下几点问题。对于传统化学实验教学(即真实展开的化学实验教学)，首先在实验进行过程中，容易生成污染性、有毒物质，同时化学实验中还存在一些实验的试验周期过长、数据不易获得、实验器材损耗严重和实验材料昂贵等问题，这些因素会影响学生实验活动的正常展开。其次，对于我国教育资源分布不均衡的现象，教师为了完成教学安排，或者在实验材料不充分的制约下，在短时间内向学生灌输大量的知识点而不进行实验操作演示，学生很难有机会动手实践，只能从教师的讲解和书本呈现的知识凭空想象实验反应现象。随着教育信息化的发展，其它形式的化学实验也被引入的中学实验之中，但是也无可避免的带来其它存一些问题，如以虚拟仿真技术为基础的电脑仿真化学实验，虽然很好的降低了实验的风险，节省了实验材料和资源，但也使学生无法真实体会到实验操作的过程，同时不利于培养学生的动手操作能力。以VR技术为支持的化学实验，可以带来很好的用户体验和视觉感受，但实验设备要求和操作过程往往带来不便。同时，AR技术也逐渐在中学实验教学展开，但是目前来说，主要的相关研究比较少，成型的化学实验教学尚未出现。因此，我们想在有限的条件资源下，充分挖掘学生教师这些用户的特点，设计虚拟与实际相融合的实验操作方式，，一方面更加真实，客观的反映实验现象，使用户获得更真实的实验操作和体验感；另一方面，整合用户的多通道有效信息，弥补传统实验，虚拟仿真实验等实验的不足，探究新型实验的有效性和可行性。目的是，即达到新型中学教学实验的要求，又能激发学生的学习乐趣和提升自主实验探究的能力。

实验教学在化学教育中处于重要环节，是培养学生创新思维能力的重要手段。但由于高中化学实验教学条件的限制，导致在实际教学中教学效果与教学目标存在一定差距。在国内中学课堂的化学实验教学中，教师多以播放教学视频，或通过演示教学实验来完成教学大纲要求，学生较难直接参与到实验中去，同时由于班级学生人数众多，而学校在实验室硬件设施中投入的经费有限，仅支持学生完成部分教学实验。尤其是课本上一些实验步骤比较繁琐，会产生有毒有害气体等实验，教师往往采用在黑板上画实验，用PPT讲实验的措施来教学，显然这样无法达到让学生理解实验，探究学习的目的，更无法激发学生的实践动手的热情。随着信息时代的到来，传统的教学实验方式有了很大的突破，教学方式转变成更加多元化的混合教学模式，即采用面对面教学与线上教学相结合的方式，完成教学内容，在实验教学当中，主要体现为虚拟实验与真实实验相结合的方式，对于一些不方便进行的化学实验，或者较为危险的昂贵的实验用虚拟实验来替代。事实上，虚拟实验技术是在虚拟现实技术基础上，随着远程教育而兴起的一门实验技术，主要借助于网络通信技术、多媒体计算机、虚拟交互技术、虚拟仿真等技术手段来实现教育教学功能。与传统实验相比，虚拟实验在教育教学中的主要优势是使知识从微观变宏观，弥补传统教学实验的不足。周宝成等人建立虚拟化学实验室，认为通过虚拟实验的教学方式可以改革化学实验教学模式，达到更好的教学效果。M.T.

通过考察化学教师对VR技术的接受和有意使用，以及他们对VR教学对学生化学概念的心理影响的看法，表明VR技术应用于化学教学可以有效促进学生理解，简化学习思维。但是，在用户实际体验中，存在着实验体验不真实，实验操作感差等问题。秦景良通过对中学物理实验教学现状的分析研究，提出以虚拟实验和真实实验结合的形式；田满文研究了地方高校的虚拟实验和真实实验整合教学模式，认为采用这种方式开展实验教学活动可以实现课堂实验教学、拓展实验空间；在构建虚拟实验方面：汪诗林等通过研究虚拟实验系统，认为构建虚拟实验要注重实验的交互性，是一种基于网络的异地多媒体教学模式的构建；J.Michael Pilgrim&Jodi Pilgrim认为探索性和趣味性是学生在虚拟现实中的学习体验的重要组成部分，虚拟现实可以通过提供一个启发式的，高度交互的模拟虚拟环境来提高学生的学习体验，建议教育者创造受激励的虚拟实验学习环境；魏芸通过虚拟实验进行分析研究，提出构建虚拟实验的核心是虚拟仪器对实验者操作的响应以及需要根据实验内容选择来合适的构建技术。

对于学生和教学实验这一应用场景，虚拟化学实验往往不去关注用户的意图需求，而去追求用户信息输入的精度和准确度，通过单一模态的信息输入，获得学生较为准确的操作，进而完成实验学习，Nobook公司面向小学，中学提供了一款比较强大的虚拟实验软件，允许学生在以触屏和鼠标的拖动的方式，操纵相关仪器设备，进行实验。虽然操作简单易执行，但是也用户反馈却反身临其境的体验感。这是单一通道交互方式无法避免的弊端，因为单通道交互在实验教学中，无法充分反映用户的操作意图，无法给用户更多自由的空间，也无法，用户也很难从单通道中获得真实体验感和操作感在交互过程中，一直追求更加自然和谐的交互方式,然而要达到这种交互效果，就必须充分理解用户的操作意图。而对用户意图的较为全面的理解，常需要通过多模态的信息感知、多模态信息融合，结合上下文场景信息来理解或推理用户的意图。多模态交互方式(multi-modal human-computerinteraction,MMHCI)被认为是更为自然的人机交互方式.相对于传统的单一模态的交互方式,多模态交互方式在移动交互和自然交互存在着更为广泛的应用潜力,如智能家居、人机对话、体感交互、智能化教育等.

近年来，许多学者提出了一些多模态信息处理方法，主要是多模态融合合策略或模型来构建一个自然化的人机交互环境。一般来说，多模态融合按发生的时间顺序可分为前期融合和后融合；也有文献根据多模态信息的相关性将它们分门别类，利用多模态信息间中的互补信息、互斥信息和冗余信息。结合应用场景和信息间的特征，分别进行融合。在上诉融合方法中，广泛应用的信息融合计算模型是基于统计和机器学习的。例如Bayes决策模型，由于它能在不完全信息的部分观测条件下推断出最优决策，在多通道信息集成分析和决策中往往显示出一定的优势。同时，基于卷积神经网络的大规模深层神经网络模型也尝试从数据层、模型层和决策层进行信息的融合，实现多任务学习，跨模态学习。同时，许多学者也将一些模型方法应用到实际工程中，如基于动态Bayes模型的文本模拟、基于Markov决策过程的手势理解、基于支持向量机的身份鉴别等。可以看到，无论对用户的操作行为进行智能指引或导航，还是实现高效的人机协同互动，用户意图捕获与理解是最具挑战性问题之一。

另外，目前国内的实验教学中普遍存在，虚拟化学实验缺乏交互体验感和混合教学模式缺乏自主探究性等问题，多数学生反映虚拟的化学实验和混合实验执行过程单一，缺乏新鲜感。

发明内容

本发明提出了一种面向虚实融合的闯关交互式实验方法和系统，通过上下文交互情境，根据视觉数据、传感数据和语音数据，推测用户下一步的基本操作，并通过闯关的方式增加在实验过程中的乐趣。

为了实现上述目的，本发明提出了一种面向虚实融合的闯关交互式实验方法，该方法包括以下步骤：

获取与实验操作相关的用户意图集合，根据所述用户意图集合的不同模态表达方式确定在一段时间内用户意图；根据所述用户操作意图出现的时间确定在某时刻的用户意图；

通过在某时刻的用户意图对智能化虚实融合实验仪器的操作进行实验，在实验中设计与实验内容相应的关卡，并根据用户对关卡的不同选择进行不同实验步骤或者呈现不同实验效果。

进一步的，所述与实验操作相关的用户意图集合包括基于视觉的手势动作意图集合、基于听觉的语音意图集合、基于触觉的传感器信息集合和场景集合；

所述手势动作意图集合H^k＝{H₁,H₂,...,H_n}；所述语音意图集合S^k＝{S₁,S₂,...,S_n}；所述传感器信息集合T^k＝{T₁,T₂,...,T_n}；所述场景集合E^k＝{E_t1,E_t2,...,E_tn}；

其中ti为不同时刻的场景信息；所述k为约束参数,k＝ɑ或b，ɑ为语音意图的权重，b为传感器意图的权重。

进一步的，所述根据所述用户意图集合的不同模态表达方式确定在一段时间内用户意图的表达式为：

其中，

为一段时间内用户意图；S^A为ɑ或b并集计算为ɑ时的语音集合；T^B为ɑ或b并集计算为b时的传感器集合；H_i∈H_k；E_i∈E_k。

进一步的，所述根据所述用户操作意图出现的时间确定在某时刻的用户意图的方法为：

根据实验步骤和时间节点设置意图时间序列集合V＝{V_t1,V_t2,...V_tn}；其中V_t1至V_tn是根据实验步骤和意图出现的时机设置的意图时序序列，V_ti为一个m维的向量，表示当前出现的用户意图；

根据V＝{V_t1,V_t2,...V_tn}，结合

可得到在某时刻的用户意图为

进一步的，所述智能化虚实融合实验仪器包括烧杯、分液漏斗、搅拌棒、胶头滴管和称量台；

所述烧杯的底部中心点设置加速度传感器，或者在杯体的外壁设置若干触觉传感器；所述加速度传感器用来获取烧杯的倾倒角度；所述烧杯的三维角度表示为A₁＝(x,y,z)；所述触觉传感器用于标识用户对实验试剂的选择操作；其中，x，y，z分别是x轴，y轴，z轴旋转的角度；

所述分液漏斗的活塞设置为转动传感器，顶部设置光敏传感器；所述转动传感器获取流速的离散数值，通过离散数值的变化量化液体的释放；所述光敏传感器用于确定分液漏斗是否添加液体。

所述搅拌棒的一端设置加速度传感器，用来获取搅拌速度；所述搅拌速度的表达式为

其中g_x，g_y，g_z分别是x轴，y轴和z轴的运动的角速度；

所述胶头滴管的胶头处设置压力传感器；用来获取胶头滴管滴液的速率；

所述称量台的台面中间层设置压力传感器；用来获取待测量物体的重量。

进一步的，所述智能化的虚实融合实验仪器通过杜邦线连接至STM32开发板；所述STM32开发板通过串口连接至电脑上位机。

进一步的，所述通过在某时刻的用户意图对虚实融合实验仪器的操作进行实验，在实验中设计与实验内容相应的关卡，并根据用户对关卡的不同选择进行不同实验步骤或者呈现不同实验效果包括以下步骤：

用户在虚实融合的界面中进行实验操作；

在虚实融合的界面中，系统根据智能化实验仪器、图像采集设备和语音采集设备实施获取用户的操作信息以及语音信息；并根据多通道信息的输入进行用户意图的理解；

根据当前的意图确定用户下一步需要执行的实验操作步骤；如果采用闯关状态，则设置与实验步骤相关联的实验关卡，并在虚实融合的场景中以视觉、听觉或者触觉的效果呈现；如果不采用闯关状态，则在虚实融合的场景中以视觉、听觉或者触觉的效果呈现实验的步骤。

进一步的，所述实验关卡设置的方式包括设置多路关卡和设置单路关卡。

本发明还提出了一种面向虚实融合的闯关交互式实验系统，包括意图理解模块和闯关实验模块；

所述意图理解模块用于获取与实验操作相关的用户意图集合，根据所述用户意图集合的不同模态表达方式确定在一段时间内用户意图；根据所述用户操作意图出现的时间确定在某时刻的用户意图；

所述闯关实验模块用于通过在某时刻的用户意图对智能化虚实融合实验仪器的操作进行实验，在实验中设计与实验内容相应的关卡，并根据用户对关卡的不同选择进行不同实验步骤或者呈现不同实验效果。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

本发明实施例提出了一种面向虚实融合的闯关交互式实验方法和系统，该方法首先获取与实验操作相关的用户意图集合，根据用户意图集合的不同模态表达方式确定在一段时间内用户意图；根据用户操作意图出现的时间确定在某时刻的用户意图。通过在某时刻的用户意图对智能化虚实融合实验仪器的操作进行实验，在实验中设计与实验内容相应的关卡，并根据用户对关卡的不同选择进行不同实验步骤或者呈现不同实验效果。其中与实验操作相关的用户意图集合包括基于视觉的手势动作意图集合、基于听觉的语音意图集合、基于触觉的传感器信息集合和场景集合。由于用户的操作意图在某时间段内的表达方式的不唯一性，即同种意图可能会通过不同的模态信息输入到计算机，此时，给不同的模态的用户意图集合增加约束参数，将有利于集合的交运算。同时，当该时段内用户意图仅通过一个模态表达或者计算机仅确定了一个模态的用户意图，通过这种约束，也能更大程度的获得用户该时间段内的准确意图。

本发明中通过在某时刻的用户意图对智能化虚实融合实验仪器的操作进行实验，其中实”是指用户在实验过程中，操作过程、操作对象与真实实验过程的用户体验一致；“虚”是指代表实验设备或工具的操作对象可以是模具或模型，实验现象或实验结果用计算机仿真方法在屏幕上实时呈现。过设置一定数量的关卡，使学生在“闯关”的过程中探究实验，同时对于学生的闯关情况进行提示和打分，鼓励学生多次尝试学习。其中关卡(Checkpoint)的设置需要结合相应的实验内容来设计，不同的实验操作要点和不同的知识点都可以设计相应的关卡,有利于增加在实验过程中的乐趣，并且巩固和实验相关的知识。

附图说明

如图1给出了本发明实施例1中提出的一种面向虚实融合的闯关交互式实验方法流程图；

如图2给出了本发明实施例1中智能化虚实融合实验仪器的结构示意图；

如图3给出了本发明实施例2中钠和水反应实验操作流程图；

如图4给出了本发明实施例1提出的一种面向虚实融合的闯关交互式实验系统示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明提出了一种面向虚实融合的闯关交互式实验方法，首先，获取与实验操作相关的用户意图集合，根据用户意图集合的不同模态表达方式确定在一段时间内用户意图；根据用户操作意图出现的时间确定在某时刻的用户意图。

通过在某时刻的用户意图对智能化虚实融合实验仪器的操作进行实验，在实验中设计与实验内容相应的关卡，并根据用户对关卡的不同选择进行不同实验步骤或者呈现不同实验效果。

如图1给出了本发明实施例1提出的一种面向虚实融合的闯关交互式实验方法流程图。

在步骤S101中，开始实验。

在步骤S102中，取与实验操作相关的用户意图集合作为多通道信息输入。其中与实验操作相关的用户意图集合包括基于视觉的手势动作意图集合、基于听觉的语音意图集合、基于触觉的传感器信息集合和场景集合。手势动作意图集合H^k＝{H₁,H₂,...,H_n}；语音意图集合S^k＝{S₁,S₂,...,S_n}；传感器信息集合T^k＝{T₁,T₂,...,T_n}；场景集合E^k＝{E_t1,E_t2,...,E_tn}；其中ti为不同时刻的场景信息；所述k为约束参数,k＝ɑ或b，ɑ为语音意图的权重，b为传感器意图的权重。

由于用户的操作意图在某时间段内的表达方式的不唯一性，即同种意图可能会通过不同的模态信息输入到计算机，此时，给不同的模态的用户意图集合增加约束参数，将有利于集合的交运算，同时，当该时段内用户意图仅通过一个模态表达或者计算机仅确定了一个模态的用户意图，通过这种约束，也能更大程度的获得用户该时间段内的准确意图。当然，对于同一模态的前后两种意图，是不会进行约束并计算当前用户意图。

在步骤S103中，在虚实融合的实验场景呈现。

在步骤S104中，结合步骤S102和步骤S103,确定用户在某时刻的用户意图。首先根据用户意图集合的不同模态表达方式确定在一段时间内用户意图的表达式为：

其中，

为一段时间内用户意图；S^A为a或b并集计算为a时的语音集合；T^B为a或b并集计算为b时的传感器集合；H_i∈H_k；E_i∈E_k。

根据上面的公式，在某个时间段内可能出现不同的意图，结合实际的操作，一般用户的某些意图生效之后，才会出现其它意图，同时，在执行某些关键步骤时，一些意图的出现是完全没有意义和没有必要的。因此，我们根据实验步骤和时间节点，规定了意图出现的时序序列V＝{V_t1,V_t2,...V_tn}；其中V_t1至V_tn是根据实验步骤和意图出现的时机设置的意图时序序列，V_ti为一个m维的向量，表示当前出现的用户意图；

根据V＝{V_t1,V_t2,...V_tn}，结合

可得到在某时刻的用户意图为

在步骤S105中，通过在某时刻的用户意图对智能化虚实融合实验仪器的操作进行实验，在实验中设计与实验内容相应的关卡，并判断是否进行闯关。当执行闯关时，则执行步骤S106和步骤S107；否则执行步骤S110。对用户意图的理解，采用的是前面提出的多通道信息互补的意图理解算法，此处用户意图的设定则需要根据所选择的实验内容，结合关键的实验步骤或操作来确定。以钠与水反应化学实验为例，用户的一些关键意图可以分为：从煤油中取出钠块，向烧杯中添加一定量的水，切割适量的钠(或切割过量的钠)，将钠块放入烧杯，滴加酚酞溶液等意图。此处的用户意图实际上是同过用户意图集合来展示的，即，把用户的带有目的性的一系列行为作为一种意图，而不是简单的把“抓”、“拿起”和“放下”作为比较细致的意图来考虑。

其中智能化虚实融合实验仪器包括烧杯、分液漏斗、搅拌棒、胶头滴管和称量台。如图2给出了本发明实施例1中智能化虚实融合实验仪器的结构示意图。

烧杯a的底部中心点设置加速度传感器，烧杯b除了底部中心点设置的加速度传感器，也在杯体的外壁设置若干触觉传感器；加速度传感器用来获取烧杯的倾倒角度；烧杯的三维角度表示为A₁＝(x,y,z)；触觉传感器设置标识用户可以进行实验试剂的选择操作和基本交互行为，可以根据实验需求选择多种化学试剂；x，y，z分别是x轴，y轴，z轴旋转的角度。

用转动传感代替了传统分液漏斗的活塞，转动传感器，可以获得一组离散值t(t＝1,2,3,...6)，根据数值的变动设置相应的流速大小，可对液体的释放操作进行量化。分液漏斗的上部安装了一个光敏传感，可以根据其数值op(op＝0,1)的变动确定是否往分液漏斗中添加试剂，并根据传感器获得数据的时序判断用户操作是否合理。

搅拌棒的一端设置加速度传感器，用来获取搅拌速度；所述搅拌速度的表达式为

其中g_x，g_y，g_z分别是x轴，y轴和z轴的运动的角速度；因此可以根据角速度的大小判断是静止还是缓慢搅动或者是快速搅动。

胶头滴管的胶头处设置压力传感器；当用力挤压胶头时，压力传感器数值od,od∈(0,300)发生变动，可以借此来判定是否在滴加溶液，并可以根据od的值来量化滴管滴液的快慢。

称量台的台面中间层设置精度较高的压力传感，且经过特殊设计，可以较为精确的测量1～5kg的重物。

智能化虚实融合实验仪器上面的传感器均使用杜邦线连接到STM32开发板上，STM32开发板通过串口连接到电脑上位机中，通过串口通信将传感器信息输入到计算机中，实时进行虚拟化学实验的操作。

在步骤S106中，设置单路关卡。指必须通过的硬性关卡。例如用户需要回答的知识点，只有对和错两个结果，当回答正确时，则对本次闯关进行评估，并进入下一个实验操作阶段，回答错误时，则需要重新回答，直至回答次数到达设定的回答次数阈值，例如每个知识点的回答，只有三次机会，当三次机会用完，那么系统给出正确答案，从而进入本次闯关的评估阶段。

在步骤S107中，设置多路关卡。对于多路关卡，系统会根据用户不同的选择结果或操作结果，呈现不同的反应现象或提供不同的操作指引。

在步骤S108中，关卡互动，本次闯关的评估阶段。

在步骤S109中，判断评估是否通过，如果通过则执行步骤S110；否则，返回步骤S108。同时对整个闯关过程的实验效果，执行步骤S111。

在步骤S110中，按照系统提示进行的正常的实验操作。正常的实验操作的实验效果也执行步骤S111。

在步骤S111中，在虚实融合的场景中以多通道效果呈现(视觉、触觉和听觉)。

在步骤S112中，判断正常的实验操作步骤是否结果，如果结束则执行步骤S113，否则返回步骤S102。

在步骤S113中，用户对实验进行评价。

在步骤S114中，判断是否继续实验，如果继续实验，则执行步骤S101，否则则行步骤S115。

在步骤S115中，结束实验。

在闯关式实验模式中，为了更好的展示关卡的设计，我们分别给出了关卡的较为详细的数据结构形式和闯关过程中的互动算法(问答算法)。

(1)关卡的数据结构形式

其中，num表示当前关卡的编号，name表示关卡的标题，即对学生的提问内容。Tag表示当前关卡的类型，tag＝0表示单路关卡，tag＝1表示多路关卡。Try是表示用户尝试回答的次数，初始值为0，answer是关卡答案，用于和用户语音输入的答案对比，B是用户在本关卡的得分。由于我们采用评分制策略来鼓励用户去实验，所以当用户穿过一个关卡，会获得该关卡的分数，累计每个关卡的分值，将得到本次实验的得分情况，具体计算如下：

设关卡i的权重为w_i，实验中的关卡数量为m，则关卡i的得分为：

完成实验的总得分为：

关卡互动算法的设计，实验过程中，用户的闯关形式我们以语音问答的形式展开，对于单路关卡，用户有三次尝试机会，直到回答正确或者三次机会全部用完，对于多路关卡，则需要根据多通道信息输入和用户意图来显示实验现象。具体的算法流程如下：

关卡互动算法设计为：

实施例2：

为了更清楚了解本发明的实验过程，本发明实施例2给出了虚实融合的钠和水反应实验。应用的智能化学仪器(触觉信息的获取和识别)、手势识别和语音识别三种模态,手势识别为右手的五指抓、二指张和五指伸和左手的五指抓与五指伸展，语音关键词为开始实验、结束实验、煤油、继续实验、滴加、升高、降低、没有(无)、钠浮在水面、融化成小球、四处游动和发出嘶嘶的响声。如图3给出了本发明实施例2中钠和水实验流程图。

用户语音“开始实验”，进入钠和水反应实验中，根据场景中提示框的提示，左手五指抓表示取出虚实实验烧杯，同时语音导航和提示框提示下一步的操作。用户根据提示，拿起实验台上的实物烧杯模型，向场景中虚拟的烧杯中不断注入水，可以观察到实物烧杯中有水流缓缓流入到虚拟烧杯中，并且交互界面中会实时量化出倒水的容量。注水结束后进入碰到关卡障碍，“请回答钠用什么保存？”，进入闯关互动状态，语音输入“煤油”，进行关键字识别，闯关成功，否则继续思考回答，直至本关卡的三次机会使用完毕，得到正确的答案后，根据提示进入下一实验操作。

用户根据提示，从实验台取出钠块，这里我们选择了容易切割和获得便捷的橡皮泥充当。用带有压力传感器的布包裹橡皮泥，完成擦拭工作。将橡皮泥放在称量台上，用小刀任意切割一块金属钠，系统根据称量太数值变动量化切割的多少。从而进入关卡2，根据钠的多少，探究反应的影响因素。首先选择小块钠放入等量的水中，系统识别用户右手二指张开，判别用户时候将钠块放入烧杯中，并呈现反应现象。显示大量钠与水反应的现象，发生了剧烈爆炸。我们对钠块的量的大小设定了阈值，当超过该阈值即认为钠过量，同时提示用户切割了过量钠，语音提示是否继续实验。当继续执行时，用户可以观察到反应生成气体、钠块浮在水面上迅速溶解等现象。按照提示继续操作，拿起带有压力传感的胶头滴管，向虚拟烧杯中添加酚酞溶液，溶液变红。

继续实验则系统再次进入闯关状态，用户需要分别完成关卡3和关卡4的挑战方可完成实验。实验结束时，提示窗口会给出本次实验操作该用户的表现评分，即用户可以得到本次实验的分数。最后，系统语音提示“是否结束实验”，当用户语音“继续实验时”，则可进如初始状态。用户语音“结束实验”，则退出虚实融合的闯关实验系统。

在模拟钠和水实验中，我们将必要的实验步骤与闯关进行结合展现，在用户实验的步骤上增加了四个关卡，分别是对钠的保存方法、与水反应放出热量、不同量的钠与水反应和反应特点的考察。关卡1、关卡3和关卡4通过关卡交流(语音对话和关键字识别)实现，关卡2通过用户实际操作、传感器信号和操作量化实现，进而完成对不同量的钠与水反应的实验探究。用户进入钠和水实验后，系统会对不同的模态信息和操作输入进行感知和识别，通过多通道信息融合理解用户的操作意图并触发不同的实验呈现效果，进而输出语音导航提示、消息窗提示、虚实融合场景的视觉效果呈现(粒子效果、动画效果)，当用户成功模拟实验后，系统会为本次操作打分，并鼓励用户继续实验。最后，则根据提示结束整个实验过程。

基于本发明提出的一种面向虚实融合的闯关交互式实验方法，还提出了一种面向虚实融合的闯关交互式实验系统，该系统包括意图理解模块和闯关实验模块。

意图理解模块用于获取与实验操作相关的用户意图集合，根据所述用户意图集合的不同模态表达方式确定在一段时间内用户意图；根据所述用户操作意图出现的时间确定在某时刻的用户意图。

闯关实验模块用于通过在某时刻的用户意图对智能化虚实融合实验仪器的操作进行实验，在实验中设计与实验内容相应的关卡，并根据用户对关卡的不同选择进行不同实验步骤或者呈现不同实验效果。

以上内容仅仅是对本发明的结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (6)

1.一种面向虚实融合的闯关交互式实验方法，其特征在于，包括以下步骤：

获取与实验操作相关的用户意图集合，根据所述用户意图集合的不同模态表达方式确定在一段时间内用户意图；根据所述用户操作意图出现的时间确定在某时刻的用户意图；所述与实验操作相关的用户意图集合包括基于视觉的手势动作意图集合、基于听觉的语音意图集合、基于触觉的传感器信息集合和场景集合；

所述手势动作意图集合H^k＝{H₁,H₂,...,H_n}；所述语音意图集合S^k＝{S₁,S₂,...,S_n}；所述传感器信息集合T^k＝{T₁,T₂,...,T_n}；所述场景集合E^k＝{E_t1,E_t2,...,E_tn}；

其中ti为不同时刻的场景信息；所述k为约束参数,k＝a或b，a为语音意图的权重，b为传感器意图的权重；

所述根据所述用户意图集合的不同模态表达方式确定在一段时间内用户意图的表达式为：

其中，

为一段时间内用户意图；S^A为a或b并集计算为a时的语音集合；T^B为a或b并集计算为b时的传感器集合；H_i∈H^k；E_i∈E^k；

所述根据所述用户操作意图出现的时间确定在某时刻的用户意图的方法为：

根据实验步骤和时间节点设置意图时间序列集合V＝{V_t1,V_t2,...V_tn}；其中V_t1至V_tn是根据实验步骤和意图出现的时机设置的意图时序序列，V_ti为一个m维的向量，表示当前出现的用户意图；

根据V＝{V_t1,V_t2,...V_tn}，结合

可得到在某时刻的用户意图为U_ti＝[0,0,...,0,U_a,0,...,0,U_b,0,...,0,U_c,0,...,0]·V_ti ^T；

通过在某时刻的用户意图对智能化虚实融合实验仪器的操作进行实验，在实验中设计与实验内容相应的关卡，并根据用户对关卡的不同选择进行不同实验步骤或者呈现不同实验效果。

2.根据权利要求1所述的一种面向虚实融合的闯关交互式实验方法，其特征在于，所述智能化虚实融合实验仪器包括烧杯、分液漏斗、搅拌棒、胶头滴管和称量台；

所述烧杯的底部中心点设置加速度传感器，或者在杯体的外壁设置若干触觉传感器；所述加速度传感器用来获取烧杯的倾倒角度；所述烧杯的三维角度表示为A₁＝(x,y,z)；所述触觉传感器用于标识用户对实验试剂的选择操作；其中，x，y，z分别是x轴，y轴，z轴旋转的角度；

所述分液漏斗的活；塞设置为转动传感器，顶部设置光敏传感器；所述转动传感器获取流速的离散数值，通过离散数值的变化量化液体的释放；所述光敏传感器用于确定分液漏斗是否添加液体；

所述搅拌棒的一端设置加速度传感器，用来获取搅拌速度；所述搅拌速度的表达式为

其中g_x，g_y，g_z分别是x轴，y轴和z轴的运动的角速度；

所述胶头滴管的胶头处设置压力传感器；用来获取胶头滴管滴液的速率；

所述称量台的台面中间层设置压力传感器；用来获取待测量物体的重量。

3.根据权利要求2所述的一种面向虚实融合的闯关交互式实验方法，其特征在于，所述智能化虚实融合实验仪器通过杜邦线连接至STM32开发板；所述STM32开发板通过串口连接至电脑上位机。

4.根据权利要求1所述的一种面向虚实融合的闯关交互式实验方法，其特征在于，所述通过在某时刻的用户意图对虚实融合实验仪器的操作进行实验，在实验中设计与实验内容相应的关卡，并根据用户对关卡的不同选择进行不同实验步骤或者呈现不同实验效果包括以下步骤：

用户在虚实融合的界面中进行实验操作；

在虚实融合的界面中，系统根据智能化的实验仪器、图像采集设备和语音采集设备实施获取用户的操作信息以及语音信息；并根据多通道信息的输入进行用户意图的理解；

根据当前的意图确定用户下一步需要执行的实验操作步骤；如果采用闯关状态，则设置与实验步骤相关联的实验关卡，并在虚实融合的场景中以视觉、听觉或者触觉的效果呈现；如果不采用闯关状态，则在虚实融合的场景中以视觉、听觉或者触觉的效果呈现实验的步骤。

5.根据权利要求4所述的一种面向虚实融合的闯关交互式实验方法，其特征在于，所述实验关卡设置的方式包括设置多路关卡和设置单路关卡。

6.一种面向虚实融合的闯关交互式实验系统，其特征在于，包括意图理解模块和闯关实验模块；

所述意图理解模块用于获取与实验操作相关的用户意图集合，根据所述用户意图集合的不同模态表达方式确定在一段时间内用户意图；根据所述用户操作意图出现的时间确定在某时刻的用户意图；所述与实验操作相关的用户意图集合包括基于视觉的手势动作意图集合、基于听觉的语音意图集合、基于触觉的传感器信息集合和场景集合；

所述手势动作意图集合H^k＝{H₁,H₂,...,H_n}；所述语音意图集合S^k＝{S₁,S₂,...,S_n}；所述传感器信息集合T^k＝{T₁,T₂,...,T_n}；所述场景集合E^k＝{E_t1,E_t2,...,E_tn}；

其中ti为不同时刻的场景信息；所述k为约束参数,k＝a或b，a为语音意图的权重，b为传感器意图的权重；

所述根据所述用户意图集合的不同模态表达方式确定在一段时间内用户意图的表达式为：

其中，

为一段时间内用户意图；S^A为a或b并集计算为a时的语音集合；T^B为a或b并集计算为b时的传感器集合；H_i∈H^k；E_i∈E^k；

所述根据所述用户操作意图出现的时间确定在某时刻的用户意图的方法为：

根据实验步骤和时间节点设置意图时间序列集合V＝{V_t1,V_t2,...V_tn}；其中V_t1至V_tn是根据实验步骤和意图出现的时机设置的意图时序序列，V_ti为一个m维的向量，表示当前出现的用户意图；

根据V＝{V_t1,V_t2,...V_tn}，结合

可得到在某时刻的用户意图为

所述闯关实验模块用于通过在某时刻的用户意图对智能化虚实融合实验仪器的操作进行实验，在实验中设计与实验内容相应的关卡，并根据用户对关卡的不同选择进行不同实验步骤或者呈现不同实验效果。

Images