CN112748800A - 一种基于智能手套的实验场景感知交互方法 - Google Patents

Abstract

本发明提供了一种基于智能手套的实验场景感知交互方法，本发明通过智能手套对实验场景中的物体信息以及相应的位置关系进行实时感知，学生佩戴智能手套能够操作真实的实验用具，配合虚拟的实验平台进行实验，从而提升学生的实验沉浸感。在场景感知的基础上，本发明还提出了一种融合了语音，视觉，传感器信息的智能导航式交互范式去推测用户的实验意图，结合用户的行为对用户实验的规范性进行监控，并给予用户对应的操作反馈与指导。

Description

一种基于智能手套的实验场景感知交互方法

技术领域

本发明涉及机器人技术领域，特别是一种基于智能手套的实验场景感知交互方法。

背景技术

实验教学作为中学教学过程中的重要组成部分，使学生更好理解实验知识的同时，还能够培养学生的动手能力。然而。现有的中小学实验教学过程中主要存在以下几方面的问题，首先部分实验用品存在危险性，例如氢氧化钠溶液具有强烈腐蚀性，倘若学生操作不规范，将威胁到学生的安全；其次在实验课堂上老师难以观察到全部学生的实验情况，部分学生在实验过程中容易出现不规范的实验行为。随着互联网技术的发展，虚拟实验平台很好的解决了实验用品具有危险性的问题。然而现有虚拟实验平台存在三个方面的问题，一方面部分虚拟实验平台倾向于使用动画或者仿真软件对实验过程进行呈现，用户使用鼠标或者键盘等操作虚拟物品，缺乏对真实实验用具的操作，不利于提升学生动手能力；另一方面，传统的虚拟实验平台缺乏对真实实验场景的感知，无法更好的对用户的实验操作进行监控；第三个方面，大部分实验平台在实验过程中设定好了实验规则，用户无法进行探索性实验。

发明内容

本发明的目的是提供一种基于智能手套的实验场景感知交互方法，旨在解决现有技术中虚拟实验平台缺乏对真实实验场景感知的问题，实现提升实验沉浸感。

为达到上述技术目的，本发明提供了一种基于智能手套的实验场景感知交互方法，所述方法包括以下操作：

S1、在智能手套上安装视觉图像捕获设备，通过智能手套采集实验物品图像数据，并根据采集到的图片进行模型训练，得到实验物品检测模型；

S2、通过ORB-SLAM算法获得智能手套的移动轨迹，并基于智能手套进行场景感知，在虚拟场景中构建目标物体模型；

S3、通过基于贝叶斯推断的用户意图理解算法对智能手套的语音信息、传感器信息以及图像信息进行整合，动态推断用户意图；

S4、获取到实验意图后，通过基于场景感知的导航式交互算法判别用户行为，并对用户的实验行为输出相应的语音反馈，完成实验操作。

优选地，所述智能手套的手掌部分通过使用Flex传感器获取用户手指弯曲度的变化，通过Mpu6050姿态传感器还原用户手部的姿态，树莓派开发板用于根据用户的行为对用户的实验场景进行实时的感知和理解；手腕部分设置包围盒，在包围盒中固定微型的双目摄像头，捕捉用户实验时周围环境的图像序列。

优选地，所述智能手套基于YOLOv3网络模型进行实验物品的检测，将采集到的图片，使用LabelImg标注工具进行标注，并将标注信息作为训练样本送入YOLOv3网络模型中进行训练并得到基于YOLOv3的实验物品检测模型。

优选地，所述智能手套的移动轨迹的坐标值计算公式如下：

P(x，y，z)＝(p₀.x+p[i].x，p₀.y+p[i].y，p₀.z+p[i].z)

其中，p₀(x，y，z)为虚拟手初始坐标位置，p[i]为位置循环队列。

优选地，所述基于智能手套进行场景感知具体过程如下：

输入为双目相机捕获的实验场景图像p，输出为智能手套自身位置信息集合Oh，目标物体信息集合O，智能手套与目标物体的距离d；

S201、获取实验场景图像p；

S202、使用ORB-SLAM算法获取当前智能手套位置信息Oh(x_h,y_h,z_h)并输出Oh到Unity平台，使用TSS算法对Oh进行处理；

S203、调用目标检测模型FC，对p进行实验物品检测，并将检测结果存入Omap；

S204、若Omap为空，则返回步骤S201；若Omap不为空，则调用双目相机定位算法BinP获取目标物体三维坐标Ow(x,y,z)；

S205、判断当前用户操作物体集合Oh是否为空；若Oh为空，则执行步骤S206；若Oh不为空，执行步骤S207；

S206、对Oh与Ow不断执行以下操作，获取两者之间的距离d；

若d满足

为判定智能手套是否进入可操作范围的阈值，则在虚拟场景中显示对应的目标物体模型，并从实验用品信息库E中查询Ow所对应的实验用品的尺寸信息，对Oh进行修改，将Ow所对应的实验用品名称与修改后的Oh存入Oh，令O＝Oh,输出O；

S207、将Ow(x,y,z)以及对应的实验物品类别存入O；

S208、对Oh与O的坐标信息不断执行以下操作，获取两者之间的距离d：

若d满足d￡ξ，ξ为判定目标物体是否可操作性的阈值,则在虚拟场景中显示对应的目标物体模型，并输出O，d。

优选地，所述基于场景感知的导航式交互算法具体为：

S301、获取来自各个通道的信息，并进行预处理；

S302、对S进行语义提取，获取当前用户手部状态集合B；

S303、调用IGSPA算法对p进行处理，获取智能手套自身位置信息集合Oh，目标物体信息集合O，智能手套与目标物体的距离d；

S304、将Oh传入unity平台，并调用TSS算法进行移动轨迹映射；

S305、整合B，O，d，获取当前用户行为O_i，输出场景响应集合a{a₀,a₁,a₂,...a_n}；

S306、判别V是否为空，若不为空则调用百度API对V进行分析，获取操作对象Ta；

S307、判别O中的目标物体名称与Ta是否一致，若一致，则将O_i存入实验行为集合δ；否则输出语音提示Y1，询问用户是否继续手部操作；

S308、若用户确认手部行为，则将O_i存入实验行为集合δ；否则，保留Ta，返回步骤S301；

S309、结合实验目标集合I＝{I₁,I₂,I₃,....I_n}，使用公式(7)对δ进行贝叶斯推断，获取计算结果P(I_n|δ)；

S310、令P(I_k|δ)＝max(P(I_n|δ))，判别P(I_k|δ)是否大于意图确定阈值Θ；

S311、若P(I_k|δ)>Θ，则认定用户当前最可能的实验目标为I_k，并向用户输出语音提示Y2，向用户确认实验意图是否正确；

S312、若用户认为I_k错误，则输出语音提示Y3，返回步骤S301，并更新实验目标集合I＝{I₁,I₂,I₃,....I_n}；

S313、若用户确认实验意图为I_k，则令实验意图I＝I_k，从知识库中查询I所对应的规则集合R{r₁,r₂,r₃..r_n}，并按照R{r₁,r₂,r₃..r_n}中所对应的规则判别用户行为，直至实验结束；

S314、若O_i不符合r_i，则使用语音向用户提示，当前操作错误，并提示正确步骤。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

与现有技术相比，本发明通过智能手套对实验场景中的物体信息以及相应的位置关系进行实时感知，学生佩戴智能手套能够操作真实的实验用具，配合虚拟的实验平台进行实验，从而提升学生的实验沉浸感。在场景感知的基础上，本发明还提出了一种融合了语音，视觉，传感器信息的智能导航式交互范式去推测用户的实验意图，结合用户的行为对用户实验的规范性进行监控，并给予用户对应的操作反馈与指导。

附图说明

图1为本发明实施例中所提供的一种基于智能手套的实验场景感知交互方法流程图；

图2为本发明实施例中所提供的基于场景感知的多模态智能导航式交互范式总体框架示意图。

具体实施方式

为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

下面结合附图对本发明实施例所提供的一种基于智能手套的实验场景感知交互方法进行详细说明。

如图1所示，本发明公开了一种基于智能手套的实验场景感知交互方法，所述方法包括以下操作：

S1、在智能手套上安装视觉图像捕获设备，通过智能手套采集实验物品图像数据，并根据采集到的图片进行模型训练，得到实验物品检测模型；

S2、通过ORB-SLAM算法获得智能手套的移动轨迹，并基于智能手套进行场景感知，在虚拟场景中构建目标物体模型；

S3、通过基于贝叶斯推断的用户意图理解算法对智能手套的语音信息、传感器信息以及图像信息进行整合，动态推断用户意图；

S4、获取到实验意图后，通过基于场景感知的导航式交互算法判别用户行为，并对用户的实验行为输出相应的语音反馈，完成实验操作。

在智能手套中，手掌部分通过使用Flex传感器获取用户手指弯曲度的变化，通过Mpu6050姿态传感器还原用户手部的姿态，树莓派开发板作为智能手套的功能模块，用于根据用户的行为对用户的实验场景进行实时的感知和理解；手腕部分使用3D打印材料制作小型包围盒，在包围盒中固定微型的双目摄像头，捕捉用户实验时周围环境的图像序列。用户在佩戴智能手套时，将腕带佩戴于手腕靠近掌心一侧，一方面能够满足可穿戴设备对便捷性的要求，另一方面也能实现对目标操作物体的识别和定位以及用户手部移动轨迹的获取。

智能手套基于YOLOv3网络模型进行实验物品的检测，使用双目摄像头从不同角度、距离拍摄包含不同实验物品标签的图片，对采集到的图片，使用LabelImg标注工具进行标注，并将标注信息作为训练样本送入YOLOv3网络模型中进行训练并得到基于YOLOv3的实验物品检测模型。

本发明实施例选取中学实验教学中几个典型的实验样本进行样本集的制作，在进行训练图片采集时，使用双目相机从不同的视角采集包含实验物品标签的实验场景数据。在进行数据采集过程中，为了保证智能手套能够在不同的实验情境中实现实时的场景感知，本发明实施例共采集了处于23种情况下的20000张图片作为训练集，之后使用LabelImg工具对图片进行标注。

训练时，本发明实施例只对90％的彩色图像进行了标注，剩下的10％用来对最终获得的模型进行评价。本发明实施例基于caffe2框架对模型进行训练，初始学习率设置为0.001；训练次数设置为60000次；批量大小设置为1。梯度下降的方法采用的是随机梯度下降法(SGD)。

用户在进行实验过程中，智能手套需要获取用户的手部移动轨迹，并且实时映射到虚拟实验平台中。本发明实施例使用ORB-SLAM2系统实现智能手套移动轨迹的感知，并在实验仪器中间位置放置带有实验物品标签的圆环标记，保证智能手套每一帧均能精准提取到特征点信息，保证轨迹获取的流畅性。使用张正友棋盘格标定法对双目相机进行标定，之后使用标定后的相机进行图像的获取，进而使用ORB-SLAM2系统获得到智能手套的移动轨迹。

获取智能手套的移动轨迹后，根据虚拟场景和相机位置坐标映射关系实现对坐标信息的处理：

其中，(Pos_x，Pos_y，Pos_z)是相机位置坐标，(U_x，U_y，U_z)是Unity环境的虚拟坐标，K是两者坐标对应的比例关系。

通过Socket通信将处理后的相机三维坐标传输到Unity，由于在使用Socket通信进行数据传输时存在延迟，导致虚拟手在场景中移动时存在卡顿的现象，因此本发明实施例采用基于循环队列的轨迹平滑策略，即Unity在接收到数据后，进行数据解析，将数据解析为系统定义的位置对象，位置对象内存储了相机的三维坐标值，然后将解析好的数据存入循环队列p中，实现对p[i]进行动态的存取，一方面平衡了系统读取数据和写入数据的速度差异，进而提高了运行的效率，另一方面通过对循环队列容量的设定，避免了在数据接收过程中由于缓冲区阻塞而丢失的情况。由于ORB-SLAM2系统是以初始获取的相机位置作为坐标原点，因此将系统获得的相机坐标值p[i]作为虚拟场景中用户虚拟手的位移值，用户虚拟手坐标值P(x，y，z)计算如下：

P(x，y，z)＝(p₀.x+p[i].x，p₀.y+p[i].y，p₀.z+p[i].z)

其中，P₀(x，y，z)为虚拟手初始坐标位置。

在获取到当前虚拟手坐标P(x，y，z)后，则使虚拟手从当前位置以逐帧移动的方式平滑的过渡到P(x，y，z)位置，从而完成了对智能手套移动轨迹的感知与呈现。

在用户进行实验的过程中，设置目标物体O。每次进行实验操作时，用户所操作的目标物体O将会进行动态更新。为了更好的判断实验物品之间的相对位置关系，设置实验用品信息库E，里面存储不同实验物品的尺寸信息，每当用户手中捕获到目标物品，系统将根据目标物体的尺寸对当前选择物品的位置信息进行更改，从而更准确的判断用户行为。

通过基于智能手套的场景感知算法对实验场景进行感知，输入为双目相机捕获的实验场景图像p，输出为智能手套自身位置信息集合Oh，目标物体信息集合O，智能手套与目标物体的距离d。

S201、获取实验场景图像p；

S202、使用ORB-SLAM算法获取当前智能手套位置信息Oh(x_h,y_h,z_h)并输出Oh到Unity平台，使用TSS算法对Oh进行处理；

S203、调用目标检测模型FC，对p进行实验物品检测，并将检测结果存入Omap；

S204、若Omap为空，则返回步骤S201；若Omap不为空，则调用双目相机定位算法BinP获取目标物体三维坐标Ow(x,y,z)；

S205、判断当前用户操作物体集合Oh是否为空；若Oh为空，则执行步骤S206；若Oh不为空，执行步骤S207；

S206、对Oh与Ow不断执行以下操作，获取两者之间的距离d；

若d满足

为判定智能手套是否进入可操作范围的阈值，则在虚拟场景中显示对应的目标物体模型，并从实验用品信息库E中查询Ow所对应的实验用品的尺寸信息，对Oh进行修改，将Ow所对应的实验用品名称与修改后的Oh存入Oh，令O＝Oh,输出O；

S207、将Ow(x,y,z)以及对应的实验物品类别存入O；

S208、对Oh与O的坐标信息不断执行以下操作，获取两者之间的距离d：

若d满足d￡ξ，ξ为判定目标物体是否可操作性的阈值(该阈值根据不同目标物体的尺寸信息确定),则在虚拟场景中显示对应的目标物体模型，并输出O，d。

构建基于场景感知的多模态智能导航式交互范式总体框架，如图2所示，分为三个层面，输入层、交互层、呈现层。在输入层中，智能手套通过麦克风，智能手套等交互设备获取到来自语音，传感器以及视觉通道的数据，经过数据预处理后，将数据传入交互层。在交互层中，智能手套首先对来自三个通道的数据进行语义提取，获取到来自三个通道的子意图集。基于贝叶斯推断的用户意图理解算法，对来自三个通道的子意图进行整合，从而获取到用户的实验意图。针对用户不同的实验意图，结合设定好的知识库，对用户的实验行为进行判别，最终输出用户的实验意图，实验行为以及语音反馈。交互层的输出结果，最终将在交互界面中进行呈现。

在意图推断过程中，输入信息包括传感器信息、语音信息以及图像信息，输出信息为用户实验意图I^＊。系统捕获到多通道信息并进行识别后，将对用户行为进行推断。当系统获取到的语音信息与视觉通道信息一致或者是未使用语音输入时系统将对用户行为进行整合获取到在第i个时间标签上整合后的行为序列O_i。若语音指令与视觉通道信息不一致时，则进行语音交互并让用户选择当前手部操作是否正确，若判别结果为d₁，表示用户认定当前手部操作错误，则保留语音信息，提示用户将重新进行操作；若判别结果为d₂，表示用户认定手部操作正确，系统将按照手部行为去整合行为序列O_i。此时将结合上下文情景信息进入意图筛选过程，意图筛选过程为整个意图推断策略的核心，在每一次筛选完成后，均需要判断筛选出的意图是否可靠，若意图可信度未达到阈值Θ，系统将持续在意图筛选状态与系统输入之间互动。此后在用户意图未改变的状态将持续认定用户意图为I^＊，并按照I^＊所对应的实验操作执行。

所述基于贝叶斯推断的用户意图理解算法，实际为将意图筛选问题定义为分类任务，在用户给定实验操作的情况下，智能手套从可能的实验目标集合I中推测出实验目标I^＊。

为智能手套与用户的交互过程预先设立知识库，存储实验类别以及每一个实验所对应的步骤以及所用到实验设备，实验目标集合设定为I＝{I₁,I₂,I₃,....I_n}，其中I_n为不同的实验类别。当智能手套接收到多通道信息并整合出用户行为后，系统将获得到用户行为序列O_i，其中i为系统设定的时间标签。因为用户在进行实验时，在操作的顺序上往往是带有连贯性的，因此在进行用户意图筛选时，除了要用到知识库中的信息，还需要结合当前用户操作的上下文信息集合η{O₁,O₂...O_i-1}，其中η中每个值均相互独立。在t时间段内，当智能手套获取到用户的行为序列O_i后，则将O_i加入η中，形成推断证据集合δ，那么根据贝叶斯规则，需要根据证据集合δ计算当前用户可能的实验目标I_k的概率P(I^k|δ)，即：

P(I_k|δ)＝max{P(I₁|δ),P(I₂|δ),P(I_j|δ),...P(I_n|δ)}

其中,P(I_n|δ)的计算过程如下：

由于δ中每个值均为离散的，因此P(O_i|I_n)即代表O_i在类别I_n对应的特征中所出现的频次，则有：

对于得到的P(I_k|δ)，需要对其进行置信度判断，若P(I_k|δ)大于意图确定阈值Θ则认定用户当前最可能的实验目标为I_k，否则将持续维持意图筛选状态。在上述意图筛选的过程中，智能手套在进行每一次意图筛选后，若O_i在类别I_n对应的特征中所出现的频次为0，那么I_n将不再参与下一次意图筛选，即用户可能的实验目标集合是动态更新的。对于I_k，仅通过进行置信度判断将其作为最终的实验目标带有不准确性，还需由用户进行认可。因此在获得I_k后，智能手套将会对用户发出主动询问，得到用户的认可后，系统将认定I_k为可靠的实验目标。通过递归的进行意图筛选过程，智能手套将从用户可能的实验目标集合中筛选出最终实验目标I^＊，之后将I^＊中的规则作为先验知识对用户行为进行判别。

获取到用户的实验意图后，智能手套将会结合知识库中的规则对用户行为进行判别，并对用户的实验行为输出相应的语音反馈，引导用户规范的完成实验。所述基于场景感知的导航式交互算法具体如下：

输入为：实验场景图像p，传感器信息集合S，语音指令V；

输出为：用户实验意图I^＊，场景响应结合a，语音提示。

S301、获取来自各个通道的信息，并进行预处理；

S302、对S进行语义提取，获取当前用户手部状态集合B；

S303、调用IGSPA算法对p进行处理，获取智能手套自身位置信息集合Oh，目标物体信息集合O，智能手套与目标物体的距离d；

S304、将Oh传入unity平台，并调用TSS算法进行移动轨迹映射；

S305、整合B，O，d，获取当前用户行为O_i，输出场景响应集合a{a₀,a₁,a₂,...a_n}；

S306、判别V是否为空，若不为空则调用百度API对V进行分析，获取操作对象Ta；

S307、判别O中的目标物体名称与Ta是否一致，若一致，则将O_i存入实验行为集合δ；否则输出语音提示Y1，询问用户是否继续手部操作；

S308、若用户确认手部行为，则将O_i存入实验行为集合δ；否则，保留Ta，返回步骤S301；

S309、结合实验目标集合I＝{I₁,I₂,I₃,....I_n}，使用公式(7)对δ进行贝叶斯推断，获取计算结果P(I_n|δ)；

S310、令P(I^k|δ)＝max(P(I_n|δ))，判别P(I_k|δ)是否大于意图确定阈值Θ；

S311、若P(I_k|δ)>Θ，则认定用户当前最可能的实验目标为I_k，并向用户输出语音提示Y2，向用户确认实验意图是否正确；

S312、若用户认为I_k错误，则输出语音提示Y3，返回步骤S301，并更新实验目标集合I＝{I₁,I₂,I₃,....I_n}；

S313、若用户确认实验意图为I_k，则令实验意图I＝I_k，从知识库中查询I所对应的规则集合R{r₁,r₂,r₃..r_n}，并按照R{r₁,r₂,r₃..r_n}中所对应的规则判别用户行为，直至实验结束；

S314、若O_i不符合r_i，则使用语音向用户提示，当前操作错误，并提示正确步骤。

在该算法中，Y1提示“当前手部行为与语音指令不一致，是否继续执行实验操作”；Y2提示“当前实验目标为I_k，请问是否正确”；Y3提示“请继续执行实验操作”。

本发明实施例通过智能手套对实验场景中的物体信息以及相应的位置关系进行实时感知，学生佩戴智能手套能够操作真实的实验用具，配合虚拟的实验平台进行实验，从而提升学生的实验沉浸感。在场景感知的基础上，本发明还提出了一种融合了语音，视觉，传感器信息的智能导航式交互范式去推测用户的实验意图，结合用户的行为对用户实验的规范性进行监控，并给予用户对应的操作反馈与指导。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于智能手套的实验场景感知交互方法，其特征在于，所述方法包括以下操作：

S1、在智能手套上安装视觉图像捕获设备，通过智能手套采集实验物品图像数据，并根据采集到的图片进行模型训练，得到实验物品检测模型；

S2、通过ORB-SLAM算法获得智能手套的移动轨迹，并基于智能手套进行场景感知，在虚拟场景中构建目标物体模型；

S3、通过基于贝叶斯推断的用户意图理解算法对智能手套的语音信息、传感器信息以及图像信息进行整合，动态推断用户意图；

S4、获取到实验意图后，通过基于场景感知的导航式交互算法判别用户行为，并对用户的实验行为输出相应的语音反馈，完成实验操作。

2.根据权利要求1所述的一种基于智能手套的实验场景感知交互方法，其特征在于，所述智能手套的手掌部分通过使用Flex传感器获取用户手指弯曲度的变化，通过Mpu6050姿态传感器还原用户手部的姿态，树莓派开发板用于根据用户的行为对用户的实验场景进行实时的感知和理解；手腕部分设置包围盒，在包围盒中固定微型的双目摄像头，捕捉用户实验时周围环境的图像序列。

3.根据权利要求1所述的一种基于智能手套的实验场景感知交互方法，其特征在于，所述智能手套基于YOLOv3网络模型进行实验物品的检测，将采集到的图片，使用LabelImg标注工具进行标注，并将标注信息作为训练样本送入YOLOv3网络模型中进行训练并得到基于YOLOv3的实验物品检测模型。

4.根据权利要求1所述的一种基于智能手套的实验场景感知交互方法，其特征在于，所述智能手套的移动轨迹的坐标值计算公式如下：

P(x，y，z)＝(p₀.x+p[i].x，p₀.y+p[i].y，p₀.z+p[i].z)

其中，p₀(x，y，z)为虚拟手初始坐标位置，p[i]为位置循环队列。

5.根据权利要求1所述的一种基于智能手套的实验场景感知交互方法，其特征在于，所述基于智能手套进行场景感知具体过程如下：

输入为双目相机捕获的实验场景图像p，输出为智能手套自身位置信息集合Oh，目标物体信息集合O，智能手套与目标物体的距离d；

S201、获取实验场景图像p；

S202、使用ORB-SLAM算法获取当前智能手套位置信息Oh(x_h,y_h,z_h)并输出Oh到Unity平台，使用TSS算法对Oh进行处理；

S203、调用目标检测模型FC，对p进行实验物品检测，并将检测结果存入Omap；

S204、若Omap为空，则返回步骤S201；若Omap不为空，则调用双目相机定位算法BinP获取目标物体三维坐标Ow(x,y,z)；

S205、判断当前用户操作物体集合Oh是否为空；若Oh为空，则执行步骤S206；若Oh不为空，执行步骤S207；

S206、对Oh与Ow不断执行以下操作，获取两者之间的距离d；

若d满足

为判定智能手套是否进入可操作范围的阈值，则在虚拟场景中显示对应的目标物体模型，并从实验用品信息库E中查询Ow所对应的实验用品的尺寸信息，对Oh进行修改，将Ow所对应的实验用品名称与修改后的Oh存入Oh，令O＝Oh,输出O；

S207、将Ow(x,y,z)以及对应的实验物品类别存入O；

S208、对Oh与O的坐标信息不断执行以下操作，获取两者之间的距离d：

若d满足

ξ为判定目标物体是否可操作性的阈值,则在虚拟场景中显示对应的目标物体模型，并输出O，d。

6.根据权利要求1所述的一种基于智能手套的实验场景感知交互方法，其特征在于，所述基于场景感知的导航式交互算法具体为：

S301、获取来自各个通道的信息，并进行预处理；

S302、对S进行语义提取，获取当前用户手部状态集合B；

S303、调用IGSPA算法对p进行处理，获取智能手套自身位置信息集合Oh，目标物体信息集合O，智能手套与目标物体的距离d；

S304、将Oh传入unity平台，并调用TSS算法进行移动轨迹映射；

S305、整合B，O，d，获取当前用户行为O_i，输出场景响应集合a{a₀,a₁,a₂,...a_n}；

S306、判别V是否为空，若不为空则调用百度API对V进行分析，获取操作对象Ta；

S307、判别O中的目标物体名称与Ta是否一致，若一致，则将O_i存入实验行为集合δ；否则输出语音提示Y1，询问用户是否继续手部操作；

S308、若用户确认手部行为，则将O_i存入实验行为集合δ；否则，保留Ta，返回步骤S301；

S309、结合实验目标集合I＝{I₁,I₂,I₃,....I_n}，使用公式(7)对δ进行贝叶斯推断，获取计算结果P(I_n|δ)；

S310、令P(I_k|δ)＝max(P(I_n|δ))，判别P(I_k|δ)是否大于意图确定阈值Θ；

S311、若P(I_k|δ)>Θ，则认定用户当前最可能的实验目标为I_k，并向用户输出语音提示Y2，向用户确认实验意图是否正确；

S312、若用户认为I_k错误，则输出语音提示Y3，返回步骤S301，并更新实验目标集合I＝{I₁,I₂,I₃,....I_n}；

S313、若用户确认实验意图为I_k，则令实验意图I＝I_k，从知识库中查询I所对应的规则集合R{r₁,r₂,r₃..r_n}，并按照R{r₁,r₂,r₃..r_n}中所对应的规则判别用户行为，直至实验结束；

S314、若O_i不符合r_i，则使用语音向用户提示，当前操作错误，并提示正确步骤。

Images