CN109992107B - 虚拟操控装置及其操控方法 - Google Patents

Abstract

本发明的虚拟操控装置及其操控方法，装置包括：模拟部，通过将电子信息加装在某一具有实体形状的物品上，用于模拟实验器具或实验材料；识别部，通过识别人体动作姿态对应的操作手势，将操作手势附加到模拟部上；转换部，将识别部中操作手势与模拟部的结合转化成三维演示图像；显示部，将转换部转化成的图像显示为人眼可看的视觉影像。方法包括：读取单元选择实验器具及实验材料；选择初始操作的实验器具；基于手势行为，确定初始操作；识别运动轨迹，判断实验器具的移动方向；判断实验器具之间的位置，确定倾倒结果正确；生成实验操作过程；将上述操作过程转化成三维图像，并显示在显示部。该发明能够进行虚拟实验的操作和演示。

Description

虚拟操控装置及其操控方法

技术领域

本发明涉及人机交互领域，具体涉及虚拟操控装置及其操控方法。

背景技术

近年来，手势识别在虚拟实验中应用成为人机交互领域的研究热点，其主要目的，在于对操作者的操作过程进行图像和手势识别，从而将实验过程通过三维动画的形式演示出来，既保证了学生的实际动手能力，用能减少贵重实验材料的损耗，同时，也可以防止学生在操作危险实现材料时发生意外事故。

现有阶段的虚拟实验，需要建立完备的试验仿真环境，也就是说，当实验这需要进行一种实验时，除了实验材料外，所有的实验器具需要一应俱全，同时，还需要设置专门的实验台用于图像采集，才能起到仿真演示的目的。

然而，对于一些偏远地区的学校来说，并不能提供完备的实验器材，因此，无法进行实验操作的演示。

发明内容

为了解决上述问题，本申请提供了虚拟操控装置及其操控方法，能够基于任何环境和实体物体，进行虚拟实验的操作和演示。

本发明公开了如下技术方案：

本发明实施例提供了一种虚拟操控装置，所述的装置包括：

模拟部，通过将包含电子信息的物体加装在某一具有实体形状的物品上，用于模拟实验器具或实验材料；

识别部，通过识别人体动作姿态，生成对应的操作手势，将操作手势附加到模拟部上；

转换部，将识别部中操作手势与模拟部的结合转化成二维或三维演示图像；

显示部，将转换部转化成的图像显示为人眼可看的视觉影像。

进一步的，所述的装置还包括：

演示部，用于对错误操作发出报警提示，并在显示部播放错误操作导致不良后果的真实或模拟影像。

进一步的，包含电子信息的物体包括储存有电子信息的电子标签或图形码。

进一步的，所述的识别部包括：

电子信息读取单元，用于从模拟部读取电子信息，识别对应的实验器具或实验材料；

操作手势识别单元，识别人体动作姿态，生成对应的操作手势，所述的操作手势为对应的手势行为或手势命令；

操作轨迹识别单元，用于识别操作手势的运动轨迹；

操作距离判断单元，用于识别实验器具之间的距离；

操作过程合成单元，用于将操作手势识别单元、操作轨迹识别单元、操作距离判断单元的识别结果附加到实验器具或实验材料上，生成实验操作过程。

进一步的，所述的识别部还包括：

增强单元，用于对实验材料之间的反应效果进行图像增强。

进一步的，所述的识别部还包括：

手势行为训练单元，基于倾斜传感器和LSTM模型训练手势的姿态与对应的识别结果。

进一步的，所述的识别部还包括：

手势命令识别单元，基于深度神经网络模型，训练隔空手势与实验场景交互的识别结果。

基于上述的装置，本发明实施例还提供了一种虚拟操控装置的操控方法，所述的方法包括以下步骤：

S1：利用电子信息读取单元选择实验器具及实验材料；

S2：选择初始操作的实验器具；

S3：操作手势识别单元基于手势行为，确定初始操作；

S4：操作轨迹识别单识别运动轨迹，判断实验器具的移动方向；

S5：操作距离判断单元判断实验器具之间的位置，确定倾倒结果正确；

S6：基于步骤S3-S5的操作，操作过程合成单元生成实验操作过程；

S7：转换部将上述操作过程转化成三维图像，并显示在显示部。

进一步的，所述的方法还包括：

S0：训练手势行为及手势命令，建立手势行为及手势命令的识别结果。

进一步的，步骤S0中，训练手势行为，建立手势行为识别结果的具体步骤为：首先，在密封的试管内装入流体或具有流动性的固体物，并在瓶口中心设置摄像头，摄像头方向朝向瓶底位置，摄像头将图像信号传到手套上的中心处理芯片，在试管内壁上设置不同的易于计算机图像识别的图案条纹；其次，通过多次试验，建立实验试管的倾斜度与摄像头得到的图像之间的对应关系；第三，在每一个试管倾斜度下，根据两个相邻指节之间的倾斜度计算两个相邻指节之间的夹角，并利用这些夹角建立可视化三维手势模型。

进一步的，步骤S0中，训练手势行为，建立手势行为识别结果的具体步骤为：对每一种手势行为，用倾斜传感器内的摄像头拍摄图像序列，反复采集图像序列样本，得到该行为样本大数据库，直到不同手势行为采集完毕为止；采用LSTM(Long short-term memory)框架训练行为识别模型；对于手势行为图像序列，利用LSTM模型得到手势行为识别结果。

进一步的，步骤S0中，训练手势行为，建立手势行为识别结果的具体步骤为：

将指节按照一定顺序编号；

将每个指节上的倾斜传感器产生的图像按照指节顺序形成一个15维图像序列I；

将倾斜传感器设置在数据手套上，通过数据手套实时获取三维手势模型数据；

通过卷积神经网网络深度学习算法(CNN)建立I与M之间的对应关系；

将M在屏幕上可视化。

进一步的，步骤S1的具体实现过程为：

读取电子信息，获取全部的实验器具及实验材料信息；

选择本次实验选用的实验器具及实验材料。

进一步的，步骤S4的具体实现方式为：

从拍摄的图像中分割出手势图像；

由手势图像的横坐标、纵坐标，得到手势沿水平面的运动轨迹；

比较轨迹手势中每一组相邻两个手势轨迹点的横坐标与纵坐标的差值并取大值，紧接着将每一组的大值进行求和计算，得到拟合时需要的颜色种类的个数length；

选取绿色作为手势轨迹的开始，选取红色作为手势轨迹的结束，选取从绿色到红色过度的512种颜色作为手势轨迹开始到结束的中间部分，根据sl＝512/length计算拟合的每个颜色点之间颜色变化的步长sl；

依次按照计算好的颜色点的个数和颜色点之间颜色变化的步长，采用一次曲线对轨迹手势的轨迹点进行拟合，得到拟合后的轨迹手势曲线；

从拟合后轨迹手势图片的四个方向依次向图像内部扫描，当扫描经过手势区域时即为该方向有效区域的边界，此时手势图像被四条扫描线围成的矩形包围起来，然后，按照处理深度图像的方法处理拟合后的轨迹图像，得到拟合后的轨迹手势的正方形图像；

将处理后的轨迹手势图像映射到标准图像大小上。

进一步的，步骤S5的具体实现方式为：首先，通过电子信息读取单元，识别每一个实验器具的身份；然后，确定当前操作的实验器具；最后，利用当前操作实验器具的信号强度为基准，建立其它实验器具相对于该基准的强度差值，并由此计算每一个实验器具之间的位置关系。

本发明的有益效果：

该设计基于任何有形的实体作为载体，脱离了对于实验器具的束缚，能够以任何实体结构模拟实验器具，同时，其操作环境不受地域和空间的限制，能够满足几乎任何环境下实现操作的演示，解决了偏远地区实验中设备仪器缺乏的问题。

对于实时控制环节，通过手势行为、手势命令的训练，可以实现对于实验器具的操作识别和对于实现场景的操作识别，其中，对于实现器具的操作识别包括动作、轨迹、距离等功能，实现了精细化的虚拟控制，通过人机交互方式控制实验过程的虚实融合呈现，从根本上克服实验过程有毒或危险、实验过程与现象无法观察、实验机理难以被认知、实验方法不利于培养用户的动手能力等重大问题。

附图说明

图1为本发明实施例装置的原理框图；

图2为本发明实施例方法的流程图；

图3为本发明中CNN的基本模型结构；

图4为本发明手势命令识别的流程图；

图5为本发明优化手势数据库分布的技术原理图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。本领域技术人员应当知晓，下述具体实施例或具体实施方式，是本发明为进一步解释具体的发明内容而列举的一系列优化的设置方式，而该些设置方式之间均是可以相互结合或者相互关联使用的，除非在本发明明确提出了其中某些或某一具体实施例或实施方式无法与其他的实施例或实施方式进行关联设置或共同使用。同时，下述的具体实施例或实施方式仅作为最优化的设置方式，而不作为限定本发明的保护范围的理解。

实施例

本发明实施例提供了一种虚拟操控装置，所述的装置包括：模拟部，通过将包含电子信息的物体加装在某一具有实体形状的物品上，用于模拟实验器具或实验材料；识别部，通过识别人体动作姿态对应的操作手势，将操作手势附加到模拟部上；转换部，将识别部中操作手势与模拟部的结合转化成二维或三维演示图像；显示部，将转换部转化成的图像显示为人眼可看的视觉影像。

对于上述结构在实际中的应用，下面结合一个具体的结构说明：

如图1所示，建立一个模拟的实验台，称为智能箱，智能箱由箱体、摄像机等所组成。箱体是由普通材料制成的模具，在一个箱体内设置摄像机，箱体顶部为全透明，摄像机镜头对准箱体顶部方向。

箱体顶部放置实验设备器具模型(可以由塑料、纸质等普通材料制成)，用来作为模拟部，实验设备器具模型设置有RFID芯片、二维码等电子信息存储工具，同时底部贴有标识图案。

识别部包含一个智能手套，智能手套由设置在普通手套上的RFID芯片/读写器、通讯模块、条码读写器、倾斜传感器、液晶显示条、中心处理芯片等基本部件所组成，根据需要，可以在手套上的不同手指上设置倾斜传感器。手套上的所有部件都与中心处理芯片相连，中心处理芯片上放置本发明核心算法。

核心算法包括电子信息读取单元，用于从模拟部读取电子信息，识别对应的实验器具或实验材料；操作手势识别单元，用于识别操作手势，得到对应的手势行为或手势命令；操作轨迹识别单元，用于识别操作手势的运动轨迹；操作距离判断单元，用于识别实验器具之间的距离；操作过程合成单元，用于将操作手势识别单元、操作轨迹识别单元、操作距离判断单元的识别结果附加到实验器具或实验材料上，生成实验操作过程；增强单元，用于对实验材料之间的反应效果进行图像增强。手势行为训练单元，基于倾斜传感器和LSTM模型训练手势的姿态与对应的识别结果；手势命令识别单元，基于深度神经网络模型，训练隔空手势与实验场景交互的识别结果。

转换部为带有渲染功能的现有的三维软件。实验设备器具、实验材料、实验过程、实验现象等采用虚拟仿真、动画、虚拟过程与真实实验录像交替呈现等方法进行虚实融合计算、渲染，并在显示设备上进行呈现。与现有方法不同的是，所述的渲染方法具有多模态交互接口，它与交互模块相互支撑。本发明的渲染是为交互服务的，即交互的呈现是随着用户的行为的变化而变化。

显示部在该实施例中选用常见的显示器。

演示部为软件，包含在核心算法内，用于对用户的错误行为，给出报警提示；对用户的错误行为，在显示设备上呈现出该错误行为引发的负面后果；采用信息增强技术，在显示设备上呈现真实实验过程中无法观察到的现象。

此外，对于该实施例的结构，还具有以下几项设置：

RFID标签放进带开关门(按压开关)的金属盒中，按压金属盒的开/关可以控制RFID标签是否可以被屏蔽。在实验设备器具模型底部贴有设备标识、或实验材料名称标签、或采用颜色标识，使得箱体内的摄像头便于识别实验设备器具模型。摄像机通过识别实验设备器具底部的标识图案，采用目前公知的机器深度学习算法就可以实现对标识图案的识别，再进一步通过数据库索引检索出实验设备器具信息。通过识别实验设备器具的位置，可以感知用户是否将设备放置在正确的位置；如果放置位置不正确，可以给用户提示或报警。此外，建立实验材料名称与放置位置关系表，再通过语音识别出材料名称，可以检测并用语音等多模态方式提示用户该材料放置的具体位置。

有麦克风与手套上的中心处理芯片相连，中心处理芯片接收并识别用户的声音。

在中心处理芯片中设置数据库以描述实验设备器具名称、实验材料名称、物理性质、化学性质等与实验目标有关的基本信息。

采用WIFI或蓝牙设备实现中心处理芯片与显示设备的互通互联。

需要说明的是，本发明采用智能箱中的摄像机识别结果、智能手套上的RFID识别结果以及条码读写器的识别结果，多种识别结果可以用多种方法进行融合，使得本智能实验平台具有冗余容错的能力和多种交互通道选择功能。具体方法为：

融合方法1：采用现有的隐马尔科夫模型(HMM)、贝叶斯(Bayes)模型等公知方法将多路识别结果进行融合。

融合方法2：独立使用其中一种设备进行感知识别，另外设备的感知识别仅仅作为候选设备备用。

融合方法3：摄像机与RFID的感知对象分工互补。例如，RFID和条码读写器主要识别实验设备器具模型内的实验材料，箱体内的摄像机主要感知手势运动轨迹，手套感知用户的操作行为。

融合方法4：摄像机与RFID的感知识别结果进行比对，多方验证可以发现设备本身的识别错误，增加系统感知的鲁棒性和精准度。例如，当摄像机、RFID和条码读写器在识别同一实验设备器具模型时，如果它们的识别结果不一致，就可以实时反馈给用户或给出出错信号。

如图2所示，基于上述的装置，本发明实施例还提供了一种虚拟操控装置的操控方法，所述的方法包括以下步骤：

S0：训练手势行为及手势命令，建立手势行为及手势命令的识别结果。

为了训练手势行为，在密封的试管内装入流体或具有流动性的固体物，并在瓶口中心设置摄像头，摄像头方向朝向瓶底位置，摄像头将图像信号传到手套上的中心处理芯片，在试管内壁上设置不同的易于计算机图像识别的图案条纹。其中，流体或具有流动性的固体物包括液体、固体、气体等种类的流体。

建立手势行为的识别结果，有多种方式，下面列举三种作为说明。

方式1：首先，建立实验试管的倾斜度与摄像头得到的图像之间的对应关系；其次，根据两个相邻指节之间的倾斜度计算两个相邻指节之间的夹角；根据这些夹角建立可视化三维手势模型。

方式2：

1)对一种手势行为，用倾斜传感器内的摄像头拍摄图像序列；反复采集图像序列样本，得到该行为样本大数据库；

2)对下一种手势行为，转第1)步，直到不同手势行为采集完毕为止，转第3步；

3)采用LSTM(Long short-term memory)框架训练行为识别模型；

4)对于手势行为图像序列，利用LSTM模型得到手势行为识别结果；

5)将一个或多个倾斜传感器设置在手套的一个或多个手指上，利用第1)步到第4)步，可以感知更多复杂的手势/手形姿态模型。

方式3：

1)将指节按照一定顺序编号。例如，可以从大拇指开始到无名指结束，每个手指从根指节开始到末指节结束。

2)将每个指节上的倾斜传感器产生的图像按照指节顺序形成一个15维图像序列(每个手指三个指节)I。

3)将I与三维手势模型M建立对应关系。具体方法为：将倾斜传感器设置在数据手套上，通过数据手套实时获取三维手势模型数据；通过卷积神经网网络深度学习算法(CNN)建立I与M之间的对应关系；将M在屏幕上可视化。

需要注意的是，上述的三种方式可以单独使用，也可以同时使用，可以将不同方式的识别结果进行对比，获得更好的识别。

通过箱体内的摄像机实现手势识别，使得用户可以用隔空手势与显示器上的实验场景进行自然交互(场景对象的缩放、旋转等)。在本文中，手势和人体态势采用相同的CNN模型作为CNN的基本模型结构，如图3所示。

输入层输入图像的大小为32×32，神经元中的激活函数均为sigmoid函数。

卷积层C1由8个特征图组成，每个神经元与一个大小为5×5的卷积核进行卷积。由于不考虑边界进行拓展卷积，因此，每个特征图的大小为28×28。

池化层S2由8个特征图构成，特征图中的每个神经元与C1中相对应特征图的2×2区域相连，由于每个神经元的2×2区域互不重叠，故S2中每个特征图的大小为14×14。

卷积层C3层是通过5×5的卷积核卷积S2层。C3层中的每个特征图连接S2层中的所有8个或者部分特征图组合，即表示本层的特征图是由上一层提取到的特征图的不同组合通过卷积得到(组合方法见表1)。采用组合的原因是为了模拟人眼视觉中底层结构构成的上层更抽象的结构。

S4是由30个大小为5×5的特征图组成的池化层，其特征图的每个神经元与C3层的一个2×2大小的邻域相连接。

C5是由200个特征图组成的卷积层，使用全连接，每个神经单元与S4层的所有特征图的5×5区域相连，C5层特征图的大小为1×1。

最后，采用BP神经网络完成特征分类，输出识别结果。

图4中，g是输入的原始手势，CNN(i)表示基于子数据库Mix_DataSet(i)训练出的深度神经网络模型，Oi表示CNN(i)的输出手势编码，CNN-Oi(g)表示基于数据库Bin_DataSet(Oi)的深度神经网络模型，其输出结果为Y_i。每个Y_i的值为“Y/N”。

如图4所示，具体实现原理为：

利用场景的深度信息和RGB值把手势从人体图像帧中分割出来，得到手势g。

把g同时送往CNN混合模型群并行地、独立地进行识别，得到识别结果O1,O2,…,ON(其中，N是混合模型群中CNN的个数)。把手势数据库Big_DataSet中的所有样本分布到不同的子库中，然后分别在各个子库上独立训练CNN模型，就得到CNN混合模型群。分布数据库Big_DataSet的基本目标是使得所有训练样本手势的识别率达到100％。

用二分类CNN模型群对每个Oi进行二分识别，得到识别结果Y_1,Y_2,…,Y_N。

对每一个手势训练出一个CNN模型，但该模型只进行二分识别，即判断输入手势是不是某一种特定的手势。例如，假设CNN-O(palm)为识别包袱手势的一个二分类CNN模型，则在所有不同的手势输入中，它只能把包袱手势识别出来。得到一个二分类CNN模型CNN-Oi的方法是：采用CNN结构，利用监督学习方法把Big_DataSet中的所有输入手势分为两类:手势i为一类，剩下的为另外一类。这样，就得到CNN结构的训练参数。

用“N选一”技术过滤掉二分识别结果为“N”的手势，输出二分识别结果为“Y”的手势，得到识别结果g′。对Y_1,Y_2,…,Y_N这N个结果，选择其值为“1”(即′Y′)所对应的手势为输出手势，因为当且仅当二分CNN模型的输入手势与手势g相同时，其输出结果才为“1”。例如，假设N＝4,输入手势g为包袱手势，经过第一级CNN混合模型群假设产生4个输出结果：剪刀手势，拳头手势，包袱手势，胜利手势。这4种手势通过二分CNN模型群，对应的输出结果假设为0,0,1,0。可见，第3个二分CNN模型验证了该二分CNN模型的输入手势就是手势g。

需要注意的是，构建CNN混合模型群的基本策略是不断调整子数据库的分布，在每个子数据库上独立训练CNN模型，使得在产生的CNN模型群上的测试结果达到规定的识别率。图5中，CNN(i)表示基于子数据库Mix_DataSet(i)训练出的深度神经网络模型。

基于上述研究思路，动态分布手势数据库的具体算法如下：

输入：(a)M个手势类构成的手势数据集Big_DataSet；(b)在Big_DataSet上训练出的CNN模型。

输出：Mix_DataSet。

使得每个Mix_DataSet(k)的类内“距离”最大化。

算法步骤：

(1)初始化：

这里Ψ和Ω表示手势集的集合，它们被初始化为空集

(2)训练二分CNN模型。对每种手势k(k＝1,2,…M)：把Big_DataSet上的手势分为两类：手势k组成的类和非手势k组成的类；训练手势k的二分CNN模型CNN-Ok。

(3)计算每两个手势之间的距离矩阵D：在每个二分CNN模型CNN-Oi的最后一个池化特征层(Feature Map)按照从上到下、从左到右的顺序把各个像素值组装为一个一维向量fm(i)＝(fmi,1,fmi,2,…,fmi,s)；计算Big_DataSet上M个手势之间的“距离”矩阵D＝{di,j}M×M。

(4)在满足一定距离条件

下的矩阵D中元素最大值所对应的手势(i,j)保存到集合Ω中，并把元素(i,j)从D中删除(即令dij＝0)，即IF

THENΩ←Ω∪{i,j}，di,j←0，其中，

表示刷新后的矩阵D中的最大值大于一个经验值，使得不同手势之间具有足够的区分度。di,j越大，则两个手势之间的区分度就越大。{i,j}表示手势i和手势j所组成的集合)。

(5)转步骤(4)，直到对所有i,j都不满足条件

为止。

(6)对于所有i,j，若di,j≠0，则Ω←Ω∪{i}∪{j}。

(7)计算Ω的Hausdorff距离矩阵H＝{hi,j}U×U：

hi,j＝Hausdorff(F(Ωi),F(Ωj))，其中，U是Ω中元素的个数，Ωi表示Ω中的第i个元素，F(Ωi)＝{fm(i1),fm(i2),…,fm(iv)}，Hausdorff(·,·)表示两个集合之间的Hausdorff距离。

(8)把H中满足距离条件

的最大值所对应的两个元素求并集，把并集结果放到集合Ψ中：

IF

THENΨ←Ψ∪{Ωi∪Ωj}，hi,j←0，转步骤(7)，直到对所有i,j都满足条件

为止；

对于所有i,j，若hi,j≠0，则Ψ←Ψ∪{Ωi}∪{Ωj}。

(10)Ω←Ψ。

(11)转步骤(7)，直到对所有i,j都满足

为止。

(12)Mix_DataSet＝{{Θk}|k＝1,2,...,N。N为Ω中元素的个数}。其中，Θk是指由手势集合Ωk所对应的所有手势样本集合。

提出基于二分类(只有一个类)的CNN模型识别，对手势进行二分类识别。对于M个手势类，在每类手势上进行训练，得到CNN-O模型(其中，O是手势模型编号，且1≤O≤M)。通过CNN-O模型，判断两个手势是不是相同。如果相同，CNN-O模型的输出值为“Y”；否则，CNN-O模型的输出值为“N”。

最后，在{Y_1,Y_2,…,Y_N}N个值中输出“Y”所对应的手势编号。

S1：利用电子信息读取单元选择实验器具及实验材料。该过程的实现，主要是对电子信息的读取，实现的具体手段可以有多种，结合实施例中的具体结构，给出下列实现方式。

将微型条码读写器设置在掌心位置，当用户抓住实验设备器具时或在手势朝该设备的运动过程中，条码读写头可以方便地读取该设备上面的二维条码。通过二维条码，获取实验材料等基本信息。为了进一步方便用户操作，可以在实验设备器具上设置多个二维条形码，使得用户任意抓握实验器具条码读写器都可以成功地读取二维条形码。

在实验设备器具模型上设置RFID标签，该标签置入带开关门的金属盒之中，可以用按压的方式开/关(简称按压开关)该金属盒。此外，为了进一步方便使用，可以将RFID标签密封于实验设备器具模型内部，实验设备器具模型表面采用金属片拼接而成，每个金属片可以围绕一个轴旋转。由此，用户随意抓握实验设备器具模型，可以方便地让RFID标签处于密封或开放状态。

确定实验的名称或范围，具体方法为：用户设置金属盒上的RFID开关；获取RFID所能感知到的RFID标签集合；根据RFID标签集合，确定实验材料集合Ω；如果用户选择的实验材料

给出报警或反馈信息。

用户拿住某个实验设备器具模型后，意味着选择了一种实验材料。判断实验设备器具模型对应的实验材料的算法如下：

1)用户用语音表达所要拿的实验材料名称。

2)中心处理芯片用目前公知的语音识别算法识别实验材料名称N。

3)用手抓住实验设备器具。

4)用手触动RFID标签上的按压开关。

5)在RFID检测出的实验设备器具名单中，找出按压开关由“开”到“关”或由“关”到“开”的实验设备器具编号No：假设在用户触按RFID按压开关前，RFID识别出的实验设备器具名单集合为A；在用户触按RFID按压开关后，RFID识别出的实验设备器具名单集合为B。计算差集S：S＝A-B或S＝B-A，其中，A-B表示在集合A中但不在集合B中的实验设备器具名单，B-A表示在集合B中但不在集合A中的实验设备器具名单。从数据库中，根据S中的实验设备器具名单检索出实验材料名称MN。

6)将MN在手套的“液晶显示条”上进行显示。

7)如果“液晶显示条”上显示的名称MN与RFID标识不一致，或者N≠MN，报警并提示用户“拿错实验材料”，并转第1步重新识别。

8)根据S中的实验设备器具名单，从器具存储器中读出材料名称、物理性质、化学性质等基本信息。

9)渲染实验材料，并送往显示设备进行呈现。

S2：选择初始操作的实验器具。具体方式为：用手套抓住实验设备器具模型，按压其上的RFID按压开关；识别出用户当前抓握的实验设备器具ID。

S3：操作手势识别单元基于手势行为，确定初始操作。

S4：操作轨迹识别单识别运动轨迹，判断实验器具的移动方向。具体原理为：

第1步：用特殊颜色(例如黑色)制作手套，使得手势图像便于分割；

第2步：智能箱内的相机采用深度摄像机，获取手势的深度信息，从而实现手势三维轨迹跟踪；

第3步：由手势图像的横坐标、纵坐标，得到手势沿水平面的运动轨迹；

第4步：采用一次曲线依次连接轨迹手势相邻的手势轨迹点，并采用绿色作为轨迹手势的开始，红色作为手势轨迹的结束，由红到绿的渐变色作为轨迹手势的中间部分，假设轨迹手势为一条从左到右的直线，则处理后的手势轨迹图像如下图所示。

详细的轨迹手势轨迹点拟合的处理步骤如下。

步骤4.1：比较轨迹手势中每一组相邻两个手势轨迹点的横坐标与纵坐标的差值并取大值，紧接着将每一组的大值进行求和计算，此时本文得到了拟合时需要的颜色种类的个数，也可称为手势轨迹曲线的长度length；

步骤4.2：选取绿色作为手势轨迹的开始，选取红色作为手势轨迹的结束，选取从绿色到红色过度的512种颜色作为手势轨迹开始到结束的中间部分。根据式sl＝512/length计算拟合的每个颜色点之间颜色变化的步长sl；

步骤4.3：依次按照计算好的颜色点的个数和颜色点之间颜色变化的步长，采用一次曲线对轨迹手势的轨迹点进行拟合，最终得到拟合后的轨迹手势曲线如下图所示；

步骤4.4：从拟合后轨迹手势图片的四个方向依次向图像内部扫描，当扫描经过手势区域时即为该方向有效区域的边界，此时手势图像被四条扫描线围成的矩形包围起来，然后，我们按照处理深度图像的方法处理拟合后的轨迹图像，得到拟合后的轨迹手势的正方形图像；

步骤4.5：将处理后的轨迹手势图像映射到标准图像大小上。

第5步：模型训练与手势识别，该过程采用基于Caffe工具箱来实现卷积神经网络的各个模块，采用AlexNet网络模型作为本文轨迹手势识别的网络模型。

Alexnet网络模型包含5个卷积层分别标号为C1、C2、C3、C4和C5、两个全连接层分别标号的FC6和FC7和一个输出层标号为FC8。每一个卷积层和全连接层都包含一个ReLUs激活函数，ReLUs激活函数与Sigmoid激活函数相比可以大大加快网络模型训练时间。C1、C2卷积层还包含归一化层和卷积核为3×3的池化层，并且C5卷积层也包含卷积核为3×3的池化层，FC6和FC7卷积层包含一个丢失层(dropout layer)，其会以50％的概率将隐藏层的输入置为0，使其不在对前向和后向过程起作用，这样可以大大提高网络模型的训练速度，防止过拟合情况的发生并且提高了系统的泛化能力。

Alexnet选用经过挑选后的轨迹手势图像进行训练，其图像的输入大小为227×227，C1卷积层使用11×11的卷积核，C2卷积层使用5×5的卷积核，C3、C4和C5卷积层使用3×3的卷积核，并且卷积层中的每个单元仅仅与上一卷积层的相邻位置神经元相关，C1、C2、C3、C4和C5这5个卷积层的相应的特征图的个数分别为96、256、384、384和256。同一个特征图中的神经元分享该卷积核的权值，这样大大的减少了训练参数的个数。随着卷积层数的加深，其特征图正在逐步减小，在最后一个池化层后，特征图的大小为6×6。AlexNet网络模型将两个全连接层的神经元扩展为一个4096×1的列向量，全连接层FC8的输出中含有9个神经元，每个神经元的输出值为0到1，代表待识别图像是本类的概率，对应于最大概率的神经元即为识别结果。

第6步：将经过标准化处理后的待识别的轨迹手势图片输入到训练好的网络模型中，经过处理后即可得到该轨迹手势图像属于每一类轨迹手势的概率，概率最大所对应的那类手势即为轨迹手势的识别结果。

S5：操作距离判断单元判断实验器具之间的位置，确定倾倒结果正确。

该步骤中，感知手套抓握物体与其它物体位置关系的算法为：用手套抓住实验设备器具模型，按压其上的RFID按压开关；识别出用户当前抓握的实验设备器具ID；读出各RFID标签的信号强度；将实验设备器具按照信号强度由小到大顺序排列，或采用采用近邻法、多边定位法、接收信号强度等公知方法确定标签所在位置。

S6：基于步骤S3-S5的操作，操作过程合成单元生成实验操作过程。

S7：转换部将上述操作过程转化成三维图像，并显示在显示部。

上述描述主要是针对本发明实施例的装置和方法原理，为了更好的体现本发明的实际使用过程，下面结合两个具体的示例进行阐述。

示例1

采用本发明可以设计一组虚拟实验套件。首先，在一个普通的手套上布置FPGA(Field－Programmable Gate Array)芯片、RFID芯片/读写器等，手套上所有部件与FPGA芯片相连，FPGA运行本发明核心算法。在塑料杯(烧杯)上设置RFID标签，该标签被放进一个带开关门的金属盒。在FPGA相片上建立数据库，该数据库建立标签号与试剂名称之间的索引关系，进而可以索引该试剂的物理性质、化学性质等与具体实验相关的基本信息。制作2只这样的烧杯，在其ID中分别表示浓硫酸和水，并在烧杯外壁和底部贴上名称标识。箱体内的摄像机采用微软的Kinect 2，可以识别烧杯底部的标识以及手套的运动。

采集倾倒、旋转、摇动等三种手势行为图像序列大规模数据样本，采用LSTM(Longshort-term memory)框架训练行为识别模型。

实验时，用户首先带上本发明所述的手套，抓住贴有“浓硫酸”所在烧杯，如果该烧杯上的接触传感器被激活，FPGA芯片通过RFID识别算法识别出“浓硫酸”，并根据“浓硫酸”物理性质在一个显示屏上呈现一个虚拟烧杯以及其内的虚拟浓硫酸。其次，用户抓住另一只贴有“水”所在烧杯，并采用RFID算法对其进行识别。然后，将“水”杯靠近“浓硫酸”杯。通过手套轨迹识别，可以在显示器上实时呈现手套所抓烧杯的运动轨迹。此外，FPGA上的位置关系识别算法找出RFID信号最小的烧杯，将其作为被稀释烧杯。进一步将“水”杯逐渐倾斜，利用倾斜传感器识别算法感知“水”烧杯倾斜角度，并在显示屏上用虚拟方式呈现倾倒过程。进一步，可以根据RFID最小信号的大小，找到这两只烧杯之间的距离范围，超出一定距离范围之外，就可以认为用户“倾倒”的位置不正确，进而给出报警或提示，达到对用户操作行为进行监控与交互的目的。最后，轻轻摇动烧杯。

示例2

用纸杯分别制作里面装“水”和“金属钠”的智能实验设备器具，制作一个代表“镊子”的智能实验设备器具。在实验过程中，用户首先用镊子将金属“钠”从试剂瓶中取出。实验材料识别模块判断用户抓握的是“镊子”而不是其它设备，需要判断取出的是“钠”而不是其它实验材料。其次，、手势行为感知模块感知用户将“钠”放入盛“水”的器具中。然后，用动画等形式在显示器上呈现钠与水反映的机理与过程，并将该动画过程叠加与真实录像之上，实现信息增强。

应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明的具体结构，但不以任何方式限制本发明创造。因此，尽管说明书及附图和实施例对本发明创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明创造进行修改或者等同替换；而一切不脱离本发明创造的精神和范围的技术方案及其改进，其均涵盖在本发明创造专利的保护范围当中。

Claims (9)

1.虚拟操控装置，其特征在于，所述的装置包括：

模拟部，通过将包含电子信息的物体加装在某一具有实体形状的物品上，用于模拟实验器具或实验材料；

识别部，识别部包含一个智能手套，在手套上的不同手指上设置倾斜传感器，通过识别人体动作姿态，生成对应的操作手势，将操作手势附加到模拟部上；

所述的识别部包括：

电子信息读取单元，用于从模拟部读取电子信息，识别对应的实验器具或实验材料；

操作手势识别单元，人体动作姿态，生成对应的操作手势；

建立手势行为的识别结果，采用以下方式中的一种或多种：

方式1：

首先，在密封的试管内装入流体或具有流动性的固体物，并在瓶口中心设置摄像头，摄像头方向朝向瓶底位置，摄像头将图像信号传到手套上的中心处理芯片，在试管内壁上设置不同的易于计算机图像识别的图案条纹；其次，通过多次试验，建立实验试管的倾斜度与摄像头得到的图像之间的对应关系；第三，在每一个试管倾斜度下，根据两个相邻指节之间的倾斜度计算两个相邻指节之间的夹角，并利用这些夹角建立可视化三维手势模型；

方式2：

1)将指节按照一定顺序编号；可以从大拇指开始到无名指结束，每个手指从根指节开始到末指节结束；

2)将每个指节上的倾斜传感器产生的图像按照指节顺序形成一个15维图像序列I；

3)将I与三维手势模型M建立对应关系；具体方法为：将倾斜传感器设置在数据手套上，通过数据手套实时获取三维手势模型数据；通过卷积神经网网络深度学习算法(CNN)建立I与M之间的对应关系；将M在屏幕上可视化；

操作轨迹识别单元，用于识别操作手势的运动轨迹；

操作距离判断单元，用于识别实验器具之间的距离；

操作过程合成单元，用于将操作手势识别单元、操作轨迹识别单元、操作距离判断单元的识别结果附加到实验器具或实验材料上，生成实验操作过程；

转换部，将识别部中操作手势与模拟部的结合转化成二维或三维演示图像；

显示部，将转换部转化成的图像显示为人眼可看的视觉影像；

演示部，用于对错误操作发出报警提示，并在显示部播放错误操作导致不良后果的真实或模拟影像。

2.根据权利要求1所述的虚拟操控装置，其特征在于，所述的电子信息包括储存有电子信息的电子标签或图形码。

3.根据权利要求1所述的虚拟操控装置，其特征在于，所述的识别部还包括：

增强单元，用于对实验材料之间的反应效果进行图像增强。

4.根据权利要求1所述的虚拟操控装置，其特征在于，所述的识别部还包括：

手势行为训练单元，基于倾斜传感器和LSTM模型训练手势的姿态与对应的识别结果。

5.根据权利要求1所述的虚拟操控装置，其特征在于，所述的识别部还包括：

手势命令识别单元，基于深度神经网络模型，训练隔空手势与实验场景交互的识别结果。

6.虚拟操控装置的操控方法，其特征在于，所述的方法包括以下步骤：

S0：训练手势行为及手势命令，建立手势行为及手势命令的识别结果；

训练手势行为，建立手势行为识别结果的具体步骤为：

首先，在密封的试管内装入流体或具有流动性的固体物，并在瓶口中心设置摄像头，摄像头方向朝向瓶底位置，摄像头将图像信号传到手套上的中心处理芯片，在试管内壁上设置不同的易于计算机图像识别的图案条纹；其次，通过多次试验，建立实验试管的倾斜度与摄像头得到的图像之间的对应关系；第三，在每一个试管倾斜度下，根据两个相邻指节之间的倾斜度计算两个相邻指节之间的夹角，并利用这些夹角建立可视化三维手势模型；或

对每一种手势行为，用倾斜传感器内的摄像头拍摄图像序列，反复采集图像序列样本，得到该行为样本大数据库，直到不同手势行为采集完毕为止；采用LSTM(Long short-termmemory)框架训练行为识别模型；对于手势行为图像序列，利用LSTM模型得到手势行为识别结果；或

将指节按照一定顺序编号；

将每个指节上的倾斜传感器产生的图像按照指节顺序形成一个15维图像序列I；

将倾斜传感器设置在数据手套上，通过数据手套实时获取三维手势模型数据；

通过卷积神经网网络深度学习算法(CNN)建立I与M之间的对应关系；

将M在屏幕上可视化；

S1：利用电子信息读取单元选择实验器具及实验材料；

S2：选择初始操作的实验器具；

S3：操作手势识别单元基于手势行为，确定初始操作；

S4：操作轨迹识别单元识别运动轨迹，判断实验器具的移动方向；

S5：操作距离判断单元判断实验器具之间的位置，确定倾倒结果正确；

S6：基于步骤S3-S5的操作，操作过程合成单元生成实验操作过程；

S7：转换部将上述操作过程转化成三维图像，并显示在显示部。

7.根据权利要求6所述的虚拟操控装置的操控方法，其特征在于，步骤S1的具体实现过程为：

读取电子信息，获取全部的实验器具及实验材料信息；

选择本次实验选用的实验器具及实验材料。

8.根据权利要求6所述的虚拟操控装置的操控方法，其特征在于，步骤S4的具体实现方式为：

从拍摄的图像中分割出手势图像；

由手势图像的横坐标、纵坐标，得到手势沿水平面的运动轨迹；

比较轨迹手势中每一组相邻两个手势轨迹点的横坐标与纵坐标的差值并取大值，紧接着将每一组的大值进行求和计算，得到拟合时需要的颜色种类的个数length；

选取绿色作为手势轨迹的开始，选取红色作为手势轨迹的结束，选取从绿色到红色过度的512种颜色作为手势轨迹开始到结束的中间部分，根据sl＝512/length计算拟合的每个颜色点之间颜色变化的步长sl；

依次按照计算好的颜色点的个数和颜色点之间颜色变化的步长，采用一次曲线对轨迹手势的轨迹点进行拟合，得到拟合后的轨迹手势曲线；

从拟合后轨迹手势图片的四个方向依次向图像内部扫描，当扫描经过手势区域时即为该方向有效区域的边界，此时手势图像被四条扫描线围成的矩形包围起来，然后，按照处理深度图像的方法处理拟合后的轨迹图像，得到拟合后的轨迹手势的正方形图像；

将处理后的轨迹手势图像映射到标准图像大小上。

9.根据权利要求6所述的虚拟操控装置的操控方法，其特征在于，步骤S5的具体实现方式为：首先，通过电子信息读取单元，识别每一个实验器具的身份；然后，确定当前操作的实验器具；最后，利用当前操作实验器具的信号强度为基准，建立其它实验器具相对于该基准的强度差值，并由此计算每一个实验器具之间的位置关系。

Images