CN104932804A - 一种智能虚拟装配动作识别方法 - Google Patents

Abstract

本发明提供了一种智能虚拟装配动作识别方法，属于虚拟装配领域。该方法根据场景模型中的任务编号和当前操作编号，确定场景中的当前操作物体；对用户的动作进行识别得到用户动作识别结果；将当前操作物体的操作属性及用户动作识别结果当作事实，遍历专家系统的规则库，寻找与规则前提匹配的规则，推理出结论，即用户的操作意图。

Description

一种智能虚拟装配动作识别方法

技术领域

本发明属于虚拟装配领域，具体涉及一种智能虚拟装配动作识别方法。

背景技术

虚拟装配是当今制造业的热门应用。在虚拟装配过程中，人的动作往往具有模糊性，同一种动作在不同的情境中可能有不同的语义，但在特定情境中的语义往往是固定的，因此，准确检测在不同情境中用户动作所代表的语义变得非常重要。

目前科研人员已经进行了很多相关研究。文献(]武殿梁，杨润党，马登哲，范秀敏.虚拟装配环境中的装配模型表达技术研究[J].计算机集成制造系统，2004，11：1364-1369.)和文献(Ming C.Leu，Hoda A.ElMaraghy，AndrewY.C.Nee，Soh Khim Ong，Michele Lanzetta，Matthias Putz，Wenjuan Zhu，Alain Bernard.CAD model based virtual assembly simulation，planning andtraining[J].CIRP Annals-Manufacturing Technology.2013，02：799-822.)通过建立场景建模几何约束、位置约束和数据分层模型，提高了约束自动识别的效率。文献(陈艳艳，陈正鸣，周小芹.基于Kinect的手势识别及在虚拟装配技术中的应用[J].电子设计工程，2013，10：4-7.)和文献(廖宏建，曲哲.基于Kinect体感交互技术的虚拟装配实验系统开发[J].实验技术与管理，2013，07：98-102)通过kinect进行手势识别，并根据用户自然习惯扩展手势交互语义，降低用户的认知负担。

现有的基于手势的虚拟装配系统，多是采用传统的手势识别方法，文献(廖宏建，曲哲.基于Kinect体感交互技术的虚拟装配实验系统开发[J].实验技术与管理，2013，07：98-102)采用基于kinect手势识别的虚拟装配，依次进行手势分割、特征提取和手势识别，最后只是直接给出识别出手势结果，缺乏对场景的联系和分析。

以上方法都没有将用户与场景结合，只是孤立的对场景规定约束和对用户动作的具体识别，无法感知用户的动作语义。因此需要将虚拟装配过程中的场景和用户联系起来。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种智能虚拟装配动作识别方法，在虚拟装配过程中准确推理用户的操作意图。

本发明是通过以下技术方案实现的：

一种智能虚拟装配动作识别方法，根据场景模型中的任务编号和当前操作编号，确定场景中的当前操作物体；

对用户的动作进行识别得到用户动作识别结果；

将当前操作物体的操作属性及用户动作识别结果当作事实，遍历专家系统的规则库，寻找与规则前提匹配的规则，推理出结论，即用户的操作意图。

所述用户的动作包括手移动、手握紧和手张开；

对用户的动作进行识别是采用基于kinect提取手势图像空间坐标点分布特征实现的。

所述方法包括：

S1：建立并读取用户手势库、场景知识库、用户知识库和规则库，初始化事实库、将开始检测标志初始化为假、将操作标记初始化为0、将当前任务编号初始化为1；

S2：判断当前任务编号是否超过场景库中的最大任务编号，如果是，则转入S12；如果否，转S3；

S3：判断当前物体操作状态与场景库里物体操作状态是否相同，如果是，转S11，如果否，转S4；

S4：判断开始检测标志是否为假，如果否，则转入S6；如果是，则转入S5；

S5：记录手的初始位置及手的当前位置，然后判断手的当前位置与初始位置的差值是否大于50mm，如果是，则转入S6；如果否，则返回S5；

S6：将开始检测标记改为真，开始检测；

S7：根据场景知识库和当前任务编号，确定当前的操作物体；

S8：判断当前用户操作标记是否为真，如果是，则转入S10；如果否，则转入S9；

S9：识别用户动作，利用专家系统规则库推理出用户的意图，根据用户的意图将相应的操作标记改为真；

S10：根据用户的意图执行相应操作，并将开始检测标志改为假；

S11：当前物体操作完成时，当前任务编号增加1，当前物体的操作状态改为假；

S12：结束。

所述用户手势库用于存放：12指抓和12指放的特征，以txt文件存放；

所述场景知识库用于存放：任务编号task、零件位置location、零件的操作属性type、零件的状态status和零件操作完成标志flag；

所述用户知识库用于存放：当前用户的手部位置变化和手势handgesture；其中手部位置变化包括z变化Zchange和x、y变化XYchange；

所述规则库用于存放：上一次推理的意图last intention、零件的操作属性type、手势handgesture、规则数目num、动作nction、意图intention和可信度certainty。

所述事实库指综合数据库，用于存放装配过程中的场景信息和用户信息，包括场景模型和用户模型中的成员，开始时将其成员变量初始化为0。

所述S7是这样实现的：如果当前任务编号和场景知识库的某个任务编号相等，则将与场景库知识中该任务编号对应位置的操作物体确定为当前操作物体。

所述S9是这样实现的：

利用肤色模型进行手部分割，获取十帧用户的手势主方向特征和手部位置，并存入事实库中；

选取第一帧和第十帧的手势特征，与用户手势库特征进行匹配；选取第一帧和第十帧的手部位置判断手势位置变化；将手势识别结果和手部位置变化规整为用户知识库中的知识表达形式；

将综合数据库中的物体的操作属性、手势识别结果和手部位置变化作为当前事实，遍历规则库，推理出最终结论及不确定性，存入综合数据库中；

结合操作物体的属性和用户手势语义，确定用户的意图。

所述遍历规则库，推理出最终结论及不确定性是这样实现的：

将综合数据库中物体的操作属性、手势识别结果和手部位置变化作为当前事实，遍历规则库；

当规则前提与事实一致时，计算证据的不确定性，即证据与规则的匹配度，并存入综合数据库。当匹配度大于设定阈值时，启用该规则；否则，匹配失败，不启用该规则；

当有多条规则前提与当前事实相匹配时，选取规则数目多的规则启用，并将启用的规则编号存入综合数据库；

将启用规则的结论作为新的事实存入综合数据库中，继续遍历规则库，直到遍历完规则为止，将最终结论存入综合数据库中；计算结论不确定性，当结论不确定性小于设定阈值时，重置结论的可信度为1.0。

所述阈值取值为0.6。

所述结合操作物体的属性和用户手势语义，确定用户的意图是这样实现的：

当操作物体的属性为抓取平移释放时，12指抓手势代表抓取物体，12指放手势代表释放物体，手移动代表平移；

当操作物体的属性为放大缩小时，12指抓代表缩小物体，12指放代表放大物体。

与现有技术相比，本发明的有益效果是：本发明引入了场景知识模型和用户知识模型，实现了在虚拟装配过程中准确推理用户的操作意图。

附图说明

图1场景知识和用户知识关联图

图2情境推理图

图3本发明方法的步骤框图。

具体实施方式

下面结合附图对本发明作进一步详细描述：

针对现有虚拟装配系统缺乏情境分析能力，无法感知用户意图的问题，本发明提出了基于场景知识库模型和用户知识库模型，分别建立场景知识库和用户知识库，利用专家系统进行不确定性推理，智能感知用户动作语义，推理不同装配任务情境下用户动作语义，即用户交互意图，解决了虚拟装配中智能感知用户交互意图的问题。

该方法充分利用了场景信息和用户信息，并将两者紧密结合，使场景能智能感知用户操作意图。该方法可以减少用户操作中用到的手势数目，感知不同情境中用户的交互意图。

本发明方法具体如下：

(1)场景知识模型和用户知识模型，结合场景知识库和用户知识库构建知识推理网络，且对场景知识库和用户知识库单独建立，方便知识库的存储管理。

(2)由于人的动作的模糊性，采用基于可信度的不确定性推理方法。通过虚拟装配平台实验，该方法能准确感知用户意图。

Kinect手势识别如下：

微软的Kinect(3D体感摄像头)相比于普通摄像头，除了能获取RGB图像外，还能获取深度图像。它带有景深摄像头，利用结构光编码技术感知环境三维纵深，纯黑代表无穷远，纯白代表无穷近，黑白间的灰色地带对应物体到摄像头的物理距离，它收集视野范围内的每一点，并形成一幅代表周围环境的景深图像。

本文采用基于kinect的手势识别(可参考Feng Zhi-quan，Jiang Yan.Research on gesture recognition[J].Journal of University of Jinan(Science and Technology)，2013，27(4)：336-341(in Chinese)和冯志全，蒋彦.手势识别研究综述[J].济南大学学报：自然科学版，2013，27(4)：336-341))，首先利用OpenNI跟踪人手，利用深度信息提取手部位置，再利用肤色模型进行手部分割，并进行腐蚀和膨胀的形态学处理成手势二值图，将图像大小归整为32*32，对规整后的手势图像提取空间手势坐标点分布特征，最后进行类-Hausdorff距离模板匹配。该方法有效地减少了噪声的影响，具有较高的识别率。文献(Yang Xuewen，Feng Zhiquan，Huang Zhongzhu，He Nana.A Gesture Recognition Algorithm Using Hausdorff-Like Distance Template Matching Based on the Main Direction of Gesture[C]//Applied Mechanics and Materials.2015，713：2156-2159.)给出了识别的具体方法。

本发明的专家系统构造如下：

一、知识库设计

知识库包括场景知识(Scene)和用户(User)知识，场景知识和用户知识都用结构体框架来定义，并把场景知识成员和用户知识成员都规整为整形变量，方便程序处理。

场景知识包含任务编号(task)、零件位置(location)、零件的操作属性(type)、零件的状态(status)和零件操作完成标志(flag)。任务编号取值为1、2和3；零件位置取值为0、1和2；零件的操作属性包含两种：抓取平移释放和缩小放大，分别用0和1表示；零件的状态表示零件的属性是否执行，0表示未执行，1表示执行；零件属性对应的操作都执行表示零件操作完成，0表示未完成，1表示完成。场景知识库形式化定义为：

SML＝{task，location，type，status[3]，flag}；

如果SML＝{1，0，0，(0，0，0)，0}，表示当前场景正在进行任务1，正在操作位置0处的零件，该零件的属性为抓取平移释放，零件状态为未抓取未平移未释放，零件操作没有完成。

本发明的场景知识库如表1所示。

表1

用户知识包括当前用户的手部位置是否变化和手势(handgesture)，其中手部位置变化包括z变化(Zchange)和x、y变化(XYchange)，并把用户手部的x、y坐标变化超过50mm、z变化不超过50mm定义为手部平移状态，手势包含12指抓手势和12指放手势。手部Z和XY的变化取值均为0、1、2，分别表示无效值、不变、变化；手势取值为1、2、3，分别表示12指抓手势、手移动、12指放；用户知识库形式化表示为：

UML＝{Zchange，XYchange，handgesture}；

如果UML＝{0，0，1}，表示用户手部位置没有变化，手势为12指抓。

本发明的用户知识库如表2所示

Zchange	XYchange	handgesture
			0	0	1
1	2	2
			0	0	3

表2

根据场景知识和用户知识建立规则库，规则库包括：上一次推理的意图(last intention)、零件的操作属性(type)、手势(handgesture)、规则数目(num)、动作(action)、意图(intention)和可信度(certainty)。其中，意图取值为1、2、3、4、5，1表示抓取，2表示平移，3表示释放，4表示缩小，5表示放大；规则数目表示规则有效前提数目；可信度取值为0.9，表示该条规则可信程度。

规则库形式化表示为：

RL＝{last intention，task，type，handgesture，ntm，action，intention，certainty}；

本发明中规则库由产生式规则组成，即“IF前提，TNEN结论(可信度，阈值)”的形式。根据虚拟装配平台需要，规则库包含17条规则，阈值取值为0.6，表示当与规则匹配的证据不确定性大于0.6时，该规则启用。本发明的规则库具体为：

规则RL1：如果 x位置变化大于50mm或y位置变化大于50mm

         那么 手部动作为手移动   可信度0.9

规则RL2：如果 手势为12指抓

         那么 手部动作为手握紧   可信度0.8

规则RL3：如果 手势为12指放

         那么 手部动作为手张开   可信度0.8

规则RL4：如果 物体的操作属性为抓取平移释放且手部动作为手移动

         那么 用户意图为平移     可信度0.9

规则RL5：如果 物体的操作属性为抓取平移释放且手部动作为手握紧

         那么 用户意图为抓取     可信度0.9

规则RL6：如果 物体的操作属性为抓取平移释放且手部动作为手张开

         那么 用户意图为释放     可信度0.9

规则RL7：如果 物体的操作属性为放大缩小且手部动作为手握紧

         那么 用户意图为缩小     可信度0.9

规则RL8：如果 物体的操作属性为放大缩小且手部动作为手张开

         那么 用户意图为放大     可信度0.9

规则RL9：如果 上一次推理的意图为抓取且物体的操作属性为抓取平移释放且手部动作为手移动

         那么 用户意图为平移     可信度0.9

规则RL10：如果 上一次推理的意图为抓取且物体的操作属性为抓取平移释放且手部动作为手张开

         那么 用户意图为释放     可信度0.9

规则RL11：如果 上一次推理的意图为平移且物体的操作属性为抓取平移释放且手部动作为手握紧

         那么 用户意图为抓取     可信度0.9

规则RL12：如果 上一次推理的意图为平移且物体的操作属性为抓取平移释放且手部动作为手移动

         那么 用户意图为平移     可信度0.9

规则RL13：如果 上一次推理的意图为平移且物体的操作属性为抓取平移释放且手部动作为手张开

         那么 用户意图为释放     可信度0.9

规则RL14：如果 上一次推理的意图为释放且物体的操作属性为抓取平移释放且手部动作为手握紧

         那么 用户意图为抓取     可信度0.9

规则RL15：如果 上一次推理的意图为释放且物体的操作属性为抓取平移释放且手部动作为手移动

         那么 用户意图为平移     可信度0.9

规则RL16：如果 上一次推理的意图为缩小且物体的操作属性为放大缩小且手部动作为手张开

         那么 用户意图为放大     可信度0.9

规则RL17：如果 上一次推理的意图为放大且物体的操作属性为放大缩小且手部动作为手握紧

         那么 用户意图为缩小     可信度0.9

二、推理机

所谓推理就是从已知事实出发，通过运用相关知识逐步推出结论或者证明某个假设成立或不成立的思维过程，已知事实又称为证据。

由于人的主观差异，不同的人对同一动作有不同的判断，本发明中推理机采用带有阈值限度的不确定性正向推理。正向推理是指由前提推出结论，不确定性推理是从不确定的初始证据出发，当证据与规则前提匹配且其可信度大于规则设定的阈值时，该规则才会执行，最终推出结论的可信度值。本发明中不确定证据包括手部位置的变化不确定性和初始结论的不确定性。

本发明中不确定性推理使用可信度方法(可参考陈明亮，李怀祖.基于规则的专家系统中不确定性推理的研究[J].计算机工程与应用，2000，05：50-53.和卞世晖.专家系统中不确定性推理的研究与应用[D].安徽大学，2010：15-21.)，用CF模型表示。P表示规则的前提，H表示规则的结论，E表示证据，CF(H，P)表示知识的可信度，CF(E)表示证据的不确定性，CF(H)表示结论的不确定性，它们的取值范围为(0，1)。根据证据和知识的不确定性可以计算结论的不确定性，计算公式为：

CF(H)＝CF(H，P)×max{0，CF(E)}  (1)

当n个证据组合时，证据的不确定性为：

CF(E)＝min{CF(E1)，CF(E2)，…，CF(En)}  (2)

如果设定规则阈值为0.6，当前事实为x、y变化60mm，z变化20mm，表示证据的不确定性为0.8，x、y变，z不变表示用户意图为平移这条规则的不确定性为0.9，则用户意图为平移的结论可信度值为0.72，该规则执行。

三、用户意图智能感知

虽然场景知识库和用户知识库是单独定义的，但是二者之间通过场景库中的零件操作属性相联系。这种联系就是情境上下文，即在不同的情境下用户的动作表示不同的含义。操作属性是指场景任务中对物体可以进行的操作。本文中的操作属性包括抓取平移释放和缩小放大两种类型。专家系统正是基于这种关联来推理的。如图1所示。

本发明方法的步骤为：

S1：建立(场景知识库按照场景模型建立)并读取(从场景库txt文件中读取)用户手势库(手势库存放12指抓和12放的特征，以txt文件存放)、场景知识库(就是指建立任务编号(task)、零件位置(location)、零件的操作属性(type)、零件的状态(status)和零件操作完成标志(flag))、用户知识库(就是指当前用户的手部位置是否变化、手势(handgesture)和手势语义(handsemantics)，其中手部位置变化包括z变化(Zchange)和x、y变化(XYchange))和规则库(就是指上一次推理的意图(preintention)、零件的操作属性(type)、手势语义(semantics)、规则数目(num)、意图(intention)和可信度(certainty))，初始化事实库(事实库指综合数据库，存放装配过程中的场景信息和用户信息，所以它包括场景模型和用户模型中的成员，开始时将其成员变量初始化为0)、开始检测标志(初始化标志为假)、用户操作标记(初始化标志为0)和当前任务编号(初始化为1)；

S2：判断当前任务编号是否超过场景库中任务最大编号，如果是，退出；如果否，转S3；

S3：判断当前物体操作状态与场景库里物体操作状态是否相同，如果是，转S12，如果否，转S4；

S4：当开始检测标志记录为假时，记录手的初始位置及手的当前位置，当手的当前位置与初始位置的差值大于50mm时，开始检测；

S5：根据场景知识库和当前任务编号，确定当前的操作物体(当前任务编号和场景知识库的某个任务编号相等，与场景库知识中任务编号对应位置的操作物体被确定为当前操作物体)；

S6：判断当前用户操作标记是否为真，如果是，执行操作，并将用户操作标记变为假；如果否，转S7；

S7：利用肤色模型进行手部分割，获取十帧用户的手势主方向特征和手部位置，并存入事实库中；

S8：选取第一帧和第十帧的手势特征，与用户手势库特征进行类-Hausdorff距离模板匹配；选取第一帧和第十帧的手部位置判断手势位置变化；将手势识别结果和手部位置变化规整为用户知识库中的知识表达形式(见表2，12指抓手势为1，12指放为3，手部位置变化为2，手部位置不变(手部x和y的变化都不满足位置变化的范围时)为0)；

S9：将综合数据库中的物体的操作属性、手势识别结果和手部位置变化作为当前事实，遍历规则库，推理出最终结论及不确定性，存入综合数据库中。

S10：结合操作物体的属性和用户手势语义，确定用户的意图(当物体的属性属性为抓取平移释放时，12指抓手势代表抓取物体，12指放手势代表释放物体，手移动代表平移。当物体的操作属性为放大缩小时，12指抓代表缩小物体，12指放代表放大物体)；

S11：根据用户的意图将操作标记变为真，执行相应操作，并将当前物体的对应操作状态改为1，之后将开始检测标志改为假，转S2。

S12：当前物体操作完成时，当前任务编号增加1，当前物体的操作状态改为0。

其中，S9推理的具体过程为：

S9.1：将综合数据库中物体的操作属性、手势识别结果和手部位置变化作为当前事实，遍历规则库；

S9.2：当规则前提与事实一致时，根据公式(2)计算证据的不确定性，即证据与规则的匹配度，并存入综合数据库。当匹配度大于设定阈值(本文取值为0.6)时，启用该规则。否则，匹配失败，不启用该规则；

S9.3：当有多条规则前提与当前事实相匹配时，选取规则数目多的规则启用，并将启用的规则编号存入综合数据库；

S9.4：将启用规则的结论作为新的事实存入综合数据库中，继续遍历规则库，直到遍历完规则为止，将最终结论存入综合数据库中。根据公式(1)计算结论不确定性，当结论不确定性小于设定阈值(本文取值为0.6)时，重置结论的可信度为1.0。

根据不同的情境上下文，本发明可以感知两种情境中用户的五种意图：抓取、释放、缩小、放大和平移。在任务1和任务3中，12指抓为抓取，12指放为释放，手移动为平移；在任务2中，12指抓为缩小，12指放为放大。如图2所示。

四、装配平台验证

装配过程分为三个任务：(1)对里侧的环进行平移-抓取-平移-释放操作，并放到圆柱右侧；(2)对外侧的环进行缩小-放大操作；(3)对缩放后的环进行平移-抓取-平移-释放操作，并放到圆柱左侧。

本发明方法的一个实施例如下：

当装配开始时，场景如图3所示。

根据场景库和任务1，确定要对里侧的圆环进行操作，其操作属性为平移-抓取-释放。当手势平移后，挪到圆环处；当手势为握紧时，表示对圆环进行抓取；当手势平移后，挪回来；当手势为张开时，表示对圆环进行释放，任务1结束，更新任务为任务2。

根据场景库和任务2，确定对外侧圆环进行操作，其操作属性为缩小-放大。当手势握紧时，表示对圆环进行缩小；当手势张开时，表示对圆环进行放大，，任务2结束，并更新任务为任务3。

根据场景库和任务3，确定要对外侧圆环进行操作，其操作属性为平移-抓取-释放。当手势平移后，挪到外侧圆环处；当手势为握紧时，表示对圆环进行抓取；当手势平移后，挪回原处；当手势为张开时，表示对圆环进行释放，，任务3结束，操作完成。

可见，在不同的情境中，同一手势可以具有不同的含义，对应不同的交互意图，从而可以使用较少的手势数目完成交互任务，感知不同情境中用户的交互意图。

本发明利用场景知识模型和用户知识模型将场景和用户联系在一起，并通过专家系统推理感知具体情境中的用户意图。本文方法可以感知抓取、释放、平移、缩小和放大五种意图，本文实验是在距离kinect1.2米的位置进行，操作熟练的实验者通过对各种意图感知分别进行50次操作，统计实验中各种意图感知的正确次数，并计算准确率，实验结果如表4所示。

意图	实验次数	正确次数	准确率
				抓取	50	45	90％
释放	50	42	84％
				平移	50	49	98％
缩小	50	46	92％
				放大	50	40	80％

表4

从实验结果可以看出，该方法的用户意图感知识别率可以达到80％以上。从实验过程发现，影响感知准确率的因素主要受动态手势识别效果的影响，动态手势识别效果主要受手势分割的影响。

运用场景知识库、用户知识库和专家推理网络可以使系统不同于以往具体的识别方法，具有智能感知效果。以往的具体识别方法直接给出识别结果，但不能给出当前情境中的具体含义。比如，以往的识别方法只能识别出手的当前动作，而不能告知当前动作代表什么含义。本文方法可以结合情境和识别结果推理出当前动作代表的含义。

本发明建立了场景知识库和用户知识库模型，并根据专家系统进行推理用户意图，可以推理出用户不同情境中的手势语义，减少交互的手势数目。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (9)

1.一种智能虚拟装配动作识别方法，其特征在于：所述方法根据场景模型中的任务编号和当前操作编号，确定场景中的当前操作物体；

对用户的动作进行识别得到用户动作识别结果；

将当前操作物体的操作属性及用户动作识别结果当作事实，遍历专家系统的规则库，寻找与规则前提匹配的规则，推理出结论，即用户的操作意图。

2.根据权利要求1所述的智能虚拟装配动作识别方法，其特征在于：所述用户的动作包括手移动、手握紧和手张开；

对用户的动作进行识别是采用基于kinect提取手势图像空间坐标点分布特征实现的。

3.根据权利要求2所述的智能虚拟装配动作识别方法，其特征在于：所述方法包括：

S1：建立并读取用户手势库、场景知识库、用户知识库和规则库，初始化事实库、将开始检测标志初始化为假、将操作标记初始化为0、将当前任务编号初始化为1；

S2:判断当前任务编号是否超过场景库中的最大任务编号，如果是，则转入S12；如果否，转S3；

S3:判断当前物体操作状态与场景库里物体操作状态是否相同，如果是，转S11，如果否，转S4；

S4：判断开始检测标志是否为假，如果否，则转入S6；如果是，则转入S5；

S5：记录手的初始位置及手的当前位置，然后判断手的当前位置与初始位置的差值是否大于50mm，如果是，则转入S6；如果否，则返回S5；

S6：将开始检测标记改为真，开始检测；

S7：根据场景知识库和当前任务编号，确定当前的操作物体；

S8：判断当前用户操作标记是否为真，如果是，则转入S10；如果否，则转入S9；

S9：识别用户动作，利用专家系统规则库推理出用户的意图，根据用户的意图将相应的操作标记改为真；

S10：根据用户的意图执行相应操作，并将开始检测标志改为假；

S11：当前物体操作完成时，当前任务编号增加1，当前物体的操作状态改为假；

S12：结束。

4.根据权利要求3所述的智能虚拟装配动作识别方法，其特征在于：所述用户手势库用于存放：12指抓和12指放的特征，以txt文件存放；

所述场景知识库用于存放：任务编号task、零件位置location、零件的操作属性type、零件的状态status和零件操作完成标志flag；

所述用户知识库用于存放：当前用户的手部位置变化和手势handgesture；其中手部位置变化包括z变化Zchange和x、y变化XYchange；

所述规则库用于存放：上一次推理的意图last intention、零件的操作属性type、手势handgesture、规则数目num、动作action、意图intention和可信度certainty。

所述事实库指综合数据库，用于存放装配过程中的场景信息和用户信息，包括场景模型和用户模型中的成员，开始时将其成员变量初始化为0。

5.根据权利要求4所述的智能虚拟装配动作识别方法，其特征在于：所述S7是这样实现的：如果当前任务编号和场景知识库的某个任务编号相等，则将与场景库知识中该任务编号对应位置的操作物体确定为当前操作物体。

6.根据权利要求5所述的智能虚拟装配动作识别方法，其特征在于：所述S9是这样实现的：

利用肤色模型进行手部分割，获取十帧用户的手势主方向特征和手部位置，并存入事实库中；

选取第一帧和第十帧的手势特征，与用户手势库特征进行匹配；选取第一帧和第十帧的手部位置判断手势位置变化；将手势识别结果和手部位置变化规整为用户知识库中的知识表达形式；

将综合数据库中的物体的操作属性、手势识别结果和手部位置变化作为当前事实，遍历规则库，推理出最终结论及不确定性，存入综合数据库中；

结合操作物体的属性和用户手势语义，确定用户的意图。

7.根据权利要求6所述的智能虚拟装配动作识别方法，其特征在于：所述遍历规则库，推理出最终结论及不确定性是这样实现的：

将综合数据库中物体的操作属性、手势识别结果和手部位置变化作为当前事实，遍历规则库；

当规则前提与事实一致时，计算证据的不确定性，即证据与规则的匹配度，并存入综合数据库。当匹配度大于设定阈值时，启用该规则；否则，匹配失败，不启用该规则；

当有多条规则前提与当前事实相匹配时，选取规则数目多的规则启用，并将启用的规则编号存入综合数据库；

将启用规则的结论作为新的事实存入综合数据库中，继续遍历规则库，直到遍历完规则为止，将最终结论存入综合数据库中；计算结论不确定性，当结论不确定性小于设定阈值时，重置结论的可信度为1.0。

8.根据权利要求7所述的智能虚拟装配动作识别方法，其特征在于：所述阈值取值为0.6。

9.根据权利要求7所述的智能虚拟装配动作识别方法，其特征在于：所述结合操作物体的属性和用户手势语义，确定用户的意图是这样实现的：

当操作物体的属性为抓取平移释放时，12指抓手势代表抓取物体，12指放手势代表释放物体，手移动代表平移；

当操作物体的属性为放大缩小时，12指抓代表缩小物体，12指放代表放大物体。