CN105929943A - 一种用于计算机虚拟装配的隐式交互系统 - Google Patents

Abstract

本发明提供了一种用于计算机虚拟装配的隐式交互系统，属于虚拟装配领域。该系统建立场景知识模型和用户知识模型，结合场景知识模型和用户知识模型分别构建显式交互知识库和隐式交互知识库；基于场景任务进行用户隐式意图感知，根据场景物体和虚拟手位置关系的进行场景感知拉近，以及基于物体方向包围盒的特征面和虚拟手的方向关系的进行场景物体旋转。本发明增强了虚拟装配系统的感知能力，降低了用户的操作负担和认知负担。

Description

一种用于计算机虚拟装配的隐式交互系统

技术领域

本发明属于虚拟装配领域，具体涉及一种用于计算机虚拟装配的隐式交互系统。

背景技术

随着信息技术的发展，人机交互由以机器为中心向以人为中心发展，即机器要协同用户进行交互。隐式人机交互是以人为中心的新型人机交互，在隐式交互模式下，用户只需考虑交互任务本身，无需关注任务的执行方式和过程，场景和用户能够相向互动。

在现有虚拟装配系统中，人机交互多以显式交互方式进行，比如，装配中的碰撞检测都是场景物体被动等待用户的靠近，同样地，物体位姿方向的调整也需要通过用户施加操作命令将旋转物体到合适的方向。显然，这些过程都是单向交互，影响了交互效率和交互的自然性。因此，有必要将隐式交互融入显式的虚拟装配系统中，使系统中场景物体能主动的根据用户操作协助用户完成交互任务。

目前隐式人机交互已经有了一定进展。文献(徐光祐,陶霖密,史元春,张翔.普适计算模式下的人机交互[J].计算机学报,2007,07:1041-1053)提出了普适计算模式下，用户和环境的物理因素将成为交互的重要因素，并将物理空间人机交互分为人机交互接口和隐式人机交互两个层次。文献(田丰,邓昌智,周明骏,徐礼爽.Post-WIMP界面隐式交互特征研究[J].计算机科学与探索,2007,02:160-169)从认知心理学的角度对Post-WIMP界面下的隐式交互特征进行分析和描述，提出了利用识别技术、上下文感知技术和用户修正技术相结合的方法来支持Post-WIMP界面的隐式交互,并构造了Post-WIMP界面的 交互任务生成框架。文献(王巍,黄晓丹,赵继军,申艳光.隐式人机交互[J].信息与控制,2014,01:101-109.)根据设备主动性和用户注意力两个维度将隐式交互分为提醒式交互、自动式交互和环境代理式交互，全面地总结了隐式人机交互的研究现状和进展。

虚拟装配是人机交互的典型应用场景，虽然不少相关研究都提高了用户操作的自然性和装配的智能性，但现有虚拟装配系统仍然以机器为中心进行交互，需要用户配合机器来完成交互。文献(程成,赵东坡,卢保安.虚拟环境的用户意图捕获[J].中国图象图形学报,2015,02:271-279.)提出了用户意图理解多通道模型和算法，提高了虚拟环境中机器的认知能力和系统的交互效率，但在意图表达的准确性方面还有待完善。文献(马延周.虚拟场景中协同感知技术研究[D].解放军信息工程大学,2008:39-46)提出了虚拟场景中的用户替身模型和可视化的多用户协同感知模型，实现了虚拟场景中协同用户间感知与交互的共享。但存在由于网络延迟及用户间不一致导致的交互问题。文献(张丹,左敦稳,焦光明,闫静,李建平,刘玉广.面向虚拟装配的约束建模与装配意图捕捉技术[J].计算机集成制造系统,2010,06:1208-1214)给出了约束元素包围盒的构建原则和方法,并基于约束元素包围盒的相交测试提出了装配意图的层次识别规则,提高了虚拟装配操作的精度和效率。文献(曹兆元,刘惠义,杨战军,郑源.基于情境上下文的智能虚拟装配动作预测模型[J].计算机工程与设计,2013,04:1366-1370)提出了基于任务的装配模型实现用户的活动感知。文献(Yuanyuan Su,Zhiquan Feng.Research on the Objects Selection Method of 3DInteractive Interface.International Conference on Intelligent System Designand Engineering Applications.Volume 1,2013,p537-540)提出一种虚拟装配平台下的基于导航信息模型，并基于此导航信息模型提出了新的物体选择和碰撞检测算法。文献(Aehnelt M,Gutzeit E,Urban B.Using Activity Recognition for the Tracking ofAssembly Processes:Challenges and Requirements[J].WOAR,2014:12-21)通过对虚拟装配动作模式的分析， 建立了智能虚拟装配动作预测模型，并进行基于实例的动作意图预测。以上研究虽然一定程度上提高了系统的感知能力，但都存在场景不能主动感知用户的操作意图，场景主动性低的问题，降低了用户的交互体验。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种用于计算机虚拟装配的隐式交互系统，基于现有虚拟装配系统中存在场景不能感知用户意图和用户相向互动的问题，通过建立显式交互知识库和隐式知识交互库，并利用专家系统推理用户的操作意图，提高了场景的主动性，方便用户完成交互任务。

本发明是通过以下技术方案实现的：

一种用于计算机虚拟装配的隐式交互系统，其特征在于，包括：

建立场景知识模型模块：场景知识随着交互任务进行而变化，包括显式场景知识库和隐式场景知识库；所述显式场景知识库由物体知识库和虚拟手知识库组成，物体知识库包含物体编号、物体位置、物体角度、物体的选择标志、物体的操作属性、物体的状态和物体操作完成标志；所述物体角度是用物体OBB包围盒特征面的法向量表示；所述物体的选择标志表示物体被选中并对物体进行任务操作；所述物体的操作属性是指在场景任务中对已选物体能够进行的操作，包括装配物体的抓取、平移、释放；所述物体的状态是指物体的操作属性对应的操作是否执行；所述物体操作完成是指物体的操作属性对应的操作都执行完毕；所述虚拟手知识库包含虚拟手的位置和虚拟手的向上法向量的角度；所述隐式场景知识为场景中物体间和物体与虚拟手的特征关系，包括物体和虚拟手的位置关系、物体和虚拟手的角度关系、物体的关联物体、关联物体的高光显示标志、关联物体的高光显示次数、物体的拉近标志、物体的旋转标志、物体和虚拟手的位置关系阈值、关联物体和虚拟手的位置关系阈值、物体和虚拟手的方向关系阈值、关联物体和虚拟手的方向关系阈值；所述物体的拉近包 括：根据当前物体，场景向虚拟手靠近和根据当前物体的关联物体，场景向虚拟手靠近；所述物体的旋转包括物体顺时针向虚拟手旋转、物体逆时针向虚拟手旋转、当前物体的关联物体顺时针向当前物体旋转和当前物体的关联物体逆时针向当前物体旋转；

建立用户知识模型模块：用户知识包括用户的手部位置变化和手势；所述用户的手部位置变化包括x变化和y变化，并把用户手部的x变化或y变化超过50mm定义为位置变化；所述手势包含12指抓手势和12指放手势；所述位置变化包括位置向上变化、位置向下变化和其他方向变化；

构建显式交互知识库模块：显式交互是系统把显式场景信息和用户的动作当作输入，感知用户的直接交互意图，根据用户的意图语义产生显式输出；所述显式交互知识库包括显式场景知识库和用户动作知识库；所述显式场景知识库中的前提包括上一次推理的意图、物体的操作属性、手部位置是否变化、手势和规则数目；结论包括手部动作和用户意图；所述手部动作包括手向上移动、手向下移动、手向其他方向移动、手握紧和手张开；所述用户意图包括休息、操作、选择、抓取、平移和释放；

构建隐式交互知识库模块：隐式交互是把用户显式意图和情境隐含知识当作隐式输入，环境主动配合用户的显式意图产生隐式输出，协助用户完成交互任务；所述隐式交互知识库包括隐式场景知识和用户意图；所述隐式交互知识库中的前提包括当前用户意图和当前用户意图的关联类型，结论包括用户的隐式意图；所述当前用户意图的关联类型包括当前物体和虚拟手的位置关系、当前物体的关联物体显示、当前物体和关联物体的位置关系、当前物体和虚拟手的角度关系和当前物体和关联物体的角度关系；所述用户的隐式意图包括根据当前物体，场景向虚拟手靠近、根据当前物体的关联物体，场景向虚拟手靠近、物体向虚拟手顺时针旋转、关联物体向物体顺时针旋转、物体向虚拟手逆时针旋转、关联物体向物体逆时针旋转。

用户隐式意图感知模块：基于场景任务进行用户隐式意图感知；

场景感知拉近模块：根据场景物体和虚拟手位置关系的进行场景感知拉近；

场景物体旋转模块：基于物体方向包围盒的特征面和虚拟手的方向关系的进行场景物体旋转。

作为对本技术方案的进一步限定，所述用户隐式意图感知模块是这样实现的：

S1：建立并读取物体知识库、用户知识模型和显式交互知识库、隐式交互知识库和综合数据库，当前任务编号初始化为0，当前任务完成标志初始化为假；

S2：根据显式场景知识库中的物体操作属性确定可操作的物体数目，确定场景任务最大编号；

S3：判断当前任务编号是否超过场景任务最大编号，如果是，退出；如果否，转S4；

S4：判断当前物体操作状态与场景库里物体操作状态是否相同，如果是，当前任务完成，当前任务完成标志变为真；

S5：当开始检测标志记录为假时，记录手的初始位置及手的当前位置，当手的当前位置与初始位置的差值大于50mm时，开始检测；

S6：当用户操作意图为选中装配物体时，将物体的操作属性和当前任务完成标志存入综合数据库，当前任务编号加1；

S7：判断用户操作标志是否为真，如果是，执行操作，并将用户操作标记变为假；如果否，转S8；

S8：利用肤色模型进行手部分割，获取从开始检测之后的十帧用户的手势主方向特征和手部位置，选取第一帧和第十帧的手势特征，与模板库特征进行类-Hausdorff距离模板匹配；选取第一帧和第十帧的手部位置判断手势位置变化；将手势识别结果和手部位置变化存入综合数据库中；

S9：将综合数据库中的物体的操作属性、手势识别结果和手部位置变化作为当前事实，遍历显式交互知识库，推理出最终结论，存入综合数据库中；

S10：根据推理的最终结论，确定用户动作的显式意图；如果当前任务完成标志为未完成，则将最终结论作为下一次推理的前提：上一次推理的意图，否则，不把最终结论作为下一次推理的前提，并更改当前任务完成标志为未完成；

S11：把用户的显式意图和隐式场景知识当作隐式输入，遍历隐式交互知识库，推理出最终结论，并存入综合数据库中；

S12：根据用户的显式意图和隐式意图将对应操作标志变为真，执行相应操作，更改对应的物体的操作状态，之后将开始检测标志和对应操作标志变为假，转S3。

作为对本技术方案的进一步限定，所述场景感知拉近模块是这样实现的：

P1：判断当前用户的操作意图，如果操作意图是平移，转P2；

P2：根据实际手和粒子滤波跟踪算法得到虚拟手的位置，根据式(1)计算虚拟手的移动速度v；

其中，loc₁表示虚拟手的末位置，loc₀表示虚拟手的初位置，t为虚拟手运动的帧数；

P3：如果当前物体状态为没有被抓取，根据式(2)计算虚拟手的末位置和当前操作物体位置的距离d₁；

其中，o_i表示第i个场景物体的位置；

P4：如果d₁大于距离阈值，则当前操作物体主动向虚拟手靠近。根据式(3)求取场景拉近的帧数frame；

其中，thre_d1表示距离阈值；

P5：如果当前物体状态为已被抓取，根据式(4)计算当前操作物体的位置和关联物体位置的距离d₂；

其中，o′_i表示第i个场景物体关联物体的位置。

P6：如果d₂大于距离阈值，则当前操作物体的关联物体主动向虚拟手靠近，根据公式(5)求取场景拉近的帧数frame；

其中，thre_d2表示距离阈值；

P7：场景中各物体逐帧向虚拟手靠近距离v，逐帧更新场景中各物体的位置。

作为对本技术方案的进一步限定，所述场景物体旋转模块是这样实现的：

T1：判断当前用户的操作意图，如果是抓取或释放，转T2；

T2：求出场景中物体的中心和协方差矩阵，计算协方差矩阵的特征向量，计算物体的OBB长方体包围盒；

T3：求取并记录OBB包围盒各面的面积s_i及其法向量

T4：当用户操作意图为抓取时，物体方向为抓取面的方向，选择最小面的法向量作为抓取时物体的方向向量；

T5：如果虚拟手的向上法向量和当前物体的方向向量的夹角满足式(6)，则物体绕虚拟手的法向量旋转；

T6：计算虚拟手的向上法向量和当前物体的方向向量在XOY平面的投影向量和计算两个向量与X轴的夹角angel_v和angel_i；

T7：如果angel_v和angel_i满足式(7)，则物体绕虚拟手顺时针旋转(angle1-thre_angle1)；

angel_v≤angel_i≤(angel_v+180°) (7)

如果angel_v和angel_i满足式(8)，物体绕虚拟手逆时针旋转(angle1-thre_angle1)；

(angel_v+180°)＜angel_i＜(angel_v+360°) (8)

T8：根据式(9)更新当前操作物体各面的法向量；

其中θ＝-(angle1-thre_angle1)。

T9：当用户操作意图为释放时，物体方向为装配面的方向，选择最大面的法向量作为释放时物体的方向向量；

T10：如果当前物体方向向量和关联物体装配面的法向量的夹角满足式(12)，则关联物体绕当前物体旋转；

T11：计算当前物体的方向向量和当前物体关联物体装配面的法向量在XOY平面的投影向量和计算两个向量与X轴的夹角angel_i和angel′_i；

T12：如果angel_i和angel′_i满足式(13)，则关联物体绕当前物体顺时针旋转(angle2-thre_angle2)；

angel_i≤angel′_i≤(angel_i+180°) (13)

如果angel_i和angel′_i满足式(14)，则关联物体绕当前物体逆时针旋转(angle2-thre_angle2)；

(angel_i+180°)≤angel′_i≤(angel_i+360°) (14)

T13：根据式(9)更新当前操作物体关联物体各面的法向量，θ＝(angle1-thre_angle1)。

与现有技术相比，本发明的有益效果是：。

本发明针对现有虚拟装配系统不能感知用户操作意图和用户相向互动的问题，提出了基于场景任务的用户隐式意图感知算法，增强了虚拟装配系统的感知能力；并提出了场景物体感知拉近算法和场景物体旋转算法，降低了用户的操作负担和认知负担。

附图说明

图1本发明方法的步骤框图

图2一次碰撞检测的平均时间

图3一次碰撞检测手的平均移动距离

图4总装配任务平均操作时间

图5总装配任务平均移动距离

图6用户评价。

具体实施方式

下面结合附图对本发明作进一步详细描述：

针对现有虚拟装配系统中存在场景不能感知用户意图和用户相向互动的问 题，本发明将隐式人机交互引入虚拟装配系统，通过建立显式交互知识库和隐式交互知识库，并利用专家系统推理用户动作的显式语义及其隐式语义，增加了场景的主动感知能力，从而使用户使用较少地手势命令完成交互任务，降低了用户的操作负担和认知负担。本发明的特点主要体现在：(1)建立场景知识模型和用户知识模型，结合场景知识模型和用户知识模型分别构建显式交互知识库和隐式交互知识库,实现虚拟装配交互界面的隐式交互；(2)本发明提出了根据场景物体和虚拟手位置关系的场景感知拉近算法和基于物体方向包围盒(OBB)的特征面和虚拟手的方向关系的场景物体旋转算法。实验表明，本发明的算法减少了虚拟装配交互的时间和移动距离，降低了用户的操作负担，提高了交互的自然性。

本发明中的知识库设计如下：

本发明的知识模型包括场景知识模型和用户知识模型，场景知识模型和用户知识模型都用结构体定义。

场景知识模型如下：

场景知识随着交互任务进行而变化，包括显式场景知识(Explicit Sceneknowledge)和隐式场景知识(Implicit Scene knowledge)，。

显式场景知识(Explicit Scene knowledge)由物体(Object)和虚拟手(VirtualHand)组成，物体包含物体编号(number)、物体位置(location)、物体角度(angel)、物体的选择标志(select)、物体的操作属性(type)、物体的状态(status)和物体操作完成标志(flag)。本发明中的物体的角度由物体OBB包围盒(Oriented Bounding Box)特征面的法向量表示。

物体的选择标志表示物体被选中并对物体进行任务操作。物体的操作属性是指在场景任务中对已选物体可以进行的操作，包括装配物体的抓取平移释放。物体的状态是指物体的操作属性对应的操作是否执行，任务完成是指物体的操作属性对应的操作都执行。虚拟手包含虚拟手的位置(location)和虚拟手的向上法向量的角度(angle)。

隐式场景知识为场景中物体间和物体与虚拟手的特征关系，主要包括物体和虚拟手的位置关系(location realtion)、物体和虚拟手的角度关系(angle relation)、物体的关联物体(relation object)、关联物体的高光显示标志(light flag)、关联物体的高光显示次数(light number)物体的拉近标志(near flag)、物体的旋转标志(rotation flag)、物体和虚拟手的位置关系阈值(location threshold1)、关联物体和虚拟手的位置关系阈值(location threshold2)、物体和虚拟手的方向关系阈值(angel threshold1)、关联物体和虚拟手的方向关系阈值(angel threshold2)。物体的拉近包括：根据当前物体，场景向虚拟手靠近和根据当前物体的关联物体，场景向虚拟手靠近。物体的旋转包括物体顺时针向虚拟手旋转、物体逆时针向虚拟手旋转、当前物体的关联物体顺时针向当前物体旋转和当前物体的关联物体逆时针向当前物体旋转。

场景知识形式化定义为：

Struct SKM＝{Struct EX-SK,Struct IM-SK}。

Struct EX-SK＝{Struct OBJ[N],Struct Virhand}，N为物体的个数。

其中，Struct OBJ＝{int number,double location[3],double angel[3],inttype,bool select,bool status[3],bool flag}；

Struct Virhand＝{double location[3],double angel[3]}。

Struct IM_SK＝{double re_location[N],double re_angel[N],int relation[N][N],int near[N],int rotation[N],bool bLight,int lightnum,bool bNear,boolbRotate,double LocationThreshold1,double LocationThreshold2,doubleAngelThreshold1,double AngelThreshold2}。

本发明显式场景物体知识库如表1所示。

表1

用户知识模型如下：

用户知识包括用户的手部位置变化(handchange)和手势(handgesture)。用户的手部位置变化包括x变化(Xchange)和y变化(Ychange)，并把用户手部的x变化或y变化超过50mm定义为位置变化。手势包含12指抓手势和12指放手势。位置变化包括位置向上变化、位置向下变化和其他方向变化。用户知识形式化表示为：

Struct UKM{

double Xchange；

double Ychange；

int handgesture；}；用户知识库如表2所示。

表2

显式交互知识库如下：

显式交互是系统把显式场景信息和用户的动作当作输入，感知用户的直接交互意图，根据用户的意图语义产生显式输出。显式交互知识库包括显式场景知识库和用户动作知识库。

本发明中显式交互知识库由产生式规则组成，即“IF前提,TNEN结论”的形式。

显式交互知识库前提包括上一次推理的意图(preintention)、物体的操作属性(type)、手部位置是否变化(Xchange和Ychange)、手势(handgesture)和规则数目(num)。结论包括手部动作(action)和用户意图(intention)。手部动作包括手向上移动、手向下移动、手向其他方向移动、手握紧和手张开。用户意图包括休息、操作、选择、抓取、平移和释放。根据虚拟装配平台任务和功能，包括16条规则。

规则RL1：如果 Ychange>＝Threshold，

那么 手部动作为“手向上移动”。

规则RL2：如果 Ychange<＝-Threshold，

那么 手部动作为“手向下移动”。

规则RL3：如果 Xchange<＝Threshold且Ychange<＝Threshold，

那么 手部动作为“手移动”。

规则RL4：如果 手势为“12指抓”，

那么 手部动作为“手握紧”。

规则RL5：如果 手势为“12指放”，

那么 手部动作为“手张开”。

规则RL6：如果 手部动作为“手向上移动”，

那么 用户意图为“操作”。

规则RL7：如果 手部动作为“手向下移动”，

那么 用户意图为“休息”。

规则RL8：如果 物体的选择标志为假 且 手部动作为手移动且“用户操作”，

那么 用户意图为“选择物体”。

规则RL9：如果 上一次推理的意图为“选择”且 物体的操作属性为抓取平移释放且 手部动作为“手移动”，

那么 用户意图为“平移”。

规则RL10：如果 上一次推理的意图为“抓取”且 物体的操作属性为抓取平移释放且 手部动作为“手张开”，

那么 用户意图为“释放”。

规则RL11：如果 上一次推理的意图为“抓取”且 物体的操作属性为抓取平移释放且 手部动作为“手移动”，

那么 用户意图为“平移”。

规则RL12：如果 上一次推理的意图为“平移”且 物体的操作属性为抓取平移释放且 手部动作为“手握紧”，

那么 用户意图为“抓取”。

规则RL13：如果 上一次推理的意图为“平移”且 物体的操作属性为抓取平移释放且 手部动作为“手移动”

那么 用户意图为“平移”

规则RL14：如果 上一次推理的意图为“平移”且 物体的操作属性为抓取平移释放且 手部动作为“手张开”，

那么 用户意图为“释放”。

规则RL15：如果 上一次推理的意图为“释放”且 物体的操作属性为抓取平移释放且 手部动作为“手握紧”，

那么 用户意图为“抓取”。

规则RL16：如果 上一次推理的意图为“释放”且 物体的操作属性为抓取平移释放且 手部动作为“手移动”，

那么用户意图为“平移”。

隐式交互知识库如下：

隐式交互把用户显式意图和情境隐含知识当作隐式输入，环境主动配合用户的显式意图产生隐式输出，协助用户完成交互任务。隐式交互知识库由隐式场景知识和用户意图组成。

本发明中隐式交互知识库由产生式规则组成，即“IF前提,TNEN结论”的 形式。

隐式交互知识库前提包括：当前用户意图和当前用户意图的关联类型，结论包括用户的隐式意图。当前用户意图的关联类型包括当前物体和虚拟手的位置关系、当前物体的关联物体显示、当前物体和关联物体的位置关系、当前物体和虚拟手的角度关系和当前物体和关联物体的角度关系。用户的隐式意图包括根据当前物体，场景向虚拟手靠近、根据当前物体的关联物体，场景向虚拟手靠近、物体向虚拟手顺时针旋转、关联物体向物体顺时针旋转、物体向虚拟手逆时针旋转、关联物体向物体逆时针旋转。隐式交互知识库包括7条规则。

规则1：如果 显式意图为“平移”且 re_location[K]>＝LocationThreshold1，

那么 隐式意图为“根据当前物体，场景向虚拟手靠近”。

规则2：如果 显式意图为“平移”且 re_location[K_relation]>＝LocationThreshold2，

那么 隐式意图为“根据当前物体的关联物体，场景向虚拟手靠近”。

规则3：如果 显式意图为“抓取”且 lightnum＝0，

那么 隐式意图为“当前物体的关联物体高光显示”。

规则4：如果 显式意图为“抓取”且 re_angel[K]>＝angel threshold1且 物体的旋转标志为顺时针，

那么 隐式意图为“物体顺时针旋转夹角减去角度阈值”。

规则5：如果 显式意图为“抓取”且 re_angel[K]>＝angel threshold1且 物体的旋转标志为逆时针

那么 隐式意图为“物体逆时针旋转夹角减去角度阈值”。

规则6：如果 显式意图为“释放”且 re_angel[K_relation]>＝angelthreshold2且 物体的旋转标志为顺时针

那么 隐式意图为“关联物体顺时针旋转夹角减去角度阈值”。

规则7：如果 显式意图为“释放”且 re_angel[K_relation]>＝angel threshold2且 物体的旋转标志为逆时针

那么 隐式意图为“关联物体逆时针旋转夹角减去角度阈值”。

本发明基于场景任务的用户隐式意图感知算法如下：

本发明提出了基于场景任务的用户隐式意图感知算法(Implicit IntentionPerception algorithm based on Scene Task,IIP-ST)，算法框图如图1所示.

算法步骤为：

S1：建立并读取显式场景物体知识库、用户手势库和显式交互知识库、隐式交互知识库和综合数据库，当前任务编号初始化为0，当前任务完成标志初始化为假；

S2：根据显式场景知识库中的物体操作属性确定可操作的物体数目，确定场景任务最大编号；

S3：判断当前任务编号是否超过场景任务最大编号，如果是，退出；如果否，转S4；

S4：判断当前物体操作状态与场景库里物体操作状态是否相同，如果是，当前任务完成，当前任务完成标志变为真；

S5：当开始检测标志记录为假时，记录手的初始位置及手的当前位置，当手的当前位置与初始位置的差值大于50mm时，开始检测；

S6：当用户操作意图为选中装配物体时，将物体的操作属性和当前任务完成标志存入综合数据库，当前任务编号加1；

S7：判断用户操作标志是否为真，如果是，执行操作，并将用户操作标记变为假；如果否，转S8；

S8：利用肤色模型进行手部分割，获取从开始检测之后的十帧用户的手势主方向特征和手部位置。选取第一帧和第十帧的手势特征，与模板库特征进行类-Hausdorff距离模板匹配；选取第一帧和第十帧的手部位置判断手势位置变化；将手势识别结果和手部位置变化存入综合数据库中；

S9：将综合数据库中的物体的操作属性、手势识别结果和手部位置变化作 为当前事实，遍历显式交互知识库，推理(请参考王亚南.专家系统中推理机制的研究与应用[D].武汉理工大学,2006:7-13.)出最终结论，存入综合数据库中；

S10：根据推理的最终结论，确定用户动作的显式意图；如果当前任务完成标志为未完成，则将最终结论作为下一次推理的前提：上一次推理的意图，否则，不把最终结论作为下一次推理的前提，并更改当前任务完成标志为未完成；

S11：把用户的显式意图和隐式场景知识当作隐式输入，遍历隐式交互知识库，推理出最终结论，并存入综合数据库中；

S12：根据用户的显式意图和隐式意图将对应操作标志变为真，执行相应操作，更改对应的物体的操作状态，之后将开始检测标志和对应操作标志变为假，转S3；

本发明场景物体感知拉近算法如下：

在虚拟装配系统中，碰撞检测是不可缺少的过程，但现有研究大都需要用户主动不断操作，直到系统检测到满足碰撞检测条件为止，影响了交互的效率。为此，本发明提出了根据场景物体和虚拟手位置关系的场景物体感知拉近算法，步骤为：

S1：判断当前用户的操作意图，如果操作意图是平移，转S2；

S2：根据实际手和粒子滤波跟踪算法得到虚拟手的位置，根据式(1)计算虚拟手的移动速度v；

其中，loc₁表示虚拟手的末位置，loc₀表示虚拟手的初位置，t为虚拟手运动的帧数。

S3：如果当前物体状态为没有被抓取，根据式(2)计算虚拟手的末位置和当前操作物体位置的距离d₁；

其中，o_i表示第i个场景物体的位置。

S4：如果d₁大于距离阈值，则当前操作物体(场景)主动向虚拟手靠近。根据式(3)求取场景拉近的帧数frame；

其中，thre_d1表示距离阈值。

S5：如果当前物体状态为已被抓取，根据式(4)计算当前操作物体的位置和关联物体位置的距离d₂；

其中，o′_i表示第i个场景物体关联物体的位置。

S6：如果d₂大于距离阈值，则当前操作物体的关联物体(场景)主动向虚拟手靠近。根据公式(5)求取场景拉近的帧数frame；

其中，thre_d2表示距离阈值。

S7：场景中各物体逐帧向虚拟手靠近距离v，逐帧更新场景中各物体的位置。

本发明中的场景物体旋转算法如下：

在进行抓取和释放物体的过程中，需要检查物体的位姿是否匹配，本发明提出了基于物体OBB包围盒方向特征面和虚拟手方向关系的场景物体旋转算法，使物体能够感知用户的位姿，并主动调整自身位姿以适应用户。算法步骤为：

S1：判断当前用户的操作意图，如果是抓取或释放，转S2；

S2：根据文献(吴强.基于OBB碰撞检测及其算法改进研究[D].郑州大学,2007:14-16)的方法求出场景中物体的中心和协方差矩阵，计算协方差矩阵的特征向量，计算物体的OBB长方体包围盒；

S3：求取并记录OBB包围盒各面的面积s_i及其法向量

S4：当用户操作意图为抓取时，物体方向为抓取面的方向，本发明选择最 小面的法向量作为抓取时物体的方向向量；

S5：如果虚拟手的向上法向量和当前物体的方向向量的夹角满足式(6)，则物体绕虚拟手的法向量旋转；

S6：计算虚拟手的向上法向量和当前物体的方向向量在XOY平面的投影向量和计算两个向量与X轴的夹角angel_v和angel_i；

S7：如果angel_v和angel_i满足式(7)，则物体绕虚拟手顺时针旋转(angle1-thre_angle1)；

angel_v≤angel_i≤(angel_v+180°) (7)

如果angel_v和angel_i满足式(8)，物体绕虚拟手逆时针旋转(angle1-thre_angle1)；

(angel_v+180°)＜angel_i＜(angel_v+360°) (8)

S8：根据式(9)更新当前操作物体各面的法向量；

其中θ＝-(angle1-thre_angle1)。

S9：当用户操作意图为释放时，物体方向为装配面的方向，本发明选择最大面的法向量作为释放时物体的方向向量；

S10：如果当前物体方向向量和关联物体装配面的法向量的夹角满足式(12)，则关联物体绕当前物体旋转；

S11：计算当前物体的方向向量和当前物体关联物体装配面的法向量在XOY平面的投影向量和计算两个向量与X轴的夹角angel_i和angel′_i；

S12：如果angel_i和angel′_i满足式(13)，则关联物体绕当前物体顺时针旋转(angle2-thre_angle2)；

angel_i≤angel′_i≤(angel_i+180°) (13)

如果angel_i和angel′_i满足式(14)，则关联物体绕当前物体逆时针旋转(angle2-thre_angle2)；

(angel_i+180°)≤angel′_i≤(angel_i+360°) (14)

S13：根据式(9)更新当前操作物体关联物体各面的法向量，θ＝(angle1-thre_angle1)。

下面通过实验来说明本发明方法的技术效果：

手势识别是三维手势交互的关键。本发明采用基于kinect的手势识别(请参考郑斌珏.基于Kinect深度信息的手势识别[D].杭州电子科技大学,2014:7-11)。本发明采用文献(Yang Xuewen,Feng Zhiquan,Huang Zhongzhu,He Nana.A Ges ture RecognitionAlgorithm Using Hausdorff-Like Distance Templ ate Matching Based on the MainDirection of Gesture[C]//Appl ied Mechanics and Materials.2015,713:2156-2159)提出的基于手势主方向及空间手势坐标点分布特征匹配的识别方法。

本发明虚拟装配场景任务包括选择物体，并对物体进行平移—抓取—平移—释放操作，最终将物体放置到装配位置。

本发明虚拟装配平台用OpenGL构建。

对比实验如下

文献(Yuanyuan Su,Zhiquan Feng.Research on the Objects SelectionMethod of 3D Interactive Interface.International Conference on IntelligentSystem Design and Engineering Applications.Volume 1,2013,p537-540)提出的基于导航信息模型的碰撞检测算法(Collision Detection algorithm based on NavigationInformation Model,CD-NIM)，可以降低用户的认知和操作负担。本发明隐式交互IIP-SC算法意在降低用户的操作和认知负担，因此和CD-NIM算法进行对比。

本发明实验是在距离kinect1.2米的位置进行，10名操作熟练的实验者分别进行10次实验，每次实验都是连贯地完成，并让操作者对完成装配任务过程进行NASA(请参考高思华.飞行员飞行操控训练系统的研究与实现[D].吉林大学,2013:46)评价打分。分别统计了两种算法的一次碰撞检测的时间、一次碰撞检测手的移动距离、总装配任务操作时间和总装配任务移动距离，并求出每个操作者的平均值。本发明中一次碰撞检测是指从选中物体开始到与发生物体碰撞检测的过程，总装配任务是指将场景中的所有可装配物体装配完成。

一次碰撞检测的平均时间如图2所示。IIP-ST算法一次碰撞检测平均时间为2000-3000ms，CD-NIM算法一次碰撞检测平均时间为3000-3500ms。

一次碰撞检测手的平均移动距离如图3所示。IIP-ST算法一次碰撞检测平均移动距离为200-350mm，CD-NIM算法一次碰撞检测平均移动距离为300-400mm。

总装配任务平均操作时间如图4所示。IIP-ST算法总装配任务平均操作时 间为5500-7000ms，CD-NIM算法总装配任务平均操作时间为8000-9000ms。

总装配任务平均移动距离如图5所示。IIP-ST算法总装配任务平均移动距离为3000-4000mm，CD-NIM算法总装配任务平均移动距离为5000-6000mm.

从实验结果可以看出，IIP-ST算法相比仅采用显式交互的CD-NIM算法，由于融入了隐式交互，使人机能双向互动，减少了用户操作的时间和移动距离，提高了操作效率。

本发明NASA用户评价指标分为脑力要求(mental demand)、体力要求(physicaldemand)、操作绩效(performance)、努力程度(effort)和受挫程度(frustration)。其中，脑力要求描述了用户操作记忆负荷，体力要求描述了用户操作吃力程度，操作绩效表示用户操作的顺利程度，努力程度描述了用户在操作过程中是否感到轻松，受挫程度描述了用户在操作过程中产生的消极程度。NASA评价指标采用5分制，每个指标分为5个等级，0-1分表示认知负担微小，1-2分表示认知负担比较小，2-3分表示认知负担一般，3-4分表示认知负担比较大，4-5分表示认知负担很大。从图6可以看出，本发明算法的各项指标都在2分以内，用户认知负荷较低，用户评价较高。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (4)

1.一种用于计算机虚拟装配的隐式交互系统，其特征在于，包括：

建立场景知识模型模块：场景知识随着交互任务进行而变化，包括显式场景知识库和隐式场景知识库；所述显式场景知识库由物体知识库和虚拟手知识库组成，物体知识库包含物体编号、物体位置、物体角度、物体的选择标志、物体的操作属性、物体的状态和物体操作完成标志；所述物体角度是用物体OBB包围盒特征面的法向量表示；所述物体的选择标志表示物体被选中并对物体进行任务操作；所述物体的操作属性是指在场景任务中对已选物体能够进行的操作，包括装配物体的抓取、平移、释放；所述物体的状态是指物体的操作属性对应的操作是否执行；所述物体操作完成是指物体的操作属性对应的操作都执行完毕；所述虚拟手知识库包含虚拟手的位置和虚拟手的向上法向量的角度；所述隐式场景知识为场景中物体间和物体与虚拟手的特征关系，包括物体和虚拟手的位置关系、物体和虚拟手的角度关系、物体的关联物体、关联物体的高光显示标志、关联物体的高光显示次数、物体的拉近标志、物体的旋转标志、物体和虚拟手的位置关系阈值、关联物体和虚拟手的位置关系阈值、物体和虚拟手的方向关系阈值、关联物体和虚拟手的方向关系阈值；所述物体的拉近包括：根据当前物体，场景向虚拟手靠近和根据当前物体的关联物体，场景向虚拟手靠近；所述物体的旋转包括物体顺时针向虚拟手旋转、物体逆时针向虚拟手旋转、当前物体的关联物体顺时针向当前物体旋转和当前物体的关联物体逆时针向当前物体旋转；

建立用户知识模型模块：用户知识包括用户的手部位置变化和手势；所述用户的手部位置变化包括x变化和y变化，并把用户手部的x变化或y变化超过50mm定义为位置变化；所述手势包含12指抓手势和12指放手势；所述位置变化包括位置向上变化、位置向下变化和其他方向变化；

构建显式交互知识库模块：显式交互是系统把显式场景信息和用户的动作当作输入，感知用户的直接交互意图，根据用户的意图语义产生显式输出；所述显式交互知识库包括显式场景知识库和用户动作知识库；所述显式场景知识库中的前提包括上一次推理的意图、物体的操作属性、手部位置是否变化、手势和规则数目；结论包括手部动作和用户意图；所述手部动作包括手向上移动、手向下移动、手向其他方向移动、手握紧和手张开；所述用户意图包括休息、操作、选择、抓取、平移和释放；

构建隐式交互知识库模块：隐式交互是把用户显式意图和情境隐含知识当作隐式输入，环境主动配合用户的显式意图产生隐式输出，协助用户完成交互任务；所述隐式交互知识库包括隐式场景知识和用户意图；所述隐式交互知识库中的前提包括当前用户意图和当前用户意图的关联类型，结论包括用户的隐式意图；所述当前用户意图的关联类型包括当前物体和虚拟手的位置关系、当前物体的关联物体显示、当前物体和关联物体的位置关系、当前物体和虚拟手的角度关系和当前物体和关联物体的角度关系；所述用户的隐式意图包括根据当前物体，场景向虚拟手靠近、根据当前物体的关联物体，场景向虚拟手靠近、物体向虚拟手顺时针旋转、关联物体向物体顺时针旋转、物体向虚拟手逆时针旋转、关联物体向物体逆时针旋转。

用户隐式意图感知模块：基于场景任务进行用户隐式意图感知；

场景感知拉近模块：根据场景物体和虚拟手位置关系的进行场景感知拉近；

场景物体旋转模块：基于物体方向包围盒的特征面和虚拟手的方向关系的进行场景物体旋转。

2.根据权利要求1所述的用于计算机虚拟装配的隐式交互系统，其特征在于：所述用户隐式意图感知模块是这样实现的：

S1：建立并读取物体知识库、用户知识模型和显式交互知识库、隐式交互知识库和综合数据库，当前任务编号初始化为0，当前任务完成标志初始化为假；

S2：根据显式场景知识库中的物体操作属性确定可操作的物体数目，确定场景任务最大编号；

S3：判断当前任务编号是否超过场景任务最大编号，如果是，退出；如果否，转S4；

S4：判断当前物体操作状态与场景库里物体操作状态是否相同，如果是，当前任务完成，当前任务完成标志变为真；

S5：当开始检测标志记录为假时，记录手的初始位置及手的当前位置，当手的当前位置与初始位置的差值大于50mm时，开始检测；

S6：当用户操作意图为选中装配物体时，将物体的操作属性和当前任务完成标志存入综合数据库，当前任务编号加1；

S7：判断用户操作标志是否为真，如果是，执行操作，并将用户操作标记变为假；如果否，转S8；

S8：利用肤色模型进行手部分割，获取从开始检测之后的十帧用户的手势主方向特征和手部位置，选取第一帧和第十帧的手势特征，与模板库特征进行类-Hausdorff距离模板匹配；选取第一帧和第十帧的手部位置判断手势位置变化；将手势识别结果和手部位置变化存入综合数据库中；

S9：将综合数据库中的物体的操作属性、手势识别结果和手部位置变化作为当前事实，遍历显式交互知识库，推理出最终结论，存入综合数据库中；

S10：根据推理的最终结论，确定用户动作的显式意图；如果当前任务完成标志为未完成，则将最终结论作为下一次推理的前提：上一次推理的意图，否则，不把最终结论作为下一次推理的前提，并更改当前任务完成标志为未完成；

S11：把用户的显式意图和隐式场景知识当作隐式输入，遍历隐式交互知识库，推理出最终结论，并存入综合数据库中；

S12：根据用户的显式意图和隐式意图将对应操作标志变为真，执行相应操作，更改对应的物体的操作状态，之后将开始检测标志和对应操作标志变为假，转S3。

3.根据权利要求1所述的用于计算机虚拟装配的隐式交互系统，其特征在于：所述场景感知拉近模块是这样实现的：

P1：判断当前用户的操作意图，如果操作意图是平移，转P2；

P2：根据实际手和粒子滤波跟踪算法得到虚拟手的位置，根据式(1)计算虚拟手的移动速度v；

$v=\frac{\sqrt{{({\mathrm{loc}}_1-{\mathrm{loc}}_0)}^2}}{t}---\left(1\right)$

其中，loc₁表示虚拟手的末位置，loc₀表示虚拟手的初位置，t为虚拟手运动的帧数；

P3：如果当前物体状态为没有被抓取，根据式(2)计算虚拟手的末位置和当前操作物体位置的距离d₁；

$d_1=\sqrt{{({\mathrm{loc}}_1-o_i)}^2}---\left(2\right)$

其中，o_i表示第i个场景物体的位置；

P4：如果d₁大于距离阈值，则当前操作物体主动向虚拟手靠近。根据式(3)求取场景拉近的帧数frame；

$frame=\frac{d_1-thre\_d1}{v}---\left(3\right)$

其中，thre_d1表示距离阈值；

P5：如果当前物体状态为已被抓取，根据式(4)计算当前操作物体的位置和关联物体位置的距离d₂；

$d_2=\sqrt{{(o_i-o_i^{\&prime;})}^2}---\left(4\right)$

其中，o′_i表示第i个场景物体关联物体的位置。

P6：如果d₂大于距离阈值，则当前操作物体的关联物体主动向虚拟手靠近，根据公式(5)求取场景拉近的帧数frame；

$frame=\frac{d_2-thre\_d2}{v}---\left(5\right)$

其中，thre_d2表示距离阈值；

P7：场景中各物体逐帧向虚拟手靠近距离v，逐帧更新场景中各物体的位置。

4.根据权利要求1所述的用于计算机虚拟装配的隐式交互系统，其特征在于：所述场景物体旋转模块是这样实现的：

T1：判断当前用户的操作意图，如果是抓取或释放，转T2；

T2：求出场景中物体的中心和协方差矩阵，计算协方差矩阵的特征向量，计算物体的OBB长方体包围盒；

T3：求取并记录OBB包围盒各面的面积s_i及其法向量

T4：当用户操作意图为抓取时，物体方向为抓取面的方向，选择最小面的法向量作为抓取时物体的方向向量；

T5：如果虚拟手的向上法向量和当前物体的方向向量的夹角满足式(6)，则物体绕虚拟手的法向量旋转；

T6：计算虚拟手的向上法向量和当前物体的方向向量在XOY平面的投影向量和计算两个向量与X轴的夹角angel_v和angel_i；

T7：如果angel_v和angel_i满足式(7)，则物体绕虚拟手顺时针旋转(angle1-thre_angle1)；

angel_v≤angel_i≤(angel_v+180°) (7)

如果angel_v和angel_i满足式(8)，物体绕虚拟手逆时针旋转(angle1-thre_angle1)；

(angel_v+180°)＜angel_i＜(angel_v+360°) (8)

T8：根据式(9)更新当前操作物体各面的法向量；

$\stackrel{\&RightArrow;}{s}\&CenterDot;\stackrel{\&RightArrow;}{r}=\stackrel{\&RightArrow;}{S^{\&prime;}}---\left(9\right)$

$\stackrel{\&RightArrow;}{s}=\left[\begin{array}{cccc}{S}_{1x}& S_{1y}& S_{1z}& 0\\ S_{2x}& S_{2y}& S_{2z}& 0\\ S_{3x}& S_{3y}& S_{3z}& 0\\ 0& 0& 0& 1\end{array}\right]---\left(10\right)$

$\stackrel{\&RightArrow;}{r}=\left[\begin{array}{cccc}\cos \mathrm{\&theta;}+a^2*\left(1-\cos \mathrm{\&theta;}\right)& a*b*\left(1-\cos \mathrm{\&theta;}\right)-c*\sin \mathrm{\&theta;}& a*c*\left(1-\cos \mathrm{\&theta;}\right)+b*\sin \mathrm{\&theta;}& 0\\ b*a*\left(1-\cos \mathrm{\&theta;}\right)+c*\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}+b^2*\left(1-\cos \mathrm{\&theta;}\right)& c*b*\left(1-\cos \mathrm{\&theta;}\right)-a*\sin \mathrm{\&theta;}& 0\\ a*c*\left(1-\cos \mathrm{\&theta;}\right)-b*\sin \mathrm{\&theta;}& c*b*\left(1-\cos \mathrm{\&theta;}\right)+a*\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}+c^2*\left(1-\cos \mathrm{\&theta;}\right)& 0\\ 0& 0& 0& 1\end{array}\right]---\left(11\right)$

其中θ＝-(angle1-thre_angle1)。

T9：当用户操作意图为释放时，物体方向为装配面的方向，选择最大面的法向量作为释放时物体的方向向量；

T10：如果当前物体方向向量和关联物体装配面的法向量的夹角满足式(12)，则关联物体绕当前物体旋转；

T11：计算当前物体的方向向量和当前物体关联物体装配面的法向量在XOY平面的投影向量和计算两个向量与X轴的夹角angel_i和angel′_i；

T12：如果angel_i和angel′_i满足式(13)，则关联物体绕当前物体顺时针旋转(angle2-thre_angle2)；

angel_i≤angel′_i≤(angel_i+180°) (13)

如果angel_i和angel′_i满足式(14)，则关联物体绕当前物体逆时针旋转(angle2-thre_angle2)；

(angel_i+180°)≤angel′_i≤(angel_i+360°) (14)

T13：根据式(9)更新当前操作物体关联物体各面的法向量，θ＝(angle1-thre_angle1)。