CN102073758A - 基于图灵机模型的增强现实装配环境系统建模方法 - Google Patents

Abstract

本发明涉及基于图灵机模型的增强现实装配环境系统HCPN建模方法，它借鉴了一种模型为计算“X+1”的图灵机，即能够记录当前状态X，在给入输入后得到最新的命令，并给出最新的状态输出，并应用到层次着色Petri网模型的建立中，使其能够记住当前内部状态并结合输入，作出正确的下一刻状态的判断。并采用CPN Tools建立增强现实装配环境系统的模型，首先将网络进行分层，将虚拟手子网、事件管理子网、装配子网等进行细化，利用每个子网的输入输出来实现事件的驱动，在网络中明确各种因素之间的关系，使其具有逻辑推理性，能够有效地处理大量的随机离散事件，便于表达装配模型的动态建立过程，具备感知用户意图的能力。

Description

基于图灵机模型的增强现实装配环境系统建模方法

技术领域

本发明将图灵机模型应用到层次着色Petri网中，并对增强现实装配环境系统进行建模。该方法能够实现基于事件驱动的装配过程并响应用户操作意图，用于增强现实装配环境系统的建模，属于增强现实应用技术领域。

背景技术

在增强现实装配环境系统中，一般利用视频摄像机捕捉真实装配场景图像，将其和计算机生成的虚拟物体通过各种配准算法合成，并最终显示在头盔显示器上。增强现实装配环境使工程师在操作真实零件的同时也能操作虚拟零件，它借助虚实混合的增强装配原型能够帮助用户理解场景中各种装配关系。

增强现实装配环境具有实时性和并发性等动态特征，需要处理装配过程中的大量离散事件，并响应用户的装配意图。目前在已有的装配仿真系统中，大多采用场景图来构建描绘场景，经过不断的改进，场景图很好地表示物体的方位信息、三维几何信息、材料和光照等属性信息，并能够通过增加场景图包含的信息，在一定程度上满足装配仿真的要求，但无法处理装配操作中的随机事件及实现用户的操作意图；国外学者利用头盔显示和数据手套建立了一个人机交互的增强现实装配系统，它能够解释用户的意图，可以满足增强现实装配的要求，但无法表达装配模型的动态建立过程且降低了效率。

因此寻求一种方法能够弥补场景图在增强现实装配应用中的不足，处理增强现实装配环境中的各种因素相互交叉的复杂关系，并能判断响应用户的意图是十分必要的。

发明内容

本发明的目的是采用图灵机思想，利用CPN Tools仿真工具，建立层次着色Petri网模型，并将其应用到增强现实装配环境系统中，从而实现装配过程中的事件管理以及用户意图的响应。

为了到达上述目的，本发明借鉴了一种模型为计算“X+1”的图灵机，即能够记录当前状态X，在接受输入后得到最新的命令，给出最新的状态输出，并应用到层次着色Petri网模型的建立中，使其能够记住当前内部状态并结合输入，作出正确的下一刻状态的判断。并采用CPN Tools建立增强现实装配环境系统的模型，首先将网络进行分层，将虚拟手子网、事件管理子网、装配子网等进行细化，利用每个子网的输入输出来实现事件的驱动，在网络中明确各种因素之间的关系，使其具有逻辑推理性，从而能够响应并感知用户的意图。

本发明所采取的技术方案是：

一种基于图灵机模型的增强现实装配环境系统建模方法，包括步骤：

1)定义增强现实装配环境系统的图灵机模型；

2)设计增强现实装配环境系统的总体结构网络，在网络中明确各种因素之间的关系；

3)将总体结构网络分为若干子网；

4)采用层次着色Petri网分别建立增强现实装配环境系统的各子网模型，各子网模型依照图灵机模型建立；

5)利用每个子网的输入输出来实现事件的驱动。

进一步地：

所述增强现实装配环境系统的图灵机模型定义如下：

有穷个状态集K，包括：漫游、抓取、拖动、释放、装配；

初始状态集s，s为状态集K的子集，包括漫游、抓取、释放；

停机状态H，H为状态集K的子集，包括漫游、拖动、装配；

系统规则集合δ，对整个图灵机的工作进行控制。

进一步地：

所述系统规则集合δ为图灵机模型的程序，其规则用列表的方式表示如下：

更进一步地：

所述子网模型包括虚拟手子网、事件管理子网、装配子网。

所述虚拟手子网包括漫游子网、拾取子网及碰撞检测、约束识别。

所述事件管理子网包括事件管理输出、场景图视点管理。

所述装配子网包括约束求解子网、约束分析、变换矩阵求解。

本发明的优点在于：1)采用层次着色Petri网建立增强现实装配环境系统的模型，能够处理增强现实装配过程中大量的离散事件和各因素相互交叉的复杂关系。2)将模型为计算“X+1”的基本图灵机思想应用到着色Petri网的建模当中，使网络整体具有记忆性和判断力，具备感知用户意图的能力。3)采用CPN Tools仿真工具对网络进行建模，并采用多层次结构将网络分成几个独立的模块分别进行建模，便于表达装配模型的动态建立过程。

附图说明

图1为增强现实装配环境系统的总体结构图；

图2为顶层CPN结构流程图；

图3为顶层CPN模型；

图4为虚拟手(VH)子网的结构流程图；

图5为虚拟手(VH)子网的CPN模型；

图6为事件管理(EM)子网的结构流程图；

图7为事件管理(EM)子网的CPN模型；

图8为装配(AM)子网的结构流程图；

图9为装配(AM)子网的CPN模型；

图10为各颜色集以及变量声明；

图11为顶层CPN模型部分的O图；

图12为虚拟手子网部分的O图。

具体实施方式

本发明涉及一种基于图灵机模型的增强现实装配环境系统建模方法，下面结合附图详细说明。

一.分析增强现实装配环境的结构及性能，并与图灵机模型结合。

图灵机定义如下：

图灵机是一个五元组(K，∑，δ，s，H)，其中：

K是有穷个状态的集合；

∑是字母表，即符号的集合；

s∈K是初始状态；

H∈K是停机状态的集合，当控制器内部状态为停机状态时图灵机结束计算；

δ是转移函数，即控制器的规则集合。

这里所参考的图灵机是模型为计算“X+1”的图灵机，它能够记录当前状态X，在接受输入后得到最新的命令，并给出最新的状态输出。这样使得网络能够记住当前内部状态并结合输入，作出正确的下一刻状态的判断。

增强现实装配环境系统的图灵机模型定义如下：

(1)有穷个状态集K为{漫游，抓取，拖动，释放，装配}；

(2)初始状态集s∈K为{漫游，抓取，释放}；

(3)停机状态H∈K为{漫游，拖动，装配}；

(4)δ是系统规则集合，对整个图灵机的工作进行控制，即虚拟手子网(vh)等网络结构。

在增强现实的图灵机模型中，规则集合δ就是具体的程序，相当于一个列表，是从输入集合到输出集合的映射，用列表的方式表示该图灵机模型的程序如表1所示。

表1

根据列表，图灵机依据每一时刻系统输入的信息和当前的内部状态进行查表，就可以确定它下一时刻的内部状态和输出动作了。

图灵机模型的引入实现了对用户装配意图的响应。在装配过程中，用户无需再对下一步的操作进行确认，系统只需根据6自由度鼠标、数据手套等人机交互输入设备得到的信息，即可感知用户的装配意图，完成装配过程。

考虑到增强现实装配环境具有实时性和并发性等动态特征，在装配过程中需要处理增强现实装配中的大量离散事件、各种因素相互交叉的复杂关系以及响应用户的装配意图，分析网络结构如图1所示：首先将用户在Pro/E等CAD系统中完成零部件的模型，通过数据转换接口将零部件的几何模型和装配关系信息导入到增强现实装配场景中；然后将虚拟手(实际输入设备可以是6自由度鼠标、数据手套等人机交互输入设备，在这里可将它们统一映射为虚拟手的输入)的位姿矩阵与手势代号输入到建立的CPN模型，该模型包括虚拟手子网(VH)、事件管理子网(EM)、装配子网(AM)等模块。模型经运行产生具体的装配事件操作用于更新装配场景，产生视点控制事件用于更新场景的视点变化，实现零件的漫游，抓取、拖动、装配等各种应用操作；同时适时调用碰撞约束检测实现增强现实环境中几何对象的干涉检查，结合干涉检查结果利用事件管理子网实现对系统事件的输出进行管理。

二.层次着色Petri网的建模

CPN Tools是由奥胡斯大学和美国宇航局于2000年4月联合推出的基于CPN的仿真软件。它能够建立、模拟和分析CPN模型并支持模型的状态空间分析、时间仿真、功能分析，并且用户可以根据自己的需要在模拟过程中编写自己的程序块去提取性能评价所需要的数据。

层次petri网是根据类似于模块化编程思想，通过在CPN Tools工具内利用替代变迁的概念将CPN网络结构拆分为多个小块。一般概念上，具有替代变迁的网络是有多个层次的网络一可以先创建一个简化的网络，即顶层网络模型，以此来从广义上定义正在建模的系统的全貌；然后利用高层网中的替代变迁，将其关联到更为详细的页面中去，从而可以逐步地、越来越细化模型。

建立顶层CPN模型：

利用CPN Tools首先建立一个新的网络，根据图1所示网络结构建立顶层CPN模型，并加入初始标识，即手势代号和手势位姿矩阵，由于CPN Tools所支持的数据类型有限，手势矩阵声明用枚举颜色集来代替。图2是顶层CPN网络结构流程，图中实体矩形框为变迁，双线实体框为替代变迁，椭圆框为库所，菱形框为弧注释，以下流程图同此说明。

网络运行时，手势代号n与位姿矩阵pm经变迁t0输入到库所p11，该库所作为虚拟手子网的输入库所，虚拟手子网输出各种装配操作到库所集P＝{p0，p1，p2，p3}中；库所集P作为事件管理子网的输入库所，事件管理子网输出装配事件ae＝{assembly；object1＝ID1，object2＝ID2；}(装配的两个零件id号分别为ID1，ID2)到库所p31，该库所作为装配子网的输入库所，装配子网通过处理装配事件输出变换矩阵到事件管理子网；事件管理子网通过处理接收到的输入输出各种操作事件EVENT＝{event(i)，i＝0，1，2…4}到视点库所p51中，实现视点变化与场景图更新。

顶层CPN模型的具体实现见图3，各库所与变迁的定义与声明见表2。图中弧注释JS(JudgeSentence)表示判断语句或弧权函数，变迁侧边注释GF(Guard Function)表示守卫函数，守卫函数能够根据输入弧注释变量的值限制输出弧注释变量的值，所有注释均遵循CPN ML语法规则。以下模型图同此说明。

表2

建立虚拟手(VH)子网CPN模型：

虚拟手子网是整个网络中的核心部分，它依据前面所述图灵机模型而建，按表1所描述的程序规则运行，网络结构流程如图4所示。在顶层模型中，替代变迁t1(VH)被关联到虚拟手网络的页面上，使网络更加精细。库所p11作为虚拟手子网的输入库所，存放手势代号n与位姿矩阵pm。

网络运行时，输入手势代号0及位姿矩阵，经弧注释判断，通过p20触发替代变迁漫游t11，关联到漫游网络页面，若未与其他零部件碰撞，输出漫游事件到事件管理器；刷新系统，输入手势代号1及位姿矩阵，经弧注释判断，通过p21触发替代变迁拾取t12，关联到拾取网络页面，将零件的id＝ID1与虚拟手固结，Token(托肯)值就由原来的(n，pm)变为((n，pm)，id)，由于库所p27中记录系统状态为漫游，因此t14变迁触发，进入零件ID1的拖动状态，并输出拖动事件到事件管理器中。拖动过程中要进行碰撞检测，由流动到碰撞检测库所的Token值来决定场景图的渲染以及视点变化的控制。若拖动过程中，零件未与其他零件或物体碰撞，则靠近要被安装的零件ID2，进行约束识别，如果建立了装配约束，则根据约束信息输出装配事件。其中md是拖动零件的id＝ID1及目标位置矩阵。零件处于拖动状态时，系统刷新输入释放命令(手势代号为2)，再次触发替代变迁t11，重新进入漫游状态。受CPN Tools的功能所限，这里的碰撞检测用简单的布尔变量来代替。

在上述运行过程中，系统每一帧刷新接收用户输入，并在上一次网络的运行状态(M_i-1)的基础上运行后产生新的状态M_i。

虚拟手子网CPN模型的具体实现见图5，各库所与变迁的定义与声明见表3。各变量以及颜色集声明如图10所示。

表3

建立事件管理(EM)子网CPN模型

事件管理子网实现了整个模型基于事件的驱动机制，事件管理子网包括具体事件(漫游、拾取、拖动、装配等)管理输出、场景图视点管理。在顶层模型中，替代变迁t2(EM)被关联到事件管理网络的页面上，库所p0，p1，p2，p3作为事件管理子网的输入库所，存放虚拟手子网运行后产生的输出，网络结构流程如图6所示。

网络运行时，输入手势代号为0，经虚拟手子网输出漫游操作至库所p0，经弧权函数判断，输出漫游事件EVENT＝{event(0)；roaming}至库所p51，实现视点变化及场景图更新；输入手势代号为1，经虚拟手子网输出拖动操作至库所p1，经弧权函数判断，输出拖动事件EVENT＝{event(1)；dragging}至库所p51，实现视点变化及场景图更新；若零件被拖动过程中，没有与其他零件碰撞，则虚拟手子网输出装配操作至库所p3，经弧权函数判断，在更新场景的同时(即EVENT＝{event(2)；rendering})，将装配命令经库所p31送入装配子网，实现装配操作，并通过库所p32接收装配子网送回的变换矩阵输出装配事件EVENT＝{event(4)；assembly}。库所p2存放碰撞检测结果，若无碰撞则库所为空，若有碰撞，则输出碰撞事件EVENT＝{event(3)；collided}以变化视点与场景更新。

事件管理子网CPN模型的具体实现见图7，各变量以及颜色集声明如图10所示。

建立装配(AM)子网CPN模型

在顶层模型中，替代变迁t3(AM)被关联到装配网络的页面上，库所p31作为装配子网的输入库所，存放虚拟手子网输出的装配事件，网络结构流程如图8所示。

网络运行时，根据零件ID1与ID2的约束特征进行约束求解后，输出变换矩阵TD和约束信息存放在库所p41与p42中，变迁t33触发，执行约束分析过程，得到的装配约束状态存放在库所p43与p44中。库所p40存放零件ID2的id号与位姿矩阵，由变迁t34输出弧上的弧权函数得到对两个装配件进行零件定位求解后的变换矩阵TD1，将结果存放在库所p32中，并输出到事件管理子网，通过变换零件id的方位，实现建立装配约束后零件位姿的调整和约束状态的变化。装配子网CPN模型的具体实现见图9，各库所与变迁的定义与声明见表4。各变量以及颜色集声明如图10所示。

表4

三.实验验证

下面给出采用CPN模型的状态图OG(Occurrence Gragh)分析网络运行状态的结果。圆形框图中共有三个数字，第一个数字表示节点数目，第二行第一个数字表示前继节点的数目，第二个数字表示后继节点的数目，每一个节点表示系统在此刻库所里Token值的变化，弧上表示两个节点之间变迁的使能。图11和图12所示分别为当前状态为漫游并输入拾取命令，对零件进行拖动和装配操作时，顶层CPN模型部分以及虚拟手子网部分的O图，注释栏中表示的是每一次变迁点火时当前时刻发生变化的库所内的Token值。

图11所示为顶层CPN模型在输入拾取命令后，各关键库所内Token值的变化。初始节点为当前内部状态，p27库所里的Token值为(0，PM)，输入拾取命令(1，PM)，经过虚拟手子网后输出拖动操作，即p1库所里的Token值为true(真)，并输出装配操作即p3库所的Token值为(true，((1，PM)，ID1))，经过事件管理子网后，输出装配事件3(event(4))到场景图视点管理p41，并输出装配命令即ae库所的Token值为((1，PM)，ID1)，经装配子网后输出位姿变换矩阵TD1，通过场景图视点管理刷新场景。

图12所示为虚拟手子网在输入拾取命令后，各关键库所内Token值的变化。经过拾取子网后，零件的id与虚拟手的位姿合为一个Token，触发t14，输出拖动操作即p1库所里的Token值为true(真)且p25库所里的Token为((1，PM)，ID1)，经过碰撞检测约束识别等变迁最后输出装配操作即p3库所的Token值为(true，((1，PM)，ID1))。

该模型运行时所显示的是两个零件ID1与ID2的装配过程。在复杂的装配过程中，装配对象集Part＝{ID1，ID2，ID3，…IDn}，其中IDi(i＝1，2，3…)表示一个装配对象，既可以是一个零件，也可以是一个已完成的装配体，因此复杂装配过程的实现是简单装配过程的反复。

由上述过程可以看出，当网络当前状态为空且输入为漫游时，网络能够根据表1程序，输出为漫游事件，并由库所p27、p41等记录当前系统状态M0＝{p27＝(0，pm)；p41＝event(0)；}；系统刷新接收抓取命令(手势代号为1)，网络同样能够根据表1程序输出拖动事件，并由库所p25、p41等记录当前系统状态M1＝{p25＝((0，pm)，id)；p41＝event(3)；}；拖动过程中系统接收释放命令(手势代号为2)，网络根据表1程序输出漫游事件；拖动过程中系统没有新的输入，则网络能够根据表1程序执行装配操作。系统每一帧刷新接收用户输入，并在上一次网络的运行状态(M_i-1)的基础上运行后产生新的状态Mi，因此网络的运行规则完全符合图灵机模型的定义，具备感知用户意图的能力。

Claims (7)

1.一种基于图灵机模型的增强现实装配环境系统建模方法，其特征在于包括步骤：

1)定义增强现实装配环境系统的图灵机模型；

2)设计增强现实装配环境系统的总体结构网络，在网络中明确各种因素之间的关系；

3)将总体结构网络分为若干子网；

4)采用层次着色Petri网分别建立增强现实装配环境系统的各子网模型，各子网模型依照图灵机模型建立；

5)利用每个子网的输入输出来实现事件的驱动。

2.如权利要求1所述的增强现实装配环境系统建模方法，其特征在于：

所述增强现实装配环境系统的图灵机模型定义如下：

有穷个状态集K，包括：漫游、抓取、拖动、释放、装配；

初始状态集s，s为状态集K的子集，包括漫游、抓取、释放；

停机状态H，H为状态集K的子集，包括漫游、拖动、装配；

系统规则集合δ，对整个图灵机的工作进行控制。

3.如权利要求2所述的增强现实装配环境系统建模方法，其特征在于：

所述系统规则集合δ为图灵机模型的程序，其规则用列表的方式表示如下：

4.如权利要求1所述的增强现实装配环境系统建模方法，其特征在于：

所述子网模型包括虚拟手子网、事件管理子网、装配子网。

5.如权利要求4所述的增强现实装配环境系统建模方法，其特征在于：

所述虚拟手子网包括漫游子网、拾取子网及碰撞检测、约束识别。

6.如权利要求4所述的增强现实装配环境系统建模方法，其特征在于：

所述事件管理子网包括事件管理输出、场景图视点管理。

7.如权利要求4所述的增强现实装配环境系统建模方法，其特征在于：

所述装配子网包括约束求解子网、约束分析、变换矩阵求解。

Images