CN105868478A - 基于情境感知的旋转机械设备虚拟装配模型及装配方法 - Google Patents

Abstract

本发明公开一种基于情境感知的旋转机械设备虚拟装配模型及装配方法，采用将虚拟装配任务分解为装配知识层、装配决策层和用户控制层，为每个层次赋予不同的职责。通过为装配知识层定义虚拟装配模型，来容纳装配知识和装配语义，实现虚拟装配的情境化。通过将决策层每个零件视作独立的Agent，根据虚拟装配过程的特点定义Agent之间的通信模板和决策规则，实现用户引导规则化。同时本发明通过离线的聚类算法，实现对用户在特定装配情境下的位置和朝向的预测，减少用户在调整摄像机的操作上花费的时间。相比现有装配感知技术，本发明具有装配模型轻量化，交互智能化，交互效率高的优点，可定制装配过程引导用户操作。

Description

基于情境感知的旋转机械设备虚拟装配模型及装配方法

技术领域

本发明涉及大型旋转机械设备的虚拟装配仿真技术领域，特别是一种基于情境感知的旋转机械设备虚拟装配模型及装配方法。

背景技术

虚拟现实技术具有沉浸感、交互性和想象力等特征。虚拟装配技术是虚拟现实技术的典型应用，在产品设计验证和计算机辅助装配规划上有广泛应用。虚拟感知技术是虚拟装配系统的重要组成部分，能减轻用户对虚拟场景信息的认知负担，在虚拟场景中准确便捷地与三维场景进行交互操作。

现有虚拟装配感知机制常用的有：几何约束进行特征匹配和语义约束进行任务引导。几何约束的方法通过识别零件间的装配约束关系来捕捉用户的装配意图，实现零件的精确定位。但存在几何约束算法的复杂度与零件几何形状的复杂度成正比的问题，而且识别出的装配意图不完全准确。语义约束的方法是通过将工程语义与几何约束对应来实现的，该方法可以捕捉用户语义层面的意图，但存在未考虑约束施加的先后顺序，缺乏任务层面的装配感知机制等问题。

随着移动设备的普及，位置信息挖掘技术得到了快速发展，现有的位置聚类算法可以分为基于密度的聚类，基于层次的聚类，基于时间的位置聚类和基于划分的聚类等多种。基于密度的聚类算法通过计算所有样本点的密度来决定聚类中心，但是存在密度半径难以确定的问题。基于层次的聚类初始时将每个样本点视作一个类，将每个类按照一定条件逐层合并直到停止条件，层次聚类算法存在运算量比较大的问题。基于时间的聚类方法以增量的形式沿时间轴对位置信息进行聚类，并选定样本点足够密集且距离上一聚类结果有一定时间间隔的点作为新聚类结果。基于划分的聚类算法主要有K-Means及其变体，不过K-Means算法需要事先知道分类数量，各种变体方法对这方面进行了有效改进。

发明内容

本发明要解决的技术问题为：以装配情境定义为基础，将虚拟装配场景分为多个层次进行建模，提高虚拟装配对情境识别的灵活性，使得装配信息结构简单、系统结构贴近装配问题实质。

本发明采取的技术方案为：基于情境感知的旋转机械设备虚拟装配模型，其特征是，包括装配知识层、装配决策层和用户控制层，与虚拟装配有关的知识保存于装配信息文件中；

装配知识层中，将装配过程中零件的连接看作零件之间特征的匹配过程，则虚拟装配任务的情景即某一时刻所有零件的特征状态组成的集合；

装配知识层包括对特征对象各个属性的定义，以容纳装配信息文件中的装配知识：

特征对象＝(特征名称，特征类型，特征节点集合，连接特征，特征状态，依赖关系集合)；

特征名称是各特征对象在场景中的唯一标识；特征类型为零件之间点、线和面之间的连接装配关系，对应包括点特征、线特征和面特征；特征节点集合为点特征、线特征和面特征的位置及朝向；连接特征为可与当前特征进行匹配的特征名称；特征状态包括未就绪、就绪、激活和完成匹配四种属性取值；依赖关系集合是一个键-值集合，将特征名称对作为键，对应的值为0或1，根据场景中其他特征对象间的装配情况更新依赖关系集合中各项的取值；

当依赖关系集合中所有特征名称对都完成装配，则特征状态从未就绪转为就绪；如果一对就绪特征的位置足够靠近，且当前没有特征被激活，则这两个就绪的特征对进入激活状态；如果一对特征对象完成匹配，且特征对象的依赖关系集合分别已经被完全满足，则这对特征对象进入“完成匹配”状态，否则返回未就绪状态；

装配决策层中，包括多个零件Agent，不同零件Agent之间通过封装有特征状态参数的消息模板进行通信，零件Agent根据接收到的消息模板的内容选择不同装配行为；

装配决策层对各零件对象的定义为：

零件对象＝(零件名称，特征集合)；

其中零件名称是零件对象在场景中的唯一标识；特征集合是相应零件上所有点、线及面特征的集合，表示该零件与其它零件所有可装配的位置；

上述消息模板的定义为：

消息模板＝(发送者，接收者，消息体)；发送者是发送消息的零件Agent的名称，接收者是接收消息的零件Agent的名称，消息体为消息正文；

装配决策层还包括：对零件对象的决策规则的谓词进行定义，用于描述零件对象在场景中的各种基本行为，

对零件对象决策规则用到的常元进行定义，用于描述规则中的各种对象和属性的取值，

以及对零件Agent的决策规则进行定义，零件获取虚拟装配场景上下文信息后，根据决策规则选择对应行为；所述装配场景的上下文信息主要包含零件自身所包含的特征对象的属性信息，以及零件对象收到的消息中包含的各种消息内容；

用户控制层中，包括组件对象，组件对象为用户控制的逻辑单位和零件的抽象集合，定义为：

组件对象＝(组件编号，零件集合属性，自由度列表)

上述零件集合属性即Parts属性，包括多个零件Agent的名称，当两个组件完成装配后，两个组件的零件集合进行合并；

自由度列表属性即DOF属性，包括沿轴移动、绕轴旋转、延平面移动，空间移动、绕点旋转和空属性五种类型；

当两个组件所包含的两个零件之间完成一步特征匹配后，根据发生匹配的特征类型和组件对象当前的自由度取值，来解算下一步装配的自由度取值，直到这两个零件之间完全固定。

进一步的，本发明所述零件之间进行通信的消息模板包括turnActive、makeOffset、partPosition、featurePosition、matchPair和adjustSure六种类型，其中：

partPosition消息＝(发送者＝主动件，接收者＝所有Agent，消息体＝(位置，就绪特征名表))；用于向场景广播移动零件Agent的位置和所有处于“就绪”状态的特征名称；

featurePosition消息＝(发送者＝主动件，接收者＝所有Agent，消息体＝(激活状态特征的顶点集))；用于向场景广播自己处于激活状态的特征的顶点位置；

turnActive消息＝(发送者＝从动件，接收者＝主动件，消息体＝特征名称)；从动件利用turnActive消息指定主动件将特征调整为激活状态；

makeOffset消息＝(发送者＝从动件，接收者＝主动件，消息体＝(角度，轴线，位移))；从动件利用makeOffset消息让主动件做出旋转和位移调整；

adjustSure消息＝(发送者＝主动件，接收者＝从动件，消息体＝(特征名称集))；主动件利用AdjustSure消息告知从动件已完成了位置调整；

matchPair消息＝(发送者＝主动件/从动件，接收者＝所有Agent，消息体＝(零件名称对))；用于向场景中其它零件Agent广播当前完成装配零件对的名称。

本发明的装配决策层中，对零件对象的决策规则的谓词的定义包括：

定义谓词part(x)，含义为“x是零件”；comp(x)，含义为“x是组件”；posChg(x)，含义为“x的位置发生变化”；fullfill(x)，含义为“x的依赖集合被满足”；concAll(x)，含义为“x的连接集合被满足”；ftof(x,y)，含义为“x是y的特征”；ptof(x,y)，含义为“x是y的零件”；state(x,y)，含义为“x的状态是y”；setSt(x,y)，含义为“将x的状态设置为y”；send(x,y,z)，含义为“x向y发送消息z”；rev(x,y,z)，含义为“x收到y发来的消息z”；cont(x,y)，含义为“x包含在y中”；conc(x,y)，含义为“x可以与y匹配”；offset(x,y)，含义为“计算从x到y的位移、旋转偏移量”；doOffset(x,y)，含义为“按照y移动、旋转x”；update(x,y)，含义为“更新x的y属性”；dep(x,y)，含义为“x依赖于y”。

本发明装配决策层中，零件对象决策规则用到的常元包括特征状态常元和消息类型常元：

特征状态常元中，特征状态的取值包括inactive,ready,active,fixed四种，分别对应特征状态属性的未就绪、就绪、激活和完成匹配四个值；

消息类型常元中，消息类型的取值包括matchPair，makeOffset，partPosition，turnActive，featurePosition，adjustSure六种，分别对应六种不同的消息模板。

此外还定义了常元All，用以指代场景中所有的零件Agent。

本发明装配决策层中，对零件Agent决策规则的定义包括：

本发明装配决策层中，零件对象决策规则用到的常元包括特征状态常元和消息类型常元：

特征状态常元中，特征状态的取值包括inactive,ready,active,fixed四种，分别对应特征状态属性的未就绪、就绪、激活和完成匹配四个值；

消息类型常元中，消息类型的取值包括matchPair，makeOffset，partPosition，turnActive，featurePosition，adjustSure六种，分别对应六种不同的消息模板。

此外还定义了常元All，用以指代场景中所有的零件Agent。

本发明装配决策层中，对零件Agent决策规则的定义包括：

定义推理规则“如果有零件p位置发生变化，并且p不存在状态为active特征f，那么p向场景所有零件发送消息partPosition”，规则表示如下：

定义推理规则“如果零件p₁收到消息partPosition，且p₁的特征f₁、和partPosition消息包含的特征f₂之间存在匹配关系，那么将f1的状态设置为active并发送turnActive消息”，规则表示如下：

定义推理规则“若零件p₁收到消息turnActive，且p₁有特征f状态为ready并且包含于消息turnActive中，则将f设置为active”，规则表示如下：

定义推理规则“如果零件p位置发生变化，并且p存在状态为active的特征，那么零件p发送消息featurePosition”，规则表示如下：

定义推理规则“如果有零件p₁收到featurePosition消息，并且存在p₁的特征f1状态为active和包含在featurePosition消息中的特征f2，那么计算f1到f2之间的位移和旋转偏移量，并发送makeOffset消息”，规则表示如下：

定义推理规则“如果零件p₁收到makeOffset消息，且p₁存在状态为active的特征f，且makeOffset中含有偏移矩阵m，且特征f的连接集合全部满足，那么按偏移矩阵m移动p₁，并更新p₁所属组件c的DOF取值，并将特征f的状态设置为fixed，并发送adjustSure消息和matchPair消息”，规则表示如下：

注意，此条规则中，如果特征f的连接集合没有全部满足，则将f的状态设置为inactive，而非fixed，在此不再赘述。

定义推理规则“如果特征p₁收到消息adjustSure，并且p₁存在状态为active且连接集合全部满足的特征f，则更新p₁所属组件c的DOF取值，并将f状态设置为fixed，同时发送matchPair消息”规则表示如下：

注意，此条规则中，如果特征f的连接集合没有全部满足，则将f的状态设置为inactive，而非fixed，在此不再赘述。

定义推理规则“如存在零件p收到matchPair消息，存在状态为inactive的特征f属于p，并且matchPair消息中包含连接关系c，如果f依赖于c并且f的依赖集合被满足，那么将f的状态调整为ready”，规则表示如下：

本发明用户控制层中，对自由度进行解算时，包括以下定义：

定义有限状态自动机M＝(Q,Σ,δ,S,F)；其中：

状态集合为

输入字母表定义为

初始状态S定义为S＝(point Rotate,spaceTranslate)

终止状态F定义为：F＝{NULL}；δ为状态转移函数。

本发明还公开基于情境感知的旋转机械设备虚拟装配方法，其包括以下步骤：

步骤A：构建虚拟装配任务需要的各种零件模型，建立零件的三维模型，并标定出描绘零件特征的特征点的坐标集合；

步骤B：构建虚拟装配模型，根据零件包含特征的情况，特征的参数和装配过程建立虚拟装配模型；

步骤C：根据虚拟装配模型，建立虚拟装配信息文件；

步骤D：基于几何模型和虚拟装配信息文件，启动虚拟装配程序，对虚拟装配模型中的组件对象、零件对象和零件包含的特征对象进行初始化；

步骤E：运行虚拟装配程序，零件对象按照装载好的决策规则和消息模板，不断发送消息、读取消息并进行决策，直至装配完成。

具体的，步骤E中，

当用户控制某零件相对另一零件移动时，移动过程中被控零件不断发送包含自己坐标位置和特征列表的partPosition消息；

场景中其他零件收到这个partPosition消息时，判断自己包含的特征是否与消息中提到的特征存在匹配关系，若存在，则选择一对相应特征，发送turnActive消息，要求被控零件将对应特征状态调整为active；

被控零件收到turnActive消息后，将对应特征修改为active；此时用户继续控制被控零件移动，被控零件发送featurePosition消息，向场景广播active特征的位置；

可匹配零件收到featurePosition消息后，计算位移和旋转偏移量，并通过makeOffset消息，要求被控零件完成位移和旋转偏移；

被控零件收到makeOffset消息后，根据其中包含的位移和旋转偏移量改变自己的坐标矩阵，并更新自己的DOF取值，发送adjustSure消息，以及matchPair消息；

场景中各个其它零件收到matchPair消息后，根据消息中提到的特征对，更新自己特征的依赖关系集合的状态值；

可匹配零件收到adjustSure消息后，再选取下一对待匹配特征，通过turnActive消息命令被控零件将对应特征对状态置为active；

直到两个零件之间的所有特征完成匹配，将两个零件所属的组件进行合并：一个组件将自己的零件列表合并到另一个组件中，并将自己从场景中移除；合并完成后的组件将DOF值重置，用户可重新对其进行自由操控。

本发明的虚拟装配模型及方法适用于半自动的虚拟装配系统，用户能够通过系统界面查看到的装配画面，由系统的虚拟摄像机位置和朝向等因素决定。本发明还将用户在装配过程中形成的位置和朝向信息视为用户情境，并利用现有的位置聚类算法，结合装配情境完成对用户情境中关键位置点的抽取和使用。即，本发明基于情境感知的旋转机械设备虚拟装配方法，还包括对虚拟装配任务的用户情境进行提取，包括步骤：

1用户情境定义：

用户情境＝(特征状态集合，摄像机位置坐标，摄像机朝向坐标，摄像机头顶坐标)，

其中特征状态集合是由一系列数字位组成的序列值，每一位的取值范围为0到3，分别对应装配情境中每个特征对象的inactive、ready、active和fixed四种特征状态值；摄像机位置坐标是指用户视线的起点坐标；摄像机朝向坐标是用户视线的终点坐标；摄像机头顶坐标指与用户视线垂直的头顶正上方方向的终点坐标；

2用户情景离线抽取：

2.1收集用户执行同一虚拟装配任务过程中产生的路径信息，所述路径信息包括装配任务在每一时刻的特征状态集合，以及这一时刻用户摄像机的位置坐标、朝向坐标和头顶坐标；

2.2对于上述收集到的路径信息进行预处理，将每条路径按照不同的特征状态集合切分成不同的坐标点集合；

2.3对于不同的特征状态集合下的坐标点集合，使用基于密度的聚类算法，计算集合中每个坐标点周围一定范围σ内的坐标点的个数；

2.4对聚类后的坐标点集合进行清洗：首先合并密度相同的位置点，然后取出局部密度最大的位置点，作为备选关键位置点；

在对每一条路径都处理结束之后，不同的特征状态集合下均有对应的一系列备选关键位置点；

2.5应用基于层次的聚类方法，对上述各特征状态集合一系列备选关键位置点进行聚类：首先将每个特征点视为一类，然后计算各个聚类之间的距离，再对于距离小于范围σ的两个聚类进行合并；

聚类之间距离的计算公式为：

d_mean(C_i,C_j)＝||m_i,m_j||

2.6重复步骤2.5，直到各个聚类之间的距离全部大于范围σ，则聚类过程停止；

2.7查看各个聚类被合并过的次数，如果合并次数为零，说明这个备选关键位置点是一个离群点，予以清除；

3用户情景在线查询：

将步骤2得到的用户情境数据结果保存为用户情境文件，当虚拟装配程序启动后加载用户情境文件；

在用户执行装配操作的过程中，系统比对判断当前正在装配的各个特征形成的特征状态集合是否在用户情境文件中出现，如果是，则将对应的摄像机坐标位置和朝向位置加载到虚拟装配系统的摄像机上。

本发明对于用户情境的提取，利用装配情境标记用户的移动路径，应用数据挖掘算法找到用户在装配操作过程中的关键位置点，从而在用户正式使用过程中，结合当前装配情境的特征状态集合对用户进行位置推荐。

此时，用户就可直接进入易于拾取零件或者易于装配零件的操作位置，或者只需做少量调整就可以进行需要的操作。有的装配情境下，可能存在多个关键位置点，用户可以在这些关键位置点之间进行切换，找到最方便的位置。

步骤2中，范围σ的选定标准，可以参考用户在一秒钟时间内可以移动的距离。

有益效果

本发明结合多Agent技术，提出了一种多层次的虚拟装配建模方法，以及虚拟装配过程中对装配情境的提取和识别方法。在虚拟装配过程中，虚拟装配系统将根据当前装配任务进行用户情境推荐。在装配情境已识别装载的基础上，本发明装配模型将装配知识保存在特征之中，Agent零件的决策规则将当前情境反映在用户对组件的操作引导上。形成了装配知识到用户操作之间的传递通路，极大提高了虚拟装配对情境识别的灵活性。本发明提出的虚拟装配建模方法具有装配信息结构简单、系统结构贴近装配问题实质、开发过程灵活等优点，通过添加装配信息模型的细节和改进决策机制等方法可以方便地对系统进行扩展升级。装配情境的推荐可以极大地节省用户在各个装配步骤间调整摄像机位置和朝向上花费的时间，使得虚拟装配系统的使用体验更加流畅。

附图说明

图1为本发明虚拟装配模型的层次结构示意图；

图2为本发明虚拟装配模型的应用原理示意图；

图3为本发明特征状态转换流程示意图；

图4为本发明自由度解算有限自动机状态转换流程示意图；

图5所示为本发明用户情景关键位置点的聚类过程示意图。

具体实施方式

以下结合附图和具体实施例进一步描述。应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

参考图1和图2所示，本发明基于情境感知的旋转机械设备虚拟装配模型，将虚拟装配模型分为装配知识层、装配决策层和用户控制层，与虚拟装配有关的知识保存于装配信息文件中；与虚拟装配有关的知识包括装配信息描述文件及模型信息文件，当装配情境已定则装配信息文件确定。

装配信息文件是描述虚拟装配任务中零件对象与特征对象之间包含关系，以及特征对象之间匹配关系和依赖关系情况的知识文件。通过解析装配信息文件，可以获得虚拟装配任务中有关任务进度，装配关系等大量装配知识信息。

装配知识层用于创建和存储特征对象，读入并缓存各种装配知识；装配决策层用于创建零件Agent对象和决策规则，根据情境上下文来决策下一步的行为；装配控制层用于辅助用户进行控制，创建和维护一系列组件，通过更新DOF取值来引导用户的操作。具体的：

装配知识层中，将装配过程中零件的连接看作零件之间特征的匹配过程，则虚拟装配任务的情景即某一时刻所有零件的特征状态组成的集合；装配知识层建模包括定义特征对象的各个属性，以容纳装配知识：

定义特征对象＝(特征名称，特征类型，特征节点集合，连接特征，特征状态，依赖关系集合)；

上述定义中，特征名称是各特征对象在场景中的唯一标识；特征类型为零件之间点、线和面之间的连接装配关系，对应包括点特征、线特征和面特征；特征节点集合为点特征、线特征和面特征的位置及朝向；连接特征为可与当前特征进行匹配的特征名称；特征状态包括未就绪、就绪、激活和完成匹配四种属性取值；依赖关系集合是一个键-值集合，将特征名称对作为键，对应的值为0或1，根据场景中其他特征对象间的装配情况更新依赖关系集合中各项的取值；

特征名称对是将两个特征名称拼接成的字符串，描述两个特定特征之间存在依赖关系。不同特征对象的依赖关系集合不相同，因为不同的特征对象发生状态转换所依赖的前提操作并不相同，每个特征对象只需在自己的依赖关系集合中保存上一步匹配操作的那一对或者几对特征的匹配情况。这样，随着装配任务的发展，各个特征的状态也就可以依次进行转换，进而激发其他特征对像也进行相应转换。

当依赖关系集合中所有特征名称对都完成装配，则特征状态从未就绪转为就绪；如果一对就绪特征的位置足够靠近，且当前没有特征被激活，则这两个就绪的特征对进入激活状态；如果一对特征对象完成匹配，且特征对象的依赖关系集合分别已经被完全满足，则这对特征对象进入“完成匹配”状态，否则返回未就绪状态；

装配决策层包括多个零件Agent，不同零件Agent之间通过封装有特征状态参数的消息模板进行通信，零件Agent根据接收到的消息模板的内容选择不同装配行为；

装配决策层建模包括对各零件对象的定义：

零件对象＝(零件名称，特征集合)；

其中零件名称是零件对象在场景中的唯一标识；特征集合是相应零件上所有点、线及面特征的集合，表示该零件与其它零件所有可装配的位置；

消息模板的定义为：

消息模板＝(发送者，接收者，消息体)；发送者是发送消息的零件Agent的名称，接收者是接收消息的零件Agent的名称，消息体为消息正文；

用户控制层中，包括组件对象，组件对象为用户控制的逻辑单位和零件的抽象集合，定义为：

组件对象＝(组件编号，零件集合属性，自由度列表)

上述零件集合属性即Parts属性，包括多个零件Agent的名称，当两个组件完成装配后，两个组件的零件集合进行合并；

自由度列表属性即DOF属性，包括沿轴移动、绕轴旋转、延平面移动，空间移动、绕点旋转和空属性五种类型；

当两个组件所包含的两个零件之间完成一步特征匹配后，根据发生匹配的特征类型和组件对象当前的自由度取值，来解算下一步装配的自由度取值，直到这两个零件之间完全固定。

实施例

对于本发明装配模型的应用，以下结合零件的装配过程为例进行说明，具体包括以下步骤：

步骤A：构建虚拟装配任务需要的各种零件模型，建立零件的三维模型，并标定出描绘零件特征的特征点的坐标集合；

步骤B：构建虚拟装配模型，根据零件包含特征的情况、特征的参数和装配过程建立虚拟装配模型；如下例所示为一个虚拟装配模型：

Component₁＝{{trans-x,trans-y,trans-z},{Part₁}}

...

Component₇＝{{trans-x,trans-y,trans-z},{Part₇}}

Part₁＝{转轮体壳,[Feature1,Feature₂....Feature₁₆]}

Part₂＝{桨叶1,[Feature₁₇,Feature₁₈,Feature₁₉}

...

Part₆＝{下机架,[Feature₂₉,Feature₃₀]}

Part₇＝{上泄水锥，[Feature₃₁,Feature₃₂]}

Feature₁＝{转轮体壳_孔1_轴线1,axis,{node₁,node₂},{桨叶1_轴线1,0},ready,{nil}}

...

Feature₁₃＝{转轮体壳向上轴线,axis,{node₂₉,node₃₀},{下机架向下轴线，0},inactive,

{(转轮体壳_孔1_面:桨叶1_面,0)，(转轮体壳_孔2_面:桨叶2_面,0)，

(转轮体壳_孔2_面:桨叶2_面,0)，(转轮体壳_孔2_面:桨叶2_面,0)}}

...

Feature₁₇＝{桨叶1_轴线1,axis,{node₃₉,node₄₀},{转轮体壳_孔1_轴线1，0},ready,{nil}}

...

Feature₂₉＝{下机架向下轴线,axis,{node₅₇,node₅₈},{转轮体壳向上轴线,0},inactive,

{(转轮体壳_孔1_面:桨叶1_面,0)，(转轮体壳_孔2_面:桨叶2_面,0)，

(转轮体壳_孔2_面:桨叶2_面,0)，(转轮体壳_孔2_面:桨叶2_面,0)}}

...

以上模型中包括了对实例中所涉及的组件Component、零件Part、特征Feature的定义。

步骤C：根据虚拟装配模型，建立虚拟装配信息文件；实例部分虚拟装配信息文件内容如下：

步骤D：基于几何模型和虚拟装配信息文件，启动虚拟装配程序，对虚拟装配模型中的组件对象、零件对象和零件包含的特征对象进行初始化；即形成如图1所示的虚拟装配模型；

步骤E：运行虚拟装配程序，零件对象按照装载好的决策规则和消息模板，不断发送消息、读取消息并进行决策，直至装配完成。

具体的，步骤E中，假设用户控制下板零件移向上板零件，移动过程中下板零件会不断发送包含自己坐标位置和特征列表的partPosition消息

场景中其他零件收到这个partPosition消息，判断自己包含的特征是否与消息中提到的特征存在匹配关系。由于上板与下板存在匹配关系，所以上板选择一对特征，发送turnActive消息，要求下板将对应特征状态调整为active。

下板收到turnActive消息后，将对应特征修改为active。用户继续移动下板，此时下板发送featurePosition消息，向场景广播active特征的位置。

上板收到featurePosition消息后，计算位移和旋转偏移量，并通过makeOffset消息发送，要求下板完成位移和旋转偏移。

下板收到makeOffset消息后，根据其中包含的位移和旋转偏移量改变自己的坐标矩阵，按照图4所示的状态转移图更新自己的DOF取值，发送adjustSure消息，并发送matchPair消息。

场景中各个零件收到matchPair消息后，根据消息中提到的特征对，更新自己特征的依赖关系集合的状态值，比如图2中转轮体壳_孔1_面和桨叶1_面特征之间完成完成匹配后，Feature₂₉中的转轮体壳_孔1_面:桨叶1_面特征对的取值由0变为1。场景各个零件的特征的状态改变流程参考图3.

上板收到adjustSure消息后，再选取下一对待匹配特征，通过turnActive消息命令下板将对应特征对状态置为active。

直到两个零件之间的所有特征完成匹配，两个零件所属的组件进行合并。方法为一个组件将自己的零件列表合并到另一个组件中，并将自己从场景中移除。合并完成后的组件将DOF值重置，用户可以重新对其进行自由操控。

对于用户情境的提取和应用可参考图5，首先需要在用户执行某一虚拟装配任务的过程中收集该用户的情境信息文件。

用户情境的定义为：

用户情境＝(特征状态集合，摄像机位置坐标，摄像机朝向坐标，摄像机头顶坐标)

其中特征状态集合是由一系列数字位组成的序列值，每一位的取值范围为0到3，分别对应装配情境中每个特征对象的inactive、ready、active和fixed四种特征状态值。

摄像机位置坐标，是指用户视线的起点坐标；而摄像机朝向坐标，是用户视线的终点坐标；摄像机头顶坐标，指与用户视线垂直的头顶正上方方向的终点坐标。

部分的用户情境信息文件片段如下：

11011011011000000011011011011000 0 0 0-0.218044 0.975474 0.0301028 0.00656671-0.0293778 0.999547

11011011011000000011011011011000 0 0 0-0.429117 0.902702 0.0314112 0.0134857-0.0283689 0.999507

11011011011000000011011011011000 0.430511-0.902585-1.90413e-18 0.000212436-0.000445377 0.0314112 0.0135229-0.0283513 0.999507

11011011011000000011011011011000 3.8746-8.12327 4.27989e-17 3.4443-7.221130.0314112 0.0135229-0.0283513 0.999507

11011011011000000011011011011000 7.31869-15.3439-6.57569e-17 6.88839-14.44180.0314112 0.0135229-0.0283513 0.999507

然后进行用户情境的离线抽取，结合了基于密度的聚类算法和基于层次的聚类算法：

首先收集用户执行同一虚拟装配任务过程中产生的路径信息，收集到的信息包括装配任务在每一时刻的特征状态集合，以及这一时刻用户摄像机的位置坐标、朝向坐标和头顶坐标。之后对于这些路径信息进行预处理，将每条路径按照不同的特征状态集合切分成不同的坐标点集合。

对于不同的特征状态集合分组下的坐标点集，使用基于密度的聚类算法，计算每个坐标点周围一定范围σ内的坐标点的个数。范围σ的选定标准，可以参考用户在一秒钟时间内可以移动的距离。根据密度对坐标点进行初步聚类后，需要进行进一步的清洗，首先合并路径中密度相同的位置点，然后取出局部密度最大的位置点，作为备选关键位置点。例如，某条路径中特征状态集合为11011011011000000011011011011000的预备关键位置点的文件片段如下：

84 29.13902-25.35789 19.28571 20.8943-43.2041 0.0484144 0.0265276-0.0404999 0.998827

115 165.31404-56.81834 25.17391 136.139-51.915 11.0719 0.0719227-0.00122397 0.997409

115 165.26404-56.65447 25.4087 132.236-50.9333 26.8942-0.104348 0.0176491 0.994384

74 35.96251-30.22539 22.98649 30.3583-39.6013 26.8864-0.1063 0.0401675 0.993522

84 26.95127-40.4446 24.36905 21.0549-61.4027 26.8682-0.109125 0.0739529 0.991273

51-16.38542-75.80609 45.52941-8.98877-90.6438 26.8747-0.0791292 0.0971949 0.992115

在对每一条路径都处理结束之后，不同的特征状态集合分组下会有一系列备选关键位置点。应用基于层次的聚类方法，对这些位置点进行聚类。首先将每个特征点视为一类，之后计算各个聚类之间的距离，对于距离小于某一范围σ的两个聚类进行合并。聚类之间距离的计算公式如下：

d_mean(C_i,C_j)＝||m_i,m_j||

反复这个过程，直到各个聚类之间的距离全部大于σ聚类过程停止。在聚类停止之后查看各个聚类被合并过的次数，如果合并次数为零，说明这个位置点是一个离群点，应予以清除。对于特征状态集合为11011011011000000011011011011000的预备关键位置点最终聚类的结果如下：

24.63509-78.54458 27.32418 21.82889-77.03117 24.65229-0.04572 0.0346 1.01569 50

209.2763-91.23331 38.11522 168.72713-81.83374 31.61572-0.00867 0.00732 1.37146 3

-333.8922-199.84819 59.78009-294.4945-207.0395 51.3173 0.11299 0.14357 1.4883 0

可以看到，三个关键位置点在聚类过程中分别被合并了50次、3次和0次，合并0次的位置点可以视为离群点进行清除。

将离线的以上抽取结果保存入用户情境文件，在进行虚拟装配任务时，可对用户情境的聚类结果进行在线查询：

虚拟装配系统启动后加载用户情境文件。在用户执行装配操作的过程中，系统会不断比对当前各个特征形成的特征状态集合是否在用户情境中出现，如果出现，就将对应的摄像机坐标位置和朝向位置加载到用户摄像机上。这样用户就能直接进入易于拾取零件或者易于装配零件的操作位置，只需做少量调整就可以进行需要的操作了。有的装配情境下，可能存在多个关键位置点，用户可以在这些关键位置点之间进行切换，找到最方便的位置。

本发明的装配模型相比于已有的模型更轻量，结构更清晰，仿真效率较高，实时性能得到较好的满足。可将该装配模型应用于大型旋转机械设备的虚拟装配仿真系统中，使系统设计人员脱离了复杂的装配过程和逻辑设计，专业分工更为合理，提高了整体的开发效率。同时，本发明用户情境信息的提取和应用方法，可以有效减少用户在执行重复装配任务的过程中，需要对摄像机进行的位置和朝向调整操作，使得人机交互更加友好，发挥了情境装配系统中装配情境对用户操作的辅助作用，提高了系统的工作效率。

Claims (9)

1.基于情境感知的旋转机械设备虚拟装配模型，其特征是，包括装配知识层、装配决策层和用户控制层，与虚拟装配有关的知识保存于装配信息文件中；

装配知识层中，将装配过程中零件的连接看作零件之间特征的匹配过程，则虚拟装配任务的情景即某一时刻所有零件的特征状态组成的集合；

装配知识层包括对特征对象各个属性的定义，以容纳装配信息文件中的装配知识：

特征对象＝(特征名称，特征类型，特征节点集合，连接特征，特征状态，依赖关系集合)；

特征名称是各特征对象在场景中的唯一标识；特征类型为零件之间点、线和面之间的连接装配关系，对应包括点特征、线特征和面特征；特征节点集合为点特征、线特征和面特征的位置及朝向；连接特征为可与当前特征进行匹配的特征名称；特征状态包括未就绪、就绪、激活和完成匹配四种属性取值；依赖关系集合是一个键-值集合，将特征名称对作为键，对应的值为0或1，根据场景中其他特征对象间的装配情况更新依赖关系集合中各项的取值；

当依赖关系集合中所有特征名称对都完成装配，则特征状态从未就绪转为就绪；如果一对就绪特征的位置足够靠近，且当前没有特征被激活，则这两个就绪的特征对进入激活状态；如果一对特征对象完成匹配，且特征对象的依赖关系集合分别已经被完全满足，则这对特征对象进入“完成匹配”状态，否则返回未就绪状态；

装配决策层中，包括多个零件Agent，不同零件Agent之间通过封装有特征状态参数的消息模板进行通信，零件Agent根据接收到的消息模板的内容选择不同装配行为；

装配决策层对各零件对象的定义为：

零件对象＝(零件名称，特征集合)；

其中零件名称是零件对象在场景中的唯一标识；特征集合是相应零件上所有点、线及面特征的集合，表示该零件与其它零件所有可装配的位置；

上述消息模板的定义为：

消息模板＝(发送者，接收者，消息体)；发送者是发送消息的零件Agent的名称，接收者是接收消息的零件Agent的名称，消息体为消息正文；

装配决策层还包括：对零件对象的决策规则的谓词进行定义，用于描述零件对象在场景中的各种基本行为，

对零件对象决策规则用到的常元进行定义，用于描述规则中的各种对象和属性的取值，

以及对零件Agent的决策规则进行定义，零件获取虚拟装配场景上下文信息后，根据决策规则选择对应行为；

用户控制层中，包括组件对象，组件对象为用户控制的逻辑单位和零件的抽象集合，定义为：

组件对象＝(组件编号，零件集合属性，自由度列表)

上述零件集合属性即Parts属性，包括多个零件Agent的名称，当两个组件完成装配后，两个组件的零件集合进行合并；

自由度列表属性即DOF属性，包括沿轴移动、绕轴旋转、延平面移动，空间移动、绕点旋转和空属性五种类型；

当两个组件所包含的两个零件之间完成一步特征匹配后，根据发生匹配的特征类型和组件对象当前的自由度取值，来解算下一步装配的自由度取值，直到这两个零件之间完全固定。

2.根据权利要求1所述的基于情境感知的旋转机械设备虚拟装配模型，其特征是，所述消息模板包括turnActive、makeOffset、partPosition、featurePosition、matchPair和adjustSure六种类型，其中：

partPosition消息＝(发送者＝主动件，接收者＝所有Agent，消息体＝(位置，就绪特征名表))；用于向场景广播移动零件Agent的位置和所有处于“就绪”状态的特征名称；

featurePosition消息＝(发送者＝主动件，接收者＝所有Agent，消息体＝(激活状态特征的顶点集))；用于向场景广播自己处于激活状态的特征的顶点位置；

turnActive消息＝(发送者＝从动件，接收者＝主动件，消息体＝特征名称)；从动件利用turnActive消息指定主动件将特征调整为激活状态；

makeOffset消息＝(发送者＝从动件，接收者＝主动件，消息体＝(角度，轴线，位移))；从动件利用makeOffset消息让主动件做出旋转和位移调整；

adjustSure消息＝(发送者＝主动件，接收者＝从动件，消息体＝(特征名称集))；主动件利用AdjustSure消息告知从动件已完成了位置调整；

matchPair消息＝(发送者＝主动件/从动件，接收者＝所有Agent，消息体＝(零件名称对))；用于向场景中其它零件Agent广播当前完成装配零件对的名称。

3.根据权利要求2所述的基于情境感知的旋转机械设备虚拟装配模型，其特征是，装配决策层中，零件对象决策规则用到的常元包括特征状态常元和消息类型常元：

特征状态常元中，特征状态的取值包括inactive,ready,active,fixed四种，分别对应特征状态属性的未就绪、就绪、激活和完成匹配四个值；

消息类型常元中，消息类型的取值包括matchPair，makeOffset，partPosition，turnActive，featurePosition，adjustSure六种，分别对应六种不同的消息模板。

4.根据权利要求1所述的基于情境感知的旋转机械设备虚拟装配模型，其特征是，装配决策层中，所述对零件对象的决策规则的谓词的定义包括：

定义谓词part(x)，含义为“x是零件”；comp(x)，含义为“x是组件”；posChg(x)，含义为“x的位置发生变化”；fullfill(x)，含义为“x的依赖集合被满足”；concAll(x)，含义为“x的连接集合被满足”；ftof(x,y)，含义为“x是y的特征”；ptof(x,y)，含义为“x是y的零件”；state(x,y)，含义为“x的状态是y”；setSt(x,y)，含义为“将x的状态设置为y”；send(x,y,z)，含义为“x向y发送消息z”；rev(x,y,z)，含义为“x收到y发来的消息z”；cont(x,y)，含义为“x包含在y中”；conc(x,y)，含义为“x可以与y匹配”；offset(x,y)，含义为“计算从x到y的位移、旋转偏移量”；doOffset(x,y)，含义为“按照y移动、旋转x”；update(x,y)，含义为“更新x的y属性”；dep(x,y)，含义为“x依赖于y”。

5.根据权利要求1所述的基于情境感知的旋转机械设备虚拟装配模型，其特征是，装配决策层中，对零件Agent决策规则的定义包括：

定义推理规则“如果有零件p位置发生变化，并且p不存在状态为active特征f，那么p向场景所有零件发送消息partPosition”；

定义推理规则“如果零件p₁收到消息partPosition，且p₁的特征f₁、和partPosition消息包含的特征f₂之间存在匹配关系，那么将f1的状态设置为active并发送turnActive消息”；

定义推理规则“若零件p₁收到消息turnActive，且p₁有特征f状态为ready并且包含于消息turnActive中，则将f设置为active”；

定义推理规则“如果零件p位置发生变化，并且p存在状态为active的特征，那么零件p发送消息featurePosition”；

定义推理规则“如果有零件p₁收到featurePosition消息，并且存在p₁的特征f1状态为active和包含在featurePosition消息中的特征f2，那么计算f1到f2之间的位移和旋转偏移量，并发送makeOffset消息”；

定义推理规则“如果零件p₁收到makeOffset消息，且p₁存在状态为active的特征f，且makeOffset中含有偏移矩阵m，且特征f的连接集合全部满足，那么按偏移矩阵m移动p₁，并更新p₁所属组件c的DOF取值，并将特征f的状态设置为fixed，并发送adjustSure消息和matchPair消息”；如果特征f的连接集合没有全部满足，则将f的状态设置为inactive；

定义推理规则“如果特征p₁收到消息adjustSure，并且p₁存在状态为active且连接集合全部满足的特征f，则更新p₁所属组件c的DOF取值，并将f状态设置为fixed，同时发送matchPair消息”；如果特征f的连接集合没有全部满足，则将f的状态设置为inactive；

定义推理规则“如存在零件p收到matchPair消息，存在状态为inactive的特征f属于p，并且matchPair消息中包含连接关系c，如果f依赖于c并且f的依赖集合被满足，那么将f的状态调整为ready”。

6.根据权利要求1所述的基于情境感知的旋转机械设备虚拟装配模型，其特征是，用户控制层中，对自由度进行解算时，包括以下定义：

定义有限状态自动机M＝(Q,∑,δ,S,F)；其中：

状态集合为

输入字母表定义为

初始状态S定义为S＝(pointRotate,spaceTranslate)

终止状态F定义为：F＝{NULL}；δ为状态转移函数。

7.基于情境感知的旋转机械设备虚拟装配方法，其特征是，包括以下步骤：

步骤A：构建虚拟装配任务需要的各种零件模型，建立零件的三维模型，并标定出描绘零件特征的特征点的坐标集合；

步骤B：构建虚拟装配模型，根据零件包含特征的情况，特征的参数和装配过程建立虚拟装配模型；

步骤C：根据虚拟装配模型，建立虚拟装配信息文件；

步骤D：基于几何模型和虚拟装配信息文件，启动虚拟装配程序，对虚拟装配模型中的组件对象、零件对象和零件包含的特征对象进行初始化；

步骤E：运行虚拟装配程序，零件对象按照装载好的决策规则和消息模板，不断发送消息、读取消息并进行决策，直至装配完成。

8.根据权利要求7所述的方法，其特征是，步骤E中，

当用户控制某零件相对另一零件移动时，移动过程中被控零件不断发送包含自己坐标位置和特征列表的partPosition消息；

场景中其他零件收到这个partPosition消息时，判断自己包含的特征是否与消息中提到的特征存在匹配关系，若存在，则选择一对相应特征，发送turnActive消息，要求被控零件将对应特征状态调整为active；

被控零件收到turnActive消息后，将对应特征修改为active；此时用户继续控制被控零件移动，被控零件发送featurePosition消息，向场景广播active特征的位置；

可匹配零件收到featurePosition消息后，计算位移和旋转偏移量，并通过makeOffset消息，要求被控零件完成位移和旋转偏移；

被控零件收到makeOffset消息后，根据其中包含的位移和旋转偏移量改变自己的坐标矩阵，并更新自己的DOF取值，发送adjustSure消息，以及matchPair消息；

场景中各个其它零件收到matchPair消息后，根据消息中提到的特征对，更新自己特征的依赖关系集合的状态值；

可匹配零件收到adjustSure消息后，再选取下一对待匹配特征，通过turnActive消息命令被控零件将对应特征对状态置为active；

直到两个零件之间的所有特征完成匹配，将两个零件所属的组件进行合并：一个组件将自己的零件列表合并到另一个组件中，并将自己从场景中移除；合并完成后的组件将DOF值重置，用户可重新对其进行自由操控。

9.根据权利要求7所述的方法，其特征是，还包括对虚拟装配任务的用户情境进行提取，包括步骤：

1用户情境定义：

用户情境＝(特征状态集合，摄像机位置坐标，摄像机朝向坐标，摄像机头顶坐标)，

其中特征状态集合是由一系列数字位组成的序列值，每一位的取值范围为0到3，分别对应装配情境中每个特征对象的inactive、ready、active和fixed四种特征状态值；摄像机位置坐标是指用户视线的起点坐标；摄像机朝向坐标是用户视线的终点坐标；摄像机头顶坐标指与用户视线垂直的头顶正上方方向的终点坐标；

2用户情景离线抽取：

2.1收集用户执行同一虚拟装配任务过程中产生的路径信息，所述路径信息包括装配任务在每一时刻的特征状态集合，以及这一时刻用户摄像机的位置坐标、朝向坐标和头顶坐标；

2.2对于上述收集到的路径信息进行预处理，将每条路径按照不同的特征状态集合切分成不同的坐标点集合；

2.3对于不同的特征状态集合下的坐标点集合，使用基于密度的聚类算法，计算集合中每个坐标点周围一定范围σ内的坐标点的个数；

2.4对聚类后的坐标点集合进行清洗：首先合并密度相同的位置点，然后取出局部密度最大的位置点，作为备选关键位置点；

在对每一条路径都处理结束之后，不同的特征状态集合下均有对应的一系列备选关键位置点；

2.5应用基于层次的聚类方法，对上述各特征状态集合一系列备选关键位置点进行聚类：首先将每个特征点视为一类，然后计算各个聚类之间的距离，再对于距离小于范围σ的两个聚类进行合并；

聚类之间距离的计算公式为：

d_mean(C_i,C_j)＝||m_i,m_j||

2.6重复步骤2.5，直到各个聚类之间的距离全部大于范围σ，则聚类过程停止；

2.7查看各个聚类被合并过的次数，如果合并次数为零，说明这个备选关键位置点是一个离群点，予以清除；

3用户情景在线查询：

将步骤2得到的用户情境数据结果保存为用户情境文件，当虚拟装配程序启动后加载用户情境文件；

在用户执行装配操作的过程中，系统比对判断当前正在装配的各个特征形成的特征状态集合是否在用户情境文件中出现，如果是，则将对应的摄像机坐标位置和朝向位置加载到虚拟装配系统的摄像机上。