CN102123137B - 一种多人虚实融合协同拆装系统及方法 - Google Patents

一种多人虚实融合协同拆装系统及方法 Download PDF

Info

Publication number
CN102123137B
CN102123137B CN 201010622539 CN201010622539A CN102123137B CN 102123137 B CN102123137 B CN 102123137B CN 201010622539 CN201010622539 CN 201010622539 CN 201010622539 A CN201010622539 A CN 201010622539A CN 102123137 B CN102123137 B CN 102123137B
Authority
CN
China
Prior art keywords
dismounting
message
disassembly
module
actual situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201010622539
Other languages
English (en)
Other versions
CN102123137A (zh
Inventor
齐越
王维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN 201010622539 priority Critical patent/CN102123137B/zh
Publication of CN102123137A publication Critical patent/CN102123137A/zh
Application granted granted Critical
Publication of CN102123137B publication Critical patent/CN102123137B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种多人虚实融合协同拆装系统及方法,可以可靠地用于虚实融合环境下的多人协同拆装过程。该系统主要包括流程脚本自定义模块、脚本解析模块、网络通信协议自定义模块、拆装流程统一调度模块、虚实融合应用模块。本发明自定义了XML拆装脚本格式,可以快速生成描述拆装流程的脚本文件,使拆装节点流程与实现相分离;并自定义了一套虚实融合拆装通用的网络协议,用于调度模块与拆装节点间的通信;本发明设置了总控服务器统一调度各拆装节点,同时将拆装节点虚实融合应用所使用的资源在XML脚本中给出,使各拆装节点的虚实融合应用模块运行上相互独立,同时又共享虚实融合拆装环境,极大地增加了拆装节点间的交互和操作人员的虚实沉浸感。

Description

一种多人虚实融合协同拆装系统及方法
技术领域
本发明属于计算机虚拟现实技术领域,具体地说是基于自定义的网络通信协议进行多人的虚实融合拆装维护,该方法可用于虚实融合环境下多人的协同拆装。
背景技术
虚实融合环境是一个由虚拟物体和真实物体组合在一起形成的环境。通常采用增强现实技术构建虚实融合环境,增强现实技术通过将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到同一个画面或空间同时存在,虚拟和现实信息相互补充、叠加,由此提供了比在真实世界下更多地感知信息。如今虚实融合被越来越广泛的应用,如在医疗、维修、建筑、文化遗产保护和生活娱乐等方面。
而今,传统维修方式难于满足工业领域内日趋复杂的设备维护需求,虚实融合由于其提供了较真实环境下更多的感知信息,成为很好的替代解决方案。虚实融合在工业维修领域内的运用已经成为一个新的趋势,运用越来越广,但是,在虚实融合工业拆装应用中大多数都是单个操作人员独立操作,缺乏操作人员间的交互及合作,而可扩展的轻量级的虚实融合环境下多人同步协同拆装结构用于多人共享信息,共同完成复杂的工业维修,是具有重要意义的。
发明内容
本发明的技术解决问题:克服现有技术的不足,提供一种多人虚实融合协同拆装系统及方法,可以可靠、轻便地运用于虚实融合环境下多用户的协同拆装过程。
本发明的技术解决方案:一种多人虚实融合协同拆装系统与方法,其特征如下:
流程脚本自定义模块,定义了一种描述拆装流程的通用XML脚本格式,然后根据实际拆装过程定义拆装原子事件,并快速生成自定义格式的XML拆装流程脚本,生成的脚本文件传递给脚本解析模块;
脚本解析模块接收XML脚本文件,生成中间文件,包括拆装工作流文件和虚实融合资源目录文件,它们分别传递给流程调度模块和虚实融合应用模块;
网络通信协议自定义模块,定义了一套通用的多人协同拆装网络通信协议,该协议包括根据虚实融合的拆装过程事件类型生成的对应的报文集合,调度模块和虚实融合应用模块通过该协议进行通信;
拆装流程统一调度模块接收拆装工作流文件,基于拆装工作流给各个拆装节点虚实融合应用模块指派拆装任务;
虚实融合应用模块接收流程调度模块的任务指派,获得任务指派的节点进行任务操作,未获得指派的节点仅作为观察者,同时该模块接收虚实融合资源目录文件,供任务操作期间调用资源使用,该模块还提供用户交互接口,并实现虚实融合相关应用。
所述流程脚本自定义模块中定义了一种描述拆装流程的通用XML脚本格式,该格式如下:
Figure BSA00000410873700021
其中<Process>标签代表拆装流程,<Title>、<Reminder>等标签为一般性叙述,<Property>标签描述了拆装流程的步骤的协同性质,<Serial>表示步骤前后依赖,需要串行进行,<Parallel>表示步骤可以同时并行操作,<Collaborative>标签描述相关步骤协同操作,按先后序排列协同的步骤,并给出步骤间的并行关系,<Step>是步骤标签,包括了该步骤涉及的各项信息。基于上述格式,根据实际拆装流程将涉及一种类型零件的拆装事件(动作)称为拆装原子事件,以拆装原子事件的粒度划分拆装流程为若干拆装步骤,并快速生成XML拆装脚本。
所述的网络通信协议自定义模块中定义了一套通用的多人协同拆装网络通信协议。协议根据虚实融合拆装过程事件类型定义对应的报文,并根据基本的拆装事件定义了初始报文,主要包括虚拟模型位置标定报文、拆装任务指派报文、拆装任务完成报文、虚拟模型平移报文、虚拟模型旋转报文。所有报文首字段统一为事件类型字段,其后根据事件类型的不同设置不同的数据字段,报文的基本格式如下所示:
Figure BSA00000410873700031
Type为报文类型,SubType为报文子类型,…表示视具体报文类型而定的内容,Unsigned Short表示非负短整型的数据类型。
所述协同拆装流程统一调度模块实现过程如下:
(1)读入拆装工作流中间文件;
(2)初始化拆装流程状态和拆装节点操作状态,其中拆装流程状态包括待拆装步骤序号及步骤类型(串行、并行、协同),拆装人员状态包括忙碌、空闲两种;
(3)当所有拆装节点状态为空闲时,根据拆装流程状态的步骤类型进行任务指派,若是串行,指派给某个节点,若是并行,同时顺序指派给多个节点,若是协同,依序进行指派,指派完成后更新拆装流程状态和操作人员状态;当操作人员完成任务时会通知调度模块,调度模块更新其节点操作状态;
(4)重复步骤(3)直至任务指派完毕。
所述虚实融合应用模块提供用户交互接口,实现单个拆装节点的虚实融合应用,主要包括虚实对象空间位置精确标定、虚实融合绘制;并接收调度模块的任务指派,获得任务指派的节点模块进行任务操作,完成任务时通知调度模块跳转流程步骤,未获得指派的节点模块作为观察者,观察者无法驱动流程的跳转。
一种多人虚实融合协同拆装方法,实现步骤如下:
(1)定义一种描述拆装流程的通用XML脚本格式,然后根据实际拆装过程定义拆装原子事件,并快速生成自定义格式的XML拆装流程脚本,生成的脚本文件供脚本解析使用;
(2)对XML脚本文件进行解析,生成中间文件,包括拆装工作流文件和虚实融合资源目录文件,前者供流程调度使用,后者供虚实融合应用调用资源使用;
(3)定义了一套通用的多人协同拆装网络通信协议,该协议包括根据虚实融合的拆装过程事件类型生成的对应的报文集合,协议供总控服务器和各个拆装节点通信使用;
(4)基于拆装工作流文件,采用任务指派的方式统一调度各个拆装节点完成虚实融合协同拆装流程;
(5)获得任务指派的拆装节点,进行任务操作,完成任务时通知总控服务器跳转流程步骤,未获得指派的节点模块作为观察者,观察者无法驱动流程的跳转
本发明与现有技术相比具有的有益效果是:
(1)提出了一种多人协同拆装的应用方式,在复杂的拆装工作中,多名操作人员协同操作,共享虚实操作环境,不仅增加操作人员间的互动,完成更加复杂的拆装任务,而且可以增强操作人员的沉浸感;
(2)通过定义一种通用XML格式的拆装脚本,结合具体拆装流程定义拆装原子事件可以快速地生成拆装流程脚本,同时可以灵活地修改现有拆装流程脚本生成新的拆装应用;
(3)定义了一套有效而稳定的网络通信协议,协议采用事件类型报文的方式,可以灵活扩展;
(4)采用工作流的控制方式,将拆装任务指派给操作人员,使拆装节点间在流程控制上相互独立,极大地提高了系统的可扩展性和可维护性;
(5)利用XML脚本描述流程需求,使得虚实融合应用从流程控制中独立出来,方便虚实融合应用的扩展和维护。
附图说明
图1为本发明系统的基本结构图;
图2为脚本定义模块流程图;
图3为本发明自定义格式的XML拆装流程脚本文件示意图;
图4为脚本解析模块流程图;
图5为拆装任务指派的流程图;
图6为两人协同步骤序列示意图;
图7为虚实融合应用模块结构图;
图8为虚实融合应用模块流程图。
具体实施方式
如图1所示,本发明的系统基本组成结构包括流程脚本自定义模块、脚本解析模块、网络通信协议自定义模块、协同拆装流程统一调度模块和虚实融合应用模块。整个实现过程如下:
(1)定义一种描述拆装流程的通用XML脚本格式,然后根据实际拆装过程定义拆装原子事件,并快速生成自定义格式的XML拆装流程脚本,生成的脚本文件供脚本解析使用;
(2)对XML脚本文件进行解析,生成中间文件,包括拆装工作流文件和虚实融合资源目录文件,前者供流程调度使用,后者供虚实融合应用调用资源使用;
(3)定义了一套通用的多人协同拆装网络通信协议,该协议包括根据虚实融合的拆装过程事件类型生成的对应的报文集合,协议供总控服务器和各个拆装节点通信使用;
(4)基于拆装工作流文件,采用任务指派的方式统一调度各个拆装节点完成虚实融合协同拆装流程;
(5)获得任务指派的拆装节点,进行任务操作,完成任务时通知总控服务器跳转流程步骤,未获得指派的节点模块作为观察者,观察者无法驱动流程的跳转。
各模块的具体实现过程如下:
1、流程脚本自定义模块
该模块的实现过程如图2所示:
(1)提出一种通用的XML格式的拆装流程脚本,该格式如下所示:
Figure BSA00000410873700051
Figure BSA00000410873700061
在自定义的脚本流程格式中,<Property>标签描述了该拆装的步骤的并行性质,由总控服务器解析用于流程的调度,<Collaborative>标签描述相关步骤为协同步骤,协同操作步骤中由于有操作的先后序(操作的依赖性),而先后的操作可能是串行操作、并行操作,因此其按先后序排列协同的步骤,并给出步骤间的并行关系。<Step>是步骤标签,包括了该步骤涉及的各项信息,由各拆装节点解析,用于控制虚实融合应用。
(2)根据实际拆装流程将涉及一种类型零件的拆装事件(动作)称为拆装原子事件,以拆装原子事件的粒度划分拆装流程为若干拆装步骤。
(3)依照自定义的XML格式快速生成拆装脚本,在脚本中每个拆装原子
步骤作为XML的步骤标签,其子标签包括该拆装步骤涉及的零件模型子标签、工装模型子标签、操作细则子标签等。拆装流程标签除了包括若干步骤子标签外,主要还有描述各步骤并行性、协同性的步骤描述子标签。
结构设计了基于XML的拆装维护脚本支持,将流程与具体拆装实现相分离,可扩展性强,如果流程需要作出修改,可以直接修改其对应的标签部分即可,不需修改拆装实现部分;如果需要添加新的功能,在XML脚本格式中添加新的标签并实现标签的解析即可。整个实现机制不仅具有良好的扩展性,而且可以快速、灵活地生成各种实际拆装脚本,附件图3为依照上述格式生成的某发动机的拆装流程脚本,脚本文件描述了一个具有9步的发动机拆装过程,其中<Property>标签给出了流程的协同性,<Step>标签给出了其中第一步的相关内容。
2、脚本解析模块
该模块的实现如图4所示:
(1)读入XML脚本文件,解析<Process>标签及<Title>等标签直至<Property>标签,上述标签均为一般性描述标签,系统设置对应的变量进行存储;
(2)读入<Property>标签直至</Property>标签,将操作流程依次写入工作流文件,文件格式为[步骤类型][步骤]的循环字符串,若遇见协同步骤则格式扩展为[步骤类型][步骤][步骤类型],故图2所示的流程的工作流文件表示为:S0 1 2P3 4S5CS6P7 8C;
(3)依次读入<Step>标签内容,对每个Step标签的子标签对应相应的变量,系统定义虚实融合资源类,该类具有唯一实例对象,对象的属性为所有Step标签内容,即虚实融合资源目录文件。
3、网络通信协议自定义模块
在图1所示的结构中,各节点与服务器的通信通过一套自定义的网络协议进行通信。由于虚实融合拆装事件类型集合规模较小,协议根据虚实融合拆装过程事件类型定义对应的报文,并根据基本的拆装事件定义了初始报文,主要包括操作人员记录报文,拆装任务指派报文,拆装任务完成报文,虚拟物体空间位置报文,虚拟模型平移和旋转报文,拆装状态报文。每种类型报文首字段统一为事件类型字段,其后根据事件类型的不同设置不同的字段表达事件附加信息。初始的报文的具体格式如下所示:
(1)操作人员记录报文
拆装节点虚实融合应用模块与用户进行交互,所有交互的事件通过该报文传递给服务器,生成该节点的操作日志文件,报文格式如下所示:
  字段名   字段类型   值   备注
  Type   Unsigned Short   1   操作人员记录报文
  Event Type   Unsigned Long   事件类型
  [Parameter]   String   事件参数
其中Type字段表示该报文类型,当Type值为1时表示操作人员记录报文,EventType字段表示操作人员的操作事件,Parameter对应不同操作事件的参数,例如操作人员的拆装节点序号、事件时间等,Unsigned Short表示非负短整型的数据类型,Unsigned Long表示非负长整型的数据类型,String表示字符串。
(2)拆装任务相关报文
该类报文用于调度模块和虚实融合应用模块间的任务指派和完成通知,主要包括任务指派报文和任务完成报文,其格式如下所示:
  字段名   字段类型   值   备注
  Type   Unsigned Short   2   报文类型
  Index   Unsigned Long   指派任务的索引
  字段名   字段类型   值   备注
  Type   Unsigned Short   3   报文类型
  Index   Unsigned Long   指派任务的索引
Type字段的意义为报文类型,其余两个字段为指派任务索引和获得指派的拆装节点的索引;当Type值为2时,表示报文为拆装任务指派报文,用于调度模块给拆装节点进行指派,Type值为3时,表示报文为拆装任务完成报文,用于拆装任务完成时拆装节点通知调度模块。
(3)空间位置标定相关报文
虚实融合应用中,虚拟物体的位置标定必不可少,在多名操作人员的协同操作中,虚拟物体的位置信息需要实时共享、传递,如下的报文分别用于标定虚拟模型的3D空间位置、虚拟模型平移、虚拟模型旋转、虚拟模型缩放:
  字段名   字段类型   值   备注
  Type   Unsigned Short   4   报文类型
  SubType   Unsigned Short   1   虚拟物体位置标定
  Model Name   String   模型名称
  Parameter X   Float   x轴方向偏移量
  Parameter Y   Float   y轴方向偏移量
  Parameter Z   Float   z轴方向偏移量
  Angle_yaw   Float   轴偏航量
  Angle_pitch   Float   轴俯仰量
  Angle_roll   Float   轴滚转量
  字段名   字段类型   值   备注
  Type   Unsigned Short   4   报文类型
  SubType   Unsigned Short   2   虚拟物体平移
  Model Name   String   模型名称
  Parameter X   Float   X轴平移参数
  Parameter Y   Float   Y轴平移参数
  Parameter Z   Float   Z轴平移参数
  字段名   字段类型   值   备注
  Type   Unsigned Short   4   报文类型
  SubType   Unsigned Short   3   虚拟物体旋转
  Model Name   String   模型名称
  Parameter X   Float   旋转轴X分量
  Parameter Y   Float   旋转轴Y分量
  Parameter Z   Float   旋转轴Z分量
  Angle   Float   旋转弧度值
  字段名   字段类型   值   备注
  Type   Unsigned Short   4   报文类型
  SubType   Unsigned Short   4   虚拟物体缩放
  Model Name   String   模型名称
  Scale   Float   缩放倍数
其中Float表示浮点数据类型,当Type为4时,表示报文为空间位置标定相关报文,SubType为1、2、3、4分别表示报文用于标定虚拟模型的3D空间位置、虚拟模型平移、虚拟模型旋转、虚拟模型缩放。
(4)拆装状态报文
拆装过程中有时需要获取拆装状态,下列报文分别用于描述拆装流程状态和拆装人员状态:
  字段名   字段类型   值   备注
  Type   Unsigned Short   5   报文类型
  NextStep   Unsigned Short   下一待指派任务索引
  StepType   String   待指派任务类型
  字段名   字段类型   值   备注
  Type   Unsigned Short   6   报文类型
  Index   Unsigned Short   拆装节点序号
  State   String   拆装节点状态
Type值为5时,表示报文为拆装流程状态,Type值为6时,表示报文为拆装人员状态报文。
采用基于事件类型分类的方法设计通信报文,每类事件对应一种报文,同时,虚实融合拆装应用中的事件类型集合规模小,因此通信协议完备而简便,而且可以通过添加新的事件类型报文快速地对协议进行扩展,具有良好的扩展性。
4、协同拆装流程统一调度模块
该模块的实现如图5所示,模块接收工作流中间文件,模块根据拆装流程状态、拆装人员操作状态进行拆装任务指派,其中拆装流程状态包括待拆装步骤序号及步骤类型(串行、并行、协同),拆装人员状态包括忙碌、空闲两种。当所有拆装人员状态为空闲时,服务器根据拆装流程状态的步骤类型进行任务指派,并更新操作人员状态;当操作人员完成任务时通知服务器更新其操作状态,任务指派详细算法在算法1给出。图6给出某协同步骤的序列图,A、B两名操作人员协同完成某项操作,服务器按操作依赖性先后将操作任务指派给A、B,由于任务的依赖性(协同性),给A指派任务需要B发出完成的信号方可进行。
Figure BSA00000410873700101
Figure BSA00000410873700111
5、虚实融合应用模块
虚实融合应用模块的结构如图7所示。虚实融合应用强调虚实沉浸感,因此应用需要提供良好的交互接口,该模块提供了用户交互接口,实现了单个拆装节点的虚实融合应用,主要包括基于虚实对象空间位置精确标定和虚实融合绘制的虚实融合3D场景的绘制和虚实融合拆装电子手册帮助信息的绘制,电子手册信息将实时显示到操作人员所携带的头盔显示器上,包括文字说明、语音、图片、视频、三维动画等多种形式。操作人员可以使用语音命令对电子手册进行操作,包括电子手册的显示、关闭、翻页等操作。模块的结构如图7所示,模块主要提供键鼠消息、语音命令两种交互接口,用于接收用户命令,主要包括电子手册操作及拆装任务相关操作;模块的应用主要是基于虚实对象空间位置精确标定和虚实融合绘制引擎进行虚实融合3D场景的绘制,模块采用Direct3D构建虚实融合绘制引擎,采用ARToolKitPlus和OptiTrack两种标定方法相结合的方式实现高精度定位,虚拟场景的组织采用Scene Graph的方式,虚拟模型和电子手册等资源以数据库的方式组织并由各拆装节点共享,该模块通过虚实融合资源目录文件获得当前步骤的数据库资源目录。
该模块还需要接收调度模块的任务指派,获得任务指派的节点模块进行任务操作,完成任务时通知调度模块跳转流程步骤,未获得指派的节点模块仅作为观察者,观察者无法驱动流程的跳转。该模块的流程图如图8所示,模块首先初始化绘制引擎和标定子模块,然后开始虚实对象的实时标定,并将标定结果传给虚实绘制引擎实时绘制3D虚实场景,模块同时实时监听外部消息,对收到的外部消息进行分类处理。
总之,本发明提出了一种多人虚实融合协同拆装系统及方法,可以可靠地运用于虚实融合环境下多人协同拆装。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (3)

1.一种多人虚实融合协同拆装系统,其特征在于包括流程脚本自定义模块、脚本解析模块、网络通信协议自定义模块、拆装流程统一调度模块、虚实融合应用模块,其中: 
流程脚本自定义模块,定义了一种描述拆装流程的通用XML脚本格式,然后根据实际拆装过程定义拆装原子事件,并快速生成自定义格式的XML拆装流程脚本,生成的脚本文件传递给脚本解析模块;根据实际拆装流程将涉及一种类型零件的拆装事件即动作称为拆装原子事件;以拆装原子事件的粒度划分拆装流程为若干拆装步骤;步骤作为XML的步骤标签,其子标签包括该拆装步骤涉及的零件模型子标签、工装模型子标签、操作细则子标签;拆装流程标签除了包括若干步骤子标签外,还有描述各步骤并行性、协同性的步骤描述子标签; 
脚本解析模块,接收XML脚本文件,生成中间文件,包括拆装工作流文件和虚实融合资源目录文件,它们分别传递给流程调度模块和虚实融合应用模块; 
网络通信协议自定义模块,定义了一套通用的多人协同拆装网络通信协议,该协议包括根据虚实融合的拆装过程事件类型生成的对应的报文集合,调度模块和虚实融合应用模块通过该协议进行通信; 
拆装流程统一调度模块,接收拆装工作流文件,基于拆装工作流给各个拆装节点虚实融合应用模块指派拆装任务; 
虚实融合应用模块,接收流程调度模块的任务指派,获得任务指派的节点进行任务操作,未获得指派的节点仅作为观察者,同时该模块接收虚实融合资源目录文件,供任务操作期间调用资源使用,该模块还提供用户交互接口,并实现虚实融合相关应用; 
所述拆装流程统一调度模块实现过程如下: 
(1)读入拆装工作流中间文件; 
(2)初始化拆装流程状态和拆装节点操作状态,其中拆装流程状态包括待拆装步骤序号及步骤类型,即串行、并行、协同,拆装人员状态包括忙碌、空闲两种; 
(3)当所有拆装节点状态为空闲时,根据拆装流程状态的步骤类型进行任务指派,若是串行,指派给某个节点,若是并行,同时顺序指派给多个节点,若是协同,依序进行指派,指派完成后更新拆装流程状态和操作人员状态;当操作人员完成任务时会通知调度模块,调度模块更新其节点操作状态; 
(4)重复步骤(3)直至任务指派完毕; 
所述的网络通信协议自定义模块中定义了一套通用的多人协同拆装网络通信协议,协议根据虚实融合拆装过程事件类型定义对应的报文,并根据基本的拆装事件定义了初始报文,包括虚拟模型位置标定报文、拆装任务指派报文、拆装任务完成报文、虚拟模型平移报文、虚拟模型旋转报文,所有报文首字段统一为事件类型字段,其后根据事件类型的不同设置不同的数据字段,报文的基本格式如下所示: 
Figure FDA0000370165280000021
Type为报文类型,SubType为报文子类型,…表示事件附加信息,Unsigned Short表示非负短整型的数据类型。 
2.根据权利要求1所述一种多人虚实融合协同拆装系统,其特征在于:所述虚实融合应用模块提供用户交互接口,实现单个拆装节点的虚实融合应用,包括虚实对象空间位置精确标定、虚实融合绘制;并接收调度模块的任务指派,获得任务指派的节点模块进行任务操作,完成任务时通知调度模块跳转流程步骤,未获得指派的节点模块作为观察者,观察者无法驱动流程的跳转。 
3.一种多人虚实融合协同拆装方法,其特征在于步骤如下: 
(1)定义一种描述拆装流程的通用XML脚本格式,然后根据实际拆装过程定义拆装原子事件,并快速生成自定义格式的XML拆装流程脚本,生成的脚本文件供脚本解析使用; 
(2)对XML脚本文件进行解析,生成中间文件,包括拆装工作流文件和虚实融合资源目录文件,前者供流程调度使用,后者供虚实融合应用调用资源使用; 
(3)定义了一套通用的多人协同拆装网络通信协议,该协议包括根据虚实融合的拆装过程事件类型生成的对应的报文集合,协议供总控服务器和各个拆装节点通信使用; 
(4)基于拆装工作流文件,采用任务指派的方式统一调度各个拆装节点完成虚实融合协同拆装流程,具体实现步骤如下:
(41)读入拆装工作流中间文件; 
(42)初始化拆装流程状态和拆装节点操作状态,其中拆装流程状态包括待拆装步骤序号及步骤类型,即串行、并行、协同,拆装人员状态包括忙碌、空闲两种; 
(43)当所有拆装节点状态为空闲时,根据拆装流程状态的步骤类型进行任务指派,若是串行,指派给某个节点,若是并行,同时顺序指派给多个节点,若是协同,依序进行指派,指派完成后更新拆装流程状态和操作人员状态;当操作人员完成任务时会通知调度模块,调度模块更新其节点操作状态; 
(44)重复步骤(43)直至任务指派完毕; 
(5)获得任务指派的拆装节点,进行任务操作,完成任务时通知总控服务器跳转流程步骤,未获得指派的节点模块作为观察者,观察者无法驱动流程的跳转;
根据实际拆装流程将涉及一种类型零件的拆装事件即动作称为拆装原子事件;以拆装原子事件的粒度划分拆装流程为若干拆装步骤;步骤作为XML的步骤标签,其子标签包括该拆装步骤涉及的零件模型子标签、工装模型子标签、操作细则子标签;拆装流程标签除了包括若干步骤子标签外,还有描述各步骤并行性、协同性的步骤描述子标签; 
所述的网络通信协议自定义模块中定义了一套通用的多人协同拆装网络通信协议,协议根据虚实融合拆装过程事件类型定义对应的报文,并根据基本的拆装事件定义了初始报文,包括虚拟模型位置标定报文、拆装任务指派报文、拆装任务完成报文、虚拟模型平移报文、虚拟模型旋转报文,所有报文首字段统一为事件类型字段,其后根据事件类型的不同设置不同的数据字段,报文的基本格式如下所示: 
Figure FDA0000370165280000031
Type为报文类型,SubType为报文子类型,…表示事件附加信息,Unsigned Short表示非负短整型的数据类型。 
CN 201010622539 2010-12-28 2010-12-28 一种多人虚实融合协同拆装系统及方法 Expired - Fee Related CN102123137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010622539 CN102123137B (zh) 2010-12-28 2010-12-28 一种多人虚实融合协同拆装系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010622539 CN102123137B (zh) 2010-12-28 2010-12-28 一种多人虚实融合协同拆装系统及方法

Publications (2)

Publication Number Publication Date
CN102123137A CN102123137A (zh) 2011-07-13
CN102123137B true CN102123137B (zh) 2013-12-25

Family

ID=44251592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010622539 Expired - Fee Related CN102123137B (zh) 2010-12-28 2010-12-28 一种多人虚实融合协同拆装系统及方法

Country Status (1)

Country Link
CN (1) CN102123137B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789514B (zh) * 2012-04-20 2014-10-08 青岛理工大学 一种机械设备拆装3d在线诱导系统的诱导方法
CN108154784A (zh) * 2016-12-05 2018-06-12 上海交通大学 报废汽车拆解的辅助系统和拆解方法
CN108459716B (zh) * 2018-03-13 2021-06-22 北京欧雷新宇动画科技有限公司 一种在vr中实现多人协作完成任务的方法
CN108500038B (zh) * 2018-04-11 2022-02-11 东南大学 一种多工位报废汽车拆解指导自动推送系统及方法
CN112532564B (zh) * 2019-09-17 2022-09-13 中国移动通信集团广东有限公司 业务调用方法、装置及电子设备
CN112904811A (zh) * 2021-01-14 2021-06-04 厦门汇利伟业科技有限公司 一种基于数字孪生技术的多设备协同作业系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542937B1 (en) * 1998-02-27 2003-04-01 Amada Company, Limited Apparatus and method for transferring and editing sheet metal part data
CN1950767A (zh) * 2004-05-04 2007-04-18 费舍-柔斯芒特系统股份有限公司 加工厂用户界面中基于标记语言的动态过程图形

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542937B1 (en) * 1998-02-27 2003-04-01 Amada Company, Limited Apparatus and method for transferring and editing sheet metal part data
CN1950767A (zh) * 2004-05-04 2007-04-18 费舍-柔斯芒特系统股份有限公司 加工厂用户界面中基于标记语言的动态过程图形

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
增强装配系统的虚实融合技术研究;徐迟;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20090515(第05期);全文 *
徐迟.增强装配系统的虚实融合技术研究.《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》.2009,(第05期),全文.

Also Published As

Publication number Publication date
CN102123137A (zh) 2011-07-13

Similar Documents

Publication Publication Date Title
CN102123137B (zh) 一种多人虚实融合协同拆装系统及方法
CN110278249B (zh) 一种分布式群体智能系统
CN110266771B (zh) 分布式智能节点及分布式群体智能统部署方法
CN104866374B (zh) 基于多任务的离散事件并行仿真及时间同步方法
CN109101545A (zh) 基于人机交互的自然语言处理方法、装置、设备和介质
CN108460457A (zh) 一种面向卷积神经网络的多机多卡混合并行异步训练方法
CN103093034B (zh) 基于云计算的产品协同设计方法
CN103080914B (zh) 用于多用户通信的系统、方法及装置
CN110488973A (zh) 一种虚拟互动留言系统及方法
Coleman Using sensor inputs to affect virtual and real environments
CN107943592A (zh) 一种面向gpu集群环境的避免gpu资源争用的方法
CN102137162A (zh) 基于软件即服务模式的cad集成系统
CN115033368A (zh) 面向元宇宙应用的云服务调度管理方法及存储介质
CN101739483A (zh) 基于移动agent的分布交互式供应链仿真系统
Wu et al. Human-AI co-creation of art based on the personalization of collective memory
CN106663118A (zh) 连网协同工作的方法以及应用该方法的机器
CN108597025A (zh) 基于人工智能面向虚拟现实的快速模型构建方法和装置
CN103955400A (zh) 一种电力系统中并行计算的在线校核方法
Quesada-Díaz et al. Product disassembly and inspection supported by augmented reality and product lifecycle management integration
Huang et al. Integrating embodied conversational agent components with a generic framework
Jin et al. [Retracted] Machinery Changes and Challenges of Architecture and Landscape Design in the Virtual Reality Perspective
CN109144453A (zh) 基于并行计算的海量信息高分辨率协同工作云平台
Cirulis et al. Training scenario operations realization in virtual reality environment
CN103577661B (zh) 信息的获取方法及装置
CN102779204A (zh) 面向客户端服务的多国博弈战略决策模拟推演hla仿真系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131225

Termination date: 20201228