CN107368314A - 基于移动ar的机械制造工艺课程设计教学辅助系统及开发方法 - Google Patents

Abstract

基于移动AR的机械制造工艺课程设计教学辅助系统及开发方法，本发明涉及机械制造工艺课程设计教学辅助系统及开发方法。本发明的目的是为了解决现有三维建模软件计算量量大、处理时间长，现有实体模型资源有限、不方便携带、成本高，以及现有移动AR应用显示三维模型形式单一、人机交互不强、需要携带智能设备，携带不便的问题。包括：用于对典型零件的三维模型进行叠加融合显示的叠加融合显示模块；用于对叠加融合显示模块显示的典型零件的三维模型进行旋转缩放剖视的旋转缩放剖视模块；用于对叠加融合显示模块显示的三维模型所对应的典型零件进行加工工艺路线制订的工艺路线制订模块。本发明用于移动AR技术及教学辅助系统开发领域。

Description

基于移动AR的机械制造工艺课程设计教学辅助系统及开发 方法

技术领域

本发明涉及一种应用于机械制造工艺课程设计教学辅助系统及开发方法。

背景技术

AR技术主要集中在医疗、制造与维修、机器人动作路径的规划、娱乐和军事等几个方面。但是由于设备和精度等方面的原因，所有这些系统都没有真正投入实际应用。AR技术也广泛应用于电子游戏中，并得到很大推崇。近几年来，国外对增强现实技术在教育中的应用作了较多研究，并且相继出现了一些相关的教学产品。

与国外的增强现实技术水平相比，国内对增强现实的研究起步较晚，但是目前已经有很多所高校和研究机构都在积极投身于增强现实技术的研究之中。目前将增强现实技术应用于实践教学的比较少，并且应用平台较为局限，可操作性比较差。

现有技术在电脑中通过三维建模软件，得到立体三维模型，但这种方法计算量量大、处理时间长；或者通过实体模型进行实验教学演示，资源有限、不方便携带、成本高；以及现有移动AR应用显示三维模型形式单一，人机交互不强；现有应用于实践教学的AR应用平台需要携带智能设备(AR眼镜)，成本高，携带不便。

发明内容

本发明的目的是为了解决现有三维建模软件计算量量大、处理时间长，现有实体模型资源有限、不方便携带、成本高，以及现有移动AR应用显示三维模型形式单一、人机交互不强、需要携带智能设备(AR眼镜)，成本高，携带不便的问题，而提出基于移动AR的机械制造工艺课程设计教学辅助系统及开发方法。

基于移动AR的机械制造工艺课程设计教学辅助系统包括：

用于对典型零件的三维模型进行叠加、融合、显示的叠加融合显示模块；

用于对叠加融合显示模块显示的典型零件的三维模型进行旋转、缩放、剖视的旋转缩放剖视模块；

用于对叠加融合显示模块显示的三维模型所对应的典型零件进行加工工艺路线制订的工艺路线制订模块。

基于移动AR的机械制造工艺课程设计教学辅助系统的开发方法具体过程为：

步骤一、在证书管理器中创建License Key；

步骤二、在目标管理器中添加标识物对象；

步骤三、下载含有增强处理后的标识物对象的unitypackage包，unitypackage包为供unity3D开发所使用的开发包；

步骤四、将证书管理器中创建的License Key粘贴到Unity3D中的ARCamera的QCARBehaviour脚本中；

步骤五、将unitypackage包和移动AR开发包一起导入到unity3D中，生成本地数据库；

移动AR开发包包括Vuforia扩展包、模型包、特效包；

步骤六、在unity3D中针对旋转缩放剖视模块和工艺路线制订模块进行开发，实现叠加融合显示模块显示的典型零件的三维模型进行旋转、缩放、剖视和叠加融合显示模块显示的三维模型所对应的典型零件进行加工工艺路线制订；

步骤七、将步骤一至步骤六结果以.apk安装包格式导出，生成移动应用。

本发明的有益效果为：

本发明采用先进的普及率较高(2016年美国科技媒体Mashable一项数据显示，中国智能手机普及率达到了58％，高于俄罗斯的45％和印度的17％)的移动智能终端(智能手机、平板等)作为运行平台，可操作性强，学习成本较低，上手较为容易。有利于增强人机学习的交互性和游戏性，提高学生的空间理解能力和保持学习热情，达到沉浸式学习的目的，同时具有方便携带、成本低、节省教学和实验器材，解决了现有实体模型资源有限、不方便携带、成本高(采用传统的教学方式，需要配备硬件比如电脑、AR头盔、实体模型，软件如三维建模软件，而现在只需一台智能手机以及一款AR手机应用即可，成本大大降低)，以及现有移动AR应用显示三维模型形式单一、需要携带智能设备，成本高，携带不便的问题。采用Unity+Vuforia的增强现实系统开发方法，目前该教学辅助系统基本框架已经建好，系统可扩展性较强，后续进行合理资源的创建应用，将极大丰富该系统的资源。

采用识别标识物与虚拟模型信息匹配的方法，极大地减少了计算量以及系统处理时间(以CA6140车床拨叉为例，采用传统在电脑中通过三维建模软件，得到立体三维模型的方法，平均建模时间在10分钟左右，而通过识别标识物与虚拟模型信息匹配的方法直接下载加载三维模型，省去下载时间，加载在毫秒之内即可完成)。

采用人机交互技术，通过用户与智能设备之间的手势以及虚拟按钮等交互方式，系统实时给予用户以反馈，极大增强了系统的人机交互性。

附图说明

图1为本发明软件实现流程图；

图2为本发明结构示意图；

图3为系统操作流程图；

图4为射线法实现工艺路线制订模块程序流程图；

图5a为旋转缩放操作手势缩小示意图；

图5b为旋转缩放操作手势放大示意图；

图5c为旋转缩放操作手势旋转示意图；

图6为本发明剖视操作示意图；

图7为本发明弹出使用摄像头窗口示意图；

图8为机械制造工艺课程设计教学辅助系统叠加融合显示信息窗口示意图。

具体实施方式

具体实施方式一：本实施方式的基于移动AR的机械制造工艺课程设计教学辅助系统包括：

用于对机械制造工艺课程设计中典型零件(万向节滑动叉、CA6140车床拨叉、CA6140车床法兰盘、CA6140车床杠杆、CA10B解放牌汽车后钢板弹簧吊耳)的三维模型进行叠加、融合、显示的叠加融合显示模块；

叠加融合显示功能，即是将虚拟信息叠加融合到真实世界之上，包括具有三维跟踪注册功能的叠加融合显示以及不具有三维跟踪注册的叠加融合显示。

具有三维跟踪注册的叠加融合显示指的是，计算机实时识别跟踪定位摄像头相对于标志物的位置姿态信息，然后匹配服务器端虚拟信息，匹配成功渲染虚拟信息，进行坐标系变换，计算得到虚拟信息各特征点在图像坐标系上的二维坐标，然后通过图形显示技术将虚拟信息叠加显示到显示屏幕上来，从而达到一种以假乱真的超越真实的实虚融合效果，同时这也体现了AR技术的沉浸性特点。

而不具有三维跟踪注册的叠加融合显示与前介绍相反，它不实时计算虚拟信息在真实世界之中的位置信息，只是简单的将虚拟信息叠加到真实世界之上。一般的，该叠加融合显示的信息相对于移动设备屏幕的位置不动，即使改变移动设备摄像头的方位，虚拟信息的位置也不会发生改变。

而本发明所叠加融合显示的内容信息两种形式都包含，如图所示，所叠加的虚拟三维模型为具有跟踪注册功能的叠加融合显示，随着摄像头位置姿态的改变，模型在屏幕上显示的位置信息会发生变化，但改变的结果会让人感觉模型相对于真实世界位置并未发生变化。而叠加的文字、虚拟按钮为不具有跟踪注册功能的叠加融合显示，在屏幕中显示的位置不会随着摄像头的位置姿态改变而改变。如图8所示。

用于对叠加融合显示模块显示的典型零件的三维模型进行旋转、缩放、剖视的旋转缩放剖视模块；

用于对叠加融合显示模块显示的三维模型所对应的典型零件进行加工工艺路线制订的工艺路线制订模块。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述系统还包括：

用于通过驱动摄像头采集图纸中图像的图像获取模块；

用于对图像获取模块获取的图像与数据库中图像进行匹配的特征匹配模块。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述工艺路线制订模块包括：

用于确定叠加融合显示模块显示的三维模型所对应的典型零件进行加工工艺路线(确定典型零件进行加工工序的顺序)的参考信息子模块；

用于实时显示叠加融合显示模块显示的三维模型加工工艺路线的加工工序排布显示子模块；

用于对加工工序排布显示模块所显示的加工工艺路线是否符合加工工艺要求并进行评分的工艺路线评分子模块。

具体实施方式四：本实施方式的根据权利要求1、2或3所述基于移动AR的机械制造工艺课程设计教学辅助系统的开发方法具体过程为：

步骤一、在证书管理器(是指可通过Vuforia官方开发人员门户网站获得的Vuforia License Manager Web应用程序，您可以在其中申请和管理许可证密钥)中创建License Key；

步骤二、在目标管理器(目标管理器位于Vuforia官网中，是指通过用于管理标识物对象和其他内容的Web应用程序)中添加标识物对象；对添加的标识物对象目标进行增强处理，得到增强处理后的标识物对象；

步骤三、下载含有增强处理后的标识物对象的unitypackage包，unitypackage包为供unity3D开发所使用的开发包；

步骤四、将证书管理器中创建的License Key粘贴到Unity3D中的ARCamera的QCARBehaviour脚本中；

步骤五、将unitypackage包和移动AR开发包一起导入到unity3D中，生成本地数据库；

移动AR开发包包括Vuforia扩展包、模型包、特效包；

步骤六、在unity3D中针对系统所设计的旋转缩放剖视模块和工艺路线制订模块进行开发，实现叠加融合显示模块显示的典型零件的三维模型进行旋转、缩放、剖视和叠加融合显示模块显示的三维模型所对应的典型零件进行加工工艺路线制订；如图4；

工艺路线制订模块关键代码：

为关键函数；

旋转缩放功能关键代码：

剖视功能关键代码：

步骤七、将步骤一至步骤六结果导出(安装包格式为.apk)，生成移动应用。

具体实施方式五：本实施方式与具体实施方式四不同的是：所述步骤二中在目标管理器(目标管理器位于Vuforia官网中，为了管理标识物对象，便于后续开发)中添加标识物对象；具体过程为：

步骤二一、确定标识物；

在基于AR的机械制造工艺课程设计教学辅助系统，采用CAD(autoCAD或solidworks)对待叠加融合显示的典型零件的三维模型所对应的工程图纸进行绘制；

步骤二二、将绘制得到的图纸上传到目标管理器。

在Vuforia官网云端创建数据库，包括目标识别物Imagetargets的上传，上传至在Vuforia官网创建好的云端数据库，Vuforia引擎会实时处理目标识别物，并反馈到对应的个人数据库中。

其它步骤及参数与具体实施方式四相同。

具体实施方式六：本实施方式与具体实施方式四或五不同的是：所述步骤六中在unity3D中针对系统所设计的旋转缩放剖视模块和工艺路线制订模块进行开发，实现叠加融合显示模块显示的典型零件的三维模型进行旋转、缩放、剖视和叠加融合显示模块显示的三维模型所对应的典型零件进行加工工艺路线制订；具体过程为：

步骤六一、编写旋转、缩放脚本：

采用localScale()函数编写缩放脚本；

采用Rotate()函数编写旋转脚本；

步骤六二、编写剖视脚本：

采用三维模型建模软件(solidworks)建立一个与叠加融合显示模块显示的三维模型并列的独立剖视三维模型，将独立剖视三维模型.spt格式转换为.fbx格式，导入到unity3D中；

由于无法在Unity3D中直接进行剖视显示，在此通过建立另一并列独立剖视三维模型的方式，通过设置按钮组件激活状态的“true/false”进行整体模型与剖视模型的转换。剖视实现的关键脚本代码如下所示：

本发明剖视功能关键脚本代码：

步骤六三、编写三维模型所对应的典型零件进行加工工艺路线制订脚本：

设定一个标准的三维模型所对应的典型零件进行加工工艺路线；(标准的叠加融合显示模块显示的三维模型所对应的典型零件进行加工工艺路线；符合一定加工原则，原则为：基准先行、先粗后精、先主后次、先面后孔)

采用三维模型建模软件(solidworks)建立一个与叠加融合显示模块显示的三维模型并列的指示体模型(该指示体模型代表零件加工过程中的各个工序，通过点击指示体从而选择零件的各个加工工序)，点击排工序虚拟按钮，显示指示体模型，点击各个加工工序所对应的指示体模型，采用Unity3D中的射线法获取所点击的指示体模型所对应的加工工序名称，将该加工工序名称通过工序排布显示模块实时显示在手机屏幕上，与设定的标准的叠加融合显示模块显示的三维模型所对应的典型零件进行加工工艺路线进行加工工艺路线进行对比，通过工艺路线评分模块得到评分；

通过指示体模型代表各加工工序。通过点击各指示体进行相应加工工序的排序并实时显示于屏幕上，并进行相应的合理性评分。运用Unity3D中的射线法，当单击操作被触发时，从摄像头发出一条射线，方向指向触摸点，如果在射线路径上有碰撞体模型与射线相撞，即可选中该碰撞体模型(即可选中各指示体模型所代表的加工工序)，从而可以进行加工工序的排序，实现工艺路线的制订。核心脚本如下所示：

本发明射线法实现加工工艺路线制订关键脚本代码：

步骤六四、编写参考信息模块脚本：

采用Unity3D中的TEXT组件显示制订典型零件工艺路线所需要的参考信息。

其它步骤及参数与具体实施方式四或五相同。

具体实施方式七：本实施方式与具体实施方式四至六之一不同的是：所述排工序虚拟按钮为unity3D中自带的UI组件。

其它步骤及参数与具体实施方式四至六五之一相同。

工作原理：

系统操作流程如图3所示。

步骤一：打开移动智能手机端App，进入主界面(第一次使用时会弹出请求使用摄像头权限的窗口，点击同意，以后再次点击软件使用的过程中将不会再弹出该窗口)。

步骤二：用摄像头扫描图纸，获取标志物图像特征点信息，并与服务器端信息进行匹配，匹配成功将在图纸上叠加融合显示零件的三维模型，可通过手势操作进行旋转、缩放。点击剖视虚拟按钮，将显示剖视状态的模型。剖视状态的模型也可通过手势操作进行旋转、缩放。点击三维模型按钮也可返回完整三维模型视图。

步骤三：点击工艺路线制订虚拟按钮，相应工序指示体模型将显示于剖视模型相应的加工部位之上。然后，学生通过点击相应工序指示体进行工艺路线的排序，排序结果以及合理性评分也将实时显示于屏幕上，以便于给学生进行相应反馈，此外点击参考信息按钮可以显示零件加工必要的参考资料以及零件介绍。整体界面展示如图2。

采用以下实施例验证本发明的有益效果：

实施例一：

本实施例基于移动AR的机械制造工艺课程设计教学辅助系统及开发方法具体是按照以下步骤制备的：

图1为该发明软件实现流程图，以Unity3D为集成开发环境，采用高通公司推出的AR开发工具Vuforia作为软件开发工具包。首先需要在Vuforia官网云端创建数据库，包括目标识别物Imagetargets的上传，上传至在Vuforia官网创建好的云端数据库，Vuforia引擎会实时处理目标识别物，并反馈到对应的个人数据库中。开发者通过TMS(TargetsManagement System，目标管理系统)Tools的WEB接口下载unitypackage包，然后与移动AR开发包，包括Vuforia扩展包、模型包、特效包等，一起导入到Unity3D中，在Unity3D中创建场景，采用C#编写脚本，设计交互界面，进行移动AR程序开发，最后发布移动应用。

图2所示为该发明结构示意图，包括操作按钮，工艺路线，参考信息，指示体模型剖视模型，图纸，评分几个部分组成。

本发明按照功能划分模块，包括叠加融合显示模块、旋转缩放剖视模块、工艺路线制订模块。

叠加融合显示模块，本发明以CA6140车床拨叉为例进行说明阐述，首先通过三维建模软件Solidworks进行所需要展示零件的建模工作。由于Unity3D所能识别的模型格式为.fbx，因此需将.spt格式的模型文件通过Deep Exploration软件转换为.fbx文件。然后，将.fbx模型文件导入Unity3D软件中。在Vuforia官网上进行注册，创建云端数据库，管理标志物，然后获取License Key以及Imagetarget包。将Imagetarget包导入Unity3D中并粘贴License Key。将.fbx模型文件放置在相应的Imagetarget下，调整大小及位置，以及灯光照射。最后进行相应设置并打包发布。

旋转缩放剖视模块，旋转功能的实现，在手机端通过滑动触摸屏实现；缩放功能通过两指点击滑动实现；剖视功能的实现通过点击剖视按钮实现，如图5a、图5b、图5c。旋转、缩放的实现通过Unity3D脚本控制相应组件实现，脚本编辑语言可为Javascript或C#。在此选择C#。旋转功能通过Rotate()函数来实现、缩放功能通过localScale()函数实现。关键脚本代码如下所示：

本发明旋转缩放功能关键脚本代码：

由于无法在Unity3D中直接进行剖视显示，在此通过建立另一并列独立剖视三维模型的方式，通过设置按钮组件激活状态的“true/false”进行整体模型与剖视模型的转换。剖视实现的关键脚本代码如图4、5a、5b、5c、图6所示。图6中技术要求为铸造圆角R3-5花键方向应与图样一致。

工艺路线制订模块，在该模块的设计中，通过指示体模型代表各加工工序。通过点击各指示体进行相应加工工序的排序并实时显示于屏幕上，并进行相应的合理性评分。运用Unity3D中的射线法，当单击操作被触发时，从摄像头发出一条射线，方向指向触摸点，如果在射线路径上有碰撞体模型与射线相撞，即可选中该碰撞体模型(即可选中各指示体模型所代表的加工工序)，从而可以进行加工工序的排序，实现工艺路线的制订。核心脚本如下所示：

本发明射线法实现加工工艺路线制订关键脚本代码：

实施例二：

图3为本系统操作流程图。打开手机端App，进入主界面，第一次使用时会弹出请求使用摄像头权限的窗口，如图7，点击同意，以后再次点击软件使用的过程中将不会再弹出该窗口。首先通过智能手机摄像头扫描标识物(本增强现实系统标识物为典型零件所对应的图纸)，获取图纸图像特征点信息，系统将获取到的图像特征点信息与服务器端(本系统为本地服务器)虚拟信息进行匹配，匹配成功后，实时跟踪图像特征点信息，通过显示技术将虚拟信息(如三维模型、文字信息、虚拟按钮等)实时叠加融合显示在智能设备屏幕正确位置上。在图纸上叠加融合显示零件的三维模型，可通过手势操作进行旋转、缩放。点击剖视虚拟按钮，将显示剖视模型，也可通过手势操作进行旋转、缩放剖视状态下的三维模型。点击三维模型按钮也可返回完整三维模型视图；

点击工艺路线制订虚拟按钮，相应工序指示体将显示于剖视图相成程序之上。然后，学生通过点击相应工序指示体进行工艺路线排布，排序结果以及合理性评分也将实时显示于屏幕上，以便于给学生进行相应反馈，此外点击参考信息按钮可以显示零件加工必要的参考资料以及零件介绍。整体界面展示如图2。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.基于移动AR的机械制造工艺课程设计教学辅助系统，其特征在于：所述系统包括：

用于对典型零件的三维模型进行叠加、融合、显示的叠加融合显示模块；

用于对叠加融合显示模块显示的典型零件的三维模型进行旋转、缩放、剖视的旋转缩放剖视模块；

用于对叠加融合显示模块显示的三维模型所对应的典型零件进行加工工艺路线制订的工艺路线制订模块。

2.根据权利要求1所述基于移动AR的机械制造工艺课程设计教学辅助系统，其特征在于：所述系统还包括：

用于通过驱动摄像头采集图纸中图像的图像获取模块；

用于对图像获取模块获取的图像与数据库中图像进行匹配的特征匹配模块。

3.根据权利要求2所述基于移动AR的机械制造工艺课程设计教学辅助系统，其特征在于：所述工艺路线制订模块包括：

用于确定叠加融合显示模块显示的三维模型所对应的典型零件进行加工工艺路线的参考信息子模块；

用于实时显示叠加融合显示模块显示的三维模型加工工艺路线的加工工序排布显示子模块；

用于对加工工序排布显示模块所显示的加工工艺路线是否符合加工工艺要求并进行评分的工艺路线评分子模块。

4.根据权利要求1、2或3所述基于移动AR的机械制造工艺课程设计教学辅助系统的开发方法，其特征在于：所述方法具体过程为：

步骤一、在证书管理器中创建License Key；

步骤二、在目标管理器中添加标识物对象；对添加的标识物对象目标进行增强处理，得到增强处理后的标识物对象；

步骤三、下载含有增强处理后的标识物对象的unitypackage包，unitypackage包为供unity3D开发所使用的开发包；

步骤四、将证书管理器中创建的License Key粘贴到Unity3D中的ARCamera的QCARBehaviour脚本中；

步骤五、将unitypackage包和移动AR开发包一起导入到unity3D中，生成本地数据库；

移动AR开发包包括Vuforia扩展包、模型包、特效包；

步骤六、在unity3D中对旋转缩放剖视模块和工艺路线制订模块进行开发，实现叠加融合显示模块显示的典型零件的三维模型进行旋转、缩放、剖视和叠加融合显示模块显示的三维模型所对应的典型零件进行加工工艺路线制订；

步骤七、将步骤一至步骤六结果以.apk安装包格式导出，生成移动应用。

5.根据权利要求4所述基于移动AR的机械制造工艺课程设计教学辅助系统的开发方法，其特征在于：所述步骤二中在目标管理器中添加标识物对象；具体过程为：

步骤二一、确定标识物；

采用CAD对待叠加融合显示的典型零件的三维模型所对应的工程图纸进行绘制；

步骤二二、将绘制得到的图纸上传到目标管理器。

6.根据权利要求5所述基于移动AR的机械制造工艺课程设计教学辅助系统的开发方法，其特征在于：所述步骤六中在unity3D中对系统所设计的旋转缩放剖视模块和工艺路线制订模块进行开发，实现叠加融合显示模块显示的典型零件的三维模型进行旋转、缩放、剖视和叠加融合显示模块显示的三维模型所对应的典型零件进行加工工艺路线制订；具体过程为：

步骤六一、编写旋转、缩放脚本：

采用localScale()函数编写缩放脚本；

采用Rotate()函数编写旋转脚本；

步骤六二、编写剖视脚本：

采用三维模型建模软件建立一个与叠加融合显示模块显示的三维模型并列的独立剖视三维模型，将独立剖视三维模型.spt格式转换为.fbx格式，导入到unity3D中；

步骤六三、编写三维模型所对应的典型零件进行加工工艺路线制订脚本：

设定一个标准的三维模型所对应的典型零件进行加工工艺路线；

采用三维模型建模软件建立一个与叠加融合显示模块显示的三维模型并列的指示体模型，点击排工序虚拟按钮，显示指示体模型，点击各个加工工序所对应的指示体模型，采用Unity3D中的射线法获取所点击的指示体模型所对应的加工工序名称，将该加工工序名称通过工序排布显示模块实时显示在手机屏幕上，与设定的标准的叠加融合显示模块显示的三维模型所对应的典型零件进行加工工艺路线进行加工工艺路线进行对比，通过工艺路线评分模块得到评分；

步骤六四、编写参考信息模块脚本：

采用Unity3D中的TEXT组件显示制订典型零件工艺路线所需要的参考信息。

7.根据权利要求6所述基于移动AR的机械制造工艺课程设计教学辅助系统的开发方法，其特征在于：所述排工序虚拟按钮为unity3D中自带的UI组件。