CN115167299A - 一种导弹舱段零部件装配质量自动化检验设备及方法 - Google Patents

Abstract

一种导弹舱段零部件装配质量自动化检验设备及方法，硬件单元包括底座平台、运动装置、视觉传感系统和控制系统；软件单元包括管理端和现场执行端；本方法采用多视觉传感器和目标检测算法，组合应用直线移动机构和机械手等自动化机构装置，自动化检验导弹舱段零部件装配质量，检验自动化程度高、检验判定准确度高、检验部位可达性强，检验结果数字化可追溯。

Description

一种导弹舱段零部件装配质量自动化检验设备及方法

技术领域

本发明属于导弹总装检验技术领域，具体涉及一种导弹舱段零部件装配质量自动化检验方法及设备。

背景技术

导弹舱段零部件装配是导弹总装关键过程之一，即将标准件、电缆网及设备等零部件装配在舱段内，具体包括设备安装、电缆敷设与绑扎、电连接器对接等工作内容。紧固件漏装、安装方向错误、电连接器插头插座对接不到位、电缆破损过弯、电缆敷设路径错误、电缆绑扎错误等各类装配质量问题均直接影响导弹性能及功能；导弹装配工艺要求高、操作过程复杂、返修难度大，导弹舱段零部件装配质量问题给导弹生产质量管控带来巨大的隐患与挑战。因此，实施舱段零部件装配检验是控制装配质量缺陷、把控导弹制造性能的有效措施。

导弹舱段零部件形状复杂且种类繁多，种类多达几十种、数量在百件左右，当前舱段装配检验均由人工目视检查完成，检验员需经历完成数十发同型号装配产品检验后才能脱离现场查看工艺与图纸的方式、熟练掌握具体工艺检验要求。该方式对人员认知力、理解力、记忆力有较高要求，对人员的经验依赖大、培养周期长；其次，目前导弹制造模式按照弹径系列共线并行生产，不同型号的配套产品与装配要求均有很大不同，检验过程存在不同产品间检验要求混淆、检验错乱等现象，该现象进一步加深了对检验人员熟练切换完成多型号装配检验的高水准能力要求，加剧了对优秀成熟人员的依赖性，加大了有限检验人员的劳动强度；再次，导弹舱段装配空间截面积小、纵伸长度大、目视可达性受限，装配质量检验存在盲检验现象，存在质量隐患，而身体探入检验则额外产生安全隐患；此外，当前检验结果记录方式为检验员目视检查后手持摄影相机对准拍照，事后导出相片再进行人工命名标注管理。该方式弊端明显：拍摄质量一致性依赖人员拍摄技巧、大批量图片文件标注存在漏标错标等低层次人为失误、极大增加验后工作量、质量问题跟踪追溯周期长、数据分析实现难度大。因此，为满足导弹高产能、多型号、多状态共线装配下的快速响应制造和产品质量零缺陷的紧迫需求，亟需探索数字化、自动化的检验技术方法。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供一种导弹舱段零部件装配质量自动化检验方法及设备，解决人工目视检验方法产生的检验内容混淆、工作劳动强度大、存在质量与安全隐患、人为经验依赖性强、手动拍摄追溯难等弊端。

本发明的技术方案是：一种导弹舱段零部件装配质量自动化检验设备，包括软件单元和硬件单元，硬件部单元包括底座平台、运动装置、视觉传感系统和控制系统；

底座平台作为整个设备的基础平台为设备其他部分提供支撑、部件存放以及设备整体移动功能；运动装置为设备的运行执行机构，设备工作中所有的机械动作通过运动装置执行；视觉传感系统用于采集舱段检验位置的图像信息以及操作人员的交互手势图像；控制系统采用工业以太网总线控制，用于运动装置、视觉传感系统的信号采集和控制信号的输出；

软件单元包括管理端和现场执行端；

所述管理端采用B/S架构，面向工艺和质量管理人员进行数据的维护、查询和权限管理；现场执端采用C/S架构，用于执行现场检验业务；管理端和现场执行端通过底层数据库实现指令交互。

所述底座平台包括装配台面、平台柜、万向刹车工业脚轮；平台柜底部通过连接件安装四个万向刹车工业脚轮；平台柜上表面通过螺栓安装装配台面。

所述运动装置包括直线移动机构和六关节机械手；直线移动机构固定安装于装配台面上；六关节机械手通过法兰与直线移动机构上的连接滑块连接，使六关节机械手能够跟随直线移动机构整体移动。

所述视觉传感系统包括检测视觉传感装置和USB电脑摄像头；其中检测视觉传感装置用于采集舱段检验位置的图像信息，包括深度双目工业相机、单目工业相机、环形光源、支架；深度双目工业相机、单目工业相机、环形光源组合后固定安装在支架上；支架与六关节机械手的末端法兰装配固定；USB电脑摄像头用于采集操作人员的交互手势图像，其自带支架底板粘接于控制系统上。

所述控制系统包括运动控制器、工控计算机、触屏面板；触屏面板与工控计算机采用有线连接通讯；触屏面板用于显示软件系统界面以及获取触摸交互输入指令；工控计算机、运动控制器安装固定在平台柜内；触屏面板在未使用状态下挂靠于底座平台侧面，使用时使用自身支架放置在工作桌面上。

所述管理端包括检验工艺模型管理模块、检验结果管理模块、权限管理模块和字典管理模块；

所述检验工艺模型管理用于对建立的检验工艺模型进行管理，是现场执行端的数据来源；

所述检验结果管理模块用于对检验结果进行管理，所述检验结果包括检验结论和检验图像；

所述权限管理模块用于对管理端和现场执行端登录的用户的权限进行管理，不同权限对应不同的模块使用权限；

所述字典管理模块用于定义产品代号所包括的各要素的标准名称，规范数据的输入。

所述检验工艺模型由产品代号、校准数据、检验工艺三部分组成，通过结构化表格进行关联；所述产品代号指确定待检验产品状态的信息，包括产品型号、图号、批次、阶段；所述校准数据为检验设备和待检产品的初始位置数据；所述检验工艺为检验工艺流程和检验工艺标准，包括工序编号、工序名称、工步名称、零部件类型、工艺文字要求、标准图像模板、检验位置。

所述的现场执行端包括登录模块、位置标定模块、标准图像模板制定模块、检验模块；

所述的登录模块用于现场执行端的登录管理，在登录模块中输入登录用户信息和待检舱段的产品代号信息；登录用户信息用于核对用户权限，产品代号信息用于调取管理端相应的检验工艺模型数据和检验结果数据；

所述位置标定模块用于获取检验设备与待检产品的位置数据，包括校准数据、检验位置数据；并推送给管理端的检验工艺模型；

所述的标准图像模板制定模块对导入的大量装配质量合格图像使用图像标注工具对图像上的检测要素进行标注；所有图像标注完成后，使用图像训练工具进行装配质量特征训练，训练得到其合格识别特征，形成标准图像模板；

所述的检验模块根据登录模块输入的产品代号信息获取管理端的检验工艺模型数据，驱动运动装置运动到获取的检验位置，控制检测视觉传感装置采集图片，并调用装配质量图像检验工具进行检验并给出检验结果，检验结果同时赋值给管理端的检验结果；装配质量图像检验工具使用YOLO 4算法封装而成。

所述位置数据的获取方法为：驱动并调试运动装置和检验视觉传感装置至标准检验准备位置，获取运动装置位置坐标和产品位置坐标，形成校准数据并推送给管理端检验工艺模型的校准数据；驱动并调试运动装置和检验视觉传感装置至符合工艺条件的检验位置，获取运动装置的坐标位置，并推送给管理端检验工艺模型中检验工艺中该工步对应的检验位置数据。

现场执行端的检验模块，每次启动根据检验工艺模型的检验工艺更新展开检验任务列表，在列表中显示任务的完成状态，检验结论，检验时间，并对选中的列表条目的检验图像结果显示在界面上。

现场执行端的动态工艺数据均来自于管理端的检验工艺模型，在现在型号任务时，仅需新建管理端的检验工艺模型并进行数据完善。

一种利用上述自动化检验设备进行导弹舱段零部件装配质量自动化检验的方法，包括：

S1，建立检验工艺模型：首次使用或者检验工艺发生变更的情况下，在管理端进行检验工艺模型编辑；

检验工艺模型由产品代号、校准数据、检验工艺三部分组成，通过结构化表格进行关联；其中产品代号包括产品型号、图号、批次、阶段；校准数据包括设备校准数据和产品校准数据；检验工艺包括工序编号、工序名称、工步名称、零部件类型、工艺文字要求、标准图像模板、检验位置；在管理端完成S1的检验工艺建模后，通过现场执行端进入S2、S3、S4获取数据完善模型。

S2，进行初始检验位置示教：选取质量合格的标准舱段至于装配平台上，启动自动化检验设备，驱动直线移动机构和六关节机械手，带动检验视觉传感装置运动至标准舱段正上方并对准舱段；视觉识别、计算显示标准舱段相对于自动化检验设备的实际三维空间距离；调整标准舱段位姿直至相对空间距离满足检验工艺条件要求，并设定此时的设备位置、舱段相对设备的三维空间距离为检验设备初始位置数据和待检产品初始位置数据，分别推送给管理端检验工艺模型中的校准数据；进入S3，进一步获取检验工艺模型中检验位置数据；

S3，进行运动轨迹数据示教：首先，针对工艺检验条件所要求的各个检验点，驱动直线移动机构和六关节机械手至符合工艺条件的检验位置，开启检测视觉传感装置，六关节机械手末端的姿态保证检测视觉传感装置能够采集全部检验要素，记录此时直线移动机构和六关节机械手的坐标值，形成该工步对应的检验位置，并推送给管理端工艺模型的中该工步检验点的检验位置；重复步骤S3操作，完成所有检验点的运动轨迹示教；进入S4，进一步获取检验工艺模型中标准图像模板的数据；

S4，进行标准检验模板制作：标准图像模板指合格产品的标准状态模板，用来与待检产品的装配状态进行一致性对比分析，是质量检验的标准图像模板；使用与待检产品相同的合格产品对工艺模型中要求的某一工步进行标准质量的装配示范，进行多发产品、多角度装配质量合格的图像采集，运用图像标注工具与图像训练工具对图像上的检验对象进行标注及训练，将训练结果推送给与管理端的检验工艺模型的标准图像模板；

S5，检验准备：启动检验设备，输入待检产品的代号信息，系统自动调取检验工艺模型中的匹配数据，完成数据准备；推送待检导弹舱段至检验工位，调用检验工艺模型中校准数据并驱动直线移动机构和六关节机械手达初始检验位置，在触屏面板上实时显示单目工业相机采集到的待检验舱段的图像，双目深度工业相机识别计算当前位置与检验工艺模型中产品校准数据的坐标偏差，给出标准位置虚拟图框及调整参数，调整待检验舱段到虚拟图框内，完成实物检验准备后进入S6；

S6，检验执行：选择待检的工步，得到开始检测的人机交互命令后，读取检验工艺模型中的检验位置数据，驱动运动装置到达检验位置，自动开启检测视觉传感装置的环形光源和单目工业相机进行图像采集，调用装配质量图像检验工具将图像与标准图像模板的特征数据进行一致性对比，得到一致性对比结果后进入S7；

S7,检验结果：所述一致性对比结果，包括检验结论和检验图像；检验结果推送给管理端检验结果；所述的检验图像包括采集图像和判定图像两种；采集图像为单目工业相机采集的原始图像，判定图像上对检验通过的对象标注绿框，未通过标注红框；重复S6直至完成所有检验工步后，进入S8；

S8，检验结束；推送舱段流转至下一个总装位。

所述S2中视觉识别、计算显示标准舱段相对于自动化检验设备的实际三维空间距离，包括：设定自动化检测设备的装配台面一角点为世界坐标系原点O，采用检测视觉传感装置的深度双目工业相机识别舱段基准孔圆心，基于立体视觉定位和机器人运动学进行推导转换，计算出舱段前端面相对于自动化检测设备的三维空间距离，并将基准圆形孔的标准位置在屏幕上用图框显示，进行图形化引导。

所述S4的图像标注对舱内小于1cm的零部件，增加“微小”属性标注维度，对于“微小”属性的检测图像进一步细化卷积划分。

所述S6中装配质量图像检验工具，使用YOLO 4算法封装而成；对于线缆路径检测，首先采用YOLO 4算法识别到导弹筒体截面与线缆后，进一步通过线缆颜色特征、阀值算法过滤掉画幅内背景其他的特征信息，得到线缆的外观轮廓，在此基础上对外观轮廓进行细化，去除多余特征，通过骨架提取算法找到线缆的骨架线，推送到特征识别算子中对区域中线缆的长度、位置、对图像进行特征结果检测判断。

所述S2、S3、S4可调换顺序，但必须全部完成后才能进入S5。所述S1在管理端完成，S2—S8在现场执行端完成。

本发明包括如下有益效果：

1、本发明填补了导弹舱段零部件装配质量自动化检验的空白，有效提升了导弹总装制造过程的自动化水平，为检验无人化奠定了技术基础。

2、本发明利用自动化检验设备检验软件，建立结构化的工艺模型并将检验设备的工作数据与工艺模型进行结构化的绑定，实现了基于工艺模型驱动自动化设备运行，提升了对自动化设备工艺有效性的管控能力。

3、本发明的自动化检验设备检验软件，采用了管理端与现场执行端分离的方法，有效的提升了现场多台自动化设备的工艺数据下发与检验结果采集的效率，实现了一对多的一次性处理；同时用户更加具备针对性使用，操作更加简洁便利。

3、发明通过组合执行机构自动化运动、视觉传感器清晰观察、人工智能检测算法准确判定等过程，解放了人工过程参与，不仅保证检验判定高准确度，还提升了检验观察可达性，有效消除了原有人工目视引发了质量与安全隐患。

4、本发明针对检验结果图像，在检测算法判定形成检验结论时，自动标注产品批次信息、当前检验点及其装配质量检验结论信息于图像文件中，同时保存图像、绑定至检验数据库中，完成检验执行与结果记录双同步，实现了检验结果数字化可追溯，解放了人工标注工作，有效消除了原有人工手持相机拍摄、标注产生的诸多弊端。

5、本发明可进一步扩展完成对导弹其他结构的检验特征识别与判定，实现全弹装配质量的装配质量自动化检验；也可适应性扩展自动化检验设备，如将底座平台升级为全驱AGV平台、或配置多机械手，促进建立导弹自动化检测单元与自动化检验生产线，实现导弹总装制造智能化车间。

附图说明

图1为本发明导弹舱段零部件装配质量自动化检验设备的整体结构示意图；

图2为本发明视觉传感装置的局部放大结构示意图；

图3为本发明导弹舱段零部件装配质量自动化检验设备检验软件系统的主要组成结构示意图；

图4为本发明执行S2初始检验位置示教及S5检验准备步骤时导弹舱段零部件装配质量自动化检验方法示意图；

图5为本发明执行S3运动轨迹数据示教及S6检验执行步骤时导弹舱段零部件装配质量自动化检验方法示意图；

图6为本发明导弹舱段零部件装配质量自动化检验方法的流程框图。

具体实施方式

一种导弹舱段零部件装配质量自动化检验设备，包括软件单元和硬件单元。

硬件单元包括底座平台、运动装置、视觉传感系统和控制系统；

底座平台作为整个设备的基础平台为设备其他部分提供支撑、部件存放以及设备整体移动功能；运动装置为设备的运行执行机构，设备工作中所有的机械动作通过运动装置执行；视觉传感系统用于采集舱段检验位置的图像信息以及操作人员的交互手势图像；控制系统采用工业以太网总线控制，用于运动装置、视觉传感系统的信号采集和控制信号的输出；

如图1所示所述硬件单元底座平台为整个设备的基础平台，为设备其他部分提供支撑、部件存放以及设备整体移动功能。底座平台由上至下包括装配台面1、平台柜2、万向刹车工业脚轮3；平台柜2底部通过螺栓安装4个万向刹车工业脚轮3；平台柜2上表面通过螺栓安装装配台面1。

如图2所示所述运动装置包括直线移动机构4和六关节机械手5；直线移动机构4固定安装于装配台面1上；六关节机械手5通过法兰与直线移动机构4上的连接结滑块连接，使六关节机械手5能够跟随直线移动机构4整体移动。

所述视觉传感系统包括检测视觉传感装置6和USB电脑摄像头13。其中检测视觉传感装置6用于采集舱段检验位置的图像信息，如图2所示包括深度双目工业相机6.1、单目工业相机6.2、环形光源6.3、支架6.4；深度双目工业相机6.1、单目工业相机6.2、环形光源6.2组合后固定安装在支架6.4上；USB电脑摄像头13用于采集操作人员的交互手势图像，其自带支架底板粘接于触屏面板9顶部。

所述控制系统包括运动控制器7、工控计算机8、触屏面板9；触屏面板9与工控计算机8采用有线连接通讯；触屏面板9用于显示软件系统界面以及获取触摸交互输入的任务；工控计算机8、运动控制器7安装固定在平台柜2内；触屏面板9在未使用状态下挂靠于底座平台侧面，使用时使用自身支架放置在工作桌面上。

设备的检验软件系统由管理端和现场执行端两个部分组成。

所述管理端采用B/S架构，可通过浏览器访问，面向工艺和质量管理人员进行数据的维护、查询和权限管理等。现场执端采用C/S架构，安装于工业控制计算机中，集成设备硬件控制，用于执行现场检验业务。管理端和现场执行端通过底层数据库实现指令交互。

如图3所示所述管理端包括检验工艺模型管理模块、检验结果管理模块、权限管理模块、字典管理模块。

所述检验工艺模型管理用于对建立的检验工艺模型进行管理，是现场执行端的数据来源；检验工艺模型由产品代号、校准数据、检验工艺三部分组成，通过结构化表格进行关联；

所述产品代号指确定待检验产品状态的信息，包括产品型号、图号、批次、阶段；所述校准数据为检验设备和待检产品的初始位置数据；所述检验工艺为检验工艺流程和检验工艺标准，包括工序编号、工序名称、工步名称、零部件类型、工艺文字要求、标准图像模板、检验位置；

所述检验结果管理模块用于对检验结果进行管理，所述检验结果包括检验结论和检验图像；

所述权限管理由于管理端和现场执行端登录的用户的权限管理，不同权限对应不同的模块使用权限。

所述字典管理模块用于定义产品代号所包括的各要素的标准名称，规范数据的输入。

所述的现场执行端包括登录模块、位置标定模块、标准图像模板制定模块、检验模块；

所述的登录模块用于现场执行端的登录管理，在登录模块中输入登录用户信息和待检舱段的产品代号信息；登录信息用于核对用户权限，产品代号信息用于调取管理端相应的检验工艺模型数据和检验结果数据。

所述位置标定模块用于获取检验设备与待检产品的位置数据，并推送给管理端的检验工艺模型。具体包括校准数据、检验位置数据。驱动并调试运动装置和检验视觉传感装置6至标准检验准备位置，获取运动装置位置坐标和产品位置坐标，形成校准数据并推送给管理端检验工艺模型的校准数据；驱动并调试运动装置和检验视觉传感装置6至符合工艺条件的检验位置，获取运动装置的坐标位置，并推送给管理端检验工艺模型中检验工艺中该工步对应的检验位置。

所述的标准图像模板制定模块对导入的大量装配质量合格图像使用图像标注工具对图像上的检测要素进行标注；所有图像标注完成后，使用图像训练工具进行装配质量特征训练，训练得到其合格识别特征，形成标准图像模板。

所述的检验模块根据登录模块输入的产品代号信息获取管理端的检验工艺模型数据，驱动运动装置运动到获取的检验位置，控制检测视觉传感装置6采集图片，并调用装配质量图像检验工具进行检验并给出检验结果，检验结果同时赋值给管理端的检验结果。装配质量图像检验工具使用YOLO 4算法封装而成。

现场执行端的动态工艺数据均来自于管理端的检验工艺模型，在现在型号任务时，仅需新建管理端的检验工艺模型并进行数据完善。

所述现场执行端的检验模块，每次启动根据检验工艺模型的检验工艺更新展开检验任务列表，在列表中显示任务的完成状态，检验结论，检验时间，并对选中的列表条目的检验图像结果显示在界面上。

一种导弹舱段零部件装配质量自动化检验方法，如图6所示包括如下实施步骤：

S1，建立检验工艺模型：首次使用或者检验工艺发生变更的情况下，在管理端进行检验工艺模型编辑；

如图3所示检验工艺模型由产品代号、校准数据、检验工艺三部分组成，通过结构化表格进行关联；其中产品代号包括产品型号、图号、批次、阶段；校准数据包括设备校准数据和产品校准数据；检验工艺包括工序编号、工序名称、工步名称、零部件类型、工艺文字要求、标准图像模板、检验位置；在管理端完成S1的检验工艺建模后，通过现场执行端进入S2、S3、S4获取数据完善模型。

S2，进行初始检验位置示教：选取质量合格的标准舱段11至于装配平台10上，启动自动化检验设备，如图4所示驱动直线移动机构4和六关节机械手5，带动检验视觉传感装置6运动至标准舱段11正上方并对准舱段；视觉识别、计算显示标准舱段11相对于自动化检验设备的实际三维空间距离；调整标准舱段11位姿直至相对空间距离满足检验工艺条件要求，并设定此时的设备位置、舱段相对设备的三维空间距离为检验设备初始位置数据和待检产品初始位置数据，分别推送给管理端检验工艺模型中校准数据的“设备校准数据”和“产品校准数据”；进入S3，进一步获取检验工艺模型中检验位置数据。

S3，进行运动轨迹数据示教：首先，针对工艺检验条件所要求的各个检验点，如图5所示驱动直线移动机构4和六关节机械手5至符合工艺条件的检验位置，开启检测视觉传感装置6，六关节机械手5末端的姿态保证检测视觉传感装置6能够采集全部检验要素，记录此时直线移动机构4和六关节机械手的坐标值，形成该工步对应的检验位置，并推送给管理端工艺模型的中该工步检验点的检验位置；重复步骤S3操作，完成所有检验点的运动轨迹示教；进入S4，进一步获取检验工艺模型中标准图像模板的数据。

S4，进行标准检验模板制作：标准图像模板指合格产品的标准状态模板，用来与待检产品的装配状态进行一致性对比分析，是质量检验的标准图像模板；使用与待检产品相同的合格产品对工艺模型中要求的某一工步进行标准质量的装配示范，进行多发产品、多角度装配质量合格的图像采集，运用图像标注工具与图像训练工具对图像上的检验对象进行标注及训练，将训练结果推送给与管理端的检验工艺模型的标准图像模板；S2、S3、S4可调换顺序，但必须全部完成后才能进入S5。

S5，检验准备：启动检验设备，输入待检产品的代号信息，系统自动调取检验工艺模型中的匹配数据，完成数据准备；推送待检导弹舱段12至检验工位，调用检验工艺模型中校准数据，如图4所示驱动直线移动机构4和六关节机械手5达初始检验位置，在触屏面板9上实时显示单目工业相机6.2采集到的待检验舱段的图像，双目深度工业相机6.1识别计算当前位置与检验工艺模型中产品校准数据的坐标偏差，给出标准位置虚拟图框及调整参数，调整待检验舱段到虚拟图框内，完成实物检验准备进入S6。

S6，检验执行：检验执行：选择待检的工步，得到开始检测的人机交互命令后，读取检验工艺模型中的检验位置数据，如图5所示驱动运动装置到达检验位置，自动开启检测视觉传感装置6的环形光源6.3和单目工业相机6.2进行图像采集，调用装配质量图像检验工具将图像与标准图像模板的特征数据进行一致性对比分析,得到分析结果进入S7；

S7,检验结果：检验模块给出检验结果，包括检验结论和检验图像；检验结果推送给管理端检验结果；所述的检验图像包括采集图像和判定图像两种；采集图像为单目工业相机6.2采集的原始图像，判定图像上对检验通过的对象标注绿框，未通过标注红框；直至S6完成所有检验工步；

S8，检验结束；推送舱段流转至下一个总装工位。

所述S1在管理端完成，S2—S8在现场执行端完成。

所述步骤S2中视觉识别、计算显示标准舱段11相对于自动化检验设备的实际三维空间距离，包括：设定自动化检测设备的装配台面1一角点为世界坐标系原点O，采用检测视觉传感装置6的深度双目工业相机6.1识别舱段基准孔圆心，基于立体视觉定位和机器人运动学进行推导转换，计算出舱段前端面相对于自动化检测设备的三维空间距离，并将基准圆形孔的标准位置在屏幕上用图框显示，进行图形化引导。

所述步骤S4的图像标注对舱内小于1cm的小零部件，增加“微小”属性标注维度，对于“微小”属性的检测点进一步细化卷积划分。

所述步骤S6装配质量图像检验工具，使用YOLO 4算法封装而成。对于线缆路径检测，首先采用YOLO 4算法识别到导弹筒体截面与线缆后，进一步通过线缆颜色特征、阀值等算法过滤掉画幅内背景其他的特征信息，得到线缆的外观轮廓，在此基础上对外观轮廓进行细化，去除多余特征，通过骨架提取算法找到线缆的骨架线，推送到特征识别算子中对区域中线缆的长度、位置、对图像进行特征结果检测判断。

与工艺模型中产品代号相同的产品均可直接使用S5—S8即可完成检验。若检验工艺发生更改，则需要按照S1——S4修改工艺模型，现场执行端可自动同步数据。

本发明在本领域的变形和改进都应包含在本发明权利要求的保护范围内。

Claims (16)

1.一种导弹舱段零部件装配质量自动化检验设备，包括软件单元和硬件单元，其特征在于：软件单元通过指令交互，控制硬件单元完成自动化检验过程；其中，

硬件单元包括底座平台、运动装置、视觉传感系统和控制系统；

底座平台作为整个设备的基础平台为设备其他部分提供支撑、部件存放以及设备整体移动功能；运动装置为设备的运行执行机构，设备工作中所有的机械动作通过运动装置执行；视觉传感系统用于采集舱段检验位置的图像信息以及操作人员的交互手势图像；控制系统采用工业以太网总线控制，用于运动装置、视觉传感系统的信号采集和控制信号的输出；

软件单元包括管理端和现场执行端；

所述管理端采用B/S架构，面向工艺和质量管理人员进行数据的维护、查询和权限管理；现场执端采用C/S架构，用于执行现场检验业务；管理端和现场执行端通过底层数据库实现指令交互。

2.根据权利要求1所述的一种导弹舱段零部件装配质量自动化检验设备，其特征在于：所述底座平台包括装配台面(1)、平台柜(2)、万向刹车工业脚轮(3)；平台柜(2)底部通过连接件安装四个万向刹车工业脚轮(3)；平台柜(2)上表面通过螺栓安装装配台面(1)。

3.根据权利要求2所述的一种导弹舱段零部件装配质量自动化检验设备，其特征在于：所述运动装置包括直线移动机构(4)和六关节机械手(5)；直线移动机构(4)固定安装于装配台面(1)上；六关节机械手(5)通过法兰与直线移动机构(4)上的连接滑块连接，使六关节机械手(5)能够跟随直线移动机构(4)整体移动。

4.根据权利要求3所述的一种导弹舱段零部件装配质量自动化检验设备，其特征在于：所述视觉传感系统包括检测视觉传感装置(6)和USB电脑摄像头(13)；其中检测视觉传感装置(6)用于采集舱段检验位置的图像信息，包括深度双目工业相机(6.1)、单目工业相机(6.2)、环形光源(6.3)、支架(6.4)；深度双目工业相机(6.1)、单目工业相机(6.2)、环形光源(6.2)组合后固定安装在支架(6.4)上；支架(6.4)与六关节机械手(5)的末端法兰装配固定；USB电脑摄像头(13)用于采集操作人员的交互手势图像，其自带支架底板粘接于控制系统上。

5.根据权利要求3所述的一种导弹舱段零部件装配质量自动化检验设备，其特征在于：所述控制系统包括运动控制器(7)、工控计算机(8)、触屏面板(9)；触屏面板(9)与工控计算机(8)采用有线连接通讯；触屏面板(9)用于显示软件系统界面以及获取触摸交互输入指令；工控计算机(8)、运动控制器(7)安装固定在平台柜(2)内；触屏面板(9)在未使用状态下挂靠于底座平台侧面，使用时使用自身支架放置在工作桌面上。

6.根据权利要求1所述的一种导弹舱段零部件装配质量自动化检验设备，其特征在于：所述管理端包括检验工艺模型管理模块、检验结果管理模块、权限管理模块和字典管理模块；

所述检验工艺模型管理用于对建立的检验工艺模型进行管理，是现场执行端的数据来源；

所述检验结果管理模块用于对检验结果进行管理，所述检验结果包括检验结论和检验图像；

所述权限管理模块用于对管理端和现场执行端登录的用户的权限进行管理，不同权限对应不同的模块使用权限；

所述字典管理模块用于定义产品代号所包括的各要素的标准名称，规范数据的输入。

7.根据权利要求6所述的一种导弹舱段零部件装配质量自动化检验设备，其特征在于：所述检验工艺模型由产品代号、校准数据、检验工艺三部分组成，通过结构化表格进行关联；所述产品代号指确定待检验产品状态的信息，包括产品型号、图号、批次、阶段；所述校准数据为检验设备和待检产品的初始位置数据；所述检验工艺为检验工艺流程和检验工艺标准，包括工序编号、工序名称、工步名称、零部件类型、工艺文字要求、标准图像模板、检验位置。

8.根据权利要求6所述的一种导弹舱段零部件装配质量自动化检验设备，其特征在于：所述的现场执行端包括登录模块、位置标定模块、标准图像模板制定模块、检验模块；

所述的登录模块用于现场执行端的登录管理，在登录模块中输入登录用户信息和待检舱段的产品代号信息；登录用户信息用于核对用户权限，产品代号信息用于调取管理端相应的检验工艺模型和检验结果；

所述位置标定模块用于获取检验设备与待检产品的位置数据，包括校准数据、检验位置数据；并推送给管理端的检验工艺模型；

所述的标准图像模板制定模块对导入的大量装配质量合格图像使用图像标注工具对图像上的检测要素进行标注；所有图像标注完成后，使用图像训练工具进行装配质量特征训练，训练得到其合格识别特征，形成标准图像模板；

所述的检验模块根据登录模块输入的产品代号信息获取管理端的检验工艺模型数据，驱动运动装置运动到获取的检验位置，控制检测视觉传感装置(6)采集图片，并调用装配质量图像检验工具进行检验并给出检验结果，检验结果同时赋值给管理端的检验结果；装配质量图像检验工具使用YOLO 4算法封装而成。

9.根据权利要求8所述的一种导弹舱段零部件装配质量自动化检验设备，其特征在于：所述位置数据的获取方法为：驱动并调试运动装置和检验视觉传感装置(6)至标准检验准备位置，获取运动装置位置坐标和产品位置坐标，形成校准数据并推送给管理端检验工艺模型的校准数据；驱动并调试运动装置和检验视觉传感装置(6)至符合工艺条件的检验位置，获取运动装置的坐标位置，并推送给管理端检验工艺模型中检验工艺中该工步对应的检验位置数据。

10.根据权利要求8所述的一种导弹舱段零部件装配质量自动化检验设备，其特征在于：现场执行端的检验模块，每次启动根据检验工艺模型的检验工艺更新展开检验任务列表，在列表中显示任务的完成状态，检验结论，检验时间，并对选中的列表条目的检验图像结果显示在界面上。

11.根据权利要求8所述的一种导弹舱段零部件装配质量自动化检验设备，其特征在于：现场执行端的动态工艺数据均来自于管理端的检验工艺模型，在执行型号任务时，仅需新建管理端的检验工艺模型并进行数据完善。

12.一种利用上述自动化检验设备进行导弹舱段零部件装配质量自动化检验的方法，其特征在于，包括：

S1，建立检验工艺模型：首次使用或者检验工艺发生变更的情况下，在管理端进行检验工艺模型编辑；

检验工艺模型由产品代号、校准数据、检验工艺三部分组成，通过结构化表格进行关联；其中产品代号包括产品型号、图号、批次、阶段；校准数据包括设备校准数据和产品校准数据；检验工艺包括工序编号、工序名称、工步名称、零部件类型、工艺文字要求、标准图像模板、检验位置；在管理端完成S1的检验工艺建模后，通过现场执行端进入S2、S3、S4获取数据完善模型。

S2，进行初始检验位置示教：选取质量合格的标准舱段(11)至于装配平台(10)上，启动自动化检验设备，驱动直线移动机构(4)和六关节机械手(5)，带动检验视觉传感装置(6)运动至标准舱段(11)正上方并对准舱段；视觉识别、计算显示标准舱段(11)相对于自动化检验设备的实际三维空间距离；调整标准舱段(11)位姿直至相对空间距离满足检验工艺条件要求，并设定此时的设备位置、舱段相对设备的三维空间距离为检验设备初始位置数据和待检产品初始位置数据，分别推送给管理端检验工艺模型中的校准数据；进入S3，进一步获取检验工艺模型中检验位置数据；

S3，进行运动轨迹数据示教：首先，针对工艺检验条件所要求的各个检验点，驱动直线移动机构(4)和六关节机械手(5)至符合工艺条件的检验位置，开启检测视觉传感装置(6)，六关节机械手(5)末端的姿态保证检测视觉传感装置(6)能够采集全部检验要素，记录此时直线移动机构(4)和六关节机械手的坐标值，形成该工步对应的检验位置，并推送给管理端工艺模型的中该工步检验点的检验位置；重复S3操作，完成所有检验点的运动轨迹示教；进入S4，进一步获取检验工艺模型中标准图像模板的数据；

S4，进行标准检验模板制作：标准图像模板指合格产品的标准状态模板，用来与待检产品的装配状态进行一致性对比分析，是质量检验的标准图像模板；使用与待检产品相同的合格产品对工艺模型中要求的某一工步进行标准质量的装配示范，进行多发产品、多角度装配质量合格的图像采集，运用图像标注工具与图像训练工具对图像上的检验对象进行标注及训练，将训练结果推送给与管理端的检验工艺模型的标准图像模板；

S5，检验准备：启动检验设备，输入待检产品的代号信息，系统自动调取检验工艺模型中的匹配数据，完成数据准备；推送待检导弹舱段(12)至检验工位，调用检验工艺模型中校准数据并驱动直线移动机构(4)和六关节机械手(5)达初始检验位置，在触屏面板(9)上实时显示单目工业相机(6.2)采集到的待检验舱段的图像，双目深度工业相机(6.1)识别计算当前位置与检验工艺模型中产品校准数据的坐标偏差，给出标准位置虚拟图框及调整参数，调整待检验舱段到虚拟图框内，完成实物检验准备后进入S6；

S6，检验执行：选择待检的工步，得到开始检测的人机交互命令后，读取检验工艺模型中的检验位置数据，驱动运动装置到达检验位置，自动开启检测视觉传感装置(6)的环形光源(6.3)和单目工业相机(6.2)进行图像采集，调用装配质量图像检验工具将图像与标准图像模板的特征数据进行一致性对比，得到一致性对比结果后进入S7；

S7,检验结果：所述一致性对比结果，包括检验结论和检验图像；检验结果推送给管理端检验结果；所述的检验图像包括采集图像和判定图像两种；采集图像为单目工业相机(6.2)采集的原始图像，判定图像上对检验通过的对象标注绿框，未通过标注红框；重复S6直至完成所有检验工步后，进入S8；

S8，检验结束；推送舱段流转至下一个总装位。

13.如权利要求12所述的自动化检验的方法，其特征在于：所述S2中视觉识别、计算显示标准舱段(11)相对于自动化检验设备的实际三维空间距离，包括：设定自动化检测设备的装配台面(1)一角点为世界坐标系原点O，采用检测视觉传感装置(6)的深度双目工业相机(6.1)识别舱段基准孔圆心，基于立体视觉定位和机器人运动学进行推导转换，计算出舱段前端面相对于自动化检测设备的三维空间距离，并将基准圆形孔的标准位置在屏幕上用图框显示，进行图形化引导。

14.如权利要求12所述的自动化检验的方法，其特征在于，所述S4的图像标注对舱内小于1cm的零部件，增加“微小”属性标注维度，对于“微小”属性的检测图像进一步细化卷积划分。

15.如权利要求12所述的自动化检验的方法，其特征在于，所述S6中装配质量图像检验工具，使用YOLO 4算法封装而成；对于线缆路径检测，首先采用YOLO 4算法识别到导弹筒体截面与线缆后，进一步通过线缆颜色特征、阀值算法过滤掉画幅内背景其他的特征信息，得到线缆的外观轮廓，在此基础上对外观轮廓进行细化，去除多余特征，通过骨架提取算法找到线缆的骨架线，推送到特征识别算子中对区域中线缆的长度、位置、对图像进行特征结果检测判断。

16.如权利要求12-15任一所述的自动化检验的方法，其特征在于，所述S2、S3、S4可调换顺序，但必须全部完成后才能进入S5；所述S1在管理端完成，S2—S8在现场执行端完成。

Images