CN115661726A

CN115661726A - 一种轨道列车工件装配的自主视频采集与分析方法

Info

Publication number: CN115661726A
Application number: CN202211671400.6A
Authority: CN
Inventors: 景宁; 李峰; 李岩; 刘哲
Original assignee: Jiangsu CRRC Digital Technology Co Ltd
Current assignee: Jiangsu CRRC Digital Technology Co Ltd
Priority date: 2022-12-26
Filing date: 2022-12-26
Publication date: 2023-01-31
Anticipated expiration: 2042-12-26
Also published as: CN115661726B

Abstract

本发明公开了一种轨道列车工件装配的自主视频采集与分析方法，包括：实时采集轨道列车工件装配操作台周围区域的视频图像数据；提取每个单帧图像的存储工件装配背景、装配工件、工具、手势静态二维目标，根据提取特征初步确定视频帧属于何种工序，将已初步确定类别的视频数据传输至相对应的信息通道进行工序分析处理；利用特征提取网络对动态视频序列进行特征提取，识别视频中使用的工具，获取同时刻的机器人角度站位信息，融合工具信息与机器人站位信息，确定工序所属的环节；根据已确定的工序环节，调用对应的程序模块，对视频序列工序操作正误进行判别。本发明能够有效提高工序分类的准确率，为后续的工序操作判断提供了可靠保障。

Description

一种轨道列车工件装配的自主视频采集与分析方法

技术领域

本发明属于图像与视频处理、模式识别、机器视觉、机器人运动控制、无线网络等技术领域，具体涉及一种轨道列车工件装配的自主视频采集与分析方法。

背景技术

在工业4.0背景下，智能视频分析技术在生产制造领域应用日渐增多。轨道列车企业，工件种类繁多、装配要求高，需要实时处理的现场视频和图像数据信息不仅数量多，而且数据类型和处理要求也复杂多变。比如组装较长车体框架需要较大的场地，有的车底部配件需要在地下车道内进行装配等。传统的视频处理平台模式难以应用于各个不同的生产流程检测中。针对具体生产环节去做独立的数据分析不仅效率低下而且容易有缺漏，因此需要一种可以便携迁移应用的移动式智能制造场景。

工业生产与机器视觉等技术的融合日渐紧密，但工业界在基于视觉的质量检测依然有诸多困难，传统单一的图形处理模式缺乏灵活性、使用效率低、开发成本高，难以满足当前复杂多变的需求。目前已有一些相关的专利，例如申请号为CN202110456827.3的专利提供了基于人工智能的磁性材料制备工序识别及监控系统，对磁性材料制备工序识别及监控的数据，并根据稀土磁性材料制备工序识别及监控AI模型进行实际的磁性材料制备工序识别及监控推断，实现工序的实时检测、违章作业的实时监控。申请号为CN202210637705.9的专利提供了应用于制造动车组转向架的智能工厂及数据管理系统，能够完成对转向架产品的检测，同时调整智能工厂的加工生产进度和物料储存进度，可以信息溯源。申请号为CN202211038131.X的专利提供了基于人工智能的发酵罐加工工序检测方法及系统，该方法通过带有可见光光源的光学图像采集设备获得目标缺陷图像及其多个视角下的视角图像。但是目前面向轨道列车工件装配的相关专利还很少，并且多数侧重于对工艺技术的改善，对基于视频分析的轨道列车生产制造过程相关检测研究较少。

当前大部分工厂的视频图像处理系统，仍采取类型单一、场景固定的传统工作模式，难以在同一个系统里实现多类型的图像、视频数据处理，无法灵活应对作业时生产地点移动等问题。轨道车辆的生产中，其工件装配过程及质量检测，存在需检测类型繁多、既有图像及视频分析的需求，同时面临作业地点变动、生产加工范围广及生产台增添等诸多问题。构建一种面向工业生产过程、适应灵活作业、能实时处理多种图像、视频数据信息的生产交互与视频分析的移动式智能制造场景是非常有必要的。

发明内容

解决的技术问题：本发明针对轨道交通行业、需转配工件复杂多变的特点，面向轨道交通行业的工件生产制造、装配、巡检、维修、操作培训等过程工序视觉检测需求，构建移动智能场景平台，提出了一种轨道列车工件装配的自主视频采集与分析方法。

技术方案：

一种轨道列车工件装配的自主视频采集与分析方法，所述自主视频采集与分析方法包括以下步骤：

S1，采用配有摄像头的可移动机器人和安装在工位上的固定摄像头遍历轨道列车工件装配操作台周围区域并进行视频分析，自主定位出摄像头的最佳视频采集的位置以及机器人站立采集视频的位置，实时采集轨道列车工件装配操作台周围区域的视频图像数据；

S2，根据采样频率T选取视频帧，将视频帧与已存储的标准工序分类视频进行比对；提取每个单帧图像的存储工件装配背景、装配工件、工具、手势静态二维目标，根据提取特征初步确定视频帧属于何种工序，将已初步确定类别的视频数据传输至相对应的信息通道进行工序分析处理；工序预分类的划分标准由工厂根据工序环节数量与规模自主设定；

S3，利用特征提取网络对动态视频序列进行特征提取，识别视频中使用的工具，获取同时刻的机器人角度站位信息，融合工具信息与机器人站位信息，确定工序所属的环节；

S4，根据已确定的工序环节，调用对应的程序模块，对视频序列工序操作正误进行判别。

进一步地，步骤S1中，所述可移动机器人包括双轮行走机构、单目摄像头视觉机构、六自由度单机械臂作业机构、PLC控制模块和运动轨迹保护模块；

所述双轮行走机构包括底盘和安装在底盘下的万向轮，通过驱动万向轮转动来控制机器人移动；

所述单目摄像头视觉机构通过遍历操作台周围区域并进行视频分析，自主定位出摄像头的最佳视频采集的位置以及机器人站立采集视频的位置；

所述六自由度单机械臂作业机构包括电机、伸缩杆和机械手臂，所述摄像头安装在机械手臂上，所述伸缩杆分布安装在机械手臂上，构成机械手臂的关节；所述电机的输出轴与伸缩杆连接，根据PLC控制模块发送的控制指令带动伸缩杆运动，调整机械手臂的关节角度，驱动机械手臂升降、伸缩、旋转以调节摄像头的高度，使摄像头适应多种高度的操作台并且定位至最佳拍摄高度和最佳拍摄角度；

所述PLC控制模块采用单机控制模式；

所述运动轨迹保护模块包括安装在底盘两端的碰撞传感器，碰撞传感器用于识别移动过程中的障碍物。

进一步地，所述PLC控制模块包括手势识别单元，用于识别指定区域的手势动作，解析得到相应的控制指令。

进一步地，步骤S1中，自主定位出摄像头的最佳视频采集的位置以及机器人站立采集视频的位置的过程包括以下步骤：

S11，通过对操作人员脸部特征的提取，选取摄像视觉范围内目标特征占比最大的画面角度；具体地，通过后端数据处理中心提取摄像画面中肤色特征Target1、人脸特征 Target2、手部特征Target3与工具特征信息Target4，计算出目标特征所占面积

，根据目标特征的重要性和该目标特征一般面积占比设置目标特征等级参数

，

，根据站位选取函数选取Y-Z平面内的最佳站位

：

其中，

为机器人处于最佳站位时，空间坐标系下Y-Z维度的夹角，

为第i个目标特征所占面积，

，

为人体总面积，

为目标特征等级参数，根据重要程度个性化设置；

S12，通过对操作人员手部区域的提取，判断摄像头最佳仰俯角度；具体地，对手部区域进行定位，在X-Y的平面内计算手部区域边缘与横纵轴的夹角

和

，对整个手掌进行测距得到区域边缘长度

和

，由俯仰角选取函数得到最佳俯仰角

：

其中，

和

为画面中手掌最大的垂直距离与水平距离,

为预设标准角度值；

、

为手掌最大占比时与垂直方向、水平方向的边缘夹角；

S13，根据侧倾角选取公式得到最佳侧倾角

，调整摄像头在X-Z平面内的位置：

其中，H为手掌高度，R为手掌覆盖半径，A为垂直半角参数。

进一步地，步骤S2中，依次应用工件装配背景、装配工件、工具、手势信息进行工序初步判断，识别工序所属种类，逻辑关系为：

S21，识别并判断工件装配背景，计算目标标准工序分类视频帧与采样视频帧的相似度，若相似度大于设定阈值

则转入步骤S25；小于设定阈值

，则转入步骤S22；

S22，综合判断工件装配背景和装配工件特征，计算目标标准工序分类视频帧与采样视频帧的综合相似度，若综合相似度大于设定阈值

，则转入步骤S25，小于设定阈值

则转入步骤S23；

S23，综合判断工件装配背景、装配工件和工具，计算目标标准工序分类视频帧与采样视频帧的综合相似度，若综合相似度大于设定阈值

，则转入步骤S25，小于设定阈值

则转入步骤S24；

S24，综合判断工件装配背景、装配工件、工具和手势信息，计算目标标准工序分类视频帧与采样视频帧的综合相似度，若综合相似度大于设定阈值

，则转入步骤S25，小于设定阈值

则判定采样视频帧的工序与目标标准工序分类视频帧的工序类型不一致，结束流程；

S25，判定采样视频帧的工序与目标标准工序分类视频帧的工序类型一致，结束识别流程。

进一步地，步骤S3中，利用特征提取网络对动态视频序列进行特征提取，识别视频中使用的工具，获取同时刻的机器人角度站位信息，融合工具信息与机器人站位信息，确定工序所属的环节的过程包括以下步骤：

S31，利用特征提取网络对动态视频序列进行特征提取，识别视频中使用的工具，获取工具信息

；其中

，

，TOOL为工具集，每一种工具

在工具集中有对应的编号，下标j为工具编号，

和

分别为首尾视频帧频率，time为视频段的实际工作时刻，数值类型为24小时制的时间点；

S32，获取同时刻的机器人角度站位信息

；其中

为time时刻移动机器人摄像头的空间角度，

为X-Y方向夹角，

为X-Z方向夹角，

为Y-Z方向夹角，

为time时刻机器人的空间站位坐标；

S33，融合工具信息与机器人站位信息，确定工序所属的环节：

其中

为判断转为信息的特征判断函数，

为工序环节数据集，下标

为工序环节对应的编号，

为机器人站位信息，下标为站位信息对应的工序段编号。

进一步地，所述特征提取网络基于YOLOX网络模型构建得到；所述特征提取网络利用YOLOX网络的主干提取网络获得有效特征层，加强特征提取，再对输入进来的特征层利用卷积标准化加激活函数进行特征整合；所述特征提取网络的训练过程包括：

收集轨道列车装配工序的视频样本，构建样本数据集，按照工件种类对视频样本进行分割，分割时同一工具种类的工序过程再根据工具的细类分割成段；

对数据集进行标注，编写脚本将标注好的数据集分为训练集和验证集，在终端中训练YOLOX网络模型，直至特征提取网络的提取精度达到预设精度阈值。

进一步地，步骤S4中，根据已确定的工序环节，调用对应的程序模块，对视频序列工序操作正误进行判别的过程包括：

判断视频段的工序环节，将完整的工序视频按工序环节进行分割；

将分割后的多段视频，分别通过Swin Transformer网络（移动窗口自注意力网络）识别手部动作，分析其工序的正确性。

有益效果：

第一，本发明的轨道列车工件装配的自主视频采集与分析方法，结合可移动机器人的数据采集方式，更具有通用性和灵活性，能够更好地应用于轨道列车工件装配的生产场景中，有效弥补了固定摄像头的视觉死角，解决了移动配件时固定摄像头无法准确追踪的问题，并且方便提供多个视角的数据信息。当出现额外任务搭建临时生产台、多条生产线共同作业，以及较大工件装配无法安置固定摄像头等情形时，可由移动机器人来进行生产过程的数据采集，通过机械手臂灵活调整拍摄的角度位置，实现视角多元化的移动式视频自主采集。通过对原始数据先提取静态特征粗略判别工序类型，再对已预分类的工序视频进行二次识别，从而准确判别工序具体所属环节，能够更加精准地对工人操作进行检测判断，有效节省针对不同数据信息升级改造系统的时间与资金耗费，提高生产与检测的效率。

第二，本发明的轨道列车工件装配的自主视频采集与分析方法，针对普通的用户群体设计，操作简易且不需要额外的软件授权，也无需专业人员指导安装操作，从原材料的编号、生产过程的监控、产品质量的追踪、设备的运行状况、车间的生产效率等多种复杂繁琐的数据都可以在同一个系统中得到分析处理，并且可以方便移植到不同的需求和应用场景，做到跨平台跨领域多场景应用，使网络模型的通用性得以大幅度提升。

第三，本发明的轨道列车工件装配的自主视频采集与分析方法，对工序环节的判断分类依据由工具信息与移动机器人站位信息共同组成，有效避免了不同工序环节中使用相同工具时的分类失误，在实际的列车装配工序中，存在反复使用的工具，单纯依赖工具种类难以对工序进行准确地划分，本发明融合移动机器人的站位信息对工序环节进行分类，能够有效提高工序分类的准确率，为后续的工序操作判断提供了可靠保障，确保对已分类的视频段调用正确的操作准确性判断程序模块。

附图说明

图1为本发明实施例的移动视频交互与处理终端的硬件架构图；

图2为本发明实施例的可移动机器人外观结构图；

图3为本发明实施例的机械臂的结构示意图；

图4为本发明实施例的移动机器人视频处理工作流程图；

图5为本发明实施例的移动机器人摄像头角度调整的三维坐标示意图；

图6为本发明实施例的移动机器人的摄像头视觉坐标示意图；

图7为本发明实施例的手势特征判别俯仰角度的坐标示意图；

图8为本发明实施例的手势指令预设手势动作示意图；

图9为本发明实施例的两阶段数据信息处理方法整体流程图；

图10为本发明实施例的融合信息工序分类方法流程图。

具体实施方式

下面的实施例可使本专业技术人员更全面地理解本发明，但不以任何方式限制本发明。

本发明实施例公开了一种轨道列车工件装配的自主视频采集与分析方法，所述自主视频采集与分析方法包括以下步骤：

轨道列车的装配一般包括车体框架焊接、车内设施装配、转向架装配和车底架设备装配四个部分，本申请中的实施例以车底转向架装配的一般工序为例。在车底转向架装配时，需要用举升机将车架升高，操作人员需要站立在车架下方进行装配作业，这种情况下工厂内的固定摄像头难以拍摄到工作的精准画面，容易有遮挡，而且拍摄距离远、画质不清晰。

为此，本实施例提供了一种移动视频交互与处理终端，移动视频交互与处理终端的硬件架构如图1所示，该架构包括前端数据采集层、数据传输层和后端数据处理层。

第一层为前端数据采集层，由工厂内设置的固定摄像头与可移动机器人携带的摄像头构成。车底架装配流水线的工位上一般有安装固定摄像头，可以拍摄到工人在工位上近距离的手部动作。当工人进行变速器装配、发动机装配等零件铆合的作业任务时，各工位正前方的固定摄像头能够完整地拍摄工人装配的全过程。但是实际生产中会存在一些不便使用固定摄像头的情形，例如在进行车身加工时，工人们的作业范围很广，固定摄像头很难拍摄到完整的作业场景，又或者在进行内饰装配时，为便于工人操作，输送链的前段轨顶高较低，一般在500mm左右，此时工人需站立在车身下方进行装配。

利用移动机器人来弥补固定摄像头拍摄的缺漏，通过机械手臂的升降、伸缩、旋转可以调节摄像头的高度，并由机械手臂将摄像头伸至最佳拍摄位置进行数据采集，一些人手无法触及的拍摄位置都可以由机械手臂代替。

为保证能够清晰地拍摄到完整的工人操作画面，机器人在选择拍摄角度时首先对画面中操作人员的脸部轮廓进行提取，一般选取人脸占比最大的画面拍摄高度，同时对操作人员的手部区域提取，判断摄像头最佳仰俯角度，确保完整采集工人的手部操作画面。

更具体地，结合图2所示，可移动机器人主要外观结构分为滚轮8、基座7、立柱6、臂平衡杠5、臂电动机4、辅助摄像头3、机械臂1和主摄像头2。其中机械臂1为两节六自由度，结构图如图3所示，底部旋轴控制整体机械臂的旋转，上臂和下臂通过转轴连接，通过轴的旋转方向来控制机械臂1的弯曲和伸展。本实施例的技术方案对可移动机器人的具体结构没有限制，只要能够实现移动和图像拍摄即可。图2只是其中的一种可移动机器人的结构例子，通过滚轮8实现自由移动，结合机械臂1实现主摄像头2的六轴方向调整，再采用主摄像头2拍摄目标区域图像。

在移动机器人工作的时候，机身两端的辅助摄像头3拍摄周围的工作环境，由神经网络算法识别出障碍物并给出移动方向，从而得出最佳移动路径，在进行对工人作业的拍摄过程中，主摄像头由机械臂1带动移动至工人的正面进行拍摄，当出现画质模糊、工件信息损失等情况时，辅助摄像头从其他视角进行拍摄，作为数据补充，工作流程如图4所示。

移动机器人在进行自主定位时，首先选取摄像视觉范围内目标特征占比最大的站立位置，如图5所示，通过后端数据处理中心提取摄像画面中肤色特征Target1、人脸特征 Target2、手部特征Target3与工具特征信息Target4，计算出目标特征所占面积

，

，

，根据站位选取函数选取Y-Z平面内的最佳站位：

，

为总面积，本实施例中为224×224；

确定站位之后，再根据画面中工人的手部区域占比，如图6所示，首先对手部区域进行定位，定位之后在X-Y的平面内计算手部区域边缘与横纵轴的夹角

和

，然后对整个手掌进行测距得到区域边缘长度

和

，最后由俯仰角选取函数得到最佳俯仰角：

其中

为预设标准角度，本实施例中为

，工厂可以根据实际工序所需调整初始值。

确定俯仰角之后，再根据侧倾角选取公式调整摄像头在X-Z平面内的位置

其中H为手掌高度，R为手掌覆盖半径，A为垂直半角参数,本实施例中A为45

。

由角度和站位确定空间坐标后由机械臂带动摄像头调整拍摄角度，摄像头的空间调整方向如图7所示，可以侧倾、横摆、俯仰；

为弥补视觉系统判别站位的失误，将人脑判别与机器判别相结合，现场的工作人员可以通过实际人眼视线自主判断机器人的最佳站位，如图8所示，通过预设的移动方向指令手势，例如左移、后退、反向等等，人工引导机器人移动至最佳站位；

更具体地，由工作人员对着移动机器人正前方的摄像头作出指令手势，移动机器人在捕捉到手势信息后将动态手势动作视频上传至后端数据处理中心，数据中心将手势指令动作转换为数字指令反馈给移动机器人的PLC控制模块,机器人根据数字指令移动站位；

在实际应用时，可结合硬件设备的需求、预期资金耗费等多方面综合考虑，选用其他图像视频采集设备，比如AR智能眼镜、深度相机等。

第二层为数据传输层，即将工业现场的操作视频发送到后端数据处理中心的数据通道，作为中间层，数据传输层由主节点、路由节点、终端节点构成，覆盖整个工厂作业区域。

目前视频图像传输多数采用无线直传的模式，包括WiFi广域传输、蓝牙近距离传输、ZigBee网络、RFID数据传输等等。本实施例中考虑到列车厂的视频数据量庞大、工厂面积大等一系列现实因素，选用WiFi无线数据传输技术，工作频段为2.4Ghz或者5Ghz，这些频段为各国通用的工业免费使用频段。在实际应用时，各工厂可以根据自身的现实需求选择合适的数据传输方式，随着5G网络的建设和普及，数据传输层还可以根据作业要求需要，持续升级改造以适应复杂多变的工业生产环境。

第三层为后端数据处理层，包括功能模块库、计算机可读存储介质和中央处理器。将现场图像与视频数据预分类后，从各自所属的类别信息通道传输至后端数据处理中心。

本实施例的移动视频交互与处理终端可以有效解决当前轨道列车装配中固定摄像头的拍摄死角问题，无需大量人工进行手机拍摄，在监控过程中引入可移动机器人，相对于现有的监控系统，定位与拍摄效果较佳。

针对轨道列车工件装配时工序种类繁多、加工环节复杂以及工具使用重复率高的问题，本实施例提供了一种两阶段式视频数据处理方法，如图9所示，该方法包括：

根据设定的采样频率选取视频帧，从视频中选取单帧图像，提取工件装配背景（B）、装配工件（W）、工具（T）、手势（S）等静态二维目标和动态视频序列的特征，初步确定该视频段所属何种工序，预分类出待测工序的类型，分类存储于不同的数据缓存区，然后将已初步确定类别的视频数据传输至相对应的信息通道进行工序分析处理。

在一些例子中，提取单帧图像，初步确定视频所属的工序类别的过程包括以下步骤：

提取存储工件装配背景（B）、装配工件（W）、工具（T）、手势（S）等静态二维目标和动态视频序列的特征；根据设定采样频率选取视频帧，提取出目标信息，对其进行识别；根据目标信息初步判断为何种类工序，预分类出待测工序的类型；

更具体地，设定采样频率为T，选取视频帧

，并将视频帧与已存储的标准视频进行比对；对单帧图像提取特征，初步鉴别需要处理的数据为何种工序，分类存储于不同的数据缓存区；其中工序预分类的划分标准由工厂根据工序环节数量与规模自主设定；根据实际数据信息种类与信息判断需求添加信息预处理模块。

判别时将依次应用工件装配背景（B）、装配工件（W）、工具（T）、手势（S）信息进行工序初步判断，识别工序所属种类,逻辑关系为：

Step1：识别“B”,计算分类结果与目标相似度，若相似度大于设定阈值

则结束；小于阈值

，则到下一步；Step2：判断“B&W”,若分类结果与目标综合相似度大于阈值

,则结束，小于则继续增加工具T的信息，综合“B&W&T进行判断；以此类推，直至判别出最终目标类型。

优选的，将已初步确定类别的视频数据传输至相对应的信息通道进行工序分析处理，包括：对已预分类的工序视频段，进行逐帧特征提取，包括手势特征与使用工具实体，对工序进行更细一步的判别，识别出工序所属的环节；根据已确定的工序环节，调用对应的程序模块，对视频序列工序操作正误的判别。

在列车底盘装配的应用实例中，使用工具种类一般包括扳手类、螺丝刀类、钳子类、手锤类以及一些工序的专用工具。因此在该实例的初步分类中以工具的宽泛种类作为划分不同工序的目标特征，把车间作业视频初步分类为多种类别的工序，再将已确定工序类别的视频数据传输至对应的信息通道，进行第二阶段的处理分析。由于已经对原始工作视频进行工序预分类，第二阶段的视频处理只需调用相应工序种类的程序模块进行更细节的视频分析判断即可，高效快捷，方便对功能模块的升级改造。

本实施例考虑到列车底盘装配时同工序使用的工具种类基本相同，所以选取工具种类为区分工序的标志，在其他应用场景中，可以根据工序的实际数据信息种类与信息判断需求添加信息预处理模块，比如工作指令手势、工件颜色等等，以便对工序进行精准预分类。

在工序环节识别方面，本实施例提供一种结合工具信息与机器人站位信息的工序识别方法，工作流程如图10所示，包括：

首先利用特征提取网络对动态视频序列进行特征提取，识别视频中使用的工具，获取工具信息：

其中

为工具库编号，

，例如梅花扳手的编号为

，钢丝钳的编号为

；

和

为视频段的首尾帧频率，time为以24时制度标准的视频段实际工作时刻。

其次获取同时刻的机器人角度站位信息：

其中

为time时刻移动机器人摄像头的空间角度，

为X-Y方向夹角，

为 X-Z方向夹角，

为Y-Z方向夹角，

为time时刻机器人的空间站位坐标。

最后融合工具信息与机器人站位信息，与标准库进行比对，确定工序所属的环节：

其中

为工序环节，

为工序环节编号。

考虑到模型的可部署性，本实施例选用YOLO-X网络作为目标检测与定位网络，可以在智慧工业场景中进行快速的部署、使用和移植。利用YOLOX网络的主干提取网络获得有效特征层，加强特征提取，提取出视频序列中所使用的工具，并将完整的工序视频以工序环节类型为区分点分割为多个子工序，然后再利用Swin Transformer 网络判断子工序操作的正确性。

更具体地，将预分类后的视频传输到YOLO-X网络中，检测到“工具”这个类，在网络中的动作序列接入Swin Transformer手势识别模型进行动作分类，识别判断工人的操作是否正确。

在利用网络模型进行特征提取时，必须先对网络进行训练，在本申请的实施例中，对网络模型进行训练的具体方法包括：

首先收集轨道列车装配工序的视频样本，构建样本数据集，按照工件种类对视频样本进行分割，分割时同一工具种类的工序过程还可以再根据工具的细类分割成段，然后对数据集进行标注。标注完毕后编写脚本将数据集分为训练集和验证集，然后在终端中训练网络模型，训练好模型后得到一个精度测量最优的网络模型。

需要说明的是，在本申请的其他实施例中，特征提取网络也可以选用其他适用的卷积神经网络模型。

通过本申请实施例中所提出的方法，能够在包含多种工序的轨道列车装配过程中，对各道工序进行高效精准判断，并且适用性强，能够便捷应用在大多数的工业生产中。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。