CN115082921B - 一种基于机器视觉的飞机交点镗孔角度头管理方法 - Google Patents

一种基于机器视觉的飞机交点镗孔角度头管理方法 Download PDF

Info

Publication number
CN115082921B
CN115082921B CN202210990236.9A CN202210990236A CN115082921B CN 115082921 B CN115082921 B CN 115082921B CN 202210990236 A CN202210990236 A CN 202210990236A CN 115082921 B CN115082921 B CN 115082921B
Authority
CN
China
Prior art keywords
angle head
network
machine tool
character recognition
crnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210990236.9A
Other languages
English (en)
Other versions
CN115082921A (zh
Inventor
田长乐
蓝玉龙
赵光海
谢颖
刘春�
范进步
宋金辉
康志文
杨冬
郑和银
王强军
张云
许亚鹏
喻龙
郝龙
余立强
薛广库
邓蜀鹏
方超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Aircraft Industrial Group Co Ltd
Original Assignee
Chengdu Aircraft Industrial Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Aircraft Industrial Group Co Ltd filed Critical Chengdu Aircraft Industrial Group Co Ltd
Priority to CN202210990236.9A priority Critical patent/CN115082921B/zh
Publication of CN115082921A publication Critical patent/CN115082921A/zh
Application granted granted Critical
Publication of CN115082921B publication Critical patent/CN115082921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/007—Arrangements for observing, indicating or measuring on machine tools for managing machine functions not concerning the tool
    • B23Q17/008—Life management for parts of the machine
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
    • B23Q17/09—Arrangements for observing, indicating or measuring on machine tools for indicating or measuring cutting pressure or for determining cutting-tool condition, e.g. cutting ability, load on tool
    • B23Q17/0995—Tool life management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Numerical Control (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及装配技术领域，公开了一种基于机器视觉的飞机交点镗孔角度头管理方法，包括以下步骤：采集角度头带有字符的图片构建样本库；构建目标检测网络和字符识别网络，对的图片进行训练和测试；对目标检测网络和字符识别网络进行训练，在机床附近布置摄像头，使用网线、路由器将机床摄像头和工控机连接在同一局域网络，采用OPC‑UA协议获取机床进给指令信号及主轴启停指令信号，并发送给监控模块；使用GigE协议连接摄像头，采集并传输图片给输入训练好的网络模型，进行角度头身份确认；使用监控模块对所述角度头进行追踪和预警，并将角度头相关数据存储至数据库。

Description

一种基于机器视觉的飞机交点镗孔角度头管理方法
技术领域
本发明涉及装配技术领域，具体地说，是一种基于机器视觉的飞机交点镗孔角度头管理方法，用于实时快速、有效地监控飞机交点镗孔角度头使用过程时间，为有效避免因角度头使用超出寿命要求造成孔超差提供数据支撑。
背景技术
作为连接飞机各个大部件的关键部位，飞机交点孔是飞机装配的关键瓶颈工序，交点孔的加工质量决定着整机的装配质量。角度头作为飞机交点孔加工的执行机构，其结构精密，所受力矩大，对其使用过程进行监控能有效避免因角度头使用超出寿命造成角度头内部传动机构变形、磨损和振动，从而引发交点孔加工超差重大问题。虽然数控系统能记录刀具的加工时间但不能识别角度头和记录角度头的加工及空转时间。传统研究中，大多数学者主要聚焦于采用RFID、二维码等手段对车间物料、在制品等进行追溯管理，然而这种方式很难适用于角度头管理，原因是角度头是高速旋转机构，在其上添加外附件如RFID、二维码等易损伤产品本身、脱落，引发震动，存在重大安全隐患和质量问题，为此需要一种不添加任何外附件及不伤害产品本身就能对其使用过程监控的方法和系统。机器视觉具有不伤害产品本身、不接触产品、通过拍摄图片就能提取有效信息的优势，因此，本发明提出一种基于机器视觉的飞机交点镗孔角度头管理方法，能够实时快速、有效地监控飞机交点镗孔角度头使用过程时间，为有效避免因角度头使用超出寿命要求造成孔超差提供数据支撑。
发明内容
本发明的目的在于提供一种基于机器视觉的飞机交点镗孔角度头管理方法，实现实时快速、有效地监控飞机交点镗孔角度头使用过程时间的功能，具有为有效避免因角度头使用超出寿命要求造成孔超差提供数据支撑的效果。
本发明通过下述技术方案实现：一种基于机器视觉的飞机交点镗孔角度头管理方法，包括以下步骤：
步骤S1.采集车间所有角度头带有字符一侧的图片，构建样本库；
步骤S2.对采集的所有图片进行标注，框选出字符边界的区域，并记录此张图片对应的字符； 步骤S3.构建目标检测网络yolo_v3和字符识别网络CRNN；
步骤S4.在样本库中加载批量样本，输入构建的目标检测网络yolo_v3和字符识别网络CRNN进行训练，采用优化器优化目标检测网络yolo_v3和字符识别网络CRNN并进行权重更新后,输出训练好的网络模型；
步骤S5.在机床附近布置摄像头，使用网线、路由器将机床摄像头和工控机连接在同一局域网络，采用OPC-UA协议获取机床进给指令信号及主轴启停指令信号，并发送给监控模块；
步骤S6.使用GigE协议连接摄像头，采集并传输图片给输入训练好的网络模型，进行角度头身份确认；
步骤S7.使用监控模块对所述角度头进行追踪和预警，并将角度头相关数据存储至数据库。
为了更好地实现本发明，进一步地，所述步骤S1中构建样本库的方法包括：
对采集的图片进行旋转、缩放和增广处理，扩大样本形成样本库。
为了更好地实现本发明，进一步地，所述步骤S3中的目标检测网络yolo_v3包括：
所述目标检测网络yolo_v3采用53层卷积层作为主干，并由CBL、Res unit和ResX三个组件构成；
所述CBL由卷积层和Leaky_relu激活函数组成，所述Res unit采用Resnet网络的残差结构，所述ResX由一个CBL和X个残差组件构成；
使用目标检测网络yolo_v3检测样本中字符所在区域，进行裁剪后发送给字符识别网络CRNN。
为了更好地实现本发明，进一步地，所述步骤S3中的字符识别网络CRNN包括：
所述字符识别网络CRNN包括CNN卷基层、RNN循环层和CTC Loss转录层；
所述目标检测网络yolo_v3对图片裁剪后将其输入进字符识别网络CRNN中，所述CNN卷基层对图像特征进行提取并形成特征图；
所述RNN循环层对特征图中的特征序列进行预测，输出特征分布并获取的标签分布；
所述CTC Loss转录层使用CTC损失，将RNN循环层获取的标签分布转化为最终的标签序列；
使用字符识别网络CRNN对裁剪后的图片进行训练。
为了更好地实现本发明，进一步地，所所述步骤S4包括：
加载批量样本，输入进构建的目标检测网络yolo_v3和字符识别网络CRNN进行训练，采用优化器优化目标检测网络yolo_v3和字符识别网络CRNN并进行权重更新；
使用训练样本训练目标检测网络yolo_v3和字符识别网络CRNN，当达到预置的迭代次数或者损失函数值小于预定的给定值时，训练终止，输出训练好的目标检测网络yolo_v3和字符识别网络CRNN。
为了更好地实现本发明，进一步地，所述步骤S5包括：
在机床镗削加工NC代码前加入到定点的NC代码，若机床进给到定点，调整机床角度头位姿，使得角度头带有字符一侧靠近摄像头，停靠并触发摄像头拍照；若机床无进给到定点的信号，不触发拍照。
为了更好地实现本发明，进一步地，所述步骤S7包括：
监控机床主轴启停信号，若机床主轴启动，则开始累积此角度头使用时间直至机床主轴停止，将此次角度头监控的使用时间存储；
获取此角度头的最大使用寿命，并预先进行存储，可视化此角度头的使用次数、每次使用时间以及剩余寿命，设置报警阈值，若角度头的当前总使用时间大于等于预置最大使用寿命减去报警阈值，提示此角度头再使用有孔超差风险。
本发明与现有技术相比，具有以下优点及有益效果：
（1）本发明基于机器视觉通过深度学习方法确定角度头身份，有效避免了因RFID、条形码等手段损坏角度头，引起震动等问题，从而引起孔超差风险；
（2）本发明能实时监测角度头剩余寿命，实现了对角度头剩余寿命的有效管控和实时报警。
附图说明
本发明结合下面附图和实施例做进一步说明，本发明所有构思创新应视为所公开内容和本发明保护范围。
图1为本发明提供的一种基于机器视觉的飞机交点镗孔角度头管理方法的流程示意图。
图2为本发明提供的一种基于机器视觉的飞机交点镗孔角度头管理方法中的目标检测网络和字符识别网络流程架构图。
图3为本发明提供的一种基于机器视觉的飞机交点镗孔角度头管理方法中在机床附近布置摄像头的布局示意图。
图4为本发明提供的一种基于机器视觉的飞机交点镗孔角度头管理方法中对角度头寿命管理的示意图。
具体实施方式
为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1：
本实施例的一种基于机器视觉的飞机交点镗孔角度头管理方法，如图1所示，首先采集车间所有角度头带有字符一侧的图片，根据图片构建样本库，在样本库中训练样本和测试样本。对采集的所有图片进行标注，框选出字符边界的区域，并在对应的txt写出此张图片对应的字符，构建目标检测网络yolo_v3和字符识别网络CRNN，其中目标检测网络yolo_v3用于检测图片的字符区域并进行裁剪；CRNN的卷基层对图片的图像特征进行提取并形成特征图，CRNN的RNN循环层用于对特征序列预测，输出特征分布；CRNN的CTC Loss转录层使用CTC损失，将RNN循环层获取的标签分布转化为最终的标签序列。设置网络超参数，包括批量大小、学习率、批量样本大小、权重衰减系数。生成批量样本，从训练集中加载批量样本，输入给构建的深度残差网络进行训练，采用AdaGrad优化器优化网络并权重更新。采用OPC-UA协议获取机床进给指令信号及主轴启停指令信号，并发送给监控模块。在机床镗削加工NC代码前加入到“X”点的NC代码，若机床进给到X点，调整机床角度头位姿，使得角度头带有字符一侧靠近摄像头，停靠1s；触发相机拍照；若机床无进给到X点的信号，不触发拍照。将拍摄的照片输入训练好的网络模型，进行角度头身份确认。监控模块对此角度头进行追踪：监控机床主轴启停信号；若机床主轴启动，则开始累积此角度头使用时间直至机床主轴停止。将此次角度头监控的使用时间存储至数据库。从此角度头使用说明书获取此角度头的最大使用寿命，并预先存储至数据库。可视化此角度头的使用次数、每次使用时间以及剩余寿命。设置报警阈值，若角度头的当前总使用时间大于等于预置最大使用寿命减去报警阈值，提示此角度头再使用有孔超差风险
本发明引入机器视觉和深度学习技术，通过对角度头进行拍摄照片，进而识别角度头上的字符，从而确定角度头的身份；通过监控机床的主轴启停指令，从而统计角度头的使用时间；通过累计使用时间与寿命对比，触发报警，提醒操作人员。
实施例2：
本实施例在实施例1的基础上做进一步优化，采集车间所有角度头铭牌一侧图片，使用角度头，能够实现对图片实施0-360度的旋转、增广等操作，扩大样本，形成样本库，图片的大小为416*416，对采集的所有图片进行标注，框选出字符边界的区域，并在对应的txt写出此张图片对应的字符。
本实施例的其他部分与实施例1相同，故不再赘述。
实施例3：
本实施例在上述实施例1或2的基础上做进一步优化，如图2所示，构建目标检测网络yolo_v3和字符识别网络CRNN，如图2所示。Yolo_v3网络采用了53层卷积层作为主干，由三个基本的组件组成，分别是CBL、Res unit和ResX。CBL由卷积层和Leaky_relu激活函数组成，Res unit采用Resnet网络的残差结构，使网络构建的更加深入，ResX由一个CBL和X个残差组件构成，CBL起下采用作用。CRNN网络是基于图像的序列识别，整个CRNN分为CNN（卷积层）、RNN（循环层）和CTC loss(转录层)。其中CNN层主要包括7个卷积层、4个池化层和2个批归一化层；为了解决梯度消失问题，RNN采用LSTM进行特征向量的预测；CTC loss将对每个特征向量所做的预测转换成标签序列。 基于构建的网络，首先yolo网络用于检测字符所在区域，并裁剪，输出大小为100*32大小的图像；其次将图片输入给CRNN进行训练。
本实施例的其他部分与上述实施例1或2相同，故不再赘述。
实施例4：
本实施例在上述实施例1-3任一项的基础上做进一步优化，设置目标检测网络yolo_v3和字符识别网络CRNN超参数，超参数包括批量大小、学习率、批量样本大小、权重衰减系数。在样本库中训练样本和测试样本。加载批量样本输入给构建的yolo_v3和CRNN网络进行训练，采用AdaGrad优化器优化目标检测网络yolo_v3和字符识别网络CRNN网络并权重更新；使用训练样本训练模型，当达到预置的迭代次数或者损失函数值小于预定的给定值，训练终止；采用测试样本测试模型。
本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。
实施例5：
本实施例在上述实施例1-4任一项基础上做进一步优化，在机床附近布置摄像头，采用如图3所示的连接方式使用网线、路由器将机床摄像头和工控机连接在同一局域网络；OPC-UA协议具有跨平台、方便系统集成、设备接入的特点，使用OPC-UA协议采集机床到“X”点的信号和机床主轴启停信号。
本实施例的其他部分与上述实施例1-4任一项相同，故不再赘述。
实施例6：
本实施例在上述实施例1-5任一项基础上做进一步优化，GigE协议是一种通信协议，采用千兆以太网接口进行图像的高速传输，为了高速进行图像传输，使用GigE协议连接摄像头，采集并传输照片给角度头识别模块。
本实施例的其他部分与上述实施例1-5任一项相同，故不再赘述。
实施例7：
本实施例在上述实施例1-6任一项基础上做进一步优化，在本实施例中，在机床镗削加工NC代码前加入到“X”点的NC代码，若机床进给到X点，调整机床角度头位姿，使得角度头带有字符一侧靠近摄像头，停靠1s；触发相机拍照；若机床无进给到X点的信号，不触发拍照。
在机床镗削孔NC代码前加入到“X”点的NC代码，NC代码为G500 G90 X150Y-1250Z200F3000；若机床进给到X点，调整机床角度头位姿，使得角度头带有铭牌一侧靠近摄像头G90A76B43F200，停靠1s；触发相机拍照；若机床无进给到X点的信号，不触发拍照；监测机床启停信号，若机床启动信号INC_VAR>0，在监测模块创建此角度头的动态实时统计图，如图4所示，实时动态显示此角度头的使用过程直到监测机床停止信号INC_VAR<0停止，并将机床第k次使用角度头i的加工时间或者空转时间T i (k)存储至数据库；计算第i个角度头的剩余寿命
Figure DEST_PATH_IMAGE001
，
Figure 690121DEST_PATH_IMAGE002
为角度头i的最大设计寿命，由对应的角度头说明书获得，设置寿命阈值
Figure DEST_PATH_IMAGE003
，若
Figure 872841DEST_PATH_IMAGE004
，报警第i个角度头，如图4所示。
本实施例的其他部分与上述实施例1-6任一项相同，故不再赘述。
实施例8：
本实施例在上述实施例1-7任一项基础上做进一步优化，使用监控模块对此角度头进行追踪：监控机床主轴启停信号，若机床主轴启动，则开始累积此角度头使用时间直至机床主轴停止，将此次角度头监控的使用时间存储至数据库，从此角度头使用说明书获取此角度头的最大使用寿命，并预先存储至数据库，可视化此角度头的使用次数、每次使用时间以及剩余寿命，设置报警阈值，若角度头的当前总使用时间大于等于预置最大使用寿命减去报警阈值，提示此角度头再使用有孔超差风险。
本实施例的其他部分与上述实施例1-7任一项相同，故不再赘述。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (6)

1.一种基于机器视觉的飞机交点镗孔角度头管理方法，其特征在于，包括以下步骤：步骤S1.采集车间所有角度头带有字符一侧的图片，构建样本库；
步骤S2.对采集的所有图片进行标注，框选出字符边界的区域，并记录此张图片对应的字符； 步骤S3.构建目标检测网络yolo_v3和字符识别网络CRNN；
步骤S4.在样本库中加载批量样本，输入构建的目标检测网络yolo_v3和字符识别网络CRNN进行训练，采用优化器优化目标检测网络yolo_v3和字符识别网络CRNN并进行权重更新后,输出训练好的网络模型；
步骤S5.在机床附近布置摄像头，使用网线、路由器将机床摄像头和工控机连接在同一局域网络，采用OPC-UA协议获取机床进给指令信号及主轴启停指令信号，并发送给监控模块；
在机床镗削加工NC代码前加入到定点的NC代码，若机床进给到定点，调整机床角度头位姿，使得角度头带有字符一侧靠近摄像头，停靠并触发摄像头拍照；若机床无进给到定点的信号，不触发拍照；
步骤S6.使用GigE协议连接摄像头，采集并传输图片给输入训练好的网络模型，进行角度头身份确认；
步骤S7.在监控模块对所述角度头进行追踪和预警，并将角度头相关数据存储至数据库；
监控机床主轴启停信号，若机床主轴启动，则开始累积所述角度头使用时间直至机床主轴停止，将此次角度头监控的使用时间存储至数据库。
2.根据权利要求1所述的一种基于机器视觉的飞机交点镗孔角度头管理方法，其特征在于，所述步骤S1中构建样本库的方法包括：
对采集的图片进行旋转、缩放和增广处理，扩大样本形成样本库，在样本库中训练样本和测试样本。
3.根据权利要求1所述的一种基于机器视觉的飞机交点镗孔角度头管理方法，其特征在于，所述步骤S3中的目标检测网络yolo_v3包括：
所述目标检测网络yolo_v3采用53层卷积层作为主干，并由CBL、Res unit和ResX三个组件构成；
所述CBL由卷积层和Leaky_relu激活函数组成，所述Res unit采用Resnet网络的残差结构，所述ResX由一个CBL和X个残差组件构成；
使用目标检测网络yolo_v3检测样本中字符所在区域，进行裁剪后发送给字符识别网络CRNN。
4.根据权利要求1所述的一种基于机器视觉的飞机交点镗孔角度头管理方法，其特征在于，所述步骤S3中的字符识别网络CRNN包括：
所述字符识别网络CRNN包括CNN卷基层、RNN循环层和CTC Loss转录层；
所述目标检测网络yolo_v3对图片裁剪后将其输入进字符识别网络CRNN中，所述CNN卷基层对图像特征进行提取并形成特征图；
所述RNN循环层对特征图中的特征序列进行预测，输出特征分布并获取的标签分布；
所述CTC Loss转录层使用CTC损失，将RNN循环层获取的标签分布转化为最终的标签序列；
使用字符识别网络CRNN对裁剪后的图片进行训练。
5.根据权利要求1所述的一种基于机器视觉的飞机交点镗孔角度头管理方法，其特征在于，所述步骤S4包括：
加载批量样本，输入进构建的目标检测网络yolo_v3和字符识别网络CRNN进行训练，采用优化器优化目标检测网络yolo_v3和字符识别网络CRNN并进行权重更新；
使用训练样本训练目标检测网络yolo_v3和字符识别网络CRNN，当达到预置的迭代次数或者损失函数值小于预定的给定值时，训练终止，输出训练好的目标检测网络yolo_v3和字符识别网络CRNN。
6.根据权利要求1所述的一种基于机器视觉的飞机交点镗孔角度头管理方法，其特征在于，所述步骤S7包括：
获取所述角度头的最大使用寿命，并预先存储至数据库；
可视化所述角度头的使用次数、每次使用时间以及剩余寿命，设置报警阈值，若角度头的当前总使用时间大于等于预置最大使用寿命减去报警阈值，提示所述角度头再使用有孔超差风险。
CN202210990236.9A 2022-08-18 2022-08-18 一种基于机器视觉的飞机交点镗孔角度头管理方法 Active CN115082921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210990236.9A CN115082921B (zh) 2022-08-18 2022-08-18 一种基于机器视觉的飞机交点镗孔角度头管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210990236.9A CN115082921B (zh) 2022-08-18 2022-08-18 一种基于机器视觉的飞机交点镗孔角度头管理方法

Publications (2)

Publication Number Publication Date
CN115082921A CN115082921A (zh) 2022-09-20
CN115082921B true CN115082921B (zh) 2022-12-13

Family

ID=83243994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210990236.9A Active CN115082921B (zh) 2022-08-18 2022-08-18 一种基于机器视觉的飞机交点镗孔角度头管理方法

Country Status (1)

Country Link
CN (1) CN115082921B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009617A (zh) * 2019-04-02 2019-07-12 浙江大学 一种轴类件在线质量检测方法
CN112703457A (zh) * 2018-05-07 2021-04-23 强力物联网投资组合2016有限公司 用于使用工业物联网进行数据收集、学习和机器信号流传输实现分析和维护的方法和系统
CN113369988A (zh) * 2021-06-25 2021-09-10 成都飞机工业（集团）有限责任公司 一种机床角度头自动找正装置及找正方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447078B (zh) * 2018-10-23 2020-11-06 四川大学 一种自然场景图像敏感文字的检测识别方法
EP3715989A1 (de) * 2019-03-29 2020-09-30 Siemens Aktiengesellschaft Verfahren und vorrichtung zur überwachung eines fräspro-zesses
CN113770781A (zh) * 2021-09-24 2021-12-10 成都飞机工业（集团）有限责任公司 一种用于角度头刀具快速更换的工具及其使用方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112703457A (zh) * 2018-05-07 2021-04-23 强力物联网投资组合2016有限公司 用于使用工业物联网进行数据收集、学习和机器信号流传输实现分析和维护的方法和系统
CN110009617A (zh) * 2019-04-02 2019-07-12 浙江大学 一种轴类件在线质量检测方法
CN113369988A (zh) * 2021-06-25 2021-09-10 成都飞机工业（集团）有限责任公司 一种机床角度头自动找正装置及找正方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
High performance Network for Detection of surface Defects on Hot-Rolled Steel Strips Based on an optimized YOLOV3;lkechukwu,s等;《2022 9th International conference on Electrical and electronics Engineering(ICEEE)》;20220516;344-349 *
Publisher Correction: Integrating object detection and image segmentation for detecting the tool wear area on stitched image;WJ Lin等;《Scientific Reports》;20211101;第11卷;21729 *
基于深度学习的零件实例分割识别研究;黄海松等;《组合机床与自动化加工技术》;20190520(第05期);127-130 *
复杂铣削轨迹下的刀具状态监测与寿命预测研究;董毅;《中国优秀硕士学位论文全文数据库工程科技I辑》;20200615(第06期);B022-494 *
数控机床角度头建模及振动特性分析;赵学茹;《中国优秀硕士学位论文全文数据库工程科技I辑》;20210215(第02期);B022-1125 *

Also Published As

Publication number Publication date
CN115082921A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
US10984526B2 (en) Method for predicting defects in assembly units
JP5301717B1 (ja) 設備状態監視方法およびその装置
WO2017084186A1 (zh) 挠性电路板制造过程自动监测和智能分析系统及方法
CN112016409A (zh) 一种基于深度学习的工步规范视觉识别判定方法及系统
US20090043536A1 (en) Use of Sequential Clustering for Instance Selection in Machine Condition Monitoring
US20220375056A1 (en) Method for predicting defects in assembly units
CN115437507A (zh) 基于ar眼镜的设备维修指导方法、系统及相关设备
CN112651306A (zh) 工具取用监控方法及装置
CN115082921B (zh) 一种基于机器视觉的飞机交点镗孔角度头管理方法
CN114326593B (zh) 一种刀具寿命预测系统及方法
CN115409992A (zh) 一种远程驾驶巡逻车系统
CN117112336B (zh) 智能通信设备异常检测方法、设备、存储介质及装置
CN117114420B (zh) 一种基于图像识别的工贸安全事故风险管控系统和方法
CN109614512B (zh) 一种基于深度学习的电力设备检索方法
CN113538513A (zh) 监控对象的进出控制方法、装置、设备及存储介质
CN116665272A (zh) 机场场景人脸识别融合决策方法、装置、电子设备及介质
CN116136897A (zh) 信息处理方法以及装置
CN115964883A (zh) 一种无人艇的状态监测与维修保障系统
CN113778792B (zh) 一种it设备的告警归类方法及系统
US20230206615A1 (en) Systems and methods to determine an activity associated with an object of interest
CN115755817A (zh) 一种集成电路装片机生产管理平台
CN115147248A (zh) 一种基于大数据的旅游信息咨询系统和方法
CN114841203A (zh) 一种牲畜状态监测方法、装置、终端及存储介质
CN114898516B (zh) 基于物联网的运维监控服务管理系统
CN110837735A (zh) 一种数据智能分析识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant