CN114612419A - 基于深度视觉和多传感器技术的工序检测方法 - Google Patents

基于深度视觉和多传感器技术的工序检测方法 Download PDF

Info

Publication number
CN114612419A
CN114612419A CN202210223765.6A CN202210223765A CN114612419A CN 114612419 A CN114612419 A CN 114612419A CN 202210223765 A CN202210223765 A CN 202210223765A CN 114612419 A CN114612419 A CN 114612419A
Authority
CN
China
Prior art keywords
bolt
camera
representing
image data
bolts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210223765.6A
Other languages
English (en)
Other versions
CN114612419B (zh
Inventor
王峰
朱博瀚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Xuelang Shuzhi Technology Co ltd
Original Assignee
Wuxi Xuelang Shuzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Xuelang Shuzhi Technology Co ltd filed Critical Wuxi Xuelang Shuzhi Technology Co ltd
Priority to CN202210223765.6A priority Critical patent/CN114612419B/zh
Publication of CN114612419A publication Critical patent/CN114612419A/zh
Application granted granted Critical
Publication of CN114612419B publication Critical patent/CN114612419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度视觉和多传感器技术的工序检测方法，该方法包括以下步骤：S1、工程控制机输出开始信号，驱动悬挂式打枪机运行对螺栓进行拧紧；S2、所述悬挂式打枪机将拧紧螺栓的扭矩值上传至所述工程控制机进行判定；S3、若判定结果不合格，则进入返工流程，若判定结果合格，则返回真值信号并同步开启第一相机与第二相机；S4、所述第一相机实时检测当前拧紧螺栓的编号；S5、所述第二相机记录被检测物体的中心点，拟合螺栓拧紧轨迹图；S6、所述工程控制机接收所述轨迹图并进行展示。通过目标检测、跟踪及传感器轨迹拟合等方式，实现了对复杂工业环境的多工序检测，能够识别多种工序的顺序及正确性，避免漏检错检风险。

Description

基于深度视觉和多传感器技术的工序检测方法
技术领域
本发明涉及工业加工工序检测技术领域，具体来说，涉及基于深度视觉和多传感器技术的工序检测方法。
背景技术
随着工业水平的提高，加工装配操作流程出现了多工序，多工位集成的复杂情况，因此工人在检查工序时容易出现漏检，错检等情况，造成了巨大的返工成本。与此同时，产品的质量成为了生产厂商和消费者共同关注的问题，而对工业场景来说，错检、漏检会造成极大的安全隐患，影响产品的质量和品牌形象。
螺栓拧紧顺序在装配车间的工序中至关重要，操作顺序不对将可能导致整个部件的装配失败，造成极大的返工和时间成本。目前大部分企业都使用人工对工序进行检测，绝大部分靠工人自检。然而人工检测一方面受到工人工作状态所影响，容易发生漏检误检的情况，另一方面，工人检测速度难以跟上机器的生产速度，为此工厂不得不扩大质检人员规模，日益上升的人力资源成本逐渐成为企业痛点。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出基于深度视觉和多传感器技术的工序检测方法，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
基于深度视觉和多传感器技术的工序检测方法，该方法包括以下步骤：
S1、工程控制机输出开始信号，驱动悬挂式打枪机运行对螺栓进行拧紧；
S2、所述悬挂式打枪机将拧紧螺栓的扭矩值上传至所述工程控制机进行判定；
S3、若判定结果不合格，则进入返工流程，若判定结果合格，则返回真值信号并同步开启第一相机与第二相机；
S4、所述第一相机实时检测当前拧紧螺栓的编号，判断拧紧顺序；
S5、所述第二相机记录被检测物体的中心点，拟合螺栓拧紧轨迹图；
S6、所述工程控制机接收所述轨迹图并进行展示，实现所有螺栓的装配。
进一步的，所述第一相机为弹幕相机且安装在所述悬挂式打枪机底部，所述第二相机为双目相机且安装与所述悬挂式打枪机的对立面。
进一步的，所述第一相机实时检测当前拧紧螺栓的编号，判断拧紧顺序，包括以下步骤：
S41、所述第一相机实时检测并获取螺栓装配过程的基础图像数据；
S42、基于改进后的目标检测算法对所述基础图像数据进行检测，识别出螺栓的数量及位置；
S43、对连续帧所述基础图像数据内检测到的螺栓进行计数，判断出最新出现的螺栓的位置；
S44、将判断结果上传至所述工程控制机并与预设逻辑信息进行匹配；
S45、若判定结果与预设逻辑信息不匹配，则所述工程控制机发生警报并进入返工流程，若判定结果与预设逻辑信息相匹配，则循环进入下一颗螺栓的判断。
进一步的，所述基于改进后的目标检测算法对所述基础图像数据进行检测，识别出螺栓的数量及位置，包括以下步骤：
S421、利用获取的基础图像数据构建数据集；
S422、对数据集进行类别标注；
S423、对基础图像数据进行增广处理；
S424、在目标检测算法的骨干网络中融入注意力机制模块；
S425、优化目标检测算法中的边框回归损失函数；
S426、将所述数据集进行预处理至标准尺寸并进行训练后，得到螺栓检测模型；
S427、将标准尺寸的基础图像数据输入至螺栓检测模型，检测得到图像内所有螺栓的数量与位置；
S428、将预处理到标准尺寸的需要检测与识别的垃圾图片输入至训练好的螺栓检测模型，检测得到图像内所有螺栓的数量与位置。
进一步的，所述注意力机制模块包括通道注意力模块与空间注意力模块；
其中，通道注意力模块的计算公式为：
Figure BDA0003534828500000031
空间注意力模块的计算公式为：
Figure BDA0003534828500000035
其中，σ表示Sigmoid函数，两个输入共享权重W0和W1，W0∈Rc/r×c，W1∈Rc×c/r，
Figure BDA0003534828500000032
表示利用平均池化和最大池化在空间上生成的特征映射，r表示减少率，
Figure BDA0003534828500000033
表示通道的平均池化特征和最大池化特征，f7×7表示滤波器尺寸为7X7的卷积运算。
进一步的，所述优化目标检测算法中的边框回归损失函数的公式为：
Figure BDA0003534828500000034
其中，ρ表示计算两个中心点间的欧式距离，c代表能够同时包含预测框和真实框的最小闭包区域的对角线距离，w,wgt分别表示预测框和真实框的宽度，b,bgt表示预测框和真实框的中心点，h,hgt表示预测框和真实框的高度，IOU表示预测框与真实框之间的交集和并集之比，cw和ch表示覆盖预测框和真实框的最小外接框的宽度和高度。
进一步的，所述第二相机记录被检测物体的中心点，拟合螺栓拧紧轨迹图，包括以下步骤：
S51、所述第二相机实时检测并获取螺栓装配过程的深度图像数据；
S52、基于改进后的目标检测算法与深度多目标跟踪算法对所述深度图像数据进行检测，构建多目标跟踪模型；
S53、所述第二相机记录所述工程控制机返回的真值信号时的被检测物体的中心点及其坐标信息；
S54、将连续两个中心点坐标的进行连线，拟合螺栓装配的轨迹图。
进一步的，所述基于改进后的目标检测算法与深度多目标跟踪算法对所述深度图像数据进行检测，构建多目标跟踪模型，包括以下步骤：
S521、对深度图像数据进行逐帧处理，并提取关键帧；
S522、对所述关键帧进行标注、裁剪及预处理，构建螺栓目标跟踪数据集；
S523、利用改进后的目标检测算法结合所述目标跟踪数据集作为多目标跟踪的检测器；
S523、所述深度多目标跟踪算法通过递归卡尔曼滤波器逐帧处理数据关联性，并使用匈牙利算法对检测器的输出进行目标筛选与跨帧匹配；
S524、利用卷神经网络重识别目标跟踪数据集，并引入中心损失函数对重识别数据集进行训练，构建多目标跟踪模型。
进一步的，所述递归卡尔曼滤波器的算法公式为：
Figure BDA0003534828500000041
Figure BDA0003534828500000042
ci,j＝λm(i,j)+(1-λ)n(i,j)；
其中，m(i,j)表示信息匹配结果，mj表示第j个检测框的位置，yi表示第i个追踪器对目标位置的预测，Si表示检测位置与平均追踪位置之间的协方差矩阵，n(i,j)表示余弦距离度量结果，rj表示对mj个检测块提取的特征向量，Ri表示外观特征向量库，Ci,j表示马氏距离与余弦距离度量进行线性加权得到的最终度量。
进一步的，所述中心损失函数的计算公式为：
Lf＝Lc_c1+γLc1(h,yi)＝；
Figure BDA0003534828500000051
其中，Lc_c1表示交叉熵损失函数，h表示网络特征输出，C表示分类类别，N表示样本个数，cyi表示第yi类所有深度特征的中心值，xi表示输入的图像特征，Nb表示批大小，γ表示使用标量。
进一步的，所述悬挂式打枪机装设于装配平台上，用于对所述拧紧螺栓进行装配操作，所述悬挂式打枪机上还设置有空间坐标定位系统，用于测量其空间位置，并传输所述悬挂式打枪机的空间坐标至所述工程控制机，通过所述工程控制机判断移动的悬挂式打枪机的空间位置是否与所述装配平台上的所述拧紧螺栓的空间坐标重合，根据两者的位置关系控制所述悬挂式打枪机的启动与否，所述悬挂式打枪机包括固定基座、夹持装置和旋转驱动装置，所述固定基座支撑安装在所述装配平台上，所述夹持装置包括机械臂和旋转机构，所述机械臂的一端可滑动设置于所述固定基座，另一端与所述旋转机构连接。
进一步的，还包括可以用于机器学习的样本库，所述样本库的样本采集方式如下：对所述基础图像数据内检测到的螺栓进行计数和位置记录，所述悬挂式打枪机对当前螺栓的扭矩值进行记录，将所述基础图像数据按时间标签进行图片提取，将所述图片、螺栓数量、螺栓位置、扭矩值、空间坐标位置均按照时间标签存储于所述用于机器学习的样本库。
进一步的，所述基础图像数据为所述第一相机拍摄的俯视图RGB彩色图像以及所述第二相机拍摄的所述螺栓的装配体的灰度图像，图像处理的过程包括第一主流程和第二主流程，所述第一主流程用于处理所述RGB彩色图像，所述第二主流程用于处理所述灰度图像，判断所述第一主流程得到的所述拧紧顺序与所述第二主流程得到的所述螺栓拧紧轨迹图的逻辑是否一致，并输出螺栓拧紧顺序是否正确的判断结果。
本发明的有益效果为：通过目标检测、跟踪及传感器轨迹拟合等方式，实现了对复杂工业环境的多工序检测，能够识别多种工序的顺序及正确性，避免人工检测带来的漏检错检风险，从而有效提高流水线的检测速度和精度，显著提生产量和质量，从根本上替代了人工检测的不确定性和不可靠性，杜绝了错检漏检的发生，减少了工厂生产开发的人力、时间成本。
具体的，通过实时获取螺栓装配图像数据及扩充检测数据集，结合改进后的目标检测算法与注意力机制，能够实现跨通道信息的捕捉，捕获方向感知和位置感知的信息，提高网络训练的速度，从而能够大大提高螺栓的精准定位和识别精度与效率；并且通过改进边框回归损失函数能够加快计算中收敛速度，实现更高的精度。此外，通过将目标检测算法与深度多目标跟踪算法的结合与改进，能够有效提高深度图像模型的构建速率与精确度，大大提高特征分辨率，保证轨迹图拟合的精确度与平滑性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的基于深度视觉和多传感器技术的工序检测方法的流程图；
图2是根据本发明实施例的基于深度视觉和多传感器技术的工序检测方法的逻辑流程框图；
图3是根据本发明实施例的基于深度视觉和多传感器技术的工序检测方法的悬挂式打枪机运行流程图；
图4是根据本发明实施例的基于深度视觉和多传感器技术的工序检测方法的工程控制机逻辑处理流程图。
具体实施方式
根据本发明的实施例，提供了基于深度视觉和多传感器技术的工序检测方法。
现结合附图和具体实施方式对本发明进一步说明，如图1-4所示，根据本发明实施例的基于深度视觉和多传感器技术的工序检测方法，该方法包括以下步骤：
S1、工程控制机(CAA)输出开始信号，驱动悬挂式打枪机运行对螺栓进行拧紧；
S2、所述悬挂式打枪机将拧紧螺栓的扭矩值上传至所述工程控制机(CAA)进行判定；
S3、若判定结果不合格，则进入返工流程，若判定结果合格，则返回真值信号并同步开启第一相机(A相机)与第二相机(B相机)；
其中，所述第一相机(A相机)为弹幕相机且安装在所述悬挂式打枪机底部，所述第二相机(B相机)为双目相机且安装与所述悬挂式打枪机的对立面。
S4、所述第一相机实时检测当前拧紧螺栓的编号，判断拧紧顺序；
其中，所述第一相机(A相机)实时检测当前拧紧螺栓的编号，判断拧紧顺序，包括以下步骤：
S41、所述第一相机(A相机)实时检测并获取螺栓装配过程的基础图像数据；
S42、基于改进后的目标检测算法(YOLOv5算法)对所述基础图像数据进行检测，识别出螺栓的数量及位置；
其中，步骤S42包括以下步骤：
S421、利用获取的基础图像数据构建数据集；
S422、对数据集进行类别标注；
S423、对基础图像数据进行增广处理；
S424、在目标检测算法的骨干网络中融入注意力机制模块；
其中，所述注意力机制模块包括通道注意力模块与空间注意力模块；
其中，通道注意力模块的计算公式为：
Figure BDA0003534828500000071
空间注意力模块的计算公式为：
Figure BDA0003534828500000072
其中，σ表示Sigmoid函数，两个输入共享权重W0和W1，W0∈Rc/r×c，W1∈Rc×c/r，
Figure BDA0003534828500000073
表示利用平均池化和最大池化在空间上生成的特征映射，r表示减少率，
Figure BDA0003534828500000081
表示通道的平均池化特征和最大池化特征，f7×7表示滤波器尺寸为7X7的卷积运算。
S425、优化目标检测算法中的边框回归损失函数；
其中，所述优化目标检测算法中的边框回归损失函数的公式为：
Figure BDA0003534828500000082
其中，ρ表示计算两个中心点间的欧式距离，c代表能够同时包含预测框和真实框的最小闭包区域的对角线距离，w,wgt分别表示预测框和真实框的宽度，b,bgt表示预测框和真实框的中心点，h,hgt表示预测框和真实框的高度，IOU表示预测框与真实框之间的交集和并集之比，cw和ch表示覆盖预测框和真实框的最小外接框的宽度和高度。
S426、将所述数据集进行预处理至标准尺寸并进行训练后，得到螺栓检测模型；
S427、将标准尺寸的基础图像数据输入至螺栓检测模型，检测得到图像内所有螺栓的数量与位置。
S428、将预处理到标准尺寸的需要检测与识别的垃圾图片输入至训练好的螺栓检测模型，检测得到图像内所有螺栓的数量与位置。
S43、对连续帧所述基础图像数据内检测到的螺栓进行计数，判断出最新出现的螺栓的位置；
S44、将判断结果上传至所述工程控制机(CAA)并与预设逻辑信息进行匹配；
S45、若判定结果与预设逻辑信息不匹配，则所述工程控制机(CAA)发生警报并进入返工流程，若判定结果与预设逻辑信息相匹配，则循环进入下一颗螺栓的判断。
S5、所述第二相机(B相机)记录被检测物体的中心点，拟合螺栓拧紧轨迹图；
其中，步骤S5包括以下步骤：
S51、所述第二相机(B相机)实时检测并获取螺栓装配过程的深度图像数据；
S52、基于改进后的目标检测算法(YOLOv5算法)与深度多目标跟踪算法(DeepSORT)对所述深度图像数据进行检测，构建多目标跟踪模型；
其中，步骤S52包括以下步骤：
S521、对深度图像数据进行逐帧处理，并提取关键帧；
S522、对所述关键帧进行标注、裁剪及预处理，构建螺栓目标跟踪数据集；
S523、利用改进后的目标检测算法结合所述目标跟踪数据集作为多目标跟踪的检测器；
S523、所述深度多目标跟踪算法通过递归卡尔曼滤波器逐帧处理数据关联性，并使用匈牙利算法对检测器的输出进行目标筛选与跨帧匹配；
其中，所述递归卡尔曼滤波器的算法公式为：
Figure BDA0003534828500000091
Figure BDA0003534828500000092
ci,j＝λm(i,j)+(1-λ)n(i,j)；
其中，m(i,j)表示信息匹配结果，mj表示第j个检测框的位置，yi表示第i个追踪器对目标位置的预测，Si表示检测位置与平均追踪位置之间的协方差矩阵，n(i,j)表示余弦距离度量结果，rj表示对mj个检测块提取的特征向量，Ri表示外观特征向量库，Ci,j表示马氏距离与余弦距离度量进行线性加权得到的最终度量。
S524、利用卷神经网络(CNN)重识别目标跟踪数据集，并引入中心损失函数对重识别数据集进行训练，构建多目标跟踪模型。
其中，所述中心损失函数的计算公式为：
Figure BDA0003534828500000093
Figure BDA0003534828500000101
其中，Lc_c1表示交叉熵损失函数，h表示网络特征输出，C表示分类类别，N表示样本个数，cyi表示第yi类所有深度特征的中心值，xi表示输入的图像特征，Nb表示批大小，γ表示使用标量。
S53、所述第二相机记录所述工程控制机(CAA)返回的真值信号时的被检测物体的中心点及其坐标信息；
S54、将连续两个中心点坐标的进行连线，拟合螺栓装配的轨迹图。
S6、所述工程控制机(CAA)接收所述轨迹图并进行展示，实现所有螺栓的装配。
进一步的，所述悬挂式打枪机装设于装配平台上，用于对所述拧紧螺栓进行装配操作，所述悬挂式打枪机上还设置有空间坐标定位系统，用于测量其空间位置，并传输所述悬挂式打枪机的空间坐标至所述工程控制机，通过所述工程控制机判断移动的悬挂式打枪机的空间位置是否与所述装配平台上的所述拧紧螺栓的空间坐标重合，根据两者的位置关系控制所述悬挂式打枪机的启动与否，所述悬挂式打枪机包括固定基座、夹持装置和旋转驱动装置，所述固定基座支撑安装在所述装配平台上，所述夹持装置包括机械臂和旋转机构，所述机械臂的一端可滑动设置于所述固定基座，另一端与所述旋转机构连接。
进一步的，还包括可以用于机器学习的样本库，所述样本库的样本采集方式如下：对所述基础图像数据内检测到的螺栓进行计数和位置记录，所述悬挂式打枪机对当前螺栓的扭矩值进行记录，将所述基础图像数据按时间标签进行图片提取，将所述图片、螺栓数量、螺栓位置、扭矩值、空间坐标位置均按照时间标签存储于所述用于机器学习的样本库。
进一步的，所述基础图像数据为所述第一相机拍摄的俯视图RGB彩色图像以及所述第二相机拍摄的所述螺栓的装配体的灰度图像，图像处理的过程包括第一主流程和第二主流程，所述第一主流程用于处理所述RGB彩色图像，所述第二主流程用于处理所述灰度图像，判断所述第一主流程得到的所述拧紧顺序与所述第二主流程得到的所述螺栓拧紧轨迹图的逻辑是否一致，并输出螺栓拧紧顺序是否正确的判断结果。
综上所述，本发明通过目标检测、跟踪及传感器轨迹拟合等方式，实现了对复杂工业环境的多工序检测，能够识别多种工序的顺序及正确性，避免人工检测带来的漏检错检风险，从而有效提高流水线的检测速度和精度，显著提生产量和质量，从根本上替代了人工检测的不确定性和不可靠性，杜绝了错检漏检的发生，减少了工厂生产开发的人力、时间成本。
具体的，通过实时获取螺栓装配图像数据及扩充检测数据集，结合改进后的目标检测算法与注意力机制，能够实现跨通道信息的捕捉，捕获方向感知和位置感知的信息，提高网络训练的速度，从而能够大大提高螺栓的精准定位和识别精度与效率；并且通过改进边框回归损失函数能够加快计算中收敛速度，实现更高的精度。此外，通过将目标检测算法与深度多目标跟踪算法的结合与改进，能够有效提高深度图像模型的构建速率与精确度，大大提高特征分辨率，保证轨迹图拟合的精确度与平滑性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于深度视觉和多传感器技术的工序检测方法，其特征在于，该方法包括以下步骤：
S1、工程控制机输出开始信号，驱动悬挂式打枪机运行对螺栓进行拧紧；
S2、所述悬挂式打枪机将拧紧螺栓的扭矩值上传至所述工程控制机进行判定；
S3、若判定结果不合格，则进入返工流程，若判定结果合格，则返回真值信号并同步开启第一相机与第二相机；
S4、所述第一相机实时检测当前拧紧螺栓的编号，判断拧紧顺序，所述第一相机为弹幕相机且安装在所述悬挂式打枪机底部，具体步骤如下：S41、所述第一相机实时检测并获取螺栓装配过程的基础图像数据；S42、基于改进后的目标检测算法对所述基础图像数据进行检测，识别出螺栓的数量及位置；S43、对连续帧所述基础图像数据内检测到的螺栓进行计数，判断出最新出现的螺栓的位置；S44、将判断结果上传至所述工程控制机并与预设逻辑信息进行匹配；S45、若判定结果与预设逻辑信息不匹配，则所述工程控制机发生警报并进入返工流程，若判定结果与预设逻辑信息相匹配，则循环进入下一颗螺栓的判断；
S5、所述第二相机记录被检测物体的中心点，拟合螺栓拧紧轨迹图，所述第二相机为双目相机且安装于所述悬挂式打枪机的对立面；
S6、所述工程控制机接收所述轨迹图并进行展示，实现所有螺栓的装配。
2.根据权利要求1所述的基于深度视觉和多传感器技术的工序检测方法，其特征在于，所述基于改进后的目标检测算法对所述基础图像数据进行检测，识别出螺栓的数量及位置，包括以下步骤：
S421、利用获取的基础图像数据构建数据集；
S422、对数据集进行类别标注；
S423、对基础图像数据进行增广处理；
S424、在目标检测算法的骨干网络中融入注意力机制模块；
S425、优化目标检测算法中的边框回归损失函数；
S426、将所述数据集进行预处理至标准尺寸并进行训练后，得到螺栓检测模型；
S427、将标准尺寸的基础图像数据输入至螺栓检测模型，检测得到图像内所有螺栓的数量与位置；
S428、将预处理到标准尺寸的需要检测与识别的垃圾图片输入至训练好的螺栓检测模型，检测得到图像内所有螺栓的数量与位置。
3.根据权利要求2所述的基于深度视觉和多传感器技术的工序检测方法，其特征在于，所述注意力机制模块包括通道注意力模块与空间注意力模块；
其中，通道注意力模块的计算公式为：
Figure FDA0003534828490000021
空间注意力模块的计算公式为：
Figure FDA0003534828490000022
其中，σ表示Sigmoid函数，两个输入共享权重W0和W1，W0∈Rc/r×c，W1∈Rc×c/r，
Figure FDA0003534828490000023
表示利用平均池化和最大池化在空间上生成的特征映射，r表示减少率，
Figure FDA0003534828490000024
表示通道的平均池化特征和最大池化特征，f7×7表示滤波器尺寸为7X7的卷积运算。
4.根据权利要求3所述的基于深度视觉和多传感器技术的工序检测方法，其特征在于，所述优化目标检测算法中的边框回归损失函数的公式为：
Figure FDA0003534828490000025
其中，ρ表示计算两个中心点间的欧式距离，c代表能够同时包含预测框和真实框的最小闭包区域的对角线距离，w,wgt分别表示预测框和真实框的宽度，b,bgt表示预测框和真实框的中心点，h,hgt表示预测框和真实框的高度，IOU表示预测框与真实框之间的交集和并集之比，cw和ch表示覆盖预测框和真实框的最小外接框的宽度和高度。
5.根据权利要求4所述的基于深度视觉和多传感器技术的工序检测方法，其特征在于，所述第二相机记录被检测物体的中心点，拟合螺栓拧紧轨迹图，包括以下步骤：
S51、所述第二相机实时检测并获取螺栓装配过程的深度图像数据；
S52、基于改进后的目标检测算法与深度多目标跟踪算法对所述深度图像数据进行检测，构建多目标跟踪模型，具体构建方式如下：S521、对深度图像数据进行逐帧处理，并提取关键帧；S522、对所述关键帧进行标注、裁剪及预处理，构建螺栓目标跟踪数据集；S523、利用改进后的目标检测算法结合所述目标跟踪数据集作为多目标跟踪的检测器；S523、所述深度多目标跟踪算法通过递归卡尔曼滤波器逐帧处理数据关联性，并使用匈牙利算法对检测器的输出进行目标筛选与跨帧匹配；S524、利用卷神经网络重识别目标跟踪数据集，并引入中心损失函数对重识别数据集进行训练，构建多目标跟踪模型；
S53、所述第二相机记录所述工程控制机返回的真值信号时的被检测物体的中心点及其坐标信息；
S54、将连续两个中心点坐标的进行连线，拟合螺栓装配的轨迹图。
6.根据权利要求5所述的基于深度视觉和多传感器技术的工序检测方法，其特征在于，所述递归卡尔曼滤波器的算法公式为：
Figure FDA0003534828490000031
Figure FDA0003534828490000032
ci,j＝λm(i,j)+(1-λ)n(i,j)；
其中，m(i,j)表示信息匹配结果，mj表示第j个检测框的位置，yi表示第i个追踪器对目标位置的预测，Si表示检测位置与平均追踪位置之间的协方差矩阵，n(i,j)表示余弦距离度量结果，rj表示对mj个检测块提取的特征向量，Ri表示外观特征向量库，Ci,j表示马氏距离与余弦距离度量进行线性加权得到的最终度量。
7.根据权利要求6所述的基于深度视觉和多传感器技术的工序检测方法，其特征在于，所述中心损失函数的计算公式为：
Figure FDA0003534828490000041
其中，Lc_c1表示交叉熵损失函数，h表示网络特征输出，C表示分类类别，N表示样本个数，cyi表示第yi类所有深度特征的中心值，xi表示输入的图像特征，Nb表示批大小，γ表示使用标量。
8.根据权利要求7所述的基于深度视觉和多传感器技术的工序检测方法，其特征在于，所述悬挂式打枪机装设于装配平台上，用于对所述拧紧螺栓进行装配操作，所述悬挂式打枪机上还设置有空间坐标定位系统，用于测量其空间位置，并传输所述悬挂式打枪机的空间坐标至所述工程控制机，通过所述工程控制机判断移动的悬挂式打枪机的空间位置是否与所述装配平台上的所述拧紧螺栓的空间坐标重合，根据两者的位置关系控制所述悬挂式打枪机的启动与否，所述悬挂式打枪机包括固定基座、夹持装置和旋转驱动装置，所述固定基座支撑安装在所述装配平台上，所述夹持装置包括机械臂和旋转机构，所述机械臂的一端可滑动设置于所述固定基座，另一端与所述旋转机构连接。
9.根据权利要求8所述的基于深度视觉和多传感器技术的工序检测方法，其特征在于，还包括可以用于机器学习的样本库，所述样本库的样本采集方式如下：对所述基础图像数据内检测到的螺栓进行计数和位置记录，所述悬挂式打枪机对当前螺栓的扭矩值进行记录，将所述基础图像数据按时间标签进行图片提取，将所述图片、螺栓数量、螺栓位置、扭矩值、空间坐标位置均按照时间标签存储于所述用于机器学习的样本库。
10.根据权利要求9所述的基于深度视觉和多传感器技术的工序检测方法，其特征在于，所述基础图像数据为所述第一相机拍摄的俯视图RGB彩色图像以及所述第二相机拍摄的所述螺栓的装配体的灰度图像，图像处理的过程包括第一主流程和第二主流程，所述第一主流程用于处理所述RGB彩色图像，所述第二主流程用于处理所述灰度图像，判断所述第一主流程得到的所述拧紧顺序与所述第二主流程得到的所述螺栓拧紧轨迹图的逻辑是否一致，并输出螺栓拧紧顺序是否正确的判断结果。
CN202210223765.6A 2022-03-07 2022-03-07 基于深度视觉和多传感器技术的工序检测方法 Active CN114612419B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210223765.6A CN114612419B (zh) 2022-03-07 2022-03-07 基于深度视觉和多传感器技术的工序检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210223765.6A CN114612419B (zh) 2022-03-07 2022-03-07 基于深度视觉和多传感器技术的工序检测方法

Publications (2)

Publication Number Publication Date
CN114612419A true CN114612419A (zh) 2022-06-10
CN114612419B CN114612419B (zh) 2023-04-18

Family

ID=81860400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210223765.6A Active CN114612419B (zh) 2022-03-07 2022-03-07 基于深度视觉和多传感器技术的工序检测方法

Country Status (1)

Country Link
CN (1) CN114612419B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104931185A (zh) * 2015-06-02 2015-09-23 北京天源科创风电技术有限责任公司 螺栓安装工艺性能评估方法及设备
CN110929578A (zh) * 2019-10-25 2020-03-27 南京航空航天大学 一种基于注意力机制的抗遮挡行人检测方法
CN111507261A (zh) * 2020-04-17 2020-08-07 无锡雪浪数制科技有限公司 一种基于视觉目标定位的工序操作质量监控方法
CN111640104A (zh) * 2020-05-29 2020-09-08 研祥智慧物联科技有限公司 一种螺钉装配的视觉检测方法
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法
CN112288770A (zh) * 2020-09-25 2021-01-29 航天科工深圳（集团）有限公司 基于深度学习的视频实时多目标检测与跟踪方法和装置
CN112884033A (zh) * 2021-02-06 2021-06-01 浙江净禾智慧科技有限公司 一种基于卷积神经网络的生活垃圾分类检测方法
CN113807187A (zh) * 2021-08-20 2021-12-17 北京工业大学 基于注意力特征融合的无人机视频多目标跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104931185A (zh) * 2015-06-02 2015-09-23 北京天源科创风电技术有限责任公司 螺栓安装工艺性能评估方法及设备
CN110929578A (zh) * 2019-10-25 2020-03-27 南京航空航天大学 一种基于注意力机制的抗遮挡行人检测方法
CN111507261A (zh) * 2020-04-17 2020-08-07 无锡雪浪数制科技有限公司 一种基于视觉目标定位的工序操作质量监控方法
CN111640104A (zh) * 2020-05-29 2020-09-08 研祥智慧物联科技有限公司 一种螺钉装配的视觉检测方法
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法
CN112288770A (zh) * 2020-09-25 2021-01-29 航天科工深圳（集团）有限公司 基于深度学习的视频实时多目标检测与跟踪方法和装置
CN112884033A (zh) * 2021-02-06 2021-06-01 浙江净禾智慧科技有限公司 一种基于卷积神经网络的生活垃圾分类检测方法
CN113807187A (zh) * 2021-08-20 2021-12-17 北京工业大学 基于注意力特征融合的无人机视频多目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李庆、龚远强、张玮、张洋、刘超、李军: "用于智能垃圾分拣的注意力YOLOv4算法", 《计算机工程与应用》 *

Also Published As

Publication number Publication date
CN114612419B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110084842B (zh) 一种机器人云台伺服二次对准方法及装置
CN110910350A (zh) 一种用于风电塔筒的螺母松动检测方法
CN110136186B (zh) 一种用于移动机器人目标测距的检测目标匹配方法
CN110967014A (zh) 一种基于增强现实技术的机房室内导航和设备追踪的方法
CN110458198B (zh) 多分辨率目标识别方法及装置
CN115641553B (zh) 掘进机作业环境侵入物的在线检测装置及方法
CN111562540B (zh) 一种基于动态图像识别和分析的电能表检测监控方法
CN114399675A (zh) 一种基于机器视觉与激光雷达融合的目标检测方法和装置
CN114581760B (zh) 一种机房巡检的设备故障检测方法及系统
CN114972421A (zh) 车间物料识别追踪与定位方法、系统
CN113780246B (zh) 无人机三维航迹监测方法、系统以及三维监测装置
CN114612419B (zh) 基于深度视觉和多传感器技术的工序检测方法
CN113947754A (zh) 一种基于视觉的船舶机械运行状态监测方法、系统及存储介质
CN116110006B (zh) 一种用于智慧旅游系统的景区游客异常行为识别方法
CN109784257B (zh) 一种变压器温度表检测与识别方法
CN116935766A (zh) 一种led屏幕异常检测和数据分析方法
CN115797411A (zh) 一种利用机器视觉在线识别水电站电缆桥架形变的方法
CN115932765A (zh) 基于多源数据分析的雷达失效自动检测系统及方法
CN116310263A (zh) 一种指针式航空地平仪示数自动读取实现方法
CN113890972A (zh) 一种监控区域目标跟踪系统
CN112598738A (zh) 一种基于深度学习的人物定位方法
CN114792417B (zh) 模型训练方法、图像识别方法、装置、设备及存储介质
CN113591705B (zh) 巡检机器人仪表识别系统及方法、存储介质
CN116468373B (zh) 一种基于物联网的电厂设备仓储管理系统
US20240012394A1 (en) Location tracking system in factory and method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant