CN116309351B - 一种汽车工程物料供给加工系统 - Google Patents

一种汽车工程物料供给加工系统 Download PDF

Info

Publication number
CN116309351B
CN116309351B CN202310119620.6A CN202310119620A CN116309351B CN 116309351 B CN116309351 B CN 116309351B CN 202310119620 A CN202310119620 A CN 202310119620A CN 116309351 B CN116309351 B CN 116309351B
Authority
CN
China
Prior art keywords
target object
alignment
target
detection
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310119620.6A
Other languages
English (en)
Other versions
CN116309351A (zh
Inventor
张喆韬
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Liwei Automobile Control System Co ltd
Original Assignee
Zhejiang Liwei Automobile Control System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Liwei Automobile Control System Co ltd filed Critical Zhejiang Liwei Automobile Control System Co ltd
Priority to CN202310119620.6A priority Critical patent/CN116309351B/zh
Publication of CN116309351A publication Critical patent/CN116309351A/zh
Application granted granted Critical
Publication of CN116309351B publication Critical patent/CN116309351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本申请公开了汽车工程物料供给加工系统，汽车工程物料供给加工系统通过将参与对位的零件和对位平台进行数据采集，采集的数据用于训练目标检测模型，视觉反馈提供高速不间断的录制图像数据，图像处理装置利用目标检测模型识别零件和对位平台，同时识别是否有其他物体的目标检测信息，根据设定目标检测结果数值，判断对位连接过程中是否出现异物；再通过加入异物模型采集，对常见的异物包括飞虫、破碎零件建立异物模型，在对位过程中通过异物检测模块发现常见异物，使异物检测精度更高、速度更快。

Description

一种汽车工程物料供给加工系统
技术领域
本申请涉及汽车物料加工领域，具体涉及一种种汽车工程物料供给加工系统。
背景技术
在汽车汽车工程物料供给加工领域中，各种零件之间能否精准的对位连接，直接决定了产品的质量，以往采用人工手动对位连接时对操作人员的操作要求较高，速度较慢，连接的精度较差，随着工业的快速发展，越来越多的机械设备代替人工进行高精度、高危险的操作，其中零件加工行业的应用尤其广泛，机械设备的复现性高，提前设置好连接位置后，机械设备抓取零件移动到固定位置进行拍照确认，达到对位精度后进行零件间的连接。
目前，在零件对位连接过程中引入了视觉反馈技术，通过图像传感器高速不间断的对零件及对位平台进行检测，基于测得的位置、角度信息等信息反馈至控制器，通过控制器对零件及对位平台进行不间断的对位调整，使零件高速不停顿的完成精准的对位操作，但现有的零件对位操作对操作环境较高，因为图像传感器缺乏对异物的检测，当零件或对位平台的表面或者零件之间出现异物时，图像处理系统无法识别而容易将异物作为零件的一部分，从而导致零件对位的精度降低或在零件连接处出现异物，影响产品品质。
发明内容
本申请提出了一种汽车工程物料供给加工系统，以改善上述问题。
本申请提出了一种汽车工程物料供给加工系统，包括：
数据收集模块，所述数据收集模块用于收集参与对位连接的目标物数据集，所述目标物包括参与对位连接的所有零件和对位平台，并按基础零件、装贴零件、对位平台的分类进行标注，其中，基础零件放置在对位平台，装贴零件通过机械设备移动至对位平台与基础零件对位连接；收集完成数据集包括有：基础零件、装贴零件、对位平台的图片数据和目标物标注结果；标注结果包括目标物分类和目标物所在图像像素位置；
预处理模块，所述预处理模块用于对收集到的目标检测训练数据进行预处理，对目标物数据集合理倍增，作为模型训练数据集，并按比例划分为训练集和验证集，其中，训练集占比大于验证集；
目标物检测模型搭建及训练模块，所述目标物检测模型搭建及训练模块用于据目标物类型和特性选择合适的深度学习框架和网络结构；利用训练集对目标检测模型进行迭代训练，利用验证集进行评估，当神经网络模型达到预设的迭代训练次数，则停止训练，并将训练好的模型导出；
输出模块，所述输出模块用于输出结果，所述目标检测模型输入图片尺寸为M1*N1，输出结果为目标类型以及目标检测框位置；再将训练好的目标检测模型设置存储在检测中心的检测服务器，作为后续进行目标检测所需的模型；以及
异物检测模块，所述异物检测模块用于基于训练好的目标检测模型利用目标检测算法对采集到的视频图像帧进行目标物检测，识别并框出检测到的目标物。
在一些实施方式中，所述异物检测模块还包括：
常见异物模型采集模块，所述常见异物模型采集模块用于收集常见异物视频数据，对收集到的常见异物视频进行标注，标注信息包括：异物类型，再对常见异物视频数据进行预处理，包括但不限于降噪、降帧和裁剪变换；
目标检测模块，所述目标检测模块用于基于训练好的目标检测模型，利用目标检测算法对视频图像帧进行目标检测，识别目标物，并框出检测到的目标物，输出对应特征，再利用目标检测算法，进目标物检测与异物检测，识别出目标物位置和是否有异物。
在一些实施方式中，所述异物检测模块还包括破碎零件识别模块。
在一些实施方式中，所述破碎零件识别模块包括：
裁剪模块，所述裁剪模块用于将图片数据中的目标物像素位置进行局部放大预处理到图片尺寸M1*N1，将放大后的目标物图片裁剪，裁剪方式包括按照目标物内部连接位置裁剪、均分裁剪，将目标物裁剪为若干图片；
图片预处理模块，所述图片预处理模块用于对裁剪完成的若干图片数据进行预处理，包括但不限于降噪、重采样和裁剪变换，并对若干图片进行标注，对目标物数据集合理倍增，作为异物检测模块训练数据集；以及
识别模块，所述识别模块用于通过图像处理检测装置对进行目标物检测，识别并框出基础零件、装贴零件和对位平台的若干图片，再使用异物检测模块识别若干图片能否组成完整的基础零件、装贴零件和对位平台，组成完成的基础零件、装贴零件和对位平台规定为目标物，缺少图片而无法组成完成的基础零件、装贴零件和对位平台规定为破碎零件。
在一些实施方式中，所述图像传感器识别异物位置，当异物没有位于对位平台区域时，则继续进行对位连接操作。
在一些实施方式中，所述汽车工程物料供给加工系统还包括喷气装置，所述喷气装置在所述图像传感器识别异物位于对位平台区域时，向对位平台区域进行喷气。
在一些实施方式中，所述目标物检测模型搭建及训练模块还用于对目标物检测模型使用深度学习模型剪枝算法进行模型裁剪。
在一些实施方式中，所述预处理模块的处理方式包括但不限于降噪、重采样和裁剪变换。
在一些实施方式中，所述目标物为汽车工程物料。
在一些实施方式中，所述汽车工程物料供给加工系统还包括显示模块，所述显示模块用于显示目标物。
与现有技术相比，本发明的有益效果：
在本申请的实施方式中引入异物检测，扩大零件对位连接的场地，现有的对位过程难以处理异物，因此通常只能在专门的无尘封闭场地进行，该场地造价高且不方便实施，通过检测对位过程中是否存在异物，不存在异物进行对位操作，存在异物则通知操作人员进行简单的异物清除工作，不必再设置专门的无尘封闭场地进行进行零件的对位连接，有效降低生产成本。具体的通过将参与对位的零件和对位平台进行数据采集，采集的数据用于训练目标检测模型，视觉反馈提供高速不间断的录制图像数据，图像处理装置利用目标检测模型识别零件和对位平台，同时识别是否有其他物体的目标检测信息，根据设定目标检测结果数值，判断对位连接过程中是否出现异物；加入异物模型采集，对常见的异物包括飞虫、破碎零件建立模型，在对位过程中异物检测模块发现常见异物，使异物检测精度更高、速度更快；进一步的因为破碎零件属于完整零件的一部分，异物检测较为困难，但破碎零件被当做完整零件进行对位连接就会出现残次零件，因此对破碎零件进行进一步的识别，具体通过将目标物图片进行局部放大后裁剪得到若干图片，最后异物检测模块识别若干图片能否组成完整的基础零件、装贴零件和对位平台，如缺少图片而无法组成完成的基础零件、装贴零件和对位平台则规定为破碎零件；最后由于对位平台上通常出现的都是一些飞虫等质量较轻的异物，这时可以通过喷气装置进行喷气，通过气流将异物吓出或吹出对位平台区域，异物出现在装贴零件的移动区域不影响最后的对位连接，因此只要异物没有在对位平台区域就可以进行下一步操作，如没有将异物吹出对位平台区域，再通知操作人员进行异物去除，这样的实施方式可以减少通知操作人员次数，有效减少操作人员的工作量。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请提出的一种汽车工程物料供给加工系统的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提出了一种汽车工程物料供给加工系统，包括：
数据收集模块，所述数据收集模块用于收集参与对位连接的目标物数据集，所述目标物包括参与对位连接的所有零件和对位平台，并按基础零件、装贴零件、对位平台的分类进行标注，其中，基础零件放置在对位平台，装贴零件通过机械设备移动至对位平台与基础零件对位连接；收集完成数据集包括有：基础零件、装贴零件、对位平台的图片数据和目标物标注结果；标注结果包括目标物分类和目标物所在图像像素位置；
预处理模块，所述预处理模块用于对收集到的目标检测训练数据进行预处理，对目标物数据集合理倍增，作为模型训练数据集，并按比例划分为训练集和验证集，其中，训练集占比大于验证集；
目标物检测模型搭建及训练模块，所述目标物检测模型搭建及训练模块用于据目标物类型和特性选择合适的深度学习框架和网络结构；利用训练集对目标检测模型进行迭代训练，利用验证集进行评估，当神经网络模型达到预设的迭代训练次数，则停止训练，并将训练好的模型导出；
输出模块，所述输出模块用于输出结果，所述目标检测模型输入图片尺寸为M1*N1，输出结果为目标类型以及目标检测框位置；再将训练好的目标检测模型设置存储在检测中心的检测服务器，作为后续进行目标检测所需的模型；以及
异物检测模块，所述异物检测模块用于基于训练好的目标检测模型利用目标检测算法对采集到的视频图像帧进行目标物检测，识别并框出检测到的目标物。
在一些实施方式中，所述异物检测模块还包括：
常见异物模型采集模块，所述常见异物模型采集模块用于收集常见异物视频数据，对收集到的常见异物视频进行标注，标注信息包括：异物类型，再对常见异物视频数据进行预处理，包括但不限于降噪、降帧和裁剪变换；
目标检测模块，所述目标检测模块用于基于训练好的目标检测模型，利用目标检测算法对视频图像帧进行目标检测，识别目标物，并框出检测到的目标物，输出对应特征，再利用目标检测算法，进目标物检测与异物检测，识别出目标物位置和是否有异物。
在一些实施方式中，所述异物检测模块还包括破碎零件识别模块。
在一些实施方式中，所述破碎零件识别模块包括：
裁剪模块，所述裁剪模块用于将图片数据中的目标物像素位置进行局部放大预处理到图片尺寸M1*N1，将放大后的目标物图片裁剪，裁剪方式包括按照目标物内部连接位置裁剪、均分裁剪，将目标物裁剪为若干图片；
图片预处理模块，所述图片预处理模块用于对裁剪完成的若干图片数据进行预处理，包括但不限于降噪、重采样和裁剪变换，并对若干图片进行标注，对目标物数据集合理倍增，作为异物检测模块训练数据集；以及
识别模块，所述识别模块用于通过图像处理检测装置对进行目标物检测，识别并框出基础零件、装贴零件和对位平台的若干图片，再使用异物检测模块识别若干图片能否组成完整的基础零件、装贴零件和对位平台，组成完成的基础零件、装贴零件和对位平台规定为目标物，缺少图片而无法组成完成的基础零件、装贴零件和对位平台规定为破碎零件。
在一些实施方式中，所述图像传感器识别异物位置，当异物没有位于对位平台区域时，则继续进行对位连接操作。
在一些实施方式中，所述汽车工程物料供给加工系统还包括喷气装置，所述喷气装置在所述图像传感器识别异物位于对位平台区域时，向对位平台区域进行喷气。
在一些实施方式中，所述目标物检测模型搭建及训练模块还用于对目标物检测模型使用深度学习模型剪枝算法进行模型裁剪。
在一些实施方式中，所述预处理模块的处理方式包括但不限于降噪、重采样和裁剪变换。
在一些实施方式中，所述目标物为汽车工程物料。
在一些实施方式中，所述汽车工程物料供给加工系统还包括显示模块，所述显示模块用于显示目标物。
与现有技术相比，本发明的有益效果：
在本申请的实施方式中引入异物检测，扩大零件对位连接的场地，现有的对位过程难以处理异物，因此通常只能在专门的无尘封闭场地进行，该场地造价高且不方便实施，通过检测对位过程中是否存在异物，不存在异物进行对位操作，存在异物则通知操作人员进行简单的异物清除工作，不必再设置专门的无尘封闭场地进行进行零件的对位连接，有效降低生产成本。具体的通过将参与对位的零件和对位平台进行数据采集，采集的数据用于训练目标检测模型，视觉反馈提供高速不间断的录制图像数据，图像处理装置利用目标检测模型识别零件和对位平台，同时识别是否有其他物体的目标检测信息，根据设定目标检测结果数值，判断对位连接过程中是否出现异物；加入异物模型采集，对常见的异物包括飞虫、破碎零件建立模型，在对位过程中异物检测模块发现常见异物，使异物检测精度更高、速度更快；进一步的因为破碎零件属于完整零件的一部分，异物检测较为困难，但破碎零件被当做完整零件进行对位连接就会出现残次零件，因此对破碎零件进行进一步的识别，具体通过将目标物图片进行局部放大后裁剪得到若干图片，最后异物检测模块识别若干图片能否组成完整的基础零件、装贴零件和对位平台，如缺少图片而无法组成完成的基础零件、装贴零件和对位平台则规定为破碎零件；最后由于对位平台上通常出现的都是一些飞虫等质量较轻的异物，这时可以通过喷气装置进行喷气，通过气流将异物吓出或吹出对位平台区域，异物出现在装贴零件的移动区域不影响最后的对位连接，因此只要异物没有在对位平台区域就可以进行下一步操作，如没有将异物吹出对位平台区域，再通知操作人员进行异物去除，这样的实施方式可以减少通知操作人员次数，有效减少操作人员的工作量。
本申请还提出了一种汽车工程物料异物处理方法，包括零件及对位平台模型采集部分和异物检测部分，其中零件及对位平台模型采集主要流程如下：
步骤一、零件及对位平台数据集收集：收集参与对位连接的目标物数据集，所述目标物包括参与对位连接的所有零件和对位平台，并按基础零件、装贴零件、对位平台的分类进行标注，其中，基础零件放置在对位平台，装贴零件通过机械设备移动至对位平台与基础零件对位连接；收集完成数据集包括有：基础零件、装贴零件、对位平台的图片数据和目标物标注结果；标注结果包括目标物分类和目标物所在图像像素位置；
步骤二、目标物数据集预处理：对收集到的目标检测训练数据进行预处理，包括但不限于降噪、重采样和裁剪变换，将图片数据中的图片尺寸M*N都预处理到M1*N1；对目标物数据集合理倍增，作为模型训练数据集，并按比例划分为训练集和验证集，其中，训练集占比大于验证集；
步骤三、目标物检测模型搭建及训练：根据目标物类型和特性选择合适的深度学习框架和网络结构；利用训练集对目标检测模型进行迭代训练，利用验证集进行评估防止过拟合和梯度发散，当神经网络模型对验证集的目标检测效果不再变好或是达到预设的迭代训练次数，则停止训练，并将训练好的模型导出；
步骤四、输出训练好的目标检测模型：所述目标检测模型输入图片尺寸为M1*N1，输出结果为目标类型以及目标检测框位置；再将训练好的目标检测模型传输部署并存储到检测中心的检测服务器，作为后续进行目标检测所需的模型；
异物检测部分主要流程如下：
步骤五、在检测中心设置检测服务器、数据存储服务器和图像处理装置，在图像采集端安装图像传感器和图像记录存储回传设备，图像传感器与图像记录存储回传设备连接，检测服务器与图像记录存储回传设备连接，图像处理装置与检测服务器连接，检测服务器和数据存储服务器连接；
图像传感器采集零件对位过程的图像监控数据，并将图像监控数据传输到图像记录存储回传设备进行数据存储，图像记录存储回传设备将该存储的数据传输到检测中心的数据存储服务器；
步骤六、检测服务器对数据存储服务器中的图像监控数据进行预处理，包括但不限于降噪、降帧和裁剪变换；基于训练好的目标检测模型利用目标检测算法对采集到的视频图像帧进行目标物检测，识别并框出检测到的目标物；
步骤七、图像处理装置通过训练好的目标检测模型利用目标检测算法对图像监控数据进行目标物检测，识别出基础零件、装贴零件和对位平台，并识别是否有其他物体的目标检测信息；将其他物体的目标检测信息作为计算的识别关键点参数进行计算，得到目标检测结果数值；
步骤八、根据设定目标检测结果数值，判断对位连接过程中是否出现异物，进而得到对位连接是否可行的检测结果，对位可行则在对位平台进行对位连接，对位不可行则通知操作人员进行异物去除，并在数据库服务器记录存储。
在本申请的实施方式中引入异物检测，扩大零件对位连接的场地，现有的对位过程难以处理异物，因此通常只能在专门的无尘封闭场地进行，该场地造价高且不方便实施，通过检测对位过程中是否存在异物，不存在异物进行对位操作，存在异物则通知操作人员进行简单的异物清除工作，不必再设置专门的无尘封闭场地进行进行零件的对位连接，有效降低生产成本。具体的通过将参与对位的零件和对位平台进行数据采集，采集的数据用于训练目标检测模型，视觉反馈提供高速不间断的录制图像数据，图像处理装置利用目标检测模型识别零件和对位平台，同时识别是否有其他物体的目标检测信息，根据设定目标检测结果数值，判断对位连接过程中是否出现异物。
在一些可选的实施方式中，异物检测部分之前还包括有常见异物模型采集部分，
常见异物模型采集主要流程如下：
步骤A、收集常见异物视频数据，对收集到的常见异物视频进行标注，标注信息包括：异物类型，再对常见异物视频数据进行预处理，包括但不限于降噪、降帧和裁剪变换；
步骤B、基于训练好的目标检测模型，利用目标检测算法对视频图像帧进行目标检测，识别目标物，并框出检测到的目标物，输出对应特征，再利用目标检测算法，进目标物检测与异物检测，识别出目标物位置和是否有异物；
步骤C、基于目标检测信息计算特征参数，选择分类器模型，将计算的特征结合步骤A中的标注结果进行异物检测模块训练，训练完成后部署至进行检测中心和检测服务器上。
在一些可选的实施方式中，所述常见异物主要包括有飞虫、破碎零件。
在一些可选的实施方式中，所述破碎零件通过以下步骤进行识别：
步骤a、将图片数据中的目标物像素位置进行局部放大预处理到图片尺寸M1*N1，将放大后的目标物图片裁剪，裁剪方式包括按照目标物内部连接位置裁剪、均分裁剪，将目标物裁剪为若干图片；
步骤b、对裁剪完成的若干图片数据进行预处理，包括但不限于降噪、重采样和裁剪变换，并对若干图片进行标注，对目标物数据集合理倍增，作为异物检测模块训练数据集；
步骤c、使用训练好的目标检测模型利用目标检测算法，通过图像处理检测装置对进行目标物检测，识别并框出基础零件、装贴零件和对位平台的若干图片，再使用异物检测模块识别若干图片能否组成完整的基础零件、装贴零件和对位平台，组成完成的基础零件、装贴零件和对位平台规定为目标物，缺少图片而无法组成完成的基础零件、装贴零件和对位平台规定为破碎零件。
在一些可选的实施方式中，所述图像传感器识别异物位置，当异物没有位于对位平台区域时，则继续进行对位连接操作。
在本申请的实施方式中加入异物模型采集，对常见的异物包括飞虫、破碎零件建立模型，在对位过程中异物检测模块发现常见异物，使异物检测精度更高、速度更快，进一步的因为破碎零件属于完整零件的一部分，异物检测较为困难，但破碎零件被当做完整零件进行对位连接就会出现残次零件，因此对破碎零件进行进一步的识别，具体通过将目标物图片进行局部放大后裁剪得到若干图片，最后异物检测模块识别若干图片能否组成完整的基础零件、装贴零件和对位平台，如缺少图片而无法组成完成的基础零件、装贴零件和对位平台则规定为破碎零件。
在一些可选的实施方式中，所述图像传感器识别异物位置，异物位于对位平台区域时，首先通过喷气装置向对位平台区域进行喷气，如通过气流将异物吹出对位平台区域，图像处理装置显示没有异物，则对位连接操作继续，如没有将异物吹出对位平台区域，则通知操作人员进行异物去除。
对位平台上通常出现的都是一些飞虫等质量较轻的异物，这时可以通过喷气装置进行喷气，通过气流将异物吓出或吹出对位平台区域，异物出现在装贴零件的移动区域不影响最后的对位连接，因此只要异物没有在对位平台区域就可以进行下一步操作，如没有将异物吹出对位平台区域，再通知操作人员进行异物去除，这样的实施方式可以减少通知操作人员次数，有效减少操作人员的工作量。
在一些可选的实施方式中，所述装贴零件通过机械设备移动至对位平台与基础零件对位连接为组合零件，组合零件如还需与其他装贴零件对位连接，则该组合零件作为基础零件进行标注。这样是实施方式可以使零件可以在同一对位平台进行多次对位连接，第一次对位连接后装贴零件也作为组合零件的一部分归为基础零件。
在一些可选的实施方式中，所述步骤三中对目标物检测模型使用深度学习模型剪枝算法进行模型裁剪，对主干网络进行冗余删除，降低输入网络大小。
如图1所示，示意性地示出了本申请实施例提供的汽车工程物料供给加工系统200。该装置200包括：包括图像采集端201和检测中心202，所述图像采集端201包括图像传感器203和图像记录存储回传设备204，所述检测中心202包括检测服务器205、数据存储服务器206和图片处理装置207，所述图像传感器203用于采集零件对位过程的图像监控数据，并将所述图像监控数据传输到所述图像记录存储回传设备204进行数据存储，所述图像记录存储回传设备204将该存储的数据传输到检测中心202的所述数据存储服务器206，所述检测服务器205对所述数据存储服务器206中的图像监控数据进行预处理，包括但不限于降噪、降帧和裁剪变换；所述图片处理装置207一种基于视觉反馈的图像处理方法中的目标检测模型对采集到的视频图像帧进行目标物检测。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (9)

1.一种汽车工程物料供给加工系统，其特征在于，包括：
数据收集模块，所述数据收集模块用于收集参与对位连接的目标物数据集，所述目标物包括参与对位连接的所有零件和对位平台，并按基础零件、装贴零件、对位平台的分类进行标注，其中，基础零件放置在对位平台，装贴零件通过机械设备移动至对位平台与基础零件对位连接；收集完成数据集包括有：基础零件、装贴零件、对位平台的图片数据和目标物标注结果；标注结果包括目标物分类和目标物所在图像像素位置；
预处理模块，所述预处理模块用于对收集到的目标检测训练数据进行预处理，对目标物数据集合理倍增，作为模型训练数据集，并按比例划分为训练集和验证集，其中，训练集占比大于验证集；
目标物检测模型搭建及训练模块，所述目标物检测模型搭建及训练模块用于据目标物类型和特性选择合适的深度学习框架和网络结构；利用训练集对目标物检测模型进行迭代训练，利用验证集进行评估，当神经网络模型达到预设的迭代训练次数，则停止训练，并将训练好的模型导出；
输出模块，所述输出模块用于输出结果，所述目标物检测模型输入图片尺寸为M1*N1，输出结果为目标类型以及目标检测框位置；再将训练好的目标物检测模型设置存储在检测中心的检测服务器，作为后续进行目标检测所需的模型；以及
异物检测模块，所述异物检测模块用于基于训练好的目标物检测模型利用目标检测算法对采集到的视频图像帧进行目标物检测，识别并框出检测到的目标物,其中，所述异物检测模块包括：
常见异物模型采集模块，所述常见异物模型采集模块用于收集常见异物视频数据，对收集到的常见异物视频进行标注，标注信息包括：异物类型，再对常见异物视频数据进行预处理，包括降噪、降帧和裁剪变换；
目标检测模块，所述目标检测模块用于基于训练好的目标物检测模型，利用目标检测算法对视频图像帧进行目标检测，识别目标物，并框出检测到的目标物，输出对应特征，再利用目标检测算法，进目标物检测与异物检测，识别出目标物位置和是否有异物。
2.根据权利要求1所述的汽车工程物料供给加工系统，其特征在于，所述异物检测模块还包括破碎零件识别模块。
3.根据权利要求2所述的汽车工程物料供给加工系统，其特征在于，所述破碎零件识别模块包括：
裁剪模块，所述裁剪模块用于将图片数据中的目标物像素位置进行局部放大预处理到图片尺寸M1*N1，将放大后的目标物图片裁剪，裁剪方式包括按照目标物内部连接位置裁剪或均分裁剪，将目标物裁剪为若干图片；
图片预处理模块，所述图片预处理模块用于对裁剪完成的若干图片数据进行预处理，包括降噪、重采样和裁剪变换，并对若干图片进行标注，对目标物数据集合理倍增，作为异物检测模块训练数据集；以及
识别模块，所述识别模块用于进行目标物检测，识别并框出基础零件、装贴零件和对位平台的若干图片，再使用异物检测模块识别若干图片能否组成完整的基础零件、装贴零件和对位平台，组成完成的基础零件、装贴零件和对位平台规定为目标物，缺少图片而无法组成完成的基础零件、装贴零件和对位平台规定为破碎零件。
4.根据权利要求3所述的汽车工程物料供给加工系统，其特征在于，图像传感器识别异物位置，当异物没有位于对位平台区域时，则继续进行对位连接操作。
5.根据权利要求4所述的汽车工程物料供给加工系统，其特征在于，所述汽车工程物料供给加工系统还包括喷气装置，所述喷气装置在所述图像传感器识别异物位于对位平台区域时，向对位平台区域进行喷气。
6.根据权利要求5所述的汽车工程物料供给加工系统，其特征在于，所述目标物检测模型搭建及训练模块还用于对目标物检测模型使用深度学习模型剪枝算法进行模型裁剪。
7.根据权利要求6所述的汽车工程物料供给加工系统，其特征在于，所述预处理模块的处理方式包括降噪、重采样和裁剪变换。
8.根据权利要求7所述的汽车工程物料供给加工系统，其特征在于，所述目标物为汽车工程物料。
9.根据权利要求8所述的汽车工程物料供给加工系统，其特征在于，所述汽车工程物料供给加工系统还包括显示模块，所述显示模块用于显示目标物。
CN202310119620.6A 2023-02-15 2023-02-15 一种汽车工程物料供给加工系统 Active CN116309351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310119620.6A CN116309351B (zh) 2023-02-15 2023-02-15 一种汽车工程物料供给加工系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310119620.6A CN116309351B (zh) 2023-02-15 2023-02-15 一种汽车工程物料供给加工系统

Publications (2)

Publication Number Publication Date
CN116309351A CN116309351A (zh) 2023-06-23
CN116309351B true CN116309351B (zh) 2023-11-21

Family

ID=86795181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310119620.6A Active CN116309351B (zh) 2023-02-15 2023-02-15 一种汽车工程物料供给加工系统

Country Status (1)

Country Link
CN (1) CN116309351B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325872A (zh) * 2020-01-21 2020-06-23 和智信(山东)大数据科技有限公司 基于计算机视觉的司机驾驶异常检测设备及检测方法
CN112330646A (zh) * 2020-11-12 2021-02-05 南京优视智能科技有限公司 一种基于二维图像的动车车底异常检测方法
CN112529928A (zh) * 2020-12-28 2021-03-19 晟通科技集团有限公司 零件组装检测方法、计算机设备及存储介质
CN112819796A (zh) * 2021-02-05 2021-05-18 杭州天宸建筑科技有限公司 烟丝异物识别方法及设备
CN114529880A (zh) * 2020-11-09 2022-05-24 中南大学 一种城市轨道异物侵限检测方法、装置、系统及存储介质
CN115294048A (zh) * 2022-08-01 2022-11-04 苏州小凌互联科技有限公司 一种异物检测方法、装置、设备及存储介质
CN115601682A (zh) * 2022-10-31 2023-01-13 煤炭科学技术研究院有限公司（Cn） 井下皮带运输机异物检测方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325872A (zh) * 2020-01-21 2020-06-23 和智信(山东)大数据科技有限公司 基于计算机视觉的司机驾驶异常检测设备及检测方法
CN114529880A (zh) * 2020-11-09 2022-05-24 中南大学 一种城市轨道异物侵限检测方法、装置、系统及存储介质
CN112330646A (zh) * 2020-11-12 2021-02-05 南京优视智能科技有限公司 一种基于二维图像的动车车底异常检测方法
CN112529928A (zh) * 2020-12-28 2021-03-19 晟通科技集团有限公司 零件组装检测方法、计算机设备及存储介质
CN112819796A (zh) * 2021-02-05 2021-05-18 杭州天宸建筑科技有限公司 烟丝异物识别方法及设备
CN115294048A (zh) * 2022-08-01 2022-11-04 苏州小凌互联科技有限公司 一种异物检测方法、装置、设备及存储介质
CN115601682A (zh) * 2022-10-31 2023-01-13 煤炭科学技术研究院有限公司（Cn） 井下皮带运输机异物检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的小目标检测模型的研究及应用;王芋人;《中国优秀硕士学位论文全文数据库》;I138-2066 *

Also Published As

Publication number Publication date
CN116309351A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN109886298B (zh) 一种基于卷积神经网络的焊缝质量检测方法
CN109239102B (zh) 一种基于cnn的柔性电路板外观缺陷检测方法
CN104992449B (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
US11508057B2 (en) Inspection system and method for vehicle underbody
CN111080622A (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
KR20160054543A (ko) 표면 결함의 검출을 위한 검사 시스템을 테스트하기 위한 방법 및 장치
EP4195142A1 (en) System for detecting the defects of the wooden boards and their classification into quality classes
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
CN115035092A (zh) 基于图像的瓶体检测方法、装置、设备及存储介质
CN110728269B (zh) 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
JP6011228B2 (ja) マーキングされた鋼材の製造方法、欠陥マーキング装置、欠陥マーキング鋼材及び欠陥マーキング鋼材使用方法
CN111223081A (zh) 基于深度学习的零件开孔识别与检测方法及系统
CN116309351B (zh) 一种汽车工程物料供给加工系统
EP4201579A1 (de) Verfahren und vorrichtung zum schneiden und entnehmen von teilen
Patel et al. Using machine learning to analyze image data from advanced manufacturing processes
CN117392097A (zh) 基于改进YOLOv8算法的增材制造工艺缺陷检测方法和系统
DE102018006764B4 (de) Verfahren und system(e) für das management von frachtfahrzeugen
DE102019130154A1 (de) Verfahren zum visuellen Unterstützen eines Handhabungsvorgangs und Flachbettwerkzeugmaschine
CN116342540A (zh) 包装膜缺陷检测方法、装置、设备及存储介质
WO2019063246A1 (de) Erkennungssystem, arbeitsverfahren und trainingsverfahren zum erzeugen eines 3d-modells mit referenzdaten
JP2004527048A (ja) 記録情報の同定方法
CN114563412A (zh) 一种转向架装配质量检测方法
JP2019142304A (ja) 落下物検出装置及び落下物検出方法
DE102020214803A1 (de) Spritzguss-System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant