CN116119275A - 一种基于多模型级联的钢背表面检测的生产线控制系统 - Google Patents

一种基于多模型级联的钢背表面检测的生产线控制系统 Download PDF

Info

Publication number
CN116119275A
CN116119275A CN202211147104.6A CN202211147104A CN116119275A CN 116119275 A CN116119275 A CN 116119275A CN 202211147104 A CN202211147104 A CN 202211147104A CN 116119275 A CN116119275 A CN 116119275A
Authority
CN
China
Prior art keywords
sorting
steel
steel back
control unit
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211147104.6A
Other languages
English (en)
Inventor
张永波
熊文生
岳德梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rizhao Polytechnic
Original Assignee
Rizhao Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rizhao Polytechnic filed Critical Rizhao Polytechnic
Priority to CN202211147104.6A priority Critical patent/CN116119275A/zh
Publication of CN116119275A publication Critical patent/CN116119275A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G37/00—Combinations of mechanical conveyors of the same kind, or of different kinds, of interest apart from their application in particular machines or use in particular manufacturing processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C13/00—Means for manipulating or holding work, e.g. for separate articles
    • B05C13/02—Means for manipulating or holding work, e.g. for separate articles for particular articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C5/00—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C9/00—Apparatus or plant for applying liquid or other fluent material to surfaces by means not covered by any preceding group, or in which the means of applying the liquid or other fluent material is not important
    • B05C9/08—Apparatus or plant for applying liquid or other fluent material to surfaces by means not covered by any preceding group, or in which the means of applying the liquid or other fluent material is not important for applying liquid or other fluent material and performing an auxiliary operation
    • B05C9/10—Apparatus or plant for applying liquid or other fluent material to surfaces by means not covered by any preceding group, or in which the means of applying the liquid or other fluent material is not important for applying liquid or other fluent material and performing an auxiliary operation the auxiliary operation being performed before the application
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/22—Devices influencing the relative position or the attitude of articles during transit by conveyors
    • B65G47/24—Devices influencing the relative position or the attitude of articles during transit by conveyors orientating the articles
    • B65G47/248—Devices influencing the relative position or the attitude of articles during transit by conveyors orientating the articles by turning over or inverting them
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/22—Devices influencing the relative position or the attitude of articles during transit by conveyors
    • B65G47/24—Devices influencing the relative position or the attitude of articles during transit by conveyors orientating the articles
    • B65G47/256—Devices influencing the relative position or the attitude of articles during transit by conveyors orientating the articles removing incorrectly orientated articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/22—Devices influencing the relative position or the attitude of articles during transit by conveyors
    • B65G47/26—Devices influencing the relative position or the attitude of articles during transit by conveyors arranging the articles, e.g. varying spacing between individual articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/34—Devices for discharging articles or materials from conveyor 
    • B65G47/42—Devices for discharging articles or materials from conveyor  operated by article or material being conveyed and discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B65G2201/0214—Articles of special size, shape or weigh
    • B65G2201/022—Flat
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0208—Control or detection relating to the transported articles
    • B65G2203/0225—Orientation of the article
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0208—Control or detection relating to the transported articles
    • B65G2203/0258—Weight of the article
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/042—Sensors
    • B65G2203/044—Optical
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Factory Administration (AREA)

Abstract

本发明公开了一种基于多模型级联的钢背表面检测的生产线控制系统，所述控制系统包括自动上料输送控制单元，清洗排序输送控制单元，清洗下料输送控制单元，喷砂上料输送控制单元，喷砂下料输送控制单元，转运排序输送控制单元，分拣翻转输送控制单元，所述第一分拣视觉系统包括两个光轴平行的相机和一个图谱投射器，喷胶排序控制单元，烘干下料分拣控制单元，所述控制系统还包括总控制中心，控制中心分别与第一单片机至第九单片机连接。本发明的有益效果是：实现了整个生产线设备的自动化连接的控制运行，解决了钢背的排序，排队，称重，连续生产，统一钢背的表面喷胶，实现了钢背正反面的识别分拣和类型的识别分拣并实现了成品的自动分类。

Description

一种基于多模型级联的钢背表面检测的生产线控制系统
技术领域
本发明属于刹车片生产的技术范畴，尤其涉及应用于刹车片中钢背生产中表面处理的一种基于多模型级联的钢背表面检测的生产线控制系统。
背景技术
目前，在刹车片生产过程中，钢背表面处理包括清洗、喷砂和喷胶固化，这一过程由清洗机，喷砂机和喷胶烘干机来完成，而工序之间的周转和排序由人工完成，随着汽车保有量的持续增加，钢背作为汽车的易耗零件，其市场需求量也随之增大，而目前的生产方式严重制约着钢背的生产效率。
发明者发明了一种钢背表面处理自动生产线(CN202110398840.8)，为保证实现钢背表面处理加工的自动化生产，提高生产效率，保证生产质量，还存在需要对钢背进行排序，输送，供料，尤其是对不同种类，不同型号的钢背进行排序并区分，同时还要对正面和反面进行区分、分拣等控制问题。
发明内容
本发明要实现的目标是：实现对一种钢背表面处理自动生产线的控制，并对钢背进行排序，输送，供料，对不同种类，不同型号的钢背进行排序并区分，同时可以对钢背的正面和反面进行区分，并实现分拣。
为了实现上述目标，本发明提供一种基于多模型级联的钢背表面检测的生产线控制系统。
本发明所采用的具体技术方案为：
一种基于多模型级联的钢背表面检测的生产线控制系统，所述控制系统包括：
自动上料输送控制单元，设有第一单片机，控制第一自动上料机上料和排序，并控制钢背输送机将排序完成的钢背输送给清洗机；
清洗排序输送控制单元，设有第二单片机，控制清洗机运行，同时控制第一整理装置将钢背整理成规定的矩阵队列，并控制第一钢背推料机中的第一推杆将矩阵队列的钢背推送到清洗机内的输送带上；
清洗下料输送控制单元，设有第三单片机，控制第一输送机输送清洗完成的钢背，并控制第一皮带输送机内的称重装置称重，并读取记录称重结果，称重装置的称重结果反馈控制第一皮带输送机的启停和输送速度；
喷砂上料输送控制单元，设有第四单片机，控制喷砂机运行，同时控制第二皮带输送机输送钢背至喷砂上料机进行上料，并连接喷砂机和第三单片机，根据喷砂机和第三单片机中信号判定并执行是否将钢背输送到钢背暂存缓冲装置；
喷砂下料输送控制单元，设有第五单片机，控制第三皮带输送机输送钢背；
转运排序输送控制单元，设有第六单片机，控制第二自动上料机上料和排序，并控制与第二自动上料机相连的若干板链输送机输送排序完成的钢背；
分拣翻转输送控制单元，设有第七单片机，连接控制第一分拣视觉系统、分拣器和三台分拣输送机，所述的三台分拣输送机中的第一分拣输送机直接将钢背送入下一工序，第二分拣输送机连接有翻转装置，第三分拣输送机连接回收装置；所述第七单片机控制分拣器根据分拣视觉系统的检测结果，将钢背分拣后，结果为正面的钢背进入第一分拣输送机送入一下工序，结果为反面的钢背进入第二分拣输送机后进入翻转装置翻转180度后进入下一工序，结果无法识别的钢背进入第三分拣输送机后送入回收装置；
所述第一分拣视觉系统包括两个光轴平行的相机和一个图谱投射器，分拣视觉系统利用三角测量法获取目标工件的每一点的三维坐标，在空间中进行三维建模，利用对抗-生成模型实现对异常图像的修复，依靠与标准样本的差异进行判别钢背区别特征的类型，以及判定钢背的正面、反面和钢背的种类；
喷胶排序控制单元，设有第八单片机，控制喷胶机运行，同时控制第二整理装置将钢背整理成规定的矩阵队列，并控制第二钢背推料机中的第二推杆将矩阵队列的钢背推送到喷胶机内的输送带上；
烘干下料分拣控制单元，设有第九单片机，连接控制第二分拣视觉系统、末端板链输送机，并控制末端板链输送机上的成品分拣装置。
所述控制系统还包括总控制中心，总控制中心分别与第一单片机至第九单片机连接，读取第一单片机至第九单片机所接收的来自各自所控制的设备中传感器信息，以及发送到相应设备的执行指令，并根据该相应设备前后的钢背的状况，判定所述执行指令是否执行。
进一步的，所述总控制中心获取第七单片机和第一分拣视觉系统的三维建模数据，构建像素级的卷积网络，使用滑窗的方式进行图像特征扫描，粗筛出特征区域，将三维建模数据输入卷积网络中进行特征提取，使用Softmax函数进行分类；所述对抗-生成模型的检测方法对三维建模数据修复，将出现的缺陷去除，得到完好的图像，通过特征区域判定钢背的正面、反面和钢背的种类。
进一步的，所述三维建模依据数学模型：
Figure BSA0000284750760000031
式中，UL、UR为左右两个相机的光心；
Z为场景的深度信息；
b为双目相机基准点距离；
f为相机焦距；
d为成像左右视野成像差值。
通过上述数学模型获取每个点的相对坐标值，并将这些坐标值转化成模型的点阵，完成三维建模。
进一步的，构建像素级的卷积网络包括生成器和判别器两部分；生成器是一个全卷积密集神经网络，用来模仿钢背的特征，包括若干采集模块和编译模块，采集模块用于三维建模特征提取，编译模块包含采集部分和编译部分，所述采集部分用于采集模块提取的特征，所述编译部分用于获取判别器的标准特征；判别器依据提取标准库中的钢背的标准特征，以判定生成器提取的特征。通过这个特征的初步对比，确定判别器需要提取哪种型号的标准钢背模型。
然后继续对特征进行进一步比对确定正反面和型号的验证。
进一步的，所述判别器提取标准库中的钢背的标准特征时，遍历标准库中的钢背的标准特征，并提取与采集模块提供的三维建模特征相近的标准特征。
进一步的，所述第一分拣视觉系统中的两个光轴平行的相机和一个图谱投射器，采集钢背信息时，与输送机保持一定的相对移动，从不同位姿采集不同角度的图像，分别按照上、前、右、后和左等5个方位进行采集。
进一步的，总控制中心对输送机进行运动系统标定，并对三维点云图像进行角点匹配，通过角点坐标进行坐标系转换，实现钢背运动坐标系与双目系统的三维坐标系关联，获得转换矩阵，得到被测钢背的三维模型，供采集模块进行特征提取。
进一步的，所述第一分拣视觉系统与输送机保持一定的相对移动，相对运动速度为V，0.1m/s≤V≤0.3m/s。
进一步的，第二分拣视觉系统与第一分拣视觉系统公用判别器依据提取标准库中的钢背的标准特征，以判定生成器提取的特征。
进一步的，第二分拣视觉系统提取第一分拣视觉系统的分拣结果，并对钢背标定标号，对喷胶完成的钢背拍照与第一分拣视觉系统的分拣结果和标号对比实现分拣。
本发明的积极效果是：实现了整个生产线设备的自动化连接的控制运行，解决了钢背的排序，排队，称重，连续生产，统一了钢背的表面喷胶，实现了钢背正反面的识别分拣和类型的识别分拣并实现了成品的自动分类，提高了钢背生产的效率，保证了钢背表面处理的一致性，实现了钢背的质量把控，保证了钢背的生产质量。
附图说明
图1是本发明一种基于多模型级联的钢背表面检测的生产线控制系统控制流程图；
图2是本发明一种基于多模型级联的钢背表面检测的生产线控制系统分拣系统的生成器构架流程图；
图3是本发明一种基于多模型级联的钢背表面检测的生产线控制系统分拣系统的判别器构架流程图；
图4是本发明一种基于多模型级联的钢背表面检测的生产线控制系统分拣系统的分拣判别构架流程图；
具体实施方式
下面结合附图和具体实施例对本发明进行详细描述：
具体实施例：
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述。
实施例一：
一种基于多模型级联的钢背表面检测的生产线控制系统，用于控制，用于控制专利号为CN202110398840.8的一种钢背表面处理自动生产线，本发明一种基于多模型级联的钢背表面检测的生产线控制系统，具体控制流程如图1所示。
一种基于多模型级联的钢背表面检测的生产线控制系统，包括：
自动上料输送控制单元，设有第一单片机，控制第一自动上料机上料和排序，并控制钢背输送机将排序完成的钢背输送给清洗机；
清洗排序输送控制单元，设有第二单片机，控制清洗机运行，同时控制第一整理装置将钢背整理成规定的矩阵队列，并控制第一钢背推料机中的第一推杆将矩阵队列的钢背推送到清洗机内的输送带上；
清洗下料输送控制单元，设有第三单片机，控制第一输送机输送清洗完成的钢背，并控制第一皮带输送机内的称重装置称重，并读取记录称重结果，称重装置的称重结果反馈控制第一皮带输送机的启停和输送速度；
喷砂上料输送控制单元，设有第四单片机，控制喷砂机运行，同时控制第二皮带输送机输送钢背至喷砂上料机进行上料，并连接喷砂机和第三单片机，根据喷砂机和第三单片机中信号判定并执行是否将钢背输送到钢背暂存缓冲装置；
喷砂下料输送控制单元，设有第五单片机，控制第三皮带输送机输送钢背；
转运排序输送控制单元，设有第六单片机，控制第二自动上料机上料和排序，并控制与第二自动上料机相连的若干板链输送机输送排序完成的钢背；
分拣翻转输送控制单元，设有第七单片机，连接控制第一分拣视觉系统、分拣器和三台分拣输送机，所述的三台分拣输送机中的第一分拣输送机直接将钢背送入下一工序，第二分拣输送机连接有翻转装置，第三分拣输送机连接回收装置；所述第七单片机控制分拣器根据分拣视觉系统的检测结果，将钢背分拣后，结果为正面的钢背直接进入第一分拣输送机后送入一下工序，结果为反面的钢背进入第二分拣输送机后进入翻转装置翻转180度后进入下一工序，结果无法识别的钢背进入第三分拣输送机后送入回收装置；
所述第一分拣视觉系统包括两个光轴平行的相机和一个图谱投射器，分拣视觉系统利用三角测量法获取目标工件的每一点的三维坐标，在空间中进行三维建模，利用对抗-生成模型实现对异常图像的修复，依靠与标准样本的差异进行判别钢背区别特征的种类，以及判定钢背的正面、反面和钢背的种类；所述三维建模依据数学模型：
Figure BSA0000284750760000071
式中，UL、UR为左右两个相机的光心；
Z为场景的深度信息；
b为双目相机基准点距离；
f为相机焦距；
d为成像左右视野成像差值。
通过上述数学模型获取每个点的相对坐标值，并将这些坐标值转化成模型的点阵，完成三维建模。
喷胶排序控制单元，设有第八单片机，控制喷胶机运行，同时控制第二整理装置将钢背整理成规定的矩阵队列，并控制第二钢背推料机中的第二推杆将矩阵队列的钢背推送到喷胶机内的输送带上；
烘干下料分拣控制单元，设有第九单片机，连接控制第二分拣视觉系统、末端板链输送机，并控制末端板链输送机上的成品分拣装置。
所述控制系统还包括总控制中心，控制中心分别与第一单片机至第九单片机连接，读取第一单片机至第九单片机所接收的来自各自所控制的设备中传感器信息，以及发送到相应设备的执行指令，并根据该相应设备前后的钢背的状况，判定所述执行指令是否执行。
进一步的，所述总控制中心获取第七单片机和第一分拣视觉系统的三维建模数据，构建像素级的卷积网络，使用滑窗的方式进行图像特征扫描，粗筛出特征区域，将三维建模数据输入卷积网络中进行特征提取，使用Softmax函数进行分类；所述对抗-生成模型的检测方法对三维建模数据修复，将出现的缺陷去除，得到完好的图像，通过特征区域判定钢背的正面、反面和钢背的种类。
其中，构建像素级的卷积网络包括生成器和判别器两部分；生成器是一个全卷积密集神经网络，用来模仿钢背的特征，包括若干采集模块和编译模块，采集模块用于三维建模特征提取，编译模块包含采集部分和编译部分，其中采集部分用于采集模块提取的特征，编译部分用于获取判别器的标准特征；判别器依据提取标准库中的钢背的标准特征，以判定生成器提取的特征。通过这个特征的初步对比，确定判别器需要提取哪种型号的标准钢背模型。
构建像素级的卷积网络的具体实现方法为：
(1)钢背图像预处理。两个光轴平行的相机和一个图谱投射器，利用三角测量法获取目标工件的每一点的三维坐标，在空间中进行三维建模形成钢背的图像，利用钢背与输送带的亮度差截取出钢背所在区域，生成钢背的图像，在钢背的图像中利用特征与钢背基面的高度差，对特征进行标记，将钢背的图像以及对应特征标记左右拼接形成训练图像，训练图像经过归一化操作，使得每个像素点数值可以进行后续模型训练，经过以上图像预处理操作，构成一组完备的训练集。
(2)构建像素级的卷积网络模型。该模型由生成器和判别器两部分组成。如图2所示，生成器部分是一个全卷积密集神经网络结构，包括采集模块和编译模块。采集模块是一个数据输入(Input)，输入钢背的图像，负责提取钢背的图像的特征和图像，然后是第一个卷积层(Firstconv)从输送带钢背位置的前方采集钢背的图像信息，以此类推一次从钢背的前、上、右、后和左等5个方位进行采集钢背的图像信息，然后去除模糊的图像噪点，再交给编译模块，编译模块负责整合特征图信息，反向逐层编译钢背的图像信息，并输出编译结果。
如图3所示，判别器遍历标准库中的钢背的标准特征，并提取与采集模块提供的三维建模特征相近的标准特征，输出一张与生成器给出的特征图最相近的图像，用于后续计算判别生成器给出的钢背图像是否符合该标准特征，用以实现钢背的归类和正反面判别。
如图4所示，生成器的目的是根据输入的钢背的图像带有特征标记的钢背图像，判别器的目的是对输入的带有钢背的标准特征图像和生成器生成的带有特征标记的钢背图像判别真假，生成器和判别器两者对抗训练，构成了整个密集生成对抗神经网络模型，筛选判定钢背的型号和正反面，并将信息发送个控制中心，用于控制分拣。
实施例二：
在实施例一的基础上所述第一分拣视觉系统中的两个光轴平行的相机和一个图谱投射器，采集钢背信息时，与输送机保持一定的相对移动，从不同位姿采集不同角度的图像，分别按照上、前、右、后和左等5个方位进行采集。总控制中心对输送机进行运动系统标定，并对三维点云图像进行角点匹配，通过角点坐标进行坐标系转换，实现钢背运动坐标系与双目系统的三维坐标系关联，获得转换矩阵，得到被测钢背的三维模型，供编码器进行特征提取。
通过这样操作将采集的钢背特征位置准确还原到三维模型中，将特征信息与钢背的立体信息融合起来，实现检测和定位钢背特征的目的，因此需要在连续检测过程中实现钢背位置和姿态的记录与标定，使钢背在运动中被检测到的位置、钢背在输送带上的位置和特征在工件上的位置的多重关联，实现多个坐标系的统一，实现多模型级联检测，提高检测的准确性。
优选的，第一分拣视觉系统与输送机保持一定的相对移动，相对运动速度为V，V＝0.3m/s。
前述内容已经宽泛地概述出各个实施例的一些方面和特征，其应该被解释为仅是各个潜在应用的说明。其他有益结果可以通过以不同方式应用公开的信息或通过组合公开的实施例的各个方面来获得。在由权利要求限定的范围的基础上，结合附图地参考对示例性实施例的具体描述可获得其他方面和更全面的理解。
上述实施例对本发明做了详细说明。当然，上述说明并非对本发明的限制，本发明也不仅限于上述例子，相关技术人员在本发明的实质范围内所作出的变化、改型、添加或减少、替换，也属于本发明的保护范围。

Claims (10)

1.一种基于多模型级联的钢背表面检测的生产线控制系统，其特征在于，所述控制系统包括：
自动上料输送控制单元，设有第一单片机，控制第一自动上料机上料和排序，并控制钢背输送机将排序完成的钢背输送给清洗机；
清洗排序输送控制单元，设有第二单片机，控制清洗机运行，同时控制第一整理装置将钢背整理成规定的矩阵队列，并控制第一钢背推料机中的第一推杆将矩阵队列的钢背推送到清洗机内的输送带上；
清洗下料输送控制单元，设有第三单片机，控制第一输送机输送清洗完成的钢背，并控制第一皮带输送机内的称重装置称重，并读取记录称重结果，称重装置的称重结果反馈控制第一皮带输送机的启停和输送速度；
喷砂上料输送控制单元，设有第四单片机，控制喷砂机运行，同时控制第二皮带输送机输送钢背至喷砂上料机进行上料，并连接喷砂机和第三单片机，根据喷砂机和第三单片机中信号判定并执行是否将钢背输送到钢背暂存缓冲装置；
喷砂下料输送控制单元，设有第五单片机，控制第三皮带输送机输送钢背；
转运排序输送控制单元，设有第六单片机，控制第二自动上料机上料和排序，并控制与第二自动上料机相连的若干板链输送机输送排序完成的钢背；
分拣翻转输送控制单元，设有第七单片机，连接控制第一分拣视觉系统、分拣器和三台分拣输送机所述，第七单片机控制分拣器根据(第一)分拣视觉系统的检测结果将钢背分拣入三台分拣输送机分拣翻转输送装置，正面的送入一下工序，反面的进入翻转装置翻转180度后进入下一工序，无法识别的进入回收装置；
所述第一分拣视觉系统包括两个光轴平行的相机和一个图谱投射器，分拣视觉系统利用三角测量法获取目标工件的每一点的三维坐标，在空间中进行三维建模，利用对抗一生成模型实现对异常图像的修复，依靠与标准样本的差异进行判别钢背区别特征的种类，以及判定钢背的正面、反面和钢背的种类；
喷胶排序控制单元，设有第八单片机，控制喷胶机运行，同时控制第二整理装置将钢背整理成规定的矩阵队列，并控制第二钢背推料机中的第二推杆将矩阵队列的钢背推送到喷胶机内内的输送带上；
烘干下料分拣控制单元，设有第九单片机，连接控制第二分拣视觉系统、末端板链输送机，并控制末端板链输送机上的成品分拣装置；
所述控制系统还包括总控制中心，控制中心分别与第一单片机至第九单片机连接，读取第一单片机至第九单片机所接收的来自各自所控制的设备中传感器信息，以及发送到相应设备的执行指令，并根据该相应设备前后的钢背的状况，判定所述执行指令是否执行。
2.根据权利要求1所述一种基于多模型级联的钢背表面检测的生产线控制系统，其特征在于，所述总控制中心获取第七单片机和第一分拣视觉系统的三维建模数据，构建像素级的卷积网络，使用滑窗的方式进行图像特征扫描，粗筛出特征区域，将三维建模数据输入卷积网络中进行特征提取，使用Softmax进行分类；所述对抗-生成模型的检测方法对三维建模数据修复，将出现的缺陷去除，得到完好的图像，通过特征区域判定钢背的正面、反面和钢背的种类。
3.根据权利要求2所述一种基于多模型级联的钢背表面检测的生产线控制系统，其特征在于，所述三维建模依据数学模型：
Figure FSA0000284750750000031
式中，UL、UR为左两个相机的光心；
Z为场景的深度信息；
b为双目相机基准点距离；
f为相机焦距；
d为成像左右视野成像差值；
通过上述数学模型获取每个点的相对坐标值，并将这些坐标值转化成模型的点阵，完成三维建模。
4.根据权利要求3所述一种基于多模型级联的钢背表面检测的生产线控制系统，其特征在于，构建像素级的卷积网络包括生成器和判别器两部分；生成器是一个全卷积密集神经网络，用来模仿钢背的特征，包括若干采集模块和编译模块，采集模块用于三维建模特征提取，编译模块在采集部分用于采集模块提取的特征，在编译部分用于获取判别器的标准特征；判别器依据提取标准库中的钢背的标准特征，以判定生成器提取的特征。
5.根据权利要求4所述一种基于多模型级联的钢背表面检测的生产线控制系统，其特征在于，所述判别器提取标准库中的钢背的标准特征时，遍历标准库中的钢背的标准特征，并提取与采集模块提供的三维建模特征相近的标准特征。
6.根据权利要求1至5其中任意一项所述一种基于多模型级联的钢背表面检测的生产线控制系统，其特征在于，所述第一分拣视觉系统中的两个光轴平行的相机和一个图谱投射器，采集钢背信息时，与输送机保持一定的相对移动，从不同位姿采集不同角度的图像，分别按照上、前、右、后和左，五个方位进行采集。
7.根据权利要求6所述一种基于多模型级联的钢背表面检测的生产线控制系统，其特征在于，总控制中心对输送机进行运动系统标定，并对三维点云图像进行角点匹配，通过角点坐标进行坐标系转换，实现钢背运动坐标系与双目系统的三维坐标系关联，获得转换矩阵，得到被测钢背的三维模型，供采集模块进行特征提取。
8.根据权利要求7所述一种基于多模型级联的钢背表面检测的生产线控制系统，其特征在于，所述第一分拣视觉系统与输送机保持一定的相对移动，相对运动速度为V，0.1m/s≤V≤0.3m/s。
9.根据权利要求8所述一种基于多模型级联的钢背表面检测的生产线控制系统，其特征在于，第二分拣视觉系统与第一分拣视觉系统公用判别器依据提取标准库中的钢背的标准特征，以判定生成器提取的特征。
10.根据权利要求9所述一种基于多模型级联的钢背表面检测的生产线控制系统，其特征在于，第二分拣视觉系统提取第一分拣视觉系统的分拣结果，并对钢背标定标号，对喷胶完成的钢背拍照与第一分拣视觉系统的分拣结果和标号对比实现分拣。
CN202211147104.6A 2022-09-12 2022-09-12 一种基于多模型级联的钢背表面检测的生产线控制系统 Pending CN116119275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211147104.6A CN116119275A (zh) 2022-09-12 2022-09-12 一种基于多模型级联的钢背表面检测的生产线控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211147104.6A CN116119275A (zh) 2022-09-12 2022-09-12 一种基于多模型级联的钢背表面检测的生产线控制系统

Publications (1)

Publication Number Publication Date
CN116119275A true CN116119275A (zh) 2023-05-16

Family

ID=86297911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211147104.6A Pending CN116119275A (zh) 2022-09-12 2022-09-12 一种基于多模型级联的钢背表面检测的生产线控制系统

Country Status (1)

Country Link
CN (1) CN116119275A (zh)

Similar Documents

Publication Publication Date Title
US11087484B2 (en) Camera apparatus and method of detecting a stream of objects
KR102579783B1 (ko) 제품 결함 이미지 원격 학습을 통한 비전 검사 시스템
US11310467B2 (en) Object inspection system and method for inspecting an object
CN111951237B (zh) 外观视觉检测方法
CN102393397B (zh) 一种磁瓦表面缺陷检测系统及其检测方法
CN109550712A (zh) 一种化纤丝尾丝外观缺陷检测系统及方法
CN110344621A (zh) 一种面向智能车库的车轮点云检测方法
JP2921660B2 (ja) 物品形状計測方法および装置
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN114049557A (zh) 一种基于深度学习的垃圾分选机器人视觉识别方法
CN114994061A (zh) 一种基于机器视觉的钢轨智能化检测方法及系统
CN110763700A (zh) 一种半导体元器件缺陷检测方法和设备
CN111487192A (zh) 一种基于人工智能的机器视觉表面缺陷检测装置及方法
CN115830359A (zh) 复杂场景下基于目标检测和模板匹配的工件识别计数方法
CN116337887A (zh) 铸造缸体上表面缺陷检测方法及系统
CN109993107B (zh) 一种基于非迭代k均值算法的移动机器人障碍物视觉检测方法
CN114529510A (zh) 一种阴极铜在线质量自动检测分类方法
CN117085969B (zh) 人工智能工业视觉检测方法、装置、设备及存储介质
CN114332622A (zh) 一种基于机器视觉的标签检测方法
CN116119275A (zh) 一种基于多模型级联的钢背表面检测的生产线控制系统
Budzan Fusion of visual and range images for object extraction
You et al. A mechanical part sorting system based on computer vision
CN117772616B (zh) 智能物流机器人的自动分拣方法及系统
CN110856847A (zh) 一种基于智能视觉的电容字符检测方法及装置
CN112558554A (zh) 任务追踪方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication