CN116893175A - 基于深度学习的连接器多工位多缺陷统一测量系统 - Google Patents
基于深度学习的连接器多工位多缺陷统一测量系统 Download PDFInfo
- Publication number
- CN116893175A CN116893175A CN202310809863.2A CN202310809863A CN116893175A CN 116893175 A CN116893175 A CN 116893175A CN 202310809863 A CN202310809863 A CN 202310809863A CN 116893175 A CN116893175 A CN 116893175A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- defect
- products
- module
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 40
- 238000005259 measurement Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 65
- 230000005540 biological transmission Effects 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000002950 deficient Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 13
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000007547 defect Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000007599 discharging Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000011179 visual inspection Methods 0.000 abstract description 4
- 239000000463 material Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的连接器多工位多缺陷统一测量系统，属于视觉检测技术领域，包括环形传输装置、检测终端和分类模块，所述环形传输装置传输待检测产品，所述检测终端沿着所述环形传输装置的边缘设置，所述分类模块根据所述检测终端的检测结果将产品分为合格品和不良品两类；所述检测终端包括光源、相机和深度学习模块，所述相机采集待检测产品的图像，所述深度学习模块对产品的图像进行检测得出结果，所述深度学习模块搭载YOLOV5模型，模型根据所述相机采集的数据作为训练数据集的输入，对模型进行训练。本发明采用优化的算法参数对深度算法模块重新训练，提高深度学习算法模块的检测准确性，解决了检测精度较差的问题。
Description
技术领域
本发明属于视觉检测技术领域，具体地，涉及一种基于深度学习的连接器多工位多缺陷统一测量系统。
背景技术
随着人工智能技术的发展，基于人工智能的视觉检测在工业制造领域中已经广泛应用，视觉检测通常是通过视觉成像采集场景图像数据，再基于图像处理方法对图像数据中多个待测目标的结构和色彩纹理特征进行提取，以得到视觉检测结果。
针对目前多工位缺陷检测技术，多采用多相机多方位静态或动态检测，对产品在摆放位置和使用相机的数量都有一定要求，要实现对待检测产品的全面检测，需要匹配高精度的检测结果，但现有技术中的数据处理算法较复杂，运行起来速度慢而且效果精度较差。
发明内容
为解决上述背景技术中存在的技术问题，本发明提供了一种基于深度学习的连接器多工位多缺陷统一测量系统。
本发明的目的可以通过以下技术方案实现：
一种基于深度学习的连接器多工位多缺陷统一测量系统，包括环形传输装置、检测终端和分类模块，其中：
所述环形传输装置传输待检测产品，所述检测终端沿着所述环形传输装置的边缘设置，所述分类模块根据所述检测终端的检测结果将产品分为合格品和不良品两类；
所述检测终端包括光源、相机和深度学习模块，所述相机采集待检测产品的图像，所述深度学习模块对产品的图像进行检测得出结果，
所述深度学习模块搭载YOLOV5模型，根据所述相机采集的数据作为训练数据集的输入，对YOLOV5模型进行训练。
进一步的，还包括控制所述环形传输装置、检测终端和分类模块的服务器，所述服务器包括接收模块、存储模块、数据集和下发模块，所述接收模块接收所述相机采集到的产品图像，所述存储模块存储所述相机实时采集到的产品图像以及历史采集的产品图像，所述数据集包括合格品数据集和不合格品数据集。
进一步的，所述不合格品数据集根据产品缺陷种类分为多个子数据集。
进一步的，所述环形传输装置包括输送带、传动机构和卸料机构，所述传动机构驱动所述输送带运行，所述卸料机构将产品从传输带上卸下。
进一步的，所述YOLOV5模型包括输入层、隐藏层和输出层，所述输入层接收原始产品图像数据；所述隐藏层对接收到的产品图像数据进行处理，并提取特征；所述输出层根据所述隐藏层提取到的特征进行分类。
进一步的，所述隐藏层包括卷积神经网络，所述卷积神经网络包括上网络层、下网络层和扩张卷积层。
进一步的，所述上网络层包括BRN和剩余学习，通过预测加性高斯白噪声获得潜在的去噪图像。
进一步的，所述光源为所述相机提供补光波长，所述相机按照设定的拍摄频率fc对待检测产品进行拍摄；
所述拍摄频率fc在[f1,fh]之间进行随机设定选择，每隔Δt时间重新设定一次，其中Δt为待检测产品由环形传输装置始端至尾端所需的时间，f1为最低拍摄频率，fh为最高拍摄频率。
进一步的，所述隐藏层用于对所述相机拍摄到的图像进行特征向量提取，并按照预设合并顺序将所述图像特征向量合并为采样图像。
进一步的，所述隐藏层对接收到的产品图像数据进行提取特征的方式为对图像特征向量进行获取，其中获取方式为：
获取图像的RGB分量，并设拍摄图像为Pi,k；
其中，Fi,k为所拍摄图片Pi,k的图像特征向量，k为面光源的波长设定参数。
本发明的有益效果：
1、本发明提供的一种基于深度学习的连接器多工位多缺陷统一测量系统以优化训练数据集中的算法参数，采用优化的算法参数对深度算法模块重新训练，提高深度学习算法模块的检测准确性，当该训练进行多次后，深度学习算法模块具有很高的检测准确性，因此，本发明的视觉检测方法在实际生产中应用一段时间后，通过应用积累，能具有越来越高的检测准确性；此外本方法还可以自动适应用户检测需求的调整，如增加新的产品规格和重新定义检测标准；同时，反馈信息中包含了标签信息，实现了数据的可追溯性；
2、本发明还在YOLOV5模型上进行改进，结合了卷积神经网络的BRN和剩余学习方法，达到增强型深度扩张卷积神经网络的图像去噪效果，通过减少网络的深度，增加网络的宽度，技能防止梯度消失和梯度爆炸，又能提高网络训练的训练速度，提高图像去噪的精度，同时还能减少计算成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于深度学习的连接器多工位多缺陷统一测量系统的整体工作原理示意图；
图2为本发明公开的检测终端的工作原理示意图；
图3为本发明公开的服务器的工作原理示意图；
图4为本发明图像缺失特征补充方法步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供一种具备学习能力的视觉检测系统，包括服务器和检测终端，所述检测终端用于获取待检测产品的图像，所述检测终端设有深度学习模块，深度学习模块对图像进行检测，得出检测结果，同时接收复核结果，当检测结果与复核结果不一致时，生成反馈信息，将反馈信息上传至服务器。
所述服务器用于接收检测终端上传的反馈信息，对反馈信息进行分类，反馈信息包括问题图像数据，将问题图像中的数据进行分类，再根据分类将问题图像数据加入训练数据集，应用新增问题数据的训练数据集对检测算法参数进行优化，将优化后的算法参数下发至检测终端。
本申请提出的一种具备学习能力的视觉检测系统，能对深度学习模块不断的进行训练，持续的提高检测准确性，此外，还可以自动适应用户检测需求的调整，如增加新的产品规格和重新定义检测标准，进一步的在反馈信息中加入标签信息，使检测可追溯。
所述服务器包括第一接收模块、第一存储模块、判断模块、分类抹了、数据集模块和下发模块；
所述检测终端包括深度学习模块、图像获取模块、复核判断模块、第二存储模块、上传模块和第二接收模块；
所述第一接收模块用于检测检测终端上传的反馈信息；所述第一存储模块用于存储多个缺陷类别和多个故障原因，故障原因是指检测结果与复核结果不一致的原因。
请参阅图1-图3所示，一种基于深度学习的连接器多工位多缺陷统一测量系统，包括环形传输装置、检测终端和分类模块，其中：
所述环形传输装置传输待检测产品，所述检测终端沿着所述环形传输装置的边缘设置，所述分类模块根据所述检测终端的检测结果将产品分为合格品和不良品两类；
所述检测终端包括光源、相机和深度学习模块，所述相机采集待检测产品的图像，所述深度学习模块对产品的图像进行检测得出结果，
所述深度学习模块搭载YOLOV5模型，根据所述相机采集的数据作为训练数据集的输入，对YOLOV5模型进行训练。
在本申请实施例中，所述环形传输装置可以将物料饱和地放置在环形输送带上，因此不需要额外的卸料和堆垛设备，并且可以按照一定的速度和方向无限地循环运行，无需停机，可以实现高效率的输送。
环形传输装置通常由以下组成部分构成：
环形输送带：这是环形传输装置最核心的部分，它呈环形或椭圆形，由一系列的联接件组成，有着平稳可靠的运行性能。
传动部分：包括电机、减速器、链轮、链条等部件，用来驱动输送带运行。
后备仓：在输送带下方设置的储料仓，用来储存输送带所需的物料，从而保证输送的持续性和平稳性。
卸料装置：通过控制输送带的运行，将物料从输送带上卸下。
支撑结构：用来支撑输送带和传动部分。
控制系统：用来控制输送带的开启、停止、速度调节等，确保整个系统的稳定运行。
检测终端采集待检测产品的图像，并对图像进行处理，对图像进行处理包括提取图像特征，针对特征进行分类，从而识别产品的缺陷类型，所述
YOLOV5是YOLO(You On ly Look Once)系列目标检测模型的最新版本，于2020年6月发布。与前几个版本相比，YOLOV5在速度和精度上都有了进一步的提升，成为目前最先进的物体检测算法之一。
进一步的，在本申请的一种优选实施例中，基于深度学习的连接器多工位多缺陷统一测量系统还包括控制所述环形传输装置、检测终端和分类模块的服务器，所述服务器包括接收模块、存储模块、数据集和下发模块，所述接收模块接收所述相机采集到的产品图像，所述存储模块存储所述相机实时采集到的产品图像以及历史采集的产品图像，所述数据集包括合格品数据集和不合格品数据集。
在本申请实施例中，所述服务器分别与所述环形传输装置、检测终端和分类模块连接，所述服务器用于接收所述检测终端上传的检测信息，对检测结果进行分类，其中所述接收模块接收所述深度学习模块分析后得到的检测数据，所述数据集包括历史合格品数据集和不合格品数据集，所述数据集也作为深度学习模块的训练输入数据，在持续使用过程中，深度学习模块不断进行训练，长期积累后可以训练得到更加高精度的学习模型，从而提高缺陷检测的精度。
进一步的，在本申请的一种优选实施例中，所述不合格品数据集根据产品缺陷种类分为多个子数据集。
进一步的，在本申请的一种优选实施例中，所述环形传输装置包括输送带、传动机构和卸料机构，所述传动机构驱动所述输送带运行，所述卸料机构将产品从传输带上卸下。
进一步的，在本申请的一种优选实施例中，所述YOLOV5模型包括输入层、隐藏层和输出层，所述输入层接收原始产品图像数据；所述隐藏层对接收到的产品图像数据进行处理，并提取特征；所述输出层根据所述隐藏层提取到的特征进行分类。
进一步的，在本申请的一种优选实施例中，所述隐藏层包括卷积神经网络，所述卷积神经网络包括上网络层、下网络层和扩张卷积层。
进一步的，在本申请的一种优选实施例中，所述上网络层包括BRN和剩余学习，通过预测加性高斯白噪声获得潜在的去噪图像。
BRN，全称为“Bing ResNet”，是一种用于图像分类和目标检测的神经网络模型，BRN的结构采用了残差单元(residual unit)来建立残差连接，使得模型可以更深、更复杂，同时又不会出现过拟合的问题。由于BRN在ImageNet Large Scale Visual RecognitionCompetition(ILSVRC)的分类任务中取得了优异的表现。
剩余学习(Residual Learning)是一种用于深度神经网络架构设计的方法，用于解决深度神经网络训练过程中的梯度消失和模型退化问题。该方法中假设原始输入经过一个由多层非线性变换组成的函数$f(x)$，转化为了特征空间$H(x)＝f(x)+x$。其中，$x$为输入，$f(x)$表示网络中的多个映射函数复合，并将这些多个映射函数复合的结果加上输入$x$，作为最终的特征输出。可以理解为是在网络层中使用残差连接，实现了网络目标和当前输出的累加，避免了多层结构带来的信息丢失，提高了网络的准确率。
进一步的，在本申请的一种优选实施例中，所述光源为所述相机提供补光波长，所述相机按照设定的拍摄频率fc对待检测产品进行拍摄；
所述拍摄频率fc在[f1,fh]之间进行随机设定选择，每隔Δt时间重新设定一次，其中Δt为待检测产品由环形传输装置始端至尾端所需的时间，f1为最低拍摄频率，fh为最高拍摄频率。
若是相机的拍摄频率恒定，且目标检测体的速度也恒定的情况下，虽然目标检测体在行进，但是相机后一时间段内拍摄获得的拍摄图片中的目标检测体的可能与前一时间段的拍摄图片中目标检测体的展示面大致相同，考虑到目标检测体的展示面对于瑕疵检测的重要性，因此需要对相机的拍摄频率进行变换，使其拍摄频率fc在[f1,fh]之间进行随机设定选择，每隔Δt时间重新设定一次，从而尽可能的增加拍摄时目标检测体的展示面。
从采样2Δt时间后获得的图片特征向量中进行随机抽取，在基础采样图片进行随机替换，结合拍摄频率fc的变化可提供更加多样化的采样图片，因为采样图片和训练样本的获取方式相同，只要将采样图片中的图片特征向量的排列顺序进行调换，或者在不同位置替换新的图片特征向量就可以得到全新的训练样本，如此意味着训练样本的获取难度极小，而且非常容易进行倍增，同理可大幅降低人工标注的复杂度，可以非常快速、高效且准确的完成训练过程。
进一步的，在本申请的一种优选实施例中，所述隐藏层用于对所述相机拍摄到的图像进行特征向量提取，并按照预设合并顺序将所述图像特征向量合并为采样图像。
进一步的，在本申请的一种优选实施例中，所述隐藏层对接收到的产品图像数据进行提取特征的方式为对图像特征向量进行获取，其中获取方式为：
获取图像的RGB分量，并设拍摄图像为Pi,k；
其中，Fi,k为所拍摄图片Pi,k的图像特征向量，k为面光源的波长设定参数。
基于目前图片分类模型大部分都是建立在所有类别的数据是已知的情况下，当在这种数据下训练得到的模型遇到不存在于训练数据中的类别图片时，无法进行识别的情况，在本申请的另一优选实施例中，如图4所示，还公开了一种应用于连接器多工位多缺陷统一测量系统中的缺失特征补充方法，具体包括：收集零样本图片分类数据集，同时获得数据集中所有类别的语义特征；数据集中的每张图片都对应一个人工标注的图片属性特征；每张图片采用预训练的网络进行特征的提取，得到图片特征向量；通过K-means算法将类别属性根据聚类结果进行分组，然后在生成未见类的特征时利用随机置零的方式将某些组别的值设为0，从而输入到输入器中得到确实某些特征的未见类图片特征，从而帮助生成的图片特征更加符合实际分布；输入未见类的类别属性特征到所述生成对抗网络的生成器，输出伪造的未见类图片特征；将伪造的未见类图片特征与可见类图片特征向量组合得到完整的图片训练数据集；利用图片训练数据集中的数据训练一个图片特征分类网络；比如ResNet18图片分类网络等；利用训练好的分类模型对测试集中的数据进行测试。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上内容仅仅是对本发明结构所作的举例和说明，所述本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (10)
1.一种基于深度学习的连接器多工位多缺陷统一测量系统，其特征在于，包括环形传输装置、检测终端和分类模块，其中：
所述环形传输装置传输待检测产品，所述检测终端沿着所述环形传输装置的边缘设置，所述分类模块根据所述检测终端的检测结果将产品分为合格品和不良品两类；
所述检测终端包括光源、相机和深度学习模块，所述相机采集待检测产品的图像，所述深度学习模块对产品的图像进行检测得出结果，
所述深度学习模块搭载YOLOV5模型，根据所述相机采集的数据作为训练数据集的输入，对YOLOV5模型进行训练。
2.根据权利要求1所述的一种基于深度学习的连接器多工位多缺陷统一测量系统，其特征在于，还包括控制所述环形传输装置、检测终端和分类模块的服务器，所述服务器包括接收模块、存储模块、数据集和下发模块，所述接收模块接收所述相机采集到的产品图像，所述存储模块存储所述相机实时采集到的产品图像以及历史采集的产品图像，所述数据集包括合格品数据集和不合格品数据集。
3.根据权利要求2所述的一种基于深度学习的连接器多工位多缺陷统一测量系统，其特征在于，所述不合格品数据集根据产品缺陷种类分为多个子数据集。
4.根据权利要求1所述的一种基于深度学习的连接器多工位多缺陷统一测量系统，其特征在于，所述环形传输装置包括输送带、传动机构和卸料机构，所述传动机构驱动所述输送带运行，所述卸料机构将产品从传输带上卸下。
5.根据权利要求1所述的一种基于深度学习的连接器多工位多缺陷统一测量系统，其特征在于，所述YOLOV5模型包括输入层、隐藏层和输出层，所述输入层接收原始产品图像数据；所述隐藏层对接收到的产品图像数据进行处理，并提取特征；所述输出层根据所述隐藏层提取到的特征进行分类。
6.根据权利要求5所述的一种基于深度学习的连接器多工位多缺陷统一测量系统，其特征在于，所述隐藏层包括卷积神经网络，所述卷积神经网络包括上网络层、下网络层和扩张卷积层。
7.根据权利要求6所述的一种基于深度学习的连接器多工位多缺陷统一测量系统，其特征在于，所述上网络层包括BRN和剩余学习，通过预测加性高斯白噪声获得潜在的去噪图像。
8.根据权利要求1所述的一种基于深度学习的连接器多工位多缺陷统一测量系统，其特征在于，所述光源为所述相机提供补光波长，所述相机按照设定的拍摄频率fc对待检测产品进行拍摄；
所述拍摄频率fc在[f1,fh]之间进行随机设定选择，每隔Δt时间重新设定一次，其中Δt为待检测产品由环形传输装置始端至尾端所需的时间，f1为最低拍摄频率，fh为最高拍摄频率。
9.根据权利要求5所述的一种基于深度学习的连接器多工位多缺陷统一测量系统，其特征在于，所述隐藏层用于对所述相机拍摄到的图像进行特征向量提取，并按照预设合并顺序将所述图像特征向量合并为采样图像。
10.根据权利要求5所述的一种基于深度学习的连接器多工位多缺陷统一测量系统，其特征在于，所述隐藏层对接收到的产品图像数据进行提取特征的方式为对图像特征向量进行获取，其中获取方式为：
获取图像的RGB分量，并设拍摄图像为Pi,k；
其中，Fi,k为所拍摄图片Pi,k的图像特征向量，k为面光源的波长设定参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310809863.2A CN116893175A (zh) | 2023-07-04 | 2023-07-04 | 基于深度学习的连接器多工位多缺陷统一测量系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310809863.2A CN116893175A (zh) | 2023-07-04 | 2023-07-04 | 基于深度学习的连接器多工位多缺陷统一测量系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116893175A true CN116893175A (zh) | 2023-10-17 |
Family
ID=88314337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310809863.2A Pending CN116893175A (zh) | 2023-07-04 | 2023-07-04 | 基于深度学习的连接器多工位多缺陷统一测量系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116893175A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351006A (zh) * | 2023-12-04 | 2024-01-05 | 深圳玖逸行新能源汽车技术有限公司 | 一种基于深度学习的汽车钣金件表面缺陷检测方法及系统 |
| CN117437221A (zh) * | 2023-12-18 | 2024-01-23 | 浙江祥晋汽车零部件股份有限公司 | 一种基于图像检测的亮饰条检测方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002319021A (ja) * | 2001-04-19 | 2002-10-31 | Murata Mfg Co Ltd | 二値化処理方法、外観検査方法および外観検査装置 |
| CN103635794A (zh) * | 2011-05-17 | 2014-03-12 | Gii采集有限责任公司,以总检测有限责任公司的名义营业 | 用于光学检查零件的方法和系统 |
| CN205015288U (zh) * | 2015-07-30 | 2016-02-03 | 山西迪迈沃科光电工业有限公司 | 橡胶减震件缺陷检测装置 |
| CN111505021A (zh) * | 2020-05-07 | 2020-08-07 | 宋志龙 | Pcb电路板的aoi检测系统及其检测方法 |
| CN112132796A (zh) * | 2020-09-15 | 2020-12-25 | 佛山读图科技有限公司 | 以反馈数据自主学习提升检测精度的视觉检测方法和系统 |
| CN113963210A (zh) * | 2021-10-25 | 2022-01-21 | 南京工业大学 | 一种基于深度学习的废弃数据存储设备检测方法及分拣系统 |
| CN217605677U (zh) * | 2021-11-26 | 2022-10-18 | 苏州辞海机电设备有限公司 | 一种连接器成型出料用检测装置 |
| CN115761366A (zh) * | 2022-11-28 | 2023-03-07 | 电子科技大学长三角研究院(湖州) | 补充缺失特征的零样本图片分类方法、系统、设备及介质 |
| CN116140227A (zh) * | 2023-03-27 | 2023-05-23 | 安徽博微智能电气有限公司 | 一种用于圆柱、圆锥型产品的内外表面外观瑕疵检测系统 |
| CN116245765A (zh) * | 2023-03-14 | 2023-06-09 | 山东师范大学 | 基于增强型深度扩张卷积神经网络的图像去噪方法及系统 |
-
2023
- 2023-07-04 CN CN202310809863.2A patent/CN116893175A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002319021A (ja) * | 2001-04-19 | 2002-10-31 | Murata Mfg Co Ltd | 二値化処理方法、外観検査方法および外観検査装置 |
| CN103635794A (zh) * | 2011-05-17 | 2014-03-12 | Gii采集有限责任公司,以总检测有限责任公司的名义营业 | 用于光学检查零件的方法和系统 |
| CN205015288U (zh) * | 2015-07-30 | 2016-02-03 | 山西迪迈沃科光电工业有限公司 | 橡胶减震件缺陷检测装置 |
| CN111505021A (zh) * | 2020-05-07 | 2020-08-07 | 宋志龙 | Pcb电路板的aoi检测系统及其检测方法 |
| CN112132796A (zh) * | 2020-09-15 | 2020-12-25 | 佛山读图科技有限公司 | 以反馈数据自主学习提升检测精度的视觉检测方法和系统 |
| CN113963210A (zh) * | 2021-10-25 | 2022-01-21 | 南京工业大学 | 一种基于深度学习的废弃数据存储设备检测方法及分拣系统 |
| CN217605677U (zh) * | 2021-11-26 | 2022-10-18 | 苏州辞海机电设备有限公司 | 一种连接器成型出料用检测装置 |
| CN115761366A (zh) * | 2022-11-28 | 2023-03-07 | 电子科技大学长三角研究院(湖州) | 补充缺失特征的零样本图片分类方法、系统、设备及介质 |
| CN116245765A (zh) * | 2023-03-14 | 2023-06-09 | 山东师范大学 | 基于增强型深度扩张卷积神经网络的图像去噪方法及系统 |
| CN116140227A (zh) * | 2023-03-27 | 2023-05-23 | 安徽博微智能电气有限公司 | 一种用于圆柱、圆锥型产品的内外表面外观瑕疵检测系统 |
Non-Patent Citations (3)
| Title |
|---|
| FENG HONG 等: "A novel framework on intelligent detection for module defects of PV plant combining the visible and infrared images", 《SOLAR ENERGY》, vol. 236, pages 406 - 416, XP087012458, DOI: 10.1016/j.solener.2022.03.018 * |
| 张全 等: "融合YOLOv5-ResNet级联网络的烟火检测方法", 《安全与环境学报》, vol. 23, no. 2, pages 397 - 405 * |
| 王坤 等: "基于YOLO-v5和ResNet的舱底水液位识别算法", 《船海工程》, vol. 49, no. 6, pages 39 - 43 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351006A (zh) * | 2023-12-04 | 2024-01-05 | 深圳玖逸行新能源汽车技术有限公司 | 一种基于深度学习的汽车钣金件表面缺陷检测方法及系统 |
| CN117351006B (zh) * | 2023-12-04 | 2024-02-02 | 深圳玖逸行新能源汽车技术有限公司 | 一种基于深度学习的汽车钣金件表面缺陷检测方法及系统 |
| CN117437221A (zh) * | 2023-12-18 | 2024-01-23 | 浙江祥晋汽车零部件股份有限公司 | 一种基于图像检测的亮饰条检测方法及系统 |
| CN117437221B (zh) * | 2023-12-18 | 2024-04-26 | 浙江祥晋汽车零部件股份有限公司 | 一种基于图像检测的亮饰条检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116893175A (zh) | 基于深度学习的连接器多工位多缺陷统一测量系统 | |
| CN109961049B (zh) | 一种复杂场景下香烟品牌识别方法 | |
| CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
| CN108686978B (zh) | 基于arm的水果类别和色泽的分拣方法及系统 | |
| Wang et al. | Recognition and classification of broiler droppings based on deep convolutional neural network | |
| CN103279765B (zh) | 基于图像匹配的钢丝绳表面损伤检测方法 | |
| Ye et al. | Crop feature extraction from images with probabilistic superpixel Markov random field | |
| Funk et al. | Beyond planar symmetry: Modeling human perception of reflection and rotation symmetries in the wild | |
| CN112132784A (zh) | 一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法 | |
| CN111445459A (zh) | 一种基于深度孪生网络的图像缺陷检测方法及系统 | |
| CN112001901A (zh) | 基于卷积神经网络的苹果缺陷检测方法及系统 | |
| CN116843650A (zh) | 融合aoi检测与深度学习的smt焊接缺陷检测方法及系统 | |
| CN112085017A (zh) | 基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法 | |
| CN112560896A (zh) | 一种基于图像处理的水果品质筛选分类系统 | |
| Zhang et al. | A novel image detection method for internal cracks in corn seeds in an industrial inspection line | |
| CN111178405A (zh) | 一种融合多种神经网络的相似物体识别方法 | |
| Ni et al. | Convolution neural network based automatic corn kernel qualification | |
| Zhang et al. | Fabric defect detection based on visual saliency map and SVM | |
| CN113487538A (zh) | 一种多目标分割缺陷检测方法、装置及其计算机存储介质 | |
| Sa et al. | Packaging defect detection system based on machine vision and deep learning | |
| Huang et al. | Mango surface defect detection based on HALCON | |
| Khandelwal et al. | Image Processing Based Quality Analyzer and Controller | |
| Ramadhan et al. | Identification of cavendish banana maturity using convolutional neural networks | |
| CN115937675A (zh) | 一种变电站巡检环境下目标与缺陷识别方法 | |
| CN109345519A (zh) | 基于深度学习yolo算法的线束连接器加工型号检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |