CN117647531A - 一种基于深度学习的aoi检测方法与系统 - Google Patents
一种基于深度学习的aoi检测方法与系统 Download PDFInfo
- Publication number
- CN117647531A CN117647531A CN202311818077.5A CN202311818077A CN117647531A CN 117647531 A CN117647531 A CN 117647531A CN 202311818077 A CN202311818077 A CN 202311818077A CN 117647531 A CN117647531 A CN 117647531A
- Authority
- CN
- China
- Prior art keywords
- aoi
- aoi system
- misjudgment
- detection
- product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 114
- 238000013135 deep learning Methods 0.000 title claims abstract description 43
- 230000007547 defect Effects 0.000 claims abstract description 102
- 238000009826 distribution Methods 0.000 claims abstract description 63
- 230000002950 deficient Effects 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000003062 neural network model Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000010586 diagram Methods 0.000 claims abstract description 11
- 238000012512 characterization method Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 24
- 238000004519 manufacturing process Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012552 review Methods 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- -1 connectors Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于光学检测技术领域，本发明提供了一种基于深度学习的AOI检测方法与系统，包括：获得AO I系统中记录的检测数据，获得不良率参数，以及实际不良率参数，获得AOI系统的检测误判率，构建关于产品缺陷类型的分布折线图，计算AOI系统的整体误判表征值，判定AOI系统的整体误判程度，并对训练集数据进行选取，获得训练好的AOI系统的神经网络模型，若AO I系统的误判程度不满足标准，则重复对AOI系统所具有的神经网络模型进行训练，实现了AOI系统通过不断地深度学习，降低其检测误判程度，提高对产品的检测效率。
Description
技术领域
本发明属于光学检测技术领域，具体地说是一种基于深度学习的AOI检测方法与系统。
背景技术
自动光学检测AOI是一种广泛应用于电子制造行业的视觉检测技术，通过有效识别制造过程中的缺陷来提高产品质量。该技术结合了先进的光学器件、相机和图像处理功能来进行检查。AOI以其速度和精度而闻名，这使其在汽车、消费电子和医疗设备制造等各个行业中发挥着重要作用，有助于维持高质量标准。
公开号为CN115482194A的一项中国专利申请公开了一种PCB板的异型元件AOI缺陷检测方法与系统，包括：S1、拍取待测PCB板的图像；S2、将拍取的待测PCB板图像中各个部件的图像分别与预存的各个部件的标准模板图像进行对比，根据对比结果来检测待测PCB板的各个部件是否合格，检测过程中，依次判断PCB板的电容、连接器、晶振、排针及端子排是否合格；S3、根据拍取的PCB板的板面图像，对PCB板板面进行缺陷检测，判断PCB板的板面是否合格；S4、若步骤S2与步骤S3中检测均合格则将PCB板送至合格区，否则反馈PCB板不合格的类型，再将PCB板送至不合格区。
现有技术中，只通过AOI缺陷检测方法对产品进行检测，没有考虑到AOI检测系统存在的误判性，若AOI系统以及系统中的算法没有进行不断地优化，则无法满足不同的检测需求且误判率会不断提高，严重影响对产品的检测。
为此，本发明提供一种基于深度学习的AOI检测方法与系统。
发明内容
为了弥补现有技术的不足，解决背景技术中所提出的至少一个技术问题。
本发明解决其技术问题所采用的技术方案是：一种基于深度学习的AOI检测方法，包括：
步骤一：获得AOI系统中记录的产品的检测数据，基于检测数据获得不良率参数，利用人工复检方式获得实际不良率参数，基于不良率参数与实际不良率参数计算AOI系统的检测误判率，基于人工复检后的产品缺陷类型分布情况信息以及AOI系统检测的产品缺陷类型的分布情况信息，在X-Y坐标系内构建关于产品缺陷类型的分布折线图，基于分布折线图获得AOI系统的缺陷类型误判率，根据获得的AOI系统的检测误判率以及AOI系统的缺陷类型误判率，计算获得AOI系统的整体误判表征值，并判定AOI系统的整体误判程度，并基于误判程度对训练集数据进行选取，将训练集数据作为输入数据对AOI系统所具有的神经网络模型进行训练，再次利用训练后的AOI系统再次对产线产品进行检测，并重新分析AOI系统的误判程度，若AOI系统的误判程度不满足标准，则重复对AOI系统所具有的神经网络模型进行训练，直到AOI系统经过深度学习之后，能够达到符合标准的误判程度为止；
步骤二：基于步骤一获得AOI系统深度学习的次数，判定AOI系统包含的采集图像系统是否具有问题的疑似性进行判定，并对疑似性较高的AOI系统包含的采集图像系统，获取其镜头分辨率、光源亮度参数以及光源角度参数，并计算其拍摄参数，并基于拍摄参数判定AOI系统包含的采集图像系统是否正常；
步骤三：基于获得的拍摄参数以及AOI系统的整体误判程度表征值构建关系变化折线图，根据关系变化折线图对拍摄参数与AOI系统的整体误判程度表征值之间的关系进行判定，并基于判定结果对检测产品时，AOI系统的拍摄参数进行选取。
作为本发明进一步的技术方案为：所述检测数据包括图像数据和缺陷数据，利用AOI系统对采集到的图像数据和缺陷数据进行统计分析，生成统计数据，基于统计数据中不良品的数量信息计算产线产品中的不良率参数。
作为本发明进一步的技术方案为：利用人工复检方式获得实际不良率参数，利用人工对AOI系统在检测周期内检测的产线产品进行复检，重新获得产线产品中的不良品数量，基于重新获得的产线中的不良品数量计算产线产品中的实际不良率参数。
作为本发明进一步的技术方案为：基于不良率参数与实际不良率参数计算AOI系统的检测误判率，将获得的产线产品的不良率参数以及实际不良率参数进行做差值处理，获得AOI系统的检测误判率。
作为本发明进一步的技术方案为：基于分布折线图获得AOI系统的缺陷类型误判率，包括：
获得人工复检后的产品缺陷类型分布情况信息并结合AOI系统检测的产品缺陷类型的分布情况信息在X-Y坐标系内构建关于产品缺陷类型的分布折线图，具体地，将所有产品数量的标记点进行直线连接，获得两条产品缺陷类型的分布折线；
其中，一条为AOI系统检测的产品缺陷类型的分布折线，一条为人工复检的产品缺陷类型的分布折线；
将两条折线的端点进行对应连接，计算两条折线之间所围成的面积；
通过人工复检的产品缺陷类型的分布折线两端向X轴做垂线，计算人工复检的产品缺陷类型的分布折线与X轴所围成的面积；
将获得的两条折线之间所围成的面积与人工复检的产品缺陷类型的分布折线与X轴所围成的面积进行比值处理，获得AOI系统的缺陷类型误判。
作为本发明进一步的技术方案为：计算AOI系统的整体误判表征值，判定AOI系统的整体误判程度，并基于误判程度对训练集数据进行选取，具体包括：将获得的AOI系统的检测误判率标记为ai，将AOI系统的缺陷类型误判率标记为bi；
将获得的AOI系统的检测误判率ai以及AOI系统的缺陷类型误判率bi进行量化处理，取其值代入公式：获得AOI系统的整体误判表征值ci。
作为本发明进一步的技术方案为：判定AOI系统的整体误判程度，并基于误判程度对训练集数据进行选取，具体为：
预设AOI系统的整体误判表征值的阈值为di；
若AOI系统的整体误判表征值ci＜AOI系统的整体误判表征值的阈值di，则表示AOI系统的检测误判程度较低，且ci与di之间的差值越大，则表示AOI系统的检测误判程度越低；
若AOI系统的整体误判表征值ci≥AOI系统的整体误判表征值的阈值di，则表示AOI系统的检测误判程度较高，且ci与di之间的差值越大，则表示AOI系统的检测误判程度越高，其中，当AOI系统的整体误判表征值ci≥AOI系统的整体误判表征值的阈值di时，将误判的产品的图像数据以及缺陷数据作为训练集数据。
作为本发明进一步的技术方案为：获取其镜头分辨率、光源亮度参数以及光源角度参数，并计算其拍摄参数，并基于判定结果对检测产品时，AOI系统的拍摄参数进行选取，其过程为：将获得的镜头分辨率ei、光源亮度参数hi以及光源角度参数mi进行量化处理，取其值代入公式：li＝a×mi3+b×hi+c×ei2获得AOI系统包含的采集图像系统的拍摄参数li，其中，a、b、c为权重系数；
预设拍摄参数的阈值为oi；
若AOI系统包含的采集图像系统的拍摄参数li＜拍摄参数的阈值oi，则表示AOI系统包含的采集图像系统存在问题；
若AOI系统包含的采集图像系统的拍摄参数li≥拍摄参数的阈值oi，则表示AOI系统包含的采集图像系统正常。
作为本发明进一步的技术方案为：根据关系变化折线图对拍摄参数与AOI系统的整体误判程度表征值之间的关系进行判定，并基于判定结果对检测产品时，AOI系统的拍摄参数进行选取，包括：
将所有AOI系统的整体误判程度表征值的标注点进行直线连接，形成关系变化折线图；
计算关系变化折线图中每条子折线段的斜率，基于子折线段的斜率对拍摄参数与AOI系统的整体误判程度表征值之间的关系进行判定，具体判定过程为：
若每条子折线段的斜率都小于0，则表示拍摄参数与AOI系统的整体误判程度表征值之间呈反向关系，随着拍摄参数的增高，AOI系统的整体误判程度表征值下降，则可在镜头分辨率允许的范围内，在AOI系统对产品进行检测时，采用较高分辨率的镜头，可减少AOI系统对产品缺陷的误判率；
若每条子折线段的斜率都不小于等于0或不都小于等于0，则表示拍摄参数与AOI系统的整体误判程度表征值之间不存在具体关系，则选取最小的AOI系统的整体误判程度表征值所对应的拍摄参数作为AOI系统检测产品时的拍摄参数。
一种基于深度学习的AOI检测系统，包括：
获得模块，用于获得AOI系统中记录的检测数据，基于检测数据获得不良率参数，利用人工复检方式获得实际不良率参数，基于不良率参数与实际不良率参数进行差值处理，获得AOI系统的检测误判率，还用于基于产品缺
陷类型的分布折线图获得AOI系统的缺陷类型误判率；
第一构建模块，获得人工复检后的产品缺陷类型分布情况信息并结合AOI系统检测的产品缺陷类型的分布情况信息在X-Y坐标系内构建关于产品缺陷类型的分布折线图；
第一计算模块，用于根据获得的AOI系统的检测误判率以及AOI系统的缺陷类型误判率计算获得AOI系统的整体误判表征值；
第一判定模块，将获得的AOI系统的整体误判表征值与预设的阈值进行比较，基于比较结果判定AOI系统的整体误判程度，并基于误判程度对训练集参数进行选取；
训练模块，将训练集数据作为输入数据对AOI系统所具有的神经网络模型进行训练，利用AOI系统再次对产线产品进行检测，并重新分析AOI系统的误判程度，若AOI系统的误判程度不满足标准，则利用此方法重复对AOI系统所具有的神经网络模型进行训练，直到AOI系统经过深度的训练学习之后能够达到符合标准的误判程度为止；
第二判定模块，用于根据AOI系统深度学习的次数，判定AOI系统是否具有问题的疑似性进行判定，还用于对AOI系统包含的采集图像系统的拍摄参数与阈值进行比较，判定AOI系统包含的采集图像系统是否正常
第二计算模块，用于根据镜头分辨率、光源亮度参数以及光源角度参数计算获得AOI系统包含的采集图像系统的拍摄参数；
第二构建模块，用于根据获得的拍摄参数以及AOI系统的整体误判程度表征值构建关系变化折线图；
第三判定模块，用于根据关系变化折线图对拍摄参数与AOI系统的整体误判程度表征值之间的关系进行判定；
选取模块，用于根据第三判定模块的判定结果对检测产品时，AOI系统的拍摄参数进行选取。
本发明的有益效果如下：
1.本发明所述的一种基于深度学习的AOI检测方法与系统，通过获得AOI系统中记录的检测数据，基于检测数据获得不良率参数，利用人工复检方式获得实际不良率参数，基于不良率参数与实际不良率参数，获得AOI系统的检测误判率，构建关于产品缺陷类型的分布折线图，获得AOI系统的缺陷类型误判率并结合AOI系统的检测误判率计算获得AOI系统的整体误判表征值，将获得的AOI系统的整体误判表征值与预设的阈值进行比较，判定AOI系统的整体误判程度，并基于误判程度对训练集数据进行选取，对AOI系统所具有的神经网络模型进行训练，获得训练好的AOI系统的神经网络模型，利用AOI系统再次对产线产品进行检测，并重新分析AOI系统的误判程度，若AOI系统的误判程度不满足标准，则利用此方法重复对AOI系统所具有的神经网络模型进行训练，实现了AOI系统通过不断地深度学习，降低其检测误判程度，提高对产品的检测效率。
2.本发明所述的一种基于深度学习的AOI检测方法与系统，通过根据AOI系统深度学习的次数，判定AOI系统是否具有问题的疑似性进行判定，并对疑似性较高的AOI系统包含的采集图像系统进行检测，获取AOI系统包含的采集图像系统的镜头分辨率、光源亮度参数以及光源角度参数，基于镜头分辨率、光源亮度参数以及光源角度参数计算获得AOI系统包含的采集图像系统的拍摄参数，并基于对AOI系统包含的采集图像系统的拍摄参数与阈值进行比较，判定AOI系统包含的采集图像系统是否正常，解决了AOI系统深度学习的其他影响因素，提高AOI系统深度学习的效率。
3.本发明所述的一种基于深度学习的AOI检测方法与系统，通过获得的拍摄参数以及AOI系统的整体误判程度表征值构建关系变化折线图，基于关系变化折线图对拍摄参数与AOI系统的整体误判程度表征值之间的关系进行判定，并基于判定结果对检测产品时，AOI系统的拍摄参数进行选取，在另一方面，进一步提高AOI系统对产品的检测效率。
附图说明
下面结合附图对本发明作进一步说明。
图1是本发明实施例一的方法流程图；
图2是本发明实施例一中的分布折线图；
图3是本发明实施例一中的关系变化折线图；
图4是本发明实施例二的系统模块图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
实施例一
如图1所示，本发明实施例所述的一种基于深度学习的AOI检测方法，包括：
步骤一：利用AOI系统对产线产品进行检测，获得AOI系统中记录的检测数据；
具体地，检测数据包括：图像数据和缺陷数据；
其中，图像数据：AOI系统通过图像采集系统获取产品的图像，包括正常产品和异常产品的图像数据，这些图像数据可以直观地反映产品的外观和元器件位置、质量等信息；
缺陷数据：AOI系统通过图像处理算法对采集到的图像数据进行分析，识别出的产品的缺陷信息，并将其记录为缺陷数据，缺陷数据可以包括元器件的错位、缺失、短路、焊接不良等问题；
步骤二：利用AOI系统对采集到的图像数据和缺陷数据进行统计分析，生成统计数据，统计数据包括产品高的良率、缺陷类型的分布情况、不良品的数量等信息；
基于统计数据中不良品的数量信息计算产线产品中的不良率参数，具体为：不良率参数＝统计数据中不良品的数量/产线产品数量；
需要说明的是，产线产品数量为AOI系统在检测周期内检测的产线产品的总数量；
利用人工对AOI系统在检测周期内检测的产线产品进行复检，重新获得产线产品中的不良品数量，基于重新获得的产线中的不良品数量计算产线产品中的实际不良率参数，具体为：实际不良率参数＝复检重新获得的不良品数量/产线产品数量；
将上述获得的产线产品的不良率参数以及实际不良率参数进行做差值处理，获得AOI系统的检测误判率；
基于上述人工复检，获得人工复检后的产品缺陷类型分布情况信息并结合AOI系统检测的产品缺陷类型的分布情况信息在X-Y坐标系内构建关于产品缺陷类型的分布折线图，如图2所示；
其中，在X轴坐标系上标记产品的缺陷类型，例如：元器件的错位、缺失、短路、焊接不良等，在产品的缺陷类型标记点上方对应标记出现具体产品类型缺陷的产品数量；
将所有产品数量的标记点进行直线连接，获得两条产品缺陷类型的分布折线；
其中，一条为AOI系统检测的产品缺陷类型的分布折线，一条为人工复检的产品缺陷类型的分布折线；
将两条折线的端点进行对应连接，计算两条折线之间所围成的面积；
通过人工复检的产品缺陷类型的分布折线两端向X轴做垂线，计算人工复检的产品缺陷类型的分布折线与X轴所围成的面积；
将获得的两条折线之间所围成的面积与人工复检的产品缺陷类型的分布折线与X轴所围成的面积进行比值处理，获得AOI系统的缺陷类型误判率；
将获得的AOI系统的检测误判率标记为ai，将AOI系统的缺陷类型误判率标记为bi；
将获得的AOI系统的检测误判率ai以及AOI系统的缺陷类型误判率bi进行量化处理，取其值代入公式：获得AOI系统的整体误判表征值ci；
将获得的AOI系统的整体误判表征值ci与预设的阈值进行比较，基于比较结果判定AOI系统的整体误判程度，并基于误判程度对训练集参数进行选取；
预设AOI系统的整体误判表征值的阈值为di；
若AOI系统的整体误判表征值ci＜AOI系统的整体误判表征值的阈值di，则表示AOI系统的检测误判程度较低，且ci与di之间的差值越大，则表示AOI系统的检测误判程度越低；
若AOI系统的整体误判表征值ci≥AOI系统的整体误判表征值的阈值di，则表示AOI系统的检测误判程度较高，且ci与di之间的差值越大，则表示AOI系统的检测误判程度越高，其中，当AOI系统的整体误判表征值ci≥AOI系统的整体误判表征值的阈值di时，将误判的产品的图像数据以及缺陷数据作为训练集数据；
步骤三：将训练集数据作为输入数据对AOI系统所具有的神经网络模型进行训练，获得训练好的AOI系统的神经网络模型，利用AOI系统再次对产线产品进行检测，重新获得的产线产品的图像数据以及缺陷数据，基于图像数据以及缺陷数据再次获得统计数据，并基于统计数据再次获得AOI系统的整体误判表征值，并将AOI系统的整体误判表征值再次与阈值进行比较，分析AOI系统的误判程度，若AOI系统的误判程度≥AOI系统的整体误判表征值的阈值，则再次将误判的产品的图像数据以及缺陷数据作为训练集数据作为输入数据对AOI系统所具有的神经网络模型进行训练，直到AOI系统经过深度的训练学习之后能够达到符合标准的误判程度为止；
本发明实施例，通过多次利用AOI系统对产线产品进行检测，获得AOI系统中记录的检测数据，基于检测数据获得不良率参数，利用人工复检方式获得实际不良率参数，基于不良率参数与实际不良率参数进行差值处理，获得AOI系统的检测误判率，获得人工复检后的产品缺陷类型分布情况信息并结合AOI系统检测的产品缺陷类型的分布情况信息在X-Y坐标系内构建关于产品缺陷类型的分布折线图，基于产品缺陷类型的分布折线图获得AOI系统的缺陷类型误判率，根据获得的AOI系统的检测误判率以及AOI系统的缺陷类型误判率计算获得AOI系统的整体误判表征值，将获得的AOI系统的整体误判表征值与预设的阈值进行比较，基于比较结果判定AOI系统的整体误判程度，并基于误判程度对训练集数据进行选取，将训练集数据作为输入数据对AOI系统所具有的神经网络模型进行训练，获得训练好的AOI系统的神经网络模型，利用AOI系统再次对产线产品进行检测，并重新分析AOI系统的误判程度，若AOI系统的误判程度不满足标准，则利用此方法重复对AOI系统所具有的神经网络模型进行训练，直到AOI系统经过深度地训练学习之后能够达到符合标准的误判程度为止，实现了AOI系统通过不断地深度学习，降低其检测误判程度，提高对产品的检测效率。
实施例二
基于实施例一的基础上，本发明所述的一种基于深度学习AOI检测方法，包括：
S101，获得AOI系统的深度学习次数，对AOI系统包含的采集图像系统的检测是否具有问题的疑似性进行判定；
具体地，若AOI系统的深度学习次数≤深度学习次数阈值，则说明AOI系统包含的采集图像系统存在问题的疑似性较小，无需对AOI系统包含的采集图像系统进行检测，生成无需检测信号；
若AOI系统的深度学习次数＞深度学习次数阈值，则说明AOI系统包含的采集图像系统存在问题的疑似性较大，需要对AOI系统包含的采集图像系统进行检测，生成检测信号；
S102，基于S101中的检测信号，获取AOI系统包含的采集图像系统的镜头分辨率，将镜头分辨率标记为ei；
获取AOI系统包含的采集图像系统采集产品图像时的光源亮度参数以及光源角度参数，将光源亮度参数标记为hi，将光源角度参数标记为mi；
其中，预设采集产品图像时光源亮度的合适范围区间为ei-gi，若采集产品图像时，光源亮度在范围区间内，则将其光源亮度参数hi记为2，若采集产品图像时，光源亮度不在范围区间内，则将其光源亮度参数hi记为1；
预设采集产品图像时光源角度的合适范围区间为ji-ki，若采集产品图像时，光源角度在范围区间内，则将其光源角度参数mi记为2，若采集产品图像时，光源角度不在范围区间内，则将其光源角度参数mi记为1；
将获得的镜头分辨率ei、光源亮度参数hi以及光源角度参数mi进行量化处理，取其值代入公式：li＝a×mi3+b×hi+c×ei2获得AOI系统包含的采集图像系统的拍摄参数li，其中，a、b、c为权重系数；
预设拍摄参数的阈值为oi；
若AOI系统包含的采集图像系统的拍摄参数li＜拍摄参数的阈值oi，则表示AOI系统包含的采集图像系统存在问题；
若AOI系统包含的采集图像系统的拍摄参数li≥拍摄参数的阈值oi，则表示AOI系统包含的采集图像系统正常；
本发明实施例实现了根据AOI系统深度学习的次数，判定AOI系统是否具有问题的疑似性进行判定，并对疑似性较高的AOI系统包含的采集图像系统进行检测，获取AOI系统包含的采集图像系统的镜头分辨率、光源亮度参数以及光源角度参数，基于镜头分辨率、光源亮度参数以及光源角度参数计算获得AOI系统包含的采集图像系统的拍摄参数，并基于对AOI系统包含的采集图像系统的拍摄参数与阈值进行比较，判定AOI系统包含的采集图像系统是否正常，解决了AOI系统深度学习的其他影响因素，提高AOI系统深度学习的效率。
实施例三
基于实施例一和实施例二，本发明实施例所述的一种基于深度学习的AOI检测方法，包括：
基于获得的拍摄参数以及AOI系统的整体误判程度表征值构建关系变化折线图，如图3所示；
具体地，获得不同拍摄参数对应的AOI系统的整体误判程度表征值，并将其在X-Y二维坐标系内进行标注，其中，将不同拍摄参数在X坐标轴上进行标注，将不同的AOI系统的整体误判程度表征值在X轴正上方与不同拍摄参数进行对应标注；
其中，X轴上的不同拍摄参数从左往右依次增大；
将所有AOI系统的整体误判程度表征值的标注点进行直线连接，形成关系变化折线图；
计算关系变化折线图中每条子折线段的斜率，基于子折线段的斜率对拍摄参数与AOI系统的整体误判程度表征值之间的关系进行判定，具体判定过程为：
若每条子折线段的斜率都小于0，则表示拍摄参数与AOI系统的整体误判程度表征值之间呈反向关系，随着拍摄参数的增高，AOI系统的整体误判程度表征值下降，则可在镜头分辨率允许的范围内，在AOI系统对产品进行检测时，采用较高分辨率的镜头，可减少AOI系统对产品缺陷的误判率；
若每条子折线段的斜率都不小于等于0或不都小于等于0，则表示拍摄参数与AOI系统的整体误判程度表征值之间不存在具体关系，则选取最小的AOI系统的整体误判程度表征值所对应的拍摄参数作为AOI系统检测产品时的拍摄参数；
需要说明的是，子折线段为两两AOI系统的整体误判程度表征值的标注点之间形成的折线段。
本发明实施例基于获得的拍摄参数以及AOI系统的整体误判程度表征值构建关系变化折线图，基于关系变化折线图对拍摄参数与AOI系统的整体误判程度表征值之间的关系进行判定，并基于判定结果对检测产品时，AOI系统的拍摄参数进行选取，在另一方面，进一步提高AOI系统对产品的检测效率。
实施例四
如图4所示，本发明实施例所述的一种基于深度学习的AOI检测系统，包括：
获得模块，用于获得AOI系统中记录的检测数据，基于检测数据获得不良率参数，利用人工复检方式获得实际不良率参数，基于不良率参数与实际不良率参数进行差值处理，获得AOI系统的检测误判率，还用于基于产品缺陷类型的分布折线图获得AOI系统的缺陷类型误判率；
第一构建模块，获得人工复检后的产品缺陷类型分布情况信息并结合AOI系统检测的产品缺陷类型的分布情况信息在X-Y坐标系内构建关于产品缺陷类型的分布折线图；
第一计算模块，用于根据获得的AOI系统的检测误判率以及AOI系统的缺陷类型误判率计算获得AOI系统的整体误判表征值；
第一判定模块，将获得的AOI系统的整体误判表征值与预设的阈值进行比较，基于比较结果判定AOI系统的整体误判程度，并基于误判程度对训练集参数进行选取；
训练模块，将训练集数据作为输入数据对AOI系统所具有的神经网络模型进行训练，获得训练好的AOI系统的神经网络模型，利用AOI系统再次对产线产品进行检测，并重新分析AOI系统的误判程度，若AOI系统的误判程度不满足标准，则利用此方法重复对AOI系统所具有的神经网络模型进行训练，直到AOI系统经过深度的训练学习之后能够达到符合标准的误判程度为止；
第二判定模块，用于根据AOI系统深度学习的次数，判定AOI系统是否具有问题的疑似性进行判定，还用于对AOI系统包含的采集图像系统的拍摄参数与阈值进行比较，判定AOI系统包含的采集图像系统是否正常
第二计算模块，用于根据镜头分辨率、光源亮度参数以及光源角度参数计算获得AOI系统包含的采集图像系统的拍摄参数；
第二构建模块，用于根据获得的拍摄参数以及AOI系统的整体误判程度表征值构建关系变化折线图；
第三判定模块，用于根据关系变化折线图对拍摄参数与AOI系统的整体误判程度表征值之间的关系进行判定；
选取模块，用于根据第三判定模块的判定结果对检测产品时，AOI系统的拍摄参数进行选取。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种基于深度学习的AOI检测方法，其特征在于：包括：
步骤一：获得AOI系统中记录的产品的检测数据，基于检测数据获得不良率参数，利用人工复检方式获得实际不良率参数，基于不良率参数与实际不良率参数计算AOI系统的检测误判率，基于人工复检后的产品缺陷类型分布情况信息以及AOI系统检测的产品缺陷类型的分布情况信息，在X-Y坐标系内构建关于产品缺陷类型的分布折线图，基于分布折线图获得AOI系统的缺陷类型误判率，根据获得的AOI系统的检测误判率以及AOI系统的缺陷类型误判率，计算获得AOI系统的整体误判表征值，并判定AOI系统的整体误判程度，并基于误判程度对训练集数据进行选取，将训练集数据作为输入数据对AOI系统所具有的神经网络模型进行训练，再次利用训练后的AOI系统再次对产线产品进行检测，并重新分析AOI系统的误判程度，若AOI系统的误判程度不满足标准，则重复对AOI系统所具有的神经网络模型进行训练，直到AOI系统经过深度学习之后，能够达到符合标准的误判程度为止；
步骤二：基于步骤一获得AOI系统深度学习的次数，对AOI系统包含的采集图像系统是否具有问题的疑似性进行判定，并对疑似性较高的AOI系统包含的采集图像系统，获取其镜头分辨率、光源亮度参数以及光源角度参数，并计算其拍摄参数，并基于拍摄参数判定AOI系统包含的采集图像系统是否正常；
步骤三：基于获得的拍摄参数以及AOI系统的整体误判程度表征值构建关系变化折线图，根据关系变化折线图对拍摄参数与AOI系统的整体误判程度表征值之间的关系进行判定，并基于判定结果对检测产品时，AOI系统的拍摄参数进行选取。
2.根据权利要求1所述的一种基于深度学习的AOI检测方法，其特征在于：所述检测数据包括图像数据和缺陷数据，利用AOI系统对采集到的图像数据和缺陷数据进行统计分析，生成统计数据，基于统计数据中不良品的数量信息计算产线产品中的不良率参数。
3.根据权利要求1所述的一种基于深度学习的AOI检测方法，其特征在于：利用所述人工复检方式获得实际不良率参数，利用人工对AOI系统在检测周期内检测的产线产品进行复检，重新获得产线产品中的不良品数量，基于重新获得的产线中的不良品数量计算产线产品中的实际不良率参数。
4.根据权利要求1所述的一种基于深度学习的AOI检测方法，其特征在于：基于所述不良率参数与实际不良率参数计算AOI系统的检测误判率，将获得的产线产品的不良率参数以及实际不良率参数进行做差值处理，获得AOI系统的检测误判率。
5.根据权利要求1所述的一种基于深度学习的AOI检测方法，其特征在于：基于所述分布折线图获得AOI系统的缺陷类型误判率，包括：
获得人工复检后的产品缺陷类型分布情况信息并结合AOI系统检测的产品缺陷类型的分布情况信息在X-Y坐标系内构建关于产品缺陷类型的分布折线图，具体地，将所有产品数量的标记点进行直线连接，获得两条产品缺陷类型的分布折线；
其中，一条为AOI系统检测的产品缺陷类型的分布折线，一条为人工复检的产品缺陷类型的分布折线；
将两条折线的端点进行对应连接，计算两条折线之间所围成的面积；
通过人工复检的产品缺陷类型的分布折线两端向X轴做垂线，计算人工复检的产品缺陷类型的分布折线与X轴所围成的面积；
将获得的两条折线之间所围成的面积与人工复检的产品缺陷类型的分布折线与X轴所围成的面积进行比值处理，获得AOI系统的缺陷类型误判。
6.根据权利要求1所述的一种基于深度学习的AOI检测方法，其特征在于：计算所述AOI系统的整体误判表征值，判定AOI系统的整体误判程度，并基于误判程度对训练集数据进行选取，具体包括：
将获得的AOI系统的检测误判率标记为ai，将AOI系统的缺陷类型误判率标记为bi；
将获得的AOI系统的检测误判率ai以及AOI系统的缺陷类型误判率bi进行量化处理，取其值代入公式：获得AOI系统的整体误判表征值ci。
7.根据权利要求1所述的一种基于深度学习的AOI检测方法，其特征在于：判定所述AOI系统的整体误判程度，并基于误判程度对训练集数据进行选取，具体为：
预设AOI系统的整体误判表征值的阈值为di；
若AOI系统的整体误判表征值ci＜AOI系统的整体误判表征值的阈值di，则表示AOI系统的检测误判程度较低，且ci与di之间的差值越大，则表示AOI系统的检测误判程度越低；
若AOI系统的整体误判表征值ci≥AOI系统的整体误判表征值的阈值di，则表示AOI系统的检测误判程度较高，且ci与di之间的差值越大，则表示AOI系统的检测误判程度越高，其中，当AOI系统的整体误判表征值ci≥AOI系统的整体误判表征值的阈值di时，将误判的产品的图像数据以及缺陷数据作为训练集数据。
8.根据权利要求1所述的一种基于深度学习的AOI检测方法，其特征在于：获取所述其镜头分辨率、光源亮度参数以及光源角度参数，并计算其拍摄参数，并基于判定结果对检测产品时，AOI系统的拍摄参数进行选取，其过程为：将获得的镜头分辨率ei、光源亮度参数hi以及光源角度参数mi进行量化处理，取其值代入公式：li＝a×mi3+b×hi+c×ei2获得AOI系统包含的采集图像系统的拍摄参数l i，其中，a、b、c为权重系数；
预设拍摄参数的阈值为oi；
若AOI系统包含的采集图像系统的拍摄参数li＜拍摄参数的阈值oi，则表示AOI系统包含的采集图像系统存在问题；
若AOI系统包含的采集图像系统的拍摄参数li≥拍摄参数的阈值oi，则表示AOI系统包含的采集图像系统正常。
9.根据权利要求1所述的一种基于深度学习的AOI检测方法，其特征在于：根据所述关系变化折线图对拍摄参数与AOI系统的整体误判程度表征值之间的关系进行判定，并基于判定结果对检测产品时，AOI系统的拍摄参数进行选取，包括：
将所有AOI系统的整体误判程度表征值的标注点进行直线连接，形成关系变化折线图；
计算关系变化折线图中每条子折线段的斜率，基于子折线段的斜率对拍摄参数与AOI系统的整体误判程度表征值之间的关系进行判定，具体判定过程为：
若每条子折线段的斜率都小于0，则表示拍摄参数与AOI系统的整体误判程度表征值之间呈反向关系，随着拍摄参数的增高，AOI系统的整体误判程度表征值下降，则可在镜头分辨率允许的范围内，在AOI系统对产品进行检测时，采用较高分辨率的镜头，可减少AO I系统对产品缺陷的误判率；
若每条子折线段的斜率都不小于等于0或不都小于等于0，则表示拍摄参数与AOI系统的整体误判程度表征值之间不存在具体关系，则选取最小的AOI系统的整体误判程度表征值所对应的拍摄参数作为AOI系统检测产品时的拍摄参数。
10.一种基于深度学习的AO I检测系统，所述检测系统基于权利要求1-9任一项所述的方法，其特征在于：包括：
获得模块，用于获得AO I系统中记录的检测数据，基于检测数据获得不良率参数，利用人工复检方式获得实际不良率参数，基于不良率参数与实际不良率参数进行差值处理，获得AOI系统的检测误判率，还用于基于产品缺陷类型的分布折线图获得AOI系统的缺陷类型误判率；
第一构建模块，获得人工复检后的产品缺陷类型分布情况信息并结合AOI系统检测的产品缺陷类型的分布情况信息在X-Y坐标系内构建关于产品缺陷类型的分布折线图；
第一计算模块，用于根据获得的AOI系统的检测误判率以及AOI系统的缺陷类型误判率计算获得AOI系统的整体误判表征值；
第一判定模块，将获得的AOI系统的整体误判表征值与预设的阈值进行比较，基于比较结果判定AOI系统的整体误判程度，并基于误判程度对训练集参数进行选取；
训练模块，将训练集数据作为输入数据对AOI系统所具有的神经网络模型进行训练，利用AOI系统再次对产线产品进行检测，并重新分析AOI系统的误判程度，若AOI系统的误判程度不满足标准，则利用此方法重复对AOI系统所具有的神经网络模型进行训练，直到AOI系统经过深度的训练学习之后能够达到符合标准的误判程度为止；
第二判定模块，用于根据AOI系统深度学习的次数，判定AOI系统是否具有问题的疑似性进行判定，还用于对AO I系统包含的采集图像系统的拍摄参数与阈值进行比较，判定AOI系统包含的采集图像系统是否正常
第二计算模块，用于根据镜头分辨率、光源亮度参数以及光源角度参数计算获得AOI系统包含的采集图像系统的拍摄参数；
第二构建模块，用于根据获得的拍摄参数以及AOI系统的整体误判程度表征值构建关系变化折线图；
第三判定模块，用于根据关系变化折线图对拍摄参数与AOI系统的整体误判程度表征值之间的关系进行判定；
选取模块，用于根据第三判定模块的判定结果对检测产品时，AOI系统的拍摄参数进行选取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311818077.5A CN117647531B (zh) | 2023-12-27 | 2023-12-27 | 一种基于深度学习的aoi检测方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311818077.5A CN117647531B (zh) | 2023-12-27 | 2023-12-27 | 一种基于深度学习的aoi检测方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117647531A true CN117647531A (zh) | 2024-03-05 |
| CN117647531B CN117647531B (zh) | 2024-04-26 |
Family
ID=90047930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311818077.5A Active CN117647531B (zh) | 2023-12-27 | 2023-12-27 | 一种基于深度学习的aoi检测方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117647531B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102174424B1 (ko) * | 2019-05-24 | 2020-11-04 | 충북대학교 산학협력단 | 서버 기반 부품 검사방법 및 그를 위한 시스템 및 장치 |
| CN112669272A (zh) * | 2020-12-22 | 2021-04-16 | 广州广合科技股份有限公司 | 一种aoi快速检测方法及快速检测系统 |
| CN113591965A (zh) * | 2021-07-26 | 2021-11-02 | 格力电器(南京)有限公司 | 一种aoi检测图像处理方法、装置、存储介质及计算机设备 |
| CN115100098A (zh) * | 2022-04-12 | 2022-09-23 | 昇视图业(苏州)智能科技有限公司 | 一种基于深度学习算法的印制电路板aoi智能检测设备 |
| CN116188427A (zh) * | 2023-02-15 | 2023-05-30 | 深圳市长盈精密技术股份有限公司 | 检测小目标外观缺陷的方法、装置、设备及存储介质 |
| CN116843650A (zh) * | 2023-07-04 | 2023-10-03 | 上海交通大学 | 融合aoi检测与深度学习的smt焊接缺陷检测方法及系统 |
-
2023
- 2023-12-27 CN CN202311818077.5A patent/CN117647531B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102174424B1 (ko) * | 2019-05-24 | 2020-11-04 | 충북대학교 산학협력단 | 서버 기반 부품 검사방법 및 그를 위한 시스템 및 장치 |
| CN112669272A (zh) * | 2020-12-22 | 2021-04-16 | 广州广合科技股份有限公司 | 一种aoi快速检测方法及快速检测系统 |
| CN113591965A (zh) * | 2021-07-26 | 2021-11-02 | 格力电器(南京)有限公司 | 一种aoi检测图像处理方法、装置、存储介质及计算机设备 |
| CN115100098A (zh) * | 2022-04-12 | 2022-09-23 | 昇视图业(苏州)智能科技有限公司 | 一种基于深度学习算法的印制电路板aoi智能检测设备 |
| CN116188427A (zh) * | 2023-02-15 | 2023-05-30 | 深圳市长盈精密技术股份有限公司 | 检测小目标外观缺陷的方法、装置、设备及存储介质 |
| CN116843650A (zh) * | 2023-07-04 | 2023-10-03 | 上海交通大学 | 融合aoi检测与深度学习的smt焊接缺陷检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 吴鹃;: "基于深度学习与板卡控制的AOI识别算法应用研究", 信息技术, no. 09, 23 September 2020 (2020-09-23) * |
| 陈瑞阳等: ""电子元器件缺陷检测模型的自动训练系统"", 《电子测量技术》, 23 December 2023 (2023-12-23) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117647531B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145175B (zh) | 一种基于iForest模型验证的SMT焊点缺陷检测方法 | |
| CN109870461B (zh) | 一种电子元器件质量检测系统 | |
| CN116721107B (zh) | 一种电缆生产质量智能监控系统 | |
| CN112561875A (zh) | 一种基于人工智能的光伏电池板粗栅检测方法 | |
| CN114255212A (zh) | 一种基于cnn的fpc表面缺陷检测方法及其系统 | |
| CN114266743A (zh) | 基于hsv和cnn的fpc缺陷检测方法、系统及存储介质 | |
| CN114820439A (zh) | 基于aoi的pcb裸板缺陷的检测系统及方法 | |
| CN111882547A (zh) | 一种基于神经网络的pcb漏件检测方法 | |
| CN115294114A (zh) | 一种基于ecu电路焊接的质量检测方法 | |
| CN117455917B (zh) | 一种蚀刻引线框架误报库建立及误报在线判定筛选方法 | |
| CN115482194A (zh) | 一种pcb板的异型元件aoi缺陷检测方法与系统 | |
| CN116993725B (zh) | 一种柔性电路板智能贴片信息处理系统 | |
| Xie et al. | A high speed AOI algorithm for chip component based on image difference | |
| CN117647531B (zh) | 一种基于深度学习的aoi检测方法与系统 | |
| Khalid et al. | An algorithm to group defects on printed circuit board for automated visual inspection | |
| CN111307817A (zh) | 一种智能产线pcb生产过程的在线检测方法及系统 | |
| CN115170476A (zh) | 基于图像处理的印制线路板缺陷检测方法 | |
| CN115100095A (zh) | 一种基于非监督算法的pcb板检测方法 | |
| CN107123105A (zh) | 基于fast算法的图像匹配缺陷检测方法 | |
| CN111539933B (zh) | 一种直插元件检测方法及系统 | |
| CN117115114B (zh) | 基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法 | |
| CN117876376B (zh) | 高速率多功能连接器质量视觉检测方法 | |
| CN116993654B (zh) | 摄像头模组缺陷检测方法、装置、设备、存储介质及产品 | |
| CN117670823B (zh) | 一种基于图像识别的pcba线路板元件检测及评价方法 | |
| Chen | Detection System for Mobile Phone Interface Circuit Board Assembly Based on Computer Vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |