CN114612418A - 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备 - Google Patents

一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备 Download PDF

Info

Publication number
CN114612418A
CN114612418A CN202210219815.3A CN202210219815A CN114612418A CN 114612418 A CN114612418 A CN 114612418A CN 202210219815 A CN202210219815 A CN 202210219815A CN 114612418 A CN114612418 A CN 114612418A
Authority
CN
China
Prior art keywords
camera
image
mouse shell
mouse
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210219815.3A
Other languages
English (en)
Inventor
谢丰凡
邱翌
王东明
卢星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Lian Science And Technology Co ltd
Original Assignee
Ningbo Lian Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Lian Science And Technology Co ltd filed Critical Ningbo Lian Science And Technology Co ltd
Priority to CN202210219815.3A priority Critical patent/CN114612418A/zh
Publication of CN114612418A publication Critical patent/CN114612418A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本发明公开了一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备，该方法包括：获取待测鼠标外壳的图像，其中所述图像包括所述待测鼠标外壳的顶部的图像、四个侧面的图像以及底部的图像；对所述图像进行预处理；将预处理后的图像输入训练好的缺陷检测模型中，得到初步检测结果；对所述初步检测结果进行非极大抑制操作，得到缺陷检测结果。该方法采集顶部的图像、四个侧面的图像以及底部的图像，克服了因不规则曲面导致的成像不均匀，极大缓解了表面纹理缺陷的成像效果受打光方向和拍摄角度影响大的问题；将预处理后的图像输入训练好的缺陷检测模型中进行缺陷检测，通过深度学习算法，提高了检测的准确性、鲁棒性和效率。

Description

一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备
技术领域
本申请涉及机器视觉应用领域，尤其涉及一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备。
背景技术
随着人们生活质量的提高和科技发展的需求，注塑件产品的应用也越来越广泛。为了避免带有缺陷的产品流入市场造成损失，准确地把缺陷产品检测出来显得尤为重要。
在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：
目前常用的机器视觉检测方案一般采用单一照明和拍摄，用来检测近似于平面的产品缺陷，难以克服鼠标外壳不规则曲面照明不均匀和纹理缺陷成像效果受光照、拍摄角度影响大的问题；而一些用于检测曲面缺陷的视觉方案也局限于检测规则曲面上的单一结构缺陷，很少同时涉及到复杂曲面的表面纹理缺陷和结构缺陷；针对鼠标外壳的表面缺陷检测，目前工厂中仍然是人工检测，但随着产量的不断提升，难以同时保证检测的效率和精度。
发明内容
本申请实施例的目的是提供一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备，以解决相关技术中存在的针对鼠标外壳的表面缺陷检测无法同时保证效率和精度的技术问题。
根据本申请实施例的第一方面，提供一种鼠标外壳表面缺陷检测方法，包括：
获取待测鼠标外壳的图像，其中所述图像包括所述待测鼠标外壳的顶部的图像、四个侧面的图像以及底部的图像；
对所述图像进行预处理；
将预处理后的图像输入训练好的缺陷检测模型中，得到初步检测结果；
对所述初步检测结果进行非极大抑制操作，得到缺陷检测结果。
进一步地，对所述图像进行预处理，包括：
对所述图像进行形态学滤波操作，得到鼠标外壳区域；
对所述鼠标外壳区域进行锐化，以提高所述鼠标外壳区域的对比度。
进一步地，所述缺陷检测模型包括：
特征提取网络，用于提取输入图像的特征；
特征融合网络，用于融合所述特征提取网络输出的不同尺度、不同层次的特征，得到融合特征；及
检测分类网络，用于从所述融合特征中识别出目标缺陷的位置和类别。
进一步地，所述缺陷检测模型的训练过程包括：
获取鼠标外壳的图像集；
对所述图像集中的所有图像进行检测框标注和数据增强，得到训练数据集，其中每个检测框包括缺陷的位置信息和类别信息；
将所述训练数据集划分为训练集和验证集；
在所述训练集中的一张图像上预设的若干候选框进行筛选，得到正样本框和负样本框；
根据所述正样本框与所述检测框的重合程度，计算位置损失函数；
根据正样本框对应的检测框的类别信息，计算类别损失函数；
根据所述正样本框、负样本框分别对应的置信度信息，计算置信度损失函数；
对所述位置损失函数、类别损失函数和置信度损失函数求加权和，得到损失值，生成策略梯度；
根据所述策略梯度，基于反向传播算法逐层更新所述缺陷检测模型的参数；
对所述训练集中的其他图像执行从在所述训练集中的一张图像上预设的若干候选框进行筛选，得到正样本框和负样本框至根据所述策略梯度，基于反向传播算法逐层更新所述缺陷检测模型的参数的步骤；
将验证集输入更新后的缺陷检测模型中，计算验证集的平均损失；
对在所述训练集中的一张图像上预设的若干候选框进行筛选，得到正样本框和负样本框至将验证集输入更新后的缺陷检测模型中，计算验证集的平均损失的步骤进行重复直至所述验证集的损失不再降低。
根据本申请实施例的第二方面，提供一种鼠标外壳表面缺陷检测装置，包括：
获取模块，用于获取待测鼠标外壳的图像，其中所述图像为带偏振光的多光源多相机视觉系统对所述待测鼠标外壳的各个面进行图像采集得到；
预处理模块，用于对所述图像进行预处理；
输入模块，用于将预处理后的图像输入训练好的缺陷检测模型中，得到初步检测结果；
后处理模块，用于对所述初步检测结果进行非极大抑制操作，得到缺陷检测结果。
根据本申请实施例的第三方面，提供一种鼠标外壳表面缺陷检测系统，包括：
图像采集单元，所述图像采集单元用于采集待测鼠标外壳的图像，其中所述图像包括所述待测鼠标外壳的顶部的图像、四个侧面的图像以及底部的图像；
打光单元，所述打光单元用于在所述图像采集单元进行图像采集时进行光线照射；及
处理器，所述处理器用于获取待测鼠标外壳的图像，对所述图像进行预处理，将预处理后的图像输入训练好的缺陷检测模型中，得到初步检测结果，对所述初步检测结果进行非极大抑制操作，得到缺陷检测结果。
进一步地，所述图像采集单元包括：
第一相机和第二相机，所述第一相机和第二相机用于从不同角度采集所述待测鼠标外壳的顶部的图像；
第三相机、第四相机、第五相机和第六相机，所述第三相机、第四相机、第五相机和第六相机用于采集所述待测鼠标外壳的四个侧面的图像；
第七相机，所述第七相机用于采集所述待测鼠标外壳的底部的图像。
进一步地，所述打光单元包括：
第一光源，所述第一光源设置在所述第一相机和第三相机之间，用于在所述第一相机和第三相机进行图像采集时对所述待测鼠标外壳进行照射，其中所述第一光源与所述第一相机和第三相机均不同轴；
第二光源，所述第二光源设置在所述第二相机和第四相机之间，用于在所述第二相机和第四相机进行图像采集时对所述待测鼠标外壳进行照射，其中所述第二光源与所述第二相机和第四相机均不同轴；
第三光源，所述第三光源用于在所述第五相机进行图像采集时对所述待测鼠标外壳进行照射，其中所述第三光源与所述第五相机不同轴；
第四光源，所述第四光源用于在所述第六相机进行图像采集时对所述待测鼠标外壳进行照射，其中所述第四光源与所述第六相机不同轴；
第五光源，所述第五光源用于在所述第七相机进行图像采集时对所述待测鼠标外壳进行照射，其中所述第五光源与所述第七相机同轴。
根据本申请实施例的第四方面，提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
根据本申请实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本申请采集顶部的图像、四个侧面的图像以及底部的图像，克服了因不规则曲面导致的成像不均匀，极大缓解了表面纹理缺陷的成像效果受打光方向和拍摄角度影响大的问题；将预处理后的图像输入训练好的缺陷检测模型中进行缺陷检测，通过深度学习算法，提高了检测的准确性、鲁棒性和效率；本发明可以在实际生产中代替人工检测以提高生产效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种鼠标外壳表面缺陷检测方法的流程图。
图2是根据一示例性实施例示出的鼠标外壳的顶部和前后侧面的照明拍摄示意图。
图3是根据一示例性实施例示出的鼠标外壳的左右侧面的照明拍摄示意图。
图4是根据一示例性实施例示出的鼠标外壳的底面的照明拍摄示意图。
图5是根据一示例性实施例示出的步骤S102的流程图。
图6是根据一示例性实施例示出的缺陷检测模型的训练过程的流程图。
图7是根据一示例性实施例示出的一种鼠标外壳表面缺陷检测装置的框图。
图中的附图标记包括：
100、图像采集单元；101、第一相机；102、第二相机；103、第三相机；104、第四相机；105、第五相机；106、第六相机；107、第七相机；
200、打光单元；201、第一光源；202、第二光源；203、第三光源；204、第四光源；205、第五光源；
300、待测鼠标外壳；301、顶部；302、后侧面；303、前侧面；304、底面。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是根据一示例性实施例示出的一种鼠标外壳表面缺陷检测方法的流程图，如图1所示，该方法应用于处理器中，可以包括以下步骤：
步骤S101：获取待测鼠标外壳300的图像，其中所述图像包括所述待测鼠标外壳300的顶部301的图像、四个侧面的图像以及底部的图像；
步骤S102：对所述图像进行预处理；
步骤S103：将预处理后的图像输入训练好的缺陷检测模型中，得到初步检测结果；
步骤S104：对所述初步检测结果进行非极大抑制操作，得到缺陷检测结果。
由上述实施例可知，本申请采集顶部301的图像、四个侧面的图像以及底部的图像，克服了因不规则曲面导致的成像不均匀，极大缓解了表面纹理缺陷的成像效果受打光方向和拍摄角度影响大的问题；将预处理后的图像输入训练好的缺陷检测模型中进行缺陷检测，通过深度学习算法，提高了检测的准确性、鲁棒性和效率；本发明可以在实际生产中代替人工检测以提高生产效率。
在步骤S101的具体实施中，获取待测鼠标外壳300的图像，其中所述图像包括所述待测鼠标外壳300的顶部301的图像、四个侧面的图像以及底部的图像；
具体地，以实际使用中鼠标的方位为准，即鼠标的左键和右键在鼠标的前方，鼠标外壳顶部301不规则曲面可近似为一个凸面，所述凸面的前后部分可进一步近似为两个斜面，因此所述图像包括所述待测鼠标外壳300顶部301前半部分的图像、顶部301后半部分的图像、前后左右四个侧面的图像以及底部的图像。
具体地，所述图像由图像采集单元100在打光单元200照射下采集得到，在一实施例中，为了兼顾硬件成本和性能，所述图像采集单元100统一采用200万像素的面阵工业相机和12mm工业镜头，如图2所示，第一相机101在第一光源201的照射下拍摄待测鼠标外壳300的顶部301不规则曲面的前半部分，第二相机102在第二光源202的照射下拍摄待测鼠标外壳300的顶部301不规则曲面的后半部分，其中所述第一相机101和第二相机102均可为带偏振镜的面阵工业相机，所述第一光源201和第二光源202均可为带偏振板的90度环形光源，第一光源201和第二光源202分别置于待测鼠标外壳300的顶部301曲面的前上方和后上方，不与第一相机101、第二相机102同轴；为了节约硬件成本，如图2所示，待测鼠标外壳300的前侧面303和后侧面302的图像由采用第三相机103和第四相机104分别在所述第一光源201和第二光源202的照射下拍摄得到，位置上第一光源201、第二光源202也不与第三相机103、第四相机104同轴；结合图3，待测鼠标外壳300的左右侧面的图像由采用第五相机105和第六相机106分别在所述第三光源203和第四光源204的照射下拍摄得到，第三光源203和第四光源204分别置于待测鼠标外壳300的顶部301曲面的左上方和右上方，不与第五相机105、第六相机106同轴；结合图4，待测鼠标外壳300的底面304图像由采用第七相机107在第五光源205下拍摄得到，所述第五光源205可以为穹顶无影光源，第五光源205与第七相机107同轴。
在本实施例中，在采集鼠标外壳的顶部301的图像时，先后控制第一光源201、第二光源202点亮，第一相机101、第二相机102逐一拍照；采集鼠标外壳的前后侧面302的图像时，控制第一光源201、第二光源202点亮，第三相机103、第四相机104拍照；采集左右侧面的图像时，控制第三光源203、第四光源204点亮，第五相机105、第六相机106拍照；采集底面304的图像时，控制第五光源205点亮，第七相机107拍照。
在步骤S102的具体实施中，对所述图像进行预处理；
具体地，如图5所示，此步骤可以包括以下子步骤：
步骤S201：对所述图像进行形态学滤波操作，得到鼠标外壳区域；
具体地，采用Canny算子获取边缘二值图，对其进行腐蚀、膨胀、空洞填充操作，选取最大连通区域作为鼠标外壳区域；
步骤S202：对所述鼠标外壳区域进行锐化，以提高所述鼠标外壳区域的对比度；
具体地，可通过拉普拉斯锐化、模糊增强、ACE算法等提高缺陷的对比度。
具体地，预处理的操作还可以包括滤除图像的噪声，该操作可通过中值滤波、双边高斯滤波、导向滤波等实现
在步骤S103的具体实施中，将预处理后的图像输入训练好的缺陷检测模型中，得到初步检测结果；
具体地，得到的初步检测结果可表示为Pi＝(xi,yi,ri,bi,Ci,Confi)，其中(xi,yi,ri,bi)表示第i个预测框的左上角、右下角坐标；Cij表示第i个预测框属于第j类，其中j∈[0,K-1]，K＝4代表四种类别标记，分别为划伤、杂质、料花和缩水，Confi表示第i个预测框的置信度，其中Confi∈[0,1]，置信度越大预测的结果越可靠。
具体地，所述缺陷检测模型可以包括特征提取网络、特征融合网络及检测分类网络，所述特征提取网络用于提取输入图像的特征；所述特征融合网络用于融合所述特征提取网络输出的不同尺度、不同层次的特征，得到融合特征；所述检测分类网络用于从所述融合特征中识别出目标缺陷的位置和类别。
在具体实施中，所述特征提取网络可提取输入图像多尺度、深层抽象的特征，为了缓解模型的过拟合，对浅层和深层特征进行了多次跳跃连接；所述特征融合网络可融合不同尺度、不同层次的特征以提高模型的表征能力；所述检测分类网络可从融合的特征中识别出目标缺陷的位置和类别。
具体地，如图6所示，所述缺陷检测模型的训练过程包括：
步骤S301：获取鼠标外壳的图像集；
具体地，对大约100个鼠标外壳采集了700张左右图片。
步骤S302：对所述图像集中的所有图像进行检测框标注和数据增强，得到训练数据集，其中每个检测框包括缺陷的位置信息和类别信息；
具体地，每一个标注了的检测框包含缺陷的位置信息和类别信息，可表示为Tij＝(xi,yi,ri,bi,Cij)，其中(xi,yi,ri,bi)表示第i个缺陷目标框的左上角、右下角坐标；Cij表示第i个缺陷目标属于第j类，其中j∈[0,K-1]，K＝4代表四种类别标记，分别为划伤、杂质、料花和缩水；对标注好的图像集应用随机裁剪、翻转、旋转、加噪声、混合裁剪等数据增强手段，可将图像集扩充四倍，将扩充后的图像集设置为训练数据集。
步骤S303：将所述训练数据集划分为训练集和验证集；
在一实施例中，随机选取70％的训练数据集设置为训练集，其余30％训练数据集为验证集，训练集与验证集的比值取值通常在3：2至4：1之间。
步骤S304：在所述训练集中的一张图像上预设的若干候选框进行筛选，得到正样本框和负样本框；
具体地，根据所述图像对应的已标注的检测框，计算所有检测框与所有候选框的重合程度，将重合程度大于设定阈值的候选框作为正样本框，其余作为负样本框，这里阈值设置为0.2，可根据实际情况设定；
步骤S305：根据所述正样本框与所述检测框的重合程度，计算位置损失函数；
具体地，采用IOU损失函数，假设正样本框的预测坐标可表示为Ppos＝(xp,yp,rp,bp)，检测框的坐标表示为Tpos＝(xt,yt,rt,bt)，位置损失函数表示为Lpos(Ppos,Tpos)，则：
Figure BDA0003536530350000101
步骤S306：根据正样本框对应的检测框的类别信息，计算类别损失函数；
具体地，采用交叉熵损失函数，假设正样本框的预测类别可表示为Pcls＝(p0,p1,p2,p3)，其中pi表示预测为类别i的概率，检测框的类别信息表示为Tcls＝(l0,l1,l2,l3)，位置损失函数表示为Lpos(Pcls,Tcls)，则：
Figure BDA0003536530350000102
步骤S307：根据所述正样本框、负样本框分别对应的置信度信息，计算置信度损失函数；
具体地，采用二分类交叉熵损失函数，假设正、负样本框的预测置信度可表示为Pobj＝confp，检测框的置信度表示为Tobj＝IOU，位置损失函数表示为Lobj(Pobj,Tboj)，则：
Lobj(Pobj,Tboj)＝-(Tobjln(Pobj)+(1-Tobj)ln(1-Pobj))
步骤S308：对所述位置损失函数、类别损失函数和置信度损失函数求加权和，得到损失值，生成策略梯度；
具体地，损失值可表示为Loss＝aLpos+bLcls+cLobj，其中权重a，b，c的可以根据实际情况设定；
步骤S309：根据所述策略梯度，基于反向传播算法逐层更新所述缺陷检测模型的参数；
具体地，由Loss函数对网络可学习参数求导，并计算出梯度，根据梯度下降原理更新参数值；
步骤S310：对所述训练集中的其他图像执行从在所述训练集中的一张图像上预设的若干候选框进行筛选，得到正样本框和负样本框至根据所述策略梯度，基于反向传播算法逐层更新所述缺陷检测模型的参数的步骤；
具体地，通过步骤S310可使训练集中的所有图像都对所述缺陷检测模型进行一次训练。
步骤S311：将验证集输入更新后的缺陷检测模型中，计算验证集的平均损失；
具体地，在训练集中的所有图像都对所述缺陷检测模型进行一次训练之后，将验证集中的所有图像输入更新后的缺陷检测模型中，对更新后的缺陷检测模型进行验证。
步骤S312：对在所述训练集中的一张图像上预设的若干候选框进行筛选，得到正样本框和负样本框至将验证集输入更新后的缺陷检测模型中，计算验证集的平均损失的步骤进行重复直至所述验证集的损失不再降低。
具体地，验证集损失值不再降低，缺陷检测模型的精度达到最高，因此缺陷检测模型训练的效果最好，保存该模型权重。
在步骤S104的具体实施中，对所述初步检测结果进行非极大抑制操作，得到缺陷检测结果；
具体地，步骤S103中输出的初步检测结果会存在很多重合度高的预测框，对其进行非极大抑制留下置信度高的预测框，称为第二检测结果。
在一实施例中，该方法还可以包括：
步骤S105：将所述缺陷检测结果发送至显示器，以使得所述显示器显示所述缺陷检测结果；
具体地，从第二检测结果中获取缺陷的位置信息、类别信息和置信度信息，进行可视化处理后发送至显示器，并在显示器上显示。
与前述的鼠标外壳表面缺陷检测方法的实施例相对应，本申请还提供了鼠标外壳表面缺陷检测装置的实施例。
图7是根据一示例性实施例示出的一种鼠标外壳表面缺陷检测装置框图。
参照图7，该装置可以包括：
获取模块21，用于获取待测鼠标外壳300的图像，其中所述图像为带偏振光的多光源多相机视觉系统对所述待测鼠标外壳300的各个面进行图像采集得到；
预处理模块22，用于对所述图像进行预处理；
输入模块23，用于将预处理后的图像输入训练好的缺陷检测模型中，得到初步检测结果；
后处理模块24，用于对所述初步检测结果进行非极大抑制操作，得到缺陷检测结果。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本申请还提供一种鼠标外壳表面缺陷检测系统，包括图像采集单元100、打光单元200及处理器，所述图像采集单元100用于采集待测鼠标外壳300的图像，其中所述图像包括所述待测鼠标外壳300的顶部301的图像、四个侧面的图像以及底部的图像；所述打光单元200用于在所述图像采集单元100进行图像采集时进行光线照射；所述处理器用于获取待测鼠标外壳300的图像，对所述图像进行预处理，将预处理后的图像输入训练好的缺陷检测模型中，得到初步检测结果，对所述初步检测结果进行非极大抑制操作，得到缺陷检测结果。
具体地，所述图像采集单元100包括：
第一相机101和第二相机102，所述第一相机101和第二相机102用于从不同角度采集所述待测鼠标外壳300的顶部301的图像；
第三相机103、第四相机104、第五相机105和第六相机106，所述第三相机103、第四相机104、第五相机105和第六相机106用于采集所述待测鼠标外壳300的四个侧面的图像；
第七相机107，所述第七相机107用于采集所述待测鼠标外壳300的底部的图像。
具体地，所述打光单元200包括：
第一光源201，所述第一光源201设置在所述第一相机101和第三相机103之间，用于在所述第一相机101和第三相机103进行图像采集时对所述待测鼠标外壳300进行照射，其中所述第一光源201与所述第一相机101和第三相机103均不同轴；
第二光源202，所述第二光源202设置在所述第二相机102和第四相机104之间，用于在所述第二相机102和第四相机104进行图像采集时对所述待测鼠标外壳300进行照射，其中所述第二光源202与所述第二相机102和第四相机104均不同轴；
第三光源203，所述第三光源203用于在所述第五相机105进行图像采集时对所述待测鼠标外壳300进行照射，其中所述第三光源203与所述第五相机105不同轴；
第四光源204，所述第四光源204用于在所述第六相机106进行图像采集时对所述待测鼠标外壳300进行照射，其中所述第四光源204与所述第六相机106不同轴；
第五光源205，所述第五光源205用于在所述第七相机107进行图像采集时对所述待测鼠标外壳300进行照射，其中所述第五光源205与所述第七相机107同轴。
在一实施例中，该系统还可以包括显示器，所述显示器用于接收所述处理器发送的缺陷检测结果并对所述缺陷检测结果进行显示。
具体地，该系统中各个元件执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的鼠标外壳表面缺陷检测方法。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如上述的鼠标外壳表面缺陷检测方法。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种鼠标外壳表面缺陷检测方法，其特征在于，包括：
获取待测鼠标外壳的图像，其中所述图像包括所述待测鼠标外壳的顶部的图像、四个侧面的图像以及底部的图像；
对所述图像进行预处理；
将预处理后的图像输入训练好的缺陷检测模型中，得到初步检测结果；
对所述初步检测结果进行非极大抑制操作，得到缺陷检测结果。
2.根据权利要求1所述的方法，其特征在于，对所述图像进行预处理，包括：
对所述图像进行形态学滤波操作，得到鼠标外壳区域；
对所述鼠标外壳区域进行锐化，以提高所述鼠标外壳区域的对比度。
3.根据权利要求1所述的方法，其特征在于，所述缺陷检测模型包括：
特征提取网络，用于提取输入图像的特征；
特征融合网络，用于融合所述特征提取网络输出的不同尺度、不同层次的特征，得到融合特征；及
检测分类网络，用于从所述融合特征中识别出目标缺陷的位置和类别。
4.根据权利要求1所述的方法，其特征在于，所述缺陷检测模型的训练过程包括：
获取鼠标外壳的图像集；
对所述图像集中的所有图像进行检测框标注和数据增强，得到训练数据集，其中每个检测框包括缺陷的位置信息和类别信息；
将所述训练数据集划分为训练集和验证集；
在所述训练集中的一张图像上预设的若干候选框进行筛选，得到正样本框和负样本框；
根据所述正样本框与所述检测框的重合程度，计算位置损失函数；
根据正样本框对应的检测框的类别信息，计算类别损失函数；
根据所述正样本框、负样本框分别对应的置信度信息，计算置信度损失函数；
对所述位置损失函数、类别损失函数和置信度损失函数求加权和，得到损失值，生成策略梯度；
根据所述策略梯度，基于反向传播算法逐层更新所述缺陷检测模型的参数；
对所述训练集中的其他图像执行从在所述训练集中的一张图像上预设的若干候选框进行筛选，得到正样本框和负样本框至根据所述策略梯度，基于反向传播算法逐层更新所述缺陷检测模型的参数的步骤；
将验证集输入更新后的缺陷检测模型中，计算验证集的平均损失；
对在所述训练集中的一张图像上预设的若干候选框进行筛选，得到正样本框和负样本框至将验证集输入更新后的缺陷检测模型中，计算验证集的平均损失的步骤进行重复直至所述验证集的损失不再降低。
5.一种鼠标外壳表面缺陷检测装置，其特征在于，包括：
获取模块，用于获取待测鼠标外壳的图像，其中所述图像为带偏振光的多光源多相机视觉系统对所述待测鼠标外壳的各个面进行图像采集得到；
预处理模块，用于对所述图像进行预处理；
输入模块，用于将预处理后的图像输入训练好的缺陷检测模型中，得到初步检测结果；
后处理模块，用于对所述初步检测结果进行非极大抑制操作，得到缺陷检测结果。
6.一种鼠标外壳表面缺陷检测系统，其特征在于，包括：
图像采集单元，所述图像采集单元用于采集待测鼠标外壳的图像，其中所述图像包括所述待测鼠标外壳的顶部的图像、四个侧面的图像以及底部的图像；
打光单元，所述打光单元用于在所述图像采集单元进行图像采集时进行光线照射；及
处理器，所述处理器用于获取待测鼠标外壳的图像，对所述图像进行预处理，将预处理后的图像输入训练好的缺陷检测模型中，得到初步检测结果，对所述初步检测结果进行非极大抑制操作，得到缺陷检测结果。
7.根据权利要求6所述的系统，其特征在于，所述图像采集单元包括：
第一相机和第二相机，所述第一相机和第二相机用于从不同角度采集所述待测鼠标外壳的顶部的图像；
第三相机、第四相机、第五相机和第六相机，所述第三相机、第四相机、第五相机和第六相机用于采集所述待测鼠标外壳的四个侧面的图像；
第七相机，所述第七相机用于采集所述待测鼠标外壳的底部的图像。
8.根据权利要求7所述的系统，其特征在于，所述打光单元包括：
第一光源，所述第一光源设置在所述第一相机和第三相机之间，用于在所述第一相机和第三相机进行图像采集时对所述待测鼠标外壳进行照射，其中所述第一光源与所述第一相机和第三相机均不同轴；
第二光源，所述第二光源设置在所述第二相机和第四相机之间，用于在所述第二相机和第四相机进行图像采集时对所述待测鼠标外壳进行照射，其中所述第二光源与所述第二相机和第四相机均不同轴；
第三光源，所述第三光源用于在所述第五相机进行图像采集时对所述待测鼠标外壳进行照射，其中所述第三光源与所述第五相机不同轴；
第四光源，所述第四光源用于在所述第六相机进行图像采集时对所述待测鼠标外壳进行照射，其中所述第四光源与所述第六相机不同轴；
第五光源，所述第五光源用于在所述第七相机进行图像采集时对所述待测鼠标外壳进行照射，其中所述第五光源与所述第七相机同轴。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-4中任一项所述方法的步骤。
CN202210219815.3A 2022-03-08 2022-03-08 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备 Pending CN114612418A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210219815.3A CN114612418A (zh) 2022-03-08 2022-03-08 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210219815.3A CN114612418A (zh) 2022-03-08 2022-03-08 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备

Publications (1)

Publication Number Publication Date
CN114612418A true CN114612418A (zh) 2022-06-10

Family

ID=81860246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210219815.3A Pending CN114612418A (zh) 2022-03-08 2022-03-08 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备

Country Status (1)

Country Link
CN (1) CN114612418A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091505A (zh) * 2023-04-11 2023-05-09 青岛芯康半导体科技有限公司 一种蓝宝石衬底自动缺陷检测分类的方法和系统
WO2024032002A1 (zh) * 2022-08-10 2024-02-15 宁德时代新能源科技股份有限公司 电芯检测方法、装置、系统、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024032002A1 (zh) * 2022-08-10 2024-02-15 宁德时代新能源科技股份有限公司 电芯检测方法、装置、系统、计算机设备和存储介质
CN116091505A (zh) * 2023-04-11 2023-05-09 青岛芯康半导体科技有限公司 一种蓝宝石衬底自动缺陷检测分类的方法和系统

Similar Documents

Publication Publication Date Title
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN113570605B (zh) 一种基于液晶显示面板的缺陷检测方法和系统
CN111833306A (zh) 缺陷检测方法和用于缺陷检测的模型训练方法
CN114612418A (zh) 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN113608378B (zh) 一种基于lcd制程的全自动缺陷检测方法和系统
CN116559183B (zh) 一种提高缺陷判定效率的方法及系统
CN110473201A (zh) 一种刹车片表面缺陷的自动检测方法及装置
CN116542982B (zh) 一种基于机器视觉的出发判断器缺陷检测方法及装置
CN112990392A (zh) 基于改进YOLOv5算法的新材料地板缺陷目标检测系统
CN111161295B (zh) 一种菜品图像背景剥离方法
CN111062961A (zh) 一种基于深度学习的隐形眼镜边缘缺陷检测方法
CN113252568A (zh) 基于机器视觉的镜片表面缺陷检测方法、系统、产品、终端
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN113780484B (zh) 工业产品缺陷检测方法和装置
CN115937518A (zh) 一种基于多源图像融合的路面病害识别方法及系统
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN116523916B (zh) 产品表面缺陷检测方法、装置、电子设备及存储介质
CN116958035A (zh) 产品零件缺陷检测方法、装置、介质及电子设备
CN111935480B (zh) 一种用于图像获取装置的检测方法及相关装置
CN114926675A (zh) 外壳污损缺陷检测方法、装置、计算机设备及存储介质
CN114219758A (zh) 缺陷检测方法、系统、电子设备和计算机可读存储介质
Dixon et al. Measuring optical distortion in aircraft transparencies: a fully automated system for quantitative evaluation
CN117078666B (zh) 二维和三维结合的缺陷检测方法、装置、介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination