CN117173107A - 产品缺陷检测方法、装置、设备、系统和可读存储介质 - Google Patents
产品缺陷检测方法、装置、设备、系统和可读存储介质 Download PDFInfo
- Publication number
- CN117173107A CN117173107A CN202311003988.2A CN202311003988A CN117173107A CN 117173107 A CN117173107 A CN 117173107A CN 202311003988 A CN202311003988 A CN 202311003988A CN 117173107 A CN117173107 A CN 117173107A
- Authority
- CN
- China
- Prior art keywords
- product
- image
- defect detection
- defect
- detection result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 321
- 238000001514 detection method Methods 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000003709 image segmentation Methods 0.000 claims abstract description 22
- 238000013135 deep learning Methods 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 239000000047 product Substances 0.000 description 283
- 238000004519 manufacturing process Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 238000013461 design Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000002950 deficient Effects 0.000 description 9
- 238000005070 sampling Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请提供一种产品缺陷检测方法、装置、设备、系统和可读存储介质,涉及机器视觉技术领域,该方法包括:获取产品的原始图像,对所述原始图像进行图像分割,得到产品图像区域;根据深度学习算法对所述产品图像区域进行一次识别,得到第一缺陷检测结果,所述第一缺陷检测结果用于表征所述产品是否存在凹坑、划痕、油污点、缺损、毛糙和无盖中的至少一种缺陷;对所述产品图像区域进行二次识别,得到第二缺陷检测结果,所述第二缺陷检测结果用于表征所述产品是否存在轮廓不均匀的缺陷;根据所述第一缺陷检测结果和第二缺陷检测结果,确定所述产品是否合格。该技术方案可以提高产品外观缺陷识别效率和准确度,降低人工检测成本。
Description
技术领域
本申请涉及机器视觉技术领域,尤其涉及一种产品缺陷检测方法、装置、设备、系统和可读存储介质。
背景技术
在产品生产过程中,不可避免的都会存在一定数量的瑕疵品。这些瑕疵品往往具有一个或多个缺陷特征,基于每个瑕疵品上的缺陷特征,需要从生产线中将这些瑕疵品单独挑选出来。
现有技术中,瑕疵品的挑选通常是人工排查,即人工检测产品是否存在缺陷特征,如果存在缺陷,则该产品会被判定为瑕疵品。
但是,这种人工排查的方式需要花费很长的时间,而生产线由于产品生产效率较快,导致需要进行质检的产品数量很多,往往需要安排大量人工才能完成检查,需要耗费很大的人力成本。
发明内容
本申请提供一种产品缺陷检测方法、装置、设备、系统和可读存储介质,用于解决现有的人工外观缺陷检测成本高的问题。
第一方面,本申请实施例提供一种产品缺陷检测方法,包括:
获取产品的原始图像,对所述原始图像进行图像分割,得到产品图像区域;
根据深度学习算法对所述产品图像区域进行一次识别,得到第一缺陷检测结果,所述第一缺陷检测结果用于表征所述产品是否存在凹坑、划痕、油污点、缺损、毛糙和无盖中的至少一种缺陷;
对所述产品图像区域进行二次识别,得到第二缺陷检测结果,所述第二缺陷检测结果用于表征所述产品是否存在轮廓不均匀的缺陷;
根据所述第一缺陷检测结果和第二缺陷检测结果,确定所述产品是否合格。
在第一方面的一种可能设计中,所述获取产品的原始图像,包括:
获取图像采集装置对放置于转台的产品进行图像采集得到的图像,作为所述原始图像,所述图像采集装置至少包括有光源和摄像设备,所述光源与所述摄像设备对向设置,所述光源与所述产品的端面形成第一夹角,所述摄像设备与所述产品的端面形成第二夹角,所述第一夹角处于第一预设角度范围内,所述第二夹角处于第二预设角度范围内。
在第一方面的另一种可能设计中,所述获取产品的原始图像,包括:
在所述转台进行旋转时,确定所述转台是否旋转达到目标角度;
若所述转台旋转达到目标角度,则控制所述摄像设备对放置于所述转台上的产品进行图像采集,得到所述原始图像。
在第一方面的再一种可能设计中,所述第一预设角度范围为30度至60度,所述第二预设角度范围为30度至60度。
在第一方面的又一种可能设计中,所述对所述原始图像进行图像分割,得到产品图像区域,包括:
获取第一网络结构,所述第一网络结构为将Unet++网络模型的主干网络替换成深度残差网络后得到的;
根据所述第一网络结构,对所述原始图像进行分割,得到掩膜图片;
确定所述产品的外接矩形;
根据所述产品的外接矩形,对所述掩膜图片进行轮廓提取,得到所述产品图像区域。
在第一方面的又一种可能设计中,所述根据深度学习算法对所述产品图像区域进行一次识别,得到第一缺陷检测结果,包括:
获取第二网络结构,所述第二网络结构为在Unet++网络模型的基础上增加分类头,并将所述Unet++网络模型的主干网络替换成深度残差网络后得到的,所述分类头用于对识别后的缺陷进行分类;
根据所述第二网络结构,对所述产品图像区域进行缺陷识别分类,确定出所述产品图像区域中是否存在凹坑、划痕、油污点、缺损、毛糙和无盖中的至少一种缺陷。
在第一方面的又一种可能设计中,所述对所述产品图像区域进行二次识别,得到第二缺陷检测结果,包括:
根据轮廓拟合算法,将所述产品的轮廓与样本产品的轮廓进行拟合比对;
获取所述产品的轮廓与所述样本产品的轮廓的拟合比对结果,作为所述第二缺陷检测结果。
在第一方面的又一种可能设计中,所述对所述产品图像区域进行二次识别,得到第二缺陷检测结果,包括:
对所述产品图像区域进行二值化,确定所述产品的轮廓;
对所述产品的轮廓进行过滤,筛除与预设条件不匹配的轮廓,得到至少两个剩余轮廓;
计算每个剩余轮廓的面积,确定至少两个剩余轮廓中面积最大的第一轮廓和面积最小的第二轮廓;
以所述第一轮廓和第二轮廓的公共中心点为端点,引出至少两条射线,并确定每条所述射线与所述第一轮廓和第二轮廓的相交线段;
计算每条所述相交线段的距离;
根据所述距离,确定所述第二缺陷检测结果。
在第一方面的又一种可能设计中,所述筛除与预设条件不匹配的轮廓,得到至少一个剩余轮廓,包括:
筛除不满足预设形状的轮廓,得到一次过滤后的轮廓;
计算所述一次过滤后的轮廓的中心点,过滤所述中心点未处于预设范围内的轮廓,得到至少两个剩余轮廓。
在第一方面的又一种可能设计中,所述根据所述第一缺陷检测结果和第二缺陷检测结果,确定所述产品是否合格,包括:
若所述产品存在无盖缺陷,则判定所述产品不合格;
若所述产品存在凹坑、划痕、油污点、缺损、毛糙、轮廓不均匀中的至少一种缺陷,则计算所述缺陷的面积和/或尺寸/和/或数量和/或灰度值;
根据所述缺陷的面积和/或尺寸/和/或数量和/或灰度值和预设标准指标,确定所述产品是否合格。
第二方面,本申请实施例提供一种产品缺陷检测装置,包括:
图像分割模块,用于获取产品的原始图像,对所述原始图像进行图像分割,得到产品图像区域;
第一识别模块,用于根据深度学习算法对所述产品图像区域进行一次识别,得到第一缺陷检测结果,所述第一缺陷检测结果用于表征所述产品是否存在凹坑、划痕、油污点、缺损、毛糙和无盖中的至少一种缺陷;
第二识别模块,用于对所述产品图像区域进行二次识别,得到第二缺陷检测结果,所述第二缺陷检测结果用于表征所述产品是否存在轮廓不均匀的缺陷;
结果确定模块,用于根据所述第一缺陷检测结果和第二缺陷检测结果,确定所述产品是否合格。
第三方面,本申请实施例提供一种产品缺陷检测设备,包括:处理器,以及与所述处理器通信连接的存储器;所述存储器存储计算机执行指令;所述处理器执行所述存储器存储的计算机执行指令,以实现如上述的方法。
第四方面,本申请实施例提供一种产品缺陷检测系统,包括:图像采集装置和产品缺陷检测设备,所述图像采集装置用于对放置于转台的产品进行图像采集,所述产品缺陷检测设备用于根据所述图像采集装置采集的图像,对产品进行缺陷检测。
第五方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上述的方法。
本申请实施例提供的一种产品缺陷检测方法、装置、设备、系统和可读存储介质,在利用图像处理算法识别产品是否存在轮廓不均匀的基础上,结合深度学习算法来对产品外观缺陷做进一步检测,识别产品是否还存在凹坑、划痕、油污点、缺损、毛糙和无盖等缺陷,能够提高缺陷识别的准确性,而且避免了使用人工检测缺陷所产生的高额成本。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理;
图1为本申请实施例提供的产品缺陷检测的场景示意图;
图2为本申请实施例提供的产品缺陷检测方法的流程示意图;
图3为本申请实施例提供的图像采集装置的结构示意图;
图4A为本申请实施例提供的第一网络结构的示意图;
图4B为本申请实施例提供的第二网络结构示意图;
图5为本申请实施例提供的图像分割示意图;
图6为本申请实施例提供的外观缺陷识别示意图;
图7为本申请实施例提供的轴承轮廓示意图;
图8为本申请实施例提供的产品缺陷检测装置的结构示意图;
图9为本申请实施例提供的产品缺陷检测设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
产品在生产过程中由于各种因素的影响,会有一定概率生产出瑕疵品,这些瑕疵品通常在外观或内部功能结构上具有缺陷。针对产品的外观缺陷,通常是在生产线上设置缺陷检测工位,人工将这些外观缺陷的产品挑选出来。但是在实际应用中,由于产品外观缺陷可划分为多种不同的类型,为提高效率,通常会在生产线为每种类型的缺陷配置一个或多个工位来检测对应类型的缺陷。如此就存在如下问题:①成本高。生产线节拍一般都在2.5s左右,所以在进行缺陷检测时要想跟上生产线的节奏,基本每条生产线都需要配置多名工人,这就会使得生产成本增加。②效率低。一个产品通常有多个面,人工需要手动翻转并仔细的对每个面进行检测,当长时间重复工作,每个缺陷的度量标准会完全受到主观性和心理因素的影响,长时间工作极易疲劳,工作越长效率就会越来越低。③精度低。产品缺陷的种类多且复杂,而每个工人的检测经验是不完全相同,因此对缺陷的判断标准无法统一,且有个人主观因素,当对于要求较高的产品,一般人工都需检测两三遍。针对人工检测遇到的问题,在相关技术中也有使用机器设备来实现外观缺陷检测的方式,例如在机器设备上搭载图像处理算法,通过图像处理算法来识别外观缺陷,但是这种方式每次都需要设置缺陷参数,不能自适应,而且算法识别也存在准确性差的问题。
针对上述问题,本申请实施例提供了一种产品缺陷检测方法、装置、设备、系统和可读存储介质,在利用传统的图像处理算法识别产品是否存在轮廓不均匀的基础上,结合深度学习算法来对产品外观缺陷做进一步检测,识别产品是否还存在凹坑、划痕、油污点、缺损、毛糙和无盖等缺陷,能够提高缺陷识别的准确性,而且避免了使用人工检测缺陷带来的问题,同时,深度学习算法还具有一定的自适应性,避免每次都需要人工设置缺陷参数。
下面,通过具体实施例对本申请的技术方案进行详细说明。需要说明的是,下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图1为本申请实施例提供的产品缺陷检测的场景示意图,如图1所示,在产品生产过程中配置了检测工位1至检测工位5,生产产线上生产出的产品通过自动上料进入排序系统,排序系统可以按照每个产品的生产时间先后顺序,对每个产品进行排序,在排序完毕之后,每个产品依次通过检测工位1至检测工位5进行产品缺陷的检测。其中,以产品为轴承为例,其可能存在有多种不同类型的外观缺陷,检测工位1可以用于检测轴承端面A上可能存在的划痕、油污点、缺损、毛糙、不均匀和无盖等表面缺陷,检测工位3可以用于检测轴承端面B上可能存在的划痕、油污点、缺损、毛糙、不均匀和无盖等表面缺陷,检测工位2可以用于检测轴承端面A上可能存在的凹坑缺陷,检测工位4可以用于检测轴承端面B上可能存在的凹坑缺陷,检测工位5可以用于检测轴承外环面和外倒角面上的划痕、油污点、缺损、毛糙缺陷。在其他实施例中,检测工位1-5也可以分别用于检测不同类型的外观缺陷,在此不做赘述。
图2为本申请实施例提供的产品缺陷检测方法的流程示意图,该方法可以应用于检测设备,该检测设备可以配置于生产线上,以用于实现对生产线上生产的产品进行外观缺陷检测,确定出哪些产品存在外观缺陷,哪些产品不存在外观缺陷。如图2所示,该方法具体可以包括如下步骤:
步骤S201,获取产品的原始图像,对原始图像进行图像分割,得到产品图像区域。
在本实施例中,以轴承作为产品为例,轴承通常具有两面(具体可以分为正面和反面)。在获取轴承的原始图像时,可以通过摄像设备(例如摄像头)对轴承的正面进行图像拍摄,得到轴承的正面图像。之后再翻转轴承,通过摄像设备对轴承反面进行图像拍摄,得到轴承的反面图像。其中,正面图像和反面图像均作为原始图像。
示例性的,当产品具有多个表面且这些表面均有可能存在外观缺陷时,就需要通过摄像设备获取产品的每个表面图像,同时,所有表面图像均需要作为原始图像。
在本实施例中,在摄像设备进行拍摄得到原始图像后,原始图像中可能会存在一些与产品图像无关的元素(例如背景、障碍物等等),此时可以通过对原始图像进行分割,去除与产品图像无关的元素,保留下产品图像区域。其中,产品图像区域可以是指产品的表面区域。通过对产品的表面区域做进一步的分析,可以确定该产品是否存在有外观缺陷。
步骤S202,根据深度学习算法对产品图像区域进行一次识别,得到第一缺陷检测结果。其中,第一缺陷检测结果用于表征产品是否存在凹坑、划痕、油污点、缺损、毛糙和无盖中的至少一种缺陷。
在本实施例中,凹坑是指产品的表面存在有凹陷,不平整。其中,凹坑缺陷又可以根据凹坑的深度分为严重凹坑缺陷、轻微凹坑缺陷等不同类型,例如轻微凹坑缺陷的深度为小于或等于0.05毫米,这种轻微凹坑缺陷很难被人工识别,并且即使采用传统的图像识别算法进行检测,也需要依赖成像质量很高设备来采集得到原始图像。划痕是指产品的表面存在有不规则的划痕痕迹,同理,划痕缺陷也可以根据划痕的长度分为严重划痕缺陷、轻微划痕缺陷等不同类型,在此不再赘述。油污点是指产品的表面存在有油污。缺损是指产品的表面存在有不正常的缺口或损坏,或者产品存在有零部件的缺失损坏。毛糙是指产品表面不光滑,存在毛刺等。无盖是指产品缺失盖件,以轴承为例,有盖的轴承可以防水防尘,轴承内部比较干净。而没有盖的轴承,灰尘和水之类的东西容易进入。
在本实施例中,在利用深度学习算法对产品图像进行一次识别之前,可以事先搭建神经网络模型,然后获取大量的缺陷产品图像作为负样本,无缺陷产品图像作为正样本,形成训练数据对神经网络模型进行训练,以提高神经网络模型对产品缺陷的识别能力。其中,负样本中存在的缺陷可以包括凹坑、划痕、油污点、缺损、毛糙和无盖中的至少一种缺陷。
步骤S203,对产品图像区域进行二次识别,得到第二缺陷检测结果。其中,第二缺陷检测结果用于表征产品是否存在轮廓不均匀的缺陷。
在本实施例中,在对产品图像区域进行二次识别时,可以采用图像处理算法(例如轮廓拟合算法),轮廓拟合算法是指将产品的轮廓图像与标准轮廓图像进行对比分析,以此来确定产品是否存在有轮廓不均匀的情况。其中,产品的轮廓不均匀是指产品的轮廓存在弯曲、变形等情况。例如以轴承作为产品为例,轴承具有外环和内环,当外环或者内环存在变形或弯曲时,则可以判定该轴承存在有轮廓不均匀的缺陷。
步骤S204,根据第一缺陷检测结果和第二缺陷检测结果,确定产品是否合格。
在本实施例中,可以先基于第一缺陷检测结果和第二缺陷检测结果,判定该产品是否存在缺陷,然后进一步的基于该产品当前所存在的缺陷,确定该产品是否合格。例如,在对产品外观缺陷要求比较严格时,若产品出现凹坑、划痕、油污点、缺损、毛糙、无盖、轮廓不均匀中的任何一种或两种以上的缺陷,则该产品直接判定为不合格产品。而在对产品外观缺陷要求不严格时,例如当产品只出现一种缺陷时,可以将该产品判定为合格产品,而当产品出现两种以上的缺陷时,才将该产品判定为不合格产品。
另外,在其他实施方式中,也可以为每种外观缺陷类型设置对应的标准指标,当产品的该项缺陷超出该标准指标时,就判定为不合格产品。例如以轴承的凹坑缺陷为例,可以设置标准指标值为0.05毫米,当轴承的凹坑缺陷深度不超过0.05毫米时,该轴承可以视为合格,当轴承的凹坑缺陷深度超过0.05毫米时,该轴承视为不合格。
本申请实施例通过图像采集,并分割出其中的产品图像区域,基于产品图像区域分别采用深度学习算法和轮廓拟合算法进行缺陷识别,可以全面准确的找到产品可能存在的缺陷,而且相对于人工检测效率更高。
在另一些实施例中,上述步骤S201中“获取产品的原始图像”具体可以通过如下步骤实现:获取图像采集装置对放置于转台的产品进行图像采集得到的图像,作为原始图像。图像采集装置至少包括光源和摄像设备,光源与摄像设备对向设置,光源与产品的端面形成第一夹角,摄像设备与产品的端面形成第二夹角,第一夹角处于第一预设角度范围内,第二夹角处于第二预设角度范围内。
在本实施例中,为了能够尽可能全面的采集到产品的外观缺陷,避免有外观缺陷遗漏,在对产品进行图像采集时,需要对图像采集过程进行改进,以保证当产品存在有缺陷时,采集得到的原始图像中能够体现出该外观缺陷,而不发生遗漏。例如以轴承作为产品为例,轴承具有端面A、端面B、外环面和外倒角面等,此时就需要采集轴承的每个面的图像,避免遗漏造成缺陷检测不准确的情况。
示例性的,图3为本申请实施例提供的图像采集装置的结构示意图,该图像采集装置可以作为上述检测设备的一部分,也可以独立于上述检测设备且与上述检测设备协同实现本申请方案。如图3所示,该图像采集装置具体包括有转台301(用于放置产品30)、光源31和摄像设备32。其中,光源31可以进行补光,保证摄像设备32在对产品30进行图像采集时所需的光线,同时通过补光还可以进一步凸显出产品30的表面上存在的外观缺陷,例如当存在有油污点时,由于油污点对光线的反射,会使得该油污点更加凸显。又或者当存在有凹坑缺陷时,可以进一步凸显出深度较小的凹坑。其中,转台301可以旋转,通过转台301的旋转,可以改变产品30的拍摄角度,避免出现拍摄死角,得到产品全方位的表面图像,以作为原始图像。
本申请实施例通过配置特有的图像采集装置对产品进行图像采集,通过图像采集装置中的光源进行补光,能够采集到更加清晰的原始图像,并且采集得到的原始图像能够更加的准确,避免出现外观缺陷的遗漏采集,提高采集得到的原始图像的质量。
进一步的,在上述实施例的基础上,在另一些实施例中,在获取产品的原始图像时,可以通过如下步骤实现:在转台进行旋转时,确定转台是否旋转达到目标角度;若转台旋转达到目标角度,则控制摄像设备对放置于转台上的产品进行图像采集,得到原始图像。
在本实施例中,为了保证能够对产品的外观进行全方位的图像采集,避免出现有外观缺陷遗漏拍摄,可以根据实际情况设置目标角度,例如目标角度为120度。继续参考上述图3,在摄像设备32对放置于转台301上的产品30进行图像采集时,可以打开光源31进行补光,同时转台301旋转,带动产品30转动,在转动到目标角度时停止,然后摄像设备32对产品30进行图像拍摄。进一步的,当摄像设备32完成一次拍摄之后,可以触发转台301再次转动,带动产品30转动,当产品30再次转动目标角度之后停止,摄像设备32继续对产品30进行图像拍摄,由此通过多次转动和拍摄,可以实现对产品外观的全方位图像采集,最终得到更加准确完整的原始图像。
进一步的,以轴承为产品为例,当轴承的端面B(参考图3,即当前产品30与转台301接触的面)也有存在外观缺陷的可能时,在摄像设备32对轴承的端面A进行多次拍摄采集得到端面A的原始图像之后,可以通过上述图1中的翻转工位翻转该轴承,然后由摄像设备32继续对该轴承的端面B进行多次拍摄采集得到端面B的原始图像,最后将得到的B面的原始图像通过上述图1中的检测工位3和检测工位4,以检测端面B上可能存在的划痕、油污点、缺损、毛糙、不均匀和无盖等表面缺陷,以及端面B上可能存在的凹坑缺陷。
本申请实施例通过转动以带动转台上的产品转动,然后通过摄像设备对产品进行图像拍摄,可以对产品的表面进行全方位的图像采集,由此一旦产品存在有外观缺陷,就会对应的体现在原始图像中,避免对外观缺陷的遗漏采集,提高对产品外观缺陷检测的准确性。
进一步的,在上述实施例的基础上,在另一些实施例中,上述第一预设角度范围为30度至60度,第二预设角度范围为30度至60度。
在本实施例中,可以继续参考上述图3,产品的端面A和端面B上有可能存在凹坑缺陷,其中,凹坑缺陷有深也有浅,将光源与端面形成的第一夹角、摄像设备与端面形成的第二夹角均配置为30度至60度,能够凸显出端面上一些较浅的凹坑缺陷(例如凹坑深度只有0.05毫米的凹坑缺陷),如此采集得到的原始图像中也会记录下这些较浅的凹坑缺陷,避免出现检测遗漏的情况,提高对产品外观检测的准确性。
同时,在本实施例中,对于较难检测出来的较浅凹坑缺陷,通过在光学结构上采用光源(例如条形光)、产品(例如轴承)和摄像设备(例如相机)搭建一条光学反射路线,并用转台转动的方式来实现图像的多次采集,也可以替换目前的3D结构光相机,进一步节省原始图像的获取成本。
示例性的,继续参考上述图3,在本实施例中,当产品存在有凹坑缺陷时,有的凹坑缺陷可能比较轻微(例如凹坑深度只有0.05毫米),如果将光源31设置在产品30的正上方,通过垂直打光的方式进行补光,则该轻微凹坑缺陷可能不会被凸显出来,摄像设备32在进行图像采集得到的原始图像中可能不会凸显出该轻微凹坑缺陷,如此就容易造成对产品是否存在外观缺陷的误判。为此,通过将光源31与产品30的端面形成一定的夹角(即处于第一预设角度范围),将光打在产品表面时,摄像设备32可以在光源31的对立面也与产品30的端面形成一定的夹角(即处于第二预设角度范围),这种打光方式可以凸显出轻微凹坑缺陷,使得摄像设备32采集得到的原始图像中显示出该轻微凹坑缺陷。其中,光源31可以是条形面光,摄像设备32可以是3D结构光之外的其它相机,如此可以减少设备成本。
本申请实施例通过设置第一预设角度范围和第二预设角度范围,利用漫反射原理,将光源的光线打在产品表面上,可以凸显出产品上的轻微凹坑缺陷,而摄像设备通过与产品端面形成一定的夹角,可以在进行图像采集时清晰的采集到该轻微凹坑缺陷区域图像,使最终得到的原始图像更加准确可靠,进一步提高产品外观缺陷检测的准确性。
在一些实施例中,上述步骤S201中“对原始图像进行图像分割,得到产品图像区域”具体可以通过如下步骤实现:获取第一网络结构,第一网络结构为将Unet++网络模型的主干网络替换成深度残差网络后得到的;根据第一网络结构,对原始图像进行分割,得到掩膜图片;确定产品的外接矩形;根据产品的外接矩形,对掩膜图片进行轮廓提取,得到产品图像区域。
在本实施例中,首先对UNet网络进行说明,UNet是一个包含4层下采样、4层上采样和类似跳跃连接结构的全卷积网络,网络由两条对称路径构成,左半部分实现下采样过程,过程中图像不断进行卷积操作和下采样,以提取图像特征,获取特征信息,这个过程称为编码过程。UNet网络结构中的跳跃连接过程是将上采样过程中的特征图与下采样过程中的特征图融合。UNet其特点是卷积层在下采样和上采样部分完全对称,且下采样端的特征图可以跳过深层采样,被拼接至对应的上采样端。UNet在提出之初主要被用于医学影像的语义分割,并在之后的应用研究中被扩展至3维视频数据的语义分割和超分辨率图像生成。由于UNet是一个泛用性较好的全卷积网络,也衍生出了一些面向特定问题的改进版本,例如包含深监督设计和模型剪枝的UNet++,U-Net++在U-Net的基础上,引入了更多的上采样节点和跳跃连接。
在本实施例中,深度残差网络具有更好的特征提取效果,可以更好的提取出外观缺陷特征,提高外观缺陷的识别准确度。图4A为本申请实施例提供的第一网络结构的示意图,如图4A所示,其中虚线箭头所表示的即为跳跃连接(跳跃连接是指会跳跃神经网络中的某些层,并将一层的输出作为下一层的输入),方向朝下的实线箭头表示的是下采样(下采样可以理解为缩小图像,减少矩阵的采样点数),下采样为5次。方向朝上的实线箭头表示的是上采样(上采样指的是任何可以让图像变成更高分辨率的技术)。
在本实施例中,第一网络结构与Unet++网络模型的区别之处在于,将Unet++网络模型的主干网络(BackBone)替换成深度残差网络40,其中,第一网络结构的主干网络采用的是深度残差网络resnet34。
在本实施例中,当采集的原始图像送入到第一网络结构中之后,得到原始图像中的产品图像区域的掩膜图片(即mask图片),再对mask图片进行轮廓提取,寻找产品轮廓的最小外接矩形,在原始图像上扣出产品图像区域。
示例性的,图5为本申请实施例提供的图像分割示意图,如图5所示,以产品为轴承50为例,轴承50的最小外接矩形为501,通过该最小外接矩形501对Mask图片进行轮廓提取,把该最小外接矩形501所包含的图像区域全部提取出来,由此得到包含轴承50的图像区域。
本申请实施例通过利用第一网络结构对原始图像进行分割,一方面可以去除其它元素(例如背景和障碍物等)的干扰,提高后续外观缺陷的检测准确性,另一方面也可以在充分保证分割精度的前提下,提高分割速度,实现图像的快速处理,降低对生产线上每个产品的外观缺陷检测所花费的时间,提高外观缺陷检测效率。
在一些实施例中,上述步骤S202具体可以通过如下步骤实现:获取第二网络结构;根据第二网络结构,对产品图像区域进行缺陷识别分类,确定出产品图像区域中是否存在凹坑、划痕、油污点、缺损、毛糙和无盖中的至少一种缺陷。其中,第二网络结构为在Unet++网络模型的基础上增加分类头并将Unet++网络模型的主干网络替换成深度残差网络后得到的,分类头用于对识别后的缺陷进行分类。
在本实施例中,第二网络结构可以理解为语义分割模型,其在上述第一网络结构的基础上,进一步增加了分类头cls。通过分类头cls对识别后的缺陷进行分类,可以进一步降低误识别的概率。其中,图4B为本申请实施例提供的第二网络结构示意图,如图4B所示,第二网络结构的输出头(即head)有两部分,一部分为seg,另一部分为cls,其中,seg直接接交叉熵,cls需要加卷积层、池化层以及全连接层,最后接激活函数sigmod。其中,第二网络结构对产品图像区域进行外观缺陷识别,如果产品图像区域中存在有某种缺陷(包含凹坑、划痕、油污点、缺损、毛糙和无盖中的至少一种缺陷),则该缺陷就会被提取出来,并且可以通过分类头对该缺陷进行分类。
示例性的,以产品为轴承为例,该轴承如果同时包含有2个凹坑缺陷和2个划痕缺陷,则通过第二网络结构可以对该轴承图像区域进行缺陷提取,把这些缺陷特征提取出来,并且按照缺陷类型(即凹坑缺陷和划痕缺陷)的不同进行分类。
示例性的,图6为本申请实施例提供的外观缺陷识别示意图,如图6所示,以产品为轴承60,其包括有2个凹坑缺陷和2个划痕缺陷为例,通过最小外接矩形601提取得到轴承图像区域之后,可以对该轴承图像区域进行缺陷识别,提取出外观缺陷602、外观缺陷603、外观缺陷604和外观缺陷605,同时,通过分类头对这些外观缺陷进行分类识别,将外观缺陷602、外观缺陷603分类为划痕缺陷,将外观缺陷604和外观缺陷605分类为凹坑缺陷。
在本实施例中,可以对上述实施例中提到的图像采集装置所采集的原始图像进行图像分割,得到产品图像区域之后输入到第二网络结构中进行缺陷识别,如此可以实现对一些轻微凹坑缺陷(例如凹坑深度在0.05毫米以内)的识别。
本申请实施例通过使用第二网络结构识别产品外观缺陷,能够快速的收敛模型,提高识别效率,而且具有一定的自适应性,相对于传统的识别算法,不需要重复设置产品外观缺陷参数。同时其还能够基于图像采集装置所采集的原始图像,识别出轻微凹坑缺陷,提高对产品外观缺陷的识别准确度。
在一些实施例中,上述步骤S203具体可以通过如下步骤实现:根据轮廓拟合算法,将产品的轮廓与样本产品的轮廓进行拟合比对;获取产品的轮廓与样本产品的轮廓的拟合比对结果,作为第二缺陷检测结果。
在本实施例中,可以选择没有轮廓不均匀缺陷的产品作为样本产品,并获取样本产品的轮廓来与生产线上生产的每个产品的轮廓进行比对,如果比对不一致,则说明生产线上生产的该产品存在轮廓不均匀的情况。其中,当该产品存在轮廓不均匀的情况时可以判定该产品不合格。
本申请实施例通过直接使用轮廓拟合算法来对生产线上生产的每个产品的轮廓进行检测,可以快速高效的确定出该产品是否存在有轮廓不均匀的情况,提高外观缺陷检测的效率。
在其它实施方式中,还可以通过如下步骤来得到第二缺陷检测结果:对产品图像区域进行二值化,确定产品的轮廓;对产品的轮廓进行过滤,筛除与预设条件不匹配的轮廓,得到至少两个剩余轮廓;计算每个剩余轮廓的面积,确定至少两个剩余轮廓中面积最大的第一轮廓和面积最小的第二轮廓;以第一轮廓和第二轮廓的公共中心点为端点,引出至少两条射线,并确定每条射线与第一轮廓和第二轮廓的相交线段;计算每条相交线段的距离;根据距离,确定第二缺陷检测结果。
在本实施例中,以产品为轴承为例,轴承具有内环和外环,分别形成一个圆环形轮廓(外环对应一个圆环形轮廓,内环对应一个圆环形轮廓)。其中,二值化是指将图像上的像素点的灰度值设置为0或255,也就是将整个图像呈现出明显的只有黑和白的视觉效果。通过二值化之后可以从产品图像区域中大致的找出轴承的轮廓,然后对轴承轮廓进行过滤,从其中去除一些不是圆形的轮廓,得到剩余轮廓。
示例性的,图7为本申请实施例提供的轴承轮廓示意图,如图7所示,其包括有轴承内环形成的轮廓71和外环形成的轮廓72。其中,为便于表述,将轴承内环形成的轮廓71称为第一轮廓,将外环形成的轮廓72称为第二轮廓,第一轮廓和第二轮廓均为圆环形,通常轴承的中心点就为第一轮廓和第二轮廓的公共中心点,此时可以从公共中心点引出n条射线(n为正整数,例如36),这个n条射线分别与第一轮廓和第二轮廓相交(参考图7),再将相交的线段求出距离,比对这些距离,当距离波动大于阈值,说明轴承的环面不均匀,当距离的波动范围小于阈值,则外环面正常,其中,阈值可以动态调节,根据轴承尺寸设定。
本申请实施例通过对轮廓拟合算法进行改进,求出相交的线段的距离,并基于这些距离与阈值的大小,可以更加准确的确定出轴承的环面是否存在不均匀的情况,提高对轮廓不均匀缺陷的检测准确度。
进一步的,在上述实施例的基础上,在另一些实施例中,在筛除轮廓时具体可以通过如下步骤实现:筛除不满足预设形状的轮廓,得到一次过滤后的轮廓;计算一次过滤后的轮廓的中心点,过滤中心点未处于预设范围内的轮廓,得到至少两个剩余轮廓。
在本实施例中,继续轴承作为产品为例,在通过二值化确定出轴承的大致轮廓之后,可以采用迷你旋转矩形(mini rotated rect)计算宽高比(ratio of windth andheight)来过滤不是圆形的轮廓,再采用随机采样一致(RAndom SAmple Consensus,RANSAC)算法求所有圆形的中心点,过滤圆心不在此预设范围(若产品为轴承,则可以根据轴承的中心点来确定预设范围)之内的轮廓,剩下的所有轮廓开始计算其面积,其中,面积最大的那个轮廓就是外环,面积最小的那个轮廓就是内环,分别用第一轮廓和第二轮廓来表示。
本申请实施例通过对轴承的大致轮廓做进一步的过滤,筛除掉干扰轮廓,可以更加准确的确定出第一轮廓和第二轮廓,保证后续计算相交的线段的距离的准确性,进一步提高对轮廓不均匀缺陷的检测准确度。
在一些实施例中,在确定产品是否合格时,具体可以通过如下步骤实现:若产品存在无盖缺陷,则判定产品不合格;若产品存在凹坑、划痕、油污点、缺损、毛糙、轮廓不均匀中的至少一种缺陷,则计算缺陷的面积和/或尺寸/和/或数量和/或灰度值;根据缺陷的面积和/或尺寸/和/或数量和/或灰度值和预设标准指标,确定产品是否合格。
在本实施例中,以产品为轴承为例,当轴承存在无盖缺陷时,其通常会被直接视为是不合格的产品,需要再补充轴承盖;而当存在凹坑、划痕、油污点、缺损、毛糙、轮廓不均匀中的至少一种缺陷时,则可以根据实际情况设置预设标准指标,轴承在不同的预设标准指标的基础上,可能会出现两种不同的结果(即合格和不合格)。示例性的,以产品A存在有一个划痕缺陷,且该划痕缺陷的面积为A1为例,当预设标准指标为B1,且A1小于B1时,则该产品A会被判定为合格,而如果调整预设标准指标为B2,且A1大于B2时,则该产品A会被判定为不合格。同理,其它的外观缺陷(包括凹坑、油污点、缺损、毛糙、轮廓不均匀)的判定标准也与上述产品A存在的划痕缺陷类似。需要说明的是,外观缺陷的面积和/或尺寸/和/或数量和/或灰度值都有一个对应的预设标准指标。示例性的,参考下表1:
参数 | 预设标准指标 |
面积 | 第一预设标准指标 |
尺寸 | 第二预设标准指标 |
数量 | 第三预设标准指标 |
灰度值 | 第四预设标准指标 |
表1
如上表1所示,当某个外观缺陷存在面积和/或尺寸/和/或数量和/或灰度值中的至少一种参数时,每一个参数都有一个对应的预设标准指标(即第一预设标准指标、第二预设标准指标、第三预设标准指标、第四预设标准指标)。当其中一项或多项参数大于其对应的预设标准指标时,具有该外观缺陷的产品被判定为不合格。
本申请实施例通过计算缺陷的面积和/或尺寸/和/或数量和/或灰度值,可以对预设标准指标进行动态调整,当预设标准指标调整较大时,可以提高产品的合格率,当预设标准指标降低时则可以降低产品的合格率,从而灵活的对产品进行选择性过滤,提高产品合格检测的灵活性。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
图8为本申请实施例提供的产品缺陷检测装置的结构示意图,该产品缺陷检测装置可以集成在上述的检测设备上。如图8所示,该产品缺陷检测装置800具体可以包括图像分割模块810、第一识别模块820、第二识别模块830和结果确定模块840。其中,图像分割模块810用于获取产品的原始图像,对原始图像进行图像分割,得到产品图像区域。第一识别模块820用于根据深度学习算法对产品图像区域进行一次识别,得到第一缺陷检测结果,第一缺陷检测结果用于表征产品是否存在凹坑、划痕、油污点、缺损、毛糙和无盖中的至少一种缺陷。第二识别模块830用于对产品图像区域进行二次识别,得到第二缺陷检测结果,第二缺陷检测结果用于表征产品是否存在轮廓不均匀的缺陷。结果确定模块840用于根据第一缺陷检测结果和第二缺陷检测结果,确定产品是否合格。
可选的,图像分割模块具体可以用于:获取图像采集装置对放置于转台的产品进行图像采集得到的图像,作为原始图像,图像采集装置至少包括有光源和摄像设备,光源与摄像设备对向设置,光源与产品的端面形成第一夹角,摄像设备与产品的端面形成第二夹角,第一夹角处于第一预设角度范围内,第二夹角处于第二预设角度范围内。
可选的,图像分割模块具体可以用于:在转台进行旋转时,确定转台是否旋转达到目标角度;若转台旋转达到目标角度,则控制摄像设备对放置于转台上的产品进行图像采集,得到原始图像。
可选的,第一预设角度范围为30度至60度,第二预设角度范围为30度至60度。
可选的,图像分割模块具体可以用于:获取第一网络结构,第一网络结构为将Unet++网络模型的主干网络替换成深度残差网络后得到的;根据第一网络结构,对原始图像进行分割,得到掩膜图片;确定产品的外接矩形;根据产品的外接矩形,对掩膜图片进行轮廓提取,得到产品图像区域。
可选的,第一识别模块具体可以用于:获取第二网络结构,第二网络结构为在Unet++网络模型的基础上增加分类头,并将Unet++网络模型的主干网络替换成深度残差网络后得到的,分类头用于对识别后的缺陷进行分类;根据第二网络结构,对产品图像区域进行缺陷识别分类,确定出产品图像区域中是否存在凹坑、划痕、油污点、缺损、毛糙和无盖中的至少一种缺陷。
可选的,第二识别模块具体可以用于:根据轮廓拟合算法,将产品的轮廓与样本产品的轮廓进行拟合比对;获取产品的轮廓与样本产品的轮廓的拟合比对结果,作为第二缺陷检测结果。
可选的,第二识别模块具体可以用于:对产品图像区域进行二值化,确定产品的轮廓;对产品的轮廓进行过滤,筛除与预设条件不匹配的轮廓,得到至少两个剩余轮廓;计算每个剩余轮廓的面积,确定至少两个剩余轮廓中面积最大的第一轮廓和面积最小的第二轮廓;以第一轮廓和第二轮廓的公共中心点为端点,引出至少两条射线,并确定每条射线与第一轮廓和第二轮廓的相交线段;计算每条相交线段的距离;根据距离,确定第二缺陷检测结果。
可选的,第二识别模块具体可以用于:筛除不满足预设形状的轮廓,得到一次过滤后的轮廓;计算一次过滤后的轮廓的中心点,过滤中心点未处于预设范围内的轮廓,得到至少两个剩余轮廓。
可选的,结果确定模块具体可以用于:若产品存在无盖缺陷,则判定产品不合格;若产品存在凹坑、划痕、油污点、缺损、毛糙、轮廓不均匀中的至少一种缺陷,则计算缺陷的面积和/或尺寸/和/或数量和/或灰度值;根据缺陷的面积和/或尺寸/和/或数量和/或灰度值和预设标准指标,确定产品是否合格。
本申请实施例提供的装置,可用于执行上述实施例中的方法,其实现原理和技术效果类似,在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,图像分割模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上图像分割模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
本实施例还提供一种产品缺陷检测系统,包括:图像采集装置和产品缺陷检测设备。其中,图像采集装置可以集成在产品缺陷检测设备上,图像采集装置用于对放置于转台的产品进行图像采集,产品缺陷检测设备用于根据图像采集装置采集的图像,对产品进行缺陷检测。
其中,图像采集装置至少包括有光源和摄像设备,光源与摄像设备对向设置,光源与产品的端面形成第一夹角,摄像设备与端面形成第二夹角,第一夹角处于第一预设角度范围内,第二夹角处于预设第二角度范围内。
图9为本申请实施例提供的产品缺陷检测设备的结构示意图。如图9所示,该产品缺陷检测设备900包括:至少一个处理器901、存储器902、总线903及通信接口904。其中:处理器、通信接口以及存储器通过总线完成相互间的通信。通信接口用于与其它设备进行通信。该通信接口包括用于进行数据传输的通信接口以及用于进行人机交互的显示界面或者操作界面等。
处理器,用于执行存储器存储的计算机执行指令,具体可以执行上述实施例中所描述的方法中的相关步骤。处理器可能是中央处理器,或者是特定集成电路(ApplicationSpecific Integrated Circuit,ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路。产品缺陷检测设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。存储器,用于存放计算机执行指令。存储器可能包含高速RAM存储器,也可能还包括非易失性存储器,例如至少一个磁盘存储器。
本实施例还提供一种计算机可读存储介质,可读存储介质中存储有计算机指令,当产品缺陷检测设备的至少一个处理器执行该计算机指令时,产品缺陷检测设备执行上述的各种实施方式提供的产品缺陷检测方法。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系;在公式中,字符“/”,表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中,a,b,c可以是单个,也可以是多个。
可以理解的是,在本申请实施例中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本申请的实施例的范围。在本申请的实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (14)
1.一种产品缺陷检测方法,其特征在于,包括:
获取产品的原始图像,对所述原始图像进行图像分割,得到产品图像区域;
根据深度学习算法对所述产品图像区域进行一次识别,得到第一缺陷检测结果,所述第一缺陷检测结果用于表征所述产品是否存在凹坑、划痕、油污点、缺损、毛糙和无盖中的至少一种缺陷;
通过轮廓拟合算法对所述产品图像区域进行二次识别,得到第二缺陷检测结果,所述第二缺陷检测结果用于表征所述产品是否存在轮廓不均匀的缺陷;
根据所述第一缺陷检测结果和第二缺陷检测结果,确定所述产品是否合格。
2.根据权利要求1所述的方法,其特征在于,所述获取产品的原始图像,包括:
获取图像采集装置对放置于转台的产品进行图像采集得到的图像,作为所述原始图像,所述图像采集装置至少包括光源和摄像设备,所述光源与所述摄像设备对向设置,所述光源与所述产品的端面形成第一夹角,所述摄像设备与所述产品的端面形成第二夹角,所述第一夹角处于第一预设角度范围内,所述第二夹角处于第二预设角度范围内。
3.根据权利要求2所述的方法,其特征在于,所述获取产品的原始图像,包括:
在所述转台进行旋转时,确定所述转台是否旋转达到目标角度;
若所述转台旋转达到目标角度,则控制所述摄像设备对放置于所述转台上的产品进行图像采集,得到所述原始图像。
4.根据权利要求2所述的方法,其特征在于,所述第一预设角度范围为30度至60度,所述第二预设角度范围为30度至60度。
5.根据权利要求1所述的方法,其特征在于,所述对所述原始图像进行图像分割,得到产品图像区域,包括:
获取第一网络结构,所述第一网络结构为将Unet++网络模型的主干网络替换成深度残差网络后得到的;
根据所述第一网络结构,对所述原始图像进行分割,得到掩膜图片;
确定所述产品的外接矩形;
根据所述产品的外接矩形,对所述掩膜图片进行轮廓提取,得到所述产品图像区域。
6.根据权利要求1所述的方法,其特征在于,所述根据深度学习算法对所述产品图像区域进行一次识别,得到第一缺陷检测结果,包括:
获取第二网络结构,所述第二网络结构为在Unet++网络模型的基础上增加分类头,并将所述Unet++网络模型的主干网络替换成深度残差网络后得到的,所述分类头用于对识别后的缺陷进行分类;
根据所述第二网络结构,对所述产品图像区域进行缺陷识别分类,确定出所述产品图像区域中是否存在凹坑、划痕、油污点、缺损、毛糙和无盖中的至少一种缺陷。
7.根据权利要求1所述的方法,其特征在于,所述对所述产品图像区域进行二次识别,得到第二缺陷检测结果,包括:
根据轮廓拟合算法,将所述产品的轮廓与样本产品的轮廓进行拟合比对;
获取所述产品的轮廓与所述样本产品的轮廓的拟合比对结果,作为所述第二缺陷检测结果。
8.根据权利要求1所述的方法,其特征在于,所述对所述产品图像区域进行二次识别,得到第二缺陷检测结果,包括:
对所述产品图像区域进行二值化,确定所述产品的轮廓;
对所述产品的轮廓进行过滤,筛除与预设条件不匹配的轮廓,得到至少两个剩余轮廓;
计算每个剩余轮廓的面积,确定至少两个剩余轮廓中面积最大的第一轮廓和面积最小的第二轮廓;
以所述第一轮廓和第二轮廓的公共中心点为端点,引出至少两条射线,并确定每条所述射线与所述第一轮廓和第二轮廓的相交线段;
计算每条所述相交线段的距离;
根据所述距离,确定所述第二缺陷检测结果。
9.根据权利要求8所述的方法,其特征在于,所述筛除与预设条件不匹配的轮廓,得到至少一个剩余轮廓,包括:
筛除不满足预设形状的轮廓,得到一次过滤后的轮廓;
计算所述一次过滤后的轮廓的中心点,过滤所述中心点未处于预设范围内的轮廓,得到至少两个剩余轮廓。
10.根据权利要求1所述的方法,其特征在于,所述根据所述第一缺陷检测结果和第二缺陷检测结果,确定所述产品是否合格,包括:
若所述产品存在无盖缺陷,则判定所述产品不合格;
若所述产品存在所述凹坑、划痕、油污点、缺损、毛糙、轮廓不均匀中的至少一种缺陷,则计算所述缺陷的面积和/或尺寸/和/或数量和/或灰度值;
根据所述缺陷的面积和/或尺寸/和/或数量和/或灰度值和预设标准指标,确定所述产品是否合格。
11.一种产品缺陷检测装置,其特征在于,包括:
图像分割模块,用于获取产品的原始图像,对所述原始图像进行图像分割,得到产品图像区域;
第一识别模块,用于根据深度学习算法对所述产品图像区域进行一次识别,得到第一缺陷检测结果,所述第一缺陷检测结果用于表征所述产品是否存在凹坑、划痕、油污点、缺损、毛糙和无盖中的至少一种缺陷;
第二识别模块,用于对所述产品图像区域进行二次识别,得到第二缺陷检测结果,所述第二缺陷检测结果用于表征所述产品是否存在轮廓不均匀的缺陷;
结果确定模块,用于根据所述第一缺陷检测结果和第二缺陷检测结果,确定所述产品是否合格。
12.一种产品缺陷检测设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如上述权利要求1至10任一项所述的方法。
13.一种产品缺陷检测系统,其特征在于,包括:图像采集装置和产品缺陷检测设备,所述图像采集装置用于对放置于转台的产品进行图像采集,所述产品缺陷检测设备用于根据所述图像采集装置采集的图像,对产品进行缺陷检测。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上述权利要求1至10任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311003988.2A CN117173107A (zh) | 2023-08-09 | 2023-08-09 | 产品缺陷检测方法、装置、设备、系统和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311003988.2A CN117173107A (zh) | 2023-08-09 | 2023-08-09 | 产品缺陷检测方法、装置、设备、系统和可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117173107A true CN117173107A (zh) | 2023-12-05 |
Family
ID=88930874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311003988.2A Pending CN117173107A (zh) | 2023-08-09 | 2023-08-09 | 产品缺陷检测方法、装置、设备、系统和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117173107A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117830282A (zh) * | 2024-01-11 | 2024-04-05 | 北京远舢智能科技有限公司 | 一种爆珠质量检测方法、装置、电子设备及存储介质 |
-
2023
- 2023-08-09 CN CN202311003988.2A patent/CN117173107A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117830282A (zh) * | 2024-01-11 | 2024-04-05 | 北京远舢智能科技有限公司 | 一种爆珠质量检测方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108520274B (zh) | 基于图像处理及神经网络分类的高反光表面缺陷检测方法 | |
CN111652085B (zh) | 基于2d与3d特征结合的物体识别方法 | |
CN111951237A (zh) | 外观视觉检测方法 | |
CN110441316B (zh) | 电池表面缺陷检测方法及检测系统 | |
CN113658131B (zh) | 一种基于机器视觉巡游式环锭纺断纱检测方法 | |
CN113252568A (zh) | 基于机器视觉的镜片表面缺陷检测方法、系统、产品、终端 | |
CN112330598B (zh) | 一种化纤表面僵丝缺陷检测的方法、装置及存储介质 | |
CN110310275B (zh) | 一种基于图像处理的链式传送带缺陷检测方法 | |
CN114881987B (zh) | 基于改进YOLOv5的热压导光板缺陷可视化检测方法 | |
CN117173107A (zh) | 产品缺陷检测方法、装置、设备、系统和可读存储介质 | |
CN112200790B (zh) | 布料缺陷检测方法、设备和介质 | |
CN106529551B (zh) | 面向包装行业的类圆对象智能识别计数检测方法 | |
CN113658092A (zh) | 一种基于图像处理的铝电解电容缺陷检测方法 | |
US20230030689A1 (en) | Systems and methods for quantifying light flares in images | |
CN112669295A (zh) | 一种基于二次阈值分割理论的锂电池极片缺陷检测方法 | |
CN109387524A (zh) | 基于线性偏振光的螺纹缺陷检测方法及装置 | |
CN114280075A (zh) | 一种管类零件表面缺陷在线视觉检测系统及检测方法 | |
CN115526889A (zh) | 基于图像处理的锅炉压力管道的无损检测方法 | |
CN114674830A (zh) | 一种高速生产线上瓶盖瑕疵检测模组 | |
CN114612418A (zh) | 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备 | |
CN116977335B (zh) | 一种用于机械零件表面点蚀缺陷的智能检测方法 | |
CN114219758A (zh) | 缺陷检测方法、系统、电子设备和计算机可读存储介质 | |
CN112987356A (zh) | 液晶面板底部异物误检滤除方法及装置 | |
CN111833350A (zh) | 机器视觉检测方法与系统 | |
CN111563869B (zh) | 用于摄像模组质检的污点测试方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |