CN115239663A - 隐形眼镜瑕疵检测方法及系统、电子设备、存储介质 - Google Patents

隐形眼镜瑕疵检测方法及系统、电子设备、存储介质 Download PDF

Info

Publication number
CN115239663A
CN115239663A CN202210853126.8A CN202210853126A CN115239663A CN 115239663 A CN115239663 A CN 115239663A CN 202210853126 A CN202210853126 A CN 202210853126A CN 115239663 A CN115239663 A CN 115239663A
Authority
CN
China
Prior art keywords
contact lens
image
defective
defect
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210853126.8A
Other languages
English (en)
Inventor
蔡仲伦
雷海涛
李恰伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Square Harmony Beijing Technology Co ltd
Original Assignee
Square Harmony Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Square Harmony Beijing Technology Co ltd filed Critical Square Harmony Beijing Technology Co ltd
Priority to CN202210853126.8A priority Critical patent/CN115239663A/zh
Publication of CN115239663A publication Critical patent/CN115239663A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及器视觉算法技术领域，隐形眼镜瑕疵检测方法，所述方法包括：获取无瑕疵隐形眼镜图像；对无瑕疵隐形眼镜图像进行预处理；识别出无瑕疵隐形眼镜图像中的花纹区域，花纹区域为隐形眼镜图像产生瑕疵的区域；生成多个随机瑕疵块；重复多次执行将所述N个随机瑕疵块随机放入无瑕疵隐形眼镜图像的花纹区域，训练出隐形眼镜瑕疵检测的神经网络模型；对待测隐形眼镜进行瑕疵检测。所述方法在数据集整合阶段，通过正常数据来生成瑕疵块扩充数据集，然后训练整合好的数据集，获取到神经网络算法模型，最后通过神经网络算法模型识别出图像中的瑕疵块，该方法能够有效的提升隐形眼镜瑕疵检测的精准性。本申请公开一种隐形眼镜瑕疵检测方法及系统、电子设备、存储介质。

Description

隐形眼镜瑕疵检测方法及系统、电子设备、存储介质
技术领域
本申请属于工业视觉质检技术领域，涉及一种隐形眼镜瑕疵检测方法及系统、电子设备、存储介质。
背景技术
近年来，隐形眼镜已成为人们生活中不可或缺的日常用品之一，而为了因应庞大的需求，相关制造厂商必须藉由机器大量地生产隐形眼镜。
在制造隐形眼镜的过程中，上述机器在进行一些例如成形、修边，或者是脱模等步骤时，常常有可能损害隐形眼镜的镜片，因而造成镜片瑕疵。
现有隐形眼镜的生产过程大多采用人工检测的方式，人工首先将镜片通过镊子夹取至光学影像放大仪下的载具中，然后通过光学放大投影检测镜片上的瑕疵与缺陷。但是人工检测不可避免的存在视觉疲劳问题，从而造成误检和漏检。因此，现有技术中存在着隐形眼镜瑕疵检测的准确低的问题。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
为了解决相关技术中存在的问题，本公开实施例提供了隐形眼镜瑕疵检测方法及系统、电子设备、存储介质。通过采集目标能见度的视频和目标能见度的算法模型，训练出识别目标能见度的卷积神经网络算法模型，然后基于训练后的卷积神经网络算法模型，分析待测视频的能见度。
在一些实施例中，提供了一种隐形眼镜瑕疵检测方法，方法包括：
获取无瑕疵隐形眼镜图像；
对无瑕疵隐形眼镜图像进行预处理；
识别出无瑕疵隐形眼镜图像中的花纹区域，所述花纹区域为隐形眼镜图像产生瑕疵的区域；
生成多个随机瑕疵块；
重复多次执行将所述N个随机瑕疵块随机放入无瑕疵隐形眼镜图像的花纹区域，获取多个有瑕疵隐形眼镜图像，其中，N≥1且N为随机的整数；
根据多个有瑕疵隐形眼镜图像，训练出隐形眼镜瑕疵检测的神经网络模型；
基于训练后的神经网络模型，对待测隐形眼镜进行瑕疵检测。
在一些实施例中，公开了一种隐形眼镜瑕疵检测系统，包括：获取无瑕疵图像模块，被配置为获取无瑕疵隐形眼镜图像；
预处理模块，被配置为对无瑕疵隐形眼镜图像进行预处理；
识别瑕疵区域模块，被配置为识别出无瑕疵隐形眼镜图像中的花纹区域，所述花纹区域为隐形眼镜图像产生瑕疵的区域；
生成瑕疵块模块，被配置为生成多个随机瑕疵块；
生成有瑕疵图像模块，被配置为重复多次执行将所述N个随机瑕疵块随机放入无瑕疵隐形眼镜图像的花纹区域，获取多个有瑕疵隐形眼镜图像，其中，N≥1且N为随机的整数；
训练神经网络模型模块，被配置为根据多个有瑕疵隐形眼镜图像，训练出隐形眼镜瑕疵检测的神经网络模型；
图像瑕疵检测模块，被配置为基于训练后的神经网络模型，对待测隐形眼镜进行瑕疵检测。
在一些实施例中，公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，执行如上述的隐形眼镜瑕疵检测方法。
在一些实施例中，公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行如上述的隐形眼镜瑕疵检测方法。
本公开实施例提供的一种隐形眼镜瑕疵检测方法及系统、电子设备、存储介质，可以实现以下技术效果：
本公开实施例首先获取无瑕疵隐形眼镜图像，识别出能够瑕疵的区域，即花纹区域。然后，将生成的随机瑕疵块放入无瑕疵隐形眼镜图像，从而制造出大量的有瑕疵隐形眼镜图像。将有瑕疵隐形眼镜图像作为样本，通过神经网络训练，得到可以识别隐形眼镜瑕疵的神经网络模型。最后基于训练后的神经网络模型，对待测隐形眼镜进行瑕疵检测。本公开实施例生成大量的有瑕疵隐形眼镜图像作为训练样本，训练出具有更高准确性的隐形眼镜瑕疵的神经网络模型。同时，基于训练后的神经网络模型，对待测隐形眼镜进行瑕疵检测。因此，本公开实施例能够提高隐形眼镜瑕疵检测的准确性。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一种隐形眼镜瑕疵检测方法流程图；
图2是本公开实施例提供的一种二值化后的隐形眼镜图；
图3是本公开实施例提供的一种隐形眼镜瑕疵检测系统应用的示意图；
图4是本公开实施例提供的一种图像阈值分割后的无瑕疵隐形眼镜图；
图5是本公开实施例提供的一种具有花纹区域轮廓的无瑕疵隐形眼镜图；
图6是本公开实施例提供的一个随机瑕疵块示意图；
图7是本公开实施例提供的一种对待测隐形眼镜的瑕疵检测输出的示意图；
图8是本公开实施例提供的一种隐形眼镜瑕疵检测系统示意图；
图9是本公开实施例提供的另一种隐形眼镜瑕疵检测电子设备示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和系统可以简化展示。
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者电子设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者电子设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法或者电子设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法、产品等而言，由于其与实施例公开的方法部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
近年来，隐形眼镜已成为人们生活中不可或缺的日常用品之一，而为了因应庞大的需求，相关制造厂商必须藉由机器大量地生产隐形眼镜。在制造隐形眼镜的过程中，上述机器在进行一些例如成形、修边，或者是脱模等步骤时，常常有可能损害隐形眼镜的镜片，因而造成镜片瑕疵。现有技术中通过人工检测的方式。人工检测不可避免的存在视觉疲劳问题，从而造成误检和漏检。
在实际应用中，现有技术中存在着隐形眼镜瑕疵检测的准确低的问题。
为了解决相关技术中存在的问题，本公开实施例提供了隐形眼镜瑕疵检测方法及系统、电子设备、存储介质。本公开实施例生成大量的有瑕疵隐形眼镜图像作为训练样本，训练出具有更高准确性的隐形眼镜瑕疵的神经网络模型。同时，基于训练后的神经网络模型，对待测隐形眼镜进行瑕疵检测。因此，本公开实施例能够提高隐形眼镜瑕疵检测的准确性。
其中，本公开实施例应用于电子设备，用于隐形眼镜瑕疵检测。
结合图1所示，本公开实施例提供一种隐形眼镜瑕疵检测方法，包括：
S110，电子设备获取无瑕疵隐形眼镜图像。
S120，电子设备对无瑕疵隐形眼镜图像进行预处理。
S130，电子设备识别出无瑕疵隐形眼镜图像中的花纹区域，所述花纹区域为隐形眼镜图像产生瑕疵的区域。
S140，电子设备生成多个随机瑕疵块。
S150，电子设备重复多次执行将所述N个随机瑕疵块随机放入无瑕疵隐形眼镜图像的花纹区域，获取多个有瑕疵隐形眼镜图像，其中，N≥1且N为随机的整数。
S160，电子设备根据多个有瑕疵隐形眼镜图像，训练出隐形眼镜瑕疵检测的神经网络模型。
S170，电子设备基于训练后的神经网络模型，对待测隐形眼镜进行瑕疵检测。
应理解的是，S110至S150的目的是生成有瑕疵隐形眼镜图像。这样，可以生成大量的有瑕疵隐形眼镜图像作为样本，以便于训练神经网络模型。因为在现有技术中，难以获取大量有效的样本。具体地，本公开实施例通过首先获取无瑕疵隐形眼镜图像，识别出能够瑕疵的区域，即花纹区域。然后，将生成的随机瑕疵块放入无瑕疵隐形眼镜图像，从而制造出大量的有瑕疵隐形眼镜图像。
需要说明的是，所述花纹区域是在隐形眼镜图像上具有花纹的区域。参见图2，一种二值化后的隐形眼镜图像。其中，位于中心白色圆形和白色圆环之间带有纹路的区域为花纹区域。隐形眼镜的瑕疵存在于花纹区域。为了让生成的有瑕疵隐形眼镜图像的瑕疵与现实中的瑕疵保持一致，所以瑕疵块的形状和面积需具有随机性。同时，随机瑕疵块只能存在花纹区域，不能在花纹区域的外边。另外，随机瑕疵块的数量N也具有随机性。一般情况下，5≥N≥1且N为随机的整数。经过对实际有缺色块的图像进行统计，发现大多数缺色块的数量是在1至5的范围内。因此，为了保证生成的瑕疵块更趋近于真实瑕疵块的分布，设置相同的范围，即瑕疵块的数量范围为1至5。
由于生成大量的有瑕疵隐形眼镜图像作为训练样本，训练出具有更高准确性的隐形眼镜瑕疵的神经网络模型。因此，基于训练后的神经网络模型，对待测隐形眼镜进行瑕疵检测，具有很高的准确性。与现有技术相比，本实施例能够提高隐形眼镜瑕疵检测的准确性。
优选地，对无瑕疵隐形眼镜图像进行预处理，包括：
对无瑕疵隐形眼镜图像进行二值化处理和滤波降噪处理。
计算无瑕疵隐形眼镜图的图像均值。
根据图像均值，对进行无瑕疵隐形眼镜图进行图像阈值分割。
应理解，二值化后将无瑕疵隐形眼镜图像转化成灰度图，以便于后续步骤的分析图像。通过滤波降噪处理，消除图像中的噪点。计算滤波后图像的均值，根据图像均值进行自适应的图像阈值分割，能够避免同一阈值不能适应光照和场景变化的问题。
对无瑕疵隐形眼镜图像进行预处理的目的是，获取更清晰的图像轮廓，以便在识别花纹区域的过程中更加容易。
优选地，生成多个随机瑕疵块，包括：
获取一个瑕疵图案集合，所述瑕疵图案集合包括多个基础瑕疵图案，其中，每一个基础瑕疵图案之间的形状均不相同，且面积均不相同。
随机选取基础瑕疵图案。
将基础瑕疵图案旋转随机角度。
将基础瑕疵图案随机进行镜像操作，y为随机数由系统随机生成，y＝1或者y＝2，如果y＝1则表示进行镜像操作，如果y＝2则表示不进行镜像操作。
将基础瑕疵图案进行缩放。
重复多次执行，从随机选取一个基础瑕疵图案到将基础瑕疵图案进行缩放，获得多个随机瑕疵块。
需要说明的是，为了让生成的有瑕疵隐形眼镜图像的瑕疵与现实中的瑕疵保持一致，所以瑕疵块的形状和面积需具有随机性。首先，生成瑕疵图案，然后经过旋转随机角度和随机镜像，保证该瑕疵图案。最后，将瑕疵图案进行缩放，保证面积的随机性。
进一步地，将基础瑕疵图案进行缩放，包括：
随机生成宽度缩放系数和长度缩放系数。
将瑕疵图案依据宽度缩放系数和长度缩放系数进行缩放。
应理解，生成宽度缩放系数和长度缩放系数的目的是分别调节瑕疵图案的宽度和长度。这样，瑕疵图案的宽度和长度都会变化，增加了瑕疵图案的多样性。因此，可以增加了后续步骤中的有瑕疵隐形眼镜图像作为样本的多样性，进而增强了训练后神经网络模型的泛化能力。
在实际应用中，缩放系数应控制在一定的范围，避免该瑕疵图案过大或者过小。一般情况下，缩放系数为在0.5至3。
根据多个有瑕疵隐形眼镜图像，训练出隐形眼镜瑕疵检测的神经网络模型，包括：
对有瑕疵隐形眼镜图像中的瑕疵进行标注。
对瑕疵隐形眼镜图像进行预处理。
训练出隐形眼镜瑕疵检测的神经网络模型。
应理解，瑕疵隐形眼镜图像是在S110至S150中生成的。由于瑕疵隐形眼镜图像是由无瑕疵隐形眼镜图像和瑕疵块组合而成的。瑕疵隐形眼镜图像中的瑕疵来自于随机瑕疵块，所以对有瑕疵隐形眼镜图像中的瑕疵进行标注为对随机瑕疵块标注。
进一步地，对瑕疵隐形眼镜图像进行预处理，包括：
对瑕疵隐形眼镜图像进行归一化处理和进行mosic数据增强。
应理解，归一化的目的就是使得预处理的数据被限定在一定的范围内,从而减小奇异样本数据导致的不良影响。mosic数据增强可以将多张图片进行随机裁剪，再拼接到一张图上作为训练数据。这样做的好处是丰富了图片的背景，为了更好训练出神经网络模型。
进一步地，训练出隐形眼镜瑕疵检测的神经网络模型，包括：
进行训练yolov5网络；
其中，yolov5损失函数的定义如下所示：
Figure BDA0003755453270000081
Figure BDA0003755453270000082
Figure BDA0003755453270000083
公式(1)中A表示预测框，B表示真实框，IOU用来表示预测和真实框之间的重合程度；公式(2)中v用来衡量预测框和真实框长宽比之间的一致性，w1,h1分别表示预测框的长和宽，w2,h2分别表示真实框的长和宽；公式(3)整体定位框的损失，distance_2代表定位框和真实框中心点之间的欧氏距离，distance_C则代表包含定位框和真实框的最小外接矩形对角线长度。
Figure BDA0003755453270000084
公式(4)表示缺色瑕疵块的分类损失，n代表整个训练过程中的类别数，yn表示分类的目标，xn表示模型分类输出的值；
在损失函数中加入FocalLoss，如下公式(5)所示：
FocalLoss＝-(1-pt)λlog(pt) (5)
公式(5)中，pt表示样本分类的概率值，λ是一个预设常数；
算法的损失函数由预测框损失，分类损失，和focalLoss三部分组成其定义如下公式(6)所示：
Loss＝α·CIOU_Loss+β·BCELoss+γ·FocalLoss。 (6)
在一种隐形眼镜瑕疵检测系统应用的示例中，用于隐形眼镜瑕疵检测。参见图3，为一种隐形眼镜瑕疵检测系统应用的示意图。所述方法包括：
S301，获取无瑕疵隐形眼镜图像。
参见图2为本实施例中的一种无瑕疵隐形眼镜图。
S302，将无瑕疵隐形眼镜图像进行二值化处理，并通过腐蚀操作消除黑素区域内的白点。
S303，将无瑕疵隐形眼镜图像采样到二分之一，通过高斯滤波消除图像中的噪点。
S304，根据滤波后图像的均值，对无瑕疵隐形眼镜图像进行图像阈值分割。
参见图4，为本实施例中的一种图像阈值分割后的无瑕疵隐形眼镜图。
S305，根据阈值分割后的无瑕疵隐形眼镜图像，查找图像中的轮廓，获取花纹区域。
应理解，根据图像的轮廓本身的大小和长宽比筛选出隐形眼镜花纹所在的内外两个轮廓区域，并拟合成两个圆。参见图5，为一种具有花纹区域轮廓的无瑕疵隐形眼镜图。根据拟合成两个圆的圆心和半径，就可以得到隐形眼镜的花纹区域。在图5中，花纹区域为图中带有纹理结构的圆环区域。
S306，获取一个瑕疵图案集合，所述瑕疵图案集合包括多个基础瑕疵图案。
S307，将基础瑕疵图案通过随机旋转角度，镜像和图像缩放的方式，获得多个随机瑕疵块。参见图6，为一个随机瑕疵块图。
S308，在无瑕疵隐形眼镜图像的花纹区域上放入M个随机瑕疵块，其中，5≥M≥1且N为随机的整数。
S309，调整花纹区域上的M个随机瑕疵块的像素值。
应理解，调整随机瑕疵块的像素值，是为了与花纹区域的像素值形成差异化。防止随机瑕疵块的像素值与花纹区域的像素值一样，而导致随机瑕疵块融入了花纹区域。一个具体的例子为，将随机瑕疵块的像素值调整为：花纹区域的像素均值的基础上增加或者减少Y，且5≥Y≥0且Y为随机的整数。
S310，重复多次执行S308至S309，获取多个有瑕疵隐形眼镜图像。
S311，通过labelimg对多个有瑕疵隐形眼镜图像进行标注。
S312，对瑕疵隐形眼镜图像进行归一化处理和进行mosic数据增强。
S313，训练隐形眼镜瑕疵检测的神经网络模型。
具体地，设置学习率为0.0001，设置batchsize为16开始训练yolov5网络。yolov5输入为瑕疵隐形眼镜图像，输出时会输出不同尺度的三个预测结果。输出三个不同尺度的结果，是为了适应于不同大小缺色瑕疵块的检测。对于比较大的瑕疵，因缺色块本身较大包含丰富的信息，所以检测这样的数据只需要一个小的特征图就可以。而对于比较小的缺色块，由于其本身携带的信息比较少，所以需要从更大的特征空间来综合分析。
其中，yolov5损失函数的定义如下所示：
Figure BDA0003755453270000101
Figure BDA0003755453270000102
Figure BDA0003755453270000104
公式(1)中A表示预测框，B表示真实框，IOU用来表示预测和真实框之间的重合程度；公式(2)中v用来衡量预测框和真实框长宽比之间的一致性，w1,h1分别表示预测框的长和宽，w2,h2分别表示真实框的长和宽；公式(3)整体定位框的损失，distance_2代表定位框和真实框中心点之间的欧氏距离，distance_C则代表包含定位框和真实框的最小外接矩形对角线长度。
Figure BDA0003755453270000103
公式(4)表示缺色瑕疵块的分类损失，n代表整个训练过程中的类别数，yn表示分类的目标，xn表示模型分类输出的值；
在损失函数中加入FocalLoss，如下公式(5)所示：
FocalLoss＝-(1-pt)λlog(pt) (5)
公式(5)中，pt表示样本分类的概率值，λ是一个预设常数；从公式(5)可以看出分类的概率越低，损失就越大，也就说训练过程中更加注重样本量少分类不准的数据。
算法的损失函数由预测框损失，分类损失，和focalLoss三部分组成其定义如下公式(6)所示：
Loss＝α·CIOU_Loss+β·BCELoss+γ·FocalLoss。 (6)
公式(6)中α，β，γ都是常数，设α为0.3，β为0.4，γ为0.3。
开始训练，训练时只保存验证集精度最高的结果。当验证损失在200个epoch过程中不再下降时，认为模型收敛结束训练。
S314，预测训练后的隐形眼镜瑕疵检测的神经网络模型。
具体地，神经网络模型会在三个不同特征尺度的情况下，预测出三个结果，预测出这几个结果后通过非极大值抑制的方法选出置信度最高的结果作为最终的检测结果。
S315，基于神经网络模型，对待测隐形眼镜进行瑕疵检测。
参见图7，为输出的一种对待测隐形眼镜的瑕疵检测示意图。
图8示出了根据本发明实施例提供的隐形眼镜瑕疵检测系统，该系统包括：
获取无瑕疵图像模块，被配置为获取无瑕疵隐形眼镜图像；
预处理模块，被配置为对无瑕疵隐形眼镜图像进行预处理；
识别瑕疵区域模块，被配置为识别出无瑕疵隐形眼镜图像中的花纹区域，所述花纹区域为隐形眼镜图像产生瑕疵的区域；
生成瑕疵块模块，被配置为生成多个随机瑕疵块；
生成有瑕疵图像模块，被配置为重复多次执行将所述N个随机瑕疵块随机放入无瑕疵隐形眼镜图像的花纹区域，获得多个有瑕疵隐形眼镜图像，其中，N≥1且N为随机的整数；
训练神经网络模型模块，被配置为根据多个有瑕疵隐形眼镜图像，训练出隐形眼镜瑕疵检测的神经网络模型；
图像瑕疵检测模块，被配置为基于训练后的神经网络模型，对待测隐形眼镜进行瑕疵检测。
结合图9所示，本公开实施例提供隐形眼镜瑕疵检测的电子设备，包括处理器(processor)90和存储器(memory)91。可选地，该电子设备还可以包括通信接口(CommunicationInterface)92和总线93。其中，处理器90、通信接口92、存储器91可以通过总线93完成相互间的通信。通信接口92可以用于信息传输。处理器90可以调用存储器91中的逻辑指令，以执行上述实施例的隐形眼镜瑕疵检测方法。
本公开实施例提供了一种存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述隐形眼镜瑕疵检测方法。
上述的存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者电子设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、系统和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种隐形眼镜瑕疵检测方法，其特征在于，所述方法包括：
获取无瑕疵隐形眼镜图像；
对无瑕疵隐形眼镜图像进行预处理；
识别出无瑕疵隐形眼镜图像中的花纹区域，所述花纹区域为隐形眼镜图像产生瑕疵的区域；
生成多个随机瑕疵块；
重复多次执行将所述N个随机瑕疵块随机放入无瑕疵隐形眼镜图像的花纹区域，获得多个有瑕疵隐形眼镜图像，其中，N≥1且N为随机的整数；
根据多个有瑕疵隐形眼镜图像，训练出隐形眼镜瑕疵检测的神经网络模型；
基于训练后的神经网络模型，对待测隐形眼镜进行瑕疵检测。
2.根据权利要求1所述的方法，其特征在于，对无瑕疵隐形眼镜图像进行预处理，包括：
对无瑕疵隐形眼镜图像进行二值化处理和滤波降噪处理；
计算无瑕疵隐形眼镜图的图像均值；
根据图像均值，对进行无瑕疵隐形眼镜图进行图像阈值分割。
3.根据权利要求1所述的方法，其特征在于，生成多个随机瑕疵块，包括：
获取一个瑕疵图案集合，所述瑕疵图案集合包括多个基础瑕疵图案，其中，每一个基础瑕疵图案之间的形状均不相同，且面积均不相同；
随机选取基础瑕疵图案；
将基础瑕疵图案旋转随机角度；
将基础瑕疵图案随机进行镜像操作，y为随机数由系统随机生成，y＝1或者y＝2，如果y＝1则表示进行镜像操作，如果y＝2则表示不进行镜像操作；
将基础瑕疵图案进行缩放；
重复多次执行，从随机选取一个基础瑕疵图案到将基础瑕疵图案进行缩放，获得多个随机瑕疵块。
4.根据权利要求3所述的方法，其特征在于，将基础瑕疵图案进行缩放，包括：
随机生成宽度缩放系数和长度缩放系数；
将瑕疵图案依据宽度缩放系数和长度缩放系数进行缩放。
5.根据权利要求1所述的方法，其特征在于，根据多个有瑕疵隐形眼镜图像，训练出隐形眼镜瑕疵检测的神经网络模型，包括：
对有瑕疵隐形眼镜图像中的瑕疵进行标注；
对瑕疵隐形眼镜图像进行预处理；
训练出隐形眼镜瑕疵检测的神经网络模型。
6.根据权利要求5所述的方法，其特征在于，对瑕疵隐形眼镜图像进行预处理，包括：
对瑕疵隐形眼镜图像进行归一化处理和进行mosic数据增强。
7.根据权利要求5所述的方法，其特征在于，训练出隐形眼镜瑕疵检测的神经网络模型，包括：
进行训练yolov5网络；
其中，yolov5损失函数的定义如下所示：
Figure FDA0003755453260000021
Figure FDA0003755453260000022
Figure FDA0003755453260000023
公式(1)中A表示预测框，B表示真实框，IOU用来表示预测和真实框之间的重合程度；公式(2)中v用来衡量预测框和真实框长宽比之间的一致性，w1,h1分别表示预测框的长和宽，w2,h2分别表示真实框的长和宽；公式(3)整体定位框的损失，distance_2代表定位框和真实框中心点之间的欧氏距离，distance_C则代表包含定位框和真实框的最小外接矩形对角线长度。
Figure FDA0003755453260000024
公式(4)表示缺色瑕疵块的分类损失，n代表整个训练过程中的类别数，yn表示分类的目标，xn表示模型分类输出的值；
在损失函数中加入FocalLoss，如下公式(5)所示：
FocalLoss＝-(1-pt)λlog(pt) (5)
公式(5)中，pt表示样本分类的概率值，λ是一个预设常数；
算法的损失函数由预测框损失，分类损失，和focalLoss三部分组成其定义如下公式(6)所示：
Loss＝α·CIOU_Loss+β·BCELoss+γ·FocalLoss。 (6)。
8.一种隐形眼镜瑕疵检测系统，其特征在于，包括：
获取无瑕疵图像模块，被配置为获取无瑕疵隐形眼镜图像；
预处理模块，被配置为对无瑕疵隐形眼镜图像进行预处理；
识别瑕疵区域模块，被配置为识别出无瑕疵隐形眼镜图像中的花纹区域，所述花纹区域为隐形眼镜图像产生瑕疵的区域；
生成瑕疵块模块，被配置为生成多个随机瑕疵块；
生成有瑕疵图像模块，被配置为重复多次执行将所述N个随机瑕疵块随机放入无瑕疵隐形眼镜图像的花纹区域，获得多个有瑕疵隐形眼镜图像，其中，N≥1且N为随机的整数；
训练神经网络模型模块，被配置为根据多个有瑕疵隐形眼镜图像，训练出隐形眼镜瑕疵检测的神经网络模型；
图像瑕疵检测模块，被配置为基于训练后的神经网络模型，对待测隐形眼镜进行瑕疵检测。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
CN202210853126.8A 2022-07-20 2022-07-20 隐形眼镜瑕疵检测方法及系统、电子设备、存储介质 Pending CN115239663A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210853126.8A CN115239663A (zh) 2022-07-20 2022-07-20 隐形眼镜瑕疵检测方法及系统、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210853126.8A CN115239663A (zh) 2022-07-20 2022-07-20 隐形眼镜瑕疵检测方法及系统、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN115239663A true CN115239663A (zh) 2022-10-25

Family

ID=83673238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210853126.8A Pending CN115239663A (zh) 2022-07-20 2022-07-20 隐形眼镜瑕疵检测方法及系统、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN115239663A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993682A (zh) * 2023-07-10 2023-11-03 欧几里德(苏州)医疗科技有限公司 基于图像数据分析的角膜塑形镜瑕疵区域提取方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993682A (zh) * 2023-07-10 2023-11-03 欧几里德(苏州)医疗科技有限公司 基于图像数据分析的角膜塑形镜瑕疵区域提取方法
CN116993682B (zh) * 2023-07-10 2024-02-23 欧几里德(苏州)医疗科技有限公司 基于图像数据分析的角膜塑形镜瑕疵区域提取方法

Similar Documents

Publication Publication Date Title
CN108961217B (zh) 一种基于正例训练的表面缺陷检测方法
CN110148130B (zh) 用于检测零件缺陷的方法和装置
CN110047073B (zh) 一种x射线焊缝图像缺陷定级方法及系统
CN116168026B (zh) 基于计算机视觉的水质检测方法及系统
CN113239930B (zh) 一种玻璃纸缺陷识别方法、系统、装置及存储介质
CN113570605B (zh) 一种基于液晶显示面板的缺陷检测方法和系统
CN113362326A (zh) 一种电池焊点缺陷的检测方法及装置
CN114820625B (zh) 一种汽车顶块缺陷检测方法
CN113869300A (zh) 基于多视觉融合的工件表面缺陷和字符识别的方法及系统
US20190272627A1 (en) Automatically generating image datasets for use in image recognition and detection
CN114782329A (zh) 一种基于图像处理的轴承缺陷损伤程度评估方法及系统
CN116485779B (zh) 自适应晶圆缺陷检测方法、装置、电子设备及存储介质
CN113019973A (zh) 一种易拉罐制造缺陷在线视觉检测方法
CN116342597A (zh) 一种汽车配件表面电镀加工缺陷检测方法和系统
CN116128873A (zh) 一种基于图像识别的轴承保持器检测方法、设备及介质
CN114881998A (zh) 一种基于深度学习的工件表面缺陷检测方法及系统
CN115239663A (zh) 隐形眼镜瑕疵检测方法及系统、电子设备、存储介质
CN114841992A (zh) 基于循环生成对抗网络和结构相似性的缺陷检测方法
CN114612418A (zh) 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备
CN113591507A (zh) 一种鲁棒的二维码DataMatrix定位方法及系统
CN115797314B (zh) 零件表面缺陷检测方法、系统、设备及存储介质
CN116542963A (zh) 一种基于机器学习的浮法玻璃缺陷检测系统及检测方法
CN116152191A (zh) 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备
CN115018829A (zh) 一种玻璃瑕疵定位方法及装置
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination