CN113724223B - 基于光学显微镜的YOLOv3数据集制作方法及系统 - Google Patents
基于光学显微镜的YOLOv3数据集制作方法及系统 Download PDFInfo
- Publication number
- CN113724223B CN113724223B CN202111008164.5A CN202111008164A CN113724223B CN 113724223 B CN113724223 B CN 113724223B CN 202111008164 A CN202111008164 A CN 202111008164A CN 113724223 B CN113724223 B CN 113724223B
- Authority
- CN
- China
- Prior art keywords
- image
- scratch
- convolution
- samples
- marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 19
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000002372 labelling Methods 0.000 claims description 17
- 230000009467 reduction Effects 0.000 claims description 13
- 230000007547 defect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 239000006002 Pepper Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 235000002566 Capsicum Nutrition 0.000 claims description 4
- 241000722363 Piper Species 0.000 claims description 4
- 235000016761 Piper aduncum Nutrition 0.000 claims description 4
- 235000017804 Piper guineense Nutrition 0.000 claims description 4
- 235000008184 Piper nigrum Nutrition 0.000 claims description 4
- 150000003839 salts Chemical class 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims 4
- 238000013135 deep learning Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Abstract
本发明涉及基于光学显微镜的YOLOv3数据集制作方法及系统。本发明包括：利用光学显微镜对样品进行划痕图像的采集；对采集到的划痕图像进行统一图像尺寸；对统一尺寸后的图像进行处理以突出划痕；对处理后的图像进行样本扩充；手动标注图像样本中划痕的位置及宽度尺寸，获得手动标注数据；将手动标注数据作为输入训练yolo‑v3神经网络，获得极细微划痕目标检测模型；将图像数据集中的剩余样本输入到极细微划痕目标检测模型中，获得剩余样本的划痕标注结果。本发明大大提高了数据集的制作效率，并且本发明所获得的极细微划痕目标检测模型仍可以用于普通视觉系统所采集图像的检测。
Description
技术领域
本发明涉及深度学习目标检测数据技术领域，尤其是指基于光学显微镜的YOLOv3数据集制作方法及系统。
背景技术
划痕是工业产品最常见的缺陷之一，如使用人工对划痕进行检测需要耗费大量的时间和劳力成本，并且宽度小于50μm的极细微划痕很难被人工成功检出。
机器视觉是用机器来代替人眼对客观物体做出测量和判断的一种技术，机器视觉系统可以大大提高工业生产的自动化程度。尤其在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。随着人工智能的发展，深度学习与机器视觉结合，在细微缺陷检测方面表现异常优越，深度学习的优点在于通过对大量样本特征的提取学习，机器得到的标签特征信息不断加深，深度学习大大缩减了传统机器视觉人工特征提取的过程，且能够对随机性很强的细微划痕实现自主学习,并且随着样本数量的增加，深度学习能极大地提高细微划痕的检测效率和精度。
由于大部分光滑表面的划痕没有标准的几何特征，采用传统机器学习算法进行划痕检测需要人工定制输入特征，而采用深度学习的方法可以自己挖掘特征，不再需要人工选取特征。因此，近年来深度学习算法在表面划痕检测方面得到了应用，但是深度学习要达到很高的准确率的前提是需要有大量的样本对模型进行训练。目前样本标注大多采用人工标注的方法，人工标注不仅要耗费大量的时间和劳力成本，而且20微米以下的划痕肉眼很难看到，因此误差率也很高；标注质量的下降也直接导致了模型训练效果下降，从而影响预测的精度。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中人工标注导致的时间和劳力成本大的问题以及人工标注误差率高从而导致的模型训练效果下降、影响预测的精度的问题。
为解决上述技术问题，本发明提供了基于光学显微镜的YOLOv3数据集制作方法，包括如下步骤：
步骤S1：对样品进行划痕图像的采集；
步骤S2：对采集到的划痕图像进行编辑，获得统一尺寸后的图像；
步骤S3：对统一尺寸后的图像进行处理以突出划痕，得到处理后的图像；
步骤S4：对处理后的图像进行样本扩充，获得图像数据集；
步骤S5：从所述图像数据集中选取图像样本，标注图像样本中划痕的位置及宽度尺寸，获得标注数据；
步骤S6：将统一尺寸后的图像的RGB三通道图像作为yolo-v3神经网络的输入，设置yolo-v3神经网络的初始学习率、初始迭代次数、批处理数据量，选取模型优化器并选择学习率下降方式，借鉴可视化工具来分析yolo-v3神经网络层，利用随机的方式从标注数据中抽选一部分指定比例的数据作为训练集，另一部分其它比例的样本作为测试集，获得极细微划痕目标检测模型，其中所述极细微划痕目标检测模型包括Darknet-53的主干特征提取网络、卷积层以及全连接层；
步骤S7：将从图像数据集中选取图像样本后的的剩余样本输入到极细微划痕目标检测模型中，获得剩余样本的划痕标注结果。
在本发明的一个实施方式中，步骤S2中，统一尺寸后的图像的尺寸为416*416。
在本发明的一个实施方式中，步骤S3中，对统一尺寸后的图像进行处理以突出划痕的方法包括：先使用中值滤波对统一尺寸后的图像进行降噪，再对降噪后的图像使用限制对比度自适应直方图均衡法对图像进行增强。
在本发明的一个实施方式中，所述使用中值滤波对统一尺寸后的图像进行降噪的方法包括：采用一个3*3的中值滤波过滤统一尺寸后的图像中的椒盐噪声。
在本发明的一个实施方式中，步骤S4中，对处理后的图像进行样本扩充，获得图像数据集的方法包括：对处理后的图像进行包括上下翻转、左右翻转、平移、缩放、旋转操作。
在本发明的一个实施方式中，步骤S6中，所述神经网络初始学习率为0.0001，初始迭代次数为50，批处理数据量为8，所述模型优化器选择Adam优化器，学习率下降方式采用随机梯度下降法。
在本发明的一个实施方式中，步骤S6中，从输入的手动标注数据中随机抽选90％的数据作为训练集，10％的样本作为测试集。
在本发明的一个实施方式中，步骤S6中，所述极细微划痕目标检测模型包括了一个Darknet-53的主干特征提取网络、二十五个卷积层以及两个全连接层Darknet-53使用了残差网络，Darknet-53中的残差卷积包括进行一次卷积核大小为3*3、步长为2的卷积，通过卷积对特征层进行压缩，压缩后的特征层命名为layer，之后再对layer特征层进行一次1*1的卷积和一次3*3的卷积，将得到的新特征层与layer相加，构成残差结构。
在本发明的一个实施方式中，所述Darnet-53的每个卷积部分采用的DraknetConv2D结构，每一次卷积的时候进行L2正则化，完成卷积后进行BatchNormalization标准化与LeakyReLU，其中LeakyReLU是给所有负值增加一个非零的斜率。
在本发明的一个实施方式中，在所述步骤S7后，还包括对剩余样本的划痕标注结果进行筛选误标记、错标记的错误标注样本，对错误标注样本重新进行手动标注，加入到yolo-v3神经网络的训练集中，得到优化的极细微划痕目标检测模型。
本发明还提供基于光学显微镜的YOLOv3数据集制作系统，包括：
采集模块，用于对样品进行划痕图像的采集；
图像尺寸统一模块，用于对采集到的划痕图像进行编辑，获得统一尺寸后的图像；
划痕突出模块，用于对统一尺寸后的图像进行处理以突出划痕，得到处理后的图像；
图像扩充模块，用于对处理后的图像进行样本扩充，获得图像数据集；
图像标注模块，用于从所述图像数据集中选取图像样本，标注图像样本中划痕的位置及宽度尺寸，获得标注数据；
训练模块，用于将统一尺寸后的图像的RGB三通道图像作为yolo-v3神经网络的输入，设置yolo-v3神经网络的初始学习率、初始迭代次数、批处理数据量，选取模型优化器并选择学习率下降方式，借鉴可视化工具来分析yolo-v3神经网络层，利用随机的方式从标注数据中抽选一部分指定比例的数据作为训练集，另一部分其它比例的样本作为测试集，获得极细微划痕目标检测模型，其中所述极细微划痕目标检测模型包括Darknet-53的主干特征提取网络、卷积层以及全连接层；
划痕标注结果获取模块，用于将从图像数据集中选取图像样本后的剩余样本输入到极细微划痕目标检测模型中，获得剩余样本的划痕标注结果。
本发明的上述技术方案相比现有技术具有以下优点：
本发明提出的数据集制作方法使用光学显微镜来采集图像，保证了精度；只需要手动标注全部数据集的20％作为yolo-v3神经网络的前期训练数据集，就可以实现全部数据集的半自动标注，大大提高了数据集的制作效率，并且本发明所获得的极细微划痕目标检测模型仍可以用于普通视觉系统所采集图像的检测。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1为本发明所述基于光学显微镜的极细微划痕目标检测数据集半自动制作方法的流程图；
图2为光学显微镜采集的极细微划痕的图像及其具体尺寸；
图3为采用图像标注软件LabelImg进行手动标注的图像；
图4为极细微划痕目标检测模型输出的极细微划痕标注结果(scratch是标注的标签名，0.72等数字代表置信度)；
图5为获得的极细微划痕目标检测模型用于普通视觉系统所采集图像的检测结果。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一
如图1所示，本发明提供了基于光学显微镜的YOLOv3数据集制作方法，包括，
步骤S1：收集适量带有细微划痕的样品，利用光学显微镜采集图像；
步骤S2：将收集的图像尺寸统一为416*416的标准尺寸；
步骤S3：对图像进行处理，先使用中值滤波对图像进行降噪，这一步可以有效过滤图像的椒盐噪声，再使用自适应限制对比度自适应直方图均衡化对图像进行增强，可以使划痕更加突出；
具体地，步骤3中，先采用一个3*3的中值滤波过滤样本标签中的椒盐噪声；再对过滤后的图像进行自适应限制对比度自适应直方图均衡化(CLAHE)，CLAHE和普通的直方图均衡算法不同，CLAHE算法通过计算图像的局部直方图，然后重新分布亮度来来改变图像对比度，可以获得更好的增强效果。
步骤S4：扩充样本，对处理后的图像进行包括上下翻转、左右翻转、平移、缩放、旋转操作。
具体地，本实施例对样本图像分别进行上下翻转、左右翻转、顺时针旋转45°的同时缩小二分之一，逆时针旋转45°的同时扩大一倍，顺时针旋转135°的同时扩大1.5倍，逆时针旋转135°的同时缩小三分之一，这一步是为了增加数据集的规模，把样本数扩大到原来的七倍，同时还能预防训练模型过拟合，使训练效果更好；
步骤S5：抽取全部数据集20％数量的样本，手动标注样本上划痕的位置以及具体尺寸，具体尺寸指划痕的宽度，手动标注数据由labelimg自动生成；
步骤S6，利用手动标注的数据训练yolo-v3神经网络，获得极细微划痕目标检测模型；具体步骤为：
步骤S61：初始化训练参数设置，将步骤2中输入图像尺寸统一为416*416大小的RGB(Red、Green、Blue，红、绿、蓝)三通道图像作为yolo-v3神经网络的输入，同时，设置yolo-v3神经网络初始学习率0.0001，初始迭代次数50，批处理数据量8；模型优化器使用Adam优化器，学习率下降方式采用随机梯度下降法，这样当迭代次数达到上限，或网络参数的更新速率小于一定值自动结束网络训练；训练时随机抽选所有输入数据的90％用于训练，10％用于验证；
步骤S62：确定yolo-v3网络结构，利用netron来分析yolo-v3网络层，整个yolo-v3主体网络层包含252层，组成如表1所示：
表1:yolo-v3主体网络层的组成
步骤S63：模型训练，根据步骤S61中给出的检测模型的训练参数，输入手动标注数据后进行训练，得到用于极细微划痕目标检测的预测权重，即极细微划痕目标检测模型。
具体地，步骤S62中所述的yolo-v3神经网络，每张训练样本分成S*S个网格，每个网格产生多个可能包含缺陷的矩形框，每张训练样本上标签的位置由六个参数构成，分别为w，h，x，y，conf；其中w，h是先验框宽高，x，y是先验框中心位置的调整参数，conf是先验框中含有缺陷的置信度。
整个训练模型包括了一个Darknet-53的主干特征提取网络、二十五个卷积层以及两个全连接层。Darknet-53使用了残差网络Residual，Darknet-53中的残差卷积就是首先进行一次卷积核大小为3*3、步长为2的卷积，通过这次卷积对特征层进行压缩，压缩后的特征层命名为layer，之后再对layer特征层进行一次1*1的卷积和一次3*3的卷积，将得到的新特征层与layer相加，构成了残差结构。残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。
Darnet-53的每个卷积部分采用的特有的DraknetConv2D结构，每一次卷积的时候进行L2正则化，完成卷积后进行BatchNormalization标准化与LeakyReLU。普通的ReLu是将所有的负值都设置为0，LeakyReLU是给所有负值增加一个非零的斜率，目的是在反向传播过程中，对于LeakyReLU激活函数输入小于零的部分，也可以计算得到梯度，LeakyReLU数学表达式为：
其中，x是自变量，y是因变量，a一般取100；这个函数的意义在于，在反向传播过程中，对于LeakyReLU激活函数输入小于零的部分，也可以计算得到梯度，而不是像ReLU函数一样值为0。
步骤S7：将剩余待标注样本输入到极细微划痕目标检测模型中，获得剩余样本极细微划痕标注结果。
具体地，对得到的标注结果进行校验，筛选误标记、错标记样本，对错误标注样本重新进行手动标注，加入到训练集中，重新训练所述yolo-v3神经网络，得到优化的极细微划痕目标检测模型。
如图2所示，本发明所针对的极细微划痕的宽度在20微米左右。
如图3所示，本发明采用图像标注软件LabelImg进行手动标注，包括选中目标区域，设置标签，手动按比例标注数据集中的一部分，作为前期训练的数据集。
如图4所示，图4为极细微划痕目标检测模型的输出结果(scratch是标注的标签名，0.72等数字代表置信度)，本发明被证实可以快速准确地进行极细微划痕目标检测数据集的半自动制作。
如图5所示，图5为极细微划痕目标检测模型用于普通视觉系统所采集图像的检测结果(scratch是标注的标签名，0.95置信度)，本发明被证实利用光学显微镜所获得的极细微划痕目标检测模型仍可以用于普通视觉系统所采集图像的检测。
实施例二
基于同一发明构思，本实施例提供了基于光学显微镜的YOLOv3数据集制作系统，其解决问题的原理与所述基于光学显微镜的YOLOv3数据集制作方法类似，重复之处不再赘述。
本实施例提供基于光学显微镜的YOLOv3数据集制作系统，包括：
采集模块，用于对样品进行划痕图像的采集；
图像尺寸统一模块，用于对采集到的划痕图像进行编辑，获得统一尺寸后的图像；
划痕突出模块，用于对统一尺寸后的图像进行处理以突出划痕，得到处理后的图像；
图像扩充模块，用于对处理后的图像进行样本扩充，获得图像数据集；
图像标注模块，用于从所述图像数据集中选取图像样本，标注图像样本中划痕的位置及宽度尺寸，获得标注数据；
训练模块，用于将统一尺寸后的图像的RGB三通道图像作为yolo-v3神经网络的输入，设置yolo-v3神经网络的初始学习率、初始迭代次数、批处理数据量，选取模型优化器并选择学习率下降方式，借鉴可视化工具来分析yolo-v3神经网络层，利用随机的方式从标注数据中抽选一部分指定比例的数据作为训练集，另一部分其它比例的样本作为测试集，获得极细微划痕目标检测模型，其中所述极细微划痕目标检测模型包括Darknet-53的主干特征提取网络、卷积层以及全连接层；
划痕标注结果获取模块，用于将从图像数据集中选取图像样本后的剩余样本输入到极细微划痕目标检测模型中，获得剩余样本的划痕标注结果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (3)
1.基于光学显微镜的YOLOv3数据集制作方法，其特征在于，包括如下步骤：
步骤S1：对样品进行划痕图像的采集；
步骤S2：对采集到的划痕图像进行编辑，获得统一尺寸后的图像；
步骤S3：对统一尺寸后的图像进行处理以突出划痕，得到处理后的图像，先采用一个3*3的中值滤波过滤样本标签中的椒盐噪声，再对过滤后的图像进行自适应限制对比度自适应直方图均衡化(CLAHE)；
步骤S4：对处理后的图像进行样本扩充，获得图像数据集，对处理后的图像进行上下翻转、左右翻转、顺时针旋转45°的同时缩小二分之一，逆时针旋转45°的同时扩大一倍，顺时针旋转135°的同时扩大1.5倍，逆时针旋转135°的同时缩小三分之一；
步骤S5：从所述图像数据集中选取图像样本，标注图像样本中划痕的位置及宽度尺寸，获得标注数据，每张训练样本分成S*S个网格，每个网格产生多个可能包含缺陷的矩形框，每张训练样本上标签的位置由六个参数构成，分别为w，h，x，y，conf；其中w，h是先验框宽高，x，y是先验框中心位置的调整参数，conf是先验框中含有缺陷的置信度；
步骤S6：将统一尺寸后的图像的RGB三通道图像作为yolo-v3神经网络的输入，设置yolo-v3神经网络的初始学习率、初始迭代次数、批处理数据量，选取模型优化器并选择学习率下降方式，借鉴可视化工具来分析yolo-v3神经网络层，利用随机的方式从标注数据中抽选指定比例的数据作为训练集，其它比例的样本作为测试集，获得极细微划痕目标检测模型，其中所述极细微划痕目标检测模型包括Darknet-53的主干特征提取网络、卷积层以及全连接层，所述神经网络初始学习率为0.0001，初始迭代次数为50，批处理数据量为8，所述模型优化器选择Adam优化器，学习率下降方式采用随机梯度下降法，Darknet-53 使用了残差网络，Darknet-53中的残差卷积包括进行一次卷积核大小为3*3、步长为2的卷积，通过卷积对特征层进行压缩，压缩后的特征层命名为layer，之后再对layer特征层进行一次1*1的卷积和一次3*3的卷积，将得到的新特征层与layer相加，构成残差结构，所述Dark net-53的每个卷积部分采用的DraknetConv2D结构，每一次卷积的时候进行L2正则化，完成卷积后进行BatchNormalization标准化与LeakyReLU，其中LeakyReLU是给所有负值增加一个非零的斜率；
步骤S7：将从图像数据集中选取图像样本后的剩余样本输入到极细微划痕目标检测模型中，获得剩余样本的划痕标注结果，对剩余样本的划痕标注结果进行筛选错误标注样本，对错误标注样本重新进行标注，加入到yolo-v3神经网络的训练集中，得到优化的极细微划痕目标检测模型。
2.根据权利要求1所述的基于光学显微镜的YOLOv3数据集制作方法，其特征在于，步骤S2中，统一尺寸后的图像的尺寸为416*416。
3.基于光学显微镜的YOLOv3数据集制作系统，其特征在于，包括：
采集模块，用于对样品进行划痕图像的采集；
图像尺寸统一模块，用于对采集到的划痕图像进行编辑，获得统一尺寸后的图像；
划痕突出模块，用于对统一尺寸后的图像进行处理以突出划痕，得到处理后的图像，先采用一个3*3的中值滤波过滤样本标签中的椒盐噪声，再对过滤后的图像进行自适应限制对比度自适应直方图均衡化(CLAHE)；
图像扩充模块，用于对处理后的图像进行样本扩充，获得图像数据集，对处理后的图像进行上下翻转、左右翻转、顺时针旋转45°的同时缩小二分之一，逆时针旋转45°的同时扩大一倍，顺时针旋转135°的同时扩大1.5倍，逆时针旋转135°的同时缩小三分之一；
图像标注模块，用于从所述图像数据集中选取图像样本，标注图像样本中划痕的位置及宽度尺寸，获得标注数据，每张训练样本分成S*S个网格，每个网格产生多个可能包含缺陷的矩形框，每张训练样本上标签的位置由六个参数构成，分别为w，h，x，y，conf；其中w，h是先验框宽高，x，y是先验框中心位置的调整参数，conf是先验框中含有缺陷的置信度；
训练模块，用于将统一尺寸后的图像的RGB三通道图像作为yolo-v3神经网络的输入，设置yolo-v3神经网络的初始学习率、初始迭代次数、批处理数据量，选取模型优化器并选择学习率下降方式，借鉴可视化工具来分析yolo-v3神经网络层，利用随机的方式从标注数据中抽选指定比例的数据作为训练集，其它比例的样本作为测试集，获得极细微划痕目标检测模型，其中所述极细微划痕目标检测模型包括Darknet-53的主干特征提取网络、卷积层以及全连接层，所述神经网络初始学习率为0.0001，初始迭代次数为50，批处理数据量为8，所述模型优化器选择Adam优化器，学习率下降方式采用随机梯度下降法，Darknet-53使用了残差网络，Darknet-53中的残差卷积包括进行一次卷积核大小为3*3、步长为2的卷积，通过卷积对特征层进行压缩，压缩后的特征层命名为layer，之后再对layer特征层进行一次1*1的卷积和一次3*3的卷积，将得到的新特征层与layer相加，构成残差结构，所述Darknet-53的每个卷积部分采用的DraknetConv2D结构，每一次卷积的时候进行L2正则化，完成卷积后进行BatchNormalization标准化与LeakyReLU，其中LeakyReLU是给所有负值增加一个非零的斜率；
划痕标注结果获取模块，用于将从图像数据集中选取图像样本后的剩余样本输入到极细微划痕目标检测模型中，获得剩余样本的划痕标注结果，对剩余样本的划痕标注结果进行筛选错误标注样本，对错误标注样本重新进行标注，加入到yolo-v3神经网络的训练集中，得到优化的极细微划痕目标检测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111008164.5A CN113724223B (zh) | 2021-08-27 | 2021-08-27 | 基于光学显微镜的YOLOv3数据集制作方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111008164.5A CN113724223B (zh) | 2021-08-27 | 2021-08-27 | 基于光学显微镜的YOLOv3数据集制作方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113724223A CN113724223A (zh) | 2021-11-30 |
| CN113724223B true CN113724223B (zh) | 2022-05-24 |
Family
ID=78679489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111008164.5A Active CN113724223B (zh) | 2021-08-27 | 2021-08-27 | 基于光学显微镜的YOLOv3数据集制作方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113724223B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023108412A1 (zh) * | 2021-12-14 | 2023-06-22 | 深圳先进技术研究院 | 目标蛋白快速识别及定量方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636772A (zh) * | 2018-10-25 | 2019-04-16 | 同济大学 | 基于深度学习的不规则形状金属加工表面的缺陷检测方法 |
| CN111898523A (zh) * | 2020-07-29 | 2020-11-06 | 电子科技大学 | 一种基于迁移学习的遥感图像特种车辆目标检测方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110310259B (zh) * | 2019-06-19 | 2021-07-27 | 江南大学 | 一种基于改进YOLOv3算法的木结瑕疵检测方法 |
| CN110874826B (zh) * | 2019-11-18 | 2020-07-31 | 北京邮电大学 | 应用于离子束精准镀膜的工件图像去雾化方法及装置 |
| CN111145105B (zh) * | 2019-12-04 | 2020-09-01 | 广东省新一代通信与网络创新研究院 | 一种图像快速去雾方法、装置、终端及存储介质 |
| CN112613350A (zh) * | 2020-12-04 | 2021-04-06 | 河海大学 | 一种基于深度神经网络的高分辨率光学遥感图像飞机目标检测方法 |
| CN112464911A (zh) * | 2020-12-21 | 2021-03-09 | 青岛科技大学 | 基于改进YOLOv3-tiny的交通标志检测与识别方法 |
| CN113269161A (zh) * | 2021-07-16 | 2021-08-17 | 四川九通智路科技有限公司 | 一种基于深度学习的交通标识牌检测方法 |
-
2021
- 2021-08-27 CN CN202111008164.5A patent/CN113724223B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636772A (zh) * | 2018-10-25 | 2019-04-16 | 同济大学 | 基于深度学习的不规则形状金属加工表面的缺陷检测方法 |
| CN111898523A (zh) * | 2020-07-29 | 2020-11-06 | 电子科技大学 | 一种基于迁移学习的遥感图像特种车辆目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113724223A (zh) | 2021-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106650770B (zh) | 一种基于样本学习和人眼视觉特性的mura缺陷检测方法 | |
| CN105096259B (zh) | 深度图像的深度值恢复方法和系统 | |
| CN109509187B (zh) | 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法 | |
| CN109636772A (zh) | 基于深度学习的不规则形状金属加工表面的缺陷检测方法 | |
| CN111402197B (zh) | 一种针对色织物裁片缺陷区域的检测方法 | |
| CN107358636B (zh) | 一种基于纹理合成的疏松缺陷图像生成方法 | |
| CN104583925B (zh) | 图像处理设备、方法及程序 | |
| CN110889837A (zh) | 一种具有瑕疵分级功能的布匹瑕疵检测方法 | |
| CN109544571A (zh) | 一种基于数学形态学的金相图像边缘检测方法 | |
| CN112991271B (zh) | 基于改进yolov3的铝型材表面缺陷视觉检测方法 | |
| CN113724223B (zh) | 基于光学显微镜的YOLOv3数据集制作方法及系统 | |
| CN107895371B (zh) | 基于峰值覆盖值和Gabor特征的纺织品瑕疵检测方法 | |
| CN113887524A (zh) | 基于语义分割的磁铁矿显微图像分割方法 | |
| CN114842201A (zh) | 基于改进Mask_Rcnn的砂石骨料图像分割方法 | |
| CN110660048B (zh) | 一种基于形状特征的皮革表面缺陷检测方法 | |
| Kar et al. | Benchmarking of deep learning algorithms for 3D instance segmentation of confocal image datasets | |
| CN116205876A (zh) | 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 | |
| CN116664565A (zh) | 一种光伏太阳能电池片的隐裂检测方法及系统 | |
| CN115018790A (zh) | 一种基于异常检测的工件表面缺陷检测方法 | |
| Angulo et al. | Method for edges detection in digital images through the use of cellular automata | |
| CN117253071B (zh) | 基于多级伪标签增强的半监督目标检测方法及系统 | |
| CN113435460A (zh) | 一种亮晶颗粒灰岩图像的识别方法 | |
| CN112614113A (zh) | 一种基于深度学习的带钢缺陷检测方法 | |
| CN113112482A (zh) | 一种基于注意力机制网络的pcb缺陷检测方法 | |
| CN112784806A (zh) | 一种基于全卷积神经网络的含锂伟晶岩脉提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |