CN116596891A - 基于半监督多任务检测的木地板颜色分类及缺陷检测方法 - Google Patents

基于半监督多任务检测的木地板颜色分类及缺陷检测方法 Download PDF

Info

Publication number
CN116596891A
CN116596891A CN202310578316.8A CN202310578316A CN116596891A CN 116596891 A CN116596891 A CN 116596891A CN 202310578316 A CN202310578316 A CN 202310578316A CN 116596891 A CN116596891 A CN 116596891A
Authority
CN
China
Prior art keywords
color
semi
supervised
defect
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310578316.8A
Other languages
English (en)
Inventor
倪超
端木安宁
朱婷婷
李振业
崔闻琪
薛胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Forestry University
Original Assignee
Nanjing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forestry University filed Critical Nanjing Forestry University
Priority to CN202310578316.8A priority Critical patent/CN116596891A/zh
Publication of CN116596891A publication Critical patent/CN116596891A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30161—Wood; Lumber
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于半监督多任务检测的木地板颜色分类及缺陷检测方法，属于图像处理领域。该方法包括：对输入图像进行缺陷色彩校正；标记少量图像作为数据集输入Color‑RCNN模型训练，实现颜色分类和缺陷检测；训练半监督预测监视网络判别伪标签是否准确的；用Color‑RCNN模型预测剩余的未标记图像，实现颜色分类，生成伪标签，用半监督预测监视网络对伪标签进行判别，将正确的检测框留下，过滤掉错误的检测框；将识别正确的图像加入数据集，重新输入Color‑RCNN模型训练，预测剩余的未标记图像，直至未标记图像全部获得正确标签，实现半监督学习。本发明在图像识别的过程中，通过半监督学习，使用少量人工标记和大量未标记的木地板图像训练出模型，提高了分选的效率。

Description

基于半监督多任务检测的木地板颜色分类及缺陷检测方法
技术领域
本发明属于木地板颜色分类和缺陷检测领域，具体涉及基于半监督多任务检测的木地板颜色分类及缺陷检测方法。
背景技术
木地板生产加工过程中，颜色分类和缺陷检测是两个重要的技术领域。在传统方法的基础上，随着计算机视觉和人工智能技术的发展，这两个领域得到了很大的改进。对于颜色分类，图像处理技术、特征提取技术和机器学习技术的应用，使得木地板颜色的分类更加准确高效；对于缺陷检测，图像处理技术、特征提取技术和深度学习技术的应用，使得木地板缺陷的检测更加准确和自动化。目前，主流的木地板分类和检测模型的缺点是需要大量经过人工标记的数据集，花费的时间多，效率慢。
在此基础上，有公开号CN103761743A的发明专利申请公开了一种基于深度学习的地板缺陷检测方法，该检测方法自动提取关键特征免去人工提取特征环节，提高了效率，但仍需要大量人工标记图像作为数据集。
发明内容
发明目的：针对现有技术存在的不足，提供一种基于半监督多任务检测的木地板颜色分类及缺陷检测方法。
技术方案：为了解决上述技术问题，本发明采用的技术方案如下：
采集木地板图像利用基于灰度世界算法和完美反射算法结合的色彩矫正公式进行缺陷色彩校正；标记少量图像作为数据集输入基于Faster-RCNN改进的Color-RCNN模型进行训练，实现木地板的颜色分类和缺陷检测；将有标记图像中的检测框作为正样本，在未标记图像上随机画框作为负样本，训练基于卷积神经网络设计的半监督预测监视网络判别伪标签是否准确；用训练好的Color-RCNN模型预测剩余的未标记图像，实现颜色分类，生成伪标签，利用半监督预测监视网络对伪标签进行判别，将正确识别的检测框留下，过滤掉错误的检测框；将识别正确的图像加入数据集，重新输入Color-RCNN模型训练，预测剩余的未标记图像，直至未标记图像全部获得可靠标签，实现半监督学习。
作为优选，包括以下步骤：
S1：采集多种颜色并且有缺陷的木地板图像，标注少量木地板中的颜色类别以及框选缺陷位置作为有标记图像，剩余作为未标记图像，由于缺陷可能对木地板颜色识别造成影响，根据缺陷色彩校正公式矫正木地板颜色，见公式1-4；
S2：利用有标记图像训练出一个Color-RCNN模型，见图3，实现木地板的颜色分类和缺陷检测；
S3：将有标记图像的检测框作为正样本，在部分图像上随机画框作为负样本，构建一个包含正负样本的数据集，训练一个半监督预测监视网络，见图4，输入为ROI的特征表示和ROI的类别，输出为该ROI是否为可靠的伪标签，判别伪标签是否准确；
S4：用训练好的Color-RCNN模型预测剩余的未标记图像，实现颜色分类，生成伪标签，利用半监督预测监视网络对伪标签进行判别，将正确识别的检测框留下，过滤掉错误的检测框；
S5：筛选后的未标记图像和有标记图像结合起来，重新训练Color-RCNN模型，预测剩余的未标记图像，直至未标记图像全部获得可靠标签，实现半监督学习。
作为优选，在所述步骤S1中，使用基于灰度世界和完美反射结合的色彩矫正器矫正木地板颜色，将缺陷占比面积作为影响参数，缺陷占比面积的分布情况可以用一个核函数g(x)来描述，可以将其作为一个权重因子，与原始的颜色校正公式相乘，通过对核函数进行傅里叶变换，可以将其从时域转换到频域，以便更好地对图像进行颜色校正。计算RGB三个通道各自的均值，得到Ravg、Gavg和Bavg，计算RGB三个通道各自的最大值，得到Rmax、Gmax和Bmax，选用高斯核函数。基于灰度世界算法和完美反射算法结合的色彩矫正公式，如下所示：
其中，Rcorr表示考虑了缺陷占比面积和分布情况的R通道校正值，Gcorr表示考虑了缺陷占比面积和分布情况的G通道校正值，Bcorr表示考虑了缺陷占比面积和分布情况的B通道校正值，Ravg表示R通道平均值，Gavg表示G通道平均值，Bavg表示B通道平均值，Rmax表示R通道最大值，Gmax表示G通道最大值，Bmax表示B通道最大值，G(f)表示核函数g(x)的傅里叶变换，g(x)表示描述缺陷占比面积的分布情况的高斯核函数，f表示频率，A表示木地板中多有缺陷占比面积的总和，x表示单个缺陷占比面积，将傅里叶变换和反变换的过程进行展开，可以得到：
接着，可以将指数项进行合并，得到：
最后，可以将x从积分中提出来，得到：
其中，表示核函数在频域中的值，可以通过傅里叶反变换得到。当缺陷占比面积分布更加均匀时，/>的值会更加集中在低频部分，反之则会更加分散在高频部分。因此，/>的值可以用来表示缺陷占比面积分布对颜色的影响程度，在色彩校正公式中，将/>与x进行卷积或积分，就可以得到考虑缺陷占比面积分布影响后的色彩校正值。
作为优选，所述步骤S2中，基于Faster-RCNN设计一个Color-RCNN模型。利用一个色彩预测网络用于颜色分类，该网络包括卷积层和全连接层。输入为经过PyramidROIAlign输出的缺陷区域的ROI(感兴趣区域)以及FPN_Classifier网络的输出结果，输出为颜色分类结果。将FPN_Classifier网络与色彩预测网络级联，再将FPN_Classifier网络输出的ROI的分类和BB回归结果输入色彩预测网络，使其可以同时进行目标检测和颜色分类。
作为优选，所述步骤S2的具体实现方法如下：
S21：首先将有标记图像输入，进行数据预处理；
S22：将处理好的图像传入ResNet-101+FPN中，获得相应的feature map，并提取颜色分类器的输入特征；
S23：通过feature map中的每一点设定ROI，获得多个ROI候选框；
S24：对这些多个ROI候选框送到RPN中进行二值分类(前景或后景)和BB回归(Bounding-box regression)，过滤掉一部分候选的ROI；
S25：对剩下的ROI进行ROIAlign操作，采用双线性插值将每个ROI精确地转换为相同的大小，先将原图和feature map的pixel对应起来，然后将feature map和固定的feature对应起来；
S26：将经过Pyramid ROIAlign的ROI输入FPN_Classifier网络，得到每个ROI的分类和BB回归结果；
S27：将经过Pyramid ROI Align的ROI以及每个ROI的分类和BB回归结果输入色彩预测网络，得到颜色分类结果；
S28：将颜色分类的结果与目标检测的结果合并，得到最终的目标检测和颜色分类结果，计算目标检测和颜色分类的损失函数，使用反向传播算法更新网络参数，重复执行步骤S21-S28，直到达到预定的训练轮数或收敛。
作为优选，所述步骤S3的具体实现方法如下：
S31：将有标记图像的检测框作为正样本，在未标记图像上随机画框作为负样本，构建一个包含正负样本的数据集；
S32：对半监督预测监视网络进行训练，使用正样本和负样本数据集进行二分类，训练结束后，该网络可以对未标记图像生成的伪标签进行可靠性判断；
S33：通过半监督预测监视网络筛选出可靠的伪标签，加入有标记的数据集中重新训练Color-RCNN，不可靠的伪标签作为未标记数据集的一部分，继续进行半监督学习。
作为优选，所述的半监督预测监视网络其结构包括卷积层、池化层和全连接层，其中卷积层1使用32个3x3的卷积核，步长为1，采用ReLU激活函数，输入图像数据，提取图像特征，池化层1使用2x2的最大池化核，步长为2，进行下采样，减小特征图尺寸；卷积层2将池化层1的结果作为输入，提取更高级别的特征，卷积层2使用64个3x3的卷积核，步长为1，采用ReLU激活函数，池化层2使用2x2的最大池化核，步长为2，进行下采样，减小特征图尺寸；卷积层3将池化层2的结果作为输入，继续提取高级别特征，卷积层3使用128个3x3的卷积核，步长为1，采用ReLU激活函数，池化层3使用2x2的最大池化核，步长为2，进行下采样，减小特征图尺寸；经过一个全连接层1，将特征图展开成一维向量，进行全连接操作，共有256个神经元，采用ReLU激活函数；经过一个Dropout层，随机丢弃50％的神经元，减少过拟合；最后经过一个全连接层2，作为输出层，采用Sigmoid激活函数，对伪标签进行二分类，输出为0代表错误的伪标签，输出为1代表正确的伪标签。
有益效果：与现有技术对比，本发明的优点包括：
(1)利用有标记数据和未标记数据的信息，充分利用了数据资源，提高了模型的泛化能力。
(2)提出色彩矫正公式对木地板进行颜色矫正，提出Color-RCNN模型对木地板进行颜色分类和缺陷检测，提高了模型的分类准确性以及伪标签的质量。
(3)提出半监督预测监视网络对伪标签进行判别，可以过滤掉错误的伪标签，加强伪标签的准确性。
附图说明
图1是本发明的木地板缺陷检测图；
图2是木地板分类及检测流程示意图；
图3是本发明的Color-RCNN网络结构图；
图4是本发明的半监督预测监视网络结构图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
本实施例的基于半监督多任务检测的木地板颜色分类及缺陷检测方法，其特征在于，采集木地板图像利用基于灰度世界算法和完美反射算法结合的色彩矫正公式进行缺陷色彩校正；标记少量图像作为数据集输入基于Faster-RCNN改进的Color-RCNN模型进行训练，实现木地板的颜色分类和缺陷检测；将有标记图像中的检测框作为正样本，在未标记图像上随机画框作为负样本，训练基于卷积神经网络设计的半监督预测监视网络判别伪标签是否准确；用训练好的Color-RCNN模型预测剩余的未标记图像，实现颜色分类，生成伪标签，利用半监督预测监视网络对伪标签进行判别，将正确识别的检测框留下，过滤掉错误的检测框；将识别正确的图像加入数据集，重新输入Color-RCNN模型训练，预测剩余的未标记图像，直至未标记图像全部获得可靠标签，实现半监督学习。主要包括以下步骤：
步骤1：采集多种颜色并且有缺陷的木地板图像，标注少量木地板中的颜色类别以及框选缺陷位置作为有标记图像，剩余作为未标记图像，由于缺陷占木地板表面面积过大时会对颜色分类造成影响，使用基于灰度世界和完美反射结合的色彩矫正器矫正木地板颜色，基于灰度世界算法和完美反射算法结合的色彩矫正公式，如下所示：
其中，Rcorr表示考虑了缺陷占比面积和分布情况的R通道校正值，Gcorr表示考虑了缺陷占比面积和分布情况的G通道校正值，Bcorr表示考虑了缺陷占比面积和分布情况的B通道校正值，Ravg表示R通道平均值，Gavg表示G通道平均值，Bavg表示B通道平均值，Rmax表示R通道最大值，Gmax表示G通道最大值，Bmax表示B通道最大值，G(f)表示核函数g(x)的傅里叶变换，g(x)表示描述缺陷占比面积的分布情况的高斯核函数，A表示木地板中多有缺陷占比面积的总和，x表示单个缺陷占比面积，df表示积分变量，将傅里叶变换和反变换的过程进行展开，可以得到：
接着，可以将指数项进行合并，得到：
最后，可以将x从积分中提出来，得到：
其中，表示核函数在频域中的值，可以通过傅里叶反变换得到。当缺陷占比面积分布更加均匀时，/>的值会更加集中在低频部分，反之则会更加分散在高频部分。因此，/>的值可以用来表示缺陷占比面积分布对颜色的影响程度，在色彩校正公式中，将/>与x进行卷积或积分，就可以得到考虑缺陷占比面积分布影响后的色彩校正值。
步骤2：利用有标记图像训练出一个Color-RCNN模型，见图3，实现木地板的颜色分类和缺陷检测。具体实现步骤如下：
步骤21：首先将有标记图像输入，进行数据预处理；
步骤22：将处理好的图像传入ResNet-101+FPN中，获得相应的feature map，并提取颜色分类器的输入特征；
步骤23：通过feature map中的每一点设定ROI，获得多个ROI候选框；
步骤24：对这些多个ROI候选框送到RPN中进行二值分类(前景或后景)和BB回归(Bounding-box regression)，过滤掉一部分候选的ROI；
步骤25：对剩下的ROI进行ROIAlign操作，采用双线性插值将每个ROI精确地转换为相同的大小，先将原图和feature map的pixel对应起来，然后将feature map和固定的feature对应起来；
步骤26：将经过Pyramid ROIAlign的ROI输入FPN_Classifier网络，得到每个ROI的分类和BB回归结果；
步骤27：将经过Pyramid ROIAlign的ROI以及每个ROI的分类和BB回归结果输入色彩预测网络，得到颜色分类结果；
步骤28：将颜色分类的结果与目标检测的结果合并，得到最终的目标检测和颜色分类结果，计算目标检测和颜色分类的损失函数，使用反向传播算法更新网络参数，重复执行步骤S21-S28，直到达到预定的训练轮数或收敛。
步骤3：将有标记图像的检测框作为正样本，在部分图像上随机画框作为负样本，构建一个包含正负样本的数据集，训练一个半监督预测监视网络，见图4，输入为ROI的特征表示和ROI的类别，输出为该ROI是否为可靠的伪标签，判别伪标签是否准确。其具体实现步骤如下：
步骤31：将有标记图像的检测框作为正样本，在未标记图像上随机画框作为负样本，构建一个包含正负样本的数据集；
步骤32：对半监督预测监视网络进行训练，使用正样本和负样本数据集进行二分类，训练结束后，该网络可以对未标记图像生成的伪标签进行可靠性判断；
步骤33：通过半监督预测监视网络筛选出可靠的伪标签，加入有标记的数据集中重新训练Color-RCNN，不可靠的伪标签作为未标记数据集的一部分，继续进行半监督学习。
步骤4：用训练好的Color-RCNN模型预测剩余的未标记图像，实现颜色分类，生成伪标签，利用半监督预测监视网络对伪标签进行判别，将正确识别的检测框留下，过滤掉错误的检测框；
步骤5：筛选后的未标记图像和有标记图像结合起来，重新训练Color-RCNN模型，预测剩余的未标记图像，直至未标记图像全部获得可靠标签，实现半监督学习。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.基于半监督多任务检测的木地板颜色分类及缺陷检测方法，其特征在于，采集木地板图像利用基于灰度世界算法和完美反射算法结合的色彩矫正公式进行缺陷色彩校正；标记少量图像作为数据集输入基于Faster-RCNN改进的Color-RCNN模型进行训练，实现木地板的颜色分类和缺陷检测；将有标记图像中的检测框作为正样本，在未标记图像上随机画框作为负样本，训练基于卷积神经网络设计的半监督预测监视网络判别伪标签是否准确；用训练好的Color-RCNN模型预测剩余的未标记图像，实现颜色分类，生成伪标签，利用半监督预测监视网络对伪标签进行判别，将正确识别的检测框留下，过滤掉错误的检测框；将识别正确的图像加入数据集，重新输入Color-RCNN模型训练，预测剩余的未标记图像，直至未标记图像全部获得可靠标签，实现半监督学习。
2.根据权利要求1所述的基于半监督多任务检测的木地板颜色分类及缺陷检测方法，其特征在于，包括以下步骤：
S1：采集多种颜色并且有缺陷的木地板图像，标注少量木地板中的颜色类别以及框选缺陷位置作为有标记图像，剩余作为未标记图像，由于缺陷可能对木地板颜色识别造成影响，根据缺陷色彩校正公式矫正木地板颜色；
S2：利用有标记图像训练出一个Color-RCNN模型，实现木地板的颜色分类和缺陷检测；
S3：将有标记图像的检测框作为正样本，在部分图像上随机画框作为负样本，构建一个包含正负样本的数据集，训练一个半监督预测监视网络，见图4，输入为ROI的特征表示和ROI的类别，输出为该ROI是否为可靠的伪标签，判别伪标签是否准确；
S4：用训练好的Color-RCNN模型预测剩余的未标记图像，实现颜色分类，生成伪标签，利用半监督预测监视网络对伪标签进行判别，将正确识别的检测框留下，过滤掉错误的检测框；
S5：筛选后的未标记图像和有标记图像结合起来，重新训练Color-RCNN模型，预测剩余的未标记图像，直至未标记图像全部获得可靠标签，实现半监督学习。
3.根据权利要求2所述的基于半监督多任务检测的木地板颜色分类及缺陷检测方法，其特征在于，在所述步骤S1中，使用基于灰度世界和完美反射结合的色彩矫正器矫正木地板颜色，基于灰度世界算法和完美反射算法结合的色彩矫正公式，如下所示：
其中，Rcorr表示考虑了缺陷占比面积和分布情况的R通道校正值，Gcorr表示考虑了缺陷占比面积和分布情况的G通道校正值，Bcorr表示考虑了缺陷占比面积和分布情况的B通道校正值，Ravg表示R通道平均值，Gavg表示G通道平均值，Bavg表示B通道平均值，Rmax表示R通道最大值，Gmax表示G通道最大值，Bmax表示B通道最大值，G(f)表示核函数g(x)的傅里叶变换，g(x)表示描述缺陷占比面积的分布情况的高斯核函数，f表示频率，A表示木地板中多有缺陷占比面积的总和，x表示单个缺陷占比面积，将傅里叶变换和反变换的过程进行展开，可以得到：
接着，可以将指数项进行合并，得到：
最后，可以将x从积分中提出来，得到：
其中，表示核函数在频域中的值，可以通过傅里叶反变换得到。当缺陷占比面积分布更加均匀时，/>的值会更加集中在低频部分，反之则会更加分散在高频部分。因此，/>的值可以用来表示缺陷占比面积分布对颜色的影响程度，在色彩校正公式中，将/>与x进行卷积或积分，就可以得到考虑缺陷占比面积分布影响后的色彩校正值。
4.根据权利要求2所述的基于半监督多任务检测的木地板颜色分类及缺陷检测方法，其特征在于，所述步骤S2中，一个基于Faster-RCNN改进的Color-RCNN模型，利用一个色彩预测网络用于颜色分类，该网络包括卷积层和全连接层，输入为经过PyramidROIAlign输出的缺陷区域的ROI(感兴趣区域)以及FPN_Classifier网络的输出结果，输出为颜色分类结果，将FPN_Classifier网络与色彩预测网络级联，再将FPN_Classifier网络输出的ROI的分类和BB回归结果输入色彩预测网络，使其可以同时进行目标检测和颜色分类。
5.根据权利要求2所述的基于半监督多任务检测的木地板颜色分类及缺陷检测方法，其特征在于，所述步骤S2包括以下步骤：
S21：首先将有标记图像输入，进行数据预处理；
S22：将处理好的图像传入ResNet-101+FPN中，获得相应的feature map，并提取颜色分类器的输入特征；
S23：通过feature map中的每一点设定ROI，获得多个ROI候选框；
S24：对这些多个ROI候选框送到RPN中进行二值分类(前景或后景)和BB回归(Bounding-box regression)，过滤掉一部分候选的ROI；
S25：对剩下的ROI进行ROIAlign操作，采用双线性插值将每个ROI精确地转换为相同的大小，先将原图和feature map的pixel对应起来，然后将feature map和固定的feature对应起来；
S26：将经过Pyramid ROIAlign的ROI输入FPN_Classifier网络，得到每个ROI的分类和BB回归结果；
S27：将经过Pyramid ROI Align的ROI以及每个ROI的分类和BB回归结果输入色彩预测网络，得到颜色分类结果；
S28：将颜色分类的结果与目标检测的结果合并，得到最终的目标检测和颜色分类结果，计算目标检测和颜色分类的损失函数，使用反向传播算法更新网络参数，重复执行步骤S21-S28，直到达到预定的训练轮数或收敛。
6.根据权利要求2所述的基于半监督多任务检测的木地板颜色分类及缺陷检测方法，其特征在于，所述步骤S3包括以下步骤：
S31：将有标记图像的检测框作为正样本，在未标记图像上随机画框作为负样本，构建一个包含正负样本的数据集；
S32：对半监督预测监视网络进行训练，使用正样本和负样本数据集进行二分类，训练结束后，该网络可以对未标记图像生成的伪标签进行可靠性判断；
S33：通过半监督预测监视网络筛选出可靠的伪标签，加入有标记的数据集中重新训练Color-RCNN，不可靠的伪标签作为未标记数据集的一部分，继续进行半监督学习。
7.根据权利要求2所述的基于半监督多任务检测的木地板颜色分类及缺陷检测方法，其特征在于，所述的半监督预测监视网络其结构包括卷积层、池化层和全连接层，其中卷积层1使用32个3x3的卷积核，步长为1，采用ReLU激活函数，输入图像数据，提取图像特征，池化层1使用2x2的最大池化核，步长为2，进行下采样，减小特征图尺寸；卷积层2将池化层1的结果作为输入，提取更高级别的特征，卷积层2使用64个3x3的卷积核，步长为1，采用ReLU激活函数，池化层2使用2x2的最大池化核，步长为2，进行下采样，减小特征图尺寸；卷积层3将池化层2的结果作为输入，继续提取高级别特征，卷积层3使用128个3x3的卷积核，步长为1，采用ReLU激活函数，池化层3使用2x2的最大池化核，步长为2，进行下采样，减小特征图尺寸；经过一个全连接层1，将特征图展开成一维向量，进行全连接操作，共有256个神经元，采用ReLU激活函数；经过一个Dropout层，随机丢弃50％的神经元，减少过拟合；最后经过一个全连接层2，作为输出层，采用Sigmoid激活函数，对伪标签进行二分类，输出为0代表错误的伪标签，输出为1代表正确的伪标签。
CN202310578316.8A 2023-05-22 2023-05-22 基于半监督多任务检测的木地板颜色分类及缺陷检测方法 Pending CN116596891A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310578316.8A CN116596891A (zh) 2023-05-22 2023-05-22 基于半监督多任务检测的木地板颜色分类及缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310578316.8A CN116596891A (zh) 2023-05-22 2023-05-22 基于半监督多任务检测的木地板颜色分类及缺陷检测方法

Publications (1)

Publication Number Publication Date
CN116596891A true CN116596891A (zh) 2023-08-15

Family

ID=87605902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310578316.8A Pending CN116596891A (zh) 2023-05-22 2023-05-22 基于半监督多任务检测的木地板颜色分类及缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116596891A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115568A (zh) * 2023-10-24 2023-11-24 浙江啄云智能科技有限公司 数据筛选方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899254A (zh) * 2020-08-12 2020-11-06 华中科技大学 基于半监督学习自动标注工业产品外观缺陷图像的方法
CN112164040A (zh) * 2020-09-17 2021-01-01 杭州电子科技大学 基于半监督深度学习算法的钢铁表面缺陷识别方法
WO2022053001A1 (zh) * 2020-09-10 2022-03-17 上海航天精密机械研究所 焊缝内部缺陷智能检测装置、方法及介质
CN114511567A (zh) * 2022-04-20 2022-05-17 天中依脉(天津)智能科技有限公司 舌体与舌苔图像识别分离方法
CN114693597A (zh) * 2022-02-17 2022-07-01 国网浙江省电力有限公司绍兴供电公司 一种基于半监督学习的电力设备缺陷检测方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899254A (zh) * 2020-08-12 2020-11-06 华中科技大学 基于半监督学习自动标注工业产品外观缺陷图像的方法
WO2022053001A1 (zh) * 2020-09-10 2022-03-17 上海航天精密机械研究所 焊缝内部缺陷智能检测装置、方法及介质
CN112164040A (zh) * 2020-09-17 2021-01-01 杭州电子科技大学 基于半监督深度学习算法的钢铁表面缺陷识别方法
CN114693597A (zh) * 2022-02-17 2022-07-01 国网浙江省电力有限公司绍兴供电公司 一种基于半监督学习的电力设备缺陷检测方法及设备
CN114511567A (zh) * 2022-04-20 2022-05-17 天中依脉(天津)智能科技有限公司 舌体与舌苔图像识别分离方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI, Z., ET AL.: "Robust white balance estimation using joint attention and angular loss optimization", INTERNATIONAL CONFERENCE ON MACHINE VISION, 4 January 2021 (2021-01-04), pages 1 - 6, XP060137391, DOI: 10.1117/12.2586930 *
刘齐;黄晓阳;王博亮;王彦晖;: "自然环境下舌诊图像偏色检测及其颜色校正方法", 厦门大学学报(自然科学版), no. 02, pages 136 - 142 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115568A (zh) * 2023-10-24 2023-11-24 浙江啄云智能科技有限公司 数据筛选方法、装置、设备及存储介质
CN117115568B (zh) * 2023-10-24 2024-01-16 浙江啄云智能科技有限公司 数据筛选方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Waghmare et al. Detection and classification of diseases of grape plant using opposite colour local binary pattern feature and machine learning for automated decision support system
CN108875624B (zh) 基于多尺度的级联稠密连接神经网络的人脸检测方法
CN106845510B (zh) 基于深度层级特征融合的中国传统视觉文化符号识别方法
US7983486B2 (en) Method and apparatus for automatic image categorization using image texture
WO2018052587A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN113076994B (zh) 一种开集域自适应图像分类方法及系统
CN112560831A (zh) 一种基于多尺度空间校正的行人属性识别方法
CN110929099B (zh) 一种基于多任务学习的短视频帧语义提取方法及系统
CN112464983A (zh) 一种用于苹果树叶病害图像分类的小样本学习方法
CN106570503A (zh) 识别车身颜色的方法和系统
Saidane et al. Robust binarization for video text recognition
CN116596891A (zh) 基于半监督多任务检测的木地板颜色分类及缺陷检测方法
CN116563410A (zh) 基于两级生成对抗网络的电气设备电火花图像生成方法
CN113807237B (zh) 活体检测模型的训练、活体检测方法、计算机设备及介质
CN113537173B (zh) 一种基于面部补丁映射的人脸图像真伪识别方法
Yang et al. Fabric defect classification using wavelet frames and minimum classification error training
Singh et al. Performance analysis of ELA-CNN model for image forgery detection
CN116704526A (zh) 工尺谱扫描机器人及其方法
Dewan et al. Fish detection and classification
CN115100509A (zh) 基于多分支块级注意力增强网络的图像识别方法及系统
CN111754459B (zh) 基于统计深度特征的染色伪造图像检测方法及电子装置
CN114419529A (zh) 一种基于分布空间对齐的跨模态行人再识别方法及系统
CN115983986B (zh) 一种针对视频面审人像的衣着暴露等级识别方法
CN117746079B (zh) 一种高光谱图像的聚类预测方法、系统、存储介质及设备
CN112784891A (zh) 人工神经网络的番茄病状情况分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination