CN116612120A - 一种针对数据不平衡的两阶段式道路缺陷检测方法 - Google Patents

一种针对数据不平衡的两阶段式道路缺陷检测方法 Download PDF

Info

Publication number
CN116612120A
CN116612120A CN202310889965.XA CN202310889965A CN116612120A CN 116612120 A CN116612120 A CN 116612120A CN 202310889965 A CN202310889965 A CN 202310889965A CN 116612120 A CN116612120 A CN 116612120A
Authority
CN
China
Prior art keywords
detection
classification
model
defect
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310889965.XA
Other languages
English (en)
Other versions
CN116612120B (zh
Inventor
徐传昶
李庆营
李英勇
曲建波
李明月
李隆吉
李辉
赵世晨
刘境奇
张彤晖
管灵通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Transportation Service Center
Shandong Hi Speed Engineering Inspection and Testing Co Ltd
Original Assignee
Shandong Transportation Service Center
Shandong Hi Speed Engineering Inspection and Testing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Transportation Service Center, Shandong Hi Speed Engineering Inspection and Testing Co Ltd filed Critical Shandong Transportation Service Center
Priority to CN202310889965.XA priority Critical patent/CN116612120B/zh
Publication of CN116612120A publication Critical patent/CN116612120A/zh
Application granted granted Critical
Publication of CN116612120B publication Critical patent/CN116612120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于道路自动检测领域，本发明提出一种针对数据不平衡的两阶段式道路缺陷检测方法，采集道路原始图像数据，获得道路原始图像数据集，对其存在道路缺陷的区域进行人工标注，分别建立检测模型和分类模型，并进行训练；将实时道路图像输入训练后的检测模型和分类模型中，输出缺陷的位置信息与类别信息，将所述缺陷的位置信息和缺陷类别信息融合，获得道路缺陷的实时检测结果。本申请将一段式模型拆成两段式，完全解耦，支持独立调优。为了消弭解耦后分类网络训练和推理过程中输入图像的差异，引入了半监督训练。本申请引入focal loss进一步提升数据不平衡下的模型性能。

Description

一种针对数据不平衡的两阶段式道路缺陷检测方法
技术领域
本发明属于道路自动检测领域，一种针对数据不平衡的两阶段式道路缺陷检测方法。
背景技术
目前的目标检测模型没有针对收集到的数据情况设计模型，在数据收集时，由于各类别缺陷数量差异较大，导致数据分布不均匀，基于样本不平衡的数据集进行模型训练时，会使学习到的模型具有很大的局限性，模型的输出偏向于比例大的样本，影响检测效果。为解决上述问题，提出一种针对数据不平衡的两阶段式道路缺陷检测方法，在保证检测速度的同时有效解决了现有路面缺陷数据不平衡带来的问题，使模型输出更加均衡，提升模型检测精度。
现有技术中，CN202210608746.5基于卷积神经网络的道路病害检测方法及系统，基于生成对抗网络的阴影去除模块去除待检测道路病害图像的阴影，然后将去除阴影后的图像和目标检测模型检测得到道路病害类型。用到的目标检测模型是基于Yolov5模型进行改进，分别在通道和空间维度上执行注意力机制，提取得到不同维度的特征图，基于特征双向融合的思想，采用自适应特征融合方法对不同维度的特征图进行加权融合得到融合的特征图。解决了传统道路病害检测方案存在的弊病，并且在检测精度上有着显著提升。但仍旧是传统的单阶段检测算法，检测不准确。
现有技术，CN202210793236.X基于半监督模型的道路裂痕检测方法、系统及介质，采集道路裂痕数据集，并划分为训练集和测试集，构建半监督检测模型，包括教师模型和学生模型，使用训练集对教师模型进行训练并优化损失函数，生成训练集中无标签数据的伪标签，得到伪标签数据集；将伪标签数据集输入学生模型中进行训练，计算得到损失函数，得到训练好的半监督检测模型，使用训练好的半监督检测模型，得到道路裂痕检测结果；仍旧是传统的单阶段检测算法，检测不准确。
综上，现有技术中道路缺陷检测方法通常使用单阶段检测算法或两阶段检测算法，在直接收集到的缺陷数据集上直接进行训练，缺少针对数据集的特点设计模型，导致检测精度较低。
发明内容
本发明提出的检测方法，使用Focal Loss损失函数计算各样本损失值，FocalLoss能够动态地给数量少的样本分配更多权重，在不增加网络模型参数量的情况下，有效改善数据不平衡问题，提高模型检测精度，解决现有技术中检测精度比较差的问题。
相比于单阶段检测算法和传统的两阶段检测算法，本发明提出的一种针对数据不平衡的两阶段式道路缺陷检测方法，将检测和分类模型解耦开来，对其中一个模型进行优化和参数调整时，不会对另一个模型造成影响，方便对单个模型进行调整和优化。
本发明技术方案为：
一种针对数据不平衡的两阶段式道路缺陷检测方法，包括以下步骤：
步骤一：采集道路原始图像数据，获得道路原始图像数据集，对道路原始图像数据集中存在道路缺陷的区域进行人工标注，获得标注数据区域，标注数据区域包括标注框和真实标签信息，真实标签信息包括真实缺陷类别（横向裂缝、纵向裂缝、龟裂、块裂、修补和坑槽）和真实缺陷位置信息，获得带有真实标签信息的图像数据，将所有带有真实标签信息的图像数据建立为检测数据集，将检测数据集按比例分为检测训练数据集S1、检测测试数据集S2和检测验证数据集S3；
步骤二：建立检测模型，基于检测训练数据集S1训练检测模型，基于检测验证数据集S3调整网络参数并对检测模型进行评估，基于评价指标得到训练好的检测模型；用训练好的检测模型对检测测试数据集S2进行缺陷检测，获取带有预测位置信息的缺陷数据，带有预测位置信息的缺陷数据组成伪标签分类数据集P；
步骤三：建立分类模型，裁剪检测数据集中每个样本数据的标注数据区域，裁剪后的标注数据区域组成真实标签分类数据集T，将真实标签分类数据集T分为分类训练数据集T1和分类验证数据集T2，采用半监督的训练方式，基于分类损失值通过反向传播更新分类模型的网络参数，获得训练好的分类模型；
步骤四：采集实时道路图像，将实时道路图像输入训练后的检测模型和分类模型中，输出缺陷的位置信息与缺陷类别信息，将所述缺陷的位置信息和缺陷类别信息融合，获得道路缺陷的实时检测结果。
步骤二具体包括以下步骤：
S201，根据缺陷检测的具体任务设置检测模型中的缺陷类别个数、检测模型网络参数和检测模型损失函数，设定初始学习率和优化器，其中检测模型设置的类别数为2，分别为0和1，0和1分别表示无缺陷和缺陷；
检测模型网络参数为神经网络中的权重，基于检测训练数据集S1训练检测模型；
S202，将检测训练数据集S1输入到检测模型对模型进行训练，输出检测训练数据集S1的图像数据的缺陷预测结果，所述缺陷预测结果包括预测的缺陷类别（0或者1）和缺陷的位置信息，在训练过程中，遍历检测训练数据集S1中的图像数据，得到检测模型的缺陷类别预测结果，根据缺陷类别预测结果和真实标签信息（步骤一中人工标注的真实缺陷类别和真实缺陷位置信息）计算检测模型损失值，通过反向传播更新检测模型的网络参数，直至检测模型损失值在损失值阈值范围内，则检测模型收敛，得到损失最小的检测模型；
S203，基于检测验证数据集S3调整网络参数进行评估，若评价指标满足要求，得到训练好的检测模型；
S204，所述检测模型只对检测数据集中的图像数据中是否存在缺陷进行判断，若存在缺陷，则输出缺陷的位置信息，检测模型训练后，用训练后的检测模型对检测测试数据集S2进行缺陷检测，获取带有预测位置信息的缺陷数据，带有预测位置信息的缺陷数据组成伪标签分类数据集P。
检测模型的评价指标包括准确率P1（Precision）、召回率R1（Recall）和全类平均精度均值Av1（mean Average Precision）；
检测模型采用yolov5模型，yolov5模型中随着卷积层的不断加深，感受野也在增大，感受野是卷积神经网络每一层输出的特征图上的像素点在输入图像上映射区域大小。图像数据经过卷积操作被划分成M*M（包括80*80、40*40、20*20）的网格，网格的每个格子都预测三个指标，三个指标分别是二分类概率、检测框和置信度；其中二分类概率表示缺陷类别的概率，检测框表示缺陷的位置信息，缺陷的位置信息指检测框的中心点坐标以及长宽，置信度表示检测框中存在缺陷的概率；判断每个检测框的置信度是否超过设定的阈值，若超过检测框的设定阈值则所述检测框内存在目标，得到缺陷的预测位置。根据非极大抑制算法对存在目标的预测框进行筛选，剔除对应同一目标的重复检测框，Yolov5中采用DIoUNMS方式剔除重复矩形框。根据筛选后的检测框的分类概率，得到缺陷的类别。
二分类概率、检测框和置信度的预测值与对应真实值之间的差距通过对应的损失函数计算，二分类概率、检测框、置信度的损失函数分别为二分类损失、定位损失和置信度损失；
置信度损失和二分类损失都使用交叉熵损失（Cross Entropy Loss）计算，交叉熵损失（Cross Entropy Loss）计算公式为公式（1）：
（1）
表示交叉熵损失，/>为样本数，/>，/>为总的缺陷类别数， />=2；/>为符号函数，若第/>个样本的真实类别等于/>，则取 1，否则取 0；/>为第/>个样本属于类别/>的预测概率；
定位损失使用GIou_Loss作为检测框的损失函数，检测框的损失函数为公式（2）：
；
（2）
其中，IOU表示检测框与标注框之间偏差大小；A为检测框的面积，A表示检测模型预测的矩形框的面积；B为标注框的面积，表示人工标注的矩形框的面积；为检测框和标注框的交集，/>为检测框与标注框的并集，C为检测框和标注框的最小外接矩形面积。
步骤三具体包括以下步骤：
S301，真实标签分类数据集T和伪标签分类数据集P用于分类模型的训练，分类模型为神经网络模型，分类模型的设置量包括分类模型缺陷类别个数、分类模型网络参数、分类模型损失函数、分类模型初始学习率和分类模型优化器；分类模型缺陷类别指道路的具体缺陷类别，分类模型损失函数采用分类损失，分类模型损失函数采用Focal Loss函数，分类模型损失函数用来计算预测缺陷分类与真实缺陷分类之间的差距；分类模型网络参数为分类网络的初始权重；分类模型的全链接层的输出经过Softmax函数，得到每个缺陷类别对应的预测概率值，所述预测概率值组成缺陷类别的预测概率向量，/>；
S302，分类模型训练的输入为分类训练数据集T1和伪标签分类数据集P中的样本数据，输出为样本数据中包含的分类模型缺陷类别；
在训练分类模型的过程中，采用半监督的训练方法（有监督+无监督），其中有监督训练部分的输入为分类训练数据集T1中的样本数据，对分类训练数据集T1进行数据增广操作，获得增广数据，将增广数据/>输入到分类模型中得到预测结果H1，根据分类模型的预测结果H1与对应的人工标注的真实缺陷类别，基于Focal Loss损失函数得到真实标签损失/>；
S303，无监督训练部分的输入为伪标签分类数据集P中的样本数据，对伪标签分类数据集P进行第一次数据增广操作，获得伪标签增广数据；对伪标签分类数据集P进行第二次数据增广操作，得到伪标签增广数据/>，其中第一次数据增广操作和第二次数据增广操作的增广参数不同。伪标签增广数据/>输入到分类模型中得到预测结果/>,将预测结果作为预测结果/>的真实缺陷类别，伪标签增广数据/>输入到分类模型中得到预测结果，根据分类模型的预测结果/>与对应的真实缺陷类别/>计算分类损失/>。
根据分类损失和分类损失/>之和/>来更新分类模型的网络参数，直至分类模型的损失值恒定，则分类模型收敛，得到损失最小的分类模型；
S304，基于真实标签损失与伪标签损失/>之和/>更新所述损失最小的分类模，/>；衡量模型预测结果与真实结果的差异，通过最小化，所述损失最小的分类模型进行参数学习，提高预测的准确性。基于分类损失值/>通过反向传播去更新分类模型的网络参数，获得更新过的分类模型；
S305，分类验证数据集T2用于对更新过的分类模型的能力进行评估，若更新过的分类模型的评价指标满足要求，得到训练好的分类模型。
分类模型的评价指标包括准确率P2（Precision）、召回率R2（Recall）、全类平均精度均值Av2（mean Average Precision）。分类模型的作用是识别图像数据中包含的具体的缺陷类别。
真实缺陷类别包括横向裂缝、纵向裂缝、龟裂、块裂、修补和坑槽；
分类模型缺陷类别包括横向裂缝、纵向裂缝、龟裂、块裂、修补和坑槽。
Focal Loss损失函数解决样本分布不均衡的问题，使用Focal Loss损失函数计算各样本损失，所述各样本指分类测试集T1，伪标签分类数据集P，Focal Loss损失函数公式为式（3）：
（3）
式中：表示Focal Loss损失函数值；/>为样本数据中真实缺陷类别的onehot向量；/>为缺陷类别的预测概率向量；/>表示第/>个类别的预测概率值；/>为分类模型缺的陷类别数量；/>表示真实缺陷类别，当第/>类别时取1，其它类别取0；/>（）表示第/>类别的权重因子，用来均匀协调不同类别样本之间损失的权重；/>表示样本难度权重调度因子，通过交叉验证获得，用于平衡难易样本的权重。
将分类训练数据集T1的样本数据中真实缺陷类别（步骤一人工标注）的onehot向量赋值为，/>，将分类模型的最后一层神经网络（全链接层）的输出经过Softmax函数后，得到每个缺陷类别对应的预测概率值，/>个类别概率值组成类别向量，将类别向量赋值为/>，/>，将/>，/>输入到公式（3），获得Focal Loss损失。
计算公式为式（4）：
（4）
其中为分类模型缺陷类别数量，/>为训练集样本中第/>类缺陷类别的样本数量，/>为第/>类缺陷类别的样本数量；公式（4）中，/>。
各类别的权重因子与真实标签分类训练集T的样本数量呈负相关关系，对于监督训练部分（监督训练指使用人工标注的图像数据训练分类模型，无监督训练指使用检测模型的输出作为分类模型的输入训练分类模型。监督训练加无监督训练即为半监督训练，为了消弭解耦后分类网络训练和推理过程中输入图像的差异，引入了半监督训练），基于各个样本的真实标签对样本损失赋予对应的权重；对于半监督训练部分，基于各个样本生成的伪标签对样本损失赋予对应的权重。通过式（4）可知，通过调整/>的取值，对样本量多的类别赋予较小的权重，对于样本量少的类别赋予较大的权重避免模型输出总是偏向于数量多的类别，以达到更精准计算预测框、解决数据类别分布不均衡导致模型检测效果不好的问题。
相对于现有技术，本发明具有如下有益效果：
1.本申请公开一种针对数据不平衡的两阶段式道路缺陷检测方法，本申请为了解决数据不平衡的带来的部分类别识别精度不高的问题，本申请将一段式模型拆成两段式，完全解耦，缺陷识别精度高下，同时支持独立调优；为了消弭解耦后分类网络训练和推理过程中输入图像的差异，引入了半监督训练，本申请引入focal loss进一步提升数据不平衡下的模型性能，道路缺陷检测精度高。
本申请在分类模型训练阶段，使用Focal Loss损失函数计算各个样本的损失，对于监督训练部分，基于各个样本的真实标签对样本损失赋予对应的权重；对于半监督训练部分，基于各个样本生成的伪标签对样本损失赋予对应的权重，然后基于真实标签损失与伪标签损失之和更新道路缺陷分类模型。
2.本申请两阶段式道路缺陷识别框架，包括一个检测模型，用来检测输入图像是否存在缺陷，以及一个道路缺陷分类模型，识别缺陷的具体类别，检测模型的输出作为分类模型的输入。
3.本申请解决了数据不平衡带来的问题，使模型的输出更加均衡，缺陷识别率更高。
4.本申请采用两阶段式的道路缺陷检测框架，先使用检测模型检测出道路图像中缺陷的位置，再用分类模型识别缺陷类型，两个模型的参数不共享，在对其中一个模型进行优化和参数调整时，不会对另一个模型造成影响，方便对单个任务模型进行调整和优化。
5.本申请基于监督学习的卷积神经网络模型在训练过程中仅使用标签数据，需要耗费大量人力对其进行人工标注才能获得标签数据，在一些大规模检测任务中是不现实的。而半监督学习能够将有标签数据和无标签数据都用于模型训练，利用了标签数据的强监督信息的同时，还可以利用无标签数据来挖掘更多有用的额外信息。因此，半监督学习能够通过引入无标签数据的方式来提高模型的泛化能力，并且能够有效减少标签数据的使用，从而大幅降低数据标注的成本。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1本本实施例一种针对数据不平衡的两阶段式道路缺陷检测方法流程图；
图2，本实施例道路缺陷分类模型训练流程图。
具体实施方式
下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。
本发明的核心思想是根据眼底图像的自身特点，设计合适算法进行图像预处理增强，然后基于信息迁移眼底图像分割网络进行视网膜血管分割，最后使用结合有序分类的神经网络进行智能分析预测，以达到眼底图像的智能分析的目的。
如图1所示，一种针对数据不平衡的两阶段式道路缺陷检测方法，包括以下步骤：
步骤一：采集道路原始图像数据，获得道路原始图像数据集，对道路原始图像数据集中存在道路缺陷的区域进行人工标注，获得标注数据区域，标注数据区域包括标注框和真实标签信息，真实标签信息包括真实缺陷类别（横向裂缝、纵向裂缝、龟裂、块裂、修补和坑槽）和真实缺陷位置信息，获得带有真实标签信息的图像数据，将所有带有真实标签信息的图像数据建立为检测数据集，将检测数据集按比例分为检测训练数据集S1、检测测试数据集S2和检测验证数据集S3；
步骤二：建立检测模型，基于检测训练数据集S1训练检测模型，基于检测验证数据集S3调整网络参数并对检测模型进行评估，基于评价指标得到训练好的检测模型；用训练好的检测模型对检测测试数据集S2进行缺陷检测，获取带有预测位置信息的缺陷数据，带有预测位置信息的缺陷数据组成伪标签分类数据集P；
步骤三：建立分类模型，裁剪检测数据集中每个样本数据的标注数据区域，裁剪后的标注数据区域组成真实标签分类数据集T，将真实标签分类数据集T分为分类训练数据集T1和分类验证数据集T2，采用半监督的训练方式，基于分类损失值通过反向传播更新分类模型的网络参数，获得评估更新过的分类模型；评估更新过的分类模型，得到训练好的分类模型；
步骤四：采集实时道路图像，将实时道路图像输入训练后的检测模型和分类模型中，输出缺陷的位置信息与类别信息，将所述缺陷的位置信息和缺陷类别信息融合，获得道路缺陷的实时检测结果。
步骤二具体包括以下步骤：
S201，根据缺陷检测的具体任务设置检测模型中检测模型类别个数、检测模型网络参数和检测模型损失函数，设定初始学习率和优化器（本实施例优化器选择随机梯度下降法（Stochastic Gradient Descent，SGD），其中检测模型设置的类别数为2，分别为0和1，0和1分别表示无缺陷和缺陷；
检测模型网络参数为神经网络中的权重，基于检测训练数据集S1训练检测模型；
S202，检测模型训练过程的输入为检测训练数据集S1，输出为检测训练数据集S1的图像数据的缺陷预测结果，缺陷预测结果包括预测的缺陷类别（0或者1）和缺陷的位置信息，在训练过程中，遍历检测训练数据集S1中的图像数据，得到检测模型的缺陷类别预测结果，根据缺陷类别预测结果和真实标签信息（步骤一中人工标注的真实缺陷类别和真实缺陷位置信息）计算检测模型损失值，通过反向传播更新检测模型的网络参数，直至检测模型损失值在损失值阈值范围内，则检测模型收敛，得到损失最小的检测模型；
S203，基于检测验证数据集S3调整网络参数进行评估，若评价指标满足要求，得到训练好的检测模型；
检测模型的评价指标包括准确率P1（Precision）、召回率R1（Recall）和全类平均精度均值Av1（mean Average Precision）；
S204，所述检测模型只对检测数据集中的图像数据中是否存在缺陷进行判断，若存在缺陷，则输出缺陷的位置信息，检测模型训练后，用训练后的检测模型对检测测试数据集S2进行缺陷检测，获取带有预测位置信息的缺陷数据，带有预测位置信息的缺陷数据组成伪标签分类数据集P。
检测模型采用yolov5模型，yolov5模型中随着卷积层的不断加深，感受野也在增大，感受野是卷积神经网络每一层输出的特征图上的像素点在输入图像上映射区域大小。图像数据经过卷积操作被划分成M*M（包括80*80、40*40、20*20）的网格，网格的每个格子都预测三个指标，三个指标分别是二分类概率、检测框和置信度。其中二分类概率表示缺陷类别的概率，检测框表示缺陷的位置信息，缺陷的位置信息指检测框的中心点坐标以及长宽，置信度表示检测框中存在缺陷的概率；判断每个检测框的置信度是否超过设定的阈值，若超过检测框的设定阈值则所述检测框内存在目标，得到目标（缺陷）的预测位置。根据非极大抑制算法对存在目标的预测框进行筛选，剔除对应同一目标的重复检测框，Yolov5中采用DIoU NMS方式剔除重复矩形框。根据筛选后的检测框的分类概率，得到缺陷的类别。
二分类概率、检测框和置信度的预测值与对应真实值之间的差距通过对应的损失函数计算，二分类概率、检测框、置信度的损失函数分别为二分类损失、定位损失和置信度损失；
置信度损失和二分类损失都使用交叉熵损失（Cross Entropy Loss）计算，交叉熵损失（Cross Entropy Loss）计算公式为公式（1）：
（1）
为样本数，/>，/>为总的缺陷类别数， />=2；/>为符号函数，若第/>个样本的真实类别等于/>，则取 1，否则取 0；/>为第/>个样本属于类别/>的预测概率。
定位损失使用GIou_Loss作为检测框的损失函数，检测框的损失函数为公式（2）：
；
（2）
其中，IOU表示检测框与标注框之间偏差大小；A为检测框的面积，即检测模型预测的矩形框的面积；B为标注框的面积，即人工标注的矩形框的面积；为检测框和标注框的交集，/>为检测框与标注框的并集，C为检测框和标注框的最小外接矩形面积。
如图2所示，步骤三具体包括以下步骤：
S301，真实标签分类数据集T和伪标签分类数据集P用于分类模型的训练，分类模型为神经网络模型，分类模型的设置量包括分类模型缺陷类别个数、分类模型网络参数、分类模型损失函数、分类模型初始学习率和分类模型优化器；分类模型缺陷类别指道路的具体缺陷类别，分类模型缺陷类别包括横向裂缝、纵向裂缝、龟裂、块裂、修补和坑槽，本实施例/>=6。分类模型损失函数采用分类损失，分类模型损失函数采用Focal Loss函数，分类模型损失函数用来计算预测缺陷分类与真实缺陷分类之间的差距；分类模型网络参数为分类网络的初始权重；分类模型的全链接层的输出经过Softmax函数，得到每个缺陷类别对应的预测概率值，所述预测概率值组成缺陷类别的预测概率向量/>，/>；
S302，分类模型训练的输入为分类训练数据集T1和伪标签分类数据集P中的样本数据，输出为样本数据中包含的分类模型缺陷类别；
在训练分类模型的过程中，采用半监督的训练方法（有监督+无监督），其中有监督训练部分的输入为分类训练数据集T1中的样本数据，得到分类模型有监督训练部分的预测结果H1；根据分类模型的预测结H1与对应的人工标注的真实缺陷类别，基于Focal Loss损失函数得到真实标签损失；
在训练分类模型的过程中，采用半监督的训练方法（有监督+无监督），其中有监督训练部分的输入为分类训练数据集T1中的样本数据，对分类训练数据集T1进行数据增广操作，获得增广数据，将增广数/>据输入到分类模型中得到预测结果H1，根据分类模型的预测结果H1与对应的人工标注的真实缺陷类别，基于Focal Loss损失函数得到真实标签损失/>；
S303，无监督训练部分的输入为伪标签分类数据集P中的样本数据，对伪标签分类数据集P进行第一次数据增广操作，获得伪标签增广数据；对伪标签分类数据集P进行第二次数据增广操作，得到伪标签增广数据/>，其中第一次数据增广操作和第二次数据增广操作的增广参数不同。伪标签增广数据/>输入到分类模型中得到预测结果/>，将预测结果作为预测结果/>的真实缺陷类别，伪标签增广数据/>输入到分类模型中得到预测结果，根据分类模型的预测结果/>与对应的真实缺陷类别/>计算分类损失/>。
根据分类损失和分类损失/>之和/>来更新分类模型的网络参数，直至分类模型的损失值恒定，则分类模型收敛，得到损失最小的分类模型。
S304，基于真实标签损失与伪标签损失/>之和/>更新分类模型,；衡量模型预测结果与真实结果的差异，通过最小化/>，分类模型进行参数学习，提高预测的准确性。基于分类损失值/>通过反向传播去更新分类模型的网络参数，获得更新过的分类模型；
S305，分类验证数据集T2用于对更新过的分类模型的能力进行评估，若更新过的分类模型的评价指标满足要求，得到训练好的分类模型，分类模型的评价指标包括准确率P2（Precision）、召回率R2（Recall）、全类平均精度均值Av2（mean Average Precision）。分类模型的作用是识别图像数据中包含的具体的缺陷类别。
Focal Loss损失函数解决样本分布不均衡的问题，使用Focal Loss损失函数计算各样本损失，所述各样本指分类测试集T1，伪标签分类数据集P，Focal Loss损失函数公式为式（3）：
（3）
式中：表示Focal Loss损失函数值；/>为样本数据中真实缺陷类别的onehot向量；/>为缺陷类别的预测概率向量；/>表示第/>个类别的预测概率值；/>为分类模型缺的陷类别数量；/>表示真实缺陷类别，当第/>类别时取1，其它类别取0；/>（）表示第/>类别的权重因子，用来均匀协调不同类别样本之间损失的权重；/>表示样本难度权重调度因子，通过交叉验证获得，用于平衡难易样本的权重。
将分类训练数据集T1的样本数据中真实缺陷类别（步骤一人工标注）的onehot向量赋值为，/>,将分类模型的最后一层神经网络（全链接层）的输出经过Softmax函数后，得到每个缺陷类别对应的预测概率值，K个类别概率值组成类别向量，将类别向量赋值为/>，/>，将/>，/>输入到公式（3），获得FocalLoss损失。
计算公式为式（4）：
（4）
其中为分类模型缺陷类别数量，/>为训练集样本中第/>类缺陷类别的样本数量，/>为第/>类缺陷类别的样本数量；公式（4）中，/>；
本申请为了解决数据不平衡的带来的部分类别识别精度不高的问题，本申请将一段式模型拆成两段式，完全解耦，支持独立调优。为了消弭解耦后分类网络训练和推理过程中输入图像的差异，引入了半监督训练。本申请引入focal loss进一步提升数据不平衡下的模型性能。
各类别的权重因子与真实标签分类训练集T的样本数量呈负相关关系，对于监督训练部分（监督训练指使用人工标注的图像数据训练分类模型，无监督训练指使用检测模型的输出作为分类模型的输入训练分类模型。监督训练加无监督训练即为半监督训练，为了消弭解耦后分类网络训练和推理过程中输入图像的差异，引入了半监督训练），基于各个样本的真实标签对样本损失赋予对应的权重；对于半监督训练部分，基于各个样本生成的伪标签对样本损失赋予对应的权重。通过式（4）可知，通过调整/>的取值，对样本量多的类别赋予较小的权重，对于样本量少的类别赋予较大的权重避免模型输出总是偏向于数量多的类别，以达到更精准计算预测框、解决数据类别分布不均衡导致模型检测效果不好的问题。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组间可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组间组合成一个模块或单元或组间，以及此外可以把它们分成多个子模块或子单元或子组间。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的方法。
以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种针对数据不平衡的两阶段式道路缺陷检测方法，其特征在于，包括以下步骤：
步骤一：采集道路原始图像数据，获得道路原始图像数据集，对道路原始图像数据集中存在道路缺陷的区域进行人工标注，获得标注数据区域，标注数据区域包括标注框和真实标签信息，真实标签信息包括真实缺陷类别和真实缺陷位置信息，获得带有真实标签信息的图像数据，将所有带有真实标签信息的图像数据建立为检测数据集，将检测数据集按比例分为检测训练数据集S1、检测测试数据集S2和检测验证数据集S3；
步骤二：建立检测模型，基于检测训练数据集S1训练检测模型，基于检测验证数据集S3调整网络参数并对检测模型进行评估，基于评价指标得到训练好的检测模型；用训练好的检测模型对检测测试数据集S2进行缺陷检测，获取带有预测位置信息的缺陷数据，带有预测位置信息的缺陷数据组成伪标签分类数据集P；
步骤三：建立分类模型，裁剪检测数据集中每个样本数据的标注数据区域，裁剪后的标注数据区域组成真实标签分类数据集T，将真实标签分类数据集T分为分类训练数据集T1和分类验证数据集T2，采用半监督的训练方式，基于分类损失值通过反向传播更新分类模型的网络参数，获得训练好的分类模型；
步骤四：采集实时道路图像，将实时道路图像输入训练后的检测模型和分类模型中，输出缺陷的位置信息与类别信息，将所述缺陷的位置信息和缺陷类别信息融合，获得道路缺陷的实时检测结果。
2.根据权利要求1所述的一种针对数据不平衡的两阶段式道路缺陷检测方法，其特征在于，
步骤二具体包括以下步骤：
S201，根据缺陷检测的具体任务设置检测模型中的缺陷类别个数、检测模型网络参数和检测模型损失函数，设定初始学习率和优化器，其中检测模型设置的类别数为2，分别为0和1，0和1分别表示无缺陷和缺陷；
检测模型网络参数为神经网络中的权重，基于检测训练数据集S1训练检测模型；
S202，将检测训练数据集S1输入到检测模型对模型进行训练，输出检测训练数据集S1图像数据的缺陷预测结果，所述缺陷预测结果包括预测的缺陷类别和缺陷的位置信息，在训练过程中，遍历检测训练数据集S1中的图像数据，得到检测模型的缺陷类别预测结果，根据缺陷类别预测结果和真实标签信息计算检测模型损失值，通过反向传播更新检测模型的网络参数，直至检测模型损失值在损失值阈值范围内，则检测模型收敛，得到损失最小的检测模型；
S203，基于检测验证数据集S3调整网络参数进行评估，若评价指标满足要求，得到训练好的检测模型；
S204，所述检测模型只对检测数据集中的图像数据中是否存在缺陷进行判断，若存在缺陷，则输出缺陷的位置信息，检测模型训练后，用训练后的检测模型对检测测试数据集S2进行缺陷检测，获取带有预测位置信息的缺陷数据，带有预测位置信息的缺陷数据组成伪标签分类数据集P。
3.根据权利要求2所述的一种针对数据不平衡的两阶段式道路缺陷检测方法，其特征在于，
检测模型的评价指标包括准确率P1、召回率R1和全类平均精度均值Av1。
4.根据权利要求2所述的一种针对数据不平衡的两阶段式道路缺陷检测方法，其特征在于，
检测模型采用yolov5模型，图像数据经过卷积操作被划分成M*M的网格，网格的每个格子都预测三个指标，三个指标分别是二分类概率、检测框和置信度；其中二分类概率表示缺陷类别的概率，检测框表示缺陷的位置信息，缺陷的位置信息指检测框的中心点坐标以及长宽，置信度表示检测框中存在缺陷的概率；判断每个检测框的置信度是否超过设定的阈值，若超过检测框的设定阈值则所述检测框内存在缺陷，得到缺陷的预测位置；根据非极大抑制算法对存在缺陷的预测框进行筛选，剔除对应同一目标的重复检测框，根据筛选后的检测框的分类概率，得到缺陷的类别。
5.根据权利要求4所述的一种针对数据不平衡的两阶段式道路缺陷检测方法，其特征在于，
二分类概率、检测框和置信度的预测值与对应真实值之间的差距通过对应的损失函数计算，二分类概率、检测框、置信度的损失函数分别为二分类损失、定位损失和置信度损失；
置信度损失和二分类损失都使用交叉熵损失计算，交叉熵损失计算公式为公式（1）：
（1）
表示交叉熵损失，/>为样本数，/>，/>为总的缺陷类别数，/> =2；/>为符号函数，若第/>个样本的真实类别等于/>，则取 1，否则取 0；/>为第/>个样本属于类别/>的预测概率；
定位损失使用GIou_Loss作为检测框的损失函数，检测框的损失函数为公式（2）：
；
（2）
其中，表示GIou_Loss函数计算的损失值，IOU表示检测框与标注框之间偏差大小；A为检测框的面积，A表示检测模型预测的矩形框的面积；B为标志框的面积，表示人工标注的矩形框的面积；/>为检测框和标注框的交集，/>为检测框与标注框的并集，C为检测框和标注框的最小外接矩形面积。
6.根据权利要求4所述的一种针对数据不平衡的两阶段式道路缺陷检测方法，其特征在于，
步骤三具体包括以下步骤：
S301，真实标签分类数据集T和伪标签分类数据集P用于分类模型的训练，分类模型为神经网络模型，分类模型的设置量包括分类模型缺陷类别个数、分类模型网络参数、分类模型损失函数、分类模型初始学习率和分类模型优化器；分类模型缺陷类别指道路的具体缺陷类别，分类模型损失函数采用分类损失，分类模型损失函数采用Focal Loss函数，分类模型损失函数用来计算预测缺陷分类与真实缺陷分类之间的差距；分类模型网络参数为分类网络的初始权重；分类模型的全链接层的输出经过Softmax函数，得到每个缺陷类别对应的预测概率值，K个预测概率值组成缺陷类别的预测概率向量/>，/>；
S302，分类模型训练的输入为分类训练数据集T1和伪标签分类数据集P中的样本数据，输出为样本数据中包含的缺陷类别；
在训练分类模型的过程中，采用半监督的训练方法，其中有监督训练部分的输入为分类训练数据集T1中的样本数据，对分类训练数据集T1进行数据增广操作，获得增广数据，将增广数据/>输入到分类模型中得到预测结果H1，根据分类模型的预测结果H1与对应的人工标注的真实缺陷类别，基于Focal Loss损失函数得到真实标签损失/>；
S303，无监督训练部分的输入为伪标签分类数据集P中的样本数据，对伪标签分类数据集P进行第一次数据增广操作，获得伪标签增广数据；对伪标签分类数据集P进行第二次数据增广操作，得到伪标签增广数据/>，其中第一次数据增广操作和第二次数据增广操作的增广参数不同；伪标签增广数据/>输入到分类模型中得到预测结果/>，将预测结果/>作为预测结果/>的真实缺陷类别，伪标签增广数据/>输入到分类模型中得到预测结果，根据分类模型的预测结果/>与对应的真实缺陷类别/>计算分类损失/>；
S304，基于真实标签损失与伪标签损失/>之和/>更新所述损失最小的分类模，/>；衡量模型预测结果与真实结果的差异，通过最小化/>，所述损失最小的分类模型进行参数学习，提高预测的准确性；基于分类损失值/>通过反向传播去更新分类模型的网络参数，获得更新过的分类模型；
S305，分类验证数据集T2用于对更新过的分类模型的能力进行评估，若更新过的分类模型的评价指标满足要求，得到训练好的分类模型。
7.根据权利要求6所述的一种针对数据不平衡的两阶段式道路缺陷检测方法，其特征在于，
分类模型的评价指标包括准确率P2、召回率R2、全类平均精度均值Av2。
8.根据权利要求6所述的一种针对数据不平衡的两阶段式道路缺陷检测方法，其特征在于，
真实缺陷类别包括横向裂缝、纵向裂缝、龟裂、块裂、修补和坑槽；
分类模型缺陷类别包括横向裂缝、纵向裂缝、龟裂、块裂、修补和坑槽。
9.根据权利要求6所述的一种针对数据不平衡的两阶段式道路缺陷检测方法，其特征在于，
使用Focal Loss损失函数计算各样本损失，所述各样本指分类测试集T1，伪标签分类数据集P，Focal Loss损失函数公式为式（3）：
（3）
式中：表示Focal Loss损失函数值；/>为样本数据中真实缺陷类别的onehot向量；/>为缺陷类别的预测概率向量；/>表示第/>个类别的预测概率值；/>为分类模型缺的陷类别数量；/>表示真实缺陷类别，当第/>类别时取1，其它类别取0；/>表示第/>类别的权重因子，/>，用来均匀协调不同类别样本之间损失的权重；/>表示样本难度权重调度因子，通过交叉验证获得，用于平衡难易样本的权重；
将分类训练数据集T1的样本数据中真实缺陷类别的onehot向量赋值为，，/>，将/>，/>输入到公式（3），获得Focal Loss损失。
10.根据权利要求9所述的一种针对数据不平衡的两阶段式道路缺陷检测方法，其特征在于，
计算公式为式（4）：
（4）
其中为分类模型缺陷类别数量，/>为训练集样本中第/>类缺陷类别的样本数量，为第/>类缺陷类别的样本数量；公式（4）中，/>。
CN202310889965.XA 2023-07-20 2023-07-20 一种针对数据不平衡的两阶段式道路缺陷检测方法 Active CN116612120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310889965.XA CN116612120B (zh) 2023-07-20 2023-07-20 一种针对数据不平衡的两阶段式道路缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310889965.XA CN116612120B (zh) 2023-07-20 2023-07-20 一种针对数据不平衡的两阶段式道路缺陷检测方法

Publications (2)

Publication Number Publication Date
CN116612120A true CN116612120A (zh) 2023-08-18
CN116612120B CN116612120B (zh) 2023-10-10

Family

ID=87676861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310889965.XA Active CN116612120B (zh) 2023-07-20 2023-07-20 一种针对数据不平衡的两阶段式道路缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116612120B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824275A (zh) * 2023-08-29 2023-09-29 青岛美迪康数字工程有限公司 一种实现智能模型优化的方法、装置和计算机设备
CN116883391A (zh) * 2023-09-05 2023-10-13 中国科学技术大学 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法
CN116883390A (zh) * 2023-09-04 2023-10-13 合肥中科类脑智能技术有限公司 模糊抵抗性半监督缺陷检测方法、装置及存储介质
CN117372424A (zh) * 2023-12-05 2024-01-09 成都数之联科技股份有限公司 一种缺陷检测方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020048119A1 (en) * 2018-09-04 2020-03-12 Boe Technology Group Co., Ltd. Method and apparatus for training a convolutional neural network to detect defects
WO2022053001A1 (zh) * 2020-09-10 2022-03-17 上海航天精密机械研究所 焊缝内部缺陷智能检测装置、方法及介质
CN114648665A (zh) * 2022-03-25 2022-06-21 西安电子科技大学 一种弱监督目标检测方法及系统
CN114970862A (zh) * 2022-04-28 2022-08-30 北京航空航天大学 一种基于多实例知识蒸馏模型的pdl1表达水平预测方法
CN115565019A (zh) * 2022-11-04 2023-01-03 西安电子科技大学 基于深度自监督生成对抗的单通道高分辨sar图像地物分类方法
US20230162023A1 (en) * 2021-11-25 2023-05-25 Mitsubishi Electric Research Laboratories, Inc. System and Method for Automated Transfer Learning with Domain Disentanglement
CN116258175A (zh) * 2022-12-30 2023-06-13 沈阳派得林科技有限责任公司 一种基于主动学习的焊缝缺陷智能识别模型进化方法
CN116310519A (zh) * 2023-02-22 2023-06-23 杭州电子科技大学 一种半监督深度学习的表面缺陷分类方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020048119A1 (en) * 2018-09-04 2020-03-12 Boe Technology Group Co., Ltd. Method and apparatus for training a convolutional neural network to detect defects
WO2022053001A1 (zh) * 2020-09-10 2022-03-17 上海航天精密机械研究所 焊缝内部缺陷智能检测装置、方法及介质
US20230162023A1 (en) * 2021-11-25 2023-05-25 Mitsubishi Electric Research Laboratories, Inc. System and Method for Automated Transfer Learning with Domain Disentanglement
CN114648665A (zh) * 2022-03-25 2022-06-21 西安电子科技大学 一种弱监督目标检测方法及系统
CN114970862A (zh) * 2022-04-28 2022-08-30 北京航空航天大学 一种基于多实例知识蒸馏模型的pdl1表达水平预测方法
CN115565019A (zh) * 2022-11-04 2023-01-03 西安电子科技大学 基于深度自监督生成对抗的单通道高分辨sar图像地物分类方法
CN116258175A (zh) * 2022-12-30 2023-06-13 沈阳派得林科技有限责任公司 一种基于主动学习的焊缝缺陷智能识别模型进化方法
CN116310519A (zh) * 2023-02-22 2023-06-23 杭州电子科技大学 一种半监督深度学习的表面缺陷分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李兰;奚舒舒;张才宝;马鸿洋;: "基于改进SSD模型的工件表面缺陷识别算法", 计算机工程与科学, no. 09 *
李泗兰;郭雅;: "基于深度学习哈希算法的快速图像检索研究", 计算机与数字工程, no. 12 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824275A (zh) * 2023-08-29 2023-09-29 青岛美迪康数字工程有限公司 一种实现智能模型优化的方法、装置和计算机设备
CN116824275B (zh) * 2023-08-29 2023-11-17 青岛美迪康数字工程有限公司 一种实现智能模型优化的方法、装置和计算机设备
CN116883390A (zh) * 2023-09-04 2023-10-13 合肥中科类脑智能技术有限公司 模糊抵抗性半监督缺陷检测方法、装置及存储介质
CN116883390B (zh) * 2023-09-04 2023-11-21 合肥中科类脑智能技术有限公司 模糊抵抗性半监督缺陷检测方法、装置及存储介质
CN116883391A (zh) * 2023-09-05 2023-10-13 中国科学技术大学 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法
CN116883391B (zh) * 2023-09-05 2023-12-19 中国科学技术大学 一种基于多尺度滑动窗口的两阶段配电线路缺陷检测方法
CN117372424A (zh) * 2023-12-05 2024-01-09 成都数之联科技股份有限公司 一种缺陷检测方法、装置、设备及存储介质
CN117372424B (zh) * 2023-12-05 2024-03-08 成都数之联科技股份有限公司 一种缺陷检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116612120B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN116612120B (zh) 一种针对数据不平衡的两阶段式道路缺陷检测方法
TWI742382B (zh) 透過電腦執行的、用於車輛零件識別的神經網路系統、透過神經網路系統進行車輛零件識別的方法、進行車輛零件識別的裝置和計算設備
CN110287927B (zh) 基于深度多尺度和上下文学习的遥感影像目标检测方法
CN113205176B (zh) 训练缺陷分级检测模型的方法、装置、设备及存储介质
CN109117883B (zh) 基于长短时记忆网络的sar影像海冰分类方法及系统
CN113378686B (zh) 一种基于目标中心点估计的两阶段遥感目标检测方法
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN111507370A (zh) 获得自动标注图像中检查标签的样本图像的方法和装置
CN110874590B (zh) 基于适配器互学习模型的训练及可见光红外视觉跟踪方法
CN112613569B (zh) 图像识别方法、图像分类模型的训练方法及装置
CN112819821B (zh) 一种细胞核图像检测方法
CN111368634B (zh) 基于神经网络的人头检测方法、系统及存储介质
CN111985325A (zh) 特高压环境评价中的航拍小目标快速识别方法
CN113962960A (zh) 基于深度学习的路面病害检测方法
CN111242144A (zh) 电网设备异常的检测方法和装置
CN114863091A (zh) 一种基于伪标签的目标检测训练方法
CN114639102B (zh) 基于关键点与尺寸回归的细胞分割方法和装置
CN115063664A (zh) 用于工业视觉检测的模型学习方法、训练方法及系统
CN115587964A (zh) 一种基于熵筛选的伪标签交叉一致性变化检测方法
CN114549909A (zh) 一种基于自适应阈值的伪标签遥感图像场景分类方法
CN111582313B (zh) 样本数据生成方法、装置及电子设备
CN110163081A (zh) 基于ssd的实时区域入侵检测方法、系统及存储介质
CN114120208A (zh) 一种火焰检测方法、装置、设备和存储介质
CN113076823A (zh) 一种年龄预测模型的训练方法、年龄预测方法及相关装置
CN112348062A (zh) 气象图像预测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant