CN117011563B - 基于半监督联邦学习的道路损害巡检跨域检测方法及系统 - Google Patents

基于半监督联邦学习的道路损害巡检跨域检测方法及系统 Download PDF

Info

Publication number
CN117011563B
CN117011563B CN202310980920.3A CN202310980920A CN117011563B CN 117011563 B CN117011563 B CN 117011563B CN 202310980920 A CN202310980920 A CN 202310980920A CN 117011563 B CN117011563 B CN 117011563B
Authority
CN
China
Prior art keywords
model
supervised
domain
training
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310980920.3A
Other languages
English (en)
Other versions
CN117011563A (zh
Inventor
李成栋
万耿宏
马文珂
王艺霖
田晨璐
彭伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN202310980920.3A priority Critical patent/CN117011563B/zh
Publication of CN117011563A publication Critical patent/CN117011563A/zh
Application granted granted Critical
Publication of CN117011563B publication Critical patent/CN117011563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出基于半监督联邦学习的道路损害巡检跨域检测方法及系统，涉及道路损害检测技术领域。包括本地客户端获取目标域用户数据、源域用户数据，为用户分配目标检测器；对源域用户数据进行数据扩增、不同环境的路面数据生成和跨域伪图像的生成；采用包含老化阶段、适应阶段和SSDA阶段的半监督目标检测训练模式首先对目标检测器进行有监督训练，得到有监督训练好的学生模型；服务器端进行聚合，得到教师模型，将教师模型反馈至本地客户端；利用教师模型生成假标签，利用假标签对有监督训练好的学生模型进行半监督自适应训练，得到最终训练好的学生模型。本发明提升了检测的速度以满足对于实时检测的需求，解决模型表现差的问题，提高了模型的泛性。

Description

基于半监督联邦学习的道路损害巡检跨域检测方法及系统
技术领域
本发明属于道路损害检测技术领域，尤其涉及基于半监督联邦学习的道路损害巡检跨域检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着道路的投入使用和时间的推移，车辆等因素均会对道路造成损害，造成道路深坑洼、浅坑洼、开裂以及龟裂等。近年来，在此类损害检测、分类方面取得了巨大进步，尤其是随着计算机视觉技术的进步，显著减少了人工巡查所需的工作量和时间。
到目前为止，基于视觉的道路损害检测的主流方法可以分为两类，分别为基于图像处理的传统方法和基于深度学习的方法，在传统方法中，如Gabor滤波器、粒子滤波器或中值滤波器等图像滤波器用于使裂缝在图像中更加突出，然后使用阈值分割或canny边缘检测等常规检测方法来定位这些裂缝。但在低照度和恶劣天气条件下会存在检测精度低的问题，相比之下，基于深度学习的方法利用神经网络自动学习更强大的特征，并且可以有效提高在不良条件下的准确性。
更具体地说，基于深度学习的方法通常利用监督或非监督学习方案来获取道路损害检测的相关知识，基于监督学习的方法严重依赖于标注良好的数据集，它们的性能也取决于给定数据集的规模和质量，由于数据标注费时费力，所以限制了这些方法的实际应用。
基于无监督学习的方法不需要如此繁重的数据标注，因此近年来变得非常流行，其中一个普遍的想法是仅通过正常道路图像来构建和训练对抗性生成模型，而将道路损害确定为测试图像中的异常区域，尽管无监督方法可以避免标记大量数据，但它们只能定位损害而不能对它们进行分类。
在以上传统的检测方法中，通常采用固定的检测策略来处理所有的数据，无法适应不同数据域的特征，导致检测结果不够准确。而域自适应检测则可以根据不同的数据域自动调整检测策略，从而提高检测的准确性和效率。
域自适应对象检测的目的是减轻由跨域差异引起的检测性能下降的问题。现在大多数的域自适应对象检测都是由两阶段的Faster R-CNN所主导，网络模型较重，并不是实时检测的最优选择，因此考虑采用单阶段锚框的目标检测器。然而，发明人发现，通过参考半监督的结构模式，以Mean-Teacher模型为基础直接装载单阶段锚框的目标检测器(例如YOLO)，发现单阶段检测器并不能很好的适应，并没有表现出良好的检测效果。
发明内容
为克服上述现有技术的不足，本发明提供了基于半监督联邦学习的道路损害巡检跨域检测方法及系统，提升了检测的速度以满足对于实时检测的需求，设计了合理的结构将教学模型与单阶段锚框检测器相结合，解决模型表现差的问题，同时建立服务器端对于各方训练的权重进行聚合，提高了模型的泛性。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
本发明第一方面提供了基于半监督联邦学习的道路损害巡检跨域检测方法。
基于半监督联邦学习的道路损害巡检跨域检测方法，包括以下步骤：
步骤一：通过本地客户端获取目标域用户数据，形成目标域数据集；同时获取源域用户数据，将源域用户数据聚类到相应的类别，得到分类标签，基于源域用户数据中的分类标签为用户分配目标检测器；其中，源域用户数据全部为有标签的道路损害图像，目标域用户数据为部分有标签、部分无标签的道路损害图像；
步骤二：基于GAN网络对源域用户数据进行不同环境的路面数据生成、生成数据扩增和跨域伪图像的生成，得到伪源域和伪目标域数据集；
步骤三：基于目标域数据集、源域数据集、伪源域数据集和伪目标域数据集，在老化阶段、适应阶段对目标检测器进行有监督训练，得到有监督训练好的学生模型，将有监督训练好的学生模型进行EMA更新，获得初始教师模型；
步骤四：有监督训练结束之后，判断初始的教师模型生成假标签的质量，决定是否进入接下来的SSDA阶段，如果假标签质量不合格，则重复步骤三；
步骤五：在SSDA阶段对有监督训练好的学生模型进行无监督训练；
步骤六：将本地经过无监督训练的学生模型发送至服务器端，服务器端将多个学生模型进行聚合，得到新的教师模型，将聚合后新的教师模型反馈至本地客户端并与原有的教师模型进行融合，第一次融合时原有的教师模型为初始教师模型，之后将前一次融合后形成的教师模型作为下一次融合时的原有的教师模型；
步骤七：循环上述步骤五至步骤六，直至损失函数达到最小，得到最终训练好的学生模型，利用最终训练好的学生模型对获取的道路损害图像进行检测。
优选的，所述步骤二中，通过StarGAN网络以源域用户数据中正常环境下的道路图像为基础生成不同环境下的道路图像，通过DCGAN网络来对前述经过StarGAN网络生成的道路图像进行扩展，通过Cycle_GAN网络以源域用户数据、生成的拟目标域用户数据生成伪源域图像和伪目标域图像。
优选的，所述步骤三，具体包括：
在老化阶段，利用源域数据集中的数据对目标检测器进行有监督的训练；
在适应阶段，利用设定比例的有标签的伪源域和伪目标域数据集中的数据对目标检测器进行有监督的训练；
所述步骤五中：
在SSDA阶段，利用无标签的源域数据、伪源域数据、伪目标域数据和目标域数据对有监督训练好的学生模型进行无监督训练。
优选的，所述步骤三中，教师模型的网络参数由两部分组成：
在模型训练初始时，初始教师模型由学生模型和自身更新获得；
当初始教师模型通过客户端的阈值检验之后，初始教师模型已经具备成为一个在本领域合格的预测模型，此时通过服务器聚合其他领域合格的教师模型来更新本领域的教师模型并指导学生模型进行训练。
优选的，步骤四中，在SSOD阶段训练之前，确保模型在经过老化阶段和适应阶段之后已经趋于拟合，在SSOD训练阶段初期设定教师模型生成的假标签的质量的阈值，舍弃低于阈值的假标签。
优选的，损失函数L为：
L＝LS+λ*Lu
其中Ls为监督训练的损失，Lu为无监督训练的损失，λ为在整体损失中半监督训练的损失的占比系数。
优选的，所述步骤四中，使用联邦学习对本地客户端权重进行聚合，并将聚合后的模型作为教师模型传递到本地，通过Mean Teacher对本地客户端的学生模型进行指导训练，服务器对本地模型进行加权聚合，具体为：
其中，Γ(θ)表示本轮中心服务器加权聚合后的模型权重参数，表示编号为i的本地客户端局部模型在服务器验证集上的精确度,K表示参与训练的本地客户端局部模型的总数量，τ表示筛选模型精度的阈值。
本发明第二方面提供了基于半监督联邦学习的道路损害巡检跨域检测系统。
基于半监督联邦学习的道路损害巡检跨域检测系统，包括：
目标域用户数据获取和目标检测器分配模块，被配置为：通过本地客户端获取目标域用户数据，形成目标域数据集；同时获取源域用户数据，将源域用户数据聚类到相应的类别，得到分类标签，基于源域用户数据中的分类标签为用户分配目标检测器；其中，源域用户数据全部为有标签的道路损害图像，目标域用户数据为部分有标签、部分无标签的道路损害图像；
源域数据集获取模块，被配置为：基于GAN网络对源域用户数据进行不同环境的路面数据生成、生成数据扩增和跨域伪图像的生成，得到伪源域和伪目标域数据集；
学生模型有监督训练模块，被配置为：基于目标域数据集、源域数据集、伪源域数据集和伪目标域数据集，在老化阶段、适应阶段对目标检测器进行有监督训练，得到有监督训练好的学生模型，将有监督训练好的学生模型进行EMA更新至教师模型，形成初始的教师模型；
判断模块，被配置为：有监督训练结束之后，判断初始的教师模型生成假标签的质量，决定是否进入接下来的SSDA阶段；
无监督训练模块，被配置为：在SSDA阶段对有监督训练好的学生模型进行无监督训练；
教师模型反馈模块，被配置为：将本地经过无监督训练的学生模型发送至服务器端，服务器端将多个学生模型进行聚合，得到第二部分的教师模型，将聚合后的第二部分的教师模型反馈至本地客户端；
循环和检测模块，被配置为：循环上述步骤五至步骤六，直至损失函数达到最小，得到最终训练好的学生模型，利用最终训练好的学生模型对获取的道路损害图像进行检测。
本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于半监督联邦学习的道路损害巡检跨域检测方法中的步骤。
本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于半监督联邦学习的道路损害巡检跨域检测方法中的步骤。
以上一个或多个技术方案存在以下有益效果：
1.本发明提供了一种基于半监督联邦学习的道路损害巡检跨域检测方法及系统，通过引入联邦学习，设计服务器端和客户端，通过服务器端实现了本地各方的训练权重的聚合，对服务器端的教师模型进行了不同路面场景的补充，设计了全新的教学模型，提高了模型的检测精度和模型的泛性；将Yolov5的模型结构精简结合半监督的训练模型，提升检测的速度以满足对于实时检测的需求；将教学模型与单阶段锚框检测器相结合，解决模型表现差的问题。
2.通过基于半监督学习的跨域学习方法，在保留原有的数据增强的基础上通过Cycle_GAN生成伪源域图像和伪目标域图像，基于图像级的对齐实现跨域检测，提高了不同环境下路面的检测精度。
3.本发明通过对于数据集之间的关联性的探索，获取适配的目标检测器并设计目标检测器搭配密集型数据增强的方式来解决跨域过程中的样本不平衡问题。
4.针对跨域学习设计了时期分配模块用于训练过程，在半监督学习的基础上重新设计规划了训练过程以及不同数据的分配问题。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为第一个实施例方法流程图。
图2为第一个实施例目标检测器结构图。
图3为第一个实施例数据增强图像流程图。
图4为第一个实施例老化阶段、适应阶段和SSDA阶段联合训练示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例公开了基于半监督联邦学习的道路损害巡检跨域检测方法。
如图1所示，基于半监督联邦学习的道路损害巡检跨域检测方法，包括以下步骤：
步骤一：通过本地客户端获取目标域用户数据，形成目标域数据集；同时获取源域用户数据，将源域用户数据聚类到相应的类别，得到分类标签，基于源域用户数据中的分类标签为用户分配目标检测器；其中，源域用户数据全部为有标签的道路损害图像，目标域用户数据为部分有标签、部分无标签的道路损害图像；
步骤二：基于GAN网络对源域用户数据进行不同环境的路面数据生成、生成数据扩增和跨域伪图像的生成，得到伪源域和伪目标域数据集；
步骤三：基于目标域数据集、源域数据集、伪源域数据集和伪目标域数据集，在老化阶段、适应阶段对目标检测器进行有监督训练，得到有监督训练好的学生模型，将有监督训练好的学生模型进行EMA更新，获得初始教师模型；
步骤四：有监督训练结束之后，判断初始的教师模型生成假标签的质量，决定是否进入接下来的SSDA阶段，如果假标签质量不合格，则重复步骤三；
步骤五：在SSDA阶段对有监督训练好的学生模型进行无监督训练；
步骤六：将本地经过无监督训练的学生模型发送至服务器端，服务器端将多个学生模型进行聚合，得到新的教师模型，将聚合后新的教师模型反馈至本地客户端并与原有的教师模型进行融合，得到融合后的教师模型；第一次融合时原有的教师模型为初始教师模型，之后将前一次融合后形成的教师模型作为下一次融合时的原有的教师模型；
步骤七：循环上述步骤五至步骤六，直至损失函数达到最小，得到最终训练好的学生模型，利用最终训练好的学生模型对获取的道路损害图像进行检测。
该实施例所述的基于半监督联邦学习的道路损害巡检跨域检测方法主要包含四个步骤：用户数据集分类、图像处理、时期分配以及服务器聚合。
其中前三部分整体是在本地的客户端进行，服务器聚合是在服务器进行。
如图1所示，具体步骤如下：
1.用户数据集分类
本步骤的作用是对源域数据及目标域数据内在的数据关联性进行探索，同时根据获得的结果对数据进行分类和预处理、并匹配相应的目标检测器以进行后续的工作。
该部分由两部分组成：
1.通过对源域数据的分析来确定适配的目标检测器；
2.目标域视频的数据集整合和分配。
通过对源域数据的分析来确定适配的目标检测器：
(1)在该部分我们设计使用高斯分布建立高斯混合模型用以聚类不同的用户采集源域数据。输入样本为用户采集源域数据标签中的向量，输出为分类标签并根据标签向量中的平均类别数量作为分类的依据，从而确定了该用户所适配的目标检测器，同时将信息录入到用户数据库中作为补充完善并更新，使得下一次的聚类结果更加的准确。该部分最为重要的就是适配的目标检测器，下面将展开叙述。
在基于一阶锚点检测器为核心的半监督检测模型中，通常由于跨域数据中存在训练样本的比例的不平衡，因此为了解决这个问题，提出了通过将输入改为密集型的输入。实验证明，这种方式的训练结果，一定程度上缓解了样本不平衡问题，大大提升了半监督目标检测的识别精度。
密集型的输入使得可提取的图像特征信息更加丰富从而可以提高目标检测的精度，但是考虑到图像的拼接之后会导致图像的尺寸的增大，将会带来参数的大量增长，这会导致模型训练的速度大大降低，因此为了避免出现这种情况，在图像的密集型处理之后，要按照一张图像的尺寸大小进行缩减。缩减之后的图像虽然解决了上述问题，但是由于拼接后的图像的缩小，会相应的使得标签也变小，再加上图像的密集处理之后的随机裁剪的数据增强，会导致原有的有效标签无法被识别，因此图像的密集型处理应当有一个上限，来提高半监督的目标检测精度。
在该部分我们针对不同的数据集的检测对象的相对大小，做了关于图片拼接数量的探索，最终得到不同检测目标所适配的密集型程度，即不同数量的图片的拼接。具体包含以下内容：
我们在密集型图像处理部分做了探索性的尝试，以数据集GRDDC2020为标准进行测试，我们在该数据集上进行训练，在训练过程中分别使用不同尺度的图片进行拼接。考虑上述提到的提高图像拼接数量带来的小目标问题，同时为了模型检测依旧保持一定的训练和预测速度，针对不同数量的图片拼接使用不同的图片尺寸，在测试的过程中，我们设定mosaic_4的图像拼接尺寸为416，mosaic_9为480，mosaic_16为544。在该过程中数据的训练精度和训练速度都等到了保证。同时为了解决数据集中存在的样本不平衡问题，我们在使用图像拼接的方式的同时对于样本类别较少的图像增大其权重，使得每次的拼接都能使得该类的图片被放入到检测器中进行训练。同时为了避免这种过采样方法带来过拟合的问题，我们在图像拼接之前进行了图像增强，大大降低了模型过拟合的概率。
本次设计的半监督目标检测系统中，我们采用YOLOV_7作为该检测系统的目标检测器，实际我们设计教学框架与目标检测器相适配的接口，使得教学框架中的目标检测可以根据需要进行替换。这里简述YOLOV_7网络架构，该网络由四部分构成，分别为：Input,Backbone,Head,Output。
如图2所示，Input模块主要完成对输入模型的数据集图像的尺寸大小，数据集的加载以及数据增强等处理。Backbone模块是YOLOV_7网络模型的主干部分，进行图像特征的提取，该部分主要介绍CBS模块和ELAN模块。CBS模块由以下三部分组成：Conv卷积模块，BN数据归一化模块和Silu激活函数模块。ELAN模块主要是由CBS模块组成，在该部分前端完成了通道数目c到2*c的变化，最后经过CBS模块得到输出所需要的通道数目。Head模块是YOLOV_7网络模型中各个层之间的拼接和重组，以及对于不同尺寸的特征图在目标、分类和框的预测。Head模块可以看作是一个PA-FPN的结构，该部分完成了不同层次的深度的特征图的融合，使得输出的预测特征图无论在哪个层次上都能够包含整体的信息，并且各个层次特征图的直接融合，也大大减少了模型的运算时间，提高了预测速度。Output模块主要输出模型的训练部分的结果和预测部分的结果。由于本设计完成的是目标检测任务，模型的训练部分的结果是有标签支撑的指标支持。
(2)目标域数据的获取是通过嵌入式设备实时拍摄获得的视频，因此我们通过预处理获得关于目标域的数据集，并与源域数据集相结合按照比例在后续训练过程中的不同阶段进行分配。
2.图像处理
在本实施例中，以GAN网络为基础分别实现了数据集扩增、不同环境的路面数据生成和跨域伪图像的生成。我们引入StarGAN以正常环境下的道路图像为基础生成不同环境下的道路图像，引入DCGAN来对上述数据集进行扩展，引入Cycle_GAN针对跨域图像生成伪源域图像和伪目标域图像。具体包含以下步骤：
(1)数据集类别及预处理
本次设计的目标检测系统中数据集主要包含以下几方面的数据：
1.源域的数据集全部为有标签的数据，维持有监督数据集的前景和背景的比例为1：1，在老化阶段和半监督目标检测阶段进行；
2.目标域的有标签的数据集和Cycle_GAN生成的伪图像，主要应用在提升(老化)阶段的训练中；
3.目标域的无标签的数据集，和源域的数据集按照比例置于在半监督目标检测中进行训练。
(2)数据扩增
本设计使用DCGAN网络为了解决以下两个问题：1.解决因为目标训练数据较少时导致的模型预测准确率低的问题；2.解决不同类别用户数据集之间数据不平衡的问题。模型训练过程如下：
首先将生成器参数固定，更新判别器的参数并使其达到最大化。完成判别器的参数设定后，再将判别器的参数固定，优化生成器的参数并使其达到最小化。整个过程中生成器和判别器一直在不断地学习和对抗，最终得到的参数可由如下公式表示：
最终生成器将会生成更加接近真实图片的数据，通过不断地迭代，从而达到只用少量的用户充电行为样本，即可获得较好的模型训练效果。
(3)数据增强
如图3所示，在进行老化阶段和半监督目标检测阶段时，数据只通过翻转、HSV调节、亮度、对比度调节、裁剪、模糊、填充等常用的数据增强方式进行。在进行提升(适应)阶段时，通过结合Cycle_GAN生成的跨域模型的数据增强和其他常用的增强方式相结合得到强增强后的数据送入到学生模型中进行学习，一方面，强化数据使得学生模型进行充分的学习使得模型具有更改好的泛性，另一方面，通过对目标域的学习使模型能够更好的适应新的领域的特征。
3.时期分配
传统的半监督目标检测训练模式分为两种：交替训练和加入老化阶段的联合训练。本设计的目的是在半监督目标检测的基础之上来实现跨域的目标检测，因此，如图4所示，在原有的训练模式之上引入提升(适应)阶段，以更好的完成跨域目标检测。并且同时在训练的过程中通过时期适配器在各个阶段以合理的数据进行融合训练，提出结合域和分布自适应的时期适配器。该模块的两部分的具体功能描述分别如下：
(1)提升(适应)阶段的引入。由于交替训练相对耗时，因此本实施例决定采用加入老化阶段的联合训练，并在此基础上加入提升(适应)阶段。
目标检测器的培训策略如下：
首先，目标检测器对源域的数据进行有监督的训练，源域的数据全部为含有标签的数据。该部分称为老化阶段。然后，目标检测器对伪源域数据和伪目标域数据进行有监督的训练，目标域的数据仅有小部分的数据含有标签剩余的数据均是缺少标签的数据。最后进行无监督的训练。
(2)检测器的自适应。在老化阶段只进行源域数据的训练；提升(适应)阶段通过分配器按照合理的比例同时进行伪源域数据和伪目标域的训练；在半监督领域自适应的训练过程，采用分布适配器，在训练目标域的数据同时以一定的比例引入源域数据，伪源域数据和伪目标域数据。
(3)教学模型
教学网络整体的架构包括两个部分教师模型和学生模型。其中，学生模型的网络参数通过训练，以梯度下降的方法来更新获取。
教师模型的网络参数由两部分组成：1.在模型训练初始时(在学生模型有监督训练结束之后)，初始教师模型由学生模型和自身更新获得；2.当初始教师模型能够通过本地端的阈值检验之后，此时初始教师模型已经具备成为一个在该领域合格的预测模型，此时通过服务器聚合其他领域合格的模型来更新该领域的教师模型并指导学生模型进行训练。
学生模型的网络参数更新主要包含以下两部分：
第一部分是有监督损失更新，保证有标签训练数据拟合，为接下来的教师模型的EMA参数更新做准备。
第二部分是无监督损失更新，主要是保证学生模型的预测结果和教师模型的预测结果尽量的相似。因为教师模型中的参数是由经过监督训练的学生模型进行EMA获取的，所以二者的预测结果应当相近。同时EMA的参数更新方法一方面既能使模型的稳定性提高，相比较MA方法引入的加权更新的方法，也能够使得教师模型对于最近的数据有一个很好的适应。
(4)假标签分配模块
在半监督学习中最重要的部分是未标记图片的训练，而在该训练过程中最重要的就是教师模型所产生的伪标签的质量。伪标签的质量直接决定着半监督学习的效果，因此，如何筛选合格的伪标签就显得十分重要，在本模块中设定算法对于教师模型生成假标签进行筛选以提高模型的准确性。
为了保证初始假标签具有一定的准确度，因此在SSOD阶段训练之前，必须确保模型在经过老化阶段和提升阶段之后已经趋于拟合，这样SSOD阶段训练中的教师模型才能够正常的产生合格的假标签。因此，SSOD训练阶段初期应当设定教师模型生成的假标签的质量的阈值，若模型生成的假标签质量低于该阈值，应当舍弃，不作为最终结果的衡量标准。
假标签的分配问题。因为目标得分由三部分组成，分别为：obj_score(目标得分)，box_score(框得分)，cls_score(分类得分)。造成假标签不合格的原因大多是如下的情况，单一的阈值设定，过低的阈值会导致生成不正确的假标签，而过高的阈值会导致丢弃可靠的伪标签。因此，需要合理制定假标签的分配策略来最大程度的获取合格的假标签。
首先设定关于联合置信度的高低阈值，设τ1为联合置信度低阈值，τ2为联合置信度高阈值。对于目标得分τ高于τ2的假标签，将其设定为前景；对于目标得分τ低于τ1的假标签，将其设定为背景；对于目标得分τ介于τ1和τ2的假标签，将其设定为目标软标签，作为不确定的假标签，进入下一轮指标的筛选。
对于经过目标筛选得到的软标签，按照上述的分配策略设定关于obj_score(目标得分)和cls_score(分类得分)。设τ3为目标得分阈值，τ4为分类得分阈值。对于目标得分τ高于τ3的假标签，将其设定为前景；对于分类得分τ高于τ4的假标签，同样将其设定为前景。其他均为背景。至此完成假标签的分配策略。
(5)损失函数模块
在本设计中的训练中使用的损失函数为L,L＝LS+λ*Lu
其中Ls为监督训练的损失，Lu为无监督训练的损失，λ为在整体损失中半监督训练的损失的占比系数，在本设计中设定λ＝3。
监督训练的损失函数：
有监督训练分为两部分：1.源域数据的训练；2.源域数据和目标域数据的迁移训练。
两部分的损失函数设定是相同的，即Ls。
有监督训练包含三部分：目标损失，分类损失和框损失。其中，CE是交叉熵损失函数，DIoU是框回归损失函数，X(h,w)是学生模型输出得分，Y(h,w)是标签得分。cls为分类得分，obj为目标得分，reg为框得分。
本地模型的半监督损失函数Lu由三部分组成：
Lu＝Lu obj+Lu reg+Lu cls (3)
其中为半监督训练的对象损失，/>为半监督训练的框损失，/>为半监督训练的分类损失。
其中Ι{.}是判定函数，满足条件则输出1，不满足条件则输出0；和/>分别为教师模型在(h,w)处的目标预测得分，回归预测得分和分类预测得分；p(h,w)是在(h,w)处的得分；/>是假标签分配器在(h,w)处的联合假标签得分，用作图像的一致性损失的判定。
4.服务器聚合
本实施例的前三部分为客户端对于本地的数据采集、训练和存储的过程。在本部分中，使用联邦学习对本地的客户端权重进行聚合从而不断完善模型，并将聚合后的模型作为教师模型传递到本地，通过Mean Teacher(平均教师模型)对本地模型中的学生模型进行指导训练，通过知识蒸馏框架使得本地的模型能够在提高检测的精度之上仍然保持精简的结构，设计的这种结构提高了目标检测精度和模型的泛性。
服务器对所有符合要求的本地模型进行加权聚合，示意如下：
其中，Γ(θ)表示本轮中心服务器加权聚合后的模型权重参数，表示编号为i的客户端局部模型在服务器验证集上的精确度,K表示参与训练客户端局部模型的总数量，τ表示筛选模型精度的阈值。
实施例二
本实施例公开了基于半监督联邦学习的道路损害巡检跨域检测系统。
基于半监督联邦学习的道路损害巡检跨域检测系统，包括：
目标域用户数据获取和目标检测器分配模块，被配置为：通过本地客户端获取目标域用户数据，形成目标域数据集；同时获取源域用户数据，将源域用户数据聚类到相应的类别，得到分类标签，基于源域用户数据中的分类标签为用户分配目标检测器；其中，源域用户数据全部为有标签的道路损害图像，目标域用户数据为部分有标签、部分无标签的道路损害图像；
源域数据集获取模块，被配置为：基于GAN网络对源域用户数据进行不同环境的路面数据生成、生成数据扩增和跨域伪图像的生成，得到伪源域和伪目标域数据集；
学生模型有监督训练模块，被配置为：基于目标域数据集、源域数据集、伪源域数据集和伪目标域数据集，在老化阶段、适应阶段对目标检测器进行有监督训练，得到有监督训练好的学生模型，将有监督训练好的学生模型进行EMA更新，获得初始教师模型；
判断模块，被配置为：有监督训练结束之后，判断初始的教师模型生成假标签的质量，决定是否进入接下来的SSDA阶段，如果假标签质量不合格，则重复学生模型有监督训练模块；
无监督训练模块，被配置为：在SSDA阶段对有监督训练好的学生模型进行无监督训练；
教师模型反馈模块，被配置为：将本地经过无监督训练的学生模型发送至服务器端，服务器端将多个学生模型进行聚合，得到新的教师模型，将聚合后新的教师模型反馈至本地客户端并与原有的教师模型进行融合，第一次融合时原有的教师模型为初始教师模型，之后将前一次融合后形成的教师模型作为下一次融合时的原有的教师模型；
循环和检测模块，被配置为：循环上述步骤五至步骤六，直至损失函数达到最小，得到最终训练好的学生模型，利用最终训练好的学生模型对获取的道路损害图像进行检测。
实施例三
本实施例的目的是提供计算机可读存储介质。
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例1所述的基于半监督联邦学习的道路损害巡检跨域检测方法中的步骤。
实施例四
本实施例的目的是提供电子设备。
电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于半监督联邦学习的道路损害巡检跨域检测方法中的步骤。
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.基于半监督联邦学习的道路损害巡检跨域检测方法，其特征在于，包括以下步骤：
步骤一：通过本地客户端获取目标域用户数据，形成目标域数据集；同时获取源域用户数据，将源域用户数据聚类到相应的类别，得到分类标签，基于源域用户数据中的分类标签为用户分配目标检测器；其中，源域用户数据全部为有标签的道路损害图像，目标域用户数据为部分有标签、部分无标签的道路损害图像；
步骤二：基于GAN网络对源域用户数据进行不同环境的路面数据生成、生成数据扩增和跨域伪图像的生成，得到伪源域和伪目标域数据集；
步骤三：基于目标域数据集、源域数据集、伪源域数据集和伪目标域数据集，在老化阶段、适应阶段对目标检测器进行有监督训练，得到有监督训练好的学生模型，将有监督训练好的学生模型进行EMA更新，获得初始教师模型；
步骤四：有监督训练结束之后，判断初始的教师模型生成假标签的质量，决定是否进入接下来的SSDA阶段，如果假标签质量不合格，则重复步骤三；
步骤五：在SSDA阶段对有监督训练好的学生模型进行无监督训练；
步骤六：将本地经过无监督训练的学生模型发送至服务器端，服务器端将多个学生模型进行聚合，得到新的教师模型，将聚合后新的教师模型反馈至本地客户端并与原有的教师模型进行融合，第一次融合时原有的教师模型为初始教师模型，之后将前一次融合后形成的教师模型作为下一次融合时的原有的教师模型；
步骤七：循环上述步骤五至步骤六，直至损失函数达到最小，得到最终训练好的学生模型，利用最终训练好的学生模型对获取的道路损害图像进行检测；
所述步骤三，具体包括：
在老化阶段，利用源域数据集中的数据对目标检测器进行有监督的训练；
在适应阶段，利用设定比例的有标签的伪源域和伪目标域数据集中的数据对目标检测器进行有监督的训练；
所述步骤五中：
在SSDA阶段，利用无标签的源域数据、伪源域数据、伪目标域数据和目标域数据对有监督训练好的学生模型进行无监督训练。
2.如权利要求1所述的基于半监督联邦学习的道路损害巡检跨域检测方法，其特征在于，所述步骤二中，通过StarGAN网络以源域用户数据中正常环境下的道路图像为基础生成不同环境下的道路图像，通过DCGAN网络来对前述经过StarGAN网络生成的道路图像进行扩展，通过Cycle_GAN网络以源域用户数据、生成的拟目标域用户数据生成伪源域图像和伪目标域图像。
3.如权利要求1所述的基于半监督联邦学习的道路损害巡检跨域检测方法，其特征在于，所述步骤三中，教师模型的网络参数由两部分组成：
在模型训练初始时，初始教师模型由学生模型和自身更新获得；
当初始教师模型通过客户端的阈值检验之后，初始教师模型已经具备成为一个在本领域合格的预测模型，此时通过服务器聚合其他领域合格的教师模型来更新本领域的教师模型并指导学生模型进行训练。
4.如权利要求1所述的基于半监督联邦学习的道路损害巡检跨域检测方法，其特征在于，步骤四中，在SSOD阶段训练之前，确保模型在经过老化阶段和适应阶段之后已经趋于拟合，在SSOD训练阶段初期设定教师模型生成的假标签的质量的阈值，舍弃低于阈值的假标签。
5.如权利要求1所述的基于半监督联邦学习的道路损害巡检跨域检测方法，其特征在于，损失函数L为：
L＝LS+λ*Lu
其中Ls为监督训练的损失，Lu为无监督训练的损失，λ为在整体损失中半监督训练的损失的占比系数。
6.如权利要求1所述的基于半监督联邦学习的道路损害巡检跨域检测方法，其特征在于，所述步骤四中，使用联邦学习对本地客户端权重进行聚合，并将聚合后的模型作为教师模型传递到本地，通过Mean Teacher对本地客户端的学生模型进行指导训练，服务器对本地模型进行加权聚合，具体为：
其中，Γ(θ)表示本轮中心服务器加权聚合后的模型权重参数，表示编号为i的本地客户端局部模型在服务器验证集上的精确度,K表示参与训练的本地客户端局部模型的总数量，τ表示筛选模型精度的阈值。
7.基于权利要求1-6任一项所述方法的半监督联邦学习的道路损害巡检跨域检测系统，其特征在于：包括：
目标域用户数据获取和目标检测器分配模块，被配置为：通过本地客户端获取目标域用户数据，形成目标域数据集；同时获取源域用户数据，将源域用户数据聚类到相应的类别，得到分类标签，基于源域用户数据中的分类标签为用户分配目标检测器；其中，源域用户数据全部为有标签的道路损害图像，目标域用户数据为部分有标签、部分无标签的道路损害图像；
源域数据集获取模块，被配置为：基于GAN网络对源域用户数据进行不同环境的路面数据生成、生成数据扩增和跨域伪图像的生成，得到伪源域和伪目标域数据集；
学生模型有监督训练模块，被配置为：基于目标域数据集、源域数据集、伪源域数据集和伪目标域数据集，在老化阶段、适应阶段对目标检测器进行有监督训练，得到有监督训练好的学生模型，将有监督训练好的学生模型进行EMA更新，获得初始教师模型；
判断模块，被配置为：有监督训练结束之后，判断初始的教师模型生成假标签的质量，决定是否进入接下来的SSDA阶段，如果假标签质量不合格，则重复学生模型有监督训练模块；
无监督训练模块，被配置为：在SSDA阶段对有监督训练好的学生模型进行无监督训练；
教师模型反馈模块，被配置为：将本地经过无监督训练的学生模型发送至服务器端，服务器端将多个学生模型进行聚合，得到新的教师模型，将聚合后新的教师模型反馈至本地客户端并与原有的教师模型进行融合，第一次融合时原有的教师模型为初始教师模型，之后将前一次融合后形成的教师模型作为下一次融合时的原有的教师模型；
循环和检测模块，被配置为：循环上述无监督训练模块至教师模型反馈模块的步骤，直至损失函数达到最小，得到最终训练好的学生模型，利用最终训练好的学生模型对获取的道路损害图像进行检测。
8.计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的基于半监督联邦学习的道路损害巡检跨域检测方法中的步骤。
9.电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的基于半监督联邦学习的道路损害巡检跨域检测方法中的步骤。
CN202310980920.3A 2023-08-04 2023-08-04 基于半监督联邦学习的道路损害巡检跨域检测方法及系统 Active CN117011563B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310980920.3A CN117011563B (zh) 2023-08-04 2023-08-04 基于半监督联邦学习的道路损害巡检跨域检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310980920.3A CN117011563B (zh) 2023-08-04 2023-08-04 基于半监督联邦学习的道路损害巡检跨域检测方法及系统

Publications (2)

Publication Number Publication Date
CN117011563A CN117011563A (zh) 2023-11-07
CN117011563B true CN117011563B (zh) 2024-03-01

Family

ID=88566823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310980920.3A Active CN117011563B (zh) 2023-08-04 2023-08-04 基于半监督联邦学习的道路损害巡检跨域检测方法及系统

Country Status (1)

Country Link
CN (1) CN117011563B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274778B (zh) * 2023-11-21 2024-03-01 浙江啄云智能科技有限公司 基于无监督和半监督的图像搜索模型训练方法和电子设备
CN117274723B (zh) * 2023-11-22 2024-03-26 国网智能科技股份有限公司 一种用于输电巡检的目标识别方法、系统、介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761408A (zh) * 2022-11-23 2023-03-07 重庆邮电大学 一种基于知识蒸馏的联邦域适应方法及系统
CN116306905A (zh) * 2023-02-13 2023-06-23 安徽科讯金服科技有限公司 半监督非独立同分布的联邦学习蒸馏方法及装置
CN116310330A (zh) * 2023-03-06 2023-06-23 广东省人民医院 一种新型联邦半监督学习的肺部肿瘤分割方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3940604A1 (en) * 2020-07-09 2022-01-19 Nokia Technologies Oy Federated teacher-student machine learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761408A (zh) * 2022-11-23 2023-03-07 重庆邮电大学 一种基于知识蒸馏的联邦域适应方法及系统
CN116306905A (zh) * 2023-02-13 2023-06-23 安徽科讯金服科技有限公司 半监督非独立同分布的联邦学习蒸馏方法及装置
CN116310330A (zh) * 2023-03-06 2023-06-23 广东省人民医院 一种新型联邦半监督学习的肺部肿瘤分割方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SemiRoadExNet: A semi-supervised network for road extraction from remote sensing imagery via adversarial learning;Hao Chen et al.;ISPRS Journal of Photogrammetry and Remote Sensing;169-183 *

Also Published As

Publication number Publication date
CN117011563A (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
CN117011563B (zh) 基于半监督联邦学习的道路损害巡检跨域检测方法及系统
Endres et al. Category-independent object proposals with diverse ranking
Rachmadi et al. Vehicle color recognition using convolutional neural network
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
WO2021228088A1 (zh) 一种雾霾图像的雾浓度识别方法
CN111652293B (zh) 一种多任务联合判别学习的车辆重识别方法
CN109753878B (zh) 一种恶劣天气下的成像识别方法及系统
CN109472193A (zh) 人脸检测方法及装置
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN112613387A (zh) 一种基于YOLOv3的交通标志检测方法
CN111382766A (zh) 一种基于Faster R-CNN的设备故障检测方法
CN112488229A (zh) 一种基于特征分离和对齐的域自适应无监督目标检测方法
CN109117810A (zh) 疲劳驾驶行为检测方法、装置、计算机设备及存储介质
CN111160481A (zh) 基于深度学习的adas目标检测方法及系统
WO2020119624A1 (zh) 一种基于深度学习的类别敏感型边缘检测方法
Ashwinkumar et al. Deep learning based approach for facilitating online proctoring using transfer learning
CN112949456A (zh) 视频特征提取模型训练、视频特征提取方法和装置
CN112347967A (zh) 一种复杂场景下融合运动信息的行人检测方法
CN116958113A (zh) 一种产品检测方法、装置、设备及存储介质
CN114943869B (zh) 风格迁移增强的机场目标检测方法
Sarkar et al. Universal skin detection without color information
Song et al. MsfNet: a novel small object detection based on multi-scale feature fusion
CN115359442A (zh) 基于部件表征学习和个性化属性结构的车辆重识别方法
CN112949630A (zh) 基于边框分级筛选的弱监督目标检测方法
Kinattukara et al. Clustering based neural network approach for classification of road images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant