CN115588130A - 一种基于域自适应的跨域yolo检测方法 - Google Patents
一种基于域自适应的跨域yolo检测方法 Download PDFInfo
- Publication number
- CN115588130A CN115588130A CN202211252160.6A CN202211252160A CN115588130A CN 115588130 A CN115588130 A CN 115588130A CN 202211252160 A CN202211252160 A CN 202211252160A CN 115588130 A CN115588130 A CN 115588130A
- Authority
- CN
- China
- Prior art keywords
- domain
- yolo
- spp5
- detection
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 129
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 18
- 230000006978 adaptation Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 239000002689 soil Substances 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 230000006870 function Effects 0.000 description 50
- 238000012544 monitoring process Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 229910052731 fluorine Inorganic materials 0.000 description 1
- 125000001153 fluoro group Chemical group F* 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于域自适应的跨域YOLO检测方法,包括:通过结合YOLO‑SPP5模型与梯度反转层、域分类器和CycleGAN构建DA‑YOLO‑SPP5模型,并通过CycleGAN构建三个数据集;构建YOLO‑SPP5损失函数,并与域分类损失函数结合得到DA‑YOLO‑SPP5模型的损失函数;将CycleGAN构建的数据集对DA‑YOLO‑SPP5模型进行训练直到损失函数收敛;将待检测图像输入到训练好的DA‑YOLO‑SPP5模型中进行检测,得到检测结果。本发明在仅需源域目标检测标签的情况下,可以基本实现目标域数据集的数据标注,降低大量数据标注成本。
Description
技术领域
本发明涉及智能模型分析领域,尤其涉及一种基于域自适应的跨域YOLO检测方法。
背景技术
目前在城市监控场景中车辆、行人等目标的检测时,随着硬件设施的不断升级,当前监控视频画面分辨率较大,1920×1920的视频画面分辨率变得较为常见,由于监控摄像头位置固定,车辆、行人等目标在视频中的尺寸也会存在较大变化,而且监控场景属于户外场景,视频画面会因为光照灯光变化、天气等原因形成不同场景,这就导致了检测模型在不同场景下适应性较差;而且数据标注成本高昂成为了提高检测模型在多场景下检测性能的最大障碍。
目前为了提高检测模型在不同场景下检测性能,有通过收集大量不同场景的数据集,进行高精度的数据标注,以扩充数据集,但是面对大规模数据时会带来较大工作量的数据标注,进而提高了数据标注成本;也有改进改进检测模型网络架构,加大网络深度以提高网络的特征提取能力,进而提升检测模型的检测性能,但是加大网络深度就必然会使得计算量的提升,进而导致模型训练阶段需要更大显存显卡的支持。
发明内容
本发明的目的在于克服现有技术的缺点,提供了一种基于域自适应的跨域YOLO检测方法,解决了目前不同场景下目标检测存在的问题。
本发明的目的通过以下技术方案来实现:一种基于域自适应的跨域YOLO检测方法,所述检测方法包括:
S1、将YOLO v3模型中的3个检测预测分支增加到5个,并在每个预测分支中加入SPP单元得到YOLO-SPP5模型;
S2、通过结合YOLO-SPP5模型与梯度反转层、域分类器和CycleGAN构建DA-YOLO-SPP5模型,并通过CycleGAN构建源域数据集A、目标域数据集B和假目标域数据集C;
S3、以CIOU损失函数、置信度C的损失函数和目标框的分类损失函数构建YOLO-SPP5损失函数,并与域分类损失函数结合得到DA-YOLO-SPP5模型的损失函数;
S4、将CycleGAN构建的数据集对DA-YOLO-SPP5模型进行训练直到损失函数收敛;
S5、将待检测图像输入到训练好的DA-YOLO-SPP5模型中进行检测,得到检测结果。
所述DA-YOLO-SPP5模型包括CycleGAN数据重建模块、基础特征提取模块、域自适应模块和YOLO-SPP5模型;所述CycleGAN数据重建模块将源域图像转化为目标域风格的假图像,从而在训练过程中实现源域与目标数据集共享域数据集的目标检测标签,并将带标签的目标域风格家图像用于训练中;所述基础特征提取模块用于对输入的数据依次进行多次提取得到对应的图像特征;所述域自适应模块用于将基础特征提取模块输出的图像特征实现反向传播过程中的梯度自动取反并提取得到特征的像素级域分类;所述YOLO-SPP5模型用于对提取的特征并结合像素级域分类进行检测识别。
所述域自适应模块包括梯度反转层和域分类器;所述梯度反转层设置在所述基础特征提取模块的输出端,用于实现反转过程中梯度自动取反;所述域分类器用于在梯度反转层取反后对基础特征提取模块提取得到的特征进行像素级域分类。
所述基础特征提取模块包括Res1单元、Res2单元、第一Res8单元、第二Res8单元和Res4单元;图像输入基础特征提取模块后依次经过Res1单元、Res2单元、第一Res8单元、第二Res8单元和Res4单元其特征尺度均会减半。
所述YOLO-SPP5模型包括5个检测预测分支,第二到第五检测预测分支均包括依次连接的上采样层、特征连接层、SPP单元和卷积层,第一检测预测分支包括依次连接的SPP单元和卷积层;Res4单元的输出连接第一检测预测分支,第一检测预测分支的SPP单元的输出连接第二检测预测分支的上采样层,作为第二检测预测分支的一个输入,第二Res8单元的输出连接特征连接第二预测分支的特征连接层作为第二检测预测分支的另一个输入;第二检测预测分支的SPP单元的输出连接第三检测预测分支的上采样层,作为第三检测预测分支的一个输入,第一Res8单元的输出连接第三检测预测分支的特征连接层,作为第三检测预测分支的另一个输入;第三检测预测分支的SPP单元的输出连接第四检测预测分支的上采样层,作为第四检测预测分支的一个输入,Res2单元的输出连接第四检测预测分支的特征连接层,作为第四检测预测分支的另一个输入;第四检测预测分支的SPP单元的输出连接第五检测预测分支的上采样层,作为第五检测预测分支的一个输入,Res1单元的输出连接第五检测预测分支的特征连接层,作为第五检测预测分支的另一个输入。
所述以CIOU损失函数、置信度C的损失函数和目标框的分类损失函数构建YOLO-SPP5损失函数包括:
以预测目标框与真实目标框中心点之间的欧几里得距离ρ(b,bgt)、预测框与真实框之间最小闭包的对角线长度c和预测框与真实框之间的交并比IOU构建CIOU损失函数将CIOU损失函数替换YOLO v3模型中的目标定位损失函数,其中,b为预测目标框,bgt为真实目标框,v代表真实框和预测框宽高比一致性参数,β代表trade-off参数,h为YOLO-SPP5检测得到的目标检测框的高度,hgt为真实检测框的高度,w为YOLO-SPP5检测得到的目标检测框的宽度,wgt为真实检测框的宽度;
Lloc=LCIOU
Ldet=Lloc+Lconf+Lcls
所述与域分类损失函数结合得到DA-YOLO-SPP5模型的损失函数包括:
将基础特征提取模块记为F,域分类器记为D,得到域分类损失函数为其中,H和W分别代表特征图的宽高,K代表特征通道数,z代表特征的域分类标签,xs代表源域图像,zs代表源域图像域标签;xt代表目标域图像,zt代表目标域图像域标签,代表第i张源域图像,代表第j张源域图像,nt为目标域图像数量,ns为源域图像数量,w,h,k为循环变量,λ为梯度层参数;
将域分类损失函数与YOLO-SPP5的损失函数结合得到DA-YOLO-SPP5模型的损失函数L=Ldet+Lda。
所述将CycleGAN构建的数据集对DA-YOLO-SPP5模型进行训练直到损失函数收敛包括:
A1、利用带标签的源域数据集A训练YOLO-SPP5模型;
A2、利用源域数据集A和目标域数据集B训练CycleGAN,并将带标签的源域数据集转化为目标域,并共享源与数据集A的标签,形成目标假目标数据集C;
A3、将步骤A1中训练好的YOLO-SPP5模型作为预训练模型,利用源域数据集A、目标域数据集B和假目标域数据集C输入到DA-YOLO-SPP5模型中;
A4、源域数据集A、目标域数据集B和假目标域数据集C经过基础特征提取模块提取得到对应的图像特征,然后将三个数据提取得到的图像土壤中送入域自适应模块用于域分类任务进而计算域分类损失;
A5、源域数据集A和目标域数据集B提取得到的图像特征输入到YOLO-SPP5模型进行目标检测任务,进而计算YOLO-SPP5模型的目标检测损失;
A6、当域分类损失和YOLO-SPP5模型的目标检测损失都达到收敛时完成训练。
本发明具有以下优点:一种基于域自适应的跨域YOLO检测方法,通过增大输入图像分辨率,并修改YOLOv3网络架构和损失函数形成了YOLO-SPP5模型,取得了90.67%的mAP,优于传统YOLOv3的85.56%;结合GRL和CycleGAN两种域自适应策略设计的DA-YOLO-SPP5模型,在不使用目标域数据标签的情况下可以在夜晚城市监控场景目标域数据集下取得了83.91%的mAP,直接利用带目标检测标签的夜晚城市监控场景目标域数据集训练的YOLO-SPP5达到了89.68%,在仅需源域目标检测标签的情况下,可以基本实现目标域数据集的数据标注,降低大量数据标注成本。
附图说明
图1为本发明DA-YOLO-SPP5模型的网络结构图;
图2为本发明YOLO-SPP5模型的网络结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。
如图1所示,本发明具体涉及一种基于域自适应的跨域YOLO检测方法,其具体包括以下内容:
S1、将YOLO v3模型中的3个检测预测分支增加到5个,并在每个预测分支中加入SPP单元得到YOLO-SPP5模型;
进一步地,如图2所示,YOLO-SPP5模型包括5个检测预测分支,实现5个不同尺度特特在的融合;第二到第五检测预测分支均包括依次连接的上采样层、特征连接层、SPP单元和卷积层,第一检测预测分支包括依次连接的SPP单元和卷积层;Res4单元的输出连接第一检测预测分支,第一检测预测分支的SPP单元的输出连接第二检测预测分支的上采样层,作为第二检测预测分支的一个输入,第二Res8单元的输出连接特征连接第二预测分支的特征连接层作为第二检测预测分支的另一个输入;第二检测预测分支的SPP单元的输出连接第三检测预测分支的上采样层,作为第三检测预测分支的一个输入,第一Res8单元的输出连接第三检测预测分支的特征连接层,作为第三检测预测分支的另一个输入;第三检测预测分支的SPP单元的输出连接第四检测预测分支的上采样层,作为第四检测预测分支的一个输入,Res2单元的输出连接第四检测预测分支的特征连接层,作为第四检测预测分支的另一个输入;第四检测预测分支的SPP单元的输出连接第五检测预测分支的上采样层,作为第五检测预测分支的一个输入,Res1单元的输出连接第五检测预测分支的特征连接层,作为第五检测预测分支的另一个输入。
S2、通过结合YOLO-SPP5模型与梯度反转层(GRL)、域分类器和CycleGAN构建DA-YOLO-SPP5模型,以提高模型在不同场景中的适应能力,并通过CycleGAN构建源域数据集A、目标域数据集B和假目标域数据集C;
S3、以CIOU损失函数、置信度C的损失函数和目标框的分类损失函数构建YOLO-SPP5损失函数,并与域分类损失函数结合得到DA-YOLO-SPP5模型的损失函数;
S4、将CycleGAN构建的数据集对DA-YOLO-SPP5模型进行训练直到损失函数收敛;
S5、将待检测图像输入到训练好的DA-YOLO-SPP5模型中进行检测,得到检测结果。
进一步地,DA-YOLO-SPP5模型包括CycleGAN数据重建模块、基础特征提取模块(DarkNet-53)、域自适应模块和YOLO-SPP5模型;所述CycleGAN数据重建模块将源域图像转化为目标域风格的假图像,从而在训练过程中实现源域与目标数据集共享域数据集的目标检测标签,并将带标签的目标域风格家图像用于训练中;所述基础特征提取模块用于对输入的数据依次进行多次提取得到对应的图像特征;所述域自适应模块用于将基础特征提取模块输出的图像特征实现反向传播过程中的梯度自动取反并提取得到特征的像素级域分类;所述YOLO-SPP5模型用于对提取的特征并结合像素级域分类进行检测识别。
进一步地,域自适应模块包括梯度反转层和域分类器(DomainClassifier),该模块的输入和输出尺寸一致;所述梯度反转层设置在所述基础特征提取模块的输出端,用于实现反转过程中梯度自动取反;所述域分类器用于在梯度反转层取反后对基础特征提取模块提取得到的特征进行像素级域分类。
进一步地,基础特征提取模块包括Res1单元、Res2单元、第一Res8单元、第二Res8单元和Res4单元;图像输入基础特征提取模块后依次经过Res1单元、Res2单元、第一Res8单元、第二Res8单元和Res4单元其特征尺度均会减半,特征尺度分别为304×304、152×152、76×76、38×38和19×19,特征经过上采样层后其特征尺度会翻倍。
进一步地,以CIOU损失函数、置信度C的损失函数和目标框的分类损失函数构建YOLO-SPP5损失函数包括:
以预测目标框与真实目标框中心点之间的欧几里得距离ρ(b,bgt)、预测框与真实框之间最小闭包的对角线长度c和预测框与真实框之间的交并比IOU构建CIOU损失函数将CIOU损失函数替换YOLO v3模型中的目标定位损失函数,以更为准确的定位目标,其中,b为预测目标框,bgt为真实目标框,v代表真实框和预测框宽高比一致性参数,β代表trade-off参数,h为YOLO-SPP5检测得到的目标检测框的高度,hgt为真实检测框的高度,w为YOLO-SPP5检测得到的目标检测框的宽度,wgt为真实检测框的宽度;
Lloc=LCIOU
Ldet=Lloc+Lconf+Lcls
所述与域分类损失函数结合得到DA-YOLO-SPP5模型的损失函数包括:
将基础特征提取模块记为F,域分类器记为D,得到域分类损失函数为其中,H和W分别代表特征图的宽高,K代表特征通道数,z代表特征的域分类标签,xs代表源域图像,zs代表源域图像域标签;xt代表目标域图像,zt代表目标域图像域标签,代表第i张源域图像,代表第j张源域图像,nt为目标域图像数量,ns为源域图像数量,w,h,k为循环变量,λ为梯度层参数,本发明中默认为1.0;
本发明中只涉及两个场景,因此域标签采用0/1标签,0代表源域,1代表目标域,K=1。梯度反转层Rλ的参数λ在下文的所有实验中都取值为1.0。
将域分类损失函数与YOLO-SPP5的损失函数结合得到DA-YOLO-SPP5模型的损失函数L=Ldet+Lda。
进一步地,将CycleGAN构建的数据集对DA-YOLO-SPP5模型进行训练直到损失函数收敛包括:
A1、利用带标签的源域数据集A训练YOLO-SPP5模型,输入分辨率为1280*640;
A2、利用源域数据集A和目标域数据集B训练CycleGAN,并将带标签的源域数据集转化为目标域,并共享源与数据集A的标签,形成目标假目标数据集C;
A3、将步骤A1中训练好的YOLO-SPP5模型作为预训练模型,利用源域数据集A、目标域数据集B和假目标域数据集C输入到DA-YOLO-SPP5模型中,输入分辨率为1280*640;
A4、源域数据集A、目标域数据集B和假目标域数据集C经过基础特征提取模块提取得到对应的图像特征,然后将三个数据提取得到的图像土壤中送入域自适应模块用于域分类任务进而计算域分类损失;
A5、源域数据集A和目标域数据集B提取得到的图像特征输入到YOLO-SPP5模型进行目标检测任务,进而计算YOLO-SPP5模型的目标检测损失;
A6、当域分类损失和YOLO-SPP5模型的目标检测损失都达到收敛时完成训练。
以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (8)
1.一种基于域自适应的跨域YOLO检测方法,其特征在于:所述检测方法包括:
S1、将YOLO v3模型中的3个检测预测分支增加到5个,并在每个预测分支中加入SPP单元得到YOLO-SPP5模型;
S2、通过结合YOLO-SPP5模型与梯度反转层、域分类器和CycleGAN构建DA-YOLO-SPP5模型,并通过CycleGAN构建源域数据集A、目标域数据集B和假目标域数据集C;
S3、以CIOU损失函数、置信度C的损失函数和目标框的分类损失函数构建YOLO-SPP5损失函数,并与域分类损失函数结合得到DA-YOLO-SPP5模型的损失函数;
S4、将CycleGAN构建的数据集对DA-YOLO-SPP5模型进行训练直到损失函数收敛;
S5、将待检测图像输入到训练好的DA-YOLO-SPP5模型中进行检测,得到检测结果。
2.根据权利要求1所述的一种基于域自适应的跨域YOLO检测方法,其特征在于:所述DA-YOLO-SPP5模型包括CycleGAN数据重建模块、基础特征提取模块、域自适应模块和YOLO-SPP5模型;所述CycleGAN数据重建模块将源域图像转化为目标域风格的假图像,从而在训练过程中实现源域与目标数据集共享域数据集的目标检测标签,并将带标签的目标域风格家图像用于训练中;所述基础特征提取模块用于对输入的数据依次进行多次提取得到对应的图像特征;所述域自适应模块用于将基础特征提取模块输出的图像特征实现反向传播过程中的梯度自动取反并提取得到特征的像素级域分类;所述YOLO-SPP5模型用于对提取的特征并结合像素级域分类进行检测识别。
3.根据权利要求2所述的一种基于域自适应的跨域YOLO检测方法,其特征在于:所述域自适应模块包括梯度反转层和域分类器;所述梯度反转层设置在所述基础特征提取模块的输出端,用于实现反转过程中梯度自动取反;所述域分类器用于在梯度反转层取反后对基础特征提取模块提取得到的特征进行像素级域分类。
4.根据权利要求2所述的一种基于域自适应的跨域YOLO检测方法,其特征在于:所述基础特征提取模块包括Res1单元、Res2单元、第一Res8单元、第二Res8单元和Res4单元;图像输入基础特征提取模块后依次经过Res1单元、Res2单元、第一Res8单元、第二Res8单元和Res4单元其特征尺度均会减半。
5.根据权利要求4所述的一种基于域自适应的跨域YOLO检测方法,其特征在于:所述YOLO-SPP5模型包括5个检测预测分支,第二到第五检测预测分支均包括依次连接的上采样层、特征连接层、SPP单元和卷积层,第一检测预测分支包括依次连接的SPP单元和卷积层;Res4单元的输出连接第一检测预测分支,第一检测预测分支的SPP单元的输出连接第二检测预测分支的上采样层,作为第二检测预测分支的一个输入,第二Res8单元的输出连接特征连接第二预测分支的特征连接层作为第二检测预测分支的另一个输入;第二检测预测分支的SPP单元的输出连接第三检测预测分支的上采样层,作为第三检测预测分支的一个输入,第一Res8单元的输出连接第三检测预测分支的特征连接层,作为第三检测预测分支的另一个输入;第三检测预测分支的SPP单元的输出连接第四检测预测分支的上采样层,作为第四检测预测分支的一个输入,Res2单元的输出连接第四检测预测分支的特征连接层,作为第四检测预测分支的另一个输入;第四检测预测分支的SPP单元的输出连接第五检测预测分支的上采样层,作为第五检测预测分支的一个输入,Res1单元的输出连接第五检测预测分支的特征连接层,作为第五检测预测分支的另一个输入。
6.根据权利要求1所述的一种基于域自适应的跨域YOLO检测方法,其特征在于:所述以CIOU损失函数、置信度C的损失函数和目标框的分类损失函数构建YOLO-SPP5损失函数包括:
以预测目标框与真实目标框中心点之间的欧几里得距离ρ(b,bgt)、预测框与真实框之间最小闭包的对角线长度c和预测框与真实框之间的交并比IOU构建CIOU损失函数将CIOU损失函数替换YOLO v3模型中的目标定位损失函数,其中,b为预测目标框,bgt为真实目标框,v代表真实框和预测框宽高比一致性参数,β代表trade-off参数,h为YOLO-SPP5检测得到的目标检测框的高度,hgt为真实检测框的高度,w为YOLO-SPP5检测得到的目标检测框的宽度,wgt为真实检测框的宽度;
根据置信度C的损失函数Lconf和目标框的分类损失函数Lcls得到YOLO-SPP5的损失函数
Lloc=LCIOU
Ldet=Lloc+Lconf+Lcls
7.根据权利要求6所述的一种基于域自适应的跨域YOLO检测方法,其特征在于:所述与域分类损失函数结合得到DA-YOLO-SPP5模型的损失函数包括:
将基础特征提取模块记为F,域分类器记为D,得到域分类损失函数为其中,H和W分别代表特征图的宽高,K代表特征通道数,z代表特征的域分类标签,xs代表源域图像,zs代表源域图像域标签;xt代表目标域图像,zt代表目标域图像域标签,代表第i张源域图像,代表第j张源域图像,nt为目标域图像数量,ns为源域图像数量,w,h,k为循环变量,λ为梯度层参数;
将域分类损失函数与YOLO-SPP5的损失函数结合得到DA-YOLO-SPP5模型的损失函数L=Ldet+Lda。
8.根据权利要求1所述的一种基于域自适应的跨域YOLO检测方法,其特征在于:所述将CycleGAN构建的数据集对DA-YOLO-SPP5模型进行训练直到损失函数收敛包括:
A1、利用带标签的源域数据集A训练YOLO-SPP5模型;
A2、利用源域数据集A和目标域数据集B训练CycleGAN,并将带标签的源域数据集转化为目标域,并共享源与数据集A的标签,形成目标假目标数据集C;
A3、将步骤A1中训练好的YOLO-SPP5模型作为预训练模型,利用源域数据集A、目标域数据集B和假目标域数据集C输入到DA-YOLO-SPP5模型中;
A4、源域数据集A、目标域数据集B和假目标域数据集C经过基础特征提取模块提取得到对应的图像特征,然后将三个数据提取得到的图像土壤中送入域自适应模块用于域分类任务进而计算域分类损失;
A5、源域数据集A和目标域数据集B提取得到的图像特征输入到YOLO-SPP5模型进行目标检测任务,进而计算YOLO-SPP5模型的目标检测损失;
A6、当域分类损失和YOLO-SPP5模型的目标检测损失都达到收敛时完成训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211252160.6A CN115588130B (zh) | 2022-10-13 | 2022-10-13 | 一种基于域自适应的跨域yolo检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211252160.6A CN115588130B (zh) | 2022-10-13 | 2022-10-13 | 一种基于域自适应的跨域yolo检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115588130A true CN115588130A (zh) | 2023-01-10 |
CN115588130B CN115588130B (zh) | 2024-08-16 |
Family
ID=84779302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211252160.6A Active CN115588130B (zh) | 2022-10-13 | 2022-10-13 | 一种基于域自适应的跨域yolo检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115588130B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116862868A (zh) * | 2023-07-05 | 2023-10-10 | 重庆大学 | 低光度混凝土桥梁表观病害智能检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210279513A1 (en) * | 2019-03-21 | 2021-09-09 | Tecent Technology (Shenzhen) Company Limited | Target detection method and apparatus, model training method and apparatus, device, and storage medium |
CN114596477A (zh) * | 2022-03-16 | 2022-06-07 | 东南大学 | 基于领域自适应和注意力机制的雾天火车故障检测方法 |
-
2022
- 2022-10-13 CN CN202211252160.6A patent/CN115588130B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210279513A1 (en) * | 2019-03-21 | 2021-09-09 | Tecent Technology (Shenzhen) Company Limited | Target detection method and apparatus, model training method and apparatus, device, and storage medium |
CN114596477A (zh) * | 2022-03-16 | 2022-06-07 | 东南大学 | 基于领域自适应和注意力机制的雾天火车故障检测方法 |
Non-Patent Citations (3)
Title |
---|
TIAN Y 等: "Image and feature space based domain adaptation for vehicle detection", 《COMPUTERS, MATERIALS & CONTINUA》, vol. 65, no. 03, 5 June 2020 (2020-06-05), pages 2397 - 2412 * |
小楞: "yolov3-SPP深度剖析", pages 1 - 4, Retrieved from the Internet <URL:《https://blog.csdn.net/qq_33270279/article/details/103898245》> * |
范佳琦 等: "基于单阶段算法的智能汽车跨域检测研究", 《中国公路学报》, vol. 35, no. 03, 15 March 2022 (2022-03-15), pages 249 - 262 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116862868A (zh) * | 2023-07-05 | 2023-10-10 | 重庆大学 | 低光度混凝土桥梁表观病害智能检测方法 |
CN116862868B (zh) * | 2023-07-05 | 2024-07-09 | 重庆大学 | 低光度混凝土桥梁表观病害智能检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115588130B (zh) | 2024-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022111219A1 (zh) | 一种域自适应设备运检系统和方法 | |
CN106547880B (zh) | 一种融合地理区域知识的多维度地理场景识别方法 | |
CN115049936B (zh) | 一种面向高分遥感影像的边界增强型语义分割方法 | |
CN109949316A (zh) | 一种基于rgb-t融合的电网设备图像弱监督实例分割方法 | |
CN113673425B (zh) | 一种基于Transformer的多视角目标检测方法及系统 | |
CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
CN113313082B (zh) | 一种基于多任务损失函数的目标检测方法及系统 | |
CN114117614B (zh) | 一种建筑物立面纹理自动生成方法和系统 | |
CN113255589A (zh) | 一种基于多卷积融合网络的目标检测方法及系统 | |
CN112084859A (zh) | 一种基于稠密边界块和注意力机制的建筑物分割方法 | |
CN112507904B (zh) | 一种基于多尺度特征的教室人体姿态实时检测方法 | |
CN112633220A (zh) | 一种基于双向序列化建模的人体姿态估计方法 | |
CN114820655A (zh) | 可靠区域作为注意力机制监督的弱监督建筑物分割方法 | |
CN111652240A (zh) | 一种基于cnn的图像局部特征检测与描述方法 | |
CN114332942A (zh) | 基于改进YOLOv3的夜间红外行人检测方法及系统 | |
CN113850324A (zh) | 一种基于Yolov4的多光谱目标检测方法 | |
CN112700476A (zh) | 一种基于卷积神经网络的红外船视频跟踪方法 | |
CN115588130A (zh) | 一种基于域自适应的跨域yolo检测方法 | |
CN116188996A (zh) | 一种多尺度语义信息和边界信息的遥感图像语义分割方法 | |
CN112819837A (zh) | 一种基于多源异构遥感影像的语义分割方法 | |
CN115082798A (zh) | 一种基于动态感受野的输电线路销钉缺陷检测方法 | |
CN118097268A (zh) | 一种基于监控场景的长尾目标检测方法 | |
CN114511627A (zh) | 一种目标果实定位分割方法及系统 | |
CN113239931A (zh) | 一种物流站车牌识别的方法 | |
CN113066074A (zh) | 一种基于双目视差偏移融合的视觉显著性预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |