CN111882055B - 一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法 - Google Patents

一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法 Download PDF

Info

Publication number
CN111882055B
CN111882055B CN202010540046.8A CN202010540046A CN111882055B CN 111882055 B CN111882055 B CN 111882055B CN 202010540046 A CN202010540046 A CN 202010540046A CN 111882055 B CN111882055 B CN 111882055B
Authority
CN
China
Prior art keywords
data set
domain
domain data
target
adaptive model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010540046.8A
Other languages
English (en)
Other versions
CN111882055A (zh
Inventor
刘启和
杨红
周世杰
程红蓉
谭浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010540046.8A priority Critical patent/CN111882055B/zh
Publication of CN111882055A publication Critical patent/CN111882055A/zh
Application granted granted Critical
Publication of CN111882055B publication Critical patent/CN111882055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法,包括:S1,源域数据集和目标域数据集预处理;S2,使用CycleGAN网络将源域数据集转换为接近目标域数据集的中间域数据集,并将中间域数据集输入Faster R‑CNN网络进行训练,得到初步域自适应模型Q;将目标域数据集重新输入到模型Q中,获得带伪标签的目标域数据集;S3,将中间域数据集与带伪标签的目标域数据集轮流输入模型Q进行迭代式地更新与优化,最终得到基于CycleGAN与伪标签的目标检测域自适应模型。本发明通过利用置信度改进Faster R‑CNN网络的目标检测总损失函数来训练得到的目标检测域自适应模型,能够解决两个域之间由于存在分布差异而导致目标检测出现域漂移的问题。

Description

一种基于CycleGAN与伪标签的目标检测自适应模型的构建 方法
技术领域
本发明涉及深度学习技术领域,尤其是一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法。
背景技术
现有的基于深度神经网络(如AlexNet、VGGNet、GoogleNet和ResNet等)的目标检测方法,在训练集和测试集数据分布严格一致的情况下,可使学习得到的模型应用于测试集,也可获得较高的检测精度。然而,将通过训练集训练好的模型部署在实际自然场景中,由于实际自然场景环境往往不可控,例如对象外观、背景、光照、气候、图像质量等方面的巨大差异,使得两者之间的数据分布存在差异,导致通过训练集训练得到的模型应用于现实世界中检测精度会出现大幅度下降,出现域漂移问题。此时想要解决模型域漂移问题,最直接的方法是重新收集真实场景数据集,加以重新标注并训练。但是基于深度神经网络的目标检测方法对于样本数据往往依赖于大量的边框标注信息,收集并标注这些样本费时费力,导致训练成本增加。此外,针对测试集进行了目标检测任务的边框标注工作,花费了大量的时间与人力,然而当转换到对另一自然场景下完成检测任务时,当前的标注会因为测试集的更换变得不可用,造成了极大的浪费。考虑到工作在相同场景下的目标检测任务之间的数据分布虽有差异,但是两个域之间的特征又具有一定的相似性,因此可以利用这个相似性实现知识迁移。
发明内容
本发明所要解决的技术问题是:针对两个域之间由于存在分布差异而导致目标检测出现域漂移的问题,提供一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法,该方法通过改进Faster R-CNN网络的目标检测总损失函数来训练得到基于CycleGAN与伪标签的目标检测域自适应模型。
本发明采用的技术方案如下:
一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法,包括如下步骤:
S1,源域数据集和目标域数据集预处理,将预处理后的源域数据集和目标域数据集用于执行S2-S3;
S2,使用CycleGAN网络将源域数据集转换为接近目标域数据集的中间域数据集,并将所述中间域数据集输入到Faster R-CNN网络中进行训练,得到初步域自适应模型Q;然后将目标域数据集重新输入到所述初步域自适应模型Q中,获得带伪标签的目标域数据集;
S3,将中间域数据集与带伪标签的目标域数据集轮流输入到初步域自适应模型Q中进行迭代式地更新与优化,最终得到基于CycleGAN与伪标签的目标检测域自适应模型;训练所述初步域自适应模型Q的损失函数为利用置信度改进Faster R-CNN网络的目标检测总损失函数。
进一步地,步骤S1包括:
S11,源域数据集预处理:
将含有标签数据的源域数据集XS={(s1,q1,a1),(s2,q2,a2),…,(sn,qn,an)}进行尺寸归一化操作,得到预处理后的源域数据集
Figure BDA0002538590780000021
其中,n为XS中图像样本的个数,sj代表XS中第j个图像样本,qj代表XS中第j个图像样本中含有的标签数据,qj代表XS中第j个图像样本中含有的位置数据;
Figure BDA0002538590780000022
代表
Figure BDA0002538590780000023
中第j个图像样本,
Figure BDA0002538590780000024
代表
Figure BDA0002538590780000025
中第j个图像样本中含有的标签数据,
Figure BDA0002538590780000026
代表
Figure BDA0002538590780000031
中第j个图像样本中含有的位置数据;
S12,目标域数据集预处理:
将目标域数据集XT={u1,u2,…,uw}进行尺寸归一化操作,得到预处理后的目标域数据集XH={h1,h2,…,hw};其中,w为XT中图像样本的个数,uj代表XT中第j个图像样本,hj代表XH中第j个图像样本。
进一步地,步骤S2中,所述使用CycleGAN网络将源域数据集转换为接近目标域数据集的中间域数据集的方法为:
S211,将源域数据集
Figure BDA0002538590780000032
中的图像样本与目标域数据集XH中的图像样本联合输入到CycleGAN网络中进行训练,得到转换模型D;
S212,将源域数据集
Figure BDA0002538590780000033
中的图像样本重新输入到转换模型D中,得到中间域数据集
Figure BDA0002538590780000034
其中,n代表XM中图像样本的个数,mj代表XM中第j个图像样本。
进一步地,步骤S2中,将所述中间域数据集输入到Faster R-CNN网络中进行训练,得到初步域自适应模型Q的方法为:
S221,设置模型训练迭代次数episode;
S222,将中间域数据集XM输入到FasterR-CNN网络中进行训练,通过目标检测总损失函数对FasterR-CNN网络中的参数进行更新与优化,当训练迭代次数达到episode时,训练结束,得到初步域自适应模型Q。
进一步地,所述目标检测总损失函数为:
LFaster R-CNN=LRPN_cls+LRPN_reg+LRoIHead_cls+LRoIHead_reg
其中:
Figure BDA0002538590780000035
Figure BDA0002538590780000036
Figure BDA0002538590780000041
Figure BDA0002538590780000042
表示anchor的编号;pi表示第i个anchor为目标物体的概率;ti表示目标物体预测边框,
Figure BDA0002538590780000043
是目标物体预测边框相对于目标物体真实边框的修正参数,M表示目标物体的类别数量,pis表示第i个anchor作为目标物体s的概率;Ncls与Nreg分别表示mini-batch中使用的数据集样本数量与anchor数量;λ为调整因子。
进一步地,当第i个anchor为目标物体时,
Figure BDA0002538590780000044
当第i个anchor不是目标物体时,
Figure BDA0002538590780000045
当第i个anchor为目标物体s时,
Figure BDA0002538590780000046
当第i个anchor不是目标物体s时,
Figure BDA0002538590780000047
进一步地,所述带伪标签的目标域数据集表示为:
Figure BDA0002538590780000048
其中,w代表
Figure BDA0002538590780000049
中图像样本的个数,hj代表
Figure BDA00025385907800000410
中第j个图像样本,cj、vj与dj则分别代表通过初步域自适应模型Q获取得到的
Figure BDA00025385907800000411
中第j个图像样本中包含的伪标签数据、位置数据与置信度数据。
进一步地,步骤S3包括:
S31,设置初步域自适应模型Q进行优化的总迭代轮数β;
S32,设置筛选阈值ε,用于与
Figure BDA00025385907800000412
中的置信度数据进行比较,将置信度小于ε的带伪标签的图像样本从
Figure BDA00025385907800000413
中剔除,得到筛选后的带伪标签的目标域数据集X′T
X′T={(h1,c1,v1,d1),(h2,c2,v2,d2),…,(hf,cf,vf,df)}
其中,f代表X′T中图像样本的个数,
Figure BDA00025385907800000414
f≤w;
S33,设置初步域自适应模型Q优化迭代一次需要的次数σ;
S34,将XM与X′T轮流输入到初步域自适应模型Q中进行再次训练:通过利用置信度改进的目标检测总损失函数对初步域自适应模型Q中的参数进行再一次更新与优化,当训练迭代次数达到σ时,此次训练过程结束,初步域自适应模型Q得以优化;
S35,将XH重新输入到最新一次优化的初步域自适应模型Q中,用以更新伪标签数据、位置数据与置信度数据,再一次得到带伪标签数据的目标域数据集,即
Figure BDA0002538590780000051
S36,重复步骤S32~S35,直到训练迭代总轮数达到β数值时,训练结束,最后获取得到基于CycleGAN与伪标签的目标检测域自适应模型。
进一步地,步骤S34中,在对初步域自适应模型Q的训练过程中,对于中间域数据集XM的图像样本,都将其相应的置信度值设置为1进行处理。
进一步地,所述改进的目标检测总损失函数为:
Figure BDA0002538590780000052
其中:
Figure BDA0002538590780000053
Figure BDA0002538590780000054
Figure BDA0002538590780000055
Figure BDA0002538590780000056
di表示第i个目标物体的置信度,λ1与λ2用于调整置信度对位置回归损失函数
Figure BDA0002538590780000057
Figure BDA0002538590780000058
影响的调整因子。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1、本发明通过利用置信度改进Faster R-CNN网络的目标检测总损失函数来训练得到基于CycleGAN与伪标签的目标检测域自适应模型,实现对带伪标签的目标域样本数据的权重约束,进而减轻错误或不准确带伪标签的目标域样本数据对域自适应模型的影响,最终利用设计的损失函数训练目标检测模型,用以解决两个域之间由于存在分布差异而导致目标检测模型出现域漂移问题,最终利用设计的损失函数训练目标检测模型,进而解决两个域之间由于存在分布差异而导致目标检测模型出现域漂移问题。
2、本发明在训练得到基于CycleGAN与伪标签的目标检测域自适应模型前,通过设置阈值筛选带伪标签的目标域数据集,可以提高带伪标签的目标域数据集对模型的影响。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明的基于CycleGAN与伪标签的目标检测自适应模型的构建方法的流程图。
具体实施方式
以下结合实施例对本发明的特征和性能作进一步的详细描述。
如图1所示,本实施例的一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法,包括:
S1,源域数据集和目标域数据集预处理,将预处理后的源域数据集和目标域数据集用于执行S2-S3;
S11,源域数据集预处理:
将含有标签数据的源域数据集XS={(s1,q1,a1),(s2,q2,a2),…,(sn,qn,an)}进行尺寸归一化操作,得到预处理后的源域数据集
Figure BDA0002538590780000071
其中,n为XS中图像样本的个数,sj代表XS中第j个图像样本,qj代表XS中第j个图像样本中含有的标签数据,aj代表XS中第j个图像样本中含有的位置数据;
Figure BDA0002538590780000072
代表
Figure BDA0002538590780000073
中第j个图像样本,
Figure BDA0002538590780000074
代表
Figure BDA0002538590780000075
中第j个图像样本中含有的标签数据,
Figure BDA0002538590780000076
代表
Figure BDA0002538590780000077
中第j个图像样本中含有的位置数据;
S12,目标域数据集预处理:
将目标域数据集XT={u1,u2,…,uw}进行尺寸归一化操作,得到预处理后的目标域数据集XH={h1,h2,…,hw};其中,w为XT中图像样本的个数,uj代表XT中第j个图像样本,hj代表XH中第j个图像样本。
S2,使用CycleGAN网络将源域数据集转换为接近目标域数据集的中间域数据集,并将所述中间域数据集输入到Faster R-CNN网络中进行训练,得到初步域自适应模型Q;然后将目标域数据集重新输入到所述初步域自适应模型Q中,获得带伪标签的目标域数据集:
S21,使用CycleGAN网络将源域数据集转换为接近目标域数据集的中间域数据集:
S211,将源域数据集
Figure BDA0002538590780000079
中的图像样本与目标域数据集
Figure BDA00025385907800000710
中的图像样本联合输入到CycleGAN网络中进行训练,得到转换模型D;
S212,将源域数据集
Figure BDA00025385907800000711
中的图像样本重新输入到转换模型D中,得到中间域数据集
Figure BDA0002538590780000078
其中,n代表XM中图像样本的个数,mj代表XM中第j个图像样本。
S22,将所述中间域数据集输入到Faster R-CNN网络中进行训练,得到初步域自适应模型Q:
S221,设置模型训练迭代次数episode;
S222,将中间域数据集XM输入到FasterR-CNN网络中进行训练,通过目标检测总损失函数对FasterR-CNN网络中的参数进行更新与优化,当训练迭代次数达到episode时,训练结束,得到初步域自适应模型Q;
FasterR-CNN网络的目标检测总损失函数由以下四个部分损失组成:
(1)PRN网络的分类损失:判断anchor是前景还是背景;
(2)PRN网络的位置回归损失:对anchor位置微调;
(3)RoIHead网络的分类损失:对目标物体进一步细分,判断物体所属类别;
(4)RoIHead网络的位置回归损失:对获取得到的位置进一步微调。
基于上述四个部分损失,所述目标检测总损失函数为:
LFaster R-CNN=LRPN_cls+LRPN_reg+LRoIHead_cls+LRoIHead_reg
其中:
Figure BDA0002538590780000081
Figure BDA0002538590780000082
Figure BDA0002538590780000083
Figure BDA0002538590780000084
i表示anchor(应当理解,anchor表示输入的图片经过卷积操作得到的特征图feature map使用滑动窗口通过滑动操作得到的矩形框)的编号;pi表示第i个anchor为目标物体的概率(当第i个anchor为目标物体时,
Figure BDA0002538590780000085
当第i个anchor不是目标物体时,
Figure BDA0002538590780000091
);ti表示目标物体预测边框,
Figure BDA0002538590780000092
是目标物体预测边框相对于目标物体真实边框的修正参数,pis表示第i个anchor作为目标物体的概率(当第i个anchor为目标物体s时,
Figure BDA0002538590780000093
当第i个anchor不是目标物体s时,
Figure BDA0002538590780000094
);Ncls与Nreg分别表示mini-batch中使用的数据集样本数量与anchor数量;λ为调整因子,用于控制相应式子,避免模型训练过程中过于偏爱某个损失函数,从而导致检测性能下降。
S23,将目标域数据集重新输入到所述初步域自适应模型Q中,获得带伪标签的目标域数据集:
所述带伪标签的目标域数据集表示为:
Figure BDA0002538590780000095
其中,w代表
Figure BDA0002538590780000096
中图像样本的个数,hj代表
Figure BDA0002538590780000097
中第j个图像样本,cj、υj与dj则分别代表通过初步域自适应模型Q获取得到的
Figure BDA0002538590780000098
中第j个图像样本中包含的伪标签数据、位置数据与置信度数据。置信度数据为初步域自适应模型Q认为
Figure BDA0002538590780000099
中的图像检测得到的边框(即位置数据)确实存在一个目标的可能性评估,因此当置信度越大时,表明预测得到的伪标签数据越准确可靠。
S3,将中间域数据集与带伪标签的目标域数据集轮流输入到初步域自适应模型Q中进行迭代式地更新与优化,最终得到基于CycleGAN与伪标签的目标检测域自适应模型;训练所述初步域自适应模型Q的损失函数为利用置信度改进Faster R-CNN网络的目标检测总损失函数:
S31,设置初步域自适应模型Q进行优化的总迭代轮数β;
S32,设置筛选阈值ε,一般取ε=0.6,用于与
Figure BDA00025385907800000910
中的置信度数据进行比较,将置信度小于ε的带伪标签的图像样本从
Figure BDA00025385907800000911
中剔除,得到筛选后的带伪标签的目标域数据集X′T
X′T={(h1,c1,v1,d1),(h2,c2,v2,d2),…,(hf,cf,vf,df)}
其中,f代表X′T中图像样本的个数,
Figure BDA0002538590780000101
f≤w;通过该步骤,可以提高带伪标签的目标域数据集对模型的影响;
S33,设置初步域自适应模型Q优化迭代一次需要的次数σ;
S34,将XM与X′T轮流输入到初步域自适应模型Q中进行再次训练:通过利用置信度改进的目标检测总损失函数对初步域自适应模型Q中的参数进行再一次更新与优化,当训练迭代次数达到σ时,此次训练过程结束,初步域自适应模型Q得以优化;由于中间域数据集XM中只包含有标签数据与位置数据,不包含有置信度数据,因此在对初步域自适应模型Q的训练过程中,对于中间域数据集XM的图像样本,都将其相应的置信度值设置为1进行处理,以避免对模型的影响。
该步骤中,利用带伪标签的目标域数据集中的置信度数据改进FasterR-CNN网络的目标检测总损失函数,具体是在RPN网络与RoIHead网络上添加对位置回归损失函数的权重约束,实现对带伪标签的目标域样本数据的权重约束,进而减轻错误或不准确带伪标签的目标域样本数据对域自适应模型的影响,以此训练得到的域自适应模型,可以实现对域间共性特征的强对齐效果。所述改进的目标检测总损失函数为:
Figure BDA0002538590780000102
其中:
Figure BDA0002538590780000103
Figure BDA0002538590780000104
Figure BDA0002538590780000105
Figure BDA0002538590780000111
di表示第i个目标物体的置信度,λ1与λ2用于调整置信度对位置回归损失函数
Figure BDA0002538590780000112
Figure BDA0002538590780000113
影响的调整因子。
S35,将XH重新输入到最新一次优化的初步域自适应模型Q中,用以更新伪标签数据、位置数据与置信度数据,再一次得到带伪标签数据的目标域数据集,即
Figure BDA0002538590780000114
,通过该步骤可以提高伪标签数据的准确性,进而减轻不准确伪标签对模型的负面影响。
S36,重复步骤S32~S35,直到训练迭代总轮数达到β数值时,训练结束,最后获取得到基于CycleGAN与伪标签的目标检测域自适应模型。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法,其特征在于,包括如下步骤:
S1,源域数据集和目标域数据集预处理,将预处理后的源域数据集和目标域数据集用于执行S2-S3;
S2,使用CycleGAN网络将源域数据集转换为接近目标域数据集的中间域数据集,并将所述中间域数据集输入到Faster R-CNN网络中进行训练,得到初步域自适应模型Q;然后将目标域数据集重新输入到所述初步域自适应模型Q中,获得带伪标签的目标域数据集;
S3,将中间域数据集与带伪标签的目标域数据集轮流输入到初步域自适应模型Q中进行迭代式地更新与优化,最终得到基于CycleGAN与伪标签的目标检测域自适应模型;训练所述初步域自适应模型Q的损失函数为利用置信度改进Faster R-CNN网络的目标检测总损失函数;
所述目标检测总损失函数为:
LFaster R-CNN=LRPN_cls+LRPN_reg+LRoIHead_cls+LRoIHead_reg
其中:
Figure FDA0003593378210000011
Figure FDA0003593378210000012
Figure FDA0003593378210000013
Figure FDA0003593378210000014
i表示anchor的编号;pi表示第i个anchor为目标物体的概率;ti表示目标物体预测边框,
Figure FDA0003593378210000015
是目标物体预测边框相对于目标物体真实边框的修正参数,M表示目标物体的类别数量,pis表示第i个anchor作为目标物体s的概率;Ncls与Nreg分别表示mini-batch中使用的数据集样本数量与anchor数量;λ为调整因子;
所述改进的目标检测总损失函数为:
Figure FDA0003593378210000021
其中:
Figure FDA0003593378210000022
Figure FDA0003593378210000023
Figure FDA0003593378210000024
Figure FDA0003593378210000025
di表示第i个目标物体的置信度,λ1与λ2用于调整置信度对位置回归损失函数
Figure FDA0003593378210000026
Figure FDA0003593378210000027
影响的调整因子。
2.根据权利要求1所述的基于CycleGAN与伪标签的目标检测自适应模型的构建方法,其特征在于,步骤S1包括:
S11,源域数据集预处理:
将含有标签数据的源域数据集Xs={(s1,q1,a1),(s2,q2,a2),…,(sn,qn,an)}进行尺寸归一化操作,得到预处理后的源域数据集
Figure FDA0003593378210000028
其中,n为Xs中图像样本的个数,sj代表Xs中第j个图像样本,qj代表Xs中第j个图像样本中含有的标签数据,aj代表Xs中第j个图像样本中含有的位置数据;
Figure FDA0003593378210000029
代表
Figure FDA00035933782100000210
中第j个图像样本,
Figure FDA00035933782100000211
代表
Figure FDA00035933782100000212
中第j个图像样本中含有的标签数据,
Figure FDA00035933782100000213
代表
Figure FDA00035933782100000214
中第j个图像样本中含有的位置数据;
S12,目标域数据集预处理:
将目标域数据集XT={u1,u2,…,uw}进行尺寸归一化操作,得到预处理后的目标域数据集XH={h1,h2,…,hw};其中,w为XT中图像样本的个数,uj代表XT中第j个图像样本,hj代表XH中第j个图像样本。
3.根据权利要求2所述的基于CycleGAN与伪标签的目标检测自适应模型的构建方法,其特征在于,步骤S2中,所述使用CycleGAN网络将源域数据集转换为接近目标域数据集的中间域数据集的方法为:
S211,将源域数据集
Figure FDA0003593378210000031
中的图像样本与目标域数据集XH中的图像样本联合输入到CycleGAN网络中进行训练,得到转换模型D;
S212,将源域数据集
Figure FDA0003593378210000032
中的图像样本重新输入到转换模型D中,得到中间域数据集
Figure FDA0003593378210000033
其中,n代表XM中图像样本的个数,mj代表XM中第j个图像样本。
4.根据权利要求3所述的基于CycleGAN与伪标签的目标检测自适应模型的构建方法,其特征在于,步骤S2中,将所述中间域数据集输入到Faster R-CNN网络中进行训练,得到初步域自适应模型Q的方法为:
S221,设置模型训练迭代次数episode;
S222,将中间域数据集XM输入到FasterR-CNN网络中进行训练,通过目标检测总损失函数对FasterR-CNN网络中的参数进行更新与优化,当训练迭代次数达到episode时,训练结束,得到初步域自适应模型Q。
5.根据权利要求4所述的基于CycleGAN与伪标签的目标检测自适应模型的构建方法,其特征在于,当第i个anchor为目标物体时,
Figure FDA0003593378210000034
当第i个anchor不是目标物体时,
Figure FDA0003593378210000035
当第i个anchor为目标物体s时,
Figure FDA0003593378210000036
当第i个anchor不是目标物体s时,
Figure FDA0003593378210000037
6.根据权利要求5所述的基于CycleGAN与伪标签的目标检测自适应模型的构建方法,其特征在于,所述带伪标签的目标域数据集表示为:
Figure FDA0003593378210000041
其中,w代表
Figure FDA0003593378210000042
中图像样本的个数,hj代表
Figure FDA0003593378210000043
中第j个图像样本,cj、vj与dj则分别代表通过初步域自适应模型Q获取得到的
Figure FDA0003593378210000044
中第j个图像样本中包含的伪标签数据、位置数据与置信度数据。
7.根据权利要求6所述的基于CycleGAN与伪标签的目标检测自适应模型的构建方法,其特征在于,步骤S3包括:
S31,设置初步域自适应模型Q进行优化的总迭代轮数β;
S32,设置筛选阈值ε,用于与
Figure FDA0003593378210000045
中的置信度数据进行比较,将置信度小于ε的带伪标签的图像样本从
Figure FDA0003593378210000046
中剔除,得到筛选后的带伪标签的目标域数据集X′T
X′T={(h1,c1,v1,d1),(h2,c2,v2,d2),…,(hf,cf,vf,df)}
其中,f代表X′T中图像样本的个数,
Figure FDA0003593378210000047
S33,设置初步域自适应模型Q优化迭代一次需要的次数σ;
S34,将XM与X′T轮流输入到初步域自适应模型Q中进行再次训练:通过利用置信度改进的目标检测总损失函数对初步域自适应模型Q中的参数进行再一次更新与优化,当训练迭代次数达到σ时,此次训练过程结束,初步域自适应模型Q得以优化;
S35,将XH重新输入到最新一次优化的初步域自适应模型Q中,用以更新伪标签数据、位置数据与置信度数据,再一次得到带伪标签数据的目标域数据集,即
Figure FDA0003593378210000048
S36,重复步骤S32~S35,直到训练迭代总轮数达到β数值时,训练结束,最后获取得到基于CycleGAN与伪标签的目标检测域自适应模型。
8.根据权利要求7所述的基于CycleGAN与伪标签的目标检测自适应模型的构建方法,其特征在于,步骤S34中,在对初步域自适应模型Q的训练过程中,对于中间域数据集XM的图像样本,都将其相应的置信度值设置为1进行处理。
CN202010540046.8A 2020-06-15 2020-06-15 一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法 Active CN111882055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010540046.8A CN111882055B (zh) 2020-06-15 2020-06-15 一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010540046.8A CN111882055B (zh) 2020-06-15 2020-06-15 一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法

Publications (2)

Publication Number Publication Date
CN111882055A CN111882055A (zh) 2020-11-03
CN111882055B true CN111882055B (zh) 2022-08-05

Family

ID=73157537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010540046.8A Active CN111882055B (zh) 2020-06-15 2020-06-15 一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法

Country Status (1)

Country Link
CN (1) CN111882055B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766334B (zh) * 2021-01-08 2022-06-21 厦门大学 一种基于伪标签域适应的跨域图像分类方法
CN112906857B (zh) * 2021-01-21 2024-03-19 商汤国际私人有限公司 一种网络训练方法及装置、电子设备和存储介质
CN112906769A (zh) * 2021-02-04 2021-06-04 国网河南省电力公司电力科学研究院 一种基于CycleGAN的输变电设备图像缺陷样本增广方法
CN113052184B (zh) * 2021-03-12 2022-11-18 电子科技大学 一种基于两阶段局部特征对齐的目标检测方法
CN113378830B (zh) * 2021-05-06 2024-05-28 北京工业大学 一种基于域适应的可自主学习数据标签生成方法
CN114186615B (zh) * 2021-11-22 2022-07-08 浙江华是科技股份有限公司 船舶检测半监督在线训练方法、装置及计算机存储介质
CN114881129A (zh) * 2022-04-25 2022-08-09 北京百度网讯科技有限公司 一种模型训练方法、装置、电子设备及存储介质
CN114972920B (zh) * 2022-05-30 2024-03-12 西北工业大学 一种多层次无监督领域自适应目标检测识别方法
CN117194983B (zh) * 2023-09-08 2024-04-19 北京理工大学 一种基于渐进式条件域对抗网络的轴承故障诊断方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318214A (zh) * 2014-10-27 2015-01-28 中国科学院自动化研究所 一种基于结构化词典域转移的交叉视角人脸识别方法
CN108256561A (zh) * 2017-12-29 2018-07-06 中山大学 一种基于对抗学习的多源域适应迁移方法及系统
CN109977918A (zh) * 2019-04-09 2019-07-05 华南理工大学 一种基于无监督域适应的目标检测定位优化方法
CN110335193A (zh) * 2019-06-14 2019-10-15 大连理工大学 一种基于生成对抗网络的目标域导向的无监督图像转换方法
CN110427875A (zh) * 2019-07-31 2019-11-08 天津大学 基于深度迁移学习和极限学习机的红外图像目标检测方法
CN110458022A (zh) * 2019-07-10 2019-11-15 中国地质大学(武汉) 一种基于域适应的可自主学习目标检测方法
CN111104982A (zh) * 2019-12-20 2020-05-05 电子科技大学 一种标签无关的跨任务对抗样本生成方法
CN111161191A (zh) * 2019-12-31 2020-05-15 华南理工大学 一种图像增强方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11176477B2 (en) * 2018-02-06 2021-11-16 Hrl Laboratories, Llc System and method for unsupervised domain adaptation via sliced-wasserstein distance
US11494612B2 (en) * 2018-10-31 2022-11-08 Sony Interactive Entertainment Inc. Systems and methods for domain adaptation in neural networks using domain classifier
US11205096B2 (en) * 2018-11-19 2021-12-21 Google Llc Training image-to-image translation neural networks

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318214A (zh) * 2014-10-27 2015-01-28 中国科学院自动化研究所 一种基于结构化词典域转移的交叉视角人脸识别方法
CN108256561A (zh) * 2017-12-29 2018-07-06 中山大学 一种基于对抗学习的多源域适应迁移方法及系统
CN109977918A (zh) * 2019-04-09 2019-07-05 华南理工大学 一种基于无监督域适应的目标检测定位优化方法
CN110335193A (zh) * 2019-06-14 2019-10-15 大连理工大学 一种基于生成对抗网络的目标域导向的无监督图像转换方法
CN110458022A (zh) * 2019-07-10 2019-11-15 中国地质大学(武汉) 一种基于域适应的可自主学习目标检测方法
CN110427875A (zh) * 2019-07-31 2019-11-08 天津大学 基于深度迁移学习和极限学习机的红外图像目标检测方法
CN111104982A (zh) * 2019-12-20 2020-05-05 电子科技大学 一种标签无关的跨任务对抗样本生成方法
CN111161191A (zh) * 2019-12-31 2020-05-15 华南理工大学 一种图像增强方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Domain Adaptive Faster R-CNN for Object Detection in the Wild;Yuhua Chen等;《arXiv:1803.03243v1》;20180308;第1-11页 *
Progressive Domain Adaptation for Object Detection;Han-Kai Hsu等;《arXiv:1910.11319v1》;20191024;第1-9页 *
Self-Training and Adversarial Background Regularization for Unsupervised Domain Adaptive One-Stage Object Detection;Seunghyeon Kim等;《2019 IEEE/CVF International Conference on Computer Vision (ICCV)》;20191231;第6091-6100页 *
Unsupervised Adversarial Visual Level Domain Adaptation for Learning Video Object Detectors from Images;Avisek Lahiri等;《arXiv:1810.02074v1》;20181004;第1-10页 *
一种基于样本选择和在线字典学习的域适应图像分类算法;张旭等;《苏州市职业大学学报》;20180630;第29卷(第2期);第17-22页 *
目标检测的自适应方法研究与应用;杨红;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200715(第(2020)07期);I138-930 *
领域自适应目标识别综述;唐宋等;《中兴通讯技术》;20170717;第23卷(第4期);第25-31页 *

Also Published As

Publication number Publication date
CN111882055A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN111882055B (zh) 一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法
CN111191732B (zh) 一种基于全自动学习的目标检测方法
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN112766334B (zh) 一种基于伪标签域适应的跨域图像分类方法
CN112015863A (zh) 一种基于图神经网络的多元特征融合中文文本分类方法
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
CN111325711A (zh) 一种基于深度学习的染色体分裂相图像质量评价方法
CN111239137B (zh) 基于迁移学习与自适应深度卷积神经网络的谷物质量检测方法
CN113469186A (zh) 一种基于少量点标注的跨域迁移图像分割方法
CN111833313A (zh) 基于深度主动学习的工业产品表面缺陷检测方法及系统
CN114357221B (zh) 一种基于图像分类的自监督主动学习方法
CN116258175A (zh) 一种基于主动学习的焊缝缺陷智能识别模型进化方法
CN114818912A (zh) 一种基于自训练的无监督域自适应目标检测方法
CN111563721B (zh) 一种适用于不同标签分布场合的邮件分类方法
CN113139612A (zh) 图像分类方法、分类网络的训练方法和相关产品
CN114495114B (zh) 基于ctc解码器的文本序列识别模型校准方法
CN112766354B (zh) 一种基于知识图谱的小样本图片识别方法及系统
CN114821184A (zh) 一种基于均衡互补熵的长尾图像分类方法及系统
CN112950655A (zh) 基于深度学习的土地利用信息自动提取方法
CN113076823A (zh) 一种年龄预测模型的训练方法、年龄预测方法及相关装置
CN114692724B (zh) 数据分类模型的训练方法、数据分类方法和装置
CN116384439B (zh) 一种基于自蒸馏的目标检测方法
CN113313179B (zh) 一种基于l2p范数鲁棒最小二乘法的噪声图像分类方法
CN111860547B (zh) 基于稀疏表示的图像分割方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant