CN113807420B - 一种考虑类别语义匹配的域自适应目标检测方法及系统 - Google Patents
一种考虑类别语义匹配的域自适应目标检测方法及系统 Download PDFInfo
- Publication number
- CN113807420B CN113807420B CN202111036092.5A CN202111036092A CN113807420B CN 113807420 B CN113807420 B CN 113807420B CN 202111036092 A CN202111036092 A CN 202111036092A CN 113807420 B CN113807420 B CN 113807420B
- Authority
- CN
- China
- Prior art keywords
- target
- domain
- category
- class
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 115
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000003044 adaptive effect Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 238000011160 research Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000012805 post-processing Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 101150064138 MAP1 gene Proteins 0.000 claims 1
- 101150077939 mapA gene Proteins 0.000 claims 1
- 230000001737 promoting effect Effects 0.000 abstract description 2
- 230000006872 improvement Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000006978 adaptation Effects 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种考虑类别语义匹配的域自适应目标检测方法及系统。该方法包括:步骤1,获取源域带标签图像和目标域无标签图像;步骤2,使用源域带标签图像训练得到经过预训练的基础目标检测器;步骤3,在经过预训练的基础目标检测器上增加域自适应组件,使用源域带标签图像和目标域无标签图像训练得到经过训练的域自适应目标检测模型;步骤4,移除增加的域自适应组件,使用经过训练的域自适应目标检测模型对目标域场景进行目标检测。本发明考虑了跨域目标检测中两域特定类别语义匹配的问题,避免源域和目标域的目标类别在共享类别空间中出现错误对齐的问题,从而促使目标检测模型在目标域上的检测性能得到进一步提高。
Description
技术领域
本发明属于计算机视觉目标检测领域,尤其涉及一种考虑类别语义匹配的域自适应目标检测方法及系统。
背景技术
在数据规模剧增、计算能力进步以及算法创新等诸多因素的共同作用下,深度学习得以迅速崛起并取得长足发展,在计算机视觉领域展现出强大的优势。近年来,基于深度学习的目标检测方法借助大规模、带标签的数据来训练目标检测模型,已经在多种公开的数据集上取得了卓著的成果。在实际应用中,训练数据集(称为源域)和测试数据集(称为目标域)的分布通常存在着差异,如果将从源域训练得的目标检测模型应用到目标域,那么模型可能会因域漂移问题而出现明显的性能退化,这便对目标检测模型的泛化能力提出了挑战。
域自适应作为迁移学习的重要分支,为上述问题提供了一种新的解决方案。在目标域缺少可用带标签数据的困境下,域自适应设法将知识从源域迁移到目标域,使得在源域上训练得到的模型能够泛化到目标域。目标检测任务需要同时确定图像中特定实例的位置及其所属类别,与图像分类任务相比,考虑域自适应问题时就会更加复杂。近年来,针对目标检测域自适应问题的研究也得到了越来越多的关注。
申请公布号为CN111860670A(域自适应模型训练、图像检测方法、装置、设备及介质)的专利文献先后使用局部特征模型和全局特征模型分别对局部特征和全局特征进行对齐,该方法利用对抗特征学习策略在图像级和实例级上较好地保持了特征的域不变性,但是经过局部对齐后的实例级特征在类别语义层面仍然处于混乱的状态,不同目标类别在共享的类别空间中并不能得到很好的对齐。
申请公布号为CN112926599A(目标检测方法、装置、智能终端及计算机可读存储介质)的专利文献在进行全局特征弱对齐和局部特征强对齐后,通过特征解耦的方式分离出域不变特征和域特定特征,由此便可以专注于域不变实例级特征的对齐。该方法虽然考虑了对目标检测非常重要的实例级表示,但是忽略了这些实例级表示的可判别性,两域实例级表示的类别可能会出现错误匹配。
授权公告号为CN111950608B(一种基于对比损失的域自适应物体检测方法)的专利文献先使用风格迁移前后的对比损失对预训练后的检测器进行初次微调,再使用初次微调后的检测器为目标域无标签图像打上伪标签,最后使用带伪标签的目标域无标签图像对检测器进行再次微调。为选取正确伪标签,该方法只保留预测概率大于给定阈值的目标。由于预先给定的阈值并不总是最优,因此过滤后得到的伪标签仍普遍存在噪声,这将导致训练过程中误差的累积。
综上所述,当前域自适应目标检测方法大多通过对抗学习域不变特征的策略来提高目标检测模型在各种跨域场景下的检测性能。然而,这些方法往往只是从宏观的角度来对齐源域和目标域的分布,忽略了两域特定类别的语义信息,极易造成类别语义的错误匹配,进而限制了目标检测模型跨域检测性能的提高。而一些使用伪标签进行自训练的方法虽然克服了目标域缺乏带标签数据的困难,在一定程度上提高了目标检测模型的跨域鲁棒性,但是由于选取伪标签的策略不够合理,造成误差的累积而损害跨域目标检测模型的性能。
发明内容
鉴于现有技术的缺点与不足,本发明的目的在于提供一种考虑类别语义匹配的域自适应目标检测方法及系统,在对齐源域和目标域全局特征的同时,考虑两域特定类别语义匹配的问题,避免源域和目标域的目标类别在共享类别空间中出现错误对齐的问题,从而促使目标检测模型在目标域上的检测性能得到进一步提高。
为实现上述目的,本发明的技术方案为:
一种考虑类别语义匹配的域自适应目标检测方法,包括如下步骤:
步骤1,获取源域带标签图像和目标域无标签图像;
步骤2,使用源域带标签图像训练得到经过预训练的基础目标检测器;
步骤3,在经过预训练的基础目标检测器上增加域自适应组件,使用源域带标签图像和目标域无标签图像训练得到经过训练的域自适应目标检测模型;
步骤4,移除增加的域自适应组件,使用经过训练的域自适应目标检测模型对目标域场景进行目标检测。
进一步的改进,所述步骤1包括如下步骤:
步骤1.1,获取目标域无标签图像:根据实际应用需求,采集待检测场景的图像,使用采集得到的图像创建数据集作为无标签的目标域,无标签的目标域中的图像即目标域无标签图像;
步骤1.2,获取源域带标签图像:针对目标域待检测目标的类别,选取与目标检测任务相关的公开数据集作为源域,源域中的图像即源域带标签图像;
源域记为其中表示第i张源域带标签图像,表示第i张源域带标签图像对应的标签,包括边界框标签b以及对应的类别标签c;Ns表示源域带标签图像的数量;
目标域记为其中表示第j张目标域无标签图像,Nt表示目标域无标签图像的数量;
源域和目标域共享K个目标类别即c∈{1,2,…,K}。
进一步的改进,所述步骤2包括如下步骤:
步骤2.1,主干网络G提取源域带标签图像的特征:选用Faster R-CNN作为基础目标检测器,选用VGG16作为Faster R-CNN的主干网络G,输入图像依次经过随机水平翻转、特征归一化和等比例缩放的预处理操作,通过主干网络G的系列卷积块对预处理后的图像进行特征提取,得到源域带标签图像的特征图
步骤2.2,区域生成网络(RPN)生成候选区域:先使用3×3滑动窗口对特征图进行卷积运算,再经过两个1×1卷积层分别预测特征图在当前窗口位置上的前景概率和边界框回归参数;通过先验框模板生成特征图对应源域带标签图像上的所有先验框;将预测的边界框回归参数应用到先验框上以获得候选框,移除小于指定尺寸的候选框后,再经过非极大值抑制处理,最后根据预测的前景概率保留前2000个概率最大的候选框,区域生成网络的损失包括分类损失项和回归损失项
步骤2.3,通过兴趣区域头部网络(RoI Head)预测最终的分类结果和边界框回归结果:不同尺寸大小候选框内的候选区域经过兴趣区域头部网络的兴趣区域对齐(RoIAlign)后都转变成维度固定的特征向量,随后经过两个全连接层分别进行目标类别概率预测和边界框回归参数预测;兴趣区域头部网络的损失包括分类损失项和回归损失项
步骤2.4,通过优化器获取基础目标检测器的损失并对基础目标检测器进行优化:基础目标检测器的损失为区域生成网络损失和兴趣区域头部网络损失之和,如公式(1)所示:
使用随机梯度下降算法对基础目标检测器损失进行优化,优化过程多次遍历数据集,参与训练的每一批次图像都重复经过步骤2.1、步骤2.2、步骤2.3,直至达到设定的总遍历次数,并完成损失的收敛,最终获得经过预训练的基础目标检测器。
进一步的改进,所述步骤3包括如下步骤:
步骤3.1,在经过预训练的基础目标检测器增加域自适应组件;
步骤3.2,使用源域带标签图像和目标域无标签图像训练得到域自适应目标检测模型;
所述步骤3.1,包括如下步骤:
步骤3.1.1,增加全局特征判别组件:在主干网络G的输出位置构建域判别器D,域判别器D用于区分主干网络G输出的特征图来自源域还是目标域;在主干网络G和域判别器D之间引入梯度反转层,梯度反转层用于在反向传播时对梯度符号取反,实现主干网络G和域判别器D的对抗训练,从而对齐源域和目标域的全局特征;
采用焦点损失计算域判别器D的损失:
其中,为使用焦点损失计算域判别器D对源域样本的分类损失,为使用焦点损失计算域判别器D对目标域样本的分类损失,为域判别器D对源域和目标域样本的总分类损失,即全局特征判别损失;κ为聚焦参数,用来控制对难分类样本施加的权重;D()表示域分类器D预测样本属于源域的概率;
步骤3.1.2,增加伪标签动态选取组件:
基于源域带标签图像边界框标签b以及对应的类别标签c,根据公式(5),使用所有属于类别c的源域目标类别样本计算对应类别的中心点特征表示得到源域所有目标类别在嵌入空间中的中心点特征表示
其中,Sc表示属于类别c的所有源域目标类别样本集合;表示第i个源域目标类别样本;R表示嵌入函数,具体为兴趣区域对齐以及随后的两个串联全连接层;|Sc|表示属于类别c的源域目标类别样本的数量;
使用步骤2中预训练的基础目标检测器为目标域所有无标签图像赋予伪标签,伪标签包括边界框伪标签以及对应的类别伪标签;根据公式(6),计算伪标签下第j个目标域目标类别样本在嵌入空间中与所有源域目标类别中心点特征表示之间的相似性分数将保存到属于类别c'的所有目标域目标类别样本集合Tc'中,其中
其中,cos()为余弦相似度;
根据公式(7)在训练过程中对阈值τ进行动态调整;对于中的每个目标域类别样本如果相似性分数σ大于或等于当前的阈值τ,那么就选取该目标类别样本,并保存到经过选取的属于类别c'的所有目标域目标类别样本集合中,否则不选取;
其中,α和β为常数;n为当前遍历次数,n={1,2,…,max_epoch};表示各个类别的目标域目标类别样本集合的集合,表示经过选取的属于类别c'的所有目标域目标类别样本集合;max_epoch表示设定的最大遍历次数;
步骤3.1.3,增加类别语义匹配组件:在选取具有正确伪标签的目标类别样本后,在类别空间中对齐源域和目标域目标类别的分布,从而增强目标类别特征的可判别性:
基于选取后的目标域目标类别样本,根据公式(8),使用所有属于类别c'的目标域目标类别样本计算对应类别的中心点特征表示得到目标域所有目标类别在嵌入空间中的中心点特征表示
其中,表示经过选取的属于类别c'的所有目标域目标类别样本集合;表示第j个目标域目标类别样本;R表示嵌入函数,具体为兴趣区域对齐以及随后的两个串联全连接层;表示经过选取的属于类别c'的目标域目标类别样本的数量;
使用指数加权平均策略对源域和目标域的所有目标类别在嵌入空间中的中心点特征表示进行动态更新;当对源域目标类别中心点特征表示进行更新时,基于属于类别c的所有源域目标类别样本集合Sc,根据公式(5)对目标类别中心点特征表示进行初始化,得到源域初始目标类别中心点特征表示根据公式(9)计算新一轮迭代的中心点特征表示与前一轮迭代的中心点特征表示之间的余弦相似度ξs;根据公式(10)对旧的中心点特征表示进行覆盖,以保证新的中心点特征表示既包含当前类别信息又包含此前类别信息;
其中,iter为当前遍历次数中的迭代次数,iter={1,2,…,max_iter};
表示经过第iter次迭代后源域目标类别中心点特征表示;
当对目标域目标类别中心点特征表示进行更新时,基于经过选取的属于类别c'的所有目标域目标类别样本集合根据公式(8)对目标类别中心点特征表示进行初始化,得到目标域初始目标类别中心点特征表示根据公式(11)计算新一轮迭代的中心点特征表示与前一轮迭代的中心点特征表示之间的余弦相似度ξt;根据公式(12)对旧的中心点特征表示进行覆盖,以保证新的中心点特征表示既包含当前类别信息又包含此前类别信息;
其中,表示经过第iter次迭代后目标域目标类别中心点特征表示;
对不同域的目标类别与对应目标类别中心点特征表示之间进行双向对齐,当进行源域目标类别样本与目标域对应的目标类别中心点特征表示的单向对齐时,给定源域目标类别样本目标域对应的目标类别中心点特征表示根据公式(13)计算得到源域匹配目标域相似性概率分布
其中,d()表示距离函数,具体为欧氏距离的平方;γ为温度参数,用来控制相似性概率分布集中或分散程度;
当进行目标域目标类别样本与源域对应的目标类别中心点特征表示的单向对齐时,给定目标域目标类别样本源域对应的目标类别中心点特征表示根据公式(14)计算得到目标域匹配源域相似性概率分布
根据公式(15)和公式(16),分别计算源域匹配目标域相似性概率分布的熵和目标域匹配源域相似性概率分布的熵
根据公式(17),将双向对齐得到的相似性概率分布的熵和之和作为跨域目标类别语义匹配的损失
进一步的改进,所述步骤3.2包括如下步骤:
步骤3.2.1,主干网络G提取源域带标签图像或目标域无标签图像的特征:使用步骤2中预训练的基础目标检测器的权重对域自适应目标检测模型进行初始化,输入图像依次经过随机水平翻转、特征归一化和等比例缩放的预处理操作,通过主干网络G的系列卷积块对预处理后的图像进行特征提取,得到源域带标签图像的特征图目标域无标签图像的特征图
步骤3.2.2,域判别器D判断步骤3.2.1中特征图的来源;
步骤3.2.3,区域生成网络生成若干候选区域;
步骤3.2.4,兴趣区域头部网络预测最终的分类结果和边界框回归结果;
步骤3.2.5,伪标签动态选取组件选取具有正确伪标签的目标域目标类别样本;
步骤3.2.6,类别语义匹配组件对齐源域和目标域目标类别的分布;
步骤3.2.7,优化器获取域自适应目标检测模型的损失并进行优化;域自适应目标检测模型的损失包括基础目标检测器损失全局特征判别损失类别语义匹配损失如公式(18)所示;使用随机梯度下降算法对公式(18)示出的域自适应目标检测模型的损失进行优化;优化过程多次遍历数据集,参与训练的每一批次图像都会重复经过步骤3.2.1至步骤3.2.6,直至达到设定的总遍历次数,并完成损失的最终收敛,最终获得经过训练的域自适应目标检测模型;
其中,λ1和λ2为平衡参数,用来平衡三项损失。
进一步的改进,所述步骤4包括如下步骤:
步骤4.1,主干网络G提取目标域无标签图像的特征:使用经过训练的域自适应目标检测模型的权重对基础目标检测器进行初始化;
步骤4.2,区域生成网络生成候选区域;
步骤4.3,兴趣区域头部网络预测最终的分类结果和边界框回归结果;
步骤4.4,对目标检测模型的预测结果进行后处理,所述后处理包括预测框缩放、预测框绘制、类别信息标注、预测概率标注。
一种上述考虑类别语义匹配的域自适应目标检测方法的系统,包括图像存储模块、预训练模块、再训练模块和检测模块;
图像存储模块用于保存有多种用于目标检测研究的公开数据集,所述用于目标检测研究的公开数据集包含预设场景下的图像以及对应的标签;此外,图像存储模块还用于保存采集得到的待检测场景的图像;
所述预训练模块由域自适应目标检测模型由基础目标检测器、全局特征判别组件、伪标签动态选取组件、类别语义匹配组件组合而成;当输入的数据只包含源域带标签图像时,预训练模块使用源域带标签图像对基础目标检测器进行训练,获得经过预训练的基础目标检测器的权重;
当输入的数据包含源域和目标域无标签图像时,所述再训练模块使用经过预训练的基础目标检测器的权重对域自适应目标检测模型进行初始化,使用源域和目标域无标签图像对域自适应目标检测模型进行训练,基础目标检测器、全局特征判别组件、伪标签动态选取组件、类别语义匹配组件都参与训练,由此获得经过训练的域自适应目标检测模型的权重;
当输入的数据只包含目标域无标签图像时,所述检测模块使用经过训练的域自适应目标检测模型的权重对基础目标检测器进行初始化,对目标域无标签图像进行检测,绘制包含目标的预测框并标注对应的类别信息和预测概率。
本发明的优点:
(1)本发明提供的考虑类别语义匹配的域自适应目标检测方法及系统,除了从宏观层面对齐图像级表示以保证全局特征的域不变性之外,还从类别层面对齐目标类别分布以保证类别特征的可判别性。本发明从跨域角度获取目标类别与对应类别中心点特征表示之间的相似性概率分布,通过最小化相似性概率分布的熵,对两域的类别语义进行匹配,保持了两域目标类别语义的一致性。
(2)本发明提供的考虑类别语义匹配的域自适应目标检测方法及系统,在使用源域已有标签和目标域伪标签进行类别语义匹配之前,通过为相似性分数设置随训练过程动态变化的阈值,合理地完成易分类目标类别样本的选取,避免因阈值无法适应易分类样本的增长速率而造成选取的易分类样本中混入错误伪标签的情况,从而潜在地降低伪标签噪声的影响,为跨域目标类别语义匹配提供质量保障。
附图说明
图1为本发明实施例1提供的一种考虑类别语义匹配的域自适应目标检测方法的流程示意图。
图2为本发明实施例1步骤1的具体流程示意图。
图3为本发明实施例1步骤2的具体流程示意图。
图4为本发明实施例1步骤3的具体流程示意图。
图5为本发明实施例1提供的一种考虑类别语义匹配的域自适应目标检测方法的模型框架图。
图6为本发明实施例1提供的特征空间中源域和目标域样本分布的示意图。
图7为本发明实施例1提供的类别空间中源域和目标域目标类别样本分布的示意图。
图8为本发明实施例1步骤4的具体流程示意图。
图9为本发明实施例2提供的一种考虑类别语义匹配的域自适应目标检测系统的结构原理图。
具体实施方式
以下结合附图及实施例对本发明做进一步说明。
实施例1:
步骤1,获取源域带标签图像和目标域无标签图像。
步骤2,使用源域带标签图像训练基础目标检测器。
步骤3,在基础目标检测器上增加域自适应组件,使用源域和目标域图像训练域自适应目标检测模型。
步骤4,移除先前增加的域自适应组件,使用自适应后的基础目标检测器对目标域场景进行目标检测。
进一步的,将步骤1中获取源域带标签图像和目标域无标签图像分为以下几个步骤,如图2所示,其具体表述为:
步骤1.1,获取目标域无标签图像。根据实际应用需求,采集待检测场景的图像,使用采集得到的图像创建数据集,以此为目标域。由于这些图像未经过任何标注,因此目标域图像均不带标签。
步骤1.2,获取源域带标签图像。由于目标检测领域已公开多种用于目标检测研究的数据集,因此可以针对目标域待检测目标的类别,选取与目标检测任务相关的公开数据集作为源域,所有源域图像均带有标签。
方便起见,将带标签的源域记为其中表示第i张源域图像,表示该图像对应的标签,包括边界框标签b以及对应的类别标签c,NS表示源域图像的数量。将无标签的目标域记为 其中表示第j张目标域图像,Nt表示目标域图像的数量。源域和目标域共享K个目标类别(背景除外),即c∈{1,2,…,K}。
进一步的,将步骤2中使用源域带标签图像训练基础目标检测器分为以下几个步骤,如图3所示,其具体表述为:
步骤2.1,主干网络G提取源域图像的特征。选用Faster R-CNN作为基础目标检测器,选用VGG16作为Faster R-CNN的主干网络G,输入图像依次经过随机水平翻转、特征归一化和等比例缩放操作。通过系列主干网络G的系列卷积块对预处理后的图像进行特征提取,可以得到特征图
步骤2.2,区域生成网络(Region Proposal Network,RPN)生成可能包含目标的候选区域。先使用3×3滑动窗口对特征图进行卷积运算,再经过两个1×1卷积层分别预测特征图在当前窗口位置上的前景概率和边界框回归参数。通过先验框模板来生成特征图对应原始图像上的所有先验框。将预测的边界框回归参数应用到先验框上以获得候选框,移除小于指定尺寸的候选框后,再经过非极大值抑制(Non-Maximum Suppression,NMS)处理,最后根据预测的前景概率保留前2000个候选框。RPN的损失包括分类损失项和回归损失项
步骤2.3,兴趣区域头部网络(Region of Interest Head,RoI Head)预测最终的分类结果和边界框回归结果。不同尺寸大小的候选区域经过兴趣区域对齐(Region ofInterest Align,RoI Align)后都将转变成维度固定的特征向量,随后经过两个全连接层分别进行目标类别概率预测和边界框回归参数预测。RoI Head的损失包括分类损失项和回归损失项
步骤2.4,优化器获取基础目标检测器的损失并对其进行优化。基础目标检测器的损失为区域生成网络损失和兴趣区域头部网络损失之和,如公式(1)所示。使用随机梯度下降(stochastic gradient descent,SGD)算法对基础目标检测器损失进行优化。优化过程将会多次遍历数据集,参与训练的每一批次图像都会重复经过步骤2.1、步骤2.2、步骤2.3,直至达到设定的总遍历次数,并完成损失的收敛,最终获得经过预训练的基础目标检测器。
进一步的,将步骤3中在基础目标检测器上增加域自适应组件,使用源域和目标域图像训练域自适应目标检测模型分为以下几个步骤,如图4所示,其具体表述为:
步骤3.1,在基础目标检测器上增加域自适应组件。
步骤3.2,使用源域和目标域图像训练域自适应目标检测模型。
进一步的,将步骤3.1中在基础目标检测器上增加域自适应组件(如图5所示)分为以下几个步骤,其具体表述为:
步骤3.1.1,增加全局特征判别组件。图像级表示包含有图像风格、图像尺度、照明条件等丰富的全局信息,为减轻由图像宏观层面差异引起的域漂移问题,首先考虑从全局角度对齐图像级的特征表示。在主干网络G的输出位置构建域判别器D,域判别器D的作用是区分主干网络G输出的特征图来自源域还是目标域。为了促使源域和目标域全局特征的混淆,在主干网络G和域判别器D之间引入梯度反转层(gradient reverse layer,GRL)。梯度反转层能够在反向传播时对梯度符号取反,实现主干网络G和域判别器D的对抗训练,从而对齐源域和目标域的全局特征。
如图6所示,在特征空间中,易分类的样本远离域判别器D的决策边界,而难分类的样本靠近域判别器D的决策边界。如果直接使用交叉熵损失(Cross-Entropy Loss,CEL)作为域判别器D的优化目标,那么由于该损失对两种样本的惩罚力度相当,因此在训练过程中域判别器D无法聚焦于难分类样本,进而造成难分类样本没有得到充分的挖掘。本发明采用焦点损失(Focal Loss,FL),通过对难分类的样本施加较大的权重,对易分类的样本施加较小的权重,使得域判别器D在训练过程中能够更加关注难分类样本。公式(2)为使用焦点损失计算域判别器D对源域样本的分类损失公式(3)为使用焦点损失计算域判别器D对目标域样本的分类损失公式(4)为域判别器D对源域和目标域样本的总分类损失,即全局特征判别损失
其中,κ为聚焦参数,用来控制对难分类样本施加的权重。
步骤3.1.2,增加伪标签动态选取组件。全局特征判别组件只是从宏观层面对齐图像级的特征表示,并未考虑类别空间中源域和目标域类别语义的匹配情况。为进一步促进目标检测模型性能的提升,需要匹配源域和目标域目标类别的语义信息,而在此之前,需要对后续使用到的目标域伪标签进行恰当的选取。
由于目标域图像缺少标签信息,因此直接对齐两域的类别分布存在较大的困难。为保证源域和目标域每个类别的语义得到合适的匹配,可以使用步骤2中预训练得到基础目标检测器为目标域所有无标签图像赋予伪标签。如图7所示,在类别空间中,易分类的目标域类别样本远离分类器的决策边界,而难分类的目标域类别样本靠近分类器的决策边界。在易分类的目标域类别样本中,有些类别样本的伪标签虽然具有较高的置信度,但实际上是被分类器错误分类的,也就是说这种目标域类别样本的伪标签存在错误。直接想法是根据分类器预测得到的置信度对伪标签进行过滤,由于最优阈值往往难以把控,因此过滤后得到的伪标签仍普遍存在噪声,错误的伪标签将在目标类别对齐过程中引入错误的信息,进而导致训练过程中误差的累积。
基于源域图像边界框标签b以及对应的类别标签c,根据公式(5),使用所有属于类别c的源域目标类别样本计算对应类别的中心点特征表示可以得到源域所有目标类别在嵌入空间中的中心点特征表示
其中,Sc表示属于类别c的所有源域目标类别样本集合;表示第i个源域目标类别样本;R表示嵌入函数,具体为兴趣区域对齐以及随后的两个串联全连接层;|Sc|表示属于类别c的源域目标类别样本的数量。
使用步骤2中预训练得到基础目标检测器为目标域所有无标签图像赋予伪标签,伪标签包括边界框伪标签以及对应的类别伪标签。根据公式(6),计算伪标签下第j个目标域目标类别样本在嵌入空间中与所有源域目标类别中心点特征表示之间的相似性分数将保存到属于类别c'的所有目标域目标类别样本集合Tc'中,其中
其中,cos()为余弦相似度。
在训练过程中,嵌入空间中的源域目标类别样本与目标域目标类别样本之间的距离不断缩短,目标域目标类别样本与所有源域目标类别中心点特征表示之间的相似性分数σ持续增加。在训练初期被视为难分类的目标类别样本随训练过程的推进将会逐渐过渡为易分类的目标类别样本。为选取具有正确伪标签的目标类别样本,可以为相似性分数σ设置固定的阈值τ进行易分类的目标类别样本的选取。由于训练过程中会有越来越多难分类的目标类别样本转变为易分类的目标类别样本,固定的阈值τ无法适应易分类样本的增长速率而造成选取的易分类样本中混入错误伪标签样本。
根据公式(7)在训练过程中对阈值τ进行动态调整。对于中的每个目标域类别样本如果相似性分数σ大于或等于当前的阈值τ,那么就选取该目标类别样本,并将其保存到经过选取的属于类别c'的所有目标域目标类别样本集合中,否则不选取。
其中,α和β为常数;n为当前遍历次数,n={1,2,…,max_epoch}。
步骤3.1.3,增加类别语义匹配组件。在选取具有正确伪标签的目标类别样本后,需要匹配源域和目标域特定类别的语义信息,在类别空间中对齐源域和目标域目标类别的分布,从而增强目标类别特征的可判别性。
基于选取后的目标域目标类别样本,根据公式(8),使用所有属于类别c'的目标域目标类别样本计算对应类别的中心点特征表示可以得到目标域所有目标类别在嵌入空间中的中心点特征表示
其中,表示经过选取的属于类别c'的所有目标域目标类别样本集合;表示第j个目标域目标类别样本;R表示嵌入函数,具体为兴趣区域对齐以及随后的两个串联全连接层;表示经过选取的属于类别c'目标域目标类别样本的数量。
然而,由于目标检测模型的训练采用小批量SGD算法,每个批次中的样本量通常较少,这就容易导致同一批次的类别信息不充分。例如,在相同的批次中,源域只有属于A类的目标类别样本,而目标域出现了属于B类的目标类别样本,目标域B类样本在当前批次就无法与源域对应的类别样本得到合适的匹配。
为克服上述困难,使用指数加权平均策略对源域和目标域的所有目标类别在嵌入空间中的中心点特征表示进行动态更新。当对源域目标类别中心点特征表示进行更新时,基于属于类别c的所有源域目标类别样本集合Sc,根据公式(5)对目标类别中心点特征表示进行初始化,得到源域初始目标类别中心点特征表示根据公式(9)计算新一轮迭代的中心点特征表示与前一轮迭代的中心点特征表示之间的余弦相似度;根据公式(10)对旧的中心点特征表示进行覆盖,以保证新的中心点特征表示既包含当前类别信息又包含此前类别信息。
其中,iter为当前遍历次数中的迭代次数,iter={1,2,…,max_iter}。
当对目标域目标类别中心点特征表示进行更新时,基于经过选取的属于类别c'的所有目标域目标类别样本集合根据公式(8)对目标类别中心点特征表示进行初始化,得到目标域初始目标类别中心点特征表示根据公式(11)计算新一轮迭代的中心点特征表示与前一轮迭代的中心点特征表示之间的余弦相似度;根据公式(12)对旧的中心点特征表示进行覆盖,以保证新的中心点特征表示既包含当前类别信息又包含此前类别信息。
为合理匹配源域和目标域的目标类别语义,对不同域的目标类别与对应目标类别中心点特征表示之间进行双向对齐。当进行源域目标类别样本与目标域对应的目标类别中心点特征表示的单向对齐时,给定源域目标类别样本目标域对应的目标类别中心点特征表示根据公式(13)计算得到相似性概率分布
其中,d()表示距离函数,具体为欧氏距离的平方;γ为温度参数,用来控制相似性概率分布集中或分散程度。
当进行目标域目标类别样本与源域对应的目标类别中心点特征表示的单向对齐时,给定目标域目标类别样本源域对应的目标类别中心点特征表示根据公式(14)计算得到相似性概率分布
根据公式(15)和公式(16),分别计算相似性概率分布和的熵。
根据公式(17),将双向对齐得到的相似性概率分布的熵作为跨域目标类别语义匹配的损失。
进一步的,将步骤3.2中使用源域和目标域图像训练域自适应目标检测模型分为以下几个步骤,其具体表述为:
步骤3.2.1,主干网络G提取源域图像或目标域图像的特征。使用步骤2中预训练得到的基础目标检测器的权重对域自适应目标检测模型进行初始化,其余过程与步骤2.1相同。
步骤3.2.2,全局特征判别组件判断步骤3.2.1中特征图的来源。
步骤3.2.3,区域生成网络生成可能包含目标的候选区域。具体过程与步骤2.2相同。
步骤3.2.4,兴趣区域头部网络预测最终的分类结果和边界框回归结果。具体过程与步骤2.3相同。
步骤3.2.5,伪标签动态选取组件选取具有正确伪标签的目标域目标类别样本。
步骤3.2.6,类别语义匹配组件对齐源域和目标域目标类别的分布。
步骤3.2.7,优化器获取域自适应目标检测模型的损失并对其进行优化。域自适应目标检测模型的损失包括基础目标检测器损失全局特征判别损失类别语义匹配损失如公式(18)所示。使用随机梯度下降算法对公式(13)示出的域自适应目标检测模型的损失进行优化。只有全局特征判别组件的域分类器存在待学习的参数,伪标签动态选取组件和类别语义匹配组件均不存在待学习的参数。优化过程将会多次遍历数据集,参与训练的每一批次图像都会重复经过步骤3.2.1至步骤3.2.6,直至达到设定的总遍历次数,并完成损失的最终收敛,最终获得经过训练的域自适应目标检测模型。
其中,λ1和λ2为平衡参数,用来平衡三项损失。
进一步的,将步骤4中移除先前增加的域自适应组件,使用自适应后的基础目标检测器对目标域场景进行目标检测分为以下几个步骤,如图8所示,其具体表述为:
步骤4.1,主干网络G提取目标域图像的特征。使用步骤3中经过训练的域自适应目标检测模型的权重对基础目标检测器进行初始化,其余过程与步骤2.1相同。
步骤4.2,区域生成网络生成可能包含目标的候选区域。具体过程与步骤2.2相同,但不计算RPN的损失
步骤4.3,兴趣区域头部网络预测最终的分类结果和边界框回归结果。具体过程与步骤2.3相同,但不计算RoI Head的损失
步骤4.4,对目标检测模型的预测结果进行后处理,包括预测框缩放、预测框绘制、类别信息标注、预测概率标注。
实施例2:
本发明还提供了一种考虑类别语义匹配的域自适应目标检测系统,如图9所示,该系统包括:
模块1,图像存储模块。图像存储模块保存有多种用于目标检测研究的公开数据集,这些数据集包含特定场景下的图像以及对应的标签。此外,图像存储模块还保存有采集得到的待检测场景的图像。根据实际应用需求,可以选择其中一种公开数据集作为源域,而将采集得到的图像作为目标域。
模块2,预训练模块。域自适应目标检测模型由基础目标检测器、全局特征判别组件、伪标签动态选取组件、类别语义匹配组件组合而成。当输入的数据只包含源域图像时,预训练模块使用源域图像对基础目标检测器进行训练,全局特征判别组件、伪标签动态选取组件、类别语义匹配组件不参与训练,由此获得经过预训练的基础目标检测器的权重。
模块3,再训练模块。当输入的数据包含源域和目标域图像时,再训练模块使用经过预训练的基础目标检测器的权重对域自适应目标检测模型进行初始化,使用源域和目标域图像对域自适应目标检测模型进行训练,基础目标检测器、全局特征判别组件、伪标签动态选取组件、类别语义匹配组件都参与训练,由此获得经过训练的域自适应目标检测模型的权重。
模块4,检测模块。当输入的数据只包含目标域图像时,检测模块使用经过训练的域自适应目标检测模型的权重对基础目标检测器进行初始化,对目标域图像进行检测,绘制包含目标的预测框并标注对应的类别信息和预测概率。在检测过程中,目标域图像只会经过基础目标检测器,并不会经过全局特征判别组件、伪标签动态选取组件、类别语义匹配组件。
尽管本发明的实施方案已公开如上,但并不仅仅限于说明书和实施方案中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里所示出与描述的图例。
Claims (6)
1.一种考虑类别语义匹配的域自适应目标检测方法,其特征在于,包括如下步骤:
步骤1,获取源域带标签图像和目标域无标签图像;
步骤2,使用源域带标签图像训练得到经过预训练的基础目标检测器;
步骤3,在经过预训练的基础目标检测器上增加域自适应组件,使用源域带标签图像和目标域无标签图像训练得到经过训练的域自适应目标检测模型;
步骤3.1,在经过预训练的基础目标检测器增加域自适应组件;
步骤3.2,使用源域带标签图像和目标域无标签图像训练得到域自适应目标检测模型;
所述步骤3.1,包括如下步骤:
步骤3.1.1,增加全局特征判别组件:在主干网络G的输出位置构建域判别器D,域判别器D用于区分主干网络G输出的特征图来自源域还是目标域;在主干网络G和域判别器D之间引入梯度反转层,梯度反转层用于在反向传播时对梯度符号取反,实现主干网络G和域判别器D的对抗训练,从而对齐源域和目标域的全局特征;
采用焦点损失计算域判别器D的损失:
其中,为使用焦点损失计算域判别器D对源域样本的分类损失,为使用焦点损失计算域判别器D对目标域样本的分类损失,为域判别器D对源域和目标域样本的总分类损失,即全局特征判别损失;κ为聚焦参数,用来控制对难分类样本施加的权重;D()表示域分类器D预测样本属于源域的概率;
步骤3.1.2,增加伪标签动态选取组件:
基于源域带标签图像边界框标签b以及对应的类别标签c,根据公式(5),使用所有属于类别c的源域目标类别样本计算对应类别的中心点特征表示得到源域所有目标类别在嵌入空间中的中心点特征表示
其中,Sc表示属于类别c的所有源域目标类别样本集合;表示第i个源域目标类别样本;R表示嵌入函数,具体为兴趣区域对齐以及随后的两个串联全连接层;|Sc|表示属于类别c的源域目标类别样本的数量;
使用步骤2中预训练的基础目标检测器为目标域所有无标签图像赋予伪标签,伪标签包括边界框伪标签以及对应的类别伪标签;根据公式(6),计算伪标签下第j个目标域目标类别样本在嵌入空间中与所有源域目标类别中心点特征表示之间的相似性分数将保存到属于类别c'的所有目标域目标类别样本集合Tc'中,其中
其中,cos()为余弦相似度;
根据公式(7)在训练过程中对阈值τ进行动态调整;对于中的每个目标域类别样本如果相似性分数大于或等于当前的阈值τ,那么就选取该目标类别样本,并保存到经过选取的属于类别c'的所有目标域目标类别样本集合中,否则不选取;
其中,α和β为常数;n为当前遍历次数,n={1,2,…,max_epoch};表示各个类别的目标域目标类别样本集合的集合,表示经过选取的属于类别c'的所有目标域目标类别样本集合;max_epoch表示设定的最大遍历次数;
步骤3.1.3,增加类别语义匹配组件:在选取具有正确伪标签的目标类别样本后,在类别空间中对齐源域和目标域目标类别的分布,从而增强目标类别特征的可判别性:
基于选取后的目标域目标类别样本,根据公式(8),使用所有属于类别c'的目标域目标类别样本计算对应类别的中心点特征表示得到目标域所有目标类别在嵌入空间中的中心点特征表示
其中,表示经过选取的属于类别c'的所有目标域目标类别样本集合;R表示嵌入函数,具体为兴趣区域对齐以及随后的两个串联全连接层;表示经过选取的属于类别c'的目标域目标类别样本的数量;
使用指数加权平均策略对源域和目标域的所有目标类别在嵌入空间中的中心点特征表示进行动态更新;当对源域目标类别中心点特征表示进行更新时,基于属于类别c的所有源域目标类别样本集合Sc,根据公式(5)对目标类别中心点特征表示进行初始化,得到源域初始目标类别中心点特征表示根据公式(9)计算新一轮迭代的中心点特征表示与前一轮迭代的中心点特征表示之间的余弦相似度ξS;根据公式(10)对旧的中心点特征表示进行覆盖,以保证新的中心点特征表示既包含当前类别信息又包含此前类别信息;
其中,iter为当前遍历次数中的迭代次数,iter={1,2,…,max_iter};
表示经过第iter次迭代后源域目标类别中心点特征表示;
当对目标域目标类别中心点特征表示进行更新时,基于经过选取的属于类别c'的所有目标域目标类别样本集合根据公式(8)对目标类别中心点特征表示进行初始化,得到目标域初始目标类别中心点特征表示根据公式(11)计算新一轮迭代的中心点特征表示与前一轮迭代的中心点特征表示之间的余弦相似度ξt;根据公式(12)对旧的中心点特征表示进行覆盖,以保证新的中心点特征表示既包含当前类别信息又包含此前类别信息;
其中,表示经过第iter次迭代后目标域目标类别中心点特征表示;
对不同域的目标类别与对应目标类别中心点特征表示之间进行双向对齐,当进行源域目标类别样本与目标域对应的目标类别中心点特征表示的单向对齐时,给定源域目标类别样本目标域对应的目标类别中心点特征表示根据公式(13)计算得到源域匹配目标域相似性概率分布
其中,d()表示距离函数,具体为欧氏距离的平方;γ为温度参数,用来控制相似性概率分布集中或分散程度;
当进行目标域目标类别样本与源域对应的目标类别中心点特征表示的单向对齐时,给定目标域目标类别样本源域对应的目标类别中心点特征表示根据公式(14)计算得到目标域匹配源域相似性概率分布
根据公式(15)和公式(16),分别计算源域匹配目标域相似性概率分布的熵和目标域匹配源域相似性概率分布的熵
根据公式(17),将双向对齐得到的相似性概率分布的熵和之和作为跨域目标类别语义匹配的损失
步骤4,移除增加的域自适应组件,使用经过训练的域自适应目标检测模型对目标域场景进行目标检测。
2.如权利要求1所述的考虑类别语义匹配的域自适应目标检测方法,其特征在于,所述步骤1包括如下步骤:
步骤1.1,获取目标域无标签图像:根据实际应用需求,采集待检测场景的图像,使用采集得到的图像创建数据集作为无标签的目标域,无标签的目标域中的图像即目标域无标签图像;
步骤1.2,获取源域带标签图像:针对目标域待检测目标的类别,选取与目标检测任务相关的公开数据集作为源域,源域中的图像即源域带标签图像;
源域记为其中表示第i张源域带标签图像,表示第i张源域带标签图像对应的标签,包括边界框标签b以及对应的类别标签c;Ns表示源域带标签图像的数量;
目标域记为其中表示第j张目标域无标签图像,Nt表示目标域无标签图像的数量;
源域和目标域共享K个目标类别即c∈{1,2,…,K}。
3.如权利要求1所述的考虑类别语义匹配的域自适应目标检测方法,其特征在于,所述步骤2包括如下步骤:
步骤2.1,主干网络G提取源域带标签图像的特征:选用Faster R-CNN作为基础目标检测器,选用VGG16作为Faster R-CNN的主干网络G,输入图像依次经过随机水平翻转、特征归一化和等比例缩放的预处理操作,通过主干网络G的系列卷积块对预处理后的图像进行特征提取,得到源域带标签图像的特征图
步骤2.2,区域生成网络生成候选区域:先使用3×3滑动窗口对特征图进行卷积运算,再经过两个1×1卷积层分别预测特征图在当前窗口位置上的前景概率和边界框回归参数;通过先验框模板生成特征图对应源域带标签图像上的所有先验框;将预测的边界框回归参数应用到先验框上以获得候选框,移除小于指定尺寸的候选框后,再经过非极大值抑制处理,最后根据预测的前景概率保留前2000个概率最大的候选框,区域生成网络的损失包括分类损失项和回归损失项
步骤2.3,通过兴趣区域头部网络预测最终的分类结果和边界框回归结果:不同尺寸大小候选框内的候选区域经过兴趣区域头部网络的兴趣区域对齐后都转变成维度固定的特征向量,随后经过两个全连接层分别进行目标类别概率预测和边界框回归参数预测;兴趣区域头部网络的损失包括分类损失项和回归损失项
步骤2.4,通过优化器获取基础目标检测器的损失并对基础目标检测器进行优化:基础目标检测器的损失为区域生成网络损失和兴趣区域头部网络损失之和,如公式(1)所示:
使用随机梯度下降算法对基础目标检测器损失进行优化,优化过程多次遍历数据集,参与训练的每一批次图像都重复经过步骤2.1、步骤2.2、步骤2.3,直至达到设定的总遍历次数,并完成损失的收敛,最终获得经过预训练的基础目标检测器。
4.如权利要求1所述的考虑类别语义匹配的域自适应目标检测方法,其特征在于,所述步骤3.2包括如下步骤:
步骤3.2.1,主干网络G提取源域带标签图像或目标域无标签图像的特征:使用步骤2中预训练的基础目标检测器的权重对域自适应目标检测模型进行初始化,输入图像依次经过随机水平翻转、特征归一化和等比例缩放的预处理操作,通过主干网络G的系列卷积块对预处理后的图像进行特征提取,得到源域带标签图像的特征图目标域无标签图像的特征图
步骤3.2.2,域判别器D判断步骤3.2.1中特征图的来源;
步骤3.2.3,区域生成网络生成若干候选区域;
步骤3.2.4,兴趣区域头部网络预测最终的分类结果和边界框回归结果;
步骤3.2.5,伪标签动态选取组件选取具有正确伪标签的目标域目标类别样本;
步骤3.2.6,类别语义匹配组件对齐源域和目标域目标类别的分布;
步骤3.2.7,优化器获取域自适应目标检测模型的损失并进行优化;域自适应目标检测模型的损失包括基础目标检测器损失全局特征判别损失类别语义匹配损失如公式(18)所示;使用随机梯度下降算法对公式(18)示出的域自适应目标检测模型的损失进行优化;优化过程多次遍历数据集,参与训练的每一批次图像都会重复经过步骤3.2.1至步骤3.2.6,直至达到设定的总遍历次数,并完成损失的最终收敛,最终获得经过训练的域自适应目标检测模型;
其中,λ1和λ2为平衡参数,用来平衡三项损失。
5.如权利要求1所述的考虑类别语义匹配的域自适应目标检测方法,其特征在于,所述步骤4包括如下步骤:
步骤4.1,主干网络G提取目标域无标签图像的特征:使用经过训练的域自适应目标检测模型的权重对基础目标检测器进行初始化;
步骤4.2,区域生成网络生成候选区域;
步骤4.3,兴趣区域头部网络预测最终的分类结果和边界框回归结果;
步骤4.4,对目标检测模型的预测结果进行后处理,所述后处理包括预测框缩放、预测框绘制、类别信息标注、预测概率标注。
6.一种使用权利要求1-5任一所述考虑类别语义匹配的域自适应目标检测方法的系统,其特征在于,包括图像存储模块、预训练模块、再训练模块和检测模块;
图像存储模块用于保存有多种用于目标检测研究的公开数据集,所述用于目标检测研究的公开数据集包含预设场景下的图像以及对应的标签;此外,图像存储模块还用于保存采集得到的待检测场景的图像;
所述预训练模块由域自适应目标检测模型由基础目标检测器、全局特征判别组件、伪标签动态选取组件、类别语义匹配组件组合而成;当输入的数据只包含源域带标签图像时,预训练模块使用源域带标签图像对基础目标检测器进行训练,获得经过预训练的基础目标检测器的权重;
当输入的数据包含源域和目标域无标签图像时,所述再训练模块使用经过预训练的基础目标检测器的权重对域自适应目标检测模型进行初始化,使用源域和目标域无标签图像对域自适应目标检测模型进行训练,基础目标检测器、全局特征判别组件、伪标签动态选取组件、类别语义匹配组件都参与训练,由此获得经过训练的域自适应目标检测模型的权重;
当输入的数据只包含目标域无标签图像时,所述检测模块使用经过训练的域自适应目标检测模型的权重对基础目标检测器进行初始化,对目标域无标签图像进行检测,绘制包含目标的预测框并标注对应的类别信息和预测概率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111036092.5A CN113807420B (zh) | 2021-09-06 | 2021-09-06 | 一种考虑类别语义匹配的域自适应目标检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111036092.5A CN113807420B (zh) | 2021-09-06 | 2021-09-06 | 一种考虑类别语义匹配的域自适应目标检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113807420A CN113807420A (zh) | 2021-12-17 |
CN113807420B true CN113807420B (zh) | 2024-03-19 |
Family
ID=78894764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111036092.5A Active CN113807420B (zh) | 2021-09-06 | 2021-09-06 | 一种考虑类别语义匹配的域自适应目标检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113807420B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114462487A (zh) * | 2021-12-28 | 2022-05-10 | 浙江大华技术股份有限公司 | 目标检测网络训练及检测方法、装置、终端及存储介质 |
CN114386527B (zh) * | 2022-01-18 | 2022-12-09 | 湖南大学无锡智能控制研究院 | 一种用于域自适应目标检测的类别正则化方法及系统 |
CN114529753B (zh) * | 2022-01-18 | 2024-07-19 | 华南理工大学 | 一种基于代表性特征对齐的域适应目标检测方法 |
CN116758323A (zh) * | 2022-03-04 | 2023-09-15 | 腾讯科技(深圳)有限公司 | 图像检测模型生成方法、装置、设备和存储介质 |
CN114283287B (zh) * | 2022-03-09 | 2022-05-06 | 南京航空航天大学 | 基于自训练噪声标签纠正的鲁棒领域自适应图像学习方法 |
CN114821152B (zh) * | 2022-03-23 | 2023-05-02 | 湖南大学 | 基于前景-类别感知对齐的域自适应目标检测方法及系统 |
CN114663760A (zh) * | 2022-03-25 | 2022-06-24 | 清华大学 | 模型训练的方法、目标检测方法、存储介质及计算设备 |
CN114912516B (zh) * | 2022-04-25 | 2023-06-06 | 湖南大学无锡智能控制研究院 | 一种协调特征一致性和特异性的跨域目标检测方法及系统 |
CN114693983B (zh) * | 2022-05-30 | 2022-09-30 | 中国科学技术大学 | 基于图像-实例对齐网络的训练方法和跨域目标检测方法 |
CN115115908B (zh) * | 2022-06-30 | 2024-08-02 | 湖南大学 | 跨域目标检测模型训练方法、目标检测方法及存储介质 |
CN116167288B (zh) * | 2023-04-19 | 2023-07-11 | 中国科学技术大学 | 一种ua2ft半监督迁移学习建模方法、介质及设备 |
CN116502644B (zh) * | 2023-06-27 | 2023-09-22 | 浙江大学 | 一种基于无源领域自适应的商品实体匹配方法及装置 |
CN117576453B (zh) * | 2023-11-14 | 2024-07-19 | 中国人民解放军陆军装甲兵学院 | 一种跨域装甲目标检测方法、系统、电子设备及存储介质 |
CN117876822B (zh) * | 2024-03-11 | 2024-05-28 | 盛视科技股份有限公司 | 应用于鱼眼场景中的目标检测迁移训练方法 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564121A (zh) * | 2018-04-09 | 2018-09-21 | 南京邮电大学 | 一种基于自编码器的未知类别图像标签预测方法 |
DE102018126664A1 (de) * | 2017-10-27 | 2019-05-02 | GM Global Technology Operations LLC | Domänenanpassung durch klassenausgeglichenes selbsttraining mit räumlichen prioren |
CN109977918A (zh) * | 2019-04-09 | 2019-07-05 | 华南理工大学 | 一种基于无监督域适应的目标检测定位优化方法 |
CN110322446A (zh) * | 2019-07-01 | 2019-10-11 | 华中科技大学 | 一种基于相似性空间对齐的域自适应语义分割方法 |
CN110795590A (zh) * | 2019-09-30 | 2020-02-14 | 武汉大学 | 基于直推式零样本哈希的多标签图像检索方法及设备 |
CN111340021A (zh) * | 2020-02-20 | 2020-06-26 | 中国科学技术大学 | 基于中心对齐和关系显著性的无监督域适应目标检测方法 |
CN111386536A (zh) * | 2017-10-27 | 2020-07-07 | 谷歌有限责任公司 | 语义一致的图像样式转换 |
CN112115916A (zh) * | 2020-09-29 | 2020-12-22 | 西安电子科技大学 | 域适应Faster R-CNN半监督SAR检测方法 |
CN112257808A (zh) * | 2020-11-02 | 2021-01-22 | 郑州大学 | 用于零样本分类的集成协同训练方法、装置及终端设备 |
AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
CN112465836A (zh) * | 2020-12-09 | 2021-03-09 | 北京航空航天大学 | 基于轮廓信息的热红外语义分割无监督领域自适应方法 |
CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
WO2021120752A1 (zh) * | 2020-07-28 | 2021-06-24 | 平安科技(深圳)有限公司 | 域自适应模型训练、图像检测方法、装置、设备及介质 |
CN113158943A (zh) * | 2021-04-29 | 2021-07-23 | 杭州电子科技大学 | 一种跨域红外目标检测方法 |
CN113221905A (zh) * | 2021-05-18 | 2021-08-06 | 浙江大学 | 基于均匀聚类的语义分割的无监督域适应方法、装置、系统和存储介质 |
CN113221903A (zh) * | 2021-05-11 | 2021-08-06 | 中国科学院自动化研究所 | 跨域自适应语义分割方法及系统 |
CN113326731A (zh) * | 2021-04-22 | 2021-08-31 | 南京大学 | 一种基于动量网络指导的跨域行人重识别算法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10956817B2 (en) * | 2018-04-18 | 2021-03-23 | Element Ai Inc. | Unsupervised domain adaptation with similarity learning for images |
-
2021
- 2021-09-06 CN CN202111036092.5A patent/CN113807420B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018126664A1 (de) * | 2017-10-27 | 2019-05-02 | GM Global Technology Operations LLC | Domänenanpassung durch klassenausgeglichenes selbsttraining mit räumlichen prioren |
CN111386536A (zh) * | 2017-10-27 | 2020-07-07 | 谷歌有限责任公司 | 语义一致的图像样式转换 |
CN108564121A (zh) * | 2018-04-09 | 2018-09-21 | 南京邮电大学 | 一种基于自编码器的未知类别图像标签预测方法 |
CN109977918A (zh) * | 2019-04-09 | 2019-07-05 | 华南理工大学 | 一种基于无监督域适应的目标检测定位优化方法 |
CN110322446A (zh) * | 2019-07-01 | 2019-10-11 | 华中科技大学 | 一种基于相似性空间对齐的域自适应语义分割方法 |
CN110795590A (zh) * | 2019-09-30 | 2020-02-14 | 武汉大学 | 基于直推式零样本哈希的多标签图像检索方法及设备 |
CN111340021A (zh) * | 2020-02-20 | 2020-06-26 | 中国科学技术大学 | 基于中心对齐和关系显著性的无监督域适应目标检测方法 |
WO2021120752A1 (zh) * | 2020-07-28 | 2021-06-24 | 平安科技(深圳)有限公司 | 域自适应模型训练、图像检测方法、装置、设备及介质 |
CN112115916A (zh) * | 2020-09-29 | 2020-12-22 | 西安电子科技大学 | 域适应Faster R-CNN半监督SAR检测方法 |
CN112257808A (zh) * | 2020-11-02 | 2021-01-22 | 郑州大学 | 用于零样本分类的集成协同训练方法、装置及终端设备 |
AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
CN112465836A (zh) * | 2020-12-09 | 2021-03-09 | 北京航空航天大学 | 基于轮廓信息的热红外语义分割无监督领域自适应方法 |
CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
CN113326731A (zh) * | 2021-04-22 | 2021-08-31 | 南京大学 | 一种基于动量网络指导的跨域行人重识别算法 |
CN113158943A (zh) * | 2021-04-29 | 2021-07-23 | 杭州电子科技大学 | 一种跨域红外目标检测方法 |
CN113221903A (zh) * | 2021-05-11 | 2021-08-06 | 中国科学院自动化研究所 | 跨域自适应语义分割方法及系统 |
CN113221905A (zh) * | 2021-05-18 | 2021-08-06 | 浙江大学 | 基于均匀聚类的语义分割的无监督域适应方法、装置、系统和存储介质 |
Non-Patent Citations (2)
Title |
---|
基于类别相关的领域自适应交通图像语义分割方法;贾颖霞;郎丛妍;冯松鹤;;计算机研究与发展(第04期);全文 * |
面向多源遥感图像的自适应目标检测;张天坤;李汶原;平凡;史振威;;信号处理(第09期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113807420A (zh) | 2021-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113807420B (zh) | 一种考虑类别语义匹配的域自适应目标检测方法及系统 | |
EP3447727B1 (en) | A method, an apparatus and a computer program product for object detection | |
CN113326731B (zh) | 一种基于动量网络指导的跨域行人重识别方法 | |
EP3767536A1 (en) | Latent code for unsupervised domain adaptation | |
EP3819859B1 (en) | Sky filter method for panoramic images and portable terminal | |
CN108549895A (zh) | 一种基于对抗网络的半监督语义分割方法 | |
CN103136504A (zh) | 人脸识别方法及装置 | |
CN112308862A (zh) | 图像语义分割模型训练、分割方法、装置以及存储介质 | |
CN110826558B (zh) | 图像分类方法、计算机设备和存储介质 | |
CN114821152B (zh) | 基于前景-类别感知对齐的域自适应目标检测方法及系统 | |
CN113808123B (zh) | 一种基于机器视觉的药液袋动态检测方法 | |
CN110245620A (zh) | 一种基于注意力的非最大化抑制方法 | |
CN106874825A (zh) | 人脸检测的训练方法、检测方法和装置 | |
CN114863091A (zh) | 一种基于伪标签的目标检测训练方法 | |
CN112927266A (zh) | 基于不确定性引导训练的弱监督时域动作定位方法及系统 | |
CN116342942A (zh) | 基于多级域适应弱监督学习的跨域目标检测方法 | |
CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
CN110633689B (zh) | 基于半监督注意力网络的人脸识别模型 | |
CN116486172A (zh) | 基于语义表征的无监督域适应图像分类方法 | |
CN114882534A (zh) | 基于反事实注意力学习的行人再识别方法、系统、介质 | |
CN117437426B (zh) | 一种高密度代表性原型指引的半监督语义分割方法 | |
CN116309466A (zh) | 一种基于对比学习的跨域目标检测方法 | |
CN116681903A (zh) | 基于互补融合伪标签的弱监督显著性目标检测方法 | |
CN113887357B (zh) | 一种人脸表示攻击检测方法、系统、装置及介质 | |
CN115082762A (zh) | 基于区域建议网络中心对齐的目标检测无监督域适应系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |