CN114386527A - 一种用于域自适应目标检测的类别正则化方法及系统 - Google Patents

一种用于域自适应目标检测的类别正则化方法及系统 Download PDF

Info

Publication number
CN114386527A
CN114386527A CN202210056531.7A CN202210056531A CN114386527A CN 114386527 A CN114386527 A CN 114386527A CN 202210056531 A CN202210056531 A CN 202210056531A CN 114386527 A CN114386527 A CN 114386527A
Authority
CN
China
Prior art keywords
class
regularization
domain
distance
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210056531.7A
Other languages
English (en)
Other versions
CN114386527B (zh
Inventor
王晓伟
王惠
蒋沛文
谢国涛
秦兆博
秦晓辉
边有钢
胡满江
秦洪懋
徐彪
丁荣军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Institute Of Intelligent Control Hunan University
Original Assignee
Wuxi Institute Of Intelligent Control Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Institute Of Intelligent Control Hunan University filed Critical Wuxi Institute Of Intelligent Control Hunan University
Priority to CN202210056531.7A priority Critical patent/CN114386527B/zh
Publication of CN114386527A publication Critical patent/CN114386527A/zh
Application granted granted Critical
Publication of CN114386527B publication Critical patent/CN114386527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于域自适应目标检测的类别正则化方法及系统，该方法包括：步骤1，获取源域感兴趣区域特征向量
Figure DDA0003476728030000011
和目标域感兴趣区域特征向量
Figure DDA0003476728030000012
及其与
Figure DDA0003476728030000013
对应的预测类别
Figure DDA0003476728030000014
和与
Figure DDA0003476728030000015
对应的预测类别
Figure DDA0003476728030000016
步骤2，计算类间正则化损失函数值
Figure DDA0003476728030000017
步骤3，计算类内正则化损失函数值
Figure DDA0003476728030000018
步骤4，
Figure DDA0003476728030000019
和
Figure DDA00034767280300000110
作为正则化项结合到域自适应目标检测框架的损失函数中，以联合优化域自适应目标检测损失函数和类别正则化损失函数。本发明实现了两域相同类别特征合理充分的对齐，大大降低了两域特征负迁移的风险，而且还可以灵活地拓展到多种现有的域自适应目标检测框架中。

Description

一种用于域自适应目标检测的类别正则化方法及系统
技术领域
本发明涉及基于深度学习的目标检测技术领域，特别是关于一种用于域自适应目标检测的类别正则化方法及系统。
背景技术
当前基于深度学习的目标检测方法通常假设训练集(称为源域)和测试集(称为目标域)的数据服从相同的概率分布，但是该假设在许多实际应用场景中往往是难以成立的。因数据分布差异而造成的域漂移问题，降低了深度目标检测模型在目标域上的检测性能。虽然可以通过收集和标注更多的训练数据来减轻模型性能的退化程度，但是这一过程极其耗费时间和成本。无监督域自适应将知识从具有带标签数据的源域迁移到没有带标签数据的目标域，可以极大降低重新收集和标注数据的成本，因而近年来在计算机视觉领域得到了广泛关注。
现有关于域自适应目标检测的发明专利申请多数只是通过域分类器和检测器之间的对抗训练来学习域不变的特征表示，从而在整体层面减小源域和目标域之间的差异。然而，经过自适应后源域和目标域的特征在类别层面对齐与否尚未得到真正的考量。在跨域场景下，不同类别特征的对齐错误，或者相同类别特征的对齐不充分，都有可能导致两域特征的负迁移，训练得到的域自适应目标检测模型也只能达到次优的性能。
发明内容
本发明的目的在于提供一种用于域自适应目标检测的类别正则化方法及系统，通过对源域和目标域感兴趣区域特征进行类间正则化和类内正则化，在对齐整体分布之外实现了两域相同类别特征合理充分的对齐，大大降低了两域特征负迁移的风险，而且还可以灵活地拓展到多种现有的域自适应目标检测框架中。
为实现上述目的，本发明提供一种用于域自适应目标检测的类别正则化方法，其包括：
步骤1，获取源域感兴趣区域特征向量
Figure BDA0003476728010000021
和目标域感兴趣区域特征向量
Figure BDA0003476728010000022
及其与所述
Figure BDA0003476728010000023
对应的预测类别
Figure BDA0003476728010000024
和与所述
Figure BDA0003476728010000025
对应的预测类别
Figure BDA0003476728010000026
其中，i和j分别表示源域s和目标域t感兴趣区域特征向量对应的索引；
步骤2，根据所述
Figure BDA0003476728010000027
和
Figure BDA0003476728010000028
之间的距离，计算类间正则化损失函数值
Figure BDA0003476728010000029
步骤3，根据所述
Figure BDA00034767280100000210
和
Figure BDA00034767280100000211
与其对应类别的特征中心
Figure BDA00034767280100000212
之间的距离，计算类内正则化损失函数值
Figure BDA00034767280100000213
其中，所述
Figure BDA00034767280100000214
由所述源域和目标域同时共享，k表示所述特征中心对应的索引；
步骤4，所述
Figure BDA00034767280100000215
和
Figure BDA00034767280100000216
作为正则化项结合到域自适应目标检测框架的损失函数中，以联合优化域自适应目标检测损失函数和类别正则化损失函数。
进一步地，所述步骤2具体包括：
步骤21，度量所述
Figure BDA00034767280100000217
和
Figure BDA00034767280100000218
之间的距离；
步骤22，为每个所述
Figure BDA00034767280100000219
选取所述相同类别且距离最大的所述
Figure BDA00034767280100000220
作为异域同类特征向量对，为每个所述
Figure BDA00034767280100000221
选取所述不同类别且距离最小的所述
Figure BDA00034767280100000222
作为异域异类特征向量对，计算
Figure BDA00034767280100000223
进一步地，所述步骤21具体包括：
以i为行索引，以j为列索引，构造距离矩阵
Figure BDA00034767280100000224
该矩阵中的元素为通过式(3)计算得到的
Figure BDA00034767280100000225
与
Figure BDA00034767280100000226
之间在欧氏空间中的距离
Figure BDA00034767280100000227
Figure BDA00034767280100000228
式中，
Figure BDA00034767280100000229
表示L2范数的平方，f(·)表示所述域自适应目标检测框架的检测器Faster R-CNN中感兴趣区域池化层后的两个全连接层，用于将所述
Figure BDA00034767280100000230
和
Figure BDA00034767280100000231
映射到欧氏空间中。
进一步地，所述步骤22中，所述异域同类特征向量对和所述异域异类特征向量对需要满足约束条件(4)：
Figure BDA00034767280100000232
所述
Figure BDA00034767280100000233
通过式(5)计算得到；
Figure BDA00034767280100000234
式中，α表示用于控制两感兴趣区域特征向量对之间差异的程度的参数，为正数，
Figure BDA00034767280100000235
表示所述异域同类特征向量对的距离，
Figure BDA00034767280100000236
表示所述异域异类特征向量对的距离，
Figure BDA0003476728010000031
表示与所述
Figure BDA0003476728010000032
为所述相同类别的所述目标域感兴趣区域特征向量，
Figure BDA0003476728010000033
表示与所述
Figure BDA0003476728010000034
为所述不同类别的所述目标域感兴趣区域特征向量，n+表示所述
Figure BDA0003476728010000035
的数量，n-表示所述
Figure BDA0003476728010000036
的数量，且n++n-＝nt，
Figure BDA0003476728010000037
进一步地，所述步骤3具体包括：
步骤31，度量所述
Figure BDA0003476728010000038
和
Figure BDA0003476728010000039
分别与
Figure BDA00034767280100000310
之间的距离；
步骤32，分别为所述
Figure BDA00034767280100000311
和
Figure BDA00034767280100000312
选取与之为相同类别的
Figure BDA00034767280100000313
计算
Figure BDA00034767280100000314
进一步地，所述步骤31具体包括：
步骤311，以i为行索引，以k为列索引，构造距离矩阵
Figure BDA00034767280100000315
该矩阵中的每个元素为通过式(6)计算得到的
Figure BDA00034767280100000316
和所有的类别特征中心
Figure BDA00034767280100000317
之间在欧氏空间中的距离
Figure BDA00034767280100000318
Figure BDA00034767280100000319
步骤312，以j为行索引，以k为列索引，构造距离矩阵
Figure BDA00034767280100000320
该矩阵中的每个元素为通过式(7)计算
Figure BDA00034767280100000321
和
Figure BDA00034767280100000322
之间在欧氏空间中的距离
Figure BDA00034767280100000323
Figure BDA00034767280100000324
式中，f(·)具体为所述域自适应目标检测框架的检测器Faster R-CNN中感兴趣区域池化层后的两个全连接层，用于将所述
Figure BDA00034767280100000325
和
Figure BDA00034767280100000326
映射到欧氏空间中，
Figure BDA00034767280100000327
表示L2范数的平方，k表示所述
Figure BDA00034767280100000328
对应的索引，k＝0,1,…,K。
进一步地，所述步骤32具体包括：
步骤321，构造与所述
Figure BDA00034767280100000329
具有相同维度的掩膜
Figure BDA00034767280100000330
如式(8)所示，选取与
Figure BDA00034767280100000331
为相同类别的特征中心：
Figure BDA00034767280100000337
步骤322，构造与所述
Figure BDA00034767280100000332
具有相同维度的掩膜
Figure BDA00034767280100000333
如式(9)所示，选取与
Figure BDA00034767280100000334
为相同类别的特征中心：
Figure BDA00034767280100000335
类内正则化损失函数值
Figure BDA00034767280100000336
通过式(10)计算：
Figure BDA0003476728010000041
其中，源域类内正则化损失函数
Figure BDA0003476728010000042
和目标域类间正则化损失函数
Figure BDA0003476728010000043
分别计算如下式(11)和式(12)所示：
Figure BDA0003476728010000044
Figure BDA0003476728010000045
式中，
Figure BDA0003476728010000046
表示矩阵的逐元素相乘。
进一步地，所述步骤4中的所述
Figure BDA0003476728010000047
和
Figure BDA0003476728010000048
作为正则化项结合到所述域自适应目标检测框架的损失函数后形成的函数分为两类：
第一类：所述域自适应目标检测框架为DA-Faste的情形下，所述形成的函数被描述为式(13)：
Figure BDA0003476728010000049
第二类：所述域自适应目标检测框架为SWDA的情形下，所述形成的函数被描述为式(14)：
Figure BDA00034767280100000410
式中，
Figure BDA00034767280100000411
表示所述类间正则化损失函数值，
Figure BDA00034767280100000412
表示所述类内正则化损失函数值，β1、γ1、β2、γ2均表示平衡参数。
本发明还提供一种用于域自适应目标检测的类别正则化系统，其包括：
特征向量获取模块，其用于获取源域感兴趣区域特征向量
Figure BDA00034767280100000413
和目标域感兴趣区域特征向量
Figure BDA00034767280100000414
及其与所述
Figure BDA00034767280100000415
对应的预测类别
Figure BDA00034767280100000416
和与所述
Figure BDA00034767280100000417
对应的预测类别
Figure BDA00034767280100000418
其中，i和j分别表示源域s和目标域t感兴趣区域特征向量对应的索引；
类间正则化模块，其用于根据所述
Figure BDA00034767280100000419
和
Figure BDA00034767280100000420
之间的距离，计算类间正则化损失函数值
Figure BDA00034767280100000421
类内正则化模块，其用于根据所述
Figure BDA00034767280100000422
和
Figure BDA00034767280100000423
与其对应类别的特征中心
Figure BDA00034767280100000424
之间的距离，计算类内正则化损失函数值
Figure BDA00034767280100000425
其中，所述
Figure BDA00034767280100000426
由所述源域和目标域同时共享，k表示所述特征中心对应的索引；
损失优化模块，其用于将所述
Figure BDA00034767280100000427
和
Figure BDA00034767280100000428
作为正则化项结合到域自适应目标检测框架的损失函数中，以联合优化域自适应目标检测损失函数和类别正则化损失函数。
进一步地，所述类间正则化模块具体包括：
第一距离度量单元，其用于度量所述
Figure BDA00034767280100000429
和
Figure BDA00034767280100000430
之间的距离；
第一特征选取单元，其用于为每个所述
Figure BDA0003476728010000051
选取所述相同类别且距离最大的所述
Figure BDA0003476728010000052
作为异域同类特征向量对；
第二特征选取单元，其用于为每个所述
Figure BDA0003476728010000053
选取所述不同类别且距离最小的所述
Figure BDA0003476728010000054
作为异域异类特征向量对；
第一损失计算单元，其用于计算
Figure BDA0003476728010000055
所述类内正则化模块具体包括：
第二距离度量单元，其用于度量所述
Figure BDA0003476728010000056
和
Figure BDA0003476728010000057
分别与
Figure BDA0003476728010000058
之间的距离；
类别选取单元，其用于分别为所述
Figure BDA0003476728010000059
和
Figure BDA00034767280100000510
选取与之为相同类别的
Figure BDA00034767280100000511
第二损失计算单元，其用于计算
Figure BDA00034767280100000512
本发明由于采取以上技术方案，其具有以下优点：
(1)类间正则化缩小异域同类特征之间的距离，增大异域异类特征之间的距离，在一定程度上可以保证感兴趣区域特征的域不变性。类内正则化更进一步缩小同类特征之间的距离，使得属于相同类别的感兴趣区域特征更加紧凑，在一定程度上可以保证感兴趣区域特征的可判别性。类间正则化是类内正则化的前提，而类内正则化是类间正则化的补充，二者联合作用可以避免目标检测在域自适应过程中不同类别信息的错误匹配，有助于在对齐整体分布之外对两域相同类别特征进行合理充分的对齐。
(2)类间正则化和类内正则化均参考了检测器最终的分类结果，二者可以通过增强感兴趣区域特征的可判别性来促使检测器最终分类精度的提升，而分类精度得到改进的检测器又可以为类间正则化和类内正则化提供具有更高准确性的预测结果，由此在训练过程中实现良性循环。对于被检测器预测为背景的感兴趣区域特征，类间正则化和类内正则化也能够使得这类特征远离前景特征，在一定程度上避免背景噪声的干扰。
(3)虽然只是以DA Faster和SWDA为基础模型对类别正则化方法及组件进行说明，但是实际上所提出的类别正则化组件可以推广到其他与DA Faster和SWDA具有相同抽象架构的域自适应目标检测框架。而且类别正则化组件具有即插即用的特性，在训练时，可以将类别正则化组件整合到现有域自适应目标检测框架中，在对两域整体特征对齐的同时还能配准异域同类特征；在推理时，可以将类别正则化组件从域自适应目标检测框架中拆除，直接使用载入域自适应权重的模型进行推理，不会产生额外的推理时间。
附图说明
图1为本发明实施例提供的用于域自适应目标检测的类别正则化方法获得的模型架构图。
图2为本发明实施例提供的一种用于域自适应目标检测的类别正则化方法流程图。
图3为本发明实施例提供的类间正则化原理图。
图4为本发明实施例提供的类内正则化原理图。
图5为本发明实施例提供的用于域自适应目标检测的类别正则化系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
本实施例本文涉及下列术语，为便于理解，对其含义说明如下。本领域技术人员应当理解，下列术语也可能有其它名称，但在不脱离其含义的情形下，其它任何名称都应当被认为与本文所列术语一致。
如图1和图2所示，本发明实施例提供的用于域自适应目标检测的类别正则化方法包括：
步骤1，获取源域感兴趣区域特征向量
Figure BDA0003476728010000061
和目标域感兴趣区域特征向量
Figure BDA0003476728010000062
及其与所述
Figure BDA0003476728010000063
对应的预测类别
Figure BDA0003476728010000064
和与所述
Figure BDA0003476728010000065
对应的预测类别
Figure BDA0003476728010000066
其中，i和j分别表示源域s和目标域t感兴趣区域特征向量对应的索引。
步骤2，根据所述
Figure BDA0003476728010000067
和
Figure BDA0003476728010000068
之间的距离，计算类间正则化损失函数值
Figure BDA0003476728010000069
步骤3，根据所述
Figure BDA00034767280100000610
和
Figure BDA00034767280100000611
与其对应类别的特征中心
Figure BDA00034767280100000612
之间的距离，计算类内正则化损失函数值
Figure BDA00034767280100000613
其中，所述
Figure BDA00034767280100000614
由所述源域和目标域同时共享，可以但不限于通过学习背景类别和所有待检测类别获得，k表示所述特征中心对应的索引；
Figure BDA00034767280100000615
表示所述背景类别。
步骤4，所述
Figure BDA00034767280100000616
和
Figure BDA00034767280100000617
作为正则化项结合到域自适应目标检测框架的损失函数中，以联合优化域自适应目标检测损失函数和类别正则化损失函数。
在一个实施例中，所述步骤1具体包括：
所述步骤11，选取域自适应目标检测框架，比如：DA-Faster和SWDA，Faster R-CNN作为当前最为先进的两阶段目标检测器之一，具有检测精度高于单阶段目标检测器的优势，同时也由于自身较高的灵活性和较强的可扩展性，在域自适应目标检测研究领域得到了广泛使用。DA-Faster和SWDA是两种现有的立足于Faster R-CNN的经典域自适应目标检测框架，通过域分类器与目标检测器的对抗训练，在域自适应目标检测研究初期都带来了在目标域上的性能提升。所选取的域自适应目标检测框架不局限于DA-Faster和SWDA，但应该具备与DA-Faster和SWDA相似的抽象架构，如图1所示。以下选取DA-Faster和SWDA作为域自适应目标检测框架以便于对类别正则化方法做更进一步的说明。
DA-Faster通过图像级域分类器对齐主干网络输出的特征，实例级域分类器对齐感兴趣区域的特征，从而减小了图像级和实例级的域漂移问题。此外，为了增强边界框预测器的鲁棒性，该模型还对两种级别的域分类器的分类结果进行一致性正则化。DA-Faster最终的损失函数
Figure BDA0003476728010000071
表示为式(1)。
SWDA在主干网络的中间层和顶层分别构建了局部域分类器和全局域分类器，实现局部特征的强对齐和全局特征的弱对齐。此外，该模型通过拼接“上下文”向量和区域特征，来稳定域分类器的训练过程。SWDA最终的损失函数
Figure BDA0003476728010000072
表示为式(2)。
Figure BDA0003476728010000073
Figure BDA0003476728010000074
式中，
Figure BDA0003476728010000075
分别表示检测器Faster R-CNN损失、图像级自适应损失、实例级自适应损失、一致性正则化损失、全局弱对齐损失、局部强对齐损失，λ1、λ2分别表示DA-Faster和SWDA的平衡参数，用于平衡公式中多个损失项的数值，使得多个损失项数量级相当，二参数的具体数值一般需要通过模型调参来确定。
当然，也可以选取现有其它具备与DA-Faster和SWDA相似抽象架构的多种域自适应目标检测框架。
所述步骤12，将经过所述域自适应目标检测框架的检测器Faster R-CNN中感兴趣区域池化(RoI Pooling)并展平后的所述源域感兴趣区域特征向量的集合表示为
Figure BDA0003476728010000076
将经过所述域自适应目标检测框架的检测器Faster R-CNN中感兴趣区域头部(RoI Head)网络预测得到的所述源域感兴趣区域特征向量对应的类别的集合表示为
Figure BDA0003476728010000077
其中，
Figure BDA0003476728010000078
表示第i个所述源域感兴趣区域特征向量，
Figure BDA0003476728010000079
表示
Figure BDA00034767280100000710
的所述预测类别，
Figure BDA00034767280100000711
其中对应的索引0表示背景类别，对应的索引1至K分别表示待检测类别对应的索引，s表示源域，ns表示源域感兴趣区域的总数。
所述步骤13，将经过所述域自适应目标检测框架的检测器Faster R-CNN中感兴趣区域池化(RoI Pooling)并展平后的所述目标域感兴趣区域特征向量的集合表示为
Figure BDA0003476728010000081
将经过所述域自适应目标检测框架的检测器Faster R-CNN中感兴趣区域头部(RoI Head)网络预测得到的所述目标域感兴趣区域特征向量对应的类别的集合表示为
Figure BDA0003476728010000082
其中，
Figure BDA0003476728010000083
表示第j个目标域感兴趣区域的特征向量，
Figure BDA0003476728010000084
表示
Figure BDA0003476728010000085
的所述预测类别，
Figure BDA0003476728010000086
其中对应的索引0表示背景类别，对应的索引1至K分别表示待检测类别对应的索引，t表示目标域，nt表示目标域感兴趣区域的总数。
在一个实施例中，为了确保不同类别特征之间的分离性，步骤2可以通过如下子步骤实现：
步骤21，度量所述
Figure BDA0003476728010000087
和
Figure BDA0003476728010000088
之间的距离。
例如，如图3所示，使用f(·)将所述
Figure BDA0003476728010000089
和
Figure BDA00034767280100000810
映射到欧氏空间中，其中，
Figure BDA00034767280100000811
表示映射函数，具体为Faster R-CNN中感兴趣区域池化层后的两个全连接层，d表示欧氏空间的维度，具体为全连接层节点的个数。在欧氏空间中，依次度量
Figure BDA00034767280100000812
与
Figure BDA00034767280100000813
之间在欧氏空间中的距离
Figure BDA00034767280100000814
其具体过程包括：
以i为行索引，以j为列索引，构造距离矩阵
Figure BDA00034767280100000815
该矩阵中的元素为通过式(3)计算得到的
Figure BDA00034767280100000816
与
Figure BDA00034767280100000817
之间在欧氏空间中的距离
Figure BDA00034767280100000818
Figure BDA00034767280100000819
式中，
Figure BDA00034767280100000820
表示L2范数的平方，i＝1,2,…,ns,j＝1,2,…,nt。
需要说明的是，除了这种度量方法之外，也可以采用现有的其它测量两个向量之间的距离度量方式。
步骤22，为每个所述
Figure BDA00034767280100000821
选取所述相同类别且距离最大的所述
Figure BDA00034767280100000822
作为异域同类特征向量对，为每个所述
Figure BDA00034767280100000823
选取所述不同类别且距离最小的所述
Figure BDA00034767280100000824
作为异域异类特征向量对，计算
Figure BDA00034767280100000825
在一个实施例中，根据源域感兴趣区域特征向量
Figure BDA0003476728010000091
对应的类别的集合
Figure BDA0003476728010000092
目标域感兴趣区域特征向量
Figure BDA0003476728010000093
对应的类别的集合
Figure BDA0003476728010000094
可知对于第i个源域感兴趣区域特征向量
Figure BDA0003476728010000095
存在与之为同类的目标域感兴趣区域特征向量的集合
Figure BDA0003476728010000096
同时也存在与之为异类的目标域感兴趣区域特征向量的集合
Figure BDA0003476728010000097
为确保异域同类感兴趣区域特征向量对
Figure BDA0003476728010000098
的距离显著小于异域异类感兴趣区域特征向量对
Figure BDA0003476728010000099
的距离，施加约束条件如下式(4)：
Figure BDA00034767280100000910
如果就某个源域感兴趣区域特征向量
Figure BDA00034767280100000911
从距离矩阵
Figure BDA00034767280100000912
中随机选取与之为同类的目标域感兴趣区域特征向量
Figure BDA00034767280100000913
和与之为异类的目标域感兴趣区域特征向量
Figure BDA00034767280100000914
直接缩小
Figure BDA00034767280100000915
和
Figure BDA00034767280100000916
之间的距离、增大
Figure BDA00034767280100000917
和
Figure BDA00034767280100000918
之间的距离，那么可能由于特征向量对
Figure BDA00034767280100000919
之间的距离本身就很小，而特征向量对
Figure BDA00034767280100000920
之间的距离本身就很大，从而导致式(4)所给出的约束条件轻易地就能得到满足，真正距离较大的感兴趣区域特征向量对
Figure BDA00034767280100000921
和距离较小的感兴趣区域特征向量对
Figure BDA00034767280100000922
未能得到有效的惩罚，域自适应目标检测模型的性能难以达到最优。因此，在训练过程中，应该选取较难训练的特征向量对，即所有异域同类特征向量对中取得最大距离
Figure BDA00034767280100000923
的特征向量对，以及所有异域异类特征向量对中取得最小距离
Figure BDA00034767280100000924
的特征向量对。
在一个实施例中，对于选取出来的较难训练的特征向量对，优化算法在保证两感兴趣区域特征向量对之间差异程度达到α的前提下，尽力使距离最大的异域同类特征向量对
Figure BDA00034767280100000925
的距离变小，使距离最小的异域异类特征向量对
Figure BDA00034767280100000926
的距离变大。由此缩小预测为相同类别的源域和目标域感兴趣区域特征向量之间的距离，同时增大预测为不同类别的源域和目标域感兴趣区域特征向量之间的距离。
这种拉近异域同类感兴趣区域特征、拉远异域异类感兴趣区域特征的方式，可以保持不同类别特征之间的分离性，相当于在原有域自适应目标检测框架损失函数的基础上，加入了通过相同类别之间的距离和不同类别之间的距离计算得到的正则化项，可以通过式(5)计算类间正则化损失函数值
Figure BDA00034767280100000927
Figure BDA0003476728010000101
式中，α表示用于控制两感兴趣区域特征向量对之间差异的程度的参数，为正数，
Figure BDA0003476728010000102
表示所述异域同类特征向量对的距离，
Figure BDA0003476728010000103
表示所述异域异类特征向量对的距离，
Figure BDA0003476728010000104
表示与所述
Figure BDA0003476728010000105
为所述相同类别的所述目标域感兴趣区域特征向量，
Figure BDA0003476728010000106
表示与所述
Figure BDA0003476728010000107
为所述不同类别的所述目标域感兴趣区域特征向量，n+表示所述
Figure BDA0003476728010000108
的数量，n-表示所述
Figure BDA0003476728010000109
的数量，且n++n-＝nt，
Figure BDA00034767280100001010
如果Δi<α，说明距离最大的特征向量对
Figure BDA00034767280100001011
的距离仍然大于距离最小的特征向量对
Figure BDA00034767280100001012
那么第i个源域感兴趣区域特征向量对应的类间正则化损失函数
Figure BDA00034767280100001013
如果Δi≥α，说明距离最大的特征向量对
Figure BDA00034767280100001014
的距离已经显著小于距离最小的特征向量对
Figure BDA00034767280100001015
那么第i个源域感兴趣区域特征向量对应的类间正则化损失函数
Figure BDA00034767280100001016
同样地，也可以通过现有技术中其它的方式计算
Figure BDA00034767280100001017
在一个实施例中，如图4所示，在训练开始前，步骤3中的为背景类别和所有待检测类别的特征都随机初始化一个类别特征中心
Figure BDA00034767280100001018
那么将所有类别特征中心所构成的集合表示为
Figure BDA00034767280100001019
这些类别特征中心为源域和目标域所共享，并且在后续训练过程中，可以自动进行更新。
在一个实施例中，为了确保相同类别特征之间的紧凑性，步骤3可以通过如下子步骤实现：
步骤31，度量所述
Figure BDA00034767280100001020
和
Figure BDA00034767280100001021
分别与
Figure BDA00034767280100001022
之间的距离。例如，使用f(·)将
Figure BDA00034767280100001023
映射到欧氏空间中，其中，
Figure BDA00034767280100001024
表示映射函数，具体为Faster R-CNN中感兴趣区域池化层后的两个全连接层，d表示欧氏空间的维度，具体为全连接层节点的个数。
依次度量
Figure BDA00034767280100001025
与
Figure BDA00034767280100001026
之间的距离
Figure BDA00034767280100001027
以及
Figure BDA00034767280100001028
与
Figure BDA00034767280100001029
之间的距离
Figure BDA00034767280100001030
其具体过程包括：
步骤311，以i为行索引，以k为列索引，构造距离矩阵
Figure BDA00034767280100001031
该矩阵中的每个元素为通过式(6)计算得到的
Figure BDA00034767280100001032
和所有的类别特征中心
Figure BDA00034767280100001033
之间在欧氏空间中的距离
Figure BDA00034767280100001034
Figure BDA00034767280100001035
步骤312，以j为行索引，以k为列索引，构造距离矩阵
Figure BDA0003476728010000111
该矩阵中的每个元素为通过式(7)计算
Figure BDA0003476728010000112
和
Figure BDA0003476728010000113
之间在欧氏空间中的距离
Figure BDA0003476728010000114
Figure BDA0003476728010000115
式中，f(·)具体为所述域自适应目标检测框架的检测器Faster R-CNN中感兴趣区域池化层后的两个全连接层，
Figure BDA0003476728010000116
表示L2范数的平方，k表示特征中心
Figure BDA0003476728010000117
对应的索引，k＝0,1,…,K。
除了这种度量方法之外，也可以采用现有的其它测量两个向量之间的距离度量方式。
步骤32，分别为所述
Figure BDA0003476728010000118
和
Figure BDA0003476728010000119
选取与之为相同类别的
Figure BDA00034767280100001110
计算
Figure BDA00034767280100001111
在一个实施例中，可以采用如下子步骤实现步骤32：
步骤321，构造与所述
Figure BDA00034767280100001112
具有相同维度的掩膜
Figure BDA00034767280100001113
选取与
Figure BDA00034767280100001114
为相同类别的特征中心。
经过Faster R-CNN中感兴趣区域头部(RoI Head)网络的预测可以得到源域感兴趣区域特征向量对应的类别的集合
Figure BDA00034767280100001115
目标域感兴趣区域特征向量对应的类别的集合
Figure BDA00034767280100001116
对于第i个源域感兴趣区域特征向量
Figure BDA00034767280100001117
只需要将其向相同类别的特征中心拉近，同理，对于第j个目标域感兴趣区域特征向量
Figure BDA00034767280100001118
也只需要将其向相同类别的特征中心拉近。
为保留距离矩阵
Figure BDA00034767280100001119
中第i个源域感兴趣区域特征向量
Figure BDA00034767280100001120
和相同类别的特征中心
Figure BDA00034767280100001121
的距离值，
Figure BDA00034767280100001122
中第j个目标域感兴趣区域特征向量
Figure BDA00034767280100001123
和相同类别的特征中心
Figure BDA00034767280100001124
的距离值，构造与
Figure BDA00034767280100001125
具有相同维度的掩膜
Figure BDA00034767280100001126
与
Figure BDA00034767280100001127
具有相同维度的掩膜
Figure BDA00034767280100001128
如果源域感兴趣区域特征向量
Figure BDA00034767280100001129
的预测类别
Figure BDA00034767280100001130
与特征中心
Figure BDA00034767280100001131
所代表的类别相同，那么掩膜
Figure BDA00034767280100001132
对应位置处的元素置1，否则置0，从而选取出与每个源域感兴趣区域特征向量为相同类别的特征中心，掩膜
Figure BDA00034767280100001133
计算式表示为式(8)：
Figure BDA00034767280100001134
步骤322，如果目标域感兴趣区域特征向量
Figure BDA0003476728010000121
的预测类别
Figure BDA0003476728010000122
与特征中心
Figure BDA0003476728010000123
所代表的类别相同，那么掩膜
Figure BDA0003476728010000124
对应位置处的元素置1，否则置0，从而选取出与每个目标域感兴趣区域特征向量为相同类别的特征中心，掩膜
Figure BDA0003476728010000125
计算式表示为式(9)：
Figure BDA0003476728010000126
通过掩膜
Figure BDA0003476728010000127
与距离矩阵
Figure BDA0003476728010000128
的结合，掩膜
Figure BDA0003476728010000129
与距离矩阵
Figure BDA00034767280100001210
的结合，可以过滤感兴趣区域特征和异类特征中心之间的距离值，保留感兴趣区域特征和同类特征中心之间的距离值，从而将源域和目标域感兴趣区域特征向对应类别特征中心拉近。
这种将感兴趣区域特征拉向对应类别特征中心的方式，可以保持相同类别特征之间的紧凑性，相当于在原有域自适应目标检测框架损失函数的基础上，加入了通过感兴趣区域特征与对应类别特征中心之间的距离计算得到的正则化项，类内正则化(in-categoryregularization,ICR)损失函数
Figure BDA00034767280100001211
为源域类内正则化损失函数
Figure BDA00034767280100001212
和目标域类间正则化损失函数
Figure BDA00034767280100001213
之和，计算式如下式(10)所示：
Figure BDA00034767280100001214
其中，源域类内正则化损失函数
Figure BDA00034767280100001215
和目标域类间正则化损失函数
Figure BDA00034767280100001216
分别计算如下式(11)和式(12)所示：
Figure BDA00034767280100001217
Figure BDA00034767280100001218
式中，
Figure BDA00034767280100001219
表示矩阵的逐元素相乘。
在一个实施例中，步骤4中的所述
Figure BDA00034767280100001220
和
Figure BDA00034767280100001221
作为正则化项结合到所述域自适应目标检测框架的损失函数后形成的函数分为两类：
第一类：所述域自适应目标检测框架为DA-Faste的情形下，所述形成的函数被描述为式(13)：
Figure BDA00034767280100001222
第二类：所述域自适应目标检测框架为SWDA的情形下，所述形成的函数被描述为式(14)：
Figure BDA00034767280100001223
式中，
Figure BDA0003476728010000131
表示所述类间正则化损失函数值，
Figure BDA0003476728010000132
表示所述类内正则化损失函数值，β1、γ1、β2、γ2均表示平衡参数，一般是保持多个损失项数量级相当，需要根据具体应用情况来调整，例如可取0.1、或1、或10等。通过对式(13)或者式(14)中域自适应目标检测损失函数和类别正则化损失函数进行联合优化，既可以减小源域和目标域特征分布的差异，又可以保证源域和目标域类别特征得到合理且充分的对齐。
在实施例所选取的DA-Faster和SWDA两种域自适应目标检测框架，在对齐两域特征的过程中均未考虑类别层面的匹配情况。不同类别特征错误对齐，或者相同类别特征对齐不充分，都有可能导致两域特征的负迁移，目标检测模型的性能在经过域自适应后仍然欠佳。将DA-Faster和SWDA作为基础模型，进而在其上对特征进行类间正则化和类内正则化，以促使域自适应目标检测框架在原有基础上能够取得进一步的性能提升。
使用式(13)和式(14)提供的优化算法对融合类间正则化和类内正则化方法的域自适应目标检测框架进行训练。优化原有域自适应目标检测框架的损失项可以从整体层面对齐源域和目标域的特征，提高源域和目标域特征的可迁移性。优化类别正则化方法所引入的类间正则化损失项和类内正则化损失项可以从类别层面对齐源域和目标域特定类别的特征，提高源域和目标域特征的可判别性。通过对式(13)或者式(14)中域自适应目标检测损失函数和类别正则化损失函数进行联合优化，既可以减小源域和目标域特征分布的差异，又可以保证源域和目标域类别特征得到合理且充分的对齐。
如图5所示，本发明实施例提供的用于域自适应目标检测的类别正则化系统包括特征向量获取模块、类间正则化模块、类内正则化模块和损失优化模块，其中：
特征向量获取模块用于获取源域感兴趣区域特征向量
Figure BDA0003476728010000133
和目标域感兴趣区域特征向量
Figure BDA0003476728010000134
及其与所述
Figure BDA0003476728010000135
对应的预测类别
Figure BDA0003476728010000136
和与所述
Figure BDA0003476728010000137
对应的预测类别
Figure BDA0003476728010000138
其中，i和j分别表示源域s和目标域t感兴趣区域特征向量对应的索引。
类间正则化模块用于根据所述
Figure BDA0003476728010000139
和
Figure BDA00034767280100001310
之间的距离，计算类间正则化损失函数值
Figure BDA00034767280100001311
通过在欧氏空间中对源域和目标域感兴趣区域特征向量两两之间的距离进行度量，缩小预测为相同类别的源域和目标域感兴趣区域特征之间的距离，增大预测为不同类别的源域和目标域感兴趣区域特征之间的距离，从而确保不同类别特征之间的分离性。
类内正则化模块用于为背景类别和所有待检测类别都学习一个可被所述源域和目标域所共享的特征中心
Figure BDA0003476728010000141
分别缩小所述
Figure BDA0003476728010000142
和
Figure BDA0003476728010000143
与其对应类别的所述
Figure BDA0003476728010000144
之间的距离，计算类内正则化损失函数值
Figure BDA0003476728010000145
其中，k表示所述特征中心对应的索引；其中，
Figure BDA0003476728010000146
表示所述背景类别。为背景类别和所有待检测类别都学习一个特征中心，在对每种类别的特征中心进行更新的同时，不断缩小源域和目标域感兴趣区域特征与对应类别特征中心之间的距离，从而确保相同类别特征之间的紧凑性。
损失优化模块用于将所述
Figure BDA0003476728010000147
和
Figure BDA0003476728010000148
作为正则化项结合到域自适应目标检测框架的损失函数中，以联合优化域自适应目标检测损失函数和类别正则化损失函数。
在一个实施例中，所述类间正则化模块具体包括第一距离度量单元、第一特征选取单元、第二特征选取单元和第一损失计算单元，其中：
第一距离度量单元用于度量所述
Figure BDA0003476728010000149
和
Figure BDA00034767280100001410
之间的距离。
第一特征选取单元用于为每个所述
Figure BDA00034767280100001411
选取所述相同类别且距离最大的所述
Figure BDA00034767280100001412
作为异域同类特征向量对。
第二特征选取单元用于为每个所述
Figure BDA00034767280100001413
选取所述不同类别且距离最小的所述
Figure BDA00034767280100001414
作为异域异类特征向量对。
第一损失计算单元用于计算
Figure BDA00034767280100001415
所述类内正则化模块具体包括第二距离度量单元、类别选取单元和第二损失计算单元，其中：
第二距离度量单元用于度量所述
Figure BDA00034767280100001416
和
Figure BDA00034767280100001417
分别与
Figure BDA00034767280100001418
之间的距离。
类别选取单元用于分别为所述
Figure BDA00034767280100001419
和
Figure BDA00034767280100001420
选取与之为相同类别的
Figure BDA00034767280100001421
第二损失计算单元用于计算
Figure BDA00034767280100001422
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种用于域自适应目标检测的类别正则化方法，其特征在于，包括：
步骤1，获取源域感兴趣区域特征向量
Figure FDA0003476728000000011
和目标域感兴趣区域特征向量
Figure FDA0003476728000000012
及其与所述
Figure FDA0003476728000000013
对应的预测类别
Figure FDA0003476728000000014
和与所述
Figure FDA0003476728000000015
对应的预测类别
Figure FDA0003476728000000016
其中，i和j分别表示源域s和目标域t感兴趣区域特征向量对应的索引；
步骤2，根据所述
Figure FDA0003476728000000017
和
Figure FDA0003476728000000018
之间的距离，计算类间正则化损失函数值
Figure FDA0003476728000000019
步骤3，根据所述
Figure FDA00034767280000000110
和
Figure FDA00034767280000000111
与其对应类别的特征中心
Figure FDA00034767280000000112
之间的距离，计算类内正则化损失函数值
Figure FDA00034767280000000113
其中，所述
Figure FDA00034767280000000114
由所述源域和目标域同时共享，k表示所述特征中心对应的索引；
步骤4，所述
Figure FDA00034767280000000115
和
Figure FDA00034767280000000116
作为正则化项结合到域自适应目标检测框架的损失函数中，以联合优化域自适应目标检测损失函数和类别正则化损失函数。
2.如权利要求1所述的用于域自适应目标检测的类别正则化方法，其特征在于，所述步骤2具体包括：
步骤21，度量所述
Figure FDA00034767280000000117
和
Figure FDA00034767280000000118
之间的距离；
步骤22，为每个所述
Figure FDA00034767280000000119
选取所述相同类别且距离最大的所述
Figure FDA00034767280000000120
作为异域同类特征向量对，为每个所述
Figure FDA00034767280000000121
选取所述不同类别且距离最小的所述
Figure FDA00034767280000000122
作为异域异类特征向量对，计算
Figure FDA00034767280000000123
3.如权利要求2所述的用于域自适应目标检测的类别正则化方法，其特征在于，所述步骤21具体包括：
以i为行索引，以j为列索引，构造距离矩阵
Figure FDA00034767280000000124
该矩阵中的元素为通过式(3)计算得到的
Figure FDA00034767280000000125
与
Figure FDA00034767280000000126
之间在欧氏空间中的距离
Figure FDA00034767280000000127
Figure FDA00034767280000000128
式中，
Figure FDA00034767280000000129
表示L2范数的平方，f(·)表示所述域自适应目标检测框架的检测器FasterR-CNN中感兴趣区域池化层后的两个全连接层，用于将所述
Figure FDA00034767280000000130
和
Figure FDA00034767280000000131
映射到欧氏空间中。
4.如权利要求2所述的用于域自适应目标检测的类别正则化方法，其特征在于，所述步骤22中，所述异域同类特征向量对和所述异域异类特征向量对需要满足约束条件(4)：
Figure FDA0003476728000000021
所述
Figure FDA0003476728000000022
通过式(5)计算得到；
Figure FDA0003476728000000023
式中，α表示用于控制两感兴趣区域特征向量对之间差异的程度的参数，为正数，
Figure FDA0003476728000000024
表示所述异域同类特征向量对的距离，
Figure FDA0003476728000000025
表示所述异域异类特征向量对的距离，
Figure FDA0003476728000000026
表示与所述
Figure FDA0003476728000000027
为所述相同类别的所述目标域感兴趣区域特征向量，
Figure FDA0003476728000000028
表示与所述
Figure FDA0003476728000000029
为所述不同类别的所述目标域感兴趣区域特征向量，n+表示所述
Figure FDA00034767280000000210
的数量，n-表示所述
Figure FDA00034767280000000211
的数量，且n++n-＝nt，
Figure FDA00034767280000000212
5.如权利要求1至4中任一项所述的用于域自适应目标检测的类别正则化方法，其特征在于，所述步骤3具体包括：
步骤31，度量所述
Figure FDA00034767280000000213
和
Figure FDA00034767280000000214
分别与
Figure FDA00034767280000000215
之间的距离；
步骤32，分别为所述
Figure FDA00034767280000000216
和
Figure FDA00034767280000000217
选取与之为相同类别的
Figure FDA00034767280000000218
计算
Figure FDA00034767280000000219
6.如权利要求5所述的用于域自适应目标检测的类别正则化方法，其特征在于，所述步骤31具体包括：
步骤311，以i为行索引，以k为列索引，构造距离矩阵
Figure FDA00034767280000000220
该矩阵中的每个元素为通过式(6)计算得到的
Figure FDA00034767280000000221
和所有的类别特征中心
Figure FDA00034767280000000222
之间在欧氏空间中的距离
Figure FDA00034767280000000223
Figure FDA00034767280000000224
步骤312，以j为行索引，以k为列索引，构造距离矩阵
Figure FDA00034767280000000225
该矩阵中的每个元素为通过式(7)计算
Figure FDA00034767280000000226
和
Figure FDA00034767280000000227
之间在欧氏空间中的距离
Figure FDA00034767280000000228
Figure FDA00034767280000000229
式中，f(·)具体为所述域自适应目标检测框架的检测器Faster R-CNN中感兴趣区域池化层后的两个全连接层，用于将所述
Figure FDA00034767280000000230
和
Figure FDA00034767280000000231
映射到欧氏空间中，‖·‖2表示L2范数，k表示所述
Figure FDA00034767280000000232
对应的索引，k＝0,1,…,K。
7.如权利要求6所述的用于域自适应目标检测的类别正则化方法，其特征在于，所述步骤32具体包括：
步骤321，构造与所述
Figure FDA0003476728000000031
具有相同维度的掩膜
Figure FDA0003476728000000032
如式(8)所示，选取与
Figure FDA0003476728000000033
为相同类别的特征中心：
Figure FDA0003476728000000034
步骤322，构造与所述
Figure FDA0003476728000000035
具有相同维度的掩膜
Figure FDA0003476728000000036
如式(9)所示，选取与
Figure FDA0003476728000000037
为相同类别的特征中心：
Figure FDA0003476728000000038
类内正则化损失函数值
Figure FDA0003476728000000039
通过式(10)计算：
Figure FDA00034767280000000310
其中，源域类内正则化损失函数
Figure FDA00034767280000000311
和目标域类间正则化损失函数
Figure FDA00034767280000000312
分别计算如下式(11)和式(12)所示：
Figure FDA00034767280000000313
Figure FDA00034767280000000314
式中，
Figure FDA00034767280000000315
表示矩阵的逐元素相乘。
8.如权利要求1-7中任一项所述的用于域自适应目标检测的类别正则化方法，其特征在于，所述步骤4中的所述
Figure FDA00034767280000000316
和
Figure FDA00034767280000000317
作为正则化项结合到所述域自适应目标检测框架的损失函数后形成的函数分为两类：
第一类：所述域自适应目标检测框架为DA-Faste的情形下，所述形成的函数被描述为式(13)：
Figure FDA00034767280000000318
第二类：所述域自适应目标检测框架为SWDA的情形下，所述形成的函数被描述为式(14)：
Figure FDA00034767280000000319
式中，
Figure FDA00034767280000000320
表示所述类间正则化损失函数值，
Figure FDA00034767280000000321
表示所述类内正则化损失函数值，β1、γ1、β2、γ2均表示平衡参数。
9.一种用于域自适应目标检测的类别正则化系统，其特征在于，包括：
特征向量获取模块，其用于获取源域感兴趣区域特征向量
Figure FDA00034767280000000322
和目标域感兴趣区域特征向量
Figure FDA00034767280000000323
及其与所述
Figure FDA00034767280000000324
对应的预测类别
Figure FDA00034767280000000325
和与所述
Figure FDA00034767280000000326
对应的预测类别
Figure FDA00034767280000000327
其中，i和j分别表示源域s和目标域t感兴趣区域特征向量对应的索引；
类间正则化模块，其用于根据所述
Figure FDA0003476728000000041
和
Figure FDA0003476728000000042
之间的距离，计算类间正则化损失函数值
Figure FDA0003476728000000043
类内正则化模块，其用于根据所述
Figure FDA0003476728000000044
和
Figure FDA0003476728000000045
与其对应类别的特征中心
Figure FDA0003476728000000046
之间的距离，计算类内正则化损失函数值
Figure FDA0003476728000000047
其中，所述
Figure FDA0003476728000000048
由所述源域和目标域同时共享，k表示所述特征中心对应的索引；
损失优化模块，其用于将所述
Figure FDA0003476728000000049
和
Figure FDA00034767280000000410
作为正则化项结合到域自适应目标检测框架的损失函数中，以联合优化域自适应目标检测损失函数和类别正则化损失函数。
10.如权利要求9所述的用于域自适应目标检测的类别正则化系统，其特征在于，所述类间正则化模块具体包括：
第一距离度量单元，其用于度量所述
Figure FDA00034767280000000411
和
Figure FDA00034767280000000412
之间的距离；
第一特征选取单元，其用于为每个所述
Figure FDA00034767280000000413
选取所述相同类别且距离最大的所述
Figure FDA00034767280000000414
作为异域同类特征向量对；
第二特征选取单元，其用于为每个所述
Figure FDA00034767280000000415
选取所述不同类别且距离最小的所述
Figure FDA00034767280000000416
作为异域异类特征向量对；
第一损失计算单元，其用于计算
Figure FDA00034767280000000417
所述类内正则化模块具体包括：
第二距离度量单元，其用于度量所述
Figure FDA00034767280000000418
和
Figure FDA00034767280000000419
分别与
Figure FDA00034767280000000420
之间的距离；
类别选取单元，其用于分别为所述
Figure FDA00034767280000000421
和
Figure FDA00034767280000000422
选取与之为相同类别的
Figure FDA00034767280000000423
第二损失计算单元，其用于计算
Figure FDA00034767280000000424
CN202210056531.7A 2022-01-18 2022-01-18 一种用于域自适应目标检测的类别正则化方法及系统 Active CN114386527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210056531.7A CN114386527B (zh) 2022-01-18 2022-01-18 一种用于域自适应目标检测的类别正则化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210056531.7A CN114386527B (zh) 2022-01-18 2022-01-18 一种用于域自适应目标检测的类别正则化方法及系统

Publications (2)

Publication Number Publication Date
CN114386527A true CN114386527A (zh) 2022-04-22
CN114386527B CN114386527B (zh) 2022-12-09

Family

ID=81203809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210056531.7A Active CN114386527B (zh) 2022-01-18 2022-01-18 一种用于域自适应目标检测的类别正则化方法及系统

Country Status (1)

Country Link
CN (1) CN114386527B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114912516A (zh) * 2022-04-25 2022-08-16 湖南大学无锡智能控制研究院 一种协调特征一致性和特异性的跨域目标检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363122A (zh) * 2019-07-03 2019-10-22 昆明理工大学 一种基于多层特征对齐的跨域目标检测方法
CN112418159A (zh) * 2020-12-08 2021-02-26 杭州科技职业技术学院 基于注意力掩码的就餐人员监控方法、装置和电子设备
CN113392933A (zh) * 2021-07-06 2021-09-14 湖南大学 一种基于不确定性引导的自适应跨域目标检测方法
US20210312232A1 (en) * 2020-04-06 2021-10-07 Adobe Inc. Domain alignment for object detection domain adaptation tasks
CN113706547A (zh) * 2021-08-27 2021-11-26 北京航空航天大学 一种基于类别同异性引导的无监督域适应语义分割方法
CN113807420A (zh) * 2021-09-06 2021-12-17 湖南大学 一种考虑类别语义匹配的域自适应目标检测方法及系统
CN113902913A (zh) * 2021-08-31 2022-01-07 际络科技(上海)有限公司 图片语义分割方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363122A (zh) * 2019-07-03 2019-10-22 昆明理工大学 一种基于多层特征对齐的跨域目标检测方法
US20210312232A1 (en) * 2020-04-06 2021-10-07 Adobe Inc. Domain alignment for object detection domain adaptation tasks
CN112418159A (zh) * 2020-12-08 2021-02-26 杭州科技职业技术学院 基于注意力掩码的就餐人员监控方法、装置和电子设备
CN113392933A (zh) * 2021-07-06 2021-09-14 湖南大学 一种基于不确定性引导的自适应跨域目标检测方法
CN113706547A (zh) * 2021-08-27 2021-11-26 北京航空航天大学 一种基于类别同异性引导的无监督域适应语义分割方法
CN113902913A (zh) * 2021-08-31 2022-01-07 际络科技(上海)有限公司 图片语义分割方法及装置
CN113807420A (zh) * 2021-09-06 2021-12-17 湖南大学 一种考虑类别语义匹配的域自适应目标检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XU CD ET AL: "《Exploring Categorical Regularization for Domain Adaptive Object Detection》", 《IEEE》 *
YANG YC ET AL: "《Foreground-focused Domain Adaptation for Object Detection》", 《IEEE》 *
韩明蕾: "《地下隧道电缆环境下的少样本目标检测算法研究》", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114912516A (zh) * 2022-04-25 2022-08-16 湖南大学无锡智能控制研究院 一种协调特征一致性和特异性的跨域目标检测方法及系统

Also Published As

Publication number Publication date
CN114386527B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN111291809B (zh) 一种处理装置、方法及存储介质
CN110516095B (zh) 基于语义迁移的弱监督深度哈希社交图像检索方法和系统
CN113378632A (zh) 一种基于伪标签优化的无监督域适应行人重识别算法
CN110059586B (zh) 一种基于空洞残差注意力结构的虹膜定位分割系统
CN111382686B (zh) 一种基于半监督生成对抗网络的车道线检测方法
CN111612051B (zh) 一种基于图卷积神经网络的弱监督目标检测方法
CN114841257B (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN109033107A (zh) 图像检索方法和装置、计算机设备和存储介质
US20230162522A1 (en) Person re-identification method of integrating global features and ladder-shaped local features and device thereof
CN112884742A (zh) 一种基于多算法融合的多目标实时检测、识别及跟踪方法
CN113052184B (zh) 一种基于两阶段局部特征对齐的目标检测方法
CN109840518B (zh) 一种结合分类与域适应的视觉追踪方法
CN111368909A (zh) 一种基于卷积神经网络深度特征的车标识别方法
CN114821374B (zh) 一种知识与数据协同驱动的无人机航拍目标检测方法
CN113326735A (zh) 一种基于YOLOv5的多模态小目标检测方法
CN113298129A (zh) 基于超像素和图卷积网络的极化sar图像分类方法
CN112364747A (zh) 一种有限样本下的目标检测方法
CN114386527B (zh) 一种用于域自适应目标检测的类别正则化方法及系统
CN113627240B (zh) 一种基于改进ssd学习模型的无人机树木种类识别方法
Yamashita et al. Cost-alleviative learning for deep convolutional neural network-based facial part labeling
CN115761240B (zh) 一种混沌反向传播图神经网络的图像语义分割方法及装置
CN114912516B (zh) 一种协调特征一致性和特异性的跨域目标检测方法及系统
CN111291785A (zh) 目标检测的方法、装置、设备及存储介质
CN115018884A (zh) 基于多策略融合树的可见光红外视觉跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant