CN113779287B - 基于多阶段分类器网络的跨域多视角目标检索方法及装置 - Google Patents

基于多阶段分类器网络的跨域多视角目标检索方法及装置 Download PDF

Info

Publication number
CN113779287B
CN113779287B CN202111024481.6A CN202111024481A CN113779287B CN 113779287 B CN113779287 B CN 113779287B CN 202111024481 A CN202111024481 A CN 202111024481A CN 113779287 B CN113779287 B CN 113779287B
Authority
CN
China
Prior art keywords
domain
target
view
sample
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111024481.6A
Other languages
English (en)
Other versions
CN113779287A (zh
Inventor
张静
马明升
李文辉
刘安安
苏育挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202111024481.6A priority Critical patent/CN113779287B/zh
Publication of CN113779287A publication Critical patent/CN113779287A/zh
Application granted granted Critical
Publication of CN113779287B publication Critical patent/CN113779287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多阶段分类器网络的跨域多视角目标检索方法及装置，相比于传统方法过度依赖静态的具有较高复杂度学习器，本发明考虑了不同样本间可转移性的差异，通过在网络中加入多个中间分类器，在训练中根据样本不同阶段特征动态地判断样本是否“容易”转移。通过样本在不同分类器前特征进行相似性度量来计算置信度分数这一策略判断各分类器的预测一致性，并得到准确的目标伪标签；同时在保证输入类别多样性的前提下重新对目标样本筛选以训练从源域到目标域的多阶段分类器。在针对多视图表示的三维模型跨域检索上，通过融合不同分类器前的特征以获取样本特征的全局表示。基于以上操作能够在传统检索指标上获得更好的性能，提升检索效果。

Description

基于多阶段分类器网络的跨域多视角目标检索方法及装置
技术领域
本发明涉及域适应与深度学习技术领域，尤其涉及一种基于多阶段分类器网络的跨域多视角目标检索及装置。
背景技术
随着三维模型的应用日益广泛以及三维模型建模技术的快速发展，产生了海量的三维模型数据。如何在大量重复的三维模型数据中进行模型数据库的管理以及有效的检索逐渐成为人们的需求，高效的三维模型检索算法成为了当下研究的热点。
当前深度神经网络在二维图像上的分类识别技术已经十分成熟，通过大量有标记的二维图像上学习到的知识来跨域检索三维模型成了许多学者研究的热点。其中基于视图的三维模型检索方法将三维模型转化为二维投影视图，以多视图特征融合的全局描述子通过深度神经网络来进行分类或检索是当下最热门的研究方向之一。例如：有的方法在网络最后一个池化层对多视图特征进行融合以获得信息更为丰富的特征；有的方法在前者基础上对视图增加了分组操作；还有的方法通过图卷积网络将视图聚合。由于深度神经网络针对二维图像的处理技术比较成熟，大量带有真实标签的二维图像数据能使网络充分地进行预训练，因此基于视图的三维模型检索方法取得了比较好的效果。
在域适应研究领域，比较流行的方法通常利用静态的具有较高复杂度的基础学习器，这些学习器具有由深度和广度架构带来的良好的可迁移能力。然而，它们没有考虑不同目标样本的可转移性。具体来说有些“简单”通过较为浅层的网络便可准确对其进行预测，而通过较深的网络其预测结果不一定优于通过浅层网络的预测；而浅层网络无法对“困难”样本进行预测，这时便需要通过深层网络对“困难”样本进行预测。而大多数数据集同时包含“简单”样本与“困难”样本。
目前针对这种情况。动态推断输入样本复杂性的自适应网络结构受到越来越多的关注。例如：在网络不同深度添加分类器，这样便可以在训练的不同阶段对样本进行预测。这种网络可以在浅深度分类器对“简单”样本进行准确推理，在深度分类器对“困难”样本进行准确推理。
发明内容
本发明提供了一种基于多阶段分类器网络的跨域多视角目标检索方法及装置，本发明相对于传统的基于静态神经网络的跨域多视角目标检索算法，充分考虑了不同视角视图可迁移性不同的情况，实现了检索准确率的较大提升，详见下文描述：
第一方面，一种基于多阶段分类器网络的跨域多视角目标检索方法，所述方法包括：
将源域二维图像数据与目标域三维模型数据一同输入进多分类器网络中进行训练；选择带有高置信度伪标签的目标数据，利用目标数据再次训练多分类器网络获得更好的域适应性能；
利用再次训练后的新多分类器网络M′分别对源域及目标域的数据提取特征，获取源域数据集的全部样本在第n个分类器前的特征集合表示；
目标域每个样本都包含若干张二维视图，在新多分类器网络的前一层对属于同一样本的视图特征进行融合，获取单个目标域样本的特征；将新多分类器网络的前特征向量计算得到的矩阵进行相加，将样本的不同细粒度特征进行融合，实现对跨域多视角目标的检索。
第二方面，一种基于多阶段分类器网络的跨域多视角目标检索装置，所述装置包括：
处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
第三方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。
本发明所提出的基于多阶段分类器网络的跨域多视角目标检索及装置相比于传统的基于静态的具有较高复杂度的网络的方法具有如下的有益效果：
1、本发明充分考虑了不同样本的可转移性，凭借多分类器网络的结构能够充分考虑样本在不同阶段不同深度的特征，在训练过程中对具有高置信度伪标签目标域样本进行筛选，通过重新筛选的样本进一步对网络进行训练优化；
2、本发明在检索时通过将不同阶段分类器的出口特征进行融合，得到富含多尺度不同深度的全局特征表示，使得常规检索指标性能得到进一步提升；
3、在实际的面向多视图表示的三维模型数据、且数据没有标签信息的应用场景下，采用本发明提出的技术方案进行检索，能够在最近邻(Nearest neighbor，NN)等检索指标上获得更好的性能，提升了检索效果。
附图说明
图1为多分类器网络的结构示意图；
图2为多分类器网络分类器的结构示意图；
图3为block的结构示意图；
图4为网络训练的流程图；
图5为一种基于多阶段分类器网络的跨域多视角目标检索装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
本发明实施例提供了一种基于多阶段分类器网络的跨域多视角目标检索方法，参见图1-图3，该方法包括以下步骤：
步骤1)将源域二维图像数据与目标域三维模型数据一同输入进多分类器网络中进行训练；选择带有高置信度伪标签的目标数据，利用目标数据再次训练多分类器网络获得更好的域适应性能；
步骤2)利用再次训练后的新多分类器网络M′分别对源域及目标域的数据提取特征，获取源域数据集的全部样本在第n个分类器前的特征集合表示；
步骤3)目标域每个样本都包含若干张二维视图，在新多分类器网络的前一层对属于同一样本的视图特征进行融合，获取单个目标域样本的特征；
步骤4)将新多分类器网络的前特征向量计算得到的矩阵进行相加，将样本的不同细粒度特征进行融合，实现对跨域多视角目标的检索。
综上所述，本发明实施例通过上述步骤1)—4)充分考虑了三维模型不同视角视图可迁移性不同的情况，实现了检索准确率的较大提升。
实施例2
下面结合具体的计算公式、图1-图3、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
本方法采用的网络具有横向纵向两个维度，其中横向是深度维度，纵向是尺度维度。横向上通过常规卷积，保持特征维度不变，在较低尺度维度情况下保持图像的细粒度特征；纵向上通过stride卷积，使得特征维度减小从而获得高阶特征，以便连接分类器(参见图2)进行分类，各层之间引入稠密连接。通过分类器个数将网络划分为相应个数的block(参见图3)。具体操作步骤如下：
步骤一：遵循大多数有监督学习的设置，对于源域给定真实标签的二维图像样本在多分类器网络/>的每个分类器上进行经验风险最小化计算，公式如下：
其中，Ds代表源域，Ns是源域样本的数量，L(·,·)是交叉熵损失函数，N是分类器的数量，fn(θn)代表第n个分类器，是第n个分类器对于样本/>的预测，/>是样本/>的真实标签，θn是第n个分类器的参数。
与此同时为了使每个分类器具有适应能力，在每个出口上施加二元域鉴别器以计算域对抗性损失。将给定的源样本标记为0，目标样本则标记为1，其中域鉴别器可以用标准交叉熵损失训练为：
其中，Dt代表目标域，Dn(·)是第n个域鉴别器，Fn(x；θn)表示第n个分类器前样本x的特征，Nt是目标域样本总视图数量。
在此步骤，本发明实施例将源域二维图像数据与目标域三维模型数据(即多视角的二维视图数据)一同输入进多分类器网络M中进行训练，其中使用随机梯度下降方法(Stochastic Gradient Descent，SGD)对式(2)损失函数进行优化，源域样本与目标域样本按照相同数量的批次进行采样，当源域数据全部训练完一次记作一次迭代(epoch)。
步骤二：当多分类器网络M得到充分训练后，选择带有高置信度伪标签的目标数据，然后利用重新选择的数据再次训练网络M获得更好的域适应性能；
具体做法是对于给定的目标样本xj∈Dt，通过二维多视图数据的集合来表示目标样本，其中V_nums表示目标域单个样本所含视图数量。计算每个视图/>在所有分类器的预测平均值/>作为该样本视图在模型上的平均预测，并用余弦相似度来衡量每个分类器预测结果与平均预测之间的一致性。
为了避免出现样本难以分辨导致其预测概率均匀分布在各类别的情况，通过该数据在每个分类器出口平均预测的最大值max(avgj)来乘以模型的平均预测以确保较难分辨的结果具有低的置信度。单一视图的置信度分数的公式如下：
在得到每张视图的置信分数之后，就可以按值对分数集进行排序，并选择带有高置信度伪标签的视图样本来进行后续的类别平衡自训练。
然而在易于转移的类别中，样本的置信度分数可能相对较高，忽略难转移类别的样本会导致预测不平衡。
为了缓解这个问题，本方法采用新的类别平衡策略，即：通过计算目标类别累计的置信度分数tc来进行样本选择，tc的计算表达式如下：
其中，表示目标域中所有伪标签为c类的视图样本集合，Nc是/>中的样本数量。
为了确保目标域低置信度类别下的样本仍然可以被选择用于目标的自训练，本方法采用线性方法从构建的目标自训练集T中决定为c类选择的目标样本数量。
以类别c为条件的数量阈值γc定义为：
其中，λ是比例系数。如果c类目标自训练子集Tc中的样本总数小于阈值γc，将目标样本的视图数据带入Tc中，其大小将增加1。
自训练集选择可以表述为如下：
其中，是决策函数，|·|是取模运算。
在获得集合T后，将T中的样本视图随机分配给不同的分类器，分类器的出口表示为nj，为样本/>的标签，则属于/>的视图与其具有相同标签。
那么自训练目标损失函数可以表示为如下：
其中，|T|表示参与自训练的样本视图数目。
优化目标损失函数来不断更新网络，以得到最终检索模型M′。其中总的损失函数如下：
L＝Ls+αLd+βLt
(8)
其中，α与β是比例系数。优化器采用方法的是SGD，而最终的检索模型表示为
步骤三：当网络经过充分的自训练之后得到网络模型利用M′分别对源域Ds及目标域Dt的数据提取特征，源域数据集的全部样本在第n个分类器前的特征集合表示为/>而目标域每个样本/>都包含若干张二维视图/>其中/>的视图表示为/>
为了能更好表示该样本的全局特征，在分类器的前一层对属于同一样本的视图特征进行融合，单个目标域样本的特征可以表示为：
其中，mix(·)表示特征融合函数。
因此目标域的全部样本在第n个分类器前的特征可以表示为通过两个域的特征表示，对不同分类器前的源域目标域特征进行相似度度量，闵可夫斯基距离的表达式为：
其中，X、Y表示不同的特征向量；N表示特征向量的维度。由于多分类器网络的不同分类器所在的网络深度不同，因此不同分类器前一层的特征向量细粒度程度不同。
为了减少误差情况，进一步将网络不同分类器前特征向量计算得到的矩阵进行相加，以此最大程度地将样本的不同细粒度特征进行融合：
其中，εn是比例系数。
上式计算得到的相似度矩阵DP便是本方法得到的最终结果，评价在目标域上检索效果的指标均是由DP计算得到。在得到相似度矩阵之后，通过其计算常见的三维模型检索评价指标来对检索效果进行评价，常见的评价指标有：
(1)最近邻(Nearest neighbor，NN)，表示检索列表中第一个检索结果的检索精度。
(2)第一层级(First tier，FT)，表示前T个检索结果的检索精度，T表示整个数据集中相关样本的个数。
(3)第二层级(Second tier，ST)，表示前2T个检索结果的检索精度。
(4)F度量(F_measure)，联合评价检索结果的精准率和召回率
(5)折损累计增益(Discounted cumulative gain，DCG)，对检索结果排名靠前的样本赋予较大的权重，从而综合评测。
(6)平均归一化修正检索排序(Average normalized modified retrieval，ANMRR)是一种基于排序的度量，考虑了检索对象中相关对象的排序信息。
实施例3
下面结合具体的算例对实施例1和2中的方案进行可行性验证，详见下文描述：
以本发明方法完成从MI3DOR数据集中的二维真实图像到三维数据集的检索。其中MI3DOR的二维真实图像数据集包含21个类别，每类1000个样本，共计21000个样本，数据集划分为训练集和测试集，各占50％；其三维模型数据集包含21个类别，共计7690个样本，样本类别分布不完全均衡，训练集包括3842个样本，测试集包含3848个样本，每个样本包含12张不同角度的相机视图。
训练过程中，采用上述二维真实图像的训练集与三维模型数据集的训练集来进行模型的训练(具体见流程图4)。
步骤1：每个批次送入网络的源域二维样本数量与目标域样本视图数量都设定为b＝48，通过式(1)计算源域样本在网络的每个分类器上的输出与其真实标签/>的交叉熵损失并求和得到总的源域交叉熵损失函数，同时给每次送入网络的源域数据标记为0，目标域视图数据标记为1，通过式(2)计算每个分类器上的二分类交叉熵损失函数并求和作为总的域鉴别损失函数，使分类器具有域鉴别能力。两个损失函数通过随机梯度下降法进行优化，从而找到最优的模型参数，使得模型收敛。其中优化器的学习率lr设置为0.005，超参数α设置为1。
步骤2：当模型得到充分地预训练之后，开始进行网络的自训练过程。源域与目标域的输入批次大小仍设置为b＝48。将目标域样本中的视图样本送入网络，得到其在不同分类器处的输出/>计算得到该视图样本在网络上的平均预测
通过式(3)计算置信分数当目标域视图数据全部计算完置信分数之后，通过式(4)计算每个类别的类置信分数tc，通过式(5)来计算每个类的阈值λc，其中比例因子λ设置为1。之后通过式(6)对目标域每个类的自训练子集Tc进行构建，此步骤充分考虑了不同角度视图之间的可转移性，并从全局考虑为不同转移难度的类平衡地分配了样本。然后将构建好的自训练集U中的样本/>随机分配到不同的分类器，联合(7)与式(8)，使用随机梯度下降法来进行优化，其中优化器的学习率lr仍设置为0.005，比例系数α与β设置为1。此步骤当目标域视图数据全部送入网络后，便得到重新构建的自训练数据集T，此时将自训练集T与源域数据Ds构建的新的源域数据Ds′和源域数据Ds与目标域数据Dt构建的新目标域数据Dt′一同送入网络进行步骤一的训练。此步骤中来自Ds的采样大小/>其中[·]表示取整函数，则来自T的采样大小bT＝b-bs，若/>则按/>进行采样。新目标域的构建方法与新源域的构建方法相同。当T中的数据全部训练完一遍时，便再次进行步骤二的自训练，重新构建新的自训练集U′重复上述步骤不断训练直至模型收敛，得到最终的模型
步骤3：当得到收敛的模型之后，使用M′分别对源域数据Ds与目标域数据Dt进行特征提取。其中目标域的样本均包含12个不同视角的视图，通过式(9)对目标域单个样本进行视图融合，为了得到最直观的特征表示同时减少计算，选取12个视图中固定位置的四张视图进行特征融合，融合方式采用在分类器前一层进行特征的最大池化。由此可以得到源域样本与目标域样本在第n个分类器前的特征表示/>与/>通过式(10)来计算对应的相似度矩阵。
为了可以充分融合不同细粒度的特征，使得特征的表示更具有普遍性全局性，同时相应减少计算成本，分别提取最后三个分类器前的源域与目标域样本的特征表示，并计算其对应的相似度矩阵几个相似度矩阵维度相同均为10500*3842，因此可通过式(11)进行计算得到最终的相似度矩阵DP，其中比例系数εn设置为1:1:2。最后通过相似度矩阵DP计算NN、FT、ST、F_measure、DCG、ANMRR六个常用指标来对检索效果进行评价。
最终检索效果如下表：
表1本方法在上述六项指标的表现
值得注意的是，上述检索指标中只有ANMRR值越小表示算法性能越好，其他检索指标均为越大表示算法性能越好。
综上所述，本发明实施例相对于传统的基于静态神经网络的跨域多视角检索算法，充分考虑了多视角在不同视角视图可迁移性不同的情况，实现了检索准确率的较大提升。
实施例4
一种基于多阶段分类器网络的跨域多视角目标检索装置，参见图5，该装置包括：处理器1和存储器2，存储器2中存储有程序指令，处理器1调用存储器2中存储的程序指令以使装置执行上述实施例1和2中的以下方法步骤：
将源域二维图像数据与目标域三维模型数据一同输入进多分类器网络中进行训练；选择带有高置信度伪标签的目标数据，利用目标数据再次训练多分类器网络获得更好的域适应性能；
获取再次训练后的新多分类器网络M′，利用新多分类器网络M′分别对源域及目标域的数据提取特征，获取源域数据集的全部样本在第n个分类器前的特征集合表示；
目标域每个样本都包含若干张二维视图，在新多分类器网络的前一层对属于同一样本的视图特征进行融合，获取单个目标域样本的特征；将新多分类器网络的前特征向量计算得到的矩阵进行相加，将样本的不同细粒度特征进行融合。
在一种实施方式中，选择带有高置信度伪标签的目标数据具体为：
对于给定的目标样本，通过二维多视图数据的集合来表示目标样本，计算每个视图在所有分类器的预测平均值作为该样本视图的平均预测，并用余弦相似度来衡量每个分类器预测结果与平均预测之间的一致性；
单一视图的置信度分数计算如下：
在一种实施方式中，还包括：通过计算目标类别累计的置信度分数tc来进行样本选择；
其中，表示目标域中所有伪标签为c类的视图样本集合，Nc是/>中的样本数量。
在一种实施方式中，利用目标数据再次训练多分类器网络中使用的自训练目标损失函数如下：
其中，|T|表示参与自训练的样本视图数目。
在一种实施方式中，单个目标域样本的特征为：
其中，mix(·)表示特征融合函数；目标域的全部样本在第n个分类器前的特征表示为
这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
上述的处理器1和存储器2的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
存储器2和处理器1之间通过总线3传输数据信号，本发明实施例对此不做赘述。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。
该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。
这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。
计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于多阶段分类器网络的跨域多视角目标检索方法，其特征在于，所述方法包括：
将源域二维图像数据与目标域三维模型数据一同输入进多分类器网络中进行训练；选择带有高置信度伪标签的目标数据，利用目标数据再次训练多分类器网络获得更好的域适应性能；
通过再次训练后的新多分类器网络分别对源域及目标域的数据提取特征，获取源域数据集的全部样本在第n个分类器前的特征集合表示；
目标域每个样本都包含若干张二维视图，在新多分类器网络的前一层对属于同一样本的视图特征进行融合，获取单个目标域样本的特征；将新多分类器网络的前特征向量计算得到的矩阵进行相加，将样本的不同细粒度特征进行融合，实现对跨域多视角目标的检索。
2.根据权利要求1所述的一种基于多阶段分类器网络的跨域多视角目标检索方法，其特征在于，所述选择带有高置信度伪标签的目标数据具体为：
对于给定的目标样本，通过二维多视图数据的集合来表示目标样本，计算每个视图在所有分类器的预测平均值作为该样本视图的平均预测，并用余弦相似度来衡量每个分类器预测结果与平均预测之间的一致性；
单一视图的置信度分数计算如下：
其中，avgj为预测平均值，为每个视图，max为最大值，θn是第n个分类器的参数，N是分类器的数量，fn代表第n个分类器。
3.根据权利要求1所述的一种基于多阶段分类器网络的跨域多视角目标检索方法，其特征在于，所述方法还包括：通过计算目标类别累计的置信度分数tc来进行样本选择；
其中，表示目标域中所有伪标签为c类的视图样本集合，Nc是/>中的样本数量。
4.根据权利要求2所述的一种基于多阶段分类器网络的跨域多视角目标检索方法，其特征在于，所述利用目标数据再次训练多分类器网络中使用的自训练目标损失函数如下：
其中，|T|表示参与自训练的样本视图数目，为样本，V_nums表示目标域单个样本所含视图数量，nj为分类器的出口，/>为样本/>的标签。
5.根据权利要求4所述的一种基于多阶段分类器网络的跨域多视角目标检索方法，其特征在于，所述单个目标域样本的特征为：
其中，mix(·)表示特征融合函数；目标域的全部样本在第n个分类器前的特征表示为
6.一种基于多阶段分类器网络的跨域多视角目标检索装置，其特征在于，所述装置包括：
处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-5中的任一项所述的方法步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行权利要求1-5中的任一项所述的方法步骤。
CN202111024481.6A 2021-09-02 2021-09-02 基于多阶段分类器网络的跨域多视角目标检索方法及装置 Active CN113779287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111024481.6A CN113779287B (zh) 2021-09-02 2021-09-02 基于多阶段分类器网络的跨域多视角目标检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111024481.6A CN113779287B (zh) 2021-09-02 2021-09-02 基于多阶段分类器网络的跨域多视角目标检索方法及装置

Publications (2)

Publication Number Publication Date
CN113779287A CN113779287A (zh) 2021-12-10
CN113779287B true CN113779287B (zh) 2023-09-15

Family

ID=78840710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111024481.6A Active CN113779287B (zh) 2021-09-02 2021-09-02 基于多阶段分类器网络的跨域多视角目标检索方法及装置

Country Status (1)

Country Link
CN (1) CN113779287B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994032B (zh) * 2023-06-28 2024-02-27 河北大学 一种基于深度学习的直肠息肉多分类方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213884A (zh) * 2018-11-26 2019-01-15 北方民族大学 一种基于草图检索三维模型的跨模态检索方法
CN110851633A (zh) * 2019-11-18 2020-02-28 中山大学 一种实现同时定位和哈希的细粒度图像检索方法
CN111476168A (zh) * 2020-04-08 2020-07-31 山东师范大学 一种基于三阶段的跨域行人重识别方法和系统
CN111625667A (zh) * 2020-05-18 2020-09-04 北京工商大学 一种基于复杂背景图像的三维模型跨域检索方法及系统
CN112766334A (zh) * 2021-01-08 2021-05-07 厦门大学 一种基于伪标签域适应的跨域图像分类方法
CN113159126A (zh) * 2021-03-22 2021-07-23 河海大学 基于通用域适应的工业物联网设备故障诊断方法
CN113240012A (zh) * 2021-05-14 2021-08-10 天津大学 一种基于二维图像的无监督多视角三维目标检索方法及装置
CN113313140A (zh) * 2021-04-14 2021-08-27 中国海洋大学 基于深度注意力的三维模型分类和检索方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078359A1 (en) * 2014-09-12 2016-03-17 Xerox Corporation System for domain adaptation with a domain-specific class means classifier
US20160253597A1 (en) * 2015-02-27 2016-09-01 Xerox Corporation Content-aware domain adaptation for cross-domain classification

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109213884A (zh) * 2018-11-26 2019-01-15 北方民族大学 一种基于草图检索三维模型的跨模态检索方法
CN110851633A (zh) * 2019-11-18 2020-02-28 中山大学 一种实现同时定位和哈希的细粒度图像检索方法
CN111476168A (zh) * 2020-04-08 2020-07-31 山东师范大学 一种基于三阶段的跨域行人重识别方法和系统
CN111625667A (zh) * 2020-05-18 2020-09-04 北京工商大学 一种基于复杂背景图像的三维模型跨域检索方法及系统
CN112766334A (zh) * 2021-01-08 2021-05-07 厦门大学 一种基于伪标签域适应的跨域图像分类方法
CN113159126A (zh) * 2021-03-22 2021-07-23 河海大学 基于通用域适应的工业物联网设备故障诊断方法
CN113313140A (zh) * 2021-04-14 2021-08-27 中国海洋大学 基于深度注意力的三维模型分类和检索方法及装置
CN113240012A (zh) * 2021-05-14 2021-08-10 天津大学 一种基于二维图像的无监督多视角三维目标检索方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
跨领域分布适配超限学习机及其在域自适应问题的应用;宋士吉;李爽;;中国计量大学学报(第04期);全文 *

Also Published As

Publication number Publication date
CN113779287A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN107515895B (zh) 一种基于目标检测的视觉目标检索方法与系统
CN110647904B (zh) 一种基于无标记数据迁移的跨模态检索方法及系统
CN108897791B (zh) 一种基于深度卷积特征和语义相似度量的图像检索方法
CN111797321A (zh) 一种面向不同场景的个性化知识推荐方法及系统
CN109471982B (zh) 一种基于用户和服务聚类QoS感知的Web服务推荐方法
CN106844620B (zh) 一种基于视图的特征匹配三维模型检索方法
CN107590505A (zh) 联合低秩表示和稀疏回归的学习方法
WO2020220692A1 (zh) 深度神经网络及其训练
CN112685591A (zh) 用户兴趣区域与反馈引导的图片精准检索方法
CN107451617B (zh) 一种图转导半监督分类方法
CN113947133A (zh) 小样本图像识别的任务重要性感知元学习方法
CN113779287B (zh) 基于多阶段分类器网络的跨域多视角目标检索方法及装置
López-Cifuentes et al. Attention-based knowledge distillation in scene recognition: the impact of a dct-driven loss
CN111062406B (zh) 一种面向异构领域适应的半监督最优传输方法
CN109858543B (zh) 基于低秩稀疏表征和关系推断的图像可记忆度预测方法
CN111325221A (zh) 基于图像深度信息的图像特征提取方法
CN116361643A (zh) 实现对象推荐的模型训练方法及对象推荐方法及相关装置
Perez et al. Face Patches Designed through Neuroevolution for Face Recognition with Large Pose Variation
Wang et al. Image target recognition based on improved convolutional neural network
Yang et al. Adaptive density peak clustering for determinging cluster center
CN112364193A (zh) 面向图像检索的融合多层特征深度神经网络模型方法
Xu et al. Fast and accurate transferability measurement by evaluating intra-class feature variance
CN110728292A (zh) 一种多任务联合优化下的自适应特征选择算法
CN115858629B (zh) 一种基于学习索引的knn查询方法
Shu Two Distillation Perspectives Based on Tanimoto Coefficient

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant