CN114898158A - 基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统 - Google Patents

基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统 Download PDF

Info

Publication number
CN114898158A
CN114898158A CN202210569646.6A CN202210569646A CN114898158A CN 114898158 A CN114898158 A CN 114898158A CN 202210569646 A CN202210569646 A CN 202210569646A CN 114898158 A CN114898158 A CN 114898158A
Authority
CN
China
Prior art keywords
scale
attention
training
sample
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210569646.6A
Other languages
English (en)
Inventor
郭春生
陈哲浩
应娜
陈华华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202210569646.6A priority Critical patent/CN114898158A/zh
Publication of CN114898158A publication Critical patent/CN114898158A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统，本发明方法包括步骤：S1.将早先布置的摄像头中收集的交通异常情形图像打上标签作为有标签数据集，并进一步划分训练集和测试集；S2.对样本数据进行数据处理并构造情景任务，从训练集中随机采样少量样本作为支持集样本和一定量同类样本作为查询样本图像；S3.利用骨干网络对每个情景任务中的图像进行特征提取，并获取多尺度输入特征；S4.将两个不同层次注意力结合，形成特征多域层次结构；S5.将不同尺度度量结果加权聚合，根据最终的支持集和查询集样本间的度量分数实现影像分类；S6.利用损失函数进行端到端训练；S7.进行测试保留最优训练权重；S8.模型部署和图像采集。

Description

基于多尺度注意力耦合机制的小样本交通异常图像采集方法 及系统
技术领域
本发明属于图像分析技术领域，涉及深度学习与交通控制的结合技术，尤其涉及一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统。
背景技术
传统的交通监控摄像头只会将所有监控画面全部保存下来并回传给数据中心，监管人员需要观看所有的监控画面来判别道路交通是否存在交通异常。由于部署的摄像头数量巨大，从而导致对于监控画面中交通异常情形的审查非常耗时、效率低下，无法及时对相关部门进行调度来处理各种交通异常情形。
随着传统的深度学习不断发展，深度学习模型已在图像分类、物体检测、图像分割等诸多计算机视觉领域都表现出了优异的性能。深度学习模型也在越来越多地被部署到智能摄像头中，运用到交通领域中进行道路监管，提前训练好的深度学习模型部署到智能摄像头后，能够对摄像头拍摄画面进行实时检测，并将交通异常图像进行标注再回传给数据中心。检测各类交通异常情形包括但不限于交通违章行为检测、交通事故检测等，这使得监管人员无需再耗费大量时间在所有监控画面中人工查找交通异常情形，只需要在被判别为异常的图像中进一步筛选即可，从而能够提升监管人员调度相关部门处理各类交通异常情形的效率。
然而深度学习模型的训练均需要大量的带标注数据加持，需要耗费大量的人力和时间成本，有限的可用数据限制了深度模型的可用性和可扩展性。虽然在经过由大量标注数据预训练的深度模型上进行微调，也能对部分图像进行正确分类，但在缺少可用标注数据情形下，模型在训练的过程中容易过拟合，实用性有限。由于摄像头的部署环境不同，拍摄到的画面角度、光线明暗度等也各有差异，这会导致由特定数据集训练的深度学习模型在部分场景的摄像头上的检测准确性会下降，即泛化能力不足。同时，在短时间内利用特定路段所拍摄的少数交通异常画面，使深度学习模型快速适应部署场景的抓拍工作是富有挑战性的。
当人类承担一项新任务时，他们可以根据经验快速掌握相关技能。受此启发，图像分类领域中提出了小样本学习方法。小样本学习专注于通过数据增强、度量学习和元学习等各种特定方法学习如何学习的问题。元学习方法是目前流行且十分有效的小样本学习方法，通过在元训练阶段构建一系列情景任务，并在每个情景任务中使用少量支持集样本(带标签样本)来构建元知识并优化查询样本(无标签样本)分类模型。在测试阶段使用相同的情景设置，将元知识泛化到新的测试任务中，以完成样本分类任务。
发明内容
针对现有技术的上述现状，本发明提出了一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统。
为了实现上述目的，本发明采用以下技术方案：
S1.将预先布置的摄像头中收集的交通异常情形图像打上标签作为有标签数据集，并进一步划分成训练集和测试集；
S2.对样本数据进行数据处理并构造情景任务，从训练集中随机采样少量样本作为支持集样本和一定量同类样本作为查询样本图像；
S3.利用骨干网络对每个情景任务中的图像进行特征提取，并获取多尺度输入特征；
S4.将两个不同层次注意力结合，形成特征多域层次结构；
S5.将不同尺度度量结果加权聚合，根据最终的支持集和查询集样本间的度量分数实现图像分类；
S6.利用损失函数进行端到端训练；
S7.进行测试保留最优训练权重；
S8.模型部署和图像采集：将训练好最优权重的模型部署到摄像头，将摄像头安置到新场景中，采集交通异常图像进行数据标注作为支持集样本，后续采集的待检测图像作为查询集样本即可实现异常图像分类采集。
进一步的，所述步骤S1中，将各类交通异常图像打上标签作为有标签数据集Dlabel。随后将有标签数据集Dlabel中各类交通异常图像按一定比例划分为训练集Dbase和测试集Dtest。作为优选，两个数据子集中交通异常图像类别是不同的。
进一步的，所述步骤S2中，对数据进行数据处理包括图像裁剪以及数据增强。情景任务T由N个类别，每个类别有K个样本(即N-way K-shot设置)，由支持集
Figure BDA0003658631980000021
和查询集
Figure BDA0003658631980000022
构成，即T＝(S,Q)，其中xi和xj分别是支持集和查询集中的图像样本，yi和yj分别是它们的对应标签。作为进一步优选，在训练阶段支持样本随机采样自训练集Dbase，查询样本采样自与支持集样本相同交通异常情形的同类样本，测试阶段支持样本随机采样自测试集Dtest，查询样本采样自与支持集样本相同交通异常情形的同类样本。
进一步的，解复用的思想是一个公共输入可以被切换到多个独立的输出，于是在本发明的步骤S3中设计了一个多尺度特征解复用器来获取多尺度输入特征。通过骨干网络
Figure BDA0003658631980000031
进行特征提取，同时为了补充每个尺度特征独有信息，从
Figure BDA0003658631980000032
中抽取了与其尺度匹配的阶段性输出特征，通过卷积核为1×1的卷积操作进行特征融合。此外，为了减小参数量的同时保留有用信息，各个尺度特征会分别经过与特征图尺寸相对应的最大池化操作以获得Z个尺度特征
Figure BDA0003658631980000033
其中F＝{fz}＝{fz,s,fz,q}，z＝1,...,Z。
最后需要在各个尺度上计算出每个情景任务中包含的样本类别的类原型。具体来说，在1-shot或者many-shot设置下，类别n的类原型可以由同类样本嵌入特征均值表示：
Figure BDA0003658631980000034
进一步的，步骤S4中两个不同层次的注意力分别是：关注类间多样性的多域注意力权重
Figure BDA0003658631980000035
和关注类内相关性的自注意力权重
Figure BDA0003658631980000036
进一步的，多域的注意力权重
Figure BDA0003658631980000037
由一个可学习参数的自适应空间重要性生成器Gs和sigmoid函数获得，公式如下：
Figure BDA0003658631980000038
Figure BDA0003658631980000039
其中θs为可学习参数，
Figure BDA00036586319800000310
为每个域的掩模由获得，σ为sigmoid函数。
进一步的，将原型特征
Figure BDA00036586319800000311
通过权重为
Figure BDA00036586319800000312
的线性映射层被转换为查询矩阵、键矩阵和值矩阵
Figure BDA00036586319800000313
于是自注意力权重
Figure BDA00036586319800000314
可以表示为：
Figure BDA00036586319800000315
进一步的，两个不同层次中注意力耦合过程可以表示为：
Figure BDA00036586319800000316
其中
Figure BDA00036586319800000317
表示元素乘积。
进一步的，多域注意力耦合模块输出特征可以表示为：
Figure BDA00036586319800000318
Figure BDA00036586319800000319
其中||表示级联操作，FFN(Feed Forward Network)表示前馈网络。
进一步的，所述步骤S5中的多尺度度量模块由一个自适应权重生成器Gw组成，各个尺度的原型特征
Figure BDA0003658631980000041
和查询特征fz,q被拼接到一起传入Gw产生各个尺度度量结果的重要性权重，公式如下：
Figure BDA0003658631980000042
其中||表示级联操作，θw为可学习参数。在真实标签的约束下，通过端到端训练，Gw可以学会对最终分类结果有益的尺度度量结果分配到更高权重。最终度量结果可以表示为：
Figure BDA0003658631980000043
其中d(·,·)表示度量函数。
进一步的，利用最近邻居算法可以根据度量分数得到查询样本xj的标签预测结果
Figure BDA0003658631980000044
Figure BDA0003658631980000045
进一步的，所述步骤S6中，本发明的方法在训练阶段是可以在端到端设置下经过损失函数优化学习。目标损失函数由三部分组成：多尺度分类损失Lcls，域多样性损失
Figure BDA0003658631980000046
以及多尺度平衡损失
Figure BDA0003658631980000047
首先，为了能够准确预测查询标签，对于多尺度度量结果的分类损失我们使用了常规的交叉熵损失：
Figure BDA0003658631980000048
其中LCE表示交叉熵损失。
其次，为了防止每个尺度上的域感知力集中在鉴别性更强的域上，需要对域注意力的稀疏性进行约束，以达到不同尺度感知不同域的目的，具体公式如下：
Figure BDA0003658631980000049
该损失利用了余弦相似性，计算每个尺度上域之间的相似值，当第i和第j个尺度上域相似性很大时，Ldiv将会很大。通过最小化Ldiv鼓励不同尺度上的域掩模具有区分性。
最后，为了保证各个尺度预测结果均能向正确的方向进行优化，利用一个平衡损失函数对各个尺度预测结果进行约束：
Figure BDA00036586319800000410
其中
Figure BDA0003658631980000051
表示在各个尺度上查询标签预测结果。
总的目标函数结合上述提及损失可以表示为：
Figure BDA0003658631980000052
其中λ1和λ2分别为多样性损失
Figure BDA0003658631980000053
和平衡损失
Figure BDA0003658631980000054
的平衡参数。
进一步的，所述步骤S7中，在训练阶段会进行多次迭代训练，每迭代完一次训练数据集，会从测试数据集中随机采样构成测试情景任务，并利用步骤S3-S5进行精度测试，获取当前训练权重在测试集上图像分类精度，保存精度最高的训练权重。
本发明还公开了一种基于多尺度注意力耦合机制的小样本交通异常图像采集系统，其包括如下模块：
数据集制作模块：将摄像头收集的交通异常情形图像打上标签作为有标签数据集，并进一步划分成训练集和测试集；
构造情景任务模块：对样本数据进行数据处理并构造情景任务，从训练集中随机采样样本作为支持集样本和同类样本作为查询样本图像；
特征提取模块：利用骨干网络对每个情景任务中的图像进行特征提取，并获取多尺度输入特征；
多域注意力耦合模块：将两个不同层次注意力结合，形成特征多域层次结构；
多尺度度量模块：将不同尺度度量结果加权聚合，根据最终的支持集和查询集样本间的度量分数实现图像分类；
训练模块：利用损失函数进行端到端训练；
最优训练权重保留模块：进行测试保留最优训练权重；
模型部署及图像采集模块：将训练好最优权重的模型部署到摄像头，将摄像头安置到新场景中，采集交通异常图像进行数据标注作为支持集样本，后续采集的待检测图像作为查询集样本即可实现异常图像分类采集。
与现有技术相比，本发明的基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统，能够利用少数带标签交通异常图像对未分类交通异常图像进行正确分类并收集，无需繁琐的大量数据收集以及标注工作，能够快速适应新场景的检测工作。同时通过构建多尺度、多域的特征关系，增强了情景任务中类内特征的弱相关性，提高了类间特征的多样性。更具体的说，自注意力机制感知支持样本的类内相关性并实现自适应嵌入特征增强。多尺度结构和多域注意力耦合模块负责通过域感知模块生成域重要性权重，并通过注意力耦合结构与自注意力权重结合构建特征多域层次结构，实现了特征类间的多样性保证。利用上述两点来提高小样本图像分类的准确性。
附图说明
图1是本发明实施例一提供的基于多尺度注意力耦合机制的小样本交通异常图像采集方法流程图。
图2是本发明实施例提供的步骤S13中多尺度特征解复用器生成多尺度特征提取流程图。
图3是本发明实施例提供的步骤S14中多域注意力耦合模块的流程图。
图4是本发明实施例二基于多尺度注意力耦合机制的小样本交通异常图像采集系统框图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
本发明的目的是针对现有技术的缺陷，提供了一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统。
实施例一
本实施例提供了一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法，其具体实现流程如图1所示，包括步骤：
S11.将早先布置的摄像头中收集的交通异常情形图像打上标签作为有标签数据集，并进一步划分为训练集和测试集；
S12.对样本数据进行数据处理并构造情景任务，从训练集中随机采样少量样本作为支持集样本和一定量同类样本作为查询样本图像；
S13.利用骨干网络对每个情景任务中的图像进行特征提取，并利用多尺度特征解复用器获取多尺度输入特征；
S14.利用多域注意力耦合模块将两个不同层次注意力结合，形成特征多域层次结构；
S15.利用多尺度度量模块将不同尺度度量结果加权聚合，根据最终的支持集和查询集样本间的度量分数实现图像分类；
S16.利用损失函数进行端到端训练；
S17.进行测试保留最优训练权重；
S18.模型部署和图像采集。
本实施例的具体思路：1.收集数据并制作数据集，将各类交通异常情形图像打上标签作为有标签数据集，随后将有标签数据集中各类图像按4:1比例划分为训练集和测试集；2.在训练阶段，对影响进行中心裁剪并进行数据增强，随后从训练数据集中随机采样来构造情景任务，在测试阶段则从测试数据集中随机采样来构造情景任务；3.将情景任务中样本通过一个骨干网络提取特征，再利用一个多尺度特征解复用器获取多尺度输入特征；4.在多域注意力耦合模块中将域注意力和自注意力结合来增强特征表示的同时保留多样性；5.然后利用多尺度度量模块将不同尺度度量结果加权聚合，获取一个最终度量结果，再利用最近邻居算法，获取图像分类精度6.利用损失函数进行端到端训练；7.每迭代完一次训练集，会利用当前训练权重，在测试集图像中进行测试，测试精度最高的网络权重将会被保存下来；8.将训练好的模型权重和模型部署到智能摄像头后，仅需将智能摄像头安置到新场景中，采集少量希望检测的交通异常图像进行数据标注作为支持集样本，后续采集的待检测图像作为查询集样本即可实现异常图像分类采集。
本实施例各步骤具体介绍如下：
在步骤S11中，将各类经交通异常图像打上标签作为有标签数据集Dlabel，随后将有标签数据集Dlabel中各类交通异常图像按4:1比例划分为训练集Dbase和测试集Dtest。两个数据子集中交通异常图像类别不同。
在步骤S12中，训练集Dbase和测试集Dtest均使用了中心裁剪，将图像大小裁剪为512×512，同时训练数据集Dbase使用了数据增强(如随机裁剪、颜色抖动、水平翻转等)，数据增强方式可以根据具体检测的交通异常图像进行参数调整或更改。
构造情景任务T方式如下：训练集
Figure BDA0003658631980000071
其中xi表示第i张图片，yi表示xi的类别标签，Cbase是Dbase所包含标签类别的集合。相似的，测试集Dtest中包含的图像样本标签来自于Ctest，
Figure BDA0003658631980000072
在训练阶段，从训练数据集Dbase中随机抽取N个类，每个类包含K个样本，即N-way K-shot设置，以此构成支持集
Figure BDA0003658631980000073
Q个与支持样本相同类别的查询样本构成查询集
Figure BDA0003658631980000074
于是情景任务可以表示为T＝(S,Q)。目标是训练一个分类器，在测试阶段可以利用少量带标签S∈Dtest交通异常图像，准确的将无标签样本Q∈Dtest映射到正确的标签。
在步骤S13中，利用解复用的思想来构造多尺度输入特征。
情景任务T中全体样本x＝{xi,xj}i＝1,...,N×K；j＝1,...,Q被送入骨干网络
Figure BDA0003658631980000081
获取特征映射，本实施例中使用的是ResNet34特征提取网络，除此之外还可以使用其他轻量级的特征提取网络，它们都能被布置到终端设备中。如图2所示，将
Figure BDA0003658631980000082
的最终输出特征进行上采样(最近邻居上采样)操作获取更大尺度的特征。同时为了补充每个尺度特征独有信息，从
Figure BDA0003658631980000083
中抽取了与其尺度匹配的阶段性输出特征，通过卷积核为1×1的卷积操作进行特征融合。此外，为了减小参数量的同时保留有用信息，各个尺度特征会分别经过与特征图尺寸相对应的最大池化操作以获得Z个尺度特征
Figure BDA0003658631980000084
其中F＝{fz}＝{fz,s,fz,q}，
Figure BDA0003658631980000085
最后在各个尺度上计算出每个情景任务中包含的图像样本类别的类原型。具体来说，在1-shot或者many-shot设置下，类别n的类原型可以由同类样本嵌入特征均值表示：
Figure BDA0003658631980000086
其中n＝1,...,N。
在步骤S14中，如图3所示，通过多域注意力耦合模块中的域感知模块生成域重要性权重，并通过注意力耦合结构与自注意力权重结合构建特征多域层次结构。
首先将每个尺度上的原型特征划分为多个子空间形成多域表示。假设域划分个数为H个，那么每个域的特征可以表示为
Figure BDA0003658631980000087
其中h＝1,...,H，Lz＝Cz/H。
然后在域感知模块中，本实施例设计了一个可学习参数的自适应空间重要性生成器Gs，能够在抑制无关噪声的同时推导出每个域的掩模：
Figure BDA0003658631980000088
其中θs为可学习参数，Gs由两个全连接层构成，
Figure BDA0003658631980000089
域的注意力权重公式如下：
Figure BDA00036586319800000810
其中σ为sigmoid函数，
Figure BDA00036586319800000811
该注意力图能够反映不同原型特征在不同域中的重要程度。经过训练的域感知模块，具有良好的泛化性和适应性，能够有效生成最符合当前域中重要性分布的注意力图。
随后将原型特征
Figure BDA00036586319800000812
通过权重为
Figure BDA00036586319800000813
的线性映射层被转换为查询矩阵、键矩阵和值矩阵
Figure BDA00036586319800000814
自注意力权重公式表示如下：
Figure BDA0003658631980000091
域权重是权衡其中所有特征的结果，为了形成多域权衡，使用元素乘积将其与进行耦合，获得更为有效的特征对关系表示，公式如下：
Figure BDA0003658631980000092
其中
Figure BDA0003658631980000093
表示元素乘积。域权重能够为具有良好样本特征表现力的域分配更高权重，抑制可能带有无关噪声的域。
最后，多域注意力耦合模型输出使用了常规的transformer输出结构来强化特征表示，公式表示如下：
Figure BDA0003658631980000094
Figure BDA0003658631980000095
其中||表示级联操作，FFN(Feed Forward Network)表示前馈网络，
Figure BDA0003658631980000096
在步骤S15中，利用多尺度度量模块，将不同尺度上支持样本和查询样本之间的相似性度量结果通过加权聚合方式整合到一起以获取最终度量结果。
通过简单的等额权重对不同尺度特征度量结果进行加权并不是一个最为恰当的选择。在每个独立的情景任务中不同尺度的度量结果贡献存在差异，一个合适的自适应加权方式能最大化利用各个尺度的度量信息。为了达到这一目的，本实施例设计了一个自适应权重生成器Gw。具体来说，各个尺度的原型特征
Figure BDA0003658631980000097
和查询特征fz,q被拼接到一起传入Gw产生各个尺度度量结果的重要性权重，公式如下：
Figure BDA0003658631980000098
其中||表示级联操作，θw为可学习参数，Gw由两个完全连接的层组成，其中第一个完全连接的层之后是一个LeakyReLU激活函数。在真实标签的约束下，通过端到端训练，Gw可以学会对最终分类结果有益的尺度度量结果分配到更高权重。最终度量结果可以表示为：
Figure BDA0003658631980000099
其中d(·,·)表示度量函数，本实施例使用了欧式距离函数。
利用最近邻居算法，可以得到查询样本xj的标签预测结果
Figure BDA00036586319800000910
Figure BDA00036586319800000911
在步骤S16中，损失函数由三部分组成：多尺度分类损失Lcls，域多样性损失
Figure BDA0003658631980000101
以及多尺度平衡损失
Figure BDA0003658631980000102
首先，为了能够准确预测查询标签，对于多尺度度量结果的分类损失使用交叉熵损失：
Figure BDA0003658631980000103
其中LCE表示交叉熵损失。
其次，为了防止每个尺度上的域感知力集中在鉴别性更强的域上，需要对域注意力的稀疏性进行约束，以达到不同尺度感知不同域的目的，具体公式如下：
Figure BDA0003658631980000104
该损失利用了余弦相似性，计算每个尺度上域之间的相似值，当第i和第j个尺度上域相似性很大时，Ldiv将会很大。通过最小化Ldiv鼓励不同尺度上的域掩模具有区分性。
最后，为了保证各个尺度预测结果均能向正确的方向进行优化，利用一个平衡损失函数对各个尺度预测结果进行约束：
Figure BDA0003658631980000105
其中
Figure BDA0003658631980000106
表示在各个尺度上查询标签预测结果。
总的目标函数结合上述提及损失可以表示为：
Figure BDA0003658631980000107
其中λ1和λ2分别为多样性损失
Figure BDA0003658631980000108
和平衡损失
Figure BDA0003658631980000109
的平衡参数，在训练过程中分别被设置为0.1和1。
在步骤S17中，在完整的网络结构搭建完成后，使用初始学习率设置为1×10-4的随机梯度下降优化器进行训练。在训练过程中，每迭代完一次训练数据集，会从测试数据集中随机采样构成测试情景任务，并利用步骤S13-S15进行精度测试，在测试集中测试的最高分类精度的模型权重将被保存。
在步骤S18中，将训练好的模型权重和模型部署到智能摄像头后，仅需将智能摄像头安置到新场景中，采集少量希望检测的交通异常图像进行数据标注作为支持集样本，后续采集的待检测图像作为查询集样本即可实现异常图像分类采集。
本实施例提出了一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法，首先收集数据并制作数据集，其次构造情景任务，利用骨干网络提取情景任务中的样本特征，然后使用多尺度特征解复用器来获取多尺度输入特征；随后使用多域注意力耦合模块和多尺度度量模块来增强了弱相关性，提高了特征多样性表示，以提升图像分类精度；最后通过测试集进行测试，保留最优训练权重。在后续具体应用中，仅需从新布置的摄像头中采集少量希望检测的交通异常图像进行数据标注作为支持集样本，后续采集的待检测图像作为查询集样本即可实现异常图像分类采集。
实施例二
如图4所示，本实施例一种基于多尺度注意力耦合机制的小样本交通异常图像采集系统，其包括如下模块：
数据集制作模块：将摄像头收集的交通异常情形图像打上标签作为有标签数据集，并进一步划分成训练集和测试集；
构造情景任务模块：对样本数据进行数据处理并构造情景任务，从训练集中随机采样样本作为支持集样本和同类样本作为查询样本图像；
特征提取模块：利用骨干网络对每个情景任务中的图像进行特征提取，并获取多尺度输入特征；
多域注意力耦合模块：将两个不同层次注意力结合，形成特征多域层次结构；
多尺度度量模块：将不同尺度度量结果加权聚合，根据最终的支持集和查询集样本间的度量分数实现图像分类；
训练模块：利用损失函数进行端到端训练；
最优训练权重保留模块：进行测试保留最优训练权重；
模型部署及图像采集模块：将训练好最优权重的模型部署到摄像头，将摄像头安置到新场景中，采集交通异常图像进行数据标注作为支持集样本，后续采集的待检测图像作为查询集样本即可实现异常图像分类采集。
数据集制作模块中，将各类经交通异常图像打上标签作为有标签数据集Dlabel，随后将有标签数据集Dlabel中各类交通异常图像按4:1比例划分为训练集Dbase和测试集Dtest。两个数据子集中交通异常图像类别不同。
构造情景任务模块中，训练集Dbase和测试集Dtest均使用了中心裁剪，将图像大小裁剪为512×512，同时训练数据集Dbase使用了数据增强(如随机裁剪、颜色抖动、水平翻转等)，数据增强方式可以根据具体检测的交通异常图像进行参数调整或更改。
构造情景任务T方式如下：训练集
Figure BDA0003658631980000111
其中xi表示第i张图片，yi表示xi的类别标签，Cbase是Dbase所包含标签类别的集合。相似的，测试集Dtest中包含的图像样本标签来自于Ctest，
Figure BDA0003658631980000121
在训练阶段，从训练数据集Dbase中随机抽取N个类，每个类包含K个样本，即N-way K-shot设置，以此构成支持集
Figure BDA0003658631980000122
Q个与支持样本相同类别的查询样本构成查询集
Figure BDA0003658631980000123
于是情景任务可以表示为T＝(S,Q)。目标是训练一个分类器，在测试阶段可以利用少量带标签S∈Dtest交通异常图像，准确的将无标签样本Q∈Dtest映射到正确的标签。
特征提取模块中，利用解复用的思想来构造多尺度输入特征。
情景任务T中全体样本x＝{xi,xj}i＝1,...,N×K；j＝1,...,Q被送入骨干网络
Figure BDA0003658631980000124
获取特征映射，本实施例中使用的是ResNet34特征提取网络，除此之外还可以使用其他轻量级的特征提取网络，它们都能被布置到终端设备中。如图2所示，将
Figure BDA0003658631980000125
的最终输出特征进行上采样(最近邻居上采样)操作获取更大尺度的特征。同时为了补充每个尺度特征独有信息，从
Figure BDA0003658631980000126
中抽取了与其尺度匹配的阶段性输出特征，通过卷积核为1×1的卷积操作进行特征融合。此外，为了减小参数量的同时保留有用信息，各个尺度特征会分别经过与特征图尺寸相对应的最大池化操作以获得Z个尺度特征
Figure BDA0003658631980000127
其中F＝{fz}＝{fz,s,fz,q}，
Figure BDA0003658631980000128
最后在各个尺度上计算出每个情景任务中包含的图像样本类别的类原型。具体来说，在1-shot或者many-shot设置下，类别n的类原型可以由同类样本嵌入特征均值表示：
Figure BDA0003658631980000129
其中n＝1,...,N。
多域注意力耦合模块中，如图3所示，通过多域注意力耦合模块中的域感知模块生成域重要性权重，并通过注意力耦合结构与自注意力权重结合构建特征多域层次结构。
首先将每个尺度上的原型特征划分为多个子空间形成多域表示。假设域划分个数为H个，那么每个域的特征可以表示为
Figure BDA00036586319800001210
其中h＝1,...,H，Lz＝Cz/H。
然后在域感知模块中，本实施例设计了一个可学习参数的自适应空间重要性生成器Gs，能够在抑制无关噪声的同时推导出每个域的掩模：
Figure BDA00036586319800001211
其中θs为可学习参数，Gs由两个全连接层构成，
Figure BDA00036586319800001212
域的注意力权重公式如下：
Figure BDA00036586319800001213
其中σ为sigmoid函数，
Figure BDA00036586319800001214
该注意力图能够反映不同原型特征在不同域中的重要程度。经过训练的域感知模块，具有良好的泛化性和适应性，能够有效生成最符合当前域中重要性分布的注意力图。
随后将原型特征
Figure BDA0003658631980000131
通过权重为
Figure BDA0003658631980000132
的线性映射层被转换为查询矩阵、键矩阵和值矩阵
Figure BDA0003658631980000133
自注意力权重公式表示如下：
Figure BDA0003658631980000134
域权重是权衡其中所有特征的结果，为了形成多域权衡，使用元素乘积将其与进行耦合，获得更为有效的特征对关系表示，公式如下：
Figure BDA0003658631980000135
其中
Figure BDA0003658631980000136
表示元素乘积。域权重能够为具有良好样本特征表现力的域分配更高权重，抑制可能带有无关噪声的域。
最后，多域注意力耦合模型输出使用了常规的transformer输出结构来强化特征表示，公式表示如下：
Figure BDA0003658631980000137
Figure BDA0003658631980000138
其中||表示级联操作，FFN(Feed Forward Network)表示前馈网络，
Figure BDA0003658631980000139
多尺度度量模块中，利用多尺度度量模块，将不同尺度上支持样本和查询样本之间的相似性度量结果通过加权聚合方式整合到一起以获取最终度量结果。
通过简单的等额权重对不同尺度特征度量结果进行加权并不是一个最为恰当的选择。在每个独立的情景任务中不同尺度的度量结果贡献存在差异，一个合适的自适应加权方式能最大化利用各个尺度的度量信息。为了达到这一目的，本实施例设计了一个自适应权重生成器Gw。具体来说，各个尺度的原型特征
Figure BDA00036586319800001310
和查询特征fz,q被拼接到一起传入Gw产生各个尺度度量结果的重要性权重，公式如下：
Figure BDA00036586319800001311
其中||表示级联操作，θw为可学习参数，Gw由两个完全连接的层组成，其中第一个完全连接的层之后是一个LeakyReLU激活函数。在真实标签的约束下，通过端到端训练，Gw可以学会对最终分类结果有益的尺度度量结果分配到更高权重。最终度量结果可以表示为：
Figure BDA0003658631980000141
其中d(·,·)表示度量函数，本实施例使用了欧式距离函数。
利用最近邻居算法，可以得到查询样本xj的标签预测结果
Figure BDA0003658631980000142
Figure BDA0003658631980000143
训练模块中，损失函数由三部分组成：多尺度分类损失Lcls，域多样性损失
Figure BDA0003658631980000144
以及多尺度平衡损失
Figure BDA0003658631980000145
首先，为了能够准确预测查询标签，对于多尺度度量结果的分类损失使用交叉熵损失：
Figure BDA0003658631980000146
其中LCE表示交叉熵损失。
其次，为了防止每个尺度上的域感知力集中在鉴别性更强的域上，需要对域注意力的稀疏性进行约束，以达到不同尺度感知不同域的目的，具体公式如下：
Figure BDA0003658631980000147
该损失利用了余弦相似性，计算每个尺度上域之间的相似值，当第i和第j个尺度上域相似性很大时，Ldiv将会很大。通过最小化Ldiv鼓励不同尺度上的域掩模具有区分性。
最后，为了保证各个尺度预测结果均能向正确的方向进行优化，利用一个平衡损失函数对各个尺度预测结果进行约束：
Figure BDA0003658631980000148
其中
Figure BDA0003658631980000149
表示在各个尺度上查询标签预测结果。
总的目标函数结合上述提及损失可以表示为：
Figure BDA00036586319800001410
其中λ1和λ2分别为多样性损失
Figure BDA00036586319800001411
和平衡损失
Figure BDA00036586319800001412
的平衡参数，在训练过程中分别被设置为0.1和1。
最优训练权重保留模块中，在完整的网络结构搭建完成后，使用初始学习率设置为1×10-4的随机梯度下降优化器进行训练。在训练过程中，每迭代完一次训练数据集，就会利用测试集对当前训练权重进行分类精度测试，在测试集中测试的最高分类精度的模型权重将被保存。
模型部署及图像采集模块中，将训练好的模型权重和模型部署到智能摄像头后，仅需将智能摄像头安置到新场景中，采集少量希望检测的交通异常图像进行数据标注作为支持集样本，后续采集的待检测图像作为查询集样本即可实现异常图像分类采集。
本实施例通过模块化设计，最大程度保证了模型的易用性与灵活性。
与现有技术相比，本发明的基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统，能够利用少数带标签交通异常图像对未分类图像进行正确分类并收集，无需繁琐的大量数据收集以及标注工作，能够快速适应新场景的检测工作。同时通过构建多尺度、多域的特征关系，增强了情景任务中类内特征的弱相关性，提高了类间特征的多样性。具体来说，自注意力机制感知支持样本的类内相关性并实现自适应嵌入特征增强。多尺度结构和多域注意力耦合模块负责通过域感知模块生成域重要性权重，并通过注意力耦合结构与自注意力权重结合构建特征多域层次结构，实现了特征类间的多样性保证。利用上述两点来提高小样本图像分类的准确性。本发明还通过模块化设计，最大程度保证了模型的易用性与灵活性。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法，其特征在于，包括步骤：
S1.将摄像头收集的交通异常情形图像打上标签作为有标签数据集，并进一步划分成训练集和测试集；
S2.对样本数据进行数据处理并构造情景任务，从训练集中随机采样样本作为支持集样本和同类样本作为查询样本图像；
S3.利用骨干网络对每个情景任务中的图像进行特征提取，并获取多尺度输入特征；
S4.将两个不同层次注意力结合，形成特征多域层次结构；
S5.将不同尺度度量结果加权聚合，根据最终的支持集和查询集样本间的度量分数实现图像分类；
S6.利用损失函数进行端到端训练；
S7.进行测试保留最优训练权重；
S8.将训练好最优权重的模型部署到摄像头，将摄像头安置到新场景中，采集交通异常图像进行数据标注作为支持集样本，后续采集的待检测图像作为查询集样本即可实现异常图像分类采集。
2.根据权利要求1所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法，其特征在于，步骤S1中，将多类交通异常图像打上标签作为有标签数据集Dlabel，后将有标签数据集Dlabel中多类交通异常图像按比例划分为训练集Dbase和测试集Dtest。
3.根据权利要求2所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法，其特征在于，步骤S2中，裁剪图像，同时进行数据增强；情景任务T由N个类别，每个类别有K个样本，由支持集
Figure FDA0003658631970000011
和查询集
Figure FDA0003658631970000012
构成，即T＝(S,Q)，其中xi和xj分别是支持集和查询集中的图像样本，yi和yj分别是对应标签。
4.根据权利要求3所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法，其特征在于，在训练阶段支持样本随机采样自训练集Dbase，查询样本采样自与支持集样本相同交通异常情形的同类样本，测试阶段支持样本随机采样自测试集Dtest，查询样本采样自与支持集样本相同交通异常情形的同类样本。
5.根据权利要求4所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法，其特征在于，步骤S3中，利用骨干网络进行特征提取，并利用一个多尺度特征解复用器来构造多尺度输入特征，Z个尺度特征
Figure FDA0003658631970000013
其中F＝{fz}＝{fz,s,fz,q}，z＝1,...,Z；
在各个尺度上计算出每个情景任务中包含的样本类别的类原型：在1-shot或者many-shot设置下，类别n的类原型由同类样本嵌入特征均值表示：
Figure FDA0003658631970000021
其中n＝1,...,N。
6.根据权利要求5所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法，其特征在于，步骤S4中，利用特征
Figure FDA0003658631970000022
在多域注意力耦合模块中将两个不同层次的注意力结合：关注类间多样性的多域注意力权重Wss和关注类内相关性的自注意力权重Wsa；
多域的注意力权重
Figure FDA0003658631970000023
由一个能学习参数的自适应空间重要性生成器Gs和sigmoid函数获得，公式如下：
Figure FDA0003658631970000024
Figure FDA0003658631970000025
其中θs为可学习参数，
Figure FDA0003658631970000026
为每个域的掩模由获得，σ为sigmoid函数；
将原型特征
Figure FDA0003658631970000027
通过权重为
Figure FDA0003658631970000028
的线性映射层被转换为查询矩阵、键矩阵和值矩阵
Figure FDA0003658631970000029
于是自注意力权重
Figure FDA00036586319700000210
表示为：
Figure FDA00036586319700000211
两个不同层次中注意力耦合过程表示为：
Figure FDA00036586319700000212
其中
Figure FDA00036586319700000213
表示元素乘积；
多域注意力耦合模块输出特征表示为：
Figure FDA00036586319700000214
Figure FDA00036586319700000215
其中||表示级联操作，FFN表示前馈网络。
7.根据权利要求6所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法，其特征在于，步骤S5中，利用多尺度度量模块中的自适应权重生成器Gw获取各个尺度度量结果的重要性权重：
Figure FDA00036586319700000216
其中||表示级联操作，θw为可学习参数；最终的度量结果表示为：
Figure FDA0003658631970000031
其中d(·,·)表示度量函数；
利用最近邻居算法可以根据度量分数得到查询样本xj的标签预测结果
Figure FDA0003658631970000032
Figure FDA0003658631970000033
8.根据权利要求7所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法，其特征在于，步骤S6中，训练阶段在端到端设置下被优化学习；目标损失函数由三部分组成：多尺度分类损失Lcls，域多样性损失
Figure FDA0003658631970000034
以及多尺度平衡损失
Figure FDA0003658631970000035
对于多尺度度量结果的分类损失使用交叉熵损失：
Figure FDA0003658631970000036
其中LCE表示交叉熵损失；
对域注意力的稀疏性进行约束，具体公式如下：
Figure FDA0003658631970000037
利用一个平衡损失函数对各个尺度预测结果进行约束：
Figure FDA0003658631970000038
其中
Figure FDA0003658631970000039
表示在各个尺度上查询标签预测结果；
总的目标函数结合所述的损失表示为：
Figure FDA00036586319700000310
其中λ1和λ2分别为多样性损失
Figure FDA00036586319700000311
和平衡损失
Figure FDA00036586319700000312
的平衡参数。
9.根据权利要求8所述的一种基于多尺度注意力耦合机制的小样本交通异常图像采集方法，其特征在于，步骤S7中，在训练阶段会进行多次迭代训练，每迭代完一次训练数据集，会从测试数据集中随机采样构成测试情景任务，并利用步骤S3-S5进行精度测试，获取当前训练权重在测试集上图像分类精度，保存精度最高的训练权重。
10.一种基于多尺度注意力耦合机制的小样本交通异常图像采集系统，其特征是包括如下模块：
数据集制作模块：将摄像头收集的交通异常情形图像打上标签作为有标签数据集，并进一步划分成训练集和测试集；
构造情景任务模块：对样本数据进行数据处理并构造情景任务，从训练集中随机采样样本作为支持集样本和同类样本作为查询样本图像；
特征提取模块：利用骨干网络对每个情景任务中的图像进行特征提取，并获取多尺度输入特征；
多域注意力耦合模块：将两个不同层次注意力结合，形成特征多域层次结构；
多尺度度量模块：将不同尺度度量结果加权聚合，根据最终的支持集和查询集样本间的度量分数实现图像分类；
训练模块：利用损失函数进行端到端训练；
最优训练权重保留模块：进行测试保留最优训练权重；
模型部署及图像采集模块：将训练好最优权重的模型部署到摄像头，将摄像头安置到新场景中，采集交通异常图像进行数据标注作为支持集样本，后续采集的待检测图像作为查询集样本即可实现异常图像分类采集。
CN202210569646.6A 2022-05-24 2022-05-24 基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统 Pending CN114898158A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210569646.6A CN114898158A (zh) 2022-05-24 2022-05-24 基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210569646.6A CN114898158A (zh) 2022-05-24 2022-05-24 基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统

Publications (1)

Publication Number Publication Date
CN114898158A true CN114898158A (zh) 2022-08-12

Family

ID=82723544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210569646.6A Pending CN114898158A (zh) 2022-05-24 2022-05-24 基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统

Country Status (1)

Country Link
CN (1) CN114898158A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051949A (zh) * 2023-03-28 2023-05-02 苏芯物联技术(南京)有限公司 一种融合图像检测的焊接异常实时诊断方法
CN117557840A (zh) * 2023-11-10 2024-02-13 中国矿业大学 一种基于小样本学习的眼底病变分级方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051949A (zh) * 2023-03-28 2023-05-02 苏芯物联技术(南京)有限公司 一种融合图像检测的焊接异常实时诊断方法
CN116051949B (zh) * 2023-03-28 2023-10-03 苏芯物联技术(南京)有限公司 一种融合图像检测的焊接异常实时诊断方法
CN117557840A (zh) * 2023-11-10 2024-02-13 中国矿业大学 一种基于小样本学习的眼底病变分级方法
CN117557840B (zh) * 2023-11-10 2024-05-24 中国矿业大学 一种基于小样本学习的眼底病变分级方法

Similar Documents

Publication Publication Date Title
Metcalf et al. The strong gravitational lens finding challenge
CN110110642B (zh) 一种基于多通道注意力特征的行人重识别方法
CN109558942B (zh) 一种基于浅度学习的神经网络迁移方法
CN107609601B (zh) 一种基于多层卷积神经网络的舰船目标识别方法
CN112507901B (zh) 一种基于伪标签自纠正的无监督行人重识别方法
CN112036447B (zh) 零样本目标检测系统及可学习语义和固定语义融合方法
Mathur et al. Crosspooled FishNet: transfer learning based fish species classification model
CN114898158A (zh) 基于多尺度注意力耦合机制的小样本交通异常图像采集方法及系统
CN108985360A (zh) 基于扩展形态学与主动学习的高光谱分类方法
CN112633071B (zh) 基于数据风格解耦内容迁移的行人重识别数据域适应方法
CN109784288B (zh) 一种基于判别感知融合的行人再识别方法
WO2022062419A1 (zh) 基于非督导金字塔相似性学习的目标重识别方法及系统
Pérez et al. StarcNet: Machine learning for star cluster identification
CN109472733A (zh) 基于卷积神经网络的图像隐写分析方法
CN114898136B (zh) 一种基于特征自适应的小样本图像分类方法
CN112990282A (zh) 一种细粒度小样本图像的分类方法及装置
CN115953621A (zh) 一种基于不可靠伪标签学习的半监督高光谱图像分类方法
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及系统
CN114782752A (zh) 基于自训练的小样本图像集成分类方法及装置
Chen et al. Deep-learning-based road crack detection frameworks for dashcam-captured images under different illumination conditions
CN113920470B (zh) 一种基于自注意力机制的行人检索方法
Guo et al. Classification of marine plankton based on few-shot learning
Roy et al. AWDMC-Net: classification of adversarial weather degraded multiclass scenes using a convolution neural network
CN110717544B (zh) 一种垂直鱼眼镜头下行人属性分析方法及系统
Margapuri et al. Detection of unknown galaxy types in large databases of galaxy images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination