CN114170531A - 基于困难样本迁移学习的红外图像目标检测方法和装置 - Google Patents
基于困难样本迁移学习的红外图像目标检测方法和装置 Download PDFInfo
- Publication number
- CN114170531A CN114170531A CN202111397594.0A CN202111397594A CN114170531A CN 114170531 A CN114170531 A CN 114170531A CN 202111397594 A CN202111397594 A CN 202111397594A CN 114170531 A CN114170531 A CN 114170531A
- Authority
- CN
- China
- Prior art keywords
- network
- target detection
- infrared image
- infrared
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 208
- 238000013526 transfer learning Methods 0.000 title claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000002776 aggregation Effects 0.000 claims abstract description 18
- 238000004220 aggregation Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 33
- 230000004913 activation Effects 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 238000005304 joining Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 230000001965 increasing effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于困难样本迁移学习的红外图像目标检测方法和装置，属于图像处理技术领域，解决如何利用数据丰富的自然图像数据来辅助提高红外图像目标检测的性能问题。该方法包括：获取目标检测的数据集并将数据集划分为训练集和测试集，数据集包括可见光数据集和对应的红外数据集；构建困难样本迁移学习的红外图像目标检测网络包括：在ResNet50网络中引入域注意力模块和路径聚合网络模块以构成改进特征提取网络；利用训练集对红外图像目标检测网络进行异源图像迁移学习以生成目标检测模型；将测试集中的待检测的可见光图像和红外图像输入目标检测模型以获得目标检测结果。不同域通过域注意力激活不同数据域并在不同尺度上预测不同大小目标。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于困难样本迁移学习的红外图像目标检测方法和装置。
背景技术
无人机利用信息的感知能力在复杂地海背景中准确识别目标(车辆、舰船、低飞飞机等)具有广泛的使用价值。
困难样本出现的原因往往是由于样本数量太少，样本不平衡带来的困难样本导致模型学习时此样本带来的梯度更新被大量简单样本覆盖，降低了困难样本的识别概率。异源图像迁移自动目标识别技术在敌我识别、海情监控、远距离空对地侦察与监视、精确制导以及作战管理等方面所发挥的重要作用，是发展未来智能化武器系统的重点和应首先突破的关键技术。迁移学习是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习，可以将已经学到的模型参数通过某种方式来分享给新模型从而加快并优化模型的学习效率。
困难样本目标检测方法对于困难样本，主要有以下几个方法可以：
数据增强。数据增强在一定程度上增加了样本的多样性，使得模型对目标的检测更加鲁棒。可以通过数据增强的方法，增加困难样本的多样性，从而使得困难样本的学习变得相对容易。
改进损失函数。对于困难样本的学习，常使用Focal Loss来处理困难样本。FocalLoss的原理是在样本损失上加个权重。对于简单样本，由于其比较容易检测，所以权重对应较低。而对于困难样本，因为不容易检测，所以损失的权重比较高。这样困难样本的损失在总体的损失上占比会增加，从而帮助学习可以往困难样本处偏移。
为适应战场多变的环境以及敌方目标难以捕捉的打击，提前侦查到可能带来的威胁是非常必要的，尤其是在夜间以及运动目标的检测是比较困难的，开展红外图像的目标检测有天然的优势，然而现有的红外数据非常少，一般的机器学习算法难以得到较好结果，同时图像的标注成本也很高。在红外图像数据来源相对匮乏的情况下，仅仅利用微量红外图像从头开始训练或进行微调，网络非常容易过拟合。
对于红外图像来说，由于缺少足够的训练样本，网络很难有较强的泛化能力，相比之下，自然图像易于获取并且已有很多公开的数据集可以使用。如何利用数据丰富的自然图像数据来辅助提高红外图像目标检测的性能是亟需解决的问题。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种基于困难样本迁移学习的红外图像目标检测方法和装置，用以解决如何利用数据丰富的自然图像数据来辅助提高红外图像目标检测的性能问题。
一方面，本发明实施例提供了一种基于困难样本迁移学习的红外图像目标检测方法，包括：获取目标检测的数据集并将所述数据集划分为训练集和测试集，其中，所述目标检测的数据集包括可见光数据集和与所述可见光数据集相对应的红外数据集；构建所述困难样本迁移学习的红外图像目标检测网络，其中，构建所述困难样本迁移学习的红外图像目标检测网络进一步包括：在ResNet50网络中引入域注意力模块和路径聚合网络模块以构成改进特征提取网络；利用所述训练集对所述红外图像目标检测网络进行异源图像迁移学习以生成目标检测模型；以及将所述测试集中的待检测的可见光图像和红外图像输入所述目标检测模型，以获得目标检测结果。
上述技术方案的有益效果如下：网络W中特征提取部分对于红外图像域和可见光图像域是共享的。不同域之间通过域注意力SENet来激活不同的数据域，并利用注意力机制确定它们的响应，来使得适配器能够匹配到各个不同数据域，即网络在不同域场景下获得不同的激活值，使用域注意力机制对其进行加权，使得网络偏向权重更大的场景，以此确定当前数据所属域。路径聚合网络模块可以将神经网络提取到的深度语义信息以及浅层的目标尺度信息进行融合以在多尺度上预测不同大小的目标，防止由于卷积操作导致小目标在深层次的时候被周围的特征同化。
基于上述方法的进一步改进，构建以下损失函数Loss，并基于所述损失函数利用所述训练集对所述红外图像目标检测网络进行异源图像迁移学习以生成目标检测模型：
Loss＝-α(1-y′)γylogy′-(1-α)y′γ(1-y)log(1-y′)
其中，α是平衡因子，用来平衡正样本和负样本本身的比例不均，y′表示的是网络检测出所述检测目标框是正样本还是负样本，其中，当y′＝1时，则表示网络检测出所述检测目标框是正样本，以及当y′＝0时，则表示网络检测出所述检测目标框是负样本，y表示的是真实标注框是正样本还是负样本，其中，当y＝1时，则表示所述真实标注框是正样本，以及当y＝0时，则表示所述真实标注框是负样本，以及γ是焦点参数，γ>0使得减少易分类样本的损失，使得更关注于困难的、错分的样本。
基于上述方法的进一步改进，在ResNet50网络中引入域注意力模块进一步包括：将输入特征图通过全局平均池化模块获得池化向量；通过多个全连接层、激活层和全连接层的方式获得N个权重，其中，每个权重代表与输入图像相关的成分；将所述N个权重进行拼接以获得拼接之后的权重；将所述输入特征图再次通过域分配比例模块获得不同输入图像的不同成分的比例；以及通过获得的成分以及成分的比例对所述输入特征图进行加权以获得输出特征图。
基于上述方法的进一步改进，在ResNet50网络中引入路径聚合网络模块进一步包括：通过先自顶向下将高层的语义信息融合到低层的特征图中，再自底向上将低层的细节信息融合到高层的特征图中的方式，将神经网络提取到的深度语义信息以及浅层的目标尺度信息进行融合，以在不同尺度上预测不同大小的目标。
基于上述方法的进一步改进，构建所述困难样本迁移学习的红外图像目标检测网络进一步包括：构建两个粗检测网络，均与所述改进特征提取网络的输出连接，其中，所述两个粗检测网络分别对应于可见光域和红外域；以及构建两个精检测网络，与所述粗检测网络的输出连接，其中，所述两个精检测网络分别对应于所述可见光域和所述红外域。
基于上述方法的进一步改进，构建所述两个粗检测网络进一步包括：生成两个RPN网络以获得多个候选目标框，其中，所述改进特征提取网络的输出与每个RPN网络连接；以及生成ROI pooling层，每个RPN网络的输出均与所述ROI pooling层的输入连接以将所述多个候选目标框池化到固定大小。
基于上述方法的进一步改进，构建所述两个精检测网络进一步包括：构建两个RCNN网络，所述两个RCNN网络的输入均与所述ROI pooling层的输出连接；构建由全连接层和激活函数层组成的两个检测网络以分别与所述两个RCNN网络的输出连接，其中，所述激活函数层的激活函数如下：
Mish(x)＝x*tanh(ln(1+ex))，
其中，x是全连接层后获得的特征；以及每个检测网络均与一个输出模块连接，其中，所述输出模块包括N+1个类概率输出模块和位置信息模块。
基于上述方法的进一步改进，获取目标检测的数据集并将所述数据集划分为训练集和测试集进一步包括：获取公开的可见光数据集和公开的红外数据集；构建对抗网络CycleGAN，并利用所述对抗网络CycleGAN生成与所述公开的可见光数据集相对应的生成的红外数据集并生成与所述公开的红外数据集相对应的生成的可见光数据集，其中，所述可见光数据集包括所述公开的可见光数据集与所述生成的可见光数据集，以及所述红外数据集包括所述公开的红外数据集和所述生成的红外数据集。
另一方面，本发明实施例提供了一种基于困难样本迁移学习的红外图像目标检测装置，包括：数据集获取模块，用于获取目标检测的数据集并将所述数据集划分为训练集和测试集，其中，所述目标检测的数据集包括可见光数据集和与所述可见光数据集相对应的红外数据集；网络构建模块，用于构建所述困难样本迁移学习的红外图像目标检测网络，所述网络构建模块进一步包括改进特征提取网络，其中，所述改进特征提取网络用于在ResNet50网络中引入域注意力模块和路径聚合网络模块；模型生成模块，利用所述训练集对所述红外图像目标检测网络进行异源图像迁移学习以生成目标检测模型；以及检测模块，用于将所述测试集中的待检测的可见光图像和红外图像输入所述目标检测模型，以获得目标检测结果。
基于上述装置的进一步改进，改进特征提取网络用于：将输入特征图通过全局平均池化模块获得池化向量；通过多个全连接层、激活层和全连接层的方式获得N个权重，其中，每个权重代表与输入图像相关的成分；将所述N个权重进行拼接以获得拼接之后的权重；将所述输入特征图再次通过域分配比例模块获得不同输入图像的不同成分的比例；以及通过获得的成分以及成分的比例对所述输入特征图进行加权以获得输出特征图。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、网络W中特征提取部分对于红外图像域和可见光图像域是共享的。不同域之间通过域注意力SENet来激活不同的数据域，并利用注意力机制确定它们的响应，来使得适配器能够匹配到各个不同数据域，即网络在不同域场景下获得不同的激活值，使用域注意力机制对其进行加权，使得网络偏向权重更大的场景，以此确定当前数据所属域。路径聚合网络模块可以将神经网络提取到的深度语义信息以及浅层的目标尺度信息进行融合，防止由于卷积操作导致小目标在深层次的时候被周围的特征同化。
2、具有更好的目标检测结果
本发明使用对抗网络CycleGAN实现了增广数据的目的，使网络的输入困难样本更加丰富多样，使得网络学习的更全面，并且引入了Focal Loss损失函数用来处理困难样本，在样本损失上赋予权重，对于简单样本，由于其比较容易检测，所以权重对应较低，而对于困难样本，损失的权重比较高，这样困难样本的损失在总体的损失上占比会增加，从而帮助网络学习可以往困难样本处偏移，提高了检测效果。
3、模型效率高
本发明引入域注意力机制，使得网络学习时更加专注于特定域的输入，将计算资源分配给更重要的任务，提高了模型效率。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为根据本发明实施例的基于困难样本迁移学习的红外图像目标检测方法的流程图。
图2为根据本发明实施例的困难样本迁移学习的红外图像小目标检测网络的流程图。
图3A为根据本发明实施例的困难样本迁移学习的红外图像小目标检测网络的示意图。
图3B为根据本发明实施例的困难样本迁移学习的红外图像小目标检测网络中的一个检测网络的示图。
图4为根据本发明实施例的域注意力SENet模块的网络结构图。
图5为根据本发明实施例的路径聚合网络模块的示意图。
图6为根据本发明实施例的Mish激活函数的示意图。
图7为在损失函数作用下对整体网络参数的影响的示图。
图8为基于级联的边界框准确预测的示图。
图9为根据本发明实施例的基于困难样本迁移学习的红外图像目标检测装置的结构图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，公开了一种基于困难样本迁移学习的红外图像目标检测方法。如图1所示，基于困难样本迁移学习的红外图像目标检测方法包括：在步骤S102中，获取目标检测的数据集并将数据集划分为训练集和测试集，其中，目标检测的数据集包括可见光数据集和与可见光数据集相对应的红外数据集；在步骤S104中，构建困难样本迁移学习的红外图像目标检测网络，其中，构建困难样本迁移学习的红外图像目标检测网络进一步包括：在ResNet50网络中引入域注意力模块和路径聚合网络模块以构成改进特征提取网络；在步骤S106中，利用训练集对红外图像目标检测网络进行异源图像迁移学习以生成目标检测模型；以及在步骤S108中，将测试集中的待检测的可见光图像和红外图像输入目标检测模型，以获得目标检测结果。
与现有技术相比，本实施例提供的基于困难样本迁移学习的红外图像目标检测方法中，网络W中特征提取部分对于红外图像域和可见光图像域是共享的。不同域之间通过域注意力SENet(Squeeze-and-Excitation Networks)来激活不同的数据域，并利用注意力机制确定它们的响应，来使得适配器能够匹配到各个不同数据域，即网络在不同域场景下获得不同的激活值，使用域注意力机制对其进行加权，使得网络偏向权重更大的场景，以此确定当前数据所属域。路径聚合网络模块可以将神经网络提取到的深度语义信息以及浅层的目标尺度信息进行融合，防止由于卷积操作导致小目标在深层次的时候被周围的特征同化。
下文中，将参考图1，对根据本发明实施例的基于困难样本迁移学习的红外图像目标检测方法的各个步骤进行详细描述。
在步骤S102中，获取目标检测的数据集并将数据集划分为训练集和测试集，其中，目标检测的数据集包括可见光数据集和与可见光数据集相对应的红外数据集。具体地，获取目标检测的数据集并将数据集划分为训练集和测试集进一步包括：获取公开的可见光数据集和公开的红外数据集；构建对抗网络CycleGAN，并利用对抗网络CycleGAN生成与公开的可见光数据集相对应的生成的红外数据集并生成与公开的红外数据集相对应的生成的可见光数据集，其中，可见光数据集包括公开的可见光数据集与生成的可见光数据集，以及红外数据集包括公开的红外数据集和生成的红外数据集。生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。
在步骤S104中，构建困难样本迁移学习的红外图像目标检测网络，其中，构建困难样本迁移学习的红外图像目标检测网络进一步包括：在ResNet50网络中引入域注意力模块和路径聚合网络模块以构成改进特征提取网络。构建困难样本迁移学习的红外图像目标检测网络进一步包括：构建两个粗检测网络，均与改进特征提取网络的输出连接，其中，两个粗检测网络分别对应于可见光域和红外域；以及构建两个精检测网络，与粗检测网络的输出连接，其中，两个精检测网络分别对应于可见光域和红外域。
具体地，在ResNet50网络中引入域注意力模块进一步包括：将输入特征图通过全局平均池化模块获得池化向量；通过多个全连接层、激活层和全连接层的方式获得N个权重，其中，每个权重代表与输入图像相关的成分；将N个权重进行拼接以获得拼接之后的权重；将输入特征图再次通过域分配比例模块获得不同输入图像的不同成分的比例；以及通过获得的成分以及成分的比例对输入特征图进行加权以获得输出特征图。在ResNet50网络中引入路径聚合网络模块进一步包括：通过先自顶向下将高层的语义信息融合到低层的特征图中，再自底向上将低层的细节信息融合到高层的特征图中的方式，将神经网络提取到的深度语义信息以及浅层的目标尺度信息进行融合，以在不同尺度上预测不同大小的目标。目标包括行人、车辆、舰船和低飞飞机等。
具体地，构建两个粗检测网络进一步包括：生成两个RPN网络以获得多个候选目标框，其中，改进特征提取网络的输出与每个RPN网络连接；以及生成ROI pooling层，每个RPN网络的输出均与ROI pooling层的输入连接以将多个候选目标框池化到固定大小。具体地，构建两个精检测网络进一步包括：构建两个RCNN网络，两个RCNN网络的输入均与ROIpooling层的输出连接；构建由全连接层和激活函数层组成的两个检测网络以分别与两个RCNN网络的输出连接，其中，激活函数层的激活函数如下：
Mish(x)＝x*tanh(ln(1+ex))，
其中，x是全连接层后获得的特征；以及每个检测网络均与一个输出模块连接，其中，输出模块包括N+1个类概率输出模块和位置信息模块。
在步骤S106中，利用训练集对红外图像目标检测网络进行异源图像迁移学习以生成目标检测模型。具体地，构建以下损失函数Loss，并基于损失函数利用训练集对红外图像目标检测网络进行异源图像迁移学习以生成目标检测模型：
Loss＝-α(1-y′)γylogy′-(1-α)y′γ(1-y)log(1-y′)
其中，α是平衡因子，用来平衡正样本和负样本本身的比例不均，y′表示的是网络检测出检测目标框是正样本还是负样本，其中，当y′＝1时，则表示网络检测出检测目标框是正样本，以及当y′＝0时，则表示网络检测出检测目标框是负样本，y表示的是真实标注框是正样本还是负样本，其中，当y＝1时，则表示真实标注框是正样本，以及当y＝0时，则表示真实标注框是负样本，以及γ是焦点参数，γ>0使得减少易分类样本的损失，使得更关注于困难的、错分的样本。
将目标检测数据集D来中的可见光图像和红外图像共同训练困难样本迁移学习的红外图像小目标检测网络W，并用Adam算法迭代更新目标检测网络W中提取特征网络F的各层参数、SENet模块中的通道注意力参数权重、RPN网络中的参数和检测网络fc的权重参数，直到损失函数Loss最小化，得到训练好的困难样本迁移学习的红外图像小目标检测网络W′。
在步骤S108中，将测试集中的待检测的可见光图像和红外图像输入目标检测模型，以获得目标检测结果。具体地，将测试集中待检测的可见光图像和红外输入到步骤S106中训练好的目标检测模型(即，困难样本迁移学习的红外图像小目标检测网络中)，得到测试集可见光和红外图像的目标检测结果。
本发明的另一个具体实施例，公开了基于困难样本迁移学习的红外图像目标检测装置。参考图9，根据本发明实施例的基于困难样本迁移学习的红外图像目标检测装置包括数据集获取模块902、网络构建模块904、模型生成模块906和检测模块908。
具体地，数据集获取模块902用于获取目标检测的数据集并将数据集划分为训练集和测试集，其中，目标检测的数据集包括可见光数据集和与可见光数据集相对应的红外数据集。
网络构建模块904用于构建困难样本迁移学习的红外图像目标检测网络，网络构建模块进一步包括改进特征提取网络，其中，改进特征提取网络用于在ResNet50网络中引入域注意力模块和路径聚合网络模块。改进特征提取网络用于：将输入特征图通过全局平均池化模块获得池化向量；通过多个全连接层、激活层和全连接层的方式获得N个权重，其中，每个权重代表与输入图像相关的成分；将N个权重进行拼接以获得拼接之后的权重；将输入特征图再次通过域分配比例模块获得不同输入图像的不同成分的比例；以及通过获得的成分以及成分的比例对输入特征图进行加权以获得输出特征图。
模型生成模块906，利用训练集对红外图像目标检测网络进行异源图像迁移学习以生成目标检测模型。
检测模块908用于将测试集中的待检测的可见光图像和红外图像输入目标检测模型，以获得目标检测结果。
下文中，将参考图2至图6，以具体实例的方式对基于困难样本迁移学习的红外图像目标检测方法进行详细描述。
参考图2，在步骤1中，构建目标检测的数据集。
(1.1)取一个公开的可见光数据集VisDrone和公开的红外数据集FLIR；
(1.2)将公开的可见光数据和另一个公开的红外数据通过现有的循环一致性生成对抗网络CycleGAN，得到彼此对应域的数据集，并将原数据集和对应生成的数据集作为困难样本迁移学习的目标检测的数据集；
(1.3)将41410张可见光数据集VisDrone，和从红外数据集FLIR和对抗网络CycleGAN生成的红外数据集中取10228张红外图像作为困难样本迁移学习的目标检测的数据集D；
(1.4)从目标检测的数据集D随机分别选取该数据集85％的可见光图像和85％的红外图像作为训练集，其余的15％图像作为测试集。
在步骤2中，构建困难样本迁移学习的红外图像小目标检测网络W。
参照图3A，本步骤的具体实现如下：
(2.1)在现有的ResNet50网络中引入域注意力SENet模块和路径聚合网络PANet模块，构成特征提取网路F。
在ResNet50网络中引入域注意力SENet模块的方式是将输入与输出在所用的方案中将网络的输出通过域注意力之后以输入进行拼接，而不是直接相加，域注意力SENet的网络结构如图4(整个域注意力SENet的作用是获得其它域中与目标数据集有关的特征，并通过网络权重的方式重用到目标域)，图中的X为输入特征图，首先将输入的X通过一个全局平均池化模块，获得一个池化向量，然后通过三个全连接+激活+全连接的方式获得三个权重，每个权重代表与输入图像相关的一些成分，比如纹理等。此处的全连接+激活+全连接的组合个数可认为改变。将这三个输出的权重进行拼接，获得连接之后的权重。此外，将输入的X再次通过域分配(Domain Assignment)模块，获得不同输入图像不同成分的比例，最后，通过获得的成分以及成分的比例对输入的X进行加权，获得输出的特征。
在ResNet50网络中引入路径聚合网络PANet(如图6所示)的方式是选取ResNet50网络最后三个不同尺度的特征图作为路径聚合金字塔PANet的输入，按照PANet网络的结构，先自顶向下将高层的语义信息融合到低层的特征图中，再自底向上将低层的细节信息融合到高层的特征图中，通过这种方式，可以将神经网络提取到的深度语义信息以及浅层的目标尺度信息进行融合，防止由于卷积操作导致小目标在深层次的时候被周围的征同化。从而在三个尺度上即不同深度的网络结构上预测不同大小的目标(三次尺度是指在三个不同大小的特征层进行检测，检测的结果可为多个目标，因为神经网络的特性，在深层网络特征图上，会使得小目标的信息被消磨掉，所以使用不同尺度上的特征检测，来处理小目标问题)；
(2.2)搭建依次由一层全连接层和激活函数层组成的检测网络fc，fc表示全连接层，在图中具体表示成了cls_prob以及bbox_pred；(在图3A和图3B中cls-prob以及bbox-pred为fc(full connect)，分别表示类概率预测以及边界框回归)。
激活函数层选用Mish激活函数，用于增加网络的非线性表达能力，其表达式如下：
Mish(x)＝x*tanh(ln(1+ex))
其中x是全连接层(Cks-prob以及bbox-pred)后得到的特征，如图5可见，此函数在x为负值的时候并不是完全等于0，而是有比较小的负梯度流入，从而保证信息流动，而且此函数也保证了每一点的平滑时的梯度下降效果较好。
(2.3)将特征提取网路F与两个区域生成网络RPN相连接，再在之后依次连接一个ROI Pooling层和两个检测网络fc，构成困难样本迁移学习的红外图像小目标检测网络W。
两个区域生成网络和两个检测网络是因为有网络输入有两个域，可见光域和红外域，每个域分别对应一个区域生成网络和一个检测网络。
特征提取网路F与两个区域生成网络RPN的连接方式为特征提取网路F之后连接两个并联起来的图像区域生成网络RPN，RPN的作用是进行一次粗检测，通过RPN网络之后，我们可以获得多个候选目标框，这些目标框中存在真正的目标，也存在背景干扰。接着与一个ROI Pooling层的连接方式是两个并联起来的图像区域生成网络RPN之后连接共享同一个ROI Pooling层(RPN为区域建议网络，是和最终cls-prob以及bbox-pred一样的结构，作用为提出候选目标；ROI_pooling作用是将候选区域进行处理，使得不同大小的候选区域最终转换为相同大小的区域特征，方便后续网络的检测)，由于我们获得的候选框特征尺寸是不一样的，为了方便后续网络的构建，使用了ROI Pooling，ROI Pooling的作用是将获取到的候选框特征池化到固定的大小，这样就不会因为输入尺寸的不同而使得网络无法正常运行。接着与两个并连的检测网络fc相连接，构成困难样本迁移学习的红外图像小目标检测网络W；
(2.4)构建损失函数Loss(该损失函数是cls-prob之后的损失，用于困难样本的处理)，此损失作为目标检测的分类损失，表达式如下：
Loss＝-α(1-y′)γylogy′-(1-α)y′γ(1-y)log(1-y′)
其中，α是平衡因子，是用来平衡正负样本本身的比例不均，y′表示的是网络检测出检测目标框是正样本还是负样本，y′＝1，则表示网络检测出检测目标框是正样本，y′＝0，则表示网络检测出检测目标框是负样本，γ是焦点参数，y表示的是真实标注框是正样本还是负样本，y＝1，则表示真实标注框是正样本，y＝0，则表示真实标注框是负样本。
首先在原有的基础上加了一个因子，其中γ>0使得减少易分类样本的损失。使得更关注于困难的、错分的样本。如γ为2，对于正类样本而言，预测结果为0.95肯定是简单样本，所以(1-0.95)的γ次方就会很小，这时损失函数值就变得更小。而预测概率为0.3的样本其损失相对很大。对于负类样本而言同样，预测0.1的结果应当远比预测0.7的样本损失值要小得多。对于预测概率为0.5时，损失只减少了0.25倍，所以更加关注于这种难以区分的样本。这样减少了简单样本的影响，大量预测概率很小的样本叠加起来后的效应才可能有效，此外，加入平衡因子α，用来平衡正负样本本身的比例不均：γ调节简单样本权重降低的速率，当γ为0时即为交叉熵损失函数，当γ增加时，调节因子的影响也在增加。
对于困难样本的学习，Focal Loss是在样本损失上加个权重。对于简单样本，由于其比较容易检测，所以权重对应较低。而对于困难样本，因为不容易检测，所以损失的权重比较高。这样困难样本的损失在总体的损失上占比会增加，从而帮助学习可以往困难样本处偏移。
一般交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越小。此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优。
图7中黑色框中的车辆，由于在路上比较少见，所以在训练的时候在focal loss的作用下，会有比较大的权重，使得对整体的网络参数有较大的影响，而像灰色框中的小汽车，由于在路上比较常见，使得器本身就很容易被检测，因此在focal loss的作用下会给其一个比较小的权重，使得它对网络参数的影响较小。
基于级联cascade的边界框准确预测
参考图8，为了提升边界框预测精度采用级联cascade结构，实验证明，模型在界定正负样本的阈值处获得的预测框与真实边界框的IOU值是最大的，也就是预测框的精度是最佳的。使用不同的阈值进行边界框的预测，级联各个检测模型，设置不同的IOU阈值界定样本训练模型，前一个检测模型的输出是后一个检测模型的输入，IOU值一直上升。使用不同的IOU阈值划分正负样本，让每一个stage的detector都专注于检测IOU在某一范围内的proposal，这样就可以在不同的阈值处都有较好的IOU值。
级联的结构如下，首先，我们通过RPN阶段获得候选目标B0，然后设定一个IOU值来再一次精细检测，获得精细检测周的候选框B1。Cascade的思想为，我们在精细检测结果B1的基础上，加强条件的严苛性，即增大IOU的值，再次使用精细之后的候选框来检测。后续的B2，B3也是同样的思想。这使得网络的检测精度不断地上升，提升检测效果。
在步骤3中，对困难样本迁移学习的红外图像小目标检测网络W进行异源图像迁移学习：将目标检测数据集D来中的可见光图像和红外图像共同训练困难样本迁移学习的红外图像小目标检测网络W，并用Adam算法迭代更新目标检测网络W中提取特征网络F的各层参数、SENet模块中的通道注意力参数权重、RPN网络中的参数和检测网络fc的权重参数，直到损失函数Loss最小化，得到训练好的困难样本迁移学习的红外图像小目标检测网络W′。
其中，网络W中特征提取部分对于红外图像域和可见光图像域是共享的，而RPN层与输出层是域相关的。不同域之间通过域注意力SENet来激活不同的数据域，并利用注意机制确定它们的响应，来使得适配器能够匹配到各个不同数据域，即网络在不同域场景下获得不同的激活值，使用域注意力机制对其进行加权，使得网络偏向权重更大的场景，以此确定当前数据所属域。
在步骤4中，目标检测：将测试集中待检测的可见光图像和红外输入到步骤3中训练好的困难样本迁移学习的红外图像小目标检测网络W′中，得到测试集可见光和红外图像的目标检测结果。
本发明的效果可通过以下仿真进一步说明。
1、仿真条件
本项目所提算法基于Pytorch深度学习框架，Python 3.6实现，开发环境为Linux系统，版本为Ubuntu 1804，CUDA 10.1。单块NVIDIA GeForce RTX 2070GPU(8GB Memory)用于加速网络训练。
仿真所用的图像是41410张可见光数据集VisDrone和从公开的红外数据集FLIR和对抗网络CycleGAN生成的红外图像中任意挑选的10228张红外图像。
2、仿真内容
仿真一，本实例将41410张可见光数据集VisDrone和从公开的红外数据集FLIR和对抗网络CycleGAN生成的红外图像中任意挑选的10228张红外图像中各取85％作为训练集，其余15％作为测试集，车辆检测结果如表1。
表1
从表1可见，本发明利用少量的红外数据与大量的可见光数据共同训练目标检测网络，使得红外图像的目标检测效果AP值达到78.82％，比单独用红外图像检测出的效果好很多。
仿真二，将红外图像中取85％作为训练集改为25％、5％、2％，其余的作为测试集在做三组实验，车辆检测结果如表2。
表2
从表2可见，本发明利用少量的红外数据与大量的可见光数据共同训练目标检测网络，当红外图像的训练验证集从25％降到2％时，红外图像的车辆检测效果会下降，但下降幅度十分缓慢，这表明了迁移学习在数据量较小情况下的有效性。
综上，本发明构建的困难样本迁移学习的红外图像小目标检测方法，以通过将对抗网络与迁移学习相结合，实现将可见光图像的信息迁移到红外图像迁移学习，提高了困难样本的检测精度。
本发明与现有技术相比，具有以下优点：
1、具有更好的目标检测结果
本发明使用对抗网络CycleGAN实现了增广数据的目的，使网络的输入困难样本更加丰富多样，使得网络学习的更全面，并且引入了Focal Loss损失函数用来处理困难样本，在样本损失上赋予权重，对于简单样本，由于其比较容易检测，所以权重对应较低，而对于困难样本，损失的权重比较高，这样困难样本的损失在总体的损失上占比会增加，从而帮助网络学习可以往困难样本处偏移，提高了检测效果。
2、模型效率高
本发明引入域注意力机制，使得网络学习时更加专注于特定域的输入，将计算资源分配给更重要的任务，提高了模型效率。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于困难样本迁移学习的红外图像目标检测方法，其特征在于，包括：
获取目标检测的数据集并将所述数据集划分为训练集和测试集，其中，所述目标检测的数据集包括可见光数据集和与所述可见光数据集相对应的红外数据集；
构建所述困难样本迁移学习的红外图像目标检测网络，其中，构建所述困难样本迁移学习的红外图像目标检测网络进一步包括：在ResNet50网络中引入域注意力模块和路径聚合网络模块以构成改进特征提取网络；
利用所述训练集对所述红外图像目标检测网络进行异源图像迁移学习以生成目标检测模型；以及
将所述测试集中的待检测的可见光图像和红外图像输入所述目标检测模型，以获得目标检测结果。
2.根据权利要求1所述的基于困难样本迁移学习的红外图像目标检测方法，其特征在于，构建以下损失函数Loss，并基于所述损失函数利用所述训练集对所述红外图像目标检测网络进行异源图像迁移学习以生成目标检测模型：
Loss＝-α(1-y′)γy log y′-(1-α)y′γ(1-y)log(1-y′)
其中，α是平衡因子，用来平衡正样本和负样本本身的比例，y′表示的是网络检测出所述检测目标框是正样本还是负样本，其中，当y′＝1时，则表示网络检测出所述检测目标框是正样本，以及当y′＝0时，则表示网络检测出所述检测目标框是负样本，y表示的是真实标注框是正样本还是负样本，其中，当y＝1时，则表示所述真实标注框是正样本，以及当y＝0时，则表示所述真实标注框是负样本，以及γ是焦点参数，γ>0使得减少易分类样本的损失，使得更关注于困难的、错分的样本。
3.根据权利要求1所述的基于困难样本迁移学习的红外图像目标检测方法，其特征在于，在ResNet50网络中引入域注意力模块进一步包括：
将输入特征图通过全局平均池化模块获得池化向量；
通过多个全连接层、激活层和全连接层的方式获得N个权重，其中，每个权重代表与输入图像相关的成分；
将所述N个权重进行拼接以获得拼接之后的权重；
将所述输入特征图再次通过域分配比例模块获得不同输入图像的不同成分的比例；以及
通过获得的成分以及成分的比例对所述输入特征图进行加权以获得输出特征图。
4.根据权利要求1所述的基于困难样本迁移学习的红外图像目标检测方法，其特征在于，在ResNet50网络中引入路径聚合网络模块进一步包括：
通过先自顶向下将高层的语义信息融合到低层的特征图中，再自底向上将低层的细节信息融合到高层的特征图中的方式，将神经网络提取到的深度语义信息以及浅层的目标尺度信息进行融合，以在不同尺度上预测不同大小的目标。
5.根据权利要求1所述的基于困难样本迁移学习的红外图像目标检测方法，其特征在于，构建所述困难样本迁移学习的红外图像目标检测网络进一步包括：
构建两个粗检测网络，均与所述改进特征提取网络的输出连接，其中，所述两个粗检测网络分别对应于可见光域和红外域；以及
构建两个精检测网络，与所述粗检测网络的输出连接，其中，所述两个精检测网络分别对应于所述可见光域和所述红外域。
6.根据权利要求5所述的基于困难样本迁移学习的红外图像目标检测方法，其特征在于，构建所述两个粗检测网络进一步包括：
生成两个RPN网络以获得多个候选目标框，其中，所述改进特征提取网络的输出与每个RPN网络连接；以及
生成ROI pooling层，每个RPN网络的输出均与所述ROI pooling层的输入连接以将所述多个候选目标框池化到固定大小。
7.根据权利要求6所述的基于困难样本迁移学习的红外图像目标检测方法，其特征在于，构建所述两个精检测网络进一步包括：
构建两个RCNN网络，所述两个RCNN网络的输入均与所述ROI pooling层的输出连接；
构建由全连接层和激活函数层组成的两个检测网络以分别与所述两个RCNN网络的输出连接，其中，所述激活函数层的激活函数如下：
Mish(x)＝x*tanh(ln(1+ex))，
其中，x是全连接层后获得的特征；以及
每个检测网络均与一个输出模块连接，其中，所述输出模块包括N+1个类概率输出模块和位置信息模块。
8.根据权利要求1所述的基于困难样本迁移学习的红外图像目标检测方法，其特征在于，获取目标检测的数据集并将所述数据集划分为训练集和测试集进一步包括：
获取公开的可见光数据集和公开的红外数据集；
构建对抗网络CycleGAN，并利用所述对抗网络CycleGAN生成与所述公开的可见光数据集相对应的生成的红外数据集并生成与所述公开的红外数据集相对应的生成的可见光数据集，
其中，所述可见光数据集包括所述公开的可见光数据集与所述生成的可见光数据集，以及所述红外数据集包括所述公开的红外数据集和所述生成的红外数据集。
9.一种基于困难样本迁移学习的红外图像目标检测装置，其特征在于，包括：
数据集获取模块，用于获取目标检测的数据集并将所述数据集划分为训练集和测试集，其中，所述目标检测的数据集包括可见光数据集和与所述可见光数据集相对应的红外数据集；
网络构建模块，用于构建所述困难样本迁移学习的红外图像目标检测网络，所述网络构建模块进一步包括改进特征提取网络，其中，所述改进特征提取网络用于在ResNet50网络中引入域注意力模块和路径聚合网络模块；
模型生成模块，利用所述训练集对所述红外图像目标检测网络进行异源图像迁移学习以生成目标检测模型；以及
检测模块，用于将所述测试集中的待检测的可见光图像和红外图像输入所述目标检测模型，以获得目标检测结果。
10.根据权利要求9所述的基于困难样本迁移学习的红外图像目标检测装置，其特征在于，改进特征提取网络用于：
将输入特征图通过全局平均池化模块获得池化向量；
通过多个全连接层、激活层和全连接层的方式获得N个权重，其中，每个权重代表与输入图像相关的成分；
将所述N个权重进行拼接以获得拼接之后的权重；
将所述输入特征图再次通过域分配比例模块获得不同输入图像的不同成分的比例；以及
通过获得的成分以及成分的比例对所述输入特征图进行加权以获得输出特征图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111397594.0A CN114170531B (zh) | 2021-11-23 | 2021-11-23 | 基于困难样本迁移学习的红外图像目标检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111397594.0A CN114170531B (zh) | 2021-11-23 | 2021-11-23 | 基于困难样本迁移学习的红外图像目标检测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114170531A true CN114170531A (zh) | 2022-03-11 |
| CN114170531B CN114170531B (zh) | 2024-08-09 |
Family
ID=80480589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111397594.0A Active CN114170531B (zh) | 2021-11-23 | 2021-11-23 | 基于困难样本迁移学习的红外图像目标检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114170531B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972869A (zh) * | 2022-05-30 | 2022-08-30 | 西北工业大学 | 一种基于反事实因果学习的红外微弱目标检测方法 |
| CN116071773A (zh) * | 2023-03-15 | 2023-05-05 | 广东电网有限责任公司东莞供电局 | 检测电网建设类档案中表格的方法、装置、介质和设备 |
| CN116129292A (zh) * | 2023-01-13 | 2023-05-16 | 华中科技大学 | 一种基于少样本增广的红外车辆目标检测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229455A (zh) * | 2017-02-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 物体检测方法、神经网络的训练方法、装置和电子设备 |
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN110427875A (zh) * | 2019-07-31 | 2019-11-08 | 天津大学 | 基于深度迁移学习和极限学习机的红外图像目标检测方法 |
| CN111950488A (zh) * | 2020-08-18 | 2020-11-17 | 山西大学 | 一种改进的Faster-RCNN遥感图像目标检测方法 |
-
2021
- 2021-11-23 CN CN202111397594.0A patent/CN114170531B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229455A (zh) * | 2017-02-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 物体检测方法、神经网络的训练方法、装置和电子设备 |
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN110427875A (zh) * | 2019-07-31 | 2019-11-08 | 天津大学 | 基于深度迁移学习和极限学习机的红外图像目标检测方法 |
| CN111950488A (zh) * | 2020-08-18 | 2020-11-17 | 山西大学 | 一种改进的Faster-RCNN遥感图像目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 龚任杰;郑智辉;丛龙剑;徐振涛;韦海萍;唐波;李全运: "小样本条件下异源图像迁移学习的红外目标检测与识别", 西北工业大学学报, no. 0, 15 October 2021 (2021-10-15) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972869A (zh) * | 2022-05-30 | 2022-08-30 | 西北工业大学 | 一种基于反事实因果学习的红外微弱目标检测方法 |
| CN114972869B (zh) * | 2022-05-30 | 2024-02-20 | 西北工业大学 | 一种基于反事实因果学习的红外微弱目标检测方法 |
| CN116129292A (zh) * | 2023-01-13 | 2023-05-16 | 华中科技大学 | 一种基于少样本增广的红外车辆目标检测方法及系统 |
| CN116071773A (zh) * | 2023-03-15 | 2023-05-05 | 广东电网有限责任公司东莞供电局 | 检测电网建设类档案中表格的方法、装置、介质和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114170531B (zh) | 2024-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114170532A (zh) | 一种基于困难样本迁移学习的多目标分类方法和装置 | |
| CN114170531A (zh) | 基于困难样本迁移学习的红外图像目标检测方法和装置 | |
| CN110929577A (zh) | 一种基于YOLOv3的轻量级框架改进的目标识别方法 | |
| CN112445823A (zh) | 神经网络结构的搜索方法、图像处理方法和装置 | |
| CN111598182B (zh) | 训练神经网络及图像识别的方法、装置、设备及介质 | |
| CN109902018B (zh) | 一种智能驾驶系统测试案例的获取方法 | |
| CN108764298B (zh) | 基于单分类器的电力图像环境影响识别方法 | |
| CN114140683A (zh) | 一种航拍图像目标检测的方法、设备与介质 | |
| CN109919252A (zh) | 利用少数标注图像生成分类器的方法 | |
| CN117011616B (zh) | 一种图像内容审核方法、装置、存储介质和电子设备 | |
| CN111353531A (zh) | 基于奇异值分解和空谱域注意力机制高光谱图像分类方法 | |
| Zhang et al. | RelationNet2: Deep comparison columns for few-shot learning | |
| Park et al. | Advanced wildfire detection using generative adversarial network-based augmented datasets and weakly supervised object localization | |
| CN115937774A (zh) | 一种基于特征融合和语义交互的安检违禁品检测方法 | |
| CN114912719B (zh) | 一种基于图神经网络的异质交通个体轨迹协同预测方法 | |
| Qiu et al. | Multitask learning for human settlement extent regression and local climate zone classification | |
| CN112084897A (zh) | 一种gs-ssd的交通大场景车辆目标快速检测方法 | |
| CN113724233B (zh) | 基于融合数据生成和迁移学习技术的变电设备外观图像缺陷检测方法 | |
| Zhang et al. | Multi-objects recognition and self-explosion defect detection method for insulators based on lightweight GhostNet-YOLOV4 model deployed onboard UAV | |
| CN110852255B (zh) | 一种基于u型特征金字塔的交通目标检测方法 | |
| Liang et al. | Multi-perspective feature collaborative perception learning network for non-destructive detection of pavement defects | |
| CN114494893B (zh) | 基于语义重用上下文特征金字塔的遥感图像特征提取方法 | |
| CN116310323A (zh) | 一种飞机目标实例分割方法、系统和可读存储介质 | |
| CN115131291A (zh) | 对象计数模型的训练方法、装置、设备以及存储介质 | |
| CN114299328A (zh) | 一种环境自适应感知的小样本濒危动物检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |