CN112215296A - 基于迁移学习的红外图像识别方法及存储介质 - Google Patents

基于迁移学习的红外图像识别方法及存储介质 Download PDF

Info

Publication number
CN112215296A
CN112215296A CN202011129222.5A CN202011129222A CN112215296A CN 112215296 A CN112215296 A CN 112215296A CN 202011129222 A CN202011129222 A CN 202011129222A CN 112215296 A CN112215296 A CN 112215296A
Authority
CN
China
Prior art keywords
infrared image
image processing
infrared
processing model
training set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011129222.5A
Other languages
English (en)
Other versions
CN112215296B (zh
Inventor
林文杰
杨景鑫
张晓裕
曾洪源
陈伟民
黄晓聪
吴清勇
罗宇宁
李政凯
吴雪玲
陈耀高
林玉涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Red Phase Inc
Original Assignee
Red Phase Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Red Phase Inc filed Critical Red Phase Inc
Priority to CN202011129222.5A priority Critical patent/CN112215296B/zh
Publication of CN112215296A publication Critical patent/CN112215296A/zh
Application granted granted Critical
Publication of CN112215296B publication Critical patent/CN112215296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于迁移学习的红外图像识别方法及存储介质,方法包括:根据红外样本图像,获取正样本图像块和负样本图像块,并划分得到第一训练集、第二训练集和测试集;构建红外图像处理模型,包括特征提取模块、标签预测模块和域分类器;根据训练集,分别对多个红外图像处理模型中的特征提取模块和域分类器进行训练;根据测试集,分别对训练后的多个红外图像处理模型进行评估,选取最优红外图像处理模型;根据第一训练集和测试集,对最优红外图像处理模型中的标签预测模块进行训练;将待识别图像块输入训练后的最优红外图像处理模型,并将标签预测模块的输出结果作为识别结果。本发明可提高红外图像的识别准确率和识别速度。

Description

基于迁移学习的红外图像识别方法及存储介质
技术领域
本发明涉及,尤其涉及一种基于迁移学习的红外图像识别方法及存储介质。
背景技术
1800年,英国天文学家F.W.Herschel在进行太阳光谱的热效应研究实验的时候,发现了一种肉眼无法感知的光线,这种光线就是所谓的“红外线”。经过不断的实验与探索,人们已经对红外光线有了本质的认识,即红外光线是一种波长处于0.75um~1000um之间电磁辐射。根据分子热运动原理,任何温度处于绝对零度以上的物体,其内部分子和原子会不断地进行无规则运动,并向物体外部辐射“红外线”,物体温度越高,内部无规则运动越剧烈,电磁辐射就越强。红外成像系统的成像过程就是利用探测器获取目标物体与背景之间不同的红外热辐射能量,通过光电转换,将不可见的红外辐射能转变为可见的红外图像。1934年,第一只热红外光线的变像管出现于德国。此后,针对红外成像技术的研究开始起步,经过研究者们不断的探索与发现,红外热像仪已经发展到了第四代红外成像系统。相较于可见光成像系统,红外成像系统的作用距离更远、抗干扰性更好,穿透烟尘雾霾能力更强,并且可全天时全天候工作,这些优点使得红外成像技术不仅能广泛应用于卫星成像、导弹制导、战机探测等军事领域,同时也能大量应用于电力、消防、工业及医疗等民用领域。多领域的应用为红外成像系统带来了广大的市场,从而带动了红外成像技术的蓬勃发展。然而,尽管红外成像技术的发展非常迅速,但是整体的红外成像技术依然存在着空间分辨率低、立体感差、对比度弱及信噪比低等缺点,因此红外成像技术并不适用于高质量图像要求的领域。
自二十一世纪初(Hinton于2006年在《科学》上提出),深度学习的技术在人工智能领域上有所突破,是现今机器学习方法中最接近人类大脑运算的一种方法。深度学习与简单学习是相对的。传统机器学习方法由于局限于BP神经网络发展的瓶颈,都处于简单学习,或者说是在浅层的结构上进行运算,即最多只能达到两层非线性特征转换层。例如高斯混合模型GMM,支持向量机SVM等。而现实获取的数据中存在大量的、复杂的变量以及变量环境,这是简单学习无法处理的,或者是处理起来需要耗费大量的成本。
另外,在传统的机器学习中,经常需要大量带标签的数据进行训练,并且需要保证训练集和测试集中的数据分布相似。在一些问题中,如果训练集和测试集的数据具有不同的分布,训练后的分类器在测试集上就没有好的表现。
近年来,迁移学习已经引起了广泛的关注和研究。迁移学习是运用已存有的知识对不同但相关领域问题进行求解的一种新的机器学习方法。它放宽了传统机器学习中的两个基本假设:(1)用于学习的训练样本与新的测试样本满足独立同分布的条件;(2)必须有足够可利用的训练样本才能学习得到一个好的分类模型。目的是迁移已有的知识来解决目标领域中仅有少量有标签样本数据甚至没有的学习问题。
在此背景下,提出一种基于迁移学习的红外图像识别方法。
发明内容
本发明所要解决的技术问题是:提供一种基于迁移学习的红外图像识别方法及存储介质,可提高红外图像的识别准确率和识别速度。
为了解决上述技术问题,本发明采用的技术方案为:一种基于迁移学习的红外图像识别方法,包括:
根据红外样本图像,获取正样本图像块和负样本图像块,并划分得到训练集和测试集,所述训练集包括第一训练集和第二训练集;
构建红外图像处理模型,所述红外图像处理模型包括特征提取模块、标签预测模块和域分类器,所述特征提取模块由VGG-16模型中的前13层卷积层构成,所述标签预测模块由VGG-16模型中的后3层全连接层构成,所述域分类器包括域特征提取模块、池化模块和分类模块;
根据所述训练集,分别对多个所述红外图像处理模型中的特征提取模块和域分类器进行训练;
根据所述测试集,分别对训练后的多个红外图像处理模型进行评估,并根据评估结果,选取最优红外图像处理模型;
根据所述第一训练集和测试集,对所述最优红外图像处理模型中的标签预测模块进行训练;
将待识别图像块输入训练后的最优红外图像处理模型,并将标签预测模块的输出结果作为所述待识别图像的识别结果。
本发明还提出了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上所述的方法的步骤。
本发明的有益效果在于:通过将具有不同分布的红外图像训练集和测试集数据映射到同一个特征域,在训练集上训练好的分类器就可以直接用于不同数据分布的测试集数据的分类,极大地提高了由不同分布数据训练的模型在红外图像识别的准确率。本发明能够实现基于红外图像目标识别准确率高、效果好的需求。
附图说明
图1为本发明实施例一的一种基于迁移学习的红外图像识别方法流程图;
图2为本发明实施例一的红外图像处理模型的结构示意图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图详予说明。
请参阅图1,一种基于迁移学习的红外图像识别方法,包括:
根据红外样本图像,获取正样本图像块和负样本图像块,并划分得到训练集和测试集,所述训练集包括第一训练集和第二训练集;
构建红外图像处理模型,所述红外图像处理模型包括特征提取模块、标签预测模块和域分类器,所述特征提取模块由VGG-16模型中的前13层卷积层构成,所述标签预测模块由VGG-16模型中的后3层全连接层构成,所述域分类器包括域特征提取模块、池化模块和分类模块;
根据所述训练集,分别对多个所述红外图像处理模型中的特征提取模块和域分类器进行训练;
根据所述测试集,分别对训练后的多个红外图像处理模型进行评估,并根据评估结果,选取最优红外图像处理模型;
根据所述第一训练集和测试集,对所述最优红外图像处理模型中的标签预测模块进行训练;
将待识别图像块输入训练后的最优红外图像处理模型,并将标签预测模块的输出结果作为所述待识别图像的识别结果。
从上述描述可知,本发明的有益效果在于:可提高红外图像的识别准确率和识别速度。
进一步地,所述域特征提取模块包括一个卷积层和一个非线性激活层,所述域特征提取模块中的卷积层的卷积核大小为3*3,卷积核个数为512个,卷积核初始化的权重分布符合高斯分布;所述非线性激活层使用的激活函数为tanh;所述池化模块为最大池化层,池化窗口大小为2*2;所述分类模块使用的激活函数为sigmoid函数。
进一步地,所述根据红外样本图像,获取正样本图像块和负样本图像块,并划分得到训练集和测试集具体为:
采集红外图像,所述红外图像包含待识别内容;
根据预设的裁剪区域和裁剪大小,对所述红外图像进行裁剪,得到第一图像块,并将包含待识别内容的第一图像块标记为正样本图像块,将其他第一图像块标记为负样本图像块;
随机划分所述第一图像块,得到第一训练集和测试集;
获取红外图像识别数据集;
根据预设的裁剪区域和裁剪大小,对所述红外图像识别数据集中的红外图像进行裁剪,得到第二图像块,并将包含待识别内容的第二图像块标记为正样本图像块,将其他第二图像块标记为负样本图像块;
将所述第二图像块作为第二训练集。
由上述描述可知,通过额外获取红外图像识别数据集得到第二个训练集,可弥补现有分类任务的训练集数据少、标签少的问题;通过进行对抗训练,使当前分类任务的训练数据的分布与其他分类任务的训练数据的分布更加接近。
进一步地,所述根据所述训练集,分别对多个所述红外图像处理模型中的特征提取模块和域分类器进行训练具体为:
将所述训练集中的图像块输入所述红外图像处理模型,并获取域分类器的输出,得到对应的输出结果;
根据图像块及其对应的输出结果以及预设的损失函数,通过误差反向传播算法优化所述红外图像处理模型中的特征提取模块和域分类器。
进一步地,所述预设的损失函数为:
Figure BDA0002734552710000051
Figure BDA0002734552710000052
其中,Object为损失值,Gf(xi)表示特征提取模块的输出,Dd(Gf(xi))表示域分类器的输出,n表示第一训练集中的图像块总个数,n’表示第二训练集中的图像块总个数,N=n+n’,xi表示训练集中的第i个图像块,
Figure BDA0002734552710000053
表示第i个图像块的二元标签,当xi属于第一训练集时,
Figure BDA0002734552710000054
当xi属于第二训练集时,
Figure BDA0002734552710000055
进一步地,所述根据所述测试集,分别对训练后的多个红外图像处理模型进行评估,并根据评估结果,选取最优红外图像处理模型具体为:
将所述测试集中的图像块输入训练后的一红外图像处理模型,并获取所述一红外图像处理模型中的域分类器输出的分类结果,所述分类结果为正样本结果或负样本结果;
分别统计所述测试集中分类结果为正样本结果的正样本图像块的数量和负样本图像块的数量,以及分类结果为负样本结果的正样本图像块的数量,得到所述一红外图像处理模型的分类结果参数;
根据所述一红外图像处理模型的分类结果参数,计算所述一红外图像处理模型的F1分数;
比较各红外图像处理模型的F1分数,将F1分数最大的红外图像处理模型作为最优红外图像处理模型。
进一步地,所述根据所述一红外图像处理模型的分类结果参数,计算所述一红外图像处理模型的F1分数具体为:
根据F1分数计算公式计算所述一红外图像处理模型的F1分数,所述F1分数计算公式为:
Figure BDA0002734552710000061
Figure BDA0002734552710000062
Figure BDA0002734552710000063
其中,F1score为F1分数,TP为测试集中分类结果为正样本结果的正样本图像块的数量,FP为测试集中分类结果为正样本结果的负样本图像块的数量,FN为测试集中分类结果为负样本结果的正样本图像块的数量。
由上述描述可知,根据F1分数来选取最优红外图像处理模型。
本发明还提出了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上所述的方法的步骤。
实施例一
请参照图1-2,本发明的实施例一为:一种基于迁移学习的红外图像识别方法,可应用于红外图像的识别分类,如图1所示,包括如下步骤:
S1:根据红外样本图像,获取正样本图像块和负样本图像块,并划分得到训练集和测试集,所述训练集包括第一训练集和第二训练集。本实施例中,红外样本图像通过采集和下载公开的红外图像识别数据集获得。
具体地,采集红外图像,所述红外图像包含待识别内容;然后根据预设的裁剪区域和裁剪大小,对所述红外图像进行裁剪,得到第一图像块,并将包含待识别内容的第一图像块标记为正样本图像块,将其他第一图像块标记为负样本图像块;最后随机划分所述第一图像块,得到第一训练集和测试集。
同时,获取红外图像识别数据集;根据预设的裁剪区域和裁剪大小,对所述红外图像识别数据集中的红外图像进行裁剪,得到第二图像块,并将包含待识别内容的第二图像块标记为正样本图像块,将其他第二图像块标记为负样本图像块;将所述第二图像块作为第二训练集。
例如,以识别行人、汽车为例,采集不同路段的汽车图像、行人图像,然后使用python中PIL库的crop函数,设定固定的裁剪区域(裁剪区域对应汽车部分和行人部分),将采集到的红外图像裁剪成224*224大小的汽车图像块和行人图像块,然后将其随机1:1分开,分别作为第一训练集v1和测试集。
同时,下载FLIR公开的FLIR ADAS红外图像识别数据集,按照上述裁剪方法将其裁剪成224*224大小的汽车图像块和行人图像块,作为第二训练集v2。
其中,若要识别的内容为汽车,则将汽车图像块作为正样本图像块,将其他图像作为负样本图像块;若要识别的内容为行人,则将行人图像块作为正样本图像块,将其他图像作为负样本图像块;以此类推。
进一步地,可将正样本图像块的标签值设为1,将负样本图像块的标签纸设备0。
S2:构建红外图像处理模型。
本实施例中,在现有的VGG-16模型的基础上搭建红外图像处理模型。VGG即VisualGeometry Group Network,视觉几何群网络;VGG-16网络由13层卷积层和3层全连接层组成。
具体地,红外图像处理模型包括特征提取模块、标签预测模块和域分类器,特征提取模块由VGG-16模型中的前13层卷积层构成,标签预测模块由VGG-16模型中的后3层全连接层构成,域分类器包括域特征提取模块、池化模块和分类模块。
其中,所述域特征提取模块由一个卷积层和一个非线性激活层构成,该卷积层的卷积核大小为3*3,卷积核个数为512个,卷积核初始化的权重分布符合高斯分布,其输入为特征提取模块的输出(512通道的特征图),输出为512通道的特征图;所述非线性激活层使用的激活函数为tanh,激活函数的作用是为了增加神经网络模型的非线性。
所述池化模块为最大池化层,池化窗口大小为2*2;即将2*2尺寸内的所有像素值取最大值作为输出通道的像素值;其输入为域特征提取模块的输出(512通道的特征图),输出为512通道的特征图。
所述分类模块中,使用的激活函数为sigmoid函数,即采用sigmoid函数进行分类,其输入为池化模块的输出。所述分类模块用于对域目标进行分类。
如图2所示,标签预测模块和域分类器分别与特征提取模块连接,即域分类器与标签预测模块并行,标签预测模块和域分类器的输入均为特征提取模块的输出。
S3:根据所述训练集,分别对多个所述红外图像处理模型中的特征提取模块和域分类器进行训练;即保留标签预测模块中的权重,对特征提取模块和域分类器的卷积层进行参数调节,保存训练好的模型权重。
具体地,将训练集中的图像块输入红外图像处理模型,并获取域分类器的输出,得到对应的输出结果;根据图像块及其对应的输出结果以及预设的损失函数,通过误差反向传播算法优化红外图像处理模型中的特征提取模块和域分类器。
根据上述方法,并设置不同的超参数,分别对多个红外图像处理模型进行训练。本实施例中,超参数可选择ADAM算法训练的超参数。
其中,所述预设的损失函数为:
Figure BDA0002734552710000081
其中,Cd i(Dd(Gf(xi)))表示域分类器的单个样本的损失函数,具体为:
Figure BDA0002734552710000082
其中,Object为损失值,Gf(xi)表示特征提取模块的输出,Dd(Gf(xi))表示域分类器的输出,n表示第一训练集中的图像块总个数,n’表示第二训练集中的图像块总个数,N=n+n’,xi表示训练集中的第i个图像块(前n个为第一训练集中的图像块,后n’个为第二训练集中的图像块),
Figure BDA0002734552710000083
表示第i个图像块的二元标签,当xi属于第一训练集时,
Figure BDA0002734552710000084
当xi属于第二训练集时,
Figure BDA0002734552710000085
通过上述损失函数计算出损失值后,使用ADAM优化算法迭代红外图像处理模型中的特征提取模块和域分类器的权重,本实施例中,总共迭代优化10万次,最后保存迭代优化所得的权重。
S4:根据所述测试集,分别对训练后的多个红外图像处理模型进行评估,并根据评估结果,选取最优红外图像处理模型。
具体地,先将所述测试集中的图像块输入训练后的一红外图像处理模型,并获取域分类器输出的分类结果,所述分类结果为正样本结果或负样本结果。
然后,分别统计所述测试集中分类结果为正样本结果的正样本图像块的数量TP、分类结果为正样本结果的负样本图像块的数量FP以及分类结果为负样本结果的正样本图像块的数量FN,得到所述一红外图像处理模型的分类结果参数。
接着,根据所述一红外图像处理模型的分类结果参数,计算所述一红外图像处理模型的F1分数;具体地,F1分数的计算公式为:
Figure BDA0002734552710000091
Figure BDA0002734552710000092
Figure BDA0002734552710000093
其中,F1score为F1分数,TP为测试集中分类结果为正样本结果的正样本图像块的数量,FP为测试集中分类结果为正样本结果的负样本图像块的数量,FN为测试集中分类结果为负样本结果的正样本图像块的数量。
通过上述步骤即可计算得到各个训练后的红外图像处理模型的F1分数。最后,比较各红外图像处理模型的F1分数,将F1分数最大的红外图像处理模型作为最优红外图像处理模型。
S5:根据所述第一训练集和测试集,对所述最优红外图像处理模型中的标签预测模块进行训练;即冻结最优红外图像处理模型中特征提取模块和域分类器的模型权重,然后混合步骤S1中划分好的第一训练集和测试集作为新的训练集,采用VGGNet的训练方法对最优红外图像处理模型中的标签预测模块进行训练。训练好后的最优红外图像处理模型即为最终模型。
S6:获取待识别图像块,然后将所述待识别图像块输入训练后的最优红外图像处理模型,并将标签预测模块的输出结果作为所述待识别图像的识别结果。即将待识别图像块输入到最终模型中的特征提取模块,最终模型中的标签提取模块的输出即为最终识别结果。
本实施例将迁移学习应用于红外图像识别方法中,可极大地提高模型的泛化能力,即便在缺乏当前识别任务数据集或者当前识别任务数据集很少的情况下,仍能在很大程度上完成识别任务。另外,应用域对抗思想将红外图像处理模型训练过程对抗化,即使在当前识别任务的数据分布和所能找到的数据集的数据分布不同的情况下,仍能完成识别任务。训练好的红外图像处理模型在实际应用中只需一次前向传播,耗费时间远远低于基于迭代求解的传统方法,能够满足红外图像识别的智能化、实时性的需求。
本实施例采用深度卷积神经网络建立的处理模型进行红外图像识别的方法,相比传统方法能取得了更好的处理效果,具有创新性强,实用性强的特点,能够实现红外图像识别准确率高、速度快的需求。
实施例二
本实施例是对应上述实施例的一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如下步骤:
根据红外样本图像,获取正样本图像块和负样本图像块,并划分得到训练集和测试集,所述训练集包括第一训练集和第二训练集;
构建红外图像处理模型,所述红外图像处理模型包括特征提取模块、标签预测模块和域分类器,所述特征提取模块由VGG-16模型中的前13层卷积层构成,所述标签预测模块由VGG-16模型中的后3层全连接层构成,所述域分类器包括域特征提取模块、池化模块和分类模块;
根据所述训练集,分别对多个所述红外图像处理模型中的特征提取模块和域分类器进行训练;
根据所述测试集,分别对训练后的多个红外图像处理模型进行评估,并根据评估结果,选取最优红外图像处理模型;
根据所述第一训练集和测试集,对所述最优红外图像处理模型中的标签预测模块进行训练;
将待识别图像块输入训练后的最优红外图像处理模型,并将标签预测模块的输出结果作为所述待识别图像的识别结果。
进一步地,所述域特征提取模块包括一个卷积层和一个非线性激活层,所述域特征提取模块中的卷积层的卷积核大小为3*3,卷积核个数为512个,卷积核初始化的权重分布符合高斯分布;所述非线性激活层使用的激活函数为tanh;所述池化模块为最大池化层,池化窗口大小为2*2;所述分类模块使用的激活函数为sigmoid函数。
进一步地,所述根据红外样本图像,获取正样本图像块和负样本图像块,并划分得到训练集和测试集具体为:
采集红外图像,所述红外图像包含待识别内容;
根据预设的裁剪区域和裁剪大小,对所述红外图像进行裁剪,得到第一图像块,并将包含待识别内容的第一图像块标记为正样本图像块,将其他第一图像块标记为负样本图像块;
随机划分所述第一图像块,得到第一训练集和测试集;
获取红外图像识别数据集;
根据预设的裁剪区域和裁剪大小,对所述红外图像识别数据集中的红外图像进行裁剪,得到第二图像块,并将包含待识别内容的第二图像块标记为正样本图像块,将其他第二图像块标记为负样本图像块;
将所述第二图像块作为第二训练集。
进一步地,所述根据所述训练集,分别对多个所述红外图像处理模型中的特征提取模块和域分类器进行训练具体为:
将所述训练集中的图像块输入所述红外图像处理模型,并获取域分类器的输出,得到对应的输出结果;
根据图像块及其对应的输出结果以及预设的损失函数,通过误差反向传播算法优化所述红外图像处理模型中的特征提取模块和域分类器。
进一步地,所述预设的损失函数为:
Figure BDA0002734552710000121
Figure BDA0002734552710000122
其中,Object为损失值,Gf(xi)表示特征提取模块的输出,Dd(Gf(xi))表示域分类器的输出,n表示第一训练集中的图像块总个数,n’表示第二训练集中的图像块总个数,N=n+n’,xi表示训练集中的第i个图像块,
Figure BDA0002734552710000123
表示第i个图像块的二元标签,当xi属于第一训练集时,
Figure BDA0002734552710000124
当xi属于第二训练集时,
Figure BDA0002734552710000125
进一步地,所述根据所述测试集,分别对训练后的多个红外图像处理模型进行评估,并根据评估结果,选取最优红外图像处理模型具体为:
将所述测试集中的图像块输入训练后的一红外图像处理模型,并获取所述一红外图像处理模型中的域分类器输出的分类结果,所述分类结果为正样本结果或负样本结果;
分别统计所述测试集中分类结果为正样本结果的正样本图像块的数量和负样本图像块的数量,以及分类结果为负样本结果的正样本图像块的数量,得到所述一红外图像处理模型的分类结果参数;
根据所述一红外图像处理模型的分类结果参数,计算所述一红外图像处理模型的F1分数;
比较各红外图像处理模型的F1分数,将F1分数最大的红外图像处理模型作为最优红外图像处理模型。
进一步地,所述根据所述一红外图像处理模型的分类结果参数,计算所述一红外图像处理模型的F1分数具体为:
根据F1分数计算公式计算所述一红外图像处理模型的F1分数,所述F1分数计算公式为:
Figure BDA0002734552710000126
Figure BDA0002734552710000127
Figure BDA0002734552710000131
其中,F1score为F1分数,TP为测试集中分类结果为正样本结果的正样本图像块的数量,FP为测试集中分类结果为正样本结果的负样本图像块的数量,FN为测试集中分类结果为负样本结果的正样本图像块的数量。
综上所述,本发明提供的一种基于迁移学习的红外图像识别方法及存储介质,通过将迁移学习应用于红外图像识别方法中,可极大地提高模型的泛化能力,即便在缺乏当前识别任务数据集或者当前识别任务数据集很少的情况下,仍能在很大程度上完成识别任务。另外,应用域对抗思想将红外图像处理模型训练过程对抗化,即使在当前识别任务的数据分布和所能找到的数据集的数据分布不同的情况下,仍能完成识别任务。训练好的红外图像处理模型在实际应用中只需一次前向传播,耗费时间远远低于基于迭代求解的传统方法,能够满足红外图像识别的智能化、实时性的需求。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于迁移学习的红外图像识别方法,其特征在于,包括:
根据红外样本图像,获取正样本图像块和负样本图像块,并划分得到训练集和测试集,所述训练集包括第一训练集和第二训练集;
构建红外图像处理模型,所述红外图像处理模型包括特征提取模块、标签预测模块和域分类器,所述特征提取模块由VGG-16模型中的前13层卷积层构成,所述标签预测模块由VGG-16模型中的后3层全连接层构成,所述域分类器包括域特征提取模块、池化模块和分类模块;
根据所述训练集,分别对多个所述红外图像处理模型中的特征提取模块和域分类器进行训练;
根据所述测试集,分别对训练后的多个红外图像处理模型进行评估,并根据评估结果,选取最优红外图像处理模型;
根据所述第一训练集和测试集,对所述最优红外图像处理模型中的标签预测模块进行训练;
将待识别图像块输入训练后的最优红外图像处理模型,并将标签预测模块的输出结果作为所述待识别图像的识别结果。
2.根据权利要求1所述的基于迁移学习的红外图像识别方法,其特征在于,所述域特征提取模块包括一个卷积层和一个非线性激活层,所述域特征提取模块中的卷积层的卷积核大小为3*3,卷积核个数为512个,卷积核初始化的权重分布符合高斯分布;所述非线性激活层使用的激活函数为tanh;所述池化模块为最大池化层,池化窗口大小为2*2;所述分类模块使用的激活函数为sigmoid函数。
3.根据权利要求1所述的基于迁移学习的红外图像识别方法,其特征在于,所述根据红外样本图像,获取正样本图像块和负样本图像块,并划分得到训练集和测试集具体为:
采集红外图像,所述红外图像包含待识别内容;
根据预设的裁剪区域和裁剪大小,对所述红外图像进行裁剪,得到第一图像块,并将包含待识别内容的第一图像块标记为正样本图像块,将其他第一图像块标记为负样本图像块;
随机划分所述第一图像块,得到第一训练集和测试集;
获取红外图像识别数据集;
根据预设的裁剪区域和裁剪大小,对所述红外图像识别数据集中的红外图像进行裁剪,得到第二图像块,并将包含待识别内容的第二图像块标记为正样本图像块,将其他第二图像块标记为负样本图像块;
将所述第二图像块作为第二训练集。
4.根据权利要求1所述的基于迁移学习的红外图像识别方法,其特征在于,所述根据所述训练集,分别对多个所述红外图像处理模型中的特征提取模块和域分类器进行训练具体为:
将所述训练集中的图像块输入所述红外图像处理模型,并获取域分类器的输出,得到对应的输出结果;
根据图像块及其对应的输出结果以及预设的损失函数,通过误差反向传播算法优化所述红外图像处理模型中的特征提取模块和域分类器。
5.根据权利要求4所述的基于迁移学习的红外图像识别方法,其特征在于,所述预设的损失函数为:
Figure FDA0002734552700000021
Figure FDA0002734552700000022
其中,Object为损失值,Gf(xi)表示特征提取模块的输出,Dd(Gf(xi))表示域分类器的输出,n表示第一训练集中的图像块总个数,n’表示第二训练集中的图像块总个数,N=n+n’,xi表示训练集中的第i个图像块,
Figure FDA0002734552700000023
表示第i个图像块的二元标签,当xi属于第一训练集时,
Figure FDA0002734552700000024
当xi属于第二训练集时,
Figure FDA0002734552700000025
6.根据权利要求1所述的基于迁移学习的红外图像识别方法,其特征在于,所述根据所述测试集,分别对训练后的多个红外图像处理模型进行评估,并根据评估结果,选取最优红外图像处理模型具体为:
将所述测试集中的图像块输入训练后的一红外图像处理模型,并获取所述一红外图像处理模型中的域分类器输出的分类结果,所述分类结果为正样本结果或负样本结果;
分别统计所述测试集中分类结果为正样本结果的正样本图像块的数量和负样本图像块的数量,以及分类结果为负样本结果的正样本图像块的数量,得到所述一红外图像处理模型的分类结果参数;
根据所述一红外图像处理模型的分类结果参数,计算所述一红外图像处理模型的F1分数;
比较各红外图像处理模型的F1分数,将F1分数最大的红外图像处理模型作为最优红外图像处理模型。
7.根据权利要求6所述的基于迁移学习的红外图像识别方法,其特征在于,所述根据所述一红外图像处理模型的分类结果参数,计算所述一红外图像处理模型的F1分数具体为:
根据F1分数计算公式计算所述一红外图像处理模型的F1分数,所述F1分数计算公式为:
Figure FDA0002734552700000031
Figure FDA0002734552700000032
Figure FDA0002734552700000033
其中,F1score为F1分数,TP为测试集中分类结果为正样本结果的正样本图像块的数量,FP为测试集中分类结果为正样本结果的负样本图像块的数量,FN为测试集中分类结果为负样本结果的正样本图像块的数量。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7任一项所述的方法的步骤。
CN202011129222.5A 2020-10-21 2020-10-21 基于迁移学习的红外图像识别方法及存储介质 Active CN112215296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011129222.5A CN112215296B (zh) 2020-10-21 2020-10-21 基于迁移学习的红外图像识别方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011129222.5A CN112215296B (zh) 2020-10-21 2020-10-21 基于迁移学习的红外图像识别方法及存储介质

Publications (2)

Publication Number Publication Date
CN112215296A true CN112215296A (zh) 2021-01-12
CN112215296B CN112215296B (zh) 2023-05-05

Family

ID=74056244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011129222.5A Active CN112215296B (zh) 2020-10-21 2020-10-21 基于迁移学习的红外图像识别方法及存储介质

Country Status (1)

Country Link
CN (1) CN112215296B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486804A (zh) * 2021-07-07 2021-10-08 科大讯飞股份有限公司 一种对象识别方法、装置、设备及存储介质
CN113486713A (zh) * 2021-06-02 2021-10-08 广州林猫自然科技有限公司 一种红外相机动物图像识别训练集最佳组合的构建方法
CN113505739A (zh) * 2021-07-27 2021-10-15 同济大学 一种室内人宠区分及行为识别方法及系统
CN115063418A (zh) * 2022-08-10 2022-09-16 北京航空航天大学 一种基于图像识别的动力电池温度检测方法
CN116664966A (zh) * 2023-03-27 2023-08-29 北京鹰之眼智能健康科技有限公司 一种红外图像处理系统
CN117636174A (zh) * 2023-12-12 2024-03-01 中山大学 一种植被高度预测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948693A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
WO2019200748A1 (zh) * 2018-04-17 2019-10-24 平安科技(深圳)有限公司 迁移学习方法、装置、计算机设备和存储介质
CN110619352A (zh) * 2019-08-22 2019-12-27 杭州电子科技大学 基于深度卷积神经网络的典型红外目标分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019200748A1 (zh) * 2018-04-17 2019-10-24 平安科技(深圳)有限公司 迁移学习方法、装置、计算机设备和存储介质
CN109948693A (zh) * 2019-03-18 2019-06-28 西安电子科技大学 基于超像素样本扩充和生成对抗网络高光谱图像分类方法
CN110619352A (zh) * 2019-08-22 2019-12-27 杭州电子科技大学 基于深度卷积神经网络的典型红外目标分类方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486713A (zh) * 2021-06-02 2021-10-08 广州林猫自然科技有限公司 一种红外相机动物图像识别训练集最佳组合的构建方法
CN113486804A (zh) * 2021-07-07 2021-10-08 科大讯飞股份有限公司 一种对象识别方法、装置、设备及存储介质
CN113486804B (zh) * 2021-07-07 2024-02-20 科大讯飞股份有限公司 一种对象识别方法、装置、设备及存储介质
CN113505739A (zh) * 2021-07-27 2021-10-15 同济大学 一种室内人宠区分及行为识别方法及系统
CN113505739B (zh) * 2021-07-27 2022-10-25 同济大学 一种室内人宠区分及行为识别方法及系统
CN115063418A (zh) * 2022-08-10 2022-09-16 北京航空航天大学 一种基于图像识别的动力电池温度检测方法
CN115063418B (zh) * 2022-08-10 2022-11-01 北京航空航天大学 一种基于图像识别的动力电池温度检测方法
CN116664966A (zh) * 2023-03-27 2023-08-29 北京鹰之眼智能健康科技有限公司 一种红外图像处理系统
CN116664966B (zh) * 2023-03-27 2024-02-20 北京鹰之眼智能健康科技有限公司 一种红外图像处理系统
CN117636174A (zh) * 2023-12-12 2024-03-01 中山大学 一种植被高度预测方法及系统

Also Published As

Publication number Publication date
CN112215296B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN112215296B (zh) 基于迁移学习的红外图像识别方法及存储介质
CN110287800B (zh) 一种基于sgse-gan的遥感图像场景分类方法
Zhu Research on road traffic situation awareness system based on image big data
CN109948475B (zh) 一种基于骨架特征和深度学习的人体动作识别方法
CN111507378A (zh) 训练图像处理模型的方法和装置
WO2021155792A1 (zh) 一种处理装置、方法及存储介质
CN111368972B (zh) 一种卷积层量化方法及其装置
CN108985252B (zh) 改进的脉冲深度神经网络的图像分类方法
CN112750140A (zh) 基于信息挖掘的伪装目标图像分割方法
CN114445430B (zh) 轻量级多尺度特征融合的实时图像语义分割方法及系统
CN112633459A (zh) 训练神经网络的方法、数据处理方法和相关装置
CN108416270B (zh) 一种基于多属性联合特征的交通标志识别方法
Li et al. Detection of typical obstacles in orchards based on deep convolutional neural network
CN113762009A (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
CN114998638A (zh) 基于动静态卷积融合神经网络的多视图三维点云分类方法
Ren et al. Infrared small target detection via region super resolution generative adversarial network
CN117079098A (zh) 一种基于位置编码的空间小目标检测方法
CN114078243A (zh) 基于循环图卷积网络的驾驶员驾驶行为识别方法及系统
CN110135435B (zh) 一种基于广度学习系统的显著性检测方法及装置
Lu et al. A pose-aware dynamic weighting model using feature integration for driver action recognition
Zha et al. Semi-supervised learning-based satellite remote sensing object detection method for power transmission towers
CN112801928A (zh) 一种基于注意力机制的毫米波雷达与视觉传感器融合方法
CN117689928A (zh) 一种改进yolov5的无人机检测方法
KR102178469B1 (ko) 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법 및 시스템
CN116503602A (zh) 基于多层级边缘增强的非结构化环境三维点云语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant