CN109117850B - 利用可见光目标图像进行相应红外目标图像的识别方法 - Google Patents

利用可见光目标图像进行相应红外目标图像的识别方法 Download PDF

Info

Publication number
CN109117850B
CN109117850B CN201810683653.2A CN201810683653A CN109117850B CN 109117850 B CN109117850 B CN 109117850B CN 201810683653 A CN201810683653 A CN 201810683653A CN 109117850 B CN109117850 B CN 109117850B
Authority
CN
China
Prior art keywords
domain
target
kernel matrix
image
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810683653.2A
Other languages
English (en)
Other versions
CN109117850A (zh
Inventor
杨杰
王露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201810683653.2A priority Critical patent/CN109117850B/zh
Publication of CN109117850A publication Critical patent/CN109117850A/zh
Application granted granted Critical
Publication of CN109117850B publication Critical patent/CN109117850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种利用可见光目标图像进行相应红外目标图像的识别方法,包括:原始图像目标的大小调整;原始图像目标的HOG特征提取;正负样本的均衡化;计算核矩阵与交叉核矩阵;目标域核矩阵本征分解;辅助域的插值本征向量;二次规划求解迁移本征谱参数;计算域不变核矩阵;使用辅助域不变核矩阵与标签训练辅助域SVM;使用目标域不变核矩阵与标签以及辅助域SVM参数学习目标域SVM参数;得到目标域SVM参数,从而实现红外目标的识别。本发明方法能处理不同采集情况下获取的红外目标图像,快速、有效地识别红外目标,识别后的结果方便使用者的其他应用。

Description

利用可见光目标图像进行相应红外目标图像的识别方法
技术领域
本发明属于图像识别领域,具体涉及的是一种利用可见光目标图像进行相应红外目标图像的识别方法。
背景技术
视觉目标识别,又称关于视觉图像的模式识别,旨在利用图像处理与模式识别领域的理论和方法,确定图像中是否存在感兴趣的目标,如果存在则为目标赋予合理的解释,并且还要确定其位置。在计算机视觉的研究中,目标识别是最基本的研究问题之一。近年来,目标识别技术受到越来越多的重视,在很多领域得到极大发展和应用。包括安防领域的人脸识别、行人检测、智能视频分析等;交通领域的交通场景目标识别、车辆计数、逆行检测、车牌检测和识别;以及互联网领域的基于内容的图像检索、相册自动归类等。所以,图像目标识别具有重要的研究意义,且其研究成果具有非常广阔的应用前景。
目前,国内外有很多针对目标识别的研究进展分析,例如针对空间目标、空中目标的雷达目标识别及机场跑道目标的遥感目标识别,针对地面建筑物目标、车辆、船舶等目标的识别,等等。常见的目标识别算法包括,基于图像分割的目标识别算法,基于特征模型匹配的目标识别算法,基于机器学习的目标识别算法,基于深度神经网络的目标识别算法,等等。其中,基于机器学习和深度学习的目标识别算法近年来取得了较好的识别效果,得到了广泛的研究与发展。然而,为了保证训练得到的模型具有准确性和高可靠性,基于机器学习的算法都基于两个基本假设:1)用于学习的训练样本与新的测试样本要满足独立同分布的条件;2)必须由足够的可利用训练样本才能得到一个好的识别模型。在实际应用中发现,这两个条件往往无法满足。首先,随着时间的推移,原先可利用的有标签的样本数据可能变得不可用,与新来的测试样本的分布产生语义、分布上的缺口。此外,有标签的样本数据往往很匮乏,而且很难获得,特定目标的识别中,已有的目标训练样本已经不足以训练得到一个可靠的分类模型,而标注大量的样本又非常费时费力,而且由于人的主观因素容易出错,而相反的,目标的可见光、或者建模得到的模型图像是可以大量获取的,传统的目标识别方法无法从异源图像中直接学习目标的特性,因此无法适应于上述的应用场景。因此,如何从将从其他来源的图像中学习到的目标特性迁移到检测目标所在的图像类型中,是需要解决的主要问题。
近年来,迁移学习已经引起了广泛的关注和研究,它放宽了传统机器学习中的两个基本假设,目的是迁移已有的知识来解决目标域中仅有少量有标签样本数据甚至没有的学习问题。
发明内容
本发明针对有少量红外目标图像情景下引起的图像目标分类识别质量较低的问题,提出一种利用可见光目标图像进行相应红外目标图像的识别方法,使目标分类识别的质量更加精确,方便使用者更加准确地用于其他应用。
本发明是通过以下技术方案来实现的:
一种利用可见光目标图像进行相应红外目标图像的识别方法,包括利用目标的可见光灰度图像与红外灰度图像,其特征在于,包括:
对原始目标图像的大小调整,使得原始目标图像调整后具有统一尺度,并对统一尺度的原始目标图像进行HOG特征提取;
对上述提取的HOG特征,进行正负样本的均衡化,得到均衡化后的图像特征;
对均衡化后的图像特征计算核矩阵与交叉核矩阵,并将目标域核矩阵本征分解,结合辅助域的插值本征向量,得到由目标域核矩阵的本征系统外插值到辅助域数据集上生成的核矩阵,包括插值核矩阵和辅助域真实核矩阵;
基于上述的插值核矩阵和辅助域真实核矩阵,二次规划求解迁移本征谱参数,得到最优本征谱参数;
基于最优本征谱参数,构造域不变核矩阵,其中:使用辅助域不变核矩阵与标签训练辅助域SVM;使用目标域不变核矩阵与标签以及辅助域SVM参数学习目标域SVM参数,得到目标域SVM参数,从而实现红外目标的识别。
优选地,所述对统一尺度的原始图像目标进行HOG特征提取,包括:
对调整后的原始目标图像利用开源的计算机视觉库算法VLFeat提取原始图像目标的HOG特征,形成相应的图像特征
Figure BDA0001711151940000031
其中,
Figure BDA0001711151940000032
是红外图像的HOG特征,
Figure BDA0001711151940000033
是可见光图像的HOG特征。
优选地,所述正负样本的均衡化,包括:
设定正负样本的均衡度参数β=1,均衡化前数据的KNN密度估计参数kDensity=5,合成数据选取相关样本时的KNN参数kSMOTE=5;
样本间的距离使用欧氏距离;
对所述HOG特征
Figure BDA0001711151940000034
利用自适应合成样本技术均衡化正负样本,形成均衡化后的图像特征X,Z,其中,X是均衡化后的红外图像的HOG特征,Z是均衡化后的可见光图像的HOG特征。
优选地,所述对均衡化后的图像特征计算核矩阵与交叉核矩阵,包括:
设定核函数为高斯核函数k(·,·),设定核函数的带宽为σ=10;
对均衡化后的图像特征X,Z,利用给定的核函数计算出相应的核矩阵与交叉核矩阵:
KX=k(X,X),KZ=k(Z,Z),KZX=k(Z,X);
其中:KX为目标域X的核矩阵K,KZ为辅助域Z的核矩阵,KZX为交叉核矩阵。
优选地,所述将目标域核矩阵本征分解,包括:
对所述目标域X的核矩阵KX进行本征分解:
KXΦX=ΦXΛX
其中:ΦX为KX本征分解后的本征向量矩阵,ΦX的每一列是KX的一个本征向量;ΛX为KX本征分解后由KX的本征值所构成的对角矩阵,且XΦX的每一列与ΛX的对角元素在位置上相对应;
优选地,所述辅助域的插值本征向量,包括:
利用Mercer定理计算本征系统{ΛX,ΦX}在辅助域Z的取值,得到辅助域Z的核矩阵KZ的本征向量的插值近似:
Figure BDA0001711151940000035
其中:KZX为交叉核矩阵,
Figure BDA0001711151940000036
为辅助域Z的核矩阵KZ的本征向量的插值近似;
将本征谱ΛX松弛为待学习参数Λ,经过谱核设计得到由目标域X的核矩阵的本征系统外插值到辅助域Z上生成的核矩阵
Figure BDA0001711151940000041
Figure BDA0001711151940000042
其中Z
Figure BDA0001711151940000043
Figure BDA0001711151940000044
的转置矩阵;Λ=diag(λ1,...,λn)是对角矩阵,Λ的所有对角元素均不小于0且呈现出幂律分布λi≥ζλi+1,i=1,...,n-1。
优选地,所述二次规划求解迁移本征谱参数,包括:
通过最小化辅助域插值核矩阵
Figure BDA0001711151940000045
和辅助域真实核矩阵KZ之间的二次误差,实现领域间分布差异的最小化,得到迁移核学习的如下优化问题:
Figure BDA0001711151940000046
λi≥ζλi+1,i=1,...,n-1
λi≥0,i=1,...,n
其中,Λ=diag(λ1,...,λn)是n个非负本征谱参数,阻尼系数设定为ζ=1.1KZ为辅助域Z的核矩阵,
Figure BDA0001711151940000047
为由目标域X核矩阵的本征系统外插值到辅助域Z上生成的核矩阵;
Figure BDA0001711151940000048
Figure BDA0001711151940000049
的转置矩阵,
Figure BDA00017111519400000410
为辅助域Z的核矩阵KZ的本征向量的插值近似;
上述优化问题归结为线性约束的二次规划(QP)问题,从而使用凸优化工具包进行求解。
优选地,所述构造域不变核矩阵,包括:
学习到最优本征谱参数
Figure BDA00017111519400000411
后,在辅助域Z和目标域X全集A=X∪Z上构造领域不变核矩阵
Figure BDA00017111519400000412
由领域不变本征系统
Figure BDA00017111519400000413
生成:
Figure BDA00017111519400000414
其中,
Figure BDA0001711151940000051
是为数据集A=X∪Z上的插值本征向量集合;
优选地,所述使用辅助域不变核矩阵与标签训练辅助域SVM,包括:
使用得到的辅助域不变核矩阵
Figure BDA0001711151940000052
与标签,通过标准SVM算法训练一个SVM学习机,得到相应的分类模型参数αs
Figure BDA0001711151940000053
为辅助域Z的核矩阵KZ的本征向量的插值近似。
优选地,所述使用目标域不变核矩阵与标签以及辅助域SVM参数学习目标域SVM参数是指:
使用得到的目标域不变核矩阵
Figure BDA0001711151940000054
与标签以及辅助域SVM参数αs,通过求解以下的A-SVM优化模型来得到目标域SVM参数αt:
Figure BDA0001711151940000055
Figure BDA0001711151940000056
其中,Yt=[y1;y2;…;yn]是目标域的标签向量,yi∈{-1,1}(i=1,2,…,n)是对应的标签,n是目标域的样本数,diag(Yt)=diag(y1,y2,…,yn)是对角矩阵;
Figure BDA0001711151940000057
是所有元素均为1的向量;Γ控制迁移正则化的程度,设置为0.1;C是损失控制参数,设置为1;
上述优化问题是线性约束的二次规划(QP)问题,使用凸优化工具包进行求解。利用以上所得到的目标域SVM参数αt,计算目标域SVM的偏置值bt:选择αt的一个分量(αt)k适合条件0<(αt)k<C,计算目标域SVM的偏置值
Figure BDA0001711151940000058
其中(αt)k是αt的第k个分量,
Figure BDA0001711151940000059
是Yt的第k个分量,
Figure BDA00017111519400000510
Figure BDA00017111519400000511
的第k列所形成的列向量,
Figure BDA00017111519400000512
Figure BDA00017111519400000513
的第k行所形成的行向量。
优选地,使用得到的目标域SVM参数αt、bt,实现红外目标的识别,是指:
1)1)对HOG特征提取得到的HOG特征,形成图像特征数据集X0,此时认为X0来自目标域且服从与目标域同样的概率分布;
2)对特征数据集X0使用以上得到的目标域SVM参数αt、bt进行识别预测:
首先需要将目标域X的本征系统ΦX由标准
Figure BDA0001711151940000061
法外插值到数据集X0上:
Figure BDA0001711151940000062
其中,
Figure BDA00017111519400000612
是跨数据集交叉核矩阵;
Figure BDA00017111519400000613
是数据集X0的核矩阵
Figure BDA00017111519400000614
的本征向量的插值近似;数据集X0对应的跨领域分区可计算为
Figure BDA0001711151940000066
Figure BDA0001711151940000067
是数据集X0对应的跨领域分区核矩阵;
利用数据集X0对应的跨领域分区核矩阵
Figure BDA0001711151940000068
以及数据集X0对应的目标域交叉核矩阵
Figure BDA0001711151940000069
可以得到数据集X0的识别结果:
Figure BDA00017111519400000610
其中,sign(·)是逐分量作用的符号函数,
Figure BDA00017111519400000611
是所有元素均为1的向量,
Figure BDA00017111519400000615
中的p是X0中待识别的红外图像数目,Y=[y1;y2;…;yp]就是所得到的对红外图像的识别结果,Y中的yk∈{-1,1},(k=1,2,...,p)是X0中第k个待识别的红外图像对应的HOG特征的识别标签,若yk=1,则X0中第k个待识别的红外图像是要识别的红外目标,若yk=-1,则X0中第k个待识别的红外图像不是要识别的红外目标,其余参数的含义见以上所述。
与现有技术相比,本发明实施例具有以下有益效果:
本发明所述方法通过结合迁移核学习的将可见光数据与红外数据分布变换接近的过程和构造A-SVM分类器的监督式识别过程,可以有效地识别图像目标。
本发明所述方法通过利用可见光目标图像,就可以提高对红外目标图像的识别准确率,使目标分类识别的质量更加精确,并且对不同条件下获取的红外目标图像具有鲁棒性和准确性。
附图说明
图1为本发明方法一实施例的流程图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例以本发明技术方案为前提进行实施,给出了具体的实施方式和操作过程,但本发明的保护范围不限于下述的实施例。
如图1所示,本发明针对有少量红外目标图像情景下引起的图像目标分类识别质量较低的问题,提出一种利用可见光目标图像进行相应红外目标图像的识别方法,以下实施例所使用的图像是可见光目标灰度图像与相应红外目标灰度图像。具体实现的细节如下。
S1:原始图像目标的大小调整
在不同情况下,目标图片大小可能不一样,因此为了使本发明的方法适用于不同规格图像的处理,需要在处理图像前调整原始图像目标的大小。本发明中将原始图像目标统一调整到一个大小相通的尺度进行操作,从而克服了原始图像目标大小不一的情况。
本实施例中是将拍摄的原始目标图像进行统一尺度大小的缩放,缩放后的图像统一尺度为:
Hlimit=128像素为设定的图像高度,Wlimit=128像素为设定的图像宽度。
应当理解的是,在其他实施例中,也可以根据需要调整为其他的尺度,并不仅仅局限于本实施例中上述尺度参数。
S2:原始图像目标的HOG特征提取
对于原始图像目标,需要提取出相应的目标特征,才能使用机器学习的方法进行处理。
在本实施例中,采用如下操作:
1)设定提取HOG特征时,所使用的cell块大小为8个像素;当然,其他实施例中也可以是其他大小;
2)对调整后的图像利用VLFeat这一开源的计算机视觉库算法提取原始图像目标的HOG特征,形成相应的图像特征
Figure BDA0001711151940000081
其中,
Figure BDA0001711151940000082
是红外图像的HOG特征,
Figure BDA0001711151940000083
是可见光图像的HOG特征。
S3:正负样本的均衡化
在本实施例中,正负样本的均衡化的技术可以采用Haibo He等于2008年提出的自适应合成样本技术。
具体采用如下操作:
1)设定正负样本的均衡度参数β=1,均衡化前数据的KNN密度估计参数kDensity=5,合成数据时选取相关样本时的KNN参数kSMOTE=5;
2)样本间的距离使用欧氏距离;
3)对HOG特征
Figure BDA0001711151940000084
利用自适应合成样本技术均衡化正负样本,形成均衡化后的图像特征X,Z,其中,X是红外图像的HOG特征,Z是可见光图像的HOG特征。
S4:计算核矩阵与交叉核矩阵
在本实施例中,可以采用如下操作:
1)设定核函数为高斯核函数k(·,·),设定核函数的带宽为σ=10;
2)对均衡化后的图像特征X,Z,利用给定的核函数计算出相应的核矩阵与交叉核矩阵:
KX=k(X,X),KZ=k(Z,Z),KZX=k(Z,X)。
S5:目标域X核矩阵本征分解
对所述目标域X核矩阵KX机型本征分解:KXΦX=ΦXΛX
S6:辅助域Z的插值本征向量
在本实施例中,可以采用如下操作:
1)利用Mercer定理计算该本征系统在辅助数据集Z的取值,得到辅助核矩阵KZ的本征向量的插值近似:
Figure BDA0001711151940000091
2)将本征谱ΛX松弛为待学习参数Λ,经过谱核设计得到一族由目标域X核矩阵的本征系统外插值到辅助域数据集Z上生成的核矩阵:
Figure BDA0001711151940000092
S7:二次规划求解迁移本征谱参数
在本实施例中,可以采用如下操作:
1)通过最小化辅助域插值核矩阵
Figure BDA0001711151940000093
和辅助域真实核矩阵KZ之间的二次误差,实现领域间分布差异的最小化,得到迁移核学习的如下优化问题:
Figure BDA0001711151940000094
λi≥ζλi+1,i=1,...,n-1
λi≥0,i=1,...,n
其中,Λ=diag(λ1,…,λn)是n个非负本征谱参数,阻尼系数设定为ζ=1.1。KZ为辅助域Z的核矩阵,
Figure BDA0001711151940000095
为由目标域X核矩阵的本征系统外插值到辅助域Z上生成的核矩阵;
Figure BDA0001711151940000096
Figure BDA0001711151940000097
的转置矩阵,
Figure BDA0001711151940000098
为辅助域Z的核矩阵KZ的本征向量的插值近似。
2)上述优化问题可归结为线性约束的二次规划(QP)问题,从而可以使用常见的凸优化工具包进行求解。
S8:计算域不变核矩阵
在本实施例中,可以采用如下操作:
1)在(7)中,学习到最优本征谱参数
Figure BDA0001711151940000099
后,可在辅助域Z和目标域X全集A=X∪Z上构造领域不变核矩阵
Figure BDA0001711151940000101
由领域不变本征系统
Figure BDA0001711151940000102
生成:
Figure BDA0001711151940000103
其中,
Figure BDA0001711151940000104
是为数据集A=X∪Z上的插值本征向量集合;
Figure BDA0001711151940000105
是所得到的辅助域不变核矩阵,
Figure BDA0001711151940000106
是所得到的目标域不变核矩阵,
Figure BDA0001711151940000107
是所得到的目标域与辅助域的不变交叉核矩阵。
S9:使用辅助域不变核矩阵与标签训练辅助域SVM
在本实施例中,可以采用如下操作:
使用得到的辅助域不变核矩阵
Figure BDA0001711151940000108
与标签,通过标准SVM算法训练一个SVM学习机,得到相应的分类模型参数αs
Figure BDA0001711151940000109
为辅助域Z的核矩阵KZ的本征向量的插值近似。
S10:使用目标域不变核矩阵与标签以及辅助域SVM参数学习目标域SVM参数
1)使用得到的目标域不变核矩阵
Figure BDA00017111519400001010
与标签以及辅助域SVM参数αs,通过求解以下的A-SVM优化模型来得到目标域SVM参数αt:
Figure BDA00017111519400001011
Figure BDA00017111519400001012
其中,
Figure BDA00017111519400001013
是目标域的标签向量,Yt中的
Figure BDA00017111519400001014
是对应的标签,n是目标域的样本数,
Figure BDA00017111519400001015
是对角矩阵;
Figure BDA00017111519400001016
是辅助域的标签向量,Ys中的
Figure BDA00017111519400001017
是对应的标签,m是辅助域的样本数,
Figure BDA00017111519400001018
是对角矩阵;
Figure BDA00017111519400001019
是所有元素均为1的向量;
Figure BDA00017111519400001020
是目标域与辅助域的不变交叉核矩阵;Γ控制迁移正则化的程度,设置为0.1;C是损失控制参数,设置为1。
2)以上优化问题是线性约束的二次规划(QP)问题,使用凸优化工具包进行求解。
3)利用以上2)所得到的目标域SVM参数αt,计算目标域SVM的偏置值bt:选择αt的一个分量(αt)k适合条件0<(αt)k<C,计算目标域SVM的偏置值
Figure BDA0001711151940000111
其中(αt)k是αt的第k个分量,
Figure BDA0001711151940000112
是Yt的第k个分量,
Figure BDA0001711151940000113
Figure BDA0001711151940000114
的第k列所形成的列向量,
Figure BDA0001711151940000115
Figure BDA0001711151940000116
的第k行所形成的行向量。
S11:利用上述S10中得到的目标域SVM参数αt与bt,实现红外目标的识别:
1)将拍摄的待识别的原始红外图像进行上述S1中所述的图像的大小调整,使得待识别的原始红外图像调整后具有统一尺度;对统一尺度的待识别的原始红外图像进行上述S2中所述的HOG特征提取,可以利用开源的计算机视觉库算法VLFeat提取调整后的待识别的原始红外图像的HOG特征,形成相应的图像特征数据集X0(注意:此处所得到的特征数据集X0是指HOG特征提取之后的数据集,对这一数据集不进行上述S3中所述的特征均衡化处理;此外,上述构造域不变核矩阵是在均衡化后的图像特征基础上进行的,但特征数据集X0是直接在调整后的待识别的原始图像上所提取的HOG特征,并不进行特征均衡化),此时可以认为X0来自目标域且服从与目标域同样的概率分布;
2)对特征数据集X0使用上述S10中得到的目标域SVM参数αt、bt进行识别预测:
首先需要将目标域X的本征系统ΦX由标准
Figure BDA0001711151940000117
法外插值到数据集X0上:
Figure BDA0001711151940000118
其中,
Figure BDA0001711151940000121
是跨数据集交叉核矩阵;
Figure BDA0001711151940000122
是数据集X0的核矩阵
Figure BDA00017111519400001212
的本征向量的插值近似;数据集X0对应的跨领域分区可计算为
Figure BDA0001711151940000124
Figure BDA0001711151940000125
是数据集X0对应的跨领域分区核矩阵;
利用数据集X0对应的跨领域分区核矩阵
Figure BDA0001711151940000126
以及数据集X0对应的目标域交叉核矩阵
Figure BDA0001711151940000127
可以得到数据集X0的识别结果:
Figure BDA0001711151940000128
其中,sign(·)是逐分量作用的符号函数,
Figure BDA0001711151940000129
是所有元素均为1的向量,
Figure BDA00017111519400001210
中的p是X0中待识别的红外图像数目,
Figure BDA00017111519400001211
就是所得到的对红外图像的识别结果,Y中的yk∈{-1,1},(k=1,2,...,p)是X0中第k个待识别的红外图像对应的HOG特征的识别标签,若yk=1,则X0中第k个待识别的红外图像是要识别的红外目标,若yk=-1,则X0中第k个待识别的红外图像不是要识别的红外目标,其余参数的含义见上述S10中所述。
本发明上述实施例能处理不同采集情况下获取的红外目标图像,快速、有效地识别红外目标,识别后的结果方便使用者的其他应用。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种利用可见光目标图像进行相应红外目标图像的识别方法,包括利用目标的可见光灰度图像与红外灰度图像,其特征在于,包括:
对原始目标图像的大小调整,使得原始目标图像调整后具有统一尺度,并对统一尺度的原始目标图像进行HOG特征提取;
对上述提取的HOG特征,进行正负样本的均衡化,得到均衡化后的图像特征;
对均衡化后的图像特征计算核矩阵与交叉核矩阵,并将目标域核矩阵本征分解,结合辅助域的插值本征向量,得到由目标域核矩阵的本征系统外插值到辅助域数据集上生成的核矩阵,包括插值核矩阵和辅助域真实核矩阵;
基于上述的插值核矩阵和辅助域真实核矩阵,二次规划求解迁移本征谱参数,得到最优本征谱参数;
基于最优本征谱参数,构造域不变核矩阵,其中:使用辅助域不变核矩阵与标签训练辅助域SVM;使用目标域不变核矩阵与标签以及辅助域SVM参数学习目标域SVM参数,得到目标域SVM参数,从而实现红外目标的识别;
所述构造域不变核矩阵,包括:
学习到最优本征谱参数
Figure FDA0002692143280000011
后,在辅助域Z和目标域X全集A=X∪Z上构造领域不变核矩阵
Figure FDA0002692143280000012
由领域不变本征系统
Figure FDA0002692143280000013
生成:
Figure FDA0002692143280000014
其中,
Figure FDA0002692143280000015
是为数据集A=X∪Z上的插值本征向量集合;
Figure FDA0002692143280000016
是所得到的辅助域不变核矩阵,
Figure FDA0002692143280000017
是所得到的目标域不变核矩阵,
Figure FDA0002692143280000018
是所得到的目标域与辅助域的不变交叉核矩阵;
所述使用辅助域不变核矩阵与标签训练辅助域SVM,包括:
使用得到的辅助域不变核矩阵
Figure FDA0002692143280000019
与标签,通过标准SVM算法训练一个SVM学习机,得到相应的分类模型参数αs
Figure FDA00026921432800000110
为辅助域Z的核矩阵KZ的本征向量的插值近似;
所述使用目标域不变核矩阵与标签以及辅助域SVM参数学习目标域SVM参数是指:
1)使用得到的目标域不变核矩阵
Figure FDA0002692143280000021
与标签以及辅助域SVM参数αs,通过求解以下的A-SVM优化模型来得到目标域SVM参数αt:
Figure FDA0002692143280000022
Figure FDA0002692143280000023
其中,
Figure FDA0002692143280000024
是目标域的标签向量,Yt中的
Figure FDA0002692143280000025
是对应的标签,i=1,2,…,n,n是目标域的样本数,
Figure FDA0002692143280000026
是对角矩阵;
Figure FDA0002692143280000027
是辅助域的标签向量,Ys中的
Figure FDA0002692143280000028
是对应的标签,m是辅助域的样本数,
Figure FDA0002692143280000029
是对角矩阵;
Figure FDA00026921432800000210
是所有元素均为1的向量;
Figure FDA00026921432800000211
是目标域与辅助域的不变交叉核矩阵;Γ控制迁移正则化的程度,设置为0.1;C是损失控制参数,设置为1;
2)上述优化问题是线性约束的二次规划(QP)问题,使用凸优化工具包进行求解;
3)利用以上2)所得到的目标域SVM参数αt,计算目标域SVM的偏置值bt:选择αt的一个分量(αt)k适合条件0<(αt)k<C,计算目标域SVM的偏置值
Figure FDA00026921432800000212
其中(αt)k是αt的第k个分量,
Figure FDA00026921432800000213
是Yt的第k个分量,
Figure FDA00026921432800000214
Figure FDA00026921432800000215
的第k列所形成的列向量,
Figure FDA00026921432800000216
Figure FDA00026921432800000217
的第k行所形成的行向量。
2.根据权利要求1所述的利用可见光目标图像进行相应红外目标图像的识别方法,其特征在于,所述对统一尺度的原始图像目标进行HOG特征提取,包括:
对调整后的原始目标图像利用开源的计算机视觉库算法VLFeat提取原始图像目标的HOG特征,形成相应的图像特征
Figure FDA0002692143280000031
其中,
Figure FDA0002692143280000032
是红外图像的HOG特征,
Figure FDA0002692143280000033
是可见光图像的HOG特征。
3.根据权利要求1所述的利用可见光目标图像进行相应红外目标图像的识别方法,其特征在于,所述正负样本的均衡化,包括:
设定正负样本的均衡度参数β=1,均衡化前数据的KNN密度估计参数kDensity=5,合成数据选取相关样本时的KNN参数kSMOTE=5;
样本间的距离使用欧氏距离;
对所述HOG特征
Figure FDA0002692143280000034
利用自适应合成样本技术均衡化正负样本,形成均衡化后的图像特征X,Z,其中,X是均衡化后的红外图像的HOG特征,Z是均衡化后的可见光图像的HOG特征。
4.根据权利要求1所述的利用可见光目标图像进行相应红外目标图像的识别方法,其特征在于,所述对均衡化后的图像特征计算核矩阵与交叉核矩阵,包括:
设定核函数为高斯核函数k(·,·),设定核函数的带宽为σ=10;
对均衡化后的图像特征X,Z,利用给定的核函数计算出相应的核矩阵与交叉核矩阵:
KX=k(X,X),KZ=k(Z,Z),KZX=k(Z,X);
其中:KX为目标域X的核矩阵,KZ为辅助域Z的核矩阵,KZX为交叉核矩阵。
5.根据权利要求1所述的利用可见光目标图像进行相应红外目标图像的识别方法,其特征在于,所述将目标域核矩阵本征分解,包括:
对所述目标域X的核矩阵KX进行本征分解:
KXΦX=ΦXΛX
其中:ΦX为KX本征分解后的本征向量矩阵,ΦX的每一列是KX的一个本征向量;ΛX为KX本征分解后由KX的本征值所构成的对角矩阵,且ΦX的每一列与ΛX的对角元素在位置上相对应。
6.根据权利要求5所述利用可见光目标图像进行相应红外目标图像的识别方法,其特征在于,所述辅助域的插值本征向量,包括:
利用Mercer定理计算本征系统{ΛX,ΦX}在辅助域Z的取值,得到辅助域Z的核矩阵KZ的本征向量的插值近似:
Figure FDA0002692143280000041
其中:KZX为交叉核矩阵,
Figure FDA0002692143280000042
为辅助域Z的核矩阵KZ的本征向量的插值近似;
将本征谱ΛX松弛为待学习参数Λ,经过谱核设计得到由目标域X的核矩阵的本征系统外插值到辅助域Z上生成的核矩阵
Figure FDA0002692143280000043
Figure FDA0002692143280000044
其中:
Figure FDA0002692143280000045
Figure FDA0002692143280000046
的转置矩阵;Λ=diag(λ1,...,λn)是对角矩阵,Λ的所有对角元素均不小于0且呈现出幂律分布λi≥ζλi+1,i=1,...,n-1,阻尼系数设定为ζ=1.1。
7.根据权利要求1所述利用可见光目标图像进行相应红外目标图像的识别方法,其特征在于,所述二次规划求解迁移本征谱参数,包括:
通过最小化辅助域插值核矩阵
Figure FDA0002692143280000047
和辅助域真实核矩阵KZ之间的二次误差,实现领域间分布差异的最小化,得到迁移核学习的如下优化问题:
Figure FDA0002692143280000048
λi≥ζλi+1,i=1,…,n-1
λi≥0,i=1,…,n
其中,Λ=diag(λ1,...,λn)是n个非负本征谱参数,阻尼系数设定为ζ=1.1;KZ为辅助域Z的核矩阵,
Figure FDA0002692143280000049
为由目标域X核矩阵的本征系统外插值到辅助域Z上生成的核矩阵;
Figure FDA00026921432800000410
Figure FDA00026921432800000411
的转置矩阵,
Figure FDA00026921432800000412
为辅助域Z的核矩阵KZ的本征向量的插值近似;
上述优化问题归结为线性约束的二次规划(QP)问题,从而使用凸优化工具包进行求解。
8.根据权利要求1所述利用可见光目标图像进行相应红外目标图像的识别方法,其特征在于,使用得到的目标域SVM参数αt、bt,实现红外目标的识别是指:
1)对HOG特征提取得到的HOG特征,形成图像特征数据集X0,此时认为X0来自目标域且服从与目标域同样的概率分布;
2)对特征数据集X0使用得到的目标域SVM参数αt、bt进行识别预测:
首先将目标域X的本征系统ΦX由标准
Figure FDA00026921432800000511
法外插值到数据集X0上:
Figure FDA0002692143280000051
其中,
Figure FDA00026921432800000512
是跨数据集交叉核矩阵;
Figure FDA0002692143280000052
是数据集X0的核矩阵
Figure FDA0002692143280000053
的本征向量的插值近似;数据集X0对应的跨领域分区可计算为
Figure FDA0002692143280000054
Figure FDA0002692143280000055
是数据集X0对应的跨领域分区核矩阵;
利用数据集X0对应的跨领域分区核矩阵
Figure FDA0002692143280000056
以及数据集X0对应的目标域交叉核矩阵
Figure FDA0002692143280000057
得到数据集X0的识别结果:
Figure FDA0002692143280000058
其中,sign(·)是逐分量作用的符号函数,
Figure FDA0002692143280000059
是所有元素均为1的向量,
Figure FDA00026921432800000510
中的p是X0中待识别的红外图像数目,Y=[y1;y2;…;yp]是所得到的对红外图像的识别结果,Y中的yk∈{-1,1}是X0中第k个待识别的红外图像对应的HOG 特征的识别标签,k=1,2,……p,若yk=1,则X0中第k个待识别的红外图像是要识别的红外目标,若yk=-1,则X0中第k个待识别的红外图像部是要识别的红外目标。
CN201810683653.2A 2018-06-28 2018-06-28 利用可见光目标图像进行相应红外目标图像的识别方法 Active CN109117850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810683653.2A CN109117850B (zh) 2018-06-28 2018-06-28 利用可见光目标图像进行相应红外目标图像的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810683653.2A CN109117850B (zh) 2018-06-28 2018-06-28 利用可见光目标图像进行相应红外目标图像的识别方法

Publications (2)

Publication Number Publication Date
CN109117850A CN109117850A (zh) 2019-01-01
CN109117850B true CN109117850B (zh) 2020-11-24

Family

ID=64822889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810683653.2A Active CN109117850B (zh) 2018-06-28 2018-06-28 利用可见光目标图像进行相应红外目标图像的识别方法

Country Status (1)

Country Link
CN (1) CN109117850B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135444B (zh) * 2019-06-17 2022-02-08 电子科技大学 一种目标库属性一维像判别最优本征子空间特征提取方法
CN112305509A (zh) * 2020-11-02 2021-02-02 南京理工大学 一种基于hog_svm的雷达航迹分类与识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014052800A (ja) * 2012-09-06 2014-03-20 Toshiba Tec Corp 情報処理装置及びプログラム
CN106210450B (zh) * 2016-07-20 2019-01-11 罗轶 一种多通道多视角大数据视频剪辑方法
CN107292246A (zh) * 2017-06-05 2017-10-24 河海大学 基于hog‑pca和迁移学习的红外人体目标识别方法
CN107463954B (zh) * 2017-07-21 2019-10-25 华中科技大学 一种模糊异谱图像的模板匹配识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Transfer learning using adaptive SVM for image classification;Arihant Jain等;《IEEE》;20140109;第580-585页 *

Also Published As

Publication number Publication date
CN109117850A (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
CN111814584B (zh) 基于多中心度量损失的多视角环境下车辆重识别方法
Mandal et al. AVDNet: A small-sized vehicle detection network for aerial visual data
CN111832514B (zh) 基于软多标签的无监督行人重识别方法及装置
CN111460968B (zh) 基于视频的无人机识别与跟踪方法及装置
CN109670462B (zh) 基于定位信息的航空器跨全景持续跟踪方法
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN110728216A (zh) 一种基于行人属性自适应学习的无监督行人再识别方法
CN103984955B (zh) 基于显著性特征和迁移增量学习的多摄像机目标识别方法
CN110110618B (zh) 一种基于pca和全局对比度的sar目标检测方法
CN109117850B (zh) 利用可见光目标图像进行相应红外目标图像的识别方法
WO2023273337A1 (zh) 一种基于代表特征的遥感图像中的密集目标检测方法
Teng et al. Robust multi-scale ship tracking via multiple compressed features fusion
Xi et al. SR-POD: sample rotation based on principal-axis orientation distribution for data augmentation in deep object detection
Yang et al. Increaco: incrementally learned automatic check-out with photorealistic exemplar augmentation
CN108921872B (zh) 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法
Ghahremani et al. Maritime vessel re-identification: novel VR-VCA dataset and a multi-branch architecture MVR-net
Teng et al. Multi-scale ship tracking via random projections
Sun et al. A two-stage vehicle type recognition method combining the most effective Gabor features
CN105354584B (zh) 基于波段不相似性的高光谱数据波段表征选择方法
CN112052722A (zh) 行人身份再识别方法及存储介质
Dou et al. Robust visual tracking based on joint multi-feature histogram by integrating particle filter and mean shift
Jiafa et al. A scene recognition algorithm based on deep residual network
Xie et al. Tracking objects with adaptive feature patches for PTZ camera visual surveillance
Liu et al. [Retracted] Mean Shift Fusion Color Histogram Algorithm for Nonrigid Complex Target Tracking in Sports Video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant