CN111126123A - 一种基于压缩的增量核零空间变换行人再识别方法 - Google Patents

一种基于压缩的增量核零空间变换行人再识别方法 Download PDF

Info

Publication number
CN111126123A
CN111126123A CN201910807162.9A CN201910807162A CN111126123A CN 111126123 A CN111126123 A CN 111126123A CN 201910807162 A CN201910807162 A CN 201910807162A CN 111126123 A CN111126123 A CN 111126123A
Authority
CN
China
Prior art keywords
ini
pedestrian
feas
matrix
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910807162.9A
Other languages
English (en)
Other versions
CN111126123B (zh
Inventor
赵凡
姬亚男
吴玉
张二虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910807162.9A priority Critical patent/CN111126123B/zh
Publication of CN111126123A publication Critical patent/CN111126123A/zh
Application granted granted Critical
Publication of CN111126123B publication Critical patent/CN111126123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开基于压缩的增量核零空间变换的行人再识别方法,首先对初始行人特征集进行KPCA变换得到初始基矢量系数和奇异值,进行零空间变换得初始投影方向集和投影点集;接着对增量后行人特征集进行IKPCA变换得更新的基矢量系数和奇异值,对增量后的样本特征集进行RS压缩和零空间变换得压缩后的投影方向集和点集;最后把测试图像特征集的核矩阵投影到压缩后的投影方向集上得测试图像的投影点集,根据测试图像投影点集和压缩后投影点集的欧式距离进行行人识别。本发明考虑了增量核零空间变换对压缩的限制、增量核主成分分析IKPCA和IKNFST的内在联系,实现基矢量系数规模在线增量学习时的不变性,提高增量时行人识别效率。

Description

一种基于压缩的增量核零空间变换行人再识别方法
技术领域
本发明属于图像处理技术领域,具体涉及一种基于压缩的增量核零空间 变换的行人再识别方法。
背景技术
随着公共安全领域视频监控应用需求的快速增长,对行人再识别技术的 研究越来越深入。行人再识别是指给定某一个摄像头下的行人,然后通过算 法在其余摄像头下对该行人进行重识别。行人重识别技术目前存在的主要挑 战是:①由于视频光照、角度、尺度等变化导致行人的外貌特征发生变化; ②由于摄像机视角和行人姿态的变化导致行人外貌特征存在遮挡;③不同摄 像头或不同行人的外貌特征可能比同一个人的外貌特征更相似。
利用增量方法进行行人再识别的研究中,增量核零空间变换 (IKNFST,Incremental Kernel Null Foley-Sammon Transform)的行人再识别 方法取得了很好的性能,但随着同类别行人样本个数的急剧增加,基矢量 系数的维度也会随着增加,导致计算负载会越来越大。为了避免随样本增 加不断增长的计算复杂度和存储空间,需要把基矢量系数的维度保持在一 定规模。
发明内容
本发明的目的是提供一种基于压缩的增量核零空间变换的行人再识别 方法,把IKPCA(Incremental Kernel Principal Component Analysis,即增量 核主成分分析)及RS(Reduced Set,即增减集)压缩相结合以替换传统 IKNFST(Incremental Kernel NullFoley-Sammon Transform,即增量核零空间 变换)方法中的增量部分,实现基矢量系数在线学习时的规模不变性。
本发明采用的技术方案是,一种基于压缩的增量核零空间变换的行人再 识别方法,具体按照以下步骤实施:
步骤1、从标准数据集中获取初始行人图像集Imgsini={Iini|ini=1,2,...,N},初始行人标签集Labelsini={Lini|ini=1,2,...,N},N表示初始行人图像个数;
步骤2、对Imgsini提取CNN特征,得到特征集Feasini={Fini|ini=1,2,...,N};
步骤3、把特征集Feasini作为输入,调用核主成分分析函数KPCA(),计 算得到初始的基矢量系数
Figure BDA0002183979340000021
和初始的奇异值
Figure BDA0002183979340000022
R表示初始主成分个数;
步骤4、把Feasini、A0、Labelsini作为输入,调用零空间变换函数NFST(), 得到零空间投影方向集ΨS0和零空间的投影点集XS0
Figure BDA0002183979340000023
i=1,2,...,N,c=1,2,...,C,j=1,2,...,C-1,C表示行人类别个数;
步骤5、迭代执行增量学习和压缩过程,输入为Feasini,Labelsini,A0,Σ0, 增量的行人图像集
Figure BDA0002183979340000024
增量的行人图像标签集
Figure BDA0002183979340000025
输出更新的零空 间投影方向集ΨSnew,零空间的投影点集XSnew,压缩后的样本特征集
Figure BDA0002183979340000026
压缩后的样本标签集
Figure BDA0002183979340000027
压缩后的基矢量系数A2,压缩后的奇异值Σ2
步骤6、从标准数据集中获取测试行人图像集Imgsz={Iz|z=1,2,...,Z},测 试行人标签集Labelsz={Lz|z=1,2,...,Z},Z表示测试行人图像个数;
步骤7、对测试行人图像集Imgsz提取CNN特征集Feasz={Fz|z=1,2,...,Z};
步骤8、定义无参核函数
Figure BDA0002183979340000028
通过核函数G0(x,y)计算 测试样本特征集Feasz和压缩样本特征集
Figure BDA0002183979340000035
的核矩阵Kz,其中 x∈Feasz,
Figure BDA0002183979340000031
Kz在零空间投影方向集ΨSnew上投影得到投影点集XStest
Figure BDA0002183979340000032
步骤9、计算XStest与XSnew或XS0之间的欧式距离D={dcc|c=1,2,...,C},按 升序对D的每一行进行排序,根据每一行最小值对应的行人类别号与测试行 人图像的类别号的一致性进行行人类别判断,如果一致则识别正确,否则识 别不正确。
本发明的特点还在于:
步骤2具体过程为:
把初始行人图像集Imgsini和初始行人标签集Labelsini送入ResNet50网络 结构进行训练得到模型M_ResNet50;把Imgsini送入模型M_ResNet50,提 取第五个池化层的2048维输出构成Imgsini的特征集Feasini={Fini|ini=1,2,...,N}。
步骤3具体过程为:
步骤3.1、输入:CNN特征集Feasini={Fini|ini=1,2,...,N};
步骤3.2、定义核函数
Figure BDA0002183979340000033
通过核函数G(x,y,σ)计算Feasini和Feasini的核矩阵K′,其中x∈Feasini,y∈Feasini,σ=100;
步骤3.3、对核矩阵K′去中心化得到K=(v′)T×K′×v′,其中v'为中心化矩 阵,v为N×1维的均值矩阵,v'=IN-v11,N
Figure BDA0002183979340000034
IN为N×N维的单位阵, 11,N为1×N维的全1矩阵,1N,1为N×1维的全1矩阵;
步骤3.4、对K进行特征值分解:K=QΔQT,得到特征值Δ和特征向量Q;
步骤3.5、按降序对Δ进行排序,取前R个特征值Δr对应的特征向量Qr作 为Feasini的核主成分,1≤R≤rank(Q),rank(Q)函数求取Q的秩;
步骤3.6、计算Feasini的初始基矢量系数A0和初始奇异值Σ0: A0=v'×Qr×(Δr)-1/2,Σ0=(Δr)1/2,并输出:
Figure BDA0002183979340000041
Figure BDA0002183979340000042
步骤4具体过程为:
步骤4.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N}、初始行人标 签集Labelsini={Lini|ini=1,2,...,N}、初始的基矢量系数
Figure BDA0002183979340000043
步骤4.2、定义无参核函数
Figure BDA0002183979340000044
通过核函数G0(x,y)计 算Feasini和Feasini的核矩阵K″,其中x∈Feasini,y∈Feasini
步骤4.3、计算初始的基矢量系数A0和去中心化的核矩阵K″的内积矩阵 H0
H0=(A0)T×K″×(I-L)
其中(A0)T是A0的转置矩阵,I为N×N的单位阵,L为块对角阵,
Figure BDA0002183979340000045
其中Nc为第c个行人的图像个数,c∈{1,2,...,C},C为行人类别数;
步骤4.4、计算H0的协方差矩阵T0=H0×H0 T,把T0作为输入,调用零空 间求解数学函数null(),得到零空间的解向量集
Figure BDA0002183979340000051
步骤4.5、计算零空间的投影方向集ΨS0,ΨS0=A0×ΒS0,ΨS0的值表示 为:
Figure BDA0002183979340000052
步骤4.6、计算K在零空间的投影点集XS0,XS0=K×ΨS0,XS0的值表示 为:
Figure BDA0002183979340000053
步骤4.7、输出:ΨS0和XS0
步骤5具体过程为:
步骤5.1、初始化:增量学习计数器t=1,增量学习总次数Tm
步骤5.2、从标准数据集中获取新增行人图像集
Figure BDA0002183979340000054
新增行人标签集
Figure BDA0002183979340000055
Nt表 示新增行人图像个数;
步骤5.3、对
Figure BDA00021839793400000519
提取CNN特征集
Figure BDA0002183979340000056
步骤5.4、把Feasini
Figure BDA0002183979340000057
A0、Σ0作为输入,通过增量核主成分计算 函数IKPCA(),计算得到压缩前的基矢量系数
Figure BDA0002183979340000058
和 压缩前的奇异值为
Figure BDA0002183979340000059
步骤5.5、把Feasini
Figure BDA00021839793400000510
Labelsini
Figure BDA00021839793400000511
A1、Σ1作为输入,调用 RS压缩函数Compress(),计算得到压缩后的样本特征集
Figure BDA00021839793400000512
压缩后的基矢量系数
Figure BDA00021839793400000513
压缩后的奇异值
Figure BDA00021839793400000514
压缩后样本的标签集
Figure BDA00021839793400000515
Pt表示压缩后样本的图像个数;
步骤5.6、把
Figure BDA00021839793400000516
A2
Figure BDA00021839793400000517
作为输入,调用步骤4的零空间变换函 数NFST(),计算得到零空间的投影方向集ΨSnew和零空间的投影点集XSnew
Figure BDA00021839793400000518
i=1,2,...,Pt,j=1,2,...,C-1,c=1,2,...,C;
步骤5.7、对Feasini,Labelsini,A0,Σ0,ΨS0,XS0进行更新,
Figure BDA0002183979340000061
Figure BDA0002183979340000062
A0=A2,Σ0=Σ2,ΨS0=ΨSnew,XS0=XSnew
步骤5.8、增量学习计数器t=t+1,当t≤Tm时,进入步骤5.2,否则进入 步骤6。
步骤5.4具体过程为:
步骤5.4.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N},新增行人 特征集
Figure BDA0002183979340000063
压缩前的基矢量系数A0和压缩前的奇异值 Σ0,N表示初始行人图像个数,Nt表示新增行人图像个数;
步骤5.4.2、计算去中心化矩阵γ:
Figure BDA0002183979340000064
其中
Figure BDA00021839793400000612
是N×Nt维的全零矩阵,w′表示新增样本中心化矩阵,w表示新 增样本均值矩阵,v表示初始样本均值矩阵,
Figure BDA0002183979340000065
Figure BDA0002183979340000066
Figure BDA0002183979340000067
表示Nt×Nt维的单位阵,
Figure BDA0002183979340000068
表示1×Nt维的全1矩阵,
Figure BDA0002183979340000069
表示 Nt×1维的全1矩阵,1N,1是N×1维的全1矩阵;
步骤5.4.3、合并Feasini
Figure BDA00021839793400000610
得到合并的样本特征集
Figure BDA00021839793400000611
通过核函数G(x,y,σ)计算Feasini和Feas的核矩阵K1,其 中x∈Feasini,y∈Feas,σ=100,计算Feas和Feas的核矩阵K2,其中 x∈Feas,y∈Feas,σ=100;
步骤5.4.4、计算矩阵L:
L=(A0)T×K1×γ
步骤5.4.5、计算矩阵η:
Figure BDA0002183979340000071
步骤5.4.6、计算矩阵Mh
Mh=ηT×K2×η
步骤5.4.7、对Mh进行特征值分解Mh=QhΔhQh T得到特征值Δh和特征向量 Qh
步骤5.4.8、按降序对Δh进行排序,取前Rh个特征值Δrh对应的特征向量 Qrh作为Feas的核主成分,1≤Rh≤rank(Qrh),函数rank()返回Qh的秩;
步骤5.4.9、计算矩阵Ω和矩阵M:
Ω=η×Qrh×Δrh -1/2
M=Δrh 1/2×Qrh
步骤5.4.10、计算矩阵F:
Figure BDA0002183979340000072
步骤5.4.11、对矩阵F进行SVD分解得到酉矩阵Uf,Vf和对角阵Sf
步骤5.4.12、计算基矢量系数Psi:
Figure BDA0002183979340000073
步骤5.4.13、对压缩前的基矢量系数A1和奇异值Σ1分别赋值,A1=Psi:,1:R
Figure BDA0002183979340000074
步骤5.5具体过程为:
步骤5.5.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N},初始行人标签集Labelsini={Lini|ini=1,2,...,N},新增行人特征集
Figure BDA0002183979340000075
新增行人标签集
Figure BDA0002183979340000076
压缩 前的基矢量系数
Figure BDA0002183979340000081
压缩前的奇异值
Figure BDA0002183979340000082
N表示初始行人图像个数,Nt表示新增行人图 像个数;
步骤5.5.2、把Feasini、Labelsini
Figure BDA0002183979340000083
A1作为输入,调用 RS扩展函数IterCompress()进行样本压缩和一次基矢量系数估计,得到压缩 后的样本特征集
Figure BDA0002183979340000084
压缩后的样本标签集
Figure BDA0002183979340000085
一次估计的基矢量系数
Figure BDA0002183979340000086
Pt为压缩后的样本个数;
步骤5.5.3、把Feasini
Figure BDA0002183979340000087
A1、A1f作为输入,调用RS空系 数填充函数FillRs()进行二次基矢量系数估计,得到二次估计的基矢量系数
Figure BDA0002183979340000088
步骤5.5.4、把Feasini
Figure BDA0002183979340000089
A1、Σ1、A1s作为输入,调用基正 交化函数Orthogonalization(),计算得到压缩后的基矢量系数A2和压缩后的 奇异值Σ2
Figure BDA00021839793400000810
i=1,2,...,R,j=1,2,...,R;
步骤5.5.5、输出:A2,Σ2
Figure BDA00021839793400000811
步骤5.5.2具体过程为:
步骤5.5.2.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N},初始行人标签集Labelsini={Lini|ini=1,2,...,N},新增行人特征集
Figure BDA00021839793400000812
新增行人标签集
Figure BDA00021839793400000813
压缩 前的基矢量系数
Figure BDA00021839793400000814
N表示初始行人图像个 数,Nt表示新增行人图像个数;
步骤5.5.2.2、初始化一次估计的基矢量系数A1f=NULL,压缩后的行人 特征集
Figure BDA00021839793400000815
压缩后的行人标签集
Figure BDA00021839793400000816
NULL为空集;
步骤5.5.2.3、合并Feasini
Figure BDA0002183979340000091
得到合并的行人特征集
Figure BDA0002183979340000092
合并Labelsin
Figure BDA0002183979340000093
得到合并后的行人标签集
Figure BDA0002183979340000094
步骤5.5.2.4、初始化A1f的基矢量个数计数器j=1;
步骤5.5.2.5、对压缩中的临时变量Feas1,Labels1
Figure BDA0002183979340000095
赋初值, Feas1=Feas,Labels1=Labels,
Figure BDA0002183979340000096
步骤5.5.2.6、从Feas1随机选取m个特征构成特征集Feasm,并从Labels1中 找出对应特征的标签构成标签集Labelsm,1≤m≤(N+Nt);
步骤5.5.2.7、通过核函数G(x,y,σ)计算Feasm和Feas1的核矩阵Km,其中 x∈Feasm,y∈Feas1,σ=100;
步骤5.5.2.8、通过公式
Figure BDA0002183979340000097
计算得到fval;
步骤5.5.2.9、按升序对fval进行排列,根据最小值对应的索引号,从Feasm中找到对应行人特征Fj,从Labelsm中找到Fj对应的行人标签Lj
步骤5.5.2.10、通过核函数G(x,y,σ)计算Fj和Fj的核矩阵Kj,其中 x∈Fj,y∈Fj,σ=100,计算Fj和Feas1的核矩阵Ks,其中x∈Fj,y∈Feas1,σ=100;
步骤5.5.2.11、通过公式
Figure BDA0002183979340000098
计算第j个基矢量系数
Figure BDA0002183979340000099
Kj -1表示Kj的逆矩阵;
步骤5.5.2.12、更新压缩后的数据集
Figure BDA00021839793400000910
A1f
Figure BDA00021839793400000911
步骤5.5.2.13、更新临时变量:
Figure BDA00021839793400000912
Figure BDA00021839793400000913
步骤5.5.2.14、j=j+1,当j≤R时,进入步骤5.5.2.6,否则进入步骤 5.5.2.15;
步骤5.5.2.15、输出:
Figure BDA0002183979340000101
A1f
步骤5.5.3的具体过程如下:
步骤5.5.3.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N},新增行人特征集
Figure BDA0002183979340000102
压缩前的基矢量系数
Figure BDA0002183979340000103
一次估计的基矢量系数
Figure BDA0002183979340000104
压缩后的行人特征集
Figure BDA0002183979340000105
N表示初始行人图像个数,Nt表示新增行人图像个数,Pt表示压缩后的行人 图像个数;
步骤5.5.3.2、初始化:二次估计的基矢量系数A1s=NULL,A1s的个数计 数器j=1;
步骤5.5.3.3、通过核函数G(x,y,σ),计算Feas和Feas的核矩阵K11,其中 x∈Feas,y∈Feas,σ=100,计算
Figure RE-GDA0002433312890000106
和Feas的核矩阵K22,其中
Figure RE-GDA0002433312890000107
y∈Feas,σ=100,计算
Figure RE-GDA0002433312890000108
Figure RE-GDA0002433312890000109
的核矩阵K33,其中
Figure RE-GDA00024333128900001010
σ=100;
步骤5.5.3.4、二次估计第j个基矢量系数
Figure BDA00021839793400001011
Figure BDA00021839793400001012
步骤5.5.3.5、把Feas、
Figure BDA00021839793400001013
作为输入,调用角度差值函数 GetAng(),计算得到压缩前基矢量系数
Figure BDA00021839793400001014
和一次估计基矢量系数
Figure BDA00021839793400001015
的差值 向量diff1;
步骤5.5.3.6、把Feas、
Figure BDA00021839793400001016
作为输入,调用角度差值函数 GetAng(),计算得到压缩前基量系数
Figure BDA00021839793400001017
和二次估计基矢量系数
Figure BDA00021839793400001018
的差值向量 diff2;
步骤5.5.3.7、根据差值更新二次估计的基矢量系数:当diff2≥diff1时,
Figure BDA00021839793400001019
否则
Figure BDA00021839793400001020
步骤5.5.3.8、基矢量个数计数器j=j+1;当j≤R时循环步骤5.5.3.6,否 则进入步骤5.5.3.9;
步骤5.5.3.9、输出:二次估计的基矢量系数A1s
步骤5.5.4具体过程为:
步骤5.5.4.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N},新增行人特征集
Figure BDA0002183979340000111
压缩前的基矢量系数
Figure BDA0002183979340000112
压缩前的奇异值
Figure BDA0002183979340000113
二次估计的基矢量系数
Figure BDA0002183979340000114
压缩后的行人特征集
Figure BDA0002183979340000115
Figure BDA0002183979340000116
和Feas的核矩阵K22
Figure BDA0002183979340000117
Figure BDA0002183979340000118
的核矩阵K33,N表示初始行人图像 个数,Nt表示新增行人图像个数,Pt表示压缩后的行人图像个数;
步骤5.5.4.2、计算核矩阵K33的范数Mo=(A1s)T×K33×A1s
步骤5.5.4.3、对Mo进行特征值分解Mo=QoDoQo T得到特征值Do和特征向 量Qo
步骤5.5.4.4、计算正交基Ob
Figure BDA0002183979340000119
其中
Figure BDA00021839793400001110
为 二次估计的基矢量;
步骤5.5.4.5、计算二次估计基矢量在正交基上的投影矩阵proj,并标准 化为prN
Figure BDA00021839793400001111
Figure BDA00021839793400001112
数学函数
Figure BDA00021839793400001113
返 回值为
Figure BDA00021839793400001114
的对角矩阵;
步骤5.5.4.6、二次估计基矢量正交化:
Figure BDA0002183979340000121
UO为正交化后的二次估计 基矢量,压缩后的基矢量系数A2=B×projN,压缩后的奇异值 Σ2=(A2)T×K22×A1×Σ1
步骤5.5.4.7、输出:压缩后的基矢量系数A2和奇异值Σ2
本发明的有益效果是:
本发明一种基于压缩的增量核零空间变换的行人再识别方法,把压缩理 论在增量核零空间变换中得以应用,对行人样本特征进行RS压缩,控制行 人识别增量在线学习时的基矢量系数的规模不变性,从而提高增量行人识别 的效率。
附图说明
图1是本发明一种基于改进增量核零空间变换的行人再识别方法流程 图;
图2是本发明一种基于改进增量核零空间变换的行人再识别方法中 KPCA方法的流程图;
图3是本发明一种基于改进增量核零空间变换的行人再识别方法中 NFST方法的流程图;
图4是本发明一种基于改进增量核零空间变换的行人再识别方法中 IKPCA流程图;
图5是本发明一种基于改进增量核零空间变换的行人再识别方法中压缩 流程图;
图6是本发明一种基于改进增量核零空间变换的行人再识别方法中压缩 的RS扩展函数进行样本压缩和基矢量系数一次估计流程图;
图7是本发明一种基于改进增量核零空间变换的行人再识别方法中压缩 的RS空系数填充函数进行基矢量系数的二次估计流程图;
图8是本发明一种基于改进增量核零空间变换的行人再识别方法中压缩 的基正交化函数流程图。
图9是本发明针对Market-1501数据集进行测试的主观效果图;
图10是本发明针对DukeMTMC-reID数据集进行测试的主观效果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于压缩的增量核零空间变换的行人再识别方法,如图1所 示,具体按照以下步骤实施:
步骤1、从标准数据集中获取初始行人图像集Imgsini={Iini|ini=1,2,...,N},初始行人标签集Labelsini={Lini|ini=1,2,...,N},N表示初始行人图像个数, N=114;
步骤2、对Imgsini提取CNN特征,得到特征集Feasini={Fini|ini=1,2,...,N};
具体过程为:把初始行人图像集Imgsini和初始行人标签集Labelsini送入ResNet50网络结构进行训练得到模型M_ResNet50。把Imgsini送入模型M_ ResNet50,提取第五个池化层的2048维输出构成Imgsini的特征集 Feasini={Fini|ini=1,2,...,N};
步骤3、把特征集Feasini作为输入,调用核主成分分析函数KPCA(),计 算得到初始的基矢量系数
Figure BDA0002183979340000131
和初始的奇异值
Figure BDA0002183979340000132
R表示初始主成分个数;
取R=113,核主成分分析KPCA过程如图2所示。
具体过程为:
步骤3.1、输入:CNN特征集Feasini={Fini|ini=1,2,...,N};
步骤3.2、定义核函数
Figure BDA0002183979340000141
通过核函数G(x,y,σ)计算Feasini和Feasini的核矩阵K′,其中x∈Feasini,y∈Feasini,σ=100;
步骤3.3、对核矩阵K′去中心化得到K=(v′)T×K′×v′,其中v'为中心化矩 阵,v为N×1维的均值矩阵,v'=IN-v11,N
Figure BDA0002183979340000142
IN为N×N维的单位阵, 11,N为1×N维的全1矩阵,1N,1为N×1维的全1矩阵;
步骤3.4、对K进行特征值分解K=QΔQT,把K作为输入,调用特征值 分解数学函数eig(),计算得到特征值Δ和特征向量Q;
步骤3.5、按降序对Δ进行排序,取前R个特征值Δr对应的特征向量Qr, R=113,1≤R≤rank(Q),rank(Q)为求秩数学函数;
步骤3.6、计算Feasini的初始的基矢量系数A0和初始的奇异值Σ0
Figure BDA0002183979340000143
Figure BDA0002183979340000144
并输出:A0和Σ0
步骤4、把Feasini、A0、Labelsini作为输入,调用零空间变换函数NFST(), 计算得到零空间投影方向集ΨS0和零空间的投影点集XS0
Figure BDA0002183979340000148
Figure BDA0002183979340000145
i=1,2,...,N,c=1,2,...,C,j=1,2,...,C-1,C表示行人类别个数;
取N=114,C=30,零空间变换函数NFST()的具体执行过程如图3所示。
具体过程为:
步骤4.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N}、初始行人标 签集Labelsini={Lini|ini=1,2,...,N}、初始的基矢量系数
Figure BDA0002183979340000146
步骤4.2、定义无参核函数
Figure BDA0002183979340000147
通过核函数G0(x,y)计 算Feasini和Feasini的核矩阵K″,其中x∈Feasini,y∈Feasini
步骤4.3、计算初始的基矢量系数A0和去中心化的核矩阵K″的内积矩阵 H0
H0=(A0)T×K″×(I-L)
其中(A0)T是A0的转置矩阵,I为N×N的单位阵,L为块对角阵,
Figure BDA0002183979340000151
其中Nc为第c个行人的图像个数,c∈{1,2,...,C},C为行人类别数,C=30;
步骤4.4、根据Paul Bodesheim等人2013年在CVPR(IEEE Conference onComputer Vision and Pattern Recognition)会议中提出的名为“Kernel Null SpaceMethods for Novelty Detection”一文中的零空间变换公式HHTβ=0,求 H0对应的核零空间的解向量集
Figure BDA0002183979340000152
这里 H=H0,β=BS0
步骤4.5、计算零空间的投影方向集ΨS0,ΨS0=A0×ΒS0,ΨS0的值表示 为:
Figure BDA0002183979340000153
步骤4.6、计算K在零空间的投影点集XS0,XS0=K×ΨS0,XS0的值表示 为:
Figure BDA0002183979340000154
步骤4.7、输出:ΨS0和XS0
步骤5、迭代执行增量学习和压缩过程,输入为Feasini,Labelsini,A0,Σ0, 增量的行人图像集
Figure BDA0002183979340000155
增量的行人图像标签集
Figure BDA0002183979340000156
输出更新的零空 间投影方向集ΨSnew,零空间的投影点集XSnew,压缩后的样本特征集
Figure BDA00021839793400001617
压缩后的样本标签集
Figure BDA0002183979340000161
压缩后的基矢量系数A2,压缩后的奇异值Σ2
具体过程为:
步骤5.1、初始化:增量学习计数器t=1,取增量学习总次数Tm=4;
步骤5.2、从标准数据集(Market-1501数据集或DukeMTMC-reID数据 集)中获取新增行人图像集
Figure BDA0002183979340000162
新增行人标签集
Figure BDA0002183979340000163
Nt表示新增行人图像个数,取Nt=150;
步骤5.3、对
Figure BDA0002183979340000164
提取CNN特征集
Figure BDA0002183979340000165
步骤5.4、如图4所示,把Feasini
Figure BDA0002183979340000166
A0、Σ0作为输入,调用增量 核主成分计算函数IKPCA(),计算得到压缩前的基矢量系数
Figure BDA0002183979340000167
和压缩前的奇异值
Figure BDA0002183979340000168
R=113;
增量核主成分计算函数IKPCA()的具体执行过程为:
步骤5.4.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N},新增行人 特征集
Figure BDA0002183979340000169
初始的基矢量系数A0和初始的奇异值Σ0, N表示初始行人图像个数,Nt表示新增行人图像个数,取N=114,Nt=150;
步骤5.4.2、计算去中心化矩阵γ:
Figure BDA00021839793400001610
其中
Figure BDA00021839793400001611
是N×Nt维的全零矩阵,w′表示新增样本中心化矩阵,w表示新 增样本均值矩阵,v表示初始样本均值矩阵,
Figure BDA00021839793400001612
Figure BDA00021839793400001613
Figure BDA00021839793400001614
表示Nt×Nt维的单位阵,
Figure BDA00021839793400001615
表示1×Nt维的全1矩阵,
Figure BDA00021839793400001616
表示 Nt×1维的全1矩阵,1N,1是N×1维的全1矩阵;
步骤5.4.3、合并Feasi n
Figure BDA0002183979340000171
得到合并后的行人特征集
Figure BDA0002183979340000172
通过核函数G(x,y,σ),计算Feasini和Feas的核矩阵K1, 其中x∈Feasini,y∈Feas,σ=100,计算Feas和Feas的核矩阵K2,其中 x∈Feas,y∈Feas,σ=100;
步骤5.4.4、计算矩阵L:
L=(A0)T×K1×γ
步骤5.4.5、计算矩阵η:
Figure BDA0002183979340000173
步骤5.4.6、计算矩阵Mh
Mh=ηT×K2×η;
步骤5.4.7、把Mh作为输入,调用特征值分解数学函数eig(),计算得到 特征值Δh和特征向量Qh
步骤5.4.8、按降序对Δh进行排序,取前Rh个特征值Δrh对应的特征向量 Qrh作为Feas的核主成分,1≤Rh≤rank(Qrh),函数rank()返回Qh的秩,Rh=206;
步骤5.4.9、计算矩阵Ω和M:
Ω=η×Qrh×Δrh -1/2
M=Δrh 1/2×Qrh
步骤5.4.10、计算矩阵F:
Figure BDA0002183979340000174
步骤5.4.11、把矩阵F作为输入,调用奇异值分解数学函数svd(),计算 得到酉矩阵Uf,Vf和对角阵Sf
步骤5.4.12、计算基矢量系数Psi:
Figure BDA0002183979340000181
步骤5.4.13、对压缩前的基矢量系数A1和压缩前的奇异值Σ1分别赋值, A1=Psi:,1:R
Figure BDA0002183979340000182
步骤5.5、如图5所示,把Feasini
Figure BDA0002183979340000183
Labelsini
Figure BDA0002183979340000184
A1、Σ1作 为输入,调用RS压缩函数Compress(),计算得到压缩后的样本特征集
Figure BDA0002183979340000185
压缩后的基矢量系数
Figure BDA0002183979340000186
压缩后的奇异值
Figure BDA0002183979340000187
压缩后的样本标签集
Figure BDA0002183979340000188
Pt表示压缩后样本的图像个数,取R=113,Pt=113;
具体过程为:
步骤5.5.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N},初始行人 标签集Labelsini={Lini|ini=1,2,...,N},新增行人特征集
Figure BDA0002183979340000189
新增行人标签集
Figure BDA00021839793400001810
压缩 前的基矢量系数
Figure BDA00021839793400001811
压缩前的奇异值
Figure BDA00021839793400001812
N表示初始行人图像个数,Nt表示新增行人图 像个数;
步骤5.5.2、如图6所示,把Feasini、Labelsini
Figure BDA00021839793400001813
A1作为 输入,调用RS扩展函数IterCompress()进行样本压缩和一次基矢量系数估计, 计算得到压缩后的样本特征集
Figure BDA00021839793400001814
压缩后的样本标签集
Figure BDA00021839793400001815
一次估计的基矢量系数
Figure BDA00021839793400001816
Pt为压缩后的样本个数,取Pt=113;
扩展函数IterCompress()的具体执行过程为:
步骤5.5.2.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N},初始行人标签集Labelsini={Lini|ini=1,2,...,N},新增行人特征集
Figure BDA0002183979340000191
新增行人标签集
Figure BDA0002183979340000192
压缩 前的基矢量系数
Figure BDA0002183979340000193
N表示初始行人图像个 数,Nt表示新增行人图像个数;
步骤5.5.2.2、初始化一次估计的基矢量系数A1f=NULL,压缩后的行人 特征集
Figure BDA0002183979340000194
压缩后的行人标签集
Figure BDA0002183979340000195
NULL为空集;
步骤5.5.2.3、合并Feasini
Figure BDA0002183979340000196
得到合并后的行人特征集
Figure BDA0002183979340000197
合并Labelsini
Figure BDA0002183979340000198
得到合并后的行人标签集
Figure BDA0002183979340000199
步骤5.5.2.4、初始化A1f的基矢量个数计数器j=1;
步骤5.5.2.5、对压缩过程中的临时变量Feas1,Labels1
Figure BDA00021839793400001910
赋初值, Feas1=Feas,Labels1=Labels,
Figure BDA00021839793400001911
步骤5.5.2.6、Feas1随机选取m个特征构成特征集Feasm,并从Labels1中找 出对应特征的标签构成标签集Labelsm,取1≤m≤N+Nt,N+Nt=264;
步骤5.5.2.7、通过核函数G(x,y,σ)计算Feasm和Feas1的核矩阵Km,其中 x∈Feasm,y∈Feas1,σ=100;
步骤5.5.2.8、通过公式
Figure BDA00021839793400001912
计算得到fval;
步骤5.5.2.9、按升序对fval进行排列,根据最小值对应的索引号,从Feasm中找到对应行人特征Fj,从Labelsm中找到Fj对应的行人标签Lj
步骤5.5.2.10、通过核函数G(x,y,σ),计算Fj和Fj的核矩阵Kj,其中 x∈Fj,y∈Fj,σ=100,计算Fj和Feas1的核矩阵Ks,其中x∈Fj,y∈Feas1,σ=100;
步骤5.5.2.11、通过公式
Figure BDA00021839793400001913
计算第j个基矢量系数
Figure BDA00021839793400001914
步骤5.5.2.12、更新压缩后数据集
Figure BDA00021839793400001915
A1f
Figure BDA00021839793400001916
Figure BDA0002183979340000201
步骤5.5.2.13、更新临时变量:
Figure BDA00021839793400002015
Figure BDA0002183979340000203
步骤5.5.2.14、j=j+1,当j≤R时,进入步骤5.5.2.6,否则进入步骤 5.5.2.15;
步骤5.5.2.15、输出:
Figure BDA0002183979340000204
和A1f
步骤5.5.3、如图7所示,把Feasini
Figure BDA0002183979340000205
A1、A1f作为输入, 调用RS空系数填充函数FillRs()进行二次基矢量系数估计,得到二次估计的 基矢量系数
Figure BDA0002183979340000206
RS空系数填充函数FillRs()的具体执行过程如下:
步骤5.5.3.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N},新增行人特征集
Figure BDA0002183979340000207
压缩前的基矢量系数
Figure BDA0002183979340000208
一次估计的基矢量系数
Figure BDA0002183979340000209
压缩后的行人特征集
Figure BDA00021839793400002016
N表示初始行人图像个数,Nt表示新增行人图像个数,Pt表示压缩后的行人 图像个数;
步骤5.5.3.2、初始化:二次估计的基矢量系数A1s=NULL,A1s的个数计 数器j=1;
步骤5.5.3.3、通过核函数G(x,y,σ),计算Feas和Feas的核矩阵K11,其中 x∈Feas,y∈Feas,σ=100,计算
Figure BDA00021839793400002010
和Feas的核矩阵K22,其中
Figure BDA00021839793400002011
计算
Figure BDA00021839793400002012
Figure BDA00021839793400002013
的核矩阵K33,其中
Figure BDA00021839793400002014
步骤5.5.3.4、二次估计第j个基矢量系数
Figure BDA0002183979340000211
Figure BDA0002183979340000212
步骤5.5.3.5、把Feas、
Figure BDA0002183979340000213
作为输入,调用角度差值函数 GetAng(),计算得到压缩前基矢量系数
Figure BDA0002183979340000214
和一次估计基矢量系数
Figure BDA0002183979340000215
的差值 向量diff1;
该函数的具体实现为:
①计算K11和K22的范数am1,bm1:
Figure BDA0002183979340000216
Figure BDA0002183979340000217
②计算
Figure BDA0002183979340000218
Figure BDA0002183979340000219
的差值向量diff1:
Figure BDA00021839793400002110
步骤5.5.3.6、把Feas、
Figure BDA00021839793400002111
作为输入,调用差值函数GetAng(), 按照步骤5.5.3.5的过程,计算得到压缩前基矢量系数
Figure BDA00021839793400002112
和二次估计基矢量 系数
Figure BDA00021839793400002113
的差值向量diff2;
步骤5.5.3.7、根据差值更新二次估计的基矢量系数:当diff2≥diff1时,
Figure BDA00021839793400002114
否则
Figure BDA00021839793400002115
步骤5.5.3.8、基矢量个数计数器j=j+1;当j≤R时循环步骤5.5.3.6,否 则进入步骤5.5.3.9;
步骤5.5.3.9、输出:二次估计的基矢量系数A1s
步骤5.5.4、如图8所示,把Feasini
Figure BDA00021839793400002116
A1、Σ1、A1s作为输 入,调用基正交化函数Orthogonalization(),计算得到压缩后的基矢量系数A2和压缩后的奇异值Σ2
Figure BDA00021839793400002117
i=1,2,...,R,j=1,2,...,R;
基正交化函数Orthogonalization()的具体执行过程为:
步骤5.5.4.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N},新增行人特征集
Figure BDA0002183979340000221
压缩前的基矢量系数
Figure BDA0002183979340000222
压缩前的奇异值
Figure BDA0002183979340000223
二次估计的基矢量系数
Figure BDA0002183979340000224
压缩后的行人特征集
Figure BDA0002183979340000225
Figure BDA0002183979340000226
和Feas的核矩阵K22
Figure BDA0002183979340000227
Figure BDA0002183979340000228
的核矩阵K33,N表示初始行人图像 个数,Nt表示新增行人图像个数,Pt表示压缩后的行人图像个数;
步骤5.5.4.2、计算核矩阵K33的范数Mo=(A1s)T×K33×A1s
步骤5.5.4.3、把Mo作为输入,调用特征值分解数学函数eig()对Mo进行 特征值分解Mo=QoDoQo T,计算得到Mo的特征值Do和特征向量Qo
步骤5.5.4.4、计算正交基Ob
Figure BDA0002183979340000229
其中
Figure BDA00021839793400002210
为 二次估计的基矢量;
步骤5.5.4.5、计算二次估计基矢量在正交基上的投影矩阵proj,并标准 化为projN
Figure BDA00021839793400002211
Figure BDA00021839793400002212
数学函数
Figure BDA00021839793400002213
返 回值为
Figure BDA00021839793400002214
的对角矩阵;
步骤5.5.4.6、二次估计基矢量正交化:
Figure BDA00021839793400002215
UO为正交化后的二次估 计基矢量,压缩后的基矢量系数A2=B×projN,压缩后的奇异值 Σ2=(A2)T×K22×A1×Σ1
步骤5.5.4.7、输出:压缩后的基矢量系数A2和压缩后的奇异值Σ2
步骤5.5.5、输出A2,Σ2
Figure BDA0002183979340000231
步骤5.6、把
Figure BDA0002183979340000232
A2
Figure BDA0002183979340000233
作为输入,调用步骤4的零空间变换函 数NFST(),计算得到零空间的投影方向集ΨSnew和零空间的投影点集XSnew
Figure BDA0002183979340000234
i=1,2,...,Pt,j=1,2,...,C-1,c=1,2,...,C;
步骤5.7、对
Figure BDA0002183979340000235
Labelsini,A0,Σ0,ΨS0,XS0进行更新,
Figure BDA0002183979340000236
Figure BDA0002183979340000237
A0=A2,Σ0=Σ2,ΨS0=ΨSnew,XS0=XSnew
步骤5.8、增量学习计数器t=t+1,当t≤Tm时,进入步骤5.2,否则进入 步骤6。
步骤6、从标准数据集(Market-1501数据集或DukeMTMC-reID数据集) 获中获取测试行人图像集Imgsz={Iz|z=1,2,...,Z},测试行人标签集 Labelsz={Lz|z=1,2,...,Z},Z表示测试行人图像个数,Z=30;
步骤7、对测试行人图像集Imgsz提取CNN特征集Feasz={Fz|z=1,2,...,Z};
步骤8、通过核函数G0(x,y)计算测试样本特征集Feasz和压缩样本特征集
Figure BDA0002183979340000238
的核矩阵Kz,其中
Figure BDA0002183979340000239
Kz在零空间投影方向集ΨSnew上投 影得到投影点集XStest,XStest={xcj test|c=1,2,...,C,j=1,2,...,C-1};
步骤9、计算XStest与XSnew或XS0之间的欧式距离D={dcc|c=1,2,...,C},按 升序对D的每一行进行排序,根据每一行最小值对应的行人类别号与测试行 人图像的类别号的一致性进行行人类别判断,如果一致则识别正确,否则识 别不正确。
实施例:
本发明提供一种基于压缩的增量核零空间变换的行人再识别方法,从标 准数据集(Market-1501数据集或DukeMTMC-reID数据集)中选择30个行 人,采用本发明的方法进行测试。
数据集描述:
(1)Market-1501数据集
Liang Zheng等人在2015年ICCV(IEEE International Conference on ComputerVision)会议的“Scalable Person Re-identification:A Benchmark”一文 中提出了Market-1501数据集,该数据集由放置在不同位置的六台摄像机对 清华大学校园内1501个行人拍摄的32,643张图像组成,行人最多跨越六个 摄像头,最少跨越两个摄像头,训练集由751个行人的12,936张图像组成, 测试集由750个行人的19,732张图像组成。
(2)DukeMTMC-reID数据集
Zhedong Zheng等人在2017年ICCV(IEEE International Conference onComputer Vision)会议的“Unlabeled Samples Generated by GAN Improve the PersonRe-identification Baseline in vitro”一文中提出了DukeMTMC-reID数据 集,该数据集由八个摄像机对1,812个行人拍摄的视频组成。训练数据集由 702个行人的16522张图片组成,测试数据集由702个行人的17,661张图片 组成。
算法评价:
本发明通过采用识别率和时间复杂度两个客观评价指标以及主观识别 效果对算法结果进行评价,与本发明进行对比的算法是2018年Xinyu Huang 等人在ICPR(International Conference on Pattern Recognition)会议中提出 的“IncrementalKernel Null Foley-Sammon Transform for Person Re-identification”一文中的IKNFST算法。
①客观评价:
客观评价结果如表1、2、3、4所示,表1显示的是测试图像中排名第 一(Rank 1)时Market1501数据集的识别率实验对比结果;表2Market1501 数据集时间复杂度实验结果;表3显示的是排名第一时DukeMTMC数据集 的识别率实验对比结果;表4是DukeMTMC数据集的时间复杂度实验对比 结果。
表1
Figure BDA0002183979340000251
表2
Figure BDA0002183979340000252
表3
Figure BDA0002183979340000253
表4
Figure BDA0002183979340000254
Figure BDA0002183979340000261
由表1和表3可以看出,在相同的训练样本个数情况下,相对IKNFST 算法,本发明取得了更高的识别率;由表2和表4可以看出,在相同识别率 下,相对IKNFST算法,本发明的时间复杂度更低。
②主观评价
数据集Market-1501和DukeMTMC-reID中部分图片和其主观识别效果 分别如图9和图10所示。图第一行是测试图像,一共有五个行人图像;图 第二行是真值图像,即测试图像的正确识别图像;图第三行是IKNFST方法 的识别图像;第四行是本发明的识别图像。对Market-1501数据集,从图9 中第(1)和第(2)列结果可见,本发明和IKNFST方法对测试图像的识别结果 都是正确的,从图9中第(3)、第(4)列和第(5)列结果可见,本发明对测试图 像的识别结果是正确的,IKNFST方法对测试图像的识别结果是错误的;对 于DukeMTMC-reID数据集,从图10中第(1)、第(2)和第(3)列结果可见,本 发明和IKNFST方法对测试图像的识别结果都是正确的,从图10中第(4)和 第(5)列结果可见,本发明对测试图像的识别结果是正确的,IKNFST方法 对测试图像的识别结果是错误的。由此可见相对于IKNFST方法,本发明对 测试图像有更高的识别率。
通过上述方式,本发明一种基于压缩的增量核零空间变换的行人再识别 方法,主要过程是:(1)对提取的初始行人CNN特征集进行KPCA变换得 到初始基矢量系数和奇异值,用初始基矢量系数对初始行人CNN特征集进 行零空间变换得到初始投影方向集和投影点集;(2)对增量后样本的CNN 特征集进行IKPCA变换得到更新的基矢量系数和奇异值;(3)对增量后样 本的CNN特征集进行RS压缩得到压缩后的样本特征集和基矢量系数;(4) 用压缩后的基矢量系数对压缩后的样本特征集进行零空间变换得到压缩后 的投影方向集和投影点集;(5)把测试图像CNN特征集的核矩阵投影到压 缩后的投影方向集上得到测试图像的投影点集,计算测试图像的投影点集和 压缩后投影点集(或初始投影点集)的欧式距离,根据欧式距离的大小进行 测试行人的识别。
本发明提出样本压缩和增量核零空间变换相结合的行人识别方法,避免 了传统增量核零空间变换随样本增加复杂度的不断增长,保持了样本不断增 加情况下增量行人识别方法基矢量系数的规模不变性,从而提高了增量行人 识别方法的计算效率。

Claims (10)

1.一种基于压缩的增量核零空间变换的行人再识别方法,其特征在于,具体按照以下步骤实施:
步骤1、从标准数据集中获取初始行人图像集Imgsini={Iini|ini=1,2,...,N},初始行人标签集Labelsini={Lini|ini=1,2,...,N},N表示初始行人图像个数;
步骤2、对Imgsini提取CNN特征,得到特征集Feasini={Fini|ini=1,2,...,N};
步骤3、把特征集Feasini作为输入,调用核主成分分析函数KPCA(),计算得到初始的基矢量系数
Figure RE-FDA0002322010940000011
和初始的奇异值
Figure RE-FDA0002322010940000012
R表示初始主成分个数;
步骤4、把Feasini、A0、Labelsini作为输入,调用零空间变换函数NFST(),得到零空间投影方向集ΨS0和零空间的投影点集XS0
Figure RE-FDA0002322010940000013
i=1,2,...,N,c=1,2,...,C,j=1,2,...,C-1,C表示行人类别个数;
步骤5、迭代执行增量学习和压缩过程,输入为Feasini,Labelsini,A0,Σ0,增量的行人图像集
Figure RE-FDA0002322010940000014
增量的行人图像标签集
Figure RE-FDA0002322010940000015
输出更新的零空间投影方向集ΨSnew,零空间的投影点集XSnew,压缩后的样本特征集
Figure RE-FDA0002322010940000016
压缩后的样本标签集
Figure RE-FDA0002322010940000017
压缩后的基矢量系数A2,压缩后的奇异值Σ2
步骤6、从标准数据集中获取测试行人图像集Imgsz={Iz|z=1,2,...,Z},测试行人标签集Labelsz={Lz|z=1,2,...,Z},Z表示测试行人图像个数;
步骤7、对测试行人图像集Imgsz提取CNN特征集Feasz={Fz|z=1,2,...,Z};
步骤8、定义无参核函数
Figure RE-FDA0002322010940000018
通过核函数G0(x,y)计算测试样本特征集Feasz和压缩样本特征集
Figure RE-FDA0002322010940000019
的核矩阵Kz,其中
Figure RE-FDA00023220109400000110
Kz在零空间投影方向集ΨSnew上投影得到投影点集XStest,XStest={xcj test|c=1,2,...,C,j=1,2,...,C-1};
步骤9、计算XStest与XSnew或XS0之间的欧式距离D={dcc|c=1,2,...,C},按升序对D的每一行进行排序,根据每一行最小值对应的行人类别号与测试行人图像的类别号的一致性进行行人类别判断,如果一致则识别正确,否则识别不正确。
2.根据权利要求1所述一种基于压缩的增量核零空间变换的行人再识别方法,其特征在于,步骤2具体过程为:把初始行人图像集Imgsini和初始行人标签集Labelsini送入ResNet50网络结构进行训练得到模型M_ResNet50;把Imgsini送入模型M_ResNet50,提取第五个池化层的2048维输出构成Imgsini的特征集Feasini={Fini|ini=1,2,...,N}。
3.根据权利要求1所述一种基于压缩的增量核零空间变换的行人再识别方法,其特征在于,步骤3具体过程为:
步骤3.1、输入:CNN特征集Feasini={Fini|ini=1,2,...,N};
步骤3.2、定义核函数
Figure RE-FDA0002322010940000021
通过核函数G(x,y,σ)计算Feasini和Feasini的核矩阵K′,其中x∈Feasini,y∈Feasini,σ=100;
步骤3.3、对核矩阵K′去中心化得到K=(v′)T×K′×v′,其中v'为中心化矩阵,v为N×1维的均值矩阵,v'=IN-v11,N
Figure RE-FDA0002322010940000022
IN为N×N维的单位阵,11,N为1×N维的全1矩阵,1N,1为N×1维的全1矩阵;
步骤3.4、对K进行特征值分解:K=QΔQT,得到特征值Δ和特征向量Q;
步骤3.5、按降序对Δ进行排序,取前R个特征值Δr对应的特征向量Qr作为Feasini的核主成分,1≤R≤rank(Q),rank(Q)函数求取Q的秩;
步骤3.6、计算Feasini的初始基矢量系数A0和初始奇异值Σ0:A0=v'×Qr×(Δr)-1/2,Σ0=(Δr)1/2,并输出:
Figure RE-FDA0002322010940000031
Figure RE-FDA0002322010940000032
4.根据权利要求1所述一种基于压缩的增量核零空间变换的行人再识别方法,其特征在于,步骤4具体过程为:
步骤4.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N}、初始行人标签集Labelsini={Lini|ini=1,2,...,N}、初始的基矢量系数
Figure RE-FDA0002322010940000033
步骤4.2、定义无参核函数
Figure RE-FDA0002322010940000034
通过核函数G0(x,y)计算Feasini和Feasini的核矩阵K″,其中x∈Feasini,y∈Feasini
步骤4.3、计算初始的基矢量系数A0和去中心化的核矩阵K″的内积矩阵H0
H0=(A0)T×K″×(I-L)
其中(A0)T是A0的转置矩阵,I为N×N的单位阵,L为块对角阵,
Figure RE-FDA0002322010940000035
其中Nc为第c个行人的图像个数,c∈{1,2,...,C},C为行人类别数;
步骤4.4、计算H0的协方差矩阵T0=H0×H0 T,把T0作为输入,调用零空间求解数学函数null(),得到零空间的解向量集
Figure RE-FDA0002322010940000041
步骤4.5、计算零空间的投影方向集ΨS0,ΨS0=A0×ΒS0,ΨS0的值表示为:
Figure RE-FDA0002322010940000042
步骤4.6、计算K在零空间的投影点集XS0,XS0=K×ΨS0,XS0的值表示为:
Figure RE-FDA0002322010940000043
步骤4.7、输出:ΨS0和XS0
5.根据权利要求1所述一种基于压缩的改进增量核零空间变换的行人再识别方法,其特征在于,步骤5具体过程为:
步骤5.1、初始化:增量学习计数器t=1,增量学习总次数Tm
步骤5.2、从标准数据集中获取新增行人图像集
Figure RE-FDA0002322010940000044
新增行人标签集
Figure RE-FDA0002322010940000045
Nt表示新增行人图像个数;
步骤5.3、对
Figure RE-FDA0002322010940000046
提取CNN特征集
Figure RE-FDA0002322010940000047
步骤5.4、把Feasini
Figure RE-FDA0002322010940000048
A0、Σ0作为输入,通过增量核主成分计算函数IKPCA(),计算得到压缩前的基矢量系数
Figure RE-FDA0002322010940000049
和压缩前的奇异值为
Figure RE-FDA00023220109400000410
步骤5.5、把Feasini
Figure RE-FDA00023220109400000411
Labelsini
Figure RE-FDA00023220109400000412
A1、Σ1作为输入,调用RS压缩函数Compress(),计算得到压缩后的样本特征集
Figure RE-FDA00023220109400000413
压缩后的基矢量系数
Figure RE-FDA00023220109400000414
压缩后的奇异值
Figure RE-FDA00023220109400000415
压缩后样本的标签集
Figure RE-FDA00023220109400000416
Pt表示压缩后样本的图像个数;
步骤5.6、把
Figure RE-FDA00023220109400000417
A2
Figure RE-FDA00023220109400000418
作为输入,调用步骤4的零空间变换函数NFST(),计算得到零空间的投影方向集ΨSnew和零空间的投影点集XSnew
Figure RE-FDA0002322010940000051
步骤5.7、对Feasini,Labelsini,A0,Σ0,ΨS0,XS0进行更新,
Figure RE-FDA0002322010940000052
Figure RE-FDA0002322010940000053
A0=A2,Σ0=Σ2,ΨS0=ΨSnew,XS0=XSnew
步骤5.8、增量学习计数器t=t+1,当t≤Tm时,进入步骤5.2,否则进入步骤6。
6.根据权利要求5所述一种基于压缩的增量核零空间变换的行人再识别方法,其特征在于,步骤5.4具体过程为:
步骤5.4.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N},新增行人特征集
Figure RE-FDA0002322010940000054
压缩前的基矢量系数A0和压缩前的奇异值Σ0,N表示初始行人图像个数,Nt表示新增行人图像个数;
步骤5.4.2、计算去中心化矩阵γ:
Figure RE-FDA0002322010940000055
其中
Figure RE-FDA0002322010940000056
是N×Nt维的全零矩阵,w′表示新增样本中心化矩阵,w表示新增样本均值矩阵,v表示初始样本均值矩阵,
Figure RE-FDA0002322010940000057
Figure RE-FDA0002322010940000058
Figure RE-FDA0002322010940000059
表示Nt×Nt维的单位阵,
Figure RE-FDA00023220109400000510
表示1×Nt维的全1矩阵,
Figure RE-FDA00023220109400000511
表示Nt×1维的全1矩阵,1N,1是N×1维的全1矩阵;
步骤5.4.3、合并Feasini
Figure RE-FDA00023220109400000512
得到合并的样本特征集
Figure RE-FDA00023220109400000513
通过核函数G(x,y,σ)计算Feasini和Feas的核矩阵K1,其中x∈Feasini,y∈Feas,σ=100,计算Feas和Feas的核矩阵K2,其中x∈Feas,y∈Feas,σ=100;
步骤5.4.4、计算矩阵L:
L=(A0)T×K1×γ
步骤5.4.5、计算矩阵η:
Figure RE-FDA0002322010940000061
步骤5.4.6、计算矩阵Mh
Mh=ηT×K2×η
步骤5.4.7、对Mh进行特征值分解Mh=QhΔhQh T得到特征值Δh和特征向量Qh
步骤5.4.8、按降序对Δh进行排序,取前Rh个特征值Δrh对应的特征向量Qrh作为Feas的核主成分,1≤Rh≤rank(Qrh),函数rank()返回Qh的秩;
步骤5.4.9、计算矩阵Ω和矩阵M:
Ω=η×Qrh×Δrh -1/2
M=Δrh 1/2×Qrh
步骤5.4.10、计算矩阵F:
Figure RE-FDA0002322010940000062
步骤5.4.11、对矩阵F进行SVD分解得到酉矩阵Uf,Vf和对角阵Sf
步骤5.4.12、计算基矢量系数Psi:
Figure RE-FDA0002322010940000063
步骤5.4.13、对压缩前的基矢量系数A1和奇异值Σ1分别赋值,A1=Psi:,1:R
Figure RE-FDA0002322010940000064
7.根据权利要求5所述一种基于压缩的增量核零空间变换的行人再识别方法,其特征在于,步骤5.5具体过程为:
步骤5.5.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N},初始行人标签集Labelsini={Lini|ini=1,2,...,N},新增行人特征集
Figure RE-FDA0002322010940000071
新增行人标签集
Figure RE-FDA0002322010940000072
压缩前的基矢量系数
Figure RE-FDA0002322010940000073
压缩前的奇异值
Figure RE-FDA0002322010940000074
N表示初始行人图像个数,Nt表示新增行人图像个数;
步骤5.5.2、把Feasini、Labelsini
Figure RE-FDA0002322010940000075
A1作为输入,调用RS扩展函数IterCompress()进行样本压缩和一次基矢量系数估计,得到压缩后的样本特征集
Figure RE-FDA0002322010940000076
压缩后的样本标签集
Figure RE-FDA0002322010940000077
一次估计的基矢量系数
Figure RE-FDA0002322010940000078
Pt为压缩后的样本个数;
步骤5.5.3、把Feasini
Figure RE-FDA0002322010940000079
A1、A1f作为输入,调用RS空系数填充函数FillRs()进行二次基矢量系数估计,得到二次估计的基矢量系数
Figure RE-FDA00023220109400000710
步骤5.5.4、把Feasini
Figure RE-FDA00023220109400000711
A1、Σ1、A1s作为输入,调用基正交化函数Orthogonalization(),计算得到压缩后的基矢量系数A2和压缩后的奇异值Σ2
Figure RE-FDA00023220109400000712
步骤5.5.5、输出:A2,Σ2
Figure RE-FDA00023220109400000713
8.根据权利要求7所述一种基于压缩的增量核零空间变换的行人再识别方法,其特征在于,步骤5.5.2具体过程为:
步骤5.5.2.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N},初始行人标签集Labelsini={Lini|ini=1,2,...,N},新增行人特征集
Figure RE-FDA00023220109400000714
新增行人标签集
Figure RE-FDA00023220109400000715
压缩前的基矢量系数
Figure RE-FDA00023220109400000716
N表示初始行人图像个数,Nt表示新增行人图像个数;
步骤5.5.2.2、初始化一次估计的基矢量系数A1f=NULL,压缩后的行人特征集
Figure RE-FDA0002322010940000081
压缩后的行人标签集
Figure RE-FDA0002322010940000082
NULL为空集;
步骤5.5.2.3、合并Feasini
Figure RE-FDA0002322010940000083
得到合并的行人特征集
Figure RE-FDA0002322010940000084
合并Labelsini
Figure RE-FDA0002322010940000085
得到合并后的行人标签集Labels=[Labelsini,Labelst inc];
步骤5.5.2.4、初始化A1f的基矢量个数计数器j=1;
步骤5.5.2.5、对压缩中的临时变量Feas1,Labels1
Figure RE-FDA0002322010940000086
赋初值,Feas1=Feas,Labels1=Labels,
Figure RE-FDA0002322010940000087
步骤5.5.2.6、从Feas1随机选取m个特征构成特征集Feasm,并从Labels1中找出对应特征的标签构成标签集Labelsm,1≤m≤(N+Nt);
步骤5.5.2.7、通过核函数G(x,y,σ)计算Feasm和Feas1的核矩阵Km,其中x∈Feasm,y∈Feas1,σ=100;
步骤5.5.2.8、通过公式
Figure RE-FDA0002322010940000088
计算得到fval;
步骤5.5.2.9、按升序对fval进行排列,根据最小值对应的索引号,从Feasm中找到对应行人特征Fj,从Labelsm中找到Fj对应的行人标签Lj
步骤5.5.2.10、通过核函数G(x,y,σ)计算Fj和Fj的核矩阵Kj,其中x∈Fj,y∈Fj,σ=100,计算Fj和Feas1的核矩阵Ks,其中x∈Fj,y∈Feas1,σ=100;
步骤5.5.2.11、通过公式
Figure RE-FDA0002322010940000089
计算第j个基矢量系数
Figure RE-FDA00023220109400000810
Kj -1表示Kj的逆矩阵;
步骤5.5.2.12、更新压缩后的数据集
Figure RE-FDA00023220109400000811
A1f
Figure RE-FDA00023220109400000812
步骤5.5.2.13、更新临时变量:
Figure RE-FDA00023220109400000813
Figure RE-FDA0002322010940000091
步骤5.5.2.14、j=j+1,当j≤R时,进入步骤5.5.2.6,否则进入步骤5.5.2.15;
步骤5.5.2.15、输出:
Figure RE-FDA0002322010940000092
A1f
9.根据权利要求7所述一种基于压缩的增量核零空间变换的行人再识别方法,其特征在于:步骤5.5.3的具体过程如下:
步骤5.5.3.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N},新增行人特征集
Figure RE-FDA0002322010940000093
压缩前的基矢量系数
Figure RE-FDA0002322010940000094
一次估计的基矢量系数
Figure RE-FDA0002322010940000095
压缩后的行人特征集
Figure RE-FDA0002322010940000096
N表示初始行人图像个数,Nt表示新增行人图像个数,Pt表示压缩后的行人图像个数;
步骤5.5.3.2、初始化:二次估计的基矢量系数A1s=NULL,A1s的个数计数器j=1;
步骤5.5.3.3、通过核函数G(x,y,σ),计算Feas和Feas的核矩阵K11,其中x∈Feas,y∈Feas,σ=100,计算
Figure RE-FDA0002322010940000097
和Feas的核矩阵K22,其中
Figure RE-FDA0002322010940000098
计算
Figure RE-FDA0002322010940000099
Figure RE-FDA00023220109400000910
的核矩阵K33,其中
Figure RE-FDA00023220109400000911
步骤5.5.3.4、二次估计第j个基矢量系数
Figure RE-FDA00023220109400000912
Figure RE-FDA00023220109400000913
步骤5.5.3.5、把Feas、
Figure RE-FDA00023220109400000914
作为输入,调用角度差值函数GetAng(),计算得到压缩前基矢量系数
Figure RE-FDA00023220109400000915
和一次估计基矢量系数
Figure RE-FDA00023220109400000916
的差值向量diff1;
步骤5.5.3.6、把Feas、
Figure RE-FDA00023220109400000917
作为输入,调用角度差值函数GetAng(),计算得到压缩前基量系数
Figure RE-FDA0002322010940000101
和二次估计基矢量系数
Figure RE-FDA0002322010940000102
的差值向量diff2;
步骤5.5.3.7、根据差值更新二次估计的基矢量系数:当diff2≥diff1时,
Figure RE-FDA0002322010940000103
否则
Figure RE-FDA0002322010940000104
步骤5.5.3.8、基矢量个数计数器j=j+1;当j≤R时循环步骤5.5.3.6,否则进入步骤5.5.3.9;
步骤5.5.3.9、输出:二次估计的基矢量系数A1s
10.根据权利要求7所述一种基于压缩的增量核零空间变换的行人再识别方法,其特征在于,步骤5.5.4具体过程为:
步骤5.5.4.1、输入:初始行人特征集Feasini={Fini|ini=1,2,...,N},新增行人特征集
Figure RE-FDA0002322010940000105
压缩前的基矢量系数
Figure RE-FDA0002322010940000106
压缩前的奇异值
Figure RE-FDA0002322010940000107
二次估计的基矢量系数
Figure RE-FDA0002322010940000108
压缩后的行人特征集
Figure RE-FDA0002322010940000109
Figure RE-FDA00023220109400001010
和Feas的核矩阵K22
Figure RE-FDA00023220109400001011
Figure RE-FDA00023220109400001012
的核矩阵K33,N表示初始行人图像个数,Nt表示新增行人图像个数,Pt表示压缩后的行人图像个数;
步骤5.5.4.2、计算核矩阵K33的范数Mo=(A1s)T×K33×A1s
步骤5.5.4.3、对Mo进行特征值分解Mo=QoDoQo T得到特征值Do和特征向量Qo
步骤5.5.4.4、计算正交基Ob
Figure RE-FDA00023220109400001013
其中
Figure RE-FDA00023220109400001014
为二次估计的基矢量;
步骤5.5.4.5、计算二次估计基矢量在正交基上的投影矩阵proj,并标准化为projN
Figure RE-FDA00023220109400001015
Figure RE-FDA0002322010940000111
数学函数
Figure RE-FDA0002322010940000112
返回值为
Figure RE-FDA0002322010940000113
的对角矩阵;
步骤5.5.4.6、二次估计基矢量正交化:
Figure RE-FDA0002322010940000114
UO为正交化后的二次估计基矢量,压缩后的基矢量系数A2=B×projN,压缩后的奇异值Σ2=(A2)T×K22×A1×Σ1
步骤5.5.4.7、输出:压缩后的基矢量系数A2和奇异值Σ2
CN201910807162.9A 2019-08-29 2019-08-29 一种基于压缩的增量核零空间变换行人再识别方法 Active CN111126123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910807162.9A CN111126123B (zh) 2019-08-29 2019-08-29 一种基于压缩的增量核零空间变换行人再识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910807162.9A CN111126123B (zh) 2019-08-29 2019-08-29 一种基于压缩的增量核零空间变换行人再识别方法

Publications (2)

Publication Number Publication Date
CN111126123A true CN111126123A (zh) 2020-05-08
CN111126123B CN111126123B (zh) 2023-03-24

Family

ID=70495248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910807162.9A Active CN111126123B (zh) 2019-08-29 2019-08-29 一种基于压缩的增量核零空间变换行人再识别方法

Country Status (1)

Country Link
CN (1) CN111126123B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001243A (zh) * 2020-07-17 2020-11-27 广州紫为云科技有限公司 一种行人重识别数据标注方法、装置及设备
CN117576519A (zh) * 2024-01-15 2024-02-20 浙江航天润博测控技术有限公司 图像识别模型训练优化方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013054573A (ja) * 2011-09-05 2013-03-21 Nippon Telegr & Teleph Corp <Ntt> パターン識別方法、パターン識別装置、およびプログラム
CN105631441A (zh) * 2016-03-03 2016-06-01 暨南大学 一种人脸识别方法
CN109389017A (zh) * 2017-08-11 2019-02-26 苏州经贸职业技术学院 行人再识别方法
GB201908574D0 (en) * 2019-06-14 2019-07-31 Vision Semantics Ltd Optimised machine learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013054573A (ja) * 2011-09-05 2013-03-21 Nippon Telegr & Teleph Corp <Ntt> パターン識別方法、パターン識別装置、およびプログラム
CN105631441A (zh) * 2016-03-03 2016-06-01 暨南大学 一种人脸识别方法
CN109389017A (zh) * 2017-08-11 2019-02-26 苏州经贸职业技术学院 行人再识别方法
GB201908574D0 (en) * 2019-06-14 2019-07-31 Vision Semantics Ltd Optimised machine learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄新宇等: "基于增量零空间Foley-Sammon变换的行人重识别", 《光电子.激光》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001243A (zh) * 2020-07-17 2020-11-27 广州紫为云科技有限公司 一种行人重识别数据标注方法、装置及设备
CN117576519A (zh) * 2024-01-15 2024-02-20 浙江航天润博测控技术有限公司 图像识别模型训练优化方法、装置、电子设备及存储介质
CN117576519B (zh) * 2024-01-15 2024-04-09 浙江航天润博测控技术有限公司 图像识别模型训练优化方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111126123B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN106778604B (zh) 基于匹配卷积神经网络的行人再识别方法
Akhter et al. Trajectory space: A dual representation for nonrigid structure from motion
Zhang et al. Objective video quality assessment combining transfer learning with CNN
CN104573665B (zh) 一种基于改进维特比算法的连续动作识别方法
CN115496928B (zh) 基于多重特征匹配的多模态图像特征匹配方法
CN111783532B (zh) 一种基于在线学习的跨年龄人脸识别方法
CN109447123B (zh) 一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法
CN107169117B (zh) 一种基于自动编码器和dtw的手绘图人体运动检索方法
CN109409201B (zh) 一种基于共享及特有字典对联合学习的行人再识别方法
CN112434655A (zh) 一种基于自适应置信度图卷积网络的步态识别方法
CN110781766B (zh) 基于特征谱正则化的格拉斯曼流形判别分析图像识别方法
CN112818850B (zh) 基于渐进式神经网络和注意力机制的跨姿态人脸识别方法和系统
CN112101262B (zh) 一种多特征融合手语识别方法及网络模型
CN109284668B (zh) 一种基于距离正则化投影和字典学习的行人重识别方法
CN104077742B (zh) 基于Gabor特征的人脸素描合成方法及系统
CN111126123B (zh) 一种基于压缩的增量核零空间变换行人再识别方法
CN106845375A (zh) 一种基于层级化特征学习的动作识别方法
CN108062559A (zh) 一种基于多重感受野的图像分类方法、系统及装置
CN109214442A (zh) 一种基于列表和身份一致性约束的行人重识别算法
Cha et al. Unsupervised 3d reconstruction networks
CN118135660A (zh) 一种视角缺失条件下的联合多视角信息瓶颈的跨视角步态识别方法
CN110097008B (zh) 一种人体动作识别方法
CN116311345A (zh) 一种基于Transformer的遮挡行人重识别方法
CN112396089B (zh) 基于lfgc网络和压缩激励模块的图像匹配方法
CN114943862A (zh) 一种基于结构性解析字典学习的两阶段图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant