CN113536995B - 一种基于特征映射空间和样本判定的行人重识别方法 - Google Patents
一种基于特征映射空间和样本判定的行人重识别方法 Download PDFInfo
- Publication number
- CN113536995B CN113536995B CN202110734275.8A CN202110734275A CN113536995B CN 113536995 B CN113536995 B CN 113536995B CN 202110734275 A CN202110734275 A CN 202110734275A CN 113536995 B CN113536995 B CN 113536995B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- feature
- features
- characteristic
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征映射空间和样本判定的行人重识别方法,它可以在安全监控、行人搜索和刑事调查等领域得到大量应用。为解决视角和光照的变化易导致视觉模糊现象,对行人重识别精度产生影响的问题。首先,在映射空间中引入水平方向图像块分布的均值与最大值加权融合模型,优化局部特征;其次,引入具有将像素特征的均值和协方差层次化的高斯分布模型,增强特征表达;最后,考虑训练样本数量对度量学习精度的影响,利用样本判定来选择合适的度量学习方法,进一步提高行人重识别精度。可以满足实际工程系统的设计需求,具有良好的工程应用价值。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于特征映射空间和样本判定的行人重 识别方法。
背景技术
目前,行人重识别目的是在不同物理位置的摄像头视角下进行同一行人身份匹配。行 人重识别是视频监控领域的关键组成部分,在安全监控、行人搜索和刑事调查等领域具有 重要意义。行人重识别的研究一般分为两类:特征提取和度量学习。视觉模糊的存在会影 响特征提取的质量,进一步影响度量学习和行人重识别的匹配率。因此,设计鲁棒的特征 提取和度量学习方法就成了提升行人重识别有效性的主要途径。
基于特征提取的行人重识别方法通常根据基本的颜色、纹理和其他外观属性来构造。 局部最大发生(Local Maximal Occurrence,LOMO)特征提取方法是由中国科学院大学的 Liao等人在2015年提出的,该方法与一般的特征提取方法相比,通过将局部像素分布率最 大化,有效提升行人重识别的匹配率,更好的实现了行人重识别的鲁棒性。LOMO是行人重识别研究中经典的特征提取方法,其在提取行人图像特征过程中,首先,提取像素级的全局颜色特征和全局纹理特征。之后,将行人图像分为重叠的行块,采用滑动窗口在每一行提取像素特征。接着,将像素特征拉伸到一个大范围内,统计像素的特征值在这个大范围内的分布情况。最后,在水平方向的图像块中计算像素分布的最大值,将这个最大值作为最终的行人图像特征。LOMO方法是一种比较成熟且常用的行人图像特征提取方法,该 方法可以有效地解决行人图像中视角变化问题,增强行人图像特征表达。
LOMO方法是行人重识别中行人图像特征提取方法的典型代表,是研究其他特征提取 方法的基础,与其他方法相比具有一定的优势,但是该方法仍然存在一些局限性:首先,LOMO方法是依据像素特征的最大化来表征行人图像,没有考虑代表着行人图像的均值信息,这样会丢失部分行人特征,造成行人图像特征表达的不全面。其次,LOMO方法没有 考虑行人图像像素特征的协方差信息,从而导致行人图像特征不完整,降低了同一对行人 图像相似度。
基于度量学习的行人重识别方法通过学习合适的相似度来最小化同类行人之间的距 离。跨视域二次判别分析(Cross-view Quadratic Discriminant Analysis,XQDA)度量学习方 法是由中国科学院大学的Liao等人在2015年提出的,该方法与一般的度量学习方法相比, 可以有效地提升行人重识别的匹配率,高效地完成行人重识别的匹配过程。XQDA是行人 重识别研究中经典的度量学习方法,其在计算行人图像之间相似度的过程中,首先,定义 引入了协方差和映射矩阵的行人图像距离计算方程。然后,根据行人图像的特征样本计算 出同一行人图像特征协方差和不同行人图像特征协方差。最后,根据前述两个协方差矩阵 计算出投影矩阵。XQDA方法是一种比较成熟且常用的行人重识别度量学习方法,该方法 可以有效地解决高维度行人特征度量学习问题,提升度量的计算效率。
XQDA方法是行人重识别中行人图像特征度量学习的典型代表,是研究其他度量学习 方法的基础,与其他方法相比具有一定的优势,但是该方法仍然存在一些局限性:首先,XQDA方法对行人图像特征较为依赖,没有考虑在行人图像特征完整的情况下,增加行人 图像数量带来的计算复杂度。其次,XQDA方法没有考虑在增加行人图像数量的情况下, 行人图像间的匹配率可能出现负增长的现象,从而降低行人重识别的有效性。以上因素都 会影响行人重识别的高效性和匹配率,进而影响行人重识别的整体的有效性。
发明内容
本发明的目的是提供一种基于特征映射空间和样本判定的行人重识别方法,能够解决 上述问题缺陷,提高行人重识别精度。
本发明采用的技术方案为:
一种基于特征映射空间和样本判定的行人重识别方法,依次包括如下步骤:
步骤一:数据的收集和分离:收集多个来自摄像头a和摄像头b在不同时间不同地点 拍摄到的同一行人图像,并组成图像数据集;同时,将数据集随机划分为训练集和测试集;
步骤二:对于一幅长×宽大小为H×W的行人图像进行特征提取,采用m×m的滑动子 窗口表示一幅行人图像的局部区域,tn+m<W,n∈N+,其中N+为正整数集合;在每个子窗口提取8×8×8bin的联合色调、饱和度、明度颜色发生率特征和两个尺度的尺度不变局部三 值模式纹理发生率特征;设定同一水平位置所有子窗口的颜色最大发生率特征为同 一水平位置所有子窗口的纹理最大发生率特征为FSILTP;根据得到的颜色特征和纹理特征, 通过求最大值的方法,计算颜色特征最大发生率特征和FSILTP;
步骤四:通过对原始的行人图像进行两次2×2池化,下采样原始的行人图像到两个较 小的尺度范围后,再次采用步骤二中提取特征的方式提取图像特征;最后,将所有尺度的 特征联合在一起形成行人图像的加权局部最大发生特征FwLOMO;
步骤五:对原始的行人图像提取像素级特征f;f中的颜色特征为Frgb,Fhsv,Flab,Frg,其中Frgb的特征值为行人图像红绿蓝颜色空间的通道值,Fhsv的特征值为行人图像色调、饱和度、明度颜色空间的通道值,Flab的特征值为行人图像AB亮度颜色空间的通道 值,Frg的特征值为行人图像RG颜色空间的通道值;纹理特征为FMθ,Mθ由二维坐标系 四个标准方向上的像素强度梯度值组成空间特征为y,y是图像垂直方向上像素的位置;
步骤六:在得到基本像素特征之后,提取块级特征:将每一幅行人图像分成G个部分 重叠的水平区域,并在每个区域中划分大小为k×k的局部块s;每一个局部块s中的像素特征用高斯分布来表示,形成高斯块特征矩阵zi;
步骤七:得到块级特征之后,把高斯块zi映射到第一对称正定矩阵中,再通过高斯分 布将映射到第一对称正定矩阵中的高斯块级特征建模成高斯区域特征;同时,将高斯区域 特征矩阵嵌入到第二对称正定矩阵中;最后采用第二对称正定矩阵中的高斯区域特征构成 一幅行人图像的高斯-高斯特征FGOG;
步骤八:按照行人的身份对齐加权局部最大发生特征FwLOMO和高斯-高斯特征FGOG,通过级联的方法把二者的特征映射过程简化到一个特征映射空间F;
步骤九:使用样本判定的方法来选择使用不同的度量学习方法,来计算两幅行人图像 特征间的距离,以此来表示两幅行人图像间的相似度:若当前训练集样本量小于判定的训 练集样本量时,采用XQDA方法;若当前训练集样本量大于判定的训练集样本量时,采用k-XQDA方法。
其中,HSV和SILTP分别是图像像素的颜色和纹理特征,ρhsv是所有子窗口HSV颜色值发 生率,ρSILTP是所有子窗口SILTP纹理值发生率。
对所述以参数a(a∈[0,1])对像素分布的最大值和均值进行加权相加,得到最终的颜色特 征FHSV,即:
步骤四中,所述形成的行人图像的特征为FwLOMO,即:
FwLOMO=[FHSV,FSILTP]
其中,FwLOMO是加权融合的wLOMO颜色特征,FSILTP是纹理特征。
步骤五中,所述像素级特征为f,即:
f=[y,FMθ,Frgb,Fhsv,Flab,Frg]T
其中,[·]T代表矩阵的转置;f中的颜色特征为Frgb,Fhsv,Flab,Frg,其中Frgb的特征值 为行人图像红绿蓝颜色空间的通道值,Fhsv的特征值为行人图像色调、饱和度、明度颜色空间的通道值,Flab的特征值为行人图像AB亮度颜色空间的通道值,Frg的特征值为行人 图像RG颜色空间的通道值;纹理特征为Mθ由二维坐标系四个标准方向上的像素强 度梯度值组成;空间特征为y,y是图像垂直方向上像素的位置。
步骤六中,所述形成的高斯块为zi,即:
步骤七中,所述行人图像的GOG特征为FGOG,即:
步骤八中,所述特征映射空间为F,即:
F=[FwLOMO,FGOG]。
步骤九中,XQDA的方法如下:求得摄像头a中行人xi=[xi1,xi2,...,xin]与摄像头b中行人 zj=[zj1,zj2,...,zjn]之间的相似度d(xi,zj),即:
d(xi,zj)=(xi-zj)TM(xi-zj)
其中,M的表达式为:
其中,∑'I=WT∑IW,∑'E=WT∑EW,∑I是类内协方差矩阵,∑E是类间协方差矩阵;
先求解W,再求解类内和类间协方差矩阵,最后计算行人图像间相似度d;求解W的问题可以转换为求解J(wk)的广义瑞利熵问题,即:
步骤九中,所述k-XQDA方法在XQDA方法的基础上,使用核函数将原始样本映射到容 易区分的非线性空间中,再引入两种分别对应摄像头a和b中行人的膨胀系数α(α∈[0,1])和 β(β∈[0,1]);因此,核化后的映射矩阵wk(k∈[1,b])的表达式为:
其中,Φx=[φ(x1),...,φ(xn)],φ(xn)代表摄像头a中行人特征xn通过核函数计算后的行人 特征,Φx代表摄像头a中核化后的行人特征集;Φz=[φ(z1),...,φ(zm)],φ(zm)代表摄像头b 中行人特征zm通过核函数计算后的行人特征,Φz代表摄像头b中核化后的行人特征集;wk可以写为wk=Φxαk+Φzβk=Φθk, 是第n个行人图像特征在第k 个子空间中的膨胀系数,是第m个行人图像特征在第k个子空间 中的膨胀系数,θk=[αk,βk]T,Φ=[Φx,Φz];J(wk)经过核变换的表达式为:
对于距离度量函数d(xi,zj)来说,核化后的形式为:
本发明通过在特征映射空间中引入水平方向图像块分布的均值与最大值加权融合 模型,优化了局部特征。又引入具有将像素特征的均值和协方差层次化的高斯分布模型, 增强了特征表达。将两种鲁棒性较好的特征映射过程整合到一个特征映射空间,简化了 特征提取模型的过程。利用样本判定来选择合适的度量学习方法,进一步提高行人重识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明 的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根 据这些附图获得其他的附图。
图1为本发明的框架图;
图2为本发明的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地 描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本 发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实 施例,都属于本发明保护的范围。
如图1和2所示,本发明包括以下步骤:
(1)前期准备。收集多个来自两个不同摄像头在不同时间不同地点拍摄到的同一行人 图像,并组成图像数据集。同时,将数据集随机划分为训练集和测试集。
(2)对于一幅大小为H×W(长×宽)行人图像,采用m×m(tn+m<W,n∈N+,其中N+为正整数集合)的滑动子窗口表示一幅行人图像的局部区域,在每个子窗口提取8×8×8bin 的联合色调、饱和度、明度(Hue,Saturation,Value,HSV)颜色发生率特征和两个尺度的尺度 不变局部三值模式(Scale Invariant Local Ternary Pattern,SILTP)纹理发生率特征。设定同一 水平位置所有子窗口的颜色最大发生率特征为同一水平位置所有子窗口的纹理最大 发生率特征为FSILTP。根据得到的颜色特征和纹理特征,通过求最大值的方法,计算和 FSILTP,即:
其中,HSV和SILTP分别是图像像素的颜色和纹理特征,ρhsv是所有子窗口HSV颜色值发生率,ρSILTP是所有子窗口SILTP纹理值发生率。
(3)考虑到像素特征最大化可能会丢失部分行人特征,而行人所穿的衣服往往在每个 局部由少量的颜色组成,均值信息在行人背景变化不大的情况下,能增强行人图像的特征 表达,所以在特征表达中引入颜色特征的均值信息。设定同一水平位置所有子窗口的颜色 平均发生率特征为以参数a(a∈[0,1])对颜色特征最大发生率特征和平均发生率特 征加权相加,得到加权融合后的最终颜色特征FHSV,即:
再以参数a(a∈[0,1])对像素分布的最大值和均值进行加权相加,得到最终的颜色特征 FHSV,即:
(4)通过两次2×2池化,下采样原始的行人图像到两个较小的尺度范围后,再次采用 前述提取特征的方式提取图像特征。最后,将所有尺度的特征联合在一起形成行人图像的 加权局部最大发生(weighted Local Maximal Occurrence,wLOMO)特征FwLOMO,即:
FwLOMO=[FHSV,FSILTP]
其中,FwLOMO是加权融合的wLOMO颜色特征,FSILTP是纹理特征。
(5)提取像素级特征f,即:
f=[y,FMθ,Frgb,Fhsv,Flab,Frg]T
其中,T代表矩阵的转置。f中的颜色特征为Frgb,Fhsv,Flab,Frg,其中Frgb的特征 值为行人图像红绿蓝(Red Green Blue,RGB)颜色空间的通道值,Fhsv的特征值为行人图像 色调、饱和度、明度(Hue,Saturation,Value,HSV)颜色空间的通道值,Flab的特征值为行人 图像AB亮度(Light A B,LAB)颜色空间的通道值,Frg的特征值为行人图像RG颜色空间 的通道值。纹理特征为Mθ由二维坐标系四个标准方向上的像素强度梯度值组成。空 间特征为y,y是图像垂直方向上像素的位置。
(6)在得到基本像素特征之后,提取块级特征。将每一幅行人图像分成G个部分重叠 的水平区域,并在每个区域中划分大小为k×k的局部块s。每一个局部块s中的像素特征用高斯分布来表示,形成高斯块特征矩阵zi,即:
(7)得到块级特征之后,把高斯块zi映射到对称正定矩阵中,再通过高斯分布将映射 到对称正定矩阵中的高斯块级特征建模成高斯区域特征。同时,将高斯区域特征矩阵嵌入 到一个新的对称正定矩阵中。最后采用对称正定矩阵中的高斯区域特征构成一幅行人图像 的高斯-高斯(Gaussian Of Gaussian,GOG)特征FGOG,即:
(8)为了综合考虑像素特征的最大发生率、平均发生率和协方差信息,按照行人的身 份对齐加权局部最大发生特征FwLOMO和高斯-高斯特征FGOG,通过级联的方法把二者的特征 映射过程简化到一个特征映射空间F,即:
F=[FwLOMO,FGOG]
(9)当前最具代表性的度量学习方法有两种,分别是精度取决于特征维度的跨视域二 次判别分析(Cross-view Quadratic Discriminant Analysis,XQDA)方法和精度取决于样本数量 的核化跨视域二次判别分析(Kernel Cross-view QuadraticDiscriminant Analysis,k-XQDA)方 法。
为了综合XQDA和k-XQDA二者的优点,使实际的行人重识别任务获得更好的匹配率, 使用样本判定的方法来选择使用。若当前训练集样本量小于判定的样本量时,采用XQDA 方法。若当前训练集样本量大于判定的训练集样本量时,采用k-XQDA方法,表达式为:
其中,s是当前样本量,S是判定的样本量。当训练集样本数量s小于或等于判定的样 本量S,计算行人图像间相似度d时采用XQDA度量学习方法dXQDA,即d=dXQDA;当训练 集样本数量s大于判定的样本量S,计算行人图像间相似度d时采用k-XQDA度量学习方法 dk-XQDA,即d=dk-XQDA。
在该技术方案中,步骤(9)中,所述的XQDA方法是在经典的度量学习方法基础上,进行的改进。具体的,经典的度量学习方法需要求得摄像头a中行人xi=[xi1,xi2,...,xin]与 摄像头b中行人zj=[zj1,zj2,...,zjn]之间的相似度d(xi,zj),即:
d(xi,zj)=(xi-zj)TM(xi-zj)
其中,M的表达式为:
其中,定义同一行人图像之间的关系为类内关系,不同行人图像之间的关系为类间关 系。是类内协方差矩阵的逆,是类间协方差矩阵的逆。XQDA方法添加了类内和类 间的关系,结合了降维和度量学习的思想。因此,首先定义一个代表了类内和类间关系的 n×r维的映射矩阵其中wr是W中的第r列向量,代表n×r 维的实数域。XQDA将原始的高维度空间映射到一个低维的空间。因此,可以将d(xi,zj)写 为:
其中,∑'I=WT∑IW,∑'E=WT∑EW,∑I是类内协方差矩阵,∑E是类间协方差矩阵。
由于上述行人图像间相似度d中包含逆矩阵,直接计算行人图像间相似度d是非常困 难的,可以转换为先求解W,再求解类内和类间协方差矩阵,最后计算行人图像间相似度d。求解W的问题可以转换为求解J(wk)的广义瑞利熵问题,即:
在该技术方案中,步骤(9)中,所述k-XQDA方法在XQDA方法的基础上,使用核 函数将原始样本映射到容易区分的非线性空间中,再引入两种分别对应摄像头a和b中行 人的膨胀系数α(α∈[0,1])和β(β∈[0,1])。因此,核化后的映射矩阵wk(k∈[1,b])的表达式为:
其中,Φx=[φ(x1),...,φ(xn)](φ(xn)代表摄像头a中行人特征xn通过核函数计算后的行人 特征,Φx代表摄像头a中核化后的行人特征集)。Φz=[φ(z1),...,φ(zm)](φ(zm)代表摄像头b 中行人特征zm通过核函数计算后的行人特征,Φz代表摄像头b中核化后的行人特征集)。wk可以写为wk=Φxαk+Φzβk=Φθk。(是第n个行人图像特征在第k 个子空间中的膨胀系数),(是第m个行人图像特征在第k个子空 间中的膨胀系数),θk=[αk,βk]T,Φ=[Φx,Φz]。J(wk)经过核变换的表达式为:
对于距离度量函数d(xi,zj)来说,核化后的形式为:
实验数据采用行人重识别领域公开的数据集VIPeR、PRID450S、CUHK01。其中,VIPeR 数据集包含632个不同身份的行人,每个行人有两张来自不同摄像头的图像;PRID450S 数据集包含450个不同身份的行人,每个行人有两张从不相交的摄像头捕获的图像; CUHK01数据集包含3884张由971个不同身份的行人的图像。
在VIPeR数据集中,采用提出的wLOMO特征结合XQDA和k-XQDA度量学习方法 较LOMO特征结合XQDA度量学习方法的精度分别提升了10.47%和8.16%。在PRID450S 数据集中,采用提出的wLOMO特征结合XQDA和k-XQDA度量学习方法较LOMO特征 结合XQDA度量学习方法的精度分别提升了12.09%和6.94%。在CUHK01数据集中,采 用提出的wLOMO特征结合XQDA和k-XQDA度量学习方法较LOMO特征结合XQDA 度量学习方法的精度分别提升了15.03%和16.83%。
以上结合附图详细说明了本发明的技术方案,本发明的技术方案提出了一种新的基于 特征映射空间和样本判定的行人重识别方法。
该方法首先,在映射空间中引入水平方向图像块分布的均值与最大值加权融合模型, 能优化局部特征;其次,引入具有将像素特征的均值和协方差层次化的高斯分布模型,能 增强特征表达;最后,考虑训练样本数量对度量学习精度的影响,利用样本判定来选择合 适的度量学习方法,能进一步提高行人重识别精度。本发明针对行人重识别中图像视觉模 糊的存在会影响特征提取的质量,进一步影响度量学习和行人重识别的匹配率问题,以及 传统的度量学习方法对于样本数量的变化都采用单一的策略进行处理,没有考虑方法本身 对样本数量变化产生的精度影响问题,提出一种特征映射空间和样本判定的行人重识别方 法。
在本发明的描述中,需要说明的是,对于方位词,如有术语“中心”,“横向”、“纵向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、竖 直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示方位和位 置关系为基于附图所示的方位或位置关系,仅是为了便于叙述本发明和简化描述,而不是 指示或暗示所指的装置或元件必须具有特定的方位、以特定方位构造和操作,不能理解为 限制本发明的具体保护范围。
需要说明的是,本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有” 以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过 程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清 楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
注意,上述仅为本发明的较佳实施例及运用技术原理。本领域技术人员会理解,本发 明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新 调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行较详 细的说明,但本发明不限于这里所述的特定实施例,在不脱离本发明构思的情况下,还可 以包括更多其他等有效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (7)
1.一种基于特征映射空间和样本判定的行人重识别方法,其特征在于:依次包括如下步骤:
步骤一:数据的收集和分离:收集多个来自摄像头a和摄像头b在不同时间不同地点拍摄到的同一行人图像,并组成图像数据集;同时,将数据集随机划分为训练集和测试集;
步骤二:对于一幅长×宽大小为H×W的行人图像进行特征提取,采用m×m的滑动子窗口表示一幅行人图像的局部区域,tn+m<W,n∈N+,其中N+为正整数集合;在每个子窗口提取8×8×8bin的联合色调、饱和度、明度颜色发生率特征和两个尺度的尺度不变局部三值模式纹理发生率特征;设定同一水平位置所有子窗口的颜色最大发生率特征为同一水平位置所有子窗口的纹理最大发生率特征为FSILTP;根据得到的颜色特征和纹理特征,通过求最大值的方法,计算颜色特征最大发生率特征和FSILTP;
步骤四:通过对原始的行人图像进行两次2×2池化,下采样原始的行人图像到两个较小的尺度范围后,再次采用步骤二和步骤三中提取特征的方式提取图像特征;最后,将所有尺度的特征联合在一起形成行人图像的加权局部最大发生特征FwLOMO;即FwLOMO=[FHSV,FSILTP],FwLOMO是加权融合的wLOMO颜色特征,FSILTP是纹理最大发生率特征;
步骤五:对原始的行人图像提取像素级特征f;即:
f=[y,FMθ,Frgb,Fhsv,Flab,Frg]T其中,[·]T代表矩阵的转置;f中的颜色特征为Frgb,Fhsv,Flab,Frg,其中Frgb的特征值为行人图像红绿蓝颜色空间的通道值,Fhsv的特征值为行人图像色调、饱和度、明度颜色空间的通道值,Flab的特征值为行人图像AB亮度颜色空间的通道值,Frg的特征值为行人图像RG颜色空间的通道值;纹理特征为FMθ,Mθ由二维坐标系四个标准方向上的像素强度梯度值组成空间特征为y,y是图像垂直方向上像素的位置;
步骤六:在得到基本像素特征之后,提取块级特征:将每一幅行人图像分成G个部分重叠的水平区域,并在每个区域中划分大小为k×k的局部块s;每一个局部块s中的像素特征用高斯分布来表示,形成高斯块特征矩阵zi;
步骤七:得到块级特征之后,把高斯块zi映射到第一对称正定矩阵中,再通过高斯分布将映射到第一对称正定矩阵中的高斯块级特征建模成高斯区域特征;同时,将高斯区域特征矩阵嵌入到第二对称正定矩阵中;最后采用第二对称正定矩阵中的高斯区域特征构成一幅行人图像的高斯-高斯特征FGOG;
步骤八:按照行人的身份对齐加权局部最大发生特征FwLOMO和高斯-高斯特征FGOG,通过级联的方法把二者的特征映射过程简化到一个特征映射空间F;
步骤九:将行人图像输入到特征映射空间F中,得到步骤二至步骤八所构建的特征,使用样本判定的方法来选择使用不同的度量学习方法,来计算两幅行人图像特征间的距离,以此来表示两幅行人图像间的相似度:若当前训练集样本量小于判定的训练集样本量时,采用XQDA方法;若当前训练集样本量大于判定的训练集样本量时,采用k-XQDA方法。
6.根据权利要求1所述的基于特征映射空间和样本判定的行人重识别方法,其特征在于,步骤九中,XQDA的方法如下:求得摄像头a中行人xi=[xi1,xi2,...,xin]与摄像头b中行人zj=[zj1,zj2,...,zjn]之间的相似度d(xi,zj),即:
d(xi,zj)=(xi-zj)TM(xi-zj)
其中,M的表达式为:
其中,∑'I=WT∑IW,∑'E=WT∑EW,∑I是类内协方差矩阵,∑E是类间协方差矩阵;
先求解W,再求解类内和类间协方差矩阵,最后计算行人图像间相似度d;求解W的问题可以转换为求解J(wk)的广义瑞利熵问题,即:
7.根据权利要求1所述的基于特征映射空间和样本判定的行人重识别方法,其特征在于,步骤九中,所述k-XQDA方法在XQDA方法的基础上,使用核函数将原始样本映射到容易区分的非线性空间中,再引入两种分别对应摄像头a和b中行人的膨胀系数α,α∈[0,1]和β,β∈[0,1];因此,核化后的映射矩阵wk,k∈[1,q]的表达式为:
其中,Φx=[φ(x1),...,φ(xn)],φ(xn)代表摄像头a中行人特征xn通过核函数计算后的行人特征,Φx代表摄像头a中核化后的行人特征集;Φz=[φ(z1),...,φ(zm)],φ(zm)代表摄像头b中行人特征zm通过核函数计算后的行人特征,Φz代表摄像头b中核化后的行人特征集;wk可以写为wk=Φxαk+Φzβk=Φθk, 是第n个行人图像特征在第k个子空间中的膨胀系数, 是第m个行人图像特征在第k个子空间中的膨胀系数,θk=[αk,βk]T,Φ=[Φx,Φz];J(wk)经过核变换的表达式为:
对于距离度量函数d(xi,zj)来说,核化后的形式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110734275.8A CN113536995B (zh) | 2021-06-30 | 2021-06-30 | 一种基于特征映射空间和样本判定的行人重识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110734275.8A CN113536995B (zh) | 2021-06-30 | 2021-06-30 | 一种基于特征映射空间和样本判定的行人重识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113536995A CN113536995A (zh) | 2021-10-22 |
CN113536995B true CN113536995B (zh) | 2022-11-18 |
Family
ID=78097308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110734275.8A Active CN113536995B (zh) | 2021-06-30 | 2021-06-30 | 一种基于特征映射空间和样本判定的行人重识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113536995B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110046599A (zh) * | 2019-04-23 | 2019-07-23 | 东北大学 | 基于深度融合神经网络行人重识别技术的智能监控方法 |
CN110084108A (zh) * | 2019-03-19 | 2019-08-02 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 基于gan神经网络的行人重识别系统及方法 |
CN110175511A (zh) * | 2019-04-10 | 2019-08-27 | 杭州电子科技大学 | 一种嵌入正负样本对距离分布的行人重识别方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9117147B2 (en) * | 2011-04-29 | 2015-08-25 | Siemens Aktiengesellschaft | Marginal space learning for multi-person tracking over mega pixel imagery |
CN107316031B (zh) * | 2017-07-04 | 2020-07-10 | 北京大学深圳研究生院 | 用于行人重识别的图像特征提取方法 |
CN109902590B (zh) * | 2019-01-30 | 2022-09-16 | 西安理工大学 | 深度多视图特征距离学习的行人重识别方法 |
CN111259756A (zh) * | 2020-01-10 | 2020-06-09 | 西安培华学院 | 基于局部高频次特征和混合度量学习的行人重识别方法 |
CN111382751B (zh) * | 2020-03-11 | 2023-04-18 | 西安应用光学研究所 | 一种基于颜色特征的目标再识别方法 |
-
2021
- 2021-06-30 CN CN202110734275.8A patent/CN113536995B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110084108A (zh) * | 2019-03-19 | 2019-08-02 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 基于gan神经网络的行人重识别系统及方法 |
CN110175511A (zh) * | 2019-04-10 | 2019-08-27 | 杭州电子科技大学 | 一种嵌入正负样本对距离分布的行人重识别方法 |
CN110046599A (zh) * | 2019-04-23 | 2019-07-23 | 东北大学 | 基于深度融合神经网络行人重识别技术的智能监控方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113536995A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019169816A1 (zh) | 一种用于精细化识别车辆属性的深度神经网络及训练方法 | |
CN108647681B (zh) | 一种带有文本方向校正的英文文本检测方法 | |
CN111695522B (zh) | 一种平面内的旋转不变人脸检测方法、装置及存储介质 | |
CN107358260B (zh) | 一种基于表面波cnn的多光谱图像分类方法 | |
CN111582044B (zh) | 基于卷积神经网络和注意力模型的人脸识别方法 | |
Smith et al. | Classification of archaeological ceramic fragments using texture and color descriptors | |
CN109447123B (zh) | 一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法 | |
CN108932518B (zh) | 一种基于视觉词袋模型的鞋印图像特征提取及检索方法 | |
CN103985130B (zh) | 一种针对复杂纹理图像的图像显著性分析方法 | |
CN104657980A (zh) | 一种改进的基于Meanshift的多通道图像分割算法 | |
CN113052185A (zh) | 一种基于Faster R-CNN的小样本目标检测方法 | |
CN105893971A (zh) | 一种基于Gabor和稀疏表示的交通信号灯识别方法 | |
CN108229551A (zh) | 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法 | |
CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
CN116052016A (zh) | 基于深度学习的遥感图像云和云影的精细分割检测方法 | |
CN110110618A (zh) | 一种基于pca和全局对比度的sar目标检测方法 | |
CN107610136B (zh) | 基于凸包结构中心查询点排序的显著目标检测方法 | |
CN110188646B (zh) | 基于梯度方向直方图与局部二值模式融合的人耳识别方法 | |
CN109711420B (zh) | 基于人类视觉注意机制的多仿射目标的检测与识别方法 | |
CN106971402B (zh) | 一种基于光学辅助的sar图像变化检测方法 | |
CN109241932A (zh) | 一种基于运动方差图相位特征的热红外人体动作识别方法 | |
CN106934395B (zh) | 一种采用surf特征和颜色特征相融合的刚体目标跟踪方法 | |
CN103455798B (zh) | 基于最大几何流向直方图的人体检测方法 | |
CN113536995B (zh) | 一种基于特征映射空间和样本判定的行人重识别方法 | |
CN106603888A (zh) | 图像颜色提取处理结构 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |