CN107330416A - 一种基于判别结构测度学习的行人再识别方法 - Google Patents
一种基于判别结构测度学习的行人再识别方法 Download PDFInfo
- Publication number
- CN107330416A CN107330416A CN201710556688.5A CN201710556688A CN107330416A CN 107330416 A CN107330416 A CN 107330416A CN 201710556688 A CN201710556688 A CN 201710556688A CN 107330416 A CN107330416 A CN 107330416A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- pedestrian
- image
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种基于判别结构测度学习的行人再识别方法,该方法包括:将每幅训练图像划分为K个子区域并提取特征;对相似行人图像对的对应子区域学习得到类内子区域度量;对相似行人图像对的非对应子区域学习得到弱类外子区域度量;对非相似行人图像对的对应和非对应子区域学习得到类外子区域度量;基于三种度量得到映射矩阵H;计算两幅行人图像对应子区域的马氏距离;训练得到子区域的权重;求得测试图像与每幅训练图像对应子区域间的马氏距离,进而得到该测试图像与所有训练图像的相似度得分,据此得到测试图像的行人再识别结果。本发明充分挖掘图像的结构信息和自动寻找判别性子区域,提高了行人再识别匹配的正确率。
Description
技术领域
本发明属于计算机视觉领域,具体涉及一种基于判别结构测度学习的行人再识别方法。
背景技术
随着人们对社会公共安全的日益关注以及视频采集技术和大规模数据存储技术的发展,大量的监控摄像头应用在商场、公园、学校、医院、公司、体育场馆、大型广场、地铁站等人群密集易发生公共安全事件的场所。人工已难以应对海量增长的监控视频,因此利用计算机对监控视频中的行人等进行再识别(Re-identification)的需求应运而生。行人再识别技术是监控视频分析和理解过程中的一个十分重要的研究点,在智能视频监控、行人分析、图像检索、体感游戏和多媒体检索等领域都具有非常大的应用价值。经过不同机构和研究者们的努力,行人再识别的性能得到了重大的改善,并使得它能更加适用于真实监控场景。但是,由于人体姿态多样性、摄像机视角变化、光照变化和复杂背景等因素的存在,人体的表观信息往往发生巨大的变化,这导致了较大的类内差异,从而给开发高效、鲁棒和可用的行人再识别算法带来了巨大的挑战。
近几年行人再识别被广泛研究,行人再识别的两个基本问题是特征表示和测度学习。对于特征表示,几种有效的特征表示已经被提出,比如,局部特征集合(Ensemble ofLocal Features,ELF)、费舍尔向量特征(Fisher Vectors,LDFV)、局部最大共生特征(Local Maximal Occurrence,LOMO)等。对于测度学习,大量行人再识别的方法被提出,并取得了较大的进步。其中,Dikmen等人提出了大幅度最近邻与排斥的度量方法(LargeMargin Nearest Neighbor with Rejection,LMNN-R),它可以通过设置某一阈值更好的处理行人图像的视角变化。Koestinger等人介绍了KISSME方法,它学习了基于统计推断观点的等价约束距离度量。Liao等人提出了一种交叉视角的二次性判别分析度量方法,这种方法同时学习了判别性子空间与距离度量函数。Zheng等人提出了一种度量方法称为概率相对距离比较算法,这种方法最大化一对正确匹配的图像之间的距离比一对错误配对图像的距离小的概率。进一步地,Zhao等人提出在子区域(图形块)的水平上匹配两幅图,这种方法考虑到行人图像的结构信息,提高了行人图像匹配的正确率。Wang等人提出了建立外观模型来计算图像区域之间的相似性。Chen等人利用两幅行人图像相对应的子区域学习距离函数,进一步考虑了图像的结构信息。虽然以上方法取得了较大的成功,但是一些度量方法将行人图片作为一个整体来测量两幅图像的相似度,忽略了行人的局部表现,还有一些度量方法没有充分挖掘行人的结构信息,结构信息被证实对视角和姿态变化具有鲁棒性,这会使行人再识别匹配的正确率下降。
发明内容
本发明的目的是要解决行人结构信息对行人再识别结果影响较大的技术问题,为此,本发明提供一种基于判别结构测度学习的行人再识别方法。
为了实现所述目的,本发明提出的一种基于判别结构测度学习的行人再识别方法包括以下步骤:
步骤S1,将每幅行人再识别训练图像划分为K个子区域并为每个子区域提取特征;
步骤S2,基于每个子区域的特征,对行人再识别训练图像中相似行人图像对的对应子区域进行学习,得到类内子区域度量MI;
步骤S3,基于每个子区域的特征,对行人再识别训练图像中相似行人图像对的非对应子区域进行学习,得到弱类外子区域度量∑W;
步骤S4,对行人再识别训练图像中非相似行人图像对的对应和非对应子区域进行学习,得到类外子区域度量∑E;
步骤S5,基于类内子区域度量MI、弱类外子区域度量∑W和类外子区域度量∑E,学习得到映射矩阵H;
步骤S6,利用映射矩阵H,计算行人再识别训练图像中两幅行人图像对应子区域的马氏距离;
步骤S7,训练得到每幅行人再识别训练图像中K个子区域的权重,并据此得到判别性子区域,结合不同权重的判别性子区域的相似度得分得到两幅行人再识别训练图像的相似度得分;
步骤S8,根据步骤S1-S7求得测试图像与每幅训练图像对应子区域间的马氏距离,进而得到该测试图像与所有训练图像的相似度得分,据此得到测试图像的行人再识别结果。
可选地,所述步骤S1包括:
步骤S11,将每幅行人再识别训练图像划分为K个子区域;
步骤S12,为每个子区域提取特征。
可选地,所述步骤S12中,为每个子区域提取局部最大共生特征。
可选地,所述类内子区域度量MI表示为:
其中,pik表示第i个行人图像的第k个子区域的特征向量,qjk表示第j个行人图像的第k个子区域的特征向量,vij=1表示约束第i幅和第j幅行人图像应属于相似行人图像对。
可选地,所述弱类外子区域度量∑W表示为:
其中,k和g表示行人图像的第k个和第g个子区域,pik表示第i个行人图像的第k个子区域的特征向量,qjg表示第j个行人图像的第k个子区域的特征向量,k≠g表示两幅图像的非对应子区域。
可选地,所述类外子区域度量∑E表示为:
其中,pik表示第i个行人图像的第k个子区域的特征向量,qjg表示第j个行人图像的第k个子区域的特征向量,vij=0表示第i幅和第j幅行人图像属于非相似行人图像对。
可选地,所述步骤S5包括以下步骤:
步骤S51,利用类内子区域度量MI、弱类外子区域度量∑W及类外子区域度量∑E对于瑞利熵公式进行变换,变换后的瑞利熵公式表示为:
其中,H为映射矩阵,λ为控制弱类外子区域度量影响程度的系数;
步骤S52,利用广义特征值分解的方法最优化瑞利熵公式中的映射矩阵H得到映射矩阵H。
可选地,所述步骤S6中两幅行人图像对应子区域的马氏距离dk表示为:
dk=(p′ik-q′jk)TA(p′ik-q′jk),
其中,p′ik=HTpik,q′jk=HTqjk,为在低维空间学习得到的半正定矩阵,其中,M′I=HTMIH,Σ′E=HTΣEH,Σ′W=HTΣWH。
可选地,所述步骤S7包括以下步骤:
步骤S71,在行人再识别训练图像中,取相似行人图像对的对应子区域提取得到的特征作为正样本,取非相似行人图像对的对应子区域提取得到的特征作为负样本,将正负样本送入分类器中,得到分类器系数ω=(ω1,ω2,...ωk,...ωK);
步骤S72,对分类器系数进行归一化处理,得到
步骤S73,取归一化处理后的系数的前l个最大值,将剩余系数置为0,将l个最大值作为对应子区域的权重,将l个最大值对应的子区域作为判别性子区域;
步骤S74,将两幅图像的判别性子区域的马氏距离与对应的权重进行乘积得到判别性子区域的相似度得分,对所有判别性子区域的相似度得分进行求和得到两幅图像的相似度得分。
可选地,两幅图像的相似度得分可表示为:
其中,d(pi,qj)表示第i幅图像和第j幅图像的相似度得分,为每幅行人图像第k个子区域的权重。
本发明的有益效果为:本发明通过局部学习的方式,利用三种度量方法学习映射矩阵得到度量函数并且提出了一种结合方法,用于结合图像中判别性子区域的局部相似度得分,得到两幅图像整体的相似度得分,达到充分挖掘图像的结构信息和自动寻找判别性子区域的目的,从而提高行人再识别匹配的正确率。
需要说明的是,本发明得到了国家自然科学基金项目No.61501327、No.61711530240、No.61401310、No.61401309,天津市自然科学基金重点项目No.17JCZDJC30600,天津市应用基础与前沿技术研究计划青年基金项目No.15JCQNJC01700,模式识别国家重点实验室开放课题基金No.201700001的资助。
附图说明
图1是根据本发明一实施例的一种基于判别结构测度学习的行人再识别方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例的一种基于判别结构测度学习的行人再识别方法的流程图,下面以图1为例来说明本发明的一些具体实现流程。本发明一种基于判别结构测度学习的行人再识别方法包括以下步骤:
步骤S1,将每幅行人再识别训练图像划分为K个子区域并为每个子区域提取特征;
其中,所述步骤S1包括以下步骤:
步骤S11,将每幅行人再识别训练图像划分为K个子区域,在本发明一实施例中,所述K个子区域为K个水平条;
步骤S12,为每个子区域提取特征,在本发明一实施例中,所提取的特征为局部最大共生特征(Local Maximal Occurrence,LOMO),在实际应用中,也可提取其他特征,具体可根据实际应用的需要进行选择。
步骤S2,基于每个子区域的特征,对行人再识别训练图像中相似行人图像对的对应子区域进行学习,得到类内子区域度量MI;
其中,所述类内子区域度量MI表示为:
s.t.vij=1
其中,pik表示第i个行人图像的第k个子区域的特征向量,qjk表示第j个行人图像的第k个子区域的特征向量,vij=1表示约束第i幅和第j幅行人图像应属于相似行人图像对。
在本发明一实施例中,所述相似行人图像对表示同一个行人不同角度的两幅图像。
步骤S3,基于每个子区域的特征,对行人再识别训练图像中相似行人图像对的非对应子区域进行学习,得到弱类外子区域度量∑W;
其中,所述弱类外子区域度量∑W表示为:
s.t.vij=1,k≠g
其中,k和g表示行人图像的第k个和第g个子区域,qjg表示第j个行人图像的第k个子区域的特征向量,k≠g表示两幅图像的非对应子区域。
步骤S4,对行人再识别训练图像中非相似行人图像对的对应和非对应子区域进行学习,得到类外子区域度量∑E;
其中,所述类外子区域度量∑E表示为:
s.t.vij=0
其中,vij=0表示第i幅和第j幅行人图像属于非相似行人图像对。
在本发明一实施例中,所述非相似行人图像对表示不同行人在不同视角下的两幅图像。
步骤S5,基于类内子区域度量MI、弱类外子区域度量∑W和类外子区域度量∑E,学习得到映射矩阵H;
其中,所述步骤S5包括以下步骤:
步骤S51,利用类内子区域度量MI、弱类外子区域度量∑W及类外子区域度量∑E对于瑞利熵公式进行变换;
步骤S52,利用广义特征值分解的方法最优化瑞利熵公式中的映射矩阵H得到映射矩阵H。
进一步地,所述步骤S51中,变换后的瑞利熵公式表示为:
其中,H为映射矩阵,λ为控制弱类外子区域度量影响程度的系数。
在本发明一实施例中,λ的取值为0.02~0.18,比如λ=0.12。
进一步地,所述步骤S52中,最优化映射矩阵H需要首先求解的特征值及所对应的特征向量,然后取前r个最大特征值对应的特征向量H=(H1,H2...Hr)作为所求映射矩阵H。
步骤S6,利用映射矩阵H,计算行人再识别训练图像中两幅行人图像对应子区域的马氏距离;
其中,两幅行人图像对应子区域的马氏距离dk表示为:
dk=(p′ik-q′jk)TA(p′ik-q′jk)
其中,p′ik=HTpik,q′jk=HTqjk,为在低维空间学习得到的半正定矩阵,其中,M′I=HTMIH,Σ′E=HTΣEH以及Σ′W=HTΣWH。
步骤S7,训练得到每幅行人再识别训练图像中K个子区域的权重,并据此得到判别性子区域,结合不同权重的判别性子区域的相似度得分得到两幅行人再识别训练图像的相似度得分;
其中,所述步骤S7包括以下步骤:
步骤S71,在行人再识别训练图像中,取相似行人图像对的对应子区域提取得到的特征作为正样本,取非相似行人图像对的对应子区域提取得到的特征作为负样本,将正负样本送入分类器中,比如SVM分类器,得到分类器系数ω=(ω1,ω2,...ωk,...ωK);
步骤S72,对分类器系数进行归一化处理,得到
步骤S73,取归一化处理后的系数的前l个最大值,将剩余系数置为0,将l个最大值作为对应子区域的权重,将l个最大值对应的子区域作为判别性子区域;
在本发明一实施例中,l=90%K,实验证明,l=90%K左右时取得的识别效果最好,其中,K为每幅图像划分得到的子区域的个数。
步骤S74,将两幅图像的判别性子区域的马氏距离与对应的权重进行乘积得到判别性子区域的相似度得分,对所有判别性子区域的相似度得分进行求和得到两幅图像的相似度得分。
进一步地,两幅图像的相似度得分可表示为:
其中,d(pi,qj)表示第i幅图像和第j幅图像的相似度得分,为每幅行人图像第k个子区域的权重。
步骤S8,在测试阶段,根据步骤S1-S7求得测试图像与每幅训练图像对应子区域间的马氏距离,进而得到该测试图像与所有训练图像的相似度得分,得分最高的两幅图像被认为是相似行人图像对,据此得到测试图像的行人再识别结果。
该步骤中,每幅图像子区域的权重已在训练阶段得到,在测试阶段,求得测试图像与每幅训练图像对应子区域间的马氏距离后,就可以得到测试图像与所有训练图像的相似度得分。
以网上公开的行人再识别数据库作为测试对象,比如在VIPeR数据库上,当λ=0.1,l=90%K时,行人再识别匹配的正确率分别为44.02%(rank 1),85.40%(rank 10),和92.83%(rank 20)。由此可见本发明方法的有效性。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (10)
1.一种基于判别结构测度学习的行人再识别方法,其特征在于,所述方法包括:
步骤S1,将每幅行人再识别训练图像划分为K个子区域并为每个子区域提取特征;
步骤S2,基于每个子区域的特征,对行人再识别训练图像中相似行人图像对的对应子区域进行学习,得到类内子区域度量MI;
步骤S3,基于每个子区域的特征,对行人再识别训练图像中相似行人图像对的非对应子区域进行学习,得到弱类外子区域度量∑W;
步骤S4,对行人再识别训练图像中非相似行人图像对的对应和非对应子区域进行学习,得到类外子区域度量∑E;
步骤S5,基于类内子区域度量MI、弱类外子区域度量∑W和类外子区域度量∑E,学习得到映射矩阵H;
步骤S6,利用映射矩阵H,计算行人再识别训练图像中两幅行人图像对应子区域的马氏距离;
步骤S7,训练得到每幅行人再识别训练图像中K个子区域的权重,并据此得到判别性子区域,结合不同权重的判别性子区域的相似度得分得到两幅行人再识别训练图像的相似度得分;
步骤S8,根据步骤S1-S7求得测试图像与每幅训练图像对应子区域间的马氏距离,进而得到该测试图像与所有训练图像的相似度得分,据此得到测试图像的行人再识别结果。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1包括:
步骤S11,将每幅行人再识别训练图像划分为K个子区域;
步骤S12,为每个子区域提取特征。
3.根据权利要求2所述的方法,其特征在于,所述步骤S12中,为每个子区域提取局部最大共生特征。
4.根据权利要求1所述的方法,其特征在于,所述类内子区域度量MI表示为:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>M</mi>
<mi>I</mi>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>k</mi>
</munder>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>j</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>j</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
<msub>
<mi>v</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>,</mo>
</mrow>
其中,pik表示第i个行人图像的第k个子区域的特征向量,qjk表示第j个行人图像的第k个子区域的特征向量,vij=1表示约束第i幅和第j幅行人图像应属于相似行人图像对。
5.根据权利要求1所述的方法,其特征在于,所述弱类外子区域度量∑W表示为:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&Sigma;</mi>
<mi>W</mi>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>k</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>g</mi>
</munder>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>j</mi>
<mi>g</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>j</mi>
<mi>g</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
<msub>
<mi>v</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mi>k</mi>
<mo>&NotEqual;</mo>
<mi>g</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>,</mo>
</mrow>
其中,k和g表示行人图像的第k个和第g个子区域,pik表示第i个行人图像的第k个子区域的特征向量,qjg表示第j个行人图像的第k个子区域的特征向量,k≠g表示两幅图像的非对应子区域。
6.根据权利要求1所述的方法,其特征在于,所述类外子区域度量∑E表示为:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&Sigma;</mi>
<mi>E</mi>
</msub>
<mo>=</mo>
<munder>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</munder>
<munder>
<mi>&Sigma;</mi>
<mi>k</mi>
</munder>
<munder>
<mi>&Sigma;</mi>
<mi>g</mi>
</munder>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>j</mi>
<mi>g</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>j</mi>
<mi>g</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
<msub>
<mi>v</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>,</mo>
</mrow>
其中,pik表示第i个行人图像的第k个子区域的特征向量,qjg表示第j个行人图像的第k个子区域的特征向量,vij=0表示第i幅和第j幅行人图像属于非相似行人图像对。
7.根据权利要求1所述的方法,其特征在于,所述步骤S5包括以下步骤:
步骤S51,利用类内子区域度量MI、弱类外子区域度量∑W及类外子区域度量∑E对于瑞利熵公式进行变换,变换后的瑞利熵公式表示为:
<mrow>
<mi>&xi;</mi>
<mrow>
<mo>(</mo>
<mi>H</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mi>H</mi>
<mi>T</mi>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>&Sigma;</mi>
<mi>E</mi>
</msub>
<mo>+</mo>
<msub>
<mi>&lambda;&Sigma;</mi>
<mi>W</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>H</mi>
</mrow>
<mrow>
<msup>
<mi>H</mi>
<mi>T</mi>
</msup>
<msub>
<mi>M</mi>
<mi>I</mi>
</msub>
<mi>H</mi>
</mrow>
</mfrac>
<mo>,</mo>
</mrow>
其中,H为映射矩阵,λ为控制弱类外子区域度量影响程度的系数;
步骤S52,利用广义特征值分解的方法最优化瑞利熵公式中的映射矩阵H得到映射矩阵H。
8.根据权利要求1所述的方法,其特征在于,所述步骤S6中两幅行人图像对应子区域的马氏距离dk表示为:
dk=(p′ik-q′jk)TA(p′ik-q′jk),
其中,p′ik=HTpik,q′jk=HTqjk,为在低维空间学习得到的半正定矩阵,其中,M′I=HTMIH,Σ′E=HTΣEH,Σ′W=HTΣWH。
9.根据权利要求1所述的方法,其特征在于,所述步骤S7包括以下步骤:
步骤S71,在行人再识别训练图像中,取相似行人图像对的对应子区域提取得到的特征作为正样本,取非相似行人图像对的对应子区域提取得到的特征作为负样本,将正负样本送入分类器中,得到分类器系数ω=(ω1,ω2,...ωk,...ωK);
步骤S72,对分类器系数进行归一化处理,得到
步骤S73,取归一化处理后的系数的前l个最大值,将剩余系数置为0,将l个最大值作为对应子区域的权重,将l个最大值对应的子区域作为判别性子区域;
步骤S74,将两幅图像的判别性子区域的马氏距离与对应的权重进行乘积得到判别性子区域的相似度得分,对所有判别性子区域的相似度得分进行求和得到两幅图像的相似度得分。
10.根据权利要求9所述的方法,其特征在于,两幅图像的相似度得分可表示为:
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>q</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>k</mi>
</munder>
<msub>
<mi>&alpha;</mi>
<mi>k</mi>
</msub>
<msub>
<mi>d</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mrow>
<mi>i</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>q</mi>
<mrow>
<mi>j</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中,d(pi,qj)表示第i幅图像和第j幅图像的相似度得分,为每幅行人图像第k个子区域的权重。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710556688.5A CN107330416B (zh) | 2017-07-10 | 2017-07-10 | 一种基于判别结构测度学习的行人再识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710556688.5A CN107330416B (zh) | 2017-07-10 | 2017-07-10 | 一种基于判别结构测度学习的行人再识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107330416A true CN107330416A (zh) | 2017-11-07 |
CN107330416B CN107330416B (zh) | 2019-08-09 |
Family
ID=60197278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710556688.5A Active CN107330416B (zh) | 2017-07-10 | 2017-07-10 | 一种基于判别结构测度学习的行人再识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107330416B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108229444A (zh) * | 2018-02-09 | 2018-06-29 | 天津师范大学 | 一种基于整体和局部深度特征融合的行人再识别方法 |
CN108416295A (zh) * | 2018-03-08 | 2018-08-17 | 天津师范大学 | 一种基于局部嵌入深度特征的行人再识别方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007103494A2 (en) * | 2006-03-09 | 2007-09-13 | General Electric Company | Method and system for performing image re-identification |
CN105989369A (zh) * | 2015-02-15 | 2016-10-05 | 中国科学院西安光学精密机械研究所 | 基于度量学习的行人再识别方法 |
CN106250870A (zh) * | 2016-08-16 | 2016-12-21 | 电子科技大学 | 一种联合局部和全局相似性度量学习的行人再识别方法 |
CN106778464A (zh) * | 2016-11-09 | 2017-05-31 | 深圳市深网视界科技有限公司 | 一种基于深度学习的行人重识别方法和装置 |
CN106803063A (zh) * | 2016-12-21 | 2017-06-06 | 华中科技大学 | 一种行人重识别的度量学习方法 |
US20170178345A1 (en) * | 2015-12-17 | 2017-06-22 | Canon Kabushiki Kaisha | Method, system and apparatus for matching moving targets between camera views |
CN106919909A (zh) * | 2017-02-10 | 2017-07-04 | 华中科技大学 | 一种行人重识别的度量学习方法和系统 |
-
2017
- 2017-07-10 CN CN201710556688.5A patent/CN107330416B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007103494A2 (en) * | 2006-03-09 | 2007-09-13 | General Electric Company | Method and system for performing image re-identification |
CN105989369A (zh) * | 2015-02-15 | 2016-10-05 | 中国科学院西安光学精密机械研究所 | 基于度量学习的行人再识别方法 |
US20170178345A1 (en) * | 2015-12-17 | 2017-06-22 | Canon Kabushiki Kaisha | Method, system and apparatus for matching moving targets between camera views |
CN106250870A (zh) * | 2016-08-16 | 2016-12-21 | 电子科技大学 | 一种联合局部和全局相似性度量学习的行人再识别方法 |
CN106778464A (zh) * | 2016-11-09 | 2017-05-31 | 深圳市深网视界科技有限公司 | 一种基于深度学习的行人重识别方法和装置 |
CN106803063A (zh) * | 2016-12-21 | 2017-06-06 | 华中科技大学 | 一种行人重识别的度量学习方法 |
CN106919909A (zh) * | 2017-02-10 | 2017-07-04 | 华中科技大学 | 一种行人重识别的度量学习方法和系统 |
Non-Patent Citations (4)
Title |
---|
SHENGCAI LIAO 等: "Person re-identification by Local Maximal Occurrence representation and metric learning", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
VENICE ERIN LIONG 等: "Discriminative Regularized Metric Learning for Person Re-Identification", 《2015 INTERNATIONAL CONFERENCE ON BIOMETRICS (ICB)》 * |
余婧 等: "基于距离匹配的行人再识别技术综述", 《微处理机》 * |
詹敏 等: "基于自适应度量学习的行人再识别", 《电脑知识与技术》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108229444A (zh) * | 2018-02-09 | 2018-06-29 | 天津师范大学 | 一种基于整体和局部深度特征融合的行人再识别方法 |
CN108229444B (zh) * | 2018-02-09 | 2021-10-12 | 天津师范大学 | 一种基于整体和局部深度特征融合的行人再识别方法 |
CN108416295A (zh) * | 2018-03-08 | 2018-08-17 | 天津师范大学 | 一种基于局部嵌入深度特征的行人再识别方法 |
CN108416295B (zh) * | 2018-03-08 | 2021-10-15 | 天津师范大学 | 一种基于局部嵌入深度特征的行人再识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107330416B (zh) | 2019-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107506702B (zh) | 基于多角度的人脸识别模型训练及测试系统及方法 | |
CN110837784B (zh) | 一种基于人体头部特征的考场偷窥作弊检测系统 | |
CN107145842B (zh) | 结合lbp特征图与卷积神经网络的人脸识别方法 | |
CN108921107B (zh) | 基于排序损失和Siamese网络的行人再识别方法 | |
CN109101865A (zh) | 一种基于深度学习的行人重识别方法 | |
CN103218609B (zh) | 一种基于隐最小二乘回归的多姿态人脸识别方法及其装置 | |
CN105574510A (zh) | 一种步态识别方法及装置 | |
CN105005772B (zh) | 一种视频场景检测方法 | |
CN109165566A (zh) | 一种基于新型损失函数的人脸识别卷积神经网络训练方法 | |
US11194997B1 (en) | Method and system for thermal infrared facial recognition | |
CN107103281A (zh) | 基于聚集损失深度度量学习的人脸识别方法 | |
CN109961051A (zh) | 一种基于聚类和分块特征提取的行人重识别方法 | |
CN102880877A (zh) | 一种基于轮廓特征的目标识别方法 | |
CN103366160A (zh) | 融合肤色、人脸和敏感部位检测的不良图像判别方法 | |
CN103279768A (zh) | 一种基于增量学习人脸分块视觉表征的视频人脸识别方法 | |
CN107230267A (zh) | 基于人脸识别算法的幼儿园智能签到方法 | |
CN110135282A (zh) | 一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法 | |
CN108345866B (zh) | 一种基于深度特征学习的行人再识别方法 | |
WO2015165227A1 (zh) | 人脸识别方法 | |
CN109544523A (zh) | 基于多属性人脸比对的人脸图像质量评价方法及装置 | |
CN105426882A (zh) | 一种人脸图像中快速定位人眼的方法 | |
CN108875564A (zh) | 一种宠物面部识别方法 | |
CN103198330A (zh) | 基于深度视频流的实时人脸姿态估计方法 | |
CN108960142A (zh) | 基于全局特征损失函数的行人再识别方法 | |
Xu et al. | Classroom attention analysis based on multiple euler angles constraint and head pose estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |