CN106022226A - 一种基于多方向多通道条形结构的行人再辨识方法 - Google Patents

一种基于多方向多通道条形结构的行人再辨识方法 Download PDF

Info

Publication number
CN106022226A
CN106022226A CN201610309021.0A CN201610309021A CN106022226A CN 106022226 A CN106022226 A CN 106022226A CN 201610309021 A CN201610309021 A CN 201610309021A CN 106022226 A CN106022226 A CN 106022226A
Authority
CN
China
Prior art keywords
pedestrian
bsv
image
strip structure
theta
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610309021.0A
Other languages
English (en)
Other versions
CN106022226B (zh
Inventor
赵才荣
王学宽
苗夺谦
章宗彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201610309021.0A priority Critical patent/CN106022226B/zh
Publication of CN106022226A publication Critical patent/CN106022226A/zh
Application granted granted Critical
Publication of CN106022226B publication Critical patent/CN106022226B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多方向多通道条形结构的行人再辨识方法,包括以下步骤:1)分别获取待辨识行人图像和对比图像中像素点对应的多方向双颜色通道条形结构特征集Bθ;2)采用颜色差分获取该像素点的多方向双通道条形结构加权颜色差分权重集Wθ;3)采用滑动窗口分别获取不同方向上的直方图描述符Hθ;4)根据堪培拉距离计算基于直方图描述符Hθ的待辨识行人图像和对比图像的距离集Ds;5)选择距离集Ds中最优三元组距离对、ELF描述符和HOG描述符作为特征码,并获取待辨识行人图像和对比图像之间的最终距离;6)根据最近相邻理论,对距离进行排序,最终获取待辨识行人图像和对比图像的匹配率与现有技术相比,本发明具有快速准确、鲁棒性好等优点。

Description

一种基于多方向多通道条形结构的行人再辨识方法
技术领域
本发明涉及监控视频智能分析领域,尤其是涉及一种基于多方向多通道条形结构的行人再辨识方法。
背景技术
行人再辨识是指在一个多摄像机组成的系统中,针对不同摄像机视角下的行人进行匹配的问题。它对于行人身份、行为等不同方面的分析提供了关键性帮助,并发展成为智能视频监控领域的关键组成部分。
行人再辨识领域中主要的方法可以分为以下两类:1)基于外观的行人再辨识方法;2)基于度量学习的方法。低层次特征,例如:颜色(颜色空间、直方图,主颜色等)与纹理(LBP,Gabor,共生矩阵等)已经被广泛应用于基于外观的特征表示方法中。其中,多数方法主要集中于寻找鲁棒性更好、更可靠的行人特征来描述行人,进行再辨识,例如:基于对称性的累积特征描述符,协方差描述符,基于水平条纹的划分描述符,金字塔匹配描述符,图形匹配,显著性匹配,深度学习模型等等。这些低层次特征的优点是计算时相对简单,缺点是不具备较好的语义表达能力,这是行人再辨识仍然仍存在识别性能不佳,可靠性、稳定性较差等问题。
在特征表示方法之后,如何度量不同行人图片的距离也是行人再辨识领域的关键问题之一。现有的距离度量模型主要分为非学习方法和学习方法两类。其中多数方法选择了简单的非学习度量方法,例如:一阶距离、二阶距离、巴氏距离等。然而,由于提取出的行人特征的冗余性、鲁棒性等问题的影响,辨识结果并不理想。而基于学习的度量方法,通常学习不同摄像机下相同行人与不同行人外观特征的鉴别信息等,最优化样本之间的差异性和相似性,因此,辨识效果往往相对较好。这种方法主要包括RankSVM,相对距离比较,基于核方法的度量学习,马氏距离学习,深度度量学习以及度量集成等等。总体来看,这些方法将行人再辨识的过程分为了两步:特征表示和距离度量,这种方法把特征表示和度量割裂开来,而且实际上距离度量效果和特征表示有紧密的联系,不可完全切割。
专利CN104992142A提出了一种基于深度学习和属性学习相结合的行人识别方法,能够从更高语义层描述行人特征,然而,训练模型过于复杂,并且受限于行人属性的选择。进一步,由于光照变化、姿态、视角、遮挡、图像分辨率等各方面因素的影响,这使得在监控视频智能分析中行人再辨识性能依然不佳。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多方向多通道条形结构的行人再辨识方法。
本发明的目的可以通过以下技术方案来实现:
一种基于多方向多通道条形结构的行人再辨识方法,包括以下步骤:
1)分别获取待辨识行人图像和对比图像中像素点对应的多方向双颜色通道条形结构特征集Bθ
2)根据多方向双颜色通道条形结构特征集Bθ采用颜色差分获取该像素点的多方向双通道条形结构加权颜色差分权重集Wθ
3)根据多方向双通道条形结构加权颜色差分权重集Wθ,并且采用滑动窗口分别获取不同方向上的直方图描述符Hθ
4)根据堪培拉距离计算基于直方图描述符Hθ的待辨识行人图像和对比图像的距离集Ds
5)选择距离集Ds中最优三元组距离对、ELF描述符和HOG描述符作为特征码,并获取待辨识行人图像和对比图像之间的最终距离;
6)根据最近相邻理论,对距离进行排序,最终获取待辨识行人图像和对比图像的匹配率。
所述的步骤1)具体包括以下步骤:
11)将图像从RGB颜色空间变换成Lab颜色空间,并计算图像中像素点A在不同方向上不同颜色通道上的局部二值编码BSVc,θ
BSV c , θ ( A ) = Σ i = 0 n - 1 s ( g i c - g c e n t e r c ) × 2 i
s ( x ) = 1 , x &GreaterEqual; 0 0 , x < 0
其中,为像素点A在颜色通道c上的像素值,为第i个以像素点A为中心的近邻像素点的像素值,n为像素点A的邻近像素点的数量,c为Lab颜色空间的颜色通道,且c∈1,2,3,θ为方向,且θ∈{0°,45°,90°,135°};
12)根据的局部二值编码BSVc,θ获取多方向双颜色通道条形结构特征集Bθ
Bθ={BSV′θ,1,BSV′θ,2,BSV′θ,3}
BSV′θ,1=BSV1,θ×4+BSV2,θ
BSV′θ,2=BSV1,θ×4+BSV3,θ
BSV′θ,3=BSV2,θ×4+BSV3,θ
其中,BSV1,θ、BSV2,θ、BSV3,θ分别为不同方向上的颜色通道1、2、3对应的局部二值编码。
所述的步骤2)中,多方向双通道条形结构加权颜色差分权重集Wθ的计算式为:
Wθ={WBSV′1,2,θ,WBSV′1,3,θ,WBSV′2,3,θ}
i≠j且i,j∈{1,2,3}
i≠j且i,j∈{1,2,3}
WBSV c , &theta; ( A ) = &Sigma; k = 0 n - 1 ( g k i - g c e n t e r i )
&omega; ( x , y ) = e - ( x - &mu; x ) 2 2 &sigma; x &times; e - ( y - &mu; y ) 2 2 &sigma; y
μx=Lx/2 σx=Lx/4 μy=Ly/2 σy=Ly/4
其中,i、j为Lab颜色空间不同的颜色通道,为像素点在颜色通道i上的像素值,为第k个以像素点A为中心的近邻像素点的像素值,n为像素点A的邻近像素点的数量,θ为方向,且θ∈{0°,45°,90°,135°},x为图像矩阵的行,Lx为图像的高度,y为图像矩阵的列,Ly为图像的宽度。
所述的步骤3)中,不同方向上的直方图描述符Hθ的计算式为:
H &theta; = H R , &theta; ( B &theta; ( P ) ) = &Sigma; P &Element; R W &theta; ( P )
其中,Wθ(P)为像素点P对应的多方向双通道条形结构加权颜色差分权重集,Bθ(P)为像素点P对应的多方向双颜色通道条形结构特征集,R为滑动窗口区域,为,θ为方向,且θ∈{0°,45°,90°,135°}。
所述的步骤4)中,距离集Ds的计算式为:
Ds={Dθ(T,Q)}
D &theta; ( T , Q ) = &Sigma; i = 1 M ( W f i &times; ( | T i - Q i | | T i + &mu; t | + | Q i + &mu; q | ) )
&mu; t = &Sigma; i = 1 M T i M &mu; q = &Sigma; i = 1 M Q i M
其中,T和Q分别为待辨识行人图像和对比图像的特征向量,Dθ(T,Q)为两种图像在不同方向上的堪培拉距离,M为特征向量T和Q的维数,Wf为特征鉴别权重因子,θ为方向,且θ∈{0°,45°,90°,135°},Ti和Qi分别为特征向量T和Q的第i个特征取值,μt、μq分别为调和系统。
所述的步骤5)中,待辨识行人图像和对比图像之间的最终距离d(D1,D2)为:
d ( D 1 , D 2 ) = 0.4 &times; d D rd 3 ( f our 1 , f our 2 ) + 0.3 &times; C a n b e r r a ( f hog 1 , f hog 2 ) + C a n b e r r a ( f elf 1 , f elf 2 )
D 1 = ( f our 1 , f hog 1 , f elf 1 )
D 2 = ( f our 2 , f hog 2 , f elf 2 )
其中,D1,D2分别为待辨识行人图像和对比图像的特征码,为待辨识行人图像和对比图像的直方图描述符,分别为待辨识行人图像和对比图像的HOG描述符,分别为待辨识行人图像和对比图像的ELF描述符。
与现有技术相比,本发明具有以下优点:
一、受人类显著视觉注意启发,提取行人外观中丰富的条形结构特征,本发明采用多方向双颜色通道条形结构特征集及其构造描述符方法,这些结构对于光照、旋转、平动等因素变化有着较好的鲁棒性。
二、本发明中的多方向双颜色通道条形结构特征集及其构造描述符方法,通过结合二元相互作用机理来降低局部二值编码特征维数过高问题,并利用颜色差分权重来弥补颜色信息的损失;
三、采用交叠滑动窗口来提取条形结构加权颜色直方图统计特征,得到四个方向的特征直方图,提升局部变化适应性;
四、基于四个方向特征之间的相似性,针对同一图像对的四组距离,进行2-元距离对或者3元距离对的构造,然后选出最优的距离对来进行最终的距离集成,它将特征表示和度量学习两个过程综合考虑,取得了更加优越的辨识效果。
附图说明
图1为本发明方法的系统流程图。
图2为本发明方法中0°、45°、90°、135°4个方向的条形结构。
图3为本发明算法交叠策略获取条形结构加权颜色直方图示意图。
图4为本发明算法和其他算法在i-LIDS MCTS行人再辨识公开数据集上的CMC、SD/R曲线性能比较,其中,图(4a)为测试集为30人的CMC曲线,图(4b)为测试集为30人的SD/R曲线,图(4c)为测试集为50人的CMC曲线,图(4d)为测试集为50人的SD/R曲线。
图5为本发明算法和其他算法在CAVIAR4REID行人再辨识公开数据集上的CMC、SD/R曲线性能比较,其中,图(5a)为测试集为36人的CMC曲线,图(5b)为测试集为36人的SD/R曲线,图(5c)为测试集为50人的CMC曲线,图(5d)为测试集为50人的SD/R曲线。
图6为本发明算法和其他算法在WARD行人再辨识公开数据集上的CMC、SD/R曲线性能比较,其中,图(6a)为测试集为60人视角1-2的CMC曲线,图(6b)为测试集为60人视角1-2的SD/R曲线,图(6c)为测试集为60人视角1-3的CMC曲线,图(6d)为测试集为60人视角1-3的SD/R曲线,图(6e)为测试集为60人视角2-3的CMC曲线,图(6f)为测试集为60人视角2-3的SD/R曲线。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例:
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,具体如图1所示算法流程图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,但并不限定本发明。
步骤一:双通道条形结构特征表示,具体描述如下:行人外观中存在较多的条形结构,而这些0°、45°、90°、135°的条形结构,如图2所示,在人类的视觉系统中有着较为明显的显著性,它能够较好地描述相邻点间的空间相关性。为了融入更多的信息,本发明选择了更适合人类视觉系统的Lab颜色空间。为了对彩色图像下的这种条形结构进行描述,本发明采用局部二值编码描述符,并结合二元相互作用机理,在更适合人类视觉系统的Lab颜色空间下,提取彩色图像的多方向双通道条形结构。具体实施如下:
(1)本发明把像素A在不同方向上、不同颜色通道上的局部二值编码表示为BSVc,θ(A),其定义如下:
BSV c , &theta; ( A ) = &Sigma; i = 0 n - 1 s ( g i c - g c e n t e r c ) &times; 2 i - - - ( 1 )
s ( x ) = 1 , x &GreaterEqual; 0 0 , x < 0 - - - ( 2 )
其中A是彩色图像上的一个点,是点A在通道c上的像素值,n是中心点A的邻居点的数量,是第i个近邻的像素值,c是L,a,b的颜色通道,θ则表示方向(0°、45°、90°、135°)。
(2)基于二元相互作用机理,我们任意选择L*a*b*的两个颜色通道来获取不同方向上的双通道条形结构。即:令BSVθ={BSVc,θ},c∈1,2,3,得到3对双通道条形结构Bθ={BSV′θ,1,BSV′θ,2,BSV′θ,3},其中BSV′θ,1=BSV1,θ×4+BSV2,θ,BSV′θ,2=BSV1,θ×4+BSV3,θ,BSV′θ,3=BSV2,θ×4+BSV3,θ。对于不同的方向,我们可以得到双通道条形结构特征集合,将其表示为B=Bθ,θ∈{0°,45°,90°,135°}。
步骤二:颜色差分权重,具体描述如下:由于二值编码方法只考虑0和1,损失了大量的颜色信息,因此本发明方法通过颜色差分来获取BSVc,θ(A)的颜色差分权重值WBSV(A)来捕获相应的颜色信息,具体定义如下:
WBSV c , &theta; ( A ) = &Sigma; i = 0 b - 1 ( g i c - g c e n t e r c ) - - - ( 3 )
针对多方向双通道条形结构,本发明定义权重如下:
WBSV &theta; i , j = WBSV i , &theta; 2 + WBSV j , &theta; 2 - - - ( 4 )
其中,i和j分别表示不同的颜色通道。
另外,考虑到行人图像中心点的特征更为明显,因此,我们赋予每个像素p(x,y)不同的权重ω(x,y):
&omega; ( x , y ) = e - ( x - &mu; x ) 2 2 &sigma; x &times; e - ( y - &mu; y ) 2 2 &sigma; y - - - ( 5 )
其中μx=Lx/2,σx=Lx/4,μy=Ly/2,σy=Ly/4。x表示图像矩阵的行,Lx表示图像的高度,y表示图像矩阵的列,Ly表示图像的宽度。进而,得到最终的权重WBSV′i,j,θ
WBSV i , j , &theta; &prime; = WBSV &theta; i , j &times; &omega; - - - ( 6 )
针对多方向双通道条形结构特征集Bθ={BSV′θ,1,BSV′θ,2,BSV′θ,3},计算加权颜色差分权重重新定义为Wθ={WBSV′1,2,θ,WBSV′1,3,θ,WBSV′2,3,θ}。
步骤三:多方向双通道条形结构加权颜色差分直方图,具体描述如下:在上述步骤中,可以获得四个方向(0°、45°、90°、135°)上的双通道局部二值编码。接下来,本发明方法采用统计直方图的方法来提取最终的结构特征。为了确保特征的局部不变性,本发明采用利用一个n×n的滑动窗口,并以m(m<n)为步长,将双通道局部二进制编码的颜色差分权重作为直方图统计权重,取代传统的频次1,采用交叠的策略提取多方向双通道条形结构加权颜色差分直方图。
对于P=(x,y),Bθ(P)为其多方向双通道条形结构特征值,其相应的颜色权重定义为Wθ(P),不同方向上的直方图计算方式为:
H R , &theta; ( B &theta; ( P ) ) = &Sigma; P &Element; R W &theta; ( P ) - - - ( 7 )
其中R是上述滑动窗口区域,θ则表示不同条形结构特征的方向。为了更好刻画对光照、阴影等变化的不变性,我们考虑了较大的空间重叠区域HB,θ块,其包含2×2个单元,并进行块内特征归一化,具体如图2所示。对于四个不同的方向,我们可以获取四个直方图描述符,用直方图H的集合表示如下:
H B , &theta; = &lsqb; H R i , j , &theta; , H R i + 1 , j , &theta; , H R i , j + 1 , &theta; , H R i + 1 , j + 1 , &theta; &rsqb; - - - ( 8 )
H &theta; = &lsqb; H B 1 , &theta; , H B 2 , &theta; ... , H B i , &theta; ... H B n , &theta; &rsqb; - - - ( 9 )
H=Hθ,θ∈{0°,45°,90°,135°} (10)
步骤四:特征鉴别权重因子,具体描述如下:为了进一步分析特征的鉴别信息,我们设计了鉴别权重因子对统计出的直方图特征进行分析来描述特征的重要性,鉴别特征的权重计算如下所示:
W f = e ( &Sigma; D - &Sigma; S ) - - - ( 11 )
其中
其中,D和S分别表示相似样本对和不同样本对,然后由训练样本得到特征Wf的权重。
步骤五:基于最优多元距离组的度量学习策略,具体描述如下:经过上述过程,得到了四个方向的条形结构加权颜色直方图描述符H=Hθ,θ∈{0°,45°,90°,135°},这些结构特征在不同方向上存在一定程度的相似性,这也使得特征向量计算出的距离存在较小的差异,也就是所谓的相对距离非常小。基于此类特征的相似特性,本发明提出了一种新的基于特征的相对距离比较的联合距离度量方法。
首先,本发明利用堪培拉距离(Canberra distance),结合前面所获得的特征的权重来度量两个特征向量间的相似性,如下所示:
D ( T , Q ) = &Sigma; i = 1 M ( W f i &times; ( | T i - Q i | | T i + &mu; t | + | Q i + &mu; q | ) ) - - - ( 12 )
其中M是特征向量的维数。
然后,本发明使用堪培拉距离,计算基于条形结构加权颜色直方图特征集H=Hθ,θ∈{0°,45°,90°,135°}的距离集Ds,定义如下:
DS(T,Q)={Dθ(T,Q)},θ∈{0°,45°,90°,135°} (13)
其中,T和Q分别表示两个不同样本,Dθ表示两个样本在方向θ上的距离,针对不同方向上的距离,进行归一化处理。计算出4个不同方向上的样本之间距离后,不同于以往的简单加权集成的距离集成方式,本发明考虑两个样本在不同方向上的距离构成的样本对,利用样本对之间的相似性,即相对距离,来对距离进行鉴别分析,选出最优的相似距离对,来对最终距离进行表示。
对于样本T和Q,计算最优二元组距离对如下:
同样,可以考虑最优三元组距离对定义如下:
( D &theta; i , D &theta; j , D &theta; k ) = arg m i n { | D &theta; i - D &theta; j | + | D &theta; i - D &theta; k | + | D &theta; j - D &theta; k | } , - - - ( 15 )
θii∈{0°,45°,90°,135°},i≠j≠k
对于最优二元组距离对本发明定义最终的距离
D rd 2 = 0.5 &times; D &theta; i + 0.5 &times; D &theta; j - - - ( 16 )
对于最优三元组距离对本发明定义最终的距离
其中,
最终,本发明选择最优三元组距离对来进行样本之间的距离度量。为了获得更好的结果,本发明将描述符MBD与ELF和HOG描述符相结合来实现距离度量。定义两个距离特征码最终的距离表示为:
d ( D 1 , D 2 ) = 0.4 &times; d D rd 3 ( f our 1 , f our 2 ) + 0.3 &times; C a n b e r r a ( f hog 1 , f hog 2 ) + C a n b e r r a ( f elf 1 , f elf 2 ) - - - ( 18 )
本发明具体实现步骤为:
图1是本发明MMLBD算法实现流程图,具体实施方式如下:
1、将彩色图像从RGB颜色空间变换成Lab颜色空间;
2、获取不同方向上的单通道条形编码BSVc,θ(A);
3、获取不同方向上的单通道条形结构颜色差分权重WBSVc,θ
4、根据二元相互作用机理获取不同方向上使的双通道条形结构编码Bθ=BSV′θ,1,BSV′θ,2,BSV′θ,3
5、获取不同方向上双通道条形结构对应的颜色差分权重
6、由WBSV′i,j,θ重新定义不同方向上的双通道条形结构的颜色差分权重;
7、采用交叠策略和滑动窗口提取多方向上的条形结构颜色差分加权直方图描述符;
8、将特征集分成训练集和测试集,其中测试集包括(probe集和gallery集);
9、通过训练集提取出的特征值来训练特征权重Wf
10、计算测试集中的probe集和gallery集中样本之间的最优三元组距离对
11、综合其他度量距离,并计算最终的集成后的度量距离:d(Dg,Dp);
12、基于最近相邻理论,获取匹配率。
显然,上述实例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
表1-表3为本发明算法与其他算法的性能比较。
表1本发明算法同其它算法在i-LIDS MCTS行人再辨识公开数据集上性能比较
表2本发明算法同其它算法在CAVIAR4REID行人再辨识公开数据集上性能比较
表3本发明算法同其它算法在WARD行人再辨识公开数据集上性能比较

Claims (6)

1.一种基于多方向多通道条形结构的行人再辨识方法,其特征在于,包括以下步骤:
1)分别获取待辨识行人图像和对比图像中像素点对应的多方向双颜色通道条形结构特征集Bθ
2)根据多方向双颜色通道条形结构特征集Bθ采用颜色差分获取该像素点的多方向双通道条形结构加权颜色差分权重集Wθ
3)根据多方向双通道条形结构加权颜色差分权重集Wθ,并且采用滑动窗口分别获取不同方向上的直方图描述符Hθ
4)根据堪培拉距离计算基于直方图描述符Hθ的待辨识行人图像和对比图像的距离集Ds
5)选择距离集Ds中最优三元组距离对、ELF描述符和HOG描述符作为特征码,并获取待辨识行人图像和对比图像之间的最终距离;
6)根据最近相邻理论,对距离进行排序,最终获取待辨识行人图像和对比图像的匹配率。
2.根据权利要求1所述的一种基于多方向多通道条形结构的行人再辨识方法,其特征在于,所述的步骤1)具体包括以下步骤:
11)将图像从RGB颜色空间变换成Lab颜色空间,并计算图像中像素点A在不同方向上不同颜色通道上的局部二值编码BSVc,θ
BSV c , &theta; ( A ) = &Sigma; i = 0 n - 1 s ( g i c - g c e n t e r c ) &times; 2 i
s ( x ) = 1 , x &GreaterEqual; 0 0 , x < 0
其中,为像素点A在颜色通道c上的像素值,为第i个以像素点A为中心的近邻像素点的像素值,n为像素点A的邻近像素点的数量,c为Lab颜色空间的颜色通道,且c∈1,2,3,θ为方向,且θ∈{0°,45°,90°,135°};
12)根据的局部二值编码BSVc,θ获取多方向双颜色通道条形结构特征集Bθ
Bθ={BSV′θ,1,BSV′θ,2,BSV′θ,3}
BSV′θ,1=BSV1,θ×4+BSV2,θ
BSV′θ,2=BSV1,θ×4+BSV3,θ
BSV′θ,3=BSV2,θ×4+BSV3,θ
其中,BSV1,θ、BSV2,θ、BSV3,θ分别为不同方向上的颜色通道1、2、3对应的局部二值编码。
3.根据权利要求1所述的一种基于多方向多通道条形结构的行人再辨识方法,其特征在于,所述的步骤2)中,多方向双通道条形结构加权颜色差分权重集Wθ的计算式为:
Wθ={WBSV′1,2,θ,WBSV′1,3,θ,WBSV′2,3,θ}
i≠j且i,j∈{1,2,3}
i≠j且i,j∈{1,2,3}
WBSV c , &theta; ( A ) = &Sigma; k = 0 n - 1 ( g k i - g c e n t e r i )
&omega; ( x , y ) = e - ( x - &mu; x ) 2 2 &sigma; x &times; e - ( y - &mu; y ) 2 2 &sigma; y
μx=Lx/2σx=Lx/4μy=Ly/2σy=Ly/4
其中,i、j为Lab颜色空间不同的颜色通道,为像素点在颜色通道i上的像素值,为第k个以像素点A为中心的近邻像素点的像素值,n为像素点A的邻近像素点的数量,θ为方向,且θ∈{0°,45°,90°,135°},x为图像矩阵的行,Lx为图像的高度,y为图像矩阵的列,Ly为图像的宽度。
4.根据权利要求1所述的一种基于多方向多通道条形结构的行人再辨识方法,其特征在于,所述的步骤3)中,不同方向上的直方图描述符Hθ的计算式为:
H &theta; = H R , &theta; ( B &theta; ( P ) ) = &Sigma; P &Element; R W &theta; ( P )
其中,Wθ(P)为像素点P对应的多方向双通道条形结构加权颜色差分权重集,Bθ(P)为像素点P对应的多方向双颜色通道条形结构特征集,R为滑动窗口区域,为,θ为方向,且θ∈{0°,45°,90°,135°}。
5.根据权利要求1所述的一种基于多方向多通道条形结构的行人再辨识方法,其特征在于,所述的步骤4)中,距离集Ds的计算式为:
Ds={Dθ(T,Q)}
D &theta; ( T , Q ) = &Sigma; i = 1 M ( W f i &times; ( | T i - Q i | | T i + &mu; t | + | Q i + &mu; q | ) )
&mu; t = &Sigma; i = 1 M T i M &mu; q = &Sigma; i = 1 M Q i M
其中,T和Q分别为待辨识行人图像和对比图像的特征向量,Dθ(T,Q)为两种图像在不同方向上的堪培拉距离,M为特征向量T和Q的维数,Wf为特征鉴别权重因子,θ为方向,且θ∈{0°,45°,90°,135°},Ti和Qi分别为特征向量T和Q的第i个特征取值,μt、μq分别为调和系统。
6.根据权利要求5所述的一种基于多方向多通道条形结构的行人再辨识方法,其特征在于,所述的步骤5)中,待辨识行人图像和对比图像之间的最终距离d(D1,D2)为:
d ( D 1 , D 2 ) = 0.4 &times; d D rd 3 ( f our 1 , f our 2 ) + 0.3 &times; C a n b e r r a ( f hog 1 , f hog 2 ) + C a n b e r r a ( f elf 1 , f elf 2 )
D 1 = ( f our 1 , f hog 1 , f elf 1 )
D 2 = ( f our 2 , f hog 2 , f elf 2 )
其中,D1,D2分别为待辨识行人图像和对比图像的特征码,为待辨识行人图像和对比图像的直方图描述符,分别为待辨识行人图像和对比图像的HOG描述符,分别为待辨识行人图像和对比图像的ELF描述符。
CN201610309021.0A 2016-05-11 2016-05-11 一种基于多方向多通道条形结构的行人再辨识方法 Expired - Fee Related CN106022226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610309021.0A CN106022226B (zh) 2016-05-11 2016-05-11 一种基于多方向多通道条形结构的行人再辨识方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610309021.0A CN106022226B (zh) 2016-05-11 2016-05-11 一种基于多方向多通道条形结构的行人再辨识方法

Publications (2)

Publication Number Publication Date
CN106022226A true CN106022226A (zh) 2016-10-12
CN106022226B CN106022226B (zh) 2019-03-01

Family

ID=57099139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610309021.0A Expired - Fee Related CN106022226B (zh) 2016-05-11 2016-05-11 一种基于多方向多通道条形结构的行人再辨识方法

Country Status (1)

Country Link
CN (1) CN106022226B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018137358A1 (zh) * 2017-01-24 2018-08-02 北京大学 基于深度度量学习的目标精确检索方法
CN113128430A (zh) * 2021-04-25 2021-07-16 科大讯飞股份有限公司 人群聚集检测方法、装置、电子设备和存储介质
CN115100186A (zh) * 2022-07-25 2022-09-23 南通市爱诺家用纺织品有限公司 基于图像数据的纺织品色差检测方法
CN113128430B (zh) * 2021-04-25 2024-06-04 科大讯飞股份有限公司 人群聚集检测方法、装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604380A (zh) * 2009-07-21 2009-12-16 上海理工大学 人头识别直径搜索法
CN104992142A (zh) * 2015-06-03 2015-10-21 江苏大学 一种基于深度学习和属性学习相结合的行人识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604380A (zh) * 2009-07-21 2009-12-16 上海理工大学 人头识别直径搜索法
CN104992142A (zh) * 2015-06-03 2015-10-21 江苏大学 一种基于深度学习和属性学习相结合的行人识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
M HIRZER ETC.: ""Relaxed Pairwise Learned Metric for Person Re-identification"", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 *
WEI-SHI ZHENG ETC.: ""Person Re-identification by Probabilistic Relative Distance Comparison"", 《CVPR》 *
刘成: ""行人再识别关键技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张华: ""基于空间颜色特征的行人重识别方法"", 《华中科技大学学报(自然科学版)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018137358A1 (zh) * 2017-01-24 2018-08-02 北京大学 基于深度度量学习的目标精确检索方法
CN113128430A (zh) * 2021-04-25 2021-07-16 科大讯飞股份有限公司 人群聚集检测方法、装置、电子设备和存储介质
CN113128430B (zh) * 2021-04-25 2024-06-04 科大讯飞股份有限公司 人群聚集检测方法、装置、电子设备和存储介质
CN115100186A (zh) * 2022-07-25 2022-09-23 南通市爱诺家用纺织品有限公司 基于图像数据的纺织品色差检测方法
CN115100186B (zh) * 2022-07-25 2022-12-13 南通市爱诺家用纺织品有限公司 基于图像数据的纺织品色差检测方法

Also Published As

Publication number Publication date
CN106022226B (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN103761531B (zh) 基于形状轮廓特征的稀疏编码车牌字符识别方法
WO2018072233A1 (zh) 一种基于选择性搜索算法的车标检测识别方法及系统
CN107463920A (zh) 一种消除局部遮挡物影响的人脸识别方法
CN102880877B (zh) 一种基于轮廓特征的目标识别方法
CN103325122B (zh) 基于双向排序的行人检索方法
CN103679142B (zh) 一种基于空间约束的目标人体识别方法
CN102194108B (zh) 一种聚类线性鉴别分析特征选择的笑脸表情识别方法
CN111126240B (zh) 一种三通道特征融合人脸识别方法
Hu et al. Exploring structural information and fusing multiple features for person re-identification
CN103679192B (zh) 基于协方差特征的图像场景类型判别方法
CN105160317A (zh) 一种基于区域分块行人性别识别方法
CN105023008A (zh) 基于视觉显著性及多特征的行人再识别方法
CN101630363A (zh) 复杂背景下彩色图像人脸的快速检测方法
CN103679136B (zh) 基于局部宏观特征和微观特征结合的手背静脉身份识别方法
CN105718882A (zh) 一种分辨率自适应特征提取与融合的行人重识别方法
WO2021000829A1 (zh) 多维度身份信息识别方法、装置、计算机设备及存储介质
CN103473551A (zh) 基于sift算子的台标识别方法及系统
CN111898736A (zh) 基于属性感知的高效行人重识别方法
CN106485253B (zh) 一种最大粒度结构描述符的行人再辨识方法
CN109344842A (zh) 一种基于语义区域表达的行人重识别方法
CN106548139A (zh) 一种行人重识别方法
Yuan et al. Multi-spectral pedestrian detection
Chen et al. Riemannian manifold learning based k-nearest-neighbor for hyperspectral image classification
CN106022226A (zh) 一种基于多方向多通道条形结构的行人再辨识方法
CN106980864B (zh) 一种基于支持样本间接式的行人再识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190301