CN110991389B - 判断目标行人在非重叠相机视角中出现的匹配方法 - Google Patents

判断目标行人在非重叠相机视角中出现的匹配方法 Download PDF

Info

Publication number
CN110991389B
CN110991389B CN201911291387.XA CN201911291387A CN110991389B CN 110991389 B CN110991389 B CN 110991389B CN 201911291387 A CN201911291387 A CN 201911291387A CN 110991389 B CN110991389 B CN 110991389B
Authority
CN
China
Prior art keywords
image
features
class
sample
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911291387.XA
Other languages
English (en)
Other versions
CN110991389A (zh
Inventor
马宗方
魏皓
宋琳
罗婵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Architecture and Technology
Original Assignee
Xian University of Architecture and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Architecture and Technology filed Critical Xian University of Architecture and Technology
Priority to CN201911291387.XA priority Critical patent/CN110991389B/zh
Publication of CN110991389A publication Critical patent/CN110991389A/zh
Application granted granted Critical
Publication of CN110991389B publication Critical patent/CN110991389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

判断目标行人在非重叠相机视角中出现的匹配方法,包括以下步骤;步骤一:通过基于图像显著性特征的人体再识别聚类算法,对图像进行预处理以及特征提取;步骤二:再使用K近邻高斯核函数均值漂移聚类算法寻找图像显著性特征;步骤三:通过加权马氏距离的度量方式计算出行人再识别的匹配结果。本发明具有匹配速度快、匹配准确率高的特点。

Description

判断目标行人在非重叠相机视角中出现的匹配方法
技术领域
本发明涉及计算机图像处理技术领域,特别涉及判断目标行人在非重叠相机视角中出现的匹配方法。
背景技术
目前对于人体再识别的研究主要集中在两个方向:一是通过特征表示的方法,主要有局部特征集合(ELF),Fisher向量(LDFV),kBiCov,SDALF,LOMO特征表示等。这些方法多数是将图像的颜色特征与纹理特征以一定的比例融合,对融合后的特征向量采用合适的度量方式进行计算。其不足之处为对于不同类别图像的特征融合,其最优比例不同,导致算法无法广泛的应用在各种场合的行人再识别中;二是通过度量学习的方法进行人体再识别,常用的度量方式有欧式距离度量学习和马氏距离度量学习两种,对于欧氏距离度量方式而言,由于其对待每一个样本信息是平等的,因此并不能非常好的发掘出样本中具有判别类的信息。
由于不同摄像机画面中行人的视角、姿态、光照、背景、遮挡等因素都不相同,使得同一目标行人在不同摄像机中出现的外观差异较大,如何解决这一问题是研究行人再识别算法的重难点。
发明内容
为了克服上述现有技术的不足,本发明的目的在于提供判断目标行人在非重叠相机视角中出现的匹配方法,具有匹配速度快、匹配准确率高的特点。
为了实现上述目的,本发明采用的技术方案是:
判断目标行人在非重叠相机视角中出现的匹配方法,包括以下步骤;
步骤一:
通过基于图像显著性特征的人体再识别聚类算法,对图像进行预处理以及特征提取;
步骤二:
再使用K近邻高斯核函数均值漂移聚类算法寻找图像显著性特征;
步骤三:
通过加权马氏距离的度量方式计算出行人再识别的匹配结果。
所述的步骤一使用横向均等分割方式将图像横向分割成4块尺寸大小相同的矩形,再对每一个图像块进行颜色特征和纹理特征的提取,在对图像进行特征提取前,首先要对图像进行增强处理,图像增强主要采用Retinex方法来实现,主要是由于在图像中,颜色是描述行人的主要特征,然而在采集行人图像时,由于摄像机视角的不同会引起不同的光照强度,对图像的颜色特征产生巨大的影响,导致对人体再识别准确率的降低,Retinex算法的作用是使处理后的图像具有和人类视觉感知而产生的图像具有相似或者一致的颜色模型,也就是消除或者降低由于不同相机视角不同光照强度变化而产生的问题,再对分割后的图像提取非均匀量化的HSV颜色特征以及SILTP纹理特征,描述颜色的最具代表性特征是颜色直方图,目前,大多数的图片存储的方式都是红绿蓝(red,green,blue,RGB)模型,但是,RGB颜色模型不能很好的反应人的视觉感知,例如,当不同颜色的RGB差值相同时,却不意味着人也会有相应的感知差异。因此在进行图像颜色特征提取时,很少直接采用RGB模型,而需要转换成能够衡量人的心理感知的视觉颜色模型,采用的色调饱和度透明度(hue,saturation,,value,HSV)颜色空间,RGB模型转到HSV模型的计算公式为:
V=max(R,G,B)
Figure BDA0002319158810000031
Figure BDA0002319158810000032
将H,S,V三个分量按照人对颜色空间的感知进行非等间隔量化,将色调H空间分成16份,饱和度S和亮度V空间分别分成4份,根据色彩的不同范围和主观颜色感知进行非均匀量化,将三个颜色分量合成为一维特征向量:
L=H·QS·QV+S·QS+V
式中,QS,QV分别是S和V的量化级数,取QS=4,取QV=4,故L的取值范围是[0,255],最终计算出每张图片的颜色特征为一个256维的向量特征;这样量化的好处在于:考虑了H,S,V三个分量的非均匀性,更符合人的视觉感知;从黑色L=0到白色L=15有16级灰度,既适合处理彩色图像也适合处理灰度图像。
在图像纹理特征提取的方法中,采用SILTP特征作为图像纹理特征的提取方法,SILTP特征值的具体计算方式如下:
设某一像素点的位置为(xc,yc),则SILTP特征值可编码为:
Figure BDA0002319158810000041
其中,Ic,Ik分别代表中心像素点的灰度值以及距中心半径为R的邻域内的N个像素点的灰度值,
Figure BDA0002319158810000042
代表比特连接运算符,将所有得到的比特值连接成一个完整的二进制数,τ表示尺度系数,它决定着比较的范围,Sτ是一种分段函数,具体如下:
Figure BDA0002319158810000043
由Sτ的定义可知,每个像素点都用俩比特进行编码,因此并不会显著增加算子计算的复杂度。
所述的步骤二利用k近邻高斯核函数均值漂移算法对多个样本的相同位置的图像块进行聚类处理,根据处理结果确定图像显著性区域,并对图像的显著性区域特征赋予权值;
所述的表达式为:
Figure BDA0002319158810000044
式中h为带宽,g为高斯核函数,x0为迭代初始点,xi为随机样本点,xi的取值为所述步骤一中提取的图像颜色特征以及纹理特征叠加的高维向量值,其迭代方式是以选定的迭代初始点为中心,求以带宽h为半径的高维球内所有样本点的均值漂移转移向量和,但由于选取的迭代初始点为随机选取,会出现半径h内的向量极少或为零的情况,导致迭代初始点出现错误漂移,会影响该算法准确率,因此本文提出一种根据图像样本数据的分布情况自动生成自适应带宽的均值漂移算法,带宽h的大小取决于距离中心点最小的的k个样本,通过降低迭代计算量和减少迭代次数来提高算法效率,其表达式为:
Figure BDA0002319158810000051
式中为样本点与中心点的距离,在本文中,经过大量实验,取k=50;其效果最好。
K近邻的高斯核函数均值漂移的实现步骤为:
Step1:随机选取迭代初始点;
Step2:根据与迭代初始点距离最近的k个样本点,计算带宽h;
Step3:根据高斯核函数均值漂移公式,得到漂移向量;
Step4:根据新的迭代中心点重复Step2及Step3步骤,直到满足类中心漂移停止条件m(x0)<mindi,认为算法收敛,得到类中心点;
Step5:重复Step1、Step2、Step3、Step4,得到新的类中心点,判断两个类中心点是否满足公式(3),其中P、Q为两个类中心点,若满足,则将P和Q归为一类;
Figure BDA0002319158810000052
Figure BDA0002319158810000061
Step6:重复Step1—Step5,迭代终止条件为数据集中所有数据至少被访问一次。
所述的步骤三利用加权马氏距离计算样本之间相似度,实现人体再识别过程,提高行人再识别匹配的准确率;
对步骤一和步骤二得到的高维向量特征进行降维处理;由于在提取行人图片特征时所提取的是图像HSV颜色特征以及SILTP纹理特征,这是一个大于4000维数的高维向量集合,用xi,xj∈Rd表示,若直接使用加权马氏距离的度量方式计算其图像之间的相似度,会使得计算量过大导致算法计算速度慢,极大地影响了行人匹配算法效率。交叉二次判别分析XQDA算法是在贝叶斯人脸和KISSME方法基础上提出的一种全局度量学习算法。该方法将特征子空间学习和度量学习同时进行,对特征降维的同时,考虑维数降低对度量学习结果的影响。对原始特征xi,xj∈Rd,XQDA通过学习映射矩阵W∈Rd×r(r<d),将原始特征映射到低维子空间,在本算法中,图像的特征向量最终降至256维的低维子空间,其中,马氏距离是度量学习中常用的距离表示,对样本xi和xj,马氏距离表示为(xi-xj)TM(xi-xj),M为度量矩阵,假设样本差值为Δ=xi-xj,当样本标签yi=yj时,Δ称为类内差值;当样本标签yi≠yj时,Δ称为类间差值,由此,将样本的类内差值以及类间差值分别定义为:ΩI和ΩE,在ΩI和ΩE都服从均值为0,方差分别为δI和δE的高斯分布的情况下,样本差Δ在ΩI和ΩE的概率可以定义为:
Figure BDA0002319158810000071
Figure BDA0002319158810000072
其中,∑I和∑E分别是ΩI和ΩE的协方差矩阵,nI和nE表示两个类中的样本数。上述两式取根号相除,得到对数似然比为:
Figure BDA0002319158810000073
则两个样本之间的距离为:
Figure BDA0002319158810000074
式中,∑'I和∑'E分别为类内差值和类间样本差值分布的协方差矩阵,∑'I=WTI,∑'E=WTE;为映射矩阵,为了将样本分开,类间方差小,类外方差大,因此得到下面的优化公式:
Figure BDA0002319158810000075
对矩阵J(W)进行特征值分解,映射矩阵W由前r个最大特征值对应的特征向量构成,从矩阵J(W)可以看出,类内协方差矩阵∑'I可能是单数的,因此在∑I的对角线元素上添加一个小的正则化器,当所有样本归一化为单位长度时,通常可以使用0.001作为正则化器来改善结果,即令∑I’=∑I+λI,其中λ=0.001,再利用加权马氏距离算法求解样本图像与数据集中图像距离,假设样本图像分块处理后每一块的均值为:
Figure BDA0002319158810000081
数据集中图像分块后分布的均值为:
Figure BDA0002319158810000082
协方差矩阵为∑'I,则样本中每一块图像与数据集合的加权马氏距离为:
Figure BDA0002319158810000083
式中α1,α2,α3,α4为上文中通过K-Meanshift计算出的每一个图像块显著性特征的权重百分比,则样本图像与数据集中图像的加权马氏距离为:
Figure BDA0002319158810000084
由加权马氏距离计算所得结果进行图像块相似度排序,
Figure BDA0002319158810000085
越小说明两张图越相似。
本发明的有益效果:
本发明所使用的人体再识别匹配算法在不同相机所拍摄的行人画面中,在行人视角、姿态、光照、背景、遮挡等因素不同所造成的干扰下,依然具有较高的行人匹配率。本文的最后通过CMC曲线中各种行人再识别算法比较,可以看出在VIPeR数据集中,本文所提出的MS-XQDA算法的行人再识别率效果高于其他行人再识别算法。因此本文算法可以在视频监控系统中进行再识别率较高的行人再识别,且对行人视角转换、光照变化、环境嘈杂和物体遮挡有一定的鲁棒性。
附图说明
图1为本发明本发明出现的匹配算法一较佳实施例的立体结构示意图。
图2为行人显著性区域示意图。
图3为Retinex图像增强处理示意图。
图4为图像横向分割示意图。
图5为k近邻高斯核函数均值漂移流程图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
请参阅图1和图2,本发明实施例包括:
一种判断目标行人在非重叠相机视角中出现的匹配算法,包括:本文提出了一种通过提取图像显著性的特征来处理行人再识别问题的算法(MeanShift-Cross viewQuadratic Discriminant Analysis,MS-XQDA)。该算法使用横向均等分割方式将图像横向分割成4块尺寸大小相同的矩形,再对每一个图像块进行颜色特征和纹理特征的提取,然后利用k近邻高斯核函数均值漂移算法对多个样本的相同位置的图像块进行聚类处理,根据处理结果确定图像显著性区域,并对图像的显著性区域特征赋予权值,最后利用加权马氏距离计算样本之间相似度,实现人体再识别过程,提高行人再识别匹配的准确率。
在跨相机视角的行人再识别的研究中,行人的显著性特征是一种非常具有判断性的识别依据。如果需要判断两个行人是否为同一目标行人,我们可以通过这种具有判别力并且可靠的显著性特征信息来判断两个待匹配的行人之间的相似度。因此,基于图像显著性特征的行人再识别算法相较于传统算法,可以提高行人再识别的准确率与可靠性。如图3所示为具有显著性特征的行人:
图像显著性特征是图像信息中非常重要的视觉区域,它表示人眼所观测到的范围中该区域的重视程度。对于一副检测到的行人图片,如果我们只对该行人图像的某一部分区域感兴趣,而对该区域之外的其他部分并不是很关心,那么对于这部分感兴趣的区域我们可以称之为显著性区域,因此我们可以利用图像显著性区域对人体再识别的识别率进行提高。
为了将人体再识别的效果达到最好,我们在对行人图像进行特征提取前,首先要对图像进行增强处理,图像增强主要采用Retinex方法来实现,减少由于图像间不同光照强度所造成的影响,如图4所示。
由于在不同摄像机下的行人通常出现在不同的视点,增大了人体再识别匹配的难度,本文提出将人物图像横向均等分为四个水平条纹,如图5所示,再对分割后的图像提取非均匀量化的HSV颜色特征以及SILTP纹理特征。
针对寻找图像显著性区域问题,本文提出一种判别方法—K近邻高斯核函数均值漂移算法。K近邻高斯核函数均值漂移算法(K-Meanshift)是一种是一种基于梯度的搜索方法,它的收敛性由核函数决定,高斯核函数计算精度高、收敛路径平滑,但收敛速度慢,因此处理大规模数据时,应用较少。高斯核函数的均值漂移方法,其向量表达式为:
Figure BDA0002319158810000111
式中h为带宽,g为高斯核函数,x0为迭代初始点,xi为随机样本点,其迭代方式是以选定的迭代初始点为中心,求以带宽h为半径的高维球内所有样本点的均值漂移转移向量和。但由于选取的迭代初始点为随机选取,会出现半径h内的向量极少或为零的情况,导致迭代初始点出现错误漂移,会影响该算法准确率,因此本文提出一种根据图像样本数据的分布情况自动生成自适应带宽的均值漂移算法。带宽h的大小取决于距离中心点最小的的k个样本,通过降低迭代计算量和减少迭代次数来提高算法效率,其表达式为:
Figure BDA0002319158810000112
式中为样本点与中心点的距离,在本文中,经过大量实验,取k=50时,其效果最好。
K近邻的高斯核函数均值漂移的实现步骤为:
Step1:随机选取迭代初始点;
Step2:根据与迭代初始点距离最近的k个样本点,计算带宽h;
Step3:根据高斯核函数均值漂移公式,得到漂移向量;
Step4:根据新的迭代中心点重复Step2及Step3步骤,直到满足类中心漂移停止条件m(x0)<mindi,认为算法收敛,得到类中心点;
Step5:重复Step1、Step2、Step3、Step4,得到新的类中心点,判断两个类中心点是否满足公式(3),其中P、Q为两个类中心点,若满足,则将P和Q归为一类。
Figure BDA0002319158810000121
Step6:重复Step1—Step5,迭代终止条件为数据集中所有数据至少被访问一次。
该算法的流程图5所示:
在本文使用的K近邻高斯核函数均值漂移算法中,将每一张图像进行预处理时分割成4个区域,分别对这4个区域与图像集中相同区域的图像进行均值漂移算法,将计算出来的类别数分别用表示,其类别数越高,则图像显著性特征越明显,为后续的加权马氏距离度量方式的权重起到决定性作用。
通过K近邻高斯核函数均值漂移算法寻找出图像区域的显著性特征,再根据加权马氏距离的度量方式计算图像之间的相似度,完成行人再识别匹配过程。由于提取图像的HSV颜色特征和SILTP纹理特征是一个高维的向量特征,因此需要对其进行降维处理。
交叉二次判别分析XQDA是在贝叶斯人脸和KISSME方法基础上提出的一种全局度量学习算法。该方法将特征子空间学习和度量学习同时进行,对特征降维的同时,考虑维数降低对度量学习结果的影响。原始特征为xi,xj∈Rd,XQDA通过学习映射矩阵W∈Rd×r(r<d),将原始特征映射到低维子空间。其中,马氏距离是度量学习中常用的距离表示,对样本xi和xj,马氏距离表示为(xi-xj)TM(xi-xj),M为度量矩阵。
假设样本差值为Δ=xi-xj,当样本标签yi=yj时,Δ称为类内差值;当样本标签yi≠yj时,Δ称为类间差值。由此,将样本的类内差值以及类间差值分别定义为:ΩI和ΩE,在ΩI和ΩE都服从均值为0,方差分别为δI和δE的高斯分布的情况下,样本差Δ在ΩI和ΩE的概率可以定义为:
Figure BDA0002319158810000131
Figure BDA0002319158810000132
其中,∑I和∑E分别是ΩI和ΩE的协方差矩阵,nI和nE表示两个类中的样本数。上述两式取根号相除,得到对数似然比为:
Figure BDA0002319158810000133
则两个样本之间的距离为:
Figure BDA0002319158810000134
式中,∑'I和∑'E分别为类内差值和类间样本差值分布的协方差矩阵,∑'I=WTI,∑'E=WTE;为映射矩阵。为了将样本分开,类间方差小,类外方差大,因此得到下面的优化公式:
Figure BDA0002319158810000141
对矩阵J(W)进行特征值分解,映射矩阵W由前r个最大特征值对应的特征向量构成。从矩阵J(W)可以看出,类内协方差矩阵∑'I可能是单数的,因此在∑I的对角线元素上添加一个小的正则化器,我们发现,当所有样本归一化为单位长度时,通常可以使用0.001作为正则化器来改善结果,即令∑I=∑I+λI,其中λ=0.001。再利用加权马氏距离算法求解样本图像与数据集中图像距离,假设样本图像分块处理后每一块的均值为:
Figure BDA0002319158810000142
数据集中图像分块后分布的均值为:
Figure BDA0002319158810000143
协方差矩阵为∑'I,则样本中每一块图像与数据集合的加权马氏距离为:
Figure BDA0002319158810000144
式中α1,α2,α3,α4为上文中通过K-Meanshift计算出的每一个图像块显著性特征的权重百分比,则样本图像与数据集中图像的加权马氏距离为:
Figure BDA0002319158810000151
由加权马氏距离计算所得结果进行图像块相似度排序,
Figure BDA0002319158810000153
越小说明两张图越相似。
本专利所采用的算法在公开的行人再识别数据集VIPeR中进行实验,具体软件硬件环境如下所示:
表1.硬件软件环境参数表
Table1.Parameters of the Hardware and Software
Figure BDA0002319158810000152
目前,最常用的评价行人再识别率的方法是累积匹配特性(cumulative matchingcharacteristic,CMC)曲线。CMC曲线的横坐标x表示显示为排名(rank),纵轴显示为识别率。Rank1识别率就是表示按照某种相似度匹配规则匹配后,第一次识别出正确行人样本的标签数目与总的测试样本数目之比,Rank5识别率就是指前五项(按照匹配程度从大到小排列后)存在正确匹配的行人样本。
在实验中,对VIPeR数据集中的632对行人图片,随机选取其中的316对行人图片作为训练集,剩下的316对行人图片作为测试集。训练时,将同一行人的图像对作为正确匹配对,随机选取不同的行人对作为错误匹配对,测试时,将目标集A中的每个行人作为再识别目标与候选集B中的行人进行距离匹配。这样在候选集B中的每一个图像将获得一个距离排名表。为了保证实验数据的可靠性,本文将上述实验重复10次,最终的结果取10次实验的平均值,并将本文算法与现有行人再识别文献中算法进行对比,实验结果如下表所示:
表2.行人再识别算法对比结果
Table2.Peson re-identification algorithm comparison result
Figure BDA0002319158810000161
对比实验效果可知,MS-XQDA算法CMC值比PFI算法略高,但明显高于KISSME、SDALF和ELF算法,本文所提出的MS-XQDA算法rank1的图像正确识别数量比效果较好的PFI高出约2.6个百分点,比KISSME和SDALF算法高出近10个百分点,比ELF算法高出超过15%,rank20的图像正确识别数量比实验效果较好的PFI和KISSME高出超过5个百分点,比效果最差的ELF算法高出超过20个百分点,总体来说,本专利所使用的算法在VIPeR数据集中测试的行人再识别效果好于其他算法。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (2)

1.判断目标行人在非重叠相机视角中出现的匹配方法,其特征在于,包括以下步骤;
步骤一:
通过基于图像显著性特征的人体再识别聚类算法,对图像进行预处理以及特征提取;
步骤二:
再使用K近邻高斯核函数均值漂移聚类算法寻找图像显著性特征;
步骤三:
通过加权马氏距离的度量方式计算出行人再识别的匹配结果;
所述的步骤一使用横向均等分割方式将图像横向分割成4块尺寸大小相同的矩形,再对每一个图像块进行颜色特征和纹理特征的提取,在对图像进行特征提取前,首先要对图像进行增强处理,图像增强主要采用Retinex方法来实现,主要是由于在图像中,颜色是描述行人的主要特征,然而在采集行人图像时,由于摄像机视角的不同会引起不同的光照强度,对图像的颜色特征产生巨大的影响,导致对人体再识别准确率的降低,Retinex算法的作用是使处理后的图像具有和人类视觉感知而产生的图像具有相似或者一致的颜色模型,也就是消除或者降低由于不同相机视角不同光照强度变化而产生的问题,再对分割后的图像提取非均匀量化的HSV颜色特征以及SILTP纹理特征,描述颜色的最具代表性特征是颜色直方图,采用的色调饱和度透明度(hue,saturation,,value,HSV)颜色空间,RGB模型转到HSV模型的计算公式为:
V=max(R,G,B)
Figure FDA0004072075690000021
Figure FDA0004072075690000022
将H,S,V三个分量按照人对颜色空间的感知进行非等间隔量化,将色调H空间分成16份,饱和度S和亮度V空间分别分成4份,根据色彩的不同范围和主观颜色感知进行非均匀量化,将三个颜色分量合成为一维特征向量:
L=H·QS·QV+S·QS+V
式中,QS,QV分别是S和V的量化级数,取QS=4,取QV=4,故L的取值范围是[0,255],最终计算出每张图片的颜色特征为一个256维的向量特征;
在图像纹理特征提取的方法中,SILTP特征值的具体计算方式如下:
设某一像素点的位置为(xc,yc),则SILTP特征值可编码为:
Figure FDA0004072075690000023
其中,Ic,Ik分别代表中心像素点的灰度值以及距中心半径为R的邻域内的N个像素点的灰度值,
Figure FDA0004072075690000024
代表比特连接运算符,将所有得到的比特值连接成一个完整的二进制数,τ表示尺度系数,它决定着比较的范围,Sτ是一种分段函数,具体如下:/>
Figure FDA0004072075690000031
所述的步骤二利用k近邻高斯核函数均值漂移算法对多个样本的相同位置的图像块进行聚类处理,根据处理结果确定图像显著性区域,并对图像的显著性区域特征赋予权值;
所述的表达式为:
Figure FDA0004072075690000032
式中h为带宽,g为高斯核函数,x0为迭代初始点,xi为随机样本点,xi的取值为所述步骤一中提取的图像颜色特征以及纹理特征叠加的高维向量值,其迭代方式是以选定的迭代初始点为中心,求以带宽h为半径的高维球内所有样本点的均值漂移转移向量和,带宽h的大小取决于距离中心点最小的的k个样本,通过降低迭代计算量和减少迭代次数来提高算法效率,其表达式为:
Figure FDA0004072075690000033
式中为样本点与中心点的距离,取k=50;
K近邻的高斯核函数均值漂移的实现步骤为:
Step1:随机选取迭代初始点;
Step2:根据与迭代初始点距离最近的k个样本点,计算带宽h;
Step3:根据高斯核函数均值漂移公式,得到漂移向量;
Step4:根据新的迭代中心点重复Step2及Step3步骤,直到满足类中心漂移停止条件m(x0)<mindi,认为算法收敛,得到类中心点;
Step5:重复Step1、Step2、Step3、Step4,得到新的类中心点,判断两个类中心点是否满足公式(3),其中P、Q为两个类中心点,若满足,则将P和Q归为一类;
Figure FDA0004072075690000041
Step6:重复Step1—Step5,迭代终止条件为数据集中所有数据至少被访问一次。
2.根据权利要求1所述的判断目标行人在非重叠相机视角中出现的匹配方法,其特征在于,所述的步骤三利用加权马氏距离计算样本之间相似度,实现人体再识别过程,提高行人再识别匹配的准确率;
对步骤一和步骤二得到的高维向量特征进行降维处理;由于在提取行人图片特征时所提取的是图像HSV颜色特征以及SILTP纹理特征,这是一个大于4000维数的高维向量集合,用xi,xj∈Rd表示,对原始特征xi,xj∈Rd,XQDA通过学习映射矩阵W∈Rd×r(r<d),将原始特征映射到低维子空间,在本算法中,图像的特征向量最终降至256维的低维子空间,其中,马氏距离是度量学习中常用的距离表示,对样本xi和xj,马氏距离表示为(xi-xj)TM(xi-xj),M为度量矩阵,假设样本差值为Δ=xi-xj,当样本标签yi=yj时,Δ称为类内差值;当样本标签yi≠yj时,Δ称为类间差值,由此,将样本的类内差值以及类间差值分别定义为:ΩI和ΩE,在ΩI和ΩE都服从均值为0,方差分别为δI和δE的高斯分布的情况下,样本差Δ在ΩI和ΩE的概率可以定义为:
Figure FDA0004072075690000051
Figure FDA0004072075690000052
其中,∑I和∑E分别是ΩI和ΩE的协方差矩阵,nI和nE表示两个类中的样本数;上述两式取根号相除,得到对数似然比为:
Figure FDA0004072075690000053
则两个样本之间的距离为:
Figure FDA0004072075690000054
式中,∑'I和∑'E分别为类内差值和类间样本差值分布的协方差矩阵,∑'I=WTI,∑'E=WTE;为映射矩阵,为了将样本分开,类间方差小,类外方差大,因此得到下面的优化公式:
Figure FDA0004072075690000055
对矩阵J(W)进行特征值分解,映射矩阵W由前r个最大特征值对应的特征向量构成,从矩阵J(W)可以看出,类内协方差矩阵∑'I可能是单数的,因此在∑I的对角线元素上添加一个小的正则化器,当所有样本归一化为单位长度时,使用0.001作为正则化器来改善结果,即令∑I’=∑I+λI,其中λ=0.001,再利用加权马氏距离算法求解样本图像与数据集中图像距离,假设样本图像分块处理后每一块的均值为:
Figure FDA0004072075690000061
数据集中图像分块后分布的均值为:
Figure FDA0004072075690000062
/>
协方差矩阵为∑'I,则样本中每一块图像与数据集合的加权马氏距离为:
Figure FDA0004072075690000063
式中α1,α2,α3,α4为上文中通过K-Meanshift计算出的每一个图像块显著性特征的权重百分比,则样本图像与数据集中图像的加权马氏距离为:
Figure FDA0004072075690000064
由加权马氏距离计算所得结果进行图像块相似度排序,
Figure FDA0004072075690000071
越小说明两张图越相似。/>
CN201911291387.XA 2019-12-16 2019-12-16 判断目标行人在非重叠相机视角中出现的匹配方法 Active CN110991389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911291387.XA CN110991389B (zh) 2019-12-16 2019-12-16 判断目标行人在非重叠相机视角中出现的匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911291387.XA CN110991389B (zh) 2019-12-16 2019-12-16 判断目标行人在非重叠相机视角中出现的匹配方法

Publications (2)

Publication Number Publication Date
CN110991389A CN110991389A (zh) 2020-04-10
CN110991389B true CN110991389B (zh) 2023-05-23

Family

ID=70093826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911291387.XA Active CN110991389B (zh) 2019-12-16 2019-12-16 判断目标行人在非重叠相机视角中出现的匹配方法

Country Status (1)

Country Link
CN (1) CN110991389B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446361A (zh) * 2020-12-16 2021-03-05 上海芯翌智能科技有限公司 一种训练数据的清洗方法及设备
CN112750151B (zh) * 2020-12-30 2023-09-26 成都云盯科技有限公司 基于数理统计的服装颜色匹配方法、装置和设备
CN112766180B (zh) * 2021-01-22 2022-07-12 重庆邮电大学 一种基于特征融合和多核学习的行人再识别方法
CN112950601B (zh) * 2021-03-11 2024-01-09 成都微识医疗设备有限公司 用于食管癌模型训练的图片的筛选方法、系统及存储介质
CN115131589B (zh) * 2022-08-31 2022-11-22 天津艺点意创科技有限公司 一种互联网文创作品智能设计的图像生成方法
CN115830641B (zh) * 2023-02-08 2023-06-09 四川弘和通讯集团有限公司 一种员工识别方法、装置、电子设备及存储介质
CN116243273B (zh) * 2023-05-09 2023-09-15 中国地质大学(武汉) 一种针对植被冠层提取的光子计数激光雷达数据滤波方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838864B (zh) * 2014-03-20 2017-02-22 北京工业大学 一种视觉显著性与短语相结合的图像检索方法
CN105574505B (zh) * 2015-12-16 2019-02-12 深圳大学 一种多摄像机间人体目标再识别的方法及系统
CN109902590B (zh) * 2019-01-30 2022-09-16 西安理工大学 深度多视图特征距离学习的行人重识别方法

Also Published As

Publication number Publication date
CN110991389A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110991389B (zh) 判断目标行人在非重叠相机视角中出现的匹配方法
Kusakunniran et al. Recognizing gaits across views through correlated motion co-clustering
US6292575B1 (en) Real-time facial recognition and verification system
Nishiyama et al. Facial deblur inference using subspace analysis for recognition of blurred faces
CN106023257B (zh) 一种基于旋翼无人机平台的目标跟踪方法
WO2015180527A1 (zh) 一种图像显著性检测方法
CN111652292B (zh) 一种基于ncs、ms的相似物体实时检测方法及系统
CN106778517A (zh) 一种监控视频序列图像车辆再识别的方法
CN108681737B (zh) 一种复杂光照下图像特征提取方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN102906787A (zh) 脸部分析技术
CN111738064A (zh) 一种雾霾图像的雾浓度识别方法
CN111259756A (zh) 基于局部高频次特征和混合度量学习的行人重识别方法
CN111832405A (zh) 一种基于hog和深度残差网络的人脸识别方法
Ye et al. Overhead ground wire detection by fusion global and local features and supervised learning method for a cable inspection robot
Smiatacz Normalization of face illumination using basic knowledge and information extracted from a single image
CN108875572B (zh) 基于背景抑制的行人重识别方法
KR100703528B1 (ko) 영상 인식 장치 및 방법
CN113269136B (zh) 一种基于triplet loss的离线签名验证方法
Nafees et al. A twin prediction method using facial recognition feature
CN114820707A (zh) 一种用于摄像头目标自动追踪的计算方法
CN111931757A (zh) 基于mdlbp分块直方图和pca降维的指静脉快速排序方法及装置
CN109447954B (zh) 一种基于核密度估计的伪装效果评估方法
Zhang et al. Ball detection based on color information and hough transform
Sergyán A new approach of face detection-based classification of image databases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant