CN111259756A - 基于局部高频次特征和混合度量学习的行人重识别方法 - Google Patents
基于局部高频次特征和混合度量学习的行人重识别方法 Download PDFInfo
- Publication number
- CN111259756A CN111259756A CN202010028083.0A CN202010028083A CN111259756A CN 111259756 A CN111259756 A CN 111259756A CN 202010028083 A CN202010028083 A CN 202010028083A CN 111259756 A CN111259756 A CN 111259756A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- image
- local
- metric learning
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 239000011159 matrix material Substances 0.000 claims abstract description 46
- 238000005286 illumination Methods 0.000 claims abstract description 29
- 230000008859 change Effects 0.000 claims abstract description 16
- 230000009467 reduction Effects 0.000 claims abstract description 10
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 45
- 238000005259 measurement Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000006185 dispersion Substances 0.000 claims description 6
- 238000007667 floating Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 10
- 238000004458 analytical method Methods 0.000 abstract description 5
- 230000006399 behavior Effects 0.000 abstract description 4
- 238000011840 criminal investigation Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 241000271897 Viperidae Species 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于局部高频次特征和混合度量学习的行人重识别方法,采用局部频次特征表示方法,在光照和视角变化条件下提取目标图像的颜色和纹理特征集合,并采用滑动窗口来描述局部细节提取图像特征,取局部高频次出现的特征最大值作为特征值,获得多尺度的特征描述符级联。在子空间降维以后,根据样本出现的后验概率得到度量学习矩阵及其混合度量学习矩阵的权重系数,最终得到相似程度作为行人重识别的依据。本发明可以在多摄像头监控场景下利用行人外观特征识别出与给定行人相关图像,在智能监控、智能安保、刑事侦查、行人检索、行人跟踪和行为分析等领域具有较好应用价值。
Description
技术领域
本发明属于信息技术计算机视觉技术领域,具体涉及一种基于局部高频次特 征和混合度量学习的行人重识别方法。
背景技术
在多摄像头监控场景下利用行人外观特征识别出与给定行人相关图像的问 题,称为行人重识别(Person re-identification)。通过对多摄像头监控数据的自动分 析、检测、识别和跟踪,可匹配不同摄像机在不同时间、地点拍摄的行人目标。 近年来,行人重识别问题一直是视频监控技术的研究热点,广泛应用于智能监控、 智能安保、刑事侦查、行人检索、行人跟踪和行为分析等领域,对它的深入研究 极大地推动计算机视觉、机器学习和多媒体信号处理等学科的发展。
行人重识别包括监控视频行人检测,特征提取和相似性度量等一系列的过程, 其中特征提取和相似性度量是两个基本问题。目前,行人重识别技术研究主要集 中在如下几个方面:
1)产生鲁棒的特征表示或特征描述子;
2)建立高效的信息相似性度量或度量学习机制。
特征表示需要计算行人样本的局部颜色和纹理特征,有效的特征表示既对目 标有较强的区分力,又对光照和视角变化具有鲁棒性。用于描述行人外貌形态的 特征有很多,如基于整体和基于部分的特征描述以及基于区域的特征描述。相似 性度量学习目的是比较特征向量之间的距离,将其转化为图像对之间的相似度, 通过对该相似度进行排序,找到最相似的图像。度量学习包括两个阶段,首先基 于主成分分析(PCA)方法将原始特征或特征维映射到低维子空间,然后在子空 间上学习判定相应距离。这种两阶段处理方法能够有效提取一些在光照、位姿和 视角都发生严重畸变的情况下提取显著特征。
大多数方法采用颜色直方图来表示局部或全局特征提取差异特征,计算查询 图像之间的相似度然后排序,此时得到的往往不是最优结果。常见的特征提取方 法包括显著特征匹配、局部特征的集成(ELF),对称局部特征累加(SDALF),Fisher 矢量(LDFV),局部最大重现特征(LOMO)和中级滤波等方法。无论是基于外貌 的方法,还是基于形态的方法,充分利用目标的空间信息可以增强提取特征的鲁 棒性,进而获得较好的再识别率。一些文献对于近年行人重识别工作进行了综述, 提出纹理和形态是颜色特征的有益补充。有些研究提出了缩影特征(Epitome)作为 模板或基函数。局部特征对行人图像的旋转、视角、光照条件具有较好适应性。 由于行人重识别的训练集和测试集之间ID不重叠,并且大多数场景下,行人处 于非合作状态,关键部位有时还会被遮挡住。因此,完全依赖特征描述解决行人目标再识别问题非常困难。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于 局部高频次特征和混合度量学习的行人重识别方法,基于局部高频次特征提取目 标图像的特征描述符,并进行全局和局部特征混合度量学习,在匹配准确程度方 面做出改进,同时对计算速度方面没有显著影响。
本发明采用以下技术方案:
基于局部高频次特征和混合度量学习的行人重识别方法,包括以下步骤:
S1、在光照和视角变化条件下提取目标图像的颜色特征,使用基于中心环绕 多尺度Retinex算法预处理人物图像,进行图像颜色增强来消除光照不均;
S2、在光照不变条件下使用尺度不变局部三值模式提取图像纹理的特征描述;
S3、使用基于HSV的颜色直方图对于MSR增强以后的图像提取颜色特征, 经HSV颜色直方图提取并量化,计算颜色落在每个小区间内的像素数量得到颜 色直方图;
S4、采用滑动窗口来描述局部细节特征,设定子窗口步长,沿水平方向和垂 直方向在整张图片中重叠滑动描述一个图像的局部,提取每块的SILTP和HSV 特征,对同一水平滑窗带上图像块采用叠加的最大化操作捕获图像区域的局部高 频次数特征,最后采用三尺度金字塔级联表示上述特征获得局部高频次特征描述 符;
S5、寻找子空间对特征进行降维处理,要求样本投影在该空间实现类内距离 最小,类间距离最大,选取低维空间W=(w1,w2,…wr)∈Rd×r,求解度量学习矩阵, 得到低维空间;
S6、构造度量学习矩阵Mh(xi,xj),训练得到局部度量矩阵和全局度量矩阵的 权重,求解马氏距离获得行人重识别依据,实现行人重识别。
具体的,步骤S1具体为:
S101、预读原图S(x,y),如原图为灰度图,将各像素的灰度值转换为浮点数, 如原图为彩色图,将颜色分RGB三通道处理,每个通道分量的像素值转换为浮 点数;
S102、输入尺度参数σ,计算高斯滤波器F;
S103、单尺度SSR算法处理后,输出R(x,y);
S104、将LogR(x,y)量化到0~255之间的像素值作为输出像素,输出灰度值或 者彩色像素值;
S105、如果原图是灰度图,直接输出,如果原图是RGB图,计算每个尺度 下累加的LogR(x,y)。
进一步的,步骤S105中,LogR(x,y)具体为:
具体的,步骤S2具体为:
S201、预读MSR处理后的图像R(x,y);
S202、逐行逐列扫描图像,获得每个像素点(Xc,Yc)的灰度值Ic,设置邻域半 径R,设置比例系数T;
S203、根据获得对应像素点的二值串联,(Xc,Yc)是像素点C,Ic是像素C的灰度值;Ik是C点周围以R为半径的圆上N个相邻点 的灰度值;T是比较范围的比例系数;符号的作用是将ST(Ic,Ik)得到的二进制数 值串联成一个二进制字符串;
S204、C点周围像素点原始值经过分段函数ST(Ic,Ik)运算后得到一个两位数 的二进制字符串。
具体的,步骤S4具体为:
S401、采用滑动窗口提取局部特征,沿水平方向和垂直方向在整张图片中重 叠滑动,描述一个128×48的行人图像;
S402、分别统计每个子窗口中两个尺度的SILTP直方图和一个HSV直方图 8×8×8(bin),每个直方图的bin表示该模式出现的概率;
S403、构建一个三尺度金字塔,通过两个2×2局部平均pooling操作对原始 的128×48图像进行下采样,然后重复上述纹理和颜色特征提取过程;
S404、为抑制大的bin值,使HSV和SILTP特征规范化为单位长度,对上 述值取log,得到局部高频次特征的标准化值。
具体的,步骤S5具体为:
S501、根据马氏距离推导相似度函数,xi和xj是进行比较的两个样本,定义 两个样本的距离HI表示两个样本属于同一个人,HE表示两 个样本属于不同人;若r(xij)≥1则P(HI|xij)>P(HE|xij);
S502、寻找子空间,要求样本投影在该子空间实现类内距离最小而类间距离 最大,进行降维处理;
S504、计算代表C类样本的类内离散度Sw和类间离散度SB;
进一步的,步骤S504中,C类样本的类内离散度Sw和类间离散度SB计算如 下:
更进一步的,满足fisher准则的投影距离为:
其中,Sw=∑I,SB=∑E,W为投影平面,WT为投影平面的法向量。
具体的,步骤S6中,度量学习矩阵Mh(xi,xj)为:
其中,w0为全局度量矩阵的权重,M是全局度量矩阵,wk为局部度量矩阵 及其权重参数,k为局部度量矩阵个数,xi,xj为样本;当w0=0时,采用局部度量 学习方法,当k=0时,模型退化为全局度量学习。
进一步的,度量矩阵构造包括训练和学习两个阶段,训练阶段使用全部样本, 使用高斯混合模型进行聚类,K是无监督的聚类结果,wk=p(k|xi);最终学习阶段, 将训练得到的M和Mk两个矩阵加权结合构造度量学习矩阵,学习阶段的任务是 参数修正,为修正wk的值,训练集初步划分后,对每个训练集内样本单独学习, 得到一系列局部度量矩阵;当样本出现交叉时,第一个参数属于样本i,第二个 参数属于样本类别j,此时样本分类重叠,允许一个目标的图像属于多个聚类, 并根据各个样本在混合模型中后验概率的最大值,判定局部子集;在局部高频次 特征提取的基础上,利用高斯混合模型将局部相似划分在同一训练集,单独进行 度量学习。
与现有技术相比,本发明至少具有以下有益效果:
本发明提出了一种基于局部高频次特征和混合度量学习的行人重识别方法, 可以在多摄像头监控场景下利用行人外观特征识别出与给定行人相关图像,在智 能监控、智能安保、刑事侦查、行人检索、行人跟踪和行为分析等领域具有较好 应用价值。
进一步的,步骤S1中使用MSR颜色增强算法预处理图像来消除光照不均, 考虑到可相同人物的感知颜色可能因摄像机视图不同产生很大变化,而基于中心 环绕模型的MSR算法不仅仅补偿光照的变化,同时兼顾不同尺度Retinex算法中 细节增强和颜色恒常优点
进一步的,步骤S2的SILTP算法继承了局部二值模式(Local Binary Pattern,LBP)算法尺度不变的特性,能够适应光照突然变化的情况,具有尺度不变和对 噪声的鲁棒性,可处理图像局部光照变化,并消除阴影。
进一步的,步骤S3将颜色空间划分成若干个小的颜色区间,每个小区间成 为直方图的一个bin。经颜色量化(color quantization)以后,计算颜色落在每个小 区间内的像素数量得到颜色直方图。HSV模型中,参数H表示色彩信息,即所 处的光谱颜色的位置,该参数用一角度量来表示,红、绿、蓝分别相隔120度, 互补色分别相差180度;参数S表示纯度,为一比例值,范围从0到1。表示所 选颜色纯度和该颜色最大纯度之间的比例,S=0时,只有灰度;参数V表示色 彩明亮程度,范围从0到1,该值和光强度之间并没有直接的联系。
进一步的,步骤S4采用滑动窗口来描述行人局部细节,设定子窗口步长, 沿着水平方向和垂直方向在整张图片中重叠滑动,来描述一个图像的局部。在每 个子窗口中分别统计两个尺度的SILTP直方图和一个HSV直方 图8×8×8(bin),每个直方图的bin表示该种模式出现的概率,为了最大化局部特 征,对同一水平滑窗带上图像块采用叠加的最大化操作来捕获图像区域的局部高 频次数特征(如图2所示),最后采用三尺度金字塔级联表示上述特征获得局部 高频次特征描述符;
进一步的,步骤S5寻找子空间对特征进行降维处理,要求样本投影在该空 间实现类内距离最小,类间距离最大,选取低维空间W=(w1,w2,…wr)∈Rd×r,求解 度量学习矩阵,得到低维空间;
进一步的,步骤S6基于Mahalanobis距离构建混合度量学习矩阵,并基于 KISSME算法将求解马氏距离的问题转化为对高斯分布协方差矩阵的求参数问题, 并将其应用于行人重识别判定。要求同一个行人不同设备不同图像距离小于不同 人间图像距离,对相似程度给出了一个度量。
综上所述,本发明的行人重识别包括局部频次特征提取和混合度量学习两个 重要过程,在图像滤噪和MSR增强基础上,本文提取了行人样本的高频次局部 颜色和纹理特征,该特征对光照和视角变化具有较强鲁棒性。在最大化局部特征 后,在子空间降维构建度量学习矩阵,根据样本出现后验概率学习获得相应权重, 得到混合度量学习矩阵权重。实验基于不同数据库验证了本发明的累计匹配曲线 (Cumulative Matching Curve,CMC)CMC曲线和和一级识别率)Rank-1识别率。并 比较了其他方法得到本发明所提方法具有较高匹配度和与之相应的时间开销。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明一种基于局部高频次特征和混合度量学习方法的框架图;
图2为本发明过程示意图;
图3为Market-1501数据MSR处理前后对比图,(a)是Market-1501行人 数据的原始图像;(b)Market-1501行人数据MSR处理后图像;
图4SILTP算法示意图;
图5采用滑动子窗口实现局部特征最大提取得到的直方图;
图6多数据集下行人重识别的CMC曲线。
具体实施方式
行人重识别技术利用计算机视觉和图像检索技术判断跨设备下图像或者视 频序列中是否存在特定行人图像。在非重叠场景下,受光照条件、背景变化、遮 挡、视角和位姿变化等因素影响,导致不同摄像机下的同一目标体貌存在着很大 的差异,这种差异甚至大于衣着相近的不同个体差异。
本发明提供一种基于局部高频次特征和混合度量学习的行人重识别方法,采 用局部频次特征表示方法,在光照和视角变化条件下提取目标图像的颜色和纹理 特征集合,并采用滑动窗口来描述局部细节提取图像特征,取局部频次出现的最 大概率值作为最后特征值,获得多尺度的特征描述符。在子空间降维以后,根据 样本出现的后验概率得到度量学习矩阵及其权重系数,根据相应马氏距离得到相 似程度作为重识别的依据。本发明可以在多摄像头监控场景下利用行人外观特征 识别出与给定行人相关图像,在智能监控、智能安保、刑事侦查、行人检索、行 人跟踪和行为分析等领域具有较好应用价值。
请参阅图1,本发明一种基于局部高频次特征和混合度量学习的行人重识别 方法,主要处理对象为公开数据集,图像由图像检测器从监控视频中提取并自动 检测切割出行人图像,数据库被划分为一个训练集和一个测试集,具体步骤如下:
S1、在光照和视角变化条件下提取目标图像的颜色特征,使用基于中心环绕 多尺度Retinex算法(Multi Scale Retinex,MSR)预处理人物图像,进行图像颜色 增强来消除光照不均;
S101、预读原图S(x,y),如原图为灰度图,将各像素的灰度值转换为浮点数, 如原图为彩色图,将颜色分RGB三通道处理,每个通道分量的像素值转换为浮 点数;
S102、输入尺度参数σ,计算高斯滤波器F如下:
其中,r2为x2+y2;
S103、单尺度SSR算法处理后,输出R(x,y),具体计算如下:
LogR(x,y)=logS(x,y)-logL(x,y)
S104、将LogR(x,y)量化到0~255之间的像素值作为输出像素,输出灰度值或 者彩色像素值;
S105、如果原图是灰度图,直接输出,如果原图是RGB图,计算每个尺度 下累加的LogR(x,y),LogR(x,y)是根据权重调整合成的输出RGB图,计算如下:
S2、在光照不变条件下使用尺度不变局部三值模式(Scale invariant localternary pattern,SILTP)提取图像纹理的特征描述,SILTP算法能够适应光照突然 变化的情况,能通过纹理特征将人物的阴影与背景区分,可处理图像局部光照变 化,消除阴影;
S201、预读MSR处理后的图像R(x,y);
SILTP(Scale Invariant Local Ternary Pattern)是尺度不变局部三值模式,该算法 继承了局部二值模式LBP(Local Binary Pattern,LBP)算法尺度不变的特性,能 够适应光照突然变化的情况,还能够通过纹理特征将人物的阴影与背景区分开;
SILTP具有尺度不变性和对噪声的鲁棒性,可处理图像局部光照变化,并消 除阴影。
S202、逐行逐列扫描图像,获得每个像素点(Xc,Yc)的灰度值Ic,设置邻域半 径R,设置比例系数T;
其中,(Xc,Yc)是像素点C,Ic是像素C的灰度值;Ik是C点周围以R为半径 的圆上N个相邻点的灰度值;T是比较范围的比例系数;符号的作用是将 ST(Ic,Ik)得到的二进制数值串联成一个二进制字符串。
变换函数ST是一个分段函数,计算方法如:
S204、C点周围像素点原始值经过分段函数ST(Ic,Ik)运算后得到一个两位数 的二进制字符串。
请参阅图4,t=0.1,邻域为8,则ST使用了周围8个2位二进制数来表示像 素点C附近的纹理特征(00,00,10,00,_10,00,01,01)。
S3、使用基于HSV(Hue Saturation Value,HSV)的颜色直方图对于MSR增强 以后的图像提取颜色特征,经HSV(Hue,Saturation Value,HSV)颜色直方图提取并 量化,计算颜色落在每个小区间内的像素数量得到颜色直方图;
颜色特征基于HSV(Hue,Saturation Value,HSV)颜色直方图提取。将颜色空间 划分成若干个小的颜色区间,每个小区间成为直方图的一个bin。经颜色量化(colorquantization)以后,计算颜色落在每个小区间内的像素数量得到颜色直方图。
HSV模型中,参数H表示色彩信息,即所处的光谱颜色的位置;参数S表 示纯度,为一比例值,范围从0到1,表示所选颜色纯度和该颜色最大纯度之间 的比例,S=0就只有灰度;参数V表示色彩明亮程度,范围从0到1,该值和光 强度之间并没有直接的联系。
S4、采用滑动窗口来描述局部细节特征,设定子窗口步长,沿着水平方向和 垂直方向在整张图片中重叠滑动,来描述一个图像的局部。提取每块的SILTP和 HSV特征,对同一水平滑窗带上图像块采用叠加的最大化操作来捕获图像区域的 局部高频次数特征,如图2所示,最后采用三尺度金字塔级联表示上述特征获得 局部高频次特征描述符;
S401、采用滑动窗口来提取局部特征,通常定义子窗口大小为10×10,设步 长为5,沿着水平方向和垂直方向在整张图片中重叠滑动,来描述一个128×48行 人图像;
为了弱化视角差异,对同一水平位置的所有滑动窗口中的特征取最大概率值 进行局部最大操作,提取过程如图5所示。
S403、构建一个三尺度金字塔,通过两个2×2局部平均pooling操作对原始 的128×48图像进行下采样,然后重复上述纹理和颜色特征提取过程;
对每张图片,可扫描出24个组,由于多尺度对图片缩放了两次,得到24×64 和12×32两种图片。三张图片有24+11+5组,局部特征级联一共(8×8×8bin+34×2bin) ×(24+11+5)=26,960维描述符。
S404、为抑制大的bin值,使HSV和SILTP特征规范化为单位长度,对上 述值取log,得到局部高频次特征的标准化值。
S5、寻找子空间对特征进行降维处理,要求样本投影在该空间实现类内距离 最小,类间距离最大,选取低维空间W=(w1,w2,…wr)∈Rd×r,求解度量学习矩阵, 得到低维空间;
S501、根据马氏距离推导相似度函数,xi和xj是进行比较的两个样本,r(xij) 则是两个样本的距离,定义HI表示两个样本属于同一个人, HE表示两个样本属于不同人;若r(xij)≥1则P(HI|xij)>P(HE|xij),可以认为是样本 图片属于同一人。
根据零均值高斯分布假设,代入r(xij)如下:
其中,∑I是HI协方差矩阵,∑H是HE协方差矩阵,θE和θI为高斯分布参数, 用∑H,∑I表示。
形式化和约简距离相似度函数r(xij)如下:
r(xij)=d(xi,xj)=(xi-xj)TM(xi-xj)MT(xi-xj)
S502、特征级联以后的原始特征维度非常大导致计算开销增大,降维首先需 要寻找子空间,要求样本投影在该子空间实现类内距离最小而类间距离最大;
W=(w1,w2,…wr)∈Rd×r,(r<d)是选取的低维空间,令两个训练集{X,Z}, X=(x1,…xn)包括一个视角d维特征n个样本,Y=(y1,…yn)则是另一个视角样本。
上述实现多分类基于C类样本,得到满足fisher准则的投影距离如式所示:
S504、Sw,SB分别代表C类样本的类内离散度和类间离散度,计算方式如下:
Sw=∑I,SB=∑E,则:
其中,W为投影平面,WT为投影平面的法向量;
S6、构造度量学习矩阵Mh(xi,xj),训练得到局部度量矩阵和全局度量矩阵的 权重,求解马氏距离获得行人重识别依据。
度量学习矩阵Mh(xi,xj)为:
其中,w0为全局度量矩阵的权重,用于平滑全局度量矩阵对整体度量的影响, wk为局部度量矩阵及其权重参数,M为全局度量矩阵,k为局部度量矩阵个数, xi,xj为样本。当w0=0时,算法采用局部度量学习方法,当k=0时,模型退化为 全局度量学习。
本度量矩阵构造分训练和学习两个阶段,训练阶段使用全部样本,使用高斯 混合模型进行聚类,K是无监督的聚类结果,K越大,则体现在局部特征区分性 越高,但容易产生过拟合,其中wk=p(k|xi)。最终学习阶段,将训练得到的M和Mk两个矩阵加权结合构造度量学习矩阵。学习阶段的重要任务是参数修正,为修正 wk的值,训练集初步划分后,对每个训练集内样本单独学习,得到一系列局部度 量矩阵。当样本出现交叉时,如样本(xi,yj),其中第一个参数属于样本i,第二个 参数属于样本类别j,此时样本分类重叠,原因在于不同相机下同一个目标表现 差异较大。处理措施是允许一个目标的图像可属于多个聚类,并根据各个样本在 混合模型中后验概率的最大值,判定局部子集。构造度量矩阵目的是在局部高频 次特征提取的基础上,利用高斯混合模型将局部相似划分在同一训练集,单独进 行度量学习,更好地区分这些相似的目标,从而提高匹配准确率。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实 施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所 描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中 的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因 此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的 本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本 领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属 于本发明保护的范围。
本发明一种基于局部高频次特征和混合度量学习的行人重识别方法,使用公 开数据VIPeR,CUHK校园,CUHK03和Market-1501对实验进行仿真,对发明 的可行性与效果评估如下:
VIPeR是被广泛用做基准评估的行人重识别数据库。它包含632对行人图像, 由室外一对摄像头拍摄。其中图像在背景,照明和视点变化中差异很大。
香港中文大学校园数据集是校园两个摄影机视角拍摄的,包含971人两个图 像,包括一个正视图或背视图,另一个是侧视图,图像分辨率是160×60像素。 其中,485人进行训练,486人进行测试(多镜头)。而港中文3号数据集包括1,316 个行人13,164幅图像。这是目前最大的公开数据集。包括六台监视摄像机,每个 人包括两个不相交摄像机视图,图像手动检测切割。
Market-1501数据集在清华大学采集,图像来自6个摄像头,其中一个为低 像素。训练集有751人,包含12,936张图像,测试集750人,包含19,732张图 像。
在实验过程中,本发明将VIPeR的632对图像随机分为两部分,一半进行训 练,另一半进行测试,重复10次以获得平均性能,将香港中文大学校园数据集 数据集划分为一个1,160人的训练集和一个100人的测试集。
实验结果表明:
1、本发明在预处理阶段,以Market-1501数据集的一些样本图像为例进行颜色和纹理增 强,图3(a)显示了,两个摄像机视图中同一人的图像在照明和颜色外观上具有很大差异。图 3(b)是(a)MSR增强后的结果。摄像机上同一行人经MSR增强后在照明和颜色上的一致性更好, 使得行人重识别比使用原始图像更容易。
2、请参阅图4,该图显示了局部频次特征提取的过程,图片来自VIPeR数据集;
3、图5显示了在四个数据集上的一级识别率(Rank-1)结果。横坐标为rank 数目,纵坐标为CMC准确率。当r=1时,显示一级识别率表示训练集中目标匹 配结果在测试集上的比例,可以看到,VIPeR数据集的一次识别率是41%,而 CUHK和CUHK03的Rank-1在10%。由于这两个数据测试图像大量的光照和视 点变化,导致一次识别率较低。而Market-1501介于二者之间;
4、图6表示本方法综合了局部频次特征和混合度量学习方法,在VIPeR数 据集上进行实验,方法包括仅仅采用基于高斯模型的度量矩阵学习算法(Keep It Simple andStraightforward,KISSME),LOMO-XQDA方法(CVPR2015)和本发 明所采用的方法三种,本发明所采用的方法再略高于其他两种方法。
综上所述,本发明在系统开销、稳定性以及准确性方面都具有较强的有效性, 并且在多种场景下的适应性较好。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算 机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软 件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计 算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、 光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品 的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或 方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框 的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机 或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可 编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个 流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备 以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指 令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得 在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从 而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或 多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡 是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发 明权利要求书的保护范围之内。
Claims (10)
1.基于局部高频次特征和混合度量学习的行人重识别方法,其特征在于,包括以下步骤:
S1、在光照和视角变化条件下提取目标图像的颜色特征,使用基于中心环绕多尺度Retinex算法预处理人物图像,进行图像颜色增强来消除光照不均;
S2、在光照不变条件下使用尺度不变局部三值模式提取图像纹理的特征描述;
S3、使用基于HSV的颜色直方图对于MSR增强以后的图像提取颜色特征,经HSV颜色直方图提取并量化,计算颜色落在每个小区间内的像素数量得到颜色直方图;
S4、采用滑动窗口来描述局部细节特征,设定子窗口步长,沿水平方向和垂直方向在整张图片中重叠滑动描述一个图像的局部,提取每块的SILTP和HSV特征,对同一水平滑窗带上图像块采用叠加的最大化操作捕获图像区域的局部高频次数特征,最后采用三尺度金字塔级联表示上述特征获得局部高频次特征描述符;
S5、寻找子空间对特征进行降维处理,要求样本投影在该空间实现类内距离最小,类间距离最大,选取低维空间W=(w1,w2,…wr)∈Rd×r,求解度量学习矩阵,得到低维空间;
S6、构造度量学习矩阵Mh(xi,xj),训练得到局部度量矩阵和全局度量矩阵的权重,求解马氏距离获得行人重识别依据,实现行人重识别。
2.根据权利要求1所述的基于局部高频次特征和混合度量学习的行人重识别方法,其特征在于,步骤S1具体为:
S101、预读原图S(x,y),如原图为灰度图,将各像素的灰度值转换为浮点数,如原图为彩色图,将颜色分RGB三通道处理,每个通道分量的像素值转换为浮点数;
S102、输入尺度参数σ,计算高斯滤波器F;
S103、单尺度SSR算法处理后,输出R(x,y);
S104、将LogR(x,y)量化到0~255之间的像素值作为输出像素,输出灰度值或者彩色像素值;
S105、如果原图是灰度图,直接输出,如果原图是RGB图,计算每个尺度下累加的LogR(x,y)。
5.根据权利要求1所述的基于局部高频次特征和混合度量学习的行人重识别方法,其特征在于,步骤S4具体为:
S401、采用滑动窗口提取局部特征,沿水平方向和垂直方向在整张图片中重叠滑动,描述一个128×48的行人图像;
S402、分别统计每个子窗口中两个尺度的SILTP直方图和一个HSV直方图8×8×8(bin),每个直方图的bin表示该模式出现的概率;
S403、构建一个三尺度金字塔,通过两个2×2局部平均pooling操作对原始的128×48图像进行下采样,然后重复上述纹理和颜色特征提取过程;
S404、为抑制大的bin值,使HSV和SILTP特征规范化为单位长度,对上述值取log,得到局部高频次特征的标准化值。
6.根据权利要求1所述的基于局部高频次特征和混合度量学习的行人重识别方法,其特征在于,步骤S5具体为:
S501、根据马氏距离推导相似度函数,xi和xj是进行比较的两个样本,定义两个样本的距离HI表示两个样本属于同一个人,HE表示两个样本属于不同人;若r(xij)≥1则P(HI|xij)>P(HE|xij);
S502、寻找子空间,要求样本投影在该子空间实现类内距离最小而类间距离最大,进行降维处理;
S504、计算代表C类样本的类内离散度Sw和类间离散度SB;
10.根据权利要求9所述的基于局部高频次特征和混合度量学习的行人重识别方法,其特征在于,度量矩阵构造包括训练和学习两个阶段,训练阶段使用全部样本,使用高斯混合模型进行聚类,K是无监督的聚类结果,wk=p(k|xi);最终学习阶段,将训练得到的M和Mk两个矩阵加权结合构造度量学习矩阵,学习阶段的任务是参数修正,为修正wk的值,训练集初步划分后,对每个训练集内样本单独学习,得到一系列局部度量矩阵;当样本出现交叉时,第一个参数属于样本i,第二个参数属于样本类别j,此时样本分类重叠,允许一个目标的图像属于多个聚类,并根据各个样本在混合模型中后验概率的最大值,判定局部子集;在局部高频次特征提取的基础上,利用高斯混合模型将局部相似划分在同一训练集,单独进行度量学习。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010028083.0A CN111259756A (zh) | 2020-01-10 | 2020-01-10 | 基于局部高频次特征和混合度量学习的行人重识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010028083.0A CN111259756A (zh) | 2020-01-10 | 2020-01-10 | 基于局部高频次特征和混合度量学习的行人重识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111259756A true CN111259756A (zh) | 2020-06-09 |
Family
ID=70948722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010028083.0A Pending CN111259756A (zh) | 2020-01-10 | 2020-01-10 | 基于局部高频次特征和混合度量学习的行人重识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111259756A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112200009A (zh) * | 2020-09-15 | 2021-01-08 | 青岛邃智信息科技有限公司 | 一种社区监控场景下基于关键点特征对齐的行人重识别方法 |
CN112581516A (zh) * | 2020-11-30 | 2021-03-30 | 北京迈格威科技有限公司 | 图像匹配方法、装置、电子设备及存储介质 |
CN113240715A (zh) * | 2021-05-29 | 2021-08-10 | 刘文平 | 多重特征驱动的相似度量学习人物检索法 |
CN113538369A (zh) * | 2021-07-14 | 2021-10-22 | 安徽炬视科技有限公司 | 一种基于椭圆度量学习的压板状态检测算法 |
CN113536995A (zh) * | 2021-06-30 | 2021-10-22 | 河南大学 | 一种基于特征映射空间和样本判定的行人重识别方法 |
WO2022062419A1 (zh) * | 2020-09-22 | 2022-03-31 | 德州学院 | 基于非督导金字塔相似性学习的目标重识别方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106485253A (zh) * | 2016-09-14 | 2017-03-08 | 同济大学 | 一种最大粒度结构描述符的行人再辨识方法 |
CN109840466A (zh) * | 2018-12-05 | 2019-06-04 | 华南理工大学 | 基于聚类及全局/局部距离综合的多重度量学习方法 |
-
2020
- 2020-01-10 CN CN202010028083.0A patent/CN111259756A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106485253A (zh) * | 2016-09-14 | 2017-03-08 | 同济大学 | 一种最大粒度结构描述符的行人再辨识方法 |
CN109840466A (zh) * | 2018-12-05 | 2019-06-04 | 华南理工大学 | 基于聚类及全局/局部距离综合的多重度量学习方法 |
Non-Patent Citations (7)
Title |
---|
__VISION: ""Person re-identification by Local Maximal Occurrence representation and metric learning"", Retrieved from the Internet <URL:https://www.jianshu.com/p/299f142e4cb9> * |
JIANGUO WANG, WANKOU YANG AND JINGYU YANG: "Fuzzy maximum scatter discriminant analysis and its application to face recognition", 2008 19TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION, 31 December 2008 (2008-12-31), pages 1 - 4, XP031411794 * |
M. KÖSTINGER, M. HIRZER, P. WOHLHART, P. M. ROTH AND H. BISCHOF: "Large scale metric learning from equivalence constraints", 2012 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 31 December 2012 (2012-12-31), pages 2288 - 2295 * |
S. LIAO, G. ZHAO, V. KELLOKUMPU, M. PIETIKÄINEN AND S. Z. LI: "Modeling pixel process with scale invariant local patterns for background subtraction in complex scenes", 2010 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 31 December 2010 (2010-12-31), pages 1301 - 1306 * |
S. LIAO, Y. HU, XIANGYU ZHU AND S. Z. LI: "Person re-identification by Local Maximal Occurrence representation and metric learning", IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 15 October 2015 (2015-10-15), pages 2197 - 2206 * |
S. LIAO, Y. HU, XIANGYU ZHU AND S. Z. LI: "Person re-identification by Local Maximal Occurrence representation and metric learning", IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 31 December 2015 (2015-12-31), pages 2197 - 2206 * |
勇者无敌: "图像处理之Retinex增强算法(SSR、MSR、MSRCR)", Retrieved from the Internet <URL:https://www.cnblogs.com/wangyong/p/8665434.html> * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112200009A (zh) * | 2020-09-15 | 2021-01-08 | 青岛邃智信息科技有限公司 | 一种社区监控场景下基于关键点特征对齐的行人重识别方法 |
CN112200009B (zh) * | 2020-09-15 | 2023-10-17 | 青岛邃智信息科技有限公司 | 社区监控场景下基于关键点特征对齐的行人重识别方法 |
WO2022062419A1 (zh) * | 2020-09-22 | 2022-03-31 | 德州学院 | 基于非督导金字塔相似性学习的目标重识别方法及系统 |
CN112581516A (zh) * | 2020-11-30 | 2021-03-30 | 北京迈格威科技有限公司 | 图像匹配方法、装置、电子设备及存储介质 |
CN113240715A (zh) * | 2021-05-29 | 2021-08-10 | 刘文平 | 多重特征驱动的相似度量学习人物检索法 |
CN113536995A (zh) * | 2021-06-30 | 2021-10-22 | 河南大学 | 一种基于特征映射空间和样本判定的行人重识别方法 |
CN113538369A (zh) * | 2021-07-14 | 2021-10-22 | 安徽炬视科技有限公司 | 一种基于椭圆度量学习的压板状态检测算法 |
CN113538369B (zh) * | 2021-07-14 | 2024-02-09 | 安徽炬视科技有限公司 | 一种基于椭圆度量学习的压板状态检测算法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Fast traffic sign recognition via high-contrast region extraction and extended sparse representation | |
CN111259756A (zh) | 基于局部高频次特征和混合度量学习的行人重识别方法 | |
CN107610114B (zh) | 基于支持向量机的光学卫星遥感影像云雪雾检测方法 | |
Creusen et al. | Color exploitation in hog-based traffic sign detection | |
Ajmal et al. | A comparison of RGB and HSV colour spaces for visual attention models | |
CN110991389B (zh) | 判断目标行人在非重叠相机视角中出现的匹配方法 | |
US11450087B2 (en) | System and method for multimedia analytic processing and display | |
Buza et al. | Skin detection based on image color segmentation with histogram and k-means clustering | |
Zhang et al. | Multi-features integration based hyperspectral videos tracker | |
Liang et al. | Salient object detection using content-sensitive hypergraph representation and partitioning | |
Bhuiyan et al. | Person re-identification by discriminatively selecting parts and features | |
Ahmed et al. | Deep image sensing and retrieval using suppression, scale spacing and division, interpolation and spatial color coordinates with bag of words for large and complex datasets | |
Guofeng et al. | Traffic sign recognition based on SVM and convolutional neural network | |
Jayaraman et al. | An efficient color and texture based iris image retrieval technique | |
Hu et al. | Fast face detection based on skin color segmentation using single chrominance Cr | |
Gangopadhyay et al. | FACE DETECTION AND RECOGNITION USING HAAR CLASSIFIER AND LBP HISTOGRAM. | |
CN108875572B (zh) | 基于背景抑制的行人重识别方法 | |
JP3962517B2 (ja) | 顔面検出方法及びその装置、コンピュータ可読媒体 | |
Fritz et al. | Object recognition using local information content | |
Perrotton et al. | Automatic object detection on aerial images using local descriptors and image synthesis | |
Choi et al. | Retrieval of identical clothing images based on local color histograms | |
Wu et al. | An accurate feature point matching algorithm for automatic remote sensing image registration | |
Davarzani et al. | Robust image description with weighted and adaptive local binary pattern features | |
Xu et al. | Coin recognition method based on SIFT algorithm | |
Zhang et al. | Reidentification of Persons Using Clothing Features in Real‐Life Video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |