CN110427868A - 一种行人重识别中的特征提取方法 - Google Patents

Abstract

本发明涉及一种行人重识别中的特征提取方法，包括：1、将采集的图片划分成背景区域和标记人物的前景区域；2、基于Retinex的色彩保留及亮度信息增强，得到增强后的亮度图像；3、使用HSV颜色直方图来提取图像的颜色特征，使用尺度不变局部三元模式描述子提取图像的光照不变纹理特征；4、利用滑动窗口对行人图像进行区域划分，并提取区域内特征直方图，用以解决视角问题，通过捕获区域的颜色特征和光照不变纹理特征得到人的区域特征。与现有技术相比，本发明在对图像处理过程中可能产生的噪声导致降低整体视觉效果的情况进行处理，可以降低特征提取的难度，提高特征提取的准确度及效率。

Description

一种行人重识别中的特征提取方法

技术领域

本发明涉及人工智能与计算机视觉领域，尤其是涉及一种行人重识别中的特征提取方法。

背景技术

由于当今社会对“安全防范”与“治安管理”的重视，信息技术的进步和市场的需求逐渐发展，视频监控因为它的实时性与精准性，使用量逐渐增加。为了应对复杂的场景就需要全方位的监控。由此，监控摄像头数量的爆发式增长为视频监控提供了大量的数据。但是，在海量的视频数据面前，因为人眼观察视频的疲劳性与记忆的短暂性，完全依靠人工的方法来完成上述工作不仅需要消耗大量的人力资源，还不能保证结果的准确性和实时性。由此智能视频监控应运而生，其核心的部分就是基于计算机视觉的视频内容理解技术，通过对原始视频图像经过背景建模、目标识别与检测、目标跟踪、异常行为检测等一系列算法研究来达到所想要实现的分析或结果。

根据摄像机间有无重叠区域，将无重叠区域监控网络中的行人目标身份关联性判别问题统称为行人目标再识别问题。此研究根本目的在于如何有效地利用行人的外观信息对指定目标进行跨摄像机搜索匹配。而行人再识别的研究主要集中研究两方面：一是特征提取，也就是提取具有辨识度的视觉特征，如外观，姿态等；另一个就是基于度量学习的特征匹配，也就是寻找判别的距离度量学习方法，来优化跨摄像机行人的特征距离。

特征提取旨在对预处理后的行人图像提取外观信息，并表示成特征向量，用于计算不同行人图片之间的相似性。对于行人目标再识别而言，所提取的特征不仅需要有效区分不同的行人，还需要不容易受光照、视角、行人姿态等变化的影响。行人的外观特征既可以通过人工设计获取也可以通过训练学习得到。人工设计的特征通常从颜色、纹理、形状和局部显著点等几个方面对行人图片进行描述。具体而言，颜色信息主要通过RGB、HSI、YUV等颜色空间的直方图进行描述，纹理和形状信息则由局部二值模式，方向梯度直方图和尺度不变局部三值模式等特征描述子进行表达，而常用于再识别的局部显著点特征包括尺度不变特征变换和SURF等。虽然基于特征表示法模型简单，但由于实际应用中行人图像在光照、视角、姿势等变化下，同一行人外观变化很大，导致很难提取到具有判别性和鲁棒性的特征，所以做好基于特征提取的研究对于行人再识别领域具有非常重要的意义和价值。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种行人重识别中的特征提取方法。

本发明的目的可以通过以下技术方案来实现：

一种行人重识别中的特征提取方法，包括以下步骤：

S1、将采集的图片划分成背景区域和标记人物的前景区域；

S2、基于Retinex算法将获得的前景区域RGB图像进行亮度信息提取，再对所得的亮度值进行映射修正增益补偿，得到增强后的亮度图像；

S3、使用HSV颜色直方图来提取增强后的亮度图像的颜色特征，使用尺度不变局部三元模式描述子提取增强后的亮度图像的光照不变纹理特征；

S4、利用滑动窗口对增强后的亮度图像进行区域划分，通过最大化相同水平位置的所有子窗口中每个模式的局部出现频次，得到区域内出现频次最大的特征直方图来实现视点不变性，通过捕获区域的颜色特征和光照不变纹理特征得到人的区域特征。

优选的，所述步骤S1具体通过公式C＝αF+(1-α)B′实现，其中：α为前景色在整个颜色中所占的比重，B′为图像里像素点的背景色，C为图像里像素点的合成色，F为图像里像素点的前景色。

优选的，所述F、B′、α值通过贝叶斯定理和最大概率算法得到，具体为：

优选的，所述步骤S2中将获得的前景区域RGB图像转为HSI图像进行亮度信息提取。

优选的，所述步骤S2中采用基于直方图SCB的gain/offset方法对所得的亮度值进行映射修正增益补偿。

优选的，所述步骤S2还包括：对图像进行颜色恢复因子β的处理，实现彩色图像增强。

优选的，所述步骤S3中尺度不变局部三元模式描述子提取两个尺度和其中，两个尺度的i＝0.3表示变化的阈值范围，R1＝3和R2＝5分别表示两个不同的区域半径，N＝4表示半径为R区域的4个点构成的邻域。

优选的，所述步骤S4中通过捕获颜色特征和光照不变纹理特征得到人的区域特征具体包括：每个区域包含多个块，每个块提取出颜色特征和光照不变纹理特征，连接在一起形成一个特征向量，对同一个区域中的块的特征向量在元素上选最大值，作为人的区域特征。

与现有技术相比，本发明具有以下优点：

1、本发明是一种基于色彩保留及亮度信息增强的最大出现频次的行人再识别特征提取方法，首先添加背景分离的思想，利用贝叶斯抠图算法将识别的目标人物与背景分离，可以有效减少对特征的提取造成干扰的信息，一定程度上提高了提取特征的精准率与效率。

2、在直方图特征提取前使用基于色彩保留的Retinex算法进行增强时，因为考虑到人类的视觉感知，通常会恢复了图像中包含鲜艳的颜色信息，但是MSR算法擅长处理灰度图像，在处理彩色图像的时候会因为增加了噪声，出现“泛白、颜色失真”等现象，不能显现出物体的真正颜色，整体视觉效果变差，而本发明所提出的一种色彩保留的Retinex算法应用到HSI亮度图像，由于只需要计算单一的亮度通道，因此提高了算法的处理效率；还引入一个新的颜色恢复因子，分别对R、G、B这3个色彩通道的各像素点做颜色恢复，可以很好地解决输出的色彩变淡而导致的色彩失真，更好的保留色彩信息。

3、在局部最大出现频次特征算法的基础上，通过对图像的背景和行人的处理，去除干扰信息，并且对其算法优化，改善了对于算法中解决光照问题的Retinex算法的一些缺陷，以色感一致性为基础，增强图片的自适应，给特征提取创造良好的条件，提高了特征提取的准确性。

附图说明

图1为本发明方法过程示意图；

图2是多尺度Retinex算法的流程说明图；

图3是基于多尺度Retinex算法的色彩保留及亮度信息增强的MSR算法流程说明图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

如图1所示，本申请提出一种行人重识别中的特征提取方法，是基于色彩保留及亮度信息增强的局部最大出现频次特征提取的方法，包括以下步骤：

S1、分离标记人物的前景区域与背景区域：

分离出图像的人物与背景其实通俗而言就是抠图技术，也就是把一张完整的图像划分成两个区域：前景区域和背景区域。其中用户感兴趣的、受到关注的那一部分被称为前景部分；用户相对不感兴趣的、想忽略的部分称为背景部分。

本发明所采用的是线性插值渲染技术的图像抠图公式：

C＝αF+(1-α)B′ (1)

其中，α称为掩像，表示前景色在整个颜色中所占的比重，或者称为不透明度；C表示图像里像素点的合成色；F表示图像里像素点的前景色；B′表示图像里像素点的背景色；

并且C、F和B′分别包含了R、G、B三个颜色通道的分量，则公式(1)变为：

其中，R、G、B分别表示三个基本色的颜色通道的分量，R表示红色，G表示绿色，B表示蓝色。这里采用的是交互式的贝叶斯抠图方法(Bayes Matting)，它是将图像分为前景部分、背景部分和未知区域，然后利用圆形的活动窗口来获取未知区域的像素，在未知区域范围内，采用从未知区域边界的像素点向未知区域内部逐渐移动的规律，从物体外延到内部逐步估计未知区域的各个像素的颜色值；最终，将未知区域中的像素分别细致地划分到前景区域或者背景区域中去，从而实现图像抠图的效果。

Bayes Mattting是一种交互式输入的抠图算法，用户确定区域输入的像素点的F、B′、α值，用一个移动着的圆形窗口对未知部分的像素逐渐采样，圆形活动窗口的圆心点是待计算未知区域里的某一个像素点，可以通过调节圆形窗口的半径大小，尽量多的采集未知区域中的前景区域样本点与背景区域样本点，最终确保所有的样本点都可以近似实现各自的正态分布。根据贝叶斯定理和最大概率算法的公式来求出F、B′和α值：

对上述公式进行化简：

①由C＝αF+(1-α)B′可化简得到：

未知区域像素值的数学模型符合高斯概率分布定律，其平均值为C＝αF+(1-α)B′，其与真实值C之间的差值满足标准的正态分布，公式中的σ表示标准差；

②求解L(F)，相当于计算当前像素点属于前景的概率，即针对用户输入的已知的像素点，计算一个颜色值属于前景的概率；首先，利用权重公式构造每一个像素点的邻域像素点：i称为当前像素点的邻接顶点，αi称作i点位置的α值，ω_i表示i点位置的权重因子，g_i表示i点位置的高斯概率衰减分布；对于给定前景色和相关权重，将颜色进行分簇，对于一个簇，可明确簇内的颜色变化的总趋势的方向，再将这个簇用一个平面分开，这个平面是一个垂直于簇内颜色变化方向的平面，并且是由穿过这个簇的颜色的平均值构成的，每一个簇的加权协方差矩阵∑F和加权平均颜色的公式表示为：

权重的累积和为：

权重协方差矩阵为：

③求解L(B′)，对于背景的求解，与前景求解方法相同，唯一的区别在于ω_i＝(1-α_i)²g_i代入可求出对应的L(B′)的值；

④求解L(α)，可以通过概率最大化方程求解透明度的偏导数，令其等于0，得到如下关系：

其中的I是一个3×3的矩阵，通过以上产生的6×6的线性方程。假设我们所求得的F和B′都是常量，可求得α的值为：

综上所述，通过以上的步骤①～④求解，可求出图像中未知区域的F、B′和α值。

本实施例中，在原图中用不同的颜色标识出选定的前景区域和背景区域，用户通过标注确定选择的前景部分和背景部分的像素值，利用交互式的抠图算法，在标记好前景与背景区域之后，在Matlab平台仿真后，提取前景区域，最终可实现预计的图像分割图。

S2、基于Retinex的色彩保留及亮度信息增强：

如图2所示，多尺度视网膜增强算法(MSR,Multi-Scale Retinex)采用的是多个单尺度Retinex算法(SSR)的加权求和，通过选取不同的尺度来对图像细节信息突出，其表达式如下：

式中：R_i(x,y)表示SSR算法得到的图像，I(x,y)表示一幅原始的图像，i＝1、2、3分别代表彩色图像的三原色，为MSR在第i个颜色通道的输出，W_n为不同尺度的加权系数，N为尺度个数，*表示卷积运算，G(x，y)是高斯环绕函数，其形式为：

其中，c表示高斯函数的尺度参数。

但是实验发现，MSR算法擅长处理灰度图像，在处理彩色图像的时候会出现“泛白、颜色失真”等现象，所以本申请提出了色彩保留及亮度信息增强的Retinex图像增强算法，其实施流程如图3所示：首先，输入彩色RGB图像，并将RGB图像转为HSI亮度图像；然后，将多尺度的Retinex算法应用到亮度图像上，由于只需要计算单一的亮度通道，因此提高了算法的处理效率；最后，采用gain/offset方法对所获得的亮度值进行映射修正，并对各个通道进行颜色处理。经过上述方法颜色恢复处理后的图像颜色保持较好，亮度以及图像对比度都得到了较好的增强，得到增强后的亮度图像。具体作如下说明：

①亮度调整：因为HSI空间的亮度信息与颜色信息无关，所以对亮度信息进行处理并不会改变图像原本的颜色。首先根据HSI色彩空间，获得RGB彩色图像的亮度信息I(x,y)，有：

I(x,y)＝(R(x,y)+G(x,y)+B(x,y))/3 (13)

式中，R(x,y)、G(x,y)、B(x,y)分别为(x，y)处像素的红色、绿色、蓝色分量；

根据MSR算法对此亮度通道进行MSR处理，有：

式中，R_MSR(x,y)表示多尺度的输出结果，G(x,y,δ)表示高斯核；

分别选择小尺度、中尺度、大尺度的高斯核，这样就可以兼顾图像整体效果和局部突出，也同时保证动态范围压缩和色彩的一致性。

②Gain/Offset修正方法的改进：传统的Retinex算法是对数域的输出，可能会出现负值，也有可能会超出显示器的显示范围，因此必须要对像素进行适当的修正，使之压缩到显示器所能显示的范围[0，255]内。这个映射的算法(增益补偿算法)具有重要的意义，其好坏直接决定了最后输出的图像质量。传统的增益补偿算法公式描述如下：

式中是增益补偿后的输出图像，是经过MSR处理后第i个颜色通道的值；

这种数据处理后具有高动态的特性，数据分布也广，但在光照分布不均匀情况下会出现两极化的现象，难以获得好的增强结果。在对Retinex算法的增强图像进行直方图统计分析后，发现直方图都类似于正态分布，两端存在很多小概率值，如果按照传统的上式增益补偿方法，两端的小概率值会在同时被拉伸后拥有大量的灰度级，使原本表现图像增强的主要细节信息灰度级偏少，导致图像的效果不好。为了解决这个问题，本方法利用基于直方图simplest color balance(SCB)的gain/offset方法对增益进行补偿，对直方图的两端数据按照一定的百分比进行截取处理，然后把中间保留的部分线性映射到[0，255]之间，获得相应的值，有：

式中，S₁、S₂分别为两端的截取百分比，N为所输入图像像素数，在这里，把S₁、S₂都设置为1，使图像中的R、G、B每个通道上的值通过上式变换映射到[0，255]之间，因此，剪切了增强图像的直方图中两端的小概率值，使更大范围的灰度级用于表示图像的细节，从而提高了图像对比度。

③颜色恢复因子的改进：上面只是对图像的亮度做了处理，以获得增强后的亮度图像，此外还需要对图像进行颜色恢复。但是，传统方法的颜色恢复因子可能会产生颜色反转的风险，因此引入一个新的颜色恢复因子β(x,y)，分别对R、G、B这3个色彩通道的各像素点做颜色恢复，以此来解决存在的颜色失真问题，使图像具有更好的视觉效果，颜色恢复表达式如下：

I_i′(x,y)＝β(x,y)I_i(x,y) (17)

式中称为点(x,y)处的颜色恢复因子，I(x,y)表示的是式(12)得到的亮度值，I_i(x,y)表示第i通道的原始图像像素值，最终得到每一个像素点的R、G、B像素值。

S3、提取HSV颜色直方图和尺度不变的纹理特征解决光照问题：

使用HSV颜色直方图来提取增强后的亮度图像的颜色特征，使用尺度不变局部三元模式(SILTP)描述子提取增强后的亮度图像的光照不变纹理特征。

SILTP是众所周知的局部二进制模式(LBP)的改进算子，实际上，LBP在单调灰度变换下具有良好的不变性，但它对图像噪声不鲁棒。SILTP通过引入尺度不变的局部比较容差来改善LBP，实现强度尺度变化的不变性和图像噪声的鲁棒性。

HSV：描述颜色特征，本方法提取8×8×8bin的直方图；

SILTP：描述纹理特征，本方法提取了两个尺度，和其中两个尺度的i＝0.3表示变化的阈值范围，R1＝3和R2＝5分别表示两个不同的区域半径，N＝4表示半径为R区域的4个点构成的邻域，所以是3⁴个bin。

对于HSV和SILTP，每个直方图的bin表示该种模式出现的概率。

S4、滑动窗口对行人图像进行区域划分及提取区域内特征直方图解决视角问题：

利用滑动窗口对增强后的亮度图像进行区域划分，通过最大化相同水平位置的所有子窗口中每个模式的局部出现频次，得到区域内出现频次最大的特征直方图来实现视点不变性，通过捕获区域的颜色特征和光照不变纹理特征得到人的区域特征。

本实施例中，对于一张m×n像素的图像(m>10,n>10)，使用10×10像素的窗口，重叠步长为5像素，进行区域划分，分出K个区域。为了解决视点变化，检查相同水平位置的所有子窗口，并最大化这些子窗口中每个模式的区域出现，得到的直方图实现了视点变化的不变性，同时捕获了描述颜色特征。为了进一步考虑多尺度信息，还建立了三尺度金字塔表示，通过两个2×2局部平均合并操作对原始m×n图像进行下采样。

过捕获颜色特征和光照不变纹理特征得到人的区域特征具体包括：每个区域包含多个块，每个块能够提取HSV、SILTP特征，连接在一起形成一个特征向量；然后对同一个区域中的块的特征向量在元素上选最大值，作为人的区域特征。最后使用了log函数来压缩大的bin值，然后归一化HSV、SILTP特征到单位长度。

本方法在局部最大出现频次特征算法的基础上，通过对图像的背景和行人的处理，去除干扰信息，并且对其算法优化，改善了对于算法中解决光照问题的Retinex算法的一些缺陷，以色感一致性为基础，增强图片的自适应，给特征提取创造良好的条件，提高了特征提取的准确性。

Claims (8)

1.一种行人重识别中的特征提取方法，其特征在于，包括以下步骤：

S1、将采集的图片划分成背景区域和标记人物的前景区域；

S2、基于Retinex算法将获得的前景区域RGB图像进行亮度信息提取，再对所得的亮度值进行映射修正增益补偿，得到增强后的亮度图像；

S3、使用HSV颜色直方图来提取增强后的亮度图像的颜色特征，使用尺度不变局部三元模式描述子提取增强后的亮度图像的光照不变纹理特征；

S4、利用滑动窗口对增强后的亮度图像进行区域划分，通过最大化相同水平位置的所有子窗口中每个模式的局部出现频次，得到区域内出现频次最大的特征直方图来实现视点不变性，通过捕获区域的颜色特征和光照不变纹理特征得到人的区域特征。

2.根据权利要求1所述的一种行人重识别中的特征提取方法，其特征在于，所述步骤S1具体通过公式C＝αF+(1-α)B′实现，其中：α为前景色在整个颜色中所占的比重，B′为图像里像素点的背景色，C为图像里像素点的合成色，F为图像里像素点的前景色。

3.根据权利要求2所述的一种行人重识别中的特征提取方法，其特征在于，所述F、B′、α值通过贝叶斯定理和最大概率算法得到，具体为：

4.根据权利要求1所述的一种行人重识别中的特征提取方法，其特征在于，所述步骤S2中将获得的前景区域RGB图像转为HSI图像进行亮度信息提取。

5.根据权利要求1所述的一种行人重识别中的特征提取方法，其特征在于，所述步骤S2中采用基于直方图SCB的gain/offset方法对所得的亮度值进行映射修正增益补偿。

6.根据权利要求1所述的一种行人重识别中的特征提取方法，其特征在于，所述步骤S2还包括：对图像进行颜色恢复因子β的处理，实现彩色图像增强。

7.根据权利要求1所述的一种行人重识别中的特征提取方法，其特征在于，所述步骤S3中尺度不变局部三元模式描述子提取两个尺度和其中，两个尺度的i＝0.3表示变化的阈值范围，R1＝3和R2＝5分别表示两个不同的区域半径，N＝4表示半径为R区域的4个点构成的邻域。

8.根据权利要求1所述的一种行人重识别中的特征提取方法，其特征在于，所述步骤S4中通过捕获颜色特征和光照不变纹理特征得到人的区域特征具体包括：每个区域包含多个块，每个块提取出颜色特征和光照不变纹理特征，连接在一起形成一个特征向量，对同一个区域中的块的特征向量在元素上选最大值，作为人的区域特征。