CN109190451A - 基于lfp特征的遥感图像车辆检测方法 - Google Patents

Abstract

本发明提供了一种基于LFP特征的遥感图像车辆检测方法，包括以下步骤：对遥感图像集的每幅图像切取多个m×m像素大小的区域小块作为样本；对样本图像进行金字塔c层分割，每幅样本图像分割成C块；对于分割后的每个小块区域R，得到车辆图像的LFP特征值；对每个小块区域R，统计LFP特征直方图，然后对该直方图归一化处理，最后将得到的C个小块的统计直方图进行连接成为一个特征向量，也就是一幅样本图像的LFP特征向量；利用分类器训练得到权值模型；利用得到的权值模型对任意一幅包含车辆的大尺度遥感图像进行检测，得到大尺度遥感图像的车辆检测结果。

Description

基于LFP特征的遥感图像车辆检测方法

技术领域

本发明涉及模式识别与神经网络技术领域，特别涉及一种基于LFP特征的遥感图像车辆检测方法。

背景技术

遥感图像车辆检测就是对包含车辆的高分辨率遥感图像进行预处理，从图像中检测出车辆。遥感图像车辆检测技术主要用于道路交通实时监控、车流量管理、智能交通等领域。随着汽车工业的快速发展，道路交通给人们带来巨大便利的同时，由此引发的交通事故已成为全球安全问题之一，因此，改善交通安全、加速现代化智能交通系统的建设显得尤为重要。车辆检测最重要的问题就是车辆特征信息的提取，对于如何提取准确的车辆特征信息，在过去的十多年中国内外学者进行了大量的研究并提出了一些基于特征提取的车辆检测方法。

现在常用的遥感图像车辆检测方法有基于HOG特征的方法和基于LBP特征的方法。基于HOG特征的方法首先将图像分成小的细胞单元，然后采集细胞单元中各像素点的梯度和方向的直方图，最后把这些直方图组合起来就可以构成特征向量。基于LBP特征的方法则是在3×3像素大小的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较产生8位二进制数转换为十进制数来得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理特征信息。但是基于HOG特征的方法计算复杂，实时性较差，而且只单一利用图像的梯度信息。基于LBP特征的方法只提取了纹理信息，对于发散开的周边信息并没有考虑到，这会遗漏部分关键特征，降低检测精度。

发明内容

(一)要解决的技术问题

鉴于上述技术问题，本发明对Uniform Pattern LBP特征进行了改进并应用于车辆检测，提供了一种基于LFP(Local Feature Pattern)特征的遥感图像车辆检测方法，从而解决了基于HOG特征的方法计算复杂、实时性差、利用的图像信息单一的问题，或因采样区域较小，导致基于LBP特征的方法没有考虑到发散的周边信息而造成遗漏部分关键特征的问题。

(二)技术方案

根据本发明的一个方面，提供了一种基于LFP特征的遥感图像车辆检测方法，包括以下步骤：

S1、获取包含车辆的高分辨率遥感图像集；

S2、对遥感图像集的每幅图像切取多个m×m像素大小的区域小块作为样本，并对其设置标签，样本中含车辆的标记为正样本，否则均标记为负样本，然后将所有样本导出生成车辆数据集；

S3、对车辆数据集中的所有样本图像进行金字塔c层分割，每幅样本图像分割成C块；

S4、对于分割后的每个小块区域R，利用LFP特征值计算公式依次遍历区域R中所有像素点得到车辆图像的LFP特征值；

S5、对每个小块区域R，统计LFP特征直方图，然后对该直方图归一化处理，最后将得到的C个小块的统计直方图进行连接成为一个特征向量，也就是一幅样本图像的LFP特征向量；

S6、在车辆数据集所有正负样本中，随机选取已经提取LFP特征向量后的x个正样本，x个负样本作为神经网络的训练样本，剩下的y个正样本和y个负样本作为训练完成后的测试样本，将正、负样本送入分类器进行训练及测试，调整分类器各个参数，得到最高精度，保存该最高精度下训练完成后的权值模型；

S7、利用S6中得到的权值模型对任意一幅包含车辆的大尺度遥感图像进行检测，采用多尺度窗口对大尺度遥感图像进行滑动检测，检测结果为车辆时就框选出来，最后得到大尺度遥感图像的车辆检测结果。

在本发明的某些实施例中，在步骤S1中，使用卫星地图采集大量包含车辆的高分辨率遥感图像，将其分为两个图像集，其中一个作为原始车辆图像集，另一个作为测试车辆图像集。

在本发明的某些实施例中，在步骤S2中，使用标定方法获取样本。

在本发明的某些实施例中，所述标定方法为双点标定法。

在本发明的某些实施例中，在步骤S3中，C＝1×1+2×2+3×3+.......+c×c。

在本发明的某些实施例中，在步骤S4中，LFP特征值的计算方法如下：

对于分割后的每个小块区域R，x和y表示R内像素点的空间坐标，r,g,b是像素点的三个RGB通道的像素值，指定I_(x,y)表示区域R内像素点在(x,y)的灰度函数，I_x，I_y，I_xy分别表示I_(x,_y)在x和y方向上的一阶和二阶微分；

选取x,y,r,g,b,|I_x|,|I_y|,|I_xy|作为每个像素点的8维特征，对区域R内的所有像素点，分别计算得到这8维特征的均值，将区域R内每个像素点的8维特征值分别与对应的均值通过符号函数进行比较，若大于均值，则记为1，否则为0，这样，每个像素点的8维特征经过和8个均值比较可产生8位二进制数，将这个8位二进制数转换为十进制后得到0-255的值即为该像素点的LFP特征值。

在本发明的某些实施例中，在0-255之间的256个数的对应二进制编码中，其中二进制编码中0-1转换次数U≤2的共有58个二进制数，其余U>2的归为一个bin记为0，将这59个二进制数按从小到大的顺序分别编码为0-58，这个新的编码定义为像素的LFP特征值。

在本发明的某些实施例中，在步骤S5中，统计每个小块的LFP特征值直方图，即0-58类中每一类出现的频率，然后对该直方图归一化处理，最后将得到的每个小块的统计直方图进行连接成为一个特征向量，也就是一幅样本图像的LFP特征向量，其维数为59×C。

在本发明的某些实施例中，在步骤S6中，分类器采用BP神经网络。

在本发明的某些实施例中，在步骤S7中，采用多尺度窗口对大尺度图像进行滑动检测，检测结果为车辆线便用红颜色矩形框框选标记出来，最后得到所有红色框即为对大尺度遥感图像检测后得到的车辆。

(三)有益效果

从上述技术方案可以看出，本发明基于LFP特征的遥感图像车辆检测方法具有以下有益效果：本发明既克服了基于HOG特征的方法计算复杂、实时性差、利用的图像信息单一的问题，又解决了基于LBP特征的方法只利用了像素点的灰度信息、没有考虑发散开的周边信息可能造成遗漏部分关键特征的问题，本发明提出的基于LFP特征的遥感图像车辆检测方法充分利用了像素点的多种信息，同时兼顾弥补周边远端信息的缺失，提高了检测精度。

附图说明

图1为本发明基于LFP特征的遥感图像车辆检测方法流程图。

图2为本发明基于LFP特征的遥感图像车辆检测方法中LFP特征算法的原理图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

在本发明的示例性实施例中，提供了一种基于LFP特征的遥感图像车辆检测方法。图1为本发明基于LFP特征的遥感图像车辆检测方法流程图。如图1所示，本发明基于LFP特征的遥感图像车辆检测方法包括以下步骤：

S1、获取包含车辆的高分辨率遥感图像集；

S2、对遥感图像集的每幅图像切取多个m×m像素大小的区域小块作为样本，并对其设置标签，样本中含车辆的标记为正样本，否则均标记为负样本，然后将所有样本导出生成车辆数据集；

S3、对车辆数据集中的所有样本图像进行金字塔c层分割，每幅样本图像分割成C块；

S4、对于分割后的每个小块区域R，利用LFP特征值计算公式依次遍历区域R中所有像素点得到车辆图像的LFP特征值；

S5、对每个小块区域R，统计LFP特征直方图，然后对该直方图归一化处理，最后将得到的C个小块的统计直方图进行连接成为一个特征向量，也就是一幅样本图像的LFP特征向量；

S6、在车辆数据集所有正负样本中，随机选取已经提取LFP特征向量后的x个正样本，x个负样本作为神经网络的训练样本，剩下的y个正样本和y个负样本作为训练完成后的测试样本，将正、负样本送入分类器进行训练及测试，调整分类器各个参数，得到最高精度，保存该最高精度下训练完成后的权值模型；

S7、利用步骤S6中得到的权值模型对任意一幅包含车辆的大尺度遥感图像进行检测，对大尺度遥感图像进行检测，检测结果为车辆时框选出来，最后得到大尺度遥感图像的车辆检测结果。

作为一种具体的实施方式，在步骤S1中，使用卫星地图采集大量包含车辆的高分辨率遥感图像，将其分为两个图像集，其中一个作为原始车辆图像集，另一个作为测试车辆图像集。本领域的技术人员应当明白，本步骤中将采集的遥感图像分为两个图像集，其中的测试车辆图像集可以用于对检测方法进行验证，并不是必需的。

在步骤S2中，使用标定软件逐次对原始车辆图像集中的每幅图像切取大量m×m像素大小的矩形区域小块作为样本，并对其设置标签，样本中含车辆的标记为正样本，否则均标记为负样本，然后将所有样本导出生成车辆数据集。

例如，使用QT-Creator软件编写标定程序并构建标定工程，对原始车辆图像集中的图像进行标定，采用双点标定法，在每幅图像中切取标定的双点间的区域小块，小块的尺寸大小放大或缩小为48×48像素大小。从原始车辆图像集中切取出共12万个小块样本，其中正负样本各6万个，将这12万个小块样本存储并导出生成车辆数据集。正样本即车辆，负样本则是除正样本外一切非车辆的样本，例如道路、行人；道路两旁护栏、树木、房屋、山脉、远方的天空等等。

在步骤S3中，为了能多尺度的统计车辆图像中的特征，对车辆数据集中的所有样本图像进行金字塔c层分割，每幅样本图像分割成C块，其中C＝1×1+2×2+3×3+.......+c×c。例如，对每幅样本图像进行金字塔5层分割，即分割成1×1+2×2+3×3+4×4+5×5＝55块。

图2为本发明基于LFP特征的遥感图像车辆检测方法中LFP特征算法的原理图。如图2所示，在步骤S4中，对于分割后的每个小块区域R，x和y表示R内像素点的空间坐标，r,g,b是像素点的三个RGB通道的像素值，指定I_(x,y)表示区域R内像素点在(x,y)的灰度函数，I_x，I_y，I_xy分别表示I_(x,y)在x和y方向上的一阶和二阶微分。选取x,y,r,g,b,|I_x|,|I_y|,I_xy|作为每个像素点的8维特征，用f_p(0≤p≤7)表示，定义如公式(1)：

f_p＝(x,y,r,g,b,|I_x|,I_y|,|I_xy|),(0≤p≤7) (1)

对区域R内的所有像素点，分别计算得到这8维特征的均值，用f_{avg_p}(0≤p≤7)表示，定义如公式(2)：

将区域R内每个像素点的8维特征值分别与对应的均值通过符号函数进行比较，若大于均值，则记为1，否则为0，符号函数定义如公式(3)：

这样，每个像素点的8维特征经过和8个均值比较可产生8位二进制数，将这个8位二进制数转换为十进制后得到0-255的值即为该像素点的LFP特征值。LFP特征值的计算定义如公式(4)：

由于256种LFP特征值维数过大，在某一具体实施例中，利用等价模式进行维数下降，在这0-255之间的256个数的对应二进制编码中，其中二进制编码中0-1转换次数U≤2的共有58个二进制数，其余U>2的归为一个bin记为0，将这59个二进制数按从小到大的顺序分别编码为0-58，这个新的编码就是像素的LFP特征值，依次遍历区域R中所有像素点得到样本图像的LFP特征值。

降维的具体过程如下：

“Uniform Pattern”(等价模式)：当某个十进制值所对应的循环二进制数从0到1或者从1到0最多有两次跳变时，该值所对应的二进制就称为一个等价模式。通过统计0-255之间的256个数的对应二进制编码的跳变次数，得到58个等价模式，对于样本图像区域R中的所有像素点，计算出来的LFP特征值大部分都在等价模式之中，可达90％以上。等价模式(Uniform Pattern)模式个数为P(P-1)+2，P为每个像素点的特征维数。对于具有8维特征的像素点，等价模式个数有58种，其他的所有非等价模式归为第59种，这样后续求得的LFP特征直方图从原来的256维降到了59维，可以减少高频噪声带来的影响。

特征统计时0-1跳变降维方法具体如下：像素点的特征维数为8，即LFP特征值有2⁸种，共256个值，根据0-1跳变次数，将这256个LFP特征值分为了59类，从跳变次数上划分：跳变0次—2个，跳变1次—0个，跳变2次—56个，跳变3次—0个，跳变4次—140个，跳变5次—0个，跳变6次—56个，跳变7次—0个，跳变8次—2个。共9种跳变情况，将这256个值进行分配，跳变小于2次的为等价模式类，共58个，他们对应的值按照从小到大分别编码为1—58，即它们对应的LFP特征值为1—58，而除了等价模式类之外的混合模式类的LFP值则为0。

在步骤S5中，对步骤S3中分割后的每一块中的像素点利用步骤S4的方法求LFP值，统计每个小块的LFP特征值直方图，即0-58类中每一类出现的频率，然后对该直方图归一化处理，最后将得到的每个小块的统计直方图进行连接成为一个特征向量，也就是一幅样本图像的LFP特征向量。在某一具体实施例中，利用LFP特征值计算公式以及降维方法求出55个小块中所有像素点的LFP特征值，分别对55个小块统计小块中所有像素点的LFP特征值在0-58类中每一类别出现的总次数n，然后将v＝n/N得到各个类别在总类别中的占比值v，其中N表示每个小块的像素点个数。于是归一化后得到一个由59个类别的占比值v组成的59维特征向量，将每张车辆样本图像中所有55个小块得到的59维向量连接起来，得到一个59×55＝3245维特征向量，即为一幅车辆样本图像的LFP特征向量。

在步骤S6中，分类器采用BP神经网络，在车辆数据集所有正负样本中，随机选取已经提取LFP特征向量后的x个正样本，x个负样本作为神经网络的训练样本，剩下的y个正样本和y个负样本作为训练完成后的测试样本。为了正负样本的均衡，将提取特征向量后正样本和负样本一正一负组成样本矩阵，送入BP神经网络进行训练及测试，调整BP神经网络各个参数，得到最高精度，保存该最高精度下训练完成后的神经网络权值模型。在某一具体实施例中，在车辆数据集12万个正负样本中，随机选取已经提取LFP特征向量后的5万个正样本，5万个负样本作为神经网络的训练样本，剩下的1万个正样本和1万个负样本作为训练完成后的测试样本。为了正负样本的均衡，将提取特征向量后的6万个正样本和6万个负样本一正一负组成样本矩阵，送入BP神经网络进行训练及测试，调整BP神经网络各个参数，得到最高精度，保存该最高精度下训练完成后的神经网络权值模型。

在步骤S7中，利用步骤S6中得到的BP神经网络权值模型对任意一幅包含车辆的大尺度遥感图像进行检测，采用多尺度窗口对大尺度遥感图像进行滑动检测，检测结果为车辆便用矩形框框选出来，最后得到整幅大尺度遥感图像的车辆检测结果。具体地，采用多尺度窗口对大尺度图像进行滑动检测，检测结果为车辆线便用红颜色矩形框框选标记出来，最后得到所有红色框即对大尺度遥感图像检测后得到的车辆。

至此，已经结合附图对本实施例进行了详细描述。依据以上描述，本领域技术人员应当对本发明基于LFP特征的遥感图像车辆检测方法有了清楚的认识。本发明对UniformPattern LBP特征进行了改进并应用于车辆检测，原有的Uniform Pattern LBP特征只利用了像素点的灰度信息，没有考虑到空间信息、彩色信息和梯度信息；另外，Uniform PatternLBP对采样点附近局部信息的提取非常精细，但是对于发散开的周边信息并没有考虑到，这会遗漏部分关键特征。本发明充分利用了像素点的多种信息，同时兼顾弥补周边远端信息的缺失，提高了检测精度。

需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

还需要说明的是，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于LFP特征的遥感图像车辆检测方法，其特征在于，包括以下步骤：

S1、获取包含车辆的高分辨率遥感图像集；

S2、对遥感图像集的每幅图像切取多个m×m像素大小的区域小块作为样本，并对其设置标签，样本中含车辆的标记为正样本，否则均标记为负样本，然后将所有样本导出生成车辆数据集；

S3、对车辆数据集中的所有样本图像进行金字塔c层分割，每幅样本图像分割成C块；

S4、对于分割后的每个小块区域R，利用LFP特征值计算公式依次遍历区域R中所有像素点得到车辆图像的LFP特征值；

S5、对每个小块区域R，统计LFP特征直方图，然后对该直方图归一化处理，最后将得到的C个小块的统计直方图进行连接成为一个特征向量，也就是一幅样本图像的LFP特征向量；

S6、在车辆数据集所有正负样本中，随机选取已经提取LFP特征向量后的x个正样本，x个负样本作为神经网络的训练样本，剩下的y个正样本和y个负样本作为训练完成后的测试样本，将正、负样本送入分类器进行训练及测试，调整分类器各个参数，得到最高精度，保存该最高精度下训练完成后的权值模型；

S7、利用S6中得到的权值模型对任意一幅包含车辆的大尺度遥感图像进行检测，采用多尺度窗口对大尺度遥感图像进行滑动检测，检测结果为车辆时就框选出来，最后得到大尺度遥感图像的车辆检测结果。

2.根据权利要求1所述的遥感图像车辆检测方法，其特征在于，在步骤S1中，使用卫星地图采集大量包含车辆的高分辨率遥感图像，将其分为两个图像集，其中一个作为原始车辆图像集，另一个作为测试车辆图像集。

3.根据权利要求1所述的遥感图像车辆检测方法，其特征在于，在步骤S2中，使用标定方法获取样本。

4.根据权利要求3所述的遥感图像车辆检测方法，其特征在于，所述标定方法为双点标定法。

5.根据权利要求1所述的遥感图像车辆检测方法，其特征在于，在步骤S3中，C＝1×1+2×2+3×3+.......+c×c。

6.根据权利要求1所述的遥感图像车辆检测方法，其特征在于，在步骤S4中，LFP特征值的计算方法如下：

对于分割后的每个小块区域R，x和y表示R内像素点的空间坐标，r,g,b是像素点的三个RGB通道的像素值，指定I_(x,y)表示区域R内像素点在(x,y)的灰度函数，I_x，I_y，I_xy分别表示I_(x,y)在x和y方向上的一阶和二阶微分；

选取x,y,r,g,b,|I_x|,|I_y|,|I_xy|作为每个像素点的8维特征，对区域R内的所有像素点，分别计算得到这8维特征的均值，将区域R内每个像素点的8维特征值分别与对应的均值通过符号函数进行比较，若大于均值，则记为1，否则为0，这样，每个像素点的8维特征经过和8个均值比较可产生8位二进制数，将这个8位二进制数转换为十进制后得到0-255的值即为该像素点的LFP特征值。

7.根据权利要求6所述的遥感图像车辆检测方法，其特征在于，在0-255之间的256个数的对应二进制编码中，其中二进制编码中0-1转换次数U≤2的共有58个二进制数，其余U>2的归为一个bin记为0，将这59个二进制数按从小到大的顺序分别编码为0-58，这个新的编码定义为像素的LFP特征值。

8.根据权利要求7所述的遥感图像车辆检测方法，其特征在于，在步骤S5中，统计每个小块的LFP特征值直方图，即0-58类中每一类出现的频率，然后对该直方图归一化处理，最后将得到的每个小块的统计直方图进行连接成为一个特征向量，也就是一幅样本图像的LFP特征向量，其维数为59×C。

9.根据权利要求1所述的遥感图像车辆检测方法，其特征在于，在步骤S6中，分类器采用BP神经网络。

10.根据权利要求1所述的遥感图像车辆检测方法，其特征在于，在步骤S7中，采用多尺度窗口对大尺度图像进行滑动检测，检测结果为车辆线便用红颜色矩形框框选标记出来，最后得到所有红色框即为对大尺度遥感图像检测后得到的车辆。