CN103345631B - 图像特征提取、训练、检测方法及模块、装置、系统 - Google Patents

Abstract

本申请公开了一种图像特征提取、训练、检测方法及模块、装置，首先获得原始图像的原始梯度图像，并对原始梯度图像进行第一次扫描，得到每个第一扫描区域对应的N维度向量，然后将N维度向量的分量分别映射到不同方向图像中，形成N个方向图像，其次得到方向图像特征，并组合方向图像特征形成原始梯度图像对应的附加梯度方向直方图特征，在进行训练时，使用原始图像对应的主梯度方向直方图特征以及附加梯度方向直方图特征获得分类器。这样，在主梯度方向直方图特征的基础上，结合了保留有原始图像中的边缘梯度信息附加梯度方向直方图特征参与训练，从而增强了训练所用特征中的边缘梯度信息，进而在物体检测时，提高了物体检测的检测率。

Description

图像特征提取、训练、检测方法及模块、装置、系统

技术领域

本申请涉及图像处理领域，尤其涉及一种图像特征提取、训练、检测方法及模块、装置、系统。

背景技术

物体检测是计算机视觉的核心问题之一。基于统计学的物体检测方法主要是通过机器学习，从一系列训练数据中训练得到一个分类器，然后利用分类器对输入窗口进行识别。物体检测方法关键的有两点，其一是特征提取，其二是分类器设计。特征提取的目的是降低数据的维数，得到能反映物体属性的特征，从而方便分类。好的特征应当具有区分能力强、计算简单、鲁棒性强和形式简单等特点。分类器设计属于机器学习范畴，其目的是得到一个计算复杂度较低且推广性较好的分类器。

梯度直方图(Histogram ofOriented Gradients，HOG)特征是一种用来进行物体检测的特征描述子，它通过计算和统计图像局部区域的HOG来构成特征。HOG特征结合分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。现有的HOG特征提取方法大致如下述：首先，将灰度图像进行归一化，以调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时抑制噪音干扰；然后，计算图像中每个像素的梯度(包括梯度大小和梯度方向)形成梯度图像，以捕获轮廓信息，进一步弱化光照的干扰；其次，对梯度图像划分细胞单元(cell)，例如，cell大小可为6像素×6像素大小；再者，统计每个cell的HOG，形成每个cell的描述子；进一步地，将几个cell组成块(block)，例如，每个block包含9个cell(两个方向上均为3个cell)，一个block内的所有cell的HOG级联便得到该block的HOG描述子；最后，将整个图像内所有block的HOG描述子级联，即可得到整个图像的HOG特征了。

但是，现有的HOG特征提取方法的检测率仍然较低，限制了其在物体检测中的推广应用。

发明内容

本申请提供一种图像特征提取、训练、检测方法及模块、装置、系统，以提高物体检测的检测率。

根据本申请的第一方面，本申请提供一种图像特征提取方法，包括：

采用第一扫描窗以第一预设定步长对原始梯度图像进行扫描，得到所述原始梯度图像中各第一扫描区域对应的、用于表征所述第一扫描区域梯度大小及方向信息的N维度向量，其中，N取正整数；并进行如下处理，得到N个方向图像：将第x个第一扫描区域对应的第n维度向量映射到第n个方向图像的第x映射单位中，其中，n∈(1，2，……，N)，x∈(1，2，……，X)，X为第一扫描区域的数量；

对每个所述方向图像进行如下处理：以预设定大小的单元格划分所述方向图像，每个所述单元格包含多个映射单位；采用第二扫描窗以第二预设定步长对所述划分后的方向图像进行扫描，得到所述方向图像中各第二扫描区域对应的、用于表征所述第二扫描区域梯度大小信息的M维度向量，其中，M取正整数；组合每个所述方向图像各所述第二扫描区域的M维度向量，得到方向图像特征；

组合各所述方向图像特征，得到所述原始梯度图像对应的附加梯度方向直方图特征。

根据本申请的第二方面，本申请提供一种训练方法,包括：

采集物体图像集及背景图像集；

对所述物体图像集及背景图像集中各待处理图像提取特征；

使用所述特征进行训练，得到用于区分物体及背景的分类器，

对所述物体图像集及背景图像集中各待处理图像提取特征具体包括：

获得所述待处理图像的原始梯度图像；

由所述原始梯度图像得到待处理图像的主梯度方位直方图特征，其中，采用第一扫描窗以第一预设定步长对所述原始梯度图像进行扫描，得到所述原始梯度图像中各第一扫描区域对应的、用于表征所述第一扫描区域梯度大小及方向信息的N维度向量，其中，N取正整数；

进行如下处理，得到N个方向图像：将第x个第一扫描区域对应的第n维度向量映射到第n个方向图像的第x映射单位中，其中，n∈(1，2，……，N)，x∈(1，2，……，X)，X为第一扫描区域的数量；对每个所述方向图像进行如下处理：以预设定大小的单元格划分所述方向图像，每个所述单元格包含多个映射单位；采用第二扫描窗以第二预设定步长对所述划分后的方向图像进行扫描，得到所述方向图像中各第二扫描区域对应的、用于表征所述第二扫描区域梯度大小信息的M维度向量，其中，M取正整数；组合每个所述方向图像各所述第二扫描区域的M维度向量，得到方向图像特征；组合各所述方向图像特征，得到所述原始梯度图像对应的附加梯度方向直方图特征，以使用所述附加梯度方向直方图特征及主梯度方位直方图特征进行训练。

根据本申请的第三方面，本申请提供一种检测方法，包括：

获得待检测图像；

采用如上述的训练方法所得分类器对待检测图像中是否存在物体及物体所在位置进行检测。

根据本申请的第四方面，本申请提供一种附加图像特征提取模块，包括：

图像生成模块，用于基于采用第一扫描窗以第一预设定步长对原始梯度图像进行扫描，得到的所述原始梯度图像中各第一扫描区域对应的、用于表征所述第一扫描区域梯度大小及方向信息的N维度向量，进行如下处理，得到N个方向图像：将第x个第一扫描区域对应的第n维度向量映射到第n个方向图像的第x映射单位中，其中，N取正整数，n∈(1，2，……，N)，x∈(1，2，……，X)，X为第一扫描区域的数量；以及，

附加特征形成模块，用于对每个所述方向图像进行如下处理：以预设定大小的单元格划分所述方向图像，每个所述单元格包含多个映射单位；采用第二扫描窗以第二预设定步长对所述划分后的方向图像进行扫描，得到所述方向图像中各第二扫描区域对应的、用于表征所述第二扫描区域梯度大小信息的M维度向量，其中，M取正整数；组合每个所述方向图像各所述第二扫描区域的M维度向量，得到方向图像特征；并组合各所述方向图像特征，得到所述原始梯度图像对应的附加梯度方向直方图特征。

根据本申请的第五方面，本申请提供一种训练装置，包括：

样本采集模块，用于采集物体图像集及背景图像集；

特征提取模块，用于对所述物体图像集及背景图像集中各待处理图像提取特征；以及，

训练模块，用于使用所述特征进行训练，得到用于区分物体及背景的分类器，

所述特征提取模块包括：

主特征提取模块，用于获得所述待处理图像的原始梯度图像，并由所述原始梯度图像得到主梯度方位直方图特征，其中，采用第一扫描窗以第一预设定步长对所述原始梯度图像进行扫描，得到所述原始梯度图像中各第一扫描区域对应的、用于表征所述第一扫描区域梯度大小及方向信息的N维度向量，其中，N取正整数；以及，

如上述的附加图像特征提取模块，以触发所述训练模块使用附加梯度方位直方图特征及主梯度方位直方图特征进行训练。

根据本申请的第六方面，本申请提供一种检测装置，包括：

图像输入模块，用于获得待检测图像；以及，

检测模块，用于采用如上述的训练方法所得分类器对待检测图像中是否存在物体及物体所在位置进行检测。

根据本申请的第七方面，本申请提供一种检测系统，包括如上述的训练装置，以及如上述的检测装置。

本申请的有益效果是：

通过提供一种图像特征提取、训练、检测方法及模块、装置、系统，首先获得原始图像的原始梯度图像，并对原始梯度图像进行第一次扫描，得到每个第一扫描区域对应的N维度向量，然后将N维度向量的分量分别映射到不同方向图像中，形成N个方向图像，其次得到方向图像特征，并组合方向图像特征形成原始梯度图像对应的附加梯度方向直方图特征，在进行训练时，使用原始图像对应的主梯度方向直方图特征以及附加梯度方向直方图特征获得分类器。这样，在主梯度方向直方图特征的基础上，结合了保留有原始图像中的边缘梯度信息附加梯度方向直方图特征参与训练，从而增强了训练所用特征中的边缘梯度信息，进而在物体检测时，提高了物体检测的检测率。

附图说明

图1为本申请实施例一的训练方法的流程图；

图2为本申请实施例一的训练方法中步骤102的具体流程图；

图3为本申请实施例一中的第一扫描区域301在原始梯度图像中的示意图；

图4为本申请实施例一中的第一扫描区域301对应N维度向量的示意图；

图5为本申请实施例一中的第一扫描区域映射到方向图像的示意图；

图6为本申请实施例一中的第二扫描区域对应M维度向量的示意图；

图7为本申请实施例一的训练装置的结构示意图；

图8为本申请实施例一的训练装置中的附加图像特征提取模块7022的结构示意图；

图9为本申请实施例一的检测装置的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。

实施例一：

本实施例的物体检测方法主要可采用分类器对物体进行检测。而要获得检测所用分类器，需要采用如图1所示的训练方法对训练集进行训练得到。请参考图1，本实施例的训练方法主要包括：

步骤101，采集物体图像集及背景图像集；

步骤102，对物体图像集及背景图像集中各待处理图像提取特征；

步骤103，使用所提取特征进行训练，得到用于区分物体及背景的分类器，具体地，分类器可为线性分类器或非线性分类器，如AdaBoost分类器、RBF核SVM分类器、线性SVM分类器等；从另一方面来讲，分类器还可以是单一分类器或级联结构分类器。

其中，步骤102具体包括如图2所示的流程：

步骤201，获得待处理图像的原始梯度图像，具体地，将待处理图像看作一个三维灰度图像，采用伽马(Gamma)校正法对待处理图像进行归一化处理，得到原始梯度图像；

步骤202，由所述原始梯度图像得到主HOG特征，具体地，对原始梯度图像中每个像素计算梯度，包括梯度大小和梯度方向，然后将原始梯度图像划分成细胞单元(cell)，再统计每个cell的HOG，形成每个cell的描述子，进一步地，将几个cell组成块(block)，例如，每个block包含若干个cell，cell可能会出现在两个或多个block中，一个block内的所有cell的HOG级联便得到该block的HOG描述子；最后，将原始梯度图像内所有block的HOG描述子级联，即可得到整个原始梯度图像的HOG特征了，该HOG特征即所称主HOG特征，仅是为了区别后续的附加HOG特征，主HOG特征中包含了相应的梯度大小及方向信息；

步骤203，采用如下述的图像特征提取方法，得到附加HOG特征，以使用附加HOG特征及主HOG特征进行步骤103的训练，具体地，当需要训练得到单一分类器时，可将附加HOG特征及主HOG特征同时输入进行训练，得到单一分类器；当需要训练得到级联结构分类器时，第一级子分类器使用附加HOG特征，第二级子分类器使用主HOG特征，将第一级子分类器与第二级子分类器级联，得到级联结构分类器。

上述图像特征提取方法主要包括：

首先，采用第一扫描窗以第一预设定步长对原始梯度图像进行扫描，得到所述原始梯度图像中各第一扫描区域对应的、用于表征所述第一扫描区域梯度大小及方向信息的N维度向量，该N维度向量也就是步骤202中所提的block的HOG描述子，其中，第一扫描窗大小为4像素×4像素，第一预设定步长L1为2像素，N取正整数9；并进行如下处理，得到N个方向图像：将第x个第一扫描区域对应的第n维度向量映射到第n个方向图像的第x映射单位中，其中，n∈(1，2，……，N)，x∈(1，2，……，X)，X为第一扫描区域的数量；如图3所示，原始梯度图像大小为64像素×128像素，扫描所得共1953个第一扫描区域301，每个第一扫描区域301均对应一个N维度向量，如图4所示，三个第一扫描区域301分别对应三个N维度向量A1、A2及A3，如图5所示，分别将第一个第一扫描区域A1对应的第一维度向量501映射到第一个方向图像502的第一映射单位503中，将第一个第一扫描区域A1对应的第二维度向量504映射到第二个方向图像505的第一映射单位506中，将第一个第一扫描区域A1对应的第三维度向量507映射到第三个方向图像508的第一映射单位509中，依次进行；将第二个第一扫描区域A2对应的第一维度向量510映射到第一个方向图像502的第二映射单位511中，将第二个第一扫描区域A2对应的第二维度向量512映射到第二个方向图像505的第二映射单位513中，将第二个第一扫描区域A2对应的第三维度向量514映射到第三个方向图像508的第二映射单位515中，依次进行；对第三个第一扫描区域A3也同样类似处理；最终，所有第一扫描区域对应的N维度向量均拆分到对应的方向图像中，一共为9个图像，每个方向图像的大小为31映射单位×63映射单位；

其次，对每个方向图像进行如下处理：以预设定大小的单元格划分方向图像，每个单元格包含多个映射单位，其中，单元格大小为4映射单位×4映射单位，那么，为了保证完整划分，每个方向图像需要补齐为32映射单位×64映射单位的大小；采用第二扫描窗以第二预设定步长对划分后的方向图像进行扫描，得到方向图像中各第二扫描区域对应的、用于表征第二扫描区域梯度大小信息的M维度向量，其中，第二扫描窗大小为8映射单位×8映射单位，第二预设定步长L2为4映射单位，M取正整数4；组合每个方向图像各第二扫描区域的M维度向量，得到方向图像特征；如图6所示，扫描单个方向图像所得共105个第二扫描区域601，每个第二扫描区域601均对应一个M维度向量，例如，三个第二扫描区域601分别对应三个M维度向量B1、B2及B3，其中，M维度向量通过双线性插值算法计算得到的，将每个方向图像的M维度向量级联，即可得到方向图像特征，方向图像特征中仅包含相应的梯度大小信息；

最后，组合各方向图像特征，得到原始梯度图像对应的附加HOG特征，具体是将所有方向图像特征级联，即可得到附加HOG特征。

相应地，本实施例的训练装置可包括如图7所示的结构：

样本采集模块701，用于采集物体图像集及背景图像集；

特征提取模块702，用于对物体图像集及背景图像集中各待处理图像提取特征；以及，

训练模块703，用于使用特征提取模块702所提取的特征进行训练，得到用于区分物体及背景的分类器，

其中，特征提取模块702包括：

主特征提取模块7021，用于获得待处理图像的原始梯度图像，并由原始梯度图像得到主HOG特征，其中，主特征提取模块7021需要采用第一扫描窗以第一预设定步长对原始梯度图像进行扫描，得到原始梯度图像中各第一扫描区域对应的、用于表征所述第一扫描区域梯度大小及方向信息的N维度向量，其中，N取正整数；以及，

附加图像特征提取模块7022，以触发训练模块703使用附加HOG特征及主HOG特征进行训练。

附加图像特征提取模块7022主要是用于获得附加HOG特征，其主要包括如图8所示的结构：

图像生成模块801，用于基于主特征提取模块7021所获得的N维度向量，进行如下处理，得到N个方向图像：将第x个第一扫描区域对应的第n维度向量映射到第n个方向图像的第x映射单位中，其中，n∈(1，2，……，N)，x∈(1，2，……，X)，X为第一扫描区域的数量；以及，

附加特征形成模块802，用于对每个方向图像进行如下处理：以预设定大小的单元格划分方向图像，每个单元格包含多个映射单位；采用第二扫描窗以第二预设定步长对划分后的方向图像进行扫描，得到方向图像中各第二扫描区域对应的、用于表征第二扫描区域梯度大小信息的M维度向量，其中，M取正整数；组合每个方向图像各第二扫描区域的M维度向量，得到方向图像特征；并组合各方向图像特征，得到原始梯度图像对应的附加HOG特征。

相应地，本实施例的检测装置主要包括如图9所示的结构：

图像输入模块901，用于获得待检测图像；以及，

检测模块902，用于采用上述训练所得分类器对待检测图像中是否存在物体及物体所在位置进行检测。具体地，检测模块902需要先对待检测图像进行预处理，按照如上述特征提取模块702中描述的内容，提取预处理后的待检测图像的主HOG特征及附加HOG特征，并将这些特征输入上述训练所得分类器，从而可对待检测图像中是否存在物体及物体所在位置进行检测。

这样，上述训练装置及检测装置构成了本实施例的对图像中是否存在物体以及物体所在位置进行检测的检测系统。

实施例二：

本实施例与实施例一的区别主要在于：原始图像及原始梯度图像的大小、第一扫描窗大小、第一预设定步长的取值、N的取值、单元格的大小、第二扫描窗的大小、第二预设定步长的取值以及M的取值，还可以视情况采用其他数值，例如，原始图像及原始梯度图像的大小可为256像素×128像素或64像素×32像素等；第一扫描窗大小可以为8像素×8像素或16像素×16像素等；第一预设定步长的取值为4像素等；N的取值可以是3、6或12等；单元格的大小可以是2映射单位×2映射单位或8映射单位×8映射单位等；第二扫描窗的大小可以是16映射单位×16映射单位或4映射单位×4映射单位等；第二预设定步长可以为2映射单位或8映射单位等；M的取值可以是8或者6等；当然，上述数据的选取应当合理匹配其他数据。

在INRIA数据库上，相比于Dalal和Triggs所提出基于HOG和线性SVM分类器的行人检测方法，本申请的图像特征提取、训练、检测方法及模块、装置、系统若采用HIKSVM作为分类器，所能达到的检测率能提高4.5％，若采用线性SVM分类器，所能达到的检测率能提高2.5％。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干简单推演或替换。

Claims (10)

1.一种图像特征提取方法，其特征在于，包括：

采用第一扫描窗以第一预设定步长对原始梯度图像进行扫描，得到所述原始梯度图像中各第一扫描区域对应的、用于表征所述第一扫描区域梯度大小及方向信息的N维度向量，其中，N取正整数；并进行如下处理，得到N个方向图像：将第x个第一扫描区域对应的第n维度向量映射到第n个方向图像的第x映射单位中，其中，n∈(1，2，……，N)，x∈(1，2，……，X)，X为第一扫描区域的数量；

对每个所述方向图像进行如下处理：以预设定大小的单元格划分所述方向图像，每个所述单元格包含多个映射单位；采用第二扫描窗以第二预设定步长对所述划分后的方向图像进行扫描，得到所述方向图像中各第二扫描区域对应的、用于表征所述第二扫描区域梯度大小信息的M维度向量，其中，M取正整数；组合每个所述方向图像各所述第二扫描区域的M维度向量，得到方向图像特征；

组合各所述方向图像特征，得到所述原始梯度图像对应的附加梯度方向直方图特征。

2.如权利要求1所述的图像特征提取方法，其特征在于，所述M维度向量通过双线性插值算法计算得到。

3.如权利要求1或2所述的图像特征提取方法，其特征在于，所述第一扫描窗大小为4像素×4像素或者8像素×8像素；所述第一预设定步长为2像素或者4像素；所述原始梯度图像大小为128像素×64像素；N的取值为9；X的取值通过第一扫描窗大小、第一预设定步长及原始梯度图像大小确定；所述单元格大小为4映射单位×4映射单位；所述第二扫描窗大小为8映射单位×8映射单位；所述第二预设定步长为4映射单位；M的取值为4。

4.一种训练方法,包括：

采集物体图像集及背景图像集；

对所述物体图像集及背景图像集中各待处理图像提取特征；

使用所述特征进行训练，得到用于区分物体及背景的分类器，

其特征在于，对所述物体图像集及背景图像集中各待处理图像提取特征具体包括：

获得所述待处理图像的原始梯度图像；

由所述原始梯度图像得到待处理图像的主梯度方位直方图特征，其中，采用第一扫描窗以第一预设定步长对所述原始梯度图像进行扫描，得到所述原始梯度图像中各第一扫描区域对应的、用于表征所述第一扫描区域梯度大小及方向信息的N维度向量，其中，N取正整数；

进行如下处理，得到N个方向图像：将第x个第一扫描区域对应的第n维度向量映射到第n个方向图像的第x映射单位中，其中，n∈(1，2，……，N)，x∈(1，2，……，X)，X为第一扫描区域的数量；对每个所述方向图像进行如下处理：以预设定大小的单元格划分所述方向图像，每个所述单元格包含多个映射单位；采用第二扫描窗以第二预设定步长对所述划分后的方向图像进行扫描，得到所述方向图像中各第二扫描区域对应的、用于表征所述第二扫描区域梯度大小信息的M维度向量，其中，M取正整数；组合每个所述方向图像各所述第二扫描区域的M维度向量，得到方向图像特征；组合各所述方向图像特征，得到所述原始梯度图像对应的附加梯度方向直方图特征，以使用所述附加梯度方向直方图特征及主梯度方位直方图特征进行训练。

5.如权利要求4所述的训练方法，其特征在于，所述分类器为线性分类器或非线性分类器。

6.一种检测方法，其特征在于，包括：

获得待检测图像；

采用如权利要求4或5所述的训练方法所得分类器对待检测图像中是否存在物体及物体所在位置进行检测。

7.一种附加图像特征提取模块，其特征在于，包括：

图像生成模块，用于基于采用第一扫描窗以第一预设定步长对原始梯度图像进行扫描，得到的所述原始梯度图像中各第一扫描区域对应的、用于表征所述第一扫描区域梯度大小及方向信息的N维度向量，进行如下处理，得到N个方向图像：将第x个第一扫描区域对应的第n维度向量映射到第n个方向图像的第x映射单位中，其中，N取正整数，n∈(1，2，……，N)，x∈(1，2，……，X)，X为第一扫描区域的数量；以及，

附加特征形成模块，用于对每个所述方向图像进行如下处理：以预设定大小的单元格划分所述方向图像，每个所述单元格包含多个映射单位；采用第二扫描窗以第二预设定步长对所述划分后的方向图像进行扫描，得到所述方向图像中各第二扫描区域对应的、用于表征所述第二扫描区域梯度大小信息的M维度向量，其中，M取正整数；组合每个所述方向图像各所述第二扫描区域的M维度向量，得到方向图像特征；并组合各所述方向图像特征，得到所述原始梯度图像对应的附加梯度方向直方图特征。

8.一种训练装置，包括：

样本采集模块，用于采集物体图像集及背景图像集；

特征提取模块，用于对所述物体图像集及背景图像集中各待处理图像提取特征；以及，

训练模块，用于使用所述特征进行训练，得到用于区分物体及背景的分类器，

其特征在于，所述特征提取模块包括：

主特征提取模块，用于获得所述待处理图像的原始梯度图像，并由所述原始梯度图像得到主梯度方位直方图特征，其中，采用第一扫描窗以第一预设定步长对所述原始梯度图像进行扫描，得到所述原始梯度图像中各第一扫描区域对应的、用于表征所述第一扫描区域梯度大小及方向信息的N维度向量，其中，N取正整数；以及，

如权利要求7所述的附加图像特征提取模块，以触发所述训练模块使用附加梯度方位直方图特征及主梯度方位直方图特征进行训练。

9.一种检测装置，其特征在于，包括：

图像输入模块，用于获得待检测图像；以及，

检测模块，用于采用如权利要求4或5所述的训练方法所得分类器对待检测图像中是否存在物体及物体所在位置进行检测。

10.一种检测系统，其特征在于，包括如权利要求8所述的训练装置，以及如权利要求9所述的检测装置。