CN104809435B - 一种基于视觉一致性约束的图像目标分类方法 - Google Patents

Abstract

本发明提供一种基于视觉一致性约束的图像目标分类方法，所述方法包括：首先将具备相同视角范围、相同姿态和相近光照条件的同类图像目标，称为满足视觉一致性约束的同一子类目标；其次，将满足视觉一致性约束的相同子类目标样本，根据目标类别属性的不同，分别提取区分特征进行训练，得到视觉一致性约束的子分类器；将该子分类器和传统分类器作为一组滤波器并行连接，构造一个新的目标分类器；测试样本送入新分类器中的基本分类器和每一个子分类器，并比较它们的滤波响应，选出响应值最大的一个输出结果，作为新分类器最终的分类结果。本发明有效地解决了图像类内目标视觉不一致导致的分类精度和鲁棒性不足问题。

Description

一种基于视觉一致性约束的图像目标分类方法

技术领域

本发明涉及的是一种图像目标分类方法，具体地说，涉及的是一种基于视觉一致性约束的图像目标分类方法。

背景技术

目前，智能图像监控由于其广阔的应用范围吸引了大量的关注。在图像监控技术中，自动目标检测与分类已经成为智能监控系统的一项主要任务。当前的图像监控系统，虽然数量庞大、清晰度越来越高，但除了卡口、闸机等能够近距离有约束取像的场所，可以进行有效的车牌检测识别、人脸检测识别应用外，其他大量道路等室外监控视频系统，因为成像角度、距离、光照等难以有效约束，仍然存在图像目标难以精确、鲁棒地检测和分类识别问题，导致图像监控系统的应用效能难以有效发挥。因此，监控图像目标的准确分类成为当前一个具有挑战性的任务。

国内外的研究者在目标的检测领域，做出了大量卓有成效的工作。近年来，大量的研究工作从判别性特征提取和分类器模型设计等角度来解决目标分类问题。根据分类器训练手段的不同，可以把检测模型分为两大类：一类是基于各种全局或局部判别性特征的统计模型，包括利用人工选取的特征和机器学习到的特征，如目前最为关注的深度学习模型；一类是基于范例(Exemplar,也有文献称为实例，Instance，本文统称为范例)等的相似性认知模型(简称范例模型)。

基于判别性特征的统计检测模型。目前统计模型在目标检测中处于主流地位，大多数的模型都属于统计学习模型。该类模型基于目标人工选取或者机器学习到的、具有一定尺度、角度、光照不变性的一个特征或多个判别性特征，进行模板统计训练，然后进行候选区域与目标模板的匹配检测。用于目标检测的判别性特征，包括外观等底层特征、全局与局部等混合特征、机器学习到的特征等。底层特征指的是基本的图像特征，如颜色、纹理、梯度、形状等于直观视觉特征和其对应的简单统计特征。主要的统计特征包括Navneet Dalal和Bill Triggs等在CVPR2005的文献“Histograms of oriented gradients for humandetection”中提出的HOG(Histogram of Oriented Gradient)特征，Ojala等在文献"Multiresolution gray-scaleand rotation invariant texture classification withlocal binary patterns"提出的LBP(Local BinaryPattern)特征,David Lowe在2004年文献“Distinctive image features from scale-invariant keypoints”提出的尺度不变特征(SIFT)，Wu等2011年在文献“CENTRIST:A Visual Descriptor for SceneCategorization”提出的CENTRIST(CENsus TRansform hISTogram)方法，文献“Evaluatingbag-of-visual-words representations in scene classification”给出的Bag-of-visual-words模型，以及Bay等在SIFT的基础上做了部分改进得到了SURF特征(文献“SURF:Speeded up robust features”)，其主要通过引入Hessian矩阵以及运用积分图的思想基本实现了图像中目标匹配的实时化处理，在目标检测识别领域得到了广泛的运用。

SIFT、SURF、LBP和HOG等的直方图特征，虽然在目前的目标检测算法中被广泛用来进行目标的可靠表征。这类方法，都致力于学习更为鲁棒的、能够容忍大量类内特征变化的目标分类检测器。但是，这种以刚性的类别属性作为区分量度的检测方法，很容易受到每类目标在视觉上的不一致性的影响，导致检测识别性能大幅下降甚至完全失效。而这种视觉不一致性，在监控图像中更为显著：实际的监控应用系统中，成像条件往往复杂多变，目标视觉特征将会因为视角差异、光照效应、目标形变、遮挡等而剧烈变化，导致同类目标严重的视觉不一致。

基于相似性认知的范例检测模型。认知学的研究(文献“Moshe Bar,Theproactive brain:using analogies and associations to generatepredictions.TRENDS in Cognitive Sciences,Vol.11No.7,June 2007”)表明，大脑对于新事物的识别一个看"它像什么"的问题，而不是直接分类判断"它是什么"的问题。我们是通过和它最像的物体的信息来得知它是什么。最近几年，以范例为出发点、基于相似性认知的目标检测识别方法引起了学术界的广泛关注。不同于基于类别的方法，基于范例的方法通过对正样本的特殊处理，来避免视觉不一致的问题，因此基于单一或多个范例表示的目标检测技术在这些年得到了大力的发展。其核心思想对训练集中的检测样例，每一个都训练自己的分类器，综合所有的一类目标的分类器实现对于该类目标的检测(文献“李强，基于范例度量学习的物体检测，硕士学位论文，华中科技大学，武汉，2013年”)。Malisiewicz等人在文献“Ensemble of exemplar-svms for object detection and beyond”借鉴了局部范例学习的思想，通过使用SVM分类器来寻找范例特征的最佳分类投影方向。该文作者认为传统类属SVM不能有效地处理正样本训练集内的巨大变化，尤其是与范例不相似的正样本会严重影响类属SVM分类器的投影方向。因此，他们设计了以单一范例为中心的ESVM(Exemplar-SVMs)分类器，试图仅仅从负样本中学习范例特征的最佳分类投影方向。

虽然以范例为主的相似认知检测方法能够注重单一目标范例的个性特征，但却存在对不同范例之间共性特征重视不够的问题，同一类别的目标往往因类内个体的千差万别产生数目众多的范例，如果对范例逐一建模，将使分类复杂性的大大增加，从而导致分类效能低下。

发明内容

本发明针对现有技术中存在的上述技术问题，提供一种基于视觉一致性约束的图像目标分类方法，有效地解决了图像类内目标视觉不一致导致的分类精度和鲁棒性不足问题。

为实现上述目的，本发明采用以下技术方案：

本发明基于视觉一致性约束，将具备相似或相同视觉形态(视角、姿态、光照)的同类目标，构造为一个子类目标集，并训练得到对应的子类目标分类器；同类目标所有的子类分类器和基本分类器构成一个滤波器组，利用该滤波器形成一个新的目标分类器，实现目标的精确分类检测。

具体的，所述基于视觉一致性约束的图像目标分类方法，包括以下步骤：

步骤一，视觉一致性约束条件建立：根据视角、姿态和光照这三个条件，构造一个视觉一致性约束条件：将具备相同视角范围、相同姿态和相近光照条件的同类图像目标，称为满足视觉一致性约束的同一子类目标；

步骤二，将满足视觉一致性约束的相同子类目标样本，根据目标类别属性的不同，分别提取区别特征进行训练，得到基于视觉一致性约束的子分类器；

步骤三，将步骤二得到的子分类器和传统分类器作为一组滤波器并行连接，构造一个新的目标分类器；

步骤四，将测试样本送入新分类器中的基本分类器和每一个子分类器，并比较它们的滤波响应，选出响应值最大的一个输出结果，作为新分类器最终的分类结果。

步骤二中：将满足视觉一致性约束的相同子类目标样本，根据目标类别属性的不同，分别提取其判别性特征，然后基于这些样本特征和Adaboost或SVM分类器，将同子类样本进行训练，得到满足该视觉一致性约束的分类器，称为视觉一致性约束的子分类器。

步骤三中：将同类目标所有的视觉一致性约束的子分类器和传统的母分类器即基于同类别属性的样本训练得到的目标分类器，作为一组滤波器并行连接起来，构造一个新的目标分类器。

与现有技术相比，本发明具有如下的有益效果：

本发明通过构建视觉一致性约束条件，将视觉不一致的目标分类问题，转换为视觉一致的子类目标分类问题，有效地解决了图像类内目标视觉不一致导致的分类精度和鲁棒性不足问题，可应用于快速、准确、鲁棒的图像目标分类应用。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明基于视觉一致性约束的图像目标分类方法的示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本实施中：所述的基于视觉一致性约束的图像目标分类方法包括三个部分：视觉一致性约束条件建立；基于视觉一致性约束的子分类器训练；基于滤波器组的目标分类器构建与分类。以下对三个部分进行详细说明：

1、视觉一致性约束的子类目标划分

目标在不同的视角下呈现不同的部位，部位间的视觉差异往往很大，因此视角的不同对目标的视觉形态影响最大，首先应研究基于视角的视觉形态空间划分。本发明根据目标呈现出的主要部位的不同，目标视角划分为如表1所示的9种视角。

表格1探头视角与目标姿态关系映射

考虑到目标姿态变换对视觉形态的影响，本发明对于非刚体目标，如行人，将目标姿态划分为直立、弯腰、蹲、坐等多个姿态。具体的划分见表1所示。

光照的变化，主要影响目标的轮廓、纹理、颜色等视觉特征。因此，可以通过目标纹理、轮廓、颜色等特征的变化，对光照条件进行基于视觉形态的合理划分。同时，根据光照的强弱对目标形态的影响，将光照条件也划分为正常、逆光、阴暗、雾霾等多种情况。具体的划分见表1所示。

根据视角、姿态、光照这三个影响目标视觉形态的条件进行组合，即可得到不同的视觉一致性约束条件。如，(正前面，直立，正常光照)这个组合，即是一个视觉一致性约束条件。同一类目标中，本发明把满足相同的视觉一致性约束条件的目标，称为同一子类目标。表格2和3中，分别给出了行人和车辆(小汽车)基于视觉一致性约束的子类目标划分(仅列示部分子类)。

表格2行人目标基于视觉一致性约束的子类划分

表格3车辆目标基于视觉一致性约束的子类划分

2、基于视觉一致性约束的子分类器训练

将满足视觉一致性约束的相同子类目标样本，根据目标类别属性的不同，分别提取其可区分特征，如行人目标采用HOG特征、车辆目标采用Harr-Like特征等。利用这些样本特征和Adaboost或SVM等分类器，将同子类样本进行训练，得到满足该视觉一致性约束的分类器，称为视觉一致性约束的子分类器。

3、基于滤波器组的目标分类器构建与分类

本发明基于在上述2中训练得到的子分类器和基本分类器，来构造同一类目标的分类器(这里的分类器以二分类为代表，即区分是或否该类目标)。这里的基本分类器，是指在全形态样本空间(所有的同类别属性的样本)中训练得到的分类器，用以检测不属于所有子分类器的目标，以避免遗漏。将同类目标所有的视觉一致性约束的子分类器和基本分类器，作为一组滤波器并行连接起来，构造一个新的目标分类器。如图1所示，将测试样本送入新分类器中的基本分类器和每一个子分类器，并比较它们的滤波响应，选出响应值最大的一个输出结果，作为新分类器最终的分类结果。

基于该目标分类器进行目标分类，其实施步骤为：通过滑动窗等方法得到的候选目标(图1的图像中的最上面的目标框)，首先进行多尺度的特征提取，提取到的特征，送到目标检测器。该检测器，是由一个全形态目标滤波器(即基本分类器)，和一组特定形态目标滤波器(即不同的视觉一致约束的子分类器)构成的滤波器组(图1中所示的下面的虚线框区域)。这里全形态目标滤波器的构造，是为了对该场景中，可能出现的异常视觉形态的目标，进行分类检测。每个滤波器的响应输出，送到响应比较器进行比较，选择响应最大的输出，作为最终结果。如图1所示，最上面的目标框内的候选目标(呈右前侧面姿态的面包车)，在提取特征后送入目标检测器的滤波器组；由于该目标与图1中中间一个滤波器的视觉形态相同，因此该姿态的车辆滤波器将获得最大的相应，从而使比较器检测输出的结果为该姿态的车辆目标。

由于本发明通过视觉一致性约束的建立，将目标分类中的视觉不一致问题转换为视觉一致的子类目标分类，从而能够有效解决现有方法中存在的视觉不一致导致的分类精度和鲁棒性不足问题。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (3)

1.一种基于视觉一致性约束的图像目标分类方法，其特征在于：所述方法基于视觉一致性约束，将具备相似或相同视觉形态的同类目标，构造为一个子类目标集，并训练得到对应的子类目标分类器；同类目标所有的子类分类器和基本分类器构成一个滤波器组，利用该滤波器形成一个新的目标分类器，实现目标的精确分类检测；

所述基本分类器，是指在全形态样本空间即所有的同类别属性的样本中训练得到的分类器，用以检测不属于所有子分类器的目标，以避免遗漏；

所述方法包括以下步骤：

步骤一，视觉一致性约束条件建立：根据视角、姿态和光照这三个条件，构造一个视觉一致性约束条件：将具备相同视角范围、相同姿态和相近光照条件的同类图像目标，称为满足视觉一致性约束的同一子类目标；

步骤二，将满足视觉一致性约束的相同子类目标样本，根据目标类别属性的不同，分别提取区别特征进行训练，得到基于视觉一致性约束的子分类器；

步骤三，将步骤二得到的子分类器和基本分类器作为一组滤波器并行连接，构造一个新的目标分类器；

步骤四，将测试样本送入新分类器中的基本分类器和每一个子分类器，并比较它们的滤波响应，选出响应值最大的一个输出结果，作为新分类器最终的分类结果。

2.根据权利要求1所述的一种基于视觉一致性约束的图像目标分类方法，其特征在于：步骤二中：将满足视觉一致性约束的相同子类目标样本，根据目标类别属性的不同，分别提取其判别性特征，然后基于这些样本特征和Adaboost或SVM分类器，将同子类样本进行训练，得到满足该视觉一致性约束的分类器，称为视觉一致性约束的子分类器。

3.根据权利要求1所述的一种基于视觉一致性约束的图像目标分类方法，其特征在于：步骤三中：将同类目标所有的视觉一致性约束的子分类器和基本分类器，作为一组滤波器并行连接起来，构造一个新的目标分类器。