CN108446615A - 基于光照字典的一般性物体识别方法 - Google Patents

Abstract

本发明公开了一种基于光照字典的一般性物体识别方法，属于计算机视觉、模式识别、图像处理、机器学习应用技术研究领域。主要用于光照条件不可控条件下的物体识别问题，对人脸、车辆、飞机等整体结构较为刚性的物体均有较好的处理能力，是一种适用范围较广的一般性方法。引入专门的光照字典对对齐后的样本光照进行自适应填充，设计了同时强调描述能力和系数精炼的统一优化模型，保证基于一次显示优化求解即可完成识别。相对于现有方法，本发明的主要优势：不受训练光照局限，对各类光照变化具有较好的适应能力；对注册数据的要求低，仅基于一幅标定注册图像即可实现对物体的识别；训练过程与识别过程完全分开，同时保证模型精度及应用实时性。

Description

基于光照字典的一般性物体识别方法

技术领域

本发明主要针对光照不可控条件下的物体识别问题，提供一种鲁棒性解决方案。本发明的主要优势和作用是降低光照差异对基于视觉识别问题的影响，有效提升在光照可变条件下的物体识别精度。本发明对整体结构较为刚性物体均适用，如，人脸识别、年龄识别、车辆识别、飞机识别等，具有较广的应用范围。本发明属于计算机视觉、模式识别、图像处理、机器学习应用研究领域。

背景技术

近年来，伴随着手机摄像头、视频监控、便携摄像机等图像采集设备的不断普及，待分析和处理的图像数据规模呈爆棚式增长，以人工方式实现对这些数据的及时处理变的越来越遥不可及。因此，以图像为处理对象的智能物体识别算法获得众多关注，成为重要的基础应用研究课题。

光照是生成物体视觉影像的决定性影响因素之一，直接决定所获取图像中物体的实际面貌。然而在实际应用场景中，光照极少是一成不变的，该变化因素是制约基于视觉信息进行物体自动识别的最主要挑战性困难之一，对相关算法的性能造成直接影响。近年来，针对该问题的研究屡见不鲜，但效果却难如人意：探索提取图像中与光照无关的高维抽象特征，摒弃外在专注本质，是一类常见的解决思路，然而由于光照差异对于图像内容的影响较大，该类方法一直难以找到令人信服的关键性特征；基于变换的方式剔除图像中的光照内容，或直接将图像映射入仅反映其内容之间本质性差异的流行空间，也是针对该问题的主要尝试思路之一，但该类方法往往与图像内容直接相关，可拓展性和鲁棒性较差；基于多幅不同光照下的物体图像构建注册图像库，使注册图像覆盖更多的光照可能，是一类能够直接降低光照差异影响的方法，但对于信息采集过程有较高要求，实际应用范围较窄；基于红外光线的图像采集设备的兴起是另一种应对光照变化因素的方法，该类设备由于成像原理不同能够较少依赖于光照，但采用红外光设备必将导致物体颜色、纹理、清晰度、分辨率等大量信息的损失，且会直接导致成本上升。

针对实际光照条件多变这一客观事实，本发明针对性研究设计了基于光照字典进行光照差异自动补偿，进而有效降低光照对物体识别精度影响的一般性方法。基于线性描述形式，本发明方法以自适应字典输出的方式填补已注册物体图像与待测物体图像之间的光照差异，使物体图像之间的比对能够集中反映不受光照影响的物体本质特征之间的差别，从而提升识别精度。

发明内容

本发明的目的是克服现有技术中存在的不足，提出一种能够有效识别不同光照条件下所获取物体图像的方法。该方法对于结构较为刚性物体(如车辆、人脸、飞机等)均适用，具有较广的应用范围。为实现该功能，本发明采用如下技术方案。

方案包含训练过程和在线识别过程两个阶段，其中训练过程耗时较长但可离线进行，不影响算法在实际应用中的效率；在线识别过程基于最小二乘法直接显示求解，可实时完成、效率高。基于光照字典的一般性物体识别方法，具体实现方法为：

训练过程：

1.为每一训练样本物体采集1幅均匀光照图像和8幅不同光照条件下的图像。

2.为实现物体形态结构对齐，首先人工定义描述物体外部形态的一系列关键点。关键点数目依据物体外观复杂程度人工设定。选择关键点的基本原则是，关键点应覆盖物体所有核心区域，并设置于关键位置，包括棱角点、最小外接圆接触点、局部曲率最大点、局部梯度最大点。在所有训练样本上，均由人工标记出这些关键点。

3.求取所有训练样本上关键点位置的均值，表示第i个训练样本上的关键点坐标序列，p_i，j＝[x_i，j，y_i，j]^T为关键点坐标，M为训练样本数目。

4.将所有训练样本图像依据均值关键点位置进行对齐，对齐过程基于薄板样条变换实现，其中方法的控制点由已标注的关键点充当。

5.由物体的8幅不同光照图像分别与对应均匀光照图像做差，获得光照差值图，再基于K奇异值分解(K-SVD)算法，依据这些差值图学习获取物体的光照字典D_ill。

在线识别过程：

6.载入已标定好类别标签的注册物体样本库，基于稀疏表示轮廓模型(SRSM--Sparse Representation Shape Models)算法提取其中每个样本的关键点，并基于此与训练样本均值实现对齐。

7.提取当前待识别物体图像上的关键点，并与训练样本均值对齐。

8.基于最小二乘法优化求解当前待识别图像I的最优描述系数，即

其中，A＝[I_g，1，I_g，2，...，I_g，N]表示已标定出类别的注册物体样本库(矩阵形式)，其中每类物体有一幅标定图像(I_g，i)，N为物体类别数目，x_A和x_D为以列向量形式存在的描述系数(分别对应于标定样本矩阵A和光照字典D_ill)，权衡二者相对重要性的常系数λ_A和λ_D分别取值0.9和0.1。

9.将当前物体图像识别为：

其中，为最优系数向量中对应于标定物体样本i的系数。

本发明是一种针对一般性物体的通用识别方法，对光照变化有较强的适应能力。跟现有技术相比，本发明的优势在于：

(1)通过光照字典的引入，本发明能够有效适应由光源变化造成的物体图像外观差异，且能够不受训练光照类型的局限，保证算法在不同光照条件下始终能够达到较高的识别精度。

(2)对每类物体，本发明方法仅需要一幅注册图像即可实现能够应对多种光照条件的鲁棒物体识别，对注册数据的要求低，实用性强。

(3)本发明训练过程与识别过程完全分开，因此，虽然光照字典训练学习过程需要较多的时间和样本数据(及其标定工作)，但并不会影响识别过程的实时性和适用性。

(4)本发明在线识别过程基于显示求解方法实现，速度快，能够达到实时性要求。

附图说明

图1展示本发明方法基本流程。

具体实施方式

下面对本发明进行更为具体的描述：

基于光照字典的一般性物体识别方法能够对车辆、人脸等整体结构较为刚性的物体进行精确识别。本发明方法对光照改变有较好的适应能力，可确保在仅有单幅注册样本的前提下，在不同光照条件下均能够达到较好的识别效果。该发明方法由两个主要模块构成：光照字典的离线学习训练过程，以及对待识别图像的在线识别过程。

光照字典的离线学习训练过程

本发明离线学习阶段的主要工作是基于训练图像学习获取用于在识别时进行光照差异补偿的光照字典。由于离线学习阶段完全独立于实际应用阶段(离线学习阶段完全在实验室完成，与实际应用无关)，该阶段所需数据的搜集和处理有充分的自由度，不会由于对数据的要求过高而影响方法的实际应用能力。考虑到光照字典需应付各类光照条件，本发明在学习光照字典时，每一训练物体除一幅均匀光照图像外，均要求另外获取其在不同光照条件下拍摄的8幅图像，而这8幅图像的对应光源应均匀分布于以物体为圆心的圆环形区域上。同时，为保证光照字典有充分的适应能力和鲁棒性，训练物体数目应不少于10个。例如，若有20辆车用于字典学习训练，训练集应由180幅图像组成。

另一方面，进行物体识别应确保各物体结构对齐，从而保证识别过程不受姿态差异的影响。在对齐方面，本发明基于物体上处在重要位置的关键点进行。通过将不同物体图像上的关键点进行位置统一，相应进行图像内容调整，以保证各物体图像的结构对齐。在关键点的设置方面，要求关键点应覆盖物体所有核心区域上的关键位置，以确保对齐效果。根据实测效果，本发明方法所识别物体上的关键点数目应在4-30个之间。由于训练过程与实际应用无关，本发明方法训练样本上的物体关键点均由人工进行标注，最大限度保证数据质量。具体对齐时，所有样本均与均值样本进行对齐，获取姿态一致的训练样本(在在线识别阶段，待测样本也应与该均值样本对齐，确保光照字典能够不受姿态差异影响发挥作用)。随着关键点的移动，图像内容应相应改变，该过程基于薄板样条变换实现，其中算法控制点由物体关键点充当。

获取一致对齐的训练样本后，本发明方法基于K奇异值分解(K-SVD)算法学习获取光照字典。由于该字典的作用是填充当前待测物体图像与注册物体图像之间的光照差异，该字典实质为差值补偿工具，因此其原始学习数据应为光照差值，本发明中，该类数据通过不同光照下所获得图像的相减获得。需要指出的是，虽然训练过程中本发明方法所基于的差值图像的光照类型有限，但我们构建的字典在本发明模型中实际上能够起到光照描述空间的作用，因此可对各类光照差异进行填充。

对待识别图像的在线识别过程

识别过程以注册物体样本库为支撑，本发明方法仅需要单幅图像即可实现对对应物体的注册。为实现精确识别，注册样本与训练样本一样需要进行物体结构对齐。由于在线识别过程不能有人工干预，此处对齐过程基于稀疏表示轮廓模型(SRSM--SparseRepresentation Shape Models)算法实现物体关键点提取，并进而通过薄板样条变换实现。

对于当前的待识别图像，首先也需基于上述同样方法实现与均值样本的对齐。

在识别过程，本发明基于二阶最优解的方式求解对于当前待识别图像的最优描述系数，其中描述子包括注册物体图像和光照字典，前者负责物体本质特征的描述，后者则填充光照条件不同造成的图像差异。考虑到这两类描述子明显的属性和作用差异，本发明对二者施加不同的约束限制要求，其对应常系数分别取值为0.9和0.1。由于该优化问题中所有项均为二次形式，其可依据最小二乘法进行显示求解，实现速度快，符合实时性要求。在该描述模型下，注册样本中与当前待识别图像最相近者，将贡献更多的权重，因此，本发明将当前图像判定识别为来自于对应系数最大注册样本的所属类别。

Claims (10)

1.基于光照字典的一般性物体识别方法，包括下列步骤：

训练过程：

步骤1：为每一训练样本物体采集一幅均匀光照条件下的图像，及8幅不同光照条件下的图像；

步骤2：由人工在所有训练样本上标记出处在物体关键位置的数个关键点；

步骤3：求取所有训练样本上关键点位置的均值，

步骤4：将所有训练样本图像进行形变调整，使其匹配均值关键点位置，实现所有样本的结构对齐；

步骤5：依据已对齐的所有训练样本，学习获取物体的光照字典D_ill；

在线识别过程：

步骤6：载入已标定出类别标签的注册物体样本库，对其中每幅图像，提取其关键点，并与训练过程中获取的均值样本对齐，随后将注册样本库转化为矩阵形式(A)；

步骤7：提取当前待识别物体图像I上的物体关键点，并与均值样本对齐；

步骤8：优化求解当前待识别图像I的最优描述系数，即

步骤9：将当前物体图像识别为：

2.如权利要求1所述的基于光照字典的一般性物体识别方法，其特征在于，步骤1中，8幅不同光照条件下的图像分别来自于8种点光源入射方向，其中所有点光源均匀分布于以物体为圆心的圆环形区域上；要求训练物体数大于等于10。

3.如权利要求1所述的基于光照字典的一般性物体识别方法，其特征在于，步骤2中，需要标记的关键点数目为4-30个，具体数目由物体外观复杂程度决定，同类物体上关键点数目需一致；关键点的选取原则为：分布于物体内部及轮廓上，对应于一定关键位置，其中关键位置包括，棱角点、最小外接圆接触点、局部曲率最大点、局部梯度最大点。

4.如权利要求1所述的基于光照字典的一般性物体识别方法，其特征在于，步骤3中，表示第i个训练样本上的关键点坐标序列，p_i，j＝[x_i，j，y_i，j]^T为关键点坐标；M为训练样本数目。

5.如权利要求1所述的基于光照字典的一般性物体识别方法，其特征在于，步骤4中，形变调整过程基于薄板样条变换(该变换已公开发表且为相关行业公知)实现，其中方法的控制点由已标注的关键点充当。

6.如权利要求1所述的基于光照字典的一般性物体识别方法，其特征在于，步骤5中，光照字典D_ill的学习基于K奇异值分解(K-SVD)算法(该算法已公开发表且为相关行业公知)进行和实现；学习过程以向量化的训练样本光照差值图为数据依托，其中训练样本光照差值图指由物体的8幅非均匀光照条件下获取的训练样本图像分别与对应均匀光照训练图像相减所得到的8幅差值图像；获取的光照字典D_ill为矩阵形式，行数为图像维度，列数取训练样本秩的三倍(注：训练样本秩指由所有训练样本向量化后组合而成的矩阵的秩，图像的向量化过程由图像像素行行相接实现)。

7.如权利要求1所述的基于光照字典的一般性物体识别方法，其特征在于，步骤6中，关键点提取基于稀疏表示轮廓模型(SRSM--Sparse Representation Shape Models)算法(该算法已公开发表且为相关行业公知)自动实现；对齐过程基于薄板样条变换实现；注册物体样本库A＝[I_g，1，I_g，2，...，I_g，N]中，每类物体有一幅已标定出类别的图像(I_g，i)，N为物体类别数目，所有I_g，i为向量化形式(由原图像像素行行相接获得)。

8.如权利要求1所述的基于光照字典的一般性物体识别方法，其特征在于，步骤7中，关键点提取通过稀疏表示轮廓模型算法进行，对齐过程基于薄板样条变换实现。

9.如权利要求1所述的基于光照字典的一般性物体识别方法，其特征在于，步骤8中，x_A和x_D为以列向量形式存在的描述系数(分别对应于注册物体样本库A和光照字典D_ill)，权衡二者相对重要性的常系数λ_A和λ_D分别取值0.9和0.1；该优化通过最小二乘法显示求解。

10.如权利要求1所述的基于光照字典的一般性物体识别方法，其特征在于，步骤9中，为最优系数向量中对应于标定物体样本i的系数。