CN107992835A - 一种眼镜图像识别方法 - Google Patents

Abstract

本发明公开了一种眼镜图像识别方法。采集包含各种类型眼镜的人脸佩戴眼镜图像作为原始图像，并进行预处理；在每张眼镜图像中标注眼镜关键点；采用眼镜物体检测算法实现人脸佩戴眼镜图像上的眼镜关键点的预测结果；进行眼镜的形状特征和颜色特征提取，获得人脸佩戴眼镜图像上的眼镜属性识别结果。本发明设计的眼镜图像识别方法可以广泛应用，针对眼镜提出的关键点预测模型速度快并且鲁棒性好，对于其他形状特征显著的物体具有一定的参考价值。

Description

一种眼镜图像识别方法

技术领域

本发明涉及了一种图像特征提取识别方法，具体涉及到了计算机视觉领域的物体检测、图像分类等相关技术和机器学习领域的一种眼镜图像识别方法。

背景技术

物体检索技术综合了物体检测、特征学习以及图像分类等相关技术，其中：物体检测技术负责从查询图像中查找出物体；特征学习技术负责根据查找到的物体，抽取合适的特征用来表示该物体；图像分类技术负责根据抽取的图像特征，训练图像分类器来识别物体的语义属性。

计算机视觉是人工智能领域的核心问题之一，它的目标是让计算机拥有人的视觉能力，也就是让机算计像人一样理解现实世界中的图像。计算机视觉在医学、工业、军事、航天等领域拥有广泛的应用。物体检测是视觉感知的第一步，也是计算机视觉的一个重要分支。物体检测的目标，需要标出物体的位置，并给出物体的类别。物体检测和图像分类不一样，物体检测侧重于物体的搜索，而且物体检测的目标必须要有固定的形状和轮廓。图像分类可以是任意的目标，这个目标可能是物体，也可能是一些属性或者场景。更具体地，图像分类是根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。

机器学习的特征工程意义是找一个更好的空间去重构表达，把原始的数据对象映射到这个空间去表达，比如分类应用，最好是找到线性可分的空间。特征提取是特征工程中的重要问题，在机器学习中占有相当重要的地位，因为数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。

发明内容

为了解决背景技术中存在的问题，本发明的目的在于提供了一种眼镜图像识别方法。

本发明解决其技术问题采用的技术方案如下：

所述方法的步骤如下：

1)采集包含各种类型眼镜的人脸佩戴眼镜图像作为原始图像，并进行预处理。

2)对于所有预处理后的人脸佩戴眼镜图像，在每张眼镜图像中标注眼镜关键点；

人脸佩戴眼镜图像中的一部分图像被作为训练样本图像，另一部分图像被作为待测对象图像。

3)采用眼镜物体检测算法实现人脸佩戴眼镜图像上的眼镜关键点的预测结果；

4)进行眼镜的形状特征和颜色特征提取，获得人脸佩戴眼镜图像上的眼镜属性识别结果。

本发明具体实施中，对每张眼镜图像中还标注眼镜属性，如图2。

所述的步骤1)中，人脸佩戴眼镜图像为通过相机采集的人佩戴眼镜时人脸正面图像，通过人脸检测器检测获得人脸区域并进行剪裁，将检测后的人脸区域缩放到200像素的固定宽度。

所述步骤2)中，为实现眼镜关键点的检测，对预处理后的人脸佩戴眼镜图像进行眼镜关键点的标注：

本发明为眼镜设计了33个关键点来描述眼镜的外观，如图1所示，选择眼镜的边界处或者是具有高曲率的点，并且在两个关键点之间选取若干中间点作为补充的关键点，以提高检测性能。

先选取镜框的四个基准点：第一个基准点位于眼镜左镜框左上角区域的几何中心，第二个基准点位于眼镜左镜框右上角区域的几何中心，第三个基准点位于眼镜右镜框左上角区域的几何中心，第四个基准点位于眼镜右镜框右上角区域的几何中心；

然后在四个基准点之间选取关键点：在第一个基准点和第二个基准点之间的连线上作七条垂线，七条垂线将第一个基准点和第二个基准点之间的连线均分为八等份，每条垂线分别和眼镜左镜框的上框、下框之间交线的中点作为关键点；在第三个基准点和第四个基准点之间的连线上作七条垂线，七条垂线将第三个基准点和第四个基准点之间的连线均分为八等份，每条垂线分别和眼镜右镜框的上框和下框之间交线的中点作为关键点；以四个基准点和所有的关键点构成眼镜关键点。

所述步骤3)具体为：

3.1)将预处理后的人脸佩戴眼镜图像的训练样本图像依次单张输入到眼镜关键点预测模型中，将眼镜关键点预测模型转化为一个非线性优化问题，眼镜关键点预测模型采用代价损失函数f(x)表示，具体如下：

其中，x表示最终预测关键点，d(x)表示最终预测关键点的坐标，x_*表示实际眼镜关键点，d(x_*)表示实际眼镜关键点的坐标，h()为特征提取函数，h(d(x))表示最终预测关键点的特征值，h(d(x_*))表示实际眼镜关键点的特征值，表示二范数；

3.2)针对眼镜关键点预测模型的代价损失函数f(x)采用级联回归算法进行迭代求解计算获得最终预测关键点，每次求解计算时输入一张图像优化获得一个预测关键点结果并作为下一次求解计算时的初始形状关键点，初始第一次计算时初始形状关键点为平均形状关键点。

本发明提到的级联回归算法(Cascaded Regression Approaches)具体采用论文《Face alignment at 3000fps via regressing local binary features//CVPR,2014:1685–1692》所提到的方法。

所述的平均形状关键点采用以下方式获得：每张人脸佩戴眼镜图像的眼镜关键点构成一个眼镜形状，对于所有人脸佩戴眼镜图像的训练样本中的眼镜形状使用普鲁士分析方法(Generalized Procrustes Analysis)进行对齐，并获取对齐后眼镜形状的均值向量作为平均形状，平均形状由对齐平均化后的眼镜关键点组成，以对齐平均化后的眼镜关键点作为平均形状关键点；

所述步骤2)中，为实现眼镜属性的识别，本发明为眼镜定义了三个眼镜属性，如图2所示，包括镜框形状、镜框颜色和镜片颜色。

所述步骤4)中的形状特征提取具体为：

4A.1)从预处理后的人脸佩戴眼镜图像选取若干已知镜框形状的训练样本图像以及若干未知镜框形状的待测对象图像，训练样本图像和待测对象图像均使用ShapeContext形状特征描述符对眼镜进行眼镜形状的特征提取。

4A.2)将训练样本图像的已知镜框形状和Shape Context形状描述符输入到第一SVM分类器进行训练，然后将待测对象图像的Shape Context形状描述符输入到训练后的第一SVM分类器后输出识别得到待测对象图像的镜框形状。

具体实施中镜框形状根据分为矩形、正方形、猫眼形、椭圆形、蝴蝶形、飞行员形、圆形的七类，如表1所示。

所述步骤4)中的颜色特征提取具体为：

4B.1)从预处理后的人脸佩戴眼镜图像选取若干已知镜框颜色和镜片颜色的训练样本图像以及若干未知镜框颜色和镜片颜色的待测对象图像，训练样本图像和待测对象图像均对镜框和镜片进行像素采样，并且分别使用颜色直方图对眼镜进行镜框颜色和镜片颜色的特征提取；

具体地，镜框的像素点采样区域为眼镜关键点周围临近的3×3像素区域，镜片的像素点采样区域为镜片所在区域的几何中心周围临近的20×20像素区域。

4B.2)将训练样本图像的已知镜框颜色和镜框的颜色直方图输入到第二SVM分类器，然后将待测对象图像的镜框的颜色直方图输入到训练后的第二SVM分类器后输出识别得到待测对象图像的镜框颜色；将训练样本图像的已知镜片颜色和镜片的颜色直方图输入到第三SVM分类器，然后将待测对象图像的镜片的颜色直方图输入到训练后的第三SVM分类器后输出识别得到待测对象图像的镜片颜色。

本发明针对镜框颜色和镜片颜色定义了两套基本颜色项，如图2所示，镜框颜色包括黑色、灰色、白色、红色、紫色、棕色、蓝色、橙色、铜色、绿色、银色和粉色的十二种，镜片颜色包括绿色、棕色、蓝色、黄色、灰色和红色的六种。

本发明设计了基于关键点的方案来描述眼镜物体，并实现相应的基于关键点的眼镜检测算法。

本发明定义了一个属性集合用来表示眼镜物体的语义信息，并设计了多种有效的特征提取机制。

本发明对查询图像的眼镜进行语义识别，主要由眼镜检索模型和属性识别模型完成，其中，眼镜检索模型主要负责从查询图像中识别出眼镜的关键点，属性识别模型主要负责抽取眼镜的特征描述符并识别出眼镜的高级语义属性。

本发明具有的有益效果是：

本发明针对眼镜提出的关键点预测模型速度快并且鲁棒性好，针对眼镜提出的物体表示方法和检测算法对于其他形状特征显著的物体具有一定的参考价值。

附图说明

图1是本发明眼镜特征点位置示意图。

图2是眼镜属性分类图。

图3是人脸佩戴眼镜图像预处理流程图。

图4是本发明眼镜特征点检测流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明的实施例及其实施过程如下：

具体实施是以眼镜数据集结合示意图对本发明的技术方案作进一步说明：其中，眼镜数据集为人脸佩戴眼镜图像，是通过相机采集的人佩戴眼镜时人脸正面图像，这些图像可以公开获取。

按照本发明发明内容描述的方法进行的实施例如下：

建立眼镜关键点预测模型：

步骤1)预处理人脸佩戴眼镜图片。如图3所示，人脸佩戴眼镜图片送入人脸检测器，通过人脸检测器检测获得人脸区域并进行剪裁，将检测后的人脸区域缩放到200像素的固定宽度。

步骤2)为实现眼镜关键点的检测，参照图1，对预处理后的人脸佩戴眼镜图像进行眼镜关键点的标注。选取一部分眼镜关键点标注后的图像作为眼镜关键点预测模型的训练样本图像，另一部分图像被作为待测对象图像。

步骤3)如图4所示，在眼镜关键点预测模型的训练阶段，首先，获取眼镜的平均形状：每张人脸佩戴眼镜图像的眼镜关键点可以构成一个眼镜形状，将上述训练样本图像使用普鲁士分析进行形状对齐，获取对齐后眼镜形状的均值向量作为平均形状，平均形状由对齐平均化后的眼镜关键点组成，以对齐平均化后的眼镜关键点作为平均形状关键点。对于训练样本图像的任意一张图像，初始的眼镜关键点形状被设置为平均形状，通过级联回归算法(Cascaded Regression Approaches)迭代更新预测的眼镜关键点，待预测的眼镜关键点非常接近实际的眼镜关键点，眼镜关键点预测模型训练结束。在眼镜关键点预测模型的测试阶段，输入一张待测对象图像，且设置初始的眼镜关键点形状为平均形状，通过学习的眼镜关键点预测模型，即可获取待测对象图像的眼镜关键点。

建立眼镜属性预测模型：

1)为实现眼镜属性的检测，对预处理后的人脸佩戴眼镜图像进行眼镜属性标注。选取一部分眼镜属性标注后的图像作为眼镜属性预测模型的训练样本图像，另一部分图像被作为待测对象图像。

2)对上述训练样本图像和待测对象图像均使用Shape Context形状特征描述符对眼镜进行眼镜形状的特征提取。将训练样本图像的已知镜框形状和Shape Context形状描述符输入到SVM分类器进行训练，然后将待测对象图像的Shape Context形状描述符输入到训练后的SVM分类器后输出识别得到待测对象图像的镜框形状。

3)对上述训练样本图像和待测对象图像均对镜框和镜片进行像素采样，并且分别使用颜色直方图对眼镜进行镜框颜色和镜片颜色的特征提取。具体实施中，镜框的像素点采样区域为眼镜关键点周围临近的3×3像素区域，镜片的像素点采样区域为镜片所在区域的几何中心周围临近的20×20像素区域。

将训练样本图像的已知镜框颜色和镜框的颜色直方图输入到SVM分类器，然后将待测对象图像的镜框的颜色直方图输入到训练后的SVM分类器后输出识别得到待测对象图像的镜框颜色。

类似地，将训练样本图像的已知镜片颜色和镜片的颜色直方图输入到SVM分类器，然后将待测对象图像的镜片的颜色直方图输入到训练后的SVM分类器后输出识别得到待测对象图像的镜片颜色。

本发明进行实施的速度快并且鲁棒性好的实验情况是检测一张人脸佩戴眼镜图片的眼镜关键点的平均时间只需0.45秒，对于任意类型的眼镜，预测的眼镜关键点和真实的眼镜关键点非常接近，由此可见本发明方法具有速度快并且鲁棒性好的优势。

Claims (7)

1.一种眼镜图像识别方法，其特征在于：所述方法的步骤如下：

1)采集包含各种类型眼镜的人脸佩戴眼镜图像作为原始图像，并进行预处理。

2)对于所有预处理后的人脸佩戴眼镜图像，在每张眼镜图像中标注眼镜关键点；

3)采用眼镜物体检测算法实现人脸佩戴眼镜图像上的眼镜关键点的预测结果；

4)进行眼镜的形状特征和颜色特征提取，获得人脸佩戴眼镜图像上的眼镜属性识别结果。

2.根据权利要求1所述的一种眼镜图像识别方法，其特征在于：所述的步骤1)中，人脸佩戴眼镜图像为通过相机采集的人佩戴眼镜时人脸正面图像，通过人脸检测器检测获得人脸区域并进行剪裁，将检测后的人脸区域缩放到200像素的固定宽度。

3.根据权利要求1所述的一种眼镜图像识别方法，其特征在于：所述步骤2)中，对预处理后的人脸佩戴眼镜图像进行眼镜关键点的标注：

先选取镜框的四个基准点：第一个基准点位于眼镜左镜框左上角区域的几何中心，第二个基准点位于眼镜左镜框右上角区域的几何中心，第三个基准点位于眼镜右镜框左上角区域的几何中心，第四个基准点位于眼镜右镜框右上角区域的几何中心；

然后在四个基准点之间选取关键点：在第一个基准点和第二个基准点之间的连线上作七条垂线，七条垂线将第一个基准点和第二个基准点之间的连线均分为八等份，每条垂线分别和眼镜左镜框的上框、下框之间交线的中点作为关键点；在第三个基准点和第四个基准点之间的连线上作七条垂线，七条垂线将第三个基准点和第四个基准点之间的连线均分为八等份，每条垂线分别和眼镜右镜框的上框和下框之间交线的中点作为关键点；以四个基准点和所有的关键点构成眼镜关键点。

4.根据权利要求1所述的一种眼镜图像识别方法，其特征在于：所述步骤3)具体为：3.1)将预处理后的人脸佩戴眼镜图像的训练样本图像依次单张输入到眼镜关键点预测模型中，眼镜关键点预测模型采用代价损失函数f(x)表示，具体如下：

其中，x表示最终预测关键点，d(x)表示最终预测关键点的坐标，x_*表示实际眼镜关键点，d(x_*)表示实际眼镜关键点的坐标，h()为特征提取函数，h(d(x))表示最终预测关键点的特征值，h(d(x_*))表示实际眼镜关键点的特征值，表示二范数；

3.2)针对眼镜关键点预测模型的代价损失函数f(x)采用级联回归算法进行迭代求解计算获得最终预测关键点，每次求解计算时输入一张图像优化获得一个预测关键点结果并作为下一次求解计算时的初始形状关键点，初始第一次计算时初始形状关键点为平均形状关键点。

5.根据权利要求1所述的一种眼镜图像识别方法，其特征在于：所述的平均形状关键点采用以下方式获得：每张人脸佩戴眼镜图像的眼镜关键点构成一个眼镜形状，对于所有人脸佩戴眼镜图像的训练样本中的眼镜形状使用普鲁士分析方法(Generalized ProcrustesAnalysis)进行对齐，并获取对齐后眼镜形状的均值向量作为平均形状，平均形状由对齐平均化后的眼镜关键点组成，以对齐平均化后的眼镜关键点作为平均形状关键点。

6.根据权利要求1所述的一种眼镜图像识别方法，其特征在于：所述步骤4)中的形状特征提取具体为：

4A.1)从预处理后的人脸佩戴眼镜图像选取若干已知镜框形状的训练样本图像以及若干未知镜框形状的待测对象图像，训练样本图像和待测对象图像均使用Shape Context形状特征描述符对眼镜进行眼镜形状的特征提取。

4A.2)将训练样本图像的已知镜框形状和Shape Context形状描述符输入到第一SVM分类器进行训练，然后将待测对象图像的Shape Context形状描述符输入到训练后的第一SVM分类器后输出识别得到待测对象图像的镜框形状。

7.根据权利要求1所述的一种眼镜图像识别方法，其特征在于：

所述步骤4)中的颜色特征提取具体为：

4B.1)从预处理后的人脸佩戴眼镜图像选取若干已知镜框颜色和镜片颜色的训练样本图像以及若干未知镜框颜色和镜片颜色的待测对象图像，训练样本图像和待测对象图像均对镜框和镜片进行像素采样，并且分别使用颜色直方图对眼镜进行镜框颜色和镜片颜色的特征提取；

4B.2)将训练样本图像的已知镜框颜色和镜框的颜色直方图输入到第二SVM分类器，然后将待测对象图像的镜框的颜色直方图输入到训练后的第二SVM分类器后输出识别得到待测对象图像的镜框颜色；将训练样本图像的已知镜片颜色和镜片的颜色直方图输入到第三SVM分类器，然后将待测对象图像的镜片的颜色直方图输入到训练后的第三SVM分类器后输出识别得到待测对象图像的镜片颜色。