CN103473529A - 一种多视角取像人脸识别的方法及装置 - Google Patents

Abstract

本发明公开了一种多视角取像人脸识别的方法及装置，将光学装置按预先设定的位置和范围在100度到170度之间的夹角进行安放；将摄像机安放在各光学反射装置对面的位置，使摄像机能够同时采集到被拍摄者出现在各光学反射装置中的脸部图像；得到被拍摄者在不同视角下形成的多个脸部图像；将不同视角的脸部图像分别送给人脸识别模块进行分类识别；对各个脸部图像的识别结果进行筛选，选择可靠性最高的作为最终的人脸识别结果。本发明利用光学反射装置同时捕获一个人不同姿态角度的面部图像来用于人脸识别有效地取得多个视角的人脸图像，有利于系统获取最优的识别结果，不容易受人脸姿态变化的影响，识别率高和适应性强。

Description

一种多视角取像人脸识别的方法及装置

技术领域

本发明属于模式识别、图像处理和计算机视觉技术领域，尤其涉及一种多视角取像人脸识别的方法及装置。

背景技术

人脸识别是一种生物特征识别技术，在比较理想的实验条件下，人脸识别已取得较好的效果，能够达到95％以上的准确率，然而，在实际的应用环境中，人脸的姿态是不确定的，很难保证摄像机每次都能够从相同的视角捕获到人脸图像，这导致人脸识别的准确率急剧下降，一种解决办法是，采用多台摄像机从不同视角分别进行取像和识别。

同时使用多台摄像机会带来不便，需要分别调节摄像机的视角，摄像机之间容易相互干扰，且很难保证同时完成人脸图像的采集，不能精确同步，此外，采用多台摄像机也增加了系统的复杂度和成本，并增大发生故障的可能，不便于维护。

发明内容

本发明实施例的目的在于提供一种多视角取像人脸识别的方法及装置，旨在解决同时使用多台摄像需要分别调节摄像机的视角，摄像机之间容易相互干扰，且很难保证同时完成人脸图像的采集，不能精确同步，增加了系统的复杂度和成本，增大发生故障的可能，不便于维护的问题。

本发明实施例是这样实现的，一种多视角取像人脸识别的方法，该多视角取像人脸识别的方法利用光学反射装置同时捕获一个人不同姿态角度的面部图像来用于人脸识别，包括以下步骤：

将光学装置按预先设定的位置和范围在100度到170度之间的夹角进行安放；

将摄像机安放在各光学反射装置对面的位置，使摄像机能够同时采集到被拍摄者出现在各光学反射装置中的脸部图像；

控制摄像机采集光学反射装置中的图像，并进行人脸检测和提取，得到被拍摄者在不同视角下形成的多个脸部图像；

将不同视角的脸部图像分别送给人脸识别模块进行分类识别；

对各个脸部图像的识别结果进行筛选，选择可靠性最高的作为最终的人脸识别结果。

进一步，光学反射装置可以设置为两个或多个。

进一步，该多视角取像人脸识别的方法的具体步骤为：

第一步，将光学反射装置安放在被采集者所处位置之前，各光学反射面之间呈范围在100度到170度之间的夹角，通过适当调节夹角，使各光学反射装置能够从不同视角反射出被采集者的脸部图像；

第二步，将摄像机与光学反射装置的反射面相对，调节安装高度和拍摄角度，使摄像机能够同时采集到被拍摄者出现在各光学反射装置中的脸部图像；

第三步，控制摄像机进行拍摄，将拍摄所得图像送入计算机，然后进行人脸检测，找出图像中人脸所处的矩形区域，并将各矩形区域所在位置的图像分别裁剪下来作为提取的人脸图像；

第四步，采用db2小波函数对裁剪下来的人脸图像进行小波分解；

第五步，将小波分解得到的一级逼近图像划分为互不重叠且具有特定大小的多个图像子块；

第六步，应用LBP算子计算各图像子块的局部二值模式，得到各图像子块的LBP图谱；

第七步，对各图像子块的LBP图谱进行直方图统计，得到各图像子块LBP直方图序列；

第八步，将所有图像子块的LBP直方图序列串接在一起，合成一个直方图序列，作为对应人脸图像的特征向量，记为y_i，其中下标i表示对应人脸图像的序号；采用改进的近邻分类算法对上述得到的人脸图像特征向量进行分类识别。

进一步，第八步的具体步骤如下：

第一步，将每一个特征向量y_i分别与已知类别人脸样本的特征向量y′_i进行比对，按如下公式计算二者之间的相似度s：

$s=1-\frac{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{(y_{\mathrm{ij}}-y_{\mathrm{ij}}^{\′})}^2}{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\left(y_{\mathrm{ij}}^{\′}\right)}^2}$

上式中，y_ij和y′_ij分别表示y_i和y′_i的第j个分量，m表示y′_ij的分量总数，注意y_ij和y′_ij的分量总数是相同的；

第二步，在0到1之间选择一个合适的数值作为相似度阈值t，例如选择相似度阈值t=0.5，在具体实施中，若希望减小误识率，而对拒识率要求较为宽松，则可以选择较大的数值作为阈值；若希望减小拒识率，而对误识率要求较为宽松，则可以选择较小的数值作为阈值；若希望误识率和拒识率都比较小，则需要选择一个折中的数值作为阈值；

第三步，对所提取的每一个人脸图像，分别找出满足相似度s＞t的已知类别样本，即相似样本，将所提取的所有人脸图像的相似样本合并在一起构成一个相似样本集，然后对相似样本集中各样本的所属类别进行统计，将出现次数最多的类别作为最终的分类识别结果，即判定当前被采集者的人脸图像属于出现次数最多的类别，若不存在满足相似度s＞t的已知类别样本，则拒绝此次识别，即判定当前被采集者的人脸图像属于未知类别。

本发明实施例的另一目的在于提供一种多视角取像人脸识别的装置，该多视角取像人脸识别的装置包括：计算机、摄像机、光学反射装置；

计算机连接摄像机，摄像机与光学反射装置的反射面相对设置。

进一步，光学反射装置采用光学反射面之间的夹角范围在100度到170度之间设置。

本发明提供的多视角取像人脸识别的方法及装置，通过安放多个呈预定夹角的光学反射装置，光学反射面之间的夹角范围在100度到170度之间，然后通过一台摄像机采集被拍摄者在各光学反射装置中的脸部图像，由于各光学反射装置之间存在一定大小的夹角，出现在其中的人脸图像必定具有不同的视角，能够简单有效地取得多个视角人脸图像，提高人脸识别系统的准确率和稳定性。本发明能够简单有效地取得多个视角的人脸图像，与单一视角的人脸图像相比，多视角人脸图像包含了更多的有效信息，有利于系统获取最优的识别结果，不容易受人脸姿态变化的影响。此外，本发明识别率高和适应性强。

附图说明

图1是本发明实施例提供的多视角取像人脸识别的方法的流程图；

图2是本发明实施例提供的多视角取像人脸识别的装置结构示意图；

图中：1、计算机；2、摄像机；3、光学反射装置。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明提供的多视角取像人脸识别的方法流程。为了便于说明，仅仅示出了与本发明相关的部分。

本发明实施例的多视角取像人脸识别的方法，该多视角取像人脸识别的方法包括以下步骤：

将光学装置按预先设定的位置和范围在100度到170度之间的夹角进行安放；

将摄像机安放在各光学反射装置对面的位置，使摄像机能够同时采集到被拍摄者出现在各光学反射装置中的脸部图像；

控制摄像机采集光学反射装置中的图像，并进行人脸检测和提取，得到被拍摄者在不同视角下形成的多个脸部图像；

将不同视角的脸部图像分别送给人脸识别模块进行分类识别；

对各个脸部图像的识别结果进行筛选，选择可靠性最高的作为最终的人脸识别结果。

作为本发明实施例的一优化方案，光学反射装置可以设置为两个或多个。

作为本发明实施例的一优化方案，该多视角取像人脸识别的方法的具体步骤为：

第一步，将光学反射装置安放在被采集者所处位置之前，各光学反射面之间呈范围在100度到170度之间的夹角，通过适当调节夹角，使各光学反射装置能够从不同视角反射出被采集者的脸部图像；

第二步，将摄像机与光学反射装置的反射面相对，调节安装高度和拍摄角度，使摄像机能够同时采集到被拍摄者出现在各光学反射装置中的脸部图像；

第三步，控制摄像机进行拍摄，将拍摄所得图像送入计算机，然后进行人脸检测，找出图像中人脸所处的矩形区域，并将各矩形区域所在位置的图像分别裁剪下来作为提取的人脸图像；

第四步，采用db2小波函数对裁剪下来的人脸图像进行小波分解；

第五步，将小波分解得到的一级逼近图像划分为互不重叠且具有特定大小的多个图像子块；

第六步，应用LBP算子计算各图像子块的局部二值模式，得到各图像子块的LBP图谱；

第七步，对各图像子块的LBP图谱进行直方图统计，得到各图像子块LBP直方图序列；

第八步，将所有图像子块的LBP直方图序列串接在一起，合成一个直方图序列，作为对应人脸图像的特征向量，记为y_i，其中下标i表示对应人脸图像的序号；采用改进的近邻分类算法对上述得到的人脸图像特征向量进行分类识别。

作为本发明实施例的一优化方案，第八步的具体步骤如下：

第一步，将每一个特征向量y_i分别与已知类别人脸样本的特征向量y′_i进行比对，按如下公式计算二者之间的相似度s：

$s=1-\frac{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{(y_{\mathrm{ij}}-y_{\mathrm{ij}}^{\′})}^2}{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\left(y_{\mathrm{ij}}^{\′}\right)}^2}$

上式中，y_ij和y′_ij分别表示y_i和y′_i的第j个分量，m表示y′_ij的分量总数，注意y_ij和y′_ij的分量总数是相同的；

第二步，在0到1之间选择一个合适的数值作为相似度阈值t，例如选择相似度阈值t=0.5，在具体实施中，若希望减小误识率，而对拒识率要求较为宽松，则可以选择较大的数值作为阈值；若希望减小拒识率，而对误识率要求较为宽松，则可以选择较小的数值作为阈值；若希望误识率和拒识率都比较小，则需要选择一个折中的数值作为阈值；

第三步，对所提取的每一个人脸图像，分别找出满足相似度s＞t的已知类别样本，即相似样本，将所提取的所有人脸图像的相似样本合并在一起构成一个相似样本集，然后对相似样本集中各样本的所属类别进行统计，将出现次数最多的类别作为最终的分类识别结果，即判定当前被采集者的人脸图像属于出现次数最多的类别，若不存在满足相似度s＞t的已知类别样本，则拒绝此次识别，即判定当前被采集者的人脸图像属于未知类别。

下面结合附图及具体实施例对本发明的应用原理作进一步描述。

如图1所示，本发明实施例的多视角取像人脸识别的方法包括以下步骤：

S101：将两个或两个以上的光学装置按预先设定的位置和夹角进行安放；

S102：将摄像机安放在各光学反射装置对面的合适位置，使摄像机能够同时采集到被拍摄者出现在各光学反射装置中的脸部图像；

S103：控制摄像机采集光学反射装置中的图像，并进行人脸检测和提取，得到被拍摄者在不同视角下形成的多个脸部图像；

S104：将不同视角的脸部图像分别送给人脸识别模块进行分类识别；

S105：对各个脸部图像的识别结果进行筛选，选择其中可靠性最高的作为最终的人脸识别结果。

如图2所示，本发明实施例的多视角取像人脸识别的装置主要由：计算机1、摄像机2、光学反射装置3组成；安放多个呈预定夹角的光学反射装置3(光学反射面之间的夹角范围在100度到170度之间)，然后通过一台摄像机2采集被拍摄者在各光学反射装置3中的脸部图像；将拍摄所得图像送入计算机1，然后进行人脸检测，找出图像中人脸所处的矩形区域，并将各矩形区域所在位置的图像分别裁剪下来作为提取的人脸图像。

本发明的具体实施例如下：

(1)将光学反射装置3安放在被采集者所处位置之前，各光学反射面之间呈一定的夹角，夹角范围在100度到170度之间，通过适当调节夹角，使各光学反射装置3能够从不同视角反射出被采集者的脸部图像；

(2)将摄像机2与上述光学反射装3的反射面相对，并适当调节安装高度和拍摄角度，使摄像机2不会为被拍摄者所遮挡，并且能够同时采集到被拍摄者出现在各光学反射装置3中的脸部图像，例如可以将摄像机2安装在被拍摄者的头顶上方，向着光学反射装置3斜向下进行拍摄，也可将摄像机2安装在被拍摄者的左侧或右侧，从被拍摄者的身旁向着光学反射装置3进行拍摄；

(3)控制摄像机2进行拍摄，将拍摄所得图像送入计算机1，然后进行人脸检测，找出图像中人脸所处的矩形区域，并将各矩形区域所在位置的图像分别裁剪下来作为提取的人脸图像；

(4)采用db2小波函数对裁剪下来的人脸图像进行小波分解；

(5)将小波分解得到的一级逼近图像划分为互不重叠且具有特定大小的多个图像子块；

(6)应用LBP算子计算各图像子块的局部二值模式，得到各图像子块的LBP图谱；

(7)对各图像子块的LBP图谱进行直方图统计，得到各图像子块LBP直方图序列；

(8)将所有图像子块的LBP直方图序列串接在一起，合成一个直方图序列，作为对应人脸图像的特征向量，记为y_i，其中下标i表示对应人脸图像的序号；

(9)采用改进的近邻分类算法对上述得到的人脸图像特征向量进行分类识别，步骤如下：

①将每一个特征向量y_i分别与已知类别人脸样本的特征向量y′_i进行比对，按如下公式计算二者之间的相似度s：

$s=1-\frac{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{(y_{\mathrm{ij}}-y_{\mathrm{ij}}^{\′})}^2}{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\left(y_{\mathrm{ij}}^{\′}\right)}^2}$

上式中，y_ij和y′_ij分别表示y_i和y′_i的第j个分量，m表示y′_ij的分量总数，注意y_ij和y′_ij的分量总数是相同的；

②在0到1之间选择一个合适的数值作为相似度阈值t，例如选择相似度阈值t=0.5，在具体实施中，若希望减小误识率，而对拒识率要求较为宽松，则可以选择较大的数值作为阈值；若希望减小拒识率，而对误识率要求较为宽松，则可以选择较小的数值作为阈值；若希望误识率和拒识率都比较小，则需要选择一个折中的数值作为阈值；

③对所提取的每一个人脸图像，分别找出满足相似度s＞t的已知类别样本，即相似样本，将所提取的所有人脸图像的相似样本合并在一起构成一个相似样本集，然后对相似样本集中各样本的所属类别进行统计，将其中出现次数最多的类别作为最终的分类识别结果，即判定当前被采集者的人脸图像属于出现次数最多的类别，若不存在满足相似度s＞t的已知类别样本，则拒绝此次识别，即判定当前被采集者的人脸图像属于未知类别。

本发明的工作原理：

本发明利用光学反射的原理，安放多个呈预定夹角的光学反射装置3(光学反射面之间的夹角范围在100度到170度之间)，然后通过一台摄像机2采集被拍摄者在各光学反射装置3中的脸部图像，由于各光学反射装置3之间存在一定大小的夹角，出现在其中的人脸图像必定具有不同的视角，同时，由于只使用一台摄像机2，可以确保在同一时刻完成多视角人脸图像的采集，因此，本发明能够简单有效地取得多个视角的人脸图像，与单一视角的人脸图像相比，多视角人脸图像包含了更多的有效信息，有利于系统获取最优的识别结果，不容易受人脸姿态变化的影响，因此，本发明具有识别率高和适应性强的特点。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种多视角取像人脸识别的方法，其特征在于，该多视角取像人脸识别的方法利用光学反射装置同时捕获一个人不同姿态角度的面部图像来用于人脸识别，包括以下步骤：

将光学装置按预先设定的位置和范围在100度到170度之间的夹角进行安放；

将摄像机安放在各光学反射装置对面的位置，使摄像机能够同时采集到被拍摄者出现在各光学反射装置中的脸部图像；

控制摄像机采集光学反射装置中的图像，并进行人脸检测和提取，得到被拍摄者在不同视角下形成的多个脸部图像；

将不同视角的脸部图像分别送给人脸识别模块进行分类识别；

对各个脸部图像的识别结果进行筛选，选择可靠性最高的作为最终的人脸识别结果。

2.如权利要求1所述的多视角取像人脸识别的方法，其特征在于，光学反射装置可以设置为两个或多个。

3.如权利要求1所述的多视角取像人脸识别的方法，其特征在于，该多视角取像人脸识别的方法的具体步骤为：

第一步，将光学反射装置安放在被采集者所处位置之前，各光学反射面之间呈范围在100度到170度之间的夹角，通过适当调节夹角，使各光学反射装置能够从不同视角反射出被采集者的脸部图像；

第二步，将摄像机与光学反射装置的反射面相对，调节安装高度和拍摄角度，使摄像机能够同时采集到被拍摄者出现在各光学反射装置中的脸部图像；

第三步，控制摄像机进行拍摄，将拍摄所得图像送入计算机，然后进行人脸检测，找出图像中人脸所处的矩形区域，并将各矩形区域所在位置的图像分别裁剪下来作为提取的人脸图像；

第四步，采用db2小波函数对裁剪下来的人脸图像进行小波分解；

第五步，将小波分解得到的一级逼近图像划分为互不重叠且具有特定大小的多个图像子块；

第六步，应用LBP算子计算各图像子块的局部二值模式，得到各图像子块的LBP图谱；

第七步，对各图像子块的LBP图谱进行直方图统计，得到各图像子块LBP直方图序列；

第八步，将所有图像子块的LBP直方图序列串接在一起，合成一个直方图序列，作为对应人脸图像的特征向量，记为y_i，其中下标i表示对应人脸图像的序号；采用改进的近邻分类算法对上述得到的人脸图像特征向量进行分类识别。

4.如权利要求3所述的多视角取像人脸识别的方法，其特征在于，第八步的具体步骤如下：

第一步，将每一个特征向量y_i分别与已知类别人脸样本的特征向量y′_i进行比对，按如下公式计算二者之间的相似度s：

$s=1-\frac{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{(y_{\mathrm{ij}}-y_{\mathrm{ij}}^{\′})}^2}{\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{\left(y_{\mathrm{ij}}^{\′}\right)}^2}$

上式中，y_ij和y′_ij分别表示y_i和y′_i的第j个分量，m表示y′_ij的分量总数，注意y_ij和y′_ij的分量总数是相同的；

第二步，在0到1之间选择一个合适的数值作为相似度阈值t，例如选择相似度阈值t=0.5，在具体实施中，若希望减小误识率，而对拒识率要求较为宽松，则可以选择较大的数值作为阈值；若希望减小拒识率，而对误识率要求较为宽松，则可以选择较小的数值作为阈值；若希望误识率和拒识率都比较小，则需要选择一个折中的数值作为阈值；

第三步，对所提取的每一个人脸图像，分别找出满足相似度s＞t的已知类别样本，即相似样本，将所提取的所有人脸图像的相似样本合并在一起构成一个相似样本集，然后对相似样本集中各样本的所属类别进行统计，将出现次数最多的类别作为最终的分类识别结果，即判定当前被采集者的人脸图像属于出现次数最多的类别，若不存在满足相似度s＞t的已知类别样本，则拒绝此次识别，即判定当前被采集者的人脸图像属于未知类别。

5.一种多视角取像人脸识别的装置，其特征在于，该多视角取像人脸识别的装置包括：计算机、摄像机、光学反射装置；

计算机连接摄像机，摄像机与光学反射装置的反射面相对设置。

6.如权利要求5所述的多视角取像人脸识别的装置，其特征在于，光学反射装置采用光学反射面之间的夹角范围在100度到170度之间设置。

Images