CN112183202B - 一种基于牙齿结构特征的身份认证方法及装置 - Google Patents

Abstract

本发明公开了一种基于牙齿结构特征的身份认证方法及装置，其中方法包括：采集身份待认证人员露出牙齿的人脸图像，从中提取上半部分牙齿的下边缘线和下半部分牙齿的上边缘线；提取每个边缘线的以下任意一类或多类细粒度特征：每颗牙齿的基本特征、每个相邻牙齿组的扩展特征、每两个邻接点距离构成的全局特征、边缘线的形状；所述邻接点是指相邻两颗牙齿的连接点；根据细粒度特征计算身份待认证人员与已注册用户之间的相似度，若相似度大于相似度阈值则身份认证成功，否则身份认证失败。本发明的成本低，识别准确性好，安全度高。

Description

一种基于牙齿结构特征的身份认证方法及装置

技术领域

本发明涉及信息安全技术领域，具体涉及一种基于牙齿结构特征的身份认证方法及装置。

背景技术

手机提供的日常应用功能丰富，为人们的生活提供了便捷的服务，但这些应用记录了大量的用户隐私数据，例如个人健康记录，网上银行支付记录和购物记录等。用户身份验证是保护隐私数据不被泄露的重要途径。安全性和高效性是用户认证系统设计和搭建的目标，这促进着当前一系列的研究不断地完善。

现存的用户认证系统主要有人脸识别、指纹识别、语音识别及虹膜识别等。然而，这些用户认证系统已经被安全领域的学者证明是易受攻击的。例如，指纹薄膜可以欺骗指纹传感器，特制眼镜可以欺骗虹膜识别，声码器可以仿造用户的声音以及人脸3D面具可以破解人脸识别系统。虽然最新的人脸识别系统FaceID实现了较高的安全性及高效性，但是该系统使用了多种专用传感器(环境光传感器、距离感应器、红外镜头、泛光感应元件和点阵投影器等)，这使手机的成本增加了至少5％。在大多数的手机中，并不存在这些特殊的传感器。因此，提出一种新的应用于智能设备且安全、高效、低成本的身份认证系统是十分重要的。

发明内容

有鉴于此，本发明提供一种基于牙齿结构特征的身份认证方法及装置，其成本低，准确性好，安全度高。

为实现上述技术目的，本发明采用如下技术方案：

一种基于牙齿结构特征的身份认证方法，包括以下步骤：

步骤1，采集身份待认证人员露出牙齿的人脸图像，从中提取上半部分牙齿的下边缘线和下半部分牙齿的上边缘线；

步骤2，根据步骤1得到的上边缘线和下边缘线，提取每个边缘线的以下任意一类或多类细粒度特征：第i(i＝1，2，…，n)颗牙齿的基本特征BF、第i(i＝1，2，…，n-1)个相邻牙齿组的扩展特征EF、每两个邻接点距离构成的全局特征GFT、边缘线的形状EEL；其中，n表示边缘线包括的牙齿颗数，所述邻接点是指相邻两颗牙齿的连接点；

步骤3，根据细粒度特征计算身份待认证人员与已注册用户之间的相似度，若相似度大于相似度阈值则身份认证成功，否则身份认证失败。

在更优的技术方案中，所述牙齿的基本特征BF包括以下任意一个或多个细粒度特征：牙齿的子边缘线P、牙齿的两个邻接点之间距离D、牙齿的宽度W；

所述相邻牙齿组的扩展特征EF包括以下任意一个或多个细粒度特征：相邻牙齿组的扩展边缘线EP、相邻牙齿组的最外侧两个邻接点之间扩展距离ED、相邻牙齿组的扩展宽度ED；其中，每相邻的2颗牙齿均可作为1个相邻牙齿组。

在更优的技术方案中，在步骤3根据细粒度特征计算相似度时，首先针对步骤2提取的每个细粒度特征，分别计算身份待认证人员与已注册用户之间的子相似度；然后根据每个细粒度特征的权重以及对应计算得到的子相似度，综合计算身份待认证人员与已注册用户之间的整体相似度，进而将整体相似度与相似度阈值比较进行身份认证。

在更优的技术方案中，每个细粒度特征的权重，通过采用随机森林方法进行分配，具体为：

按照步骤1和步骤2相同方法获取若干人员的细粒度特征，其中部分人员的细粒度特征作为袋内训练样本，其余人员的细粒度特征作为袋外测试样本；

根据袋内训练样本生成K棵决策树，进而构建随机森林f；使用袋外训练样本输入至随机森林f进行身份认证，得到随机森林f的分类误差err_f，

向每个袋外测试样本的第j(j＝1，2，…，J)个细粒度特征添加随机噪声，然后将得到的袋外样本输入至随机森林f进行身份认证，并统计随机森林f中每棵决策树的分类误差其中J表示细粒度特征的数量，k表示决策树的编号，k＝1，2，…，K；

根据决策树的分类误差计算第j(j＝1，2，…，J)个细粒度特征的权重w_j：

式中，FIW_j是指第j个特征的重要性。

在更优的技术方案中，在步骤1采集到人脸图像后，使用Dlib库追踪人脸标识点，并根据标识点的位置切割出嘴巴区域子图像，然后从嘴巴区域子图像中提取上半部分牙齿的下边缘线和下半部分牙齿的上边缘线。

在更优的技术方案中，在步骤1提取边缘线之前，根据嘴巴区域子图像进行攻击检测；若攻击检测结果为未受到外界攻击，则继续提取牙齿的边缘线；否则，身份认证失败，退出身份认证。

在更优的技术方案中，所述攻击检测包括外力攻击检测，具体为：

(1)步骤1的采集人脸图像，具体从L个连续的不同角度，采集身份待认证人员露出牙齿的L张人脸图像，进而得到L个角度连续的嘴巴区域子图像；

(2)计算每两个角度相邻的嘴巴区域子图像之间的欧几里得距离差：

其中，σ_l表示第l个、第l+1个嘴巴区域子图像之间的欧几里得距离差；ed_i(l)、ed_i(l+1))分别表示第l个、第l+1个嘴巴区域子图像在第i个标识点对的欧几里得距离，Num表示嘴巴区域子图像中的标识点对个数；

(3)将第l个欧几里得距离差转换为第l个欧几里得距离差相对变化量

(4)根据所有L-1个欧几里得距离差相对变化量构成的集合与预设连续性阈值进行比较，若超过预设连续性阈值则认为当前采集的人脸图像受到外力攻击，若未超过预设连续性阈值则认为当前采集的人脸图像未受到外力攻击。

在更优的技术方案中，所述攻击检测包括图像欺骗和视频重放攻击检测，具体为：

(1)在步骤1中，采集身份待认证人员的多张人脸图像，进而得到多张嘴巴区域子图像；

(2)计算每张嘴巴区域子图像的LBP纹理值，再取均值得到LBP纹理均值；

(3)根据LBP纹理均值，计算身份待认证人员与已注册用户之间的皮尔斯相似性；

(4)若计算得到的皮尔斯相似性大于预设皮尔斯相似性阈值，则认为当前采集的人脸图像未受到图像欺骗和视频重放攻击；否则认为当前采集的人脸图像受到图像欺骗和视频重放攻击。

在更优的技术方案中，系统内存储有注册用户由多个角度采集得到的多张嘴巴区域子图像；

在步骤3计算相似度之前，在系统内查找与身份待认证人员的嘴巴区域子图像之间角度最接近的一张嘴巴区域子图像λ，查找方法为：

式中，表示身份待认证人员的嘴巴区域子图像中第j个标识点对的欧几里得距离归一值，/>表示身份待认证人员的嘴巴区域子图像所有标识点对的欧几里得距离归一值构成的ED向量；/>表示系统内存储的第i张嘴巴区域子图像中第j个标识点对的欧几里得距离归一值，/>表示系统内存储的第i张嘴巴区域子图像所有标识点对的欧几里得距离归一值构成的ED向量，S表示系统内存储的所有嘴巴区域子图像构成的集合；Num表示嘴巴区域子图像中的标识点对个数；

在步骤3计算相似度时，角度最接近的一张嘴巴区域子图像λ，按步骤1和步骤2提取其细粒度特征，然后计算其与身份待认证人员的细粒度特征之间的相似度，即为身份待认证人员与已注册用户之间的相似度；

或者，

系统内存储有注册用户由多个角度采集得到的多张嘴巴区域子图像提取得到的细粒度特征；

在步骤3计算相似度之前，在系统内查找与身份待认证人员的嘴巴区域子图像之间角度最接近的一张嘴巴区域子图像λ，查找方法为：

式中，表示身份待认证人员的嘴巴区域子图像中第j个标识点对的欧几里得距离归一值，/>表示身份待认证人员的嘴巴区域子图像所有标识点对的欧几里得距离归一值构成的ED向量；/>表示系统内存储的第i张嘴巴区域子图像中第j个标识点对的欧几里得距离归一值，/>表示系统内存储的第i张嘴巴区域子图像所有标识点对的欧几里得距离归一值构成的ED向量，S表示系统内存储的所有嘴巴区域子图像构成的集合；Num表示嘴巴区域子图像中的标识点对个数；

在步骤3计算相似度时，取角度最接近的一张嘴巴区域子图像λ所对应的细粒度特征，然后计算其与身份待认证人员的细粒度特征之间的相似度，即为身份待认证人员与已注册用户之间的相似度。

本发明还提供一种基于牙齿结构特征的身份认证装置，包括：

边缘线提取模块，用于：采集身份待认证人员露出牙齿的人脸图像，从中提取上半部分牙齿的下边缘线和下半部分牙齿的上边缘线；

细粒度特征提取模块，用于：根据边缘线提取模块得到的上边缘线和下边缘线，提取每个边缘线的以下任意一类或多类细粒度特征：第i(i＝1，2，…，n)颗牙齿的基本特征BF、第i(i＝1，2，…，n-1)个相邻牙齿组的扩展特征EF、第i(i＝1，2，…，n+1)个邻接点的全局特征GFT、边缘线的形状EEL；其中，n表示边缘线包括的牙齿颗数，所述邻接点是指相邻两颗牙齿的连接点；

身份认证模块，用于：根据细粒度特征计算身份待认证人员与已注册用户之间的相似度，若相似度大于相似度阈值则身份认证成功，否则身份认证失败。

有益效果

本发明具有以下优点：

(1)固有的牙齿结构在3维空间中具有唯一性，本发明首次提出基于牙齿结构边缘特征进行身份认证，可以牙齿边缘特征在不使用时通常被嘴唇覆盖，增加了攻击者复制用户牙齿结构特征的难度，认证安全性高；(2)基于标识点距离比的角度判断策略，可以有效的完成图像的匹配；(3)大多数人都有相对稳定的牙齿结构，因此本发明适用范围广；(4)易于使用，当用户略微抬起嘴唇时，智能设备均可以轻松采集到用户露出牙齿边缘的人脸图像，用于进一步提取牙齿边缘线；(5)人的牙齿具有独特的3D结构，不同的拍摄角度获得的牙齿图像都是不同的，本发明在进行身份认证时连续采集用户不同角度的多张牙齿图像，多张图像包含的特征体现了牙齿的独特3D结构，通过多角度图像计算相似度均值，提高身份认证的准确精度。；(6)适用于已普遍使用的智能手机，而不需要使用定制或者昂贵的传感器即可完成图像采集。

附图说明

图1：本发明实施例所述方法的流程图；

图2：本发明实施例所述的采集人脸图像的使用示意图；

图3：本发明实施例提取的牙齿结构边缘线；

图4：本发明实施例所述的使用Dlib库检测嘴巴区域标识点的示意图；

图5：本发明实施例所述的正常认证与外力攻击认证的数据相对距离示意图；

图6：本发明实施例所述的10个志愿者数据相对距离示意图；

图7：本发明实施例所述的纹理特征值示意图；

图8：本发明实施例所述的牙齿结构的四类细粒度特征；

图9：本发明实施例所述的特征重要性权重示意图；

图10：本发明实施例所述的数据相似度与拍摄角度偏差关系示意图；

图11：本发明实施例得到的拍摄距离对系统性能的影响；

图12：本发明实施例得到的光照强度对系统性能的影响；

图13：本发明实施例得到的用户状态对系统性能的影响。

具体实施方式

下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。

本实施例提供一种基于牙齿结构特征的身份认证方法，参照图1所示，包括以下步骤：

步骤1，采集身份待认证人员露出牙齿的人脸图像，从中提取上半部分牙齿的下边缘线和下半部分牙齿的上边缘线。

步骤1.1，在本实施例中，身份待认证人员露出牙齿，露出牙齿的数量可根据实际要求设置，可以由身份待认证人员采用智能手机平缓稳定地移动，如图2所示，从-30度至30度的拍摄角度，采集身份待认证人员露出牙齿的L张人脸图像，相邻两张图像在空间域中是连续的；

步骤1.2，在得到L张人脸图像后，使用Dlib库追踪人脸标识点，并根据标识点的位置从每张人脸图像切割出对应的嘴巴区域子图像，进而得到L个角度连续的嘴巴区域子图像；

步骤1.3，在进行一步之前，先根据嘴巴区域子图像进行攻击检测；若攻击检测结果为未受到外界攻击，则继续执行步骤1.4；否则，身份认证失败，退出身份认证；

其中，所述攻击检测包括外力攻击检测，具体为：

(a1)计算每两个角度相邻的嘴巴区域子图像之间的欧几里得距离差：

其中，σ_l表示第l个、第l+1个嘴巴区域子图像之间的欧几里得距离差；ed_i(l)、ed_i(l+1))分别表示第l个、第l+1个嘴巴区域子图像在第i个标识点对的欧几里得距离，Num表示嘴巴区域子图像中的标识点对个数；

在本实施例中，嘴巴区域有20个标识点，如图4所示，每两个标识点之间构成1个标识点对，得到Num＝190个标识点对；

(a2)为了消除相机拍摄距离对σ_l的影响，将第l个欧几里得距离差转换为第l个欧几里得距离差相对变化量

(a3)根据所有L-1个欧几里得距离差相对变化量构成的集合与预设连续性阈值进行比较，若超过预设连续性阈值则认为当前采集的人脸图像受到外力攻击，若未超过预设连续性阈值则认为当前采集的人脸图像未受到外力攻击。

对于合法用户，会随着时间的推移而稍有变化，而另一方面，使用外力强行张开嘴进行认证会在角度相邻图像中引起剧烈变化。如果由于外力而发生突然变化，则/>的值将显着增加并超过经验阈值。

以随机选择的一名志愿者为例，志愿者在外力的作用下张开嘴进行认证。如图5所示，正常身份验证中的值约为1.0且稳定。另一方面，/>的值在外力作用下可以大于2.5。进一步随机选择10名志愿者进行正常身份验证和外力身份验证，结果如图6所示。由此可得，当身份待认证人员在受到外力攻击时，/>的平均值比未受到外力攻击时大得到。对于这十名志愿者，系统将阈值设置为1.5检测图像连续性以应对外力攻击；其中，对于不同用户可设置单独的连续性阈值。假设某用户在身份注册时，计算其L-1个欧几里得距离差相对变化量构成的集合/>根据正态分布的属性，可以将该用户的连续性阈值设置为μ+γ，μ，γ分别为S_σ的平均值和方差。

所述攻击检测包括图像欺骗和视频重放攻击检测，本实施例采用了基于局部二值模式的纹理特征来检测图像欺骗和视频重放攻击。理由是，与直接从人类用户捕获的合法身份验证图像相比，从图像攻击或从视频攻击捕获的图像缺少结构化光；而且这两类图像之间的颜色，亮度，饱和度等均不同，而以上差异可以通过纹理功能捕获。由于LBP对拍摄角度的鲁棒性和较低的计算复杂性，它被广泛的应用于提取纹理特征。本实施的图像欺骗和视频重放攻击检测，具体为：

(b1)计算每张嘴巴区域子图像的LBP纹理值，再取均值得到LBP纹理均值；

以嘴巴区域子图像中的像素(x_c，y_c)为例来说明LBP值的计算。选择像素(x_c，y_c)作为半径为R的圆的中心，然后计算像素(x_c，y_c)的LBP值：

其中，N是圆中不包括中心像素(x_c，y_c)的其他像素点数，g_c是中心点的灰度值。g_n表示圆中其他像素的灰度值，Sgn是符号函数。通过符号函数，我们获得N个二进制值(0，1)，每个值对应于圆内任意单个像素点与(x_c，y_c)之间的灰度值比较结果。通过将N二进制值的序列转换为一个十进制值，我们获得了中心点(x_c，y_c)的LBP值。例如，如果圆中的8个像素为我们提供了二进制序列{0，0，0，0，1，0，1，0}，则该点当前的LBP值为80(2^4+2^6＝80)。LBP值在(0，255)范围内。需要强调的是，一个圆中有N个像素点，在LBP计算中，哪个像素点被选为序列中的第一个像素至关重要。如果我们更改起始像素，同时保持顺序从{0，0，0，0，1，0，1，0}到{0，0，0，0，0，1，0，1}，LBP值变为160(2^5+2^7＝160)。当图像的相机拍摄角度改变时，序列中的开始像素也会相应改变。换句话说，当摄像机角度改变时，LBP值改变。我们通过计算所有N个可能的起始像素来消除相机角度的影响，并使用公式(4)选择一个达到最小值的像素。在应用公式(4)之后，我们寻找当前序列的最小LBP值{1，0，1，0，0，0，0，0}，即5。

由上述LBP纹理值计算方法，即可得到L张嘴巴区域子图像每个像素点的LBP纹理值，再取均值得到嘴巴区域子图像的LBP纹理均值。

(b2)根据LBP纹理均值，计算身份待认证人员与已注册用户之间的皮尔斯相似性。

(b3)若计算得到的皮尔斯相似性大于预设皮尔斯相似性阈值，则认为当前采集的人脸图像未受到图像欺骗和视频重放攻击；否则认为当前采集的人脸图像受到图像欺骗和视频重放攻击。

图7显示了正常身份验证和从图像/视频欺骗中获取的牙科图像的平均LBP值直方图，其LBP纹理值的分布差异很大。在认证阶段，如果认证图像和注册图像之间的纹理特征的相似度值大于预定阈值，则用户可以通过认证，即未受到图像欺骗和视频重放攻击。

在进一步基于牙齿结构进行身份认证之前，本实施例先通过将相邻图像的连续性与基于LBP的纹理功能相结合，可以抵抗外力攻击，有效地检测图像和视频欺骗。

步骤1.4，使用Sobel算子对嘴巴区域子图像中的牙齿边缘结构进行检测，从嘴巴区域子图像中提取上半部分牙齿的下边缘线和下半部分牙齿的上边缘线，如图3所示。

步骤2，根据步骤1得到的上边缘线和下边缘线，提取每个边缘线的以下任意一类或多类细粒度特征：第i(i＝1，2，…，n)颗牙齿的基本特征BF、第i(i＝1，2，…，n-1)个相邻牙齿组的扩展特征EF、每两个邻接点距离构成的全局特征GFT、边缘线的形状EEL；其中，n表示边缘线包括的牙齿颗数，所述邻接点是指相邻两颗牙齿的连接点；

所述牙齿的基本特征BF包括以下任意一个或多个细粒度特征：牙齿的子边缘线P、牙齿的两个邻接点之间距离D、牙齿的宽度W，如图8-1所示；

所述相邻牙齿组的扩展特征EF包括以下任意一个或多个细粒度特征：相邻牙齿组的扩展边缘线EP、相邻牙齿组的最外侧两个邻接点之间扩展距离ED、相邻牙齿组的扩展宽度ED；其中，每相邻的2颗牙齿均可作为1个相邻牙齿组，如图8-2所示；

所述邻接点的全局特征GFT，可使用距离集合表示为<d_1，2，...，d_1，n+1，d_2，3，...，d_2，n+1，...，d_n，n+1>，如图8-3所示；

所述边缘线的形状EEL是指当前边缘线构成的位置向量，如图8-4所示。

对于上半部分牙齿，可以表示为T＝{T₁，T₂，...T_n}，其中n是牙齿数，T_i表示第i个牙齿。每个牙齿的相应牙齿边缘线表示为EL＝{EL₁，EL₂，...EL_n}，其中EL_i表示第i个牙齿的子边缘线。相应地，n个子边缘线被n+1个邻接点(即相邻两颗牙齿的连接点)分段，分别表示为J＝{J₁，J₂，...J_n，J_n+1}，其中J_i表示第i个邻接点，EL_i被J_i和J_i+1分割。对于牙齿T_i，基本特征可以表示为<P_i，D_i，W_i>。相邻牙齿T_i和T_i+1的扩展特征表示为<EP_i，ED_i，EW_i>。连接点J_i的局部特征可以表示为<d_1，i，d_2，i，...，d_n+1，i>，其中d_ij表示J_i和J_i+1之间的距离，综合所有连接点J_i(i＝1，2，…，n)的局部特征<d_1，i，d_2，i，...，d_n+1，i>，得到全部邻接点的全局特征GFT<d_1，2，...，d_1，n+1，d_2，3，...，d_2，n+1，...，d_n，n+1>。通过标准化这些特征，基本特征<P_i，D_i，W_i>转换为其中/>和/>P_max，D_max和W_max可以计算为：

P_max＝max{P_i|i∈[1，n]}，D_max＝max{D_i|i∈[1，n]}，W_max＝max{W_i|i∈[1，n]}。

通常，在门齿处获得P、D和W的最大值。我们还可以将<EP_i，i+1，ED_i，i+1，EW_i，i+1>以相同的方式转换为此外，<d_1，2，...，d_1，n+1，d_2，3，...，d_2，n+1，...，d_n，n+1>表示的全局特征GFT在距离集合内归一化转换为/>

本实施例中，提取以上四类细粒度特征，且每类细粒度特征均包括其所有个细粒度特征，因此共有J＝8个细粒度特征：牙齿的子边缘线P、牙齿的两个邻接点之间距离D、牙齿的宽度W、相邻牙齿组的扩展边缘线EP、相邻牙齿组的最外侧两个邻接点之间扩展距离ED、相邻牙齿组的扩展宽度ED、全局特征GFT、边缘线的形状EEL。

步骤3，根据细粒度特征计算身份待认证人员与已注册用户之间的相似度，若相似度大于相似度阈值则身份认证成功，否则身份认证失败。

首先针对步骤2提取的每个细粒度特征，分别计算身份待认证人员与已注册用户之间的子相似度；然后根据每个细粒度特征的权重以及对应计算得到的子相似度，综合计算身份待认证人员与已注册用户之间的整体相似度，进而将整体相似度与相似度阈值比较进行身份认证。

设根据每个细粒度特征计算得到的子相似度分别为s₁，s₂，...，s_J，相应细粒度特征的权重分别为w₁，w₂，...，w_J，则整体相似度为：如果整体相似度S_total大一起相似度阈值则身份认证成功，否则身份认证失败。

其中，每个细粒度特征的权重，通过采用随机森林方法进行分配，具体为：

按照步骤1和步骤2相同方法获取若干人员的细粒度特征，其中部分人员的细粒度特征作为袋内训练样本，其余人员的细粒度特征作为袋外测试样本；

根据袋内训练样本生成K棵决策树，进而构建随机森林f；使用袋外训练样本输入至随机森林f进行身份认证，得到随机森林f的分类误差err_f，

向每个袋外测试样本的第j(j＝1，2，…，J)个细粒度特征添加随机噪声，然后将得到的袋外样本输入至随机森林f进行身份认证，并统计随机森林f中每棵决策树的分类误差其中J表示细粒度特征的数量，k表示决策树的编号，k＝1，2，…，K；

根据决策树的分类误差计算第j(j＝1，2，…，J)个细粒度特征的权重w_j：

式中，FIW_j是指第j个特征的重要性。

图9显示了本实施例得到的各细粒度特征的权重分布图。

由于系统内存储有注册用户由多个角度采集得到的多张嘴巴区域子图像，因此，在步骤3计算与已注册用户之间的相似度之前，在系统内查找与身份待认证人员的嘴巴区域子图像之间角度最接近的一张嘴巴区域子图像λ，查找方法为：

式中，表示身份待认证人员的嘴巴区域子图像中第j个标识点对的欧几里得距离归一值，/>表示身份待认证人员的嘴巴区域子图像所有标识点对的欧几里得距离归一值构成的ED向量；/>表示系统内存储的第i张嘴巴区域子图像中第j个标识点对的欧几里得距离归一值，/>表示系统内存储的第i张嘴巴区域子图像所有标识点对的欧几里得距离归一值构成的ED向量，S表示系统内存储的所有嘴巴区域子图像构成的集合；Num表示嘴巴区域子图像中的标识点对个数；其中，欧几里得距离归一值是将欧几里得距离与所有标识点对中的欧几里得距离最大值相比得到。

从而在步骤3计算相似度时，将角度最接近的一张嘴巴区域子图像λ，按步骤1和步骤2提取其细粒度特征，然后计算其与身份待认证人员的细粒度特征之间的相似度。

在系统注册的用户，可以是在系统存储注册用户的嘴巴区域子图像外，也可以直接存储按步骤1和步骤2相同方法提取到的细粒度特征，从而在身份认证进行相似度计算时，不需要再提取细粒度特征，可以直接从系统中提取对应的细粒度特征进行相似度计算，提高身份认证阶段的处理速度。

在更优的实施例进行身份认证时，同样采集身份待认证人员的角度连续的多张人脸图像，按上述方法计算每个嘴巴区域子图像与已注册用户之间的细粒度特征相似度，得到与图像数量相同的细粒度特征相似度，最终取均值作为身份待认证人员与已注册用户之间的细粒度特征相似度，即为身份待认证人员与已注册用户之间的相似度。

为了说明角度估计的效果，本实施例计算了从同一用户获取的两幅图像之间的总相似度得分。如图10所示，当正确地估计摄像机角度时，相似度得分接近1。当角度估计具有5度的误差时，相似度得分下降至0.86。当角度估计的误差为30度时，相似度得分接近0.1。这些结果表明，角度估计的准确性对认证准确性有重要影响。

综上所述，本发明通过图像数据连续性及基于LBP的纹理特征完成了对潜在攻击的检测，包括图像攻击、视频攻击、外力攻击及牙套攻击等；然后通过提取牙齿结构的细粒度特征，进一步对用户进行身份验证；而且，通过拍摄角度的确定，可以更准确地对身份待认证人员进行身份认证。

与上述方法实施例相对应，本发明还提供一种基于牙齿结构特征的身份认证装置实施例，包括：

边缘线提取模块，用于：采集身份待认证人员露出牙齿的人脸图像，从中提取上半部分牙齿的下边缘线和下半部分牙齿的上边缘线；

细粒度特征提取模块，用于：根据边缘线提取模块得到的上边缘线和下边缘线，提取每个边缘线的以下任意一类或多类细粒度特征：第i(i＝1，2，…，n)颗牙齿的基本特征BF、第i(i＝1，2，…，n-1)个相邻牙齿组的扩展特征EF、第i(i＝1，2，…，n+1)个邻接点的全局特征GFT、边缘线的形状EEL；其中，n表示边缘线包括的牙齿颗数，所述邻接点是指相邻两颗牙齿的连接点；

身份认证模块，用于：根据细粒度特征计算身份待认证人员与已注册用户之间的相似度，若相似度大于相似度阈值则身份认证成功，否则身份认证失败。

实施例实验环境和参数设定

本实施例在三星Galaxy A9 Star这款智能手机上进行实验，验证系统可行性和稳定性。数据分析是在带有JetBrains PyCharm 2018软件的台式机上进行的，系统使用智能手机的前置摄像头捕获用户的牙科图像以进行身份验证。一共有20位志愿者年龄从18到52岁，参与了系统的性能评估。我们在三种不同的环境下收集他们的牙科图像，即在所有光源都打开的实验室，在所有光源都打开的会议室和在所有光源都关闭的走廊中。相应的光照强度为200到240lux(I₁)，100到160lux(I₂)和10到50lux(I₃)。我们以-30度至30度的拍摄角度从每个志愿者处收集牙齿图像。相机拍摄距离从20厘米到50厘米不等，这是大多数用户使用智能手机的舒适距离。在每种环境中，每个志愿者都将智能手机握在特定的拍摄距离处，并从不同角度捕获牙科图像。为了提高注册和认证阶段的数据处理速度，我们以矩阵格式存储从每个图像提取的牙齿细粒度特征和相机角度信息。

实验结果显示：

拍摄距离对系统性能的影响。相机和嘴巴之间的拍摄距离可能会影响收集到的牙科图像的质量，我们评估拍摄距离对身份验证准确性的影响。在光强度固定为200到240lux，将摄像机角度固定为-30度至30度。我们在不同的拍摄距离20cm,35cm,50cm下评估系统性能。结果如图11所示，我们可以看到，智能手机和嘴巴之间的距离对身份验证的影响可以忽略不计。原因是我们的系统对每张图片的特征进行了归一化，从而有效减轻了拍摄距离对系统的影响。需要强调的是，我们不会将拍摄距离增加到50厘米以上，因为大多数人使用智能手机的前置摄像头拍摄的距离在50厘米以下。

光强度对系统性能的影响。我们在不同的照明条件下运行系统进行用户身份验证。在I₁，I₂和I₃这三个光强度中，我们分别在一个光照强度下收集的数据训练系统并测试在这三个光强度下的身份验证性能。我们计算系统的认证精度，F-Score，FNR和FPR的平均值，并将结果显示在图12中。低光强度I₃和注册数据与认证数据之间的光强度差会影响认证性能。I₁-I₃，I₂-I₃，I₃-I₃的FNR为5.96％，4.82％和6.04％，大于FNR的整体平均值2.34％。该结果表明，在弱光环境下，系统拒绝的合法用户比例有所增加。FPR值在所有光照强度下都稳定且很小，这意味着光照条件对攻击检测精度的影响很小。

用户状态对系统性能的影响。身份验证时，用户可以处于以下两种状态之一：静态和步行(移动)。为了在步行过程中进行身份验证，前置摄像头收集的牙科图像的质量易受智能手机抖动的影响，并且某些图像可能会模糊。在本节中，我们使用在两种情况下(静态和移动)收集的图像来评估系统性能，光强度为I₁。在两种情况下，不同志愿者之间的认证精确，F-Score，FNR和FPR的平均值如图13所示。与静态方案相比，移动方案的FNR从2.06％提高到5.27％，这表明合法用户拒绝的比例有所提高。原因有两个：(i)在图像收集过程中发生照相机晃动，导致图像质量下降；(ii)相邻图像之间的连续性检测可能会在步行场景中错误地拒绝合法用户，因为标识点之间的欧几里得距离可能会突然改变。请注意，5.27％的FNR不会在很大程度上影响系统的可用性，因为合法用户可以通过多次尝试通过身份验证。

综上所述，本发明能够有效地保证用户身份认证的精度，并且在智能手机中可以得到较好的应用。

以上实施例为本申请的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本申请总的构思的前提下，这些变换或改进都应当属于本申请要求保护的范围之内。

Claims (7)

1.一种基于牙齿结构特征的身份认证方法，其特征在于，包括以下步骤：

步骤1，采集身份待认证人员露出牙齿的人脸图像，从中提取上半部分牙齿的下边缘线和下半部分牙齿的上边缘线；

步骤2，根据步骤1得到的上边缘线和下边缘线，提取每个边缘线的多类细粒度特征：第i(i＝1,2,…,n)颗牙齿的基本特征BF、第i(i＝1,2,…,n-1)个相邻牙齿组的扩展特征EF、每两个邻接点距离构成的全局特征GFT、边缘线的形状EEL；其中，n表示边缘线包括的牙齿颗数，所述邻接点是指相邻两颗牙齿的连接点；

所述牙齿的基本特征BF包括：牙齿的子边缘线P、牙齿的两个邻接点之间距离D、牙齿的宽度W；

所述相邻牙齿组的扩展特征EF包括：相邻牙齿组的扩展边缘线EP、相邻牙齿组的最外侧两个邻接点之间扩展距离ED、相邻牙齿组的扩展宽度ED；其中，每相邻的2颗牙齿均可作为1个相邻牙齿组；

步骤3，根据细粒度特征计算身份待认证人员与已注册用户之间的相似度，若相似度大于相似度阈值则身份认证成功，否则身份认证失败；

在步骤3根据细粒度特征计算相似度时，首先针对步骤2提取的每个细粒度特征，分别计算身份待认证人员与已注册用户之间的子相似度；然后根据每个细粒度特征的权重以及对应计算得到的子相似度，综合计算身份待认证人员与已注册用户之间的整体相似度，进而将整体相似度与相似度阈值比较进行身份认证；

每个细粒度特征的权重，通过采用随机森林方法进行分配，具体为：

按照步骤1和步骤2相同方法获取若干人员的细粒度特征，其中部分人员的细粒度特征作为袋内训练样本，其余人员的细粒度特征作为袋外测试样本；

根据袋内训练样本生成K棵决策树，进而构建随机森林f；使用袋外训练样本输入至随机森林f进行身份认证，得到随机森林f的分类误差err_f，

向每个袋外测试样本的第j(j＝1,2,…,J)个细粒度特征添加随机噪声，然后将得到的袋外样本输入至随机森林f进行身份认证，并统计随机森林f中每棵决策树的分类误差其中J表示细粒度特征的数量，k表示决策树的编号，k＝1,2,…,K；

根据决策树的分类误差计算第j(j＝1,2,…,J)个细粒度特征的权重w_j：

式中，FIW_j是指第j个特征的重要性。

2.根据权利要求1所述的方法，其特征在于，在步骤1采集到人脸图像后，使用Dlib库追踪人脸标识点，并根据标识点的位置切割出嘴巴区域子图像，然后从嘴巴区域子图像中提取上半部分牙齿的下边缘线和下半部分牙齿的上边缘线。

3.根据权利要求2所述的方法，其特征在于，在步骤1提取边缘线之前，根据嘴巴区域子图像进行攻击检测；若攻击检测结果为未受到外界攻击，则继续提取牙齿的边缘线；否则，身份认证失败，退出身份认证。

4.根据权利要求3所述的方法，其特征在于，所述攻击检测包括外力攻击检测，具体为：

(1)步骤1的采集人脸图像，具体从L个连续的不同角度，采集身份待认证人员露出牙齿的L张人脸图像，进而得到L个角度连续的嘴巴区域子图像；

(2)计算每两个角度相邻的嘴巴区域子图像之间的欧几里得距离差：

其中，σ_l表示第l个、第l+1个嘴巴区域子图像之间的欧几里得距离差；ed_i(l)、ed_i(l+1))分别表示第l个、第l+1个嘴巴区域子图像在第i个标识点对的欧几里得距离，Num表示嘴巴区域子图像中的标识点对个数；

(3)将第l个欧几里得距离差转换为第l个欧几里得距离差相对变化量

(4)根据所有L-1个欧几里得距离差相对变化量构成的集合与预设连续性阈值进行比较，若超过预设连续性阈值则认为当前采集的人脸图像受到外力攻击，若未超过预设连续性阈值则认为当前采集的人脸图像未受到外力攻击。

5.根据权利要求3所述的方法，其特征在于，所述攻击检测包括图像欺骗和视频重放攻击检测，具体为：

(1)在步骤1中，采集身份待认证人员的多张人脸图像，进而得到多张嘴巴区域子图像；

(2)计算每张嘴巴区域子图像的LBP纹理值，再取均值得到LBP纹理均值；

(3)根据LBP纹理均值，计算身份待认证人员与已注册用户之间的皮尔斯相似性；

(4)若计算得到的皮尔斯相似性大于预设皮尔斯相似性阈值，则认为当前采集的人脸图像未受到图像欺骗和视频重放攻击；否则认为当前采集的人脸图像受到图像欺骗和视频重放攻击。

6.根据权利要求2所述的方法，其特征在于，系统内存储有注册用户由多个角度采集得到的多张嘴巴区域子图像；

在步骤3计算相似度之前，在系统内查找与身份待认证人员的嘴巴区域子图像之间角度最接近的一张嘴巴区域子图像λ，查找方法为：

式中，表示身份待认证人员的嘴巴区域子图像中第j个标识点对的欧几里得距离归一值，/>表示身份待认证人员的嘴巴区域子图像所有标识点对的欧几里得距离归一值构成的ED向量；/>表示系统内存储的第i张嘴巴区域子图像中第j个标识点对的欧几里得距离归一值，/>表示系统内存储的第i张嘴巴区域子图像所有标识点对的欧几里得距离归一值构成的ED向量，S表示系统内存储的所有嘴巴区域子图像构成的集合；Num表示嘴巴区域子图像中的标识点对个数；

在步骤3计算相似度时，角度最接近的一张嘴巴区域子图像λ，按步骤1和步骤2提取其细粒度特征，然后计算其与身份待认证人员的细粒度特征之间的相似度，即为身份待认证人员与已注册用户之间的相似度；

或者，

系统内存储有注册用户由多个角度采集得到的多张嘴巴区域子图像提取得到的细粒度特征；

在步骤3计算相似度之前，在系统内查找与身份待认证人员的嘴巴区域子图像之间角度最接近的一张嘴巴区域子图像λ，查找方法为：

式中，表示身份待认证人员的嘴巴区域子图像中第j个标识点对的欧几里得距离归一值，/>表示身份待认证人员的嘴巴区域子图像所有标识点对的欧几里得距离归一值构成的ED向量；/>表示系统内存储的第i张嘴巴区域子图像中第j个标识点对的欧几里得距离归一值，/>表示系统内存储的第i张嘴巴区域子图像所有标识点对的欧几里得距离归一值构成的ED向量，S表示系统内存储的所有嘴巴区域子图像构成的集合；Num表示嘴巴区域子图像中的标识点对个数；

在步骤3计算相似度时，取角度最接近的一张嘴巴区域子图像λ所对应的细粒度特征，然后计算其与身份待认证人员的细粒度特征之间的相似度，即为身份待认证人员与已注册用户之间的相似度。

7.一种基于牙齿结构特征的身份认证装置，其特征在于，包括：

边缘线提取模块，用于：采集身份待认证人员露出牙齿的人脸图像，从中提取上半部分牙齿的下边缘线和下半部分牙齿的上边缘线；

细粒度特征提取模块，用于：根据边缘线提取模块得到的上边缘线和下边缘线，提取每个边缘线的多类细粒度特征：第i(i＝1,2,…,n)颗牙齿的基本特征BF、第i(i＝1,2,…,n-1)个相邻牙齿组的扩展特征EF、第i(i＝1,2,…,n+1)个邻接点的全局特征GFT、边缘线的形状EEL；其中，n表示边缘线包括的牙齿颗数，所述邻接点是指相邻两颗牙齿的连接点；

所述牙齿的基本特征BF包括：牙齿的子边缘线P、牙齿的两个邻接点之间距离D、牙齿的宽度W；

所述相邻牙齿组的扩展特征EF包括：相邻牙齿组的扩展边缘线EP、相邻牙齿组的最外侧两个邻接点之间扩展距离ED、相邻牙齿组的扩展宽度ED；其中，每相邻的2颗牙齿均可作为1个相邻牙齿组；

身份认证模块，用于：根据细粒度特征计算身份待认证人员与已注册用户之间的相似度，若相似度大于相似度阈值则身份认证成功，否则身份认证失败；

在根据细粒度特征计算相似度时，首先针对提取的每个细粒度特征，分别计算身份待认证人员与已注册用户之间的子相似度；然后根据每个细粒度特征的权重以及对应计算得到的子相似度，综合计算身份待认证人员与已注册用户之间的整体相似度，进而将整体相似度与相似度阈值比较进行身份认证；

每个细粒度特征的权重，通过采用随机森林方法进行分配，具体为：

获取若干人员的细粒度特征，其中部分人员的细粒度特征作为袋内训练样本，其余人员的细粒度特征作为袋外测试样本；

根据袋内训练样本生成K棵决策树，进而构建随机森林f；使用袋外训练样本输入至随机森林f进行身份认证，得到随机森林f的分类误差err_f，

向每个袋外测试样本的第j(j＝1,2,…,J)个细粒度特征添加随机噪声，然后将得到的袋外样本输入至随机森林f进行身份认证，并统计随机森林f中每棵决策树的分类误差其中J表示细粒度特征的数量，k表示决策树的编号，k＝1,2,…,K；

根据决策树的分类误差计算第j(j＝1,2,…,J)个细粒度特征的权重w_j：

式中，FIW_j是指第j个特征的重要性。