CN101350065B - 基于舌体特征的身份识别方法 - Google Patents

Abstract

本发明提供了一种基于舌体特征的身份识别方法，它包括获取舌像序列以及利用舌像序列中舌头蠕动变化作为活体证据的方法，即将利用舌像序列抽取舌头活体静态特征和舌头蠕动的动态特征相结合进行活体检测的方法，整个系统分为注册和识别两大模块。本发明除了将其动态特征用于活体检测外，还将动态特征与静态特征融合用于识别，并取得了很好的识别效果。本发明的实验测试结果说明了利用舌体特征进行身份识别的可行性。这一发明可用于司法认证以及对识别率要求不高但对活体认证有较高要求的场合，并可在未来的多模态生物特征识别技术中发挥作用。

Description

基于舌体特征的身份识别方法

(一)技术领域

本发明涉及一种基于舌体特征的身份认证方法及系统，属生物特征识别技术领域。

(二)背景技术

传统的身份鉴别方法主要有三种：一种是基于标识物品的(如身份证)：一种是基于特定知识的(如密码)；还有一种是标识物品和特定知识两者的结合。这些方法本身有很多缺陷，身份证可能丢失，也可能被伪造，密码可能忘记，也可能被破解。近年来，基于生物特征识别的智能身份鉴别技术受到越来越广泛的关注。

生物特征识别(Biometrics)就是利用模式识别、图像处理和计算机视觉的方法对人类本身所具有的独一无二的生理特征或行为特征(统称为生物特征)进行可靠的、有效的分析和描述，通过判断这些描述的一致性从而实现自动身份确认的一类技术，通常认为可用来进行鉴别身份的生物特征包括：指纹，掌纹，虹膜，人脸，手形，耳朵，步态，签名等。

随着生物特征识别技术的广泛应用，已有的生物特征在实际应用中存在的问题逐渐暴露出来。比如：指纹及掌纹容易磨损且难于进行活体验证；手形，虹膜以及声音签名都易遭到仿冒；整容及遮挡问题会使人脸识别变得困难。其中如何克服仿冒生物特征带来危害已成为当前生物特征识别领域的巨大挑战。事实上，安全领域越来越高的要求具备防伪及活体验证能力的非接触式生物特征类型。为此，寻找一种新的生物特征识别类型显得尤为重要。

经过长期的观察，我们发现人的舌头可以作为一个新的生物特征载体用于人的身份辨别领域。

入的舌头用于生物特征识别，主要有以下优点：

1)人的舌头具备因人而异的形状，生理纹线(表面沟痕)以及表面纹理。(如图1-15所示)；

2)舌头是人体唯一可外露的内藏器官，可以方便的伸出用于取像、鉴别；

3)根据我们的长期观察，舌头的形状及生理纹线是长期不变的；

4)由于被口腔保护，舌体不易被损伤；

5)舌头的伸缩及无规律的蠕动为活体认证提供了有力的证据，且由于不同人的舌体蠕动的差异，蠕动特征可以用来作为识别的特征。

人的舌体蠕动用于生物特征识别过程中的活体验证，主要有以下优点：

1)舌体蠕动是一种本能的行为，因而利用这种基于主动行为的活体检测要比基于被动受激反应的虹膜活体检测更容易被人接受。

2)舌体蠕动是一种不受意识支配的，无规律随机运动，因而难于仿冒。

3)舌体蠕动幅度有限，在采集舌像过程中不会对舌头的整体形状造成很大影响，因而蠕动对识别的影响可以忽略不计。

4)利用舌头的蠕动的特征进行活体检测，可以使用机器视觉的方法在舌像序列中进行分析，从而避免了附加硬件设备给整个系统带来的成本上升。

尽管舌头相对于其他生物特征载体有如此多的优越性，但目前国际上对舌体的研究尚局限于把舌头作为发声及咀嚼器官进行研究，而没有把相关研究把舌头的诸多特征用于生物特征识别。本发明通过大量实验及相关理论研究，提出了基于舌体的生物特征识别的概念及相关的方法，为生物特征识别大家庭增添了一个充满活力的新成员。

(三)发明内容

本发明的目的在于提供一种融合舌体动态和静态特征用于身份识别以及活体检测的基于舌体特征的身份识别方法。

本发明的目的是这样实现的：它包括获取舌像序列以及利用舌像序列中舌头蠕动变化作为活体证据的方法，即将利用舌像序列抽取舌头活体静态特征和舌头蠕动的动态特征相结合进行活体检测的方法，整个系统分为注册和识别两大模块。舌体动态特征来源于舌体在伸出口腔后本能的蠕动，舌头的静态特征主要是指舌体三维几何特征，舌体表面沟痕以及舌体表面纹理。首先本发明利用图像序列记录舌体动态信息，并利用线性降维方法提取内嵌于高维图像空间的本征低维流形，再利用不同人舌体蠕动图像序列在三维子空间投影位置以及投影数据分布特点的不同，进行身份识别，动态特征和静态特征的融合采用基于匹配分数级别的融合，即动态特征与静态特征分别进行匹配，即分别得到相应的匹配分数，然后利用以下公式加权求得最终匹配分数：S＝w₁S_S+w₂S_D(其中S_S代表静态特征匹配分数，S_D代表动态特征匹配分数)。

本发明还有这样一些技术特征：

1、木发明利用线性降维方法—正交邻域保持投影将高维图像序列空间数据投影至三维可视空间，高维图像空间可以表示为：I＝{I₁，I₂，...，I_N}∈R^m×n，其中N为图像帧数，这一图像序列可以用一个矩阵表示，即X＝[x₁，x₂，...，x_N]∈R^h×N，其中x_i为I_i的向量表示，h＝m×n，线性降维方法的关键即构建一个转移矩阵M，并有该矩阵的特征值对应的特征向量构建投影矩阵V。这一过程可以用如下公式表达： $\left\{\begin{array}{c}\stackrel{\‾}{M}=X(I-W^T)(I-W)X^T\\ Y=V^{T}X(i=\mathrm{1,2},...,N)\end{array}\right.$ 其中W为权矩阵，Y∈R^d×N表示在d(d□h)低维子空间中的数据集；

2、注册阶段，本发明抽取注册人舌体蠕动特征，即蠕动在子空间中分布的参数，亦即数据分布的均值和协方差矩阵： $\left\{\begin{array}{c}{\mathrm{\μ}}_j=\frac{\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}{x}_i}{N_j}\\ {\mathrm{\Σ}}_j=\frac{1}{N_j-1}\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}(x_i-{\mathrm{\μ}}_j){(x_i-{\mathrm{\μ}}_j)}^T\end{array}\right.$ 其中，N_j为第j个注册人被采集的舌像数目，在识别阶段利用这些参数的对比进行识别；

1、舌头的静态生理特征主要包括舌体三维几何形状，舌体表面沟痕以及舌体表面纹理，舌体三维几何特征包括舌头宽度，厚度以及舌尖形状，舌体表面沟痕亦称为表面生理纹线，本发明由Gabor滤波器提取舌体表面生理纹线特征，在抽取舌像纹理过程中使用舌像频域图，并在极坐标系(r，θ)下进行分析；

2、舌像频域图图中每个环状区域的能量用如下公式表示： $R_i=\underset{\mathrm{\θ}=0}{\overset{\mathrm{\π}}{\mathrm{\Σ}}}\underset{r=K(i-1)}{\overset{\mathrm{Ki}}{\mathrm{\Σ}}}{I}_f(r,\mathrm{\θ})$ i＝1，2，...K，其中I_f为舌像频域图，K表示积分域，R_i为R特征，每个扇形区域的能量用如下公式表示： ${\mathrm{\Θ}}_i=\underset{\mathrm{\θ}=\mathrm{\π}(i-1)/M}{\overset{\mathrm{i\π}/M}{\mathrm{\Σ}}}\underset{r=0}{\overset{L}{\mathrm{\Σ}}}{I}_f(r,\mathrm{\θ})$ i＝1，2，...M，其中L表积分域，M为扇形区域个数，Θ_i为Θ特征，本发明在识别阶段，R特征、Θ特征分别进行对比。

本发明涉及一种利用舌体特征进行人的身份识别的方法，属生物特征识别技术领域。现有生物特征识别系统普遍面临被仿冒攻击的挑战，人的舌头特征作为一种可用于身份识别的新的生物特征不仅提供了一般生物特征所具有的静态特征，而且提供了一种独有的动态特征。其中，所谓舌体静态特征，主要指舌头的三维几何形状，表面沟痕，以及表面纹理。而动态特征是指舌头在伸出口腔后的本能的蠕动。本发明抽取舌体蠕动特征的方法及相关参数，利用的舌体蠕动数据在子空间中分布参数(均值及方差)用于鉴别来自不同人的不同舌体。本发明除了将其动态特征用于活体检测外，还将动态特征与静态特征融合用于识别，并取得了很好的识别效果。本发明的实验测试结果说明了利用舌体特征进行身份识别的可行性。这一发明可用于司法认证以及对识别率要求不高但对活体认证有较高要求的场合，并可在未来的多模态生物特征识别技术中发挥作用。

(四)附图说明

图1-15说明了舌体因入而异的特点，其中图1-4为舌头正面差异示意图，图5-7为舌头侧面差异示意图，图8-11为舌头表面沟痕差异示意图，图12-15舌头表面纹理差异；

图16是本发明的系统说明图；

图17-18说明了舌体蠕动三维子空间中处于无规律的随机分布；

图19说明舌体沟痕特征抽取过程所感兴趣的区域；

图20-21说明了在纹理频域图中区域分割方法；

图22在识别模式下测试结果的识别率曲线图；

图23在认证模式下测试结果的ROC(Receiver Operating Characteristic，接收操作特征)曲线图。

(五)具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明：

本实施例提供了一种融合舌体动态和静态特征用于身份识别以及活体检测的方法。以该方法为基础的系统描述如图16所示，整个系统分为注册和识别两大模块。舌体动态特征来源于舌体在伸出口腔后本能的蠕动，舌头的静态特征主要是指舌体三维几何特征，舌体表面沟痕以及舌体表面纹理。

1、动态特征：

(a)本发明利用图像序列记录舌体动态信息，并利用线性降维方法提取内嵌于高维图像空间的本征低维流形。本发明利用线性降维方法—正交邻域保持投影(OrthogonalNeighborhood Preserving Projections，ONPP)将高维图像序列空间数据投影至三维可视空间。高维图像空间可以表示为：I＝{I₁，I₂，...，I_N}∈R^m×n，其中N为图像帧数。这一图像序列可以用一个矩阵表示，即X＝[x₁，x₂，...，x_N]∈R^h×N，其中x_i为I_i的向量表示，h＝m×n。ONPP的关键即构建一个转移矩阵M，并有该矩阵的特征值对应的特征向量构建投影矩阵V。这一过程可以用如下公式表达： $\left\{\begin{array}{c}\stackrel{\‾}{M}=X(I-W^T)(I-W)X^T\\ Y=V^{T}X(i=\mathrm{1,2},...,N)\end{array}\right.$ 其中W为权矩阵，Y∈R^d×N表示在d(d□h)低维子空间中的数据集。在活体检测阶段，如图17-18所示，舌头图像序列映射到三维子空间时，呈无序随机排列，而非活体舌头的静止图像序列是无法得到这种子空间中的数据集的。依据这一现象可以对活体检测做出定性判断。

(b)利用不同人舌体蠕动图像序列在三维子空间投影位置以及投影数据分布特点的不同，进行身份识别。在注册阶段，本实施例抽取注册人舌体蠕动特征，即蠕动在子空间中分布的参数，亦即数据分布的均值和协方差矩阵： $\left\{\begin{array}{c}{\mathrm{\μ}}_j=\frac{\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}{x}_i}{N_j}\\ {\mathrm{\Σ}}_j=\frac{1}{N_j-1}\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}(x_i-{\mathrm{\μ}}_j){(x_i-{\mathrm{\μ}}_j)}^T\end{array}\right.$ 其中，N_j为第j个注册人被采集的舌像数目。在识别阶段即可利用这些参数的对比进行识别。

2、静态特征：

舌头的静态生理特征主要包括舌体三维几何形状，舌体表面沟痕以及舌体表面纹理。

a)舌体三维几何特征：舌头宽度，厚度以及舌尖形状。

b)舌体表面沟痕(抑或称其为表面生理纹线)：由于舌体沟痕主要集中于舌头中部，本发明所提供的方法提取舌像中部进行生理纹线的分析。提取区域如图19所示。由Gabor滤波器提取舌体表面纹线特征。

c)舌体表面纹理：本实施例在抽取舌像纹理过程中使用舌像频域图，并在极坐标系(r，θ)下进行分析。如图20所示，图中每个环状区域的能量可用如下公式表示： $R_i=\underset{\mathrm{\θ}=0}{\overset{\mathrm{\π}}{\mathrm{\Σ}}}\underset{r=K(i-1)}{\overset{\mathrm{Ki}}{\mathrm{\Σ}}}{I}_f(r,\mathrm{\θ})$ i＝1，2，...K，其中I_f为舌像频域图，K表示积分域，R_i为R特征。同时，图21每个扇形区域的能量可用如下公式表示： ${\mathrm{\Θ}}_i=\underset{\mathrm{\θ}=\mathrm{\π}(i-1)/M}{\overset{\mathrm{i\π}/M}{\mathrm{\Σ}}}\underset{r=0}{\overset{L}{\mathrm{\Σ}}}{I}_f(r,\mathrm{\θ})$ i＝1，2，...M，其中L表积分域，M为扇形区域个数，Θ_i为Θ特征。在识别阶段，R特征、Θ特征分别进行对比。

3、特征融合：

动态特征和静态特征的融合采用基于匹配分数级别的融合，即动态特征与静态特征分别进行匹配，即分别得到相应的匹配分数，然后利用以下公式加权求得最终匹配分数：S＝w₁S_S+w₂S_D(其中S_S代表静态特征匹配分数，S_D代表动态特征匹配分数)。

测试结果

为了测试本发明所提出的方法效果，本实施例在“识别”和“认证”两种模式下，利用五种不同的特征表达方式对该方法进行测试，即：三维几何特征，舌体表面沟痕特征，舌体表面纹理特征，舌体蠕动特征单独输入以及这四种特征的融合。以下给出相应的测试结果。

1)在“识别”模式下，92个入的舌像被用来测试，一级识别率融合方式最高为95.6％，而其他四种分别为89.3％，79.4％，72.5％和71％。如图22所示。

2)在“认证”模式下，102个人的舌像用来测试，等误率以融合方式最低，为4.1％，而其他四种分别为9.6％，15.2％，19.1％和20.4％。如图23所示。

在实际系统中，采集的舌象图像的大小为720*576个像素，且在采集过程中可以调节摄像机的焦距，保证每张舌象的高度占有整个图像的80％以上，以便有效的利用设备获取更多的信息。通过这样的方式保证每张图像中舌体的高度占有460个像素以上，可以实现本发明的技术效果。

由以上实验结果可以看出，本发明所提出的方法为基础的人身份识别系统可以提供令人满意的效果，其识别率和等误率均可与现有的三维掌形等生物特征识别方法相媲美。

Claims (1)

1.一种基于舌体特征的身份识别方法，其特征在于：

动态特征提取：

(a)舌体动态特征来源于舌体在伸出口腔后本能的蠕动，利用图像序列记录舌体动态信息，并利用线性降维方法提取内嵌于高维图像空间的本征低维流形，利用线性降维方法-正交邻域保持投影Orthogonal Neighborhood PreservingProjections，ONPP，将高维图像序列空间数据投影至三维可视空间，高维图像空间可以表示为：I＝{I₁，I₂，...，I_N}∈R^m×n，其中N为图像帧数，这一图像序列可以用一个矩阵表示，即X＝[x₁，x₂，...，x_N]∈R^h×N，其中X_i为I_i的向量表示，h＝m×n，ONPP的关键即构建一个转移矩阵

并有该矩阵的特征值对应的特征向量构建投影矩阵V，这一过程可以用如下公式表达： $\left\{\begin{array}{c}\stackrel{\‾}{M}=X(I-W^T)(I-W)X^T\\ Y=V^{T}X(i=\mathrm{1,2},...,N)\end{array}\right.$ 其中W为权矩阵，Y∈R^d×N表示在d(d□h)低维子空间中的数据集，在活体检测阶段，舌头图像序列映射到三维子空间时，呈无序随机排列，而非活体舌头的静止图像序列是无法得到这种子空间中的数据集的，依据这一现象可以对活体检测做出定性判断；

(b)利用不同人舌体蠕动图像序列在三维子空间投影位置以及投影数据分布特点的不同，进行身份识别，在注册阶段，抽取注册人舌体蠕动特征，即蠕动在子空间中分布的参数，亦即数据分布的均值和协方差矩阵：

$\left\{\begin{array}{c}{\mathrm{\μ}}_j=\frac{\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}{x}_i}{N_j}\\ {\mathrm{\Σ}}_j=\frac{1}{N_j-1}\underset{i=1}{\overset{N_j}{\mathrm{\Σ}}}(x_i-{\mathrm{\μ}}_j){(x_i-{\mathrm{\μ}}_j)}^T\end{array}\right.$ 其中，N_j为第j个注册人被采集的舌像数目，在识别阶段即可利用这些参数的对此进行识别；

静态特征提取：

舌头的静态生理特征主要包括舌体三维几何形状，舌体表面沟痕以及舌体表面纹理，

(a)舌体三维几何特征：舌头宽度，厚度以及舌尖形状；

(b)舌体表面沟痕，或称其为表面生理纹线：由于舌体沟痕主要集中于舌头中部，提取舌像中部进行生理纹线的分析，由Gabor滤波器提取舌体表面纹线特征；

(c)舌体表面纹理：抽取舌像纹理过程中使用舌像频域图，并在极坐标系(r，θ)下进行分析，每个环状区域的能量可用如下公式表示：

i＝1，2，...K，其中I_f为舌像频域图，K表示积分域，

我们称R_i为R特征，每个扇形区域的能量可用如下公式表示：

i＝1，2，...M，其中L表积分域，M为扇形区域个数，

我们称Θ_i为Θ特征，在识别时，R特征、Θ特征分别进行对比；

特征融合：

动态特征和静态特征的融合采用基于匹配分数级别的融合，即动态特征与静态特征分别进行匹配，即分别得到相应的匹配分数，然后利用以下公式加权求得最终匹配分数：S＝w₁S_S+w₃S_D，其中S_S代表静态特征匹配分数，S_D代表动态特征匹配分数，w₁和w₂分别表示静态特征匹配分数S_S和动态特征匹配分数S_D的加权系数。

Images