CN101669824B - 基于生物特征识别的人与身份证同一性检验装置 - Google Patents

Abstract

一种基于生物特征识别的人与身份证同一性检验装置，包括用于获取身份证持有者人脸图像的全方位视觉传感器、用于读取第二代身份证内置芯片中的照片信息的身份证阅读器、用于比对存储在第二代身份证内置芯片中的人脸照片图像与通过全方位视觉传感器所获取的人脸图像是否一致的微处理器，微处理器包括读取身份证内的照片图像数据模块；第一人脸检测模块；第一人脸特征提取模块；全景图像读取模块；第二人脸检测模块；图像展开模块；第二人脸特征提取模块；人与个人身份证的生物特征同一性检验模块和决策层表决处理模块。本发明采用生物特征识别技术，能大幅提高身份验证的效率，减少办事人员的工作强度和出错率。

Description

基于生物特征识别的人与身份证同一性检验装置

技术领域

本发明涉及生物特征识别技术，尤其是全方位视觉传感器、第二代居民身份证中所采用的射频技术、全景图像摄取、人脸定位、图像预处理、人脸识别技术在基于生物特征识别的人与身份证同一性检验方面的应用。

背景技术

人脸识别的优势在于其自然性和不被被测个体察觉的特点。不被察觉的特点对于一种识别方法也很重要，这会使该识别方法不令人反感，并且因为不容易引起人的注意而不容易被欺骗。人脸识别是一种更直接、更方便、更友好、更容易被人们接受的非侵犯性识别方法。同样全方位视觉传感器的特色也在于其视角范围大、不需要瞄准目标、隐蔽性好、不会给被测个体以被拍摄人脸图像的感觉，拍摄人脸图像时不容易引起被被测个体的注意，因而具有自然性，这点对于基于人脸的生物特征识别具有十分重要的作用。目前我国的第二代身份证中包括了身份证拥有者的姓名、住址、身份证号码和照片，其中照片就是该身份证拥有者的生物特征。

第二代居民身份证是由公安部依据《中华人民共和国居民身份证法》在全国范围内统一制作、颁发的个人身份证件，人手一证，主要用途是证实居民的合法身份，要求随身携带；身份证中内置射频IC芯片，通过射频阅读设备读取身份信息；采用统一的编码规范、强加密算法，难以仿制，在身份证中所存储的信息只能在证件制作部门的特定环境下才能输入、修改，确保身份证的唯一性和安全性。此外身份证的表面印制了持证人身份信息和彩色高清晰度照片，证件的表面信息与内置存储信息一致，二者相互校验，从而严格限制了证件的冒用和转借。

在银行、海关、机场、车站等这些重要的场所对安全控制有着极高的要求。这些场所传统采用的安全措施是通过安全人员主观的判断一个人是否可能是犯罪分子，然后去盘查其身份，控制其进出。这种方法主观性太强，而且对安全人员个人的要求比较高，要求其要熟悉犯罪分子的长相并且要能迅速的作出判断，这很明显是不现实也是不科学的。所以经常会出现错查、漏查等情况，效率和精度都很低；最大的问题是给所有被测个体带来了不快感、不信任感、不友好感。

个人身份证集聚了多种功能于一身，个人身份证使用频繁，如公民办理户口登记、婚姻登记，办理出入境手续，以及办理金融事务、参加社会保险、领取社会救济、办理产权、邮局取款、办执照、学习考试报名、买股票、打工等等，没有个人身份证已是寸步难行。个人身份证使用频繁，这就客观上要求缩短每次身份证验证的时间，即提高身份证识别真伪的速度，提高识别速度及准确率。

人与个人身份证同一性检验在公安、民政、民航、银行、旅馆、邮局、证券和电信等领域中有广泛的应用；但是目前的人与身份证同一性检验过程中基本上都是在不自然的环境下进行的，具体来说存在着以下几个方面的问题：1)检验人员通过比对个人身份证上的照片和身份证持有者的人脸是否一致，这种做法给身份证持有者带来不信任和不愉快的感觉；2)检验人员毕竟也是人，检验人员的辨识工作量和责任非常大，比如出入境关口，何况人都可能有疏忽和辨识不准确的时候；3)依靠检验人员的通过比对身份证上的照片和身份证持有者的人脸进行身份识别会花费较多的时间，从而导致办事效率的降低；4)第二代身份证的唯一性和安全性没有得到充分利用，如没有很好利用身份证内的生物特征信息，使得仿制身份证有存在的空间；5)没有充分利用证件的表面信息、内置存储信息和证件持有者的生物特征信息，缺少对这三者之间的一致性判定方法。

人脸识别从应用角度来讲，主要可以划分为以下三类情况：1)人脸验证(Verification)；2)人脸辨认(Identification)；3)监控(Watch list)。本发明属于人脸验证，验证结果主要能回答“这是否为某人”。这是一对一的匹配过程。装置首先按照待识别者所声称的身份，如身份证号码，查找出已存储的该人的人脸信息，然后按照某一决策或匹配方法，将这一信息与待识别者的人脸信息进行对比核对，从而判定待识别者身份的真实性，接收或拒绝待识别者声明的身份。在本发明中并没有将人脸验证与人脸识别进行严格区分，这是因为人脸验证属于人脸识别的范畴。

发明内容

为了克服现有的不能有效进行人与身份证同一性检验的不足，本发明充分利用个人身份证件的表面信息、内置存储信息和证件持有者的生物特征信息、加强对个人身份证件在生物特征方面的有效利用水平，本发明提供一种基于生物特征识别的人与身份证同一性检验装置。

本发明解决其技术问题所采用的技术方案是：

一种基于生物特征识别的人与身份证同一性检验装置，包括用于获取身份证持有者人脸图像的全方位视觉传感器、用于读取第二代身份证内置芯片中的照片信息的身份证阅读器、用于比对存储在第二代身份证内置芯片中的人脸照片图像与通过全方位视觉传感器所获取的人脸图像是否一致的微处理器，所述的微处理器包括：

读取身份证内的照片图像数据模块，用于读取个人身份证内所存储的照片，其输出给第一人脸检测模块进行人脸检测；

第一人脸检测模块，用于标出二代身份证人脸图像中人脸在图像中的位置；

第一人脸特征提取模块，用于提取出二代身份证人脸图像中的人脸生物特征，以便为与全方位视觉传感器所获取人脸图像进行比对提供生物特征数据；

全景图像读取模块，用于读取全方位视觉传感器捕获的全景视频图像；

第二人脸检测模块，用于标出在全景视频图像中人脸在图像中的位置；图像展开模块，用于在全景视频图像中截取和展开成与个人身份证相同的人脸图像；

第二人脸特征提取模块，用于提取出透视展开图中人脸图像的人脸生物特征；

人与个人身份证的生物特征同一性检验模块，用于检验身份证的提交者和个人身份证的生物特征相似程度；

决策层表决处理模块，用于对被测人体与身份证同一性多个检测结果进行表决。

所述的全方位视觉传感器包括用以反射车内外领域中物体的外凸折反射镜面、用以防止光折射和光饱和的黑色圆锥体、透明圆柱体和用于拍摄外凸反射镜面上成像体的摄像头，所述的外凸折反射镜面位于透明圆柱体的上方，外凸折反射镜面朝下，黑色圆锥体固定在外凸折反射镜面的底部中央，所述摄像头对着外凸折反射镜面朝上。

所述外凸折反射镜面采用双曲面镜，其工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)；

双曲面镜构成的光学系统由下面5个等式表示；

((X²+Y²)/a²)-(Z²/b²)＝-1其中，Z＞0      (18)

$c=\sqrt{a^2+b^2}---\left(19\right)$

β＝tan^-1(Y/X)                          (20)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ(21)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]---\left(22\right)$

式中X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角，即方位角，α表示入射光线在XZ平面上的夹角，即俯角，f表示成像平面到双曲面镜的虚焦点的距离。

所述的读取身份证内的照片图像数据模块中，通讯协议符合ISO14 443 B标准，同时使用射频模块和专用的SAM_V安全模块，通过SAM_V安全模块对第二代身份证的射频芯片进行外部认证，获取包括姓名、住址、身份证号码和照片在内的文字、图像固定信息。

所述的第一人脸检测模块中，用于标出二代身份证人脸图像中人脸在图像中的位置；采用肤色模型快速地检测出可能的人脸区域，而后用积分投影法定位人脸区域；

人脸检测的算法流程如下：

①根据R、G、B的值计算出Y、Cb、Cr的值，

②对Y亮度分量均值小于40或大于230的过暗或过亮图片进行亮度补偿，

③根据椭圆聚类肤色分割模型分割出肤色区域，得到二值化图像，

④对噪声点用数学形态学的腐蚀和膨胀算子进行去噪处理，

⑤做水平投影和垂直投影，得到最似人脸连通区域，

YCbCr色彩系统是一种常见的重要的颜色空间表达，YCbCr颜色空间与RGB颜色空间的转换关系如下式所示，

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\\ 1\end{array}\right]=\left[\begin{array}{cccc}0.2990& 0.587& 0.1140& 0\\ -0.1687& -0.3313& 0.5000& 128\\ 0.5000& -0.4187& -0.0813& 128\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\\ 1\end{array}\right]---\left(1\right)$

式中，R、G、B分别是某像素点在RGB颜色空间上的红、绿、蓝分量值，从彩色人脸图像上直接读取，Y、Cb、Cr分别是某像素点在YCbCr颜色空间上的亮度值和彩色分量；

椭圆聚类肤色分割模型由公式(2)表示，

$\frac{{(x-{\mathrm{ec}}_x)}^2}{a^2}+\frac{{(y-{\mathrm{ec}}_y)}^2}{b^2}=1---\left(2\right)$

式中：a＝25.39，b＝14.03，ec_x＝1.60，ec_y＝2.41，x，y由公式(3)计算，

$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}\mathrm{Cb}-\mathrm{Cx}\\ \mathrm{Cr}-\mathrm{Cy}\end{array}\right]---\left(3\right)$

式中：θ＝2.53，Cx＝109.38，Cy＝152.02，将上述数据代入公式(2)，如果计算值小于1则是肤色，否则为非肤色；采用非线性分段分割：

1)若Y＜40，则像素点直接判决为非肤色像素点，

2)若40＜Y＜230，则采用上述的椭圆聚类方法判定，

3)若Y＞230，则将上述的肤色聚类椭圆的长、短轴同时扩大1.1倍后再进行判定，即公式(2)中的a、b均乘上1.1；

利用投影分析标出二代身份证人头图像中人脸在图像中的位置，就是人脸快速定位算法，具体处理过程为：将经过消除噪声处理的二值图像进行垂直投影，确定左右边界，再在左右边界区域内进行水平投影，确定上下边界；在原图像中的边界位置画一根线，最终形成一个矩形框，矩形框圈出的即为人脸；

投影法是沿着图像某个方向截面的灰度值累加计算量的集合，垂直投影，即以x轴为投影轴；水平投影，即以Y轴为投影轴；计算公式如(4)所示，

$f\left(x\right)=\underset{y=1}{\overset{\mathrm{height}}{\mathrm{\Σ}}}f(x,y)---\left(4\right)$

$f\left(y\right)=\underset{x=1}{\overset{\mathrm{width}}{\mathrm{\Σ}}}f(x,y)$

其中，f(x，y)是经过去除噪声处理后的二值图像，f(x)是经过去除噪声处理后的二值图像的垂直投影，f(y)是经过去除噪声处理后的二值图像的水平投影，height和width分别是经过去除噪声处理后的二值图像的高度和宽度。

所述的第一人脸特征提取模块中，构造图像的灰度模型的过程为：首先是将彩色身份证人脸图像进行灰度化处理；假设图像中某点像素点(x，y)处R、G、B值分别为r、g、b，要将彩色图像转换为灰度图像，使用灰度变换公式(5)，

gray＝r×0.299+g×0.587+b×0.114(5)

式中，r、g、b分别是二代身份证人脸图像中某一个像素点色彩分量值，gray是该像素点需要设置的灰度值，然后将二代身份证人脸图像中该像素点r、g、b均设置为gray，即gray＝r＝g＝b，经过这样处理的彩色人脸图像成为灰度人脸图像；

采用二维主成分分析识别方式，用矩阵A表示反映身份证内照片的灰度人脸图像，为m×n图像矩阵，这里m和n与公式(4)中的height和width具有相同的值；

将矩阵A分解成p×q模块图像矩阵，如公式(6)表示，

$A=\left[\begin{array}{cccc}{A}_{11}& A_{12}& ...& A_{1q}\\ A_{21}& A_{22}& ...& A_{2q}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ A_{p1}& A_{p2}& ...& A_{\mathrm{pq}}\end{array}\right]---\left(6\right)$

式中，每个子图像矩阵A_kl是m₁×n₁矩阵，p×m₁＝m，q×n₁＝n；

训练图像，即身份证内照片的灰度人脸图像样本的子图像矩阵的总体散布矩阵G用公式(7)表示，

$G=\frac{1}{N}\underset{k=1}{\overset{p}{\mathrm{\Σ}}}\underset{l=1}{\overset{q}{\mathrm{\Σ}}}\left((A_{\mathrm{kl}}-B){(A_{\mathrm{kl}}-B)}^T\right)---\left(7\right)$

式中，N＝pq，表示训练样本子图像矩阵总数，为训练 $B=\frac{1}{N}\underset{k=1}{\overset{p}{\mathrm{\Σ}}}\underset{l=1}{\overset{q}{\mathrm{\Σ}}}{A}_{\mathrm{kl}}$ 身份证图像子矩阵的均值矩阵，G为m₁×m₁非负定矩阵；

取G的d个最大特征值所对应的标准正交特征向量组成的向量组[Z₁，Z₂，…，Z_d]，令Q＝[Z₁，Z₂，…，Z_d]，这时Q为2DPCA意义下的d维特征向量的最优投影矩阵；

将Q矩阵用于身份证内照片的灰度人脸图像特征的提取，对于身份证内照片的灰度人脸图像A矩阵，其对应的特征矩阵用公式(8)表示，

$B=\left[\begin{array}{cccc}{A}_{11}^{T}Q& A_{12}^{T}Q& ...& A_{1q}^{T}Q\\ A_{21}^{T}Q& A_{22}^{T}Q& ...& A_{2q}^{T}Q\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ A_{p1}^{T}Q& A_{p2}^{T}Q& ...& A_{\mathrm{pq}}^{T}Q\end{array}\right]---\left(8\right)$

式中，A_kl ^T身份证内照片的灰度人脸图像的kl子图像矩阵的旋转矩阵，B为身份证内照片的灰度人脸图像的(p×n₁)×(d×q)特征矩阵，其中d≤min(m₁，n₁)，Q为d维特征向量的最优投影矩阵。

所述的第二人脸检测模块，全景图中的人脸检测的算法流程如下：

①根据R、G、B的值计算出Y、Cb、Cr的值，

②对Y(亮度)分量均值小于40或大于230的过暗或过亮图片进行亮度补偿，

③根据椭圆聚类肤色分割模型分割出肤色区域，得到二值化图像，

④对噪声点用数学形态学的腐蚀和膨胀算子进行去噪处理，

⑤利用连通域标识算法对二值图像的8连通域进行标识，

⑥对标识出来的每个连通域进行面积计算，筛选出可能为人脸的连通域，

⑦对得到的连通区域进行人脸确认，确认的判定依据为：人脸像素比例、孔洞数、人脸的像素数、人脸的大致坐标位置、人脸的高宽比，

⑧如果经过确认后存在人脸，则用外接矩形框住人脸，找出矩形框的中心位置，接着提交给图像展开处理模块进行透视展开。

所述的图像展开模块中，用于将读进来的圆形全景视频图像展开成被测个体的脸部信息视频透视投影平面展开图，透视投影平面展开图的大小以及脸部的大小与居民身份证内的照片尺寸相近；

所述的透视投影平面展开图是通过从双曲面的实焦点Om到透视投影坐标原点G引一条距离为D的直线Om-G，与所述Om-G相垂直的平面作为透视投影平面，从点A(X，Y，Z)向着焦点Om的光线在透视投影平面上有一个交点P(X，Y，Z)，通过透视投影平面的坐标点P(i，j)求空间三坐标中的A(X，Y，Z)，得到投影平面与空间三坐标的转换关系，转换关系式用公式(9)来表示：

X＝R*cosβ-i*sinβ(9)

Y＝R*sinβ+i*cosβ

Z＝D*sinγ-j*cosγ

R＝D*cosγ+j*sinγ

式(9)中：D为透视投影平面到双曲面的焦点Om的距离，β角度是入射光线在XY平面上投影的夹角，γ角度是入射光线与双曲面焦点的水平面的夹角，i轴是与XY平面平行的横轴，j轴是与i轴和Om-G轴直角相交的纵轴；透视投影坐标原点G是根据第二人脸检测模块得到人脸部分的中心位置来确定的；人脸透视展开图的高度H和宽度W与公式(4)中所计算出来的height和width相一致。

所述的第二人脸特征提取模块中，对于透视展开的人脸图像矩阵A′同样分解成p×q模块图像矩阵，如公式(10)表示，

$A^{\′}=\left[\begin{array}{cccc}{A}_{11}^{\′}& A_{12}^{\′}& ...& A_{1q}^{\′}\\ A_{21}^{\′}& A_{22}^{\′}& ...& A_{2q}^{\′}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ A_{p1}^{\′}& A_{p2}^{\′}& ...& A_{\mathrm{pq}}^{\′}\end{array}\right]---\left(10\right)$

式中，每个子图像矩阵A′_kl是m₁×n₁矩阵，p×m₁＝m，q×n₁＝n；然后利用在公式(7)中得到的d维特征向量的最优投影矩阵Q，计算透视展开的人脸图像矩阵A′的特征矩阵B′，如公式(11)所示，

$B^{\′}=\left[\begin{array}{cccc}{A}_{11}^{\′T}Q& A_{12}^{\′T}Q& ...& A_{1q}^{\′T}Q\\ A_{21}^{\′T}Q& A_{22}^{\′T}Q& ...& A_{2q}^{\′T}Q\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ A_{p1}^{\′T}Q& A_{p2}^{\′T}Q& ...& A_{\mathrm{pq}}^{\′T}Q\end{array}\right]---\left(11\right)$

所述的人与个人身份证的生物特征同一性检验模块中，用于检验身份证的提交者和个人身份证的生物特征相似程度；根据公式(8)和公式(11)计算所得到的个人身份证中人脸特征矩阵B和透视展开的人脸特征矩阵B′，两者进行相减得到差分矩阵，由公式(12)所示，

$D(B,B^{\′})=\left[\begin{array}{cccc}{(A_{11}-A_{11}^{\′})}^{T}Q& {(A_{12}-A_{12}^{\′})}^{T}Q& ...& {(A_{1q}-A_{1q}^{\′})}^{T}Q\\ {(A_{21}-A_{21}^{\′})}^{T}Q& {(A_{22}-A_{22}^{\′})}^{T}Q& ...& {(A_{2q}-A_{2q}^{\′})}^{T}Q\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ {(A_{p1}-A_{p1}^{\′})}^{T}Q& {(A_{p2}-A_{p2}^{\′})}^{T}Q& ...& {(A_{\mathrm{pq}}-A_{\mathrm{pq}}^{\′})}^{T}Q\end{array}\right]---\left(12\right)$

用Frobenious范数表示个人身份证中人脸特征和透视展开的人脸特征矩阵的距离，计算公式由(13)表示，

dis(B，B′)＝trace((D(B，B′))^TD(B，B′))(13)

式中，dis(B，B′)为Frobenious范数，如果dis(B，B′)小于所规定的值F，就认为个人身份证中人脸特征和透视展开的人脸特征是一致的；该F值的大小由实验来确定。

所述的决策层表决处理模块中，用采用K/n的多数表决方法，既共有n张被识别的图像，如果有K张图像的人脸识别结果相同就判定为该结果；多数表决的方法来确定K/n多数表决系统的最终检验结果PersonID_FAR(K/n)、PersonID_FRR(K/n)和PersonID_accuracy(K/n)；

${\mathrm{PersonID}}_{\mathrm{accuracy}}(K/n)=\underset{i=0}{\overset{K}{\mathrm{\Σ}}}n*C_i*\mathrm{Accurac}{y}^{n-i}*{(1-\mathrm{Accuracy})}^i---\left(17\right)$

式中，Accuracy为某单个检验结果的正确率，PersonID_accuracy(K/n)为K/n多数表决系统的最终检验结果的正确率，C_i是排列组合计算中的符号。

本发明的有益效果主要表现在：1)充分利用了身份证件的表面信息、内置存储信息和证件持有者的生物特征信息，提供了对这三者之间的一致性判定方法；2)采用了全方位视觉传感器使得能在自然环境下被测个体的人脸图像；3)被测个体的生物特征识别完全是自动完成的，具有验证效率高、验证精度高、自动化水平高等优点，能大大提高身份验证的效率，减少办事人员的工作强度和出错率；4)应用领域广，在公安部门可以应用在身份证申领、户口登记迁移、人口管理等方面；在民政部门可以应用在求学、就业、参军、婚姻登记等方面；在民航部门可以应用在机票购买、登机等方面；在银行部门可以应用在开户、信用卡交易、大额取款等方面；在宾馆旅店可以应用在住宿登记等方面；在邮局可以应用在领取邮件汇款等方面；在证券业可以应用在股票、期货交易等方面；在电信业可以应用在电话手机开户、各种通信业务等方面。

附图说明

图1为一种全方位视觉传感器的结构图；

图2为一种基于生物特征识别的人与身份证同一性检验装置；

图3为全方位视觉传感器成像原理说明示意图；

图4为基于生物特征识别的人与身份证同一性检验装置的处理流程框图；

图5为全方位视觉传感器的透视展开原理图；

图6为K/n多数表决系统的框图。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～图6，一种基于生物特征识别的人与身份证同一性检验装置，包括用于获取身份证持有者人脸图像的全方位视觉传感器，用于读取第二代身份证内置芯片中的照片信息的身份证阅读器，用于比对存储在第二代身份证内置芯片中的人脸照片图像与通过全方位视觉传感器所获取的人脸图像是否一致的微处理器；所述的微处理器包括：

读取身份证内的照片图像数据模块，用于读取个人身份证内所存储的照片，其输出给第一人脸检测模块进行人脸检测；

第一人脸检测模块，用于标出二代身份证人脸图像中人脸在图像中的位置；

第一人脸特征提取模块，用于提取出二代身份证人脸图像中的人脸生物特征，以便为与全方位视觉传感器所获取人脸图像进行比对提供生物特征数据；

全景图像读取模块，用于读取全方位视觉传感器捕获的全景视频图像；

第二人脸检测模块，用于标出在全景视频图像中人脸在图像中的位置；图像展开模块，用于在全景视频图像中截取和展开成与个人身份证相同的人脸图像；

第二人脸特征提取模块，用于提取出透视展开图中人脸图像的人脸生物特征；

人与个人身份证的生物特征同一性检验模块，用于检验身份证的提交者和个人身份证的生物特征相似程度；

决策层表决处理模块，用于对被测人体与身份证同一性多个检测结果进行表决。

如附图2所示，图中，全方位视觉传感器-21、身份证阅读器-22、微处理器-23、显示装置-24、被测个体-25；

第二代居民身份证阅读器通过标准的USB/RS-232连接方式直接与微处理器连接，全方位视觉传感器通过USB接口与微处理器连接，微处理器读取全方位视觉传感器所捕获的全景视频图像，然后从全景视频图像中抽取出含有人脸部分的图像；另一方面，微处理器接受第二代居民身份证阅读器发送的数据信号，微处理器中的内嵌程序进行数据规范的检查，确认是否合规的证件信息，如果检查没有通过，返回错误信息提示信号，重新读证、校验；合规检查通过后，进一步进行数据采集，如果数据采集失败，同样返回错误信息提示信号，重新读证、校验、采集数据；如果数据采集成功，程序根据身份证号码和照片信息生成ID号码，并将该ID号码及附带信息转换成WIEGAND/RS-485数据信号格式，并通过标准的WIEGAND/RS-485连接方式将相关信号发送给后台处理器。后台处理器对全景图像中抽取出来的人脸部分的图像与身份证内的照片采用人脸识别检测算法进行比对；

人脸识别检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是则返回人脸的位置、大小和姿态，接着对人脸进行识别。因此人脸识别检测是一个复杂的具有挑战性的模式检测问题，其主要的难点有三方面，(一)由于人脸内在的变化所引起：(1)人脸具有相当复杂的细节变化，不同的外貌如脸形、肤色等，不同的表情如眼、嘴的开与闭等；(2)人脸的遮挡，如眼镜、头发和头部饰物以及其他外部物体等；(二)由于外在条件变化所引起：(1)由于成像角度的不同造成人脸的多姿态，如平面内旋转、深度旋转以及上下旋转，其中深度旋转影响较大；(2)光照的影响，如图像中的亮度、对比度的变化和阴影等。(3)图像的成像条件，如摄像设备的焦距、成像距离，图像获得的途径等等；(三)由于图像采集手段所引起：在非理想采集条件下，人脸识别检测装置是在摄像环境不可控、环境条件变化剧烈、用户不配合的情况下使用的。人脸识别检测属于生物特征识别范畴，生物特征识别将始终存在着识别概率问题，因此如何提高人脸识别检测的识别率、减少拒判率和误判率是本发明中要解决的问题；下面我们从影响识别概率的三个主要因素阐述本发明的解决方案；

从装置设计角度改善由于人脸内在的变化对识别概率的影响，其改善效果是很有限的，但是可以通过获取被识别个体的多张人脸图像，可以减少眼、嘴的开与闭等原因对识别概率的影响；

从装置设计角度改善外在条件变化对识别概率的影响是最有效果的，通过全方位视觉传感器从不同角度来获取人脸图像以及改善图像的成像条件，通过改善照明条件来减少光照的影响；

从装置设计角度改善摄像采集环境条件对提高生物特征识别检测的识别率也是卓有成效的，利用全方位视觉传感器的在视角范围大、不需要瞄准目标、隐蔽性好、不会给被测个体以被拍摄人脸图像的感觉的特色，本发明的具体做法是：将全方位视觉传感器的成像焦点高度设置在人群脸部平均高度，比如160cm、全方位视觉传感器与被测个体之间的距离设计在40cm～80cm，以有效获取不同身高被测个体的脸部视频图像，为了使得全方位视觉传感器能获取被测个体的正面脸部图像，需要根据被测个体的行走方向来确定全方位视觉传感器与居民身份证阅读器放置的位置，原则上是根据被测个体的行走方向先居民身份证阅读器、后全方位视觉传感器进行配置，如附图2所示；这样的配置保证了被测个体将居民身份证放置到居民身份证阅读器的过程中被测个体有一个面向全方位视觉传感器的转身动作，由于全方位视觉传感器始终在获取被测个体的视频图像，这样在一种自然的环境下拍摄被测个体人脸图像有助于提高人脸识别率，不会给个人身份证持有者带来不信任和不愉快的感觉；另一方面，由于全方位视觉传感器的成像采用了折反射成像原理，不存在焦距、成像距离和成像范围等问题，能在自然的环境下获取被测个体的脸部视频图像；当光照方向不同时，即使从同一视点拍摄的同一个人的两幅图像看起来都会有很大的差别，为了减少光照变化对人脸识别的影响，本发明中在附图1所示的全方位视觉传感器的上盖上配置了一圈白色光源，没有图示，光源的照明亮度只要能排除单侧光的影响，接近与第二代身份证拍摄照片采光条件；

所述的全方位视觉传感器包括用于垂直向下的外凸折反射镜3、摄像单元36、下部底座35，所述的外凸折反射镜为双曲面镜，所述的摄像单元位于所述双曲面镜的虚焦点位置，所述外凸折反射镜和摄像单元位于同一中心线上，如附图1所示，图中，外凸折反射镜-3，摄像单元-36，下部底座-35，外凸折反射镜固定座-31，上罩-38，透明外罩-32，连接器-37，底座-34；

所述的全方位视觉传感器能获取全景360°视频图像，其核心部件是外凸折反射镜面，如图3中的3所示；其工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)。

图3中3-双曲线面镜，4-入射光线，7-双曲面镜的焦点Om(0，0，c)，8-双曲面镜的虚焦点即相机中心Oc(0，0，-c)，9-折反射光线，10-成像平面，11-实物图像的空间坐标A(X，Y，Z)，5-入射到双曲面镜面上的图像的空间坐标，6-反射在成像平面上的点P(x，y)。

进一步，所述的折反射镜面为了能够得到与空间物体坐标的对应点，折反射镜面采用双曲面镜来进行设计：所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X²+Y²)/a²)-(Z²/b²)＝-1(Z＞0)          (18)

$c=\sqrt{a^2+b^2}---\left(19\right)$

β＝tan^-1(Y/X)                          (20)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ(21)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]---\left(22\right)$

式中X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角-方位角，α表示入射光线在XZ平面上的夹角-俯角，f表示成像平面到双曲面镜的虚焦点的距离；

所述的微处理器包括：读取身份证内的照片图像数据模块，用于读取个人身份证内所存储的照片，其输出给第一人脸检测模块进行人脸检测；第一人脸检测模块，用于标出二代身份证人脸图像中人脸在图像中的位置；第一人脸特征提取模块，用于提取出二代身份证人脸图像中的人脸生物特征，以便为与全方位视觉传感器所获取人脸图像进行比对提供生物特征数据；全景图像读取模块，用于读取全方位视觉传感器捕获的全景视频图像；第二人脸检测模块，用于标出在全景视频图像中人脸在图像中的位置；图像展开模块，用于在全景视频图像中截取和展开成与个人身份证相同的人脸图像；第二人脸特征提取模块，用于提取出透视展开图中人脸图像的人脸生物特征；人与个人身份证的生物特征同一性检验模块，用于检验身份证的提交者和个人身份证的生物特征相似程度；决策层表决处理模块，用于对被测人体与身份证同一性多个检测结果进行表决，以提高整个装置的识别率，减少误判率和拒判率；基于生物特征识别的人与身份证同一性检验装置处理框图如附图4所示；

所述的读取身份证内的照片图像数据模块，我国第二代身份证的射频芯片与阅读设备之间的通讯协议符合ISO14 443 B标准，在专用的第二代身份证阅读设备中同时使用射频模块和专用的SAM_V安全模块，通过SAM_V安全模块对第二代身份证的射频芯片进行外部认证，获取包括姓名、住址、身份证号码和照片在内的文字、图像固定信息和追加信息文件的阅读权限；另一方面对所读取的固定信息和追加信息进行解密运算。

所述的第一人脸检测模块，用于标出二代身份证人脸图像中人脸在图像中的位置；二代身份证中人脸图像为彩色图像，背景为透明(纯白)，背景与人脸肤色有明显的差距，且图像为单个人脸图像；全方位视觉传感器所获得的人脸图像为彩色图像，背景比较复杂；本发明中采用肤色模型快速地检测出可能的人脸区域，而后用积分投影法定位人脸区域；

人脸检测的算法流程如下：

①根据R、G、B的值计算出Y、Cb、Cr的值，

②对Y(亮度)分量均值小于40或大于230的过暗或过亮图片进行亮度补偿，

③根据椭圆聚类肤色分割模型分割出肤色区域，得到二值化图像，

④对噪声点用数学形态学的腐蚀和膨胀算子进行去噪处理，

⑤做水平投影和垂直投影，得到最似人脸连通区域，

YCbCr色彩系统是一种常见的重要的颜色空间表达，YCbCr颜色空间与RGB颜色空间的转换关系如下式所示，

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\\ 1\end{array}\right]=\left[\begin{array}{cccc}0.2990& 0.587& 0.1140& 0\\ -0.1687& -0.3313& 0.5000& 128\\ 0.5000& -0.4187& -0.0813& 128\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\\ 1\end{array}\right]---\left(1\right)$

式中，R、G、B分别是某像素点在RGB颜色空间上的红、绿、蓝分量值，从彩色人脸图像上直接读取，Y、Cb、Cr分别是某像素点在YCbCr颜色空间上的亮度值和彩色分量；

椭圆聚类肤色分割模型由公式(2)表示，

$\frac{{(x-{\mathrm{ec}}_x)}^2}{a^2}+\frac{{(y-{\mathrm{ec}}_y)}^2}{b^2}=1---\left(2\right)$

式中：a＝25.39，b＝14.03，ec_x＝1.60，ec_y＝2.41，x，y由公式(3)计算，

$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}\mathrm{Cb}-\mathrm{Cx}\\ \mathrm{Cr}-\mathrm{Cy}\end{array}\right]---\left(3\right)$

式中：θ＝2.53，Cx＝109.38，Cy＝152.02，将上述数据代入公式(2)，如果计算值小于1则是肤色，否则为非肤色；为了减少误判，本发明中采用非线性分段分割：

1)若Y＜40，则像素点直接判决为非肤色像素点，

2)若40＜Y＜230，则采用上述的椭圆聚类方法判定，

3)若Y＞230，则将上述的肤色聚类椭圆的长、短轴同时扩大1.1倍后再进行判定，即公式(2)中的a、b均乘上1.1；

为消除经过肤色分割后所得的二值图像中的噪声和平滑图像，本发明中采用形态处理算法中的开运算进行处理。采用开运算去噪的算法是先调用腐蚀后调用膨胀函数。

利用投影分析标出二代身份证人头图像中人脸在图像中的位置，就是人脸快速定位算法。基本思想是：将经过消除噪声处理的二值图像进行垂直投影，确定左右边界，再在左右边界区域内进行水平投影，确定上下边界。在原图像中的边界位置画一根线，最终形成一个矩形框，矩形框圈出的即为人脸。

投影法是沿着图像某个方向截面的灰度值累加计算量的集合。垂直投影(以x轴为投影轴)、水平投影(以Y轴为投影轴)，计算公式如(4)所示，

$f\left(x\right)=\underset{y=1}{\overset{\mathrm{height}}{\mathrm{\Σ}}}f(x,y)---\left(4\right)$

$f\left(y\right)=\underset{x=1}{\overset{\mathrm{width}}{\mathrm{\Σ}}}f(x,y)$

这里，f(x，y)是经过去除噪声处理后的二值图像，f(x)是经过去除噪声处理后的二值图像的垂直投影，f(y)是经过去除噪声处理后的二值图像的水平投影，height和width分别是经过去除噪声处理后的二值图像的高度和宽度；

所述的第一人脸特征提取模块，用于提取出二代身份证人脸图像中的人脸生物特征；目前用于提取人脸特征已有很多算法，各种算法都各有其优缺点；提取图像特征的一个重要步骤就是构造图像的灰度模型，因此首先是将彩色身份证人脸图像进行灰度化处理；假设图像中某点像素点(x，y)处R、G、B值分别为r、g、b，要将彩色图像转换为灰度图像，使用灰度变换公式(5)，

gray＝r×0.299+g×0.587+b×0.114(5)

式中，r、g、b分别是二代身份证人脸图像中某一个像素点色彩分量值，gray是该像素点需要设置的灰度值，然后将二代身份证人脸图像中该像素点r、g、b均设置为gray，即gray＝r＝g＝b，经过这样处理的彩色人脸图像成为灰度人脸图像；

人与个人身份证的生物特征同一性检验，属于单一样本识别问题，这是因为个人身份证中只有唯一的一张照片，因此所采用的识别方式与原有的人脸识别主成分分析等技术有很大的不同，本发明中采用二维主成分分析识别方式，这种识别方式相对PCA识别具有以下优势：1)行向量的数据一般远小于向量化的图像数据，避免了维数灾问题；2)本质上本分析的数据是图像的各行数据，样本的数量被增大了，避免了小样本问题；3)相对于整幅人脸图像做了直列向量化，按行向量化后就能保留更多的二维空间信息；因此在2DPCA中的数据协方差矩阵可以得到更稳定的估计和计算，同时也降低了特征值问题的求解计算复杂度；

所述的第一人脸特征提取模块，用于提取出二代身份证人脸图像中的人脸生物特征，本发明中采用二维主成分分析识别方式，这里用矩阵A表示反映身份证内照片的灰度人脸图像，为m×n图像矩阵，这里m和n与公式(4)中的height和width具有相同的值；

类似于线性代数的矩阵分块，将矩阵A分解成p×q模块图像矩阵，如公式(6)表示，

$A=\left[\begin{array}{cccc}{A}_{11}& A_{12}& ...& A_{1q}\\ A_{21}& A_{22}& ...& A_{2q}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ A_{p1}& A_{p2}& ...& A_{\mathrm{pq}}\end{array}\right]---\left(6\right)$

式中，每个子图像矩阵A_kl是m₁×n₁矩阵，p×m₁＝m，q×n₁＝n；

训练图像，即身份证内照片的灰度人脸图像，样本的子图像矩阵的总体散布矩阵G用公式(7)表示，

$G=\frac{1}{N}\underset{k=1}{\overset{p}{\mathrm{\Σ}}}\underset{l=1}{\overset{q}{\mathrm{\Σ}}}\left((A_{\mathrm{kl}}-B){(A_{\mathrm{kl}}-B)}^T\right)---\left(7\right)$

式中，N＝pq，表示训练样本子图像矩阵总数，为训练 $B=\frac{1}{N}\underset{k=1}{\overset{p}{\mathrm{\Σ}}}\underset{l=1}{\overset{q}{\mathrm{\Σ}}}{A}_{\mathrm{kl}}$ 身份证图像子矩阵的均值矩阵，G为m₁×m₁非负定矩阵；

取G的d个最大特征值所对应的标准正交特征向量组成的向量组[Z₁，Z₂，…，Z_d]，令Q＝[Z₁，Z₂，…，Z_d]，这时Q为2DPCA意义下的d维特征向量的最优投影矩阵；

本发明中将Q矩阵用于身份证内照片的灰度人脸图像特征的提取，对于身份证内照片的灰度人脸图像A矩阵，其对应的特征矩阵用公式(8)表示，

$B=\left[\begin{array}{cccc}{A}_{11}^{T}Q& A_{12}^{T}Q& ...& A_{1q}^{T}Q\\ A_{21}^{T}Q& A_{22}^{T}Q& ...& A_{2q}^{T}Q\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ A_{p1}^{T}Q& A_{p2}^{T}Q& ...& A_{\mathrm{pq}}^{T}Q\end{array}\right]---\left(8\right)$

式中，A_kl ^T身份证内照片的灰度人脸图像的kl子图像矩阵的旋转矩阵，B为身份证内照片的灰度人脸图像的(p×n₁)×(d×q)特征矩阵，其中d≤min(m₁，n₁)，Q为d维特征向量的最优投影矩阵；

所述的全景图像读取模块，通过视频数据接口读取全方位视觉传感器捕获的全景视频图像，同时将所读取的全景视频图像保存在动态存储单元内并将该全景视频图像提交给所述的第二人脸检测模块进行人脸检测；

所述的第二人脸检测模块，用于标出在全景视频图像中人脸在图像中的位置；全景图中的人脸检测的算法流程如下：

①根据R、G、B的值计算出Y、Cb、Cr的值，

②对Y(亮度)分量均值小于40或大于230的过暗或过亮图片进行亮度补偿，

③根据椭圆聚类肤色分割模型分割出肤色区域，得到二值化图像，

④对噪声点用数学形态学的腐蚀和膨胀算子进行去噪处理，

⑤利用连通域标识算法对二值图像的8连通域进行标识，

⑥对标识出来的每个连通域进行面积计算，筛选出可能为人脸的连通域，

⑦对得到的连通区域进行人脸确认，确认的判定依据为：人脸像素比例、孔洞数、人脸的像素数、人脸的大致坐标位置、人脸的高宽比，

⑧如果经过确认后存在人脸，则用外接矩形框住人脸，找出矩形框的中心位置，接着提交给图像展开处理模块进行透视展开；

所述的图像展开模块，用于将读进来的圆形全景视频图像展开成被测个体的脸部信息视频透视投影平面展开图，透视投影平面展开图的大小以及脸部的大小与居民身份证内的照片尺寸相近；

所述的透视投影平面展开图是通过从双曲面的实焦点Om到透视投影坐标原点G引一条距离为D的直线Om-G，与所述Om-G相垂直的平面作为透视投影平面，从点A(X，Y，Z)向着焦点Om的光线在透视投影平面上有一个交点P(X，Y，Z)，通过透视投影平面的坐标点P(i，j)求空间三坐标中的A(X，Y，Z)，得到投影平面与空间三坐标的转换关系，转换关系式用公式(9)来表示：

X＝R*cosβ-i*sinβ(9)

Y＝R*sinβ+i*cosβ

Z＝D*sinγ-j*cosγ

(R＝D*cosγ+j*sinγ)

式(9)中：D为透视投影平面到双曲面的焦点Om的距离，β角度是入射光线在XY平面上投影的夹角，γ角度是入射光线与双曲面焦点的水平面的夹角，i轴是与XY平面平行的横轴，j轴是与i轴和Om-G轴直角相交的纵轴；透视投影坐标原点G是根据第二人脸检测模块得到人脸部分的中心位置来确定的；人脸透视展开图的高度H和宽度W与公式(4)中所计算出来的height和width相一致；透视展开原理如附图5所示；

所述的第二人脸特征提取模块，用于提取出透视展开图中人脸图像的人脸生物特征；与所述的第一人脸特征提取模块一样，对于透视展开的人脸图像矩阵A′同样分解成p×q模块图像矩阵，如公式(10)表示，

$A^{\′}=\left[\begin{array}{cccc}{A}_{11}^{\′}& A_{12}^{\′}& ...& A_{1q}^{\′}\\ A_{21}^{\′}& A_{22}^{\′}& ...& A_{2q}^{\′}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ A_{p1}^{\′}& A_{p2}^{\′}& ...& A_{\mathrm{pq}}^{\′}\end{array}\right]---\left(10\right)$

式中，每个子图像矩阵A′_kl是m₁×n₁矩阵，p×m₁＝m，q×n₁＝n；然后利用在公式(7)中得到的d维特征向量的最优投影矩阵Q，计算透视展开的人脸图像矩阵A′的特征矩阵B′，如公式(11)所示，

$B^{\′}=\left[\begin{array}{cccc}{A}_{11}^{\′T}Q& A_{12}^{\′T}Q& ...& A_{1q}^{\′T}Q\\ A_{21}^{\′T}Q& A_{22}^{\′T}Q& ...& A_{2q}^{\′T}Q\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ A_{p1}^{\′T}Q& A_{p2}^{\′T}Q& ...& A_{\mathrm{pq}}^{\′T}Q\end{array}\right]---\left(11\right)$

所述的人与个人身份证的生物特征同一性检验模块，用于检验身份证的提交者和个人身份证的生物特征相似程度；根据公式(8)和公式(11)计算所得到的个人身份证中人脸特征矩阵B和透视展开的人脸特征矩阵B′，两者进行相减得到差分矩阵，由公式(12)所示，

$D(B,B^{\′})=\left[\begin{array}{cccc}{(A_{11}-A_{11}^{\′})}^{T}Q& {(A_{12}-A_{12}^{\′})}^{T}Q& ...& {(A_{1q}-A_{1q}^{\′})}^{T}Q\\ {(A_{21}-A_{21}^{\′})}^{T}Q& {(A_{22}-A_{22}^{\′})}^{T}Q& ...& {(A_{2q}-A_{2q}^{\′})}^{T}Q\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ {(A_{p1}-A_{p1}^{\′})}^{T}Q& {(A_{p2}-A_{p2}^{\′})}^{T}Q& ...& {(A_{\mathrm{pq}}-A_{\mathrm{pq}}^{\′})}^{T}Q\end{array}\right]---\left(12\right)$

用Frobenious范数表示个人身份证中人脸特征和透视展开的人脸特征矩阵的距离，计算公式由(13)表示，

(13)

dis(B，B′)＝trace((D(B，B′))^TD(B，B′))

式中，dis(B，B′)为Frobenious范数，如果dis(B，B′)小于所规定的值F，我们就认为个人身份证中人脸特征和透视展开的人脸特征是一致的；该F值的大小由实验来确定，比如身份证的拥有者和身份证本人在同一环境下进行多次检验，先求得其一组Frobenious范数，取一组Frobenious范数中的最大值为初始规定的F值，然后根据错误接受率的大小对F值进行修正，直到错误接受率控制在0.1‰的水平；

所述的决策层表决处理模块，用于对被测人体与身份证同一性多个检测结果进行表决；其决策层表决原理是：由于在不同时间从全方位视觉传感器中所获取的全景视频图像是相互独立的，被测人体与身份证同一性检测结果又是一个概率问题，因此可以通过采用多次拍摄被测人体图像并将这些图像都与身份证内的照片进行同一性检测，然后通过计算系统概率的方式来提高整个装置的正确识别率，减少误判率和拒判率；

在本发明中，全方位视觉传感器始终在获取被测个体的视频图像，只要全景视频图像中有包含着类似有人脸的图像，就会不断的将该人脸与身份证中的照片进行比对检验，每次比对检验结果都存放在以被测个体的身份证号命名为文件内，当比对检验次数达到所规定的值n后，比如n＝5，系统自动进入决策层表决处理；由于摄像人脸的内外部条件相对独立这时被测个体的每张人脸图像识别结果是相对独立的，因此可以采用概率统计的方法对多个识别结果进行表决处理来提高整个装置的识别率(Accuracy)，减少误判率(False acceptance rate，FAR)和拒判率(False rejection rate，FRR)；

评价人脸识别系统的标准，包括识别率、错误拒绝率、错误接受率等；可以通过混淆矩阵来定义，混淆矩阵(Confusion matrix)表示属于第i类的测试特征向量被分配到第j类的概率，用矩阵表示估计值和实际输出值，对于每一张人脸图像识别是一个两类问题的四个可能的分类结果；用表1表示一张人脸图像识别分类的混淆矩阵，

图1混淆矩阵

对于第I张人脸图像的正确识别率可以由以下公式(14)计算，

${\mathrm{PersonID}}_{\mathrm{accuracy}}\left(I\right)=\frac{(a+d)}{(a+b+c+d)}---\left(14\right)$

对于第I张人脸图像的拒判率(False rejection rate，FRR)或拒真率(Falsenegtive rate)可以由以下公式(15)计算，

${\mathrm{PersonID}}_{\mathrm{FRR}}\left(I\right)=\frac{b}{(a+b)}---\left(15\right)$

对于第I张人脸图像的误判率(False acceptance rate，FAR)或认假率(Falsepositive rate)可以由以下公式(16)计算，

${\mathrm{PersonID}}_{\mathrm{FAR}}\left(I\right)=\frac{c}{(c+d)}---\left(16\right)$

误判率是衡量一张人脸图像的识别性能好坏的重要指标，然而实际使用中更关注的是拒真率FRR和认假率FAR这两项指标。因为识别率＝100％-FAR-FRR，而由于接受阈值的作用使FAR和FRR之间是相互矛盾的，因此根据实际应用需求合理地选择平衡这两个指标是非常重要的；

为了提高人脸识别率、减少误判率和拒判率，本专利中提出了一种简单的K/n的多数表决方法，既共有n张被识别的图像，如果有K张图像的人脸识别结果相同就判定为该结果，多数表决系统框图如图6所示；多数表决系统的作用是将全方位视觉传感器在不同的空间、不同角度和不同时间所获得的人脸图像识别结果在决策层进行信息融合；具体的做法是采用多数表决的方法来确定K/n多数表决系统的PersonID_FAR(K/n)、PersonID_FRR(K/n)和PersonID_accuracy(K/n)；

${\mathrm{PersonID}}_{\mathrm{accuracy}}(K/n)=\underset{i=0}{\overset{K}{\mathrm{\Σ}}}n*C_i*\mathrm{Accurac}{y}^{n-i}*{(1-\mathrm{Accuracy})}^i---\left(17\right)$

式中，Accuracy为某单个检验结果的正确率，PersonID_accuracy(K/n)为K/n多数表决系统的最终检验结果的正确率，C_i是排列组合计算中的符号。

为了简化计算，我们假设在人脸比对处理中在大量被测个体的人脸识别率的统计概率FAR为10％，FRR为10％，Accuracy为80％的话，并假设每张人脸图像识别的FAR、FRR和Accuracy都相同，如果我们采用3/5作为多数表决的话，那么可以通过如下计算得到系统的正确识别率为，

${\mathrm{PersonID}}_{\mathrm{accuracy}}(3/5)=\underset{i=0}{\overset{3}{\mathrm{\Σ}}}5*C_i*{\mathrm{Accuracy}}^{5-i}*{(1-\mathrm{Accuracy})}^i$

$={\mathrm{Accuracy}}^5+5*{\mathrm{Accuracy}}^4*(1-\mathrm{Accuracy})+10*{\mathrm{Accuracy}}^3*{(1-\mathrm{Accuracy})}^2$

$=0.942$

同样道理，用以下公式计算4/7多数表决结果，可以得到系统的正确识别率为，

${\mathrm{PersonID}}_{\mathrm{accuracy}}(4/7)=\underset{i=0}{\overset{4}{\mathrm{\Σ}}}7*C_i*{\mathrm{Accuracy}}^{7-i}*{(1-\mathrm{Accuracy})}^i$

$={\mathrm{Accuracy}}^7+7*{\mathrm{Accuracy}}^6*(1-\mathrm{Accuracy})+21*{\mathrm{Accuracy}}^5*{(1-\mathrm{Accuracy})}^2$

$+35*{\mathrm{Accuracy}}^4*{(1-\mathrm{Accuracy})}^3+35*{\mathrm{Accuracy}}^3*{(1-\mathrm{Accuracy})}^4=0.995$

我们可以用同样方法得到各种K/n多数表决系统的PersonID_FAR(K/n)、PersonID_FRR(K/n)和PersonID_accuracy(K/n)的估计值；

实际使用中，可以根据实际安全检测要求自己定义K值和n值的大小，比如对安全性和正确识别率要求高的场合，就可以选择K＝4、n＝7，即捕获7张人脸图像用其中4张以上(包括4张)的检验结果是与身份证内的照片中的生物特征相吻合的话，其检验的准确率将达到99.5％，如果再想要提高正确的人脸识别率，可以将K值更接近于n值。目前采用2DPCA进行单样本人脸识别，其一次正确识别率已能达到80％左右，通过选择适当的K值和n值是完全可以满足实际使用要求。

实施例2

参照图4、图6，本实施例的摄像设备的选择方面，在一些特殊场合，如被测个体的脸部将被固定在某一范围内等情况下，可以选择广角摄像设备或者一般摄像设备，其原则是能有效地捕捉到被测个体的脸部的视频图像。

本实施例的其他结构和工作过程与实施例1相同。

Claims (6)

1.一种基于生物特征识别的人与身份证同一性检验装置，其特征在于：所述检验装置包括用于获取身份证持有者人脸图像的全方位视觉传感器、用于读取第二代身份证内置芯片中的照片信息的身份证阅读器、用于比对存储在第二代身份证内置芯片中的人脸照片图像与通过全方位视觉传感器所获取的人脸图像是否一致的微处理器，所述的微处理器包括：

读取身份证内的照片图像数据模块，用于读取个人身份证内所存储的照片，其输出给第一人脸检测模块进行人脸检测；

第一人脸检测模块，用于标出二代身份证人脸图像中人脸在图像中的位置；

第一人脸特征提取模块，用于提取出二代身份证人脸图像中的人脸生物特征，以便为与全方位视觉传感器所获取人脸图像进行比对提供生物特征数据；

全景图像读取模块，用于读取全方位视觉传感器捕获的全景视频图像；

第二人脸检测模块，用于标出在全景视频图像中人脸在图像中的位置；图像展开模块，用于在全景视频图像中截取和展开成与个人身份证相同的人脸图像；

第二人脸特征提取模块，用于提取出透视投影平面展开图中人脸图像的人脸生物特征；

人与个人身份证的生物特征同一性检验模块，用于检验身份证的提交者和个人身份证的生物特征相似程度；

决策层表决处理模块，用于对被测人体与身份证同一性多个检测结果进行表决；

所述的读取身份证内的照片图像数据模块中，通讯协议符合ISO14 443 B标准，同时使用射频模块和专用的SAM_V安全模块，通过SAM_V安全模块对第二代身份证的射频芯片进行外部认证，获取包括姓名、住址、身份证号码和照片在内的文字、图像固定信息；

所述的第一人脸检测模块中，用于标出二代身份证人脸图像中人脸在图像中的位置；采用肤色模型快速地检测出可能的人脸区域，而后用积分投影法定位人脸区域；

所述第一人脸检测模块中的人脸检测的算法流程如下：

①根据R、G、B的值计算出Y、Cb、Cr的值，

②对Y亮度分量均值小于40或大于230的过暗或过亮图片进行亮度补偿，

③根据椭圆聚类肤色分割模型分割出肤色区域，得到二值化图像，

④对噪声点用数学形态学的腐蚀和膨胀算子进行去噪处理，

⑤做水平投影和垂直投影，得到最似人脸连通区域，

YCbCr色彩系统是一种常见的重要的颜色空间表达，YCbCr颜色空间与RGB颜色空间的转换关系如下式所示，

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\\ 1\end{array}\right]=\left[\begin{array}{cccc}0.2990& 0.587& 0.1140& 0\\ -0.1687& -0.3313& 0.5000& 128\\ 0.5000& -0.4187& -0.0813& 128\\ 0& 0& 0& 0\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\\ 1\end{array}\right]---\left(1\right)$

式中，R、G、B分别是某像素点在RGB颜色空间上的红、绿、蓝分量值，从彩色人脸图像上直接读取，Y、Cb、Cr分别是某像素点在YCbCr颜色空间上的亮度值和彩色分量；

椭圆聚类肤色分割模型由公式(2)表示，

$\frac{{(x-{\mathrm{ec}}_x)}^2}{a^2}+\frac{{(y-{\mathrm{ec}}_y)}^2}{b^2}=1---\left(2\right)$

式中：a＝25.39，b＝14.03，ec_x＝1.60，ec_y＝2.41，x，y由公式(3)计算，

$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}\mathrm{Cb}-\mathrm{Cx}\\ \mathrm{Cr}-\mathrm{Cy}\end{array}\right]---\left(3\right)$

式中：θ＝2.53，Cx＝109.38，Cy＝152.02，将上述数据代入公式(2)，如果计算值小于1则是肤色，否则为非肤色；采用非线性分段分割：

1)若Y＜40，则像素点直接判决为非肤色像素点，

2)若40＜Y＜230，则采用上述的椭圆聚类方法判定，

3)若Y＞230，则将肤色聚类椭圆的长、短轴同时扩大1.1倍后再进行判定，即公式(2)中的a、b均乘上1.1；

利用投影分析标出二代身份证人头图像中人脸在图像中的位置，就是人脸快速定位算法，具体处理过程为：将经过消除噪声处理的二值图像进行垂直投影，确定左右边界，再在左右边界区域内进行水平投影，确定上下边界；在原图像中的边界位置画一根线，最终形成一个矩形框，矩形框圈出的即为人脸；

投影法是沿着图像某个方向截面的灰度值累加计算量的集合，垂直投影，即以x轴为投影轴；水平投影，即以Y轴为投影轴；如计算公式(4)所示，

$f\left(x\right)=\underset{y=1}{\overset{\mathrm{height}}{\mathrm{\Σ}}}f(x,y)---\left(4\right)$

$f\left(y\right)=\underset{x=1}{\overset{\mathrm{width}}{\mathrm{\Σ}}}f(x,y)$

其中，f(x，y)是经过去除噪声处理后的二值图像，f(x)是经过去除噪声处理后的二值图像的垂直投影，f(y)是经过去除噪声处理后的二值图像的水平投影，height和width分别是经过去除噪声处理后的二值图像的高度和宽度；

所述的第一人脸特征提取模块中，构造图像的灰度模型的过程为：首先是将彩色身份证人脸图像进行灰度化处理；假设图像中某点像素点(x，y)处R、G、B值分别为r、g、b，要将彩色图像转换为灰度图像，使用灰度变换公式(5)，

                                                (5)

gray＝r×0.299+g×0.587+b×0.114

式中，r、g、b分别是二代身份证人脸图像中某一个像素点色彩分量值，gray是该像素点需要设置的灰度值，然后将二代身份证人脸图像中该像素点r、g、b均设置为gray，即gray＝r＝g＝b，经过这样处理的彩色人脸图像成为灰度人脸图像；

采用二维主成分分析识别方式，用矩阵A表示反映身份证内照片的灰度人脸图像，为m×n图像矩阵，这里m和n与公式(4)中的height和width具有相同的值；

将矩阵A分解成p×q模块图像矩阵，如公式(6)表示，

$A=\left[\begin{array}{cccc}{A}_{11}& A_{12}& ...& A_{1q}\\ A_{21}& A_{22}& ...& A_{2q}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ A_{p1}& A_{p2}& ...& A_{\mathrm{pq}}\end{array}\right]---\left(6\right)$

式中，每个子图像矩阵A_kl是m₁×n₁矩阵，p×m₁＝m，q×n₁＝n；

训练图像，即身份证内照片的灰度人脸图像样本的子图像矩阵的总体散布矩阵G用公式(7)表示，

$G=\frac{1}{N}\underset{k=1}{\overset{p}{\mathrm{\Σ}}}\underset{l=1}{\overset{q}{\mathrm{\Σ}}}\left((A_{\mathrm{kl}}-B){(A_{\mathrm{kl}}-E)}^T\right)---\left(7\right)$

式中，N＝pq，表示训练样本子图像矩阵总数，

为训练身份证图像子矩阵的均值矩阵，G为m₁×m₁非负定矩阵；

取G的d个最大特征值所对应的标准正交特征向量组成的向量组[Z₁，Z₂，…，Z_d]，令Q＝[Z₁，Z₂，…，Z_d]，这时Q为2DPCA意义下的d维特征向量的最优投影矩阵；

将Q矩阵用于身份证内照片的灰度人脸图像特征的提取，对于身份证内照片的灰度人脸图像A矩阵，其对应的特征矩阵用公式(8)表示，

$B=\left[\begin{array}{cccc}{A}_{11}^{T}Q& A_{12}^{T}Q& ...& A_{1q}^{T}Q\\ A_{21}^{T}Q& A_{22}^{T}Q& ...& A_{2q}^{T}Q\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ A_{p1}^{T}Q& A_{p2}^{T}Q& ...& A_{\mathrm{pq}}^{T}Q\end{array}\right]---\left(8\right)$

式中，

身份证内照片的灰度人脸图像的kl子图像矩阵的旋转矩阵，B为身份证内照片的灰度人脸图像的(p×n₁)×(d×q)特征矩阵，其中d≤min(m₁，n₁)，Q为d维特征向量的最优投影矩阵；

所述的图像展开模块中，用于将读进来的圆形全景视频图像展开成被测个体的脸部信息视频透视投影平面展开图，透视投影平面展开图的大小以及脸部的大小与居民身份证内的照片尺寸相近；

所述的透视投影平面展开图是通过从双曲面的实焦点O m到透视投影坐标原点G引一条距离为D的直线O m-G，与所述O m-G相垂直的平面作为透视投影平面，从点A(X，Y，Z)向着焦点O m的光线在透视投影平面上有一个交点P(X，Y，Z)，通过透视投影平面的坐标点P(i，j)求空间三坐标中的A(X，Y，Z)，得到投影平面与空间三坐标的转换关系，转换关系式用公式(9)来表示：

X＝R*cosβ-i*sinβ                        (9)

Y＝R*sinβ+i*cosβ

Z＝D*sinγ-j*cosγ

R＝D*cosγ+j*sinγ

式(9)中：D为透视投影平面到双曲面的焦点O m的距离，β角度是入射光线在XY平面上投影的夹角，γ角度是入射光线与双曲面焦点的水平面的夹角，i轴是与XY平面平行的横轴，j轴是与i轴和O m-G轴直角相交的纵轴；透视投影坐标原点G是根据第二人脸检测模块得到人脸部分的中心位置来确定的；人脸透视展开图的高度H和宽度W与公式(4)中所计算出来的垂直投影和水平投影相一致。

2.如权利要求1所述的基于生物特征识别的人与身份证同一性检验装置，其特征在于：所述的全方位视觉传感器包括外凸折反射镜面、用以防止光折射和光饱和的黑色圆锥体、透明圆柱体和用于拍摄外凸反射镜面上成像体的摄像头，所述的外凸折反射镜面位于透明圆柱体的上方，外凸折反射镜面朝下，黑色圆锥体固定在外凸折反射镜面的底部中央，所述摄像头对着外凸折反射镜面朝上。

3.如权利要求2所述的基于生物特征识别的人与身份证同一性检验装置，其特征在于：所述外凸折反射镜面采用双曲面镜，其工作原理是：进入双曲面镜的中心的光，根据双曲面的镜面特性向着其虚焦点折射，实物图像经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点P(x，y)对应着实物在空间上的一个点的坐标A(X，Y，Z)；

双曲面镜构成的光学系统由下面5个等式表示；

((X²+Y²)/a²)-(Z²/b²)＝-1        其中，Z＞0        (18)

$c=\sqrt{a^2+b^2}---\left(19\right)$

β＝tan^-1(Y/X)                                    (20)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ          (21)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]---\left(22\right)$

式中X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角，即方位角，α表示入射光线在XZ平面上的夹角，即俯角，f表示成像平面到双曲面镜的虚焦点的距离。

4.如权利要求1所述的基于生物特征识别的人与身份证同一性检验装置，其特征在于：所述的第二人脸检测模块，全景图中的人脸检测的算法流程如下：

①根据R、G、B的值计算出Y、Cb、Cr的值，

②对Y分量均值小于40或大于230的过暗或过亮图片进行亮度补偿，

③根据椭圆聚类肤色分割模型分割出肤色区域，得到二值化图像，

④对噪声点用数学形态学的腐蚀和膨胀算子进行去噪处理，

⑤利用连通域标识算法对二值图像的8连通域进行标识，

⑥对标识出来的每个连通域进行面积计算，筛选出可能为人脸的连通域，

⑦对得到的连通区域进行人脸确认，确认的判定依据为：人脸像素比例、孔洞数、人脸的像素数、人脸的大致坐标位置、人脸的高宽比，

⑧如果经过确认后存在人脸，则用外接矩形框住人脸，找出矩形框的中心位置，接着提交给图像展开处理模块进行透视展开。

5.如权利要求1所述的基于生物特征识别的人与身份证同一性检验装置，其特征在于：所述的第二人脸特征提取模块中，对于透视展开的人脸图像矩阵A′同样分解成p×q模块图像矩阵，如公式(10)表示，

$A^{\′}=\left[\begin{array}{cccc}{A^{\′}}_{11}& {A^{\′}}_{12}& ...& {A^{\′}}_{1q}\\ {A^{\′}}_{21}& {A^{\′}}_{22}& ...& {A^{\′}}_{2q}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ {A^{\′}}_{p1}& {A^{\′}}_{p2}& ...& {A^{\′}}_{\mathrm{pq}}\end{array}\right]---\left(10\right)$

式中，每个子图像矩阵A′_kl是m₁×n₁矩阵，p×m₁＝m，q×n₁＝n；然后利用在公式(7)中得到的d维特征向量的最优投影矩阵Q，计算透视展开的人脸图像矩阵A′的特征矩阵B′，如公式(11)所示，

$B^{\′}=\left[\begin{array}{cccc}{A}_{11}^{\′T}Q& A_{12}^{\′T}Q& ...& A_{1q}^{\′T}Q\\ A_{21}^{\′T}Q& A_{22}^{\′T}Q& ...& A_{2q}^{\′T}Q\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ A_{p1}^{\′T}Q& A_{p2}^{\′T}Q& ...& A_{\mathrm{pq}}^{\′T}Q\end{array}\right]---\left(11\right).$

6.如权利要求5所述的基于生物特征识别的人与身份证同一性检验装置，其特征在于：所述的人与个人身份证的生物特征同一性检验模块中，用于检验身份证的提交者和个人身份证的生物特征相似程度；根据公式(8)和公式(11)计算所得到的个人身份证中人脸特征矩阵B和透视展开的人脸特征矩阵B′，两者进行相减得到差分矩阵，由公式(12)所示，

$D(B,B^{\′})=\left[\begin{array}{cccc}{(A_{11}-{A^{\′}}_{11})}^{T}Q& {(A_{12}-{A^{\′}}_{12})}^{T}Q& ...& {(A_{1q}-{A^{\′}}_{1q})}^{T}Q\\ {(A_{21}-{A^{\′}}_{21})}^{T}Q& {(A_{22}-{A^{\′}}_{22})}^{T}Q& ...& {(A_{2q}-{A^{\′}}_{2q})}^{T}Q\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ {(A_{p1}-{A^{\′}}_{p1})}^{T}Q& {(A_{p2}-{A^{\′}}_{p2})}^{T}Q& ...& {(A_{\mathrm{pq}}-{A^{\′}}_{\mathrm{pq}})}^{T}Q\end{array}\right]---\left(12\right)$

用Frobenious范数表示个人身份证中人脸特征和透视展开的人脸特征矩阵的距离，计算公式由(13)表示，

dis(B，B′)＝trace((D(B，B′))^TD(B，B′))        (13)

式中，dis(B，B′)为Frobenious范数，如果dis(B，B′)小于所规定的值F，就认为个人身份证中人脸特征和透视展开的人脸特征是一致的；该F值的大小由实验来确定。

Images