CN101662581B - 多功能证件信息采集系统 - Google Patents

Abstract

本发明公开了一种应用于多种证件信息的多功能证件信息采集系统，它包括用于获取证件图像信息的图像采集模块、用于对证件图像进行处理以输出合乎要求的图像的图像处理模块，以及将证件图像的文字信息提取出来的图像信息提取模块。图像采集模块包括CMOS图像采集模块、传输接口模块、LED光源组模块和电源模块；图像处理模块包括偏色校正单元、桶形失真校正单元、倾斜与倒置校正单元和证件信息分割单元；图像信息提取模块利用OCR技术提取证件图像的文字信息。本发明的CMOS图像采集模块采用鱼眼镜头，使得设备小型化；通过图像处理模块可以快速准确解决偏色、桶形失真、倾斜与倒置和证件信息分割问题，给用户以更高的使用自由度，同时令图像分割更加精确。

Description

多功能证件信息采集系统

技术领域

本发明涉及一种应用于多种证件信息多功能证件信息采集系统，具体来说，涉及一种集合了证件图像采集、图像处理、图像信息提取等功能的证件信息采集系统。

背景技术

在社会民生的众多领域中，经常需要从证件中获取相关的信息。随着计算机技术、图像处理和光学文字识别算法的成熟，利用计算机进行证件信息自动识别录入已经成为可能，它能极大的提高业务双方的效率。基于计算机OCR的证件信息采集系统可以广泛应用于网吧、公安、银行、电信、邮政、酒店、铁路、民航、证券、民政、教育、出入境、部队等部门行业中，节省大量的人力和物力，具有相当广阔的应用前景。

现有的证件信息采集系统广泛采用普通镜头拍摄或扫描方式进行设计，而且存在自身的缺陷：前者的体积过大，拍摄图像质量低；后者的工作效率低且伴随着机械运动，容易磨损并产生噪声。因此迫切需要寻求一种多功能、高效、高可靠、小型化的证件信息采集系统。

发明内容

针对上述存在的不足，本发明提供了一个新的多功能证件信息采集系统，它体积小、可靠性高、成像质量好、而且易扩展。

本发明的多功能证件信息采集系统包括用于获取证件图像信息的图像采集模块、用于对获取的证件图像进行处理以输出合乎要求的图像的图像处理模块，以及将证件图像的文字信息提取出来的图像信息提取模块。所述图像采集模块包括CMOS图像采集模块、传输接口模块、LED光源组模块和电源模块；所述图像处理模块包括偏色校正单元、桶形失真校正单元、倾斜与倒置校正单元和证件信息分割单元；所述图像信息提取模块利用OCR技术提取证件图像的文字信息。

所述CMOS图像采集模块采用焦距为1.65mm、可视角为171°的微距鱼眼镜头。

所述LED光源组模块采用方向性相对较弱，发光颜色接近白光的两个LED灯。

所述图像处理模块的偏色校正单元采用基于完美反射法的偏色校正方法。

所述桶形失真校正单元采用三次样条曲线对鱼眼镜头的桶形畸变规律进行拟合失真模型，从而对失真图像进行校正，桶形失真校正的工作流程为：

1)利用前向投影原理求得目标图像f2的大小；

2)利用后向投影原理求得失真图像f1到目标图像f2的坐标映射表，并保存在内存数组中；

3)每捕获一幅图像，都遍历内存数组中的坐标映射表，然后使用灰度双线性插值方法恢复原失真图像。

所述倾斜与倒置校正单元的工作流程为：

1)将证件图像按照一定的比例因子进行缩放；

2)对证件图像进行灰度处理；

3)对灰度处理后的证件图像进行Sobel算子边缘检测，得到较粗宽轮廓图像；

4)对较粗宽轮廓图像进行细化处理，得到只有一个像素宽度的细边缘轮廓图像；

5)将所得到的细边缘轮廓图像实施Hough变换，检测出边框的直线参数，利用检测到的参数计算得到原始证件倾斜的角度；

6)利用得到的倾斜角度对原图像进行旋转操作；

7)对倾斜校正后的图像进行缩小操作，并对图像进行RGB到HSI色彩空间变换；

8)以人脸肤色为约束条件将图像二值化，并对得到的二值图像进行中值滤波操作，滤除干扰，令整幅图像只剩下人脸部分的二值图像；

9)利用人脸部分的二值图像从步骤7)所得的缩小的彩色图像切割出人脸部分图像；

10)利用RGB彩色边缘提取法对人脸部分图像进行边缘检测，得到人脸轮廓二值图；

11)利用水平投影统计法，对人脸轮廓二值图像的上、下部分分别进行水平投影统计，从而判定图像是否倒置；

12)对倒置了的图像进行旋转校正；否则直接输出倾斜校正后的图像。

所述证件信息分割单元采用比例分割的方法将证件图像粗分割为个人信息描述区、头像区和证件号码区三大区域，然后再将个人信息描述区采用水平投影法细分割为姓名、性别和民族、出生日期和住址四个区域。

所述图像采集模块还包括RFID卡射频感应获取信息的RFID感应模块，所述传输接口模块在USB接口的基础上增加一个USB的Hub芯片，实现接口的复用功能，用来传输来自RFID模块的信息。

本发明的有益效果为：CMOS图像采集模块采用鱼眼镜头，从而令设备小型化；同类系统大多采用LED灯光照明，但由于LED的色温问题，这些系统都会出现图像偏色现象，本发明的图像色彩校正模块可解决这个问题；利用倾斜与倒置校正，给用户以更高的使用自由度，同时令图像分割更加精确；在同类系统中率先引入MVC软件系统架构和设计理念，降低设计难度与各软件模块的耦合性，修改其中某个模块不会对其他模块造成大的影响，甚至可以不用改动其他模块，从而保证了系统的高可扩展性与通用性。

附图说明

图1为本发明多功能证件信息采集系统的系统框架图；

图2为本发明基于RFID设计的采集模块系统框架图；

图3为本发明图像处理流程图；

图4为本发明的偏色校正单元的工作流程图；

图5为本发明桶形失真校正单元工作流程图；

图6为本发明倾斜与倒置校正单元工作流程图；

图7为本发明的图像信息分割模块示意图。

具体实施方式

下面结合附图对本发明进行进一步阐述。

如图1所示，本发明的多功能证件信息采集系统，它包括用于获取证件图像信息的图像采集模块、用于对获取的证件图像进行处理以输出合乎要求的图像的图像处理模块，以及将证件图像的文字信息提取出来的图像信息提取模块。其中，图像采集模块包括CMOS图像采集模块、传输接口模块、LED光源组模块和电源模块；图像处理模块包括偏色校正单元、桶形失真校正单元、倾斜与倒置校正单元和证件信息分割单元；图像信息提取模块利用OCR技术提取证件图像的文字信息。

下面对各模块进行详细阐述。

一、图像采集模块

图像采集模块的主要工作是在Windows操作系统下驱动USB接口的摄像头来捕获一帧质量较好的证件图像，主要由CMOS图像采集模块、传输接口模块、电源模块、LED光源组模块4部分构成。

1.1CMOS图像采集模块

本模块主要是用来进行图像采集，要求成像清晰，功耗较低，并能减小物体与CMOS传感器之间的距离，从而有效的减小了仪器的体积，使产品更为便携，甚至可以装配到通用PC机的机箱中。

在本发明的系统中采用了焦距为1.65mm、可视角为171°的微距鱼眼镜头，使得证件在镜头前方约45mm处可以得到完整取景，加上镜头高度，总厚度将控制在60mm左右。采用鱼眼镜头将带来桶形失真，此问题将后面处理模块中进行补偿，尽可能复原图像。

为捕获一帧图像，本发明采用DirectShow开发图像采集模块，说明如下：

CGraph类主要是实现一些对所有与Filter Graph相关的应用中所必需的操作的封装，通常作为其他针对特定领域应用的Filter Graph类的父类。如本系统中与采集应用相关的CCaptureGraph即是继承于该类。

在本系统中，帧数据的获取采用的是DirectShow自身提供的SampleGrabber Filte(对应的类ID为CLSID_SampleGrabber)。使用这个Filter时需要对其回调机制进行设置，其中设置的回调参数中就有具有ISampleGrabber接口的类。本系统中实现的CSampleGrabberCB类即为一例。

CCaptureGraph类继承于CGraph类，以实现特定于采集应用的FilterGraph工作类的封装。其工作原理是利用DirectShow中的ICaptureBuilder2接口提供的智能连接功能RenderStream进行Filter间互连。智能连接意即客户只需要根据不同的应用场景，添加所需要的Source Filter、TransformFilter和Rendering Filter，系统便会自动实现连接。

本发明设计了两种图像获取方式：

(1)从预览视频流中捕获数据帧，适合系统负载较轻的情况；

(2)使用静态引脚捕获数据帧，类似照像机的快门，适合系统负载较重的情况。

1.2传输接口模块

本模块的作用是将采集到的图像数据高速地传送到图像处理模块中。由于USB2.0的最高传输速度可以达到480Mb/s，因而本发明采用了USB2.0传输接口。考虑到系统最后还须扩展RFID感应模块，以通过感应方式获取第二代身份证的信息，因而同一USB接口还需要传输来自RFID模块的信息。这只需要增加一个USB的Hub芯片，实现接口的复用功能，使用比较常见的USB Hub芯片GL850A即可以对两路信号进行选通，达到系统的要求。

1.3LED光源组模块

本模块的主要作用是为图像采集提供照明光源。考虑到LED色温范围比较广，而且色温的高低对图像的成像质量有着直接的影响，因而在该证件信息采集系统中，特意挑选了方向性相对较弱，发光颜色接近白光的LED设计了两个LED光源组。从系统实际拍摄的效果来看，这种设计能够使捕获的图像不会因为光源的方向性问题而产生人为的亮点，也不会因为光源的色温过于偏离正常范围而导致色彩过度失真。

1.4电源模块

本模块的作用是为LED光源组和CMOS图像传感器提供一个稳定的电源环境。本发明采用了一个AC-DC的变换器通过对220V的市电进行转换，产生供应LED光源组所需的12V电压。至于CMOS图像传感器模块的供电则通过USB连接线直接提供，其工作电压为5V。

1.5RFID感应模块

另外，考虑到第二代身份证的RFID卡射频感应获取信息的功能，还可以增加一个RFID感应模块。鉴于RFID技术的应用前景，我们有理由相信将来会有越来越多的证件使用该技术，由于身份证RFID模块的使用需要经过公安部门的认证，因而目前本发明中描述的系统仍未包含RFID模块功能具体实现，但是该系统在设计的时候，已经预留了相应的设计接口，在系统框图中为强调这一点，本发明仍然标识出该模块，如图2所示。

二、图像处理模块

图像处理模块的主要功能是将图像采集模块捕获到的图像进行色彩校正、畸变校正、倾斜校正、图像分割等处理，然后输出合乎要求的图像以供后续模块进行信息提取，该模块包括了偏色校正单元、畸变校正单元、倾斜与倒置校正单元、图像分割单元等子模块。图像处理模块流程如图3所示，整个系统对图像的处理起始于对获取的一帧图像进行偏色校正以去除由于灯光色温引起的色彩失真，然后利用畸变补偿进行图像复原，紧接着进行倾斜检测实现倾斜矫正，然后对倾斜补偿后的图像进行分割。

2.1偏色校正单元

本模块的作用是将色彩失真的图像校正为正常图像，由于本发明的系统选择了发光接近白色的、无方向性的LED灯为照明光源，因此在这种背景下拍摄的照片会有偏蓝色现象，这也是同类系统中普遍存在的成像色彩不真实的问题。为解决偏色的问题，本发明采用的基于“完美反射法”的偏色校正模块，如图4所示，主要由色温统计、增益计算、色温校正三部分组成，经过偏色校正后，获取的图像色彩与原图的色彩非常接近，大大提高了系统的成像质量。

完美反射法又称镜面法，它基于一种与灰色世界法完全不同的假设：镜面可以反射光源色彩，而其本身不带有任何色彩，同时图像中镜面的亮度是最大的，如果认为图片中R、G、B通道值最大(也就是最明亮)的像素认为是一个镜面，那么通过统计R、G、B通道的最大值就可以获得未知光源的信息，从而通过对角变换矩阵法还原经典图像。本发明先由色温统计模块统计R、G、B通道的最大值作为镜面，然后利用增益计算模块获取各通道的补偿增益，最后由色温校正模块将各通道的色彩校正还原。

2.2桶形失真校正单元

本模块的作用是将桶形失真了的图像还原为正常的图像，由于本发明的系统采用了大视角、微距的鱼眼镜头以缩小设备体积，故在解决设备体积过大问题的同时，也带来一个新的问题——桶形失真。图像的畸变给特征提取、参数计算带来困难，甚至导致失败，故我们必须对获取的图像先进行校正，以恢复图像。根据桶形失真具有圆对称的特点，本发明采用三次样条曲线对鱼眼镜头的桶形畸变规律进行拟合失真模型，从而对失真图像进行校正，桶形失真校正的工作流程如图5所示：

基于广角镜头的桶形失真校正方法具体流程为：

1)制作同心圆模板，获取模板实测图像数据

首先是制作同心圆模板：这些同心圆的间距是按事先指定的比例放置的，具体的比例只是用于确定后述中一组理想半径值，本发明选取同心圆模板之间圆环的间距相同，即同心圆的半径成奇数倍增长，同心圆半径值为：R_tk＝(r₀，3r₀，…，(2n-1)r₀)，其中r₀为同心圆模板的最小半径值，n为同心圆的圆个数，r₁，r₂，…，r_n为同心圆模板的实测值，r₁为实测最小半径值，r_n为实测最大半径值。

然后经过同心圆模板的圆心添加一个“十字架”，接着设计一个简单的图像采集程序，比如在Windows平台上，可以利用DirectShow进行开发，该采集程序在采集数据时能够在相应的图像显示窗口中心显示一个虚拟的“十字架”。把广角镜头安装到图像传感器上利用上述采集程序进行同心圆模板成像数据采集。本具体实施例中采用的广角镜头焦距为1.65mm的，视角约为171°。在保证镜头与物平面平行的情况下，令采集程序显示的虚拟“十字架”与同心圆模板上的“十字架”重合，此时可以认为镜头光轴中心近似通过同心圆圆心，并且实现了“对准”。

对得到的图像进行滤波和二值化，然后进行圆拟合和圆检测，获取同心圆模板的实测半径R_sk＝(r₁，r₂，…，r_n)，本实施例中的测得的数据一组为：R_sk＝[38.00，112.13，175.13，225.00，263.75，293.50，316.25，333.67，348.12，359.70，369.69]；

2)利用模板实测图像数据进行样条曲线建模

首先定义不同采样半径位置的压缩比S_rk为实测半径值与理想半径值的比值，不同采样半径位置的逆压缩比S′_rk为理想半径值与实测半径值的比值：

S_rk＝(S_r1，S_r2，…，S_rn)＝R_s/R_t＝(r₁/r₀，r₂/r₀，…，rn/(2n-1)r₀)

S_rk′＝(S_r1′，S_r2′，…，S_rn′)＝R_t/R_s

接下来是畸变规律的三次样条曲线拟合，它包括如下三个步骤：

2.1)以实测半径为横轴，压缩比为纵轴构成坐标系，构建桶形及变规律曲线S_F＝f(r)，这样S_F＝f(r)必然经过点

可得到三次样条系数矩阵A。

以理想半径为横轴，逆压缩比为纵轴构成坐标系，构建桶形及变规律曲线S′_F＝f′(r)，这样S′_F＝f′(r)必然经过点

得到三次样条系数矩阵A′。

2.2)为了使拟合后的三次样条直线满足整个定义域：0≤r≤max(r)，当r₀较小的时候，修正r₀＝r₁＝0，则S_r1＝S_r1′＝1，则修正后的两条三次样条曲线分别通过和

2.3)用两组三次样条曲线拟合桶形畸变规律：

前向样条曲线S_rk对应于S_F＝f(r)，

            S_rk＝a_k(r-r_k)³+b_k(r-r_k)²+c_k(r-r_k)+d_k

其中r_k≤r≤r_k+1，1≤k≤n，且r₁＝0，a_k、b_k、c_k、d_k为三次样条系数矩阵A的行系数值；

后向样条曲线S′_rk对应于S′_F＝f′(r)，

S′_rk＝a′_k(r-(2k-1)r₁)³+b′_k(r-(2k-1)r₁)²+c′_k(r-(2k-1)r₁)+d′_k其中(2k-1)r₁≤r≤(2k+1)r₁，1≤k≤n，且k＝1时令(2k-1)r₁＝0，a′_k、b′_k、c′_k、d′_k为三次样条系数矩阵A′的行系数值。

三次样条的确定需要用到光滑条件，即相连曲线在断点处具有相同的一阶导数和二阶导数，此外第一条三次样条曲线和最后一条三次样条曲线需要增加两个约束条件才能确定下来。在我们的发明中，使用了令边界条件中二次导数均为0的方法，即自然样条(Natural Spline)来拟合失真曲线。

3)利用样条曲线建模参数制作畸变补偿映射表

通过样条曲线对失真曲线进行建模后，可以得到一组刻画桶形失真的模型参数，为了实现对失真图像进行高效、实时复原，可以进一步根据得到的模型参数将其制作成一张畸变补偿映射表，它包含如下2个步骤：

3.1)利用前向投影原理(Forward Projection)求得目标图像的大小

设失真图像的大小为M×N(宽×高)，则图像的中心为(m₀，n₀)＝(M+1)×(N+1)/2，过该中心以水平向右直线为x轴，垂直向下方向为y轴，建立一个坐标系。值得注意的是，这里的点坐标(m，n)表示y轴分量为m，x轴为n，下同。则不同像素(m，n)到图像中心的距离为：

$r=\sqrt{{(m-m_0)}^2+{(n-n_0)}^2}$

该点与x轴之间的夹角：

$\mathrm{tg\θ}=\frac{m-m_0}{n-n_0}$

计算四个顶点到其中心的距离r，把求得的距离r代入前向样条曲线S_F＝f(r)，就可以得到这些点的压缩比S_rk。由S_rk的定义可知，此时真实的半径应该为：

r_t＝r/S_rk

设该像素点(m，n)在理想图像上的映射的理想位置为(m′，n′)。如果m-m₀≥0，则：

$\left\{\begin{array}{c}{m}^{\′}=m_0-r_t\sin \mathrm{\θ}\\ n^{\′}=n_0+r_t\cos \mathrm{\θ}\end{array}\right.$

如果m-m₀＜0，则有

$\left\{\begin{array}{c}{m}^{\′}=m_0+r_t\sin \mathrm{\θ}\\ n^{\′}=n_0-r_t\cos \mathrm{\θ}\end{array}\right.$

在畸变图形上，当把坐标中心原点平移到中心(m₀，n₀)之后，四个顶点的坐标为：[±(m₀-1)，±(n₀-1)]的不同组合。由于假设的模型认为切向没有失真，因而这些点在目标图像中的方向与在失真图像上的方向相同。因而目标图像四个顶点的坐标在所建立的x-y坐标系中的坐标位置可以分别计算。设计算得到的四个点为：左上角(m_lt，n_lt)，右上角(m_rt，n_rt)，左下角(m_lb，n_lt)，右下角(m_rb，n_rb)，则理想图像的大小P×Q，其中：

$\left\{\begin{array}{c}P=\max \{m_{\mathrm{lb}}-m_{\mathrm{lt}},m_{\mathrm{rb}}-m_{\mathrm{rt}}\}\\ Q=\max \{n_{\mathrm{rt}}-n_{\mathrm{lt}},n_{\mathrm{rb}}-n_{\mathrm{rt}}\}\end{array}\right.$

3.2)利用后向投影原理(Backward Projection)求得失真图像到目标图像的映射表

从步骤1)中可知，在已经目标图像大小的情况下，如果我们将目标图像所有像素初始化为全零值。接着依次遍历失真图像所有像素，计算该像素在目标图像上的具体位置——若为非整数点则采用一定的办法进行取整，这样便得到一张复原图。但是，由于目标图像比原失真图像大，因而目标图像上的所有点不可能每一点都被覆盖，因此便产生了前向投影问题(Forward Projection Problem)。在桶形畸变复原中将产生一些类似水纹的人为噪声，即使使用中值滤波对校正后的图像处理，也无法很好的解决。

解决前向投影的办法是使用后向投影。这时需要利用前述的后向样条曲线。由于第一步获得了目标图像的大小之后，新图像中心点的坐标为(p₀，q₀)＝(P+1)×(Q+1)/2。建立以目标图像中心为原点的一个新的坐标：以水平向右直线为x轴，垂直向下方向为y轴。

遍历目标图像上的任一个像素(p，q)，在平移之后的新坐标中该点坐标为(p-p₀，q-q₀)，它与x轴之间的夹角 $\mathrm{tg\α}=\frac{p-p_0}{q-q_0}.$

那么该像素到图像中心的距离为：

$r_t=\sqrt{{(p-p_0)}^2+{(q-q_0)}^2}$

把求得的距离r_t代入后向样条曲线S_B＝f′(r)，就可以得到这些点的逆压缩比S_rk′。由S_rk′的定义可知，此时对应的失真图像上的半径应该为：

r_d＝r_t/S_rk′

设在映射到失真图像上的点为(p′，q′)。同样，由于角度α保持不变，因此，如果p-p₀≥0，则

$\left\{\begin{array}{c}{p}^{\′}=m_0-r_d\sin \mathrm{\α}\\ q^{\′}=n_0+r_d\cos \mathrm{\α}\end{array}\right.$

如果p-p₀＜0，则有

$\left\{\begin{array}{c}{p}^{\′}=m_0+r_d\sin \mathrm{\α}\\ q^{\′}=n_0-r_d\cos \mathrm{\α}\end{array}\right.$

其中(m₀，n₀)＝(M+1)×(N+1)/2，即为第一步中的失真图像的中心点坐标。

按目标图像Dst(p，q)中的坐标，由第一行起从左至右，从上至下的方法，即按如下的顺序扫描整个图像坐标空间：(1，1)，(1，2)...(1，Q)...(2，1)，(2，2)...(2，Q)，...(P，1)，(P，2)...(P，Q)，便能够求得目标图上的点映射到失真图像上的点的位置Src(p′，q′)，这样便制成了一张畸变补偿映射表Map。

4)根据畸变补偿映射表，利用双线性插值算法实现畸变补偿

最后一步操作是利用已经建立的畸变补偿映射表，并采用双线性插值算法实现畸变补偿。在上述遍历整个Dst(p，q)图像坐标过程中，由整数值像素点(p，q)计算得到的像素位置(p′，q′)可能为非整数，而图像像素空间只能在整数空间中定义，因而在(p′，q′)点上没有灰度定义。此时需要引入一种新的技术，即灰度级插补技术：通过基于整数坐标的灰度值推断那些非整数位置的灰度值。本发明使用)双线性插值法实现灰度插补。双线性插值又称为双线性内插，其核心思想是在两个方向上分别进行一次线性插值。在数字图像上，则是利用4个邻近点的灰度值在两个方向上作线性插值。

假设在像素坐标系r-c坐标中，待求点P，坐标为(r，c)的坐标上的值为f(P)＝f(r，c)，邻近的四个点的坐标分别为：M₁₁＝(r₁，c₁)、M₁₂＝(r₁，c₂)、M₂₁＝(r₂，c₁)、M₂₂＝(r₂，c₂)，其值分别为f(M₁₁)、f(M₁₂)、f(M₂₁)、f(M₂₂)。

首先在c方向上进行插值：

$f\left(R_1\right)\≈\frac{c_2-c}{c_2-c_1}f\left(M_{11}\right)+\frac{c-c_1}{c_2-c_1}f\left(M_{12}\right)\mathrm{where}{R}_1=(r_1,c)$

$f\left(R_2\right)\≈\frac{c_2-c}{c_2-c_1}f\left(M_{21}\right)+\frac{c-c_1}{c_2-c_1}f\left(M_{22}\right)\mathrm{where}{R}_2=(r_2,c)$

接着在r方向上进行线性插值，得：

$f\left(P\right)=f(r,c)\≈\frac{r_2-r}{r_2-r_1}f\left(R_1\right)+\frac{r-r_1}{r_2-r_1}f\left(R_2\right)$

可得：

$f\left(P\right)=f(r,c)$

$\≈\frac{(r_2-r)(c_2-c)}{(r_2-r_1)(c_2-c_1)}f\left(M_{11}\right)+\frac{(r_2-r)(c-c_1)}{(r_2-r_1)(c_2-c_1)}f\left(M_{12}\right)+$

$\frac{(r-r_1)(c_2-c)}{(r_2-r_1)(c_2-c_1)}f\left(M_{21}\right)+\frac{(r-r_1)(c-c_1)}{(r_2-r_1)(c_2-c_1)}f\left(M_{12}\right)$

在像素空间中，可以利用相邻像素点坐标差为1这个特点简化式中分母的运算，从而大大提高计算速度。

该模块的算法有两个优点：

1)每次校正桶形失真的图像只需线性遍历一次内存数组保存的像素坐标值，故程序执行速度很高；

2)利用双线性插值法，能令补偿后的图像更清晰、细腻，能很好的提高图像识别率。

2.3倾斜与倒置校正单元

本模块的作用是对倾斜或倒置了的图像进行校正，从而提高证件信息识别率。由于证件信息采集时，证件有可能会随意放置，这将导致捕获的图像存在倾斜或倒置现象，这有可能导致证件信息识别完全失效。图6为本发明的倾斜与倒置校正模块的工作流程图，其说明如下：

其中、倾斜校正单元的具体流程为：

a)拷贝一份原图像并对其按指定的缩放因子实施缩小操作，缩放因子的确定可以按证件占整个成像区域的比例而确定

b)将缩小之后的图像从RGB色彩空间转换成YCbCr色差空间，转换公式如式：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.1687& -0.3313& 0.5\\ 0.5& -0.4187& -0.0813\end{array}\right]*\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

取出转换后的亮度(Y)分量。

c)使用对噪声抑制作用明显的Sobel梯度算子模板对上述亮度(Y)分量实施Sobel边缘检测，得到一个较粗糙的轮廓描述信息，具体如下：

一幅数字图像的一阶导数是基于各种二维梯度的近似值，首先定义图像的亮度函数f(x，y)在位置(x，y)处的梯度向量为：

$\▿F=\left[\begin{array}{c}{G}_x\\ G_y\end{array}\right]=\left[\begin{array}{c}\frac{\∂f}{\∂x}\\ \frac{\∂f}{\∂y}\end{array}\right]$

梯度向量指向坐标(x，y)点处f的最大变化速率方向，在边缘检测中，一个重要的量是这个向量的模，即：

$\▿f=|\▿f|=\sqrt{{G_x}^2+{G_y}^2}$

然后根据每个像素点求得的向量模值的大小经过门限操作后得到一幅粗糙的轮廓图像。

d)对上述步骤的粗糙轮廓图像进行细化处理操作，得到只有一个像素宽度的细边缘轮廓信息，细化又称为骨架化，是基于图像形态学原理的图像处理方法，利用细化算法可以有效地提取图像的边界信息，轮廓信息，进而使用合适的方法进行描述，如链码等。具体操作如下：

设边缘上的点值为“1”，而背景上的点值为“0”。本发明优先考虑使用Zhang快速并行算法对边缘检测之后的图像进行细化。首先定义轮廓点是本身标记为“1”而其8连通邻域中至少有“1”个点标记为“0”的点。算法对轮廓点进行如下操作该算法对给定区域的轮廓点逐次应用以下两个步骤：

Step1：考虑以边界点为中心的8邻域，记中心点为p1，其邻域的8个点顺时针绕着中心点分别记为p2，p3，...，p9，其中p2在p1的上方。如果下列条件满足，则标记该轮廓点p1：

$\left\{\begin{array}{c}\left(a\right)2\≤N\left(p1\right)\≤6\\ \left(b\right)T\left(p1\right)=1\\ \left(c\right)p2\·p4\·p6=0\\ \left(d\right)p4\·p6\·p8=0\end{array}\right.$

其中N(p1)表示点p1的非零相邻点数目，即

N(p1)＝p2+p3+...+p8+p9

并且T(p1)是以p2，p3，...，p8，p9，p2为次序轮转时，从“0”到“1”的变化次数的计数。

当对所有轮廓点都检验完毕后，将所有标记了的点删除，即改为“0”值，称这样得到的数据为结果数据。

Step2：Step1中的条件(a)、(b)保持不变，把条件(c)、(d)变为：

$\left\{\begin{array}{c}\left(c^{\′}\right)p2\·p4\·p8=0\\ \left(d^{\′}\right)p2\·p6\·p8=0\end{array}\right.$

按Step1中同样的办法遍历结果数据，完成标记工作，并对标记的所有点在完成整幅图像扫描之后进行删除。

以上两步操作构成一次迭代。只要通过反复迭代，直到没有点再满足标记条件，这时剩下的点便组成了区域的骨架，我们也便得到了单像素宽度的细轮廓图像。

e)将得到细轮廓图像后使用Hough变换可以求得证件四条边框的直线参数，并进而求得倾斜的角度，具体如下：

在图像空间中的一条直线方程y＝ax+b可用极坐标表示为：

        ρ＝xcosθ+ysinθ

其中ρ是原点到直线的垂直距离，θ是直线的垂线与x轴正向之间的夹角。使用极坐标代替斜截式描述直线方程带来的好处是可以避免当直线接近垂直时，直线的斜率接近无限大。

由式可知图像平面上所有经过点(x_i，y_i)的直线对应于ρθ平面上的正弦曲线。而图像平面上满足ρ_i＝xcosθ_i+ysinθ_i共线点集Q生成参数空间中交于点(ρ_i，θ_i)的正弦曲线。因此通过将ρθ平面划分为不同的累加单元，建立离散的参数空间，对图像中每个值为1的像素点进行Hough变换计算，计算出参数空间对应的曲线，并在相应的累加器上加1，再通过寻找累加器中的多个峰值点，其对应的坐标(ρ，θ)表示的直线就是待检测直线的参数空间的特征值。

在本发明中，由于成像背景环境很好，故拍摄到的证件图像轮廓是比较清晰的。此时基本上可以检测到证件图像四条边框相应的直线参数。除了判定边框中长边与短边之外，还需要考虑Hough变换中两种特殊情况：

(1)参数空间的左右边缘反射邻接关系，即参数空间中点(ρ，π/2)与点(-ρ，-π/2)描述同一条直线方向；

(2)一条长的线段边框检测为多段不连续的子线段的情况，此时需要按一定准则进行合并；

考虑到检测的证件图像四条边中每两条边为一组构成了两组平行线，而且两组平行线又相互垂直。因而证件图像边框的大小它们的确定可以通过两组平行线之间的距离，也即Hough变换中计算得到的ρ值的差求得。因而利用这些信息可以判断出证件长的边框倾斜的角度。

Hough变换的反射邻接问题可以通过检测是否出现在π/2倾角附近出现ρ值和倾角θ同时变换符号，若出现该情况，则对其取绝对值即可。

对于上述情况(2)，由于本发明的目的只是为了检测出倾斜角，并判断出哪一个倾斜角是长边框的倾斜角，因而可以仅利用同一边的某一子线段的(ρ，θ)信息进行计算。本发明使用了一种对检测到的属于同一条边框的子线段进行合并的准则，具体操作如下：

(1)定义证件四条周边线段元集合LineSegEdge1Set，LineSegEdge2Set，LineSegEdge3Set，LineSegEdge4Set，并且设LineSegEdge1Set与LineSegEdge3Set构成平行一组边(对边)，LineSegEdge2Set与LineSegEdge4Set亦构成对边；

(2)对Hough变换所检测出来的所有可能的某一线段元LineSegEle，判断LineSegEle属于上述线段元集合中哪一个，即同边关系，并将其添加到相应集合中。同边的判据为：两个线段元倾斜角θ相差很小，线段元对应的极半径ρ值相差也很小(经过反射邻接预处理之后)！

(3)对得到的四条周边线段元集合内的线段元分别求倾角和极半径的平均值即可求得每条边框直线倾斜的角度和极半径。

根据上述求倾斜的角度和极半径可以求得证件较长的边框倾斜的角度，此即为证件倾斜的角度。

f)最后，在求得证件倾斜角度之后便可根据该值进行顺时针或逆时针旋转原始证件图像便可实现倾斜校正。

倒置校正单元的具体流程为：

a)将图像缩小到一定的程度并不会改变图像中人脸的相关信息，以减少算法的运算量。

b)将该图像的RGB色彩空间转换为HIS色彩空间，转换公式为：

$S=1-\frac{3}{(R+G+B)}\left[\min (R,G,B)\right]$

$I=\frac{1}{3}(R+G+B)$

其中，R、G、B表示已归一化到[0，1]范围的RGB色彩空间的红色、绿色、蓝色三通道的颜色分量；H、I、S表示HIS色彩空间的色度、亮度、饱和度分量； $\mathrm{\θ}=\arccos \left\{\frac{\frac{1}{2}[(R-G)+(R-B)]}{{[{(R-G)}^2+(R-B)(G-B)]}^{1/2}}\right\},$ 代表像素点与HIS色彩空间的红色轴之间的夹角。

c)根据下面的人脸肤色约束条件将图像转换为二值图像：

0.003＜H＜0.174

0.040＜S＜0.352

0.352＜I＜1

转换后的图像还存在一些干扰噪声，必须滤除这些干扰噪声。

d)利用9×9的模板对二值图像进行中值滤波操作，可将干扰噪声滤除，从而得到一幅只剩下人脸部分的二值图像。

e)根据人脸二值图将前面缩小图的人脸部分图像切割出来，此时图像尺寸将更小，参与运算的像素数量也更少，从而后续的运算速度会得到大大提高。

f)利用RGB边缘提取法，得到人脸的边缘二值图像，方法如下：

Step1：设原人脸图像像素f(i，j)的红、绿、蓝分量为r₁、g₁、b₁，相同行f(i+1，j)的红、绿、蓝分量为r₂、g₂、b₂，相同列f(i，j+1)的红、绿、蓝分量为r₃、g₃、b₃，上述分量先自增1.5倍，然后根据下面的公式得到处理后图像g(i，j)的红、绿、蓝分量为r、g、b，这三个分量可以通过下式计算得到：

$R=2\×\sqrt{{(r_1-r_2)}^2+{(r_1-r_3)}^2}$

$g=2\×\sqrt{{(g_1-g_2)}^2+{(g_1-g_3)}^2}$

$b=2\×\sqrt{{(b_1-b_2)}^2+{(b_1-b_3)}^2}$

Step2：将Step1得到的r、g、b这三个分量用灰度公式转换为灰度值：

gray＝0.11×b+0.5×g+0.39×r

Step3：根据约束条件，将该灰度值转换为0或255：

$\mathrm{binaryvalue}=\left\{\begin{array}{cc}255,& \mathrm{gray}\≤200,\\ 0& \mathrm{gray}>200\end{array}\right.$

Step4：遍历整幅图像，重复进行Step1～Step3操作，直至遍历完毕，此时可得到一幅人脸轮廓的二值图像。

g)水平投影统计检测证件倒置，将人脸分成上、下两部分N₁、N₂，根据人脸特征可知，带眼睛、眉毛部分的线条像素之和总是比只带鼻子、嘴唇部分的线条像素之和多，因此可采用水平投影统计方法统计上下部分图像的像素之和，然后根据两者的大小来确定图像是否倒置：如果N₁-N₂＜15，即上部分与下部分轮廓线条像素之差小于15，则可断定图像倒置(因为人脸上半部分包括眼睛、眉毛，比人脸下半部分包括的鼻子、嘴巴的轮廓像素要多得多。)，应将图像旋转180°；反之，则判断图像为正常。

2.4图像分割单元

本模块的主要作用是去掉完成预处理后的图像的无用的背景信息，以提高运算速度，同时将证件图像信息分块化，以符合后续的信息提取模块的输入需求。以第二代身份证为例，证件在签发时是按一定的要求分布在各个信息块的区域的，故本发明采用的方法是先采用比例分割的方法将证件图像粗分割为个人信息描述区、头像区、证件号码区三大区域。然后将个人信息描述区采用水平投影法细分割为姓名、性别和民族、出生日期、住址等四个区域。分割模板如图7所示。细分方法说明如下：

1)先将个人信息描述区的彩色图像转换为灰度图像；

2)采用全局门限法将灰度图像二值化；

3)利用公式

$\mathrm{PixelHorizontalSum}\left(i\right)=\underset{j=1}{\overset{L}{\mathrm{\Σ}}}f(i,j)$

其中：PixelHorizontalSum(i)表示第i行上黑色像素点的累加和，f(i，j)表示坐标为(i，j)的像素的值：为目标像素则值为1，否则值为0。这样就得到了一个水平方向投影的柱状统计图。

4)利用水平投影法确定每一个信息子段的起止区域，然后将它们逐一分割出来。

经过切割后的图像分为姓名、性别和民族、出生日期、住址、身份证号码、头像等几个区域。其中，头像区域不用进行信息识别。然后提高各信息块图像的对比度，以提高信息识别正确率。

三、图像信息提取模块

本模块的作用是将利用OCR(Optical Character Recognition，光学字符识别)技术将证件图像的文字信息提取出来，本发明的信息提取模块采用了微软免费提供的Microsoft Office Document Imaging(MODI)组件。它包含了一个可以识别十几种语言文字的OCR引擎，而且这个引擎的中文识别(包括简体和繁体)采用的是清华紫光的识别引擎，因此能够保证较高的识别率。

Claims (3)

1.一种多功能证件信息采集系统，包括用于获取证件图像信息的图像采集模块、用于对获取的证件图像进行处理以输出合乎要求的图像的图像处理模块，以及将证件图像的文字信息提取出来的图像信息提取模块，所述图像采集模块包括CMOS图像采集模块、传输接口模块、LED光源组模块和电源模块；所述图像处理模块包括偏色校正单元、桶形失真校正单元、倾斜与倒置校正单元和证件信息分割单元；所述图像信息提取模块利用OCR技术提取证件图像的文字信息，

所述CMOS图像采集模块采用焦距为1.65mm、可视角为171°的微距鱼眼镜头，所述LED光源组模块采用方向性相对较弱，发光颜色接近白光的两个LED灯，所述图像处理模块的偏色校正单元采用基于完美反射法的偏色校正方法，

所述桶形失真校正单元采用三次样条曲线对鱼眼镜头的桶形畸变规律进行拟合失真模型，从而对失真图像进行校正，桶形失真校正的工作流程为：

1)利用前向投影原理求得目标图像f2的大小；

2)利用后向投影原理求得失真图像f1到目标图像f2的坐标映射表，并保存在内存数组中；

3)每捕获一幅图像，都遍历内存数组中的坐标映射表，然后使用灰度双线性插值方法恢复原失真图像。

所述倾斜与倒置校正单元的工作流程为：

1)将证件图像按照一定的比例因子进行缩放；

2)对证件图像进行灰度处理；

3)对灰度处理后的证件图像进行Sobel算子边缘检测，得到较粗宽轮廓图像；

4)对较粗宽轮廓图像进行细化处理，得到只有一个像素宽度的细边缘轮廓图像；

5)将所得到的细边缘轮廓图像实施Hough变换，检测出边框的直线参数，利用检测到的参数计算得到原始证件倾斜的角度；

6)利用得到的倾斜角度对原图像进行旋转操作；

7)对倾斜校正后的图像进行缩小操作，并对图像进行RGB到HSI色彩空间变换；

8)以人脸肤色为约束条件将图像二值化，并对得到的二值图像进行中值滤波操作，滤除干扰，令整幅图像只剩下人脸部分的二值图像；

9)利用人脸部分的二值图像从步骤7)所得的缩小的彩色图像切割出人脸部分图像；

10)利用RGB彩色边缘提取法对人脸部分图像进行边缘检测，得到人脸轮廓二值图；

11)利用水平投影统计法，对人脸轮廓二值图像的上、下部分分别进行水平投影统计，从而判定图像是否倒置；

12)对倒置了的图像进行旋转校正；否则直接输出倾斜校正后的图像。

2.根据权利要求1所述的多功能证件信息采集系统，其特征在于，所述证件信息分割单元采用比例分割的方法将证件图像粗分割为个人信息描述区、头像区和证件号码区三大区域，然后再将个人信息描述区采用水平投影法细分割为姓名、性别和民族、出生日期和住址四个区域。

3.根据权利要求1所述的多功能证件信息采集系统，其特征在于，所述图像采集模块还包括RFID卡射频感应获取信息的RFID感应模块，所述传输接口模块在USB接口的基础上增加一个USB的Hub芯片，实现接口的复用功能，用来传输来自RFID模块的信息。

Images