CN113192008B - 一种证件数字图像的光场防篡改采集装置及防篡改方法 - Google Patents

Abstract

本发明公开了一种证件数字图像的光场防篡改采集装置，将光场成像技术同证件数字图像防篡改相结合，通过采用光场成像技术的证件扫描装置以及特征检测和提取方法相结合的计算方式，并通过角度计算方法来对能够提供所使用人员的身份信息类证件的图像特征进行提取和识别，以获取证件数字图像的特征信息。通过使用本发明所提供的方法，在一定程度上可以实现不局限于第二代居民身份证的访客人员身份识别以及证件数字图像防篡改技术，并且通过本发明的方法，可以在不局限于第二代居民身份证的基础上来实现诸如对驾驶证、居民暂住证等证件的防止电子篡改的技术。

Description

一种证件数字图像的光场防篡改采集装置及防篡改方法

技术领域

本发明属于计算机摄影学以及数字图像处理技术领域，具体涉及一种证件数字图像的光场防篡改采集装置，还涉及一种证件数字图像的光场防篡改方法。

背景技术

光场成像是计算机视觉和计算机摄影学的代表理论之一，采用了光场成像技术的光场相机能够记录光线在传播过程中的二维方向和二维角度信息，相较于传统相机的二维成像方式而言，光场成像技术多出两个维度能够记录光线更多的信息，而通过光场相机拍摄出来的光场图像中含有的信息量也高于传统图像。

随着近些年来数字成像技术的快速发展和信息安全的普及，证件扫描技术以及证件图像的可信性评价等相关领域也受到人们的愈发关注。目前来看，证件的可信性评价主要采用传统人工检查方式对证件进行登记确认，基于内置芯片的加密信息认证技术，根据生物信息等的身份识别方法等。针对已采集的证件数字图像，已经有可用于数字图像电子篡改检测的相关算法，但是由数字图像成像端出发的防篡改采集及篡改检测方法较少，特别是将光场成像技术与防篡改采集的相关技术及理论仍未见报道。现有相近的光学防伪技术如激光镭射防伪标签技术、湿敏防伪技术以及光变油墨防伪技术，其目标主要是生成难以伪造的图像目标，但是对于传统数字图像数据如何进行高可信及防篡改的图像采集仍缺乏相应技术手段。

发明内容

本发明的目的在于提供一种证件数字图像的光场防篡改方法，为现有证件识别检测装置进行防伪甄别提供了一种可靠方法。

本发明的目的还在于提供一种证件数字图像的光场防篡改采集装置。

本发明所采用的第一种技术方案是：一种证件数字图像的光场防篡改采集装置，包括证件数字图像采集端、数据处理端、数据存储端；证件数字图像采集端包括光场相机、固定装置和光源控制装置，光场相机能够采集证件图像的二维空间和二维角度信息的特点，采集到多维度证件图像用于进行图像特征检测和提取，固定装置用于放置证件，光源控制装置能够提供恒定亮度，满足光场成像端清晰成像的要求；

数据处理端包括处理单元和控制单元，数据存储端证件特征库和证件数据库；处理单元连接到光场相机和证件特征库，处理单元用于处理证件图像采集端内置光场相机采集得到的证件光场数字图像，计算和提取特征并将计算得到的数据存储到证件特征库；控制单元能够控制证件图像采集端内置光场相机对证件进行数字图像获取；

证件特征库存储经由数据处理端处理过后的证件光场数字图像特征；所述证件数据库存储经由证件图像采集端采集的证件光场数字图像。

本发明所采用的第二种技术方案是：一种证件数字图像的光场防篡改方法，具体操作步骤如下：

步骤1，将证件置于固定装置上，采用证件数字图像端内嵌光场相机成像模组采集证件的光场图像信息；

步骤2，对于通过步骤1拍摄证件得到证件光场原始图像，采用光场数据处理端对输入的光场原始图像进行解码，获得光场五维参数化矩阵LF[s,t,u,v,3]；

步骤3，从五维参数化矩阵LF[s,t,u,v,3]中提取得到光场图像的中心子孔径图像，具体是通过循环遍历矩阵LF[s,t,u,v,3]中的[u,v]数据，通过提取每一个(u,v)角度的图像，进而得到有序的子孔径图像矩阵；

步骤4，将光场图像的子孔径图像矩阵上传至数据存储端的证件特征库进行处理得到光场对极平面图像，即EPI图像；

步骤5，对步骤4得到的EPI图像进行SIFT特征点检测，将检测结果上传至数据存储端的证件特征库；

步骤6，对步骤4得到的EPI图像进行角度计算，根据已知EPI图像宽度通过利用结构张量方法计算出光场水平和垂直EPI图像斜线的长度，上传至数据存储端的证件特征库；

步骤7，在对同一持证人员所持证件进行防篡改采集检测时，重复步骤1至步骤6，得到对比数据，计算对比数据与存储数据关键信息对比码的相似性，对证件的防篡改与否进行判断。

本发明的特点还在于，

步骤1防篡改装置的证件数字图像采集端是使用了内嵌光场相机的图像采集装置，通过采用光场成像技术可以通过获取的更多视角信息进行计算，从而对证件数字图像进行角度域特征检测和提取。

对步骤1的防篡改采集装置进行相机校准，使用校准过后的证件采集端对证件进行拍照，具体的相机具体校准方式如下：

步骤1.1，将证件置于防篡改采集装置下端固定，调整防篡改采集内光源控制装置使其亮度恒定，满足光场成像端可获得其清晰成像的要求；然后使用防篡改采集装置的内置光场相机拍摄得到证件的光场原图像；

步骤1.2，对采集得到的光场原图像进行滤波处理，降低噪声对成像结果的影响；

步骤2具体如下：

步骤2.1，对光场原始图像进行校正以保证每个子像素同微透镜对应起来，将证件光场原始图像和相应光场相机参数文件输入至数据处理端，根据光场相机参数文件获取内置光场相机的微透镜阵列旋转角度、水平间隔和垂直间隔以及各个微透镜中心点坐标数据获得校正后光场图像的方向信息数据；

步骤2.2，以校正后的光场图像的方向信息数据u为高度，v为宽度建立光场图像的UV平面，以校正过后的光场图像的方向信息数据s为高度，t为宽度建立光场图像的ST平面，并在经过循环遍历微透镜阵列的每个微透镜之后来得到每个微透镜相对于原始图像的坐标，进而可以计算每个像素点坐标，然后将像素点坐标由RGB三通道输出，最终得到光场五维参数化矩阵LF[s,t,u,v,3]。

步骤4具体如下：

步骤4.1，设定阈值为所有子孔径图像平均亮度值35％，舍弃平均亮度低于该阈值的子孔径图像；

步骤4.2，根据子孔径图像进行水平和垂直方向的堆叠，生成水平和垂直EPI图像集合。

步骤5具体如下：

步骤5.1，把每张EPI图像与高斯核进行卷积，构建得到EPI图像高斯金字塔，进而构建EPI图像的高斯差分金字塔，再消除EPI图像高斯差分金字塔的边缘响应，用以减少噪声对图像边缘处特征点检测的影响：通过获取所提取得到的EPI图像特征点处的Hessian矩阵,其中Tr(H)为矩阵的迹，Det(H)为特征点主曲率，设定阈值r＝10，保留比值在该阈值下的特征点，以消除边缘响应：

步骤5.2，采用SIFT特征点检测方法对EPI图像的高斯差分金字塔中的中心子孔径图像所在的EPI图像进行不同尺度的特征点检测。

步骤6具体如下：

步骤6.1，根据所检测的EPI特征点，定义每个特征点所在的关键位置，所述关键位置是EPI图像中特征点所在的一条直线，然后对EPI图像中特征点所在的一条直线，即关键位置，进行编号来得到关键位置序列码，所述关键位置序列码是EPI图像中关键位置按照从左至右进行编号得到，这样就可以将所有检测得到的特征点关键位置构成关键位置序列码；

步骤6.2，根据每一个EPI图像关键位置，可以计算出其相应线条的角度，采用结构张量计算方法得到每条线的方向n以及一对参数ρ和θ，其中ρ对应于从图像坐标系的原点到以像素为单位测量的线的垂直距离也即是EPI图像宽度，θ是由该垂直线形成的角度；将关键点位置序列码转换成ρ和θ参数形成图像的关键信息对比码，其中Gσ表示外部尺度σ上的高斯平滑算子，Sx，Sy表示内部尺度σ上计算出的EPI图像上的梯度分量，J为结构张量，其中，Jyy、Jxy、Jxx是特征点处像素点的坐标：

本发明的有益效果是，

一、通过采用光场成像技术的证件数字图像特征检测和提取方法，能够获得证件图像不同视角下的不变特征，通过检测此类不同视角证件数字图像的局部不变特征是否被人为修改，最终可以判断证件是否经过电子篡改。

二、本发明通过光场成像技术可实现卡片类证件图像采集及防篡改鉴别，本发明所提供的方法可应用于银行、酒店等场所来使用诸如居民身份证、驾驶证或暂住证等证件来实现人员信息的二次确认。

附图说明

图1是本发明一种证件数字图像的光场防篡改装置的硬件连接图；

图2是本发明一种证件数字图像的光场防篡改方法中水平EPI图像集合；

图3是本发明一种证件数字图像的光场防篡改方法的行EPI角度计算放大图；

图4是本发明一种证件数字图像的光场防篡改方法的技术流程图。

图中，1.证件图像采集端，11.光场相机，12.固定装置，13.光源控制装置，2.数据处理端，21.处理单元，22.控制单元，3.数据存储端，31.证件特征库，32.证件数据库。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明是一种证件数字图像的光场防篡改采集装置，如图1所示，包括证件数字图像采集端1、数据处理端2、数据存储端3；证件数字图像采集端1包括光场相机11、固定装置12和光源控制装置13，光场相机11能够采集证件图像的二维空间和二维角度信息的特点，采集到多维度证件图像用于进行图像特征检测和提取，所述固定装置12用于放置证件，所述光源控制装置13能够提供恒定亮度，满足光场成像端清晰成像的要求；所述处理单元21连接到光场相机11和证件特征库31，用于处理证件图像采集端内置光场相机采集得到的证件光场数字图像，计算和提取特征并将计算得到的数据存储到证件特征库31；所述控制单元22连接到证件图像采集端，能够控制证件图像采集端内置光场相机11，对证件进行数字图像获取；

数据处理端2分别连接证件数字图像采集端1和数据存储端3，能够对证件数字图像采集端采集到的图像信息进行处理，主要包括在证件的光场对极平面图像上做特征检测和特征提取，即光场EPI图像，然后对光场EPI图像进行角度域连续性计算，并将特征检测和提取结果上传至数据存储端的证件特征库31；所述证件特征库31，存储由证件图像采集端1采集并经由数据处理端2处理过后的证件光场数字图像特征；所述证件数据库32，存储经由证件图像采集端1采集的证件光场数字图像；

一种证件数字图像的光场防篡改方法，如图4所示，具体操作步骤如下：

步骤1，将证件置于固定装置上，采用证件数字图像端内嵌光场相机成像模组采集证件的光场图像信息；

防篡改装置的证件数字图像采集端是使用了内嵌光场相机的图像采集装置，通过采用光场成像技术可以通过获取的更多视角信息进行计算，从而对证件数字图像进行角度域特征检测和提取；

对步骤1的防篡改采集装置进行相机校准，使用校准过后的证件采集端对证件进行拍照，具体的相机具体校准方式如下：

步骤1.1，将证件置于防篡改采集装置下端固定，调整防篡改采集内光源控制装置使其亮度恒定，满足光场成像端可获得其清晰成像的要求；然后使用防篡改采集装置的内置光场相机拍摄得到证件的光场原图像；

步骤1.2，对采集得到的光场原图像进行滤波处理，降低噪声对成像结果的影响；

步骤2，对于通过步骤1拍摄证件得到证件光场原始图像，采用光场数据处理端对输入的光场原始图像进行解码，获得光场五维参数化矩阵LF[s,t,u,v,3]；

步骤2.1，对光场原始图像进行校正以保证每个子像素同微透镜对应起来，将证件光场原始图像和相应光场相机参数文件输入至数据处理端，根据光场相机参数文件获取内置光场相机的微透镜阵列旋转角度、水平间隔和垂直间隔以及各个微透镜中心点坐标数据获得校正后光场图像的方向信息数据；

步骤2.2，以校正后的光场图像的方向信息数据u为高度，v为宽度建立光场图像的UV平面，以校正过后的光场图像的方向信息数据s为高度，t为宽度建立光场图像的ST平面，并在经过循环遍历微透镜阵列的每个微透镜之后来得到每个微透镜相对于原始图像的坐标，进而可以计算每个像素点坐标，然后将像素点坐标由RGB三通道输出，最终得到光场五维参数化矩阵LF[s,t,u,v,3]。

步骤3，从五维参数化矩阵LF[s,t,u,v,3]中提取得到光场图像的中心子孔径图像，具体是通过循环遍历矩阵LF[s,t,u,v,3]中的[u,v]数据，通过提取每一个(u,v)角度的图像，进而得到有序的子孔径图像矩阵；

步骤4，将光场图像的子孔径图像矩阵上传至数据存储端的证件特征库进行处理得到光场对极平面图像，即EPI图像；

步骤4.1，设定阈值为所有子孔径图像平均亮度值35％，舍弃平均亮度低于该阈值的子孔径图像；

步骤4.2，如图2所示，根据子孔径图像进行水平和垂直方向的堆叠，生成水平和垂直EPI图像集合。

步骤5，对步骤4得到的EPI图像进行SIFT特征点检测，将检测结果上传至数据存储端的证件特征库；

步骤5.1，把每张EPI图像与高斯核进行卷积，构建得到EPI图像高斯金字塔，进而构建EPI图像的高斯差分金字塔，再消除EPI图像高斯差分金字塔的边缘响应，用以减少噪声对图像边缘处特征点检测的影响：通过获取所提取得到的EPI图像特征点处的Hessian矩阵,其中Tr(H)为矩阵的迹，Det(H)为特征点主曲率，设定阈值r＝10，保留比值在该阈值下的特征点，以消除边缘响应：

步骤5.2，采用SIFT特征点检测方法对EPI图像的高斯差分金字塔中的中心子孔径图像所在的EPI图像进行不同尺度的特征点检测；

步骤6，对步骤4得到的EPI图像进行角度计算(如图3所示)，根据已知EPI图像宽度通过利用结构张量方法计算出光场水平和垂直EPI图像斜线的长度，上传至数据存储端的证件特征库；

步骤6.1，根据所检测的EPI特征点，定义每个特征点所在的关键位置，所述关键位置是EPI图像中特征点所在的一条直线，然后对EPI图像中特征点所在的一条直线，即关键位置，进行编号来得到关键位置序列码，所述关键位置序列码是EPI图像中关键位置按照从左至右进行编号得到，这样就可以将所有检测得到的特征点关键位置构成关键位置序列码；

步骤6.2，根据每一个EPI图像关键位置，可以计算出其相应线条的角度，采用结构张量计算方法得到每条线的方向n以及一对参数ρ和θ，其中ρ对应于从图像坐标系的原点到以像素为单位测量的线的垂直距离也即是EPI图像宽度，θ是由该垂直线形成的角度；将关键点位置序列码转换成ρ和θ参数形成图像的关键信息对比码，其中Gσ表示外部尺度σ上的高斯平滑算子，Sx，Sy表示内部尺度σ上计算出的EPI图像上的梯度分量，J为结构张量，其中，Jyy、Jxy、Jxx是特征点处像素点的坐标：

步骤7，在对同一持证人员所持证件进行防篡改采集检测时，重复步骤1至步骤6，得到对比数据，计算对比数据与存储数据关键信息对比码的相似性，对证件的防篡改与否进行判断；

根据再次采集得到的证件数字图像信息，通过证件数据库中已获取证件数字图像特征，采用SSIM(结构相似性)对已经提取得到的证件EPI图像和再次采集得到的证件EPI数字图像进行比较，认定SSIM值在0.90以上为未经过电子篡改的同一证件。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种证件数字图像的光场防篡改方法，其特征在于，采用防篡改采集装置，所述防篡改采集装置包括证件数字图像采集端(1)、数据处理端(2)、数据存储端(3)；所述证件数字图像采集端(1)包括光场相机(11)、固定装置(12)和光源控制装置(13)，所述光场相机(11)能够采集证件图像的二维空间和二维角度信息的特点，采集到多维度证件图像用于进行图像特征检测和提取，所述固定装置(12)用于放置证件，所述光源控制装置(13)能够提供恒定亮度，满足光场成像端清晰成像的要求；

所述数据处理端(2)包括处理单元(21)和控制单元(22)，所述数据存储端(3)包括证件特征库(31)和证件数据库(32)；所述处理单元(21)连接到光场相机(11)和证件特征库(31)，所述处理单元(21)用于处理证件图像采集端内置光场相机采集得到的证件光场数字图像，计算和提取特征并将计算得到的数据存储到证件特征库(31)；所述控制单元(22)能够控制证件图像采集端内置光场相机(22)对证件进行数字图像获取；

所述证件特征库(31)存储经由数据处理端(2)处理过后的证件光场数字图像特征；所述证件数据库(32)存储经由证件图像采集端(1)采集的证件光场数字图像；

具体操作步骤如下：

步骤1，将证件置于固定装置上，采用证件数字图像端内嵌光场相机成像模组采集证件的光场图像信息；

步骤2，对于通过步骤1拍摄证件得到证件光场原始图像，采用光场数据处理端对输入的光场原始图像进行解码，获得光场五维参数化矩阵LF[s,t,u,v,3]；

步骤3，从五维参数化矩阵LF[s,t,u,v,3]中提取得到光场图像的中心子孔径图像，具体是通过循环遍历矩阵LF[s,t,u,v,3]中的[u,v]数据，通过提取每一个(u,v)角度的图像，进而得到有序的子孔径图像矩阵；

步骤4，将光场图像的子孔径图像矩阵上传至数据存储端的证件特征库进行处理得到光场对极平面图像，即EPI图像；

步骤5，对步骤4得到的EPI图像进行SIFT特征点检测，将检测结果上传至数据存储端的证件特征库；

步骤6，对步骤4得到的EPI图像进行角度计算，根据已知EPI图像宽度通过利用结构张量方法计算出光场水平和垂直EPI图像斜线的长度，上传至数据存储端的证件特征库；

步骤6具体如下：

步骤6.1，根据所检测的EPI特征点，定义每个特征点所在的关键位置，所述关键位置是EPI图像中特征点所在的一条直线，然后对EPI图像中特征点所在的一条直线，即关键位置，进行编号来得到关键位置序列码，所述关键位置序列码是EPI图像中关键位置按照从左至右进行编号得到，这样就可以将所有检测得到的特征点关键位置构成关键位置序列码；

步骤6.2，根据每一个EPI图像关键位置，可以计算出其相应线条的角度，采用结构张量计算方法得到每条线的方向n以及一对参数ρ和θ，其中ρ对应于从图像坐标系的原点到以像素为单位测量的线的垂直距离也即是EPI图像宽度，θ是由该垂直线形成的角度；将关键点位置序列码转换成ρ和θ参数形成图像的关键信息对比码，其中Gσ表示外部尺度σ上的高斯平滑算子，Sx，Sy表示内部尺度σ上计算出的EPI图像上的梯度分量，J为结构张量，其中，JY、Jxy、Jxx是特征点处像素点的坐标：

步骤7，在对同一持证人员所持证件进行防篡改采集检测时，重复步骤1至步骤6，得到对比数据，计算对比数据与存储数据关键信息对比码的相似性，对证件的防篡改与否进行判断。

2.根据权利要求1所述的一种证件数字图像的光场防篡改方法，其特征在于，步骤1所述的防篡改装置的证件数字图像采集端是使用了内嵌光场相机的图像采集装置，通过采用光场成像技术可以通过获取的更多视角信息进行计算，从而对证件数字图像进行角度域特征检测和提取。

3.根据权利要求1所述的一种证件数字图像的光场防篡改方法，其特征在于，对步骤1的防篡改采集装置进行相机校准，使用校准过后的证件采集端对证件进行拍照，具体的相机具体校准方式如下：

步骤1.1，将证件置于防篡改采集装置下端固定，调整防篡改采集内光源控制装置使其亮度恒定，满足光场成像端获得其清晰成像的要求；然后使用防篡改采集装置的内置光场相机拍摄得到证件的光场原图像；

步骤1.2，对采集得到的光场原图像进行滤波处理，降低噪声对成像结果的影响。

4.根据权利要求1所述的一种证件数字图像的光场防篡改方法，其特征在于，步骤2具体如下：

步骤2.1，对光场原始图像进行校正以保证每个子像素同微透镜对应起来，将证件光场原始图像和相应光场相机参数文件输入至数据处理端，根据光场相机参数文件获取内置光场相机的微透镜阵列旋转角度、水平间隔和垂直间隔以及各个微透镜中心点坐标数据获得校正后光场图像的方向信息数据；

步骤2.2，以校正后的光场图像的方向信息数据u为高度，v为宽度建立光场图像的UV平面，以校正过后的光场图像的方向信息数据s为高度，t为宽度建立光场图像的ST平面，并在经过循环遍历微透镜阵列的每个微透镜之后来得到每个微透镜相对于原始图像的坐标，进而可以计算每个像素点坐标，然后将像素点坐标由RGB三通道输出，最终得到光场五维参数化矩阵LF[s,t,u,v,3]。

5.根据权利要求1所述的一种证件数字图像的光场防篡改方法，其特征在于，步骤4具体如下：

步骤4.1，设定阈值为所有子孔径图像平均亮度值35％，舍弃平均亮度低于该阈值的子孔径图像；

步骤4.2，根据子孔径图像进行水平和垂直方向的堆叠，生成水平和垂直EPI图像集合。

6.根据权利要求5所述的一种证件数字图像的光场防篡改方法，其特征在于，步骤5具体如下：

步骤5.1，把每张EPI图像与高斯核进行卷积，构建得到EPI图像高斯金字塔，进而构建EPI图像的高斯差分金字塔，再消除EPI图像高斯差分金字塔的边缘响应，用以减少噪声对图像边缘处特征点检测的影响：通过获取所提取得到的EPI图像特征点处的Hessian矩阵,其中Tr(H)为矩阵的迹，Det(H)为特征点主曲率，设定阈值r＝10，保留比值在该阈值下的特征点，以消除边缘响应：

步骤5.2，采用SIFT特征点检测方法对EPI图像的高斯差分金字塔中的中心子孔径图像所在的EPI图像进行不同尺度的特征点检测。