CN102136166B - 多模态信息融合的纸币成像鉴伪方法及其装置 - Google Patents

Abstract

本发明提供一种克服现有方法局限性、实现高可靠性的多模态信息融合的纸币成像鉴伪方法及其装置。多模态信息融合的纸币成像鉴伪装置是由传感器、信号处理单元、主控单元、驱动单元和传输通道组成的，主控单元分别连接位置传感器、信号处理单元和驱动单元，驱动单元连接传输通道。方法步骤包括采集纸币的多模态特征；通过多种特征提取方法拟合人对纸币鉴伪特征的感知过程，构建多模态特征空间；针对不同的防伪特征，采用有针对性的匹配及比较算法。本发明根据模型区分纸币污损与防伪特征异常，采用多分类器融合方法，有效克服现有方法的局限性，实现高可靠性的纸币鉴伪。

Description

多模态信息融合的纸币成像鉴伪方法及其装置

(一)技术领域

本发明涉及图像处理技术，具体说就是一种多模态信息融合的纸币成像鉴伪方法及其装置。

(二)背景技术

纸币鉴伪是金融机电产品的核心。尤其在经济全球化、人民币国际化的进程中，纸币鉴伪设备已成为维护国家主权形象、维护社会经济信心的重要技术保障。面对当前层出不穷的假币犯罪，现有纸币鉴伪方法及装置还存在许多缺陷与不足。以专利《通用纸币特性鉴别器和确认器》(公告号CN1160659)、《一种纸币辨识装置》(公开号CN1490766)、《纸币的真假识别方法》(公告号CN1253835)、《纸币鉴别设备》(公告号CN1123850)、《纸币鉴别装置、纸币鉴别方法》(公开号CN101763681A)为例，当前鉴伪多采用若干防伪特征鉴别单元用于对纸币中的一个防伪特征点进行鉴别，如果所有防伪特征点的鉴别结果都为真，则判决所述纸币为真币；否则，根据鉴别结果为假的防伪特征点的分布情况，确定所述纸币的变造方式。该类方法主要有以下四大局限性：特征选择局限性：当前的纸币鉴别，多采用机读特征，如磁信号、红外、紫外信号，该类特征易于采集、处理。但对于传统有效的可见特征，如雕版风格、印刷质量一直缺乏有效的检测方法。点检测局限性：这种基于特征点的检测方式，不能全面评估纸币状态，造假者可通过反复试验，找出检测点，然后只需针对检测点进行伪造，或拼接变造即可制造出该类设备无法检出的假币。逻辑判断局限性：纸币防伪是综合多种特征进行防伪。以人民币99版100元为例，同为正常纸币，其红外防伪特征存在多种表现或误差，存在较大离散性。这些所谓的防伪特征并非由官方发布、而是各厂家自行研究确定，应属于辅助性防伪特征，因为一个局部的波动就武断地将纸币判为假币显然是不恰当的。实用局限性：纸币在真实环境中，存在各种污损、干扰。这些都影响纸币的真伪鉴别。现有方法无法区分纸币的特征异常是由于污损造成的，还是伪造形成的。在实用过程中，如果判断过严，则将污损纸币大量判为假币，而一旦判断过松，则给假币犯罪留下了可乘之机。

(三)发明内容

本发明的目的在于提供一种克服现有方法局限性、实现高可靠性的多模态信息融合的纸币成像鉴伪方法及其装置。

本发明的目的是这样实现的：所述的多模态信息融合的纸币成像鉴伪装置是由位置传感器、多光谱传感器、扩充传感器接口、磁传感器、超声传感器、信号处理单元、主控单元、驱动单元和传输通道组成的，主控单元分别连接位置传感器、信号处理单元和驱动单元，驱动单元连接传输通道，信号处理单元分别连接多光谱传感器、扩充传感器接口、磁传感器和超声传感器。

所述的多模态信息融合的纸币成像鉴伪方法，步骤如下：

步骤一：纸币首先通过位置传感器，触发信号采集进程，多光谱图像传感器、磁传感器、超声传感器依次工作，采集纸币的多模态特征；信息处理单元首先根据可纸币成像，采用数字图像处理方法检测纸币边界，确定纸币的形状、位置，然后根据主控单元回传的纸币运行速度及位移，将纸币其他信息匹配到纸币成像中，获取纸币多模态特征，最后对多模态特征进行倾斜及畸变校正，完成待检纸币的多模态特征重构；根据实际应用的不同，选择不同的纸币传输方式、配置不同的传感器及处理硬件，按走钞方式的不同，分为横向走钞及纵向走钞；

步骤二：通过多种特征提取方法拟合人对纸币鉴伪特征的感知过程，构建多模态特征空间：采用生物特征鉴别及盲举证技术，提取纸币雕版线条的交点、拐点、端点及曲率、纹理特性反映纸币雕版风格；通过边界检测与图像分割，提取印刷线条的连续性、断点特征，提取红外光谱下的纸币凸凹印刷边界及水印形态，从不同角度反应纸币的印刷特点；基于单类别分类的纸币鉴别方法：采用多模态特征空间中的纸币鉴别问题作为模式识别理论中的单类别分类问题，采用支持向量机方法解决；

步骤三：针对不同的防伪特征，采用有针对性的匹配及比较算法：

1)对于边界清晰、结构性强的红外变色图像、紫外透明荧光油墨，采用基于自用形变模型的图像配准技术进行检测；对于边界复杂、纹理丰富的红外变色油墨、彩色荧光油墨，采用纹理特征、同一性特征进行检测；

2)纸币安全线磁信号检测分为局部波形检测及全局编码识别：先检测磁信号波形的形状、周期及曲率，实现对局部波形特征的识别与检测，然后对波形进行整形与编码，采用结构模式识别的字符串匹配方法实现对磁性编码的识别；

3)磁性油墨检测分为局部波形检测及全局磁分布检测：先检测单通道信号局部波形的形状、幅度、周期，然后综合多路磁信号，统计纸币的整体磁分布；

4)超声信号检测，通过超声信号，检测纸币的厚度及材质信息，结合红外、紫外反射及透射成像，判断纸币纸张厚度、荧光反应性质；

步骤四：针对纸币磨损退化现象，提出纸币退化模型，将纸币的全局磨损从微观上看作一种微粒扩散的随机过程，以此为基础构造相应纸币退化序列，将纸币局部缺损、鉴伪特征缺失看做无法预计的异常现象，在此基础上，纸币检测将被分解成两部：首先在参考图像序列中挑选待检图像的最佳对应帧，然后与对应帧进行比较，对于每处特征检测，可根据退化模型确定该特征属于异常变异的隶属概率，最终采用隶属概率而非原始距离比较来衡量各项特征的异常程度，采用多分类器融合的方法进行鉴伪。

本发明一种多模态信息融合的纸币成像鉴伪方法及其装置，采用分布式传感器，在纸币高速传输过程中，实现对纸币多模态信息的采集与重构；采用信息处理方法，实现对人类感知鉴伪过程的计算拟合；针对各种已知防伪特征采用有针对性的检测方法，并在此基础上提出纸币退化模型，根据该模型有效区分纸币污损与防伪特征异常；采用多分类器融合方法，有效克服现有方法的局限性，实现高可靠性的纸币鉴伪。

(四)附图说明

图1本发明的纸币信号采集系统构架；

图2本发明的纸币鉴别软件处理系统构架；

图3本发明的纸币信号处理软件模块构架；

图4本发明的纸币边界检测示意图；

图5本发明的红外成像检测示意图；

图6本发明的可见光检测示意图；

图7本发明的100元人民币磁分布示意图；

图8本发明的基于纸币退化FFD模型的防伪特征检测之真币图像；

图9本发明的基于纸币退化FFD模型的防伪特征检测之假币图像；

图10本发明的基于纸币退化FFD模型的防伪特征检测之匹配结果；

图11本发明的基于纸币退化FFD模型的防伪特征检测之防伪特征。

(五)具体实施方式

下面结合附图举例对本发明作进一步说明。

实施例1：结合图1、图2，本发明一种多模态信息融合的纸币成像鉴伪装置，它是由位置传感器、多光谱传感器、扩充传感器接口、磁传感器、超声传感器、信号处理单元、主控单元、驱动单元和传输通道组成的，主控单元分别连接位置传感器、信号处理单元和驱动单元，驱动单元连接传输通道，信号处理单元分别连接多光谱传感器、扩充传感器接口、磁传感器和超声传感器。

本发明一种多模态信息融合的纸币成像鉴伪方法，步骤如下：

步骤一：纸币首先通过位置传感器，触发信号采集进程，多光谱图像传感器、磁传感器、超声传感器依次工作，采集纸币的多模态特征；信息处理单元首先根据可纸币成像，采用数字图像处理方法检测纸币边界，确定纸币的形状、位置，然后根据主控单元回传的纸币运行速度及位移，将纸币其他信息匹配到纸币成像中，获取纸币多模态特征，最后对多模态特征进行倾斜及畸变校正，完成待检纸币的多模态特征重构；根据实际应用的不同，选择不同的纸币传输方式、配置不同的传感器及处理硬件，按走钞方式的不同，分为横向走钞及纵向走钞；

步骤二：通过多种特征提取方法拟合人对纸币鉴伪特征的感知过程，构建多模态特征空间：采用生物特征鉴别及盲举证技术，提取纸币雕版线条的交点、拐点、端点及曲率、纹理特性反映纸币雕版风格；通过边界检测与图像分割，提取印刷线条的连续性、断点特征，提取红外光谱下的纸币凸凹印刷边界及水印形态，从不同角度反应纸币的印刷特点；基于单类别分类的纸币鉴别方法：采用多模态特征空间中的纸币鉴别问题作为模式识别理论中的单类别分类问题，采用支持向量机方法解决；

步骤三：针对不同的防伪特征，采用有针对性的匹配及比较算法：

1)对于边界清晰、结构性强的红外变色图像、紫外透明荧光油墨，采用基于自用形变模型的图像配准技术进行检测；对于边界复杂、纹理丰富的红外变色油墨、彩色荧光油墨，采用纹理特征、同一性特征进行检测；

2)纸币安全线磁信号检测分为局部波形检测及全局编码识别：先检测磁信号波形的形状、周期及曲率，实现对局部波形特征的识别与检测，然后对波形进行整形与编码，采用结构模式识别的字符串匹配方法实现对磁性编码的识别；

3)磁性油墨检测分为局部波形检测及全局磁分布检测：先检测单通道信号局部波形的形状、幅度、周期，然后综合多路磁信号，统计纸币的整体磁分布；

4)超声信号检测，通过超声信号，检测纸币的厚度及材质信息，结合红外、紫外反射及透射成像，判断纸币纸张厚度、荧光反应性质；

步骤四：针对纸币磨损退化现象，提出纸币退化模型，将纸币的全局磨损从微观上看作一种微粒扩散的随机过程，以此为基础构造相应纸币退化序列，将纸币局部缺损、鉴伪特征缺失看做无法预计的异常现象，在此基础上，纸币检测将被分解成两部：首先在参考图像序列中挑选待检图像的最佳对应帧，然后与对应帧进行比较，对于每处特征检测，可根据退化模型确定该特征属于异常变异的隶属概率，最终采用隶属概率而非原始距离比较来衡量各项特征的异常程度，采用多分类器融合的方法进行鉴伪。

实施例2：结合图1-图7，本发明一种多模态信息融合的纸币成像鉴伪方法，包括以下技术方法：

(1)系统架构：如图1所示，系统主要分为，磁信号处理模块、图像采集处理模块及传输控制模块。磁信号处理直接在主控板SP中完成，图像采集处理在图像处理DSP中完成。其中图像处理模块系统构架如图2所示。图像处理模块可细分为通讯模块、消息处理模块、图像处理模块及硬件资源访问模块。以下具体介绍通讯模块及图像处理模块：通讯模块包含于纸币处理设备通讯、上位机通讯、以及信号采集三部分。纸币处理设备通讯：接受处理设备的指令，设定相应识别功能、返回识别结果。上位机通讯：接受上位机的调试、监控指令、实现对软件运行过程的监控、调试、升级。信号采集：逐行接收图像信号。图像处理模块完成图像的识别、红外特征检测及紫外特征检测。(2)软件/模块架构：

纸币识别模块构架如图3所示。主要完成纸币图像定位与检测、纸币面值面向识别、纸币残缺检测、纸币红外特征检测、纸币紫外特征检测、纸币磁信号检测。纸币图像定位与检测：检测纸币在图像中的边界及形态，判断成像过程中是否发生倾斜、扭曲或出界等畸变现象，如畸变在准许范围内，则进行相应校正。纸币面值面向识别：根据纸币定位信息，提取纸币全局特征进行粗分类，然后提取局部特征进行再分类，确定纸币面值面向。对两侧图像进行识别后，进行结果比对，若比对成功则进行后续处理。纸币红外特征检测：对比可见光与红外光成像，检测纸币上的红外变色油墨特性，辨别纸币真伪。纸币紫外特征检测：检测纸币上的紫外荧光反应图案，辨别纸币真伪。

纸币磁信号检测：根据图像识别得到的纸币面值面向信息，验证纸币的磁信号分布，并检测磁信号波形，辨别纸币真伪。

(3)特征提取方法实现：

纸币图像定位与检测：如图4所示，采用边缘检测算法，搜索可能的边界点，利用纸币边界平行特性，采用最小二乘法拟合佳边界点克服缺损、倾斜的影响，定位纸币在纸币上的位置、计算倾斜校正参数。纸币面值面向识别：首先根据纸币的尺寸、大小，确定纸币的待识类别范围。然后提取纸币的全局网格特征，采用线性分类器或GMM模型进行粗分类。最后采用局部图像配准，检测局部结构特征，确定纸币面值、面向。对于上下两侧CIS图像，分别进行识别，然后进行识别结果比对，最终确定纸币面值面向信息。红外图像检伪模块：如图5所示，通过比纸币的红外变色油墨在可见光及红外光下的成像色差，可以有效检测纸币真伪。首先定位纸币图像上的红外待检区域，根据待检区域的不同物理特性采用有针对性的检测算法。对于结构性改变，可采用区域配准检测，对于纹理等细节特征改变，可采用边缘检测及直方图统计等方法计算。紫外检伪模块：紫外检测分为透明荧光油墨检测和彩色荧光油墨检测两部分。透明荧光油墨如图6(a)所示，该部分油墨在可见光下无色透明、在紫外光线照射下，具有显著荧光反应，亮度较大。首先通过定位信息确定油墨区域，然后通过模板匹配或直方图统计进行检测。彩色荧光油墨如图6(b)所示，该部分油墨在可见光下为可见彩色油墨，在紫外光线照射下有相当较弱的荧光反应。根据面值面向信息，首先通过边缘检测算子，检测可能的荧光反应点，然后统计点的分布特性进行检测。磁信号检伪模块：本系统采用7个磁头纵向采集一张纸币上的7个区域的磁信号，并且利用采集的磁信号进行检伪判定。具体磁信号位置如图7所示磁信号检测主要分为两部分：磁分布检测和波形细节检测。磁分布检测：检测纸币表面磁信号的整体分布，首先，根据安全线周围的磁性分布特点，采用梯度检测算子检测安全线的位置，并进行安全线磁性强度检测。然后，结合面值、面向信息及安全线定位信息，检测号码区域磁分布及头像区域磁分布。波形细节检测：通过磁分布检测，分别定位安全线、号码及头像区域最有代表性的磁信号波形，检测波形梯度特征、周期及幅度，进一步判断磁信号真伪。

(4)纸币退化评估与鉴伪方法实现：

将纸币的全局磨损率(General-Attrition-Rate，GAR)记为ρ，纸币图像I上任何一点z的颜色，都可以看作ρ的函数，记做I(z，ρ)，通过对训练样本的统计，可以对I(z，ρ)进行估计：对于特定类别的纸币，可以将其训练样本根据磨损程度分为崭新、ATM适用、可流通、不可流通、严重磨损5个等级。在各个级别中挑选币面平整，没有明显扭曲变形的纸币作为样本，采用第3章提出的配准方法，对样本进行配准，得到样本间各象素的对应关系，然后统计、插值得到纸币的退化序列：采用g＝0，1，2，3，4标志纸币从新到旧五个等级，每等级挑选D个样本进行训练，将第g级第d个样本记为

记

上z处的颜色值为

以样本

为基准，设上z点与上的点

相对应，统计各等级的标准图像为

$T(z,{\mathrm{\ρ}}_g)=\frac{1}{D}\underset{d=1}{\overset{D}{\mathrm{\Σ}}}{T}_d^g\left(z_d^g\right)$

其中规定ρ₀＝0，ρ₀＝10，ρ₀＝30，ρ₀＝50，ρ₀＝80分别对应从新到旧5等纸币的GAR期望。根据标准图像T(z，ρ_g)，g＝0，1，2，3，4，对ρ_g进行插值，即可模拟整个图像退化序列。在实际应用中GAR的取值范围可以设定为ρ＝0，1，2，K，99。根据GAR的不同取值，将参考图像T扩展为100帧的退化图像序列，其中第ρ帧上点z处的象素记为T(ρ；z)。对于训练样本，可以将其上无油墨区域，如人民币水印区，看做空白区域，分别统计各等级的空白区域颜色均值，记为T_blank(ρ)，对于灰尘颜色均值μ_w有

根据纸币退化序列，可以将FFD模型从二维的几何形变扩展到多模态特征空间，同时考虑纸币形变及信号磨损程度。本节首先考虑磨损程度插值，然后构建相应的代价函数。由于纸币各处的磨损程度并不完全相同，也有必要采用FFD模型进行B-样条插值：对FFD网格的控制点c_k，l，设其退化程度为ρ_k，l。令Θ＝{ρ_k，l}为FFD网格的磨损参数，则对于点z的磨损程度ρ(Θ；z)写做：

$\mathrm{\ρ}(\mathrm{\Θ};z)=\underset{m=0}{\overset{3}{\mathrm{\Σ}}}\underset{n=0}{\overset{3}{\mathrm{\Σ}}}{B}_m\left(s\right)B_n\left(t\right){\mathrm{\ρ}}_{i+m,j+n}$

在形变参数Ψ，以及折旧参数Θ的作用下，图像序列T上位置坐标为z、折旧程度为ρ(z；Θ)的象素T(Θ；z)与待检图像I上位置坐标为L(Ψ；z)的象素I(L(Ψ；z))对应。则该匹配关系下的代价函数为：

$E(\mathrm{\Θ};\mathrm{\Ψ})={\∫\∫}_T{[T(\mathrm{\Θ};z)-I\left(L(\mathrm{\Ψ};z)\right)]}^2\mathrm{dz}$

$+\mathrm{\α}{\∫\∫}_T({\left|\right|\frac{\∂\mathrm{\ρ}(\mathrm{\Ψ};z)}{\∂x}\left|\right|}^2+{\left|\right|\frac{\∂\mathrm{\ρ}(\mathrm{\Ψ};z)}{\∂y}\left|\right|}^2)\mathrm{dz}$

$+\mathrm{\β}{\∫\∫}_T({\left|\right|\frac{\∂\mathrm{\δL}(\mathrm{\Ψ};z)}{\∂x}\left|\right|}^2+{\left|\right|\frac{\∂\mathrm{\δL}(\mathrm{\Ψ};z)}{\∂y}\left|\right|}^2)\mathrm{dz}$

其中第一项为数据驱动项，采用对应象素的色差来衡量纸币间的匹配程度。第二项为退化平滑项，反映相邻区域退化程度的连续性。第三项为形变平滑项，反映形变的平滑程度。采用梯度下降法，即可得到两图像的匹配关系，从而实现鉴伪。

Claims (1)

1.一种采用多模态信息融合的纸币成像鉴伪装置实现的一种多模态信息融合的纸币成像鉴伪方法，其特征在于：

步骤一：纸币首先通过位置传感器，触发信号采集进程，多光谱图像传感器、磁传感器、超声传感器依次工作，采集纸币的多模态特征；信息处理单元首先根据该纸币成像，采用数字图像处理方法检测纸币边界，确定纸币的形状、位置，然后根据主控单元回传的纸币运行速度及位移，将纸币其他信息匹配到纸币成像中，获取纸币多模态特征，最后对多模态特征进行倾斜及畸变校正，完成待检纸币的多模态特征重构；根据实际应用的不同，选择不同的纸币传输方式、配置不同的传感器及处理硬件，按走钞方式的不同，分为横向走钞及纵向走钞；

步骤二：通过多种特征提取方法拟合人对纸币鉴伪特征的感知过程，构建多模态特征空间：采用生物特征鉴别及盲举证技术，提取纸币雕版线条的交点、拐点、端点及曲率、纹理特性反映纸币雕版风格；通过边界检测与图像分割，提取印刷线条的连续性、断点特征，提取红外光谱下的纸币凸凹印刷边界及水印形态，从不同角度反应纸币的印刷特点；基于单类别分类的纸币鉴别方法：采用多模态特征空间中的纸币鉴别问题作为模式识别理论中的单类别分类问题，采用支持向量机方法解决；

步骤三：针对不同的防伪特征，采用有针对性的匹配及比较算法：

1)对于边界清晰、结构性强的红外变色图像、紫外透明荧光油墨，采用基于自用形变模型的图像配准技术进行检测；对于边界复杂、纹理丰富的红外变色油墨、彩色荧光油墨，采用纹理特征、同一性特征进行检测；

2)纸币安全线磁信号检测分为局部波形检测及全局编码识别：先检测磁信号波形的形状、周期及曲率，实现对局部波形特征的识别与检测，然后对波形进行整形与编码，采用结构模式识别的字符串匹配方法实现对磁性编码的识别；

3)磁性油墨检测分为局部波形检测及全局磁分布检测：先检测单通道信号局部波形的形状、幅度、周期，然后综合多路磁信号，统计纸币的整体磁分布；

4)超声信号检测，通过超声信号，检测纸币的厚度及材质信息，结合红外、紫外反射及透射成像，判断纸币纸张厚度、荧光反应性质；

步骤四：针对纸币磨损退化现象，提出纸币退化模型，将纸币的全局磨损从微观上看作一种微粒扩散的随机过程，以此为基础构造相应纸币退化序列，将纸币局部缺损、鉴伪特征缺失看做无法预计的异常现象，在此基础上，纸币检测将被分解成两部：首先在参考图像序列中挑选待检图像的最佳对应帧，然后与对应帧进行比较，对于每处特征检测，可根据退化模型确定该特征属于异常变异的隶属概率，最终采用隶属概率而非原始距离比较来衡量各项特征的异常程度，采用多分类器融合的方法进行鉴伪；

所述的多模态信息融合的纸币成像鉴伪装置，它是由位置传感器、多光谱传感器、扩充传感器接口、磁传感器、超声传感器、信号处理单元、主控单元、驱动单元和传输通道组成的，其特征在于：主控单元分别连接位置传感器、信号处理单元和驱动单元，驱动单元连接传输通道，信号处理单元分别连接多光谱传感器、扩充传感器接口、磁传感器和超声传感器。

Images