CN106056751B - 冠字号码的识别方法及系统 - Google Patents
冠字号码的识别方法及系统 Download PDFInfo
- Publication number
- CN106056751B CN106056751B CN201610341835.2A CN201610341835A CN106056751B CN 106056751 B CN106056751 B CN 106056751B CN 201610341835 A CN201610341835 A CN 201610341835A CN 106056751 B CN106056751 B CN 106056751B
- Authority
- CN
- China
- Prior art keywords
- image
- module
- layers
- pixel
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000010606 normalization Methods 0.000 claims abstract description 42
- 238000013528 artificial neural network Methods 0.000 claims abstract description 29
- 238000003708 edge detection Methods 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 230000001537 neural effect Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 150000002066 eicosanoids Chemical class 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/20—Testing patterns thereon
- G07D7/2008—Testing patterns thereon using pre-processing, e.g. de-blurring, averaging, normalisation or rotation
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/20—Testing patterns thereon
- G07D7/2016—Testing patterns thereon using feature extraction, e.g. segmentation, edge detection or Hough-transformation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Inspection Of Paper Currency And Valuable Securities (AREA)
Abstract
本发明提供一种冠字号码的识别方法及系统，该方法包括：提取冠字号码所在区域的灰度图像，并对灰度图像进行边缘检测；对图像进行旋转；对图像中的单个号码进行精细定位，对定位后的号码的图像中包含的字符进行套紧，并对每个号码图像进行归一化处理，所述归一化包含尺寸归一化和明暗归一化；采用神经网络对归一化后的号码图像进行识别，获得冠字号码。上述方法能够在保证运算速度的同时，提高识别的鲁棒性，保证了实际应用中的准确性和实用性。
Description
技术领域
本发明涉及一种冠字号码的识别方法及系统，适用于特殊印刷制品上的冠字号码的识别。
背景技术
目前，无论是在现金存取款、支票支付转账、车牌号码识别等领域中，对于待识别区域中的冠字号码的识别，都有着重要的要求，尤其在纸币的识别中，要求准确率高，识别效率和识别速度也要高。
在现有技术中，随着DSP技术的发展，通过DSP平台，配合计算机视觉技术和图像处理技术，实现对冠字号码的识别，较为常见。而在具体的识别算法中，常用的方法有模板匹配、BP神经网络、支持向量机等，也有采用多重神经网络融合的方式实现识别，例如，在申请号为CN201410258528.9的专利申请中，通过分别设计训练两个神经网络的方式，实现识别，即通过冠字号码的图像矢量特征训练一个特征提取网络，再结合一个BP神经网络来识别，通过对上述两个网络的加权融合，实现对冠字号码的识别。而在DSP识别方式中，往往局限于网络传输效率以及DSP识别中对纸币的位置、朝向等影响，其识别效率及识别算法的鲁棒性都比较差，例如在申请号为CN201510702688.2的专利申请中，通过灰度阈值与方向搜索的方式，拟合出边缘，再通过阈值对边缘线进行筛选，获得区域斜率，结合神经网络训练识别面向后，通过逐行扫描及后续的神经网络识别出冠字号码。
又如在一现有技术中，如论文《基于图像分析的人民币清分方法研究与实现》中，期采用了卷积神经网络的方式对冠字号码进行识别，但是，上述方案中仅通过最简单二值化对字符进行划分，无法实现对字符的有效套紧，而这将直接影响后续需要处理的数据量，直接影响算法的实用价值；并且上述技术方案中仅采取了对分割字符的简单大小处理，没有有效对预处理及分割后的图像进行套紧以及图像数据的有效归一化处理，而这种简单的大小处理，将对后续的神经网络识别带来繁重的数据处理量，极大降低了后续的识别效率；并且，上述技术方案中同样没有很好地处理纸币残缺对纸币识别及图像的处理造成的影响。虽然上述技术方案理论上能够达到一定的识别准确率，但是，由于其运算识别效率低下，不能很好地转化为商业实用方法，不能适应在现实纸币识别中的速度要求。
可见，现有技术存在以下问题：不能高效率地解决对纸币的朝向及字符的有效定位，其识别后的字符范围较大，容易造成字符的错误划分，并且后期图像处理及识别的数据量大，降低了识别效率；对于走钞造成的纸币图像的快速倾斜变化不能很好地适应，不能及时对纸币的倾斜进行纠正并识别；对破损纸币识别的鲁棒性低，没有提供相应的纸币破损识别处理方式。
发明内容
基于现有技术中存在的诸多问题，本发明提出了一种冠字号码的识别方法和系统，在保证了冠字号码识别的效率的情况下，有效解决了待识别对象破损、脏污、快速翻折等情况下识别算法的鲁棒性问题。具体而言，本发明提供了以下的技术方案：
一种冠字号码的识别方法，所述方法包括以下步骤：
步骤1、提取冠字号码所在区域的灰度图像，并对灰度图像进行边缘检测；该边缘检测，可以通过常规的canny检测、sobel检测等方式实现，再结合直线拟合，获得边缘直线方程，但需要对边缘检测时的经验阈值进行试验设定，以保证方法的运算速度。
步骤2、对图像进行旋转；即将边缘检测后的纸币的图像进行坐标点纠正和映射，以将图像摆正，从而方便号码图像的分割和识别，该旋转方法，可以采用坐标点变换方法，或者依据检测出的边缘方程进行纠正，获得变换方程，也可以以极坐标旋转等方式实现；
步骤3、对图像中的单个号码进行定位，具体包含：通过自适应二值化，对图像进行二值化处理，获得二值化图像；然后对所述二值化图像进行投影，常规的图像投影仅通过一次垂直投影和一次水平投影来完成，具体的投影方向和次数，可以依据识别的具体环境及精度要求做调整，例如还可以采用带有倾斜角度方向的投影等，或者采用多次多重投影结合；最后通过设置移动窗口，采用移动窗口配准的方式，对号码进行分割，得到每个号码的图像，由于纸币的破损、脏污等常见问题，对于冠字号码图像上有脏污，字符与字符之间存在粘连的纸币效果较差，尤其是对三个或三个以上字符的粘连，几乎分割不开，因此，本发明在图像投影之后，又加入了移动窗口配准的方式，精确确定字符的位置；该移动窗口配准的方式，即通过设置固定窗口的方式，例如类似窗口模板方式等，缩小号码区域，实现更精准的区域定位，而所有通过设置固定窗口滑动匹配的方式，均能够适用于本申请之中；
步骤4、对所述每个号码的图像中包含的字符进行套紧，并对每个号码图像进行归一化处理，所述归一化包含尺寸归一化和明暗归一化；字符的套紧操作，是在步骤3的基础上，对分割出大致位置的字符，再次进行详细定位，以进一步减少后续图像识别要处理的数据量，这大大保证了系统的整体运行速度；
步骤5、采用神经网络对归一化后的号码图像进行识别，获得冠字号码。
优选地，所述步骤1中的边缘检测进一步包括：设定一灰度阈值，依据该阈值从上、下两方向进行直线搜索，获取边缘，这一边缘检测，采用直线扫面的方式，获取边缘直线的像素坐标；再通过最小二乘法，获得图像的边缘直线方程，并同时获得纸币图像的水平长度、垂直长度和斜率。
优选地，所述步骤2中的旋转，进一步包括：基于所述水平长度、垂直长度和斜率，获得旋转矩阵，依据所述旋转矩阵，求取旋转后的像素点坐标。所述旋转矩阵，可以通过极坐标转换的方式获得，即极坐标转换矩阵，例如可以通过获取到的边缘的直线方程，得到纸币的倾斜角度，依据该角度以及边缘的长度，计算各像素点的极坐标转换矩阵；也可以通过普通的坐标转换方式计算，例如依据该倾斜角度和边缘长度，将纸币的中心点设定为坐标原点，计算每个坐标点的在新坐标系中的转换矩阵等；当然，也可以采用其他的矩阵变换法方式进行纸币图像的旋转纠正。
优选地，所述步骤3中，所述通过自适应二值化对图像进行二值化处理，具体包括：求取图像的直方图，设置一阈值Th，当直方图中灰度值由0到Th的点数和大于等于一预设值时，以此时的Th作为自适应二值化阈值，对图像进行二值化，获得二值化图像。
优选地，所述对所述二值化图像进行投影，共进行三次不同方向投影。
优选地，所述步骤3中的移动窗口配准具体包括：设计配准用移动窗口，所述窗口在垂直投影图上水平移动，窗口内的黑点数总和最小值所对应的位置，即为冠字号码左右方向分割的最佳位置。
优选地，所述窗口为间隔固定的一脉冲序列，脉冲之间的宽度由冠字号码图像之间的间隔预先设置。
优选地，每个所述脉冲的宽度为2-10个像素。
优选地，所述步骤4中的套紧，具体包括：对所述每个号码的图像单独进行二值化，对获取到的每个号码的二值化图像进行区域增长，最后，再对区域增长后得到的区域里，选取一个或两个面积大于某一预设面积阈值的区域，该些选取后的区域所在的矩形即为每个号码图像套紧后的矩形。该区域增长可以采用例如八邻域区域增长算法等。
优选地，对所述每个号码的图像单独进行二值化，具体包含：对所述每个号码的图像提取直方图，采用直方图双峰法获取二值化阈值，再依据该二值化阈值将所述每个号码的图像进行二值化。
优选地，所述步骤4中的尺寸归一化采用双线性插值算法进行尺寸归一化。
更为优选地，归一化后的尺寸为下述中的一个：12*12、14*14、18*18、28*28，单位为像素。
优选地，所述步骤4中的所述明暗归一化包括：获取所述每个号码的图像的直方图，计算号码前景灰度平均值和背景灰度平均值，并将明暗归一化之前的像素灰度值分别与前景灰度平均值和背景灰度平均值进行比较，依据该比较结果，将归一化之前的像素灰度值设置为对应的特定灰度值。
优选地，在所述步骤2、步骤3之间，进一步包括面向判断步骤：通过所述旋转后的图像确定纸币尺寸，依据所述尺寸确定面值；将目标纸币图像分割为n个区块，计算各区块中的亮度均值，与预先存储的模板比较，差值最小时，判断为模板对应的面向。该模板可以通过多种方式进行预先设置，只要能够通过纸币图像的对比，例如面额不同，朝向不同而引起的亮度值差别、颜色差别，或其他能够转换为亮度数值的其他特征等等，均能够作为比较模板使用。
优选地，所述预先存储的模板，是将不同面值纸币的不同面向的图像，分割为n个区块，并计算各区块中的亮度均值，作为模板。
优选地，在所述步骤2、步骤3之间，进一步包括新旧程度判断步骤：首先提取预设数量dpi的图像，将该图像全部区域作为直方图的特征区域，扫描区域内的像素点，放在数组里，记录各个像素点的直方图，根据直方图统计出一定比例的最亮像素点，求取该些最亮像素点的平均灰度值，作为新旧程度判断依据。这一预设数量dpi图像，可以是例如25dpi图像等，该一定比例，可以根据具体需要进行调整，可以是例如40％、50％等等。
优选地，在所述步骤2、步骤3之间，进一步包括破损识别步骤：通过在纸币两侧分别设置光源和传感器，获取透射后图像；对旋转后的透射后图像逐点检测，当该点的相邻两像素点同时小于一预设阈值时，则判断该点为破损点。该破损点的检测，可以更详细地分为缺角破损、孔洞破损等等。
优选地，在所述步骤2、步骤3之间，进一步包括字迹识别步骤：在固定区域内，扫描区域内的像素点，放在数组里，记录各个像素点的直方图，根据直方图统计出预设数量个最亮像素点，求取平均灰度值，依据该平均灰度值得出阈值，灰度值小于阈值的像素点判定为字迹点。该预设数量可以是例如20、30等，此处并不以此为保护范围的限定理解；该依据平均灰度值得出阈值，可以采用多种方法，可以该平均灰度值直接作为阈值，也可以采用以该平均灰度值作为变量的函数，求解出阈值。
优选地，所述步骤5中的神经网络采用二级分类的卷积神经网络；第一级分类将冠字号码涉及的所有数字和字母进行分类，第二级分类分别对第一级分类中的部分类进行细分类。此处需要说明的是，该第一级分类的类别数量可以根据分类需要和设置习惯等进行设置，可以是例如10类、23类、38类等，此处不以此为限，而该第二级分类同样，是在第一级分类的基础上，针对部分容易误判、特征近似或准确率不高等的分类中，再次进行二级分类，从而以更高的识别率将冠字号码进一步区分识别，而该第二级分类的具体输入类别数量以及输出类别数量，则可以根据第一级分类的类别设置以及分类需要和设置习惯等，进行详细设定，此处并不以此为限。
优选地，所述卷积神经网络的网络模型结构依次设置如下：
输入层：仅以一个图像作为视觉输入，所述图像为待识别的单个冠字号码的灰度图像；
C1层：是一个卷积层，该层由6个特征图构成；
S2层：为下采样层，利用图像局部相关性原理，对图像进行子抽样；
C3层：是一个卷积层，采用预设卷积核去卷积层S2，C3层中的每个特征图采用不全连接的方式连接到S2中；
S4层：为下采样层，利用图像局部相关性原理，对图像进行子抽样；
C5层：C5层是S4层的简单拉伸，变成一维向量；
网络的输出个数为分类个数，与C5层组成全连接结构。
优选地，所述C1层、C3层均通过3x3的卷积核进行卷积。
此外，本发明还提供了一种能够适用于DSP平台的冠字号码的识别系统，可以嵌入或联接到市面上常规的验钞机、点钞机、ATM等设备结合使用，具体而言，所述系统包括：图像预处理模块、处理器模块、CIS图像传感器模块；
所述图像预处理模块进一步包括边缘检测模块、旋转模块；
所述处理器模块进一步包括号码定位模块、套紧模块、归一化模块、识别模块；
所述号码定位模块，通过自适应二值化，对图像进行二值化处理，获得二值化图像；然后对所述二值化图像进行投影；最后通过设置移动窗口，采用移动窗口配准的方式，对号码进行分割，得到每个号码的图像，并将所述每个号码的图像传输给套紧模块；该移动窗口配准的方式，即通过设置固定窗口的方式，例如类似窗口模板方式等，缩小号码区域，实现更精准的区域定位，而所有通过设置固定窗口滑动匹配的方式，均能够适用于本申请之中。
所述归一化模块用于对套紧模块处理后的图像进行尺寸归一化及明暗归一化。
优选地，所述号码定位模块进一步包括窗口模块，所述窗口模块依据冠字号码间距，设计配准用移动窗口，将所述窗口在垂直投影图上水平移动，并计算所述窗口内的黑点数总和；
所述窗口模块还可以将不同窗口内的所述黑点数总和进行比较。
优选地，所述套紧模块对每个号码的图像单独进行二值化，对获取到的每个号码的二值化图像进行区域增长，最后，再对区域增长后得到的区域里，选取一个或两个面积大于某一预设面积阈值的区域，该些选取后的区域所在的矩形即为每个号码图像套紧后的矩形。该区域增长可以采用例如八邻域区域增长算法等。
优选地，对所述每个号码的图像单独进行二值化，具体包含：对所述每个号码的图像提取直方图，采用直方图双峰法获取二值化阈值，再依据该二值化阈值将所述每个号码的图像进行二值化。
优选地，所述系统还包括补偿模块，用于对CIS图像传感器模块获得的图像进行补偿，所述补偿模块预先存储纯白及纯黑的采集亮度数据，并结合可设定的像素点的灰度参考值，得到补偿系数；
所述补偿系数存储至处理器模块，并建立查找表。
优选地，所述识别模块利用训练好的神经网络实现冠字号码的识别。
优选地，所述神经网络采用二级分类的卷积神经网络；第一级分类将冠字号码涉及的所有数字和字母进行分类，第二级分类分别对第一级分类中的部分类进行细分类。此处需要说明的是，该第一级分类的类别数量可以根据分类需要和设置习惯等进行设置，可以是例如10类、23类、38类等，此处不以此为限，而该第二级分类同样，是在第一级分类的基础上，针对部分容易误判、特征近似或准确率不高等的分类中，再次进行二级分类，从而以更高的识别率将冠字号码进一步区分识别，而该第二级分类的具体输入类别数量以及输出类别数量，则可以根据第一级分类的类别设置以及分类需要和设置习惯等，进行详细设定，此处并不以此为限。
优选地，所述卷积神经网络的网络模型结构依次设置如下：
输入层：仅以一个图像作为视觉输入，所述图像为待识别的单个冠字号码的灰度图像；
C1层：是一个卷积层，该层由6个特征图构成；
S2层：为下采样层，利用图像局部相关性原理，对图像进行子抽样；
C3层：是一个卷积层，采用预设卷积核去卷积层S2，C3层中的每个特征图采用不全连接的方式连接到S2中；
S4层：为下采样层，利用图像局部相关性原理，对图像进行子抽样；
C5层：C5层是S4层的简单拉伸，变成一维向量；
网络的输出个数为分类个数，与C5层组成全连接结构。
优选地，所述C1层、C3层均通过3x3的卷积核进行卷积。
优选地，所述识别模块还包括神经网络训练模块，用于训练所述神经网络。
优选地，该处理器模块可以采用例如FPGA等芯片系统。
优选地，所述处理器模块还包括：面向判断模块，用于判断纸币的朝向。
优选地，所述处理器模块还包括新旧程度判断模块，用于判断纸币的新旧程度。
优选地，所述处理器模块还包括破损识别模块，用于将纸币中的破损位置识别出来。该破损包括缺角、孔洞等等。
优选地，所述处理器模块还包括字迹识别模块，用于识别纸币上的字迹。
本发明的上述技术方案的有益效果如下：
1、在保证了整体方法及系统运行的速度的情况下，提高了方法的鲁棒性，能够很好地应付实际应用中，由于纸币污损、残缺、快速翻折等对冠字号码识别带来的识别困难；
2、本发明提供的方法占用系统资源少，比现有技术中的常规算法运算速度快，能够很好地与ATM、验钞机等设备结合使用。
附图说明
图1为本发明实施例的识别方法示意图；
图2为本发明实施例的边缘检测方法示意图；
图3为本发明实施例的走钞过程中的纸币图像与实际纸币示意图；
图4为本发明实施例的纸币任意点旋转的示意图；
图5为本发明实施例的移动窗口设置示意图；
图6为本发明实施例的神经网络结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。本领域技术人员应当知晓，下述具体实施例或具体实施方式，是本发明为进一步解释具体的发明内容而列举的一系列优化的设置方式，而该些设置方式之间均是可以相互结合或者相互关联使用的，除非在本发明明确提出了其中某些或某一具体实施例或实施方式无法与其他的实施例或实施方式进行关联设置或共同使用。同时，下述的具体实施例或实施方式仅作为最优化的设置方式，而不作为限定本发明的保护范围的理解。
此外，本领域技术人员应当了解，一下具体实施方式及实施例中所列举出来的对于参数设定的具体数值，是作举例解释用，作为一可选的实施方式，而不应当理解为对本发明保护范围的限定；而其中涉及到的各算法及其参数的设定，也仅作为距离解释用，而对下述参数的形式变换以及对下述算法的常规数学推导，均应视为落入本发明的保护范围之内。
实施例1：
在一个具体的实施例中，本发明提供了一种冠字号码的识别方法，如图1所示，所述方法包括以下步骤：
步骤1、提取冠字号码所在区域的灰度图像，并对灰度图像进行边缘检测；该边缘检测，可以通过常规的canny检测、sobel检测等方式实现，再结合直线拟合，获得边缘直线方程，但需要对边缘检测时的经验阈值进行试验设定，以保证方法的运算速度。
在一个具体的实施方式中，所述步骤1中的边缘检测进一步包括：设定一灰度阈值，依据该阈值从上、下两方向进行直线搜索，获取边缘，这一边缘检测，采用直线扫面的方式，获取边缘直线的像素坐标；再通过最小二乘法，获得图像的边缘直线方程，并同时获得纸币图像的水平长度、垂直长度和斜率。
在一个具体的实施方式中，如图2所示，为保证边缘检测的准确性和计算的速度，可以采用阈值线性回归分割技术，计算速度快，不受图像大小的限制，在其他的边缘检测理论中，是需要对边缘的每一个像素点都要计算的，这样的话，图像越大，计算时间越长。而采用阈值线性回归分割技术，只需要在上下边缘上找到少量的像素点，通过直线拟合的方式可以很快速的确定边缘的直线方程。无论图像大或小都可以找少量的点来计算。
具体而言，由于纸币图像的边缘亮度与背景黑色差异很大，非常容易找到一个阈值来区分纸币和背景，因此这里采用直线搜索的方法从上、下两个方向检测纸币边缘。上、下方向我们分别沿直线X＝{xi}，(i＝1,2,…,n)搜索得到纸币上边沿Y1＝{y1i}，下边沿Y2＝{y2i}。
利用最小二乘法求出斜率k1，k2，截距b1，b2。求取上下沿中线的斜率K，截距B。已知中线必然要经过中点(x0,y0)，所以沿直线y＝K·x+B
因此可以得到如下关系式：
利用最小二乘法求k1，b1：
同理可以计算出k2，b2：
因此可以得到纸币的上沿、下沿中线y＝K·x+B
由于纸币的上沿、下沿中线y＝K·x+B必然经过纸币的中点(x0,y0)，所以沿直线y＝K·x+B进行搜索得到左端点(xl,yl)和右端点(xr,yr)，最后可以得到纸币图像的中点为：
得到纸币中点之后，我们需要来求得纸币的水平方向长度L和垂直方向上的长度W，这样在下节就可以建立纸币的长宽模型。因此有：
然后我们在直线y＝y0附近取Y＝{yi}，(i＝1,2,…,m)进行直线搜索得到纸币左边沿X1＝{x1i}和右边沿X2＝{x2i}，因此有：
步骤2、对图像进行旋转；即将边缘检测后的纸币的图像进行坐标点纠正和映射，以将图像摆正，从而方便号码图像的分割和识别，该旋转方法，可以采用坐标点变换方法，或者依据检测出的边缘方程进行纠正，获得变换方程，也可以以极坐标旋转等方式实现；
在一具体的实施方式中，所述步骤2中的旋转，进一步包括：基于所述水平长度、垂直长度和斜率，获得旋转矩阵，依据所述旋转矩阵，求取旋转后的像素点坐标。所述旋转矩阵，可以通过极坐标转换的方式获得，即极坐标转换矩阵，例如可以通过获取到的边缘的直线方程，得到纸币的倾斜角度，依据该角度以及边缘的长度，计算各像素点的极坐标转换矩阵；也可以通过普通的坐标转换方式计算，例如依据该倾斜角度和边缘长度，将纸币的中心点设定为坐标原点，计算每个坐标点的在新坐标系中的转换矩阵等；当然，也可以采用其他的矩阵变换法方式进行纸币图像的旋转纠正。
在一具体的实施方式中，如图3所示，可以采用直角坐标变换的方式对图像进行旋转纠正，由于在图像采集过程中水平方向上每毫米采集p个点，垂直方向上每毫米采集q个点。在之前的纸币图像边缘检测中我们已经计算出了纸币图像的水平长度AC＝L，垂直长度BE＝W和斜率K。因此对纸币图像的几何计算得到下边的公式：
由于
因此
AD＝p·AD'＝L·cos2θ (1-11)
而
则
所以
同理：
所以
由于AB'为实际纸币的长Length，B'F'为实际纸币的宽Wide，因此有：
纸币图像任意点的旋转，旋转的整个过程是对任意给出的纸币图像上的某一点A(xs,ys)，找到点A对应于实际纸币的点A'(x's,y's)，把点A'旋转θ角后得到点B'(x'd,y'd)，最后找到点B'对应于旋转后的纸币图像上的点B(xd,yd)。
结合图4，纸币上的任意点旋转时，
如有旋转前的纸币图像中心为(x0,y0)，旋转后的纸币图像中心为(xc,yc)，这样可得：
步骤3、对图像中的单个号码进行定位，具体包含：通过自适应二值化，对图像进行二值化处理，获得二值化图像；然后对所述二值化图像进行投影，常规的图像投影仅通过一次垂直投影和一次水平投影来完成，具体的投影方向和次数，可以依据识别的具体环境及精度要求做调整，例如还可以采用带有倾斜角度方向的投影等，或者采用多次多重投影结合；最后通过设置移动窗口，采用移动窗口配准的方式，对号码进行分割，得到每个号码的图像，由于纸币的破损、脏污等常见问题，对于冠字号码图像上有脏污，字符与字符之间存在粘连的纸币效果较差，尤其是对三个或三个以上字符的粘连，几乎分割不开，因此，本发明在图像投影之后，又加入了移动窗口配准的方式，精确确定字符的位置；
在一具体的实施方式中，所述步骤3中，所述通过自适应二值化对图像进行二值化处理，具体包括：求取图像的直方图，设置一阈值Th，当直方图中灰度值由0到Th的点数和大于等于一预设值时，以此时的Th作为自适应二值化阈值，对图像进行二值化，获得二值化图像；所述对所述二值化图像进行投影，共进行三次不同方向投影。优选地，所述设置移动窗口具体包括：所述窗口在垂直投影图上水平移动，窗口内的黑点数总和最小值所对应的位置，即为冠字号码左右方向分割的最佳位置。
在一具体的实施方式中，对图像的二值化，可以采用整体自适应二值化的方法。首选，求图像的直方图，亮度较黑色的是冠字号码区域，亮度较为白色的是背景区域。在直方图上求灰度值为0到Th的点数和N，当N>＝2200(经验值)时，所对应的阈值Th即为自适应二值化的阈值。该方法的最大优点是计算时间短，可以满足清分机快速点钞的实时性要求，并且具有很好的自适应性。
在一具体的实施方式中，对二值化后的图像进行投影，可以采用三次投影结合的方式，确定每个号码所在的上下左右位置。其中，第一次进行水平方向投影，确定号码所在的行，第二次进行垂直方向投影，确定每个号码所在的左右方向位置，第三次是对每个小图进行水平方向投影，确定每个号码所在的上下方向位置。
在一具体的实施方式中，上述三次投影方法对于大多数纸币的单个号码分割都能取得良好的效果，但是对于冠字号码图像上有脏污，字符与字符之间存在粘连的纸币效果较差，尤其是对三个或三个以上字符的粘连，几乎分割不开。为了克服这一困难，在一个具体的实施方式中，可采用窗口移动配准法。因为清分机采集的冠字号码大小分辨率固定，每个字符大小固定，每个字符之间的间距也固定，窗口的设计可以根据纸币上冠字号码的间距设计，如图5所示。窗口在垂直投影图上水平移动，窗口内的黑点数总和最小值所对应的位置，即为冠字号码左右方向分割的最佳位置。由于该识别算法用在纸币清分机上，准确性和快速性都要满足，原始图像的分辨率为200dpi。窗口的设计每个脉冲宽度为4个像素，脉冲之间的宽度根据号码图像之间的间隔设计，经过测试，该方法完全能够满足纸币清分机实时性和准确性要求。
步骤4、对所述每个号码的图像中包含的字符进行套紧，并对每个号码图像进行归一化处理，所述归一化包含尺寸归一化和明暗归一化；字符的套紧操作，是在步骤3的基础上，对分割出大致位置的字符，再次进行详细定位，以进一步减少后续图像识别要处理的数据量，这大大保证了系统的整体运行速度。
三次投影法仅仅是对单个号码的初步定位，对于很多脏污的单个号码，都不能真正的套紧。上面提到的二值化方法是对整个图像做二值化，所计算得到的阈值并不适用于单个字符的二值化。例如2005版人民币一百元，前四个字符是红色，后六个字符是黑色，这会导致采集到的灰度图像每个字符的明暗程度不均，在一具体的实施方式中，还可以对每个小图单独进行二值化。
在一个具体的实施方式中，该二值化采用的是基于直方图双峰的自适应二值化方法。直方图双峰法是一种迭代法求阈值的方法。特点：自适应，快速，准确。具体的，可以采用以下的一个优选的实施方式来实现：
首先设定一个初始化阈值T0，然后经过K次迭代后得到二值化分割的阈值。K为大于0的正整数，这里第k次迭代的背景灰度平均值和前景灰度平均值分别为：
则第k次迭代的阈值为：
退出迭代的条件：当迭代次数足够多(例如50次)，或者两次迭代计算的阈值结果相同，即第k次和第k-1次的阈值相同，则退出迭代。
二值化后，对每个小图要进行八邻域区域增长算法，目的是去除面积过小的噪声点。最后，在对每个小图区域增长后得到的区域里，选取一个或两个面积大于某一个经验值的区域，这些区域所在的矩形即为每个号码图像套紧后的矩形。综上，该套紧方法的步骤为二值化，区域增长，区域选取，它的优点是抗干扰性强，计算速度快。
在二值化之后，需要对图像进一步进行归一化处理，在一个具体的实施方式中，上述归一化可以采用如下方式：这里的归一化是为了下一步的神经网络识别。考虑到计算速度和准确性的要求，尺寸归一化时的图像大小不能太大，也不能太小。太大，造成后续的神经网络节点过多，计算速度慢，太小，信息损失过多。测试了几种归一化尺寸大小，28*28,18*18,14*14,12*12，最后选择了14*14。归一化的缩放算法采用双线性插值算法。
在一个具体的实施方式中，所述步骤4中归一化处理具体包括：采用双线性插值算法进行尺寸归一化；所述明暗归一化包括：获取所述每个号码的图像的直方图，计算号码前景灰度平均值和背景灰度平均值，并将明暗归一化之前的像素灰度值分别与前景灰度平均值和背景灰度平均值进行比较，依据该比较结果，将归一化之前的像素灰度值设置为对应的特定灰度值。
在又一具体的实施方式中，为了减少训练模板数量，还必须进行明暗程度的归一化。首先在每个小图的直方图上计算号码前景灰度平均值Gb，和背景灰度平均值Gf。设，V0ij为每个像素灰度归一化之前的值，V1ij为每个像素灰度归一化之后的值，计算方法如下。
步骤5、采用神经网络对归一化后的号码图像进行识别，获得冠字号码。
在一个具体的实施方式中，上述神经网络可以采用卷积神经网络(CNN)算法来实现。
卷积神经网络(CNN)在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。在CNN中，图像的一小部分(局部感受区域)作为层级结构的最低层的输入，信息再依次传输到不同的层，每层通过一个数字滤波器去获得观测数据的最显著的特征。这个方法能够获取对平移、缩放和旋转不变的观测数据的显著特征，因为图像的局部感受区域允许神经元或者处理单元可以访问到最基础的特征，冠字号码图像上的主要特征是边缘和角点，因此非常适合采用CNN的方法进行识别。
在一个具体的实施方式中，所述神经网络采用二级分类的卷积神经网络；第一级分类将冠字号码涉及的所有数字和字母进行分类，第二级分类分别对第一级分类中的部分类进行细分类。此处需要说明的是，该第一级分类的类别数量可以根据分类需要和设置习惯等进行设置，可以是例如10类、23类、38类等，而该第二级分类同样，是在第一级分类的基础上，针对部分容易误判、特征近似或准确率不高等的分类中，再次进行二级分类，从而以更高的识别率将冠字号码进一步区分识别，而该第二级分类的具体输入类别数量以及输出类别数量，则可以根据第一级分类的类别设置以及分类需要和设置习惯等，进行详细设定。
下面以一个优选的实施方式，例举可适用于本发明技术方案中的一个具体的卷积(CNN)神经网络的结构及训练方式：
一、CNN神经网络的结构
因为需要对数字和字母混合识别，某些数字和字母非常相似，无法区分，人民币没有字母V，字母O和数字0印刷完全一样，所以，我们对冠字号码的识别采用了二级分类的方法。第一级分类把所有数字和字母归为23类：
第一类：A4
第二类：B8
第三类：CG6
第四类：ODQ
第五类：ELF
第六类：H
第七类：K
第八类：M
第九类：N
第十类：P
第十一类：R
第十二类：S5
第十三类：TJ(J为2005版及一切版本的人民币)
第十四类：U
第十五类：W
第十六类：X
第十七类：Y
第十八：Z2
第十九：1
第二十类：3
第二十一类：7
第二十二类：9
第二十三类：J(J为2015新版人民币)
第二级分类是分别对A4，B8，C6G，ODQ，ELF，S5，TJ，Z2的分类。
以上的二级CNN分类方法涉及到9个神经网络的模型，分别记为：CNN_23，CNN_A4，CNN_B8，CNN_CG6，CNN_ODQ，CNN_ELF，CNN_S5，CNN_JT，CNN_Z2。
以第一级分类的CNN神经网络为例，图6是它的结构示意图。网络的输入层：只有一个图，相当于网络的视觉输入，即为待识别的单个号码灰度图像。这里选用灰度图像是为了信息不丢失，因为如果对二值化图像进行识别，则在二值化的过程中会损失一些图像的边缘和细节信息。为了不受图像明暗效果的影响，对每个灰度小图的亮度进行了归一化处理，即明暗归一化。
C1层是一个卷积层，卷积层存在的好处是通过卷积运算，可以使原信号特征增强，并且降低噪音，由6个特征图Feature Map构成。特征图中每个神经元与输入中3*3的邻域相连。特征图的大小为14*14。C1有156个可训练参数(每个滤波器5*5＝25个unit参数和一个bias参数，一共6个滤波器，共(3*3+1)*6＝60个参数)，共60*(12*12)＝8640个连接。
S2和S4层均为下采样层，利用图像局部相关性的原理，对图像进行子抽样，可以减少数据处理量同时保留有用信息。
C3层也是一个卷积层，它同样通过3x3的卷积核去卷积层S2，然后得到的特征map就只有4x4个神经元，为了计算简单，仅仅设计了6种不同的卷积核，所以就存在6个特征map了。这里需要注意的一点是：C3中的每个特征map是连接到S2中并不是全连接的。为什么不把S2中的每个特征图连接到每个C3的特征图呢？原因有二。其一，不完全的连接机制将连接的数量保持在合理的范围内。其二，也是最重要的，其破坏了网络的对称性。由于不同的特征图有不同的输入，所以迫使他们抽取不同的特征。这种非全连接结果的组成方式并不唯一。例如，C3的前2个特征图以S2中3个相邻的特征图子集为输入，接下来2个特征图以S2中4个相邻特征图子集为输入，然后的1个以不相邻的3个特征图子集为输入，最后1个将S2中所有特征图为输入。
最后一组S层到C层不是下采样，而是S层的简单拉伸，变成一维向量。网络的输出个数为该神经网络的分类个数，与最后一层组成全连接结构。这里的CNN_23共有23个类别，所以有23个输出。
二、神经网络的训练可以通过以下方式进行：
假设第l层为卷积层，第l+1层为下采样层，则第l层第j个特征图的计算公式如下：
其中，*号表示卷积，是卷积核k在第l-1层所有关联的特征图上做卷积运算，然后求和，再加上一个偏置参数b，取sigmoid函数得到最终的激励。
第l层的第j个特征图的残差计算公式如下：
其中，其中第l层为卷积层，第l+1层为下采样层，下采样层与卷积层是一一对应的。其中up(x)是将第l+1层的大小扩展为和第l层大小一样。
误差对b的偏导数公式为：
误差对k的偏导数公式为：
随机选择人民币冠字号码作为训练样本，约10万个，训练次数1000回以上，逼近的精度小于0.004。
在一具体的实施方式中，在所述步骤2、步骤3之间，进一步包括面向判断步骤：通过所述旋转后的图像确定纸币尺寸，依据所述尺寸确定面值；将目标纸币图像分割为n个区块，计算各区块中的亮度均值，与预先存储的模板比较，差值最小时，判断为模板对应的面向；所述预先存储的模板，是将不同面值纸币的不同面向的图像，分割为n个区块，并计算各区块中的亮度均值，作为模板。
具体而言，可通过纸币尺寸检测+模板匹配方式来确定纸币的面向值。先通过纸币尺寸确定纸币的面值。然后在确定纸币的面向，在纸币图像内部分割了16*8个相同的矩形块，并计算出每个矩形块内的亮度均值，将这16*8个亮度均值数据置于存储器中作为模板数据。同理取得目标纸币的亮度均值，与模板数据做比较，找到差值最小的。可确认纸币的面向。
此外，在一具体的实施方式中，还可以加入纸币新旧程度的判断，首先提取25dpi图像，将25dpi图像全部区域作为直方图的特征区域，扫描区域内的像素点，放在数组里，记录各个像素点的直方图，根据直方图统计出50％最亮像素点，求取平均灰度值，以该灰度值作为新旧程度判断的依据。
在一个具体的实施方式中，在所述步骤2、步骤3之间，进一步包括破损识别步骤：通过在纸币两侧分别设置光源和传感器，获取透射后图像；对旋转后的透射后图像逐点检测，当该点的相邻两像素点同时小于一预设阈值时，则判断该点为破损点。
在具体实施方式中，纸币破损识别时采用的是发光源和传感器分布在纸币的两侧，即透射方式。发光源遇到纸币仅有少部分光线能够穿透纸币打到传感器件上，而没有遇到纸币的光线完全打到了传感器件上。因此背景为白色，纸币也为灰度图。破损包含缺角和孔洞。缺角和孔洞的检测都是应用破损识别技术的，不同的是检测的区域不同，缺角检测的是纸币的四个角，孔洞是检测纸币的中间区域。
在又一具体的实施方式中，对于纸币缺角，可分别在旋转完的透射纸币图像上分成左上、左下、右上、右下，四个区域。然后分别对这四个区域逐点检测，相邻两个像素点同时小于阈值，则判断此点为破损点，如果相邻两点不满足小于阈值的条件，则表明该交点对应的角不具有破损特征。
对于纸币上的孔洞检测，在搜索完了纸币的缺角之后，由于缺角的位置已经被黑色填充了，如果纸币上有缺角和孔洞特征，那么这个像素点是白色的，在搜索纸币的过程中，把确定是缺角的点的像素值改为黑色的像素值，这样就实现了填充。所以再以纸币的四边为边界搜索整张纸币。如果搜索到纸币具有破损特征，则表明纸币具有孔洞，否则此纸币没有孔洞。当每搜索到一个小于阈值的像素点时，孔洞面积将加1。搜索结束后最终将得到孔洞的面积。
在又一具体的实施方式中，对于字迹的检测，可采用以下方式：在固定区域内，扫描区域内的像素点，放在数组里，记录各个像素点的直方图，根据直方图统计出20个最亮像素点，求取平均灰度值，计算得出阈值。小于阈值的像素点判定为字迹+1。
实施例2：
此外，在一个具体的实施例中，本发明还提供了一种能够适用于DSP平台的冠字号码的识别系统，可以嵌入或联接到市面上常规的验钞机、点钞机、ATM等设备结合使用，具体而言，所述系统包括：图像预处理模块、处理器模块、CIS图像传感器模块；
所述图像预处理模块进一步包括边缘检测模块、旋转模块；
所述处理器模块进一步包括号码定位模块、套紧模块、归一化模块、识别模块；
所述号码定位模块，通过自适应二值化，对图像进行二值化处理，获得二值化图像；然后对所述二值化图像进行投影；最后通过设置移动窗口，采用移动窗口配准的方式，对号码进行分割，得到每个号码的图像，并将所述每个号码的图像传输给套紧模块；
所述归一化模块用于对套紧模块处理后的图像进行尺寸归一化及明暗归一化。
在一个具体的实施方式中，所述号码定位模块进一步包括窗口模块，所述窗口模块依据冠字号码间距，设计配准用移动窗口，将所述窗口在垂直投影图上水平移动，并计算所述窗口内的黑点数总和；所述窗口模块还可以将不同窗口内的所述黑点数总和进行比较。该定位的具体方式，可以采用实施例1中的方法进行。
在又一具体的实施方式中，所述套紧模块对每个号码的图像提取直方图，采用直方图双峰法获取二值化阈值，再依据该二值化阈值将所述每个号码的图像进行二值化，对获取到的每个号码的二值化图像进行区域增长，最后，再对区域增长后得到的区域里，选取一个或两个面积大于某一预设面积阈值的区域，该些选取后的区域所在的矩形即为每个号码图像套紧后的矩形。该区域增长可以采用例如八邻域区域增长算法等。
在一个具体的实施方式中，由于常规的纸币图像获取中，纸币的新旧、残损等状况不一，所以需要对纸币图像进行补偿，则可以在所述系统中设置补偿模块，用于对CIS图像传感器模块获得的图像进行补偿，所述补偿模块预先存储纯白及纯黑的采集亮度数据，并结合可设定的像素点的灰度参考值，得到补偿系数；所述补偿系数存储至处理器模块，并建立查找表。
具体而言，将白纸压在CIS图像传感器上，采集亮电平数据存储在CISVL[i]数组里，在采集暗电平数据存储在CISDK[i]里，通过公式
CVLMAX/(CISVL[i]-CISDK[i])
取得补偿系数。其中CVLMAX为可设定的像素点灰度参考值，按照经验，白纸的灰度值设置为200。
将DSP芯片计算得出的补偿系数，传送到FPGA(处理模块)的随机存储器里，形成一个查找表。之后FPGA芯片对采集到的像素点数据乘以查找表中对应像素点的补偿系数，直接得到补偿后的数据，再传送给DSP。
在一具体的实施方式中，所述识别模块利用训练好的神经网络实现冠字号码的识别。
在一个具体的实施方式中，所述神经网络采用二级分类的卷积神经网络；第一级分类将冠字号码涉及的所有数字和字母进行分类，第二级分类分别对第一级分类中的部分类进行细分类。此处需要说明的是，该第一级分类的类别数量可以根据分类需要和设置习惯等进行设置，可以是例如10类、23类、38类等，而该第二级分类同样，是在第一级分类的基础上，针对部分容易误判、特征近似或准确率不高等的分类中，再次进行二级分类，从而以更高的识别率将冠字号码进一步区分识别，而该第二级分类的具体输入类别数量以及输出类别数量，则可以根据第一级分类的类别设置以及分类需要和设置习惯等，进行详细设定。
在一个更为具体的实施方式中，上述的卷积神经网络的结构可以采用上述实施例1中的神经网络结构实现。
在一个更为具体的实施方式中，上述的处理器模块还可以包括以下至少一种模块：面向判断模块，用于判断纸币的朝向；新旧程度判断模块，用于判断纸币的新旧程度；破损识别模块，用于将纸币中的破损位置识别出来；字迹识别模块，用于识别纸币上的字迹。该些模块所采用的功能实现方法，可以采用实施例1中所例举的方法。
在一具体的实施方式中，该处理器模块可以采用例如FPGA(京微雅格M7芯片具体型号M7A12N5L144C7)等芯片系统。芯片的主频为(FPGA主频125M，ARM主频333M)，占用的资源是(Logic 85％，EMB 98％)，识别时间为7ms。准确度为99.6％以上。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (28)
1.一种冠字号码的识别方法，其特征在于，所述方法包括以下步骤：
步骤1、提取冠字号码所在区域的灰度图像，并对灰度图像进行边缘检测；
步骤2、对图像进行旋转；
步骤3、对图像中的单个号码进行定位，具体包含：通过自适应二值化，对图像进行二值化处理，获得二值化图像；然后对所述二值化图像进行投影；最后通过设置移动窗口，采用移动窗口配准的方式，对号码进行分割，得到每个号码的图像；
步骤4、对所述每个号码的图像中包含的字符进行套紧，并对每个号码图像进行归一化处理，所述归一化包含尺寸归一化和明暗归一化；所述套紧具体包括：对所述每个号码的图像单独进行二值化，对获取到的每个号码的二值化图像进行区域增长，再对区域增长后得到的区域里，选取一个或两个面积大于某一预设面积阈值的区域，该些选取后的区域所在的矩形即为每个号码图像套紧后的矩形；
步骤5、采用神经网络对归一化后的号码图像进行识别，获得冠字号码。
2.根据权利要求1所述的方法，其特征在于，所述步骤1中的边缘检测进一步包括：设定一灰度阈值，依据该阈值从上、下两方向进行直线搜索，获取边缘；再通过最小二乘法，获得图像的边缘直线方程，并同时获得纸币图像的水平长度、垂直长度和斜率。
3.根据权利要求2所述的方法，其特征在于，所述步骤2中的旋转，进一步包括：基于所述水平长度、垂直长度和斜率，获得旋转矩阵，依据所述旋转矩阵，求取旋转后的像素点坐标。
4.根据权利要求1所述的方法，其特征在于，所述步骤3中，所述通过自适应二值化对图像进行二值化处理，具体包括：求取图像的直方图，设置一阈值Th，当直方图中灰度值由0到Th的点数和大于等于一预设值时，以此时的Th作为自适应二值化阈值，对图像进行二值化，获得二值化图像。
5.根据权利要求1所述的方法，其特征在于，所述步骤3中，所述对所述二值化图像进行投影，共进行三次不同方向投影。
6.根据权利要求1所述的方法，其特征在于，所述步骤3中的移动窗口配准具体包括：设计配准用移动窗口，所述窗口在垂直投影图上水平移动，窗口内的黑点数总和最小值所对应的位置，即为冠字号码左右方向分割的最佳位置。
7.根据权利要求6所述的方法，其特征在于，所述窗口为间隔固定的一脉冲序列，脉冲之间的宽度由冠字号码图像之间的间隔预先设置。
8.根据权利要求7所述的方法，其特征在于，每个所述脉冲的宽度为2-10个像素。
9.根据权利要求1所述的方法，其特征在于，对所述每个号码的图像单独进行二值化，具体包含：对所述每个号码的图像提取直方图，采用直方图双峰法获取二值化阈值，再依据该二值化阈值将所述每个号码的图像进行二值化。
10.根据权利要求1所述的方法，其特征在于，所述步骤4中的尺寸归一化采用双线性插值算法进行尺寸归一化；归一化后的尺寸为下述中的一个：12*12、14*14、18*18、28*28，单位为像素。
11.根据权利要求1所述的方法，其特征在于，所述步骤4中的明暗归一化包括：获取所述每个号码的图像的直方图，计算号码前景灰度平均值和背景灰度平均值，并将明暗归一化之前的像素灰度值分别与前景灰度平均值和背景灰度平均值进行比较，依据该比较结果，将归一化之前的像素灰度值设置为对应的特定灰度值。
12.根据权利要求1所述的方法，其特征在于，在所述步骤2、步骤3之间，进一步包括面向判断步骤：通过所述旋转后的图像确定纸币尺寸，依据所述尺寸确定面值；将目标纸币图像分割为n个区块，计算各区块中的亮度均值，与预先存储的模板比较，差值最小时，判断为模板对应的面向。
13.根据权利要求12所述的方法，其特征在于，所述预先存储的模板，是将不同面值纸币的不同面向的图像，分割为n个区块，并计算各区块中的亮度均值，作为模板。
14.根据权利要求1所述的方法，其特征在于，在所述步骤2、步骤3之间，进一步包括新旧程度判断步骤：首先提取预设数量dpi的图像，将该图像全部区域作为直方图的特征区域，扫描区域内的像素点，放在数组里，记录各个像素点的直方图，根据直方图统计出一定比例的最亮像素点，求取该些最亮像素点的平均灰度值，作为新旧程度判断依据。
15.根据权利要求1所述的方法，其特征在于，在所述步骤2、步骤3之间，进一步包括破损识别步骤：通过在纸币两侧分别设置光源和传感器，获取透射后图像；对旋转后的透射后图像逐点检测，当该点的相邻两像素点同时小于一预设阈值时，则判断该点为破损点。
16.根据权利要求1所述的方法，其特征在于，在所述步骤2、步骤3之间，进一步包括字迹识别步骤：在固定区域内，扫描区域内的像素点，放在数组里，记录各个像素点的直方图，根据直方图统计出预设数量个最亮像素点，求取平均灰度值，依据该平均灰度值得出阈值，灰度值小于阈值的像素点判定为字迹点。
17.根据权利要求1所述的方法，其特征在于，所述步骤5中的神经网络采用二级分类的卷积神经网络；第一级分类将冠字号码涉及的所有数字和字母进行分类，第二级分类分别对第一级分类中的部分类进行细分类。
18.根据权利要求17所述的方法，其特征在于，所述卷积神经网络的网络模型结构依次设置如下：
输入层：仅以一个图像作为视觉输入，所述图像为待识别的单个冠字号码的灰度图像；
C1层：是一个卷积层，该层由6个特征图构成；
S2层：为下采样层，利用图像局部相关性原理，对图像进行子抽样；
C3层：是一个卷积层，采用预设卷积核去卷积层S2，C3层中的每个特征图采用不全连接的方式连接到S2中；
S4层：为下采样层，利用图像局部相关性原理，对图像进行子抽样；
C5层：C5层是S4层的简单拉伸，变成一维向量；
网络的输出个数为分类个数，与C5层组成全连接结构。
19.根据权利要求18所述的方法，其特征在于，所述C1层、C3层均通过3x3的卷积核进行卷积。
20.一种冠字号码的识别系统，其特征在于，所述系统包括：图像预处理模块、处理器模块、CIS图像传感器模块；
所述图像预处理模块进一步包括边缘检测模块、旋转模块；
所述处理器模块进一步包括号码定位模块、套紧模块、归一化模块、识别模块；
所述号码定位模块，通过自适应二值化，对图像进行二值化处理，获得二值化图像；然后对所述二值化图像进行投影；最后通过设置移动窗口，采用移动窗口配准的方式，对号码进行分割，得到每个号码的图像，并将所述每个号码的图像传输给套紧模块；所述套紧模块对每个号码的图像单独进行二值化，对获取到的每个号码的二值化图像进行区域增长，再对区域增长后得到的区域里，选取一个或两个面积大于某一预设面积阈值的区域，该些选取后的区域所在的矩形即为每个号码图像套紧后的矩形；
所述归一化模块用于对套紧模块处理后的图像进行尺寸归一化及明暗归一化。
21.根据权利要求20所述的系统，其特征在于，所述号码定位模块进一步包括窗口模块，所述窗口模块依据冠字号码间距，设计配准用移动窗口，将所述窗口在垂直投影图上水平移动，并计算所述窗口内的黑点数总和；
所述窗口模块还可以将不同窗口内的所述黑点数总和进行比较。
22.根据权利要求20所述的系统，其特征在于，对所述每个号码的图像单独进行二值化，具体包含：对所述每个号码的图像提取直方图，采用直方图双峰法获取二值化阈值，再依据该二值化阈值将所述每个号码的图像进行二值化。
23.根据权利要求20所述的系统，其特征在于，所述系统还包括补偿模块，用于对CIS图像传感器模块获得的图像进行补偿，所述补偿模块预先存储纯白及纯黑的采集亮度数据，并结合可设定的像素点的灰度参考值，得到补偿系数；
所述补偿系数存储至处理器模块，并建立查找表。
24.根据权利要求20所述的系统，其特征在于，所述识别模块利用训练好的神经网络实现冠字号码的识别。
25.根据权利要求24所述的系统，其特征在于，所述神经网络采用二级分类的卷积神经网络；第一级分类将冠字号码涉及的所有数字和字母进行分类，第二级分类分别对第一级分类中的部分类进行细分类。
26.根据权利要求25所述的系统，其特征在于，所述卷积神经网络的网络模型结构依次设置如下：
输入层：仅以一个图像作为视觉输入，所述图像为待识别的单个冠字号码的灰度图像；
C1层：是一个卷积层，该层由6个特征图构成；
S2层：为下采样层，利用图像局部相关性原理，对图像进行子抽样；
C3层：是一个卷积层，采用预设卷积核去卷积层S2，C3层中的每个特征图采用不全连接的方式连接到S2中；
S4层：为下采样层，利用图像局部相关性原理，对图像进行子抽样；
C5层：C5层是S4层的简单拉伸，变成一维向量；
网络的输出个数为分类个数，与C5层组成全连接结构。
27.根据权利要求26所述的系统，其特征在于，所述C1层、C3层均通过3x3的卷积核进行卷积。
28.根据权利要求24所述的系统，其特征在于，所述识别模块还包括神经网络训练模块，用于训练所述神经网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610341835.2A CN106056751B (zh) | 2016-05-20 | 2016-05-20 | 冠字号码的识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610341835.2A CN106056751B (zh) | 2016-05-20 | 2016-05-20 | 冠字号码的识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106056751A CN106056751A (zh) | 2016-10-26 |
| CN106056751B true CN106056751B (zh) | 2019-04-12 |
Family
ID=57177385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610341835.2A Active CN106056751B (zh) | 2016-05-20 | 2016-05-20 | 冠字号码的识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106056751B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845542B (zh) * | 2017-01-18 | 2019-12-03 | 江苏阿瑞斯智能设备有限公司 | 基于dsp的纸币冠字号智能识别方法 |
| CN106874909B (zh) * | 2017-01-18 | 2019-10-11 | 深圳怡化电脑股份有限公司 | 一种图像字符的识别方法及其装置 |
| CN106910276B (zh) * | 2017-02-24 | 2019-04-26 | 深圳怡化电脑股份有限公司 | 检测纸币新旧的方法及装置 |
| CN106683259B (zh) * | 2017-03-06 | 2019-04-26 | 深圳怡化电脑股份有限公司 | 一种纸币的鉴别方法及装置 |
| CN107067000B (zh) * | 2017-03-31 | 2019-09-20 | 深圳怡化电脑股份有限公司 | 一种纸币污损程度的识别方法及装置 |
| CN108734161B (zh) * | 2017-04-13 | 2022-01-25 | 深圳怡化电脑股份有限公司 | 冠字号区域的识别方法、装置、设备及存储介质 |
| CN108734846B (zh) * | 2017-04-25 | 2021-02-02 | 深圳怡化电脑股份有限公司 | 纸币图像的去噪方法及装置、终端及存储介质 |
| CN108961531B (zh) * | 2017-05-17 | 2020-10-20 | 深圳怡化电脑股份有限公司 | 纸币冠字号识别的方法、装置、设备及存储介质 |
| CN107610320A (zh) * | 2017-09-06 | 2018-01-19 | 深圳怡化电脑股份有限公司 | 一种票据识别方法和装置 |
| CN107784730A (zh) * | 2017-09-14 | 2018-03-09 | 深圳怡化电脑股份有限公司 | 一种纸币的识别方法及装置 |
| CN107832757B (zh) * | 2017-11-03 | 2021-08-31 | 深圳航天信息有限公司 | 一种发票图像的识别方法 |
| CN108492445A (zh) * | 2018-02-06 | 2018-09-04 | 深圳怡化电脑股份有限公司 | 纸币分类的方法及装置 |
| CN108717708B (zh) * | 2018-03-30 | 2021-04-13 | 深圳怡化电脑股份有限公司 | 规则图像的边沿斜率的计算方法及装置 |
| CN108600570A (zh) * | 2018-05-17 | 2018-09-28 | 常州信息职业技术学院 | 一种接触式图像传感器非均匀性校正系统及其校正方法 |
| CN111046866B (zh) * | 2019-12-13 | 2023-04-18 | 哈尔滨工程大学 | 一种结合ctpn和svm的人民币冠字号区域检测方法 |
| CN111444911B (zh) * | 2019-12-13 | 2021-02-26 | 珠海大横琴科技发展有限公司 | 车牌识别模型的训练方法及装置、车牌识别方法及装置 |
| CN111583502B (zh) * | 2020-05-08 | 2022-06-03 | 辽宁科技大学 | 基于深度卷积神经网络的人民币冠字号多标签识别方法 |
| CN112270322A (zh) * | 2020-12-17 | 2021-01-26 | 恒银金融科技股份有限公司 | 一种利用神经网络模型实现对钞票冠字号识别的方法 |
| CN116486418B (zh) * | 2023-06-19 | 2023-10-03 | 恒银金融科技股份有限公司 | 钞票冠字号图像的生成方法和装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101536047A (zh) * | 2006-11-06 | 2009-09-16 | 光荣株式会社 | 纸张识别装置以及纸张识别方法 |
| CN102136167A (zh) * | 2010-11-29 | 2011-07-27 | 东北大学 | 一种纸币清分鉴伪装置及方法 |
| CN102142168A (zh) * | 2011-01-14 | 2011-08-03 | 哈尔滨工业大学 | 纸币清分机高速高分辨率号码采集装置及其识别方法 |
| CN102509091A (zh) * | 2011-11-29 | 2012-06-20 | 北京航空航天大学 | 一种飞机尾号识别方法 |
| CN102800148A (zh) * | 2012-07-10 | 2012-11-28 | 中山大学 | 一种人民币序列号识别方法 |
| CN104866867A (zh) * | 2015-05-15 | 2015-08-26 | 浙江大学 | 一种基于清分机的多国纸币序列号字符识别方法 |
| CN105261110A (zh) * | 2015-10-26 | 2016-01-20 | 江苏国光信息产业股份有限公司 | 一种高效dsp纸币冠字号识别方法 |
| CN105335710A (zh) * | 2015-10-22 | 2016-02-17 | 合肥工业大学 | 一种基于多级分类器的精细车辆型号识别方法 |
| CN105354568A (zh) * | 2015-08-24 | 2016-02-24 | 西安电子科技大学 | 基于卷积神经网络的车标识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5184824B2 (ja) * | 2007-06-15 | 2013-04-17 | キヤノン株式会社 | 演算処理装置及び方法 |
-
2016
- 2016-05-20 CN CN201610341835.2A patent/CN106056751B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101536047A (zh) * | 2006-11-06 | 2009-09-16 | 光荣株式会社 | 纸张识别装置以及纸张识别方法 |
| CN102136167A (zh) * | 2010-11-29 | 2011-07-27 | 东北大学 | 一种纸币清分鉴伪装置及方法 |
| CN102142168A (zh) * | 2011-01-14 | 2011-08-03 | 哈尔滨工业大学 | 纸币清分机高速高分辨率号码采集装置及其识别方法 |
| CN102509091A (zh) * | 2011-11-29 | 2012-06-20 | 北京航空航天大学 | 一种飞机尾号识别方法 |
| CN102800148A (zh) * | 2012-07-10 | 2012-11-28 | 中山大学 | 一种人民币序列号识别方法 |
| CN104866867A (zh) * | 2015-05-15 | 2015-08-26 | 浙江大学 | 一种基于清分机的多国纸币序列号字符识别方法 |
| CN105354568A (zh) * | 2015-08-24 | 2016-02-24 | 西安电子科技大学 | 基于卷积神经网络的车标识别方法 |
| CN105335710A (zh) * | 2015-10-22 | 2016-02-17 | 合肥工业大学 | 一种基于多级分类器的精细车辆型号识别方法 |
| CN105261110A (zh) * | 2015-10-26 | 2016-01-20 | 江苏国光信息产业股份有限公司 | 一种高效dsp纸币冠字号识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于图像分析的人民币清分方法;祁磊;《中国优秀硕士学位论文全文数据库信息科技辑》;20160115(第1期);第I138-564页，特别涉及正文52-54页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106056751A (zh) | 2016-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106056751B (zh) | 冠字号码的识别方法及系统 | |
| CN105957238B (zh) | 一种纸币管理方法及其系统 | |
| Chen et al. | A double-threshold image binarization method based on edge detector | |
| Mohammad et al. | Optical character recognition implementation using pattern matching | |
| CN104809715B (zh) | 纸币图像倾斜校正与区域提取方法 | |
| CN105046252B (zh) | 一种人民币冠字码识别方法 | |
| CN106778586A (zh) | 离线手写签名鉴别方法及系统 | |
| CN110598699A (zh) | 一种基于多光谱图像的防伪票据鉴伪系统和方法 | |
| CN104464079B (zh) | 基于模板特征点及其拓扑结构的多币种面值识别方法 | |
| CN107103317A (zh) | 基于图像融合和盲反卷积的模糊车牌图像识别算法 | |
| CN104077577A (zh) | 一种基于卷积神经网络的商标检测方法 | |
| CN106529532A (zh) | 一种基于积分特征通道与灰度投影的车牌识别系统 | |
| CN104298989A (zh) | 基于斑马线红外图像特征的鉴伪方法及其系统 | |
| CN104217221A (zh) | 基于纹理特征的书画作品检测方法 | |
| CN108319958A (zh) | 一种基于特征融合匹配的行驶证检测和识别方法 | |
| Youn et al. | Efficient multi-currency classification of CIS banknotes | |
| CN110689003A (zh) | 低照度成像车牌识别方法、系统、计算机设备及存储介质 | |
| CN103093185A (zh) | 字符识别装置、图像处理装置及其方法 | |
| Varjas et al. | Car recognition from frontal images in mobile environment | |
| Vincent et al. | Document recto-verso registration using a dynamic time warping algorithm | |
| CN112395919B (zh) | 一种基于多特征度量学习的离线签名鉴伪方法和系统 | |
| CN110310311B (zh) | 一种基于盲文的图像配准方法 | |
| Hmood et al. | Statistical edge-based feature selection for counterfeit coin detection | |
| CN110120118A (zh) | 一种拼接币的识别系统 | |
| Vishnu et al. | Currency detection using similarity indices method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230816 Address after: 114000 No.308, Qianshan Middle Road, Tiedong District, Anshan City, Liaoning Province Patentee after: Julong Co.,Ltd. Patentee after: Liaoning Julong financial self-help equipment Co.,Ltd. Patentee after: Nantong Julong Rongxin Information Technology Co.,Ltd. Address before: No. 308 Qianshan Middle Road, Tiedong District, Anshan City, Liaoning Province, 118100 Patentee before: Julong Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CP03 | Change of name, title or address |
Address after: 114000 No.308, Qianshan Middle Road, Tiedong District, Anshan City, Liaoning Province Patentee after: Julong Co.,Ltd. Country or region after: China Patentee after: Liaoning Julong financial self-help equipment Co.,Ltd. Patentee after: Nantong Rongxin Information Technology Co.,Ltd. Address before: 114000 No.308, Qianshan Middle Road, Tiedong District, Anshan City, Liaoning Province Patentee before: Julong Co.,Ltd. Country or region before: China Patentee before: Liaoning Julong financial self-help equipment Co.,Ltd. Patentee before: Nantong Julong Rongxin Information Technology Co.,Ltd. |
|
| CP03 | Change of name, title or address |