CN101529481A - 基于模式匹配控制印刷文件的质量的方法 - Google Patents

基于模式匹配控制印刷文件的质量的方法 Download PDF

Info

Publication number
CN101529481A
CN101529481A CNA2007800329553A CN200780032955A CN101529481A CN 101529481 A CN101529481 A CN 101529481A CN A2007800329553 A CNA2007800329553 A CN A2007800329553A CN 200780032955 A CN200780032955 A CN 200780032955A CN 101529481 A CN101529481 A CN 101529481A
Authority
CN
China
Prior art keywords
image
sample image
printed
pattern
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800329553A
Other languages
English (en)
Other versions
CN101529481B (zh
Inventor
约恩·萨克
伯尔德·史托伯
哈拉尔德·维利奇
沃尔克·洛韦格
托马斯·图尔克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KBA Notasys SA
Original Assignee
KBA Giori SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KBA Giori SA filed Critical KBA Giori SA
Publication of CN101529481A publication Critical patent/CN101529481A/zh
Application granted granted Critical
Publication of CN101529481B publication Critical patent/CN101529481B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/003Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using security elements
    • G07D7/0032Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using security elements using holograms
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07DHANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20Testing patterns thereon
    • G07D7/202Testing patterns thereon using pattern matching
    • G07D7/206Matching template patterns

Abstract

描述在印刷文件表面的仅一部分可用于检查的环境下控制如钞票和其它类似文件的印刷文件(1)的质量的方法,其包括以下步骤:(i)存储基准图像(6);(ii)采集要控制的样本印刷文件的样本图像(5),该样本图像只覆盖样本印刷文件的有限部分;(iii)在采集的样本图像里选择搜索模式(7);(iv)在基准图像(6)中搜索所选择的搜索模式(7)的匹配(v),确定与所述样本图像(5)和所述基准图像(6)里的搜索模式(7)的位置关联的控制参数,(vi)比较与样本图像(5)里的搜索模式(7)的位置关联的控制参数和与在基准图像(6)里的搜索模式(7)的位置关联的控制参数;以及(vii)基于控制参数比较结果,接受或拒绝样本印刷文件。

Description

基于模式匹配控制印刷文件的质量的方法
技术领域
本发明通常涉及基于模式匹配技术控制印刷文件质量的方法,尤其用于控制钞票和例如护照、身份证件、支票等的保密文件的安全。
发明背景
控制钞票和其它类似文件的印刷质量在本领域中是众所周知的。
在现有技术中,当在检验纸的印刷质量且尤其是纸质有价证券的印刷质量时,使用包括一个或更多个黑白或彩色照相机的电子自动检查装置来捕获要检查的图像。这些图像由矩阵组成,通常是矩形矩阵,包括代表被检查的材料反射(在反射检查中,对被检查的材料的一面进行检验)或通过被检查的材料透射(在透明检查中,对被检查材料的透射属性进行检验)的光的量的像素值。换言之,图像被划分为多个像素,每个像素具有表示被检查材料的相应局部区域反射或透射的光的光密度值。涉及图像的像素数量是照相机分辨率的函数。在单色(黑白)系统中,用单个矩阵描述图像,而在多色系统中,通常使用和色度通道的数量一样多的矩阵描述图像。通常地,对于RGB(红、绿、蓝)类型,使用三个色度通道。用来执行这种类型的自动检验的程序基于下列方案:
从被认为是可接受的一组页,建立可接受的印刷质量模型。使用各种技术建立这种模型。例如,从被认为是可接受的一组页,计算平均图像,也就是说用一矩阵描述的图像,矩阵中的每个像素与在该组测试页中取得的平均值关联。
另外的程序使每个像素值与两个值关联,一个是在该组测试页中获得的最小值,另一个是最大值。因此,对于每个图像,使用两个矩阵,一个具有最小值另一个具有最大值。当然,如果图像是多色图像,则对每个色度通道取得两个矩阵。
在欧洲专利申请EP0527285和EP0540833(对应US5,317,390和US5,384,859)中特别公开了以上程序。
在生成要检查的图像时,要检查的图像的每个像素与如此取得的模型的像素比较。如果差异超过预先确定的阈值或如果它在最小值到最大值范围之外,该像素就被认为具有印刷缺陷。最后,缺陷像素的总量决定是否将拒绝图像。
更详细地,根据US5,317,390,用于判断印刷在印刷载体上印刷图像的质量的程序包括:把要判断的印刷图像分成预先选定大小的许多图像像素元素;确定每个所述图像像素元素的名义油墨密度值,并在基准图像存储设备中存储这个名义油墨密度值;从被判断为可接受的许多印刷校样图像(printed proofimage),确定每个所述图像像素元素的实际校样油墨密度值;从所述实际值,取得每个所述图像像素元素的最大可接受油墨密度值(FD MAX)和最小可接受油墨密度值(FD MIN),以提供每个所述图像像素元素的油墨密度公差范围;分配给每个所述图像像素元素的所述存储的名义油墨密度值一个对应于最大和最小可接受油墨密度值FD MAX和FD MIN的误差公差范围;测量要判断的印刷图像的每个图像像素元素的实际油墨密度值;以及将每个图像像素元素的所述测量的油墨密度值与所述存储的名义油墨密度值和误差公差范围比较,以确定要判断的印刷图像的质量。
根据US5,384,859,用于图像的质量控制的过程包括:在要检查的印刷图像内定义多个个体图像元素,每个元素包含一图像模式;存储合并所述多个个体图像元素的主印刷图像(master printed image),存储的主图像包括用于每个图像元素的存储的名义模式值;存储每个图像元素名义模式值的可接受的公差范围,以提供每个所述图像元素的最小和最大可允许的模式值;测量印刷图像的个体图像元素以取得个体测量的模式值;以及比较所述个体测量的模式值和相应的可允许最大和最小存储的模式值,以确定在所述印刷图像里的误差。
当制造某些类型的有价印刷品时,例如有价证券、钞票、邮票等,使用各种印刷技术印刷图像,例如平版印刷、凹版印刷等。这些各种类型的印刷技术由许多印刷阶段组成。在常规印刷过程中,首先纸通过第一阶段的印刷系统并印刷第一绘图,然后纸通过能够让第二绘图印刷在纸上的第二印刷阶段的第二印刷系统。在这种情况,除了印刷质量问题之外,同样有将不同阶段的绘图印刷到适当相对的对准(register)的问题。其原因,是在不同阶段印刷绘图的情况下,在用这种方式印刷的两个图像之间可存在偏移。这些相当于几个像素的偏移不是在纸的运动的方向就是在垂直的方向。在这种情况,使用以上提到的技术几乎不可能提取表现期望的印刷质量的模型,因为由于在印刷阶段之间的未对准或缺陷对准,使极大不同的值可能与相同像素关联。
在这种情况,提议建立每个印刷阶段的模型。为此,只印有印刷阶段的每个阶段中的一个阶段的页组(sets of sheets)被包括在测试页组中。使用与以上描述的程序相似的程序,建立每个印刷阶段的模型。在准备这些模型的阶段期间,操作员识别图像中的只包括或基本上只包括单个印刷阶段的部分。
在制造中,首先使用在模型的准备期间确定的像素测量在印刷阶段之间的相对未对准。
其次,在考虑到连续地在页上印刷各种阶段的方式的同时,将各模型合并,以便取得单一参考模型,其布置对应于在要检验的图像中的绘图的布置。接下来,每个图像与这样产生的模型比较。对于印刷机,这个已知程序复杂且特别昂贵,因为对于每个制造批次都必须印刷如印刷阶段数量一样多的表现期望的印刷质量的页组。
例如在EP0730959(对应US5,778,088)、EP0734863和EP0985531(对应US6,665,424)中公开了其它已知的方法。EP0730959公开了用电子装置生成参考模型的程序,该电子装置专门用于自动检验在纸上的图像的印刷质量,尤其用于纸质有价证券,所述图像由在至少两个单独印刷阶段印刷的绘图组成,程序包括以下步骤:
a.准备一组图像(测试页),完全由用于长期印数的装置和程序印刷;
b.排列所述图像,使得所述图像的在第一阶段里印刷的绘图是对准的;
c.当图像保持对准时,记录图像并在存储器中存储组成所述图像的像素的光密度值;
d.从所述一组图像的中所有组图像取得的、所述一组图像中的图像中的每个像素位置的最小值与第一印刷阶段模型的每个像素关联,且由此形成所述第一印刷阶段印刷的绘图的模型;
e.其后,排列图像,使得在另一印刷阶段印刷的绘图被对准,且对在不同的印刷阶段印刷的所有绘图重复步骤c和步骤d;以及
f.重新组合这样取得的模型,以便形成要检验的纸上的最终生成的图像的参考模型,每个个体测试页经受与在要检验的纸上的最终生成的图像相同的类型和数量印刷阶段。
于是通过所取得的页与参考模型的比较来执行对印刷页的质量控制,例如比较从印刷页取得的每个像素值与基准图像的对应的像素值。如果取得的像素值在基准图像的像素值的预先确定的范围内,就接受此受控页,否则,就拒绝该页。
在EP0734863中公开了控制方法的另一例子。在这个出版物中,控制过程包括使携带印刷图像的纸页经过照相机的前面,照相机检查它们并将捕获的图像传给能够测量未对准的单元。所测量的未对准的值传给包含具有可接受的未对准的所有像素模型的存储器,并选择最接近匹配测量的值的模型并将该模型传给比较器。比较器比较由相机捕获的后来的图像与所选择的像素模型,从而建立自动图像控制。
在EP0985531中给出了用电子装置生成用于在可变形物体上自动检查印刷质量的模型的过程的进一步例子。此模型首先用电子照相机(例如CCD)捕获印刷质量被认为是可接受的一组页的图像来生成;存储图像以生成第一基准图像,并具有相关的光密度公差极限。这个基准图像随后通过被叠加有非常小的网孔单元的栅格而被分成众多子图像。在检查期间,在要检查的图像上测量在栅格的节点之间的距离:这样由此产生对模型的弹性修正,例如使在节点之间的距离与在要检查的图像里的相同。从而,通过使用任何标准检查技术,相对于修正的基准(模型)来检验要检查的图像。
在欧洲专利申请EP0582548A1中公开了一种用于在钞票的制造期间控制钞票印刷质量的方法和装置的又一例子。这个文档公开了一种图像处理装置,包括用于采集代表样本的几个空间分散的区域的数据的数据采集阶段。该装置还包括用于存储对应样本数据的基准数据(即,基准页的图像)的数据存储装置。编译并分析两组数据,以确定样本是否从名义位置偏移。
在US3,412,993中描述了在印刷的物质例如钞票上执行的另一种控制类型:在印刷后,用光电技术检查钞票,以确定印迹在票据上是否正确位于中心。当彩色钞票还在页上时以及在后来的剪裁、堆积和计数之后,操作员最初标记任何有缺陷的彩色钞票,单张钞票用滚筒或传送带装置经过两个检测系统的前面,每个检测系统检查钞票的两侧。第一检测系统通过光学感测或利用标记油墨的磁或电属性来感测之前应用的彩色记号,第二光电系统监控印迹的对中。在印刷序列号之前丢弃有缺陷的钞票,或者,如果已经印刷了序列号,就用完美的钞票替换。在最后打包之前进一步进行计数。通过测量围绕沿一边的两个特定点和沿着邻近边的一个点的印迹的简单边界的宽度来确定正确的对中。在一种排列中,钞票必须相对于检测装置在传送机或滚筒上正确对齐,并使它的较长边与运动方向的横向排列。两光束在钞票的路径上的分隔的点照在传送机上,且关联的电子乘法器接收沿着较长的边缘的边界经过时的通过所用的反射光时间,并因此提供对其在两个点的宽度的测量。沿着邻近边缘的边界的宽度,与运动的方向平行延伸,用振荡光电设备扫描边界来测量,在检测到钞票的前边缘之后的一段时间读取其读数。代表宽度的电子信号与标准电子信号比较,以确定是否可接受钞票。
本领域中用来比较印刷图像和基准图像的方法称为模式匹配。在这种方法中,在基准图像里确定基准模式,然后在被检查的印刷物的样本图像(sample image)里寻找所述预先确定的基准模式,其中,比较基准模式在被检查的印刷物的搜索区域里的所有可能变化位置,以获得匹配。这意味着(i)基准模式必须充分唯一以在样本图像中被鲁棒地识别以及(ii)搜索区域必须比基准模式足够大,从而能够找到基准模式的所有预期的位置变化。涉及这个领域的现有技术出版物的例子是“Digital ImageProcessing”,Gonzalez/Woods,Addison Wesley,页583(ISBN 0-201-50803-6)。
更明确地,为了执行模式匹配,可使用已知的方法。这个过程主要包括两个阶段:离线学习阶段和匹配阶段,在离线学习阶段处理模板,匹配阶段能实时执行。模式匹配的学习阶段包括分析模板图像,以找到可用来获得有效匹配性能的特征。匹配阶段使用来自学习阶段的信息,尽可能多的消除不必要的计算。
典型地,能使用的匹配算法依赖于用户是否已经指定位移不变匹配(在搜索图像的任意位置寻找模板)还是旋转不变匹配(在搜索图像的任意位置和旋转寻找模板)。它们都是两步法(two-pass)过程。
位移不变匹配
第一步是只使用来自模板图像的伪随机取样的像素的相关(correlation)。稳定性分析的结果被用来确定在搜索图像能跳过多少位置而不错过任何重要特征。例如,如果发现所有子取样(sub-sampled)的像素在3x3的邻近区域是稳定的,则匹配算法能跳过在每一行和列里的三个相关的两个,同时仍然保证将检测到匹配。这样将所要求的计算的次数减少9倍。此第一步产生一定数量的具有粗糙位置信息的候选匹配。
第二步只在第一步中识别的候选者上操作。学习阶段的边缘检测结果被用来细调每个匹配的位置,基于在该位置的相似性结果来给出每个匹配的分数(score)。用户提供的分数阈值确定哪个候选者作为匹配返回。
旋转不变匹配
第一步使用来自学习阶段的圆形强度分布(circular intensity profile)而在整个图像中搜索该分布的偏移形式。用户能输入允许的旋转范围(角度)以减少这步所要求的计算的数量。在这步中,识别几个候选匹配。
第二步使用伪随机取样的像素对所有候选者执行相关。对每个候选者生成一分数,以确定将其分类为匹配还是不匹配。
待要匹配的模板的选择对模式匹配算法的速度和准确性有很大影响。有一些大体意见:
-)模板应充分不对称,使得其在某些方位能被唯一识别。
-)复杂的模板将比非常简单的模板需要更长的时间来匹配。然而,必须确保模板包括充足的细节以唯一识别并准确定位该模式。
-)模板应包含充足的细节以在图像中确定它的空间位置。为此,其需要包含垂直特征和水平特征。
-)如果试图定位简单特征,例如板上的点或洞,模板应足够大来包含将图像中的特殊特征与相似特征区别开的背景信息。
美国专利申请第2003/0194136A1号公开了已知模式匹配技术和实现所述技术的图像处理设备的例子。这个设备适于检测并提取与从样本印刷文件(sample printed document)取得的图像数据里的特定模式类似的模式,以及计算所提取的模式和预先建立的基准模式之间相似度。本公开的设备特别希望使用到的是彩色复印机,以便检测是否有人试图复印纸币并防止复印过程进而完成。根据这个申请,样本印刷文件的整个表面可用于图像采集设备。根据US2003/1294136A1,对于可能与待检测的每个特定模式匹配(例如记号、数字等)的模式,通过使用特定大小的遮罩并检验图像的合适区域,来实现对图像数据里的特定模式的检测。如果检测到可能的候选者,则指定模式的基准位置并传输数据用于进一步处理,以提取特定模式,并使这个模式与预先定义的基准模式匹配。
在US2003/0194136A1中描述的解决方案可适于要测试的样本印刷文件的全部表面可用于检查的应用环境。但是,这样的解决方案对于其中印刷文件的表面的仅有一有限部分可用于检测的应用仍然不能满足要求。
在欧洲专利申请EP0382549A2中讨论了类似的方法和设备。在这种情况中,同样的是,样本印刷文件(比如钞票)的全部表面可用于检查。这个解决方案因而同样不适合于,印刷文件的表面的仅有一有限部分可用于检查的应用。
与钞票和类似产品的制造关联的另一领域涉及对产品的计数。典型地,在钞票的领域,一个人制造一定数量的单张钞票,这些钞票在把页剪裁成单张钞票后以捆和包的形式堆积,对出现在每堆里的钞票计数是重要的,以控制每捆和每包钞票包括预定数量的钞票。
在EP0737936公开了一种著名的计数设备,其内容通过引用并入本申请。这种设备包括用于对排列成堆栈(例如一堆页或钞票)的页状基片(sheet-like substrate)进行计数的计数盘。更确切地,计数盘包括在它的边界上排列的圆周部分,以及每个圆周部分具有吸入洞(suction hollow),其中吸口被排列成一个位于另一个后面。当旋转计数盘时,所述吸口间歇地连接到吸气源,结果堆栈(例如钞票的堆栈)的角,一个接一个,被吸入、变形、与其余的基片分离,以及借助产生的气动计数脉冲,进行计数。吸气通过输送管供给吸口,输送管的截面开在吸口里,并相对于计数盘的平面垂直地定向。最终,所产生的脉冲数量对应于被计数的页状基片的数量。
在国际申请WO01/14111中公开了这种计数设备的演变形式,其内容通过引用并入本申请。在这个演变形式中,除了用基于EP0737936的技术的转盘对堆积的基片进行计数之外,所述盘包括附加装置以确定印刷模式在所计数的基片上的位置,以执行与以上引用的US 3,412,993中公开的方式可相比拟的检验,也就是用于控制所谓的“印刷到剪裁”(print-to-cut)对准。国际申请WO 01/14111的思想在计数设备上提供这样一种装置,其在计数期操作间,同时允许控制被计数的基片的边缘和所述基片上的印刷图像的边缘之间的距离。事实上,确保剪裁操作后,在所得的基片的边缘和其上的印刷模式的边缘之间的预先确定的距离保持不变,或至少在某个预先确定的界限内是重要的。在国际申请WO 01/14111中公开的光学系统允许在计数操作期间,通过反射测量,对相对于基片的两个边缘的所述距离进行确定。
将两个操作(计数和距离测量)合并是有益的,因为这允许减少制造满足期望的质量要求的基片的必要时间。
如以上提到的,测量在纸上的印迹相对于纸的边缘的位置或在两个不同印刷过程之间的位置有时是重要的。一个例子是在制造过程(所谓的印刷到剪裁或印刷到边对准)期间,对剪裁成钞票上的印迹的纸的位置的测量。通常地,如在现有技术中,在所采集的图像中寻找唯一的模式以获得对印刷位置自身的正确测量。
如在上文中已经提到的,需要满足的条件是,搜索区域必须大于要寻找的搜索模式,以覆盖所有预期的位置变化。
由于一些设备里的可用空间有限,有时只可能使用对印刷或纸页的非常小的观察区域。结果,如果能够看到只是印刷的一小部分且在正常印刷过程中的变化大于观察区域的大小,则所选择的基准模式或搜索模式的位置的变化有可能使其从观察区域消失。在这种情况,不可能使用如以上讨论的普通模式匹配方法(例如在US2003/0194136A1和EP0382549中讨论的),在这些方法中,基准模式或搜索模式在基准图像里选择,如在现有技术中教授的,因此,需要找到新的方法。这个问题典型地出现在国际申请WO01/14111的设备中,但是这样的问题也发生在只能观察到被检查的印刷的一小部分的其它应用中。
发明内容
本发明的目的是改进已知方法和设备。
特别地,本发明的目的是提供克服已知方法的局限的方法,也就是适于在印刷文件的表面中只有一部分可用于检查的环境中应用的方法。
这些目的因为权利要求定义的方法而达到。
更确切地,本发明的发明理念能概括如下:并非使用预先确定的基准模式并在从被控制的印刷品所采集的样本图像里寻找这个模式,而是,基准模式或者更准确地搜索模式实际上从样本图像自身得到,应理解,这个搜索模式对每个样本图像都不同。
定义并存储印刷品的基准图像,所述基准图像被认为满足质量要求,或是定义为基准图像的图像,并具有大于样本图像的尺寸,其优选使用与用于取得样本图像的采集系统不同的光学采集系统采集。典型地,使用扫描仪或另外类似的采集系统采集基准图像。重要的是这个系统采集的图像大于样本图像以覆盖搜索模式的所有可能变化。
在替换的实施方式中,基准图像可通过汇集几个样本图像以构成基准图像而形成。这意味着在期间形成基准的学习过程,且还意味样本图像是不同的。
接着,搜索模式与基准图像进行相关,以便找到匹配,并因此确定搜索模式在基准图像里的位置。此外,确定搜索模式在样本图像里的位置以及确定在基准图像里的匹配的位置。然后比较两个位置,系统于是判定样本图像的值是否满足建立的标准(例如是否在预先确定的范围内),以接受或拒绝被检查文件。
本方法典型并优选应用在国际申请WO 01/14111公开的系统里,用于执行印刷到剪裁的对准控制。当然,也可设想其它应用,例如用于执行印刷到印刷(print-to-print)的对准控制。
容易理解,根据本发明的方法能扩展到采集的样本图像相对于基准图像是小的任何应用。
附图简述
阅读完全由非限制性例子的方式提出并由附图示出的本发明实施方式的以下详细描述,本发明的其它特征和优点将看来更加清晰,其中:
图1是在其上应用本发明的过程的印刷文件的示意图;
图2是从图1的印刷文件的表面的一小条采集的样本图像的例子;
图3是根据本发明的方法的实施方式的流程图;
图4是用于执行印刷到剪裁对准控制的图3的模式匹配方法的结果的示例性说明;以及
图5是搜索模式在基准图像里的位置的可能变化的示意性说明。
本发明实施方式详述
以下将在对钞票进行的所谓的“印刷到剪裁对准”(或“印刷到边缘对准”)的控制的背景下描述本发明,也就是对钞票上的印记相对于钞票的切边的位置的控制。更准确地,将在这样一种控制系统的背景下描述本发明,其中,该控制系统执行钞票的印刷到剪裁对准控制,同时,对在一堆或一捆钞票(一捆典型地包括百张钞票)中的这种钞票的数量进行计数,从国际申请WO01/14111中知道该控制系统是这样的,国际申请WO01/14111在这里通过引用全文并入。然而,应理解,本发明具有更宽的应用范围,且并不像这样限制到钞票的印刷到剪裁对准控制。首先,本发明也能用于印刷到印刷对准控制,也就是对在不同的印刷阶段期间所印刷的印记的相对位置进行控制。此外,本发明并不限制到对钞票的质量控制,而能应用到其它保密文件的质量控制中,例如护照、ID卡等,或甚至是普通的印刷文件。
图1显示带有“Jules Verne”肖像的已印好的钞票1的样品(被称为“Jules Verne样品”)的图像。在这个实施方式中,在钞票1的一角,也就是在图1中用附图标记2表示的右上角处,执行印刷到剪裁对准的质量控制。在图1里,两条平行曲线3、4示意性显示在钞票1的角2上。这些平行曲线3、4示意性指出小型光学感测设备(未显示)的行进路径,在借助具有WO 01/14111中描述的集成的光学系统的计数盘对多个堆积的钞票1进行计数期间,小型光学感测设备通过角2的表面。这个例子同样不是限制性的,并仅出于说明的目的而给出。
应理解的是,光学感测系统仅采集样本印刷文件的有限部分的图像(在下文中称为“样本图像”),也就是,在曲线3、4之间的钞票1的角2的区域。在图2中显示了所得到的样本图像的例子,用数字5表示。将理解,在目前所描述的这种借助计数盘来对多个堆积的钞票进行计数的情况下,采集的样本图像5将在一张钞票与下一张钞票之间有所不同,尤其是就位置而言,并可能地,就方位而言,更是如此。更准确地,光学系统相对于每张钞票1的角2的行进路径(如曲线3、4指示的)的实际位置从一张被处理的钞票到下一张处理的钞票之间是不同的,这是由于每张被处理的钞票的角与计数盘协作的方式都有细微的不同。
在这个实施方式中,采集的样本图像5仅覆盖线3、4之间的一小条钞票,图像的高度仅为几毫米的数量级(例如,1.4mm,36像素)。在这种情况下,这一小条钞票非常小,以致同一采集系统得到的另一样本图像5可能覆盖钞票1的角2的完全不同的区域,并因此可能包括完全不同的像素信息。此外,应理解,在所检查的两张钞票之间,如果印刷或剪裁位置的偏移超出了所采集的样本图像5的高度,则将导致完全不同的样本图像5。因此,如在前文提到的,不可能应用现有技术的在基准图像里选择预先确定的基准模式来与所采集的样本图像进行匹配的模式匹配方法,这是因为,这个基准模式可能在样本图像中根本不可见。需要一种新的方法,这种方法将在以下描述。
图3是示出根据本发明的控制方法的实施方式的示意性的流程图。在步骤S1,用光学采集系统获取样本图像5(也就是被检查的文件的局部区域的图像)。在这种实施方式中,任选地,样本图像5在步骤S2、S3和S4进行预处理。更准确地,这些预处理步骤包括,在步骤S2对出现在样本图像5的阴影效果进行修正(阴影效果在图2显示的样本图像的外部区域是明显的)、在步骤S3对样本图像5的对比度进行调整(如图2显示的样本图像,在样本图像里的对比度不是最佳的也是明显的)以及在步骤S4进行低通滤波,以便滤除样本图像5的噪声(特别是在图像采集期间由于非最佳的照明条件出现在图像的量子噪声)。
与步骤S1到S4平行,在步骤S10存储基准图像。这个基准图像优选是基准印刷文件(reference printed document)(也就是,满足期望的质量要求的印刷文件)的至少一部分的扫描图像。在本实施方式中,基准图像覆盖了被进行检查(和计数)的钞票1的角2。使用平板扫描仪以足够高的分辨率(例如600dpi)扫描基准图像。基准图像还经历预处理步骤S11和S12,以便按照所采集的样本图像5来调整它的参数。更准确地,由于样本图像5因采集过程而畸变(也就是,由于光学采集系统跟随的弯曲路径的缘故),因此,在步骤S11,基准图像被旋转、缩放并被畸变,以便实质上具有与采集的样本图像相同的方位,比例和畸变(如在图4的上部部分中由附图标记6表示的被预处理的基准图像所示的)。进一步,在步骤S12,对经旋转、缩放和畸变的基准图像类似地进行低通滤波,以便除去由扫描过程产生的噪声。
将理解,预处理步骤S2到S4、S11和S12的目的是确保在基准图像6和样本图像5之间的尽可能好的匹配,也就是,使得两个图像实质上具有相同的阴影、对比度、方位、比例、畸变和/或噪声水平。其它预处理步骤当然是可能的,这依赖于采集样本图像和定义基准图像的情况和条件。
在步骤S20,在采集的并任选地经预处理的样本图像内定义和选择搜索模式。图4显示在样本图像5里选择的搜索模式7。这个搜索模式7能是样本图像5的预先确定的区域,也就是在样本图像5里具有预先确定的位置和大小的区域。搜索模式7的位置和大小应该相对于不同因素来选择,具体包括,样本图像的可用的尺寸、在文件上实际印刷的模式(该模式必须充分唯一以允许模式识别)和模式匹配算法本身。在当前例子中,按例如以下做法就满足要求:选择实质上位于样本图像的中心的适当的像素大小(例如32×128像素)的搜索模式,钞票的特征模式(在这个例子中,在钞票1的角2中所印刷的飞马的部分)位于其中,以便产生与基准图像的足够鲁棒的模式匹配。在替换的实施方式中,搜索模式可选择为整个样本图像。
应理解,尽管可以预先确定搜索模式7的位置和大小,但搜索模式的实际像素内容实际上将依赖于光学采集系统所覆盖的区域而从一个样本图像变化到下一个。换而言之,搜索模式7的内容总是从一个样本图像变化到另一个。
一旦在样本图像5里选择了搜索模式7,则在基准图像6中搜索搜索模式7的匹配。这可以根据已知的模式匹配算法执行,例如通过对基准图像6与所选择的搜索模式7执行所谓的互相关(见例如,B.DigitalImage Processing,Springer,New York,2002)。实践中,这意味着这样一种处理,对基准图像6里具有所选择的搜索模式7的大小的所有可能区域进行比较,以得到与搜索模式7的匹配。这种相关的结果是在基准图像6内识别出其内容最佳对应于所选择的搜索模式7的区域的位置(任意x-、y-位置)。这个区域在图4的上部部分作为由附图标记7’指示的浅灰色区域示意性地示出。
为了说明的目的,图5显示了在基准图像6里的搜索模式的位置的可能的变化(如浅灰色区域)。如已经提到的,这些变化是所采集的样本图像从一个受检查的钞票到下一个的经常变化位置的结果。在本发明的范围内,并与现有技术的匹配技术对比,将理解,搜索模式没有固定的界定而是可变的。然而,由于以上描述的方法,能够成功执行模式匹配。
在印刷到剪裁对准控制的背景下,感兴趣的是检验印刷模式相对于文件的边缘是否适当定位,或相反地,检验剪裁边缘相对于印刷模式是否适当定位。在本实施方式中,在步骤S22、S23和S24,通过对搜索模式7在样本图像5中相对于印刷文件的边缘的实际位置以及搜索模式7’在基准图像6中相对于印刷文件的边缘的位置进行测量和比较,来对印刷到剪裁对准进行检验。为此,检测样本图像5和基准图像6里的印刷文件的边缘。这样的边缘检测能以相对简单的方式执行,因为文件的边缘与样本图像和基准图像里的较暗背景明显不同。接着可确定搜索模式在样本图像5里和在基准图像6里相对于文件边缘的位置。图4里的距离d1和d2指示搜索模式7在样本图像5里相对于文件的边缘位置。类似地,图4里的d1′和d2′指示搜索模式7’在基准图像6里相对于文件的边缘的相应位置。由于钞票的角2的图像是相对于文件的边缘倾斜地获取的,所以,对于要明确地确定搜索模式相对于文件的边缘的确切位置来说,距离d1、d2和d1′、d2′是足够的。在其它实现中,可能需要相对于搜索模式在样本图像和基准图像里的位置的进一步的信息。再次参考图3的流程图,步骤S22和S23分别指示确定搜索样式在样本图像和在基准图像里相对于文件边缘的位置的步骤,以及步骤S24指示对搜索模式在样本图像5里的位置与搜索模式在基准图像6里的位置进行比较的最终步骤。如果这些位置在所确定的公差范围内匹配,就认为印刷到剪裁对准是适当的。否则,错误信息就传达给操作员,以便能够采取适当的修正措施。
应理解,就模式匹配技术而言,图3中的步骤S22到S24同样是可选的,这在图3中用虚线描述。
在印刷到印刷对准控制的背景下,将感兴趣是,检验在第一印刷阶段(例如平版印刷模式)期间印刷的第一印刷模式相对于在第二印刷阶段(例如凹版印刷的模式)期间印刷的第二印刷模式是否适当定位。在这种情况,倘若在样本图像里两个印刷模式都是可见的,则可用与以上描述的相似的方式确定并控制这些模式的相对位置。
让我们返回到以上描述的实施方式,其中印刷到剪裁对准操作与计数操作同步执行。应理解可用于执行检查的时间是有限的。钞票捆典型地包括一个堆积在另一个上面的百张钞票。此外,通常形成十捆的包(也就是千张钞票)。对一包千张钞票进行计数操作大约花费五秒钟,也就是每张钞票五毫秒,这是对包内每张钞票执行印刷到剪裁对准控制可用的时段。
考虑以上的限制,模式匹配算法优选使用所谓的模糊模式分类器实现,这种模糊模式分类器不直接应用在图像的像素信息上的,而是用在像素信息的谱变换上,例如Messrs.Volker Lohweg、Carsten Diederichs、和Dietmar
Figure A20078003295500181
在“Algorithms for Hardware-Based Pattern Recognition”(EURASIP Joural on Applied Signal Processing,卷2004第12号页1912-1920,2004)的出版物里教授的。
在这个背景下,可以设想各种变换以执行到谱域的转化。例如可应用不同的非正弦变换,以用作模糊模式分类器的模式发生器,上述非正弦变换包括具有一些对于瞬时信号和周期信号的分析有用的属性的所谓的广义循环变换(Generalized Circular Transform,或GCT)(例如见出版物:“AnImage-Processing-System-On-Chip Based on Nonlinear Generalized CircularTransform and Fuzzy Pattern Classification”,Messrs.Volker Lohweg和Carsten Diederichs,IEEE-EURASIP Workshop on Nonlinear Signal andImage Processing,Grado-Trieste,意大利2003年6月)。在GCT变换系中,方波变换(SWT)、广义循环变换A1(GCTA1)和广义循环变换p2(GCTp2)是特别关注的。
除了GCT变换,也能应用所谓的Walsh-Hadamard变换(WHT)(见例如参见出版物:“BIFORE or Hadamard Transform”,Messrs.N.Ahmed、K.R.Rao和A.L.A.L.Abdussattar,IEEE Transactions on Audio andElectroacoustic,卷AU-19页225-234,1971)。这种WHT变换有时称为BIFORE变换(Binary FOurier REpresentation,二元傅里叶表示)。
可设想其它类型的变换,例如常规的快速傅里叶变换(FFT)。
模糊模式分类是用于对复杂系统建模和对数据分类的非常有用的方法(例如见出版物:“A Parametric Fuzzy Pattern Classification Concept”,Messrs.S.F.Bocklisch和U.Priber,Proceedings of the International Workshopon Fuzzy Sets Applications,页147-156,三月3-8,1985,Eisenach,Akademie-Verlag,柏林,德国,1986)。由于与其它分类器相比有更佳的分类结果,这个方法特别用于钞票的检查(见出版物:“Real-TimeImage-Processing-System-On-Chip For Security Feature Detection andClassification”,Messrs.Thomas
Figure A20078003295500191
和Volker Lohweg,Proceedings ofIS&T/SPIE 16th Annual Symposium on Electronic Imaging,卷5297,页204-211,San Jose,CA,美国,2004年1月)。
从硬件实现的角度来看,变换(其组成计算时间的主要部分,大约90%)可有利地在现场可编程门阵列(或FPGA)上实现,例如具有50MHz时钟速率的ALTERA Stratix的类型(Altera,Digital Library of FPGA′s,SanJose,2006年1月,www.altera.com)。
将理解,能对上文描述的实施方式进行对本领域技术人员明显的各种更改和改进,而不背离所附的权利要求界定的本发明的范围。
事实上,清楚地,本发明可用在能采集要检查的印刷文件的仅一小部分的图像的任何应用中。
此外,根据替换的实施方式,模式匹配能在多个搜索模式上执行而非仅仅一个。

Claims (15)

1.一种用于在印刷文件的表面的仅一部分可用于检查的环境中控制诸如钞票和其它类似文件的印刷文件(1)的质量的方法,所述方法包括以下步骤:
存储基准图像(6),
采集要控制的样本印刷文件的样本图像(5),所述样本图像仅覆盖所述样本印刷文件的有限部分,
在所采集的样本图像里选择搜索模式(7),
在所述基准图像(6)中搜索所选择的搜索模式(7)的匹配,
确定与所述搜索模式(7)在所述样本图像(5)里和所述基准图像(6)里的位置关联的控制参数,
将与所述搜索模式(7)在所述样本图像(5)里的位置关联的控制参数和与所述搜索模式(7)在所述基准图像(6)里的位置关联的控制参数比较,
基于所述控制参数的比较的结果,接受或拒绝所述样本印刷文件。
2.如权利要求1所述的方法,其中所述基准图像(6)是满足期望的质量要求的基准印刷文件的至少一部分的扫描图像。
3.如权利要求1所述的方法,其中所述基准图像(6)是由满足期望的质量要求的几个印刷文件构成的图像。
4.如前述权利要求的任一权利要求所述的方法,其中在所述基准图像(6)中搜索所选择的搜索模式(7)的匹配的步骤使用模式匹配算法。
5.如权利要求4所述的方法,其中所述模式匹配算法包括将所述基准图像(6)与所述样本图像(5)进行互相关。
6.如权利要求4或5所述的方法,其中所述模式匹配算法是基于模糊模式分类(FPC)。
7.如权利要求6所述的方法,其中所述模糊模式分类(FPC)在来自所述样本图像(5)和基准图像(6)的像素信息的谱变换上执行。
8.如前述权利要求的任一权利要求所述的方法,其进一步包括对所述基准图像(6)和/或样本图像(5)进行预处理的步骤。
9.如权利要求8所述的方法,其中进行预处理的所述步骤包括对所述基准图像(6)和/或样本图像(5)进行阴影修正、对比度调整、旋转、缩放、畸变和/或滤波,使得两个图像具有实质上相同的阴影、对比度、方位、比例、畸变和/或噪声水平。
10.如前述权利要求的任一权利要求所述的方法,其中所述控制参数至少包括,在所述印刷文件(1)的边缘与所述搜索模式(7)在所述样本图像(5)和基准图像(6)里的位置之间的距离(d1、d2、d1′、d2′)。
11.如权利要求10所述的方法,其用于控制所述印刷文件的印刷到剪裁对准。
12.如权利要求11所述的方法,其在对一包或一捆堆积的印刷文件里的印刷文件的数量进行计数时执行。
13.如前述权利要求的任一权利要求所述的方法,其中所述控制参数至少包括,在所述印刷文件的制造过程的不同印刷阶段期间印刷的两个印刷模式之间的距离。
14.如前述权利要求的任一权利要求所述的方法,其包括在所述样本图像(5)里选择多个搜索模式(7)以及在所述基准图像(6)里搜索所述多个搜索模式的匹配。
15.一种用于执行根据前述权利要求的任一权利要求所述的方法的检查系统,其中模式匹配基于来自所述样本图像(5)和基准图像(6)的像素信息的谱变换执行,以及其中所述谱变换在一个现场可编程门阵列(FPGA)上硬件实现。
CN2007800329553A 2006-09-06 2007-09-03 基于模式匹配控制印刷文件的质量的方法 Expired - Fee Related CN101529481B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06120198A EP1901241A1 (en) 2006-09-06 2006-09-06 Method for controlling the quality of printed documents based on pattern matching
EP06120198.4 2006-09-06
PCT/IB2007/053535 WO2008029340A2 (en) 2006-09-06 2007-09-03 Method for controlling the quality of printed documents based on pattern matching

Publications (2)

Publication Number Publication Date
CN101529481A true CN101529481A (zh) 2009-09-09
CN101529481B CN101529481B (zh) 2012-05-30

Family

ID=37671141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800329553A Expired - Fee Related CN101529481B (zh) 2006-09-06 2007-09-03 基于模式匹配控制印刷文件的质量的方法

Country Status (6)

Country Link
US (1) US8571327B2 (zh)
EP (2) EP1901241A1 (zh)
JP (1) JP5065394B2 (zh)
CN (1) CN101529481B (zh)
AT (1) ATE539420T1 (zh)
WO (1) WO2008029340A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081818A (zh) * 2009-11-27 2011-06-01 富士通先端科技株式会社 纸页类鉴别装置以及纸页类鉴别方法
CN102934146A (zh) * 2010-04-08 2013-02-13 多尔斯研发有限公司 钞票的分类方法
CN103124631A (zh) * 2010-09-22 2013-05-29 鲍勃斯脱梅克斯股份有限公司 用于包装生产机的质量控制方法
CN104321770A (zh) * 2012-05-29 2015-01-28 西门子公司 数据量的处理
CN109767430A (zh) * 2017-01-10 2019-05-17 中国人民银行印制科学技术研究所 有价票据的质量检测方法及质量检测系统
CN111656758A (zh) * 2017-11-23 2020-09-11 系统陶瓷股份公司 用于陶瓷载体,特别是瓷砖的图形适配方法和系统
CN111737200A (zh) * 2020-08-17 2020-10-02 北京人教聚珍图文技术有限公司 基于开放网络传输出版文件的质量控制方法、控制系统
CN115428426A (zh) * 2020-04-17 2022-12-02 古楼特西诺采纸业有限两合公司 用于控制装饰印刷过程的方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2112110A1 (en) 2008-04-25 2009-10-28 Kba-Giori S.A. Method and system for processing bundles of securities, in particular banknote bundles
JP4794662B2 (ja) * 2009-07-31 2011-10-19 シャープ株式会社 画像読取装置及び画像判定方法
EP2282286A1 (en) * 2009-08-03 2011-02-09 Kba-Giori S.A. Method and system for processing stacks of sheets into bundles of securities, in particular banknote bundles
WO2017159384A1 (ja) 2016-03-14 2017-09-21 日本電気株式会社 物体管理装置
KR20200092198A (ko) 2019-01-24 2020-08-03 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 스케일 팩터를 고려한 스큐 보정

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH440786A (fr) 1965-06-02 1967-07-31 Giori Gualtiero Installation de contrôle et d'emballage des billets de banque
EP0382549B1 (en) * 1989-02-10 1995-11-29 Canon Kabushiki Kaisha Apparatus for image reading or processing
DE4142481A1 (de) 1991-08-12 1993-02-18 Koenig & Bauer Ag Qualitaetskontrolle einer bildvorlage z. b. eines gedruckten musters
DE59208384D1 (de) 1991-08-12 1997-05-28 Koenig & Bauer Ag Qualitätskontrolle einer Bildvorlage z. B. eines gedruckten Musters
CA2100324C (en) * 1992-08-06 2004-09-28 Christoph Eisenbarth Method and apparatus for determining mis-registration
JP3057981B2 (ja) * 1992-12-25 2000-07-04 オムロン株式会社 画像処理装置及びそれを用いた複写機
US20020114521A1 (en) * 1993-10-14 2002-08-22 Tooru Fujii Image processing device and method for identifying an input image and copier including same
IT1276010B1 (it) 1995-03-07 1997-10-24 De La Rue Giori Sa Procedimento per produrre un modello di riferimento destinato ad essere utilizzato per il controllo automatico della qualita' di
IT1275707B1 (it) 1995-03-30 1997-10-17 De La Rue Giori Sa Procedimento di controllo automatico della qualita' di stampa di un'immagine su carta per mezzo di un dispositivo optoelettronico
ATE196955T1 (de) 1995-04-10 2000-10-15 De La Rue Giori Sa Zählscheibe eines blatt-zählgeräts
MC2479A1 (fr) 1998-09-07 1999-04-27 Luigi Stringa Inspection automatique de la qualité d'impression par un modèle élastique
US6952484B1 (en) * 1998-11-30 2005-10-04 Canon Kabushiki Kaisha Method and apparatus for mark detection
DE19939165A1 (de) 1999-08-20 2001-03-01 Koenig & Bauer Ag Verfahren und eine Vorrichtung zur Verarbeitung von Blättern
CN1542682A (zh) * 2003-11-05 2004-11-03 中国印钞造币总公司 钞票样张印刷误差的测定方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081818A (zh) * 2009-11-27 2011-06-01 富士通先端科技株式会社 纸页类鉴别装置以及纸页类鉴别方法
CN102081818B (zh) * 2009-11-27 2013-07-10 富士通先端科技株式会社 纸页类鉴别装置以及纸页类鉴别方法
CN102934146A (zh) * 2010-04-08 2013-02-13 多尔斯研发有限公司 钞票的分类方法
CN103124631A (zh) * 2010-09-22 2013-05-29 鲍勃斯脱梅克斯股份有限公司 用于包装生产机的质量控制方法
CN104321770A (zh) * 2012-05-29 2015-01-28 西门子公司 数据量的处理
US10191938B2 (en) 2012-05-29 2019-01-29 Siemens Aktiengesellschaft Editing of volume of data
CN109767430A (zh) * 2017-01-10 2019-05-17 中国人民银行印制科学技术研究所 有价票据的质量检测方法及质量检测系统
CN111656758A (zh) * 2017-11-23 2020-09-11 系统陶瓷股份公司 用于陶瓷载体,特别是瓷砖的图形适配方法和系统
CN111656758B (zh) * 2017-11-23 2023-02-28 系统陶瓷股份公司 用于陶瓷载体,特别是瓷砖的图形适配方法和系统
CN115428426A (zh) * 2020-04-17 2022-12-02 古楼特西诺采纸业有限两合公司 用于控制装饰印刷过程的方法
CN115428426B (zh) * 2020-04-17 2024-04-19 菲力克斯舍勒有限两合公司 用于控制装饰印刷过程的方法
CN111737200A (zh) * 2020-08-17 2020-10-02 北京人教聚珍图文技术有限公司 基于开放网络传输出版文件的质量控制方法、控制系统
CN111737200B (zh) * 2020-08-17 2020-11-20 北京人教聚珍图文技术有限公司 基于开放网络传输出版文件的质量控制方法、控制系统

Also Published As

Publication number Publication date
EP2062229B1 (en) 2011-12-28
JP2010503099A (ja) 2010-01-28
WO2008029340A2 (en) 2008-03-13
US20100189311A1 (en) 2010-07-29
US8571327B2 (en) 2013-10-29
JP5065394B2 (ja) 2012-10-31
EP2062229A2 (en) 2009-05-27
WO2008029340A3 (en) 2008-07-03
EP1901241A1 (en) 2008-03-19
CN101529481B (zh) 2012-05-30
ATE539420T1 (de) 2012-01-15

Similar Documents

Publication Publication Date Title
CN101529481B (zh) 基于模式匹配控制印刷文件的质量的方法
US8290216B1 (en) Determining document fitness using illumination
CN102422328B (zh) 用于钞票检测器装置的方法和钞票检测器装置
US8780206B2 (en) Sequenced illumination
JP2019523954A (ja) 紙幣管理方法、システム、プログラム及び記録媒体
CN108602374B (zh) 对设置有安全元素的对象的验证
CN102105888A (zh) 用于检查印刷品的方法和装置、计算机程序以及计算机程序产品
EP3417429A1 (en) Method and apparatus for detection of document tampering
US20020044677A1 (en) Denomination identification
US20040131242A1 (en) Monitoring method
RU2563147C2 (ru) Способ и система для бесконтактного счета подложек, уложенных в стопку, особенно пачек банкнот
US6757419B1 (en) Imaging system
WO2009066297A2 (en) A method of verifying the contents of bundles of paper currency
JPH06318246A (ja) 紙葉類認識装置
US11941901B2 (en) Smartphone or tablet comprising a device for generating a digital identifier of a copy, including at least one print image of a printed product produced in a production system, and method for using this device
JPH0562045A (ja) 紙葉類認識装置
JP6779817B2 (ja) 紙葉類処理装置、紙葉類処理方法、および、紙葉類処理プログラム
CN117377979A (zh) 用于检验有价文件的方法和装置和用于产生检验方法的检验参数的方法和装置
JPH06318245A (ja) 紙葉類認識装置
GB2542558A (en) Method and system for detecting staining
CN116097318A (zh) 检验有价文件的方法和设备和产生用于在检验有价文件的方法中使用的检验参数的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120530

Termination date: 20150903

EXPY Termination of patent right or utility model