CN100377170C - 一种图像线性几何变形自动矫正的方法 - Google Patents

一种图像线性几何变形自动矫正的方法 Download PDF

Info

Publication number
CN100377170C
CN100377170C CNB2006101125014A CN200610112501A CN100377170C CN 100377170 C CN100377170 C CN 100377170C CN B2006101125014 A CNB2006101125014 A CN B2006101125014A CN 200610112501 A CN200610112501 A CN 200610112501A CN 100377170 C CN100377170 C CN 100377170C
Authority
CN
China
Prior art keywords
image
target image
object images
point
mathematical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2006101125014A
Other languages
English (en)
Other versions
CN1908964A (zh
Inventor
曾培祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Founder International Beijing Co Ltd
Original Assignee
BEIJING FANGZHENG AODE COMPUTER SYSTEM Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING FANGZHENG AODE COMPUTER SYSTEM Co Ltd filed Critical BEIJING FANGZHENG AODE COMPUTER SYSTEM Co Ltd
Priority to CNB2006101125014A priority Critical patent/CN100377170C/zh
Publication of CN1908964A publication Critical patent/CN1908964A/zh
Application granted granted Critical
Publication of CN100377170C publication Critical patent/CN100377170C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明属于图形图像处理技术领域,具体涉及一种图像线性几何变形自动矫正的方法。图像设备在采集图像信息时常会发生几何变形,而图像的几何变形将会影响对图像的正确识别,现有技术中通常采用人工的方法进行手动矫正,效率低,准确性差。本发明所述的方法,根据预先保存在系统中的目标图像信息,对对象图像信息进行相似性判定、多维空间的变形分析、变形参数计算及线性矫正,即可完成对对象图像信息的自适应矫正。采用本发明所述的方法能够自动矫正图像信息在采集过程中发生的线性几何变形,不必人工手动矫正,从而能准确判断对象图像与目标图像的差异和不同,准确性和效率均大大提高。

Description

一种图像线性几何变形自动矫正的方法
技术领域
本发明属于图形图像处理技术领域,具体涉及一种图像线性几何变形自动矫正的方法。
背景技术
科技的发展,使得图形图像的处理越来越多,应用领域也越来越广泛。通常,开始处理图像时,由图像采集设备采集图像,但是,由于图像采集设备本身的原因和各种环境因素的影响,都可能会使采集到的图像产生不同程度、不同特征的几何变形。对于同类设备来说,即使处于相同的工作环境,图像几何变形的差异也是不可预测的。
产生图像不确定几何变形的主要原因有如下几方面:(1)图像采集设备光学系统或机械系统造成的图像几何变形的系统误差;(2)图像采集设备与被采集对象距离与角度上的变化;(3)被采集对象自身的变形。
图像的几何变形可能是非线性的,也可能是线性的。本发明所要解决是准线性几何变形问题。根据处理问题的精度要求,当对象的非线性几何变形可以忽略时,都可以归并为准线性几何变形问题,因此,解决了图形图像准线性几何的变形问题,将使其有更宽的应用领域。
在许多图像处理与模式识别的应用领域,通常都需要预先保存目标图像信息,然后根据目标图像与待识别的对象图像在多维空间的信息差异,识别、判断该对象图像是否属于该目标集,即该对象图像是否与预存的目标图像是否相同或相似,然后对对象图像进行识别、误差分析和质量检查等工作,从而正确识别出对象图像与预存的目标图像是否完全相同或一致。例如,在银行系统的工作中,凡是在银行开户的企业或单位,都需要在银行预留该企业或单位财务章和负责人名章的图像信息,如果以后企业和单位去银行办理财务业务如交支票时,银行的工作人员都会利用图像采集设备将支票上的财务章和人名章进行扫描获取相应图像信息,进行相应校正后,与该企业或单位预留的财务章和人名章的图像信息进行比对,以确认该支票的真实性。显然,图像采集设备采集对象图像信息时,理想的情况是对象图像的大小、外形等信息不产生任何的几何变形,但是,这种情况很少,事实上,一般都会发生图像的几何变形,如果对象图像已产生几何变形,就需要对变形的图像进行几何变形的矫正,否则,将无法正确判断和识别对象图像与预存的目标图像的差异和不同。但是,事实上,图形的几何变形在大多场合是未知的,因此解决图像的几何变形矫正问题就很困难;同时,由于对象图像信息集合的不确定性及多维空间造成的超大计算量,使得解决几何变形矫正问题就更加困难。
现有技术中,为了解决上述图像几何变形的矫正问题,一般采用的方法是:制作相应的软件工具,利用旋转、平移、缩放等软件工具,依靠人的判断,进行人工矫正。这种做法虽然有效,但是效率很低,无法实现自动化的处理流程,而且矫正的准确性也难以得到保证。
发明内容
针对现有技术中存在的缺陷,本发明的目的是提供一种图像线性几何变形自动矫正的方法,在采集图像信息时,利用本发明所述的方法能够实现图像线性几何变形的自动矫正,不必人工手动矫正,而且矫正效果更好,效率也大大提高。
为达到以上目的,本发明采用的技术方案是:一种图像线性几何变形自动矫正的方法,包括以下步骤:
(1)图像采集设备采集识别对象的图像信息,并将对象图像转换为二值图像;
(2)将步骤(1)得到的对象图像与已经在系统中预存的目标图像进行相似性判断,如果相似,则进入步骤(3),如果不相似,则系统直接确定对象图像与系统中预存的目标图像不同,所述的目标图像为二值图像;
(3)分析对象图像的变形特征,确定对象图像与目标图像之间的线性变形关系,在平面坐标系中,计算对象图像与目标图像在X、Y轴上的相对变形量,从而计算出X、Y轴上的相对变形系数;
(4)以目标图像和对象图像之一作为参考标准,根据步骤(3)中得到的变形系数对另一个图像进行数学插值矫正,得到两个图像的最佳匹配;
(5)利用系统对最佳匹配后的图像进行识别,判断对象图像与目标图像的相同或差异,从而正确判断对象图像的真实性。
进一步,为使本发明获得更好的发明效果,步骤(2)中,对对象图像与目标图像进行相似性判断时,具体采用如下方法:
1)对象图像与目标图像均为二值图像,二值图像中的连通像素点构成了不规则的几何图形,提取几何图形的边缘信息,然后将两个图像即对象图像与目标图像提取的所有边缘信息(所有边缘像素点)相应地分为两个数学集合;所述的边缘信息包括图像边界及内部几何图形的所有边缘信息,每个独立几何形状的边缘信息是整个图形边缘信息的一个子集;
2)定义步骤1)中的两个数学集合的元素以相同的规则来描述几何形状,同时,定义两集合元素间的距离,用以描述几何形状的差异;
3)如步骤1)中所述,边缘信息的数学集合由若干个不规则几何图形的边缘信息构成,为了更有效地实现相似性判断,在边缘信息数学集合中首先提取图像的外边界信息,作为相似性判断的第一步,采用的具体方法如下:以对象图像和目标图像的图像中心为坐标原点,分别旋转两个图像的边界信息点,利用优化算法求取最小外接矩形面积:
目标图像:
最小外接矩形面积N0
最小外接矩形的长边长度L0
最小外接矩形的短边长度L1
对象图像:
最小外接矩形面积N0′;
最小外接矩形的长边长度L0′;
最小外接矩形的短边长度L1′;
然后在最优点处,分别求取两个图像即对象图像和目标图像外边界点内的面积;
目标图像外边界点内的面积N1
对象图像外边界点内的面积N1′;
然后分别求取两个图像即对象图像和目标图像最小外接矩形面积与外边界点内的面积的比值Kmb和Kdx,同时求取两个图像最小外接矩形的长边长度的比值K1和短边长度的比值K1′;两个图像比值的差异,反映了外形的相似程度;具体如下:
目标图像:Kmb=N0/N1
对象图像:Kdx=N0′/N1′;
长边长度的比值:K1=L0/L0′;
短边长度的比值:K1′=L1/L1′;
设定一个判别标准a,a的取值范围为大于0小于等于0.2,a的更好的取值范围为大于0小于等于0.1,如果abs(Kmb-Kdx)/Kmb<a并且abs(K1-K1′)/K1<a,其中abs是指绝对值,此时,即可判定对象图像与目标图像外形相似,然后进入步骤4);如果不满足上述条件,则直接可判定对象图像与目标图像不相似,处理过程结束;
同时,此步骤获得两图像线性变形的缩放系数Kxy=(K1+K1′)/2;
4)根据步骤3),获得两图像线性变形的缩放系数Kxy=(K1+K1′)/2,为了进一步判定两图像的相似性,在目标图像的边缘信息数学集合中提取边界长度最大的2-20个几何图形的边缘信息与图像的外边界信息,形成新的数学集合S0,即目标图像中边界长度最大的2-20个几何图形的边缘信息与图像的外边界信息构成数学集合S0,如果对象图像与目标图像相似,在对象图像的数学集合中必然存在与数学集合S0相近的子集S1,数学集合S0经过映射后,在对象图像的数学集合中搜索到对应的子集S1,然后进一步判断两个图像的相似性,具体如下:
将目标图像中几何图形的边缘信息与外边界信息通过映射转换,在对象图像中搜索相似的几何图形的边缘信息与外边界信息,其映射关系具体如下式所述:
Pymb=f(Pmb,Px,Py,alf,Kx,Ky)  (1)
其中,Pmb表示目标图像新的数学集合S0中的任一点,Px,Py表示目标图像与对象图像两个图像几何中心点的相对偏移量,Px表示两个几何中心点在X方向的相对偏移量,Py表示两个几何中心点在Y方向的相对偏移量,即如果以目标图像的几何中心点为参考标准,则Px,Py表示对象图像几何中心点在X、Y方向的相对偏移量,反之亦然,如果以对象图像的几何中心点为参考标准,则Px,Py表示目标图像几何中心点在X、Y方向的相对偏移量;alf表示旋转角度,并且此时取值范围为0-360度,Kx,Ky表示该点在X和Y方向变形的缩放系数;Pymb表示目标图像新的数学集合S0中的任一点经过映射得到的点的信息;
然后,利用公式(2)计算两个数学集合S0和S1的距离J;
J=∑j(Pymbi,Pdxi)                               (2)
其中,j(Pymbi,Pdxi)表示求取两个数学集合S0和S1第i个对应点之间的距离,Pymbj表示集合S0中的第i点映射后得到的点在X和Y方向的坐标值,Pdxi表示对象图像的数学集合S1中对应的第i点在X和Y方向的坐标值;
然后,在多维空间利用优化算法,计算两个数学集合S0和S1距离的最小值Jmin,此时,因为是粗略计算,令缩放系数Kx=Kxy;Ky=Kxy,偏移Px和Py变化较小,因此寻优空间较小,能够大大提高计算速度,然后计算两个数学集合S0和S1元素间的平均距离Pj=Jmin/n,其中,n是目标图像的数学集合S0包含的元素个数,元素间的平均距离Pj反映了几何图形的相似程度,Pj越小相似程度越高,设定一个判断指标b,其取值范围为大于0小于等于20,更好的取值范围为大于0小于等于10,如果平均距离Pj<b,则可判断两个几何图形相似,然后可进行后续的变形系数精确计算,即进入步骤(3),否则判定为不相似,则处理过程结束。
更进一步,步骤2)中,所述的相同的规则来描述几何形状是指:数学集合内的每个元素都是以整个图形的几何中心为原点的相对坐标(x,y)来表示的;每个独立几何形状边缘信息的子集又包含该独立几何形状的中心坐标点及边界点个数。
更进一步,步骤4)中,计算两个数学集合S0和S1的距离时,具体采用的方法是:以独立几何形状边缘信息的子集为单位,通过映射,在多维空间搜索到两个数学集合对应空间边界点数相近时,开始计算两个数学集合的距离,每个目标子集在对象集合中搜索到对应的子集,目标子集的每个元素在对应的对象子集中搜索距离最近的元素,并逐个求取两元素的距离,累加后即定义为两个数学集合S0和S1的距离,两元素的距离定义为j=abs(Pmbi·x-Pdxi·x)+abs(Pmbiy-Pdxi·y),其中,abs表示绝对值;Pmbi·x表示目标图像集合S0中第i点在X方向上的坐标,Pdxi·x表示对象图像数学集合S1中第i点在X方向上的坐标,Pmbi·y表示目标图像集合S0中第i点在Y方向上的坐标,Pdxi·y表示对象图像数学集合S1中第i点在Y方向上的坐标;然后即可得到两个数学集合的距离J=∑j(Pymbi,Pdxi)。
进一步,为使本发明获得更好的发明效果,步骤(3)中,对图形进行变形分析及计算变形系数时,具体采用如下方法:
a.根据步骤(2)相似性判断过程,通过计算得到两个数学集合S0和S1距离的最小值Jmin,从而据此确定距离最小值Jmin的空间坐标(Kx0,Ky0,Px0,Py0,alf0),其中,Kx0表示最小值处在X方向的缩放系数,Ky0表示最小值处在Y方向的缩放系数,Px0,Py0表示目标图像与对象图像两个图像几何中心点在X、Y方向的相对偏移量,alf0表示最小值处的旋转角度,然后据此建立多维小邻域搜索空间(Kx0-dkx~Kx0+dkx,Ky0-dky~Ky0+dky,Px0-dpx~Px0+dpx,Py0-dpy~Py0+dpy,alf0-dalf~alf0+dalf);其中,Kx0=Kxy;Ky0=Kxy,dkx,dky分别表示X、Y方向的变形系数的搜索空间范围即缩放变量,取值范围为大于等于0小于等于0.1,更好的取值范围为大于等于0小于等于0.05;dpx,dpy分别表示X、Y方向的中心偏移的搜索空间范围即偏移变量,取值范围为大于等于0小于等于40,更好的取值范围为大于等于0小于等于20;dalf是两图像匹配角度的搜索空间范围即旋转角度变量,其取值范围为大于等于0小于等于20度,更好的取值范围为大于等于0小于等于10度;
b.提取目标图像的所有边缘信息,形成数学集合M0,该数学集合的全部元素参与变形分析及变形系数计算;经过步骤(2)相似性的判断,判定对象图像与目标图像相似,因此在对象图像的数学集合中必然存在与数学集合M0相近的子集M1,数学集合M0经过映射后,在对象图像的数学集合中搜索到对应的子集M1,映射采用的方法与公式(1)相同,映射后,即可通过公式(2)得到两个数学集合M0和M1的距离,然后利用数学上的最优化算法,根据步骤a确定的搜索空间,在此确定的空间内,寻找搜索空间内两个数学集合M0和M1的最小距离点m,并确定最小距离点m的空间坐标(Kxm,Kym,Pxm,Pym,alfm),其中,Kxm,Kym分别表示m点在X、Y方向的变形系数,Kxm,Kym越相近,则说明X、Y方向的变形是对称的,否则是非对称的;alfm表示是两图像最佳匹配角度;Pxm,Pym表示目标图像与对象图像两个图像几何中心点在X、Y方向的相对偏移量;
c.利用步骤b得到的缩放系数对图像进行相应缩放,由于寻优过程,对目标图像边缘信息数学集合的映射转换是采用先缩放后旋转、平移的方式,所以最后得到的Kxm,Kym是目标图像在X、Y方向的缩放系数,因为变形是相对的,如果缩放目标图像,可直接利用Kxm,Kym进行缩放;如果要缩放对象图像,则必须将Kxm,Kxm转换,具体如下面公式:
Kxm1=Kxm*cos(alfm)+Kym*sin(alfm)                 (3)
Kym1=Kxm*sin(alfm)+Kym*cos(alfm)                 (4)
然后得到对象图像的缩放系数:Kxmdx=1/Kxm1;Kymdx=1/Kym1;利用Kxmdx和Kymdx对对象图像进行缩放,变形矫正完成。
更进一步,步骤a中的dkx,dky分别表示X、Y方向的变形系数的搜索空间范围即缩放变量,优选的取值范围为大于等于0小于等于0.05;dpx,dpy分别是X、Y方向的中心偏移的搜索空间范围即偏移变量,优选的取值范围为大于等于0小于等于20;dalf是两图像匹配角度的搜索空间范围即旋转角度变量,优选的取值范围为大于等于0小于等于10度。
进一步,步骤(4)中,如果以对象图像为参考标准,则根据步骤c得到的变形系数Kxm,Kym,对目标图像进行数学插值缩放;如果以目标图像为参考标准,则根据步骤c得到的变形系数Kxmdx,Kymdx,对对象图像进行数学插值缩放。
本发明的效果在于:采用本发明所述的方法,能够自动矫正图像信息在采集过程中发生的线性几何变形,不必人工手动矫正,只需根据预先保存在系统中的目标图像信息,对对象图像信息进行相似性判定、多维空间的变形分析、变形参数计算及线性矫正,即可完成对对象图像信息的自适应矫正,从而能够实现准确判断对象图像与目标图像的差异和不同,准确性更高,效率也大大提高。
本发明之所以具有上述效果,是因为本发明有如下特点:
(1)本发明所述的方法是目标图像与对象图像之间相对的自适应线性几何变形矫正,是与图像采集设备无关的、通用的准线性变形的矫正方法,应用条件很宽松,应用范围很宽泛;
(2)为图像的准线性几何变形矫正提供了非常方便快捷的使用方法。使用方法可分为自动矫正和提示自动矫正。自动矫正时,系统自动完成相似性判定、变形分析、变形参数计算及线性插值矫正。不需要人做任何操作。提示自动矫正时,系统检测到图像不符合识别要求,就提示操作员是否需要自适应矫正。操作员选择《是》,系统完成《自动矫正》流程。
(3)本发明所述的方法对线性几何变形有极强的适应性,它可以矫正图像采集各个环节、各种原因所产生的线性变形,根据实际使用的要求,设定允许线性几何变形的范围,即可完成矫正;
(4)本发明所述的方法降低了对图像采集设备的技术要求,因此可用低成本的图像采集设备构成高性能的系统;
(5)采用本发明所述方法能够保证多台图像设备变形矫正精度的一致性,这是现有技术中所达不到的,而本发明所述的方法可以使无论多少台设备都可轻松获得一致的性能。
附图说明
图1是本发明所述方法的流程图;
图2是印章变形示意图;
图3是印章变形矫正后的示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的描述:
本实施例中利用本发明所述的方法进行印章的真伪识别,在这一应用过程中,预留印章与待验印章的图像要求必须是大小一致且不变形的,这样,才可能完成后续的图像配准、误差分析,最终实现印章识别,因此,待验印章如发生几何变形需要矫正后才能再与预留的印章进行比较识别,才能正确决断印章的真假。如图2所示印章扫描后的印章变形图像示意图,采用本发明所述的上述方法进行矫正后得到如图3所示的矫正后的示意图。
如图1所示:一种图像线性几何变形自动矫正的方法,包括以下步骤:
(1)图像采集设备采集识别对象的图像信息,并将对象图像转换为二值图像;
本实施例中,图像采集设备采集的是待验印章的图像信息,如图2所示,待验印章图像已变形,图2中的边框和文字中的黑色部分(见附图标记1)表示多余误差,图2中的边框和文字中的白色部分(附图标记2)表示缺少误差;
(2)将步骤(1)得到的待验印章图像与已经在系统中预存的预留印章图像进行相似性判断,如果相似,则进入步骤(3),如果不相似,则系统直接可以确定待验印章图像信息与系统中预存的预留印章图像信息不同,预存的预留印章图像为二值图像;
本实施例中,对待验印章图像与预留印章图像进行相似性判断时,具体采用如下方法:
1)待验印章图像与预留印章图像均为二值图像,二值图像中的连通像素点构成了印章边界和内部字迹不规则的几何图形,提取几何图形的边缘信息,然后将两个图像即待验印章图像与预留印章图像提取的所有边缘信息(所有边缘像素点)相应地分为两个数学集合;所述的边缘信息包括图像边界及内部几何图形的所有边缘信息,每个独立几何形状的边缘信息是整个图形边缘信息的一个子集;
2)定义步骤1)中的两个数学集合的元素以相同的规则来描述几何形状,同时,定义两集合元素间的距离,用以描述几何形状的差异;本实例中,所述的相同的规则是指数学集合内的每个元素都是以整个图形的几何中心为原点的相对坐标(x,y)来表示的,每个独立几何形状边缘信息的子集又包含该独立几何形状的中心坐标点及边界点个数;
3)如步骤1)中所述,边缘信息的数学集合由印章边界和内部字迹的不规则几何图形边缘信息构成,每个几何图形的边缘信息是边缘信息的一个子集,在边缘信息数学集合中首先提取印章外边界信息,作第一步相似性判断,具体方法表述如下:以待验印章图像与预留印章图像的中心为坐标原点,分别旋转两个图像边界信息点,利用优化算法求取最小外接矩形面积
预留印章图像:
最小外接矩形面积N0
最小外接矩形的长边长度L0
最小外接矩形的短边长度L1
待验印章图像:
最小外接矩形面积N0′;
最小外接矩形的长边长度L0′;
最小外接矩形的短边长度L1′;
然后在最优点处,分别求两个图像即待验印章图像与预留印章图像外边界点内的面积:
预留印章图像外边界点内的面积N1
待验印章图像外边界点内的面积N1′;
然后分别求取两个图像最小外接矩形面积与外边界点内的面积的比值K和K′,同时求取两个图像最小外接矩形的长边长度的比值K1和短边长度的比值K1′;两个图像比值的差异,反映了外形的相似程度;具体如下:
预留印章图像K=N0/N1
待验印章图像K′=N0′/N1′;
长边长度的比值K1=L0/L0′;
短边长度的比值K1′=L1/L1′;
本实施例中,判别标准a=0.03,同时满足abs(K-K′)/K<a并且abs(K1-K1′)/K1<a,据此判定两个图像外形相似,然后进入步骤4);
同时,本步骤中获得两图像线性变形的缩放系数Kxy=(K1+K1′)/2;
4)根据步骤3)获得两图像线性变形的缩放系数Kxy=(K1+K1′)/2,为了进一步判定两个印章图像的相似性,在预留印章图像的边缘信息数学集合中提取边界长度最大的4个几何图形的边缘信息与印章的外边界信息构成新的数学集合S0,如果待验印章图像与预留印章图像相似,在待验印章图像的数学集合中必然存在与数学集合S0相近的子集S1,数学集合S0经过映射后,在对象图像的数学集合中搜索到对应的子集S1,然后,进一步判断两个图像的相似性,具体如下:
因为,预留印章图像和待验印章图像在大小、旋转角度、中心偏移等方面都可能存在差异,所以需要将预留印章图像中边界长度最大的4个几何图形的边缘信息与外边界信息通过映射转换,在待验印章图像中搜索相似的几何图形的边缘信息与外边界信息。其映射关系具体如下式所述:
Pymb=f(Pmb,Px,Py,alf,Kx,Ky)            (1)
其中,Pmb表示预留印章图像新的数学集合S0中的任一点,Px,Py表示预留印章图像与待验印章图像两个几何中心点的相对偏移量,Px表示两个几何中心点在X方向的相对偏移量,Py表示两个几何中心点在Y方向的相对偏移量,即如果以预留印章图像的几何中心点为参考标准,则Px,Py表示待验印章图像几何中心点在X、Y方向的相对偏移量,反之亦然,如果以待验印章图像的几何中心点为参考标准,则Px,Py表示预留印章图像几何中心点在X、Y方向的相对偏移量;alf表示旋转角度,并且此时取值范围为0-360度,Kx,Ky表示该点在X和Y方向变形的缩放系数;Pymb表示预留印章图像新的数学集合S0中的任一点经过映射得到的点的信息;
然后,利用公式(2)计算两个数学集合S0和S1的距离J;
J=∑j(Pymbi,Pdxi)  (2)
其中,j(Pymbi,Pdxi)表示求取两个数学集合S0和S1第i个对应点之间的距离,Pymbi表示集合S0中的第i点映射后得到的点在X和Y方向的坐标值,Pdxi表示待验印章图像的数学集合S1中对应的第i点在X和Y方向的坐标值;
本实施例中,计算两个数学集合S0和S1的距离时,具体采用的方法是:以独立几何形状边缘信息的子集为单位,通过映射,在多维空间搜索到两个数学集合对应空间边界点数相近时,开始计算两个数学集合的距离,每个目标子集在对象集合中搜索到对应的子集,目标子集的每个元素在对应的对象子集中搜索距离最近的元素,并逐个求取两元素的距离,累加后即定义为两个数学集合S0和S1的距离,两元素的距离定义为j=abs(Pmbi·x-Pdxi·x)+abs(Pmbi·y-Pdxi·y),其中,abs表示绝对值;Pmbi·x表示预留印章图像集合S0中第i点在X方向上的坐标,Pdxi·x表示待验印章图像数学集合S1中第i点在X方向上的坐标,Pmbi·y表示预留印章图像集合S0中第i点在Y方向上的坐标,Pdxi·y表示待验印章图像数学集合S1中第i点在Y方向上的坐标;然后即可得到两个数学集合的距离J=∑j(Pymbi,Pdxi);
然后,在多维空间利用优化算法,计算两个数学集合S0和S1距离的最小值Jmin,此时,因为是粗略计算,令缩放系数Kx=Kxy;Ky=Kxy,偏移Px和Py变化较小,因此寻优空间较小,能够大大提高计算速度,然后计算两个数学集合S0和S1元素间的平均距离Pj=Jmin/n,其中,n是预留印章图像的数学集合S0包含的元素个数,元素间的平均距离Pj反映了几何图形的相似程度,Pj越小相似程度越高,设定一个判断指标b,本实施例中,令b=2.5,并且平均距离Pj<b,判定两个几何图形相似,然后进入步骤(3)变形系数的计算;
在本实施例中,经过上述相似性的判断,确定待验印章与预留的印章图像信息是相似的,然后即可进入下一步的变形分析中;
(3)分析待验印章图像的变形特征,确定待验印章图像与预留印章图像之间的线性变形关系,在平面坐标系中,计算待验印章图像与预留印章图像在X、Y轴上的相对变形量,从而计算出X、Y轴上的相对变形系数;
本实施例中,步骤(3)中,对图形进行变形分析及计算变形系数时,具体采用如下方法:
1)步根据步骤(2)相似性判断过程,通过计算得到两个数学集合S0和S1距离的最小值Jmin,从而据此确定距离最小值Jmin的(Kx0,Ky0,Px0,Py0,alf0),其中,Kx0表示最小值处在X方向的缩放系数,Ky0表示最小值处在Y方向的缩放系数,Px0,Py0表示目标图像与对象图像两个图像几何中心点在X、Y方向的相对偏移量,alf0表示最小值处的旋转角度,然后据此建立多维小邻域搜索空间(Kx0-dkx~Kx0+dkx,Ky0-dky~Ky0+dky,Px0-dpx~Px0+dpx,Py0-dpy~Py0+dpy,alf0-dalf~alf0+dalf);其中,Kx0=Kxy;Ky0=Kxy,dkx,dky分别表示X、Y方向的变形系数的搜索空间范围即缩放变量,本实施例中,取值范围为0.05;dpx,dpy分别是X、Y方向的中心偏移的搜索空间范围即偏移变量,本实施例中,取值范围为20;dalf是两图像匹配角度的搜索空间范围即旋转角度变量,本实施例中,取值范围10度;
2)提取预留印章图像的所有边缘信息,形成数学集合M0,预留印章图像边缘信息数学集合的全部元素参与变形分析及变形系数计算,经过步骤(2)相似性的判断,判定待验印章图像与预留印章图像相似,因此在待验印章图像的数学集合中必然存在与数学集合M0相近的子集M1,数学集合M0经过映射后,在待验印章图像的数学集合中搜索到对应的子集M1,映射采用的方法与公式(1)类似,映射后,即可通过公式(2)得到两个数学集合M0和M1的距离,然后利用数学上的最优化算法,根据步骤1)确定的搜索空间,在此确定的空间内,寻找搜索空间内两个数学集合M0和M1的最小距离点m,并确定最小距离点m的空间坐标(Kxm,Kym,Pxm,Pym,alfm),其中,Kxm,Kym分别表示m点在X、Y方向的变形系数,Kxm,Kym越相近,则说明X、Y方向的变形是对称的,否则是非对称的;alfm表示是两图像最佳匹配角度;Pxm,Pym表示待验印章图像与预留印章图像两个图像几何中心点在X、Y方向的相对偏移量,即如果以预留印章图像的几何中心点为参考标准,则Pxm,Pym表示待验印章图像几何中心点在X、Y方向的相对偏移量,反之亦然,如果以待验印章的几何中心点为参考标准,则Pxm,Pym表示预留印章图像几何中心点在X、Y方向的相对偏移量;
3)利用步骤2)得到的缩放系数对图像进行相应缩放,由于寻优过程,对预留印章图像边缘信息数学集合的映射转换是采用先缩放后旋转、平移的方式,所以步骤2)中最后得到的Kxm,Kym即是预留印章图像在X、Y方向的缩放系数;如果要缩放对象图像,则必须将Kxm,Kym转换,具体如下面公式:
Kxm1=Kxm*cos(alfm)+Kym*sin(alfm)  (3)
Kym1=Kxm*sin(alfm)+Kym*cos(alfm)  (4)
然后得到对象图像的缩放系数:Kxmdx=1/Kxm1;Kymdx=1/Kym1
(4)以目标图像和对象图像之一作为参考标准,根据步骤(3)中得到的变形系数对另一个图像进行数学插值矫正,得到两个图像的最佳匹配;
本实施例中,以预留印章图像为参考标准,则根据步骤(3)得到的变形系数Kxmdx,Kymdx,对对象图像进行数学插值缩放,其效果如图3所示,得到两个图像的最佳匹配;
(5)利用系统对最佳匹配后的图像进行识别,判断待验印章图像与预留印章图像的相同或差异,从而正确判断对象图像的真实性;
本实施例中,采用上述方法进行判断后,确定待验印章图像与预留印章图像是相同的,即待验印章是真实的。
本发明所述的方法并不限于具体实施方式中所述的实施例,本领域技术人员根据本发明的技术方案得出其他的实施方式,同样属于本发明的技术创新范围。

Claims (11)

1.一种图像线性几何变形自动矫正的方法,包括以下步骤:
(1)图像采集设备采集识别对象的图像信息,并将对象图像转换为二值图像;
(2)将步骤(1)得到的对象图像与已经在系统中预存的目标图像进行相似性判断,如果相似,则进入步骤(3),如果不相似,则系统直接确定对象图像与系统中预存的目标图像不同,所述的目标图像为二值图像;
(3)分析对象图像的变形特征,确定对象图像与目标图像之间的线性变形关系,在平面坐标系中,计算对象图像与目标图像在X、Y轴上的相对变形量,从而计算出X、Y轴上的相对变形系数;
(4)以目标图像和对象图像之一作为参考标准,根据步骤(3)中得到的变形系数对另一个图像进行数学插值矫正,得到两个图像的最佳匹配;
(5)利用系统对最佳匹配后的图像进行识别,判断对象图像与目标图像的相同或差异,从而正确判断对象图像的真实性。
2.如权利要求1所述的一种图像线性几何变形自动矫正的方法,其特征在于:步骤(2)中,对对象图像与目标图像进行相似性判断时,具体采用如下方法:
1)对象图像与目标图像均为二值图像,二值图像中的连通像素点构成了不规则的几何图形,提取几何图形的边缘信息,然后将两个图像即对象图像与目标图像提取的所有边缘信息相应地分为两个数学集合;所述的边缘信息包括图像边界及内部几何图形的所有边缘信息,每个独立几何形状的边缘信息是整个图形边缘信息的一个子集;
2)定义步骤1)中的两个数学集合的元素以相同的规则来描述几何形状,同时,定义两集合元素间的距离,用以描述几何形状的差异;
3)如步骤1)中所述,边缘信息的数学集合由若干个不规则几何图形的边缘信息构成,为了更有效地实现相似性判断,在边缘信息数学集合中首先提取图像的外边界信息,作为相似性判断的第一步,采用的具体方法如下:以对象图像和目标图像的图像中心为坐标原点,分别旋转两个图像的边界信息点,利用优化算法求取最小外接矩形面积:
目标图像:
最小外接矩形面积N0
最小外接矩形的长边长度L0
最小外接矩形的短边长度L1
对象图像:
最小外接矩形面积N0′;
最小外接矩形的长边长度L0′;
最小外接矩形的短边长度L1′;
然后在最优点处,分别求取两个图像即对象图像和目标图像外边界点内的面积;
目标图像外边界点内的面积N1
对象图像外边界点内的面积N1′;
然后分别求取两个图像即对象图像和目标图像最小外接矩形面积与外边界点内的面积的比值Kmb和Kdx,同时求取两个图像最小外接矩形的长边长度的比值K1和短边长度的比值K1′;两个图像比值的差异,反映了外形的相似程度;具体如下:
目标图像:Kmb=N0/N1
对象图像:Kdx=N0′/N1′;
长边长度的比值:K1=L0/L0′;
短边长度的比值:K1′=L1/L1′;
设定一个判别标准a,a的取值范围为大于0小于等于0.2,如果abs(Kmb-Kdx)/Kmb<a并且abs(K1-K1′)/K1<a,其中abs是指绝对值,此时,即可判定对象图像与目标图像外形相似,然后进入步骤4);如果不满足上述条件,则直接可判定对象图像与目标图像不相似,处理过程结束;
同时,此步骤获得两图像线性变形的缩放系数Kxy=(K1+K1′)/2;
4)根据步骤3),为了进一步判定两图像的相似性,在目标图像的边缘信息数学集合中提取边界长度最大的2-20个几何图形的边缘信息与图像的外边界信息,形成新的数学集合S0,即目标图像中边界长度最大的2-20个几何图形的边缘信息与图像的外边界信息构成数学集合S0,如果对象图像与目标图像相似,在对象图像的数学集合中必然存在与数学集合S0相近的子集S1,数学集合S0经过映射后,在对象图像的数学集合中搜索到对应的子集S1,然后,进一步判断两个图像的相似性,具体如下:
将目标图像中几何图形的边缘信息与外边界信息通过映射转换,在对象图像中搜索相似的几何图形的边缘信息与外边界信息,其映射关系具体如下式所述:
Pymb=f(Pmb,Px,Py,alf,Kx,Ky)    (1)
其中,Pmb表示目标图像新的数学集合S0中的任一点,Px,Py表示目标图像与对象图像两个几何中心点的相对偏移量,Px表示两个几何中心点在X方向的相对偏移量,Py表示两个几何中心点在Y方向的相对偏移量,alf表示旋转角度,并且此时取值范围为0-360度,Kx,Ky表示该点在X和Y方向变形的缩放系数;Pymb表示目标图像新的数学集合S0中的任一点经过映射得到的点的信息;
然后,利用公式(2)计算两个数学集合S0和S1的距离J;
J=∑j(Pymbi,Pdxi)    (2)
其中,j(Pymbi,Pdxi)表示求取两个数学集合S0和S1第i个对应点之间的距离,Pymbi表示集合S0中的第i点映射后得到的点在X和Y方向的坐标值,Pdxi表示对象图像的数学集合S1中对应的第i点在X和Y方向的坐标值;
然后,在多维空间利用优化算法,计算两个数学集合S0和S1距离的最小值Jmin此时,因为是粗略计算,令缩放系数Kx=Kxy;Ky=Kxy,偏移Px和Py变化较小,因此寻优空间较小,能够大大提高计算速度,然后计算两个数学集合S0和S1元素间的平均距离Pj=Jmin/n,其中,n是目标图像的数学集合S0包含的元素个数,元素间的平均距离Pj反映了几何图形的相似程度,Pj越小相似程度越高,设定一个判断指标b,其取值范围为大于0小于等于20,如果平均距离Pj<b,则可判断两个几何图形相似,然后可进行后续的变形系数精确计算,即进入步骤(3),否则判定为不相似,则处理过程结束。
3.如权利要求2所述的一种图像线性几何变形自动矫正的方法,其特征在于:步骤2)中,所述的相同的规则来描述几何形状是指:数学集合内的每个元素都是以整个图形的几何中心为原点的相对坐标(x,y)来表示的;每个独立几何形状边缘信息的子集又包含该独立几何形状的中心坐标点及边界点个数。
4.如权利要求2所述的一种图像线性几何变形自动矫正的方法,其特征在于:步骤4)中,计算两个数学集合S0和S1的距离时,具体采用的方法是:以独立几何形状边缘信息的子集为单位,通过映射,在多维空间搜索到两个数学集合对应空间边界点数相近时,开始计算两个数学集合的距离,每个目标子集在对象集合中搜索到对应的子集,目标子集的每个元素在对应的对象子集中搜索距离最近的元素,并逐个求取两元素的距离,累加后即定义为两个数学集合S0和S1的距离,两元素的距离定义为j=abs(Pmbi·x-Pdxi·x)+abs(Pmbi·y-Pdxi·y),其中,abs表示绝对值,Pmbi·x表示目标图像集合S0中第i点在X方向上的坐标,Pdxi·x表示对象图像数学集合S1中第i点在X方向上的坐标,Pmbi·y表示目标图像数学集合S0中第i点在Y方向上的坐标,Pdxi·y表示对象图像数学集合S1中第i点在Y方向上的坐标;然后即可得到两个数学集合的距离J=∑j(Pymbi,Pdxi)。
5.如权利要求2所述的一种图像线性几何变形自动矫正的方法,其特征在于:步骤3)中,判别标准a的取值范围为大于0小于等于0.1。
6.如权利要求2所述的一种图像线性几何变形自动矫正的方法,其特征在于:步骤4)中,判断指标b的取值范围为大于0小于等于10。
7.如权利要求2、3、4、5或6所述的一种图像线性几何变形自动矫正的方法,其特征在于:步骤(3)中,对图形进行变形分析及计算变形系数时,具体采用如下方法:
a.根据步骤(2)相似性判断过程,通过计算得到两个数学集合S0和S1距离的最小值Jmin,从而据此确定距离最小值Jmin的空间坐标(Px0,Py0,alf0,Kx0,Ky0),其中,Kx0表示最小值处在X方向的缩放系数,Ky0表示最小值处在Y方向的缩放系数,Px0,Py0表示目标图像与对象图像两个图像几何中心点在X、Y方向的相对偏移量,alf0表示最小值处的旋转角度,然后据此建立多维小邻域搜索空间(Px0-dpx~Px0+dpx,Py0-dpy~Py0+dpy,alf0-dalf~alf0+dalf,Kx0-dkx~Kx0+dkx,Ky0-dky~Ky0+dky);
其中,Kx0=Kxy;Ky0=Kxy,dkx,dky分别表示X、Y方向的变形系数的搜索空间范围即缩放变量,取值范围为大于等于0小于等于0.1;dpx,dpy分别表示X、Y方向的中心偏移的搜索空间范围即偏移变量,取值范围为大于等于0小于等于40;dalf是两图像匹配角度的搜索空间范围即旋转角度变量,其取值范围为大于等于0小于等于20度;
b.提取目标图像的所有边缘信息,形成数学集合M0,该数学集合的全部元素参与变形分析及变形系数计算;经过步骤(2)相似性的判断,判定对象图像与目标图像相似,因此在对象图像的数学集合中必然存在与数学集合M0相近的子集M1,数学集合M0经过映射后,在对象图像的数学集合中搜索到对应的子集M1,映射采用的方法与公式(1)相同,映射后,即可通过公式(2)得到两个数学集合M0和M1的距离,然后利用数学上的最优化算法,根据步骤a确定的搜索空间,在此确定的空间内,寻找搜索空间内两个数学集合M0和M1的最小距离点m,并确定最小距离点m的空间坐标(Pxm,Pym,alfm,Kxm,Kym),其中,Kxm,Kym分别表示m点在X、Y方向的变形系数,Kxm,Kym越相近,则说明X、Y方向的变形是对称的,否则是非对称的;alfm表示是两图像最佳匹配角度;Pxm,Pym表示目标图像与对象图像两个图像几何中心点在X、Y方向的相对偏移量;
c.利用步骤b得到的缩放系数对图像进行相应缩放,由于寻优过程,对目标图像边缘信息数学集合的映射转换是采用先缩放后旋转、平移的方式,所以最后得到的Kxm,Kym是目标图像在X、Y方向的缩放系数,因为变形是相对的,如果缩放目标图像,可直接利用Kxm,Kym进行缩放;如果要缩放对象图像,则必须将Kxm,Kym转换,具体如下面公式:
Kxm1=Kxm*cos(alfm)+Kym*sin(alfm);
Kym1=Kxm*sin(alfm)+Kym*cos(alfm);
然后得到对象图像的缩放系数:Kxmdx=1/Kxm1;Kymdx=1/Kym1;利用Kxmdx和Kymdx对对象图像进行缩放,变形矫正完成。
8.如权利要求7所述的一种图像线性几何变形自动矫正的方法,其特征在于:步骤a中的dkx,dky分别表示X、Y方向的变形系数的搜索空间范围即缩放变量,取值范围为大于等于0小于等于0.05。
9.如权利要求7所述的一种图像线性几何变形自动矫正的方法,其特征在于:步骤a中的dpx,dpy分别是X、Y方向的中心偏移的搜索空间范围即偏移变量,取值范围为大于等于0小于等于20。
10.如权利要求7所述的一种图像线性几何变形自动矫正的方法,其特征在于:步骤a中的dalf是两图像匹配角度的搜索空间范围即旋转角度变量,其取值范围为大于等于0小于等于10度。
11.如权利要求7所述的一种图像线性几何变形自动矫正的方法,其特征在于:步骤(4)中,如果以对象图像为参考标准,则根据步骤c得到的变形系数Kxm,Kym,对目标图像进行数学插值缩放;如果以目标图像为参考标准,则根据步骤c得到的变形系数Kxmdx,Kymdx,对对象图像进行数学插值缩放。
CNB2006101125014A 2006-08-22 2006-08-22 一种图像线性几何变形自动矫正的方法 Expired - Fee Related CN100377170C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2006101125014A CN100377170C (zh) 2006-08-22 2006-08-22 一种图像线性几何变形自动矫正的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2006101125014A CN100377170C (zh) 2006-08-22 2006-08-22 一种图像线性几何变形自动矫正的方法

Publications (2)

Publication Number Publication Date
CN1908964A CN1908964A (zh) 2007-02-07
CN100377170C true CN100377170C (zh) 2008-03-26

Family

ID=37700070

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006101125014A Expired - Fee Related CN100377170C (zh) 2006-08-22 2006-08-22 一种图像线性几何变形自动矫正的方法

Country Status (1)

Country Link
CN (1) CN100377170C (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789122B (zh) * 2009-01-22 2013-06-26 佳能株式会社 用于校正畸变文档图像的方法和系统
CN104422874B (zh) * 2013-08-28 2017-08-25 深圳麦逊电子有限公司 一种pcb板测试的线转换成盘的方法
CN105740872B (zh) * 2016-01-29 2020-05-19 徐庆 图像特征提取方法及其装置
CN108520499B (zh) * 2018-03-28 2020-02-18 电子科技大学 一种基于白带显微成像的图像偏移矫正方法
CN111241332B (zh) * 2020-01-17 2023-08-18 珠海博明视觉科技有限公司 一种通过自动识别工件搜索其对应测量程序的方法
CN112388185B (zh) * 2020-11-23 2022-09-30 西安中科微精光子科技股份有限公司 针对非线性形变的激光切割补偿方法、装置及存储介质
CN118196034B (zh) * 2024-03-18 2024-09-20 冷建鹏 利用悬停控制的输电铁塔变形程度识别系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320990A (ja) * 1995-05-26 1996-12-03 Japan Radio Co Ltd 車番読み取り装置
US6618494B1 (en) * 1998-11-27 2003-09-09 Wuestec Medical, Inc. Optical distortion correction in digital imaging
CN1741037A (zh) * 2005-08-16 2006-03-01 北京中联科利技术股份有限公司 一种全自动汽车清洗中车辆模式识别的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320990A (ja) * 1995-05-26 1996-12-03 Japan Radio Co Ltd 車番読み取り装置
US6618494B1 (en) * 1998-11-27 2003-09-09 Wuestec Medical, Inc. Optical distortion correction in digital imaging
CN1741037A (zh) * 2005-08-16 2006-03-01 北京中联科利技术股份有限公司 一种全自动汽车清洗中车辆模式识别的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于独立性参数的无导师图象变形校正. 丰文义,刘斌,凌燮亭.复旦学报,第34卷第3期. 1995 *
汽车牌照实时几何畸变校正方法. 叶青,张春华.红外与激光工程,第33卷第2期. 2004 *
源于盲分离思想的线性变形图象校正. 刘斌,凌燮亭.复旦学报,第34卷第2期. 1995 *

Also Published As

Publication number Publication date
CN1908964A (zh) 2007-02-07

Similar Documents

Publication Publication Date Title
CN100377170C (zh) 一种图像线性几何变形自动矫正的方法
AU2021201579B2 (en) System and method for detecting features in aerial images using disparity mapping and segmentation techniques
US11837017B2 (en) System and method for face recognition based on dynamic updating of facial features
CN111611643B (zh) 户型矢量化数据获得方法、装置、电子设备及存储介质
JP4907219B2 (ja) マシンビジョンにおける自動パラメータ決定のシステムおよび方法
CN110130987B (zh) 一种基于图像分析的隧道收敛变形监测方法
CN101916362A (zh) 一种虹膜定位方法及虹膜识别系统
CN114240845B (zh) 一种应用于切削工件的光切法表面粗糙度测量方法
KR101034117B1 (ko) 영상에서 관심 영역 지정 및 윤곽선 영상을 이용한 객체 인식 방법 및 장치
CN110263682A (zh) 基于轮廓提取的表格识别方法和装置、设备及存储介质
US20240257452A1 (en) Systems and methods for pitch determination
Santana-Cedrés et al. Invertibility and estimation of two-parameter polynomial and division lens distortion models
CN117011477A (zh) 一种基于bim的钢结构形变监测处理方法及系统
CN104966302B (zh) 一种任意角度激光十字的检测定位方法
JP4003465B2 (ja) 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置
CN115830070A (zh) 一种牵引变电所巡检机器人红外激光融合定位方法
CN113298838B (zh) 一种物体轮廓线提取方法及系统
CN110031471B (zh) 大口径光学元件表面缺陷增长分析方法、系统、装置
CN111339914A (zh) 一种基于单张图片的室内天花板地面识别方法
CN114092542B (zh) 一种基于二维视觉的螺栓测量方法以及系统
CN113362296B (zh) 一种隧道裂缝提取方法及系统
CN110189345A (zh) 一种数据图中数据点坐标信息的提取方法
Wang et al. A novel method for reconstructing broken contour lines extracted from scanned topographic maps
CN113140022B (zh) 数字测图方法、系统及计算机可读存储介质
CN117953036B (zh) 道路桥梁基础沉降位移监测系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: FOUNDER INTERNATIONAL (BEIJING) CO., LTD.

Free format text: FORMER OWNER: BEIJING FANGZHENG AODE COMPUTER SYSTEM CO., LTD.

Effective date: 20110524

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 100085 6/F, FOUNDER BUILDING, NO. 298, CHENGFU ROAD, HAIDIAN DISTRICT, BEIJING TO: 100080 19/F, ZHONGXIN BUILDING, NO. 52, NORTH 4TH RING ROAD WEST, HAIDIAN DISTRICT, BEIJING

TR01 Transfer of patent right

Effective date of registration: 20110524

Address after: 100080 Beijing City, North Fourth Ring Road West, No. 52, central building, layer 19, Haidian District

Patentee after: Founder international software (Beijing) Co., Ltd.

Address before: 100085, Beijing, Haidian District Cheng Fu Road 298, founder building, 6 floor

Patentee before: Beijing Fangzheng Aode Computer System Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080326

Termination date: 20180822

CF01 Termination of patent right due to non-payment of annual fee