CN1853195A - 图像失真校正程序、图像失真校正装置、图像失真校正方法以及存储有该图像失真校正程序的记录介质 - Google Patents
图像失真校正程序、图像失真校正装置、图像失真校正方法以及存储有该图像失真校正程序的记录介质 Download PDFInfo
- Publication number
- CN1853195A CN1853195A CNA2004800266387A CN200480026638A CN1853195A CN 1853195 A CN1853195 A CN 1853195A CN A2004800266387 A CNA2004800266387 A CN A2004800266387A CN 200480026638 A CN200480026638 A CN 200480026638A CN 1853195 A CN1853195 A CN 1853195A
- Authority
- CN
- China
- Prior art keywords
- projection
- curved surface
- geodesic
- paper
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 17
- 239000000284 extract Substances 0.000 claims description 50
- 238000012937 correction Methods 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 27
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000012905 input function Methods 0.000 claims description 7
- 230000008676 import Effects 0.000 claims 3
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 8
- 239000000203 mixture Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000004069 differentiation Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 2
- RLLPVAHGXHCWKJ-IEBWSBKVSA-N (3-phenoxyphenyl)methyl (1s,3s)-3-(2,2-dichloroethenyl)-2,2-dimethylcyclopropane-1-carboxylate Chemical compound CC1(C)[C@H](C=C(Cl)Cl)[C@@H]1C(=O)OCC1=CC=CC(OC=2C=CC=CC=2)=C1 RLLPVAHGXHCWKJ-IEBWSBKVSA-N 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
- G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
从图像拍摄装置拍摄纸面而得到的图像中,以纸面的内容为线索,抽取在纸面曲面上互相平行的测地线的投影集合,同时从测地线的投影集合中,抽取形成与纸面曲面相应的网格面的网格线的投影集合。从而,根据测地线以及网格线的投影集合来推定纸面曲面,基于该纸面曲面来校正图像的失真。这样一来,在能够处理多样的失真种类的同时,即使在图像上只表示纸面的一部分时,也能够进行失真校正。
Description
技术领域
本发明涉及一种高精度地校正图像的三维失真的技术。
背景技术
近年来,在银行等金融业界,将输入业务效率化作为目标,使用CCD(Charge Coupled Device:电荷耦合器件)和数码相机等非接触型图像拍摄装置,高速快捷地输入纸表单、纸文件的技术已经被广泛应用。当使用非接触型图像拍摄装置时,与图像扫描仪等接触型图像拍摄装置相比较,能够享受在图像输入中也可以对纸面进行记录等的、能够看着纸面进行高速的图像输入等的快捷感。
另一方面,在由非接触型图像拍摄装置输入的图像上,存在起因于非接触图像输入的透视变换失真、和起因于纸面曲面的弯曲的图像失真。另外,即使是由接触型图像拍摄装置输入的图像,如果是拍摄较厚的书本的纸面所得的图像,因为其纸面呈曲面状,所以同样存在图像失真。因此,校正这些图像失真的技术对使用图像拍摄装置的图像输入来说是不可缺少的。在此,本申请的申请人提出了被公开在JP特开2002-150280号公报中那样的技术方案:以从图像中抽取的纸面的二维轮廓的失真作为线索,来推定纸面曲面,从而校正图像的失真。
可是,在该技术方案中,不但成为校正对象的失真的种类被限定了,还需要指定其种类,导致很难应用于失真种类多样的实际的图像。另外,在图像上没有表示整个纸面时,不能抽取其轮廓,所以对图像校正有种种的限制。
因此,本发明鉴于以上这样以往的问题,其目的在于提供一种图像失真校正技术,通过以纸面的内容(contents)为线索来推定纸面曲面,从而在能够应对多样的失真的种类的同时,即使在图像上只表示了纸面的一部分时,也能够进行失真校正。
发明的公开
因此,在本发明涉及的图像失真校正技术中,从拍摄纸面而得到的图像中,以纸面内容为线索,抽取在纸面曲面上互相平行的测地线的投影集合,同时从该测地线的投影集合中,抽取形成与纸面曲面相应的网格面(線織面)的网格线(線織線)的投影集合。进而,根据抽取的测地线以及网格线的投影集合来推定纸面曲面,并基于该纸面曲面来校正图像的失真。
根据这样的结构,与以纸面轮廓为线索的失真校正相比较,因为以纸面的内容作为线索来推定纸面曲面,所以不但能够处理多样的失真种类,即使根据在图像上只表示了纸面的一部分的输入图像,也能够进行高精度的失真校正。
这里优选从被抽取的测地线的投影集合中,通过利用以测地线投影对网格线投影进行分割而得到的线段长度的比为恒量的几何性质来进行搜索,从而抽取网格线的投影集合。此时优选从被抽取的测地线的投影集合中,除去不满足网格线投影与测地线投影的交点上的网格线投影的切线的倾角为恒量这样的几何性质的测地线投影,从而抽取网格线的投影集合。这样一来,能够判定抽取的测地线投影的真伪,并能够相对干扰而实现可靠的平行测地线的抽取。
另外优选根据被抽取的测地线以及网格线的投影集合,来推定上端测地线投影与下端测地线投影的宽度,通过对根据平行测地线的几何性质使用数值积分·微分法而导出的网格线的条数的二次方程式进行求解,从而推定纸面曲面。此时,优选根据纸面曲面上的网格线与图像拍摄方向所成角度的多数决定原理,来推定上端测地线投影与下端测地线投影之间的宽度。
还有优选利用被抽取的测地线的投影集合,从位于上端与下端之间的内部测地线投影的内比为恒量的网格线的集合中,搜索自内比的偏差的总和为最小的网格线的投影,从而抽取网格线的投影集合。此时,利用相应纸面曲面的拍摄高度、以及与同一条测地线相交的上端以及下端的测地线的切矢量平行的几何性质,来推定纸面曲面。这样,考虑到由数码相机等非接触型拍摄装置产生的透视失真,从而能够进行更高精度的失真校正。
通过以下针对附图的实施方式的说明,会更加明了本发明的其他目的和各种样态。
附图的简单说明
图1是将本发明具体化了的图像失真校正装置的结构图。
图2是成为校正对象的中折下沉失真的说明图。
图3是成为校正对象的中折上浮失真的说明图。
图4是成为校正对象的顶点上浮失真的说明图。
图5是成为校正对象的书本的失真的说明图。
图6是表示图像失真校正装置的处理内容的流程图。
图7是含有图像失真的输入图像的说明图。
图8是抽取了测地线的投影集合的影像的说明图。
图9是抽取了网格线的投影集合的影像的说明图。
图10是校正了图像失真的校正图像的说明图。
图11是表示纸面曲面的模型的说明图。
图12是抽取测地线投影的方法的说明图。
图13是抽取网格线投影的方法的说明图。
图14是搜索测地线投影的对应关系所用的网格线的性质的说明图。
图15是纸面曲面的投影以及将其平坦地展开的展开纸面的说明图。
图16是表示纸面曲面的其他的模型的说明图。
实施发明的最佳方式
以下,参照附图对本发明进行详细说明。
在本发明中,采用这种结构:不是以在图像上表示的纸面的轮廓,而是以纸面的内容为线索来校正失真。作为纸面内容,必须同时满足:无论对纸面的印刷、记入事项的多样性如何都能够稳定取得的性质、即“稳定性”;和即使不能取得整个纸面也能够活用的性质、即“局部性”。因此,通过活用这种性质,即从纸面中的字符串或划线中抽取假想的平行线,该平行线在失真的纸面曲面上成为平行的测地线的性质,通过平行测地线的形状复原(Shape from Parallel Geodesics)来进行失真校正。
为了实现基于平行测地线的形状复原的失真校正,将本发明具体化了的图像失真校正装置如图1所示,包含:原图像输入部10、测地线投影抽取部12、网格线投影抽取部14、纸面曲面推定部16、图像失真校正部18、校正图像输出部20。此外,图像失真校正装置被设置在至少具备中央处理装置和存储器的计算机系统上,通过被输入到存储器中的图像失真校正程序,来实现用于校正图像失真的各种功能。
原图像输入部10提供这样的功能:通过数码相机等非接触型图像拍摄装置或图像扫描仪等接触型图像拍摄装置,输入拍摄纸面所得的图像。在此,作为图像输入,不仅限于从图像拍摄装置实时地输入图像的结构,也可以是从被记录在各种记录介质上的拍摄完的图像中输入被指定的图像的结构。此外,根据从原图像输入部10提供的功能,可分别实现图像输入功能以及图像输入机构。
测地线投影抽取部12提供这样的功能:从由原图像输入部10输入的图像(以下称为“输入图像”)中,抽取在纸面曲面上相互平行的测地线的投影集合。例如,通过从输入图像中抽取多条可以看作是测地线的字符串或划线,求出将其投影到二维平面上所成的线的集合,从而实现测地线投影集合的抽取。此外,通过由测地线投影抽取部12提供的功能,可分别实现测地线投影抽取功能、测地线投影抽取机构以及测地线投影抽取步骤。
网格线投影抽取部14提供这样的功能:从由测地线投影抽取部12抽取的测地线的投影集合中,使用测地线的几何性质、即“以测地线投影对网格线投影进行分割而成的线段长度的比(比矢量(比ベクトル))为恒量”或“由位于上端与下端之间的内部测地线投影产生的网格线投影的内比为恒量”,从而搜索抽取网格线的投影集合。在此,弯曲纸面而成的三维曲面一般被称为“网格面”,公知对于该面上的任意点,曲面上存在通过该点的直线(网格线)。此外,通过由网格线投影抽取部14提供的功能,可分别实现网格线投影抽取功能、网格线投影抽取机构以及网格线投影抽取步骤。
纸面曲面推定部16提供这样的功能:根据分别由测地线投影抽取部12以及网格线投影抽取部14抽取的测地线以及网格线的投影集合,来推定输入图像的纸面曲面。即,基于纸面曲面上的网格线与该图像拍摄方向所成角度的多数决定原理,来推定将该纸面曲面平坦地展开时的平行测地线的上端与下端之间的宽度。接下来,通过对根据平行测地线的几何性质使用数值微分·积分法导出的网格线的条数的二次方程式进行求解,从而推定纸面曲面。另外,通过对由相应于纸面的拍摄高度、以及平行测地线的“与同一条测地线相交的上端以及下端的测地线的切矢量平行”的几何性质中导出的方程式进行求解,从而推定纸面曲面。此外,由纸面曲面推定部16提供的功能,可分别实现纸面曲面推定功能、纸面曲面推定机构以及纸面曲面推定步骤。
图像失真校正部18提供这样的功能:基于纸面曲面推定部16推定的纸面曲面,对输入图像建立像素对应关系,从而校正图像的失真。此外,通过由图像失真校正部18提供的功能,可分别实现失真校正功能、失真校正机构以及失真校正步骤。
校正图像输出部20提供输出由图像失真校正部18校正的输入图像(以下称为“校正图像”)的功能。在此,作为图像输出,不仅限于输出到使用校正图像进行各种图像处理的功能中,也可以是将校正图像保存到各种记录介质中的结构。
在图像失真校正装置中成为校正对象的图像失真中存在下述情况:如图2以及图3中分别所示那样的在中央部有折痕的纸面上发生的“中折下沉失真”以及“中折上浮失真”、图4所示那样的纸面顶点附近上浮的“顶点上浮失真”、以及图5所示那样的“书本失真”。在此,在图4所示的顶点上浮失真中,示出了纸面的左上部呈现上浮的样子。另外,书本的失真是起因于用非接触型图像拍摄装置从斜上方拍摄词典、专业书、手册等较厚的书而引起的失真,是起因于透视变换的失真(透视变换失真)与因书本的纸面自身本来是三维曲面而导致的失真的复合失真。
接下来,针对图像失真校正装置的处理内容,参照图6所示的流程图进行说明。
在步骤1(在图中略记为“S1”。以下相同)中,通过由原图像输入部10提供的功能,输入成为校正对象的输入图像。即,从图像拍摄装置或各种记录介质中,如图7所示,读取纸面平滑失真的输入图像。
在步骤2中,通过由测地线投影抽取部12提供的功能,从由原图像输入部10输入的输入图像中,如图8所示,抽取在纸面曲面上互相平行的测地线的投影集合。
在步骤3中,通过由网格线投影抽取部14提供的功能,从由测地线投影抽取部12抽取的测地线的投影集合中,如图9所示,抽取网格线的投影集合。
在步骤4中,通过由纸面曲面推定部16提供的功能,从分别由测地线投影抽取部12以及网格线投影抽取部14抽取的测地线以及网格线的投影集合中,推定输入图像的纸面曲面。
在步骤5中,通过由图像失真校正部18提供的功能,基于由纸面曲面推定部16推定的纸面曲面,如图10所示,校正输入图像的失真。
在步骤6中,通过由校正图像输出部20提供的功能,输出由图像失真校正部18校正了的校正图像。
根据步骤1~步骤6的处理,从输入图像中抽取在纸面曲面上相互平行的测地线的投影集合,同时从测地线的投影集合中抽取网格线的投影集合。而且,根据测地线以及网格线的投影集合来推定纸面曲面,并基于该纸面曲面来校正图像的失真。因此,与以纸面轮廓为线索的失真校正相比较,纸面曲面以纸面内容为线索而被推定,由此不但能够处理多样的失真种类,即使根据在图像上只表示纸面的一部分的输入图像,也能够进行高精度的失真校正。
接下来,针对图像失真校正的第一实施方式的原理进行详细的说明。
A.纸面曲面的模型化
纸面曲面是满足以下性质的网格面,即,对于曲面上的任意点,在曲面上存在通过该点的直线(网格线)。使用能够从纸面中的字符串或划线中抽取的假想的平行线,作为失真校正的线索。平坦的纸面上的平行线在纸面曲面上是平行的测地线。
因此,如图11所示,使用曲线坐标系(s,t)(0≤s≤1,0≤t≤1),将纸面曲面表示为x(s,t)=(1-t)p(s)+tq(s)。在此,p(s)、q(s)分别是纸面曲面的上端以及下端的测地线。曲线坐标系(s,t)这样设定:一方面通过固定s,表示网格线xs(t)=(1-t)p(s)+tq(s),另一方面通过固定t来表示平行的测地线xt(s)=(1-t)p(s)+tq(s)。另外,假定纸面曲面x(s,t)存在于xyz坐标空间中,其图像通过与z轴平行的正投影而被拍摄。
B.平行测地线投影的抽取
如图12所示,基于从输入图像抽取的字符串或划线,来抽取测地线的投影集合。具体的说,在抽取输入图像中的构成文字的成分(文字成分)或构成划线的线段之后,通过结合相互接近的文字成分或线段,能够抽取测地线的投影集合。
C.网格线投影的抽取
弯曲纸面而成的曲面一般被称为“网格面”,对于该面上的任意点,在曲面上存在通过该点的直线(网格线)。利用测地线的几何性质、即“以测地线投影对网格线投影进行分割而得到的线段长度的比(比矢量)为恒量”,从平行测地线的投影集合中抽取网格线的投影集合。
即,如图13所示,使纸面曲面的上端以及下端的测地线投影分别为Yp=fp(Xp)以及Yq=fq(Xq),则网格线投影的抽取归结到求出上端以及下端的测地线投影的对应关系Xq=m(Xp)。在此,根据网格线投影带有的以下的几何性质来搜索对应关系Xq=m(Xp)。
性质1:以测地线投影对网格线投影进行分割而得到的线段长度的比(比矢量)为恒量(参照图14)。
性质2:针对各网格线投影,与测地线投影在交点的切线的倾角为恒量。
作为对应关系Xq=m(Xp)的搜索方法,只利用性质1,根据相对于成为候补的测地线的投影集合的比矢量的偏移总和为最小的评价标准,能够对搜索对象的网格线投影的比矢量以及最佳网格线的投影集合进行搜索。另外,通过同时使用性质2,能够判定抽取的测地线投影的真伪,能够根据来自网格线投影的抽取结果的反馈,相对干扰而实现可靠的平行测地线的抽取。即,从抽取的测地线的投影集合中,除去不满足性质2的测地线投影,而抽取网格线的投影集合。
D.纸面曲面的推定
将在输入图像上表示的纸面曲面平坦地展开时,通过推定其上端以及下端的测地线投影的宽度(未知常数),根据测地线的几何性质来推定纸面曲面。通过采用该方法,能够对使用数值微分·积分法来导出的网格线条数的二次方程式进行求解,从而能够求出纸面曲面。
首先,将上端的测地线投影上的点p(s)的x坐标作为xp,其他以xp的函数表示,则为:
p(s)=(px(s),py(s),pz(s))=p(xp)=(xp,fp(xp),gp(xp))
q(s)=(qx(s),qy(s),qz(s))=q(xp)=(m(xp),fq(xp),gq(xp))。因为通过网格线投影的抽取,对应关系m(xp)以及上端和下端的测地线投影fp(xp)以及fq(xp)成为已知,所以纸面曲面的推定归结到求解未知函数gp(xp)以及gq(xp)。
然而,使图像拍摄装置正对纸面原稿,通过正投影对图像进行了拍摄时,纸面曲面的投影(即图像),与将其平坦地展开时的展开纸面之间的对应关系如图15所示。纸面曲面投影上的平行的测地线的投影集合具有在展开纸面上也是平行线的性质。因此,在展开纸面中,将上端以及下端的平行测地线的宽度设为h。另外,将纸面曲面投影上的上端测地线投影的任意一点P(xp)=(xp,fp(xp))上的切线与通过该点的网格线投影所成的角度设为α(xp),将从上端测地线投影到下端测地线投影的网格线投影的长度设为l(xp)。并且,在展开纸面中,将从左端网格线到与纸面曲面上的上端测地线的任意一点p(xp)=(xp,fp(xp),gp(xp))对应的点的长度设为Lp(xp)=L0(xp),将在该点的上端测地线与网格线所成的角度设为β(xp)。另外,在展开纸面中,展开与t=t对应的测地线时,将从与左端网格线的交点开始、到与通过纸面曲面上的上端测地线的任意一点p(xp)的网格线的交点的长度设为Lt(xp)。
在抽取网格线投影之后,因为角度α(xp)以及网格线投影的长度l(xp)可计算,所以成为已知。另一方面,展开纸面的长度Lt(xp)以及角度β(xp)为未知。因此,如果能够求出展开纸面的长度Lt(xp)以及角度β(xp),则能够推定纸面曲面,即求解表示测地线的高度的未知函数gp(xp)以及gq(xp)。
网格线与跟包含纸面曲面上的网格线的平面、即xy平面的相交线垂直而成的平面、与xy平面所成角度(网格线的倾角)设为θ,则角度α(xp)以及β(xp)之间,以下关系成立。
cosθ(xp)tanα(xp)=tanβ(xp)
另外,在角度θ、网格线投影的长度l(xp)以及平行测地线的宽度h与角度β(xp)之间,根据网格线的倾角的性质,以下关系成立。
当由此消去θ时,下式成立。
在此,平行测地线的宽度h虽然是未知常数,但假定用某种方法能为已知的话,则由此式可求得角度β(xp)。
纸面曲面上的任意点表示为pt(xp)=(1-t)p(xp)+tq(xp)。因为通过该点的网格线与上端测地线的交点是p(xp)=(xp,fp(xp),gp(xp))、与下端测地线的交点是q(xp)=(m(xp),fq(xp),gq(xp)),所以任意点pt(xp)是将这些交点内分为t:(1-t)的点。因此,根据该性质,任意点pt(xp)能够表示如下。
pt(xp)=((1-t)xp+tm(xp),(1-t)fp(xp)+tfq(xp),(1-t)gp(xp)+tgq(xp))
在展开纸面中,在来自左端网格线的测地线的长度Lt(xp)以及Lp(xp)之间,根据平行线的几何性质有下式成立。在此,xp 0是左端网格线与上端测地线的交点的x坐标(常数)。
因为当展开纸面曲面上的测地线时,成为构成展开纸面上的平行测地线的直线,所以针对展开纸面上的长度Lt(xp)以及Lp(xp)的微分有下式成立。
{Lp′(xp)}2=(Px′(xp))2+(Py′(xp))2+(Pz′(xp)2=1+{fp′(xp)}2+{gp′(xp)}2
{Lt′(xp)}2={(1-t)+tm′(xp)}2+{(1-t)fp′(Xp)+tfq′(xp)}2+{(1-t)gp′(xp)+tgq′(xp)}2
另一方面,当微分Lt(xp)时,
成为Lt′(xp)=Lp′(xp)-thβ′(xp)sinβ(xp),
将其代入上式,则对于任意的t有下式成立。
{Lp′(xp)-thβ′(xp)sinβ(xp)}2={1-t)+tm′(xp)}2+{1-t)fp′(xp)+tfq′(xp)}2+((1-t)gp′(xp)+tgq′(xp)}2
该式由于是关于t的二次式,所以各次数的系数为0。
在此,当r(xp)=gq(xp)-gp(xp)时,下式分别成立。
二次项:h2{β′(xp)}2sin2β(xp)={m′(xp)-1}2+{fq′(xp)-fp′(xp)}2+{r′(xp)}2
一次项:-Lp′(xp)hβ′(xp)sinβ(xp)
={m′(xp)-1}+fp′(xp){fq′(xp)-fp′(xp)}+gp′(xp)r′(xp)
常数项:{Lp′(xp)}2=1+{fp′(xp)}2+{gp′(xp)}2
在这些式中,如果用某种方法推定平行测地线的宽度h,则通过使用数值微分法,β’(xp)以及m’(xp)就成为已知,从而能够根据二次项的式子求出r’(xp)。另外,如果将其代入一次项的式子,则未知函数gp’(xp)成为Lp’(xp)的一次式,通过将其代入常数项的式子,就能够导出Lp’(xp)的二次方程式。并且,在通过针对与各网格线对应的Xp来解这些方程式的同时,通过应用数值积分法来求出Lp(xp),从而能够推定纸面曲面。
此外,也可以从测地线以及网格线的投影集合中,通过将纸面曲面的测地线的长度以及角度的同一性的偏差的总和作为能量函数的反复法,来推定纸面曲面。
E.平行测地线的宽度h的推定方法
在此,提出了这样的方法:基于纸面曲面上的网格线与图像拍摄方向所成的角度的多数决定原理,来推定展开纸面的上端以及下端的平行测地线的宽度h。
在网格线的倾斜角度θ(xp)、网格线投影的长度l(xp)以及平行测地线的宽度h与角度β(xp)之间,根据网格线的倾斜的性质有以下关系成立。
当固定h时,求出网格线的倾斜角度θ(xp),从而能够对于集合{xp}求出{θ(xp)}。进而,能够求出集合{θ(xp)}的偏差为最小的h,从而能够将其作为最佳h来采用。
F.基于像素对应关系的失真校正
如图15所示,当利用纸面曲面的投影与展开纸面的对应关系时,根据由纸面曲面的推定而求出的平行测地线的宽度h、角度β(xp)以及长度 对输入图像与将其展开的校正图像建立像素对应关系成为可能,从而能够实现失真校正。
接下来,针对图像失真校正的第二实施方式的详细原理来进行说明。
A.纸面曲面的模型化
纸面曲面是满足以下性质的网格面,即,对于曲面上的任意点,存在通过该点的曲面上的直线(网格线)。使用能够从纸面中的字符串或划线中抽取的假想的平行线,作为失真校正的线索。平坦的纸面上的平行线在纸面曲面上成为平行的测地线。
因此,如图16所示,使用曲线坐标系(s,t)(0≤s≤1,0≤t≤1),将纸面曲面表示为x(s,t)=(1-t)xU(s)+txD(s)。在此,xU(s)、xD(s)分别是纸面曲面的上端以及下端的测地线上的点,设定s以使通过此两点的直线成为网格线。曲线坐标系(s,t)一方面通过固定s来表示网格线,另一方面通过固定t来表示平行的测地线。
另外,由数码相机等非接触型图像拍摄装置得到的输入图像,从xyz坐标空间的纸面曲面,作为向将拍摄位置xC=(xC,yC,ZC)作为中心的xy平面的透视投影而取得。在此,相对于添标α=U、i、D,将与纸面曲面上的测地线xα对应的输入图像中的曲线称为“测地线投影”,表示为Xα=(Xα,Yα,0)。而且,当将对于纸面的拍摄高度的内比作为hα时,xα=hαXα+(1-hα)xC成立。
B.平行测地线投影的抽取
如图12所示,基于从输入图像抽取的字符串或划线,抽取测地线的投影集合。具体的说,在抽取了输入图像中的构成文字的成分或构成划线的线段之后,通过结合相互接近的文字成分或线段,能够分别抽取表示测地线的投影集合的点列XU、Xi、XD。
C.网格线投影的抽取
在输入图像以及纸面曲面中,当将位于上端与下端之间的内部测地线投影的网格线投影的内比分别设为Ti(s)以及ti(s)时,(1/ti(s))-1=(hD(s)/hU(s))((1/T1(s))-1)成立。根据平行测地线的几何性质,内部测地线的网格线的内比t1(s)为恒量而与s无关,因此对于两条内部测地线投影的网格线的内比Ti(s)、Tj(s),((1/Ti(s))-1):((1/TJ(s))-1)为恒量。因此,为了使这些条件造成的偏差的总和最小,搜索网格线的投影集合,即,进行上端测地线投影上的点与下端测地线投影上的点的对应关系的搜索,从而得到参数表现XU(s)、XD(s)。
D.纸面曲面的推定
因此,如果求取
并将其作为fα(s),则通过下式确定纸面曲面。
hα(s)=Aαexp(∫fα(s)ds)
E.基于像素对应关系的失真校正
由纸面曲面与输入图像的对应关系,能够实现失真校正。
工业上的可利用性
如上所述,本发明涉及的图像失真校正技术通过以纸面的内容为线索来推定纸面曲面,在能够处理多样的失真的种类的同时,即使在图像上只表示了纸面的一部分时,也能够进行失真的校正,从而是极为有用的技术。
Claims (8)
1.一种图像失真校正程序,其特征在于,使计算机实现以下功能:
图像输入功能,用于输入拍摄纸面而得到的图像;
测地线投影抽取功能,用于从通过该图像输入功能而被输入的图像中,以上述纸面的内容为线索,抽取在纸面曲面上互相平行的测地线的投影集合;
网格线投影抽取功能,用于从通过该测地线投影抽取功能而被抽取的测地线的投影集合中,抽取形成与上述纸面曲面相应的网格面的网格线的投影集合;
纸面曲面推定功能,用于根据通过上述测地线投影抽取功能以及网格线投影抽取功能而分别被抽取的测地线以及网格线的投影集合,来推定上述纸面曲面;
失真校正功能,用于基于通过该纸面曲面推定功能而被推定的纸面曲面,校正通过上述图像输入功能而被输入的图像的失真。
2.如权利要求1所述的图像失真校正程序,其特征在于,上述网格线投影抽取功能从通过上述测地线投影抽取功能而被抽取的测地线的投影集合中,搜索并抽取以测地线投影对网格线投影进行分割而得到的线段长度的比为恒量的网格线的投影集合。
3.如权利要求1所述的图像失真校正程序,其特征在于,上述网格线投影抽取功能从通过上述测地线投影抽取功能而被抽取的测地线的投影集合中,除去网格线投影与测地线投影的交点上的网格线投影的切线的倾角不为恒量的测地线投影,从而抽取网格线的投影集合。
4.如权利要求1所述的图像失真校正程序,其特征在于,上述网格线投影抽取功能利用通过上述测地线投影抽取功能而被抽取的测地线的投影集合,从位于上端与下端之间的测地线投影的内比为恒量的网格线的集合中,搜索自内比的偏差的总和为最小的网格线的投影,并作为网格线的投影集合而抽取。
5.如权利要求4所述的图像失真校正程序,其特征在于,上述纸面曲面推定功能利用相对于纸面曲面的拍摄高度、以及与同一条测地线相交的上端以及下端的测地线的切矢量平行这种几何性质,来推定纸面曲面。
6.一种图像失真校正装置,其特征在于,包含以下机构而构成:
图像输入机构,其输入拍摄纸面而得到的图像;
测地线投影抽取机构,其从由该图像输入机构输入的图像中,以上述纸面的内容为线索,抽取在纸面曲面上互相平行的测地线的投影集合;
网格线投影抽取机构,其从由该测地线投影抽取机构抽取的测地线的投影集合中,抽取形成与上述纸面曲面相应的网格面的网格线的投影集合;
纸面曲面推定机构,其根据由上述测地线投影抽取机构以及网格线投影抽取机构分别抽取的测地线以及网格线的投影集合,来推定上述纸面曲面;
失真校正机构,其基于由该纸面曲面推定机构推定的纸面曲面,校正由上述图像输入机构输入的图像的失真。
7.一种图像失真校正方法,其特征在于,使计算机执行以下步骤:
测地线投影抽取步骤,用于从由图像拍摄装置拍摄纸面而得到的图像中,以上述纸面的内容为线索,抽取在纸面曲面上互相平行的测地线的投影集合;
网格线投影抽取步骤,用于从通过该测地线投影抽取步骤而被抽取的测地线的投影集合中,抽取形成与上述纸面曲面相应的网格面的网格线的投影集合;
纸面曲面推定步骤,用于根据通过上述测地线投影抽取步骤以及网格线投影抽取步骤而分别被抽取的测地线以及网格线的投影集合,来推定上述纸面曲面;
失真校正步骤,用于基于通过该纸面曲面推定步骤而被推定的纸面曲面,校正通过上述图像输入步骤而被输入的图像的失真。
8.一种存储有图像失真校正程序的记录介质,其特征在于,该程序使计算机实现以下功能:
图像输入功能,用于输入拍摄纸面而得到的图像;
测地线投影抽取功能,用于从通过该图像输入功能而被输入的图像中,以上述纸面的内容为线索,抽取在纸面曲面上互相平行的测地线的投影集合;
网格线投影抽取功能,用于从通过该测地线投影抽取功能而被抽取的测地线的投影集合中,抽取形成与上述纸面曲面相应的网格面的网格线的投影集合;
纸面曲面推定功能,用于根据通过上述测地线投影抽取功能以及网格线投影抽取功能而分别被抽取的测地线以及网格线的投影集合,来推定上述纸面曲面;
失真校正功能,用于基于通过该纸面曲面推定功能而被推定的纸面曲面,校正通过上述图像输入功能而被输入的图像的失真。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPPCT/JP03/13665 | 2003-10-24 | ||
PCT/JP2003/013665 WO2005041123A1 (ja) | 2003-10-24 | 2003-10-24 | 画像歪み補正プログラム,画像歪み補正装置並びに画像歪み補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1853195A true CN1853195A (zh) | 2006-10-25 |
CN100412903C CN100412903C (zh) | 2008-08-20 |
Family
ID=34509578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004800266387A Expired - Fee Related CN100412903C (zh) | 2003-10-24 | 2004-03-05 | 图像失真校正装置、图像失真校正方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7471848B2 (zh) |
JP (1) | JP4047352B2 (zh) |
CN (1) | CN100412903C (zh) |
WO (2) | WO2005041123A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102780904A (zh) * | 2012-05-31 | 2012-11-14 | 新奥特(北京)视频技术有限公司 | 一种通过左右眼图像网格化显示来调节3d图像的方法 |
CN102918548A (zh) * | 2010-06-08 | 2013-02-06 | 国际商业机器公司 | 校正扫描书籍中的页面卷曲 |
CN104735293A (zh) * | 2013-12-24 | 2015-06-24 | 卡西欧计算机株式会社 | 图像修正装置及图像修正方法 |
CN110027342A (zh) * | 2017-12-20 | 2019-07-19 | 卡西欧计算机株式会社 | 对纸面进行拍摄而电子化的装置、图像校正方法、翻页装置以及拍摄方法 |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7593595B2 (en) * | 2004-08-26 | 2009-09-22 | Compulink Management Center, Inc. | Photographic document imaging system |
CN100363940C (zh) * | 2005-12-29 | 2008-01-23 | 北大方正集团有限公司 | 一种文稿图像几何畸变的校正方法 |
US7330604B2 (en) * | 2006-03-02 | 2008-02-12 | Compulink Management Center, Inc. | Model-based dewarping method and apparatus |
CN100464346C (zh) * | 2006-04-29 | 2009-02-25 | 北大方正集团有限公司 | 一种表格图像几何畸变的数字校正方法 |
JP4946376B2 (ja) * | 2006-11-15 | 2012-06-06 | 富士通株式会社 | 線織線射影抽出プログラム、線織線射影抽出装置および線織線射影抽出方法 |
CN101681432B (zh) * | 2007-05-01 | 2013-11-06 | 计算机连接管理中心公司 | 图片文档分割方法和系统 |
US8244062B2 (en) * | 2007-10-22 | 2012-08-14 | Hewlett-Packard Development Company, L.P. | Correction of distortion in captured images |
US20130085935A1 (en) | 2008-01-18 | 2013-04-04 | Mitek Systems | Systems and methods for mobile image capture and remittance processing |
US8577118B2 (en) * | 2008-01-18 | 2013-11-05 | Mitek Systems | Systems for mobile image capture and remittance processing |
US8582862B2 (en) | 2010-05-12 | 2013-11-12 | Mitek Systems | Mobile image quality assurance in mobile document image processing applications |
US10528925B2 (en) | 2008-01-18 | 2020-01-07 | Mitek Systems, Inc. | Systems and methods for mobile automated clearing house enrollment |
US9298979B2 (en) | 2008-01-18 | 2016-03-29 | Mitek Systems, Inc. | Systems and methods for mobile image capture and content processing of driver's licenses |
US10102583B2 (en) | 2008-01-18 | 2018-10-16 | Mitek Systems, Inc. | System and methods for obtaining insurance offers using mobile image capture |
US8983170B2 (en) | 2008-01-18 | 2015-03-17 | Mitek Systems, Inc. | Systems and methods for developing and verifying image processing standards for mobile deposit |
US9842331B2 (en) | 2008-01-18 | 2017-12-12 | Mitek Systems, Inc. | Systems and methods for mobile image capture and processing of checks |
US10685223B2 (en) | 2008-01-18 | 2020-06-16 | Mitek Systems, Inc. | Systems and methods for mobile image capture and content processing of driver's licenses |
US7949176B2 (en) * | 2008-01-18 | 2011-05-24 | Mitek Systems, Inc. | Systems for mobile image capture and processing of documents |
GB2472179B (en) * | 2008-05-06 | 2013-01-30 | Compulink Man Ct Inc | Camera-based document imaging |
US8437570B2 (en) * | 2008-05-23 | 2013-05-07 | Microsoft Corporation | Geodesic image and video processing |
EP2141617A1 (en) * | 2008-07-04 | 2010-01-06 | Dassault Systèmes S.A. | A computer-implemented method of design of surfaces defined by guiding curves. |
CN101789122B (zh) * | 2009-01-22 | 2013-06-26 | 佳能株式会社 | 用于校正畸变文档图像的方法和系统 |
CN101847202B (zh) * | 2009-03-23 | 2012-11-28 | 凯迈(洛阳)电子有限公司 | 光学指纹采集器图像畸变的校正算法 |
CN102439628A (zh) * | 2009-04-27 | 2012-05-02 | 意法爱立信(法国)有限公司 | 变换二维图像的几何方法 |
US8351654B2 (en) * | 2009-04-28 | 2013-01-08 | Microsoft Corporation | Image processing using geodesic forests |
US8322384B2 (en) * | 2010-03-05 | 2012-12-04 | Whirlpool Corporation | Select-fill dispensing system |
EP2383669B1 (en) | 2010-04-02 | 2018-07-11 | Dassault Systèmes | Design of a part modeled by parallel geodesic curves |
US10891475B2 (en) | 2010-05-12 | 2021-01-12 | Mitek Systems, Inc. | Systems and methods for enrollment and identity management using mobile imaging |
US9208393B2 (en) | 2010-05-12 | 2015-12-08 | Mitek Systems, Inc. | Mobile image quality assurance in mobile document image processing applications |
US8995012B2 (en) | 2010-11-05 | 2015-03-31 | Rdm Corporation | System for mobile image capture and processing of financial documents |
JP5867045B2 (ja) * | 2011-12-12 | 2016-02-24 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
US8781173B2 (en) | 2012-02-28 | 2014-07-15 | Microsoft Corporation | Computing high dynamic range photographs |
JP5949261B2 (ja) * | 2012-07-20 | 2016-07-06 | セイコーエプソン株式会社 | ラベル作成システム、ラベル作成方法、印刷装置およびプログラム |
US10883303B2 (en) | 2013-01-07 | 2021-01-05 | WexEnergy LLC | Frameless supplemental window for fenestration |
US9230339B2 (en) | 2013-01-07 | 2016-01-05 | Wexenergy Innovations Llc | System and method of measuring distances related to an object |
US8923650B2 (en) | 2013-01-07 | 2014-12-30 | Wexenergy Innovations Llc | System and method of measuring distances related to an object |
US9845636B2 (en) | 2013-01-07 | 2017-12-19 | WexEnergy LLC | Frameless supplemental window for fenestration |
US9691163B2 (en) | 2013-01-07 | 2017-06-27 | Wexenergy Innovations Llc | System and method of measuring distances related to an object utilizing ancillary objects |
US10196850B2 (en) | 2013-01-07 | 2019-02-05 | WexEnergy LLC | Frameless supplemental window for fenestration |
US10963535B2 (en) | 2013-02-19 | 2021-03-30 | Mitek Systems, Inc. | Browser-based mobile image capture |
US20140279323A1 (en) | 2013-03-15 | 2014-09-18 | Mitek Systems, Inc. | Systems and methods for capturing critical fields from a mobile image of a credit card bill |
US9101459B2 (en) * | 2013-03-15 | 2015-08-11 | OrCam Technologies, Ltd. | Apparatus and method for hierarchical object identification using a camera on glasses |
KR102082301B1 (ko) * | 2013-09-30 | 2020-02-27 | 삼성전자주식회사 | 카메라로 촬영한 문서 영상을 스캔 문서 영상으로 변환하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
CN104657730B (zh) * | 2013-11-20 | 2018-01-05 | 富士通株式会社 | 文档图像的校正装置、方法以及扫描仪 |
JP6194781B2 (ja) * | 2013-12-11 | 2017-09-13 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
CN103903274B (zh) * | 2014-04-22 | 2016-09-21 | 四川川大智胜软件股份有限公司 | 一种小半径大曲率畸变曲面投影校正融合的方法 |
WO2016024375A1 (ja) * | 2014-08-12 | 2016-02-18 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
CN105678684B (zh) | 2014-11-18 | 2020-11-03 | 中兴通讯股份有限公司 | 一种截取图像的方法及装置 |
JP6521481B2 (ja) * | 2015-03-19 | 2019-05-29 | カシオ計算機株式会社 | 画像補正装置、及び画像補正方法、プログラム |
JP6728615B2 (ja) | 2015-09-30 | 2020-07-22 | ヤマハ株式会社 | 画像補正装置、画像補正方法およびプログラム |
CN108073924B (zh) * | 2016-11-17 | 2021-06-22 | 富士通株式会社 | 图像处理方法和装置 |
US10533364B2 (en) | 2017-05-30 | 2020-01-14 | WexEnergy LLC | Frameless supplemental window for fenestration |
US11393272B2 (en) | 2019-09-25 | 2022-07-19 | Mitek Systems, Inc. | Systems and methods for updating an image registry for use in fraud detection related to financial documents |
CN113747130A (zh) * | 2020-05-29 | 2021-12-03 | 中强光电股份有限公司 | 产生遮罩的方法及执行此方法的投影装置 |
US10991081B1 (en) | 2020-12-31 | 2021-04-27 | VoyagerX, Inc. | Book scanning using machine-trained model |
US11030488B1 (en) | 2020-12-31 | 2021-06-08 | VoyagerX, Inc. | Book scanning using machine-trained model |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0437968A (ja) * | 1990-06-01 | 1992-02-07 | Fuji Electric Co Ltd | 図書の文字読取方法 |
JPH05303635A (ja) | 1992-04-28 | 1993-11-16 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
JP3093869B2 (ja) * | 1992-04-28 | 2000-10-03 | オリンパス光学工業株式会社 | 画像取り込み装置 |
US5497236A (en) | 1993-06-23 | 1996-03-05 | Ricoh Company Ltd. | Method and apparatus for distortion correction of scanned images |
JP3600380B2 (ja) * | 1996-09-11 | 2004-12-15 | 株式会社リコー | 画像処理方法及びファクス文字認識装置 |
US6018593A (en) | 1996-09-11 | 2000-01-25 | Ricoh Company, Ltd. | Method and system for correcting image position based upon predetermined pattern portions |
JPH10173905A (ja) * | 1996-12-11 | 1998-06-26 | Minolta Co Ltd | 画像読取り装置 |
US6970592B2 (en) * | 2000-09-04 | 2005-11-29 | Fujitsu Limited | Apparatus and method for correcting distortion of input image |
GB0104664D0 (en) * | 2001-02-23 | 2001-04-11 | Hewlett Packard Co | Improvements relating to document capture |
US6873732B2 (en) * | 2001-07-09 | 2005-03-29 | Xerox Corporation | Method and apparatus for resolving perspective distortion in a document image and for calculating line sums in images |
US7430065B2 (en) * | 2001-08-27 | 2008-09-30 | Ricoh Company, Ltd | Method and system for correcting distortions in image data scanned from bound originals |
JP4180260B2 (ja) * | 2001-08-27 | 2008-11-12 | 株式会社リコー | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム |
-
2003
- 2003-10-24 WO PCT/JP2003/013665 patent/WO2005041123A1/ja not_active Application Discontinuation
-
2004
- 2004-03-05 CN CNB2004800266387A patent/CN100412903C/zh not_active Expired - Fee Related
- 2004-03-05 JP JP2005514903A patent/JP4047352B2/ja not_active Expired - Fee Related
- 2004-03-05 WO PCT/JP2004/002825 patent/WO2005041125A1/ja active Application Filing
-
2006
- 2006-02-22 US US11/359,096 patent/US7471848B2/en not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102918548A (zh) * | 2010-06-08 | 2013-02-06 | 国际商业机器公司 | 校正扫描书籍中的页面卷曲 |
CN102918548B (zh) * | 2010-06-08 | 2015-09-09 | 国际商业机器公司 | 校正扫描书籍中的页面卷曲 |
CN102780904A (zh) * | 2012-05-31 | 2012-11-14 | 新奥特(北京)视频技术有限公司 | 一种通过左右眼图像网格化显示来调节3d图像的方法 |
CN104735293A (zh) * | 2013-12-24 | 2015-06-24 | 卡西欧计算机株式会社 | 图像修正装置及图像修正方法 |
CN104735293B (zh) * | 2013-12-24 | 2018-06-15 | 卡西欧计算机株式会社 | 图像修正装置图像修正方法以及记录介质 |
CN110027342A (zh) * | 2017-12-20 | 2019-07-19 | 卡西欧计算机株式会社 | 对纸面进行拍摄而电子化的装置、图像校正方法、翻页装置以及拍摄方法 |
Also Published As
Publication number | Publication date |
---|---|
CN100412903C (zh) | 2008-08-20 |
JP4047352B2 (ja) | 2008-02-13 |
US7471848B2 (en) | 2008-12-30 |
US20060140504A1 (en) | 2006-06-29 |
WO2005041125A1 (ja) | 2005-05-06 |
JPWO2005041125A1 (ja) | 2007-03-29 |
WO2005041123A1 (ja) | 2005-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1853195A (zh) | 图像失真校正程序、图像失真校正装置、图像失真校正方法以及存储有该图像失真校正程序的记录介质 | |
US7974463B2 (en) | Compensating for distortion in digital images | |
EP2221764B1 (en) | Method of creating a composite image | |
JP5253066B2 (ja) | 位置姿勢計測装置及び方法 | |
US10127679B2 (en) | Image alignment method and apparatus | |
JPWO2004051575A1 (ja) | 特徴領域抽出装置、特徴領域抽出方法および特徴領域抽出プログラム | |
KR20090004904A (ko) | 모델-기반 디워핑 방법 및 장치 | |
CN101057256A (zh) | 面部特征验证装置、面部特征验证方法及程序 | |
CN102622593A (zh) | 一种文本识别方法及系统 | |
Di Paola et al. | Computer aided restoration tools to assist the conservation of an ancient sculpture. The colossal statue of Zeus enthroned | |
CN1873647A (zh) | Cad方法、cad系统以及存储其cad程序的程序存储介质 | |
Sholomon et al. | A generalized genetic algorithm-based solver for very large jigsaw puzzles of complex types | |
CN106228221A (zh) | 一种变形二维码及其预处理方法 | |
CN106548171A (zh) | 一种图像自动校正的方法、装置及系统 | |
CN115456870A (zh) | 基于外参估计的多图像拼接方法 | |
JP7017462B2 (ja) | 学習画像生成装置及び学習画像生成方法、並びに画像認識装置及び画像認識方法 | |
CN106204420B (zh) | 一种笔式图像扫描拼接方法与装置 | |
JP5216631B2 (ja) | 特徴量抽出装置 | |
TW201301874A (zh) | 文件掃描方法、文件掃描裝置及可攜式電子裝置 | |
CN104123708B (zh) | 一种光学元件表面显微散射暗场图像的拼接方法 | |
CN1701339A (zh) | 画像-照片识别 | |
CN1045831C (zh) | 识别三维空间目标物的方法 | |
JP5802459B2 (ja) | 渦巻きばねの形状を算出するための画像処理装置、方法、及びプログラム | |
JP2015156166A (ja) | 地図補正方法、及び地図補正装置 | |
Yan et al. | Fast and low complexity image stitching method on mobile phones |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080820 Termination date: 20160305 |
|
CF01 | Termination of patent right due to non-payment of annual fee |