CN1853195A - 图像失真校正程序、图像失真校正装置、图像失真校正方法以及存储有该图像失真校正程序的记录介质 - Google Patents

Abstract

从图像拍摄装置拍摄纸面而得到的图像中，以纸面的内容为线索，抽取在纸面曲面上互相平行的测地线的投影集合，同时从测地线的投影集合中，抽取形成与纸面曲面相应的网格面的网格线的投影集合。从而，根据测地线以及网格线的投影集合来推定纸面曲面，基于该纸面曲面来校正图像的失真。这样一来，在能够处理多样的失真种类的同时，即使在图像上只表示纸面的一部分时，也能够进行失真校正。

Description

图像失真校正程序、图像失真校正装置、图像失真校正方法 以及存储有该图像失真校正程序的记录介质

技术领域

本发明涉及一种高精度地校正图像的三维失真的技术。

背景技术

近年来，在银行等金融业界，将输入业务效率化作为目标，使用CCD(Charge Coupled Device：电荷耦合器件)和数码相机等非接触型图像拍摄装置，高速快捷地输入纸表单、纸文件的技术已经被广泛应用。当使用非接触型图像拍摄装置时，与图像扫描仪等接触型图像拍摄装置相比较，能够享受在图像输入中也可以对纸面进行记录等的、能够看着纸面进行高速的图像输入等的快捷感。

另一方面，在由非接触型图像拍摄装置输入的图像上，存在起因于非接触图像输入的透视变换失真、和起因于纸面曲面的弯曲的图像失真。另外，即使是由接触型图像拍摄装置输入的图像，如果是拍摄较厚的书本的纸面所得的图像，因为其纸面呈曲面状，所以同样存在图像失真。因此，校正这些图像失真的技术对使用图像拍摄装置的图像输入来说是不可缺少的。在此，本申请的申请人提出了被公开在JP特开2002-150280号公报中那样的技术方案：以从图像中抽取的纸面的二维轮廓的失真作为线索，来推定纸面曲面，从而校正图像的失真。

可是，在该技术方案中，不但成为校正对象的失真的种类被限定了，还需要指定其种类，导致很难应用于失真种类多样的实际的图像。另外，在图像上没有表示整个纸面时，不能抽取其轮廓，所以对图像校正有种种的限制。

因此，本发明鉴于以上这样以往的问题，其目的在于提供一种图像失真校正技术，通过以纸面的内容(contents)为线索来推定纸面曲面，从而在能够应对多样的失真的种类的同时，即使在图像上只表示了纸面的一部分时，也能够进行失真校正。

发明的公开

因此，在本发明涉及的图像失真校正技术中，从拍摄纸面而得到的图像中，以纸面内容为线索，抽取在纸面曲面上互相平行的测地线的投影集合，同时从该测地线的投影集合中，抽取形成与纸面曲面相应的网格面(線織面)的网格线(線織線)的投影集合。进而，根据抽取的测地线以及网格线的投影集合来推定纸面曲面，并基于该纸面曲面来校正图像的失真。

根据这样的结构，与以纸面轮廓为线索的失真校正相比较，因为以纸面的内容作为线索来推定纸面曲面，所以不但能够处理多样的失真种类，即使根据在图像上只表示了纸面的一部分的输入图像，也能够进行高精度的失真校正。

这里优选从被抽取的测地线的投影集合中，通过利用以测地线投影对网格线投影进行分割而得到的线段长度的比为恒量的几何性质来进行搜索，从而抽取网格线的投影集合。此时优选从被抽取的测地线的投影集合中，除去不满足网格线投影与测地线投影的交点上的网格线投影的切线的倾角为恒量这样的几何性质的测地线投影，从而抽取网格线的投影集合。这样一来，能够判定抽取的测地线投影的真伪，并能够相对干扰而实现可靠的平行测地线的抽取。

另外优选根据被抽取的测地线以及网格线的投影集合，来推定上端测地线投影与下端测地线投影的宽度，通过对根据平行测地线的几何性质使用数值积分·微分法而导出的网格线的条数的二次方程式进行求解，从而推定纸面曲面。此时，优选根据纸面曲面上的网格线与图像拍摄方向所成角度的多数决定原理，来推定上端测地线投影与下端测地线投影之间的宽度。

还有优选利用被抽取的测地线的投影集合，从位于上端与下端之间的内部测地线投影的内比为恒量的网格线的集合中，搜索自内比的偏差的总和为最小的网格线的投影，从而抽取网格线的投影集合。此时，利用相应纸面曲面的拍摄高度、以及与同一条测地线相交的上端以及下端的测地线的切矢量平行的几何性质，来推定纸面曲面。这样，考虑到由数码相机等非接触型拍摄装置产生的透视失真，从而能够进行更高精度的失真校正。

通过以下针对附图的实施方式的说明，会更加明了本发明的其他目的和各种样态。

附图的简单说明

图1是将本发明具体化了的图像失真校正装置的结构图。

图2是成为校正对象的中折下沉失真的说明图。

图3是成为校正对象的中折上浮失真的说明图。

图4是成为校正对象的顶点上浮失真的说明图。

图5是成为校正对象的书本的失真的说明图。

图6是表示图像失真校正装置的处理内容的流程图。

图7是含有图像失真的输入图像的说明图。

图8是抽取了测地线的投影集合的影像的说明图。

图9是抽取了网格线的投影集合的影像的说明图。

图10是校正了图像失真的校正图像的说明图。

图11是表示纸面曲面的模型的说明图。

图12是抽取测地线投影的方法的说明图。

图13是抽取网格线投影的方法的说明图。

图14是搜索测地线投影的对应关系所用的网格线的性质的说明图。

图15是纸面曲面的投影以及将其平坦地展开的展开纸面的说明图。

图16是表示纸面曲面的其他的模型的说明图。

实施发明的最佳方式

以下，参照附图对本发明进行详细说明。

在本发明中，采用这种结构：不是以在图像上表示的纸面的轮廓，而是以纸面的内容为线索来校正失真。作为纸面内容，必须同时满足：无论对纸面的印刷、记入事项的多样性如何都能够稳定取得的性质、即“稳定性”；和即使不能取得整个纸面也能够活用的性质、即“局部性”。因此，通过活用这种性质，即从纸面中的字符串或划线中抽取假想的平行线，该平行线在失真的纸面曲面上成为平行的测地线的性质，通过平行测地线的形状复原(Shape from Parallel Geodesics)来进行失真校正。

为了实现基于平行测地线的形状复原的失真校正，将本发明具体化了的图像失真校正装置如图1所示，包含：原图像输入部10、测地线投影抽取部12、网格线投影抽取部14、纸面曲面推定部16、图像失真校正部18、校正图像输出部20。此外，图像失真校正装置被设置在至少具备中央处理装置和存储器的计算机系统上，通过被输入到存储器中的图像失真校正程序，来实现用于校正图像失真的各种功能。

原图像输入部10提供这样的功能：通过数码相机等非接触型图像拍摄装置或图像扫描仪等接触型图像拍摄装置，输入拍摄纸面所得的图像。在此，作为图像输入，不仅限于从图像拍摄装置实时地输入图像的结构，也可以是从被记录在各种记录介质上的拍摄完的图像中输入被指定的图像的结构。此外，根据从原图像输入部10提供的功能，可分别实现图像输入功能以及图像输入机构。

测地线投影抽取部12提供这样的功能：从由原图像输入部10输入的图像(以下称为“输入图像”)中，抽取在纸面曲面上相互平行的测地线的投影集合。例如，通过从输入图像中抽取多条可以看作是测地线的字符串或划线，求出将其投影到二维平面上所成的线的集合，从而实现测地线投影集合的抽取。此外，通过由测地线投影抽取部12提供的功能，可分别实现测地线投影抽取功能、测地线投影抽取机构以及测地线投影抽取步骤。

网格线投影抽取部14提供这样的功能：从由测地线投影抽取部12抽取的测地线的投影集合中，使用测地线的几何性质、即“以测地线投影对网格线投影进行分割而成的线段长度的比(比矢量(比ベクトル))为恒量”或“由位于上端与下端之间的内部测地线投影产生的网格线投影的内比为恒量”，从而搜索抽取网格线的投影集合。在此，弯曲纸面而成的三维曲面一般被称为“网格面”，公知对于该面上的任意点，曲面上存在通过该点的直线(网格线)。此外，通过由网格线投影抽取部14提供的功能，可分别实现网格线投影抽取功能、网格线投影抽取机构以及网格线投影抽取步骤。

纸面曲面推定部16提供这样的功能：根据分别由测地线投影抽取部12以及网格线投影抽取部14抽取的测地线以及网格线的投影集合，来推定输入图像的纸面曲面。即，基于纸面曲面上的网格线与该图像拍摄方向所成角度的多数决定原理，来推定将该纸面曲面平坦地展开时的平行测地线的上端与下端之间的宽度。接下来，通过对根据平行测地线的几何性质使用数值微分·积分法导出的网格线的条数的二次方程式进行求解，从而推定纸面曲面。另外，通过对由相应于纸面的拍摄高度、以及平行测地线的“与同一条测地线相交的上端以及下端的测地线的切矢量平行”的几何性质中导出的方程式进行求解，从而推定纸面曲面。此外，由纸面曲面推定部16提供的功能，可分别实现纸面曲面推定功能、纸面曲面推定机构以及纸面曲面推定步骤。

图像失真校正部18提供这样的功能：基于纸面曲面推定部16推定的纸面曲面，对输入图像建立像素对应关系，从而校正图像的失真。此外，通过由图像失真校正部18提供的功能，可分别实现失真校正功能、失真校正机构以及失真校正步骤。

校正图像输出部20提供输出由图像失真校正部18校正的输入图像(以下称为“校正图像”)的功能。在此，作为图像输出，不仅限于输出到使用校正图像进行各种图像处理的功能中，也可以是将校正图像保存到各种记录介质中的结构。

在图像失真校正装置中成为校正对象的图像失真中存在下述情况：如图2以及图3中分别所示那样的在中央部有折痕的纸面上发生的“中折下沉失真”以及“中折上浮失真”、图4所示那样的纸面顶点附近上浮的“顶点上浮失真”、以及图5所示那样的“书本失真”。在此，在图4所示的顶点上浮失真中，示出了纸面的左上部呈现上浮的样子。另外，书本的失真是起因于用非接触型图像拍摄装置从斜上方拍摄词典、专业书、手册等较厚的书而引起的失真，是起因于透视变换的失真(透视变换失真)与因书本的纸面自身本来是三维曲面而导致的失真的复合失真。

接下来，针对图像失真校正装置的处理内容，参照图6所示的流程图进行说明。

在步骤1(在图中略记为“S1”。以下相同)中，通过由原图像输入部10提供的功能，输入成为校正对象的输入图像。即，从图像拍摄装置或各种记录介质中，如图7所示，读取纸面平滑失真的输入图像。

在步骤2中，通过由测地线投影抽取部12提供的功能，从由原图像输入部10输入的输入图像中，如图8所示，抽取在纸面曲面上互相平行的测地线的投影集合。

在步骤3中，通过由网格线投影抽取部14提供的功能，从由测地线投影抽取部12抽取的测地线的投影集合中，如图9所示，抽取网格线的投影集合。

在步骤4中，通过由纸面曲面推定部16提供的功能，从分别由测地线投影抽取部12以及网格线投影抽取部14抽取的测地线以及网格线的投影集合中，推定输入图像的纸面曲面。

在步骤5中，通过由图像失真校正部18提供的功能，基于由纸面曲面推定部16推定的纸面曲面，如图10所示，校正输入图像的失真。

在步骤6中，通过由校正图像输出部20提供的功能，输出由图像失真校正部18校正了的校正图像。

根据步骤1～步骤6的处理，从输入图像中抽取在纸面曲面上相互平行的测地线的投影集合，同时从测地线的投影集合中抽取网格线的投影集合。而且，根据测地线以及网格线的投影集合来推定纸面曲面，并基于该纸面曲面来校正图像的失真。因此，与以纸面轮廓为线索的失真校正相比较，纸面曲面以纸面内容为线索而被推定，由此不但能够处理多样的失真种类，即使根据在图像上只表示纸面的一部分的输入图像，也能够进行高精度的失真校正。

接下来，针对图像失真校正的第一实施方式的原理进行详细的说明。

A.纸面曲面的模型化

纸面曲面是满足以下性质的网格面，即，对于曲面上的任意点，在曲面上存在通过该点的直线(网格线)。使用能够从纸面中的字符串或划线中抽取的假想的平行线，作为失真校正的线索。平坦的纸面上的平行线在纸面曲面上是平行的测地线。

因此，如图11所示，使用曲线坐标系(s，t)(0≤s≤1，0≤t≤1)，将纸面曲面表示为x(s，t)＝(1-t)p(s)+tq(s)。在此，p(s)、q(s)分别是纸面曲面的上端以及下端的测地线。曲线坐标系(s，t)这样设定：一方面通过固定s，表示网格线x_s(t)＝(1-t)p(s)+tq(s)，另一方面通过固定t来表示平行的测地线x_t(s)＝(1-t)p(s)+tq(s)。另外，假定纸面曲面x(s，t)存在于xyz坐标空间中，其图像通过与z轴平行的正投影而被拍摄。

B.平行测地线投影的抽取

如图12所示，基于从输入图像抽取的字符串或划线，来抽取测地线的投影集合。具体的说，在抽取输入图像中的构成文字的成分(文字成分)或构成划线的线段之后，通过结合相互接近的文字成分或线段，能够抽取测地线的投影集合。

C.网格线投影的抽取

弯曲纸面而成的曲面一般被称为“网格面”，对于该面上的任意点，在曲面上存在通过该点的直线(网格线)。利用测地线的几何性质、即“以测地线投影对网格线投影进行分割而得到的线段长度的比(比矢量)为恒量”，从平行测地线的投影集合中抽取网格线的投影集合。

即，如图13所示，使纸面曲面的上端以及下端的测地线投影分别为Y_p＝f_p(X_p)以及Y_q＝f_q(X_q)，则网格线投影的抽取归结到求出上端以及下端的测地线投影的对应关系X_q＝m(X_p)。在此，根据网格线投影带有的以下的几何性质来搜索对应关系X_q＝m(X_p)。

性质1：以测地线投影对网格线投影进行分割而得到的线段长度的比(比矢量)为恒量(参照图14)。

性质2：针对各网格线投影，与测地线投影在交点的切线的倾角为恒量。

作为对应关系X_q＝m(X_p)的搜索方法，只利用性质1，根据相对于成为候补的测地线的投影集合的比矢量的偏移总和为最小的评价标准，能够对搜索对象的网格线投影的比矢量以及最佳网格线的投影集合进行搜索。另外，通过同时使用性质2，能够判定抽取的测地线投影的真伪，能够根据来自网格线投影的抽取结果的反馈，相对干扰而实现可靠的平行测地线的抽取。即，从抽取的测地线的投影集合中，除去不满足性质2的测地线投影，而抽取网格线的投影集合。

D.纸面曲面的推定

将在输入图像上表示的纸面曲面平坦地展开时，通过推定其上端以及下端的测地线投影的宽度(未知常数)，根据测地线的几何性质来推定纸面曲面。通过采用该方法，能够对使用数值微分·积分法来导出的网格线条数的二次方程式进行求解，从而能够求出纸面曲面。

首先，将上端的测地线投影上的点p(s)的x坐标作为x_p，其他以x_p的函数表示，则为：

p(s)＝(p_x(s)，p_y(s)，p_z(s))＝p(x_p)＝(x_p，f_p(x_p)，g_p(x_p))

q(s)＝(q_x(s)，q_y(s)，q_z(s))＝q(x_p)＝(m(x_p)，f_q(x_p)，g_q(x_p))。因为通过网格线投影的抽取，对应关系m(x_p)以及上端和下端的测地线投影f_p(x_p)以及f_q(x_p)成为已知，所以纸面曲面的推定归结到求解未知函数g_p(x_p)以及g_q(x_p)。

然而，使图像拍摄装置正对纸面原稿，通过正投影对图像进行了拍摄时，纸面曲面的投影(即图像)，与将其平坦地展开时的展开纸面之间的对应关系如图15所示。纸面曲面投影上的平行的测地线的投影集合具有在展开纸面上也是平行线的性质。因此，在展开纸面中，将上端以及下端的平行测地线的宽度设为h。另外，将纸面曲面投影上的上端测地线投影的任意一点P(x_p)＝(x_p，f_p(x_p))上的切线与通过该点的网格线投影所成的角度设为α(x_p)，将从上端测地线投影到下端测地线投影的网格线投影的长度设为l(x_p)。并且，在展开纸面中，将从左端网格线到与纸面曲面上的上端测地线的任意一点p(x_p)＝(x_p，f_p(x_p)，g_p(x_p))对应的点的长度设为L_p(x_p)＝L₀(x_p)，将在该点的上端测地线与网格线所成的角度设为β(x_p)。另外，在展开纸面中，展开与t＝t对应的测地线时，将从与左端网格线的交点开始、到与通过纸面曲面上的上端测地线的任意一点p(x_p)的网格线的交点的长度设为L_t(x_p)。

在抽取网格线投影之后，因为角度α(x_p)以及网格线投影的长度l(x_p)可计算，所以成为已知。另一方面，展开纸面的长度L_t(x_p)以及角度β(x_p)为未知。因此，如果能够求出展开纸面的长度L_t(x_p)以及角度β(x_p)，则能够推定纸面曲面，即求解表示测地线的高度的未知函数g_p(x_p)以及g_q(x_p)。

网格线与跟包含纸面曲面上的网格线的平面、即xy平面的相交线垂直而成的平面、与xy平面所成角度(网格线的倾角)设为θ，则角度α(x_p)以及β(x_p)之间，以下关系成立。

cosθ(x_p)tanα(x_p)＝tanβ(x_p)

另外，在角度θ、网格线投影的长度l(x_p)以及平行测地线的宽度h与角度β(x_p)之间，根据网格线的倾角的性质，以下关系成立。

$\frac{h}{\sin \mathrm{\β}\left(x_p\right)}\cos \mathrm{\θ}\left(x_p\right)=1\left(x_p\right)$ ∴ $\cos \mathrm{\θ}\left(x_p\right)=\frac{1\left(x_p\right)}{h}\sin \mathrm{\β}\left(x_p\right)$

当由此消去θ时，下式成立。

$\cos \mathrm{\β}\left(x_p\right)=\frac{h}{1\left(x_p\right)\tan \mathrm{\α}\left(x_p\right)}$

在此，平行测地线的宽度h虽然是未知常数，但假定用某种方法能为已知的话，则由此式可求得角度β(x_p)。

纸面曲面上的任意点表示为p_t(x_p)＝(1-t)p(x_p)+tq(x_p)。因为通过该点的网格线与上端测地线的交点是p(x_p)＝(x_p，f_p(x_p)，g_p(x_p))、与下端测地线的交点是q(x_p)＝(m(x_p)，f_q(x_p)，g_q(x_p))，所以任意点p_t(x_p)是将这些交点内分为t：(1-t)的点。因此，根据该性质，任意点p_t(x_p)能够表示如下。

p_t(x_p)＝((1-t)x_p+tm(x_p)，(1-t)f_p(x_p)+tf_q(x_p)，(1-t)g_p(x_p)+tg_q(x_p))

在展开纸面中，在来自左端网格线的测地线的长度L_t(x_p)以及L_p(x_p)之间，根据平行线的几何性质有下式成立。在此，x_p ⁰是左端网格线与上端测地线的交点的x坐标(常数)。

$L_t\left(x_p\right)=L_p\left(x_p\right)+t(h\cos \mathrm{\β}\left(x_p\right)-h\cos \mathrm{\β}\left(x_p^0\right))$

因为当展开纸面曲面上的测地线时，成为构成展开纸面上的平行测地线的直线，所以针对展开纸面上的长度L_t(x_p)以及L_p(x_p)的微分有下式成立。

{L_p′(x_p)}²＝(P_x′(x_p))²+(P_y′(x_p))²+(P_z′(x_p)²＝1+{f_p′(x_p)}²+{g_p′(x_p)}²

{L_t′(x_p)}²＝{(1-t)+tm′(x_p)}²+{(1-t)f_p′(X_p)+tf_q′(x_p)}²+{(1-t)g_p′(x_p)+tg_q′(x_p)}²

另一方面，当微分L_t(x_p)时，

成为L_t′(x_p)＝L_p′(x_p)-thβ′(x_p)sinβ(x_p)，

将其代入上式，则对于任意的t有下式成立。

{L_p′(x_p)-thβ′(x_p)sinβ(x_p)}²＝{1-t)+tm′(x_p)}²+{1-t)f_p′(x_p)+tf_q′(x_p)}²+((1-t)g_p′(x_p)+tg_q′(x_p)}²

该式由于是关于t的二次式，所以各次数的系数为0。

在此，当r(x_p)＝g_q(x_p)-g_p(x_p)时，下式分别成立。

二次项：h²{β′(x_p)}²sin²β(x_p)＝{m′(x_p)-1}²+{f_q′(x_p)-f_p′(x_p)}²+{r′(x_p)}²

一次项：-L_p′(x_p)hβ′(x_p)sinβ(x_p)

        ＝{m′(x_p)-1}+f_p′(x_p){f_q′(x_p)-f_p′(x_p)}+g_p′(x_p)r′(x_p)

常数项：{L_p′(x_p)}²＝1+{f_p′(x_p)}²+{g_p′(x_p)}²

在这些式中，如果用某种方法推定平行测地线的宽度h，则通过使用数值微分法，β’(x_p)以及m’(x_p)就成为已知，从而能够根据二次项的式子求出r’(x_p)。另外，如果将其代入一次项的式子，则未知函数g_p’(x_p)成为L_p’(x_p)的一次式，通过将其代入常数项的式子，就能够导出L_p’(x_p)的二次方程式。并且，在通过针对与各网格线对应的X_p来解这些方程式的同时，通过应用数值积分法来求出L_p(x_p)，从而能够推定纸面曲面。

此外，也可以从测地线以及网格线的投影集合中，通过将纸面曲面的测地线的长度以及角度的同一性的偏差的总和作为能量函数的反复法，来推定纸面曲面。

E.平行测地线的宽度h的推定方法

在此，提出了这样的方法：基于纸面曲面上的网格线与图像拍摄方向所成的角度的多数决定原理，来推定展开纸面的上端以及下端的平行测地线的宽度h。

在网格线的倾斜角度θ(x_p)、网格线投影的长度l(x_p)以及平行测地线的宽度h与角度β(x_p)之间，根据网格线的倾斜的性质有以下关系成立。

$\cos \mathrm{\θ}\left(x_p\right)=\frac{l\left(x_p\right)}{h}\sin \mathrm{\β}\left(x_p\right),$ $\cos \mathrm{\β}\left(x_p\right)=\frac{h}{l\left(x_p\right)\tan \mathrm{\α}\left(x_p\right)}$

当固定h时，求出网格线的倾斜角度θ(x_p)，从而能够对于集合{x_p}求出{θ(x_p)}。进而，能够求出集合{θ(x_p)}的偏差为最小的h，从而能够将其作为最佳h来采用。

F.基于像素对应关系的失真校正

如图15所示，当利用纸面曲面的投影与展开纸面的对应关系时，根据由纸面曲面的推定而求出的平行测地线的宽度h、角度β(x_p)以及长度 $L_t\left(x_p\right)=L_p\left(x_p\right)+t(h\cos \mathrm{\β}\left(x_p\right)-h\cos \mathrm{\β}\left(x_p^0\right)),$ 对输入图像与将其展开的校正图像建立像素对应关系成为可能，从而能够实现失真校正。

接下来，针对图像失真校正的第二实施方式的详细原理来进行说明。

A.纸面曲面的模型化

纸面曲面是满足以下性质的网格面，即，对于曲面上的任意点，存在通过该点的曲面上的直线(网格线)。使用能够从纸面中的字符串或划线中抽取的假想的平行线，作为失真校正的线索。平坦的纸面上的平行线在纸面曲面上成为平行的测地线。

因此，如图16所示，使用曲线坐标系(s，t)(0≤s≤1，0≤t≤1)，将纸面曲面表示为x(s，t)＝(1-t)x^U(s)+tx^D(s)。在此，x^U(s)、x^D(s)分别是纸面曲面的上端以及下端的测地线上的点，设定s以使通过此两点的直线成为网格线。曲线坐标系(s，t)一方面通过固定s来表示网格线，另一方面通过固定t来表示平行的测地线。

另外，由数码相机等非接触型图像拍摄装置得到的输入图像，从xyz坐标空间的纸面曲面，作为向将拍摄位置x^C＝(x^C，y^C，Z^C)作为中心的xy平面的透视投影而取得。在此，相对于添标α＝U、i、D，将与纸面曲面上的测地线xα对应的输入图像中的曲线称为“测地线投影”，表示为X^α＝(X^α，Y^α，0)。而且，当将对于纸面的拍摄高度的内比作为h^α时，x^α＝h^αX^α+(1-h^α)xC成立。

B.平行测地线投影的抽取

如图12所示，基于从输入图像抽取的字符串或划线，抽取测地线的投影集合。具体的说，在抽取了输入图像中的构成文字的成分或构成划线的线段之后，通过结合相互接近的文字成分或线段，能够分别抽取表示测地线的投影集合的点列X^U、Xⁱ、X^D。

C.网格线投影的抽取

在输入图像以及纸面曲面中，当将位于上端与下端之间的内部测地线投影的网格线投影的内比分别设为Tⁱ(s)以及tⁱ(s)时，(1/tⁱ(s))-1＝(h^D(s)/h^U(s))((1/T¹(s))-1)成立。根据平行测地线的几何性质，内部测地线的网格线的内比t¹(s)为恒量而与s无关，因此对于两条内部测地线投影的网格线的内比Tⁱ(s)、T^j(s)，((1/Tⁱ(s))-1)：((1/T^J(s))-1)为恒量。因此，为了使这些条件造成的偏差的总和最小，搜索网格线的投影集合，即，进行上端测地线投影上的点与下端测地线投影上的点的对应关系的搜索，从而得到参数表现X^U(s)、X^D(s)。

D.纸面曲面的推定

根据平行测地线的几何性质，与一条网格线相交的上端以及下端的测地线上的点x^U(s)以及x^D(s)的切矢量

以及 分别平行，从而下式成立。

$\left(\begin{array}{cc}{\stackrel{\·}{X}}^U& -{\stackrel{\·}{X}}^D\\ {\stackrel{\·}{Y}}^U& -{\stackrel{\·}{Y}}^D\end{array}\right)\left(\begin{array}{c}{h}^U/{\stackrel{\·}{h}}^U\\ h^D/{\stackrel{\·}{h}}^D\end{array}\right)=\left(\begin{array}{c}{X}^D-X^U\\ Y^D-Y^U\end{array}\right)$

因此，如果求取 ${\stackrel{\·}{h}}^{\mathrm{\α}}\left(s\right)/h^{\mathrm{\α}}\left(s\right)(\mathrm{\α}=U,D),$ 并将其作为f^α(s)，则通过下式确定纸面曲面。

h^α(s)＝A^αexp(∫f^α(s)ds)

E.基于像素对应关系的失真校正

由纸面曲面与输入图像的对应关系，能够实现失真校正。

工业上的可利用性

如上所述，本发明涉及的图像失真校正技术通过以纸面的内容为线索来推定纸面曲面，在能够处理多样的失真的种类的同时，即使在图像上只表示了纸面的一部分时，也能够进行失真的校正，从而是极为有用的技术。

Claims (8)

1.一种图像失真校正程序，其特征在于，使计算机实现以下功能：

图像输入功能，用于输入拍摄纸面而得到的图像；

测地线投影抽取功能，用于从通过该图像输入功能而被输入的图像中，以上述纸面的内容为线索，抽取在纸面曲面上互相平行的测地线的投影集合；

网格线投影抽取功能，用于从通过该测地线投影抽取功能而被抽取的测地线的投影集合中，抽取形成与上述纸面曲面相应的网格面的网格线的投影集合；

纸面曲面推定功能，用于根据通过上述测地线投影抽取功能以及网格线投影抽取功能而分别被抽取的测地线以及网格线的投影集合，来推定上述纸面曲面；

失真校正功能，用于基于通过该纸面曲面推定功能而被推定的纸面曲面，校正通过上述图像输入功能而被输入的图像的失真。

2.如权利要求1所述的图像失真校正程序，其特征在于，上述网格线投影抽取功能从通过上述测地线投影抽取功能而被抽取的测地线的投影集合中，搜索并抽取以测地线投影对网格线投影进行分割而得到的线段长度的比为恒量的网格线的投影集合。

3.如权利要求1所述的图像失真校正程序，其特征在于，上述网格线投影抽取功能从通过上述测地线投影抽取功能而被抽取的测地线的投影集合中，除去网格线投影与测地线投影的交点上的网格线投影的切线的倾角不为恒量的测地线投影，从而抽取网格线的投影集合。

4.如权利要求1所述的图像失真校正程序，其特征在于，上述网格线投影抽取功能利用通过上述测地线投影抽取功能而被抽取的测地线的投影集合，从位于上端与下端之间的测地线投影的内比为恒量的网格线的集合中，搜索自内比的偏差的总和为最小的网格线的投影，并作为网格线的投影集合而抽取。

5.如权利要求4所述的图像失真校正程序，其特征在于，上述纸面曲面推定功能利用相对于纸面曲面的拍摄高度、以及与同一条测地线相交的上端以及下端的测地线的切矢量平行这种几何性质，来推定纸面曲面。

6.一种图像失真校正装置，其特征在于，包含以下机构而构成：

图像输入机构，其输入拍摄纸面而得到的图像；

测地线投影抽取机构，其从由该图像输入机构输入的图像中，以上述纸面的内容为线索，抽取在纸面曲面上互相平行的测地线的投影集合；

网格线投影抽取机构，其从由该测地线投影抽取机构抽取的测地线的投影集合中，抽取形成与上述纸面曲面相应的网格面的网格线的投影集合；

纸面曲面推定机构，其根据由上述测地线投影抽取机构以及网格线投影抽取机构分别抽取的测地线以及网格线的投影集合，来推定上述纸面曲面；

失真校正机构，其基于由该纸面曲面推定机构推定的纸面曲面，校正由上述图像输入机构输入的图像的失真。

7.一种图像失真校正方法，其特征在于，使计算机执行以下步骤：

测地线投影抽取步骤，用于从由图像拍摄装置拍摄纸面而得到的图像中，以上述纸面的内容为线索，抽取在纸面曲面上互相平行的测地线的投影集合；

网格线投影抽取步骤，用于从通过该测地线投影抽取步骤而被抽取的测地线的投影集合中，抽取形成与上述纸面曲面相应的网格面的网格线的投影集合；

纸面曲面推定步骤，用于根据通过上述测地线投影抽取步骤以及网格线投影抽取步骤而分别被抽取的测地线以及网格线的投影集合，来推定上述纸面曲面；

失真校正步骤，用于基于通过该纸面曲面推定步骤而被推定的纸面曲面，校正通过上述图像输入步骤而被输入的图像的失真。

8.一种存储有图像失真校正程序的记录介质，其特征在于，该程序使计算机实现以下功能：

图像输入功能，用于输入拍摄纸面而得到的图像；

测地线投影抽取功能，用于从通过该图像输入功能而被输入的图像中，以上述纸面的内容为线索，抽取在纸面曲面上互相平行的测地线的投影集合；

网格线投影抽取功能，用于从通过该测地线投影抽取功能而被抽取的测地线的投影集合中，抽取形成与上述纸面曲面相应的网格面的网格线的投影集合；

纸面曲面推定功能，用于根据通过上述测地线投影抽取功能以及网格线投影抽取功能而分别被抽取的测地线以及网格线的投影集合，来推定上述纸面曲面；

失真校正功能，用于基于通过该纸面曲面推定功能而被推定的纸面曲面，校正通过上述图像输入功能而被输入的图像的失真。

Images