CN102801894B - 一种变形书页展平方法 - Google Patents

Abstract

本发明公开了一种变形书页展平方法，从左图像或右图像中获取匹配点集；通过匹配点集和数字图像相关方法在右视图或左视图中获取对应点集；对匹配点集中的任意一点A，对应点集中为A’，利用A和A’在左图像和右图像的二维坐标，通过双目视觉原理获取A的三维坐标；通过匹配点集中点的三维坐标和拟合方法确定书页曲面参数方程中的待定参数；通过展平方法获取书页曲面上任意一点展平后的平面坐标；根据空间曲面和展平平面上点的对应关系，获取空间曲面上的灰度分布到展平平面灰度分布之间的对应关系，逐点计算获取展平图像。本方法矫正了文字扭曲，使得矫正后的文字与书页平整放置时拍摄到的文字一样；并且提高了书籍的扫描速度。

Description

一种变形书页展平方法

技术领域

本发明涉及图文处理领域，尤其涉及一种变形书页展平方法。

背景技术

现在市场上常见的扫描仪，例如：佳能和爱普生等品牌的扫描仪，都是由上盖、原稿台、光学成像部分、光电转换部分和机械传动装置等几部分组成。扫描书籍时，都需要用上盖把书籍紧压在原稿台上，以保证有较高的扫描效果。但用这类扫描仪对书籍进行扫描非常费时。要完成一页扫描，通常需要做反转书、翻页、将书扣在原稿台上、压紧上盖和扫描等几个步骤。由于比较费时，这类扫描仪不适合大量书籍文稿的扫描。

目前在国内市场上出现了高拍仪，这类产品主要是利用高分辨率的数码相机对文稿拍照，然后将拍到的照片作为对文稿的扫描图像输出。高拍仪在一定程度上代替了扫描仪，并且在处理速度上远远比普通扫描仪快。但将高拍仪用于书籍扫描时存在一些不足。一本书自然地放在桌面上时，书页不是平整的，而是有一定的弯曲变形，这导致书页上的文字也变形了。书籍越厚，这种文字变形越严重。用高拍仪作为书籍的扫描工具时，这种文字的扭曲变形是不能消除的，影响了书籍的扫描质量。

专利[公开号：CN201504276U，公开日：2010年6月9日]和[公开号：CN201467254U，公开日：2010年5月12日]报道了一种扫描仪，这种扫描仪结合了普通扫描仪和高拍仪的长处，并克服了它们的缺点。它用数码相机来采集图像，同时用一个V型透明压板来保证书页是平整的。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

该扫描仪工作时需要频繁动作V型压板，在一定程度上影响了扫描速度，并且展平图像的识别率不高。

发明内容

本发明提供了一种变形书页展平方法，本发明实现了对变形书页的展平，提高了扫描速度和展平图像的识别率，详见下文描述：

一种变形书页展平方法，所述方法包括以下步骤：

(1)利用标准相机标定方法，标定左右相机的内外参数；

(2)将书自然展开，放置在扫描台上，利用左右相机分别拍摄书页的图像，将拍摄到的图像称为左图像和右图像；

(3)从所述左图像或所述右图像中获取匹配点集；

(4)通过所述匹配点集和数字图像相关方法在右视图或左视图中获取对应点集；

(5)对所述匹配点集中的任意一点A，对应点集中为A’，利用A和A’在所述左图像和所述右图像的二维坐标，通过双目视觉原理获取A的三维坐标；

(6)通过所述匹配点集中点的三维坐标和拟合方法确定书页曲面参数方程中的待定参数；

(7)通过展平方法获取对于书页曲面上任意一点(x,y,z)展平后的平面坐标(X,Y)；

(8)根据空间曲面和展平平面上点的对应关系，获取空间曲面上的灰度分布g(x,y,z)到展平平面灰度分布G(X，Y)之间的对应关系，逐点计算获取展平图像。

所述从所述左图像或所述右图像中获取匹配点集具体包括：

1）对于所述左图像或所述右图像中的任意一点（x,y），获取纹理量V（x,y）；

$V(x,y)=\frac{\underset{n=-\mathrm{sp}}{\overset{\mathrm{sp}}{\mathrm{\Σ}}}\underset{m=-\mathrm{sp}}{\overset{\mathrm{sp}}{\mathrm{\Σ}}}{[g(x+n,y+m)-g(x+n-1,y+m-1)]}^2}{{(2\×\mathrm{sp}+1)}^2}$

其中，g(x+n,y+m)表示图像中(x+n,y+m)点处的灰度值，g(x+n-1,y+m-1)表示图像中(x+n-1,y+m-1)点处的灰度值，sp表示子区的大小；

2)判断所述纹理量V（x,y）是否大于阈值，如果是，执行步骤3)；如果否，执行步骤4)；

3)将所述点（x,y）加入匹配点集中，获取所述匹配点集；

4)获取下一点，重复执行步骤1)-3)，直至所述左视图或所述右视图中的点搜索完毕，流程结束。

所述书页曲面参数方程具体为：

x(u)＝a+bu+cu²

z(u)＝d+eu+fu²

其中，x(u)和z(u)分别表示弧长为u时对应的水平坐标和高度坐标；a、b、c、d、e和f表示待定参数。

所述展平后的平面坐标(X,Y)具体为：

$X={\∫}_0^U\sqrt{{\left(\frac{\mathrm{dx}}{\mathrm{du}}\right)}^2+{\left(\frac{\mathrm{dz}}{\mathrm{du}}\right)}^2}\mathrm{du}$

Y=y

其中，U为(x,y,z)对应的弧长参数。

本发明提供的技术方案的有益效果是：与现有的高拍仪相比，本方法具有文字变形矫正功能，在扫描速度高的前提下，保证了扫描质量；通过图像处理的方法，矫正由于书页不平整而造成的文字扭曲，使得矫正后的文字与书页平整放置时拍摄到的文字一样；并且本方法提高了书籍的扫描速度，并且通过实验验证每页书的扫描时间少于0.5秒。

附图说明

图1为本发明提供的双目视觉原理的示意图；

图2为现有技术提供的平展前图像的示意图；

图3为本发明提供的平展后图像的示意图；

图4为本发明提供的一种变形书页展平方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了实现对变形书页的展平，提高扫描速度和展平图像的识别率，本发明实施例提供了一种变形书页展平方法，参见图1、图2、图3和图4，详见下文描述：

本发明实施例是基于数字图像相关技术(DIC)，利用该技术测量出书页处于自然状态时的形貌。DIC是一种基于双目视觉原理的形貌测量技术。参见图1，对于空间点A，用左右相机对其成像，分别为AL和AR。双目视觉的基本原理就是，如果已知了同一个点在左右图像中的像AL和AR，那么就可以算出A的空间位置。利用上面方法测量三维形貌需要解决的问题是，如何确定左右图像中点的对应关系。DIC是解决这一问题的有效方法，它以一个点周围小范围内的图像（成为子区）纹理作为特征匹配的方法，可以确定左右图像中点的对应关系。但要想匹配成功，子区内图像必须具有较丰富的灰度分布，否则匹配要么失败，要么精度非常低。在普通的DIC中需要人为地在被测物体表面制作纹理，然后以这些纹理作为特征实现左右图像的匹配。而在书籍扫描时，并不能在书籍表面制作纹理。本发明实施例提出了如何利用书页自然纹理作为匹配特征的方法。解决了左右图像的匹配问题。然后利用DIC的方法，就可以实现书页三维形貌的测量。

101：利用标准相机标定方法，标定左右相机的内外参数；

其中，标准相机标定方法可以采用现有技术中通用的方法，例如：zhang方法；相机的内参数通常包括：焦距、畸变参数或光心位置等；外参数通常包括：位置参数等，具体实现时，本发明实施例对此不做限制。

102：将书自然展开，放置在扫描台上，利用左右相机分别拍摄书页的图像，将拍摄到的图像称为左图像和右图像；

其中，左图像与右图像是对同一物体从不同角度拍摄到的图像。

103：从左图像或右图像中获取匹配点集；

对于左图像或右图像中的任意一点，如果周围的纹理比较丰富（例如：周围有文字或图案），那么可以通过DIC方法中的匹配搜索方法找到其在右图像或左视图中的对应点；但如果周围色彩变化平缓，无明显的纹理特征（例如：页边等地方），那么匹配搜索方法可能失败。为此，本发明实施例提出一种判断任意一点周围图像纹理是否丰富的方法。

其中，该步骤具体为：

1）对于左图像或右图像中的任意一点（x,y），获取纹理量V（x,y）；

$V(x,y)=\frac{\underset{n=-\mathrm{sp}}{\overset{\mathrm{sp}}{\mathrm{\Σ}}}\underset{m=-\mathrm{sp}}{\overset{\mathrm{sp}}{\mathrm{\Σ}}}{[g(x+n,y+m)-g(x+n-1,y+m-1)]}^2}{{(2\×\mathrm{sp}+1)}^2}$

其中，g(x+n,y+m)表示图像中(x+n,y+m)点处的灰度值，g(x+n-1,y+m-1)表示图像中(x+n-1,y+m-1)点处的灰度值，sp表示子区的大小通常取20。V（x,y）是一个可以表征（x,y）点周围纹理是否丰富的量，纹理越丰富V值越大。

2)判断纹理量V（x,y）是否大于阈值，如果是，执行步骤3)；如果否，执行步骤4)；

其中，本发明实施例中的阈值以2500为例进行说明，具体实现时，本发明实施例对此不做限制。

3)将该点加入匹配点集中，获取匹配点集；

4)获取下一点，重复执行步骤1)-3)，直至左视图或右视图中的点搜索完毕，流程结束。

104：通过匹配点集和DIC方法在右视图或左视图中获取对应点集；

105：对匹配点集中的任意一点A，对应点集中为A’，利用A和A’在左图像和右图像的二维坐标，通过双目视觉原理获取A的三维坐标；

106：通过匹配点集中点的三维坐标和拟合方法确定书页曲面参数方程中的待定参数；

以书脊方向作为y方向，以垂直于书脊的方向作为x方向。书本自然展开时，沿y方向（也就是书脊方向）页面高度保持不变，而在x方向页面有高度变化，或者更简单地说书页曲面是一个柱面。因此书页的三维形貌可以通过柱面的准线方程来描述，记准线的参数方程为{x(u)，0，z(u)}，其中参数u为准线的弧长。曲面展平后是一个平面，该平面的参数方程记为{X(u),Y,0}。

其中，该书页曲面参数方程具体为： $\begin{array}{c}x\left(u\right)=a+\mathrm{bu}+{\mathrm{cu}}^2\\ z\left(u\right)=d+\mathrm{eu}+{\mathrm{fu}}^2\end{array}$

x(u)和z(u)分别表示弧长为u时对应的水平坐标和高度坐标；a、b、c、d、e和f表示待定参数。

107：通过展平方法获取对于书页曲面上任意一点(x,y,z)展平后的平面坐标(X,Y)；

$X={\∫}_0^U\sqrt{{\left(\frac{\mathrm{dx}}{\mathrm{du}}\right)}^2+{\left(\frac{\mathrm{dz}}{\mathrm{du}}\right)}^2}\mathrm{du}$

Y＝y

其中，U为(x,y,z)对应的弧长参数。

108：根据空间曲面和展平平面上点的对应关系，获取空间曲面上的灰度分布g(x,y,z)到展平平面灰度分布G(X，Y)之间的对应关系，逐点计算获取展平图像。

其中，通过左视图的灰度值和右视图的灰度值可以获取到空间曲面上的灰度分布g(x，y，z)，该方法为本领域技术人员所公知，本发明实施例在此不做赘述。

下面以一个具体的试验来验证本发明实施例提供的一种变形书页展平方法的可行性，详见下文描述：

图2是书籍自然放置时书页处于弯曲状态时拍摄到的图像，由图中可以看出书脊两侧的文字变形非常严重。图3是采用本方法获得的展平图像，在展平图像中，原来变形的文字被矫正过来了，改善了扫描质量。

综上所述，本发明实施例提供了一种变形书页展平方法，与现有的高拍仪相比，本方法具有文字变形矫正功能，在扫描速度高的前提下，保证了扫描质量；通过图像处理的方法，矫正由于书页不平整而造成的文字扭曲，使得矫正后的文字与书页平整放置时拍摄到的文字一样；并且本方法提高了书籍的扫描速度，通过实验验证每页书的扫描时间少于0.5秒。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种变形书页展平方法，其特征在于，所述方法包括以下步骤：

(1)利用标准相机标定方法，标定左右相机的内外参数；

(2)将书自然展开，放置在扫描台上，利用左右相机分别拍摄书页的图像，将拍摄到的图像称为左图像和右图像；

(3)从所述左图像或所述右图像中获取匹配点集；

(4)通过所述匹配点集和数字图像相关方法在右视图或左视图中获取对应点集；

(5)对所述匹配点集中的任意一点A，对应点集中为A’，利用A和A’在所述左图像和所述右图像的二维坐标，通过双目视觉原理获取A的三维坐标；

(6)通过所述匹配点集中点的三维坐标和拟合方法确定书页曲面参数方程中的待定参数；

(7)通过展平方法获取对于书页曲面上任意一点(x,y,z)展平后的平面坐标(X,Y)；

(8)根据空间曲面和展平平面上点的对应关系，获取空间曲面上的灰度分布g(x,y,z)到展平平面灰度分布G(X，Y)之间的对应关系，逐点计算获取展平图像；

其中，所述从所述左图像或所述右图像中获取匹配点集具体包括：

1)对于所述左图像或所述右图像中的任意一点(x,y)，获取纹理量V(x,y)；

$V(x,y)=\frac{\underset{n=-\mathrm{sp}}{\overset{\mathrm{sp}}{\mathrm{\Σ}}}\underset{m=-\mathrm{sp}}{\overset{\mathrm{sp}}{\mathrm{\Σ}}}{[g(x+n,y+m)-g(x+n-1,y+m-1)]}^2}{{(2\×\mathrm{sp}+1)}^2}$

其中，g(x+n,y+m)表示图像中(x+n,y+m)点处的灰度值，g(x+n-1,y+m-1)表示图像中(x+n-1,y+m-1)点处的灰度值，sp表示子区的大小；

2)判断所述纹理量V(x,y)是否大于阈值，如果是，执行步骤3)；如果否，执行步骤4)；

3)将所述点(x,y)加入匹配点集中，获取所述匹配点集；

4)获取下一点，重复执行步骤1)-3)，直至所述左视图或所述右视图中的点搜索完毕，流程结束。

2.根据权利要求1所述的一种变形书页展平方法，其特征在于，所述书页曲面参数方程具体为：

x(u)＝a+bu+cu²

z(u)＝d+eu+fu²

其中，x(u)和z(u)分别表示弧长为u时对应的水平坐标和高度坐标；a、b、c、d、e和f表示待定参数。

3.根据权利要求1所述的一种变形书页展平方法，其特征在于，所述展平后的平面坐标(X,Y)具体为：

$X={\∫}_0^U\sqrt{{\left(\frac{\mathrm{dx}}{\mathrm{du}}\right)}^2+{\left(\frac{\mathrm{dz}}{\mathrm{du}}\right)}^2}\mathrm{du}$

Y＝y

其中，U为(x,y,z)对应的弧长参数。