CN105430230B - 页面图像校正装置 - Google Patents

Abstract

本发明提供一种页面图像校正装置，具有：取得部，取得页面图像，该页面图像是以拍摄书籍的厚度方向的方式将书籍中的多个页面的纸面按照每个页面进行拍摄而得到的页面图像；导出部，根据取得的页面图像中的与规定的第一页面对应的页面图像和与不同于第一页面的第二页面对应的页面图像，导出打开第一页面时和打开第二页面时的厚度的变化量；以及校正部，根据厚度的变化量校正与位于第一页面和第二页面之间的第三页面对应的纸面的图像。

Description

页面图像校正装置

技术领域

本发明涉及页面图像校正装置。

背景技术

一直以来，已知一种图像读取装置，在打开状态的书的上方配置拍摄机构，通过该拍摄机构逐页读取书的页面，并作为图像。图像读取装置中搭载能够指定原稿尺寸的功能，以便从拍摄部拍摄的图像切取所需的区域(例如，日本特开2006-114993号公报)。

图像读取装置在拍摄时，现状是书的纸面弯曲，则切取出的图像也成为弯曲的状态，存在难以辨识图像的问题。

发明内容

本发明的第1观点的页面图像校正装置具有：取得部，取得页面图像，该页面图像是以拍摄书籍的厚度方向的方式将所述书籍中的多个页面的纸面按照每个页面进行拍摄而得到的页面图像；导出部，根据所述取得的页面图像中的与规定的第一页面对应的页面图像和与不同于所述第一页面的第二页面对应的页面图像，导出打开所述第一页面时和打开所述第二页面时的厚度的变化量；以及校正部，根据所述厚度的变化量校正与位于所述第一页面和所述第二页面之间的第三页面对应的纸面的图像。

本发明的第2观点的页面图像校正装置具有：页面图像取得部，取得书的页面图像；

基准线取得部，取得位于所述页面图像的上侧的在页面宽度方向延伸的上侧基准线和位于下侧的在页面宽度方向延伸的下侧基准线；基准点取得部，基于所述上侧基准线和所述下侧基准线取得4个基准点；歪曲校正部，基于所述基准点校正所述页面图像的歪曲；分割部，分割所述歪曲校正后的所述页面图像，以使在与装订线方向正交的宽度方向上排列n个分割区域，所述分割区域是在所述歪曲校正后的所述上侧基准线与所述下侧基准线之间沿着所述装订线方向延伸的大致矩形形状的分割区域；第1校正部，按照每个所述分割区域校正所述装订线方向的长度；推测部，按照每个由所述第1校正部校正后的所述分割区域，推测实际的页面中的所述分割区域的法线方向的挠曲量；第2校正部，根据由所述推测部推测出的所述挠曲量，校正每个所述分割区域的所述宽度方向的长度；以及合成页面图像取得部，将由所述第1校正部以及所述第2校正部校正后的n个所述分割区域合成而取得合成页面图像。

附图说明

当结合以下的附图来考虑以下详细说明时，将能够更深刻地理解本申请。

图1是表示第1实施方式的书画摄像系统的概略结构的立体图。

图2是表示第1实施方式的书画摄像系统的主控制结构的块图。

图3是表示第1实施方式的图像处理的流程的流程图。

图4是表示第1实施方式的处理A的流程的流程图。

图5是说明第1实施方式的基准曲线的图。

图6是说明第1实施方式的其他基准曲线的图。

图7是说明第1实施方式的基准线的延长的方式的图。

图8是说明第1实施方式的其他基准线的延长的方式的图。

图9是表示第1实施方式的投影前的页面图像的图。

图10是表示第1实施方式的投影后的页面图像的图。

图11是表示第1实施方式的处理B的流程的流程图。

图12是说明第1实施方式的纵向校正的图。

图13是说明第1实施方式的纵向校正的变换式的图。

图14是表示第1实施方式的纵向校正的流程的流程图。

图15是说明第1实施方式的宽度方向校正的图。

图16是表示第1实施方式的宽度方向校正的流程的流程图。

图17A以及图17B是表示第1实施方式的分割区域的挠曲量d(z)的图。

图18是表示第1实施方式的ds(i)、dz(i)以及dx’(i)的关系的图。

图19是表示第1实施方式的宽度方向校正处理前的x’(i)和宽度方向校正处理后的x(i)的关系的图。

图20A以及图20B是表示根据页面的弯曲程度而变化的校正后的图像的例子的说明图。

图21是表示取得第1实施方式的基准曲线的流程的流程图。

图22是说明第1实施方式的提取出的基准曲线的轮廓的图。

图23是表示将第1实施方式的基准曲线的轮廓进行三角分割后的状态的图。

图24是在第1实施方式的三角分割的轮廓之外说明三角分割部分的图。

图25是说明去除第1实施方式的三角分割中的不需要的三角形而求出轮廓的中点的处理的图。

图26是表示第2实施方式的书画摄像系统的概略结构的立体图。

图27是表示第2实施方式的书画摄像系统的主控制结构的块图。

图28是说明第2实施方式的基准曲线的图。

图29是表示第3实施方式的书画摄像系统的概略结构的立体图。

图30是表示第3实施方式的书画摄像系统的主控制结构的块图。

具体实施方式

以下，基于附图对用于实施本发明的方式(以下，称为“实施方式”)进行详细说明。实施方式的说明中，对全体通用的相同要素标注相同符号。

(第1实施方式)

图1是表示作为本发明的第1实施方式的页面图像校正装置的书画摄像系统的概略结构的立体图。

如图1所示，书画摄像系统1具有：作为拍摄书B的页面P1的拍摄机构的书画摄像机2、载置书B的载置台3、与书画摄像机2通信自如地连接的电脑4、以及自动翻动书B的页面P1的自动页面翻动装置5。

另外，本发明的书B除了一般的书籍之外，也包含装订的书类等。

书画摄像机2具有支架部21和安装在支架部21的上端的摄像机22。

支架部21在前后方向、左右方向上倾倒自如，并且在上下方向上伸缩自如，以便能够调整书B与摄像机22的相对位置关系。

并且，在摄像机22与支架部21的接合部设置有位置调整机构，从而在摄像机22的透镜所朝向的方向也能够进行调节。

而且，摄像机22配置在通过一次拍摄就能够取得载置台3上打开的书B的右侧的页面PR的图像的位置上。

自动页面翻动装置5具有设置为在页面翻动方向上转动自如的臂5a、设置在臂5a的前端的页面翻动部5b和吹出空气的送风部5c。

臂5a通过未图示的电机能够进行用于翻动页面的转动动作。

页面翻动部5b安装为相对于臂5a能够转动，并且表面具有粘着性。

而且，当电机驱动臂5a以使页面翻动部5b接触右侧的页面PR时，页面翻动部5b由于粘着力而保持右侧的页面PR。

然后，当电机驱动臂5a朝向左侧的页面PL侧以翻动右侧的页面PR时，页面翻动部5b上粘着的右侧的页面PR向页面翻动部5b以及左侧的页面PL侧移动。

从送风部5c吹出空气以使页面翻动部5b上粘着的右侧的页面PR从页面翻动部5b脱离，由此该风力将页面翻动部5b上粘着的右侧的页面PR压附在左侧的页面PL侧上。

这时，页面翻动部5b安装为能够相对于臂5a旋转。因此，页面翻动部5b旋转以使右侧的页面PR滑动，右侧的页面PR从页面翻动部5b脱离以便重叠在左侧的页面PL上，由此能够进行页面翻动。

接着，对第1实施方式的书画摄像系统1的主控制结构进行说明。

图2是表示书画摄像系统1的主控制结构的块图。

电脑4具有存储部(HDD)41、运算部42和通信部43。

存储部(HDD)41中存储有拍摄到的页面图像以及校正后的校正图像等。

运算部42中具有：ROM(未图示)，存储用于控制自动页面翻动装置5和摄像机22来自动拍摄页面图像的程序(以下，也称为自动拍摄用的程序)和用于校正拍摄到的页面图像的程序(以下，也称为图像处理程序)等各种程序；在执行ROM中的程序时展开该程序的RAM(未图示)；以及将ROM中的程序展开到RAM中并执行的CPU(未图示)。

通信部43取得与自动页面翻动装置5之间的同步并进行通信。

另外，图2中，虽然未图示，但电脑4具有键盘、触摸屏、鼠标等操作机构或液晶监视器等显示机构。

另一方面，自动页面翻动装置5具有通信部51、电机控制部52、和电机53。

通信部51进行取得了与电脑4的通信部43之间的同步的通信。

电机控制部52根据来自电脑4的运算部42的页面翻动指令控制电机53。

电机53根据电机控制部52的指令使臂5a转动，以实现翻动书B的页面P1的动作。

以下，对书画摄像系统1的图像读取方法进行说明。

首先，用户在打开书B的最初的页面P1的状态下将书B放置在载置台3上。

结束了书B的放置之后，操作电脑4的操作机构而使电脑4执行自动拍摄用的程序。

自动拍摄用的程序被执行时，电脑4的运算部42向摄像机22输出拍摄指令，进行最初的右侧的页面PR的拍摄，将拍摄到的页面图像存储到存储部(HDD)41中。

当最初的拍摄结束后，运算部42经由通信部43向自动页面翻动装置5发出翻动页面的指令。

自动页面翻动装置5当接收到翻动页面的指示时，通过电机控制部52使电机53驱动，并如上所述执行页面翻动动作。

当完成了页面翻动动作时，自动页面翻动装置5将完成了页面翻动动作的动作完成信号经由通信部51发送给电脑4。

电脑4接收到动作完了信号时，再次向摄像机22发出拍摄指令，执行第2页面的右侧的页面PR的拍摄。

到所有的右侧的页面PR的拍摄结束之前反复进行该操作。

而且，在右侧的页面PR的拍摄结束之后，用户以将书B的上下颠倒的方式将书B放置在载置台3上。

即，以书B的左侧的页面PL位于刚才存在右侧的页面PR的一侧的方式将书B放置在载置台3上，打开最初的页面。

另外，由于左侧的页面PR被颠倒方向地放置，所以如果从页面号码来看，是以打开最后的页面的方式进行放置。

而且，在结束了书B向载置台3的放置之后，与刚才同样地操作电脑4的操作机构来执行自动拍摄用的程序，进行左侧的页面PL的拍摄。

这样，当结束了左右所有的页面的拍摄后，接着，用户操作电脑4的操作机构来执行图像处理程序。

拍摄到的页面图像或向页面的打开方向弯曲，由于页面的各位置与摄像机22之间的距离不同，所以存在文字的大小或图像的大小等看起来被放大的部位和看起来被缩小的部位等。图像处理是以将这样难看歪曲的页面图像通过图像校正而成为没有歪曲的页面图像为目的的处理。

图像处理程序的图像处理分为左侧的页面PL的页面图像群以及右侧的页面PR的页面图像群来进行处理。对左侧的页面图像群和右侧的页面图像群实施的处理内容相同，因此下面以左侧的页面图像群为代表说明图像处理的内容。

图3是表示图像处理的流程的流程图。

电脑4的运算部42(以下，记载为运算部42)从刚才拍摄到的左侧的页面图像群中，选择最初的页面图像PLS和最后的页面图像PLE(步骤1)，对所选择的页面图像PLS和页面图像PLE执行处理A(步骤2)，取得作为图像校正用的基准的基础数据。

(图3：步骤2(图4的处理A))

以下，一边参照图4所示的处理A的流程图，一边进行处理A的说明。

(图4：步骤A1)

首先，运算部42从页面图像PLS和页面图像PLE分别取得上侧基准线和下侧基准线(步骤A1)。

上侧基准线和下侧基准线是在将实际的书B的页面展平时，成为笔直的直线的沿页面宽度方向延伸的线。

即，是在结束了该图像处理时应该成为笔直的直线的线。

这样的成为笔直的直线的线是在页面图像PLS和页面图像PLE的状态下，由于页面图像自身成为歪曲的图像状态而成为曲线，进行取得该曲线(也记载为基准曲线)的处理。

上侧基准线是指位于页面图像的上侧的基准曲线，下侧基准线是指位于页面图像的下侧的基准曲线。

另外，在取得页面图像PLS以及页面图像PLE的上侧基准线时，取得在实际的书B的页面上位于相同上下方向的相同位置的线。

并且，页面图像PLS以及页面图像PLE的下侧基准线也与上侧基准线同样，在实际的书B的页面上取得位于相同上下方向的位置的线。

具体来说，关于怎样取得上侧基准线以及下侧基准线，下面参照图5以及图6进行说明。

图5中表示了设为位于书B的上侧的上侧基准线的曲线和设为位于下侧的下侧基准线的曲线。

该线是在将书B的页面展平时成为笔直的直线的线，在这样的线从最初开始就设置在书B上的情况下，也可以将该线设为上侧基准线以及下侧基准线。

并且，如图5所示，在书B上不存在能够设为上侧基准线和下侧基准线的线的情况下，如图6所示，也可以将书B的位于最上方的行设为上侧基准线，将位于最下方的行设为下侧基准线。

另外，也可以自动地取得上侧基准线和下侧基准线，在是难以判断以哪里为基准线的页面图像的情况下，也可以使用电脑4的操作机构(鼠标等)来由用户进行指定。

这里，为了后面的处理，取得以点坐标表现的点相连接后的直线作为上侧基准线以及下侧基准线。

例如，在想要作为上侧基准线以及下侧基准线的基准曲线的宽度较厚而不能作为点坐标来取得的情况下，实施用于作为点坐标来取得的处理。

另外，对于基准曲线的具体的取得方法，后面在结束了该图像处理的说明之后进行说明。

并且，如图6所示，在将书B的行作为基准曲线的情况下，该基准曲线不到达书B的宽度方向两端。该情况下，使作为点坐标而得到的上侧基准线以及下侧基准线沿宽度方向延长，将进行了该延长处理的曲线设为上侧基准线以及下侧基准线。

例如，如图7所示，使用从最端部开始连续的3点求出抛物线的式子，沿着所得到抛物线按照每个单位矢量的长度，逐渐追加线(点阵)，将端部延长所需要的量。

并且，作为其他方法，如图8所示，使用最端部的点和相邻的邻点，在单位矢量的方向上按照所需要的量逐渐追加线(点阵)，并将端部延长所需要的量。

另外，在图7以及图8中，仅表示了左侧的端部，但对右侧的端部也同样地延长所需要的量。

如上所述，运算部42取得页面图像PLS的上侧基准线SBUL以及下侧基准线SBDL、和页面图像PLE的上侧基准线EBUL以及下侧基准线EBDL。

这时，运算部42构成了基准线取得机构。

返回图4继续进行说明。

(图4：步骤A2)

接着，运算部42根据上侧基准线以及下侧基准线取得页面图像PLS以及页面图像PLE中的4个基准点(步骤A2)。

具体来说，以页面图像PLS的上侧基准线SBUL的两端的点为2个基准点，以页面图像PLS的下侧基准线SBDL的两端的点为2个基准点，取得合计4个基准点。

并且，在页面图像PLE中也同样，以页面图像PLE的上侧基准线EBUL的两端的点为2个基准点，以页面图像PLE的下侧基准线EBDL的两端的点为2个基准点，取得合计4个基准点。

这时，运算部42构成了基准点取得机构。

(图4：步骤A3)

接着，运算部42基于4个基准点，进行页面图像PLS以及页面图像PLE的歪曲校正(步骤A3)。

在该处理中以页面图像PLS为代表进行说明，在步骤A2中求出的页面图像PLS的4个基准点是位于页面图像PLS的上侧基准线SBUL以及下侧基准线SBDL的端部的4点。

页面图像PLS的上侧基准线SBUL以及下侧基准线SBDL在页面图像PLS中是曲线，但原本在实际将书B的页面展平时，是成为整齐的笔直的直线的位于上下的2条线。

因此，位于页面图像PLS的上侧基准线SBUL以及下侧基准线SBDL的端部的4点在实际将书B的页面展平的状态下，是整齐的四边形(例如，正方形或长方形等的矩形形状)的角部的4点。

但是，由于页面图像PLS具有拍摄时的歪曲，因此，即使用笔直的直线将步骤A2中求出的4个基准点连结，也只得到梯形或楔形等的几何学形状，不能成为整齐的四边形(矩形形状)的状态。

因此，求出将该4个基准点向歪曲校正后应该呈现的4个目标点(本应该存在的4点)投影的投影矩阵，基于该投影矩阵实施页面图像PLS的全体的歪曲校正。

即，运算部42根据页面图像PLS的4个基准点和歪曲校正后应该呈现且相当于整齐的四边形(矩形形状)的四角的点的规定的4个目标点，计算将4个基准点投影到4个目标点的投影矩阵SA，利用该投影矩阵SA进行页面图像PLS全体的歪曲校正。

同样，运算部42根据页面图像PLE的4个基准点和歪曲校正后应该呈现且相当于四边形(矩形形状)的四角的点的规定的4个目标点，计算将4个基准点投影到4个目标点的投影矩阵EA，利用该投影矩阵EA进行页面图像PLS全体的歪曲校正。

通过该歪曲校正，页面图像PLS的上侧基准线SBUL以及下侧基准线SBDL的点坐标也被投影，因此，关于由该投影之后的点坐标规定的歪曲校正后的上侧基准线SBUL’以及歪曲校正后的下侧基准线SBDL’，下面的描述中记载为校正后上侧基准线SBUL’以及校正后下侧基准线SBDL’。

针对页面图像PLE也同样将歪曲校正后的上侧基准线EBUL’以及歪曲校正后的下侧基准线EBDL’记载为校正后上侧基准线EBUL’以及校正后下侧基准线EBDL’。

并且，将歪曲校正后的页面图像PLS’以及歪曲校正后的页面图像PLE’也记载为校正后页面图像PLS’以及校正后页面图像PLE’。

这时，运算部42构成歪曲校正机构。

另外，在步骤A3中运算部42求出的页面图像PLS的校正后页面图像PLS’、投影矩阵SA、校正后上侧基准线SBUL’以及校正后下侧基准线SBDL’存储在电脑4的存储部(HDD)41或运算部42的RAM中。

并且，同样地，在步骤A3中运算部42求出的页面图像PLE的校正后页面图像PLE’、投影矩阵EA、校正后上侧基准线EBUL’以及校正后下侧基准线EBDL’也存储在电脑4的存储部(HDD)41或运算部42的RAM中。

而且，步骤A3结束后再次返回到图3的流程。

这里，在继续说明图3的流程之前，参照图9和图10对通过上述步骤A1～A3，即处理A对如何使页面图像PLS以及页面图像PLE成为何种状态进行简单的说明。另外，以下的说明也以页面图像PLS为代表进行说明。

图9是表示进行歪曲校正之前的页面图像PLS的图。

另外，在图9中仅示意地表示了页面图像PLS的上侧基准线SBUL和下侧基准线SBDL之间的部分。

如图9所示，将页面图像PLS的上侧基准线SBUL的两端的点r2，r3和下侧基准线SBDL的两端的点r1，r4用笔直的直线连结时的形状形成为梯形形状。

另一方面，图10中示出了利用投影矩阵SA将页面图像PLS歪曲校正后的校正后页面图像PLS’。

另外，在图10中，为了容易读图，朝向正面图示了将4个目标点r1’，r2’，r3’以及r4’用笔直的直线连结出来的四边形。

投影矩阵SA是将4个基准点投影到4个目标点的矩阵，4个基准点分别是页面图像PLS的上侧基准线SBUL和下侧基准线SBDL的两端的点，因此，利用该投影矩阵SA投影后的校正后页面图像PLS’的校正后上侧基准线SBUL’以及校正后下侧基准线SBDL’的两端的点如图10所示，与4个目标点r1’，r2’，r3’以及r4’一致。

并且，得到的4个目标点是作为本应该存在的整齐的四边形的四角的点，如图10所示，将4个目标点r1’，r2’，r3’以及r4’用笔直的直线连结的形状从图9的梯形形状变换为整齐的四边形(矩形形状)。

但是，如图10所示，校正后页面图像PLS’全体并没有成为整齐的四边形的状态，没有完全去除歪曲。

因此，需要根据校正后页面图像PLS’以及校正后页面图像PLE’的状态进一步进行用于校正残余歪曲的处理，因此返回到图3的流程，对校正该残余歪曲的处理进行说明。

如上所述，仅对最初的页面图像PLS最后的页面图像PLE进行处理。

当然，为了去除全部的页面的歪曲，对位于其间的左侧的页面图像也需要实施同样的处理。

然而，如果将上述步骤全部针对左侧的页面予以实施，则运算次数变多而处理变慢。

因此，进行利用至此取得的数据求出位于其间的左侧的页面的校正所需的数据(投影矩阵、校正后上侧基准线以及校正后下侧基准线)的处理。

如图1所示，页面被自动翻动，每当页面被翻动就由摄像机22拍摄，从而取得左侧的页面。

这时，由于不移动书B等，因此各页面的连续变化是通过页面被翻动，而以产生伴随着左侧的页面的页面数顺序减少而线性变化为主的。

因此，认为是最初的左侧的页面图像PLS的投影矩阵SA以一定的摄动量ΔA发生了线形变化，结果达到最后的左侧的页面图像PLE的投影矩阵EA的状态。

另外，认为对校正后上侧基准线以及校正后下侧基准线也同样，最初的左侧的页面图像PLS的校正后页面图像PLS’的校正后上侧基准线SBUL’以及校正后下侧基准线SBDL’以一定的摄动量发生了变化，结果是达到最后的左侧的页面图像PLE的校正后上侧基准线EBUL’以及校正后下侧基准线EBDL’的状态。

实际上，根据几次实施实验后的结果也获得了上述结论。

因此，针对位于页面图像PLS以及页面图像PLE之间的页面图像，立足于该线性进行所需数据(投影矩阵、校正后上侧基准线以及校正后下侧基准线)的计算。

(图3：步骤3)

因此，在图3的流程的步骤3中，首先，根据页面图像PLS的校正后上侧基准线SBUL’以及校正后下侧基准线SBDL’、和页面图像PLE的校正后上侧基准线EBUL’以及校正后下侧基准线EBDL’，求出校正后上侧基准线的平均1页面的摄动量ΔBUL’以及校正后下侧基准线的平均1页面的摄动量ΔBDL’。

具体来说，运算部42取得页面数大的页面图像PLE的校正后上侧基准线EBUL’与页面数小的页面图像PLS的校正后上侧基准线SBUL’的坐标的差，求出总的变化量TUL’(参照式(2))。

TUL’＝EBUL’的坐标-SBUL’的坐标…(2)

而且，运算部42将求出的总的变化量TUL’用位于页面图像PLS和页面图像PLE之间的左侧的页面的数量X加1后的数量(X+1)去除，由此求出校正后上侧基准线的平均1页面的摄动量ΔBUL’(参照式(3))。

ΔBUL’＝TUL’/(X+1)…(3)

同样，运算部42取得页面数大的页面图像PLE的校正后下侧基准线EBDL’与页面数小的页面图像PLS的校正后下侧基准线SBDL’的坐标的差，求出总的变化量TDL’(参照式(4))。

TDL’＝EBDL’的坐标-SBDL’的坐标…(4)

而且，运算部42通过将求出的总的变化量TDL’用位于页面图像PLS和页面图像PLE之间的左侧的页面的数量X加1后的数量(X+1)去除而求出校正后下侧基准线的平均1页面的摄动量ΔBDL’(参照式(5))。

ΔBDL’＝TDL’/(X+1)…(5)

另外，步骤3中运算部42求出的校正后上侧基准线的总的变化量TUL’、校正后上侧基准线的平均1页面的摄动量ΔBUL’、校正后下侧基准线的总的变化量TDL’以及校正后下侧基准线的平均1页面的摄动量ΔBDL’被存储在电脑4的存储部(HDD)41或者运算部42的RAM中。

(图3：步骤4)

接着，根据页面图像PLS的投影矩阵SA和页面图像PLE的投影矩阵EA，求出投影矩阵的平均1页面的摄动量ΔA(步骤4)。

具体来说，运算部42取得页面数大的页面图像PLE的投影矩阵EA与页面数小的页面图像PLS的投影矩阵SA的差，求出总的变化量TA(参照式(6))。

TA＝EA-SA…(6)

而且，运算部42通过将求出的总的变化量TA乘以位于页面图像PLS和页面图像PLE之间的左侧的页面的数量X加1后的数量(X+1)分之1倍，求出投影矩阵的平均1页面的摄动量ΔA(参照式(7))。

ΔA＝TA×[1/(X+1)]…(7)

另外，在步骤4中运算部42求出的投影矩阵的总的变化量TA以及投影矩阵的平均1页面的摄动量ΔA被存储在电脑4的存储部(HDD)41或者运算部42的RAM中。

(图3：步骤5)

接着，求出位于页面图像PLS以及页面图像PLE之间的页面图像PLM的校正后上侧基准线MBUL’以及校正后下侧基准线MBDL’(步骤5)。

另外，计算校正后上侧基准线MBUL’与计算校正后下侧基准线MBDL’仅是所使用的数据不同，处理本身是相同的，因此以求出校正后上侧基准线MBUL’的处理为代表进行说明。

以页面数小的页面图像PLS为基准页面，将想要求出其校正后上侧基准线MBUL’的位于页面图像PLS和页面图像PLE之间的页面图像PLM的从基准页面开始的页面数设为Y。

该校正后上侧基准线MBUL’与根据上述线性使页面图像PLS的校正后上侧基准线SBUL’按照Y页面的量(Y次)、校正后上侧基准线的平均1页面的摄动量ΔBUL’进行摄动后的线相等。

据此，运算部42根据以下的式(8)，求出位于页面图像PLS和页面图像PLE之间的页面图像PLM的校正后上侧基准线MBUL’。

MBUL’＝SBUL’+ΔBUL’×Y…(8)

同样，运算部42根据以下的式(9)，求出位于页面图像PLS和页面图像PLE之间的页面图像PLM的校正后下侧基准线MBDL’。

MBDL’＝SBDL’+ΔBDL’×Y…(9)

另外，步骤5中运算部42求出的位于页面图像PLS和页面图像PLE之间的页面图像PLM的校正后上侧基准线MBUL’以及位于页面图像PLS和页面图像PLE之间的页面图像PLM的校正后下侧基准线MBDL’被存储在电脑4的存储部(HDD)41或运算部42的RAM中。

(图3：步骤6)

接着，求出位于页面图像PLS和页面图像PLE之间的页面图像PLM的投影矩阵MA(步骤6)。

以页面数小的页面图像PLS为基准页面，将想要求出其投影矩阵MA的位于页面图像PLS和页面图像PLE之间的页面图像PLM的从基准页面开始的页面数设为Y。

该投影矩阵MA与根据上述线性使页面图像PLS的投影矩阵SA按照Y页面的量(Y次)、投影矩阵的平均1页面的摄动量ΔA摄动后的线相等。

由此，运算部42根据以下的式(10)求出位于页面图像PLS和页面图像PLE之间的页面图像PLM的投影矩阵MA。

MA＝SA+ΔA×Y…(10)

另外，步骤6中运算部42求出的位于页面图像PLS和页面图像PLE之间的页面图像PLM的投影矩阵MA存储在电脑4的存储部(HDD)41或运算部42的RAM中。

(图3：步骤7)

步骤6中求出了位于页面图像PLS和页面图像PLE之间的页面图像PLM的投影矩阵MA，因此，运算部42针对位于页面图像PLS和页面图像PLE之间的页面图像PLM，用求出的投影矩阵MA投影页面图像PLM全体，求出位于页面图像PLS和页面图像PLE之间的页面图像PLM的校正后页面图像PLM’。

另外，步骤7中运算部42求出的页面图像PLM的校正后页面图像PLM’被存储在电脑4的存储部(HDD)41或运算部42的RAM中。

(图3：步骤8)

接着，判断是否需要校正后上侧基准线与校正后下侧基准线的位移(步骤8)。

例如，如图6所示，在将页面图像的最上方的行设为上侧基准线，将最下方的行设为下侧基准线的情况下，存在应该进行校正的图像部分的一部分未收敛在上侧基准线与下侧基准线之间的情况。

因此，判定为了应校正的图像部分收敛在上侧基准线与下侧基准线之间，是否需要将校正后上侧基准线和校正后下侧基准线向余白侧平行移动(位移)。

这种情况下，书B在各页面中，一般来说，最上方的行和最下方的行位于纸面上的相同位置，上侧的余白以及下侧的余白在各页面中也都取为相同，因此，例如，以页面图像PLS为代表页面来判断是否需要上述位移即可。

而且，如果不需要位移，则步骤8为(否)并进入到步骤10，如果需要位移，则步骤8为(是)并进入到步骤9。

(图3：步骤9)

在步骤8中判断为需要位移的情况下(步骤8：是)，使校正后上侧基准线在不超出余白的范围内向上侧平行移动(位移)，并且，使校正后下侧基准线在不超过余白的范围内向下侧平行移动(位移)。

如上所述，在书B中，在各页面上，一般来说，最上方的行和最下方的行位于纸面上的相同位置，上侧的余白以及下侧的余白也取为相同，因此，例如，以页面图像PLS为代表页面来决定位移何种程度，使剩余的页面也相同地位移即可。

由于即使进行了这样的位移也仅仅是实施了平行移动，因此，将校正后上侧基准线的两端的2点以及校正后下侧基准线的两端的2点的合计4点用笔直的直线连结时的形状保持整齐的四边形(矩形形状)。

(图3：步骤10(图11的处理B))

通过步骤9之前的处理，针对所有左侧的页面PL，取得了校正后页面图像PL’，即，页面图像PLS的校正后页面图像PLS’、页面图像PLE的校正后页面图像PLE’以及位于页面图像PLS和页面图像PLE之间的页面图像PLM的校正后页面图像PLM’。

并且，通过步骤9之前的处理，针对所有左侧的页面PL，取得了校正后上侧基准线BUL’以及校正后下侧基准线BDL’，即，页面图像PLS的校正后上侧基准线SBUL’以及校正后下侧基准线SBDL’、页面图像PLE的校正后上侧基准线EBUL’以及校正后下侧基准线EBDL’、以及位于页面图像PLS和页面图像PLE之间的页面图像PLM的校正后上侧基准线MBUL’以及校正后下侧基准线MBDL’，因此，实施去除校正后页面图像PLS’、PLE’以及PLM’的残余歪曲的处理。

即，在结束了图4的流程(处理A)的说明之后，如参照图10进行的说明那样，校正后页面图像PLS’、PLE’以及PLM’并不是完全没有了歪曲，当还需要进行校正残余歪曲的处理时，实施所述的用于校正残余歪曲的处理B(步骤10)。

以下，参照图11所示的处理B的流程图进行处理B的说明。

首先，运算部42首先选择处理的校正后页面图像(步骤B1)。

这里，例如，选择页面数最小的校正后页面图像PLS’。

图12示出了示意地表示该选择出的校正后页面图像PLS’的状态的图。

校正后页面图像PLS’是利用投影矩阵SA投影后的页面图像，因此，将校正后上侧基准线SBUL’的两端的2点(r2’以及r3’)与校正后下侧基准线SBDL’的两端的2点(r1’以及r4’)的合计4点用笔直的直线连结的轮廓R2(以下，也称为矩形轮廓R2)虽然为了成为整齐的四边形(矩形形状)的状态而完成了歪曲校正，但观察校正后上侧基准线SBUL’以及校正后下侧基准线SBDL’的状态可知，校正后页面图像PLS’自身残留了在装订线方向(Y方向)上的弯曲。

这里，上述弯曲伴随着实际的拍摄时的页面的弯曲，但校正后页面图像PLS’的最弯曲的部分(参照U)是以比校正后页面图像PLS’的左右的端部更靠近摄像机22的状态被拍摄的，因此，拍摄得比左右的端部更大。

即，从校正后页面图像PLS’的宽度方向的大致中央附近的校正后上侧基准线SBUL’到校正后下侧基准线SBDL’，沿着装订线方向延伸的区域U相比于矩形轮廓R2在装订线方向上更大(更长)。

这样，校正后页面图像PLS’的装订线方向的长度在校正后页面图像PLS’的宽度方向上不均，为了使其均匀化，并收敛在矩形轮廓R2内，而执行纵向校正处理。

首先，在说明图11的步骤B2的校正后页面图像的纵向校正的流程之前，参照图13所示的示意图，对纵向校正处理中使用的变换式进行说明。

另外，以下，将图12的校正后页面图像PLS’的校正后上侧基准线SBUL’以及校正后下侧基准线SBDL’、和校正后上侧基准线SBUL’以及校正后下侧基准线SBDL’的两端用笔直的直线连结而成的轮廓被称为校正后页面图像PLS’的轮廓R1。

图13中的F是为了方便说明而设置的焦点。A’与校正后页面图像PLS’的轮廓R1上的任意的区域U的上点对应，B’与区域U中的任意的区域U的下点对应，P’与A’-B’线上的任意的点对应，A在矩形轮廓R2内与对应于区域U的部分的上点对应，B在矩形轮廓R2内与对应于区域U的部分的下点对应，P是与A-B线上的点P’对应的点。

根据图13而得知如下的关系。

ΔA’FB’∝ΔAFB

∴FP：FP’＝h：H

ΔAFP∝ΔA’FP’

∴AP：A’P’＝h：H

∴AP＝h/H·A’P’

这里，A点的Y坐标值设为ya，P点的Y坐标值设为yp，A’点的Y坐标值设为ya’，P’点的Y坐标值设为yp’时，

A’P’＝ya’-yp’

AP＝ya-yp。

∴yp＝h/H·(yp’-ya’)+ya…(11)

根据该式(11)，能够求出任意的点P’的变换后的P的Y坐标值。

实际上，进行如下校正，即，对矩形轮廓R2内的网格内的各点的灰度套用对应的轮廓R1的点的灰度的校正。

(图11：步骤B2(图14的纵向校正处理))

接着，参照图14所示的流程图对上述说明的校正后页面图像的纵向校正(纵向校正处理)的流程进行说明。

首先，运算部42取得矩形轮廓R2的装订线方向的长度h(步骤S61)。

具体来说，将校正后页面图像PLS’的轮廓R1的右侧或左侧的上下的角部的间隔，即，图12的r1’与r2’之间的间隔或图12的r4’与r3’之间的间隔设为长度h。

接着，运算部42将校正后页面图像PLS’的轮廓R1沿宽度方向分割为n份，设定各分割区域U1的横坐标x(i)(步骤S62)。即，运算部42是本发明的分割机构。

接着，运算部42将i设定为1(步骤S63)。

而且，运算部42基于校正后页面图像PLS’的轮廓R1而取得x(i)处的纵向的长度H(步骤S64)。

而且，运算部42使用式(11)计算与分割区域U1之间的边界线的P’点对应的Y坐标值(yp’)，并变换该P’点的图像(步骤S65)。

接着，运算部42判断在x(i)处的装订线方向全部的点是否结束了变换处理(步骤S66)，在没结束的情况下(步骤S66：否)，转移到步骤S65，在结束了的情况下(步骤S66：是)，转移到步骤S67。

接着，在步骤S67中，运算部42判断i是否是n-1(步骤S67)，在是n-1的情况下(步骤S67：是)，结束纵向校正处理而返回到图11的流程，在不是n-1的情况下(步骤S67：否)，转移到步骤S68。

在转移到步骤S68的情况下，作为i＝i+1而运算部42转移到步骤S64。由此，针对n-1个分割区域U1间的边界线的全体执行纵向校正。

这样，运算部42构成了按照每个分割区域U1来校正装订线方向的长度的本发明的第1校正机构。

返回图11继续进行说明。步骤B3中，运算部42针对纵向校正后的校正后页面图像PLS’执行宽度方向校正处理。即，运算部42构成本发明的第2校正机构。

图15是示意地表示了结束纵向校正后的校正后页面图像PLS’与其轮廓R1、矩形轮廓R2的图。

另外，以下，只要没有特别限制，将结束了纵向校正后的校正后页面图像PLS’简单记载为校正后页面图像PLS’。

在校正后页面图像PLS’以及其轮廓R1中，由于如图15所示残留了装订线方向的弯曲，因此，需要如图15所示，进行将弯曲W1返回到直线L1的处理。这时，由于根据宽度方向的部位而校正量发生变动，因此在步骤B3执行宽度方向校正。

(图11：步骤B3(图16的宽度方向校正处理))

图16是表示宽度方向校正处理的流程的流程图。

运算部42取得矩形轮廓R2的装订线方向的长度h(步骤S71)。

接着，运算部42将校正后页面图像PLS’的轮廓R1沿宽度方向分割为n份，设定各分割区域U1的横坐标x(i)(步骤S72)。

接着，运算部42将i设定为1(步骤S73)。

而且，运算部42推测x(i)处的挠曲量dz(i)(步骤S74)。即，运算部42是本发明的推测机构。

图17A以及图17B是表示分割区域U1的挠曲量d(z)的说明图，图17A是表示实际的页面P1的截面图，图17B是表示校正后页面图像PLS’的主视图。

如图17A所示，实际的页面P1的法线方向(Z方向)的挠曲量dz(i)严格来说，根据第i个分割区域U1和第i-1个分割区域U1之间的Z方向的差分而求出。然而，该计算中需要从摄像机22到纸面的距离、角度，这些参数的测量需要时间。这里，分割区域U1的宽度如果是微小的，则第i个分割区域U1的装订线方向的长度H(i)和第i-1个分割区域U1的长度H(i-1)之间的差分与挠曲量dz(i)近似相等。利用该关联性，推测分割区域U1的挠曲量dz(i)。

具体来说，根据式(1)推测挠曲量dz(i)。

dz(i)＝k·{H(i)-H(i-1)}…(1)

另外，这里k是任意的系数。通过使用该系数k，能够在宽度方向上调整宽度方向校正处理后的图像。这里暂定为利用k＝1来计算。

返回图16的流程，运算部42求出实际的宽度dx’(i)(步骤S75)。

dx(i)是校正后页面图像PLS’中的第i番个分割区域U1的宽度。

dx(i)＝x(i)-x(i-1)＝{x(n)-x(0)}/n

实际的宽度dx’(i)根据x(i)的高度z(i)而接受修正。z(i)高的情况下，当H变大时宽度同样变大。即，实际的宽度dx’(i)较小。该关系总结为以下的式子。

dx’(i)＝h/H(i)·dx(i)

接着，运算部42求出ds(i)(步骤S76)。

ds(i)是第i个分割区域U1中的实际的页面P1的微小长度。

图18是表示ds(i)、dz(i)以及dx’(i)的关系的说明图。

如图18所示，ds(i)通过基于由步骤S74求出的Z方向的长度dz(i)和步骤S75求出的X方向的长度dx’(i)的勾股定理来计算的。

ds(i)＝{dz(i)2+dx’(i)2}1/2

接着，运算部42判断i是否为n(步骤S77)，在是n的情况下(步骤S77：是)，转移到步骤S79，在不是n的情况下(步骤S77：否)，转移到步骤S78。

步骤S78中，作为i＝i+1而运算部42转移到步骤S74。由此，针对n个分割区域U1全体求出dz(i)、dx’(i)以及ds(i)。

另一方面，步骤S79中，运算部42求出实际的页面P1的宽度方向的长度S。具体来说，通过求出n个分割区域U1全部的ds(i)的综合，计算出实际的页面P1的宽度方向的长度S。

而且，运算部42将i再次设定为1(步骤S80)。

接着，运算部42从1到第i个求出分割区域U1的ds(i)，并计算其累计值S(i)(步骤S81)。

接着，运算部42使x(i)对应于x’(i)而变换图像(步骤S82)。

图19是表示宽度方向校正处理前的x’(i)和宽度方向校正处理后的x(i)的关系的说明图。如图19所示，页面P1的实际的S与S(i)的比，和从x(0)到x(n)的长度与从x(0)到x(i)的长度的比是同值，因此构成以下的式子的关系。

S：S(i)＝x(n)-x(0)：x(i)-x(0)

根据该关联性，通过将x’(i)变换为x(i)，来变换任意的点P的图像。另外，变换式是x(i)＝f(x’(i))，但该式子并不是严格的，逐渐发现与S(i)对应的x’(i)，就使其与x(i)对应。

而且，运算部42判断在x(i)处的装订线方向全体的点是否结束了变换处理(步骤S83)，在没有结束的情况下(步骤S83：否)，移动到步骤S82，在结束了的情况下(步骤S83：是)，移动到步骤S84。

接着，运算部42判断i是否是n(步骤S84)，在是n的情况下(步骤S84：是)，结束宽度方向校正处理并返回图11的流程，在不是n的情况下(步骤S84：否)，转移到步骤S85。

步骤S85中，作为i＝i+1而运算部42转移到步骤S81。由此，针对n个分割区域U1全体执行宽度方向校正。

(图11：步骤B4)

而且，当作为步骤S84(是)返回图11的流程时，接着，运算部42将实施了纵向校正处理以及宽度方向校正处理的n个分割区域U1合成，制作全体的图像(步骤B4)。即，运算部42是本发明的合成机构。

具体来说，通过对根据宽度方向校正处理而校正后的宽度方向的长度进行累计加算，将高度方向校正处理后的n个分割区域U1合成，并保存到存储部(HDD)41中。

(图11：步骤B5)

接着，运算部42判断是否对全部左侧的页面PL进行了处理(步骤B5)，在存在没有结束处理的页面的情况下(步骤B5：否)，选择页面数大1个的处理前的校正后页面图像PL’(步骤B6)，再次返回到步骤B2，通过与刚才同样的步骤，针对该新的处理前的校正后页面图像PL’进行纵向校正、横方向校正以及分割区域的合成。

另一方面，在对全部的左侧的页面PL进行了处理的情况下(步骤B5：是)，由于针对全部的左侧的页面图像PL获得了没有歪曲的图像，因此结束处理，下次与上述说明相同的步骤针对右侧的页面图像PR进行处理。

另外，上述说明的处理B的流程是对按照每个页面图像利用投影矩阵进行了投影的校正后页面图像进行残余歪曲的处理。

每当进行该处理时，使用校正后页面图像以及与该校正后页面图像对应的校正后上侧基准线以及校正后下侧基准线。

在本实施方式中，作为在进入到该处理B的流程之前的前处理，示出了求取校正后页面图像以及与其校正后页面图像对应的校正后上侧基准线以及校正后下侧基准线的情况，但作为前处理并不必须进行该求取。

在该处理B中每当选择各页面图像时，基于线性求出针对该页面图像的投影矩阵，并利用该求出的投影矩阵获得校正后页面图像，并且在根据线性求出与该校正后页面图像对应的校正后上侧基准线以及校正后下侧基准线之后，进行步骤B2～B5的处理即可。

并且，在本实施方式中，在求出宽度方向校正处理中的dz(i)时，针对式(1)使用系数k(暂定为k＝1)。

根据上述处理，虽然实现了各分割区域U1的宽度方向的均匀化，但在宽度全体的长度的准确性上产生问题。

例如，在图20A中，示出了针对弯曲度较小的页面P1实施了校正的情况，在图20B中，示出了使与图20A情况相同的页面P1更大地弯曲后实施了校正的情况。根据该图20A以及图20B也能够明确，校正后的图像Q1，Q2在宽度方向的长度是不同的。这是由于即使实际的页面P1的宽度相同，但由于其弯曲度而造成H(i)与H(i-1)之间的差分较大地不同。为了抑制该偏差，能够考虑系数k，并进行处理。

即，实际上由于知道页面P1的纵横比(例如规定的纸尺寸)，则图11的步骤B4中求出的图像的横宽度与根据页面P1的纵横比而求出的横宽度之比与系数k相当。

因此，通过将步骤B4中求出的图像与该比对应地在宽度方向上放大缩小，能够根据所期望的纵横比来求出无歪曲的图像。

具体来说，优选在宽度方向上进行放大缩小，以使包含了余白部分的校正后的图像成为规定的尺寸(例如规定的纸尺寸)。

如上所述，根据本实施方式，在将利用投影矩阵进行了歪曲校正后的校正后页面图像分割为在装订线方向上延长的大致矩形形状的分割区域U1之前，首先，由于校正后页面图像的全体的轮廓被校正，因此能够容易地分割为分割区域U1。

而且，在按照每个分割区域U1校正了装订线方向的长度之后，推测实际的页面P1中的分割区域U1的法线方向的挠曲量，基于该推测的挠曲量也校正宽度方向的长度，因此，能够有效率地进行装订线方向的校正和宽度方向的校正。

因此，即使是拍摄了弯曲的纸面的情况，也能够适当且有效率地进行校正，以便容易识别切取出的图像。

并且，由于分割区域U1的挠曲量是根据该分割区域U1的装订线方向的长度来推测的，因此，不实测挠曲量即可，仅通过上述推测能够有效率地求出挠曲量。

而且，通过将利用宽度方向校正处理校正的宽度方向的长度累计相加，将高度方向校正处理后的n个分割区域U1合成，因此，能够将宽度方向的长度作为图像全体适当地校正。

这里，虽然能够针对全部的页面图像，决定上侧基准线以及下侧基准线，基于4个基准点求出投影矩阵，并求出利用投影矩阵投影后的校正后上侧基准线以及校正后下侧基准线，但是如本实施方式所示，通过仅针对最初的页面和最后的页面，决定上侧基准线以及下侧基准线，基于4个基准点求出投影矩阵，并求出利用投影矩阵投影后的校正后上侧基准线以及校正后下侧基准线，而对于其间的页面则通过基于线性求出投影矩阵、校正后上侧基准线以及校正后下侧基准线来大幅度降低运算量，由此能够提高处理速度。

另外，本实施方式中，虽然将决定上侧基准线以及下侧基准线，基于4个基准点求出投影矩阵，并求出利用投影矩阵投影后的校正后上侧基准线以及校正后下侧基准线的页面设为最初的页面和最后的页面，但不必须是设为最初的页面和最后的页面。

当然，也可以选择最初的页面和最后的页面，基于线性求出位于其间的页面的投影矩阵，并求出校正后上侧基准线以及校正后下侧基准线。

(上侧基准线以及下侧基准线的取得)

以上，结束了图像处理的全体的说明，接下来，对在图4的步骤A1处铺垫的将于后续进行说明的基准曲线(上侧基准线以及下侧基准线)的具体取得方法进行后续说明。

图21是表示了基准曲线的取得步骤的流程图。

另外，取得上侧基准线的步骤和取得下侧基准线的步骤中，仅是页面图像中所处的位置不同，处理内容自身是相同的，以下，以它们为基准曲线的代表进行说明。

首先，在存在适当的曲线作为如图5所示的基准曲线的情况下，能够自动处理，该情况下，首先，运算部42提取全部的轮廓(步骤C1)。

接着，运算部42从其提取的轮廓中，求出2次弯矩(惯性弯矩)，根据得到的2次弯矩m02，m20求出围绕重心的2次弯矩I＝m02+m20，应将该量最大的轮廓设为基准曲线，而作为轮廓来获取(步骤C2)。

另外，图5的情况下，将步骤C1以及C2分为页面图像的上侧(上侧基准线的提取)和页面图像的下侧(下侧基准线的提取)来进行即可。

该围绕重心的2次弯矩是细长形状而具有较大的值，因此，提取在图5的上侧以及下侧观察的在宽度方向上细长地延伸的曲线。

图22是示意地表示以轮廓的状态提取的应该作为基准线的曲线的图。

图22的黑圆表示构成轮廓的坐标点的一部分，需要将作为该轮廓而提取的线作为1个点阵的曲线而取得。

这里，如果单纯仅是坐标的位置，由于在该轮廓中相比位于上方的点阵来说，存在位于上侧的下方的点阵，因此通过采用坐标点的方法会产生多个模式的曲线，而产生了不均。

为了不引起这样的不均，考虑取得穿过该轮廓的正中的曲线。

即，在图22中，求出用白圆表示的中点，将这些中点的集合(点阵)作为基准曲线来取得即可。

然而，在轮廓线上的坐标点(黑圆)上，不确定以哪个坐标点(黑圆)彼此为对来求出中点。因此，通过以下的步骤来求出通过轮廓线的中央的曲线。

首先，运算部42针对所取得的轮廓用德洛内的三角分割将轮廓的点阵分割为3点1组的单位(步骤C3)。

即，将轮廓的坐标点以尽可能小的面积，且近似于正三角形的组设为3点1组的方式连结而三角分割轮廓。

图23表示轮廓线内被三角分割后的状态。

另外，图23中，针对未示出但不能形成三角形的2点，如图24所示，设定无限远的虚拟的点，以使形成三角形。

接着，针对形成三角形的组进行剔除不合适的组的步骤。

例如，形成三角形的组也包括被描绘在轮廓线的外侧的组，设为存在有n组。

作为i＝0，运算部42开始用于去除该不合适的三角形的组的扫描(步骤C4)。

三角形的组之中，位于轮廓的外侧的三角形不包含轮廓内的中点，因此，运算部42判断所选择的第i组是否是形成在轮廓的外侧的三角形的组(步骤C5)，在是形成轮廓内的三角形的组的情况下(步骤C5：否)，有可能是形成包含轮廓内的中点的三角形的组，因此，不进行删除，而直接前进到步骤C8。

另一方面，第i组是形成位于轮廓的外侧的三角形的组的情况下(步骤C5：是)，在使该第i组存储在其他的队列后(步骤C6)，从存储有三角分割的数据的队列删除第i组(步骤C7)。

另外，在步骤C6中使第i组存储在其他队列中而不完全删除是为了求出所不需要的三角形的组而在后续进行使用。

接着，运算部42判断是否操作了全部的组(i＝n-1？)(步骤C8)，在没有结束全部的组的扫描的情况下(步骤C8：否)，作为i＝i+1(步骤C15)，再次返回到步骤C5。

在全部的组的扫描结束了的情况下(步骤C8：是)，作为i＝0，运算部42新开始扫描组(步骤C9)。

这里，设通过上述扫描并未删除而残留在三角分割的数据的队列内的组是m组，进行以下的说明。

运算部42判断刚才存储在其他队列中的应删除的组中的某一组的2点(删除的组的2点)与第i组的2点是否一致(步骤C10)，在第i组不具有一致的2点的情况下(步骤C10：否)，删除第i组(步骤C16)，前进到步骤C13。

在三角形的边位于轮廓上的情况下，与在无限远设置有虚拟的点的三角形(刚才存储在其他的队列中的应该去除的三角形)共享边，但在步骤C10中为(否)的情况下，由于2点不一致，因此不共享边，该第i组在轮廓上不具有边。

这样的三角形如图25所示，由于仅具有与根据相邻的轮廓内的三角形求出的中点相同的中点，因此不仅不需要求出中点，当进行利用该三角形求出中点的处理时，由于会出现重复的中点，后续为了将重复的中点设为1个中点，还需要将多余的中点的数据去除的重复处理，因此进行删除。

返回到图21的流程，判断刚才存储在其他队列中的应删除的组中的某一组的2点与第i组的2点是否一致(步骤C10)，运算部42为，在刚才所比较的2点一致的组以外的其他组中，2点一致的组是否在存储在其他队列中应删除的组中，即，判断其他的删除的组的2点和第i组的2点是否一致(步骤C11)。

这里，其他的删除的组的2点和第i组的2点一致的情况下(步骤C11：是)，当与刚才的步骤C10中发现的组相匹配时，第i组与作为轮廓外的三角形而被删除的2个三角形共享边。

即，第i组形成的三角形形成了图25中位于用点线围成的位置上的三角形。

而且，从图25可以看出，由该点线围成的三角形在轮廓的一侧的线上具有3点，由于不是横切轮廓内的三角形，因此不包含轮廓的中点。

因此，步骤C11为(是)的情况下，运算部42删除第i组(步骤C12)，前进到步骤C13。

另一方面，在步骤C11为(否)的情况下，形成了包含轮廓的中点的三角形，因此在第i组的3点内，取得了将与删除的组的2点所一致的点以外的1个点分别一致的2点连结的边的中点(参照图25的标斜线的三角形的白圆)后(步骤C17)，前进到步骤C13。

另外，在该处理中，由于也是重复取得与包含相邻的中点的三角形所取得的中点相同的点，因此，需要进行去除多余的中点的数据的重复处理。

其中，在取得了全部的中点后进行重复处理即可，并且，也可以当在取得中点的处理中重复的中点出现时，去除多余的中点的数据。

而且，运算部42判断是否扫描了全部的组(i＝m-1？)(步骤C13)，在未完成全部的组的扫描的情况下(步骤C13：否)，作为i＝i+1(步骤C18)，运算部42再次返回步骤C10。

另一方面，在完成了全部的组的扫描的情况下(步骤C13：是)，运算部42制作基准曲线(上侧基准线，下侧基准线)，该基准曲线是将中点排列为曲线来表示的点阵(点坐标)(步骤14)。

另外，针对上述图5所示的存在应作为基准曲线的曲线的情况进行了说明，在没有这样的合适的线的情况下，如图6说明的，对最上方的行或最下方的行的部分设置虚拟的标志，以用于识别出该情况即可。

(第2实施方式)

图26是表示第2实施方式的结构的图。

以下，以与第1实施方式不同的点为主进行说明，省略了对相同部分的说明。

如图26所示，第2实施方式的书画摄像系统1中，带摄像机的平板电脑6设置在平板电脑放置台7上，使带摄像机平板电脑6的背面所设置的摄像机6b位于在书B的单侧的页面(图中为右侧的页面PR)的大致中央，从而进行页面图像的拍摄。

并且，带摄像机平板电脑6在与摄像机6b相反侧的表面具有触摸屏式的表示部6a。

图27是表示第2实施方式的书画摄像系统1的主控制结构的块图。

带摄像机平板电脑6具有存储部(STG：存储器)61、运算部62、通信部63和摄像机6b。

存储部(STG)61中存储有拍摄到的页面图像和校正后的校正后页面图像等以及各种运算中求出的值(基准曲线、摄动量等)。

另外，图27中，表示了在带摄像机平板电脑6内设置有存储部(STG)61的情况，也可以仅对保存数据等使用云等外部的存储器。

运算部62中具有：ROM(未图示)，存储用于控制自动页面翻动装置5和摄像机6b来自动拍摄页面图像的程序(以下，也称为自动拍摄用的程序)和用于校正拍摄到的页面图像的程序(以下，也称为图像处理程序)等各种程序；在执行ROM中的程序时展开该程序的RAM(未图示)；以及将ROM中的程序展开到RAM中并执行的CPU(未图示)。

通信部63进行取得了与自动页面翻动装置5之间的同步的通信。

另外，图27中，虽然未图示，但带摄像机平板电脑6具有触摸屏式显示部，该显示部构成操作机构。

并且，图26中，表示了带摄像机平板电脑6与自动页面翻动装置5之间的通信是无线通信的情况，但也可以是有线通信。

这样，当由带摄像机平板电脑6构成书画摄像系统1时，通过具有触摸操作这种优异操作性的操作机构来进行基准曲线的取得等，是具有优点的。

另一方面，第2实施方式中，在运算部62进行与第1实施方式中说明的处理同样的处理这一点上是相同的，如上所述，第2实施方式中，使摄像机6b的位置位于书B的单侧的页面(图中是右侧的页面PR)的大致中央来进行拍摄，因此，如果取得上侧基准线和下侧基准线中的一方，就能够通过图像处理取得另一方的基准线。

具体来说，参照图28进行说明时，位于图28的上侧的页面宽度方向上延伸的实线是实际取得的上侧基准线。

这里，在摄像机6b的位置位于实际的页面的大致中央的状态下拍摄了页面图像，因此，拍摄的页面图像的弯曲(歪曲)状态以页面图像的中央线(参照纸面的中心线)为基准成为上下对称的状态。

因此，下侧基准线能够将所取得的上侧基准线按照页面图像的中央线折返后的形状来虚拟地获取。

这样，根据第2实施方式，能够减少取得基准曲线(上侧基准线，下侧基准线)的运算。

(第3实施方式)

图29是表示第3实施方式的结构的图。

以下，针对与第2实施方式的不同点进行说明，省略了对相同部分的说明。

如图29所示，在第3实施方式的书画摄像系统1中，在带摄像机平板电脑6与电脑4连接的这一点上不同。

图30表示了示出第3实施方式的书画摄像系统1的主控制结构的块图，如图30所示，电脑4主要具有运算部42和存储部(HDD)41。

通过设置为该书画摄像系统1的结构，带摄像机平板电脑6主要进行页面图像的拍摄处理和图3的流程的步骤1～4的处理，将所需的数据发送到电脑4侧，针对步骤5以后的运算量变多的处理部分，在能够进行高速的数据处理的电脑4侧进行。

这样，第3实施方式中，通过具有高操作性的带摄像机平板电脑6来进行需要操作性的基准曲线的取得等部分，运算量变多、处理负担重的图像处理的主要部分由能够高速处理的电脑4来进行，能够同时实现良好的操作性和高速的图像处理。

以上，根据具体的实施方式，进行了本发明的说明，本发明不限定于上述实施方式，在能够实现本发明的目的的范围内的变形、改良等都包含在本发明中。

Claims (16)

1.一种页面图像校正装置，具有：

页面图像取得部，取得书的页面图像；

基准线取得部，取得位于所述页面图像的上侧的在页面宽度方向延伸的上侧基准线和位于下侧的在页面宽度方向延伸的下侧基准线；

基准点取得部，基于所述上侧基准线和所述下侧基准线取得4个基准点；

歪曲校正部，基于所述基准点校正所述页面图像的歪曲；

分割部，分割所述歪曲校正后的所述页面图像，以使在与装订线方向正交的宽度方向上排列n个分割区域，所述分割区域是在所述歪曲校正后的所述上侧基准线与所述下侧基准线之间沿着所述装订线方向延伸的大致矩形形状的分割区域；

第1校正部，按照每个所述分割区域校正所述装订线方向的长度；

推测部，按照每个由所述第1校正部校正后的所述分割区域，推测实际的页面中的所述分割区域的法线方向的挠曲量；

第2校正部，根据由所述推测部推测出的所述挠曲量，校正每个所述分割区域的所述宽度方向的长度；以及

合成页面图像取得部，将由所述第1校正部以及所述第2校正部校正后的n个所述分割区域合成而取得合成页面图像。

2.如权利要求1所述的页面图像校正装置，

所述基准点取得部取得上侧基准线的两端的2点和下侧基准线的两端的2点来作为4个所述基准点。

3.如权利要求1所述的页面图像校正装置，

所述推测部根据所述分割区域的所述装订线方向的长度来进行所述挠曲量的推测。

4.如权利要求3所述的页面图像校正装置，

将第i个所述分割区域的所述装订线方向的长度设为H(i)，将第i-1个所述分割区域的所述装订线方向的长度设为H(i-1)，将任意的系数设为k，

所述推测部通过下述式(1)来推测所述第i个所述分割区域的所述挠曲量dz(i)

dz(i)＝k·{H(i)-H(i-1)}…(1)。

5.如权利要求4所述的页面图像校正装置，

所述任意的系数k以使所述合成页面图像的纵横比与展平状态时的实际的页面的纵横比大致相等的方式决定。

6.如权利要求1所述的页面图像校正装置，

所述合成页面图像取得部将由所述第1校正部以及所述第2校正部校正后的n个所述分割区域合成，以使该n个所述分割区域按照由所述分割部分割时的所述宽度方向的排列顺序连接。

7.如权利要求1所述的页面图像校正装置，

所述歪曲校正部基于投影矩阵进行所述歪曲校正，所述投影矩阵是将4个所述基准点投影到歪曲校正后应该呈现的4个目标点上的投影矩阵。

8.如权利要求7所述的页面图像校正装置，

基于分离了页面数的2个页面的所述投影矩阵，求出平均1页面的所述投影矩阵的摄动量ΔA，将2个所述页面中的一个页面作为基准页面，将以按照所分离的页面数的量使所述基准页面的所述投影矩阵以所述摄动量ΔA摄动后的投影矩阵，设为从所述基准页面分离的页面的所述投影矩阵。

9.如权利要求8所述的页面图像校正装置，

2个所述页面都是左侧页面或右侧页面。

10.如权利要求1所述的页面图像校正装置，

根据分离了页面数的2个页面的所述歪曲校正后的所述上侧基准线，求出平均1页面的所述歪曲校正后的所述上侧基准线的摄动量ΔUL，并且，根据2个所述页面的所述歪曲校正后的所述下侧基准线，求出平均1页面的所述歪曲校正后的所述下侧基准线的摄动量ΔDL，将2个所述页面中的一个页面作为基准页面，将按照所分离的页面数的量使所述基准页面的所述歪曲校正后的所述上侧基准线以所述摄动量ΔUL摄动后的基准线，设为从所述基准页面分离的页面的所述歪曲校正后的所述上侧基准线，并且，将按照所分离的页面数的量使所述基准页面的所述歪曲校正后的所述下侧基准线以所述摄动量ΔDL摄动后的基准线，设为从所述基准页面分离的页面的所述歪曲校正后的所述下侧基准线。

11.如权利要求10所述的页面图像校正装置，

2个所述页面都是左侧页面或右侧页面。

12.如权利要求1所述的页面图像校正装置，

所述基准线取得部，取得在所述合成页面图像中应该成为笔直的直线的位于所述页面图像的上侧的线来作为所述上侧基准线，并且，取得在所述合成页面图像中应该成为笔直的直线的位于所述页面图像的下侧的线来作为所述下侧基准线。

13.如权利要求12所述的页面图像校正装置，

在应该成为所述笔直的直线的线粗而不能被视为是将点连接而成的直线的情况下，将被视为是由穿过应该成为所述笔直的直线的线的中央的点连接而成的细线，设为应该成为所述笔直的直线的线。

14.如权利要求12所述的页面图像校正装置，

在应该成为所述笔直的直线的线没有在页面的左右方向上从端部到达端部的情况下，将延长应该成为所述笔直的直线的线而成为在页面的左右方向上从端部到达端部的线，设为应该成为所述笔直的直线的线。

15.如权利要求1所述的页面图像校正装置，

所述基准线取得部，取得在所述合成页面图像中应该成为笔直的直线的位于所述页面图像的上侧或下侧的线，作为所述上侧基准线或所述下侧基准线，并且，取得剩下的所述下侧基准线或所述上侧基准线，作为将所述取得的所述上侧基准线或所述下侧基准线以所述页面图像的大致中央为基准折返后的线。

16.如权利要求1所述的页面图像校正装置，

在所述歪曲校正后的所述页面图像中，使所述歪曲校正后的所述上侧基准线以及所述下侧基准线的位置位移，以使想要由所述第1校正部以及所述第2校正部校正的图像部分位于所述歪曲校正后的所述上侧基准线以及所述下侧基准线之间。