CN107911573B - 扫描图像的无标定展平方法 - Google Patents

Abstract

本发明针对成册书籍图像自动展平问题提出了一套新的展平算法。配合垂直向下发射的两条平行激光，算法可以将书籍图像自动展平。将基于书籍内容展平和基于激光线展平的两种算法相结合，提出了基于激光线的无标定书籍展平算法。相对与现有算法，本发明的优势在于：激光线不需要标定，减少了标定环节带来的额外工作并消除了标定引入的误差。相比基于书籍内容展平算法，本发明的算法不依赖于书页内容，因此适用范围更广。本算法不需要限制书籍摆放角度，在保证激光线可以打到书页上的拍摄范围内书籍可以任意角度摆放。

Description

扫描图像的无标定展平方法

技术领域

本发明涉及一种扫描图像的无标定展平方法，涉及专利分类号H电学H04电通信技术H04N图像通信，如电视H04N1/00文件或类似物的扫描、传输或重现，例如传真传输；其零部件H04N1/387对原样进行组编、变位或其他修正。

背景技术

随着视频采集和处理技术的发展，扫描仪已从传统的光敏扫描仪升级到了主要基于视频图像采集的新一代图像采集扫描仪，这种新型扫描仪通过位于扫描物上方的摄像头采集书页照片即可完成扫描，免去了人工将待扫描的印刷品按压在扫描面的传统扫描方式带来的繁重工作量，具有扫描速度快的巨大优势。

但是此类图片采集类的扫描仪在扫描具有一定厚度的扫描物时，比如厚度较大的字典、教科书等，在扫描处于书籍中部书页的扫描图像会产生巨大的弯曲度，严重影响阅读质量，而且弯曲对后续的OCR文字识别也会产生严重的影响。在现有专利中也公开的了能够在一定程度解决上述技术问题的技术方案，但是算法原理复杂，计算量大，而且需要特定的双摄像头应用场景。

发明内容

本发明针对成册书籍图像自动展平问题提出了一套新的展平算法。配合垂直向下发射的两条平行激光，算法可以将书籍图像自动展平。

目前针对成册书籍国内外提出了不少自动展平算法，主要分为：基于激光线展平、基于书页内容展平这两大方向。其中，基于激光线的展平算法也分为有标定和无标定两种。目前看到的基于激光线展平的算法普遍是需要配合标定的。本发明将基于书籍内容展平和基于激光线展平的两种算法相结合，发明出了基于激光线的无标定书籍展平算法。

本发明的优势在于：

1.激光线不需要标定，减少了标定环节带来的额外工作并消除了标定引入的误差。

2.相比基于书籍内容展平算法，本发明的算法不依赖于书页内容，因此适用范围更广。

3.本算法不需要限制书籍摆放角度，在保证激光线可以打到书页上的拍摄范围内书籍可以任意角度摆放。

附图说明

为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的设备描述示意图。

图2为本发明世界坐标系、摄像机坐标系与图像物理坐标系之间的关系示意图。

图3为本发明图像物理坐标系与图像像素坐标系之间的关系示意图。

图4为本发明坐标系间的转换关系示意图。

图5为本发明规定世界坐标系及书页模型。

图6为本发明假设第三个激光发射平面位于两个真实激光发射平面中间，与它们等间隔，且相互平行。

图7为本发明实施例中给出的书籍原始图像。

图8为本发明实施例中打激光后的书籍图像。

图9为本发明实施例中打激光后与原图差异图。

图10为本发明实施例中的激光线细化图。

图11为本发明实施例中根据激光线曲率变化定位中缝线示意图。

图12为本发明实施例中根据中缝线将激光细化图旋转摆正的示意图。

图13为本发明实施例中根据中缝线将原图旋转摆正示意图。

图14为本发明实施中根据中缝线将打激光图旋转摆正示意图。

图15为本发明实施例中根据中缝线裁剪出右页的原图。

图16为本发明实施例中根据中缝线裁剪出右页的打激光图。

图17为本发明实施例中根据中缝线裁剪出右页的激光线细化图。

图18为本发明实施例中右页书页上的每条激光线相距中缝线采样示意图，图中每隔10个像素采样一个点，如蓝色点所示。

图19为本发明实施例中根据同列上下两个采样点等距插值出中间虚拟激光线采样点示意图。

图20为本发明实施例中根据每条线上的采样点拟合示意图，拟合出一条直线作为激光平面与零平面交线的初值。

图21为本发明实施例中采样点(红色)和其根据初始模型得到的重投影位置(蓝色)。

图22为本发明实施例中迭代收敛后原始采样点(红色)和其根据最终求解的模型得到的重投影点(蓝色)重合的示意图。

图23为本发明实施例中根据算法得到的书页最终展平图。

具体实施方式

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示：

镜头光轴垂直于水平底面，两个激光发射源位于镜头两侧、与镜头间距相等，发射出两个垂直于水平底面的相互平行的面激光。书籍可以在水平面内以任意角度摆放。

相机成像过程中，涉及到四个坐标系。它们的定义和转换关系如下：

世界坐标系：以物理世界任意一点为坐标原点、任意一个轴为Z轴的三维欧式坐标系。世界坐标系中点的坐标符号为：(X_w，Y_W，Z_W)。

摄相机坐标系：以小孔摄像机模型的聚焦中心为原点，以摄像机光轴为Zc轴的三维欧式坐标系。世界坐标系中点的坐标符号为：(X_C，Y_C，Z_C)。

图像物理坐标系：以相机成像平面内任一点为原点、以毫米为单位的一个二维直角坐标，两坐标轴分别平行于像素行、列分布的方向。图像物理坐标系中点的坐标符号为(x，y)。

图像像素坐标系：相机成像平面内以像素为单位的二维直角坐标系，原点为成像的第0行、第0列的角点像素位置，两坐标轴分别取像素行、列方向。图像像素坐标系中点的坐标符号为：(u，v)。

在本文中所述的射影变换的过程极为由世界坐标经过矩阵变换转为图像物理坐标系以及图像像素坐标系的过程。

上述坐标系之间的关系和转换关系如图2-4所示。因此，世界坐标系下某空间点(X_W，Y_W，Z_W)经成像后在图像中的像素坐标(u，v)满足如下转换公式：

其中，dy和dx分别代表每个像素的长和宽方向的长度，以毫米为单位；f为相机的焦距；

为旋转和平移矩阵；s为一个归一化比例因子，使得

的最后一维为1。

由此可知，像素坐标(u，v)与世界坐标(X_W，Y_W，Z_W)之间的关系可以合成为一个矩阵变换：

世界坐标系规定及书页模型方程

按照图5所示规定世界坐标系：

以书放置的水平平面为XY平面，Z轴与该平面垂直。以书的中缝线方向为Y轴方向，X轴与之垂直。

原点取中缝线上某点。

本发明假设的书页隆起高度满足如下关系：

z_W＝f(x_W)＝a₀x_W ⁰+a₁x_W ¹+...+a_nx_W ⁿ (0.3)

因此，相同x坐标的点隆起高度认为相同。

经试验，书籍弯曲曲面采用n＝7的7次方程就足以表达各种书籍的弯曲程度。因此，本发明这里采用的书页隆起高度方程为：

z_W＝f(x_W)＝a₀x_W ⁰+a₁x_W ¹+...+a_nx_W ⁷ (0.4)

激光平面方程

两个激光发射面平行于Z轴，且两平面相互平行，因此分别满足如下平面方程：

令k＝--a/b、p₁＝-d₁/b、p₂＝-d₂/b，则有：

书页上的激光线投影坐标

打在书页上的激光线坐标同时满足书页模型方程(0.4)和激光平面方程(0.6)，

可见，当书页模型参数和激光平面参数已知的情况下，书面上的激光线某点的世界坐标可由其x_w坐标值求出：

其中p_i代表其所在激光平面的偏置量。

根据世界坐标到像素坐标的变换关系(0.2)，该激光点在图像中的像素坐标满足：

模型参数的迭代求解算法从上述的书面上激光点坐标关系可见，如果本发明已知书页模型参数[a₀，a₁，...，a₇]、激光平面参数k和p_i、以及世界坐标到图像像素坐标的变换矩阵P，那么本发可根据书页激光线上某点的x_w坐标值来得到其在图像中的坐标位置[u，v]。

因此，本发明要求解的就是模型参数[a₀，a₁，...，a₇]、k、p_i以及P。

本发明采用如下的思想对这些模型参数进行迭代求解：

首先，假设书页没有隆起，即书页隆起高度全部为0，则两个激光平面和书页的交线在世界坐标中是z_W＝0平面上相互平行的两条线。

由于它们在相机中的成像过程是射影变换，因此成像后是两条不再保证平行的直线：

随着书页隆起高度的变化(参见书页模型方程)，激光平面与书页的交线变为空间曲线，因此它们在成像后也变为曲线：

根据这个现象，本发明希望能找到合适的模型参数(包括书页模型参数[a₀，a₁，...，a₇]，激光平面模型参数k、p_i，以及成像变换矩阵P)，使得根据本发明的模型恰好能够让激光平面与书页的交线(即书页上的激光线)在成像后与真实拍摄到的激光线重合。

由于k、p_i的值决定了激光平面与z＝0平面的相交直线的坐标；[a₀，a₁，...，a₇]决定了激光线的隆起高度；P决定了相机成像的变换过程。

因此，当给定了这些模型参数值，也就给出了当前模型下书页上激光线的世界坐标和图像坐标，那么，优化求解的规则就是：

首先为这些模型参数赋初值，然后迭代更新所有模型参数，

从而最小化当前模型下的书页激光线的图像像素坐标与真实图像中激光线像素坐标间的距离。

根据该规则，本发明定义损失函数为：

其中i代表每个激光线上点的下标，[u_i0，v_i0]为第i个采样点在图像中的原始坐标，[u_i，v_i]为第i个采样点在激光平面和书页模型的假设下求取的世界坐标经成像射影变换而最终得到的在图像中的重投影坐标。

从而迭代优化规则为：

为了定量求解损失函数loss，本发明在每条书页范围内的激光线上从中缝线开始沿着x轴等间隔地抽取采样点(参见图18)。

则损失函数的计算基于所有这些采样点的图像中原始位置和根据所在激光平面与书页模型的交线经射影变换P得到的重投影点的距离之和。

根据优化规则，本发明采用Powell优化算法迭代更新模型参数[a₀，a₁，...，a₇]、k、p_i以及P。

然而，仅仅根据两条激光线按照上述优化求解的方法求解出的满足条件的模型参数并不唯一。

因为实际上可以通过改变相机位置和角度(即改变P)来使得间距不同的两个激光平面模型都能找到合适的解来使得书页上激光线的成像和真实拍摄到的激光线重合。因此，本发明需要添加约束使求解得到的相机位置和角度与实际安装位置和角度相同，即让求解得到的相机变换矩阵P满足实际的成像关系：相机在两个激光发射源的中间，距两个激光发射源的距离相等，且相机光轴垂直于零平面。

为了实现上述约束，如图6所示，本发明假设有第三个激光发射源，它位于两个真实激光发射源的中间，该激光发射平面与原来两个真实激光发射平面相平行，且等间隔：

如图7-17所示，由于本发明的相机位置正好位于两个激光发射源中间，且光轴与激光平面平行，都垂直于零平面，因此，书页上第三条虚拟激光线恰好满足在上、下两个激光线的中间，即在每一个平行于中缝线的方向上，三个激光线对应的上、中、下三个点之间的上下两个间距相等。

因此，本发明根据图像中采样得到的点(由于距离中缝线等距采样，因此距离中缝线同间距的上下两组点所在列相同)上下等距插值得到一排中间点，这些点恰好就是中间虚拟的激光平面与页面的交点，参见图19。

需要注意的是，只有相机满足上述与激光发射源和零平面之间的位置关系时，才可以保证图像中上下激光线按照等距插值出来的点就是虚拟激光平面与书页的交线。否则，如果相机位置有偏移或者角度有偏斜，那么根据射影变换存在近大远小效应，空间中等距的三个激光平面在书页上的交线是不能保证等距的。因此，按照这种方法引入第三条激光线就可以约束最终求解出来的变换矩阵P符合真实的相机成像位置关系。

因此，本发明需要使用上述的三根激光线来迭代求解参数模型。对应三个激光平面的方程变为：

其中，σ为平面在y轴方向上的间距。由此，需要求解的模型参数变为：[a₀，a₁，...，a₇]、k、p₁、σ以及P。迭代求解过程如下：

对模型参数赋初值：

k、p₁、σ的初值：根据每条激光线的采样点拟合出一条直线(参见图20)，三条直线的斜率平均值作为k的初值，第一条中心的偏置作为p₁的初值，三条线的中心的两个垂直方向间距的平均值作为σ的初值。

[a₀，a₁，...，a₇]的初值：均置为0。P的初值：3*4的单位矩阵。

求得每个采样点的世界坐标：

每个采样点到中缝线的垂直距离与其在本发明在图5中规定的世界坐标中的x值只相差一个比例因子，而这个比例因子的作用可以与变换矩阵P结合实现隐含求解，因此可以直接取每个采样点到中缝线的垂直像素距离作为其世界坐标x的初值。根据激光平面模型和书页模型得到y和z坐标，参见(0.7)和(0.11)。

求得每个采样点成像后的重投影图像坐标：

将每个采样点的世界坐标根据相机成像的射影变换矩阵P求得其在图像中的重投影坐标，参见(0.8)。

求损失函数：

将所有采样点经重投影后的图像坐标与其原图像坐标比较，根据(0.9)得到损失函数。参见图21。

迭代优化，更新模型参数：

通过最小化损失函数，使用Powell优化算法更新所有模型参数。参见(0.10)。模型参数每次更新后，重新执行步骤0到0，直到收敛。参见图22。如图23所示，得到书页的最终展平图。

最后，当本发明求得了所有模型参数之后，也就得到了书页上各点隆起的高度以及相机的射影变换矩阵，根据零平面上每个点按照该点对应的书页隆起高度可以得到其在图像中的位置，从而可以反向求出将图像中的点降回到零平面后在图像中的位置。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种扫描图像的无标定展平方法，该方法基于两平行激光光束的图像采集式扫描仪，该扫描仪的摄像头竖直固定于所述两平行激光束的等间距处，其特征在于包括如下步骤：

—选定待扫描书籍中缝的延伸方向为Y轴，在该中缝中选择一点作为原点建立世界坐标系；设定描述所述两平行激光光束的激光平面模型方程和描述隆起书页的书页曲面模型方程；

—联立所述的激光平面模型方程和书页曲面模型方程，经过射影变换计算得出描述激光线投影在隆起书页表面的点的理论位置的重投影坐标；获取带有激光的书页平面图像，获得平面图像内激光线上点的像素坐标；

—设定所述的激光平面模型方程和书页曲面模型方程的迭代规则，通过迭代使得到的重投影坐标与所述像素坐标距离最小，得到对应的模型方程参数；

—通过联立带有迭代确定参数的激光平面模型方程和书页曲面模型方程，得到每个选定点相对与预设零平面上的相对高度和对应的在扫描图像中像素点的位置，进而得出图像中与选定点对应像素点在选定点降至所述预设零平面后的位置，完成扫描图像的展平。

2.根据权利要求1所述的扫描图像的无标定展平方法，其特征还在于所述的书页曲面模型方程为：

令k＝-a/b、p₁＝-d₁/b、p₂＝-d₂/b，则有：

其中，a、b、d₁、d₂表示激光平面模型方程的参数，(x_w1，y_w1，z_w1)(x_w2，y_w2，z_w2)分别表示第一条激光线上某点的坐标、第二条激光线上某点的坐标，

打在书页上的激光线坐标同时满足书页曲面模型方程和激光平面模型方程，

当书页模型参数和激光平面参数已知的情况下，书面上的激光线选定点的世界坐标可由其x_w坐标值求出：

其中p_i代表其所在激光平面的偏置量；

根据射影原理，该激光点在图像中的像素坐标满足：

其中，(u，v)表示像素坐标，P表示成像变换矩阵，[a₀，a₁，……，a₇]表示书页曲面模型方程的参数。

3.根据权利要求2所述的扫描图像的无标定展平方法，其特征还在于：所述的迭代规则如下：

其中，loss为损失函数，其中i代表每个激光线上点的下标，[u_i0,v_i0]为第i个采样点在图像中的原始坐标，[u_i,v_i]为第i个采样点在激光平面和书页模型的求取的理论坐标，世界坐标经成像射影变换而最终得到的在图像中的重投影坐标。

4.根据权利要求2所述的扫描图像的无标定展平方法，其特征还在于：引入位于所述两激光平面之间的虚拟激光平面，得到的与实际的两激光平面等距差值的中间点，作为虚拟激光平面与页面的交点；

对应三个激光平面的方程变为：

其中，σ为相邻激光平面在y轴方向上的间距。