CN103209284B - 一种文档扫描图像的亮度补偿方法 - Google Patents

Abstract

本发明公开了一种文档扫描图像的亮度补偿方法，所述方法包括以下步骤：检测得到文档扫描图像中的书脊线；根据检测得到的书脊线，将所述文档扫描图像切分为两幅单页面的扫描图像；对每幅单页面的扫描图像，提取图像对应的亮度曲面；利用提取得到的图像亮度曲面，对扫描图像进行亮度补偿。本发明方法可非常有效的补偿书籍等文档扫描图像中存在的非线性亮度失真，并能同时清除扫描图像页边附近的黑边噪声。本发明方法具有计算复杂度低、易实现等优点，非常适合于软件的嵌入式运行，能广泛的嵌入平板式扫描仪、智能复印机等文档扫描设备中，提高图像的成像质量。

Description

一种文档扫描图像的亮度补偿方法

技术领域

本发明涉及文本图像处理、图像增强以及图像亮度补偿技术领域，特别是一种文档扫描图像的亮度补偿方法。

背景技术

当用户利用扫描仪或复印机扫描书刊、杂志等纸质文档时，由于书脊部分无法紧贴扫描仪玻璃平板表面，导致得到的扫描图像在书脊区域出现严重的亮度不均现象。此外，在书籍边缘附近由于扫描仪的漏光效应，还将出现严重的黑边噪声。这些扫描缺陷一方面严重影响了图像的扫描质量，另一方面，还为随后的文本图像处理与分析带来严重的影响。文档扫描图像的自动亮度补偿是文档图像处理与增强研究中的一个重要课题，它在文档扫描、复印、打印以及光学字符识别、文本图像识别与理解、文档的数字化等领域中有着十分广泛的应用。

自适应阈值化技术常被用于解决扫描图像中存在的亮度不均匀问题。该技术在图像局部区域利用图像的均值、方差等特征，计算得到一个图像局部阈值，利用该阈值将扫描的灰度图像转化为一幅二值图像。这种技术对于纯文本等高对比度的图像区域可取得非常好的亮度矫正效果，然而对于文档中的插图区域，由于二值化后图像灰度阶数大大减少，亮度矫正后图像会因此丢失丰富的细节信息。

为克服这一问题，研究者首先提取图像的亮度曲面，然后利用亮度曲面来对图像的亮度进行自适应的补偿。参数化曲面模型常用来提取图像的亮度曲面。这一技术假设图像的亮度分布可表示为某种参数曲面，如柱面、圆锥面等，然后利用最小二乘估计或最大似然法来估计模型中的参数。然而，由于实际情形中，扫描文档图像的亮度曲面非常复杂，难于用一种参数曲面很好的近似，这一方法在实际中通常效果不佳。

研究者还提出了一类无参数化亮度曲面提取技术。这类技术的代表有：图像低通滤波技术、基于边界的图像插值技术、图像插补技术等。由于图像的亮度分布具有低通特性，基于该特点，图像低通滤波技术通过选用一个低通滤波器对图像进行滤波，来提取图像的亮度曲面。这一技术具有简单易实现等优点，其缺点在于低通滤波可能同时破坏图像插图区域中的低频成分，从而导致图像重要细节信息的丢失。

图像边界插值技术则构造一个线性混合孔斯曲面来插值图像的四条边界曲线，从而得到图像亮度曲面的估计。该技术的缺点在于对图像进行边界插值时，需要对边界曲线进行正确的参数化。这种参数化可通过在图像边界附近预先放置某些标定物体来进行。这一苛刻要求限制了该技术在实际环境中的应用。

图像插补技术则首先利用图像形态学算子，计算得到一个图像二值插补模板，该模板给出了将要进行插补的图像前景区域。然后利用图像插补技术将图像的背景像素信息扩展填充至二值模板中定义的图像前景区域。这一技术可以有效的克服参数化曲面模型中存在的困难，具有灵活度高、适应性强等优点。其缺点在于二值插补模板的构造难度较高且图像插补的计算复杂度较大，难以实时计算。

发明内容

有鉴于此，本发明的目的旨在提供一种文档扫描图像的亮度补偿方法，用于补偿书籍等文档在扫描过程中因文档页面无法紧贴扫描仪玻璃平板表面而导致的成像亮度不均。

为实现所述目的，本发明提供的文档扫描图像的亮度自动补偿方法包括以下步骤：

步骤S1，检测得到文档扫描图像中的书脊线；

步骤S2，根据检测得到的书脊线，将所述文档扫描图像切分为两幅单页面的扫描图像；

步骤S3，对每幅单页面的扫描图像，提取图像对应的亮度曲面；

步骤S4，利用提取得到的图像亮度曲面，对扫描图像进行亮度补偿。

本发明的有益效果：本发明提出的文档扫描图像亮度补偿方法可非常有效的补偿书籍等文档扫描图像中存在的非线性亮度失真，并能同时清除扫描图像页边附近的黑边噪声。此外，该方法还能同时提取一幅高质量的亮度图像，该亮度图像可用于估计书籍页面的3D形状，从而有助于对扫描图像中存在的几何失真进行有效矫正。该方法具有计算复杂度低、易实现等优点，非常适合于软件的嵌入式运行，能广泛的嵌入平板式扫描仪、智能复印机等文档扫描设备中，提高图像的成像质量。

附图说明

图1是本发明方法的流程图。

图2a至图2b是书脊线检测结果。

图3a至图3f是根据本发明方法在一幅真实图像上提取其亮度曲面的中间过程图和最终结果图。

图4a至图4c是根据本发明方法对一幅真实扫描的图像进行亮度补偿的结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

在书籍等文档的扫描过程中，本发明注意到这样一些事实：

1)大多数书籍页面具有郎伯表面性质，即光线照射至该表面上仅产生漫反射，不产生镜面反射；

2)对于大多数书籍页面，为方便读者阅读，文字等内容常印刷在一幅具有亮白纯色背景的纸上，页面具有背景单一、不存在复杂背景图案等特点；

3)由于书脊的约束，书籍页面在扫描时，单幅页面的形变沿任意方向均是单调的，也即页面形变通常不存在波浪形的弯曲。

基于上述这些事实，可以推断得出书籍页面等文档的扫描图像对应的亮度曲面具有拟凸特性，即对于一个凸集S和任意的x,y∈S以及λ∈[0,1]，函数f(x)成立：

f(λx+(1-λ)y)≥min(f(x),f(y))     (1)

利用该特性，可以基于凸包重构方法，从单幅扫描图像中精确的提取图像对应的亮度曲面。上述性质仅对单幅页面的扫描图像成立，因此，在处理双页面的书籍文档扫描图像时，需要首先沿书脊线方向将双页扫描图像切分成两幅单页图像。这需要检测扫描图像中的书脊线。需要指出的是，对于单页扫描图像，沿错误的书脊线对图像进行切分后，得到的两幅图像其亮度曲面仍然满足上述的拟凸特性。

图1为本发明方法的流程图，如图1所示，本发明提出的文档扫描图像的亮度补偿方法包括以下步骤：

步骤S1，检测得到文档扫描图像中的书脊线；

所述步骤S1进一步包括以下步骤：

步骤S11，令阈值的上下限分别为τ₀＝0，τ₁＝1，任选阈值τ∈[0,1]；

步骤S12，利用阈值τ对所述文档扫描图像进行二值化处理，得到二值化图像BW，即

$\mathrm{BW}(x,y)=\left\{\begin{array}{c}0,I(x,y)\≤\mathrm{\τ}\\ 1,I(x,y)>\mathrm{\τ}\end{array}\right.---\left(2\right)$

其中：I表示文档扫描图像；BW表示二值化图像；(x,y)表示图像像素点的坐标；τ表示图像二值化阈值；

步骤S13：采用步长Δ对一书脊线倾斜角度范围(比如[-30°,30°])进行离散采样，并对二值化图像BW在上述离散采样点上计算其Radon变换M(ρ,θ)，其中，ρ为Radon变换的投影线距坐标原点的距离，θ为Radon变换的投影线与坐标y轴正向之间的夹角；

步骤S14：若 $\underset{\mathrm{\ρ},\mathrm{\θ}}{\max }M(\mathrm{\ρ},\mathrm{\θ})\≥m,$ 则令 ${\mathrm{\τ}}_1\⇐\mathrm{\τ},\mathrm{\τ}\⇐({\mathrm{\τ}}_0+\mathrm{\τ})/2;$ 否则，令其中，为赋值操作，m为给定阈值；

步骤S15：重复步骤S12至步骤S14，直到τ₁-τ₀≤σ，其中，σ为预先设定的小常量，用来判断上述迭代过程的终止；

步骤S16：利用下式计算书脊线所满足的直线方程的参数(ρ,θ)，进而得到书脊线的空间位置：

$(\mathrm{\ρ},\mathrm{\θ})=\arg \underset{\mathrm{\ρ},\mathrm{\θ}}{\max }M(\mathrm{\ρ},\mathrm{\θ}).$

图2a和图2b为根据本发明一实施例的书脊线检测结果，其中，图2a为采用迭代Radon变换最终得到的二值化图像，图2b为最后的书脊线检测结果(图2b中采用黑色直线标出)。

步骤S2，根据检测得到的书脊线，将所述文档扫描图像切分为两幅单页面的扫描图像；

所述书脊线所满足的直线方程可写为：

$\left\{\begin{array}{c}x\left(t\right)=t\cos \mathrm{\θ}-\mathrm{\ρ}\sin \mathrm{\θ}\\ y\left(t\right)=t\sin \mathrm{\θ}+\mathrm{\ρ}\cos \mathrm{\θ}\end{array}\right.,---\left(3\right)$

其中，ρ为书脊线距坐标原点的距离，θ为书脊线与坐标y轴正向之间的夹角，t为所述书脊线所满足的直线方程的可变参数，其取值范围为[-∞,+∞]。

而上述直线方程可进一步写成如下形式：

ycosθ-xsinθ＝ρ.     (4)

其中，x、y分别为直线上点的坐标。

因此，该步骤中，按照下式沿所述书脊线对所述文档扫描图像进行切分：

其中，x,y为所述文档扫描图像中的某一点的坐标。

如前所述，扫描文档页面的亮度曲面满足拟凸特性。根据该性质推导可知，亮度曲面与任一水平面的截面必为凸集。根据这一性质，可以通过重建水平截面的凸包来提取图像的亮度曲面。这一过程可非常形象的解释如下：可将图像的亮度曲面看作一个高原地形，这一地形满足拟凸特性。然而，由于印刷油墨的影响，文档页面上的印刷内容在这一地形表面将形成各种各样的凹陷。假设这一地形被洪水完全淹没，现在考虑如何通过排干洪水来恢复地形表面。显然，随着水位的下降，一些地表面将露出水面。根据地形的拟凸假设，露出水面的地形必构成一个凸集。因此，本发明通过对露出水面的地形进行填充，将其变成一个凸集，重复这一过程，直到所有的地形全部露出水面为止：

步骤S3，对每幅单页面的扫描图像，提取图像对应的亮度曲面；

所述步骤S3进一步包括以下步骤：

步骤S31，对每幅单页面的扫描图像I进行中值滤波(比如3×3的中值滤波)以去除图像中的噪声；

步骤S32，计算中间值并令v＝v₁，L(x,y)＝I(x,y)，其中，I(x,y)表示扫描图像，v₀为设定的最低灰度值，v为图像灰度阈值，L为扫描图像的亮度曲面，C₀为一个由图像像素点构成的点集，表示空集；

步骤S33，令所述图像灰度阈值减小一个图像灰度步长δ，即并计算如下像素点构成的点集S＝{(x,y)|L(x,y)≥v}；

步骤S34，计算所述点集S的凸包，并将其赋值给另一个由图像像素点构成的点集C₁，即计算点集S的凸包，其中，凸包的计算方法在经典的计算几何教材中都有讲述，是一种非常成熟的技术，此处不再赘述；

步骤S35，对于所有属于C₁\C₀的像素点(x,y)，即(x,y)∈C₁\C₀，其中，C₁\C₀表示C₁与C₀的差集，令L(x,y)＝v，并令

步骤S36，重复步骤S33至步骤S35，直到v<v₀，则此时计算得到的L即为提取得到的所述扫描图像对应的亮度曲面。

图3a为一幅真实扫描的文档图像，图3b至图3e是对图3a所示的文档图像提取其亮度曲面的中间过程图，图3f是最终提取得到的图像亮度曲面。从图中可以看出，在文档图像的书脊区域存在显著的亮度不均现象。

得到文档图像的亮度曲面后，就可以根据亮度曲面对图像中存在的不均匀亮度分布进行有效的补偿：

步骤S4，利用提取得到的图像亮度曲面，对扫描图像进行亮度补偿。

该步骤中，根据光度学成像方程对扫描图像进行亮度补偿，即利用下式对扫描图像进行亮度补偿：

$\tilde{I}(x,y)=\mathrm{\&kappa;}\frac{I(x,y)+\mathrm{\&sigma;}}{L(x,y)+\mathrm{\&epsiv;}},$

其中：表示经过亮度补偿后的扫描图像；I(x,y)表示亮度补偿前的扫描图像；L(x,y)表示提取得到的扫描图像的亮度曲面；κ为图像对比度增益因子，其取值通常范围位于[0.8,1,2]之间；ε为一小常数，用来避免除零错误；σ为另一小常数，用来清除黑边噪声，并且σ≥ε。

为验证本发明所提出的方法，利用真实扫描的书籍页面图像，在配置为Intel(R)Core(TM)2Quad CPU,RAM为3.25GB的PC机上对该方法进行了实验验证。图4a至图4c是利用本发明所述的文档扫描图像亮度补偿方法对一幅真实扫描的图像进行亮度补偿的结果，其中，图4a是一幅真实扫描的文档图像，图4b是提取出的图像亮度曲面，图4c是利用提取得到的图像亮度曲面进行亮度补偿后的结果图。从图中可以看出，本发明所述的亮度补偿方法可以非常有效的补偿文档扫描图像中存在的不均匀亮度分布，并能同时得到一幅高质量的图像亮度曲面。该亮度曲面还可以作为Shape-from-shading技术的输入，从而恢复得到文档页面的3D形状，用于文档页面的几何失真矫正。此外，从图中还可以看出，本发明所述的亮度补偿方法还可以有效的清除文档页面扫描过程中产生的黑色边框噪声。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种文档扫描图像的亮度补偿方法，其特征在于，该方法包括以下步骤：

步骤S1，检测得到文档扫描图像中的书脊线；

步骤S2，根据检测得到的书脊线，将所述文档扫描图像切分为两幅单页面的扫描图像；

步骤S3，对每幅单页面的扫描图像，提取图像对应的亮度曲面；

步骤S4，利用提取得到的图像亮度曲面，对扫描图像进行亮度补偿；

所述步骤S3进一步包括以下步骤：

步骤S31，对每幅单页面的扫描图像进行中值滤波以去除图像中的噪声；

步骤S32，计算最低灰度值中间值并令图像灰度阈值v＝v₁，所述扫描图像的亮度曲面L(x,y)＝I(x,y)，其中，I(x,y)表示扫描图像中坐标(x,y)处的像素灰度值，C₀为一个由图像像素点构成的点集，表示空集；

步骤S33，令所述图像灰度阈值减小一个图像灰度步长δ，即其中，为赋值操作，并计算如下像素点构成的点集S＝{(x,y)|L(x,y)≥v}；

步骤S34，计算所述点集S的凸包，并将其赋值给另一个由图像像素点构成的点集C₁；

步骤S35，对于所有属于C₁\C₀的像素点(x,y)，令L(x,y)＝v，并令其中，C₁\C₀表示C₁与C₀的差集；

步骤S36，重复所述步骤S33至步骤S35，直到v<v₀，则此时计算得到的L即为提取得到的所述扫描图像对应的亮度曲面。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1进一步包括以下步骤：

步骤S11，令阈值的上下限分别为τ0＝0，τ1＝1，任选阈值τ∈[0,1]；

步骤S12，利用阈值τ对所述文档扫描图像进行二值化处理，得到二值化图像BW；

步骤S13：采用步长Δ对一书脊线倾斜角度范围进行离散采样，并对所述二值化图像BW在上述离散采样点上计算其Radon变换M(ρ,θ)，其中，ρ为Radon变换的投影线距坐标原点的距离，θ为Radon变换的投影线与坐标y轴正向之间的夹角；

步骤S14：若 $\underset{\mathrm{\&rho;},\mathrm{\&theta;}}{\max }M(\mathrm{\&rho;},\mathrm{\&theta;})\&GreaterEqual;m,$ 则令 ${\mathrm{\&tau;}}_1\&DoubleLeftArrow;\mathrm{\&tau;},\mathrm{\&tau;}\&DoubleLeftArrow;({\mathrm{\&tau;}}_0+\mathrm{\&tau;})/2;$ 否则，令其中，为赋值操作，m为给定阈值；

步骤S15：重复所述步骤S12至步骤S14，直到τ₁-τ₀≤σ，其中，σ为预先设定的小常量，用来判断上述迭代过程的终止；

步骤S16：利用下式计算书脊线所满足的直线方程的参数(ρ,θ)，进而得到书脊线的空间位置：

$(\mathrm{\&rho;},\mathrm{\&theta;})=\arg \underset{\mathrm{\&rho;},\mathrm{\&theta;}}{\max }M(\mathrm{\&rho;},\mathrm{\&theta;}).$

3.根据权利要求1所述的方法，其特征在于，所述书脊线所满足的直线方程可写为：

$\left\{\begin{array}{c}x\left(t\right)=t\cos \mathrm{\&theta;}-\mathrm{\&rho;}\sin \mathrm{\&theta;}\\ y\left(t\right)=t\sin \mathrm{\&theta;}+\mathrm{\&rho;}\cos \mathrm{\&theta;}\end{array}\right.,$

其中，ρ为书脊线距坐标原点的距离，θ为书脊线与坐标y轴正向之间的夹角，t为可变参数。

4.根据权利要求3所述的方法，其特征在于，所述书脊线所满足的直线方程可改写为：

ycosθ-xsinθ＝ρ，

其中，x、y分别为直线上点的坐标。

5.根据权利要求4所述的方法，其特征在于，所述步骤S2中，按照下式沿所述书脊线对所述文档扫描图像进行切分：

其中，x,y为所述文档扫描图像中的某一点的坐标。

6.根据权利要求1所述的方法，其特征在于，所述步骤S31中中值滤波的大小为3×3。

7.根据权利要求1所述的方法，其特征在于，所述步骤S4中，根据光度学成像方程对扫描图像进行亮度补偿。

8.根据权利要求7所述的方法，其特征在于，根据光度学成像方程对扫描图像进行亮度补偿具体为：利用下式对扫描图像进行亮度补偿：

$\tilde{I}(x,y)=\mathrm{\&kappa;}\frac{I(x,y)+\mathrm{\&sigma;}}{L(x,y)+\mathrm{\&epsiv;}},$

其中：表示经过亮度补偿后的扫描图像中坐标(x,y)处的像素灰度值；I(x,y)表示亮度补偿前的扫描图像中坐标(x,y)处的像素灰度值；L(x,y)表示提取得到的扫描图像的亮度曲面；κ为图像对比度增益因子；ε为一小常数，σ为另一小常数，且σ≥ε。