CN103179315A - 连续视频图像处理的纸质文档扫描仪及扫描方法 - Google Patents

Abstract

一种连续视频图像处理的纸质文档扫描仪及扫描方法，由工作台、视频摄像机及处理机组成，工作台面上铺设特定颜色和标识的衬垫，视频摄像机与处理机连接，纸质文档放置在工作台衬垫指定位置，视频摄像机安装在工作台上方，视频摄像头向下拍摄工作台场景，视频摄像机输出拍摄视频连接至处理机，处理机对视频图像进行连续处理，输出数字化文件，并将处理结果连接显示在显示器上。本发明高效准确的对纸质文档特别是已经装订好的纸质文档进行数字化扫描，将纸质文档快速转化为方便网络利用和共享的数字信息资源。

Description

连续视频图像处理的纸质文档扫描仪及扫描方法

技术领域

本发明涉及射频图像处理技术领域，具体涉及一种连续视频图像处理的纸质文档扫描仪及扫描方法，快速将纸质文档转化为数字化文件。 

背景技术

随着人类社会进入信息时代，传统保存的纸质文档，包括纸质档案、纸质文件、书籍等需要进行数字化工作，转化为数字文件，利用计算机进行管理，才能够有效的进行利用和共享。 

现有的纸质文档数字化扫描方法还存在一些问题，主要有以下方式： 

1.利用传统扫描仪数字化：传统扫描仪基于光电线扫方式将一张张纸质档案扫描成数字文件，需要人工手动将一张张文档翻阅好，固定到规定位置进行扫描，才能够完成一张纸质文档的数字化工作。

2.利用照相机数字化：很多系统和专利利用照相机拍照实现纸质文档的数字化，将纸质文档放置在平台上，人工翻阅一页后，控制照相机拍摄，得到纸质文档的一幅图像，连续工作时，则需要人工翻阅与相机拍摄的配合，严重降低了数字化的速度。 

现有的两种数字化方法，都需要页面切换与页面扫描在每一张文档扫描时进行配合，这种方式严重影响了纸质文档的数字化速度。特别是对于装订好的纸质文档，在不拆页时，这两种数字化扫描系统工作效率都很低，数字化速度极慢，严重限制了现有传统文档的信息化进程。因此急需开发一种高效的纸质文档扫描系统与方法，实现纸质文档特别是已经装订好的纸质文档的高效扫描问题，尽快将传统纸质文档转化为数字信息资源。 

发明内容

本发明所要解决的技术问题是：解决上述传统纸质文档扫描系统与方法存在的问题，而提供一种连续视频图像处理的纸质文档扫描仪及扫描方法，能够高效准确的对纸质文档特别是已经装订好的纸质文档进行数字化扫描，将纸质文档快速转化为方便网络利用和共享的数字信息资源。 

本发明采用的技术方案是：这种连续视频图像处理的纸质文档扫描仪，由工作台、视频摄像机及处理机组成，工作台面上铺设特定颜色和标识的衬垫，视频摄像机与处理机连接，纸质文档放置在工作台衬垫指定位置，视频摄像机安装在工作台上方，视频摄像头向下拍摄工作台场景，视频摄像机输出拍摄的视频信号连接至处理机，处理机对视频图像进行连 续处理，输出数字化文件，并将处理结果连接显示在显示器上。 

上述技术方案中，所述的处理机采用PC机、DSP或工控机。 

上述技术方案中，所述的特定颜色和标识的衬垫，指衬垫采用不透明材料，能更换，材料颜色采用与纸质文档反差较大的颜色，一般采用黑色不反光材料，并在衬垫上标识出各种规范的页面框，以指示纸质文档的放置位置。 

上述技术方案中，所述的处理机包括有依次连接的单帧图像提取模块、文档区域提取模块、页面区域分割模块、变形校正模块、数字文档组织模块；视频摄像机采集的连续视频通过这些模块的连续处理就可以得到较高质量的数字文件，还可以与OCR模块连接，实现数字文件的字符识别。 

本发明的连续视频图像处理的纸质文档扫描方法为，在工作台上方安装摄像机，由摄像机拍摄工作台视频，将视频传输到处理机进行处理，输出数字文件；具体处理步骤为： 

（1）通过视频摄像头采集拍摄工作台上包含纸质文档页面的连续视频；

（2）单帧图像提取：从连续视频中自动提取出具有最佳质量的纸质文档图像；

（3）文档区域分割：从纸质文档图像中自动提取出纸质文档对应的区域，去除工作台背景影响；

（4）单页文档分割：从纸质文档区域中自动分割出纸质文档单页区域；

（5）变形校正模块：对单页图像进行变形校正，校正拍摄过程文档页面的变形；

（6）连续工作得到文档每页对应的高质量图像，进行组织后输出数字化文档，并可以与OCR系统连接，得到字符识别后的数字文件。

上述的单帧图像提取步骤是：从视频中提取对应翻阅一次翻书动作的最佳质量图像，去除连续视频中对应同一文档页面的重复视频帧，其输出结果为包含文档页面和工作台背景信息的一幅图像，称之为文档图像，保证得到的文档图像包含纸质文档所有的页面信息，并且不重复；基本方法是通过连续视频帧间差异以及纸质文档区域质量评价函数，自动取出一帧质量最好的作为纸质文档页的输出结果图像。 

上述的文档区域分割步骤是：从文档图像中分割出纸质文档页面对应的图像区域，包含有纸质文档两页的信息，称之为页面图像，页面图像去除了工作台背景影响，只包含纸质文档对应图像；基本方法是利用纸质文档页面区域和衬垫区域在图像亮度和颜色上的差异，设置自适应阈值，对文档图像进行图像分割，从而提取出页面图像。 

上述的单页文档分割步骤是：从页面图像中将纸质文档双页区域分割成两个包含纸质文档一个页面的图像，称之为单页图像，单页图像只包含了文档一页的信息；基本方法是 在获得的页面图像中，利用垂直方向投影方法，利用投影曲线的波峰波谷特性将页面图像分割成两幅单页图像。 

上述的变形校正步骤是：校正因为纸质文档厚度带来的扫描图像存在的扭曲现象，基本方法是首先对单页图像进行垂直方向像素差累加投影，找出图像文字部分的左边缘，用以确定每行文字的标准坐标；按照这些坐标范围确定数条行基准线作为文字矫正参照线，再提取出每个文字的位置，按照校正参照线进行调整，实现变形校正。 

本发明成功的研制了一种高效率、高质量、自动化程度高的新型纸质文档数字化扫描系统与方法，能够对纸质文档，特别是已经装订好的纸质文档进行快速扫描，通过连续视频采集的方式，不需要人工与页面扫描的配合，通过机器的智能、自动处理，从连续视频中自动提取出每一页文档对应图像，并进行校正等质量提升工作，能够实现高速的数字化扫描处理，提高纸质文档的扫描速度和精度。 

附图说明： 

图1为本发明系统实施例1结构图；

图2为本发明系统实施例2结构图；

图3为本发明系统模块图；

图4为处理机处理流程图。

图中，1-工作台，2-视频摄像机，3-处理机，4-显示器，5-支架。 

具体实施方式：

参见图1、图2、图3，本发明的基于连续采集与处理的纸质文档扫描仪，系统由工作台1、视频摄像机2及处理机3构成，工作台面上铺设特定颜色和标识的衬垫，视频摄像机与PC机或者DSP连接，拍摄工作台上视频，由PC机或者DSP对拍摄视频进行处理。工作过程中，纸质文档放置在工作台衬垫指定位置，已经装订好的文档由人工或者机械逐页翻阅，单张未装订文档则由人工或者机械逐页放置。视频摄像头安装在工作台上方，并向下拍摄工作台场景，从而获得包含有纸质文档页面内容的连续视频，为后续视频图像处理提供原始素材。采集的视频传输到PC机或者DSP，由PC机或者DSP进行连续处理，从视频中提取出纸质文档页面对应图像，从而完成纸质档案扫描任务。

上述技术方案中，视频摄像机安装在工作台上方合适高度，安装高度可调节，摄像机垂直向下拍摄，拍摄工作台面上的视频，工作台面放置与待扫描纸质文档反差较大的衬垫。 

参见图1、图2，其信号流程及信号处理过程如下： 

1、视频摄像机采集工作台面上视频信息，如果采用模拟摄像机，经过视频采集卡将图像的模拟信号转换为可编程处理的数字信号并经过压缩编码传输到到PC机，如果采用数字摄像机，则通过网络接口将摄像机输出数字视频传输到PC机。

2、PC机对输入的视频进行显示、存储和处理： 

(1)显示：将工作台面上的视频信号显示到相应的视频窗口，以便对扫描工作进行实时监控；

(2)存储：将工作台面视频信号进行缓存，以便像处理程序调用；

(3)处理：通过处理输入的工作台面视频，实现对视频中纸质文档页面图像区域的自动提取与校正，处理步骤如图3所示，并将处理结果显示输出到输出窗口。

3、PC机提供用户界面可以对扫描过程进行设置与交互，对视频处理结果进行进一步处理，包括与OCR模块连接、页面重组打包等操作，最终形成纸质文档数字化文件，存储到合适位置。 

图2所示的实施例2的信号流程和处理过程与实施例1类似，不同之处是： 

1、来自工作台面的视频信息直接进入DSP，由DSP完成实例1中PC机的全部功能。

下面结合附图对本发明技术方案的具体实施方式作进一步详细说明。 

（一）系统总体结构 

本发明的硬件实现实例如图1、图2所示，由工作台、视频摄像机、处理机、显示器以及其他辅助设备构成，视频摄像机采集工作台上包含纸质文档页面的视频信号，处理机可以是PC机、工控机或者DSP，实现对工作台采集视频的处理，显示器输出采集视频和处理结果，辅助设备完成辅助照明、连接线和数据存储等工作。

处理机通过对采集视频的处理完成对纸质文档的数字扫描工作，处理步骤包括摄像头视频数据接收模块、数据显示模块、文档图像提取模块、页面图像分割模块、单页图像分割模块、变形校正模块、数字文档组织模块、存储模块，以及与其他系统的接口等，如图3所示。 

（二）摄像机安装 

视频摄像机安装在可调节摇臂上，位置在工作台上方，垂直向下拍摄工作台面上视频，采集包含有纸质文档页面的实时视频信号。视频摄像机安装位置可以根据纸质文档页面大小通过调节摇臂高度来调整，保证摄像机拍摄视频质量。

视频摄像机拍摄的实时视频通过处理机视频窗口实时显示，帮助操作人员调节视频 摄像机安装位置和参数。 

（三）视频处理 

如图4所示，处理机上程序对视频摄像机采集视频进行处理以实现纸质文档的数字化扫描工作。从视频中提取书页图像主要分为两个步骤，一是区分不同的书页，从视频中书籍每一页的重复图像中提取出一帧较容易识别的图像，二是将图像中的书页部分单独选出，按照常用格式储存为数字化文件。

该方法包括以下步骤： 

(1)处理机通过网络接口接收网络视频摄像机采集的工作台面视频信号。

(2)通过检测视频帧间差异，并且定义视频质量评价函数，从连续视频帧中提取具有最高质量的文档图像作为后续处理的基础数据。 

在翻页的过程中视频图像变化较大，而翻到某一页静止时图像变化率很小，因此根据视频图像的变化大小就可以区分不同的书页。 

设视频图像帧序列为{Fi|i=1，...,n}，计算帧间差序列{di|i=1,...,n-1}，其中di=‖Fi+1-Fi‖/Size(Fi)，‖Fi+1-Fi‖表示图像Fi和Fi+1的欧氏距离，Size(Fi)为图像帧的像素总数。设定阈值λ，逐个验证di是否大于λ，若dm>λ，则认为{Fi|i=1,...,m}可能为书页静止时的帧序列，由于帧间差具有波动性，因此需要进一步验证m是否大于阈值β，也就是说只有连续超过β帧图像的帧间差都小于λ才能说明这是一组稳定的书页静止图像。若m≤β则认为{Fi|i=1，...,m}不是稳定的书页图像序列，从第m+1帧开始继续搜索长度大于β且帧间差连续小于λ的书页图像序列；反之则认为{Fi|i=1,...,m}是稳定的书页图像序列，可以从中提取帧间差最小的一帧图像作为书页图像存储以便于后续处理，并认为从第m+1帧开始属于翻页过程的图像帧，继续验证第m+1帧以后各帧的di是否小于等于λ，若dk≤λ，则认为从第m+1帧到第k帧的翻页过程结束，以后的图像为翻页结束后下一页的图像。重复上述过程就可从视频图像序列中提取属于不同书页的图像。 

(3)基于阈值与颜色差异，通过设置自适应阈值，将纸质文档区域与工作台面衬垫区域分割出来，实现从文档图像中提取页面图像的目的。 

提取出的书页图像是双开页形式，图像四周还有背景的黑色，需要进一步处理成只含有书页内容的图像以便于后续的识别。去掉黑色背景可以通过图书尺寸选择预先设定好的方框框住图书的文字部分，然后只选取方框中的图像进行处理，这样做的好处是可以保持每一页提取的页面图像都是相同大小，便于生成数字化文件。 

(4)对于获得的页面图像，在垂直方向上进行积分投影，书脊中心线对应投影曲线上 的中心波谷，通过对波谷的提取实现将页面图像分割成两幅单页图像。 

取出红框中双开页形式的图像后需要把它分割为单独的页面图像，可以通过计算垂直方向的像素差确定书脊范围，从而确定分割线。 

对于图像垂直方向的第j列像素{Pü|i=1,...,h}，h为图像高度，计算第j列相邻像素差的和epj，从而得到图像纵向投影集合{epj|j=1,...,w}，w为图像宽度。 

由于书页图像中部书脊部分一般没有文字，多为单纯的白色或灰色，所以相应的epj都较小，因此设定阈值η，统计集合{epj|j=1,...,w}中小于η的区间，再考虑书脊处于图像中部的性质，从而确定图像中部的书脊区间[a,b]。若图像水平方向中点即mid=w/2处于区间[a,b]中，则以mid为分界点将图像分割为左右两部分单独页面。一般情况下mid应该位于区间[a,b]中，但极少数情况下由于翻书人的操作问题，导致文字区域偏离了上文所述的方框区域，则有可能使mid落在区间[a,b]以外。若mid<a，则取图像的[(a+b)/2-w/2+1,(a+b)/2]区间作为左边页面；取[(a+b)/2+1,w]区间作为右边页面，并在右边页面的右侧补足宽度为(a+b)/2-w/2的白色区域使之成为宽度为w/2的独立页面。若mid>b，则取[1,(a+b)/2]作为左边页面，并在左边页面的左侧补足宽度为w/2-(a+b)/2的白色区域使之成为宽度为w/2的左边页面；取[(a+b)/2+1,(a+b)/2+w/2]区间作为右边页面。 

(5)对于获得的单页图像，由于纸质文档厚度的影响，会造成翻阅时，文档中一行文字中存在行不齐或者扭曲现象，影响了文档扫描的质量，首先对单页图像进行垂直方向像素差累加投影，找出图像文字部分的左边缘，用以确定每行文字的标准坐标。按照这些坐标范围确定数条行基准线作为文字矫正参照线，再提取出每个文字的位置，按照校正参照线进行调整，实现变形校正。 

书页文字矫正对左右页面单独进行。以左边页面为例，首先对图像进行垂直方向像素差累加投影，找出图像文字部分的左边缘，然后从红线开始取图像文字宽度的1/5直到蓝线部分定义为Ω区域，用以确定每行文字的垂直像素坐标。 

对Ω区域图像进行水平方向像素差累加投影，得到投影集合{epi|i=1,...,h}，设定像素差累加阈值β，统计集合{epi|i=1,...,h}中大于β的连续像素区间，去除长度较短的噪声区间，构成区间集合{Sk|k=1,...,n}，每一个区间即代表图像中一行文字所在的垂直像素坐标范围。按照这些坐标范围确定数条行基准线作为文字矫正参照线。 

根据垂直方向的文字区间集合{Sk|k=1,...,n}也可以得到垂直方向相应的行间距集合， 也就能计算出行间距的平均值δ，对每一行文字区间上下分别扩展δ/2的宽度作为每行文字的候选搜索区间。如下图所示，a为每行文字高度，b为扩展δ/2后的文字搜索区间，从每一行文字的左侧开始统计垂直方向每一列高度为b的像素区间内的深色像素数目，如果该数目大于阈值φ，则说明该列像素属于有文字的部分，沿着箭头方向统计出水平方向具有深色像素的连续区间，也就能确定水平方向的文字间隙，结合文字宽度先验信息可以将一行文字分割为单个文字。对于单个文字根据文字深色像素确定文字的上沿和下沿，然后对齐每行文字的矫正参照线。由于文字在水平方向逐渐偏移参照线，所以每一个文字对齐后需要根据该文字的上下沿更新右侧文字的搜索区间，以避免右侧文字落在搜索区间以外影响最终的文字搜索结果。 

(6)对于校正后的单页图像，按照文档页面的先后次序进行组织，生成对于整个文档的数字化文件，并输出到存储设备中。 

Claims (9)

1.一种连续视频图像处理的纸质文档扫描仪，其特征在于：由工作台、视频摄像机及处理机组成，工作台面上铺设特定颜色和标识的衬垫，视频摄像机与处理机连接，纸质文档放置在工作台衬垫指定位置，视频摄像机安装在工作台上方，视频摄像头向下拍摄工作台场景，视频摄像机输出拍摄的视频信号连接至处理机，处理机对视频图像进行连续处理，输出数字化文件，并将处理结果连接显示在显示器上。

2.根据权利要求1所述的连续视频图像处理的纸质文档扫描仪，其特征在于：所述的处理机采用PC机、DSP或工控机。

3.根据权利要求1所述的连续视频图像处理的纸质文档扫描仪，其特征在于：所述的特定颜色和标识的衬垫指衬垫采用不透明材料，能更换，材料颜色采用与纸质文档反差较大的颜色，并在衬垫上标识出各种规范的页面框。

4. 根据权利要求1所述的连续视频图像处理的纸质文档扫描仪，其特征在于：所述的处理机包括有依次连接的单帧图像提取模块、文档区域提取模块、页面区域分割模块、变形校正模块、数字文档组织模块。

5.一种连续视频图像处理的纸质文档扫描方法，其特征在于：在工作台上方安装摄像机，由摄像机拍摄工作台视频，将视频传输到处理机进行处理，输出数字文件；具体处理步骤为：

（1） 通过视频摄像头采集拍摄工作台上包含纸质文档页面的连续视频；

（2） 单帧图像提取：从连续视频中自动提取出具有最佳质量的纸质文档图像； 

（3） 文档区域分割：从纸质文档图像中自动提取出纸质文档对应的区域，去除工作台背景影响；

（4） 单页文档分割：从纸质文档区域中自动分割出纸质文档单页区域；

（5） 变形校正模块：对单页图像进行变形校正，校正拍摄过程文档页面的变形；

（6） 连续工作得到文档每页对应的高质量图像，进行组织后输出数字化文档，并可以与OCR系统连接，得到字符识别后的数字文件。

6.根据权利要求5所述的连续视频图像处理的纸质文档扫描方法，其特征在于：上述的单帧图像提取步骤是：从视频中提取对应翻阅一次翻书动作的最佳质量图像，去除连续视频中对应同一文档页面的重复视频帧，其输出结果为包含文档页面和工作台背景信息的一幅图像，称之为文档图像，保证得到的文档图像包含纸质文档所有的页面信息，并且不重复；基本方法是通过连续视频帧间差异以及纸质文档区域质量评价函数，自动取出一帧质量最好的作为纸质文档页的输出结果图像。

7.根据权利要求5所述的连续视频图像处理的纸质文档扫描方法，其特征在于：上述的文档区域分割步骤是：从文档图像中分割出纸质文档页面对应的图像区域，包含有纸质文档两页的信息，称之为页面图像，页面图像去除了工作台背景影响，只包含纸质文档对应图像；基本方法是利用纸质文档页面区域和衬垫区域在图像亮度和颜色上的差异，设置自适应阈值，对文档图像进行图像分割，从而提取出页面图像。

8.根据权利要求5所述的连续视频图像处理的纸质文档扫描方法，其特征在于：上述的单页文档分割步骤是：从页面图像中将纸质文档双页区域分割成两个包含纸质文档一个页面的图像，称之为单页图像，单页图像只包含了文档一页的信息；基本方法是在获得的页面图像中，利用垂直方向投影方法，利用投影曲线的波峰波谷特性将页面图像分割成两幅单页图像。

9.根据权利要求5所述的连续视频图像处理的纸质文档扫描方法，其特征在于：上述的变形校正步骤是：校正因为纸质文档厚度带来的扫描图像存在的扭曲现象，基本方法是首先对单页图像进行垂直方向像素差累加投影，找出图像文字部分的左边缘，用以确定每行文字的标准坐标；按照这些坐标范围确定数条行基准线作为文字矫正参照线，再提取出每个文字的位置，按照校正参照线进行调整，实现变形校正。

Images