CN103327214B - 基于计算机视觉的便携式智能文档影像采集系统及方法 - Google Patents

Abstract

一种基于计算机视觉的便携式智能文档影像采集系统，包括文档影像采集端和影像数据综合处理端；所述文档影像采集端包括便携式折叠成像仪、图像预处理模块、成像参数调节响应模块和数据传输管理模块，数据传输管理模块用于将成像仪采集并经过预处理的数据传输至主机；所述影像数据综合处理端包括分析处理层，所述分析处理层包括视觉开发库、快速边缘检测模块、霍夫变换检测模块、影像几何信息分析模块、智能场景设置模块、自动节选纠偏模块、智能连拍模块以及影像存储模块。以及提供了一种基于计算机视觉的便携式智能文档影像采集方法。本发明成像速度快、占用空间小、成像质量较高。

Description

基于计算机视觉的便携式智能文档影像采集系统及方法

技术领域

本发明涉及计算机视觉领域的文档影像采集技术，尤其是一种便携式智能文档影像采集系统及方法。

背景技术

一图胜千言，在影像改变着社会大众点滴生活的同时，以影像为信息交互载体的应用模式也越来越受到各行各业的青睐。特别是随着网络基础设施的逐步完善，为以影像为导向的应用打造了一条信息数据的高速公路，对影像平台在社会各行各业的推广起到有力的推动作用。通过影像信息的创新形式改变以往高能耗、低效率的运作机制的业务系统如雨后春笋般在传统行业领域被采纳，如电子档案系统、网上审批系统等。

目前作为具有文档影像采集功能而被广泛使用的设备主要还是以扫描类设备为主；而这其中，占比最大的是平板扫描仪（特指需要通过掀盖操作来完成扫描作业的扫描仪），主要用于传统行业窗口岗位的柜面环境，如金融、保险、电力等。扫描类设备作为文档影像采集设备，其在影像质量方面最大的优势在于成像规则、清晰。但平板扫描仪在实际使用过程中主要有如下问题：

1、速度慢（目前市面上的平板扫描仪单次作业时间一般在10-20s），无法获得三维实物的影像效果;

2、占用较多本就不宽裕的业务柜面空间，影响业务环境和效率；

3、需要外置电源，不安全，与绿色、节能的办公理念不符。

发明内容

为了有效解决现有平板扫描仪在具体使用过程中的速度慢、占用空间较大、接线麻烦的不足，且同时保持其在成像质量方面的优势，本发明提出了一种基于计算机视觉的便携式智能文档影像采集系统及方法：通过USB直接供电的便携式文档影像采集端和配套的智能计算机视觉处理技术实现文稿影像的快速、准确、清晰获得。

为了解决上述技术问题采用如下技术方案：

一种基于计算机视觉的便携式智能文档影像采集系统，包括文档影像采集端和影像数据综合处理端；

所述文档影像采集端包括便携式折叠成像仪、图像预处理模块、成像参数调节响应模块和数据传输管理模块，其中便携式折叠成像仪用于文档的原始影像采集；图像预处理模块用于对原始影像进行降噪、自动白平衡、自动曝光操作；成像参数调节响应模块用于响应用户对成像仪的成像参数调节，并根据用户的具体参数对成像传感器加以设置以产生符合用户需求的影像质量；数据传输管理模块用于将成像仪采集并经过预处理的数据传输至主机；

所述影像数据综合处理端包括分析处理层，所述分析处理层包括视觉开发库、快速边缘检测模块、霍夫变换检测模块、影像几何信息分析模块、智能场景设置模块、自动节选纠偏模块、智能连拍模块以及影像存储模块，所述视觉开发库用于支持基础的图像读写操作以及数据矩阵运行；所述快速边缘检测模块用于对影像进行二值化并给出其边缘信息；所述霍夫变换检测模块用于实现直线的快速检测；影像几何信息分析模块用于在边缘信息、直线检测信息基础上完成影像场景中轮廓之类的几何信息的分析，并根据系统给定的预设值判断当前影像是否含有符合要求的文稿以便进行提取、保存等进一步的操作；智能场景设置模块，用于对不同材料影像的特征进行分析，针对性地给其设置不同成像参数；自动节选纠偏模块，用于在影像边缘检测、直线检测、几何信息分析的基础上，完成文稿的节选、纠偏；智能连拍模块，用于以自动节选纠偏为基础，在实现自动连拍功能的同时，能根据纠偏信息过滤操作中噪音；影像存储模块，用于根据用户设置的图像格式完成对应影像数据的保存。

进一步，所述影像数据综合处理端还包括基础架构层，所述基础架构层包括底层设备驱动模块、程序内存管理模块和用户事件响应模块，所述底层设备驱动模块，用于负责主机与文档影像采集端之间的数据传输，确保主机端能从文档影像采集端高效地获得完整、准确的高质量影像数据；程序内存管理模块，用于对影像数据综合处理端的运行内存进行管理，通过合理的分配、回收，实现内存的高效利用；用户事件响应模块，用于响应用户在通过展示交互层的系统参数设置、文档采集模式选择行为。

再进一步，所述影像数据综合处理端还包括展示交互层，所述的展示交互层包括影像实时展示模块、设备信息展示模块、系统参数设置模块、影像编辑处理模块。

所述影像实时展示模块中，设定三种不同的扫描采集模式：全尺寸模式、自定义框选模式、自动节选纠偏模式，全尺寸模式下采集的是完整的、未经任何修改的影像，自定义框选模式下采集的是根据用户自定义的尺寸的影像，而自动节选纠偏模式下则实现了根据实际文稿的大小自动节选并作为最终影像。

一种智能文档影像采集方法，所述采集方法包括如下步骤：

（1）将成像仪放置于水平桌面后；

（2）进行文档影像的实时预览，实现颜色模型、文件格式、成像参数及采集模式选择设置；

（3）将文稿置于成像仪视场内，智能场景设置模块会自动对根据场景影像的图像特征来优化成像参数；若此时选择的是“自动节选纠偏”，自动节选纠偏模块通过对场景影像的几何信息分析后，会在场景影像中对文稿做出明显的标识并通过实时展示区显示；若文稿采集数量较多，智能连拍模块通过连续的自动节选纠偏方式采集影像；

（4）已采集的影像将以缩略图的形式集中展示，并允许对其进行批量的编辑、处理。

本发明的技术构思如下：在文档影像采集端，通过垂直俯拍的形式实现原始影像视频的快速采集，在对原始影像进行白平衡、自动曝光、降噪等处理后，通过数据线传输至主机端，同时响应用户对成像参数的调节。

在影像数据综合处理端，由底层设备驱动负责获得原始视频影像，根据不同的采集模式，采用不同的计算机视觉和图像处理算法，通过对影像的处理、分析，实现自动节选纠偏、智能连拍、智能场景设置等功能。同时，通过简洁的界面，提供必要的成像参数调节及采集模式选择接口，实时展示当前参数环境下的影像效果；集中展示单次作业中采集的影像，允许用户对已其行预览、编辑、删除等后续工作，进一步提高影像采集的便捷性和效率。

本发明的有益效果主要表现在：

（1）采用低功耗的便携式成像仪作为影像数据采集端，通过USB直接供电，无需外接电源，成像速度快（单次扫描成像时间≤1s）；在提高行业用户柜面空间使用率（随用随插，无需固定的位置）的同时，实现绿色环保办公；除文档等平面材料外，可有效获得立体实物的影像。

（2）通过智能场景分析，有效解决目前摄像类设备易受环境光照等因素影响而成像质量不佳的问题，针对不同的扫描材料自动设置不同的成像参数，有效提高了最终的成像质量。

（3）利用计算机视觉技术在影像处理、分析、理解方面的优势，通过分析影像场景的几何信息，实现自动节选纠偏和具有重张检测特性的智能连拍两大功能；用户可以将文档等规则的材料以任意角度随意摆放后“一键式”自动采集，提高了文档影像采集的智能化和效率。

（4）采用人性化的展示交互方式，通过便捷的成像参数设置和采集模式选择，实现了“所见即所得”的作业环境，配以对已采集影像的编辑、处理等同步操作的支持，进一步地提高了文档影像采集的效率和本系统平台的可用性。

附图说明

图1为本系统工作原理简图，其中，a为便携式简易成像仪，b为成像仪视场，c为成像仪放置平面，d为待扫描的文档，e为将文档以任意角度放入成像仪采集区域；f为位于视场内的待采集文档；g为对文档影像实时分析，实现文档自动纠偏及方向纠正；h为显示器，i为经过处理后的最终文档影像；j为成像仪与主机之间的数据线。

图2为本系统整体的技术实现原理框图；

图3为本系统影像数据综合处理端的技术框架图；

图4为智能场景设置的训练、工作原理图，其中，（a）是第一阶段：离线训练，（b）是第二阶段：在线实时设置；

图5为自动节选纠偏算法流程图；

图6为智能连拍算法流程图；

图7为系统展示交互界面示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图7，一种基于计算机视觉的便携式智能文档影像采集系统，包括文档影像采集端和影像数据综合处理端；

所述文档影像采集端包括便携式折叠成像仪、图像预处理模块、成像参数调节响应模块和数据传输管理模块，其中便携式折叠成像仪用于文档的原始影像采集；图像预处理模块用于对原始影像进行降噪、自动白平衡、自动曝光操作；成像参数调节响应模块用于响应用户对成像仪的成像参数调节，并根据用户的具体参数对成像传感器加以设置以产生符合用户需求的影像质量；数据传输管理模块用于将成像仪采集并经过预处理的数据传输至主机；

所述影像数据综合处理端包括分析处理层，所述分析处理层包括视觉开发库、快速边缘检测模块、霍夫变换检测模块、影像几何信息分析模块、智能场景设置模块、自动节选纠偏模块、智能连拍模块以及影像存储模块，所述视觉开发库用于支持基础的图像读写操作以及数据矩阵运行；所述快速边缘检测模块用于对影像进行二值化并给出其边缘信息；所述霍夫变换检测模块用于实现直线的快速检测；影像几何信息分析模块用于在边缘信息、直线检测信息基础上完成影像场景中轮廓之类的几何信息的分析，并根据系统给定的预设值判断当前影像是否含有符合要求的文稿以便进行提取、保存等进一步的操作；智能场景设置模块，用于对不同材料影像的特征进行分析，针对性地给其设置不同成像参数；自动节选纠偏模块，用于在影像边缘检测、直线检测、几何信息分析的基础上，完成文稿的节选、纠偏；智能连拍模块，用于以自动节选纠偏为基础，在实现自动连拍功能的同时，能根据纠偏信息过滤操作中噪音；影像存储模块，用于根据用户设置的图像格式完成对应影像数据的保存。

进一步，所述影像数据综合处理端还包括基础架构层，所述基础架构层包括底层设备驱动模块、程序内存管理模块和用户事件响应模块，所述底层设备驱动模块，用于负责主机与文档影像采集端之间的数据传输，确保主机端能从文档影像采集端高效地获得完整、准确的高质量影像数据；程序内存管理模块，用于对影像数据综合处理端的运行内存进行管理，通过合理的分配、回收，实现内存的高效利用；用户事件响应模块，用于响应用户在通过展示交互层的系统参数设置、文档采集模式选择行为。

再进一步，所述影像数据综合处理端还包括展示交互层，所述的展示交互层包括影像实时展示模块、设备信息展示模块、系统参数设置模块、影像编辑处理模块。

所述影像实时展示模块中，设定三种不同的扫描采集模式：全尺寸模式、自定义框选模式、自动节选纠偏模式，全尺寸模式下采集的是完整的、未经任何修改的影像，自定义框选模式下采集的是根据用户自定义的尺寸的影像，而自动节选纠偏模式下则实现了根据实际文稿的大小自动节选并作为最终影像。

所述影像数据综合处理端分析处理层中的智能场景设置模块，其提出背景及工作原理说明如下：

在本发明中，用于影像数据获取的成像仪属于摄像类设备，其相对于扫描类设备的最大差异之一在于前者的成像环境相比于后者要复杂的多。同样是一张身份证和一张A4文稿，由于扫描类设备具有稳定的成像环境（黑暗环境），两者不会出现影像质量方面很大的差异（如影像亮度不均匀、有反光等）；但对于摄像类设备，就会出现较显著的差异：如在同样的设备参数下，身份证的影像可能会显得亮度过高而A4文稿则显得亮度不够。因此如何最大程度地降低环境因素对影像采集效果的影响就显得意义重大。本发明提出的智能场景设置，旨在通过对一定数量的不同文稿、材料的图像特征（如平均灰度值、直方图结构、Harris特征点等）分析，归纳总结其潜在规律，并利用该规律对后续影像加以判断归类。对于不同类别的文稿、材料，通过优化成像参数来最大程度地确保最终的成像质量。

所述影像数据综合处理端分析处理层中的自动节选纠偏模块，其实现原理如下：

（1）节选纠偏的实现是基于文档在影像场景中的几何信息的，而几何信息的获取、分析、处理均基于影像的二值化结果，因此对于新进入的文档影像，需要给定一个用于二值化的起始阈值T_start、上限阈值T_end。以及步进值T_step。T_start的选取对几何信息的检测结果有直接的影响，一般采用影像灰度图的平均灰度值比较合适。T_end一般取[200,255]之间的值，本发明取220。记T_h=T_start。

（2）用T_h作为阈值对影像灰度图进行二值化，调用快速边缘检测模块，检测其边缘；调用霍夫变换检测模块，对影像二值图的边缘信息进行直线检测。

（3）在（2）的基础上调用影像几何信息分析模块，综合利用影像二值图的边缘信息和直线检测信息，对其进行多边形拟合检测，并记录下其中含有90°内角且面积最大的四边形轮廓，作为备选的文档轮廓结果。

（4）作T_h=T_h+T_step，如果T_h≤T_end，转（2），否则，转（5）。

（5）对备选的文档轮廓结果进行处理，先做近似比较处理，即将长、宽、轮廓中心均相近的两个轮廓作为同一个轮廓处理，然后选取结果中占比最多的作为文档轮廓的最终结果。轮廓结果记录有文档相对于影像场景的相对位置信息。

（6）根据文档轮廓信息，将文档区域从影像场景提取出来并作旋转，旋转的标准是保证文档旋转后能满足日常阅读习惯（文件头向上，从左向右阅读）。

（7）调用影像存储模块，根据用户的文件格式要求对节选、纠偏后的文档影像数据做保存，同时，通知展示交互层对采集影像缩略图执行实时更新。

（8）自动节选纠偏执行完毕。

所述影像数据综合处理端分析处理层中的智能连拍模块，其实现原理如下：

（1）首先引入节选纠偏稳定度观测窗口W（以下简称观测窗口）的概念，其采用环形轮盘的形式记录连续的N_max帧影像的文档节选纠偏检测信息。记R_current为当前帧影像的检测信息，R_previous用于记录最近一次成功获得节选纠偏文档时的检测信息，index是观测窗口的窗口号，作index=-1，并清空W、R_previous。

（2）作index=(index+1)%N_max，采集新的一帧影像，调用自动节选纠偏模块，获得当前帧的检测信息R_current，令W_index=R_current。如果R_current显示当前影像中含有文档，转（3），否则，转（2）。

（3）对R_current、R_previous进行相似性比较，若相似，转（2），并提示“出现重张，请换纸”，否则，转（4）。

（4）对离当前帧最近的N_detect个观测窗口所记录的检测信息，进行相邻窗口两两的相似性比较。每次比较，如果近似，得1分，否则0分，记最终得分为M。

（5）如果M≥N_detect*T_h，转（6），否则，转（2）。其中，T_h为稳定度阈值，小于等于1，一般取[0.75,0.85]之间的值比较合适。

（6）通过R_current显示的文档相对位置信息，从影像场景中提取并旋转文档的影像，调用影像存储模块，并通知交互展示层对已采集影像缩略图作实时更新。记R_previous=R_current，清空观测窗口W。同时，提示用户“获取文档影像成功，请换纸”。

（7）读取下一帧影像，调用自动节选纠偏模块，获得当前帧的检测信息R_current，作R_current与R_previous的相似性比较，若相似，提示“获取文档影像成功，请换纸”，转（7），否则，转（8）。

（8）检查是否结束智能连拍，若是，转（9），否则，转（2）。

（9）智能连拍结束。

本系统作为文档影像采集平台的实际工作场景如图1所示：由放置于水平桌面的成像仪负责影像数据的采集，系统配套软件则运行在主机端，负责对通过USB数据线传输获得的影像进行后续分析处理；在成像仪工作视场范围内，规则的文档材料可以以任意角度摆放，用户通过主机端的程序可以获得自动节选纠偏后的文档影像，实现便捷、高效、智能的文档采集作业。

本发明提出的基于计算机视觉的便携式能文档采集系统包括文档影像采集端以及影像数据综合处理端，系统技术实现原理如图2所示。

文档影像采集端主要采用便携式成像仪，通过俯拍的形式获得文档影像，在经过降噪、自动白平衡等预处理之后，由数据传输模块通过USB数据线传输至影像数据综合处理端。同时文档影像采集端还负责对成像参数调节的响应，成像参数调节的信息由影像数据综合处理端接收并向文档影像采集端传达。

影像数据综合处理端是本系统的核心算法及主要业务逻辑集中体现的部分，是本发明的关键。影像数据综合处理端主要包括基础架构层、分析处理层、展示交互层。基础架构层负责从文档影像采集端获得完整的影像数据，管理程序内存的分配、释放，同时监测用户事件并作及时回应；分许处理层是处理端的核心，利用计算机视觉在影像处理、分析、理解方面的优势，实现了能有效提高不同材料成像质量的智能场景设置功能及对提高系统整体文档采集效率大有益处的自动节选纠偏、智能连拍功能；展示交互层主要负责实时影像的展示，提供成像参数调节、采集模式选择等系统接口，并对单次作业中已采集的影像作集中缩略图展示，允许用户对其进行二次处理，进一步提升了系统作为文档采集平台的便捷性和实用性。

以普通的文稿采集为例，对本发明作详述：本发明提出的一个基于计算机视觉的便携式智能文档影像采集系统，其实现的便携式智能文档影像采集方法包括如下步骤：

（1）将成像仪放置于水平桌面后，通过USB与安装有本发明配套软件的主机相连。

（2）打开软件界面，实现文档影像的实时预览，通过相关接口可以实现颜色模型、文件格式、成像参数及采集模式选择等一些列与影像采集密切相关的设置。

（3）将文稿置于成像仪视场内（可通过系统软件即时查看），此时系统的智能场景设置功能会自动对根据场景影像的图像特征来优化成像参数（对比度、亮度等）；若此时选择的是“自动节选纠偏”，则系统通过对场景影像的几何信息分析后，会在场景影像中对文稿做出明显的标识并通过实时展示区显示。若文稿采集数量较多，可选择额外的智能连拍采集方式（自动节选纠偏的提升），通过连续的自动节选纠偏方式采集影像。

（4）已采集的影像将以缩略图的形式集中展示，并允许对其进行批量的编辑、处理，在确保成像质量的同时，进一步提升系统影像采集的便捷性。

本发明主要用于纸质文档的影像化作业，适用于金融、电信、政府、教育等传统行业以影像为信息载体的生产活动，同时能满足普通家庭对于一般纸质文稿的扫描需求。本发明是传统平板扫描仪在文稿扫描方面有效的替代方案。

Claims (5)

1.一种基于计算机视觉的便携式智能文档影像采集系统，其特征在于：包括文档影像采集端和影像数据综合处理端；

所述文档影像采集端包括便携式折叠成像仪、图像预处理模块、成像参数调节响应模块和数据传输管理模块，其中便携式折叠成像仪用于文档的原始影像采集；图像预处理模块用于对原始影像进行降噪、自动白平衡、自动曝光操作；成像参数调节响应模块用于响应用户对成像仪的成像参数调节，并根据用户的具体参数对成像传感器加以设置以产生符合用户需求的影像质量；数据传输管理模块用于将成像仪采集并经过预处理的数据传输至主机；

所述影像数据综合处理端包括分析处理层，所述分析处理层包括视觉开发库、快速边缘检测模块、霍夫变换检测模块、影像几何信息分析模块、智能场景设置模块、自动节选纠偏模块、智能连拍模块以及影像存储模块，所述视觉开发库用于支持基础的图像读写操作以及数据矩阵运行；所述快速边缘检测模块用于对影像进行二值化并给出其边缘信息；所述霍夫变换检测模块用于实现直线的快速检测；影像几何信息分析模块用于在边缘信息、直线检测信息基础上完成影像场景中轮廓的几何信息的分析，并根据系统给定的预设值判断当前影像是否含有符合要求的文稿以便进行提取、保存等进一步的操作；智能场景设置模块，用于对不同材料影像的特征进行分析，针对性地给其设置不同成像参数；自动节选纠偏模块，用于在影像边缘检测、直线检测、几何信息分析的基础上，完成文稿的节选、纠偏；智能连拍模块，用于以自动节选纠偏为基础，在实现自动连拍功能的同时，能根据节选纠偏检测信息检测重张；影像存储模块，用于根据用户设置的图像格式完成对应影像数据的保存。

2.2.如权利要求1所述的基于计算机视觉的便携式智能文档影像采集系统，其特征在于：所述影像数据综合处理端还包括基础架构层，所述基础架构层包括底层设备驱动模块、程序内存管理模块和用户事件响应模块，所述底层设备驱动模块，用于负责主机与文档影像采集端之间的数据传输，确保主机端能从文档影像采集端高效地获得完整、准确的高质量影像数据；程序内存管理模块，用于对影像数据综合处理端的运行内存进行管理，通过合理的分配、回收，实现内存的高效利用；用户事件响应模块，用于响应用户在通过展示交互层的系统参数设置、文档采集模式选择行为。

3.3.如权利要求1或2所述的基于计算机视觉的便携式智能文档影像采集系统，其特征在于：所述影像数据综合处理端还包括展示交互层，所述的展示交互层包括影像实时展示模块、设备信息展示模块、系统参数设置模块、影像编辑处理模块。

4.4.如权利要求3所述的基于计算机视觉的便携式智能文档影像采集系统，其特征在于：所述影像实时展示模块中，设定三种不同的扫描采集模式：全尺寸模式、自定义框选模式、自动节选纠偏模式，全尺寸模式下采集的是完整的、未经任何修改的影像，自定义框选模式下采集的是根据用户自定义的尺寸的影像，而自动节选纠偏模式下则实现了根据实际文稿的大小自动节选并作为最终影像。

5.5.一种用如权利要求1所述的基于计算机视觉的便携式智能文档影像采集系统实现的智能文档影像采集方法，其特征在于：所述采集方法包括如下步骤：

（1）将成像仪放置于水平桌面后；

（2）进行文档影像的实时预览，实现颜色模型、文件格式、成像参数及采集模式选择设置；

（3）将文稿置于成像仪视场内，智能场景设置模块会自动对根据场景影像的图像特征来优化成像参数；若此时选择的是“自动节选纠偏”， 自动节选纠偏模块通过对场景影像的几何信息分析后，会在场景影像中对文稿做出明显的标识并通过实时展示区显示；若文稿采集数量较多，智能连拍模块通过连续的自动节选纠偏方式采集影像；

（4）已采集的影像将以缩略图的形式集中展示，并允许对其进行批量的编辑、处理。