CN108810307A - 一种边框页码扫描系统 - Google Patents

Abstract

本发明公开的一种边框页码扫描系统，通过第一提取单元与扫描图像中的黑色线条边框共同作用，实现了扫描图像主体内容的准确定位和提取，抗干扰性强；同时通过第二提取单元对扫描图像中的页码进行识别和提取；通过融合单元将扫描图像主体内容信息与页码信息进行数字化存储，方便后续文件排序和内容检索。

Description

一种边框页码扫描系统

技术领域

本发明涉及智能图像提取技术领域，具体说涉及一种边框页码扫描系统。

背景技术

多数人在工作或者学习中，都会养成选取重要内容并进行随时记录的习惯，传统的纸、笔记录模式虽然有效，但是无法保证资料能够妥善保存。即便保存方式得当，但想要在日积月累的大量笔记文件中找到特定内容，效率较低。随着电子技术的发展以及智能存储设备的普及，出现了通用的手机扫描应用，其从技术角度上说均采取提取边缘，并根据主体页面的内容进行分析提取，方便保存。但是这种通用扫描系统普遍存在页面主体捕捉准确度不高，同时针对存储的大量电子文件依旧存在查找效率低下的问题。

发明内容

鉴于现有技术的不足，本发明的目的是要提供一种以边框和页码为对象，并且能够快速提取纸质页面主体内容并进行有序数字化保存的扫描系统，进一步提高主体捕捉的准确度以及后期使用过程中的检索效率。

一种边框页码扫描系统，包括页面中设置边框限定有效区域的纸质笔记本、内置图像扫描装置的智能移动设备以及对提取内容进行数字化存储的云端服务器；其特征在于，所述智能移动设备包括：

获取扫描图像内主体内容信息的第一提取单元；

获取所述扫描图像内页码信息的第二提取单元；

与所述第一提取单元、第二提取单元通信的融合单元；

以及与所述云端服务器进行数据交互的通信单元；

开始时，使用智能移动设备扫描笔记本内需要保存的页面提取扫描图像；此时第一提取单元提取图像中的边框，并进一步提取所述边框内部的主体内容信息；然后，所述第二提取单元锁定页码在所述扫描图像中的位置并提取页码字符；最后融合单元将所述主体内容信息与所述页码信息融合生成带页码的分割主体文件，由智能移动设备展现并通过所述通信单元发送至云端服务器保存。

基于上述方案，进一步优选的，

所述智能移动设备还包括存储单元，存储所述的主体内容信息、页码信息及带页码的分割主体文件；

当所述融合单元判断所述第一提取单元、第二提取单元对同一扫描对象提取成功时，则将对应的主体内容信息、页码信息及带页码的分割主体文件保存在存储单元中；

当所述融合单元判断所述第一提取单元或第二提取单元对同一扫描对象提取不成功时，智能移动设备提示重新扫描。

基于上述方案，进一步优选的，

所述第一提取单元具体包括：

边框直线提取模块，提取扫描图像中所有边框直线，并根据直线相对于所述扫描图像中心点的位置进行分组，得到上、下、左、右四组边框直线集合；

置信度计算模块，在所述上、下、左、右四组边框直线集合中各任取一条直线组成一个四边形区域，并计算该四边形即为所述边框的置信度，遍历所有可能组合并分别计算相应的置信度；

主体内容信息裁剪模块，选取置信度最大的一组直线的交点作为边框的四个角点，根据角点做仿射变换裁剪出主体内容信息。

基于上述方案，进一步优选的，

所述边框直线提取模块提取扫描图像中所有边框直线的具体步骤包括：

采用hough直线提取方法获取扫描图像中的所有局部直线，对各局部直线分组并利用最小二乘法根本将各组局部直线分别拟合成连接直线；

根据连接直线特征滤除多余的干扰直线，所述连接直线特征包括连接直线数量及连接直线见的欧氏距离。

基于上述方案，进一步优选的，

所述置信度根据以下公式计算：

C＝0.0001×S₀-10×S₁-10×(abs(S₂-0.75))

其中S₀为四边形区域的面积，S₁为该四边形区域的封闭性参数，S₂为该四边形区域的高宽比。

基于上述方案，进一步优选的，

四边形区域的高宽比为3：4。

基于上述方案，进一步优选的，

所述第二提取单元具体包括：

页码信息粗略估计模块，根据边框的四个角点位置锁定页码所在的大区域；

页码信息精细提取模块，对页码所在大区域进行OTSU二值化处理，提取候选字符区域。

基于上述方案，进一步优选的，

所述第二提取单元还包括：

页码识别模块，采用autoencoder方法训练得到中间特征向量Z，其中训练集为实际场景中裁剪出的页面图像块；将Z送入SVM分类器中进行分类，最终得到页码识别结果。

通过上述技术方案，本发明公开的一种边框页码扫描系统，通过第一提取单元与扫描图像中的黑色线条边框共同作用，实现了扫描图像主体内容的准确定位和提取，抗干扰性强；同时通过第二提取单元对扫描图像中的页码进行识别和提取；通过融合单元将扫描图像主体内容信息与页码信息进行数字化存储，方便后续文件排序和内容检索。

附图说明

为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明系统的模块图；

图2为本发明实施例中笔记本页面示意图；

图3为本发明实施例中下方黑色框检测直线示意图；

图4为本发明实施例中直线合并的结果示意图；

图5为本发明实施例中去除干扰直线后的结果示意图；

图6为本发明实施例中页面提取结果示意图。

具体实施方式

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示：一种边框页码扫描系统，系统的基础为现在只能移动设备中广泛使用的摄像装置、拍照装置或者其他类似能够实现图像扫描的装置或者设备，或者能够与常见的智能移动设备如手机等进行通信的智能穿戴设备，比如具有图像扫描功能的智能手表、智能手环等。

系统主要包括页面中设置边框限定有效区域的纸质笔记本、内置图像扫描装置的智能移动设备以及对提取内容进行数字化存储的云端服务器。所述边框可以为直线、双线、虚线以及其他能够作为区域限定标识的分隔图形。本实施例中优选采用黑色直线条构成的矩形边框。如图2所示为纸质笔记本的页面设计示意图，包括黑色的边框和边框下方的页码。页码可以根据实际使用和设计需求设置于其他位置，本实施例中的页码设置于边框正下方，其作用仅为了对本发明的技术方案进行说明而非限制。实际情况中，在没有黑框的情况下，通用型扫描软件扫描本子常常会出现找不到中缝或者受背景干扰严重，而找不到页面主体区域，技术人员由此想到设计一个边框限定出页面的有效位置，同时需要设计一套技术解决方案来找出框，从而切割出页面，此外还设计了页码和实时识别方案。具体技术方案为：

智能移动设备包括：获取扫描图像内主体内容信息的第一提取单元；获取所述扫描图像内页码信息的第二提取单元；与所述第一提取单元、第二提取单元通信的融合单元；开始时，使用智能移动设备扫描笔记本内需要保存的页面提取扫描图像；此时第一提取单元提取图像中的黑色线条边框，并进一步提取所述黑色线条边框内部的主体内容信息；然后，所述第二提取单元锁定页码在所述扫描图像中的位置并提取页码字符；最后融合单元将所述主体内容信息与所述页码信息融合生成带页码的分割主体文件，由智能移动设备展现并通过所述通信单元发送至云端服务器保存。本发明中所述的智能移动设备表示带有入网许可，并使用sim卡的设备，具有发送/接收指令的无线前端模块和无线信号处理模块组成的通信单元。作为优选的实施方式，智能移动设备还包括存储单元，存储所述的主体内容信息、页码信息及带页码的分割主体文件；当所述融合单元判断所述第一提取单元、第二提取单元对同一扫描对象提取成功时，则将对应的主体内容信息、页码信息及带页码的分割主体文件保存在存储单元中；当所述融合单元判断所述第一提取单元或第二提取单元对同一扫描对象提取不成功时，智能移动设备提示重新扫描。

第一提取单元具体包括：

边框直线提取模块，用于提取扫描图像中所有黑色边框直线，并根据直线相对于所述扫描图像中心点的位置进行分组，得到上、下、左、右四组黑色边框直线集合。以页面上黑色边框四条直线中下边框为例，其识别的具体步骤包括：

a.采用hough直线提取方法获取扫描图像中的所有局部直线，对各局部直线分组并利用最小二乘法根本将各组局部直线分别拟合成连接直线。

如图3所示，黑线为本子下部边框线，红线为检测直线的结果，绿色线为干扰直线。可以看到直线是断裂和角度不一的，因而首先需要进行直线的连接。具体来说，记直线集合Lraw为hough检测局部直线的集合。遍历Lraw将直线间角度小于10度(可以根据使用需求任意设定，10度为较佳的实施方案)的直线归并为一组，可以得到若干组分组后的直线，每一组当中存在n根直线，它们之间的角度差异小于10度，总共有2*n个点(一根直线两个点)，根据这2*n个点利用最小二乘法或者其他常用的方法拟合出一根新的直线，这根直线即为连接后的直线。如图4所示为进行上述操作后的合并结果。

b.根据连接直线特征滤除多余的干扰直线，所述连接直线特征包括连接直线数量及连接直线见的欧氏距离。

置信度计算模块，在所述上、下、左、右四组黑色边框直线集合中各任取一条直线组成一个四边形区域，并计算该四边形即为所述黑色矩形线条边框的置信度，遍历所有可能组合并分别计算相应的置信度。置信度根据以下公式计算：

C＝0.0001×S₀-10×S₁-10×(abs(S₂-0.75))

其中S₀为四边形区域的面积，S₁为该四边形区域的封闭性参数，其未各线段端点的距离和，S₂为该四边形区域的高宽比(h/w)，abs表示求绝对值。作为优选的实施方式，四边形区域的高宽比为3：4。由图4可知，每一根黑框线，都会被检测出两条pair直线出来，他们的角度接近平行，角度差小于1度并且中点间的欧式距离小于5px(可根据使用需求设定)，根据这一信息可以进一步滤除多余的干扰直线，得到的结果如图5所示，蓝色线即为提取的边框直线。

主体内容信息裁剪模块，选取置信度最大的一组直线的交点作为黑色矩形线条边框的四个角点，根据角点做仿射变换裁剪出主体内容信息。

基于上述方案，第二提取单元具体包括：

页码信息粗略估计模块，根据黑色矩形线条边框的四个角点位置锁定页码所在的大区域。上述步骤后可以得到黑框的四个端点，根据四个端点可得四个边的长度，分别为Lup、Ldown、Lleft以及Lright。设

r＝Lright/Lleft(右边长比左边长)

定黑色矩形框的中心点为：

X＝(P1.x+P2.x)/2–W*(r-1)

Y＝(P1.y+P2.y)/2+Ldown/30

其中，X为黑色矩形框的中心点的横坐标，Y为黑色矩形框的中心点的纵坐标，P1.x为黑色矩形框下左角点横坐标，P2.x为黑色矩形框下右角点横坐标，P1.y表示黑色矩形框左下角点纵坐标，P12.y表示黑色矩形框右下角点纵坐标，W为经验参数，作为较佳的实施方式这里取200。此时，以黑色矩形框的中心点为中心，做宽为W＝Ldown/7，高为H＝Ldown/14的矩形区域，该区域即为页码所在的大区域。

以上述方案确定的矩形区域为页码的位置的粗估计，该公式考虑了用线性方法消除透视变换带来的影响。

页码信息精细提取模块，对页码所在大区域进行OTSU二值化处理，提取候选字符区域。每一个对象轮廓描述的是一个联通的区域，通常来说一个数字是一个连通域，对连通域构成的点集求取包围框，这一包围框具有面积s和高宽比r的属性设粗估计区域面积为S以这一信息我们限定滤出0.05*S<s<0.2*S并且0.5<r<5的连通区域作为候选字符区域。合并所有候选区域得到精估计的字符区域。字符区域的定位就此完毕。页码和压面分割的主体都会实时地在通过智能移动设备展现出来。如图6所示，为智能移动设备展现出来的页面实例。

以及页码识别模块，采用autoencoder方法训练得到中间特征向量Z，将Z送入SVM分类器中进行分类，最终得到页码识别结果，训练集为实际场景中裁剪出的页面图像块。作为本发明优选的实施方式，共设计了0-192的页码，因而我们总类别数是193。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种边框页码扫描系统，包括页面中设置边框限定有效区域的纸质笔记本、内置图像扫描装置的智能移动设备以及对提取内容进行数字化存储的云端服务器；其特征在于，所述智能移动设备包括：

获取扫描图像内主体内容信息的第一提取单元；

获取所述扫描图像内页码信息的第二提取单元；

与所述第一提取单元、第二提取单元通信的融合单元；

以及与所述云端服务器进行数据交互的通信单元；

开始时，使用智能移动设备扫描笔记本内需要保存的页面提取扫描图像；此时第一提取单元提取图像中的边框，并进一步提取所述边框内部的主体内容信息；然后，所述第二提取单元锁定页码在所述扫描图像中的位置并提取页码字符；最后融合单元将所述主体内容信息与所述页码信息融合生成带页码的分割主体文件，由智能移动设备展现并通过所述通信单元发送至云端服务器保存。

2.根据权利要求1所述的一种边框页码扫描系统，其特征在于，所述智能移动设备还包括存储单元，存储所述的主体内容信息、页码信息及带页码的分割主体文件；

当所述融合单元判断所述第一提取单元、第二提取单元对同一扫描对象提取成功时，则将对应的主体内容信息、页码信息及带页码的分割主体文件保存在存储单元中；

当所述融合单元判断所述第一提取单元或第二提取单元对同一扫描对象提取不成功时，智能移动设备提示重新扫描。

3.根据权利要求1或2所述的一种边框页码扫描系统，其特征在于，所述第一提取单元具体包括：

边框直线提取模块，提取扫描图像中所有边框直线，并根据直线相对于所述扫描图像中心点的位置进行分组，得到上、下、左、右四组边框直线集合；

置信度计算模块，在所述上、下、左、右四组边框直线集合中各任取一条直线组成一个四边形区域，并计算该四边形即为所述边框的置信度，遍历所有可能组合并分别计算相应的置信度；

主体内容信息裁剪模块，选取置信度最大的一组直线的交点作为边框的四个角点，根据角点做仿射变换裁剪出主体内容信息。

4.根据权利要求3所述的一种边框页码扫描系统，其特征在于，所述边框直线提取模块提取扫描图像中所有边框直线的具体步骤包括：

采用hough直线提取方法获取扫描图像中的所有局部直线，对各局部直线分组并利用最小二乘法根本将各组局部直线分别拟合成连接直线；

根据连接直线特征滤除多余的干扰直线，所述连接直线特征包括连接直线数量及连接直线见的欧氏距离。

5.根据权利要求3所述的一种边框页码扫描系统，其特征在于，所述置信度根据以下公式计算：

C＝0.0001×S₀-10×S₁-10×(abs(S₂-0.75))

其中S₀为四边形区域的面积，S₁为该四边形区域的封闭性参数，S₂为该四边形区域的高宽比。

6.根据权利要求5所述的一种边框页码扫描系统，其特征在于，所述四边形区域的高宽比为3：4。

7.根据权利要求1所述的一种边框页码扫描系统，其特征在于，所述第二提取单元具体包括：

页码信息粗略估计模块，根据边框的四个角点位置锁定页码所在的大区域；

页码信息精细提取模块，对页码所在大区域进行OTSU二值化处理，提取候选字符区域。

8.根据权利要求7所述的一种边框页码扫描系统，其特征在于，所述第二提取单元还包括：

页码识别模块，采用autoencoder方法训练得到中间特征向量Z，其中训练集为实际场景中裁剪出的页面图像块；将Z送入SVM分类器中进行分类，最终得到页码识别结果。