CN102393903A

CN102393903A - 基于三轴加速计的扫描识别装置和方法

Info

Publication number: CN102393903A
Application number: CN2011101996656A
Authority: CN
Inventors: 李永彬
Original assignee: Hanwang Technology Co Ltd
Current assignee: Hanwang Technology Co Ltd
Priority date: 2011-07-15
Filing date: 2011-07-15
Publication date: 2012-03-28
Anticipated expiration: 2031-07-15
Also published as: CN102393903B

Abstract

本发明公开了一种基于三轴加速计的扫描识别装置和方法，涉及图像处理领域。装置包括：光学传感器，用于对被扫描字符进行连续拍摄以得到含有被扫描字符的图像帧序列；三轴加速计，用于测量图像帧序列中的图像帧之间的相对位移；控制模块，根据三轴加速计得到的相对位移对图像帧序列进行下采样，对得到的各采样帧进行拼接，并对拼接得到的全景图像进行字符识别，得到被扫描字符的字符编码。本发明通过三轴加速计测量相邻图像帧之间的位移，并据之对图像帧序列进行准确下采样，在既定窗口中搜索计算相邻采样帧图像的拼接信息，避免了图像帧间、特别是大尺寸图像帧间的大量计算，大大降低了控制模块的负荷，同时提高了拼接速度，实现了高精度配准。

Description

基于三轴加速计的扫描识别装置和方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于三轴加速计的扫描识别装置和方法。

背景技术

电子扫描笔（简称扫描笔）是OCR的重要应用之一。扫描笔的光学摄像头按照一定频率对被扫描资料进行连续拍照，获取被扫描资料的图像帧序列，然后将图像帧序列拼接成一幅全景图像后进行OCR处理。

用户在使用扫描笔扫描时，其扫描速度是变化的，一种典型的使用方式是，在刚刚开始扫描时，扫描笔的扫描速度从零开始逐渐增大，然后达到一个速度峰值，此后速度逐渐下降，直到扫描结束，在保证速度峰值时相邻图像帧之间有一定重叠内容的情况下，扫描速度越低，相邻图像帧之间的重叠内容越多，换言之，当扫描速度较小时，当前图像帧不但与其前一图像帧有重叠内容，而且很可能与其前一帧之前的一个或多个图像帧也有一定的重叠内容，当扫描速度很小时，当前图像帧一定与其前一帧之前的一个或多个图像帧有一定的重叠内容。

另外，随着硬件技术的提高，为了提高扫描笔支持的扫描速度峰值，提高用户的使用感受，可以使用更高采样频率的光学传感器。在当前图像帧与其前一帧之前的一个或多个图像帧也有一定的重叠内容时，特别是对于尺寸较大的图像，每两帧相邻的图像帧进行配准拼接的过程中，需要进行大量计算，占用了硬件资源，降低了整个图像帧序列的拼接速度。

发明内容

本发明的实施例提供一种基于三轴加速计的扫描识别装置和方法，通过三轴加速计对间隔固定位移的图像帧进行下采样，对得到的采样帧根据重叠内容进行拼接，降低了控制模块的处理负荷，提高了整个图像帧序列的拼接速度。

本发明公开了一种基于三轴加速计的扫描识别装置，包括：

光学传感器：用于对被扫描字符进行连续拍摄以得到含有被扫描字符的图像帧序列；所述图像帧序列中每帧图像的内容与前一帧图像的内容部分重叠；

三轴加速计：用于测量图像帧序列中的图像帧之间的相对位移；

控制模块：根据三轴加速计测量得到的相对位移对图像帧序列进行下采样，将被下采样的图像帧作为采样帧，未被下采样的图像帧作为跳过帧，对得到的各采样帧进行拼接，并对拼接得到的全景图像进行字符识别，得到被扫描字符的字符编码。

所述控制模块将图像帧序列中首帧图像作为第一采样帧。

所述控制模块包括：

采样单元，检测所述第一采样帧后的每一图像帧与第一采样帧的相对位移，取相对位移小于既定位移的最后一帧图像作为第二采样帧；

拼接单元：计算第二采样帧与第一采样帧的拼接信息，并将第一采样帧更新为第二采样帧，然后返回采样单元，直至图像帧序列中所有图像帧下采样完毕，根据所有采样帧的拼接信息进行拼接，得到全景图像；所述拼接信息包括拼接方向、水平拼接位移和竖直拼接位移；

识别单元，对拼接得到的全景图像进行字符识别，得到被扫描字符的字符编码。

所述拼接单元计算第二采样帧与第一采样帧的拼接信息时，在以三轴加速计测量得到的相邻采样帧之间的相对位移为中心的既定窗口中搜索，计算相邻采样帧的拼接信息。

所述控制模块将图像帧序列中末帧图像作为第二采样帧。

本发明还公开了一种基于三轴加速计的扫描识别方法，包括如下步骤：

步骤一，对被扫描字符进行连续拍摄以得到含有被扫描字符的图像帧序列，并利用三轴加速计同步测量图像帧序列中图像帧之间的相对位移；所述图像帧序列中每帧图像的内容与前一帧图像的内容部分重叠；

步骤二，根据三轴加速计测量得到的图像帧序列中的图像帧之间的相对位移对图像帧序列进行下采样，将被下采样的图像帧作为采样帧，未被下采样的图像帧作为跳过帧，对得到的各采样帧进行拼接；

步骤三，对拼接得到的全景图像进行字符识别，得到被扫描字符的字符编码。

所述步骤二中，将图像帧序列中首帧图像作为第一采样帧。

所述步骤二包括：

步骤a，检测所述第一采样帧后的每一图像帧与第一采样帧的相对位移，取相对位移小于既定位移的最后一帧图像作为第二采样帧；

步骤b，计算第二采样帧与第一采样帧的拼接信息，然后将第一采样帧更新为第二采样帧，返回步骤a，直至图像帧序列中所有图像帧下采样完毕，根据所有采样帧的拼接信息进行拼接，得到全景图像。

所述步骤二中对得到的各采样帧进行拼接时，在以三轴加速计测量得到的相邻采样帧之间的相对位移为中心的既定窗口中搜索，计算相邻采样帧的拼接信息。

所述步骤二还包括将图像帧序列中末帧图像作为第二采样帧。

所述拼接信息包括拼接方向、水平拼接位移和竖直拼接位移。

本发明公开的一种基于三轴加速计的扫描识别装置和方法，通过三轴加速计测量图像帧之间的位移，特别是对于尺寸较大的图像，避免了利用图像重叠性计算位移的大量计算，大大降低了控制模块的负荷；利用三轴加速计测量相邻图像帧之间的位移，对图像帧序列进行准确下采样，避免了基于预测的下采样方法中的由于预测误差导致的下采样失败，同时大大提高了拼接速度，实现了高精度配准。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于三轴加速计的扫描识别装置的示意图；

图2为本发明基于三轴加速计的扫描识别装置的结构框图；

图3为本发明基于三轴加速计的扫描识别方法的流程图；

图4为本发明基于三轴加速计的扫描识别方法中步骤二的流程图；

图5为本发明基于三轴加速计的扫描识别方法中采样帧和跳过帧的示意图；

图6为本发明基于三轴加速计的扫描识别方法实施例中各图像帧及相关数据的示意图；

图7为本发明基于三轴加速计的扫描识别方法的实施例中全景二值图像;

图8为本发明基于三轴加速计的扫描识别方法的实施例中倾斜校正后的全景二值图像。

图中：1、壳体 2、控制模块 3、电路板 4、电池 5、光学传感器 6、按键 7、存储模块 8、液晶屏 9、USB模块 10、显示单元 11、TTS模块 12、三轴加速计 13、镜头组 14、照明单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开了一种基于三轴加速计的扫描识别装置，如图1、图2所示，包括如下组件：用于封装并固定装置组件的壳体1，用于图像处理及字符识别的控制模块2，用于集成组件的电路板3，用于为装置各组件供电的电池4，用于对被扫描字符进行连续拍摄以得到含有被扫描字符的图像帧序列的光学传感器5，用于触发采集操作的按键6，用于装载字符识别引擎的存储模块7，用于显示输出信息的液晶屏8，用于连接计算机的USB模块9，用于驱动液晶屏8的显示单元10，用于输出语音的TTS模块11和用于测量图像帧序列中的图像帧之间的相对位移的三轴加速计12。

电路板3集成光学传感器5、存储模块7、控制模块2、显示单元10、TTS模块11、USB模块9和三轴加速计12。壳体1封装液晶屏8、电池4、按键6和电路板3。按键6与电路板3上的光学传感器5连接，将控制信号发送到光学传感器5。光学传感器5对被扫描字符进行连续高速拍摄以得到含有被扫描字符的图像帧序列，所述图像帧序列中相邻图像帧内容部分重叠；控制模块2根据相对位移对图像帧序列进行下采样，将被下采样的图像帧作为采样帧，未被下采样的图像帧作为跳过帧，对下采样后得到的各采样帧进行拼接，对拼接得到的全景图像倾斜校正后进行字符识别，得到被扫描字符的字符编码。

如图2所示，电路板3集成控制模块2、存储模块7、光学传感器5、显示单元10、TTS模块11、USB模块9和三轴加速计12。控制模块2分别连接存储模块7、光学传感器5、显示单元10、TTS模块11和三轴加速计12。在控制模块2的控制下，用户通过按键6触发，将控制信号发送到光学传感器5，光学传感器5进行图像信息采集，得到图像帧序列，三轴加速计12检测图像帧序列中的图像帧之间的相对位移，控制模块2根据相对位移对图像帧序列，即对间隔固定位移的图像帧进行下采样，将被下采样的图像帧作为采样帧，未被下采样的图像帧作为跳过帧，对下采样后得到的各采样帧进行拼接，并对拼接得到的全景图像倾斜校正后调用存储模块7中的识别引擎进行字符识别，将识别后形成的被扫描字符的字符编码在存储模块7中进行存储。显示单元10可调用存储在存储模块7中识别出的待扫描字符在液晶屏8上进行显示，控制模块2可根据控制信号将被扫描字符的字符编码发送到TTS模块11，由TTS模块11输出语音。

如图1所示，本发明还包括，用于摄取图像信息的镜头组13；用于照明待扫描字符的照明单元14。所述镜头组13的焦距为5至7mm，光圈10以上，保证了镜头组13达到的景深为30至50mm，可以有效的将文字信息进行扫描，保证了良好的应用效果。当用户进行扫描时，照明单元14处于开启状态，照明单元14发出光束并在被扫描字符上形成光斑，同时镜头组13将照明单元14定位的图像信息摄取到集成于电路板3上的光学传感器5上，光学传感器5对被扫描字符进行连续拍摄，得到含有被扫描字符的图像帧序列，所述图像帧序列中相邻图像帧内容部分重叠。三轴加速计12测量图像帧序列中的图像帧之间的相对位移，控制模块2根据扫描速度对图像帧序列进行下采样。

控制模块包括拼接单元、采样单元和识别单元。

拼接单元：计算第二采样帧与第一采样帧的拼接信息，将拼接信息保存，并将第一采样帧更新为第二采样帧，然后返回采样单元，直至图像帧序列中所有图像帧下采样完毕，根据所有采样帧的拼接信息进行拼接，得到全景图像；所述拼接信息包括拼接方向、水平拼接位移和竖直拼接位移；

拼接单元计算第二采样帧与第一采样帧的拼接信息时，根据三轴加速计测量得到的相邻采样帧之间的相对位移在既定窗口中对采样帧进行配准，利用配准所得的拼接信息对采样帧进行拼接。

控制模块将被下采样的图像帧作为采样帧，未被下采样的图像帧作为跳过帧，对下采样后得到的各采样帧进行拼接，将拼接得到的全景图像倾斜校正后进行字符识别，得到被扫描字符的字符编码并存储到存储模块中。

本发明还公开了一种基于三轴加速计的扫描识别方法，如图3所示，包括如下步骤：

步骤一，对被扫描字符进行连续拍摄以得到含有被扫描字符的图像帧序列，并利用三轴加速计同步测量图像帧序列中图像帧之间的相对位移；所述图像帧序列中相邻图像帧内容部分重叠；

采用本发明所述装置扫描待扫描字符时，控制模块2将控制信号发送到光学传感器5和三轴加速计12，在扫描待扫描字符时，光学传感器5同步对文本页中的被扫描字符进行连续拍摄，以得到含有被扫描字符的图像帧序列，图像序列中相邻图像帧的内容部分重叠，同时通过三轴加速计测量图像帧之间的相对位移。

步骤二，根据三轴加速计测量得到的图像帧序列中的图像帧之间的相对位移对图像帧序列进行下采样，将被下采样的图像帧作为采样帧，未被下采样的图像帧作为跳过帧，对得到的各采样帧进行拼接。

如图4所示，步骤二包括如下步骤：

扫描识别装置获取的整个图像帧序列被划分为跳过帧和采样帧，对图像帧序列的第一帧进行特殊处理，即将图像帧序列中首帧图像作为第一采样帧，与第一采样帧的相对位移小于既定位移的最后一帧图像作为第二采样帧。如图5所示，其第一帧作为第一采样帧，与第一采样帧对应的跳过帧的数目根据三轴加速计检测到的图像帧之间的相对位移确定，与第一采样帧间隔的相对位移小于既定位移D的最后一帧图像作为第二采样帧，第二采样帧与第一采样帧之间的跳过帧数目可以为多帧，也可以为0。

本实施例中相关的各图像帧如图6所示，具体包括图像帧序号、图像帧、三轴加速计测得的水平拼接位移、三轴加速计测得的竖直拼接位移、三轴加速计测得的拼接方向及帧属性。其中，水平拼接位移和竖直拼接位移合成后得到两图像帧的相对位移。拼接方向共有四个取值，分别为右下、右上、左下、左上，帧属性有两个取值，分别为采样帧和跳过帧，对图像帧中的采样帧进行拼接，对跳过帧直接不作处理。在本实施例中，各图像帧的大小为120×80，下采样频率为120帧/秒。在本实施例中，为方便叙述，图像帧序号为X的图像帧称为第X图像帧。

在本实施例中，如图6所示的图像帧序号为1的图像帧为本实施例中图像帧序列的第一帧。将图像帧序列中首帧图像作为第一采样帧，由于本实施例中中，图像序列为从左向右扫描获得，故只通过水平方向位移来进行采样，既定位移设为40，即将与第一采样帧的相对位移小于40的最后一帧图像作为第二采样帧。第11帧图像相对于第1帧图像的水平位移为39，竖直位移为2，位移方向为右下，第12帧图像相对于第1帧图像的水平位移为44，竖直位移为1，位移方向为右下，则由于第11图像帧为与第1图像帧的相对位移小于既定位移40的最后一帧图像，故以第11图像帧为第二采样帧，序号为2至10的图像帧为跳过帧，二者之间的水平位移为39，竖直位移为2，位移方向为右下。

步骤b，计算第二采样帧与第一采样帧的拼接信息，然后将第一采样帧更新为第二采样帧，返回步骤a，直至图像帧序列中所有图像帧下采样完毕，根据所有采样帧的拼接信息进行拼接，得到全景图像。所述拼接信息包括拼接方向、水平拼接位移和竖直拼接位移。

由于通过三轴加速计测量得到的相邻采样帧之间的拼接位移可能存在一定偏差，为了得到精确的拼接信息，在对得到的各采样帧进行拼接时，在以三轴加速计测量得到的相邻采样帧之间的相对位移为中心的既定窗口中对采样帧进行配准，具体为在第二采样帧和第一采样帧中选取参考点，并在第一采样帧中以第二采样帧和第一采样帧的相对位移为中心取既定窗口，将第二采样帧在既定窗口中逐像素点进行配准，计算既定窗口内各像素点对应的拼接系数，将拼接系数的最大值对应的像素点处的拼接信息作为第二采样帧相对于第一采样帧的拼接信息。

拼接系数即为二值化后的两图像帧在重叠区域中重合的黑像素点数目除以重叠区域中黑像素点总数的值。本实施例中，根据三轴加速计测量得到的第11帧图像相对于第1帧图像的水平位移为39，竖直位移为2，位移方向为右下，以相对于第1帧图像的水平位移为39，竖直位移为2的对应坐标点为中心点，在11×11的既定窗口中搜索，计算既定窗口中的各像素点的拼接系数，得到拼接系数的最大值为0.8704，则将该点对应的拼接信息，即水平位移42、竖直位移3及位移方向右下，作为第二采样帧相对于第一采样帧的拼接信息，然后返回步骤a；直至图像帧序列中所有图像帧下采样完毕，特别的，图像序列中的末帧图像作为第二采样帧。最后，根据图像序列中所有采样帧的拼接信息拼接得到全景图像，本实施例中，最终获取的全景二值图像如图7所示。

控制模块调用存储模块中的字符识别引擎对拼接得到的全景图像进行识别，在字符识别之前首先对拼接得到的全景图像进行倾斜校正，如图8所示，将全景图像中的各字符形成水平文字行后再调用字符识别引擎进行识别，得到被扫描字符的字符编码。识别后形成的被扫描字符的字符编码在存储模块中进行存储。显示单元可调用存储在存储模块中识别出的待扫描字符在液晶屏上进行显示，控制模块可根据控制信号将被扫描字符的字符编码发送到TTS模块，由TTS模块输出语音。

本发明公开了一种基于三轴加速计的扫描识别装置和方法，通过三轴加速计测量图像帧之间的相对位移，特别是对于尺寸较大的图像，避免了利用图像重叠性计算位移的大量计算，大大降低了控制模块的负荷；利用三轴加速计测量相邻图像帧之间的位移，对图像帧序列进行准确下采样，避免了基于预测的下采样方法中的由于预测误差导致的下采样失败，同时大大提高装置的拼接速度，实现了高精度配准。

以上对本发明所提供的一种基于三轴加速计的扫描识别装置和方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于三轴加速计的扫描识别装置，其特征在于，包括：

光学传感器：用于对被扫描字符进行连续拍摄以得到含有被扫描字符的图像帧序列，所述图像帧序列中每帧图像的内容与前一帧图像的内容部分重叠；

2.根据权利要求1所述的装置，其特征在于：所述控制模块将图像帧序列中首帧图像作为第一采样帧。

3.根据权利要求2所述的装置，其特征在于：所述控制模块包括：

4.根据权利要求3所述的装置，其特征在于：所述拼接单元计算第二采样帧与第一采样帧的拼接信息时，在以三轴加速计测量得到的相邻采样帧之间的相对位移为中心的既定窗口中搜索，计算相邻采样帧的拼接信息。

5.根据权利要求3所述的装置，其特征在于：所述控制模块将图像帧序列中末帧图像作为第二采样帧。

6.一种基于三轴加速计的扫描识别方法，其特征在于，包括如下步骤：

7.根据权利要求6所述的方法，其特征在于：所述步骤二中，将图像帧序列中首帧图像作为第一采样帧。

8.根据权利要求7所述的方法，其特征在于：所述步骤二包括：

9.根据权利要求6所述的方法，其特征在于：所述步骤二中对得到的各采样帧进行拼接时，在以三轴加速计测量得到的相邻采样帧之间的相对位移为中心的既定窗口中搜索，计算相邻采样帧的拼接信息。

10.根据权利要求7所述的方法，其特征在于：所述步骤二还包括将图像帧序列中末帧图像作为第二采样帧。

11.根据权利要求8所述的方法，其特征在于：所述拼接信息包括拼接方向、水平拼接位移和竖直拼接位移。