CN101799828A - 一种用于视频点读机的基于透视变换的书本查找方法 - Google Patents

Abstract

一种用于视频点读机的基于透视变换的书本查找方法，包括步骤：1)利用视频摄像头实时采集单帧书本封面图像并输入微处理器；2)对目标封面和图库参考封面图像分别提取书本封面边缘轮廓；3)利用书本封面的边缘轮廓分别提取目标封面和图库参考封面的特征点；4)将目标封面和图库参考封面灰度进行归一化；5)对目标封面和图库参考封面图像进行透视匹配；6)计算得到目标封面和图库中每一参考封面图像的相似度；7)从而实现用于视频点读机的基于透视变换的书本查找功能。本发明的优点是：基于透视变换的书本封面查找方法简单、实用，实现了点读机书本的自动选择。

Description

一种用于视频点读机的基于透视变换的书本查找方法

技术领域

本发明涉及一种书本查找方法，尤其涉及一种用于视频点读机的基于透视变换的书本查找方法。

背景技术

点读机作为现代数码信息技术与最新教学需求完美结合的一种有声互动学习产品，已经迅速进入了国内市场，并发展成为国内儿童早期教育的主要学习工具之一。各种应用于完善点读机功能的技术方法也在不断更新发展。

目前流行的点读机书本选择功能是用于动选择来实现，其具体步骤是：在点读机的“功能模块”中，选择“选书”按钮，进入显示屏中的选书列表，通过滚动选书列表来选择所要找的书本书名信息，实现了选书功能。利用这种方法实现的点读机选书功能，优点是选书准确、操作简单。但是由于点读机所包含的书本数量较多，通过人工手动滚动选书列表来进行逐一查找，这样使得选书操作繁琐费时，增加了选书工作量，给用户的选书操作带来了不便。

发明内容

本发明的目的在于提供一种用于视频点读机的基于透视变换的书本查找方法，该查找方法简单、实用，实现了点读机书本的自动选择。

本发明是这样来实现的，其特征是方法步骤为：

(1)利用视频摄像头实时采集单帧书本封面图像并输入微处理器；

(2)先利用边缘检测算子和阈值分割法将图像二值化，再采用图像膨胀与腐蚀、图像滤波和最大连通域法排除背景噪声干扰，对目标封面和图库参考封面图像分别提取书本封面边缘轮廓；

(3)利用书本封面的边缘轮廓分别提取目标封面和图库参考封面的特征点；

(4)在书本封面轮廓区域内，将目标封面和图库参考封面灰度进行归一化，采用传统的灰度归一化方法建立目标封面和图库参考封面图像匹配的统一光照强度标准；

(5)根据提取的目标封面和图库参考封面的特征点，先利用透视变换法对目标封面进行坐标变换，再利用双线性插值法获得目标封面的像素灰度值，最后利用中值滤波法平滑目标封面图像，完成目标封面和图库参考封面的图像进行透视匹配；

(6)利用基于灰度的图像匹配方法，计算得到目标封面和图库中每一参考封面图像的相似度；

(7)根据图像相似度，利用极小值原则进行目标封面查找，输出查找到的书名信息，从而实现用于视频点读机的基于透视变换的书本查找功能。

所述目标封面和图库参考封面分别为微处理器控制摄像头单帧采集的书本封面图像和微处理器中已存储的书本封面图库中的书本封面图像。

本发明的优点是：利用最大连通域法有效排除了噪声和其他非目标物体的干扰；利用灰度归一化方法排除光照强度的影响；利用图像透视变换实现目标封面和图库参考封面图像的几何归一化；利用视频摄像头和微处理器实现了用于视频点读机的基于透视变换的书本查找功能。基于透视变换的书本封面查找方法简单、实用，实现了点读机书本的自动选择。

附图说明

图1为本发明的工作流程图。

具体实施方式

本发明方法要求用简单支架支撑普通广角摄像头使之能够垂直拍摄，拍摄的场景中只有单一的书本，且能够完全包含该书本的整个封面，同时，场景中的书本不能是倒置或横置的，场景中的背景为普通的任意单色桌面。微处理器中应存储参考书本封面的图库及其相应书名和读音信息。

本发明采用如图1所示的用于视频点读机的基于透视变换的书本查找方法的流程图，来实现目标封面在点读机图库中的查找工作，其具体实施步骤如下：

1、目标封面图像采集

将带有支架的摄像头放置在书本正前方的合适位置，实时获取书本封面的视频图像，利用微处理器控制摄像头采集单帧书本封面图像并输入微处理器。

2、目标封面和图库参考封面轮廓提取

对目标封面和图库参考封面图像分别提取书本封面边缘轮廓。其主要步骤如下：

1)利用边缘检测算子提取目标封面和图库参考封面的边缘信息，其中边缘检测算子可用Canny、Robert或Sobel。

2)采用阈值法对图像进行二值化，并采用图像膨胀与腐蚀、图像滤波和最大连通域法排除背景噪声干扰，准确提取目标封面和图库参考封面的边缘轮廓。

3、目标封面和图库参考封面特征点提取

利用第2步提取的书本封面的边缘轮廓，采用扫描法和两次最小二乘拟合法得到目标封面和图库中每张参考封面的边缘直线方程，提取出目标封面和图库中每张参考封面对应的四对顶点，作为透视变换的特征点。其中对书本封面特征点提取的主要步骤如下：

1)通过扫描法提取书本封面的四条边缘点集，并利用最小二乘拟合法拟合得到四条边缘直线方程。

2)计算各个边缘点集中每点到相应拟合直线的距离，并按从小到大排序，去除点集中距离远的二分之一的点，排除噪声点的影响。

3)利用各个边缘点集中剩余的点，再次利用最小二乘拟合法拟合得到四条边缘直线方程。

4)利用四条边缘直线方程，提取出书本封面的四个顶点作为透视变换的特征点。

4、目标封面和图库参考封面灰度归一化

在第2步确定的书本封面边缘轮廓区域内，分别计算目标封面及图库中每张参考封面图像中三基色对应的各个灰度分量的灰度期望和灰度方差，采用灰度归一化方法将目标封面和图库参考封面灰度进行归一化。

灰度归一化方法如下：

假设书本封面图像I大小为N×N，令G(i，j)为像素点(i，j)的灰度值，M和VAR分别为书本封面图像灰度期望和灰度方差，G′(i，j)为像素点(i，j)归一化后的灰度值。对所有像素点归一化后书本封面图像的灰度期望和灰度方差接近于给定的灰度期望M₀和灰度方差VAR₀，本发明中M₀和VAR₀为某一定值，灰度归一化处理公式如下所示：

$G^{\′}(i,j)=\left\{\begin{array}{c}{M}_0+\sqrt{\frac{{\mathrm{VAR}}_0{(G(i,j)-M)}^2}{\mathrm{VAR}}},(G(i,j)>M)\\ M_0-\sqrt{\frac{{\mathrm{VAR}}_0{(G(i,j)-M)}^2}{\mathrm{VAR}}},(G(i,j)\≤M)\end{array}\right.$

其中： $M=\frac{1}{N^2}\underset{i=0}{\overset{N-1}{\text{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}G(i,j),$ $\mathrm{VAR}=\frac{1}{N^2}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{[G(i,j)-M]}^2.$

5、目标封面和图库单张参考封面透视匹配

根据第3步提取的目标封面和图库中每张参考封面的四对特征点，利用图像透视变换法，对目标封面和图库单张参考封面进行透视匹配，实现书本封面几何归一化。其主要步骤如下：

1)利用透视变换法对目标封面进行坐标变换，把目标封面变换到和图库参考封面有同样尺寸大小和几何位置的坐标空间中。其转换公式如下所示：

$\left\{\begin{array}{c}{x}^{\′}=\frac{\mathrm{ax}+\mathrm{by}+c}{\mathrm{gx}+\mathrm{hy}+1}\\ y^{\′}=\frac{\mathrm{dx}+\mathrm{ey}+f}{\mathrm{gx}+\mathrm{hy}+1}\end{array}\right.$

其中：(x，y)是目标封面图像坐标系中的像素坐标，(x′，y′)是变换后对应于图库参考封面图像坐标系中相应的像素坐标。a，b，c，d，e，f，g和h是变换系数，可通过提取的目标封面和图库中每张参考封面的四对特征点，代入以上公式解方程组而求出。

2)利用双线性差值法，获得经过坐标变换的目标封面图像的像素灰度值。

3)利用中值滤波法对透视变换后的目标封面图像进行平滑处理，去除了噪声干扰。

6、封面图像的相似度计算及结果保存

利用第4步计算得到的灰度期望，并在第5步对目标封面和图库单张参考封面进行透视变换基础上，将目标封面与图库参考封面的图像灰度分量中灰度期望差值最大的灰度分量进行差分，利用基于灰度的图像匹配方法，计算出目标封面和图库中每张参考封面的相似度并保存结果。

相似度计算方法如下：

假设书本封面大小为为N×N，目标封面与图库中第k张参考封面的相似度R_k的计算公式如下所示：

$R_k=\frac{1}{N^2}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{[G(i,j)-G_k(i,j)]}^2$

其中：G(i，j)和G_k(i，j)分别为目标封面和图库中第k张参考封面在像素点(i，j)的灰度分量值。

7、是否完成和所有参考封面的匹配计算

判断目标封面是否完成和图库中所有参考封面的匹配计算，若完成匹配计算，则执行下一步；若没有完成，则取下一张参考封面图像再次执行第5、6、7步。

8、书本查找功能实现

在第7步判断完成目标封面和图库中所有参考封面的匹配计算的基础上，利用极小值原则进行目标封面查找。将计算得到的数值最小的相似度所对应的图库参考封面的书名信息输出，并调出相应书本的点读语音信息，从而实现了用于视频点读机的基于透视变换的书本查找功能。

Claims (2)

1.一种用于视频点读机的基于透视变换的书本查找方法，其特征是方法步骤为：

(1)利用视频摄像头实时采集单帧书本封面图像并输入微处理器；

(2)先利用边缘检测算子和阈值分割法将图像二值化，再采用图像膨胀与腐蚀、图像滤波和最大连通域法排除背景噪声干扰，对目标封面和图库参考封面图像分别提取书本封面边缘轮廓；

(3)利用书本封面的边缘轮廓分别提取目标封面和图库参考封面的特征点；

(4)在书本封面轮廓区域内，将目标封面和图库参考封面灰度进行归一化，采用传统的灰度归一化方法建立目标封面和图库参考封面图像匹配的统一光照强度标准；

(5)根据提取的目标封面和图库参考封面的特征点，先利用透视变换法对目标封面进行坐标变换，再利用双线性插值法获得目标封面的像素灰度值，最后利用中值滤波法平滑目标封面图像，完成目标封面和图库参考封面的图像进行透视匹配；

(6)利用基于灰度的图像匹配方法，计算得到目标封面和图库中每一参考封面图像的相似度；

(7)根据图像相似度，利用极小值原则进行目标封面查找，输出查找到的书名信息，从而实现用于视频点读机的基于透视变换的书本查找功能。

2.根据权利要求1所述的一种用于视频点读机的基于透视变换的书本查找方法，其特征是所述目标封面和图库参考封面分别为微处理器控制摄像头单帧采集的书本封面图像和微处理器中已存储的书本封面图库中的书本封面图像。

Images