CN106960184B - 一种书本边框的图像定位方法 - Google Patents

Abstract

本发明公开了一种书本边框的图像定位方法，包括步骤：1）书本图像预处理；2）书本边框上边缘寻找；3）书本边框上边缘左右端点粗定位；4）书本边框上边缘左右端点精定位；5）书本边框下边缘寻找。本发明的优点是，充分利用彩色图像的色彩信息，对低强度的边缘也有较好的检测效果；采用直线扫描法完成书本边缘的快速定位以及书本边缘端点的粗定位；采用直线拟合法完成书本边缘端点的精定位，书本边缘轮廓提取不全时也能完成书本边框的精确定位；具有速度快、精度高、鲁棒性好和环境适应能力强的优点，适合用于各种色彩、桌面背景和光照环境下书本边框的精确定位。

Description

一种书本边框的图像定位方法

技术领域

本发明涉及一种书本边框定位方法，尤其涉及一种书本边框的图像定位方法。

背景技术

随着计算机技术的发展与普及，图像处理技术广泛应用于人类生产和生活中的各个领域。书本识别是图像处理技术应用之一，近年来被广泛应用于儿童早教领域。书本边框定位技术是书本识别技术中最为基础的核心技术，其定位精度影响书本识别精度，对基于书本识别技术的儿童益智产品性能的提升具有重要的意义。

现有的书本边框定位方法主要有三类：(1)基于Hough变换的边框定位方法，根据书本的先验知识，利用Hough变换检测直线的原理找出特定方向的直线，完成书本边框定位，此类方法计算时占用内存多，且易受书本内容和背景的干扰，书本边框定位精度低。(2)基于最大连通域的边框定位方法，通过对图像进行最大连通域检测，获取书本区域，再采用直线拟合方法结合书本的先验知识筛选得到边缘直线，实现书本边框的定位，此类方法的实时性不好，且易受干扰连通域的影响，书本边框定位精度易受背景影响。(3)基于边缘的边框定位方法，采用边缘提取算法提取书本的边缘轮廓，再采用直线拟合方法结合书本的先验知识筛选得到边缘直线，实现书本边框的定位，此类方法的实时性较好，但是对于光照强度低或者不均书本，边框定位效果差，且易受到背景的干扰。

发明内容

本发明的目的在于提供一种书本边框的图像定位方法，采用边缘提取算法分别对R、G和B三通道图像进行边缘提取，并依次进行或运算得到边缘图像，防止低光照强度下书本边缘的丢失；采用直线扫描法寻找出边框的上边缘；根据先验条件进行上边缘左右端点粗定位；采用直线拟合方法对上边缘左右端点进行精定位，提高了书本边框上边缘的定位精度和抗干扰能力。本发明的优点是，充分利用彩色图像的色彩信息，对低强度的边缘也有较好的检测效果；采用直线扫描法完成书本边缘的快速定位以及书本边缘端点的粗定位；采用直线拟合法完成书本边缘端点的精定位，书本边缘轮廓提取不全时也能完成书本边框的精确定位。本发明提供的一种书本边框的图像定位方法解决了现有技术存在的问题，具有速度快、精度高、鲁棒性好和环境适应能力强的优点，适合用于各种色彩、桌面背景和光照环境下书本边框的精确定位。

本发明提供了一种书本边框的图像定位方法，包括以下步骤：

1)书本图像预处理，具体包括以下步骤：

(a)首先将书本彩色图像按R、G和B三色分成三张单通道图像，然后利用Canny算子分别对三张单通道图像进行边缘提取，得到二值化图像；

(b)对步骤(a)得到的三张二值化图像依次进行或运算，得到边缘轮廓图像；

2)书本边框上边缘寻找，具体包括下述步骤：

(a)构建初始扇形区域，以图像左上角为顶点，以书本图像的x轴为角平分线，构建圆心角为2θ的扇形区域；

(b)构建扇形区域内的扫描直线，以扇形的顶点为起点，以与图像x轴的夹角α为直线倾角，构建一条扫描直线，夹角α以沿图像x轴逆时针旋转方向为正，顺时针为负，夹角范围为α∈[-θ,θ]；

(c)在扇形区域内通过直线扫描获得具有最长连通线段的扫描直线，首先，以与x轴夹角α＝-θ的直线为初始扫描直线，从左至右进行扫描，获得该扫描直线上的最长连通线段；其次，在扇形区域内以Δθ为步长沿逆时针方向构建一条新的扫描直线，直至α＝θ为止，对于每一条扫描直线，重复上述扫描过程，获得每一条扫描直线内的最长连通线段；最后，通过比较得到此扇形区域内具有最长连通线段的扫描直线；

(d)通过平移扇形区域获得书本边框上边缘所在的扫描直线，先将初始扇形区域以Δh为步长沿着图像y轴方向平行下移，直至下移至图像高度的γ倍，其中γ∈(0,1)，当扇形区域每下移一个位置时，重复步骤(c)；再通过比较得到上述所有扇形区域中具有最长连通线段的扫描直线，即书本上边缘包含在该扫描直线中；

(e)旋转原图像并计算图像旋转后的书本边框上边缘，首先，利用步骤(d)得到书本边框上边缘所在的扫描直线，根据该直线与图像x轴夹角α，利用仿射变换原理将图像反向旋转α，使书本边框上边缘与图像坐标的x轴平行；然后，根据旋转图像间y坐标的映射关系计算出旋转后图像上边缘的y轴坐标值y_u，即为图像旋转后书本边框上边缘；

3)书本边框上边缘左右端点粗定位，具体包括下述步骤：

(a)创建矩形扫描区域，以步骤2)得到的书本边框上边缘为矩形水平中位线，以2Δh′为矩形的高，以旋转后图像的宽为矩形的宽，创建矩形扫描区域；

(b)在矩形扫描区域内，利用扫描法得到以矩形区域水平中位线为基准线的有向距离集合，首先，沿矩形区域的水平方向从左至右进行扫描；其次，在每一个水平位置，沿垂直方向从上至下进行扫描，记录边缘点到水平中位线的最近距离，若边缘点在水平中位线上方，则距离为正，若在下方，则距离为负，正好在中位线上则距离为0，如果没有扫描到边缘点，则距离定义为2Δh′；最后，完成整个矩形区域扫描后，得到矩形区域水平中位线的有向距离集合；

(c)提取有向距离集合中的有效线段区域，首先，根据步骤(b)得到的有向距离集合，去除离水平中位线较远的边缘点集；其次，去除较短且连续的边缘点集合；再次，根据方差去除连续且波动较大的点集；最后，得到有向距离集合中的有效线段区域；

(d)上边缘左右端点粗定位，根据步骤(c)保留的有效线段区域，首先，将有效线段区域中具有x坐标最小值的边缘点设为书本边框上边缘的左端点，其次，将有效线段区域中具有x轴坐标最大值的边缘点设为书本边框上边缘的右端点，从而实现了上边缘左右端点粗定位；

4)书本边框上边缘左右端点精定位，具体包括下述步骤：

(a)创建矩形区域，以书本上边缘y_u为矩形的上边，以y＝y_u+Δh″的直线为矩形的下边，以图像宽度为矩形的宽，创建矩形扫描区域；

(b)分别创建左和右矩形扫描区域，以步骤(a)得到的矩形区域的垂直中位线为界，将矩形区域分为左和右矩形扫描区域；

(c)得到书本边框的左右边缘点集，首先，在左矩形扫描区域内，从左至右进行扫描，记录边缘点，得到书本边框的左边缘点集；其次，在右矩形扫描区域内，从右至左进行扫描，记录边缘点，得到书本边框的右边缘点集；

(d)计算得到书本边框的左右边缘直线方程，首先，分别根据书本左和右边框直线的特点，去除左和右边缘点集中的奇异点；其次，对剩余的左和右边缘点集，分别采用最小二乘法进行直线拟合，得到书本边框的左边缘直线方程l_l和右边缘直线方程l_r；

(e)上边缘左右端点精定位，首先，计算左边缘直线方程l_l与边框上边缘直线y＝y_u的交点，即为书本上边缘左端点；其次，计算右边缘直线方程l_r与边框上边缘直线y＝y_u的交点，即为书本上边缘右端点，实现上边缘左右端点精定位；

5)书本边框下边缘寻找，具体包括下述步骤：

(a)左边缘下端点定位，根据步骤4)得到的左边缘直线方程l_l，以y＝y_u+Δh″的点为起点，从直线l_l左边Δd开始水平扫描到其右边Δd处，若存在边缘点，则令y＝y+1继续从直线l_l的左边水平扫描到其右边，直至未扫描到边缘点止，记录上一行的y坐标，即为左边缘下端点；

(b)右边缘下端点定位，根据步骤4)得到的右边缘直线方程l_r，以y＝y_u+Δh″的点为起点，从直线l_r右边Δd开始水平扫描到其左边Δd处，若存在边缘点，则令y＝y+1继续从直线l_r的右边水平扫描到其左边，直至未扫描到边缘点止，记录上一行的y坐标，即为右边缘下端点；

(c)书本边框下边缘定位，比较步骤(a)得到左边缘下端点和步骤(b)得到的右边缘下端点，两者y坐标较大的为书本边框下边缘y_b。

附图说明

图1为本发明的工作流程图。

具体实施方式

本发明方法要求的书本图像一般是以广角镜头俯视拍摄得到的，图像场景中只有单一的书本，且能够完全包含整个书本或者大部分书本，图像中的书本不能倒置或倾斜过大(如：要求倾斜角度|α|≤15°)，书本在图像中的位置应尽量居中、平整，图像背景为普通的任意单色桌面。

本发明采用如图1所示的工作流程图，实现基于图像的书本边框定位，其具体实施步骤如下：

1、书本图像预处理

所述书本图像预处理，是采用边缘提取算法对三通道书本图像提取书本边缘轮廓，具体实施步骤如下：

1)将真彩色图像I_a按R、G和B三色分成三张单通道图像，利用Canny算子分别对三张单通道图像进行边缘提取，得到二值化图像I_r、I_g和I_b；

2)依次将图像I_r、I_g和I_b的每一个像素进行或运算，得到书本边缘图像I_d，具体计算公式为

2、书本边框上边缘寻找

首先，利用直线扫描法寻找边框上边缘所在的扫描直线；然后，根据扫描直线的参数，采用仿射变换旋转图像，使得书本边框上边缘与图像的x轴平行，得到旋转后的书本边框上边缘，其具体实施步骤如下：

1)构建初始扇形区域，以图像左上角为顶点，以书本图像的x轴为角平分线，构建圆心角为2θ的扇形区域；

2)构建扇形区域内的扫描直线，以扇形的顶点为起点，以与图像x轴的夹角α为直线倾角，构建一条扫描直线，夹角α以沿图像x轴逆时针旋转方向为正，顺时针为负，夹角范围为α∈[-θ,θ]；

需要说明的是，本发明实施例中，夹角范围可以为α∈[-15°,15°]；

3)在扇形区域内通过直线扫描获得具有最长连通线段的扫描直线，首先，以与x轴夹角α＝-θ的直线为初始扫描直线，从左至右进行扫描，获得该扫描直线上的最长连通线段；其次，在扇形区域内以Δθ为步长沿逆时针方向构建一条新的扫描直线，直至α＝θ为止，对于每一条扫描直线，重复上述扫描过程，获得每一条扫描直线内的最长连通线段；最后，通过比较得到此扇形区域内具有最长连通线段的扫描直线；

4)通过平移扇形区域获得书本边框上边缘所在的扫描直线，首先将初始扇形区域以Δh为步长沿着图像y轴方向平行下移，直至下移至图像宽度H的γ倍，其中γ∈(0,1)，当扇形区域每下移一个位置时，重复步骤3)；最后，通过比较得到上述所有扇形区域中具有最长连通线段的扫描直线，即书本上边缘包含在该扫描直线中；

5)旋转原图像并计算图像旋转后的书本边框上边缘，首先，利用步骤4)得到书本边框上边缘所在的扫描直线，根据该直线与图像x轴夹角α，利用仿射变换原理将图像反向旋转α，使书本边框上边缘与图像坐标的x轴平行；然后，根据旋转图像间y坐标的映射关系计算出旋转后图像上边缘的y轴坐标值y_u，即为图像旋转后书本边框上边缘；

需要说明的是，具体y坐标映射关系公式如下所示：

式中，α为旋转角度，W′和H′分别为旋转前图像的宽度和高度，H为旋转后图像的高度，y′_u和y_u分别为旋转前和旋转后书本上边缘的y坐标值。

3、书本边框上边缘左右端点粗定位

根据步骤2获得的书本边框上边缘y＝y_u，利用垂直扫描法，在上边缘的邻域扫描，得到有向距离信息；然后，通过计算平均值和方差特征，根据特征值删选直线端点点集，完成书本边框上边缘左右端点粗定位，具体实施过程如下：

1)创建矩形扫描区域，以步骤2得到的书本边框上边缘为矩形水平中位线，以2Δh′为矩形的高，以旋转后图像的宽为矩形的宽，创建矩形扫描区域；

2)在矩形扫描区域内，利用扫描法得到以矩形区域水平中位线为基准线的有向距离集合，首先，沿矩形区域的水平方向从左至右进行扫描；其次，在每一个水平位置，沿垂直方向从上至下进行扫描，记录边缘点到水平中位线的最近距离，若边缘点在水平中位线上方，则距离为正，若在下方，则距离为负，正好在中位线上则距离为0，若没有扫描到边缘点，则距离定义为2Δh′；最后，完成整个矩形区域扫描后，得到矩形区域水平中位线的有向距离集合；

3)提取有向距离集合中的有效线段区域，首先，根据步骤2)得到的有向距离集合，去除离水平中位线较远的边缘点集；其次，去除集合中距离的绝对值小于d_min，且连续长度小于l_min的边缘点集合；再次，根据方差去除连续且波动较大的点集；最后，得到有向距离集合中的有效线段区域；

4)上边缘左右端点粗定位，根据步骤3)保留的有效线段区域，首先，将有效线段区域中具有x坐标最小值的边缘点设为书本边框上边缘的左端点；其次，将具有x轴坐标最大值的边缘点设为书本边框上边缘的右端点，从而实现了上边缘左端点P_ul与右端点P_ur的粗定位。

4、书本边框上边缘左右端点精定位，其具体实施步骤如下：

1)创建矩形区域，根据步骤3得到的书本边框信息，以上边缘y_u为矩形的上边，以y＝y_u+Δh″的直线为矩形的下边，以图像宽度为矩形的宽，创建矩形扫描区域；

2)分别创建左和右矩形扫描区域，以步骤1)得到的矩形区域的垂直中位线为界，将矩形区域分为左和右矩形扫描区域；

3)得到书本边框的左右边缘点集，首先，在左矩形扫描区域内，从左至右进行扫描，得到书本边框的左边缘点集；其次，在右矩形扫描区域内，从右至左进行扫描，得到书本边框的右边缘点集；

4)计算得到书本边框的左右边缘直线方程，首先，分别根据书本左和右边框直线的特点，去除左和右边缘点集中的奇异点；其次，对剩余的左和右边缘点集，分别采用最小二乘法进行直线拟合，得到书本边框的左边缘直线方程l_l和右边缘直线方程l_r；

l_l最小二乘法直线公式如下：

假设左边缘点集有N个数据点，坐标分别为(x_i,y_i)，其中i＝0,1,L,N，采用最小二乘拟合方法可得左边缘直线l_l，其方程为

y＝k_lx+b_l

其中k_l和b_l的计算公式分别为

和

同理可以计算得到右边缘直线方程l_r，其方程为y＝k_rx+b_r；

5)上边缘左右端点精定位，首先，计算左边缘直线方程l_l与边框上边缘直线y＝y_u的交点，即为书本上边缘左端点；其次，计算右边缘直线方程l_r与边框上边缘直线y＝y_u的交点，即为书本上边缘右端点，实现上边缘左右端点P_ul与P_ur精定位。

5、书本边框下边缘寻找，其具体实施步骤如下：

1)左边缘下端点定位，根据步骤4得到的左边缘直线方程l_l，以y＝y_u+Δh″的点为起点，从直线l_l左边Δd开始水平扫描到其右边Δd处，若存在边缘点，则令y＝y+1继续从直线l_l的左边水平扫描到其右边，直至未扫描到边缘点止，记录上一行的y坐标，即为左边缘下端点P_dl；

2)右边缘下端点定位，根据步骤4得到的右边缘直线方程l_r，以y＝y_u+Δh″的点为起点，从直线l_r右边Δd开始水平扫描到其左边Δd处，若存在边缘点，则令y＝y+1继续从直线l_r的右边水平扫描到其左边，直至未扫描到边缘点止，记录上一行的y坐标，即为右边缘下端点P_dr；

3)书本边框下边缘定位，比较步骤1)得到左边缘下端点P_dl和步骤2)得到的右边缘下端点P_dr，两者y坐标较大的为书本边框下边缘y_b。

Claims (5)

1.一种书本边框的图像定位方法，其特征在于具体包括以下步骤：

1)书本图像预处理；

2)书本边框上边缘寻找，计算出旋转后图像上边缘的y轴坐标值y_u，即为图像旋转后书本边框上边缘；

3)书本边框上边缘左右端点粗定位,具体包括下述步骤：

(3.a)创建矩形扫描区域，以步骤2)得到的书本边框上边缘为矩形水平中位线，以2Δh′为矩形的高，以旋转后图像的宽为矩形的宽，创建矩形扫描区域；

(3.b)在矩形扫描区域内，利用扫描法得到以矩形区域水平中位线为基准线的有向距离集合，首先，沿矩形区域的水平方向从左至右进行扫描；其次，在每一个水平位置，沿垂直方向从上至下进行扫描，记录边缘点到水平中位线的最近距离，若边缘点在水平中位线上方，则距离为正，若在下方，则距离为负，正好在中位线上则距离为0，如果没有扫描到边缘点，则距离定义为2Δh′；最后，完成整个矩形区域扫描后，得到矩形区域水平中位线的有向距离集合；

(3.c)提取有向距离集合中的有效线段区域，首先，根据步骤(3.b)得到的有向距离集合，去除离水平中位线较远的边缘点集；其次，去除较短且连续的边缘点集合；再次，根据方差去除连续且波动较大的点集；最后，得到有向距离集合中的有效线段区域；

(3.d)上边缘左右端点粗定位，根据步骤(3.c)保留的有效线段区域，首先，将有效线段区域中具有x坐标最小值的边缘点设为书本边框上边缘的左端点，其次，将有效线段区域中具有x轴坐标最大值的边缘点设为书本边框上边缘的右端点，从而实现了上边缘左右端点粗定位；

4)书本边框上边缘左右端点精定位；

5)书本边框下边缘寻找。

2.根据权利要求1所述的一种书本边框的图像定位方法，其特征在于：步骤1)书本图像预处理具体包括以下步骤：

(a)首先将书本彩色图像按R、G和B三色分成三张单通道图像，然后利用Canny算子分别对三张单通道图像进行边缘提取，得到二值化图像；

(b)对步骤(a)得到的三张二值化图像依次进行或运算，得到边缘轮廓图像。

3.根据权利要求1所述的一种书本边框的图像定位方法，其特征在于：步骤2)书本边框上边缘寻找具体包括下述步骤：

(a)构建初始扇形区域，以图像左上角为顶点，以书本图像的x轴为角平分线，构建圆心角为2θ的扇形区域；

(b)构建扇形区域内的扫描直线，以扇形的顶点为起点，以与图像x轴的夹角α为直线倾角，构建一条扫描直线，夹角α以沿图像x轴逆时针旋转方向为正，顺时针为负，夹角范围为α∈[-θ,θ]；

(c)在扇形区域内通过直线扫描获得具有最长连通线段的扫描直线，首先，以与x轴夹角α＝-θ的直线为初始扫描直线，从左至右进行扫描，获得该扫描直线上的最长连通线段；其次，在扇形区域内以Δθ为步长沿逆时针方向构建一条新的扫描直线，直至α＝θ为止，对于每一条扫描直线，重复上述扫描过程，获得每一条扫描直线内的最长连通线段；最后，通过比较得到此扇形区域内具有最长连通线段的扫描直线；

(d)通过平移扇形区域获得书本边框上边缘所在的扫描直线，先将初始扇形区域以Δh为步长沿着图像y轴方向平行下移，直至下移至图像高度的γ倍，其中γ∈(0,1)，当扇形区域每下移一个位置时，重复步骤(c)；再通过比较得到所有扇形区域中具有最长连通线段的扫描直线，即书本上边缘包含在该扫描直线中；

(e)旋转原图像并计算图像旋转后的书本边框上边缘，首先，利用步骤(d)得到书本边框上边缘所在的扫描直线，根据该直线与图像x轴夹角α，利用仿射变换原理将图像反向旋转α，使书本边框上边缘与图像坐标的x轴平行；然后，根据旋转图像间y坐标的映射关系计算出旋转后图像上边缘的y轴坐标值y_u，即为图像旋转后书本边框上边缘。

4.根据权利要求1所述的一种书本边框的图像定位方法，其特征在于：步骤4)书本边框上边缘左右端点精定位具体包括下述步骤：

(a)创建矩形区域，以书本上边缘y_u为矩形的上边，以y＝y_u+Δh″的直线为矩形的下边，以图像宽度为矩形的宽，创建矩形扫描区域；

(b)分别创建左和右矩形扫描区域，以步骤(a)得到的矩形区域的垂直中位线为界，将矩形区域分为左和右矩形扫描区域；

(c)得到书本边框的左右边缘点集，首先，在左矩形扫描区域内，从左至右进行扫描，记录边缘点，得到书本边框的左边缘点集；其次，在右矩形扫描区域内，从右至左进行扫描，记录边缘点，得到书本边框的右边缘点集；

(d)计算得到书本边框的左右边缘直线方程，首先，分别根据书本左和右边框直线的特点，去除左和右边缘点集中的奇异点；其次，对剩余的左和右边缘点集，分别采用最小二乘法进行直线拟合，得到书本边框的左边缘直线方程l_l和右边缘直线方程l_r；

(e)上边缘左右端点精定位，首先，计算左边缘直线方程l_l与边框上边缘直线y＝y_u的交点，即为书本上边缘左端点；其次，计算右边缘直线方程l_r与边框上边缘直线y＝y_u的交点，即为书本上边缘右端点，实现上边缘左右端点精定位。

5.根据权利要求1或4所述的一种书本边框的图像定位方法，其特征在于：步骤5)书本边框下边缘寻找具体包括下述步骤：

(a)左边缘下端点定位，根据权利要求4第(d)步得到的左边缘直线方程l_l，以y＝y_u+Δh″的点为起点，从直线l_l左边Δd开始水平扫描到其右边Δd处，若存在边缘点，则令y＝y+1继续从直线l_l的左边水平扫描到其右边，直至未扫描到边缘点止，记录上一行的y坐标，即为左边缘下端点；

(b)右边缘下端点定位，根据权利要求4第(d)步得到的右边缘直线方程l_r，以y＝y_u+Δh″的点为起点，从直线l_r右边Δd开始水平扫描到其左边Δd处，若存在边缘点，则令y＝y+1继续从直线l_r的右边水平扫描到其左边，直至未扫描到边缘点止，记录上一行的y坐标，即为右边缘下端点；

(c)书本边框下边缘定位，比较步骤(a)得到左边缘下端点和步骤(b)得到的右边缘下端点，两者y坐标较大的为书本边框下边缘y_b。

Images