CN108171674A - 针对任意视角投影仪图像的视觉矫正方法 - Google Patents

Abstract

本发明提供了一种针对任意视角投影仪图像的视觉矫正方法。首先，利用Canny算法对拍摄的投影仪图像进行边缘检测，然后利用LSD算法对边缘图像进行直线检测，将得到的直线以极坐标进行表示，再进行直线分类和筛选，最后，根据筛选后直线的交点坐标在原拍摄图像上截取出新图像，并进行透视变换，得到最终矫正后的图像。本发明方法不仅能够滤除不必要的背景，而且可以将拍摄到的投影仪图像矫正为正面视角的投影仪图像，具有很好的鲁棒性。

Description

针对任意视角投影仪图像的视觉矫正方法

技术领域

本发明属图像处理技术领域，具体涉及一种针对任意视角投影仪图像的视觉矫正方法。

背景技术

随着科技的不断发展，手机、数码相机等带有图像采集功能的设备已经变得越来越普及。人们也越来越习惯于使用具有图像采集功能的设备捕捉和获取有价值的信息。为了满足用户的需求，越来越多的厂商也在不断地优化自己图像采集设备的性能，但在某些情况下所采集到的图像仍可能存在变形问题，比如在上课、听报告或开会的时候，如果所处的位置不够好，所拍摄到的投影仪图像就会产生很大的形变，这将可能导致拍摄到的内容不清楚。图像矫正则是解决这个问题的一种途径。

例如，文献“代勤,王延杰,韩广良.基于改进Hough变换和透视变换的透视图像矫正[J].液晶与显示,2012,27(4):552-556.”中，提出利用改进Hough变换和透视变换进行视觉矫正，其方法简单易行，但对有复杂背景的拍摄图像鲁棒性不足。文献“蒋智文.视觉文档图像的矫正方法研究[D].华南理工大学,2015.”提出了几种利用图像处理技术进行文档图像的视觉矫正方法，分别为变形文档的三维矫正、文本趋向检测方法和基于形变网络的图像矫正方法，该方法复杂度较大，且只针对文本图像。

发明内容

为了克服现有技术的不足，得到在任意角度拍摄均保持正面视角的投影仪图像，本发明提出了一种针对任意视角投影仪图像的视觉矫正方法。对以任何角度拍摄的投影仪图像，不仅能够滤除不必要的背景，而且可以将拍摄到的投影仪图像矫正为正面视角的投影仪图像，从而得到矫正后的图像。

一种针对任意视角投影仪图像的视觉矫正方法，其特征在于步骤如下：

步骤一：利用Canny算法对拍摄的投影仪图像进行边缘检测，得到边缘检测图像；

步骤二：利用LSD算法对步骤一得到的边缘检测图像进行直线检测，得到直线检测图像；

步骤三：利用极坐标对步骤二得到的直线检测图像中的直线段进行表示，并进行分类加权处理，得到不同的直线。具体为：

步骤a：以图像的重心(w/2,h/2)为原点建立笛卡尔坐标系和极坐标系，满足x＝u-w/2，y＝h/2-v，其中，w表示图像的水平宽度，h表示图像的竖直高度，(u,v)表示图像坐标，(x,y)表示笛卡尔坐标；极坐标系与笛卡尔坐标系的转换关系为ρ＝xcos(θ)+ysin(θ)，(ρ,θ)表示极坐标；则图像坐标与极坐标的转换关系为：ρ＝(u-w/2)cos(θ)+(h/2-v)sin(θ)。

步骤b：根据图像坐标和极坐标的关系，计算直线段两个端点的图像坐标对应的极坐标，即得到极坐标表示的直线段。

步骤c：将ρ和θ的值相差都小于0.1的直线段分为一类并分配相同的标号，然后对具有相同标号的直线段进行加权平均，每条直线段对应的权值为其线段的长度，从而得到对应的直线。

步骤四：先根据给定的阈值对每一条直线进行第一次筛选，把小于设定阈值的直线删除，所述的阈值为0.03×min{w,h}。然后利用HSV颜色模型来表示原图像，并利用HSV颜色模型中的V分量大小对直线再进行筛选，如果直线两侧V分量之差小于0.2，则将直线删除。最后按照直线的长短来打分，最长的直线分值为100，其他直线的分值为100乘以其与最长直线的长度之比，保留得分最高的四条直线；

步骤五：在极坐标系下求出所得四条直线的交点，如果处于图像内的交点不够四个，则删除当前产生合格交点最少的直线，如果产生合格交点最少的直线多于一条，则删除其中得分最低的直线，然后利用步骤四的直线得分选择一条得分仅次于计算交点的四条直线中的最低得分的直线重新计算交点，直至得到均处于图像内的四个交点；所述的产生合格交点最少的直线是指只与一条直线相交或者与其他直线在图像内没有交点的直线。

步骤六：以四个交点中左上角的点为起点，并按逆时针方向对交点进行排序；

步骤七：根据经过排序的四个交点的坐标在原拍摄图像上截取出新图像，并对新图像进行透视变换，得到变换后的图像即为最终视觉矫正后的图像。

本发明的有益效果是：由于采用canny算子和LSD对直线边缘进行双重检测，很大程度上减少了检测直线边缘中的伪边缘和弱边缘；由于利用HSV特征进行了直线筛选，使得矫正方法具有更好的鲁棒性。本发明方法能够滤除投影仪图像中不必要的背景信息，从而实现对有价值图像信息的提取。

附图说明

图1是本发明的一种针对任意视角投影仪图像的视觉矫正方法流程图

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

如图1所示，本发明提供了一种针对任意视角投影仪图像的视觉矫正方法，其具体过程为：

1、利用Canny算法对拍摄的投影仪图像进行边缘检测，得到边缘检测图像。其具体步骤如下：

(1)高斯模糊

应用高斯滤波平滑图像，主要作用就是去除噪声。因为噪声集中于高频信号，很容易被识别为伪边缘。应用高斯模糊去除噪声，可以减少伪边缘的识别。但是由于图像边缘信息也是高频信号，高斯模糊的半径选择很重要，过大的半径很容易会使得一些弱边缘检测不到，本实施例中选择半径为2的高斯滤波器。

(2)计算梯度幅值和方向

图像的边缘可以指向不同方向，因此，Canny算法用了四个梯度算子来分别计算水平、垂直和对角线方向的梯度，具体实现时的常用方法是使用边缘差分算子Sobel计算水平和垂直方向的差分G_x和G_y，然后按如下公式计算梯度的模和方向：

θ＝atan2(G_y,G_x) (2)

利用上述公式计算得到图像中每一个像素的G和θ，从而得到梯度幅值图和梯度方向图。

(3)非最大值抑制

非最大值抑制处理旨在使模糊的边界变得清晰，得到更加精细的边缘。处理方式就是保留每个像素点梯度强度的极大值，而删掉其他的值，即对于每个像素点：首先，按照接近程度将其梯度方向θ近似为(0度，45度，90度，135度，180度，225度，270度，315度)中的一个值，即其新的梯度方向，然后，比较该像素点和其梯度方向正负方向上的像素点的梯度强度，如果该像素点梯度强度最大则保留，否则抑制，即将该像素点的值置为0)。

(4)双阀值处理

通过全局高、低双阈值处理进行边缘点选取，即在梯度幅值图的直方图分布中，像素点个数按梯度幅值递增方向累加，累加个数达到像素总数的75％时，对应的梯度作为高阈值，将0.35倍的高阈值作为低阈值。如果边缘像素点的梯度值大于高阈值，则标记为强边缘点，如果边缘像素点的梯度值小于高阈值而大于低阈值，则标记为弱边缘点，梯度值小于低阈值的像素点的值置为0。

(5)滞后边界跟踪

经过上述处理，强边缘点可以认为是真的边缘，弱边缘点则可能是真的边缘，也可能是噪声或颜色变化引起的。为得到精确的结果，应将后者引起的弱边缘点去除。通常认为真实边缘引起的弱边缘点和强边缘点是连通的，而由噪声引起的弱边缘点则不会。所谓的滞后边界跟踪算法就是检查一个弱边缘点的8连通邻域，只要有强边缘点存在，那么这个弱边缘点被认为是真边缘保留下来。这个算法搜索所有连通的弱边缘，如果一条连通的弱边缘的任何一个点都和强边缘点连通，则保留这条弱边缘，否则抑制这条弱边缘，即将弱边缘上的像素点置为0，最后得到所有被认为是真边缘的边缘点，这些点即组成检测得到的边缘图像。

2、利用文献“von Gioi R G,Jakubowicz J,Morel J M,et al.LSD:a linesegment detector[J].Image Processing On Line,2012,2:35-55.”中的LSD算法对边缘检测后的图像进行直线检测，得到直线检测图像。

3、利用极坐标对步骤2得到的直线检测图像中的直线段进行表示，并进行分类加权处理，得到不同的直线。具体为：

(1)以图像的重心(w/2,h/2)为原点建立笛卡尔坐标系和极坐标系，满足x＝u-w/2，y＝h/2-v，其中，w表示图像的水平宽度，h表示图像的竖直高度，(u,v)表示图像坐标，(x,y)表示笛卡尔坐标；极坐标系与笛卡尔坐标系的转换关系为ρ＝xcos(θ)+ysin(θ)，(ρ,θ)表示极坐标；则图像坐标与极坐标的转换关系为：ρ＝(u-w/2)cos(θ)+(h/2-v)sin(θ)。

(2)根据图像坐标和极坐标的关系，计算直线段两个端点的图像坐标对应的极坐标，即得到极坐标表示的直线段。

(3)将ρ和θ的值相差都小于0.1的直线段分为一类并分配相同的标号，然后对具有相同标号的直线段进行加权平均，每条直线段对应的权值为其线段的长度，从而得到对应的直线。

4、首先，根据给定的阈值对每一条直线进行第一次筛选，此处的阈值根据原图像大小按比例来设定阈值，设为0.03×min{w,h}，把小于设定阈值的直线删除。然后，利用HSV颜色模型来表示原图像，并利用HSV颜色模型中的V分量大小对直线再进行筛选，如果直线两侧V分量之差小于0.2，则将直线删除。最后，根据一定的准则对剩余的直线进行打分，保留得分最高的四条直线，所述的根据一定的准则对直线进行打分是指按照直线的长短来打分，最长的直线分值为100，其他直线的分值为100乘以其与最长直线的长度之比。

5、在极坐标系下求出所得四条直线的交点，如果处于图像内的交点不够四个，则删除当前产生合格交点最少的直线，如果产生合格交点最少的直线多于一条，则删除其中得分最低的直线，然后利用步骤4的直线得分选择一条得分仅次于计算交点的四条直线中的最低得分的直线，重复此步骤直至得到均处于图像内的四个交点。其中，产生合格交点最少的直线是指只与一条直线相交或者与其他直线在图像内没有交点的直线。

6、以四个交点中左上角的点为起点，并按逆时针方向对交点进行排序。

7、根据经过排序的四个交点的坐标在原图像拍摄图像上截取出新图像，并对新图像进行透视变换，本实施例采用OpenCV中封装好的warpPerspective函数进行透视变换，变换后的图像即为最终视觉矫正后的图像。

Claims (1)

1.一种针对任意视角投影仪图像的视觉矫正方法，其特征在于步骤如下：

步骤一：利用Canny算法对拍摄的投影仪图像进行边缘检测，得到边缘检测图像；

步骤二：利用LSD算法对步骤一得到的边缘检测图像进行直线检测，得到直线检测图像；

步骤三：利用极坐标对步骤二得到的直线检测图像中的直线段进行表示，并进行分类加权处理，得到不同的直线。具体为：

步骤a：以图像的重心(w/2,h/2)为原点建立笛卡尔坐标系和极坐标系，满足x＝u-w/2，y＝h/2-v，其中，w表示图像的水平宽度，h表示图像的竖直高度，(u,v)表示图像坐标，(x,y)表示笛卡尔坐标；极坐标系与笛卡尔坐标系的转换关系为ρ＝xcos(θ)+ysin(θ)，(ρ,θ)表示极坐标；则图像坐标与极坐标的转换关系为：ρ＝(u-w/2)cos(θ)+(h/2-v)sin(θ)；

步骤b：根据图像坐标和极坐标的关系，计算直线段两个端点的图像坐标对应的极坐标，即得到极坐标表示的直线段；

步骤c：将ρ和θ的值相差都小于0.1的直线段分为一类并分配相同的标号，然后对具有相同标号的直线段进行加权平均，每条直线段对应的权值为其线段的长度，从而得到对应的直线；

步骤四：先根据给定的阈值对每一条直线进行第一次筛选，把小于设定阈值的直线删除，所述的阈值为0.03×min{w,h}。然后利用HSV颜色模型来表示原图像，并利用HSV颜色模型中的V分量大小对直线再进行筛选，如果直线两侧V分量之差小于0.2，则将直线删除。最后按照直线的长短来打分，最长的直线分值为100，其他直线的分值为100乘以其与最长直线的长度之比，保留得分最高的四条直线；

步骤五：在极坐标系下求出所得四条直线的交点，如果处于图像内的交点不够四个，则删除当前产生合格交点最少的直线，如果产生合格交点最少的直线多于一条，则删除其中得分最低的直线，然后利用步骤四的直线得分选择一条得分仅次于计算交点的四条直线中的最低得分的直线重新计算交点，直至得到均处于图像内的四个交点；所述的产生合格交点最少的直线是指只与一条直线相交或者与其他直线在图像内没有交点的直线；

步骤六：以四个交点中左上角的点为起点，并按逆时针方向对交点进行排序；

步骤七：根据经过排序的四个交点的坐标在原拍摄图像上截取出新图像，并对新图像进行透视变换，得到变换后的图像即为最终视觉矫正后的图像。