CN108961182B - 针对视频图像的竖直方向灭点检测方法及视频扭正方法 - Google Patents

Abstract

本发明公布了一种快速准确的竖直方向灭点检测方法，并利用此竖直方向灭点检测方法实现视频的快速扭正。首先将视频数据逐帧分离成图片集；然后通过竖直方向灭点检测方法获得竖直方向灭点坐标信息；再利用竖直方向灭点坐标信息，计算图片变换的单应矩阵；最后将变换后的图片集合生成新视频；包括：提取图片阶段、竖直方向灭点检测阶段、图片扭正阶段和视频合成阶段。本发明依靠竖直方向单灭点信息进行视频扭正，鲁棒性好，计算速度快。将灭点检测转化为对偶空间中三角函数曲线参数的计算，将检测的直线近似成曲线的切线，使得远距离的灭点检测更准确，得到的视频图像更加符合人们的视觉习惯。

Description

针对视频图像的竖直方向灭点检测方法及视频扭正方法

技术领域

本发明涉及灭点检测及视频扭正技术，尤其涉及一种竖直方向灭点检测方法及应用了竖直方向灭点检测的新的视频扭正方法，可快速扭正视频中的场景。

背景技术

摄像机拍摄的视频中大部分包含建筑物等竖直结构，由于拍摄视角和抖动等因素会导致图像中本应该竖直的结构发生倾斜。图像矫正的一般方法是对图像做射影变换。一些方法直接利用图像中提取的边缘、角点求解所需的单应矩阵，但这类方法受噪声影响很大，对提取精度要求很高。另一些方法利用了多灭点信息，这种模型对灭点的可见性和正交性要求较高。

灭点是指在针孔相机模型下，三维空间的平行线在成像平面的投影交汇的点。灭点检测是计算机视觉中的基本问题，可以应用于摄像机标定、三维重建及自动驾驶等任务中。

目前的灭点检测方法一般分为三步：第一步为提取图像中的方向单元，比如线段；第二步是对方向单元进行聚类，形成候选的灭点；第三步是通过一些迭代的方法对灭点进行修正，去除伪灭点。一些灭点检测方法应用了更高级的先验知识，比如曼哈顿假设、水平线信息以及焦距信息等。然而，这些灭点检测方法在检测距离图像比较远的灭点时，准确率会下降，而且计算开销很大，耗时比较长。

发明内容

为了克服上述现有技术的不足，本发明提供一种快速准确的竖直方向灭点检测方法，并利用此竖直方向灭点检测方法实现视频的快速扭正，使得视频图像更加符合人们的视觉习惯。

为了实现这一目的，首先将视频逐帧分离成图片集，对每一张图片提取线段，将线段转换成ρ-θ对偶空间中带权重的点，采用带权重的随机抽样一致算法(random sampleconsensus，RANSAC)，在对偶空间进行直线拟合，根据直线参数计算图像坐标系下灭点坐标，据此计算图片变换的单应矩阵，将变换后的图片集合成新视频。

本发明的技术方案如下：

一种针对视频图像的竖直方向灭点检测方法，包括如下步骤：

1)提取图片中的线段：对于每一帧图片，将图片转化成灰度图像，使用LSD(LineSegment Detector，线段检测器)方法提取图片中的线段，只保留与竖直方向夹角在设定范围内的线段，具体实施时，取夹角范围为

2)变换到对偶空间：将步骤1)中保留的线段表示为ρ-θ对偶空间中带权重的点，θ代表原点到线段所在直线的垂线与x轴所成夹角，ρ表示原点到线段所在直线距离，权重值为图像坐标系下线段的长度；

3)在对偶空间做直线拟合，并且对直线进行修正：使用带权重的RANSAC方法在对偶空间中拟合直线，每一条直线的置信度score通过式1计算得到：

其中，P为内点集合，value_i为第i个内点的权重；

根据RANSAC内点，使用最小二乘法对直线进行修正。

4)计算得到竖直方向灭点坐标：

根据修正后的直线求解竖直方向灭点坐标，具体方法为：假设拟合直线为灭点对应三角函数的切线，灭点的图像坐标表示为式2：

其中，(x,y)为灭点的图像坐标，(θ₀,ρ₀)为对偶空间中切点的坐标，k为对偶空间中切线斜率。

通过上述步骤，得到竖直方向灭点坐标，实现图片竖直方向的灭点检测。

本发明还提供一种视频扭正方法，该方法首先将视频数据逐帧分离成图片集；然后通过竖直方向灭点检测方法获得竖直方向灭点坐标信息；再利用竖直方向灭点坐标信息，计算图片变换的单应矩阵；最后将变换后的图片集合生成新视频；包括：提取图片阶段、竖直方向灭点检测阶段、图片扭正阶段和视频合成阶段。

A)在提取图片阶段，将视频数据逐帧分离成图片集；

B)竖直方向灭点检测阶段通过竖直方向灭点检测方法获得竖直方向灭点坐标信息，包括直线段提取、变换到ρ-θ对偶空间、对偶空间中直线拟合和计算竖直方向灭点坐标，得到图片竖直方向的灭点坐标；

C)图片扭正阶段，包括如下步骤：

C1)计算旋转角度：计算灭点与图像中心的连线与竖直方向的夹角，旋转图像；

通过灭点坐标计算灭点与图像中心的连线与竖直方向的夹角，旋转图片使得竖直方向灭点位于图像中心正上方；

C2)进行射影变换：根据竖直方向灭点信息计算单应矩阵，对图片进行射影变换。

单应矩阵可以简化为：

满足旋转后的灭点坐标变换后位于竖直方向无穷远处，水平方向点变换后位置不变：

其中(x′,y′)为旋转后的灭点坐标，(h,0)为水平方向任意一点。

用单应矩阵对旋转后的图像进行射影变换。

D)视频合成阶段，将扭正后的图片集合成新的视频。

本发明的有益效果：

本发明提供一种快速准确的竖直方向灭点检测方法，并利用此竖直方向灭点检测方法实现视频的快速扭正。本发明依靠竖直方向单灭点信息进行视频扭正，鲁棒性好，计算速度快。将灭点检测转化为对偶空间中三角函数曲线参数的计算，将检测的直线近似成曲线的切线，使得远距离的灭点检测更准确，得到的视频图像更加符合人们的视觉习惯。

附图说明

图1为本发明提供的视频扭正方法的流程框图。

图2为本发明实施例中对偶空间拟合的效果图。

图3为本发明实施例提供的从视频中提取得到的图片。

图4为本发明实施例进行视频扭正后得到的结果图片。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种快速准确的竖直方向灭点检测方法，并利用此竖直方向灭点检测方法实现视频的快速扭正。图1为本发明提供的视频扭正方法的流程框图。

由图1的流程图可以看出系统的整个处理过程由四个阶段组成：图片提取(图3为实施例提取得到的样图)、竖直方向灭点检测、图片矫正和视频合成。

以下实施例针对某一室内视频进行竖直方向灭点检测及视频扭正；具体实施方式如下：

第一阶段：图片提取；将视频数据逐帧分离，得到图片集，记录视频帧速；

可采用Matlab中的VideoReader类进行图片提取。

第二阶段：竖直方向灭点检测

该阶段包括：直线段提取，变换到ρ-θ对偶空间，对偶空间中直线拟合和计算竖直方向灭点坐标。

具体地，对每一张图片，将图片转化成灰度图像，使用LSD方法进行线段提取，根据提取的线段端点计算斜率和长度，因为只要求竖直方向的灭点，所以只保留斜率在

和

之间的线段；将线段变换到ρ-θ对偶空间中带权重的点p_i＝(θ_i,ρ_i)，其权重值为线段长度；应用带权重的RANSAC方法，在对偶空间中拟合直线，具体过程为：任选对偶空间中两个点确定一条直线，直线的置信度为：

其中，P为内点集合，即到直线距离小于阈值的点的集合(实施例中取阈值为0.005)，value_i为第i个点的权重。重复上述过程多次(实施例中取500次)，保留置信度最高的直线及其对应的内点集；再使用最小二乘法拟合内点集，得到最终的直线方程：

y＝kx+b

其中，k和b分别为拟合直线的斜率和截距。图2为拟合效果图。本方法考虑到线段的长度，减少了噪声的影响。由于保留的线段方向相近，RANSAC只需要很少的选取次数就可以达到良好的结果，减少了计算时间。

原始图像中的灭点对应ρ-θ对偶空间中的一条三角函数曲线，交于灭点的线段(所在直线)所转换的对偶空间中的点分布在灭点所对应的三角函数曲线上。本方法在对偶空间做直线拟合，并将拟合的直线作为三角函数的切线，降低的拟合的难度。灭点的图像坐标为：

其中(x,y)为灭点的图像坐标，(θ₀,ρ₀)为对偶空间中切点的坐标，这里指拟合线段的中点，即

ρ₀＝kθ₀+b，实验表明当灭点距离图像远的时候该方法很准确。

由此得到每一张图片竖直方向一个灭点的图像坐标。

第三阶段：图片矫正

本阶段包括：计算旋转角度和进行射影变换。

逆时针旋转图片使得竖直方向灭点位于图像中心正上方，其中旋转角度为图像中心与灭点连线和竖直方向的夹角，其角度为：

其中，(x_mid,y_mid)为图像中心坐标。

应用单应矩阵对图片进行射影变换：

p′＝Hp

其中p为变换前点的齐次坐标，p′为变换后点的齐次坐标，H为单应矩阵。

只保留两个能够影响图像中直线平行关系的参数，单应矩阵可以简化为：

满足旋转后的灭点坐标变换后位于竖直方向无穷远处，水平方向点变换后位置不变，表示如下：

其中(x′,y′)为旋转后的灭点坐标，(h,0)为水平方向任意一点。

用单应矩阵对旋转后的图像进行射影变换，图4为变换后的结果图。

第四阶段：视频合成，将扭正后的图片集缩放到同样大小(实施例中为1000像素×600像素)，按照第一阶段记录的帧速合成新的视频；

可采用Matlab中的VideoWriter类进行视频合成。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (8)

1.一种针对视频图像的竖直方向灭点检测方法，包括如下步骤：

1)提取图像中的线段：对于每一帧图像，将图像转化成灰度图像，使用LSD方法提取图像中的线段，只保留与竖直方向夹角在设定范围内的线段；

2)变换到对偶空间：将步骤1)中保留的线段表示为ρ-θ对偶空间中带权重的点，θ代表原点到线段所在直线的垂线与x轴所成夹角，ρ表示原点到线段所在直线距离，权重值为图像坐标系下线段的长度；

3)在对偶空间做直线拟合，并对直线进行修正：使用带权重的RANSAC方法在对偶空间中拟合直线，每一条直线的置信度score通过式1计算得到：

其中，P为内点集合，value_i为第i个内点的权重；对内点使用最小二乘法对直线进行修正；

4)计算得到竖直方向灭点坐标：根据修正后的直线求解竖直方向灭点坐标；

假设拟合直线为灭点对应三角函数的切线，灭点的图像坐标表示为式2：

其中，(x,y)为灭点的图像坐标，(θ₀,ρ₀)为对偶空间中切点的坐标，k为对偶空间中切线斜率；

通过上述步骤，得到竖直方向灭点坐标，实现图像竖直方向的灭点检测。

2.如权利要求1所述针对视频图像的竖直方向灭点检测方法，其特征是，步骤1)与竖直方向夹角为

3.一种视频扭正方法，首先将视频逐帧分离成图像集；然后通过竖直方向灭点检测方法获得竖直方向灭点坐标信息；再利用竖直方向灭点坐标信息，计算图像变换的单应矩阵；最后将变换后的图像集合生成新视频；包括：提取图像阶段、竖直方向灭点检测阶段、图像扭正阶段和视频合成阶段：

A)在提取图像阶段，将视频数据逐帧分离成图像集；

B)竖直方向灭点检测阶段通过竖直方向灭点检测方法获得竖直方向灭点坐标信息，包括直线段提取、变换到ρ-θ对偶空间、对偶空间中直线拟合和计算竖直方向灭点坐标；包括如下步骤：

B1)提取图像中的线段：对于每一帧图像，将图像转化成灰度图像，使用LSD方法提取图像中的线段，只保留与竖直方向夹角在设定范围内的线段；

B2)变换到对偶空间：将步骤B1)中保留的线段表示为ρ-θ对偶空间中带权重的点，θ代表原点到线段所在直线的垂线与x轴所成夹角，ρ表示原点到线段所在直线距离，权重值为图像坐标系下线段的长度；

B3)通过对偶空间的直线拟合，对直线进行修正：使用带权重的RANSAC方法在对偶空间中拟合直线，每一条直线的置信度score通过式1计算得到：

其中，P为内点集合，value_i为第i个内点的权重；对内点使用最小二乘法对直线进行修正；

B4)计算得到竖直方向灭点坐标：根据修正后的直线求解竖直方向灭点坐标；

假设拟合直线为灭点对应三角函数的切线，灭点的图像坐标表示为式2：

其中，(x,y)为灭点的图像坐标，(θ₀,ρ₀)为对偶空间中切点的坐标，k为对偶空间中切线斜率；

通过上述步骤，得到竖直方向灭点坐标；

C)图像扭正阶段，包括如下步骤：

C1)计算旋转角度，旋转图像；

通过灭点坐标计算灭点与图像中心的连线与竖直方向的夹角，旋转图像，使得竖直方向灭点位于图像中心正上方；

C2)进行射影变换：根据竖直方向灭点信息计算单应矩阵，对图像进行射影变换；

利用单应矩阵对旋转后的图像进行射影变换，表示为：

p′＝Hp

其中，p为变换前点的齐次坐标，p′为变换后点的齐次坐标，H为单应矩阵；

D)视频合成阶段，将扭正后的图像集合成，得到新的视频。

4.如权利要求3所述视频扭正方法，其特征是，步骤B1)与竖直方向夹角为

5.如权利要求3所述视频扭正方法，其特征是，步骤C1)中，旋转角度α具体表示为：

其中，(x,y)为灭点的图像坐标；(x_mid,y_mid)为图像中心坐标。

6.如权利要求3所述视频扭正方法，其特征是，步骤C2)中，单应矩阵为：

满足旋转后的灭点坐标变换后位于竖直方向无穷远处，水平方向点变换后位置不变，表示为：

其中，(x′,y′)为旋转后的灭点坐标，(h,0)为水平方向任意一点。

7.如权利要求3所述视频扭正方法，其特征是，步骤A)图片提取具体采用Matlab中的VideoReader类进行图片提取并记录视频帧速。

8.如权利要求3所述视频扭正方法，其特征是，步骤D)采用Matlab中的VideoWriter类将扭正后的图片按照记录的帧速逐帧合成，得到新的视频。

Images