CN106600561A - 基于投影映射的航拍图像透视畸变自动校正方法 - Google Patents

Abstract

本发明提出一种基于投影映射的航拍图像透视畸变自动校正方法，包括：利用皮尺和2个特定标志框在航拍现场布置安放N(≥6的偶数)个特定标志板，对采集所得可见所有标志板的透视畸变图像进行图像增强，然后利用角点检测和图像相似度自动搜索定位标志板中心的位置，根据2个标志框的尺寸及间隔距离生成模板图像，最后根据投影映射变换实现航拍图像透视畸变的校正。

Description

基于投影映射的航拍图像透视畸变自动校正方法

技术领域

本发明涉及交通事故现场信息处理领域，具体涉及一种基于投影映射的航拍图像透视畸变自动校正方法。

背景技术

航拍图像在道路交通事故现场勘测中具有重要作用，它能够高效地还原事故现场各要素，不仅可以获取事故现场广域的周边环境信息，还可以获取事故近景细节信息，特别是能够用于绘制道路交通事故现场实景记录图以及等比例的道路交通事故现场图。标准规范且能够进行准确测量的实景记录图以及事故现场图需要建立在获取道路交通事故现场俯视正投影的航拍图像。但是航拍图像采集过程中，外界环境影响以及人为操控不规范等因素将会导致航拍图像采集的镜头不能够垂直与事故路面拍摄；此外，事故路面存在坡度的情况下，即使镜头垂直朝下拍摄，也不能够获得俯视正投影的航拍图像；假如不考虑航拍镜头本身所导致透视畸变，上述两种情况也将会使事故现场航拍图像存在透视畸变。为了更好的进行道路交通事故分析及处理，采取对应的措施和方案来校正航拍图像透视畸变具有重要的价值和意义，也是一个亟待解决的问题。

目前对于一般图像的透视畸变校正主要采用4个控制点来实现，然而道路交通事故现场需要拍摄的范围通常都比较大，这便使得道路交通事故现场航拍图像透视畸变校正存在其特殊性。如果采用4个控制点来校正具有透视畸变的航拍图像，在4个控制点覆盖区域较小的情况下，用于校正的现场数据测量比较简捷，但是最终得到的校正效果通常不好；在4个控制点覆盖区域较大的情况下，校正的效果可以得到良好的保证，但是用于校正的现场数据测量却比较繁琐。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于投影映射的航拍图像透视畸变自动校正方法。

为了实现本发明的上述目的，本发明提供了一种基于投影映射的航拍图像透视畸变自动校正方法，其关键在于，包括如下步骤：

步骤1，利用皮尺(3)和2个特定标志框(2)在航拍现场布置安放N个特定标志板(1)，其中N≥6的偶数；

步骤2，对采集到所有标志板的透视畸变图像进行图像增强，然后利用角点检测和图像相似度自动搜索定位标志板中心的位置；

步骤3，根据2个特定标志框的尺寸及间隔距离生成模板图像；

步骤4，根据投影映射变换实现航拍图像透视畸变的校正。

上述技术方案的有益效果为：通过合理布置安放N(≥6的偶数)个控制点，采用角点检测、图像相似度及投影映射变换可以实现航拍图像透视畸变自动校正，能够保证航拍图像透视畸变得到良好校正，同时可简化用于校正的现场数据测量；利用该方案所得校正图像更利于绘制标准规范的道路交通事故现场实景记录图以及等比例的道路交通事故现场图。

所述的基于投影映射的航拍图像透视畸变自动校正方法，优选的，所述步骤1包括：

步骤1-1，将特定标志框设计为正方形、等边三角形或者其他正多边形；

步骤1-2，特定标志板设计为圆形，采用深浅两种颜色间隔交替形成特定图案以便实现标志板在航拍图像中的搜索定位；

步骤1-3，利用皮尺和2个标志框在航拍现场布置安放N个特定标志板，特定标志板中心应为镜像对称；

步骤1-4，其中皮尺所形成的直线应当穿过4个特定标志板中心。

所述的基于投影映射的航拍图像透视畸变自动校正方法，优选的，所述步骤2包括：

步骤2-1，采集航拍图像时，应同时采集N个标志板，使N个标志板所在区域大致位于航拍图像的中心区域；

步骤2-2，通过采用Harris角点检测算法获得航拍图像的角点位置；

步骤2-3，通过采用图像相似度筛选出航拍图像中标志板中心的位置。

所述的基于投影映射的航拍图像透视畸变自动校正方法，优选的，所述角点检测算法为：

首先对航拍图像每一像素点计算相关矩阵M

其中w(x,y)为窗函数，I_x为x方向的差分，I_y为y方向的差分。

然后计算每个像素的Harris角点响应

R＝(AB-CD)²-k(A+B)²

其中k取0.04～0.06之间的数值。

最后在w*w范围内寻找极大值点，若Harris角点响应大于阈值，则视为角点。

所述的基于投影映射的航拍图像透视畸变自动校正方法，优选的，所述图像相似度为：

首先以所得角点i(x,y)为中心，分别取其附近的8个像素点组合得到子图F₁，然后由标志板中心及其附近8个像素点组合得到子图F₂，通过j次旋转子图F₂得到F_2j，最后求得子图F₁与子图F₂的RGB距离最小值d_imin：

d_imin＝min(d_i1,d_i2,...,d_ij)

其中，距离最小值d_imin越小说明子图F₁与子图F₂图像相似度越高；对d_imin进行排序寻找数值最小的N个角点，即为标志板中心位置。

所述的基于投影映射的航拍图像透视畸变自动校正方法，优选的，所述步骤3包括：

步骤3-1，根据2个标志框的尺寸及间隔距离生成模板图像。

所述的基于投影映射的航拍图像透视畸变自动校正方法，优选的，所述模板图像：

根据布置安放的2个标志框的尺寸及间隔距离生成模板图像，并且模板图像特征点所构成图形与航拍图像中标志板中心点所构成图形呈现等比例缩放关系。

所述的基于投影映射的航拍图像透视畸变自动校正方法，优选的，所述步骤4包括：

图像投影映射变换的公式为

其中，(u,v)为具有透视畸变的航拍图像坐标，W是非零常数，对应变换得到的正射投影的航拍图像坐标为(X,Y)，X＝x'/W',Y＝y'/W'；

图像投影映射变换的公式中，为投影映射的变换矩阵。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

为了保证航拍图像透视畸变得到良好校正，同时简化用于校正的现场数据测量，本发明提出运用N(≥6的偶数)个控制点结合相关图像算法来实现航拍图像透视畸变自动校正。采用角点检测、图像相似度及投影映射变换可以实现航拍图像透视畸变自动校正；

该技术方案能够保证航拍图像透视畸变得到良好校正，同时可简化用于校正的现场数据测量；

利用该方案所得校正图像更利于绘制标准规范的道路交通事故现场实景记录图以及等比例的道路交通事故现场图，更利于交通事故现场信息的分析和利用。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明基于投影映射的航拍图像透视畸变自动校正方法流程图；

图2是本发明基于投影映射的航拍图像透视畸变自动校正方法中的标志板；

图3是本发明基于投影映射的航拍图像透视畸变自动校正方法中航拍图像和模板图像投影变换示意图；

图4是本发明基于投影映射的航拍图像透视畸变自动校正方法中标志框和标志板布置安放示意图(N＝8)；

图5是本发明基于投影映射的航拍图像透视畸变自动校正方法中标志框和标志板布置安放示意图(N＝8)；

图6是本发明基于投影映射的航拍图像透视畸变自动校正方法中标志框和标志板布置安放示意图(N＝6)；

图7是本发明基于投影映射的航拍图像透视畸变自动校正方法中标志框和标志板布置安放示意图(N＝10)。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明技术方案对图像透视畸变校正常用方法进行再设计，提出通过标志框和标志板来合理布置安放N(≥6的偶数)个控制点，采用角点检测、图像相似度及投影映射变换实现航拍图像透视畸变自动校正。

如图1所示，本发明提供了基于投影映射的航拍图像透视畸变自动校正方法，其关键在于，包括如下步骤：

步骤1，利用皮尺和2个特定标志框在航拍现场布置安放N(≥6的偶数)个特定标志板；

步骤2，对采集所得可见所有标志板的透视畸变图像进行图像增强，然后利用角点检测和图像相似度自动搜索定位标志板中心的位置；

步骤3，根据2个标志框的尺寸及间隔距离生成模板图像；

步骤4，根据投影映射变换实现航拍图像透视畸变的校正。

上述技术方案的有益效果为：通过合理布置安放N(≥6的偶数)个控制点，采用角点检测、图像相似度及投影映射变换可以实现航拍图像透视畸变自动校正；

该技术方案能够保证航拍图像透视畸变得到良好校正，同时可简化用于校正的现场数据测量；

利用该方案所得校正图像更利于绘制标准规范的道路交通事故现场实景记录图以及等比例的道路交通事故现场图，更利于交通事故现场信息的分析和利用。

所述的基于投影映射的航拍图像透视畸变自动校正方法，优选的，所述步骤1包括：

步骤1-1，将特定标志框设计为正方形、等边三角形或者其他正多边形；

步骤1-2，特定标志板设计为圆形，采用深浅两种颜色间隔交替形成特定图案以便实现标志板在航拍图像中的搜索定位；

步骤1-3，利用皮尺和2个标志框在航拍现场布置安放N个特定标志板，特定标志板中心应为镜像对称；

步骤1-4，其中皮尺所形成的直线应当穿过4个特定标志板中心。

所述的基于投影映射的航拍图像透视畸变自动校正方法，优选的，所述步骤2包括：

步骤2-1，采集航拍图像时，应保证N个标志板同时被采集，尽量使N个标志板所在区域大致位于航拍图像的中心区域。

步骤2-2，通过采用Harris角点检测算法获得航拍图像的角点位置；

步骤2-3，通过采用图像相似度筛选出航拍图像中标志板中心的位置。

所述的基于投影映射的航拍图像透视畸变自动校正方法，优选的，所述角点检测算法为：

首先对航拍图像每一像素点计算相关矩阵M

其中w(x,y)为窗函数，I_x为x方向的差分，I_y为y方向的差分。

然后计算每个像素的Harris角点响应

R＝(AB-CD)²-k(A+B)²

其中k取0.04～0.06之间的数值。

最后在w*w范围内寻找极大值点，若Harris角点响应大于阈值，则视为角点。

所述的基于投影映射的航拍图像透视畸变自动校正方法，优选的，所述图像相似度为：

首先以所得角点i(x,y)为中心，分别取其附近的8个像素点组合得到子图F₁，然后由标志板中心及其附近8个像素点组合得到子图F₂，通过j次旋转子图F₂得到F_2j，最后求得子图F₁与子图F₂的RGB距离最小值d_imin：

d_imin＝min(d_i1,d_i2,...,d_ij)

其中，d_imin越小说明子图F₁与子图F₂图像相似度越高。对d_imin进行排序寻找数值最小的N个角点，即为标志板中心位置。

所述的基于投影映射的航拍图像透视畸变自动校正方法，优选的，所述步骤3包括：

步骤3-1，根据2个标志框的尺寸及间隔距离生成模板图像。

所述的基于投影映射的航拍图像透视畸变自动校正方法，优选的，所述模板图像：

根据布置安放的2个标志框的尺寸及间隔距离生成模板图像，并且模板图像特征点所构成图形与航拍图像中标志板中心点所构成图形呈现等比例缩放关系。

所述的基于投影映射的航拍图像透视畸变自动校正方法，优选的，所述步骤4包括：

步骤4-1，利用模板图像特征点与标志板中心点获得投影映射的变换矩阵。

步骤4-2，根据投影映射变换公式校正具有透视畸变的航拍图像，获得正射投影的航拍图像。

所述的基于投影映射的航拍图像透视畸变自动校正方法，优选的，所述投影映射的变换矩阵和投影映射变换公式为：

图像投影映射变换的公式为

其中，(u,v)为具有透视畸变的航拍图像坐标，W是非零常数，对应变换得到的正射投影的航拍图像坐标为(X,Y)，X＝x'/W',Y＝y'/W'。

图像投影映射变换的公式中，为投影映射的变换矩阵。

在本发明的更多细节及特征描述将在下面进一步展示：

1、标志框(2)设计：为了减少标志板的使用数量同时保证能够获取良好的校正效果，本发明中设计标志框的形状为正方形；考虑到携带运输的方便性，本发明中设计标志框的边长设计为1.00m；为了保证现场所采集数据的准确性，减少校正误差，本发明中制作标志框所用材料应保证标志框不能轻易变形。

2、标志板(1)设计：为了便于后续实现自动搜索定位，标志板设计为2个黑色扇形与2个黄色扇形相间构成圆形，或者其他深浅颜色交替的扇形，圆形的直径宜在0.30～0.50m之间。

3、标志框与标志板布置安放：首先拉直皮尺(3)，并且使得皮尺一端位于事故现场起点附近，皮尺另一端位于事故现场终点附近。然后分别将2个标志框的一个边或对角线贴近皮尺，同时需要保证2个标志框呈镜像对称。标志板中心应放置于标志框的直角顶点处。布置安放的8个特定标志板中心应为镜像对称，同时其中4个标志板中心应处于一条直线上。此外，利用皮尺可以获取2标志框之间的间隔距离D。

4、航拍图像采集：采集航拍图像时，应保证8个标志板同时被采集，尽量使8个标志板所在区域位于航拍图像的中心区域。

5、航拍图像增强：对采集到的航拍图像进行平滑、锐化,消减航拍图像的噪声，增强航拍图像的边缘。

6、角点检测：

首先对航拍图像每一像素点计算相关矩阵M

其中w(x,y)为窗函数，I_x为x方向的差分，I_y为y方向的差分。

然后计算每个像素的Harris角点响应

R＝(AB-CD)²-k(A+B)²

其中k取0.04～0.06之间的数值。

最后在w*w范围内寻找极大值点，若Harris角点响应大于阈值，则视为角点。

7、筛选标志板位置：

首先以所得角点i(x,y)为中心，分别取其附近的8个像素点组合得到子图F₁，然后由标志板中心及其附近8个像素点组合得到子图F₂，通过j次旋转子图F₂得到F_2j，最后求得子图F₁与子图F₂的RGB距离最小值d_imin：

d_imin＝min(d_i1,d_i2,...,d_ij)

其中，d_imin越小说明子图F₁与子图F₂图像相似度越高。对d_imin进行排序寻找数值最小的8个角点，即为标志板中心位置。

8、模板图像生成：

根据布置安放的2个标志框的尺寸及间隔距离生成模板图像，并且模板图像特征点所构成图形与航拍图像中标志板中心点所构成图形呈现等比例缩放关系。

9、投影映射变换：

图像投影映射变换的公式为

其中，(u,v)为具有透视畸变的航拍图像坐标，W是非零常数，对应变换得到的正射投影的航拍图像坐标为(X,Y)，X＝x'/W',Y＝y'/W'。

图像投影映射变换的公式中，为投影映射的变换矩阵。

本发明的有益效果是：

通过合理布置安放8个控制点，采用角点检测、图像相似度及投影映射变换可以实现航拍图像透视畸变自动校正；

该技术方案能够保证航拍图像透视畸变得到良好校正，同时可简化用于校正的现场数据测量；

利用该方案所得校正图像更利于绘制标准规范的道路交通事故现场实景记录图以及等比例的道路交通事故现场图，更利于交通事故现场信息的分析和利用。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种基于投影映射的航拍图像透视畸变自动校正方法，其特征在于，包括如下步骤：

步骤1，利用皮尺(3)和2个特定标志框(2)在航拍现场布置安放N个特定标志板(1)，其中N≥6的偶数；

步骤2，对采集到所有标志板的透视畸变图像进行图像增强，然后利用角点检测和图像相似度自动搜索定位标志板中心的位置；

步骤3，根据2个特定标志框的尺寸及间隔距离生成模板图像；

步骤4，根据投影映射变换实现航拍图像透视畸变的校正。

2.根据权利要求1所述的基于投影映射的航拍图像透视畸变自动校正方法，其特征在于，所述步骤1包括：

步骤1-1，将特定标志框设计为正方形、等边三角形或者其他正多边形；

步骤1-2，特定标志板设计为圆形，采用深浅两种颜色间隔交替形成特定图案以便实现标志板在航拍图像中的搜索定位；

步骤1-3，利用皮尺和2个标志框在航拍现场布置安放N个特定标志板，特定标志板中心应为镜像对称；

步骤1-4，其中皮尺所形成的直线应当穿过4个特定标志板中心。

3.根据权利要求1所述的基于投影映射的航拍图像透视畸变自动校正方法，其特征在于，所述步骤2包括：

步骤2-1，采集航拍图像时，应同时采集N个标志板，使N个标志板所在区域大致位于航拍图像的中心区域；

步骤2-2，通过采用Harris角点检测算法获得航拍图像的角点位置；

步骤2-3，通过采用图像相似度筛选出航拍图像中标志板中心的位置。

4.根据权利要求3所述的基于投影映射的航拍图像透视畸变自动校正方法，其特征在于，所述Harris角点检测算法为：

首先对航拍图像每一像素点计算相关矩阵M

$M=\underset{x,y}{\Σ}w(x,y)\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_x{I}_y& {I_y}^2\end{array}\right]=w(x,y)\⊗\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_x{I}_y& {I_y}^2\end{array}\right]$

$A=w(x,y)\⊗{I_x}^2$

$B=w(x,y)\⊗I_y^2$

$C=D=w(x,y)\⊗\left(I_x^2{I}_y^2\right),$

其中A、B、C、D为相关矩阵M的元素，w(x,y)为窗函数，I_x为x方向的差分，I_y为y方向的差分；

然后计算每个像素的Harris角点响应

R＝(AB-CD)²-k(A+B)²

其中k取0.04～0.06之间的数值；

最后在w*w范围内寻找极大值点，若Harris角点响应大于阈值，则视为角点。

5.根据权利要求3所述的基于投影映射的航拍图像透视畸变自动校正方法，其特征在于，所述图像相似度为：

首先以所得角点i(x,y)为中心，分别取其附近的8个像素点组合得到子图F₁，然后由标志板中心及其附近8个像素点组合得到子图F₂，通过j次旋转子图F₂得到F_2j，最后求得子图F₁与子图F₂的RGB距离最小值d_imin：

$d_{ij}=\underset{x,y}{\Σ}{(R_1-R_{2j})}^2+\underset{x,y}{\Σ}{(G_1-G_{2j})}^2+\underset{x,y}{\Σ}{(B_1-B_{2j})}^2$

d_imin＝min(d_i1,d_i2,...,d_ij)

其中，距离最小值d_imin越小说明子图F₁与子图F₂图像相似度越高；对d_imin进行排序寻找数值最小的N个角点，即为标志板中心位置。

6.根据权利要求1所述的基于投影映射的航拍图像透视畸变自动校正方法，其特征在于，所述模板图像为：

根据布置安放的2个标志框的尺寸及间隔距离生成模板图像，并且模板图像特征点所构成图形与航拍图像中标志板中心点所构成图形呈现等比例缩放关系。

7.根据权利要求1所述的基于投影映射的航拍图像透视畸变自动校正方法，其特征在于，所述步骤4包括：

步骤4-1，利用模板图像特征点与标志板中心点获得投影映射的变换矩阵；

步骤4-2，根据投影映射变换公式校正具有透视畸变的航拍图像，获得正射投影的航拍图像。

8.根据权利要求7所述的基于投影映射的航拍图像透视畸变自动校正方法，其特征在于，所述投影映射的变换矩阵和投影映射变换公式为：

图像投影映射变换的公式为

$\[x^{\′},y^{\′},W^{\′}\]=\[u,v,W\]\left[\begin{array}{ccc}{k}_{11}& k_{12}& k_{13}\\ k_{21}& k_{22}& k_{23}\\ k_{31}& k_{32}& k_{33}\end{array}\right]$

其中，(u,v)为具有透视畸变的航拍图像坐标，W是非零常数，对应变换得到的正射投影的航拍图像坐标为(X,Y)，X＝x'/W',Y＝y'/W'；

图像投影映射变换的公式中，为投影映射的变换矩阵。