CN114820485B - 一种基于机载图像测量波浪爬高的方法 - Google Patents

Abstract

本发明公开了一种基于机载图像测量波浪爬高的方法，包括如下步骤：首先完成对摄像头的内参标定，得到相关参数并构建其内参矩阵；在需要确定观察波浪爬高的区域内放置不少于3个与周围环境色彩信息相差较大的控制点面板并获取每个控制点的经纬高信息；通过控制点在图像空间中的位置与其在真实的世界空间中的位置关系，求解出相机拍摄视频时每一帧的姿态并利用此姿态信息获取正射校正图片；沿垂直海岸线方向固定出一条直线作为研究区域，并得到所拍摄视频的图像关键帧的正射校正图片在这条固定直线所在位置上的时间堆栈图像；最后通过图像二值化、增强、形态学操作、边缘检测算子以及分段线性回归得到其瞬时水边线以及波浪爬高值。

Description

一种基于机载图像测量波浪爬高的方法

技术领域

本发明涉及海岸带测绘技术领域，具体涉及一种基于机载图像测量波浪爬高的方法。

背景技术

当波浪传播到岸边时，其包含的大部分能量都随着波浪的破碎而散失，其中一部分能量将以波浪在沙滩上爬高的形式转化为势能。其中，波浪爬高是引起也是加速海岸侵蚀的一个重要的原因，其是确定防波堤堤顶高程和结构形式非常重要的参数之一，因此研究波浪爬高对于海岸带保护具有极其重要的意义。

传统的测量波浪爬高是在研究区域部署电子水尺等测量仪器，但是由于这种测量方式都是部署的离散测量点，所以其测量精度会与测量点的密度相关，所以要想有高精度的结果也就对应着大量的人力、物力与财力的输出。随着摄影测量技术的发展，出现了在岸边固定摄像头或者激光雷达等传感器来检测波浪的变化趋势，但是这种方式依然需要在现场部署摄像头等测量工具以及需要合适的选址，会受到安装地的局限同时其安装拆除也需要较大的成本(CN201710324708、CN201720232282)。

如今，随着自主系统无人机的研究日趋成熟，利用这种搭载有摄像头等机载系统来研究的优势日益突出，本文则是在这种背景下，提出一整套通过机载图像系统来检测波浪爬高的技术，同时克服机载图像在检测瞬时水边线时收到光照以及海滩干湿情况对结果的影响。

发明内容

本发明的目的是提供了通过搭载有摄像头的无人机机载系统完成对图像的采取、校正并完成波浪爬高的测量方法。

本发明至少通过如下技术方案之一实现。

一种基于机载图像测量波浪爬高的方法，包括如下步骤：

S1、完成对摄像头的内参标定；在待研究区域内部署控制点，同时所部署的控制点的数量不少于三个；获取部署在海滩区域内的每个控制点的经纬高坐标；

S2、将世界空间中的控制点坐标与其相应的图像空间中的控制点像素坐标一一关联；

S3、通过三维空间到二维平面的投影关系，使用非线性迭代优化方法得到第一帧的姿态信息；

S4、选定图像稳定控制点并对所拍摄视频截取图像关键帧，然后再利用非线性迭代优化方法求得所有关键帧相应的姿态信息；选取待研究波浪爬高的区域，利用所求得的姿态信息对此区域生成正射校正后的图像；

S5、在垂直海岸的方向上选择一条直线，通过图像空间向三维空间逆变换得到唯一解，从而在图像空间上度量三维空间上的位置信息，然后利用所选区域生成拍摄视频的校正图片并进行处理得到所有帧在该区域的一个时间堆栈图像；

S6、通过对时间堆栈图像进行预处理操作得到其瞬时水边线；

S7、通过图像上瞬时水边线的像素信息，将像素坐标反投影到三维空间中得到波浪在海滩上爬升的具体高程信息。

进一步地，所述步骤S1中，通过Matlab图像处理工具箱得到相机的内参，如相机的焦距、像素大小等，最后构建出相机的内参数矩阵。

进一步地，控制点为正方形面板；每一个控制点为四个正方形面板，其中两个为黑色另外两个为白色；四个面板交错拼接。

进一步地，通过GPS获得每一个控制点的经纬高坐标，然后再选取一个坐标原点并得到其经纬高坐标，再将所有控制点转化为以所选原点为基准的北东地坐标。

进一步地，所述步骤S4过程如下：

设世界空间中的坐标点为(X_w,Y_w,Z_w)，设无人机搭载的相机在所设置的世界坐标系中的坐标为(C_XW,C_YW,C_ZW)。

世界空间中的点投影到图像坐标系中的过程为：

其中为相机的内参矩阵，f表示焦距，f_x、f_y分别表示每个像素在图像平面X、Y轴方向的物理尺寸，U₀、V₀为图像坐标系原点的像素坐标值。

R表示相机坐标系相对于世界坐标系的姿态所组成的旋转矩阵；

构建矩阵其中/>表示相机在世界坐标系下的位置。

通过如上的一系列的变换矩阵操作，最终将三维空间中的点投影到二维像平面上；然后，对第一帧图片中的控制点像素坐标进行标注，并记录每一个标注点的像素坐标，注意世界空间中控制点的序号要与图像空间中控制点需要严格一一对应。

进一步地，所述步骤S3具体包括：通过已经配对的控制点利用非线性优化的方式迭代求解相机的外参，即相机在世界坐标系中的姿态。

进一步地，所述步骤S4包括如下步骤：

S41、首先选定稳定图像控制点，图像稳定控制点从部署的控制点中选取，选取个数也不少于三个；

选择图像稳定控制点时记录以下信息：

1)、记录首帧图像稳定控制点的位置；

2)、记录稳定图像控制点的搜索半径；

3)、设置阈值用来区分控制点与周围的环境信息；

S42、对所有的视频帧依据图像稳定控制点求解后续所有帧所对应的相机姿态，具体过程为：首先，利用第一帧的外参信息，通过图像空间图像稳定控制点的信息反解第一帧的三维空间点信息，用反解得到的图像稳定控制点世界坐标用于后续所有帧优化的三维坐标；

S43、所有帧对图像稳定控制点进行匹配，再利用配对好的图像稳定控制点通过相机的成像模型迭代优化出相机此帧所对应的外参，重复此过程完成对所有帧的求解，得到所有帧的姿态序列。

进一步地，选取待研究波浪爬高的区域，利用所求得的姿态信息对此区域生成正射校正后的图像包括如下步骤：

1)、将北东地坐标转换到当地的沿着海岸与垂直海岸方向的坐标系，具体将原来的北东地坐标系沿着xy轴所在的平面旋转；

2)、沿着海岸与垂直海岸两个方向定义一个矩形区域，在矩形区域中等间距的在x轴与y轴即沿着海岸线与垂直海岸线方向采集三维空间点，将激光雷达点云所处的世界坐标系与原来选取的世界坐标系对齐即得到相应的高程信息；

3)、通过相机成像模型得到每个点对应的像素坐标，在三维空间中均匀地采集一系列点后，得到对应的像素坐标，然后对像素坐标进行采样，重排使其重新构成新的图像，该图像即为正射校正图片。

进一步地，步骤S5具体包括采取一维的形式研究波浪爬高，即在所有经过正射校正后的图片上选择一列像素值组成时间堆栈图，该时间堆栈图像的宽度为时间长度，高度正比于跨岸的长度。

进一步地，所述步骤S5过程如下：

首先，加载前面已经得到的三维空间中控制点与图像空间中控制点的配对关系，同时根据前面已经得到的三维空间到图像二维平面的投影模型，可以通过已经配对的控制点利用非线性优化的方式迭代求解相机的外参，即相机在世界坐标系中的姿态。为简单处理，MATLAB已经提供了nlinfit函数，可直接通过输入数据、待求解的模型，然后得到求解的变量即相机的姿态。

进一步地，所述预处理操作包括：通过对时间堆栈图像进行图像二值化、图像增强、形态学操作以及边缘检测算子的操作提取出其水边线，包括如下步骤：

S61、通过设置合适的阈值进行图像二值化，然后再进行图像增强，扩大波浪与沙滩两者不同物体特征之间的差别；

S62、通过形态学操作进一步地扩大不同物体特征之间的差别，同时通过形态学边缘检测算子提取出初始边缘；

S63、通过适当的边缘检测算子，再次提取边缘并平滑；

S64、将前面提取出来的边缘线使用分段线性回归拟合出波浪与沙滩的水边线，此即是最终的波浪爬高值。

进一步地，首先选定稳定图像的控制点，注意这里的稳定图像的控制点与前面步骤中选取的控制点从本质上来说一样的，但目的却与前面不一样。具体来说，这里所说的图像稳定控制点是为了后续所有图像帧之间的对齐从而使得每一帧选择的研究区域尽量不变。图像稳定控制点的选择直接从前面所谈到的的几个控制点中选取，同理稳定控制点选取个数也不少于三个。

选择图像稳定控制点时要记录几个比较重要的信息，其一是记录首帧图像稳定控制点的位置，因为后续所有的帧都会依据第一帧的信息进行校正；其二是记录稳定图像控制点的搜索半径，这个得视当前视频的抖动情况而定，抖动较大则可以选择较大的搜寻半径，反之亦然；其三是选择合适的阈值用来区分控制点与周围的环境信息，这也就是为什么一开始使用黑白棋盘格。

当完成对图像稳定控制点的设置后，就可以对后续所有的视频帧依据图像稳定控制点求解后续所有帧所对应的相机姿态。具体过程为：首先，利用前面求出的第一帧的外参信息，通过图像空间图像稳定控制点的信息反解其三维空间点信息，注意从二维空间反解三维空间信息需要指定一个维度坐标为已知信息，这里考虑让高程Z坐标为已知值，用这里反解得到的图像稳定控制点世界坐标用于后续所有帧优化的三维坐标。

然后，后续所有帧对图像稳定控制点进行匹配，再利用配对好的几个图像稳定控制点通过相机的成像模型迭代优化出相机此帧所对应的外参，重复此过程完成对所有帧的求解，得到所有帧的姿态序列。

进一步地，由于需要通过图像空间中的信息确定波浪爬高的三维空间信息，因此需要完成对图像的正射校正。为表示方便起见，将北东地坐标转换到当地的沿着海岸与垂直海岸方向的坐标系。为简单起见，只需要将原来的北东地坐标系沿着xy轴所在的平面旋转一定角度即可，此角度依据当地实际情况测量而得。

当坐标系的转换得到后，此时对于所要研究的区域的定义更加直观，一般来说只需要沿着海岸与垂直海岸(此时对应着新的坐标系的x轴与y轴)两个方向定义一个矩形区域即可。

当矩形区域选择完毕后，由于需要生成最终的正射校正图片，采取这样一种简单的方式：通过在前面定义的矩形区域中等间距的在x轴与y轴(即沿着海岸线与垂直海岸线方向)采集三维空间点。注意这里有一个近似条件即假设所采样的三维空间点的z坐标(高程信息)是为一常量，这样的假设是合理的，由于飞机的飞行高度大概是在几乎100米的高空，海滩的坡度相对于飞机的飞行高度而言是很小的，因此可以将海滩的高程信息近似为所研究区域的平均高程；当然，如果不采用这种假设，也可以通过三维激光雷达对地扫描，也可以获得相应的高程信息，此时需要将激光雷达点云所处的世界坐标系与原来选取的世界坐标系对齐即可得到相应的高程信息。

通过上述方法，此时所要研究的区域的三维空间点坐标此时便可以完全得到，通过相机成像模型便可以得到每个点对应的像素坐标。当在三维空间中均匀地采集一系列点后，其对应的像素坐标也已得到，然后对像素坐标进行采样，重排使其重新构成新的图像，该图像即为正射校正图片，此时图片的分辨率即对应着前面所选择的矩形区域大小与对应方向的分辨率的比值。所以，此时图像空间中每两个像素点间也是存在有距离信息的。

由于已经得到所有的经过正射校正后的图片了，为了研究方便，采取一维的形式研究波浪爬高，即在所有经过正射校正后的图片上选择一列像素值(在三维空间中表现为垂直于岸边的方向)组成时间堆栈图像。该时间堆栈图像的宽度为时间长度(单位为秒)，高度正比于跨岸的长度。

总的来说就是通过对时间堆栈图像进行图像二值化、图像增强、形态学操作以及边缘检测算子的操作等提取出其水边线。首先，通过设置合适的阈值进行图像二值化，这样便能更好地分析物体的形状和轮廓同时将波浪与沙滩最大可能的分离，本文选择的是Bradley算法进行图像二值化；然后再进行图像增强，扩大波浪与沙滩两者不同物体特征之间的差别；然后再通过形态学操作进一步地扩大不同物体特征之间的差别，同时通过形态学边缘检测算子提取出初始边缘；接着再次通过适当的边缘检测算子，如Sobel算子、Canny算子，再次提取边缘并平滑；最后，再将前面提取出来的边缘线使用分段线性回归拟合出波浪与沙滩的水边线，此即是最终的波浪爬高值。

由于图像时间堆栈图像是沿着跨岸的方向提取的，因此其有一个维度的坐标是已知的，因此可以通过像素平面的二维坐标反解出三维空间坐标从而得到在客观世界空间中的波浪爬高值。

与现有的技术相比，本发明的有益效果为：

1、本发明在通过机载图像制作正射影像的时候，三维空间中地面点的高程可通过机载LIDAR系统获得，而已有的一般方法是赋予地面点相同的高程。相比之下，本发明提出的方法更加的科学。

2、本发明在对基于时间堆栈图像二值化处理的时候，思路并非是像传统二值化算法将图像分为前景与背景，而更看重的是波浪与海滩的交界线，即水边线，因此应更多的考虑到海浪与沙滩的局部信息，以及两者差异的量化，所以基于上述考虑，本发明选择使用Bradley算法，该算法思路简单且效果较好。

3、在瞬时水边线提取的过程中，使用了形态学处理作为边缘提取的预处理步骤，然后再对前述结果使用Canny算子进行边缘再次检测，得到更加细化、平滑的边缘。通过这一系列的图像处理算子，得到的波浪水边线的效果可靠性更高。

附图说明

图1是实施例一种基于机载图像测量波浪爬高的方法的流程图；

图2是实施例控制点面板设计图；

图3是实施例一种基于图像空间测量波浪爬高的瞬时水边线检测结果图。

具体实施方式

为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施列中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

一种基于机载图像测量波浪爬高的方法，包括如下步骤：

S1、通过Matlab图像处理工具箱得到相机的内参，最后构建出相机的内参数矩阵；所述内参包括相机的焦距、像素大小；在待研究区域内部署控制点，同时所部署的控制点的数量不少于三个；通过GPS获取部署在海滩区域内的每个控制点的经纬高坐标；

在需要测量波浪爬高的海滩区域内摆放满足一定要求(其相对于周围环境具有容易辨识的特点，如黑或者白)且数量不少于3个的控制点面板，同时要求控制点面板不能共线放置；

S2、将世界空间中的控制点坐标与其相应的图像空间中的控制点像素坐标一一关联：

设世界空间中的坐标点为(X_w,Y_w,Z_w)，设无人机搭载的相机在所设置的世界坐标系中的坐标为(C_XW,C_YW,C_ZW)，世界空间中的点投影到图像坐标系中的过程为：

其中为相机的内参矩阵，f表示焦距，f_x、f_y分别表示每个像素在图像平面X、Y轴方向的物理尺寸，U₀、V₀为图像坐标系原点的像素坐标值。

R表示相机坐标系相对于世界坐标系的姿态所组成的旋转矩阵；

构建矩阵其中/>表示相机在世界坐标系下的位置；

通过如上的一系列的变换矩阵操作，最终将三维空间中的点投影到二维像平面上；然后，对第一帧图片中的控制点像素坐标进行标注，并记录每一个标注点的像素坐标，注意世界空间中控制点的序号要与图像空间中控制点需要严格一一对应。

S5、通过三维空间到二维平面的投影关系，使用非线性迭代优化方法得到第一帧的姿态信息；

首先，加载前面已经得到的三维空间中控制点与图像空间中控制点的配对关系，同时根据前面已经得到的三维空间到图像二维平面的投影模型，可以通过已经配对的控制点利用非线性优化的方式迭代求解相机的外参，即相机在世界坐标系中的姿态。为简单处理，MATLAB已经提供了nlinfit函数，可直接通过输入数据、待求解的模型，然后得到求解的变量即相机的姿态。

S6、选定图像稳定控制点并对所拍摄视频截取图像关键帧，然后再利用非线性迭代优化方法求得所有关键帧相应的姿态信息：首先选定稳定图像的控制点，注意这里的稳定图像的控制点与前面步骤中选取的控制点从本质上来说一样的，但目的却与前面不一样。具体来说，这里所说的图像稳定控制点是为了后续所有图像帧之间的对齐从而使得每一帧选择的研究区域尽量不变。图像稳定控制点的选择直接从前面所述的几个控制点中选取，同理稳定控制点选取个数也不少于三个。

选择图像稳定控制点时要记录几个比较重要的信息，其一是记录首帧图像稳定控制点的位置，因为后续所有的帧都会依据第一帧的信息进行校正；其二是记录稳定图像控制点的搜索半径，这个得视当前视频的抖动情况而定，抖动较大则可以选择较大的搜寻半径，反之亦然；其三是选择合适的阈值用来区分控制点与周围的环境信息，因为控制点的构成为黑白两种颜色，所以若环境中趋近白色像素的成分较多，可选择趋近于黑色的阈值，反之则选择趋近于白色的阈值。

当完成对图像稳定控制点的设置后，就可以对后续所有的视频帧依据图像稳定控制点求解后续所有帧所对应的相机姿态。具体过程为：首先，利用前面求出的第一帧的外参信息，通过图像空间图像稳定控制点的信息反解其三维空间点信息，注意从二维空间反解三维空间信息需要指定一个维度坐标为已知信息，这里考虑让高程Z坐标为已知值，用这里反解得到的图像稳定控制点世界坐标用于后续所有帧优化的三维坐标。

然后，后续所有帧对图像稳定控制点进行匹配，再利用配对好的几个图像稳定控制点通过相机的成像模型迭代优化出相机此帧所对应的外参，重复此过程完成对所有帧的求解，得到所有帧的姿态序列。

S7、选取所要研究波浪爬高的区域，利用前述所求得的姿态信息对此区域生成正射校正后的图像；

由于需要通过图像空间中的信息确定波浪爬高的三维空间信息，因此需要完成对图像的正射校正。为表示方便起见，将北东地坐标转换到当地的沿着海岸与垂直海岸方向的坐标系。为简单起见，只需要将原来的北东地坐标系沿着xy轴所在的平面旋转一定角度即可，此角度依据当地实际情况测量而得。

当坐标系的转换得到后，此时对于所要研究的区域的定义更加直观，一般来说只需要沿着海岸与垂直海岸(此时对应着新的坐标系的x轴与y轴)两个方向定义一个矩形区域即可。

当矩形区域选择完毕后，由于需要生成最终的正射校正图片，采取这样一种简单的方式：通过在前面定义的矩形区域中等间距的在x轴与y轴(即沿着海岸线与垂直海岸线方向)采集三维空间点。注意这里有一个近似条件即假设所采样的三维空间点的z坐标(高程信息)是为一常量，这样的假设是合理的，由于飞机的飞行高度大概是在几乎100米的高空，海滩的坡度相对于飞机的飞行高度而言是很小的，因此可以将海滩的高程信息近似为所研究区域的平均高程；当然，如果不采用这种假设，也可以通过三维激光雷达对地扫描，也可以获得相应的高程信息，此时需要将激光雷达点云所处的世界坐标系与原来选取的世界坐标系对齐即可得到相应的高程信息。

通过上述方法，此时所要研究的区域的三维空间点坐标此时便可以完全得到，通过相机成像模型便可以得到每个点对应的像素坐标。当在三维空间中均匀地采集一系列点后，其对应的像素坐标也已得到，然后对像素坐标进行采样，重排使其重新构成新的图像，该图像即为正射校正图片，此时图片的分辨率即对应着前面所选择的矩形区域大小与对应方向的分辨率的比值。另外，此时图像空间中每两个像素点间也是存在有距离信息。

S8、在垂直海岸的方向上选择一条直线，这条直线在三维空间某一个维度上具有固定的坐标，这样通过图像空间向三维空间逆变换时可以得到唯一解，从而在图像空间上可以度量三维空间上的位置信息。然后利用所选区域生成拍摄视频的校正图片并进行处理得到所有帧在该区域的一个时间堆栈图像。

由于已经得到所有的经过正射校正后的图片，为了方便，采取一维的形式研究波浪爬高，即在所有经过正射校正后的图片上选择一列像素值(在三维空间中表现为垂直于岸边的方向)组成时间堆栈图像。该时间堆栈图像的宽度为时间长度(单位为秒)，高度正比于跨岸的长度。

S9、通过对时间堆栈图像进行图像二值化、图像增强、形态学操作以及边缘检测算子的操作等得到其瞬时水边线；

通过对时间堆栈图像进行图像二值化、图像增强、形态学操作以及边缘检测算子的操作等提取出其水边线。首先，通过设置合适的阈值进行图像二值化，由于本文使用的是Bradley算法做图像二值化，所以需要确定窗口的大小与百分比参数，这两个参数选取需要根据环境信息如沙滩的干湿情况等做相应的调整。

这样便能更好地分析物体的形状和轮廓同时将波浪与沙滩最大可能的分离；然后再进行图像增强，扩大波浪与沙滩两者不同物体特征之间的差别；然后再通过形态学操作进一步地扩大不同物体特征之间的差别，同时通过形态学边缘检测算子提取出初始边缘；接着再次通过适当的边缘检测算子，再次提取边缘并平滑；最后，再将前面提取出来的边缘线使用分段线性回归拟合出波浪与沙滩的水边线，此即是最终的波浪爬高值。

S10、通过图像上瞬时水边线的像素信息，将像素坐标反投影到三维空间中可以具体得到其具体的高程信息。由于图像时间堆栈图像是沿着跨岸的方向提取的，因此其有一个维度的坐标是已知的，因此可以通过像素平面的二维坐标反解出三维空间坐标从而得到在客观世界空间中的波浪爬高值。

实施例2

如图1所示，本实例公开的一种基于机载图像测量波浪爬高的方法，包括如下步骤：完成摄像头的内参标定、通过差分GPS获取控制点的经纬高坐标、将控制点世界坐标与像素坐标配对、对配对的坐标利用非线性优化得到相机姿态、通过每一帧的相机姿态参数得到其正射校正图片、获得研究区域的时间堆栈图像、使用图像边缘检测算子得到瞬时水边线。下面结合图1具体介绍实施过程：

步骤S1、通过Matlab图像处理工具箱得到相机的内参，如相机的焦距、像素大小等，最后构建出相机的内参数矩阵。

常见的方法有张正友标定方法，为简单起见，可以使用MATLAB自带的图像处理工具箱完成对摄像头的标定。

步骤S2、在需要测量波浪爬高的海滩区域内摆放满足一定要求(其相对于周围环境具有容易辨识的特点，如黑或者白)且数量不少于3个的控制点面板，同时要求控制点面板不能共线放置；

本实施例在待研究区域内部的控制点为正方形面板类似于棋盘格。每一个控制点为边长0.6m*0.6m的四个正方形面板，其中两个为黑色另外两个为白色，四个面板交错拼接成为一个边长为1.2m*1.2m的面板。

步骤S3、通过高精度的差分GPS(精度为1厘米)获得每一个控制点的经纬高坐标，并选取适当的坐标原点将其它坐标转化为以该原点为基准的NED(北东地)坐标。

步骤S4、通过相机的成像模型将三维空间中的几个控制点与其在像素平面上的对应的像点一一匹配起来。

步骤S5、加载前面匹配好的控制点与像素序列对，再通过相机的成像模型，然后通过Matlab中的nlinfit函数迭代优化出相机的姿态。

步骤S6、选定稳定图像的控制点，注意这里的稳定图像的控制点与前面步骤中选取的控制点从本质上来说是一样的，但目的却与前面不一样。具体来说，这里所说的图像稳定控制点是为了后续所有图像帧之间的对齐从而使得每一帧选择的研究区域尽量不变。图像稳定控制点的选择直接从前面所谈到的几个控制点中选取，同理稳定控制点选取个数也不少于三个。选取图像稳定控制点的同时还要记录如下几个比较重要的信息，其一是记录首帧图像稳定控制点的位置，因为后续所有的帧都会依据第一帧的信息进行校正；其二是记录稳定图像控制点的搜索半径这个得视当前视频的抖动情况而定，抖动较大则可以选择较大的搜索半径，反之亦然；其三是选择合适的阈值用来区分控制点与周围的环境信息，这也就是为什么使用黑白棋盘格作为控制点。

当完成对图像稳定控制点的设置后，就可以对后续所有的视频帧依据图像稳定控制点求解后续所有帧所对应的相机姿态。具体过程为：首先，利用前面求出的第一帧的外参信息，通过图像空间图像稳定控制点的信息反解其三维空间点信息，注意从二维空间反解三维空间信息需要指定一个维度坐标为已知信息，这里考虑让高程Z坐标为已知值，用这里反解得到的图像稳定控制点世界坐标用于后续所有帧优化的三维坐标。

然后，后续所有帧对图像稳定控制点进行匹配，再利用配对好的几个图像稳定控制点通过相机的成像模型迭代优化出相机此帧所对应的外参，重复此过程完成对所有帧的求解，得到所有帧的姿态序列。

步骤S7、由于需要通过图像空间中的信息确定波浪爬高的三维空间信息，因此需要完成对图像的正射校正。为表示方便起见，将北东地坐标转换到当地的沿着海岸与垂直海岸方向的坐标系。为简单起见，只需要将原来的北东地坐标系沿着xy轴所在的平面旋转一定角度即可，此角度依据当地实际情况测量而得。

当坐标系的转换得到后，此时对于所要研究的区域的定义更加直观，一般来说只需要沿着海岸与垂直海岸(此时对应着新的坐标系的x轴与y轴)两个方向定义一个矩形区域即可。

当矩形区域选择完毕后，由于需要生成最终的正射校正图片，采取这样一种简单的方式：通过在前面定义的矩形区域中等间距的在x轴与y轴(即沿着海岸线与垂直海岸线方向)采集三维空间点。注意这里有一个近似条件即假设所采样的三维空间点的z坐标(高程信息)是为一常量，这样的假设是合理的，由于飞机的飞行高度大概是在几乎100米的高空，海滩的坡度相对于飞机的飞行高度而言是很小的，因此可以将海滩的高程信息近似为所研究区域的平均高程；当然，如果不采用这种假设，也可以通过三维激光雷达对地扫描，也可以获得相应的高程信息，此时需要将激光雷达点云所处的世界坐标系与原来选取的世界坐标系对齐即可得到相应的高程信息。

通过上述方法，此时所要研究的区域的三维空间点坐标此时便可以完全得到，通过相机成像模型便可以得到每个点对应的像素坐标。当在三维空间中均匀地采集一系列点后，其对应的像素坐标也已得到，然后对像素坐标进行采样，重排使其重新构成新的图像，该图像即为正射校正图片，此时图片的分辨率即对应着前面所选择的矩形区域大小与对应方向的分辨率的比值。所以，此时图像空间中每两个像素点间也是存在有距离信息的。

步骤S8、由于已经得到所有的经过正射校正后的图片了，为了研究方便，采取一维的形式研究波浪爬高，即在所有经过正射校正后的图片上选择一列像素值(在三维空间中表现为垂直于岸边的方向)组成时间堆栈图像。该时间堆栈图像的宽度为时间长度(单位为秒)，高度正比于跨岸的长度。

步骤S9、通过对时间堆栈图像进行图像二值化、图像增强、形态学操作以及边缘检测算子的操作等提取出其水边线。首先，通过设置合适的阈值进行图像二值化，这样便能更好地分析物体的形状和轮廓同时将波浪与沙滩最大可能的分离；然后再进行图像增强，扩大波浪与沙滩两者不同物体特征之间的差别；然后再通过形态学操作进一步地扩大不同物体特征之间的差别，同时通过形态学边缘检测算子提取出初始边缘；接着再次通过适当的边缘检测算子，如Sobel算子、Canny算子，再次提取边缘并平滑；最后，再将前面提取出来的边缘线使用分段线性回归拟合出波浪与沙滩的水边线，此即是最终的波浪爬高值。

步骤S10、由于图像时间堆栈图像是沿着跨岸的方向提取的，因此其有一个维度的坐标是已知的，因此可以通过像素平面的二维坐标反解出三维空间坐标从而得到在客观世界空间中的波浪爬高值。

实施例3

一种基于机载图像测量波浪爬高的方法，包括如下步骤：

S1、通过Matlab图像处理工具箱得到相机的内参，最后构建出相机的内参数矩阵；所述内参包括相机的焦距、像素大小；在待研究区域内部署控制点，同时所部署的控制点的数量不少于三个；通过GPS获取部署在海滩区域内的每个控制点的经纬高坐标；

在需要测量波浪爬高的海滩区域内摆放满足一定要求(其相对于周围环境具有容易辨识的特点，如黑或者白)且数量不少于3个的控制点面板，同时要求控制点面板不能共线放置；

S2、将世界空间中的控制点坐标与其相应的图像空间中的控制点像素坐标一一关联：

设世界空间中的坐标点为(X_w,Y_w,Z_w)，设无人机搭载的相机在所设置的世界坐标系中的坐标为(C_XW,C_YW,C_ZW)，世界空间中的点投影到图像坐标系中的过程为：

其中为相机的内参矩阵，f表示焦距，f_x、f_y分别表示每个像素在图像平面X、Y轴方向的物理尺寸，U₀、V₀为图像坐标系原点的像素坐标值。

R表示相机坐标系相对于世界坐标系的姿态所组成的旋转矩阵；

构建矩阵其中/>表示相机在世界坐标系下的位置；

通过如上的一系列的变换矩阵操作，最终将三维空间中的点投影到二维像平面上；然后，对第一帧图片中的控制点像素坐标进行标注，并记录每一个标注点的像素坐标，注意世界空间中控制点的序号要与图像空间中控制点需要严格一一对应。

S5、通过三维空间到二维平面的投影关系，使用非线性迭代优化方法得到第一帧的姿态信息；

首先，加载前面已经得到的三维空间中控制点与图像空间中控制点的配对关系，同时根据前面已经得到的三维空间到图像二维平面的投影模型，可以通过已经配对的控制点利用非线性优化的方式迭代求解相机的外参，即相机在世界坐标系中的姿态。为简单处理，MATLAB已经提供了nlinfit函数，可直接通过输入数据、待求解的模型，然后得到求解的变量即相机的姿态。

S6、选定图像稳定控制点并对所拍摄视频截取图像关键帧，然后再利用非线性迭代优化方法求得所有关键帧相应的姿态信息：首先选定稳定图像的控制点，注意这里的稳定图像的控制点与前面步骤中选取的控制点从本质上来说一样的，但目的却与前面不一样。具体来说，这里所说的图像稳定控制点是为了后续所有图像帧之间的对齐从而使得每一帧选择的研究区域尽量不变。图像稳定控制点的选择直接从前面所述的几个控制点中选取，同理稳定控制点选取个数也不少于三个。

选择图像稳定控制点时要记录几个比较重要的信息，其一是记录首帧图像稳定控制点的位置，因为后续所有的帧都会依据第一帧的信息进行校正；其二是记录稳定图像控制点的搜索半径，这个得视当前视频的抖动情况而定，抖动较大则可以选择较大的搜寻半径，反之亦然；其三是选择合适的阈值用来区分控制点与周围的环境信息，因为控制点的构成为黑白两种颜色，所以若环境中趋近白色像素的成分较多，可选择趋近于黑色的阈值，反之则选择趋近于白色的阈值。

当完成对图像稳定控制点的设置后，就可以对后续所有的视频帧依据图像稳定控制点求解后续所有帧所对应的相机姿态。具体过程为：首先，利用前面求出的第一帧的外参信息，通过图像空间图像稳定控制点的信息反解其三维空间点信息，注意从二维空间反解三维空间信息需要指定一个维度坐标为已知信息，这里考虑让高程Z坐标为已知值，用这里反解得到的图像稳定控制点世界坐标用于后续所有帧优化的三维坐标。

然后，后续所有帧对图像稳定控制点进行匹配，再利用配对好的几个图像稳定控制点通过相机的成像模型迭代优化出相机此帧所对应的外参，重复此过程完成对所有帧的求解，得到所有帧的姿态序列。

S7、选取所要研究波浪爬高的区域，利用前述所求得的姿态信息对此区域生成正射校正后的图像；

由于需要通过图像空间中的信息确定波浪爬高的三维空间信息，因此需要完成对图像的正射校正。为表示方便起见，将北东地坐标转换到当地的沿着海岸与垂直海岸方向的坐标系。为简单起见，只需要将原来的北东地坐标系沿着xy轴所在的平面旋转一定角度即可，此角度依据当地实际情况测量而得。

当坐标系的转换得到后，此时对于所要研究的区域的定义更加直观，一般来说只需要沿着海岸与垂直海岸(此时对应着新的坐标系的x轴与y轴)两个方向定义一个矩形区域即可。

当矩形区域选择完毕后，由于需要生成最终的正射校正图片，采取这样一种简单的方式：通过在前面定义的矩形区域中等间距的在x轴与y轴(即沿着海岸线与垂直海岸线方向)采集三维空间点。注意这里有一个近似条件即假设所采样的三维空间点的z坐标(高程信息)是为一常量，这样的假设是合理的，由于飞机的飞行高度大概是在几乎100米的高空，海滩的坡度相对于飞机的飞行高度而言是很小的，因此可以将海滩的高程信息近似为所研究区域的平均高程；当然，如果不采用这种假设，也可以通过三维激光雷达对地扫描，也可以获得相应的高程信息，此时需要将激光雷达点云所处的世界坐标系与原来选取的世界坐标系对齐即可得到相应的高程信息。

通过上述方法，此时所要研究的区域的三维空间点坐标此时便可以完全得到，通过相机成像模型便可以得到每个点对应的像素坐标。当在三维空间中均匀地采集一系列点后，其对应的像素坐标也已得到，然后对像素坐标进行采样，重排使其重新构成新的图像，该图像即为正射校正图片，此时图片的分辨率即对应着前面所选择的矩形区域大小与对应方向的分辨率的比值。另外，此时图像空间中每两个像素点间也是存在有距离信息。

S8、在垂直海岸的方向上选择一条直线，这条直线在三维空间某一个维度上具有固定的坐标，这样通过图像空间向三维空间逆变换时可以得到唯一解，从而在图像空间上可以度量三维空间上的位置信息。然后利用所选区域生成拍摄视频的校正图片并进行处理得到所有帧在该区域的一个时间堆栈图像。

由于已经得到所有的经过正射校正后的图片，为了方便，采取一维的形式研究波浪爬高，即在所有经过正射校正后的图片上选择一列像素值(在三维空间中表现为垂直于岸边的方向)组成时间堆栈图像。该时间堆栈图像的宽度为时间长度(单位为秒)，高度正比于跨岸的长度。

S9、通过对时间堆栈图像进行图像亮度调整、垂直方向抹平、均值平滑、阈值化处理、阈值的减出、上端边缘的提取这一处理流程可得到波浪爬高的上端边缘曲线；

由于相机本身拍摄角度的原因会造成沙滩的亮度变化，为了减少图像亮度变化对波浪爬高上端边缘提取过程中的影响，需要对时间堆栈图像进行亮度调整，一般来说，可以选择第一列沙滩处的亮度为标准值，后面所有列的亮度值都以该标准进行调整。一般求出每列中相同位置的若干行像素的平均值，该平均值与第一列中的平均值比较会得到该列于第一列中每个像素的平均差值，最后用该列中的所有像素减去这个平均差值，这样就完成了该列的图像亮度调整。

垂直方向抹平具体的实施步骤为：对每一列的像素按照从最后一行到第一行的处理过程进行处理，当某一行的像素值比它下一行的像素值小时，则用下一行的像素值代替此行的像素值，否则此行的像素值不变。经过这样操作后，时间堆栈图像第一行的像素值最大，最下面一行的像素值最小。

均值平滑是为了消除图像中每列像素值在采样时产生的随机噪声，需要用均值滤波器进行平滑操作。均值滤波器的模板选择并没有一个确定的数值，唯一的要求是能够使边缘曲线对波浪爬高上端的图像亮度变化不过分迟钝也不过分敏感即可。

阈值化处理是根据直方图选取阈值，因为根据前面的一系列步骤已经将原时间堆栈图像的灰度值明显的区分为两段，因此可以根据直方图选择两段灰度值的中间阈值。然后再对均值平滑后的图像减去该阈值可得到类似于二值化后的图像，这样图像在波浪与沙滩之间会有更加明显的边缘线。

最后，再对阈值化处理后的图像通过图像像素值最小路径的方法可提取出较为完整的瞬时水边线。

S10、通过图像上瞬时水边线的像素信息，将像素坐标反投影到三维空间中可以具体得到其具体的高程信息。由于图像时间堆栈图像是沿着跨岸的方向提取的，因此其有一个维度的坐标是已知的，因此可以通过像素平面的二维坐标反解出三维空间坐标从而得到在客观世界空间中的波浪爬高值。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (8)

1.一种基于机载图像测量波浪爬高的方法，其特征在于，包括如下步骤：

S1、完成对摄像头的内参标定；在待研究区域内部署控制点，同时所部署的控制点的数量不少于三个；获取部署在海滩区域内的每个控制点的经纬高坐标；

S2、将世界空间中的控制点坐标与其相应的图像空间中的控制点像素坐标一一关联；包括如下步骤：

设世界空间中的坐标点为(X_w，Y_w，Z_w)，设无人机搭载的相机在所设置的世界坐标系中的坐标为(C_XW，C_YW，C_ZW)，世界空间中的点投影到图像坐标系中的过程为：

其中U、V分别表示图像坐标系下的横纵坐标；

为相机的内参矩阵，f表示焦距，f_x，f_y分别表示每个像素在图像平面X、Y轴方向的物理尺寸，U₀、V₀为图像坐标系原点的像素坐标值；

R表示相机坐标系相对于世界坐标系的姿态所组成的旋转矩阵；

构建矩阵其中/>表示相机在世界坐标系下的位置；

通过如上的一系列的变换矩阵操作，最终将三维空间中的点投影到二维像平面上；然后，对第一帧图片中的控制点像素坐标进行标注，并记录每一个标注点的像素坐标，世界空间中控制点的序号要与图像空间中控制点一一对应；

S3、通过三维空间到二维平面的投影关系，使用非线性迭代优化方法得到第一帧的姿态信息；

S4、选定图像稳定控制点并对所拍摄视频截取图像关键帧，然后再利用非线性迭代优化方法求得所有关键帧相应的姿态信息；选取待研究波浪爬高的区域，利用所求得的姿态信息对此区域生成正射校正后的图像；

S5、在垂直海岸的方向上选择一条直线，通过图像空间向三维空间逆变换得到唯一解，从而在图像空间上度量三维空间上的位置信息，然后利用所选区域生成拍摄视频的校正图片并进行处理得到所有帧在该区域的一个时间堆栈图像；

S6、通过对时间堆栈图像进行预处理操作得到其瞬时水边线；

S7、通过图像上瞬时水边线的像素信息，将像素坐标反投影到三维空间中得到波浪在海滩上爬升的具体高程信息；

选取待研究波浪爬高的区域，利用所求得的姿态信息对此区域生成正射校正后的图像包括如下步骤：

1)、将北东地坐标转换到当地的沿着海岸与垂直海岸方向的坐标系，具体将原来的北东地坐标系沿着xy轴所在的平面旋转；

2)、沿着海岸与垂直海岸两个方向定义一个矩形区域，在矩形区域中等间距的在x轴与y轴即沿着海岸线与垂直海岸线方向采集三维空间点，将激光雷达点云所处的世界坐标系与原来选取的世界坐标系对齐即得到相应的高程信息；

3)、通过相机成像模型得到每个点对应的像素坐标，在三维空间中均匀地采集一系列点后，得到对应的像素坐标，然后对像素坐标进行采样，重排使其重新构成新的图像，该图像即为正射校正图片。

2.根据权利要求1所述的一种基于机载图像测量波浪爬高的方法，其特征在于，所述步骤S1中，通过Matlab图像处理工具箱得到相机的内参，最后构建出相机的内参数矩阵；所述内参包括相机的焦距、像素大小。

3.根据权利要求1所述的一种基于机载图像测量波浪爬高的方法，其特征在于，控制点为正方形面板；每一个控制点为四个正方形面板，其中两个为黑色另外两个为白色；四个面板交错拼接。

4.根据权利要求1所述的一种基于机载图像测量波浪爬高的方法，其特征在于，通过GPS获得每一个控制点的经纬高坐标，然后再选取一个坐标原点并得到其经纬高坐标，再将所有控制点转化为以所选原点为基准的北东地坐标。

5.根据权利要求1所述的一种基于机载图像测量波浪爬高的方法，其特征在于，所述步骤S3具体包括：通过已经配对的控制点利用非线性优化的方式迭代求解相机的外参，即相机在世界坐标系中的姿态。

6.根据权利要求1所述的一种基于机载图像测量波浪爬高的方法，其特征在于，所述步骤S4包括如下步骤：

S41、首先选定稳定图像控制点，图像稳定控制点从部署的控制点中选取，选取个数也不少于三个；

选择图像稳定控制点时记录以下信息：

1)、记录首帧图像稳定控制点的位置；

2)、记录稳定图像控制点的搜索半径；

3)、设置阈值用来区分控制点与周围的环境信息；

S42、对所有的视频帧依据图像稳定控制点求解后续所有帧所对应的相机姿态，具体过程为：首先，利用第一帧的外参信息，通过图像空间图像稳定控制点的信息反解第一帧的三维空间点信息，用反解得到的图像稳定控制点世界坐标用于后续所有帧优化的三维坐标；

S43、所有帧对图像稳定控制点进行匹配，再利用配对好的图像稳定控制点通过相机的成像模型迭代优化出相机此帧所对应的外参，重复此过程完成对所有帧的求解，得到所有帧的姿态序列。

7.根据权利要求1所述的一种基于机载图像测量波浪爬高的方法，其特征在于，步骤S5具体包括采取一维的形式研究波浪爬高，即在所有经过正射校正后的图片上选择一列像素值组成时间堆栈图，该时间堆栈图像的宽度为时间长度，高度正比于跨岸的长度。

8.根据权利要求1～7任一项所述的一种基于机载图像测量波浪爬高的方法，其特征在于，所述预处理操作包括：通过对时间堆栈图像进行图像二值化、图像增强、形态学操作以及边缘检测算子的操作提取出其水边线，包括如下步骤：

S61、通过设置合适的阈值进行图像二值化，然后再进行图像增强，扩大波浪与沙滩两者不同物体特征之间的差别；

S62、通过形态学操作进一步地扩大不同物体特征之间的差别，同时通过形态学边缘检测算子提取出初始边缘；

S63、通过适当的边缘检测算子，再次提取边缘并平滑；

S64、将前面提取出来的边缘线使用分段线性回归拟合出波浪与沙滩的水边线，此即是最终的波浪爬高值。