CN110246177B - 一种基于视觉的自动测波方法 - Google Patents

Abstract

本发明属于海洋波浪测量技术领域，具体涉及一种基于视觉的自动测波方法，包括以下步骤：（1）对相机标定以获取相机参数；（2）利用GPS惯性导航获取相机的位姿信息；（3）利用标定后的相机进行视频图像采集；（4）对视频图像进行处理以获取波浪关键点座标；（5）结合相机参数和相机的位姿信息将波浪的关键点座标转换为波浪的真实座标；（6）利用波浪的真实座标计算得到波浪信息。本发明利用波浪的视频图像信息和GPS获取的相机位姿信息经过图像处理和相关运算得到波浪的速度、方向和周期，操作简单，测量方法便捷，节省大量的人力物力，具有广阔的应用前景。

Description

一种基于视觉的自动测波方法

技术领域

本发明属于海洋波浪测量技术领域，具体涉及一种基于视觉的自动测波方法。

背景技术

近年来，随着海洋资源探测领域的发展和国家对海域范围的日益重视，海洋观测技术是海洋资源开发和海洋权益保障的重要技术支持，对我国的海防建设和海洋资源的利用监测和可持续发展具有十分重要的意义。海洋波浪的产生和运动是海洋中最常见的物理现象之一，波浪测量对于海洋工程设计、海洋运输以及海洋捕捞作业、海洋环境预报、海洋科学研究等都非常重要。

在目前的海洋波浪测量系统中，主要存在以下两种方案：1.海洋测波浮标，利用浮标进行波浪观测的方法主要是利用海中浮标体内设置的带加速度计的测波传感器，测量浮标体随波浪的运动，记录波浪参数；2.雷达测波。在上述系统的部署应用过程中，所用仪器设备复杂，传感器昂贵，增加了波浪观测的成本且便携性不足，耗费大量的人力物力。为实现波浪观测的全面自动化，降低人力物力人力消耗，提高测波系统的便携型和可操作性，有必要设计发明一种新型的便携的波浪观测系统，用于波浪观测。

发明内容

为解决背景技术中存在的问题，本发明的目的在于提供一种基于视觉的自动测波方法，通过对波浪视频信息进行采集，对采集的视频经算法处理而获得波浪的速度、方向和周期，极大地简化了测波装置的安装复杂度。

基于上述目的，本发明采用如下技术方案：一种基于视觉的自动测波方法，包括以下步骤：(1)对相机标定以获取相机参数；(2)利用GPS惯性导航获取相机的位姿信息；(3)利用标定后的相机进行视频图像采集；(4)对视频图像进行处理以获取波浪关键点座标；(5)结合相机参数和相机的姿态信息将波浪的关键点座标转换为波浪的真实座标；(6)利用波浪的真实座标计算得到波浪信息。

进一步地，上述测波方法是基于依次连接的GPS惯性导航、计算机和相机实现；所述GPS惯性导航用于获取相机的位姿信息；所述相机为补光变焦云台相机，包括微处理器、变焦相机、相机云台和照明激光灯；计算机通过微处理对变焦相机、相机云台和照明激光灯进行控制；计算机内设有波浪图像序列模块、云台控制模块、激光照明模块和信息管理模块；波浪图像序列模块通过微处理器获取变焦相机的相机参数和变焦相机采集的视频图像信息；云台控制模块通过微处理器控制相机云台对变焦相机采集视频图像的角度进行调整；激光照明模块通过微处理器控制照明激光灯的启闭；信息管理模块对相机参数、变焦相机的位姿信息、视频图像信息和波浪信息进行存储。

进一步地，步骤(1)对相机标定以获取相机参数的具体过程为：计算机内的波浪图像序列模块向微处理器发出相机标定信号，微处理器接收信号并对变焦相机进行标定，微处理将对相机进行标定时获取的相机参数发送至波浪图像序列模块，波浪图像序列模块获取相机参数包括内参矩阵M和相机焦距f，内参矩阵M为

其中，f_x、f_y、c_x和c_y均为在图像座标系下相机标定获得的内参，f_x为相机镜头在x轴方向的焦距，f_y为相机镜头在y轴方向的焦距，c_x为相机镜头在图像座标系下原点到相机光轴在x方向的偏移量，c_y为相机镜头在图像座标系下原点到相机光轴在y方向的偏移量。

进一步地，步骤(2)中GPS惯性导航获取相机的位姿信息包括相机与海平面的高度差H、相机的方位角θ'、俯仰角β和横滚角θ；还包括由相机焦距f、相机参数f_x、f_y、相机与海平面的高度差h、俯仰角β经计算得到的待测点与相机的纵向距离s和待测点与相机的横向距离w。

进一步地，由相机焦距f、相机参数f_x、f_y、相机与海平面的高度差H、俯仰角β经计算得到的待测点与相机的纵向距离s和待测点与相机的横向距离w，具体计算过程为：

其中，f_x和f_y分别为相机标定得到的内参；Δ_x、Δ_y分别为待测点在图像座标系中与图像中点的偏移量，单位为像素；

其中，α为待测点在地球引力反方向与相机光轴之间的夹角；g为待测点在俯视图上在光轴上的投影；β为相机的俯仰角；γ为待测点在海平面方向上与相机光轴的夹角；s为待测点与相机的纵向距离；w为待测点与相机的横向距离。

进一步地，相机的俯仰角β实际上为相机镜头的俯仰角，而实际测定相机的俯仰角β时通过固定于相机外壳的角度传感器进行测定，角度传感器测定的实际为相机外壳的俯仰角β_测，故相机的俯仰角β与相机外壳的俯仰角β_测之间存在固定的误差角Δ_β；在初次对误差角Δ_β进行计算确定其具体值，在后续的测定过程中，通过误差角Δ_β和实际测定的相机外壳的俯仰角β_测，对相机的俯仰角β进行修正；具体误差角Δ_β经下列所述运算而得，运算过程如下：

β＝β_测+Δ_β；

其中，s为待测点与相机的垂直距离；h为待测点与相机的水平距离；f_y为相机的内参；Δ_y为待测点在图像座标系中与图像中点的偏移量；在误差角Δ_β的计算公式中，s、h、f_y和Δ_y均为已知值。

进一步地，步骤(3)利用标定后的相机进行视频图像采集的具体过程为：计算机内的波浪图像序列模块向微处理器发出视频图像采集信号，微处理器接收信号并控制变焦相机进行视频图像采集，微处理器将变焦相机采集的视频图像发送至波浪图像序列模块，波浪图像序列模块将接收视频图像，并将视频图像发送至信息管理模块进行存储。

进一步地，步骤(4)对视频图像进行处理以获取波浪关键点座标的具体过程为：

1)由波浪图像序列获取的波浪视频图像，使用图像像素级别预测方法中的图像语义分割对视频图像进行区域划分，提取海面感兴趣区域，得到海面感兴趣区域图像；使用图像像素级别预测方法中的图像边缘检测对视频图像进行边缘提取，得到边缘图像；将海面感兴趣区域图像和边缘图像进行元素相乘得到波浪边缘灰度图；

2)对波浪边缘灰度图进行自适应阈值二值化处理和小区域去除，得到二值化边缘图；

3)对二值化边缘图进行骨架细化得到线状波浪，利用概率霍夫变化线段端点提取算法对线状波浪进行端点提取和直线检测，得到在图像座标系下每帧图像中线状波浪的边缘座标(x_i,j,y_i,j)；

4)将每帧图像的边缘座标(x_i,j,y_i,j)，利用RANSAC方法，将线状波浪边缘座标(x_i,j,y_i,j)进行直线拟合，得到线状波浪在图像座标系下的拟合直线y＝kx+b；拟合直线的左右两个端点座标即为波浪关键点座标，波浪的关键点座标为图像座标系下的像素座标。

进一步地，步骤(5)结合相机参数和相机的姿态信息将波浪的关键点座标转换为波浪的真实座标，具体过程为：利用相机成像的投影变换过程，即将物理点Q的座标(x,y,z)映射到投影平面上的座标为(x_screen,y_screen)，其中，(x_screen,y_screen)为像素座标，物理点Q的座标为像素座标对应的真实座标；将(x_screen,y_screen)转换为齐次座标下的三维向量q＝(w·x_screen,w·y_screen,w)，结合相机内参矩阵M，经过换算将像素座标转换为真实大地座标；具体换算过程为：

其中，M为相机的内参矩阵，Q为真实座标；q为由像素座标在齐次座标下的三维向量；M和q为已知值；

通过上述真实座标和像素座标之间的转换关系，将关键点座标由像素座标转换为真实座标。

进一步地，步骤(6)利用波浪的真实座标计算得到波浪信息的具体过程如下：

①.波浪的方向θ"的测定，波浪方向由线状波浪与正北方向的夹角θ"进行表示，具体计算公式为：θ″＝90°-arctan(k′)+θ′；其中，θ"为表示波浪方向；θ'为相机方位角，即相机镜头与正北方向的夹角，通过GPS惯性导航获取；k_i为第i帧图像中由真实座标进行RANSAC直线拟合得到的直线斜率；k′为平均直线斜率；平均直线斜率由公式

m为图像的帧数；

②.波浪的速度V的测定，以后帧的波浪座标与前帧波浪座标相对关系这一先验信息为标准，筛选出在大地座标系下与相机之间的距离最近的波浪图像和最远的波浪图像，利用两帧波浪图像之间的距离和时间差，经过计算得到波浪速度V，计算公式为：

其中

为第i个周期第一次检测到的线状波浪图像与相机之间的实际距离，

为第i个周期最后一次检测到的线状波浪图像与相机之间的实际距离，(l-n)/30为两帧图像相隔的拍摄时间，q为一个波浪序列中的波浪周期数；l为第l帧图像；n为第n帧图像；

③.波浪周期T的测定，通过筛选出座标信息相同而时间信息不同的两帧图像进行波浪周期的计算，具体计算公式为：

其中(N-n)/30为两帧图像相隔时间，s-n为一个波浪图像序列中的波浪周期数；N为第N帧图像。

与现有技术相比，本发明的有益效果为：

(1)本发明提供的基于视觉的自动测波系统，硬件电路简单、控制逻辑简单，极大地简化了传统测波装置的安装复杂度。

(2)本发明直接利用波浪的视频图像信息和GPS获取的相机位姿信息经过图像处理和相关运算得到波浪的速度、方向和周期，操作简单，测量方法便捷，节省大量的人力物力，具有广阔的应用前景。

(3)本发明利用GPS获取变焦相机的位姿信息，对相机镜头和相机外壳之间形成的误差角进行计算，通过误差角修正相机镜头的俯仰角，有利于降低本发明测波方法的误差，提高测量精度。

附图说明

图1为本发明测波方法的流程图；

图2为本发明由关键点座标得到最终波浪信息的流程图；

图3为本发明涉及的测波系统的示意图；

图4为对相机俯仰角进行校正的示意图；

图5为对视频图像进行语义分割和边缘检测得到波浪边缘灰度图的处理过程；

图6为对波浪边缘灰度图进行自适应二值化处理示意图；

图7为对二值化处理后的图像进行小区域去除的示意图；

图8为对二值化边缘图进行骨架细化的示意图；

图9为利用概率霍夫变化线段端点提取算法对骨架细化后的图像进行端点提取示意图；

图10为利用RANSAC方法对线状波浪边缘进行直线拟合示意图；

图11为对相机横滚角进行校正的示意图；

图12为计算波浪信息的示意图；

图13为波浪方向的测量示意图。

具体实施方式

结合附图1～13对本发明基于视觉的自动测波方法作进一步说明。

一种基于视觉的自动测波方法，其流程如图1和图2所示。该自动测波方法基于测波系统实现，测波系统包括依次连接的GPS惯性导航、计算机和补光变焦云台相机实现，如图3所示，GPS惯性导航和补光变焦云台相机统一安装在外壳为耐腐蚀的密封箱体内，并置于无人艇上使用，计算机为便携式计算机。

GPS惯性导航通过串口通信协议与计算机进行通信，并将GPS惯性导航获取的信息存储于计算内。GPS惯性导航包括GPS和陀螺仪，GPS用于获取变焦相机的位置信息，如变焦相机与海平面的高度差信息，陀螺仪用于获取变焦相机的姿态信息，如变焦相机的方位角、俯仰角和横滚角。GPS将获取的变焦相机的位置和姿态信息(简称位姿信息)发送至计算机存储。

补光变焦云台相机包括微处理器、变焦相机、相机云台和照明激光灯；计算机与微处理器通过RS485协议进行通信，计算机通过微处理对变焦相机、相机云台和照明激光灯进行控制；微处理器接收计算机发出的变焦控制信号，对变焦相机发出变焦控制指令，变焦相机接收指令并进行焦距调整；微处理器接收由计算机发出的控制信号对照明激光灯和相机云台进行控制，照明激光灯用于进行场景补光，场景是否需要补光由操作人员视场景光照条件进行判断，采用的照明激光灯为红外照明激光灯；相机云台用于控制相机的姿态，对相机采集视频图像的角度进行调整；计算机通过TCP/IP协议和变焦相机进行数据传输。

计算机内设有波浪图像序列模块、云台控制模块、激光照明模块和信息管理模块，如图1所示，波浪图像序列模块通过微处理器获取变焦相机的相机参数和变焦相机采集的视频图像信息；云台控制模块通过微处理器控制相机云台对变焦相机采集视频图像的角度进行调整；激光照明模块通过微处理器控制照明激光灯的启闭；信息管理模块对相机参数、变焦相机的位姿信息、变焦相加采集的视频图像信息和波浪信息进行存储。

利用上述测波系统进行基于视觉的自动测波方法，如图1所示，包括以下步骤；

1.对变焦相机进行标定以获取变焦相机参数，具体过程为：计算机通过云台控制模块将变焦相机调整至合适位置，计算机内的波浪图像序列模块向微处理器发出相机标定信号，微处理器接收信号并对变焦相机进行标定，微处理将对相机进行标定时获取的相机参数发送至波浪图像序列模块，波浪图像序列模块获取相机参数包括内参矩阵M和相机焦距f，内参矩阵M为

其中，f_x、f_y、c_x和c_y均为在图像座标系下相机标定获得的内参，f_x为相机镜头在x轴方向的焦距，f_y为相机镜头在y轴方向的焦距，c_x为相机镜头在图像座标系下原点到相机光轴在x方向的偏移量，c_y为相机镜头在图像座标系下原点到相机光轴在y方向的偏移量。

2.利用GPS惯性导航获取相机的位姿信息，具体过程为：

计算机向GPS惯性导航发送查询信号，查询目标变焦相机的位姿信息，GPS惯性导航将变焦相机的位姿信息发送至计算机，并通过计算机内的信息管理模块进行存储。GPS惯性导航获取相机的位姿信息包括相机与海平面的高度差h、相机的方位角θ'、俯仰角β和横滚角θ；还包括由相机焦距f、相机参数f_x、f_y、相机与海平面的高度差H、俯仰角β经计算得到的待测点与相机的纵向距离s和待测点与相机的横向距离w。座标系采用北西天NWU座标系，即x轴与无人艇艏向方向一致，z轴指向正上方，y轴为地球引力方向，由于补光变焦相机在安装时，不一定都处于水平位置，往往存在一定的倾斜，在计算待测点与相机的纵向距离s和横向距离w时，主要的影响因素为相机的俯仰角β。

由相机焦距f、相机参数f_x、f_y、相机与海平面的高度差H、俯仰角β经计算得到的待测点与相机的纵向距离s和待测点与相机的横向距离w，具体计算过程如图4所示，A为变焦相机位置，AB为地球引力方向，BE为海面位置，AE为相机光轴，D点为待测点，C点为待测点在侧视图上的投影点，计算公式如下：

其中，f为相机焦距，f_x和f_y分别为相机标定得到的内参；Δ_x、Δ_y分别为待测点在图像座标系中与图像中点的偏移量，单位为像素；

其中，α为待测点在y轴方向与相机光轴之间的夹角；g为待测点在俯视图上在光轴上的投影；β为相机的俯仰角；γ为待测点在x轴方向上与相机光轴的夹角；s为待测点与相机的纵向距离；w为待测点与相机的横向距离。

进一步地，由于相机与相机外壳之间存在一定机械结构以及安装上的偏差，故相机座标系和相机外壳座标系并不完全对应，存在一定的偏差。相机的俯仰角β实际上为相机镜头的俯仰角，而实际测定相机的俯仰角β时通过固定于相机外壳的角度传感器进行测定，角度传感器测定的实际为相机外壳的俯仰角β_测，由于相机安装在相机外壳之后，相机与相机外壳的位置相对固定，故从理论上来讲，只需要在使用之前进行标定反算出相机座标系和相机外壳座标系之间的转换关系，在后续使用过程中，利用标定出的转换关系完成从相机坐标系到相机外壳座标系之间的转换，相机座标系和相机外壳座标系之间的转换关系实际上为相机俯仰角上的转换关系，即相机的俯仰角β与相机外壳的俯仰角β_测之间存在误差角Δ_β；在初次对误差角Δ_β进行计算确定其具体值，在后续的测定过程中，通过误差角Δ_β和实际测定的相机外壳的俯仰角β_测，对相机的俯仰角β进行修正；具体误差角Δ_β经下列所述运算而得，运算过程如下：

β＝β_测+Δ_β；

其中，β_测为固定于相机外壳的角度传感器测量得到的相机外壳的俯仰角，s为待测点与相机的垂直距离；h为待测点与相机的水平距离；f_y为相机的内参；Δ_y为待测点在图像座标系中与图像中点的偏移量；在误差角Δ_β的计算公式中，s、h、f_y和Δ_y均为已知值。通过上述公式即可标定出相机座标系和相机外壳座标系之间在相机俯仰角上的转换关系。

3.利用标定后的相机进行视频图像采集，具体过程为：计算机内的波浪图像序列模块向微处理器发出视频图像采集信号，微处理器接收信号并控制变焦相机进行视频图像采集，微处理器将变焦相机采集的视频图像发送至波浪图像序列模块，波浪图像序列模块将接收视频图像，并将视频图像发送至信息管理模块进行存储。

4.对视频图像进行处理以获取波浪关键点座标，具体过程为：

1)由波浪图像序列获取的波浪视频图像，使用图像像素级别预测方法中的图像语义分割对视频图像进行区域划分，提取海面感兴趣区域，得到海面感兴趣区域图像；使用图像像素级别预测方法中的图像边缘检测对视频图像进行边缘提取，得到边缘图像；将海面感兴趣区域图像和边缘图像进行元素相乘得到波浪边缘灰度图，视频图像处理过程如图5所示；

2)对波浪边缘灰度图进行自适应阈值二值化处理，如图6所示，将二值化处理后的图像进行小区域去除，排除干扰区域，得到二值化边缘图，如图7所示；

3)对二值化边缘图进行骨架细化得到线状波浪，如图8所示，对二值化边缘图进行骨架细化，便于后续的直线检测；利用概率霍夫变化线段端点提取算法对线状波浪进行端点提取和直线检测，得到在图像座标系下每帧图像中线状波浪的边缘座标(x_i,j,y_i,j)，如图9所示，图中白色小圆圈为检测到的直线端点，为了便于表述，图9中将所有直线端点尽数画出；并将处理后的每帧图像中线状波浪的边缘座标信息存入计算机内的信息管理模块。

4)将每帧图像的边缘座标(x_i,j,y_i,j)，利用RANSAC方法，对线状波浪边缘座标(x_i,j,y_i,j)进行直线拟合，得到线状波浪在图像座标系下的拟合直线y＝kx+b，如图10所示；拟合直线的左右两个端点座标即为波浪关键点座标，波浪关键点座标为图像座标系下的像素座标，而非实际大地座标系中的真实座标。实际大地座标系下的座标以变焦相机为座标原点，在拟合的直线上选择直线线段的左右两个端点为关键点，将关键点座标映射到大地座标系下后为真实座标，真实座标表示关键点与相机的真实距离。

由于补光变焦相机安装时，并非处于水平位置，往往存在一定的倾斜，需要事先使用横滚角θ拟合的直线进行矫正。如图11所示，对拟合直线进行旋转变换，以直线的中点为旋转中心进行顺时针转动，直线的转动角度与横滚角大小相同，使得转动后的直线处于水平状态。

5.结合相机参数和相机的姿态信息将波浪的关键点座标转换为波浪的真实座标，如图2所示，具体过程如下：利用相机成像的投影变换过程，即将物理点Q的座标(x,y,z)映射到投影平面上的座标为(x_screen,y_screen)，其中，(x_screen,y_screen)为像素座标，物理点Q的座标为像素座标对应的真实座标；将(x_screen,y_screen)转换为齐次座标下的三维向量q＝(w·x_screen,w·y_screen,w)，结合相机内参矩阵M，经过换算将像素座标转换为真实大地座标；具体换算过程为：

其中，M为相机的内参矩阵，Q为真实座标；q为由像素座标在齐次座标下的三维向量；M和q为已知值；

通过上述真实座标和像素座标之间的转换关系，将关键点座标由像素座标转换为真实座标。

6.利用波浪的真实座标计算得到波浪信息，如图1、图2和图12所示，具体过程如下：

经过步骤4得到了波浪在图像座标系下的拟合直线y＝kx+b，再经过步骤5将关键点座标转换为真实大地座标，在图12中，分别为第n帧、第b帧、第l帧、第N帧、第M帧和第S帧图像的检测结果和直线拟合结果，并且座标信息已经转换为真实座标，从图12中可以看到，第n帧和第N帧图像中的线状波浪出现了相同的图像位置，第b帧和第M帧图像中的线状波浪出现了相同的图像位置，第l帧和第S帧图像中的线状波浪出现了相同的图像位置，图像序列帧率为30fps，图像序列中一共有效检测出波浪的帧数为m。

①.波浪的方向θ"的测定，波浪方向由在大地座标系下沿着逆时针方向线状波浪与正北方向的夹角θ"进行表示，具体计算公式为：θ″＝90°-arctan(k′)+θ′；其中，θ"为表示波浪方向；θ'为相机方位角，即相机镜头与正北方向的夹角，通过GPS惯性导航获取；k_i为第i帧图像中由真实座标进行RANSAC直线拟合得到的直线斜率；k′为平均直线斜率；平均直线斜率由公式

m为图像的帧数；如图13所示，计算得到的拟合直线的平均斜率k′＝0.814，拟合直线与x轴的夹角为39.15°，同时，由GPS测定的艏向夹角即变焦相机方位角θ'为180°，利用公式θ″＝90°-arctan(k′)+θ′即θ″＝90°-39.15°+180°＝230.85°，即检测得到的波浪方向与正北方向的夹角为230.85°。

②.波浪的速度V的测定，由步骤5得到的线状波浪在图像座标系下的关键点座标，利用座标系转换，得到真实大地座标系下的关键点座标，以后帧的波浪座标与前帧波浪座标相对关系这一先验信息为标准，筛选出在大地座标系下与相机之间的距离最近的波浪图像和最远的波浪图像，利用两帧波浪图像之间的距离和时间差，经过计算得到波浪速度V，计算公式为：

其中

为第i个周期第一次检测到的线状波浪图像与相机之间的实际距离，

为第i个周期最后一次检测到的线状波浪图像与相机之间的实际距离，(l-n)/30为两帧图像相隔的拍摄时间，q为一个波浪序列中的波浪周期数；l为第l帧图像；n为第n帧图像；假设某个波浪图像序列一共测得含有2个波浪周期，第1个周期内，第一帧线状波浪与变焦相机之间的实际距离为860.5m，最后一帧线状波浪与变焦相机之间的实际距离为800m，第一帧和最后一帧之间相隔的帧数为300帧；在第2个周期内，第一帧线状波浪与变焦相机之间的实际距离为864.3m，最后一帧线状波浪与变焦相机之间的实际距离为804m，相隔帧数为305帧，则实际检测到的波速

③.波浪周期T的测定，由步骤5得到的线状波浪在图像座标系下的图像关键点座标，利用座标系转换，得到真实大地座标系下关键点的座标，通过筛选出座标信息相同而时间信息不同的两帧图像进行波浪周期的计算，如图12中所示的第n帧和第N帧、第m帧和第M帧、第s帧和第S帧，通过座标信息相同而时间信息不同的两帧，利用两帧之间的时间差和相关的帧数及帧率进行计算得到波浪周期，具体计算公式为：

其中(N-n)/30为两帧图像相隔时间，l-n为一个波浪图像序列中的波浪周期数；N为第N帧图像。假如在某个线状波浪序列中含有2个完整周期，每个周期的线状波浪取三个重合的关键点位置，分别在第50帧和第561帧重合、第60帧和第572帧重合、第70帧和第585帧重合，计算三次波周期的平均值，得到波浪周期

本发明所涉及的基于视觉的自动测波方法，直接利用视频图像信息和GPS获取相机的位姿信息经图像处理和相关运算得到波浪信息，不需要其他复杂传感器，测量方法便捷，节省大量人力物力。本发明涉及的测波系统，硬件电路简单，控制逻辑简单，布放回收简单，极大地简化了传统测波装置的安装复杂度，具有广阔的应用前景。

Claims (5)

1.一种基于视觉的自动测波方法，其特征在于，包括以下步骤：(1)对相机标定以获取相机参数；(2)利用GPS惯性导航获取相机的位姿信息；(3)利用标定后的相机进行视频图像采集；(4)对视频图像进行处理以获取波浪关键点坐 标；(5)结合相机参数和相机的姿态信息将波浪的关键点坐 标转换为波浪的真实坐 标；(6)利用波浪的真实坐 标计算得到波浪信息；

所述测波方法是基于依次连接的GPS惯性导航、计算机和相机来实现；所述GPS惯性导航用于获取相机的位姿信息；所述相机为补光变焦云台相机，包括微处理器、变焦相机、相机云台和照明激光灯；计算机通过微处理对变焦相机、相机云台和照明激光灯进行控制；计算机内设有波浪图像序列模块、云台控制模块、激光照明模块和信息管理模块；波浪图像序列模块通过微处理器获取变焦相机的相机参数和变焦相机采集的视频图像信息；云台控制模块通过微处理器控制相机云台对变焦相机采集视频图像的角度进行调整；激光照明模块通过微处理器控制照明激光灯的启闭；信息管理模块对相机参数、变焦相机的位姿信息、视频图像信息和波浪信息进行存储；

所述步骤(2)中GPS惯性导航获取相机的位姿信息包括相机与海平面的高度差H、相机的方位角θ'、俯仰角β和横滚角θ；还包括由相机焦距f、相机参数f_x、f_y、相机与海平面的高度差h、俯仰角β经计算得到的待测点与相机的纵向距离s和待测点与相机的横向距离w；

所述由相机焦距f、相机参数f_x、f_y、相机与海平面的高度差H、俯仰角β经计算得到的待测点与相机的纵向距离s和待测点与相机的横向距离w，具体计算过程为：

其中，f为相机焦距，f_x和f_y分别为相机标定得到的内参，Δ_x、Δ_y分别为待测点在图像坐标系中与图像中点的偏移量，单位为像素；

其中，α为待测点在地球引力反方向与相机光轴之间的夹角；g为待测点在俯视图上在光轴上的投影；β为相机的俯仰角；γ为待测点在海平面方向上与相机光轴的夹角；s为待测点与相机的纵向距离；w为待测点与相机的横向距离；

所述相机的俯仰角β实际上为相机镜头的俯仰角，而实际测定相机的俯仰角β时通过固定于相机外壳的角度传感器进行测定，角度传感器测定的实际为相机外壳的俯仰角β_测，故相机的俯仰角β与相机外壳的俯仰角β_测之间存在固定的误差角Δ_β；在初次对误差角Δ_β进行计算确定其具体值，在后续的测定过程中，通过误差角Δ_β和实际测定的相机外壳的俯仰角β_测，对相机的俯仰角β进行修正；具体误差角Δ_β经下列运算而得，运算过程如下：

β＝β_测+Δ_β；

其中，s为待测点与相机的纵向距离；h为待测点与相机的水平距离；f_y为相机的内参；Δ_y为待测点在图像坐 标系中与图像中点的偏移量；在误差角Δ_β的计算公式中，s、h、f_y和Δ_y均为已知值；

所述步骤(6)利用波浪的真实坐 标计算得到波浪信息的具体过程如下：

①.波浪的方向θ"的测定，波浪方向由线状波浪与正北方向的夹角θ"进行表示，具体计算公式为：θ″＝90°-arctan(k′)+θ′；其中，θ"为表示波浪方向；θ'为相机方位角，即相机镜头与正北方向的夹角，通过GPS惯性导航获取；k_i为第i帧图像中由真实坐 标进行RANSAC直线拟合得到的直线斜率；k′为平均直线斜率；平均直线斜率由公式

m为图像的帧数；

②.波浪的速度V的测定，以后帧的波浪坐 标与前帧波浪坐 标相对关系这一先验信息为标准，筛选出在大地坐 标系下与相机之间的距离最近的波浪图像和最远的波浪图像，利用两帧波浪图像之间的距离和时间差，经过计算得到波浪速度V，计算公式为：

其中

为第i个周期第一次检测到的线状波浪图像与相机之间的实际距离，

为第i个周期最后一次检测到的线状波浪图像与相机之间的实际距离，(l-n)/30为两帧图像相隔的拍摄时间，p为一个波浪序列中的波浪周期数；l为第l帧图像；n为第n帧图像；

③.波浪周期T的测定，通过筛选出坐 标信息相同而时间信息不同的两帧图像进行波浪周期的计算，具体计算公式为：

其中(N-n)/30为两帧图像相隔时间，l-n为一个波浪图像序列中的波浪周期数；N为第N帧图像。

2.根据权利要求1所述的基于视觉的自动测波方法，其特征在于，所述步骤(1)对相机标定以获取相机参数的具体过程为：计算机内的波浪图像序列模块向微处理器发出相机标定信号，微处理器接收信号并对变焦相机进行标定，微处理将对相机进行标定时获取的相机参数发送至波浪图像序列模块，波浪图像序列模块获取相机参数包括内参矩阵M和相机焦距f，内参矩阵M为

其中，f_x、f_y、c_x和c_y均为在图像坐 标系下相机标定获得的内参，f_x为相机镜头在x轴方向的焦距，f_y为相机镜头在y轴方向的焦距，c_x为相机镜头在图像坐 标系下原点到相机光轴在x方向的偏移量，c_y为相机镜头在图像坐 标系下原点到相机光轴在y方向的偏移量。

3.根据权利要求2所述的基于视觉的自动测波方法，其特征在于，所述步骤(3)利用标定后的相机进行视频图像采集的具体过程为：计算机内的波浪图像序列模块向微处理器发出视频图像采集信号，微处理器接收信号并控制变焦相机进行视频图像采集，微处理器将变焦相机采集的视频图像发送至波浪图像序列模块，波浪图像序列模块将接收视频图像，并将视频图像发送至信息管理模块进行存储。

4.根据权利要求3所述的基于视觉的自动测波方法，其特征在于，所述步骤(4)对视频图像进行处理以获取波浪关键点坐 标的具体过程为：

1)由波浪图像序列模块获取的波浪视频图像，使用图像像素级别预测方法中的图像语义分割对视频图像进行区域划分，提取海面感兴趣区域，得到海面感兴趣区域图像；使用图像像素级别预测方法中的图像边缘检测对视频图像进行边缘提取，得到边缘图像；将海面感兴趣区域图像和边缘图像进行元素相乘得到波浪边缘灰度图；

2)对波浪边缘灰度图进行自适应阈值二值化处理和小区域去除，得到二值化边缘图；

3)对二值化边缘图进行骨架细化得到线状波浪，利用概率霍夫变化线段端点提取算法对线状波浪进行端点提取和直线检测，得到在图像坐 标系下每帧图像中线状波浪的边缘坐 标(x_i,j,y_i,j)；

4)将每帧图像的边缘坐 标(x_i,j,y_i,j)，利用RANSAC方法，将线状波浪边缘坐 标(x_i,j,y_i,j)进行直线拟合，得到线状波浪在图像坐 标系下的拟合直线y＝kx+b；拟合直线的左右两个端点坐 标即为波浪关键点坐 标，波浪的关键点坐 标为图像坐 标系下的像素坐 标。

5.根据权利要求4所述的基于视觉的自动测波方法，其特征在于，所述步骤(5)结合相机参数和相机的姿态信息将波浪的关键点坐 标转换为波浪的真实坐 标，具体过程为：利用相机成像的投影变换过程，即将物理点Q的坐 标(x,y,z)映射到投影平面上的坐 标为(x_screen,y_screen)，其中，(x_screen,y_screen)为像素坐 标，物理点Q的坐 标为像素坐 标对应的真实坐 标；将(x_screen,y_screen)转换为齐次坐 标下的三维向量q＝(w·x_screen,w·y_screen,w)，结合相机内参矩阵M，经过换算将像素坐 标转换为真实大地坐 标；具体换算过程为：

q＝MQ，

其中，M为相机的内参矩阵，Q为真实坐 标；q为由像素坐 标在齐次坐 标下的三维向量；M和q为已知值；

通过上述真实坐 标和像素坐 标之间的转换关系，将关键点坐 标由像素坐 标转换为真实坐 标。

Images