CN113483730A - 一种基于双目立体视觉的海上波浪实测装置及方法 - Google Patents

Abstract

本发明涉及一种基于双目立体视觉的海上波浪实测装置，包括双目相机、视频采集存储器、支撑平台、控制系统；双目相机具有全方位伺服系统；支撑平台固定在海洋平台固定位置，双目相机固定在支撑平台上，控制系统可根据海上平台的运动通过全方位伺服系统连续调整双目相机的垂向角度、水平角度及横向位置，使双目相机的视场始终维持着固定范围内；双目相机与视频采集存储器连接。本发明避免了在海洋实测的恶劣环境下，波浪浮标易受到损坏，维护困难的问题；可以获取波浪的三维面特征；便于安装于海洋平台上部的上层建筑上，易于维护；获得的波浪信息更加丰富；测量区域也更广，可根据研究人员的需要设置灵活设置。

Description

一种基于双目立体视觉的海上波浪实测装置及方法

技术领域

本发明涉及一种基于双目立体视觉的海上波浪实测装置及方法，属于海洋工程技术领域。

背景技术

海上的波浪属于三维波浪，具有波长、高度、波峰、波谷和方向等多种三维特征，在近岸和近海结构工程和设计中，其工作海域的波浪情况是重要设计标准之一。特别是有标准要求，海上浮动或固定结构必须在设计寿命期间能够承受最极端的环境条件。

海浪的统计数据和频谱特性通常是由海面P定点的浪高仪、超声波仪器或海洋浮标测得的波浪表面位移的时间序列测量结果推断出来的。但是，由于点测量的信息量有限，不能准确地预测以P为中心区域的时空波浪动力学。在水池进行的模型试验，其设置的波浪环境条件也是根据其结构物所在海域海况的波浪统计数据来确定，因此海上实测的波浪数据对海洋工程的设计和试验有着重要影响，而现有技术缺乏这种准确实测的装置和手段。

在现有技术的波浪测量中，测量与被测介质直接接触的表面波，主要采用电阻式、电容线形和压力式等侵入式仪器。最典型的仪器是电阻式测量仪，它根据接触面积和电导率之间的比例关系来测量某一点的波高。然而，由于在杆周围的空气-水界面中形成了半月形，在测量小波时会产生较大的误差。而且在海洋实测的恶劣环境下，像浪高仪、浮标等测量仪器很容易受到损坏，而且维护起来也很困难。

双目立体视觉已经普遍应用于日常的生产生活中，像自动驾驶，无人机探测等。而本发明引入双目立体视觉用于波浪的三维测量中，用以解决上述技术问题。

现有技术对比专利清单：

CN202011261155.2，一种多模态波浪监测装置及监测方法；

CN202010117976.2，基于深度学习的海洋环境自动识别方法；

CN201911149747.2，一种基于双目立体视觉的船舶模型姿态测量系统及方法；

CN201910575099.0，一种波浪视频测量装置及方法；

CN201510447921.7，一种基于立体视觉高精度波浪浪高测量方法。

发明内容

本发明需要解决的技术问题是：现有技术测量波浪测量中，测量与被测介质直接接触的表面波，采用电阻式、电容线形和压力式等侵入式仪器(最典型的仪器是电阻式测量仪，它根据接触面积和电导率之间的比例关系来测量某一点的波高)，然而由于在杆周围的空气-水界面中形成了半月形，在测量小波时会产生较大的误差，而且在海洋实测的恶劣环境下，像浪高仪、浮标等测量仪器很容易受到损坏，而且维护起来也很困难。

本发明采取以下技术方案：

一种基于双目立体视觉的海上波浪实测装置，包括双目相机、视频采集存储器、支撑平台4、控制系统；所述双目相机具有全方位伺服系统；所述支撑平台4固定在海洋平台固定位置，双目相机固定在所述支撑平台4上，所述控制系统可根据海上平台的运动通过所述全方位伺服系统连续调整双目相机的垂向角度、水平角度及横向位置，使双目相机的视场始终维持着固定范围内；所述双目相机与视频采集存储器连接。

优选的，双目相机在海洋平台朝着来浪方向的一侧，避免平台绕辐射的影响。

优选的，所述双目相机包括固定在所述支撑平台上的一对相机单元组件；在虚拟的XYZ坐标内，所述相机单元组件包括：相机；固定在支撑平台4上，可沿X向移动的水平位置调节托盘；固定在水平位置调节托盘上，可在XOY平面旋转用以调节相机水平角度的旋转托盘；固定在旋转托盘上，可调节垂向角度并对相机进行支撑的舵机。

进一步的，所述一对相机单元组件位于同一高度的位置。

进一步的，所述全方位伺服系统包括液压伺服装置，所述液压伺服装置与所述水平位置调节托盘连接，并根据海洋平台的实际运动响应实时调整双目相机的X向位置。

更进一步的，所述舵机根据海洋平台的实际运动响应实时调整双目相机的垂向角度；所述旋转托盘根据海洋平台的实际运动响应实时调整双目相机的水平角度。

一种基于双目立体视觉的海上波浪实测方法，包括以下步骤：S1、双目相机将采集的波浪图像传给视频采集存储器；S2、控制系统与视频采集存储器之间的交互，控制系统实时处理波浪图像，同时也可以下达指令给存储器；S3、控制系统根据海洋平台当前的运动状态下达指令给双目相机的全方位伺服系统，以调节相机当前的位置，使相机视场维持在一个固定区域。

优选的，双目相机采集的图像通过千兆网线或万兆网线传输到视频采集存储器，可以进行长期的保存。

进一步的，计算机可对双目相机采集的双目图像通过SGBM算法还原为真实的深度信息，进而重建出波浪面。

本发明的有益效果在于：

1)首次将双目立体视觉测量方法引入到海洋工程的海上波浪实测中，这一新的波浪测量方法可有效弥补现有波浪测量方法的不足之处：现有的海上波浪测量主要是采用浪高仪或波浪浮标等浸入式仪器，在海洋实测的恶劣环境下，波浪浮标很容易受到损坏，而且维护起来也很困难，而且它们获得的都只是波浪的一维时序数据，难以估算波浪的三维特征。

2)基于双目立体视觉的波浪测量装置，安装于海洋平台上部的上层建筑上，易于维护。

3)双目装置获得的波浪图像可以转换为三维波浪信息，相比传统方法来说，获得的波浪信息更加丰富，双目测量装置因为是非浸入式装置，所以它的波浪测量范围更大，可以测量波幅更大的波浪而不会被损坏。

4)双目测量装置的测量区域也更广，可根据研究人员的需要设置，从几十平米到几千平米灵活设置。

附图说明

图1是本发明基于双目立体视觉的海上波浪实测装置的轴测图。

图2是本发明基于双目立体视觉的海上波浪实测装置的主视图。

图3是本发明基于双目立体视觉的海上波浪实测装置的俯视图。

图4是本发明基于双目立体视觉的海上波浪实测方法的工作流程图。

图中，1.左相机，2.右相机，3.角钢支架，4.支撑平台，5、第一旋转托盘，6.第一水平位置调节托盘，7.第一液压伺服装置，8.第一舵机，9.第二舵机，10.第二旋转托盘，11.第二水平位置调节托盘、12.第二液压伺服装置。

具体实施方式

下面结合附图和具体实施例对本发明进一步说明。

基于双目立体视觉的海上波浪实测装置包括三个主要部分，分别是双目相机、视频采集存储器和高性能计算机，其中双目相机自带全方位伺服系统。

首先，双目相机并行固定在海洋平台的一个固定位置，最好是装置在海洋平台朝着来浪方向的一侧，这样可以将平台导致的绕辐射波浪的影响减小到最低。相机固定在一个全方位伺服系统上，可根据平台的运动连续调整相机的角度，使相机的视场始终维持着固定范围内。确保可以测量一片固定海域内的波浪。

然后相机获得的图像通过网线传输到视频采集卡，然后采集卡连接到计算机上，计算机应配备大存储量的硬盘，以便可以保存长期的波浪数据。

最后是计算机上配备基于半全局立体匹配的双目视觉算法软件，可实时处理两个相机采集的图像，将其还原成实时的波浪高程，并加以保存。

本发明使用双目立体视觉的方法对海上波浪进行测量，其基于的核心算法是半全局立体匹配算法与自标定方法。双目装置搭建好后，设置自标定程序，一旦相机的位置因平台运动发生偏移，自标定方法可以实时返回相机实时的外部参数，为后续的波面重建提供标定数据。

研究方法：

1、本装置所采用的技术方法在于半全局立体匹配算法与自标定方法，其中半全局立体匹配算法(Semi-Global Block Matching,SGBM)是计算机视觉领域应用最广的三维重建算法，自标定方法是对相机参数进行标定的方法，适用于相机位置不固定的参数标定。

1)SGBM算法包含以下6个步骤：

[1]预处理。用于匹配的左右两幅图像，需要预先进行对极几何约束,使两张图片处在同一个平面。以及高斯滤波用于消除图片的噪声、sobelX算子处理用于计算图像的梯度等。

Sobel(x,y)＝2[P(x+1,y)-P(x-1,y)]+P(x+1,y-1)-P(x-1,y-1)+P(x+1,y+1)-P(x-1,y+1)

预处理实际上是得到图像的梯度信息，将预处理的图像保存起来，将会用于计算代价。简化之后的匹配过程，可以大幅度减小计算量。

[2]代价计算。代价有两部分组成：一是经过预处理得到的图像的梯度信息经过基于采样的方法得到的梯度代价；二是原图像经过基于采样的方法得到的SAD代价。SAD代价计算的公式如下所示。

[3]代价聚合。半全局算法试图通过影像上多个方向上一维路径的约束，来建立一个全局的马尔科夫能量方程，每个像素最终的匹配代价是所有路径信息的叠加，每个像素的视差选择都只是简单通过WTA(Winner Takes All)决定的。聚合公式如下所示。

[4]后处理提升精度。后处理流程包括：置信度检测、亚像素插值和左右一致性检测。置信度检测是利用代价立方体本身进行错误视差值的剔除。亚像素插值的目的简单说就是让物体表面视差更加的平滑。左右一致性检测的目的则是为了消除左右遮挡带来的视差错误。

2)自标定方法

相机标定是双目立体视觉中必不可少的一个重要步骤。而如果相机位于一个时常会发生运动的结构物上，如海洋平台。那么传统的张氏标定法就很难应用，这里需要采用自标定的方法。自标定方法不需要标定块，只是通过摄像机在运动过程中建立多幅图像之间对应的关系，直接进行标定，它克服了传统标定方法的缺点，灵活性较强。合适的场景约束往往能够在很大程度上简化自标定的难度。因此在相机的交叉视场内应有一部分景物是固定的，因此在海上实测的时候，相机也需要固定在能拍摄到一部分的平台结构。

以上研究方法的基础理论和原理皆为现有技术。

参见图1-3，因需要长期在海上工作，该装置的相机1和2选用的工业摄像头应具备一定的防水的性能，能够适应海上的恶劣环境，必要的时候需要对装置作一定的防护，例如在强台风天气。双目图像采集装置固定在海洋平台的上层建筑处，最好是迎着来浪方向，这样可以减小平台绕辐射带来的影响。要求相机所处位置的视场开阔，没有其他景物干扰。两个相机的参数例如焦距、帧率等，应尽量保持一致，以减小测量误差。

角钢支架3和支撑平台4固定在海洋平台的上层建筑上，为双目测量装置提供支撑，可以根据实际情况进行调整。

双目相机固定在支撑平台4上，并自带全方位伺服系统，便于根据海洋平台的实际运动响应及时调整相机的位置，以保持相机视场范围保持不变。其中5和10为旋转轮盘，用于调整相机的水平角度；6和11为水平位置调节托盘，用于调整相机的水平位置；8和9为调节相机垂向角度的舵机。以上均用来调节相机位置，使得相机在随海洋平台运动时，保持其视场可以维持在之前的位置，目的是可以长期测量一个固定区域内的波浪。

双目图像采集装置采集的图像通过千兆网线或万兆网线传输到视频采集存储器，可以进行长期的保存。

全方位伺服系统的液压伺服装置7和12与水平位置调节托盘连接，并与计算机相连，计算机可根据海洋平台当前的运动响应对相机的X向位置进行实时的调整。

高性能计算机与视频采集存储器相连，计算机可对采集的双目图像通过SGBM算法还原为真实的深度信息，进而重建出波浪面。

本发明的主要创新点归纳如下：

创新点1：将双目立体视觉引入到海洋波浪的三维测量中。相对于浪高仪等传统浸入式波浪测量仪器，基于双目立体视觉的波浪测量维护方便，测量范围广，不易损坏。而且可以获取波浪的三维波面信息，相对浪高仪、波浪浮标等传统仪器来说，获得的波浪信息更加丰富。传统仪器在海上测量该区域的海浪谱，需要布置很多，以形成点阵，而双目测量只需要两个相机，相对来说，装置更加简洁高效。

创新点2：伺服系统可感知海洋平台在波浪中的运动响应，从而及时对相机的位置和角度进行调整，使相机的视场可以维持在一个固定的区域，从而减少测量误差。

创新点3：使用半全局立体匹配算法对获得的双目图像进行三维重建，SGBM具有速度快，精度高的特点，可对双目相机拍摄的波浪视频进行实时的处理。

创新点4：由于海洋平台在工作中不可避免地会发生六自由度运动，因此伺服平台也会根据平台运动对相机的位置进行随时的调整，所以传统的相机标定方法肯定难以使用，本专利使用自标定的相机标定方法，自标定方法根据图像中存在的固定景物提供的三个主正交方向的消视点和消视线信息，并能够据此给出相机内参数的代数解或数值解。广泛存在于建筑或人造场景中的平行线能够帮助提供三个主正交方向的消视点和消视线信息，并能够据此给出相机内参数的代数解或数值解。

以上是本发明的优选实施例，本领域普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本发明总的构思的前提下，这些变换或改进都应当属于本发明要求保护的范围之内。

Claims (9)

1.一种基于双目立体视觉的海上波浪实测装置，其特征在于：

包括双目相机、视频采集存储器、支撑平台(4)、控制系统；

所述双目相机具有全方位伺服系统；

所述支撑平台(4)固定在海洋平台的某一处固定位置，双目相机固定在所述支撑平台(4)上，所述控制系统可根据海上平台的运动通过所述全方位伺服系统连续调整双目相机的垂向角度、水平角度及横向位置，使双目相机的视场始终维持着固定范围内；

所述双目相机与视频采集存储器连接。

2.如权利要求1所述的基于双目立体视觉的海上波浪实测装置，其特征在于：双目相机在海洋平台朝着来浪方向的一侧。

3.如权利要求1所述的基于双目立体视觉的海上波浪实测装置，其特征在于：

所述双目相机包括固定在所述支撑平台上的一对相机单元组件；在虚拟的XYZ坐标内，

所述相机单元组件包括：

相机；

固定在支撑平台(4)上，可沿X向移动的水平位置调节托盘；

固定在水平位置调节托盘上，可在XOY平面旋转用以调节相机水平角度的旋转托盘；

固定在旋转托盘上，可调节垂向角度并对相机进行支撑的舵机。

4.如权利要求3所述的基于双目立体视觉的海上波浪实测装置，其特征在于：所述一对相机单元组件位于同一高度的位置。

5.如权利要求3所述的基于双目立体视觉的海上波浪实测装置，其特征在于：所述全方位伺服系统包括液压伺服装置，所述液压伺服装置与所述水平位置调节托盘连接，并根据海洋平台的实际运动响应实时调整双目相机的X向位置。

6.如权利要求5所述的基于双目立体视觉的海上波浪实测装置，其特征在于：所述舵机根据海洋平台的实际运动响应实时调整双目相机的垂向角度；所述旋转托盘根据海洋平台的实际运动响应实时调整双目相机的水平角度。

7.一种基于双目立体视觉的海上波浪实测方法，其特征在于，包括以下步骤：

S1、双目相机将采集的波浪图像传给视频采集存储器；

S2、控制系统与视频采集存储器之间的交互，控制系统实时处理波浪图像，同时也可以下达指令给存储器，控制图像的采集和保存；

S3、控制系统根据海洋平台当前的运动状态下达指令给双目相机的全方位伺服系统，以调节相机当前的位置，使相机视场维持在一个固定区域。

8.如权利要求7所述的基于双目立体视觉的海上波浪实测方法，其特征在于：双目相机采集的图像通过千兆网线或万兆网线传输到视频采集存储器，可以进行长期的保存。

9.如权利要求8所述的基于双目立体视觉的海上波浪实测方法，其特征在于：计算机可对双目相机采集的双目图像通过SGBM算法还原为真实的深度信息，进而重建出波浪面。

Images