CN105136108B - 一种基于立体视觉高精度波浪浪高测量方法 - Google Patents

Abstract

本发明所属立体视觉测量领域，具体涉及一种基于立体视觉高精度波浪浪高测量方法。本发明包括：水面预处理；特征图像投影；图像采集；图像特征点提取与匹配；求解图像三维高度；绘制图像三维等高线。本发明提供了一套高精度的水面波浪浪高测量系统。利用纳米气泡技术，将水面变成了均匀的乳白色，减少了水面透光、反射和折射现象对光学成像的影响，利用投影特征图案的方式，在水面上制造了大量的特征点。结合极线约束和sift算法完成了图像特征点的提取以及匹配任务。相对坐标求差法减少了系统噪声的影响。

Description

一种基于立体视觉高精度波浪浪高测量方法

技术领域

本发明所属立体视觉测量领域，具体涉及一种基于立体视觉高精度波浪浪高测量方法。

背景技术

海洋波浪是最重要的海洋动力参数，要了解海洋波浪的生成、发展和消退的规律，就必须测量波浪。目前常用的浪高测量仪器电阻式浪高仪，压力式浪高仪，电容式浪高仪，电阻电容式浪高仪。浪高仪的输入、输出信号都是模拟量，既不能直接提供分析数据，又无法克服各种传感器本身的线性误差。2013年中国发明专利(CN103134472A)在水上测量装置中安装了双轴倾角传感器、高度方向加速度计以及GPS定位系统，利用无线数据传输电台，将水上各种传感器数据发送给地面的便携式电脑，解算出浪高。该方法需要在海上投放水面装置，与浪高仪类似，属于单点测量，很难同时给出一个区域内的海浪高度参数。投放的水面装置与海浪相接触，对海浪的运动会产生一定影响。2014年，中国发明专利(CN103745212A)通过在海上设立多个浮标，利用摄像头的采集图像，通过比对图像中浮标位置的变化，获取海浪信息。该方法属于海浪浪高计算的辅助性支持算法，很难实现高精度。同时，放置的多个浮标，与海浪接触，同样属于接触式测量，影响海浪高度测量的精度。2014年浙江海洋学院发明了一种实用新型专利(CN203414137U)利用超声波探头对海面发射超声波，通过反射波来测量波浪高度。该实用新型测量方式虽然不用于波浪直接结束，但也属于单点测量，无法形成的区域性的测量。2015年哈尔滨工程大学发明了一种局域船体姿态信息的海浪浪高估计系统(CN104316025A)属于船体姿态信息估计领域，通过在船体上安装加速度传感器，惯性陀螺仪测出船体姿态信息，从而反推出的浪高信息。操作较为复杂，无法实现实时测量区域内海浪高度的目的。

综上，目前还没有一种简便实用的非接触式测量方法，能够精确测量出一个区域内海浪的高度，绘制出海浪的等高线图。本发明正是基于这种现状，通过用CCD摄像头拍摄出海浪的图片，通过立体视觉计算方法，精确计算出海浪的高度参数，并绘制出该观测区域的波浪等高线分布图。

发明内容

本发明的目的在于提供一种基于立体视觉高精度波浪浪高测量方法。

本发明的目的是这样实现的：

(1)水面预处理

利用纳米气泡机将水面变成乳白色；

(2)特征图像投影

产生黑白多边形网格图案，作为特征图案，利用投影仪将其投影于水面上；

(3)图像采集

图像采集部分完成水面波浪的图像保存工作；

信号源与摄像机的外触发端通过同轴电缆连接，摄像头与上位机通过的网口相连；利用信号源发射外触发脉冲信号，脉冲信号峰峰值10伏特，周期60ms，偏置5伏特；高电平触发采集；每分钟采集16帧图片，捕捉到水面波纹的变化；采集到的图像保存于上位机中；当水波平稳，变化较小时，采用单目摄像头的替代方案，首先将单个摄像头固定在机械臂上，同轴电缆线将摄像头的外触发端口与信号源相连；利用上位机的串口与机械臂电机控制接口相连，通过上位机发送十六进制格式的控制命令，控制机械臂的左右移动距离和移动速度；当摄像头移动到了待测区域，利用信号源发射脉冲信号，峰峰值10伏特，周期60ms，偏置5伏特；高电平触发采集，采集到的图像保存于上位机中；

(4)图像特征点提取与匹配

结合尺度不变特征算法与极限约束算法，完成左右图像特征点的提取与匹配工作；

利用尺度不变特征算法完成特征点的提取和初步匹配；

利用极线约束算法进行终极匹配；

l_pr＝Fp_l

p_l是左图特征点坐标，l_pr是其与右图对应的对极线；F为摄像机的基础矩阵，校准过程直接给出的3*3矩阵；输入左图的特征点坐标，计算出右图像该特征点所对应的极线；根据极线约束理论，与左图特征点相匹配的右图上的特征点一定在刚刚所计算出的极线上；计算右图中待匹配点到该条极线的欧式距离；若该距离小于设定的阈值，则该点为正确匹配点，保留；反之删除；取得阈值为20个像素；

(5)求解图像三维高度

在完成左右图中特征点的匹配之后，将特征点从图像的二维坐标系中转换到三维的世界坐标系中；本发明所取的三维坐标是以左侧摄像机的光学中心为坐标原点，水平为x轴，上下方向为y轴，前后为z轴；在摄像机标定的过程中，左右相机的内外参数均已获得；构成左右相机的内外参数矩阵

f_x和f_y分别是u轴和v轴的有效焦距，u₀和v₀是摄像机的光学中心，s是u轴和v轴的不垂直因子，s＝0；

计算匹配点所确定的空间点的位置坐标：

(6)绘制图像三维等高线

采用相对坐标求差法进行波浪的三维等高线回执：

(6.1)利用双目摄像头采集左右两张平静水面照片；

(6.2)对平静水面的图像进行特征点匹配，以及三维坐标转换，求出平静水面的等高线图；

(6.3)对水面存在波浪的照片进行的特征点提取、匹配以及三维坐标转换，求出描述波浪特征点的三维坐标；

(6.4)将描述波浪特征点的三维坐标与描述平静水面特征点的三维坐标相减，剔除系统以及环境误差，得到最终特征点的三维坐标；

(6.5)利用最小二乘算法对离散的特征点三维坐标进行拟合，绘制波浪的等高线图。

本发明的有益效果在于：

本发明提供了一套高精度的水面波浪浪高测量系统。利用纳米气泡技术，将水面变成了均匀的乳白色，减少了水面透光、反射和折射现象对光学成像的影响，利用投影特征图案的方式，在水面上制造了大量的特征点。结合极线约束和sift算法完成了图像特征点的提取以及匹配任务。相对坐标求差法减少了系统噪声的影响。

附图说明

图1为双目摄像头采集方案；

图2为单目摄像头采集方案；

图3为Sift算法流程图；

图4为冲击物落入水面开始，记录第1帧数据的左摄像机图片，右摄像机图片，三维图、散点等高线图；

图5为冲击物落入水面开始，记录第2帧数据的左摄像机图片，右摄像机图片，三维图、散点等高线图；

图6为冲击物落入水面开始，记录第3帧数据的左摄像机图片，右摄像机图片，三维图、散点等高线图；

图7为冲击物落入水面开始，记录第4帧数据的左摄像机图片，右摄像机图片，三维图、散点等高线图；

图8为冲击物落入水面开始，记录第5帧数据的左摄像机图片，右摄像机图片，三维图、散点等高线图；

图9为冲击物落入水面开始，记录第6帧数据的左摄像机图片，右摄像机图片，三维图、散点等高线图；

图10为冲击物落入水面开始，记录第7帧数据的左摄像机图片，右摄像机图片，三维图、散点等高线图；

图11为冲击物落入水面开始，记录第8帧数据的左摄像机图片，右摄像机图片，三维图、散点等高线图；

图12为冲击物落入水面开始，记录第9帧数据的左摄像机图片，右摄像机图片，三维图、散点等高线图；

图13为冲击物落入水面开始，记录第10帧数据的左摄像机图片，右摄像机图片，三维图、散点等高线图；

图14为冲击物落入水面开始，记录第11帧数据的左摄像机图片，右摄像机图片，三维图、散点等高线图；

图15为冲击物落入水面开始，记录第12帧数据的左摄像机图片，右摄像机图片，三维图、散点等高线图；

图16为平静水面开始，记录第14帧数据的左摄像机图片，右摄像机图片，三维图、散点等高线图；

图17为投影的特征图像。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明的技术解决方案主要包括以下六个部分：

水面预处理

利用纳米气泡机将水面变成乳白色。

特征图像投影

产生黑白多边形网格图案，作为特征图案，利用投影仪将其投影于水面上。

图像采集部分

图像采集部分完成水面波浪的图像保存工作。本发明中采用双目摄像头采集图像方式。双目摄像头采集方案中，本发明采用外触发控制方式摄像头的采集工作。信号源与摄像机的外触发端通过同轴电缆连接，摄像头与上位机通过的网口相连。利用信号源发射外触发脉冲信号，脉冲信号峰峰值10伏特，周期60ms，偏置5伏特。高电平触发采集。每分钟可采集16帧图片，能够捕捉到水面波纹的微小变化。采集到的图像保存于上位机中。当水波平稳，变化较小时，可采用单目摄像头的替代方案。该替代方案中，首先将单个摄像头固定在机械臂上，同轴电缆线将摄像头的外触发端口与信号源相连。利用上位机的串口与机械臂电机控制接口相连，通过上位机发送十六进制格式的控制命令，控制机械臂的左右移动距离和移动速度。当摄像头移动到了待测区域，利用信号源发射脉冲信号，峰峰值10伏特，周期60ms，偏置5伏特。高电平触发采集，采集到的图像保存于上位机中。

图像特征点提取与匹配

本发明结合尺度不变特征(sift)算法与极限约束算法，完成左右图像特征点的提取与匹配工作。

首先，利用sift算法完成特征点的提取和初步匹配。

其次，利用极线约束算法进行终极匹配。极线约束计算公式如公式(1)所示：

l_pr＝Fp_l (1)

式中，p_l是左图特征点坐标，l_pr是其与右图对应的对极线。F为摄像机的基础矩阵，校准过程直接给出的3*3矩阵。在公式(1)中输入左图的特征点坐标，即可计算出右图像该特征点所对应的极线。根据极线约束理论，与左图特征点相匹配的右图上的特征点一定在刚刚所计算出的极线上。计算右图中待匹配点到该条极线的欧式距离。若该距离小于设定的阈值，则该点为正确匹配点，保留。反之删除。本发明中取得阈值为20个像素。

图像三维高度求解部分

在完成左右图中特征点的匹配之后，就需要将该特征点从图像的二维坐标系中转换到三维的世界坐标系中。本发明所取的三维坐标是以左侧摄像机的光学中心为坐标原点，水平为x轴，上下方向为y轴，前后为z轴。在摄像机标定的过程中，左右相机的内外参数均已获得。这些参数构成了左右相机的内外参数矩阵

f_x和f_y分别是u轴和v轴的有效焦距，u₀和v₀是摄像机的光学中心，s是u轴和v轴的不垂直因子，在很多情况下令s＝0。

匹配点所确定的空间点的位置坐标利用公式(3)计算：

图像三维等高线绘制部分

本发明采用相对坐标求差法进行波浪的三维等高线回执。主要分别为以下三个步骤：

第一步：利用双目摄像头采集左右两张平静水面照片；

第二步：对平静水面的图像进行特征点匹配，以及三维坐标转换，求出平静水面的等高线图。由于存在系统以及环境噪声，画出的平静水面的等高线图通常不是完全平面的，会有些微小的起伏。

第三步：对水面存在波浪的照片进行的特征点提取、匹配以及三维坐标转换，求出描述波浪特征点的三维坐标。

第四步：将描述波浪特征点的三维坐标与描述平静水面特征点的三维坐标相减，剔除系统以及环境误差，得到最终特征点的三维坐标。

第五步：利用最小二乘算法对离散的特征点三维坐标进行拟合，绘制波浪的等高线图。

技术效果

本实验从冲击物落入水面开始，记录14帧数据。增加了一帧平静水面，共有15帧图片。每幅图分别为：左摄像机图片，右摄像机图片，三维图、散点等高线图，坐标单位皆为mm。而在其它帧中，水面高度为0mm。冲击点的位置不断产生波纹，然后向四周扩散。由于冲击点并不位于容器中心，因此，距离冲击点较近的容器边界已经开始产生反射波，由于能量不断损耗，因此随着时间的增长，波纹持续衰减。

圆形区域水面，冲击物在500毫米的高度上做自由落体运动，物体冲击水的表面，产生水波，水波向四周扩散，在遇到储水容器的边界后，发生一次发射，产生反射波，反射波不断反复这个过程，直到最终波纹衰减消失。

首先，水面预处理部分。利用CCD摄像头采集水面图像与采集空间图像有很大区别，水介质具有很高的透光率，水面折射以及水面反射等因素都会影响成像效果。为了克服这些来自于水介质本身的影响因素，通常采取降低光照以及在水中撒入白色颜料降低透光率。但这些方法都只适用于实验室试验，外界条件可控，试验区域比较小的情况。对于外场试验，颜料和控制光照的方法显然不可行，同时也不利于环境保护。针对这些问题，本发明引入污水处理领域的纳米气泡技术，利用纳米气泡机将纳米级的气泡注入水中，减少水面透光率以及水面折射、反射对CCD摄像头成像的影响。具体方法如下：将纳米气泡机的进水管和出水管全部放入的水中，启动开关按钮后，进水管将水吸入机箱中，出水管将丰富的纳米气泡注入水中。这些气泡均匀悬浮在水中，使水面变成均匀乳白色，从而降低了透光率，减少了水面反射与折射影响。

其次，特征图像投影部分。特征点提取是立体视觉算法的一个重要部分，这些特征点包含了图像的所有特征信息。常用的图像特征有边缘特征、角点特征以及颜色特征等等。与空间物体图像不同，水面上形成的波浪没有明显的边缘或者角点特征，并且颜色变化小。针对这一问题，本发明采用特征图案投影方式。格点生成方法如下：1)根据投影图像尺寸，生成黑色背景。2)根据网格大小以及多边形宽度的设定，生成白边的正六边形蜂巢式网格。3)计算出正六边形的顶点坐标。4)生成一个二维平均分布的随机变量X，分布范围为：以正六边形边长为半径的一个圆.5)使每个顶点坐标服从X的分布，生成新的顶点坐标。6)根据新的坐标，重新绘制连接两个顶点的边，同时擦除原来连接这两个顶点的边。

利用爱普生(CB—X22)投影仪将其投影于水面上。特征图案中包含了丰富的角点和边缘信息，并且图案是采用投影的方式投射在水面上，并不会对波浪的运动产生任何影响。

第三，图像采集部分。为保证左右相机能够同时完成采集工作，利用外触发方式，信号发生器控制双目摄像机，采集平静水面图像。首先将信号源与摄像机的外触发端通过同轴电缆连接，摄像头的输出端口同过千兆网线与上位机的千兆网卡相连。信号源发射外触发脉冲信号，脉冲信号峰峰值10伏特，周期60ms，偏置5伏特。高电平触发采集。每分钟可采集16帧图片，能够捕捉到水面波纹的微小变化。采集到的图像通过上位机的图像采集控制软件将采集到的多帧图片保存于上位机指定位置中，左右摄像机采集到的图片分开保存在不同的文件夹下面。水面平静，没有冲击物的状态下，采集的多幅平静水面的左右摄像机图片。当冲击物从距离水面500毫米的高度，以自由落体的方式冲击水面时，利用双目摄像机采集到波纹运动过程，视频中两帧间隔60ms，视频分辨率1600x1200像素，采集灰度图像。

第四：特征点提取与匹配。构建尺度空间，检测极值点，获得尺度不变性；特征点过滤并进行精确定位，剔除不稳定的特征点；在特征点处提取特征点描述子，为特征点分配方向值；生成特征描述子，利用特征描述寻找匹配点；采用关键点特征向量的欧式距离作为描述左右两幅图像中关键点的相似性判定度量。取左图中的一个关键点，通过遍历找到右侧图像中距离最近的两个关键点。将左图特征点坐标依次代入极线计算公式中，在右图依次画出左图特征点所对应的极线，计算右图中极线附近特征点到的极线的欧式距离。该距离小于所设定的阈值，则该点确定为匹配点。极线的宽度选择为20个像素宽度。距离阈值设置为5个像素值。本实验中，校准后获得的摄像机的基础矩阵数值为：

第五：计算特征点的三维世界坐标。利用公式(2)-(5)计算特征点的世界坐标。

其中，左相机的内外参数矩阵：

右相机的内外参数矩阵：

旋转矩阵：

平移矩阵：

第六：图像三维等高线绘制部分。为了减少环境系统误差，本发明使用了相对坐标求差法。将所采集的平静水面的左右图像进行第四和第五部分的计算，得到了平静水面特征点的世界坐标值。利用最小二乘法，将这些离散的点拟合出平静水面的等高线图。坐标系采用左手直角坐标系，平静水面地平面为x0y平面。而后，对波浪图片的特征点，利用最小二乘法拟合出等高线平面。而后将两个平面做差，得到波浪基于静止水面的相对高度。减少了系统误差。波浪图片等高线图以静止的水平面作为x0y平面，z轴向上。

Claims (1)

1.一种基于立体视觉高精度波浪浪高测量方法，其特征在于，包括如下步骤：

(1)水面预处理

利用纳米气泡机将水面变成乳白色；

(2)特征图像投影

产生黑白多边形网格图案，作为特征图案，利用投影仪将其投影于水面上；

采用特征图案投影方式；格点生成方法如下：1)根据投影图像尺寸，生成黑色背景；2)根据网格大小以及多边形宽度的设定，生成白边的正六边形蜂巢式网格；3)计算出正六边形的顶点坐标；4)生成一个二维平均分布的随机变量X，分布范围为：以正六边形边长为半径的一个圆； 5)使每个顶点坐标服从X的分布，生成新的顶点坐标；6)根据新的坐标，重新绘制连接两个顶点的边，同时擦除原来连接这两个顶点的边；

(3)图像采集

图像采集部分完成水面波浪的图像保存工作；

信号源与摄像机的外触发端通过同轴电缆连接，双目摄像头与上位机通过的网口相连；利用信号源发射外触发脉冲信号，脉冲信号峰峰值10伏特，周期60ms，偏置5伏特；高电平触发采集；每分钟采集16帧图片，捕捉到水面波纹的变化；采集到的图像保存于上位机中；当水波平稳，变化较小时，采用单目摄像头的替代方案，首先将单个摄像头固定在机械臂上，同轴电缆线将摄像头的外触发端口与信号源相连；利用上位机的串口与机械臂电机控制接口相连，通过上位机发送十六进制格式的控制命令，控制机械臂的左右移动距离和移动速度；当摄像头移动到了待测区域，利用信号源发射脉冲信号，峰峰值10伏特，周期60ms，偏置5伏特；高电平触发采集，采集到的图像保存于上位机中；

(4)图像特征点提取与匹配

结合尺度不变特征算法与极限约束算法，完成左右图像特征点的提取与匹配工作；

利用尺度不变特征算法完成特征点的提取和初步匹配；

利用极线约束算法进行终极匹配；

l_pr＝Fp_l

p_l是左图特征点坐标，l_pr是其与右图对应的对极线；F为摄像机的基础矩阵，校准过程直接给出的3*3矩阵；输入左图的特征点坐标，计算出右图像该特征点所对应的极线；根据极线约束理论，与左图特征点相匹配的右图上的特征点一定在刚刚所计算出的极线上；计算右图中待匹配点到该条极线的欧式距离；若该距离小于设定的阈值，则该点为正确匹配点，保留；反之删除；取得阈值为20个像素；

(5)求解图像三维高度

在完成左右图中特征点的匹配之后，将特征点从图像的二维坐标系中转换到三维的世界坐标系中；

本发明所取的三维坐标是以左侧摄像机的光学中心为坐标原点，水平为x轴，上下方向为y轴，前后为z轴；在摄像机标定的过程中，左右相机的内外参数均已获得；构成左右相机的内外参数矩阵

f_x和f_y分别是u轴和v轴的有效焦距，u₀和v₀是摄像机的光学中心，s是u轴和v轴的不垂直因子，s＝0；

计算匹配点所确定的空间点的位置坐标：

(6)绘制图像三维等高线

采用相对坐标求差法进行波浪的三维等高线回执：

(6.1)利用双目摄像头采集左右两张平静水面照片；

(6.2)对平静水面的图像进行特征点匹配，以及三维坐标转换，求出平静水面的等高线图；

(6.3)对水面存在波浪的照片进行的特征点提取、匹配以及三维坐标转换，求出描述波浪特征点的三维坐标；

(6.4)将描述波浪特征点的三维坐标与描述平静水面特征点的三维坐标相减，剔除系统以及环境误差，得到最终特征点的三维坐标；

(6.5)利用最小二乘算法对离散的特征点三维坐标进行拟合，绘制波浪的等高线图。