CN104777327A - 基于激光辅助标定的时空图像测速系统和方法 - Google Patents

Abstract

本发明公开了一种基于激光辅助标定的时空图像测速系统和方法，系统包括现地监测单元和远程处理单元。现地监测单元包括T字型的可伸缩支架、网络相机、标准点阵标定板、两个激光源、携带无线接收模块的液晶显示屏。远程处理单元包括网络硬盘录像机、图像服务器和携带无线发送模块的控制电脑。网络相机、网络硬盘录像机、图像服务器以及控制电脑分别与互联网连接。本发明通过现地监测单元和远程处理单元相配合，采集河流水面场景图像，并经过时空图像纹理主方向求解、物像尺度系数计算等过程得到最终流速测量结果。与现有技术相比，本发明可以有效获取河流水面流速，成本较低且节省处理时间。

Description

基于激光辅助标定的时空图像测速系统和方法

技术领域

本发明涉及一种基于激光辅助标定的时空图像测速系统和方法，属于河流水面成像测速的技术领域。

背景技术

河流水面摄影测量是河流水面成像测速方法的重要组成部分，是一种非接触式的明渠水流检测技术。相比工业检测中的机器视觉以及测绘工程中的近景摄影测量，它存在以下几个难点：(1)图像透视畸变严重。机器视觉以及测绘工程中的近景摄影测量。视场面积一般在数平方米以内；而河流水面成像测速至少需要覆盖几十平方米的水域，在不能将相机架高的情况下，通常只能以较小的倾斜视角拍摄水面图像，导致严重的图像透视畸变，进而引起图像远场空间分辨率的损失。(2)镜头畸变。非量测相机在使用广角镜头时存在严重的鱼眼畸变，远离图像中心像素的畸变更为显著(3)控制点布设困难。为了对成像系统进行标定，需要在水面及河岸布设控制点，而在流动的水面布设控制点几乎不可行，特别是在高洪流期涉水工作存在极大风险。上述问题限制了河流水面成像测速装置的应用推广。

发明内容

发明目的：针对现有技术中存在的上述或其他缺陷，本发明提供一种基于激光辅助标定的时空图像测速系统和方法，以有效获取河流水面流速，并且操作简便、成本较低且处理时间较短。

技术方案：为实现上述发明目的，本发明采用如下技术方案：

一种基于激光辅助标定的时空图像测速系统，包括现地检测单元和远程处理单元；所述现地检测单元包括：

网络相机，通过网线连接至互联网，用于采集图像并通过互联网传输图像数据；

T字型可伸缩支架，所述网络相机固定在所述支架前端交叉连接处；

两个激光源，分别安装在所述支架前端横杆的两对称端点处，用于辅助确定物像转换尺度因子；

标准点阵标定板，用于辅助确定相机畸变系数；

以及，携带无线接收模块的液晶显示屏，用于显示流速检测结果；

所述远程处理单元包括：网络硬盘录像机，通过网线连接至互联网，用于存储所述网络相机采集的图像数据；

图像服务器，与网络硬盘录像机连接并与互联网连接，用于基于所述录像机中的图像数据进行流速估计得到流速检测结果，并提供流速检测结果的网络访问服务；

以及，携带无线发送模块的控制电脑，与互联网连接，用于通过互联网从图像服务器获取流速检测结果，并将结果数据通过无线方式发送给所述显示屏；

所述图像服务器包括：畸变系数计算模块，用于基于相机采集的标准点阵标定板图像计算得到相机径向畸变系数；

物像转换尺度因子计算模块，用于基于相机采集的包含激光源的图像以及畸变系数计算得到物像转换尺度因子；

以及，流速估计模块，用于基于相机采集的河流水面图像序列，结合畸变系数和物像转换尺度因子计算得到流速检测结果。

进一步地，为了适应光线较暗或者夜间操作场合，所述现地检测单元还包括用于拍照时补光LED灯，所述LED灯安装在支架上，以相机为中心，在三个方向上与相机距离相等处分别安装1-2个LED灯。

进一步地，所述网络相机为支持onvif协议和采用POE供电方式的相机。

进一步地，所述网络相机上设有防水罩。

一种采用上述基于激光辅助标定的时空图像测速系统实现的测速方法，包括如下步骤：

(1)确定相机畸变系数：现地检测单元的网络相机正直拍摄水平放置在地面上的标准点阵标定板，远程处理单元的图像服务器基于所采集的标准点阵标定板图片求解相机畸变系数；

(2)确定物像转换尺度因子：将现地检测单元的支架平行于水面，固定于桥的护栏上，开启激光源，网络相机垂直朝下拍摄的水面，远程处理单元的图像服务器基于所采集的包含激光源的水面图像求解物像转换尺度因子；

(3)流速计算：网络相机拍垂直朝下拍摄河流水面视频，图像服务器基于河流水面图像序列，建立时空图像，对时空图像进行转换得到频谱图像，检测频频图像的纹理主方向，基于时空测速模型求解得到最终流速结果；

(4)结果显示：控制电脑获取到图像服务器得到的流速结果，并通过无线方式将结果数据传给现地监测单元的液晶显示屏显示。

进一步地，所述步骤(1)中图像服务器基于所采集的标准点阵标定板图片求解相机畸变系数的步骤包括：

11)用Harris亚像素角点检测方法对所述标准点阵标定板图像进行检测，输出标准点阵标定板上点的图像坐标，并找到图像的中心坐标；

12)由图像中心坐标推算出标准点阵标定板上所有点的图像坐标；

13)将图像中心坐标，畸变点图像坐标及对应理想图像坐标带入如下畸变模型:

$\left\{\begin{array}{c}x=x_d+(x_d-c_x)\left({\mathrm{kr}}_d^2\right)\\ y=y_d+(y_d-c_y)\left({\mathrm{kr}}_d^2\right)\end{array}\right.$

式中，(x,y)表示畸变图像中实际点的图像坐标，(x_d,y_d)表示对应的理想图像坐标，(c_x,c_y)为图像的中心坐标，k为一阶径向畸变系数，按照上述畸变模型进行多组计算，并将得到的k值的加权均值作为最终的一阶径向畸变系数。

进一步地，所述步骤(2)中图像服务器基于所采集的包含激光源的水面图像求解物像转换尺度因子的步骤包括：

21)根据步骤(1)中得到的畸变系数，对包含激光源的图像进行畸变校正；

22)划定激光点的范围，遍历图像中激光点范围内所有像素点的像素值，选取值最大的点为激光点；

23)计算图像上两激光点的像素距离，用实际距离除以像素距离得到物像转换尺度因子。

进一步地，所述步骤(2)中用网络相机拍摄水面时，将支架从最大长度处向里收缩，拍摄得到多张不同支架长度对应的水面图像，图像服务器基于多张不同支架长度对应的包含激光源的图像计算得到每张图像对应的物像转换尺度因子，将多个结果的加权均值作为最终的物像转换尺度因子。

进一步地，所述步骤(3)中图像服务器进行流速计算的步骤包括：

31)将图像序列中的每张图像进行畸变校正后，在每张图像中横向设置1条测速线，测速线的宽度为1个像素，长度为L个像素，图像序列的长度为H，建立一幅大小为H×L像素的时空图像；

32)对时空图像进行边缘检测，得到二值化的边缘图像，再依次进行二维离散傅里叶变换、中心平移、对数变换和灰度拉伸得到直角坐标系下的频谱图像；

33)检测频谱图像的主方向，根据纹理主方向与频谱主方向的垂直关系得到时空图像的纹理主方向角度θ，根据时空测速模型计算公式V＝tanθ×s得到时均流速V，s为物像转换尺度因子。

有益效果：与现有测流仪器相比，本发明具有以下优点：

(1)操作简单，易于移动、携带，监测结果支持本地远程双访问，且标定模块计算量小，由于本方法采用的是正射投影方式，把待测水面近似看成一个平面，只需通过13×9的点阵标定板确定径向畸变参数k。

(2)成本较低廉，整个测速系统使用的都是价格比较低廉，市面上易于买到的器件，并且由于采用的是基于onvif协议的相机和网络硬盘录像机，便于用户自己去开发客户端以及进行后期的维护，不受制于开发相机和网络硬盘录像机的厂家所提供的平台。

综上所述，本发明能够满足河流水面成像测速的要求。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据的具体实施例并结合附图，对本发明作进一步详细的说明，其中：

图1为本发明的整体结构示意图；

图2为本发明所用到的T字型可伸缩支架装置示意图；

图3为本发明测速原理示意图；

图4为本发明的实施步骤示意图。

具体实施方式

结合附图对本发明作进一步的描述如下:

如图1所示，本发明实施例公开的测速系统主要包括现地监测单元和远程处理单元。现地监测单元主要由T字型可伸缩支架、网络相机、标准点阵标定板、两个激光源和一块携带无线接收模块的液晶显示屏组成。远程处理单元主要由网络硬盘录像机、图像服务器、以及一台携带无线发送模块的控制电脑，网络硬盘录像机、图像服务器和控制电脑都通过以太网交换机接入互联网。为了携带更轻便，T型支架可由空心铝棒制成，支架上还可安装LED补光灯以用于拍照补光。标准点阵标定板可采用13×9的点阵标定板。

如图2所示，T型支架主要由1m空心铝棒4和最长2.5m的可伸缩空心铝棒6制成，尺寸也可以根据实际情况具体设定，相机1垂直向下固定在T型支架的交叉连接处，相机1支持onvif协议和采用POE供电方式，为了防止近水面拍摄时沾水，相机1可配上防水罩2。距相机1左方、右方、下方各20cm的位置放置2个8W的LED补光灯5，两个绿色激光源3固定在T型支架的两对称端点处，为了便于物像转换尺度因子，两激光源相距1m。

本实施例的时空图像测速系统是通过现地监测单元和远程处理单元相配合，采集河流水面场景图像，并经过时空图像纹理主方向求解、物像尺度系数计算等过程得到最终流速测量结果。

现地监测单元主要完成对河流水面场景的图像采集、辅助畸变系数和物像尺度系数求解功能。畸变系数求解是为了对采集的图像进行校正，以保证物像尺度系数的计算。同时，借助于辅助激光源照射，通过准确提取激光点在图像上的坐标，可进一步提高尺度系数计算精度。在现地监测单元中，13×9的标准点阵标定板是用于确定相机畸变系数。T字型铝棒支架的伸缩操作与激光源相配合进行物像转换尺度因子确定。携带无线接收模块的液晶显示屏接收控制电脑发送的数据，显示流速监测结果。

远程处理单元主要完成对所采集图像处理、流速计算以及提供用户访问功能。其中，网络硬盘录像机通过网线与现地监测单元的相机连接，存储所采集的河流水面图像序列。图像服务器提供对相关图像进行流速计算功能，主要包括畸变系数计算模块、物像转换尺度因子计算模块和流速估计模块，其中，畸变系数计算模块用于基于相机采集的标准点阵标定板图像计算得到相机径向畸变系数，物像转换尺度因子计算模块用于基于相机采集的包含激光源的图像以及畸变系数计算得到物像转换尺度因子，流速估计模块，用于基于相机采集的河流水面图像序列，结合畸变系数和物像转换尺度因子计算得到流速检测结果。同时图像服务器还提供用户访问服务功能，以太网交换机与图像服务器和互联网连接，使用户可以使用任意形式客户端访问图像服务器中的流速信息。携带无线发送模块的控制电脑与以太网交换机连接，通过无线发送模块发送流速数据给液晶显示屏。

如图3所示，由于满足质量守恒定律的流体，其运动在短时期内通常满足连续性的假设。对于跟随性良好的水流示踪物，其在三维时空域中的位置必然满足某种相关性。这种相关性在一维图像空间和一维序列时间组成的时空图像中表现为较为显著的纹理主方向，如果能精确估计出纹理主方向就能获得流体在指定空间方向的运动矢量，然而从空间域可以看出，对于天然示踪的流体，水流示踪物的时空分布不均往往造成时空图像受到非规则纹理或噪声的干扰，影响纹理主方向的估计精度。图像的边缘极大程度上反应了图像纹理的方向，并且具有方向性规则纹理的图像在傅里叶频谱中的能量主要聚集在过原点的直线上，直线指向代表的频谱主方向与纹理主方向垂直，因此利用此原理将测流速转化成检测纹理主方向和计算物像尺度系数。河流的时均流速可以用如下公式表示：

V＝tanθ×s

其中，V表示时均流速(单位m/s)，θ表示水流的方向角度(即水流流向与竖直方向的夹角)，也是合成时空图像纹理的方向角度，s是像平面到物平面的尺度因子。所述的时空图像是以图片中某一水平线段上的像素为横坐标，以时间为纵轴合成的图像。

由于相机拍摄图片存在畸变，为精确检测纹理主方向和计算物像尺度系数，需对采集的图片进行畸变校正。

如图4所示，本发明实施例还公开了一种基于上述系统的测速方法，具体实施方法包括如下步骤：

(1)确定相机畸变参数。首先，将13×9的点阵标定板水平放置在地面上，接着，用相机对准点阵标定板进行正直拍摄，要求拍到的图片正好包含整块标定板。若拍摄到的图片尺寸正好为M×N，则(M/2,N/2)为图像的中心坐标，此点也正好为点阵中第5行第7列的点所在的位置。由于是正直摄影，图像的中心点处几乎无畸变，并且根据理想的小孔成像原理，点阵中任意两点间的距离相等，据此可以计算出畸变图像中其他点的图像坐标。然后，图像传送到远程处理单元后，图像服务器的畸变系数计算模块基于相机采集的标准点阵标定板图像计算得到相机径向畸变系数，具体步骤为：首先利用Harris亚像素角点检测去提取畸变图像中点阵的图像坐标。然后将畸变图像坐标，图像中心点坐标以及对应点的理想坐标带入如下畸变模型:

$\left\{\begin{array}{c}x=x_d+(x_d-c_x)\left({\mathrm{kr}}_d^2\right)\\ y=y_d+(y_d-y_x)\left({\mathrm{kr}}_d^2\right)\end{array}\right.$

式中，(x,y)表示畸变图像中实际点的图像坐标，(x_d,y_d)表示对应的理想图像坐标，(c_x,c_y)为图像的中心坐标，k为一阶径向畸变系数，畸变图像点的横坐标等于理想图像点横(纵)坐标加上畸变系数乘以理想图像横(纵)坐标与图像中心横(纵)坐标之差再乘以理想图像横纵坐标的平方和。多代入几对点进行计算，并将计算得到的k值做加权平均，得到的结果作为最终的一阶径向畸变系数。

(2)确定物像转换尺度因子。将相机套上防水罩，相机垂直向下固定在T型支架的交叉连接处，距相机左方、右方、下方各20cm的位置放置2个8W的LED补光灯，所述的两激光源固定在T型支架的两对称端点处，相距1m。然后，走到桥上，选取一平坦的位置将T型支架平行于待测水面固定在桥的护栏上，将支架伸展到最大长度处，开启激光源、相机补光灯，拍摄待测水面。图像传送到远程处理单元后，图像服务器的物像转换尺度因子计算模块基于相机采集的包含激光源的图像计算得到物像转换尺度因子，主要步骤包括：首先利用步骤(1)中得到的畸变系数，对拍摄的图片进行畸变校正。然后，划定包含激光点在内大小为10*10的矩形区域，然后遍历图像中激光点范围内所有像素点的像素值，值最大的点即为激光点。接着，计算图像上两激光点的像素距离，用实际距离除以像素距离得到物像转换尺度因子，此处两激光点实际距离为1m，物像转换尺度因子即为像素距离的倒数。为了得到更精确的物像转换尺度因子，此处可将支架每次收缩15-20cm，采集一张图片，计算一次物像转换尺度因子，共计算十次。最后，将十次结果的加权均值作为最终的物像转换尺度因子。

(3)流速计算：将相机拍垂直朝下拍摄河流水面视频，拍摄的图像序列传送到远程处理单元后，流速估计模块进行流速计算，方法具体为：读取畸变校正后图像，然后在图像中横向设置1条测速线，测速线的宽度为1个像素，长度为L个像素，图像序列的长度为H，建立一幅大小为H×L像素的时空图像。接着，采用Canny算子对时空图像进行边缘检测，得到二值化的边缘图像，对其依次进行二维离散傅里叶变换、中心平移、对数变换和灰度拉伸得到直角坐标系下的频谱图像，接下来检测频谱图像的主方向γ_j，包括如下步骤：

1)以点(H/2,L/2)为原点、L和H中的短边为直径建立坐标系；

2)在极坐标系中设置一条过原点且半径为R的搜索线，对于固定的角度γ计算线积分：

$F\left(\mathrm{\&gamma;}\right)=\underset{r=1}{\overset{R}{\mathrm{\&Sigma;}}}F(r,\mathrm{\&gamma;}),R=\left\{\begin{array}{c}H/2,H<L\\ L/2,H\&GreaterEqual;L\end{array}\right.$

3)在0～180°的半圆空间内搜素F(γ)的最大值，首先以1°为步进进行粗定位，再以0.1°为步进在最大值附近±0.5°的范围内进行精搜索。

最后根据纹理主方向与频谱主方向的垂直关系计算时空图像的纹理主方向角度θ，如下：

将得到的纹理主方向角度值与步骤(2)中求得的物像转换尺度因子带入流速计算公式便得到了测速线的流速。

(4)结果显示：图像服务器与以太网交换机相连，携带无线发送模块的控制电脑连接以太网交换机，将测速结果通过无线方式(无线射频、3G无线网络等)传给固定在桥上的液晶显示屏。用户通过onvif协议开发的客户端去访问图像服务器，也可获取待测水面的流速信息。

显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而这些属于本发明的精神所引伸出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (9)

1.一种基于激光辅助标定的时空图像测速系统，其特征在于，包括现地检测单元和远程处理单元；所述现地检测单元包括：

网络相机，通过网线连接至互联网，用于采集图像并通过互联网传输图像数据；

T字型可伸缩支架，所述网络相机固定在所述支架前端交叉连接处；

两个激光源，分别安装在所述支架前端横杆的两对称端点处，用于辅助确定物像转换尺度因子；

标准点阵标定板，用于辅助确定相机畸变系数；

以及，携带无线接收模块的液晶显示屏，用于显示流速检测结果；

所述远程处理单元包括：网络硬盘录像机，通过网线连接至互联网，用于存储所述网络相机采集的图像数据；

图像服务器，与网络硬盘录像机连接并与互联网连接，用于基于所述录像机中的图像数据进行流速估计得到流速检测结果，并提供流速检测结果的网络访问服务；

以及，携带无线发送模块的控制电脑，与互联网连接，用于通过互联网从图像服务器获取流速检测结果，并将结果数据通过无线方式发送给所述显示屏；

所述图像服务器包括：畸变系数计算模块，用于基于相机采集的标准点阵标定板图像计算得到相机径向畸变系数；

物像转换尺度因子计算模块，用于基于相机采集的包含激光源的图像以及畸变系数计算得到物像转换尺度因子；

以及，流速估计模块，用于基于相机采集的河流水面图像序列，结合畸变系数和物像转换尺度因子计算得到流速检测结果。

2.根据权利要求1所述的基于激光辅助标定的时空图像测速系统，其特征在于，所述现地检测单元还包括用于拍照时补光LED灯，所述LED灯安装在支架上，以相机为中心，在三个方向上与相机距离相等处分别安装1-2个LED灯。

3.根据权利要求1所述的基于激光辅助标定的时空图像测速系统，其特征在于，所述网络相机为支持onvif协议和采用POE供电方式的相机。

4.根据权利要求1所述的基于激光辅助标定的时空图像测速系统，其特征在于，所述网络相机上设有防水罩。

5.一种采用如权利要求1所述的基于激光辅助标定的时空图像测速系统实现的测速方法，其特征在于，包括如下步骤：

(1)确定相机畸变系数：现地检测单元的网络相机正直拍摄水平放置在地面上的标准点阵标定板，远程处理单元的图像服务器基于所采集的标准点阵标定板图片求解相机畸变系数；

(2)确定物像转换尺度因子：将现地检测单元的支架平行于水面，固定于桥的护栏上，开启激光源，网络相机垂直朝下拍摄的水面，远程处理单元的图像服务器基于所采集的包含激光源的水面图像求解物像转换尺度因子；

(3)流速计算：网络相机拍垂直朝下拍摄河流水面视频，图像服务器基于河流水面图像序列，建立时空图像，对时空图像进行转换得到频谱图像，检测频频图像的纹理主方向，基于时空测速模型求解得到最终流速结果；

(4)结果显示：控制电脑获取到图像服务器得到的流速结果，并通过无线方式将结果数据传给现地监测单元的液晶显示屏显示。

6.根据权利要求5所述的基于激光辅助标定的时空图像测速方法，其特征在于，所述步骤(1)中图像服务器基于所采集的标准点阵标定板图片求解相机畸变系数的步骤包括：

11)用Harris亚像素角点检测方法对所述标准点阵标定板图像进行检测，输出标准点阵标定板上点的图像坐标，并找到图像的中心坐标；

12)由图像中心坐标推算出标准点阵标定板上所有点的图像坐标；

13)将图像中心坐标，畸变点图像坐标及对应理想图像坐标带入如下畸变模型:

$\left\{\begin{array}{c}x=x_d+(x_d-c_x)\left({\mathrm{kr}}_d^2\right)\\ y=y_d+(y_d-c_y)\left({\mathrm{kr}}_d^2\right)\end{array}\right.$

式中，(x,y)表示畸变图像中实际点的图像坐标，(x_d,y_d)表示对应的理想图像坐标，(c_x,c_y)为图像的中心坐标，k为一阶径向畸变系数，按照上述畸变模型进行多组计算，并将得到的k值的加权均值作为最终的一阶径向畸变系数。

7.根据权利要求5所述的基于激光辅助标定的时空图像测速方法，其特征在于，所述步骤(2)中图像服务器基于所采集的包含激光源的水面图像求解物像转换尺度因子的步骤包括：

21)根据步骤(1)中得到的畸变系数，对包含激光源的图像进行畸变校正；

22)划定激光点的范围，遍历图像中激光点范围内所有像素点的像素值，选取值最大的点为激光点；

23)计算图像上两激光点的像素距离，用实际距离除以像素距离得到物像转换尺度因子。

8.根据权利要求7所述的基于激光辅助标定的时空图像测速方法，其特征在于，所述步骤(2)中用网络相机拍摄水面时，将支架从最大长度处向里收缩，拍摄得到多张不同支架长度对应的水面图像，图像服务器基于多张不同支架长度对应的包含激光源的图像计算得到每张图像对应的物像转换尺度因子，将多个结果的加权均值作为最终的物像转换尺度因子。

9.根据权利要求5所述的基于激光辅助标定的时空图像测速方法，其特征在于，所述步骤(3)中图像服务器进行流速计算的步骤包括：

31)将图像序列中的每张图像进行畸变校正后，在每张图像中横向设置1条测速线，测速线的宽度为1个像素，长度为L个像素，图像序列的长度为H，建立一幅大小为H×L像素的时空图像；

32)对时空图像进行边缘检测，得到二值化的边缘图像，再依次进行二维离散傅里叶变换、中心平移、对数变换和灰度拉伸得到直角坐标系下的频谱图像；

33)检测频谱图像的主方向，根据纹理主方向与频谱主方向的垂直关系得到时空图像的纹理主方向角度θ，根据时空测速模型计算公式V＝tanθ×s得到时均流速V，s为物像转换尺度因子。