CN113344953B - 一种基于无人机的机器视觉涌潮流速测量方法 - Google Patents

一种基于无人机的机器视觉涌潮流速测量方法 Download PDF

Info

Publication number
CN113344953B
CN113344953B CN202110430752.1A CN202110430752A CN113344953B CN 113344953 B CN113344953 B CN 113344953B CN 202110430752 A CN202110430752 A CN 202110430752A CN 113344953 B CN113344953 B CN 113344953B
Authority
CN
China
Prior art keywords
point
image
tidal bore
pixel
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110430752.1A
Other languages
English (en)
Other versions
CN113344953A (zh
Inventor
马志斌
占光洁
丁涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202110430752.1A priority Critical patent/CN113344953B/zh
Publication of CN113344953A publication Critical patent/CN113344953A/zh
Application granted granted Critical
Publication of CN113344953B publication Critical patent/CN113344953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C13/00Surveying specially adapted to open water, e.g. sea, lake, river or canal
    • G01C13/002Measuring the movement of open water
    • G01C13/006Measuring the movement of open water horizontal movement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P5/00Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
    • G01P5/001Full-field flow measurement, e.g. determining flow velocity and direction in a whole region at the same time, flow visualisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Hydrology & Water Resources (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于无人机的机器视觉涌潮流速测量方法,该方法的实现依次包括视频图像采集、灰度化及滤波处理、边缘检测、膨化操作、潮头线提取和涌潮速度计算共六个环节。传统的固定检测方法仅能获取有限点位的水文数据,对于涌潮整体形态和传播机理研究而言,信息量有限。无人机具有机动灵活和检测范围广等优势,有利于获取更加全面的涌潮流速信息。本发明构建的潮头线检测方法,有效地避免了江面上水纹和波光的影响,识别出任意形态的潮头线,提供精准的点位信息。本发明提供的涌潮流速测量方法具备测量空间尺度大、潮头线识别精确、非接触式安全性高等优势,可达到更好的涌潮流速测量的要求,为涌潮传播规律的研究提供更加全面的数据支持。

Description

一种基于无人机的机器视觉涌潮流速测量方法
技术领域
本发明涉及智慧水利领域,特别涉及一种基于无人机的机器视觉涌潮流速测量方法。
背景技术
钱塘江是浙江省第一大河,发源于安徽南部,流经皖、浙两省,最后经杭州湾注入东海,潮波在进入杭州湾向上游传播的过程中,潮差不断增大,杭州湾平面急剧收缩,潮差增大,加上钱塘江沙坎使水深迅速减小,使得潮波浅水效应增强,导致潮波变形,在涨潮波前部尤其明显,从而形成水位骤然升高的涨潮潮波前锋线,即为涌潮,他是天下独特的自然景观和宝贵的旅游资源,同时,涌潮还存在着一些巨大的危害,比如涌潮造成河床大冲大淤,不利于通航和沿江两岸安县的开发利用;涌潮掏刷堤防及其他涉水建筑物造成潮灾。因此,为保护钱塘江涌潮这一宝贵的自然资源,缓解乃至消除其灾害,积极开展钱塘江涌潮流速研究,加深对涌潮的认知,具有十分重要的学术意义和实际价值。
同时,涌潮观测的手段对于涌潮的研究起着非常重要的意义,传统涌潮形态观测主要分为接触式和非接触式两种方法,接触式方法主要采用单点布设水文观测标尺或水位计等方式,采集的涌潮水位数据往往只是某观测点的点数据,难以获取多点乃至面状涌潮形态数据,不足以为研究钱塘江涌潮形态提供全面的数据支撑,而且在潮水的不断冲刷后,仪器容易损坏,造成测量的精确度下降。非接触式方法包括监控视频测速和音频测速,非接触式测速方法的优点就是安装较方便,在岸边架设即可,并且不会因为潮水的冲刷造成仪器的损坏,但是涌潮在传播过程中速度和形态会受到地形、风向、岸线的影响从而造成涌潮的速度,比如水的深度不同会对涌潮潮头形态、行进速度会产生影响,不同风向的风会对涌潮有激励或压制作用,因此以上两种非接触式的涌潮流速检测的方法就会因为其定点布设监测站的方式而使得检测的范围受到限制,无法观测涌潮的动态变化过程,因此,通过利用无人机的机动性和便携性,将无人机与机器视觉测速相结合,通过控制无人机的飞行路径,能够有效的获取到任意地点的涌潮速度,并且动态地观测涌潮在传播过程中速度的变化过程,为涌潮传播规律的研究提供全面的数据支持。
基于机器视觉的涌潮流速测量方法主要利用涌潮在传播的过程中潮差不断增大,潮波浅水效应增强,导致潮波变形,从而形成水位骤然升高的涨潮潮波前锋线的特点,通过Canny边缘检测,提取出完整的潮头线。籍素芳等人提出利用边缘检测以及霍夫变换提取出潮头线,这种方法简单快速,能够提取出背景简单且涌潮形态是直线的潮头线,但是由于涌潮在推进的过程中各个点位的速度并不完全相同,导致涌潮的形态并不是一条笔直的直线,而是不规则的曲线,因此这种方法就无法精准地提取出任意形态的潮头线;曾旭等人通过建立混合高斯模型来构建基于视频识别的涌潮背景模型,然后再利用所得的背景图像与当前视频帧进行相减,得到钱塘江潮水的前景图像,经过平滑去噪处理后,检测出涌潮信息,但是当水面上存在许多水纹或者光波时,就会使得检测的结果参杂这些水纹和光波,影响潮头线的提取,而本文所提出的潮头线检测的方法不仅可以提取出任意形态的潮头线,还能够有效地避免江面上水纹和光波的影响,精准地提取潮头线。
本文提出的基于无人机的机器视觉涌潮流速测量方法有两个创新点:一是利用无人机机动灵活和监测范围广等优势,以其作为涌潮监测平台来弥补现有固定监测站的不足,有利于获取到任意地点的涌潮速度,并且动态地观测涌潮在传播过程中速度的变化过程,为研究涌潮在传播过程中速度的变化提供全面的数据支持,二是本发明所构建的潮头线检测方法能够有效避免水纹和光波等水面上噪声的影响,自动识别出任意形态的潮头线,并最终选取潮头线任意一点计算潮头线在该点的瞬时速度,为研究涌潮各个点位的瞬时速度提供精准的点位信息。
发明内容
本发明的目的是为了弥补现有涌潮流速测量技术的不足,创造性的将机器视觉测速和无人机结合,提出一种基于无人机的机器视觉涌潮流速测量方法,可以精确高效、全面地测量涌潮的传播速度。
一种基于无人机的机器视觉涌潮测速方法,包括以下步骤:
步骤1:利用无人机搭载云台相机拍摄涌潮视频序列图像;
步骤2:对采集到的视频序列图像进行灰度化处理以及滤波去噪处理,去除相机摄像时自身产生的噪声和江面产生的部分水纹和光波;
步骤3:对步骤2中的进行去噪处理后的图像利用Canny边缘检测来检测图像中由于涌潮到来时,水位瞬间上升所产生特征明显的潮头线;
步骤4:对Canny边缘检测后的图像进行“膨胀”操作,目的是消除检测到的潮头线的边缘之间可能存在的空隙,得到一条连续平滑的潮头线;
步骤5:通过循环遍历并筛选图像各行像素突变点的方法,避免受到江面上水纹和光波的影响,从而提取潮头线;
步骤6:基于步骤5提取出的潮头线,选取任意像素点计算该像素点的运动速度即为涌潮在该点的瞬时速度;
进一步的,步骤1中拍摄涌潮视频的具体步骤为:首先在无人机上搭载云台相机,其中自稳云台用来隔离无人机姿态的变化以及机体震动、风阻力矩等扰动,保证无人机机载相机的视轴稳定,使相机始终垂直于地面拍摄,通过正射影获取图像,消除相机倾斜摄影造成的水面区域像元空间分辨率不同的问题,无人机悬停在钱塘江上方,拍摄涌潮前进视频,使得涌潮的传播方向垂直于相机的长边或者短边,以计算涌潮在图像中横轴方向或者纵轴方向上的传播速度。
进一步的,步骤2中图像的灰度化和滤波处理步骤为:将采集到的彩色图像序列每个像素点的B、G、R通道分别赋予不同的权重系数进行加权求解灰度值,依次作为整个图像的灰度值,灰度化计算公式见下式:
f(u,v)=0.1140*B(u,v)+0.5870*G(u,v)+0.2989*R(u,v) (1)
其中fk(u,v)(k=1,2,3)是灰度图像在像素点(u,v)处的取值。
随后将图像中某一点的像素与其邻域像素点的灰度值按从小到大的顺序进行排列,并将这些从小到大排列的灰度值计算中值,用这个灰度值代替原来这个像素点的灰度值,中值滤波过程中并未对图像最外层一周的像素点进行处理,因此在后续提取潮头线的过程中,遍历图像像素点时跳过最外层像素点的遍历,其处理公式见式(2)所示:
Figure RE-GDA0003136315760000033
上式中,A为邻域模板窗口,median表示求解中值,f(u,v)为二维数据序列。
进一步的,步骤3中图像的Canny边缘检测步骤为:
3-1:图像平滑并计算梯度值;
3-2:非极大值抑制;
3-3:利用双阈值进行检测和边缘连接;
进一步的,所述步骤3-1中平滑处理的过程为:为了减少噪声对图像的影响,Canny算法对图像进行了高斯滤波处理,高斯滤波是对图像进行加权平均的处理过程,图像中的任意一点的灰度值都由其本身和周围邻域像素点经过模板进行加权后得到的灰度值来代替,二维高斯函数公式见式(3)。
Figure RE-GDA0003136315760000031
式中,σ代表的是标准差,其作用是决定经高斯函数卷积模糊图像的模糊程度,通常为了简便计算,其值可取1。对图像进行平滑处理后,可以采用一阶有限差分计算偏导数的两个阵列P[i,j]与Q[i,j](P[i,j]和Q[i,j]分别是经滤波处理后的垂直方向和水平方向的梯度,并计算其幅值M[i,j]与方位角θ[i,j])。
P[i,j]≈(S[i.j+1]-S[i.j]+S[i+1,j+1]-S[i+1],j)/2 (4)
Q[i,j]≈(S[i+j]-S[i+1,j]+S[i,j+1]-S[i+1,j+1])/2 (5)
Figure RE-GDA0003136315760000032
θ[i,j]=arctan(Q[i,j]/P[i,j]) (7)
进一步的,所述步骤3-2中非极大值抑制的过程为:为了保留幅值局部变化最大的点,需要抑制图像中幅值变化非极大值的边缘点,对一个3*3的像素邻域来说,由上一步可以很容易地得到该像素邻域内的中心像素点的梯度幅值和梯度方向,将中心像素点的梯度幅值与按梯度方向上搜索的相邻两个像素点的梯度幅值进行比较,若中心像素点的幅值均大于这两个相邻像素点的幅值,则保留,反之,则剔除,利用此方法遍历图像中所有的候选点,最终实现非极大值抑制。
进一步的,所述步骤3-3中用双阈值进行检测和边缘连接的过程为:
在进行前面三步之后,需要选取两个阈值,一个是高阈值Th,一个是低阈值Tl,这两个阈值一般是手动选取,通过选取双阈值实现边缘检测和连接,若某像素点的幅值大小高于高阈值Th,则将该点判定为边缘像素点,即有可能是图像的潮头线的点也可能是水纹或者光波等水面上其他噪声的点;若某像素点的幅值大小低于低阈值Tl,则将该点判定为非边缘像素点,即江面上平静的水面;若某像素点的幅值介于双阈值之间,如果该像素点周围邻域内有像素点的幅值大于高阈值,则将该像素点判定为边缘像素点,反之,则为非边缘像素点。
进一步的,步骤4中图像的“膨胀”操作步骤为:由于经历潮头线的边缘检测后,得到的潮头线的点可能并不连续,像素点之间留有空隙,所以需要将这些边缘点进行膨胀处理,得到连续平滑的潮头线,“膨胀”处理即是将图像与核进行卷积,实现了对目标像素点进行扩展的目的,核算子可以是任何形状和大小,它拥有一个单独定义出来的参考点,即锚点,利用一个3*3核算子,然后带有锚点(中心点),当有图像A,核算子B,A与 B卷积计算B覆盖的区域的像素点的最大值,并把这个最大值赋值给指定点(核区域内的锚点),这样会使图像中的高亮区域逐渐增大,就可以使得边缘点变得连续平滑。
进一步的,步骤5中图像的遍历提取潮头线步骤为:首先,经过上述操作我们得到了一幅潮头线明显的图像,而这个潮头线由上至下贯穿图像,将图像分成两部分,潮头线左侧是潮波,特征明显,而右侧是平静的江面,对图像由上到下,由右到左的顺序进行遍历(因为在进行滤波的过程中,图像的最外层一周的像素点并没有进行像素点的滤波处理,因此图像的最外层一周不进行遍历),当像素值由0突变为255时(检测到边缘),将这个点保存(point[0]),跳过本行的遍历,执行下一行的遍历,当再次检测到像素点突变的点时,比较这个点与上一行遍历得到点的横坐标的差值的绝对值(条件),如果绝对值过大(此处我设定上限为5),则判定该点与上一行的点不连续,继续遍历这一行的点,直到找到与上一行点的横坐标的差值的绝对值小于5的点,并将其点保存,循环这个过程,统计本次循环结束后保存的点的数量,如果本次循环得到的点的数量小于图像的行数减2 (rows-2),即说明没有检测到贯穿图像的潮头线,即第一次检测到的像素突变的点并不是潮头线的起点(可能是江面上的一个噪声点),因此需要重新遍历图像,以上一次遍历得到的突变像素点的同一行的下一个突变点作为潮头线的起点开始遍历整幅图像,重复上述循环过程,直到得到一组点的数量等于图像的行数减2即为检测到的潮头线。
进一步的,步骤6中图像的像素点速度计算步骤为:通过无人机搭载三轴云台来对相机进行增稳,使得相机始终保持垂直于地面的角度进行拍摄,也就是通过正射影获取图像,消除相机倾斜摄影造成的水面区域像元空间分辨率不同的问题,此时就只需要知道相机的地面分辨率、像素点的位移、拍照的时间间隔就可以计算出各点涌潮的推进速度,无人机航测飞行高度与影像地面分辨率关系如下公式所示:
Figure RE-GDA0003136315760000051
Figure RE-GDA0003136315760000052
式中,f表示航测相机焦距,GSD表示地面分辨率,N表示影像像素数(长边或短边),L表示相机感光器件尺寸(长边或短边),a表示像片像素尺寸,H表示无人机飞行相对高度。
提取潮头线中任意一点(x1,y1)作为起点,在经过n帧后,其中,每帧的时间间隔为t,该点前进至点(x2,y1),因此,该点的速度为:
Figure RE-GDA0003136315760000053
附图说明
图1是本发明方法流程图
图2是一个潮周期的潮位变化过程图
图3是潮头线提取流程图
图4是潮头线提取示意图
图5是实验效果图
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明。
本发明提供一种基于无人机的机器视觉涌潮流速测量方法,如图1所示,基于涌潮到来时涌潮水位的变化造成特征明显的潮头线的特征,本发明重点以边缘检测为主要技术手段展开研究,其主要过程依次包括视频图像采集、灰度化及滤波处理、边缘检测、膨化操作、潮头线提取和涌潮速度计算共六个环节,一个潮周期的潮位变化过程如图2所示,当涌潮到来时,水位骤然上升,江面出现一条特征明显的涨潮潮波前锋线,水位的高度受地形影响导致各地潮高有所差异,最高可达8.7m,涨潮和落潮历时也有差异,涨潮时间数十分钟至数小时,落潮时长可为10小时以上。
本实施例以钱塘江海宁河段上空拍摄的涌潮视频为例,对本发明方法进行应用,其具体过程如下:
(1)视频图像采集环节:
首先在无人机上搭载云台相机,其中自稳云台用来隔离无人机姿态的变化以及机体震动、风阻力矩等扰动,保证无人机机载相机的视轴稳定,使相机始终垂直于地面拍摄,无人机悬停在钱塘江上方,拍摄涌潮前进视频,使得涌潮的传播方向垂直于相机的长边或者短边,以计算涌潮在图像中横轴方向或者纵轴方向上的传播速度,本次拍摄涌潮的视频选用的相机为大疆的禅思x7,镜头的焦距为16mm,传感器尺寸为23.5*15.7mm,图像尺寸为6016*3376。
(2)灰度化及去噪处理
将R,G,B分别赋予不同的权重系数进行加权q求解灰度值,依次作为整个图像的灰度值,灰度化计算公式见下式:
f(u,v)=0.1140*B(u,v)+0.5870*G(u,v)+0.2989*R(u,v) (1)
其中fk(u,v)(k=1,2,3)是灰度图像f(u,v)在像素点(u,v)处的取值。
再根据邻域模板将图像中某一点邻域内的像素的灰度值按从小到大的顺序进行排列,并将这些从小到大排列的灰度值计算中值,用它作为这个像素点的灰度值。其处理公式见式(2)所示:
Figure RE-GDA0003136315760000062
上式中,A为邻域模板窗口,median表示求解中值,为二维数据序列,本例中中值滤波采用了3*3的模板进行滤波,也就是将一点的像素与周围8个邻域的像素点进行比较,处理后的结果如图5(a)所示。
(3)潮头线检测
为了减少噪声对图像的影响,Canny算法对图像进行了高斯滤波处理,高斯滤波是对图像进行加权平局的处理过程,图像中的任意一点的灰度值都由其本身和周围邻域像素点经过模板进行加权后得到的灰度值来代替,二维高斯函数公式见式(3)。
Figure RE-GDA0003136315760000061
式中,σ代表的是标准差,其作用是决定经高斯函数卷积模糊图像的模糊程度,通常为了简便计算,其值取1。
对图像进行平滑处理后,可以采用一阶有限差分计算偏导数的两个阵列P[i,j]与Q[i,j](P[i,j]和Q[i,j]分别是经滤波处理后的垂直方向和水平方向的梯度,并计算其幅值 M[i,j]与方位角θ[i,j])。
P[i,j]≈(S[i.j+1]-S[i.j]+S[i+1,j+1]-S[i+1],j)/2 (4)
Q[i,j]≈(S[i+j]-S[i+1,j]+S[i,j+1]-S[i+1,j+1])/2 (5)
Figure RE-GDA0003136315760000071
θ[i,j]=arctan(Q[i,j]/P[i,j]) (7)
为了保留幅值局部变化最大的点,需要抑制图像中幅值变化非极大值的边缘点,对一个3*3的像素邻域来说,由上一步可以很容易地得到该像素邻域内的中心像素点的梯度幅值和梯度方向,将中心像素点的梯度幅值与按梯度方向上搜索的相邻两个像素点的梯度幅值进行比较,若中心像素点的幅值均大于这两个相邻像素点的幅值,则保留,反之,则剔除,利用此方法遍历图像中所有的候选点,最终实现非极大值抑制。
在进行前面三步之后,需要选取两个阈值,一个是高阈值Th,一个是低阈值Tl,这两个阈值一般是手动选取,在本次实验中,高阈值选取70,低阈值选的是40,通过选取双阈值实现边缘检测和连接,若某像素点的幅值大小高于高阈值,则将该点判定为边缘像素点,即有可能是图像的潮头线的点也可能是水纹,光波等江面上颜色特征明显的点;若某像素点的幅值大小低于低阈值,则将该点判定为非边缘像素点,即江面上平静的水面;若某像素点的幅值介于双阈值之间,且该像素点周围邻域内有像素点的幅值大于高阈值,则将该像素点判定为边缘像素点,反之,则为非边缘像素点,处理后的结果如图5(b) 所示。
(4)潮头线优化
利用图像的“膨胀”操作,得到连续平滑的潮头线,利用一个3*3核算子,然后带有锚点(中心点),将拍摄到的图像与该3*3核算子进行卷积,计算该核算子范围内最大的值,并把这个最大值赋值给该核算子中心点所对应的图像的像素点的位置,这样会使图像中的高亮区域逐渐增大,如图5(c)为“膨胀”后的效果图。
(5)提取潮头线
首先,经过上述操作我们得到了一幅潮头线明显的图像,而这个潮头线贯穿图像,将图像分成两部分,潮头线左侧是涌潮潮波,特征明显,而右侧是平静的水面,因此,对图像由上到下,由右到左的顺序进行遍历(因为在进行滤波的过程中,图像的最外层一周的像素点并没有进行像素点的滤波处理,因此图像的最外层一周不进行遍历),当像素值由 0突变为255时(检测到边缘),将这个点保存(point[0]),跳过本行的遍历,执行下一行的遍历,当再次检测到像素点突变的点时,比较这个点与上一行遍历得到点的横坐标的差值的绝对值(条件),如果绝对值过大(此处我设定上限为5),则判定该点与上一行的点不连续,继续遍历这一行的点,直到找到与上一行点的横坐标的差值的绝对值小于5 的点,并将其点保存,循环这个过程,统计本次循环结束后保存的点的数量,如果本次循环得到的点的数量小于图像的行数减2(rows-2),即说明没有检测到贯穿图像的潮头线,即第一次检测到的像素突变的点并不是潮头线的起点(可能是水面上的一个噪声点),因此需要重新遍历图像,以上一次遍历得到的突变像素点的同一行的下一个突变点作为潮头线的起点开始遍历整幅图像,重复上述循环过程,直到得到一组点的数量等于图像的行数减2即为检测到的潮头线,如图4为该遍历过程的简要示意图,图4(a)表示遍历的第一个点,图4(b)表示遍历的第二个符合条件的点并且保存,图4(c)表示遍历到了第三个并不符合条件的点,因此需要跳过这个点继续遍历本行,得到图4(d)的结果,循环上述步骤,所有的保存的点即为组成潮头线的点,如图5(d)所示即为检测出来的潮头线的点。
(6)像素点速度计算
通过无人机搭载三轴云台来对相机进行增稳,使得相机始终保持垂直于地面的角度进行拍摄,也就是通过正射影获取图像,消除相机倾斜摄影造成的水面区域像元空间分辨率不同的问题,此时就只需要知道相机的地面分辨率、像素点的位移、拍照的时间间隔就可以计算出各点涌潮的推进速度,无人机航测飞行高度与影像地面分辨率关系如下公式所示:
Figure RE-GDA0003136315760000081
Figure RE-GDA0003136315760000082
式中,f表示航测相机焦距,GSD表示地面分辨率,N表示影像像素数(长边或短边),L表示相机感光器件尺寸(长边或短边),a表示像片像素尺寸,H表示无人机飞行相对高度,在本次实验中,相机的焦距为16mm,像素长边与短边为6016:3376,感光器件尺寸为23.5*15.7mm,像素尺寸为3.9μm,指定的无人机飞线高度为50m。
提取潮头线中任意一点(x1,y1)作为起点,在经过n帧后,其中,相机的帧率为fps,每帧的时间为t,该点前进至点(x2,y1),因此,该点的速度为:
Figure RE-GDA0003136315760000083
本次实验的相机视频帧率为29fps,帧间时间间隔为34.5ms,图5(e)和图5(f)显示的是相邻前后两帧(即n=2)的涌潮选定像素点前进过程图,其中选择(x1,y1),(x2,y1) 分别为(754,500)和(786,500),则可以计算出:
Figure RE-GDA0003136315760000091
从而计算出潮头线任意一点涌潮的瞬时传播速度。

Claims (7)

1.一种基于无人机的机器视觉涌潮流速测量方法,其特征在于,包括以下步骤:
步骤1:利用无人机搭载云台相机拍摄涌潮视频序列图像;
步骤2:将采集到的彩色图像每个像素点的R,G,B通道分别赋予不同的权重系数进行相加计算该像素点的灰度值,转化为灰度图像,并且计算图像中某一点的像素与其邻域像素点的灰度值的中值,用这个灰度值代替原来这个像素点的灰度值,去除相机摄像时自身产生的噪声和江面产生的部分水纹和光波进而提取出图像中的潮头线;
步骤3:对步骤2中的进行去噪处理后的图像利用Canny边缘检测来检测出图像中由于涌潮到来时,水位瞬间上升所产生特征明显的潮头线;
步骤4:对进行Canny边缘检测后的图像进行“膨胀”操作,目的是消除检测到的潮头线的边缘之间存在的空隙,得到一条连续平滑的潮头线;
步骤5:对图像由上到下,由右到左的顺序进行遍历,当像素值由0突变为255时,将这个点保存为point[0],跳过本行的遍历,执行下一行的遍历,当再次检测到像素点突变的点时,比较这个点与上一行遍历得到点的横坐标的差值的绝对值,如果绝对值大于等于5,则判定该点与上一行检测到的点不连续,继续遍历这一行的点,直到找到与上一行点的横坐标的差值的绝对值小于5的点,并将其保存,循环这个过程,若遍历某行时无符合条件的点,即退出本次循环,统计本次循环结束后点的数量,如果本次循环得到的点的数量小于图像的行数减2,需要重新遍历图像,以上一次遍历得到的突变像素点point[0]的同一行的下一个突变点作为潮头线的起点开始遍历整幅图像,重复上述循环过程,直到得到一组点的数量等于图像的行数减2时,该组所有的点即为组成潮头线的点;
步骤6:基于步骤5提取出的潮头线,通过地面分辨率、像素点的位移、拍照的时间间隔信息计算出涌潮各点位的推进速度,无人机航测飞行高度与影像地面分辨率关系如下公式所示:
Figure QLYQS_1
Figure QLYQS_2
式中,f表示航测相机焦距,GSD表示地面分辨率,L表示相机感光器件长边或短边尺寸,a表示像片像素尺寸,H表示无人机飞行相对高度;
提取潮头线中任意一点(x1,y1)作为起点,在经过n帧后,其中,每帧的时间间隔为t,该点前进至点(x2,y1),因此,该点的速度如下公式所示:
Figure QLYQS_3
2.根据权利要求1所述的一种基于无人机的机器视觉涌潮流速测量方法,其特征在于所述步骤1中涌潮视频序列图像的采集过程为:通过无人机搭载云台相机,设置相机的角度始终与地面保持垂直,悬停等待,当涌潮进入相机画面时进入拍摄模式,使得涌潮的传播方向垂直于相机的长边或者短边,以计算涌潮在图像中横轴方向或者纵轴方向上的传播速度。
3.根据权利要求1所述的一种基于无人机的机器视觉涌潮流速测量方法,其特征在于所述步骤3中Canny边缘检测的步骤为:
3-1:图像平滑并计算梯度值;
3-2:非极大值抑制;
3-3:利用双阈值进行检测和边缘连接。
4.根据权利要求3所述的一种基于无人机的机器视觉涌潮流速测量方法,其特征在于,所述步骤3-1中图像平滑具体步骤为:为了减少噪声对图像的影响,Canny算法对图像进行了高斯滤波处理,并且采用一阶有限差分计算偏导数的两个阵列P[i,j]与Q[i,j],P[i,j]和Q[i,j]分别是经滤波处理后的垂直方向和水平方向的梯度,计算其幅值M[i,j]与方位角θ[i,j]。
5.根据权利要求3所述的一种基于无人机的机器视觉涌潮流速测量方法,其特征在于,所述步骤3-2中非极大值抑制具体步骤为:将中心像素点的梯度幅值与按梯度方向上搜索的相邻两个像素点的梯度幅值进行比较,若中心像素点的幅值均大于这两个相邻像素点的幅值,则保留,反之,则剔除,利用此方法遍历图像中所有的候选点,最终实现非极大值抑制。
6.根据权利要求3所述的一种基于无人机的机器视觉涌潮流速测量方法,其特征在于,所述步骤3-3中利用双阈值进行检测和边缘连接具体步骤为:手动选取两个阈值,一个是高阈值Th,一个是低阈值Tl,若某像素点的幅值大小高于高阈值Th,则将该点判定为边缘像素点,若某像素点的幅值大小低于低阈值Tl,则将该点判定为非边缘像素点,若某像素点的幅值介于双阈值之间,如果该像素点周围邻域内有像素点的幅值大于高阈值,则将该像素点判定为边缘像素点,反之,则为非边缘像素点。
7.根据权利要求1所述的一种基于无人机的机器视觉涌潮流速测量方法,其特征在于所述步骤4中“膨胀”的步骤为:利用一个3*3核算子,然后带有锚点,所述锚点为卷积核中心点,当有图像A,核算子B,A与B卷积计算B覆盖的区域的像素点的最大值,并把这个最大值赋值给指定点,这样会使图像中的高亮区域逐渐增大。
CN202110430752.1A 2021-04-21 2021-04-21 一种基于无人机的机器视觉涌潮流速测量方法 Active CN113344953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110430752.1A CN113344953B (zh) 2021-04-21 2021-04-21 一种基于无人机的机器视觉涌潮流速测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110430752.1A CN113344953B (zh) 2021-04-21 2021-04-21 一种基于无人机的机器视觉涌潮流速测量方法

Publications (2)

Publication Number Publication Date
CN113344953A CN113344953A (zh) 2021-09-03
CN113344953B true CN113344953B (zh) 2023-07-04

Family

ID=77468334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110430752.1A Active CN113344953B (zh) 2021-04-21 2021-04-21 一种基于无人机的机器视觉涌潮流速测量方法

Country Status (1)

Country Link
CN (1) CN113344953B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114396921B (zh) * 2021-11-15 2023-12-08 中国计量大学 一种基于无人机的钱塘江涌潮高度及传播速度测量方法
CN114812514B (zh) * 2022-04-15 2023-06-16 浙江省水利河口研究院(浙江省海洋规划设计研究院) 一种涌潮潮头线形态及潮头推进速度现场测量方法
CN116343070B (zh) * 2023-05-22 2023-10-13 武汉天地鹰测绘科技有限公司 一种航测影像地物要素的智能解译方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416091A (zh) * 2018-01-29 2018-08-17 华南农业大学 一种简易的相机地面分辨率与无人机飞行高度关系的测量方法
CN110210451A (zh) * 2019-06-13 2019-09-06 重庆邮电大学 一种斑马线检测方法
CN110412312A (zh) * 2019-06-04 2019-11-05 浙江省水利河口研究院 涌潮流速垂向分布的一种计算方法
CN111914695A (zh) * 2020-07-16 2020-11-10 河海大学 一种基于机器视觉的涌潮监测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416091A (zh) * 2018-01-29 2018-08-17 华南农业大学 一种简易的相机地面分辨率与无人机飞行高度关系的测量方法
CN110412312A (zh) * 2019-06-04 2019-11-05 浙江省水利河口研究院 涌潮流速垂向分布的一种计算方法
CN110210451A (zh) * 2019-06-13 2019-09-06 重庆邮电大学 一种斑马线检测方法
CN111914695A (zh) * 2020-07-16 2020-11-10 河海大学 一种基于机器视觉的涌潮监测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
钱塘江九溪涌潮物理模型试验研究;李志永 等;《浙江水利科技》(第1期);第1-5页 *
钱塘江涌潮流速研究;潘存鸿 等;《海洋工程》;第35卷(第5期);第33-41页 *

Also Published As

Publication number Publication date
CN113344953A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN113344953B (zh) 一种基于无人机的机器视觉涌潮流速测量方法
CN107145874B (zh) 复杂背景sar图像中的舰船目标检测与鉴别方法
CN111090103A (zh) 水下小目标动态精细检测三维成像装置及方法
KR102156936B1 (ko) 해양 환경 모니터링을 위한 이미지 분석 기반 수면 관측 시스템 및 방법
US9852516B2 (en) Apparatus and processes for estimating river velocity
CN105606123B (zh) 一种低空航空摄影测量自动纠正数字地面高程模型的方法
KR102313438B1 (ko) 초분광영상을 이용한 하상 변동속도 측정 방법
CN106530313A (zh) 一种基于区域分割的海天线实时检测方法
CN110807424B (zh) 一种基于航拍图像的港口船舶比对方法
CN110706177B (zh) 一种侧扫声呐图像灰度均衡化方法及系统
CN113177593B (zh) 一种水上交通环境中雷达点云与影像数据的融合方法
CN107221006A (zh) 一种基于无人机成像平台的通信单管塔倾斜检测方法
CN113034569A (zh) 一种基于点云数据的船舶超限预警方法及系统
CN115014354B (zh) 一种水下太阳光斑和偏振场自适应融合的罗盘计算方法
Ding et al. Coastline detection in SAR images using multiscale normalized cut segmentation
CN114627367A (zh) 一种侧扫声呐图像的海底线探测方法
CN107305252A (zh) 主动提取目标深度细节的快速成像方法
KR101662292B1 (ko) 영상 처리를 통한 쇄파지역 연안류 측정 장치 및 방법
Matsuba et al. Rapid change in coastal morphology due to sand-bypassing captured by UAV-based monitoring system
CN105869193B (zh) 基于uuv的侧扫声纳图像辅助判读方法
Wei et al. Automatic water line detection for an USV system
CN114820485A (zh) 一种基于机载图像测量波浪爬高的方法
CN109918968A (zh) 一种舰船目标检测方法
Lee et al. Estimate of coastal water depth based on aerial photographs using a low-altitude remote sensing system
CN113532956B (zh) 一种基于无人机的泵吸式涌潮潮头水质采样方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Ma Zhibin

Inventor after: Zhan Guangjie

Inventor after: Ding Tao

Inventor before: Zhan Guangjie

Inventor before: Ding Tao

Inventor before: Ma Zhibin

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant