CN114581817A - 从近岸海浪监控视频智能检测浪高和风速的方法及系统 - Google Patents

从近岸海浪监控视频智能检测浪高和风速的方法及系统 Download PDF

Info

Publication number
CN114581817A
CN114581817A CN202210158850.9A CN202210158850A CN114581817A CN 114581817 A CN114581817 A CN 114581817A CN 202210158850 A CN202210158850 A CN 202210158850A CN 114581817 A CN114581817 A CN 114581817A
Authority
CN
China
Prior art keywords
wave
video
wind speed
data
meteorological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210158850.9A
Other languages
English (en)
Other versions
CN114581817B (zh
Inventor
高志一
于福江
徐瑞
李锐
徐腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NATIONAL MARINE ENVIRONMENTAL FORECASTING CENTER
Original Assignee
NATIONAL MARINE ENVIRONMENTAL FORECASTING CENTER
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NATIONAL MARINE ENVIRONMENTAL FORECASTING CENTER filed Critical NATIONAL MARINE ENVIRONMENTAL FORECASTING CENTER
Priority to CN202210158850.9A priority Critical patent/CN114581817B/zh
Publication of CN114581817A publication Critical patent/CN114581817A/zh
Application granted granted Critical
Publication of CN114581817B publication Critical patent/CN114581817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)

Abstract

本发明实施例公开了一种从近岸海浪监控视频智能检测浪高和风速的方法及系统，该方法可以从分钟级视频资料中提取浪高和风速要素，模型输入视频资料长度非常短，几乎不影响摄像设备其它基本功能的使用(如巡视和放缩视野等)，使模型具备成为监控设备功能模块的潜力，其中浪高要素检测值与实测值平均绝对误差小于0.5米，风速检测值与实测值绝对误差小于3米/秒，仅需输入很短的视频资料即可检测出具有较高精度的浪高和风速信息。

Description

从近岸海浪监控视频智能检测浪高和风速的方法及系统
技术领域
本发明实施例涉及海洋技术领域，具体涉及一种从近岸海浪监控视频智能检测浪高和风速的方法及系统。
背景技术
高速发展的海洋活动对海浪和气象观测提出了越来越高的要求。由于海洋环境中动力、化学和生物等破坏因素对接触式观测设备极不友好，传统的浮标观测存在成本高和易损坏等问题不能完全满足行业需求。在这种背景下非接触式的观测手段越来越受到人们重视，其中近岸观测领域基于监控视频获取环境要素信息的方式备受到青睐。利用视觉数据对海浪要素的检测已有一些研究，以海浪为示踪物检测风速的相关工作未见公开资料。以下就已有海浪要素检测工作进行说明，类似用途的方法主要分为两类：一类是基于摄影测量的方法；另一类是基于深度神经网络图像识别的方法。
首先来看摄影测量方法。摄影测量通常使用多目摄像设备利用算法实现对拍摄目标的三维重构。如Piepmeie和Waters(2004)、MacHutchon和Liu(2007)、Shi(2018)等人提出的方法。总体而言，基于摄影测量方法的观测系统复杂度、计算难度和成本都较高。
其次再来看深度学习法。深度学习法是近年新兴的海浪要素检测手段，但存在以下问题：第一、已发布的深度学习方案中网络模型推演海浪要素所需要视频时间段达1小时。由此导致两个重要缺陷：首先，从物理海洋学角度容易发现，过长的输入破坏海浪统计要求的平稳性条件而引入误差；其次，视频设备需要全天候保持固定拍摄参数，从而无法兼顾巡视和画面放缩等基本监视用途。此外已发表的方案受训练数据代表性的影响还存在模型推演量程偏小的问题。第二、已发布的立体视觉的海浪要素分析方案中大部分基于视频图像，通过立体视觉系统进行海浪要素检测，浪高解析精度较高，但模型复杂，对不同环境海域的要素检测需要重新设置模型参数，稳健性较差，计算效率较低，不能很好地满足实际应用。
发明内容
为此，本发明实施例提供一种从近岸海浪监控视频智能检测浪高和风速的方法及系统，以解决现有技术中对于海浪要素的检测存在的需要的视频片段时间过长、未对风速进行检测、检测模型复杂、稳健性差、计算效率较低、不能很好地满足实际应用的问题。
为了实现上述目的，本发明实施例提供如下技术方案：
根据本发明实施例的第一方面，提出了一种从近岸海浪监控视频智能检测浪高和风速的方法，所述方法包括：
获取原始近岸海浪监控视频和水文-气象同步观测数据，并建立训练集；
使用所述训练集对预先构建的深度神经网络模型进行训练，其中，海浪监控视频数据用于生成神经网络模型的输入数据，水文-气象同步观测数据中包含的浪高和风速用于作为神经网络模型的输出；
对训练得到的深度神经网络模型进行测试。
进一步地，获取原始近岸海浪监控视频和水文-气象同步观测数据，并建立训练集，具体包括：
获取包括微浪、轻浪、中浪和大浪的不同浪级的海浪监控视频以及水文-气象同步观测数据；
将海浪监控视频分割为多段短时视频片段并进行抽稀和采样处理，将处理得到的图像数据分别标记出对应时刻的浪高和风速值。
进一步地，所述水文-气象同步观测数据包括通过测波设备采集的水文观测数据以及通过自动气象站采集的气象观测数据，所述水文观测数据包括有效波高、周期，所述气象观测数据包括风速、风向。
进一步地，将海浪监控视频分割为多段短时视频片段并进行抽稀和采样处理，具体包括：
将整点时间前后的原始视频资料分割成不同长度短时视频片段备用；按每秒1帧图像的间隔将视频片段抽稀；为节约训练所需显存视情况将图像进一步抽稀；将经抽稀后的多张连续图像序列进行灰度处理，并对灰度图像做归一化处理，转储npy格式作为神经网络模型训练的输入。
进一步地，所述深度神经网络模型包括依次设置的多个输入通道、卷积层一、卷积层二、最大池化层一、卷积层三、最大池化层二、卷积层四、最大池化层三、一维池化层以及全连接层；
将预处理后的120×120×20图像序列归一化输入至卷积层一，卷积层一的输入为20ch×120×120，输出为32ch×120×120，卷积核尺寸为5×5，共32个；经卷积层一输出至卷积层二，卷积层二的输入为32ch×120×120，输出为64ch×120×120，卷积核尺寸为5×5，共64个；经卷积层二输出至最大池化层一，最大池化层一的输出为64ch×60×60；经最大池化层一输出至卷积层三，卷积层三的输入为64ch×60×60，输出为128ch×60×60，卷积核尺寸为3×3，共128个；经卷积层三输出至最大池化层二，最大池化层二的输出为128ch×30×30；经最大池化层二输出至卷积层四，卷积层四的输入为128ch×30×30，输出为64ch×30×30，卷积核尺寸为3×3，共64个；经卷积层四输出至最大池化层三，最大池化层三的输出为64ch×15×15；经最大池化层三输出至一维池化层，一维池化层的输出为N×64×15×15；最后经一维池化层输出至全连接层，全连接层的输出为N×1；其中N为批次数目BatchSize。
进一步地，使用所述训练集对预先构建的深度神经网络模型进行训练，具体包括：
通过观察损失函数是否收敛来确定训练循环次数。
根据本发明实施例的第二方面，提出了一种从近岸海浪监控视频智能检测浪高和风速的系统，所述系统包括：
数据采集模块，用于获取原始近岸海浪监控视频和水文-气象同步观测数据，并建立训练集；
模型训练模块，用于使用所述训练集对预先构建的深度神经网络模型进行训练，其中，海浪监控视频数据用于生成神经网络模型的输入数据，水文-气象同步观测数据中包含的浪高和风速用于作为神经网络模型的输出；
模型测试模块，用于对训练得到的深度神经网络模型进行测试。
进一步地，所述数据采集模块具体包括：
视频监控模块，包括视频采集设备、通信网络和主控服务器，所述视频采集设备为网络摄像头，用于采集近岸海浪监控视频图像，所述通信网络用于将采集的视频图像数据传输至主控服务器，所述主控服务器用于收取视频、视频解码、存储及提取帧画面。
进一步地，所述数据采集模块具体还包括：
水文-气象观测模块，包括测波设备、自动气象站和数据接收服务器，所述测波设备包括设置于视频观测点附近的波浪浮标，用于采集水文观测数据，所述自动气象站用于采集观测区域的气象观测数据，所述数据接收服务器用于获取采集的水文观测数据和气象观测数据，所述水文观测数据包括有效波高、周期，所述气象观测数据包括风速、风向。
本发明实施例具有如下优点：
本发明实施例提出的一种从近岸海浪监控视频智能检测浪高和风速的方法及系统，通过获取微浪至大浪4个浪级的海况视频、浪高和风速资料；根据海浪的平稳性和各态历经性条件设计了视频抽稀和采样规则并制作训练集；根据训练视频样品的特点设计了多重卷积神经网络；利用训练集对深度神经网络进行训练，得到由海浪监控视频智能检测浪高和风速的方法。该方法可以从分钟级视频资料中提取浪高和风速要素，模型输入视频资料长度非常短，几乎不影响摄像设备其它基本功能的使用(如巡视和放缩视野等)，使模型具备成为监控设备功能模块的潜力，其中浪高要素检测值与实测值平均绝对误差小于0.5米，风速检测值与实测值绝对误差小于3米/秒，仅需输入很短的视频资料即可检测出具有较高精度的浪高和风速信息。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例1提供的一种从近岸海浪监控视频智能检测浪高和风速的方法的流程示意图；
图2为本发明实施例1提供的一种从近岸海浪监控视频智能检测浪高和风速的方法中实验场概况示意图；
图3为本发明实施例1提供的一种从近岸海浪监控视频智能检测浪高和风速的方法中训练集生成示意图；
图4为本发明实施例1提供的一种从近岸海浪监控视频智能检测浪高和风速的方法中深度神经网络模型结构示意图；
图5为本发明实施例1提供的一种从近岸海浪监控视频智能检测浪高和风速的方法中波高和风速的检测-观测对比结果散点图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，本实施例提出了一种从近岸海浪监控视频智能检测浪高和风速的方法，该方法是利用深度神经网络模仿人工估测浪高和风速的原理实现的。该深度神经网络模型仅需输入很短的视频资料即可检测出具有较高精度的浪高和风速信息。具体包括：
S100、获取原始近岸海浪监控视频和水文-气象同步观测数据，并建立训练集。
获取视频监控和水文-气象同步观测数据：根据海浪各态历经性条件选取具备视频监控和水文-气象同步观测条件的海域作为实验场。积累足够长的视频和观测资料，特别是加强极端天气形势的监控和观测。按浪级高低筛选代表性视频资料。检索观测资料对应时刻的水文-气象同步观测资料并标注视频资料，波高和风速作为网络模型训练的输出数据。
设计抽吸、重新采样规则生成训练集：根据海浪平稳性条件对视频资料进行抽稀、采样和转存。将整点时间前后的原始视频资料截成30秒、60秒、90秒等长度视频片段备用。按每秒1帧图像的间隔将视频片段抽稀；为节约训练所需显存视情况将图像进一步抽稀，推荐分辨率120×120；将经抽稀后的30张连续图像序列转储npy格式作为网络模型训练的输入数据。
S200、使用所述训练集对预先构建的深度神经网络模型进行训练，其中，海浪监控视频数据用于生成神经网络模型的输入数据，水文-气象同步观测数据中包含的浪高和风速用于作为神经网络模型的输出。
设计深度神经网络结构：针对具有连续图像结构的训练数据设计一多通道、多层卷积深度神经网来捕捉画面中不同层次的信息以实现高层抽象。
训练深度神经网络：在主流的深度神经网络开发环境中对深度神经网络模型进行训练。通过观察损失函数是否收敛来确定训练循环次数。
S300、对训练得到的深度神经网络模型进行测试。
对训好的网络模型进行精度测试。采用训练集中未参加训练的视频数据片段作为测试数据。精度检验指标为气象-海洋业务中常用的平均相对误差等。
具体实施过程如下：
人类在长期的航海活动中发现波形高低、风力大小、浪花多少等信息之间存在相当稳固的关系，还根据这些特征编制出海况等级表。有经验的海员按照等级表的指导观察海面半分钟到一分钟左右便能较准确的估计出浪高和风速大体数值。由于人眼对波面起伏、波峰间距、浪花多少十分敏感可以快速估算瞬态特征数值，如波高、波长、白冠覆盖率(浪花的多少)，但此时得到结果统计上不稳定。为满足海浪观测要求的平稳性条件(海洋观测规范中一般要求100-120个波形)，观察通常会持续30到60秒的时间。上述观察过程的原理如下：目力可辨认波形的范围一般不超过2千米，视野面积约4.2平方千米(120°/360°×π×22)。沿观察者实线方向可容纳典型风浪(外海平均周期7-9秒)波形(波高、波长等信息)不少于16-26个(不考虑方向性)。若观察时长30秒观察者至少能看到70-80个波形，若考虑到视野的宽度范围应不少于100个波形。由于风速和波高、波长以及白冠覆盖率这些易观察量存在密切关系可以凭经验估算得到。
深度机器学习在图像识别领域有大量成功经验，利用深度神经网络模拟人眼捕捉视频影像中波面起伏、波面陡峭程度(波高与波长之比)及浪花多少等特征具有较高的技术可行性，也就是深度机器学习捕捉有效波高、平均周期和白冠覆盖率。由于风速大小不能在影像中直接体现，对该要素检测需要以海浪作为示踪物。根据海浪理论由波高、波长、白冠覆盖率进一步外推风速是可行的。深度机器学习在图像识别领域有大量成功经验，利用深度神经网络模拟人眼捕捉视频影像中波面起伏、波面陡峭程度(波高与波长之比)及浪花多少等特征具有较高的技术可行性，也就是深度机器学习捕捉有效波高、平均周期和白冠覆盖率。由于风速大小不能在影像中直接体现，对该要素检测需要以海浪作为示踪物。根据海浪理论由波高、波长、白冠覆盖率进一步外推风速是可行的。大量的理论和观测研究结果表明，波浪破碎率RB与摩擦风速和波龄之间存在关系：
Figure BDA0003513480030000071
其中g和v分别为重力加速度和空气运动学粘性系数(均为常数)；u*为摩擦风速，可表示为10米高度风速U10的函数；β为波龄β＝g/ωpu*，ωp为谱峰频率可通过频散关系与波长L相联系。白冠覆盖率W与破碎率RB之间存在关系
Figure BDA0003513480030000081
改写一下得到：
F(W,U10,L)＝0 (1)
若将波浪破碎率RB看作某种特殊的雷诺数，可以将RB表示为RH＝u*Hs/v。其中u*，Hs和v分别为摩擦风速、有效波高和空气的运动学粘性系数。实验结果证明，白冠覆盖率W和波浪破碎率RH之间存在关系
Figure BDA0003513480030000082
改写一下得到：
G(W,U10,Hs)＝0 (2)
根据(1)或(2)式，风速检测本质上是已知波高或周期和白冠覆盖率求解10米高度风速。利用深度神经网络超曲面拟合能力完全可以对(1)或(2)进行近似求解从而得到检测风速。
1、海上实验条件
实验海域选取某港港区东北部近海，实验平台为港区液体化工品栈桥远端的多用途码头，距离港区陆地约8公里，观测位置水深约10-14米(如图2所示)。实验装备包括视频监控系统和水文-气象同步观测系统，获取的视频和水文-气象观测资料分别用于生产训练深度神经网络所需的输入和输出。视频监控系统部署在多用途码头平台上，距离海平面约20米。该系统由视频采集设备、通信网络和主控服务器构成。其中，视频采集设备为1部带云台的网络摄像机用于图像采集，摄像机主要参数：视线朝向10度，俯视角15度；4.7毫米镜头；CMOS逐行扫描式传感器，视野宽度54度，分辨率200万像素。其中，通信网络为虚拟专用网络(VPN)用于连接视频采集设备和主控服务器，该网络采用UDP传输协议。其中，主控服务器用于控制中心收取视频、解码、存储及提取帧画面，该服务器采用以下主要参数设置：解码协议H.264，存储格式MP4，画面分辨率1280×720，帧率10帧/秒，最大关键帧间隔70帧，视频流编码率850kbps。水文-气象同步观测系统包括测波设备、自动气象站和数据接收服务器。其中，测波设备为SBF3-1波浪浮标；布放于东经119°01′、北纬38°08′，距离视频观测点约2千米，可满足海浪统计的各态历经性条件，即浮标观测课代表实验平台周边的海浪状态；观测要素包括有效波高和周期等，观测频率和报文发送频率均为1小时。自动气象站与视频观测系统布置在相同的平台上，观测要素包括风速、风向等，观测频率和报文发送频率均为1小时。数据接收服务器用于控制中心实时收取观测设备发回的资料。
2、训练集生成
采用同步获取的视频资料和气象-水文观测资料经抽稀和采样生成训练集，其中视频资料和观测资料分别用于生成输入数据和输出数据。
通过从多个强天气过程选取不同浪级(微浪、轻浪、中浪和大浪)的大量观测数据来保证训练集的代表性。其中极端浪高样本的原始数据于2019年第9号台风“利奇马”影响渤海期间(2019年8月12日至13日)获取。此次台风过程期间该港附近海域测得最大有效波高3.9米，最大风速23.4米/秒。训练集收录数据平均波高0.56米，平均周期4.6秒。因此，本训练集可以训练网络识别波高范围0.2-4米、风速范围3-23.4米/秒，较前人提出模型的检测范围更宽。
根据网络摄像机视野范围考察海浪统计的平稳性条件。由网络摄像机参数可知视野深度2千米，视角54°，视野面积约2平方千米。考虑到该港近海平均周期4-5秒，沿摄像机视线方向波形数(波高、波长等信息)不少于60个(不考虑方向性)，观察时长20秒观察者至少能看到200多个波形，即20秒足以满足海浪统计平稳性条件。由此设计了视频抽稀和采样规则：视频的图像分辨率由1280×720抽稀为120×120；1分钟视频每隔1秒提取1帧图像，共提取20帧；对所得到的图像进行灰度处理；对灰度图像做归一化处理。抽稀和重采样后的数据标记对应时刻的浪高和风速值转为npy格式备用。如图3所示。
3、深度神经网络模型设计
针对具有20帧连续图像结构的训练数据合理设计一多通道、多层卷积深度神经网。具体的，该深度神经网络模型包括依次设置的20个输入通道、卷积层一、卷积层二、最大池化层一、卷积层三、最大池化层二、卷积层四、最大池化层三、一维池化层以及全连接层，网络结构如图4所示。网络由TensorFlow实现。
将预处理后的120×120×20图像序列归一化输入至卷积层一，卷积层一的输入为20ch×120×120，输出为32ch×120×120，卷积核尺寸为5×5，共32个；经卷积层一输出至卷积层二，卷积层二的输入为32ch×120×120，输出为64ch×120×120，卷积核尺寸为5×5，共64个；经卷积层二输出至最大池化层一，最大池化层一的输出为64ch×60×60；经最大池化层一输出至卷积层三，卷积层三的输入为64ch×60×60，输出为128ch×60×60，卷积核尺寸为3×3，共128个；经卷积层三输出至最大池化层二，最大池化层二的输出为128ch×30×30；经最大池化层二输出至卷积层四，卷积层四的输入为128ch×30×30，输出为64ch×30×30，卷积核尺寸为3×3，共64个；经卷积层四输出至最大池化层三，最大池化层三的输出为64ch×15×15；经最大池化层三输出至一维池化层，一维池化层的输出为N×64×15×15；最后经一维池化层输出至全连接层，全连接层的输出为N×1；其中N为批次数目BatchSize
4、深度神经网络模型训练
在主流的深度神经网络开发环境(如下表1所示)中对深度神经网络模型进行训练。通过观察损失函数在100次循环时已有较好的收敛度因此停止训练。数据量较少时模型检测性能会出现一定不稳定性，通过增加训练集有助于消除这种现象。
表1网络模型训练和测试环境
Figure BDA0003513480030000101
Figure BDA0003513480030000111
5、神经网络模型检测结果
使用未参与训练的视频和观测资料对网络模型检测的波高和风速精度进行检验。检测-观测对比结果表明模型对有效波高具有良好的检测精度，波高和风速检测的平均相对误差分别为8.9％和10.8％，如图5所示，左右图分别有效波高和10米高度风速。
本实施例提出的一种从近岸海浪监控视频智能检测浪高和风速的方法，在实现过程中充分考虑海浪的平稳性和各态历经性条件，制定了更精当的视频资料采样和抽稀规则，设计了更合理的多重卷积深度神经网络，训得的网络模型从海岸监控视频检测得到的浪高和风速具有较高精度。该方法的突出特点为：
(1)模型可以以海浪为示踪物检测风速，较前人工作增加了检测要素种类。
(2)模型输入视频资料长度非常短，几乎不影响摄像设备其它基本功能的使用(如巡视和放缩视野等)，使模型具备成为监控设备功能模块的潜力。
(3)由于训练集包含浪级类型更丰富的视频资料，模型的检测范围较前人提出的模型更宽。
实施例2
与上述实施例1相对应的，本实施例提出了一种从近岸海浪监控视频智能检测浪高和风速的系统，所述系统包括：
数据采集模块，用于获取原始近岸海浪监控视频和水文-气象同步观测数据，并建立训练集；
模型训练模块，用于使用所述训练集对预先构建的深度神经网络模型进行训练，其中，海浪监控视频数据用于生成神经网络模型的输入数据，水文-气象同步观测数据中包含的浪高和风速用于作为神经网络模型的输出；
模型测试模块，用于对训练得到的深度神经网络模型进行测试。
进一步地，所述数据采集模块具体包括：
视频监控模块，包括视频采集设备、通信网络和主控服务器，所述视频采集设备为网络摄像头，用于采集近岸海浪监控视频图像，所述通信网络用于将采集的视频图像数据传输至主控服务器，所述主控服务器用于收取视频、视频解码、存储及提取帧画面。
进一步地，所述数据采集模块具体还包括：
水文-气象观测模块，包括测波设备、自动气象站和数据接收服务器，所述测波设备包括设置于视频观测点附近的波浪浮标，用于采集水文观测数据，所述自动气象站用于采集观测区域的气象观测数据，所述数据接收服务器用于获取采集的水文观测数据和气象观测数据，所述水文观测数据包括有效波高、周期，所述气象观测数据包括风速、风向。
本发明实施例提供的一种从近岸海浪监控视频智能检测浪高和风速的系统中各部件所执行的功能均已在上述实施例1中做了详细介绍，因此这里不做过多赘述。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (9)

1.一种从近岸海浪监控视频智能检测浪高和风速的方法，其特征在于，所述方法包括：
获取原始近岸海浪监控视频和水文-气象同步观测数据，并建立训练集；
使用所述训练集对预先构建的深度神经网络模型进行训练，其中，海浪监控视频数据用于生成神经网络模型的输入数据，水文-气象同步观测数据中包含的浪高和风速用于作为神经网络模型的输出；
对训练得到的深度神经网络模型进行测试。
2.根据权利要求1所述的一种从近岸海浪监控视频智能检测浪高和风速的方法，其特征在于，获取原始近岸海浪监控视频和水文-气象同步观测数据，并建立训练集，具体包括：
获取包括微浪、轻浪、中浪和大浪的不同浪级的海浪监控视频以及水文-气象同步观测数据；
将海浪监控视频分割为多段短时视频片段并进行抽稀和采样处理，将处理得到的图像数据分别标记出对应时刻的浪高和风速值。
3.根据权利要求1所述的一种从近岸海浪监控视频智能检测浪高和风速的方法，其特征在于，所述水文-气象同步观测数据包括通过测波设备采集的水文观测数据以及通过自动气象站采集的气象观测数据，所述水文观测数据包括有效波高、周期，所述气象观测数据包括风速、风向。
4.根据权利要求2所述的一种从近岸海浪监控视频智能检测浪高和风速的方法，其特征在于，将海浪监控视频分割为多段短时视频片段并进行抽稀和采样处理，具体包括：
将整点时间前后的原始视频资料分割成不同长度短时视频片段备用；按每秒1帧图像的间隔将视频片段抽稀；为节约训练所需显存视情况将图像进一步抽稀；将经抽稀后的多张连续图像序列进行灰度处理，并对灰度图像做归一化处理，转储npy格式作为神经网络模型训练的输入。
5.根据权利要求1所述的一种从近岸海浪监控视频智能检测浪高和风速的方法，其特征在于，所述深度神经网络模型包括依次设置的多个输入通道、卷积层一、卷积层二、最大池化层一、卷积层三、最大池化层二、卷积层四、最大池化层三、一维池化层以及全连接层；
将预处理后的120×120×20图像序列归一化输入至卷积层一，卷积层一的输入为20ch×120×120，输出为32ch×120×120，卷积核尺寸为5×5，共32个；经卷积层一输出至卷积层二，卷积层二的输入为32ch×120×120，输出为64ch×120×120，卷积核尺寸为5×5，共64个；经卷积层二输出至最大池化层一，最大池化层一的输出为64ch×60×60；经最大池化层一输出至卷积层三，卷积层三的输入为64ch×60×60，输出为128ch×60×60，卷积核尺寸为3×3，共128个；经卷积层三输出至最大池化层二，最大池化层二的输出为128ch×30×30；经最大池化层二输出至卷积层四，卷积层四的输入为128ch×30×30，输出为64ch×30×30，卷积核尺寸为3×3，共64个；经卷积层四输出至最大池化层三，最大池化层三的输出为64ch×15×15；经最大池化层三输出至一维池化层，一维池化层的输出为N×64×15×15；最后经一维池化层输出至全连接层，全连接层的输出为N×1；其中N为批次数目BatchSize。
6.根据权利要求1所述的一种从近岸海浪监控视频智能检测浪高和风速的方法，其特征在于，使用所述训练集对预先构建的深度神经网络模型进行训练，具体包括：
通过观察损失函数是否收敛来确定训练循环次数。
7.一种从近岸海浪监控视频智能检测浪高和风速的系统，其特征在于，所述系统包括：
数据采集模块，用于获取原始近岸海浪监控视频和水文-气象同步观测数据，并建立训练集；
模型训练模块，用于使用所述训练集对预先构建的深度神经网络模型进行训练，其中，海浪监控视频数据用于生成神经网络模型的输入数据，水文-气象同步观测数据中包含的浪高和风速用于作为神经网络模型的输出；
模型测试模块，用于对训练得到的深度神经网络模型进行测试。
8.根据权利要求7所述的一种从近岸海浪监控视频智能检测浪高和风速的系统，其特征在于，所述数据采集模块具体包括：
视频监控模块，包括视频采集设备、通信网络和主控服务器，所述视频采集设备为网络摄像头，用于采集近岸海浪监控视频图像，所述通信网络用于将采集的视频图像数据传输至主控服务器，所述主控服务器用于收取视频、视频解码、存储及提取帧画面。
9.根据权利要求7所述的一种从近岸海浪监控视频智能检测浪高和风速的系统，其特征在于，所述数据采集模块具体还包括：
水文-气象观测模块，包括测波设备、自动气象站和数据接收服务器，所述测波设备包括设置于视频观测点附近的波浪浮标，用于采集水文观测数据，所述自动气象站用于采集观测区域的气象观测数据，所述数据接收服务器用于获取采集的水文观测数据和气象观测数据，所述水文观测数据包括有效波高、周期，所述气象观测数据包括风速、风向。
CN202210158850.9A 2022-02-21 2022-02-21 从近岸海浪监控视频智能检测浪高和风速的方法及系统 Active CN114581817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210158850.9A CN114581817B (zh) 2022-02-21 2022-02-21 从近岸海浪监控视频智能检测浪高和风速的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210158850.9A CN114581817B (zh) 2022-02-21 2022-02-21 从近岸海浪监控视频智能检测浪高和风速的方法及系统

Publications (2)

Publication Number Publication Date
CN114581817A true CN114581817A (zh) 2022-06-03
CN114581817B CN114581817B (zh) 2022-11-04

Family

ID=81771044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210158850.9A Active CN114581817B (zh) 2022-02-21 2022-02-21 从近岸海浪监控视频智能检测浪高和风速的方法及系统

Country Status (1)

Country Link
CN (1) CN114581817B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524405A (zh) * 2023-05-04 2023-08-01 广东海洋大学 海洋风暴的浪高识别方法与系统
CN116702659A (zh) * 2023-08-08 2023-09-05 自然资源部第一海洋研究所 一种海浪破碎参数快速预报方法及系统
CN116486588B (zh) * 2023-05-10 2024-01-30 广东海洋大学 基于自适应采样的海浪监测数据传输方法与系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330440A (zh) * 2017-05-17 2017-11-07 天津大学 基于图像识别的海洋状态计算方法
CN111340951A (zh) * 2020-02-26 2020-06-26 天津大学 基于深度学习的海洋环境自动识别方法
CN111709928A (zh) * 2020-06-12 2020-09-25 上海海洋大学 一种基于视频的近岸浪高实时检测系统
WO2020209704A1 (ko) * 2019-04-10 2020-10-15 임효혁 고해상도 해양 데이터를 생성하기 위한 방법 및 이를 이용한 장치
CN113283588A (zh) * 2021-06-03 2021-08-20 青岛励图高科信息技术有限公司 一种基于深度学习的近岸单点海浪浪高预报方法
CN113722980A (zh) * 2021-08-06 2021-11-30 中国海洋大学 海洋浪高预测方法、系统、计算机设备、存储介质、终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330440A (zh) * 2017-05-17 2017-11-07 天津大学 基于图像识别的海洋状态计算方法
WO2020209704A1 (ko) * 2019-04-10 2020-10-15 임효혁 고해상도 해양 데이터를 생성하기 위한 방법 및 이를 이용한 장치
CN111340951A (zh) * 2020-02-26 2020-06-26 天津大学 基于深度学习的海洋环境自动识别方法
CN111709928A (zh) * 2020-06-12 2020-09-25 上海海洋大学 一种基于视频的近岸浪高实时检测系统
CN113283588A (zh) * 2021-06-03 2021-08-20 青岛励图高科信息技术有限公司 一种基于深度学习的近岸单点海浪浪高预报方法
CN113722980A (zh) * 2021-08-06 2021-11-30 中国海洋大学 海洋浪高预测方法、系统、计算机设备、存储介质、终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冯国秀: "基于深度学习的海面风力等级机器视觉识别", 《中国科技信息》 *
安卓: "基于三维卷积网络的海浪浪高反演算法研究", 《中国优秀博硕士学位论文全文数据库（硕士） 基础科学辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524405A (zh) * 2023-05-04 2023-08-01 广东海洋大学 海洋风暴的浪高识别方法与系统
CN116524405B (zh) * 2023-05-04 2024-02-23 广东海洋大学 海洋风暴的浪高识别方法与系统
CN116486588B (zh) * 2023-05-10 2024-01-30 广东海洋大学 基于自适应采样的海浪监测数据传输方法与系统
CN116702659A (zh) * 2023-08-08 2023-09-05 自然资源部第一海洋研究所 一种海浪破碎参数快速预报方法及系统
CN116702659B (zh) * 2023-08-08 2023-11-10 自然资源部第一海洋研究所 一种海浪破碎参数快速预报方法及系统

Also Published As

Publication number Publication date
CN114581817B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN114581817B (zh) 从近岸海浪监控视频智能检测浪高和风速的方法及系统
Sermet et al. Crowdsourced approaches for stage measurements at ungauged locations using smartphones
Gens Remote sensing of coastlines: detection, extraction and monitoring
JP2021531449A (ja) Ｃｃｔｖ映像基盤のリアルタイム自動流量計側システムおよび方法
KR101880616B1 (ko) 해상풍과 해무 위성정보를 이용한 해무 예측 방법
CN109827554A (zh) 一种基于视频所测河流表面流速结合水力模型的河流流量测验方法
CN104410839A (zh) 一种移动式输电线杆塔区域山火与山体滑坡灾害在线监测系统与监测方法
CN115060343B (zh) 一种基于点云的河流水位检测系统、检测方法
CN116628559B (zh) 水下大数据计算综合实验分类系统、分类模型的训练方法
CN115983141B (zh) 一种基于深度学习反演海浪波高的方法、介质及系统
CN115762067B (zh) 一种基于激光点云与视频数据融合的山体滑坡监测系统
Legleiter et al. Improving Remotely Sensed River Bathymetry by Image‐Averaging
CN106097389A (zh) 一种基于图像模式识别的河流流速测量方法
Pawlowicz Quantitative visualization of geophysical flows using low-cost oblique digital time-lapse imaging
Vos Remote sensing of the nearshore zone using a rotary-wing UAV
Wang et al. A data management method for remote and long-term seafloor observation system
US20170169576A1 (en) Crowd intelligence on flow velocity measurement
Joslin et al. Development of a stereo-optical camera system for monitoring tidal turbines
Colvin et al. Extracting nearshore wave properties from video: A new method for coastal estuaries
CN106970373A (zh) 基于水面状态连续成像系统的小波浪浪高提取方法
Sawada et al. Air-borne stereo observation of ocean wave height using two independent cameras from a single unmanned aerial vehicle
CN204442542U (zh) 一种移动式输电线杆塔区域山火与山体滑坡灾害在线监测系统
Viet et al. Seasonal evolution of shoreline changes in Nha Trang Bay, Vietnam
Monfort et al. Assimilation of airborne imagery with a wave model for bathymetric estimation
Joslin et al. Development of a stereo camera system for monitoring hydrokinetic turbines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant