CN112700489B - 基于深度学习的船基视频图像海冰厚度测量方法及系统 - Google Patents

基于深度学习的船基视频图像海冰厚度测量方法及系统 Download PDF

Info

Publication number
CN112700489B
CN112700489B CN202011605955.1A CN202011605955A CN112700489B CN 112700489 B CN112700489 B CN 112700489B CN 202011605955 A CN202011605955 A CN 202011605955A CN 112700489 B CN112700489 B CN 112700489B
Authority
CN
China
Prior art keywords
sea ice
image
ship
sea
turnover
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011605955.1A
Other languages
English (en)
Other versions
CN112700489A (zh
Inventor
季青
庞小平
赵羲
梁泽毓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202011605955.1A priority Critical patent/CN112700489B/zh
Publication of CN112700489A publication Critical patent/CN112700489A/zh
Application granted granted Critical
Publication of CN112700489B publication Critical patent/CN112700489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的船基视频图像海冰厚度测量方法及系统，包括输入翻转海冰关键帧识别数据集并进行图像增强，所述翻转海冰关键帧识别数据集中包括从船基海冰视频中识别所得多幅带标记的图像帧，所述标记包括“翻转海冰”、“海水”、“海冰”和“其他”类别；基于多尺度的密集连接卷积神经网络训练翻转海冰关键帧识别模型；采用翻转海冰关键帧识别模型，识别“翻转海冰”类别的图像帧，并保存为待测量的翻转海冰图像帧；基于所得待测量的翻转海冰图像帧，实现海冰厚度测量。本发明面向极地科考研发，方法合理、精确，有效提高了船基海冰视频数据处理效率及自动化程度；系统设计规范，可靠性强，具有较强的应用价值。

Description

基于深度学习的船基视频图像海冰厚度测量方法及系统
技术领域
本发明涉及遥感技术领域，尤其涉及利用计算机视觉技术的船基视频海冰厚度测量方法。
背景技术
海冰对全球热平衡、大气环流、海洋水循环、生态系统、极地航行安全等有着重要影响。目前国内外海冰厚度测量主要包括遥感测量法和实地钻孔测量法。遥感测量法即通过卫星、航天飞机、无人机等搭载的光学、雷达等传感器获取海冰影像，经反演算法估算出海冰厚度。这类方法受时间、空间限制较小，但估算结果误差大，精度较低，相比较于此，实地钻孔测量法利用长度测量工具直接测量海冰厚度，精度高，但测量范围小，成本高。现有的海冰厚度测量方法在精度、效率、时效性、空间范围、成本等方面各有欠缺，难以满足实际的海冰厚度科研和应用需求。参见图1，目前最有应用前景的利用船舶走航观测海冰厚度的方法，是通过在测量船甲板架设摄像机，垂直向下拍摄船舶航行时所破开的翻转海冰，再由摄像视野内近冰面的参考球尺寸(标准尺寸为直径30cm)估算得到海冰厚度，此方法可连续获得航线上的海冰厚度数据，且数据可靠性较高，但由于视频数据量庞大，导致翻转海冰帧的提取和海冰厚度测量面临极大的工作量、工作效率低。
发明内容
针对现有技术的缺点，本发明的目的是解决海量船基视频翻转海冰帧提取工作量大、效率低的问题以及解决翻转海冰图像海冰厚度高精度测量问题。
为实现上述目的，本发明的技术方案为一种基于深度学习的船基视频图像海冰厚度测量方法，包括以下步骤：
步骤1，输入翻转海冰关键帧识别数据集并进行图像增强，划分训练数据集和测试数据集；所述翻转海冰关键帧识别数据集中包括从船基海冰视频中识别所得多幅带标记的图像帧，
所述标记包括“翻转海冰”、“海水”、“海冰”和“其他”类别；
步骤2，根据步骤1所得翻转海冰关键帧识别的训练数据集，基于多尺度的密集连接卷积神经网络训练翻转海冰关键帧识别模型，直到根据步骤1所得翻转海冰关键帧识别的测试数据集测试通过时，训练完成，进入步骤3；
步骤3，对待识别的船基海冰视频数据，进行视频帧解析，采用步骤2训练完成的翻转海冰关键帧识别模型，识别“翻转海冰”类别的图像帧，并保存为待测量的翻转海冰图像帧；
步骤4，基于步骤3所得待测量的翻转海冰图像帧，实现海冰厚度测量。
而且，步骤1中，构建翻转海冰关键帧识别数据集的实现方式为，
从船基海冰视频中识别所需翻转海冰关键帧，截取并保存标记为“翻转海冰”类别，识别海水帧，截取并标记为“海水”类别，识别非翻转的海冰帧，截取并标记为“海冰”类别，截取其他不相关帧标记为“其他”类别。
而且，步骤1中，图像增强实现方式为，对四种类别图像进行亮度、对比度及噪声处理，以模拟拍摄现场相关因素影响。
而且，所述多尺度的密集连接卷积神经网络中包括多个密集连接多尺度采样模块完成图像特征下采样及图像特征维度调整，每个密集连接多尺度采样模块由密集连接模块和多尺度采样模块嵌套组成。
而且，步骤3实现方式包括以下子步骤，
步骤3.1，对待识别的船基海冰视频数据按设定帧间隔进行视频帧解析，获得帧图像；
步骤3.2，按设定完成帧图像的相应时间转换；
步骤3.3，对帧图像进行中值滤波处理；
步骤3.4，采用步骤2训练完成的翻转海冰关键帧识别模型，记录帧时间和识别结果，将识别“翻转海冰”类别的图像帧，并保存为待测量的翻转海冰图像帧。
而且，步骤4中，实现海冰厚度测量包括以下步骤，
1)提取参考球像素直径d；
2)识别图像中翻转海冰位置，通过三条线段表示翻转海冰厚度；
3)由所得各线段端点像素坐标计算提取各线段像素长度；
4)根据已知参考球实际直径，通过1)所得参考球像素直径d和3)所得各线段像素长度计算获得海冰厚度。
而且，设参考球像素直径为d，图像中代表海冰厚度的3条线段的像素长度为d1、d2、d3，根据参考球、海冰厚度的像素尺寸与实际尺寸的对应关系计算每幅图像的海冰厚度TN如下，
Figure BDA0002873421890000021
其中，D表示参考球实际直径。
或者，步骤4中，实现海冰厚度测量包括以下步骤，
1)图像特征处理，包括读入图像矩阵并灰度化，并进行高斯滤波处理；基于图像色彩范围、纹理等信息设定阈值得到翻转海冰的二值图；
2)图像边界检测，包括基于轮廓提取函数得到图像边界信息；
3)矩形检测：基于最小外接矩形提取函数，由2)所得图像边界检测结果获取翻转海冰轮廓的外接最小矩形四角像素坐标，得到翻转海冰的厚度。
本发明还提供一种基于深度学习的船基视频图像海冰厚度测量系统，用于实现如上所述的一种基于深度学习的船基视频图像海冰厚度测量方法。
而且，包括以下模块，
第一模块，用于输入翻转海冰关键帧识别数据集并进行图像增强，划分训练数据集和测试数据集；所述翻转海冰关键帧识别数据集中包括从船基海冰视频中识别所得多幅带标记的图像帧，
所述标记包括“翻转海冰”、“海水”、“海冰”和“其他”类别；
第二模块，用于根据第一模块所得翻转海冰关键帧识别的训练数据集，基于多尺度的密集连接卷积神经网络训练翻转海冰关键帧识别模型，直到根据第一模块所得翻转海冰关键帧识别的测试数据集测试通过时，训练完成，进入第三模块；
第三模块，用于对待识别的船基海冰视频数据，进行视频帧解析，采用第二模块训练完成的翻转海冰关键帧识别模型，识别“翻转海冰”类别的图像帧，并保存为待测量的翻转海冰图像帧；
第四模块，用于基于第三模块所得待测量的翻转海冰图像帧，实现海冰厚度测量。
本发明提供的技术方案的有益效果为：
本方法实现了船基视频翻转海冰图像的自动提取，实现了海冰厚度测量的流程化，提高了数据处理效率。本发明面向极地科考研发，方法合理、精确，有效提高了船基海冰视频数据处理效率及自动化程度；系统设计规范，可靠性强，具有较强的应用价值。
附图说明
图1为现有技术中的船基海冰视频获取方式示意图；
图2为本发明实施例的一种基于深度学习的船基视频图像海冰厚度测量方法实施流程示意图；
图3为本发明实施例的多尺度的密集连接卷积神经网络结构示意图；
图4为本发明实施例的密集连接模块网络结构图；
图5为本发明实施例的多尺度采样模块网络结构图。
具体实施方式
以下根据附图和实施例对本发明的具体技术方案进行说明。
船基海冰视频获取方式一般为通过在船甲板架设伸出船身之外且垂直向下的摄像机获取，如图1所示。本发明提出的一种基于深度学习的船基视频图像海冰厚度测量方法，根据预先获得的船基视频翻转海冰关键帧数据集，并通过图像对比度、亮度以及噪声处理模拟拍摄现场天气、光照、水花等因素影响；应用多尺度的密集连接翻转海冰识别卷积神经网络对数据集进行训练，获得翻转海冰识别模型；将未训练的船基视频进行帧解析，经帧图像送入识别模型，得到翻转海冰图像；绘制三条代表海冰厚度的线段，利用参考球的实际尺寸，计算获得海冰厚度。
为提高船基视频数据的利用率、提升翻转海冰关键帧提取和海冰厚度计算效率，本发明实施例提供一种基于深度学习的船基视频图像海冰厚度提取方法，实现流程如图2所示：
步骤1，输入翻转海冰关键帧识别数据集并进行图像增强，划分训练数据集和测试数据集；
具体实施时，可以预先进行翻转海冰关键帧识别数据集构建。优选建议的方案包括以下步骤：
步骤1.1，根据拍摄船舶航行时所破开的翻转海冰所得海冰视频，输入带标记的图像帧，所述标记包括“翻转海冰”、“海水”、“海冰”和“其他”类别；
具体实施时，可以预先从海冰视频中识别所需翻转海冰关键帧，截取并标记为“翻转海冰”类别；识别海水帧，截取并标记为“海水”类别，识别非翻转的海冰帧，截取并标记为“海冰”类别，截取其他不相关帧标记为“其他”类别；标记后作为输入数据；
所有带标记的图像帧构成翻转海冰关键帧识别数据集。
步骤1.2，图像增强：具体实施时，可对步骤1.1所述的四种类别所有图像进行随机的亮度、对比度和噪声处理，以模拟拍摄时现场天气、光照、设备参数、水花等相关因素影响；
图像的亮度和对比度处理通过对图像矩阵的线性变换实现，计算公式如下：
O(w,h)＝a×I(w,h)+b
其中，I为输入图像，w为宽、h为高，O为输出图像，参数a的改变影响图像的对比度，参数b的改变影响图像的亮度，O值以255为极值进行截断。实施例中采用的优选方案为，a设为0.3和1.3，b设为-20和20。
图像噪声处理通过随机使图像中像元值为255实现，此处噪声概率为0.1。
步骤1.3，训练和测试数据集划分：经过步骤1.2的图像增强处理后，共生成4种类别的5000幅图像；为有效对识别模型进行训练与测试，实施例中以4:1的比例划分训练集与测试集，即4000幅图像用于训练，1000幅图像用于测试。
步骤2，翻转海冰关键帧识别模型训练；
翻转海冰关键帧识别模型训练通过将步骤1所得翻转海冰关键帧识别训练数据集输入卷积神经网络实现。实施例中，所述步骤2中翻转海冰关键帧识别模型训练包括以下步骤：
步骤2.1，数据检查：优选建议先进行本步骤，以保证步骤1所得翻转海冰关键帧识别数据集中各类别图像区分明确，无错分；保证各图像尺寸一致；
步骤2.2，输入步骤1所得翻转海冰关键帧识别数据集，基于多尺度密集连接卷积神经网络进行多次训练，实施例进行30万次训练后获得翻转海冰识别模型；
参见图3，实施例优选采用的多尺度的密集连接卷积神经网络主要过程为：
1)输入图片并调整尺寸为原尺寸的1/10，实施例中输入图片尺寸为(108,144,3)；
2)以3×3卷积核卷积一次，并批正则化；
3)经6个密集连接多尺度采样模块完成图像特征下采样及图像特征维度调整；每个密集连接多尺度采样模块都提供多尺度的密集连接和池化。
4)经扁平化层将图像特征压缩至一维后由全连接层调整输出维度为128，再经relu函数激活；relu函数用于增加神经网络各层之间的非线性关系，其表示如下：
Figure BDA0002873421890000051
其中，x为神经网络特征，f(x)表示函数关系。
5)经输出维度为4的全连接层和Softmax函数将特征抽象为类别概率，概率最高的类别即为输入图片的类别。Softmax函数用于将多分类的结果以概率的形式展现出来，其表示如下：
Figure BDA0002873421890000052
其中，Si为Softmax值，V为特征值数组，i为数组元素索引，j为数组元素个数，e为数学常数。
步骤3)中所述的密集连接多尺度采样模块结构主要由密集连接模块(图4)和多尺度采样模块(图5)两部分嵌套组成：所述的密集连接模块将输入特征先以3×3卷积核卷积一次，再经3个多尺度采样模块处理，处理结果再经1×1卷积核、2×2均值池化、批正则化后输出特征图。此结构通过将每一个卷积层的输出特征之前所有卷积层的输入进行拼接，再将输出的特征图传递给之后的所有卷积层，充分挖掘图像深层特征，达到图像特征充分利用的目的，提高特征利用率。该结构公式如下：
XL＝HL([X0,X1,X2…XL-1])
其中，XL为密集连接模块输出特征，L为卷积层索引号，实施例中优选取L＝3，X0,X1,X2…XL-1分别表示模块中各层的特征抽象图，HL表示各层特征的融合。
所述的多尺度采样模块主要由3个卷积核尺寸不同的卷积层、1个relu激活层组成。输入特征图分别经过1×1、5×5、9×9卷积、relu函数激活后，再将结果输入特征图进行拼接后输出。此模块的作用在于利用不同尺度卷积核的卷积操作捕捉特征中不同尺度细节，使网络能兼顾图像的全局与局部，提高网络对多尺度特征的敏感程度，进而提高图像识别精度。本方法中在密集连接模块基础上加入多尺度特征机制，将模块中的特征抽象过程有单尺度更换为多尺度，即通过不同尺寸的卷积核实现对特征多尺度的抽象和融合，兼顾特征全局与局部，丰富了特征的上下文信息。
步骤2.3，模型精度测试：实施例在训练过程中，每训练5000次，利用未参与训练的测试集图像对模型精度进行测试，若精度不足90％则继续步骤2.2；反之则训练完成，保存卷积神经网络结构参数，进入步骤3。
步骤3，船基视频帧解析与识别；
实施例的步骤3中船基视频帧解析与识别由基于C#开发的视频翻转海冰帧识别系统流程化自动化实施，包括以下步骤：
步骤3.1，对待识别的船基海冰视频数据按设定帧间隔(例如50帧间隔)进行视频帧解析，具体实施时可以从待测量的船基海冰视频数据中每间隔若干帧获取一次视频图像进行后续处理。
步骤3.2，根据设定完成视频帧图像时间UTC时间和北京时间的转换，转化方法如下：
Tbj＝TUTC+8
其中，TUTC为UTC时间(国际标准时间)，Tbj为北京时间。
由于船舶航行摄像设备获取视频的时间为通用UTC时间，为方便后续需求，增加UTC时间与北京时间转换的功能。本步骤根据具体实现需要可选择采用。
步骤3.3，将所获得的视频帧图像进行中值滤波处理；
g(x,y)＝med{f(x-k,y-l),(k,l∈W)}
其中，f(x,y)，g(x,y)分别为原始图像和处理后图像(x,y)处取值，med()为中值滤波函数，k,l为偏移量。W为二维模板，通常建议为3×3或5×5区域，实施例优选此处取5×5。
步骤3.4，基于步骤3.3所得结果，经步骤2训练所得翻转海冰识别模型得到所识别图像所属类别，将帧时间、识别结果等信息存为文档，并保存所得待测量的翻转海冰图像帧，即根据模型识别为“翻转海冰”类别的图像帧。
步骤4，海冰厚度测量。
本实施例提供2种可选的海冰厚度测量实现方法，即(一)基于三线法的测量方法，(二)基于图像特征分析的测量方法。
具体实现如下：
(一)基于三线法的测量方法，包括以下步骤，
1)提取参考球像素直径d，可优选采用以下两种方式之一：
识别图像中参考球位置，绘制一条可代表参考球直径的线段，记录线段端点像素坐标；具体实施时，为提高效率起见，可由用户预先目视识别；
或者，根据参考球像素面积估测筛选出代表参考球的拐点像素，并据此获得拐点的最小外接圆，即代表参考球的圆，并获得圆直径；进一步地，可以根据多幅图片所得的参考球像素直径进行平均作为最终的参考球像素直径以提高精度；
2)识别图像中翻转海冰位置，绘制三条可代表海冰厚度的线段，记录三条线段六个端点的像素坐标；具体实施时，为提高效率起见，可由用户预先目视识别；
3)通过各线段像素坐标计算获得各线段像素长度；
4)根据已知参考球实际直径，通过1)所得参考球像素直径d和3)所得各线段像素长度计算获得海冰厚度。
具体实施时，优选建议预先建立并由基于C#的翻转海冰帧厚度测量系统流程化实施，包括以下主要功能：
(1)批量化图像读取；(2)参考球像素直径自动计算；(3)三线法半自动海冰厚度量测；(4)数据自动计算；(5)结果表单自动生成；(6)测量数据与行船轨迹时空匹配；(7)矢量化海冰厚度数据自动生成。
实施主要包括以下步骤：
4.1.1翻转海冰帧图像批量读入：具体实施时可以在软件系统中，通过选择文件夹，导入文件夹内全部图像文件，并显示文件列表，点击文件名可预览相应图片；
4.1.2行船GPS数据读入：软件系统中，通过选择文件，选定行船GPS轨迹文件，用以与量测数据进行时空匹配；
4.1.3海冰厚度量测：主要包括三线法海冰厚度量测、参考球像素自动捕捉两部分。
(1)首先选择一副图像，识别图像上的翻转海冰块，基于三线法，在图像上绘制识别3条可代表海冰厚度的线段，记录3条线段6个端点的像素坐标(x11，y11)，(x12，y12)，(x21，y21)，(x22，y22)，(x31，y31)，(x32，y32)；
(2)按图像中参考球位置自动截取区间为行数为600至720、列数为580至900的图像矩阵数据，并设定阈值为90将RGB三通道矩阵数据二值化；利用opencv对二值化图像进行轮廓检测，获得所有拐点像素坐标；根据参考球像素面积估测筛选出代表参考球的拐点像素，并据此获得拐点的最小外接圆，即代表参考球的圆，并获得圆直径d0。
对每幅图像实施步骤4.1.3操作，以获取每幅图像的6点数据及参考球像素直径数据。
4.1.4数据自动计算：主要包括参考球像素直径自动计算与海冰厚度自动计算两部分。
(1)根据程序自动记录每幅图片的参考球像素直径d0,d1……,dN，以众数为基准，以2像素为误差范围剔除误差过大的数据，以保证数据准确度，设最终得到n个直径数据，计算平均数以代表参考球像素直径d，计算方法如下：
Figure BDA0002873421890000081
自动计算每幅图像中代表海冰厚度的3条线段的像素长度d1、d2、d3，计算方法如下：
Figure BDA0002873421890000082
Figure BDA0002873421890000083
Figure BDA0002873421890000084
根据参考球、海冰厚度的像素尺寸与实际尺寸的对应关系，可自动计算每幅图像的海冰厚度TN，计算方法如下：
设参考球像素直径为d，实际直径为D，图像中代表海冰厚度的像素长度为l，海冰实际厚度为TN，根据参考球、海冰厚度的像素尺寸与实际尺寸的对应关系
Figure BDA0002873421890000085
可计算每幅图像的海冰厚度为
Figure BDA0002873421890000086
此处海冰厚度像素尺寸l由可代表海冰厚度的三条线段(d1,d2,d3)长度的平均值表示，即
Figure BDA0002873421890000087
实施例中已知参考球实际直径D＝30(cm)，故可得海冰厚度实际尺寸：
Figure BDA0002873421890000091
4.1.5结果表单自动生成：根据软件系统操作记录，自动生成包括序号、图像名、厚度六点像素坐标、参考球像素直径、参考球实际直径、GPS坐标、厚度实际尺寸等信息的表格，并提供导出功能；
4.1.6矢量化海冰厚度数据自动生成：根据结果表单数据自动生成点矢量数据。
(二)基于图像特征分析自动化实施，包括以下步骤：
4.2.1图像特征处理：读入图像矩阵并灰度化，并进行高斯滤波处理；基于图像色彩范围、纹理等信息设定阈值得到翻转海冰的二值图；
4.2.2图像边界检测：基于Open-CV的findContours算法得到图像边界信息；其中findContours表示轮廓提取函数；
4.2.3矩形检测：基于Open-CV的minAreaRect算法，由4.2.2图像边界检测结果获取翻转海冰轮廓的外接最小矩形四角像素坐标，即得到翻转海冰的厚度；其中minAreaRect表示最小外接矩形提取函数；
由于所识别的翻转海冰背景复杂，自动方法可能会出现遗漏或误判，故优选推荐使用方法(一)进行海冰厚度测量或者复核。
为测试传统目测方法与本流程化测量系统的处理效率，选取一段时长28分4秒、总帧数为42107的南极船基视频进行实验。
传统目测法主要步骤包括：
(1)翻转海冰帧筛选：人为查看视频，通过主观判断观察是否为翻转海冰，将翻转海冰帧进行截图保存；
(2)翻转海冰厚度目测：人为查看翻转海冰图像，基于参考球，直接目测或使用尺等工具估测海冰厚度并记录数据。
通过实验得到结果如下表：
Figure BDA0002873421890000092
Figure BDA0002873421890000101
传统目测方法完全依赖人力，受个人主观影响较大，且存在视觉疲劳，容易错失有效数据。相比较于传统目测方法，本流程化测量方法采用的深度学习图像识别技术以及流程化测量系统更高效。具体地，在操作耗时上，本流程化测量方法及系统效率提高2倍；在识别翻转帧数量上，本方法系统得到的翻转帧数据是目测方法的1.8倍，计算精度高，可获得更加精细的海冰厚度数据；此外本流程化测量方法及系统提供的额外功能可较大程度地减少后续工作的工作量。综上所述，基于深度学习的船基视频图像海冰厚度测量方法及系统在船基视频翻转海冰识别及海冰厚度测量任务中可减少人力工作，大幅提高工作效率与数据质量，具有较强的实际应用价值。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。在一些可能的实施例中，提供一种基于深度学习的船基视频图像海冰厚度测量系统，包括以下模块，
第一模块，用于输入翻转海冰关键帧识别数据集并进行图像增强，划分训练数据集和测试数据集；所述翻转海冰关键帧识别数据集中包括从船基海冰视频中识别所得多幅带标记的图像帧，
所述标记包括“翻转海冰”、“海水”、“海冰”和“其他”类别；
第二模块，用于根据第一模块所得翻转海冰关键帧识别的训练数据集，基于多尺度的密集连接卷积神经网络训练翻转海冰关键帧识别模型，直到根据第一模块所得翻转海冰关键帧识别的测试数据集测试通过时，训练完成，进入第三模块；
第三模块，用于对待识别的船基海冰视频数据，进行视频帧解析，采用第二模块训练完成的翻转海冰关键帧识别模型，识别“翻转海冰”类别的图像帧，并保存为待测量的翻转海冰图像帧；
第四模块，用于基于第三模块所得待测量的翻转海冰图像帧，实现海冰厚度测量。在一些可能的实施例中，提供一种基于深度学习的船基视频图像海冰厚度测量系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于深度学习的船基视频图像海冰厚度测量方法。
在一些可能的实施例中，提供一种基于深度学习的船基视频图像海冰厚度测量系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于深度学习的船基视频图像海冰厚度测量方法。
以上内容是结合计算机视觉技术应用于船基视频海冰厚度测量实例对本发明说做的进一步详细说明，不能认定本发明的具体实施只限于这些说明。本领域的技术人员应该理解，在不脱离由所附权利要求书限定的情况下，可以在细节上进行各种修改，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于深度学习的船基视频图像海冰厚度测量方法，其特征在于，包括以下步骤：
步骤1，输入翻转海冰关键帧识别数据集并进行图像增强，划分训练数据集和测试数据集；所述翻转海冰关键帧识别数据集中包括从船基海冰视频中识别所得多幅带标记的图像帧，所述标记包括“翻转海冰”、“海水”、“海冰”和“其他”类别；
步骤2，根据步骤1所得翻转海冰关键帧识别的训练数据集，基于多尺度的密集连接卷积神经网络训练翻转海冰关键帧识别模型，直到根据步骤1所得翻转海冰关键帧识别的测试数据集测试通过时，训练完成，进入步骤3；所述训练翻转海冰关键帧识别模型，是通过将步骤1所得翻转海冰关键帧识别的训练数据集输入基于多尺度的密集连接卷积神经网络实现；
所述多尺度的密集连接卷积神经网络中包括多个密集连接多尺度采样模块完成图像特征下采样及图像特征维度调整，每个密集连接多尺度采样模块由密集连接模块和多尺度采样模块嵌套组成，实现方式为密集连接模块将输入特征先以3×3卷积核卷积一次，再经3个多尺度采样模块处理，处理结果再经1×1卷积核、2×2均值池化、批正则化后输出特征图，此结构通过将每一个卷积层的输出特征之前所有卷积层的输入进行拼接，再将输出的特征图传递给之后的所有卷积层，充分挖掘图像深层特征；
步骤3，对待识别的船基海冰视频数据，进行视频帧解析，采用步骤2训练完成的翻转海冰关键帧识别模型，识别“翻转海冰”类别的图像帧，并保存为待测量的翻转海冰图像帧；
步骤4，基于步骤3所得待测量的翻转海冰图像帧，实现海冰厚度测量。
2.根据权利要求1所述的一种基于深度学习的船基视频图像海冰厚度测量方法，其特征在于：步骤1中，构建翻转海冰关键帧识别数据集的实现方式为，
从船基海冰视频中识别所需翻转海冰关键帧，截取并保存标记为“翻转海冰”类别，识别海水帧，截取并标记为“海水”类别，识别非翻转的海冰帧，截取并标记为“海冰”类别，截取其他不相关帧标记为“其他”类别。
3.根据权利要求1所述的一种基于深度学习的船基视频图像海冰厚度测量方法，其特征在于：步骤1中，图像增强实现方式为，对四种类别图像进行亮度、对比度及噪声处理，以模拟拍摄现场相关因素影响。
4.根据权利要求1所述的一种基于深度学习的船基视频图像海冰厚度测量方法，其特征在于：步骤3实现方式包括以下子步骤，
步骤3.1，对待识别的船基海冰视频数据按设定帧间隔进行视频帧解析，获得帧图像；
步骤3.2，按设定完成帧图像的相应时间转换；
步骤3.3，对帧图像进行中值滤波处理；
步骤3.4，采用步骤2训练完成的翻转海冰关键帧识别模型，记录帧时间和识别结果，将识别“翻转海冰”类别的图像帧，并保存为待测量的翻转海冰图像帧。
5.根据权利要求1或2或3或4所述的一种基于深度学习的船基视频图像海冰厚度测量方法，其特征在于：步骤4中，实现海冰厚度测量包括以下步骤，
1)提取参考球像素直径d；
2)识别图像中翻转海冰位置，通过三条线段表示翻转海冰厚度；
3)由所得各线段端点像素坐标计算提取各线段像素长度；
4)根据已知参考球实际直径，通过1)所得参考球像素直径d和3)所得各线段像素长度计算获得海冰厚度。
6.根据权利要求5所述的一种基于深度学习的船基视频图像海冰厚度测量方法，其特征在于：设参考球像素直径为d，图像中代表海冰厚度的3条线段的像素长度为d1、d2、d3，根据参考球、海冰厚度的像素尺寸与实际尺寸的对应关系计算每幅图像的海冰厚度TN如下，
其中，D表示参考球实际直径。
7.根据权利要求1或2或3或4所述的一种基于深度学习的船基视频图像海冰厚度测量方法，其特征在于：步骤4中，实现海冰厚度测量包括以下步骤，
1)图像特征处理，包括读入图像矩阵并灰度化，并进行高斯滤波处理；基于图像色彩范围、纹理等信息设定阈值得到翻转海冰的二值图；
2)图像边界检测，包括基于轮廓提取函数得到图像边界信息；
3)矩形检测：基于最小外接矩形提取函数，由2)所得图像边界检测结果获取翻转海冰轮廓的外接最小矩形四角像素坐标，得到翻转海冰的厚度。
8.一种基于深度学习的船基视频图像海冰厚度测量系统，其特征在于：用于实现如权利要求1-7任一项所述的一种基于深度学习的船基视频图像海冰厚度测量方法。
9.根据权利要求8所述基于深度学习的船基视频图像海冰厚度测量系统，其特征在于：包括以下模块，
第一模块，用于输入翻转海冰关键帧识别数据集并进行图像增强，划分训练数据集和测试数据集；所述翻转海冰关键帧识别数据集中包括从船基海冰视频中识别所得多幅带标记的图像帧，
所述标记包括“翻转海冰”、“海水”、“海冰”和“其他”类别；
第二模块，用于根据第一模块所得翻转海冰关键帧识别的训练数据集，基于多尺度的密集连接卷积神经网络训练翻转海冰关键帧识别模型，直到根据第一模块所得翻转海冰关键帧识别的测试数据集测试通过时，训练完成，进入第三模块；
第三模块，用于对待识别的船基海冰视频数据，进行视频帧解析，采用第二模块训练完成的翻转海冰关键帧识别模型，识别“翻转海冰”类别的图像帧，并保存为待测量的翻转海冰图像帧；
第四模块，用于基于第三模块所得待测量的翻转海冰图像帧，实现海冰厚度测量。
CN202011605955.1A 2020-12-30 2020-12-30 基于深度学习的船基视频图像海冰厚度测量方法及系统 Active CN112700489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011605955.1A CN112700489B (zh) 2020-12-30 2020-12-30 基于深度学习的船基视频图像海冰厚度测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011605955.1A CN112700489B (zh) 2020-12-30 2020-12-30 基于深度学习的船基视频图像海冰厚度测量方法及系统

Publications (2)

Publication Number Publication Date
CN112700489A CN112700489A (zh) 2021-04-23
CN112700489B true CN112700489B (zh) 2023-04-18

Family

ID=75512383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011605955.1A Active CN112700489B (zh) 2020-12-30 2020-12-30 基于深度学习的船基视频图像海冰厚度测量方法及系统

Country Status (1)

Country Link
CN (1) CN112700489B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170139A (zh) * 2021-11-09 2022-03-11 深圳市衡兴安全检测技术有限公司 近岸海域生态灾害预警方法、装置、电子设备及存储介质
CN114838711A (zh) * 2022-03-16 2022-08-02 东北大学秦皇岛分校 一种海冰综合监测系统及方法
CN115115822B (zh) * 2022-06-30 2023-10-31 小米汽车科技有限公司 车端图像处理方法、装置、车辆、存储介质及芯片

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102324A (zh) * 2020-09-17 2020-12-18 中国科学院海洋研究所 一种基于深度U-Net模型的遥感图像海冰识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9697439B2 (en) * 2014-10-02 2017-07-04 Xerox Corporation Efficient object detection with patch-level window processing
CN106017573B (zh) * 2016-07-25 2018-12-18 大连理工大学 一种基于可变焦图像法的野外冰厚冰速自动测量方法
CN109447089B (zh) * 2018-10-16 2021-09-14 同济大学 基于超分技术的高分辨率北极海冰类型提取方法
CN111125934B (zh) * 2020-01-06 2021-04-16 武汉大学 基于最小二乘平差的海冰厚度分布估测方法及系统
CN111652038B (zh) * 2020-04-13 2023-03-03 上海海洋大学 基于卷积神经网络的遥感的海冰图像分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102324A (zh) * 2020-09-17 2020-12-18 中国科学院海洋研究所 一种基于深度U-Net模型的遥感图像海冰识别方法

Also Published As

Publication number Publication date
CN112700489A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN112700489B (zh) 基于深度学习的船基视频图像海冰厚度测量方法及系统
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和系统
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN114332639B (zh) 一种非线性残差自注意力机制的卫星姿态视觉测量方法
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN111652273A (zh) 一种基于深度学习的rgb-d图像分类方法
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
CN111723814A (zh) 基于跨图像关联的弱监督图像语义分割方法、系统、装置
CN110991374B (zh) 一种基于rcnn的指纹奇异点检测方法
CN113505634A (zh) 一种双流解码跨任务交互网络的光学遥感图像显著目标检测方法
CN116824347A (zh) 一种基于深度学习的道路裂纹检测方法
CN117671509B (zh) 遥感目标检测方法、装置、电子设备及存储介质
CN112966698A (zh) 基于轻量化卷积网络的淡水鱼图像实时识别方法
CN116935369A (zh) 基于计算机视觉的船舶水尺读数方法及系统
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
CN114120129B (zh) 基于无人机图像和深度学习的滑坡滑移面的三维识别方法
CN110334818A (zh) 一种管路自动识别的方法及系统
CN116051808A (zh) 一种基于YOLOv5的轻量化零件识别定位方法
CN114463628A (zh) 一种基于阈值约束的深度学习遥感影像船舰目标识别方法
CN114782822A (zh) 电力设备的状态检测方法、装置、电子设备及存储介质
CN112950481B (zh) 一种基于图像拼接网络的水花遮挡图像数据集采集方法
CN113554018B (zh) 一种基于机器视觉的表计自动建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant