CN112163496B - 一种基于语义分割的嵌入式终端水库水位预警方法 - Google Patents

一种基于语义分割的嵌入式终端水库水位预警方法 Download PDF

Info

Publication number
CN112163496B
CN112163496B CN202011001171.8A CN202011001171A CN112163496B CN 112163496 B CN112163496 B CN 112163496B CN 202011001171 A CN202011001171 A CN 202011001171A CN 112163496 B CN112163496 B CN 112163496B
Authority
CN
China
Prior art keywords
reservoir
model
semantic segmentation
embedded terminal
water level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011001171.8A
Other languages
English (en)
Other versions
CN112163496A (zh
Inventor
雷佳明
徐朝阳
徐杰
周晓斌
李文通
郑颖
贺金球
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong South China Hydroelectricity Hi Tech Development Co ltd
Original Assignee
Guangdong South China Hydroelectricity Hi Tech Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong South China Hydroelectricity Hi Tech Development Co ltd filed Critical Guangdong South China Hydroelectricity Hi Tech Development Co ltd
Priority to CN202011001171.8A priority Critical patent/CN112163496B/zh
Publication of CN112163496A publication Critical patent/CN112163496A/zh
Application granted granted Critical
Publication of CN112163496B publication Critical patent/CN112163496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于语义分割的嵌入式终端水库水位预警方法，包括以下步骤：基于已安装的视频站点采集水库在多时段、多天气、多要素等环境场景下的数据，并使用标注工具对水库图像数据进行像素级的语义分割标注；对水库图像数据集进行格式转换等预处理操作，并通过水平镜像、随机裁剪等方式对其图片及标签进行批量增强；采用加权交叉熵损失函数与多尺度池化特征融合的FCN8s_loss_multi模型实现水库水域像素级分割；将FCN8s_loss_multi算法模型部署在嵌入式终端上，实现水库水位预警识别。本发明在语义分割算法上采用了加权交叉熵损失函数与多尺度池化特征融合后的FCN8s_loss_multi算法，准确率高。

Description

一种基于语义分割的嵌入式终端水库水位预警方法
技术领域
本发明涉及水位预警技术领域，具体涉及一种基于语义分割的嵌入式终端水库水位预警方法。
背景技术
在水利行业中，水库水位及其预警等级是水库安全运行管理的关键信息，它不仅是水库漫坝等水灾防御的重要指标，也是大坝安全防御的重要信息。在传统应用中，水库水位主要靠人工巡查进行现场水尺判读。近20年，有部分水库开始采用水位传感器进行水位遥测，但受资金限制这种方式主要应用于大中型水库。随着科学技术的高速发展，陆续出现了基于云端计算的智能识别、基于FPGA(可编程门阵列)终端或内置独立神经网络单元(NPU)等嵌入式终端技术应用于水位预警中。
上述3种水位预警方法(人工巡查或传感器水位计、基于云端计算的水位识别、基于FPGA/NPU的嵌入式终端)各有其缺点：人工巡查增加了水库管理人员的工作负荷，并且这种方式效率较低；传统水位获取方法使用传感器水位计，水位计在强降雨天气下容易坏损并且维护困难。基于云端计算的智能识别，所有的数据必须通过网络上传到云端服务器进行推理识别，数据储存压力大，数据传输带宽费用成本高。基于FPGA(可编程门阵列)终端或内置独立神经网络单元(NPU)等嵌入式终端，FPGA终端设计的灵活度与通用处理器较差、FPGA 便携性差、成本较高，NPU(神经网络单元)终端成本高、研究开发复杂、功耗高，因此都不具备良好的实用性。
随着计算机视觉技术的高速发展，在嵌入式边缘计算终端使用基于深度学习的计算机视觉进行语义分割水库水位预警识别，对降低水库安全管理成本和提高水利工程智能识别普及度有着重要意义。
发明内容
有鉴于此，为了解决现有技术中水位预警方法实用性相对偏弱、效率低和成本高等的问题，本发明提出一种基于语义分割的嵌入式终端水库水位预警方法。
本发明通过以下技术手段解决上述问题：
一种基于语义分割的嵌入式终端水库水位预警方法，包括以下步骤：
S1：基于水库已安装的视频站点，采集多时段、多天气、多要素环境场景下的数据，并使用标注工具对水库图像数据进行像素级的语义分割标注；
S2：对水库图像数据集进行格式转换的预处理操作，并通过水平镜像和随机裁剪等方式对其图片及标签进行批量增强；
S3：采用加权交叉熵损失函数与多尺度池化特征融合的FCN8s_loss_multi 模型实现水库水域像素级分割；
S4：将FCN8s_loss_multi算法模型部署在嵌入式终端上，实现水库水位预警识别。
进一步地，在S1中，包括以下步骤：
S11：采集多时段、多天气、多要素环境场景下的水库数据；
S12：采用开源标注工具LabelMe对水库图像数据集进行像素级的语义分割标注；
S11数据采集详细说明如下：
(1)获取的数据包含不同的时间段：包括早晨、上午、中午、下午和傍晚；
(2)获取的数据包含不同的天气情况：包括晴天、雨天、阴天、雾天和大风天；
(3)获取不同要素的样本：包括房屋倒影、树木倒影、水质、漂浮物、船只和植物；
S12数据标注详细说明如下：
采用开源标注工具LabelMe对水库图像数据集进行像素级的语义分割标注，将目标轮廓的点集坐标和像素点的类别信息保存至json文件中，语义标注完水库数据集后，整理得到初步的数据集，数据集图片包括2639个jpg文件和对应的标签json文件。
进一步地，在S2中，包括以下步骤：
S21：数据预处理；
S22：数据增强；
S23：数据集划分；
所述S21数据预处理操作包括：
(1)将水库数据集jpg图像数据批量转换为训练所需的png文件；
(2)json文件转换为语义分割标注png文件；
所述S22数据增强操作包括：
采用水平镜像、随机裁剪、裁剪原图片中心50％区域、随机放大缩小原图片70％的区域、随机左右旋转0～25度对水库数据集图片及标签进行批量增强，使得训练数据增强5倍，得到建模所需的13195张样本图片数据，源图像与对应语义标签数据的分辨率大小均为640×480；
所述S23数据集划分操作包括：
将批量增强后的数据按照随机抽样的方式合理划分，其划分比例为7:2:1，从而得到训练集9237张、验证集2639张、测试集1319张；训练集9237张用于训练模型，验证集2639张用于评估输出网络模型的性能，测试集1319张用于推理测试各项性能指标。
进一步地，在S3中，包括以下步骤：
S31：改进FCN模型；
S32：训练语义分割网络；
S33：使用改进的代价函数评估模型；
S34：获得最佳分割模型。
进一步地，所述S31改进FCN模型结构如下：
FCN8s_loss_multi模型结构在原版FCN算法网络的第5阶段池化前增加两个不同尺度的池化层以及进行线性上采样，然后进行特征融合；根据水库数据集分辨率640*480输入大小，推理算出多尺度池化前特征图大小及通道为 54*44*512，用尺寸大小为24*24且步长为2的池化窗口对特征图进行平均池化，得到16*11*512的特征图；用尺寸大小为10*10且步长为2的池化窗口对特征图进行平均池化，得到23*18*512的特征图；将16*11*512的特征图与 23*18*512的特征图分别线性上采样得到54*44*512的特征图，从而使得特征图与多尺度池化前的特征图尺寸大小一致，将上采样得到的两个特征图与多尺度池化前的特征图相融合，从而实现多尺度池化特征融合；
所述S32训练语义分割网络实验软硬件详细说明如下：
训练模型的硬件使用联想90H3000VCP主板，其配备英特尔Intel Core i7-7700处理器和英伟达TITAN XP 12GB显存的显卡；在软件配置方面，实验平台基于Ubuntu16.04、win10的64位双操作系统，使用目前主流的深度学习框架Caffe、Python编程语言及C++编程语言来实验网络模型，并利用并行计算架构 CUDA9.0和GPU加速库cudnn7.0.5来进行高性能的计算。
进一步地，所述S33的改进代价函数评估模型详细说明如下：
采用基于语义分割的加权交叉熵损失函数来评估当前训练模型的收敛情况或模型的优劣，基于语义分割的加权交叉熵损失函数公式如式(1)所示：
式(1)中Jθ表示加权交叉熵损失函数值，n表示样本个数，xi是第i个样本，yi是水库水域第i个样本标签的概率，θ是模型的训练参数，相当于权重参数，w1表示水库水域标签的加权值，w2表示非水域的背景标签的加权值，hθ(xi)表示逻辑回归中的预测值其如式(2)所示：
式中θTx表示线性回归模型的输出值，通过验证集损失函数值与验证集准确率值对比分析，得到最佳的语义分割模型。
进一步地，在S4中，包括以下步骤：
S41：配置嵌入式终端板的深度学习环境；
S42：将网络模型转换为嵌入式终端引擎；
S43：对嵌入式终端进行模型性能的测试与应用；
S44：系统集成并生成嵌入式终端系统化服务产品。
进一步地，所述S41配置嵌入式终端板的深度学习环境过程如下：
(1)选用英伟达Jetson TX2作为嵌入式终端，将Jetson TX2开发套件连线和上电，并使用一个路由器把装有ubuntu16.04系统的PC虚拟主机、Jetson TX2 开发板连接在同一个局域网上，虚拟机的网络设置为“桥接模式”；
(2)把PC虚拟主机的源改为国内的源，使得Ubuntu16.04系统、CUDA、cuDNN、TensorRT、VisionWorks、OPENCV的深度学习环境库快速下载，让Jetson TX2进入Recovery模式，根据安装提示，完成最后的安装；
所述S42网络模型转换为嵌入式终端引擎具体过程如下：
在创建基于加权交叉熵损失函数与多尺度池化特征融合的 FCN8s_loss_multi模型后，对网络模型进行解析，加载训练好的模型权重以及模型网络生成嵌入式终端可快速运行的引擎，使得语义分割算法模型在嵌入式终端得到推理加速，从而嵌入式终端快速地加载引擎来识别目标图片。
进一步地，所述S43对嵌入式终端进行模型性能的测试与应用具体过程如下：
S431：选取模型的运行时间、内存占用空间、准确率作为语义分割模型的评价指标；
S432：将语义分割方法FCN8s_loss_multi与FCN-AlexNet、FCN8s在嵌入式终端板Jetson TX2上对相同测试集进行测试；
S433：将基于语义分割的嵌入式终端应用在水库水位预警等级识别中。
进一步地，所述S431中，模型的运行时间包括嵌入式终端加载模型的消耗时间、平均单张图片推理时间，通过这些时间评估部署水库水位预警识别系统的可行性；语义分割模型的内存峰值占用大小对在嵌入式终端的部署应用有比较大的限制，故内存占用空间对一个水库水位预警识别终端系统来说是一个非常重要的评价指标；准确率指标主要包括像素准确率、像素准确率平均值和平均交并比，其中像素准确率为正确分类的像素数量与所有像素数量的比值得到的数值，其表示如式(3)所示；i＝0代表水库背景标签，i＝1代表水库水域标签；当i＝1时，计算PA(1)得水域像素准确率如式(4)所示：
式(3)中，数据集共有k+1类，从L0到Lk，0表示背景类；pij是本属于第i 类却被分到第j类的像素数量，pii表示分类正确的正例数量；
像素准确率平均值MPA是将各类正确分类像素的比例值相加再根据总类别数取平均，其表示如式(5)所示：
平均交并比MIoU是将语义分割模型预测的每一类别分割区域与对应类真实标签的分割区域的交集与并集的比值相加再根据类别总数取平均，其表示如式 (6)所示；i＝0代表水库背景标签，i＝1代表水库水域标签；当i＝1，计算IoU(1) 得水域像素准确率如式(7)所示：
所述S432中，将四种语义分割算法在嵌入式终端板Jetson TX2上对相同测试集进行测试，测试集1319张源图像数据与1319张对应语义标签图像数据用于测试模型准确率，将四个算法模型部署在Jetson TX2终端上；测试得到各类准确率指标数值，各类准确率指标为：像素准确率、背景分割像素准确率、水域分割像素准确率、平均像素准确率、背景分割交叉比、水域分割交叉比和平均交并比；
FCN-AlexNet算法部分分割结果有明显的偏差，FCN8s算法模型相比 FCN-AlexNet算法有比较少的偏差，FCN8s算法只有局部较小的区域识别有偏差，FCN8s_loss大部分能准确进行完整分割，FCN8s_loss边界分割相对FCN8s 算法更好一点，而通过加权交叉熵损失函数与多尺度池化特征融合后的 FCN8s_loss_multi算法模型大部分边界更加能贴近真实标签，通过对比分析得出通过加权交叉熵损失函数与多尺度池化特征融合后的FCN8s_loss_multi算法算法模型分割结果更好；
将四种算法模型在嵌入式终端Jetson TX2进行算法推理运行消耗时间与内存测试，FCN8s算法在加载模型时间、平均单张图片测试时间、内存峰值占用上比FCN-AlexNet算法分别多2.447s、0.398s、149.4M，加权交叉熵损失函数后的FCN8s_loss模型与FCN-8s模型两者在推理时间与内存峰值占用上基本没有区别，加权交叉熵损失函数与多尺度池特征融合后的FCN8s_loss_multi算法相比FCN8s_New_loss在加载模型时间与内存峰值占用上虽然有一些提高，但模型在正常使用时是一直加载于嵌入式终端内存中的，加载模型时间与内存峰值占用对实际部署应用没有影响，FCN8s_loss_multi模型的平均单张图片测试时间相比FCN8s_New_loss只高了0.048s，在水库水位预警场景中是完全能够接受的，但FCN8s_loss_multi算法准确率最高，因此最终选择FCN8s_loss_multi算法模型部署应用于终端，从而对水库水位进行预警识别；
所述S433中，将摄像头图像中水库预设好的水位预警等级像素位置与语义分割出水区域的像素分布进行对比分析得出水库水位的预警等级，对每一个水库设置了四个水位预警等级像素位置点坐标，如果预设好的水位预警等级像素位置在当前水区域分布中，则认为此水位预警等级已经达到，从而得到每一个水库当前的水位预警等级；四个水位预警等级像素位置点将水位预警等级根据水位由低到高的顺序自定义分为Ⅰ～Ⅴ级。
与现有技术相比，本发明的有益效果至少包括：
本发明提出的基于语义分割的嵌入式终端水库水位预警方法，在语义分割算法上本发明采用了加权交叉熵损失函数与多尺度池化特征融合后的 FCN8s_loss_multi算法，对比其他3种算法，本算法准确率最高；在应用部署上本发明选用了嵌入式终端，其具有外形小巧、功能强大、方便部署等优点。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明基于语义分割的嵌入式终端水库水位预警方法的流程图；
图2是本发明基于加权交叉熵损失函数与多尺度池化特征融合的 FCN8s_loss_multi模型结构图；
图3是本发明加速引擎构建优化流程图；
图4是本发明四种算法的分割结果比较图；从左到右依次为输入图像、 FCN-AlexNet、FCN8s、FCN8s_loss、FCN8s_loss_multi、标签。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供一种基于语义分割的嵌入式终端水库水位预警方法，包括以下步骤：
S1：基于水库已安装的视频站点，采集水库在多时段、多天气、多要素环境场景下的数据，并使用标注工具对水库图像数据进行像素级的语义分割标注；
S2：对水库图像数据集进行格式转换等预处理操作，并通过水平镜像、随机裁剪等方式对其图片及标签进行批量增强；
S3：采用加权交叉熵损失函数与多尺度池化特征融合的FCN8s_loss_multi 模型实现水库水域像素级分割；
S4：将FCN8s_loss_multi算法模型部署在嵌入式终端上，实现水库水位预警识别。
在S1中，主要包括以下步骤：
S11：采集水库在多时段、多天气、多要素等环境场景下的水库数据；
S12：采用开源标注工具LabelMe对水库图像数据集进行像素级的语义分割标注。
S11数据采集详细说明如下：
(1)获取的数据包含不同的时间段：如早晨、上午、中午、下午、傍晚等；
(2)获取的数据包含不同的天气情况：如晴天、雨天、阴天、雾天、大风天等；
(3)获取不同要素的样本：如房屋倒影、树木倒影、水质、漂浮物、船只、植物等。
S12数据标注详细说明如下：
采用开源标注工具LabelMe对水库图像数据集进行像素级的语义分割标注，将目标轮廓的点集坐标和像素点的类别信息保存至json文件中，语义标注完水库数据集后，整理得到初步的数据集，数据集图片包括2639个jpg文件和对应的标签json文件。
在S2中，主要包括以下步骤：
S21：数据预处理；
S22：数据增强；
S23：数据集划分。
所述S21数据预处理操作包括：
(1)将水库数据集jpg图像数据批量转换为训练所需的png文件；
(2)json文件转换为语义分割标注png文件。
所述S22数据增强操作包括：
采用水平镜像、随机裁剪、裁剪原图片中心50％区域、随机放大缩小原图片70％的区域、随机左右旋转0～25度对水库数据集图片及标签进行批量增强，使得训练数据增强5倍，得到建模所需的13195张样本图片数据，源图像与对应语义标签数据的分辨率大小均为640×480。
所述S23数据集划分操作包括：
将批量增强后的数据按照随机抽样的方式合理划分，其划分比例为7:2:1，从而得到训练集9237张、验证集2639张、测试集1319张；训练集9237张用于训练模型，验证集2639张用于评估输出网络模型的性能，测试集1319张用于推理测试各项性能指标。
在S3中，主要包括以下步骤：
S31：改进FCN模型；
S32：训练语义分割网络；
S33：使用改进的代价函数评估模型；
S34：获得最佳分割模型。
所述S31改进FCN模型结构如图2所示：
本发明提出的FCN8s_loss_multi模型结构主要在原版FCN算法网络的第5 阶段池化前增加两个不同尺度的池化层以及进行线性上采样，然后进行特征融合；多尺度特征融合改进参数细节可以从图2中看出，根据水库数据集分辨率 640*480输入大小，推理算出多尺度池化前特征图大小及通道为54*44*512，用尺寸大小为24*24且步长为2的池化窗口对特征图进行平均池化，得到 16*11*512的特征图；用尺寸大小为10*10且步长为2的池化窗口对特征图进行平均池化，得到23*18*512的特征图；将16*11*512的特征图与23*18*512的特征图分别线性上采样得到54*44*512的特征图，从而使得特征图可以与多尺度池化前的特征图尺寸大小一致，将上采样得到的两个特征图与多尺度池化前的特征图相融合，从而实现多尺度池化特征融合。
所述S32训练语义分割网络实验软硬件详细说明如下：
训练模型的硬件使用联想90H3000VCP主板，其配备英特尔Intel Core i7-7700处理器和英伟达TITAN XP 12GB显存的显卡；在软件配置方面，实验平台基于Ubuntu16.04、win10的64位双操作系统，使用目前主流的深度学习框架 Caffe、Python编程语言及C++编程语言来实验网络模型，并利用并行计算架构 CUDA9.0和GPU加速库cudnn7.0.5来进行高性能的并行计算。
所述S33的改进代价函数评估模型详细说明如下：
采用基于语义分割的加权交叉熵损失函数来评估当前训练模型的收敛情况或模型的优劣，基于语义分割的加权交叉熵损失函数公式如式(1)所示：
式(1)中Jθ表示加权交叉熵损失函数值，n表示样本个数，xi是第i个样本，yi是水库水域第i个样本标签的概率，θ是模型的训练参数，相当于权重参数，w1表示水库水域标签的加权值，w2表示非水域的背景标签的加权值，hθ(xi)表示逻辑回归中的预测值其如式(2)所示：
式中θTx表示线性回归模型的输出值，通过验证集损失函数值与验证集准确率值对比分析，得到最佳的语义分割模型。
在S4中，主要包括以下步骤：
S41：配置嵌入式终端板的深度学习环境；
S42：将网络模型转换为嵌入式终端引擎；
S43：对嵌入式终端进行模型性能的测试与应用；
S44：系统集成并生成嵌入式终端系统化服务产品。
所述S41配置嵌入式终端板的深度学习环境过程如下：
(1)选用英伟达Jetson TX2作为嵌入式终端，将Jetson TX2开发套件连线和上电，并使用一个路由器把装有ubuntu16.04系统的PC虚拟主机、Jetson TX2 开发板连接在同一个局域网上，虚拟机的网络设置为“桥接模式”；
(2)把PC虚拟主机的源改为国内的源，使得Ubuntu16.04系统、CUDA、cuDNN、TensorRT、VisionWorks、OPENCV等深度学习环境库快速下载，让Jetson TX2进入Recovery模式，根据安装提示，完成最后的安装。
所述S42网络模型转换为嵌入式终端引擎流程如图3所示，具体过程如下：
在创建基于加权交叉熵损失函数与多尺度池化特征融合的FCN8s_loss_multi模型后，对网络模型进行解析，加载训练好的模型权重以及模型网络生成嵌入式终端可快速运行的引擎，使得语义分割算法模型在嵌入式终端得到推理加速，从而嵌入式终端可以快速地加载引擎来识别目标图片。
所述S43对嵌入式终端进行模型性能的测试与应用具体过程如下：
S431：选取模型的运行时间、内存占用空间、准确率作为语义分割模型的评价指标；
S432：将本发明所提语义分割方法FCN8s_loss_multi与FCN-AlexNet、 FCN8s在嵌入式终端板Jetson TX2上对相同测试集进行测试；
S433：将基于语义分割的嵌入式终端应用在水库水位预警等级识别中。
所述S431中，模型的运行时间包括嵌入式终端加载模型的消耗时间、平均单张图片推理时间，通过这些时间可以很好地评估部署水库水位预警识别系统的可行性；语义分割模型的内存峰值占用大小对在嵌入式终端的部署应用有比较大的限制，故内存占用空间对一个水库水位预警识别终端系统来说是一个非常重要的评价指标；准确率指标主要包括像素准确率、像素准确率平均值和平均交并比，其中像素准确率为正确分类的像素数量与所有像素数量的比值得到的数值，其表示如式(3)所示；i＝0代表水库背景标签，i＝1代表水库水域标签；当i＝1时，计算PA(1)得水域像素准确率(简称水域PA)如式(4)所示：
式(3)中，数据集共有k+1类(从L0到Lk，0表示背景类)，pij是本属于第i 类却被分到第j类的像素数量，pii表示分类正确的正例数量；
像素准确率平均值是将各类正确分类像素的比例值相加再根据总类别数取平均，其表示如式(5)所示：
平均交并比是将语义分割模型预测的每一类别分割区域与对应类真实标签的分割区域的交集与并集的比值相加再根据类别总数取平均，其表示如式(6) 所示；i＝0代表水库背景标签，i＝1代表水库水域标签；当i＝1，计算IoU(1)得水域像素准确率(简称水域IoU)如式(7)所示：
所述S432中，将四种语义分割算法在嵌入式终端板Jetson TX2上对相同测试集进行测试，测试集1319张源图像数据与1319张对应语义标签图像数据用于测试模型准确率，将四个算法模型部署在Jetson TX2终端上；测试得到各类准确率指标数值，各类准确率指标为：像素准确率(PA)、背景分割像素准确率 (背景PA)、水域分割像素准确率(水域PA)、平均像素准确率(MPA)、背景分割交叉比(背景IoU)、水域分割交叉比(水域IoU)、平均交并比(MIoU)，四个模型性能参数测试对比如表1所示：
表1 TX2终端四个模型性能参数测试对比
四种算法模型在Jetson TX2终端上分割结果对比图如图4所示；
从图4可以看出，FCN-AlexNet算法部分分割结果有明显的偏差，FCN8s 算法模型相比FCN-AlexNet算法有比较少的偏差，FCN8s算法只有局部较小的区域识别有偏差，FCN8s_loss大部分能准确进行完整分割，FCN8s_loss边界分割相对FCN8s算法更好一点，而通过加权交叉熵损失函数与多尺度池化特征融合后的FCN8s_loss_multi算法模型大部分边界更加能贴近真实标签，通过对比分析可以得出通过加权交叉熵损失函数与多尺度池化特征融合后的 FCN8s_loss_multi算法算法模型分割结果更好。
将四种算法模型在嵌入式终端Jetson TX2进行算法推理运行消耗时间与内存测试，其各项测试指数据整理如表2所示：
表2 Jetson TX2终端算法推理运行消耗时间与内存测试
从表2可以看出，FCN8s算法在加载模型时间、平均单张图片测试时间、内存峰值占用上比FCN-AlexNet算法分别多2.447s、0.398s、149.4M，加权交叉熵损失函数后的FCN8s_loss模型与FCN-8s模型两者在推理时间与内存峰值占用上基本没有区别，加权交叉熵损失函数与多尺度池特征融合后的 FCN8s_loss_multi算法相比FCN8s_New_loss在加载模型时间与内存峰值占用有明显的提高，分别提高了1.225s、449.4M，而在平均单张图片测试只高了0.048s；
综合表1和表2可以看出加权交叉熵损失函数与多尺度池化特征融合后的 FCN8s_loss_multi算法准确率最高，而在实际应用中模型是一直加载在内存中的， Jetson TX2终端有8G内存，故加载模型时间与内存峰值占用对实际部署应用没有影响，FCN8s_loss_multi模型的平均单张图片测试时间相比FCN8s_New_loss只高了0.048s，在水库水位预警场景中是完全能够接受的，因此本发明最终选择加权交叉熵损失函数与多尺度池化特征融合后的FCN8s_loss_multi算法模型部署应用于终端，从而对水库水位进行预警识别。
所述S433中，将摄像头图像中水库预设好的水位预警等级像素位置与语义分割出水区域的像素分布进行对比分析得出水库水位的预警等级，对每一个水库设置了四个水位预警等级像素位置点坐标，如果预设好的水位预警等级像素位置在当前水区域分布中，则认为此水位预警等级已经达到，从而得到每一个水库当前的水位预警等级；四个水位预警等级像素位置点可以将水位预警等级根据水位由低到高的顺序自定义分为Ⅰ～Ⅴ级。
本发明提出的基于语义分割的嵌入式终端水库水位预警方法，在语义分割算法上本发明采用了加权交叉熵损失函数与多尺度池化特征融合后的FCN8s_loss_multi算法，对比其他3种算法，本算法准确率最高；在应用部署上本发明选用了嵌入式终端，其具有外形小巧、功能强大、方便部署等优点。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于语义分割的嵌入式终端水库水位预警方法，其特征在于，包括以下步骤：
S1：基于水库已安装的视频站点，采集水库在多时段、多天气、多要素环境场景下的数据，并使用标注工具对水库图像数据进行像素级的语义分割标注；
S2：对水库图像数据集进行格式转换的预处理操作，并通过水平镜像和随机裁剪的方式对其图片及标签进行批量增强；
S3：采用加权交叉熵损失函数与多尺度池化特征融合的FCN8s_loss_multi模型实现水库水域像素级分割；
其中，基于语义分割的加权交叉熵损失函数公式如式(1)所示：
式(1)中Jθ表示加权交叉熵损失函数值，n表示样本个数，xi是第i个样本，yi是水库水域第i个样本标签的概率，θ是模型的训练参数，相当于权重参数，w1表示水库水域标签的加权值，w2表示非水域的背景标签的加权值，hθ(xi)表示逻辑回归中的预测值其如式(2)所示：
式中θTx表示线性回归模型的输出值，通过验证集损失函数值与验证集准确率值对比分析，得到最佳的语义分割模型；
S4：将FCN8s_loss_multi算法模型部署在嵌入式终端上，实现水库水位预警识别；
其中，FCN8s_loss_multi模型结构在原版FCN算法网络的第5阶段池化前增加两个不同尺度的池化层以及进行线性上采样，然后进行特征融合。
2.根据权利要求1所述的基于语义分割的嵌入式终端水库水位预警方法，其特征在于，在S1中，包括以下步骤：
S11：采集多时段、多天气、多要素的环境场景下的水库数据；
S12：采用开源标注工具LabelMe对水库图像数据集进行像素级的语义分割标注；
S11数据采集详细说明如下：
(1)获取的数据包含不同的时间段：包括早晨、上午、中午、下午和傍晚；
(2)获取的数据包含不同的天气情况：包括晴天、雨天、阴天、雾天和大风天；
(3)获取不同要素的样本：包括房屋倒影、树木倒影、水质、漂浮物、船只和植物；
S12数据标注详细说明如下：
采用开源标注工具LabelMe对水库图像数据集进行像素级的语义分割标注，将目标轮廓的点集坐标和像素点的类别信息保存至json文件中，语义标注完水库数据集后，整理得到初步的数据集，数据集图片包括2639个jpg文件和对应的标签json文件。
3.根据权利要求1所述的基于语义分割的嵌入式终端水库水位预警方法，其特征在于，在S2中，包括以下步骤：
S21：数据预处理；
S22：数据增强；
S23：数据集划分；
所述S21数据预处理操作包括：
(1)将水库数据集jpg图像数据批量转换为训练所需的png文件；
(2)json文件转换为语义分割标注png文件；
所述S22数据增强操作包括：
采用水平镜像、随机裁剪、裁剪原图片中心50％区域、随机放大缩小原图片70％的区域、随机左右旋转0～25度对水库数据集图片及标签进行批量增强，使得训练数据增强5倍，得到建模所需的13195张样本图片数据，源图像与对应语义标签数据的分辨率大小均为640×480；
所述S23数据集划分操作包括：
将批量增强后的数据按照随机抽样的方式合理划分，其划分比例为7:2:1，从而得到训练集9237张、验证集2639张、测试集1319张；训练集9237张用于训练模型，验证集2639张用于评估输出网络模型的性能，测试集1319张用于推理测试各项性能指标。
4.根据权利要求1所述的基于语义分割的嵌入式终端水库水位预警方法，其特征在于，在S3中，包括以下步骤：
S31：改进FCN模型；
S32：训练语义分割网络；
S33：使用改进的代价函数评估模型；
S34：获得最佳分割模型。
5.根据权利要求4所述的基于语义分割的嵌入式终端水库水位预警方法，其特征在于，所述S31改进FCN模型结构如下：
FCN8s_loss_multi模型结构在原版FCN算法网络的第5阶段池化前增加两个不同尺度的池化层以及进行线性上采样，然后进行特征融合；根据水库数据集分辨率640*480输入大小，推理算出多尺度池化前特征图大小及通道为54*44*512，用尺寸大小为24*24且步长为2的池化窗口对特征图进行平均池化，得到16*11*512的特征图；用尺寸大小为10*10且步长为2的池化窗口对特征图进行平均池化，得到23*18*512的特征图；将16*11*512的特征图与23*18*512的特征图分别线性上采样得到54*44*512的特征图，从而使得特征图与多尺度池化前的特征图尺寸大小一致，将上采样得到的两个特征图与多尺度池化前的特征图相融合，从而实现多尺度池化特征融合；
所述S32训练语义分割网络实验软硬件详细说明如下：
训练模型的硬件使用联想90H3000VCP主板，其配备英特尔Intel Core i7-7700处理器和英伟达TITAN XP 12GB显存的显卡；在软件配置方面，实验平台基于Ubuntu16.04、win10的64位双操作系统，使用目前主流的深度学习框架Caffe、Python编程语言及C++编程语言来实验网络模型，并利用并行计算架构CUDA9.0和GPU加速库cudnn7.0.5来进行高性能的计算。
6.根据权利要求1所述的基于语义分割的嵌入式终端水库水位预警方法，其特征在于，在S4中，包括以下步骤：
S41：配置嵌入式终端板的深度学习环境；
S42：将网络模型转换为嵌入式终端引擎；
S43：对嵌入式终端进行模型性能的测试与应用；
S44：系统集成并生成嵌入式终端系统化服务产品。
7.根据权利要求6所述的基于语义分割的嵌入式终端水库水位预警方法，其特征在于，所述S41配置嵌入式终端板的深度学习环境过程如下：
(1)选用英伟达Jetson TX2作为嵌入式终端，将Jetson TX2开发套件连线和上电，并使用一个路由器把装有ubuntu16.04系统的PC虚拟主机、Jetson TX2开发板连接在同一个局域网上，虚拟机的网络设置为“桥接模式”；
(2)把PC虚拟主机的源改为国内的源，使得Ubuntu16.04系统、CUDA、cuDNN、TensorRT、VisionWorks、OPENCV的深度学习环境库快速下载，让Jetson TX2进入Recovery模式，根据安装提示，完成最后的安装；
所述S42网络模型转换为嵌入式终端引擎具体过程如下：
在创建基于加权交叉熵损失函数与多尺度池化特征融合的FCN8s_loss_multi模型后，对网络模型进行解析，加载训练好的模型权重以及模型网络生成嵌入式终端可快速运行的引擎，使得语义分割算法模型在嵌入式终端得到推理加速，从而嵌入式终端快速地加载引擎来识别目标图片。
8.根据权利要求6所述的基于语义分割的嵌入式终端水库水位预警方法，其特征在于，所述S43对嵌入式终端进行模型性能的测试与应用具体过程如下：
S431：选取模型的运行时间、内存占用空间、准确率作为语义分割模型的评价指标；
S432：将语义分割方法FCN8s_loss_multi与FCN-AlexNet、FCN8s在嵌入式终端板Jetson TX2上对相同测试集进行测试；
S433：将基于语义分割的嵌入式终端应用在水库水位预警等级识别中。
9.根据权利要求8所述的基于语义分割的嵌入式终端水库水位预警方法，其特征在于，所述S431中，模型的运行时间包括嵌入式终端加载模型的消耗时间、平均单张图片推理时间，通过这些时间评估部署水库水位预警识别系统的可行性；语义分割模型的内存峰值占用大小对在嵌入式终端的部署应用有比较大的限制，故内存占用空间对一个水库水位预警识别终端系统来说是一个非常重要的评价指标；准确率指标包括像素准确率、像素准确率平均值和平均交并比，其中像素准确率为正确分类的像素数量与所有像素数量的比值得到的数值，其表示如式(3)所示；i＝0代表水库背景标签，i＝1代表水库水域标签；当i＝1时，计算PA(1)得水域像素准确率如式(4)所示：
式(3)中，数据集共有k+1类，从L0到Lk，0表示背景类；pij是本属于第i类却被分到第j类的像素数量，pii表示分类正确的正例数量；
像素准确率平均值MPA是将各类正确分类像素的比例值相加再根据总类别数取平均，其表示如式(5)所示：
式中，K+1代表总类别数；
平均交并比MIoU是将语义分割模型预测的每一类别分割区域与对应类真实标签的分割区域的交集与并集的比值相加再根据类别总数取平均，其表示如式(6)所示；i＝0代表水库背景标签，i＝1代表水库水域标签；当i＝1，计算IoU(1)得水域像素准确率如式(7)所示：
式中，p ji代表本属于第j类却被分到第i类的像素数量；
所述S432中，将四种语义分割算法在嵌入式终端板Jetson TX2上对相同测试集进行测试，测试集1319张源图像数据与1319张对应语义标签图像数据用于测试模型准确率，将四个算法模型部署在Jetson TX2终端上；测试得到各类准确率指标数值，各类准确率指标为：像素准确率、背景分割像素准确率、水域分割像素准确率、平均像素准确率、背景分割交叉比、水域分割交叉比和平均交并比；其中，四种语义分割算法包括FCN-AlexNet算法、FCN8s算法、FCN8s_loss算法以及FCN8s_loss_multi算法；
所述S433中，将摄像头图像中水库预设好的水位预警等级像素位置与语义分割出水区域的像素分布进行对比分析得出水库水位的预警等级，对每一个水库设置了四个水位预警等级像素位置点坐标，如果预设好的水位预警等级像素位置在当前水区域分布中，则认为此水位预警等级已经达到，从而得到每一个水库当前的水位预警等级；四个水位预警等级像素位置点将水位预警等级根据水位由低到高的顺序自定义分为Ⅰ～Ⅴ级。
CN202011001171.8A 2020-09-22 2020-09-22 一种基于语义分割的嵌入式终端水库水位预警方法 Active CN112163496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011001171.8A CN112163496B (zh) 2020-09-22 2020-09-22 一种基于语义分割的嵌入式终端水库水位预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011001171.8A CN112163496B (zh) 2020-09-22 2020-09-22 一种基于语义分割的嵌入式终端水库水位预警方法

Publications (2)

Publication Number Publication Date
CN112163496A CN112163496A (zh) 2021-01-01
CN112163496B true CN112163496B (zh) 2024-05-28

Family

ID=73864344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011001171.8A Active CN112163496B (zh) 2020-09-22 2020-09-22 一种基于语义分割的嵌入式终端水库水位预警方法

Country Status (1)

Country Link
CN (1) CN112163496B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861934A (zh) * 2021-01-25 2021-05-28 深圳市优必选科技股份有限公司 一种嵌入式终端的图像分类方法、装置及嵌入式终端
CN115359430B (zh) * 2022-10-19 2023-02-28 煤炭科学研究总院有限公司 水泵的保护方法、装置及电子设备
CN116129430B (zh) * 2023-01-28 2023-06-27 武汉大水云科技有限公司 一种自适应环境水位识别方法、装置及设备
CN116883808A (zh) * 2023-06-27 2023-10-13 浪潮智慧科技有限公司 一种提升水尺水位识别响应速度的方法、设备及存储介质
CN116935289B (zh) * 2023-09-13 2023-12-19 长江信达软件技术（武汉）有限责任公司 一种基于视频监控的明渠漫堤检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223341A (zh) * 2019-06-14 2019-09-10 北京国信华源科技有限公司 一种基于图像识别的智能水位监测方法
CN110363182A (zh) * 2019-07-24 2019-10-22 北京信息科技大学 基于深度学习的车道线检测方法
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN111598098A (zh) * 2020-05-09 2020-08-28 河海大学 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223341A (zh) * 2019-06-14 2019-09-10 北京国信华源科技有限公司 一种基于图像识别的智能水位监测方法
CN110363182A (zh) * 2019-07-24 2019-10-22 北京信息科技大学 基于深度学习的车道线检测方法
CN111127493A (zh) * 2019-11-12 2020-05-08 中国矿业大学 基于注意力多尺度特征融合的遥感图像语义分割方法
CN111598098A (zh) * 2020-05-09 2020-08-28 河海大学 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Boundary-Aware CNN for Semantic Segmentation;NAN ZOU et al.;《IEEE Access》;第114520-114528页 *
基于 NVIDIA Jetson TX2 的道路场景分割;李诗菁 等;《计算机系统应用》;第28卷(第1期);第239-244页 *

Also Published As

Publication number Publication date
CN112163496A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN112163496B (zh) 一种基于语义分割的嵌入式终端水库水位预警方法
AU2020100705A4 (en) A helmet detection method with lightweight backbone based on yolov3 network
He et al. A fully convolutional neural network for wood defect location and identification
Li et al. A2-FPN for semantic segmentation of fine-resolution remotely sensed images
Xu et al. High-resolution remote sensing image change detection combined with pixel-level and object-level
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
CN110599502B (zh) 一种基于深度学习的皮肤病变分割方法
Liu et al. Subtler mixed attention network on fine-grained image classification
CN114283285A (zh) 交叉一致性自训练遥感图像语义分割网络训练方法及装置
WO2024060416A1 (zh) 一种病理图像的端到端弱监督语义分割标注方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
Wang et al. Automatic identification and location of tunnel lining cracks
Luo et al. RBD-Net: robust breakage detection algorithm for industrial leather
CN115497006B (zh) 基于动态混合策略的城区遥感图像变化深度监测方法及系统
Chirgaiya et al. Tiny object detection model based on competitive multi-layer neural network (TOD-CMLNN)
Yao et al. Invoice detection and recognition system based on deep learning
Hou et al. Application of YOLO V2 in construction vehicle detection
Liu et al. Parallel CNN network learning-based video object recognition for UAV ground detection
CN115359468A (zh) 一种目标网站识别方法、装置、设备及介质
Yang et al. Classification of industrial surface defects based on neural architecture search
CN114638990A (zh) 一种卫星云图的分类方法以及分类系统
Cheng et al. Capacitance pin defect detection based on deep learning
Wang et al. Quantitative Evaluation of Plant and Modern Urban Landscape Spatial Scale Based on Multiscale Convolutional Neural Network
Li et al. Dra-odm: a faster and more accurate deep recurrent attention dynamic model for object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant