CN112001964A - 一种基于深度学习的洪水演进过程淹没范围测量方法 - Google Patents

一种基于深度学习的洪水演进过程淹没范围测量方法 Download PDF

Info

Publication number
CN112001964A
CN112001964A CN202010762571.4A CN202010762571A CN112001964A CN 112001964 A CN112001964 A CN 112001964A CN 202010762571 A CN202010762571 A CN 202010762571A CN 112001964 A CN112001964 A CN 112001964A
Authority
CN
China
Prior art keywords
camera
range
image
test
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010762571.4A
Other languages
English (en)
Inventor
李轩
侯精明
杨露
白岗岗
邓朝显
苏锋
杜颖恩
王兆峰
张阳维
李丙尧
杨少雄
韩浩
王添
张兆安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010762571.4A priority Critical patent/CN112001964A/zh
Publication of CN112001964A publication Critical patent/CN112001964A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的洪水演进过程淹没范围测量方法，首先布置摄像头用来采集整个试验河道的视频数据；然后通过摄像头棋盘格标定法对摄像头进行标定矫正透视畸变效果；并从视频数据中提取不同时间点图像数据；进而构建洪水试验淹没范围样本库；通过Labelme标注工具对样本进行一次标注；最后采用MASK R‑CNN图像实例分割算法实现淹没范围的自动分割识别；通过拼接识别图片得到整个试验河道的淹没范围变化。本发明具有经济成本低、智能化程度高、效率高、精度高、应用性强等优点，从而可用于洪水演进试验中获取淹没范围数据的提取。

Description

一种基于深度学习的洪水演进过程淹没范围测量方法
技术领域
本发明属于数据监测技术领域，涉及一种基于深度学习的洪水演进过程淹没范围测量方法。
背景技术
洪水作为一种自然灾害，其发生概率高、范围广、危害大，可能造成重大人员伤亡和财产损失。采用数值模型越来越应用于模拟洪水传播越来越广泛。然而，这些模型的验证主要是通过比较不同的模型预测，或通过实地调查与试验的个别测点水深数据作为验证依据，而缺乏洪水演进过程中淹没范围空间变化数据。
在传统的洪水演进过程中，主要采用布置在河道内的水位传感器、流速仪等来监测个别测点数据。该方式只能监测测点处的信息，无法获取试验过程中整个试验流道信息的变化。同时该方法要求布置大量的监测仪器设备，设备的安装、调试及养护十分繁琐，且将仪器放入水中势必会对水流造成一定的干扰。从而影响测量结果的准确性，因此采用提取淹没范围数据的方式可避免干扰水流。
现有的淹没范围提取大多先采用试验现场拍照提取图片数据，然而当试验河道较大时，现场试验中很难完整并同步捕获到整个河道的水面信息，且需要大量的工作人员和高清相机进行图像数据采集。对于采集到的图像数据，需采用人工标识别边界的方法，对获得的数据一张一张的进行识别处理。该方法要求科研人员花费大量的时间与精力进行数据处理，通过目视判读并手动提取，难以方便高效的处理水面试验数据。
为克服传统试验中图像数据采集困难和高清相机成本较高，以及数据处理效率低的缺点，自动采集数据及高效的自动识别的方法开始受到人们的关注。采用监控摄像头来代替传统的人工拍照，并利用深度学习技术来自动识别淹没范围的变化，同时可有效的避免传统对流场的扰动。
发明内容
针对现有技术的不足，本发明的目的在于提供一种基于深度学习的洪水演进过程淹没范围测量方法，解决了现有技术中存在的现有测量方法只有个别测点而没有空间范围变化测量数据，且人工数据处理的方法费时费力的问题，本方案能够便捷的提取出整个试验河道的水面视频数据，并基于摄像头透视畸变矫正、深度学习技术等自动识别洪水演进过程中淹没范围变化。
本发明所采用的技术方案是，一种基于深度学习的洪水演进过程淹没范围测量方法，首先均匀布置摄像头用来采集整个试验河道的视频数据；然后通过摄像头棋盘格标定法对摄像头通进行标定矫正透视畸变效果；并从视频数据中提取不同时间点图像数据；进而构建洪水试验淹没范围样本库；通过Labelme标注工具对样本进行一次标注；最后采用MASK R-CNN图像实例分割算法实现淹没范围的自动分割识别；通过拼接识别图片得到整个试验河道的淹没范围变化。
具体步骤如下：
步骤1，洪水演进试验水面淹没范围视频数据采集，通过在试验平台上架均匀布置一系列的监控摄像头(以正式视角照射试验台表面)，用来获取试验过程中的视频数据的采集。摄像头架设分布要均匀，照射范围要保证有重叠；
步骤2，以黑白方格相间的棋盘作为标定板，用来作为摄像头的标定物。通过对标定板在不同位置以及不同角度下采集多张图像进行标定，获取图像丰富的坐标信息；
步骤3，根据摄像头透视畸变矫正的基本原理，利用标定板采集的坐标信息及摄像头内置参数矫正摄像头；
步骤4，在步骤3的基础上，构建洪水演进试验水面淹没范围样本库。
步骤5，对图像数据集进行预处理，搭建水面淹没范围深度学习分割模型。
步骤6，通过收集多个摄像头采集洪水演进试验过程中视频数据，提取出图像数据，基于步骤3进行矫正后，将矫正后的数据输入步骤5搭建好的深度学习模型中，得到淹没范围识别结果图像，根据坐标拼接求取整个河道水面淹没范围。
步骤1中数据采集的具体方法如下：
步骤1.1，洪水演进试验水面淹没范围视频数据采集，通过在试验平台上架均匀布置一系列的监控摄像头，以正视视角照射试验台表面，用来获取试验过程中的视频数据的采集。摄像头架设分布要均匀，相邻摄像头照射范围要保证有重叠。
步骤1.2，采用逐帧读取视频保存为高清晰图像数据，图像分辨率为2560*1440.
步骤2中标定的具体方法如下：
步骤2.1，以黑白方格相间的棋盘作为标定板，用来作为摄像头的标定物，标定时使标定板充满整个摄像头照射范围；
步骤2.2，通过对标定板在不同位置以及不同角度下采集3组以上的图像，获取图像丰富的坐标信息；
步骤3中矫正方法的具体如下：通过步骤2提取的图像坐标信息，结合摄像头内置参数，利用OpenCV开源数据库，根据摄像头透视畸变矫正的基本原理搭建透视畸变矫正模型。
步骤3.1，假设模板平面在世界坐标系Z＝0上，三维点与图像投影的关系为:
Figure BDA0002613488360000041
其中s为任意尺度因子，[r1r2r3]和t表示世界坐标系与摄像头坐标系之间的旋转与平移。由于Z总是等于0,u和v表示二维图像中点的坐标，X和Y表示三维点的坐标。K被称为摄像头的内在矩阵。
步骤3.2，在K矩阵中，α和β是图像中x，y轴的比例因子，γ是描述两个图像在x，y轴上尺度的偏差，而(u0,v0)是主点的坐标。
Figure BDA0002613488360000042
步骤3.3，采用单应性矩阵H表示模板平面与其对应图像透视畸变的关系：
H＝K[r1 r2 t] (3)
令H＝[h1 h2 h3],由公式(3)可得：
[h1 h2 h3]＝λK[r1 r2 t] (4)
其中λ是任意标量。
步骤3.4，根据旋转矩阵的性质，即r1 Tr2＝0and||r1||＝||r2||＝1,可以得到摄像头固有矩阵的约束：
Figure BDA0002613488360000051
由于摄像头固有矩阵具有5个未知参数，因此当捕获的图像数量大于或等于3时，可以求得内参矩阵K。根据求得的内参矩阵K对图像进行透视畸变矫正。
步骤3.5，根据求得的各个摄像头内参矩阵，建立多个不同的摄像头标定模型。通过该标定模型，可直接对各个摄像头获取的图像数据进行标定。
步骤4中样本库的构建方法具体如下：
步骤4.1,选取各个摄像头不同天气、不同光照、不同水面淹没范围的视频数据，并从视频中逐帧提取淹没范围图像。
步骤4.2,将图像数据作为输入到步骤3所搭建好的透视畸变矫正模型中，对图像进行矫正。
步骤5中预处理以及搭建水面淹没范围深度学习分割模型的具体方法如下：
步骤5.1,在步骤4所建立好的图像数据集的基础上，将图像按照比例缩放至800*450分辨率大小，以便在接下来的深度学习训练中提高训练效率；
步骤5.2,在步骤5.1的基础上，通过标注工具Labelme对样本数据库图像的淹没范围进行一次性标注，其中将淹没范围与水中未淹没范围分别设置为两类标签。
步骤5.3,从GitHub开源网站下载Mask R-CNN实例分割网络模型作为训练，并以预先训练好的COCO权重文件作为预训练权重；
步骤5.4,在TensorFlow框架下采用MASK R-CNN图像实例分割算法搭建水面范淹没围的自动分割识别模型，最终输出得到训练权重模型文件。
步骤6中求取河道水面淹没范围的具体方法如下：
步骤6.1,通过多个摄像头采集洪水演进试验过程中视频数据，并从中以每5秒提取图像数据，反应出水面淹没范围的变化。
步骤6.2,通过步骤3已建立的摄像头标定模型对图像进行标定，矫正试验图像的透视畸变效果；
步骤6.3,将矫正后的图像数据导入基于步骤5训练好的深度学习权重模型中，自动识别分割出水面淹没范围；
步骤6.4,根据坐标拼接各个摄像头识别出的水面淹没范围，得到整个试验河道水面淹没范围的变化。
本发明的有益效果是：利用低成本的监控摄像头作为试验过程中淹没范围视频数据的提取，极大的降低了数据获取成本，同时弥补了现有技术只有个别测点数据而没有整体空间范围数据的不足；本发明采用透视畸变矫正技术消除摄像头摄像头畸变效果，并以水利试验中淹没范围作为试验监测数据，做到与水面的零接触，不会干扰水流的正常流动，具有良好的创新性与应用性；本发明采用深度学习技术自动识别淹没范围，提高了淹没范围提取效率，并可以准确地得到试验过程中水面淹没范围变化，识别误差小，具有良好的准确性。综上，本发明具有经济成本低、智能化程度高、效率高、精度高、应用性强等优点，从而可用于洪水演进试验中获取淹没范围数据的提取。
附图说明
图1是本发明一种基于深度学习的洪水演进过程淹没范围测量方法试验平台摄像头架设分布图；
图2是本发明一种基于深度学习的洪水演进过程淹没范围测量方法的标定板示意图；
图3是本发明一种基于深度学习的洪水演进过程淹没范围测量方法的实现流程图；
图4是本发明一种基于深度学习的洪水演进过程淹没范围测量方法摄像头标定前后效果对比图。
图5是本发明一种基于深度学习的洪水演进过程淹没范围测量方法试验水面淹没范围深度学习模型识别效果
图6是本发明一种基于深度学习的洪水演进过程淹没范围测量方法深度学习识别范围拼接结果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
一种基于深度学习的洪水演进过程淹没范围测量方法，首先均匀布置摄像头用来采集整个试验河道的视频数据；然后通过摄像头棋盘格标定法对摄像头通进行标定矫正透视畸变效果；并从视频数据中提取不同时间点图像数据；进而构建洪水试验淹没范围样本库；通过Labelme标注工具对样本进行一次标注；最后采用MASK R-CNN图像实例分割算法实现淹没范围的自动分割识别；通过拼接识别图片得到整个试验河道的淹没范围变化。
具体步骤如下：
步骤1，洪水演进试验水面淹没范围视频数据采集，通过在试验平台上架均匀布置一系列的监控摄像头，以正视视角照射试验台表面，用来获取试验过程中的视频数据的采集。摄像头架设分布要均匀，照射范围要保证有重叠；
步骤2，以黑白方格相间的棋盘作为标定板，用来作为摄像头的标定物。通过对标定板在不同位置以及不同角度下采集多张图像进行标定，获取图像丰富的坐标信息；
步骤3，根据摄像头透视畸变矫正的基本原理，利用标定板采集的坐标信息及摄像头内置参数矫正摄像头；
步骤4，在步骤3的基础上，构建洪水演进试验水面淹没范围样本库。
步骤5，对图像数据集进行预处理，搭建水面淹没范围深度学习分割模型。
步骤6，通过收集多个摄像头采集洪水演进试验过程中视频数据，提取出图像数据，基于步骤3进行矫正后，将矫正后的数据输入步骤5搭建好的深度学习模型中，得到淹没范围识别结果图像，根据坐标拼接求取整个河道水面淹没范围。
步骤1中数据采集的具体方法如下：
步骤1.1，洪水演进试验水面淹没范围视频数据采集，通过在试验平台上架均匀布置一系列的监控摄像头，以正视视角照射试验台表面，用来获取试验过程中的视频数据的采集。摄像头架设分布要均匀，相邻摄像头照射范围要保证有重叠。
步骤1.2，采用逐帧读取视频保存为高清晰图像数据，图像分辨率为2560*1440.
步骤2中标定的具体方法如下：
步骤2.1，以黑白方格相间的棋盘作为标定板，用来作为摄像头的标定物，标定时使标定板充满整个摄像头照射范围；
步骤2.2，通过对标定板在不同位置以及不同角度下采集3组以上的图像，获取图像丰富的坐标信息；
步骤3中矫正方法的具体如下：通过步骤2提取的图像坐标信息，结合摄像头内置参数，利用OpenCV开源数据库，根据摄像头透视畸变矫正的基本原理搭建透视畸变矫正模型。
步骤3.1，假设模板平面在世界坐标系Z＝0上，三维点与图像投影的关系为:
Figure BDA0002613488360000091
其中s为任意尺度因子，[r1r2r3]和t表示世界坐标系与摄像头坐标系之间的旋转与平移。由于Z总是等于0,u和v表示二维图像中点的坐标，X和Y表示三维点的坐标。K被称为摄像头的内在矩阵。
步骤3.2，在K矩阵中，α和β是图像中x，y轴的比例因子，γ是描述两个图像在x，y轴上尺度的偏差，而(u0,v0)是主点的坐标。
Figure BDA0002613488360000092
步骤3.3，采用单应性矩阵H表示模板平面与其对应图像透视畸变的关系：
H＝K[r1 r2 t] (3)
令H＝[h1 h2 h3],由公式(3)可得：
[h1 h2 h3]＝λK[r1 r2 t] (4)
其中λ是任意标量。
步骤3.4，根据旋转矩阵的性质，即r1 Tr2＝0and||r1||＝||r2||＝1,可以得到摄像头固有矩阵的约束：
Figure BDA0002613488360000101
由于摄像头固有矩阵具有5个未知参数，因此当捕获的图像数量大于或等于3时，可以求得内参矩阵K。根据求得的内参矩阵K对图像进行透视畸变矫正。
步骤3.5，根据求得的各个摄像头内参矩阵，建立多个不同的摄像头标定模型。通过该标定模型，可直接对各个摄像头获取的图像数据进行标定。
步骤4中样本库的构建方法具体如下：
步骤4.1,选取各个摄像头不同天气、不同光照、不同水面淹没范围的视频数据，并从视频中逐帧提取淹没范围图像。
步骤4.2,将图像数据作为输入到步骤3所搭建好的透视畸变矫正模型中，对图像进行矫正。
步骤5中预处理以及搭建水面淹没范围深度学习分割模型的具体方法如下：
步骤5.1,在步骤4所建立好的图像数据集的基础上，将图像按照比例缩放至800*450分辨率大小，以便在接下来的深度学习训练中提高训练效率；
步骤5.2,在步骤5.1的基础上，通过标注工具Labelme对样本数据库图像的淹没范围进行一次性标注，其中将淹没范围与水中未淹没范围分别设置为两类标签。
步骤5.3,从GitHub开源网站下载Mask R-CNN实例分割网络模型作为训练，并以预先训练好的COCO权重文件作为预训练权重；
步骤5.4,在TensorFlow框架下采用MASK R-CNN图像实例分割算法搭建水面范淹没围的自动分割识别模型，最终输出得到训练权重模型文件。
步骤6中求取河道水面淹没范围的具体方法如下：
步骤6.1,通过多个摄像头采集洪水演进试验过程中视频数据，并从中以每5秒提取图像数据，反应出水面淹没范围的变化。
步骤6.2,通过步骤3已建立的摄像头标定模型对图像进行标定，矫正试验图像的透视畸变效果；
步骤6.3,将矫正后的图像数据导入基于步骤5训练好的深度学习权重模型中，自动识别分割出水面淹没范围；
步骤6.4,根据坐标拼接各个摄像头识别出的水面淹没范围，得到整个试验河道水面淹没范围的变化。
实施例
步骤1，洪水演进试验水面淹没范围视频数据采集，通过在试验平台上架均匀布置一系列的监控摄像头，以正视视角照射试验台表面，用来获取试验过程中的视频数据的采集。摄像头架设分布要合理，照射范围要有足够的重叠，如图1所示。
步骤2，以黑白方格相间的棋盘作为标定板，如图3所示，用来作为摄像头的标定物。通过对标定板在不同位置以及不同角度下图像的采集(至少三张)，获取图像丰富的坐标信息。
步骤3，根据摄像头透视畸变矫正的基本原理，利用标定板采集的坐标信息及摄像头内置参数矫正摄像头，标定前后效果如图4所示。
步骤4，在步骤3的基础上，构建洪水演进试验水面淹没范围样本库。
步骤5，对图像数据集进行预处理，搭建水面淹没范围深度学习分割模型。
步骤6，通过多个摄像头采集洪水演进试验过程中视频数据，提取图像数据，基于步骤3进行矫正后，作为模型输入步骤5搭建好的深度学习模型中，得到淹没范围识别结果图像，根据坐标拼接求取整个试验河道水面淹没范围。
本发明的特点还在于：
步骤1的具体方法如下：
步骤1.1，洪水演进试验水面淹没范围视频数据采集，通过在试验平台上架均匀布置一系列的监控摄像头，以正视视角照射试验台表面，用来获取试验过程中的视频数据的采集。摄像头架设分布要均匀，相邻摄像头照射范围要保证有重叠。
洪水演进试验水面淹没范围视频数据采集，选取海康威视400万像素，4mm焦距摄像头作为视频采集设备，在试验平台正上方3.8m处均匀架设一系列(11个)摄像头，摄像头照射范围长大约5m，宽度大约2.4米，摄像头均匀布设，保证可以覆盖整个试验平台，摄像头照射范围内保证有重叠不会产生空隙，以正视视角照射试验台表面，用来获取试验过程中的视频数据的采集。
步骤1.2，采用逐帧读取视频保存为高清晰图像数据，图像分辨率为2560*1440.
步骤2的具体方法如下：
步骤2.1，以黑白方格相间的棋盘作为标定板，用来作为摄像头的标定物。标定时使标定板充满整个摄像头照射范围。
步骤2.2，通过对标定板在不同位置以及不同角度下采集多组图像(至少三张)，获取图像丰富的坐标信息。
步骤3的具体方法如下：通过步骤2提取的图像坐标信息，结合摄像头内置参数，利用OpenCV开源数据库，根据摄像头透视畸变矫正的基本原理搭建透视畸变矫正模型。矫正前后结果如图4所示。
步骤4的具体方法如下：
步骤4.1,选取各个摄像头不同天气、不同光照、不同水面淹没范围的视频数据，并从视频中逐帧提取淹没范围图像。
步骤4.2,将图像数据作为输入到步骤3所搭建好的透视畸变矫正模型中，对图像进行矫正。
步骤5的具体方法如下：
步骤5.1,在步骤4所建立好的图像数据集的基础上，将图像按照比例缩放至800*450分辨率大小，以便在接下来的深度学习训练中提高训练效率。
步骤5.2,在步骤5.1的基础上，过标注工具Labelme对样本数据库图像的淹没范围进行一次性标注，其中对淹没范围与水中未淹没范围分别设置为两类标签。
步骤5.3,从GitHub开源网站下载Mask R-CNN实例分割网络模型作为训练，并以预先训练好的COCO权重文件作为预训练权重；
步骤5.4,在TensorFlow框架下采用MASK R-CNN图像实例分割算法搭建水面范淹没围的自动分割识别模型，最终输出得到训练权重模型文件。
步骤6的具体方法如下：
步骤6.1,通过多个摄像头采集洪水演进试验过程中视频数据，并从中以每5秒提取图像数据，反应出水面淹没范围的变化。
步骤6.2,通过步骤3已建立的摄像头标定模型对图像进行标定，矫正试验图像的透视畸变效果。
步骤6.3,将矫正后的图像数据导入基于步骤5训练好的深度学习模型中作为模型输入，自动识别分割出水面淹没范围。如图5所示。
步骤6.4,根据坐标拼接各个摄像头识别出的水面淹没范围，得到整个试验河道水面淹没范围的变化。如图6所示。
本发明利用低成本的监控摄像头作为试验过程中水面淹没范围视频数据的提取，极大的降低了数据获取成本，同时弥补了现有技术只有个别测点数据而没有整体空间范围数据的不足；本发明采用透视畸变矫正技术消除摄像头摄像头畸变效果，并以水利试验中淹没范围作为试验监测数据，做到与水面的零接触，不会干扰水流的正常流动，具有良好的创新性与应用性；本发明采用深度学习技术自动识别淹没范围，提高了淹没范围提取效率，并可以准确地得到试验过程中水面淹没范围变化，识别误差小，具有良好的准确性。综上，本发明具有经济成本低、智能化程度高、效率高、精度高、应用性强等优点，从而可用于洪水演进试验中获取淹没范围数据的提取。

Claims (8)

1.一种基于深度学习的洪水演进过程淹没范围测量方法，其特征在于，首先均匀布置摄像头用来采集整个试验河道的视频数据；然后通过摄像头棋盘格标定法对摄像头通进行标定矫正透视畸变效果；并从视频数据中提取不同时间点图像数据；进而构建洪水试验淹没范围样本库；通过Labelme标注工具对样本进行一次标注；最后采用MASK R-CNN图像实例分割算法实现淹没范围的自动分割识别；通过拼接识别图片得到整个试验河道的淹没范围变化。
2.根据权利要求1所述的一种基于深度学习的洪水演进过程淹没范围测量方法，其特征在于，具体步骤如下：
步骤1，洪水演进试验水面淹没范围视频数据采集，通过在试验平台上架均匀布置一系列的监控摄像头，以正视视角照射试验台表面，用来获取试验过程中的视频数据的采集，摄像头架设分布要均匀，照射范围要保证有重叠；
步骤2，以黑白方格相间的棋盘作为标定板，用来作为摄像头的标定物，通过对标定板在不同位置以及不同角度下采集多张图像进行标定，获取图像丰富的坐标信息；
步骤3，根据摄像头透视畸变矫正的基本原理，利用标定板采集的坐标信息及摄像头内置参数矫正摄像头；
步骤4，在步骤3的基础上，构建洪水演进试验水面淹没范围样本库，
步骤5，对图像数据集进行预处理，搭建水面淹没范围深度学习分割模型；
步骤6，通过收集多个摄像头采集洪水演进试验过程中视频数据，提取出图像数据，基于步骤3进行矫正后，将矫正后的数据输入步骤5搭建好的深度学习模型中，得到淹没范围识别结果图像，根据坐标拼接求取整个河道水面淹没范围。
3.根据权利要求2所述的一种基于深度学习的洪水演进过程淹没范围测量方法，其特征在于，步骤1中数据采集的具体方法如下：
步骤1.1，洪水演进试验水面淹没范围视频数据采集，通过在试验平台上架均匀布置一系列的监控摄像头，以正视视角照射试验台表面，用来获取试验过程中的视频数据的采集，摄像头架设分布要均匀，相邻摄像头照射范围要保证有重叠；
步骤1.2，采用逐帧读取视频保存为高清晰图像数据，图像分辨率为2560*1440。
4.根据权利要求2所述的一种基于深度学习的洪水演进过程淹没范围测量方法，其特征在于，步骤2中标定的具体方法如下：
步骤2.1，以黑白方格相间的棋盘作为标定板，用来作为摄像头的标定物，标定时使标定板充满整个摄像头照射范围；
步骤2.2，通过对标定板在不同位置以及不同角度下采集3组以上的图像，获取图像丰富的坐标信息。
5.根据权利要求2所述的一种基于深度学习的洪水演进过程淹没范围测量方法，其特征在于，所述步骤3中矫正方法的具体如下：通过步骤2提取的图像坐标信息，结合摄像头内置参数，利用OpenCV开源数据库，根据摄像头透视畸变矫正的基本原理搭建透视畸变矫正模型；
步骤3.1，假设模板平面在世界坐标系Z＝0上，三维点与图像投影的关系为:
Figure FDA0002613488350000031
其中s为任意尺度因子，[r1 r2 r3]和t表示世界坐标系与摄像头坐标系之间的旋转与平移，由于Z总是等于0,u和v表示二维图像中点的坐标，X和Y表示三维点的坐标，K被称为摄像头的内在矩阵；
步骤3.2，在K矩阵中，α和β是图像中x，y轴的比例因子，γ是描述两个图像在x，y轴上尺度的偏差，而(u0,v0)是主点的坐标；
Figure FDA0002613488350000032
步骤3.3，采用单应性矩阵H表示模板平面与其对应图像透视畸变的关系：
H＝K[r1 r2 t] (3)
令H＝[h1 h2 h3],由公式(3)可得：
[h1 h2 h3]＝λK[r1 r2 t] (4)
其中λ是任意标量；
步骤3.4，根据旋转矩阵的性质，即r1 Tr2＝0and||r1||＝||r2||＝1,可以得到摄像头固有矩阵的约束：
Figure FDA0002613488350000033
由于摄像头固有矩阵具有5个未知参数，因此当捕获的图像数量大于或等于3时，可以求得内参矩阵K，根据求得的内参矩阵K对图像进行透视畸变矫正；
步骤3.5，根据求得的各个摄像头内参矩阵，建立多个不同的摄像头标定模型，通过该标定模型，可直接对各个摄像头获取的图像数据进行标定。
6.根据权利要求2所述的一种基于深度学习的洪水演进过程淹没范围测量方法，其特征在于，步骤4中样本库的构建方法具体如下：
步骤4.1,选取各个摄像头不同天气、不同光照、不同水面淹没范围的视频数据，并从视频中逐帧提取淹没范围图像；
步骤4.2,将图像数据作为输入到步骤3所搭建好的透视畸变矫正模型中，对图像进行矫正。
7.根据权利要求2所述的一种基于深度学习的洪水演进过程淹没范围测量方法，其特征在于，步骤5中预处理以及搭建水面淹没范围深度学习分割模型的具体方法如下：
步骤5.1,在步骤4所建立好的图像数据集的基础上，将图像按照比例缩放至800*450分辨率大小，以便在接下来的深度学习训练中提高训练效率；
步骤5.2,在步骤5.1的基础上，通过标注工具Labelme对样本数据库图像的淹没范围进行一次性标注，其中将淹没范围与水中未淹没范围分别设置为两类标签；
步骤5.3,从GitHub开源网站下载Mask R-CNN实例分割网络模型作为训练，并以预先训练好的COCO权重文件作为预训练权重；
步骤5.4,在TensorFlow框架下采用MASK R-CNN图像实例分割算法搭建水面范淹没围的自动分割识别模型，最终输出得到训练权重模型文件。
8.根据权利要求2所述的一种基于深度学习的洪水演进过程淹没范围测量方法，其特征在于，步骤6中求取河道水面淹没范围的具体方法如下：
步骤6.1,通过多个摄像头采集洪水演进试验过程中视频数据，并从中以每5秒提取图像数据，反应出水面淹没范围的变化；
步骤6.2,通过步骤3已建立的摄像头标定模型对图像进行标定，矫正试验图像的透视畸变效果；
步骤6.3,将矫正后的图像数据导入基于步骤5训练好的深度学习权重模型中，自动识别分割出水面淹没范围；
步骤6.4,根据坐标拼接各个摄像头识别出的水面淹没范围，得到整个试验河道水面淹没范围的变化。
CN202010762571.4A 2020-07-31 2020-07-31 一种基于深度学习的洪水演进过程淹没范围测量方法 Pending CN112001964A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010762571.4A CN112001964A (zh) 2020-07-31 2020-07-31 一种基于深度学习的洪水演进过程淹没范围测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010762571.4A CN112001964A (zh) 2020-07-31 2020-07-31 一种基于深度学习的洪水演进过程淹没范围测量方法

Publications (1)

Publication Number Publication Date
CN112001964A true CN112001964A (zh) 2020-11-27

Family

ID=73463272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010762571.4A Pending CN112001964A (zh) 2020-07-31 2020-07-31 一种基于深度学习的洪水演进过程淹没范围测量方法

Country Status (1)

Country Link
CN (1) CN112001964A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538350A (zh) * 2021-06-29 2021-10-22 河北深保投资发展有限公司 一种基于多摄像头识别基坑深度的方法
CN117094448B (zh) * 2023-10-17 2024-02-02 成都智慧企业发展研究院有限公司 一种大数据分析方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156734A (zh) * 2016-06-28 2016-11-23 浙江工业大学 一种基于卷积神经网络图像识别的水流测速方法
CN109064404A (zh) * 2018-08-10 2018-12-21 西安电子科技大学 一种基于多相机标定的全景拼接方法、全景拼接系统
CN109632037A (zh) * 2018-12-12 2019-04-16 四创科技有限公司 一种基于图像智能识别的城市内涝积水深度检测方法
CN110517202A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种车身摄像头标定方法及其标定装置
CN110956783A (zh) * 2019-12-04 2020-04-03 江河瑞通（北京）技术有限公司 城市内涝监测方法及电子设备
CN111144254A (zh) * 2019-12-18 2020-05-12 江河瑞通（北京）技术有限公司 城市内涝积水程度识别方法及装置
US20200184795A1 (en) * 2018-12-06 2020-06-11 Electronics And Telecommunications Research Institute Intelligent river inundation alarming system and method of controlling the same
CN111462218A (zh) * 2020-03-16 2020-07-28 西安理工大学 一种基于深度学习技术的城市内涝积水面积监测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156734A (zh) * 2016-06-28 2016-11-23 浙江工业大学 一种基于卷积神经网络图像识别的水流测速方法
CN109064404A (zh) * 2018-08-10 2018-12-21 西安电子科技大学 一种基于多相机标定的全景拼接方法、全景拼接系统
US20200184795A1 (en) * 2018-12-06 2020-06-11 Electronics And Telecommunications Research Institute Intelligent river inundation alarming system and method of controlling the same
CN109632037A (zh) * 2018-12-12 2019-04-16 四创科技有限公司 一种基于图像智能识别的城市内涝积水深度检测方法
CN110517202A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种车身摄像头标定方法及其标定装置
CN110956783A (zh) * 2019-12-04 2020-04-03 江河瑞通（北京）技术有限公司 城市内涝监测方法及电子设备
CN111144254A (zh) * 2019-12-18 2020-05-12 江河瑞通（北京）技术有限公司 城市内涝积水程度识别方法及装置
CN111462218A (zh) * 2020-03-16 2020-07-28 西安理工大学 一种基于深度学习技术的城市内涝积水面积监测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
KANISHK LOHUMI 等: "Automatic Detection of Flood Severity Level from Flood Videos using Deep Learning Models", 《2018 5TH INTERNATIONAL CONFERENCE ON INFORMATION AND COMMUNICATION TECHNOLOGIES FOR DISASTER MANAGEMENT (ICT-DM)》 *
万刚: "《无人机测绘技术及应用》", 31 December 2015, 《测绘出版社》 *
侯精明: "深度学习技术在城市内涝监测中的应用", 《中国防汛抗旱》 *
刘传才: "《图像理解与计算机视觉》", 30 September 2002, 《厦门大学出版社》 *
汪权方 等: "基于视觉注意机制的洪涝淹没区遥感识别方法", 《农业工程学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538350A (zh) * 2021-06-29 2021-10-22 河北深保投资发展有限公司 一种基于多摄像头识别基坑深度的方法
CN113538350B (zh) * 2021-06-29 2022-10-04 河北深保投资发展有限公司 一种基于多摄像头识别基坑深度的方法
CN117094448B (zh) * 2023-10-17 2024-02-02 成都智慧企业发展研究院有限公司 一种大数据分析方法及系统

Similar Documents

Publication Publication Date Title
CN109785337B (zh) 一种基于实例分割算法的栏内哺乳动物清点方法
CN107229930B (zh) 一种指针式仪表数值智能识别方法
CN112766103B (zh) 一种机房巡检方法及装置
CN112766274B (zh) 一种基于Mask RCNN算法的水尺图像水位自动读数方法及系统
CN108764257A (zh) 一种多视角的指针式仪表识别方法
CN109635875A (zh) 一种基于深度学习的端到端网口检测方法
CN114399672A (zh) 一种基于深度学习的铁路货车闸瓦故障检测方法
CN108875739A (zh) 一种数显仪表读数的精确检测方法
CN111462218A (zh) 一种基于深度学习技术的城市内涝积水面积监测方法
CN111914767B (zh) 一种基于多源遥感数据的散乱污企业检测方法及系统
CN112001964A (zh) 一种基于深度学习的洪水演进过程淹没范围测量方法
CN108711148A (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN110263790A (zh) 一种基于卷积神经网络的电厂电表字符定位和识别方法
CN109146880A (zh) 一种基于深度学习的电力设备检测方法
CN111598942A (zh) 一种用于对电力设施仪表进行自动定位的方法及系统
CN107631782A (zh) 一种基于Harris角点检测的水位检测方法
CN112016497A (zh) 基于人工智能的单视角太极拳动作分析及考核系统
CN116229052B (zh) 一种基于孪生网络的变电站设备状态变化检测方法
CN110689000A (zh) 一种基于生成复杂环境下车牌样本的车辆车牌识别方法
CN114022761A (zh) 一种卫星遥感影像输电线路杆塔检测定位方法及装置
CN115311618A (zh) 一种基于深度学习和对象匹配的装配质量检查方法
CN113935971A (zh) 一种复合材料表面缺陷的检测方法及装置
CN109840905A (zh) 电力设备锈迹检测方法及系统
CN110728269A (zh) 一种高铁接触网支柱杆号牌识别方法
CN113627427B (zh) 一种基于图像检测技术的仪器仪表读数方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201127

RJ01 Rejection of invention patent application after publication