CN113610009A - 一种洪涝灾害无人机影像信息提取系统 - Google Patents
一种洪涝灾害无人机影像信息提取系统 Download PDFInfo
- Publication number
- CN113610009A CN113610009A CN202110913259.5A CN202110913259A CN113610009A CN 113610009 A CN113610009 A CN 113610009A CN 202110913259 A CN202110913259 A CN 202110913259A CN 113610009 A CN113610009 A CN 113610009A
- Authority
- CN
- China
- Prior art keywords
- image
- flood
- aerial vehicle
- unmanned aerial
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 78
- 238000013136 deep learning model Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000010276 construction Methods 0.000 claims abstract description 9
- 230000001276 controlling effect Effects 0.000 claims abstract description 5
- 230000001105 regulatory effect Effects 0.000 claims abstract description 5
- 230000000694 effects Effects 0.000 claims description 20
- 238000012216 screening Methods 0.000 claims description 19
- 239000000126 substance Substances 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000006424 Flood reaction Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 244000118350 Andrographis paniculata Species 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种洪涝灾害无人机影像信息提取系统，其特征在于，包括：无人机飞行平台：用于调控无人机采集洪涝影像图像，并将所述洪涝影像图像划分为训练集和测试集；样本库构建模块：用于通过互联网和搜索引擎获取洪涝灾害影像，并将所述洪涝灾害影像和所述训练集整合构建为训练样本库；深度学习模型搭建模块：在Tensorflow框架下，将所述训练样本库的样本数据通过Yolo算法进行训练，生成深度学习模型；洪涝灾害提取模块：将所述测试集的洪涝影像图像导入深度学习模型，获取灾情信息。
Description
技术领域
本发明涉及无人机影像技术领域，特别涉及一种洪涝灾害无人机 影像信息提取系统。
背景技术
目前，洪涝灾害作为主要的自然灾害之一，每年都造成巨大的人 员伤亡和经济损失。洪涝灾害损失评估中，承灾体的信息提取是进行 灾害损失评估和安排救灾、减灾方案的前提。传统的洪涝监测手段很 难及时提供灾情损失评估数据。近年来，无人机遥感应用日益广泛， 尤其在自然灾害、应急救援领域具有传统方式难以比拟的优势。本文 面向洪涝灾害，开展基于无人机遥感数据与深度学习的洪涝灾害信息 提取方法研究。构建基于深度学习的洪涝灾害信息提取模型。在洪涝 灾害淹没房屋和植被的自动识别中，模型检测识别效果达82％以上。 洪涝灾害损失评估中，承灾体的信息提取是进行灾害损失评估和安排救灾、减灾方案的前提。无人机遥感技术能够及时获取洪涝灾害影像 数据，进行灾情信息监测和识别，为洪涝灾害救援和灾害重建提供科 学决策数据；可以及时获取洪涝灾情信息，准确分析受灾区域损失， 提供科学的决策依据指导灾后恢复和重建工作，为传统的洪涝灾害损 失评估提供验证手段。
发明内容
本发明提供一种洪涝灾害无人机影像信息提取系统，用以解决洪 涝灾害数据传输不清晰、不全面的情况。
一种洪涝灾害无人机影像信息提取系统，包括：.
无人机飞行平台：用于调控无人机采集洪涝影像图像，并将所述 洪涝影像图像划分为训练集和测试集；
样本库构建模块：用于通过互联网和搜索引擎获取洪涝灾害影像， 并将所述洪涝灾害影像和所述训练集整合构建为训练样本库；
深度学习模型搭建模块：在Tensorflow框架下，将所述训练样本 库的样本数据通过Yolo算法进行训练，生成深度学习模型，并通过 测试集合进行验证，获取验证后的深度学习模型；
洪涝灾害提取模块：将所述测试集的洪涝影像图像导入深度学习 模型，获取灾情信息。
作为本发明的一种实施例，在于所述无人机飞行平台，包括：
遥感影像采集单元：在无人机通过预设路线进行影像采集时，基 于预设的高度进行拍照，并获取灾情影像图像；
数据分析筛选单元：对所述影像图像进行几何校正，对几何校正 过的图像进行筛选，得到筛选图像，根据所述筛选图像内洪水影像占 整体图像的比重，将几何校正过的图像中的预设数量作为测试数据， 剩下的图像作为训练样本。
作为本发明的一种实施例，在于所述样本库构建模块，包括：
历史数据单元：用于采集已有的洪涝灾害图像，传输到洪涝灾害 样本库中预设的训练样本库；
影像数据搜索单元：根据预设的图像搜索引擎，搜寻达到预设相 似度的洪涝航空图像，并传输到洪涝灾害样本库中的训练样本库；
新采集数据单元：通过无人机采集到的灾情图像，根据预设的筛 选条件，将第一预设比例的灾情图像传输到洪涝灾害样本库中的训练 样本库，将第二预设比例的灾情图像传输到洪涝灾害样本库中预设的 测试样本库；其中，
所述第一预设比例大于所述第二预设比例；
标注单元：对训练样本的目标类型进行标注。
作为本发明的一种实施例，所述深度学习模型搭建模块包括：
TF框架单元：通过预设的机器学习系统的Tensorflow框架，提供 构建训练模型的基础；
Yolo检测单元：单次运算的神经网络层，通过处理接收到的图片， 运用Yolo算法对目标进行预测；
模型优化单元；通过对预设的不同场景的影像效果进行分析，再 对洪涝灾害中拍摄的影像图进行识别效果验证。
作为本发明的一种实施例，所述数据分析筛选单元进行几何校正 和洪水影像占整体图像的比重包括如下步骤：
对通过无人机获得的洪涝图像，判断是否存在几何畸变；其中，
当不存在几何畸变时，图像传输至洪涝灾害样本库中；
当存在几何畸变时，利用图像的内方向元素对图像进行预设的纠 正操作；
所述筛选图像内洪水影像占整体图像的比重，通过分析将图像中 划分为灾情元素；其中，
所述灾情元素至少包括：被淹房屋、被淹植被、洪水；所述洪水 在图像内占比为洪水占图面积与洪水、被淹房屋和被淹植被的占图总 面积之比。
作为本发明的一种实施例，所述标注单元通过Labellmg软件进行 训练样本的数据标注包括：
通过Labellmg中的Creat RectBox，来给接收到的图像进行标记， 设置标记种类为房屋和植被两类，采用绿色线框对房屋进行标记，采 用红色线框对植被进行标记；其中：
当一张图像只有一个目标时，进行正常标记；
当一张图像有多个目标时，进行预设的重复标记。
作为本发明的一种实施例，所述Tensorflow框架还包括如下调整 步骤：
通过构建数据流图得到预设计算的内部循环数值；
将所述内部循环数值对跨平台样本训练进行分类管理，通过管理 得到反馈结果；
对所述反馈结果进行潜能计算，得到潜能参数，根据潜能参数调 整Tensorflow框架。
作为本发明的一种实施例，所述将所述训练样本库的样本数据通 过Yolo算法进行训练，包括如下步骤：
步骤S1：通过设置Yolo算法的设备将接收到的图像进行压缩处 理，压缩到预设的N*N大小格式，得到压缩图像；
步骤S2:通过Yolo算法中预设的特征提取网络结构，对压缩图 像进行特征获取操作，将压缩图像分割成K*K的方格；
步骤S3：通过Yolo算法预设的目标标记操作，标记到压缩图像 的中心方格，来预测目标物；
步骤S4：输出预测后的模型。
作为本发明的一种实施例，所述无人机飞行平台还包括：
场景划分单元：用于根据所述洪涝影像图像，进行场景识别，并 进行多模式无人机控制；其中，
所述多模式无人机控制包括：远景无人机控制、阴暗影像无人机 控制和遮挡影像无人机控制；
所述远景无人机控制包括：
计算接收到的图像中各元素的占比，根据识别元素密集度，判断 是否在预设的空中高度范围内，根据实际情况，调整无人机到预设高 度范围内；
所述阴暗影像无人机控制包括：
识别图像中阴影部分占比，判断图像中阴影光线强度，当不满足 预设的光线强度范围时，对无人机进行预设的角度调整操作；
所述遮挡影像无人机控制包括：
根据预设的遮挡物算法，计算遮挡面积，当遮挡面积大于预设面 积时，对无人机进行拍摄位置调整操作。
本发明有益效果为：通过应用无人机遥感数据与深度学习进行洪 涝灾害信息提取技术研究。构建基于深度学习的算法模型，对洪涝淹 没的房屋、植被等损毁信息进行特征提取，最终提取受洪涝影响的灾 情信息，提升了信息准确性，也提高了获取信息的效率。本发明对于 洪涝淹没的房屋和植被，总体识别率能够极大的提高(在实际实施是 能够达到百分之八十二，高于现有所有技术)，相对于现有技术，具 有更加精确的识别能力。识别速度方面，每一张图片的检测时间只需 很短时间，(在实际实施时为2～4s)。表明无人机在洪水灾害损失评估 中，能够有效地进行受灾房屋和植被的信息自动提取，为灾害救援和灾后重建及时提供灾情数据信息。
本发明的有益效果为：应用无人机遥感数据与深度学习进行洪涝 灾害信息提取技术研究。构建基于深度学习的算法模型，对洪涝淹没 的房屋、植被等损毁信息进行特征提取，最终提取受洪涝影响的灾情 信息，提升了信息准确性，也提高了获取信息的效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分 地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的 目的和其他优点可通过在所写的说明书以及附图中所特别指出的结 构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分， 与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。 在附图中：
图1为本发明实施例中一种洪涝灾害无人机影像信息提取系统 的流程图；
图2为本发明实施例中一种洪涝灾害无人机影像信息提取系统 中无人机飞行平台的功能图；
图3为本发明实施例中一种洪涝灾害无人机影像信息提取系统 中样本库构建模块的功能图；
图4为本发明实施例中一种洪涝灾害无人机影像信息提取系统 中深度学习模型搭建模块的功能图；
图5为本发明实施例中一种洪涝灾害无人机影像信息提取系统 中Yolo算法的步骤图；
图6为本发明实施例中一种洪涝灾害无人机影像信息提取系统 中研究方法框架；
图7为本发明实施例中一种洪涝灾害无人机影像信息提取系统 中洪涝影像训练样本库中部分数据；
图8为本发明实施例中一种洪涝灾害无人机影像信息提取系统 中训练数据标注；
图9为本发明实施例中一种洪涝灾害无人机影像信息提取系统 中模型训练参数；
图10为本发明实施例中一种洪涝灾害无人机影像信息提取系统 中模型训练参数；
图11为本发明实施例中一种洪涝灾害无人机影像信息提取系统 中高空拍摄识别效果一；
图12为本发明实施例中一种洪涝灾害无人机影像信息提取系统 中高空拍摄识别效果二；
图13为本发明实施例中一种洪涝灾害无人机影像信息提取系统 中光线阴暗环境识别效果一；
图14为本发明实施例中一种洪涝灾害无人机影像信息提取系统 中光线阴暗环境识别效果二；
图15为本发明实施例中一种洪涝灾害无人机影像信息提取系统 中识别有遮挡时的效果展示一；
图16为本发明实施例中一种洪涝灾害无人机影像信息提取系统 中识别有遮挡时的效果展示四；
图17为本发明实施例中一种洪涝灾害无人机影像信息提取系统 中只露出屋顶的房屋识别效果一。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处 所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供了一种洪涝灾害无人机影像信息提取系统如 图1～附图6所示，本发明包括：
无人机飞行平台：用于调控无人机采集洪涝影像图像，并将所述 洪涝影像图像划分为训练集和测试集；
样本库构建模块：用于通过互联网和搜索引擎获取洪涝灾害影像， 并将所述洪涝灾害影像和所述训练集整合构建为训练样本库；
深度学习模型搭建模块：在Tensorflow框架下，将所述训练样本 库的样本数据通过Yolo算法进行训练，生成深度学习模型，并通过 测试集合进行验证，获取验证后的深度学习模型；
洪涝灾害提取模块：将所述洪涝影像图像导入深度学习模型，获 取灾情信息。
上述技术方案的工作原理为：本发明通过无人机飞行平台通过调 控无人机的航向和高度来采集洪涝灾害区域不同航向、不同角度的洪 涝影像图像，将获得的洪涝影像图像氛围训练集和测试集；通过收集 互联网公开的洪涝灾害样本和搜索引擎上获取的洪涝灾害样本，结合 训练集整合构建成训练样本库；在Tensorflow框架下，将所述训练样 本库的样本数据通过Yolo算法进行训练，生成深度学习模型，在进 行模型训练的过程中，图9和图10为训练指令和模型训练过程的各 参数；将所述测试集的洪涝影像图像导入深度学习模型，获取灾情信 息。
上述技术方案的有益效果为：应用无人机遥感数据与深度学习进 行洪涝灾害信息提取技术研究。构建基于深度学习的算法模型，对洪 涝淹没的房屋、植被等损毁信息进行特征提取，最终提取受洪涝影响 的灾情信息，提升了信息准确性，也提高了获取信息的效率。本发明 对于洪涝淹没的房屋和植被，总体识别率能够极大的提高(在实际实 施是能够达到百分之八十二，高于现有所有技术)，相对于现有技术， 具有更加精确的识别能力。识别速度方面，每一张图片的检测时间只 需很短时间，(在实际实施时为2～4s)。表明无人机在洪水灾害损失评 估中，能够有效地进行受灾房屋和植被的信息自动提取，为灾害救援和灾后重建及时提供灾情数据信息。
在一个实施例中，所述无人机飞行平台，包括：
遥感影像采集单元：在无人机通过预设路线进行影像采集时，基 于预设的高度进行拍照，并获取灾情影像图像；
数据分析筛选单元：对所述影像图像进行几何校正，对几何校正 过的图像进行筛选，得到筛选图像，根据所述筛选图像内洪水影像占 整体图像的比重，将几何校正过的图像中的预设数量作为测试数据， 剩下的图像作为训练样本。
上述技术方案的工作原理为：获得的无人机洪涝影像图像，通常 存在几何畸变，需要图像预处理进行几何校正。几何变形一般是由数 码相机镜头引起的，对于相对平坦的地表变形是恒定的，可以利用图 像的内方向元素批量纠正其几何形变；由于获取的无人机图像航向和 旁向重叠量高达单个图像的65％至75％，并且大量图像完全是洪水 区域，经过筛选后作为洪涝影像样本训练和测试的图像，如图7所示， 选择其中5/6作为样本训练，1/6作为测试数据；
上述技术方案的有益效果为：通过对采集到的洪涝影像图像进行 几何校正处理。
在一个实施例中，
所述样本库构建模块包括：
历史数据单元：用于采集已有的洪涝灾害图像，传输到洪涝灾害 样本库中预设的训练样本库；
影像数据搜索单元：根据预设的图像搜索引擎，搜寻达到预设相 似度的洪涝航空图像，并传输到洪涝灾害样本库中的训练样本库；
新采集数据单元：如图7所示，本发明通过无人机采集到的灾情 图像，根据预设的筛选条件，将第一预设比例的灾情图像传输到洪涝 灾害样本库中的训练样本库，将第二预设比例的灾情图像传输到洪涝 灾害样本库中预设的测试样本库；其中，
所述第一预设比例大于所述第二预设比例；
标注单元：如图8所示，对训练样本的目标类型进行标注。
上述技术方案的工作原理为：收集已经公开的洪涝灾害影像图像， 传输到数据库中；再通过现有的搜索引擎对洪涝灾害影像图像进行搜 索，根据预设的相似度进行筛选，收集满足筛选条件的这部分洪涝灾 害图像，传输到数据库中；通过无人机采集到的灾情图像，通过处理 和筛选后，得到几何校正过的图像，，再根据预设好的筛选条件，把 其中5/6的部分传输到洪涝灾害样本库中的训练样本库，把其中剩下 的1/6部分传输到洪涝灾害样本库中预设的测试样本库中；由上述三 部分构成了洪涝灾害样本库；
上述技术方案的有益效果为：通过历史数据单元、数据搜索单元、 采集数据单元这三种途径，获取洪涝灾情图像，建立样本库，提升了 样本库的样本数量，也为图像分析识别提升了准确率。
在一个实施例中，所述深度学习模型搭建模块包括：
TF框架单元：通过预设的机器学习系统的Tensorflow框架，提供 构建训练模型的基础；
Yolo检测单元：如图7所示，单次运算的神经网络层，通过处理 接收到的图片，运用Yolo算法对目标进行预测；
模型优化单元；通过对预设的不同场景的影像效果进行分析，再 对洪涝灾害中拍摄的影像图进行识别效果验证。
上述技术方案的工作原理为：通过预设好的Tensorflow框架构建 训练模型基础，采用运算一次的神经网络层，通过处理接收到的图片， 运用Yolo算法对目标进行预测，再通过对不同场景的影像效果进行 分析，对无人机采集拍摄的洪涝灾害影像图像进行识别的效果进行验 证；
上述技术方案的有益效果为：通过Tensorflow框架增加了运算的 稳定性，采用Yolo算法和模型优化单元对采集到的灾情图会出现的 几种情况作了判断，提高了图片识别分析的效率。
在一个实施例中，所述数据分析筛选单元进行几何校正和洪水影 像占整体图像的比重包括如下步骤：
对通过无人机获得的洪涝图像，判断是否存在几何畸变；其中，
当不存在几何畸变时，图像传输至洪涝灾害样本库中；
当存在几何畸变时，利用图像的内方向元素对图像进行预设的纠 正操作；
所述筛选图像内洪水影像占整体图像的比重，通过分析将图像中 划分为灾情元素；其中，
所述灾情元素至少包括：被淹房屋、被淹植被、洪水；所述洪水 在图像内占比为洪水占图面积与洪水、被淹房屋和被淹植被的占图总 面积之比。
上述技术方案的工作原理为：在无人机采集拍摄到洪涝灾情图像 后，对此图像进行判断，判断是否存在几何畸变，如果采集图像存在 几何畸变的情况，那么利用图像的内方向元素对图像进行预设的纠正 操作，如果没有出现几何畸变，那么将采集到的图像正常传输到样本 库中；无人机采集拍摄到的洪涝灾情图像，判断洪水部分在图像内占 的比重，通过分析将图像中划分为三种元素：被淹房屋、被淹植被、 洪水；其中洪水在图像内占比为洪水占图面积与洪水、被淹房屋和被 淹植被的占图总面积之比
上述技术方案的有益效果为：通过对无人机采集的洪涝灾情图像 进行几何畸变判断，并对有几何畸变发生的图像做以预设的纠正操作， 保证了灾情图像的准确性。
在一个实施例中，所述标注单元通过Labellmg软件进行训练样本 的数据标注包括：
通过Labellmg中的Creat RectBox，来给接收到的图像进行标记， 设置标记种类为房屋和植被两类，采用绿色线框对房屋进行标记，采 用红色线框对植被进行标记；其中：
当一张图像只有一个目标时，进行正常标记，如图11所示；
当一张图像有多个目标时，进行预设的重复标记。上述技术方案 的工作原理为：在对洪涝灾害图像图形进行处理的时候，需要使用 Labellmg软件对洪涝灾情图像进行数据标注，如果图像上只有一个目 标时，对图像进行正常标记，识别图像中的房屋和植被，通过将图像 元素分成这两类，让识别处理操作进行识别，绿色的线框对房屋进行 标记，红色线框对植被进行标记；如果一张图像上目标过多时，则进 行预设的重复标记，以达到标记目的；
上述技术方案的有益效果为：通过图像的分类标记，使得洪涝灾 害情况更加容易判断，为灾情分析提高了效率。
在一个实施例中，所述Tensorflow框架还包括如下调整步骤：
通过构建数据流图得到预设计算的内部循环数值；
将所述内部循环数值对跨平台样本训练进行分类管理，通过管理 得到反馈结果；
对所述反馈结果进行潜能计算，得到潜能参数，根据潜能参数调 整Tensorflow框架。
上述技术方案的工作原理为：Tensorflow框架有着非严格神经网 络库的特性，以此构建数据流图，数据流图用来表示计算的内不循环， 包括了跨平台进行样本训练的管理，如图K所示，通过预设的工作站 潜能计算，把Tensorflow框架性能的最佳发挥状态计算出来，并对其 采用；
上述技术方案的有益效果为：Tensorflow框架保证数据的准确性 和计算的稳定性。
在一个实施例中，所述将所述训练样本库的样本数据通过Yolo 算法进行训练，如图5所示，包括如下步骤
步骤S1：通过设置Yolo算法的设备将接收到的图像进行压缩处 理，压缩到预设的N*N大小格式，得到压缩图像；
步骤S2:通过Yolo算法中预设的特征提取网络结构，对压缩图 像进行特征获取操作，将压缩图像分割成K*K的方格；
步骤S3：通过Yolo算法预设的目标标记操作，标记到压缩图像 的中心方格，来预测目标物；
步骤S4：输出预测后的模型；
上述技术方案的工作原理为：在采用Yolo算法时，先将无人机 采集到的洪涝灾情图像进行压缩处理，将其压缩到N*N大小格式，再 通过算法中的预设结构对其进行特征提取网络结构布置，对压缩图像 进行特征获取操作，将压缩图像分割成K*K的方格，再将图像中的目 标进行标记操作，标记到压缩图像的中心方格来预测目标物，最后输 出预测后的模型；在实际实施的时候K是大于等于13，表示正整数； N实际实施时N优选416，为正整数。
上述技术方案的有益效果为：通过Yolo算法对洪涝灾情图像的 处理，提升了灾情分析的效率，提高了灾情分析准确性。
在一个实施例中：
所述无人机飞行平台还包括：
场景划分单元：用于根据所述洪涝影像图像，进行场景识别，并 进行多模式无人机控制；其中，
所述多模式无人机控制包括：远景无人机控制、阴暗影像无人机 控制和遮挡影像无人机控制；
所述远景无人机控制包括：
计算接收到的图像中各元素的占比，根据识别元素密集度，判断 是否在预设的空中高度范围内，根据实际情况，调整无人机到预设高 度范围内；
如图14所示，所述阴暗影像无人机控制包括：
识别图像中阴影部分占比，判断图像中阴影光线强度，当不满足 预设的光线强度范围时，对无人机进行预设的角度调整操作；
如图15和图16所示，所述遮挡影像无人机控制包括：
根据预设的遮挡物算法，计算遮挡面积，当遮挡面积大于预设面 积时，对无人机进行拍摄位置调整操作。
上述技术方案的工作原理为：现有技术中，图11中被告示牌遮 挡住一部分的两颗树木没能成功识别，说明本模型在识别物的特征不 完整的情况下，识别还是比较困难的。图12中有一颗被房屋所包围 的植物没有识别成功。图13中没能识别到图片背景上的建筑。图14 中也有少量目标物无法进行识别。在图15、图16两张近距离进行目 标识别时不会因为光线阴暗导致检测失误.通过对不同场景下采集到 的洪涝灾情图像进行分析，包括：高空远景影像识别效果、光线阴暗 影像识别效果、有遮挡物影像识别效果；在进行高空远景影像识别效 果判断时，计算接收到的图像中各元素的占比，根据识别元素密集度， 判断是否在预设的空中高度范围内，如果不满足范围条件，则根据实 际情况调整无人机到预设高度范围内；在进行光线阴暗影像识别效果 时，识别图像中阴影部分占比，判断图像中阴影光线强度，当不满足 预设的光线强度范围时，对无人机进行预设的角度调整操作；在进行有遮挡物影像识别效果：根据预设的遮挡物算法，计算遮挡面积，当 遮挡面积大于预设面积时，对无人机进行预设的调整操作；
上述技术方案的有益效果为：多场景的识别效果检测保障了无人 机采集洪涝灾情图像的准确性，同时提高了采集效率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不 脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于 本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些 改动和变型在内。
Claims (9)
1.一种洪涝灾害无人机影像信息提取系统，其特征在于，包括：.
无人机飞行平台：用于调控无人机采集洪涝影像图像，并将所述洪涝影像图像划分为训练集和测试集；
样本库构建模块：用于通过互联网和搜索引擎获取洪涝灾害影像，并将所述洪涝灾害影像和所述训练集整合构建为训练样本库；
深度学习模型搭建模块：在Tensorflow框架下，将所述训练样本库的样本数据通过Yolo算法进行训练，生成深度学习模型，并通过测试集合进行验证，获取验证后的深度学习模型；
洪涝灾害提取模块：将所述洪涝影像图像导入深度学习模型，获取灾情信息。
2.如权利要求1所述的一种洪涝灾害无人机影像信息提取系统，其特征在于，所述无人机飞行平台，包括：
遥感影像采集单元：在无人机通过预设路线进行影像采集时，基于预设的高度进行拍照，并获取灾情影像图像；
数据分析筛选单元：对所述影像图像进行几何校正，对几何校正过的图像进行筛选，得到筛选图像，根据所述筛选图像内洪水影像占整体图像的比重，将几何校正过的图像中的预设数量作为测试数据，剩下的图像作为训练样本。
3.如权利要求1所述的一种洪涝灾害无人机影像信息提取系统，其特征在于，所述样本库构建模块包括：
历史数据单元：用于采集已有的洪涝灾害图像，传输到洪涝灾害样本库中预设的训练样本库；
影像数据搜索单元：根据预设的图像搜索引擎，搜寻达到预设相似度的洪涝航空图像，并传输到洪涝灾害样本库中的训练样本库；
新采集数据单元：通过无人机采集到的灾情图像，根据预设的筛选条件，将第一预设比例的灾情图像传输到洪涝灾害样本库中的训练样本库，将第二预设比例的灾情图像传输到洪涝灾害样本库中预设的测试样本库；其中，
所述第一预设比例大于所述第二预设比例；
标注单元：对训练样本的目标类型进行标注。
4.如权利要求1所述的一种洪涝灾害无人机影像信息提取系统，其特征在于，所述深度学习模型搭建模块包括：
TF框架单元：通过预设的机器学习系统的Tensorflow框架，提供构建训练模型的基础；
Yolo检测单元：单次运算的神经网络层，通过处理接收到的图片，运用Yolo算法对目标进行预测；
模型优化单元；通过对预设的不同场景的影像效果进行分析，再对洪涝灾害中拍摄的影像图进行识别效果验证。
5.如权利要求2所述的一种洪涝灾害无人机影像信息提取系统，其特征在于，所述数据分析筛选单元进行几何校正和洪水影像占整体图像的比重包括如下步骤：
对通过无人机获得的洪涝图像，判断是否存在几何畸变；其中，
当不存在几何畸变时，图像传输至洪涝灾害样本库中；
当存在几何畸变时，利用图像的内方向元素对图像进行预设的纠正操作；
所述筛选图像内洪水影像占整体图像的比重，通过分析将图像中划分为灾情元素；其中，
所述灾情元素至少包括：被淹房屋、被淹植被、洪水；所述洪水在图像内占比为洪水占图面积与洪水、被淹房屋和被淹植被的占图总面积之比。
6.如权利要求3所述的一种洪涝灾害无人机影像信息提取系统，其特征在于，所述标注单元通过Labellmg软件进行训练样本的数据标注包括：
通过Labellmg中的Creat RectBox，来给接收到的图像进行标记，设置标记种类为房屋和植被两类，采用绿色线框对房屋进行标记，采用红色线框对植被进行标记；其中：
当一张图像只有一个目标时，进行正常标记；
当一张图像有多个目标时，进行预设的重复标记。
7.如权利要求4所述的一种洪涝灾害无人机影像信息提取系统，其特征在于，所述Tensorflow框架还包括如下调整步骤：
通过构建数据流图得到预设计算的内部循环数值；
将所述内部循环数值对跨平台样本训练进行分类管理，通过管理得到反馈结果；
对所述反馈结果进行潜能计算，得到潜能参数，根据潜能参数调整Tensorflow框架。
8.如权利要求1所述的一种洪涝灾害无人机影像信息提取系统，其特征在于，所述将所述训练样本库的样本数据通过Yolo算法进行训练，包括如下步骤：
步骤S1：通过设置Yolo算法的设备将接收到的图像进行压缩处理，压缩到预设的N*N大小格式，得到压缩图像；
步骤S2:通过Yolo算法中预设的特征提取网络结构，对压缩图像进行特征获取操作，将压缩图像分割成K*K的方格；
步骤S3：通过Yolo算法预设的目标标记操作，标记到压缩图像的中心方格，来预测目标物；
步骤S4：输出预测后的模型。
9.如权利要求4所述的一种洪涝灾害无人机影像信息提取系统，其特征在于，所述无人机飞行平台还包括：
场景划分单元：用于根据所述洪涝影像图像，进行场景识别，并进行多模式无人机控制；其中，
所述多模式无人机控制包括：远景无人机控制、阴暗影像无人机控制和遮挡影像无人机控制；
所述远景无人机控制包括：
计算接收到的图像中各元素的占比，根据识别元素密集度，判断是否在预设的空中高度范围内，根据实际情况，调整无人机到预设高度范围内；
所述阴暗影像无人机控制包括：
识别图像中阴影部分占比，判断图像中阴影光线强度，当不满足预设的光线强度范围时，对无人机进行预设的角度调整操作；
所述遮挡影像无人机控制包括：
根据预设的遮挡物算法，计算遮挡面积，当遮挡面积大于预设面积时，对无人机进行拍摄位置调整操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110913259.5A CN113610009A (zh) | 2021-08-10 | 2021-08-10 | 一种洪涝灾害无人机影像信息提取系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110913259.5A CN113610009A (zh) | 2021-08-10 | 2021-08-10 | 一种洪涝灾害无人机影像信息提取系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113610009A true CN113610009A (zh) | 2021-11-05 |
Family
ID=78307898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110913259.5A Pending CN113610009A (zh) | 2021-08-10 | 2021-08-10 | 一种洪涝灾害无人机影像信息提取系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113610009A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882674A (zh) * | 2022-04-26 | 2022-08-09 | 中国公路工程咨询集团有限公司 | 公路地质灾害智能监测方法 |
| CN117152561A (zh) * | 2023-09-08 | 2023-12-01 | 中国水利水电科学研究院 | 一种洪涝灾害重置成本遥感样本集构建及更新方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106844747A (zh) * | 2017-02-16 | 2017-06-13 | 国网上海市电力公司 | 基于种子图片识别的输电线路设备关联图片爬取方法 |
| CN110766214A (zh) * | 2019-10-17 | 2020-02-07 | 中南林业科技大学 | 一种基于边缘计算和大数据的实时防洪监测系统 |
| CN111008941A (zh) * | 2019-11-29 | 2020-04-14 | 中国农业科学院农业资源与农业区划研究所 | 基于高分卫星遥感影像农业洪涝灾害范围监测系统及方法 |
| CN111460965A (zh) * | 2020-03-27 | 2020-07-28 | 珠海欧比特宇航科技股份有限公司 | 一种基于无人机影像的涝渍区智能分析系统及其方法 |
| CN112801148A (zh) * | 2021-01-14 | 2021-05-14 | 西安电子科技大学 | 基于深度学习的火情识别定位系统及方法 |
| CN112906463A (zh) * | 2021-01-15 | 2021-06-04 | 上海东普信息科技有限公司 | 基于图像的火情检测方法、装置、设备及存储介质 |
-
2021
- 2021-08-10 CN CN202110913259.5A patent/CN113610009A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106844747A (zh) * | 2017-02-16 | 2017-06-13 | 国网上海市电力公司 | 基于种子图片识别的输电线路设备关联图片爬取方法 |
| CN110766214A (zh) * | 2019-10-17 | 2020-02-07 | 中南林业科技大学 | 一种基于边缘计算和大数据的实时防洪监测系统 |
| CN111008941A (zh) * | 2019-11-29 | 2020-04-14 | 中国农业科学院农业资源与农业区划研究所 | 基于高分卫星遥感影像农业洪涝灾害范围监测系统及方法 |
| CN111460965A (zh) * | 2020-03-27 | 2020-07-28 | 珠海欧比特宇航科技股份有限公司 | 一种基于无人机影像的涝渍区智能分析系统及其方法 |
| CN112801148A (zh) * | 2021-01-14 | 2021-05-14 | 西安电子科技大学 | 基于深度学习的火情识别定位系统及方法 |
| CN112906463A (zh) * | 2021-01-15 | 2021-06-04 | 上海东普信息科技有限公司 | 基于图像的火情检测方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 郑树泉等: "《工业智能技术与应用》", 31 January 2019, pages: 175 - 176 * |
| 陈慧岩: "《智能车辆理论与应用》", 31 July 2018, pages: 74 - 75 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882674A (zh) * | 2022-04-26 | 2022-08-09 | 中国公路工程咨询集团有限公司 | 公路地质灾害智能监测方法 |
| CN117152561A (zh) * | 2023-09-08 | 2023-12-01 | 中国水利水电科学研究院 | 一种洪涝灾害重置成本遥感样本集构建及更新方法 |
| CN117152561B (zh) * | 2023-09-08 | 2024-03-19 | 中国水利水电科学研究院 | 一种洪涝灾害重置成本遥感样本集构建及更新方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108037770B (zh) | 基于人工智能的无人机输电线路巡检系统和方法 | |
| CN111754498B (zh) | 一种基于YOLOv3的传送带托辊检测方法 | |
| CN110826514A (zh) | 一种基于深度学习的施工现场违章智能识别方法 | |
| CN110084165B (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
| CN111582234B (zh) | 基于uav和深度学习的大范围油茶林果智能检测与计数方法 | |
| CN113610009A (zh) | 一种洪涝灾害无人机影像信息提取系统 | |
| CN112801230B (zh) | 一种配电线路无人机智能验收方法 | |
| WO2021139049A1 (zh) | 检测方法、检测装置、监控设备和计算机可读存储介质 | |
| CN111832398B (zh) | 一种无人机影像的配电线路杆塔导地线断股图像检测方法 | |
| CN112229845A (zh) | 基于视觉导航技术的无人机高精度饶塔智能巡检方法 | |
| CN112966665A (zh) | 路面病害检测模型训练方法、装置和计算机设备 | |
| CN112766417A (zh) | 一种利用现场照片识别目标地块土地利用现状地类的方法及系统 | |
| CN113743227A (zh) | 基于切近摄影的岩体裂隙智能识别方法及系统 | |
| CN115527130A (zh) | 草原害鼠鼠密度调查方法及智能评估系统 | |
| CN115642877A (zh) | 一种基于深度学习的光伏组件异常遮挡检测方法及系统 | |
| CN113744226A (zh) | 一种农业害虫智能识别与定位方法及系统 | |
| CN115880260A (zh) | 基站施工的检测方法、装置、设备及计算机可读存储介质 | |
| CN114882410A (zh) | 基于改进定位损失函数的隧道顶灯故障检测方法及系统 | |
| CN112802027A (zh) | 一种目标对象的分析方法、存储介质及电子装置 | |
| CN111027436A (zh) | 一种基于深度学习的东北黑木耳病虫害图像识别系统 | |
| CN113033386B (zh) | 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统 | |
| CN110929711B (zh) | 运用于固定场景关于身份信息和形体信息自动关联的方法 | |
| CN109902607B (zh) | 一种基于倾斜相机的城市自动优化建模系统 | |
| CN115331124A (zh) | 一种基于无人机遥感的入侵植物生物量估算方法 | |
| CN110163081A (zh) | 基于ssd的实时区域入侵检测方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211105 |
|
| RJ01 | Rejection of invention patent application after publication |