CN110443862B - 基于无人机的岩性填图方法及系统、电子设备 - Google Patents
基于无人机的岩性填图方法及系统、电子设备 Download PDFInfo
- Publication number
- CN110443862B CN110443862B CN201910571051.2A CN201910571051A CN110443862B CN 110443862 B CN110443862 B CN 110443862B CN 201910571051 A CN201910571051 A CN 201910571051A CN 110443862 B CN110443862 B CN 110443862B
- Authority
- CN
- China
- Prior art keywords
- image
- area
- images
- filled
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000011218 segmentation Effects 0.000 claims abstract description 122
- 238000005520 cutting process Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 91
- 238000005070 sampling Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 description 34
- 230000006870 function Effects 0.000 description 32
- 230000004913 activation Effects 0.000 description 24
- 230000008569 process Effects 0.000 description 22
- 238000013507 mapping Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 239000011435 rock Substances 0.000 description 5
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 102000003951 Erythropoietin Human genes 0.000 description 2
- 108090000394 Erythropoietin Proteins 0.000 description 2
- 101100108191 Vibrio parahaemolyticus serotype O3:K6 (strain RIMD 2210633) add gene Proteins 0.000 description 2
- 101150060298 add2 gene Proteins 0.000 description 2
- 229940105423 erythropoietin Drugs 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- OXCMYAYHXIHQOA-UHFFFAOYSA-N potassium;[2-butyl-5-chloro-3-[[4-[2-(1,2,4-triaza-3-azanidacyclopenta-1,4-dien-5-yl)phenyl]phenyl]methyl]imidazol-4-yl]methanol Chemical compound [K+].CCCCC1=NC(Cl)=C(CO)N1CC1=CC=C(C=2C(=CC=CC=2)C2=N[N-]N=N2)C=C1 OXCMYAYHXIHQOA-UHFFFAOYSA-N 0.000 description 2
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical group [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于无人机的岩性填图方法及系统、电子设备。该方法的一具体实施方式包括:利用无人机采集待填图区域的各位置遥感图像;对所述待填图区域的各位置遥感图像进行镶嵌,生成待填图区域的整体图像;将所述待填图区域的整体图像切割为包含预设像素点数的子图像,并将各子图像分别输入语义分割网络模型,根据所述语义分割网络模型输出的各子图像中各像素的岩性类别获取各子图像对应的岩性分割图;对各子图像对应的岩性分割图进行拼接,得到待填图区域的岩性分割图。该实施方式无需人工野外实地勘探,而是利用无人机采集的遥感图像来精确高效地实现岩性填图,适用于大比例尺地质填图工程。
Description
技术领域
本发明涉及地质勘探领域。更具体地,涉及一种基于无人机的岩性填图方法及系统、电子设备。
背景技术
现阶段,各地区需要开展大比例尺地质填图工作,地质填图工作中一项重要任务是识别岩性及找出岩性的分界线,并在底图上按一定比例尺勾绘出来,得到岩性分割图。
目前,绘制岩性分割图的方式为:根据已有地质资料(例如地质图),结合野外实地勘探,人工识别岩性及找出岩性的分界线后人工绘制岩性分割图。这样的方式效率低、准确性低且需要耗费大量的人力物力,特别是对于偏远山区、高原地区的野外实地勘探还存在着很大的危险性。
因此,需要提供一种基于无人机的岩性填图方法及系统、电子设备。
发明内容
本发明的目的在于提供一种基于无人机的岩性填图方法及系统、电子设备,以解决现有技术存在的问题中的至少一个。
为达到上述目的,本发明采用下述技术方案:
本发明第一方面提供了一种基于无人机的岩性填图方法,包括:
利用无人机采集待填图区域的各位置遥感图像;
对所述待填图区域的各位置遥感图像进行镶嵌,生成待填图区域的整体图像;
将所述待填图区域的整体图像切割为包含预设像素点数的子图像,并将各子图像分别输入语义分割网络模型,根据所述语义分割网络模型输出的各子图像中各像素的岩性类别获取各子图像对应的岩性分割图;
对各子图像对应的岩性分割图进行拼接,得到待填图区域的岩性分割图。
可选地,所述语义分割网络模型为全卷积神经网络模型。
可选地,所述对所述待填图区域的各位置遥感图像进行镶嵌进一步包括:
根据所述待填图区域的各位置遥感图像对应的POS数据中的坐标信息、高程信息及图像相似度信息,对所述待填图区域的各位置遥感图像进行畸变校正及排列对齐;
建立所述待填图区域的各位置遥感图像的密集点云;
根据所述密集点云生成所述待填图区域的各位置遥感图像的格网及纹理;
根据所述待填图区域的各位置遥感图像对应的高程信息对所述待填图区域的各位置遥感图像进行正射校正;
对经正射校正后的所述待填图区域的各位置遥感图像进行图像镶嵌。
可选地,所述将所述待填图区域的整体图像切割为包含预设像素点数的子图像进一步包括:按预设像素点数将所述待填图区域的整体图像切割为子图像,并对所述整体图像边缘不符合包含预设像素点数的子图像进行零值扩充以使其包含的像素点数为预设像素点数的整倍数。
可选地,在所述将各子图像分别输入语义分割网络模型之前,该方法还包括:
获取无人机采集的至少一个样本区域的各位置遥感图像;
对所述样本区域各位置的遥感图像进行图像镶嵌,生成样本区域的整体图像;
将所述样本区域的整体图像初分割为样本区域的岩性初分割图,并在样本区域的岩性初分割图中为每一岩性区域添加岩性类别标签;
利用对应预设像素点数的第一随机窗口在所述样本区域的岩性初分割图中的每一岩性区域中分别获取多个第一窗口图像,将与多个第一窗口图像分别对应的所述样本区域的整体图像中的第二窗口图像作为训练数据,得到多个对应有岩性类别标签的训练数据;
利用对应有岩性类别标签的训练数据训练语义分割网络,得到语义分割网络模型。
可选地,在所述利用对应有岩性类别标签的训练数据训练语义分割网络之前,该方法还包括:对随机选取的所述训练数据进行图像增强。
可选地,所述对随机选取的所述训练数据进行图像增强进一步包括:对随机选取的所述训练数据,利用从伽玛变换、旋转变换、模糊变换、增加白噪声中随机选取的至少一种方式进行图像增强。
可选地,所述利用对应预设像素点数的第一随机窗口在所述样本区域的岩性初分割图中的每一岩性区域中分别获取多个第一窗口图像,将与多个第一窗口图像分别对应的所述样本区域的整体图像中的第二窗口图像作为训练数据,得到多个对应有岩性类别标签的训练数据进一步包括:
步骤a、利用大于第一随机窗口的对应于岩性区域的第二随机窗口在所述样本区域的岩性初分割图中的每个岩性区域中随机选定采样区域,利用对应预设像素点数的第一随机窗口在每个岩性区域中的采样区域中分别获取一个第一窗口图像;
步骤b、对从每个岩性区域对应的第一窗口图像中随机选取的第一窗口图像对应的第二窗口图像进行图像增强;
步骤c、将与第一窗口图像对应的所述样本区域的整体图像中的第二窗口图像作为训练数据,得到对应有岩性类别标签的训练数据;
步骤d、迭代执行步骤a-步骤c,直至得到的对应有岩性类别标签的训练数据量符合预设值。
本发明第二方面提供了一种电子设备,被配置为:获取无人机采集的待填图区域的各位置遥感图像;对所述待填图区域的各位置遥感图像进行镶嵌,生成待填图区域的整体图像;将所述待填图区域的整体图像切割为包含预设像素点数的子图像,并将各子图像分别输入语义分割网络模型,根据所述语义分割网络模型输出的各子图像中各像素的岩性类别获取各子图像对应的岩性分割图;对各子图像对应的岩性分割图进行拼接,得到待填图区域的岩性分割图。
本发明第三方面提供了一种基于无人机的岩性填图系统,包括用于采集待填图区域的各位置遥感图像的无人机和本发明第二方面提供的电子设备。
本发明的有益效果如下:
本发明所述技术方案无需人工野外实地勘探,而是利用无人机采集的遥感图像来精确高效地实现岩性填图,其中,本发明所述技术方案通过语义分割网络模型可实现岩性的高准确率预测。本发明所述技术方案适用于大比例尺地质填图工程。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明;
图1示出本发明实施例提供的基于无人机的岩性填图方法的流程图。
图2示出样本区域的整体图像示例。
图3示出样本区域的岩性初分割图示例。
图4示出基于FCN网络模型得到的待填图区域的岩性分割图示例。
图5示出基于SegNet网络模型得到的待填图区域的岩性分割图示例。
图6示出基于Unet网络模型得到的待填图区域的岩性分割图示例。
图7示出本发明实施例提供的电子设备的结构示意图。
具体实施方式
为了更清楚地说明本发明,下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解,下面所具体描述的内容是说明性的而非限制性的,不应以此限制本发明的保护范围。
如图1所示,本发明的一个实施例提供了一种基于无人机的岩性填图方法,包括:
利用无人机采集待填图区域的各位置遥感图像;
对所述待填图区域的各位置遥感图像进行镶嵌,生成待填图区域的整体图像;
将所述待填图区域的整体图像切割为包含预设像素点数的子图像,并将各子图像分别输入语义分割网络模型,根据所述语义分割网络模型输出的各子图像中各像素的岩性类别获取各子图像对应的岩性分割图;
对各子图像对应的岩性分割图进行拼接,得到待填图区域的岩性分割图。
本实施例提供的基于无人机的岩性填图方法无需人工野外实地勘探,而是利用无人机采集的遥感图像来精确高效地实现岩性填图,其中,可通过语义分割网络模型实现岩性的高准确率预测。适用于大比例尺地质填图工程。
在本实施例的一些可选的实现方式中,所述语义分割网络模型为全卷积神经网络模型。此实现方式可保证岩性预测的高准确率。
在本实施例的一些可选的实现方式中,所述对所述待填图区域的各位置遥感图像进行镶嵌进一步包括:
根据所述待填图区域的各位置遥感图像对应的POS数据中的坐标信息、高程信息及图像相似度信息,对所述待填图区域的各位置遥感图像进行畸变校正及排列对齐;
建立所述待填图区域的各位置遥感图像的密集点云;
根据所述密集点云生成所述待填图区域的各位置遥感图像的格网及纹理;
根据所述待填图区域的各位置遥感图像对应的高程信息对所述待填图区域的各位置遥感图像进行正射校正;
对经正射校正后的所述待填图区域的各位置遥感图像进行图像镶嵌。
其中,坐标信息和高程信息可从待填图区域的各位置遥感图像对应的POS数据中提取,图像相似度信息可利用现有的多种图像处理算法计算得到。
在本实施例的一些可选的实现方式中,所述将所述待填图区域的整体图像切割为包含预设像素点数的子图像进一步包括:按预设像素点数将所述待填图区域的整体图像切割为子图像,并对所述整体图像边缘不符合包含预设像素点数的子图像进行零值扩充以使其包含的像素点数为预设像素点数的整倍数。
此实现方式可保证输入语义分割网络模型的子图像符合包含预设像素点数的条件或符合为包含预设像素点数的整倍数的条件,以保证语义分割网络模型的预测精度。
在本实施例的一些可选的实现方式中,在所述将各子图像分别输入语义分割网络模型之前,该方法还包括:
获取无人机采集的至少一个样本区域的各位置遥感图像;
对所述样本区域各位置的遥感图像进行图像镶嵌,生成样本区域的整体图像;
将所述样本区域的整体图像初分割为样本区域的岩性初分割图,并在样本区域的岩性初分割图中为每一岩性区域添加岩性类别标签;
利用对应预设像素点数的第一随机窗口在所述样本区域的岩性初分割图中的每一岩性区域中分别获取多个第一窗口图像,将与多个第一窗口图像分别对应的所述样本区域的整体图像中的第二窗口图像作为训练数据,得到多个对应有岩性类别标签的训练数据;
利用对应有岩性类别标签的训练数据训练语义分割网络,得到语义分割网络模型。
采用此实现方式训练的语义分割网络模型具有较高的泛化能力及良好的预测精度。
在本实施例的一些可选的实现方式中,在所述利用对应有岩性类别标签的训练数据训练语义分割网络之前,该方法还包括:对随机选取的所述训练数据进行图像增强。
采用此可选方式可在训练数据较少的情况下,增加训练数据量及训练数据的多样性,进一步提升语义分割网络模型的预测精度,进一步提高语义分割网络模型的泛化能力。
在本实施例的一些可选的实现方式中,所述对随机选取的所述训练数据进行图像增强进一步包括:对随机选取的所述训练数据,利用从伽玛变换、旋转变换、模糊变换、增加白噪声中随机选取的至少一种方式进行图像增强。
经过利用此可选方式进行采用随机手段的图像增强变换后可以进一步增加训练数据量及训练数据的多样性,更进一步提升语义分割网络模型的预测精度,更进一步提高语义分割网络模型的泛化能力。
在本实施例的一些可选的实现方式中,所述利用对应预设像素点数的第一随机窗口在所述样本区域的岩性初分割图中的每一岩性区域中分别获取多个第一窗口图像,将与多个第一窗口图像分别对应的所述样本区域的整体图像中的第二窗口图像作为训练数据,得到多个对应有岩性类别标签的训练数据进一步包括:
步骤a、利用大于第一随机窗口的对应于岩性区域的第二随机窗口在所述样本区域的岩性初分割图中的每个岩性区域中随机选定采样区域,利用对应预设像素点数的第一随机窗口在每个岩性区域中的采样区域中分别获取一个第一窗口图像;
步骤b、对从每个岩性区域对应的第一窗口图像中随机选取的第一窗口图像对应的第二窗口图像进行图像增强;
步骤c、将与第一窗口图像对应的所述样本区域的整体图像中的第二窗口图像作为训练数据,得到对应有岩性类别标签的训练数据;
步骤d、迭代执行步骤a-步骤c,直至得到的对应有岩性类别标签的训练数据量符合预设值。
此实现方式可在保证训练数据量及训练数据的多样性的情况下,精确高效地生成能够输入语义分割网络进行训练的对应有岩性类别标签的训练数据。
下面通过一个示例对本实施例提供的基于无人机的岩性填图方法作进一步说明。
本示例中,基于无人机的岩性填图方法分为两个阶段,分别为网络模型建立阶段和岩性预测阶段,岩性预测阶段也可称为岩性填图阶段。网络模型建立阶段的主要流程是先基于无人机采集的样本区域的各位置遥感图像,获取对应有岩性类别标签的训练数据,再根据对应有岩性类别标签的训练数据训练语义分割网络,得到语义分割网络模型。岩性预测阶段的主要流程是将基于无人机采集的待填图区域的各位置遥感图像进行处理后输入语义分割网络模型进行像素的岩性类别预测,以得到待填图区域的岩性分割图。
网络模型建立阶段和岩性预测阶段中,执行遥感图像采集所应用的无人机的参数及无人机采集遥感图像的过程说明如下:
本示例所使用无人机为轻质固定翼无人机——信仰者航测型无人机,无人机材质为新型材料EPO+碳纤维复合材料,使用电池为锂聚合物能源电池,拥有350W.h/kg的超强放电能力,详细参数见表1。无人机搭载的相机型号为SONY A7R M2,该相机全画幅像素为4230万像素。通过运动模糊的计算,20m/s的飞行速度拍摄设置为:S档快门优先,快门速度1/1250s,ISO根据光照情况在300-640之间合理选择,以上设置可以避免因飞机飞行导致运动模糊超过1个像元而产生影像发虚的现象。
表1无人机参数表
无人机遥感工作原理是指通过无线电遥控设备或机载计算机远程控制飞行系统进行作业,使用小型数字相机作为机载遥感设备。航测无人机野外作业时,除需要无人机及摄像机外,还需要与以下几个系统协同工作:飞行平台系统、飞控系统和地面监控系统。
其中,飞行平台系统包括飞行导航与控制系统、机载遥感设备、数据传输系统、发射与回收系统、野外保障装备、附设设备等。
飞控系统(无人机自驾仪)用于无人机的导航、定位和自主飞行控制,包括飞控板、惯性导航系统、GPS接收机、气压传感器、空速传感器等部件。
地面监控系统包括无线电遥控器、监控计算机系统和地面供电系统。
无人机航测野外作业步骤如下:第一步、明确野外作业要求,比如数据用途及精度要求等;第二步、收集研究区相关资料,比如海拔高程及地质资料等;第三步、进行区域平高控制网布测,用于后续像控点采集;第四步、空域协调,即向相关部报备飞行路线及区域;第五步、现场作业,主要为航线规范、软硬件系统检查和粗略现场勘探;第六步、进行无人机航测作业,获取航空遥感数据;第七步、对获取数据进行质量检验,最终得到符合要求的高分辨率遥感图像。
无人机遥感技术可突破了地形、气候等不利条件限制,能够实时快速地获取偏远山区、高原地区等区域的高空间分辨率影像数据。
网络模型建立阶段和岩性预测阶段中,执行对应有岩性类别标签的训练数据获取、语义分割网络训练及待填图区域的岩性分割图生成等流程的软硬件环境说明如下:
硬件环境:主要在DELL Precision T7910工作站上开展,工作站配置的内存为48GB,固态硬盘大小256GB,使用的主板型号为Intel C610/X99,配置的CPU为双路IntelXeon E5-2609V4,具有八核十六进程的处理能力。工作站同时还搭载了Nvidia GeoforceGTX1080显卡,显存大小为8G。实验中具体硬件环境配置见表2。
表2硬件环境配置表
软件环境:软件环境配置信息如表2所示,主要在Linux操作系统的桌面发行版Ubuntu 16.04上进行,操作系统为64位操作系统。流程中语义分割网络模型的训练主要使用编程语言为python,主要使用OpenCV/gdal/libtiff/PIL等库读取并处理图像,使用numpy/pandas库处理图像矩阵,使用matplotlib库实现数据及预测结果可视化,以及使用传统机器学习库scikit-learn对数据分类标签进行变化等。使用的深度学习库主要是keras,后端框架采用Tensorflow。
表3软件环境配置表
网络模型建立阶段的具体流程包括:A—无人机图像预处理、B—制作语义分割标签、C—窗口图像截取及图像增强处理、D—构建及训练语义分割网络。其中,
A—无人机图像预处理的具体流程包括:
由于无人机采集样本区域的各位置遥感图像(可称为无人机图像或者原始图像),存在图像与坐标信息分离、无人机飞行时抖动会导致图像发生畸变等问题,直接应用的效果不佳。因此本示例中对无人机图像进行预处理。本示例中,无人机图像预处理主要基于PhotoScan软件平台实现,PhotoScan可以通过启用GPU模式来加速无人机图像处理。基于PhotoScan进行无人机图像预处理的流程为:第一步、修改POS数据为PhotoScan软件可以读取模式,将POS数据与无人机图像一一对应,并将地理坐标参考设置为WGS84;第二步、从POS数据中提取坐标信息和高程信息并计算得到各无人机图像之间的图像相似度信息,根据坐标信息、高程信息及图像相似度信息,对无人机图像进行自动排列,完成图像对齐;第三步、进行空三加密解密,建立密集点云;第四步、根据密集点云数据生成无人机图像的格网及纹理;第五步、根据高程信息对无人机图像进行正射校正;第六步、对正射校正处理后的无人机图像进行图像镶嵌,完成无人机图像预处理工作,生成如图2所示的样本区域的整体图像。
B—制作语义分割标签的具体流程包括:
本示例中,主要使用ArcGIS或QGIS等GIS专用软件制作语义分割标签,主要流程如下:第一步、打开ArcGIS软件,加载无人机图像预处理后得到的样本区域的整体图像,并为整体图像新建唯一矢量图层;第二步、为新建矢量图层添加字段“类别”,用于存储每个拓扑图所属类别,值区间为0-255,每个整数值代表一个类别;第三步、结合已有地质资料或野外实地勘探结果为每个拓扑图赋予类别值,实现将样本区域的整体图像初分割为样本区域的岩性初分割图,并在样本区域的岩性初分割图中为每一岩性区域添加岩性类别标签(例如图3所示,共四种岩性类别标签,1代表超基性岩,2代表第四系,3代表粉砂岩,4代表冲洪积物,根据右侧的图例,岩性初分割图中右上侧的长条区域为粉砂岩区域,右下区域为第四系区域,左上侧的(四个区域中面积最小的)区域为冲洪积物区域,左下侧的区域为超基性岩区域);第四步、使用转换工具将矢量图层转化为栅格(彩色图形式),得到RGB形式的样本区域的岩性初分割图(也可称为标签图);第五步、将栅格转换导出为8位灰度图格式,得到灰度图格式的样本区域的岩性初分割图,如图2所示的样本区域的整体图像对应的岩性初分割图如图3所示。
C—窗口图像截取及图像增强处理的具体流程包括:
步骤a、利用大于第一随机窗口的对应于岩性区域的第二随机窗口在所述样本区域的岩性初分割图中的每个岩性区域中随机选定采样区域,利用对应预设像素点数的第一随机窗口在每个岩性区域中的采样区域中分别获取一个第一窗口图像;本示例中,第一随机窗口尺寸为256x256像素点,第二随机窗口尺寸的选取原则为尽量覆盖第二随机窗口对应的岩性区域;如图3所示的共有四种岩性类别标签的样本区域的岩性初分割图,例如,先针对一个岩性区域利用一个对应其大小的第二随机窗口随机选定采样区域,利用第一随机窗口在该采样区域中获取一个第一窗口图像;再针对另一个岩性区域利用一个对应该另一个岩性区域大小的另一个第二随机窗口随机选定另一个采样区域,利用第一随机窗口在该另一个采样区域中获取另一个第一窗口图像,以此类推;
步骤b、对从每个岩性区域对应的第一窗口图像中随机选取的第一窗口图像对应的第二窗口图像进行图像增强;本示例中,对从每个岩性区域对应的第一窗口图像中随机选取的第一窗口图像对应的第二窗口图像(即随机选取的第二窗口图像)进行图像增强进一步包括,对随机选取的第二窗口图像,利用从伽玛变换、旋转变换、模糊变换、增加白噪声中随机选取的至少一种方式进行图像增强;
步骤c、将与第一窗口图像对应的所述样本区域的整体图像中的第二窗口图像作为训练数据,得到对应有岩性类别标签的训练数据;本示例中,利用第一随机窗口获取第一窗口图像基于随机窗口裁剪法,获取一个第一窗口图像及其对应的的流程如下:第一步、使用libtiff或gdal库读取GeoTIFF格式的样本区域的岩性初分割图并保存为OpenCV库可读取的RGB格式,使用OpenCV库分别读取样本区域的岩性初分割图数据(包含岩性类别标签数据)和样本区域的整体图像数据;第二步、利用一个第二随机窗口在一个岩性区域中随机选定一个采样区域,定义一个尺寸为256×256像素点的第一随机窗口,随机窗口工作原理是使用随机数生成器生成两个不超过采样区域减去第一随机窗口尺寸的随机数,分别代表x轴及y轴位置,以生成坐标点(x,y),将生成坐标点作为第一随机窗口的起点,裁剪一个第一窗口图像,获取其岩性类别标签并获取其对应在样本区域的整体图像中的第二窗口图像;最后,将初分割后得到的第二窗口图像数据和第二窗口图像对应的岩性类别标签数据以相同文件名保存到不同文件夹中;
步骤d、迭代执行步骤a-步骤c,直至得到的对应有岩性类别标签的训练数据量符合预设值。如图3所示的共有四种岩性类别标签的样本区域的岩性初分割图,本示例中,执行一次步骤a-步骤c得到四个一一对应各岩性区域的尺寸为256×256像素点的对应有岩性类别标签的训练数据,且训练数据是经过随机选取后,利用从伽玛变换、旋转变换、模糊变换、增加白噪声中随机选取的至少一种方式进行过图像增强的。本示例中,对应有岩性类别标签的训练数据量的预设值为20000个,即,最终得到20000个尺寸为256×256像素点的对应有岩性类别标签的训练数据,如图3所示的共有四种岩性类别标签的样本区域的岩性初分割图,则本示例中每一个岩性区域对应有5000个尺寸为256×256像素点的对应有岩性类别标签的训练数据。
D—构建及训练语义分割网络,得到语义分割网络模型的具体流程包括:
首先,构建语义分割网络,下面中分别对语义分割网络中的全卷积神经网络、SegNet网络和Unet网络进行说明:
a、全卷积神经网络(Fully Convolutional Networks,FCN):
输入:训练数据(image,label),数值表示的岩性类别标签numClass,图像高宽(imgHeight,imgWidth),图像通道numChannel=3。
输出:预测概率输出output。
(a—1)输入层(input):输入图像大小imgHeight×imgWidth×3。
(a—2)conv1(卷积层1/2):输入input,卷积核数64,卷积核大小3×3,激活函数relu,padding模式same(卷积后不改变图像高宽),最大池化maxpooling(池化只在最后一层使用,下同),池化模板大小2×2,池化步长strides=(2,2),池化输出pool1。
(a—3)conv2(卷积层3/4):输入pool1,卷积核数128,卷积核大小3×3,激活函数relu,padding模式same,最大池化,池化模板大小2×2,池化步长strides=(2,2),池化输出pool2。
(a—4)conv3(卷积层5/6/7):输入pool2,卷积核数256,卷积核大小3×3,激活函数relu,padding模式same,最大池化,池化模板大小2×2,池化步长strides=(2,2),池化输出pool3。
(a—5)conv4(卷积层8/9/10):输入pool3,卷积核数512,卷积核大小3×3,激活函数relu,padding模式same,最大池化,池化模板大小2×2,池化步长strides=(2,2),池化输出pool4。
(a—6)conv5(卷积层11/12/13):输入pool4,卷积核数512,卷积核大小3×3,激活函数relu,padding模式same,最大池化,池化模板大小2×2,池化步长strides=(2,2),池化输出pool5。
(a—7)conv6(卷积层14/15):输入pool5,卷积核数1024,卷积核大小3×3,激活函数relu,padding模式same,Dropout(p=0.5)。
(a—8)conv7(卷积层16):输入:conv6,卷积核数numClass,卷积核大小1×1,卷积核初始化方式he_normal。
(a—9)deconv1(反卷积层17):输入conv7,卷积核数numClass,卷积核大小4×4,步长2×2。
(a—10)conv8(卷积层18):输入pool4,卷积核数numClass,卷积核大小1×1,卷积核初始化方式he_normal,输出pool4-1。
(a—11)add1:将deconv1输出裁剪为pool4-1大小,然后deconv1与pool4对应元素相加。
(a—12)deconv2(反卷积层19):输入add1,卷积核数numClass,卷积核大小4×4,步长2×2。
(a—13)conv9(卷积层20):输入pool3,卷积核数numClass,卷积核大小1×1,卷积核初始化方式he_normal,输出pool3-1。
(a—14)add2:将deconv2输出裁剪为pool4-1大小,然后deconv2与pool4-1对应元素相加。
(a—15)deconv3(反卷积层21):输入add2,卷积核数numClass,卷积核大小8×8,步长8×8。
(a—16)output(输出层):将deconv3重塑为numClass列后送入softmax判别器,输出output。
其中,a—2至a—8的操作为特征提取部分,a—9至a—15的操作为上采样部分,最后输出output值为像素属于各岩性类别的概率,概率最大的岩性类别即为像素的预测岩性类别。
b、SegNet网络:
输入:训练数据(image,label),数值表示的岩性类别标签numClass,图像高宽(imgHeight,imgWidth),图像通道numChannel=3。
输出:预测概率输出output。
(b—1)输入层(input):输入图像大小imgHeight×imgWidth×3。
(b—2)卷积层1/2:卷积核数(通道数)64,卷积核大小3×3,步长为1×1,padding模式为same(卷积后不改变图像高宽),规范化BatchNormalization,激活函数relu,最大池化maxpooling(池化只在最后一层使用,下同),池化模板大小2×2。
(b—3)卷积层3/4:卷积核数(通道数)128,卷积核大小3×3,步长为1×1,padding模式为same,规范化BatchNormalization,激活函数relu,最大池化,池化模板大小2×2。
(b—4)卷积层5/6/7:卷积核数(通道数)256,卷积核大小3×3,步长为1×1,padding模式为same,规范化BatchNormalization,激活函数relu,最大池化,池化模板大小2×2。
(b—5)卷积层8/9/10:卷积核数(通道数)512,卷积核大小3×3,步长为1×1,padding模式为same,规范化BatchNormalization,激活函数relu,最大池化,池化模板大小2×2。
(b—6)卷积层11/12/13:卷积核数(通道数)512,卷积核大小3×3,步长为1×1,padding模式为same,规范化BatchNormalization,激活函数relu,最大池化,池化模板大小2×2。
(b—7)上采样1:对上一卷积层池化输出上采样,采样模板大小为2×2。
(b—8)卷积层14/15/16:卷积核数(通道数)512,卷积核大小3×3,步长为1×1,padding模式为same,规范化BatchNormalization,激活函数relu。
(b—9)上采样2:对上一卷积层池化输出上采样,采样模板大小为2×2。
(b—10)卷积层17/18/19:卷积核数(通道数)256,卷积核大小3×3,步长为1×1,padding模式为same,规范化BatchNormalization,激活函数relu。
(b—11)上采样3:对上一卷积层池化输出上采样,采样模板大小为2×2。
(b—12)卷积层20/21:卷积核数(通道数)128,卷积核大小3×3,步长为1×1,padding模式为same,规范化BatchNormalization,激活函数relu。
(b—13)上采样4:对上一卷积层池化输出上采样,采样模板大小为2×2。
(b—14)卷积层22/23:卷积核数(通道数)128,卷积核大小3×3,步长为1×1,padding模式为same,规范化BatchNormalization,激活函数relu。
(b—15)卷积层24/25:卷积核数(通道数)64,卷积核大小3×3,步长为1×1,padding模式为same,规范化BatchNormalization,激活函数relu。
(b—16)卷积层26:卷积核数(通道数)numClass,卷积核大小1×1,步长为1×1,padding模式为same。
(b—17)output(输出层):将卷积层24输出重塑为(imgheight×imgWight,numClass)后送入softmax分类器,输出output。
其中,b—2至b—6的操作为编码器结构部分,b—7至b—15的操作为解码器结构部分,最后输出output值为像素属于各岩性类别的概率,概率最大的岩性类别即为像素的预测岩性类别。
c.Unet网络:
输入:训练数据(image,label),数值表示的岩性类别标签numClass,图像高宽(imgHeight,imgWidth),图像通道numChannel=3。
输出:预测概率输出output。
(c—1)输入层(input):输入图像大小imgHeight×imgWidth×3。
(c—2)conv1(卷积层1/2):输入input,卷积核数(通道数)32,卷积核大小3×3,步长1×1,padding模式same,激活函数relu,最大池化maxpooling,池化模板大小2×2,输出pool1。
(c—3)conv2(卷积层3/4):输入pool1,卷积核数(通道数)64,卷积核大小3×3,步长1×1,padding模式same(卷积后不改变图像高宽),激活函数relu,最大池化maxpooling,池化模板大小2×2,输出pool2。
(c—4)conv3(卷积层5/6):输入pool2,卷积核数(通道数)128,卷积核大小3×3,步长1×1,padding模式same,激活函数relu,最大池化maxpooling(池化只在最后一层使用,下同),池化模板大小2×2,输出pool3。
(c—5)conv4(卷积层7/8):输入pool3,卷积核数(通道数)256,卷积核大小3×3,步长1×1,padding模式same,激活函数relu,最大池化maxpooling,池化模板大小2×2,输出pool4。
(c—6)conv5(卷积层9/10):输入pool4,卷积核数(通道数)512,卷积核大小3×3,步长1×1,padding模式same,激活函数relu,最大池化maxpooling,池化模板大小2×2,输出pool4。
(c—7)up6(上采样):输入conv5,采样模板大小为2×2。
(c—8)concat6(融合/拼接):输入up6,拼接轴为图像通道(axis=-1)。
(c—9)conv6(卷积层11/12):输入concat6,卷积核数(通道数)256,卷积核大小3×3,步长1×1,padding模式same,激活函数relu。
(c—10)up7(上采样):输入conv6,采样模板大小为2×2。
(c—11)concat7(融合/拼接):输入up7,拼接轴为图像通道(axis=-1)。
(c—12)conv7(卷积层13/14):输入concat7,卷积核数(通道数)128,卷积核大小3×3,步长1×1,padding模式same,激活函数relu。
(c—13)up8(上采样):输入conv7,采样模板大小为2×2。
(c—14)concat8(融合/拼接):输入up8,拼接轴为图像通道(axis=-1)。
(c—15)conv8(卷积层15/16):输入concat8,卷积核数(通道数)64,卷积核大小3×3,步长1×1,padding模式same,激活函数relu。
(c—16)up9(上采样):输入conv8,采样模板大小为2×2。
(c—17)concat9(融合/拼接):输入up9,拼接轴为图像通道(axis=-1)。
(c—18)conv9(卷积层17/18):输入concat9,卷积核数(通道数)32,卷积核大小3×3,步长1×1,padding模式same,激活函数relu。
(c—19)conv10(卷积层19):输入conv9,卷积核数(通道数)numClass,卷积核大小1×1,步长1×1,padding模式same,激活函数relu。
(c—20)output(输出层):将conv10重塑为(imgheight×imgWight,numClass)后送入softmax分类器,输出output。
其中,c—2至c—6的操作为特征提取部分,c—9至c—18的操作为上采样部分,最后输出output值为像素属于各岩性类别的概率,概率最大的岩性类别即为像素的预测岩性类别。
构建语义分割网络后,训练语义分割网络以得到语义分割网络模型:
本示例中,将对应有岩性类别标签的训练数据以实时按批生成数据流的方式输入构建好的语义分割网络,然后选择交叉熵损失函数及Adam优化方法,迭代进行模型的参数学习调优,直到模型收敛的过程。各网络模型训练过程中将训练数据按7:3比例划分为训练集和验证集,优化过程使用Adam优化函数对语义分割模型进行梯度迭代优化,初始学习步长设置为1e-4,累积梯度系数β1设置为0.9,平方梯度系数β2设置为0.999,误差值ε设置为1e-8。在网络结构中使用批规范化Batch Normalization,设置参数均值为0,方差为0.01。另外,网络中使用Dropout,设置神经元随机失活概率值为0.5。在模型训练过程中,训练数据需要按批(mini-batch)输入网络进行学习,设置mini-batch大小为32,训练轮次(EPOCH)大小为41,每个轮次迭代步数(step)为训练集数量值与mini-batch之比,这里step数值为389。
FCN网络在输入训练集进行模型训练过程中,平均每步训练时长为31s,30个EPOCH总耗时为100.49个小时,训练集分类精度最优值为88.05%,损失值最小为0.3498,验证集分类精度最优值为90.33%,损失值最小为0.2963,每个EPOCH具体指标值见表4。SegNet网络在输入训练数据进行模型训练过程中,平均每步训练时长为131s,30个EPOCH总耗时为434.48个小时,训练集分类精度为86.71%,损失值为0.3754,验证集分类精度为86.69%,损失值为0.4728,每个EPOCH具体指标值见表5。Unet网络在输入训练数据进行模型训练过程中,平均每步训练时长为32s,30个EPOCH总耗时为106.13个小时,训练集分类精度为82.81%,损失值为0.5752,验证集分类精度为82.85%,损失值为0.5460,每个EPOCH具体指标值见表6。
表4 FCN模型训练指标值
表5 SegNet模型训练指标值
表6 Unet模型训练指标值
岩性预测阶段的具体流程包括:
得到训练完成的语义分割网络模型后,即可对岩性未知的待填图区域进行岩性填图:
首先,利用无人机采集待填图区域的各位置遥感图像;
然后,对待填图区域的各位置遥感图像进行镶嵌,生成待填图区域的整体图像,具体过程类似前述对无人机采集样本区域的各位置遥感图像依次进行的“A—无人机图像预处理”和“B—制作语义分割标签”;
然后,由于语义分割网络模型无法直接对这样的大影像数据进行语义分割,因此将待填图区域的整体图像切割为包含预设像素点数的子图像(接续前述示例,子图像尺寸为256×256像素点);本示例中,在切割待填图区域的整体图像过程中,还按预设像素点数将待填图区域的整体图像切割为子图像,并对整体图像边缘不符合包含预设像素点数的子图像进行零值扩充以使其包含的像素点数为预设像素点数的整倍数;
然后,将各子图像分别输入语义分割网络模型,根据语义分割网络模型输出的各子图像中各像素的岩性类别(各像素的预测岩性类别)获取各子图像对应的岩性分割图;
最后,对各子图像对应的岩性分割图进行拼接,得到待填图区域的岩性分割图。
本示例中,以待填图区域的整体图像如图2所示为例,基于FCN网络模型得到的待填图区域的岩性分割图如图4所示,基于SegNet网络模型得到的待填图区域的岩性分割图如图5所示,基于Unet网络模型得到的待填图区域的岩性分割图如图6所示,其中,图4-6的右侧图例与图3相同,均为1代表超基性岩,2代表第四系,3代表粉砂岩,4代表冲洪积物。
下面对本示例的岩性预测结果进行评价:
假设TP为真正例像元数,指第i类的像素被预测为i类的像素个数;FP为假正例像元数,指第j类的像素被预测为i类的像素个数;TN为真反例像元数,指第j类被预测为j类的像素个数;FN假反例子像元,指第i类像素被预测为j类的像素个数。
①准确率:准确率是图像语义分割的评价指标中最简单也是最常用的分割性能评价指标,其定义为除了背景像素外,分类正确的像素占所有像素的比例,如下式所示:
Accuracy=(TP+TN)/(TP+TN+FP+FN)
②分类平均准确率:分类平均正确率是指先分别对各个类求分类准确率,然后对所有类内准确率加和求平均值。其中,每一类的分类准确率计算公式如下:
Acci=TP/(TP+FN)
假设待填图区域的整体图像被总共划分为n个岩性类别,则分类平均准确率计算公式如下:
③Jaccard指数:Jaccard指数也被称为并交比(Intersection-over-Union,IoU),主要是用来衡量数据间的相似性与多样性,在本实验中用来作为语义分割的度量标准。Jaccard指数是计算两个集合的交集与集合间并集之比,在本实验中两个集合分别代表的是真实分类标签和预测分类标签。因此,Jaccard指数计算为真正数比上真正、假正、假负之和,计算公式如下:
Jaccard=TP/(TP+FP+FN)
假设有n个分类标签,则平均Jaccard指数或平均交并比(mean IoU)计算公式为:
由表7中不同语义分割网络模型预测结果评价指标值可知,语义分割网络模型预测结果中,FCN网络模型预测准确率为88.96%,平均分类准确率为88.65%,Jaccard指数为0.69。SegNet网络模型预测准确率为86.32%,平均分类准确率为85.69%,Jaccard指数为0.67。Unet网络模型预测准确率为82.15%,平均分类准确率为81.67%,Jaccard指数为0.63。
表7不同语义分割模型预测结果评价指标值
综上,本示例的基于无人机的岩性填图方法可精确高效地实现岩性填图,适用于大比例尺地质填图工程。
本发明的另一个实施例提供了一种电子设备,被配置为:获取无人机采集的待填图区域的各位置遥感图像;对所述待填图区域的各位置遥感图像进行镶嵌,生成待填图区域的整体图像;将所述待填图区域的整体图像切割为包含预设像素点数的子图像,并将各子图像分别输入语义分割网络模型,根据所述语义分割网络模型输出的各子图像中各像素的岩性类别获取各子图像对应的岩性分割图;对各子图像对应的岩性分割图进行拼接,得到待填图区域的岩性分割图。
需要说明的是,本实施例提供的电子设备的原理及工作流程与上述基于无人机的岩性填图方法相似,相关之处可以参照上述说明,在此不再赘述。
如图7所示,适于用来实现本实施例提供的电子设备的计算机系统,包括中央处理模块(CPU),其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中,还存储有计算机系统操作所需的各种程序和数据。CPU、ROM以及RAM通过总线被此相连。输入/输入(I/O)接口也连接至总线。
以下部件连接至I/O接口:包括键盘、鼠标等的输入部分;包括诸如液晶显示器(LCD)等以及扬声器等的输出部分;包括硬盘等的存储部分;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器上,以便于从其上读出的计算机程序根据需要被安装入存储部分。
特别地,根据本实施例,上文流程图描述的过程可以被实现为计算机软件程序。例如,本实施例包括一种计算机程序产品,其包括有形地包含在计算机可读介质上的计算机程序,上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。
附图中的流程图和示意图,图示了本实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或示意图中的每个方框可以代表一个模块、程序段或代码的一部分,上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,示意图和/或流程图中的每个方框、以及示意和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面,本实施例还提供了一种非易失性计算机存储介质,该非易失性计算机存储介质可以是上述实施例中上述装置中所包含的非易失性计算机存储介质,也可以是单独存在,未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序,当上述一个或者多个程序被一个设备执行时,使得上述设备实现本实施例提供的电子设备的功能。
本发明的另一个实施例提供了一种基于无人机的岩性填图系统,包括用于采集待填图区域的各位置遥感图像的无人机和上述电子设备。
在本发明的描述中,需要说明的是,术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
还需要说明的是,在本发明的描述中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定,对于本领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
本申请受中国地质调查二级项目“藏西北铜多金属资源基地综合调查评价”(项目编码:DD20190167)资助。
Claims (10)
1.一种基于无人机的岩性填图方法,其特征在于,包括:
利用无人机采集待填图区域的各位置遥感图像;
对所述待填图区域的各位置遥感图像进行镶嵌,生成待填图区域的整体图像;
将所述待填图区域的整体图像切割为包含预设像素点数的子图像,并将各子图像分别输入语义分割网络模型,根据所述语义分割网络模型输出的各子图像中各像素的岩性类别获取各子图像对应的岩性分割图;
对各子图像对应的岩性分割图进行拼接,得到待填图区域的岩性分割图。
2.根据权利要求1所述的方法,其特征在于,所述语义分割网络模型为全卷积神经网络模型。
3.根据权利要求1所述的方法,其特征在于,所述对所述待填图区域的各位置遥感图像进行镶嵌进一步包括:
根据所述待填图区域的各位置遥感图像对应的POS数据中的坐标信息、高程信息及图像相似度信息,对所述待填图区域的各位置遥感图像进行畸变校正及排列对齐;
建立所述待填图区域的各位置遥感图像的密集点云;
根据所述密集点云生成所述待填图区域的各位置遥感图像的格网及纹理;
根据所述待填图区域的各位置遥感图像对应的高程信息对所述待填图区域的各位置遥感图像进行正射校正;
对经正射校正后的所述待填图区域的各位置遥感图像进行图像镶嵌。
4.根据权利要求1所述的方法,其特征在于,所述将所述待填图区域的整体图像切割为包含预设像素点数的子图像进一步包括:按预设像素点数将所述待填图区域的整体图像切割为子图像,并对所述整体图像边缘不符合包含预设像素点数的子图像进行零值扩充以使其包含的像素点数为预设像素点数的整倍数。
5.根据权利要求1所述的方法,其特征在于,在所述将各子图像分别输入语义分割网络模型之前,该方法还包括:
获取无人机采集的至少一个样本区域的各位置遥感图像;
对所述样本区域各位置的遥感图像进行图像镶嵌,生成样本区域的整体图像;
将所述样本区域的整体图像初分割为样本区域的岩性初分割图,并在样本区域的岩性初分割图中为每一岩性区域添加岩性类别标签;
利用对应预设像素点数的第一随机窗口在所述样本区域的岩性初分割图中的每一岩性区域中分别获取多个第一窗口图像,将与多个第一窗口图像分别对应的所述样本区域的整体图像中的第二窗口图像作为训练数据,得到多个对应有岩性类别标签的训练数据;
利用对应有岩性类别标签的训练数据训练语义分割网络,得到语义分割网络模型。
6.根据权利要求5所述的方法,其特征在于,在所述利用对应有岩性类别标签的训练数据训练语义分割网络之前,该方法还包括:对随机选取的所述训练数据进行图像增强。
7.根据权利要求6所述的方法,其特征在于,所述对随机选取的所述训练数据进行图像增强进一步包括:对随机选取的所述训练数据,利用从伽玛变换、旋转变换、模糊变换、增加白噪声中随机选取的至少一种方式进行图像增强。
8.根据权利要求6所述的方法,其特征在于,所述利用对应预设像素点数的第一随机窗口在所述样本区域的岩性初分割图中的每一岩性区域中分别获取多个第一窗口图像,将与多个第一窗口图像分别对应的所述样本区域的整体图像中的第二窗口图像作为训练数据,得到多个对应有岩性类别标签的训练数据进一步包括:
步骤a、利用大于第一随机窗口的对应于岩性区域的第二随机窗口在所述样本区域的岩性初分割图中的每个岩性区域中随机选定采样区域,利用对应预设像素点数的第一随机窗口在每个岩性区域中的采样区域中分别获取一个第一窗口图像;
步骤b、对从每个岩性区域对应的第一窗口图像中随机选取的第一窗口图像对应的第二窗口图像进行图像增强;
步骤c、将与第一窗口图像对应的所述样本区域的整体图像中的第二窗口图像作为训练数据,得到对应有岩性类别标签的训练数据;
步骤d、迭代执行步骤a-步骤c,直至得到的对应有岩性类别标签的训练数据量符合预设值。
9.一种电子设备,其特征在于,被配置为:获取无人机采集的待填图区域的各位置遥感图像;对所述待填图区域的各位置遥感图像进行镶嵌,生成待填图区域的整体图像;将所述待填图区域的整体图像切割为包含预设像素点数的子图像,并将各子图像分别输入语义分割网络模型,根据所述语义分割网络模型输出的各子图像中各像素的岩性类别获取各子图像对应的岩性分割图;对各子图像对应的岩性分割图进行拼接,得到待填图区域的岩性分割图。
10.一种基于无人机的岩性填图系统,其特征在于,包括用于采集待填图区域的各位置遥感图像的无人机和如权利要求9所述的电子设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910571051.2A CN110443862B (zh) | 2019-06-28 | 2019-06-28 | 基于无人机的岩性填图方法及系统、电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910571051.2A CN110443862B (zh) | 2019-06-28 | 2019-06-28 | 基于无人机的岩性填图方法及系统、电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110443862A CN110443862A (zh) | 2019-11-12 |
CN110443862B true CN110443862B (zh) | 2022-10-14 |
Family
ID=68429297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910571051.2A Active CN110443862B (zh) | 2019-06-28 | 2019-06-28 | 基于无人机的岩性填图方法及系统、电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110443862B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111435437A (zh) * | 2019-12-26 | 2020-07-21 | 珠海大横琴科技发展有限公司 | 一种pcb行人重识别模型训练方法及pcb行人重识别方法 |
CN111488930B (zh) * | 2020-04-09 | 2024-05-24 | 北京市商汤科技开发有限公司 | 分类网络的训练方法、目标检测方法、装置和电子设备 |
CN111862778B (zh) * | 2020-06-04 | 2022-04-19 | 中国地质科学院 | 一种浅层岩性地质图生成方法、装置、储存介质及设备 |
CN112164123A (zh) * | 2020-09-27 | 2021-01-01 | 中国地质调查局发展研究中心 | 一种地质路线prb数据按填图单位岩性分类标签处理方法 |
CN112527319A (zh) * | 2020-12-16 | 2021-03-19 | 浙江大学德清先进技术与产业研究院 | 基于Docker的遥感智能处理算法的管理方法 |
CN113435456A (zh) * | 2021-02-08 | 2021-09-24 | 中国石油化工股份有限公司 | 基于机器学习的岩石薄片组分识别方法、装置及介质 |
CN113034645B (zh) * | 2021-03-23 | 2021-09-03 | 中国地质科学院地质力学研究所 | 一种岩性填图的方法、装置和存储介质 |
CN115140305B (zh) * | 2022-09-02 | 2022-11-08 | 吉林大学 | 一种岩性智能识别飞行机器人 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018164426A1 (ko) * | 2017-03-06 | 2018-09-13 | 한국지질자원연구원 | 공작석 초분광 영상을 이용한 반암동 광체 탐지 방법 |
CN109389051A (zh) * | 2018-09-20 | 2019-02-26 | 华南农业大学 | 一种基于卷积神经网络的建筑物遥感图像识别方法 |
-
2019
- 2019-06-28 CN CN201910571051.2A patent/CN110443862B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018164426A1 (ko) * | 2017-03-06 | 2018-09-13 | 한국지질자원연구원 | 공작석 초분광 영상을 이용한 반암동 광체 탐지 방법 |
CN109389051A (zh) * | 2018-09-20 | 2019-02-26 | 华南农业大学 | 一种基于卷积神经网络的建筑物遥感图像识别方法 |
Non-Patent Citations (1)
Title |
---|
铁路工程地质填图雷达遥感应用研究;谭衢霖等;《铁道勘察》;20081215(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110443862A (zh) | 2019-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110443862B (zh) | 基于无人机的岩性填图方法及系统、电子设备 | |
CN109829399B (zh) | 一种基于深度学习的车载道路场景点云自动分类方法 | |
CN110059694B (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
CN109934153B (zh) | 基于门控深度残差优化网络的建筑物提取方法 | |
CN108596101B (zh) | 一种基于卷积神经网络的遥感图像多目标检测方法 | |
CA3104652C (en) | Detection and replacement of transient obstructions from high elevation digital images | |
CN108932303B (zh) | 一种分布式可见光遥感影像动态目标检测与分析系统 | |
CN110598784B (zh) | 基于机器学习的建筑垃圾分类方法及装置 | |
CN110163213B (zh) | 基于视差图和多尺度深度网络模型的遥感图像分割方法 | |
CN111626947B (zh) | 基于生成对抗网络的地图矢量化样本增强方法及系统 | |
CN110929577A (zh) | 一种基于YOLOv3的轻量级框架改进的目标识别方法 | |
EP3408828B1 (en) | Systems and methods for detecting imaged clouds | |
Hormese et al. | Automated road extraction from high resolution satellite images | |
CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
Nagy | Digital image-processing activities in remote sensing for earth resources | |
CN114612835A (zh) | 一种基于YOLOv5网络的无人机目标检测模型 | |
CN111241970A (zh) | 基于yolov3算法与滑动窗口策略的SAR影像海面舰船检测方法 | |
CN112149594A (zh) | 基于深度学习和高分辨率卫星影像的城市建设评估方法 | |
CN114373009A (zh) | 基于高分辨率遥感影像的建筑物阴影测高智能化计算方法 | |
CN109409285B (zh) | 基于重叠切片的遥感视频目标检测方法 | |
CN115631423A (zh) | 顾及气象预测云图和传感器测摆的遥感卫星覆盖预测方法 | |
CN109657728B (zh) | 样例生产方法及模型训练方法 | |
CN113869262A (zh) | 一种基于Unet模型的目标区域用地信息的预测方法和装置 | |
CN113780175B (zh) | 高植被覆盖区台风暴雨型滑坡的遥感识别方法 | |
US20220414362A1 (en) | Method and system for optimizing image data for generating orthorectified image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |