CN116630828A - 基于地形环境适配的无人机遥感信息采集系统及方法 - Google Patents

基于地形环境适配的无人机遥感信息采集系统及方法 Download PDF

Info

Publication number
CN116630828A
CN116630828A CN202310624809.0A CN202310624809A CN116630828A CN 116630828 A CN116630828 A CN 116630828A CN 202310624809 A CN202310624809 A CN 202310624809A CN 116630828 A CN116630828 A CN 116630828A
Authority
CN
China
Prior art keywords
feature
classification
terrain
feature map
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310624809.0A
Other languages
English (en)
Other versions
CN116630828B (zh
Inventor
侯芸
董元帅
钱振宇
张铮
黄永杰
白墨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCCC First Harbour Consultants Co Ltd
China Highway Engineering Consultants Corp
CHECC Data Co Ltd
Original Assignee
China Highway Engineering Consultants Corp
CHECC Data Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Highway Engineering Consultants Corp, CHECC Data Co Ltd filed Critical China Highway Engineering Consultants Corp
Priority to CN202310624809.0A priority Critical patent/CN116630828B/zh
Publication of CN116630828A publication Critical patent/CN116630828A/zh
Application granted granted Critical
Publication of CN116630828B publication Critical patent/CN116630828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于地形环境适配的无人机遥感信息采集系统及方法，其获取由部署于无人机的高清摄像头采集的地形拍摄图像；采用基于深度学习的人工智能技术，构建基于卷积神经网络模型的图像质量评估算法，以在图像质量评估时充分考虑地形影像数据中的地形语义特征，以提高图像质量评估与应用场景之间的适配性。

Description

基于地形环境适配的无人机遥感信息采集系统及方法
技术领域
本申请涉及智能化信息采集技术领域，并且更具体地，涉及一种基于地形环境适配的无人机遥感信息采集系统及方法。
背景技术
在公路或桥梁施工中，地形遥感和测绘是非常重要的工作内容，它们可以为工程设计和施工提供准确的地理信息。基于地形环境适配的无人机遥感信息采集系统是一种新型的地形遥感和测绘技术，它利用无人机作为飞行平台，搭载高分辨率的数码相机等传感器，进行低空航空摄影，获取地形的影像数据，并通过专业软件对采集的影像数据进行处理和分析，以生成三维点云、模型、地形图等多种测绘成果，来指导公路和桥梁施工。
在所述基于地形环境适配的无人机遥感信息采集系统的运行过程中，通过调整无人机的飞行高度来采集到质量符合要求的地形影像数据是极为重要的步骤。在现有技术中，存在图像质量评价算法对采集到的地形影像数据进行图像质量评估，但这种图像质量评估算法更多聚焦于图像分辨率而没有关注影像数据中的影像内容语义，导致图像质量评估与场景应用发生偏差。
因此，期待一种优化的基于地形环境适配的无人机遥感信息采集方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于地形环境适配的无人机遥感信息采集系统及方法，其获取由部署于无人机的高清摄像头采集的地形拍摄图像；采用基于深度学习的人工智能技术，构建基于卷积神经网络模型的图像质量评估算法，以在图像质量评估时充分考虑地形影像数据中的地形语义特征，以提高图像质量评估与应用场景之间的适配性。
第一方面，提供了一种基于地形环境适配的无人机遥感信息采集方法，其包括：
获取由部署于无人机的高清摄像头采集的地形拍摄图像；
对所述地形拍摄图像进行图像预处理以得到预处理后地形拍摄图像；
将所述预处理后地形拍摄图像通过包含深浅特征融合模块的卷积神经网络模型以得到地形特征图；
对所述地形特征图进行沿通道维度的特征图切分以得到多个地形子特征图；
对所述多个地形子特征图进行分组卷积以得到多个地形深度子特征图；
将所述多个地形深度子特征图聚合为地形深度特征图，并对所述地形深度特征图进行通道重排以得到分类特征图；
将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示无人机的高清摄像头采集的地形拍摄图像的图像质量是否符合预定标准；和
基于所述分类结果，生成无人机飞行高度调整指令。
在上述基于地形环境适配的无人机遥感信息采集方法中，所述图像预处理包括图像灰度化、图像降噪和直方图均衡化。
在上述基于地形环境适配的无人机遥感信息采集方法中，将所述预处理后地形拍摄图像通过包含深浅特征融合模块的卷积神经网络模型以得到地形特征图，包括：从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；从所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征图；以及，使用所述卷积神经网络模型的深浅特征融合模块融合所述浅层特征图和所述深层特征图以得到所述地形特征图。
在上述基于地形环境适配的无人机遥感信息采集方法中，对所述地形特征图进行沿通道维度的特征图切分以得到多个地形子特征图，包括：对所述地形特征图进行均通道切分以得到所述多个地形子特征图，其中，所述多个地形子特征图中各个地形子特征图具有相同的尺寸。
在上述基于地形环境适配的无人机遥感信息采集方法中，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示无人机的高清摄像头采集的地形拍摄图像的图像质量是否符合预定标准，包括：计算所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数；以所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数作为权重分别对所述分类特征图中各个位置的特征值进行加权校正以得到校正后分类特征图；将所述校正后分类特征图展开为分类特征向量；以及，将所述分类特征向量通过所述分类器以得到所述分类结果。
在上述基于地形环境适配的无人机遥感信息采集方法中，计算所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数，包括：以如下优化公式计算所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数；其中，所述优化公式为：
其中，fi是所述分类特征图中各个位置特征值，(xi，yi，zi)为所述分类特征图的各个位置特征值的位置坐标，且是所述分类特征图的所有特征值的全局均值，/>和分别代表将二维实数和三维实数映射为一维实数的函数，W、H和C分别是所述分类特征图的宽度、高度和通道数，log表示以2为底的对数函数，wi表示所述每个位置的特征值的位置信息图式场景注意力无偏估计因数。
在上述基于地形环境适配的无人机遥感信息采集方法中，将所述校正后分类特征图展开为分类特征向量，包括：将所述校正后分类特征图按照行向量或列向量展开为所述分类特征向量。
在上述基于地形环境适配的无人机遥感信息采集方法中，将所述分类特征向量通过所述分类器以得到所述分类结果，包括：使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
第二方面，提供了一种基于地形环境适配的无人机遥感信息采集系统，其包括：
图像获取模块，用于获取由部署于无人机的高清摄像头采集的地形拍摄图像；
预处理模块，用于对所述地形拍摄图像进行图像预处理以得到预处理后地形拍摄图像；
深浅特征融合模块，用于将所述预处理后地形拍摄图像通过包含深浅特征融合模块的卷积神经网络模型以得到地形特征图；
特征图切分模块，用于对所述地形特征图进行沿通道维度的特征图切分以得到多个地形子特征图；
分组卷积模块，用于对所述多个地形子特征图进行分组卷积以得到多个地形深度子特征图；
通道重排模块，用于将所述多个地形深度子特征图聚合为地形深度特征图，并对所述地形深度特征图进行通道重排以得到分类特征图；
图像质量判断模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示无人机的高清摄像头采集的地形拍摄图像的图像质量是否符合预定标准；和
调整指令生成模块，用于基于所述分类结果，生成无人机飞行高度调整指令。
在上述基于地形环境适配的无人机遥感信息采集系统中，所述图像预处理包括图像灰度化、图像降噪和直方图均衡化。
与现有技术相比，本申请提供的基于地形环境适配的无人机遥感信息采集系统及方法，其获取由部署于无人机的高清摄像头采集的地形拍摄图像；采用基于深度学习的人工智能技术，构建基于卷积神经网络模型的图像质量评估算法，以在图像质量评估时充分考虑地形影像数据中的地形语义特征，以提高图像质量评估与应用场景之间的适配性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例的基于地形环境适配的无人机遥感信息采集方法的场景示意图。
图2为根据本申请实施例的基于地形环境适配的无人机遥感信息采集方法的流程图。
图3为根据本申请实施例的基于地形环境适配的无人机遥感信息采集方法的架构示意图。
图4为根据本申请实施例的基于地形环境适配的无人机遥感信息采集方法中步骤130的子步骤的流程图。
图5A为根据本申请实施例的标准卷积示意图。
图5B为根据本申请实施例的分组卷积示意图。
图6为根据本申请实施例的通道重排。
图7为根据本申请实施例的基于地形环境适配的无人机遥感信息采集方法中步骤170的子步骤的流程图。
图8为根据本申请实施例的基于地形环境适配的无人机遥感信息采集方法中步骤174的子步骤的流程图。
图9为根据本申请实施例的基于地形环境适配的无人机遥感信息采集系统的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
针对上述技术问题，本申请的技术构思为构建基于卷积神经网络模型的图像质量评估算法，以在图像质量评估时充分考虑地形影像数据中的地形语义特征以提高图像质量评估与应用场景之间的适配性，即，利于后续基于地形影像数据来生成三维点云、模型、地形图等多种测绘成果。
具体地，在本申请的技术方案中，首先获取由部署于无人机的高清摄像头采集的地形拍摄图像。应可以理解，在基于地形环境适配的无人机遥感信息采集系统中，获取由部署于无人机上的高清摄像头采集的地形拍摄图像是图像采集的初始步骤，相当于采集地形原始影像数据。
接着，对所述地形拍摄图像进行图像预处理以得到预处理后地形拍摄图像。所述地形拍摄图像往往由于光照、投影畸变等原因存在一定程度的噪声和失真，而预处理可以对图像进行去噪去失真等操作，提高图像质量和精度，为后续的特征提取和图像分类提供更加可靠的数据支撑。其次，在无人机遥感数据采集过程中，可能会出现天气变化、云雾覆盖等情况，导致地形拍摄图像的颜色、亮度等参数发生变化，影响图像处理和应用。相应地，通过图像预处理，可以将地形拍摄图像进行标准化，使得不同条件下拍摄的图像具有一定的统一性，方便后续的数据管理和分析。还有，所述图像预处理还可以对地形拍摄图像进行图像增强，比如调整对比度、增加饱和度等，以凸显图像中的有价值信息，为后续数据处理提供更多的可选项和灵活性。
接着，将所述预处理后地形拍摄图像通过包含深浅特征融合模块的卷积神经网络模型以得到地形特征图。也就是，在本申请的技术方案中，使用卷积神经网络模型来提取图像特征，本领域普通技术人员应知晓，在遥感数据处理领域，卷积神经网络模型已经成为一种重要的图像处理工具，其具有强大的特征提取能力，能够从复杂的原始数据中自动学习特征并进行有效的分类和回归等任务。因此，采用卷积神经网络模型对预处理后的地形拍摄图像进行处理是非常合理和可行的。
特别地，本领域普通技术人员应知晓，卷积神经网络模型在进行图像卷积编码的过程中，随着其编码深度的加深，其浅层特征会被淹没或者模糊化，其中，浅层特征通常包括线条、纹理、形状等。在遥感测绘领域，图像中的线条、纹理和形状等特征更多地表示地形分界，地形形状等重要信息，因此，在进行影像数据质量评估时，充分保留浅层特征由于提高图像质量评估的合理性和准确性。
进一步地，在本申请的技术方案中，如果一直采用卷积编码会使得所述卷积神经网络模型的参数量较大，会导致网络过拟合的可能性增大。因此，在本申请的技术方案中，在得到所述地形特征图后进一步引入分组卷积和通道重排操作以在充分提取特征的同时尽可能地减少模型参数量。
具体地，首先对所述地形特征图进行沿通道维度的特征图切分以得到多个地形子特征图，然后对所述多个地形子特征图进行分组卷积以得到多个地形深度子特征图。也就是，对所述地形特征图进行沿通道维度的特征切分以得到多个地形子特征图，并对所述各个地形特征图进行卷积操作，其中，分组卷积的参数量相较于标准卷积会发生量级缩减。但是，分组卷积操作限制了网络特征信息层的交流，缺少组间的信息交流，这就降低了网络的特征提取能力。因此，在进行分组卷积操作后，进一步引入了通道重排操作：将所述多个地形深度子特征图聚合为地形深度特征图，并对所述地形深度特征图进行通道重排以得到分类特征图。
相应地，通道重排操作将输出层不同组的特征信息重新分组，确保每组特征信息之间能够相互交流。通道重排操作可以在不影响网络精准率前提下，促进各通道间的信息充分流动，提高组间特征信息的学习能力，进一步降低网络的计算量。
最终，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示无人机的高清摄像头采集的地形拍摄图像的图像质量是否符合预定标准。也就是，使用所述分类器来确定所述分类特征图所属的类概率标签，其中，所述类概率标签用于表示无人机的高清摄像头采集的地形拍摄图像的图像质量是否符合预定标准。
应可以理解，相比于传统的图像质量评价算法，本方案采用深度特征和分类器相结合的方法，能够更全面、准确地评估地形拍摄图像的质量，它既考虑了图像的分辨率，也考虑了图像的内容语义，从而具备更强的自适应性和泛化能力，可以适应各种复杂的地形环境。
特别地，在本申请的技术方案中，所述分类特征图的沿通道维度的各个特征矩阵用于表示地形影像数据的高维局部图像语义特征，即，所述分类特征图的沿通道维度的各个特征矩阵中的各个位置的特征值具有相应的位置属性，而在对所述地形特征图进行分组卷积和通道重排的操作中都涉及到特征图的特征值的位置属性，因此得到的所述分类特征图的各个位置的特征值也具有相应的位置属性。
但是，在将所述分类特征图通过分类器进行分类时，需要将所述分类特征矩阵展开为特征向量，也就是，涉及到所述分类特征图的特征值的按位置聚合，因此，期望提升所述分类特征图的各个特征值在按位置聚合时对于所述分类特征图的原特征流形的表达效果。
基于此，本申请的申请人计算所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数，表示为：
其中和/>分别代表将二维实数和三维实数映射为一维实数的函数，例如，实现为非线性激活函数激活加权和加偏置的表示，W、H和C分别是所述分类特征图的宽度、高度和通道数，(xi，yi，zi)为所述分类特征图的各个特征值fi的坐标，例如，可以特征矩阵的任意顶点或者中心作为坐标原点，且/>是所述分类特征图的所有特征值的全局均值。
这里，所述位置信息图式场景注意力无偏估计因数通过使用融合特征值相对于整体特征分布的高维空间位置的相对几何方向和相对几何距离的图式信息表示和高维特征本身的信息表示的更高阶的特征表达，来在特征值对整体特征分布的按位置聚合时进一步进行特征流形的形状信息聚合，以实现高维空间内的基于特征流形的各个子流形集合形状分布的场景几何的无偏估计，以准确表达特征图的流形形状的几何性质。这样，通过以所述位置信息图式场景注意力无偏估计因数对所述分类特征图的各个位置的特征值进行加权，就可以提升所述分类特征图的各个特征值在按位置聚合时对于所述分类特征图的原特征流形的表达效果，从而提升所述分类特征图通过分类器得到的分类结果的准确性。
值得一提的是，在本申请的技术方案中，在得到所述分类结果后，可基于所述所述分类结果，生成无人机飞行高度调整指令，也就是，基于影像数据的图像质量评估结果来生成无人机飞行高度调整指令，来提高所述无人机的高度设定和调整的目的性和适应性。
图1为根据本申请实施例的基于地形环境适配的无人机遥感信息采集方法的场景示意图。如图1所示，在该应用场景中，首先，获取由部署于无人机(例如，如图1中所示意的N)的高清摄像头采集的地形拍摄图像(例如，如图1中所示意的D)；然后，将获取的地形拍摄图像输入至部署有基于地形环境适配的无人机遥感信息采集算法的服务器(例如，如图1中所示意的S)中，其中所述服务器能够基于地形环境适配的无人机遥感信息采集算法对所述地形拍摄图像进行处理，以生成用于表示无人机的高清摄像头采集的地形拍摄图像的图像质量是否符合预定标准的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
在本申请的一个实施例中，图2为根据本申请实施例的基于地形环境适配的无人机遥感信息采集方法的流程图。如图2所示，根据本申请实施例的基于地形环境适配的无人机遥感信息采集方法100，包括：110，获取由部署于无人机的高清摄像头采集的地形拍摄图像；120，对所述地形拍摄图像进行图像预处理以得到预处理后地形拍摄图像；130，将所述预处理后地形拍摄图像通过包含深浅特征融合模块的卷积神经网络模型以得到地形特征图；140，对所述地形特征图进行沿通道维度的特征图切分以得到多个地形子特征图；150，对所述多个地形子特征图进行分组卷积以得到多个地形深度子特征图；160，将所述多个地形深度子特征图聚合为地形深度特征图，并对所述地形深度特征图进行通道重排以得到分类特征图；170，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示无人机的高清摄像头采集的地形拍摄图像的图像质量是否符合预定标准；和，180，基于所述分类结果，生成无人机飞行高度调整指令。
图3为根据本申请实施例的基于地形环境适配的无人机遥感信息采集方法的架构示意图。如图3所示，在该网络架构中，首先，获取由部署于无人机的高清摄像头采集的地形拍摄图像；然后，对所述地形拍摄图像进行图像预处理以得到预处理后地形拍摄图像；接着，将所述预处理后地形拍摄图像通过包含深浅特征融合模块的卷积神经网络模型以得到地形特征图；然后，对所述地形特征图进行沿通道维度的特征图切分以得到多个地形子特征图；接着，对所述多个地形子特征图进行分组卷积以得到多个地形深度子特征图；然后，将所述多个地形深度子特征图聚合为地形深度特征图，并对所述地形深度特征图进行通道重排以得到分类特征图；接着，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示无人机的高清摄像头采集的地形拍摄图像的图像质量是否符合预定标准；和，最后，基于所述分类结果，生成无人机飞行高度调整指令。
具体地，在步骤110中，获取由部署于无人机的高清摄像头采集的地形拍摄图像。针对上述技术问题，本申请的技术构思为构建基于卷积神经网络模型的图像质量评估算法，以在图像质量评估时充分考虑地形影像数据中的地形语义特征以提高图像质量评估与应用场景之间的适配性，即，利于后续基于地形影像数据来生成三维点云、模型、地形图等多种测绘成果。
具体地，在本申请的技术方案中，首先获取由部署于无人机的高清摄像头采集的地形拍摄图像。应可以理解，在基于地形环境适配的无人机遥感信息采集系统中，获取由部署于无人机上的高清摄像头采集的地形拍摄图像是图像采集的初始步骤，相当于采集地形原始影像数据。
具体地，在步骤120中，对所述地形拍摄图像进行图像预处理以得到预处理后地形拍摄图像。接着，对所述地形拍摄图像进行图像预处理以得到预处理后地形拍摄图像。所述地形拍摄图像往往由于光照、投影畸变等原因存在一定程度的噪声和失真，而预处理可以对图像进行去噪去失真等操作，提高图像质量和精度，为后续的特征提取和图像分类提供更加可靠的数据支撑。
其次，在无人机遥感数据采集过程中，可能会出现天气变化、云雾覆盖等情况，导致地形拍摄图像的颜色、亮度等参数发生变化，影响图像处理和应用。相应地，通过图像预处理，可以将地形拍摄图像进行标准化，使得不同条件下拍摄的图像具有一定的统一性，方便后续的数据管理和分析。还有，所述图像预处理还可以对地形拍摄图像进行图像增强，比如调整对比度、增加饱和度等，以凸显图像中的有价值信息，为后续数据处理提供更多的可选项和灵活性。
其中，所述图像预处理包括图像灰度化、图像降噪和直方图均衡化。
具体地，在步骤130中，将所述预处理后地形拍摄图像通过包含深浅特征融合模块的卷积神经网络模型以得到地形特征图。接着，将所述预处理后地形拍摄图像通过包含深浅特征融合模块的卷积神经网络模型以得到地形特征图。也就是，在本申请的技术方案中，使用卷积神经网络模型来提取图像特征，本领域普通技术人员应知晓，在遥感数据处理领域，卷积神经网络模型已经成为一种重要的图像处理工具，其具有强大的特征提取能力，能够从复杂的原始数据中自动学习特征并进行有效的分类和回归等任务。因此，采用卷积神经网络模型对预处理后的地形拍摄图像进行处理是非常合理和可行的。
特别地，本领域普通技术人员应知晓，卷积神经网络模型在进行图像卷积编码的过程中，随着其编码深度的加深，其浅层特征会被淹没或者模糊化，其中，浅层特征通常包括线条、纹理、形状等。在遥感测绘领域，图像中的线条、纹理和形状等特征更多地表示地形分界，地形形状等重要信息，因此，在进行影像数据质量评估时，充分保留浅层特征由于提高图像质量评估的合理性和准确性。
图4为根据本申请实施例的基于地形环境适配的无人机遥感信息采集方法中步骤130的子步骤的流程图，如图4所示，将所述预处理后地形拍摄图像通过包含深浅特征融合模块的卷积神经网络模型以得到地形特征图，包括：131，从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；132，从所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征图；以及，133，使用所述卷积神经网络模型的深浅特征融合模块融合所述浅层特征图和所述深层特征图以得到所述地形特征图。
应可以理解，相较于标准卷积神经网络模型，根据本申请的所述卷积神经网络模型能够保留所述预处理后地形拍摄图像的浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，以提高分类结果的精准度。同时，深度神经网络的结构往往比较复杂，需要大量的样本数据来训练和调整，而深度网络的训练时间较长，容易过拟合。因此，在神经网络模型的设计中，通常采用浅层网络和深层网络的结合，通过深浅特征融合，可以在一定程度上降低网络的复杂度和过拟合的风险，同时提高模型的特征提取能力和泛化能力。
在使用卷积神经网络模型对所述预处理后地形拍摄图像进行编码的过程中，首先从所述卷积神经网络模型的浅层提取出浅层特征图(例如，所述浅层指的是第一层至第六层)，并从所述卷积神经网络模型的深层提取深层特征图(例如，所述卷积神经网络模型的最后一层)，然后，通过融合所述浅层特征图和所述深层特征图以得到包含浅层特征和深层特征的特征表示。在具体编码过程中，所述浅层特征图的提取位置由所述卷积神经网络模型的整体网络深度所决定，例如，当网络深度是30时，从所述卷积神经网络模型的第3层，当网络深度是40时，从所述卷积神经网络模型的第4层，对此，并不为本申请所局限。同样地，所述深层特征图的提取位置也并不为本申请所局限，其可以是最后一层，也可以是倒数最二层，也可以是同时从最后一层和倒数第二层。
具体地，在步骤140、步骤150和步骤160中，对所述地形特征图进行沿通道维度的特征图切分以得到多个地形子特征图；对所述多个地形子特征图进行分组卷积以得到多个地形深度子特征图；以及，将所述多个地形深度子特征图聚合为地形深度特征图，并对所述地形深度特征图进行通道重排以得到分类特征图。
进一步地，在本申请的技术方案中，如果一直采用卷积编码会使得所述卷积神经网络模型的参数量较大，会导致网络过拟合的可能性增大。因此，在本申请的技术方案中，在得到所述地形特征图后进一步引入分组卷积和通道重排操作以在充分提取特征的同时尽可能地减少模型参数量。
具体地，首先对所述地形特征图进行沿通道维度的特征图切分以得到多个地形子特征图，然后对所述多个地形子特征图进行分组卷积以得到多个地形深度子特征图。也就是，对所述地形特征图进行沿通道维度的特征切分以得到多个地形子特征图，并对所述各个地形特征图进行卷积操作，其中，分组卷积的参数量相较于标准卷积会发生量级缩减。但是，分组卷积操作限制了网络特征信息层的交流，缺少组间的信息交流，这就降低了网络的特征提取能力。因此，在进行分组卷积操作后，进一步引入了通道重排操作：将所述多个地形深度子特征图聚合为地形深度特征图，并对所述地形深度特征图进行通道重排以得到分类特征图。
相应地，通道重排操作将输出层不同组的特征信息重新分组，确保每组特征信息之间能够相互交流。通道重排操作可以在不影响网络精准率前提下，促进各通道间的信息充分流动，提高组间特征信息的学习能力，进一步降低网络的计算量。
其中，对所述地形特征图进行沿通道维度的特征图切分以得到多个地形子特征图，包括：对所述地形特征图进行均通道切分以得到所述多个地形子特征图，其中，所述多个地形子特征图中各个地形子特征图具有相同的尺寸。
应可以理解，如图5A和图5B所示，分组卷积的参数量式标准卷积参数量的1/G,同理,分组卷积的计算量也是标准卷积计算量的1/G。分组卷积不仅可以减少参数量,还可以降低网络过拟合的可能性。但是，分组卷积操作限制了网络特征信息层的交流，缺少组间的信息交流，这就降低了网络的特征提取能力。
因此，引入了通道重排操作，如图6所示，通道重排操作将输出层不同组的特征信息重新分组，确保每组特征信息之间能够相互交流。通道重排操作可以在不影响网络精准率前提下，促进各通道间的信息充分流动，提高组间特征信息的学习能力，进一步降低网络的计算量。
具体地，在步骤170中，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示无人机的高清摄像头采集的地形拍摄图像的图像质量是否符合预定标准。最终，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示无人机的高清摄像头采集的地形拍摄图像的图像质量是否符合预定标准。也就是，使用所述分类器来确定所述分类特征图所属的类概率标签，其中，所述类概率标签用于表示无人机的高清摄像头采集的地形拍摄图像的图像质量是否符合预定标准。
应可以理解，相比于传统的图像质量评价算法，本方案采用深度特征和分类器相结合的方法，能够更全面、准确地评估地形拍摄图像的质量，它既考虑了图像的分辨率，也考虑了图像的内容语义，从而具备更强的自适应性和泛化能力，可以适应各种复杂的地形环境。
图7为根据本申请实施例的基于地形环境适配的无人机遥感信息采集方法中步骤170的子步骤的流程图，如图7所示，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示无人机的高清摄像头采集的地形拍摄图像的图像质量是否符合预定标准，包括：171，计算所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数；172，以所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数作为权重分别对所述分类特征图中各个位置的特征值进行加权校正以得到校正后分类特征图；173，将所述校正后分类特征图展开为分类特征向量；以及，174，将所述分类特征向量通过所述分类器以得到所述分类结果。
特别地，在本申请的技术方案中，所述分类特征图的沿通道维度的各个特征矩阵用于表示地形影像数据的高维局部图像语义特征，即，所述分类特征图的沿通道维度的各个特征矩阵中的各个位置的特征值具有相应的位置属性，而在对所述地形特征图进行分组卷积和通道重排的操作中都涉及到特征图的特征值的位置属性，因此得到的所述分类特征图的各个位置的特征值也具有相应的位置属性。
但是，在将所述分类特征图通过分类器进行分类时，需要将所述分类特征矩阵展开为特征向量，也就是，涉及到所述分类特征图的特征值的按位置聚合，因此，期望提升所述分类特征图的各个特征值在按位置聚合时对于所述分类特征图的原特征流形的表达效果。
基于此，本申请的申请人计算所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数，表示为：以如下优化公式计算所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数；其中，所述优化公式为：
其中，fi是所述分类特征图中各个位置特征值，(xi，yi，zi)为所述分类特征图的各个位置特征值的位置坐标，且是所述分类特征图的所有特征值的全局均值，/>和分别代表将二维实数和三维实数映射为一维实数的函数，W、H和C分别是所述分类特征图的宽度、高度和通道数，log表示以2为底的对数函数，wi表示所述每个位置的特征值的位置信息图式场景注意力无偏估计因数。
这里，所述位置信息图式场景注意力无偏估计因数通过使用融合特征值相对于整体特征分布的高维空间位置的相对几何方向和相对几何距离的图式信息表示和高维特征本身的信息表示的更高阶的特征表达，来在特征值对整体特征分布的按位置聚合时进一步进行特征流形的形状信息聚合，以实现高维空间内的基于特征流形的各个子流形集合形状分布的场景几何的无偏估计，以准确表达特征图的流形形状的几何性质。这样，通过以所述位置信息图式场景注意力无偏估计因数对所述分类特征图的各个位置的特征值进行加权，就可以提升所述分类特征图的各个特征值在按位置聚合时对于所述分类特征图的原特征流形的表达效果，从而提升所述分类特征图通过分类器得到的分类结果的准确性。
其中，将所述校正后分类特征图展开为分类特征向量，包括：将所述校正后分类特征图按照行向量或列向量展开为所述分类特征向量。
进一步地，图8为根据本申请实施例的基于地形环境适配的无人机遥感信息采集方法中步骤174的子步骤的流程图，如图8所示，将所述分类特征向量通过所述分类器以得到所述分类结果，包括：1741，使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，1742，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
具体地，在步骤180中，基于所述分类结果，生成无人机飞行高度调整指令。值得一提的是，在本申请的技术方案中，在得到所述分类结果后，可基于所述分类结果，生成无人机飞行高度调整指令，也就是，基于影像数据的图像质量评估结果来生成无人机飞行高度调整指令，来提高所述无人机的高度设定和调整的目的性和适应性。
综上，基于本申请实施例的基于地形环境适配的无人机遥感信息采集方法100被阐明，其获取由部署于无人机的高清摄像头采集的地形拍摄图像；采用基于深度学习的人工智能技术，构建基于卷积神经网络模型的图像质量评估算法，以在图像质量评估时充分考虑地形影像数据中的地形语义特征，以提高图像质量评估与应用场景之间的适配性。
在本申请的一个实施例中，图9为根据本申请实施例的基于地形环境适配的无人机遥感信息采集系统的框图。如图9所示，根据本申请实施例的基于地形环境适配的无人机遥感信息采集系统200，包括：图像获取模块210，用于获取由部署于无人机的高清摄像头采集的地形拍摄图像；预处理模块220，用于对所述地形拍摄图像进行图像预处理以得到预处理后地形拍摄图像；深浅特征融合模块230，用于将所述预处理后地形拍摄图像通过包含深浅特征融合模块的卷积神经网络模型以得到地形特征图；特征图切分模块240，用于对所述地形特征图进行沿通道维度的特征图切分以得到多个地形子特征图；分组卷积模块250，用于对所述多个地形子特征图进行分组卷积以得到多个地形深度子特征图；通道重排模块260，用于将所述多个地形深度子特征图聚合为地形深度特征图，并对所述地形深度特征图进行通道重排以得到分类特征图；图像质量判断模块270，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示无人机的高清摄像头采集的地形拍摄图像的图像质量是否符合预定标准；和，调整指令生成模块280，用于基于所述分类结果，生成无人机飞行高度调整指令。
在一个具体示例中，在上述基于地形环境适配的无人机遥感信息采集系统中，所述图像预处理包括图像灰度化、图像降噪和直方图均衡化。
在一个具体示例中，在上述基于地形环境适配的无人机遥感信息采集系统中，所述深浅特征融合模块，包括：浅层提取单元，用于从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；深层提取单元，用于从所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征图；以及，融合单元，用于使用所述卷积神经网络模型的深浅特征融合模块融合所述浅层特征图和所述深层特征图以得到所述地形特征图。
在一个具体示例中，在上述基于地形环境适配的无人机遥感信息采集系统中，所述特征图切分模块，用于：对所述地形特征图进行均通道切分以得到所述多个地形子特征图，其中，所述多个地形子特征图中各个地形子特征图具有相同的尺寸。
在一个具体示例中，在上述基于地形环境适配的无人机遥感信息采集系统中，所述图像质量判断模块，包括：无偏估计因数计算单元，用于计算所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数；加权校正单元，用于以所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数作为权重分别对所述分类特征图中各个位置的特征值进行加权校正以得到校正后分类特征图；展开单元，用于将所述校正后分类特征图展开为分类特征向量；以及，分类结果单元，用于将所述分类特征向量通过所述分类器以得到所述分类结果。
在一个具体示例中，在上述基于地形环境适配的无人机遥感信息采集系统中，所述无偏估计因数计算单元，用于：以如下优化公式计算所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数；其中，所述优化公式为：
其中，fi是所述分类特征图中各个位置特征值，(xi，yi，zi)为所述分类特征图的各个位置特征值的位置坐标，且是所述分类特征图的所有特征值的全局均值，/>和分别代表将二维实数和三维实数映射为一维实数的函数，W、H和C分别是所述分类特征图的宽度、高度和通道数，log表示以2为底的对数函数，wi表示所述每个位置的特征值的位置信息图式场景注意力无偏估计因数。
在一个具体示例中，在上述基于地形环境适配的无人机遥感信息采集系统中，所述展开单元，用于：将所述校正后分类特征图按照行向量或列向量展开为所述分类特征向量。
在一个具体示例中，在上述基于地形环境适配的无人机遥感信息采集系统中，所述分类结果单元，包括：编码子单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类子单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
这里，本领域技术人员可以理解，上述基于地形环境适配的无人机遥感信息采集系统中的各个单元和模块的具体功能和操作已经在上面参考图1到图8的基于地形环境适配的无人机遥感信息采集方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的基于地形环境适配的无人机遥感信息采集系统200可以实现在各种终端设备中，例如用于基于地形环境适配的无人机遥感信息采集的服务器等。在一个示例中，根据本申请实施例的基于地形环境适配的无人机遥感信息采集系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于地形环境适配的无人机遥感信息采集系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于地形环境适配的无人机遥感信息采集系统200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于地形环境适配的无人机遥感信息采集系统200与该终端设备也可以是分立的设备，并且基于地形环境适配的无人机遥感信息采集系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
本申请还提供了一种计算机程序产品，所述计算机程序产品包括指令，当所述指令被执行时，以使得装置执行对应于上述方法中的操作。
在本申请的一个实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
应可以理解，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例的方法、系统、和计算机程序产品的流程图和/或框图来描述的。应理解可由计算机程序指令实现流程图和/或框图中的每一流程和/或方框、以及流程图和/或框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的步骤。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于地形环境适配的无人机遥感信息采集方法，其特征在于，包括：
获取由部署于无人机的高清摄像头采集的地形拍摄图像；
对所述地形拍摄图像进行图像预处理以得到预处理后地形拍摄图像；
将所述预处理后地形拍摄图像通过包含深浅特征融合模块的卷积神经网络模型以得到地形特征图；
对所述地形特征图进行沿通道维度的特征图切分以得到多个地形子特征图；
对所述多个地形子特征图进行分组卷积以得到多个地形深度子特征图；
将所述多个地形深度子特征图聚合为地形深度特征图，并对所述地形深度特征图进行通道重排以得到分类特征图；
将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示无人机的高清摄像头采集的地形拍摄图像的图像质量是否符合预定标准；和
基于所述分类结果，生成无人机飞行高度调整指令。
2.根据权利要求1所述的基于地形环境适配的无人机遥感信息采集方法，其特征在于，所述图像预处理包括图像灰度化、图像降噪和直方图均衡化。
3.根据权利要求2所述的基于地形环境适配的无人机遥感信息采集方法，其特征在于，将所述预处理后地形拍摄图像通过包含深浅特征融合模块的卷积神经网络模型以得到地形特征图，包括：
从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；
从所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征图；以及
使用所述卷积神经网络模型的深浅特征融合模块融合所述浅层特征图和所述深层特征图以得到所述地形特征图。
4.根据权利要求3所述的基于地形环境适配的无人机遥感信息采集方法，其特征在于，对所述地形特征图进行沿通道维度的特征图切分以得到多个地形子特征图，包括：对所述地形特征图进行均通道切分以得到所述多个地形子特征图，其中，所述多个地形子特征图中各个地形子特征图具有相同的尺寸。
5.根据权利要求4所述的基于地形环境适配的无人机遥感信息采集方法，其特征在于，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示无人机的高清摄像头采集的地形拍摄图像的图像质量是否符合预定标准，包括：
计算所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数；
以所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数作为权重分别对所述分类特征图中各个位置的特征值进行加权校正以得到校正后分类特征图；
将所述校正后分类特征图展开为分类特征向量；以及
将所述分类特征向量通过所述分类器以得到所述分类结果。
6.根据权利要求5所述的基于地形环境适配的无人机遥感信息采集方法，其特征在于，计算所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数，包括：以如下优化公式计算所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数；
其中，所述优化公式为：
其中，fi是所述分类特征图中各个位置特征值，xi，yi，zi为所述分类特征图的各个位置特征值的位置坐标，且是所述分类特征图的所有特征值的全局均值，/>和/>分别代表将二维实数和三维实数映射为一维实数的函数，W、H和C分别是所述分类特征图的宽度、高度和通道数，log表示以2为底的对数函数，wi表示所述每个位置的特征值的位置信息图式场景注意力无偏估计因数。
7.根据权利要求6所述的基于地形环境适配的无人机遥感信息采集方法，其特征在于，将所述校正后分类特征图展开为分类特征向量，包括：将所述校正后分类特征图按照行向量或列向量展开为所述分类特征向量。
8.根据权利要求7所述的基于地形环境适配的无人机遥感信息采集方法，其特征在于，将所述分类特征向量通过所述分类器以得到所述分类结果，包括：
使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
9.一种基于地形环境适配的无人机遥感信息采集系统，其特征在于，包括：
图像获取模块，用于获取由部署于无人机的高清摄像头采集的地形拍摄图像；
预处理模块，用于对所述地形拍摄图像进行图像预处理以得到预处理后地形拍摄图像；
深浅特征融合模块，用于将所述预处理后地形拍摄图像通过包含深浅特征融合模块的卷积神经网络模型以得到地形特征图；
特征图切分模块，用于对所述地形特征图进行沿通道维度的特征图切分以得到多个地形子特征图；
分组卷积模块，用于对所述多个地形子特征图进行分组卷积以得到多个地形深度子特征图；
通道重排模块，用于将所述多个地形深度子特征图聚合为地形深度特征图，并对所述地形深度特征图进行通道重排以得到分类特征图；
图像质量判断模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示无人机的高清摄像头采集的地形拍摄图像的图像质量是否符合预定标准；和
调整指令生成模块，用于基于所述分类结果，生成无人机飞行高度调整指令。
10.根据权利要求9所述的基于地形环境适配的无人机遥感信息采集系统，其特征在于，所述图像预处理包括图像灰度化、图像降噪和直方图均衡化。
CN202310624809.0A 2023-05-30 2023-05-30 基于地形环境适配的无人机遥感信息采集系统及方法 Active CN116630828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310624809.0A CN116630828B (zh) 2023-05-30 2023-05-30 基于地形环境适配的无人机遥感信息采集系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310624809.0A CN116630828B (zh) 2023-05-30 2023-05-30 基于地形环境适配的无人机遥感信息采集系统及方法

Publications (2)

Publication Number Publication Date
CN116630828A true CN116630828A (zh) 2023-08-22
CN116630828B CN116630828B (zh) 2023-11-24

Family

ID=87636354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310624809.0A Active CN116630828B (zh) 2023-05-30 2023-05-30 基于地形环境适配的无人机遥感信息采集系统及方法

Country Status (1)

Country Link
CN (1) CN116630828B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116954264A (zh) * 2023-09-08 2023-10-27 杭州牧星科技有限公司 分布式高亚音速无人机集群控制系统及其方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065326A (zh) * 2012-12-26 2013-04-24 西安理工大学 基于时-空多尺度运动注意力分析的目标检测方法
CN109376804A (zh) * 2018-12-19 2019-02-22 中国地质大学（武汉） 基于注意力机制和卷积神经网络高光谱遥感图像分类方法
US20190118945A1 (en) * 2017-10-24 2019-04-25 Loveland Innovations, LLC Crisscross boustrophedonic flight patterns for uav scanning and imaging
KR20190093285A (ko) * 2018-02-01 2019-08-09 주식회사 스칼라웍스 드론을 이용한 예술사진 촬영방법 및 그 기능을 갖는 드론
CN110456805A (zh) * 2019-06-24 2019-11-15 深圳慈航无人智能系统技术有限公司 一种无人机智能循迹飞行系统及方法
CN112464881A (zh) * 2020-12-11 2021-03-09 国网辽宁省电力有限公司抚顺供电公司 一种输电线路无人机光学遥感自主巡检方法
WO2021051278A1 (zh) * 2019-09-17 2021-03-25 深圳市大疆创新科技有限公司 地表特征识别方法、设备、无人机及计算机可读存储介质
US20210224512A1 (en) * 2020-01-17 2021-07-22 Wuyi University Danet-based drone patrol and inspection system for coastline floating garbage
CN113343929A (zh) * 2021-07-05 2021-09-03 北京鑫海宜科技有限公司 一种基于小波变换的无人机图像处理方法
CN113343930A (zh) * 2021-07-05 2021-09-03 北京鑫海宜科技有限公司 一种基于高斯去噪的无人机图像处理方法
CN113359810A (zh) * 2021-07-29 2021-09-07 东北大学 一种基于多传感器的无人机着陆区域识别方法
CN114677517A (zh) * 2022-05-30 2022-06-28 山东巍然智能科技有限公司 一种无人机用语义分割网络模型及图像分割识别方法
CN114719848A (zh) * 2022-01-25 2022-07-08 西安微电子技术研究所 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法
CN114842362A (zh) * 2022-05-19 2022-08-02 泰昌科技(杭州)有限公司 拖挂式无人机移动机场及其运行方法
CN115100552A (zh) * 2022-06-30 2022-09-23 电子科技大学 一种无人机遥感图像实时语义分割方法、介质以及设备
CN115690610A (zh) * 2022-09-15 2023-02-03 肖庆 一种基于图像匹配的无人机导航方法
CN115984672A (zh) * 2023-03-17 2023-04-18 成都纵横自动化技术股份有限公司 基于深度学习的高清图像内小目标的检测方法和装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065326A (zh) * 2012-12-26 2013-04-24 西安理工大学 基于时-空多尺度运动注意力分析的目标检测方法
US20190118945A1 (en) * 2017-10-24 2019-04-25 Loveland Innovations, LLC Crisscross boustrophedonic flight patterns for uav scanning and imaging
KR20190093285A (ko) * 2018-02-01 2019-08-09 주식회사 스칼라웍스 드론을 이용한 예술사진 촬영방법 및 그 기능을 갖는 드론
CN109376804A (zh) * 2018-12-19 2019-02-22 中国地质大学（武汉） 基于注意力机制和卷积神经网络高光谱遥感图像分类方法
CN110456805A (zh) * 2019-06-24 2019-11-15 深圳慈航无人智能系统技术有限公司 一种无人机智能循迹飞行系统及方法
WO2021051278A1 (zh) * 2019-09-17 2021-03-25 深圳市大疆创新科技有限公司 地表特征识别方法、设备、无人机及计算机可读存储介质
US20210224512A1 (en) * 2020-01-17 2021-07-22 Wuyi University Danet-based drone patrol and inspection system for coastline floating garbage
CN112464881A (zh) * 2020-12-11 2021-03-09 国网辽宁省电力有限公司抚顺供电公司 一种输电线路无人机光学遥感自主巡检方法
CN113343929A (zh) * 2021-07-05 2021-09-03 北京鑫海宜科技有限公司 一种基于小波变换的无人机图像处理方法
CN113343930A (zh) * 2021-07-05 2021-09-03 北京鑫海宜科技有限公司 一种基于高斯去噪的无人机图像处理方法
CN113359810A (zh) * 2021-07-29 2021-09-07 东北大学 一种基于多传感器的无人机着陆区域识别方法
CN114719848A (zh) * 2022-01-25 2022-07-08 西安微电子技术研究所 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法
CN114842362A (zh) * 2022-05-19 2022-08-02 泰昌科技(杭州)有限公司 拖挂式无人机移动机场及其运行方法
CN114677517A (zh) * 2022-05-30 2022-06-28 山东巍然智能科技有限公司 一种无人机用语义分割网络模型及图像分割识别方法
CN115100552A (zh) * 2022-06-30 2022-09-23 电子科技大学 一种无人机遥感图像实时语义分割方法、介质以及设备
CN115690610A (zh) * 2022-09-15 2023-02-03 肖庆 一种基于图像匹配的无人机导航方法
CN115984672A (zh) * 2023-03-17 2023-04-18 成都纵横自动化技术股份有限公司 基于深度学习的高清图像内小目标的检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
程成: "多特征融合的实时语义分割方法研究", 万方数据, pages 1 - 53 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116954264A (zh) * 2023-09-08 2023-10-27 杭州牧星科技有限公司 分布式高亚音速无人机集群控制系统及其方法
CN116954264B (zh) * 2023-09-08 2024-03-15 杭州牧星科技有限公司 分布式高亚音速无人机集群控制系统及其方法

Also Published As

Publication number Publication date
CN116630828B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN111832655B (zh) 一种基于特征金字塔网络的多尺度三维目标检测方法
CN108694386B (zh) 一种基于并联卷积神经网络的车道线检测方法
CN108717524B (zh) 一种基于双摄手机和人工智能系统的手势识别系统
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN112560623B (zh) 一种基于无人机的红树植物种类快速识别方法
CN114612835A (zh) 一种基于YOLOv5网络的无人机目标检测模型
CN116630828B (zh) 基于地形环境适配的无人机遥感信息采集系统及方法
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN112749654A (zh) 一种用于视频大雾监测的深度神经网络模型构建方法、系统及装置
CN113408584A (zh) Rgb-d多模态特征融合3d目标检测方法
CN115272791B (zh) 一种基于YoloV5的茶叶用多目标检测定位方法
CN113011308A (zh) 一种引入注意力机制的行人检测方法
CN111260687B (zh) 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
CN114626476A (zh) 基于Transformer与部件特征融合的鸟类细粒度图像识别方法及装置
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN117409339A (zh) 一种用于空地协同的无人机作物状态视觉识别方法
CN112668675B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN109919215B (zh) 基于聚类算法改进特征金字塔网络的目标检测方法
CN117252926B (zh) 基于视觉定位的手机壳辅料智能装配控制系统
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231031

Address after: 100007 floor 2, building 2, No. 1 and No. 3, Qinglong Hutong A, Dongcheng District, Beijing

Applicant after: CHINA HIGHWAY ENGINEERING CONSULTING Corp.

Applicant after: ZHONGZI DATA CO.,LTD.

Applicant after: CHINA COMMUNICATION CONSTRUCTION COMPANY FIRST HARBOUR CONSULTANTS Co.,Ltd.

Address before: 100007 floor 2, building 2, No. 1 and No. 3, Qinglong Hutong A, Dongcheng District, Beijing

Applicant before: CHINA HIGHWAY ENGINEERING CONSULTING Corp.

Applicant before: ZHONGZI DATA CO.,LTD.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant