CN116434060B - 一种利用无人机采集房屋信息自动提取方法及系统 - Google Patents

一种利用无人机采集房屋信息自动提取方法及系统 Download PDF

Info

Publication number
CN116434060B
CN116434060B CN202310233077.2A CN202310233077A CN116434060B CN 116434060 B CN116434060 B CN 116434060B CN 202310233077 A CN202310233077 A CN 202310233077A CN 116434060 B CN116434060 B CN 116434060B
Authority
CN
China
Prior art keywords
house
aerial vehicle
unmanned aerial
information
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310233077.2A
Other languages
English (en)
Other versions
CN116434060A (zh
Inventor
曹煌
李林
刘凯
朱宇
龚帅
朱小戌
陈跃辉
王亚梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuang Hui Da Design Co ltd
Original Assignee
Chuang Hui Da Design Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chuang Hui Da Design Co ltd filed Critical Chuang Hui Da Design Co ltd
Priority to CN202310233077.2A priority Critical patent/CN116434060B/zh
Publication of CN116434060A publication Critical patent/CN116434060A/zh
Application granted granted Critical
Publication of CN116434060B publication Critical patent/CN116434060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种利用无人机采集房屋信息自动提取方法，包括以下步骤：以待提取房屋信息的若干个房屋所在位置作为节点规划无人机拍摄路线；无人机根据拍摄路线到达每一个节点后，在该节点的正上方，以及从东南西北四个方向对该节点处的房屋拍摄图像；对每个节点所拍摄的房屋图像进行目标检测，排除背景信息对后续房屋信息提取的干扰；将每个节点拍摄的图像分别送入神经网络提取特征；基于神经网络的输出判断房屋类型并得到房屋信息。本发明的目标检测网络损失函数考虑形状要素，提高目标检测的结果的精度和鲁棒性；在房屋图像特征提取阶段，选择出最接近平均响应的特征用以加权计算新的特征，更好地融合不同特征向量用于房屋信息的提取。

Description

一种利用无人机采集房屋信息自动提取方法及系统
技术领域
本发明涉及房屋信息采集的技术领域，尤其涉及一种利用无人机采集房屋信息自动提取方法及系统。
背景技术
无人机是一种可以自主飞行的无人驾驶飞行器，它可以通过远程操控或自主飞行来完成任务。利用无人机采集房屋信息并自动提取是一种新兴技术。相比于传统人工采集房屋信息，如判断房屋为农用房，生产用房，住宅，空废房或坍塌房等，利用无人机进行房屋信息采集能够大幅度提高效率，因为无人机可以在短时间内对大量房屋进行拍摄。然而，无人机执行拍摄任务时，需要预先根据待拍摄房屋位置进行路径规划，常用的规划算法并未考虑房屋所在位置地形的影响。无人机对房屋进行拍摄后，利用目标检测算法对图像中房屋进行识别时，若不考虑房屋本身的形状特征，会影响目标检测的精度。同时，单一角度的拍摄可能无法充分反应房屋的特征，不利于准确提取房屋信息。
发明内容
有鉴于此，本发明提供一种利用无人机采集房屋信息自动提取方法及系统，目的在于：（1）使用考虑了房屋所在位置地形的影响规划无人机拍摄路线，提高房屋信息自动提取效率，同时还可以避免作业人员进行实地考察时带来的安全风险；（2）在使用目标检测算法对房屋进行识别时，考虑房屋的形状特征，提取检测精度；（3）综合不同视角下的房屋特征对房屋信息进行更精确的提取。
实现上述目的，本发明提供的一种利用无人机采集房屋信息自动提取方法，包括以下步骤：
S1：以待提取房屋信息的若干个房屋所在位置作为节点规划无人机拍摄路线；
S2：无人机根据拍摄路线到达每一个节点后，在该节点的正上方，以及从东南西北四个方向对该节点处的房屋拍摄图像；
S3：对每个节点所拍摄的房屋图像进行目标检测，排除背景信息对后续房屋信息提取的干扰；
S4：将每个节点拍摄的图像分别送入神经网络提取特征；
S5：基于神经网络的输出判断房屋类型并得到房屋信息。
作为本发明的进一步改进方法：
可选地，所述S1步骤中以待提取房屋信息的若干个房屋所在位置作为节点规划无人机拍摄路线，包括：
获取房屋所分布区域的地形数据，并对地形数据栅格化处理，栅格化处理的流程为：
给定一个二维矩阵，矩阵的行和列分别代表x坐标和y坐标，矩阵的每一个元素z表示该坐标下地形的高程，因此目标区域的地形和可以表示为：
；
其中N和M分别表示将目标区域地形栅格化后的行数和列数。
可选地，假设目标区域内房屋的坐标为，n代表房屋的数量，无人机地起始点坐标为/>，0代表起始点，无人机结束点坐标为，e代表结束点，使用全局规划算法寻找最佳的无人机拍摄路线，所述全局规划算法为：
S11：初始化开放列表和关闭列表。开放列表存储被拍摄的房屋，关闭列表存储已经拍摄过的房屋。无人机起点放入开放列表中，并且将起点的移动代价设置为0；
S12：在开放列表中找到移动代价最小的房屋，并将其从开放列表移动到关闭列表中，同时计算无人机从该房屋移动到邻近房屋的移动代价，所述移动代价的计算方式为：
；
；
；
其中，坐标的房屋为当前坐标为/>房屋的邻近房屋；/>为无人机起始点到坐标/>的房屋的代价；/>为无人机从坐标/>的房屋移动至结束点的代价，二者相加得到所述的移动代价；/>和/>分别代表坐标和坐标/>处的高程。
S13：对于被移动到关闭列表的每一个房屋，如果其邻居房屋不在开放列表中，则将相应的邻居房屋加入开放列表中。如果邻居房屋已经在开放列表中，则比较当前路径和之前计算的路径的长度，取较短的路径。
S14：重复步骤S12和S13，直到找到无人机结束点，此时关闭列表中每个房屋加入的顺序即为无人机拍摄路线顺序。
可选地，所述S2步骤中无人机根据拍摄路线到达每一个节点后，在该节点的正上方，以及从东南西北四个方向对该节点处的房屋拍摄图像，包括：
根据S1中规划的路线，无人机在到达每个节点后，可以使用自动控制系统将无人机的位置精确定位在该节点的正上方。然后，无人机可以使用其内置的相机拍摄图像，并将图像存储在其内部的存储设备中。此外，无人机还可以使用其内置的传感器来实现360度全景拍摄，即在每个节点处从东南西北四个方向对该节点处的房屋拍摄图像。这可以通过无人机内置的转动机构实现，例如云台或者控制机构，将相机稳定地旋转到所需的方向。
可选地，所述S3步骤中对每个节点所拍摄的房屋图像进行目标检测，排除背景信息对后续房屋信息提取的干扰，包括：
S31：采集S2中无人机拍摄的房屋照片，包括正上方以及东南西北四个方向的照片，并逐个输入至训练好的目标检测神经网络；
S32：目标检测神经网络的训练方式由以下损失函数决定：
；
；
；
；
其中，表示网络预测的检测框中心位置和长宽造成的损失；/>表示网络预测该目标为房屋的概率造成的损失；/>表示网络预测的检测框的形状造成的损失；S表示Yolo目标检测网络系列定义的网格数；/>表示如果该检测框有房屋，则其值为1，否则为0；/>表示该检测框没有房屋，则其值为1，否则为0；/>表示真实含有房屋的检测框中心位置横纵坐标以及宽高；/>表示网络预测出的检测框横纵坐标，宽高以及框内有房屋的概率；/>表示选出括号内的最大值；/>，/>和/>表示不同指标权重；
S33：得到目标检测神经网络的输出结果，并根据结果裁剪图像以排除背景信息对后续房屋信息提取的干扰，神经网络的输出结果为：
；
其中，0，1，2，3，4分别代表无人机拍摄的该房屋正上方，东方，南方，西方，北方图像。
可选地，所述S4步骤中将每个节点拍摄的图像分别送入神经网络提取特征，包括：
S41：将当前房屋正上方、东南西北四个方向，共五张根据S3结果裁剪后的图像输入到图像分类网络的特征提取层提取特征：
；
其中，，分别代表该房屋正上方，东方，南方，西方，北方，I表示输入的不同方位的图像；
S42：获得五张图像的特征后，计算加权特征并拼接所有特征。加权特征的计算方式为：
；
其中，用于计算不同图像特征的平均值，参数/>与特征的长度有关。特征的拼接方式为：
；
S43：将拼接后的特征送入房屋信息分类层，得到房屋属于各种类别的概率，并通过计算交叉熵优化神经网络参数，交叉熵的计算方式为：
；
其中，表示网络预测的类别造成的损失；T为房屋总的类别数；/>表示该房屋类别是否为第t类，是的话为1，否则为0；/>为网络预测的该房屋为第t类的概率。
可选地，所述S5步骤中基于神经网络的输出判断房屋类型并得到房屋信息，包括：
优化完成的根据S4设计的网络输出的结果中，概率最大的房屋类别即为当前节点下无人机拍摄的房屋所属的类别，将其作为该房屋获取到的信息记录到相应的数据库中。
为了解决上述问题，本发明提供一种利用无人机采集房屋信息自动提取系统，所述系统包括：
路径规划模块：以待提取房屋信息的每个房屋所在位置作为节点规划无人机拍摄路线；
图像拍摄模块：无人机根据路线到达每一个节点后，在该节点的正上方，以及从东南西北四个方向对该节点处的房屋拍摄图像；
目标检测模块：对每个节点拍摄的房屋图像进行目标检测，排除背景信息对后续房屋信息提取的干扰；
特征提取与融合模块：将每个节点拍摄的图像分别送入神经网络提取特征；
信息提取模块：基于神经网络的输出判断房屋类型并得到房屋信息。
本发明的有益效果为：
本发明提出的一种利用无人机采集房屋信息自动提取方法及系统，该技术在无人机的路径规划中考虑到了地形的起伏和坡度对无人机移动时的影响，更好地提高无人机飞行时的安全性与飞行效率。对无人机拍摄的图像进行目标检测时，目标检测网络的损失函数在常规的坐标准确性与分类准确性之外还考虑了形状要素，能够提高目标检测的结果的精度和鲁棒性。在房屋图像特征提取阶段，通过计算不同特征相对于其均值的响应来计算权重，选择出最接近平均响应的特征用以加权计算新的特征，能够更好地融合不同特征向量用于房屋信息的提取。
附图说明
图1为本发明一实施例的一种利用无人机采集房屋信息自动提取方法及系统的流程示意图；
图2为本发明一实施例的房屋信息提取神经网络示意图。
具体实施方式
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
为了实现上述目的，本发明提供了一种利用无人机采集房屋信息自动提取方法，包括以下步骤：
S1：以待提取房屋信息的若干个房屋所在位置作为节点规划无人机拍摄路线；
获取房屋所分布区域的地形数据，并对地形数据栅格化处理，栅格化处理的流程为：
给定一个二维矩阵，矩阵的行和列分别代表x坐标和y坐标，矩阵的每一个元素z表示该坐标下地形的高程，因此目标区域的地形和可以表示为：
；
其中N和M分别表示将目标区域地形栅格化后的行数和列数。
可选地，假设目标区域内房屋的坐标为，n代表房屋的数量，无人机地起始点坐标为/>，0代表起始点，无人机结束点坐标为，e代表结束点，使用全局规划算法寻找最佳的无人机拍摄路线，所述全局规划算法为：
S11：初始化开放列表和关闭列表。开放列表存储被拍摄的房屋，关闭列表存储已经拍摄过的房屋。无人机起点放入开放列表中，并且将起点的移动代价设置为0。
S12：在开放列表中找到移动代价最小的房屋，并将其从开放列表移动到关闭列表中，同时计算无人机从该房屋移动到邻近房屋的移动代价，所述移动代价的计算方式为：
；
；
；
其中，坐标的房屋为当前坐标为/>房屋的邻近房屋；/>为无人机起始点到坐标/>的房屋的代价；/>为无人机从坐标/>的房屋移动至结束点的代价，二者相加得到所述的移动代价；/>和/>分别代表坐标和坐标/>处的高程。
S13：对于被移动到关闭列表的每一个房屋，如果其邻居房屋不在开放列表中，则将相应的邻居房屋加入开放列表中。如果邻居房屋已经在开放列表中，则比较当前路径和之前计算的路径的长度，取较短的路径。
S14：重复步骤S12和S13，直到找到无人机结束点，此时关闭列表中每个房屋加入的顺序即为无人机拍摄路线顺序。
由于地形变化可能会对无人机的飞行造成影响，本发明在路径规划算法中纳入地形信息，能够确保无人机能够在安全的环境中执行飞行任务，保障飞行安全。
S2：无人机根据拍摄路线到达每一个节点后，在该节点的正上方，以及从东南西北四个方向对该节点处的房屋拍摄图像；
根据S1中规划的路线，无人机在到达每个节点后，可以使用自动控制系统将无人机的位置精确定位在该节点的正上方。然后，无人机可以使用其内置的相机拍摄图像，并将图像存储在其内部的存储设备中。此外，无人机还可以使用其内置的传感器来实现360度全景拍摄，即在每个节点处从东南西北四个方向对该节点处的房屋拍摄图像。这可以通过无人机内置的转动机构实现，例如云台或者控制机构，将相机稳定地旋转到所需的方向。
S3：对每个节点所拍摄的房屋图像进行目标检测，排除背景信息对后续房屋信息提取的干扰；
S31：采集S2中无人机拍摄的房屋照片，包括正上方以及东南西北四个方向的照片，并逐个输入至训练好的目标检测神经网络；
S32：目标检测神经网络的训练方式由以下损失函数决定：
；
；
；
；
其中，表示网络预测的检测框中心位置和长宽造成的损失；/>表示网络预测该目标为房屋的概率造成的损失；/>表示网络预测的检测框的形状造成的损失；S表示Yolo目标检测网络系列定义的网格数；/>表示如果该检测框有房屋，则其值为1，否则为0；/>表示该检测框没有房屋，则其值为1，否则为0；/>表示真实含有房屋的检测框中心位置横纵坐标以及宽高；/>表示网络预测出的检测框横纵坐标，宽高以及框内有房屋的概率；/>表示选出括号内的最大值；/>，/>和/>表示不同指标权重，本实施例中为5，1，1。
S33：得到目标检测神经网络的输出结果，并根据结果裁剪图像以排除背景信息对后续房屋信息提取的干扰，神经网络的输出结果为：
；
其中，0，1，2，3，4分别代表无人机拍摄的该房屋正上方，东方，南方，西方，北方图像。
常见的目标检测网络的损失函数用于检测房屋时，仅考虑了房屋的位置和类别信息，但房屋这一类型目标存在着独特的形状特征，因此如果只考虑位置信息，可能无法准确地将房屋识别出来，从而导致后续房屋信息自动提取的结果不准确。本发明在常见的损失函数的基础上，对房屋的形状也进行考量，从而实现更准确的房屋目标检测。
S4：将每个节点拍摄的图像分别送入神经网络提取特征；
S41：将当前房屋正上方、东南西北四个方向，共五张根据S3结果裁剪后的图像输入到图像分类网络的特征提取层提取特征：
；
其中，，分别代表该房屋正上方，东方，南方，西方，北方。I表示输入的不同方位的图像，特征提取层为ResNet-50分类网络。
S42：获得五张图像的特征后，计算加权特征并拼接所有特征，所述加权特征的计算方式为：
；
其中，用于计算不同图像特征的平均值，参数/>与特征的长度有关，，/>用于计算特征的长度。特征的拼接方式为：
；
S43：将拼接后的特征送入房屋信息分类层，得到房屋属于各种类别的概率，并通过计算交叉熵优化神经网络参数，房屋信息分类层由两个全连接层构成，交叉熵的计算方式为：
；
其中，表示网络预测的类别造成的损失；T为房屋总的类别数，本实施例中为 4；t=0，1，2，3，4，分别代表其他，农用房，生产用房，住宅，空废房，坍塌房；/>表示该房屋类别是否为第t类，是的话为1，否则为0；/>为网络预测的该房屋为第t类的概率。
房屋的外观会因不同的观察方位而产生差异，基于单方位的房屋图像的信息提取，可能会因为缺乏全面的信息而导致提取结果的不准确性。本发明使用的基于多方位的特征能够提供房屋不同观察角度下的信息，从而得到更加准确和鲁棒的自动化提取结果。
S5：基于神经网络的输出判断房屋类型并得到房屋信息。
优化完成的根据S4设计的网络输出的结果中，概率最大的房屋类别即为当前节点下无人机拍摄的房屋所属的类别，如农用房，生产用房，住宅，空废房，坍塌房等，将其作为该房屋获取到的信息记录到相应的数据库中。
实施例2：本发明还提供一种利用无人机采集房屋信息自动提取系统，所述系统包括：
路径规划模块：以待提取房屋信息的每个房屋所在位置作为节点规划无人机拍摄路线；
图像拍摄模块：无人机根据路线到达每一个节点后，在该节点的正上方，以及从东南西北四个方向对该节点处的房屋拍摄图像；
目标检测模块：对每个节点拍摄的房屋图像进行目标检测，排除背景信息对后续房屋信息提取的干扰；
特征提取与融合模块：将每个节点拍摄的图像分别送入神经网络提取特征；
信息提取模块：基于神经网络的输出判断房屋类型并得到房屋信息。

Claims (6)

1.一种利用无人机采集房屋信息自动提取方法，其特征在于，包括以下步骤：
S1：以待提取房屋信息的若干个房屋所在位置作为节点规划无人机拍摄路线；包括：
获取房屋所分布区域的地形数据，并对地形数据栅格化处理，所述栅格化处理的流程为：
给定一个二维矩阵，矩阵的行和列分别代表x坐标和y坐标，矩阵的每一个元素z表示该坐标下地形的高程，因此目标区域的地形和表示为：
；
其中N和M分别表示将目标区域地形栅格化后的行数和列数；
目标区域内房屋的坐标为，n代表房屋的数量，无人机地起始点坐标为/>，0代表起始点，无人机结束点坐标为/>，e代表结束点，使用全局规划算法寻找最佳的无人机拍摄路线，所述全局规划算法为：
S11：初始化开放列表和关闭列表；开放列表存储被拍摄的房屋，关闭列表存储已经拍摄过的房屋，无人机起点放入开放列表中，并且将起点的移动代价设置为0；
S12：在开放列表中找到移动代价最小的房屋，并将其从开放列表移动到关闭列表中，同时计算无人机从该房屋移动到邻近房屋的移动代价，所述移动代价的计算方式为：
；
；
；
其中，坐标的房屋为当前坐标为/>房屋的邻近房屋；/>为无人机起始点到坐标/>的房屋的代价；/>为无人机从坐标/>的房屋移动至结束点的代价，二者相加得到所述的移动代价；/>和/>分别代表坐标和坐标/>处的高程；
S13：对于被移动到关闭列表的每一个房屋，如果其邻居房屋不在开放列表中，则将相应的邻居房屋加入开放列表中；如果邻居房屋已经在开放列表中，则比较当前路径和之前计算的路径的长度，取较短的路径；
S14：重复步骤S12和S13，直到找到无人机结束点，此时关闭列表中每个房屋加入的顺序即为无人机拍摄路线顺序；
S2：无人机根据拍摄路线到达每一个节点后，在该节点的正上方，以及从东南西北四个方向对该节点处的房屋拍摄图像；
S3：对每个节点所拍摄的房屋图像进行目标检测，排除背景信息对后续房屋信息提取的干扰；
S4：将每个节点拍摄的图像分别送入神经网络提取特征；
S5：基于神经网络的输出判断房屋类型并得到房屋信息。
2.根据权利要求1所述的利用无人机采集房屋信息自动提取方法，其特征在于，所述步骤S2包括：
根据S1中规划的路线，无人机在到达每个节点后，控制无人机的位置定位在该节点的正上方进行360度全景拍摄，即在每个节点处通过无人机内置的转动机构将相机稳定地旋转到东南西北四个方向对该节点处的房屋拍摄图像。
3.根据权利要求1所述的利用无人机采集房屋信息自动提取方法，其特征在于，所述步骤S3包括：
S31：采集S2中无人机所拍摄的房屋图像，包括正上方以及东南西北四个方向的图像，并逐个输入至训练好的目标检测神经网络；
S32：所述目标检测神经网络的训练方式由以下损失函数决定：
；
；
；
；
其中，表示网络预测的检测框中心位置和长宽造成的损失；/>表示网络预测该目标为房屋的概率造成的损失；/>表示网络预测的检测框的形状造成的损失；S表示Yolo目标检测网络系列定义的网格数；/>表示如果该检测框有房屋，则其值为1，否则为0；/>表示该检测框没有房屋，则其值为1，否则为0；/>表示真实含有房屋的检测框中心位置横纵坐标以及宽高；/>表示网络预测出的检测框横纵坐标，宽高以及框内有房屋的概率；/>表示选出括号内的最大值；/>，和/>表示不同指标权重；
S33：得到目标检测神经网络的输出结果，并根据结果裁剪图像以排除背景信息对后续房屋信息提取的干扰，神经网络的输出结果为：
；
其中，0，1，2，3，4分别代表无人机拍摄的该房屋正上方，东方，南方，西方，北方图像。
4.根据权利要求1所述的利用无人机采集房屋信息自动提取方法，其特征在于，所述步骤S4包括：
S41：将当前房屋正上方、东南西北四个方向，共五张根据S3结果裁剪后的图像输入到图像分类网络的特征提取层提取特征：
；
其中，，分别代表该房屋正上方，东方，南方，西方，北方，I表示输入的不同方位的图像；
S42：获得五张图像的特征后，计算加权特征并拼接所有特征，所述加权特征的计算方式为：
；
其中，用于计算不同图像特征的平均值，参数/>与特征的长度有关，特征的拼接方式为：
；
S43：将拼接后的特征送入房屋信息分类层，得到房屋属于各种类别的概率，并计算交叉熵优化神经网络参数。
5.根据权利要求1所述的利用无人机采集房屋信息自动提取方法，其特征在于，所述步骤S5包括：
优化完成的根据S4设计的网络输出的结果中，概率最大的房屋类别即为当前节点下无人机拍摄的房屋所属的类别，将其作为该房屋获取到的信息记录到相应的数据库中。
6.一种利用无人机采集房屋信息自动提取系统，其特征在于，所述系统包括：
路径规划模块：以待提取房屋信息的每个房屋所在位置作为节点规划无人机拍摄路线；
图像拍摄模块：根据路线到达每一个节点后，在该节点的正上方，以及从东南西北四个方向对该节点处的房屋拍摄图像；
目标检测模块：对每个节点拍摄的房屋图像进行目标检测，排除背景信息对后续房屋信息提取的干扰；
特征提取与融合模块：将每个节点拍摄的图像分别送入神经网络提取特征；
信息提取模块：基于神经网络的输出判断房屋类型并得到房屋信息；
以实现如权利要求1-5任意一项所述的一种利用无人机采集房屋信息自动提取方法。
CN202310233077.2A 2023-03-13 2023-03-13 一种利用无人机采集房屋信息自动提取方法及系统 Active CN116434060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310233077.2A CN116434060B (zh) 2023-03-13 2023-03-13 一种利用无人机采集房屋信息自动提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310233077.2A CN116434060B (zh) 2023-03-13 2023-03-13 一种利用无人机采集房屋信息自动提取方法及系统

Publications (2)

Publication Number Publication Date
CN116434060A CN116434060A (zh) 2023-07-14
CN116434060B true CN116434060B (zh) 2023-09-15

Family

ID=87084503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310233077.2A Active CN116434060B (zh) 2023-03-13 2023-03-13 一种利用无人机采集房屋信息自动提取方法及系统

Country Status (1)

Country Link
CN (1) CN116434060B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741257A (zh) * 2018-12-25 2019-05-10 鸿视线科技(北京)有限公司 全景图全自动拍摄、拼接系统及方法
CN113688758A (zh) * 2021-08-31 2021-11-23 重庆科技学院 基于边缘计算的输气管道高后果区智能识别系统
CN114049573A (zh) * 2021-11-09 2022-02-15 上海建工四建集团有限公司 一种乡村在建住宅安全施工监管方法
CN115759749A (zh) * 2022-11-29 2023-03-07 中国联合网络通信集团有限公司 基于房屋结构的预警方法、装置和设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481720B2 (en) * 2019-12-04 2022-10-25 Wing Aviation Llc UAV balcony deliveries to multi-level buildings
CN111338382B (zh) * 2020-04-15 2021-04-06 北京航空航天大学 一种安全态势引导的无人机路径规划方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741257A (zh) * 2018-12-25 2019-05-10 鸿视线科技(北京)有限公司 全景图全自动拍摄、拼接系统及方法
CN113688758A (zh) * 2021-08-31 2021-11-23 重庆科技学院 基于边缘计算的输气管道高后果区智能识别系统
CN114049573A (zh) * 2021-11-09 2022-02-15 上海建工四建集团有限公司 一种乡村在建住宅安全施工监管方法
CN115759749A (zh) * 2022-11-29 2023-03-07 中国联合网络通信集团有限公司 基于房屋结构的预警方法、装置和设备

Also Published As

Publication number Publication date
CN116434060A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN103679674B (zh) 一种无人飞行器实时图像拼接方法及系统
CN111178148B (zh) 一种基于无人机视觉系统的地面目标地理坐标定位方法
CN106529538A (zh) 一种飞行器的定位方法和装置
CN105792353A (zh) 群智感知式WiFi信号指纹辅助的图像匹配室内定位方法
CN106092104A (zh) 一种室内机器人的重定位方法及装置
CN106371452A (zh) 一种飞行器限飞区域信息的获取、共享方法、装置及系统
CN113340277B (zh) 一种基于无人机倾斜摄影的高精度定位方法
CN106373433A (zh) 一种飞行器的飞行路线设置方法及装置
CN107168370A (zh) 输电线路多旋翼无人机精细智能巡检系统及其方法
CN115240093B (zh) 基于可见光和激光雷达点云融合的输电通道自动巡检方法
CN113743227A (zh) 基于切近摄影的岩体裂隙智能识别方法及系统
KR102262382B1 (ko) 무인기 기반 영상 취득의 광지역 공간정보 구축시스템
CN114972645A (zh) 一种三维重建方法、装置、计算机设备及存储介质
CN116434060B (zh) 一种利用无人机采集房屋信息自动提取方法及系统
US20210374975A1 (en) Detection of environmental changes to delivery zone
CN115019216B (zh) 实时地物检测和定位计数方法、系统及计算机
Dai et al. Vision-Based UAV Localization System in Denial Environments
Wang et al. Recognition and locating of damaged Poles in distribution network through images shot by unmanned aerial vehicle (UA V)
CN114399689A (zh) 基于多视角无人机图像的缺少定位设备的无人机定位方法
Bai et al. Application of unmanned aerial vehicle multi-vision image 3D modeling in geological disasters
Mylvaganam et al. Deep learning for arbitrary-shaped water pooling region detection on aerial images
CN111176316A (zh) 一种适用于古建筑的无人机倾斜摄影飞行系统
US11967091B2 (en) Detection of environmental changes to delivery zone
FAN et al. Intelligent antenna attitude parameters measurement based on deep learning ssd model
CN117593766B (zh) 基于无人机拍摄图像处理的野生动物种群数量的调查方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant