CN111582117A - 一种无人机违章建筑物巡检方法、设备及存储介质 - Google Patents

一种无人机违章建筑物巡检方法、设备及存储介质 Download PDF

Info

Publication number
CN111582117A
CN111582117A CN202010355577.XA CN202010355577A CN111582117A CN 111582117 A CN111582117 A CN 111582117A CN 202010355577 A CN202010355577 A CN 202010355577A CN 111582117 A CN111582117 A CN 111582117A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
building
violation
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010355577.XA
Other languages
English (en)
Inventor
詹炜
孙晨帆
张阳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze University
Original Assignee
Yangtze University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze University filed Critical Yangtze University
Priority to CN202010355577.XA priority Critical patent/CN111582117A/zh
Publication of CN111582117A publication Critical patent/CN111582117A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无人机违章建筑物巡检方法、设备及存储介质，所述方法包括获取无人机拍摄的违章建筑物视频，并从视频中获取训练数据，对所述训练数据进行处理和标注；构建训练神经网络，所述标注数据集进行训练，得到训练模型；控制无人机开始进行巡检；通过所述训练模型对无人机实时拍摄的图像进行运算得到所述图像中的违章建筑物类别和违章建筑物在所述图像中的相对坐标；根据所述图像中的各个违章建筑物的相对坐标规划出所述无人机的巡检路线，并控制所述无人机按照所述巡检路线进行巡检；判断所述无人机是否对一座建筑物巡检完毕，并在所述无人机巡检完毕时控制所述无人机返航。本发明可提高违章建筑的识别效率，及时发现违章建筑。

Description

一种无人机违章建筑物巡检方法、设备及存储介质
技术领域
本发明涉及违章建筑物检测技术领域，具体涉及一种无人机违章建筑物巡检方法、设备及存储介质。
背景技术
随着城市建设快速发展，违法建设现象层出不穷，违建行为限制了城市快速和谐发展。因此，尽早地主动地发现城市中存在的违章建筑并对其实行拆违监控具有重要意义。同时，在拆违监控中，能及时、准确、直观地掌握一段时间内城区建筑物的扩建、加盖状况同样尤为重要。
在技术手段上，违章建筑识别，关键在于检测建筑物变化情况，目前建筑物变化检测大部通过人工分析解释遥感图像。基于遥感影像的城市建筑物变化检测方法的主要缺点是：(1)效率低且易遗漏；(2)是一种对比方法，需要规划部门提供原始的建筑物规划数据用于对比，规划数据难以方便获得；(3)遥感影像成本高，分辨率低；(4)对比算法的很多参数和阈值需要人工定义，误码率高。
因而现有技术还有待于改进和提高。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种无人机违章建筑物巡检方法、设备及存储介质，可提高违章建筑的识别效率，及时发现违章建筑，降低管理成本，提升城市管理水平。
为了达到上述目的，本发明采取了以下技术方案：
一方面，本发明提供了一种无人机违章建筑物巡检方法，包括如下步骤：
获取无人机拍摄的违章建筑物视频，并从所述视频中获取训练数据，对所述训练数据进行处理和标注，以得到标注数据集；
构建训练神经网络，利用所述训练神经网络对所述标注数据集进行训练，得到训练模型；
控制无人机从预设最低高度位置并按照预设巡检方向开始进行巡检；
通过所述训练模型对无人机实时拍摄的图像进行运算得到所述图像中的违章建筑物类别和违章建筑物在所述图像中的相对坐标；
根据所述图像中的各个违章建筑物的相对坐标规划出所述无人机的巡检路线，并控制所述无人机按照所述巡检路线进行巡检；
判断所述无人机是否对一座建筑物巡检完毕，并在所述无人机巡检完毕时控制所述无人机返航。
优选的，所述的无人机违章建筑物巡检方法中，所述获取无人机拍摄的违章建筑物视频，并从所述视频中获取训练数据，对所述训练数据进行处理和标注，以得到标注数据集的步骤包括：
获取无人机在多个角度和多个距离拍摄的包含待检测违章建筑物在内的视频，并截取所述视频中的关键帧作为训练数据；
筛选出清晰并包含需要检测的违章建筑物的数据样本；
将筛选出的数据样本进行反转以及尺度和对比度的变化，以生成多个相似的图像数据；
对待检测的违章建筑物进行标注，以得到标注数据集。
优选的，所述的无人机违章建筑物巡检方法中，所述待检测的违章建筑物的标注至少包括现有房屋四周自建建筑物、屋顶自建建筑物、院落自建建筑物、阳台自建建筑物、占道搭建的固定亭棚以及占道搭建的房屋。
优选的，所述的无人机违章建筑物巡检方法中，采用Faster RCNN目标检测法构建训练神经网络。
优选的，所述的无人机违章建筑物巡检方法中，对所述标注数据集进行训练时，以COCO数据集作为所述神经网络的输入训练得到的权重值作为初始化参数来得到权重参数。
优选的，所述的无人机违章建筑物巡检方法中，所述根据所述图像中的各个违章建筑物的相对坐标规划出所述无人机的巡检路线，并控制所述无人机按照所述巡检路线进行巡检的步骤具体包括：
根据无人机的当前坐标以及各个违章建筑物的相对坐标控制所述无人机进行飞行，以使所述无人机依次飞行至各个违章建筑物的坐标位置，实现对各个违章建筑物的检测。
优选的，所述的无人机违章建筑物巡检方法中，所述判断所述无人机是否对一座建筑物巡检完毕，并在所述无人机巡检完毕时控制所述无人机返航的步骤包括：
判断所述无人机是否飞行至预设最高高度位置；
当所述无人机飞行至预设最高高度位置时，判断所述无人机是否完成建筑物的两侧巡检；
当所述无人机未完成建筑物的两侧巡检时，控制所述无人机飞行至所述建筑物的另一侧的预设最高高度处，并对所述建筑物的另一侧进行巡检；
当所述杆塔飞行至建筑物的另一侧的预设最低高度位置时，判断所述无人机完成一座建筑物的巡检，并控制所述无人机返航。
优选的，所述的无人机违章建筑物巡检方法还包括：
根据所述无人机的出发坐标、飞行距离以及剩余电量估算所述无人机返航所需的电量，并根据所述无人机返航所需的电量判断所述无人机是否需要返航。
另一方面，本发明还提供了一种无人机违章建筑物巡检设备，包括：处理器和存储器；
所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述处理器执行所述计算机可读程序时实现如上所述的无人机违章建筑物巡检方法中的步骤。
又一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的无人机违章建筑物巡检方法中的步骤。
相较于现有技术，本发明提供的无人机违章建筑物巡检方法、设备及存储介质，成本低，可辅助人力巡查，而且自动化程度高，通过无人机航测航拍科技、深度学习和视觉大数据识别技术的结合，为违章建筑的快速准确识别提供了新的检测和监控技术手段，可以助力城市管理部门提高违章建筑的识别效率，及时发现违章建筑，降低管理成本，提升城市管理水平。
附图说明
图1为本发明提供的无人机违章建筑物巡检方法的一较佳实施例的流程图；
图2为本发明提供的无人机违章建筑物巡检方法中所述步骤S100的一较佳实施例的流程图；
图3为本发明提供的无人机违章建筑物巡检方法中所述步骤S600的一较佳实施例的流程图；
图4为本发明无人机违章建筑物巡检程序的较佳实施例的运行环境示意图；
图5为本发明安装无人机违章建筑物巡检程序的系统较佳实施例的功能模块图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请参阅图1，本发明实施例提供的无人机违章建筑物巡检方法，包括如下步骤：
S100、获取无人机拍摄的违章建筑物视频，并从所述视频中获取训练数据，对所述训练数据进行处理和标注，以得到标注数据集。
本实施例中，由专业人员使用无人机多角度多距离拍摄包含待检测违章建筑物在内的视频，截取视频中的关键帧作为神经网络的训练数据，然后筛除图像数据中存在模糊、噪声明显以及不存在待检测目标的样本，确保每一张图片样本清晰的包含需要检测到的违章建筑物，此外，为了使后续的训练模型更精确，采用翻转，改变尺度，改变对比度的方法对原始图像进行扩充，生成相似的图像数据，以方便后续的神经网络的构建，然后对待检测的违章建筑物进行标注，得到标注数据集。具体的，所述步骤S100的具体流程图请参阅图2。
请参阅图2，其为所述步骤S100的具体流程图，包括如下步骤：
S101、获取无人机在多个角度和多个距离拍摄的包含待检测违章建筑物在内的视频，并截取所述视频中的关键帧作为训练数据；
S102、筛选出清晰并包含需要检测的违章建筑物的数据样本；
S103、将筛选出的数据样本进行反转以及尺度和对比度的变化，以生成多个相似的图像数据；
S104、对待检测的违章建筑物进行标注，以得到标注数据集。
优选的，所述待检测的违章建筑物的标注至少包括现有房屋四周自建建筑物、屋顶自建建筑物、院落自建建筑物、阳台自建建筑物、占道搭建的固定亭棚以及占道搭建的房屋。
S200、构建训练神经网络，利用所述训练神经网络对所述标注数据集进行训练，得到训练模型。
本实施例中，采用Faster RCNN目标检测法构建训练神经网络。具体的，训练采用批量处理，一个batch一次会处理多张图片，所以要求图片的尺寸保持一致为1024x 1024。如果输入图片的尺寸不满足要求的尺寸，网络会将较长的一边放缩到1024，短边用0填充至1024像素。主干网络采用残差网络，有效解决了网络加深导致的性能下降问题。残差网络的基本单元在输入和输出之间建立了一条直接的关联通道，这种结构也称之为‘跃迁’。如果输入和输出的通道数不同，残差网络采用1x1的卷积使输入的持一致为1024x 1024。如果输入图片的尺寸不满足要求的尺寸，网络会将较长通道数和输出通道数保持一致。图片进入主干网络后，在每一个STAGE都输出一个多维的特征图，为了兼具高层特征图语义强和低层特征图位置信息精确和分辨率高可检测小物体的优点，采用了特征金字塔网络结构，该网络结构将高层特征图上采样后再和1X1卷积后通道数相同的低层特征图通过按元素相加融合而成。融合特征图通过区域提议网络。首先遍历每层特征图，对每一层特征图进行逐像素的滑窗扫描生成锚框，每一层特征图对应一种大小的锚框，每一种大小的锚框又对应[0.5，1，2]三种不同的长宽比例。以1024x1024大小的原图为例，一共将产生约26万个锚框。得到26万个锚框之后需要区域提议网络学习区分哪些锚框包含有待检测物体，哪些不包括。其中锚框和真实box相交面积与两者面积之和的比(即IoU交并比)大于0.7的锚框称为正样本，IoU小于0.3的称为负样本，其余部分为无用样本。随后从正样本中选取128个，负样本中选取128个，共256个样本用于训练标记锚框。由于标记为正样本的锚框和真实box还存在一定的偏差，为了使预测box更接近真实box，还需要从这些样本中学习锚框和真实box之间的偏移量。原始锚框P加上偏移量精调之后的锚框称为预测锚框
Figure BDA0002473324440000071
预测锚框由原始锚框中心点坐标平移，然后缩放长宽得到。
Figure BDA0002473324440000072
Figure BDA0002473324440000073
Figure BDA0002473324440000074
Figure BDA0002473324440000075
将(1)(2)(3)(4)式和总得到式(5)
d*(P)＝W* TΦ5(P) (5)
其中Φ5表示输入候选提议网络的特征向量，W*表示要学习的参数，*表示(x,y,w,h)，d*(P)表示的是预测值。要让d*(P)和真实的偏移量t*(tx,ty,tw,th)差值最小，即损失函数：
Figure BDA0002473324440000081
通过前向传播计算损失值，反向传播更新权重W，达到训练参数的目的。
具体对所述标注数据集进行训练时，本发明实施例以COCO数据集作为所述神经网络的输入训练得到的权重值作为初始化参数来得到权重参数。本发明实施例采用迁移学习的方法，将COCO数据集预训练模型的参数作为初始化参数。COCO数据集包括91个类目标，328000个影像和2500000个label。以COCO数据集作为输入训练得到的权重值作为初始化参数能更快的获得更好的权重参数。
进一步来说，得到的26万个锚框经过训练后的区域提议网络会被区分为正样本和负样本，选择评分(置信率)最高的2000个正样本作为感兴趣区域(ROI)，将偏移量相对应的添加到选出的2000个锚框的坐标上，使ROI区域更加精确。这2000个ROI在返回前要做一次极大值抑制操作(NMS)，因为一个目标可能对应多个ROI，所以我们要去除多余的ROI。首先从这2000个ROI中选取置信率最高的ROI，然后计算其他的ROI和这个置信率最高的ROI之间的交并比(IoU)，如果IoU大于0.7则排除这些ROI，重复以上操作。经过NMS操作后，如果ROI不满2000通过补零的方式来填充。为了使预测框更加准确，需要对BOX做第二次精调。首先对第一次精调和NMS操作后的2000个锚框做进一步的筛选，去除用零填充的ROI；去除真实box中框住多个物体的BOX，剩下的ROI，如果和真实BOX的IoU大于0.5设为正样本，IoU小于0.5设为负样本，其中正样本设为50个，负样本设为150个，正负样本保持1：3的比例。对于50个正样本，计算出与它们IoU最大的真实BOX，将真实BOX的类标签赋给这个正样本；同时和区域提议网络一样计算这些正样本和真实BOX之间的偏移量，并返回这些正样本的类别和偏移量。第一次ROI精调，从原图映射到特征图，ROI再从特征图映射回原图，过程中会产生stride误差。为了减小这种误差，第二次正样本精调使用了ROI对齐方法。该方法先将正样本利用公式(7)映射到其对应的特征图上，用正样本的长和宽除以特征图步长得到正样本在特征图上的大小，然后将特征图上的正样本区域划分成为7x7的49块小区域，将每一块小区域划分成4等分，然后用双线性插值法计算4等分的中心点像素，取4个像素的最大值作为这一小块区域的像素值，49块小区域依次取到49个像素值，这49个像素组成7x7的特征图。ROI对齐方法操作过程中没有量化，而是采用浮点计算保留小数，特征图映射到原图的误差更小。
Figure BDA0002473324440000091
公式(7)中：w，h分别表示ROI宽度和高度；k是这个RoI应属于的特征层level；K0是w,h＝224,224时映射的level，一般取为4，即对应着P4，w,h取值224是因为ImageNet的标准图片大小是224x224，比如现在有一个ROI是112*112，则利用公式可以计算得到k＝3，即P3层。7x7的特征图经过全连接层和softmax分类返回class_id和box坐标。
在构建了神经网络后，将步骤S100中得到的标注数据集作为步骤S200中神经网络的输入，经过多次迭代训练反复调参，得到检测效果较好的模型，用以实现目标检测。具体实施时，将所述训练模型植入到无人机机载电脑中。
S300、控制无人机从预设最低高度位置并按照预设巡检方向开始进行巡检。
本实施例中，在得到了训练模型后，即可使所述无人机开始工作，具体实施时，可通过OnboardSDK自定义编程设定无人机飞行高度区间，以及巡检方向。然后，无人机开始对建筑物上的违章建筑物进行检测，对单独建筑物的巡检模式采用从建筑物一侧最低飞行高度开始自下而上巡检，当无人机按照最初预设的巡检方法飞行时，检测到建筑物，向建筑物方向靠近，通过无人机上设置的深度感知摄像头控制与建筑物的距离，防止发生碰撞，然后无人机开始实时拍摄图像。
S400、通过所述训练模型对无人机实时拍摄的图像进行运算得到所述图像中的违章建筑物类别和违章建筑物在所述图像中的相对坐标。
本实施例中，获取了无人机拍摄的实时图像后，将所述图像作为训练模型的输入，经过训练模型的运算后，输出图像中检测到的违章建筑物类别和该类别在图像中的相对坐标，并保存这一帧图像，将所述违章建筑物的相对坐标上传至后端。然后判断无人机是否位于建筑物侧面，具体的，神经网络检测到建筑物并返回其包围框的坐标，确定无人机位于塔身的侧面。
S500、根据所述图像中的各个违章建筑物的相对坐标规划出所述无人机的巡检路线，并控制所述无人机按照所述巡检路线进行巡检。
具体的，当得到了违章建筑物的相对坐标时，即可根据无人机的当前坐标来规划无人机的巡检路线，使无人机依次飞行至各个违章建筑物位置，进而引导无人机的飞行路径，以达到减少人工参与度的目的。具体的，所述步骤S500具体包括：
根据无人机的当前坐标以及各个违章建筑物的相对坐标控制所述无人机进行飞行，以使所述无人机依次飞行至各个违章建筑物的坐标位置，实现对各个违章建筑物的检测。
S600、判断所述无人机是否对一座建筑物巡检完毕，并在所述无人机巡检完毕时控制所述无人机返航。
本实施例中，无人机采用环绕塔身的方式进行巡检，从塔身一侧的最低飞行高度开始自下而上巡检，对飞机过程中检测到的电力器件记录其坐标并将检测结果实时上传到后端，检测完一侧后继续升至上限高度，然后飞跃杆塔至塔身的另一侧，开始由上而下检查杆塔的另一侧。所述步骤S600的具体流程如图3所示。
请参阅图3，其为所述步骤S600的具体流程图，包括：
S601、判断所述无人机是否飞行至预设最高高度位置；
S602、当所述无人机飞行至预设最高高度位置时，判断所述无人机是否完成建筑物的两侧巡检；
S603、当所述无人机未完成建筑物的两侧巡检时，控制所述无人机飞行至所述建筑物的另一侧的预设最高高度处，并对所述建筑物的另一侧进行巡检；
S604、当所述无人机飞行至建筑物的另一侧的预设最低高度位置时，判断所述无人机完成一座建筑物的巡检，并控制所述无人机返航。
进一步来说，当无人机需要检测多个建筑物时，在判断无人机完成一座建筑物的巡检时，控制所述无人机继续按照预设的巡检方向调转向前飞行，直至无人机的镜头内检测到另一座建筑物时，开始对另一座建筑物进行巡检。
优选的实施例中，所述方法还包括：
根据所述无人机的出发坐标、飞行距离以及剩余电量估算所述无人机返航所需的电量，并根据所述无人机返航所需的电量判断所述无人机是否需要返航。
具体来说，为了保证无人机能够正常返航，在无人机的飞行过程中，还需实时估算无人机返航所需的电量，当无人机返航的电量到达极限时，则控制所述无人机自动返航，以保证无人机的正常工作。
本发明成本低，可辅助人力巡查，而且自动化程度高，通过无人机航测航拍科技、深度学习和视觉大数据识别技术的结合，为违章建筑的快速准确识别提供了新的检测和监控技术手段，可以助力城市管理部门提高违章建筑的识别效率，及时发现违章建筑，降低管理成本，提升城市管理水平。
如图4所示，基于上述无人机违章建筑物巡检方法，本发明还相应提供了一种无人机违章建筑物巡检设备，所述无人机违章建筑物巡检设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该无人机电力违章建筑物设备包括处理器10、存储器20及显示器30。图4仅示出了无人机违章建筑物巡检设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述无人机违章建筑物巡检设备的内部存储单元，例如无人机违章建筑物巡检设备的硬盘或内存。所述存储器20在另一些实施例中也可以是所述无人机违章建筑物巡检设备的外部存储设备，例如所述无人机违章建筑物巡检设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括无人机违章建筑物巡检设备的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述无人机违章建筑物巡检设备的应用软件及各类数据，例如所述安装无人机违章建筑物巡检设备的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有无人机违章建筑物巡检程序40，该无人机违章建筑物巡检程序40可被处理器10所执行，从而实现本申请各实施例的无人机违章建筑物巡检方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述无人机违章建筑物巡检方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述无人机违章建筑物巡检设备的信息以及用于显示可视化的用户界面。所述无人机违章建筑物巡检设备的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中无人机违章建筑物巡检程序40时实现以下步骤：
获取无人机拍摄的违章建筑物视频，并从所述视频中获取训练数据，对所述训练数据进行处理和标注，以得到标注数据集；
构建训练神经网络，利用所述训练神经网络对所述标注数据集进行训练，得到训练模型；
控制无人机从预设最低高度位置并按照预设巡检方向开始进行巡检；
通过所述训练模型对无人机实时拍摄的图像进行运算得到所述图像中的违章建筑物类别和违章建筑物在所述图像中的相对坐标；
根据所述图像中的各个违章建筑物的相对坐标规划出所述无人机的巡检路线，并控制所述无人机按照所述巡检路线进行巡检；
判断所述无人机是否对一座建筑物巡检完毕，并在所述无人机巡检完毕时控制所述无人机返航。
所述获取无人机拍摄的违章建筑物视频，并从所述视频中获取训练数据，对所述训练数据进行处理和标注，以得到标注数据集的步骤包括：
获取无人机在多个角度和多个距离拍摄的包含待检测违章建筑物在内的视频，并截取所述视频中的关键帧作为训练数据；
筛选出清晰并包含需要检测的违章建筑物的数据样本；
将筛选出的数据样本进行反转以及尺度和对比度的变化，以生成多个相似的图像数据；
对待检测的违章建筑物进行标注，以得到标注数据集。
进一步地，所述待检测的违章建筑物的标注至少包括现有房屋四周自建建筑物、屋顶自建建筑物、院落自建建筑物、阳台自建建筑物、占道搭建的固定亭棚以及占道搭建的房屋。
进一步地，采用Faster RCNN目标检测法构建训练神经网络。
进一步地，对所述标注数据集进行训练时，以COCO数据集作为所述神经网络的输入训练得到的权重值作为初始化参数来得到权重参数。
进一步地，所述根据所述图像中的各个违章建筑物的相对坐标规划出所述无人机的巡检路线，并控制所述无人机按照所述巡检路线进行巡检的步骤具体包括：
根据无人机的当前坐标以及各个违章建筑物的相对坐标控制所述无人机进行飞行，以使所述无人机依次飞行至各个违章建筑物的坐标位置，实现对各个违章建筑物的检测。
进一步地，所述判断所述无人机是否对一座建筑物巡检完毕，并在所述无人机巡检完毕时控制所述无人机返航的步骤包括：
判断所述无人机是否飞行至预设最高高度位置；
当所述无人机飞行至预设最高高度位置时，判断所述无人机是否完成建筑物的两侧巡检；
当所述无人机未完成建筑物的两侧巡检时，控制所述无人机飞行至所述建筑物的另一侧的预设最高高度处，并对所述建筑物的另一侧进行巡检；
当所述无人机飞行至建筑物的另一侧的预设最低高度位置时，判断所述无人机完成一座建筑物的巡检，并控制所述无人机返航。
进一步的，当处理器10执行所述存储器20中无人机违章建筑物巡检程序40时还实现以下步骤：
根据所述无人机的出发坐标、飞行距离以及剩余电量估算所述无人机返航所需的电量，并根据所述无人机返航所需的电量判断所述无人机是否需要返航。
请参阅图5，其为本发明安装无人机违章建筑物巡检程序的系统较佳实施例的功能模块图。在本实施例中，安装无人机违章建筑物巡检程序的系统可以被分割成一个或多个模块，所述一个或者多个模块被存储于所述存储器20中，并由一个或多个处理器(本实施例为所述处理器10)所执行，以完成本发明。例如，在图5中，安装无人机违章建筑物巡检程序的系统可以被分割成数据获取模块21、训练模型获取模块22、无人机控制模块23、目标坐标获取模块24、无人机路线规划模块25和巡检完毕判断模块26。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述无人机违章建筑物巡检程序在所述无人机违章建筑物巡检设备中的执行过程。以下描述将具体介绍所述模块21-26的功能。
数据获取模块21，用于获取无人机拍摄的违章建筑物视频，并从所述视频中获取训练数据，对所述训练数据进行处理和标注，以得到标注数据集；
训练模型获取模块22，用于构建训练神经网络，利用所述训练神经网络对所述标注数据集进行训练，得到训练模型；
无人机控制模块23，用于控制无人机从预设最低高度位置并按照预设巡检方向开始进行巡检；
目标坐标获取模块24，用于通过所述训练模型对无人机实时拍摄的图像进行运算得到所述图像中的违章建筑物类别和违章建筑物在所述图像中的相对坐标；
无人机路线规划模块25，用于根据所述图像中的各个违章建筑物的相对坐标规划出所述无人机的巡检路线，并控制所述无人机按照所述巡检路线进行巡检；
巡检完毕判断模块26，用于判断所述无人机是否对一座建筑物巡检完毕，并在所述无人机巡检完毕时控制所述无人机返航。
所述数据获取模块21具体包括：
获取单元，用于获取无人机在多个角度和多个距离拍摄的包含待检测违章建筑物在内的视频，并截取所述视频中的关键帧作为训练数据；
筛选单元，用于筛选出清晰并包含需要检测的违章建筑物的数据样本；
扩充单元，用于将筛选出的数据样本进行反转以及尺度和对比度的变化，以生成多个相似的图像数据；。
标注单元，用于对待检测的违章建筑物进行标注，以得到标注数据集。
所述待检测的违章建筑物的标注至少包括现有房屋四周自建建筑物、屋顶自建建筑物、院落自建建筑物、阳台自建建筑物、占道搭建的固定亭棚以及占道搭建的房屋。
优选的，采用Faster RCNN目标检测法构建训练神经网络。
优选的，对所述标注数据集进行训练时，以COCO数据集作为所述神经网络的输入训练得到的权重值作为初始化参数来得到权重参数。
优选的，所述无人机路线规划模块25具体用于；
根据无人机的当前坐标以及各个违章建筑物的相对坐标控制所述无人机进行飞行，以使所述无人机依次飞行至各个违章建筑物的坐标位置，实现对各个违章建筑物的检测。
优选的，所述巡检完毕判断模块26包括：
第一判断单元，用于判断所述无人机是否飞行至预设最高高度位置；
第二判断单元，用于当所述无人机飞行至预设最高高度位置时，判断所述无人机是否完成建筑物的两侧巡检；
巡检单元，用于当所述无人机未完成建筑物的两侧巡检时，控制所述无人机飞行至所述建筑物的另一侧的预设最高高度处，并对所述建筑物的另一侧进行巡检；
第三判断单元，用于当所述无人机飞行至建筑物的另一侧的预设最低高度位置时，判断所述无人机完成一座建筑物的巡检，并控制所述无人机返航。
优选的，安装无人机违章建筑物巡检程序的系统还包括：
电量估算模块，用于根据所述无人机的出发坐标、飞行距离以及剩余电量估算所述无人机返航所需的电量，并根据所述无人机返航所需的电量判断所述无人机是否需要返航。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种无人机违章建筑物巡检方法，其特征在于，包括如下步骤：
获取无人机拍摄的违章建筑物视频，并从所述视频中获取训练数据，对所述训练数据进行处理和标注，以得到标注数据集；
构建训练神经网络，利用所述训练神经网络对所述标注数据集进行训练，得到训练模型；
控制无人机从预设最低高度位置并按照预设巡检方向开始进行巡检；
通过所述训练模型对无人机实时拍摄的图像进行运算得到所述图像中的违章建筑物类别和违章建筑物在所述图像中的相对坐标；
根据所述图像中的各个违章建筑物的相对坐标规划出所述无人机的巡检路线，并控制所述无人机按照所述巡检路线进行巡检；
判断所述无人机是否对一座建筑物巡检完毕，并在所述无人机巡检完毕时控制所述无人机返航。
2.根据权利要求1所述的无人机违章建筑物巡检方法，其特征在于，所述获取无人机拍摄的违章建筑物视频，并从所述视频中获取训练数据，对所述训练数据进行处理和标注，以得到标注数据集的步骤包括：
获取无人机在多个角度和多个距离拍摄的包含待检测违章建筑物在内的视频，并截取所述视频中的关键帧作为训练数据；
筛选出清晰并包含需要检测的违章建筑物的数据样本；
将筛选出的数据样本进行反转以及尺度和对比度的变化，以生成多个相似的图像数据；
对待检测的违章建筑物进行标注，以得到标注数据集。
3.根据权利要求2所述的无人机违章建筑物巡检方法，其特征在于，所述待检测的违章建筑物的标注至少包括现有房屋四周自建建筑物、屋顶自建建筑物、院落自建建筑物、阳台自建建筑物、占道搭建的固定亭棚以及占道搭建的房屋。
4.根据权利要求1所述的无人机违章建筑物巡检方法，其特征在于，采用Faster RCNN目标检测法构建训练神经网络。
5.根据权利要求4所述的无人机违章建筑物巡检方法，其特征在于，对所述标注数据集进行训练时，以COCO数据集作为所述神经网络的输入训练得到的权重值作为初始化参数来得到权重参数。
6.根据权利要求1所述的无人机违章建筑物巡检方法，其特征在于，所述根据所述图像中的各个违章建筑物的相对坐标规划出所述无人机的巡检路线，并控制所述无人机按照所述巡检路线进行巡检的步骤具体包括：
根据无人机的当前坐标以及各个违章建筑物的相对坐标控制所述无人机进行飞行，以使所述无人机依次飞行至各个违章建筑物的坐标位置，实现对各个违章建筑物的检测。
7.根据权利要求1所述的无人机违章建筑物巡检方法，其特征在于，所述判断所述无人机是否对一座建筑物巡检完毕，并在所述无人机巡检完毕时控制所述无人机返航的步骤包括：
判断所述无人机是否飞行至预设最高高度位置；
当所述无人机飞行至预设最高高度位置时，判断所述无人机是否完成建筑物的两侧巡检；
当所述无人机未完成建筑物的两侧巡检时，控制所述无人机飞行至所述建筑物的另一侧的预设最高高度处，并对所述建筑物的另一侧进行巡检；
当所述无人机飞行至建筑物的另一侧的预设最低高度位置时，判断所述无人机完成一座建筑物的巡检，并控制所述无人机返航。
8.根据权利要求1所述的无人机违章建筑物巡检方法，其特征在于，还包括：
根据所述无人机的出发坐标、飞行距离以及剩余电量估算所述无人机返航所需的电量，并根据所述无人机返航所需的电量判断所述无人机是否需要返航。
9.一种无人机违章建筑物巡检设备，其特征在于，包括：处理器和存储器；
所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述处理器执行所述计算机可读程序时实现如权利要求1-8任意一项所述的无人机违章建筑物巡检方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-8任意一项所述的无人机违章建筑物巡检方法中的步骤。
CN202010355577.XA 2020-04-29 2020-04-29 一种无人机违章建筑物巡检方法、设备及存储介质 Pending CN111582117A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010355577.XA CN111582117A (zh) 2020-04-29 2020-04-29 一种无人机违章建筑物巡检方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010355577.XA CN111582117A (zh) 2020-04-29 2020-04-29 一种无人机违章建筑物巡检方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111582117A true CN111582117A (zh) 2020-08-25

Family

ID=72124590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010355577.XA Pending CN111582117A (zh) 2020-04-29 2020-04-29 一种无人机违章建筑物巡检方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111582117A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434880A (zh) * 2020-12-10 2021-03-02 清研灵智信息咨询(北京)有限公司 基于深度学习的巡检路线规划及巡检人员管理系统
CN112954226A (zh) * 2021-05-11 2021-06-11 江苏瞭望神州大数据科技有限公司 一种识别在建工地的监测方法及系统
CN113378642A (zh) * 2021-05-12 2021-09-10 三峡大学 一种对农村违法占地建筑物进行检测的方法
CN113505643A (zh) * 2021-06-07 2021-10-15 浙江大华技术股份有限公司 违章目标物检测方法及相关装置
CN113657297A (zh) * 2021-08-20 2021-11-16 华能国际电力股份有限公司上海石洞口第二电厂 一种基于特征分析的作业违章智能识别方法及设备
CN113724117A (zh) * 2020-12-28 2021-11-30 京东城市(北京)数字科技有限公司 用于房屋异常使用识别的模型训练方法和装置
CN114035604A (zh) * 2021-09-27 2022-02-11 广州市赋安电子科技有限公司 一种视频监控和无人机空地联动的异常目标检测方法
CN114049573A (zh) * 2021-11-09 2022-02-15 上海建工四建集团有限公司 一种乡村在建住宅安全施工监管方法
CN114782805A (zh) * 2022-03-29 2022-07-22 中国电子科技集团公司第五十四研究所 一种面向无人机巡逻的人在环路混合增强目标识别方法
CN116721095A (zh) * 2023-08-04 2023-09-08 杭州瑞琦信息技术有限公司 一种航拍式的道路照明故障检测方法及装置
CN117935097A (zh) * 2024-03-25 2024-04-26 中冶建筑研究总院（深圳）有限公司 一种基于无人机壁面爬行的建筑物表面分析方法及系统
CN114049573B (zh) * 2021-11-09 2024-07-09 上海建工四建集团有限公司 一种乡村在建住宅安全施工监管方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108400554A (zh) * 2018-02-28 2018-08-14 国网山东省电力公司滨州供电公司 利用无人机巡检架空输电线路的方法
CN108496129A (zh) * 2017-04-28 2018-09-04 深圳市大疆创新科技有限公司 一种基于飞行器的设施检测方法及控制设备
CN110309763A (zh) * 2019-06-27 2019-10-08 复旦大学 一种基于卫星遥感图像的建筑物分类方法
CN110398982A (zh) * 2019-06-21 2019-11-01 万翼科技有限公司 一种无人机的巡检方法及系统
CN110619059A (zh) * 2019-08-13 2019-12-27 浙江工业大学 一种基于迁移学习的建筑物标定方法
US20200004272A1 (en) * 2018-06-28 2020-01-02 Skyyfish, LLC System and method for intelligent aerial inspection
CN110765900A (zh) * 2019-10-10 2020-02-07 安徽磐众信息科技有限公司 一种基于dssd的自动检测违章建筑方法及系统
CN110826476A (zh) * 2019-11-02 2020-02-21 国网浙江省电力有限公司杭州供电公司 识别目标物体的图像检测方法、装置、电子设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108496129A (zh) * 2017-04-28 2018-09-04 深圳市大疆创新科技有限公司 一种基于飞行器的设施检测方法及控制设备
CN108400554A (zh) * 2018-02-28 2018-08-14 国网山东省电力公司滨州供电公司 利用无人机巡检架空输电线路的方法
US20200004272A1 (en) * 2018-06-28 2020-01-02 Skyyfish, LLC System and method for intelligent aerial inspection
CN110398982A (zh) * 2019-06-21 2019-11-01 万翼科技有限公司 一种无人机的巡检方法及系统
CN110309763A (zh) * 2019-06-27 2019-10-08 复旦大学 一种基于卫星遥感图像的建筑物分类方法
CN110619059A (zh) * 2019-08-13 2019-12-27 浙江工业大学 一种基于迁移学习的建筑物标定方法
CN110765900A (zh) * 2019-10-10 2020-02-07 安徽磐众信息科技有限公司 一种基于dssd的自动检测违章建筑方法及系统
CN110826476A (zh) * 2019-11-02 2020-02-21 国网浙江省电力有限公司杭州供电公司 识别目标物体的图像检测方法、装置、电子设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
朱建伟 等: "基于倾斜摄影测量技术的无人机城市建筑监测系统在违建查找中的应用", 《工程勘察》 *
李昌鹏: "基于无人机影像的违章建筑检测方法研究", 《中国优秀硕士学位论文全文数据库 基础科学辑（月刊） 自然地理学和测绘学》 *
王利忠等: "基于深度学习的高分遥感影像乡镇建筑物识别方法", 《科研信息化技术与应用》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434880A (zh) * 2020-12-10 2021-03-02 清研灵智信息咨询(北京)有限公司 基于深度学习的巡检路线规划及巡检人员管理系统
CN113724117A (zh) * 2020-12-28 2021-11-30 京东城市(北京)数字科技有限公司 用于房屋异常使用识别的模型训练方法和装置
CN112954226A (zh) * 2021-05-11 2021-06-11 江苏瞭望神州大数据科技有限公司 一种识别在建工地的监测方法及系统
CN113378642A (zh) * 2021-05-12 2021-09-10 三峡大学 一种对农村违法占地建筑物进行检测的方法
CN113505643A (zh) * 2021-06-07 2021-10-15 浙江大华技术股份有限公司 违章目标物检测方法及相关装置
CN113657297A (zh) * 2021-08-20 2021-11-16 华能国际电力股份有限公司上海石洞口第二电厂 一种基于特征分析的作业违章智能识别方法及设备
CN114035604A (zh) * 2021-09-27 2022-02-11 广州市赋安电子科技有限公司 一种视频监控和无人机空地联动的异常目标检测方法
CN114035604B (zh) * 2021-09-27 2022-06-17 广州赋安数字科技有限公司 一种视频监控和无人机空地联动的异常目标检测方法
CN114049573A (zh) * 2021-11-09 2022-02-15 上海建工四建集团有限公司 一种乡村在建住宅安全施工监管方法
CN114049573B (zh) * 2021-11-09 2024-07-09 上海建工四建集团有限公司 一种乡村在建住宅安全施工监管方法
CN114782805A (zh) * 2022-03-29 2022-07-22 中国电子科技集团公司第五十四研究所 一种面向无人机巡逻的人在环路混合增强目标识别方法
CN116721095A (zh) * 2023-08-04 2023-09-08 杭州瑞琦信息技术有限公司 一种航拍式的道路照明故障检测方法及装置
CN116721095B (zh) * 2023-08-04 2023-11-03 杭州瑞琦信息技术有限公司 一种航拍式的道路照明故障检测方法及装置
CN117935097A (zh) * 2024-03-25 2024-04-26 中冶建筑研究总院（深圳）有限公司 一种基于无人机壁面爬行的建筑物表面分析方法及系统
CN117935097B (zh) * 2024-03-25 2024-05-31 中冶建筑研究总院（深圳）有限公司 一种基于无人机壁面爬行的建筑物表面分析方法及系统

Similar Documents

Publication Publication Date Title
CN111582117A (zh) 一种无人机违章建筑物巡检方法、设备及存储介质
CN111401146A (zh) 一种无人机电力巡检方法、设备及存储介质
US10546387B2 (en) Pose determination with semantic segmentation
Yang et al. Deep concrete inspection using unmanned aerial vehicle towards cssc database
CN111563442A (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN112668696A (zh) 一种基于嵌入式深度学习的无人机电网巡检方法和系统
US20230358533A1 (en) Instance segmentation imaging system
Hinz Detection and counting of cars in aerial images
CN109902610A (zh) 交通标志识别方法和装置
CN112001298B (zh) 行人检测方法、装置、电子设备和存储介质
CN109916415B (zh) 道路类型确定方法、装置、设备及存储介质
CN111860072A (zh) 泊车控制方法、装置、计算机设备及计算机可读存储介质
CN114677323A (zh) 一种室内动态场景下基于目标检测的语义视觉slam定位方法
CN114387576A (zh) 一种车道线识别方法、系统、介质、设备及信息处理终端
Guo et al. Surface defect detection of civil structures using images: Review from data perspective
CN112907583B (zh) 目标对象姿态选择方法、图像评分方法及模型训练方法
CN117496123A (zh) 一种基于无监督域自适应的目标检测模型自主进化方法
CN114627438A (zh) 目标检测模型生成方法、目标检测方法、设备及介质
Ma et al. Semantic geometric fusion multi-object tracking and lidar odometry in dynamic environment
CN116758421A (zh) 一种基于弱监督学习的遥感图像有向目标检测方法
CN116576861A (zh) 一种视觉语言导航方法、系统、装置及存储介质
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
CN113793373B (zh) 一种能见度检测方法、装置、设备及介质
CN114973038A (zh) 一种基于transformer的机场跑道线检测方法
CN115482277A (zh) 一种社交距离风险预警方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200825

RJ01 Rejection of invention patent application after publication