CN111947603A - 一种基于openmv的无人机阳台危险物鉴定系统和方法 - Google Patents

Abstract

本申请涉及一种基于openmv的无人机阳台危险物鉴定系统和方法。所述方法包括：视觉模块获取摄像头采集的待检测图像；视觉模块检测所述待检测图像中是否存在阳台护栏；视觉模块当所述待检测图片中存在阳台护栏时，则判断所述阳台护栏的边缘曲率是否发生突变；视觉模块当所述阳台护栏的边缘曲率发生突变时，则判定所述待检测图像中的阳台护栏上放置有物品。采用本方法能够准确识别阳台护栏是否放置有物品。

Description

一种基于openmv的无人机阳台危险物鉴定系统和方法

技术领域

本申请涉及人工智能技术领域，特别是涉及一种基于openmv的无人机阳台危险物鉴定系统和方法。

背景技术

高空坠物作为“悬在城市上空的痛”，造成财产损失和人员伤亡的案例不断被报道。在一些居民楼特别是老旧小区的阳台护栏，总是存在堆砌杂物、盆栽，甚至悬挂拖把的现象；这些放置在阳台上的物品，加剧了高中坠物的隐患，同时，由于无法准确判断具体侵权人，法律也无法妥善保障受害者的权利，因此需要对阳台护栏上是否放置的物品进行检测，消除潜在高空坠物风险，减少由高空坠物造成的不必要财产损失和人员伤亡。

发明内容

基于此，有必要针对上述技术问题，提供一种能够准确识别阳台护栏是否放置有物品的一种基于openmv的无人机阳台危险物鉴定系统和方法。

一种基于openmv的无人机阳台危险物鉴定方法，所述方法包括：

视觉模块获取摄像头采集的待检测图像；

视觉模块检测所述待检测图像中是否存在阳台护栏；

视觉模块当所述待检测图片中存在阳台护栏时，则判断所述阳台护栏的边缘曲率是否发生突变；

视觉模块当所述阳台护栏的边缘曲率发生突变时，则判定所述待检测图像中的阳台护栏上放置有物品。

在其中一个实施例中，所述视觉模块检测所述待检测图像中是否存在阳台护栏，包括：

视觉模块将所述待检测图片进行尺度变换得到预设尺度的中间处理图片；

视觉模块获取所述中间处理图片中的线段；

当存在两条线段之间的距离满足基于阳台护栏的宽度和长度生成的宽度条件以及长度条件时，则视觉模块判定所述待检测图片中存在阳台护栏。

在其中一个实施例中，所述视觉模块检测所述待检测图像中是否存在阳台护栏之后，还包括：

当所述待检测图片中不存在阳台护栏时，则无人机飞行控制模块继续控制无人机沿预设方向上升飞行。

在其中一个实施例中，所述视觉模块判断所述阳台护栏的边缘曲率是否发生突变之后，还包括：

当所述阳台护栏的边缘曲率未发生突变时，则视觉模块判定所述待检测图像中的阳台护栏上未放置有物品。

在其中一个实施例中，所述视觉模块判定所述待检测图像中的阳台护栏上放置有物品之后，还包括：

无人机飞行控制模块通过安装在无人机上的激光雷达装置采集所述无人机的高度，通过安装在无人机上的地理位置采集模块采集阳台地理位置；

无人机飞行控制模块将所述高度和阳台地理位置得到阳台位置；

无人机飞行控制模块将所获取的阳台位置发送至终端。

在其中一个实施例中，所述无人机飞行控制模块将所述高度和阳台地理位置得到阳台位置之后，还包括：

保存所述阳台位置；

所述无人机飞行控制模块将所获取的阳台位置发送至终端，包括：

当所述无人机返回至出发点时，无人机飞行控制模块将所获取的阳台位置发送至终端。

在其中一个实施例中，所述视觉模块获取摄像头采集的待检测图像之前，包括：

无人机飞行控制模块获取目标地理位置；

无人机飞行控制模块通过地理位置采集模块采集当前地理位置；

无人机飞行控制模块根据所述目标地理位置和所述当前地理位置规划无人机飞行路径；

无人机飞行控制模块根据所规划的路径控制所述无人机飞行至所述目标地理位置。

在其中一个实施例中，所述无人机飞行控制模块根据所规划的路径控制所述无人机飞行至所述目标地理位置之后，还包括：

无人机飞行控制模块通过安装在无人机上的激光雷达装置采集所述无人机的高度、距离所述目标地理位置的目标建筑的水平距离以及预设方向上的测量数据；

无人机飞行控制模块根据所述水平距离实时调整所述无人机与所述目标建筑之间的水平距离在预设范围内；

无人机飞行控制模块根据所述高度以及预设的阳台高度控制所述无人机的上升速度，以使得所述无人机在所述预设的阳台高度范围内按照第一速度飞行，不在所述预设的阳台高度范围内按照第二速度飞行，所述第二速度大于所述第一速度；

无人机飞行控制模块根据所述测量数据实现避障功能。

在其中一个实施例中，所述方法还包括：

当视觉模块判定所述待检测图像中的阳台护栏上放置有物品且获取到阳台位置，或者所述视觉模块判定所述待检测图像中的阳台护栏上未放置有物品时，则无人机飞行控制模块检测是否检测完目标建筑所有楼层；

当检测完所述目标建筑所有楼层，则无人机飞行控制模块判断是否检测完所有目标建筑；

当未检测完所有目标建筑，则获取下一目标建筑，并继续视觉模块获取摄像头采集的待检测图像；

当所述检测完所述目标建筑，则无人机飞行控制模块控制所述无人机返航至出发点。

在其中一个实施例中，所述方法还包括：

当未检测完所述目标建筑所有楼层，则无人机飞行控制模块获取预设的下一楼层，并控制所述无人机继续飞向下一楼层。

一种基于openmv的无人机阳台危险物鉴定系统，包括视觉模块，该视觉模块与无人机飞行控制模块相连接：

视觉模块用于获取摄像头采集的待检测图像；检测待检测图像中是否存在阳台护栏；当待检测图片中存在阳台护栏时，则判断阳台护栏的边缘曲率是否发生突变；当阳台护栏的边缘曲率发生突变时，则判定待检测图像中的阳台护栏上放置有物品；且视觉模块将判定待检测图像中的阳台护栏上放置有物品的结果发送至无人机飞行控制模块进行存储。

上述基于openmv的无人机阳台危险物鉴定系统和方法，通过无人机和视觉模块结合，在无人机飞至高空时，通过视觉模块对住户阳台护栏进行照片拍摄、图像处理、数据分析，可以准确判断住户阳台护栏是否放置物品，并及时通知住户进行处理，全面高效地解决了居民日常生活中潜在的高空坠物风险，在一定程度上保障了居民生活的安全。

附图说明

图1为一个实施例中基于openmv的无人机阳台危险物鉴定系统的系统结构图；

图2为一个实施例中基于openmv的无人机阳台危险物鉴定方法的流程示意图；

图3为另一个实施例中基于openmv的无人机阳台危险物鉴定方法的流程示意图；

图4为一个实施例中无人机侧视图；

图5为一个实施例中无人机俯视图。

其中，1、电机，2、数传，3、桨叶，4、飞控中心，5、北斗导航模块，6、电调，7、机架，8、MT9v034全局快门摄像头，9、电池，10，激光雷达

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的基于openmv的无人机阳台危险物鉴定方法，可以应用于如图1所示的应用环境中。其中，监控终端通过数据传输模块与无人机飞行控制模块(图中简称为飞控)进行通信。其中视觉模块可以通过摄像头采集待检测图像，并根据待检测图像判断是否存在阳台护栏；当待检测图片中存在阳台护栏时，则判断阳台护栏的边缘曲率是否发生突变，若发生图片，则判定待检测图像中的阳台护栏上放置有物品，并将判断结果发送至飞行控制模块，其中飞行控制模块可以获取惯性测量单元和北斗导航模块以及激光雷达模块的数据，以实时对无人机进行定位，并实现避障，此外飞行控制模块通过输出信号给电调，以使得电调控制电机，从而实现对无人机的飞行的控制。锂电池用于给无人机进行供电。其中，监控终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。

在一个实施例中，如图2所示，提供了一种基于openmv的无人机阳台危险物鉴定方法，包括以下步骤：

S201：视觉模块获取摄像头采集的待检测图像。

具体地，首先结合图1，一种基于openmv视觉模块的无人机检测阳台护栏物品放置的系统，该系统包括无人机本体、无人机飞行控制模块、openmv视觉模块、激光雷达模块、北斗导航模块、惯性测量单元、数传模块以及监控终端。利用锂电池对无人机模块的所有器件供电，保证各器件的正常工作。无人机飞行控制模块根据北斗导航规划的路径，输出方波信号给电调，电调对方波信号进行处理后驱动电机转动，调节飞行高度，同时采用激光雷达进行测距实现定高飞行，惯性测量单元保证飞行的平稳姿态，保证了无人机不同状态的顺利进行。无人机本体中央的无人机飞行控制模块与openmv视觉模块进行数据交换，无人机将开始检测的信号传递给openmv视觉模块，openmv视觉模块将拍摄的图片处理后，将存在放置物品的阳台护栏的位置信息传输至飞控进行存储，待无人机返航后，飞控将存储的信号经过数传模块传送到监控终端，监控终端提醒住户及时处理。

其中，如图1系统总框图，所示无人机本体，包括机架、动力装置以及安装在无人机中央的飞控。机架用于构成无人机基础架构以及搭载其他各个模块；动力装置包括电调和电机，无人机飞控中心在经过姿态解算后计算出油门数值，并实时传送给电调，电调根据接收到的油门值输出PWM信号给电机，驱动电机转动。同时锂电池给电调供电。

如图1系统总框图，所示openmv视觉模块，包括MT9v034全局快门摄像头和stm32H743芯片。openmv视觉模块中的MT9v034全局快门摄像头完成阳台图像数据的简单采集后，由openmv视觉模块中的stm32H743芯片对数据进行处理。

S202：视觉模块检测待检测图像中是否存在阳台护栏。

具体地，视觉模块检测待检测图像中是否存在阳台护栏可以根据预设的算法进行。

可选地，视觉模块检测待检测图像中是否存在阳台护栏可以包括：视觉模块将待检测图片进行尺度变换得到预设尺度的中间处理图片；视觉模块获取中间处理图片中的线段；当存在两条线段之间的距离满足基于阳台护栏的宽度和长度生成的宽度条件以及长度条件时，则视觉模块判定待检测图片中存在阳台护栏。其中预设尺度可以是无人机可以处理的图像的尺寸，例如本实施例中，视觉模块采用240像素*320像素形式。宽度条件可以是基于预设尺度的图像，阳台护栏的宽度范围所占的像素的个数，长度条件则是基于预设的图像，阳台护栏的长度范围所占的像素的个数。例如，在240像素*320像素形式下，宽度条件为30～60个像素，长度条件为100个像素，也就是说当所得图像数据中存在两条间距在30到60个像素点内的直线，且直线的长度均超过100像素点，则判定其为阳台护栏。

此外，视觉模块检测待检测图像中是否存在阳台护栏之后，还包括：当待检测图片中不存在阳台护栏时，则无人机飞行控制模块继续控制无人机沿预设方向上升飞行。即若扫描图片信息没有发现满足条件的直线，则飞机调制自身状态，往上继续缓慢飞行，直至发现满足条件的直线。这样首先控制无人机在预设的可能是阳台的范围的高度范围内以低速向上飞行，这样便于拍摄搞质量的图像，而在非阳台的范围则可以以高速飞行，提高处理的效率，

S203：视觉模块当待检测图片中存在阳台护栏时，则判断阳台护栏的边缘曲率是否发生突变。

S204：视觉模块当阳台护栏的边缘曲率发生突变时，则判定待检测图像中的阳台护栏上放置有物品。

阳台护栏判定完毕后，stm32H743芯片运行下一步算法分析阳台护栏边缘曲率是否存在突变。若存在突变，则判断阳台护栏上放置杂物，反之则没有放置。视觉模块判断阳台护栏的边缘曲率是否发生突变之后，还包括：当阳台护栏的边缘曲率未发生突变时，则视觉模块判定待检测图像中的阳台护栏上未放置有物品。

此外，可选地，若判定阳台护栏放置物品，将住户位置信息通过串口存储到飞控，随后进行下一楼层检验，重复上述步骤。当判定阳台护栏未放置物品，则直接进行下一楼层检验，重复上述步骤。

此外，可选地，当视觉模块判定待检测图像中的阳台护栏上放置有物品且获取到阳台位置，或者视觉模块判定待检测图像中的阳台护栏上未放置有物品时，则无人机飞行控制模块检测是否检测完目标建筑所有楼层；当检测完目标建筑所有楼层，则无人机飞行控制模块判断是否检测完所有目标建筑；当未检测完所有目标建筑，则获取下一目标建筑，并继续视觉模块获取摄像头采集的待检测图像；当检测完目标建筑，则无人机飞行控制模块控制无人机返航至出发点。当未检测完目标建筑所有楼层，则无人机飞行控制模块获取预设的下一楼层，并控制无人机继续飞向下一楼层。

上述基于openmv的无人机阳台危险物鉴定方法，通过无人机和视觉模块结合，在无人机飞至高空时，通过视觉模块对住户阳台护栏进行照片拍摄、图像处理、数据分析，可以准确判断住户阳台护栏是否放置物品，并及时通知住户进行处理，全面高效地解决了居民日常生活中潜在的高空坠物风险，在一定程度上保障了居民生活的安全。

可选地，视觉模块判定待检测图像中的阳台护栏上放置有物品之后，还包括：无人机飞行控制模块通过安装在无人机上的激光雷达装置采集无人机的高度，通过安装在无人机上的地理位置采集模块采集阳台地理位置；无人机飞行控制模块将高度和阳台地理位置得到阳台位置；无人机飞行控制模块将所获取的阳台位置发送至终端。

可选地，无人机飞行控制模块将高度和阳台地理位置得到阳台位置之后，还包括：保存阳台位置；无人机飞行控制模块将所获取的阳台位置发送至终端，包括：当无人机返回至出发点时，无人机飞行控制模块将所获取的阳台位置发送至终端。

如图1系统总框图，所示北斗导航模块，采用螺旋天线技术，在定位精度上能达到亚米级以及厘米级。在无人机起飞后，该模块将所测得无人机经纬度以及速度通过串口发送至无人机飞控，在无人机飞控，根据之前踩点的目标楼位置以及获取的当前位置，通过数据的处理规划出无人机的最佳飞行路径，配合无人机的自动避障功能，使无人机飞行至目标位置。例如，视觉模块获取摄像头采集的待检测图像之前，包括：无人机飞行控制模块获取目标地理位置；无人机飞行控制模块通过地理位置采集模块采集当前地理位置；无人机飞行控制模块根据目标地理位置和当前地理位置规划无人机飞行路径；无人机飞行控制模块根据所规划的路径控制无人机飞行至目标地理位置。

如图1系统总框图，所示激光雷达模块，采用低功率的红外线激光器作为发射光源，实现对周围环境的360度全方位扫描测距检测，同时，其采样频率可达每秒8000次，为无人机飞行过程中7提供足够的时间去避障以及定高定距反应。其中取方向垂直向下的测距数据作为定高的数据传送给无人机飞控中心，而在机头水平方向一定的角度内取各角度对应的数据，角度以及对应角度的距离通过三角函数可计算出每个方向测得点与无人机的垂直距离。将此数据传送给无人机飞控中心，并在无人机飞控中心对以上水平各方向的垂直距离进行数据融合，以此作为无人机与阳台的距离，用于无人机与阳台之间距离的保持。而其他方向上的测量数据则数据传送给无人机飞控中心，用于简单避障功能的数据需要。例如，无人机飞行控制模块根据所规划的路径控制无人机飞行至目标地理位置之后，还包括：无人机飞行控制模块通过安装在无人机上的激光雷达装置采集无人机的高度、距离目标地理位置的目标建筑的水平距离以及预设方向上的测量数据；无人机飞行控制模块根据水平距离实时调整无人机与目标建筑之间的水平距离在预设范围内；无人机飞行控制模块根据高度以及预设的阳台高度控制无人机的上升速度，以使得无人机在预设的阳台高度范围内按照第一速度飞行，不在预设的阳台高度范围内按照第二速度飞行，第二速度大于第一速度；无人机飞行控制模块根据测量数据实现避障功能。

如图1系统总框图，所示数传模块，用于将无人机数据的传出和监控终端接收。匹配好的两个数传模块，一个与无人机的串口连接通信，负责发送无人机数据。另一个连接在监控终端电脑上，负责接收无人机数据到电脑上，实现飞机与外部无线通信。其中无人机飞控采集无人机通过姿态传感器的姿态数据与openmv视觉模块采集的标志位都通过飞控中心处理后传给数传发送模块进行实时传输，数传接收模块接收后，由监控终端显示。

如图1系统总框图，所示监控终端，用于接收来自数传模块的数据信息，并派工作人员及时上门提醒阳台住户，解决高空坠物危险。

如图1系统总框图，利用锂电池对无人机模块的所有器件供电，保证各器件的正常工作；飞控根据北斗导航规划的路径，输出方波信号给电调，电调对方波信号进行处理后驱动电机转动，调节飞行高度，同时采用激光雷达进行测距实现定高飞行和惯性测量单元保证飞行的平稳姿态，保证了无人机不同状态的顺利进行；无人机本体中央的飞控与openmv视觉模块进行数据交换，无人机将开始检测的信号传递给openmv视觉模块，openmv视觉模块将拍摄的图片处理后，将存在放置物品的阳台护栏的位置信息传输至飞控进行存储，待无人机返航后，飞控将存储的信号经过数传模块传送到监控终端，监控终端提醒住户及时处理。

如图3所示，一种基于openmv视觉模块的无人机检测阳台护栏物品放置的系统工作流程图。无人机首先在出发点进行自检，自检正常后，无人机起飞，同时开启无人机自主避障，并按照北斗导航模块规划的路径到达指定楼层后，使用电调和电机的配合以及激光雷达使无人机定点飞行，使用openmv视觉模块中的MT9v034全局快门摄像头对住户阳台进行拍摄后，由openmv中的stm32H743芯片对拍摄图像进行处理，当所得图像数据中存在两条间距在30到60个像素点内的直线时，且直线的长度都超过100像素点，则判定其为阳台护栏；再通过数据分析阳台护栏边缘曲率是否存在突变来判断阳台护栏上是否放置物品；若有物品放置，openmv视觉模块则将检测信息传至飞控保存。飞控按照北斗导航模块规划的路径飞往下一层，直至整栋楼检测结束无人机返回出发点后，将所检测到的所有住户位置信息传至监控终端，监控终端对住户进行提醒，及时处理阳台护栏放置的物品。

总体而言，本发明的方法包括如下步骤：

S1、系统初始化，无人机自检，无人机起飞，开启激光雷达避障。

S2、通过北斗导航模块获得自身北斗经纬度位置，再结合飞控内预踩点楼目标经纬度数组，通过路径规格功能，计算出一条最安全快捷的路线。

S3、到达目标位置后，无人机以楼层高度数组预踩点的高度信息为目标高度，激光雷达测得的数据为当前进行定高，配合低通滤波防止可能出现的数据波动导致无人机姿态出现不稳。

S4、在无人机定高飞行的过程中，通过激光雷达获得无人机与正前方的建筑物的距离，使之保持在一个设定的范围内，从而保证后面openmv摄像头模块获取像素点的规模的一致性。

S5、无人机飞行至设定的所需最低高度后，开始缓慢上升飞行，所搭载的openmv摄像头模块开启识别功能，对所获得的图像经行二值化处理，经过处理之后的图像将会只存在两个亮度值状态，即黑(值为0)和白(值为255)，根据摄像头获得前方视野的像素点，判断目标视野内是否存在阳台护栏。

S6、当摄像头模块判断视野中存在阳台护栏后，摄像头模块对图像中所获得的阳台护栏区域通过数据分析阳台护栏边缘曲率是否存在突变点在判断阳台护栏是否存在杂物。

S7、检测结果分为2种，无人机根据检测结果执行不同的任务。若检测到阳台护栏没有存在杂物，则无人机切换飞控内数组的下一个数据为设定的最低高度，执行下一层阳台的杂物检测。若检测到阳台存在杂物，则保存摄像头模块当前照片，以及无人机当前位置信息。执行保存操作后，无人机切换飞控内楼层高度数组的下一个数据为设定的最低高度，执行下一层阳台的杂物检测。

S8、在无人机切换飞控内楼层高度数组数据时，若超出楼层高度数组的数据容量，则认为该栋楼已全部完成检测，则切换北斗预踩点楼数组下一个数据为目标经纬度位置，再一次经行北斗导航路径规划，使无人机自动飞行至下一栋的检测位置，开始检测任务

S9、在无人机切换飞控内预踩点楼数组数据时，若超出楼数数组的数据容量，则认为检测任务全部完成，此时开启无人机自动返航功能，返回地面站，通过数传模块将检测结果导出。

如图4和图5所示，电池9给无人机搭载器件电机1、电调6、飞控中心4、MT9v034全局快门摄像头8、激光雷达模块10以及数传模块2供电，保证其各组件的正常工作；MT9v034全局快门摄像头8tm32芯片构成openmv视觉模块，用于住户阳台照片拍摄、图像处理、以及数据传输至飞控中心4。飞控中心4存储openmv视觉模块传来的数据，以便返航后将存在物品放置阳台的位置信息传至监控终端；电调6接收到飞控中心4发来的信号来控制电流的大小，进而控制电机6和桨叶3的转速，实现高度的调节。

本申请通过无人机和openmv视觉模块结合，在无人机飞至高空时，通过openmv视觉模块对住户阳台护栏进行照片拍摄、图像处理、数据分析，可以准确判断住户阳台护栏是否放置物品，并及时通知住户进行处理，全面高效地解决了居民日常生活中潜在的高空坠物风险，在一定程度上保障了居民生活的安全。

本申请采用stm32H743作为openmv视觉模块的芯片，以400Mhz的主频率以及python的编程方式为拍摄图片的数据处理提供了保障。

本申请中openmv视觉模块采用了MT9v034全局快门摄像头，可以保证处于运动状态中无人机的拍摄效果，有利于图像处理的准确性。

本申请采用激光雷达进行测距，具有高精度的特点，使无人机顺利完成避障和定高工作。

本申请采用无人机北斗导航模块，可以对无人机飞行路径进行规划，使无人机拍摄照片时处于正确位置，保证检测信息的正确性。同时使无人机完成一栋楼检测后可正确返回。

应该理解的是，虽然图2和图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，提供了一种基于openmv的无人机阳台危险物鉴定系统，包括视觉模块，该视觉模块与无人机飞行控制模块相连接。其中，视觉模块用于获取摄像头采集的待检测图像；检测待检测图像中是否存在阳台护栏；当待检测图片中存在阳台护栏时，则判断阳台护栏的边缘曲率是否发生突变；当阳台护栏的边缘曲率发生突变时，则判定待检测图像中的阳台护栏上放置有物品。且视觉模块将判定待检测图像中的阳台护栏上放置有物品的结果发送至无人机飞行控制模块进行存储。

其中，基于openmv的无人机阳台危险物鉴定系统包括无人机本体、openmv视觉模块、激光雷达模块、北斗导航模块、数传模块以及监控终端。其特征在于：无人机搭载openmv视觉模块、激光雷达模块、北斗导航模块、数传模块，用于住户阳台护栏物品放置的检测与数据传输至监控终端，以便放置在阳台护栏上物品的有效清理。无人机本体包括机架、动力装置以及安装在无人机中央的飞控。

机架为十字形，采用碳纤维复合材料制成，具有高比强度、设计性好、结构尺寸稳定性好、抗疲劳断裂性好和可大面积整体成型，以及特殊的电磁性能和吸波隐身的特点，可使无人机具有良好结构特性的同时在搭载较多的设备。锂电池用于给无人机及其搭载模块供电。

动力装置由电调和电机组成，在十字形机架的每个端点的上方安装一个电机，机臂上绑有电调。飞控输出方波信号给电调，电调对方波信号进行处理后驱动电机转动，实现高度的调节。

飞控安装在无人机中央，包括主控芯片、陀螺仪、加速度计、地磁传感器。

采用TM4C123芯片，负责接收和存储openmv模块传来的信号，再通过姿态解算和PID调节算法，输出信号给电调，电调驱动电机进行相应转动，实现对无人机的飞行控制。

陀螺仪、加速度计、地磁传感器用于根据当前需要提供准确的方位、水平、位置、速度和加速度等信号，传递给飞控中的主控芯片进行数据融合处理，稳定无人机飞行姿态。

openmv视觉模块安装在无人机底部，包括MT9v034全局快门摄像头、stm32H743芯片。openmv视觉模块采用串口收发数据的方式与无人机进行通信。通过串口接收来自openmv视觉模块是否处理完图片的信息后，传送给无人机，以便无人机切换模式进行下一层楼的检测。而阳台护栏有无物品的结果通过openmv视觉模块发送给飞控，飞控保存住户位置信息待返航后发送至监控终端。

MT9v034全局快门摄像头用于无人机对阳台护栏进行拍摄，具有卓越的画质和低照度表现的优点，可使处于运动中的无人机拍摄的更加清晰。MT9v034全局快门摄像头可以保证对相对运动的物体具有良好拍摄效果，从而确保了无人机飞行过程中拍摄照片的清晰程度。

stm32H743芯片用于对MT9v034全局快门摄像头所拍摄图片进行图像处理，通过图像数据判定阳台护栏以及护栏边缘是否存在曲率突变，来判断阳台护栏上是否放置物品。

激光雷达安装在无人机底部，用于测距，保证与建筑物之间的合适距离，确保飞机在飞行途中安全避障，保证无人机飞行在指定的高度，提高检测精确度。采用激光雷达测距，能精确测量无人机当前位置与障碍物位置或者地面之间的距离，使无人机在飞行过程中能够较好的避障和定高。

无人机北斗导航模块对无人机路径进行规划，保证了无人机从出发点到检测楼层的正确飞行、拍摄图像时的正确角度以及检测完毕后能够正确回到出发点后开始下一栋楼的检测。采用北斗导航模块对无人机路径进行规划，保证了无人机从出发点到检测楼层的正确飞行、拍摄图像时的正确角度以及检测完毕后能够正确回到出发点。

数传模块用于将无人机openmv视觉模块采集到的住户阳台位置信息传递给监控终端。

监控终端收到无人机传来住户阳台位置信息后，立即提醒住户及时清理，保证阳台护栏物品放置问题的有效解决。

在其中一个实施例中，视觉模块还用于将待检测图片进行尺度变换得到预设尺度的中间处理图片；获取中间处理图片中的线段；当存在两条线段之间的距离满足基于阳台护栏的宽度和长度生成的宽度条件以及长度条件时，则判定待检测图片中存在阳台护栏。

在其中一个实施例中，视觉模块在检测待检测图像中是否存在阳台护栏之后，当待检测图片中不存在阳台护栏时，将待检测图片中不存在阳台护栏的结果发送至无人机飞行控制模块，从而无人机飞行控制模块用于继续控制无人机沿预设方向上升飞行。

在其中一个实施例中，视觉模块在判断阳台护栏的边缘曲率是否发生突变之后，当阳台护栏的边缘曲率未发生突变时，则视觉模块还用于判定待检测图像中的阳台护栏上未放置有物品。

在其中一个实施例中，视觉模块在判定待检测图像中的阳台护栏上放置有物品之后，并将判定待检测图像中的阳台护栏上放置有物品发送至无人机飞行控制模块，该无人机飞行控制模块还用于通过安装在无人机上的激光雷达装置采集无人机的高度，通过安装在无人机上的地理位置采集模块采集阳台地理位置；将高度和阳台地理位置得到阳台位置；将所获取的阳台位置发送至终端。

在其中一个实施例中，无人机飞行控制模块还用于保存阳台位置；当无人机返回至出发点时，将所获取的阳台位置发送至终端。

在其中一个实施例中，视觉模块获取摄像头采集的待检测图像之前，无人机飞行控制模块还用于获取目标地理位置；通过地理位置采集模块采集当前地理位置；根据目标地理位置和当前地理位置规划无人机飞行路径；根据所规划的路径控制无人机飞行至目标地理位置。

在其中一个实施例中，无人机飞行控制模块根据所规划的路径控制无人机飞行至目标地理位置之后，还用于通过安装在无人机上的激光雷达装置采集无人机的高度、距离目标地理位置的目标建筑的水平距离以及预设方向上的测量数据；根据水平距离实时调整无人机与目标建筑之间的水平距离在预设范围内；根据高度以及预设的阳台高度控制无人机的上升速度，以使得无人机在预设的阳台高度范围内按照第一速度飞行，不在预设的阳台高度范围内按照第二速度飞行，第二速度大于第一速度；根据测量数据实现避障功能。

在其中一个实施例中，当视觉模块判定待检测图像中的阳台护栏上放置有物品且获取到阳台位置，或者视觉模块判定待检测图像中的阳台护栏上未放置有物品时，则无人机飞行控制模块还用于检测是否检测完目标建筑所有楼层；当检测完目标建筑所有楼层，则判断是否检测完所有目标建筑；当未检测完所有目标建筑，则获取下一目标建筑，并继续视觉模块获取摄像头采集的待检测图像；当检测完目标建筑，则控制无人机返航至出发点。

在其中一个实施例中，当未检测完目标建筑所有楼层，则无人机飞行控制模块还用于获取预设的下一楼层，并控制无人机继续飞向下一楼层。

关于基于openmv的无人机阳台危险物鉴定系统的具体限定可以参见上文中对于基于openmv的无人机阳台危险物鉴定方法的限定，在此不再赘述。上述基于openmv的无人机阳台危险物鉴定系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于openmv的无人机阳台危险物鉴定方法，其特征在于，所述方法包括：

视觉模块获取摄像头采集的待检测图像；

视觉模块检测所述待检测图像中是否存在阳台护栏；

视觉模块当所述待检测图片中存在阳台护栏时，则判断所述阳台护栏的边缘曲率是否发生突变；

视觉模块当所述阳台护栏的边缘曲率发生突变时，则判定所述待检测图像中的阳台护栏上放置有物品。

2.根据权利要求1所述的方法，其特征在于，所述视觉模块检测所述待检测图像中是否存在阳台护栏，包括：

视觉模块将所述待检测图片进行尺度变换得到预设尺度的中间处理图片；

视觉模块获取所述中间处理图片中的线段；

当存在两条线段之间的距离满足基于阳台护栏的宽度和长度生成的宽度条件以及长度条件时，则视觉模块判定所述待检测图片中存在阳台护栏。

3.根据权利要求1或2所述的方法，其特征在于，所述视觉模块检测所述待检测图像中是否存在阳台护栏之后，还包括：

当所述待检测图片中不存在阳台护栏时，则无人机飞行控制模块继续控制无人机沿预设方向上升飞行。

4.根据权利要求1或2所述的方法，其特征在于，所述视觉模块判断所述阳台护栏的边缘曲率是否发生突变之后，还包括：

当所述阳台护栏的边缘曲率未发生突变时，则视觉模块判定所述待检测图像中的阳台护栏上未放置有物品。

5.根据权利要求1所述的方法，其特征在于，所述视觉模块判定所述待检测图像中的阳台护栏上放置有物品之后，还包括：

无人机飞行控制模块通过安装在无人机上的激光雷达装置采集所述无人机的高度，通过安装在无人机上的地理位置采集模块采集阳台地理位置；

无人机飞行控制模块将所述高度和阳台地理位置得到阳台位置；

无人机飞行控制模块将所获取的阳台位置发送至终端。

6.根据权利要求5所述的方法，其特征在于，所述无人机飞行控制模块将所述高度和阳台地理位置得到阳台位置之后，还包括：

保存所述阳台位置；

所述无人机飞行控制模块将所获取的阳台位置发送至终端，包括：

当所述无人机返回至出发点时，无人机飞行控制模块将所获取的阳台位置发送至终端。

7.根据权利要求1所述的方法，其特征在于，所述视觉模块获取摄像头采集的待检测图像之前，包括：

无人机飞行控制模块获取目标地理位置；

无人机飞行控制模块通过地理位置采集模块采集当前地理位置；

无人机飞行控制模块根据所述目标地理位置和所述当前地理位置规划无人机飞行路径；

无人机飞行控制模块根据所规划的路径控制所述无人机飞行至所述目标地理位置。

8.根据权利要求7所述的方法，其特征在于，所述无人机飞行控制模块根据所规划的路径控制所述无人机飞行至所述目标地理位置之后，还包括：

无人机飞行控制模块通过安装在无人机上的激光雷达装置采集所述无人机的高度、距离所述目标地理位置的目标建筑的水平距离以及预设方向上的测量数据；

无人机飞行控制模块根据所述水平距离实时调整所述无人机与所述目标建筑之间的水平距离在预设范围内；

无人机飞行控制模块根据所述高度以及预设的阳台高度控制所述无人机的上升速度，以使得所述无人机在所述预设的阳台高度范围内按照第一速度飞行，不在所述预设的阳台高度范围内按照第二速度飞行，所述第二速度大于所述第一速度；

无人机飞行控制模块根据所述测量数据实现避障功能。

9.根据权利要求6所述的方法，其特征在于，所述方法还包括：

当视觉模块判定所述待检测图像中的阳台护栏上放置有物品且获取到阳台位置，或者所述视觉模块判定所述待检测图像中的阳台护栏上未放置有物品时，则无人机飞行控制模块检测是否检测完目标建筑所有楼层；

当检测完所述目标建筑所有楼层，则无人机飞行控制模块判断是否检测完所有目标建筑；

当未检测完所有目标建筑，则获取下一目标建筑，并继续视觉模块获取摄像头采集的待检测图像；

当所述检测完所述目标建筑，则无人机飞行控制模块控制所述无人机返航至出发点。

10.一种基于openmv的无人机阳台危险物鉴定系统，其特征在于，包括视觉模块，该视觉模块与无人机飞行控制模块相连接：

视觉模块用于获取摄像头采集的待检测图像；检测待检测图像中是否存在阳台护栏；当待检测图片中存在阳台护栏时，则判断阳台护栏的边缘曲率是否发生突变；当阳台护栏的边缘曲率发生突变时，则判定待检测图像中的阳台护栏上放置有物品；且视觉模块将判定待检测图像中的阳台护栏上放置有物品的结果发送至无人机飞行控制模块进行存储。

Images