CN109358648A - 无人机自主飞行的方法、装置以及无人机 - Google Patents

无人机自主飞行的方法、装置以及无人机 Download PDF

Info

Publication number
CN109358648A
CN109358648A CN201811503181.4A CN201811503181A CN109358648A CN 109358648 A CN109358648 A CN 109358648A CN 201811503181 A CN201811503181 A CN 201811503181A CN 109358648 A CN109358648 A CN 109358648A
Authority
CN
China
Prior art keywords
geometric
path
image
navigation
unmanned plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811503181.4A
Other languages
English (en)
Other versions
CN109358648B (zh
Inventor
李佐广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Original Assignee
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Autel Intelligent Aviation Technology Co Ltd filed Critical Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority to CN201811503181.4A priority Critical patent/CN109358648B/zh
Publication of CN109358648A publication Critical patent/CN109358648A/zh
Application granted granted Critical
Publication of CN109358648B publication Critical patent/CN109358648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft

Abstract

本发明实施例涉及无人机技术领域的一种无人机自主飞行的方法、装置以及无人机。通过获取包含几何图形的拍摄图像,并识别几何图形,根据识别结果生成引导路径,以便控制无人机沿引导路径自主飞行,能够在无人为干预的情况下实现自主飞行,智能化程度较高,使用方便。

Description

无人机自主飞行的方法、装置以及无人机
技术领域
本发明实施例涉及无人机技术领域,特别是涉及一种无人机自主飞行的方法、装置以及无人机。
背景技术
目前,无人机在航拍、农业、植保、自拍、快递运输、灾难救援、观察野生动物、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄、制造浪漫等等领域的应用,大大地拓展了无人机的用途。
在无人机的自主飞行控制方面,目前主要是基于人工设定的路径自主飞行,人为干预程度较大,使得无人机不够智能化。
发明内容
本发明实施例主要解决的技术问题是提供一种无人机自主飞行的方法、装置以及无人机,能够在无人为干预的情况下实现自主飞行,智能化程度较高,使用方便。
第一方面,为解决上述技术问题,本发明实施例采用的一个技术方案是:提供一种无人机自主飞行的方法,包括:
获取包含几何图形的拍摄图像;
识别所述拍摄图像中的所述几何图形,并根据识别结果生成引导路径;
控制所述无人机沿所述引导路径自主飞行。
其中,识别所述几何图形,并根据识别结果生成引导路径,包括:
将所述拍摄图像转换成灰度图像;
对所述灰度图像进行边缘检测和二值化处理,以得到二值化的边缘图像;
利用预设算法对所述边缘图像进行检测,以获得至少一种几何图形;
根据所述至少一种几何图形生成引导路径。
其中,根据所述至少一种几何图形生成引导路径,包括:
将所述至少一种几何图形中灰度值的差异值在预设范围内的几何图形进行拼接,以获得第一拼接图形;
根据所述第一拼接图形生成引导路径。
其中,所述差异值为所述至少一种几何图形中,两个几何图形的灰度值或平均灰度值的差值。
其中,所述差异值为所述至少一种几何图形中,两个几何图形的灰度值或平均灰度值的比值。
其中,根据所述至少一种几何图形生成引导路径,包括:
将所述至少一种几何图形发送至与所述无人机进行连接通信的移动终端;
根据用户对所述移动终端显示的所述至少一种几何图形输入的连接指令,以获得第二拼接图形;
根据所述第二拼接图形生成引导路径。
其中,
所述获取包含几何图形的拍摄图像,包括:
获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像;
所述识别所述几何图形,并根据识别结果生成引导路径,包括:
识别所述前一帧拍摄图像的几何图形和所述当前帧拍摄图像的几何图形;
将所述前一帧拍摄图像的几何图形与所述当前帧拍摄图像的几何图形进行拼接,以获得拼接后的几何图形;
根据所述拼接后的几何图形生成引导路径和引导方向;
所述控制所述无人机沿所述引导路径自主飞行,包括:
控制所述无人机沿所述引导路径和所述引导方向自主飞行。
其中,所述方法还包括:
根据所述无人机的全球定位系统GPS位置信息,将所述引导路径叠加至通过移动终端显示的地图上。
其中,若所述引导路径包含闭环线特征,所述方法还包括:
获取包含几何图形的起始拍摄图像;
获取所述无人机在沿所述引导路径自主飞行的过程中,每隔预设时长拍摄的图像;
若所述每隔预设时长拍摄的图像中存在与所述起始拍摄图像匹配的图像,则控制所述无人机结束飞行。
第二方面,为解决上述技术问题,本发明实施例采用的另一个技术方案是:提供一种无人机自主飞行的装置,包括:
图像获取模块,用于获取包含几何图形的拍摄图像;
路径生成模块,用于识别所述拍摄图像中的所述几何图形,并根据识别结果生成引导路径;
飞行控制模块,用于控制所述无人机沿所述引导路径自主飞行。
其中,所述路径生成模块包括:
图像转换单元,用于将所述拍摄图像转换成灰度图像;
第一检测处理单元,用于对所述灰度图像进行边缘检测和二值化处理,得到二值化的边缘图像;
第二检测处理单元,用于利用预设算法对所述边缘图像进行检测,以获得至少一种几何图形;
引导路径生成单元,用于根据所述至少一种几何图形生成引导路径。
其中,所述引导路径生成单元具体用于将所述至少一种几何图形中灰度值的差异值在预设范围内的几何图形进行拼接,以获得第一拼接图形,并根据所述第一拼接图形生成引导路径。
其中,所述差异值为所述至少一种几何图形中,两个几何图形的灰度值或平均灰度值的差值。
其中,所述差异值为所述至少一种几何图形中,两个几何图形的灰度值或平均灰度值的比值。
其中,所述引导路径生成单元具体用于将所述至少一种几何图形发送至与所述无人机进行连接通信的移动终端,根据用户对所述移动终端显示的所述至少一种几何图形输入的连接指令,以获得第二拼接图形,根据所述第二拼接图形生成引导路径。
其中,
所述图像获取模块用于获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像;
所述路径生成模块用于识别所述前一帧拍摄图像的几何图形和所述当前帧拍摄图像的几何图形,将所述前一帧拍摄图像的几何图形与所述当前帧拍摄图像的几何图形进行拼接,以获得拼接后的几何图形,根据所述拼接后的几何图形生成引导路径和引导方向;
所述飞行控制模块用于控制所述无人机沿所述引导路径和所述引导方向自主飞行。
其中,所述装置还包括叠加模块,用于根据所述无人机的全球定位系统GPS位置信息,将所述引导路径叠加至通过移动终端显示的地图上。
其中,若所述几何图形包含闭环线特征,所述装置还包括:
起始图像获取模块,用于获取包含几何图形的起始拍摄图像;
结束飞行控制模块,用于在所述无人机沿所述引导路径自主飞行的过程中,若每隔预设时长获取的拍摄图像中存在与所述起始拍摄图像匹配的拍摄图像,则控制所述无人机结束飞行。
第三方面,为解决上述技术问题,本发明实施例采用的另一个技术方案是:提供了一种无人机,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的预设指令,所述预设指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述任一所述的方法。
第四方面,本发明实施例还提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行预设指令,所述计算机可执行预设指令用于使计算机执行如上所述的方法。
第五方面,本发明实施例还提供了一种计算机程序产品,所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,所述计算机程序包括程序预设指令,当所述程序预设指令被计算机执行时,使所述计算机执行如上所述的方法。
本发明实施例提供的一种无人机自主飞行的方法和装置,通过获取包含几何图形的拍摄图像,并识别几何图形,根据识别结果生成引导路径,以便控制无人机沿引导路径自主飞行,能够在无人为干预的情况下实现自主飞行,智能化程度较高,使用方便。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本发明实施例提供的一种无人机自主飞行的方法的流程图;
图2是生成引导路径过程中的一实际应用示意图;
图3是生成引导路径过程中的另一实际应用示意图;
图4是根据用户操作将几何图形进行连接的实际应用示意图;
图5是本发明实施例提供的一种无人机自主飞行的方法的流程图;
图6是本发明实施例提供的一种无人机自主飞行的装置的功能框图;
图7是图6中所示路径生成模块的功能框图;
图8是本发明又一实施例提供的一种无人机自主飞行的装置的功能框图;
图9是本发明实施例提供的一种执行无人机自主飞行的方法的无人机的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
此外,下面所描述的本发明各个实施例中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
下面结合具体附图对本发明实施例作具体阐述。
如图1所示,本发明实施例提供了一种无人机自主飞行的方法,该方法包括:步骤11、步骤12和步骤13。
步骤11包括:获取包含几何图形的拍摄图像。
在本发明实施例中,无人机上配置有云台,云台上安装有摄像模组,摄像模组可以由一个或多个摄像头组成,该摄像模组用于拍摄图像。几何图形包括但不限于直线、曲线、圆形、椭圆形、多边形以及上述至少两个几何图形的组合图形。例如,交通标志线、操场跑道等。步骤11获取包含几何图形的拍摄图像可以是实时或每隔特定时间获取无人机上的摄像模组拍摄到的图像;也可以是实时或每隔特定时间接收与无人机连接通信的移动终端传输给无人机的图像,该图像可以是移动终端预先拍摄并存储的。
步骤12包括:识别几何图形,并根据识别结果生成引导路径。
步骤13包括:控制无人机沿引导路径自主飞行。
在一可选实施例中,步骤12更具体地包括:
步骤一、将拍摄图像转换成灰度图像;
步骤二、对灰度图像进行边缘检测和二值化处理,得到二值化的边缘图像;
步骤三、利用预设算法对边缘图像进行检测,以获得至少一种几何图形;
步骤四、根据至少一种几何图形生成引导路径。
在本发明实施例中,几何图形可以包括直线、曲线、圆弧等非闭环图形,也可以包括圆、椭圆等闭环图形,提到的直线可以是具有一定曲度的线段。若拍摄图像为RGB图像,则将RGB图像转换成灰度图像,进而可以利用Canny算子对灰度图像做边缘检测和二值化处理,得到二值化的边缘图像。进一步地利用霍夫变换(Hough Transform)算法对边缘图像进行边缘检测,以获得至少一种几何图形。
在根据至少一种几何图形生成引导路径的方式上,可以采用将至少一种几何图形中灰度值的差异值在预设范围内的几何图形进行拼接,获得第一拼接图形,进而根据第一拼接图形生成引导路径。
上述差异值可以是两个几何图形的灰度值或平均灰度值的差值,也可以是两个几何图形灰度值或平均灰度值的比值,预设范围可以根据实际应用的需要进行设定。例如,将一条直线与一条曲线进行拼接;又如,将一条曲线与一个圆弧进行拼接;又如,将两条曲线进行拼接。如图2和图3所示,将相邻的两条直线进行拼接,生成引导路径,其中,相邻的两条直线的灰度值或平均灰度值的差异值在预设范围内。
在实际应用中,可能无法根据有些几何图形生成引导路径,影响无人机沿引导路径自主飞行,需要辅助于人工操作,因此,步骤12更具体地包括:将至少一种几何图形发送至与无人机进行连接通信的移动终端,并根据用户对移动终端显示的至少一种几何图形输入的连接指令,获得第二拼接图形,进而根据第二拼接图形生成引导路径。
当至少一种几何图形中存在无法智能连接的几何图形时,无人机可以将几何图形通过无线方式发送至与无人机进行连接通信的手机、平板电脑等移动终端进行显示,如图4所示,用户操作移动终端将相邻的两条直线进行连接,生成引导路径,从而便于控制无人机沿引导路径自主飞行。
在一可选实施例中,为了便于通过移动终端查看无人机在地图上的位置以及飞行路径,可以根据无人机的全球定位系统GPS(Global Positioning System,全球定位系统)位置信息,将引导路径叠加至通过移动终端显示的地图上。
在一可选实施例中,若引导路径包含闭环线特征,为了实现无人机在完成一圈或多圈飞行后,自动结束飞行,所述无人机自主飞行的方法还包括:获取包含几何图形的起始拍摄图像,在无人机沿引导路径自主飞行的过程中,若每隔预设时长获取的拍摄图像中存在与起始拍摄图像匹配的拍摄图像,则控制无人机结束飞行。例如,可以采用sift(scale-invariant feature transform,尺度不变特征变换)特征点匹配算法,当无人机沿引导路径自主飞行的过程中获取的拍摄图像中几何图形的sift特征点集与起始拍摄图像中几何图形的sift特征点的欧式距离在预设阈值范围内,则可以判定存在与起始拍摄图像匹配的拍摄图像,从而控制无人机结束飞行。无人机结束飞行的方式可以是悬停、降落等。
在一可选实施例中,若引导路径包含非闭合的线性特征,可以控制无人机到达非闭合的线性特征对应的端点时自动结束飞行。
本发明实施例提供的一种无人机自主飞行的方法,通过获取包含几何图形的拍摄图像,识别几何图形,并根据识别结果生成引导路径,以便控制无人机沿引导路径自主飞行,智能化程度较高,使用方便。
如图5所示,本发明实施例提供了一种无人机自主飞行的方法,该方法包括:步骤51、步骤52、步骤53、步骤54和步骤55。其中,
步骤51包括:获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像。
步骤52包括:识别前一帧拍摄图像的几何图形和当前帧拍摄图像的几何图形。
步骤53包括:将前一帧拍摄图像与当前帧拍摄图像进行拼接,获得拼接后的几何图形。
步骤54包括:根据拼接后的几何图形生成引导路径和引导方向。
步骤55包括:控制无人机沿引导路径和引导方向自主飞行。
在本发明实施例中,可以采用sift特征点匹配将前一帧拍摄图像与当前帧拍摄图像进行拼接,并根据拼接后的几何图形生成引导路径和引导方向(即运动方向),进而控制无人机沿引导路径和引导方向自主飞行。
本发明实施例提供的一种无人机自主飞行的方法,通过获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像,识别前一帧拍摄图像的几何图形和当前帧拍摄图像的几何图形,将前一帧拍摄图像与当前帧拍摄图像进行拼接,获得拼接后的几何图形,根据拼接后的几何图形生成引导路径和引导方向,进而控制无人机沿引导路径和引导方向自主飞行,智能化程度较高,使用方便。
在一可选实施例中,为了便于通过移动终端查看无人机在地图上的位置以及飞行路径,可以根据无人机的GPS位置信息,将引导路径叠加至通过移动终端显示的地图上。
如图6所示,本发明实施例提供了一种无人机自主飞行的装置60,该装置60包括:图像获取模块61、路径生成模块62和飞行控制模块63。其中,
图像获取模块61用于获取包含几何图形的拍摄图像。
在本发明实施例中,无人机上配置有云台,云台上安装有摄像模组,该摄像模组用于拍摄图像。几何图形包括但不限于直线、曲线、圆形、椭圆形、多边形以及上述至少两个几何图形的组合图形。例如,交通标志线、操场跑道等。
路径生成模块62用于识别几何图形,并根据识别结果生成引导路径。
飞行控制模块63用于控制无人机沿引导路径自主飞行。
在本发明实施例中,如图7所示,路径生成模块62更具体地包括:图像转换单元621、第一检测处理单元622、第二检测处理单元623和引导路径生成单元624。其中,
图像转换单元621用于将拍摄图像转换成灰度图像。
第一检测处理单元622用于对灰度图像进行边缘检测和二值化处理,得到二值化的边缘图像;
第二检测处理单元623用于利用预设算法对边缘图像进行检测,以获得至少一种几何图形;
引导路径生成单元624用于根据至少一种几何图形生成引导路径。
在本发明实施例中,几何图形可以包括直线、曲线、圆弧等非闭环图形,也可以包括圆、椭圆等闭环图形,提到的直线可以是具有一定曲度的线段。若拍摄图像为RGB图像,则将RGB图像转换成灰度图像,进而可以利用Canny算子对灰度图像做边缘检测和二值化处理,得到二值化的边缘图像。进一步地利用霍夫变换(Hough Transform)算法对边缘图像进行边缘检测,以获得至少一种几何图形。
在一可选实施例中,更具体的,引导路径生成单元624可以具体用于将至少一种几何图形中灰度值的差异值在预设范围内的几何图形进行拼接,获得第一拼接图形,并根据第一拼接图形生成引导路径。
上述差异值可以是两个几何图形的灰度值或平均灰度值的差值,也可以是两个几何图形灰度值或平均灰度值的比值,预设范围可以根据实际应用的需要进行设定。例如,将一条直线与一条曲线进行拼接,又如,将一条曲线与一个圆弧进行拼接,又如,将两条曲线进行拼接。如图2和图3所示,将相邻的两条直线进行拼接,生成引导路径,其中,相邻的两条直线的灰度值的差异值在预设范围内。
在实际应用中,可能无法根据有些几何图形生成引导路径,影响无人机沿引导路径自主飞行,需要辅助于人工操作,因此,引导路径生成单元624可以具体将至少一种几何图形发送至与无人机进行连接通信的移动终端,并根据用户对移动终端显示的至少一种几何图形输入的连接指令,获得第二拼接图形,进而根据第二拼接图形生成引导路径。
当至少一种几何图形中存在无法智能连接的几何图形时,无人机可以将几何图形通过无线方式发送至手机、平板电脑等移动终端进行显示,如图4所示,用户操作移动终端将相邻的两条直线进行连接,生成引导路径,从而便于控制无人机沿引导路径自主飞行。
在一可选实施例中,为了便于通过移动终端查看无人机在地图上的位置以及飞行路径,所述无人机自主飞行的装置还包括叠加模块,该叠加模块用于根据无人机的GPS位置信息,将引导路径叠加至通过移动终端显示的地图上。
在一可选实施例中,若引导路径包含闭环线特征,为了实现无人机在完成一圈或多圈飞行后,自动结束飞行,所述无人机自主飞行的装置还包括:起始图像获取模块和结束飞行控制模块。其中,
起始图像获取模块用于获取包含几何图形的起始拍摄图像;结束飞行控制模块,用于在无人机沿引导路径自主飞行的过程中,若每隔预设时长获取的拍摄图像中存在与起始拍摄图像匹配的拍摄图像,则控制无人机结束飞行。例如,可以采用sift特征点匹配算法,当无人机沿引导路径自主飞行的过程中获取的拍摄图像中几何图形的sift特征点集与起始拍摄图像中几何图形的sift特征点的欧式距离在预设阈值范围内,则可以判定存在与起始拍摄图像匹配的拍摄图像,从而控制无人机结束飞行。无人机结束飞行的方式可以是悬停、降落等。
在一可选实施例中,若引导路径包含非闭合的线性特征,可以控制无人机到达非闭合的线性特征对应的端点时自动结束飞行。
本发明实施例提供的一种无人机自主飞行的装置60,通过图像获取模块61获取包含几何图形的拍摄图像,路径生成模块62识别几何图形,并根据识别结果生成引导路径,以便飞行控制模块63控制无人机沿引导路径自主飞行,智能化程度较高,使用方便。
如图8所示,本发明实施例提供了一种无人机自主飞行的装置80,该装置80包括:图像获取模块81、路径生成模块82和飞行控制模块83。其中,
图像获取模块81用于获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像。
路径生成模块82用于识别前一帧拍摄图像的几何图形和当前帧拍摄图像的几何图形,将前一帧拍摄图像与当前帧拍摄图像进行拼接,获得拼接后的几何图形,根据拼接后的几何图形生成引导路径和引导方向。
飞行控制模块83用于控制无人机沿引导路径和引导方向自主飞行。
在本发明实施例中,可以采用sift特征点匹配将前一帧拍摄图像与当前帧拍摄图像进行拼接,并根据拼接后的几何图形生成引导路径和引导方向(即运动方向),进而控制无人机沿引导路径和引导方向自主飞行。
本发明实施例提供的一种无人机自主飞行的装置80,通过图像获取模块81获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像,路径生成模块82识别前一帧拍摄图像的几何图形和当前帧拍摄图像的几何图形,将前一帧拍摄图像与当前帧拍摄图像进行拼接,获得拼接后的几何图形,根据拼接后的几何图形生成引导路径和引导方向,进而飞行控制模块83控制无人机沿引导路径和引导方向自主飞行,智能化程度较高,使用方便。
图9是本发明实施例提供的一种执行无人机自主飞行的方法的无人机90的硬件结构示意图。如图9所示,该无人机90可以包括:
一个或多个处理器91、存储器92以及摄像装置93,图9中以一个处理器91为例。
处理器91、存储器92以及摄像装置93可以通过总线或者其他方式连接,图9中以通过总线连接为例。其中,处理器91和存储器92可以设于无人机90的机身内部,摄像装置93可以与机身连接,设于机身的外部。
存储器92作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明实施例中的无人机自主飞行的方法对应的程序指令/模块(例如,附图6所示的图像获取模块61、路径生成模块62和飞行控制模块63,附图7中的图像转换单元621、第一检测处理单元622、第二检测处理单元623和引导路径生成单元624,附图8中的图像获取模块81、路径生成模块82和飞行控制模块83)。处理器91和摄像装置93通过运行存储在存储器92中的非易失性软件程序、指令以及模块,从而执行无人机90的各种功能应用以及数据处理,即实现上述方法实施例的无人机自主飞行的方法。
存储器92可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据拍摄构图的装置的使用所创建的数据等。此外,存储器92可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器92可选包括相对于处理器91远程设置的存储器,这些远程存储器可以通过网络连接至拍摄构图的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器92中,当被所述一个或者多个处理器91执行时,执行上述任意方法实施例中的无人机自主飞行的方法,例如,执行以上描述的图1中的方法步骤11、步骤12和步骤13,图5中的方法步骤51至步骤55,附图6所示的图像获取模块61、路径生成模块62和飞行控制模块63,附图7中的图像转换单元621、第一检测处理单元622、第二检测处理单元623和引导路径生成单元624,附图8中的图像获取模块81、路径生成模块82和飞行控制模块83的功能。
上述无人机90可执行本发明实施例所提供的无人机自主飞行的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例所提供的无人机自主飞行的方法。
本发明实施例提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如图9中的一个处理器91,可使得上述一个或多个处理器可执行上述任意方法实施例中的无人机自主飞行的方法,例如,执行以上描述的图1中的方法步骤11、步骤12和步骤13,图5中的方法步骤51至步骤55,附图6所示的图像获取模块61、路径生成模块62和飞行控制模块63,附图7中的图像转换单元621、第一检测处理单元622、第二检测处理单元623和引导路径生成单元624,附图8中的图像获取模块81、路径生成模块82和飞行控制模块83的功能。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述,本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;在本申请的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本申请的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (19)

1.一种无人机自主飞行的方法,其特征在于,包括:
获取包含几何图形的拍摄图像;
识别所述拍摄图像中的所述几何图形,并根据识别结果生成引导路径;
控制所述无人机沿所述引导路径自主飞行。
2.根据权利要求1所述的方法,其特征在于,识别所述几何图形,并根据识别结果生成引导路径,包括:
将所述拍摄图像转换成灰度图像;
对所述灰度图像进行边缘检测和二值化处理,以得到二值化的边缘图像;
利用预设算法对所述边缘图像进行检测,以获得至少一种几何图形;
根据所述至少一种几何图形生成引导路径。
3.根据权利要求2所述的方法,其特征在于,根据所述至少一种几何图形生成引导路径,包括:
将所述至少一种几何图形中灰度值的差异值在预设范围内的几何图形进行拼接,以获得第一拼接图形;
根据所述第一拼接图形生成引导路径。
4.根据权利要求3所述的方法,其特征在于,所述差异值为所述至少一种几何图形中,两个几何图形的灰度值或平均灰度值的差值。
5.根据权利要求3所述的方法,其特征在于,所述差异值为所述至少一种几何图形中,两个几何图形的灰度值或平均灰度值的比值。
6.根据权利要求2所述的方法,其特征在于,根据所述至少一种几何图形生成引导路径,包括:
将所述至少一种几何图形发送至与所述无人机进行连接通信的移动终端;
根据用户对所述移动终端显示的所述至少一种几何图形输入的连接指令,以获得第二拼接图形;
根据所述第二拼接图形生成引导路径。
7.根据权利要求1所述的方法,其特征在于,
所述获取包含几何图形的拍摄图像,包括:
获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像;
所述识别所述几何图形,并根据识别结果生成引导路径,包括:
识别所述前一帧拍摄图像的几何图形和所述当前帧拍摄图像的几何图形;
将所述前一帧拍摄图像的几何图形与所述当前帧拍摄图像的几何图形进行拼接,以获得拼接后的几何图形;
根据所述拼接后的几何图形生成引导路径和引导方向;
所述控制所述无人机沿所述引导路径自主飞行,包括:
控制所述无人机沿所述引导路径和所述引导方向自主飞行。
8.根据权利要求1-7中任一项所述的方法,其特征在于,所述方法还包括:
根据所述无人机的全球定位系统GPS位置信息,将所述引导路径叠加至通过移动终端显示的地图上。
9.根据权利要求1所述的方法,其特征在于,若所述引导路径包含闭环线特征,所述方法还包括:
获取包含几何图形的起始拍摄图像;
获取所述无人机在沿所述引导路径自主飞行的过程中,每隔预设时长拍摄的图像;
若所述每隔预设时长拍摄的图像中存在与所述起始拍摄图像匹配的图像,则控制所述无人机结束飞行。
10.一种无人机自主飞行的装置,其特征在于,包括:
图像获取模块,用于获取包含几何图形的拍摄图像;
路径生成模块,用于识别所述拍摄图像中的所述几何图形,并根据识别结果生成引导路径;
飞行控制模块,用于控制所述无人机沿所述引导路径自主飞行。
11.根据权利要求10所述的装置,其特征在于,所述路径生成模块包括:
图像转换单元,用于将所述拍摄图像转换成灰度图像;
第一检测处理单元,用于对所述灰度图像进行边缘检测和二值化处理,得到二值化的边缘图像;
第二检测处理单元,用于利用预设算法对所述边缘图像进行检测,以获得至少一种几何图形;
引导路径生成单元,用于根据所述至少一种几何图形生成引导路径。
12.根据权利要求11所述的装置,其特征在于,所述引导路径生成单元具体用于:
将所述至少一种几何图形中灰度值的差异值在预设范围内的几何图形进行拼接,以获得第一拼接图形,并根据所述第一拼接图形生成引导路径。
13.根据权利要求12所述的装置,其特征在于,所述差异值为所述至少一种几何图形中,两个几何图形的灰度值或平均灰度值的差值。
14.根据权利要求12所述的方法,其特征在于,所述差异值为所述至少一种几何图形中,两个几何图形的灰度值或平均灰度值的比值。
15.根据权利要求11所述的装置,其特征在于,所述引导路径生成单元具体用于:
将所述至少一种几何图形发送至与所述无人机进行连接通信的移动终端,根据用户对所述移动终端显示的所述至少一种几何图形输入的连接指令,以获得第二拼接图形,根据所述第二拼接图形生成引导路径。
16.根据权利要求10所述的装置,其特征在于,
所述图像获取模块用于获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像;
所述路径生成模块用于识别所述前一帧拍摄图像的几何图形和所述当前帧拍摄图像的几何图形,将所述前一帧拍摄图像的几何图形与所述当前帧拍摄图像的几何图形进行拼接,以获得拼接后的几何图形,根据所述拼接后的几何图形生成引导路径和引导方向;
所述飞行控制模块用于控制所述无人机沿所述引导路径和所述引导方向自主飞行。
17.根据权利要求10-16中任一项所述的装置,其特征在于,所述装置还包括叠加模块,用于根据所述无人机的全球定位系统GPS位置信息,将所述引导路径叠加至通过移动终端显示的地图上。
18.根据权利要求10所述的装置,其特征在于,若所述几何图形包含闭环线特征,所述装置还包括:
起始图像获取模块,用于获取包含几何图形的起始拍摄图像;
结束飞行控制模块,用于在所述无人机沿所述引导路径自主飞行的过程中,若每隔预设时长获取的拍摄图像中存在与所述起始拍摄图像匹配的拍摄图像,则控制所述无人机结束飞行。
19.一种无人机,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
CN201811503181.4A 2016-12-27 2016-12-27 无人机自主飞行的方法、装置以及无人机 Active CN109358648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811503181.4A CN109358648B (zh) 2016-12-27 2016-12-27 无人机自主飞行的方法、装置以及无人机

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611223787.3A CN106647805B (zh) 2016-12-27 2016-12-27 无人机自主飞行的方法、装置以及无人机
CN201811503181.4A CN109358648B (zh) 2016-12-27 2016-12-27 无人机自主飞行的方法、装置以及无人机

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201611223787.3A Division CN106647805B (zh) 2016-12-27 2016-12-27 无人机自主飞行的方法、装置以及无人机

Publications (2)

Publication Number Publication Date
CN109358648A true CN109358648A (zh) 2019-02-19
CN109358648B CN109358648B (zh) 2022-11-04

Family

ID=58831324

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201611223787.3A Active CN106647805B (zh) 2016-12-27 2016-12-27 无人机自主飞行的方法、装置以及无人机
CN201811503181.4A Active CN109358648B (zh) 2016-12-27 2016-12-27 无人机自主飞行的方法、装置以及无人机

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201611223787.3A Active CN106647805B (zh) 2016-12-27 2016-12-27 无人机自主飞行的方法、装置以及无人机

Country Status (3)

Country Link
EP (1) EP3367201A4 (zh)
CN (2) CN106647805B (zh)
WO (1) WO2018121247A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111123968A (zh) * 2020-02-03 2020-05-08 向杰 一种蜂窝阵列飞行器控制系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106647805B (zh) * 2016-12-27 2019-02-15 深圳市道通智能航空技术有限公司 无人机自主飞行的方法、装置以及无人机
CN108521804A (zh) * 2017-06-20 2018-09-11 深圳市大疆创新科技有限公司 一种无人机的飞行区域规划方法及设备
CN107563183A (zh) * 2017-07-28 2018-01-09 翔升(上海)电子技术有限公司 无人机控制方法、装置、设备和计算机可读存储介质
CN108475063A (zh) * 2017-09-12 2018-08-31 深圳市大疆创新科技有限公司 可移动设备以及其作业方法
CN108319264A (zh) * 2017-12-28 2018-07-24 北京臻迪科技股份有限公司 航行控制方法、装置
CN110785727A (zh) * 2018-08-31 2020-02-11 深圳市大疆创新科技有限公司 可移动平台的控制方法、可移动平台、终端设备和系统
CN109767387A (zh) * 2018-12-26 2019-05-17 北京木业邦科技有限公司 一种基于无人机的森林图像获取方法及装置
WO2021146971A1 (zh) * 2020-01-21 2021-07-29 深圳市大疆创新科技有限公司 基于可通行空域判断的飞行控制方法、装置及设备
CN111401146A (zh) * 2020-02-26 2020-07-10 长江大学 一种无人机电力巡检方法、设备及存储介质
CN112904878B (zh) * 2021-01-15 2022-08-16 西南石油大学 一种用于管道高后果区识别的无人机系统和方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103869819A (zh) * 2014-03-10 2014-06-18 中国矿业大学 一种基于多旋翼无人机的带式输送机自动巡检系统及方法
CN103941748A (zh) * 2014-04-29 2014-07-23 百度在线网络技术(北京)有限公司 自主导航方法及系统和地图建模方法及系统
US8963742B1 (en) * 2008-06-09 2015-02-24 Rockwell Collins, Inc. Head-up display/synthetic vision system predicted flight path depiction
CN105549603A (zh) * 2015-12-07 2016-05-04 北京航空航天大学 一种多旋翼无人机的智能道路巡检控制方法
US9513635B1 (en) * 2015-12-30 2016-12-06 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
CN106647805A (zh) * 2016-12-27 2017-05-10 深圳市道通智能航空技术有限公司 无人机自主飞行的方法、装置以及无人机

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3936683B2 (ja) * 2003-08-04 2007-06-27 株式会社デンソー 道路位置検出装置及びプログラム
US8666661B2 (en) * 2006-03-31 2014-03-04 The Boeing Company Video navigation
US9036861B2 (en) * 2010-04-22 2015-05-19 The University Of North Carolina At Charlotte Method and system for remotely inspecting bridges and other structures
US9235902B2 (en) * 2011-08-04 2016-01-12 University Of Southern California Image-based crack quantification
CN104134209B (zh) * 2014-07-18 2018-04-10 北京国电富通科技发展有限责任公司 一种视觉导航中的特征提取与匹配方法及系统
CN104252705B (zh) * 2014-09-30 2017-05-17 中安消技术有限公司 一种图像拼接方法及装置
WO2016140985A1 (en) * 2015-03-02 2016-09-09 Izak Van Cruyningen Flight planning for unmanned aerial tower inspection
CN106204507B (zh) * 2015-05-28 2021-05-25 湖南维纳斯克视觉测量技术有限公司 一种无人机图像拼接方法
CN106092102A (zh) * 2016-07-20 2016-11-09 广州极飞电子科技有限公司 一种无人机路径规划方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8963742B1 (en) * 2008-06-09 2015-02-24 Rockwell Collins, Inc. Head-up display/synthetic vision system predicted flight path depiction
CN103869819A (zh) * 2014-03-10 2014-06-18 中国矿业大学 一种基于多旋翼无人机的带式输送机自动巡检系统及方法
CN103941748A (zh) * 2014-04-29 2014-07-23 百度在线网络技术(北京)有限公司 自主导航方法及系统和地图建模方法及系统
CN105549603A (zh) * 2015-12-07 2016-05-04 北京航空航天大学 一种多旋翼无人机的智能道路巡检控制方法
US9513635B1 (en) * 2015-12-30 2016-12-06 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
CN106647805A (zh) * 2016-12-27 2017-05-10 深圳市道通智能航空技术有限公司 无人机自主飞行的方法、装置以及无人机

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111123968A (zh) * 2020-02-03 2020-05-08 向杰 一种蜂窝阵列飞行器控制系统

Also Published As

Publication number Publication date
CN106647805B (zh) 2019-02-15
WO2018121247A1 (zh) 2018-07-05
CN109358648B (zh) 2022-11-04
EP3367201A1 (en) 2018-08-29
EP3367201A4 (en) 2018-10-24
CN106647805A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
CN106647805B (zh) 无人机自主飞行的方法、装置以及无人机
US10929664B2 (en) Visual observer of unmanned aerial vehicle for monitoring horticultural grow operations
US10922984B1 (en) Drone marker and landing zone verification
US20200126239A1 (en) Methods and system for multi-target tracking
US10121117B1 (en) Drone location signature filters
CN107329490B (zh) 无人机避障方法及无人机
CN106873630B (zh) 一种飞行控制方法及装置,执行设备
Liénard et al. Embedded, real-time UAV control for improved, image-based 3D scene reconstruction
US20210327287A1 (en) Uav path planning method and device guided by the safety situation, uav and storage medium
CN104794468A (zh) 一种基于无人机动平台的人脸检测与跟踪方法
WO2020103109A1 (zh) 一种地图生成方法、设备、飞行器及存储介质
CN112740268A (zh) 目标检测方法和装置
CN107291100A (zh) 一种基于无人机的监控方法
US20180181129A1 (en) Method and apparatus for controlling flight of unmanned aerial vehicle and unmanned aerial vehicle
CN108153302B (zh) 自动导引车的导引方法、装置及计算机可读存储介质
Schofield et al. Cloud to cable: A drone framework for autonomous power line inspection
CN113228103A (zh) 目标跟踪方法、装置、无人机、系统及可读存储介质
US20190072986A1 (en) Unmanned aerial vehicles
Nahar et al. Autonomous UAV forced graffiti detection and removal system based on machine learning
Schofield et al. Autonomous power line detection and tracking system using UAVs
CN111247792B (zh) 一种无人机的控制方法、无人机及计算机可读存储介质
CN112585945A (zh) 对焦方法、装置及设备
KR102425372B1 (ko) 지상관제를 위한 다중 uav 제어 시스템 및 제어 방법
CN113433965B (zh) 无人机避障方法,装置,存储介质及电子设备
CN111913492B (zh) 无人机安全降落方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd.

Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant before: AUTEL ROBOTICS Co.,Ltd.

GR01 Patent grant
GR01 Patent grant