CN106647805B - 无人机自主飞行的方法、装置以及无人机 - Google Patents
无人机自主飞行的方法、装置以及无人机 Download PDFInfo
- Publication number
- CN106647805B CN106647805B CN201611223787.3A CN201611223787A CN106647805B CN 106647805 B CN106647805 B CN 106647805B CN 201611223787 A CN201611223787 A CN 201611223787A CN 106647805 B CN106647805 B CN 106647805B
- Authority
- CN
- China
- Prior art keywords
- geometric
- guide path
- unmanned aerial
- aerial vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012545 processing Methods 0.000 claims description 27
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 16
- 238000003708 edge detection Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000010006 flight Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例涉及无人机技术领域的一种无人机自主飞行的方法、装置以及无人机。通过获取包含几何图形的拍摄图像，并识别几何图形，根据识别结果生成引导路径，以便控制无人机沿引导路径自主飞行，能够在无人为干预的情况下实现自主飞行，智能化程度较高，使用方便。
Description
技术领域
本发明实施例涉及无人机技术领域，特别是涉及一种无人机自主飞行的方法、装置以及无人机。
背景技术
目前，无人机在航拍、农业、植保、自拍、快递运输、灾难救援、观察野生动物、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄、制造浪漫等等领域的应用，大大地拓展了无人机的用途。
在无人机的自主飞行控制方面，目前主要是基于人工设定的路径自主飞行，人为干预程度较大，使得无人机不够智能化。
发明内容
本发明实施例主要解决的技术问题是提供一种无人机自主飞行的方法、装置以及无人机，能够在无人为干预的情况下实现自主飞行，智能化程度较高，使用方便。
第一方面，为解决上述技术问题，本发明实施例采用的一个技术方案是：提供一种无人机自主飞行的方法，包括：
获取包含几何图形的拍摄图像；
识别所述几何图形，并根据识别结果生成引导路径；
控制所述无人机沿所述引导路径自主飞行。
其中，识别所述几何图形，并根据识别结果生成引导路径，包括：
将所述拍摄图像转换成灰度图像；
对所述灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；
利用预设算法对所述边缘图像进行检测，以获得至少一种几何图形；
根据所述至少一种几何图形生成引导路径。
其中，根据所述至少一种几何图形生成引导路径，包括：
将所述至少一种几何图形中灰度值的差异值在预设范围内的几何图形进行拼接，获得第一拼接图形；
根据所述第一拼接图形生成引导路径。
其中，根据所述至少一种几何图形生成引导路径，包括：
将所述至少一种几何图形发送至与所述无人机进行连接通信的移动终端；
根据用户对所述移动终端显示的所述至少一种几何图形输入的连接指令，获得第二拼接图形；
根据所述第二拼接图形生成引导路径。
其中，
获取包含几何图形的拍摄图像，包括：
获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像；
识别所述几何图形，并根据识别结果生成引导路径，包括：
识别所述前一帧拍摄图像的几何图形和所述当前帧拍摄图像的几何图形；
将所述前一帧拍摄图像与所述当前帧拍摄图像进行拼接，获得拼接后的几何图形；
根据所述拼接后的几何图形生成引导路径和引导方向；
控制所述无人机沿所述引导路径自主飞行，包括：
控制所述无人机沿所述引导路径和所述引导方向自主飞行。
其中，所述方法还包括：
根据所述无人机的全球定位系统GPS位置信息，将所述引导路径叠加至通过移动终端显示的地图上。
其中，若所述引导路径包含闭环线特征，所述方法还包括：
获取包含几何图形的起始拍摄图像；
在所述无人机沿所述引导路径自主飞行的过程中，若每隔预设时长获取的拍摄图像中存在与所述起始拍摄图像匹配的拍摄图像，则控制所述无人机结束飞行。
第二方面，为解决上述技术问题，本发明实施例采用的另一个技术方案是：提供一种无人机自主飞行的装置，包括：
图像获取模块，用于获取包含几何图形的拍摄图像；
路径生成模块，用于识别所述几何图形，并根据识别结果生成引导路径；
飞行控制模块，用于控制所述无人机沿所述引导路径自主飞行。
其中，所述路径生成模块包括：
图像转换单元，用于将所述拍摄图像转换成灰度图像；
第一检测处理单元，用于对所述灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；
第二检测处理单元，用于利用预设算法对所述边缘图像进行检测，以获得至少一种几何图形；
引导路径生成单元，用于根据所述至少一种几何图形生成引导路径。
其中，所述引导路径生成单元具体用于将所述至少一种几何图形中灰度值的差异值在预设范围内的几何图形进行拼接，获得第一拼接图形，并根据所述第一拼接图形生成引导路径。
其中，所述引导路径生成单元具体用于将所述至少一种几何图形发送至与所述无人机进行连接通信的移动终端，根据用户对所述移动终端显示的所述至少一种几何图形输入的连接指令，获得第二拼接图形，根据所述第二拼接图形生成引导路径。
其中，
所述图像获取模块用于获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像；
所述路径生成模块用于识别所述前一帧拍摄图像的几何图形和所述当前帧拍摄图像的几何图形，将所述前一帧拍摄图像与所述当前帧拍摄图像进行拼接，获得拼接后的几何图形，根据所述拼接后的几何图形生成引导路径和引导方向；
所述飞行控制模块用于控制所述无人机沿所述引导路径和所述引导方向自主飞行。
其中，所述装置还包括叠加模块，用于根据所述无人机的全球定位系统GPS位置信息，将所述引导路径叠加至通过移动终端显示的地图上。
其中，若所述几何图形包含闭环线特征，所述装置还包括：
起始图像获取模块，用于获取包含几何图形的起始拍摄图像；
结束飞行控制模块，用于在所述无人机沿所述引导路径自主飞行的过程中，若每隔预设时长获取的拍摄图像中存在与所述起始拍摄图像匹配的拍摄图像，则控制所述无人机结束飞行。
第三方面，为解决上述技术问题，本发明实施例采用的另一个技术方案是：提供了一种无人机，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的预设指令，所述预设指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一所述的方法。
第四方面，本发明实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行预设指令，所述计算机可执行预设指令用于使计算机执行如上所述的方法。
第五方面，本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序预设指令，当所述程序预设指令被计算机执行时，使所述计算机执行如上所述的方法。
本发明实施例提供的一种无人机自主飞行的方法和装置，通过获取包含几何图形的拍摄图像，并识别几何图形，根据识别结果生成引导路径，以便控制无人机沿引导路径自主飞行，能够在无人为干预的情况下实现自主飞行，智能化程度较高，使用方便。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的一种无人机自主飞行的方法的流程图；
图2是生成引导路径过程中的一实际应用示意图；
图3是生成引导路径过程中的另一实际应用示意图；
图4是根据用户操作将几何图形进行连接的实际应用示意图；
图5是本发明实施例提供的一种无人机自主飞行的方法的流程图；
图6是本发明实施例提供的一种无人机自主飞行的装置的功能框图；
图7是图6中所示路径生成模块的功能框图；
图8是本发明又一实施例提供的一种无人机自主飞行的装置的功能框图；
图9是本发明实施例提供的一种执行无人机自主飞行的方法的无人机的硬件结构示意图。
具体实施例
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
此外，下面所描述的本发明各个实施例中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
下面结合具体附图对本发明实施例作具体阐述。
如图1所示，本发明实施例提供了一种无人机自主飞行的方法，该方法包括：步骤11、步骤12和步骤13。
步骤11包括：获取包含几何图形的拍摄图像。
在本发明实施例中，无人机上配置有云台，云台上安装有摄像模组，摄像模组可以由一个或多个摄像头组成，该摄像模组用于拍摄图像。几何图形包括但不限于直线、曲线、圆形、椭圆形、多边形以及上述至少两个几何图形的组合图形。例如，交通标志线、操场跑道等。步骤11获取包含几何图形的拍摄图像可以是实时或每隔特定时间获取无人机上的摄像模组拍摄到的图像；也可以是实时或每隔特定时间接收与无人机连接通信的移动终端传输给无人机的图像，该图像可以是移动终端预先拍摄并存储的。
步骤12包括：识别几何图形，并根据识别结果生成引导路径。
步骤13包括：控制无人机沿引导路径自主飞行。
在一可选实施例中，步骤12更具体地包括：
步骤一、将拍摄图像转换成灰度图像；
步骤二、对灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；
步骤三、利用预设算法对边缘图像进行检测，以获得至少一种几何图形；
步骤四、根据至少一种几何图形生成引导路径。
在本发明实施例中，几何图形可以包括直线、曲线、圆弧等非闭环图形，也可以包括圆、椭圆等闭环图形，提到的直线可以是具有一定曲度的线段。若拍摄图像为RGB图像，则将RGB图像转换成灰度图像，进而可以利用Canny算子对灰度图像做边缘检测和二值化处理，得到二值化的边缘图像。进一步地利用霍夫变换(Hough Transform)算法对边缘图像进行边缘检测，以获得至少一种几何图形。
在根据至少一种几何图形生成引导路径的方式上，可以采用将至少一种几何图形中灰度值的差异值在预设范围内的几何图形进行拼接，获得第一拼接图形，进而根据第一拼接图形生成引导路径。
上述差异值可以是两个几何图形的灰度值或平均灰度值的差值，也可以是两个几何图形灰度值或平均灰度值的比值，预设范围可以根据实际应用的需要进行设定。例如，将一条直线与一条曲线进行拼接；又如，将一条曲线与一个圆弧进行拼接；又如，将两条曲线进行拼接。如图2和图3所示，将相邻的两条直线进行拼接，生成引导路径，其中，相邻的两条直线的灰度值或平均灰度值的差异值在预设范围内。
在实际应用中，可能无法根据有些几何图形生成引导路径，影响无人机沿引导路径自主飞行，需要辅助于人工操作，因此，步骤12更具体地包括：将至少一种几何图形发送至与无人机进行连接通信的移动终端，并根据用户对移动终端显示的至少一种几何图形输入的连接指令，获得第二拼接图形，进而根据第二拼接图形生成引导路径。
当至少一种几何图形中存在无法智能连接的几何图形时，无人机可以将几何图形通过无线方式发送至与无人机进行连接通信的手机、平板电脑等移动终端进行显示，如图4所示，用户操作移动终端将相邻的两条直线进行连接，生成引导路径，从而便于控制无人机沿引导路径自主飞行。
在一可选实施例中，为了便于通过移动终端查看无人机在地图上的位置以及飞行路径，可以根据无人机的全球定位系统GPS(Global Positioning System，全球定位系统)位置信息，将引导路径叠加至通过移动终端显示的地图上。
在一可选实施例中，若引导路径包含闭环线特征，为了实现无人机在完成一圈或多圈飞行后，自动结束飞行，所述无人机自主飞行的方法还包括：获取包含几何图形的起始拍摄图像，在无人机沿引导路径自主飞行的过程中，若每隔预设时长获取的拍摄图像中存在与起始拍摄图像匹配的拍摄图像，则控制无人机结束飞行。例如，可以采用sift(scale-invariant feature transform，尺度不变特征变换)特征点匹配算法，当无人机沿引导路径自主飞行的过程中获取的拍摄图像中几何图形的sift特征点集与起始拍摄图像中几何图形的sift特征点的欧式距离在预设阈值范围内，则可以判定存在与起始拍摄图像匹配的拍摄图像，从而控制无人机结束飞行。无人机结束飞行的方式可以是悬停、降落等。
在一可选实施例中，若引导路径包含非闭合的线性特征，可以控制无人机到达非闭合的线性特征对应的端点时自动结束飞行。
本发明实施例提供的一种无人机自主飞行的方法，通过获取包含几何图形的拍摄图像，识别几何图形，并根据识别结果生成引导路径，以便控制无人机沿引导路径自主飞行，智能化程度较高，使用方便。
如图5所示，本发明实施例提供了一种无人机自主飞行的方法，该方法包括：步骤51、步骤52、步骤53、步骤54和步骤55。其中，
步骤51包括：获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像。
步骤52包括：识别前一帧拍摄图像的几何图形和当前帧拍摄图像的几何图形。
步骤53包括：将前一帧拍摄图像与当前帧拍摄图像进行拼接，获得拼接后的几何图形。
步骤54包括：根据拼接后的几何图形生成引导路径和引导方向。
步骤55包括：控制无人机沿引导路径和引导方向自主飞行。
在本发明实施例中，可以采用sift特征点匹配将前一帧拍摄图像与当前帧拍摄图像进行拼接，并根据拼接后的几何图形生成引导路径和引导方向(即运动方向)，进而控制无人机沿引导路径和引导方向自主飞行。
本发明实施例提供的一种无人机自主飞行的方法，通过获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像，识别前一帧拍摄图像的几何图形和当前帧拍摄图像的几何图形，将前一帧拍摄图像与当前帧拍摄图像进行拼接，获得拼接后的几何图形，根据拼接后的几何图形生成引导路径和引导方向，进而控制无人机沿引导路径和引导方向自主飞行，智能化程度较高，使用方便。
在一可选实施例中，为了便于通过移动终端查看无人机在地图上的位置以及飞行路径，可以根据无人机的GPS位置信息，将引导路径叠加至通过移动终端显示的地图上。
如图6所示，本发明实施例提供了一种无人机自主飞行的装置60，该装置60包括：图像获取模块61、路径生成模块62和飞行控制模块63。其中，
图像获取模块61用于获取包含几何图形的拍摄图像。
在本发明实施例中，无人机上配置有云台，云台上安装有摄像模组，该摄像模组用于拍摄图像。几何图形包括但不限于直线、曲线、圆形、椭圆形、多边形以及上述至少两个几何图形的组合图形。例如，交通标志线、操场跑道等。
路径生成模块62用于识别几何图形，并根据识别结果生成引导路径。
飞行控制模块63用于控制无人机沿引导路径自主飞行。
在本发明实施例中，如图7所示，路径生成模块62更具体地包括：图像转换单元621、第一检测处理单元622、第二检测处理单元623和引导路径生成单元624。其中，
图像转换单元621用于将拍摄图像转换成灰度图像。
第一检测处理单元622用于对灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；
第二检测处理单元623用于利用预设算法对边缘图像进行检测，以获得至少一种几何图形；
引导路径生成单元624用于根据至少一种几何图形生成引导路径。
在本发明实施例中，几何图形可以包括直线、曲线、圆弧等非闭环图形，也可以包括圆、椭圆等闭环图形，提到的直线可以是具有一定曲度的线段。若拍摄图像为RGB图像，则将RGB图像转换成灰度图像，进而可以利用Canny算子对灰度图像做边缘检测和二值化处理，得到二值化的边缘图像。进一步地利用霍夫变换(Hough Transform)算法对边缘图像进行边缘检测，以获得至少一种几何图形。
在一可选实施例中，更具体的，引导路径生成单元624可以具体用于将至少一种几何图形中灰度值的差异值在预设范围内的几何图形进行拼接，获得第一拼接图形，并根据第一拼接图形生成引导路径。
上述差异值可以是两个几何图形的灰度值或平均灰度值的差值，也可以是两个几何图形灰度值或平均灰度值的比值，预设范围可以根据实际应用的需要进行设定。例如，将一条直线与一条曲线进行拼接，又如，将一条曲线与一个圆弧进行拼接，又如，将两条曲线进行拼接。如图2和图3所示，将相邻的两条直线进行拼接，生成引导路径，其中，相邻的两条直线的灰度值的差异值在预设范围内。
在实际应用中，可能无法根据有些几何图形生成引导路径，影响无人机沿引导路径自主飞行，需要辅助于人工操作，因此，引导路径生成单元624可以具体将至少一种几何图形发送至与无人机进行连接通信的移动终端，并根据用户对移动终端显示的至少一种几何图形输入的连接指令，获得第二拼接图形，进而根据第二拼接图形生成引导路径。
当至少一种几何图形中存在无法智能连接的几何图形时，无人机可以将几何图形通过无线方式发送至手机、平板电脑等移动终端进行显示，如图4所示，用户操作移动终端将相邻的两条直线进行连接，生成引导路径，从而便于控制无人机沿引导路径自主飞行。
在一可选实施例中，为了便于通过移动终端查看无人机在地图上的位置以及飞行路径，所述无人机自主飞行的装置还包括叠加模块，该叠加模块用于根据无人机的GPS位置信息，将引导路径叠加至通过移动终端显示的地图上。
在一可选实施例中，若引导路径包含闭环线特征，为了实现无人机在完成一圈或多圈飞行后，自动结束飞行，所述无人机自主飞行的装置还包括：起始图像获取模块和结束飞行控制模块。其中，
起始图像获取模块用于获取包含几何图形的起始拍摄图像；结束飞行控制模块，用于在无人机沿引导路径自主飞行的过程中，若每隔预设时长获取的拍摄图像中存在与起始拍摄图像匹配的拍摄图像，则控制无人机结束飞行。例如，可以采用sift特征点匹配算法，当无人机沿引导路径自主飞行的过程中获取的拍摄图像中几何图形的sift特征点集与起始拍摄图像中几何图形的sift特征点的欧式距离在预设阈值范围内，则可以判定存在与起始拍摄图像匹配的拍摄图像，从而控制无人机结束飞行。无人机结束飞行的方式可以是悬停、降落等。
在一可选实施例中，若引导路径包含非闭合的线性特征，可以控制无人机到达非闭合的线性特征对应的端点时自动结束飞行。
本发明实施例提供的一种无人机自主飞行的装置60，通过图像获取模块61获取包含几何图形的拍摄图像，路径生成模块62识别几何图形，并根据识别结果生成引导路径，以便飞行控制模块63控制无人机沿引导路径自主飞行，智能化程度较高，使用方便。
如图8所示，本发明实施例提供了一种无人机自主飞行的装置80，该装置80包括：图像获取模块81、路径生成模块82和飞行控制模块83。其中，
图像获取模块81用于获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像。
路径生成模块82用于识别前一帧拍摄图像的几何图形和当前帧拍摄图像的几何图形，将前一帧拍摄图像与当前帧拍摄图像进行拼接，获得拼接后的几何图形，根据拼接后的几何图形生成引导路径和引导方向。
飞行控制模块83用于控制无人机沿引导路径和引导方向自主飞行。
在本发明实施例中，可以采用sift特征点匹配将前一帧拍摄图像与当前帧拍摄图像进行拼接，并根据拼接后的几何图形生成引导路径和引导方向(即运动方向)，进而控制无人机沿引导路径和引导方向自主飞行。
本发明实施例提供的一种无人机自主飞行的装置80，通过图像获取模块81获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像，路径生成模块82识别前一帧拍摄图像的几何图形和当前帧拍摄图像的几何图形，将前一帧拍摄图像与当前帧拍摄图像进行拼接，获得拼接后的几何图形，根据拼接后的几何图形生成引导路径和引导方向，进而飞行控制模块83控制无人机沿引导路径和引导方向自主飞行，智能化程度较高，使用方便。
图9是本发明实施例提供的一种执行无人机自主飞行的方法的无人机90的硬件结构示意图。如图9所示，该无人机90可以包括：
一个或多个处理器91、存储器92以及摄像装置93，图9中以一个处理器91为例。
处理器91、存储器92以及摄像装置93可以通过总线或者其他方式连接，图9中以通过总线连接为例。其中，处理器91和存储器92可以设于无人机90的机身内部，摄像装置93可以与机身连接，设于机身的外部。
存储器92作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的无人机自主飞行的方法对应的程序指令/模块(例如，附图6所示的图像获取模块61、路径生成模块62和飞行控制模块63，附图7中的图像转换单元621、第一检测处理单元622、第二检测处理单元623和引导路径生成单元624，附图8中的图像获取模块81、路径生成模块82和飞行控制模块83)。处理器91和摄像装置93通过运行存储在存储器92中的非易失性软件程序、指令以及模块，从而执行无人机90的各种功能应用以及数据处理，即实现上述方法实施例的无人机自主飞行的方法。
存储器92可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据拍摄构图的装置的使用所创建的数据等。此外，存储器92可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器92可选包括相对于处理器91远程设置的存储器，这些远程存储器可以通过网络连接至拍摄构图的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器92中，当被所述一个或者多个处理器91执行时，执行上述任意方法实施例中的无人机自主飞行的方法，例如，执行以上描述的图1中的方法步骤11、步骤12和步骤13，图5中的方法步骤51至步骤55，附图6所示的图像获取模块61、路径生成模块62和飞行控制模块63，附图7中的图像转换单元621、第一检测处理单元622、第二检测处理单元623和引导路径生成单元624，附图8中的图像获取模块81、路径生成模块82和飞行控制模块83的功能。
上述无人机90可执行本发明实施例所提供的无人机自主飞行的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的无人机自主飞行的方法。
本发明实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图9中的一个处理器91，可使得上述一个或多个处理器可执行上述任意方法实施例中的无人机自主飞行的方法，例如，执行以上描述的图1中的方法步骤11、步骤12和步骤13，图5中的方法步骤51至步骤55，附图6所示的图像获取模块61、路径生成模块62和飞行控制模块63，附图7中的图像转换单元621、第一检测处理单元622、第二检测处理单元623和引导路径生成单元624，附图8中的图像获取模块81、路径生成模块82和飞行控制模块83的功能。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(Random Access Memory，RAM)等。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (19)
1.一种无人机自主飞行的方法，其特征在于，包括：
获取包含几何图形的拍摄图像；
识别所述几何图形，并根据识别结果生成引导路径；以及
控制所述无人机沿所述引导路径自主飞行；
其中，所述识别所述几何图形，并根据识别结果生成引导路径，包括：
将所述拍摄图像转换成灰度图像；
对所述灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；
利用预设算法对所述边缘图像进行检测，以获得至少一种几何图形；
将所述至少一种几何图形中灰度值的差异值在预设范围内的几何图形进行拼接，获得第一拼接图形；
根据所述第一拼接图形生成引导路径。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述无人机的全球定位系统GPS位置信息，将所述引导路径叠加至通过移动终端显示的地图上。
3.根据权利要求1所述的方法，其特征在于，若所述引导路径包含闭环线特征，所述方法还包括：
获取包含几何图形的起始拍摄图像；
在所述无人机沿所述引导路径自主飞行的过程中，若每隔预设时长获取的拍摄图像中存在与所述起始拍摄图像匹配的拍摄图像，则控制所述无人机结束飞行。
4.一种无人机自主飞行的方法，其特征在于，包括：
获取包含几何图形的拍摄图像；
识别所述几何图形，并根据识别结果生成引导路径；以及
控制所述无人机沿所述引导路径自主飞行；
其中，所述识别所述几何图形，并根据识别结果生成引导路径，包括：
将所述拍摄图像转换成灰度图像；
对所述灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；
利用预设算法对所述边缘图像进行检测，以获得至少一种几何图形；
将所述至少一种几何图形发送至与所述无人机进行连接通信的移动终端；
根据用户对所述移动终端显示的所述至少一种几何图形输入的连接指令，获得第二拼接图形；
根据所述第二拼接图形生成引导路径。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述无人机的全球定位系统GPS位置信息，将所述引导路径叠加至通过移动终端显示的地图上。
6.根据权利要求4所述的方法，其特征在于，若所述引导路径包含闭环线特征，所述方法还包括：
获取包含几何图形的起始拍摄图像；
在所述无人机沿所述引导路径自主飞行的过程中，若每隔预设时长获取的拍摄图像中存在与所述起始拍摄图像匹配的拍摄图像，则控制所述无人机结束飞行。
7.一种无人机自主飞行的方法，其特征在于，包括：
获取包含几何图形的拍摄图像；
识别所述几何图形，并根据识别结果生成引导路径；以及
控制所述无人机沿所述引导路径自主飞行；
其中，所述获取包含几何图形的拍摄图像，包括：
获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像；
则：
所述识别所述几何图形，并根据识别结果生成引导路径，包括：
识别所述前一帧拍摄图像的几何图形和所述当前帧拍摄图像的几何图形；
将所述前一帧拍摄图像与所述当前帧拍摄图像进行拼接，获得拼接后的几何图形；
根据所述拼接后的几何图形生成引导路径和引导方向；
所述控制所述无人机沿所述引导路径自主飞行，包括：
控制所述无人机沿所述引导路径和所述引导方向自主飞行。
8.根据权利要求7中所述的方法，其特征在于，所述方法还包括：
根据所述无人机的全球定位系统GPS位置信息，将所述引导路径叠加至通过移动终端显示的地图上。
9.根据权利要求8所述的方法，其特征在于，若所述引导路径包含闭环线特征，所述方法还包括：
获取包含几何图形的起始拍摄图像；
在所述无人机沿所述引导路径自主飞行的过程中，若每隔预设时长获取的拍摄图像中存在与所述起始拍摄图像匹配的拍摄图像，则控制所述无人机结束飞行。
10.一种无人机自主飞行的装置，其特征在于，包括：
图像获取模块，用于获取包含几何图形的拍摄图像；
路径生成模块，用于识别所述几何图形，并根据识别结果生成引导路径；以及
飞行控制模块，用于控制所述无人机沿所述引导路径自主飞行；
其中，所述路径生成模块包括：
图像转换单元，用于将所述拍摄图像转换成灰度图像；
第一检测处理单元，用于对所述灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；
第二检测处理单元，用于利用预设算法对所述边缘图像进行检测，以获得至少一种几何图形；
引导路径生成单元，用于根据所述至少一种几何图形生成引导路径；
所述引导路径生成单元具体用于将所述至少一种几何图形中灰度值的差异值在预设范围内的几何图形进行拼接，获得第一拼接图形，并根据所述第一拼接图形生成引导路径。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括叠加模块，用于根据所述无人机的全球定位系统GPS位置信息，将所述引导路径叠加至通过移动终端显示的地图上。
12.根据权利要求10所述的装置，其特征在于，若所述几何图形包含闭环线特征，所述装置还包括：
起始图像获取模块，用于获取包含几何图形的起始拍摄图像；
结束飞行控制模块，用于在所述无人机沿所述引导路径自主飞行的过程中，若每隔预设时长获取的拍摄图像中存在与所述起始拍摄图像匹配的拍摄图像，则控制所述无人机结束飞行。
13.一种无人机自主飞行的装置，其特征在于，包括：
图像获取模块，用于获取包含几何图形的拍摄图像；
路径生成模块，用于识别所述几何图形，并根据识别结果生成引导路径；以及
飞行控制模块，用于控制所述无人机沿所述引导路径自主飞行；
其中，所述路径生成模块包括：
图像转换单元，用于将所述拍摄图像转换成灰度图像；
第一检测处理单元，用于对所述灰度图像进行边缘检测和二值化处理，得到二值化的边缘图像；
第二检测处理单元，用于利用预设算法对所述边缘图像进行检测，以获得至少一种几何图形；
引导路径生成单元，用于根据所述至少一种几何图形生成引导路径；
所述引导路径生成单元具体用于将所述至少一种几何图形发送至与所述无人机进行连接通信的移动终端，根据用户对所述移动终端显示的所述至少一种几何图形输入的连接指令，获得第二拼接图形，根据所述第二拼接图形生成引导路径。
14.根据权利要求13所述的装置，其特征在于，所述装置还包括叠加模块，用于根据所述无人机的全球定位系统GPS位置信息，将所述引导路径叠加至通过移动终端显示的地图上。
15.根据权利要求13所述的装置，其特征在于，若所述几何图形包含闭环线特征，所述装置还包括：
起始图像获取模块，用于获取包含几何图形的起始拍摄图像；
结束飞行控制模块，用于在所述无人机沿所述引导路径自主飞行的过程中，若每隔预设时长获取的拍摄图像中存在与所述起始拍摄图像匹配的拍摄图像，则控制所述无人机结束飞行。
16.一种无人机自主飞行的装置，其特征在于，包括：
图像获取模块，用于获取包含几何图形的拍摄图像；
路径生成模块，用于识别所述几何图形，并根据识别结果生成引导路径；以及
飞行控制模块，用于控制所述无人机沿所述引导路径自主飞行；
其中，所述图像获取模块用于获取包含几何图形的前一帧拍摄图像和当前帧拍摄图像；
所述路径生成模块用于识别所述前一帧拍摄图像的几何图形和所述当前帧拍摄图像的几何图形，将所述前一帧拍摄图像与所述当前帧拍摄图像进行拼接，获得拼接后的几何图形，根据所述拼接后的几何图形生成引导路径和引导方向；
所述飞行控制模块用于控制所述无人机沿所述引导路径和所述引导方向自主飞行。
17.根据权利要求16中所述的装置，其特征在于，所述装置还包括叠加模块，用于根据所述无人机的全球定位系统GPS位置信息，将所述引导路径叠加至通过移动终端显示的地图上。
18.根据权利要求16所述的装置，其特征在于，若所述几何图形包含闭环线特征，所述装置还包括：
起始图像获取模块，用于获取包含几何图形的起始拍摄图像；
结束飞行控制模块，用于在所述无人机沿所述引导路径自主飞行的过程中，若每隔预设时长获取的拍摄图像中存在与所述起始拍摄图像匹配的拍摄图像，则控制所述无人机结束飞行。
19.一种无人机，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一所述的方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611223787.3A CN106647805B (zh) | 2016-12-27 | 2016-12-27 | 无人机自主飞行的方法、装置以及无人机 |
| CN201811503181.4A CN109358648B (zh) | 2016-12-27 | 2016-12-27 | 无人机自主飞行的方法、装置以及无人机 |
| EP17825356.3A EP3367201A4 (en) | 2016-12-27 | 2017-12-12 | Method and device for controlling flight of unmanned aerial vehicle, and unmanned aerial vehicle |
| PCT/CN2017/115681 WO2018121247A1 (zh) | 2016-12-27 | 2017-12-12 | 控制无人机飞行的方法、装置以及无人机 |
| US15/884,893 US20180181129A1 (en) | 2016-12-27 | 2018-01-31 | Method and apparatus for controlling flight of unmanned aerial vehicle and unmanned aerial vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611223787.3A CN106647805B (zh) | 2016-12-27 | 2016-12-27 | 无人机自主飞行的方法、装置以及无人机 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811503181.4A Division CN109358648B (zh) | 2016-12-27 | 2016-12-27 | 无人机自主飞行的方法、装置以及无人机 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106647805A CN106647805A (zh) | 2017-05-10 |
| CN106647805B true CN106647805B (zh) | 2019-02-15 |
Family
ID=58831324
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611223787.3A Active CN106647805B (zh) | 2016-12-27 | 2016-12-27 | 无人机自主飞行的方法、装置以及无人机 |
| CN201811503181.4A Active CN109358648B (zh) | 2016-12-27 | 2016-12-27 | 无人机自主飞行的方法、装置以及无人机 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811503181.4A Active CN109358648B (zh) | 2016-12-27 | 2016-12-27 | 无人机自主飞行的方法、装置以及无人机 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP3367201A4 (zh) |
| CN (2) | CN106647805B (zh) |
| WO (1) | WO2018121247A1 (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106647805B (zh) * | 2016-12-27 | 2019-02-15 | 深圳市道通智能航空技术有限公司 | 无人机自主飞行的方法、装置以及无人机 |
| CN108521804A (zh) * | 2017-06-20 | 2018-09-11 | 深圳市大疆创新科技有限公司 | 一种无人机的飞行区域规划方法及设备 |
| CN107563183A (zh) * | 2017-07-28 | 2018-01-09 | 翔升（上海）电子技术有限公司 | 无人机控制方法、装置、设备和计算机可读存储介质 |
| CN108475063A (zh) * | 2017-09-12 | 2018-08-31 | 深圳市大疆创新科技有限公司 | 可移动设备以及其作业方法 |
| CN108319264A (zh) * | 2017-12-28 | 2018-07-24 | 北京臻迪科技股份有限公司 | 航行控制方法、装置 |
| CN110785727A (zh) * | 2018-08-31 | 2020-02-11 | 深圳市大疆创新科技有限公司 | 可移动平台的控制方法、可移动平台、终端设备和系统 |
| CN109767387A (zh) * | 2018-12-26 | 2019-05-17 | 北京木业邦科技有限公司 | 一种基于无人机的森林图像获取方法及装置 |
| CN112585555A (zh) * | 2020-01-21 | 2021-03-30 | 深圳市大疆创新科技有限公司 | 基于可通行空域判断的飞行控制方法、装置及设备 |
| CN111123968B (zh) * | 2020-02-03 | 2020-10-16 | 向杰 | 一种蜂窝阵列飞行器控制系统 |
| CN111401146A (zh) * | 2020-02-26 | 2020-07-10 | 长江大学 | 一种无人机电力巡检方法、设备及存储介质 |
| CN112904878B (zh) * | 2021-01-15 | 2022-08-16 | 西南石油大学 | 一种用于管道高后果区识别的无人机系统和方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104134209A (zh) * | 2014-07-18 | 2014-11-05 | 北京国电富通科技发展有限责任公司 | 一种视觉导航中的特征提取与匹配方法及系统 |
| CN104252705A (zh) * | 2014-09-30 | 2014-12-31 | 中安消技术有限公司 | 一种图像拼接方法及装置 |
| CN105549603A (zh) * | 2015-12-07 | 2016-05-04 | 北京航空航天大学 | 一种多旋翼无人机的智能道路巡检控制方法 |
| CN106092102A (zh) * | 2016-07-20 | 2016-11-09 | 广州极飞电子科技有限公司 | 一种无人机路径规划方法及装置 |
| CN106204507A (zh) * | 2015-05-28 | 2016-12-07 | 长沙维纳斯克信息技术有限公司 | 一种无人机图像拼接方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3936683B2 (ja) * | 2003-08-04 | 2007-06-27 | 株式会社デンソー | 道路位置検出装置及びプログラム |
| US8666661B2 (en) * | 2006-03-31 | 2014-03-04 | The Boeing Company | Video navigation |
| US8089375B1 (en) * | 2008-06-09 | 2012-01-03 | Rockwell Collins, Inc. | Head-up display/synthetic vision system predicted flight path depiction |
| US9036861B2 (en) * | 2010-04-22 | 2015-05-19 | The University Of North Carolina At Charlotte | Method and system for remotely inspecting bridges and other structures |
| US9235902B2 (en) * | 2011-08-04 | 2016-01-12 | University Of Southern California | Image-based crack quantification |
| CN103869819B (zh) * | 2014-03-10 | 2016-08-17 | 中国矿业大学 | 一种基于多旋翼无人机的带式输送机自动巡检方法 |
| CN103941748B (zh) * | 2014-04-29 | 2016-05-25 | 百度在线网络技术（北京）有限公司 | 自主导航方法及系统和地图建模方法及系统 |
| US10564649B2 (en) * | 2015-03-02 | 2020-02-18 | Izak Jan van Cruyningen | Flight planning for unmanned aerial tower inspection |
| US9513635B1 (en) * | 2015-12-30 | 2016-12-06 | Unmanned Innovation, Inc. | Unmanned aerial vehicle inspection system |
| CN106647805B (zh) * | 2016-12-27 | 2019-02-15 | 深圳市道通智能航空技术有限公司 | 无人机自主飞行的方法、装置以及无人机 |
-
2016
- 2016-12-27 CN CN201611223787.3A patent/CN106647805B/zh active Active
- 2016-12-27 CN CN201811503181.4A patent/CN109358648B/zh active Active
-
2017
- 2017-12-12 EP EP17825356.3A patent/EP3367201A4/en active Pending
- 2017-12-12 WO PCT/CN2017/115681 patent/WO2018121247A1/zh unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104134209A (zh) * | 2014-07-18 | 2014-11-05 | 北京国电富通科技发展有限责任公司 | 一种视觉导航中的特征提取与匹配方法及系统 |
| CN104252705A (zh) * | 2014-09-30 | 2014-12-31 | 中安消技术有限公司 | 一种图像拼接方法及装置 |
| CN106204507A (zh) * | 2015-05-28 | 2016-12-07 | 长沙维纳斯克信息技术有限公司 | 一种无人机图像拼接方法 |
| CN105549603A (zh) * | 2015-12-07 | 2016-05-04 | 北京航空航天大学 | 一种多旋翼无人机的智能道路巡检控制方法 |
| CN106092102A (zh) * | 2016-07-20 | 2016-11-09 | 广州极飞电子科技有限公司 | 一种无人机路径规划方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106647805A (zh) | 2017-05-10 |
| CN109358648B (zh) | 2022-11-04 |
| EP3367201A4 (en) | 2018-10-24 |
| EP3367201A1 (en) | 2018-08-29 |
| CN109358648A (zh) | 2019-02-19 |
| WO2018121247A1 (zh) | 2018-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106647805B (zh) | 无人机自主飞行的方法、装置以及无人机 | |
| US10928829B2 (en) | Detection of traffic dynamics and road changes in autonomous driving | |
| US11454988B2 (en) | Systems and methods for automated landing of a drone | |
| Oleynikova et al. | Reactive avoidance using embedded stereo vision for MAV flight | |
| US20200034620A1 (en) | Self-reliant autonomous mobile platform | |
| CN111316288A (zh) | 道路结构信息的提取方法、无人机及自动驾驶系统 | |
| WO2020150904A1 (en) | Neural network based obstacle detection for mobile platforms, and associated systems and methods | |
| CN111913492B (zh) | 无人机安全降落方法和装置 | |
| US12039874B2 (en) | Control method and device for unmanned aerial vehicle, and computer readable storage medium | |
| US20210327287A1 (en) | Uav path planning method and device guided by the safety situation, uav and storage medium | |
| WO2020103108A1 (zh) | 一种语义生成方法、设备、飞行器及存储介质 | |
| WO2020103109A1 (zh) | 一种地图生成方法、设备、飞行器及存储介质 | |
| WO2010129907A2 (en) | Method and system for visual collision detection and estimation | |
| CN112379681A (zh) | 无人机避障飞行方法、装置及无人机 | |
| US20180181129A1 (en) | Method and apparatus for controlling flight of unmanned aerial vehicle and unmanned aerial vehicle | |
| Kouris et al. | Informed region selection for efficient uav-based object detectors: Altitude-aware vehicle detection with cycar dataset | |
| CN112380933A (zh) | 无人机识别目标的方法、装置及无人机 | |
| CN118245854B (zh) | 输电线路检测方法、装置、设备以及存储介质 | |
| WO2022061632A1 (zh) | 障碍物检测方法、装置、无人机和存储介质 | |
| CN111583335A (zh) | 定位系统、定位方法和非易失性计算机可读存储介质 | |
| US20220283584A1 (en) | Information processing device, information processing method, and information processing program | |
| CN112585945A (zh) | 对焦方法、装置及设备 | |
| CN116259043A (zh) | 一种自动驾驶3d目标检测方法及相关装置 | |
| CN114740878B (zh) | 基于计算机图像识别的无人机飞行障碍物探测方法 | |
| CN113273173A (zh) | 可移动平台的巡检方法、装置、可移动平台及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1 Patentee after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd. Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1 Patentee before: AUTEL ROBOTICS Co.,Ltd. |