CN108762310A - 一种基于视觉的无人机跟随飞行的控制方法及系统 - Google Patents
一种基于视觉的无人机跟随飞行的控制方法及系统 Download PDFInfo
- Publication number
- CN108762310A CN108762310A CN201810502528.7A CN201810502528A CN108762310A CN 108762310 A CN108762310 A CN 108762310A CN 201810502528 A CN201810502528 A CN 201810502528A CN 108762310 A CN108762310 A CN 108762310A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- target
- mobile phone
- smart mobile
- follows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000033001 locomotion Effects 0.000 claims abstract description 56
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 48
- 238000004891 communication Methods 0.000 claims abstract description 26
- 230000005540 biological transmission Effects 0.000 claims abstract description 18
- 238000009434 installation Methods 0.000 claims description 12
- 238000005096 rolling process Methods 0.000 claims description 2
- 230000007423 decrease Effects 0.000 claims 2
- 230000000630 rising effect Effects 0.000 claims 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供了一种基于视觉的无人机跟随飞行的控制方法及系统，该方法包括：在建立智能手机与无人机通信连接之后，智能手机发送一键起飞指令给无人机，以便无人机根据该指令指示起飞，并自动锁定无人机视觉内的跟随目标；智能手机获取无人机传送的对跟随目标进行跟随拍摄的图像或者视频，并在图像或者视频流中识别跟随目标的实时位置和大小的变化，以便得到跟随目标的运动方向；智能手机根据跟随目标的运动方向计算无人机保持跟随航线方向需要的控制分量；智能手机根据计算得到的无人机的控制分量，发送与无人机的控制分量对应的飞行控制指令给无人机，从而在智能手机上实现了无人机的视觉跟踪和图像识别功能。
Description
技术领域
本发明涉及无人机技术领域，尤其涉及一种基于视觉的无人机跟随飞行的控制方法及系统。
背景技术
无人机用于航拍已经得到广泛应用，目前已有跟踪目标对象进行拍摄的无人机，其主要原理是利用视觉跟踪系统，通过拍摄装置判断和识别目标对象，然后根据识别目标对象的移动轨迹来实现航迹追踪，跟随拍摄。无人机视觉跟踪涉及复杂的视觉跟踪算法及飞行控制系统，比如航拍过程中，为了实时看到拍摄效果，需要配置图像数据处理系统，将无人机的图像数据实时传输到地面端，再通过地面端的显示设备显示出来，为了能把无人机的实时图像数据传输到地面端，首先需要对图像数据进行压缩，通常采用H.264编码算法，然后把压缩后的图像数据通过无线链路传输到地面端。
但是，上述无人机的视觉跟踪和图像识别功能要求无人机的主控芯片具有先进的处理能力，如四核芯片，只有无人机采用如四核芯片才能启动运行无人机的视觉跟踪和图像识别功能，现有很多无人机的主控芯片是单核芯片，甚至是ARM9 处理芯片，这样，这些主控芯片为单核芯片或者ARM9 处理芯片的无人机无法正常运行上述的无人机的视觉跟踪和图像识别功能。
发明内容
本发明的目的在于克服上述现有技术的不足，提供一种基于视觉的无人机跟随飞行的控制方法及系统，无人机航拍的图像或者视频流可传送给智能手机，从而在智能手机上实现视觉跟踪和图像识别功能，旨在解决现有的主控芯片为单核芯片或者ARM9 处理芯片的无人机无法正常运行无人机的视觉跟踪和图像识别功能的技术问题。
本发明是这样实现的，一种基于视觉的无人机跟随飞行的控制方法，包括如下步骤：
建立智能手机与无人机通信连接；
所述智能手机发送一键起飞指令给所述无人机，以便所述无人机根据该指令指示起飞，并自动锁定无人机视觉内的跟随目标，保持定点悬停；
所述智能手机获取所述无人机传送的对所述跟随目标进行跟随拍摄的图像或者视频，并在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，以便得到所述跟随目标的运动方向；
所述智能手机根据所述跟随目标的运动方向计算所述无人机保持跟随航线方向所述需要的控制分量，以便调整所述无人机的飞行姿态，确保所述无人机持续跟随所述跟随目标，其中，所述无人机的控制分量包括目标俯仰、横滚、航向和油门；
所述智能手机根据计算得到的所述无人机的控制分量，发送与所述无人机的控制分量对应的飞行控制指令给所述无人机，以便所述无人机根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标。
进一步地，所述建立智能手机与无人机通信连接的步骤包括：
所述智能手机通过蓝牙或者WIFI或者zigbee与所述无人机建立通信连接。
进一步地，所述智能手机获取所述无人机传送的对所述跟随目标进行跟随拍摄的图像或者视频，并在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，以便得到所述跟随目标的运动方向的步骤包括：
所述智能手机获取所述无人机通过其安装的红外成像仪实时采集跟随目标的红外图像，并在所述红外图像中识别出跟随目标的实时位置和大小，并对跟随目标进行运动跟踪处理，得到跟随目标的运动方向；
或者，所述智能手机获取所述无人机通过其安装的云台相机连续拍摄的多帧实时图像，并在所述多帧实时图像中识别出跟随目标的实时位置和大小，通过跟随目标在前后两帧图像中的不同位置判定跟随目标的运动方向。
进一步地，所述无人机的飞行姿势包括前进、后退、左移、右移、左右转弯、悬停、翻转、上升及下降。
相应地，本发明还提供了一种基于视觉的无人机跟随飞行的控制方法，包括如下步骤：
建立智能手机与无人机通信连接；
所述无人机接收所述智能手机发送的一键起飞指令，并根据该指令指示起飞，自动锁定无人机视觉内的跟随目标，保持定点悬停；
所述无人机对所述跟随目标进行跟随拍摄，并将跟随拍摄的图像或者视频传送给所述智能手机，以便所述智能手机在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，得到所述跟随目标的运动方向，进而根据所述跟随目标的运动方向计算所述无人机保持跟随航线方向所需要的控制分量；其中，所述无人机的控制分量包括目标俯仰、横滚、航向和油门；
所述无人机接收所述智能手机发送的飞行控制指令，并根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标，其中，所述飞行控制指令是所述智能手机是根据计算得到的所述无人机的控制分量发送的与所述无人机的控制分量对应的飞行控制指令。
进一步地，所述建立智能手机与无人机通信连接的步骤包括：
所述智能手机通过蓝牙或者WIFI或者zigbee与所述无人机建立通信连接。
进一步地，所述无人机对所述跟随目标进行跟随拍摄的步骤包括：
所述无人机通过其安装的红外成像仪实时采集跟随目标的红外图像；
或者，所述无人机通过其安装的云台相机连续拍摄的多帧实时图像。
进一步地，所述无人机的飞行姿势包括前进、后退、左移、右移、左右转弯、悬停、翻转、上升及下降。
相应地，本发明还提供了一种基于视觉的无人机跟随飞行的控制系统，包括无人机及与所述无人机通信连接的智能手机，其中，
所述智能手机发送一键起飞指令给所述无人机，以便所述无人机根据该指令指示起飞，并自动锁定无人机视觉内的跟随目标，保持定点悬停；
所述智能手机获取所述无人机传送的对所述跟随目标进行跟随拍摄的图像或者视频，并在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，以便得到所述跟随目标的运动方向；
所述智能手机根据所述跟随目标的运动方向计算所述无人机保持跟随航线方向所述需要的控制分量，以便调整所述无人机的飞行姿态，确保所述无人机持续跟随所述跟随目标，其中，所述无人机的控制分量包括目标俯仰、横滚、航向和油门；
所述智能手机根据计算得到的所述无人机的控制分量，发送与所述无人机的控制分量飞行控制指令给所述无人机，以便所述无人机根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标；
所述无人机接收所述智能手机发送的一键起飞指令，并根据该指令指示起飞，自动锁定无人机视觉内的跟随目标，保持定点悬停；
所述无人机对所述跟随目标进行跟随拍摄，并将跟随拍摄的图像或者视频传送给所述智能手机，以便所述智能手机在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，得到所述跟随目标的运动方向，进而根据所述跟随目标的运动方向计算所述无人机保持跟随航线方向所述需要的控制分量；
所述无人机接收所述智能手机发送的飞行控制指令，并根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标，其中，所述飞行控制指令是智能手机根据计算得到的所述无人机的控制分量发送的
本发明的有益效果为：本发明实施例提供的基于视觉的无人机跟随飞行的控制方法，在建立智能手机与无人机通信连接之后，智能手机发送一键起飞指令给无人机，以便无人机根据该指令指示起飞，并自动锁定无人机视觉内的跟随目标，保持定点悬停；智能手机获取无人机传送的对跟随目标进行跟随拍摄的图像或者视频，并在图像或者视频流中识别跟随目标的实时位置和大小的变化，以便得到跟随目标的运动方向；智能手机根据跟随目标的运动方向计算无人机保持跟随航线方向需要的控制分量，以便调整无人机的飞行姿态，确保所无人机持续跟随跟随目标；智能手机根据计算得到的无人机的控制分量，发送与无人机的控制分量对应的飞行控制指令给无人机，以便无人机根据飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标，这样，通过将无人机航拍的图像或者视频流传送给智能手机，智能手机在图像或者视频流中识别跟随目标的实时位置和大小的变化，以便得到跟随目标的运动方向，根据跟随目标的运动方向计算无人机保持跟随航线方向需要的控制分量，并根据计算得到的无人机的控制分量，发送与无人机的控制分量对应的飞行控制指令给无人机，从而在智能手机上实现视觉跟踪和图像识别功能，解决现有的主控芯片为单核芯片或者ARM9 处理芯片的无人机无法正常运行无人机的视觉跟踪和图像识别功能的技术问题。
附图说明
图1是本发明一实施例提供的基于视觉的无人机跟随飞行的控制方法的流程示意图。
图2是本发明第二实施例提供的基于视觉的无人机跟随飞行的控制方法的流程示意图。
图3是本发明一实施例提供的基于视觉的无人机跟随飞行的控制系统的结构示意图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于视觉的无人机跟随飞行的控制方法及系统，通过将无人机航拍的图像或者视频流传送给智能手机，智能手机在图像或者视频流中识别跟随目标的实时位置和大小的变化，以便得到跟随目标的运动方向，根据跟随目标的运动方向计算无人机保持跟随航线方向需要的控制分量，并根据计算得到的无人机的控制分量，发送与无人机的控制分量对应的飞行控制指令给无人机，从而在智能手机上实现视觉跟踪和图像识别功能，解决了现有的主控芯片为单核芯片或者ARM9 处理芯片的无人机无法正常运行无人机的视觉跟踪和图像识别功能的技术问题。以下分别进行详细说明。
需要说明的是，智能手机用于接收无人机传送的图像或者视频流，并对接收到的图像或者视频流进行处理，并发送控制指令给无人机。本方案中，无人机为安装有应用（APP）的客户端，APP可以为客户端上加载的具有遥控无人机功能的软件。
需要说明的是，智能手机端APP通过MavLink协议将控制指令发送给无人机的控制装置，其中，MavLink协议是微型航空器连接协议Micro Air Vehicle Link的简称，该协议是一种用于小型无人载具的通信协议。
请参阅图1，图1是本发明第一实施例提供的一种基于视觉的无人机跟随飞行的控制方法的流程图。其中，本发明第一实施例是从智能手机的角度来详细描述本发明的。如图1所示，该基于视觉的无人机跟随飞行的控制方法可以包括以下步骤。
101、建立智能手机与无人机通信连接。
作为一种可选的实施方式，所述建立智能手机与无人机通信连接的步骤包括：所述智能手机通过蓝牙或者WIFI或者zigbee与所述无人机建立通信连接。
当然，在智能手机和无人机这两个硬件设备条件允许的情况下，也可以通过近距离无线通讯技术（Near Field Communication）来完成通信连接，本发明实施例不作限定。
102、所述智能手机发送一键起飞指令给所述无人机，以便所述无人机根据该指令指示起飞，并自动锁定无人机视觉内的跟随目标，保持定点悬停；
103、所述智能手机获取所述无人机传送的对所述跟随目标进行跟随拍摄的图像或者视频，并在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，以便得到所述跟随目标的运动方向。
作为一种可选的实施方式，所述智能手机获取所述无人机传送的对所述跟随目标进行跟随拍摄的图像或者视频，并在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，以便得到所述跟随目标的运动方向的步骤包括：
所述智能手机获取所述无人机通过其安装的红外成像仪实时采集跟随目标的红外图像，并在所述红外图像中识别出跟随目标的实时位置和大小，并对跟随目标进行运动跟踪处理，得到跟随目标的运动方向；
或者，所述智能手机获取所述无人机通过其安装的云台相机连续拍摄的多帧实时图像，并在所述多帧实时图像中识别出跟随目标的实时位置和大小，通过跟随目标在前后两帧图像中的不同位置判定跟随目标的运动方向。
104、所述智能手机根据所述跟随目标的运动方向计算所述无人机保持跟随航线方向所需要的控制分量，以便调整所述无人机的飞行姿态，确保所述无人机持续跟随所述跟随目标，其中，所述无人机的控制分量包括目标俯仰、横滚、航向和油门；
作为一种可选的实施方式，所述无人机的飞行状态包括前进、后退、左移、右移、左右转弯、悬停、翻转、上升及下降。
需要说明的是，本发明的智能终端并不限定仅仅通过局域网来控制无人机的，也可以是其他通信方式来控制无人机的，例如，5G网络作为下一代移动通信网络，其最高理论传输速度可达每秒数十Gb，这比现行4G网络的传输速度快数百倍，整部超高画质电影可在1秒之内下载完成，在5G网络条件下，智能手机下载速度可达每秒20GB，比现有的4G网络快1000倍，5G网络将是4G网络的真正升级版，它的基本要求并不同于今天的无线网络，5G网络的主要目标是让终端用户始终处于联网状态，这样，而随着5G的成立，智能手机可以通过5G网络来控制无人机，对此，本发明实施例不作限定。
105、所述智能手机根据计算得到的所述无人机的控制分量，发送与所述无人机的控制分量对应的飞行控制指令给所述无人机，以便所述无人机根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标。
本发明实施例中，在建立智能手机与无人机通信连接之后，智能手机发送一键起飞指令给无人机，以便无人机根据该指令指示起飞，并自动锁定无人机视觉内的跟随目标，保持定点悬停；智能手机获取无人机传送的对跟随目标进行跟随拍摄的图像或者视频，并在图像或者视频流中识别跟随目标的实时位置和大小的变化，以便得到跟随目标的运动方向；智能手机根据跟随目标的运动方向计算无人机保持跟随航线方向需要的控制分量，以便调整无人机的飞行姿态，确保所无人机持续跟随跟随目标；智能手机根据计算得到的无人机的控制分量，发送与无人机的控制分量对应的飞行控制指令给无人机，以便无人机根据飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标，这样，通过将无人机航拍的图像或者视频流传送给智能手机，智能手机在图像或者视频流中识别跟随目标的实时位置和大小的变化，以便得到跟随目标的运动方向，根据跟随目标的运动方向计算无人机保持跟随航线方向需要的控制分量，并根据计算得到的无人机的控制分量，发送与无人机的控制分量对应的飞行控制指令给无人机，从而在智能手机上实现视觉跟踪和图像识别功能，解决了现有的主控芯片为单核芯片或者ARM9 处理芯片的无人机无法正常运行无人机的视觉跟踪和图像识别功能的技术问题。
请参阅图2，图2是本发明第二实施例提供的基于视觉的无人机跟随飞行的控制方法的流程图。其中，本发明第二实施例是从无人机的角度来详细描述本发明的。如图2所示，该基于视觉的无人机跟随飞行的控制方法可以包括以下步骤。
201、建立智能手机与无人机通信连接。
202、所述无人机接收所述智能手机发送的一键起飞指令，并根据该指令指示起飞，自动锁定无人机视觉内的跟随目标，保持定点悬停。
203、所述无人机对所述跟随目标进行跟随拍摄，并将跟随拍摄的图像或者视频传送给所述智能手机，以便所述智能手机在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，得到所述跟随目标的运动方向，进而根据所述跟随目标的运动方向计算所述无人机保持跟随航线方向所需要的控制分量；其中，所述无人机的控制分量包括目标俯仰、横滚、航向和油门。
作为一种可选的实施方式，所述无人机通过其安装的红外成像仪实时采集跟随目标的红外图像；
或者，所述无人机通过其安装的云台相机连续拍摄的多帧实时图像。
204、所述无人机接收所述智能手机发送的飞行控制指令，并根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标，其中，所述飞行控制指令是所述智能手机是根据计算得到的所述无人机的控制分量发送的与所述无人机的控制分量对应的飞行控制指令。
本发明实施例中，在建立智能手机与无人机通信连接之后，无人机接收智能手机发送的一键起飞指令，并根据该指令指示起飞，自动锁定无人机视觉内的跟随目标，保持定点悬停；无人机对跟随目标进行跟随拍摄，并将跟随拍摄的图像或者视频传送给智能手机，以便智能手机在图像或者视频流中识别跟随目标的实时位置和大小的变化，得述跟随目标的运动方向，进而根据跟随目标的运动方向计算无人机保持跟随航线方向所需要的控制分量；无人机接收智能手机发送的飞行控制指令，并根据飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标，其中，飞行控制指令是智能手机是根据计算得到的无人机的控制分量发送的与无人机的控制分量对应的飞行控制指令。这样，通过将无人机航拍的图像或者视频流传送给智能手机，智能手机在图像或者视频流中识别跟随目标的实时位置和大小的变化，以便得到跟随目标的运动方向，根据跟随目标的运动方向计算无人机保持跟随航线方向需要的控制分量，并根据计算得到的无人机的控制分量，发送与无人机的控制分量对应的飞行控制指令给无人机，从而在智能手机上实现视觉跟踪和图像识别功能，解决了现有的主控芯片为单核芯片或者ARM9 处理芯片的无人机无法正常运行无人机的视觉跟踪和图像识别功能的技术问题。
请参阅图3，图3本发明第三实施例提供的一种基于视觉的无人机跟随飞行的控制系统的结构示意图。如图3所示，该系统包括无人机1及与所述无人机1通信连接的智能手机2，其中，虚线表示无线连接；其中：
所述智能手机1发送一键起飞指令给所述无人机2，以便所述无人机2根据该指令指示起飞，并自动锁定无人机2视觉内的跟随目标，保持定点悬停；
所述智能手机1获取所述无人机2传送的对所述跟随目标进行跟随拍摄的图像或者视频，并在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，以便得到所述跟随目标的运动方向；
所述智能手机1根据所述跟随目标的运动方向计算所述无人机2保持跟随航线方向所述需要的控制分量，以便调整所述无人机2的飞行姿态，确保所述无人机2持续跟随所述跟随目标，其中，所述无人机2的控制分量包括目标俯仰、横滚、航向和油门；
所述智能手机1根据计算得到的所述无人机2的控制分量，发送与所述无人机2的控制分量飞行控制指令给所述无人机2，以便所述无人机2根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标；
所述无人机2接收所述智能手机1发送的一键起飞指令，并根据该指令指示起飞，自动锁定无人机2视觉内的跟随目标，保持定点悬停；
所述无人机2对所述跟随目标进行跟随拍摄，并将跟随拍摄的图像或者视频传送给所述智能手机1，以便所述智能手机1在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，得到所述跟随目标的运动方向，进而根据所述跟随目标的运动方向计算所述无人机2保持跟随航线方向所述需要的控制分量；所述无人机2接收所述智能手机1发送的飞行控制指令，并根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标，其中，所述飞行控制指令是智能手机1根据计算得到的所述无人机2的控制分量发送的。
本发明实施例提供的基于视觉的无人机跟随飞行的控制系统，在建立智能手机1与无人机2通信连接之后，智能手机1发送一键起飞指令给无人机2，以便无人机2根据该指令指示起飞，并自动锁定无人机2视觉内的跟随目标，保持定点悬停；智能手机1获取无人机2传送的对跟随目标进行跟随拍摄的图像或者视频，并在图像或者视频流中识别跟随目标的实时位置和大小的变化，以便得到跟随目标的运动方向；智能手机1根据跟随目标的运动方向计算无人机2保持跟随航线方向需要的控制分量，以便调整无人机2的飞行姿态，确保所无人机2持续跟随跟随目标；智能手机1根据计算得到的无人机2的控制分量，发送与无人机2的控制分量对应的飞行控制指令给无人机2，以便无人机2根据飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标，这样，通过将无人机2航拍的图像或者视频流传送给智能手机1，智能手机1在图像或者视频流中识别跟随目标的实时位置和大小的变化，以便得到跟随目标的运动方向，根据跟随目标的运动方向计算无人机2保持跟随航线方向需要的控制分量，并根据计算得到的无人机2的控制分量，发送与无人机2的控制分量对应的飞行控制指令给无人机2，从而在智能手机1上实现视觉跟踪和图像识别功能，解决了现有的主控芯片为单核芯片或者ARM9 处理芯片的无人机无法正常运行无人机的视觉跟踪和图像识别功能的技术问题。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于视觉的无人机跟随飞行的控制方法，其特征在于，包括如下步骤：
建立智能手机与无人机通信连接；
所述智能手机发送一键起飞指令给所述无人机，以便所述无人机根据该指令指示起飞，并自动锁定无人机视觉内的跟随目标，保持定点悬停；
所述智能手机获取所述无人机传送的对所述跟随目标进行跟随拍摄的图像或者视频，并在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，以便得到所述跟随目标的运动方向；
所述智能手机根据所述跟随目标的运动方向计算所述无人机保持跟随航线方向所需要的控制分量，以便调整所述无人机的飞行姿态，确保所述无人机持续跟随所述跟随目标；其中，所述无人机的控制分量包括目标俯仰、横滚、航向和油门；
所述智能手机根据计算得到的所述无人机的控制分量，发送与所述无人机的控制分量对应的飞行控制指令给所述无人机，以便所述无人机根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标。
2.根据权利要求1所述一种基于视觉的无人机跟随飞行的控制方法，其特征在于，所述建立智能手机与无人机通信连接的步骤包括：
所述智能手机通过蓝牙或者WIFI或者zigbee与所述无人机建立通信连接。
3.根据权利要求1所述一种基于视觉的无人机跟随飞行的控制方法，其特征在于，所述智能手机获取所述无人机传送的对所述跟随目标进行跟随拍摄的图像或者视频，并在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，以便得到所述跟随目标的运动方向的步骤包括：
所述智能手机获取所述无人机通过其安装的红外成像仪实时采集跟随目标的红外图像，并在所述红外图像中识别出跟随目标的实时位置和大小，并对跟随目标进行运动跟踪处理，得到跟随目标的运动方向；
或者，所述智能手机获取所述无人机通过其安装的云台相机连续拍摄的多帧实时图像，并在所述多帧实时图像中识别出跟随目标的实时位置和大小，通过跟随目标在前后两帧图像中的不同位置判定跟随目标的运动方向。
4.根据权利要求1所述一种基于视觉的无人机跟随飞行的控制方法，其特征在于，所述无人机的飞行姿势包括前进、后退、左移、右移、左右转弯、悬停、翻转、上升及下降。
5.一种基于视觉的无人机跟随飞行的控制方法，其特征在于，包括如下步骤：
建立智能手机与无人机通信连接；
所述无人机接收所述智能手机发送的一键起飞指令，并根据该指令指示起飞，自动锁定无人机视觉内的跟随目标，保持定点悬停；
所述无人机对所述跟随目标进行跟随拍摄，并将跟随拍摄的图像或者视频传送给所述智能手机，以便所述智能手机在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，得到所述跟随目标的运动方向，进而根据所述跟随目标的运动方向计算所述无人机保持跟随航线方向所需要的控制分量；其中，所述无人机的控制分量包括目标俯仰、横滚、航向和油门；
所述无人机接收所述智能手机发送的飞行控制指令，并根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标，其中，所述飞行控制指令是所述智能手机是根据计算得到的所述无人机的控制分量发送的与所述无人机的控制分量对应的飞行控制指令。
6.根据权利要求5所述一种基于视觉的无人机跟随飞行的控制方法，其特征在于，所述建立智能手机与无人机通信连接的步骤包括：
所述智能手机通过蓝牙或者WIFI或者zigbee与所述无人机建立通信连接。
7.根据权利要求5所述一种基于视觉的无人机跟随飞行的控制方法，其特征在于，所述无人机对所述跟随目标进行跟随拍摄的步骤包括：
所述无人机通过其安装的红外成像仪实时采集跟随目标的红外图像；
或者，所述无人机通过其安装的云台相机连续拍摄的多帧实时图像。
8.根据权利要求5所述一种基于视觉的无人机跟随飞行的控制方法，其特征在于，所述无人机的飞行姿势包括前进、后退、左移、右移、左右转弯、悬停、翻转、上升及下降。
9.一种基于视觉的无人机跟随飞行的控制系统，其特征在于，包括无人机及与所述无人机通信连接的智能手机，其中，
所述智能手机发送一键起飞指令给所述无人机，以便所述无人机根据该指令指示起飞，并自动锁定无人机视觉内的跟随目标，保持定点悬停；
所述智能手机获取所述无人机传送的对所述跟随目标进行跟随拍摄的图像或者视频，并在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，以便得到所述跟随目标的运动方向；
所述智能手机根据所述跟随目标的运动方向计算所述无人机保持跟随航线方向所述需要的控制分量，以便调整所述无人机的飞行姿态，确保所述无人机持续跟随所述跟随目标；其中，所述无人机的控制分量包括目标俯仰、横滚、航向和油门；
所述智能手机根据计算得到的所述无人机的控制分量，发送与所述无人机的控制分量飞行控制指令给所述无人机，以便所述无人机根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标；
所述无人机接收所述智能手机发送的一键起飞指令，并根据该指令指示起飞，自动锁定无人机视觉内的跟随目标，保持定点悬停；
所述无人机对所述跟随目标进行跟随拍摄，并将跟随拍摄的图像或者视频传送给所述智能手机，以便所述智能手机在所述图像或者视频流中识别所述跟随目标的实时位置和大小的变化，得到所述跟随目标的运动方向，进而根据所述跟随目标的运动方向计算所述无人机保持跟随航线方向所述需要的控制分量；
所述无人机接收所述智能手机发送的飞行控制指令，并根据所述飞行控制指令调整飞行姿态，进而持续跟随所述跟随目标，其中，所述飞行控制指令是智能手机根据计算得到的所述无人机的控制分量发送的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810502528.7A CN108762310A (zh) | 2018-05-23 | 2018-05-23 | 一种基于视觉的无人机跟随飞行的控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810502528.7A CN108762310A (zh) | 2018-05-23 | 2018-05-23 | 一种基于视觉的无人机跟随飞行的控制方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108762310A true CN108762310A (zh) | 2018-11-06 |
Family
ID=64005363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810502528.7A Pending CN108762310A (zh) | 2018-05-23 | 2018-05-23 | 一种基于视觉的无人机跟随飞行的控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108762310A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110109482A (zh) * | 2019-06-14 | 2019-08-09 | 上海应用技术大学 | 基于ssd神经网络的目标跟踪系统 |
| CN111176309A (zh) * | 2019-12-31 | 2020-05-19 | 北京理工大学 | 一种基于球面成像的多无人机自组群互感理解方法 |
| CN114096931A (zh) * | 2020-04-27 | 2022-02-25 | 深圳市大疆创新科技有限公司 | 可移动平台的控制方法和设备 |
| WO2022094772A1 (zh) * | 2020-11-03 | 2022-05-12 | 深圳市大疆创新科技有限公司 | 位置估计方法、跟随控制方法、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102707724A (zh) * | 2012-06-05 | 2012-10-03 | 清华大学 | 一种无人机的视觉定位与避障方法及系统 |
| CN104796611A (zh) * | 2015-04-20 | 2015-07-22 | 零度智控（北京）智能科技有限公司 | 移动终端遥控无人机实现智能飞行拍摄的方法及系统 |
| CN107610157A (zh) * | 2016-07-12 | 2018-01-19 | 深圳雷柏科技股份有限公司 | 一种无人机目标追踪方法及系统 |
| EP3316068A1 (fr) * | 2016-10-28 | 2018-05-02 | Parrot Drones | Système autonome de prise de vues animées par un drone avec poursuite de cible et maintien de l'angle de prise de vue de la cible |
| WO2018077050A1 (zh) * | 2016-10-27 | 2018-05-03 | 深圳市道通智能航空技术有限公司 | 一种目标跟踪方法以及飞行器 |
-
2018
- 2018-05-23 CN CN201810502528.7A patent/CN108762310A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102707724A (zh) * | 2012-06-05 | 2012-10-03 | 清华大学 | 一种无人机的视觉定位与避障方法及系统 |
| CN104796611A (zh) * | 2015-04-20 | 2015-07-22 | 零度智控（北京）智能科技有限公司 | 移动终端遥控无人机实现智能飞行拍摄的方法及系统 |
| CN107610157A (zh) * | 2016-07-12 | 2018-01-19 | 深圳雷柏科技股份有限公司 | 一种无人机目标追踪方法及系统 |
| WO2018077050A1 (zh) * | 2016-10-27 | 2018-05-03 | 深圳市道通智能航空技术有限公司 | 一种目标跟踪方法以及飞行器 |
| EP3316068A1 (fr) * | 2016-10-28 | 2018-05-02 | Parrot Drones | Système autonome de prise de vues animées par un drone avec poursuite de cible et maintien de l'angle de prise de vue de la cible |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110109482A (zh) * | 2019-06-14 | 2019-08-09 | 上海应用技术大学 | 基于ssd神经网络的目标跟踪系统 |
| CN111176309A (zh) * | 2019-12-31 | 2020-05-19 | 北京理工大学 | 一种基于球面成像的多无人机自组群互感理解方法 |
| CN111176309B (zh) * | 2019-12-31 | 2021-01-12 | 北京理工大学 | 一种基于球面成像的多无人机自组群互感理解方法 |
| CN114096931A (zh) * | 2020-04-27 | 2022-02-25 | 深圳市大疆创新科技有限公司 | 可移动平台的控制方法和设备 |
| WO2022094772A1 (zh) * | 2020-11-03 | 2022-05-12 | 深圳市大疆创新科技有限公司 | 位置估计方法、跟随控制方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108762310A (zh) | 一种基于视觉的无人机跟随飞行的控制方法及系统 | |
| US10880002B2 (en) | Data communication systems and methods | |
| CN105242686B (zh) | 一种无人机航拍系统和航拍方法 | |
| EP3253089B1 (en) | Remote control methods and systems | |
| WO2019047502A1 (zh) | 无人机控制系统及实现方法、地面控制设备和中继站 | |
| CN110083180A (zh) | 云台控制方法、装置、控制终端及飞行器系统 | |
| CN106791354A (zh) | 控制无人机云台转动的智能显示设备及其控制系统 | |
| CN105468014B (zh) | 一种单自驾仪一体化的飞行器系统及其二维云台控制方法 | |
| CN105472252A (zh) | 一种无人机获取图像的系统及方法 | |
| WO2018177268A1 (zh) | 通过4g网络与无人机进行远距离信息交互的装置及方法 | |
| CN105620731B (zh) | 一种无人机控制方法及无人机控制系统 | |
| CN104811615A (zh) | 一种体感控制摄像系统及方法 | |
| WO2018059398A1 (zh) | 多旋翼飞行器的控制方法、装置和系统 | |
| CN110636255A (zh) | 一种基于4g网络的无人机图像、视频传输分发系统及方法 | |
| CN108268121A (zh) | 无人飞行器的控制方法、控制装置及控制系统 | |
| CN110716579A (zh) | 目标跟踪方法及无人飞行器 | |
| CN109360399A (zh) | 无人运动平台的综合遥测遥控装置和方法 | |
| CN109991994A (zh) | 一种基于飞行模拟器的小型无人机轨迹及姿态修正方法 | |
| CN104765360A (zh) | 一种基于图像识别的无人机自主飞行系统 | |
| WO2018152847A1 (zh) | 无人机控制方法及系统 | |
| WO2018010472A1 (zh) | 控制无人机云台转动的智能显示设备及其控制系统 | |
| CN109451238A (zh) | 一种通信方法、通信系统及无人机 | |
| CN109358647A (zh) | 无人机一控多机的控制系统及其控制方法 | |
| CN111131721B (zh) | 图像曝光方法及装置、无人机 | |
| CN106487927A (zh) | 一种多旋翼无人机的通信控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181106 |