CN107077140A - 无人飞行器的悬停控制方法、控制系统和无人飞行器 - Google Patents

无人飞行器的悬停控制方法、控制系统和无人飞行器 Download PDF

Info

Publication number
CN107077140A
CN107077140A CN201680002457.3A CN201680002457A CN107077140A CN 107077140 A CN107077140 A CN 107077140A CN 201680002457 A CN201680002457 A CN 201680002457A CN 107077140 A CN107077140 A CN 107077140A
Authority
CN
China
Prior art keywords
unmanned vehicle
frame
key frame
processor
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680002457.3A
Other languages
English (en)
Other versions
CN107077140B (zh
Inventor
刘昂
赵永建
周谷越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN107077140A publication Critical patent/CN107077140A/zh
Application granted granted Critical
Publication of CN107077140B publication Critical patent/CN107077140B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/04—Control of altitude or depth
    • G05D1/042—Control of altitude or depth specially adapted for aircraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

一种无人飞行器的悬停控制方法包括：获取无人飞行器的飞行速度，若飞行速度满足预设条件，则获取当前时刻的图像帧作为关键帧，以关键帧作为参考对象，控制无人飞行器悬停。该悬停控制方法通过选取关键帧作为参考对象，对无人飞行器的悬停进行控制，与现有技术的通过控制飞行器的积分速度为零的方式相比，不必对飞行器的速度偏移进行反向补偿，因此可以避免无人飞行器的剧烈晃动。

Description

无人飞行器的悬停控制方法、控制系统和无人飞行器
技术领域
本发明涉及无人飞行器技术领域，尤其涉及无人飞行器的悬停控制方法、控制系统和无人飞行器。
背景技术
当前，无人飞行器的运用越来越广泛，随着无人飞行器产业的不断发展，越来越多的无人飞行器可以实现空中悬停、侧飞、后退飞等复杂的飞行任务。悬停是无人飞行器飞行任务中的重要环节，因此对于空中悬停的控制尤为重要。
现有技术中，控制无人飞行器的悬停主要是基于无人飞行器飞行速度的反馈来控制悬停，一般来说，只要控制速度在时间上的积分为零，则认为无人飞行器当前处于悬停状态。
但是，现有技术中的控制方法，举例来说，若无人飞行器在预设方向上存在速度为5米/秒的偏移，为了控制整体的积分速度为零，则需要控制无人飞行器在预设方向的相反方向5米/秒的偏移，由此，容易造成飞行器的剧烈晃动。
发明内容
针对现有技术中的上述缺陷，本发明提供一种用于解决现有技术中无人飞行器悬停控制方法容易造成无人飞行器的剧烈晃动的问题。
本发明的第一个方面是提供一种无人飞行器的悬停控制方法，包括：
获取无人飞行器的飞行速度；
若所述飞行速度满足预设条件，则获取当前时刻的图像帧作为关键帧；
以所述关键帧作为参考对象，控制所述无人飞行器悬停。
本发明的第二个方面提供一种无人飞行器的悬停控制系统，包括：一个或多个处理器，单独地或者协同的工作，所述处理器用于获取无人飞行器的飞行速度，在所述飞行速度满足预设条件时获取当前时刻的图像帧作为关键帧，并且以所述关键帧作为参考对象，控制所述无人飞行器悬停。
本发明的第三个方面是提供一种无人飞行器，包括：
处理器和与所述处理器通讯连接的动力装置；
所述动力装置用于提供飞行动力；
所述处理器用于控制所述动力装置输出动力，获取无相应的飞行速度；
其中，在所述飞行速度满足预设条件时，所述处理器获取当前时刻的图像帧作为关键帧，并且以所述关键帧作为参考对象，控制所述无人飞行器悬停。
本发明提供的无人飞行器的悬停控制方法、控制系统和无人飞行器，通过选取关键帧作为参考对象，对无人飞行器的悬停进行控制，与现有技术的通过控制飞行器的积分速度为零的方式相比，不必对飞行器的速度偏移进行反向补偿，因此可以避免无人飞行器的剧烈晃动。
附图说明
图1为本发明实施例一提供的无人飞行器的悬停控制方法的流程示意图；
图2为本发明实施例二提供的无人飞行器的悬停控制方法的流程示意图；
图3为本发明实施例四提供的无人飞行器的悬停控制方法的流程示意图；
图4为本发明实施例五提供的无人飞行器的悬停控制方法的流程示意图；
图5为本发明实施例六提供的无人飞行器的悬停控制方法的流程示意图；
图6为本发明实施例七提供的无人飞行器悬停控制系统的结构示意图；
图7为本发明实施例十三提供的无人飞行器的结构示意图。
具体实施方式
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
实施例一
本实施例提供一种无人飞行器的悬停控制方法，图1为本发明实施例一提供的无人飞行器的悬停控制方法的流程示意图，如图1所示，该无人飞行器的悬停控制方法包括：
步骤101，获取无人飞行器的飞行速度。
具体的，本实施例中的方法可以应用于具有控制功能的处理器、控制芯片等。
其中，无人飞行器的飞行速度可以通过接收无人飞行器上搭载的速度传感器检测发送。速度传感器包括：惯性测量单元(英文:Inertial measurement unit,简称IMU)、加速度计、测距传感器中的一种或多种。
或者，还可以通过全球定位系统GPS(Global Positioning System，简称GPS)获取无人飞行器飞行的位移信息和时间信息获取无人飞行器的飞行速度。当然，还可以是上述获取无人飞行器飞行速度的方式中两种方式的结合。
步骤102，若飞行速度满足预设条件，则获取当前时刻的图像帧作为关键帧。
其中，关键帧指的是当飞行速度满足预设条件的时刻，获取的图像帧。
可选的，预设条件可以为无人飞行器处于相对静止，无人飞行器的飞行速度值很小，即该飞行速度小于预设阈值时，获取图像帧作为关键帧。
优选的，预设条件为飞行速度是零时，获取当前时刻的图像帧作为关键帧。
或者，预设条件还可以为无人飞行器的速度方向沿预设方向往复震荡时，也就是此时无人飞行器的积分速度小于预设阈值时，获取当前时刻的图像帧作为关键帧。
进一步的，为了控制飞行器的左右或上下晃动，执行步骤103。
步骤103，以关键帧作为参考对象，控制无人飞行器悬停。
其中，当飞行速度满足预设条件时，可以将关键帧作为参考对象与预存的图像帧进行对比，当关键帧中的特征信息与预存的图像帧的特征信息匹配，此时控制无人飞行器悬停。
关键帧与预存的图像帧进行比对可以采用多种方式实现，举例来说，可以是通过判断关键帧与预存的图像帧中的特征信息在同一坐标系下是否存在像素的相对偏移，若不存在相对偏移，则二者匹配。
其中，上述不存在像素的相对偏移指的是，关键帧与预设的图像帧的特征信息在同一坐标系下完全重合。举例来说，预存的图像帧的特征信息可以是4×4像素大小或其他像素大小的方形静止结构物，此时调整飞行器飞行的速度和方向，控制关键帧中的4×4的方向静止结构物与预测的图像帧中的该结构物在同一坐标系下完全重合。
其中，特征信息可以为静止的特征物体，例如，灯塔、楼房等，当然。也可以为运动的特征物体，例如，飞机、汽车等。若特征信息为运动的特征物体，则需要获取运动特征物体的运动速度，进而根据该运动特征物体的运动速度结合飞行器的速度信息，特征信息也可以为特征像素点，对于特征信息的选择，并不加以限定。
本实施例中提供的无人飞行器的悬停控制方法，通过选取关键帧作为参考对象，对无人飞行器的悬停进行控制，与现有技术的通过控制飞行器的积分速度为零的方式相比，不必对飞行器的速度偏移进行反向补偿，因此可以避免无人飞行器的剧烈晃动。
实施例二
本实施例提供一种无人飞行器的悬停控制方法，图2为本发明实施例二提供的无人飞行器的悬停控制方法的流程示意图，如图2所示，该无人飞行器的悬停控制方法包括：
步骤201，获取无人飞行器的飞行速度。
步骤202，若飞行速度满足预设条件，则获取当前时刻的图像帧作为关键帧。
其中，步骤201与上述实施例一中的步骤101相同，步骤202与上述实施例一中的步骤102相同，因而在此不再赘述。
步骤103可以对应有如下的具体实现方式，在图1所述的实施例的基础上，本实施例中提供了步骤103的一种可行的实施方式，但并不以此作为限制，该步骤可以如下所示：
步骤2031，获取关键帧之后的图像帧作为第一矫正帧。
其中，第一矫正帧是在获取关键帧之后获取的图像，获取第一矫正帧与关键帧的时间间隔可以根据无人飞行器上搭载的摄像组件拍摄图像的帧频进行设置。
步骤2032，根据第一矫正帧及关键帧，修正无人飞行器的当前位移，以控制无人飞行器悬停。
其中，当前位移指的是与拍摄关键帧的时刻相比，当前获取的图像帧的拍摄时刻与关键帧的拍摄时刻相比，无人飞行器的位移。
具体的，步骤2032可以根据第一矫正帧和关键帧获取无人飞行器在第一矫正帧与关键帧的对应时刻之间的飞行偏移矢量，即当前位移。
关键帧的对应时刻指的是关键帧的拍摄时刻，该拍摄时刻记为第一拍摄时刻，第一矫正帧对应的时刻指的是第一矫正帧的拍摄时刻，记为第二拍摄时刻。可以根据第一矫正帧与关键帧获取第一拍摄时刻与第二拍摄时刻之间飞行器的运动变化信息，即飞行偏移矢量。其中，飞行偏移矢量包括在第一拍摄时刻与第二拍摄时刻之间无人飞行器的旋转运动参数、平移运动参数中的一种或多种。
需要说明的是，在后文中提到的关键帧与矫正帧之间的飞行偏移矢量，指的是关键帧的拍摄时刻与矫正帧拍摄时刻之间无人飞行器的运动变化信息，这里的矫正帧主要指的是与关键帧进行比对的图像帧，可以为第一矫正帧也可以为第二矫正帧，只要是以关键帧作为参考对象进行对比参照的图像帧，均可以为矫正帧。
需要说明的是，飞行偏移矢量中包括无人飞行器飞行偏移的方向信息，飞行偏移指的是与关键帧中的特征信息相比，第二矫正帧的特征信息的移动量。
进一步的，为了控制无人飞行器定点悬停，根据飞行偏移矢量，控制无人飞行器的当前位移，使得飞行偏移矢量小于或等于预设值。即控制飞行器飞回至运动变化前的位置。
本实施例通过获取关键帧之后的图像帧作为第一矫正帧，即可以在任意时刻对无人飞行器的飞行偏移矢量进行修正，进而实现无人飞行器的定点悬停。
实施例三
本实施例在上述实施例二的基础上，步骤2032可以有如下的实现方式：
选取关键帧中的静止特征，根据静止特征修正无人飞行器的当前位移。即根据第一矫正帧和关键帧中的静止特征，获取无人飞行器在第一矫正帧与关键帧的对应时刻之间的飞行偏移矢量。
具体的，可以在关键帧中选取静止的特征点，将选取的特征点变换投影至第一矫正帧的坐标系下。进一步的，将该特征点与第一矫正帧中该静止特征进行匹配。
根据匹配结果获取第一矫正帧中特征点的像素偏移数量和偏移方向，进一步的根据像素的偏移方向、像素的偏移数量以及预设的像素偏移数量与飞行距离的映射关系获取飞行偏移矢量，进而根据飞行偏移矢量修正无人飞行器的当前位移。
实施例四
图3为本发明实施例四提供的无人飞行器的悬停控制方法的流程示意图，如图3所示，在上述实施例二至实施例三任一实施例的基础上，本实施例提供的无人飞行器的悬停控制方法包括：
步骤401，获取无人飞行器的飞行速度。
步骤402，若飞行速度满足预设条件，则获取当前时刻的图像帧作为关键帧。
步骤403，获取关键帧之后的图像帧作为第一矫正帧。
步骤404，根据第一矫正帧及关键帧，修正无人飞行器的当前位移，以控制无人飞行器悬停。
其中，上述步骤的具体实现方式可以参照上述实施例一、实施例二和实施三。在此不再赘述。
步骤405，获取第一矫正帧之后的图像帧，作为第二矫正帧。
步骤406，根据第二矫正帧和关键帧，继续修正无人飞行器的当前位移。
在获取第一矫正帧之后，获取第二矫正帧可以继续修正无人飞行器的位置。
可选的，在获取第二矫正帧之后，还可以获取第二矫正帧之后的图像，作为第三矫正帧，根据第三矫正帧和关键帧，继续修正无人飞行器的当前位移。也就是说，可以重复执行步骤405和步骤406的校准过程，从而不断的对无人飞行器的位置进行修正，以实现定点悬停。
当然，也可以根据第一矫正帧和第二矫正帧修正无人飞行器的当前位移。即可以根据在后获取的图像帧与在前获取的图像帧获取飞行偏移矢量，进而修正无人飞行器的当前位移，但是在后获取的图像帧与在前获取的图像帧之间在获取飞行偏移矢量时存在的误差则会随着无人飞行器长时间悬停不断的得到累加，使得无人飞行器在定点悬停时，相对于预设的定点产生漂移。
举例来说，若第二矫正帧与第一矫正帧之间获取飞行偏移矢量存在第一误差，第三矫正帧与第二矫正帧之间获取飞行偏移矢量存在第二误差，则第一误差和第二误差的叠加会导致修正得到的飞行器的当前位移不准确。
而本实施例中提供的无人飞行器的悬停控制方法中，无论是第一矫正帧还是第二矫正帧，均是以关键帧作为参考对象修正无人飞行的当前位移的，因此可以避免误差的叠加而产生的无人飞行器的漂移。
实施例五
图4为本发明实施例五提供的无人飞行器的悬停控制方法的流程示意图，由于在以关键帧作为参考对象时，若此时光照变化较大，在控制飞行器悬停时，再以当前的关键帧作为参考对象，则会出现控制悬停不够稳定和准确的问题。为了消除光照的影响，在上述实施例一至实施例四的任一实施例的基础上，可以间隔一定的时间对关键帧进行更新，图4提供了一种无人飞行器的悬停控制方法，该方法包括：
步骤501，获取无人飞行器的飞行速度。
步骤502，若飞行速度满足预设条件，则获取当前时刻的图像帧作为关键帧。
步骤503，以关键帧作为参考对象，控制无人飞行器悬停。
其中，步骤501至步骤503的具体实现过程可以参照上述实施例一或者实施例二，在此不再赘述。
步骤5041，获取预设间隔时间的飞行速度。
步骤5042，若预设间隔时间的飞行速度满足预设条件，则获取预设间隔时间的图像帧，并更新为所述关键帧。
具体的，预设时间间隔可以根据实际需要进行设定，例如，若拍摄组件的帧频为1秒可以拍摄25帧图像，那么可以每隔10秒更新一次关键帧。即较优的，更新关键帧的频率应大于拍摄组件的拍摄帧频。
其中，步骤504中的预设条件与步骤502中的预设条件可以为相同的条件，也可以为不同的条件。
可选的，另外一种可以实施的方式为，在实施例四的基础上，在执行步骤406之后执行步骤5041和步骤5042。或者，也可以在执行步骤5041和步骤5042后执行步骤403。对于步骤5041和步骤5042，只要在获取初始关键帧之后执行即可，即在获取到第一个关键帧之后执行即可，并不限定与其他步骤之间的执行先后顺序。
由于间隔预设时间对关键帧进行更新，在以关键帧作为参考对象与矫正帧比对修正无人飞行器的当前位移，可以消除光照变化带来的影响。举例来说，假设此时无人飞行器相对于预设的固定点并不存在位置偏移，但是由于光照的变化，当前获取的矫正帧与关键帧之间的图像灰度等会差异很大，此时根据当前的关键帧与矫正帧获取飞行偏移矢量时，容易造成帧间的特征配准的错位，因此容易造成获取的飞行偏移矢量不够准确，进而导致控制悬停不够稳定和准确的问题。但是若能间隔预设时间对关键帧进行更新，可以保证关键帧与矫正帧之间可以消除图像灰度的差异，即光照变化的影响，因而可以提高控制悬停的稳定性。
实施例六
图5为本发明实施例六提供的无人飞行器的悬停控制方法的流程示意图，为了消除光照的影响，在上述实施例一至实施例五的任一实施例的基础上，图5提供了一种无人飞行器的悬停控制方法，该方法包括：
步骤601，获取无人飞行器的飞行速度。
步骤602，若飞行速度满足预设条件，则获取当前时刻的图像帧作为关键帧。
步骤603，以关键帧作为参考对象，控制无人飞行器悬停。
其中，步骤601至步骤603的具体实现过程可以参照上述实施例一至者实施例五任一实施例，在此不再赘述。
步骤604，获取预设间隔时间的图像帧。
步骤605，若所述预设间隔时间的图像帧与所述关键帧的相似度满足预设条件，则更新所述预设间隔时间的图像帧为关键帧。
具体的，预设间隔时间获取的图像帧与关键帧之间的相似度很高时，则可以认为此时光照变化不大，可以不对关键帧进行更新。当然，即使相似度很高时，也可以更新关键帧。
其中，为了避免运动物体对两图像帧之间的相似度的影响，可以选择预设间隔时间的图像帧中的静止特征，根据静止特征判断预设间隔时间的图像帧与关键帧的相似度。
当预设间隔时间获取的图像帧与关键帧之间的相似度很低时，则说明此时光照变化较大，因此需要更新关键帧。
可选的，另外一种可以实施的方式为，在上述实施例五的基础上，首先，获取预设间隔时间的飞行速度，若预设间隔时间的飞行速度满足预设条件，则执行步骤604和步骤605。当然，也可以先获取预设间隔时间的图像帧，若所述预设间隔时间的图像帧与所述关键帧的相似度满足预设条件，再执行步骤5041和步骤5042。
本实施例中提供的无人飞行器的悬停控制方法中，间隔预设时间对关键帧进行更新，可以保证关键帧与矫正帧之间可以消除图像灰度的差异，即光照变化的影响，因而可以提高控制悬停的稳定性。
实施例七
本实施例提供了一种无人飞行器的悬停控制系统，图6为本发明实施例七提供的无人飞行器悬停控制系统的结构示意图，如图6所示，该控制系统包括：一个或多个处理器11，单独地或者协同的工作，处理器11用于获取无人飞行器的飞行速度，在飞行速度满足预设条件时获取当前时刻的图像帧作为关键帧，并且以关键帧作为参考对象，控制无人飞行器悬停。
本实施例中的处理器11可以用于执行上述实施例中所提供的无人飞行器的悬停控制方法。
具体的，其中，处理器11获取的无人飞行器的飞行速度可以通过其他处理器发送的，也可以是无人飞行器上搭载的速度传感器检测发送的。
可选的，如图6所示，该无人飞行器的悬停控制系统速度传感器还可以包括：与处理器11通讯连接的速度传感器13，速度传感器13与处理器11通讯连接，用于检测无人飞行器的飞行速度。
可选的，速度传感器13可以为惯性测量单元(英文:Inertial measurement unit,简称IMU)、加速度计、测距传感器中的一种或多种。
或者，处理器11还可以获取全球定位系统GPS(Global Positioning System，简称GPS)发送的无人飞行器飞行的位移信息和时间信息获取无人飞行器的飞行速度。
其中，关键帧指的是当飞行速度满足预设条件的时刻，获取的图像帧。
可选的，预设条件可以为无人飞行器处于相对静止，无人飞行器的飞行速度值很小，即该飞行速度小于预设阈值时，处理器11获取图像帧作为关键帧。
优选的，预设条件当飞行速度为零时，处理器11获取当前时刻的图像帧作为关键帧。
或者，预设条件可以为无人飞行器的速度方向沿预设方向往复震荡时，也就是此时无人飞行器的积分速度小于预设阈值时，处理器11获取当前时刻的图像帧作为关键帧。
其中，当飞行速度满足预设条件时，处理器11可以将关键帧作为参考对象与预存的图像帧进行对比，当关键帧中的特征信息与预存的图像帧的特征信息完全匹配，此时处理器11控制无人飞行器悬停，具体的是使得关键帧与预存的图像帧中的特征信息在同一坐标系下不存在像素的相对偏移。
不存在像素的相对偏移指的是，关键帧与预设的图像帧的特征信息在同一坐标系下完全重合。举例来说，预存的图像帧的特征信息可以是4×4像素大小的方形静止结构物，此时处理器11通过调整飞行器飞行的速度和方向，控制关键帧中的4×4的方向静止结构物与预测的图像帧中的该结构物在同一坐标系下完全重合。
其中，特征信息可以为静止的特征物体，例如，灯塔、楼房等，当然。也可以为运动的特征物体，例如，飞机、汽车等。若特征信息为运动的特征物体，则需要获取运动特征物体的运动速度，进而根据该运动特征物体的运动速度结合飞行器的速度信息，特征信息也可以为特征像素点，对于特征信息的选择，并不加以限定。
本实施例中提供的无人飞行器的悬停控制系统，通过处理器11选取关键帧作为参考对象，对无人飞行器的悬停进行控制，与现有技术的通过控制飞行器的积分速度为零的方式相比，不必对飞行器的速度偏移进行反向补偿，因此可以避免无人飞行器的剧烈晃动。
实施例八
在上述实施例七的基础上，可选的，如图6所示，本实施例中提供的无人飞行器的悬停控制系统包括：处理器11和与处理器11通讯连接的图像传感器12，图像传感器12与处理器11通讯连接，用于撷取图像帧。
其中，图像传感器12可以为照相机，对于照相机的数量并不加以限定，可以为一个，即单目照相机，或者为两个，即双目照相机。当然，照相机的数量可以为多个。
对于照相机的谱段并不加以限定，为了方便夜间作业，可以为红外照相机。当然，也可以为普通的可见光照相机。可以根据实际需要对照相机的谱段范围进行更改。
其中，无人飞行器的悬停控制系统可以包括：处理器11和与处理器11通讯连接的速度传感器13。
或者，该系统包括：处理器11和速度传感器13和图像传感器12。
在上述实施例七的基础上，本实施例提供的无人飞行器的悬停控制系统中，处理器11具体用于获取关键帧之后的图像帧作为第一矫正帧，根据第一矫正帧及关键帧，修正无人飞行器的当前位移以控制无人飞行器悬停。
其中，当前位移指的是与拍摄关键帧的时刻相比，当前获取的图像帧的拍摄时刻与关键帧的拍摄时刻相比，无人飞行器的位移。
具体的，处理器11可以根据第一矫正帧和关键帧获取无人飞行器在第一矫正帧与关键帧的对应时刻之间的飞行偏移矢量，即当前位移。
关键帧的对应时刻指的是关键帧的拍摄时刻，该拍摄时刻记为第一拍摄时刻，第一矫正帧对应的时刻指的是第一矫正帧的拍摄时刻，记为第二拍摄时刻。处理器11具体可以根据第一矫正帧与关键帧获取第一拍摄时刻与第二拍摄时刻之间飞行器的运动变化信息，即飞行偏移矢量。其中，飞行偏移矢量包括在第一拍摄时刻与第二拍摄时刻之间无人飞行器的旋转运动参数、平移运动参数中的一种或多种。
需要说明的是，飞行偏移矢量中包括无人飞行器飞行偏移的方向信息，飞行偏移指的是与关键帧中的特征信息相比，第二矫正帧的特征信息的移动量。
进一步的，为了控制无人飞行器定点悬停，处理器11根据飞行偏移矢量，控制无人飞行器的当前位移，使得飞行偏移矢量小于或等于预设值。即控制飞行器飞回至运动变化前的位置。
本实施例提供的无人飞行器的悬停控制系统中，通过处理器11获取关键帧之后的图像帧作为第一矫正帧，即可以在任意时刻对无人飞行器的飞行偏移矢量进行修正，进而实现无人飞行器的定点悬停。
实施例九
在上述实施例七和实施例八任一实施的基础上，本实施例提供的无人飞行器的悬停控制系统中，处理器11具体的用于选取关键帧中的静止特征，根据静止特征修正无人飞行器的当前位移。即根据第一矫正帧和关键帧中的静止特征，获取无人飞行器在第一矫正帧与关键帧的对应时刻之间的飞行偏移矢量。
具体的，处理器11可以在关键帧中选取静止的特征点，将选取的特征点变换投影至第一矫正帧的坐标系下。进一步的，将该特征点与第一矫正帧中该静止特征进行匹配。
根据匹配结果获取第一矫正帧中特征点的像素偏移数量和偏移方向，进一步的处理器11根据像素的偏移方向、像素的偏移数量以及预设的像素偏移数量与飞行距离的映射关系获取飞行偏移矢量，进而根据飞行偏移矢量修正无人飞行器的当前位移。
实施例十
在上述实施例七至实施例九任一实施例的基础上，处理器11还用于获取所述第一矫正帧之后的图像帧，作为第二矫正帧，根据第二矫正帧和关键帧，继续修正无人飞行器的当前位移。
具体的，处理器11在获取第一矫正帧之后，获取第二矫正帧可以继续修正无人飞行器的位置。
可选的，处理器11在获取第二矫正帧之后，还可以获取第二矫正帧之后的图像，作为第三矫正帧，根据第三矫正帧和关键帧，继续修正无人飞行器的当前位移。也就是说，处理器11可以重复校准过程，不断的对无人飞行器的位置进行修正，以实现定点悬停。
可选的，处理器11获取的矫正帧是通过图像传感器发送的。
当然，处理器11也可以根据第一矫正帧和第二矫正帧修正无人飞行器的当前位移。即可以根据在后获取的图像帧与在前获取的图像帧获取飞行偏移矢量，进而修正无人飞行器的当前位移，但是在后获取的图像帧与在前获取的图像帧之间在获取飞行偏移矢量时存在的误差则会随着无人飞行器长时间悬停不断的得到累加，使得无人飞行器在定点悬停时，相对于预设的定点产生漂移。
举例来说，若第二矫正帧与第一矫正帧之间获取飞行偏移矢量存在第一误差，第三矫正帧与第二矫正帧之间获取飞行偏移矢量存在第二误差，则第一误差和第二误差的叠加会导致修正得到的飞行器的当前位移不准确。
而本实施例中提供的无人飞行器的悬停控制系统中，处理器11均是以关键帧作为参考对象修正无人飞行的当前位移的，因此可以避免误差的叠加而产生的无人飞行器的漂移。
实施例十一
在上述实施例七至实施例十任一实施例的基础上，本实施例所提供的无人飞行器的悬停控制系统中，处理器11还用于：获取预设间隔时间的飞行速度，若预设间隔时间的飞行速度满足预设条件，则获取预设间隔时间的图像帧，并更新为关键帧。
可选的，处理器11获取的飞行速度可以是其他处理器11发送的，也可以是速度传感器13发送的。
具体的，预设时间间隔可以根据实际需要预先设定在处理器11中，例如，若图像传感器12的帧频为1秒可以拍摄25帧图像，那么处理器11可以每隔10秒更新一次关键帧。即较优的，更新关键帧的频率应大于图像传感器12的拍摄帧频。
本实施例提供的无人飞行器的悬停控制系统中，由于处理器11间隔预设时间对关键帧进行更新，在以关键帧作为参考对象与矫正帧比对修正无人飞行器的当前位移时，可以消除光照变化带来的影响。
举例来说，假设此时无人飞行器相对于预设的固定点并不存在位置偏移，但是由于光照的变化，处理器11当前获取的矫正帧与关键帧之间的图像灰度等会差异很大，此时根据当前的关键帧与矫正帧获取飞行偏移矢量时，容易造成帧间的特征配准的错位，因此容易造成获取的飞行偏移矢量不够准确，进而导致控制悬停不够稳定和准确的问题。但是处理器11若间隔预设时间对关键帧进行更新，可以保证关键帧与矫正帧之间可以消除图像灰度的差异，即光照变化的影响，因而可以提高控制悬停的稳定性。
实施例十二
在上述实施例七至实施例十一任一实施例的基础上，本实施例所提供的无人飞行器的悬停控制系统中，处理器11还用于获取预设间隔时间的图像帧，
若预设间隔时间的图像帧与关键帧的相似度满足预设条件，则更新预设间隔时间的图像帧为关键帧。
具体的，预设间隔时间获取的图像帧与关键帧之间的相似度很高时，则可以认为此时光照变化不大，处理器11可以不对关键帧进行更新。当然，即使相似度很高时，也可以更新关键帧。
其中，为了避免运动物体对两图像帧之间的相似度的影响，处理器11可以获取预设间隔时间的图像帧中的静止特征，根据静止特征判断预设间隔时间的图像帧与关键帧的相似度。
当预设间隔时间获取的图像帧与关键帧之间的相似度很低时，则说明此时光照变化较大，因此需要更新关键帧。
可选的，另外一种可以实施的方式为，处理器11首先获取预设间隔时间的飞行速度，若预设间隔时间的飞行速度满足预设条件，则获取预设间隔时间的图像帧，若预设间隔时间的图像帧与关键帧的相似度满足预设条件，则更新所述预设间隔时间的图像帧为关键帧。
当然，也可以先获取预设间隔时间的图像帧，若所述预设间隔时间的图像帧与所述关键帧的相似度满足预设条件，再获取预设间隔时间的飞行速度，若预设间隔时间的飞行速度满足预设条件，则获取预设间隔时间的图像帧，并更新为所述关键帧。
本实施例中提供的无人飞行器的悬停控制系统中，处理器11间隔预设时间对关键帧进行更新，可以保证关键帧与矫正帧之间可以消除图像灰度的差异，即光照变化的影响，因而可以提高控制悬停的稳定性。
实施例十三
图7为本发明实施例十三提供的无人飞行器的结构示意图，如图7所示，该无人飞行器，包括：处理器11和与处理器11通讯连接的动力装置14，其中，动力装置14用于提供飞行动力，处理器11用于控制动力装置14输出动力，获取相应的飞行速度。
其中，在飞行速度满足预设条件时，处理器11获取当前时刻的图像帧作为关键帧，并且以关键帧作为参考对象，控制无人飞行器悬停。
动力装置14可以包括：一个或多个驱动电机以及电子调速器。
可选的，处理器11可以与动力装置14中的电子调速器连接，以获取无人飞行器的飞行速度。
具体的，其中，处理器11获取的无人飞行器的飞行速度可以通过其他处理器发送的，也可以是无人飞行器上搭载的速度传感器检测发送的。
可选的，如图7所示，该无人飞行器的悬停控制系统速度传感器还可以包括：与处理器11通讯连接的速度传感器13，速度传感器13与处理器11通讯连接，用于检测无人飞行器的飞行速度。
可选的，速度传感器13可以与动力装置14通讯连接，以获取动力装置14发送的无人飞行器的飞行速度。
可选的，速度传感器13可以为惯性测量单元(英文:Inertial measurement unit,简称IMU)、加速度计、测距传感器中的一种或多种。
或者，处理器11还可以获取全球定位系统GPS(Global Positioning System，简称GPS)发送的无人飞行器飞行的位移信息和时间信息获取无人飞行器的飞行速度。
其中，关键帧指的是当飞行速度满足预设条件的时刻，获取的图像帧。
可选的，预设条件可以为无人飞行器处于相对静止，无人飞行器的飞行速度值很小，即该飞行速度小于预设阈值时，处理器11获取图像帧作为关键帧。
优选的，预设条件当飞行速度为零时，处理器11获取当前时刻的图像帧作为关键帧。
或者，预设条件可以为无人飞行器的速度方向沿预设方向往复震荡时，也就是此时无人飞行器的积分速度小于预设阈值时，处理器11获取当前时刻的图像帧作为关键帧。
其中，当飞行速度满足预设条件时，处理器11可以将关键帧作为参考对象与预存的图像帧进行对比，当关键帧中的特征信息与预存的图像帧的特征信息完全匹配，此时处理器11控制无人飞行器悬停，具体的是使得关键帧与预存的图像帧中的特征信息在同一坐标系下不存在像素的相对偏移。
不存在像素的相对偏移指的是，关键帧与预设的图像帧的特征信息在同一坐标系下完全重合。举例来说，预存的图像帧的特征信息可以是4×4像素大小的方形静止结构物，此时处理器11通过调整飞行器飞行的速度和方向，控制关键帧中的4×4的方向静止结构物与预测的图像帧中的该结构物在同一坐标系下完全重合。
其中，特征信息可以为静止的特征物体，例如，灯塔、楼房等，当然。也可以为运动的特征物体，例如，飞机、汽车等。若特征信息为运动的特征物体，则需要获取运动特征物体的运动速度，进而根据该运动特征物体的运动速度结合飞行器的速度信息，特征信息也可以为特征像素点，对于特征信息的选择，并不加以限定。
本实施例中提供的无人飞行器，通过处理器11选取关键帧作为参考对象，对无人飞行器的悬停进行控制，与现有技术的通过控制飞行器的积分速度为零的方式相比，不必对飞行器的速度偏移进行反向补偿，因此可以避免无人飞行器的剧烈晃动。
实施例十四
在上述实施例十三的基础上，如图7所示，本实施例提供的无人飞行器中，还包括：与处理器11通讯连接的图像传感器12，图像传感器12与处理器11通讯连接，用于撷取图像帧。
其中，图像传感器11可以为照相机，对于照相机的数量并不加以限定，可以为一个，即单目照相机，或者为两个，即双目照相机。当然，照相机的数量可以为多个。
对于照相机的谱段并不加以限定，为了方便夜间作业，可以为红外照相机。当然，也可以为普通的可见光照相机。可以根据实际需要对照相机的谱段范围进行更改。
在上述实施例十三的基础上，本实施例提供无人飞行器中，处理器11具体用于获取关键帧之后的图像帧作为第一矫正帧，根据第一矫正帧及关键帧，修正无人飞行器的当前位移以控制无人飞行器悬停。
其中，当前位移指的是与拍摄关键帧的时刻相比，当前获取的图像帧的拍摄时刻与关键帧的拍摄时刻相比，无人飞行器的位移。
具体的，处理器11可以根据第一矫正帧和关键帧获取无人飞行器在第一矫正帧与关键帧的对应时刻之间的飞行偏移矢量，即当前位移。
关键帧的对应时刻指的是关键帧的拍摄时刻，该拍摄时刻记为第一拍摄时刻，第一矫正帧对应的时刻指的是第一矫正帧的拍摄时刻，记为第二拍摄时刻。处理器11具体可以根据第一矫正帧与关键帧获取第一拍摄时刻与第二拍摄时刻之间飞行器的运动变化信息，即飞行偏移矢量。其中，飞行偏移矢量包括在第一拍摄时刻与第二拍摄时刻之间无人飞行器的旋转运动参数、平移运动参数中的一种或多种。
需要说明的是，飞行偏移矢量中包括无人飞行器飞行偏移的方向信息，飞行偏移指的是与关键帧中的特征信息相比，第二矫正帧的特征信息的移动量。
进一步的，为了控制无人飞行器定点悬停，处理器11根据飞行偏移矢量，控制无人飞行器的当前位移，使得飞行偏移矢量小于或等于预设值。即控制飞行器飞回至运动变化前的位置。
本实施例提供的无人飞行器中，通过处理器11获取关键帧之后的图像帧作为第一矫正帧，即可以在任意时刻对无人飞行器的飞行偏移矢量进行修正，进而实现无人飞行器的定点悬停。
实施例十五
在上述实施例十三和实施例十四任一实施的基础上，本实施例提供的无人飞行器中，处理器11具体的用于选取关键帧中的静止特征，根据静止特征修正无人飞行器的当前位移。即根据第一矫正帧和关键帧中的静止特征，获取无人飞行器在第一矫正帧与关键帧的对应时刻之间的飞行偏移矢量。
具体的，处理器11可以在关键帧中选取静止的特征点，将选取的特征点变换投影至第一矫正帧的坐标系下。进一步的，将该特征点与第一矫正帧中该静止特征进行匹配。
根据匹配结果获取第一矫正帧中特征点的像素偏移数量和偏移方向，进一步的处理器11根据像素的偏移方向、像素的偏移数量以及预设的像素偏移数量与飞行距离的映射关系获取飞行偏移矢量，进而根据飞行偏移矢量修正无人飞行器的当前位移。
实施例十六
在上述实施例十三至十五任一实施例的基础上，本实施例提供的无人飞行器中，处理器11还用于获取所述第一矫正帧之后的图像帧，作为第二矫正帧，根据第二矫正帧和关键帧，继续修正无人飞行器的当前位移。
具体的，处理器11在获取第一矫正帧之后，获取第二矫正帧可以继续修正无人飞行器的位置。
可选的，处理器11在获取第二矫正帧之后，还可以获取第二矫正帧之后的图像，作为第三矫正帧，根据第三矫正帧和关键帧，继续修正无人飞行器的当前位移。也就是说，处理器11可以重复校准过程，不断的对无人飞行器的位置进行修正，以实现定点悬停。
可选的，处理器11获取的矫正帧是通过图像传感器12发送的。
当然，处理器11也可以根据第一矫正帧和第二矫正帧修正无人飞行器的当前位移。即可以根据在后获取的图像帧与在前获取的图像帧获取飞行偏移矢量，进而修正无人飞行器的当前位移，但是在后获取的图像帧与在前获取的图像帧之间在获取飞行偏移矢量时存在的误差则会随着无人飞行器长时间悬停不断的得到累加，使得无人飞行器在定点悬停时，相对于预设的定点产生漂移。
举例来说，若第二矫正帧与第一矫正帧之间获取飞行偏移矢量存在第一误差，第三矫正帧与第二矫正帧之间获取飞行偏移矢量存在第二误差，则第一误差和第二误差的叠加会导致修正得到的飞行器的当前位移不准确。
而本实施例中提供的无人飞行器中，处理器11均是以关键帧作为参考对象修正无人飞行的当前位移的，因此可以避免误差的叠加而产生的无人飞行器的漂移。
实施例十七
在上述实施例十三至实施例十六任一实施例的基础上，本实施例所提供的无人飞行器中，处理器11还用于：获取预设间隔时间的飞行速度，若预设间隔时间的飞行速度满足预设条件，则获取预设间隔时间的图像帧，并更新为关键帧。
可选的，处理器11获取的飞行速度可以是其他处理器11发送的，也可以是速度传感器13发送的。
具体的，预设时间间隔可以根据实际需要预先设定在处理器11中，例如，若图像传感器12的帧频为1秒可以拍摄25帧图像，那么处理器11可以每隔10秒更新一次关键帧。即较优的，更新关键帧的频率应大于图像传感器12的拍摄帧频。
本实施例提供的无人飞行器中，由于处理器11间隔预设时间对关键帧进行更新，在以关键帧作为参考对象与矫正帧比对修正无人飞行器的当前位移时，可以消除光照变化带来的影响。
举例来说，假设此时无人飞行器相对于预设的固定点并不存在位置偏移，但是由于光照的变化，处理器11当前获取的矫正帧与关键帧之间的图像灰度等会差异很大，此时根据当前的关键帧与矫正帧获取飞行偏移矢量时，容易造成帧间的特征配准的错位，因此容易造成获取的飞行偏移矢量不够准确，进而导致控制悬停不够稳定和准确的问题。但是处理器11若间隔预设时间对关键帧进行更新，可以保证关键帧与矫正帧之间可以消除图像灰度的差异，即光照变化的影响，因而可以提高控制悬停的稳定性。
处理器11具体用于获取所述关键帧之后的图像帧作为第一矫正帧，根据第一矫正帧及所述关键帧，修正无人飞行器的当前位移以控制无人飞行器悬停。
实施例十八
在上述实施例十三至实施例十七任一实施例的基础上，本实施例所提供的无人飞行器中，处理器11还用于获取预设间隔时间的图像帧，若预设间隔时间的图像帧与关键帧的相似度满足预设条件，则更新预设间隔时间的图像帧为关键帧。
具体的，预设间隔时间获取的图像帧与关键帧之间的相似度很高时，则可以认为此时光照变化不大，处理器11可以不对关键帧进行更新。当然，即使相似度很高时，也可以更新关键帧。
其中，为了避免运动物体对两图像帧之间的相似度的影响，处理器11可以获取预设间隔时间的图像帧中的静止特征，根据静止特征判断预设间隔时间的图像帧与关键帧的相似度。
当预设间隔时间获取的图像帧与关键帧之间的相似度很低时，则说明此时光照变化较大，因此需要更新关键帧。
可选的，另外一种可以实施的方式为，处理器11首先获取预设间隔时间的飞行速度，若预设间隔时间的飞行速度满足预设条件，则获取预设间隔时间的图像帧，若预设间隔时间的图像帧与关键帧的相似度满足预设条件，则更新所述预设间隔时间的图像帧为关键帧。
当然，也可以先获取预设间隔时间的图像帧，若所述预设间隔时间的图像帧与所述关键帧的相似度满足预设条件，再获取预设间隔时间的飞行速度，若预设间隔时间的飞行速度满足预设条件，则获取预设间隔时间的图像帧，并更新为所述关键帧。
本实施例中提供的无人飞行器中，处理器11间隔预设时间对关键帧进行更新，可以保证关键帧与矫正帧之间可以消除图像灰度的差异，即光照变化的影响，因而可以提高控制悬停的稳定性。
在本发明所提供的几个实施例中，应该理解到，所揭露的相关装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (29)

1.一种无人飞行器的悬停控制方法，其特征在于，包括：
获取无人飞行器的飞行速度；
若所述飞行速度满足预设条件，则获取当前时刻的图像帧作为关键帧；
以所述关键帧作为参考对象，控制所述无人飞行器悬停。
2.根据权利要求1所述的无人飞行器的悬停控制方法，其特征在于，所述以所述关键帧作为参考对象，控制所述无人飞行器悬停包括：
获取所述关键帧之后的图像帧作为第一矫正帧；
根据所述第一矫正帧及所述关键帧，修正所述无人飞行器的当前位移，以控制所述无人飞行器悬停。
3.根据权利要求2所述的无人飞行器的悬停控制方法，其特征在于，所述根据所述第一矫正帧及所述关键帧，修正所述无人飞行器的当前位移包括：
根据所述第一矫正帧和所述关键帧获取所述无人飞行器在所述第一矫正帧与所述关键帧的对应时刻之间的飞行偏移矢量；
根据所述飞行偏移矢量，控制所述无人飞行器的当前位移，使得所述飞行偏移矢量小于或等于预设值。
4.根据权利要求1所述的无人飞行器的悬停控制方法，其特征在于，所述预设条件为所述飞行速度为零。
5.根据权利要求2所述的无人飞行器的悬停控制方法，其特征在于，还包括：
获取所述第一矫正帧之后的图像帧，作为第二矫正帧；
根据所述第二矫正帧和所述关键帧，继续修正所述无人飞行器的当前位移。
6.根据权利要求1-5任一项所述的无人飞行器的悬停控制方法，其特征在于，还包括：
获取预设间隔时间的所述飞行速度；
若预设间隔时间的所述飞行速度满足预设条件，则获取所述预设间隔时间的图像帧，并更新为所述关键帧。
7.根据权利要求1-5任一项所述的无人飞行器的悬停控制方法，其特征在于，还包括：
获取预设间隔时间的图像帧；
若所述预设间隔时间的图像帧与所述关键帧的相似度满足预设条件，则更新所述预设间隔时间的图像帧为关键帧。
8.根据权利要求7任一项所述的无人飞行器的悬停控制方法，其特征在于，选取所述图像帧中的静止特征，根据所述静止特征判断所述预设间隔时间的图像帧与所述关键帧的相似度。
9.根据权利要求2所述的无人飞行器的悬停控制方法，其特征在于，所述根据所述第一矫正帧及所述关键帧，修正所述无人飞行器的当前位移包括：
选取所述关键帧中的静止特征，根据所述静止特征修正所述无人飞行器的当前位移。
10.一种无人飞行器的悬停控制系统，其特征在于，包括：
一个或多个处理器，单独地或者协同的工作，所述处理器用于获取无人飞行器的飞行速度，在所述飞行速度满足预设条件时获取当前时刻的图像帧作为关键帧，并且以所述关键帧作为参考对象，控制所述无人飞行器悬停。
11.根据权利要求10所述的无人飞行器的悬停控制系统，其特征在于，所述处理器具体用于获取所述关键帧之后的图像帧作为第一矫正帧；
根据所述第一矫正帧及所述关键帧，修正所述无人飞行器的当前位移以控制所述无人飞行器悬停。
12.根据权利要求11所述的无人飞行器的悬停控制系统，其特征在于，所述处理器具体用于根据所述第一矫正帧和所述关键帧获取所述无人飞行器在所述第一矫正帧与所述关键帧对应时刻之间的飞行偏移矢量；
根据所述飞行偏移矢量，控制所述无人飞行器的当前位移，使得所述飞行偏移矢量小于或等于预设值。
13.根据权利要求10所述的无人飞行器的悬停控制系统，其特征在于，所述处理器具体用于获取无人飞行器的飞行速度，若所述飞行速度为零，则获取当前时刻的图像帧作为关键帧。
14.根据权利要求10所述的无人飞行器的悬停控制系统，所述处理器还用于获取所述第一矫正帧之后的图像帧，作为第二矫正帧；
根据所述第二矫正帧和所述关键帧，继续修正所述无人飞行器的当前位移。
15.根据权利要求10所述的无人飞行器的悬停控制系统，所述处理器还用于：获取预设间隔时间的所述飞行速度；
若预设间隔时间的所述飞行速度满足预设条件，则获取所述预设间隔时间的图像帧，并更新为所述关键帧。
16.根据权利要求10所述的无人飞行器的悬停控制系统，所述处理器还用于获取预设间隔时间的图像帧；
若所述预设间隔时间的图像帧与所述关键帧的相似度满足预设条件，则更新所述预设间隔时间的图像帧为关键帧。
17.根据权利要求16所述的无人飞行器的悬停控制系统，所述处理器具体用于选取所述图像帧中的静止特征，根据所述静止特征判断所述预设间隔时间的图像帧与所述关键帧的相似度。
18.根据权利要求10所述的无人飞行器的悬停控制系统，所述处理器具体用于选取所述关键帧中的静止特征，根据所述静止特征修正所述无人飞行器的当前位移。
19.根据权利要求10-18任一项所述的无人飞行器的悬停控制系统，其特征在于，还包括：
与所述处理器通讯连接的图像传感器，所述图像传感器与所述处理器通讯连接，用于撷取所述图像帧；
或/及，与所述处理器通讯连接的速度传感器，所述速度传感器与所述处理器通讯连接，用于检测所述无人飞行器的飞行速度。
20.一种无人飞行器，其特征在于，包括：处理器和与所述处理器通讯连接的动力装置；
所述动力装置用于提供飞行动力；
所述处理器用于控制所述动力装置输出动力，获取相应的飞行速度；
其中，在所述飞行速度满足预设条件时，所述处理器获取当前时刻的图像帧作为关键帧，并且以所述关键帧作为参考对象，控制所述无人飞行器悬停。
21.根据权利要求20所述的无人飞行器，其特征在于，所述处理器具体用于获取所述关键帧之后的图像帧作为第一矫正帧；
根据所述第一矫正帧及所述关键帧，修正所述无人飞行器的当前位移以控制所述无人飞行器悬停。
22.根据权利要求21所述的无人飞行器，其特征在于，所述处理器具体用于根据所述第一矫正帧和所述关键帧获取所述无人飞行器在所述第一矫正帧与所述关键帧对应时刻之间的飞行偏移矢量；
根据所述飞行偏移矢量控制所述无人飞行器的当前位移使得所述飞行偏移矢量小于或等于预设值。
23.根据权利要求20所述的无人飞行器，其特征在于，所述处理器具体用于获取无人飞行器的飞行速度，若所述飞行速度为零，则获取当前时刻的图像帧作为关键帧。
24.根据权利要求20所述的无人飞行器，所述处理器还用于获取所述第一矫正帧之后的图像帧，作为第二矫正帧；
根据所述第二矫正帧和所述关键帧，继续修正所述无人飞行器的当前位移。
25.根据权利要求20所述的无人飞行器，所述处理器还用于：获取预设间隔时间的所述飞行速度；
若预设间隔时间的所述飞行速度满足预设条件，则获取所述预设间隔时间的图像帧，并更新为所述关键帧。
26.根据权利要求20所述的无人飞行器，所述处理器还用于获取预设间隔时间的图像帧；
若所述预设间隔时间的图像帧与所述关键帧的相似度满足预设条件，则更新所述预设间隔时间的图像帧为关键帧。
27.根据权利要求26所述的无人飞行器，所述处理器具体用于选取所述图像帧中的静止特征，根据所述静止特征判断所述预设间隔时间的图像帧与所述关键帧的相似度。
28.根据权利要求21所述的无人飞行器，所述处理器具体用于选取所述关键帧中的静止特征，根据所述静止特征修正所述无人飞行器的当前位移。
29.根据权利要求20-28任一项所述的无人飞行器，其特征在于，还包括：
与所述处理器通讯连接的图像传感器，所述图像传感器与所述处理器通讯连接，用于撷取所述图像帧；
或/及，与所述处理器通讯连接的速度传感器，所述速度传感器与所述处理器通讯连接，用于检测所述无人飞行器的飞行速度。
CN201680002457.3A 2016-03-28 2016-03-28 无人飞行器的悬停控制方法、控制系统和无人飞行器 Expired - Fee Related CN107077140B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/077473 WO2017166002A1 (zh) 2016-03-28 2016-03-28 无人飞行器的悬停控制方法、控制系统和无人飞行器

Publications (2)

Publication Number Publication Date
CN107077140A true CN107077140A (zh) 2017-08-18
CN107077140B CN107077140B (zh) 2018-11-30

Family

ID=59624130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680002457.3A Expired - Fee Related CN107077140B (zh) 2016-03-28 2016-03-28 无人飞行器的悬停控制方法、控制系统和无人飞行器

Country Status (3)

Country Link
US (2) US10754354B2 (zh)
CN (1) CN107077140B (zh)
WO (1) WO2017166002A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943064A (zh) * 2017-11-15 2018-04-20 北京工业大学 一种无人机定点悬停系统和方法
CN107977985A (zh) * 2017-11-29 2018-05-01 上海拓攻机器人有限公司 无人机悬停方法、装置、无人机及存储介质
CN107993247A (zh) * 2017-11-28 2018-05-04 网易（杭州）网络有限公司 追踪定位方法、系统、介质和计算设备
CN109254587A (zh) * 2018-09-06 2019-01-22 浙江大学 可在无线充电条件下稳定悬停的小型无人机及其控制方法
CN109348125A (zh) * 2018-10-31 2019-02-15 Oppo广东移动通信有限公司 视频校正方法、装置、电子设备和计算机可读存储介质
CN110611877A (zh) * 2019-04-24 2019-12-24 西南科技大学 一种基于无人机的暴力异常行为监测系统及方法
WO2022183384A1 (zh) * 2021-03-02 2022-09-09 深圳市大疆创新科技有限公司 无人飞行器的控制方法、装置、遥控器及存储介质
WO2023029006A1 (zh) * 2021-09-03 2023-03-09 深圳市大疆创新科技有限公司 飞行器的悬停控制方法、飞行器及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106030431B (zh) * 2014-08-15 2017-11-03 深圳市大疆创新科技有限公司 传感器的自动标定系统及方法
TWI657011B (zh) * 2017-11-30 2019-04-21 財團法人工業技術研究院 無人機、無人機控制系統及控制方法
WO2020010620A1 (zh) * 2018-07-13 2020-01-16 深圳市大疆创新科技有限公司 波浪识别方法、装置、计算机可读存储介质和无人飞行器
CN110058601B (zh) * 2019-03-19 2021-12-21 沈阳无距科技有限公司 无人直升机起降快速判定的方法、装置及电子设备
CN112414365B (zh) * 2020-12-14 2022-08-16 广州昂宝电子有限公司 位移补偿方法和设备及速度补偿方法和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298070A (zh) * 2010-06-22 2011-12-28 鹦鹉股份有限公司 估算无人机，尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法
CN104932523A (zh) * 2015-05-27 2015-09-23 深圳市高巨创新科技开发有限公司 一种无人飞行器的定位方法及装置
CN105045276A (zh) * 2015-07-03 2015-11-11 深圳一电科技有限公司 无人机飞行控制方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100809342B1 (ko) * 2004-10-05 2008-03-05 삼성전자주식회사 조도기반 네비게이션 장치 및 방법
US8554395B2 (en) * 2008-12-15 2013-10-08 Saab Ab Method and system for facilitating autonomous landing of aerial vehicles on a surface
CN103979104B (zh) * 2014-05-29 2016-01-06 西北工业大学 一种可变体x型机翼垂直起降微型飞行器
US9969337B2 (en) * 2014-09-03 2018-05-15 Sharp Laboratories Of America, Inc. Methods and systems for mobile-agent navigation
CN105492985B (zh) * 2014-09-05 2019-06-04 深圳市大疆创新科技有限公司 一种用于在环境内控制可移动物体的系统及方法
US9607388B2 (en) * 2014-09-19 2017-03-28 Qualcomm Incorporated System and method of pose estimation
JP6387782B2 (ja) * 2014-10-17 2018-09-12 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
CN104865968B (zh) * 2015-04-22 2017-06-23 浙江工业大学 一种采用串级自抗扰控制技术的四旋翼飞行器悬停控制方法
US9947230B2 (en) * 2015-08-03 2018-04-17 Amber Garage, Inc. Planning a flight path by identifying key frames
CN105404310B (zh) * 2015-11-27 2019-01-15 深圳一电航空技术有限公司 无人机飞行控制方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298070A (zh) * 2010-06-22 2011-12-28 鹦鹉股份有限公司 估算无人机，尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法
CN104932523A (zh) * 2015-05-27 2015-09-23 深圳市高巨创新科技开发有限公司 一种无人飞行器的定位方法及装置
CN105045276A (zh) * 2015-07-03 2015-11-11 深圳一电科技有限公司 无人机飞行控制方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943064A (zh) * 2017-11-15 2018-04-20 北京工业大学 一种无人机定点悬停系统和方法
WO2019095453A1 (zh) * 2017-11-15 2019-05-23 北京工业大学 一种无人机定点悬停系统和方法
CN107993247A (zh) * 2017-11-28 2018-05-04 网易（杭州）网络有限公司 追踪定位方法、系统、介质和计算设备
CN107993247B (zh) * 2017-11-28 2020-10-20 网易（杭州）网络有限公司 追踪定位方法、系统、介质和计算设备
CN107977985A (zh) * 2017-11-29 2018-05-01 上海拓攻机器人有限公司 无人机悬停方法、装置、无人机及存储介质
CN109254587A (zh) * 2018-09-06 2019-01-22 浙江大学 可在无线充电条件下稳定悬停的小型无人机及其控制方法
CN109254587B (zh) * 2018-09-06 2020-10-16 浙江大学 在无线充电条件下稳定悬停的小型无人机及其控制方法
CN109348125A (zh) * 2018-10-31 2019-02-15 Oppo广东移动通信有限公司 视频校正方法、装置、电子设备和计算机可读存储介质
CN110611877A (zh) * 2019-04-24 2019-12-24 西南科技大学 一种基于无人机的暴力异常行为监测系统及方法
CN110611877B (zh) * 2019-04-24 2020-09-29 西南科技大学 一种基于无人机的暴力异常行为监测系统及方法
WO2022183384A1 (zh) * 2021-03-02 2022-09-09 深圳市大疆创新科技有限公司 无人飞行器的控制方法、装置、遥控器及存储介质
WO2023029006A1 (zh) * 2021-09-03 2023-03-09 深圳市大疆创新科技有限公司 飞行器的悬停控制方法、飞行器及存储介质

Also Published As

Publication number Publication date
US10754354B2 (en) 2020-08-25
CN107077140B (zh) 2018-11-30
US20200378760A1 (en) 2020-12-03
WO2017166002A1 (zh) 2017-10-05
US20190018428A1 (en) 2019-01-17
US11073389B2 (en) 2021-07-27

Similar Documents

Publication Publication Date Title
CN107077140A (zh) 无人飞行器的悬停控制方法、控制系统和无人飞行器
Cabecinhas et al. A nonlinear quadrotor trajectory tracking controller with disturbance rejection
EP3158412B1 (en) Sensor fusion using inertial and image sensors
EP3158293B1 (en) Sensor fusion using inertial and image sensors
Engel et al. Scale-aware navigation of a low-cost quadrocopter with a monocular camera
CN105022401B (zh) 基于视觉的多四旋翼无人机协同slam方法
JP2018156660A (ja) 回転翼型小型飛行体（ｍａｖ）での屋内環境及び屋外環境における安定自律飛行のためのマルチセンサの融合
CN107615211B (zh) 使用传感器融合估计可移动物体的状态信息的方法及系统
EP3158411B1 (en) Sensor fusion using inertial and image sensors
Tijmons et al. Obstacle avoidance strategy using onboard stereo vision on a flapping wing MAV
Mohta et al. Vision-based control of a quadrotor for perching on lines
CN109887057A (zh) 生成高精度地图的方法和装置
Sa et al. Build your own visual-inertial drone: A cost-effective and open-source autonomous drone
Loianno et al. Smartphones power flying robots
WO2018045538A1 (zh) 无人机及其避障方法和避障系统
EP2927771B1 (en) Flying drone trajectory synchronization
Tzoumanikas et al. Fully autonomous micro air vehicle flight and landing on a moving target using visual–inertial estimation and model‐predictive control
Fink et al. Nonlinear dynamic image-based visual servoing of a quadrotor
Proctor et al. Vision-only approach and landing
Tan et al. A one-step visual–inertial ego-motion estimation using photometric feedback
WO2015140517A1 (en) Producing data describing target measurements
US20230055083A1 (en) System for drone calibration and method therefor
Farrell Error-state estimation and control for a multirotor UAV landing on a moving vehicle
Mossel et al. SmartCopter: Enabling autonomous flight in indoor environments with a smartphone as on-board processing unit
Petrlık Onboard localization of an unmanned aerial vehicle in an unknown environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181130