CN105759839B - 无人机视觉跟踪方法、装置以及无人机 - Google Patents
无人机视觉跟踪方法、装置以及无人机 Download PDFInfo
- Publication number
- CN105759839B CN105759839B CN201610114362.2A CN201610114362A CN105759839B CN 105759839 B CN105759839 B CN 105759839B CN 201610114362 A CN201610114362 A CN 201610114362A CN 105759839 B CN105759839 B CN 105759839B
- Authority
- CN
- China
- Prior art keywords
- destination object
- unmanned plane
- tracking
- vision
- abnormal prompt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000000007 visual effect Effects 0.000 title claims abstract description 41
- 230000002159 abnormal effect Effects 0.000 claims abstract description 183
- 230000004438 eyesight Effects 0.000 claims abstract description 164
- 238000009432 framing Methods 0.000 claims description 62
- 238000012790 confirmation Methods 0.000 claims description 49
- 238000005286 illumination Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000010791 quenching Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 13
- 230000004888 barrier function Effects 0.000 description 11
- 238000011065 in-situ storage Methods 0.000 description 4
- 230000005611 electricity Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 241000406668 Loxodonta cyclotis Species 0.000 description 2
- 206010048669 Terminal state Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 208000010415 Low Vision Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004303 low vision Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种无人机视觉跟踪方法，包括：获取目标对象所在区域的图像信息；识别所述目标对象，其中包括在所述图像信息中获取目标对象信息，并根据所述目标对象信息确定所述目标对象；对识别成功的目标对象进行定位以及视觉跟踪；以及在识别所述目标对象不成功或所述定位或所述视觉跟踪发生异常时，生成异常提示信号，并根据所述异常提示信号启动提示装置以提示所述异常。本发明还涉及一种无人机视觉跟踪装置以及无人机。本发明的无人机视觉跟踪方法能够及时地将视觉跟踪算法以及飞行控制系统的结果简洁明了地反馈给用户，从而可提升视觉跟踪效果及用户体验。
Description
技术领域
本发明涉及无人机视觉跟踪技术领域，特别涉及一种无人机视觉跟踪方法、装置以及无人机。
背景技术
无人机用于航拍已经得到广泛应用，目前已有跟踪目标对象进行拍摄的无人机，其主要原理是利用视觉跟踪系统，通过拍摄装置判断和识别目标对象，然后根据识别目标对象的移动轨迹来实现航迹追踪，跟随拍摄。无人机视觉跟踪涉及复杂的视觉跟踪算法及飞行控制系统，有很多情况可能导致任务遇到无法解决的问题而中断，此时，需要有合适的人机交互方式将异常信息及时地反馈给用户。然而，现有的异常提示方法通常是通过在显示屏上显示异常信息，这样用户就需要实时地目视显示屏，以避免错过可能的异常提示信息。
发明内容
有鉴于此，有必要提出一种无人机视觉跟踪方法、装置以及无人机，以解决上述问题。
一种无人机视觉跟踪方法，包括以下步骤：
获取目标对象所在区域的图像信息；
识别所述目标对象，其中包括在所述图像信息中获取目标对象信息，并根据所述目标对象信息确定所述目标对象；
对识别成功的目标对象进行定位以及视觉跟踪；以及
在识别所述目标对象不成功或所述定位或所述视觉跟踪发生异常时，生成异常提示信号，并根据所述异常提示信号启动提示装置以提示所述异常。
进一步地，对识别成功的目标对象进行定位以及视觉跟踪的步骤具体包括：
根据获取的所述目标对象信息，按照视觉跟踪算法获取目标对象的移动轨迹信息，以实现对所述目标对象的定位以及航迹追踪，其中，所述移动轨迹信息至少包括目标对象相对于所述无人机的距离信息、方位信息。
进一步地，所述提示装置包含具有显示界面的控制终端，所述无人机视觉跟踪方法还包括步骤：
在所述控制终端的所述显示界面上显示与所述异常提示信号对应的异常提示信息。
进一步地，根据所述异常提示信号启动所述提示装置以提示所述异常的步骤至少包含以下三种提示方式中的一种：
控制所述无人机上的指示灯闪烁；
控制所述无人机及/或所述控制终端上的扬声器发出异常提示音或语音；
控制可穿戴式设备振动或发出异常提示音或语音。
进一步地，所述无人机视觉跟踪方法还包括步骤：
当所述目标对象识别成功时，在所述控制终端的显示界面上显示预设标记框对所述目标对象进行突出标示，并对所述目标对象进行检测以判断是否允许接收对所述标记框进行点击确认的输入信号。
进一步地，所述无人机视觉跟踪方法还包括步骤：
当检测到所述目标对象符合预设检测标准时，则判断为允许接收对所述标记框进行点击确认的输入信号；以及
在接收到对所述标记框的点击确认的输入信号之后，控制所述无人机进入视觉跟踪模式。
进一步地，所述无人机视觉跟踪方法还包括以下步骤中的至少一个：
当检测到所述目标对象太小时，则判断为不允许接收对所述标记框进行点击确认的输入信号，并显示与目标对象太小相对应的异常提示信息；
当检测到所述目标对象太大时，则判断为不允许接收对所述标记框进行点击确认的输入信号，并显示与目标对象太大相对应的异常提示信息；
当未检测到所述目标对象的特征时，则判断为不允许接收对所述标记框进行点击确认的输入信号，并显示与未检测到目标对象相对应的异常提示信息；
当在所述预设标记框中未检测到所述目标对象时，则判断为不允许接收对所述标记框进行点击确认的输入信号，并显示与在预设标记框中未检测到目标对象相对应的异常提示信息。
进一步地，当判断结果为允许接收对所述标记框进行点击确认的输入信号时，将所述预设标记框显示为第一预设颜色；以及
当判断结果为不允许接收对所述标记框进行点击确认的输入信号时，将所述预设标记框显示为第二预设颜色。
进一步地，所述无人机视觉跟踪方法具体还包括步骤：
在所述目标对象被遮挡而导致跟踪丢失所述目标对象时，显示与跟踪丢失目标对象相对应的异常提示信息；以及
在检测目标对象超时后又重新检测到目标对象，或者在重新检测到目标对象但置信度较低时，在所述控制终端的显示界面上重新显示所述预设标记框对所述重新检测到的目标对象进行突出标示。
进一步地，所述无人机视觉跟踪方法具体还包括以下步骤中的至少一个：
在接收到退出视觉跟踪的操作指令时，退出对所述目标对象的视觉跟踪，并显示与退出视觉跟踪相对应的提示信息；
在目标对象丢失超时时，中断对所述目标对象的视觉跟踪，并显示与目标对象丢失超时相对应的异常提示信息；
在所述无人机的飞行参数异常时，中断对所述目标对象的视觉跟踪，并显示与飞行参数异常相对应的异常提示信息，其中，所述无人机的飞行参数异常至少包括所述无人机的飞行高度超出预设高度，或飞行距离超出预设距离，或者所述无人机进入禁飞区；
在GPS及视觉定位失效导致所述无人机悬停的速度数据都不可用时，中断对所述目标对象的视觉跟踪，并显示与速度数据不可用相对应的异常提示信息；
在无法获取到图像信息且超时时，中断对所述目标对象的视觉跟踪，并显示与无法获取到图像信息相对应的异常提示信息；
在智能跟踪帧率过低时，中断对所述目标对象的视觉跟踪，并弹窗提示与智能跟踪帧率过低相对应的异常提示信息；
在所述无人机的电量过低时，中断对所述目标对象的视觉跟踪，并显示与电量过低相对应的异常提示信息；
在信号丢失时，退出视觉跟踪模式，其中，所述信号至少包括遥控信号、APP信号、飞控信号；
在光照强度低于一预设阈值时，中断对所述目标对象的视觉跟踪，并显示与光照强度低于预设阈值相对应的异常提示信息。
一种无人机视觉跟踪装置，包括：
获取模块，用于获取目标对象所在区域的图像信息；
图像数据处理模块，用于识别目标对象，其中包括在所述图像信息中获取目标对象信息，并根据所述目标对象信息确定所述目标对象；
跟踪模块，用于对识别成功的目标对象进行定位以及视觉跟踪；以及
异常提示模块，用于在识别所述目标对象不成功或所述定位或所述视觉跟踪发生异常时，生成异常提示信号，并根据所述异常提示信号启动提示装置以提示所述异常。
进一步地，所述跟踪模块在对识别成功的目标对象进行定位以及视觉跟踪时具体用于：
根据获取的所述目标对象信息，按照视觉跟踪算法获取目标对象的移动轨迹信息，以实现对所述目标对象的定位以及航迹追踪，其中，所述移动轨迹信息至少包括目标对象相对于所述无人机的距离信息、方位信息。
进一步地，所述提示装置包含具有显示界面的控制终端，所述异常提示模块还用于在所述控制终端的所述显示界面上显示与所述异常提示信号对应的异常提示信息。
进一步地，所述异常提示模块在根据所述异常提示信号启动所述提示装置以提示所述异常时具体用于：
控制所述无人机上的指示灯闪烁；
及/或，控制所述无人机及/或所述控制终端上的扬声器发出异常提示音或语音；
及/或，控制可穿戴式设备振动或发出异常提示音或语音。
进一步地，所述跟踪模块还用于在所述目标对象识别成功时，在所述控制终端的显示界面上显示预设标记框对所述目标对象进行突出标示，并对所述目标对象进行检测以判断是否允许接收对所述标记框进行点击确认的输入信号。
进一步地，所述跟踪模块还用于：
在检测到所述目标对象符合预设检测标准时判断为允许接收对所述标记框进行点击确认的输入信号；以及
在接收到对所述标记框的点击确认的输入信号之后，控制所述无人机进入视觉跟踪模式。
进一步地，所述跟踪模块具体还用于在检测到所述目标对象太小时判断为不允许接收对所述标记框进行点击确认的输入信号，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与目标对象太小相对应的异常提示信息；及/或
所述跟踪模块具体还用于在检测到所述目标对象太大时判断为不允许接收对所述标记框进行点击确认的输入信号，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与目标对象太大相对应的异常提示信息；及/或
所述跟踪模块具体还用于在未检测到所述目标对象的特征时判断为不允许接收对所述标记框进行点击确认的输入信号，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与未检测到目标对象相对应的异常提示信息；及/或
所述跟踪模块具体还用于在所述预设标记框中未检测到目标对象时判断为不允许接收对所述标记框进行点击确认的输入信号，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与在预设标记框中未检测到目标对象相对应的异常提示信息。
进一步地，所述跟踪模块还用于在判断结果为允许接收对所述标记框进行点击确认的输入信号时，将所述预设标记框显示为第一预设颜色；以及
所述跟踪模块还用于在判断结果为不允许接收对所述标记框进行点击确认的输入信号时，将所述预设标记框显示为第二预设颜色。
进一步地，所述异常提示模块具体还用于在所述目标对象被遮挡而导致跟踪丢失所述目标对象时，控制所述控制终端的显示界面显示与跟踪丢失目标对象相对应的异常提示信息；以及
所述跟踪模块具体还用于在检测目标对象超时后又重新检测到目标对象，或者在重新检测到目标对象但置信度较低时，控制所述控制终端的显示界面重新显示所述预设标记框对所述重新检测到的目标对象进行突出标示。
进一步地，所述跟踪模块具体还用于在接收到退出视觉跟踪的操作指令时控制所述无人机退出对所述目标对象的视觉跟踪模式，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与退出视觉跟踪相对应的提示信息；及/或
所述跟踪模块具体还用于在目标对象丢失超时时中断所述无人机对所述目标对象的视觉跟踪，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与目标对象丢失超时相对应的异常提示信息；及/或
所述跟踪模块具体还用于在所述无人机的飞行参数异常时中断对所述目标对象的视觉跟踪，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与飞行参数异常相对应的异常提示信息，其中，所述无人机的飞行参数异常至少包括所述无人机的飞行高度超出预设高度，或飞行距离超出预设距离，或者所述无人机进入禁飞区；及/或
所述跟踪模块具体还用于在GPS及视觉定位失效导致所述无人机悬停的速度数据都不可用时中断对所述目标对象的视觉跟踪，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与速度数据不可用相对应的异常提示信息；及/或
所述跟踪模块具体还用于在无法获取到图像信息且超时时中断对所述目标对象的视觉跟踪，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与无法获取到图像信息相对应的异常提示信息；及/或
所述跟踪模块具体还用于在智能跟踪帧率过低时中断对所述目标对象的视觉跟踪，所述异常提示模块具体还用于在所述控制终端的显示界面弹窗提示与智能跟踪帧率过低相对应的异常提示信息；及/或
所述跟踪模块具体还用于在所述无人机的电量过低时中断对所述目标对象的视觉跟踪，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与电量过低相对应的异常提示信息；及/或
所述跟踪模块具体还用于在信号丢失时控制所述无人机退出对所述目标对象的视觉跟踪模式，其中，所述信号至少包括遥控信号、APP信号、飞控信号；及/或
所述跟踪模块具体还用于在光照强度低于一预设阈值时中断对所述目标对象的视觉跟踪，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与光照强度低于预设阈值相对应的异常提示信息。
一种无人机，包括：
机身；
拍摄装置，安装于所述机身上，所述拍摄装置用于采集目标对象所在区域的图像信息；以及
如上所述的无人机视觉跟踪装置，所述无人机视觉跟踪装置设置于所述机身内部。
进一步地，所述无人机还包括云台机构，所述拍摄装置通过所述云台机构安装于所述无人机的机身上。
本发明提供的无人机视觉跟踪方法，能够及时地将视觉跟踪算法以及飞行控制系统的结果简洁明了地反馈给用户，从而可提升视觉跟踪效果及用户体验。
附图说明
图1是本发明实施例的一种无人机视觉跟踪方法的流程示意图。
图2是本发明实施例的一种无人机视觉跟踪模式下正常跟踪的显示界面示意图。
图3是本发明实施例的一种无人机视觉跟踪模式下初始化目标对象太小的显示界面示意图。
图4是本发明实施例的一种无人机视觉跟踪模式下初始化目标对象太大的显示界面示意图。
图5是本发明实施例的一种无人机视觉跟踪模式下初始化目标对象无特征的显示界面示意图。
图6是本发明实施例的一种无人机视觉跟踪模式下初始化未检测到目标对象的显示界面示意图。
图7是本发明实施例的一种无人机视觉跟踪模式下遇到障碍物的显示界面示意图。
图8是本发明实施例的一种无人机视觉跟踪模式下检测目标对象超时后又重新检测到目标对象的显示界面示意图。
图9是本发明实施例的一种退出无人机视觉跟踪模式的显示界面示意图。
图10是本发明实施例的一种由于目标丢失超时而中断无人机视觉跟踪模式的显示界面示意图。
图11是本发明实施例的一种由于无人机的飞行参数异常而中断无人机视觉跟踪模式的显示界面示意图。
图12是本发明实施例的一种由于GPS及视觉定位失效而中断无人机视觉跟踪模式的显示界面示意图。
图13是本发明实施例的一种由于无法获取到图像信息且超时而中断无人机视觉跟踪模式的显示界面示意图。
图14是本发明实施例的一种由于智能跟踪帧率过低而中断无人机视觉跟踪模式的显示界面示意图。
图15是本发明实施例的一种由于信号丢失而退出无人机视觉跟踪模式的显示界面示意图。
图16是本发明实施例的一种无人机视觉跟踪装置的结构示意图。
图17是本发明实施例的一种无人机的结构示意图。
主要元件符号说明
| 无人机视觉跟踪装置 | 200 |
| 获取模块 | 21 |
| 图像数据处理模块 | 22 |
| 跟踪模块 | 23 |
| 异常提示模块 | 24 |
| 无人机 | 1000 |
| 机身 | 300 |
| 拍摄装置 | 400 |
| 云台机构 | 500 |
| 步骤 | 101-106 |
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的一种无人机视觉跟踪方法100的流程示意图。应说明的是，本发明实施例的所述方法并不限于图1所示的流程图中的步骤及顺序。根据不同的实施例，图1所示的流程图中的步骤可以增加、移除、或者改变顺序。在本实施方式中，所述无人机视觉跟踪方法100可以从步骤101开始。
步骤101，获取目标对象所在区域的图像信息。
在本实施方式中，可通过安装在无人机上的摄像装置（例如，禅思©系列航拍相机）来采集图像信息，从而获得目标对象所在区域的图像信息。
步骤102，识别所述目标对象。具体地，识别所述目标对象包括在所述图像信息中获取目标对象信息，并根据所述目标对象信息确定所述目标对象。
步骤103，判断识别所述目标对象是否成功？若识别所述目标对象成功，则执行步骤104。若识别所述目标对象不成功，则执行步骤106。
判断识别所述目标对象是否成功的具体可选的方法为，通过比较所述图像信息与预存的目标对象信息，并判断所述图像信息中是否有与所述预存的目标对象信息相匹配的信息。如果所述图像信息中有与所述预存的目标对象信息相匹配的信息，则判断为在所述图像信息中获取到目标对象信息，识别所述目标对象成功。如果所述图像信息中没有与所述预存的目标对象信息相匹配的信息，则判断在所述图像信息中未获取到目标对象信息，识别所述目标对象不成功。
步骤104，对识别成功的目标对象进行定位以及视觉跟踪。
在本实施方式中，所述步骤104具体可包括：
根据获取的所述目标对象信息，按照视觉跟踪算法（例如，金字塔光流算法（L-K））获取目标对象的移动轨迹信息，以实现对所述目标对象的定位以及航迹追踪。例如，可根据对所述目标对象的定位，调整无人机的飞行参数，以控制所述无人机跟随所述目标对象飞行，从而实现对所述目标对象的视觉跟踪。其中，所述移动轨迹信息至少包括目标对象相对于所述无人机的距离信息、方位信息。
在本实施方式中，所述无人机视觉跟踪方法100还可包括步骤：当所述目标对象识别成功时，在控制终端的显示界面上显示预设标记框对所述目标对象进行突出标示，并对所述目标对象进行检测以判断是否允许接收对所述标记框进行点击确认的输入信号。
可以理解的是，在判断是否允许接收对所述标记框进行点击确认的输入信号时，所述无人机实际上已经根据显示的所述预设标记框（即，目标图像所在区域）对所述目标对象进行视觉跟踪了，只是这时的视觉跟踪是在原地进行，而不能移动地进行视觉跟踪。
进一步地，在本实施方式中，所述无人机视觉跟踪方法100还可包括步骤：
当检测到所述目标对象符合预设检测标准时，则判断为允许接收对所述标记框进行点击确认的输入信号。这时还可在所述控制终端的显示界面上闪烁GO标识，同时显示“点击开始跟踪”的提示信息，以提示用户对所述标记框进行点击确认。
在接收到对所述标记框的点击确认的输入信号之后，控制所述无人机进入视觉跟踪模式。
可以理解的是，所述预设检测标准可以是预设的数值范围，例如高度范围、宽度范围、轮廓大小范围等。当检测到所述目标对象时，可对实际检测到的所述目标对象赋予一定的数值信息，例如高度、宽度、轮廓大小等，并将所述目标对象的数值信息与预设的数值范围相比较，当所述目标对象的数值信息落入所述预设的数值范围内时，即可认为所述目标对象符合预设检测标准。
在本实施方式中，如图2所示，当判断结果为允许接收对所述标记框进行点击确认的输入信号时，可将所述标记框显示为第一预设颜色，例如绿色填充框（黑白图中没有显示该颜色），所述标记框可为矩形框或圆形框。
进一步地，在本实施方式中，所述无人机视觉跟踪方法100还可包括以下步骤中的至少一个：
当检测到所述目标对象太小时，则判断为不允许接收对所述标记框进行点击确认的输入信号，并显示与目标对象太小相对应的异常提示信息，例如显示“目标太小”（如图3所示）。
当检测到所述目标对象太大时，则判断为不允许接收对所述标记框进行点击确认的输入信号，并显示与目标对象太大相对应的异常提示信息，例如显示“目标太大”（如图4所示）。
当未检测到所述目标对象的特征时，则判断为不允许接收对所述标记框进行点击确认的输入信号，并显示与未检测到目标对象相对应的异常提示信息，例如显示“目标无特征”（如图5所示）。
当在所述预设标记框中未检测到所述目标对象时，则判断为不允许接收对所述标记框进行点击确认的输入信号，并显示与在预设标记框中未检测到目标对象相对应的异常提示信息，例如显示“无法识别目标”（如图6所示）。
在本实施方式中，当判断结果为不允许接收对所述标记框进行点击确认的输入信号时，将所述预设标记框显示为第二预设颜色，例如红色填充框（黑白图中没有显示该颜色）。
步骤105，判断所述定位或所述视觉跟踪是否发生异常？若所述定位或所述视觉跟踪发生异常，则执行步骤106。若所述定位或所述视觉跟踪未发生异常，则返回步骤104。
步骤106，生成异常提示信号，并根据所述异常提示信号启动提示装置以提示所述异常。
在本实施方式中，根据所述异常提示信号启动所述提示装置以提示所述异常的步骤至少包含以下三种提示方式中的一种：
控制所述无人机上的指示灯闪烁。
或者，控制所述无人机及/或所述控制终端上的扬声器发出异常提示音或语音。
或者，控制可穿戴式设备振动或发出异常提示音或语音。
在本实施方式中，所述无人机视觉跟踪方法100可根据不同的硬件设备条件，启动不同的提示方式，从而能够及时地将视觉跟踪算法以及飞行控制系统的结果反馈给用户。
在本实施方式中，所述提示装置包含具有显示界面的控制终端。
在本实施方式中，所述无人机视觉跟踪方法100还包括步骤：在所述控制终端的所述显示界面上显示与所述异常提示信号对应的异常提示信息。
具体地，所述无人机视觉跟踪方法100可包括以下步骤中的至少一个：
在所述目标对象被遮挡而导致跟踪丢失所述目标对象时，显示与跟踪丢失目标对象相对应的异常提示信息，例如显示“前方遇到障碍物”（如图7所示）。
在检测目标对象超时后又重新检测到目标对象，或者在重新检测到目标对象但置信度较低时，在所述控制终端的显示界面上重新显示所述预设标记框对所述重新检测到的目标对象进行突出标示。如图8所示，这时还可在所述控制终端的显示界面上闪烁GO标识，同时显示“请重新确认”的提示信息，以提示用户重新对所述标记框进行点击确认，以便所述无人机重新寻找以及确定目标对象。
这里所述的“置信度”可以理解为将所述目标对象的一定的物理特征的数值信息与预设的这些特征的数值范围的比较结果，当所述目标对象的物理特征的数值信息超出预设的数值范围时，即可认为置信度较低。
在接收到退出视觉跟踪的操作指令时，退出对所述目标对象的视觉跟踪，并显示与退出视觉跟踪相对应的提示信息，例如显示“已退出视觉飞行”（如图9所示）。
在目标对象丢失超时时，中断对所述目标对象的视觉跟踪，并显示与目标对象丢失超时相对应的异常提示信息，例如显示“目标丢失超时，已退出智能跟踪”（如图10所示）。
在所述无人机的飞行参数异常时，中断对所述目标对象的视觉跟踪，并显示与飞行参数异常相对应的异常提示信息，例如显示“达到限高限远，已退出智能跟踪”（如图11所示），其中，所述无人机的飞行参数异常至少包括所述无人机的飞行高度超出预设高度，或飞行距离超出预设距离，或者所述无人机进入禁飞区。
在GPS及视觉定位失效导致所述无人机悬停的速度数据都不可用时，中断对所述目标对象的视觉跟踪，并显示与速度数据不可用相对应的异常提示信息，例如显示“速度不可用，已退出智能跟踪”（如图12所示）。
在无法获取到图像信息且超时时，中断对所述目标对象的视觉跟踪，并显示与无法获取到图像信息相对应的异常提示信息，例如显示“无图像输入，已退出智能跟踪”（如图13所示）。
在智能跟踪帧率过低时，中断对所述目标对象的视觉跟踪，并弹窗提示与智能跟踪帧率过低相对应的异常提示信息，例如显示“智能跟踪帧率过低，继续或退出”（如图14所示）。
在所述无人机的电量过低时，中断对所述目标对象的视觉跟踪，并显示与电量过低相对应的异常提示信息，例如显示“电量过低，已退出智能跟踪”。
在信号丢失时，退出视觉跟踪模式（如图15所示），其中，所述信号至少包括遥控信号、APP信号、飞控信号等。
在光照强度低于一预设阈值时，中断对所述目标对象的视觉跟踪，并显示与光照强度低于预设阈值相对应的异常提示信息，例如显示“前视雷达失效”。可以理解的是，在这种情况下，所述无人机前方的摄像装置会很难检测出障碍物，为了安全起见，所述无人机会在原地悬停，不会继续移动，以免由于亮度太低撞到无法检测出来的障碍物。
在本实施方式中，所述无人机视觉跟踪方法100使用人机交互方式显示异常提示信息，以在视觉跟踪算法及飞行控制系统出现了无法解决的问题时，以简洁明了的方式将问题反馈给用户。所述无人机视觉跟踪方法100还通过显示视觉跟踪的不同状态，可以让用户在跟踪效果较差的时候倾向于做比较保守的运动，在效果很好的时候倾向于做比较自由的运动；在遇到障碍物时及时将飞机移出受到局限的区域，或躲避障碍物；在跟踪失败后及时了解到失败的原因，从而促使下一次任务的时候，尽量避免可能导致失败的各种原因，以达到进一步提升视觉跟踪效果及用户体验的目的。
图16是本发明实施例的一种无人机视觉跟踪装置200的结构示意图。所述无人机视觉跟踪装置200可应用于无人机中，并可与所述无人机以及一控制终端（图未示）进行通信，以便传输信号，例如遥控信号、控制终端的APP信号、飞控信号等。
图17是本发明实施例的一种无人机1000的结构示意图。所述无人机1000包括但不限于机身300以及安装于所述机身300上的拍摄装置400。在本实施方式中，所述拍摄装置400可为相机（例如，禅思©系列航拍相机）或镜头等。所述拍摄装置400用于采集目标对象所在区域的图像信息。在本实施方式中，所述无人机1000的机身300上还搭载有云台机构500，所述拍摄装置400通过所述云台机构500安装于所述无人机1000的机身300上，从而可通过所述云台机构500来控制所述拍摄装置400的朝向。
在本实施方式中，所述无人机视觉跟踪装置200设置于所述机身300内部。在本实施方式中，所述无人机视觉跟踪装置200至少包括获取模块21、图像数据处理模块22、跟踪模块23以及异常提示模块24。
所述获取模块21与所述拍摄装置400连接，用于获取所述拍摄装置400采集的所述获取目标对象所在区域的图像信息。
所述图像数据处理模块22用于识别所述目标对象，其中包括在所述图像信息中获取目标对象信息，并根据所述目标对象信息确定所述目标对象。
所述跟踪模块23用于对识别成功的目标对象进行定位以及视觉跟踪。具体地，所述跟踪模块23可用于根据获取的所述目标对象信息，按照视觉跟踪算法（例如，金字塔光流算法（L-K））获取目标对象的移动轨迹信息，以实现对所述目标对象的定位以及航迹追踪。例如，可根据对所述目标对象的定位，调整无人机的飞行参数，以控制所述无人机跟随所述目标对象飞行，从而实现对所述目标对象的视觉跟踪。其中，所述移动轨迹信息至少包括目标对象相对于所述无人机的距离信息、方位信息。
在本实施方式中，所述跟踪模块23还可用于在所述目标对象识别成功时，在所述控制终端的显示界面上显示预设标记框对所述目标对象进行突出标示，并对所述目标对象进行检测以判断是否允许接收对所述标记框进行点击确认的输入信号。
可以理解的是，在判断是否允许接收对所述标记框进行点击确认的输入信号时，所述跟踪模块23实际上已经根据显示的所述预设标记框（即，目标图像所在区域）对所述目标对象进行视觉跟踪了，只是这时的视觉跟踪是在原地进行，而不能移动地进行视觉跟踪。
进一步地，在本实施方式中，所述跟踪模块23还用于在检测到所述目标对象符合预设检测标准时判断为允许接收对所述标记框进行点击确认的输入信号。这时还可控制所述控制终端的显示界面闪烁GO标识，同时显示“点击开始跟踪”的提示信息，以提示用户对所述标记框进行点击确认。
所述跟踪模块23还用于在接收到对所述标记框的点击确认的输入信号之后，控制所述无人机进入视觉跟踪模式。
可以理解的是，所述预设检测标准可以是预设的数值范围，例如高度范围、宽度范围、轮廓大小范围等。当检测到所述目标对象时，可对实际检测到的所述目标对象赋予一定的数值信息，例如高度、宽度、轮廓大小等，并将所述目标对象的数值信息与预设的数值范围相比较，当所述目标对象的数值信息落入所述预设的数值范围内时，即可认为所述目标对象符合预设检测标准。
在本实施方式中，如图2所示，当判断结果为允许接收对所述标记框进行点击确认的输入信号时，所述跟踪模块23具体还用于控制所述控制终端的显示界面可将所述标记框显示为第一预设颜色，例如绿色填充框（黑白图中没有显示该颜色），所述标记框可为矩形框或圆形框。
进一步地，在本实施方式中，所述跟踪模块23具体还用于在检测到所述目标对象太小时判断为不允许接收对所述标记框进行点击确认的输入信号，所述异常提示模块24具体还用于控制所述控制终端的显示界面显示与目标对象太小相对应的异常提示信息，例如显示“目标太小”（如图3所示）。
或者，所述跟踪模块23具体还用于在检测到所述目标对象太大时则判断为不允许接收对所述标记框进行点击确认的输入信号，所述异常提示模块24具体还用于控制所述控制终端的显示界面显示与目标对象太大相对应的异常提示信息，例如显示“目标太大”（如图4所示）。
或者，所述跟踪模块23具体还用于在未检测到所述目标对象的特征时判断为不允许接收对所述标记框进行点击确认的输入信号，所述异常提示模块24具体还用于控制所述控制终端的显示界面显示与未检测到目标对象相对应的异常提示信息，例如显示“目标无特征”（如图5所示）。
或者，所述跟踪模块23具体还用于在所述预设标记框中未检测到所述目标对象时判断为不允许接收对所述标记框进行点击确认的输入信号，所述异常提示模块24具体还用于控制所述控制终端的显示界面显示与在预设标记框中未检测到目标对象相对应的异常提示信息，例如显示“无法识别目标”（如图6所示）。
在本实施方式中，当判断结果为不允许接收对所述标记框进行点击确认的输入信号时，所述跟踪模块23具体还用于将所述预设标记框显示为第二预设颜色，例如红色填充框（黑白图中没有显示该颜色）。
所述异常提示模块24还用于在识别所述目标对象不成功或所述定位或所述视觉跟踪发生异常时，生成异常提示信号，并根据所述异常提示信号启动提示装置（图未示）以提示所述异常。
在本实施方式中，所述异常提示模块24至少可用于控制所述无人机上的指示灯闪烁；或者，控制所述无人机及/或所述控制终端上的扬声器发出异常提示音或语音；或者，控制可穿戴式设备振动或发出异常提示音或语音。
在本实施方式中，所述无人机视觉跟踪装置200可根据不同的硬件设备条件，启动不同的提示方式，从而能够及时地将视觉跟踪算法以及飞行控制系统的结果反馈给用户。
在本实施方式中，所述提示装置包含具有显示界面的控制终端。
在本实施方式中，所述异常提示模块24还用于在所述控制终端的所述显示界面上显示与所述异常提示信号对应的异常提示信息。
具体地，所述异常提示模块24具体还用于在所述目标对象被遮挡而导致跟踪丢失所述目标对象时，控制所述控制终端的显示界面显示与跟踪丢失目标对象相对应的异常提示信息，例如显示“前方遇到障碍物”（如图7所示）。
所述跟踪模块23具体还用于在检测目标对象超时后又重新检测到目标对象，或者在重新检测到目标对象但置信度较低时，在所述控制终端的显示界面上重新显示所述预设标记框对所述重新检测到的目标对象进行突出标示。如图8所示，这时还可在所述控制终端的显示界面上闪烁GO标识，同时显示“请重新确认”的提示信息，以提示用户重新对所述标记框进行点击确认，以便所述无人机重新寻找以及确定目标对象。
这里所述的“置信度”可以理解为将所述目标对象的一定的物理特征的数值信息与预设的这些特征的数值范围的比较结果，当所述目标对象的物理特征的数值信息超出预设的数值范围时，即可认为置信度较低。
所述跟踪模块23具体还用于在接收到退出视觉跟踪的操作指令时控制所述无人机退出对所述目标对象的视觉跟踪模式，所述异常提示模块24具体还用于控制所述控制终端的显示界面显示与退出视觉跟踪相对应的提示信息，例如显示“已退出视觉飞行”（如图9所示）。
或者，所述跟踪模块23具体还用于在目标对象丢失超时时中断对所述目标对象的视觉跟踪，所述异常提示模块24具体还用于控制所述控制终端的显示界面显示与目标对象丢失超时相对应的异常提示信息，例如显示“目标丢失超时，已退出智能跟踪”（如图10所示）。
或者，所述跟踪模块23具体还用于在所述无人机的飞行参数异常时中断对所述目标对象的视觉跟踪，所述异常提示模块24具体还用于控制所述控制终端的显示界面显示与飞行参数异常相对应的异常提示信息，例如显示“达到限高限远，已退出智能跟踪”（如图11所示），其中，所述无人机的飞行参数异常至少包括所述无人机的飞行高度超出预设高度，或飞行距离超出预设距离，或者所述无人机进入禁飞区。
或者，所述跟踪模块23具体还用于在GPS及视觉定位失效导致所述无人机悬停的速度数据都不可用时中断对所述目标对象的视觉跟踪，所述异常提示模块24具体还用于控制所述控制终端的显示界面显示与速度数据不可用相对应的异常提示信息，例如显示“速度不可用，已退出智能跟踪”（如图12所示）。
或者，所述跟踪模块23具体还用于在无法获取到图像信息且超时时中断对所述目标对象的视觉跟踪，所述异常提示模块24具体还用于控制所述控制终端的显示界面显示与无法获取到图像信息相对应的异常提示信息，例如显示“无图像输入，已退出智能跟踪”（如图13所示）。
或者，所述跟踪模块23具体还用于在智能跟踪帧率过低时中断对所述目标对象的视觉跟踪，所述异常提示模块24具体还用于控制所述控制终端的显示界面弹窗提示与智能跟踪帧率过低相对应的异常提示信息，例如显示“智能跟踪帧率过低，继续或退出”（如图14所示）。
或者，所述跟踪模块23具体还用于在所述无人机的电量过低时中断对所述目标对象的视觉跟踪，所述异常提示模块24具体还用于控制所述控制终端的显示界面显示与电量过低相对应的异常提示信息，例如显示“电量过低，已退出智能跟踪”。
或者，所述跟踪模块23具体还用于在信号丢失时控制所述无人机退出对所述目标对象的视觉跟踪模式，其中，所述信号至少包括遥控信号、APP信号、飞控信号等（如图15所示）。
或者，所述跟踪模块23具体还用于在光照强度低于一预设阈值时，中断对所述目标对象的视觉跟踪，所述异常提示模块24具体还用于控制所述控制终端的显示界面显示与光照强度低于预设阈值相对应的异常提示信息，例如显示“前视雷达失效”。可以理解的是，在这种情况下，所述无人机前方的摄像装置会很难检测出障碍物，为了安全起见，所述无人机会在原地悬停，不会继续移动，以免由于亮度太低撞到无法检测出来的障碍物。
在本实施方式中，所述无人机视觉跟踪装置200使用人机交互方式显示异常提示信息，以在视觉跟踪算法及飞行控制系统出现了无法解决的问题时，以简洁明了的方式将问题反馈给用户。所述无人机视觉跟踪装置200还通过显示视觉跟踪的不同状态，可以让用户在跟踪效果较差的时候倾向于做比较保守的运动，在效果很好的时候倾向于做比较自由的运动；在遇到障碍物时及时将飞机移出受到局限的区域，或躲避障碍物；在跟踪失败后及时了解到失败的原因，从而促使下一次任务的时候，尽量避免可能导致失败的各种原因，以达到进一步提升视觉跟踪效果及用户体验的目的。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
Claims (20)
1.一种无人机视觉跟踪方法，包括以下步骤：
获取目标对象所在区域的图像信息；
识别所述目标对象，其中包括在所述图像信息中获取目标对象信息，并根据所述目标对象信息确定所述目标对象；
对识别成功的目标对象进行定位以及视觉跟踪；以及
在识别所述目标对象不成功或所述定位或所述视觉跟踪发生异常时，生成异常提示信号，并根据所述异常提示信号启动提示装置以提示所述异常；
其中，所述提示装置包含具有显示界面的控制终端，所述无人机视觉跟踪方法还包括步骤：
当所述目标对象识别成功时，在所述控制终端的显示界面上显示预设标记框对所述目标对象进行突出标示，并对所述目标对象进行检测以判断是否允许接收对所述标记框进行点击确认的输入信号。
2.如权利要求1所述的无人机视觉跟踪方法，其特征在于：对识别成功的目标对象进行定位以及视觉跟踪的步骤具体包括：
根据获取的所述目标对象信息，按照视觉跟踪算法获取目标对象的移动轨迹信息，以实现对所述目标对象的定位以及航迹追踪，其中，所述移动轨迹信息至少包括目标对象相对于所述无人机的距离信息、方位信息。
3.如权利要求1或2所述的无人机视觉跟踪方法，其特征在于：所述无人机视觉跟踪方法还包括步骤：
在所述控制终端的所述显示界面上显示与所述异常提示信号对应的异常提示信息。
4.如权利要求3所述的无人机视觉跟踪方法，其特征在于：根据所述异常提示信号启动所述提示装置以提示所述异常的步骤至少包含以下三种提示方式中的一种：
控制所述无人机上的指示灯闪烁；
控制所述无人机及/或所述控制终端上的扬声器发出异常提示音或语音；
控制可穿戴式设备振动或发出异常提示音或语音。
5.如权利要求1所述的无人机视觉跟踪方法，其特征在于：所述无人机视觉跟踪方法还包括步骤：
当检测到所述目标对象符合预设检测标准时，则判断为允许接收对所述标记框进行点击确认的输入信号；以及
在接收到对所述标记框的点击确认的输入信号之后，控制所述无人机进入视觉跟踪模式。
6.如权利要求5所述的无人机视觉跟踪方法，其特征在于：所述无人机视觉跟踪方法还包括以下步骤中的至少一个：
当检测到所述目标对象太小时，则判断为不允许接收对所述标记框进行点击确认的输入信号，并显示与目标对象太小相对应的异常提示信息；
当检测到所述目标对象太大时，则判断为不允许接收对所述标记框进行点击确认的输入信号，并显示与目标对象太大相对应的异常提示信息；
当未检测到所述目标对象的特征时，则判断为不允许接收对所述标记框进行点击确认的输入信号，并显示与未检测到目标对象相对应的异常提示信息；
当在所述预设标记框中未检测到所述目标对象时，则判断为不允许接收对所述标记框进行点击确认的输入信号，并显示与在预设标记框中未检测到目标对象相对应的异常提示信息。
7.如权利要求6所述的无人机视觉跟踪方法，其特征在于：当判断结果为允许接收对所述标记框进行点击确认的输入信号时，将所述预设标记框显示为第一预设颜色；以及
当判断结果为不允许接收对所述标记框进行点击确认的输入信号时，将所述预设标记框显示为第二预设颜色。
8.如权利要求1所述的无人机视觉跟踪方法，其特征在于：所述无人机视觉跟踪方法具体还包括步骤：
在所述目标对象被遮挡而导致跟踪丢失所述目标对象时，显示与跟踪丢失目标对象相对应的异常提示信息；以及
在检测目标对象超时后又重新检测到目标对象，或者在重新检测到目标对象但置信度较低时，在所述控制终端的显示界面上重新显示所述预设标记框对所述重新检测到的目标对象进行突出标示。
9.如权利要求8所述的无人机视觉跟踪方法，其特征在于：所述无人机视觉跟踪方法具体还包括以下步骤中的至少一个：
在接收到退出视觉跟踪的操作指令时，退出对所述目标对象的视觉跟踪，并显示与退出视觉跟踪相对应的提示信息；
在目标对象丢失超时时，中断对所述目标对象的视觉跟踪，并显示与目标对象丢失超时相对应的异常提示信息；
在所述无人机的飞行参数异常时，中断对所述目标对象的视觉跟踪，并显示与飞行参数异常相对应的异常提示信息，其中，所述无人机的飞行参数异常至少包括所述无人机的飞行高度超出预设高度，或飞行距离超出预设距离，或者所述无人机进入禁飞区；
在GPS及视觉定位失效导致所述无人机悬停的速度数据都不可用时，中断对所述目标对象的视觉跟踪，并显示与速度数据不可用相对应的异常提示信息；
在无法获取到图像信息且超时时，中断对所述目标对象的视觉跟踪，并显示与无法获取到图像信息相对应的异常提示信息；
在智能跟踪帧率过低时，中断对所述目标对象的视觉跟踪，并弹窗提示与智能跟踪帧率过低相对应的异常提示信息；
在所述无人机的电量过低时，中断对所述目标对象的视觉跟踪，并显示与电量过低相对应的异常提示信息；
在信号丢失时，退出视觉跟踪模式，其中，所述信号至少包括遥控信号、APP信号、飞控信号；
在光照强度低于一预设阈值时，中断对所述目标对象的视觉跟踪，并显示与光照强度低于预设阈值相对应的异常提示信息。
10.一种无人机视觉跟踪装置，包括：
获取模块，用于获取目标对象所在区域的图像信息；
图像数据处理模块，用于识别目标对象，其中包括在所述图像信息中获取目标对象信息，并根据所述目标对象信息确定所述目标对象；
跟踪模块，用于对识别成功的目标对象进行定位以及视觉跟踪；以及
异常提示模块，用于在识别所述目标对象不成功或所述定位或所述视觉跟踪发生异常时，生成异常提示信号，并根据所述异常提示信号启动提示装置以提示所述异常；
其中，所述提示装置包含具有显示界面的控制终端，所述跟踪模块还用于在所述目标对象识别成功时，在所述控制终端的显示界面上显示预设标记框对所述目标对象进行突出标示，并对所述目标对象进行检测以判断是否允许接收对所述标记框进行点击确认的输入信号。
11.如权利要求10所述的无人机视觉跟踪装置，其特征在于：所述跟踪模块在对识别成功的目标对象进行定位以及视觉跟踪时具体用于：
根据获取的所述目标对象信息，按照视觉跟踪算法获取目标对象的移动轨迹信息，以实现对所述目标对象的定位以及航迹追踪，其中，所述移动轨迹信息至少包括目标对象相对于所述无人机的距离信息、方位信息。
12.如权利要求10或11所述的无人机视觉跟踪装置，其特征在于：所述异常提示模块还用于在所述控制终端的所述显示界面上显示与所述异常提示信号对应的异常提示信息。
13.如权利要求12所述的无人机视觉跟踪装置，其特征在于：所述异常提示模块在根据所述异常提示信号启动所述提示装置以提示所述异常时具体用于：
控制所述无人机上的指示灯闪烁；
及/或，控制所述无人机及/或所述控制终端上的扬声器发出异常提示音或语音；
及/或，控制可穿戴式设备振动或发出异常提示音或语音。
14.如权利要求11所述的无人机视觉跟踪装置，其特征在于：所述跟踪模块还用于：
在检测到所述目标对象符合预设检测标准时判断为允许接收对所述标记框进行点击确认的输入信号；以及
在接受到对所述标记框的点击确认的输入信号之后，控制所述无人机进入视觉跟踪模式。
15.如权利要求14所述的无人机视觉跟踪装置，其特征在于：所述跟踪模块具体还用于在检测到所述目标对象太小时判断为不允许接收对所述标记框进行点击确认的输入信号，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与目标对象太小相对应的异常提示信息；及/或
所述跟踪模块具体还用于在检测到所述目标对象太大时判断为不允许接收对所述标记框进行点击确认的输入信号，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与目标对象太大相对应的异常提示信息；及/或
所述跟踪模块具体还用于在未检测到所述目标对象的特征时判断为不允许接收对所述标记框进行点击确认的输入信号，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与未检测到目标对象相对应的异常提示信息；及/或
所述跟踪模块具体还用于在所述预设标记框中未检测到目标对象时判断为不允许接收对所述标记框进行点击确认的输入信号，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与在预设标记框中未检测到目标对象相对应的异常提示信息。
16.如权利要求15所述的无人机视觉跟踪装置，其特征在于：所述跟踪模块还用于在判断结果为允许接收对所述标记框进行点击确认的输入信号时，将所述预设标记框显示为第一预设颜色；以及
所述跟踪模块还用于在判断结果为不允许接收对所述标记框进行点击确认的输入信号时，将所述预设标记框显示为第二预设颜色。
17.如权利要求11所述的无人机视觉跟踪装置，其特征在于：所述异常提示模块具体还用于在所述目标对象被遮挡而导致跟踪丢失所述目标对象时，控制所述控制终端的显示界面显示与跟踪丢失目标对象相对应的异常提示信息；以及
所述跟踪模块具体还用于在检测目标对象超时后又重新检测到目标对象，或者在重新检测到目标对象但置信度较低时，控制所述控制终端的显示界面重新显示所述预设标记框对所述重新检测到的目标对象进行突出标示。
18.如权利要求17所述的无人机视觉跟踪装置，其特征在于：
所述跟踪模块具体还用于在接收到退出视觉跟踪的操作指令时控制所述无人机退出对所述目标对象的视觉跟踪模式，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与退出视觉跟踪相对应的提示信息；及/或
所述跟踪模块具体还用于在目标对象丢失超时时中断所述无人机对所述目标对象的视觉跟踪，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与目标对象丢失超时相对应的异常提示信息；及/或
所述跟踪模块具体还用于在所述无人机的飞行参数异常时中断对所述目标对象的视觉跟踪，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与飞行参数异常相对应的异常提示信息，其中，所述无人机的飞行参数异常至少包括所述无人机的飞行高度超出预设高度，或飞行距离超出预设距离，或者所述无人机进入禁飞区；及/或
所述跟踪模块具体还用于在GPS及视觉定位失效导致所述无人机悬停的速度数据都不可用时中断对所述目标对象的视觉跟踪，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与速度数据不可用相对应的异常提示信息；及/或
所述跟踪模块具体还用于在无法获取到图像信息且超时时中断对所述目标对象的视觉跟踪，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与无法获取到图像信息相对应的异常提示信息；及/或
所述跟踪模块具体还用于在智能跟踪帧率过低时中断对所述目标对象的视觉跟踪，所述异常提示模块具体还用于在所述控制终端的显示界面弹窗提示与智能跟踪帧率过低相对应的异常提示信息；及/或
所述跟踪模块具体还用于在所述无人机的电量过低时中断对所述目标对象的视觉跟踪，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与电量过低相对应的异常提示信息；及/或
所述跟踪模块具体还用于在信号丢失时控制所述无人机退出对所述目标对象的视觉跟踪模式，其中，所述信号至少包括遥控信号、APP信号、飞控信号；及/或
所述跟踪模块具体还用于在光照强度低于一预设阈值时中断对所述目标对象的视觉跟踪，所述异常提示模块具体还用于控制所述控制终端的显示界面显示与光照强度低于预设阈值相对应的异常提示信息。
19.一种无人机，包括：
机身；
拍摄装置，安装于所述机身上，所述拍摄装置用于采集目标对象所在区域的图像信息；以及
如权利要求10-18任意一项所述的无人机视觉跟踪装置，所述无人机视觉跟踪装置设置于所述机身内部。
20.如权利要求19所述的无人机，其特征在于：所述无人机还包括云台机构，所述拍摄装置通过所述云台机构安装于所述无人机的机身上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610114362.2A CN105759839B (zh) | 2016-03-01 | 2016-03-01 | 无人机视觉跟踪方法、装置以及无人机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610114362.2A CN105759839B (zh) | 2016-03-01 | 2016-03-01 | 无人机视觉跟踪方法、装置以及无人机 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105759839A CN105759839A (zh) | 2016-07-13 |
| CN105759839B true CN105759839B (zh) | 2018-02-16 |
Family
ID=56331610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610114362.2A Expired - Fee Related CN105759839B (zh) | 2016-03-01 | 2016-03-01 | 无人机视觉跟踪方法、装置以及无人机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105759839B (zh) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106227224A (zh) * | 2016-07-28 | 2016-12-14 | 零度智控（北京）智能科技有限公司 | 飞行控制方法、装置及无人机 |
| WO2018027451A1 (zh) * | 2016-08-08 | 2018-02-15 | 深圳市道通智能航空技术有限公司 | 一种飞行定位的方法及装置 |
| CN106161953A (zh) * | 2016-08-12 | 2016-11-23 | 零度智控（北京）智能科技有限公司 | 一种跟踪拍摄方法和装置 |
| DE102016010128A1 (de) * | 2016-08-20 | 2018-02-22 | Wabco Gmbh | Verfahren und System zur Steuerung von Fahrzeug-Funktionen |
| CN106454069B (zh) | 2016-08-31 | 2019-11-08 | 歌尔股份有限公司 | 一种控制无人机拍摄的方法、装置和可穿戴设备 |
| CN109714577A (zh) * | 2016-09-20 | 2019-05-03 | 张玲花 | 无人机控制系统、基于人脸识别的视频监控天网系统 |
| CN111562796B (zh) * | 2016-09-26 | 2024-06-14 | 深圳市大疆创新科技有限公司 | 控制方法、控制设备和运载系统 |
| WO2018058309A1 (zh) * | 2016-09-27 | 2018-04-05 | 深圳市大疆创新科技有限公司 | 控制方法、控制装置、电子装置及飞行器控制系统 |
| CN107885311A (zh) * | 2016-09-29 | 2018-04-06 | 深圳纬目信息技术有限公司 | 一种视觉交互的确认方法、系统和设备 |
| CN107966136B (zh) * | 2016-10-19 | 2020-11-06 | 杭州海康机器人技术有限公司 | 基于主无人机视觉的从无人机位置显示方法、装置及系统 |
| CN109923492B (zh) * | 2016-11-14 | 2022-08-16 | 深圳市大疆创新科技有限公司 | 飞行路径确定 |
| CN106483980B (zh) * | 2016-11-24 | 2019-05-31 | 腾讯科技（深圳）有限公司 | 一种无人机跟随飞行的控制方法、装置及系统 |
| CN106422358A (zh) * | 2016-12-19 | 2017-02-22 | 深圳高灿科技有限公司 | 基于视觉控制的悬停和近距离跟踪装置及方法、电动玩具 |
| TWI620687B (zh) * | 2017-01-24 | 2018-04-11 | 林清富 | 用於無人飛行器之操控系統及其使用之中介裝置與無人飛行器 |
| JP6944790B2 (ja) * | 2017-02-22 | 2021-10-06 | 株式会社トプコン | 制御装置、光学装置、制御方法、無人航空機の追跡システムおよびプログラム |
| CN108924472A (zh) * | 2017-03-24 | 2018-11-30 | 深圳光启合众科技有限公司 | 用于外骨骼的定位方法、装置和系统 |
| CN114510079A (zh) * | 2017-03-31 | 2022-05-17 | 深圳市大疆创新科技有限公司 | 一种无人机的飞行控制方法及无人机 |
| CN109214243A (zh) * | 2017-07-03 | 2019-01-15 | 昊翔电能运动科技(昆山)有限公司 | 目标跟踪方法、装置及无人机 |
| CN109215056A (zh) * | 2017-07-03 | 2019-01-15 | 昊翔电能运动科技(昆山)有限公司 | 目标追踪方法及装置 |
| CN107172360A (zh) * | 2017-07-06 | 2017-09-15 | 杨顺伟 | 无人机跟拍方法及装置 |
| CN107590450A (zh) * | 2017-09-01 | 2018-01-16 | 歌尔科技有限公司 | 一种运动目标的标记方法、装置和无人机 |
| CN109362228B (zh) * | 2017-10-31 | 2022-04-26 | 深圳市大疆创新科技有限公司 | 无人飞行器、无人飞行器底座及无人飞行器系统 |
| CN107908195B (zh) * | 2017-11-06 | 2021-09-21 | 深圳市道通智能航空技术股份有限公司 | 目标追踪方法、装置、追踪器及计算机可读存储介质 |
| CN108012098A (zh) * | 2017-11-26 | 2018-05-08 | 合肥赛为智能有限公司 | 一种无人机交通巡视方法 |
| CN109074089B (zh) * | 2017-12-29 | 2022-04-01 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、飞行控制器及无人机 |
| CN108509875B (zh) * | 2018-03-16 | 2019-04-05 | 九康智能科技(广州)有限公司 | 无人机目标识别定位系统 |
| JP6947101B2 (ja) | 2018-03-28 | 2021-10-13 | コベルコ建機株式会社 | 遠隔操作システム及び主操作装置 |
| CN110637269A (zh) * | 2018-04-27 | 2019-12-31 | 深圳市大疆创新科技有限公司 | 无人机的控制方法、控制设备及无人机 |
| CN110291775B (zh) * | 2018-05-29 | 2021-07-06 | 深圳市大疆创新科技有限公司 | 一种跟踪拍摄方法、设备及存储介质 |
| CN108762302A (zh) * | 2018-06-01 | 2018-11-06 | 深圳臻迪信息技术有限公司 | 获取目标景物图像的方法、装置及飞行器 |
| CN110865637B (zh) * | 2018-08-10 | 2022-12-06 | 宝时得科技（中国）有限公司 | 自行走设备的控制方法、装置以及计算机设备 |
| CN109409233A (zh) * | 2018-09-27 | 2019-03-01 | 普宙飞行器科技（深圳）有限公司 | 动作识别装置、动作识别方法以及无人机 |
| CN109472258A (zh) * | 2018-09-27 | 2019-03-15 | 易瓦特科技股份公司 | 跟踪方法及装置 |
| CN109445465A (zh) * | 2018-10-17 | 2019-03-08 | 深圳市道通智能航空技术有限公司 | 基于无人机的追踪方法、系统、无人机及终端 |
| CN109831622B (zh) * | 2019-01-03 | 2021-06-22 | 华为技术有限公司 | 一种拍摄方法及电子设备 |
| CN111247789A (zh) * | 2019-01-10 | 2020-06-05 | 深圳市大疆创新科技有限公司 | 一种信息处理方法及相关设备 |
| CN111386507A (zh) * | 2019-02-01 | 2020-07-07 | 深圳市大疆创新科技有限公司 | 数据处理方法、无人机、移动设备及系统 |
| CN110444049A (zh) * | 2019-07-05 | 2019-11-12 | 视联动力信息技术股份有限公司 | 一种基于视联网的无人机限飞方法及装置 |
| CN112927284B (zh) * | 2019-07-23 | 2024-01-09 | 精英数智科技股份有限公司 | 矿车掉道的监控方法、装置、设备和存储介质 |
| CN110378298B (zh) * | 2019-07-23 | 2021-04-27 | 精英数智科技股份有限公司 | 矿车队列的监控方法、装置、设备和存储介质 |
| WO2021015672A1 (en) * | 2019-07-24 | 2021-01-28 | Hitachi, Ltd. | Surveillance system, object tracking system and method of operating the same |
| CN110602389B (zh) * | 2019-08-30 | 2021-11-02 | 维沃移动通信有限公司 | 一种显示方法及电子设备 |
| WO2021168678A1 (zh) * | 2020-02-26 | 2021-09-02 | 深圳市大疆创新科技有限公司 | 路径规划的方法、跟踪设备、存储介质和计算机程序产品 |
| CN111915936B (zh) * | 2020-09-03 | 2022-05-13 | 中国联合网络通信集团有限公司 | 无人机监管方法、装置和用户终端 |
| CN112405540B (zh) * | 2020-11-11 | 2022-01-07 | 深圳优地科技有限公司 | 机器人控制方法、装置、机器人及可读存储介质 |
| CN113776540B (zh) * | 2021-11-09 | 2022-03-22 | 北京艾克利特光电科技有限公司 | 基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法 |
| CN114785951B (zh) * | 2022-04-19 | 2023-07-28 | 大庆安瑞达科技开发有限公司 | 一种基于高塔监控设备与无人机联动的定位跟踪方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102445947A (zh) * | 2010-10-06 | 2012-05-09 | 鸿富锦精密工业（深圳）有限公司 | 无人飞行载具控制系统及方法 |
| CN102955478A (zh) * | 2012-10-24 | 2013-03-06 | 深圳一电科技有限公司 | 无人机飞行控制方法及系统 |
| CN103149939A (zh) * | 2013-02-26 | 2013-06-12 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
| CN104828256A (zh) * | 2015-04-21 | 2015-08-12 | 杨珊珊 | 一种智能多模式飞行拍摄设备及其飞行控制方法 |
| CN104834307A (zh) * | 2015-04-23 | 2015-08-12 | 杨珊珊 | 无人飞行器的控制方法及控制装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1953547A (zh) * | 2006-09-21 | 2007-04-25 | 上海大学 | 无人飞行器对地面移动目标的低空跟踪系统及方法 |
| US7970507B2 (en) * | 2008-01-23 | 2011-06-28 | Honeywell International Inc. | Method and system for autonomous tracking of a mobile target by an unmanned aerial vehicle |
| CN104408725B (zh) * | 2014-11-28 | 2017-07-04 | 中国航天时代电子公司 | 一种基于tld优化算法的目标重捕获系统及方法 |
| CN204790577U (zh) * | 2015-07-17 | 2015-11-18 | 深圳市浩瀚卓越科技有限公司 | 基于gps的多旋翼无人机自动跟踪系统 |
-
2016
- 2016-03-01 CN CN201610114362.2A patent/CN105759839B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102445947A (zh) * | 2010-10-06 | 2012-05-09 | 鸿富锦精密工业（深圳）有限公司 | 无人飞行载具控制系统及方法 |
| CN102955478A (zh) * | 2012-10-24 | 2013-03-06 | 深圳一电科技有限公司 | 无人机飞行控制方法及系统 |
| CN103149939A (zh) * | 2013-02-26 | 2013-06-12 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
| CN104828256A (zh) * | 2015-04-21 | 2015-08-12 | 杨珊珊 | 一种智能多模式飞行拍摄设备及其飞行控制方法 |
| CN104834307A (zh) * | 2015-04-23 | 2015-08-12 | 杨珊珊 | 无人飞行器的控制方法及控制装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105759839A (zh) | 2016-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105759839B (zh) | 无人机视觉跟踪方法、装置以及无人机 | |
| US11905000B2 (en) | Flying device, electronic device, and program | |
| CN104952122B (zh) | 可自动进行违章取证的行车记录仪及系统 | |
| CN105957109A (zh) | 目标跟踪方法和装置 | |
| CN108154686A (zh) | 一种车载违章行为抓拍系统 | |
| CN201278180Y (zh) | 一种自动追踪识别系统 | |
| CN207650996U (zh) | 一种基于无人机的自主式巡检违章罚停系统 | |
| CN106422115A (zh) | 一种用于高层楼宇的远程控制灭火方法 | |
| EP3379826A1 (en) | Method for monitoring moving target, and monitoring device, apparatus and system | |
| CN107404570A (zh) | 一种提高行车安全性的方法及系统 | |
| CN205693767U (zh) | 无人机系统 | |
| CN111953937A (zh) | 落水人员救生系统及落水人员救生方法 | |
| CN106628180A (zh) | 飞行式抛投装置及其抛投方法 | |
| CN112485781B (zh) | 一种基于深度学习的反无人机无人值守系统及方法 | |
| KR20080044812A (ko) | 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템 | |
| CN109840454A (zh) | 目标物定位方法、装置、存储介质以及设备 | |
| CN110059578A (zh) | 一种车辆跟踪的方法及装置 | |
| CN107339914A (zh) | 一种基于声波的反无人机系统 | |
| CN108082478A (zh) | 一种预警型无人机监视侦查系统 | |
| CN111625014A (zh) | 一种无人机控制方法、车载终端及计算机可读存储介质 | |
| CN105338255B (zh) | 一种深度恢复调整方法及电子设备 | |
| CN106951077A (zh) | 一种提示方法及第一电子设备 | |
| CN206594533U (zh) | 无人机攻击训练检测装置和系统 | |
| CN105044672B (zh) | 基于光学编码的追踪与定位系统与方法 | |
| US10901412B2 (en) | Moving body, control method, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180216 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |