CN107908195A - 目标追踪方法、装置、追踪器及计算机可读存储介质 - Google Patents

目标追踪方法、装置、追踪器及计算机可读存储介质 Download PDF

Info

Publication number
CN107908195A
CN107908195A CN201711077723.1A CN201711077723A CN107908195A CN 107908195 A CN107908195 A CN 107908195A CN 201711077723 A CN201711077723 A CN 201711077723A CN 107908195 A CN107908195 A CN 107908195A
Authority
CN
China
Prior art keywords
target
barrier
tracker
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711077723.1A
Other languages
English (en)
Other versions
CN107908195B (zh
Inventor
冯银华
袁武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Original Assignee
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Autel Intelligent Aviation Technology Co Ltd filed Critical Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority to CN201711077723.1A priority Critical patent/CN107908195B/zh
Publication of CN107908195A publication Critical patent/CN107908195A/zh
Priority to PCT/CN2018/103000 priority patent/WO2019085621A1/zh
Application granted granted Critical
Publication of CN107908195B publication Critical patent/CN107908195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供了一种目标追踪方法、装置、追踪器及计算机可读存储介质,其中,追踪方法包括:在对目标进行跟踪时,若确定出目标被障碍物遮挡,确定障碍物的轮廓区域;判断在该障碍物的轮廓区域之外是否识别出上述目标;若为是,控制追踪器追踪该目标。通过本发明追踪器可以在确定目标被障碍物遮挡的情况下,根据障碍物的轮廓区域对目标进行重新识别,进而实现对目标进行继续追踪,降低了目标追踪的失败率。

Description

目标追踪方法、装置、追踪器及计算机可读存储介质
技术领域
本发明涉及无人机技术领域,具体涉及一种目标追踪方法、装置、追踪器及计算机可读存储介质。
背景技术
无人机航拍技术的不断发展,越来越多的消费级无人机正在生产研制。随着无人机的技术发展,无人飞行器(Unmanned Aerial Vehicle,UAV)可以实现对目标物体进行跟踪拍摄的功能。
目前,无人机的目标追踪方法中,一般为先进行特征学习后识别出目标物体,然后对目标物体进行追踪,当追踪目标物体失败后,无人机处于悬停状态,无法继续追踪目标物体。这导致了目标追踪的失败率较高,降低用户体验。
发明内容
有鉴于此,本发明实施例提供了一种目标追踪方法、装置、追踪器及计算机可读存储介质,可以降低目标跟踪的失败率,提升用户体验。
第一方面,本申请实施例提供了一种目标追踪方法,包括:在对目标进行跟踪时,若确定出所述目标被障碍物遮挡,确定所述障碍物的轮廓区域;判断在所述障碍物的轮廓区域之外是否识别出所述目标;若为是,控制追踪器继续追踪所述目标。
可选地,所述在对所述目标进行跟踪之前,还包括:从终端接收所述目标的目标信息,所述目标信息包括坐标信息和/或特征信息;根据所述目标信息从采集的图像中识别出所述目标。
可选地,在所述目标信息包括坐标信息的情况下,所述方法还包括:对接收到的所述坐标信息进行转换;其中,转换后的坐标信息适用于所述追踪器中通过所述追踪器的摄像装置采集的图像;所述根据所述目标信息从采集的图像中识别出所述目标,包括:根据所述转换后的坐标信息从所述采集的图像中识别出所述目标。
可选地,若确定出目标被障碍物遮挡,确定所述障碍物的轮廓区域之后,所述方法还包括:控制所述追踪器针对所述障碍物进行环绕飞行。
可选地,所述方法还包括:若所述障碍物的轮廓区域超出了所述追踪器的摄像装置的拍摄范围,调整所述追踪器的摄像装置的位置或姿态以使所述障碍物的轮廓区域在所述摄像装置的拍摄范围内。
第二方面,本申请实施例提供了一种目标追踪装置,包括:确定模块,用于在对目标进行跟踪时,若确定出所述目标被障碍物遮挡,确定所述障碍物的轮廓区域;判断模块,用于判断在所述障碍物的轮廓区域之外是否识别出所述目标;第一控制模块,用于若所述判断模块判断的结果为是,控制追踪器继续追踪所述目标。
可选地,所述装置还包括:接收模块,用于在对所述目标进行跟踪之前,从终端接收所述目标的目标信息,所述目标信息包括坐标信息和/或特征信息;识别模块,用于根据所述目标信息从采集的图像中识别出所述目标。
可选地,在所述目标信息包括坐标信息的情况下,所述装置还包括:转换模块,用于对接收到的所述坐标信息进行转换;其中,转换后的坐标信息适用于所述追踪器中通过所述追踪器的摄像装置采集的图像;所述识别模块还用于根据所述转换后的坐标信息从所述采集的图像中识别出所述目标。
可选地,所述装置还包括:第二控制模块,用于在所述确定模块确定所述障碍物的轮廓区域之后,控制所述追踪器针对所述障碍物进行环绕飞行。
可选地,所述装置还包括:调整模块,用于若所述障碍物的轮廓区域超出了所述追踪器的摄像装置的拍摄范围,调整所述追踪器的摄像装置的位置或姿态以使所述障碍物的轮廓区域在所述摄像装置的拍摄范围内。
第三方面,本申请实施例提供了一种追踪器,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述第一方面中任一所述的目标追踪方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令被处理器执行时实现上述第一方面中任一所述的目标追踪方法的步骤。
本发明实施例提供了一种目标追踪方法、装置、追踪器及计算机可读存储介质,其中,追踪方法包括:在对目标进行跟踪时,若确定出目标被障碍物遮挡,确定障碍物的轮廓区域;判断在该障碍物的轮廓区域之外是否识别出上述目标;若为是,控制追踪器追踪该目标。通过上述方式,追踪器可以在确定目标被障碍物遮挡的情况下,重新根据障碍物的轮廓区域对目标进行识别,进而实现对目标进行继续追踪,降低了目标追踪的失败率。
附图说明
图1是根据本发明实施例提供的一个目标追踪方法的流程图;
图2是根据本发明实施例提供的一种目标与障碍物的关系示意图;
图3是根据本发明实施例提供的另一个目标追踪方法的流程图;
图4是根据本发明实施例提供的一个目标追踪装置的结构框图;
图5是根据本发明实施例提供的无人飞行器的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
在本申请实施例中提供了一种目标追踪方法,该目标追踪方法可以应用于追踪器,例如追踪器可以是无人飞行器、无人船、或机器人等,本申请实施例以追踪器为无人飞行器为例进行说明。图1是根据本发明实施例提供的一个目标追踪方法的流程图,如图1所示,该方法可以包括如下步骤。
步骤S101,在对目标进行跟踪时,若确定出所述目标被障碍物遮挡,确定该障碍物的轮廓区域。
示例性地,无人飞行器可以获取与其连接的摄像装置拍摄的图像,并可以对拍摄的图像进行目标识别。其中,可以通过无人飞行器中的识别模型对目标进行识别,或者,接收用于控制所述无人飞行器的遥控设备的目标信息,并根据该目标信息进行目标识别,在此不予限定。
示例性地,在对目标进行追踪的过程中,可以在获取的每帧图像中确定目标的位置区域,若检测到图像中目标的部分图像的位置区域上为其他物体的图像,可以通过其他物体的图像识别出该其他物体为障碍物,并确定该目标被障碍物遮挡。若通过此后获取的图像检测到该目标的图像逐渐被障碍物图像取代,直至获取的图像中识别不到目标,仅能够识别出障碍物,则确定该目标被障碍物完全遮挡。当然,障碍物的识别还可以通过其他方式,例如,通过立体视觉方法或颜色方法等可以识别出图像中的常规障碍物,在此对障碍物的识别方式不作具体限定。
示例性地,无人飞行器可以在确定出目标被障碍物部分遮挡时,确定障碍物的轮廓区域;或者,无人飞行器可以在确定出目标被障碍物完全遮挡时,确定障碍物的轮廓区域,在此不予限定。
下面以图2为例,对障碍物的轮廓区域进行说明。
障碍物的轮廓区域可以是指图像中障碍物图像的边缘区域(如图2中虚线部分所示),在本实施例中,可以识别出图2中的目标为气球(1),无人飞行器在确定出目标被障碍物遮挡后,可以确定出障碍物的完整轮廓区域或部分轮廓区域,在此不予限定。例如,如图2中所示,可以从图2所示的图像中识别出障碍物-山(2),其中,虚线部分之内可以表示为障碍物区域,虚线部分之外可以表示非障碍物区域。
可选地,若所述障碍物的轮廓区域超出了所述追踪器的摄像装置的拍摄范围,无人飞行器可以通过调整摄像装置的位置,例如调整无人飞行器的位置,或摄像装置的姿态以使所述障碍物的轮廓区域在所述摄像装置的拍摄范围内,进而可以确定障碍物的轮廓区域。
为了便于用户知晓追踪器对目标的追踪状态,在一个可选实施例中,在目标被障碍物遮挡时,飞行器可以发送提示信息至遥控设备,以提示目标丢失,具体地,遥控设备可以通过扬声器播放语音提示信息或通过用户交互(User Interface,UI)界面显示提示信息来提示用户。
步骤S102,判断在障碍物的轮廓区域之外是否识别出目标。
示例性地,无人飞行器在确定出障碍物的轮廓区域后,无人飞行器在可以在此后获取的图像中监测该障碍物的轮廓区域,以判断该障碍物的轮廓区域外是否能够识别出目标,即获取的图像中除障碍物的图像外的区域内是否能够识别出目标。进一步地,由于目标逐步出现在障碍物的轮廓区域之外,则无人飞行器可以在图像中障碍物的轮廓区域外的一定区域范围内来识别目标,从而提升目标识别效率。
示例性地,无人飞行器可以判断在该障碍物的轮廓区域之外识别出部分目标,或者识别出全部目标。若识别出部分目标,则可以根据该识别出部分目标在图像中的信息,来确定对目标进行跟踪;或者,在无人飞行器识别出全部目标后,对该目标继续追踪,在此不予限定。
在一个可选实施例中,在上述步骤S102之前或者其之后,可以控制追踪器针对障碍物进行环绕飞行,进一步地,无人飞行器在对障碍物进行环绕飞行时,飞行器可以调整摄像装置的姿态或位置使其对准障碍物进行拍摄,以使拍摄的图像中包括障碍物,或者,无人飞行器可以调整摄像装置的姿态或位置,使其在环绕障碍物的过程中,拍摄障碍物周围的环境图像。
可选地,若无人飞行器的摄像装置对准障碍物进行拍摄,则无人飞行器可以根据获取图像中的障碍物的轮廓区域,调整无人飞行器的位置,使其可以获取包含障碍物的完整轮廓区域的图像。
步骤S103,若为是,控制追踪器继续追踪上述目标。
示例性地,若在障碍物的轮廓区域之外识别出目标,则可以控制无人飞行器继续追踪上述目标。无人飞行器继续追踪上述目标的实现方式可以参见上述描述,在此不予赘述。
可选地,若无人飞行器判断出在障碍物的轮廓区域之外未识别出目标,例如,在预设时间范围内,或无人飞行器对障碍物作环绕飞行后,则无人飞行器可以向遥控设备发送提示信息,以提示目标丢失。无人飞行器可以结束目标跟踪模式,处于悬停状态,或者将目标跟踪模式切换为返航模式,在此不予限定。
示例性地,上述描述中,若无人飞行器根据遥控设备发送的目标信息进行目标识别,可以参见以下实现方式。
在一个可选实施例中,无人飞行器可以将获取的图像发送至遥控设备;遥控设备可以控制显示屏显示该图像;其中,显示屏可以是遥控设备中配置的,或者是与遥控设备连接的智能终端上配置的,例如,与遥控设备连接的智能手机;遥控设备可以根据用户对该图像的操作确定目标,并确定该目标的目标信息,目标信息可以包括目标的坐标信息或特征信息中的至少一个;并可以将该目标信息发送至无人飞行器,无人飞行器可以从遥控设备接收目标的目标信息,并根据该目标信息从该图像中识别出上述目标,进而对目标进行跟踪。
对于遥控设备如何获取目标的特征信息的方式,在一个可选实施例中可以包括如下步骤:
对图像进行预处理,例如,模式的采集、模数转换、滤波、消除模糊、减少噪声、纠正几何失真等预处理操作。因此也要求相应的设备来实现。预处理通常包括五种基本运算:(1)编码:实现模式的有效描述,适合计算机运算。(2)阀值或者滤波运算:按需要选出某些函数,抑制另一些。(3)模式改善:排除或修正模式中的错误,或不必要的函数值。(4)正规化:使某些参数值适应标准值,或标准值域。(5)离散模式运算:离散模式处理中的特殊运算。特征提取的目的是从模式样本中提取能代表该模式特有的性质。这是模式分类中最关键的一步,但又是最难以控制的一步。其准则是提取尽量少的特征,而能使分类的误差最小。特征提取负责从图像中得到重要的信息以交给下一层使用,而忽略不太重要的信息。特征提取的设计关键点在于在“哪里提取特征”及“提取什么特征”。子空间装置,如主成分分析(PCA),辨别成分分析(LDA),也成为一种相对重要的特征提取手段。这种装置将图像拉长成为高维空间的向量,并进行奇异值分解以得到特征方向。此类装置能处理有全局噪声的情况,并且模型相当简单易实现。基于图像特征进行物体识别实际上是根据提取到图像的特征来判断图像中物体属于什么类别。形状、纹理和颜色等特征是最常用的视觉特征,也是现阶段基于图像的物体识别技术中采用的主要特征。下面分别介绍一下图像的形状、纹理和颜色特征的提取装置。
1.图像形状特征提取
形状特征是反映出图像中物体最直接的视觉特征,大部分物体可以通过分辨其形状来进行判别。所以,在物体识别中,形状特征的正确提取显得非常重要。
常用的图像形状特征提取装置有两种:基于轮廓的装置和基于区域的装置。这两种装置的不同之处在于:对于基于轮廓的装置来说,图像的轮廓特征主要针对物体的外边界,描述形状的轮廓特征的装置主要有:样条、链码和多边形逼近等;而在基于区域的装置中,图像的区域特征则关系到整个形状区域,描述形状的区域特征的主要装置有:区域的面积、凹凸面积、形状的主轴方向、纵横比、形状的不变矩等。典型的形状特征描述装置有:边界特征法,傅里叶形状描述符法,几何参数法,形状不变矩法。
2.图像纹理特征提取
图像的纹理是与物体表面结构和材质有关的图像的内在特征,反映出来的是图像的全局特征。图像的纹理可以描述为:一个邻域内像素的灰度级发生变化的空间分布规律,包括表面组织结构、与周围环境关系等许多重要的图像信息。图像纹理特征提取装置有:统计装置,几何法,模型法,信号处理法。统计装置是灰度共生矩阵纹理特征分析装置,几何法是建立在基本的纹理元素理论基础上的一种纹理特征分析装置,模型法是将图像的构造模型的参数作为纹理特征,而信号处理法主要是小波变换为主。
3.图像颜色特征提取
图像的颜色特征描述了图像或图像区域的物体的表面性质,反映出的是图像的全局特征。一般来说,图像的颜色特征是基于像素点的特征,只要是属于图像或图像区域内的像素点都将会有贡献。图像颜色特征提取装置有:颜色直方图,颜色集,颜色矩。
通过本实施例可以获取对于目标进行识别的更优的特征信息。
对于目标信息中包括坐标信息的情况,在一个可选实施例中,遥控设备还可以确定目标在图像中的坐标信息,例如,根据用户操作确定目标的坐标信息等。遥控设备可以将该坐标信息作为目标的目标信息发送给追踪器。其中,追踪器在接收到的目标信息包括坐标信息的情况下,可以对接收到的坐标信息进行转换;其中,转换后的坐标信息适用于追踪器中通过追踪器的摄像装置采集的图像,进而追踪器能够根据转换后的坐标信息识别出目标,提升了目标识别的精准性。
一种实现方式中,上述坐标信息可以包括目标相对于终端屏幕的第一相对坐标信息和在对应的分辨率下相对于终端屏幕的第一相对比例信息。例如,在终端屏幕为1920*1080分辨率下获取目标的第一相对坐标信息为(300,400,100,200),其分别代表目标在终端屏幕上的坐标位置及目标的大小,例如,300代表目标的x坐标值,400代表目标的y坐标值,100代表目标的宽度,200代表目标的高度等。上述xy坐标系是基于终端屏幕的分辨率建立的。进而,可以根据目标的第一相对坐标信息和终端屏幕的分辨率,得到上述第一相对比例信息。例如,根据上述第一相对坐标信息和终端屏幕的分辨率,可以计算出比例值(300/1920,400/1080,100/1920,200/1080),将第一相对坐标信息和/或第一相对比例信息发送至无人飞行器。无人飞行器可以根据上述目标的坐标信息,确定目标相对于上述摄像装置的分辨率的坐标信息。具体的,无人飞行器根据第一相对坐标信息和/或第一相对比例信息确定第二相对坐标信息,例如,无人飞行器可以根据第一相对坐标信息、摄像装置的分辨率、终端屏幕的分辨率确定第二相对坐标;或者,无人飞行器可以根据第一相对比例和摄像装置的分辨率确定第二相对坐标。从而无人飞行器可以根据第二相对坐标信息从图像中识别出目标。
在对目标进行识别后,上述摄像装置在获取到图像后,会确定目标在图像中的坐标信息,并将该坐标信息发送给无人飞行器的视觉模块,该视觉模块可以根据该坐标信息确定无人飞行器与目标的距离,进而该视觉模块可以向无人飞行器的追踪控制模块发送追踪控制信息,以使该追踪控制模块根据该追踪控制信息对目标进行追踪。例如,当视觉模块根据目标的坐标信息确定目标在所在图像中的比例变小时,则说明目标离无人飞行器距离变远,则视觉模块可以向追踪控制模块发送追踪控制信息,则追踪控制模块控制无人飞行器加速,使无人飞行器与目标之间的距离变小。又例如,当视觉模块根据目标的坐标信息确定目标在所在图像中的比例变大时,则说明目标离无人飞行器距离变近,则视觉模块可以向追踪控制模块发送追踪控制信息,追踪控制模块可以根据该追踪控制信息控制无人飞行器减速,使无人飞行器与目标之间的距离变大。
下面结合图3对本申请实施例提供的另一种目标追踪方法进行说明。在此,以追踪器为无人飞行器为例进行说明,本申请实施例中的终端可以相应地为用于控制无人飞行器的终端,例如图像显示设备、手机、平板电脑等。
步骤S301,终端根据用户操作确定目标的坐标信息。
步骤S302,终端接收无人飞行器发送的图像;
步骤S303,终端根据上述坐标信息和图像,识别出目标。
步骤S304,终端将目标的坐标信息、目标的类型特征信息、目标的边缘轮廓信息中的至少一种信息作为目标信息发送至无人飞行器;
步骤S305,无人飞行器在接收到该目标信息后,可以根据该目标信息进行目标识别,识别出目标后对目标进行追踪。无人飞行器在对目标追踪的过程中,若确认目标被障碍物遮挡,对障碍物的轮廓进行识别,以确定障碍物的轮廓区域。若在障碍物的轮廓区域之外识别出上述目标,则继续对该目标进行追踪。
示例性地,在障碍物的轮廓区域之外识别目标的过程中,如果无人飞行器根据获取到的图像确定障碍物的轮廓区域超出了无人飞行器上摄像装置的拍摄范围,例如,无人飞行器根据获取到的图像仅识别出障碍物的部分轮廓区域,则确定障碍物的轮廓区域超出无人飞行器上摄像装置的拍摄范围。在此情况下,调整所述追踪器的摄像装置的位置或姿态以使所述障碍物的轮廓区域在所述摄像装置的拍摄范围内。
示例性地,在障碍物的轮廓区域之外识别目标的过程中,无人飞行器还可以基于该障碍物进行环绕飞行,飞行器对该障碍物进行环绕飞行的过程中,可以判断在所述障碍物的轮廓区域之外是否识别出所述目标,从而提升识别目标的效率。
在本申请实施例中还提供了一种目标追踪装置,该装置用于实现上述实施例,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。
图4是根据本发明实施例的目标追踪装置的结构框图,如图4所示,该装置包括:确定模块41,用于在对目标进行跟踪时,若确定出所述目标被障碍物遮挡,确定所述障碍物的轮廓区域;判断模块42,用于判断在所述障碍物的轮廓区域之外是否识别出所述目标;第一控制模块43,用于若所述判断模块判断的结果为是,控制追踪器继续追踪所述目标。
可选地,所述装置还包括:接收模块,用于在对所述目标进行跟踪之前,从终端接收所述目标的目标信息,所述目标信息包括坐标信息和/或特征信息;识别模块,用于根据所述目标信息从采集的图像中识别出所述目标。
可选地,在所述目标信息包括坐标信息的情况下,所述装置还包括:转换模块,用于对接收到的所述坐标信息进行转换;其中,转换后的坐标信息适用于所述追踪器中通过所述追踪器的摄像装置采集的图像;所述识别模块还用于根据所述转换后的坐标信息从所述采集的图像中识别出所述目标。
可选地,所述装置还包括:第二控制模块,用于在所述确定模块确定所述障碍物的轮廓区域之后,控制所述追踪器针对所述障碍物进行环绕飞行。
可选地,所述装置还包括:调整模块,用于若所述障碍物的轮廓区域超出了所述追踪器的摄像装置的拍摄范围,调整所述追踪器的摄像装置的位置或姿态以使所述障碍物的轮廓区域在所述摄像装置的拍摄范围内。
本实施例中的目标追踪装置是以功能单元的形式来呈现,这里的单元可以是ASIC电路、执行一个或多个软件或固定程序的处理器和存储器、和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
请参阅图5,图5是本发明可选实施例提供的一种无人飞行器的结构示意图,如图5所示,该追踪器可以包括:视觉处理器501、飞行控制处理器502、动力系统503、存储器504、通信装置505、总线506和摄像装置507。
其中,摄像装置507可以拍摄图像或视频,并将拍摄的图像或视频发送至视觉处理器501;
视觉处理器501,用于获取摄像装置507拍摄的图像或视频,并对图像或视频中的每帧图像进行目标识别,进而根据识别出的目标,向飞行控制处理器502发送控制指令,飞行控制处理器502在接收到该视觉处理器501发送的控制指令,控制动力系统503的运行,例如,控制动力系统503所包括的电机的转速,以实现对目标进行追踪;
视觉处理器501,还用于在图像中识别障碍物,并确定目标是否被障碍物遮挡,若确定该目标被障碍物遮挡,则可以向飞行控制处理器502发送控制指令,飞行控制器根据该控制指令控制动力系统503的运行,例如,以实现无人飞行器悬停,或者环绕障碍物飞行,在此期间,视觉处理器501进一步根据获取的图像判断是否在障碍物的轮廓区域之外识别出目标,若判断识别出目标,则可以根据识别出的目标,向飞行控制处理器502发送控制指令,飞行控制处理器502根据该控制指令控制动力系统503的运行,以实现无人飞行器继续对该目标进行追踪。
至少一个飞行控制处理器502控制动力系统503对目标进行跟踪时,若视觉处理器501根据从摄像装置507拍摄的图像或视频确定出目标被障碍物遮挡,确定障碍物的轮廓区域,并判断在障碍物的轮廓区域之外是否识别出所述目标;若为是,向飞行控制处理器502发送控制指令控制追踪器继续追踪所述目标;
存储器504,其中,可以存储有需要飞行控制处理器执行的上述指令;或者可以存储有用于控制无人飞行器的应用程序、或与无人飞行器相关的操作系统等,在此不予限定。
至少一个通信接口505以及至少一个通信总线406。
其中,至少一个视觉处理器501可以包括CPU(Central Processing Unit,中央处理器)、GPU(Graphics Processing Unit,图像处理器)等。其中,通信总线506用于实现这些组件之间的连接通信。其中,通信接口505可以包括标准的有线接口、无线接口。
其中,存储器504可以是高速RAM存储器(Random Access Memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器504可选的还可以是至少一个位于远离前述处理器504的存储装置。其中视觉处理器501可以结合图4所描述的装置,存储器504中存储一组程序代码,且视觉处理器501调用存储器504中存储的程序代码,以用于执行一种目标追踪方法,即用于执行以下操作:
若确定出目标被障碍物遮挡,确定所述障碍物的轮廓区域;
判断在所述障碍物的轮廓区域之外是否识别出所述目标;
若为是,控制追踪器继续追踪所述目标。
其中,通信总线506可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。通信总线506可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器504可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard diskdrive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器504还可以包括上述种类的存储器的组合。
其中,视觉处理器501还可以包括其他硬件结构,例如专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic arraylogic,缩写:GAL)或其任意组合。
本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意装置实施例中的目标追踪方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (12)

1.一种目标追踪方法,其特征在于,包括:
在对目标进行跟踪时,若确定出所述目标被障碍物遮挡,确定所述障碍物的轮廓区域;
判断在所述障碍物的轮廓区域之外是否识别出所述目标;
若为是,控制追踪器继续追踪所述目标。
2.根据权利要求1所述的目标追踪方法,其特征在于,所述在对所述目标进行跟踪之前,还包括:
从终端接收所述目标的目标信息,所述目标信息包括坐标信息和/或特征信息;
根据所述目标信息从采集的图像中识别出所述目标。
3.根据权利要求2所述的目标追踪方法,其特征在于,在所述目标信息包括坐标信息的情况下,所述方法还包括:
对接收到的所述坐标信息进行转换;其中,转换后的坐标信息适用于所述追踪器中通过所述追踪器的摄像装置采集的图像;
所述根据所述目标信息从采集的图像中识别出所述目标,包括:
根据所述转换后的坐标信息从所述采集的图像中识别出所述目标。
4.根据权利要求1-3任一项所述的目标追踪方法,其特征在于,若确定出目标被障碍物遮挡,确定所述障碍物的轮廓区域之后,所述方法还包括:
控制所述追踪器针对所述障碍物进行环绕飞行。
5.根据权利要求1所述的目标追踪方法,其特征在于,所述方法还包括:
若所述障碍物的轮廓区域超出了所述追踪器的摄像装置的拍摄范围,调整所述追踪器的摄像装置的位置或姿态以使所述障碍物的轮廓区域在所述摄像装置的拍摄范围内。
6.一种目标追踪装置,其特征在于,包括:
确定模块,用于在对目标进行跟踪时,若确定出所述目标被障碍物遮挡,确定所述障碍物的轮廓区域;
判断模块,用于判断在所述障碍物的轮廓区域之外是否识别出所述目标;
第一控制模块,用于若所述判断模块判断的结果为是,控制追踪器继续追踪所述目标。
7.根据权利要求6所述的目标追踪装置,其特征在于,所述装置还包括:
接收模块,用于在对所述目标进行跟踪之前,从终端接收所述目标的目标信息,所述目标信息包括坐标信息和/或特征信息;
识别模块,用于根据所述目标信息从采集的图像中识别出所述目标。
8.根据权利要求7所述的目标追踪装置,其特征在于,在所述目标信息包括坐标信息的情况下,所述装置还包括:
转换模块,用于对接收到的所述坐标信息进行转换;其中,转换后的坐标信息适用于所述追踪器中通过所述追踪器的摄像装置采集的图像;
所述识别模块还用于根据所述转换后的坐标信息从所述采集的图像中识别出所述目标。
9.根据权利要求6-8任一项所述的目标追踪装置,其特征在于,所述装置还包括:
第二控制模块,用于在所述确定模块确定所述障碍物的轮廓区域之后,控制所述追踪器针对所述障碍物进行环绕飞行。
10.根据权利要求6所述的目标追踪装置,其特征在于,所述装置还包括:
调整模块,用于若所述障碍物的轮廓区域超出了所述追踪器的摄像装置的拍摄范围,调整所述追踪器的摄像装置的位置或姿态以使所述障碍物的轮廓区域在所述摄像装置的拍摄范围内。
11.一种追踪器,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述权利要求1-5中任一所述的目标追踪方法。
12.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述计算机指令被处理器执行时实现上述权利要求1-5中任一所述的目标追踪方法的步骤。
CN201711077723.1A 2017-11-06 2017-11-06 目标追踪方法、装置、追踪器及计算机可读存储介质 Active CN107908195B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711077723.1A CN107908195B (zh) 2017-11-06 2017-11-06 目标追踪方法、装置、追踪器及计算机可读存储介质
PCT/CN2018/103000 WO2019085621A1 (zh) 2017-11-06 2018-08-29 目标追踪方法、装置及追踪器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711077723.1A CN107908195B (zh) 2017-11-06 2017-11-06 目标追踪方法、装置、追踪器及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107908195A true CN107908195A (zh) 2018-04-13
CN107908195B CN107908195B (zh) 2021-09-21

Family

ID=61843480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711077723.1A Active CN107908195B (zh) 2017-11-06 2017-11-06 目标追踪方法、装置、追踪器及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN107908195B (zh)
WO (1) WO2019085621A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958283A (zh) * 2018-06-28 2018-12-07 芜湖新尚捷智能信息科技有限公司 一种无人机低空自主避障系统
CN109445465A (zh) * 2018-10-17 2019-03-08 深圳市道通智能航空技术有限公司 基于无人机的追踪方法、系统、无人机及终端
WO2019085621A1 (zh) * 2017-11-06 2019-05-09 深圳市道通智能航空技术有限公司 目标追踪方法、装置及追踪器
CN110290351A (zh) * 2019-06-26 2019-09-27 广东康云科技有限公司 一种视频目标跟踪方法、系统、装置和存储介质
CN111880558A (zh) * 2020-07-06 2020-11-03 广东技术师范大学 植保无人机避障喷施方法、装置、计算机设备和存储介质
CN113467448A (zh) * 2018-06-07 2021-10-01 科沃斯机器人股份有限公司 定点工作方法、自移动机器人及存储介质
WO2021217311A1 (zh) * 2020-04-26 2021-11-04 深圳市大疆创新科技有限公司 可移动平台及其控制方法、存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111190826B (zh) * 2019-12-30 2024-01-23 上海曼恒数字技术股份有限公司 一种虚拟现实沉浸式追踪环境的测试方法、装置、存储介质及设备
CN114740878B (zh) * 2022-05-17 2023-09-29 贵州聚原数技术开发有限公司 基于计算机图像识别的无人机飞行障碍物探测方法
CN114995506B (zh) * 2022-06-20 2024-04-26 西北工业大学 用于面向目标跟踪的飞行器控制方法、计算机系统及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11114860A (ja) * 1997-10-20 1999-04-27 Yamaha Motor Co Ltd 認識方法及びピッキング装置
KR100855348B1 (ko) * 2007-05-04 2008-09-04 에스케이 텔레콤주식회사 동영상 프레임 내의 객체 윤곽선 추적 장치와 시스템 및그에 따른 방법
CN102129695A (zh) * 2010-01-19 2011-07-20 中国科学院自动化研究所 基于遮挡物建模的有遮挡情况下的目标跟踪方法
CN105359502A (zh) * 2013-07-04 2016-02-24 奥林巴斯株式会社 追踪装置、追踪方法以及存储了追踪程序的非易失性存储介质
CN105447459A (zh) * 2015-11-18 2016-03-30 上海海事大学 一种无人机自动检测目标和跟踪方法
CN105676865A (zh) * 2016-04-12 2016-06-15 北京博瑞爱飞科技发展有限公司 目标跟踪方法、装置和系统
CN105959625A (zh) * 2016-05-04 2016-09-21 北京博瑞爱飞科技发展有限公司 控制无人机追踪拍摄的方法及装置
CN106249239A (zh) * 2016-08-23 2016-12-21 深圳市速腾聚创科技有限公司 目标检测方法及装置
CN106354156A (zh) * 2016-09-29 2017-01-25 腾讯科技(深圳)有限公司 一种跟踪目标对象的方法、装置及飞行器
CN106681353A (zh) * 2016-11-29 2017-05-17 南京航空航天大学 基于双目视觉与光流融合的无人机避障方法及系统
CN107168352A (zh) * 2014-07-30 2017-09-15 深圳市大疆创新科技有限公司 目标追踪系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9195872B2 (en) * 2013-02-15 2015-11-24 Samsung Electronics Co., Ltd. Object tracking method and apparatus
CN104484868B (zh) * 2014-10-08 2017-06-30 浙江工业大学 一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法
CN104408725B (zh) * 2014-11-28 2017-07-04 中国航天时代电子公司 一种基于tld优化算法的目标重捕获系统及方法
CN105759839B (zh) * 2016-03-01 2018-02-16 深圳市大疆创新科技有限公司 无人机视觉跟踪方法、装置以及无人机
CN106874854B (zh) * 2017-01-19 2019-12-31 西安电子科技大学 基于嵌入式平台的无人机车辆跟踪方法
CN107908195B (zh) * 2017-11-06 2021-09-21 深圳市道通智能航空技术股份有限公司 目标追踪方法、装置、追踪器及计算机可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11114860A (ja) * 1997-10-20 1999-04-27 Yamaha Motor Co Ltd 認識方法及びピッキング装置
KR100855348B1 (ko) * 2007-05-04 2008-09-04 에스케이 텔레콤주식회사 동영상 프레임 내의 객체 윤곽선 추적 장치와 시스템 및그에 따른 방법
CN102129695A (zh) * 2010-01-19 2011-07-20 中国科学院自动化研究所 基于遮挡物建模的有遮挡情况下的目标跟踪方法
CN105359502A (zh) * 2013-07-04 2016-02-24 奥林巴斯株式会社 追踪装置、追踪方法以及存储了追踪程序的非易失性存储介质
CN107168352A (zh) * 2014-07-30 2017-09-15 深圳市大疆创新科技有限公司 目标追踪系统及方法
CN105447459A (zh) * 2015-11-18 2016-03-30 上海海事大学 一种无人机自动检测目标和跟踪方法
CN105676865A (zh) * 2016-04-12 2016-06-15 北京博瑞爱飞科技发展有限公司 目标跟踪方法、装置和系统
CN105959625A (zh) * 2016-05-04 2016-09-21 北京博瑞爱飞科技发展有限公司 控制无人机追踪拍摄的方法及装置
CN106249239A (zh) * 2016-08-23 2016-12-21 深圳市速腾聚创科技有限公司 目标检测方法及装置
CN106354156A (zh) * 2016-09-29 2017-01-25 腾讯科技(深圳)有限公司 一种跟踪目标对象的方法、装置及飞行器
CN106681353A (zh) * 2016-11-29 2017-05-17 南京航空航天大学 基于双目视觉与光流融合的无人机避障方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019085621A1 (zh) * 2017-11-06 2019-05-09 深圳市道通智能航空技术有限公司 目标追踪方法、装置及追踪器
CN113467448A (zh) * 2018-06-07 2021-10-01 科沃斯机器人股份有限公司 定点工作方法、自移动机器人及存储介质
CN108958283A (zh) * 2018-06-28 2018-12-07 芜湖新尚捷智能信息科技有限公司 一种无人机低空自主避障系统
CN109445465A (zh) * 2018-10-17 2019-03-08 深圳市道通智能航空技术有限公司 基于无人机的追踪方法、系统、无人机及终端
CN110290351A (zh) * 2019-06-26 2019-09-27 广东康云科技有限公司 一种视频目标跟踪方法、系统、装置和存储介质
CN110290351B (zh) * 2019-06-26 2021-03-23 广东康云科技有限公司 一种视频目标跟踪方法、系统、装置和存储介质
WO2021217311A1 (zh) * 2020-04-26 2021-11-04 深圳市大疆创新科技有限公司 可移动平台及其控制方法、存储介质
CN111880558A (zh) * 2020-07-06 2020-11-03 广东技术师范大学 植保无人机避障喷施方法、装置、计算机设备和存储介质
CN111880558B (zh) * 2020-07-06 2021-05-11 广东技术师范大学 植保无人机避障喷施方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2019085621A1 (zh) 2019-05-09
CN107908195B (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN107908195A (zh) 目标追踪方法、装置、追踪器及计算机可读存储介质
US10860882B2 (en) Apparatus and methods for tracking salient features
US11042723B2 (en) Systems and methods for depth map sampling
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
CN108961312B (zh) 用于嵌入式视觉系统的高性能视觉对象跟踪方法及系统
WO2020052678A1 (en) Method and system for generating synthetic point cloud data using a generative model
US20200209880A1 (en) Obstacle detection method and apparatus and robot using the same
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
CN113168510A (zh) 通过细化形状先验分割对象
Rudiawan et al. The deep learning development for real-time ball and goal detection of barelang-FC
CN114396945B (zh) 无人船沿边清扫路径规划方法、装置、设备及存储介质
US20200160547A1 (en) Method of predicting depth values of lines, method of outputting three-dimensional (3d) lines, and apparatus thereof
CN110619299A (zh) 基于网格的对象识别slam方法和装置
CN113228103A (zh) 目标跟踪方法、装置、无人机、系统及可读存储介质
CN113420648B (zh) 一种具有旋转适应性的目标检测方法及系统
CN111259709B (zh) 基于弹性多边形的停车位结构检测模型的训练方法
CN113283306B (zh) 一种基于深度学习和迁移学习的啮齿动物识别分析的方法
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
CN112101282B (zh) 水上目标识别方法、装置及电子设备和存储介质
US20220012506A1 (en) System and method of segmenting free space based on electromagnetic waves
CN113408429B (zh) 一种具有旋转适应性的目标检测方法及系统
Wu et al. Object tracking algorithm for UAV autonomous aerial refueling
CN114387462A (zh) 一种基于双目相机的动态环境感知方法
CN117974686A (zh) 目标对象的点云分割方法、装置、设备及存储介质
KR20240055102A (ko) 이미지 처리의 특징화 및 개선

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518055 Shenzhen, Guangdong, Nanshan District Xili street, No. 1001, Zhiyuan Road, B1 9.

Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd.

Address before: 518055 Shenzhen, Guangdong, Nanshan District Xili street, No. 1001, Zhiyuan Road, B1 9.

Applicant before: AUTEL ROBOTICS Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant