CN107128492B - 一种基于人头检测的无人机跟踪方法、装置及无人机 - Google Patents
一种基于人头检测的无人机跟踪方法、装置及无人机 Download PDFInfo
- Publication number
- CN107128492B CN107128492B CN201710311364.5A CN201710311364A CN107128492B CN 107128492 B CN107128492 B CN 107128492B CN 201710311364 A CN201710311364 A CN 201710311364A CN 107128492 B CN107128492 B CN 107128492B
- Authority
- CN
- China
- Prior art keywords
- people
- unmanned plane
- location information
- target
- weight model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 77
- 238000013135 deep learning Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 12
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D27/00—Arrangement or mounting of power plants in aircraft; Aircraft characterised by the type or position of power plants
- B64D27/02—Aircraft characterised by the type or position of power plants
- B64D27/24—Aircraft characterised by the type or position of power plants using steam or spring force
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人头检测的无人机跟踪方法,包括:利用深度学习算法对人头数据进行训练得到人头权重模型;获取无人机在飞行过程中拍摄的图像信息;利用人头权重模型对图像信息进行人头检测,得到图像信息中的目标人头对应的第一位置信息;根据第一位置信息定位目标人头所对应的目标人物的第二位置信息;利用第二位置信息,确定目标人物与无人机在实际场景中的三维位置关系;根据三维位置关系驱动无人机电机旋转,实现对目标人物的跟踪;通过人头权重模型进行人头检测,相较于传统的人头检测方法,操作更简单且检测精度更高;本发明还公开了一种基于人头检测的无人机跟踪装置及无人机,具有上述有益效果。
Description
技术领域
本发明涉及无人机技术领域,特别涉及一种基于人头检测的无人机跟踪方法、装置及无人机。
背景技术
无人驾驶飞机简称“无人机”,英文缩写为“UAV”,是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行器。无人机实际上是无人驾驶飞行器的统称,从技术角度定义可以分为:无人直升机、无人固定翼机、无人多旋翼飞行器、无人飞艇、无人伞翼机这几大类。与载人飞机相比,它具有体积小、造价低、使用方便、对作战环境要求低、战场生存能力较强等优点。由于无人驾驶飞机对未来空战有着重要的意义,世界各主要军事国家都在加紧进行无人驾驶飞机的研制工作。
同时,无人机技术的迅速发展也为人们开启了新的生活方式,其大量被应用于工业、军事、自然灾害的检测以及影视娱乐等方向。其中,无人机在不同复杂环境下对于行人的检测与视觉跟踪是一项重要的技术难点也是行业关注的焦点。在实际使用中,无人机时常需要对低速的行人进行跟踪,如体育摄影中的运动员、安防监测中的入侵者、以及日常生活中使用无人机进行拍照或摄像的普通使用者等。
目标检测任务作为无人机技术领域的一个重要研究热点,通常被当做一个分类问题来进行研究,其不仅受益于计算机视觉领域相关技术的不断发展,在机器学习领域的研究进展同样也对目标检测任务具有推波助澜的作用。事实上,从2006年开始逐步蔓延开的深度学习大爆发给目标检测的研究带来了强劲的助推力,使得通用的目标检测以及各种特定类型目标的检测任务得到了跨越式地发展。
同时,随着技术的进步,人们也对目标检测的精度提出了更高的要求。传统的目标检测方法受限于检测器的准确性,在检测过程中难免会出现误差。同时,也缺乏有效的手段去纠正这种误差,导致其性能难以满足目前人们对目标检测的要求。
视觉跟踪系统是无人机的重要组成部分,但是,目前市面上较普遍的无人机都需要人工手动遥控定位。这导致了操作难度高,自动化程度低,飞行不稳定等问题。这些都限制了无人机在各个领域里的发展。因此,如何克服上述问题,提高无人机视觉跟踪的自动化程度,是本领域技术人员需要解决的技术问题。
发明内容
本发明的目的是提供一种基于人头检测的无人机跟踪方法、装置及无人机,通过人头权重模型进行人头检测,相较于传统的人头检测方法,操作更简单且检测精度更高。
为解决上述技术问题,本发明提供一种基于人头检测的无人机跟踪方法,包括:
利用深度学习算法对人头数据进行训练得到人头权重模型;
获取无人机在飞行过程中拍摄的图像信息;
利用所述人头权重模型对所述图像信息进行人头检测,得到所述图像信息中的目标人头对应的第一位置信息;
根据所述第一位置信息定位所述目标人头所对应的目标人物的第二位置信息;
利用所述第二位置信息,确定所述目标人物与所述无人机在实际场景中的三维位置关系;
根据所述三维位置关系驱动所述无人机电机旋转,实现对所述目标人物的跟踪。
可选的,利用深度学习算法对人头数据进行训练得到人头权重模型,包括:
建立人头数据库,并将人头数据分为训练集和验证集;
利用深度学习算法对所述训练集中的人头数据进行训练,并根据训练得到的所述训练集中人头的统计及分布规律得到初始人头权重模型;
利用所述验证集对所述初始人头权重模型中的参数进行调整,得到人头权重模型。
可选的,所述深度学习算法具体为YOLO算法。
可选的,所述训练集和所述验证集均为整图数据。
可选的,根据所述第一位置信息定位所述目标人头所对应的目标人物的第二位置信息,包括:
根据所述第一位置信息(x,y,w,h),利用设定的人体与人头的比例关系对所述第一位置信(x,y,w,h)进行放大,得到所述目标人物的第二位置信息(x’,y’,w’,h’);
其中,x和y为人头目标框的中心点位置坐标;w为人头目标框的宽度;h为人头目标框的高度;x’和y’为人体目标框的中心点位置坐标;w’为人体目标框的宽度;h’为人体目标框的高度。
本发明还提供一种基于人头检测的无人机跟踪装置,包括:
预训练模块,用于利用深度学习算法对人头数据进行训练得到人头权重模型;
图像采集与处理模块,用于获取无人机在飞行过程中拍摄的图像信息;利用所述人头权重模型对所述图像信息进行人头检测,得到所述图像信息中的目标人头对应的第一位置信息;根据所述第一位置信息定位所述目标人头所对应的目标人物的第二位置信息;利用所述第二位置信息,确定所述目标人物与所述无人机在实际场景中的三维位置关系;
跟踪模块,用于根据所述三维位置关系驱动所述无人机电机旋转,实现对所述目标人物的跟踪。
可选的,所述预训练模块,包括:
数据库单元,用于建立人头数据库,并将人头数据分为训练集和验证集;
训练单元,用于利用深度学习算法对所述训练集中的人头数据进行训练,并根据训练得到的所述训练集中人头的统计及分布规律得到初始人头权重模型;
人头权重模型单元,用于利用所述验证集对所述初始人头权重模型中的参数进行调整,得到人头权重模型。
可选的,所述数据库单元具体为利用整图数据建立人头数据库,并将人头数据分为训练集和验证集。
可选的,所述图像采集与处理模块,包括:
人体定位单元,用于根据所述第一位置信息(x,y,w,h),利用设定的人体与人头的比例关系对所述第一位置信息(x,y,w,h)进行放大,得到所述目标人物的第二位置信息(x’,y’,w’,h’);
其中,x和y为人头目标框的中心点位置坐标;w为人头目标框的宽度;h为人头目标框的高度;x’和y’为人体目标框的中心点位置坐标;w’为人体目标框的宽度;h’为人体目标框的高度。
本发明还提供一种无人机,包括:
摄像装置,用于采集无人机在飞行过程中拍摄的图像信息;
微处理器,用于利用深度学习算法对人头数据进行训练得到人头权重模型;获取所述图像信息;利用所述人头权重模型对所述图像信息进行人头检测,得到所述图像信息中的目标人头对应的第一位置信息;根据所述第一位置信息定位所述目标人头所对应的目标人物的第二位置信息;利用所述第二位置信息,确定所述目标人物与所述无人机在实际场景中的三维位置关系;根据所述三维位置关系驱动所述无人机电机旋转;
无人机电机,用于根据所述微处理器的控制进行旋转,从而调整所述无人机的位置实现对所述目标人物的跟踪。
本发明所提供的一种基于人头检测的无人机跟踪方法,包括:利用深度学习算法对人头数据进行训练得到人头权重模型;获取无人机在飞行过程中拍摄的图像信息;利用人头权重模型对图像信息进行人头检测,得到图像信息中的目标人头对应的第一位置信息;根据第一位置信息定位目标人头所对应的目标人物的第二位置信息;利用第二位置信息,确定目标人物与无人机在实际场景中的三维位置关系;根据三维位置关系驱动无人机电机旋转,实现对目标人物的跟踪;
可见,该方法通过构建人头权重模型进行人头检测,相较于传统的人头检测方法,操作更简单且检测精度更高;整个过程可以由无人机自动完成和实现,智能化程度高;本发明还提供了一种基于人头检测的无人机跟踪装置及无人机,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的基于人头检测的无人机跟踪方法的流程图;
图2为本发明实施例所提供的基于人头检测的无人机跟踪装置的结构框图;
图3为本发明实施例所提供的无人机的结构框图。
具体实施方式
本发明的核心是提供一种基于人头检测的无人机跟踪方法、装置及无人机,通过人头权重模型进行人头检测,相较于传统的人头检测方法,操作更简单且检测精度更高。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,图1为本发明实施例所提供的基于人头检测的无人机跟踪方法的流程图;该方法可以包括:
S100、利用深度学习算法对人头数据进行训练得到人头权重模型。
具体的,该步骤只需要执行一次,即在训练得到人头权重模型后,后续的进行无人机跟踪时可以直接利用训练好的人头权重模型进行人头检测从而实现目标人物跟踪,即可以直接执行后续步骤。
本实施例也可以定期对该人头权重模型进行更新;例如使用新的人头数据进行人头权重模型的参数校正等等,以保证人头权重模型的可靠性。
其中,本实施例中并不限定具体的深度学习算法,用户可以根据自身实际需求以及无人机微处理器硬件水平选择合适的深度学习算法。可选的,这里的深度学习算法可以为YOLO算法。
进一步,本实施例中的人头数据可以是仅仅是人头图像数据,也可以是包含人物以及背景的整图数据。本实施例并不对人头数据的具体类型进行限定,用户可以根据实际精度需求以及深度学习算法的计算特点进行选择。优选的,可以选择整图数据进行训练,这样做的好处在于可以更好的区分目标和背景区域,训练得到人头权重文件更加符合现实应用场景,即不仅可以实现对人头的检测且检测速度很快,非常适合无人机的应用场景。因此,优选的,在进行训练时可以直接选择整图进行训练。人头权重模型的训练过程可以包括:
建立人头数据库,并将人头数据分为训练集和验证集;
利用深度学习算法对训练集中的人头数据进行训练,并根据训练得到的训练集中人头的统计及分布规律得到初始人头权重模型;
利用验证集对初始人头权重模型中的参数进行调整,得到人头权重模型。
具体的,将人头数据分为训练集和验证集可以提高得到的人头权重模型中各个参数的可靠性。从而保证最终无人机跟踪的准确性和可靠性。进一步本实施例中为了提高人头权重模型的检查效率和检测准确性,这里的训练集和验证集均选用整图数据。
即训练过程为首先进行人头数据采集,将采集到的人头数据进行存储得到人头数据库;人头数据库中的数据分为训练集和验证集。训练集提供数据进行训练得到初始人头权重模型;验证集用于针对训练出来的模型,调整相关参数,如确定网络结构或者控制模型复杂程度的参数,来提高参数的准确性。
下面以YOLO算法为例说明上述训练过程:
首先采集符合应用场景的、内容尽可能丰富数量尽可能多的人头图片建立人头数据库。然后运用YOLO调整其参数,对人头数据库中的训练集数据进行训练学习,用以学习人头数据的统计及分布规律得到初始人头权重模型,并利用验证集数据对初始人头权重模型中参数进行优化,得到人头权重模型;这里YOLO直接选用整图进行人头权重模型的训练,这样做的好处在于可以更好的区分目标和背景区域,非常适合无人机的应用场景。
进一步,本实施例中该步骤即训练人头权重模型的过程可以是在无人机中的微处理器中进行,当然也可以是在服务器等硬件水平,计算能力更高的设备中进行训练,然后再把训练得到的人头权重模型加载到无人机的微处理器中即可。即该步骤可以是在无人机中微处理器中进行,也可以是在其他计算设备中完成训练到加载到无人机中微处理器。本实施例对此并不进行限定。
S110、获取无人机在飞行过程中拍摄的图像信息。
具体的,无人机在飞行过程中有无人机上的摄像装置进行图像的拍摄得到图像信息,并将图像信息传递给无人机的微处理器中,以便微处理器进行后续目标跟踪计算。本实施例中并不限定摄像装置种类,例如可以是摄像头。
由于无人机是要实现对目标的跟踪,因此这里无人机中的摄像装置可以实时拍摄图像,即实时获取无人机在飞行过程中拍摄的图像信息。当然用户也可以设定拍摄周期,例如0.5S拍摄一次。本实施例对此并不进行限定。
S120、利用人头权重模型对图像信息进行人头检测,得到图像信息中的目标人头对应的第一位置信息。
具体的,根据人头权重模型对获取的每一个图像信息进行人头检测,即检测实时采集的图片中是否存在人头;当存在人头时,获取图像信息中的目标人头对应的第一位置信息。根据该第一位置信息可以确定图片信息中人头的位置区域信息。例如这里的第一位置信息可以是标识图片中人头位置的目标框信息。例如采集无人机飞行过程中周围环境的实时的图像信息,经检测得到目标框位置信息,记为:(x,y,w,h);其中,x和y为人头目标框的中心点位置坐标;w为人头目标框的宽度;h为人头目标框的高度。
进一步为了保证跟妆的准确性,还可以定期对实时图片信息进行重新检测,以便保证获取的第一位置信息的可靠性。
S130、根据第一位置信息定位目标人头所对应的目标人物的第二位置信息。
具体的,该步骤主要目的是通过人头对应的位置信息得到整体人物对应的位置信息。因此这里可以通过人头和整体的比例关系设定扩大比例,进而可以得到目标人物的第二位置信息。这里的比例关系可以由用户进行设定,可以是单一值,也可以是结合其他因素例如男女等进行设定的多个比例。本实施例对比并不进行限定。
可选的,根据第一位置信息定位目标人头所对应的目标人物的第二位置信息可以包括:
根据第一位置信息(x,y,w,h),利用设定的人体与人头的比例关系对第一位置信息(x,y,w,h)进行放大,得到目标人物的第二位置信息(x’,y’,w’,h’);
其中,x和y为人头目标框的中心点位置坐标;w为人头目标框的宽度;h为人头目标框的高度;x’和y’为人体目标框的中心点位置坐标;w’为人体目标框的宽度;h’为人体目标框的高度。
具体的,根据人体与人头的比例关系,对目标框进行放大,得到跟踪目标即人体目标框位置信息即目标人物的第二位置信息(x’,y’,w’,h’)。
S140、利用第二位置信息,确定目标人物与无人机在实际场景中的三维位置关系。
S150、根据三维位置关系驱动无人机电机旋转,实现对目标人物的跟踪。
具体的,利用三维位置关系驱动电机旋转,根据人的位置,调整跟踪框进行跟踪,在位置改变时驱动电机旋转。实现无人机高低及角度的变动,从而调整无人机的位置使跟踪目标与无人机保持始终保持预设的位置关系。即无人机跟踪模块需搭配电机,通过控制转速的不同,可以实现自动定高以及向各个方向飞行的功能。而电机的转向则有检测到的跟踪目标决定。
基于上述技术方案,本发明实施例提供的基于人头检测的无人机跟踪方法,通过深度学习和机器视觉结合的方式实现人体的快速和准确的检测与跟踪;相较于传统的检测和跟踪技术,精度更高。即通过深度学习的方式简建立人头数据库,同时进行训练得到人头权重模型;再通过人头权重模型确定人体的位置,进而实现跟踪,整个过程由无人机自动完成和实现,智能化程度高。无需人为操作,检测和跟踪均在无人机飞行过程中自动实现,避免了人为操作实务带来误操作,同时降低了无人机操作的门槛。
下面对本发明实施例提供的基于人头检测的无人机跟踪装置及无人机进行介绍,下文描述的基于人头检测的无人机跟踪装置及无人机与上文描述的基于人头检测的无人机跟踪方法可相互对应参照。
请参考图2,图2为本发明实施例所提供的基于人头检测的无人机跟踪装置的结构框图;该装置可以包括:
预训练模块100,用于利用深度学习算法对人头数据进行训练得到人头权重模型;
图像采集与处理模块200,用于获取无人机在飞行过程中拍摄的图像信息;利用人头权重模型对图像信息进行人头检测,得到图像信息中的目标人头对应的第一位置信息;根据第一位置信息定位目标人头所对应的目标人物的第二位置信息;利用第二位置信息,确定目标人物与无人机在实际场景中的三维位置关系;
跟踪模块300,用于根据三维位置关系驱动无人机电机旋转,实现对目标人物的跟踪。
具体的,该装置可以包括用于对人头数据进行预训练的预训练模块100,用于采集图像信息和对采集到的图像信息进行分析及处理的图像采集与处理模块200和用于根据处理结果调整无人机的飞行位置,实现跟踪的跟踪模块300。预训练模块100可以信号连接于图像采集与处理模块200;图像采集与处理模块200可以信号连接于跟踪模块300。
其中,跟踪模块300可以包括用于控制电机运行的电机转动单元和进行实时跟踪的跟踪单元;其中电机转动单元可以信号连接于跟踪单元。
基于上述实施例,预训练模块100可以包括:
数据库单元,用于建立人头数据库,并将人头数据分为训练集和验证集;
训练单元,用于利用深度学习算法对训练集中的人头数据进行训练,并根据训练得到的训练集中人头的统计及分布规律得到初始人头权重模型;
人头权重模型单元,用于利用验证集对初始人头权重模型中的参数进行调整,得到人头权重模型。
具体的,预训练模块100可以包括用于存储人头数据信息的数据库单元、用于对人头数据进行训练的训练单元和用于建立人头权重模型的人头权重模型单元。其中数据库单元可以信号连接于训练单元;训练单元可以信号连接于人头权重模型单元。
基于上述实施例,数据库单元具体为利用整图数据建立人头数据库,并将人头数据分为训练集和验证集。
基于上述任意实施例,图像采集与处理模块200可以包括:
人体定位单元,用于根据第一位置信息(x,y,w,h),利用设定的人体与人头的比例关系对第一位置信息(x,y,w,h)进行放大,得到目标人物的第二位置信息(x’,y’,w’,h’);
其中,x和y为人头目标框的中心点位置坐标;w为人头目标框的宽度;h为人头目标框的高度;x’和y’为人体目标框的中心点位置坐标;w’为人体目标框的宽度;h’为人体目标框的高度。
具体的,图像采集与处理模块200可以包括用于获取图像信息的图像获取单元、用于进行人头检测的人头检测单元和用于进行人体定位的人体定位单元;其中图像获取单元可以信号连接于人头检测单元;人头检测单元可以信号连接于人体定位单元。
请参考图3,图3为本发明实施例所提供的无人机的结构框图;该无人机可以包括:
摄像装置400,用于采集无人机在飞行过程中拍摄的图像信息;
微处理器500,用于利用深度学习算法对人头数据进行训练得到人头权重模型;获取图像信息;利用人头权重模型对图像信息进行人头检测,得到图像信息中的目标人头对应的第一位置信息;根据第一位置信息定位目标人头所对应的目标人物的第二位置信息;利用第二位置信息,确定目标人物与无人机在实际场景中的三维位置关系;根据三维位置关系驱动无人机电机旋转;
无人机电机600,用于根据微处理器的控制进行旋转,从而调整无人机的位置实现对目标人物的跟踪。
具体的,摄像装置400可以是工业摄像头,其按照设定负责视频图像的采集,并将采集到的视频图像数据传输微处理器500进行数据图像分析和处理,实现对人头的检测与处理(例如运用YOLO预训练得到的人头权重模型在采集到的图片中进行人头检测,根据人头与人体的比例关系将对检测到得到的对人头的标注转化为对整个人体的标注,从而就得到了无人机的跟踪目标),并根据处理结果智能调整无人机的飞行位置,实现跟踪的功能。无人机电机600(也称之为电机,本实施例并不对电机进行限定)在位置改变时接受微处理器500的驱动控制电机旋转。实现无人机高低及角度的变动,从而调整无人机的位置使跟踪目标与无人机保持始终保持预设的位置关系。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种基于人头检测的无人机跟踪方法、装置及无人机进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (8)
1.一种基于人头检测的无人机跟踪方法,其特征在于,包括:
利用深度学习算法对人头数据进行训练得到人头权重模型;
获取无人机在飞行过程中拍摄的图像信息;
利用所述人头权重模型对所述图像信息进行人头检测,得到所述图像信息中的目标人头对应的第一位置信息;
根据所述第一位置信息定位所述目标人头所对应的目标人物的第二位置信息,其中,根据所述第一位置信息定位所述目标人头所对应的目标人物的第二位置信息,包括:
根据所述第一位置信息(x,y,w,h),利用设定的人体与人头的比例关系对所述第一位置信息(x,y,w,h)进行放大,得到所述目标人物的第二位置信息(x’,y’,w’,h’);
其中,x和y为人头目标框的中心点位置坐标;w为人头目标框的宽度;h为人头目标框的高度;x’和y’为人体目标框的中心点位置坐标;w’为人体目标框的宽度;h’为人体目标框的高度;
利用所述第二位置信息,确定所述目标人物与所述无人机在实际场景中的三维位置关系;
根据所述三维位置关系驱动所述无人机电机旋转,实现对所述目标人物的跟踪。
2.根据权利要求1所述的基于人头检测的无人机跟踪方法,其特征在于,利用深度学习算法对人头数据进行训练得到人头权重模型,包括:
建立人头数据库,并将人头数据分为训练集和验证集;
利用深度学习算法对所述训练集中的人头数据进行训练,并根据训练得到的所述训练集中人头的统计及分布规律得到初始人头权重模型;
利用所述验证集对所述初始人头权重模型中的参数进行调整,得到人头权重模型。
3.根据权利要求2所述的基于人头检测的无人机跟踪方法,其特征在于,所述深度学习算法具体为YOLO算法。
4.根据权利要求2-3中任一项所述的基于人头检测的无人机跟踪方法,其特征在于,所述训练集和所述验证集均为整图数据。
5.一种基于人头检测的无人机跟踪装置,其特征在于,包括:
预训练模块,用于利用深度学习算法对人头数据进行训练得到人头权重模型;
图像采集与处理模块,用于获取无人机在飞行过程中拍摄的图像信息;利用所述人头权重模型对所述图像信息进行人头检测,得到所述图像信息中的目标人头对应的第一位置信息;根据所述第一位置信息定位所述目标人头所对应的目标人物的第二位置信息;利用所述第二位置信息,确定所述目标人物与所述无人机在实际场景中的三维位置关系,其中,所述图像采集与处理模块,包括:
人体定位单元,用于根据所述第一位置信息(x,y,w,h),利用设定的人体与人头的比例关系对所述第一位置信息(x,y,w,h)进行放大,得到所述目标人物的第二位置信息(x’,y’,w’,h’);
其中,x和y为人头目标框的中心点位置坐标;w为人头目标框的宽度;h为人头目标框的高度;x’和y’为人体目标框的中心点位置坐标;w’为人体目标框的宽度;h’为人体目标框的高度;
跟踪模块,用于根据所述三维位置关系驱动所述无人机电机旋转,实现对所述目标人物的跟踪。
6.根据权利要求5所述的基于人头检测的无人机跟踪装置,其特征在于,所述预训练模块,包括:
数据库单元,用于建立人头数据库,并将人头数据分为训练集和验证集;
训练单元,用于利用深度学习算法对所述训练集中的人头数据进行训练,并根据训练得到的所述训练集中人头的统计及分布规律得到初始人头权重模型;
人头权重模型单元,用于利用所述验证集对所述初始人头权重模型中的参数进行调整,得到人头权重模型。
7.根据权利要求6所述的基于人头检测的无人机跟踪装置,其特征在于,所述数据库单元具体为利用整图数据建立人头数据库,并将人头数据分为训练集和验证集。
8.一种无人机,其特征在于,包括:
摄像装置,用于采集无人机在飞行过程中拍摄的图像信息;
微处理器,用于利用深度学习算法对人头数据进行训练得到人头权重模型;获取所述图像信息;利用所述人头权重模型对所述图像信息进行人头检测,得到所述图像信息中的目标人头对应的第一位置信息;根据所述第一位置信息定位所述目标人头所对应的目标人物的第二位置信息;利用所述第二位置信息,确定所述目标人物与所述无人机在实际场景中的三维位置关系;根据所述三维位置关系驱动所述无人机电机旋转;
无人机电机,用于根据所述微处理器的控制进行旋转,从而调整所述无人机的位置实现对所述目标人物的跟踪;
其中,根据所述第一位置信息定位所述目标人头所对应的目标人物的第二位置信息,包括:
根据所述第一位置信息(x,y,w,h),利用设定的人体与人头的比例关系对所述第一位置信息(x,y,w,h)进行放大,得到所述目标人物的第二位置信息(x’,y’,w’,h’);
其中,x和y为人头目标框的中心点位置坐标;w为人头目标框的宽度;h为人头目标框的高度;x’和y’为人体目标框的中心点位置坐标;w’为人体目标框的宽度;h’为人体目标框的高度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710311364.5A CN107128492B (zh) | 2017-05-05 | 2017-05-05 | 一种基于人头检测的无人机跟踪方法、装置及无人机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710311364.5A CN107128492B (zh) | 2017-05-05 | 2017-05-05 | 一种基于人头检测的无人机跟踪方法、装置及无人机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107128492A CN107128492A (zh) | 2017-09-05 |
CN107128492B true CN107128492B (zh) | 2019-09-20 |
Family
ID=59731410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710311364.5A Active CN107128492B (zh) | 2017-05-05 | 2017-05-05 | 一种基于人头检测的无人机跟踪方法、装置及无人机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107128492B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875504B (zh) * | 2017-11-10 | 2021-07-23 | 北京旷视科技有限公司 | 基于神经网络的图像检测方法和图像检测装置 |
CN108363946B (zh) * | 2017-12-29 | 2022-05-03 | 成都通甲优博科技有限责任公司 | 基于无人机的人脸跟踪系统及方法 |
CN110347035A (zh) * | 2018-04-08 | 2019-10-18 | 北京京东尚科信息技术有限公司 | 自主跟踪方法及装置、电子设备、存储介质 |
CN108985186B (zh) * | 2018-06-27 | 2022-03-01 | 武汉理工大学 | 一种基于改进YOLOv2的无人驾驶中行人检测方法 |
CN108897342B (zh) * | 2018-08-22 | 2020-01-07 | 江西理工大学 | 针对快速移动的民用多旋翼无人机的定位跟踪方法及系统 |
CN109270954A (zh) * | 2018-10-30 | 2019-01-25 | 西南科技大学 | 一种基于姿态识别的无人机交互系统及其控制方法 |
CN110175528B (zh) * | 2019-04-29 | 2021-10-26 | 北京百度网讯科技有限公司 | 人体跟踪方法及装置、计算机设备及可读介质 |
CN110304251B (zh) * | 2019-07-01 | 2022-04-15 | 余姚市浙江大学机器人研究中心 | 一种无人机灌篮、反弹自演化智能系统及控制方法 |
CN111476116A (zh) * | 2020-03-24 | 2020-07-31 | 南京新一代人工智能研究院有限公司 | 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法 |
CN111753638B (zh) * | 2020-05-03 | 2024-07-16 | 奥比中光科技集团股份有限公司 | 一种基于rgbd图像的行人跟踪方法及系统 |
CN113671981B (zh) * | 2020-05-14 | 2024-08-02 | 北京理工大学 | 远程激光制导飞行器控制系统及其控制方法 |
WO2022021027A1 (zh) * | 2020-07-27 | 2022-02-03 | 深圳市大疆创新科技有限公司 | 目标跟踪方法、装置、无人机、系统及可读存储介质 |
CN113168532A (zh) * | 2020-07-27 | 2021-07-23 | 深圳市大疆创新科技有限公司 | 目标检测方法、装置、无人机及计算机可读存储介质 |
CN112839173B (zh) * | 2020-12-31 | 2022-05-20 | 深圳瞬玩科技有限公司 | 拍摄主体类型识别方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103149939A (zh) * | 2013-02-26 | 2013-06-12 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
CN104794468A (zh) * | 2015-05-20 | 2015-07-22 | 成都通甲优博科技有限责任公司 | 一种基于无人机动平台的人脸检测与跟踪方法 |
CN105447459A (zh) * | 2015-11-18 | 2016-03-30 | 上海海事大学 | 一种无人机自动检测目标和跟踪方法 |
US9442485B1 (en) * | 2014-08-13 | 2016-09-13 | Trace Live Network Inc. | Pixel based image tracking system for unmanned aerial vehicle (UAV) action camera system |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3060966B1 (en) * | 2014-07-30 | 2021-05-05 | SZ DJI Technology Co., Ltd. | Systems and methods for target tracking |
-
2017
- 2017-05-05 CN CN201710311364.5A patent/CN107128492B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103149939A (zh) * | 2013-02-26 | 2013-06-12 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
US9442485B1 (en) * | 2014-08-13 | 2016-09-13 | Trace Live Network Inc. | Pixel based image tracking system for unmanned aerial vehicle (UAV) action camera system |
CN104794468A (zh) * | 2015-05-20 | 2015-07-22 | 成都通甲优博科技有限责任公司 | 一种基于无人机动平台的人脸检测与跟踪方法 |
CN105447459A (zh) * | 2015-11-18 | 2016-03-30 | 上海海事大学 | 一种无人机自动检测目标和跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107128492A (zh) | 2017-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107128492B (zh) | 一种基于人头检测的无人机跟踪方法、装置及无人机 | |
CN105391939B (zh) | 无人机拍摄控制方法和装置、无人机拍摄方法和无人机 | |
CN205263655U (zh) | 一种用于自动生成全景照片的系统、无人飞行器及地面站 | |
EP3373202B1 (en) | Verification method and system | |
CN105955308B (zh) | 一种飞行器的控制方法和装置 | |
CN105242685B (zh) | 一种伴飞无人机航拍系统及方法 | |
Mademlis et al. | Autonomous unmanned aerial vehicles filming in dynamic unstructured outdoor environments [applications corner] | |
CN106973221B (zh) | 基于美学评价的无人机摄像方法和系统 | |
CN106155092A (zh) | 一种智能多模式飞行拍摄设备及其飞行控制方法 | |
WO2018171041A1 (zh) | 一种动向智能投影系统及其方法 | |
CN105045279A (zh) | 一种利用无人飞行器航拍自动生成全景照片的系统及方法 | |
CN112462802A (zh) | 用于提供自主摄影及摄像的系统和方法 | |
CN108955682A (zh) | 手机室内定位导航方法 | |
US10924660B2 (en) | Augmented reality markers in digital photography | |
CN109871027B (zh) | 一种倾斜摄影方法及系统 | |
CN106231191A (zh) | 全自动空中全景数据采集系统、方法及控制终端 | |
CN107003680B (zh) | 控制移动物体移动的方法、装置和系统 | |
CN110498039A (zh) | 一种基于仿生扑翼飞行器的智能监控系统 | |
CN106843275A (zh) | 一种无人机定点绕飞方法、装置以及系统 | |
CN110291482A (zh) | 返航控制方法、装置及设备 | |
CN106651951A (zh) | 一种大气偏振模式检测及航向解算系统及方法 | |
CN114139370A (zh) | 一种光学引擎和电磁成像双模动目标同步仿真方法和系统 | |
CN109076101A (zh) | 云台控制方法、设备及计算机可读存储介质 | |
CN105930766A (zh) | 无人机 | |
CN106934840B (zh) | 一种教育云课实景图生成方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |