CN111103891A - 一种基于骨骼点检测的无人机快速姿势控制系统与方法 - Google Patents

一种基于骨骼点检测的无人机快速姿势控制系统与方法 Download PDF

Info

Publication number
CN111103891A
CN111103891A CN201911390950.9A CN201911390950A CN111103891A CN 111103891 A CN111103891 A CN 111103891A CN 201911390950 A CN201911390950 A CN 201911390950A CN 111103891 A CN111103891 A CN 111103891A
Authority
CN
China
Prior art keywords
algorithm
unmanned aerial
aerial vehicle
tracking
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911390950.9A
Other languages
English (en)
Other versions
CN111103891B (zh
Inventor
柯良军
杨元坤
陆鑫
张一帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201911390950.9A priority Critical patent/CN111103891B/zh
Publication of CN111103891A publication Critical patent/CN111103891A/zh
Application granted granted Critical
Publication of CN111103891B publication Critical patent/CN111103891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Processing (AREA)

Abstract

一种基于骨骼点检测的无人机快速姿势控制系统与方法,包括以下步骤;人群中特定指挥者的识别及跟踪算法,姿势识别算法和无人机硬件设计及飞行控制开发模块。通过无人机硬件设计及飞行控制开发和云台相机控制开发,能够识别人群中特定指挥者,加入防跟丢机制进行人体跟踪并进行骨骼点检测并识别检测结果。利用骨骼点检测算法作为无人机姿势控制的核心算法,在克服传统算法缺点的基础上在无人机硬件平台上实现无人机的自动化控制。

Description

一种基于骨骼点检测的无人机快速姿势控制系统与方法
技术领域
本发明涉及深度学习骨骼点检测算法的无人机智能控制系统技术领域,特别涉及一种基于骨骼点检测的无人机快速姿势控制系统与方法。
背景技术
近年来无人机开始出现在人类社会生产生活的方方面面,在航拍、监控、安防、救灾等领域得到了广泛的应用,但早期各种场景下无人机的实际应用多数基于人为遥控或干预,自动化程度不高。无人机的自动化程度是其能否在未来起到更大作用的决定性因素之一。随着无人机自动化工作需求的不断扩大,基于计算机视觉的无人机手势控制成为当下研究的热点之一,其主要包括目标检测、跟踪、手势识别、指挥者再识别及无人机的飞行控制五个方面。人体骨骼关键点对于描述人体姿态,预测人体行为至关重要。因此人体骨骼关键点检测是诸多计算机视觉任务的基础,例如动作分类,异常行为检测,以及自动驾驶等等。
现有的无人机智能应用主要集中在自主壁障和无人机编队技术,姿势控制无人机飞行的应用较少。同时传统的姿势控制无人机主要有以下几点不足:
使用地面站作为处理设备,严重限制了姿势控制无人机的灵活性;指挥者需要距离无人机较近,使得无人机的活动范围受到限制;传统的方法并未考虑指挥者从无人机视角丢失或混入其他指挥者做干扰指挥等多种干扰情况。
发明内容
为了克服上述现有技术的不足,本发明的目的在于提供一种基于骨骼点检测的无人机快速姿势控制系统与方法,通过无人机硬件设计及飞行控制开发和云台相机控制开发,能够识别人群中特定指挥者,加入防跟丢机制进行人体跟踪并进行骨骼点检测并识别检测结果。
为了实现上述目的,本发明采用的技术方案是:
一种基于骨骼点检测的无人机快速姿势控制系统,包括
识别及跟踪模块,识别并跟踪人群中特定指挥者;
姿势识别模块,识别无人机的姿势;
飞行控制模块,根据姿势识别结果,使得云台相机转角始终跟随指挥者转动。
一种基于骨骼点检测的无人机快速姿势控制系统的控制方法,识别及跟踪模块通过如下方法识别并跟踪人群中特定指挥者:
步骤一:初始设定程序的标志位flag为真,flag的作用是用来判断是否需要重复去做指挥者的人脸检测和识别,判断flag是否为真,若为真,用MTCNN人脸检测算法对从大疆云台相机采集的帧序列进行人脸检测,该算法输出人脸检测框的左上角坐标和右下角坐标,转至步骤二,若为假,转至步骤三;
步骤二:对MTCNN人脸检测算法的输出结果进行人脸识别,输出人脸的特征向量,计算特征向量与预设特征脸数据库中特征向量欧式距离Dij,若距离小于设定的阈值ε,同时MTCNN人脸检测算法有输出结果,即size>0,则按比例放大人脸检测框作为KCF跟踪算法的初始跟踪,若大于设定的人脸特征向量距离阈值,转至步骤一;
步骤三:根据MTCNN的人脸检测框按比例放大,并作为KCF跟踪算法的初始跟踪框,用KCF跟踪算法进行目标跟踪;
步骤四:若KCF目标跟踪算法的滤波器输出响应小于预设的滤波器输出响应阈值,设置flag为假,转至步骤一;反之继续跟踪。
所述的步骤二的阈值是人脸特征向量距离阈值;所述的步骤四的阈值是KCF跟踪算法滤波器响应输出阈值。
所述姿势识别模块通过如下方法识别无人机的姿势:
步骤一:采用openpose骨骼点检测算法对KCF跟踪算法的结果进行骨骼点检测,输出骨骼点信息;
步骤二:通过上一步输出的骨骼点信息与预先本地存储的7个动作对应的骨骼点位置信息计算距离;
步骤三:采用K近邻算法求得距离最近的特定动作作为最终姿势识别结果。
所述飞行控制模块通过如下方法使得云台相机转角始终跟随指挥者转动:
步骤一:把运行姿势识别算法的深度学习计算平台作为无人机的机载电脑,直接与飞控和云台相机相连,同时地面端电脑与机载电脑通过无线连接,用于启动和控制程序,机载电脑实时返回飞行状态信息;
步骤二:利用飞控开源的SDK开发控制指令,接收识别出来的手势信号,转换成上、下、左、右、前、后、停止控制信号;
步骤三:设定图像的中心区域,计算KCF跟踪算法的输出检测框的中心坐标(x,y),若x或y偏离中心区域,则把偏移量作为云台相机转角的控制量,实现云台相机始终跟随指挥者转动,若没有偏离,则保持云台相机当前的姿态不变。
本发明的有益效果:
本发明是一套完整的基于骨骼点检测控制无人机自主飞行的方案,考虑到指挥者跟丢和出现多为指挥者时的复杂场景。同时是一套高效稳定的算法流程。利用骨骼点检测算法作为无人机姿势控制的核心算法,在克服传统算法缺点的基础上在无人机硬件平台上实现无人机的自动化控制。
附图说明
图1是整体技术流程图。
图2是MTCNN算法进行人脸检测的结果示意图。
图3是对检测结果进行人脸识别的结果示意图。
图4是对人脸检测框按比例方法的结果示意图。
图5是整个算法的结果示意图。
图6是云台相机调整示意图。
图7为指挥者向右指挥示意图。
图8为无人机和云台姿态调整的示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
如图1所示,视频数据读入到整个网络中,由于初始的跟丢与否标志位为真,所以使用MTCNN算法进行人脸检测,如果没有检测结果则重新做人脸识别,如果有检测结果,则再进行人脸识别,判断当前指挥者是否为预先设定的几个指挥者,如果不是,就重新进行人脸检测,直到出现特定指挥者为止。如果是,就用KCF算法对该指挥者进行跟踪,跟踪结果的响应输出低于设定的阈值则认为跟丢指挥者,重新进行人脸检测,识别和再跟踪;跟踪结果的响应值高于设定的阈值就使用openpose骨骼点检测算法提取指挥者骨骼点信息,与预先设定好的7种姿势的骨骼点信息做特征匹配。匹配最好的作为本次识别结果的输出,传送给无人机的机载电脑做飞行控制和云台相机控制
如图6所示当检测框的中心点不再设定的图像中心区域时,由于检测框中心点x轴坐标小于中心区域x轴方向最小值,拿检测框中心点x轴坐标与中心区域x轴方向最小值做差,y轴同理,得到的x轴差值和y轴插值分别作为云台相机yaw轴方向和pitch轴方向的调节量,完成云台相机的跟随任务。
本文利用无人机搭载深度学习计算平台,进一步实现无人机手势控制的自动化。首先通过云台相机采集图片,送入人脸检测网络MTCNN输出人脸检测框,使用人脸识别算法提取人脸检测框部分的特征向量与预设特征脸数据库比对选定特定个体作为指挥者。对指挥者使用KCF算法进行目标跟踪,将跟踪结果使用OpenPose算法提取人体骨骼点,计算骨骼点信息与预设骨骼点数据库里每个预设姿势对应骨骼点距离,采用K近邻算法算出最终的识别结果作为无人机飞控指令,同时根据KCF算法的输出结果调整云台相机的转角。
一种基于骨骼点检测的无人机快速姿势控制系统的控制方法,识别及跟踪模块通过如下方法识别并跟踪人群中特定指挥者:
步骤一:初始设定程序的标志位flag为真,flag的作用是用来判断是否需要重复去做指挥者的人脸检测和识别,判断flag是否为真,若为真,用MTCNN人脸检测算法对从大疆云台相机采集的帧序列进行人脸检测,该算法输出人脸检测框的左上角坐标和右下角坐标,转至步骤二,若为假,转至步骤三。图2即为MTCNN的人脸检测结果;
步骤二:对MTCNN人脸检测算法的输出结果进行人脸识别,输出人脸的特征向量,计算特征向量与预设特征脸数据库中特征向量欧式距离Dij,若距离小于设定的阈值ε,同时MTCNN人脸检测算法有输出结果,即size>0,则按比例放大人脸检测框作为KCF跟踪算法的初始跟踪。图3表示识别为预设的第三位指挥者。若大于设定的人脸特征向量距离阈值,转至步骤一;
步骤三:根据MTCNN的人脸检测框按比例放大,并作为KCF跟踪算法的初始跟踪框,用KCF跟踪算法进行目标跟踪。图4即为按比例放大的结果;
步骤四:若KCF目标跟踪算法的滤波器输出响应小于预设的滤波器输出响应阈值,设置flag为假,转至步骤一;反之继续跟踪。
所述的步骤二的阈值是人脸特征向量距离阈值;所述的步骤四的阈值是KCF跟踪算法滤波器响应输出阈值。
图5为经过上述算法的结果示意图:
所述姿势识别模块通过如下方法识别无人机的姿势:
步骤一:采用openpose骨骼点检测算法对KCF跟踪算法的结果进行骨骼点检测,输出骨骼点信息;
步骤二:通过上一步输出的骨骼点信息与预先本地存储的7个动作对应的骨骼点位置信息计算距离;
步骤三:采用K近邻算法求得距离最近的特定动作作为最终姿势识别结果。
所述飞行控制模块通过如下方法使得云台相机转角始终跟随指挥者转动:
步骤一:把运行姿势识别算法的深度学习计算平台作为无人机的机载电脑,直接与飞控和云台相机相连,同时地面端电脑与机载电脑通过无线连接,用于启动和控制程序,机载电脑实时返回飞行状态信息;
步骤二:利用飞控开源的SDK开发控制指令,接收识别出来的手势信号,转换成上、下、左、右、前、后、停止控制信号;
步骤三:设定图像的中心区域,计算KCF跟踪算法的输出检测框的中心坐标(x,y),若x或y偏离中心区域,则把偏移量作为云台相机转角的控制量,实现云台相机始终跟随指挥者转动,若没有偏离,则保持云台相机当前的姿态不变。图7表示无人机已按照指挥者指令向左飞行,此时指挥者偏离图片中心区域。图8表示无人机通过云台相机转角使得指挥者回到图片中心区域。

Claims (5)

1.一种基于骨骼点检测的无人机快速姿势控制系统,其特征在于,包括
识别及跟踪模块,识别并跟踪人群中特定指挥者;
姿势识别模块,识别无人机的姿势;
飞行控制模块,根据姿势识别结果,使得云台相机转角始终跟随指挥者转动。
2.根据权利要求1所述的一种基于骨骼点检测的无人机快速姿势控制系统的控制方法,其特征在于,识别及跟踪模块通过如下方法识别并跟踪人群中特定指挥者:
步骤一:初始设定程序的标志位flag为真,flag的作用是用来判断是否需要重复去做指挥者的人脸检测和识别,判断flag是否为真,若为真,用MTCNN人脸检测算法对从大疆云台相机采集的帧序列进行人脸检测,该算法输出人脸检测框的左上角坐标和右下角坐标,转至步骤二,若为假,转至步骤三;
步骤二:对MTCNN人脸检测算法的输出结果进行人脸识别,输出人脸的特征向量,计算特征向量与预设特征脸数据库中特征向量欧式距离Dij,若距离小于设定的阈值ε,同时MTCNN人脸检测算法有输出结果,即size>0,则按比例放大人脸检测框作为KCF跟踪算法的初始跟踪,若大于设定的人脸特征向量距离阈值,转至步骤一;
步骤三:根据MTCNN的人脸检测框按比例放大,并作为KCF跟踪算法的初始跟踪框,用KCF跟踪算法进行目标跟踪;
步骤四:若KCF目标跟踪算法的滤波器输出响应小于预设的滤波器输出响应阈值,设置flag为假,转至步骤一;反之继续跟踪。
3.根据权利要求2所述的一种基于骨骼点检测的无人机快速姿势控制方法,其特征在于,所述的步骤二的阈值是人脸特征向量距离阈值;所述的步骤四的阈值是KCF跟踪算法滤波器响应输出阈值。
4.根据权利要求2所述的一种基于骨骼点检测的无人机快速姿势控制方法,其特征在于,所述姿势识别模块通过如下方法识别无人机的姿势:
步骤一:采用openpose骨骼点检测算法对KCF跟踪算法的结果进行骨骼点检测,输出骨骼点信息;
步骤二:通过上一步输出的骨骼点信息与预先本地存储的7个动作对应的骨骼点位置信息计算距离;
步骤三:采用K近邻算法求得距离最近的特定动作作为最终姿势识别结果。
5.根据权利要求2所述的一种基于骨骼点检测的无人机快速姿势控制方法,其特征在于,所述飞行控制模块通过如下方法使得云台相机转角始终跟随指挥者转动:
步骤一:把运行姿势识别算法的深度学习计算平台作为无人机的机载电脑,直接与飞控和云台相机相连,同时地面端电脑与机载电脑通过无线连接,用于启动和控制程序,机载电脑实时返回飞行状态信息;
步骤二:利用飞控开源的SDK开发控制指令,接收识别出来的手势信号,转换成上、下、左、右、前、后、停止控制信号;
步骤三:设定图像的中心区域,计算KCF跟踪算法的输出检测框的中心坐标(x,y),若x或y偏离中心区域,则把偏移量作为云台相机转角的控制量,实现云台相机始终跟随指挥者转动,若没有偏离,则保持云台相机当前的姿态不变。
CN201911390950.9A 2019-12-30 2019-12-30 一种基于骨骼点检测的无人机快速姿势控制系统与方法 Active CN111103891B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911390950.9A CN111103891B (zh) 2019-12-30 2019-12-30 一种基于骨骼点检测的无人机快速姿势控制系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911390950.9A CN111103891B (zh) 2019-12-30 2019-12-30 一种基于骨骼点检测的无人机快速姿势控制系统与方法

Publications (2)

Publication Number Publication Date
CN111103891A true CN111103891A (zh) 2020-05-05
CN111103891B CN111103891B (zh) 2021-03-16

Family

ID=70425139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911390950.9A Active CN111103891B (zh) 2019-12-30 2019-12-30 一种基于骨骼点检测的无人机快速姿势控制系统与方法

Country Status (1)

Country Link
CN (1) CN111103891B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031464A (zh) * 2021-03-22 2021-06-25 北京市商汤科技开发有限公司 设备控制方法、装置、电子设备及存储介质
CN113191216A (zh) * 2021-04-13 2021-07-30 复旦大学 基于姿态识别和c3d网络的多人实时动作识别方法和系统
CN113936312A (zh) * 2021-10-12 2022-01-14 南京视察者智能科技有限公司 一种基于深度学习图卷积网络的人脸识别底库筛选方法
CN113936312B (zh) * 2021-10-12 2024-06-07 南京视察者智能科技有限公司 一种基于深度学习图卷积网络的人脸识别底库筛选方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339006A (zh) * 2016-09-09 2017-01-18 腾讯科技(深圳)有限公司 一种飞行器的目标跟踪方法和装置
CN106462242A (zh) * 2014-04-23 2017-02-22 谷歌公司 使用视线跟踪的用户界面控制
CN107168352A (zh) * 2014-07-30 2017-09-15 深圳市大疆创新科技有限公司 目标追踪系统及方法
CN108292141A (zh) * 2016-03-01 2018-07-17 深圳市大疆创新科技有限公司 用于目标跟踪的方法和系统
CN108363946A (zh) * 2017-12-29 2018-08-03 成都通甲优博科技有限责任公司 基于无人机的人脸跟踪系统及方法
CN109270954A (zh) * 2018-10-30 2019-01-25 西南科技大学 一种基于姿态识别的无人机交互系统及其控制方法
US20190061939A1 (en) * 2017-08-24 2019-02-28 Qualcomm Incorporated Managing Package Deliveries by Robotic Vehicles
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN109753076A (zh) * 2017-11-03 2019-05-14 南京奇蛙智能科技有限公司 一种无人机视觉追踪实现方法
CN109885099A (zh) * 2017-12-06 2019-06-14 智飞智能装备科技东台有限公司 一种用于无人机跟踪锁定目标的视觉识别系统
CN110015418A (zh) * 2015-03-31 2019-07-16 深圳市大疆创新科技有限公司 用于生成飞行管制的认证系统和方法
CN110162102A (zh) * 2019-05-17 2019-08-23 广东技术师范大学 基于云平台和机器视觉的无人机自动识别跟踪方法及系统
CN110609920A (zh) * 2019-08-05 2019-12-24 华中科技大学 一种视频监控场景下的行人混合搜索方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462242A (zh) * 2014-04-23 2017-02-22 谷歌公司 使用视线跟踪的用户界面控制
CN107168352A (zh) * 2014-07-30 2017-09-15 深圳市大疆创新科技有限公司 目标追踪系统及方法
CN110015418A (zh) * 2015-03-31 2019-07-16 深圳市大疆创新科技有限公司 用于生成飞行管制的认证系统和方法
CN108292141A (zh) * 2016-03-01 2018-07-17 深圳市大疆创新科技有限公司 用于目标跟踪的方法和系统
CN106339006A (zh) * 2016-09-09 2017-01-18 腾讯科技(深圳)有限公司 一种飞行器的目标跟踪方法和装置
US20190061939A1 (en) * 2017-08-24 2019-02-28 Qualcomm Incorporated Managing Package Deliveries by Robotic Vehicles
CN109753076A (zh) * 2017-11-03 2019-05-14 南京奇蛙智能科技有限公司 一种无人机视觉追踪实现方法
CN109885099A (zh) * 2017-12-06 2019-06-14 智飞智能装备科技东台有限公司 一种用于无人机跟踪锁定目标的视觉识别系统
CN108363946A (zh) * 2017-12-29 2018-08-03 成都通甲优博科技有限责任公司 基于无人机的人脸跟踪系统及方法
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN109270954A (zh) * 2018-10-30 2019-01-25 西南科技大学 一种基于姿态识别的无人机交互系统及其控制方法
CN110162102A (zh) * 2019-05-17 2019-08-23 广东技术师范大学 基于云平台和机器视觉的无人机自动识别跟踪方法及系统
CN110609920A (zh) * 2019-08-05 2019-12-24 华中科技大学 一种视频监控场景下的行人混合搜索方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KE LIANGJUN: "Periodic re-optimization based dynamic branch and price algorithm for dynamic multi-UAV path planning", 《2013 IEEE INTERNATIONAL CONFERENCE ON MECHATRONICS AND AUTOMATION》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031464A (zh) * 2021-03-22 2021-06-25 北京市商汤科技开发有限公司 设备控制方法、装置、电子设备及存储介质
CN113191216A (zh) * 2021-04-13 2021-07-30 复旦大学 基于姿态识别和c3d网络的多人实时动作识别方法和系统
CN113191216B (zh) * 2021-04-13 2023-02-10 复旦大学 基于姿态识别和c3d网络的多人实时动作识别方法和系统
CN113936312A (zh) * 2021-10-12 2022-01-14 南京视察者智能科技有限公司 一种基于深度学习图卷积网络的人脸识别底库筛选方法
CN113936312B (zh) * 2021-10-12 2024-06-07 南京视察者智能科技有限公司 一种基于深度学习图卷积网络的人脸识别底库筛选方法

Also Published As

Publication number Publication date
CN111103891B (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
KR101645722B1 (ko) 자동추적 기능을 갖는 무인항공기 및 그 제어방법
US10671068B1 (en) Shared sensor data across sensor processing pipelines
Breitenmoser et al. A monocular vision-based system for 6D relative robot localization
KR101769601B1 (ko) 자동추적 기능을 갖는 무인항공기
CN111679695B (zh) 一种基于深度学习技术的无人机巡航及追踪系统和方法
CN111103891B (zh) 一种基于骨骼点检测的无人机快速姿势控制系统与方法
CN111199556A (zh) 基于摄像头的室内行人检测和跟踪方法
Monajjemi et al. UAV, do you see me? Establishing mutual attention between an uninstrumented human and an outdoor UAV in flight
KR102392822B1 (ko) 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치 및 방법
Wu et al. Vision-based target detection and tracking system for a quadcopter
US10776631B2 (en) Monitoring
Oh et al. Monocular UAV localisation with deep learning and uncertainty propagation
JP2018523231A5 (zh)
EP4354853A1 (en) Thermal-image-monitoring system using plurality of cameras
Wang et al. Improving target detection by coupling it with tracking
Yong et al. Motion Detection Using Drone's Vision
Esfahani et al. A new approach to train convolutional neural networks for real-time 6-DOF camera relocalization
Pinto et al. An architecture for visual motion perception of a surveillance-based autonomous robot
Anastasiou et al. Hyperion: A robust drone-based target tracking system
KR101656519B1 (ko) 확장칼만필터를 이용하여 추적성능을 높인 자동추적 기능을 갖는 무인항공기
CN115018883A (zh) 一种基于光流和卡尔曼滤波的输电线路无人机红外自主巡检方法
Angelov et al. ARTOT: Autonomous real-Time object detection and tracking by a moving camera
Jeeva et al. Design and development of automated intelligent robot using OpenCV
Bie et al. UAV recognition and tracking method based on YOLOv5
Syntakas et al. Object Detection and Navigation of a Mobile Robot by Fusing Laser and Camera Information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant