CN111679695A - 一种基于深度学习技术的无人机巡航及追踪系统和方法 - Google Patents
一种基于深度学习技术的无人机巡航及追踪系统和方法 Download PDFInfo
- Publication number
- CN111679695A CN111679695A CN202010801338.2A CN202010801338A CN111679695A CN 111679695 A CN111679695 A CN 111679695A CN 202010801338 A CN202010801338 A CN 202010801338A CN 111679695 A CN111679695 A CN 111679695A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- personnel
- dangerous
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000005516 engineering process Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 146
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 60
- 230000006399 behavior Effects 0.000 claims abstract description 42
- 230000005540 biological transmission Effects 0.000 claims abstract description 23
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 36
- 238000005259 measurement Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 230000009194 climbing Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及一种基于深度学习技术的无人机巡航及追踪系统和方法，包括巡航模式和追踪模式，巡航模式包括图像实时采集模块；危险物品、危险行为、危险人员检测模块；以及发现危险之后对地面指挥站的告警模块。追踪模式包括实时视频采集模块；已检测到的危险人员追踪模块；检测危险人员与无人机间距的激光测距模块；调整无人机飞行速度、方向的飞行控制模块；向地面指挥站共享无人机实时位置与实时拍摄视频的数据传输模块。本发明提供的无人机巡航系统和无人机追踪系统运行速度快、检测精度高、检测区域灵活，因此能保障告警的及时性，能弥补现有监控的不足之处，为广场等区域的人员安全提供实时保障。
Description
技术领域
本发明涉及公安、园区、广场等区域的安防监控领域及人员追踪领域，具体涉及一种基于深度学习技术的无人机巡航及追踪系统和方法。
背景技术
在火车站广场，商业广场，公园广场等区域内，由于人员相对密集，人群较为活跃，一旦出现危险物品、危险人员或危险行为，将带来较大危害，因此需要针对人员的安全隐患进行实时监控。
目前大多数广场都安装有固定相机，实现二十四小时监控。但还存在以下几点不足：首先，由于相机安装限制，一般多安装在广场边缘位置，中心区域很难清晰监测；其次相机安装往往有死角，死角区域无法监测，带来较高的安全隐患；最后，若出现需要特别关注目标人员，相机往往难以持续进行追踪。
除硬件上的缺陷以外，软件层面也有不足。依靠人工24小时现场值班看守或远程紧盯屏幕值班看守已经不是一个高效的解决方法。随着图像处理技术和计算机视觉技术的发展和应用推广，近年来利用基于机器视觉技术的智能视频分析系统已经应用到图像、视频检测中。但目前还未有有效手段对广场区域内的危险物品、危险人员或危险行为进行及时有效的检测与告警。
发明内容
针对现有技术存在的不足，本发明提供一种基于深度学习技术的无人机巡航及追踪系统，它弥补固定相机在监控方面的不足，利用无人机搭载的可见光摄像头，按设定频率获取实时图像，将图像输入到深度神经网络模型，通过前向运算检测图像中目标的类别，若检测到图像中有危险物品、危险行为，则立刻像指挥站告警；若检测到危险人员，则无人机切换为追踪模式，对危险人员进行高空追踪，并实时将图像与位置发给指挥站。
为实现上述目的，本发明采用的技术方案包括：一种基于深度学习技术的无人机巡航及追踪系统，其特征在于：包括图像实时采集模块，用于从无人机搭载的可见光摄像头（即可见光摄像机）中获取巡航监测区域的实时图像；
危险检测模块，用于检测危险物品、危险行为、危险人员；
实时告警模块，用于在危险检测模块检测到危险物品、危险行为时向地面指挥站告警；
实时视频采集模块，用于在无人机追踪模式下实时采集视频；
人员追踪模块，用于追踪危险人员；
激光测距模块，用于检测危险人员与无人机间距；
飞行控制模块，用于调整无人机飞行速度、方向；
数据传输模块，用于向地面指挥站共享无人机信息和/或危险人员信息；
图像实时采集模块、危险检测模块、实时告警模块在无人机巡航模式下运行；
实时视频采集模块、人员追踪模块、激光测距模块、飞行控制模块、数据传输模块在无人机追踪模式下运行；
无人机巡航模式为无人机初始化模式，无人机在巡航模式下检测到危险人员时切换为无人机追踪模式。
优选的，危险检测模块使用深度学习目标检测算法检测危险物品，使用深度学习目标检测算法和ReID算法检测危险人员，深度学习目标检测模型训练包括目标分类-图像采集-图像标注-图像训练-生成模型-模型测试-模型调优；危险人员的检测步骤为：对危险人员库中的人员和图像实时采集模块采集的图像中的人员，通过ReID算法进行匹配，计算得出图像实时采集模块采集的图像中人员是否属于危险人员数据库(即危险人员库)中。
数据传输模块中，所述的无人机信息包括无人机实时位置、实时拍摄的视频、飞行速度（即由无人机自带的速度传感器检测到的无人机实时飞行速度）、航向角的一种或几种，所述危险人员信息包括危险人员的坐标、危险人员与无人机的距离信息的一种或两种。
无人机追踪模式下由飞行控制模块控制无人机进行自动追踪飞行，在自动追踪飞行过程中可由地面指挥站的控制人员对无人机进行飞行控制或给无人机下发停止追踪指令或切换追踪目标指令；无人机处理飞行指令时，人员控制指令优先级大于自动追踪飞行控制命令。
无人机在巡航模式下检测到一个或多个危险人员后，对危险人员图像及该图像是否为危险人物的置信度信息进行存储；无人机切换为追踪模式；人员追踪模块从存储路径（即上述所存储的危险人员图像及该图像是否为危险人物的置信度信息，以下同）下找出置信度最高的危险人员图像，生成临时追踪库（即置信度最高的危险人员图像进入临时追踪库中，作为第一次检测的目标图像）；默认置信度最高的危险人员图像（即临时追踪库中的图像）为ReID算法第一次检测的目标图像，此为ReID算法（即ReID模块）的初始化过程；并对实时视频采集模块采集的视频进行当前帧图像提取，使用深度学习目标检测算法对当前帧图像进行人员检测；若检测到当前帧图像中有人，则调用ReID模块检测该人是否是需要追踪的危险人员（即当前帧图像人员是否与ReID算法的目标图像为同一人，以下同），若是危险人员，则追踪成功，并更新ReID模块的追踪目标图像（即用当前帧图像替换临时追踪库的目标图像），作为下一次循环（下一次检测，指的是下一帧追踪）时追踪的目标图像。即，在ReID算法第二次检测、第三次检测…时人员追踪模块分别使用上一帧追踪成功的图像与检测的当前帧图像的人员进行对比（如果还没产生上一帧追踪成功的图像，则仍使用置信度最高的危险人员图像）。由于在持续追踪过程中，某个或某些帧图像会追踪失败，因此上一帧追踪成功的图像未必是当前帧的上一帧，而是当前帧之前的追踪成功的那一帧图像。
追踪模式下，可通过数据传输模块接受地面指挥站的切换追踪目标的指令；当无人机收到切换追踪目标指令后，从之前存储路径（即前述所存储的危险人员图像及该图像是否为危险人物的置信度信息，以下同）找到对应的危险人员图像，用于替换现有的临时追踪库中目标图像；再次初始化ReID模块的追踪目标为临时追踪库中对应的切换后的危险人员图像；对实时视频采集模块采集的视频进行当前帧图像提取，使用深度学习目标检测算法对当前帧图像进行人员检测；若检测到图像中有人，则调用ReID模块检测该人是否是需要追踪的危险人员；若是危险人员，则追踪成功，并用当前帧图像替换临时追踪库的目标图像，作为下一帧追踪时的目标图像。
对临时追踪库的说明：在巡航模式下，检测到危险人员之后，会存储下所有危险人员的图像和置信度。当切换为追踪模式之后，无人机从存储路径下找出置信度最高的人员图像，生成临时追踪库。然后每一次追踪成功时，更新这个临时追踪库中的图像。当追踪失败或目标人员消失，删除临时追踪库。当收到操作员的切换追踪目标指令时，从之前存储路径找到对应的人员图像，并替换掉现有的临时追踪库中图像，再追踪；临时追踪库中，永远只有一个人的目标图像。
当成功在当前帧图像中检测到需要追踪的危险人员后，根据当前帧图像中检测出的危险人员的坐标位置（由深度学习目标检测算法得出并返回该坐标位置），调用无人机搭载的激光测距模块，测量得出无人机与危险人员的实际距离；
飞行控制模块通过人员追踪模块得到危险人员在图像中的坐标，并通过图像坐标换算得出无人机搭载的可见光摄像机的云台偏向角度，调整云台转向，使云台正向对准危险人员，再通过云台的惯性测量单元（即IMU，下同）与无人机的惯性测量单元夹角，得到无人机的偏向角度。飞行控制系统(即飞行控制模块)得到无人机的偏向角度后，调整无人机自身方向，使得无人机机头方向与云台指向一致，同时保证被追踪人员位于无人机拍摄画面的中心,采用这样的飞行控制方式,可以最大限度地保证能持续追踪到人,防止危险人员趋向于画面边缘而造成追踪失败；通过激光测距模块得到的无人机与危险人员的实际距离，对比预先设定的无人机安全距离，得出无人机飞行方向（若无人机与危险人员的实际距离小于设定阈值，则往后飞，拉远距离；若无人机与危险人员的实际距离大于设定阈值，则往前飞，拉近距离；）、速度（根据设定阈值与实测距离之间差值，得到无人机飞行速度，实测距离即无人机与危险人员的实际距离）；最终控制无人机对危险人员进行追踪（即由飞行控制模块控制无人机按照上述得出的飞行方向和无人机飞行速度进行飞行），并保障无人机与危险人员有一定距离；其中设定阈值为无人机安全距离。
无人机在追踪的过程中，通过数据传输模块将无人机的GPS信息、采集的视频、飞行速度、航向角、危险人员的坐标、危险人员与无人机的距离信息的一种或几种传输到地面指挥站。
本发明还提供一种基于深度学习技术的无人机巡航及追踪方法，包括如下步骤：
无人机巡航模式为无人机初始化模式，无人机在巡航模式下检测到危险人员时切换为无人机追踪模式；
无人机巡航模式下，从无人机搭载的可见光摄像头中获取巡航监测区域的实时图像，调用深度学习目标检测算法，检测实时图像中是否有危险物品、危险行为或危险人员；对危险人员数据库中的人员和图像实时采集模块采集的图像中的人员，通过ReID算法进行匹配，计算得出图像实时采集模块采集的图像中人员是否属于危险人员数据库中；
无人机在巡航模式下检测到危险人员时，将危险人物图像及对应该图像是否为危险人物的置信度信息进行存储，且无人机切换为追踪模式；人员追踪模块从存储路径下找出置信度最高的危险人员图像，生成临时追踪库，默认选择置信度信息最高的危险人员图像作为ReID算法第一次检测的目标图像，对ReID算法进行初始化；对视频采集模块采集的视频进行当前帧图像提取，使用深度学习目标检测算法对图像进行人员检测；若检测到图像中有人，则调用ReID模块检测该人是否是需要追踪的危险人员，若是危险人员，则追踪成功，并用当前帧图像替换临时追踪库的目标图像，作为下一帧追踪时的目标图像。当成功在当前帧图像中检测到需要追踪的危险人员后，根据当前帧图像中检测出的危险人员的坐标位置，调用无人机搭载的激光测距模块，测量得出无人机与危险人员的实际距离；飞行控制模块通过人员追踪模块得到危险人员在图像中的坐标，并通过图像坐标换算得出无人机搭载的可见光摄像机的云台偏向角度，调整云台转向，使云台正向对准危险人员，再通过云台的惯性测量单元（即IMU，下同）与无人机的惯性测量单元夹角，得到无人机的偏向角度。飞行控制系统得到无人机的偏向角度后，调整无人机自身方向，使得无人机机头方向与云台指向一致，同时保证被追踪人员位于无人机拍摄画面的中心；通过激光测距模块得到的无人机与危险人员的实际距离，对比预先设定的无人机安全距离，得出无人机飞行方向（若距离小于设定阈值，则往后飞，拉远距离；若距离大于设定阈值，则往前飞，拉近距离；）、速度（根据设定阈值与实测距离之间差值，得到无人机飞行速度）；最终控制无人机对危险人员进行追踪，并保障无人机与危险人员有一定距离；无人机在自动追踪的过程中，通过数据传输模块将无人机的GPS信息、采集的视频、飞行速度、航向角、危险人员的坐标、危险人员与无人机的距离信息的一种或几种传输到地面指挥站。
追踪模式下，可通过数据传输模块，接受地面指挥站的切换追踪目标的指令；当无人机收到切换追踪目标指令后，从之前存储路径找到对应的危险人员图像，并替换掉现有的临时追踪库中目标图像；再次初始化ReID模块的追踪目标为临时追踪库中对应的切换后的目标人员图像；对实时视频采集模块采集的视频进行当前帧图像提取，使用深度学习目标检测算法对当前帧图像进行人员检测；若检测到图像中有人，则调用ReID模块检测该人是否是需要追踪的危险人员；若是危险人员，则追踪成功，并用当前帧图像替换临时追踪库的目标图像，作为下一帧追踪时的目标图像；当成功在当前帧图像中检测到需要追踪的危险人员后，根据当前帧图像中检测出的危险人员的坐标位置，调用无人机搭载的激光测距模块，测量得出无人机与危险人员的实际距离；飞行控制模块通过人员追踪模块得到危险人员在图像中的坐标，并通过图像坐标换算得出无人机搭载的可见光摄像机的云台偏向角度，调整云台转向，使云台正向对准危险人员，再通过云台的惯性测量单元（即IMU，下同）与无人机的惯性测量单元夹角，得到无人机的偏向角度。飞行控制模块得到无人机的偏向角度后，调整无人机自身方向，使得无人机机头方向与云台指向一致，同时保证被追踪人员位于无人机拍摄画面的中心；通过激光测距模块得到的无人机与危险人员的实际距离，对比预先设定的无人机安全距离，得出无人机飞行方向（若距离小于设定阈值，则往后飞，拉远距离；若距离大于设定阈值，则往前飞，拉近距离；）、速度（根据设定阈值与实测距离之间差值，得到无人机飞行速度）；最终控制无人机对危险人员进行追踪，并保障无人机与危险人员有一定距离；无人机在追踪的过程中，通过数据传输模块将无人机的GPS信息、采集的视频、飞行速度、航向角、危险人员的坐标、危险人员与无人机的距离信息的一种或几种传输到地面指挥站；
追踪失败或目标人员消失的判断步骤：若当前帧未追踪成功，则追踪丢失计数增加1（当无人机设置为追踪模式时，会默认设置原始的追踪丢失计数为0)，当追踪丢失计数增大到设定值时，认定无人机追踪失败或目标人员已消失，将无人机还原为巡航模式，继续进行巡航，同时删除临时追踪库。当无人机追踪失败（追踪丢失计数达到设定阈值后判定为追踪失败），或无人机收到地面指挥站的切换追踪目标的指令时，均需将当前的追踪丢失计数清零，保证之前的追踪丢失记录不会影响到下一次的危险人员追踪结果。其中追踪失败与目标人员消失等同。
值得一提的是，只有在巡航模式下检测到危险人员时才会切换成追踪模式，而进入追踪模式后，首先以置信度最高的危险人员图像作为ReID第一次检测的目标图像完成初始化，进行第一个循环的追踪，依次类推（此为默认追踪过程）；在任一循环过程中接到地面指挥站的切换追踪目标的指令时，首先需完成当前循环的追踪，再执行切换追踪目标的指令，继续追踪。而在追踪模式下，主要包括以下几种运行方式：1始终为默认追踪过程，追踪失败或目标人员消失时自动停止追踪；2始终为默认追踪过程，由地面指挥站下令停止追踪；3先为默认追踪过程，后切换追踪目标（可以先后切换多个目标，每次均重新初始化），追踪失败或目标人员消失时自动停止追踪；4先为默认追踪过程，后切换追踪目标，最后由地面指挥站下令停止追踪。在这些运行模式中，始终持续执行上一段的追踪失败或目标人员消失的判断步骤。
优选的，在无人机巡航模式下，当检测到实时图像中有危险物品、危险行为，则由实时告警模块向地面指挥站告警。
本发明的又一个目的是提供一种基于深度学习技术的无人机巡航及追踪方法，包括如下步骤：启动无人机与地面指挥站，并设定无人机为初始化状态，即无人机开启巡航模式；在无人机巡航过程中，调用无人机搭载的可见光摄像机，抓拍实时图像，同时调用深度学习目标检测算法，通过已训练完成的深度学习目标检测模型，进行目标检测；从检测结果中，筛选是否有危险物品，是否有危险行为，是否有危险人员；当出现危险物品或危险行为时，实时告警模块将检测结果中的类别信息、坐标信息发送给地面指挥站；当检测到实时图像中有人员出现时，需再次调用ReID模块，与危险人员数据库进行比对，看检测出的人员是否存在于危险人员数据库中，若存在，则对危险人员图像及该图像是否为危险人物的置信度信息进行存储，并设置无人机为追踪模式；
在无人机追踪模式下，无人机图像采集方式切换为连续视频采集方式；默认选择存储路径（即上述所存储的危险人员图像及该图像是否为危险人物的置信度信息，以下同）中置信度信息最高的危险人员图像作为ReID算法第一次检测的目标图像，对ReID算法进行初始化；并对实时视频采集模块采集的视频进行当前帧图像提取，使用深度学习目标检测算法对当前帧图像进行人员检测；若当前帧中检测出存在人员，则算法会返回出相应的人员坐标；此时将检测出的人员送入ReID算法中，与已初始化的目标人员做特征匹配；若算法判断为同一人，则认为追踪成功，用当前帧图像替换临时追踪库的目标图像，作为下一帧追踪时的目标图像；调用无人机搭载的激光测距仪，针对检测给出的目标人员坐标，进行激光测距，得到无人机与目标人员的距离；飞行控制模块通过人员追踪模块得到危险人员在图像中的坐标，并通过图像坐标换算得出无人机搭载的可见光摄像机的云台偏向角度，调整云台转向，使云台正向对准危险人员，再通过云台的惯性测量单元（即IMU，下同）与无人机的惯性测量单元夹角，得到无人机的偏向角度。飞行控制系统得到无人机的偏向角度后，调整无人机自身方向，使得无人机机头方向与云台指向一致，同时保证被追踪人员位于无人机拍摄画面的中心；通过激光测距模块得到的无人机与危险人员的实际距离，对比预先设定的无人机安全距离，得出无人机飞行方向（若距离小于设定阈值，则往后飞，拉远距离；若距离大于设定阈值，则往前飞，拉近距离；）、速度（根据设定阈值与实测距离之间差值，得到无人机飞行速度）；最终控制无人机对危险人员进行追踪，并保障无人机与危险人员有一定距离；同时，无人机将GPS信息、采集的视频、飞行速度、航向角、危险人员的坐标、危险人员与无人机的距离信息的一种或几种传输到地面指挥站；若当前帧未追踪成功，则追踪丢失计数增加1，当追踪丢失计数增大到设定值时，认定无人机追踪失败或目标人员已消失，将无人机还原为巡航模式，继续进行巡航。
无人机追踪模式下，当无人机收到切换追踪目标指令后，再次初始化ReID模块的追踪目标为对应的切换后的目标人员图像；并对实时视频采集模块采集的视频进行当前帧图像提取，使用深度学习目标检测算法对当前帧图像进行人员检测；若当前帧中检测出存在人员，则算法会返回出相应的人员坐标；此时将检测出的人员送入ReID算法中，与已初始化的目标人员做特征匹配；若算法判断为同一人，则认为追踪成功，并用当前帧图像替换临时追踪库的目标图像，作为下一帧追踪时的目标图像；调用无人机搭载的激光测距仪，针对检测给出的目标人员坐标，进行激光测距，得到无人机与目标人员的距离；飞行控制模块通过人员追踪模块得到危险人员在图像中的坐标，并通过图像坐标换算得出无人机搭载的可见光摄像机的云台偏向角度，调整云台转向，使云台正向对准危险人员，再通过云台的惯性测量单元（即IMU，下同）与无人机的惯性测量单元夹角，得到无人机的偏向角度。飞行控制系统得到无人机的偏向角度后，调整无人机自身方向，使得无人机机头方向与云台指向一致，同时保证被追踪人员位于无人机拍摄画面的中心；通过激光测距模块得到的无人机与危险人员的实际距离，对比预先设定的无人机安全距离，得出无人机飞行方向（若距离小于设定阈值，则往后飞，拉远距离；若距离大于设定阈值，则往前飞，拉近距离；）、速度（根据设定阈值与实测距离之间差值，得到无人机飞行速度）；最终控制无人机对危险人员进行追踪，并保障无人机与危险人员有一定距离；同时，无人机将GPS信息、采集的视频、飞行速度、航向角、危险人员的坐标、危险人员与无人机的距离信息的一种或几种传输到地面指挥站；若当前帧未追踪成功，则追踪丢失计数增加1，当追踪丢失计数增大到设定值时，认定无人机追踪失败或目标人员已消失，将无人机还原为巡航模式，继续进行巡航。
无人机追踪模式下由飞行控制模块控制无人机进行自动追踪飞行，在自动追踪飞行过程中可由控制人员对无人机进行飞行控制或给无人机下发停止追踪指令或切换追踪目标指令；无人机处理飞行指令时，人员控制指令优先级大于自动追踪飞行控制命令。自动追踪飞行控制命令是指：在无人机追踪模式下，检测到无人机与危险人员的距离及偏转角之后，飞行控制模块控制无人机朝向或远离危险人员飞行的命令。
当无人机追踪失败，即追踪丢失计数达到设定阈值后判定为追踪失败，或无人机收到地面指挥站的切换追踪目标的指令时，需将当前的追踪丢失计数清零，保证之前的追踪丢失记录不会影响到下一次的危险人员追踪结果。
综上所述，本发明提供的一种基于深度学习技术的无人机巡航及追踪系统，系统运行速度快、检测精度高、检测区域灵活，因此能保障告警的及时性，能弥补现有监控的不足之处，为广场等区域的人员安全提供实时保障。
本发明能够检测危险物品、危险行为并告警，满足实时安保需求；且只有在检测到危险人员的情况下，无人机才切换为追踪模式，对危险人员进行高空追踪，并实时将图像与位置发给指挥站，保证了追踪模式仅在必要时开启，减少了系统复杂度，提高运行速度；同时保证对危险人员的实时追踪，通过视频采集模块、人员追踪模块、激光测距模块、飞行控制模块等保证无人机的自动追踪飞行、且使危险人员位于画面的正中心，同时地面指挥站还可向无人机发送控制指令（停止追踪、切换追踪目标等），其控制方式更为灵活，进一步提升追踪效率。
附图说明
图1. 一种基于深度学习技术的无人机巡航及追踪系统模块示意图；
图2. 无人机巡航模式架构及流程图；
图3. 无人机追踪模式架构及流程图；
图4. 深度学习目标检测一般流程示意图；
图5. 相机云台偏向角计算示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述：
本发明提供的一种基于深度学习技术的无人机巡航及追踪系统的示意图如图1所示，它包含无人机的两种模式，及八个功能模块。第一种模式是无人机巡航模式，为无人机初始化模式，该模式包含三个功能模块，分别是图像实时采集模块；危险物品、危险行为、危险人员检测模块；以及发现危险之后对地面指挥站的告警模块。第二种模式是无人机追踪模式，由无人机在巡航模式下检测到危险人员时触发，该模式包含五个功能模块，分别是实时视频采集模块；已检测到的危险人员追踪模块；检测危险人员与无人机间距的激光测距模块；调整无人机飞行速度、方向的飞行控制模块；向地面指挥站共享无人机实时位置与实时拍摄视频的数据传输模块。
下面针对以上两个模式，八个功能模块中涉及的技术方案进行详细说明：
第一个无人机模式为无人机巡航模式，该模式分为两种状态，可以进行无人操控的定线巡航，也可支持人为的操控巡航路线。
无人机巡航模式的第一个功能模块为图像实时采集模块，如图2中的①。从无人机搭载的可见光摄像头中获取巡航监测区域的实时图像，摄像头通过可以随时设置的频率进行抓拍。针对监控现场的网络环境、客户需求和其他实际条件，无人机可以选择将抓拍的图像直接在无人机端进行异常检测的智能无人机，也可以选择将抓拍的图片发往地面指挥站的普通无人机。
无人机巡航模式的第二个功能模块为危险检测模块，如图2中的②。危险检测模块使用深度学习目标检测的算法，主要分为三大类，分别是危险物品检测、危险行为检测、危险人员检测。其中，危险物品检测又可细分为刀具检测、枪械检测、其他武器检测、危险容器检测、违规车辆检测和/或其他客户所需求的危险物品的检测；危险行为检测又可细分为异常人员聚集、人员摔倒、人员斗殴、人员攀爬、危险区域入侵和/或其他客户所需求的危险行为的检测；危险人员的检测提供一个危险人员图片库（即危险人员数据库），可支持危险人员在库中的增删查改等操作。对危险人员数据库中的人员和实时采集的图像中的人员，通过ReID算法进行匹配，计算得出图像中人员是否属于危险人员库中。请注意，这里的危险物品、危险行为均属于车站、广场等区域定义危险物品、危险行为的常规范畴。
同时，当无人机在巡航模式下检测到一个或多个危险人员时，会将全部危险人员图像进行存储，存储内容包含危险人物图像，及对应该图像是否为危险人物的置信度信息。
无人机巡航模式的第三个功能模块为实时告警模块，如图2中的③。当上一步骤中，危险检测模块检测出图像中有危险物品，或危险行为时，实时告警模块会将检测结果中的类别信息、坐标信息、置信度信息发送给地面指挥站,此外，实时告警模块还可以将检测结果中的其它信息（其它客户所需要的信息，例如目标在画面中的比例等）发送给地面指挥站。指挥站收到告警消息之后，可以根据告警消息的类别，来判断应该如何处理危险情况。类别信息、坐标信息、置信度信息由深度学习目标检测算法直接得出；类别信息是指目标的类别，比如属于哪一类危险物品，或哪一类危险行为；坐标信息是指该检测出的目标，在画面中的坐标位置，一般由坐上角顶点的x、y值及目标框的长、宽，四个数值组成；置信度信息是指目标检测算法，检测得出该目标是已分类完成的待检测的目标的可靠度信息，该信息以小于1的小数形式呈现，越接近1表明置信度越高，即该目标是待检测目标的可能性越大。
第二个无人机模式为无人机追踪模式，该模式下无人机进行自动追踪飞行。同时控制人员可以对无人机进行飞行控制，也可以给无人机下发停止追踪指令或切换追踪目标的指令。无人机上处理飞行指令时，人员控制指令优先级大于自动追踪飞行控制命令。
无人机追踪模式的第一个功能模块为视频采集模块，如图3中的①。当无人机成功切换为追踪模式时，图像采集方式将由之前定时抓拍图像的方式，切换为连续视频采集方式（即由无人机搭载的摄像机进行连续视频拍摄），视频采集帧率可以设置。针对监控现场的网络环境、客户需求和其他实际条件，无人机可以选择将视频直接在无人机端进行异常检测的智能无人机，也可以选择将视频发往地面指挥站的4G/5G通信无人机。
无人机追踪模式的第二个功能模块为人员追踪模块，如图3中的②。当无人机切换为追踪模式时，人员追踪模块从存储路径下找出置信度最高的危险人员图像，生成临时追踪库；默认选择置信度信息最高的危险人员图像作为ReID算法第一次检测的目标图像，此即对ReID算法进行初始化的过程。ReID模块初始化后，将视频采集模块采集的视频进行当前帧图像提取，使用深度学习目标检测算法对当前帧图像进行人员检测。若当前帧图像中有人，则调用ReID模块检测该人是否是需要追踪的危险人员，若是危险人员，则追踪成功，并更新ReID模块的追踪目标图像(即用当前帧图像替换临时追踪库的目标图像)，作为下一次循环时追踪的目标（即临时追踪库始终用于保存目标图像，每次检测时通过ReID模块比对临时追踪库的目标图像中人员与当前帧图像中人员是否为同一人）。
在无人机追踪模式下，可通过数据传输模块，接受地面指挥站的指令。地面指挥站无人机操作人员，可以切换追踪目标。当无人机收到切换追踪目标指令后，会再次初始化ReID模块的追踪目标为临时追踪库中对应的切换后的目标人员图像。之后，将视频采集模块采集的视频进行当前帧图像提取，使用深度学习目标检测算法对当前帧图像进行人员检测。若当前帧图像中有人，则调用ReID模块检测该人是否是需要追踪的危险人员，若是危险人员，则追踪成功，并更新ReID模块的追踪目标图像，作为下一次循环时追踪的目标。
无人机追踪模式的第三个功能模块为激光测距模块，如图3中的③。当人员追踪模块成功在当前帧图像中检测到需要追踪的危险人员后，根据当前帧图像中检测出危险人员的坐标位置（其为由深度学习目标检测算法得到的二维相对坐标，即人在图像中的坐标），调用无人机搭载的激光测距模块，测量得出无人机与危险人员的实际距离。
无人机追踪模式的第四个功能模块为飞行控制模块，如图3中的④。飞行控制模块通过人员追踪模块得到危险人员在图像中的坐标（其为由深度学习目标检测算法得到的二维相对坐标，即人在图像中的坐标,也即上一段中“危险人员的坐标位置”），并通过图像坐标换算得出无人机搭载的可见光摄像机的云台偏向角度，调整云台转向，使云台正向对准危险人员，再通过云台的惯性测量单元（即IMU，下同）与无人机的惯性测量单元夹角，得到无人机的偏向角度。飞行控制系统得到无人机的偏向角度后，调整无人机自身方向，使得无人机机头方向与云台指向一致，同时保证被追踪人员位于无人机拍摄画面的中心；通过激光测距模块得到的无人机与危险人员的实际距离，对比预先设定的无人机安全距离，得出无人机飞行方向（若距离小于设定阈值，则往后飞，拉远距离；若距离大于设定阈值，则往前飞，拉近距离；）、速度（根据设定阈值与实测距离之间差值，得到无人机飞行速度）；最终控制无人机对危险人员进行追踪，并保障无人机与危险人员有一定距离，保障无人机的安全。
无人机追踪模式的第五个功能模块为数据传输模块，如图3中的⑤。无人机在自动追踪的过程中，会将无人机的GPS信息、采集的视频、飞行速度、航向角等，及危险人员的坐标，危险人员与无人机的距离等信息都传输到地面指挥站。由于视频采集模块、人员追踪模块、激光测距模块和飞行控制模块的设置，在无控制人员操作的情况下已可保证无人机的自动追踪飞行；地面指挥站的无人机操作人员在收到上述信息之后，可以实时操控无人机，对无人机的方向、速度等进行调整；同时可以下发停止追踪指令，切换无人机为巡航模式等等。操控者的指令优先级大于无人机自动追踪飞行控制命令的优先级。
下面针对一个本发明的实施示例进行详细完整地描述，显然，这里所描述的实施示例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于深度学习技术的无人机巡航及追踪系统示意图如图1所示，它包含无人机的两种模式，及八个功能模块。第一种模式是无人机巡航模式，为无人机初始化模式，该模式包含三个功能模块，分别是图像实时采集模块；危险物品、危险行为、危险人员检测模块；以及发现危险之后对地面指挥站的告警模块。第二种模式是无人机追踪模式，无人机在巡航模式下检测到危险人员时触发，该模式包含五个功能模块，分别是实时视频采集模块；已检测到的危险人员追踪模块；检测危险人员与无人机间距的激光测距模块；调整无人机飞行速度、方向的飞行控制模块；向地面指挥站共享无人机实时位置与实时拍摄视频等信息的数据传输模块。
下面结合一个具体实例来详细描述一下一种基于深度学习技术的无人机巡航及追踪系统的实施过程。
首先，要进行深度学习目标检测的模型训练，如图4所示。需要按照需求，分类整理出需要检测的危险物品，如刀具、枪械、其他武器、危险液体容器、违规违章车辆等等；按照上述分类，分别通过网络爬虫，客户提供，自己主动采集等方式去收集相关图像，图像数量至少不低于每类500张；并按照类型将图像进行标注；然后将标注完成的数据和原始图像，放入深度学习训练算法和网络中进行深度学习模型的训练。此深度神经网络包含52层网络连接层，其中输入层的输入为3通道彩色图像，这里取图像分辨率为608像素*608像素。此深度神经网络的输出为已定义好的分类数量，表示输入图像属于哪种危险物品类别。此深度神经网络的中间层采用非常适合图像识别分类的多层卷积神经网络；随机抽取20%的样本作为验证样本，抽取80%的样本作为训练样本，将这些分类标注好的样本图像输入到深度神经网络的输入层。经过前向运算得到输出结果，将输出结果与实际值的误差进行反向传播（BP）算法运算，更新各神经元之间的连接参数；当对验证图像分类精度达到一定的阈值，这里取99.8%的正确率为阈值，或训练达到一定迭代次数（这里取最大迭代次数为100万次）后，结束深度神经网络的训练；等待训练完成之后，会生成相应的深度学习目标检测模型；利用得到的模型对未训练的图像进行测试，得到测试结果，并根据测试结果优化调整深度学习目标检测模型（如增加或减少网络层数，对网络进行剪枝，尝试不同的Loss计算方式，以及由于无人机拍摄画面中目标较小，因此采用更高分辨率图像、更高层的特征map等技巧进行多次训练迭代，最终得到效果最优的模型），请注意这里优化调整深度学习目标检测模型的过程不是必须的，即不经优化已可实现目标检测。采用这样的深度学习目标检测算法以检测危险物品。此外，采用相同的方法进行深度学习人员检测的模型训练、人员检测。
其次，定义危险行为分类，如异常人员聚集、人员摔倒、人员斗殴、人员攀爬、危险区域入侵等。需定义出危险行为的具体触发方式（使用危险行为检测方法），以摔倒举例，人员先站立或正常行走，在短时间之内人员的姿态由直立或蹲、坐变化为躺、卧、趴等姿态，并在一定时间内未恢复原状态，则定义为摔倒（即通过检测人员坐标的急剧变化得到摔倒这个行为），需要告警。其他危险行为与上述过程类似，需进行定向的逻辑编程开发，其均为现有技术，因此不作赘述。危险行为是根据深度学习目标检测算法得出的人员坐标，通过危险行为检测方法得到。而用于检测异常人员聚集（统计画面中人员数量，若人员数量达到设定数量阈值，则进行异常人员聚集告警）、人员摔倒（如上所述）、人员攀爬（首先标定禁止攀爬区域，当在该区域检测到人时，即判断出现攀爬行为）、危险区域入侵（首先标定危险区域，当在危险区域检测到人，即判断出现该危险行为）等行为的危险行为检测方法均为现有技术，因此不作详细描述。
再次，通过公安系统，或其他可行渠道，收集危险人员的图像，并存入危险人员数据库中。危险人员数据库可随时添加、删除、修改、查看，保证系统更新的实时性效果。当进行危险人员检测时，先将目标检测得到的人员图像（即深度学习目标检测算法检测到的人员图像）与危险人员数据库中所有图片进行图像尺寸归一化（由于人员大多为站姿，因此考虑到人体高宽比，把图像统一成384*128的图像）；再分别将检测得到的人员图像及危险人员库中人员图像分别送入特征提取网络，进行特征提取（我们选取ResNet50作为特征提取网络）；特征提取网络中，先将所有图像从高边分为三等分，即生成三张128*128图像，通过特征提取网络，分别将三等分之后的图像特征提取出来，再将三部分特征进行加权融合，生成对应单个人员图像的特征向量（此时，分别得到了所有目标检测出的人员的特征向量，及所有危险人员库中人员图像的特征向量）；再分别将所有目标检测出的人员的特征向量及所有危险人员库中人员图像的特征向量进行一一比对，计算他们之间的特征距离（欧氏距离）；再根据特征距离计算结果进行排序，排序越靠前，即欧氏距离越小，表示两张图像之间的相似率越高；最终设定相似率阈值为76%（该阈值可调），当相似率达到76%以上，则认为检测出的人员与危险人员库中人员为同一人，即检测出危险人员。以上内容即ReID算法（ReID模块）。
深度学习目标检测算法用于检测是否有人，是否有物，及物是什么。人员检测通过上面的深度神经网络进行训练、深度学习目标检测算法进行检测。通过前述的深度学习目标检测算法检测到人后，通过特征匹配算法（即ReID算法）与危险人员数据库进行比对。危险行为则是检测出人之后，通过危险行为检测方法检测得出，具体方法如摔倒的举例。
然后，在需要监控的区域部署无人机及地面指挥站。启动无人机与地面指挥站，并设定无人机为初始化状态，即无人机开启巡航模式。无人机的巡航模式可以进行无人操控的定线巡航，也可支持人为的操控巡航路线。在无人机巡航过程中，按照设定的时间，调用无人机搭载的可见光摄像机，抓拍实时图像。同时调用深度学习目标检测算法，通过已训练完成的深度学习目标检测模型，进行目标检测。从检测结果中，筛选是否有危险物品，是否有危险行为，是否有危险人员。当出现已定义的危险物品或已定义的危险行为时（这里的定义均是通过特定的算法和方法实现的，例如深度学习目标检测算法、危险行为检测方法），实时告警模块会将检测结果中的类别信息、坐标信息、置信度信息和/或其他客户所需求的信息发送给地面指挥站。指挥站收到告警消息之后，可以根据告警消息的类别，来判断应该如何处理危险情况。当检测到图像中有人员出现时，需再次调用ReID模块，与危险人员数据库进行比对，看检测出的人员是否存在于危险人员数据库中，若存在，则设置无人机为追踪模式。若上述危险物品、危险行为、危险人员都未出现，则等待采集下一帧图像，进入下一个逻辑循环。具体流程如图2所示。
接着，若无人机巡航时检测到危险人员，则触发追踪模式，即将无人机设置为追踪模式。该模式下，无人机图像采集方式将由之前定时抓拍图像的方式，切换为连续视频采集方式，视频帧率可以设置。人员追踪模块默认选择存储路径（即上述所存储的危险人员图像及该图像是否为危险人物的置信度信息，以下同）中置信度信息最高的危险人员图像作为ReID算法（即ReID模块,其与危险检测模块对危险人员检测时采用的ReID算法一样）第一次检测的目标图像（即追踪目标），以此对ReID算法进行初始化；调用视频抽帧算法（例如opencv自带的图像提取算法），从视频中提取当前帧图像，用于人员的检测，具体地，调用深度学习目标检测算法（其与危险检测模块中用于检测人的深度学习目标检测算法相同）进行人员检测，若当前帧中检测出存在人员，则深度学习目标检测算法会返回出相应的人员坐标。此时将检测出的人员送入ReID算法中，与已初始化的目标人员（即置信度信息最高的危险人员图像）做特征匹配。若ReID算法判断为同一人，则认为追踪成功，再用当前帧图像替换临时追踪库的目标图像，作为下一帧追踪时的目标图像。这时需要调用无人机搭载的激光测距仪（激光测距模块），针对检测给出的目标人员坐标（即深度学习目标检测算法给出的人员坐标），进行激光测距，得到无人机与目标人员的距离。根据上述流程，我们已经得到当前帧二维图像中人员坐标位置，及三维世界中无人机与追踪人员的距离。此时调用飞行控制模块。飞行控制模块通过人员追踪模块得到的危险人员在当前帧图像中的坐标（如图5中①），并通过图像坐标换算得出无人机搭载的可见光摄像机的云台偏向角度，具体过程为：假设图像为矩形，图像的四个顶点分别为A、B、C、D，且图像中心为O点，O点即摄像头云台指向的直线与图像采集平面的交点,以O点为中心，做两条线段，平行于图像的宽边和高边，分别为EF、GH。我们已得到危险人员在图像中的坐标，设坐标中心点为P，再从P点做线段分别垂直于EF、GH，线段与EF、GH的交点分别为M、N，M、N即P点分别在EF、GH线段上的投影，如图5中②所示。此时我们切换角度，从侧面来看，如图5中③。点O为图像中心点，G为图像上顶点A、B在线段G、H上的投影；H为图像下顶点C、D在线段G、H上的投影；M为危险人员坐标中心点P在线段G、H上的投影。由于云台的视野角α是已知的，因此我们可以通过三角函数求出角θ的值，角θ即为云台需要偏转的角度，具体公式如下：
由上式（3）可知，MO/GO已知，GP/LO已知，因此可以求出θ。上述为相机云台的左右偏转角求法，上下偏转角同理，因此不做赘述。
当云台指向调整完成(即根据计算得到的偏转角调整云台方向,使云台正对危险人员)。可得到云台的惯性测量单元（即IMU，下同）与无人机的惯性测量单元的夹角β（即云台的惯性测量单元IMU的水平偏向角与无人机的惯性测量单元IMU的水平偏向角相减即得到β，即为无人机的偏向角度。飞行控制系统得到无人机的偏向角度后，调整无人机自身方向（使其水平转动至前述的夹角β变为0），使得无人机机头方向与云台指向一致，同时保证被追踪人员位于无人机拍摄画面的中心；通过激光测距模块得到的无人机与危险人员的实际距离，对比预先设定的无人机安全距离，得出无人机飞行方向（为保障无人机飞行及追踪的安全，我们设定无人机与危险人员间的安全距离阈值（即无人机安全距离）为70米，当激光测距仪测得的实际距离小于设定阈值（设定阈值即无人机安全距离），飞控模块则控制无人机往后飞，拉远无人机与危险人员之间距离，保障无人机不被追踪人员恶意破坏；若实际距离大于设定阈值，则往前飞，拉近无人机与危险人员之间距离，保障无人机不会丢失追踪人员）、速度（取设定阈值与实测距离之间差值的绝对值开根号得到的值的整数部分，作为无人机飞行速度,例如实际距离为60m，那么飞行速度为3 m/s，往后飞，采用这样的计算公式，对速度精确调控且计算简单）；最终控制无人机对危险人员进行追踪（即由飞行控制模块控制无人机按照上述得出的飞行方向和无人机飞行速度进行飞行），并保障无人机与危险人员有一定距离，保障无人机的安全。同时，无人机需要将GPS信息、采集的视频、飞行速度、航向角等，及危险人员的坐标，危险人员与无人机的距离等信息都传输到地面指挥站，同时开启下一次追踪的逻辑循环过程。无人机操作人员在收到上述信息之后，可以实时操控无人机，对无人机的方向、速度等进行调整；同时可以下发停止追踪指令，切换无人机为巡航模式或切换追踪目标指令等等。操控者的指令优先级大于无人机自动追踪飞行的优先级。若上述情况未发生，则会将系统内置的追踪丢失计数增加1，当追踪丢失计数增大到设定值（设定的阈值）时，认定无人机追踪失败，或目标人员已消失，将无人机还原为巡航模式，继续进行巡航。追踪丢失计数一般设计为帧率乘以时间的计算形式，帧率及时间都可以认为设置，便于使用者根据不同场景、不同需求随时调试系统。具体流程如图3所示。
追踪模式下（即在无人机自动追踪飞行过程中），可通过数据传输模块，接受地面指挥站的切换追踪目标的指令(该指令由地面指挥站控制人员给出)；当无人机收到切换追踪目标指令后，会从之前存储路径找到对应的危险人员图像，并替换掉现有的临时追踪库中目标图像；再次初始化ReID模块的追踪目标为临时追踪库中对应的切换后的目标人员图像；然后，调用视频抽帧算法，从视频中提取当前帧图像，用于人员的检测，具体地，调用深度学习目标检测算法进行人员检测，若当前帧中检测出存在人员，则深度学习目标检测算法会返回出相应的人员坐标。此时将检测出的人员送入ReID算法中，与重新初始化的目标人员（即切换后危险人员图像）做特征匹配。若算法判断为同一人，则认为追踪成功,再用当前帧图像替换临时追踪库的目标图像，作为下一帧追踪时的目标图像。调用无人机搭载的激光测距仪，针对检测给出的目标人员坐标，进行激光测距，得到无人机与目标人员的距离；飞行控制模块通过人员追踪模块得到危险人员在当前帧图像中的坐标，并通过图像坐标换算得出无人机搭载的可见光摄像机的云台偏向角度，调整云台转向，使云台正向对准危险人员，再通过云台的惯性测量单元（即IMU，下同）与无人机的惯性测量单元夹角，得到无人机的偏向角度。飞行控制模块得到无人机的偏向角度后，调整无人机自身方向，使得无人机机头方向与云台指向一致，同时保证被追踪人员位于无人机拍摄画面的中心；通过激光测距模块得到的无人机与危险人员的实际距离，对比预先设定的无人机安全距离，得出无人机飞行方向（为保障无人机飞行及追踪的安全，我们设定无人机与危险人员间的安全距离阈值为70米，当激光测距仪测得的距离小于设定阈值，飞控模块则控制无人机往后飞，拉远无人机与危险人员之间距离，保障无人机不被追踪人员恶意破坏；若距离大于设定阈值，则往前飞，拉近无人机与危险人员之间距离，保障无人机不会丢失追踪人员）、速度（取设定阈值与实测距离之间差值的绝对值开根号得到的值的整数部分，作为无人机飞行速度）；最终控制无人机对危险人员进行追踪，并保证无人机与危险人员有一定距离；同时，无人机将GPS信息、采集的视频、飞行速度、航向角、危险人员的坐标、以及危险人员与无人机的距离信息传输到地面指挥站，同时开启下一次追踪的逻辑循环过程（人员追踪、激光测距、飞行控制、数据传输等）。无人机操作人员在收到上述信息之后，可以实时操控无人机，对无人机的方向、速度等进行调整；同时可以下发停止追踪指令等，切换无人机为巡航模式等等。若当前帧未追踪成功，则追踪丢失计数增加1，当追踪丢失计数增大到设定值时，认定无人机追踪失败或目标人员已消失，将无人机还原为巡航模式，继续进行巡航。实际上，除了切换目标图像，其它步骤和原理均与上面三段无人机切换为追踪模式后的步骤和原理相同。
在以上过程中，当无人机追踪失败（追踪丢失计数达到设定阈值后判定为追踪失败），或无人机收到地面指挥站的切换追踪目标的指令时，需将当前的追踪丢失计数清零，保证之前的追踪丢失记录不会影响到下一次的危险人员追踪结果。
本发明提供的一种基于深度学习技术的无人机巡航及追踪系统，以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。上述实施仅是本发明的较佳实施例，凡是依据本发明所做的任何修改和改变，均应包含在本发明专利的保护范围。
Claims (10)
1.一种基于深度学习技术的无人机巡航及追踪系统，其特征在于：
包括图像实时采集模块，用于从无人机搭载的可见光摄像头中获取巡航监测区域的实时图像；
危险检测模块，用于检测危险物品、危险行为、危险人员；
实时告警模块，用于在危险检测模块检测到危险物品、危险行为时向地面指挥站告警；
实时视频采集模块，用于在无人机追踪模式下实时采集视频；
人员追踪模块，用于追踪危险人员；
激光测距模块，用于检测危险人员与无人机间距；
飞行控制模块，用于调整无人机飞行速度、方向；
数据传输模块，用于向地面指挥站共享无人机信息和/或危险人员信息；
图像实时采集模块、危险检测模块、实时告警模块在无人机巡航模式下运行；
实时视频采集模块、人员追踪模块、激光测距模块、飞行控制模块、数据传输模块在无人机追踪模式下运行；
无人机巡航模式为无人机初始化模式，无人机在巡航模式下检测到危险人员时切换为无人机追踪模式。
2.根据权利要求1所述的一种基于深度学习技术的无人机巡航及追踪系统，其特征在于：危险检测模块使用深度学习目标检测算法检测危险物品，使用深度学习目标检测算法和ReID算法检测危险人员；深度学习目标检测模型训练包括目标分类、图像采集、图像标注、图像训练、生成模型、模型测试和模型调优；危险人员的检测步骤为：对危险人员数据库中的人员和图像实时采集模块采集的图像中的人员，通过ReID算法进行匹配，计算得出图像实时采集模块采集的图像中人员是否属于危险人员数据库中；数据传输模块中，所述的无人机信息包括无人机实时位置、实时拍摄的视频、飞行速度、航向角的一种或几种，所述危险人员信息包括危险人员的坐标、危险人员与无人机的距离信息的一种或两种。
3.根据权利要求1所述的一种基于深度学习技术的无人机巡航及追踪系统，其特征在于：无人机追踪模式下由飞行控制模块控制无人机进行自动追踪飞行，在自动追踪飞行过程中可由地面指挥站的控制人员对无人机进行飞行控制或给无人机下发停止追踪指令或切换追踪目标指令；无人机处理飞行指令时，人员控制指令优先级大于自动追踪飞行控制命令。
4.根据权利要求1所述的一种基于深度学习技术的无人机巡航及追踪系统，其特征在于：无人机在巡航模式下检测到危险人员时，对危险人员图像及该图像是否为危险人物的置信度信息进行存储，且无人机切换为无人机追踪模式；
人员追踪模块从存储路径下找出置信度最高的危险人员图像，生成临时追踪库，默认选择置信度最高的危险人员图像为ReID算法第一次检测的目标图像，对ReID算法进行初始化；并对实时视频采集模块采集的视频进行当前帧图像提取，使用深度学习目标检测算法对当前帧图像进行人员检测；若检测到图像中有人，则调用ReID模块检测该人是否是需要追踪的危险人员；若是危险人员，则追踪成功，并用当前帧图像替换临时追踪库的目标图像，作为下一帧追踪时的目标图像；
追踪模式下，可通过数据传输模块接受地面指挥站的切换追踪目标的指令；当无人机收到切换追踪目标指令时，从之前存储路径找到对应的危险人员图像，用于替换现有的临时追踪库中目标图像；再次初始化ReID模块的追踪目标为临时追踪库中对应的切换后的危险人员图像；对实时视频采集模块采集的视频进行当前帧图像提取，使用深度学习目标检测算法对当前帧图像进行人员检测；若检测到图像中有人，则调用ReID模块检测该人是否是需要追踪的危险人员；若是危险人员，则追踪成功，并用当前帧图像替换临时追踪库的目标图像，作为下一帧追踪时的目标图像。
5.根据权利要求4所述的一种基于深度学习技术的无人机巡航及追踪系统，其特征在于：当成功在当前帧图像中检测到需要追踪的危险人员后，根据当前帧图像中检测出的危险人员的坐标位置，调用无人机搭载的激光测距模块，测量得出无人机与危险人员的实际距离；
飞行控制模块通过人员追踪模块得到危险人员在图像中的坐标，并通过图像坐标换算得出无人机搭载的可见光摄像机的云台偏向角度，调整云台转向，使云台正向对准危险人员，再通过云台的惯性测量单元与无人机的惯性测量单元的夹角，得到无人机的偏向角度；飞行控制系统得到无人机的偏向角度后，调整无人机自身方向，使得无人机机头方向与云台指向一致，同时保证被追踪人员位于无人机拍摄画面的中心；通过激光测距模块得到的无人机与危险人员的实际距离，对比预先设定的无人机安全距离，得出无人机飞行方向，若实际距离小于设定阈值，则往后飞，拉远距离；若实际距离大于设定阈值，则往前飞，拉近距离；根据设定阈值与实际距离之间差值，得到无人机飞行速度；最终控制无人机对危险人员进行追踪，并保障无人机与危险人员有一定距离；
无人机在追踪的过程中，通过数据传输模块将无人机的GPS信息、采集的视频、飞行速度、航向角、危险人员的坐标、危险人员与无人机的距离信息的一种或几种传输到地面指挥站。
6.一种基于深度学习技术的无人机巡航及追踪方法，其特征在于，包括如下步骤：
无人机巡航模式为无人机初始化模式，无人机在巡航模式下检测到危险人员时切换为无人机追踪模式；
无人机巡航模式下，从无人机搭载的可见光摄像头中获取巡航监测区域的实时图像，调用深度学习目标检测算法，检测实时图像中是否有危险物品、危险行为或危险人员；对危险人员数据库中的人员和图像实时采集模块采集的图像中的人员，通过ReID算法进行匹配，计算得出图像实时采集模块采集的图像中人员是否属于危险人员数据库中；
无人机在巡航模式下检测到危险人员时，将危险人物图像及对应该图像是否为危险人物的置信度信息进行存储，无人机切换为无人机追踪模式；人员追踪模块从存储路径下找出置信度最高的危险人员图像，生成临时追踪库，默认选择置信度信息最高的危险人员图像作为ReID算法第一次检测的目标图像，对ReID算法进行初始化；对视频采集模块采集的视频进行当前帧图像提取，使用深度学习目标检测算法对图像进行人员检测；若检测到图像中有人，则调用ReID模块检测该人是否是需要追踪的危险人员，若是危险人员，则追踪成功，并用当前帧图像替换临时追踪库的目标图像，作为下一帧追踪时的目标图像；当成功在当前帧图像中检测到需要追踪的危险人员后，根据当前帧图像中检测出的危险人员的坐标位置，调用无人机搭载的激光测距模块，测量得出无人机与危险人员的实际距离；飞行控制模块通过人员追踪模块得到危险人员在图像中的坐标，并通过图像坐标换算得出无人机搭载的可见光摄像机的云台偏向角度，调整云台转向，使云台正向对准危险人员，再通过云台的惯性测量单元与无人机的惯性测量单元夹角，得到无人机的偏向角度；飞行控制系统得到无人机的偏向角度后，调整无人机自身方向，使得无人机机头方向与云台指向一致，同时保证被追踪人员位于无人机拍摄画面的中心；通过激光测距模块得到的无人机与危险人员的实际距离，对比预先设定的无人机安全距离，得出无人机飞行方向，若实际距离小于设定阈值，则往后飞，拉远距离；若实际距离大于设定阈值，则往前飞，拉近距离；根据设定阈值与实际距离之间差值，得到无人机飞行速度；最终控制无人机对危险人员进行追踪，并保障无人机与危险人员有一定距离；无人机在自动追踪的过程中，通过数据传输模块将无人机的GPS信息、采集的视频、飞行速度、航向角、危险人员的坐标、危险人员与无人机的距离信息的一种或几种传输到地面指挥站；
追踪模式下，可通过数据传输模块，接受地面指挥站的切换追踪目标的指令；当无人机收到切换追踪目标指令后，从之前存储路径找到对应的危险人员图像，并替换掉现有的临时追踪库中目标图像；再次初始化ReID模块的追踪目标为临时追踪库中对应的切换后的目标人员图像；对实时视频采集模块采集的视频进行当前帧图像提取，使用深度学习目标检测算法对当前帧图像进行人员检测；若检测到图像中有人，则调用ReID模块检测该人是否是需要追踪的危险人员；若是危险人员，则追踪成功，并用当前帧图像替换临时追踪库的目标图像，作为下一帧追踪时的目标图像；当成功在当前帧图像中检测到需要追踪的危险人员后，根据当前帧图像中检测出的危险人员的坐标位置，调用无人机搭载的激光测距模块，测量得出无人机与危险人员的实际距离；飞行控制模块通过人员追踪模块得到危险人员在图像中的坐标，并通过图像坐标换算得出无人机搭载的可见光摄像机的云台偏向角度，调整云台转向，使云台正向对准危险人员，再通过云台的惯性测量单元与无人机的惯性测量单元夹角，得到无人机的偏向角度；飞行控制系统得到无人机的偏向角度后，调整无人机自身方向，使得无人机机头方向与云台指向一致，同时保证被追踪人员位于无人机拍摄画面的中心；通过激光测距模块得到的无人机与危险人员的实际距离，对比预先设定的无人机安全距离，得出无人机飞行方向，若实际距离小于设定阈值，则往后飞，拉远距离；若实际距离大于设定阈值，则往前飞，拉近距离；根据设定阈值与实测距离之间差值，得到无人机飞行速度；最终控制无人机对危险人员进行追踪，并保障无人机与危险人员有一定距离；无人机在追踪的过程中，通过数据传输模块将无人机的GPS信息、采集的视频、飞行速度、航向角、危险人员的坐标、危险人员与无人机的距离信息的一种或几种传输到地面指挥站。
7.根据权利要求6所述的一种基于深度学习技术的无人机巡航及追踪方法，其特征在于，若当前帧未追踪成功，则追踪丢失计数增加1，当追踪丢失计数增大到设定值时，认定无人机追踪失败或目标人员已消失，将无人机还原为巡航模式，继续进行巡航；当无人机追踪失败，即追踪丢失计数达到设定阈值后判定为追踪失败，或无人机收到地面指挥站的切换追踪目标的指令时，需将当前的追踪丢失计数清零。
8.根据权利要求6所述的一种基于深度学习技术的无人机巡航及追踪方法，其特征在于，在无人机巡航模式下，当检测到实时图像中有危险物品、危险行为，则由实时告警模块向地面指挥站告警。
9.一种基于深度学习技术的无人机巡航及追踪方法，其特征在于：包括如下步骤：
启动无人机与地面指挥站，并设定无人机为初始化状态，即无人机开启巡航模式；在无人机巡航过程中，调用无人机搭载的可见光摄像机，抓拍实时图像，同时调用深度学习目标检测算法，通过已训练完成的深度学习目标检测模型，进行目标检测；从检测结果中，筛选是否有危险物品，是否有危险行为，是否有危险人员；当出现危险物品或危险行为时，实时告警模块将检测结果中的类别信息、坐标信息发送给地面指挥站；当检测到实时图像中有人员出现时，需再次调用ReID模块，与危险人员数据库进行比对，看检测出的人员是否存在于危险人员数据库中，若存在，则设置无人机为追踪模式；
在无人机追踪模式下，无人机图像采集方式切换为连续视频采集方式；默认选择置信度信息最高的危险人员图像作为ReID算法第一次检测的目标图像，对ReID算法进行初始化；并对实时视频采集模块采集的视频进行当前帧图像提取，使用深度学习目标检测算法对当前帧图像进行人员检测；若当前帧中检测出存在人员，则深度学习目标检测算法会返回出相应的人员坐标；此时将检测出的人员送入ReID算法中，与已初始化的目标人员做特征匹配；若ReID算法判断为同一人，则认为追踪成功, 用当前帧图像替换临时追踪库的目标图像，作为下一帧追踪时的目标图像；调用无人机搭载的激光测距仪，针对深度学习目标检测算法给出的目标人员坐标，进行激光测距，得到无人机与目标人员的距离；飞行控制模块通过人员追踪模块得到危险人员在图像中的坐标，并通过图像坐标换算得出无人机搭载的可见光摄像机的云台偏向角度，调整云台转向，使云台正向对准危险人员，再通过云台的惯性测量单元与无人机的惯性测量单元夹角，得到无人机的偏向角度；飞行控制系统得到无人机的偏向角度后，调整无人机自身方向，使得无人机机头方向与云台指向一致，同时保证被追踪人员位于无人机拍摄画面的中心；通过激光测距模块得到的无人机与危险人员的实际距离，对比预先设定的无人机安全距离，得出无人机飞行方向，若实际距离小于设定阈值，则往后飞，拉远距离；若实际距离大于设定阈值，则往前飞，拉近距离；根据设定阈值与实际距离之间差值，得到无人机飞行速度；最终控制无人机对危险人员进行追踪，并保障无人机与危险人员有一定距离；无人机将GPS信息、采集的视频、飞行速度、航向角、危险人员的坐标、危险人员与无人机的距离信息的一种或几种传输到地面指挥站；若当前帧未追踪成功，则追踪丢失计数增加1，当追踪丢失计数增大到设定值时，认定无人机追踪失败或目标人员已消失，将无人机还原为巡航模式，继续进行巡航；
无人机追踪模式下，当无人机收到切换追踪目标指令后，再次初始化ReID模块的追踪目标为对应的切换后的目标人员图像；并对实时视频采集模块采集的视频进行当前帧图像提取，使用深度学习目标检测算法对当前帧图像进行人员检测；若当前帧中检测出存在人员，则深度学习目标检测算法会返回出相应的人员坐标；此时将检测出的人员送入ReID算法中，与已初始化的目标人员做特征匹配；若ReID算法判断为同一人，则认为追踪成功，用当前帧图像替换临时追踪库的目标图像，作为下一帧追踪时的目标图像；调用无人机搭载的激光测距仪，针对深度学习目标检测算法给出的目标人员坐标，进行激光测距，得到无人机与目标人员的距离；飞行控制模块通过人员追踪模块得到危险人员在图像中的坐标，并通过图像坐标换算得出无人机搭载的可见光摄像机的云台偏向角度，调整云台转向，使云台正向对准危险人员，再通过云台的惯性测量单元与无人机的惯性测量单元夹角，得到无人机的偏向角度；飞行控制系统得到无人机的偏向角度后，调整无人机自身方向，使得无人机机头方向与云台指向一致，同时保证被追踪人员位于无人机拍摄画面的中心；通过激光测距模块得到的无人机与危险人员的实际距离，对比预先设定的无人机安全距离，得出无人机飞行方向，若实际距离小于设定阈值，则往后飞，拉远距离；若实际距离大于设定阈值，则往前飞，拉近距离；根据设定阈值与实际距离之间差值，得到无人机飞行速度；最终控制无人机对危险人员进行追踪，并保障无人机与危险人员有一定距离；无人机将GPS信息、采集的视频、飞行速度、航向角、危险人员的坐标、危险人员与无人机的距离信息的一种或几种传输到地面指挥站；若当前帧未追踪成功，则追踪丢失计数增加1，当追踪丢失计数增大到设定值时，认定无人机追踪失败或目标人员已消失，将无人机还原为巡航模式，继续进行巡航。
10.根据权利要求9所述的一种基于深度学习技术的无人机巡航及追踪方法，其特征在于：无人机追踪模式下由飞行控制模块控制无人机进行自动追踪飞行，在自动追踪飞行过程中可由控制人员对无人机进行飞行控制或给无人机下发停止追踪指令或切换追踪目标指令；无人机处理飞行指令时，人员控制指令优先级大于自动追踪飞行控制命令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010801338.2A CN111679695B (zh) | 2020-08-11 | 2020-08-11 | 一种基于深度学习技术的无人机巡航及追踪系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010801338.2A CN111679695B (zh) | 2020-08-11 | 2020-08-11 | 一种基于深度学习技术的无人机巡航及追踪系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111679695A true CN111679695A (zh) | 2020-09-18 |
| CN111679695B CN111679695B (zh) | 2020-11-10 |
Family
ID=72458234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010801338.2A Active CN111679695B (zh) | 2020-08-11 | 2020-08-11 | 一种基于深度学习技术的无人机巡航及追踪系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111679695B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112201051A (zh) * | 2020-11-27 | 2021-01-08 | 中航金城无人系统有限公司 | 一种无人机端路面车辆违停检测及取证系统和方法 |
| CN112414224A (zh) * | 2020-12-10 | 2021-02-26 | 成都微精控科技有限公司 | 一种针对特定目标的空域安防方法及系统 |
| CN113306741A (zh) * | 2021-04-16 | 2021-08-27 | 西安航空职业技术学院 | 一种基于深度学习的外部绕机检查无人机及方法 |
| CN113460558A (zh) * | 2021-06-29 | 2021-10-01 | 上海芭熹机器人有限责任公司 | 一种室外可移动货物搬运机器人 |
| CN114756053A (zh) * | 2022-03-30 | 2022-07-15 | 中科融信科技有限公司 | 一种基于无人机的警务巡检方法、系统及存储介质 |
| CN114995507A (zh) * | 2022-06-22 | 2022-09-02 | 中国人民公安大学 | 安全巡视方法、装置、设备及存储介质 |
| WO2023184086A1 (zh) * | 2022-03-28 | 2023-10-05 | 深圳市大疆创新科技有限公司 | 无人飞行器的控制方法、装置、无人飞行器和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140277854A1 (en) * | 2013-03-15 | 2014-09-18 | Azure Sky Group Llc | Modular drone and methods for use |
| CN106203264A (zh) * | 2016-06-28 | 2016-12-07 | 深圳市元征科技股份有限公司 | 危险物品检测方法和装置 |
| CN107608377A (zh) * | 2017-09-18 | 2018-01-19 | 苏州浩哥文化传播有限公司 | 一种基于教学无人机的智能道路巡逻方法及其系统 |
| CN109949341A (zh) * | 2019-03-08 | 2019-06-28 | 广东省智能制造研究所 | 一种基于人体骨架结构化特征的行人目标跟踪方法 |
| CN110291482A (zh) * | 2018-07-31 | 2019-09-27 | 深圳市大疆创新科技有限公司 | 返航控制方法、装置及设备 |
-
2020
- 2020-08-11 CN CN202010801338.2A patent/CN111679695B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140277854A1 (en) * | 2013-03-15 | 2014-09-18 | Azure Sky Group Llc | Modular drone and methods for use |
| CN106203264A (zh) * | 2016-06-28 | 2016-12-07 | 深圳市元征科技股份有限公司 | 危险物品检测方法和装置 |
| CN107608377A (zh) * | 2017-09-18 | 2018-01-19 | 苏州浩哥文化传播有限公司 | 一种基于教学无人机的智能道路巡逻方法及其系统 |
| CN110291482A (zh) * | 2018-07-31 | 2019-09-27 | 深圳市大疆创新科技有限公司 | 返航控制方法、装置及设备 |
| CN109949341A (zh) * | 2019-03-08 | 2019-06-28 | 广东省智能制造研究所 | 一种基于人体骨架结构化特征的行人目标跟踪方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112201051A (zh) * | 2020-11-27 | 2021-01-08 | 中航金城无人系统有限公司 | 一种无人机端路面车辆违停检测及取证系统和方法 |
| CN112201051B (zh) * | 2020-11-27 | 2021-07-06 | 中航金城无人系统有限公司 | 一种无人机端路面车辆违停检测及取证系统和方法 |
| CN112414224A (zh) * | 2020-12-10 | 2021-02-26 | 成都微精控科技有限公司 | 一种针对特定目标的空域安防方法及系统 |
| CN113306741A (zh) * | 2021-04-16 | 2021-08-27 | 西安航空职业技术学院 | 一种基于深度学习的外部绕机检查无人机及方法 |
| CN113460558A (zh) * | 2021-06-29 | 2021-10-01 | 上海芭熹机器人有限责任公司 | 一种室外可移动货物搬运机器人 |
| WO2023184086A1 (zh) * | 2022-03-28 | 2023-10-05 | 深圳市大疆创新科技有限公司 | 无人飞行器的控制方法、装置、无人飞行器和存储介质 |
| CN114756053A (zh) * | 2022-03-30 | 2022-07-15 | 中科融信科技有限公司 | 一种基于无人机的警务巡检方法、系统及存储介质 |
| CN114756053B (zh) * | 2022-03-30 | 2022-10-04 | 中科融信科技有限公司 | 一种基于无人机的警务巡检方法、系统及存储介质 |
| CN114995507A (zh) * | 2022-06-22 | 2022-09-02 | 中国人民公安大学 | 安全巡视方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111679695B (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111679695B (zh) | 一种基于深度学习技术的无人机巡航及追踪系统和方法 | |
| CN111932588B (zh) | 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法 | |
| CN113269098B (zh) | 一种基于无人机的多目标跟踪定位与运动状态估计方法 | |
| CN105759834B (zh) | 一种主动捕获低空小型无人飞行器的系统及方法 | |
| CN111326023A (zh) | 一种无人机航线预警方法、装置、设备及存储介质 | |
| Breitenmoser et al. | A monocular vision-based system for 6D relative robot localization | |
| CN110619276B (zh) | 基于无人机移动监控的异常及暴力检测系统和方法 | |
| US20110115909A1 (en) | Method for tracking an object through an environment across multiple cameras | |
| US20220027038A1 (en) | Interactive virtual interface | |
| KR20180133745A (ko) | 라이다 센서 및 팬틸트줌 카메라를 활용한 비행체 식별 시스템 및 그 제어 방법 | |
| CN112800918A (zh) | 一种非法运动目标的身份识别方法及装置 | |
| Chandana et al. | Autonomous drones based forest surveillance using Faster R-CNN | |
| Sanfourche et al. | Environment mapping & interpretation by drone | |
| Bhanu et al. | A system for obstacle detection during rotorcraft low altitude flight | |
| Basit et al. | Joint localization of pursuit quadcopters and target using monocular cues | |
| CN112802100A (zh) | 一种入侵检测方法、装置、设备和计算机可读存储介质 | |
| CN109708659B (zh) | 一种分布式智能光电低空防护系统 | |
| CN107885231A (zh) | 一种基于可见光图像识别的无人机捕获方法及系统 | |
| CN111402324A (zh) | 一种目标测量方法、电子设备以及计算机存储介质 | |
| Li et al. | Development of an unmanned aerial vehicle for rooftop landing and surveillance | |
| CN112802058A (zh) | 一种非法运动目标的跟踪方法及装置 | |
| Liu et al. | A Drone Patrol System for Target Object Counting and Geolocalization | |
| Chapman et al. | Computer Vision Based Object Detection and Tracking in Micro Aerial Vehicles | |
| Boyers | An Evaluation of Detection and Recognition Algorithms to Implement Autonomous Target Tracking With a Quadrotor | |
| CN117950422B (zh) | 一种无人机巡查系统及巡查方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |