CN114721422A - 一种基于深度学习的机载无人机多目标跟踪系统 - Google Patents
一种基于深度学习的机载无人机多目标跟踪系统 Download PDFInfo
- Publication number
- CN114721422A CN114721422A CN202210253241.1A CN202210253241A CN114721422A CN 114721422 A CN114721422 A CN 114721422A CN 202210253241 A CN202210253241 A CN 202210253241A CN 114721422 A CN114721422 A CN 114721422A
- Authority
- CN
- China
- Prior art keywords
- target
- deep learning
- unmanned aerial
- node
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 26
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000002211 ultraviolet spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于深度学习的机载无人机多目标跟踪系统，包括摄像头、图像采集节点、深度学习处理节点、运动控制节点、MAVROS以及飞行控制器，所述摄像头与图像采集节点连接，所述图像采集节点与深度学习处理节点连接，所述深度学习处理节点与运动控制节点连接，所述运动控制节点与MAVROS连接，所述MAVROS与飞行控制器连接；所述图像采集节点用以获取来自摄像头的实时视频，并将其传递给深度学习控制节点；所述深度学习处理节点用以实现目标识别、检测与跟踪算法；所述运动控制节点依据来自深度学习处理节点的结果，进而发布相关飞行控制指令。本发明，可实现对目标的检测、跟踪；且检测跟踪更加全面方便。
Description
技术领域
本发明涉及多目标跟踪技术领域，具体是一种基于深度学习的机载无人机多目标跟踪系统。
背景技术
多目标探测跟踪与指示技术是传统成像跟踪技术与现代激光指示技术相结合的产物,是一种可工作在从红外到紫外光谱段的成像与指示系统技术。现代武器装备发展迅速，采用无人机载平台，既能执行多样化任务，又能降低人员伤亡；采取激光指示精确制导方式，可提高打击精度与作战效能。随着光电探测设备、激光发射技术及图像处理性能的提高，开展多目标探测跟踪及激光指示成为可能。通过无人机携带光电吊舱，昼夜侦察战场目标，获取目标图像和大地坐标；采用激光目标指示器同时指示多目标，配合自身携带的武器或其它无人机、直升机、火炮、火箭炮等武器发射的制导弹药，实现对敌目标精确打击。由于无人机具有飞行速度快、不易被发现等多种优点，能够有效实施侦察、打击、评估，且激光目标指示器又是具有高效费比的制导手段，因此，用无人机承担侦察、打击、评估任务，发挥其察打结合能力成为多目标探测跟踪与指示的最佳载荷平台。传统方式主要是采用转台结合照射器的方法，由于转台惯性大，该方法只能实现对视场内单一目标实现指向，成本高。
发明内容
本发明的目的在于提供一种基于深度学习的机载无人机多目标跟踪系统，以解决现有技术中的问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度学习的机载无人机多目标跟踪系统，包括摄像头、图像采集节点、深度学习处理节点、运动控制节点、MAVROS以及飞行控制器，所述摄像头与图像采集节点连接，所述图像采集节点与深度学习处理节点连接，所述深度学习处理节点与运动控制节点连接，所述运动控制节点与MAVROS连接，所述MAVROS与飞行控制器连接；所述图像采集节点用以获取来自摄像头的实时视频，并将其传递给深度学习控制节点；所述深度学习处理节点用以实现目标识别、检测与跟踪算法；所述运动控制节点依据来自深度学习处理节点的结果，进而发布相关飞行控制指令。
优选的，其跟踪方法包括以下步骤：
S1：无人机上升至指定高度，通过摄像头获取图像；
S2：对图像进行预处理，判断是否检测出目标，若没有检测出目标，则按顺时针方向旋转一定角度，进而再次判断有无检测出目标；
S3：当检测出目标后，进而判断是否只存在一个目标，若包含不止一个目标则悬停10秒后，继续进行目标检测操作；
S4：当判断只有一个目标时，则可以结合IMU和GPS信息对该目标的中心点进行坐标系的结算,得到无人机和运动物体的相对位置，而后飞行至目标坐标点，尽量维持目标出现在图像的中心区域；
S5：当飞行动作完成后，则进入下一步的目标检测操作。
优选的，所述步骤S2中旋转的角度为15°-45°。
优选的，所述步骤S2中旋转的角度为30°。
优选的，所述步骤S2中对图像进行预处理包括去噪、去畸变以及压缩图像尺寸处理。
优选的，所述目标检测是通过YOLOV3算法对预处理后的图像进行多个目标检测，获得目标的检测结果矩形框，基于目标的检测结果矩形框，采用KCF进行目标跟踪。
优选的，所述目标跟踪时，需要实时判断跟踪目标是否丢失，若跟踪目标未丢失，则继续当前跟踪，且保存当前目标的位置；若跟踪目标丢失，则需要返回步骤S1重新进行目标检测。
与现有技术相比，本发明的有益效果是：S1：无人机上升至指定高度，通过摄像头获取图像；S2：对图像进行预处理，判断是否检测出目标，若没有检测出目标，则按顺时针方向旋转一定角度，进而再次判断有无检测出目标；S3：当检测出目标后，进而判断是否只存在一个目标，若包含不止一个目标则悬停10秒后，继续进行目标检测操作；S4：当判断只有一个目标时，则可以结合IMU和GPS信息对该目标的中心点进行坐标系的结算,得到无人机和运动物体的相对位置，而后飞行至目标坐标点，尽量维持目标出现在图像的中心区域；S5：当飞行动作完成后，则进入下一步的目标检测操作；所述目标检测是通过YOLOV3算法对预处理后的图像进行多个目标检测，获得目标的检测结果矩形框，基于目标的检测结果矩形框，采用KCF进行目标跟踪；所述目标跟踪时，需要实时判断跟踪目标是否丢失，若跟踪目标未丢失，则继续当前跟踪，且保存当前目标的位置；若跟踪目标丢失，则需要返回步骤S1重新进行目标检测；可实现对多目标的检测、跟踪；且检测跟踪更加全面方便。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的结构示意图；
图2是本发明实施例一的流程图；
图3是本发明实施例二的流程图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
实施例一
请参阅图1和图2，本发明实施例中，一种基于深度学习的机载无人机多目标跟踪系统，包括摄像头、图像采集节点、深度学习处理节点、运动控制节点、MAVROS以及飞行控制器，所述摄像头与图像采集节点连接，所述图像采集节点与深度学习处理节点连接，所述深度学习处理节点与运动控制节点连接，所述运动控制节点与MAVROS连接，所述MAVROS与飞行控制器连接；所述图像采集节点用以获取来自摄像头的实时视频，并将其传递给深度学习控制节点；所述深度学习处理节点用以实现目标识别、检测与跟踪算法；所述运动控制节点依据来自深度学习处理节点的结果，进而发布相关飞行控制指令。
优选的，其跟踪方法包括以下步骤：
S1：无人机上升至指定高度，通过摄像头获取图像；
S2：对图像进行预处理，判断是否检测出目标，若没有检测出目标，则按顺时针方向旋转一定角度，进而再次判断有无检测出目标；
S3：当检测出目标后，进而判断是否只存在一个目标，若包含不止一个目标则悬停10秒后，继续进行目标检测操作；
S4：当判断只有一个目标时，则可以结合IMU和GPS信息对该目标的中心点进行坐标系的结算,得到无人机和运动物体的相对位置，而后飞行至目标坐标点，尽量维持目标出现在图像的中心区域；
S5：当飞行动作完成后，则进入下一步的目标检测操作。
优选的，所述步骤S2中旋转的角度为15°-45°。
优选的，所述步骤S2中旋转的角度为30°。
优选的，所述步骤S2中对图像进行预处理包括去噪、去畸变以及压缩图像尺寸处理。
优选的，所述目标检测是通过YOLOV3算法对预处理后的图像进行多个目标检测，获得目标的检测结果矩形框，基于目标的检测结果矩形框，采用KCF进行目标跟踪。
优选的，所述目标跟踪时，需要实时判断跟踪目标是否丢失，若跟踪目标未丢失，则继续当前跟踪，且保存当前目标的位置；若跟踪目标丢失，则需要返回步骤S1重新进行目标检测。
本发明的工作原理是：S1：无人机上升至指定高度，通过摄像头获取图像；S2：对图像进行预处理，判断是否检测出目标，若没有检测出目标，则按顺时针方向旋转一定角度，进而再次判断有无检测出目标；S3：当检测出目标后，进而判断是否只存在一个目标，若包含不止一个目标则悬停10秒后，继续进行目标检测操作；S4：当判断只有一个目标时，则可以结合IMU和GPS信息对该目标的中心点进行坐标系的结算,得到无人机和运动物体的相对位置，而后飞行至目标坐标点，尽量维持目标出现在图像的中心区域；S5：当飞行动作完成后，则进入下一步的目标检测操作；所述目标检测是通过YOLOV3算法对预处理后的图像进行多个目标检测，获得目标的检测结果矩形框，基于目标的检测结果矩形框，采用KCF进行目标跟踪；所述目标跟踪时，需要实时判断跟踪目标是否丢失，若跟踪目标未丢失，则继续当前跟踪，且保存当前目标的位置；若跟踪目标丢失，则需要返回步骤S1重新进行目标检测。
实施例二
请参阅图1和图3，本发明实施例中，一种基于深度学习的机载无人机多目标跟踪系统，包括摄像头、图像采集节点、深度学习处理节点、运动控制节点、MAVROS以及飞行控制器，所述摄像头与图像采集节点连接，所述图像采集节点与深度学习处理节点连接，所述深度学习处理节点与运动控制节点连接，所述运动控制节点与MAVROS连接，所述MAVROS与飞行控制器连接；所述图像采集节点用以获取来自摄像头的实时视频，并将其传递给深度学习控制节点；所述深度学习处理节点用以实现目标识别、检测与跟踪算法；所述运动控制节点依据来自深度学习处理节点的结果，进而发布相关飞行控制指令。
优选的，其跟踪方法包括以下步骤：
S1：无人机上升至指定高度，通过摄像头获取图像；
S2：对图像进行预处理，判断是否检测出目标，若没有检测出目标，则按顺时针方向旋转一定角度，进而再次判断有无检测出目标；
S3：当检测出目标后，进而判断是否只存在一个目标，若包含不止一个目标则悬停10秒后，继续进行目标检测操作；
S4：当判断只有一个目标时，则可以结合IMU和GPS信息对该目标的中心点进行坐标系的结算,得到无人机和运动物体的相对位置，而后飞行至目标坐标点，尽量维持目标出现在图像的中心区域；
S5：当飞行动作完成后，则进入下一步的目标检测操作。
优选的，所述步骤S2中旋转的角度为15°-45°。
优选的，所述步骤S2中旋转的角度为30°。
优选的，所述步骤S2中对图像进行预处理包括去噪、去畸变以及压缩图像尺寸处理。
优选的，所述目标检测是通过YOLOV3算法对预处理后的图像进行多个目标检测，获得目标的检测结果矩形框，基于目标的检测结果矩形框，采用KCF进行目标跟踪。
本发明的工作原理是：S1：无人机上升至指定高度，通过摄像头获取图像；S2：对图像进行预处理，判断是否检测出目标，若没有检测出目标，则按顺时针方向旋转一定角度，进而再次判断有无检测出目标；S3：当检测出目标后，进而判断是否只存在一个目标，若包含不止一个目标则悬停10秒后，继续进行目标检测操作；S4：当判断只有一个目标时，则可以结合IMU和GPS信息对该目标的中心点进行坐标系的结算,得到无人机和运动物体的相对位置，而后飞行至目标坐标点，尽量维持目标出现在图像的中心区域；S5：当飞行动作完成后，则进入下一步的目标检测操作。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于深度学习的机载无人机多目标跟踪系统，其特征在于：包括摄像头、图像采集节点、深度学习处理节点、运动控制节点、MAVROS以及飞行控制器，所述摄像头与图像采集节点连接，所述图像采集节点与深度学习处理节点连接，所述深度学习处理节点与运动控制节点连接，所述运动控制节点与MAVROS连接，所述MAVROS与飞行控制器连接；
所述图像采集节点用以获取来自摄像头的实时视频，并将其传递给深度学习控制节点；
所述深度学习处理节点用以实现目标识别、检测与跟踪算法；
所述运动控制节点依据来自深度学习处理节点的结果，进而发布相关飞行控制指令。
2.根据权利要求1所述的一种基于深度学习的机载无人机多目标跟踪系统，其特征在于：其跟踪方法包括以下步骤：
S1：无人机上升至指定高度，通过摄像头获取图像；
S2：对图像进行预处理，判断是否检测出目标，若没有检测出目标，则按顺时针方向旋转一定角度，进而再次判断有无检测出目标；
S3：当检测出目标后，进而判断是否只存在一个目标，若包含不止一个目标则悬停10秒后，继续进行目标检测操作；
S4：当判断只有一个目标时，则可以结合IMU和GPS信息对该目标的中心点进行坐标系的结算,得到无人机和运动物体的相对位置，而后飞行至目标坐标点，尽量维持目标出现在图像的中心区域；
S5：当飞行动作完成后，则进入下一步的目标检测操作。
3.根据权利要求2所述的一种基于深度学习的机载无人机多目标跟踪系统，其特征在于：所述步骤S2中旋转的角度为15°-45°。
4.根据权利要求3所述的一种基于深度学习的机载无人机多目标跟踪系统，其特征在于：所述步骤S2中旋转的角度为30°。
5.根据权利要求2所述的一种基于深度学习的机载无人机多目标跟踪系统，其特征在于：所述步骤S2中对图像进行预处理包括去噪、去畸变以及压缩图像尺寸处理。
6.根据权利要求2所述的一种基于深度学习的机载无人机多目标跟踪系统，其特征在于：所述目标检测是通过YOLOV3算法对预处理后的图像进行多个目标检测，获得目标的检测结果矩形框，基于目标的检测结果矩形框，采用KCF进行目标跟踪。
7.根据权利要求6所述的一种基于深度学习的机载无人机多目标跟踪系统，其特征在于：所述目标跟踪时，需要实时判断跟踪目标是否丢失，若跟踪目标未丢失，则继续当前跟踪，且保存当前目标的位置；若跟踪目标丢失，则需要返回步骤S1重新进行目标检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210253241.1A CN114721422A (zh) | 2022-03-15 | 2022-03-15 | 一种基于深度学习的机载无人机多目标跟踪系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210253241.1A CN114721422A (zh) | 2022-03-15 | 2022-03-15 | 一种基于深度学习的机载无人机多目标跟踪系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114721422A true CN114721422A (zh) | 2022-07-08 |
Family
ID=82238653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210253241.1A Withdrawn CN114721422A (zh) | 2022-03-15 | 2022-03-15 | 一种基于深度学习的机载无人机多目标跟踪系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114721422A (zh) |
-
2022
- 2022-03-15 CN CN202210253241.1A patent/CN114721422A/zh not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9488442B2 (en) | Anti-sniper targeting and detection system | |
| US7870816B1 (en) | Continuous alignment system for fire control | |
| CN107977987B (zh) | 一种无人机载多目标探测跟踪、指示系统及方法 | |
| CN108453738B (zh) | 一种基于Opencv图像处理的四旋翼飞行器空中自主抓取作业的控制方法 | |
| US8049869B2 (en) | Dual FOV imaging semi-active laser system | |
| CN111123983B (zh) | 一种无人机截击网捕控制系统及控制方法 | |
| US8686326B1 (en) | Optical-flow techniques for improved terminal homing and control | |
| CN108279005B (zh) | 一种导引头数据失效模式下的制导信息重构方法 | |
| CN105717933A (zh) | 无人机以及无人机防撞方法 | |
| CN108955722B (zh) | 无人机目标定位指示系统及指示方法 | |
| US20130214045A1 (en) | Low-altitude low-speed small target intercepting method | |
| US7719664B1 (en) | Imaging semi-active laser system | |
| CN110345814B (zh) | 一种不依赖自身导引头测量信息的末制导算法 | |
| CN116400738B (zh) | 一种针对低小慢无人机的低成本打击方法及系统 | |
| CN114721422A (zh) | 一种基于深度学习的机载无人机多目标跟踪系统 | |
| RU2697939C1 (ru) | Способ автоматизации целеуказания при прицеливании на вертолетном комплексе | |
| CN112461059B (zh) | 一种图像寻的制导导弹地面发射方法 | |
| CN115755575A (zh) | 一种基于ros的双云台无人机自主降落方法 | |
| EP1643206A1 (en) | Simulation system, method and computer program | |
| CN112113462B (zh) | 直瞄武器射击效果检测方法、系统及虚拟靶标射击系统 | |
| WO2020172878A1 (zh) | 可移动平台的射击瞄准控制方法、设备及可读存储介质 | |
| CN116929149B (zh) | 一种基于图像制导的目标识别及制导方法 | |
| RU162717U1 (ru) | Корабельный малокалиберный высокоточный зенитный артиллерийский комплекс | |
| Mekonnen et al. | A helmet cueing system based firing control for anti-aircraft gun prototype | |
| Gu et al. | Design and Development of Real-Time Automatic Tracking and Decision System for RoboMaster Competition Robot Using Convolutional Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220708 |