CN111736190B - 一种无人机机载目标检测系统及方法 - Google Patents

一种无人机机载目标检测系统及方法 Download PDF

Info

Publication number
CN111736190B
CN111736190B CN202010725505.XA CN202010725505A CN111736190B CN 111736190 B CN111736190 B CN 111736190B CN 202010725505 A CN202010725505 A CN 202010725505A CN 111736190 B CN111736190 B CN 111736190B
Authority
CN
China
Prior art keywords
module
target
unmanned aerial
aerial vehicle
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010725505.XA
Other languages
English (en)
Other versions
CN111736190A (zh
Inventor
潘岐深
陈慧坤
刘文松
张壮领
陈彩娜
莫一夫
毕明利
郑松源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202010725505.XA priority Critical patent/CN111736190B/zh
Publication of CN111736190A publication Critical patent/CN111736190A/zh
Application granted granted Critical
Publication of CN111736190B publication Critical patent/CN111736190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

本申请公开了一种无人机机载目标检测系统及方法，通过摄像机获取视频流，并通过机载的计算模块中设置的深度学习目标检测算法模块检测出待检测目标物，并通过KLT目标跟踪计数算法模块对待检测目标物进行跟踪计数，同时，通过GPS定位模块获取无人机的位置坐标，并通过IMU惯性测量单元获取无人机的加速度与角速度，通过计算模块中的平均值算法模块对加速度与角速度进行数据校准，并通过卡尔曼滤波算法模块获得精准地飞机姿态，并将上述中获得的待测目标物、待测目标物的数据、位置坐标、飞行姿态均进行记录并保存。通过上述技术方案，使得提高了无人机目标检测的实时性，同时，也使得检测效率更加快速。

Description

一种无人机机载目标检测系统及方法
技术领域
本申请涉及无人机技术领域，尤其涉及无人机数据处理技术，更具体地，涉及一种无人机机载目标检测系统及方法。
背景技术
随着人工智能的普及，传统产业也在不断的发生着改变。就无人机而言，越来越多机构借助机器视觉或者深度学习等技术使无人机变得更为智能。但大多数无人机飞控性能的制约，通常需要将拍摄到的图像进行压缩编码，传到地面端，再进行解码，最后再进行相应的处理，同时，通过无人机的地理位置坐标会确定无人机拍摄路径，而无人机的飞行姿态也会影响拍摄图像的平稳，特别是在目标检测过程中，更需要对无人机的地理位置坐标与飞行姿态进行获取。但在获取无人机的地理位置与飞行姿态时，都是需要传输到地面端进行处理并存储。使得整个过程并未对数据进行前端实时处理，导致实时性不强与检测效率不高的问题。
发明内容
本申请提供了一种无人机机载目标检测系统及方法，用于解决现有技术中的无人机目标检测以及获取无人机的位置坐标与飞行姿态的实时性不强与检测效率不高的技术问题。
有鉴于此，本申请第一方面提供了一种无人机机载目标检测系统，包括：摄像机、计算模块、IMU惯性测量单元、GPS定位模块与传感器信息采集模块；
所述摄像机用于实时获取目标视频流；
所述GPS定位模块，用于获取所述无人机的位置坐标；
所述IMU惯性测量单元，用于获取所述无人机的加速度与角速度；
所述传感器信息采集模块，用于采集并向所述计算模块传输所述GPS定位模块所获取的位置坐标与所述IMU惯性测量单元所获取的所述无人机的加速度与角速度；
所述计算模块设于所述无人机上，所述计算模块包括深度学习目标检测算法模块、KLT目标跟踪计数算法模块、平均值算法模块与卡尔曼滤波算法模块、数据报表生成模块与存储器；
所述深度学习目标检测算法模块，用于检测所述摄像机获取的所述目标视频流中的待检测目标物与相应的视频帧；
所述KLT目标跟踪计数算法模块，用于对所述深度学习目标检测算法模块所检测出来的所述待检测目标物在所述目标视频流中进行跟踪，从而统计所述待检测目标物的数量；
所述平均值算法模块，用于对所述传感器信息采集模块所传输的所述加速度与所述角速度进行数据校准；
所述卡尔曼滤波算法模块，用于对经过所述平均值算法模块数据校准后的加速度与角速度进行数据融合，从而确定所述无人机的飞行姿态；
所述数据报表生成模块，用于生成数据报表，所述数据报表包括所述待检测目标物、所述待检测目标物对应的视频帧、所述待检测目标物对应的数量、所述无人机的位置坐标与飞行姿态；
所述存储器，用于存储所述数据报表生成模块生成的所述数据报表。
优选地，所述深度学习目标检测算法模块嵌入tiny-yolo目标检测算法模型。
优选地，所述计算模块还包括图像预处理模块，用于对所述摄像机所获取的所述目标视频流进行降噪处理。
优选地，所述计算模块采用FPGA芯片集成所述深度学习目标检测算法模块。
优选地，所述计算模块采用ARM芯片集成所述KLT目标跟踪计数算法模块、所述平均值算法模块、所述卡尔曼滤波算法模块与所述数据报表生成模块。
优选地，所述IMU惯性测量单元包括加速度计与陀螺仪，所述加速度计用于获取所述无人机的加速度，所述陀螺仪用于获取所述无人机的角速度。
优选地，所述无人机设有用于所述摄像机运动的三轴云台。
第二方面，本发明实施例还提供了一种无人机机载目标检测方法，包括以下步骤：
步骤S01：通过摄像机获取目标视频流，通过GPS定位模块获取无人机的位置坐标，通过IMU惯性测量单元获取所述无人机的加速度与角速度；
步骤S02：通过传感器信息采集模块采集并传输所述GPS定位模块所获取的位置坐标与所述IMU惯性测量单元所获取得所述无人机的加速度与角速度信息；
步骤S03：通过深度学习目标检测算法模块基于预存的深度学习目标检测算法检测所述摄像机获取的所述目标视频流中的待检测目标物与相应的视频帧，并通过KLT目标跟踪计数算法模块基于预存的KLT目标跟踪计数算法对所述深度学习目标检测算法模块所检测出来的所述待检测目标物在所述目标视频流中进行跟踪，从而统计所述待检测目标物的数量；
通过平均值算法模块，基于预存的平均值算法模块对所述传感器信息采集模块所传输的所述加速度与所述角速度进行数据校准，并通过卡尔曼滤波算法模块，基于预存的卡尔曼滤波算法对经过所述平均值算法模块数据校准后的加速度与角速度进行数据融合，从而确定所述无人机的飞行姿态；
步骤S04：通过数据报表生成模块生成数据报表，所述数据报表包括所述计算模块获取的所述待检测目标物、所述待检测目标物对应的视频帧、所述待检测目标物对应的数量、所述无人机的位置坐标与飞行姿态；
步骤S05：通过存储器存储所述数据报表生成模块生成的所述数据报表。
优选地，所述步骤S03中的深度学习目标检测算法采用tiny-yolo目标检测算法，并对tiny-yolo目标检测算法的网络结构模型进行压缩，具体的压缩方式包括：减少卷积层数和/或减少卷积核数目和/或降低图片输入容量。
优选地，所述步骤S01之前还包括：对所述传感器信息采集模块、所述深度学习目标检测算法模块与所述KLT目标跟踪计数算法模块进行初始化处理。
从以上技术方案可以看出，本申请实施例具有以下优点：
本发明实施例提供了一种无人机机载目标检测系统及方法，通过摄像机获取视频流，并通过机载的计算模块中设置的深度学习目标检测算法模块检测出待检测目标物，并通过KLT目标跟踪计数算法模块对待检测目标物进行跟踪计数，同时，通过GPS定位模块获取无人机的位置坐标，并通过IMU惯性测量单元获取无人机的加速度与角速度，并通过传感器信息采集模块同时采集并传输位置坐标、无人机的加速度与角速度，随后，通过计算模块中的平均值算法模块对加速度与角速度进行数据校准，并通过卡尔曼滤波算法模块获得精准地飞机姿态，并将上述中获得的待测目标物、待测目标物的数据、位置坐标、飞行姿态均进行记录并保存。通过上述技术方案，可以实现在无人机上直接进行目标检测与飞行数据获取和后续处理，无需传输至地面端进行处理，使得提高了目标检测的实时性，同时，也使得检测效率更加快速。
附图说明
图1为本申请实施例提供的一种无人机机载目标检测系统的结构示意图；
图2为本申请实施例提供的一种无人机机载目标检测系统的原理框图；
图3为本申请实施例提供的一种无人机机载目标检测系统所检测的第一帧图像示意图；
图4为本申请实施例提供的一种无人机机载目标检测系统所检测的第二帧图像示意图；
图5为本申请实施例提供的一种无人机机载目标检测系统所检测的第三帧图像示意图；
图6为本申请实施例提供的一种无人机机载目标检测方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
为了便于理解，请参阅图1与图2，本申请提供的一种无人机机载目标检测系统，包括：摄像机、计算模块、IMU惯性测量单元、GPS定位模块与传感器信息采集模块；
摄像机用于实时获取目标视频流；
GPS定位模块，用于获取无人机的位置坐标；
IMU惯性测量单元，用于获取无人机的加速度与角速度；
传感器信息采集模块，用于采集并向计算模块传输GPS定位模块所获取的位置坐标与IMU惯性测量单元所获取得无人机的加速度与角速度信息；
计算模块设于无人机上，计算模块包括深度学习目标检测算法模块、KLT目标跟踪计数算法模块、平均值算法模块、卡尔曼滤波算法模块、数据报表生成模块与存储器；
深度学习目标检测算法模块，用于检测摄像机获取的目标视频流中的待检测目标物与相应的视频帧；
KLT目标跟踪计数算法模块，用于对深度学习目标检测算法模块所检测出来的待检测目标物在所述目标视频流进行跟踪，从而统计待检测目标物的数量；
平均值算法模块，用于对传感器信息采集模块所传输的加速度与角速度进行数据校准；
卡尔曼滤波算法模块，用于对经过平均值算法模块数据校准后的加速度与角速度进行数据融合，从而确定无人机的飞行姿态；
数据报表生成模块，用于生成数据报表，数据报表包括计算模块获取的待检测目标物、待检测目标物对应的视频帧、待检测目标物对应的数量、无人机的位置坐标与飞行姿态；
存储器，用于存储数据报表生成模块生成的数据报表。
需要说明的是，传感器信息采集模块从IMU惯性测量单元所获取得无人机的加速度与角速度的原始数据时，通常会伴随严重的噪声干扰，此外，传感器信息采集模块中的数据变化存在偏移现象，因此，通过平均值算法模块对其进行数据校准使得减少加速度与角速度的误差，提高获取飞行姿态的精准程度。
需要说明的是，KLT目标跟踪计数算法模块基于KLT目标跟踪计数算法，对深度学习目标检测算法模块所检测出来的待检测目标物进行跟踪并计数，为了防止检测出来的目标被重复统计，提高目标统计的准确度，跟踪计数的具体步骤如下：
(1)参考图3，假设第一帧图像中检测出第一个待检测目标物，KLT目标跟踪计数算法会对此待检测目标物进行编号ID:001,并对001号目标进行特征点提取；
(2)参考图4，输入第二帧图像，KLT目标跟踪计数算法检测出该帧图像中存在两个待检测目标物。首先基于提取的001号待检测目标物的特征点进行匹配，找出001号待检测目标物在第二帧图像中的位置。并对新进入图片中的待检测目标物进行编号ID：002，并对002号待检测目标物进行特征点提取；
(3)参考图5，输入第三帧图像，目标检测算法检测出该图像中存在两个待检测目标物。首先基于之前提取的001和002号待检测目标物的特征点进行匹配。如果未匹配到001号待检测目标物，匹配到002号待检测目标物，对新进入的待检测目标物进行编号ID：003，并提取003号待检测目标物的特征点；
(4)对随后输入的帧图像重复以上操作，就能实现对目标的跟踪计数。
通过本实施例一，可以在无人机的机载系统中，即前端就可以目标检测并对待检测目标物计数，并在无人机机载系统中进行数据记录并存储相关记录数据。同时，还可以在前端实时获取到无人机的位置坐标与飞行姿态，也提高了目标检测的可靠性，从而使得无人机目标检测更具有实时性。另外，本实施例一通过卡尔曼滤波算法将加速度与角速度融合计算得出更为精准的飞行姿态信息。
实施例二
本实施例二在实施例一的基础上，进一步地，深度学习目标检测算法模块嵌入tiny-yolo目标检测算法。
需要说明的是，tiny-yolo目标检测算法的检测速度远超其他深度学习检测算法，能够更加满足无人机机载应用的实时性要求。
进一步地，计算模块还包括图像预处理模块，用于对摄像机所获取的目标视频流进行降噪处理。
可以理解的是，对目标视频流进行降噪处理，可以降低后期对目标检测造成的干扰程度。
进一步地，计算模块采用FPGA芯片集成深度学习目标检测算法模块。
进一步地，计算模块采用ARM芯片集成KLT目标跟踪计数算法模块、平均值算法模块、卡尔曼滤波算法模块与数据报表生成模块。
进一步地，IMU惯性测量单元包括加速度计与陀螺仪，加速度计用于获取无人机的加速度，陀螺仪用于获取无人机的角速度。
进一步地，无人机设有用于摄像机运动的三轴云台。
可以理解的是，无人机在飞行过程中，抖动现象是不可避免的，而通过三轴云台可以提高摄像机拍摄的稳定性。
实施例三
本实施例三提供了一种无人机机载目标检测方法，参考图6，包括以下步骤：
步骤S01：通过摄像机获取目标视频流，通过GPS定位模块获取无人机的位置坐标，通过IMU惯性测量单元获取无人机的加速度与角速度；
步骤S02：通过传感器信息采集模块采集并传输GPS定位模块所获取的位置坐标与IMU惯性测量单元所获取得无人机的加速度与角速度信息；
步骤S03：通过深度学习目标检测算法模块基于预存的深度学习目标检测算法检测摄像机获取的目标视频流中的待检测目标物与相应的视频帧，并通过KLT目标跟踪计数算法模块基于预存的KLT目标跟踪计数算法对深度学习目标检测算法模块所检测出来的待检测目标物在所述目标视频流进行跟踪，从而统计待检测目标物的数量；
通过平均值算法模块，基于预存的平均值算法模块对传感器信息采集模块所传输的加速度与角速度进行数据校准，并通过卡尔曼滤波算法模块，基于预存的卡尔曼滤波算法对经过平均值算法模块数据校准后的加速度与角速度进行数据融合，从而确定无人机的飞行姿态；
步骤S04：通过数据报表生成模块生成数据报表，数据报表包括待检测目标物、待检测目标物对应的视频帧、待检测目标物对应的数量、待检测目标物对应的当时无人机的位置坐标与飞行姿态；
步骤S05：通过存储器存储数据报表生成模块生成的数据报表。
进一步地，在步骤S03中的深度学习目标检测算法采用tiny-yolo目标检测算法，为了进一步降低深度学习计算对硬件资源的需求，对tiny-yolo目标检测算法的网络结构模型进行压缩，具体的压缩方式包括：(1)减少卷积层数，tiny-yolo目标检测算法的网络结构模型最后两层的卷积核数目较多，可以去除了其中一层卷积层，从而达到减少参数的目的；(2)减少卷积核数目，tiny-yolo目标检测算法的卷积核的数量随着层数的加深呈递增趋势，可采取折半的方法减少卷积核数量，保持网络结构中池化层以及最后一层卷积核数量不变，而其他卷积层的卷积核数量减半；(3)降低图片输入容量，通过降低图片输入容量，从而减小网络前向推理的计算量，进而加快在目标检测算法上的处理速度，以提高检测帧率。
需要说明的是，以上三种压缩方式可以单独使用或共同使用。，在此不做限定。
进一步地，步骤S01之前还包括：对传感器信息采集模块、深度学习目标检测算法模块与KLT目标跟踪计数算法模块进行初始化处理。
可以理解的是，对传感器信息采集模块、深度学习目标检测算法模块与KLT目标跟踪计数算法模块进行初始化处理，可以提高目标检测的准确性，以及减少数据采集的误差。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种无人机机载目标检测系统，其特征在于，包括：摄像机、计算模块、IMU惯性测量单元、GPS定位模块与传感器信息采集模块；
所述摄像机用于实时获取目标视频流；
所述GPS定位模块，用于获取所述无人机的位置坐标；
所述IMU惯性测量单元，用于获取所述无人机的加速度与角速度；
所述传感器信息采集模块，用于采集并向所述计算模块传输所述GPS定位模块所获取的位置坐标与所述IMU惯性测量单元所获取的所述无人机的加速度与角速度；
所述计算模块设于所述无人机上，所述计算模块包括深度学习目标检测算法模块、KLT目标跟踪计数算法模块、平均值算法模块与卡尔曼滤波算法模块、数据报表生成模块与存储器；
所述深度学习目标检测算法模块嵌入tiny-yolo目标检测算法，用于检测所述摄像机获取的所述目标视频流中的待检测目标物与相应的视频帧；
所述KLT目标跟踪计数算法模块，用于对所述深度学习目标检测算法模块所检测出来的所述待检测目标物在所述目标视频流中进行跟踪，从而统计所述待检测目标物的数量；
所述平均值算法模块，用于对所述传感器信息采集模块所传输的所述加速度与所述角速度进行数据校准；
所述卡尔曼滤波算法模块，用于对经过所述平均值算法模块数据校准后的加速度与角速度进行数据融合，从而确定所述无人机的飞行姿态；
所述数据报表生成模块，用于生成数据报表，所述数据报表包括所述待检测目标物、所述待检测目标物对应的视频帧、所述待检测目标物对应的数量、所述无人机的位置坐标与飞行姿态；
所述存储器，用于存储所述数据报表生成模块生成的所述数据报表。
2.根据权利要求1所述的无人机机载目标检测系统，其特征在于，所述计算模块还包括图像预处理模块，用于对所述摄像机所获取的所述目标视频流进行降噪处理。
3.根据权利要求1所述的无人机机载目标检测系统，其特征在于，所述计算模块采用FPGA芯片集成所述深度学习目标检测算法模块。
4.根据权利要求3所述的无人机机载目标检测系统，其特征在于，所述计算模块采用ARM芯片集成所述KLT目标跟踪计数算法模块、所述平均值算法模块、所述卡尔曼滤波算法模块与所述数据报表生成模块。
5.根据权利要求1所述的无人机机载目标检测系统，其特征在于，所述IMU惯性测量单元包括加速度计与陀螺仪，所述加速度计用于获取所述无人机的加速度，所述陀螺仪用于获取所述无人机的角速度。
6.根据权利要求1所述的无人机机载目标检测系统，其特征在于，所述无人机设有用于所述摄像机运动的三轴云台。
7.一种无人机机载目标检测方法，其特征在于，包括以下步骤：
步骤S01：通过摄像机获取目标视频流，通过GPS定位模块获取无人机的位置坐标，通过IMU惯性测量单元获取所述无人机的加速度与角速度；
步骤S02：通过传感器信息采集模块采集并传输所述GPS定位模块所获取的位置坐标与所述IMU惯性测量单元所获取得所述无人机的加速度与角速度信息；
步骤S03：通过深度学习目标检测算法模块基于预存的深度学习目标检测算法检测所述摄像机获取的所述目标视频流中的待检测目标物与相应的视频帧，并通过KLT目标跟踪计数算法模块基于预存的KLT目标跟踪计数算法对所述深度学习目标检测算法模块所检测出来的所述待检测目标物在所述目标视频流中进行跟踪，从而统计所述待检测目标物的数量；
通过平均值算法模块，基于预存的平均值算法对所述传感器信息采集模块所传输的所述加速度与所述角速度进行数据校准，并通过卡尔曼滤波算法模块，基于预存的卡尔曼滤波算法对经过所述平均值算法模块数据校准后的加速度与角速度进行数据融合，从而确定所述无人机的飞行姿态；
所述步骤S03中的深度学习目标检测算法采用tiny-yolo目标检测算法，并对tiny-yolo目标检测算法的网络结构模型进行压缩，具体的压缩方式包括：减少卷积层数和/或减少卷积核数目和/或降低图片输入容量；
步骤S04：通过数据报表生成模块生成数据报表，所述数据报表包括所述待检测目标物、所述待检测目标物对应的视频帧、所述待检测目标物对应的数量、所述无人机的位置坐标与飞行姿态；
步骤S05：通过存储器存储所述数据报表生成模块生成的所述数据报表。
8.根据权利要求7所述的无人机机载目标检测方法，其特征在于，所述步骤S01之前还包括：对所述传感器信息采集模块、所述深度学习目标检测算法模块与所述KLT目标跟踪计数算法模块进行初始化处理。
CN202010725505.XA 2020-07-24 2020-07-24 一种无人机机载目标检测系统及方法 Active CN111736190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010725505.XA CN111736190B (zh) 2020-07-24 2020-07-24 一种无人机机载目标检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010725505.XA CN111736190B (zh) 2020-07-24 2020-07-24 一种无人机机载目标检测系统及方法

Publications (2)

Publication Number Publication Date
CN111736190A CN111736190A (zh) 2020-10-02
CN111736190B true CN111736190B (zh) 2022-01-25

Family

ID=72657717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010725505.XA Active CN111736190B (zh) 2020-07-24 2020-07-24 一种无人机机载目标检测系统及方法

Country Status (1)

Country Link
CN (1) CN111736190B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114217626B (zh) * 2021-12-14 2022-06-28 集展通航(北京)科技有限公司 一种基于无人机巡检视频的铁路工程检测方法和系统
CN116185077B (zh) * 2023-04-27 2024-01-26 北京历正飞控科技有限公司 一种黑飞无人机窄带精准打击方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107817820A (zh) * 2017-10-16 2018-03-20 复旦大学 一种基于深度学习的无人机自主飞行控制方法与系统
CN109885099A (zh) * 2017-12-06 2019-06-14 智飞智能装备科技东台有限公司 一种用于无人机跟踪锁定目标的视觉识别系统
CN110443247A (zh) * 2019-08-22 2019-11-12 中国科学院国家空间科学中心 一种无人机地面运动小目标实时检测系统及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102937443A (zh) * 2012-01-13 2013-02-20 唐粮 一种基于无人机的目标快速定位系统及方法
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN107450577A (zh) * 2017-07-25 2017-12-08 天津大学 基于多传感器的无人机智能感知系统和方法
US10628961B2 (en) * 2017-10-13 2020-04-21 Qualcomm Incorporated Object tracking for neural network systems
CN108399642B (zh) * 2018-01-26 2021-07-27 上海深视信息科技有限公司 一种融合旋翼无人机imu数据的通用目标跟随方法和系统
CN108830286A (zh) * 2018-03-30 2018-11-16 西安爱生技术集团公司 一种侦察无人机动目标自动检测与跟踪方法
CN108647587B (zh) * 2018-04-23 2021-08-24 腾讯科技（深圳）有限公司 人数统计方法、装置、终端及存储介质
CN111160212B (zh) * 2019-12-24 2022-11-11 浙江大学 一种基于YOLOv3-Tiny改进的跟踪学习检测系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107817820A (zh) * 2017-10-16 2018-03-20 复旦大学 一种基于深度学习的无人机自主飞行控制方法与系统
CN109885099A (zh) * 2017-12-06 2019-06-14 智飞智能装备科技东台有限公司 一种用于无人机跟踪锁定目标的视觉识别系统
CN110443247A (zh) * 2019-08-22 2019-11-12 中国科学院国家空间科学中心 一种无人机地面运动小目标实时检测系统及方法

Also Published As

Publication number Publication date
CN111736190A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
US11285613B2 (en) Robot vision image feature extraction method and apparatus and robot using the same
CN110555901B (zh) 动静态场景的定位和建图方法、装置、设备和存储介质
CN110490900B (zh) 动态环境下的双目视觉定位方法及系统
CN109544615B (zh) 基于图像的重定位方法、装置、终端及存储介质
CN113269098A (zh) 一种基于无人机的多目标跟踪定位与运动状态估计方法
JP2019522851A (ja) ３次元空間内の姿勢推定
CN111736190B (zh) 一种无人机机载目标检测系统及方法
CN109035294B (zh) 一种运动目标的图像提取系统及方法
CN110268445A (zh) 利用陀螺仪的相机自动校准
CN111932616B (zh) 一种利用并行计算加速的双目视觉惯性里程计方法
WO2019127518A1 (zh) 避障方法、装置及可移动平台
CN102607532B (zh) 一种利用飞控数据的低空影像快速匹配方法
CN113012224B (zh) 定位初始化方法和相关装置、设备、存储介质
CN114120301A (zh) 一种位姿确定方法、装置及设备
CN110503684A (zh) 相机位姿估计方法和装置
CN108227749A (zh) 无人机及其追踪系统
CN112087728B (zh) 获取Wi-Fi指纹空间分布的方法、装置和电子设备
CN110287957B (zh) 一种低慢小目标的定位方法及定位装置
CN114556425A (zh) 定位的方法、设备、无人机和存储介质
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
CN113469130A (zh) 一种遮挡目标检测方法、装置、存储介质及电子装置
CN113168532A (zh) 目标检测方法、装置、无人机及计算机可读存储介质
Eynard et al. UAV Motion Estimation using Hybrid Stereoscopic Vision.
US10553022B2 (en) Method of processing full motion video data for photogrammetric reconstruction
CN115115708B (zh) 一种图像位姿的计算方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant