CN107909600B - 一种基于视觉的无人机实时运动目标分类与检测方法 - Google Patents
一种基于视觉的无人机实时运动目标分类与检测方法 Download PDFInfo
- Publication number
- CN107909600B CN107909600B CN201711076871.1A CN201711076871A CN107909600B CN 107909600 B CN107909600 B CN 107909600B CN 201711076871 A CN201711076871 A CN 201711076871A CN 107909600 B CN107909600 B CN 107909600B
- Authority
- CN
- China
- Prior art keywords
- target
- unmanned aerial
- aerial vehicle
- specific target
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 14
- 239000000284 extract Substances 0.000 claims abstract description 8
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000005316 response function Methods 0.000 claims description 3
- 229920000535 Tan II Polymers 0.000 claims 1
- 230000033001 locomotion Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉的无人机实时运动目标分类与检测方法，目标识别借助深度学习的前沿技术，无人机通过先进的YOLOv2算法准确识别视频中同类目标物，并对其进行统计和标记，以便用户使用；当用户在地面站选定已识别同类目标物中的某一个特定目标物后，无人机系统用ORB算法提取其特征，之后不断与每帧视频中提取的同类目标物特征进行匹配，并结合选定目标的运动轨迹趋势，综合得到最终匹配的特定目标及其位置。特定目标识别为后续的目标自动跟踪、精准降落等自动化功能提供了保障。通过上述方法解决了无人机在复杂动态背景中的实时机载目标识别和检测，包括同类目标物和特定目标物识别，兼顾检测速度和精度等要求。
Description
技术领域
本发明属于无人机图像处理技术和计算机视觉领域，具体而言涉及一种基于视觉和深度学习的无人机对实时运动目标的分类和检测方法。
背景技术
运动目标在复杂动态背景下的实时识别是无人机朝着全自主应用必经的步骤，而由于应用平台的特殊性，在小型无人机系统下，传统的检测方法如基于分割、基于分类器、基于特征点等，由于基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余，对于动态背景的检测鲁棒性不高；而基于深度学习以R-CNN为代表的结合region proposal和CNN分类的目标检测框架，因为不能在无人机平台上兼顾检测精度和检测速度的应用要求，无法实现对于运动目标在复杂动态背景中的实时机载检测。
发明内容
本发明的目的在于提供一种基于视觉的无人机实时运动目标分类与检测方法，克服现有技术中无人机在复杂动态背景中的实时机载目标识别和检测，不能兼顾检测速度和精度等要求的技术问题。
为了解决上述问题，本发明采取如下技术方案：
一种基于视觉的无人机实时运动目标分类与检测方法，其特征在于，通过无人机系统完成对目标的识别与检测，所述无人机系统包括无人机和地面站系统，其中无人机包括无人机本体和设置在无人机本体上的云台、相机、机载嵌入式处理器、飞行控制器和无线数字传输设备，相机、飞行控制器和无线数字传输设备均与机载嵌入式处理器之间通过导线连接，无人机和地面站系统通过无线数字传输设备进行无线通讯；
无人机系统对目标的识别与检测包括如下步骤：
1)、控制无人机飞行到目标所在区域后，控制云台和相机对目标所在区域进行视频拍摄；
2)、无人机机载嵌入式处理器对所拍摄视频进行畸变校正，并压缩成能够进行目标识别的尺寸；
3)、机载嵌入式处理器采用经过训练的YOLOv2算法识别视频中同类目标；
4)、无人机将视频和同类目标的识别结果通过无线数字传输设备传输给地面站系统，地面站系统根据识别结果统计、标定视频中的同类目标物，便于用户执行后续操作；
5)、当需要无人机执行跟踪或者降落到某一特定目标的任务时，通过人为操作在地面站系统中选择已标定同类目标中的一个作为特定目标，以进一步识别与跟踪，并将已选定特定目标的结果上传给无人机；
6)、机载嵌入式处理器通过ORB算法提取特定目标的特征并保存；
7)、无人机进行特定目标识别，采用YOLOv2算法识别所拍摄视频中每一帧图像中所有的同类目标，缩小特征提取范围、提高识别精度；
8)、机载嵌入式处理器采用ORB算法提取每一帧中已识别的同类目标的特征，并与特定目标的特征进行特征匹配；同时，预估特定目标的移动轨迹，计算所有同类目标位置与预估特定目标移动轨迹的匹配度；
9)、综合特征匹配度和轨迹匹配度：
9.1)、当所有同类目标中的一个目标的匹配度满足设定阈值时，则认定该目标为特定目标，然后寻找到每一帧图像中特定目标所在位置，并标注，进而进行后续跟踪、降落等处理；
9.2)、当所有同类目标的匹配度均不满足设定阈值时，地面站系统重新选定特定目标。
通过上述方法解决了无人机在复杂动态背景中的实时机载目标识别和检测，包括同类目标物和特定目标物识别，兼顾检测速度和精度等要求。目标识别借助深度学习的前沿技术，无人机通过先进的YOLOv2算法准确识别视频中同类目标物，并对其进行统计和标记，以便用户使用；当用户在地面站选定已识别同类目标物中的某一个特定目标物后，无人机系统用ORB算法提取其特征，之后不断与每帧视频中提取的同类目标物特征进行匹配，并结合选定目标的运动轨迹趋势，综合得到最终匹配的特定目标及其位置。特定目标识别为后续的目标自动跟踪、精准降落等自动化功能提供了保障。
进一步改进，实际使用中，由于加工和安装误差，相机拍摄的视频会存在畸变，需校正畸变误差，所述对视频进行畸变校正的步骤如下：
1)、使用无人机所选定相机对标准平面标定板进行多角度拍摄，拍摄图像数量为12～20张；
2)、通过MATLAB或OpenCV库对所拍摄标定板视图进行处理，获取相机畸变参数；
3)、根据相机畸变参数修正视频畸变误差。
进一步改进，YOLOv2算法是一种联合训练算法，代表着目前最先进物体检测水平，在多种监测数据集中都要快过其他检测系统，并可以在速度与精确度上进行权衡。
如果按照标准k-means使用欧式距离函数，大boxes比小boxes产生更多错误。但是，我们真正想要的是产生好的IOU得分的boxes(与box的大小无关)。因此采用了如下距离度量：
d(box,centroid)＝1-IOU(box,centroid)；
其中，box表示选择的目标框，centroid表示目标框的矩心，IOU得分表示box之间的交集除以并集。如此处理，则错误就和box的尺度无关。IOU得分越高，则距离d越小。，
通过调用开源的神经网络框架Darknet来实现YOLOv2算法，更改其中的目标类、训练集、训练迭代次数、学习率、batches等参数以匹配实际应用。
采用YOLOv2算法识别目标的步骤如下：
1)、调用开源的神经网络框架Darknet框架，输入所拍摄视频，输出检测结果，所述检测结果包括包围目标的矩形目标框的对角坐标和目标类别，所述目标框为矩形框；
2)、将检测结果输出为xml格式文件；
3)、在输入视频图像中绘制出矩形框，可视化检测结果；
4)、对检测结果按照需求进行统计。
进一步改进，通过在Linux系统中调用OpenCV库的相关文件和函数，可实现ORB算法。用其提取YOLOv2识别的同类目标的特征，与参考目标进行匹配，匹配度越高则为选定特定目标的概率越大。
ORB算法结合了Fast算法和Brief算法的速度优势，并给Fast特征点增加了方向性，使得特征点具有旋转不变性，并提出了构造金字塔方法，解决尺度不变性。
采用ORB算法提取目标特征的步骤如下：
1)、构造尺度金字塔；
2)、在每层金字塔上采用Fast算法提取特征点，采用Harris角点响应函数，按角点响应值排序，选取前N个特征点，N的取值范围为和检测出的特征点个数有关，N为检测出特征点个数的20％～60％，且N为正整数；所述ast算法和Brief算法为现有技术；
3)、计算每个特征点的主方向；
4)、旋转每个特征点的Patch到主方向；
5)、采用汉明距离进行特征点匹配。
进一步改进，采用灰度质心法计算每个特征点的主方向，计算特征点半径为r的圆形邻域范围内的灰度质心位置，其中r的取值范围为2-40个像素点，根据从邻域范围中心位置到质心位置的向量，定义为该特征点的主方向；
定义矩的计算公式如下：
“p”表示矩是否在X轴方向上，1为在X轴上，0为不在X轴上；
“q”表示矩是否在Y轴方向上，1为在y轴上，0为不在Y轴上；
I(X，y)为点(X，y)处的灰度值；
灰度质心位置的坐标：
特征点主方向：
θ＝atan 2(m01,m10)；
得到的θ值即特征点的主方向。
其中，(X，y)为邻域范围内点的坐标，m10表示矩的X轴方向距离，m01表示矩的y轴方向距离，m00表示单位矩。
进一步改进，所述预估特定目标的移动轨迹的方法如下，基于常规目标的速度在图像相邻帧之间不会突变，根据已检测到的特定目标在相邻多帧间的位置变化趋势，估计出特定目标移动轨迹和速度，从而预测出特定目标在下一帧的大概位置。
正常时只要在预测的位置附近进行目标检测即可，因为预测的范围比整幅图像小，可以大大加快检测速度；而且，不需要对检测图像进行大比例的缩小，可以提高检测精度。预测出目标的运动轨迹后，计算检测到的各个同类目标相对于预测轨迹和位置的偏离程度，偏离越小则为选定跟踪目标的概率越大。
进一步改进，所述无人机选用嵌入式超级计算平台NVIDIA Jetson TX2来辅助完成YOLOv2算法。
与现有技术相比，本方案具有如下有益效果：
本发明解决了无人机在复杂动态背景中的实时机载目标识别和检测，兼顾检测速度和精度等要求。通过采用目前最新的深度学习算法在动态背景中准确识别同类目标的基础上，再调用先进的特征提取算法，保证目标识别和特征提取精度的同时通过减少提取区域来加快速度，并且分析预测目标物的运动轨迹，辅助特定目标位置的准确识别。通过搭载便携嵌入式AI平台NVIDIA TX2，解决算力问题。结合无人机系统的训练和测试等方法流程，可让无人机机载系统本身兼顾检测精度和速度，增强鲁棒性，实时且高效地分类和检测出选定目标物体，并可进行精准特定目标识别，进而为后续的目标物跟踪、精准降落等提供技术保障。
附图说明
图1为本发明所述无人机系统框图。
图2为本发明所述基于视觉的无人机实时运动目标分类与检测方法的流程图。
具体实施方式
为使本发明的目的和技术方案更加清楚，下面结合本发明实施例对本发明的技术方案进行清楚，完整的描述。
如图1所示，无人机系统包括无人机和地面站系统，其中无人机包括无人机本体和设置在无人机本体上的云台、相机、机载嵌入式处理器、NVIDIA Jetson TX2和飞行控制器，相机、NVIDIA Jetson TX2、飞行控制器和图传数传一体机与机载嵌入式处理器之间通过导线连接，无人机和地面站系统通过无线数字传输设备进行无线通讯。
在本实施例中，无人机系统对目标的识别与检测包括如下步骤，如图1所示：
1)、控制无人机飞行到目标所在区域后，控制云台和相机对目标所在区域进行视频拍摄；
2)、由于加工和安装误差，相机拍摄的视频会存在畸变，无人机机载嵌入式处理器对所拍摄视频进行畸变校正，并压缩成能够进行目标识别的尺寸；所述对视频进行畸变校正的步骤如下：
2.1)、使用无人机所选定相机对标准平面标定板进行多角度拍摄，拍摄图像数量为12～20张；
2.2)、通过MATLAB或OpenCV库对所拍摄标定板视图进行处理，获取相机畸变参数；
2.3)、根据相机畸变参数修正视频畸变误差。
3)、机载嵌入式处理器采用经过训练的YOLOv2算法识别视频中同类目标。YOLOv2算法是一种联合训练算法，代表着目前最先进物体检测水平，在多种监测数据集中都要快过其他检测系统，并可以在速度与精确度上进行权衡。如果按照标准k-means使用欧式距离函数，大boxes比小boxes产生更多错误。但是，我们真正想要的是产生好的IOU得分的boxes(与box的大小无关)。因此采用了如下距离度量：
d(box,centroid)＝1-IOU(box,centroid)；
其中，box表示选择的目标框，centroid表示目标框的矩心，IOU得分表示box之间的交集除以并集。如此处理，则错误就和box的尺度无关。IOU得分越高，则距离d越小。
通过调用开源的神经网络框架Darknet来实现YOLOv2算法，更改其中的目标类、训练集、训练迭代次数、学习率、batches等参数以匹配实际应用。
采用YOLOv2算法识别目标的步骤如下：
3.1)、调用开源的神经网络框架Darknet框架，输入所拍摄视频，输出检测结果，所述检测结果包括包围目标的矩形目标框的对角坐标和目标类别，所述目标框为矩形框；
3.2)、将检测结果输出为xml格式文件；
3.3)、在输入视频图像中绘制出矩形框，可视化检测结果；
3.4)、对检测结果按照需求进行统计。
4)、无人机将视频和同类目标的识别结果通过图传数传一体机传输给地面站系统，地面站系统根据识别结果统计、标定视频中的同类目标物，便于用户执行后续操作；
5)、当需要无人机执行跟踪或者降落到某一特定目标的任务时，通过人为操作在地面站中选择已标定同类目标中的一个作为特定目标，以进一步识别与跟踪，并将已选定特定目标的结果上传给无人机；
6)、机载嵌入式处理器通过ORB算法提取特定目标的特征并保存。通过在Linux系统中调用OpenCV库的相关文件和函数，可实现ORB算法。用其提取YOLOv2识别的同类目标的特征，与参考目标进行匹配，匹配度越高则为选定特定目标的概率越大。ORB算法结合了Fast算法和Brief算法的速度优势，并给Fast特征点增加了方向性，使得特征点具有旋转不变性，并提出了构造金字塔方法，解决尺度不变性。
采用ORB算法提取目标特征的步骤如下：
6.1)、构造尺度金字塔；
6.2)、在每层金字塔上采用Fast算法提取特征点，采用Harris角点响应函数，按角点响应值排序，选取前N个特征点，N的取值范围为和检测出的特征点个数有关，N为检测出特征点个数的20％～60％，且N为正整数；
6.3)、计算每个特征点的主方向；
6.4)、旋转每个特征点的Patch到主方向；
6.5)、采用汉明距离进行特征点匹配。
在本实施中，采用灰度质心法计算每个特征点的主方向，计算特征点半径为r的圆形邻域范围内的灰度质心位置，根据从邻域范围中心位置到质心位置的向量，定义为该特征点的主方向；
定义矩的计算公式如下：
“p”表示矩是否在X轴方向上，1为在X轴上，0为不在X轴上；
“q”表示矩是否在Y轴方向上，1为在y轴上，0为不在Y轴上；
I(X，y)为点(X，y)处的灰度值；
灰度质心位置的坐标：
特征点主方向：
θ＝atan 2(m01,m10)；
得到的θ值即特征点的主方向。
其中，(X，y)为邻域范围内点的坐标，m10表示矩的X轴方向距离，m01表示矩的y轴方向距离，m00表示单位矩。
7)、无人机进行特定目标识别，采用YOLOv2算法识别所拍摄视频中每一帧图像中所有的同类目标，缩小特征提取范围、提高识别精度；
8)、机载嵌入式处理器采用ORB算法提取每一帧中已识别的同类目标的特征，并与特定目标的特征进行特征匹配；同时，预估特定目标的移动轨迹，计算所有同类目标位置与预估特定目标移动轨迹的匹配度；所述预估特定目标的移动轨迹的方法如下，基于常规目标的速度在图像相邻帧之间不会突变，根据已检测到的特定目标在相邻多帧间的位置变化趋势，估计出特定目标移动轨迹和速度，从而预测出特定目标在下一帧的大概位置。正常时只要在预测的位置附近进行目标检测即可，因为预测的范围比整幅图像小，可以大大加快检测速度；而且，不需要对检测图像进行大比例的缩小，可以提高检测精度。预测出目标的运动轨迹后，计算检测到的各个同类目标相对于预测轨迹和位置的偏离程度，偏离越小则为选定跟踪目标的概率越大。
9)、综合特征匹配度和轨迹匹配度：
9.1)、当所有同类目标中的一个目标的匹配度满足设定阈值时，则认定该目标为特定目标，然后寻找到每一帧图像中特定目标所在位置，并标注，进而进行后续跟踪、降落等处理。
9.2)、当所有同类目标的匹配度均不满足设定阈值时，需要在地面站系统上重新选定特定目标。
本发明中未做特别说明的均为现有技术或者通过现有技术即可实现，而且本发明中所述具体实施案例仅为本发明的较佳实施案例而已，并非用来限定本发明的实施范围。即凡依本发明申请专利范围的内容所作的等效变化与修饰，都应作为本发明的技术范畴。
Claims (7)
1.一种基于视觉的无人机实时运动目标分类与检测方法，其特征在于，通过无人机系统完成对目标的识别与检测，所述无人机系统包括无人机和地面站系统，其中无人机包括无人机本体和设置在无人机本体上的云台、相机、机载嵌入式处理器、飞行控制器和无线数字传输设备，相机、飞行控制器和无线数字传输设备均与机载嵌入式处理器之间通过导线连接，无人机和地面站系统通过无线数字传输设备进行无线通讯；
无人机系统对目标的识别与检测包括如下步骤：
1)、控制无人机飞行到目标所在区域后，控制云台和相机对目标所在区域进行视频拍摄；
2)、无人机机载嵌入式处理器对所拍摄视频进行畸变校正，并压缩成能够进行目标识别的尺寸；
3)、机载嵌入式处理器采用经过训练的YOLOv2算法识别视频中同类目标；
4)、无人机将视频和同类目标的识别结果通过无线数字传输设备传输给地面站系统，地面站系统根据识别结果统计、标定视频中的同类目标物，便于用户执行后续操作；
5)、当需要无人机执行跟踪或者降落到某一特定目标的任务时，通过人为操作在地面站中选择已标定同类目标中的一个作为特定目标，以进一步识别与跟踪，并将已选定特定目标的结果上传给无人机；
6)、机载嵌入式处理器通过ORB算法提取特定目标的特征并保存；
7)、无人机进行特定目标识别，采用YOLOv2算法识别所拍摄视频中每一帧图像中所有的同类目标，缩小特征提取范围、提高识别精度；
8)、机载嵌入式处理器采用ORB算法提取每一帧中已识别的同类目标的特征，并与特定目标的特征进行特征匹配；同时，预估特定目标的移动轨迹，计算所有同类目标位置与预估特定目标移动轨迹的匹配度；
9)、综合特征匹配度和轨迹匹配度：
9.1)、当所有同类目标中的一个目标的特征匹配度或轨迹匹配度满足设定阈值时，则认定该目标为特定目标，然后寻找到每一帧图像中特定目标所在位置，并标注，进而进行后续跟踪、降落处理；
9.2)、当所有同类目标的特征匹配度或轨迹匹配度均不满足设定阈值时，需要在地面站系统上重新选定特定目标。
2.根据权利要求1所述的基于视觉的无人机实时运动目标分类与检测方法，其特征在于，对所拍摄视频进行畸变校正的步骤如下：
1)、使用无人机所选定相机对标准平面标定板进行多角度拍摄，拍摄图像数量为12～20张；
2)、通过MATLAB或OpenCV库对所拍摄标定板视图进行处理，获取相机畸变参数；
3)、根据相机畸变参数修正视频畸变误差。
3.根据权利要求1或2所述的基于视觉的无人机实时运动目标分类与检测方法，其特征在于，采用YOLOv2算法识别目标的步骤如下：
1)、调用开源的神经网络框架Darknet框架，输入所拍摄视频，输出检测结果，所述检测结果包括目标包围矩形框的对角坐标和目标类别；
2)、将检测结果输出为xml格式文件；
3)、在输入视频图像中绘制出矩形框，可视化检测结果；
4)、对检测结果按照需求进行统计。
4.根据权利要求3所述的基于视觉的无人机实时运动目标分类与检测方法，其特征在于，采用ORB算法提取目标特征的步骤如下：
1)、构造尺度金字塔；
2)、在每层金字塔上采用Fast算法提取特征点，采用Harris角点响应函数，按角点响应值排序，选取前N个特征点，N的取值范围为和检测出的特征点个数有关，N为检测出特征点个数的20％～60％，且N为正整数；
3)、计算每个特征点的主方向；
4)、旋转每个特征点的Patch到主方向；
5)、采用汉明距离进行特征点匹配。
5.根据权利要求4所述的基于视觉的无人机实时运动目标分类与检测方法，其特征在于，采用灰度质心法计算每个特征点的主方向，计算特征点半径为r的圆形邻域范围内的灰度质心位置，其中r的取值范围为2-40个像素点，根据从邻域范围中心位置到质心位置的向量，定义为该特征点的主方向；
定义矩的计算公式如下：
“p”表示矩是否在x轴方向上，1为在x轴上，0为不在x轴上；
“q”表示矩是否在y轴方向上，1为在y轴上，0为不在y轴上；
I(x，y)为点(x，y)处的灰度值；
灰度质心位置的坐标：
特征点主方向：
θ＝a tan2(m01,m10)；
得到的θ值即特征点的主方向；
其中，(x，y)为邻域范围内点的坐标，m10表示矩的x轴方向距离，m01表示矩的y轴方向距离，m00表示单位矩。
6.根据权利要求1所述的基于视觉的无人机实时运动目标分类与检测方法，其特征在于，所述预估特定目标的移动轨迹的方法如下，基于常规目标的速度在图像相邻帧之间不会突变，根据已检测到的特定目标在相邻多帧间的位置变化趋势，估计出特定目标移动轨迹和速度，从而预测出特定目标在下一帧的大概位置。
7.根据权利要求1所述的基于视觉的无人机实时运动目标分类与检测方法，其特征在于，所述无人机选用嵌入式超级计算平台NVIDIA Jetson TX2来辅助完成YOLOv2算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711076871.1A CN107909600B (zh) | 2017-11-04 | 2017-11-04 | 一种基于视觉的无人机实时运动目标分类与检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711076871.1A CN107909600B (zh) | 2017-11-04 | 2017-11-04 | 一种基于视觉的无人机实时运动目标分类与检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107909600A CN107909600A (zh) | 2018-04-13 |
| CN107909600B true CN107909600B (zh) | 2021-05-11 |
Family
ID=61843390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711076871.1A Active CN107909600B (zh) | 2017-11-04 | 2017-11-04 | 一种基于视觉的无人机实时运动目标分类与检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107909600B (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108404387B (zh) * | 2018-05-10 | 2020-04-10 | 宜春学院 | 篮球训练系统 |
| CN108648224B (zh) * | 2018-05-18 | 2021-07-13 | 杭州电子科技大学 | 一种基于人工神经网络的实时场景布局识别及重建的方法 |
| CN109165585A (zh) * | 2018-06-15 | 2019-01-08 | 沈阳理工大学 | 一种改进的基于yolo v2的船舶目标检测方法 |
| TWI670646B (zh) * | 2018-06-15 | 2019-09-01 | 財團法人工業技術研究院 | 資訊顯示方法及其顯示系統 |
| CN109241817B (zh) * | 2018-07-02 | 2022-02-22 | 广东工业大学 | 一种无人机拍摄的农作物图像识别方法 |
| CN109325454B (zh) * | 2018-09-28 | 2020-05-22 | 合肥工业大学 | 一种基于YOLOv3的静态手势实时识别方法 |
| CN109509212B (zh) * | 2018-09-30 | 2023-11-24 | 惠州市德赛西威汽车电子股份有限公司 | 目标跟踪处理方法、电子设备 |
| CN109506624B (zh) * | 2018-10-31 | 2021-11-02 | 台州职业技术学院 | 一种基于移动机器人的分布式视觉定位系统及方法 |
| CN109685839B (zh) * | 2018-12-20 | 2023-04-18 | 广州华多网络科技有限公司 | 图像对齐方法、移动终端以及计算机存储介质 |
| CN111385459A (zh) * | 2018-12-28 | 2020-07-07 | 南京婆娑航空科技有限公司 | 一种无人机云台自动控制与对焦、测光方法 |
| CN109816699B (zh) * | 2019-01-30 | 2021-07-27 | 国网智能科技股份有限公司 | 一种基于背景抑制帧间差分法的云台角度计算方法 |
| CN109792951B (zh) * | 2019-02-21 | 2020-07-31 | 华南农业大学 | 用于杂交水稻授粉的无人机航线校正系统及其校正方法 |
| CN110471055B (zh) * | 2019-07-08 | 2021-03-30 | 岭澳核电有限公司 | 飞行物轨迹预测方法、装置、可读存储介质及终端设备 |
| CN112327894A (zh) * | 2019-08-05 | 2021-02-05 | 旭日蓝天(武汉)科技有限公司 | 一种基于ai技术的无人机云端人数统计系统及方法 |
| CN112327936A (zh) * | 2019-08-05 | 2021-02-05 | 旭日蓝天(武汉)科技有限公司 | 一种基于ai技术的无人机前端物体识别跟踪系统及方法 |
| CN112327935A (zh) * | 2019-08-05 | 2021-02-05 | 旭日蓝天(武汉)科技有限公司 | 一种基于ai技术的无人机云端物体识别跟踪系统及方法 |
| CN110580053A (zh) * | 2019-08-13 | 2019-12-17 | 深圳市道通智能航空技术有限公司 | 一种目标追踪方法、飞行器及飞行系统 |
| CN110631588B (zh) * | 2019-09-23 | 2022-11-18 | 电子科技大学 | 一种基于rbf网络的无人机视觉导航定位方法 |
| CN110796104A (zh) * | 2019-11-01 | 2020-02-14 | 深圳市道通智能航空技术有限公司 | 目标检测方法、装置、存储介质及无人机 |
| CN111975776A (zh) * | 2020-08-18 | 2020-11-24 | 广州市优普科技有限公司 | 基于深度学习和卡尔曼滤波的机器人移动跟踪系统及方法 |
| CN112215074A (zh) * | 2020-09-10 | 2021-01-12 | 鲁东大学 | 基于无人机视觉的实时目标识别与检测追踪系统及方法 |
| CN112233141B (zh) * | 2020-09-28 | 2022-10-14 | 国网浙江省电力有限公司杭州供电公司 | 电力场景下基于无人机视觉的运动目标追踪方法及系统 |
| CN113030569A (zh) * | 2021-02-26 | 2021-06-25 | 华南理工大学 | 一种线谱估计方法 |
| CN114756037B (zh) * | 2022-03-18 | 2023-04-07 | 广东汇星光电科技有限公司 | 一种基于神经网络图像识别的无人机系统及控制方法 |
| CN115167362A (zh) * | 2022-07-25 | 2022-10-11 | 亿航智能设备（广州）有限公司 | 一种机载视觉计算装置和飞行器 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447459A (zh) * | 2015-11-18 | 2016-03-30 | 上海海事大学 | 一种无人机自动检测目标和跟踪方法 |
| CN105931229A (zh) * | 2016-04-18 | 2016-09-07 | 东北大学 | 面向无线相机传感器网络的无线相机传感器位姿标定方法 |
| CN106327528A (zh) * | 2016-08-23 | 2017-01-11 | 常州轻工职业技术学院 | 无人机运动目标跟踪方法及无人机的工作方法 |
| US9651649B1 (en) * | 2013-03-14 | 2017-05-16 | The Trustees Of The Stevens Institute Of Technology | Passive acoustic detection, tracking and classification system and method |
| CN106707296A (zh) * | 2017-01-09 | 2017-05-24 | 华中科技大学 | 一种基于双孔径光电成像系统的无人机检测与识别方法 |
| CN106803270A (zh) * | 2017-01-13 | 2017-06-06 | 西北工业大学深圳研究院 | 无人机平台基于单目slam的多关键帧协同地面目标定位方法 |
| CN106981073A (zh) * | 2017-03-31 | 2017-07-25 | 中南大学 | 一种基于无人机的地面运动目标实时跟踪方法及系统 |
-
2017
- 2017-11-04 CN CN201711076871.1A patent/CN107909600B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9651649B1 (en) * | 2013-03-14 | 2017-05-16 | The Trustees Of The Stevens Institute Of Technology | Passive acoustic detection, tracking and classification system and method |
| CN105447459A (zh) * | 2015-11-18 | 2016-03-30 | 上海海事大学 | 一种无人机自动检测目标和跟踪方法 |
| CN105931229A (zh) * | 2016-04-18 | 2016-09-07 | 东北大学 | 面向无线相机传感器网络的无线相机传感器位姿标定方法 |
| CN106327528A (zh) * | 2016-08-23 | 2017-01-11 | 常州轻工职业技术学院 | 无人机运动目标跟踪方法及无人机的工作方法 |
| CN106707296A (zh) * | 2017-01-09 | 2017-05-24 | 华中科技大学 | 一种基于双孔径光电成像系统的无人机检测与识别方法 |
| CN106803270A (zh) * | 2017-01-13 | 2017-06-06 | 西北工业大学深圳研究院 | 无人机平台基于单目slam的多关键帧协同地面目标定位方法 |
| CN106981073A (zh) * | 2017-03-31 | 2017-07-25 | 中南大学 | 一种基于无人机的地面运动目标实时跟踪方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| Flatness-based Target Tracking for a Quadrotor Unmanned Aerial Vehicle;TianyaLi 等;《IFAC-PapersOnLine》;20151231;第48卷(第28期);第874-879页 * |
| 复杂环境下多无人机协作式地面移动目标跟踪;王林 等;《控制理论与应用》;20110331;第28卷(第3期);第300-308页 * |
| 无人机视频运动目标实时检测及跟踪;董晶 等;《应用光学》;20130331;第34卷(第2期);第255-259页 * |
| 结合ORB特征和色彩模型的视觉跟踪算法;钟华民 等;《模式识别与人工智能》;20150131;第28卷(第1期);第90-96页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107909600A (zh) | 2018-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107909600B (zh) | 一种基于视觉的无人机实时运动目标分类与检测方法 | |
| CN111241931B (zh) | 一种基于YOLOv3的空中无人机目标识别和跟踪方法 | |
| CN109784333B (zh) | 基于点云带权通道特征的三维目标检测方法及系统 | |
| US10325351B2 (en) | Systems and methods for normalizing an image | |
| CN106960446B (zh) | 一种面向无人艇应用的水面目标检测跟踪一体化方法 | |
| EP3338248B1 (en) | Systems and methods for object tracking | |
| US9542751B2 (en) | Systems and methods for reducing a plurality of bounding regions | |
| WO2020151166A1 (zh) | 多目标跟踪方法、装置、计算机装置及可读存储介质 | |
| US9741170B2 (en) | Method for displaying augmented reality content based on 3D point cloud recognition, and apparatus and system for executing the method | |
| CN108388879B (zh) | 目标的检测方法、装置和存储介质 | |
| WO2021129105A1 (zh) | 一种基于mask rcnn网络模型的目标识别方法、装置 | |
| CN109145803B (zh) | 手势识别方法及装置、电子设备、计算机可读存储介质 | |
| US9007481B2 (en) | Information processing device and method for recognition of target objects within an image | |
| CN103514432A (zh) | 人脸特征提取方法、设备和计算机程序产品 | |
| CN109919002B (zh) | 黄色禁停线识别方法、装置、计算机设备及存储介质 | |
| CN110443247A (zh) | 一种无人机地面运动小目标实时检测系统及方法 | |
| CN110443279B (zh) | 一种基于轻量级神经网络的无人机图像车辆检测方法 | |
| CN115797736B (zh) | 目标检测模型的训练和目标检测方法、装置、设备和介质 | |
| CN117372928A (zh) | 一种视频目标检测方法、装置及相关设备 | |
| CN116665097A (zh) | 一种结合上下文感知的自适应目标跟踪方法 | |
| CN116453109A (zh) | 3d目标检测方法、装置、设备及存储介质 | |
| CN113792629B (zh) | 一种基于深度神经网络的安全帽佩戴检测方法及系统 | |
| Aryan | Vision based automatic target scoring system for mobile shooting range | |
| CN112749664A (zh) | 一种手势识别方法、装置、设备、系统及存储介质 | |
| Cheng et al. | Improved fast compressive tracking for low-altitude flying target tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |