CN112037252A - 基于鹰眼视觉的目标跟踪方法及系统 - Google Patents

Abstract

本发明涉及机器视觉技术，尤其涉及一种基于鹰眼视觉的目标跟踪方法及系统。本发明通过图像采集设备采集其前方视场图像、左侧视场图像和右侧视场图像，然后将各图像融合，从而得到完整视场图像，可以获取更大视场的图像信息。之后基于深度学习的目标探测跟踪技术对完整视场图像目标探测和跟踪，可实现对目标的快速识别探测和跟踪。另外，通过超分辨率重建技术对目标区域图像的分辨率进行重建提高，可以更精准、更稳定高效地对目标进行探测和跟踪，提高目标探测跟踪的准确性和稳定性。

Description

基于鹰眼视觉的目标跟踪方法及系统

技术领域

本发明涉及机器视觉技术，尤其涉及一种基于鹰眼视觉的目标跟踪方法及系统。

背景技术

随着科学技术的迅猛发展，无人机已经成为了当代航空领域不可或缺的一份子。由于无人机有着多种优点，比如，操作简单、耗能低、机动性强，因此，它广泛应用于生活中的各种方面：电路巡检、地图测绘、搜索救援、军事侦察、交通管制、民用航拍。在搜索救援方面，当发生一些天灾时，比如地震、森林火灾，救援十分困难，可以让无人机进入受灾区域，观察周围环境，寻找受灾人群，避免救援者不必要的受伤；在日常的交通中，也可以用无人机观察道路拥挤情况，为市民做出合理的道路规划；在战场上，可以采用无人机监察敌情、巡视战场，在敌人的到来之前提前预警，实际上，在近些年的美国和其他国家的战争中，无人机发挥的作用不可忽视。而在无人机执行这些任务时，最重要的就是其视觉系统。

计算机视觉，是一门让计算机控制视觉传感器以代替人眼来感知环境信息、并对信息作出判断的学科。无人机上搭载了视觉传感器，可以对周围环境进行图像搜集、对图像处理，对特定场景中的物体进行识别及跟踪。

在无人机执行任务时，目标探测及识别是其非常重要的一项任务。无人机通过机器视觉系统将成像场景中的目标探测出来，并根据探测出的目标信息，对目标实施侦查、跟踪等任务。目前无人机的探测目标的手段主要集中在光学相机的成像上，利用光学相机采集场景及目标的图像，探测目标的信息，完成目标的探测任务。但在面临复杂的环境下，常规的目标探测与识别方法遇到了很大困难。这是由于光照变化、场景旋转、目标遮挡、图像分辨率低等因素的影响干扰甚至淹没了目标特征，导致目标特征不稳定，无法稳定、准确探测和识别目标。

发明内容

本发明主要目的在于，提供一种基于鹰眼视觉的目标跟踪方法及系统，以解决现有的目标探测和识别方法无法稳定、准确探测和识别目标的问题。

本发明是通过如下技术方案实现的：

一种基于鹰眼视觉的目标跟踪方法，包括：

步骤A：通过图像采集设备采集其前方视场图像、左侧视场图像和右侧视场图像；

步骤B：将所述前方视场图像、所述左侧视场图像和所述右侧视场图像融合，得到完整视场图像；

步骤C：对所述完整视场图像进行预处理，得到所述完整视场图像的预处理图像；

步骤D：对所述预处理图像进行特征提取，得到所述完整视场图像的特征信息；

步骤E：根据所述完整视场图像的特征信息和目标特征信息，探测所述完整视场图像中的目标；

步骤F：跟踪所述目标。

进一步地，在探测所述目标和跟踪所述目标时，通过超分辨率重建提高目标区域图像的分辨率。

进一步地，所述步骤C中通过依次对所述完整视场图像进行灰度化、二值化、阈值处理、滤波、膨胀腐蚀和霍夫变换来对所述完整视场图像进行预处理。

进一步地，所述步骤D中通过提取方向梯度直方图特征的方式来对所述预处理图像进行特征提取。

进一步地，通过超分辨率重建提高目标区域图像的分辨率的方法包括：

获取低分辨率的目标区域图像；

根据训练好的高分辨率图像中的高频信息与低分辨率图像中的低频信息之间的关系，将所述低分辨率的目标区域图像重建为高分辨率的目标区域图像。

一种基于鹰眼视觉的目标跟踪系统，包括图像采集设备和图像分析系统；

所述图像采集设备用于采集其前方视场图像、左侧视场图像和右侧视场图像；

所述图像分析系统包括：

图像融合模块，用于将所述前方视场图像、所述左侧视场图像和所述右侧视场图像融合，得到完整视场图像；

图像预处理模块，用于对所述完整视场图像进行预处理，得到所述完整视场图像的预处理图像；

特征提取模块，用于对所述预处理图像进行特征提取，得到所述完整视场图像的特征信息；

目标探测器，用于根据所述完整视场图像的特征信息和目标特征信息，探测所述完整视场图像中的目标；

目标跟踪器，用于跟踪所述目标。

进一步地，所述基于鹰眼视觉的目标跟踪系统还包括：

超分辨率重建模块，用于在所述目标探测器探测所述目标和所述目标跟踪器跟踪所述目标时，通过超分辨率重建提高目标区域图像的分辨率。

进一步地，所述图像预处理模块通过依次对所述完整视场图像进行灰度化、二值化、阈值处理、滤波、膨胀腐蚀和霍夫变换来对所述完整视场图像进行预处理。

进一步地，所述特征提取模块通过提取方向梯度直方图特征的方式来对所述预处理图像进行特征提取。

进一步地，所述超分辨率重建模块包括：

输入模块，用于接收低分辨率的目标区域图像；

重建模块，用于根据训练好的高分辨率图像中的高频信息与低分辨率图像中的低频信息之间的关系，将所述低分辨率的目标区域图像重建为高分辨率的目标区域图像；

输出模块，用于输出高分辨率的目标区域图像。

与现有技术相比，本发明提供的基于鹰眼视觉的目标跟踪方法及系统，通过图像采集设备采集其前方视场图像、左侧视场图像和右侧视场图像，然后将各图像融合，从而得到完整视场图像，可以获取更大视场的图像信息。之后基于深度学习的目标探测跟踪技术对完整视场图像目标探测和跟踪，可实现对目标的快速识别探测和跟踪。另外，通过超分辨率重建技术对目标区域图像的分辨率进行重建提高，可以更精准、更稳定高效地对目标进行探测和跟踪，提高目标探测跟踪的准确性和稳定性。

附图说明

图1是鹰眼视觉结构及成像示意图；

图2是鹰眼视觉系统工作原理示意图；

图3是本发明仿鹰眼视觉机制的原理示意图；

图4是图像预处理流程示意图；

图5是特征提取流程示意图；

图6是目标跟踪示意图；

图7是超分辨率重建示意图；

图8是基于鹰眼视觉的目标跟踪方法的总体流程示意图；

图9是基于鹰眼视觉的目标跟踪系统的总体架构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步详细说明。

鹰眼之所以能够在大视场复杂场景下快速准确地捕获目标，是因为鹰眼的结构所决定的。结合图1、图2所示，鹰眼的每个眼睛具有两个中央凹：正中央凹和侧中央凹。正中央凹用于观察前侧视野里的物体像，侧中央凹则用于接收鹰头前面的物体像。由于鹰眼具有两个中央凹，故鹰眼的成像视野范围非常大，可达到180°。对于鹰这类食肉鸟类，它在正中央凹陷处具有最高的视觉灵敏度。鹰在飞行过程中，当目标与背景具有不同的结构、颜色、亮度和对比度时，鹰能将目标从背景中分辨出来。即使目标与背景在这些特征上没有差异，而仅仅具有相对运动，鹰仍然能够分辨目标与背景。

鹰的视觉运动信息的计算由两个独立的并行通道来实现，即大场景系统和小场景系统。在大场景系统下，鹰眼可以精准地从背景中探测出运动的目标并对目标进行定位和跟踪。当目标被定位和跟踪后，鹰眼的小场景系统可以对目标进行分辨率提高，实现目标的精准识别和探测。

结合图3和图8所示，根据鹰眼的视觉机制的机理，本发明提出一种基于鹰眼视觉的目标跟踪方法。该基于鹰眼视觉的目标跟踪方法包括如下步骤：

步骤A：通过图像采集设备1采集其前方视场图像、左侧视场图像和右侧视场图像；

步骤B：将前方视场图像、左侧视场图像和右侧视场图像融合，得到完整视场图像；

步骤C：对完整视场图像进行预处理，得到完整视场图像的预处理图像；

步骤D：对预处理图像进行特征提取，得到完整视场图像的特征信息；

步骤E：根据完整视场图像的特征信息和目标特征信息，探测完整视场图像中的目标；

步骤F：跟踪目标。

在步骤A中，图像采集设备1模仿鹰眼的成像机制，包括三个摄像头，使用三个摄像头分别模仿鹰眼的左侧中央凹、正中央凹和右侧中央凹，分别采集图像采集设备1前方视场图像、左侧视场图像和右侧视场图像，形成180°的成像视场。在步骤B中，将三个摄像头采集到的图像进行融合，得到完整视场图像。通过模仿鹰眼视觉机制的图像采集方法可以使图像采集设备1采集的图像范围更大更广。

参考图4所示，步骤C中，通过依次对完整视场图像进行灰度化、二值化、阈值处理、滤波、膨胀腐蚀和霍夫变换来对完整视场图像进行预处理，从而突出完整视场图像中的待探测目标信息。

步骤D中，通过提取方向梯度直方图特征的方式来对预处理图像进行特征提取。由于方向梯度直方图特征提取方法具有探测性好、目标特征稳定的优点，因此本发明采用梯度直方图的特征提取方法对预处理图像进行特征提取。参考图5所示，该特征提取方法主要包括如下几个步骤：

第一步对图像进行归一化；

第二步根据目标区域的梯度信息，将目标区域的梯度信息按直方图的思想进行统计，组成梯度直方图；

第三步将目标区域分为若干个细胞组(cell)，并将目标区域梯度信息按照0°-360°分为若干个区域进行统计，其中梯度幅值作为梯度大小的权重计算在内，在此方向上的梯度幅度相加即为第一梯度的统计值；

第四步为梯度信息归一化操作。由于光照条件的影响和场景的变化多样，同一目标区域的梯度信息会发生变化，为了减少这类因素的影响，需要对细胞组中的梯度信息进行归一化操作。

参考图6所示，在步骤E和步骤F中，应用深度学习框架tensorflow+kersa+yolo搭建卷积神经网络模型，构建目标探测器5和目标跟踪器6。目标探测器5探测识别目标并记录目标的初始位置，然后目标探测器5将目标的初始位置发送给目标跟踪器6，通过目标跟踪器6对目标进行跟踪，目标跟踪器6通过确认目标的中心位置来对目标进行实时跟踪。在对目标探测和跟踪过程中通过搜集训练集并对训练集进行训练，使模型具备可以探测跟踪目标的能力。基于深度学习的目标探测跟踪方法通过建立卷积神经网络模型对数据集进行训练和学习，相较于传统的目标探测跟踪方法来说，效率更高，识别更准确。

在探测目标和跟踪目标时，可以通过超分辨率重建提高目标区域图像的分辨率，从而提高对目标的探测和跟踪效果。通过超分辨率重建提高目标区域图像的分辨率的方法包括：

获取低分辨率的目标区域图像；

根据训练好的高分辨率图像中的高频信息与低分辨率图像中的低频信息之间的关系，将低分辨率的目标区域图像重建为高分辨率的目标区域图像。

参考图7所示，超分辨率重建具体来说就是，首先将高分辨率图像转化为低分辨率图像，再用tensorflow搭建SRCNN卷积神经网络提取高分辨率图像中的高频信息和低分辨率图像中的低频信息，并学习和训练高频信息与低频信息之间的关系，之后，根据该关系，通过卷积神经网络将低分辨率图像转化为高分辨率图像并验证超分辨率重建的效果。反复执行，直到得到满意的效果。通过提高目标区域图像的分辨率，可以使目标成像更加清晰和直观，可以提高目标识别探测的准确率和稳定性。

基于上述目标跟踪方法，本发明还提供了一种基于鹰眼视觉的目标跟踪系统。如图9所示，该系统包括图像采集设备1和图像分析系统。

图像采集设备1用于采集其前方视场图像、左侧视场图像和右侧视场图像；

图像分析系统包括：

图像融合模块2，用于将前方视场图像、左侧视场图像和右侧视场图像融合，得到完整视场图像；

图像预处理模块3，用于对完整视场图像进行预处理，得到完整视场图像的预处理图像；

特征提取模块4，用于对预处理图像进行特征提取，得到完整视场图像的特征信息；

目标探测器5，用于根据完整视场图像的特征信息和目标特征信息，探测完整视场图像中的目标；

目标跟踪器6，用于跟踪目标。

基于鹰眼视觉的目标跟踪系统还可包括：

超分辨率重建模块7，用于在目标探测器5探测目标和目标跟踪器6跟踪目标时，通过超分辨率重建提高目标区域图像的分辨率。

在该系统中，图像预处理模块3通过依次对完整视场图像进行灰度化、二值化、阈值处理、滤波、膨胀腐蚀和霍夫变换来对完整视场图像进行预处理。

在该系统中，特征提取模块4通过提取方向梯度直方图特征的方式来对预处理图像进行特征提取。

在该系统中，超分辨率重建模块7包括：

输入模块，用于接收低分辨率的目标区域图像；

重建模块，用于根据训练好的高分辨率图像中的高频信息与低分辨率图像中的低频信息之间的关系，将低分辨率的目标区域图像重建为高分辨率的目标区域图像；

输出模块，用于输出高分辨率的目标区域图像。

该基于鹰眼视觉的目标跟踪系统与上述基于鹰眼视觉的目标跟踪方法相对应，用于执行上述基于鹰眼视觉的目标跟踪方法。该基于鹰眼视觉的目标跟踪系统中的各功能模块用于执行上述基于鹰眼视觉的目标跟踪方法中的各流程，在此不作赘述。

图像采集设备1可以搭载在无人机上，无人机通过无线传输的方式将图像采集设备1采集的图像实时传输到地面工作站，地面工作站中安装图像分析系统执行后续的图像分析工作，实现对目标的持续探测和跟踪。将本发明应用于无人机中，通过模仿鹰眼视觉的图像采集机制，通过图像采集和融合，能够使无人机机器视觉系统可以获取大视场的图像信息。通过基于深度学习的目标探测跟踪技术，可以使无人机机器视觉系统实现对目标的快速识别探测和跟踪。通过超分辨率重建技术对目标区域的分辨率进行重建提高，可以使无人机机器视觉系统更精准、更稳定高效的对目标进行探测和跟踪，提高系统的准确性和稳定性。本发明能在复杂大视场的环境下快速锁定跟踪目标、并提高目标区域的分辨率，实现快速、准确的目标探测与跟踪。

上述实施例仅为优选实施例，并不用以限制本发明的保护范围，在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于鹰眼视觉的目标跟踪方法，其特征在于，包括：

步骤A：通过图像采集设备采集其前方视场图像、左侧视场图像和右侧视场图像；

步骤B：将所述前方视场图像、所述左侧视场图像和所述右侧视场图像融合，得到完整视场图像；

步骤C：对所述完整视场图像进行预处理，得到所述完整视场图像的预处理图像；

步骤D：对所述预处理图像进行特征提取，得到所述完整视场图像的特征信息；

步骤E：根据所述完整视场图像的特征信息和目标特征信息，探测所述完整视场图像中的目标；

步骤F：跟踪所述目标。

2.如权利要求1所述的基于鹰眼视觉的目标跟踪方法，其特征在于，在探测所述目标和跟踪所述目标时，通过超分辨率重建提高目标区域图像的分辨率。

3.如权利要求1所述的基于鹰眼视觉的目标跟踪方法，其特征在于，所述步骤C中通过依次对所述完整视场图像进行灰度化、二值化、阈值处理、滤波、膨胀腐蚀和霍夫变换来对所述完整视场图像进行预处理。

4.如权利要求1所述的基于鹰眼视觉的目标跟踪方法，其特征在于，所述步骤D中通过提取方向梯度直方图特征的方式来对所述预处理图像进行特征提取。

5.如权利要求2所述的基于鹰眼视觉的目标跟踪方法，其特征在于，通过超分辨率重建提高目标区域图像的分辨率的方法包括：

获取低分辨率的目标区域图像；

根据训练好的高分辨率图像中的高频信息与低分辨率图像中的低频信息之间的关系，将所述低分辨率的目标区域图像重建为高分辨率的目标区域图像。

6.一种基于鹰眼视觉的目标跟踪系统，其特征在于，包括图像采集设备和图像分析系统；

所述图像采集设备用于采集其前方视场图像、左侧视场图像和右侧视场图像；

所述图像分析系统包括：

图像融合模块，用于将所述前方视场图像、所述左侧视场图像和所述右侧视场图像融合，得到完整视场图像；

图像预处理模块，用于对所述完整视场图像进行预处理，得到所述完整视场图像的预处理图像；

特征提取模块，用于对所述预处理图像进行特征提取，得到所述完整视场图像的特征信息；

目标探测器，用于根据所述完整视场图像的特征信息和目标特征信息，探测所述完整视场图像中的目标；

目标跟踪器，用于跟踪所述目标。

7.如权利要求6所述的基于鹰眼视觉的目标跟踪系统，其特征在于，还包括：

超分辨率重建模块，用于在所述目标探测器探测所述目标和所述目标跟踪器跟踪所述目标时，通过超分辨率重建提高目标区域图像的分辨率。

8.如权利要求6所述的基于鹰眼视觉的目标跟踪系统，其特征在于，所述图像预处理模块通过依次对所述完整视场图像进行灰度化、二值化、阈值处理、滤波、膨胀腐蚀和霍夫变换来对所述完整视场图像进行预处理。

9.如权利要求6所述的基于鹰眼视觉的目标跟踪系统，其特征在于，所述特征提取模块通过提取方向梯度直方图特征的方式来对所述预处理图像进行特征提取。

10.如权利要求7所述的基于鹰眼视觉的目标跟踪系统，其特征在于，所述超分辨率重建模块包括：

输入模块，用于接收低分辨率的目标区域图像；

重建模块，用于根据训练好的高分辨率图像中的高频信息与低分辨率图像中的低频信息之间的关系，将所述低分辨率的目标区域图像重建为高分辨率的目标区域图像；

输出模块，用于输出高分辨率的目标区域图像。

Images