CN109859264A

CN109859264A - 一种基于视觉导引的飞行器捕控跟踪系统

Info

Publication number: CN109859264A
Application number: CN201711232287.0A
Authority: CN
Inventors: 杨阳
Original assignee: Beijing Research Institute of Mechanical and Electrical Technology
Current assignee: Beijing Research Institute of Mechanical and Electrical Technology
Priority date: 2017-11-30
Filing date: 2017-11-30
Publication date: 2019-06-07

Abstract

一种基于视觉导引的飞行器捕控跟踪系统，涉及航空航天飞行器中跟踪控制与机器视觉的交叉技术，能够快速、高效、稳定的实现飞行器的捕控跟踪。该系统包括FPGA‑1和FPGA‑2两个控制芯片，其中FPGA‑1用于飞行器的飞行姿态控制，FPGA‑2用于对摄像头拍摄的图像进行目标识别，并将目标的位置信息传递给FPGA‑1，从而使FPGA‑1调整飞行器姿态始终朝向目标飞行。主要用于飞行器捕控跟踪。

Description

一种基于视觉导引的飞行器捕控跟踪系统

技术领域

本发明涉及航空航天飞行器中跟踪控制与机器视觉的交叉技术领域，尤其涉及一种基于视觉导引的飞行器捕控跟踪系统。

背景技术

1.目前同类技术应用的现状及缺陷：

随着航空航天技术的不断发展，不同种类的飞行器产品在军用和民用领域得到了越来越广泛的应用，其中目标捕捉跟踪作为飞行器的一项重要应用功能在军用打击目标和民用飞行拍摄等具有广阔的应用市场。目前，对于特定目标的跟踪捕捉方式主要通过雷达捕捉或者人工操作，前者功耗较大，价格昂贵；后者跟踪较慢，稳定性差。机器视觉技术的出现，在一定程度上解决了这些问题。

2.本专利针对同类现有技术或产品要解决的问题：

目前，机器视觉的应用主要集中于机器人系统与无人驾驶领域，飞行器领域涉及的专利和论文较少。

通过专利查询专利号2012101440828基于单目视觉的道路边缘检测及粗定位方法和专利号2014108299736基于OpenCV的车牌识别方法及系统和本专利有部分相似之处。前者针对连续的具有不同边缘特征的道路提供了基于颜色或者基于阈值分割的道路边缘检测方法，可用于半结构化和非结构化道路的机器人的视觉导航及智能控制；后者基于OpenCV的车牌识别方法及系统，方法包括采用背景图像差分法和质心迭代跟踪算法对实时视频进行目标跟踪以采集车辆图像。

发明内容

本发明的目的在于克服现有技术不足，提供了一种基于视觉导引的飞行器捕控跟踪系统，能够解决现有机器视觉技术难以兼容快速、高效、稳定的问题。

本发明的技术解决方案：

一种基于视觉导引的飞行器捕控跟踪系统，该系统包括FPGA-1和FPGA-2两个控制芯片，其中FPGA-1用于飞行器的飞行姿态控制，FPGA-2用于对摄像头拍摄的图像进行目标识别，并将目标的位置信息传递给FPGA-1，从而使FPGA-1调整飞行器姿态始终朝向目标飞行。

进一步可选的，FPGA-1根据目标在图像中的位置通过飞行器控制系统实时跟随，将其调整到图像中央或者特定位置，从而实现飞行器对于目标的实时跟踪锁定功能。

进一步可选的，若机器视觉识别的目标非正确目标，或者目标计算质心位置非跟踪理想位置，操作人员通过有线或者无线的方式对目标跟踪过程进行干预，以提高整体系统的准确性。

本发明实施例提供的一种基于视觉导引的飞行器捕控跟踪系统，飞行器内部包含两个控制芯片，其中FPGA-1负责飞行器的飞行姿态控制，FPGA-2负责处理摄像头拍摄的图像进行目标识别，并将目标的位置信息传递给FPGA-1，从而使其调整飞行器姿态始终朝向目标飞行，使用FPGA作为数据处理芯片，是因为其具有更高的采样速率与更大的数据吞吐能力；使用双FPGA架构使得目标识别与飞行控制过程相互独立，提高系统稳定性，并且如若系统发生故障可更换对应的功能模块，很大程度上提高了系统的可维护性。

附图说明

所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施例，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于视觉导引的飞行器捕控跟踪系统原理结构示意图；

图2为本发明实施例中一种基于视觉导引的飞行器捕控跟踪系统功能结构示意图；

图3、图4为本发明实施例中无人机2相对于无人机1的空间位置；

图5为本发明实施例中无人机2在无人机1拍摄图像的位置；

图6为本发明实施例中无人机2在无人机1拍摄图像的可能位置；

图7为本发明实施例中无人机2在无人机1拍摄图像的中心。

具体实施方式

下面将结合附图对本发明的具体实施例进行详细说明。在下面的描述中，出于解释而非限制性的目的，阐述了具体细节，以帮助全面地理解本发明。然而，对本领域技术人员来说显而易见的是，也可以在脱离了这些具体细节的其它实施例中实践本发明。

在此需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的设备结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

本发明实施例针对飞行器目标自动捕捉跟踪这一应用功能，使用摄像头所拍摄的图像对目标进行识别，通过控制系统进行自动锁定跟踪，能够实现快速、高效、稳定的自动捕捉跟踪功能。

本发明实施例提供一种基于视觉导引的飞行器捕控跟踪系统，参见图1该系统包括FPGA-1和FPGA-2两个控制芯片，其中FPGA-1用于飞行器的飞行姿态控制，FPGA-2用于对摄像头拍摄的图像进行目标识别，并将目标的位置信息传递给FPGA-1，从而使FPGA-1调整飞行器姿态始终朝向目标飞行。

使用FPGA作为数据处理芯片，是因为其具有更高的采样速率与更大的数据吞吐能力；使用双FPGA架构使得目标识别与飞行控制过程相互独立，提高系统稳定性，并且如若系统发生故障可更换对应的功能模块，很大程度上提高了系统的可维护性。

参见图2，使用安装在飞行器上的摄像头(数字、模拟、红外等)进行视频采集，对视频流中的图片进行目标识别。在本发明实施例中，可以使用开源计算机视觉库OpenCV进行功能开发。首先，将获取的视频图片进行灰度处理，根据实际应用情况调节阈值选取适当参数进行图像二值化；之后，根据跟踪目标的图像特征进行特征点提取，进行曲线拟合后通过计算质心锁定目标。

在图像轮廓边沿提取时，采用CANNY算法，Canny算子的方向性质使其具有更好的边缘检测和定位性能，而且产生的边缘梯度方向和强度两个信息也为后续处理提供了方便。从评价边缘检测性能优劣的以下指标看，Canny更具有优势：(1)较高的信噪比，即将非边缘点判定为边缘点的概率要低，将边缘点判定为非边缘点的概率也要低；(2)较好的定位性能，即检测出的边缘点要尽可能在实际边缘的中心；(3)对单一边缘仅有唯一响应，即单个边缘产生多个响应的概率要低，并且虚假边缘响应应得到最大抑制。

本发明实施例所述系统在对目标进行捕控跟踪时，采用实时视频处理技术，在连续的视频流中获得目标中心，通过飞行控制系统进行飞行器姿态调整，从而调整目标计算质心在获得图像中的位置，该位置可以是中心或者其它特定位置，位置的确定需要参考摄像机与飞行器的固定方式，此处不再赘述。使得飞行器始终朝着目标进行飞行，从而实现捕控跟踪锁定功能。除此之外，为了防止跟踪过程中，机器视觉识别的目标非正确目标，或者目标计算质心位置非跟踪理想位置，可以使操作人员通过有线或者无线的方式对此过程进行干预，以提高整体系统的准确性。

本典型实例适用于单独的摄像头，如数字摄像头、模拟摄像头、红外摄像头等，对目标进行自动捕控跟踪锁定。除此之外，其还可以通过摄像头不同种类的配合使用提高系统在多样化环境中的跟踪捕控性能，例如数字摄像头与红外摄像头、模拟摄像头与红外摄像头等。

基于视觉导引的飞行器自动捕控跟踪系统，能够在飞行过程中对目标进行自动实时的捕捉跟踪，缩短锁定飞行目标的时间，减少人为操作带来的失误，提高捕控系统的鲁棒性，从而实现快速、高效、稳定的自动捕捉跟踪功能，是一种新型的实时自动捕控跟踪系统，弥补了国内在相关领域的技术空白。

为便于读者理解，下面通过具体实例对上述系统的工作过程进行说明：

此处将对上述基于视觉导引的飞行器捕控跟踪系统的典型用例进行阐述，假设飞行器为一无人机1，其目标为另一无人机2，若两者初始位置关系如图3、图4所示。此时，启动飞行器自动捕控跟踪系统，摄像机开启(默认为数字摄像头，并且摄像头镜头中心的方向与无人机的机身中心方向一致)，此时无人机2出现在视频图像中的位置1，如图5所示。FPGA-1将无人机2在视频图像中的像素的位置信息传递给FPGA-1，其根据预编译的飞行控制算法调整飞行姿态，位置2为无人机2在调整过中可能出现在视频图像中的位置，如图6所示。直至无人机2出现在视频图像中的中心位置(无人机2在视频图像中的最终位置与摄像头与飞行器本体固连的相对位置有关系，并非都位于图像中心)，如图7所示。若计算机视觉系统计算的目标中心并非无人机2(摄像机视场中存在其他干扰目标)，则可以通过人工对视频图像内的目标进行认为选择。若无人机2改变飞行方向，自动捕控跟踪系统将再一次重复上述过程，直至无人机2再次出现在视频图像中的预定位置。由于目标识别使用实时技术，最终可以使无人机1在飞行过程中始终保持对无人机2的实时自动捕控跟踪功能。

如上针对一种实施例描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施例中使用，和/或与其它实施例中的特征相结合或替代其它实施例中的特征使用。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤、组件或其组合的存在或附加。

本发明以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。

这些实施例的许多特征和优点根据该详细描述是清楚的，因此所附权利要求旨在覆盖这些实施例的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施例限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。

本发明未详细说明部分为本领域技术人员公知技术。

Claims

1.一种基于视觉导引的飞行器捕控跟踪系统，其特征在于，该系统包括FPGA-1和FPGA-2两个控制芯片，其中FPGA-1用于飞行器的飞行姿态控制，FPGA-2用于对摄像头拍摄的图像进行目标识别，并将目标的位置信息传递给FPGA-1，从而使FPGA-1调整飞行器姿态始终朝向目标飞行。

2.根据权利要求1所述的系统，其特征在于，FPGA-1根据目标在图像中的位置通过飞行器控制系统实时跟随，将其调整到图像中央或者特定位置，从而实现飞行器对于目标的实时跟踪锁定功能。

3.根据权利要求2所述的系统，其特征在于，若机器视觉识别的目标非正确目标，或者目标计算质心位置非跟踪理想位置，操作人员通过有线或者无线的方式对目标跟踪过程进行干预，以提高整体系统的准确性。