CN208314856U - 一种用于单目机载目标检测的系统 - Google Patents

Abstract

本实用新型属于无人机技术领域，公开了一种用于单目机载目标检测的系统，包括：导航单元，包括至少一个惯性测量单元；成像相机，捕捉无人机周围场景的两幅或多幅图像；与计算机系统连接的成像相机和导航单元；计算机系统执行空中目标，检测算法和计算过程，两个或两个以上的图像帧利用导航，计算机经计算后每两个或多个图像帧来生成一个补偿背景图像；从运动补偿背景图像序列检测运动物体；激光测距仪，与计算机系统连接，用于提供距离测量到一个或多个检测对象；与计算机系统相连的飞行控制系统；用于实现飞行器姿态的控制。

Description

一种用于单目机载目标检测的系统

技术领域

本实用新型属于无人机技术领域，尤其涉及一种用于单目机载目标检测的装置。

背景技术

无人机(UAV)需要感知和避免障碍物的存在和位置，以便安全地导航路径以完成任务。无人机还需要从周围环境中检测其他机载物体。然而，功率和重量的限制影像了无人机中可能采用的感测技术。立体图像处理需要图像传感器的重复性，以便捕获可用于确定机载物体的范围的图像。另外，在许多应用中，使用立体图像对于所需深度分辨率的图像传感器所需的分离超过了可用尺寸(例如，翼展)。单个传感器技术，如雷达，激光雷达和毫米波雷达(以及为这种设备供电所需的电源)通常太重，无法用于轻型无人机设计。现有专利：一种基于移动设备单目相机的场景重建方法及装置CN201610859387.5；提供一种基于移动设备单目相机的场景重建方法及装置。用同一智能设备单目相机(含单个摄像头)在不同位置拍摄同一场景相同物体的思想来模拟双目立体视觉，即：将智能设备tl时刻(第一次)拍照的位置设为相机1所处位置，将智能设备t2时刻(第二次)拍照位置设为相机2所处位置；通过对这两个时刻拍摄图像进行数据处理得到单目相机内外参数，然后通过得到的稠密视觉差值得到tl时刻图像的任意位置的视觉差值，进行三维场景重建。一种基于单目相机和三维力传感器的工业机器人抓取方法CN201610807413.X；提供了一种基于单目相机和三维力传感器的工业机器人抓取方法，其模拟人的视觉和触觉感知系统实现机器人对目标物的抓取工作，采用六自由度关节式工业机器人作为执行单元，使用单目相机进行环境感知、三维力传感器控制机器人调节姿态的方法，有效解决了物体识别设备成本高，对物体摆放要求严格等特殊限定的问题。一种基于单目视觉传感器的硅MEMS陀螺误差估计与校正方法CN201610740714.5。提供一种基于单目视觉传感器的硅MEMS陀螺误差估计与校正方法。该方法以低成本硅MEMS陀螺和单目视觉传感器为测量器件，采用Kalman滤波信息融合的思路，实时估计校正硅MEMS陀螺误差，以提高全飞行过程中惯性导航和飞行控制系统的精度。本实用新型可用于任何包含单目视觉传感器和娃MEMS陀螺的无人机导航系统中。

综上所述，现有技术存在的问题是：目前的无人机功率和重量控制的约束，限制了传感技术可用于无人机机载的立体图像处理需要为图像传感器采集图像，不可以用来确定一个范围内的空中目标；使用立体图像对于所需深度分辨率的图像传感器所需的分离超过了可用尺寸(例如翼展)；单个传感器技术，如雷达，激光雷达和毫米波雷达通常太重，无法用于轻型无人机设计。

发明内容

针对现有技术存在的问题，本实用新型提供了一种用于单目机载目标检测的系统和方法。

本实用新型是这样实现的，一种用于单目机载目标检测的系统，所述用于单目机载目标检测的系统包括：

导航单元，包括至少一个惯性测量单元(IMU)、全球导航卫星系统(GNSS)、其他导航系统；

成像相机，用于捕捉无人机周围场景的两幅或多幅图像；

与计算机系统连接的成像相机和导航单元；计算机系统执行空中目标，检测算法和计算过程，两个或两个以上的图像帧利用导航，计算机经计算后每两个或多个图像帧来生成一个补偿背景图像；从运动补偿背景图像序列检测运动物体；

激光测距仪，与计算机系统连接，用于提供距离测量到一个或多个检测对象；

与计算机系统相连的飞行控制系统；用于实现飞行器的飞行方式、速度、高度、姿态等的控制。

进一步，所述计算机系统通过检测运动补偿背景图像序列的重叠部分之间的差异来检测来自运动补偿背景图像序列的移动物体；以及制导或飞行控制系统耦合到计算机系统中，其中制导或飞行控制系统基于从运动补偿的背景图像序列检测的移动物体的信息来调整轨迹。

进一步，所述计算机系统输出状态向量的每个运动目标的运动补偿背景图像序列的识别，其中状态向量描述至少一个位置进行估计。

进一步，其中使用粒子滤波器，扩展卡尔曼滤波器或无声卡尔曼滤波器中的至少一个来估计状矢量。

进一步，运动系统的补偿，计算机使用粒子滤波器，扩展卡尔曼滤波器或无卡尔曼滤波器中的至少一个来跟踪一个或多个运动对象。

本实用新型的另一目的在于提供一种所述用于单目机载目标检测的系统的用于单目机载目标检测的方法，所述用于单目机载目标检测的方法包括：

捕捉无人机周围场景的两幅或多幅图像；测量导航信息与两个或两个以上的图像使用惯性传感器相关；计算，使用的计算机系统，第一帧和两个或多个图像帧的第二图像帧之间的第一次转型，采用两个或两个以上的图像相关的导航信息；生成运动补偿图像序列的基础上应用的第一个基本矩阵的第一帧图像投射到第二帧图像；

从所述运动补偿背景图像序列检测移动物体；基于运动补偿背景图像序列和导航信息来估计用于在无人机周围移动物体的位置信息。

本实用新型用于在计算机可读介质设备上存储的基于图像的移动物体检测方法从410开始，捕获在无人机周围场景的两个或更多个图像。该方法进行到420，测量与使用惯性传感器的两个或多个图像相关联的导航信息。该方法使用与两个或多个图像相关联的导航信息来计算两个或更多图像帧的第一图像帧和第二图像帧之间的第一变换(例如，基本矩阵)，继续到430。基本矩阵作为任何两个图像帧之间的变换，并且根据两个图像帧的相关联的导航信息计算。当应用于第一图像帧时，基本矩阵将产生图像投影，该图像投影表示在第二图像帧的时间点从相机的角度出现在第一图像帧拍摄的场景中位于表观无限远处的对象的图像投影，拍摄图像帧。因此，基本矩阵表示相机110在拍摄第一和第二图像帧之间如何旋转。该方法进行到440，基于应用第一变换来将第一图像帧重新投射到第二图像帧中，生成运动补偿背景图像序列。该方法通过从运动补偿的背景图像序列检测运动对象而进行到450。在运动补偿背景图像序列中，当重新投射到第二图像帧上时，位于第一图像帧中的表观无穷远处的任何静态对象将与其自身重叠。也就是说，在第一图像帧中的第一位置处的表观无穷远处的每个静态对象在被转换成使用基本矩阵的第一图像帧的再投影之后将最终被重新投射到第二图像帧上的自身上，如运动补偿背景图像序列。相比之下，移动物体或比表观无穷远更近的物体将出现在多个位置。基于运动补偿背景图像序列和导航信息，该方法进行到460，估计用于在无人机周围的运动物体的位置信息。在一个实施例中，广义3D重播或结构-来自运动技术将相机的轨迹以及相机图像中检测到的对象的序列的知识结合在一起，以类似于立体视觉的方式计算物体在三维空间中的位置重新设计利用相机之间的相对距离来计算物体的深度。在本实用新型的一个实施例中，估计位置包括通过在具有自导航的无人机的轨迹信息，不同时间和位置捕获图像从一个照相机获取深度信息。为了防止冲突，该深度信息被应用于上述识别的特定移动物体以确定它们的位置(即，相对于本地参考帧或导航帧)。因此，在一个实施例中，该方法进行到470，其基于位置信息改变无人机的路线。

所述用于单目机载目标检测的方法进一步包括：在自航过程中引入人工轨迹激励。

所述用于单目机载目标检测的方法进一步包括：跟踪检测到的空中目标；并提供检测到的空中目标的运动速度矢量和碰撞时间的一一或两者的估计值。

本实用新型的优点及积极效果为：突破了功率和质量控制的约束，使用成像相机与惯性传感器测量技术就能获取空中移动物体的位置信息，用来确定空中目标。从运动补偿背景图像序列中，计算机系统可以区分空中移动物体与静态背景物体，以便于无人机及时改变或保持飞行路线。

附图说明

图1是本实用新型实施例提供的用于单目机载目标检测的系统结构示意图。

图2是本实用新型实施例提供的单目机载目标检测系统的图像帧和导航信息示意图。

图3本实用新型实施例提供的单目机载目标检测的示意图一。

图4是本实用新型实施例提供的单目机载目标检测的示意图图二。

图5是本实用新型实施例提供的在无人机中实现单目机载目标检测的示意图。

图6是本实用新型实施例提供的单目机载目标检测的流程图。

具体实施方式

为了使本实用新型的目的、技术方案及优点更加清楚明白，以下结合实施例，对本实用新型进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本实用新型，并不用于限定本实用新型。

下面结合附图对本实用新型的应用原理作详细的描述。

本实用新型实施例提供的用于单目机载目标检测的系统包括：导航单元、成像相机、计算机系统、飞行控制系统、激光测距仪。

导航单元，包括至少一个惯性测量单元(IMU)、全球导航卫星系统(GNSS)、其他导航系统；

成像相机，用于捕捉无人机周围场景的两幅或多幅图像；

与计算机系统连接的成像相机和导航单元；计算机系统执行空中目标，检测算法和计算过程，两个或两个以上的图像帧利用导航，计算机经计算后每两个或多个图像帧来生成一个补偿背景图像；从运动补偿背景图像序列检测运动物体；

激光测距仪，与计算机系统连接，用于提供距离测量到一个或多个检测对象；

与计算机系统相连的飞行控制系统；用于实现飞行器的飞行方式、速度、高度、姿态等的控制。

下面结合附图对本实用新型的应用原理作进一步的描述。

本实用新型的实施例提供单眼机载目标检测方法，

在一个实施例中，一种用于检测来自无人机周围移动物体的系统包括：成像相机；导航单元，至少包括惯性测量单元；以及耦合到图像相机和导航单元的计算机系统。计算机系统执行机载对象检测处理算法，并且使用与两个或更多个图像帧中的每一个相关联的导航信息来计算由成像相机捕获的两个或更多个图像帧之间的变换，以生成运动补偿的背景图像序列。计算机系统从运动补偿背景图像序列中检测移动物体。

本实用新型的实施例解决了自导航无人机能够在其周围同时检测移动和静态物体的需要，同时避免了通常与先前已知的物体检测方案相关联的重量和功率要求。虽然主要通过下面的示例讨论无人机，但本领域普通技术人员阅读本说明书将会理解，本实用新型的实施例不限于无人机。包括陆上和水中的其他实施例也被认为在本实用新型的实施例的范围内，以及作为远程驾驶的车或船。本实用新型的实施例通过将从车载摄像机捕获的多个图像与无人机惯性数据相结合来实现移动物体(例如机载物体)的检测，以产生具有能够检测移动物体的运动补偿背景的图像序列。如本实用新型所使用的，术语“相机”是使用相机敏感的任何频谱拍摄图像的任何装置的通用术语，并将观察到的空间投影到二维平面上。例如，如本实用新型所用的术语，照相机可能对人类可见的全部或部分光谱敏感，或者可选地，更高或更低频率的光谱。或者，如本实用新型中使用的术语一样，照相机还包括基于除光子光能以外的能量形式，将观测空间投影到二维黎曼流形上的装置。

图1是表示本实用新型的一个实施方式的机载物体的检测系统100的框图。系统100包括成像相机110，至少包括惯性测量单元(IMU)115的导航单元112和执行如下所述由成像相机110和导航单元112获取的信息的分析的计算机系统120。在一个实施例中，系统100被结合到诸如105所示的无人机(UAV)中。

在操作中，成像照相机110捕获多个图像帧。对于拍摄的每个图像帧，IMU 115在每帧被捕获时捕获惯性测量数据(即，加速度计和陀螺仪数据)或无人机105的相关导航信息(即惯性导航系统信息)。为了本说明书的目的，两者都将被称为“导航信息”，但是应当理解，所使用的术语中可以使用任何类型的运动描述作为限制和范围。如图所示图。1B一般为150，对于多个图像帧(帧1至帧n)中的每一个，存在用于该参考帧的相关联的导航信息。计算机系统120使用来自IMU115的数据来补偿成像照相机110的移动，以便生成本实用新型称为运动补偿背景图像序列的图像。从运动补偿背景图像序列，计算机系统120可以区分移动物体与静态背景物体。

使用来自IMU 115的导航信息，计算机系统120例如以基本矩阵的形式计算适当的变换。基本矩阵作为任何两个图像帧之间的变换矩阵，并且可以从两个图像帧的相关联的导航信息计算。当应用于第一图像帧时，基本矩阵将产生图像投影，其表示如何在第二图像帧被捕获的时刻从相机的角度出现第一图像帧拍摄的场景，假设与摄像机帧之间的基线相比，场景中的所有对象都处于明显的亲和力。因此，基本矩阵表示相机110在拍摄第一和第二图像帧之间如何旋转。本实用新型的实施例通过将一个或多个重新投影的帧重叠到多个捕获的图像帧中的所选择的一个上来创建运动补偿的背景图像序列。在其他实施例中，使用基本矩阵，季节数学，变换矢量场或其他表示来计算变换。

图2是本实用新型实施例提供的单目机载目标检测系统的图像帧和导航信息示意图。

图3提供了用于创建运动补偿的背景图像序列的本实用新型的一个实施例的帧重投影的示例200。摄像机110捕获大体上以210示出的第一图像(F 1)，而导航系统112测量当F 1被捕获的时间点的相关联的导航信息(N 1)。相机110随后捕获通常以212示出的第二图像(F 2)，同时由导航系统112测量相关联的导航信息(N 2)。使用任何适用的已知的计算基本矩阵的方法之一，从F 1，N 1，F 2和N 2计算基本矩阵FM 1,2(一般示于214)。例如，在一个实施例中，使用F＝K1-T[t]×RK-1来计算基本矩阵，其中[]x是交叉乘积的矩阵表示(与偏斜对称矩阵相乘)R是旋转矩阵，t是平移向量，K是相机本征校准矩阵。讨论基本矩阵的计算的一个可用参考由Hartley，R。和Zisserman，A.，Multiple View Geometry，Vol。4，Cambridge University Press，2000，其通过引用并入本实用新型。将FM 1,2应用于第一图像F 1产生F 1'(通常以220示出)，提供当拍摄图像帧F 2时从相机110的有利位置出现的第一图像F 1的再投影场景中的所有对象都位于明显的无限远处。结合F 1'和F 2的结果产生运动补偿背景图像序列222。在运动补偿背景图像序列中，F 1'中任何静态物体的重新投射应在F 2中与自身重叠。在第一图像帧中的第一位置处的每个静态对象在被转换成使用基本矩阵的帧1的重投影之后，将最终在运动补偿背景图像序列中观察到的在第二图像帧上重新投射到自身上，假设所有背景物体都位于明显的无限远处。相反，移动物体或比表观无限远(通常以230表示)的物体将相反地出现在运动补偿背景图像序列222中的总体上如235所示的变化位置处。F 1'中运动物体的重新投射在F 2中不会与自身重叠。因此，F 1'中的运动物体230出现在从F 2的有利位置到摄像机的位置，但在时间F 1被捕获。结果是F 1'描绘了移动物体230的先前位置，而F 2描绘了物体230的最近位置。因此，当F 1'和F 2重叠时，运动中的任何物体将出现两次。在一个实施例中，在运动补偿背景图像序列中出现多于一次的对象通过计算F 1'和F 2之间的差异(例如通过使用例如XOR函数)来识别，如224所示。这将显示一般框架中显示的对象，或另一个框架，但不显示两者，如236所示。该结果识别出来自每个图像帧的特征，该图像没有跟随变换，因此不是静态的或者位于比表观无限远的位置。

图4说明使用两个图像识别运动中的物体，可以使用任何多个图像。例如，如255所示，捕获其相关联的导航信息(N 1至Nn)的图像帧(F 1至Fn)。使用帧Fn作为要投影的目标帧，计算基本矩阵FM 1，n，并通过将FM 1，n应用于F 1来生成重播F'1，n。以相同的方式框架F 2。。。Fn-1被重新投射入，F'2，n。。。F'n-1，n。基本矩阵FM 1，n至FM n-1，n的计算分别将每帧重新投射到所选择的目标图像帧Fn中。处理(通常在265处示出)重映射F'1，n到F'n-1，n(通常以260表示)和Fn(如261所示)，以产生运动补偿的背景图像序列270。如上所述，位于虚拟无穷远处的物体(即背景物体)将被重新投射到自身上。相反，移动对象将会出现在多个位置。对F'1，n到F'n-1，n和Fn图像的集合应用逐位减法或XOR函数允许移动对象与静态对象的区分。

一旦移动的物体被识别，计算机系统120使用已知的方法(例如但不限于广义的3D重新投射或结构)来估计来自捕获的图像中的一个或多个运动物体的位置(三维)本领域普通技术人员已知的从运动技术。也就是说，计算机系统120不仅识别出存在由图像内的某些像素表示的空中运动物体，还确定运动物体位于三维空间中的位置。运动技术的结构包括摄像机轨迹的知识以及摄像机图像中检测到的对象的序列，以类似的方式计算物体在三维空间中的位置，这与立体重建利用相机之间的相对距离来计算物体的深度。在本实用新型的一个实施例中，计算机系统120通过在具有无人机的轨迹信息的知识的不同时间和位置捕获图像，从一个摄像机获取深度信息。该深度信息被应用于上述识别的特定机载物体，以确定移动物体的相对位置(即相对于无人机的本地参考系)，以避免碰撞或分离保证。

在一个实施例中，导航系统112可选地包括耦合到计算机系统120的全局导航卫星系统(GNSS)接收器117，以进一步增加可用于确定检测到的物体的位置的轨迹信息。通过包括识别UAV轨迹的GNSS增强轨迹信息作为对所选择的参考帧(例如，全局坐标)的参考，计算机系统120可以针对UAV的本地参考系或相对于导航识别移动的空中物体帧。GNSS接收器117通过提供无人机相对于导航帧的绝对位置来增加可用于计算机系统120的导航信息。如本领域普通技术人员在阅读本说明书之后所理解的，除GNSS之外的其他导航系统可用于提供该信息。因此，在一个实施例中，导航系统112包括一个或多个其它导航传感器119，以增加可用于确定检测到的移动物体的位置的轨迹信息。此外，可以使用其他运动估计技术来补充导航系统112的结果，从而提高由计算机系统120提供的解决方案的准确性。

在一个实施例中，计算机系统120以每个检测到的运动对象的状态向量的形式提供其解决方案，至少描述其估计位置。当导航系统112提供基于卫星的导航信息时，由计算机系统120计算的状态矢量可以参考全局导航帧。在一个实施例中，将一个或多个状态向量提供给耦合到计算机系统120的引导/飞行控制计算机125。引导/飞行控制计算机125根据状态向量提供的关于检测到的移动物体的信息，可以启动逃避或减轻对无人机飞行进程的调整。可选地，飞行控制器125还可以基于检测到的移动物体向基于地面的车站或其他无人机发送警报消息。在一个实施例中，计算机系统120进一步被编程为跟踪检测到的机载对象并提供附加状态的估计，例如运动速度向量，碰撞时间或其他状态。在另一个实施例中，进一步外推未检测到的机载对象的轨迹以估计碰撞概率。

如本领域普通技术人员在阅读本说明书之后所理解的，依赖于运动检测的机载对象检测方案的最大挑战之一是在与观察者的直接碰撞过程中检测对象。当机载物体以恒定速度飞行并且在碰撞过程中飞行物体的观察角度(从每个机载物体观察时)的观察角度不变化。因此，运动补偿背景图像序列内的物体的位置将保持相同，并且因此似乎是固定的背景物体而不是移动的空中物体。从运动补偿背景图像序列提供的一条线索是，图像内的对象的大小将随着每个顺序图像而增加。但是，这种变化的大小可能不能及时发现，以采取行动。

为了解决在直接碰撞过程中的对象的检测，本实用新型的一个实施例将人造轨迹激励引入到UAV飞行路径中，以实现由相机拍摄的连续图像的观察透视的略微差异。这种激励可以包括例如使用飞行器的自然模式来运动或者改变无人机的速度来改变无人机的飞行路线的线性。不同的观察观点使得能够建立基准线(与UAV的运动轴垂直的距离)，这是估计到物体的距离所需要的。在一个实施例中，飞行计算机125周期性地引入UAV飞行路径中的这种偏差，使得计算机系统120可以在与UAV的碰撞过程中寻找对象的潜在存在。在一个实施例中，一旦识别出潜在的碰撞过程对象，就会增加偏差的频率，振幅和方向，以便在相应的方向上建立更好的基线。

在一些实施例中，无人机还包括硬度可变的激光测距仪111。在这种实施例中，一旦识别到潜在的碰撞威胁，UAV可以使用可硬化的激光测距仪来验证检测到的威胁的存在并测量到被检测物体的距离。在其他实施例中，使用所描述的方法检测到的物体与来自其他传感器系列(雷达，应答器等)的检测融合，以通过利用互补特性来增加解决方案的完整性。在各实施例中，该传感器融合分别基于扩展卡尔曼滤波器，无色卡尔曼滤波器和粒子滤波器。然后使用相同的滤波器作为估计器，为检测到的对象提供扩展运动模态

上述描述提供了理想化的示例，其中假定背景对象位于虚拟无穷远处。但是，这并不是总是有效的假设。例如，当无人机靠近地面飞行时，由摄像机拍摄的地面的图像不能被认为处于虚拟无穷远处。与理想情况的这种偏差引入到运动补偿背景图像序列中。在比较检测到的感兴趣的空中物体的运动的情况下，这种分散是微不足道的程度，只要不超过基于无人机的任务预定的阈值，可以简单地忽略它。或者，可以以几种方式之一来处理比虚拟无穷远更近的背景。

在一个实施例中，计算机系统120将每个捕获的图像帧划分成较小的段，并使用所获取的视觉内容来精炼该段的运动，辅助图像的相关导航信息。假设无人机靠近地面，当相机在连续的帧之间移动时，它会将背景视为一个接近移动的物体。处理相邻图像片段的局部斑块并使用轨迹信息(平移和旋转的方向)计算机系统120确定该片段图像片段的背景(例如地面)在该片段内移动的方向。捕获地面的段内的图像帧中的特征，并且以与该贴片中的地面相同的速度和方向看起来移动，被认为是背景的一部分，而不是机载对象。

或者，在一个实施例中，计算机系统120动态地改变由相机110捕获的图像的帧速率和/或丢弃一些帧。例如，在一个实施例中，计算机系统120基于UAV的速度(例如，由INS115提供的信息已知)来调整摄像机110的图像帧速率，使得背景将看起来处于虚拟无穷。任何比背景更近的物体都不在无穷远处，因此在重新投影到运动补偿的背景图像序列中时可以看得见。在一个实施例中，使用运动补偿背景图像序列中的杂波与基本图像帧的量作为增加或减少图像帧率的基础。例如，给定两个图像帧及其相关的导航信息，计算基本矩阵。从基本矩阵，生成第一个图像的重新投影。然后找到第一个图像和第二个图像的重新投影之间的差异(例如通过减法或XOR)。鉴于您可以从此差异中识别的杂波量确定采样周期是否足够短或不能满足背景处于虚拟无限远的上下文。在另一替代实施例中，本领域普通技术人员已知的其他方案，例如光流补偿，可用于补偿在捕获的图像帧中具有比虚拟无穷远更近的静态背景物体。

在一个实施例中，当多个UAV以协调的方式(例如，在形成或松散协调的群组中)飞行时，则两个或更多个UAV可以经由无线数据链路共享信息，并使用共享信息来计算到目的。

图4是本实用新型实施例提供的单目机载目标检测的示意图图二。

图5示出了本实用新型的一个这样的实施例，其包括多个UAV(通常在305处示出)。在一个实施例中，UAV 305中的每一个配备有用于检测诸如系统100的空中物体的系统图1。例如，在一个实施例中，第一UAV 310识别机载对象320并且向该对象320分配唯一的标识符。UAV 310然后计算参考全局导航帧的该对象的状态向量。与机载对象320的碰撞过程上的第二UAV 315可以无线地导入从第一无人机可用的状态向量(通常由数据链路在325处示出)，以计算其到对象320的自身距离。或者，在另一个实施例中，第二UAV 315可以导入由第一UAV 310捕获的原始图像数据以及与图像数据相关联的导航信息，以计算其对象320的自己的状态向量，从而确定其到对象320。

本实用新型实施例提供的几种方法可用于实现本实用新型的系统应用，这些方法包括但不限于数字计算机系统，微处理器，通用计算机，可编程控制器和现场可编程门阵列(FPGA)。例如，在一个实施例中，计算机系统120由FPGA或ASIC或嵌入式处理器实现。因此，本实用新型的其他实施例是驻留在计算机可读介质上的程序指令，当通过这种方式实现时，它们能够实现本实用新型的实施例。计算机可读介质包括任何形式的物理计算机存储设备。这种物理计算机存储装置的示例包括但不限于打孔卡，磁盘或磁带，光学数据存储系统，闪存只读存储器(ROM)，非易失性ROM，可编程ROM(PROM)，可擦除存储器可编程ROM(E-PROM)，随机存取存储器(RAM)或任何其他形式的永久，半永久或临时存储器存储系统或设备。程序指令包括但不限于由计算机系统处理器和诸如超高速集成电路(VHSIC)硬件描述语言(VHDL)的硬件描述语言执行的计算机可执行指令。

图6是用于在计算机可读介质设备上存储的基于图像的移动物体检测方法的流程图。该方法从410开始，捕获在自导航无人机周围的周围场景的两个或更多个图像。该方法进行到420，测量与使用惯性传感器的两个或多个图像相关联的导航信息。该方法使用与两个或多个图像相关联的导航信息来计算两个或更多图像帧的第一图像帧和第二图像帧之间的第一变换(例如，基本矩阵)，继续到430。基本矩阵作为任何两个图像帧之间的变换，并且根据两个图像帧的相关联的导航信息计算。当应用于第一图像帧时，基本矩阵将产生图像投影，该图像投影表示在第二图像帧的时间点从相机的角度出现在第一图像帧拍摄的场景中位于表观无限远处的对象的图像投影，拍摄图像帧。因此，基本矩阵表示相机110在拍摄第一和第二图像帧之间如何旋转。该方法进行到440，基于应用第一变换来将第一图像帧重新投射到第二图像帧中，生成运动补偿背景图像序列。该方法通过从运动补偿的背景图像序列检测运动对象而进行到450。在运动补偿背景图像序列中，当重新投射到第二图像帧上时，位于第一图像帧中的表观无穷远处的任何静态对象将与其自身重叠。也就是说，在第一图像帧中的第一位置处的表观无穷远处的每个静态对象在被转换成使用基本矩阵的第一图像帧的再投影之后将最终被重新投射到第二图像帧上的自身上，如运动补偿背景图像序列。相比之下，移动物体或比表观无穷远更近的物体将出现在多个位置。基于运动补偿背景图像序列和导航信息，该方法进行到460，估计用于在无人机周围的运动物体的位置信息。在一个实施例中，广义3D重播或结构-来自运动技术将相机的轨迹以及相机图像中检测到的对象的序列的知识结合在一起，以类似于立体视觉的方式计算物体在三维空间中的位置重新设计利用相机之间的相对距离来计算物体的深度。在本实用新型的一个实施例中，估计位置包括通过在具有自导航无人机的轨迹信息的知识的不同时间和位置捕获图像从一个照相机获取深度信息。为了防止冲突，该深度信息被应用于上述识别的特定移动物体以确定它们的位置(即，相对于本地参考帧或导航帧)。因此，在一个实施例中，该方法进行到470，其基于位置信息改变飞行路线。

以上所述仅为本实用新型的较佳实施例而已，并不用以限制本实用新型，凡在本实用新型的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本实用新型的保护范围之内。

Claims (5)

1.一种用于单目机载目标检测的系统，其特征在于，所述用于单目机载目标检测的系统包括：

导航单元，包括至少一个惯性测量单元、全球导航卫星系统；

成像相机，用于捕捉无人机周围场景的两幅或多幅图像；成像相机采用sony rxRII；

与成像相机和导航单元连接的计算机系统；计算机系统执行空中目标，检测算法和计算过程，两个或两个以上的图像帧利用导航，计算机经计算后每两个或多个图像帧来生成一个补偿背景图像；从运动补偿背景图像序列检测运动物体；计算机系统采用树莓派3代B型，linux开发板及其扩展板；

激光测距仪，与计算机系统连接，用于提供距离测量到一个或多个检测对象；硬件设备采用深达威SW-LDS50A测距仪模块，带RS232接口，与计算机系统扩展板相连；

飞行控制系统，与计算机系统相连；用于实现飞行器的飞行方式、速度、高度、姿态的控制；飞行控制系统采用PIXHAWK2飞控。

2.如权利要求1所述的用于单目机载目标检测的系统，其特征在于，所述计算机系统通过检测运动补偿背景图像序列的重叠部分之间的差异来检测来自运动补偿背景图像序列的移动物体；以及制导或飞行控制系统耦合到计算机系统中，其中制导或飞行控制系统基于从运动补偿的背景图像序列检测的移动物体的信息来调整轨迹。

3.如权利要求1所述的用于单目机载目标检测的系统，其特征在于，所述计算机系统输出状态向量的每个运动目标的运动补偿背景图像序列的识别，其中状态向量描述至少一个位置进行估计。

4.如权利要求2所述的用于单目机载目标检测的系统，其特征在于，运动系统的补偿，其中状态向量估计时使用粒子滤波器的至少一个，扩展卡尔曼滤波和无迹卡尔曼滤波。

5.如权利要求2所述的用于单目机载目标检测的系统，其特征在于，运动系统的补偿，其中计算机跟踪一个或多个移动物体使用的粒子过滤器，扩展卡尔曼滤波或无迹卡尔曼滤波的至少一个。