CN104567815A - 一种基于图像匹配的无人机载光电稳定平台自动侦察系统 - Google Patents

Abstract

本发明一种基于图像匹配的无人机载光电稳定平台自动侦察系统，通过光电载荷在大小视场下的图像配准关系进行自动扫瞄的路径规划和自动扫瞄控制，完成对预设观测区域图像的自动遍历扫瞄；在自动扫瞄时，对相邻图像序列进行图像匹配，通过匹配关系做运动补偿，并做帧间差分运算，检测出动目标，实现了图像中运动目标的实时自动识别，提高了侦察准确性和效率。

Description

一种基于图像匹配的无人机载光电稳定平台自动侦察系统

技术领域

本发明涉及一种基于图像匹配的无人机载光电稳定平台自动侦察系统，属于无人机侦察技术领域。

背景技术

无人机载光电稳定平台为光电载荷提供机械稳定功能的同时，必须实现小视场角下对地面观测区域的长时间精确观瞄。为了快速发现可疑运动目标，观测人员还需要辨识图像中的运动目标。

为达到对预设观瞄区域的高分辨率观瞄，目前是在大视场下手动将平台光轴锁定到观瞄区域，然后将摄像设备调整到小视场，手动加矩改变光轴角度，进行观瞄。现有的加矩指令一般均由电脑等控制界面通过通讯单元给出，操作性不好。在小视场下，平台的抖动效果得到放大，操作人员需要不断地调节摄像稳定平台的角度，保持光轴处于比较小的观瞄区域，极大地增加了操作人员的操作难度，并且不利于图像的稳定。需要采取措施提高加矩的准确度。目前的解决办法一般都是手动调节或者利用控制单元对光电稳定平台增加扫瞄功能，但是扫瞄只是相对平台自身坐标系，并不能判断平台当前姿态所摄取图像是否超越观测区域，小视场角下的扫瞄功能并不适用。

无人机载光电稳定平台的主要用途就是对地面观测区域的精确观察，并能够快速发现识别可疑运动目标，而人眼在视频抖动的情况下，难以对图像中的运动目标作出快速反应，而且由抖动带来的视觉疲劳大大降低了侦察效率。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供一种基于图像匹配的无人机载光电稳定平台自动侦察系统，通过光电载荷在大小视场下的图像配准关系进行自动扫瞄的路径规划和自动扫瞄控制，完成对预设观测区域 图像的自动遍历扫瞄；在自动扫瞄时，对相邻图像序列进行图像匹配，通过匹配关系做运动补偿，并做帧间差分运算，检测出动目标，实现了图像中运动目标的实时自动识别，提高了侦察准确性和效率。

本发明的技术解决方案是：

一种基于图像匹配的无人机载光电稳定平台自动侦察系统，其特征在于包括：外部通讯单元、图像信号处理单元、平台控制单元、平台稳定框架、光电载荷。

外部通讯单元将接收到的外部发送的自动扫瞄指令转发至图像信号处理单元。

图像信号处理单元根据外部通讯单元的自动扫瞄指令，向平台控制单元发送平台转动指令，用于控制平台稳定框架的转动；同时图像信号处理单元向光电载荷发送图像采集指令，光电载荷根据图像采集指令在光电载荷的最大视场下采集图像IMG_BASE，并发送至图像信号处理单元进行缓存；图像信号处理单元缓存完毕后，确定图像IMG_BASE中的自动扫瞄路径，并向平台控制单元发送平台稳定框架转动指令，平台控制单元根据平台稳定框架转动指令控制平台稳定框架转动到自动扫瞄的起始位置后，开始沿自动扫描路径转动，同时图像信号处理单元向光电载荷发送视场调整指令，光电载荷将视场调整为光电载荷的最小视场，随着平台稳定框架的转动进行实时采集图像IMG_N；光电载荷将实时采集到的图像IMG_N发送至图像信号处理单元；图像信号处理单元将实时接收到图像IMG_N与图像IMG_BASE进行匹配，计算当前图像IMG_N的中心偏离图像IMG_BASE中扫瞄路径采样点处的像素偏移量，并将该偏移量发送给平台控制单元，平台控制单元控制平台稳定框架进行转动，对该偏移量进行补偿，从而实现小视场下的自动摆扫观瞄。

所述图像信号处理单元提取光电载荷实时采集到的当前帧IMG_N和前一帧图像IMG_N-间的局部特征向量，并将两帧图像中提取的局部特征向量对进行匹配；所述图像信号处理单元，根据匹配的结果，对相邻图像间做运 动补偿，并对补偿前后的图像做差分运算；所述图像信号处理单元，对差分运算后的图像做运动区域检测，并利用检测出的结果对动目标做出标识；所述图像信号处理单元，通过外部通讯单元将检测出的动目标信息，发送至用户端供其判读。

所述平台稳定框架自动扫瞄路径如下：

(1)根据光电载荷的最大和最小视场的倍数关系，将图像IMG_BASE分为若干区域，确定图像IMG_BASE中的自动扫瞄路径，所述的自动扫描路径能够遍历扫描所有IMG_BASE分为的若干区域；

(2)自动扫瞄的起始位置为图像IMG_BASE的自动扫瞄路径中的任意位置；

(3)光电载荷从扫瞄的起始位置开始，沿预定的轨迹扫瞄可以遍历图像IMG_BASE中的所有区域，并能实时的完成循环往复扫瞄。

所述平台稳定框架自动目标检测的特征如下：

(1)平台稳定框架根据摆扫路径做自动扫瞄的同时，做动目标的自动实时检测；

(2)动目标自动检测的结果可以是多个动目标。

本发明与现有技术相比的优点在于：

(1)本发明对地面侦察区域的精确自动观瞄，在小视场下，操作人员不需要手动调节摄像稳定平台的角度以保持光电载荷的光轴处于比较小的观瞄区域，极大地降低了操作人员的操作难度，并且有利于图像的稳定性和准确性；

(2)本发明通过大小视场的图像匹配关系，能够按照光电载荷在大视场图像中规划的扫瞄路径进行小视场下的自动摆扫，保证了精确扫瞄和图像采集的准确性；

(3)本发明中光电载荷在小视场下沿预设的扫瞄路径自动摆扫，能完成长时间的实时循环往复扫瞄，对预侦察区域具有遍历性；

(4)本发明中自动摆扫时通过对采集图像的帧间匹配，可以快速准确的检测出动目标在图像中的位置，并通过外部通讯单元向用户端发送警报，以便人工确认，解决了人力的长时间疲劳观测，提高了侦察效率；

(5)本发明能根据用户需求，拓展应用于地面侦察、战场监控、防暴反恐等领域。

附图说明

图1为本发明原理框图；

图2为本发明自动摆扫示意图；

图3为本发明动目标检测的图像帧差运算示意图。

具体实施方式

下面结合附图对本发明的工作原理和工作过程作进一步解释。

如图1所示，一种基于图像匹配的无人机载光电稳定平台自动侦察系统，包括外部通讯单元1、图像信号处理单元2、平台控制单元3、平台稳定框架4、光电载荷5。

外部通讯单元1，主要做系统与用户端的双向数据通讯，通讯内容包括指令和图像信息；外部通讯单元1将接收到的外部发送的自动扫瞄指令转发至图像信号处理单元2。

图像信号处理单元2，主要做光电载荷的图像信号采集和算法处理，包括图像匹配运算、扫描路径规划：根据外部通讯单元1的自动扫瞄指令，图像信号处理单元2，向平台控制单元3发送平台转动指令，用于控制平台稳定框架4的转动(本发明中，平台控制单元主要利用图像信号处理单元给出的图像偏离当前轨迹路径的偏移量，来对平台稳定框架做转动控制。平台控制单元也可以利用在用户端输入的手动加矩指令对稳定框架进行转动控制)；同时图像信号处理单元2向光电载荷5发送图像采集指令，光电载荷5根据图像采集指令在光电载荷5的最大视场下采集图像IMG_BASE，并发送至图像信号处理单元2进行缓存；图像信号处理单元2缓存完毕后，确定图 像IMG_BASE中的自动扫瞄路径，并向平台控制单元3发送平台稳定框架转动指令，平台控制单元3根据平台稳定框架转动指令控制平台稳定框架转动到自动扫瞄的起始位置后，开始沿自动扫描路径转动，同时图像信号处理单元2向光电载荷5发送视场调整指令，光电载荷5将视场调整为光电载荷的最小视场，随着平台稳定框架的转动进行实时采集图像IMG_N；光电载荷5将实时采集到的图像IMG_N发送至图像信号处理单元2；图像信号处理单元2将实时接收到图像IMG_N与图像IMG_BASE进行匹配，计算当前图像IMG_N的中心偏离图像IMG_BASE中扫瞄路径采样点处的像素偏移量，并将该偏移量发送给平台控制单元3，平台控制单元3控制平台稳定框架4进行转动，对该偏移量进行补偿，从而实现小视场下的自动摆扫观瞄。

平台稳定框架为基于陀螺稳定控制的二轴或多轴框架。光电载荷固定安装在平台稳定框架上，随着框架的转动而转动，调节光电载荷摄像设备的视场角度的大小使得其分别在大视场和小视场两种模式下工作,光电载荷的图像采集过程是按照自身的工作特点实时进行，如每秒25HZ的频率采集图像传送至图像信号处理单元。

如图3所示，本发明中图像信号处理单元2还能完成动目标检测运算：图像信号处理单元2，提取光电载荷实时采集到的当前帧IMG_N和前一帧图像IMG_N-1间的局部特征向量，并将两帧图像中提取的局部特征向量对进行匹配；所述图像信号处理单元2，根据匹配的结果，对相邻图像间做运动补偿，并对补偿前后的图像做差分运算；所述图像信号处理单元2，对差分运算后的图像做运动区域检测，并利用检测出的结果对动目标做出标识；所述图像信号处理单元2，通过外部通讯单元1将检测出的动目标信息，发送至用户端供其判读。

自动扫瞄路径的确定方式如下：

(1)根据光电载荷的最大和最小视场的倍数关系，将图像IMG_BASE分为若干区域，确定图像IMG_BASE中的自动扫瞄路径，所述的自动扫描路径 能够遍历扫描所有IMG_BASE分为的若干区域；

(2)自动扫瞄的起始位置为图像IMG_BASE的自动扫瞄路径中的任意位置；

(3)光电载荷从扫瞄的起始位置开始，沿预定的轨迹扫瞄可以遍历图像IMG_BASE中的所有区域，并能实时的完成循环往复扫瞄。

平台稳定框架(4)自动目标检测的特征如下：

(1)平台稳定框架(4)根据摆扫路径做自动扫瞄的同时，做动目标的自动实时检测；

(2)动目标自动检测的结果可以是多个动目标。

下面以一个具体实施例对本发明做进一步解释和说明：

无人机载光电稳定平台为光电载荷提供机械稳定功能的同时，必须实现小视场角下对地面观测区域的长时间精确观瞄。在本发明的具体实施例中，用户先在大视场下手动给将平台框架加矩，调整光电载荷摄像设备所指向的角度，使其指向需要观瞄的区域，用户端通过向外部通讯单元发送自动扫瞄指令，以确定当前采集的图像作为预侦察区域，图像信号处理器将此时通过光电载荷采集到的图像IMG_BASE进行缓存，缓存完毕后，确定图像IMG_BASE中的摆扫轨迹，如图2中的蛇形路径所示，沿着蛇形路径进行自动扫瞄可以在小视场下实现对整个图像IMG_BASE下侦察区域的遍历扫瞄。

在光电载荷的小视场下，平台框架在开始自动摆扫的初始位置下摄取图像，其中心处于IMG_BASE中的摆扫路径上，初始位置可以在摆扫路径的任一位置上，一般为图像IMG_BASE的边界附近，如图2中的左上角或者右下角。平台控制单元在控制平台稳定框架转动到该起始位置后，会将平台稳定框架是否转动到位的信息反馈至图像信号处理单元，图像信号处理单元将实时接收到的图像IMG_N与图像IMG_BASE进行匹配。

本发明中采用一种基于图像局部特征的SURF描述算子,因其对图像局部特征的描述在尺度、旋转、对比度方面都有很好的不变性，因此在图像匹 配领域有广泛的应用。

本发明中利用SURF描述算子做大小视场图像的匹配方法为：

一、对大小视场图像做中值滤波预处理；

二、利用SURF描述算子分别提取滤波后的图像局部特征向量；

三、基于仿射坐标变换模型下利用RANSAC算法对该图像对做运动估计，求取仿射变换参数；

四、按照仿射变换参数求出小视场图像IMG_N在大视场图像IMG_BASE中的对应位置，偏离图像原点的水平像素偏移量X(N)和垂直像素偏移量Y(N),其中N为光电载荷在小视场下开始自动扫描后的采集图像帧序号，偏移基准参考大视场图像IMG_BASE的左上角为原点。

当前图像IMG_N的中心偏离图像IMG_BASE扫瞄路径采样点处的像素偏移量的确定方法为：

一、计算大视场与小视场的角度倍数关系A；

二、自动摆扫时，相邻两帧图像在水平方向的图像数据重复度K(一般为50％以上，否则会影响采用帧差法做动目标检测的效果)；垂直方向的数据重复度为P(因本实施例中采用水平方向的蛇形摆扫路径，P可以设为0)。

三、光电载荷的水平分辨率为MX，垂直分辨率为MY,图像帧频为F；

四、沿着摆扫路径做一次完整的摆扫，其时间设为T，则

T＝(A*(A-K)/(1-K))/F；

其中，A表示光电载荷大视场和小视场的倍数；

五、上述匹配方法算得第N帧时小视场图像IMG_N与大视场图像IMG_BASE匹配偏移结果为水平X(N)像素，垂直Y(N)像素；

六、自动摆扫到第N帧时，图像IMG_BASE中扫瞄路径采样点处的像素位置为：

SY(N)＝MY*(1/(2*A)+N/(A*(A-K)/(1-K)))；

且若N/((A-K)/(1-K))为偶数则

SX(N)＝MX*(1/(2*A)+(N％((A-K)/(1-K))-(N％((A-K)/(1-K))-1)*K)/A)；

若N/((A-K)/(1-K))为奇数则

SX(N)＝MX-(MX*(1/(2*A)+(N％((A-K)/(1-K))-

(N％((A-K)/(1-K))-1)*K)/A))；

七、当前图像IMG_N的中心偏离图像IMG_BASE扫瞄路径采样点处的像素偏移量为DX(N)＝X(N)-SX(N),DY(N)＝Y(N)-SY(N)。

将上述计算得出的偏移量DX和DY发送给平台控制单元，平台控制单元通过DX和DY进行角度补偿控制，使得平台稳定框架沿着自动摆扫路径进行自动摆扫，其中N在每帧采集时依次累加，随着摆扫的进行，当X(N)与Y(N)超出大视场图像IMG_BASE的右下角边界即X(N)>MX且Y(N)>MY时，N则在每帧采集时依次减少，则平台框架将按照与图2中摆扫方向相反的方向进行摆扫；当X(N)与Y(N)超出大视场图像IMG_BASE的左上角边界即X(N)<0且Y(N)<0时，N则在每帧采集时依次累加，则平台框架将按照与图2中摆扫方向相同的方向再次进行摆扫，依此往复，从而实现长时间自动循环摆扫。

本发明中为了实现对运动目标的自动识别，图像信号处理单元提取光电载荷实时采集到的当前帧图像IMG_N和前一帧图像IMG_N-1间的局部特征向量，并将两帧图像中提取的局部特征向量对进行配对。本发明中采用SURF特征描述算子进行匹配的步骤如下：

1、对相邻两帧图像做中值滤波预处理；

2、利用SURF描述算子分别提取滤波后该图像对的局部特征向量；

3、基于仿射模型下利用RANSAC算法对该图像对做运动估计，求取仿射变换参数；

4、根据仿射变换的结果，对该相邻图像对做运动补偿，并对补偿前后的图像做差分运算；

5、通过对差分运算后图像的开运算和相邻像素区域聚类，做运动区域 检测，提取动目标并做出标识。

按照上述步骤，图像信号处理单元通过外部通讯单元将检测出的动目标信息发送至用户端，供其判读。

本发明通过光电载荷在大小视场下的图像配准关系进行自动扫瞄的路径规划和自动扫瞄控制，完成对预设观测区域图像的自动遍历扫瞄；在自动扫瞄时，对相邻图像序列进行图像匹配，通过匹配关系做运动补偿，并做帧间差分运算，检测出动目标，实现了图像中运动目标的实时自动识别，提高了侦察准确性和效率。根据当前技术的不足，该方法可以广泛应用于地面侦察、战场监控、防暴反恐等领域。

本发明未公开的部分为本技术领域的公知常识。

Claims (4)

1.一种基于图像匹配的无人机载光电稳定平台自动侦察系统，其特征在于包括：外部通讯单元(1)、图像信号处理单元(2)、平台控制单元(3)、平台稳定框架(4)、光电载荷(5)；

外部通讯单元(1)将接收到的外部发送的自动扫瞄指令转发至图像信号处理单元(2)；

图像信号处理单元(2)根据外部通讯单元(1)的自动扫瞄指令，向平台控制单元(3)发送平台转动指令，用于控制平台稳定框架(4)的转动；同时图像信号处理单元(2)向光电载荷(5)发送图像采集指令，光电载荷(5)根据图像采集指令在光电载荷(5)的最大视场下采集图像IMG_BASE，并发送至图像信号处理单元(2)进行缓存；图像信号处理单元(2)缓存完毕后，确定图像IMG_BASE中的自动扫瞄路径，并向平台控制单元(3)发送平台稳定框架转动指令，平台控制单元(3)根据平台稳定框架转动指令控制平台稳定框架转动到自动扫瞄的起始位置后，开始沿自动扫描路径转动，同时图像信号处理单元(2)向光电载荷(5)发送视场调整指令，光电载荷(5)将视场调整为光电载荷的最小视场，随着平台稳定框架的转动进行实时采集图像IMG_N；光电载荷(5)将实时采集到的图像IMG_N发送至图像信号处理单元(2)；图像信号处理单元(2)将实时接收到图像IMG_N与图像IMG_BASE进行匹配，计算当前图像IMG_N的中心偏离图像IMG_BASE中扫瞄路径采样点处的像素偏移量，并将该偏移量发送给平台控制单元(3)，平台控制单元(3)控制平台稳定框架(4)进行转动，对该偏移量进行补偿，从而实现小视场下的自动摆扫观瞄。

2.根据权利要求1所述的一种基于图像匹配的无人机载光电稳定平台自动侦察系统，其特征还在于：所述图像信号处理单元(2)提取光电载荷实时采集到的当前帧IMG_N和前一帧图像IMG_N-1间的局部特征向量，并将两帧图像中提取的局部特征向量对进行匹配；所述图像信号处理单元(2)，根据匹配的结果，对相邻图像间做运动补偿，并对补偿前后的图像做差分运算；所述图像信号处理单元(2)，对差分运算后的图像做运动区域检测，并利用检测出的结果对动目标做出标识；所述图像信号处理单元(2)，通过外部通讯单元(1)将检测出的动目标信息，发送至用户端供其判读。

3.根据权利要求1所述的一种基于图像匹配的无人机载光电稳定平台自动侦察系统，其特征还在于：所述自动扫瞄路径的确定方式如下：

(1)根据光电载荷的最大和最小视场的倍数关系，将图像IMG_BASE分为若干区域，确定图像IMG_BASE中的自动扫瞄路径，所述的自动扫描路径能够遍历扫描所有IMG_BASE分为的若干区域；

(2)自动扫瞄的起始位置为图像IMG_BASE的自动扫瞄路径中的任意位置；

(3)光电载荷从扫瞄的起始位置开始，沿预定的轨迹扫瞄可以遍历图像IMG_BASE中的所有区域，并能实时的完成循环往复扫瞄。

4.根据权利要求1所述的一种基于图像匹配的无人机载光电稳定平台自动侦察系统，其特征还在于：所述平台稳定框架(4)自动目标检测的特征如下：

(1)平台稳定框架(4)根据摆扫路径做自动扫瞄的同时，做动目标的自动实时检测；

(2)动目标自动检测的结果可以是多个动目标。