CN101127078A - 一种基于蚁群智能的无人机机器视觉图像匹配方法 - Google Patents

Abstract

本发明提供了一种基于蚁群智能的无人机机器视觉图像匹配方法。采用中值滤波法进行平滑滤波，以消除图像的随机干扰噪声；采用交叉边缘检测法对图像进行图像锐化处理，以加强图像中的轮廓边缘和细节；给定原始图像，将每个像素看作一只蚂蚁，将当前像素和邻域像素的灰度差与灰度差阈值作比较，小于该阈值的邻域像素个数即所要提取的邻域特征；根据图像特征提取特点给出初始聚类中心加以引导，以减少蚂蚁行走的盲目性，并将蚂蚁与聚类中心的相似度作为引导函数。利用蚁群智能对图像和模板的特征集合进行匹配运算，最终得到无人机机器视觉图像匹配结果。该方法的优点是计算速度快、适应性强、匹配精度高，并具有较强的抗干扰性。

Description

一种基于蚁群智能的无人机机器视觉图像匹配方法

(一)技术领域

本发明涉及一种基于蚁群智能的无人机机器视觉图像匹配方法，属于航空技术领域。

(二)背景技术

无人机(Unmanned Aerial Vehicle)是一种有动力、可控制、能携带多种任务设备、执行多种作战任务并能重复使用的无人战术飞行器。由于其零伤亡风险和高机动性等优势引起了各国军方的高度重视。

机器视觉就是用计算机模拟人眼的视觉功能，对“目标图像”进行数字化，从图像或图像序列中提取信息，对客观世界的三维景物和物体进行形态和运动识别，并通过计算机处理进行判断，最终用于实际检测、测量和控制。机器视觉在无人机方面可用于自动监视目标，

自动发现、跟踪运动目标，自动巡航捕获目标和确定距离。

机器视觉在无人机中的应用原理：摄像机被固定在无人机的整流罩上，摄像机利用动态图像识别与跟踪算法，向控制系统反馈目标和自身(无人机)的状态与位置信息，使无人机跟踪静止或运动中的目标，始终保持目标处于视野的正中位置。其工作原理如图1所示。

在机器视觉中，往往需要对从不同传感器获得的同一个物体区域的两幅图像或者是同一个传感器在不同的时间获得的同一个区域的两幅图像进行比较。为了进行这种比较，需要将两幅图像进行空间的一个配准，这就是图像匹配所完成的工作。因此，图像匹配是机器视觉实现过程的核心。

图像匹配问题实际上可以看作一个优化问题，其目的是寻求在参考图和待匹配图像之间的最优相似，因此可以采用优化问题的许多种传统的搜索方法来寻找最优解，包括模拟退火算法、遗传算法、动态规划、神经网络等。国外Meshoul S对图像处理中的点匹配问题作了仿真研究，并与神经网络作了实验对比；国内很多大学采用遗传算法、神经网络等人工智能技术对图像匹配问题进行了一些研究工作：有不少研究人员对利用遗传算法的图像匹配问题进行了有益的探索，还有学者曾研究了基于蚁群行为的影像纹理分类问题；等等，但是这些研究大多存在计算量大、实时性差等问题。

本发明设计了一种基于蚁群智能的无人机机器视觉图像匹配方法，在用蚁群算法对无人机机器视觉图像匹配的过程中采用了蚁群智能的如下特点：

(1)在蚂蚁不断散布生物信息激素的加强作用下，新的信息会很快被加入到环境中。而由于生物信息激素的蒸发更新，旧的信息会不断被丢失，体现出一种动态特性；

(2)由于许多蚂蚁在环境中感受散布的生物信息激素同时自身也散发生物信息激素，这使得不同的蚂蚁会有不同的选择策略，具有分布性；

(3)最优路线是通过众多蚂蚁的合作被搜索得到的，并成为大多数蚂蚁所选择的路线，这一过程具有协同性；

(4)蚂蚁个体之间、群体之间以及与环境之间的相互作用、相互影响、相互协作，可以完成的复杂的任务，这种适应性表现为蚁群算法的鲁棒性；

(5)自组织使得蚂蚁群体的行为趋向结构化，其原因在于包含了一个正反馈的过程。这个过程利用了全局信息作为反馈，正反馈使系统演化过程中较优解的自增强作用，使得问题的解向着全局最优化的方向不断变化，最终能有效地获得相对较优解。

由于传统的图像匹配方法很难做出实时的匹配计算，而蚁群算法的并行性、协同性、自组织性、动态性、强鲁棒性等特点与图像匹配的许多要求是相符的。本发明所提出的基于蚁群智能的图像匹配方法，可有效地解决无人机机器视觉图像匹配技术中计算量大、实时性差等问题，使处理问题更具实时性、适应性和鲁棒性。同时，该方法也可用于解决其它图像处理问题。

(三)发明内容

蚁群算法是一种最新发展的仿生智能优化算法，该算法模拟了自然界蚂蚁的群体觅食行为。自然界中，蚂蚁通过相互协调完成相对其本身来说比较艰巨的任务，科学家发现蚂蚁总能在较短的时间寻找到其巢穴与食物源之间最短的路径。蚁群算法最早用来成功地解决了著名的TSP。目前人们对蚁群算法的研究已经由当初单一的旅行商问题领域渗透到了多个应用领域，由解决一维静态优化问题发展到解决多维动态组合优化问题，由离散域范围内的研究逐渐拓展到了连续域范围内的研究，而且在蚁群算法的硬件实现上也取得了很多突破性进展，从而使这种新兴的仿生优化算法展现出勃勃生机和广阔的发展前景。

蚁群算法的主要特点是：正反馈、并行性及分布式计算。正反馈过程使得该方法能较快地发现问题的较好解；分布式易于并行实现，与启发式算法相结合，使得该方法易于发现更好的解。

经过生物学家研究，发现蚂蚁之间是通过一种称为信息激素的化学物质来互相通信，并互相影响，真实的蚂蚁外出觅食的时候会不断地在经过的路径上分泌信息素，记录自己经过的路线，路径上的信息素浓度将影响后续蚂蚁的行进路线。对于较短的路径，在单位时间内经过的蚂蚁数量较多，路径上的信息素浓度较高，吸引着较多的蚂蚁沿该路径搜索；对于距离较长的路径，由于单位时间内经过的蚂蚁数量较少，路径上的信息素浓度较低；而且信息素会随着时间而挥发，从而较长的路径的信息素浓度弱化就会比较明显，而对于较短路径则由于经过的蚂蚁数量较多，信息素浓度的衰减作用就显得次要，主要体现为信息素浓度被经过的蚂蚁增强，从而形成了一种正反馈。这种正反馈机制为蚁群寻找最优路径提供了可行性。蚂蚁走过的路径越短，信息激素浓度越高，而信息激素浓度越高，吸引的蚂蚁越多，最后所有的蚂蚁都集中到信息激素浓度最高的一条路径上，这条路径就是从巢穴到食物源的最短路径。图1为真实蚂蚁的觅食过程。

蚁群算法实际上是一类智能多主体系统，其自组织机制使得蚁群算法不需要对所求问题的每一方面都有详尽的认识。自组织本质上是蚁群算法机制在没有外界作用下使系统熵增加的动态过程，体现了从无序到有序的动态演化，其逻辑结构如图2所示。

蚁群算法的数学模型为：设b_i(t)表示t时刻位于元素i的蚂蚁数目，τ_ij(t)为t时刻路径(i，j)上的信息量，n表示TSP规模，m为蚁群中蚂蚁的总数目，则 $m=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i\left(t\right);$ Γ＝{τ_ij(t)|c_i，c_jC}是t时刻集合C中元素(城市)两两连接l_ij上残留信息量的集合。在初始时刻各条路径上信息量相等，并设τ_ij(0)＝const，基本蚁群算法的寻优是通过有向图g＝(C，L，Γ)实现的。

蚂蚁k(k＝1，2，…，m)在运动过程中，根据各条路径上的信息量决定其转移方向。这里用禁忌表tabu_k(k＝1，2，…，m)来记录蚂蚁k当前所走过的城市，集合随着tabu_k进化过程作动态调整。在搜索过程中，蚂蚁根据各条路径上的信息量及路径的启发信息来计算状态转移概率。p_ij ^k(t)表示在t时刻蚂蚁k由元素(城市)i转移到元素(城市)j的状态转移概率

式中，allowed_k＝{C-tabu_k)表示蚂蚁k下一步允许选择的城市。α为信息启发式因子，表示轨迹的相对重要性，反映了蚂蚁在运动过程中所积累的信息在蚂蚁运动时所起的作用，其值越大，则该蚂蚁越倾向于选择其它蚂蚁经过的路径，蚂蚁之间协作性越强；β为期望启发式因子，表示能见度的相对重要性，反映了蚂蚁在运动过程中启发信息在蚂蚁选择路径中的受重视程度，其值越大，则该状态转移概率越接近于贪心规则。η_ij(t)为启发函数，其表达式如下

${\mathrm{\η}}_{\mathrm{ij}}\left(t\right)=\frac{1}{d_{\mathrm{ij}}}---\left(2\right)$

式中，d_ij表示相邻两个城市之间的距离。对蚂蚁k而言，d_ij越小，则η_ij(t)越大，p_ij ^k(t)也就越大。显然，该启发函数表示蚂蚁从元素(城市)i转移到元素(城市)j的期望程度。

为了避免残留信息素过多引起残留信息淹没启发信息，在每只蚂蚁走完一步或者完成对所有n个城市的遍历(也即一个循环结束)后，要对残留信息进行更新处理。这种更新策略模仿了人类大脑记忆的特点，在新信息不断存入大脑的同时，存贮在大脑中的旧信息随着时间的推移逐渐淡化，甚至忘记。由此，t+n时刻在路径(i，j)上的信息量可按如下规则进行调整

τ_ij(t+n)＝(1-ρ)·τ_ij(t)+Δτ_ij(t)    (3)

$\mathrm{\Δ}{\mathrm{\τ}}_{\mathrm{ij}}\left(t\right)=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{\Δ}{\mathrm{\τ}}_{\mathrm{ij}}^k\left(t\right)---\left(4\right)$

式中，ρ表示信息素挥发系数，则1-p表示信息素残留因子，为了防止信息的无限积累，ρ的取值范围为：ρ[0，1)；Δτ_ij(t)表示本次循环中路径(i，j)上的信息素增量，初始时刻Δτ_ij(0)＝0，Δτ_ij ^k(t)表示第k只蚂蚁在本次循环中留在路径(i，j)上的信息量。

根据信息素更新策略的不同，目前有三种不同的基本蚁群算法模型，分别称之为Ant-Cycle模型、Ant-Quantity模型及Ant-Density模型，其差别在于Δτ_ij ^k(t)求法的不同。由于Ant-Quantity模型及Ant-Density模型均是对信息素的局部更新，而Ant-Cycle模型是整体更信息素，在求解TSP问题时效果良好，所以用Ant-Cycle模型作为基本蚁群算法的信息素更新方式。在Ant-Cycle模型中

式中，Q表示信息素强度，它在一定程度上影响算法的收敛速度；L_k表示第k只蚂蚁在本次循环中所走路径的总长度。

本发明一种基于蚁群智能的无人机机器视觉图像匹配方法，该方法具体如下：

(1)图像预处理技术研究

图像预处理技术包括图像对比度的增强、随机噪声的去除、边缘特征的加强、伪彩色处理等处理技术。在预处理中，输入和输出都是图像，只是经预处理后，输出图像的质量得到一定程度的改善，可达到改善图像的视觉效果或者更便于计算机对图像分析、处理、理解和识别等处理的目的，本发明在对图像预处理技术研究中重点解决了随机噪声的去除和边缘特征的加强这两大问题。

<1>采用中值滤波法进行平滑滤波，以消除图像的随机干扰噪声，使图像的失真尽可能的少

图像平滑滤波的方法有许多，主要方法有邻域加权平均法、低通滤波法、多图像平均法和中值滤波法等。其中由于中值滤波对于消除孤立噪声点的干扰十分有用，更重要的是使用这种窗口进行滤波时，除有效的消除噪声外，还能够很好的保护好边界信息。因此本发明中采用了中值滤波法。

<2>采用交叉边缘检测法对图像进行图像锐化处理，以加强图像中的轮廓边缘和细节

图像锐化可突出边缘信息，增强高的空间频率成分，以利于二值化，锐化处理是必不可少的。此外，锐化处理对于增强反差和检测边缘是很有用的，可通过对图像的空域和频域的变换，以增强图像的边缘及灰度跳变部分。通常的锐化方法有微分锐化法、零交叉边缘检测法、高通滤波法，鉴于图像匹配信息处理的运算速度问题，本发明中采用了实时性较好的交叉边缘检测法。

(2)基于蚁群智能对模板和图像进行特征提取

常见的特征提取方法有梯度算子、拉普拉斯算子、坎尼(Canny)算子、高斯-拉普拉斯(Laplacian of Gaussian，LOG)算子等，但是针对不同的应用目的以及不同的图像特性时，上述方法又表现出很大的局限性。而蚁群算法寻优过程中所体现出的并行性、协同性、自组织性、动态性、强鲁棒性等特点对于图像特征提取非常适用。

具体方法为：给定原始图像，将每个像素看作一只蚂蚁，将当前像素和邻域像素的灰度差与灰度差阈值作比较，小于该阈值的邻域像素个数即所要提取的邻域特征。图像特征提取过程中，每只蚂蚁是以灰度、梯度和邻域为特征的三维向量，图像匹配就是这些具有不同特征的蚂蚁搜索食物源的过程。

给定原始图像X，将每个像素X_j(j＝1，2，...，N)看作一只蚂蚁，则可根据上述方法进行特征提取。任意像素Xi到Xi的距离为d_ij，可采用欧几里德(Euclidean)距离对其进行计算：

$d_{\mathrm{ij}}=\sqrt{\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{p}_k{(x_{\mathrm{ik}}-x_{\mathrm{jk}})}^2}---\left(6\right)$

式中，p为加权因子，其值根据像素各分量对聚类的影响程度设定。设r为聚类半径，τ_ij为信息量，则有

基本蚁群算法中，蚂蚁行走是随机和盲目的，将图像的每个像素看作一只蚂蚁，假设图像大小为m×n，在循环搜索过程中，每个像素要和其余m×n-1个像素进行距离和路径选择概率计算，而且系统必须经过多次循环才能完成聚类过程，导致搜索时间长，整体计算量大。针对这一问题，本发明将根据图像特征提取特点给出初始聚类中心加以引导，以减少蚂蚁行走的盲目性，并将蚂蚁与聚类中心的相似度作为引导函数，这样可大大降低计算量。

(3)基于蚁群智能的图像模板匹配运算

根据蚁群算法的搜索策略对图像和模板的特征集合进行匹配运算，并最终得到匹配结果。模板匹配根据所使用的匹配特征可以大致分为两类：基于图像特征的匹配方法和利用图像灰度信息进行匹配。前者所使用的特征基元有点特征，边缘线段等；后者主要是对两幅图像空间域上的灰度值进行相关运算，根据相关系数的峰值，求出匹配位置。这两种方法各有优缺点，本发明在引入蚁群算法并行搜索策略的基础上，采用基于图像特征和利用图像灰度信息混合匹配方法，该策略区分不同对象的能力强、精度高，适用于十分复杂的图像环境和要求高精度的应用领域。在该混合策略中，如何设置选取蚁群算法的图像匹配适应度函数是一个非常关键的问题。这里假设x，y是匹配坐标，s和a是匹配过程中旋转和尺度因子的变化值，H_w(x，y)表示Hausdorf距离，(x，y，s，a)构成了解空间中四个待确定的参数，则基于蚁群算法的图像匹配适应度函数可定义如下：

$(x,y,s,a)=\frac{1}{1+H_W(x,y)}---\left(8\right)$

(4)基于蚁群智能的图像匹配系统软硬件实现

由于图像匹配系统必须具有很好的实时性和很强的通用性，以及要求图像匹配系统具有很快的运算速度和丰富的外围接口；同时，由于可能会应用在各种不同的场合，也要求系统具有低功耗小体积等特点，因此，基于蚁群智能的图像匹配系统硬件总体设计拟采用基于现场可编程门阵列(Field programmable gate array，FPGA)的方案，处理器拟采用摩托罗拉(Motorola)公司的具有高性能、低功耗、接口丰富的MC9328MXL作为系统的系统级芯片(System-on-chip，SoC)处理器，而MC9328MXL处理器是一款集低功耗、高度集成性、软件兼容性、智能设计技术等优势于一体的CPU。处理器内置支持LCD/触摸屏接口、CMOS Sensor接口、SD卡、串口、I2C、I2S等；软件系统总体分底层(图像预处理)、中层(特征提取与识别)和高层(无人机位置与姿态计算)等三层，如图4所示。

本发明一种基于蚁群智能的无人机机器视觉图像匹配方法，其优点及所达成的功效是：计算速度快、适应性强、匹配精度高，并具有较强的抗干扰性。

本发明所提出的基于蚁群智能的图像匹配方法，可有效地解决无人机机器视觉图像匹配技术中计算量大、实时性差等问题，使处理问题更具实时性、适应性和鲁棒性。同时，该方法也可用于解决其它图像处理问题。

(四)附图说明

图1无人机机器视觉原理图

图2现实中蚁群寻找食物的过程

图3基本蚁群算法的逻辑结构

图4软件系统结构流程

(五)具体实施方式

本发明一种基于蚁群智能的无人机机器视觉图像匹配方法，其具体实现步骤如下：

(1)图像预处理技术研究：

<1>采用中值滤波法进行平滑滤波，以消除图像的随机干扰噪声，使图像的失真尽可能的少；

<2>采用交叉边缘检测法对图像进行图像锐化处理，以加强图像中的轮廓边缘和细节；

(2)基于蚁群智能对模板和图像进行特征提取：

给定原始图像，将每个像素看作一只蚂蚁，将当前像素和邻域像素的灰度差与灰度差阈值作比较，小于该阈值的邻域像素个数即所要提取的邻域特征。图像特征提取过程中，每只蚂蚁是以灰度、梯度和邻域为特征的三维向量，图像匹配就是这些具有不同特征的蚂蚁搜索食物源的过程。

给定原始图像X，将每个像素X_j(j＝1，2，...，N)看作一只蚂蚁，则可根据上述方法进行特征提取。任意像素X_i到X_i的距离为d_ij，可采用欧几里德(即Euclidean)距离对其进行计算：

$d_{\mathrm{ij}}=\sqrt{\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{p}_k{(x_{\mathrm{ik}}-x_{\mathrm{jk}})}^2}$

式中，p为加权因子，其值根据像素各分量对聚类的影响程度设定。如像素分量对某聚类的影响程度较小，则取p＝1；反之，若影响程度较大，则取p＝4。

(3)基于蚁群智能的图像模板匹配运算：

假设x，y是匹配坐标，s和a是匹配过程中旋转和尺度因子的变化值，H_w(x，y)表示Hausdorf距离，(x，y，s，a)构成了解空间中四个待确定的参数，则基于蚁群算法的图像匹配适应度函数可定义如下：

$f(x,y,s,a)=\frac{1}{1+H_W(x,y)}$

(4)基于蚁群智能的图像匹配系统软硬件实现：

基于蚁群智能的图像匹配系统硬件总体设计采用基于现场可编程门阵列(即FPGA)的方案，处理器采用具有高性能、低功耗、接口丰富的处理器，如Motorola公司的MC9328MXL作为系统的SOC处理器；软件系统总体分底层、中层和高层三层，这三层分别用于实现图像预处理、特征提取与识别及无人机位置与姿态计算。

Claims (1)

1.本发明一种基于蚁群智能的无人机机器视觉图像匹配方法，其特征在于：该方法的具体步骤如下：

(1)图像预处理技术研究：

<1>采用中值滤波法进行平滑滤波，以消除图像的随机干扰噪声，使图像的失真尽可能的少；

<2>采用交叉边缘检测法对图像进行图像锐化处理，以加强图像中的轮廓边缘和细节；

(2)基于蚁群智能对模板和图像进行特征提取：

给定原始图像，将每个像素看作一只蚂蚁，将当前像素和邻域像素的灰度差与灰度差阈值作比较，小于该阈值的邻域像素个数即所要提取的邻域特征；图像特征提取过程中，每只蚂蚁是以灰度、梯度和邻域为特征的三维向量，图像匹配就是这些具有不同特征的蚂蚁搜索食物源的过程；

给定原始图像X，将每个像素X_j看作一只蚂蚁，则可根据上述方法进行特征提取；任意像素X_i到X_j的距离为d_ij，可采用欧几里德距离对其进行计算：

$d_{\mathrm{ij}}=\sqrt{\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{p}_k{(x_{\mathrm{ik}}-x_{\mathrm{jk}})}^2}$

式中，p为加权因子，其值根据像素各分量对聚类的影响程度设定；如像素分量对某聚类的影响程度较小，则取p＝1；反之，若影响程度较大，则取p＝4；

(3)基于蚁群智能的图像模板匹配运算：

假设x，y是匹配坐标，s和a是匹配过程中旋转和尺度因子的变化值，H_W(x，y)表示Hausdcrf距离，(x，y，s，a)构成了解空间中四个待确定的参数，则基于蚁群算法的图像匹配适应度函数可定义如下：

$f(x,y,s,a)=\frac{1}{1+H_W(x,y)}$

(4)基于蚁群智能的图像匹配系统软硬件实现：

基于蚁群智能的图像匹配系统硬件总体设计采用基于现场可编程门阵列的方案，处理器采用具有高性能、低功耗、接口丰富的处理器作为系统的SOC处理器；软件系统总体分底层、中层和高层三层，这三层分别用于实现图像预处理、特征提取与识别及无人机位置与姿态计算。

Images