CN109668567B

CN109668567B - 无人机多云条件下偏振光定向方法、系统及偏振光传感器

Info

Publication number: CN109668567B
Application number: CN201910002095.3A
Authority: CN
Inventors: 胡小平; 吴雪松; 何晓峰; 张礼廉; 范晨; 毛军; 蔡宇
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2019-01-02
Filing date: 2019-01-02
Publication date: 2021-09-24
Anticipated expiration: 2039-01-02
Also published as: CN109668567A

Abstract

本发明公开一种无人机多云条件下偏振光定向方法，包括以下步骤：从采集的图像中所有像素点提取最具有区分度的颜色特征；对图像进行超像素分割，获得若干超像素块；根据所述颜色特征通过聚类区分出分割后的图像中用于偏振定向的天空区域和云层；通过膨胀方法对图像进行处理，缩小提取的天空区域，消除云层边缘干扰；根据瑞利散射模型和图像，在无人机载体坐标系下建立太阳方向矢量与偏振角和太阳天顶角的关系模型；根据太阳方位角和太阳子午线方向及关系模型，获得无人机载体在地理坐标系中的航向角。解决现有技术中适应性不佳问题，提高多云条件下无人机的定位精度。

Description

无人机多云条件下偏振光定向方法、系统及偏振光传感器

技术领域

本发明涉及无人机定向技术领域，具体是一种无人机多云条件下偏振光定向方法、系统及偏振光导航传感器。

背景技术

经典导航技术取得了长足的发展。惯性导航系统是最典型且常用的自主导航技术，具有抗干扰性强、导航信息完整、实时性强等优势，但是，由于惯性导航系统的误差会随时间增长而快速发散，单独使用远不能满足运动平台长航时高精度的导航需求。卫星导航具有全天候、高精度(且导航精度不随时间变化)、导航定位授时一体化等优势，是应用最为广泛的导航技术，但没有从根本上解决导航系统的安全性难题，容易被干扰和欺骗。经典的导航技术尚不能完全满足运动平台的自主航行、智能化作业和安全返航的需求，迫切需要拓展新思维、研究新方法，寻求新的、环境适应能力强的导航技术，以适应不断进步的新需求。

经过大气中气体、气溶胶和云等成分的散射，天空光形成了有规律的偏振分布模式，许多昆虫可以通过感知天空光的偏振信息来识别方向，基于大自然生物系统的模拟仿生感知技术，为导航技术的新发展提供了启示。生物偏振视觉的发现源于对生物导航机理的探索。1914年，F.Santschi发现几种蚂蚁在觅食后可以近似直线地返回巢穴，只需看到头顶的部分天空(无需看到太阳)，就可以为蚂蚁提供足够的方向信息。随后的研究发现，自然界中很多昆虫和鸟类普遍使用偏振光进行导航。1947年，K.Frisch研究发现蜜蜂可以利用紫外偏振光进行导航。另外，生物学家也在蟋蟀、蜘蛛、蝴蝶、鱼类、鸟类中发现偏振光导航的案例。

目前在研究利用偏振光进行导航方面的效果远没有达到生物能在多变天气领过使用偏振光导航的水平，对于生物感知偏振光的器官及其接受研究比较充分，已经能够在工程上实现模仿昆虫的偏振光检测功能的传感器。但是复杂大气条件下全天候的偏振光导航仍然是一个很大的挑战，极大地影响了传感器的适应性，在无人机导航技术的应用环境中，云层散射对天空偏振光的作用，直接影响了导航系统的精度，因此需要对仿生偏振光传感器在多云条件下的应用进行研究。

发明内容

本发明提供一种无人机多云条件下偏振光定向方法、系统及偏振光传感器，用于克服现有技术中传感器对于多云天气不适应导致精度降低等缺陷，提高多云天气下传感器的适应性和定位精度。

为实现上述目的，本发明提供一种无人机多云条件下偏振光定向方法，包括：

步骤1，从采集的图像中所有像素点提取最具有区分度的颜色特征；

步骤2，对图像进行超像素分割，获得若干超像素块；

步骤3，根据所述颜色特征通过聚类区分出分割后的图像中用于偏振定向的天空区域和云层；

步骤4，通过膨胀方法对步骤3获得图像进行处理，缩小提取的天空区域，消除云层边缘干扰；

步骤5，根据瑞利散射模型和步骤3获得的图像，在无人机载体坐标系下建立太阳方向矢量与偏振角和太阳天顶角的关系模型；

步骤6，根据太阳方位角和太阳子午线方向及步骤5获得的关系模型，获得无人机载体在地理坐标系中的航向角。

为实现上述目的，本发明还提供一种无人机多云条件下偏振光定向系统，包括处理器和存储器，所述存储器存储有无人机多云条件下偏振光定向程序，所述处理器在运行无人机多云条件下偏振光定向程序时执行上述方法的步骤。

为实现上述目的，本发明还提供一种偏振光传感器，包括上述的无人机多云条件下偏振光定向系统。

本发明提供的无人机多云条件下偏振光定向方法、系统及偏振光传感器，通过超像素提取天空区域，很好的保持了可用于导航区域的精度；通过多次膨胀算法，进一步提高了可用区域的分割精度；在已提取的天空区域内进行航向解算，克服了偏振光定向在多云条件下精度不高的问题，该方法能够在使无人机平台在多云条件下仍然可以基于大气偏振模式进行定向，提高了偏振光传感器的适应性和定位测量精度，具有原理简单、操作简便、使用范围广等优点，对于实现仿生偏振光的定向具有广阔应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例一中采集的天空的原图像；

图2为本发明实施例一提供的无人机多云条件下偏振光定向方法的流程图；

图3为本发明实施例一提供的无人机多云条件下偏振光定向方法中步骤2 的流程图；

图4a为现有技术的无人机多云条件下偏振光定向方法中超像素分割步骤中全局搜索示意图；

图4b为本发明实施例一提供的无人机多云条件下偏振光定向方法中超像素分割步骤中限域搜索示意图；

图5为本发明实施例一中步骤4的示意图；

图6为本发明实施例一中步骤5的原理图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

实施例一

如附图2所示，一种无人机多云条件下偏振光定向方法，主要包括以下步骤：

首先对无人机摄像头采集的图像进行处理，这些图像有很多，包括不同视角和不同位置，需要筛选最能有利于偏振光定向的图像，这里的区分度指的是能够将图片中的景象明显的区分来，区分度或辨识度越高的图像约能够重复体现偏振光的定向特性，筛选的标准为颜色特征，这里的颜色特征具体可以根据颜色对比度、亮度及通道的参数值进行组合和变换。在本发明一具体实施例中根据不同颜色通道提取最具有区分度的颜色特征；通过不同通道颜色特征的组合提高天空区域与其他区域的区分度，提高提取精度。

步骤2，对图像进行超像素分割，获得若干超像素块；

可以通过现有的任意方法对步骤11选定的图像进行超像素分割，分割后获得若干超像素块；

在本发明一优选实施例中，通过SLIC方法对步骤11获得的图像进行超像素分割。

其输入特征为：

X＝(r,x,y) (1)

式中，

表示像素中红色通道/蓝色通道，x,y表示像素点在图像中的x， y轴坐标，SLIC方法的超像素分割个数选择为100，其流程为如图3所示。

步骤21，按照要求的100个超像素个数初始化聚类中心，以预定长度S 为网络边长在每个网格中选取真正的区域中心；

步骤22，将所有像素点关联到与其距离最近的区域中心，在分割出的超像素块中计算新的中心像素和剩余误差；

步骤23，在剩余误差小于或等于阈值时，查看是否存在孤立的没有参与超像素块划分的像素点，若存在则按照就近原则将其归入其他超像素块，如果没有则结束划分，若剩余误差大于阈值时，则重新在预定边长的正方向网格区域中选取真正的区域中心，并重复其之后的步骤，直到剩余误差在阈值范围内。

所述步骤3包括：将每个超像素块中像素点的颜色特征值的平均值作为该超像素的值，并将该值作为特征通过k-means聚类方法进行二分类，区分出分割后的图像中用于偏振定向的天空区域或云层。

(1)将每个超像素中所有像素点r(R/B，即红色通道/蓝色通道)特征取平均作为该超像素块的r特征；

(2)从所有超像素块中随机选取两个作为初始质心μ₁，μ₂；

(3)对集合(所有超像素块)中每一个超像素块，计算与每一个质心的距离，将其标记为距离质心最近的类别。即：

其中x_i＝(x_i,y_i),μ_i＝(μx_i,μy_i)，

(4)取每一类中所有超像素块中心坐标的平均值作为新的质心

(5)如果新质心和旧质心之间的距离小于某一个设置的阈值，算法终止。

(6)如果新质心和旧质心距离变化很大，需要迭代步骤(3)～(5)。

步骤4，通过膨胀方法对步骤3获得图像进行处理，缩小提取的天空区域，消除云层边缘干扰；利用图像处理膨胀方法进一步消除云边缘干扰。

通过多次膨胀卷积的方法缩小天空提取区域，提高算法精度，参见图5 中右侧的表格为卷积模板，利用该模板在图像像素中遍历，实现非天空区域的膨胀。

太阳方向矢量s的最优估计可以表示为如下的优化问题：

因此，太阳方向矢量s的最优估计为：矩阵(EE^T)的最小特征值所对应的特征向量。其中E＝[e₁ L e_M]_3×N，N为有效像素点的个数；

方向余弦矩阵

表示从相机坐标系到入射光坐标系的转换矩阵，φ为偏振光传感器得到的偏振角。

根据已经估计得到的太阳方向矢量s，可以求得太阳的天顶角γ_S和太阳在载体系中的方位角α_S

γ_S＝acos(s₃),α_S＝atan(s₂/s₁) (5)

根据太阳在当地地理坐标系中的方位角β_S，结合式即可解算出载在地理系地理系中的航向角：

ψ＝β_S-α_S (6)。

优选地，所述步骤1包括：

步骤11，将无人机在预定时间段采集的若干图像之间进行对比，根据颜色通道筛选最具有区分度的图像作为分析对象，并确定筛选的颜色特征值；

步骤12，从最终筛选的图像中提取所有像素的所述颜色特征值。

具有区分度的颜色特征为通过采集图像进行对比筛选后确定的R/B(红色通道/蓝色通道)特征。对所有像素求取特征X＝(r,x,y)，其中

表示像素中红色通道/蓝色通道。

所述步骤21包括：

预设超像素个数为N，图像共有M个像素点，像素点的大小为1，则每个超像素包含的像素点数为M/N，以

为边长，取种子点为初始中心点，并将种子点在其周围预设大小窗口内移动到图像梯度最小的像素点的中心点，同时为每个种子分配一个标签，完成对种子点的初始化；

种子点之间距离近似表示为

通过将种子点在以它为中心的3×3 的窗口内移动到梯度最小的位置，防止种子点处于边缘位置而对聚类产生影响，同时为每个种子分配一个标签。图像梯度计算公式如下：

G(x,y)＝||I(x+1,y)-I(x-1,y)||²+||I(x,y+1)-I(x,y-1)||² (11)

其中I(x，y)表示像素于像素空间位置。

所述步骤22包括：

步骤221，获取与每个像素点距离最近的种子点之间的相似程度，并将最相似种子点的标签赋给该像素，对该像素进行标记，完成相似度衡量；

计算每个像素与之距离最近的种子点之间的相似程度，并将最相似种子点的标签赋给该像素，对该像素进行标记。迭代该过程到收敛。相似度的衡量关系定义如下，作为评价某像素点类别的标准：

d_lab＝|r_k-r_i| (12)

这里：d_lab衡量像素点间颜色差异，d_xy用来衡量像素点间的空间距离，D_i用来计算两个像素间的相似度，值越大，相似度越高，反之越低；S是前面定义的种子点间的距离，m为平衡参数，规定颜色值与空间信息分别在相似度衡量计算中的比重。

步骤222，在以种子点为中心的限定区域内搜索相似像素点，并将彼此相邻且相似度最接近的像素点关联到一起形成超像素块，在关联前每个像素点中心与关联后的超像素块中心的距离作为剩余误差；

对每个种子点聚类时只在以种子点为中心的2S×2S区域内搜索相似像素点，而不是在整张图像中寻找，如图4所示，可以减小比对次数从而进一步提高运算速度。参见图4a和图4b,其中图4a为在整张图像中进行全局搜索，图4b为本实施例采用的在限定区域内搜索。

所述步骤23包括：

在剩余误差小于或等于阈值时结束超图像分割；将没有被关联形成超像素块的孤立像素点，按照距离划分到与孤立像素点最近的超像素块；

在剩余误差小于阈值时，重复步骤21、22，直到剩余误差小于阈值时，执行步骤23。

在图像中的每个像素点都关联在可以是搜索域重叠的像素点最近的族群中心。在所有的像素点被关联在最近的族群中心后，一个新的中心将计算成为属于这个族群的所有像素点的平均r矢量。新的中心是所有属于该聚类的r 向量的平均值。而后计算剩余误差error(以前的中心和现在中心的距离)，当误差小于某一阈值时，我们认为收敛，超像素分割结束。否则继续进行迭代。对于迷失的labels(孤立像素点)，我们在最后一步加强连通性，重新标记不相交的分割块，通过附近聚类的标签将其划分到临近的超像素块。

所述步骤3包括以下步骤：

步骤31，将每个超像素块中所有像素点颜色特征值取平均作为该超像素块的特征值；

步骤32，从所有超像素块中随机选取两个超像素块作为初始质心，并各自定义类别；

步骤33，对图像中每一个超像素块，根据特征值将其与两个初始质心进行相似度比较，并将超像素块划入与其相似度最高的初始之心所属的类别；

步骤34，取每一类别中所有超像素块中心坐标的平均值作为新的质心；

步骤35，在新质心和初始质心之间的距离小于阈值时，算法终止，两个类别的超像素块按照特征值分别形成天空区域和云层；

步骤36，在新质心和初始质心距离大于阈值时，重复步骤33～35迭代运算。

所述步骤5包括：

根据一阶瑞利散射模型，散射光的E矢量(光波中的电振动矢量)方向垂直于散射面，如图6所示。图中N表示地理北向，β_S为太阳相对于地理北向的方位角，α_S表示太阳在载体坐标系(即相机坐标系)中的方位角，载体相对于真北的航向角为ψ＝β_S-α_S。

步骤51，图像中的每一个像素点(x_p,y_p)都与P方向的入射光相对应(γ,α) γ和α表示观测方向的天顶角和方位角，这中间有个图像校正的过程：

根据偏振视觉传感器测量获得P方向的入射光的偏振角φ，获得光波中的电振动矢量即E矢量方向在相机坐标系中的：

步骤52，根据一阶瑞利散射模型，E矢量与太阳方向矢量s相互垂直，即有：

e^Ts＝0 (16)

通过两个不相关的E矢量估计获得太阳方向矢量s：

s＝e_i×e_j (17)

步骤53，定义E＝[e₁...e_D]_3×K，其中K为有效像素点的个数，得到：

E^Ts≈0_K×1 (18)

通过下式对太阳方向矢量s进行优化，其中T表示转置，约束条件为 s^Ts＝1：

步骤54，定义如下方程：

L(s)＝s^TEE^Ts-λ(s^Ts-1) (20)

式中，λ是一个任意实数。将上式对太阳方向矢量s求导并令其等于零可得：

(EE^T-λI)s＝0 (21)

式(21)表明太阳方向矢量s的最优估计为(EE^T)_3×3的特征向量，λ为其对应的特征值，I表示单位矩阵，根据式(21)和(20)获得：

L(s)＝λ (22)

太阳方向矢量s的最优估计为：矩阵(EE^T)的最小特征值所对应的特征向量；

步骤55，根据已经估计得到的太阳方向矢量s，获得太阳的天顶角γ_S和太阳在载体系中的方位角α_S：

γ_S＝acos(s₃),α_S＝atan(s₂/s₁) (23)。

所述步骤6包括：

步骤61，根据载体的位置获得太阳在当地地理坐标系中的方位角β_S；

步骤62，根据式(23)及一阶瑞利散射模型，获得载体在地理系中的航向角ψ：

ψ＝β_S-α_S (24)。

本发明实施例提供的针对无人机应用的多云条件下偏振光定向方法，首先根据不同颜色通道提取最具有区分度的颜色特征；然后通过SLIC方法进行超像素分割；在超像素内提取特征进行聚类区分出可以用于偏振定向的天空区域与云层；通过多次膨胀的方法，消除云边缘干扰，提高可用天空区域提取精度；根据一阶瑞利散射模型，在载体系下建立太阳子午线方向关于偏振角和太阳天顶角的表达式；根据太阳方位角和最优的太阳子午线方向求解载体航向角。在已提取的天空区域内进行航向解算，克服了偏振光定向在多云条件下精度不高的问题。该方法能够在使无人机平台在多云条件下仍然可以基于大气偏振模式进行定向，提高了偏振光传感器的适应性和测量精度，具有原理简单、操作简便、使用范围广等优点，对于实现仿生偏振光的定向具有广阔应用前景。

实施例二

本发明实施例还提供一种无人机多云条件下偏振光定向系统，包括处理器和存储器，所述存储器存储有无人机多云条件下偏振光定向程序，所述处理器在运行无人机多云条件下偏振光定向程序时执行上述任意偏振光定向方法实施例的步骤。

实施例三

本发明实施例还提供一种偏振光传感器，包括无人机多云条件下偏振光定向系统。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims

1.一种无人机多云条件下偏振光定向方法，其特征在于，包括以下步骤：

步骤1，从采集的图像中所有像素点提取最具有区分度的颜色特征；以及根据不同颜色通道提取最具有区分度的颜色特征，通过不同通道颜色特征的组合提高天空区域与其他区域的区分度；

步骤2，对图像进行超像素分割，获得若干超像素块；

步骤5，根据瑞利散射模型和步骤4获得的图像，在无人机载体坐标系下建立太阳方向矢量与偏振角和太阳天顶角的关系模型；

2.如权利要求1所述的无人机多云条件下偏振光定向方法，其特征在于，所述步骤1包括：

步骤11，对采集的图像进行对比，根据颜色通道筛选最具有区分度的图像作为分析对象，并确定筛选的颜色特征值；

3.如权利要求2所述的无人机多云条件下偏振光定向方法，其特征在于，所述步骤2包括：通过SLIC方法对步骤11获得的图像进行超像素分割，包括：

步骤21，根据超像素个数初始化聚类中心；以预定长度S为网络边长在每个正方形网格中选取真正的区域中心；

步骤22，将所有像素点关联到与其距离最近的区域中心，获取分割出的超像素块的中心和剩余误差；

步骤23，在剩余误差收敛时，结束超像素划分。

4.如权利要求3所述的无人机多云条件下偏振光定向方法，其特征在于，所述步骤21包括：

所述步骤22包括：

获取与每个像素点距离最近的种子点之间的相似程度，并将最相似种子点的标签赋给该像素，对该像素进行标记，完成相似度衡量；

在以种子点为中心的限定区域内搜索相似像素点，并将彼此相邻且相似度最接近的像素点关联到一起形成超像素块，在关联前每个像素点中心与关联后的超像素块中心的距离作为剩余误差；

所述步骤23包括：

在剩余误差大于阈值时，重复步骤21、22，直到剩余误差小于或等于阈值时，执行步骤23。

5.如权利要求4所述的无人机多云条件下偏振光定向方法，其特征在于，所述步骤3包括：将每个超像素块中像素点的颜色特征值的平均值作为该超像素的值，并将该值作为特征通过k-means聚类方法进行二分类，区分出分割后的图像中用于偏振定向的天空区域或云层。

6.如权利要求5所述的无人机多云条件下偏振光定向方法，其特征在于，所述步骤3包括以下步骤：

步骤33，对图像中每一个超像素块，根据特征值将其与两个初始质心进行相似度比较，并将超像素块划入与其相似度最高的初始质心所属的类别；

7.如权利要求5所述的无人机多云条件下偏振光定向方法，其特征在于，所述步骤5包括：

步骤51，图像中的每一个像素点(x_p,y_p)都与P方向的入射光相对应(γ,α)，其中γ和α表示观测方向的天顶角和方位角，根据偏振视觉传感器测量获得P方向的入射光的偏振角φ，获得光波中的电振动矢量即e矢量方向在相机坐标系中的：

其中，

表示从相机坐标系到入射光坐标系的转换矩阵；

e^Ts＝0 (16)

通过两个不相关的e矢量估计获得太阳方向矢量s：

s＝e_i×e_j (17)

E^Ts≈0_K×1 (18)

通过下式对太阳方向矢量s进行优化，其中T表示转置，约束条件为s^Ts＝1：

步骤54，定义如下方程：

L(s)＝s^TEE^Ts-λ(s^Ts-1) (20)

式中，λ是一个任意实数，将上式对太阳方向矢量s求导并令其等于零可得：

(EE^T-λI)s＝0 (21)

L(s)＝λ (22)

γ_S＝acos(s₃),α_S＝atan(s₂/s₁) (23)。

8.如权利要求7所述的无人机多云条件下偏振光定向方法，其特征在于，所述步骤6包括：

ψ＝β_S-α_S (24)。

9.一种无人机多云条件下偏振光定向系统，包括处理器和存储器，所述存储器存储有无人机多云条件下偏振光定向程序，所述处理器在运行无人机多云条件下偏振光定向程序时执行权利要求1～8任一项所述方法的步骤。

10.一种偏振光传感器，其特征在于，包括权利要求9所述的无人机多云条件下偏振光定向系统。