CN107453811B - 一种基于可见光视觉通信的无人机协同slam的方法 - Google Patents

Abstract

本发明提供了一种基于可见光视觉通信的无人机协同SLAM的方法，通过辅助无人机上的CMOS摄像头收集主无人机上高频闪烁的LED信号光源，并将光信号转换为数字信号，消除高频闪烁摄像过程中像素电子饱和溢出可能造成的暗条纹和亮条纹区分不清楚的缺陷，确保实现主无人机与辅助无人机之间的信息协同，实现了照明和通信同时进行，提高了主无人机与辅助无人机之间的通信速率和反应速率快，从而增强了主无人机与辅助无人机之间的协同效果；而且可见光的视距通信模式可以保证了信息的保密性，不会被监测得到，亦不会产生电磁干扰，适合用于保密或者电磁敏感场合的应用。

Description

一种基于可见光视觉通信的无人机协同SLAM的方法

技术领域

本发明涉及无人机技术领域，具体涉及一种基于可见光视觉通信的无人机协同SLAM的方法。

背景技术

无人机现已广泛应用于军事及民用等众多领域。在军事上,无人机可完成空中预警、侦察监视、通讯中继及小范围内攻击等任务。在民用方面,无人机可以完成环境监测、遥感探测、灾区搜救、农药喷洒等任务。而无人机位置的确认是安全飞行的基础，目前主要的无人机的定位方式是GPS定位，而GPS无线通信的系统会受到电磁干扰影响。在建筑物内部、人口密集的城市、桥下、地下等环境，由于多径衰落的影响和其他无线设备的干扰使得GPS在建筑物内的信号覆盖较差，无人机之间无法使用无线通信交换协同信息，因此研究基于可见光通信的无人机定位与地图构建(simultaneous localization and mapping，SLAM)方法十分必要。

目前SLAM技术已广泛应用于地面移动机器人领域，水下机器人与无人机领域也有了一定的研究成果。基于局部子地图等思想，在地面移动机器人的二维空间已经进行了多机器人协同SLAM的研究，而在无人机活动的三维空间内，协同SLAM技术的研究工作还有待进一步展开，将是未来国内外一个重要研究方向。

基于可见光视觉通信的无人机协同SLAM可在特殊的环境下施工作业：在军事方面，可见光视觉通信结合无人机侦查技术可以保证信息的保密性，不会被监测得到；在电磁敏感的场合中，利用可见光视觉通信不会产生电磁干扰，从而确保信息的成功传输。但是在利用光作为视觉通信的过程中，最大的问题是：在利用摄像头进行摄像或者拍照时，存在LED中心点亮度过高的问题，会导致所在位置像素电子饱和溢出，导致一些暗条纹也变成了亮条纹，造成明暗对比度明显下降，在实际的光协同通信的过程中，如果不对图像条纹进行处理，容易导致光协同信号的传输出错，最终导致通信失败。

公开号为：CN105022401A的中国专利申请公开了一种基于视觉的多四旋翼无人机协同SLAM的方法，该方案中将N架四旋翼无人机中的一架作为主无人机，其余N-1架作为辅助无人机，辅助无人机保持悬停状态，与路标一起估计和更新，并通过观察与主无人机的相对位置计算主无人机在地面坐标系下的绝对位置，有助于主无人机实时调整位姿估计，提高无人机位姿估计及路标位置估计的准确性；另外，在主无人机产生意外无法完成SLAM的情况下，辅助无人机能迅速替补，继续执行任务，具有良好的机动性。该方案中，虽然公开了辅助无人机和主无人机之间的通信方式是依靠机载摄像机采集图像信息进行，但是并未有公开主无人机和辅助无人机之间是通过何种方式进行信息协同的，也并未公开辅助无人机和主无人机之间的信息协同的具体方式。

发明内容

针对现有技术的不足，本发明提供了一种基于可见光视觉通信的无人机协同SLAM的方法，采用可见光实现了在提供视觉SLAM照明的同时进行通信，并将光信号转换为数字信号，消除高频闪烁摄像过程中像素电子饱和溢出可能造成的暗条纹和亮条纹区分不清楚的缺陷，提高的了无人机之间通信的准确性。

为实现上述技术方案，本发明提供了一种基于可见光视觉通信的无人机协同SLAM的方法，具体包括以下步骤：

步骤1、主无人机携带的LED信号源通过高频的闪烁传输协同信息；

步骤2、辅助无人机经过CMOS摄像头捕捉LED发出的光信号，并在图像传感器上得到带有条纹的LED图像；

步骤3、图像传感器将获得的LED条纹图像进行0～255阶的灰度值转换，将带有条纹的LED图像由光信号转换为数字信号；

步骤4、利用二阶多项式拟合的方法对灰度图像进行暗条纹和亮条纹分区优化，并利用索贝尔滤波器进一步增强明暗条纹间的消光比；

步骤5、利用三阶多项式拟合的方法将经过步骤4处理后的灰度图像重新拟合形成三次拟合曲线，并设置一个判断阈值，大于三次拟合曲线的部分判别为数字信号1，否则为0，从而将光信号转换为数字信号，实现光协同信息的还原，完成无人机之间的通信；

步骤6、主无人机利用惯性导航单元获取自身的姿态角和加速度信息，并计算在地球坐标下自身的位置；

步骤7、辅助无人机通过接收到的步骤5中的数字信号获得主无人机的位置变化，计算出主无人机的位置变化量，并对主无人机的位置进行校正。

优选的，所述步骤2包括以下步骤：

步骤21、主无人机携带的LED发出的光信号到达辅助无人机的CMOS摄像头处；

步骤22、LED的光信号经过摄像头的镜头，聚焦于CMOS图像传感器上，获得带有条纹信息的LED图像。

优选的，所述步骤3具体包括以下步骤：

步骤31、先将带有条纹的LED图像进行0～255阶的灰度值转换；

步骤32、设定每一行像素单元为(x_i，y_i)，其中，x_i为该行第i个像素，y_i为对应像素的灰度值，通过计算机采用二阶多项式拟合获得每一行像素单元的二阶多项式拟合曲线f(x_i)；

步骤33、通过设置阈值获取二阶多项式拟合曲线与灰度值曲线间的截取区域，进而获得一组灰度值y_i；

步骤34、将获得的灰度值y_i，按升序排列好，并选择20％时的值，当检测的为暗条纹时，所选取的灰度值将会接近于0；当检测的为亮条纹时，所选取的灰度值会远大于0，由此根据灰度值的大小精确区分暗条纹和亮条纹。

优选的，所述步骤4包括以下步骤：

步骤41、将步骤3中获取的带有条纹的LED图像的每一行的像素采用二阶多项式拟合，对LED图像上的明暗条纹进行精准区分；

步骤42、通过直方图均衡将经过二阶多项式拟合后的LED图像的像素变换为均匀分布的256阶灰度级，增强明暗条纹间的消光比；

步骤43、利用索贝尔滤波器对经过直方图均衡后的LED图像进行处理，进一步增强明暗条纹间的消光比，获得明暗对比度高的带有条纹的LED图像。

优选的，所述步骤5包括以下步骤：

步骤51、设经过步骤4处理后每一行像素单元为(p_i,b_i)，其中p_i为该行第i个像素，b_i为对应像素的灰度值，i＝1,2,3…N；

步骤52、根据三阶拟合曲线公式：f(p_i)＝a₀+a₁p_i+a₂p_i ²+a₃p_i ³，及总方差公式：令计算得系数a₀,a₁,a₂,a₃；

步骤53、将步骤4处理后图像每一行的像素值输入三阶拟合曲线公式及总方差公式，计算得到每一行像素值对应的灰度值；

步骤54、设置一个灰度判断阈值，如果步骤53中计算得到的灰度值大于灰度判断阈值则设置为1，低于灰度判断阈值的灰度值则设置为0。

优选的，所述步骤7具体包括以下步骤：

步骤71、辅助无人机接收到主无人机发出的光信号的协同数字信息，通过以下公式计算出主无人机在地球直角坐标系下的相对位置变化：

公式1中，Δl_i即为第i架无人机观测到主无人机的相对位置变化，l_i(t)为t时刻第i架辅助无人机观测到主无人机的相对位置变化，l_i(t-1)为t-1时刻第i架辅助无人机观测到主无人机的相对位置变化，i＝1,2…,N-1，N为总无人机的数量，x_i(t)为t时刻第i架辅助无人机在地球直角坐标系x轴上的坐标，y_i(t)为t时刻第i架辅助无人机在地球直角坐标系y轴上的坐标，z_i(t)为t时刻第i架辅助无人机在地球直角坐标系z轴上的坐标，x_i(t-1)为t-1时刻第i架辅助无人机在地球直角坐标系x轴上的坐标，y_i(t-1)为t-1时刻第i架辅助无人机在地球直角坐标系y轴上的坐标，z_i(t-1)为t-1时刻第i架辅助无人机在地球直角坐标系z轴上的坐标；

步骤72、当获得N-1架辅助无人机观测到的主无人机的位置变化量时，根据以下公式对主无人机位置进行校正：

公式2中，l′_(t)为主无人机在t时刻的校正位置，l′_(t-1)为主无人机在t-1时刻的校正位置，l_(t)为主无人机在t时刻下由惯性导航单元得到的自身位置，Δl_i为第i架无人机观测到主无人机的相对位置变化，N为总无人机的数量。

本发明提供的一种基于可见光视觉通信的无人机协同SLAM的方法的有益效果在于：

1、本方法中的多架无人机之间采用光通信，相较于传统的无线通信，不受多径衰落和其他无线设备的干扰，而且通过辅助无人机上的CMOS摄像头收集主无人机上高频闪烁的LED信号光源，并将光信号转换为数字信号，消除高频闪烁摄像过程中像素电子饱和溢出可能造成的暗条纹和亮条纹区分不清楚的缺陷，然后再将数字信号还原成光信号，确保实现主无人机与辅助无人机之间的信息协同，实现了照明和通信同时进行，提高了主无人机与辅助无人机之间的通信速率和反应速率快，从而增强了主无人机与辅助无人机之间的协同效果；而且可见光的视距通信模式可以保证了信息的保密性，不会被监测得到，亦不会产生电磁干扰，适合用于保密或者电磁敏感场合的应用；

2、本方法采用多部无人机协同SLAM的方法，相较于只使用一部无人机，辅助无人机可以迅速对主无人机的位置进行校正，而且成本更低，更易完成SLAM任务，并且在主无人机发生意外时，辅助无人机可迅速替补，继续完成SLAM任务。

附图说明

图1为本发明中无人机协同SLAM流程图；

图2为本发明中系统示意图；

图3为本发明其中一部辅助无人机与主无人机在t时刻相对位置示意图；

图4为CMOS摄像头将数字信号还原成光信号的示意图；

图5为原始像素与灰度值对应示意图；

图6为利用二阶多项式拟合后像素与灰度值对应示意图；

图7为经过滤波器处理及三阶多项式拟合后像素与灰度值对应示意图；

图8为经过阈值判断后的解调信号输出示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明的保护范围。

实施例：一种基于可见光视觉通信的无人机协同SLAM的方法。

一种基于可见光通信的无人机协同SLAM的方法，如图2所示，本方法中具体涉及一架主无人机和四架辅助无人机，主无人机和辅助无人机上均安装有LED信号源、CMOS摄像头、惯性导航单元和智能处理终端，其中惯性导航单元用于获取自身的姿态角、加速度等信息，计算在地球坐标下自身的位置；LED信号源通过高频的闪烁传输协同信息；摄像头利用CMOS卷帘效应得到LED发出的协同信息，进行光通信；智能处理终端用于对摄像头接收到的图像信号进行处理；并获取位置信息，完成SLAM任务。本基于可见光通信的无人机协同SLAM的方法。参照图1至图8所示，本基于可见光通信的无人机协同SLAM的方法具体包括如下步骤：

S1、主无人机携带的LED信号源通过高频的闪烁传输协同信息；

S2、四架辅助无人机均经过CMOS摄像头捕捉LED发出的光信号，LED的光信号经过摄像头的镜头，聚焦于CMOS图像传感器上，获得带有条纹信息的LED图像；

其中，在CMOS图像传感器获取带有条纹信息的LED图像的过程中，存在LED中心点亮度较高的问题，导致所在位置像素电子饱和溢出，导致一些暗条纹也变成了亮条纹，造成明暗对比度明显下降，在实际的光协同通信的过程中，容易导致通信失败，因此需要对获取的LED图像进行处理；

S3、将带有条纹信息的LED图像转换成数字信号，消除高频闪烁摄像过程中像素电子饱和溢出可能造成的暗条纹和亮条纹区分不清楚的缺陷，然后再将数字信号还原成光信号，确保实现主无人机与辅助无人机之间的信息协同；

具体的处理过程如下：先将LED图像进行0～255阶的灰度值转换，将光信号转换成数字信号(如图5所示)，假设每一行像素单元为(x_i,y_i)，其中，x_i为该行第i个像素，y_i为对应像素的灰度值，令f(x_i)为二阶多项式拟合曲线，紧接通过设置阈值获取二阶多项式拟合曲线与灰度值曲线间的截取区域(如图6所示)，可以获得一组灰度值y_i，按升序排列好，选择20％时的值，当检测的为暗条纹时，所选取的灰度值将会接近于0；当检测的为亮条纹时，所选取的灰度值会远大于0，由此对LED图像上的明暗条纹进行精准区分，但是此时获得明暗条纹图像的消光比不会太高，因此需要通过直方图均衡将图像的像素变换为均匀分布在256阶灰度级来增强明暗条纹间的消光比，再利用索贝尔滤波器来进一步增强消光比，然后通过三阶多项式拟合并设置一个灰度判断阈值(图7所示)，最后通过CMOS图像传感器逐行扫描经过经过三阶多项式拟合处理后的LED图像，将数字信号重新还原成光信号，从而实现光协同信息的还原，完成无人机之间的通信；

其中通过三阶多项式拟合设置一个灰度阈值还原光协同信息的具体过程为：参照图7和图8所示，首先假设经过索贝尔滤波器处理后的图像的每一行像素单元为(p_i,b_i)，其中p_i为该行第i个像素，b_i为对应像素的灰度值，i＝1,2,3…N；然后根据三阶拟合曲线公式：f(p_i)＝a₀+a₁p_i+a₂p_i ²+a₃p_i ³，及总方差公式： 令计算得系数a₀,a₁,a₂,a₃；然后将经过索贝尔滤波器处理后图像每一行的像素值输入三阶拟合曲线公式及总方差公式，计算得到每一行像素值对应的灰度值；最后设置一个灰度判断阈值，如果计算得到的灰度值大于灰度判断阈值则设置为1，低于灰度判断阈值的灰度值则设置为0(如图8所示)，如此一来，将原本明暗交错的条纹光信号转换为更为直观具体的数字信号，从而实现光协同信息的还原，完成无人机之间的通信，而且在将光信号转换成数字信号的过程中消除了高频闪烁摄像过程中像素电子饱和溢出可能造成的暗条纹和亮条纹区分不清楚的缺陷，提高的了无人机之间通信的准确性。

S4、主无人机利用惯性导航单元获取自身的姿态角、加速度等信息，计算t时刻下在地球坐标下自身的位置：

l_(t)＝(x_(t),y_(t),z_(t))

式中：l_(t)为无人机在t时刻下在地球坐标的位置，x_(t)为无人机在t时刻下在地球坐标x轴方向上的位置；y_(t)为无人机在t时刻下在地球坐标y轴方向上的位置；z_(t)为无人机在t时刻下在地球坐标z轴方向上的位置，如图3所示；

S5、辅助无人机通过接收到的主无人机发出的光信息协同数字信号获得主无人机的位置变化，计算出主无人机的位置变化量，并对主无人机的位置进行校正，具体步骤如下：

S51、辅助无人机接收到协同信息，通过以下公式计算出主无人机在地球直角坐标系下的相对位置变化：

公式1中，Δl_i即为第i架无人机观测到主无人机的相对位置变化，l_i(t)为t时刻第i架辅助无人机观测到主无人机的相对位置变化，l_i(t-1)为t-1时刻第i架辅助无人机观测到主无人机的相对位置变化，i＝1,2…,N-1，N为总无人机的数量，x_i(t)为t时刻第i架辅助无人机在地球直角坐标系x轴上的坐标，y_i(t)为t时刻第i架辅助无人机在地球直角坐标系y轴上的坐标，z_i(t)为t时刻第i架辅助无人机在地球直角坐标系z轴上的坐标，x_i(t-1)为t-1时刻第i架辅助无人机在地球直角坐标系x轴上的坐标，y_i(t-1)为t-1时刻第i架辅助无人机在地球直角坐标系y轴上的坐标，z_i(t-1)为t-1时刻第i架辅助无人机在地球直角坐标系z轴上的坐标；

S52、当获得N-1架辅助无人机观测到的主无人机的位置变化量时，根据以下公式对主无人机位置进行校正：

式中，l′_(t)为主无人机在t时刻的校正位置，l′_(t-1)为主无人机在t-1时刻的校正位置，l_(t)为主无人机在t时刻下根据惯性导航单元得到的自身位置，Δl_i为第i架无人机观测到主无人机的相对位置变化，N为总无人机的数量。

Claims (5)

1.一种基于可见光视觉通信的无人机协同SLAM的方法，其特征在于，包括以下步骤：

步骤1、主无人机携带的LED信号源通过高频的闪烁传输协同信息；

步骤2、辅助无人机经过CMOS摄像头捕捉LED发出的光信号，并在图像传感器上得到带有条纹的LED图像；

步骤3、图像传感器将获得的LED条纹图像进行0～255阶的灰度值转换，设定每一行像素单元为(x_i，y_i)，其中，x_i为该行第i个像素，y_i为对应像素的灰度值，通过计算机采用二阶多项式拟合获得每一行像素单元的二阶多项式拟合曲线f(x_i)，通过设置阈值获取二阶多项式拟合曲线与灰度值曲线间的截取区域，进而获得一组灰度值y_i，将获得的灰度值y_i，按升序排列好，并选择最高值20％时的值，当检测的为暗条纹时，所选取的灰度值将会接近于0；当检测的为亮条纹时，所选取的灰度值会远大于0，由此根据灰度值的大小精确区分暗条纹和亮条纹；

步骤4、利用二阶多项式拟合的方法对灰度图像进行暗条纹和亮条纹分区优化，并利用索贝尔滤波器进一步增强明暗条纹间的消光比；

步骤5、利用三阶多项式拟合的方法将经过步骤4处理后的灰度图像重新拟合形成三次拟合曲线，并设置一个判断阈值，大于三次拟合曲线的部分判别为数字信号1，否则为0，通过CMOS图像传感器逐行扫描经过三阶多项式拟合处理后的LED图像，从而将光信号转换为数字信号，实现光协同信息的还原，完成无人机之间的通信；

步骤6、主无人机利用惯性导航单元获取自身的姿态角和加速度信息，并计算在地球坐标下自身的位置；

步骤7、辅助无人机通过接收到的步骤5中的数字信号获得主无人机的位置变化，计算出主无人机的位置变化量，并对主无人机的位置进行校正。

2.根据权利要求1所述的一种基于可见光视觉通信的无人机协同SLAM的方法，其特征在于，所述步骤2包括以下步骤：

步骤21、主无人机携带的LED发出的光信号到达辅助无人机的CMOS摄像头处；

步骤22、LED的光信号经过摄像头的镜头，聚焦于CMOS图像传感器上，获得带有条纹信息的LED图像。

3.根据权利要求1所述的一种基于可见光视觉通信的无人机协同SLAM的方法，其特征在于，所述步骤4包括以下步骤：

步骤41、将步骤3中获取的带有条纹的LED图像的每一行的像素采用二阶多项式拟合，对LED图像上的明暗条纹进行精准区分；

步骤42、通过直方图均衡将经过二阶多项式拟合后的LED图像的像素变换为均匀分布的256阶灰度级，增强明暗条纹间的消光比；

步骤43、利用索贝尔滤波器对经过直方图均衡后的LED图像进行处理，进一步增强明暗条纹间的消光比，获得明暗对比度高的带有条纹的LED图像。

4.根据权利要求3所述的一种基于可见光视觉通信的无人机协同SLAM的方法，其特征在于，所述步骤5包括以下步骤：

步骤51、设经过步骤4处理后每一行像素单元为(p_i，b_i)，其中p_i为该行第i个像素，b_i为对应像素的灰度值，i＝1，2，3…N；

步骤52、根据三阶拟合曲线公式：f(p_i)＝a₀+a₁p_i+a₂p_i ²+a₃p_i ³，及总方差公式：

令计算得系数a₀，a₁，a₂，a₃；

步骤53、将步骤4处理后图像每一行的像素值输入三阶拟合曲线公式及总方差公式，计算得到每一行像素值对应的灰度值；

步骤54、设置一个灰度判断阈值，如果步骤53中计算得到的灰度值大于灰度判断阈值则设置为1，低于灰度判断阈值的灰度值则设置为0。

5.根据权利要求1所述的一种基于可见光视觉通信的无人机协同SLAM的方法，其特征在于，所述步骤7具体包括以下步骤：

步骤71、辅助无人机接收到主无人机发出的光信号的协同数字信息，通过以下公式计算出主无人机在地球直角坐标系下的相对位置变化：

公式1中，Δl_i即为第i架无人机观测到主无人机的相对位置变化，l_i(t)为t时刻第i架辅助无人机观测到主无人机的相对位置变化，l_i(t-1)为t-1时刻第i架辅助无人机观测到主无人机的相对位置变化，i＝1，2…，N-1，N为总无人机的数量，x_i(t)为t时刻第i架辅助无人机在地球直角坐标系x轴上的坐标，y_i(t)为t时刻第i架辅助无人机在地球直角坐标系y轴上的坐标，z_i(t)为t时刻第i架辅助无人机在地球直角坐标系z轴上的坐标，x_i(t-1)为t-1时刻第i架辅助无人机在地球直角坐标系x轴上的坐标，y_i(t-1)为t-1时刻第i架辅助无人机在地球直角坐标系y轴上的坐标，z_i(t-1)为t-1时刻第i架辅助无人机在地球直角坐标系z轴上的坐标；

步骤72、当获得N-1架辅助无人机观测到的主无人机的位置变化量时，根据以下公式对主无人机位置进行校正：

公式2中，l′_(t)为主无人机在t时刻的校正位置，l′_(t-1)为主无人机在t-1时刻的校正位置，l_(t)为主无人机在t时刻下由惯性导航单元得到的自身位置，Δl_i为第i架无人机观测到主无人机的相对位置变化，N为总无人机的数量。