CN113091740B - 一种基于深度学习的稳定云台陀螺仪漂移实时修正方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的稳定云台陀螺仪漂移实时修正方法，包括：步骤1：使用监督学习方法，对深度学习模型进行训练；步骤2：获取安装在稳定云台上的摄像机所产生的视频帧，计算得到上下、左右像素偏移量和旋转角度值；步骤3：计算得到初始上下、左右漂移修正值，计算得到初始旋偏漂移修正值；步骤4：将初始上下、左右漂移修正值和初始旋偏漂移修正值换算到陀螺仪各个轴分量上；步骤5：对不同时刻输出的各个轴分量上的陀螺仪漂移修正值进行数值滤波，得到最终的各个轴分量上的陀螺仪漂移修正值。本发明的有益效果是：本发明对场景依赖小，具有适应性广、实时性高，解决了传统方法中离线标定不准确和在线修正实现繁琐且空间局限性大等问题。

Description

一种基于深度学习的稳定云台陀螺仪漂移实时修正方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于深度学习的稳定云台陀螺仪漂移实时修正方法。

背景技术

陀螺仪是一种角运动检测设备，能够感知载体的绕固定轴的旋转角速率，是惯性测量单元的重要组成部分，广泛用于惯性导航、视轴稳定等领域。陀螺仪大致可分为机械陀螺仪、光学陀螺仪、微机械(MEMS)陀螺仪等三类，尽管制作工艺上各不相同，但是均不可避免地存在着测量误差，尤其是随温度变化的随机测量噪声。

稳定云台安装于运动载体上，能够隔离载体产生的运动，从而稳定安装在云台上的摄像机视轴，实现对目标的搜索、观测、识别、跟踪等。陀螺仪做为惯性测量单元，对稳定云台的视轴稳定性能起着关键性作用。陀螺仪数据漂移会使得稳定云台测量的空间角速率发生偏差，观测视频图像画面中心发生漂移。

目前陀螺仪解决数据漂移的办法大多采用离线标定的方法：将陀螺仪测量模块放入高低温箱中温度校准补偿，实时采集记录每个温度状态下陀螺仪的漂移偏差，对温度漂移进行不同方法的建模，例如使用函数拟合，获得每个温度下的漂移值，记录在存储器中；在使用过程中，陀螺仪根据实时温度和所记录的漂移值对测量数据进行修正。这种离线标定的结果无法全面反映陀螺仪在系统中的特性，尤其当温度漂移数据的离散性较大时，无法对数据进行准确建模，在实际测量时，仍然存在较大误差。

另一种是在线修正技术。在线修正技术分两种形式，手动修正和自动修正。手动修正是依靠操作人员根据观测的画面，主管判断陀螺仪存在漂移时，通过指令输入陀螺仪漂移修正值，该方案需要操作人员实时操作，耗时耗力，工作效率低。自动修正是系统通过视频内容自动分析得到陀螺漂移值，典型的方案是陈益等提出的非接触式陀螺修正技术，通过在地面上设置4个固定信标和载体上的摄像机组成弹幕视觉测量系统，推导出陀螺仪信号修正值。该方案的局限性较大，信标布置成本高，当且仅当摄像机在信标上方时才可进行陀螺修正。

发明内容

本发明提供了一种基于深度学习的稳定云台陀螺仪漂移实时修正方法，其主要是解决现有技术所存在的陀螺仪漂移值离线标定不准确，在线测量效率低或场景局限性大等问题。

本发明提供了一种基于深度学习的稳定云台陀螺仪漂移实时修正方法，包括如下步骤：

步骤1：使用监督学习方法，对深度学习模型进行训练；

步骤2：获取安装在稳定云台上的摄像机所产生的视频帧，视频帧为等间隔的m个视频帧，计算得到上下、左右像素偏移量和旋转角度值；

步骤3：根据摄像机的焦距值、探测器像元尺寸和步骤2中定义的帧间隔以及获得的上下、左右像素偏移量，计算得到初始上下、左右漂移修正值，根据步骤2中定义的帧间隔以及获得的旋转角度值，计算得到初始旋偏漂移修正值；

步骤4：根据摄像机传感器坐标和陀螺仪安装基座坐标的转换关系，把步骤3获得的初始上下、左右漂移修正值和初始旋偏漂移修正值换算到陀螺仪各个轴分量上；

步骤5：对不同时刻输出的各个轴分量上的的陀螺仪漂移修正值进行数值滤波，得到最终的各个轴分量上的陀螺仪漂移修正值。

作为本发明的进一步改进，在所述步骤1中，采用基准图和变化图，输入到卷积神经网络中，输出上下、左右像素偏移量和旋转角度值，并与真值标签进行运算得到模型损失函数，通过反向传播的方式对模型参数进行训练。

作为本发明的进一步改进，在所述步骤1中，深度学习模型的主干网络采用残差网络Resnet50网络结构，输出标签为一个3×1的向量(Δx，Δy，γ)，分别表示左右像素偏移、上下像素偏移和绕中心旋转的角度；损失函数Loss选择带L1正则项的平滑损失函数：

Loss＝L_u+L_w

其中：

N、k_x、k_y、k_θ均为常数，此处取N＝5，k_x、k_y、k_θ均取值为1；Δx、Δy、γ为卷积神经网络输出的标签，Δx_Gt、Δy_Gt、γ_Gt分别为左右像素偏移、上下像素偏移和绕中心旋转的角度的真实值；w为网络模型中的参数，α为模型中的超参数，是模型训练的参数之一；

深度学习模型的训练为一个离线操作过程，且仅需操作一次；训练结束后，深度学习模型即可用于图像实时像素偏移和旋转角度的估计。

作为本发明的进一步改进，在所述步骤2中，视频帧的首帧分别与后续的m-1帧进行计算，上述m-1对视频帧，通过步骤1所述的深度学习模型得到m-1个结果，经过数值计算后得到上下、左右像素偏移量和旋转角度值。

作为本发明的进一步改进，在所述步骤2中，在稳定云台无平移或摄像机视轴处于水平位置时，获取摄像机产生的视频帧。

作为本发明的进一步改进，在所述步骤2中，获取视频帧做为基准帧，记为第0帧，随后间隔n-1帧，获取第n帧图像，一共获取m个帧图像；取n＝10，m＝6，获取了第0帧、第10帧、第20帧、第30帧、第40帧和第50帧，共6幅图像，对6幅图像先进行宽度方向裁剪，再进行缩放，将图像分辨率调整为224×224；

调整后的第0帧做为基准图，其余为变化图；每幅变化图和基准图组成一个图像对，一共形成5个图像对，分5次输入深度学习模型中，依次获得(Δx₁，Δy₁，γ₁)、(Δx₂，Δy₂，γ₂)、(Δx₃，Δy₃，γ₃)、(Δx₄，Δy₄，γ₄)、(Δx₅，Δy₅，γ₅)5组参数；下一次计算周期中，取上述第10帧做为基准图，此时增加第60帧图像获取5个图像对，从而获得此周期中的计算结果。

作为本发明的进一步改进，在所述步骤3中，初始漂移修正值为(G_x0、G_y0、G_z0)，则有：

其中p_i为权重项，a为摄像机的探测器像元尺寸，Δx_i，Δy_i，γ_i(i＝1,2,3,4,5)为深度学习模型的计算结果，f为摄像机焦距，t_gap为图像的帧间隔。

作为本发明的进一步改进，在所述步骤4中，摄像机坐标系为O(X_cam,Y_cam,Z_cam),陀螺仪安装的坐标系为O(X_gyro,Y_gyro,Z_gyro)，设陀螺仪安装坐标系通过对摄像机坐标系以一定方式旋转实现，该实现过程为：摄像机坐标系以单位向量v为轴，以右手法则旋转θ角；以四元数表示即为：

因此可得陀螺仪各个轴分量上的漂移值(G_x1、G_y1、G_z1)为：

当摄像机坐标与陀螺仪安装坐标重合时，有q＝(1,0,0,0),此时：

作为本发明的进一步改进，在所述步骤5中，各个轴分量上的陀螺仪漂移修正值按照计算间隔刷新一次，形成一个漂移修正值序列，记为：

(G_xti，G_yti，G_zti)其中i＝0，1，2，3,…

应用过程中，将(G_xti，G_yti，G_zti)进行数值滤波后再输出，进行漂移修正。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的稳定云台陀螺仪漂移实时修正方法的步骤。。

本发明的有益效果是：本发明基于深度学习使该方法对场景依赖小，具有适应性广、实时性高，可实现自动化高效率操作等特点，解决了传统方法中离线标定不准确和在线修正实现繁琐且空间局限性大等问题。

附图说明

图1是本发明的方法流程图；

图2是本发明的深度学习模型训练原理框图；

图3是本发明中的视频帧获取过程图；

图4是摄像机坐标与陀螺仪坐标旋转示意图。

具体实施方式

如图1所示，本发明以深度学习技术为核心，具体涉及一种基于深度学习的稳定云台陀螺仪漂移实时修正方法，可广泛用于机载、车载、船载等领域的稳定观测。

本发明是一种基于深度卷积神经网络的学习方法，主要包含一个像素偏移量和旋转角度的评估网络，能够根据不同视频帧之间的图像差异，获得视频的上下、左右方向的像素偏移量以及绕图像中心的旋转角度值；经过坐标转换、数值滤波等一系列数值计算后获得各个轴分量上的陀螺仪漂移修正值。

本发明具体包括如下步骤：

步骤1：使用监督学习方法，对深度学习模型进行训练；具体为，采用基准图和变化图，输入到卷积神经网络中，输出上下、左右像素偏移量和旋转角度值，并与真值标签进行运算得到模型损失函数，通过反向传播的方式对模型参数进行训练。

在步骤1中，深度学习模型训练的数据样本来源于公开的互联网数据集COCO数据集以及采用无人机吊舱可见光摄像机采集的视频数据，使用图像编辑软件例如Photoshop或者使用C语言编程的方式，对单幅图像进行平移、旋转操作，以获得具有已知像素偏移量和旋转角度值的图像对，做为深度学习模型的训练数据和测试数据；在制作数据样本中需将图片分辨率统一，例如224×224；

深度学习模型为一个卷积神经网络，模型的主干网络采用残差网络Resnet50网络结构，输出标签为一个3×1的向量(Δx，Δy，γ)，分别表示左右像素偏移、上下像素偏移和绕中心旋转的角度；损失函数Loss选择带L1正则项的平滑损失函数：

Loss＝L_u+L_w

其中：

N、k_x、k_y、k_θ均为常数，此处取N＝5、k_x、k_y、k_θ均取值为1；Δx、Δy、γ为卷积神经网络输出的标签，Δx_Gt、Δy_Gt、γ_Gt分别为左右像素偏移、上下像素偏移和绕中心旋转的角度的真实值；w为网络模型中的参数，α为模型中的超参数，是模型训练的参数之一。

深度学习模型的训练为一个离线操作过程，且仅需操作一次；训练结束后，该模型即可用于图像实时像素偏移和旋转角度的估计。

步骤2：应用过程中，在适当的时机获取摄像机产生视频帧，参与计算的视频帧为等间隔的m个视频帧，具体的，在计算过程中，首帧分别与后续的m-1帧进行计算，上述m-1对视频帧，通过步骤1所述的深度学习模型得到m-1个结果，经过数值计算后得到上下、左右像素偏移量和旋转角度值。

所述视频帧获取的适当的时机为稳定云台无平移或摄像机视轴处于水平位置；进一步地，所述稳定云台无平移是指稳定云台的载体的空间坐标是固定的，例如对于旋翼机机载稳定云台，视频获取的时机为摄像机悬停观测时，对于手持稳定云台，视频获取时机为操作者处于原地观察时；所述摄像机视轴处于水平位置是指摄像机视轴与水平线的夹角不超过5°。

在步骤2中，以无人机光电吊舱为例，当无人悬停观测时，稳定云台进入陀螺仪漂移修正功能，由安装在稳定云台上的可见光变焦摄像机产生连续视频帧，视频分辨率为1920×1080，帧率为30fps；进入修正功能后，软件获取该时刻的视频帧做为基准帧，记为第0帧，随后间隔n-1帧，获取第n帧图像，以此类推一共获取m个帧图像，如附图3所示；此处取n＝10，m＝6，即软件获取了第0帧、第10帧、第20帧、第30帧、第40帧和第50帧，共6幅图像；对6幅图像先进行宽度方向裁剪，再进行缩放，将图像分辨率调整为224×224；

调整后的第0帧做为基准图，其余为变化图；每幅变化图和基准图组成一个图像对，一共形成5个图像对，分5次输入深度学习模型中，依次获得(Δx₁，Δy₁，γ₁)、(Δx₂，Δy₂，γ₂)、(Δx₃，Δy₃，γ₃)、(Δx₄，Δy₄，γ₄)、(Δx₅，Δy₅，γ₅)等5组参数。

进一步的，为了获得更高的计算效率，下一次计算周期中，可以取上述第10帧做为基准图，此时仅需增加第60帧图像(帧序号以上述第0帧为参考，下同)，就能够获取5个图像对，即(第10帧，第20帧)、(第10帧，第30帧)、(第10帧，第40帧)、(第10帧，第50帧)、(第10帧，第60帧)，从而获得此周期中的计算结果。

步骤3：根据摄像机的焦距值、探测器像元尺寸和步骤2中定义的帧间隔以及获得的上下、左右像素偏移量，计算得到初始上下、左右漂移修正值，根据步骤2中定义的帧间隔以及获得的旋转角度值，计算得到初始旋偏漂移修正值。

在步骤3中，设摄像机焦距f＝50mm，探测器像元尺寸a＝2.8×10^-3mm初始漂移修正值为(G_x0、G_y0、G_z0)，图像的帧间隔t_gap＝1/3s，则有：

其中p_i为权重项，此处均取值为1。

步骤4：根据摄像机传感器坐标和陀螺仪安装基座坐标的转换关系，把步骤3获得的初始上下、左右漂移修正值和初始旋偏漂移修正值换算到陀螺仪各个轴分量上。

在步骤4中，如附图4所示，摄像机坐标系为O(X_cam,Y_cam,Z_cam),陀螺仪安装的坐标系为O(X_gyro,Y_gyro,Z_gyro)，设陀螺仪安装坐标系可以通过对摄像机坐标系以一定方式旋转实现，该实现过程为：摄像机坐标系以单位向量v为轴，以右手法则旋转θ角；以四元数表示即为：

因此可得陀螺仪各个轴分量上的漂移值(G_x1、G_y1、G_z1)为：

显然，当摄像机坐标与陀螺仪安装坐标重合时，有q＝(1,0,0,0),此时：

步骤5：对不同时刻输出的各个轴分量上的陀螺仪漂移修正值进行数值滤波，得到最终的各个轴分量上的陀螺仪漂移修正值。

在步骤5中，以步骤2中的视频帧获取为例，陀螺仪漂移修正值的计算间隔为t_gap＝1/3s，因此每隔1/3秒，陀螺仪漂移修正值就被刷新一次，形成一个漂移修正值序列，记为：

(G_xti，G_yti，G_zti)其中i＝0，1，2，3,…

应用过程中，可以将(G_xti，G_yti，G_zti)直接做为输出，进行漂移修正；

进一步地，为了提高算法的鲁棒性，可以对该序列进行数值滤波后再输出，例如Kalman滤波算法、使用加权平均算法等；

以加权平均算法为例，对3次计算值进行加权平均，以t2时刻的最终输出为：

此处t0、t1、t2时刻的权重值分别为0.1、0.2、0.7。

陀螺仪漂移修正值包括初始上下、左右漂移修正值和初始旋偏漂移修正值。

本发明基于深度学习使该方法对场景依赖小，具有适应性广、实时性高，可实现自动化高效率操作等特点，解决了传统方法中离线标定不准确和在线修正实现繁琐且空间局限性大等问题。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于深度学习的稳定云台陀螺仪漂移实时修正方法，其特征在于，包括如下步骤：

步骤1：使用监督学习方法，对深度学习模型进行训练；

步骤2：获取安装在稳定云台上的摄像机所产生的视频帧，视频帧为等间隔的m个视频帧，计算得到上下、左右像素偏移量和旋转角度值；

步骤3：根据摄像机的焦距值、探测器像元尺寸和步骤2中的帧间隔以及获得的上下、左右像素偏移量，计算得到初始上下、左右漂移修正值，根据步骤2中的帧间隔以及获得的旋转角度值，计算得到初始旋偏漂移修正值；

步骤4：根据摄像机传感器坐标和陀螺仪安装基座坐标的转换关系，把步骤3获得的初始上下、左右漂移修正值和初始旋偏漂移修正值换算到陀螺仪各个轴分量上；

步骤5：对不同时刻输出的各个轴分量上的陀螺仪漂移修正值进行数值滤波，得到最终的各个轴分量上的陀螺仪漂移修正值；

在所述步骤1中，采用基准图和变化图，输入到卷积神经网络中，输出上下、左右像素偏移量和旋转角度值，并与真值标签进行运算得到模型损失函数，通过反向传播的方式对模型参数进行训练；

在所述步骤1中，深度学习模型的主干网络采用残差网络Resnet50网络结构，输出标签为一个3×1的向量(Δx，Δy，γ)，分别表示左右像素偏移、上下像素偏移和绕中心旋转的角度；损失函数Loss选择带L1正则项的平滑损失函数：

Loss＝L_u+L_w

其中：

N、k_x、k_y、k_θ均为常数，此处取N＝5，k_x、k_y、k_θ均取值为1；Δx、Δy、γ为卷积神经网络输出的标签，Δx_Gt、Δy_Gt、γ_Gt分别为左右像素偏移、上下像素偏移和绕中心旋转的角度的真实值；Wj为网络模型中的参数，α为模型中的超参数，是模型训练的参数之一；

深度学习模型的训练为一个离线操作过程，且仅需操作一次；训练结束后，深度学习模型即可用于图像实时像素偏移和旋转角度的估计。

2.根据权利要求1所述的稳定云台陀螺仪漂移实时修正方法，其特征在于，在所述步骤2中，视频帧的首帧分别与后续的m-1帧进行计算，上述m-1对视频帧，通过步骤1所述的深度学习模型得到m-1个结果，经过数值计算后得到上下、左右像素偏移量和旋转角度值。

3.根据权利要求1所述的稳定云台陀螺仪漂移实时修正方法，其特征在于，在所述步骤2中，在稳定云台无平移或摄像机视轴处于水平位置时，获取摄像机产生的视频帧。

4.根据权利要求2所述的稳定云台陀螺仪漂移实时修正方法，其特征在于，在所述步骤2中，获取视频帧做为基准帧，记为第0帧，随后间隔n-1帧，获取第n帧图像，一共获取m个帧图像；取n＝10，m＝6，获取了第0帧、第10帧、第20帧、第30帧、第40帧和第50帧，共6幅图像，对6幅图像先进行宽度方向裁剪，再进行缩放，将图像分辨率调整为224×224；调整后的第0帧做为基准图，其余为变化图；每幅变化图和基准图组成一个图像对，一共形成5个图像对，分5次输入深度学习模型中，依次获得(Δx₁，Δy₁，γ₁)、(Δx₂，Δy₂，γ₂)、(Δx₃，Δy₃，γ₃)、(Δx₄，Δy₄，γ₄)、(Δx₅，Δy₅，γ₅)5组参数；下一次计算周期中，取上述第10帧做为基准图，此时增加第60帧图像获取5个图像对，从而获得此周期中的计算结果。

5.根据权利要求1所述的稳定云台陀螺仪漂移实时修正方法，其特征在于，在所述步骤3中，初始漂移修正值为(G_x0、G_y0、G_z0)，则有：

其中p_i为权重项，a为摄像机的探测器像元尺寸，Δx_i、Δy_i、γ_i，i＝1,2,3,4,5，为深度学习模型的计算结果，f为摄像机焦距，t_gap为图像的帧间隔。

6.根据权利要求1所述的稳定云台陀螺仪漂移实时修正方法，其特征在于，在所述步骤4中，摄像机坐标系为O(X_cam,Y_cam,Z_cam),陀螺仪安装的坐标系为O(X_gyro,Y_gyro,Z_gyro)，设陀螺仪安装坐标系通过对摄像机坐标系以一定方式旋转实现，该实现过程为：摄像机坐标系以单位向量v为轴，以右手法则旋转θ角；以四元数表示即为：

因此可得陀螺仪各个轴分量上的漂移值(G_x1、G_y1、G_z1)为：

当摄像机坐标与陀螺仪安装坐标重合时，有q＝(1,0,0,0),此时：

7.根据权利要求1所述的稳定云台陀螺仪漂移实时修正方法，其特征在于，在所述步骤5中，各个轴分量上的陀螺仪漂移修正值按照计算间隔刷新一次，形成一个漂移修正值序列，记为：

(G_xti，G_yti，G_zti)其中i＝0，1，2，3,…

应用过程中，将(G_xti，G_yti，G_zti)进行数值滤波后再输出，进行漂移修正。

8.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1－7中任一项所述的稳定云台陀螺仪漂移实时修正方法的步骤。

Images