CN113091740A - 一种基于深度学习的稳定云台陀螺仪漂移实时修正方法 - Google Patents

一种基于深度学习的稳定云台陀螺仪漂移实时修正方法 Download PDF

Info

Publication number
CN113091740A
CN113091740A CN202110300412.7A CN202110300412A CN113091740A CN 113091740 A CN113091740 A CN 113091740A CN 202110300412 A CN202110300412 A CN 202110300412A CN 113091740 A CN113091740 A CN 113091740A
Authority
CN
China
Prior art keywords
frame
drift
drift correction
gyroscope
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110300412.7A
Other languages
English (en)
Other versions
CN113091740B (zh
Inventor
傅兴海
杨娥
安翔
管迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sun Creative Technologies Inc
Original Assignee
Zhejiang Sun Creative Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sun Creative Technologies Inc filed Critical Zhejiang Sun Creative Technologies Inc
Priority to CN202110300412.7A priority Critical patent/CN113091740B/zh
Publication of CN113091740A publication Critical patent/CN113091740A/zh
Application granted granted Critical
Publication of CN113091740B publication Critical patent/CN113091740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Gyroscopes (AREA)

Abstract

本发明提供了一种基于深度学习的稳定云台陀螺仪漂移实时修正方法，包括：步骤1：使用监督学习方法，对深度学习模型进行训练；步骤2：获取安装在稳定云台上的摄像机所产生的视频帧，计算得到上下、左右像素偏移量和旋转角度值；步骤3：计算得到初始上下、左右漂移修正值，计算得到初始旋偏漂移修正值；步骤4：将初始上下、左右漂移修正值和初始旋偏漂移修正值换算到陀螺仪各个轴分量上；步骤5：对不同时刻输出的各个轴分量上的陀螺仪漂移修正值进行数值滤波，得到最终的各个轴分量上的陀螺仪漂移修正值。本发明的有益效果是：本发明对场景依赖小，具有适应性广、实时性高，解决了传统方法中离线标定不准确和在线修正实现繁琐且空间局限性大等问题。

Description

一种基于深度学习的稳定云台陀螺仪漂移实时修正方法
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于深度学习的稳定云台陀螺仪漂移实时修正方法。
背景技术
陀螺仪是一种角运动检测设备，能够感知载体的绕固定轴的旋转角速率，是惯性测量单元的重要组成部分，广泛用于惯性导航、视轴稳定等领域。陀螺仪大致可分为机械陀螺仪、光学陀螺仪、微机械(MEMS)陀螺仪等三类，尽管制作工艺上各不相同，但是均不可避免地存在着测量误差，尤其是随温度变化的随机测量噪声。
稳定云台安装于运动载体上，能够隔离载体产生的运动，从而稳定安装在云台上的摄像机视轴，实现对目标的搜索、观测、识别、跟踪等。陀螺仪做为惯性测量单元，对稳定云台的视轴稳定性能起着关键性作用。陀螺仪数据漂移会使得稳定云台测量的空间角速率发生偏差，观测视频图像画面中心发生漂移。
目前陀螺仪解决数据漂移的办法大多采用离线标定的方法：将陀螺仪测量模块放入高低温箱中温度校准补偿，实时采集记录每个温度状态下陀螺仪的漂移偏差，对温度漂移进行不同方法的建模，例如使用函数拟合，获得每个温度下的漂移值，记录在存储器中；在使用过程中，陀螺仪根据实时温度和所记录的漂移值对测量数据进行修正。这种离线标定的结果无法全面反映陀螺仪在系统中的特性，尤其当温度漂移数据的离散性较大时，无法对数据进行准确建模，在实际测量时，仍然存在较大误差。
另一种是在线修正技术。在线修正技术分两种形式，手动修正和自动修正。手动修正是依靠操作人员根据观测的画面，主管判断陀螺仪存在漂移时，通过指令输入陀螺仪漂移修正值，该方案需要操作人员实时操作，耗时耗力，工作效率低。自动修正是系统通过视频内容自动分析得到陀螺漂移值，典型的方案是陈益等提出的非接触式陀螺修正技术，通过在地面上设置4个固定信标和载体上的摄像机组成弹幕视觉测量系统，推导出陀螺仪信号修正值。该方案的局限性较大，信标布置成本高，当且仅当摄像机在信标上方时才可进行陀螺修正。
发明内容
本发明提供了一种基于深度学习的稳定云台陀螺仪漂移实时修正方法，其主要是解决现有技术所存在的陀螺仪漂移值离线标定不准确，在线测量效率低或场景局限性大等问题。
本发明提供了一种基于深度学习的稳定云台陀螺仪漂移实时修正方法，包括如下步骤：
步骤1：使用监督学习方法，对深度学习模型进行训练；
步骤2：获取安装在稳定云台上的摄像机所产生的视频帧，视频帧为等间隔的m个视频帧，计算得到上下、左右像素偏移量和旋转角度值；
步骤3：根据摄像机的焦距值、探测器像元尺寸和步骤2中定义的帧间隔以及获得的上下、左右像素偏移量，计算得到初始上下、左右漂移修正值，根据步骤2中定义的帧间隔以及获得的旋转角度值，计算得到初始旋偏漂移修正值；
步骤4：根据摄像机传感器坐标和陀螺仪安装基座坐标的转换关系，把步骤3获得的初始上下、左右漂移修正值和初始旋偏漂移修正值换算到陀螺仪各个轴分量上；
步骤5：对不同时刻输出的各个轴分量上的的陀螺仪漂移修正值进行数值滤波，得到最终的各个轴分量上的陀螺仪漂移修正值。
作为本发明的进一步改进，在所述步骤1中，采用基准图和变化图，输入到卷积神经网络中，输出上下、左右像素偏移量和旋转角度值，并与真值标签进行运算得到模型损失函数，通过反向传播的方式对模型参数进行训练。
作为本发明的进一步改进，在所述步骤1中，深度学习模型的主干网络采用残差网络Resnet50网络结构，输出标签为一个3×1的向量(Δx，Δy，γ)，分别表示左右像素偏移、上下像素偏移和绕中心旋转的角度；损失函数Loss选择带L1正则项的平滑损失函数：
Loss＝Lu+Lw
其中：
Figure BDA0002985996290000021
Figure BDA0002985996290000022
N、kx、ky、kθ均为常数，此处取N＝5，kx、ky、kθ均取值为1；Δx、Δy、γ为卷积神经网络输出的标签，ΔxGt、ΔyGt、γGt分别为左右像素偏移、上下像素偏移和绕中心旋转的角度的真实值；w为网络模型中的参数，α为模型中的超参数，是模型训练的参数之一；
深度学习模型的训练为一个离线操作过程，且仅需操作一次；训练结束后，深度学习模型即可用于图像实时像素偏移和旋转角度的估计。
作为本发明的进一步改进，在所述步骤2中，视频帧的首帧分别与后续的m-1帧进行计算，上述m-1对视频帧，通过步骤1所述的深度学习模型得到m-1个结果，经过数值计算后得到上下、左右像素偏移量和旋转角度值。
作为本发明的进一步改进，在所述步骤2中，在稳定云台无平移或摄像机视轴处于水平位置时，获取摄像机产生的视频帧。
作为本发明的进一步改进，在所述步骤2中，获取视频帧做为基准帧，记为第0帧，随后间隔n-1帧，获取第n帧图像，一共获取m个帧图像；取n＝10，m＝6，获取了第0帧、第10帧、第20帧、第30帧、第40帧和第50帧，共6幅图像，对6幅图像先进行宽度方向裁剪，再进行缩放，将图像分辨率调整为224×224；
调整后的第0帧做为基准图，其余为变化图；每幅变化图和基准图组成一个图像对，一共形成5个图像对，分5次输入深度学习模型中，依次获得(Δx1，Δy1，γ1)、(Δx2，Δy2，γ2)、(Δx3，Δy3，γ3)、(Δx4，Δy4，γ4)、(Δx5，Δy5，γ5)5组参数；下一次计算周期中，取上述第10帧做为基准图，此时增加第60帧图像获取5个图像对，从而获得此周期中的计算结果。
作为本发明的进一步改进，在所述步骤3中，初始漂移修正值为(Gx0、Gy0、Gz0)，则有：
Figure BDA0002985996290000031
Figure BDA0002985996290000032
Figure BDA0002985996290000033
其中pi为权重项，a为摄像机的探测器像元尺寸，Δxi，Δyi，γi(i＝1,2,3,4,5)为深度学习模型的计算结果，f为摄像机焦距，tgap为图像的帧间隔。
作为本发明的进一步改进，在所述步骤4中，摄像机坐标系为O(Xcam,Ycam,Zcam),陀螺仪安装的坐标系为O(Xgyro,Ygyro,Zgyro)，设陀螺仪安装坐标系通过对摄像机坐标系以一定方式旋转实现，该实现过程为：摄像机坐标系以单位向量v为轴，以右手法则旋转θ角；以四元数表示即为：
Figure BDA0002985996290000041
因此可得陀螺仪各个轴分量上的漂移值(Gx1、Gy1、Gz1)为：
Figure BDA0002985996290000042
当摄像机坐标与陀螺仪安装坐标重合时，有q＝(1,0,0,0),此时：
Figure BDA0002985996290000043
作为本发明的进一步改进，在所述步骤5中，各个轴分量上的陀螺仪漂移修正值按照计算间隔刷新一次，形成一个漂移修正值序列，记为：
(Gxti，Gyti，Gzti)其中i＝0，1，2，3,…
应用过程中，将(Gxti，Gyti，Gzti)进行数值滤波后再输出，进行漂移修正。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的稳定云台陀螺仪漂移实时修正方法的步骤。。
本发明的有益效果是：本发明基于深度学习使该方法对场景依赖小，具有适应性广、实时性高，可实现自动化高效率操作等特点，解决了传统方法中离线标定不准确和在线修正实现繁琐且空间局限性大等问题。
附图说明
图1是本发明的方法流程图；
图2是本发明的深度学习模型训练原理框图；
图3是本发明中的视频帧获取过程图；
图4是摄像机坐标与陀螺仪坐标旋转示意图。
具体实施方式
如图1所示，本发明以深度学习技术为核心，具体涉及一种基于深度学习的稳定云台陀螺仪漂移实时修正方法，可广泛用于机载、车载、船载等领域的稳定观测。
本发明是一种基于深度卷积神经网络的学习方法，主要包含一个像素偏移量和旋转角度的评估网络，能够根据不同视频帧之间的图像差异，获得视频的上下、左右方向的像素偏移量以及绕图像中心的旋转角度值；经过坐标转换、数值滤波等一系列数值计算后获得各个轴分量上的陀螺仪漂移修正值。
本发明具体包括如下步骤：
步骤1：使用监督学习方法，对深度学习模型进行训练；具体为，采用基准图和变化图，输入到卷积神经网络中，输出上下、左右像素偏移量和旋转角度值，并与真值标签进行运算得到模型损失函数，通过反向传播的方式对模型参数进行训练。
在步骤1中，深度学习模型训练的数据样本来源于公开的互联网数据集COCO数据集以及采用无人机吊舱可见光摄像机采集的视频数据，使用图像编辑软件例如Photoshop或者使用C语言编程的方式，对单幅图像进行平移、旋转操作，以获得具有已知像素偏移量和旋转角度值的图像对，做为深度学习模型的训练数据和测试数据；在制作数据样本中需将图片分辨率统一，例如224×224；
深度学习模型为一个卷积神经网络，模型的主干网络采用残差网络Resnet50网络结构，输出标签为一个3×1的向量(Δx，Δy，γ)，分别表示左右像素偏移、上下像素偏移和绕中心旋转的角度；损失函数Loss选择带L1正则项的平滑损失函数：
Loss＝Lu+Lw
其中：
Figure BDA0002985996290000051
Figure BDA0002985996290000052
N、kx、ky、kθ均为常数，此处取N＝5、kx、ky、kθ均取值为1；Δx、Δy、γ为卷积神经网络输出的标签，ΔxGt、ΔyGt、γGt分别为左右像素偏移、上下像素偏移和绕中心旋转的角度的真实值；w为网络模型中的参数，α为模型中的超参数，是模型训练的参数之一。
深度学习模型的训练为一个离线操作过程，且仅需操作一次；训练结束后，该模型即可用于图像实时像素偏移和旋转角度的估计。
步骤2：应用过程中，在适当的时机获取摄像机产生视频帧，参与计算的视频帧为等间隔的m个视频帧，具体的，在计算过程中，首帧分别与后续的m-1帧进行计算，上述m-1对视频帧，通过步骤1所述的深度学习模型得到m-1个结果，经过数值计算后得到上下、左右像素偏移量和旋转角度值。
所述视频帧获取的适当的时机为稳定云台无平移或摄像机视轴处于水平位置；进一步地，所述稳定云台无平移是指稳定云台的载体的空间坐标是固定的，例如对于旋翼机机载稳定云台，视频获取的时机为摄像机悬停观测时，对于手持稳定云台，视频获取时机为操作者处于原地观察时；所述摄像机视轴处于水平位置是指摄像机视轴与水平线的夹角不超过5°。
在步骤2中，以无人机光电吊舱为例，当无人悬停观测时，稳定云台进入陀螺仪漂移修正功能，由安装在稳定云台上的可见光变焦摄像机产生连续视频帧，视频分辨率为1920×1080，帧率为30fps；进入修正功能后，软件获取该时刻的视频帧做为基准帧，记为第0帧，随后间隔n-1帧，获取第n帧图像，以此类推一共获取m个帧图像，如附图3所示；此处取n＝10，m＝6，即软件获取了第0帧、第10帧、第20帧、第30帧、第40帧和第50帧，共6幅图像；对6幅图像先进行宽度方向裁剪，再进行缩放，将图像分辨率调整为224×224；
调整后的第0帧做为基准图，其余为变化图；每幅变化图和基准图组成一个图像对，一共形成5个图像对，分5次输入深度学习模型中，依次获得(Δx1，Δy1，γ1)、(Δx2，Δy2，γ2)、(Δx3，Δy3，γ3)、(Δx4，Δy4，γ4)、(Δx5，Δy5，γ5)等5组参数。
进一步的，为了获得更高的计算效率，下一次计算周期中，可以取上述第10帧做为基准图，此时仅需增加第60帧图像(帧序号以上述第0帧为参考，下同)，就能够获取5个图像对，即(第10帧，第20帧)、(第10帧，第30帧)、(第10帧，第40帧)、(第10帧，第50帧)、(第10帧，第60帧)，从而获得此周期中的计算结果。
步骤3：根据摄像机的焦距值、探测器像元尺寸和步骤2中定义的帧间隔以及获得的上下、左右像素偏移量，计算得到初始上下、左右漂移修正值，根据步骤2中定义的帧间隔以及获得的旋转角度值，计算得到初始旋偏漂移修正值。
在步骤3中，设摄像机焦距f＝50mm，探测器像元尺寸a＝2.8×10-3mm初始漂移修正值为(Gx0、Gy0、Gz0)，图像的帧间隔tgap＝1/3s，则有：
Figure BDA0002985996290000071
Figure BDA0002985996290000072
Figure BDA0002985996290000073
其中pi为权重项，此处均取值为1。
步骤4：根据摄像机传感器坐标和陀螺仪安装基座坐标的转换关系，把步骤3获得的初始上下、左右漂移修正值和初始旋偏漂移修正值换算到陀螺仪各个轴分量上。
在步骤4中，如附图4所示，摄像机坐标系为O(Xcam,Ycam,Zcam),陀螺仪安装的坐标系为O(Xgyro,Ygyro,Zgyro)，设陀螺仪安装坐标系可以通过对摄像机坐标系以一定方式旋转实现，该实现过程为：摄像机坐标系以单位向量v为轴，以右手法则旋转θ角；以四元数表示即为：
Figure BDA0002985996290000074
因此可得陀螺仪各个轴分量上的漂移值(Gx1、Gy1、Gz1)为：
Figure BDA0002985996290000075
显然，当摄像机坐标与陀螺仪安装坐标重合时，有q＝(1,0,0,0),此时：
Figure BDA0002985996290000076
步骤5：对不同时刻输出的各个轴分量上的陀螺仪漂移修正值进行数值滤波，得到最终的各个轴分量上的陀螺仪漂移修正值。
在步骤5中，以步骤2中的视频帧获取为例，陀螺仪漂移修正值的计算间隔为tgap＝1/3s，因此每隔1/3秒，陀螺仪漂移修正值就被刷新一次，形成一个漂移修正值序列，记为：
(Gxti，Gyti，Gzti)其中i＝0，1，2，3,…
应用过程中，可以将(Gxti，Gyti，Gzti)直接做为输出，进行漂移修正；
进一步地，为了提高算法的鲁棒性，可以对该序列进行数值滤波后再输出，例如Kalman滤波算法、使用加权平均算法等；
以加权平均算法为例，对3次计算值进行加权平均，以t2时刻的最终输出为：
Figure BDA0002985996290000081
此处t0、t1、t2时刻的权重值分别为0.1、0.2、0.7。
陀螺仪漂移修正值包括初始上下、左右漂移修正值和初始旋偏漂移修正值。
本发明基于深度学习使该方法对场景依赖小，具有适应性广、实时性高，可实现自动化高效率操作等特点，解决了传统方法中离线标定不准确和在线修正实现繁琐且空间局限性大等问题。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于深度学习的稳定云台陀螺仪漂移实时修正方法，其特征在于，包括如下步骤：
步骤1：使用监督学习方法，对深度学习模型进行训练；
步骤2：获取安装在稳定云台上的摄像机所产生的视频帧，视频帧为等间隔的m个视频帧，计算得到上下、左右像素偏移量和旋转角度值；
步骤3：根据摄像机的焦距值、探测器像元尺寸和步骤2中定义的帧间隔以及获得的上下、左右像素偏移量，计算得到初始上下、左右漂移修正值，根据步骤2中定义的帧间隔以及获得的旋转角度值，计算得到初始旋偏漂移修正值；
步骤4：根据摄像机传感器坐标和陀螺仪安装基座坐标的转换关系，把步骤3获得的初始上下、左右漂移修正值和初始旋偏漂移修正值换算到陀螺仪各个轴分量上；
步骤5：对不同时刻输出的各个轴分量上的陀螺仪漂移修正值进行数值滤波，得到最终的各个轴分量上的陀螺仪漂移修正值。
2.根据权利要求1所述的稳定云台陀螺仪漂移实时修正方法，其特征在于，在所述步骤1中，采用基准图和变化图，输入到卷积神经网络中，输出上下、左右像素偏移量和旋转角度值，并与真值标签进行运算得到模型损失函数，通过反向传播的方式对模型参数进行训练。
3.根据权利要求2所述的稳定云台陀螺仪漂移实时修正方法，其特征在于，在所述步骤1中，深度学习模型的主干网络采用残差网络Resnet50网络结构，输出标签为一个3×1的向量(Δx，Δy，γ)，分别表示左右像素偏移、上下像素偏移和绕中心旋转的角度；损失函数Loss选择带L1正则项的平滑损失函数：
Loss＝Lu+Lw
其中：
Figure FDA0002985996280000011
Figure FDA0002985996280000012
N、kx、ky、kθ均为常数，此处取N＝5，kx、ky、kθ均取值为1；Δx、Δy、γ为卷积神经网络输出的标签，ΔxGt、ΔyGt、γGt分别为左右像素偏移、上下像素偏移和绕中心旋转的角度的真实值；w为网络模型中的参数，α为模型中的超参数，是模型训练的参数之一；
深度学习模型的训练为一个离线操作过程，且仅需操作一次；训练结束后，深度学习模型即可用于图像实时像素偏移和旋转角度的估计。
4.根据权利要求1所述的稳定云台陀螺仪漂移实时修正方法，其特征在于，在所述步骤2中，视频帧的首帧分别与后续的m-1帧进行计算，上述m-1对视频帧，通过步骤1所述的深度学习模型得到m-1个结果，经过数值计算后得到上下、左右像素偏移量和旋转角度值。
5.根据权利要求1所述的稳定云台陀螺仪漂移实时修正方法，其特征在于，在所述步骤2中，在稳定云台无平移或摄像机视轴处于水平位置时，获取摄像机产生的视频帧。
6.根据权利要求4所述的稳定云台陀螺仪漂移实时修正方法，其特征在于，在所述步骤2中，获取视频帧做为基准帧，记为第0帧，随后间隔n-1帧，获取第n帧图像，一共获取m个帧图像；取n＝10，m＝6，获取了第0帧、第10帧、第20帧、第30帧、第40帧和第50帧，共6幅图像，对6幅图像先进行宽度方向裁剪，再进行缩放，将图像分辨率调整为224×224；调整后的第0帧做为基准图，其余为变化图；每幅变化图和基准图组成一个图像对，一共形成5个图像对，分5次输入深度学习模型中，依次获得(Δx1，Δy1，γ1)、(Δx2，Δy2，γ2)、(Δx3，Δy3，γ3)、(Δx4，Δy4，γ4)、(Δx5，Δy5，γ5)5组参数；下一次计算周期中，取上述第10帧做为基准图，此时增加第60帧图像获取5个图像对，从而获得此周期中的计算结果。
7.根据权利要求1所述的稳定云台陀螺仪漂移实时修正方法，其特征在于，在所述步骤3中，初始漂移修正值为(Gx0、Gy0、Gz0)，则有：
Figure FDA0002985996280000021
Figure FDA0002985996280000022
Figure FDA0002985996280000023
其中pi为权重项，a为摄像机的探测器像元尺寸，Δxi、Δyi、γi(i＝1,2,3,4,5)为深度学习模型的计算结果，f为摄像机焦距，tgap为图像的帧间隔。
8.根据权利要求1所述的稳定云台陀螺仪漂移实时修正方法，其特征在于，在所述步骤4中，摄像机坐标系为O(Xcam,Ycam,Zcam),陀螺仪安装的坐标系为O(Xgyro,Ygyro,Zgyro)，设陀螺仪安装坐标系通过对摄像机坐标系以一定方式旋转实现，该实现过程为：摄像机坐标系以单位向量v为轴，以右手法则旋转θ角；以四元数表示即为：
Figure FDA0002985996280000031
因此可得陀螺仪各个轴分量上的漂移值(Gx1、Gy1、Gz1)为：
Figure FDA0002985996280000032
当摄像机坐标与陀螺仪安装坐标重合时，有q＝(1,0,0,0),此时：
Figure FDA0002985996280000033
9.根据权利要求1所述的稳定云台陀螺仪漂移实时修正方法，其特征在于，在所述步骤5中，各个轴分量上的陀螺仪漂移修正值按照计算间隔刷新一次，形成一个漂移修正值序列，记为：
(Gxti，Gyti，Gzti)其中i＝0，1，2，3,…
应用过程中，将(Gxti，Gyti，Gzti)进行数值滤波后再输出，进行漂移修正。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1－9中任一项所述的稳定云台陀螺仪漂移实时修正方法的步骤。
CN202110300412.7A 2021-03-22 2021-03-22 一种基于深度学习的稳定云台陀螺仪漂移实时修正方法 Active CN113091740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110300412.7A CN113091740B (zh) 2021-03-22 2021-03-22 一种基于深度学习的稳定云台陀螺仪漂移实时修正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110300412.7A CN113091740B (zh) 2021-03-22 2021-03-22 一种基于深度学习的稳定云台陀螺仪漂移实时修正方法

Publications (2)

Publication Number Publication Date
CN113091740A true CN113091740A (zh) 2021-07-09
CN113091740B CN113091740B (zh) 2023-05-16

Family

ID=76668718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110300412.7A Active CN113091740B (zh) 2021-03-22 2021-03-22 一种基于深度学习的稳定云台陀螺仪漂移实时修正方法

Country Status (1)

Country Link
CN (1) CN113091740B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024085904A1 (en) * 2022-10-20 2024-04-25 Google Llc Systems and methods for estimating a bias of an inertial measurement unit

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1318872A (en) * 1969-03-26 1973-05-31 Sperry Rand Ltd Stabilized platform
RU2270419C1 (ru) * 2004-07-30 2006-02-20 Виктор Андреевич Иващенко Способ гирокомпасирования и способ компенсации дрейфа нулевого сигнала гидродинамического гирокомпаса
FR3006437A1 (fr) * 2013-06-03 2014-12-05 Sagem Defense Securite Procede de calibration autonome d'un equipement inertiel utilise en mode statique
CN105486328A (zh) * 2015-12-14 2016-04-13 天津航天中为数据系统科技有限公司 一种抑制陀螺仪漂移的方法及装置
CN106643802A (zh) * 2016-12-28 2017-05-10 北京奇艺世纪科技有限公司 一种陀螺仪漂移校正方法及装置
CN107330149A (zh) * 2017-05-27 2017-11-07 哈尔滨工业大学 基于arma和bpnn组合模型的mimu陀螺随机漂移预测方法
CN108827310A (zh) * 2018-07-12 2018-11-16 哈尔滨工程大学 一种船用星敏感器辅助陀螺仪在线标定方法
CN110986928A (zh) * 2019-10-29 2020-04-10 成都纵横自动化技术股份有限公司 光电吊舱三轴陀螺仪漂移实时修正方法
EP3708953A1 (en) * 2019-03-15 2020-09-16 Dune S.r.l. Inertial positioning and tracking method and system with innovative functionality for magnetometer auto-calibration and for angular drift compensation/correction
CN111896029A (zh) * 2020-07-29 2020-11-06 西安石油大学 一种基于组合算法的mems陀螺随机误差补偿方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1318872A (en) * 1969-03-26 1973-05-31 Sperry Rand Ltd Stabilized platform
RU2270419C1 (ru) * 2004-07-30 2006-02-20 Виктор Андреевич Иващенко Способ гирокомпасирования и способ компенсации дрейфа нулевого сигнала гидродинамического гирокомпаса
FR3006437A1 (fr) * 2013-06-03 2014-12-05 Sagem Defense Securite Procede de calibration autonome d'un equipement inertiel utilise en mode statique
CN105486328A (zh) * 2015-12-14 2016-04-13 天津航天中为数据系统科技有限公司 一种抑制陀螺仪漂移的方法及装置
CN106643802A (zh) * 2016-12-28 2017-05-10 北京奇艺世纪科技有限公司 一种陀螺仪漂移校正方法及装置
CN107330149A (zh) * 2017-05-27 2017-11-07 哈尔滨工业大学 基于arma和bpnn组合模型的mimu陀螺随机漂移预测方法
CN108827310A (zh) * 2018-07-12 2018-11-16 哈尔滨工程大学 一种船用星敏感器辅助陀螺仪在线标定方法
EP3708953A1 (en) * 2019-03-15 2020-09-16 Dune S.r.l. Inertial positioning and tracking method and system with innovative functionality for magnetometer auto-calibration and for angular drift compensation/correction
CN110986928A (zh) * 2019-10-29 2020-04-10 成都纵横自动化技术股份有限公司 光电吊舱三轴陀螺仪漂移实时修正方法
CN111896029A (zh) * 2020-07-29 2020-11-06 西安石油大学 一种基于组合算法的mems陀螺随机误差补偿方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陈益;薄煜明;邹卫军;: "视轴稳定系统的非接触式陀螺修正技术" *
高同跃;丁卫;高新闻;饶进军;龚振邦;罗均;: "面向机载惯性稳定云台的微姿态参考系统的研究" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024085904A1 (en) * 2022-10-20 2024-04-25 Google Llc Systems and methods for estimating a bias of an inertial measurement unit

Also Published As

Publication number Publication date
CN113091740B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
JP7260269B2 (ja) 航空非破壊検査用の測位システム
CN110009681B (zh) 一种基于imu辅助的单目视觉里程计位姿处理方法
CN109887057B (zh) 生成高精度地图的方法和装置
CN108489395B (zh) 视觉测量系统结构参数标定和仿射坐标系构建方法与系统
CN108592950B (zh) 一种单目相机和惯性测量单元相对安装角标定方法
EP3196594B1 (en) Surveying system
US7071970B2 (en) Video augmented orientation sensor
CN112184824B (zh) 一种相机外参标定方法、装置
CN110319772B (zh) 基于无人机的视觉大跨度测距方法
US20160292882A1 (en) Method for estimating the speed of movement of a camera
JPH11252440A (ja) 画像を整列させて目標点にカメラを固定する方法及び装置
CN109269525B (zh) 一种空间探测器起飞或着陆过程光学测量系统及方法
JP6877293B2 (ja) 位置情報記録方法および装置
CN112050806B (zh) 一种移动车辆的定位方法及装置
CN108932732B (zh) 一种获取监测对象数据信息的方法及装置
CN110337668B (zh) 图像增稳方法和装置
WO2020172800A1 (zh) 可移动平台的巡检控制方法和可移动平台
US20160292883A1 (en) Method of estimating the speed of displacement of a camera
CN111914049A (zh) 经纬度坐标与图像坐标映射方法
CN107093187B (zh) 一种无人机飞行速度的测量方法及装置
CN113091740B (zh) 一种基于深度学习的稳定云台陀螺仪漂移实时修正方法
CN114820725A (zh) 目标显示方法、装置、电子设备及存储介质
CN114419109A (zh) 一种基于视觉和气压信息融合的飞行器定位方法
CN112985359B (zh) 影像获取方法及影像获取设备
CN110989691B (zh) 一种云台控制方法、装置、存储介质、电子设备及无人机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant