CN113432595A - 设备状态获取方法、装置、计算机设备及存储介质 - Google Patents
设备状态获取方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113432595A CN113432595A CN202110767626.5A CN202110767626A CN113432595A CN 113432595 A CN113432595 A CN 113432595A CN 202110767626 A CN202110767626 A CN 202110767626A CN 113432595 A CN113432595 A CN 113432595A
- Authority
- CN
- China
- Prior art keywords
- information
- key frame
- acquiring
- images
- inertial navigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请是关于一种设备状态获取方法、装置、计算机设备及存储介质，涉及导航技术领域。该方法包括：根据图像采集组件以及单点测距传感器，获取至少两个关键帧图像；根据至少两个关键帧图像各自对应的特征点云，获取至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值；根据至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值，以及通过惯性传感器获取的第一惯导数据，获取第一设备对应的目标设备状态。通过上述方法，能基于惯导数据、位姿信息、位置信息以及速度值进行匹配优化，得到第一设备对应的目标状态信息，减小了动态初始化优化算法的收敛时间，提高了第一设备的初始状态的获取效率。
Description
技术领域
本申请实施例涉及导航技术领域，特别涉及一种设备状态获取方法、装置、计算机设备及存储介质。
背景技术
目前，在无人机自主导航时，无人机需要明确自身所处的位置与状态，以便实现对无人机的路径规划和控制。
为实现上述需求，在相关技术中，通常采用视觉惯性导航的方式实现无人机的自主导航。而视觉惯性导航在飞行过程中不可避免的会遇到在飞行过程中进入VIO(视觉惯性里程计)的情况，此时需要进行无人机的动态初始化，以获得一个状态初值，包括初始速度、重力方向、IMU偏置等等，以保证VIO系统能进行准确的状态估计。
然而，在上述相关技术中，无人机需要较长的数据准备时间才能保证较好的初始化效果，初始化时间较长。
发明内容
本申请实施例提供了一种设备状态获取方法、装置、计算机设备及存储介质，可以减小无人机初始化的初始化时间，该技术方案如下：
一方面，提供了一种设备状态获取方法，所述方法由第一设备执行，所述第一设备包括视觉传感器以及惯性传感器；所述视觉传感器包括图像采集组件以及单点测距传感器，所述方法包括：
根据所述图像采集组件以及所述单点测距传感器，获取至少两个关键帧图像；所述关键帧图像包含具有尺度信息的特征点云；所述尺度信息用于指示所述特征点云中的各个特征点之间的位置关系；
根据所述至少两个关键帧图像各自对应的特征点云，获取所述至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值；
根据所述至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值，以及通过所述惯性传感器获取的第一惯导数据，获取所述第一设备对应的目标设备状态，所述第一设备的目标设备状态包括所述第一设备对应的初始速度、重力方向以及惯性传感器偏置；
其中，所述目标设备状态用于指示所述第一设备进入视觉惯导里程计的初值。
另一方面，提供了一种设备状态获取装置，所述装置包括：
关键帧图像获取模块，用于根据所述图像采集组件以及所述单点测距传感器，获取至少两个关键帧图像；所述关键帧图像包含具有尺度信息的特征点云；所述尺度信息用于指示所述特征点云中的各个特征点之间的位置关系；
关键帧信息获取模块，用于根据所述至少两个关键帧图像各自对应的特征点云，获取所述至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值；
设备状态获取模块，用于根据所述至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值，以及通过所述惯性传感器获取的第一惯导数据，获取所述第一设备对应的目标设备状态，所述第一设备的目标设备状态包括所述第一设备对应的初始速度、重力方向以及惯性传感器偏置；
其中，所述目标设备状态用于指示所述第一设备进入视觉惯导里程计的初值。
在一种可能的实现方式中，所述关键帧图像获取模块，包括：
目标图像集获取单元，用于根据所述图像采集组件以及所述单点测距传感器，获取目标图像集；所述目标图像集中包含至少两个目标图像；所述目标图像中包含具有尺度信息的特征点云；
关键帧图像获取单元，用于根据所述目标图像集中的至少两个所述目标图像各自对应的特征点云，在至少两个所述目标图像中获取至少两个所述关键帧图像。
在一种可能的实现方式中，所述关键帧信息获取模块，包括：
第一关键帧信息获取单元，用于根据至少两个所述关键帧图像各自对应的特征点云，获取至少两个所述关键帧图像各自对应的第一位姿信息，以及至少两个所述关键帧图像各自对应的优化特征点深度；
第二关键帧信息获取单元，用于根据至少两个所述关键帧图像各自对应的优化特征点深度，获取至少两个所述关键帧图像各自对应的第一速度值。
在一种可能的实现方式中，所述第一关键帧信息获取单元，包括：
第二位姿信息获取子单元，用于根据所述目标图像集中的至少两个所述目标图像对应的特征点云，获取至少两个所述关键帧图像各自对应的第二位姿信息；
第一位姿信息获取子单元，用于根据至少两个所述关键帧图像各自对应的第二位姿信息，以及至少两个关键帧图像各自对应的特征点云，进行优化处理，获得所述至少两个关键帧图像各自对应的第一位姿信息，以及所述至少两个关键帧图像各自对应的优化特征点深度。
在一种可能的实现方式中，所述第一惯导数据包括第一加速度集合以及第一角速度集合；所述第一加速度集合中包含具有时序信息的加速度值；所述第一角速度集合中包含具有时序信息的角速度值；
所述设备状态获取模块，包括：
姿态数据获取单元，用于根据所述第一加速度集合以及所述第一角速度集合，获取惯导姿态数据；所述惯导姿态数据用于指示所述惯性传感器的姿态测量残差；
匹配数据获取单元，用于根据所述至少两个关键帧图像各自对应的所述第一位姿信息、所述第一位置信息以及所述第一速度值，获取惯导视觉匹配数据；所述惯导视觉匹配数据用于指示所述惯性传感器与所述视觉传感器的误差信息；
设备状态获取单元，用于根据所述惯导姿态数据以及所述惯导视觉匹配数据，获取所述第一设备对应的目标设备状态。
在一种可能的实现方式中，所述匹配数据获取单元，还包括：
预积分信息获取子单元，用于根据所述第一加速度集合以及所述第一角速度集合，通过预积分进行处理，获得至少两个所述关键帧图像各自对应的预积分信息；所述预积分信息包括预积分位姿信息、预积分位置信息以及预积分速度信息；
匹配信息获取子单元，用于基于至少两个所述关键帧图像各自对应的所述第一位姿信息、所述第一位置信息以及所述第一速度值，以及至少两个所述关键帧图像各自对应的预积分信息，获取惯导视觉匹配数据。
在一种可能的实现方式中，所述设备状态获取模块，还包括：
偏置获取单元，用于获取测量偏置集合；所述测量偏置集合包括至少两个所述关键帧图像分别对应的测量偏置信息；所述测量偏置信息包括初始加速度偏置以及初始角速度偏置；
惯导偏置获取单元，用于基于至少两个所述关键帧图像分别对应的测量偏置信息，获取惯导偏置数据；所述惯导偏置数据用于指示所述惯性传感器的偏置测量残差；
所述设备状态获取单元，还用于，
根据所述惯导姿态数据、所述惯导偏置数据以及所述惯导视觉匹配数据，获取所述第一设备对应的目标设备状态。
另一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述各种可选实现方式中提供的设备状态获取方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述各种可选实现方式中提供的设备状态获取方法。
另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的设备状态获取方法。
本申请提供的技术方案可以包括以下有益效果：
通过图像采集组件以及单点测距传感器获取到具有特征点云的至少两个关键帧图像，此时通过至少两个关键帧图像以及各自对应的特征点云，可以获取该至少两个关键帧图像的位姿信息、位置信息以及速度值；再通过惯性传感器采集到的惯导数据，与基于视觉传感器获取的位姿信息、位置信息以及速度值进行匹配优化，得到第一设备对应的目标状态信息，减小了动态初始化优化算法的收敛时间，提高了第一设备的初始状态的获取效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一示例性实施例示出的设备状态获取系统构成图；
图2示出了本申请一个示例性实施例提供的一种设备状态获取方法的流程图；
图3示出了本申请一个示例性实施例提供的一种设备状态获取方法的流程图；
图4示出了本申请实施例涉及的一种目标图像获取示意图；
图5示出了本申请实施例涉及的一种关键帧图像获取示意图；
图6示出了本申请实施例涉及的一种设备状态获取方法的方法流程图；
图7示出了本申请一个示例性实施例提供的一种设备状态获取装置的方框图；
图8是根据一示例性实施例示出的计算机设备的结构框图；
图9是根据一示例性实施例示出的计算机设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
应当理解的是，在本文中提及的“若干个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先，对本申请实施例中涉及的名词进行简单的介绍：
1)VIO(Visual Inertial Odometry，视觉惯性里程计)算法
VIO是指融合相机(Camera)和IMU(Inertial Measurement Unit，惯性测量单元)数据实现SLAM(Simultaneous Localization and Mapping，即时定位与地图构建)的算法。目前主要应用手机AR(Augmented Reality，增强现实)，无人车高精地图，无人机等领域。
2)PnP(Pespective-n-Point，n点透视)算法
PnP算法是求解3D到2D点对的方法。该算法描述了当知道n个3D空间点以及它们的投影位置时，如何估计相机所在的位姿。通俗地说，PnP问题就是在已知世界坐标系下N个空间点的真实坐标以及这些空间点在图像上的投影，如何计算相机所在的位姿。其中，PnP算法的已知量是空间的真实坐标和图像坐标，未知量是相机的位姿。
3)BA(Bundle Adjustment，光束平差法)算法
摄像机在静态环境中移动，得到不同时刻拍摄的多幅图像。假设这些图像是同一刚性物体的投影，则可由图像特征对应关系估计出摄像机的运动参数。在计算机视觉中，这一过程称为运动分析或由运动重建物体结构。Bundle Adjustment即光束平差法，作为SFM这种多视重建视觉算法的最后一步，它利用LM(Levenberg-Marquardt，列文伯格-马夸尔特)算法使得观测的图像点坐标与预测的图像点坐标之间的误差最小。若给定图像特征点的对应关系及初始三维点，BA可以同时精化这些特征点对应的3D坐标及相应的相机参数。
请参考图1，其示出了本申请一示例性实施例示出的设备状态获取系统构成图，如图1所示，该系统包括控制设备10与无人机20。
其中，控制设备10可以是基站，该基站与无人机20可以通过蜂窝网络进行连接，该基站可以是无人机20所处的小区对应的基站。该基站可以通过蜂窝网络与无人机20进行通信连接，以实现获取无人机20的飞行信息、指示无人机20的飞行路径、控制无人机20的飞行状态等操作中的至少一者。
上述蜂窝网络可以为5G(5th generation mobile networks，第五代移动通信技术)网络，也可以为LTE(Long Term Evolution，长期演进)网络，或者，其他的与LTE网络或5G网络类似的蜂窝网络。
其中，该控制设备10还可以是具有无线通信功能的终端设备。该终端设备还可以是手机、平板电脑智、能眼镜、智能手表，以及具有无线通信功能的其他终端设备。当该控制设备是该具有无线通信功能的终端设备时，该控制设备10可以通过无线通信技术与无人机20实现通信，比如，控制设备10与无人机20可以通过Wi-Fi技术或蓝牙技术中的至少一种无线通信技术进行通信。
可选的，控制设备10中还可以安装有支持路径规划的应用程序，以便用户根据该控制设备10实现对无人机的路径规划。
可选的，控制设备10中还可以包含有数据存储组件，该数据存储组件用于存储无人机通过无线通信技术向控制设备10发送的无人机的设备状态数据。
可选的，该无人机20可以是固定翼无人机、旋翼无人机、无人飞艇、伞翼无人机、扑翼无人机，以及其他类型的无人机，本申请对无人机的类型不作限定。
可选的，该无人机20中包含有图像采集组件(例如图像采集组件)，该无人机20可以通过该图像采集组件获取该无人机周围的场景的图像信息。
可选的，该无人机20中还包括有惯性传感器，该惯性传感器可以包括加速度计与陀螺仪，该无人机20可以通过该惯性传感器获取该无人机20在运动过程中的加速度数据以及角速度数据。
可选的，该无人机20中还包括有数据处理设备，以便对该无人机采集到的图像数据或加速度数据，实现对该无人机20的控制。
可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible MarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet ProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
请参考图2，其示出了本申请一个示例性实施例提供的一种设备状态获取方法的流程图。该设备状态获取方法可以由计算机设备执行，该计算机设备可以是无人机上的数据处理设备，其中，上述无人机可以是图1中所示的无人机20。
如图2所示，该设备状态获取方法包括以下步骤：
步骤210，根据该图像采集组件以及该单点测距传感器，获取至少两个关键帧图像。
其中，该关键帧图像包含具有尺度信息的特征点云；该尺度信息用于指示该特征点云中的各个特征点之间的位置关系。
可选的，该图像采集组件用于采集该第一设备(以无人机设备为例)所在的场景对应的图像信息。
可选的，该单点测距传感器用于采集该第一设备所在的场景对应的深度信息。
可选的，该单点测距传感器的采集方向与该图像采集组件的采集方向一致，即该单点测距传感器采集的深度信息是与该图像采集组件采集到的关键帧图像对应的深度信息。
在一种可能的实现方式中，获取该图像采集组件，在第一指定时间点采集到的第一图像信息；获取单点测距传感器在第一指定时间点采集到的第一深度信息；基于该第一指定时间点对应的第一图像信息，以及该第一指定时间点对应的第一深度信息，获取该第一指定时间点对应的第一关键帧图像；其中该第一深度信息用于指示该第一关键帧图像中的特征点云的深度信息。
即当视觉传感器中除了图像采集组件外还包括单点测距传感器时，可以根据图像采集组件以及单点测距传感器在同一时刻内采集到的数据，获取包含特征点的尺度信息的关键帧图像。该特征点的尺度信息用于指示该特征点之间的位置关系，以及该特征点的深度信息。
步骤220，根据该至少两个关键帧图像各自对应的特征点云，获取该至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值。
其中，该关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值，用于指示该第一设备根据该关键帧图像确定的，获取该关键帧图像的时间点时，该第一设备对应的位姿信息、该第一设备对应的位置信息以及该第一设备对应的速度值。
步骤230，根据该至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值，以及通过该惯性传感器获取的第一惯导数据，获取该第一设备对应的目标设备状态。
其中，该第一设备的目标设备状态包括该第一设备对应的初始速度、重力方向以及惯性传感器偏置。
其中，该目标设备状态用于指示该第一设备进入视觉惯导里程计的初值。
该至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值，分别用于指示该至少两个关键帧图像各自对应的时间点时，第一设备对应的设备状态，此时通过该至少两个关键帧图像对应的设备状态(即历史设备信息)，可以确定该第一设备此时所处的设备状态，并将该第一设备此时所处的设备状态作为视觉惯导里程计的初值，指示该第一设备进入视觉惯导里程计。
综上所述，本申请实施例提供的方法，通过图像采集组件以及单点测距传感器获取到具有特征点云的至少两个关键帧图像，此时通过至少两个关键帧图像以及各自对应的特征点云，可以获取该至少两个关键帧图像的位姿信息、位置信息以及速度值；再通过惯性传感器采集到的惯导数据，与基于视觉传感器获取的位姿信息、位置信息以及速度值进行匹配优化，得到第一设备对应的目标状态信息，减小了动态初始化优化算法的收敛时间，提高了第一设备的初始状态的获取效率。
请参考图3，其示出了本申请一个示例性实施例提供的一种设备状态获取方法的流程图。该设备状态获取方法可以由计算机设备执行，该计算机设备可以是无人机上的数据处理设备，其中，上述无人机可以是图1中所示的无人机20。
如图3所示，该设备状态获取方法包括以下步骤：
步骤310，根据该图像采集组件以及该单点测距传感器，获取目标图像集。
其中，该目标图像集中包含至少两个目标图像；该目标图像中包含具有尺度信息的特征点云。
在一种可能的实现方式中，该图像采集组件，根据第一指定频率，采集该无人机的指定方向的图像信息，获取包含时序信息的各个图像。该单点测距传感器，根据第二指定频率，采集该无人机的指定方向上的深度信息，获取包含时序信息的各个深度数据值；根据包含时序信息的各个图像，以及包含时序信息的各个深度数据值，获得至少两个目标图像，且该目标图像中包含具有尺度信息的特征点云。
即当无人机处于飞行状态时，该图像采集组件，可以随着无人机的飞行，按时间顺序采集该无人机飞行过程中该图像采集组件对应的方向的图像信息；且该单点测距传感器也可以随着无人机的飞行，按时间顺序采集该无人机飞行过程中该单点测距传感器对应的方向的图像信息。
在一种可能的实现方式中，该图像采集组件的图像采集方向与该单点测距传感器的深度信息采集方向相对应。
在一种可能的实现方式中，该图像采集组件的图像采集方向与该单点测距传感器的深度信息采集方向的夹角小于夹角阈值。
当图像采集组件与该单点测距传感器的深度信息采集方向的夹角小于夹角阈值时，可以认为该图像采集组件与该单点测距传感器所对应的采集方向相同，此时对于在同一时刻，图像采集组件采集到的图像，以及该单点测距传感器采集到的深度信息而言，可以认为该单点测距传感器采集到的深度信息即为该图像采集组件采集到的图像对应的深度信息，并根据该图像对应的深度信息构建该图像对应的特征点云。
在一种可能的实现方式中，获取该图像采集组件采集到的第一图像；基于该第一图像，获取该第一图像对应的各个特征点；基于该单点测距传感器采集到的第一深度信息，确定所述第一图像对应的各个特征点的尺度信息；该第一深度信息的时序信息与该第一图像对应。
其中，该时序信息用于指示信息采集发生的时刻，当该第一深度信息的时序信息与该第一图像对应时，可以认为该第一深度信息与该第一图像是该第一设备同时采集的。
在一种可能的实现方式中，该图像采集组件与该单点测距传感器位于该第一设备的下方。
当图像采集组件与该单点测距传感器位于该第一设备的下方时，可以认为该图像采集组件，用于对地面场景进行图像采集并获取该地面场景对应的图像信息；该单点测距传感器可以认为用于测量地面与该第一设备的距离信息，即该地面场景的图像对应的深度信息。
在一种可能的实现方式中，该目标图像对应的特征点云的各个特征点共面。当该图像采集组件与该单点测距传感器位于该第一设备的下方，可以认为该图像采集组件采集到的是地面信息的图像(即一个平面的图像)，因此可以认为该图像上的各个特征点的深度是相同的。
请参考图4，其示出了本申请实施例涉及的一种目标图像获取示意图。如图4中410部分所示，无人机411分别通过无人机411上的单点测距传感器以及图像采集组件，对地面进行数据采集，其中单点测距传感器用于采集目标方向的地面的距离信息，图像采集组件用于采集目标方向的地面的图像信息，且该图像采集组件与该单点测距传感器的采集方向一致，因此可以认为，该单点测距传感器采集到的距离信息即为该图像采集组件采集到的图像的中心区域的深度信息。如图4中420部分所示，以该无人机411在某一帧采集到的数据为例，目标图像421是该无人机411在某一帧采集到的图像数据，该深度信息422即为该无人机411上的单点测距传感器采集到的深度信息(50m)，此时该无人机411通过图像采集组件采集到的图像的中心区域的深度为50m。
步骤320，根据该目标图像集中的至少两个该目标图像各自对应的特征点云，在至少两个该目标图像中获取至少两个该关键帧图像。
该关键帧图像包含具有尺度信息的特征点云；该尺度信息用于指示该特征点云中的各个特征点之间的位置关系。
在一种可能的实现方式中，该关键帧图像中包含的具有尺度信息的特征点云，指示了该各个特征点在图像中的位置关系，以及该各个特征点的深度信息，因此该关键帧图像中的特征点云，可以用于指示该关键帧图像中的各个特征点在实际场景中对应的位置以及深度，从而反映了该各个特征点云对应的尺度特征。
在一种可能的实现方式中，该至少两个关键帧图像对应的采集时间间隔大于采集时间阈值。
当在该目标图像集中的至少两个该目标图像中选择至少两个关键帧图像时，可以根据各个目标图像对应的采集时间确定，当该至少两个关键帧图像对应的采集时间大于采集时间间隔时，此时无人机运动经过了一定的时间，即无人机上的视觉传感器在大于采集时间间隔的时间内，采集图像对应的场景发生了一定的变化，此时可以保证该至少两个关键帧图像中的特征具有一定的差异性，保证了各个关键帧图像中特征的多样性，提高了图像特征的获取效率。
在一种可能的实现方式中，根据至少一对相邻的目标图像各自对应的特征点云，获取该至少一对目标图像对应的视差信息；根据该至少一对相邻的目标图像对应的视差信息，确定至少一个关键帧图像。
当获取目标图像集中的至少两个目标图像后，可以在至少两个目标图像中，选取两个相邻的目标图像作为一对相邻的目标图像，并根据该一对相邻的目标图像各自对应的特征点云，获取该至少一对目标图像之间的视差信息，该一对目标图像对应的视差信息用于指示该至少一对目标图像之间的差异度，并根据至少一对相邻的目标图像对应的视差信息，在所述各个目标图像中确定至少一个关键帧图像。
在一种可能的实现方式中，当一对相邻的目标图像对应的视差信息小于视差阈值时，将该相邻目标图像中的一个目标图像确定为关键帧图像。
在一种可能的实现方式中，当连续两对相邻的目标图像对应的视差信息均小于视差阈值时，将该连续两对目标图像中共有的目标图像确定为关键帧图像。
该目标图像集中存在按时间顺序采集的目标图像，可以将该目标图像集中的各个目标图像，按照时序信息划分为多对相邻的目标图像，当该相邻的目标图像之间的视差信息较小时，说明该目标图像的采集过程较稳定，该目标图像的可信度较高，因此可以将该目标图像确定为关键帧图像。
在一种可能的实现方式中，当该目标图像的特征点云中的特征点数目大于特征点阈值时，将该目标图像确定为关键帧图像。
当采集到目标图像集中的各个目标图像后，可以通过图像特征点匹配算法，获取各个目标图像中的各个特征点(例如斑点与角点)。当该目标图像的特征点云中的特征点数目大于特征点阈值时，说明该目标图像中存在的信息量较多，可以将该目标图像确定为关键帧图像。
请参考图5，其示出了本申请实施例涉及的一种关键帧图像获取示意图。如图5中510所示，通过无人机上的图像采集组件以及单点测距传感器，可以获得包含至少两个目标图像的目标图像集，如图5中520部分所示，在该目标图像集中，可以在至少两个目标图像中确定至少两个关键帧图像，以便根据该至少两个关键帧图像确定该无人机的状态信息。
步骤330，根据至少两个该关键帧图像各自对应的特征点云，获取至少两个该关键帧图像各自对应的第一位姿信息，以及至少两个该关键帧图像各自对应的优化特征点深度。
其中，该关键帧图像各自对应的第一位姿信息，用于指示根据该关键帧图像对应的时刻的无人机位姿信息；该关键帧图像各自对应的优化特征点深度，用于指示对关键帧图像对应的特征点云中的各个特征点进行优化后，得到的各个特征点深度。
由于该关键帧图像的特征点深度，是基于视觉传感器采集到的信息是对地面场景进行采集得到的信息的假设，将单点测距传感器采集到的距离信息，作为各个点的深度信息所获取的。但由于该视觉传感器采集到的场景，并不总是地面场景，可能存在地形的变动或建筑物的干扰，因此需要对该关键帧图像的特征点深度进行优化，获得至少两个关键帧图像各自对应的优化特征点深度。
在一种可能的实现方式中，根据该目标图像集中的至少两个该目标图像对应的特征点云，获取至少两个该目标图像各自对应的第二位姿信息；
根据至少两个该关键帧图像各自对应的第二位姿信息，以及至少两个关键帧图像各自对应的特征点云，进行优化处理，获得该至少两个关键帧图像各自对应的第一位姿信息，以及该至少两个关键帧图像各自对应的优化特征点深度。
当获取到目标图像集中的至少两个该目标图像对应的特征点云后，可以根据该至少两个目标图像对应的特征点云，通过PnP算法，获取该至少两个目标图像各自对应的位姿信息。
由于该目标图像对应的特征点云，是包含尺度信息的特征点云，即通过该特征点云可以获取该特征点云中的各个特征点的深度信息，以及该各个特征点之间的位置关系，根据该特征点云中的各个特征点的深度信息，该各个特征点之间的位置关系，以及该图像对应的地面场景的世界坐标系信息，可以通过PnP算法，获取该视觉传感器(即无人机)的坐标系以及世界坐标系之间的关系，即该无人机采集该目标图像时的位姿信息。
当获取到目标图像对应的第二位姿信息后，由于关键帧图像是根据该目标图像集中的目标图像选取出的，因此该目标图像集中的关键帧图像也存在各自对应的第二位姿信息，根据该至少两个关键帧图像各自对应的第二位姿信息，以及该至少两个关键帧图像各自对应的特征点云，通过BA算法进行优化处理，获得该至少两个关键帧图像各自对应的第一位姿信息，以及该至少两个关键帧图像各自对应的优化特征点深度。
步骤340，根据至少两个该关键帧图像各自对应的特征点云，获取至少两个该关键帧图像各自对应的第一速度值。
在一种可能的实现方式中，根据至少两个关键帧图像各自对应的特征点云，获取该至少两个关键帧图像各自对应的第一位置信息；基于该至少两个关键帧图像各自对应的第一位置信息、该至少两个关键帧图像各自对应的特征点云以及该至少两个关键帧图像对应的第一位姿信息，获取至少两个关键帧图像各自对应的第二位置信息；基于该至少两个关键帧图像各自对应的第二位置信息，获取该关键帧图像各自对应的第一速度值。
其中，该关键帧图像对应的第一位置信息用于指示BA优化前的至少两个关键帧图像对应的第一设备的位置信息，该第二位置信息用于指示BA优化后的至少两个关键帧图像对应的第一设备的位置信息。也就是说，当获取到该关键图像对应的特征点云后，可以根据该至少两个关键帧图像各自对应的特征点云，确定该至少两个关键帧图像各自对应的第一位置信息，并根据该至少两个关键帧图像各自对应的第一位置信息、该至少两个关键帧图像各自对应的特征点云以及该至少两个关键帧图像对应的第一位姿信息，获取至少两个关键帧图像各自对应的第二位置信息，通过BA优化，获取使重投影面积最小的至少两个关键帧图像各自对应的特征点深度、至少两个关键帧图像各自对应的关键帧位姿(即第二位姿信息)以及至少两个关键帧图像各自对应的帧间位置(即第二位置信息)。通过该至少两个关键帧图像各自对应的帧间位置，可以确定该至少两个关键帧图像各自对应的第一速度值。
步骤350，根据该至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值，以及通过该惯性传感器获取的第一惯导数据，获取该第一设备对应的目标设备状态。
其中，该第一设备的目标设备状态包括该第一设备对应的初始速度、重力方向以及惯性传感器偏置。
在一种可能的实现方式中，该第一惯导数据包括第一加速度集合以及第一角速度集合；该第一加速度集合中包含具有时序信息的加速度值；该第一角速度集合中包含具有时序信息的角速度值；根据该第一加速度集合以及该第一角速度集合，获取惯导姿态数据；该惯导姿态数据用于指示该惯性传感器的姿态测量残差；根据该至少两个关键帧图像各自对应的该第一位姿信息、该第一位置信息以及该第一速度值，获取惯导视觉匹配数据；该惯导视觉匹配数据用于指示该惯性传感器与该视觉传感器的误差信息；根据该惯导姿态数据以及该惯导视觉匹配数据，获取该第一设备对应的目标设备状态。
在一种可能的实现方式中，根据该第一加速度集合以及该第一角速度集合，通过预积分进行处理，获得至少两个该关键帧图像各自对应的预积分信息；该预积分信息包括预积分位姿信息、预积分位置信息以及预积分速度信息；基于至少两个该关键帧图像各自对应的该第一位姿信息、该第一位置信息以及该第一速度值，以及至少两个该关键帧图像各自对应的预积分信息，获取惯导视觉匹配数据。
当通过PnP算法以及BA优化，对视觉传感器采集到的数据进行处理后，可以获得该至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值。在该视觉传感器的采集过程中，惯性传感器采集到的第一惯导数据包括第一加速度集合以及第一角速度集合，该第一加速度集合中包含具有时序信息的加速度值，该第一角速度集合中包含具有时序信息的第一角速度值；此时根据该至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值、以及第一惯导数据中，与该至少两个关键帧图像对应的惯导数据的预积分数据，可以将视觉传感器与该惯导传感器之间采集到的数据进行配准，获得惯导视觉匹配数据，用于指示惯性传感器与视觉传感器采集到的第一设备的移动信息的差异。
在一种可能的实现方式中，获取测量偏置集合；该测量偏置集合包括至少两个该关键帧图像分别对应的测量偏置信息；该测量偏置信息包括初始加速度偏置以及初始角速度偏置；基于至少两个该关键帧图像分别对应的测量偏置信息，获取惯导偏置数据；该惯导偏置数据用于指示该惯性传感器的偏置测量残差；根据该惯导姿态数据、该惯导偏置数据以及该惯导视觉匹配数据，获取该第一设备对应的目标设备状态。
在一种可能的实现方式中，该测量偏置集合中的至少两个该关键帧图像分别对应的测量偏置信息是通过IMU标定工具测量获取的。
其中，可以通过IMU标定工具测量获得该测量偏置集合，该测量偏置集合中存在根据时序采集到的测量偏置信息，基于该至少两个关键帧图像对应的时间信息，确定该至少两个关键帧图像对应的测量偏置信息。
在一种可能的实现方式中，本申请实施例中的图像采集组件可以是单目图像采集组件以及双目图像采集组件中的至少一者。
当该图像采集组件是单目图像采集组件时，由于单目图像采集组件无法通过视差计算深度范围，通过本申请实施例所示方案可以在单目图像组件采集到的图像中引入深度信息，以便通过本申请实施例所示的方案实现获取无人机的初始化状态。
当该图像采集组件是双目图像采集组件时，本申请实施例所示的方案，同样可以根据双目图像采集组件计算出的深度信息以及单点测距传感器采集到的深度信息(例如通过加权求和的方式将双目图像采集组件通过视差法得到的深度信息与单点测距传感器采集到的深度信息进行融合)，在双目图像采集组件采集到的图像中引入各个图像对应的深度信息；而当该无人机的飞行高度较高，且超过双目图像采集组件的可计算深度范围后，此时双目图像采集组件无法计算出准确的深度信息，而通过本申请实施例所示的方案，通过单点测距传感器，仍然可以提供深度信息以便获取无人机的初始化状态。
综上所述，本申请实施例提供的方法，通过图像采集组件以及单点测距传感器获取到具有特征点云的至少两个关键帧图像，此时通过至少两个关键帧图像以及各自对应的特征点云，可以获取该至少两个关键帧图像的位姿信息、位置信息以及速度值；再通过惯性传感器采集到的惯导数据，与基于视觉传感器获取的位姿信息、位置信息以及速度值进行匹配优化，得到第一设备对应的目标状态信息，减小了动态初始化优化算法的收敛时间，提高了第一设备的初始状态的获取效率。
请参考图6，其示出了本申请实施例涉及的一种设备状态获取方法的方法流程图。该设备状态获取方法可以由计算机设备执行，该计算机设备可以是无人机上的数据处理设备，其中，上述无人机可以是图1中所示的无人机20如图6所示，该设备状态获取方法可以包括如下步骤：
步骤610，基于视觉和TOF(Time Of Flight，飞行时间)的最大后验估计。
首先，单点测距传感器价格低廉，且可以测量高达100m的深度信息，在低空无人机的避障等过程中扮演着重要角色，因此，在本申请实施例中，在通过图像采集组件获取无人机的图像信息时，可以将单点测距传感器测量作为特征初始深度估计，可以得到无人机采集到的各个图像(即目标图像)中的包含尺度信息的特征点云。然后可以根据该无人机采集到的各个图像各自对应的特征点云，通过PnP求解进行帧间位姿计算，获得各个目标图像各自对应的第一位姿信息。
但由于单点测距传感器估计的是图像中心区域的特征的平均深度，在使用该单点测距传感器采集到的深度数据的过程中引入了所有特征点共面的假设，即该目标图像中特征点云中的各个特征点共面，但该假设未必总是成立。因此，可以维护一个只包含关键帧的局部窗口，其中该局部窗口中的关键帧可以是根据各个目标图像的视差信息以及各个目标图像的特征点数目确定的，随后通过Bundle Adjustment优化对局部窗口内的特征点深度和关键帧位姿(即关键帧对应的第一姿态信息)进行优化，优化后的特征点深度不再共面，且和帧间位置共同使窗口观测达到重投影误差最小，随后，根据优化后的帧间位置我们可以计算局部窗口内每一帧的初始速度值(即第一速度值)，至此，通过视觉和单点测距传感器，得到包含尺度信息的帧间位置(第一位置信息)、姿态(第一位姿信息)、速度初值(第一速度值)。
步骤620，将步骤610中由视觉和单点测距传感器估计的位姿、速度，和IMU预积分结果配准，通过紧耦合优化方法得到最优的速度、尺度、重力方向和IMU bias。IMU预积分如下所示：
将只和IMU相关的状态提到等式一侧，得到：
要求解的状态变量为X＝{Rwg,,v0:k}，其中Rwg∈SO(3)表示重力方向，b表示IMU加速度bias和陀螺仪bias，v0:k表示窗口内k个关键帧在体坐标系下的速度。因此求解的最大后验估计问题如下：
其中
是状态先验，
是状态似然估计，假设状态误差服从高斯分布，则上述最大后验估计问题等价于：
其中rb和rr是先验余项，rb表示IMU偏置先验(即测量偏置残差)，包括加速度和陀螺仪偏置，通过IMU标定工具标定初值得到，rr是姿态先验(即惯导姿态数据)，∑r是初始姿态估计协方差。在惯性导航姿态解算过程中，低成本的IMU传感器易发散导致姿态漂移，但利用IMU的加速度计补偿陀螺仪的偏差可以提高姿态估计精度，互补滤波器通过对陀螺仪(低频噪声)使用高通滤波，对加速度计(高频噪声)使用低频滤波，并自适应调整加速度计和陀螺仪的置信度值，可以得到一个较为准确的姿态和估计的不确定度。rr和∑r即可通过IMU自适应互补滤波计算得到。
其中
为IMU与积分测量，只与IMU测量和bias有关，余项前半部分非状态变量R和p通过Step1中的估计计算得到,状态量v0:k的初值通过Step1计算得到，Rwg的初值通过互补滤波估计得到,通过IMU标定得到。
上述优化问题可以通过Levenberg-Marquardt算法优化求解，得到最优的状态估计。
步骤630，基于视觉惯导的最大后验估计。
通过步骤620中优化计算后获得的速度、重力方向、IMU偏置作为状态初值，进行松耦合或者紧耦合的VIO估计，以通过视觉传感器以及惯性传感器实现无人机的定位以及地图构建。
请参考图7，其示出了本申请一个示例性实施例提供的一种设备状态获取装置的方框图。该设备状态获取装置可以应用于计算机设备中，该计算机设备可以是无人机上的数据处理设备，其中，上述无人机可以是图1中所示的无人机20。如图7所示，该设备状态获取装置包括：
关键帧图像获取模块701，用于根据所述图像采集组件以及所述单点测距传感器，获取至少两个关键帧图像；所述关键帧图像包含具有尺度信息的特征点云；所述尺度信息用于指示所述特征点云中的各个特征点之间的位置关系；
关键帧信息获取模块702，用于根据所述至少两个关键帧图像各自对应的特征点云，获取所述至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值；
设备状态获取模块703，用于根据所述至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值，以及通过所述惯性传感器获取的第一惯导数据，获取所述第一设备对应的目标设备状态，所述第一设备的目标设备状态包括所述第一设备对应的初始速度、重力方向以及惯性传感器偏置；
其中，所述目标设备状态用于指示所述第一设备进入视觉惯导里程计的初值。
在一种可能的实现方式中，所述关键帧图像获取模块701，包括：
目标图像集获取单元，用于根据所述图像采集组件以及所述单点测距传感器，获取目标图像集；所述目标图像集中包含至少两个目标图像；所述目标图像中包含具有尺度信息的特征点云；
关键帧图像获取单元，用于根据所述目标图像集中的至少两个所述目标图像各自对应的特征点云，在至少两个所述目标图像中获取至少两个所述关键帧图像。
在一种可能的实现方式中，所述关键帧信息获取模块702，包括：
第一关键帧信息获取单元，用于根据至少两个所述关键帧图像各自对应的特征点云，获取至少两个所述关键帧图像各自对应的第一位姿信息，以及至少两个所述关键帧图像各自对应的优化特征点深度；
第二关键帧信息获取单元，用于根据至少两个所述关键帧图像各自对应的优化特征点深度，获取至少两个所述关键帧图像各自对应的第一速度值。
在一种可能的实现方式中，所述第一关键帧信息获取单元，包括：
第二位姿信息获取子单元，用于根据所述目标图像集中的至少两个所述目标图像对应的特征点云，获取至少两个所述关键帧图像各自对应的第二位姿信息；
第一位姿信息获取子单元，用于根据至少两个所述关键帧图像各自对应的第二位姿信息，以及至少两个关键帧图像各自对应的特征点云，进行优化处理，获得所述至少两个关键帧图像各自对应的第一位姿信息，以及所述至少两个关键帧图像各自对应的优化特征点深度。
在一种可能的实现方式中，所述第一惯导数据包括第一加速度集合以及第一角速度集合；所述第一加速度集合中包含具有时序信息的加速度值；所述第一角速度集合中包含具有时序信息的角速度值；
所述设备状态获取模块703，包括：
姿态数据获取单元，用于根据所述第一加速度集合以及所述第一角速度集合，获取惯导姿态数据；所述惯导姿态数据用于指示所述惯性传感器的姿态测量残差；
匹配数据获取单元，用于根据所述至少两个关键帧图像各自对应的所述第一位姿信息、所述第一位置信息以及所述第一速度值，获取惯导视觉匹配数据；所述惯导视觉匹配数据用于指示所述惯性传感器与所述视觉传感器的误差信息；
设备状态获取单元，用于根据所述惯导姿态数据以及所述惯导视觉匹配数据，获取所述第一设备对应的目标设备状态。
在一种可能的实现方式中，所述匹配数据获取单元，还包括：
预积分信息获取子单元，用于根据所述第一加速度集合以及所述第一角速度集合，通过预积分进行处理，获得至少两个所述关键帧图像各自对应的预积分信息；所述预积分信息包括预积分位姿信息、预积分位置信息以及预积分速度信息；
匹配信息获取子单元，用于基于至少两个所述关键帧图像各自对应的所述第一位姿信息、所述第一位置信息以及所述第一速度值，以及至少两个所述关键帧图像各自对应的预积分信息，获取惯导视觉匹配数据。
在一种可能的实现方式中，所述设备状态获取模块703，还包括：
偏置获取单元，用于获取测量偏置集合；所述测量偏置集合包括至少两个所述关键帧图像分别对应的测量偏置信息；所述测量偏置信息包括初始加速度偏置以及初始角速度偏置；
惯导偏置获取单元，用于基于至少两个所述关键帧图像分别对应的测量偏置信息，获取惯导偏置数据；所述惯导偏置数据用于指示所述惯性传感器的偏置测量残差；
所述设备状态获取单元，还用于，
根据所述惯导姿态数据、所述惯导偏置数据以及所述惯导视觉匹配数据，获取所述第一设备对应的目标设备状态。
综上所述，本申请实施例提供的方法，通过图像采集组件以及单点测距传感器获取到具有特征点云的至少两个关键帧图像，此时通过至少两个关键帧图像以及各自对应的特征点云，可以获取该至少两个关键帧图像的位姿信息、位置信息以及速度值；再通过惯性传感器采集到的惯导数据，与基于视觉传感器获取的位姿信息、位置信息以及速度值进行匹配优化，得到第一设备对应的目标状态信息，减小了动态初始化优化算法的收敛时间，提高了第一设备的初始状态的获取效率。
图8是根据一示例性实施例示出的计算机设备800的结构框图。该计算机设备800可以是无人机上的数据处理设备，或者，该计算机设备800可以是终端，比如智能手机、平板电脑或台式电脑。计算机设备800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，计算机设备800包括有：处理器801和存储器802。
在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本申请中方法实施例提供的方法。
在一些实施例中，计算机设备800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。
在一些实施例中，计算机设备800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器815、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
本领域技术人员可以理解，图8中示出的结构并不构成对计算机设备800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图9是根据一示例性实施例示出的计算机设备900的结构框图。该计算机设备900可以实现为上述方案中的服务器。所述计算机设备900包括中央处理单元(CentralProcessing Unit，CPU)901、包括随机存取存储器(Random Access Memory，RAM)902和只读存储器(Read-Only Memory，ROM)903的系统存储器904，以及连接系统存储器904和中央处理单元901的系统总线905。所述计算机设备900还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(Input/Output系统，I/O系统)906，和用于存储操作系统913、应用程序914和其他程序模块915的大容量存储设备907。
所述基本输入/输出系统906包括有用于显示信息的显示器908和用于用户输入信息的诸如鼠标、键盘之类的输入设备909。其中所述显示器908和输入设备909都通过连接到系统总线905的输入输出控制器190连接到中央处理单元901。所述基本输入/输出系统906还可以包括输入输出控制器190以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器190还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备907通过连接到系统总线905的大容量存储控制器(未示出)连接到中央处理单元901。所述大容量存储设备907及其相关联的计算机可读介质为计算机设备900提供非易失性存储。也就是说，所述大容量存储设备907可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read Only Memory，EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-OnlyMemory，EEPROM)、闪存或其他固态存储其技术，CD-ROM、数字多功能光盘(DigitalVersatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器904和大容量存储设备907可以统称为存储器。
根据本申请的各种实施例，所述计算机设备900还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备900可以通过连接在所述系统总线905上的网络接口单元911连接到网络912，或者说，也可以使用网络接口单元911来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器901通过执行该一个或一个以上程序来实现图2或图3所示的方法的全部或者部分步骤。
本领域技术人员可以理解，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
本申请实施例还提供了一种计算机可读存储介质，用于存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述设备状态获取方法。例如，该计算机可读存储介质可以是ROM、RAM、磁带、软盘和光数据存储设备等。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中所示的设备状态获取方法的全部或部分步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种设备状态获取方法，其特征在于，所述方法由第一设备执行，所述第一设备包括视觉传感器以及惯性传感器；所述视觉传感器包括图像采集组件以及单点测距传感器，所述方法包括：
根据所述图像采集组件以及所述单点测距传感器，获取至少两个关键帧图像；所述关键帧图像包含具有尺度信息的特征点云；所述尺度信息用于指示所述特征点云中的各个特征点之间的位置关系；
根据所述至少两个关键帧图像各自对应的特征点云，获取所述至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值；
根据所述至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值，以及通过所述惯性传感器获取的第一惯导数据，获取所述第一设备对应的目标设备状态，所述第一设备的目标设备状态包括所述第一设备对应的初始速度、重力方向以及惯性传感器偏置；
其中，所述目标设备状态用于指示所述第一设备进入视觉惯导里程计的初值。
2.根据权利要求1所述的方法，其特征在于，根据所述图像采集组件以及所述单点测距传感器，获取至少两个关键帧图像，包括：
根据所述图像采集组件以及所述单点测距传感器，获取目标图像集；所述目标图像集中包含至少两个目标图像；所述目标图像中包含具有尺度信息的特征点云；
根据所述目标图像集中的至少两个所述目标图像各自对应的特征点云，在至少两个所述目标图像中获取至少两个所述关键帧图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述至少两个关键帧图像各自对应的特征点云，获取所述至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值，包括：
根据至少两个所述关键帧图像各自对应的特征点云，获取至少两个所述关键帧图像各自对应的第一位姿信息，以及至少两个所述关键帧图像各自对应的优化特征点深度；
根据至少两个所述关键帧图像各自对应的优化特征点深度，获取至少两个所述关键帧图像各自对应的第一速度值。
4.根据权利要求3所述的方法，其特征在于，所述根据至少两个所述关键帧图像各自对应的特征点云，获取至少两个所述关键帧图像各自对应的第一位姿信息，以及至少两个所述关键帧图像各自对应的优化特征点深度，包括：
根据所述目标图像集中的至少两个所述目标图像对应的特征点云，获取至少两个所述关键帧图像各自对应的第二位姿信息；
根据至少两个所述关键帧图像各自对应的第二位姿信息，以及至少两个关键帧图像各自对应的特征点云，进行优化处理，获得所述至少两个关键帧图像各自对应的第一位姿信息，以及所述至少两个关键帧图像各自对应的优化特征点深度。
5.根据权利要求1所述的方法，其特征在于，所述第一惯导数据包括第一加速度集合以及第一角速度集合；所述第一加速度集合中包含具有时序信息的加速度值；所述第一角速度集合中包含具有时序信息的角速度值；
所述根据所述至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值，以及所述惯性传感器获取的第一惯导数据，获取所述第一设备对应的目标设备状态，包括：
根据所述第一加速度集合以及所述第一角速度集合，获取惯导姿态数据；所述惯导姿态数据用于指示所述惯性传感器的姿态测量残差；
根据所述至少两个关键帧图像各自对应的所述第一位姿信息、所述第一位置信息以及所述第一速度值，获取惯导视觉匹配数据；所述惯导视觉匹配数据用于指示所述惯性传感器与所述视觉传感器的误差信息；
根据所述惯导姿态数据以及所述惯导视觉匹配数据，获取所述第一设备对应的目标设备状态。
6.根据权利要求5所述的方法，其特征在于，所述根据所述至少两个关键帧图像各自对应的所述第一位姿信息、所述第一位置信息以及所述第一速度值，获取惯导视觉匹配数据，包括：
根据所述第一加速度集合以及所述第一角速度集合，通过预积分进行处理，获得至少两个所述关键帧图像各自对应的预积分信息；所述预积分信息包括预积分位姿信息、预积分位置信息以及预积分速度信息；
基于至少两个所述关键帧图像各自对应的所述第一位姿信息、所述第一位置信息以及所述第一速度值，以及至少两个所述关键帧图像各自对应的预积分信息，获取惯导视觉匹配数据。
7.根据权利要求6所述的方法，其特征在于，所述根据所述惯导姿态数据以及所述惯导视觉匹配数据，获取所述第一设备对应的目标设备状态之前，还包括：
获取测量偏置集合；所述测量偏置集合包括至少两个所述关键帧图像分别对应的测量偏置信息；所述测量偏置信息包括初始加速度偏置以及初始角速度偏置；
基于至少两个所述关键帧图像分别对应的测量偏置信息，获取惯导偏置数据；所述惯导偏置数据用于指示所述惯性传感器的偏置测量残差；
所述根据所述惯导姿态数据以及所述惯导视觉匹配数据，获取所述第一设备对应的目标设备状态，包括：
根据所述惯导姿态数据、所述惯导偏置数据以及所述惯导视觉匹配数据，获取所述第一设备对应的目标设备状态。
8.一种设备状态获取装置，其特征在于，所述装置用于第一设备，所述第一设备包括视觉传感器以及惯性传感器；所述视觉传感器包括图像采集组件以及单点测距传感器，所述装置包括：
关键帧图像获取模块，用于根据所述图像采集组件以及所述单点测距传感器，获取至少两个关键帧图像；所述关键帧图像包含具有尺度信息的特征点云；所述尺度信息用于指示所述特征点云中的各个特征点之间的位置关系；
关键帧信息获取模块，用于根据所述至少两个关键帧图像各自对应的特征点云，获取所述至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值；
设备状态获取模块，用于根据所述至少两个关键帧图像各自对应的第一位姿信息、第一位置信息以及第一速度值，以及通过所述惯性传感器获取的第一惯导数据，获取所述第一设备对应的目标设备状态，所述第一设备的目标设备状态包括所述第一设备对应的初始速度、重力方向以及惯性传感器偏置；
其中，所述目标设备状态用于指示所述第一设备进入视觉惯导里程计的初值。
9.一种计算机设备，其特征在于，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的设备状态获取方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的设备状态获取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110767626.5A CN113432595A (zh) | 2021-07-07 | 2021-07-07 | 设备状态获取方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110767626.5A CN113432595A (zh) | 2021-07-07 | 2021-07-07 | 设备状态获取方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113432595A true CN113432595A (zh) | 2021-09-24 |
Family
ID=77759455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110767626.5A Pending CN113432595A (zh) | 2021-07-07 | 2021-07-07 | 设备状态获取方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113432595A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115493579A (zh) * | 2022-09-02 | 2022-12-20 | 松灵机器人(深圳)有限公司 | 定位修正方法、装置、割草机器人以及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107888828A (zh) * | 2017-11-22 | 2018-04-06 | 网易（杭州）网络有限公司 | 空间定位方法及装置、电子设备、以及存储介质 |
| US10402663B1 (en) * | 2016-08-29 | 2019-09-03 | Trifo, Inc. | Visual-inertial positional awareness for autonomous and non-autonomous mapping |
| CN110246147A (zh) * | 2019-05-14 | 2019-09-17 | 中国科学院深圳先进技术研究院 | 视觉惯性里程计方法、视觉惯性里程计装置及移动设备 |
| CN111578937A (zh) * | 2020-05-29 | 2020-08-25 | 天津工业大学 | 同时优化外参数的视觉惯性里程计系统 |
| CN111595333A (zh) * | 2020-04-26 | 2020-08-28 | 武汉理工大学 | 视觉惯性激光数据融合的模块化无人车定位方法及系统 |
| CN111983639A (zh) * | 2020-08-25 | 2020-11-24 | 浙江光珀智能科技有限公司 | 一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法 |
| CN112649016A (zh) * | 2020-12-09 | 2021-04-13 | 南昌大学 | 一种基于点线初始化的视觉惯性里程计方法 |
-
2021
- 2021-07-07 CN CN202110767626.5A patent/CN113432595A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10402663B1 (en) * | 2016-08-29 | 2019-09-03 | Trifo, Inc. | Visual-inertial positional awareness for autonomous and non-autonomous mapping |
| CN107888828A (zh) * | 2017-11-22 | 2018-04-06 | 网易（杭州）网络有限公司 | 空间定位方法及装置、电子设备、以及存储介质 |
| CN110246147A (zh) * | 2019-05-14 | 2019-09-17 | 中国科学院深圳先进技术研究院 | 视觉惯性里程计方法、视觉惯性里程计装置及移动设备 |
| CN111595333A (zh) * | 2020-04-26 | 2020-08-28 | 武汉理工大学 | 视觉惯性激光数据融合的模块化无人车定位方法及系统 |
| CN111578937A (zh) * | 2020-05-29 | 2020-08-25 | 天津工业大学 | 同时优化外参数的视觉惯性里程计系统 |
| CN111983639A (zh) * | 2020-08-25 | 2020-11-24 | 浙江光珀智能科技有限公司 | 一种基于Multi-Camera/Lidar/IMU的多传感器SLAM方法 |
| CN112649016A (zh) * | 2020-12-09 | 2021-04-13 | 南昌大学 | 一种基于点线初始化的视觉惯性里程计方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115493579A (zh) * | 2022-09-02 | 2022-12-20 | 松灵机器人(深圳)有限公司 | 定位修正方法、装置、割草机器人以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210012520A1 (en) | Distance measuring method and device | |
| US10789771B2 (en) | Method and apparatus for fusing point cloud data | |
| US11218689B2 (en) | Methods and systems for selective sensor fusion | |
| CN110068335B (zh) | 一种gps拒止环境下无人机集群实时定位方法及系统 | |
| Heng et al. | Self-calibration and visual slam with a multi-camera system on a micro aerial vehicle | |
| CN111156998B (zh) | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 | |
| CN112037260B (zh) | 一种跟踪目标的位置估计方法、装置及无人飞行器 | |
| CN110084832B (zh) | 相机位姿的纠正方法、装置、系统、设备和存储介质 | |
| CN111338383B (zh) | 基于gaas的自主飞行方法及系统、存储介质 | |
| US20210183100A1 (en) | Data processing method and apparatus | |
| US10322819B2 (en) | Autonomous system for taking moving images from a drone, with target tracking and improved target location | |
| US20200012756A1 (en) | Vision simulation system for simulating operations of a movable platform | |
| WO2022193508A1 (zh) | 位姿优化方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品 | |
| CN113551665B (zh) | 一种用于运动载体的高动态运动状态感知系统及感知方法 | |
| CN110749308B (zh) | 使用消费级gps和2.5d建筑物模型的面向slam的室外定位方法 | |
| Ivancsits et al. | Visual navigation system for small unmanned aerial vehicles | |
| CN115930959A (zh) | 视觉初始化方法、装置及飞行汽车 | |
| Xian et al. | Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach | |
| CN112985394B (zh) | 定位方法和装置、存储介质 | |
| WO2022246812A1 (zh) | 定位方法、装置、电子设备及存储介质 | |
| CN114529585A (zh) | 基于深度视觉和惯性测量的移动设备自主定位方法 | |
| CN113432595A (zh) | 设备状态获取方法、装置、计算机设备及存储介质 | |
| Klavins et al. | Unmanned aerial vehicle movement trajectory detection in open environment | |
| JP7476882B2 (ja) | 移動体およびその制御方法、並びにプログラム | |
| CN111788457A (zh) | 形状推断装置、形状推断方法、程序以及记录介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210924 |