CN112154480A - 可移动平台的定位方法、装置、可移动平台及存储介质 - Google Patents
可移动平台的定位方法、装置、可移动平台及存储介质 Download PDFInfo
- Publication number
- CN112154480A CN112154480A CN201980033953.9A CN201980033953A CN112154480A CN 112154480 A CN112154480 A CN 112154480A CN 201980033953 A CN201980033953 A CN 201980033953A CN 112154480 A CN112154480 A CN 112154480A
- Authority
- CN
- China
- Prior art keywords
- vision module
- coordinate system
- rotary
- reference coordinate
- yaw angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000033001 locomotion Effects 0.000 claims abstract description 72
- 238000006243 chemical reaction Methods 0.000 claims abstract description 58
- 238000005259 measurement Methods 0.000 claims description 45
- 238000013519 translation Methods 0.000 claims description 38
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 5
- 239000011521 glass Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000011541 reaction mixture Substances 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Abstract
一种可移动平台的定位方法、装置、可移动平台及存储介质，所述可移动平台包括旋转视觉模块、固定视觉模块和机身，该方法包括：确定旋转视觉模块的基准坐标系与固定视觉模块的基准坐标系之间的转换关系，旋转视觉模块的基准坐标系是根据旋转视觉模块在初始化时刻下的姿态确定的，固定视觉模块的基准坐标系是所述机身的坐标系(S201)；基于转换关系，将旋转视觉模块采集的运动信息转换至固定视觉模块的基准坐标系(S202)。上述方法能够基于旋转视觉模块实现对可移动平台的定位。
Description
技术领域
本申请实施例涉及计算机视觉领域，尤其涉及一种可移动平台的定位方法、装置、可移动平台及存储介质。
背景技术
目前，在一些具有视觉系统和测距模块的设备上，通常会使用旋转视觉模块，通过360度无死角的旋转来采集周围环境信息，进而进行障碍物检测来实现多方位的避障。在这类设备中，旋转视觉模块仅用作障碍物检测，定位需要依靠GPS，然而在GPS信号弱，或者甚至没有GPS信号的区域，则无法实现定位。
发明内容
本申请实施例提供一种可移动平台的定位方法、装置、可移动平台及存储介质，以通过设备上的旋转视觉模块实现对设备的定位，使得旋转视觉模块的利用率更高，并且在GPS信号弱，或者甚至没有GPS信号的区域也能够实现对设备的定位。
本申请实施例的第一方面是提供一种可移动平台的定位方法，所述可移动平台包括旋转视觉模块、固定视觉模块和机身；所述方法包括：确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的转换关系，所述旋转视觉模块的基准坐标系是根据所述旋转视觉模块在初始化时刻下的姿态确定的，所述固定视觉模块的基准坐标系是所述机身的坐标系；基于所述转换关系，将所述旋转视觉模块采集的运动信息转换至所述固定视觉模块的基准坐标系。
本申请实施例的第二方面是提供一种可移动平台的定位装置，所述可移动平台包括旋转视觉模块和、固定视觉模块和机身；所述定位装置包括：存储器和处理器；所述存储器用于存储程序代码；所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：确定旋转视觉模块的基准坐标系与固定视觉模块的基准坐标系之间的转换关系，所述旋转视觉模块的基准坐标系是根据所述旋转视觉模块在初始化时刻下的姿态确定的，所述固定视觉模块的基准坐标系是所述机身的坐标系；基于所述转换关系，将所述旋转视觉模块采集的所述的运动信息转换至所述固定视觉模块的基准坐标系。
本申请实施例的第三方面是提供一种可移动平台，包括：机身；动力系统，安装在所述机身，用于提供运动动力；旋转视觉模块、固定视觉模块，用于采集所述机身的运动信息；以及第一方面所述的定位装置。
本申请实施例的第四方面是提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。
本实施例提供的一种可移动平台的定位方法、装置、可移动平台及存储介质，通过旋转视觉模块的基准坐标系与固定视觉模块的基准坐标系之间的转换关系，旋转视觉模块的基准坐标系是根据旋转视觉模块在初始化时刻下的姿态确定的，固定视觉模块的基准坐标系是机身的坐标系；基于转换关系，将旋转视觉模块采集的运动信息转换至固定视觉模块的基准坐标系。通过利用机身上已有的旋转视觉模块和固定视觉模块，确定机身的坐标系和旋转视觉模块的基准坐标系之间的坐标系的转换关系，进而再将旋转视觉模块采集到的可移动平台的运动信息转换至机身的坐标系下，从而实现对可移动平台的定位。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的无人机的结构示意图；
图2为本申请实施例提供的可移动平台的定位方法的流程图；
图3为本申请实施例提供的坐标系转换的原理示意图；
图4为本申请实施例提供的可移动平台的定位装置的结构示意图。
附图标记：
10：无人机； 11：机身； 12：旋转视觉模块； 13：固定视觉模块；
41：存储器； 42：处理器； 43：通讯接口。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
可移动平台是搭载有视觉系统和测距模块的设备，例如手持的摄像器材、航拍飞行器或其他带有多摄像头的载具，无人驾驶车辆、无人机、无人船、VR/AR眼镜、双摄像头的手机、具有视觉传感器的机器人等。为了便于理解，本申请以下实施例将以无人机为例进行示例性地说明，应当理解的是，只要是具有视觉系统和测距模块的设备，都可以使用本申请实施例的定位方法实现定位。
图1是本申请实施例提供的一种无人机的结构示意图。如图1所示，该无人机10包括：机身11、旋转视觉模块12和固定视觉模块13，旋转视觉模块12和固定视觉模块13均安装在机身11上；其中，旋转视觉模块12是固定在旋转机械结构件上的视觉模组，旋转视觉模块12可以有不同的旋转方式，其中一种旋转方式是保持视觉模组朝向某一目标方向，例如以无人机的飞行方向为导向，控制无人机转向，或者是朝向潜在的障碍物；另一种旋转方式是围绕无人机机身的Z轴持续进行360度旋转。可选的，旋转视觉模块12包括惯性测量单元(Inertial Measurement Unit，IMU)(图中未示出)，以及设置在旋转视觉模块12和机身11之间的角度测量模块(图中未示出)，角度测量模块可以是光电码盘或者霍尔元件。固定视觉模块13是在固定在机身11上的视觉模组，固定朝向机身的某一方向。可选的，旋转视觉模块12可以是设置在无人机10的顶部，绕无人机10的Z轴进行360度旋转，固定视觉模块13可以是设置在无人机10的下方，旋转视觉模块12和固定视觉模块13配合，完成对障碍物的全方位检测。应当理解的是，旋转视觉模块12和固定视觉模块13在机身11上的设置方式仅为举例说明，并不对旋转视觉模块12和固定视觉模块13在机身11上的设置方式进行具体限定。
本申请实施例提供一种可移动平台的定位方法。图1为本申请实施例提供的可移动平台的定位方法的流程图。如图1所示，本实施例中的方法，可以包括：
步骤S201、确定旋转视觉模块的基准坐标系与固定视觉模块的基准坐标系之间的转换关系，旋转视觉模块的基准坐标系是根据旋转视觉模块在初始化时刻下的姿态确定的，固定视觉模块的基准坐标系是机身的坐标系。
本实施例中，固定视觉模块的基准坐标系可以是根据初始状态下无人机的飞行控制设备给出的姿态信息，计算得到的世界坐标系，也就是固定视觉模块所认为的世界坐标系。
旋转视觉模块的基准坐标系可以是将旋转视觉模块在初始化时刻的姿态作为旋转视觉模块的基准坐标系。
步骤S202、基于转换关系，将旋转视觉模块采集的运动信息转换至固定视觉模块的基准坐标系。
如图1所示，在无人机10的飞行过程中，旋转视觉模块12会实时采集机身的运动信息，该运动信息是旋转视觉模块12的基准坐标系下的运动信息，然后基于步骤S101中确定的旋转视觉模块的基准坐标系与固定视觉模块的基准坐标系之间的转换关系，将旋转视觉模块12的基准坐标系下的运动信息转换至固定视觉模块的基准坐标系下，也就是机身的坐标系下，从而得到机身坐标系下机身的运动信息，可选的，该运动信息可以是机身的位移信息、姿态信息和速度信息中的至少一项。在将机身的运动信息转换至机身坐标系下后，就可以基于机身坐标系下的运动信息对可移动平台进行定位。
本实施例通过旋转视觉模块的基准坐标系与固定视觉模块的基准坐标系之间的转换关系，旋转视觉模块的基准坐标系是根据旋转视觉模块在初始化时刻下的姿态确定的，固定视觉模块的基准坐标系是机身的坐标系；基于转换关系，将旋转视觉模块采集的运动信息转换至固定视觉模块的基准坐标系。通过利用机身上已有的旋转视觉模块和固定视觉模块，确定机身的坐标系和旋转视觉模块的基准坐标系之间的坐标系的转换关系，进而再将旋转视觉模块采集到的可移动平台的运动信息转换至机身的坐标系下，从而实现对可移动平台的定位。
可选的，确定旋转视觉模块的基准坐标系与固定视觉模块的基准坐标系之间的转换关系，包括：确定旋转视觉模块与机身之间的偏航角度差；基于偏航角度差，确定旋转视觉模块的基准坐标系与固定视觉模块的基准坐标系之间的转换关系。其中，机身的姿态角包括偏航角yaw、俯仰角pitch和横滚角roll，由于旋转视觉模块是绕机身的Z轴进行旋转，因此，旋转视觉模块与机身之间存在偏航角度的差值，称之为偏航角度差。基于该偏航角度差，可以确定旋转视觉模块的基准坐标系与固定视觉模块的基准坐标系之间的转换关系。
在上述实施例中，偏航角度差可以按照如下几种方式来确定：
在第一种可实现的实施方式中，偏航角度差可以是通过获取惯性测量单元IMU测量的旋转视觉模块进行旋转的角速度；并对角速度进行积分得到的。
在第二种可实现的实施方式中，偏航角度差还可以是通过获取角度测量模块测量的旋转视觉模块与机身之间的偏航角度的差值得到的。
在第三种可实现的实施方式中，为了进一步提高偏航角度差的精度，还可以将偏航角度差输入卡尔曼滤波器，以通过卡尔曼滤波器的输出来确定更高精度的偏航角度差。
应当理解的是，上述三种实现方式，并不对本申请实施例构成限定。本领域技术人员可以在上述实施方式的基础上，通过其他方式来确定偏航角度差。
可选的，确定旋转视觉模块与机身之间的偏航角度差，包括：获取旋转视觉模块与机身在当前时刻的偏航角度差；获取旋转视觉模块进行旋转的角速度；至少基于旋转视觉模块与机身在当前时刻的偏航角度差和旋转视觉模块进行旋转的角速度，确定旋转视觉模块与机身之间的偏航角度差。本实施例中，旋转视觉模块与机身在当前时刻的偏航角度差可以是通过上述第一种和第二种实施方式得到的偏航角度差。旋转视觉模块进行旋转的角速度可以是通过机身上的IMU检测得到的，至少基于旋转视觉模块与机身在当前时刻的偏航角度差和旋转视觉模块进行旋转的角速度，确定旋转视觉模块与机身之间的偏航角度差，可以是按照如下公式(1)确定：
θk+1＝θk+ωk+1Δt； (1)
式(1)中，θk+1为下一时刻的偏航角度差的预测值，ωk+1为旋转视觉模块进行旋转的角速度，θk为旋转视觉模块与机身在当前时刻的偏航角度差，Δt是IMU的更新时间，例如IMU的更新频率为400HZ，那么Δt＝1000/400＝2.5ms。
可选的，在通过卡尔曼滤波器来确定偏航角度差时，基于旋转视觉模块与机身在当前时刻的偏航角度差、旋转视觉模块进行旋转的角速度确定旋转视觉模块与机身之间的偏航角度差，具体包括：将旋转视觉模块与机身在当前时刻的偏航角度差和旋转视觉模块进行旋转的角速度分别输入卡尔曼滤波器，以通过卡尔曼滤波器的输出确定旋转视觉模块与机身之间的偏航角度差。
本实施例中，在通过卡尔曼滤波器确定偏航角度差时，是将上述公式(1)中的θk与ωk+1一起输入卡尔曼滤波器中，卡尔曼滤波器会根据θk和ωk+1输出一个预测值，这个预测值就是偏航角度差θk+1。其中，θk为卡尔曼滤波器在上一时刻输出的偏航角度差，ωk+1可以认为是卡尔曼滤波器的高斯白噪声。将θk、和ωk+1作为卡尔曼滤波器的输入，卡尔曼滤波器会输出下一时刻的偏航角度差的预测值θk+1。
可选的，基于测量的偏航角度差对确定的偏航角度差进行优化时，可以通过上述实施例得到的偏航角度差的预测值θk+1，以及将角度测量模块测量得到的角度值或者是IMU测量得到的角速度的积分值作为测量值输入卡尔曼滤波器，使卡尔曼滤波器根据预测值θk+1和测量值对预测值θk+1进行更新，将更新后的θk+1作为偏航角度差，从而对卡尔曼滤波器输出的偏航角度差的预测值θk+1进行进一步优化，以得到精度更高的偏航角度差。
可选的，确定所述旋转视觉模块与所述机身之间的偏航角度差，包括：获取所述旋转视觉模块与所述机身在当前时刻的偏航角度差；获取所述旋转视觉模块进行旋转的角速度；获取所述惯性测量单元的偏置量；基于所述旋转视觉模块与所述机身在当前时刻的偏航角度差、所述旋转视觉模块进行旋转的角速度和所述惯性测量单元的偏置量，确定所述旋转视觉模块与所述机身之间的偏航角度差。
可选的，所述基于所述旋转视觉模块与所述机身在当前时刻的偏航角度差、所述旋转视觉模块进行旋转的角速度确定所述旋转视觉模块与所述机身之间的偏航角度差，包括：将所述旋转视觉模块与所述机身在当前时刻的偏航角度差、所述旋转视觉模块进行旋转的角速度和所述惯性测量单元的偏置量分别输入卡尔曼滤波器，以通过所述卡尔曼滤波器的输出确定所述旋转视觉模块与所述机身之间的偏航角度差。
在上述实施例的基础上，至少基于旋转视觉模块与机身在当前时刻的偏航角度差和旋转视觉模块进行旋转的角速度，确定旋转视觉模块与机身之间的偏航角度差，可以是按照如下公式(2)确定：
θk+1＝θk+(ωk+1-bw|k+1)Δt； (2)
式(2)中，θk+1是卡尔曼滤波器预测的下一时刻的旋转视觉模块与机身之间的偏航角度差，ωk+1为旋转视觉模块进行旋转的角速度，θk为卡尔曼滤波器预测的当前时刻的旋转视觉模块与机身之间的偏航角度差，Δt是IMU的更新时间，例如IMU的更新频率为400HZ，那么Δt＝1000/400＝2.5ms，bw|k+1是IMU的偏置量bias，bw|k+1＝bw|k。
上述公式(2)可以写成如下矩阵形式：
式(3)中，θk和bω|k为卡尔曼滤波器在上一时刻输出的偏航角度差和偏置量，ωk+1·Δt可以认为是卡尔曼滤波器的高斯白噪声。将θk、bω|k和ωk+1·Δt作为卡尔曼滤波器的输入，卡尔曼滤波器会输出下一时刻的偏航角度差和偏置量的预测值，θk+1和bω|k+1，bω是以一个缓慢的速度发生变化，故可以认为是一个恒定值。
可选的，在通过卡尔曼滤波器得到偏航角度差之后，本实施例的方法还包括包括：获取角度测量模块测量的旋转视觉模块与机身之间的偏航角度差；基于测量的偏航角度差对确定的偏航角度差进行优化。具体的，是通过上述第一种实施方式或第二种实施方式测量得到的偏航角度差作为测量值，对卡尔曼滤波器输出的偏航角度差的预测值进行优化，从而得到更为精确的偏航角度差。例如，将通过上述实施例得到的偏航角度差的预测值θk+1，以及将角度测量模块测量得到的角度值或者是IMU测量得到的角速度的积分值作为测量值输入卡尔曼滤波器，使卡尔曼滤波器根据预测值θk+1和测量值对预测值θk+1进行更新，将更新后的θk+1作为偏航角度差，从而对卡尔曼滤波器输出的偏航角度差的预测值θk+1进行进一步优化，以得到精度更高的偏航角度差。
在上述实施例的基础上，基于偏航角度差，确定旋转视觉模块的基准坐标系与固定视觉模块的基准坐标系之间的转换关系，包括：确定旋转视觉模块的基准坐标系与固定视觉模块的基准坐标系之间的目标平移关系；确定旋转视觉模块的基准坐标系与固定视觉模块的基准坐标系之间的目标旋转关系；基于目标旋转关系和目标平移关系确定旋转视觉模块的基准坐标系与固定视觉模块的基准坐标系之间的转换关系。
可选的，确定旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标旋转关系，包括：确定固定视觉模块坐标系与所述固定视觉模块的基准坐标系之间的第一旋转关系；确定旋转视觉模块坐标系与所述旋转视觉模块的基准坐标系之间的第二旋转关系；确定所述旋转视觉模块坐标系与所述固定视觉模块坐标系之间的第三旋转关系；基于所述第一旋转关系、所述第二旋转关系和所述第三旋转关系确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标旋转关系。
可选的，所述第三旋转关系是基于所述旋转视觉模块与所述机身之间的偏航角度差确定。
本实施例中，如图3所示，假设固定视觉模块的坐标系为VIO1坐标系，VIO1坐标系的基准坐标系为NEG1坐标系；旋转视觉模块的坐标系为VIO2坐标系，VIO2坐标系的基准坐标系为NEG2坐标系，对于NEG1坐标系和NEG2坐标系的确定方式在前述实施例中已做介绍，此处不再赘述。
可选的，旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标旋转关系
可以通过如下公式(4)来确定：
式(4)中，
为VIO1坐标系到NEG1坐标系的旋转关系，可以基于固定视觉模块的VIO算法得到，其中VIO算法可以参见现有技术的介绍，本申请在此不做详细介绍；
为VIO2坐标系到NEG2坐标系的旋转关系，可以基于旋转视觉模块和旋转机械结构上的IMU，并通过VIO算法计算得到，其中VIO算法可以参见现有技术的介绍，本申请在此不做详细介绍；
为VIO2坐标系到VIO1坐标系的旋转关系，VIO2坐标系到VIO1坐标系的旋转关系
是基于上述实施例确定的旋转视觉模块与机身之间的偏航角度差来确定的。具体的，
是通过如下公式(5)确定的：
式(5)中，θz是旋转视觉模块与机身之间的偏航角度差，也就是通过上述三种实施方式确定的偏航角度差。也就是说，此处的偏航角度差可以是通过获取角度测量模块测量的旋转视觉模块与机身之间的偏航角度的差值得到的，也可以是通过获取惯性测量单元IMU测量的旋转视觉模块进行旋转的角速度以及对角速度进行积分得到的，还可以是通过卡尔曼滤波器确定的偏航角度差。可选的，偏航角度差是通过卡尔曼滤波器确定的偏航角度差时，可以是卡尔曼滤波器输出的预测值，还可以是卡尔曼滤波器输出的对预测值进行优化后的更新值。
可选的，确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标平移关系，包括：确定固定视觉模块坐标系与所述固定视觉模块的基准坐标系之间的第一旋转关系和第一平移关系；确定旋转视觉模块坐标系与所述旋转视觉模块的基准坐标系之间的第二旋转关系和第二平移关系；确定所述旋转视觉模块坐标系与所述固定视觉模块坐标系之间的第三旋转关系和第三平移关系；基于第一旋转关系、第一平移关系、第二旋转关系、第二平移关系、第三旋转关系和第三平移关系确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标平移关系。
本实施例中，旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标平移关系G1tG2可以通过如下公式(6)来确定：
式(6)中，V1tV2是VIO2坐标系到VIO1坐标系的平移关系，固定视觉模块和旋转视觉模块的旋转机械结构均是固定在机身上的，因此，VIO2坐标系到VIO1坐标系的平移关系可以根据固定视觉模块和旋转视觉模块的旋转机械结构的位置关系来确定，例如，若可移动平台是无人机，则可以通过无人机的设计图得到；G1tV1是VIO1坐标系到NEG1坐标系的平移关系，可以选取可移动平台的重心点为NEG1坐标系的原点，视觉传感器的中心位置为VIO1坐标系的原点，而无人机的重心点和视觉传感器的中心位置均为固定的，因此，可移动平台的重心点和视觉传感器的中心位置之间的位置关系也是固定的，若可移动平台是无人机，则可以通过无人机的设计图得到，或者通过VIO算法对通过无人机的设计图得到的G1tV1进行进一步优化，以得到精确度更高的G1tV1；G2tV2是VIO2坐标系到NEG2坐标系的平移关系，可以通过选取旋转视觉模块的旋转中心点作为NEG2坐标系的原点，而VIO2坐标系原点在视觉传感器中心，旋转视觉模块的旋转中心点与视觉传感器中心之间的位置关系也是固定的，因此，可以通过可移动平台的设计图得到。
可选的，基于转换关系，将旋转视觉模块采集的所述机身的运动信息转换至所述固定视觉模块的基准坐标系，包括：获取旋转视觉模块采集的机身的运动信息；将机身的运动信息输入卡尔曼滤波器，以通过卡尔曼滤波器的输出确定机身的目标运动信息；基于转换关系，将所述机身的目标运动信息转换至所述固定视觉模块的基准坐标系。例如，固定视觉模块采集到机身的位置信息、姿态信息以及速度信息，则可以直接发送给无人机的飞行控制设备，而旋转视觉模块采集到的机身的位置信息、姿态信息以及速度信息是在NEG2坐标系下的，需要先转换到NEG1坐标系下，再发送给无人机的飞行控制设备。具体的，将旋转视觉模块采集到的NEG2坐标系下的机身的位置信息、姿态信息以及速度信息转换到NEG1坐标系下，可以通过如下公式(7)来实现：
式(7)中，Δp1代表在NEG1坐标系下的位置信息变化量；Δp2代表在NEG2坐标系下的位置信息变化量；v1代表在NEG1坐标系下的速度；v2代表在NEG2坐标系下的速度；
代表把旋转矩阵R的
转换为四元数q，
是四元数乘法符号，q1代表在NEG1坐标系下的姿态信息，q2代表在NEG2坐标系下的姿态信息。
可选的，在上述公式(7)中，还可以将NEG2坐标系下的位置信息、姿态信息和速度信息分别输入卡尔曼滤波器，以得到更为精确的位置信息、姿态信息和速度信息，再通过上述公式(7)转换至NEG1坐标系下。
可选的，在上述公式(7)中，还可以先通过上述公式(7)将NEG2坐标系下的位置信息、姿态信息和速度信息转换至NEG1坐标系下后，再将转换至NEG1坐标系下的位置信息、姿态信息和速度信息分别输入卡尔曼滤波器，以得到更为精确的位置信息、姿态信息和速度信息。
可选的，基于转换关系，将旋转视觉模块采集的机身的运动信息转换至固定视觉模块的基准坐标系，包括：若旋转视觉模块进行旋转的角速度小于预设角速度，基于转换关系，将旋转视觉模块采集的机身的运动信息转换至固定视觉模块的基准坐标系；若旋转视觉模块进行旋转的角速度大于或等于预设角速度，基于预设算法确定机身的运动信息。具体的，若旋转视觉模块进行旋转的角速度小于预设角速度，例如，旋转视觉模块在进行360度旋转时，旋转的速度较慢(小于预设角速度)或者是朝向固定方向保持不变的时候，则则采用松耦合策略，即通过上述方法实施例确定的NEG1和NEG2之间的坐标系转换关系，将旋转视觉模块采集的机身的运动信息转换至固定视觉模块的基准坐标系NEG1下，再发送给无人机的飞行控制设备。若旋转视觉模块旋转的角速度较大，比如360度快速扫描(旋转的角速度大于预设角速度)，或者是调整朝向的时候，则采用松耦合策略，即旋转视觉模块通过IMU获取旋转关系R，再使用VO算法(例如PNP算法)计算速度位置关系。
本实施例能够根据旋转视觉模块的运动状态自适应调整不同的算法策略，整个的算法更加稳定鲁棒。
本申请实施例提供一种可移动平台的定位装置。图4为本申请实施例提供的可移动平台的定位装置的结构图，如图4所示，可移动平台的定位装置40包括：存储器41和处理器42；所述存储器41用于存储程序代码；所述处理器42，调用所述程序代码，当程序代码被执行时，用于执行以下操作：确定旋转视觉模块的基准坐标系与固定视觉模块的基准坐标系之间的转换关系，所述旋转视觉模块的基准坐标系是根据所述旋转视觉模块在初始化时刻下的姿态确定的，所述固定视觉模块的基准坐标系是所述机身的坐标系；基于所述转换关系，将所述旋转视觉模块采集的运动信息转换至所述固定视觉模块的基准坐标系。对于可移动平台的结构可参见前述实施例的介绍，本实施例在此不做赘述。
可选的，处理器42在确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的转换关系时，具体用于：确定所述旋转视觉模块与所述机身之间的偏航角度差；基于所述偏航角度差，确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的转换关系。
可选的，所述处理器42在确定所述旋转视觉模块与所述机身之间的偏航角度差时，具体用于：获取所述旋转视觉模块与所述机身在当前时刻的偏航角度差；获取所述旋转视觉模块进行旋转的角速度；至少基于所述旋转视觉模块与所述机身在当前时刻的偏航角度差和所述旋转视觉模块进行旋转的角速度，确定所述旋转视觉模块与所述机身之间的偏航角度差。
可选的，所述处理器42在基于所述旋转视觉模块与所述机身在当前时刻的偏航角度差、所述旋转视觉模块进行旋转的角速度确定所述旋转视觉模块与所述机身之间的偏航角度差时，具体用于：将所述旋转视觉模块与所述机身在当前时刻的偏航角度差和所述旋转视觉模块进行旋转的角速度分别输入卡尔曼滤波器，以通过所述卡尔曼滤波器的输出确定所述旋转视觉模块与所述机身之间的偏航角度差。
可选的，所述机身上设置有惯性测量单元；所述处理器在确定所述旋转视觉模块与所述机身之间的偏航角度差时，具体用于：获取所述旋转视觉模块与所述机身在当前时刻的偏航角度差；获取所述旋转视觉模块进行旋转的角速度；获取所述惯性测量单元的偏置量；基于所述旋转视觉模块与所述机身在当前时刻的偏航角度差、所述旋转视觉模块进行旋转的角速度和所述惯性测量单元的偏置量，确定所述旋转视觉模块与所述机身之间的偏航角度差。
可选的，所述处理器42在基于所述旋转视觉模块与所述机身在当前时刻的偏航角度差、所述旋转视觉模块进行旋转的角速度确定所述旋转视觉模块与所述机身之间的偏航角度差时，具体用于：将所述旋转视觉模块与所述机身在当前时刻的偏航角度差、所述旋转视觉模块进行旋转的角速度和所述惯性测量单元的偏置量分别输入卡尔曼滤波器，以通过所述卡尔曼滤波器的输出确定所述旋转视觉模块与所述机身之间的偏航角度差。
可选的，所述机身上还设置有角度测量模块；所述处理器42还用于：获取所述角度测量模块测量的所述旋转视觉模块与所述机身之间的偏航角度差；基于测量的偏航角度差对确定的偏航角度差进行优化。
可选的，所述处理器42在基于所述偏航角度差，确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的转换关系时，具体用于：确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标平移关系；确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标旋转关系；基于所述目标旋转关系和所述目标平移关系确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的转换关系。
可选的，所述处理器42在确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标旋转关系时，具体用于：确定固定视觉模块坐标系与所述固定视觉模块的基准坐标系之间的第一旋转关系；确定旋转视觉模块坐标系与所述旋转视觉模块的基准坐标系之间的第二旋转关系；确定所述旋转视觉模块坐标系与所述固定视觉模块坐标系之间的第三旋转关系；基于所述第一旋转关系、所述第二旋转关系和所述第三旋转关系确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标旋转关系。
可选的，所述处理器42在确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标平移关系时，具体用于：确定固定视觉模块坐标系与所述固定视觉模块的基准坐标系之间的第一旋转关系和第一平移关系；确定旋转视觉模块坐标系与所述旋转视觉模块的基准坐标系之间的第二旋转关系和第二平移关系；确定所述旋转视觉模块坐标系与所述固定视觉模块坐标系之间的第三旋转关系和第三平移关系；基于第一旋转关系、第一平移关系、第二旋转关系、第二平移关系、第三旋转关系和第三平移关系确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标平移关系。
可选的，所述第三旋转关系是基于所述旋转视觉模块与所述机身之间的偏航角度差确定。
可选的，所述处理器42在基于所述转换关系，将所述旋转视觉模块采集的所述机身的运动信息转换至所述固定视觉模块的基准坐标系时，具体用于：获取所述旋转视觉模块采集的所述机身的运动信息；将所述机身的运动信息输入卡尔曼滤波器，以通过所述卡尔曼滤波器的输出确定所述机身的目标运动信息；
基于所述转换关系，将所述机身的目标运动信息转换至所述固定视觉模块的基准坐标系。
可选的，所述处理器42在基于所述转换关系，将所述旋转视觉模块采集的所述机身的运动信息转换至所述固定视觉模块的基准坐标系时，具体用于：若所述旋转视觉模块进行旋转的角速度小于预设角速度，基于所述转换关系，将所述旋转视觉模块采集的所述机身的运动信息转换至所述固定视觉模块的基准坐标系；若所述旋转视觉模块进行旋转的角速度大于或等于预设角速度，基于预设算法确定所述机身的运动信息。
可选的，所述机身上还设置有惯性测量单元；所述处理器在确定所述旋转视觉模块与所述机身之间的偏航角度差时，具体用于：获取所述惯性测量单元测量的所述旋转视觉模块进行旋转的角速度；基于所述角速度进行积分得到所述偏航角度差。
可选的，所述机身上还设置有角度测量模块；所述处理器42在确定所述旋转视觉模块与所述机身之间的偏航角度差时，具体用于：获取所述角度测量模块测量的所述旋转视觉模块与所述机身之间的偏航角度的差值；将所述角度测量模块测量的所述旋转视觉模块与所述机身之间的偏航角度的差值，作为所述偏航角度差。
可选的，所述处理器42在基于所述旋转视觉模块的坐标系与世界坐标系之间的转换关系，将所述旋转视觉模块采集的所述机身的运动信息进行转换之后，还用于：基于转换后的所述机身的运动信息对所述机身进行定位。
可选的，所述运动信息至少包括：机身的位移信息、姿态信息和速度信息中的至少一项。
可选的，本实施例还可以包括通讯接口43，用于实现处理器42与外部设备之间的通讯，例如，用于实现处理器42与旋转视觉模块之间的数据传输。
本申请实施例提供的可移动平台的定位装置的具体原理和实现方式均与上述实施例类似，此处不再赘述。
本实施例通过旋转视觉模块的基准坐标系与固定视觉模块的基准坐标系之间的转换关系，旋转视觉模块的基准坐标系是根据旋转视觉模块在初始化时刻下的姿态确定的，固定视觉模块的基准坐标系是机身的坐标系；基于转换关系，将旋转视觉模块采集的运动信息转换至固定视觉模块的基准坐标系。通过利用机身上已有的旋转视觉模块和固定视觉模块，确定机身的坐标系和旋转视觉模块的基准坐标系之间的坐标系的转换关系，进而再将旋转视觉模块采集到的可移动平台的运动信息转换至机身的坐标系下，从而实现对可移动平台的定位。
本申请实施例还提供一种可移动平台，包括：机身；动力系统，安装在所述机身，用于提供运动动力；
旋转视觉模块、固定视觉模块，用于采集所述机身的运动信息；以及如上述实施例介绍的定位装置。可选的，所述可移动平台是拍摄设备、无人机、无人驾驶车辆、AR眼镜、VR眼镜、智能终端、机器人中的任一项。
本实施例的可移动平台可以是上述实施例介绍的可移动平台，可移动平台的定位装置可以是如图4介绍的定位装置，该定位装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本实施例通过旋转视觉模块的基准坐标系与固定视觉模块的基准坐标系之间的转换关系，旋转视觉模块的基准坐标系是根据旋转视觉模块在初始化时刻下的姿态确定的，固定视觉模块的基准坐标系是机身的坐标系；基于转换关系，将旋转视觉模块采集的运动信息转换至固定视觉模块的基准坐标系。通过利用机身上已有的旋转视觉模块和固定视觉模块，确定机身的坐标系和旋转视觉模块的基准坐标系之间的坐标系的转换关系，进而再将旋转视觉模块采集到的可移动平台的运动信息转换至机身的坐标系下，从而实现对可移动平台的定位。
另外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的可移动平台的定位方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (41)
1.一种可移动平台的定位方法，其特征在于，所述可移动平台包括旋转视觉模块、固定视觉模块和机身；
所述方法包括：
确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的转换关系，所述旋转视觉模块的基准坐标系是根据所述旋转视觉模块在初始化时刻下的姿态确定的，所述固定视觉模块的基准坐标系是所述机身的坐标系；
基于所述转换关系，将所述旋转视觉模块采集的运动信息转换至所述固定视觉模块的基准坐标系。
2.根据权利要求1所述的方法，其特征在于，所述旋转视觉模块和所述固定视觉模块均安装在所述机身上；
所述旋转视觉模块围绕所述机身的Z轴旋转。
3.根据权利要求2所述的方法，其特征在于，所述确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的转换关系，包括：
确定所述旋转视觉模块与所述机身之间的偏航角度差；
基于所述偏航角度差，确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的转换关系。
4.根据权利要求3所述的方法，其特征在于，所述确定所述旋转视觉模块与所述机身之间的偏航角度差，包括：
获取所述旋转视觉模块与所述机身在当前时刻的偏航角度差；
获取所述旋转视觉模块进行旋转的角速度；
至少基于所述旋转视觉模块与所述机身在当前时刻的偏航角度差和所述旋转视觉模块进行旋转的角速度，确定所述旋转视觉模块与所述机身之间的偏航角度差。
5.根据权利要求4所述的方法，其特征在于，所述基于所述旋转视觉模块与所述机身在当前时刻的偏航角度差、所述旋转视觉模块进行旋转的角速度确定所述旋转视觉模块与所述机身之间的偏航角度差，包括：
将所述旋转视觉模块与所述机身在当前时刻的偏航角度差和所述旋转视觉模块进行旋转的角速度分别输入卡尔曼滤波器，以通过所述卡尔曼滤波器的输出确定所述旋转视觉模块与所述机身之间的偏航角度差。
6.根据权利要求5所述的方法，其特征在于，所述机身上设置有惯性测量单元；
所述确定所述旋转视觉模块与所述机身之间的偏航角度差，包括：
获取所述旋转视觉模块与所述机身在当前时刻的偏航角度差；
获取所述旋转视觉模块进行旋转的角速度；
获取所述惯性测量单元的偏置量；
基于所述旋转视觉模块与所述机身在当前时刻的偏航角度差、所述旋转视觉模块进行旋转的角速度和所述惯性测量单元的偏置量，确定所述旋转视觉模块与所述机身之间的偏航角度差。
7.根据权利要求6所述的方法，其特征在于，所述基于所述旋转视觉模块与所述机身在当前时刻的偏航角度差、所述旋转视觉模块进行旋转的角速度确定所述旋转视觉模块与所述机身之间的偏航角度差，包括：
将所述旋转视觉模块与所述机身在当前时刻的偏航角度差、所述旋转视觉模块进行旋转的角速度和所述惯性测量单元的偏置量分别输入卡尔曼滤波器，以通过所述卡尔曼滤波器的输出确定所述旋转视觉模块与所述机身之间的偏航角度差。
8.根据权利要求5或7所述的方法，其特征在于，所述机身上还设置有角度测量模块；
所述方法还包括：
获取所述角度测量模块测量的所述旋转视觉模块与所述机身之间的偏航角度差；
基于测量的偏航角度差对确定的偏航角度差进行优化。
9.根据权利要求7所述的方法，其特征在于，所述方法还包括：
获取所述惯性测量单元测量的所述旋转视觉模块与所述机身之间的偏航角度差；
基于测量的偏航角度差对确定的偏航角度差进行优化。
10.根据权利要求37任一项所述的方法，其特征在于，所述基于所述偏航角度差，确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的转换关系，包括：
确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标平移关系；
确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标旋转关系；
基于所述目标旋转关系和所述目标平移关系确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的转换关系。
11.根据权利要求10所述的方法，其特征在于，所述确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标旋转关系，包括：
确定固定视觉模块坐标系与所述固定视觉模块的基准坐标系之间的第一旋转关系；
确定旋转视觉模块坐标系与所述旋转视觉模块的基准坐标系之间的第二旋转关系；
确定所述旋转视觉模块坐标系与所述固定视觉模块坐标系之间的第三旋转关系；
基于所述第一旋转关系、所述第二旋转关系和所述第三旋转关系确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标旋转关系。
12.根据权利要求10所述的方法，其特征在于，所述确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标平移关系，包括：
确定固定视觉模块坐标系与所述固定视觉模块的基准坐标系之间的第一旋转关系和第一平移关系；
确定旋转视觉模块坐标系与所述旋转视觉模块的基准坐标系之间的第二旋转关系和第二平移关系；
确定所述旋转视觉模块坐标系与所述固定视觉模块坐标系之间的第三旋转关系和第三平移关系；
基于第一旋转关系、第一平移关系、第二旋转关系、第二平移关系、第三旋转关系和第三平移关系确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标平移关系。
13.根据权利要求11或12所述的方法，其特征在于，所述第三旋转关系是基于所述旋转视觉模块与所述机身之间的偏航角度差确定。
14.根据权利要求1所述的方法，其特征在于，所述基于所述转换关系，将所述旋转视觉模块采集的运动信息转换至所述固定视觉模块的基准坐标系，包括：
获取所述旋转视觉模块采集的所述机身的运动信息；
将所述机身的运动信息输入卡尔曼滤波器，以通过所述卡尔曼滤波器的输出确定所述机身的目标运动信息；
基于所述转换关系，将所述机身的目标运动信息转换至所述固定视觉模块的基准坐标系。
15.根据权利要求1所述的方法，其特征在于，所述基于所述转换关系，将所述旋转视觉模块采集的所述机身的运动信息转换至所述固定视觉模块的基准坐标系，包括：
若所述旋转视觉模块进行旋转的角速度小于预设角速度，基于所述转换关系，将所述旋转视觉模块采集的所述机身的运动信息转换至所述固定视觉模块的基准坐标系；
若所述旋转视觉模块进行旋转的角速度大于或等于预设角速度，基于预设算法确定所述机身的运动信息。
16.根据权利要求3所述的方法，其特征在于，所述机身上还设置有惯性测量单元；
所述确定所述旋转视觉模块与所述机身之间的偏航角度差，包括：
获取所述惯性测量单元测量的所述旋转视觉模块进行旋转的角速度；
基于所述角速度进行积分得到所述偏航角度差。
17.根据权利要求3所述的方法，其特征在于，所述机身上还设置有角度测量模块；
所述确定所述旋转视觉模块与所述机身之间的偏航角度差，包括：
获取所述角度测量模块测量的所述旋转视觉模块与所述机身之间的偏航角度的差值；
将所述角度测量模块测量的所述旋转视觉模块与所述机身之间的偏航角度的差值，作为所述偏航角度差。
18.根据权利要求1所述的方法，其特征在于，所述基于所述旋转视觉模块的坐标系与世界坐标系之间的转换关系，将所述旋转视觉模块采集的所述机身的运动信息进行转换之后，所述方法还包括：
基于转换后的所述机身的运动信息对所述机身进行定位。
19.根据权利要求1、14、15或18所述的方法，其特征在于，所述运动信息至少包括：机身的位移信息、姿态信息和速度信息中的至少一项。
20.一种可移动平台的定位装置，其特征在于，所述可移动平台包括旋转视觉模块、固定视觉模块和机身；
所述定位装置包括：
存储器和处理器；
所述存储器用于存储程序代码；
所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：
确定旋转视觉模块的基准坐标系与固定视觉模块的基准坐标系之间的转换关系，所述旋转视觉模块的基准坐标系是根据所述旋转视觉模块在初始化时刻下的姿态确定的，所述固定视觉模块的基准坐标系是所述机身的坐标系；
基于所述转换关系，将所述旋转视觉模块采集的运动信息转换至所述固定视觉模块的基准坐标系。
21.根据权利要求20所述的装置，其特征在于，所述旋转视觉模块和所述固定视觉模块均安装在所述机身上；
所述旋转视觉模块围绕所述机身的Z轴旋转。
22.根据权利要求21所述的装置，其特征在于，所述处理器在确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的转换关系时，具体用于：
确定所述旋转视觉模块与所述机身之间的偏航角度差；
基于所述偏航角度差，确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的转换关系。
23.根据权利要求22所述的装置，其特征在于，所述处理器在确定所述旋转视觉模块与所述机身之间的偏航角度差时，具体用于：
获取所述旋转视觉模块与所述机身在当前时刻的偏航角度差；
获取所述旋转视觉模块进行旋转的角速度；
至少基于所述旋转视觉模块与所述机身在当前时刻的偏航角度差和所述旋转视觉模块进行旋转的角速度，确定所述旋转视觉模块与所述机身之间的偏航角度差。
24.根据权利要求23所述的装置，其特征在于，所述处理器在基于所述旋转视觉模块与所述机身在当前时刻的偏航角度差、所述旋转视觉模块进行旋转的角速度确定所述旋转视觉模块与所述机身之间的偏航角度差时，具体用于：
将所述旋转视觉模块与所述机身在当前时刻的偏航角度差和所述旋转视觉模块进行旋转的角速度分别输入卡尔曼滤波器，以通过所述卡尔曼滤波器的输出确定所述旋转视觉模块与所述机身之间的偏航角度差。
25.根据权利要求24所述的装置，其特征在于，所述机身上设置有惯性测量单元；
所述处理器在确定所述旋转视觉模块与所述机身之间的偏航角度差时，具体用于：
获取所述旋转视觉模块与所述机身在当前时刻的偏航角度差；
获取所述旋转视觉模块进行旋转的角速度；
获取所述惯性测量单元的偏置量；
基于所述旋转视觉模块与所述机身在当前时刻的偏航角度差、所述旋转视觉模块进行旋转的角速度和所述惯性测量单元的偏置量，确定所述旋转视觉模块与所述机身之间的偏航角度差。
26.根据权利要求25所述的装置，其特征在于，所述处理器在基于所述旋转视觉模块与所述机身在当前时刻的偏航角度差、所述旋转视觉模块进行旋转的角速度确定所述旋转视觉模块与所述机身之间的偏航角度差时，具体用于：
将所述旋转视觉模块与所述机身在当前时刻的偏航角度差、所述旋转视觉模块进行旋转的角速度和所述惯性测量单元的偏置量分别输入卡尔曼滤波器，以通过所述卡尔曼滤波器的输出确定所述旋转视觉模块与所述机身之间的偏航角度差。
27.根据权利要求24或26所述的装置，其特征在于，所述机身上还设置有角度测量模块；
所述处理器还用于：
获取所述角度测量模块测量的所述旋转视觉模块与所述机身之间的偏航角度差；
基于测量的偏航角度差对确定的偏航角度差进行优化。
28.根据权利要求26所述的装置，其特征在于，所述处理器还用于：
获取所述惯性测量单元测量的所述旋转视觉模块与所述机身之间的偏航角度差；
基于测量的偏航角度差对确定的偏航角度差进行优化。
29.根据权利要求22-26任一项所述的装置，其特征在于，所述处理器在基于所述偏航角度差，确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的转换关系时，具体用于：
确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标平移关系；
确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标旋转关系；
基于所述目标旋转关系和所述目标平移关系确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的转换关系。
30.根据权利要求29所述的装置，其特征在于，所述处理器在确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标旋转关系时，具体用于：
确定固定视觉模块坐标系与所述固定视觉模块的基准坐标系之间的第一旋转关系；
确定旋转视觉模块坐标系与所述旋转视觉模块的基准坐标系之间的第二旋转关系；
确定所述旋转视觉模块坐标系与所述固定视觉模块坐标系之间的第三旋转关系；
基于所述第一旋转关系、所述第二旋转关系和所述第三旋转关系确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标旋转关系。
31.根据权利要求29所述的装置，其特征在于，所述处理器在确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标平移关系时，具体用于：
确定固定视觉模块坐标系与所述固定视觉模块的基准坐标系之间的第一旋转关系和第一平移关系；
确定旋转视觉模块坐标系与所述旋转视觉模块的基准坐标系之间的第二旋转关系和第二平移关系；
确定所述旋转视觉模块坐标系与所述固定视觉模块坐标系之间的第三旋转关系和第三平移关系；
基于第一旋转关系、第一平移关系、第二旋转关系、第二平移关系、第三旋转关系和第三平移关系确定所述旋转视觉模块的基准坐标系与所述固定视觉模块的基准坐标系之间的目标平移关系。
32.根据权利要求30或31所述的装置，其特征在于，所述第三旋转关系是基于所述旋转视觉模块与所述机身之间的偏航角度差确定。
33.根据权利要求22所述的装置，其特征在于，所述处理器在基于所述转换关系，将所述旋转视觉模块采集的运动信息转换至所述固定视觉模块的基准坐标系时，具体用于：
获取所述旋转视觉模块采集的所述机身的运动信息；
将所述机身的运动信息输入卡尔曼滤波器，以通过所述卡尔曼滤波器的输出确定所述机身的目标运动信息；
基于所述转换关系，将所述机身的目标运动信息转换至所述固定视觉模块的基准坐标系。
34.根据权利要求22所述的装置，其特征在于，所述处理器在基于所述转换关系，将所述旋转视觉模块采集的运动信息转换至所述固定视觉模块的基准坐标系时，具体用于：
若所述旋转视觉模块进行旋转的角速度小于预设角速度，基于所述转换关系，将所述旋转视觉模块采集的所述机身的运动信息转换至所述固定视觉模块的基准坐标系；
若所述旋转视觉模块进行旋转的角速度大于或等于预设角速度，基于预设算法确定所述机身的运动信息。
35.根据权利要求23所述的装置，其特征在于，所述机身上还设置有惯性测量单元；
所述处理器在确定所述旋转视觉模块与所述机身之间的偏航角度差时，具体用于：
获取所述惯性测量单元测量的所述旋转视觉模块进行旋转的角速度；
基于所述角速度进行积分得到所述偏航角度差。
36.根据权利要求23所述的装置，其特征在于，所述机身上还设置有角度测量模块；
所述处理器在确定所述旋转视觉模块与所述机身之间的偏航角度差时，具体用于：
获取所述角度测量模块测量的所述旋转视觉模块与所述机身之间的偏航角度的差值；
将所述角度测量模块测量的所述旋转视觉模块与所述机身之间的偏航角度的差值，作为所述偏航角度差。
37.根据权利要求22所述的装置，其特征在于，所述处理器在基于所述旋转视觉模块的坐标系与世界坐标系之间的转换关系，将所述旋转视觉模块采集的所述机身的运动信息进行转换之后，还用于：
基于转换后的所述机身的运动信息对所述机身进行定位。
38.根据权利要求20、33、34或37所述的装置，其特征在于，所述运动信息至少包括：机身的位移信息、姿态信息和速度信息中的至少一项。
39.一种可移动平台，其特征在于，包括：
机身；
动力系统，安装在所述机身，用于提供运动动力；
旋转视觉模块、固定视觉模块，用于采集所述机身的运动信息；以及如权利要求2038任一项所述的定位装置。
40.根据权利要求39所述的可移动平台，其特征在于，所述可移动平台是拍摄设备、无人机、无人驾驶车辆、AR眼镜、VR眼镜、智能终端、机器人中的任一项。
41.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-19任一项所述的方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/108862 WO2021056503A1 (zh) | 2019-09-29 | 2019-09-29 | 可移动平台的定位方法、装置、可移动平台及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112154480A true CN112154480A (zh) | 2020-12-29 |
| CN112154480B CN112154480B (zh) | 2023-12-22 |
Family
ID=73892151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980033953.9A Active CN112154480B (zh) | 2019-09-29 | 2019-09-29 | 可移动平台的定位方法、装置、可移动平台及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112154480B (zh) |
| WO (1) | WO2021056503A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115793698A (zh) * | 2023-02-07 | 2023-03-14 | 北京四维远见信息技术有限公司 | 自动姿态控制系统和方法 |
| WO2024000189A1 (zh) * | 2022-06-28 | 2024-01-04 | 深圳市大疆创新科技有限公司 | 控制方法、头戴式显示设备、控制系统及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9019375B1 (en) * | 2012-07-10 | 2015-04-28 | The Boeing Company | Target locator and interceptor imaging and sensing assembly, system and method |
| CN109360240A (zh) * | 2018-09-18 | 2019-02-19 | 华南理工大学 | 一种基于双目视觉的小型无人机定位方法 |
| CN110209169A (zh) * | 2019-06-12 | 2019-09-06 | 杭州迦智科技有限公司 | 一种可移动平台的控制方法、控制装置及可移动平台 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106153008B (zh) * | 2016-06-17 | 2018-04-06 | 北京理工大学 | 一种基于视觉的旋翼无人机三维目标定位方法 |
| CN109242912A (zh) * | 2018-08-29 | 2019-01-18 | 杭州迦智科技有限公司 | 采集装置外参标定方法、电子设备、存储介质 |
-
2019
- 2019-09-29 WO PCT/CN2019/108862 patent/WO2021056503A1/zh active Application Filing
- 2019-09-29 CN CN201980033953.9A patent/CN112154480B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9019375B1 (en) * | 2012-07-10 | 2015-04-28 | The Boeing Company | Target locator and interceptor imaging and sensing assembly, system and method |
| CN109360240A (zh) * | 2018-09-18 | 2019-02-19 | 华南理工大学 | 一种基于双目视觉的小型无人机定位方法 |
| CN110209169A (zh) * | 2019-06-12 | 2019-09-06 | 杭州迦智科技有限公司 | 一种可移动平台的控制方法、控制装置及可移动平台 |
Non-Patent Citations (1)
| Title |
|---|
| 唐邓清: "无GPS依赖的无人机定位方法及ROS实现研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》》, pages 27 - 79 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024000189A1 (zh) * | 2022-06-28 | 2024-01-04 | 深圳市大疆创新科技有限公司 | 控制方法、头戴式显示设备、控制系统及存储介质 |
| CN115793698A (zh) * | 2023-02-07 | 2023-03-14 | 北京四维远见信息技术有限公司 | 自动姿态控制系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112154480B (zh) | 2023-12-22 |
| WO2021056503A1 (zh) | 2021-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10435176B2 (en) | Perimeter structure for unmanned aerial vehicle | |
| US10037028B2 (en) | Systems, devices, and methods for on-board sensing and control of micro aerial vehicles | |
| US20170364077A1 (en) | Unmanned aerial vehicle, motor control device and method | |
| CN112051591B (zh) | 一种激光雷达与惯性测量单元的检测方法及相关装置 | |
| CN111380514A (zh) | 机器人位姿估计方法、装置、终端及计算机存储介质 | |
| JP6943988B2 (ja) | 移動可能物体の制御方法、機器およびシステム | |
| KR20210084622A (ko) | 시간 동기화 처리 방법, 전자 기기 및 저장 매체 | |
| US20220014675A1 (en) | Unmanned aerial vehicle with virtual un-zoomed imaging | |
| EP2993443A1 (en) | Method and apparatus for using multiple filters for enhanced portable navigation | |
| CN112136137A (zh) | 一种参数优化方法、装置及控制设备、飞行器 | |
| CN110794844A (zh) | 自动驾驶方法、装置、电子设备及可读存储介质 | |
| CN112154480B (zh) | 可移动平台的定位方法、装置、可移动平台及存储介质 | |
| CN115164936A (zh) | 高精地图制作中用于点云拼接的全局位姿修正方法及设备 | |
| CN109521785B (zh) | 一种随身拍智能旋翼飞行器系统 | |
| CN108801250B (zh) | 基于水下机器人的实时姿态获取方法及装置 | |
| CN114111776A (zh) | 定位方法及相关装置 | |
| WO2020019175A1 (zh) | 图像处理方法和设备、摄像装置以及无人机 | |
| CN113834482A (zh) | 定位方法、装置、电子设备及存储介质 | |
| CN116952229A (zh) | 无人机定位方法、装置、系统和存储介质 | |
| CN111351487A (zh) | 多传感器的时钟同步方法、装置及计算设备 | |
| Emran et al. | Hybrid low-cost approach for quadrotor attitude estimation | |
| CN113256728A (zh) | Imu设备参数的标定方法及装置、存储介质、电子装置 | |
| CN113654528B (zh) | 通过无人机位置和云台角度估测目标坐标的方法和系统 | |
| CN111998870A (zh) | 一种相机惯导系统的标定方法和装置 | |
| CN110887461B (zh) | 基于gps姿态估计的无人机实时计算机视觉处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |